Chuyện gì đang xảy ra?
Detector truyền thống dự đoán nhiều box rồi lọc bằng NMS. DETR biến detection thành bài toán set prediction: một tập query học cách đại diện cho các đối tượng, mỗi query trả về box + lớp. Hungarian matching quyết định query nào ứng với ground truth nào khi huấn luyện.
Không cần NMS giúp pipeline gọn hơn, nhưng DETR gốc cần training dài và dữ liệu lớn. Nó cũng yếu với vật thể nhỏ vì feature map thô; các biến thể sau cải thiện bằng encoder đa mức hoặc query selection.
Với biển số nhỏ, DETR không phải lựa chọn đầu tiên nếu chưa fine-tune. Nó phù hợp để học kiến trúc set prediction hoặc khi cần detector end-to-end không NMS. Box vẫn chỉ là đầu vào cho tracker và ego-motion, không phải quyết định đỗ/chạy.
Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.
Viết lại bằng toán.
Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.
Set prediction loss
- i: cặp query-ground truth sau Hungarian
- L_box: L1
- L_giou: generalized IoU
Query không khớp được coi là lớp nền.
Hungarian matching
- C: chi phí phân loại + box
- σ: phép gán một-một
Mỗi ground truth chỉ ứng với một query, tránh trùng box.
Luồng xử lý bằng lời.
-
01
Chuẩn bị dữ liệu
Box và lớp cho từng ảnh; kiểm tra box nhỏ và cân bằng lớp.
-
02
Backbone + encoder
Trích feature ảnh, thêm positional encoding, chạy transformer encoder.
-
03
Object queries
Decoder nhận query học được, dự đoán box/lớp cho từng query.
-
04
Huấn luyện
Hungarian matching và set loss; dùng pretrained, fine-tune với LR thấp.
-
05
Đánh giá
mAP theo kích thước, recall biển nhỏ, latency; kiểm tra box rác.
Núm vặn và cạm bẫy.
| Tham số | Ý nghĩa | Khoảng |
|---|---|---|
model | DETR/R-CNN/DETR biến thể + checkpoint. | theo model |
num_queries | Số object query. | 100…300 |
conf | Ngưỡng confidence khi suy luận. | 0.2…0.6 |
imgsz | Kích thước ảnh đầu vào. | 640…1280 |
nms | DETR gốc không cần NMS; kiểm tra biến thể. | off |
! Cạm bẫy thường gặp
- DETR gốc yếu với vật thể nhỏ; cần tăng resolution hoặc dùng biến thể.
- Training hội tụ chậm; cần pretrained và schedule phù hợp.
- Query không khớp bị coi là nền; nhãn thiếu làm mô hình học sai.
- Không NMS nhưng vẫn có thể có box trùng ở biến thể/ngưỡng thấp.
- Detector không quyết định đỗ/chạy; cần tracking + ego-motion.
Mã nguồn tối giản, không phải giả mã.
import torch
from transformers import DetrImageProcessor, DetrForObjectDetection
processor = DetrImageProcessor.from_pretrained("facebook/detr-resnet-50")
model = DetrForObjectDetection.from_pretrained("facebook/detr-resnet-50").eval()
inputs = processor(images=image, return_tensors="pt")
with torch.no_grad():
outputs = model(**inputs)
Điều chỉnh tham số.
Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.
$ bài thử chưa chạy $ chọn ảnh và bấm “Chạy thử”
Dùng nó ở đâu?
Phát hiện xe/biển số trong pipeline end-to-end.
Nghiên cứu set prediction và transformer detection.
So sánh với YOLO/RT-DETR về độ chính xác và latency.