CHƯƠNG 29 Học sâu & video

DETR

DETR dùng transformer để dự đoán đồng thời box và lớp cho một tập query, ghép với ground truth bằng Hungarian. Cách tiếp cận gọn và loại bỏ NMS, nhưng hội tụ chậm và yếu với vật thể nhỏ.

Ứng dụng Nâng cao 18 phút đọc bài thử tương tác
Ảnh minh hoạ cho DETR 29 / 46
DETR · Set prediction Một khung hình, một câu hỏi.
01 Trực giác

Chuyện gì đang xảy ra?

Detector truyền thống dự đoán nhiều box rồi lọc bằng NMS. DETR biến detection thành bài toán set prediction: một tập query học cách đại diện cho các đối tượng, mỗi query trả về box + lớp. Hungarian matching quyết định query nào ứng với ground truth nào khi huấn luyện.

Không cần NMS giúp pipeline gọn hơn, nhưng DETR gốc cần training dài và dữ liệu lớn. Nó cũng yếu với vật thể nhỏ vì feature map thô; các biến thể sau cải thiện bằng encoder đa mức hoặc query selection.

Với biển số nhỏ, DETR không phải lựa chọn đầu tiên nếu chưa fine-tune. Nó phù hợp để học kiến trúc set prediction hoặc khi cần detector end-to-end không NMS. Box vẫn chỉ là đầu vào cho tracker và ego-motion, không phải quyết định đỗ/chạy.

Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.

02 Công thức

Viết lại bằng toán.

Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.

CÔNG THỨC / 01

Set prediction loss

\[ \mathcal{L}=\sum_i\left[\lambda_{cls}\mathcal{L}_{cls}+\lambda_{box}\mathcal{L}_{box}+\lambda_{giou}\mathcal{L}_{giou}\right] \]
  • i: cặp query-ground truth sau Hungarian
  • L_box: L1
  • L_giou: generalized IoU

Query không khớp được coi là lớp nền.

CÔNG THỨC / 02

Hungarian matching

\[ \hat\sigma=\arg\min_\sigma\sum_i C_{i,\sigma(i)} \]
  • C: chi phí phân loại + box
  • σ: phép gán một-một

Mỗi ground truth chỉ ứng với một query, tránh trùng box.

03 Từng bước

Luồng xử lý bằng lời.

  1. 01

    Chuẩn bị dữ liệu

    Box và lớp cho từng ảnh; kiểm tra box nhỏ và cân bằng lớp.

  2. 02

    Backbone + encoder

    Trích feature ảnh, thêm positional encoding, chạy transformer encoder.

  3. 03

    Object queries

    Decoder nhận query học được, dự đoán box/lớp cho từng query.

  4. 04

    Huấn luyện

    Hungarian matching và set loss; dùng pretrained, fine-tune với LR thấp.

  5. 05

    Đánh giá

    mAP theo kích thước, recall biển nhỏ, latency; kiểm tra box rác.

04 Tham số

Núm vặn và cạm bẫy.

Tham sốÝ nghĩaKhoảng
modelDETR/R-CNN/DETR biến thể + checkpoint.theo model
num_queriesSố object query.100…300
confNgưỡng confidence khi suy luận.0.2…0.6
imgszKích thước ảnh đầu vào.640…1280
nmsDETR gốc không cần NMS; kiểm tra biến thể.off

! Cạm bẫy thường gặp

  • DETR gốc yếu với vật thể nhỏ; cần tăng resolution hoặc dùng biến thể.
  • Training hội tụ chậm; cần pretrained và schedule phù hợp.
  • Query không khớp bị coi là nền; nhãn thiếu làm mô hình học sai.
  • Không NMS nhưng vẫn có thể có box trùng ở biến thể/ngưỡng thấp.
  • Detector không quyết định đỗ/chạy; cần tracking + ego-motion.
05 Mã nguồn

Mã nguồn tối giản, không phải giả mã.

MÃ THAM KHẢO / detr
import torch
from transformers import DetrImageProcessor, DetrForObjectDetection

processor = DetrImageProcessor.from_pretrained("facebook/detr-resnet-50")
model = DetrForObjectDetection.from_pretrained("facebook/detr-resnet-50").eval()

inputs = processor(images=image, return_tensors="pt")
with torch.no_grad():
    outputs = model(**inputs)
THƯ VIỆN: PYTORCH / TRANSFORMERS Đọc từ trên xuống · thử từng block
06 Thử

Điều chỉnh tham số.

Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.

CỤC BỘ / KHÔNG GỬI ẢNH
BÀN THỬ / 29 DETR
SẴN SÀNG
KẾT QUẢ / TRỰC TIẾP —
Ảnh đầu vào mặc định
Bấm “Chạy thử” Kết quả sẽ xuất hiện ở đây.
TRẠNG THÁIChờ chạy
ĐẦU VÀO—
SỐ BƯỚC—
THỜI GIAN—
NHẬT KÝ / LUỒNG XỬ LÝ
$ bài thử chưa chạy
$ chọn ảnh và bấm “Chạy thử”
07 Ứng dụng

Dùng nó ở đâu?

DÙNG / 01

Phát hiện xe/biển số trong pipeline end-to-end.

DÙNG / 02

Nghiên cứu set prediction và transformer detection.

DÙNG / 03

So sánh với YOLO/RT-DETR về độ chính xác và latency.

ĐÃ ĐỌC XONG 29 / 46