CHƯƠNG 30 Học sâu & video

RT-DETR

RT-DETR cải tiến DETR cho realtime bằng encoder hiệu quả, query selection theo chất lượng box và decoder nhẹ. Nó giữ được lợi ích end-to-end không NMS nhưng nhanh hơn DETR gốc.

Ứng dụng Nâng cao 18 phút đọc bài thử tương tác
Ảnh minh hoạ cho RT-DETR 30 / 46
RT-DETR · Realtime Một khung hình, một câu hỏi.
01 Trực giác

Chuyện gì đang xảy ra?

DETR gốc chậm vì encoder attention toàn ảnh và training dài. RT-DETR thiết kế encoder lai (CNN + attention chọn lọc), giảm chi phí nhưng vẫn giữ ngữ cảnh. Query được chọn dựa trên độ tin cậy và chất lượng box thay vì khởi tạo ngẫu nhiên.

RT-DETR phù hợp khi cần detector end-to-end không NMS, độ trễ thấp và triển khai trên GPU/CPU. Với biển số nhỏ, vẫn cần độ phân giải cao, augmentation và kiểm tra recall theo kích thước.

Đây là detector, không phải bộ quyết định chuyển động. Box ổn định giúp tracker ít đổi ID, nhưng muốn biết xe đỗ/chạy vẫn phải bù camera và theo dõi quỹ đạo.

Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.

02 Công thức

Viết lại bằng toán.

Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.

CÔNG THỨC / 01

IoU-aware query

\[ s_i=\mathrm{IoU}(\hat b_i,b_i)\cdot p_i^{cls} \]
  • b_i: box dự đoán
  • p_cls: xác suất lớp
  • Chọn query chất lượng cao

Query selection giúp decoder tập trung vào ứng viên tốt.

CÔNG THỨC / 02

Detection loss

\[ \mathcal{L}=\lambda_{cls}\mathcal{L}_{cls}+\lambda_{giou}\mathcal{L}_{giou}+\lambda_{l1}\mathcal{L}_{l1} \]
  • Hungarian matching
  • GIoU cho box
  • L1 cho tọa độ

Vẫn là set prediction; không cần NMS.

03 Từng bước

Luồng xử lý bằng lời.

  1. 01

    Chọn model

    Chọn RT-DETR-L/X và checkpoint pretrain; cân nhắc latency.

  2. 02

    Chuẩn bị dữ liệu

    Box xe/biển số, augmentation, kiểm tra vật thể nhỏ.

  3. 03

    Fine-tune

    Huấn luyện với set loss, theo dõi mAP theo kích thước.

  4. 04

    Export

    ONNX/TensorRT/OpenVINO; kiểm tra tốc độ và độ chính xác sau quantize.

  5. 05

    Đánh giá

    Precision/recall theo cảnh, box rác, ảnh hưởng tracker.

04 Tham số

Núm vặn và cạm bẫy.

Tham sốÝ nghĩaKhoảng
modelRT-DETR-L/X + checkpoint.theo model
confNgưỡng confidence.0.2…0.6
imgszKích thước ảnh đầu vào.640…1280
batchBatch khi train/inference.1…16
quantizeFP16/INT8 cho triển khai.fp32 / fp16 / int8

! Cạm bẫy thường gặp

  • Biển số nhỏ bị giảm recall khi resize mạnh; tăng imgsz hoặc crop.
  • Quantization làm giảm recall vật thể nhỏ; đo lại sau export.
  • Domain shift giữa camera huấn luyện và camera thật.
  • Không NMS nhưng box gần nhau vẫn có thể bị gộp/sai lớp.
  • Detector không quyết định đỗ/chạy; cần tracking + ego-motion.
05 Mã nguồn

Mã nguồn tối giản, không phải giả mã.

MÃ THAM KHẢO / rt-detr
from ultralytics import RTDETR

model = RTDETR("rtdetr-l.pt")
results = model("frame.jpg", imgsz=960, conf=0.3, verbose=False)
boxes = results[0].boxes.xyxy.cpu().numpy()
scores = results[0].boxes.conf.cpu().numpy()
THƯ VIỆN: ULTRALYTICS / PYTORCH Đọc từ trên xuống · thử từng block
06 Thử

Điều chỉnh tham số.

Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.

CỤC BỘ / KHÔNG GỬI ẢNH
BÀN THỬ / 30 RT-DETR
SẴN SÀNG
KẾT QUẢ / TRỰC TIẾP —
Ảnh đầu vào mặc định
Bấm “Chạy thử” Kết quả sẽ xuất hiện ở đây.
TRẠNG THÁIChờ chạy
ĐẦU VÀO—
SỐ BƯỚC—
THỜI GIAN—
NHẬT KÝ / LUỒNG XỬ LÝ
$ bài thử chưa chạy
$ chọn ảnh và bấm “Chạy thử”
07 Ứng dụng

Dùng nó ở đâu?

DÙNG / 01

Phát hiện xe/biển số cần latency thấp.

DÙNG / 02

Triển khai end-to-end không NMS trên GPU/CPU.

DÙNG / 03

Cung cấp box ổn định cho tracker và OCR.

ĐÃ ĐỌC XONG 30 / 46