Chuyện gì đang xảy ra?
DETR gốc chậm vì encoder attention toàn ảnh và training dài. RT-DETR thiết kế encoder lai (CNN + attention chọn lọc), giảm chi phí nhưng vẫn giữ ngữ cảnh. Query được chọn dựa trên độ tin cậy và chất lượng box thay vì khởi tạo ngẫu nhiên.
RT-DETR phù hợp khi cần detector end-to-end không NMS, độ trễ thấp và triển khai trên GPU/CPU. Với biển số nhỏ, vẫn cần độ phân giải cao, augmentation và kiểm tra recall theo kích thước.
Đây là detector, không phải bộ quyết định chuyển động. Box ổn định giúp tracker ít đổi ID, nhưng muốn biết xe đỗ/chạy vẫn phải bù camera và theo dõi quỹ đạo.
Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.
Viết lại bằng toán.
Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.
IoU-aware query
- b_i: box dự đoán
- p_cls: xác suất lớp
- Chọn query chất lượng cao
Query selection giúp decoder tập trung vào ứng viên tốt.
Detection loss
- Hungarian matching
- GIoU cho box
- L1 cho tọa độ
Vẫn là set prediction; không cần NMS.
Luồng xử lý bằng lời.
-
01
Chọn model
Chọn RT-DETR-L/X và checkpoint pretrain; cân nhắc latency.
-
02
Chuẩn bị dữ liệu
Box xe/biển số, augmentation, kiểm tra vật thể nhỏ.
-
03
Fine-tune
Huấn luyện với set loss, theo dõi mAP theo kích thước.
-
04
Export
ONNX/TensorRT/OpenVINO; kiểm tra tốc độ và độ chính xác sau quantize.
-
05
Đánh giá
Precision/recall theo cảnh, box rác, ảnh hưởng tracker.
Núm vặn và cạm bẫy.
| Tham số | Ý nghĩa | Khoảng |
|---|---|---|
model | RT-DETR-L/X + checkpoint. | theo model |
conf | Ngưỡng confidence. | 0.2…0.6 |
imgsz | Kích thước ảnh đầu vào. | 640…1280 |
batch | Batch khi train/inference. | 1…16 |
quantize | FP16/INT8 cho triển khai. | fp32 / fp16 / int8 |
! Cạm bẫy thường gặp
- Biển số nhỏ bị giảm recall khi resize mạnh; tăng imgsz hoặc crop.
- Quantization làm giảm recall vật thể nhỏ; đo lại sau export.
- Domain shift giữa camera huấn luyện và camera thật.
- Không NMS nhưng box gần nhau vẫn có thể bị gộp/sai lớp.
- Detector không quyết định đỗ/chạy; cần tracking + ego-motion.
Mã nguồn tối giản, không phải giả mã.
from ultralytics import RTDETR
model = RTDETR("rtdetr-l.pt")
results = model("frame.jpg", imgsz=960, conf=0.3, verbose=False)
boxes = results[0].boxes.xyxy.cpu().numpy()
scores = results[0].boxes.conf.cpu().numpy()
Điều chỉnh tham số.
Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.
$ bài thử chưa chạy $ chọn ảnh và bấm “Chạy thử”
Dùng nó ở đâu?
Phát hiện xe/biển số cần latency thấp.
Triển khai end-to-end không NMS trên GPU/CPU.
Cung cấp box ổn định cho tracker và OCR.