Chuyện gì đang xảy ra?
Trong video camera đứng yên, Kalman và IoU đã đủ tốt. Khi camera pan hoặc rung, toàn bộ nền dịch chuyển; box dự đoán của track cũng trôi theo. BoT-SORT ước lượng một homography giữa hai frame để bù chuyển động nền trước khi ghép.
Ngoài hình học, BoT-SORT có thể thêm vector appearance từ một mạng ReID. Hai track cùng một xe nhưng IoU thấp vẫn có thể ghép nếu ngoại hình giống nhau. Điều này hữu ích khi xe bị che một phần hoặc camera đổi góc nhìn.
Cái giá là thêm một mô hình ReID và một bước ước lượng homography. Nếu cảnh có nhiều vật thể chuyển động mạnh, homography nền có thể bị kéo sai; cần mask vùng động hoặc kiểm tra inlier. BoT-SORT không thay thế quyết định chuyển động, nó chỉ giúp track ổn định hơn.
Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.
Viết lại bằng toán.
Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.
Bù chuyển động camera
- H_t: homography nền giữa hai frame
- b_i: box hoặc tâm track
- Chỉ dùng khi H_t đủ inlier
Nếu H_t sai, track còn tệ hơn không bù; cần kiểm tra số inlier và residual.
Chi phí ghép kết hợp
- s_ij: độ giống appearance
- λ: trọng số hình học và ngoại hình
BoT-SORT dùng thêm chất lượng detection và ngưỡng riêng cho từng tầng.
Luồng xử lý bằng lời.
-
01
Ước lượng GMC
Trích feature nền, ước lượng homography bằng RANSAC; loại frame có quá ít inlier.
-
02
Dự đoán
Kalman dự đoán trạng thái track; áp homography để đưa box về hệ frame hiện tại.
-
03
Trích appearance
Crop đặc trưng ReID cho detection và track; chuẩn hoá vector.
-
04
Ghép
Tính chi phí IoU + appearance, giải Hungarian, áp ngưỡng cho từng tầng.
-
05
Cập nhật
Cập nhật Kalman, bộ nhớ appearance và quản lý track mới/mất dấu.
Núm vặn và cạm bẫy.
| Tham số | Ý nghĩa | Khoảng |
|---|---|---|
gmc_method | Cách bù chuyển động camera: sparse optical flow hoặc ECC. | sparseOptFlow / ecc / none |
proximity_thresh | Ngưỡng IoU tối thiểu trước khi xét appearance. | 0.3…0.7 |
appearance_thresh | Ngưỡng giống ngoại hình để ghép. | 0.5…0.9 |
with_reid | Bật/tắt nhánh appearance. | on / off |
track_buffer | Số frame giữ track bị mất. | 30…90 |
! Cạm bẫy thường gặp
- Homography nền bị kéo bởi vật thể lớn; dùng mask hoặc kiểm tra inlier trước khi áp.
- ReID train trên domain khác làm giảm matching; nên fine-tune hoặc tắt nếu cảnh đơn giản.
- Bật GMC trên cảnh tĩnh có thể thêm nhiễu; kiểm tra residual thay vì bật mặc định.
- Track buffer quá dài giữ ID của xe đã rời cảnh và gây nhầm khi xe mới đi vào.
- BoT-SORT vẫn không phân biệt xe đỗ với camera di chuyển; cần ego-motion ở tầng sau.
Mã nguồn tối giản, không phải giả mã.
from boxmot import BoTSORT
from ultralytics import YOLO
model = YOLO("yolo11n.pt")
tracker = BoTSORT(
gmc_method="sparseOptFlow",
with_reid=True,
proximity_thresh=0.5,
appearance_thresh=0.7,
)
for frame in video:
dets = model(frame, verbose=False)[0].boxes.data.cpu().numpy()
tracks = tracker.update(dets, frame)
# tracks: x1, y1, x2, y2, id, conf, cls, ...
Điều chỉnh tham số.
Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.
$ bài thử chưa chạy $ chọn ảnh và bấm “Chạy thử”
Dùng nó ở đâu?
Bãi xe dùng camera PTZ hoặc camera gắn trên xe.
Video giao thông có rung, pan hoặc thay đổi góc nhìn.
Hệ thống cần giữ ID khi vật thể bị che trong vài frame.