CHƯƠNG 15 Học sâu & video

ByteTrack

ByteTrack là baseline tracking-by-detection rất mạnh: detector tìm box, Kalman dự đoán track, Hungarian ghép box với track. Điểm đặc biệt là tận dụng cả box confidence thấp để nối lại track đang bị che thay vì vứt bỏ ngay.

Ứng dụng Nâng cao 18 phút đọc bài thử tương tác
Ảnh minh hoạ cho ByteTrack 15 / 46
ByteTrack · Kalman Một khung hình, một câu hỏi.
01 Trực giác

Chuyện gì đang xảy ra?

Detector chỉ trả về box của frame hiện tại. Muốn biết box nào là cùng một chiếc xe ở frame trước, ta cần một track lưu vị trí, vận tốc, tuổi và lịch sử quan sát. ByteTrack dùng Kalman filter để dự đoán vị trí kế tiếp, rồi đo mức chồng lấn IoU giữa track dự đoán và detection.

Điều làm ByteTrack khác baseline là hai tầng ghép. Tầng đầu ghép các detection confidence cao. Tầng sau dùng các detection confidence thấp — thường là box bị che, mờ hoặc nằm gần biên — để nối vào các track còn thiếu. Nhờ vậy ID ít bị đổi mà không cần mạng ReID nặng.

ByteTrack không hiểu chuyển động của camera. Nếu camera rung hoặc pan, box dự đoán trôi theo nền và IoU giảm dù xe không hề chạy. Vì vậy trong bài toán bãi xe, hãy bật bù chuyển động camera trước khi ghép, hoặc dùng một tracker có GMC như BoT-SORT.

Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.

02 Công thức

Viết lại bằng toán.

Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.

CÔNG THỨC / 01

Dự đoán Kalman

\[ x_k^- = F x_{k-1},\qquad P_k^- = F P_{k-1}F^\top + Q \]
  • x: vị trí và vận tốc của track
  • P: độ bất định
  • Q: nhiễu quá trình

Track càng lâu không được cập nhật, P càng lớn và cổng ghép càng rộng.

CÔNG THỨC / 02

Chi phí ghép

\[ C_{ij}=1-\mathrm{IoU}(\hat b_i,d_j),\qquad \hat b_i=\text{box dự đoán của track }i \]
  • d_j: detection thứ j
  • Hungarian chọn tổng chi phí nhỏ nhất
  • Chỉ giữ cặp dưới ngưỡng

ByteTrack ghép theo hai tầng: confidence cao trước, confidence thấp sau.

03 Từng bước

Luồng xử lý bằng lời.

  1. 01

    Phát hiện

    Chạy detector trên từng frame; lọc theo class và vùng quan tâm. Giữ cả box confidence thấp nếu muốn dùng tầng ghép thứ hai.

  2. 02

    Dự đoán

    Kalman dự đoán box của mọi track còn sống ở frame hiện tại.

  3. 03

    Ghép tầng cao

    Tính IoU giữa track và detection confidence cao, giải Hungarian, loại cặp dưới match_thresh.

  4. 04

    Ghép tầng thấp

    Dùng các track chưa ghép và box confidence thấp; nối những cặp còn đủ IoU để cứu track bị che.

  5. 05

    Cập nhật và quản lý

    Cập nhật Kalman bằng box đã ghép, tăng tuổi cho track mất dấu, tạo track mới và xoá track quá track_buffer.

04 Tham số

Núm vặn và cạm bẫy.

Tham sốÝ nghĩaKhoảng
track_threshNgưỡng confidence cho tầng ghép chính.0.3…0.6
match_threshNgưỡng IoU/chi phí tối thiểu để ghép.0.5…0.9
track_bufferSố frame giữ track khi mất detection.15…60
frame_rateFPS dùng để quy đổi track_buffer.15…30
low_threshNgưỡng thấp cho tầng ghép thứ hai.0.05…0.2

! Cạm bẫy thường gặp

  • Đặt match_thresh quá cao làm mất track khi box rung vài pixel.
  • Dùng box confidence thấp nhưng không lọc nhiễu sẽ tạo track rác và ID ảo.
  • Camera pan làm IoU giảm; cần bù chuyển động camera nếu cảnh không đứng yên.
  • ByteTrack không có appearance; vật thể cắt nhau lâu vẫn có thể đổi ID.
  • Không nên dùng track ID để kết luận xe đỗ/chạy — vẫn cần ego-motion.
05 Mã nguồn

Mã nguồn tối giản, không phải giả mã.

MÃ THAM KHẢO / bytetrack
from ultralytics import YOLO
import supervision as sv

model = YOLO("yolo11n.pt")
tracker = sv.ByteTrack(
    track_activation_threshold=0.25,
    lost_track_buffer=30,
    minimum_matching_threshold=0.8,
)

for frame in video:
    result = model(frame, verbose=False)[0]
    detections = sv.Detections.from_ultralytics(result)
    tracks = tracker.update_with_detections(detections)
    # tracks.tracker_id, tracks.xyxy, tracks.confidence
THƯ VIỆN: SUPERVISION / ULTRALYTICS Đọc từ trên xuống · thử từng block
06 Thử

Điều chỉnh tham số.

Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.

CỤC BỘ / KHÔNG GỬI ẢNH
BÀN THỬ / 15 ByteTrack
SẴN SÀNG
KẾT QUẢ / TRỰC TIẾP —
Ảnh đầu vào mặc định
Bấm “Chạy thử” Kết quả sẽ xuất hiện ở đây.
TRẠNG THÁIChờ chạy
ĐẦU VÀO—
SỐ BƯỚC—
THỜI GIAN—
NHẬT KÝ / LUỒNG XỬ LÝ
$ bài thử chưa chạy
$ chọn ảnh và bấm “Chạy thử”
07 Ứng dụng

Dùng nó ở đâu?

DÙNG / 01

Theo dõi xe, người và biển số trong video giao thông.

DÙNG / 02

Đếm phương tiện và đo thời gian lưu thông qua vùng quan tâm.

DÙNG / 03

Giữ ID ổn định trước khi phân tích hành vi hoặc crop biển số.