CHƯƠNG 27 Học sâu & video

SAM 2

SAM 2 là mô hình segmentation có prompt cho ảnh và video. Người dùng đưa box hoặc click, mô hình sinh mask và dùng bộ nhớ thời gian để bám vật thể qua các frame.

Ứng dụng Nâng cao 18 phút đọc bài thử tương tác
Ảnh minh hoạ cho SAM 2 27 / 46
SAM 2 · Promptable Một khung hình, một câu hỏi.
01 Trực giác

Chuyện gì đang xảy ra?

Box chỉ nói vật thể nằm trong một hình chữ nhật; mask nói chính xác pixel nào thuộc vật thể. SAM 2 nhận prompt như box, point hoặc mask ban đầu, rồi sinh mask chi tiết. Với video, nó lưu bộ nhớ các frame trước để mask không nhấp nháy và bám theo vật thể.

SAM 2 không tự gán nhãn lớp. Ta thường dùng detector để lấy box xe/biển số, đưa box làm prompt, sau đó lan mask qua video. Mask giúp loại điểm nền trong box, kiểm tra biển bị che và cải thiện ước lượng ego-motion.

Chất lượng phụ thuộc vào prompt và vật thể có bị che lâu không. Nếu detector bỏ sót, không có mask; nếu mask trôi, cần thêm click chỉnh hoặc reset. SAM 2 cũng khá nặng, nên thường chạy không đồng bộ với vòng lặp realtime.

Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.

02 Công thức

Viết lại bằng toán.

Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.

CÔNG THỨC / 01

Mask decoder

\[ m=\mathrm{Decoder}(E_{image},E_{prompt},M_{memory}) \]
  • E_image: feature ảnh
  • E_prompt: box/point
  • M_memory: bộ nhớ frame trước

Mask được dự đoán ở nhiều mức độ chi tiết và chọn theo score.

CÔNG THỨC / 02

Memory attention

\[ h_t=\mathrm{MemAttn}(h_{t-1},f_t),\qquad m_t=\mathrm{MaskHead}(h_t) \]
  • h_t: trạng thái bộ nhớ
  • f_t: feature frame hiện tại

Bộ nhớ giúp giữ danh tính và hình dạng mask qua thời gian.

03 Từng bước

Luồng xử lý bằng lời.

  1. 01

    Chọn prompt

    Lấy box từ detector hoặc click điểm lên vật thể.

  2. 02

    Khởi tạo

    Nạp video, khởi tạo trạng thái và thêm prompt cho frame đầu.

  3. 03

    Lan mask

    Chạy propagate để sinh mask cho các frame tiếp theo.

  4. 04

    Kiểm tra/chỉnh

    Thêm click sửa ở frame lỗi; reset nếu mask trôi.

  5. 05

    Đánh giá

    Đo IoU mask, độ ổn định theo thời gian và ảnh hưởng lên pipeline.

04 Tham số

Núm vặn và cạm bẫy.

Tham sốÝ nghĩaKhoảng
modelSAM 2 tiny/small/base/large và checkpoint.theo model
promptBox, point hoặc mask khởi tạo.box / point / mask
mask_thrNgưỡng xác suất mask.0.3…0.7
memorySố frame bộ nhớ.1…8
max_objectsSố đối tượng tối đa mỗi frame.1…20

! Cạm bẫy thường gặp

  • Prompt box quá rộng làm mask lấn nền; kiểm tra biên và thu nhỏ box.
  • Occlusion lâu làm mask trôi; cần thêm prompt hoặc reset.
  • SAM 2 không gán lớp; phải ghép với detector/classifier.
  • Model lớn, chậm; không nên chạy đồng bộ trên thiết bị biên.
  • Segmentation không cho biết vật thể đỗ hay chạy.
05 Mã nguồn

Mã nguồn tối giản, không phải giả mã.

MÃ THAM KHẢO / sam2
# SAM 2 API phụ thuộc repo/version; ví dụ minh hoạ.
from sam2.build_sam import build_sam2_video_predictor

predictor = build_sam2_video_predictor("sam2_hiera_l.yaml", "sam2_hiera_l.pt")
state = predictor.init_state(video_path="clip.mp4")
predictor.add_new_points_or_box(state, frame_idx=0, box=[x1, y1, x2, y2])
for frame_idx, masks in predictor.propagate_in_video(state):
    pass
THƯ VIỆN: SAM 2 / PYTORCH Đọc từ trên xuống · thử từng block
06 Thử

Điều chỉnh tham số.

Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.

CỤC BỘ / KHÔNG GỬI ẢNH
BÀN THỬ / 27 SAM 2
SẴN SÀNG
KẾT QUẢ / TRỰC TIẾP —
Ảnh đầu vào mặc định
Bấm “Chạy thử” Kết quả sẽ xuất hiện ở đây.
TRẠNG THÁIChờ chạy
ĐẦU VÀO—
SỐ BƯỚC—
THỜI GIAN—
NHẬT KÝ / LUỒNG XỬ LÝ
$ bài thử chưa chạy
$ chọn ảnh và bấm “Chạy thử”
07 Ứng dụng

Dùng nó ở đâu?

DÙNG / 01

Tách xe/biển số khỏi nền trước khi OCR.

DÙNG / 02

Loại điểm nền trong vùng box để bù chuyển động camera.

DÙNG / 03

Tạo mask vật thể cho tracking và phân tích chuyển động.