Chuyện gì đang xảy ra?
Box chỉ nói vật thể nằm trong một hình chữ nhật; mask nói chính xác pixel nào thuộc vật thể. SAM 2 nhận prompt như box, point hoặc mask ban đầu, rồi sinh mask chi tiết. Với video, nó lưu bộ nhớ các frame trước để mask không nhấp nháy và bám theo vật thể.
SAM 2 không tự gán nhãn lớp. Ta thường dùng detector để lấy box xe/biển số, đưa box làm prompt, sau đó lan mask qua video. Mask giúp loại điểm nền trong box, kiểm tra biển bị che và cải thiện ước lượng ego-motion.
Chất lượng phụ thuộc vào prompt và vật thể có bị che lâu không. Nếu detector bỏ sót, không có mask; nếu mask trôi, cần thêm click chỉnh hoặc reset. SAM 2 cũng khá nặng, nên thường chạy không đồng bộ với vòng lặp realtime.
Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.
Viết lại bằng toán.
Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.
Mask decoder
- E_image: feature ảnh
- E_prompt: box/point
- M_memory: bộ nhớ frame trước
Mask được dự đoán ở nhiều mức độ chi tiết và chọn theo score.
Memory attention
- h_t: trạng thái bộ nhớ
- f_t: feature frame hiện tại
Bộ nhớ giúp giữ danh tính và hình dạng mask qua thời gian.
Luồng xử lý bằng lời.
-
01
Chọn prompt
Lấy box từ detector hoặc click điểm lên vật thể.
-
02
Khởi tạo
Nạp video, khởi tạo trạng thái và thêm prompt cho frame đầu.
-
03
Lan mask
Chạy propagate để sinh mask cho các frame tiếp theo.
-
04
Kiểm tra/chỉnh
Thêm click sửa ở frame lỗi; reset nếu mask trôi.
-
05
Đánh giá
Đo IoU mask, độ ổn định theo thời gian và ảnh hưởng lên pipeline.
Núm vặn và cạm bẫy.
| Tham số | Ý nghĩa | Khoảng |
|---|---|---|
model | SAM 2 tiny/small/base/large và checkpoint. | theo model |
prompt | Box, point hoặc mask khởi tạo. | box / point / mask |
mask_thr | Ngưỡng xác suất mask. | 0.3…0.7 |
memory | Số frame bộ nhớ. | 1…8 |
max_objects | Số đối tượng tối đa mỗi frame. | 1…20 |
! Cạm bẫy thường gặp
- Prompt box quá rộng làm mask lấn nền; kiểm tra biên và thu nhỏ box.
- Occlusion lâu làm mask trôi; cần thêm prompt hoặc reset.
- SAM 2 không gán lớp; phải ghép với detector/classifier.
- Model lớn, chậm; không nên chạy đồng bộ trên thiết bị biên.
- Segmentation không cho biết vật thể đỗ hay chạy.
Mã nguồn tối giản, không phải giả mã.
# SAM 2 API phụ thuộc repo/version; ví dụ minh hoạ.
from sam2.build_sam import build_sam2_video_predictor
predictor = build_sam2_video_predictor("sam2_hiera_l.yaml", "sam2_hiera_l.pt")
state = predictor.init_state(video_path="clip.mp4")
predictor.add_new_points_or_box(state, frame_idx=0, box=[x1, y1, x2, y2])
for frame_idx, masks in predictor.propagate_in_video(state):
pass
Điều chỉnh tham số.
Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.
$ bài thử chưa chạy $ chọn ảnh và bấm “Chạy thử”
Dùng nó ở đâu?
Tách xe/biển số khỏi nền trước khi OCR.
Loại điểm nền trong vùng box để bù chuyển động camera.
Tạo mask vật thể cho tracking và phân tích chuyển động.