Chuyện gì đang xảy ra?
Segmentation cổ điển thường tách bài toán thành phân loại pixel hoặc đề xuất vùng. Mask2Former đưa về set prediction: một tập query dự đoán mask và lớp, ghép với ground truth bằng Hungarian. Masked attention giới hạn attention trong vùng dự đoán để giảm chi phí.
Kiến trúc dùng pixel decoder đa mức và transformer decoder. Nó có thể xử lý semantic, instance và panoptic segmentation trong cùng một mô hình. Với video, chạy từng frame rồi liên kết mask bằng tracker; mask có thể nhấp nháy nếu không làm mượt.
Trong pipeline camera, Mask2Former có thể tách xe, biển số và nền. Mask giúp loại điểm ngoại lai và kiểm tra vùng bị che. Nhưng segmentation không phải motion detection: xe đỗ vẫn có mask, vẫn cần flow/ego-motion để quyết định chạy.
Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.
Viết lại bằng toán.
Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.
Set prediction loss
- Hungarian ghép query với nhãn
- L_mask: BCE theo pixel
- L_dice: overlap mask
Không cần NMS; mỗi query học một đối tượng/vùng.
Masked attention
- R_i: vùng mask dự đoán
- M: mask attention
- Giảm chi phí và tăng độ chính xác biên
Masked attention tập trung vào vùng ứng viên thay vì toàn ảnh.
Luồng xử lý bằng lời.
-
01
Chọn model
Chọn checkpoint semantic/instance/panoptic phù hợp bài toán.
-
02
Chạy inference
Resize ảnh, chạy backbone + pixel decoder + transformer decoder.
-
03
Lọc mask
Áp ngưỡng score, loại mask nhỏ hoặc sai lớp.
-
04
Liên kết video
Dùng IoU/tracker để giữ ID mask qua frame; làm mượt thời gian.
-
05
Đánh giá
Đo IoU/mAP mask và ảnh hưởng lên OCR/ego-motion.
Núm vặn và cạm bẫy.
| Tham số | Ý nghĩa | Khoảng |
|---|---|---|
model | Mask2Former + checkpoint/dataset. | theo model |
num_queries | Số query tối đa. | 100…200 |
mask_thr | Ngưỡng xác suất mask. | 0.3…0.7 |
scale | Tỉ lệ resize đầu vào. | 0.5…1.0 |
temporal_smooth | Số frame làm mượt mask. | 1…5 |
! Cạm bẫy thường gặp
- Mask từng frame bị nhấp nháy; cần tracker/làm mượt thời gian.
- Vật thể nhỏ như biển số có thể bị bỏ sót; tăng độ phân giải/crop.
- Model nặng, khó realtime trên thiết bị biên.
- Nhãn dataset không khớp lớp cần dùng; phải fine-tune.
- Mask đẹp nhưng biên sai vẫn làm bẩn ego-motion.
Mã nguồn tối giản, không phải giả mã.
from transformers import AutoImageProcessor, Mask2FormerForUniversalSegmentation
import torch
processor = AutoImageProcessor.from_pretrained("facebook/mask2former-swin-base-coco-instance")
model = Mask2FormerForUniversalSegmentation.from_pretrained(
"facebook/mask2former-swin-base-coco-instance"
).eval()
inputs = processor(images=image, return_tensors="pt")
with torch.no_grad():
outputs = model(**inputs)
Điều chỉnh tham số.
Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.
$ bài thử chưa chạy $ chọn ảnh và bấm “Chạy thử”
Dùng nó ở đâu?
Tách xe/biển số/nền cho pipeline OCR.
Tạo mask cho phân tích chuyển động và tracking.
Kiểm tra vùng bị che trước khi đọc biển.