CHƯƠNG 28 Học sâu & video

Mask2Former

Mask2Former dùng transformer với masked attention để dự đoán đồng thời mask và lớp cho nhiều loại segmentation. Nó mạnh ở segmentation tổng quát nhưng cần GPU và hậu xử lý theo thời gian nếu chạy trên video.

Ứng dụng Nâng cao 19 phút đọc bài thử tương tác
Ảnh minh hoạ cho Mask2Former 28 / 46
Mask2Former · Masked attention Một khung hình, một câu hỏi.
01 Trực giác

Chuyện gì đang xảy ra?

Segmentation cổ điển thường tách bài toán thành phân loại pixel hoặc đề xuất vùng. Mask2Former đưa về set prediction: một tập query dự đoán mask và lớp, ghép với ground truth bằng Hungarian. Masked attention giới hạn attention trong vùng dự đoán để giảm chi phí.

Kiến trúc dùng pixel decoder đa mức và transformer decoder. Nó có thể xử lý semantic, instance và panoptic segmentation trong cùng một mô hình. Với video, chạy từng frame rồi liên kết mask bằng tracker; mask có thể nhấp nháy nếu không làm mượt.

Trong pipeline camera, Mask2Former có thể tách xe, biển số và nền. Mask giúp loại điểm ngoại lai và kiểm tra vùng bị che. Nhưng segmentation không phải motion detection: xe đỗ vẫn có mask, vẫn cần flow/ego-motion để quyết định chạy.

Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.

02 Công thức

Viết lại bằng toán.

Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.

CÔNG THỨC / 01

Set prediction loss

\[ \mathcal{L}=\lambda_{cls}\mathcal{L}_{cls}+\lambda_{mask}\mathcal{L}_{mask}+\lambda_{dice}\mathcal{L}_{dice} \]
  • Hungarian ghép query với nhãn
  • L_mask: BCE theo pixel
  • L_dice: overlap mask

Không cần NMS; mỗi query học một đối tượng/vùng.

CÔNG THỨC / 02

Masked attention

\[ \mathrm{Attn}(Q,K,V,M),\qquad M_{ij}=1[x_j\in\mathcal{R}_i] \]
  • R_i: vùng mask dự đoán
  • M: mask attention
  • Giảm chi phí và tăng độ chính xác biên

Masked attention tập trung vào vùng ứng viên thay vì toàn ảnh.

03 Từng bước

Luồng xử lý bằng lời.

  1. 01

    Chọn model

    Chọn checkpoint semantic/instance/panoptic phù hợp bài toán.

  2. 02

    Chạy inference

    Resize ảnh, chạy backbone + pixel decoder + transformer decoder.

  3. 03

    Lọc mask

    Áp ngưỡng score, loại mask nhỏ hoặc sai lớp.

  4. 04

    Liên kết video

    Dùng IoU/tracker để giữ ID mask qua frame; làm mượt thời gian.

  5. 05

    Đánh giá

    Đo IoU/mAP mask và ảnh hưởng lên OCR/ego-motion.

04 Tham số

Núm vặn và cạm bẫy.

Tham sốÝ nghĩaKhoảng
modelMask2Former + checkpoint/dataset.theo model
num_queriesSố query tối đa.100…200
mask_thrNgưỡng xác suất mask.0.3…0.7
scaleTỉ lệ resize đầu vào.0.5…1.0
temporal_smoothSố frame làm mượt mask.1…5

! Cạm bẫy thường gặp

  • Mask từng frame bị nhấp nháy; cần tracker/làm mượt thời gian.
  • Vật thể nhỏ như biển số có thể bị bỏ sót; tăng độ phân giải/crop.
  • Model nặng, khó realtime trên thiết bị biên.
  • Nhãn dataset không khớp lớp cần dùng; phải fine-tune.
  • Mask đẹp nhưng biên sai vẫn làm bẩn ego-motion.
05 Mã nguồn

Mã nguồn tối giản, không phải giả mã.

MÃ THAM KHẢO / mask2former
from transformers import AutoImageProcessor, Mask2FormerForUniversalSegmentation
import torch

processor = AutoImageProcessor.from_pretrained("facebook/mask2former-swin-base-coco-instance")
model = Mask2FormerForUniversalSegmentation.from_pretrained(
    "facebook/mask2former-swin-base-coco-instance"
).eval()

inputs = processor(images=image, return_tensors="pt")
with torch.no_grad():
    outputs = model(**inputs)
THƯ VIỆN: PYTORCH / TRANSFORMERS Đọc từ trên xuống · thử từng block
06 Thử

Điều chỉnh tham số.

Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.

CỤC BỘ / KHÔNG GỬI ẢNH
BÀN THỬ / 28 Mask2Former
SẴN SÀNG
KẾT QUẢ / TRỰC TIẾP —
Ảnh đầu vào mặc định
Bấm “Chạy thử” Kết quả sẽ xuất hiện ở đây.
TRẠNG THÁIChờ chạy
ĐẦU VÀO—
SỐ BƯỚC—
THỜI GIAN—
NHẬT KÝ / LUỒNG XỬ LÝ
$ bài thử chưa chạy
$ chọn ảnh và bấm “Chạy thử”
07 Ứng dụng

Dùng nó ở đâu?

DÙNG / 01

Tách xe/biển số/nền cho pipeline OCR.

DÙNG / 02

Tạo mask cho phân tích chuyển động và tracking.

DÙNG / 03

Kiểm tra vùng bị che trước khi đọc biển.

ĐÃ ĐỌC XONG 28 / 46