CHƯƠNG 25 Học sâu & video

VideoMAE

VideoMAE là phương pháp self-supervised pretraining cho video: che các tube không-thời gian và huấn luyện mô hình khôi phục pixel. Sau đó fine-tune với ít nhãn hơn cho bài toán phân loại.

Ứng dụng Nâng cao 17 phút đọc bài thử tương tác
Ảnh minh hoạ cho VideoMAE 25 / 46
VideoMAE · Masked autoencoder Một khung hình, một câu hỏi.
01 Trực giác

Chuyện gì đang xảy ra?

Video có rất nhiều frame nhưng nhãn hành vi/trạng thái lại đắt. VideoMAE tận dụng dữ liệu chưa nhãn bằng cách che phần lớn các patch theo tube thời gian, rồi yêu cầu mô hình tái tạo phần bị che. Muốn làm được vậy, mô hình phải học cấu trúc và chuyển động của cảnh.

Mask theo tube (cùng vị trí qua nhiều frame) buộc mô hình dùng ngữ cảnh không gian và thời gian, không chỉ nội suy từ frame bên cạnh. Sau pretraining, bỏ decoder và gắn classification head, fine-tune trên tập nhãn nhỏ.

Với bài toán xe đỗ/chạy, VideoMAE có thể học dấu hiệu chuyển động tinh tế. Nhưng nếu clip quá ngắn hoặc mask quá nhiều, mô hình học background thay vì chuyển động; cần kiểm tra bằng saliency và thử trên camera khác.

Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.

02 Công thức

Viết lại bằng toán.

Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.

CÔNG THỨC / 01

Masked reconstruction

\[ \mathcal{L}=\frac{1}{|\mathcal{M}|}\sum_{p\in\mathcal{M}}\left\|I_p-\hat I_p\right\|^2 \]
  • M: tập patch bị che
  • I_p: pixel gốc
  • Î_p: pixel tái tạo

Chỉ tính loss trên vùng bị che, tương tự MAE cho ảnh.

CÔNG THỨC / 02

Tube masking

\[ \mathcal{M}=\{(x,y,t)\mid (x,y)\in S,\ \forall t\} \]
  • S: tập vị trí không gian bị che
  • Che cùng vị trí qua các frame

Buộc mô hình dùng thông tin không-thời gian thay vì sao chép frame.

03 Từng bước

Luồng xử lý bằng lời.

  1. 01

    Lấy clip

    Sample clip đều hoặc theo chuyển động; resize và chuẩn hoá.

  2. 02

    Che tube

    Chọn tỉ lệ mask, che cùng vị trí qua các frame.

  3. 03

    Pretrain

    Huấn luyện encoder-decoder tái tạo pixel trên dữ liệu chưa nhãn.

  4. 04

    Fine-tune

    Bỏ decoder, gắn head phân loại, huấn luyện với nhãn clip.

  5. 05

    Đánh giá

    Chia theo video/camera, đo F1 và kiểm tra shortcut.

04 Tham số

Núm vặn và cạm bẫy.

Tham sốÝ nghĩaKhoảng
mask_ratioTỉ lệ patch bị che.0.75…0.95
tubelet_sizeKích thước tube thời gian.2 / 4
clip_lenSố frame mỗi clip.8…16
pretrainedCheckpoint pretrain và dataset gốc.theo model
batchBatch clip; giới hạn bởi VRAM.1…8

! Cạm bẫy thường gặp

  • Mask ratio quá thấp làm bài toán dễ, mô hình không học chuyển động.
  • Dùng clip từ cùng video cho train/test gây rò rỉ.
  • Pretraining domain khác xa camera thật làm fine-tune kém hiệu quả.
  • Chi phí huấn luyện lớn; cần GPU và thời gian.
  • Nhãn clip mơ hồ làm mô hình học background.
05 Mã nguồn

Mã nguồn tối giản, không phải giả mã.

MÃ THAM KHẢO / videomae
import torch
from transformers import VideoMAEImageProcessor, VideoMAEForVideoClassification

processor = VideoMAEImageProcessor.from_pretrained("MCG-NJU/videomae-base")
model = VideoMAEForVideoClassification.from_pretrained(
    "MCG-NJU/videomae-base",
    num_labels=2,
    ignore_mismatched_sizes=True,
)

inputs = processor(frames, return_tensors="pt")
with torch.no_grad():
    logits = model(**inputs).logits
THƯ VIỆN: PYTORCH / TRANSFORMERS Đọc từ trên xuống · thử từng block
06 Thử

Điều chỉnh tham số.

Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.

CỤC BỘ / KHÔNG GỬI ẢNH
BÀN THỬ / 25 VideoMAE
SẴN SÀNG
KẾT QUẢ / TRỰC TIẾP —
Ảnh đầu vào mặc định
Bấm “Chạy thử” Kết quả sẽ xuất hiện ở đây.
TRẠNG THÁIChờ chạy
ĐẦU VÀO—
SỐ BƯỚC—
THỜI GIAN—
NHẬT KÝ / LUỒNG XỬ LÝ
$ bài thử chưa chạy
$ chọn ảnh và bấm “Chạy thử”
07 Ứng dụng

Dùng nó ở đâu?

DÙNG / 01

Phân loại hành vi/trạng thái khi ít nhãn.

DÙNG / 02

Học đặc trưng video từ dữ liệu chưa gán nhãn.

DÙNG / 03

Tiền huấn luyện cho hệ thống giám sát giao thông.