Chuyện gì đang xảy ra?
Video có rất nhiều frame nhưng nhãn hành vi/trạng thái lại đắt. VideoMAE tận dụng dữ liệu chưa nhãn bằng cách che phần lớn các patch theo tube thời gian, rồi yêu cầu mô hình tái tạo phần bị che. Muốn làm được vậy, mô hình phải học cấu trúc và chuyển động của cảnh.
Mask theo tube (cùng vị trí qua nhiều frame) buộc mô hình dùng ngữ cảnh không gian và thời gian, không chỉ nội suy từ frame bên cạnh. Sau pretraining, bỏ decoder và gắn classification head, fine-tune trên tập nhãn nhỏ.
Với bài toán xe đỗ/chạy, VideoMAE có thể học dấu hiệu chuyển động tinh tế. Nhưng nếu clip quá ngắn hoặc mask quá nhiều, mô hình học background thay vì chuyển động; cần kiểm tra bằng saliency và thử trên camera khác.
Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.
Viết lại bằng toán.
Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.
Masked reconstruction
- M: tập patch bị che
- I_p: pixel gốc
- Î_p: pixel tái tạo
Chỉ tính loss trên vùng bị che, tương tự MAE cho ảnh.
Tube masking
- S: tập vị trí không gian bị che
- Che cùng vị trí qua các frame
Buộc mô hình dùng thông tin không-thời gian thay vì sao chép frame.
Luồng xử lý bằng lời.
-
01
Lấy clip
Sample clip đều hoặc theo chuyển động; resize và chuẩn hoá.
-
02
Che tube
Chọn tỉ lệ mask, che cùng vị trí qua các frame.
-
03
Pretrain
Huấn luyện encoder-decoder tái tạo pixel trên dữ liệu chưa nhãn.
-
04
Fine-tune
Bỏ decoder, gắn head phân loại, huấn luyện với nhãn clip.
-
05
Đánh giá
Chia theo video/camera, đo F1 và kiểm tra shortcut.
Núm vặn và cạm bẫy.
| Tham số | Ý nghĩa | Khoảng |
|---|---|---|
mask_ratio | Tỉ lệ patch bị che. | 0.75…0.95 |
tubelet_size | Kích thước tube thời gian. | 2 / 4 |
clip_len | Số frame mỗi clip. | 8…16 |
pretrained | Checkpoint pretrain và dataset gốc. | theo model |
batch | Batch clip; giới hạn bởi VRAM. | 1…8 |
! Cạm bẫy thường gặp
- Mask ratio quá thấp làm bài toán dễ, mô hình không học chuyển động.
- Dùng clip từ cùng video cho train/test gây rò rỉ.
- Pretraining domain khác xa camera thật làm fine-tune kém hiệu quả.
- Chi phí huấn luyện lớn; cần GPU và thời gian.
- Nhãn clip mơ hồ làm mô hình học background.
Mã nguồn tối giản, không phải giả mã.
import torch
from transformers import VideoMAEImageProcessor, VideoMAEForVideoClassification
processor = VideoMAEImageProcessor.from_pretrained("MCG-NJU/videomae-base")
model = VideoMAEForVideoClassification.from_pretrained(
"MCG-NJU/videomae-base",
num_labels=2,
ignore_mismatched_sizes=True,
)
inputs = processor(frames, return_tensors="pt")
with torch.no_grad():
logits = model(**inputs).logits
Điều chỉnh tham số.
Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.
$ bài thử chưa chạy $ chọn ảnh và bấm “Chạy thử”
Dùng nó ở đâu?
Phân loại hành vi/trạng thái khi ít nhãn.
Học đặc trưng video từ dữ liệu chưa gán nhãn.
Tiền huấn luyện cho hệ thống giám sát giao thông.