Chuyện gì đang xảy ra?
Một clip có thể được xem như một lưới token: mỗi token là một patch ảnh tại một thời điểm. Attention đầy đủ trên mọi cặp token rất tốn kém. TimeSformer tách thành attention trong từng frame (không gian) và attention giữa các frame tại cùng vị trí (thời gian).
Cách tách này giữ được cả ngữ cảnh không gian và chuyển động theo thời gian với chi phí thấp hơn. Mô hình có thể học dấu hiệu như bánh xe quay, xe tiến gần, người đi qua hoặc thay đổi perspective.
Nhãn phải được định nghĩa theo clip, không chỉ theo frame. Một clip có thể chứa cả đoạn đỗ và chạy; cần ranh giới rõ ràng và chia train/test theo video để tránh rò rỉ dữ liệu.
Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.
Viết lại bằng toán.
Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.
Scaled dot-product attention
- Q, K, V: query, key, value
- d: số chiều
- Softmax theo trục token
Attention đầy đủ có chi phí bình phương theo số token.
Tách không gian - thời gian
- Attention trong frame trước
- Attention giữa các frame sau
- Giảm chi phí
Có thể xen kẽ hoặc dùng attention thời gian trước tùy biến thể.
Luồng xử lý bằng lời.
-
01
Cắt clip
Chọn 8–32 frame, sampling đều hoặc theo chuyển động; gán nhãn cho cả clip.
-
02
Token hoá
Chia frame thành patch, thêm embedding vị trí và thời gian.
-
03
Attention
Chạy attention không gian và thời gian qua các block.
-
04
Phân loại
Pool token, đưa qua head để dự đoán đỗ/chạy hoặc hành vi.
-
05
Đánh giá
Chia theo video/camera; đo F1, confusion và kiểm tra shortcut background.
Núm vặn và cạm bẫy.
| Tham số | Ý nghĩa | Khoảng |
|---|---|---|
clip_len | Số frame mỗi clip. | 8…32 |
frame_size | Kích thước ảnh/patch đầu vào. | 224 / 384 |
patch_size | Kích thước patch không gian. | 16 / 32 |
stride | Bước lấy mẫu frame trong clip. | 1…8 |
batch | Số clip mỗi batch; giới hạn bởi VRAM. | 1…8 |
! Cạm bẫy thường gặp
- Nhãn clip không nhất quán với ranh giới đỗ/chạy.
- Chia train/test theo frame gây rò rỉ; phải chia theo video/camera.
- Mô hình học background/logo thay vì chuyển động; kiểm tra bằng occlusion.
- Clip quá ngắn không đủ thấy chuyển động; quá dài tăng latency.
- Cần nhiều dữ liệu và GPU; baseline tracking + ego-motion rẻ hơn nhiều.
Mã nguồn tối giản, không phải giả mã.
import torch
from transformers import AutoImageProcessor, TimesformerForVideoClassification
processor = AutoImageProcessor.from_pretrained("facebook/timesformer-base-finetuned-k400")
model = TimesformerForVideoClassification.from_pretrained(
"facebook/timesformer-base-finetuned-k400",
num_labels=2,
ignore_mismatched_sizes=True,
).eval()
inputs = processor(list_of_frames, return_tensors="pt")
with torch.no_grad():
logits = model(**inputs).logits
label = logits.argmax(-1).item()
Điều chỉnh tham số.
Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.
$ bài thử chưa chạy $ chọn ảnh và bấm “Chạy thử”
Dùng nó ở đâu?
Phân loại clip xe đỗ/xe chạy hoặc hành vi trong bãi xe.
Nhận diện hành vi nguy hiểm, va chạm hoặc dừng khẩn cấp.
Học đặc trưng video thay cho feature thủ công.