CHƯƠNG 24 Học sâu & video

TimeSformer

TimeSformer chia clip thành các patch không-thời gian và áp dụng attention theo hai trục: không gian rồi thời gian. Cách tách này giảm chi phí so với attention đầy đủ, phù hợp để phân loại hành vi hoặc trạng thái xe trong clip.

Ứng dụng Nâng cao 17 phút đọc bài thử tương tác
Ảnh minh hoạ cho TimeSformer 24 / 46
TimeSformer · Video transformer Một khung hình, một câu hỏi.
01 Trực giác

Chuyện gì đang xảy ra?

Một clip có thể được xem như một lưới token: mỗi token là một patch ảnh tại một thời điểm. Attention đầy đủ trên mọi cặp token rất tốn kém. TimeSformer tách thành attention trong từng frame (không gian) và attention giữa các frame tại cùng vị trí (thời gian).

Cách tách này giữ được cả ngữ cảnh không gian và chuyển động theo thời gian với chi phí thấp hơn. Mô hình có thể học dấu hiệu như bánh xe quay, xe tiến gần, người đi qua hoặc thay đổi perspective.

Nhãn phải được định nghĩa theo clip, không chỉ theo frame. Một clip có thể chứa cả đoạn đỗ và chạy; cần ranh giới rõ ràng và chia train/test theo video để tránh rò rỉ dữ liệu.

Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.

02 Công thức

Viết lại bằng toán.

Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.

CÔNG THỨC / 01

Scaled dot-product attention

\[ \mathrm{Attn}(Q,K,V)=\mathrm{softmax}\!\left(\frac{QK^\top}{\sqrt d}\right)V \]
  • Q, K, V: query, key, value
  • d: số chiều
  • Softmax theo trục token

Attention đầy đủ có chi phí bình phương theo số token.

CÔNG THỨC / 02

Tách không gian - thời gian

\[ \mathrm{Attn}_{space}\rightarrow\mathrm{Attn}_{time} \]
  • Attention trong frame trước
  • Attention giữa các frame sau
  • Giảm chi phí

Có thể xen kẽ hoặc dùng attention thời gian trước tùy biến thể.

03 Từng bước

Luồng xử lý bằng lời.

  1. 01

    Cắt clip

    Chọn 8–32 frame, sampling đều hoặc theo chuyển động; gán nhãn cho cả clip.

  2. 02

    Token hoá

    Chia frame thành patch, thêm embedding vị trí và thời gian.

  3. 03

    Attention

    Chạy attention không gian và thời gian qua các block.

  4. 04

    Phân loại

    Pool token, đưa qua head để dự đoán đỗ/chạy hoặc hành vi.

  5. 05

    Đánh giá

    Chia theo video/camera; đo F1, confusion và kiểm tra shortcut background.

04 Tham số

Núm vặn và cạm bẫy.

Tham sốÝ nghĩaKhoảng
clip_lenSố frame mỗi clip.8…32
frame_sizeKích thước ảnh/patch đầu vào.224 / 384
patch_sizeKích thước patch không gian.16 / 32
strideBước lấy mẫu frame trong clip.1…8
batchSố clip mỗi batch; giới hạn bởi VRAM.1…8

! Cạm bẫy thường gặp

  • Nhãn clip không nhất quán với ranh giới đỗ/chạy.
  • Chia train/test theo frame gây rò rỉ; phải chia theo video/camera.
  • Mô hình học background/logo thay vì chuyển động; kiểm tra bằng occlusion.
  • Clip quá ngắn không đủ thấy chuyển động; quá dài tăng latency.
  • Cần nhiều dữ liệu và GPU; baseline tracking + ego-motion rẻ hơn nhiều.
05 Mã nguồn

Mã nguồn tối giản, không phải giả mã.

MÃ THAM KHẢO / timesformer
import torch
from transformers import AutoImageProcessor, TimesformerForVideoClassification

processor = AutoImageProcessor.from_pretrained("facebook/timesformer-base-finetuned-k400")
model = TimesformerForVideoClassification.from_pretrained(
    "facebook/timesformer-base-finetuned-k400",
    num_labels=2,
    ignore_mismatched_sizes=True,
).eval()

inputs = processor(list_of_frames, return_tensors="pt")
with torch.no_grad():
    logits = model(**inputs).logits
    label = logits.argmax(-1).item()
THƯ VIỆN: PYTORCH / TRANSFORMERS Đọc từ trên xuống · thử từng block
06 Thử

Điều chỉnh tham số.

Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.

CỤC BỘ / KHÔNG GỬI ẢNH
BÀN THỬ / 24 TimeSformer
SẴN SÀNG
KẾT QUẢ / TRỰC TIẾP —
Ảnh đầu vào mặc định
Bấm “Chạy thử” Kết quả sẽ xuất hiện ở đây.
TRẠNG THÁIChờ chạy
ĐẦU VÀO—
SỐ BƯỚC—
THỜI GIAN—
NHẬT KÝ / LUỒNG XỬ LÝ
$ bài thử chưa chạy
$ chọn ảnh và bấm “Chạy thử”
07 Ứng dụng

Dùng nó ở đâu?

DÙNG / 01

Phân loại clip xe đỗ/xe chạy hoặc hành vi trong bãi xe.

DÙNG / 02

Nhận diện hành vi nguy hiểm, va chạm hoặc dừng khẩn cấp.

DÙNG / 03

Học đặc trưng video thay cho feature thủ công.

ĐÃ ĐỌC XONG 24 / 46