CHƯƠNG 26 Học sâu & video

Video Swin Transformer

Video Swin mở rộng Swin Transformer sang video bằng cửa sổ attention 3D và dịch cửa sổ giữa các block. Cách này giữ được ngữ cảnh không-thời gian nhưng rẻ hơn attention toàn clip.

Ứng dụng Nâng cao 18 phút đọc bài thử tương tác
Ảnh minh hoạ cho Video Swin Transformer 26 / 46
Video Swin · 3D window Một khung hình, một câu hỏi.
01 Trực giác

Chuyện gì đang xảy ra?

Attention toàn clip rất tốn kém. Video Swin chia clip thành các cửa sổ 3D nhỏ và chỉ tính attention trong cửa sổ. Giữa các block, cửa sổ được dịch đi để thông tin lan sang vùng lân cận, tương tự Swin cho ảnh nhưng thêm chiều thời gian.

Cấu trúc phân cấp giúp mô hình học từ chi tiết đến ngữ cảnh rộng. Nó phù hợp cho phân loại hành vi, nhận diện chuyển động và các bài toán video cần độ chính xác cao hơn CNN thuần.

Đổi lại, việc chọn kích thước cửa sổ và độ dài clip ảnh hưởng lớn đến kết quả. Nếu cửa sổ quá nhỏ, mô hình không thấy chuyển động dài; quá lớn thì chi phí tăng. Cần thử trên dữ liệu đích thay vì dùng cấu hình mặc định.

Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.

02 Công thức

Viết lại bằng toán.

Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.

CÔNG THỨC / 01

3D window attention

\[ \mathrm{Attn}(Q,K,V),\qquad Q,K,V\in\mathbb{R}^{T_w\times H_w\times W_w\times d} \]
  • T_w, H_w, W_w: kích thước cửa sổ
  • d: số chiều token

Attention chỉ trong cửa sổ, giảm chi phí so với toàn clip.

CÔNG THỨC / 02

Shifted window

\[ \mathrm{SW\text{-}MSA}\rightarrow\mathrm{MSA} \]
  • Dịch cửa sổ giữa các block
  • Tạo kết nối giữa các vùng

Cần padding/mask để xử lý biên khi dịch cửa sổ.

03 Từng bước

Luồng xử lý bằng lời.

  1. 01

    Cắt clip

    Chọn độ dài clip và sampling; resize về kích thước model.

  2. 02

    Patch 3D

    Chia clip thành token không-thời gian.

  3. 03

    Window attention

    Chạy attention trong cửa sổ 3D, xen kẽ block dịch cửa sổ.

  4. 04

    Phân loại

    Pool đặc trưng và dự đoán nhãn clip.

  5. 05

    Đánh giá

    Đo F1/accuracy theo video, kiểm tra latency và bộ nhớ.

04 Tham số

Núm vặn và cạm bẫy.

Tham sốÝ nghĩaKhoảng
window_sizeKích thước cửa sổ 3D.2×7×7 … 8×7×7
patch_sizeKích thước patch không-thời gian.2×4×4 / 4×4×4
depthsSố block ở mỗi stage.theo model
clip_lenSố frame mỗi clip.8…32
batchBatch clip; giới hạn bởi VRAM.1…8

! Cạm bẫy thường gặp

  • Cửa sổ quá nhỏ không đủ thấy chuyển động dài.
  • Cấu hình pretrain khác số frame/kích thước ảnh làm giảm hiệu quả.
  • Chi phí tính toán tăng nhanh với clip dài.
  • Dữ liệu ít làm overfit; cần augmentation và chia đúng.
  • Export ONNX/TensorRT có thể gặp layer attention động.
05 Mã nguồn

Mã nguồn tối giản, không phải giả mã.

MÃ THAM KHẢO / video-swin
# Video Swin thường dùng MMAction2 hoặc checkpoint tương ứng.
# Cấu hình minh hoạ:
# model = dict(
#     type="Recognizer3D",
#     backbone=dict(type="SwinTransformer3D", pretrained="..."),
#     cls_head=dict(type="I3DHead", num_classes=2),
# )
THƯ VIỆN: PYTORCH / MMAction2 Đọc từ trên xuống · thử từng block
06 Thử

Điều chỉnh tham số.

Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.

CỤC BỘ / KHÔNG GỬI ẢNH
BÀN THỬ / 26 Video Swin Transformer
SẴN SÀNG
KẾT QUẢ / TRỰC TIẾP —
Ảnh đầu vào mặc định
Bấm “Chạy thử” Kết quả sẽ xuất hiện ở đây.
TRẠNG THÁIChờ chạy
ĐẦU VÀO—
SỐ BƯỚC—
THỜI GIAN—
NHẬT KÝ / LUỒNG XỬ LÝ
$ bài thử chưa chạy
$ chọn ảnh và bấm “Chạy thử”
07 Ứng dụng

Dùng nó ở đâu?

DÙNG / 01

Phân loại hành vi và trạng thái trong video giám sát.

DÙNG / 02

Nhận diện chuyển động phức tạp trong bãi xe.

DÙNG / 03

So sánh kiến trúc video transformer với CNN/TimeSformer.

ĐÃ ĐỌC XONG 26 / 46