Chuyện gì đang xảy ra?
Attention toàn clip rất tốn kém. Video Swin chia clip thành các cửa sổ 3D nhỏ và chỉ tính attention trong cửa sổ. Giữa các block, cửa sổ được dịch đi để thông tin lan sang vùng lân cận, tương tự Swin cho ảnh nhưng thêm chiều thời gian.
Cấu trúc phân cấp giúp mô hình học từ chi tiết đến ngữ cảnh rộng. Nó phù hợp cho phân loại hành vi, nhận diện chuyển động và các bài toán video cần độ chính xác cao hơn CNN thuần.
Đổi lại, việc chọn kích thước cửa sổ và độ dài clip ảnh hưởng lớn đến kết quả. Nếu cửa sổ quá nhỏ, mô hình không thấy chuyển động dài; quá lớn thì chi phí tăng. Cần thử trên dữ liệu đích thay vì dùng cấu hình mặc định.
Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.
Viết lại bằng toán.
Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.
3D window attention
- T_w, H_w, W_w: kích thước cửa sổ
- d: số chiều token
Attention chỉ trong cửa sổ, giảm chi phí so với toàn clip.
Shifted window
- Dịch cửa sổ giữa các block
- Tạo kết nối giữa các vùng
Cần padding/mask để xử lý biên khi dịch cửa sổ.
Luồng xử lý bằng lời.
-
01
Cắt clip
Chọn độ dài clip và sampling; resize về kích thước model.
-
02
Patch 3D
Chia clip thành token không-thời gian.
-
03
Window attention
Chạy attention trong cửa sổ 3D, xen kẽ block dịch cửa sổ.
-
04
Phân loại
Pool đặc trưng và dự đoán nhãn clip.
-
05
Đánh giá
Đo F1/accuracy theo video, kiểm tra latency và bộ nhớ.
Núm vặn và cạm bẫy.
| Tham số | Ý nghĩa | Khoảng |
|---|---|---|
window_size | Kích thước cửa sổ 3D. | 2×7×7 … 8×7×7 |
patch_size | Kích thước patch không-thời gian. | 2×4×4 / 4×4×4 |
depths | Số block ở mỗi stage. | theo model |
clip_len | Số frame mỗi clip. | 8…32 |
batch | Batch clip; giới hạn bởi VRAM. | 1…8 |
! Cạm bẫy thường gặp
- Cửa sổ quá nhỏ không đủ thấy chuyển động dài.
- Cấu hình pretrain khác số frame/kích thước ảnh làm giảm hiệu quả.
- Chi phí tính toán tăng nhanh với clip dài.
- Dữ liệu ít làm overfit; cần augmentation và chia đúng.
- Export ONNX/TensorRT có thể gặp layer attention động.
Mã nguồn tối giản, không phải giả mã.
# Video Swin thường dùng MMAction2 hoặc checkpoint tương ứng.
# Cấu hình minh hoạ:
# model = dict(
# type="Recognizer3D",
# backbone=dict(type="SwinTransformer3D", pretrained="..."),
# cls_head=dict(type="I3DHead", num_classes=2),
# )
Điều chỉnh tham số.
Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.
$ bài thử chưa chạy $ chọn ảnh và bấm “Chạy thử”
Dùng nó ở đâu?
Phân loại hành vi và trạng thái trong video giám sát.
Nhận diện chuyển động phức tạp trong bãi xe.
So sánh kiến trúc video transformer với CNN/TimeSformer.