CHƯƠNG 20 Học sâu & video

FlowFormer

FlowFormer biến cost volume thành các token và dùng attention để học quan hệ toàn cục, sau đó giải mã flow bằng một mạng recurrent. Nó mạnh ở vùng occlusion, texture lặp và chuyển động phức tạp nhưng cần GPU lớn.

Ứng dụng Nâng cao 19 phút đọc bài thử tương tác
Ảnh minh hoạ cho FlowFormer 20 / 46
FlowFormer · Cost volume Một khung hình, một câu hỏi.
01 Trực giác

Chuyện gì đang xảy ra?

Cost volume chứa tất cả giả thuyết khớp giữa hai frame, nhưng thô và nhiều nhiễu. Các phương pháp trước thường tra cứu cục bộ quanh vị trí hiện tại. FlowFormer nén cost volume thành token, dùng transformer để chia sẻ ngữ cảnh giữa các vùng, rồi mới quyết định flow.

Attention giúp phân biệt một điểm thật với nhiều điểm giống nhau do texture lặp. Mạng decoder lặp lại để tinh chỉnh flow và ước lượng độ tin cậy/occlusion. Vì vậy FlowFormer thường cho biên vật thể và vùng bị che tốt hơn flow CNN.

Đổi lại, chi phí bộ nhớ tăng theo số token và độ phân giải. Trong pipeline thời gian thực, FlowFormer thường được chạy ở độ phân giải thấp hoặc trên GPU rời. Nếu mục tiêu chỉ là bù camera, một homography từ feature cổ điển có thể đã đủ và rẻ hơn nhiều.

Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.

02 Công thức

Viết lại bằng toán.

Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.

CÔNG THỨC / 01

Cost memory

\[ M=\mathrm{Transformer}(C),\qquad f^{k+1}=f^k+\mathrm{Decoder}(M,f^k) \]
  • C: cost volume
  • M: token ngữ cảnh
  • Decoder cập nhật flow lặp

Attention học quan hệ giữa các vùng, không chỉ giữa pixel lân cận.

CÔNG THỨC / 02

Occlusion/confidence

\[ \hat o=\sigma(h_\theta(M,f)),\qquad \mathcal{L}=\mathcal{L}_{flow}+\lambda\mathcal{L}_{occ} \]
  • ô: xác suất bị che
  • L_flow: sai số flow
  • L_occ: giám sát occlusion

Mask occlusion giúp loại vector rác trước khi lấy trung bình vùng.

03 Từng bước

Luồng xử lý bằng lời.

  1. 01

    Trích feature

    Dùng backbone CNN cho hai frame và feature đa mức.

  2. 02

    Xây cost volume

    Tính tương quan feature, giới hạn bán kính hoặc độ phân giải.

  3. 03

    Encode ngữ cảnh

    Chuyển cost volume thành token, chạy transformer encoder.

  4. 04

    Decode flow

    Lặp decoder để cập nhật flow, confidence và occlusion.

  5. 05

    Hậu xử lý

    Lọc vector outlier, làm mượt nhẹ, kiểm tra biên vật thể.

04 Tham số

Núm vặn và cạm bẫy.

Tham sốÝ nghĩaKhoảng
modelFlowFormer hoặc biến thể (C/T/S) và checkpoint.theo model
itersSố vòng decoder.4…12
latent_dimSố chiều token cost volume.128…256
scaleTỉ lệ resize đầu vào.0.5…1.0
fp16Half precision trên GPU.on / off

! Cạm bẫy thường gặp

  • VRAM tăng nhanh theo độ phân giải; giảm scale trước khi tăng batch.
  • Occlusion mask sai làm mất vector đúng ở biên vật thể.
  • Domain shift từ synthetic sang camera thật vẫn là vấn đề lớn.
  • Không có ego-motion compensation thì flow vẫn không trả lời xe đỗ/chạy.
  • Model nặng khó chạy realtime trên thiết bị biên chưa tối ưu.
05 Mã nguồn

Mã nguồn tối giản, không phải giả mã.

MÃ THAM KHẢO / flowformer
# FlowFormer cần repo/checkpoint riêng; API dưới đây là minh hoạ.
import torch

model = torch.hub.load("czg1225/FlowFormer", "flowformer", pretrained=True).eval()
with torch.no_grad():
    flow, confidence = model(a, b)
THƯ VIỆN: PYTORCH / FLOWFORMER Đọc từ trên xuống · thử từng block
06 Thử

Điều chỉnh tham số.

Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.

CỤC BỘ / KHÔNG GỬI ẢNH
BÀN THỬ / 20 FlowFormer
SẴN SÀNG
KẾT QUẢ / TRỰC TIẾP —
Ảnh đầu vào mặc định
Bấm “Chạy thử” Kết quả sẽ xuất hiện ở đây.
TRẠNG THÁIChờ chạy
ĐẦU VÀO—
SỐ BƯỚC—
THỜI GIAN—
NHẬT KÝ / LUỒNG XỬ LÝ
$ bài thử chưa chạy
$ chọn ảnh và bấm “Chạy thử”
07 Ứng dụng

Dùng nó ở đâu?

DÙNG / 01

Phân tích chuyển động trong video phức tạp, nhiều vật thể.

DÙNG / 02

Tạo flow/occlusion mask cho pipeline tách vật thể.

DÙNG / 03

Nghiên cứu và đánh giá chất lượng flow trên dữ liệu thật.

ĐÃ ĐỌC XONG 20 / 46