CHƯƠNG 19 Học sâu & video

GMFlow

GMFlow dùng transformer để so khớp feature toàn ảnh, sau đó tinh chỉnh flow. Cách tiếp cận này xử lý chuyển động lớn và vùng lặp texture tốt hơn các phương pháp chỉ nhìn lân cận.

Ứng dụng Nâng cao 19 phút đọc bài thử tương tác
Ảnh minh hoạ cho GMFlow 19 / 46
GMFlow · Global matching Một khung hình, một câu hỏi.
01 Trực giác

Chuyện gì đang xảy ra?

Flow cổ điển và nhiều mô hình CNN chỉ tìm điểm tương ứng trong một bán kính nhỏ. Nếu xe dịch chuyển hơn bán kính đó giữa hai frame, matching thất bại. GMFlow thay cửa sổ cục bộ bằng so khớp toàn ảnh: mỗi feature ở frame trước được so với mọi feature ở frame sau.

Transformer học cách chọn điểm tương ứng dựa trên ngữ cảnh, không chỉ màu lân cận. Sau bước matching, GMFlow tinh chỉnh flow ở độ phân giải cao để biên vật thể không bị nhoè. Đổi lại, attention toàn ảnh tốn bộ nhớ và khó chạy realtime ở độ phân giải lớn.

Trong video camera di động, GMFlow cho flow nền mượt hơn ở vùng trời và đường. Nhưng vùng texture lặp như hàng rào, cửa cuốn hoặc biển quảng cáo vẫn có thể khớp sai. Hãy kiểm tra bằng mask và so sánh với homography nền trước khi dùng để quyết định chuyển động.

Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.

02 Công thức

Viết lại bằng toán.

Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.

CÔNG THỨC / 01

Global matching

\[ P_{ij}=\mathrm{softmax}_j\!\left(\frac{q_i^\top k_j}{\sqrt d}\right),\qquad \hat f_i=\sum_j P_{ij}(x_j-x_i) \]
  • q_i, k_j: query/key của hai frame
  • P_ij: xác suất khớp
  • x_j-x_i: vector dịch chuyển

Softmax toàn ảnh giúp tìm được chuyển động lớn nhưng chi phí O(N²).

CÔNG THỨC / 02

Tinh chỉnh flow

\[ f=\mathrm{Refine}(\hat f,\;F_{t-1},F_t) \]
  • F: feature đa mức
  • Refine: mạng học phần dư
  • Giữ biên vật thể sắc hơn

Bước refine thường chạy ở độ phân giải cao nhưng phạm vi nhỏ.

03 Từng bước

Luồng xử lý bằng lời.

  1. 01

    Trích feature

    Dùng backbone chia sẻ cho hai frame; giữ feature độ phân giải thấp để matching.

  2. 02

    Matching toàn ảnh

    Tính attention giữa mọi feature, softmax để chọn điểm tương ứng.

  3. 03

    Tinh chỉnh

    Warp feature theo flow thô, tính phần dư và refine ở nhiều mức.

  4. 04

    Lọc

    Loại vector có độ lớn bất thường hoặc nằm trong vùng occlusion.

  5. 05

    Đánh giá

    Đo EPE/outlier trên cảnh thật, đặc biệt vùng chuyển động lớn và texture lặp.

04 Tham số

Núm vặn và cạm bẫy.

Tham sốÝ nghĩaKhoảng
num_scalesSố mức feature dùng cho matching/refine.2…4
attn_typeKiểu attention toàn ảnh hoặc cửa sổ.full / local
max_flowGiới hạn chuyển động tối đa cần tìm.theo độ phân giải
scaleTỉ lệ resize đầu vào.0.5…1.0
fp16Half precision để giảm VRAM.on / off

! Cạm bẫy thường gặp

  • Attention toàn ảnh tốn bộ nhớ; giảm độ phân giải hoặc dùng cửa sổ nếu thiếu VRAM.
  • Texture lặp làm matching sai dù attention mạnh; cần kiểm tra nhất quán hai chiều.
  • Model train trên synthetic có thể sai ở mưa, đêm và camera chất lượng thấp.
  • Flow toàn ảnh không tự bù ego-motion; vẫn cần homography/essential matrix.
  • Latency cao hơn RAFT cùng kích thước ở một số cấu hình.
05 Mã nguồn

Mã nguồn tối giản, không phải giả mã.

MÃ THAM KHẢO / gmflow
# GMFlow chạy qua repo chính thức; API dưới đây là minh hoạ.
import torch

model = torch.hub.load("autonomousvision/gmflow", "gmflow", pretrained=True).eval()
with torch.no_grad():
    flow = model(a, b)  # [1, 2, H, W]
    flow = flow[0].permute(1, 2, 0).cpu().numpy()
THƯ VIỆN: PYTORCH / GMFLOW Đọc từ trên xuống · thử từng block
06 Thử

Điều chỉnh tham số.

Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.

CỤC BỘ / KHÔNG GỬI ẢNH
BÀN THỬ / 19 GMFlow
SẴN SÀNG
KẾT QUẢ / TRỰC TIẾP —
Ảnh đầu vào mặc định
Bấm “Chạy thử” Kết quả sẽ xuất hiện ở đây.
TRẠNG THÁIChờ chạy
ĐẦU VÀO—
SỐ BƯỚC—
THỜI GIAN—
NHẬT KÝ / LUỒNG XỬ LÝ
$ bài thử chưa chạy
$ chọn ảnh và bấm “Chạy thử”
07 Ứng dụng

Dùng nó ở đâu?

DÙNG / 01

Video có chuyển động lớn giữa hai frame.

DÙNG / 02

Cảnh đường/phố cần flow nền mượt để bù camera.

DÙNG / 03

Tiền xử lý cho tracking hoặc segmentation theo chuyển động.

ĐÃ ĐỌC XONG 19 / 46