Chuyện gì đang xảy ra?
Flow cổ điển và nhiều mô hình CNN chỉ tìm điểm tương ứng trong một bán kính nhỏ. Nếu xe dịch chuyển hơn bán kính đó giữa hai frame, matching thất bại. GMFlow thay cửa sổ cục bộ bằng so khớp toàn ảnh: mỗi feature ở frame trước được so với mọi feature ở frame sau.
Transformer học cách chọn điểm tương ứng dựa trên ngữ cảnh, không chỉ màu lân cận. Sau bước matching, GMFlow tinh chỉnh flow ở độ phân giải cao để biên vật thể không bị nhoè. Đổi lại, attention toàn ảnh tốn bộ nhớ và khó chạy realtime ở độ phân giải lớn.
Trong video camera di động, GMFlow cho flow nền mượt hơn ở vùng trời và đường. Nhưng vùng texture lặp như hàng rào, cửa cuốn hoặc biển quảng cáo vẫn có thể khớp sai. Hãy kiểm tra bằng mask và so sánh với homography nền trước khi dùng để quyết định chuyển động.
Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.
Viết lại bằng toán.
Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.
Global matching
- q_i, k_j: query/key của hai frame
- P_ij: xác suất khớp
- x_j-x_i: vector dịch chuyển
Softmax toàn ảnh giúp tìm được chuyển động lớn nhưng chi phí O(N²).
Tinh chỉnh flow
- F: feature đa mức
- Refine: mạng học phần dư
- Giữ biên vật thể sắc hơn
Bước refine thường chạy ở độ phân giải cao nhưng phạm vi nhỏ.
Luồng xử lý bằng lời.
-
01
Trích feature
Dùng backbone chia sẻ cho hai frame; giữ feature độ phân giải thấp để matching.
-
02
Matching toàn ảnh
Tính attention giữa mọi feature, softmax để chọn điểm tương ứng.
-
03
Tinh chỉnh
Warp feature theo flow thô, tính phần dư và refine ở nhiều mức.
-
04
Lọc
Loại vector có độ lớn bất thường hoặc nằm trong vùng occlusion.
-
05
Đánh giá
Đo EPE/outlier trên cảnh thật, đặc biệt vùng chuyển động lớn và texture lặp.
Núm vặn và cạm bẫy.
| Tham số | Ý nghĩa | Khoảng |
|---|---|---|
num_scales | Số mức feature dùng cho matching/refine. | 2…4 |
attn_type | Kiểu attention toàn ảnh hoặc cửa sổ. | full / local |
max_flow | Giới hạn chuyển động tối đa cần tìm. | theo độ phân giải |
scale | Tỉ lệ resize đầu vào. | 0.5…1.0 |
fp16 | Half precision để giảm VRAM. | on / off |
! Cạm bẫy thường gặp
- Attention toàn ảnh tốn bộ nhớ; giảm độ phân giải hoặc dùng cửa sổ nếu thiếu VRAM.
- Texture lặp làm matching sai dù attention mạnh; cần kiểm tra nhất quán hai chiều.
- Model train trên synthetic có thể sai ở mưa, đêm và camera chất lượng thấp.
- Flow toàn ảnh không tự bù ego-motion; vẫn cần homography/essential matrix.
- Latency cao hơn RAFT cùng kích thước ở một số cấu hình.
Mã nguồn tối giản, không phải giả mã.
# GMFlow chạy qua repo chính thức; API dưới đây là minh hoạ.
import torch
model = torch.hub.load("autonomousvision/gmflow", "gmflow", pretrained=True).eval()
with torch.no_grad():
flow = model(a, b) # [1, 2, H, W]
flow = flow[0].permute(1, 2, 0).cpu().numpy()
Điều chỉnh tham số.
Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.
$ bài thử chưa chạy $ chọn ảnh và bấm “Chạy thử”
Dùng nó ở đâu?
Video có chuyển động lớn giữa hai frame.
Cảnh đường/phố cần flow nền mượt để bù camera.
Tiền xử lý cho tracking hoặc segmentation theo chuyển động.