Chuyện gì đang xảy ra?
Cost volume chứa tất cả giả thuyết khớp giữa hai frame, nhưng thô và nhiều nhiễu. Các phương pháp trước thường tra cứu cục bộ quanh vị trí hiện tại. FlowFormer nén cost volume thành token, dùng transformer để chia sẻ ngữ cảnh giữa các vùng, rồi mới quyết định flow.
Attention giúp phân biệt một điểm thật với nhiều điểm giống nhau do texture lặp. Mạng decoder lặp lại để tinh chỉnh flow và ước lượng độ tin cậy/occlusion. Vì vậy FlowFormer thường cho biên vật thể và vùng bị che tốt hơn flow CNN.
Đổi lại, chi phí bộ nhớ tăng theo số token và độ phân giải. Trong pipeline thời gian thực, FlowFormer thường được chạy ở độ phân giải thấp hoặc trên GPU rời. Nếu mục tiêu chỉ là bù camera, một homography từ feature cổ điển có thể đã đủ và rẻ hơn nhiều.
Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.
Viết lại bằng toán.
Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.
Cost memory
- C: cost volume
- M: token ngữ cảnh
- Decoder cập nhật flow lặp
Attention học quan hệ giữa các vùng, không chỉ giữa pixel lân cận.
Occlusion/confidence
- ô: xác suất bị che
- L_flow: sai số flow
- L_occ: giám sát occlusion
Mask occlusion giúp loại vector rác trước khi lấy trung bình vùng.
Luồng xử lý bằng lời.
-
01
Trích feature
Dùng backbone CNN cho hai frame và feature đa mức.
-
02
Xây cost volume
Tính tương quan feature, giới hạn bán kính hoặc độ phân giải.
-
03
Encode ngữ cảnh
Chuyển cost volume thành token, chạy transformer encoder.
-
04
Decode flow
Lặp decoder để cập nhật flow, confidence và occlusion.
-
05
Hậu xử lý
Lọc vector outlier, làm mượt nhẹ, kiểm tra biên vật thể.
Núm vặn và cạm bẫy.
| Tham số | Ý nghĩa | Khoảng |
|---|---|---|
model | FlowFormer hoặc biến thể (C/T/S) và checkpoint. | theo model |
iters | Số vòng decoder. | 4…12 |
latent_dim | Số chiều token cost volume. | 128…256 |
scale | Tỉ lệ resize đầu vào. | 0.5…1.0 |
fp16 | Half precision trên GPU. | on / off |
! Cạm bẫy thường gặp
- VRAM tăng nhanh theo độ phân giải; giảm scale trước khi tăng batch.
- Occlusion mask sai làm mất vector đúng ở biên vật thể.
- Domain shift từ synthetic sang camera thật vẫn là vấn đề lớn.
- Không có ego-motion compensation thì flow vẫn không trả lời xe đỗ/chạy.
- Model nặng khó chạy realtime trên thiết bị biên chưa tối ưu.
Mã nguồn tối giản, không phải giả mã.
# FlowFormer cần repo/checkpoint riêng; API dưới đây là minh hoạ.
import torch
model = torch.hub.load("czg1225/FlowFormer", "flowformer", pretrained=True).eval()
with torch.no_grad():
flow, confidence = model(a, b)
Điều chỉnh tham số.
Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.
$ bài thử chưa chạy $ chọn ảnh và bấm “Chạy thử”
Dùng nó ở đâu?
Phân tích chuyển động trong video phức tạp, nhiều vật thể.
Tạo flow/occlusion mask cho pipeline tách vật thể.
Nghiên cứu và đánh giá chất lượng flow trên dữ liệu thật.