Chuyện gì đang xảy ra?
Optical flow là trường vector cho biết mỗi pixel ở frame trước đã đi đâu ở frame sau. Flow cổ điển dựa trên giả định độ sáng không đổi và chỉ so khớp trong một cửa sổ nhỏ. Khi vật thể di chuyển nhanh hoặc texture yếu, cửa sổ đó không đủ.
RAFT trích feature từ hai frame, tính tương quan giữa mọi cặp vị trí để tạo cost volume, rồi dùng một mạng GRU lặp lại: nhìn cost volume, nhìn flow hiện tại, đề xuất phần cần chỉnh. Sau nhiều vòng, flow hội tụ dần thay vì được dự đoán một lần.
Với camera di chuyển, flow nền chứa ego-motion; flow của xe chạy lệch khỏi nền. RAFT cho flow dày đặc, nhưng không tự tách hai thành phần. Muốn kết luận đỗ/chạy, vẫn phải ước lượng homography hoặc essential matrix từ vùng nền rồi so sánh.
Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.
Viết lại bằng toán.
Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.
Cost volume tương quan
- f_i: feature frame trước tại vị trí i
- g_j: feature frame sau tại vị trí j
- C: độ giống mọi cặp
Cost volume toàn ảnh rất lớn; RAFT giảm chiều và dùng look-up đa mức.
Cập nhật flow lặp
- f^k: flow ở vòng k
- h^k: trạng thái ẩn
- Δf: phần chỉnh
Số vòng lặp là tham số đánh đổi độ chính xác và latency.
Luồng xử lý bằng lời.
-
01
Chuẩn bị cặp frame
Resize về kích thước chia hết cho 8, chuẩn hoá màu và ghi lại scale.
-
02
Trích feature
Dùng encoder dùng chung cho hai frame; giữ feature đa mức.
-
03
Xây cost volume
Tính tương quan ở nhiều mức; tạo look-up cho các vị trí lân cận.
-
04
Lặp cập nhật
Chạy GRU nhiều vòng, mỗi vòng cập nhật flow và trạng thái ẩn.
-
05
Đánh giá
Đo EPE/outlier, kiểm tra vùng biên, occlusion và vùng trời trước khi dùng.
Núm vặn và cạm bẫy.
| Tham số | Ý nghĩa | Khoảng |
|---|---|---|
iters | Số vòng cập nhật flow. | 4…24 |
scale | Tỉ lệ resize đầu vào. | 0.5…1.0 |
mixed_precision | Dùng FP16 để giảm VRAM. | on / off |
corr_levels | Số mức của cost volume. | 2…4 |
corr_radius | Bán kính look-up tương quan. | 2…6 |
! Cạm bẫy thường gặp
- Flow thô chưa trừ ego-motion không cho biết xe có chạy hay không.
- Model train trên ảnh tổng hợp dễ sai khi gặp mưa, đêm hoặc JPEG nén mạnh.
- Resize sai tỉ lệ làm vector flow sai đơn vị khi chiếu về ảnh gốc.
- Occlusion và biên ảnh tạo vector rác; cần mask trước khi lấy trung bình.
- Tăng số vòng lặp cải thiện độ chính xác nhưng tăng latency; đo trên thiết bị đích.
Mã nguồn tối giản, không phải giả mã.
import torch
from torchvision.models.optical_flow import raft_large, Raft_Large_Weights
weights = Raft_Large_Weights.DEFAULT
model = raft_large(weights=weights, progress=False).eval()
# a, b: tensor [1, 3, H, W], giá trị 0..1
with torch.no_grad():
flow_predictions = model(a, b, num_flow_updates=12)
flow = flow_predictions[-1][0] # [2, H, W] theo pixel
Điều chỉnh tham số.
Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.
$ bài thử chưa chạy $ chọn ảnh và bấm “Chạy thử”
Dùng nó ở đâu?
Bù chuyển động camera và tách vật thể chuyển động.
Theo dõi vật thể nhỏ qua frame có chuyển động lớn.
Tạo mask chuyển động cho pipeline tracking/segmentation.