CHƯƠNG 18 Học sâu & video

RAFT

RAFT xây cost volume bằng tương quan giữa mọi cặp feature của hai frame, rồi dùng một mạng recurrent để lặp cập nhật flow. Cách này giữ được thông tin toàn ảnh, xử lý occlusion và chuyển động lớn tốt hơn flow cổ điển.

Ứng dụng Nâng cao 20 phút đọc bài thử tương tác
Ảnh minh hoạ cho RAFT 18 / 46
RAFT · Cost volume Một khung hình, một câu hỏi.
01 Trực giác

Chuyện gì đang xảy ra?

Optical flow là trường vector cho biết mỗi pixel ở frame trước đã đi đâu ở frame sau. Flow cổ điển dựa trên giả định độ sáng không đổi và chỉ so khớp trong một cửa sổ nhỏ. Khi vật thể di chuyển nhanh hoặc texture yếu, cửa sổ đó không đủ.

RAFT trích feature từ hai frame, tính tương quan giữa mọi cặp vị trí để tạo cost volume, rồi dùng một mạng GRU lặp lại: nhìn cost volume, nhìn flow hiện tại, đề xuất phần cần chỉnh. Sau nhiều vòng, flow hội tụ dần thay vì được dự đoán một lần.

Với camera di chuyển, flow nền chứa ego-motion; flow của xe chạy lệch khỏi nền. RAFT cho flow dày đặc, nhưng không tự tách hai thành phần. Muốn kết luận đỗ/chạy, vẫn phải ước lượng homography hoặc essential matrix từ vùng nền rồi so sánh.

Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.

02 Công thức

Viết lại bằng toán.

Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.

CÔNG THỨC / 01

Cost volume tương quan

\[ C_{ij}=\langle f_i,g_j\rangle,\qquad C\in\mathbb{R}^{H\times W\times H\times W} \]
  • f_i: feature frame trước tại vị trí i
  • g_j: feature frame sau tại vị trí j
  • C: độ giống mọi cặp

Cost volume toàn ảnh rất lớn; RAFT giảm chiều và dùng look-up đa mức.

CÔNG THỨC / 02

Cập nhật flow lặp

\[ f^{k+1}=f^k+\Delta f^k,\qquad \Delta f^k=\mathrm{GRU}(C,f^k,h^k) \]
  • f^k: flow ở vòng k
  • h^k: trạng thái ẩn
  • Δf: phần chỉnh

Số vòng lặp là tham số đánh đổi độ chính xác và latency.

03 Từng bước

Luồng xử lý bằng lời.

  1. 01

    Chuẩn bị cặp frame

    Resize về kích thước chia hết cho 8, chuẩn hoá màu và ghi lại scale.

  2. 02

    Trích feature

    Dùng encoder dùng chung cho hai frame; giữ feature đa mức.

  3. 03

    Xây cost volume

    Tính tương quan ở nhiều mức; tạo look-up cho các vị trí lân cận.

  4. 04

    Lặp cập nhật

    Chạy GRU nhiều vòng, mỗi vòng cập nhật flow và trạng thái ẩn.

  5. 05

    Đánh giá

    Đo EPE/outlier, kiểm tra vùng biên, occlusion và vùng trời trước khi dùng.

04 Tham số

Núm vặn và cạm bẫy.

Tham sốÝ nghĩaKhoảng
itersSố vòng cập nhật flow.4…24
scaleTỉ lệ resize đầu vào.0.5…1.0
mixed_precisionDùng FP16 để giảm VRAM.on / off
corr_levelsSố mức của cost volume.2…4
corr_radiusBán kính look-up tương quan.2…6

! Cạm bẫy thường gặp

  • Flow thô chưa trừ ego-motion không cho biết xe có chạy hay không.
  • Model train trên ảnh tổng hợp dễ sai khi gặp mưa, đêm hoặc JPEG nén mạnh.
  • Resize sai tỉ lệ làm vector flow sai đơn vị khi chiếu về ảnh gốc.
  • Occlusion và biên ảnh tạo vector rác; cần mask trước khi lấy trung bình.
  • Tăng số vòng lặp cải thiện độ chính xác nhưng tăng latency; đo trên thiết bị đích.
05 Mã nguồn

Mã nguồn tối giản, không phải giả mã.

MÃ THAM KHẢO / raft
import torch
from torchvision.models.optical_flow import raft_large, Raft_Large_Weights

weights = Raft_Large_Weights.DEFAULT
model = raft_large(weights=weights, progress=False).eval()

# a, b: tensor [1, 3, H, W], giá trị 0..1
with torch.no_grad():
    flow_predictions = model(a, b, num_flow_updates=12)
    flow = flow_predictions[-1][0]  # [2, H, W] theo pixel
THƯ VIỆN: PYTORCH / TORCHVISION Đọc từ trên xuống · thử từng block
06 Thử

Điều chỉnh tham số.

Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.

CỤC BỘ / KHÔNG GỬI ẢNH
BÀN THỬ / 18 RAFT
SẴN SÀNG
KẾT QUẢ / TRỰC TIẾP —
Ảnh đầu vào mặc định
Bấm “Chạy thử” Kết quả sẽ xuất hiện ở đây.
TRẠNG THÁIChờ chạy
ĐẦU VÀO—
SỐ BƯỚC—
THỜI GIAN—
NHẬT KÝ / LUỒNG XỬ LÝ
$ bài thử chưa chạy
$ chọn ảnh và bấm “Chạy thử”
07 Ứng dụng

Dùng nó ở đâu?

DÙNG / 01

Bù chuyển động camera và tách vật thể chuyển động.

DÙNG / 02

Theo dõi vật thể nhỏ qua frame có chuyển động lớn.

DÙNG / 03

Tạo mask chuyển động cho pipeline tracking/segmentation.

ĐÃ ĐỌC XONG 18 / 46