CHƯƠNG 11 Hình học & chuyển động

Luồng quang học

Optical flow ước lượng vector dịch chuyển của từng pixel giữa hai frame. Nó giả định cường độ sáng của một điểm không đổi khi điểm đó di chuyển — một giả định đẹp nhưng thường bị phá vỡ bởi ánh sáng, occlusion và bề mặt không texture.

Hình học & chuyển động Nâng cao 22 phút đọc bài thử tương tác
Ảnh minh hoạ cho Luồng quang học 11 / 46
Lucas–Kanade · Farnebäck Một khung hình, một câu hỏi.
01 Trực giác

Chuyện gì đang xảy ra?

Cho hai frame liên tiếp, mắt ta thấy xe dịch sang phải, người đi sang trái, nền đứng yên. Optical flow cố gắng gán cho mỗi pixel một vector (u, v) mô tả nó đã dịch bao nhiêu theo x và y. Vector này là chuyển động biểu kiến trên ảnh, không nhất thiết là chuyển động 3D thật.

Giả định cốt lõi là brightness constancy: một điểm vật thể giữ nguyên màu/sáng khi nó di chuyển. Khai triển Taylor cho ta phương trình flow cơ bản Ix·u + Iy·v + It = 0. Một phương trình, hai ẩn — bài toán không xác định. Đó là aperture problem: trong một cửa sổ nhỏ, ta chỉ biết chuyển động vuông góc với biên, không biết dọc theo biên.

Lucas–Kanade giải bằng cách giả định vector flow gần như không đổi trong một cửa sổ nhỏ, rồi giải bình phương tối thiểu. Nó phù hợp với chuyển động nhỏ và texture tốt; để xử lý chuyển động lớn, ta dùng pyramid nhiều tầng. Farnebäck mô hình hoá vùng lân cận bằng đa thức bậc hai và cho flow dày đặc, mượt hơn.

Flow rất hữu ích để phát hiện vật thể chuyển động, ổn định video, nội suy frame và theo dõi. Nhưng đừng dùng nó như tốc độ thật của xe: camera rung, vật thể xoay, bóng đổ và ánh sáng thay đổi đều tạo flow giả.

Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.

02 Công thức

Viết lại bằng toán.

Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.

CÔNG THỨC / 01

Brightness constancy

\[ I(x,y,t) = I(x+u,\; y+v,\; t+1) \]
  • I: cường độ sáng
  • (u, v): vector dịch chuyển
  • Giả định điểm giữ nguyên độ sáng

Đây là giả định trung tâm của hầu hết phương pháp flow cổ điển.

CÔNG THỨC / 02

Phương trình flow cơ bản

\[ I_xu + I_yv + I_t = 0 \]
  • Ix, Iy: đạo hàm không gian
  • It: đạo hàm thời gian
  • Một phương trình, hai ẩn

Aperture problem: chỉ thành phần vuông góc với biên được xác định.

CÔNG THỨC / 03

Lucas–Kanade trong cửa sổ

\[ \begin{bmatrix}u\\\\v\end{bmatrix} = \left(\sum W \begin{bmatrix}I_x^2 & I_xI_y\\\\I_xI_y & I_y^2\end{bmatrix}\right)^{-1}\sum W \begin{bmatrix}-I_xI_t\\\\-I_yI_t\end{bmatrix} \]
  • W: trọng số cửa sổ
  • Giả định (u, v) không đổi trong cửa sổ

Ma trận phải khả nghịch; vùng phẳng hoặc chỉ có một hướng biên sẽ suy biến.

03 Từng bước

Luồng xử lý bằng lời.

  1. 01

    Chuyển xám và làm mượt

    Flow dùng gradient; giảm noise giúp đạo hàm ổn định hơn.

  2. 02

    Chọn phương pháp

    LK cho điểm thưa, nhanh; Farnebäck cho flow dày đặc, mượt.

  3. 03

    Xử lý chuyển động lớn

    Dùng pyramid hoặc giảm độ phân giải; LK một tầng chỉ hợp với dịch nhỏ.

  4. 04

    Trực quan hoá

    Mã hoá hướng bằng hue, độ lớn bằng value; hoặc vẽ mũi tên trên lưới.

  5. 05

    Kiểm tra outlier

    Theo dõi ngược (forward-backward) để loại track không nhất quán.

04 Tham số

Núm vặn và cạm bẫy.

Tham sốÝ nghĩaKhoảng
methodFarnebäck dense hoặc Lucas–Kanade sparse.farneback / lk
pyr_scaleTỉ lệ giữa các tầng pyramid của Farnebäck.0.2…0.9
levelsSố tầng pyramid.1…6
win_sizeCửa sổ tính flow; lớn hơn xử lý chuyển động lớn nhưng mượt hơn.9…41, lẻ
max_cornersSố corner tối đa cho LK.30…1500

! Cạm bẫy thường gặp

  • Flow không phải chuyển động 3D; camera rung và vật thể xoay đều tạo vector phức tạp.
  • Ánh sáng thay đổi hoặc bóng đổ phá vỡ brightness constancy.
  • Vùng không texture (trời, tường trơn) không đủ gradient để giải flow.
  • LK một tầng thất bại với chuyển động lớn; cần pyramid hoặc tham số cửa sổ lớn hơn.
05 Mã nguồn

Mã nguồn tối giản, không phải giả mã.

MÃ THAM KHẢO / optical-flow
import cv2
import numpy as np

f1 = cv2.imread("flow_a.jpg")
f2 = cv2.imread("flow_b.jpg")
g1 = cv2.cvtColor(f1, cv2.COLOR_BGR2GRAY)
g2 = cv2.cvtColor(f2, cv2.COLOR_BGR2GRAY)

# Dense flow: Farnebäck
flow = cv2.calcOpticalFlowFarneback(
    g1, g2, None,
    pyr_scale=0.5, levels=3, winsize=21,
    iterations=3, poly_n=5, poly_sigma=1.2, flags=0,
)
mag, ang = cv2.cartToPolar(flow[..., 0], flow[..., 1])

# Sparse flow: Lucas–Kanade
p0 = cv2.goodFeaturesToTrack(g1, maxCorners=350, qualityLevel=0.015, minDistance=8)
p1, st, err = cv2.calcOpticalFlowPyrLK(g1, g2, p0, None, winSize=(21, 21), maxLevel=3)
print("dense mean:", float(mag.mean()))
print("tracked:", int(st.sum()))
THƯ VIỆN: OPENCV / NUMPY Đọc từ trên xuống · thử từng block
06 Thử

Điều chỉnh tham số.

Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.

CỤC BỘ / KHÔNG GỬI ẢNH
BÀN THỬ / 11 Luồng quang học
SẴN SÀNG
KẾT QUẢ / TRỰC TIẾP —
Ảnh đầu vào mặc định
Bấm “Chạy thử” Kết quả sẽ xuất hiện ở đây.
TRẠNG THÁIChờ chạy
ĐẦU VÀO—
SỐ BƯỚC—
THỜI GIAN—
NHẬT KÝ / LUỒNG XỬ LÝ
$ bài thử chưa chạy
$ chọn ảnh và bấm “Chạy thử”
07 Ứng dụng

Dùng nó ở đâu?

DÙNG / 01

Phát hiện vật thể chuyển động với camera tĩnh.

DÙNG / 02

Ổn định video, nội suy frame, tạo slow-motion.

DÙNG / 03

Theo dõi điểm trong robotics và AR.