Chuyện gì đang xảy ra?
Cho hai frame liên tiếp, mắt ta thấy xe dịch sang phải, người đi sang trái, nền đứng yên. Optical flow cố gắng gán cho mỗi pixel một vector (u, v) mô tả nó đã dịch bao nhiêu theo x và y. Vector này là chuyển động biểu kiến trên ảnh, không nhất thiết là chuyển động 3D thật.
Giả định cốt lõi là brightness constancy: một điểm vật thể giữ nguyên màu/sáng khi nó di chuyển. Khai triển Taylor cho ta phương trình flow cơ bản Ix·u + Iy·v + It = 0. Một phương trình, hai ẩn — bài toán không xác định. Đó là aperture problem: trong một cửa sổ nhỏ, ta chỉ biết chuyển động vuông góc với biên, không biết dọc theo biên.
Lucas–Kanade giải bằng cách giả định vector flow gần như không đổi trong một cửa sổ nhỏ, rồi giải bình phương tối thiểu. Nó phù hợp với chuyển động nhỏ và texture tốt; để xử lý chuyển động lớn, ta dùng pyramid nhiều tầng. Farnebäck mô hình hoá vùng lân cận bằng đa thức bậc hai và cho flow dày đặc, mượt hơn.
Flow rất hữu ích để phát hiện vật thể chuyển động, ổn định video, nội suy frame và theo dõi. Nhưng đừng dùng nó như tốc độ thật của xe: camera rung, vật thể xoay, bóng đổ và ánh sáng thay đổi đều tạo flow giả.
Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.
Viết lại bằng toán.
Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.
Brightness constancy
- I: cường độ sáng
- (u, v): vector dịch chuyển
- Giả định điểm giữ nguyên độ sáng
Đây là giả định trung tâm của hầu hết phương pháp flow cổ điển.
Phương trình flow cơ bản
- Ix, Iy: đạo hàm không gian
- It: đạo hàm thời gian
- Một phương trình, hai ẩn
Aperture problem: chỉ thành phần vuông góc với biên được xác định.
Lucas–Kanade trong cửa sổ
- W: trọng số cửa sổ
- Giả định (u, v) không đổi trong cửa sổ
Ma trận phải khả nghịch; vùng phẳng hoặc chỉ có một hướng biên sẽ suy biến.
Luồng xử lý bằng lời.
-
01
Chuyển xám và làm mượt
Flow dùng gradient; giảm noise giúp đạo hàm ổn định hơn.
-
02
Chọn phương pháp
LK cho điểm thưa, nhanh; Farnebäck cho flow dày đặc, mượt.
-
03
Xử lý chuyển động lớn
Dùng pyramid hoặc giảm độ phân giải; LK một tầng chỉ hợp với dịch nhỏ.
-
04
Trực quan hoá
Mã hoá hướng bằng hue, độ lớn bằng value; hoặc vẽ mũi tên trên lưới.
-
05
Kiểm tra outlier
Theo dõi ngược (forward-backward) để loại track không nhất quán.
Núm vặn và cạm bẫy.
| Tham số | Ý nghĩa | Khoảng |
|---|---|---|
method | Farnebäck dense hoặc Lucas–Kanade sparse. | farneback / lk |
pyr_scale | Tỉ lệ giữa các tầng pyramid của Farnebäck. | 0.2…0.9 |
levels | Số tầng pyramid. | 1…6 |
win_size | Cửa sổ tính flow; lớn hơn xử lý chuyển động lớn nhưng mượt hơn. | 9…41, lẻ |
max_corners | Số corner tối đa cho LK. | 30…1500 |
! Cạm bẫy thường gặp
- Flow không phải chuyển động 3D; camera rung và vật thể xoay đều tạo vector phức tạp.
- Ánh sáng thay đổi hoặc bóng đổ phá vỡ brightness constancy.
- Vùng không texture (trời, tường trơn) không đủ gradient để giải flow.
- LK một tầng thất bại với chuyển động lớn; cần pyramid hoặc tham số cửa sổ lớn hơn.
Mã nguồn tối giản, không phải giả mã.
import cv2
import numpy as np
f1 = cv2.imread("flow_a.jpg")
f2 = cv2.imread("flow_b.jpg")
g1 = cv2.cvtColor(f1, cv2.COLOR_BGR2GRAY)
g2 = cv2.cvtColor(f2, cv2.COLOR_BGR2GRAY)
# Dense flow: Farnebäck
flow = cv2.calcOpticalFlowFarneback(
g1, g2, None,
pyr_scale=0.5, levels=3, winsize=21,
iterations=3, poly_n=5, poly_sigma=1.2, flags=0,
)
mag, ang = cv2.cartToPolar(flow[..., 0], flow[..., 1])
# Sparse flow: Lucas–Kanade
p0 = cv2.goodFeaturesToTrack(g1, maxCorners=350, qualityLevel=0.015, minDistance=8)
p1, st, err = cv2.calcOpticalFlowPyrLK(g1, g2, p0, None, winSize=(21, 21), maxLevel=3)
print("dense mean:", float(mag.mean()))
print("tracked:", int(st.sum()))
Điều chỉnh tham số.
Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.
$ bài thử chưa chạy $ chọn ảnh và bấm “Chạy thử”
Dùng nó ở đâu?
Phát hiện vật thể chuyển động với camera tĩnh.
Ổn định video, nội suy frame, tạo slow-motion.
Theo dõi điểm trong robotics và AR.