Chuyện gì đang xảy ra?
Nhắm lần lượt từng mắt khi nhìn ngón tay đặt gần mũi, ngón tay nhảy qua lại rất xa so với cảnh phía sau. Đó là thị sai (disparity): vật càng gần thì vị trí trên hai ảnh càng chênh. Với một ảnh, mỗi pixel chỉ cho biết một tia trong không gian; có hai camera, hai tia từ hai tâm cắt nhau tại đúng một điểm — đó là tam giác hoá (triangulation).
Trường hợp dễ nhất là hai camera giống nhau đặt song song, cách nhau một đường cơ sở (baseline) B. Khi đó một điểm chỉ lệch theo phương ngang, và độ sâu tỉ lệ nghịch với độ lệch: Z = f·B/d. Hệ quả thực tế: độ lệch 1 pixel ở vật xa tương ứng sai số độ sâu rất lớn, nên muốn đo xa chính xác thì cần baseline rộng hoặc tiêu cự dài.
Khi hai camera đặt tuỳ ý, ràng buộc vẫn còn nhưng dưới dạng tổng quát hơn: hình học epipolar. Hai tâm camera và điểm 3D tạo thành một mặt phẳng; mặt phẳng ấy cắt mỗi ảnh theo một đường epipolar. Vì vậy điểm khớp của x ở ảnh trái chắc chắn nằm trên một đường ở ảnh phải — bài toán tìm kiếm 2D rút về 1D. Mọi đường epipolar đi qua cực (epipole), là ảnh của tâm camera kia. Ràng buộc này được gói trong ma trận cơ bản F (khi chưa biết K) hoặc ma trận thiết yếu E (khi đã hiệu chỉnh), ước lượng được từ ít nhất 8 cặp điểm, kết hợp RANSAC để chống khớp sai.
Để khớp dày đặc cho nhanh, người ta chỉnh thẳng (rectify) hai ảnh: uốn cả hai sao cho mọi đường epipolar trở thành hàng ngang trùng nhau. Sau đó, với mỗi pixel ảnh trái, ta trượt một cửa sổ dọc cùng hàng ở ảnh phải và chọn độ lệch có chi phí nhỏ nhất (SSD, SAD hay NCC). Cửa sổ nhỏ giữ chi tiết nhưng dễ nhầm ở vùng ít texture; cửa sổ to ổn định hơn nhưng làm nhoè biên vật, vì nó trộn pixel của vật gần lẫn nền phía sau.
Khớp từng pixel độc lập luôn để lại nhiễu, nên các phương pháp tốt đặt bài toán dưới dạng năng lượng: một phần đo mức khớp dữ liệu, một phần phạt khi độ lệch của hai pixel kề nhau chênh nhau. Graph cut tối ưu năng lượng này trên toàn ảnh; Semi-Global Matching (SGM) xấp xỉ nó bằng quy hoạch động theo nhiều hướng, đủ nhanh để chạy thời gian thực. Cuối cùng vẫn còn những vùng bị che khuất chỉ một camera thấy — kiểm tra nhất quán trái–phải (khớp hai chiều phải cho cùng độ lệch) giúp đánh dấu và loại chúng.
Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.
Viết lại bằng toán.
Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.
Độ sâu từ độ lệch (stereo song song)
- f: tiêu cự (pixel)
- B: khoảng cách hai tâm camera (baseline)
- d: độ lệch ngang của cùng một điểm trên hai ảnh
Lấy vi phân: ΔZ ≈ Z²/(f·B)·Δd — sai số độ sâu tăng theo bình phương khoảng cách.
Ràng buộc epipolar
- x, x': toạ độ thuần nhất của cặp điểm tương ứng
- F: ma trận cơ bản 3×3, hạng 2, 7 bậc tự do
- l': đường epipolar ở ảnh 2 · e: cực ở ảnh 1
Thuật toán 8 điểm: mỗi cặp cho một phương trình tuyến tính theo 9 phần tử của F; giải bằng SVD, ép hạng 2, và chuẩn hoá toạ độ trước (Hartley).
Ma trận thiết yếu
- R, t: tư thế tương đối giữa hai camera
- [t]×: ma trận phản đối xứng của phép tích có hướng với t
- K, K': ma trận nội của hai camera
Khi biết K, phân tích E cho ra R và hướng của t (độ dài t không xác định được chỉ từ ảnh).
Năng lượng của Semi-Global Matching
- C(p, d): chi phí khớp pixel p với độ lệch d (vd tổng sai khác trong khối)
- P₁: phạt nhẹ khi độ lệch đổi 1 (mặt nghiêng)
- P₂ > P₁: phạt nặng khi nhảy độ lệch (biên vật)
OpenCV StereoSGBM cộng dồn chi phí theo 5 hoặc 8 hướng quét thay vì tối ưu chính xác trên toàn ảnh.
Luồng xử lý bằng lời.
-
01
Hiệu chỉnh & chỉnh thẳng
Hiệu chỉnh từng camera và cặp stereo (
stereoCalibrate), rồistereoRectify+initUndistortRectifyMapđể đường epipolar thành hàng ngang. -
02
Chọn dải độ lệch
numDisparitiesphải là bội của 16 và đủ lớn cho vật gần nhất; dải lớn hơn thì chậm hơn và dễ nhầm hơn. -
03
Khớp
StereoBM(khối, nhanh, ảnh xám) hoặcStereoSGBM(bán toàn cục, mượt hơn). Kết quả là số nguyên ×16. -
04
Lọc
Bỏ độ lệch ≤ 0 (không khớp), dùng
uniquenessRatio,speckleWindowSizevà kiểm tra trái–phải để loại vùng che khuất. -
05
Ra độ sâu
Z = f·B/d cho từng pixel, hoặc
cv2.reprojectImageTo3D(disp, Q)với ma trận Q từ bước chỉnh thẳng để có đám mây điểm.
Núm vặn và cạm bẫy.
| Tham số | Ý nghĩa | Khoảng |
|---|---|---|
method | Thuật toán khớp: Semi-Global (SGBM) có số hạng làm trơn, hay khớp khối thuần (BM). | sgbm / bm |
max_disp | Độ lệch tối đa được tìm (numDisparities), bội của 16. Nhỏ hơn độ lệch thật của vật gần thì vật đó bị khớp sai. | 16…128 px |
block | Cạnh cửa sổ so khớp (số lẻ). Nhỏ: chi tiết nhưng nhiễu; to: mượt nhưng nhoè biên. | 3…21 px |
noise | Độ lệch chuẩn nhiễu Gauss cộng vào ảnh phải, giả lập hai cảm biến không giống hệt nhau. | 0…20 |
! Cạm bẫy thường gặp
- Chạy StereoBM/SGBM trên cặp ảnh chưa chỉnh thẳng: điểm tương ứng không cùng hàng nên kết quả vô nghĩa.
- Quên chia 16: OpenCV trả độ lệch dạng số nguyên nhân 16; đổi sang độ sâu mà không chia sẽ sai 16 lần.
- Vùng không có texture (tường trơn, trời), vùng lặp (gạch, rèm) và mặt phản chiếu khớp sai hoặc không khớp được — cần chiếu mẫu sáng chủ động (structured light) như Kinect.
- numDisparities nhỏ hơn độ lệch thật của vật gần nhất: vật đó bị gán độ lệch sai thay vì bị đánh dấu là không khớp.
- Coi pixel độ lệch 0 hoặc âm là ‘rất xa’: thực ra đó là pixel không khớp được, phải loại.
- Ước lượng F bằng 8 điểm không chuẩn hoá toạ độ rất nhạy nhiễu; cũng đừng quên RANSAC khi cặp điểm đến từ khớp đặc trưng.
Mã nguồn tối giản, không phải giả mã.
import cv2
import numpy as np
left = cv2.imread("astronaut.jpg", cv2.IMREAD_GRAYSCALE)
if left is None:
raise FileNotFoundError("Không đọc được ảnh")
H, W = left.shape
# --- 1) Dựng cặp stereo tổng hợp: nền lệch 8 px, một vật gần lệch 32 px ---
d_true = np.full((H, W), 8, np.int32)
d_true[H // 4: 3 * H // 4, W // 3: 2 * W // 3] = 32
right = np.zeros_like(left)
for d in (8, 32): # vẽ nền trước, vật gần đè sau
ys, xs = np.nonzero(d_true == d)
xr = xs - d # x_R = x_L - d
ok = xr >= 0
right[ys[ok], xr[ok]] = left[ys[ok], xs[ok]]
# --- 2) Khớp bán toàn cục ---
block = 7
sgbm = cv2.StereoSGBM_create(
minDisparity=0, numDisparities=64, blockSize=block,
P1=8 * block * block, P2=32 * block * block,
uniquenessRatio=10, speckleWindowSize=100, speckleRange=2,
mode=cv2.STEREO_SGBM_MODE_SGBM_3WAY)
disp = sgbm.compute(left, right).astype(np.float32) / 16.0 # OpenCV trả về ×16
valid = disp > 0
err = np.abs(disp - d_true)[valid]
print("tỉ lệ pixel khớp được:", round(valid.mean(), 3))
print("tỉ lệ sai > 1 px:", round((err > 1).mean(), 3))
# --- 3) Độ lệch → độ sâu (giả sử f = 700 px, baseline 0.1 m) ---
f, B = 700.0, 0.1
depth = np.zeros_like(disp)
depth[valid] = f * B / disp[valid]
vis = cv2.normalize(disp, None, 0, 255, cv2.NORM_MINMAX).astype(np.uint8)
cv2.imwrite("disparity.png", cv2.applyColorMap(vis, cv2.COLORMAP_TURBO))
# --- 4) Ma trận cơ bản từ cặp điểm (thuật toán 8 điểm) ---
rng = np.random.default_rng(1)
K = np.array([[700, 0, W / 2], [0, 700, H / 2], [0, 0, 1]], dtype=np.float64)
X = np.c_[rng.uniform(-1, 1, (50, 2)), rng.uniform(4, 8, 50)]
R2 = cv2.Rodrigues(np.array([0, 0.1, 0], dtype=np.float64))[0]
t2 = np.array([-0.5, 0, 0], dtype=np.float64)
p1, _ = cv2.projectPoints(X, np.zeros(3), np.zeros(3), K, None)
p2, _ = cv2.projectPoints(X, cv2.Rodrigues(R2)[0], t2, K, None)
p1, p2 = p1.reshape(-1, 2), p2.reshape(-1, 2)
F, _ = cv2.findFundamentalMat(p1, p2, cv2.FM_8POINT)
h1 = np.c_[p1, np.ones(len(p1))]
h2 = np.c_[p2, np.ones(len(p2))]
print("max |x'ᵀ F x|:", np.abs(np.einsum("ij,jk,ik->i", h2, F, h1)).max())
Điều chỉnh tham số.
Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.
$ bài thử chưa chạy $ chọn ảnh và bấm “Chạy thử”
Dùng nó ở đâu?
Camera stereo cho robot, xe tự hành, máy bay không người lái tránh vật cản.
Chế độ chân dung xoá phông trên điện thoại nhiều camera.
Đo thể tích, kiểm tra kích thước sản phẩm trên băng chuyền.
Dựng mô hình 3D từ ảnh (photogrammetry, MVS) và bản đồ địa hình từ ảnh vệ tinh / hàng không.
Những hướng đang được dùng hiện nay.
Các phương pháp dưới đây không thay thế baseline; chúng giải quyết những điểm yếu của cách cổ điển khi có thêm dữ liệu, GPU hoặc yêu cầu độ ổn định cao hơn.
Stereo học sâu (RAFT-Stereo, các mạng cost-volume)
Xây khối chi phí từ đặc trưng học được rồi tinh chỉnh lặp, xử lý tốt vùng ít texture và biên mảnh hơn SGM.
Dùng khi: Có GPU, cần độ sâu chất lượng cao.Độ sâu từ một ảnh (Depth Anything, MiDaS)
Mạng học trên dữ liệu rất lớn dự đoán độ sâu tương đối chỉ từ một ảnh, dựa vào ngữ cảnh thay vì thị sai.
Dùng khi: Chỉ có một camera, cần độ sâu tương đối; không thay được đo tuyệt đối.Camera độ sâu chủ động
Structured light hoặc time-of-flight tự phát ánh sáng hồng ngoại nên đo được cả mặt trơn không texture.
Dùng khi: Trong nhà, tầm gần, ít ánh nắng mạnh.- CS 4476 Computer Vision — James Hays, Georgia Tech (bài giảng 12, 13, 14, 15)
- Richard Szeliski — Computer Vision: Algorithms and Applications (2nd ed.)
- H. Hirschmüller — Stereo Processing by Semiglobal Matching and Mutual Information (IEEE TPAMI, 2008)
- R. Hartley — In Defense of the Eight-Point Algorithm (IEEE TPAMI, 1997)
Chương này được viết lại bằng tiếng Việt dựa trên chủ đề của bài giảng gốc; không sao chép slide.