CHƯƠNG 38 Camera & nhiều góc nhìn

Stereo & bản đồ độ sâu

Một ảnh đơn không cho biết độ sâu, nhưng hai ảnh chụp từ hai vị trí thì có: điểm càng gần càng lệch nhiều giữa hai ảnh. Hình học epipolar biến việc tìm điểm tương ứng từ tìm khắp ảnh thành tìm trên một đường, và stereo dày đặc là khớp từng pixel dọc đường đó với ràng buộc trơn để ra bản đồ độ sâu.

Camera & nhiều góc nhìn Nâng cao 25 phút đọc bài thử tương tác
Ảnh minh hoạ cho Stereo & bản đồ độ sâu 38 / 46
Epipolar · Ma trận cơ bản F Một khung hình, một câu hỏi.
01 Trực giác

Chuyện gì đang xảy ra?

Nhắm lần lượt từng mắt khi nhìn ngón tay đặt gần mũi, ngón tay nhảy qua lại rất xa so với cảnh phía sau. Đó là thị sai (disparity): vật càng gần thì vị trí trên hai ảnh càng chênh. Với một ảnh, mỗi pixel chỉ cho biết một tia trong không gian; có hai camera, hai tia từ hai tâm cắt nhau tại đúng một điểm — đó là tam giác hoá (triangulation).

Trường hợp dễ nhất là hai camera giống nhau đặt song song, cách nhau một đường cơ sở (baseline) B. Khi đó một điểm chỉ lệch theo phương ngang, và độ sâu tỉ lệ nghịch với độ lệch: Z = f·B/d. Hệ quả thực tế: độ lệch 1 pixel ở vật xa tương ứng sai số độ sâu rất lớn, nên muốn đo xa chính xác thì cần baseline rộng hoặc tiêu cự dài.

Khi hai camera đặt tuỳ ý, ràng buộc vẫn còn nhưng dưới dạng tổng quát hơn: hình học epipolar. Hai tâm camera và điểm 3D tạo thành một mặt phẳng; mặt phẳng ấy cắt mỗi ảnh theo một đường epipolar. Vì vậy điểm khớp của x ở ảnh trái chắc chắn nằm trên một đường ở ảnh phải — bài toán tìm kiếm 2D rút về 1D. Mọi đường epipolar đi qua cực (epipole), là ảnh của tâm camera kia. Ràng buộc này được gói trong ma trận cơ bản F (khi chưa biết K) hoặc ma trận thiết yếu E (khi đã hiệu chỉnh), ước lượng được từ ít nhất 8 cặp điểm, kết hợp RANSAC để chống khớp sai.

Để khớp dày đặc cho nhanh, người ta chỉnh thẳng (rectify) hai ảnh: uốn cả hai sao cho mọi đường epipolar trở thành hàng ngang trùng nhau. Sau đó, với mỗi pixel ảnh trái, ta trượt một cửa sổ dọc cùng hàng ở ảnh phải và chọn độ lệch có chi phí nhỏ nhất (SSD, SAD hay NCC). Cửa sổ nhỏ giữ chi tiết nhưng dễ nhầm ở vùng ít texture; cửa sổ to ổn định hơn nhưng làm nhoè biên vật, vì nó trộn pixel của vật gần lẫn nền phía sau.

Khớp từng pixel độc lập luôn để lại nhiễu, nên các phương pháp tốt đặt bài toán dưới dạng năng lượng: một phần đo mức khớp dữ liệu, một phần phạt khi độ lệch của hai pixel kề nhau chênh nhau. Graph cut tối ưu năng lượng này trên toàn ảnh; Semi-Global Matching (SGM) xấp xỉ nó bằng quy hoạch động theo nhiều hướng, đủ nhanh để chạy thời gian thực. Cuối cùng vẫn còn những vùng bị che khuất chỉ một camera thấy — kiểm tra nhất quán trái–phải (khớp hai chiều phải cho cùng độ lệch) giúp đánh dấu và loại chúng.

Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.

02 Công thức

Viết lại bằng toán.

Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.

CÔNG THỨC / 01

Độ sâu từ độ lệch (stereo song song)

\[ Z = \frac{f\,B}{d}, \qquad d = x_L - x_R \]
  • f: tiêu cự (pixel)
  • B: khoảng cách hai tâm camera (baseline)
  • d: độ lệch ngang của cùng một điểm trên hai ảnh

Lấy vi phân: ΔZ ≈ Z²/(f·B)·Δd — sai số độ sâu tăng theo bình phương khoảng cách.

CÔNG THỨC / 02

Ràng buộc epipolar

\[ \mathbf{x}'^{\top}\mathbf{F}\,\mathbf{x} = 0, \qquad \mathbf{l}' = \mathbf{F}\,\mathbf{x}, \qquad \mathbf{F}\,\mathbf{e} = \mathbf{0} \]
  • x, x': toạ độ thuần nhất của cặp điểm tương ứng
  • F: ma trận cơ bản 3×3, hạng 2, 7 bậc tự do
  • l': đường epipolar ở ảnh 2 · e: cực ở ảnh 1

Thuật toán 8 điểm: mỗi cặp cho một phương trình tuyến tính theo 9 phần tử của F; giải bằng SVD, ép hạng 2, và chuẩn hoá toạ độ trước (Hartley).

CÔNG THỨC / 03

Ma trận thiết yếu

\[ \mathbf{E} = [\mathbf{t}]_{\times}\mathbf{R}, \qquad \mathbf{F} = \mathbf{K}'^{-\top}\,\mathbf{E}\,\mathbf{K}^{-1} \]
  • R, t: tư thế tương đối giữa hai camera
  • [t]×: ma trận phản đối xứng của phép tích có hướng với t
  • K, K': ma trận nội của hai camera

Khi biết K, phân tích E cho ra R và hướng của t (độ dài t không xác định được chỉ từ ảnh).

CÔNG THỨC / 04

Năng lượng của Semi-Global Matching

\[ E(D) = \sum_{p} C(p, D_p) + \sum_{p}\sum_{q \in \mathcal{N}_p}\Big( P_1\,\mathbf{1}\big[|D_p - D_q| = 1\big] + P_2\,\mathbf{1}\big[|D_p - D_q| > 1\big] \Big) \]
  • C(p, d): chi phí khớp pixel p với độ lệch d (vd tổng sai khác trong khối)
  • P₁: phạt nhẹ khi độ lệch đổi 1 (mặt nghiêng)
  • P₂ > P₁: phạt nặng khi nhảy độ lệch (biên vật)

OpenCV StereoSGBM cộng dồn chi phí theo 5 hoặc 8 hướng quét thay vì tối ưu chính xác trên toàn ảnh.

03 Từng bước

Luồng xử lý bằng lời.

  1. 01

    Hiệu chỉnh & chỉnh thẳng

    Hiệu chỉnh từng camera và cặp stereo (stereoCalibrate), rồi stereoRectify + initUndistortRectifyMap để đường epipolar thành hàng ngang.

  2. 02

    Chọn dải độ lệch

    numDisparities phải là bội của 16 và đủ lớn cho vật gần nhất; dải lớn hơn thì chậm hơn và dễ nhầm hơn.

  3. 03

    Khớp

    StereoBM (khối, nhanh, ảnh xám) hoặc StereoSGBM (bán toàn cục, mượt hơn). Kết quả là số nguyên ×16.

  4. 04

    Lọc

    Bỏ độ lệch ≤ 0 (không khớp), dùng uniquenessRatio, speckleWindowSize và kiểm tra trái–phải để loại vùng che khuất.

  5. 05

    Ra độ sâu

    Z = f·B/d cho từng pixel, hoặc cv2.reprojectImageTo3D(disp, Q) với ma trận Q từ bước chỉnh thẳng để có đám mây điểm.

04 Tham số

Núm vặn và cạm bẫy.

Tham sốÝ nghĩaKhoảng
methodThuật toán khớp: Semi-Global (SGBM) có số hạng làm trơn, hay khớp khối thuần (BM).sgbm / bm
max_dispĐộ lệch tối đa được tìm (numDisparities), bội của 16. Nhỏ hơn độ lệch thật của vật gần thì vật đó bị khớp sai.16…128 px
blockCạnh cửa sổ so khớp (số lẻ). Nhỏ: chi tiết nhưng nhiễu; to: mượt nhưng nhoè biên.3…21 px
noiseĐộ lệch chuẩn nhiễu Gauss cộng vào ảnh phải, giả lập hai cảm biến không giống hệt nhau.0…20

! Cạm bẫy thường gặp

  • Chạy StereoBM/SGBM trên cặp ảnh chưa chỉnh thẳng: điểm tương ứng không cùng hàng nên kết quả vô nghĩa.
  • Quên chia 16: OpenCV trả độ lệch dạng số nguyên nhân 16; đổi sang độ sâu mà không chia sẽ sai 16 lần.
  • Vùng không có texture (tường trơn, trời), vùng lặp (gạch, rèm) và mặt phản chiếu khớp sai hoặc không khớp được — cần chiếu mẫu sáng chủ động (structured light) như Kinect.
  • numDisparities nhỏ hơn độ lệch thật của vật gần nhất: vật đó bị gán độ lệch sai thay vì bị đánh dấu là không khớp.
  • Coi pixel độ lệch 0 hoặc âm là ‘rất xa’: thực ra đó là pixel không khớp được, phải loại.
  • Ước lượng F bằng 8 điểm không chuẩn hoá toạ độ rất nhạy nhiễu; cũng đừng quên RANSAC khi cặp điểm đến từ khớp đặc trưng.
05 Mã nguồn

Mã nguồn tối giản, không phải giả mã.

MÃ THAM KHẢO / stereo
import cv2
import numpy as np

left = cv2.imread("astronaut.jpg", cv2.IMREAD_GRAYSCALE)
if left is None:
    raise FileNotFoundError("Không đọc được ảnh")
H, W = left.shape

# --- 1) Dựng cặp stereo tổng hợp: nền lệch 8 px, một vật gần lệch 32 px ---
d_true = np.full((H, W), 8, np.int32)
d_true[H // 4: 3 * H // 4, W // 3: 2 * W // 3] = 32
right = np.zeros_like(left)
for d in (8, 32):                                  # vẽ nền trước, vật gần đè sau
    ys, xs = np.nonzero(d_true == d)
    xr = xs - d                                    # x_R = x_L - d
    ok = xr >= 0
    right[ys[ok], xr[ok]] = left[ys[ok], xs[ok]]

# --- 2) Khớp bán toàn cục ---
block = 7
sgbm = cv2.StereoSGBM_create(
    minDisparity=0, numDisparities=64, blockSize=block,
    P1=8 * block * block, P2=32 * block * block,
    uniquenessRatio=10, speckleWindowSize=100, speckleRange=2,
    mode=cv2.STEREO_SGBM_MODE_SGBM_3WAY)
disp = sgbm.compute(left, right).astype(np.float32) / 16.0   # OpenCV trả về ×16
valid = disp > 0
err = np.abs(disp - d_true)[valid]
print("tỉ lệ pixel khớp được:", round(valid.mean(), 3))
print("tỉ lệ sai > 1 px:", round((err > 1).mean(), 3))

# --- 3) Độ lệch → độ sâu (giả sử f = 700 px, baseline 0.1 m) ---
f, B = 700.0, 0.1
depth = np.zeros_like(disp)
depth[valid] = f * B / disp[valid]
vis = cv2.normalize(disp, None, 0, 255, cv2.NORM_MINMAX).astype(np.uint8)
cv2.imwrite("disparity.png", cv2.applyColorMap(vis, cv2.COLORMAP_TURBO))

# --- 4) Ma trận cơ bản từ cặp điểm (thuật toán 8 điểm) ---
rng = np.random.default_rng(1)
K = np.array([[700, 0, W / 2], [0, 700, H / 2], [0, 0, 1]], dtype=np.float64)
X = np.c_[rng.uniform(-1, 1, (50, 2)), rng.uniform(4, 8, 50)]
R2 = cv2.Rodrigues(np.array([0, 0.1, 0], dtype=np.float64))[0]
t2 = np.array([-0.5, 0, 0], dtype=np.float64)
p1, _ = cv2.projectPoints(X, np.zeros(3), np.zeros(3), K, None)
p2, _ = cv2.projectPoints(X, cv2.Rodrigues(R2)[0], t2, K, None)
p1, p2 = p1.reshape(-1, 2), p2.reshape(-1, 2)
F, _ = cv2.findFundamentalMat(p1, p2, cv2.FM_8POINT)
h1 = np.c_[p1, np.ones(len(p1))]
h2 = np.c_[p2, np.ones(len(p2))]
print("max |x'ᵀ F x|:", np.abs(np.einsum("ij,jk,ik->i", h2, F, h1)).max())
THƯ VIỆN: OPENCV / NUMPY Đọc từ trên xuống · thử từng block
06 Thử

Điều chỉnh tham số.

Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.

CỤC BỘ / KHÔNG GỬI ẢNH
BÀN THỬ / 38 Stereo & bản đồ độ sâu
SẴN SÀNG
KẾT QUẢ / TRỰC TIẾP —
Ảnh đầu vào mặc định
Bấm “Chạy thử” Kết quả sẽ xuất hiện ở đây.
TRẠNG THÁIChờ chạy
ĐẦU VÀO—
SỐ BƯỚC—
THỜI GIAN—
NHẬT KÝ / LUỒNG XỬ LÝ
$ bài thử chưa chạy
$ chọn ảnh và bấm “Chạy thử”
07 Ứng dụng

Dùng nó ở đâu?

DÙNG / 01

Camera stereo cho robot, xe tự hành, máy bay không người lái tránh vật cản.

DÙNG / 02

Chế độ chân dung xoá phông trên điện thoại nhiều camera.

DÙNG / 03

Đo thể tích, kiểm tra kích thước sản phẩm trên băng chuyền.

DÙNG / 04

Dựng mô hình 3D từ ảnh (photogrammetry, MVS) và bản đồ địa hình từ ảnh vệ tinh / hàng không.

HƯỚNG HIỆN ĐẠI

Những hướng đang được dùng hiện nay.

Các phương pháp dưới đây không thay thế baseline; chúng giải quyết những điểm yếu của cách cổ điển khi có thêm dữ liệu, GPU hoặc yêu cầu độ ổn định cao hơn.

HIỆN ĐẠI / 01

Stereo học sâu (RAFT-Stereo, các mạng cost-volume)

Xây khối chi phí từ đặc trưng học được rồi tinh chỉnh lặp, xử lý tốt vùng ít texture và biên mảnh hơn SGM.

Dùng khi: Có GPU, cần độ sâu chất lượng cao.
HIỆN ĐẠI / 02

Độ sâu từ một ảnh (Depth Anything, MiDaS)

Mạng học trên dữ liệu rất lớn dự đoán độ sâu tương đối chỉ từ một ảnh, dựa vào ngữ cảnh thay vì thị sai.

Dùng khi: Chỉ có một camera, cần độ sâu tương đối; không thay được đo tuyệt đối.
HIỆN ĐẠI / 03

Camera độ sâu chủ động

Structured light hoặc time-of-flight tự phát ánh sáng hồng ngoại nên đo được cả mặt trơn không texture.

Dùng khi: Trong nhà, tầm gần, ít ánh nắng mạnh.