CHƯƠNG 12 Hình học & chuyển động

Homography & hình học epipolar

Homography là một phép biến đổi 3×3 ánh xạ các điểm trên một mặt phẳng từ ảnh này sang ảnh khác. Essential matrix là phiên bản 3D cho camera đã hiệu chuẩn. Cả hai đều được ước lượng từ feature matching và RANSAC.

Hình học & chuyển động Nâng cao 26 phút đọc bài thử tương tác
Ảnh minh hoạ cho Homography & hình học epipolar 12 / 46
Homography · DLT Một khung hình, một câu hỏi.
01 Trực giác

Chuyện gì đang xảy ra?

Nếu bạn chụp một tờ giấy từ hai góc khác nhau, tờ giấy vẫn là một mặt phẳng. Có một phép biến đổi 3×3 — homography — ánh xạ mỗi điểm trên tờ giấy ở ảnh A sang vị trí tương ứng ở ảnh B. Phép biến đổi này bảo toàn đường thẳng: đường thẳng vẫn thành đường thẳng. Vì vậy nó được dùng để rectify ảnh, ghép panorama, thay mặt phẳng trong AR.

Một homography có 8 bậc tự do (ma trận 3×3 xác định sai khác một tỉ lệ). Mỗi cặp điểm cho hai phương trình, nên bốn cặp điểm không nằm trên một đường thẳng là đủ. Trong thực tế, ta có hàng trăm cặp match nhiễu; DLT + RANSAC tìm mô hình tốt nhất và loại outlier.

Khi camera đã hiệu chuẩn và cảnh không phẳng, homography không còn đúng. Thay vào đó, hai ảnh liên hệ qua essential matrix E: x'ᵀ E x = 0. E mã hoá xoay R và tịnh tiến t giữa hai camera. Từ E có thể recover pose, nhưng chỉ lên tới một tỉ lệ và có bốn nghiệm — cần kiểm tra điểm nằm trước camera.

Điểm dễ nhầm: homography là mô hình cho mặt phẳng hoặc camera chỉ xoay quanh tâm; essential matrix là mô hình cho camera dịch chuyển. Chọn sai mô hình sẽ cho kết quả trông có vẻ ổn nhưng sai về hình học.

Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.

02 Công thức

Viết lại bằng toán.

Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.

CÔNG THỨC / 01

Homography

\[ \begin{bmatrix}x'\\\\y'\\\\1\end{bmatrix} \sim H \begin{bmatrix}x\\\\y\\\\1\end{bmatrix}, \qquad H = \begin{bmatrix}h_{11}&h_{12}&h_{13}\\\\h_{21}&h_{22}&h_{23}\\\\h_{31}&h_{32}&h_{33}\end{bmatrix} \]
  • H xác định sai khác một tỉ lệ
  • 8 bậc tự do
  • Bốn cặp điểm không collinear là đủ

DLT xếp các phương trình thành A·h = 0; nghiệm là vector kỳ dị nhỏ nhất của A.

CÔNG THỨC / 02

Ràng buộc epipolar

\[ \mathbf{x}'^{\\top} E\,\mathbf{x} = 0, \qquad E = [\mathbf{t}]_{\\times}R \]
  • E: essential matrix 3×3
  • R, t: xoay và tịnh tiến giữa hai camera
  • x, x': toạ độ chuẩn hoá

Với pixel chưa hiệu chuẩn, dùng fundamental matrix F = K'⁻ᵀ E K⁻¹.

CÔNG THỨC / 03

Sai số Sampson

\[ \varepsilon = \frac{(\mathbf{x}'^{\\top} E\mathbf{x})^2}{(E\mathbf{x})_1^2 + (E\mathbf{x})_2^2 + (E^{\\top}\mathbf{x}')_1^2 + (E^{\\top}\mathbf{x}')_2^2} \]
  • Xấp xỉ bậc một của khoảng cách tới đường epipolar
  • Dùng trong RANSAC để chấm điểm

Sai số hình học tốt hơn nhiều so với kiểm tra đại số thô.

03 Từng bước

Luồng xử lý bằng lời.

  1. 01

    Feature matching

    Dùng SIFT/ORB, ratio test; cần ít nhất 4 cặp cho homography, 5–8 cho essential.

  2. 02

    RANSAC

    Lặp chọn mẫu tối thiểu, fit H/E, đếm inlier theo ngưỡng tái chiếu.

  3. 03

    Tinh chỉnh

    Fit lại mô hình trên toàn bộ inlier, có thể dùng Levenberg–Marquardt.

  4. 04

    Warp/verify

    Với H, warp ảnh và kiểm tra bằng mắt; với E, recover pose và kiểm tra điểm trước camera.

  5. 05

    Đo chất lượng

    Inlier ratio, reprojection error, tính nhất quán của H trên các vùng khác nhau.

04 Tham số

Núm vặn và cạm bẫy.

Tham sốÝ nghĩaKhoảng
pairCặp ảnh mẫu.astronaut / checkerboard
detectorDetector dùng để matching.SIFT / ORB / BRISK
max_featuresSố keypoint tối đa.50…3000
ratioNgưỡng ratio test.0.4…0.95
ransacNgưỡng tái chiếu RANSAC.0.5…12 px

! Cạm bẫy thường gặp

  • Homography chỉ đúng cho mặt phẳng; áp dụng lên cảnh 3D sẽ tạo biến dạng khó thấy.
  • Bốn điểm dùng để fit không được collinear hoặc quá gần nhau.
  • RANSAC với ngưỡng quá lớn giữ outlier; quá nhỏ bỏ mất inlier do nhiễu pixel.
  • Essential matrix cần camera đã hiệu chuẩn; dùng F nếu chỉ có pixel.
05 Mã nguồn

Mã nguồn tối giản, không phải giả mã.

MÃ THAM KHẢO / homography
import cv2
import numpy as np

a = cv2.imread("astronaut.jpg")
b = cv2.imread("astronaut_warp.jpg")
ga = cv2.cvtColor(a, cv2.COLOR_BGR2GRAY)
gb = cv2.cvtColor(b, cv2.COLOR_BGR2GRAY)

sift = cv2.SIFT_create(nfeatures=1200)
kp1, des1 = sift.detectAndCompute(ga, None)
kp2, des2 = sift.detectAndCompute(gb, None)
knn = cv2.BFMatcher(cv2.NORM_L2).knnMatch(des1, des2, k=2)
good = [m for m, n in knn if m.distance < 0.75 * n.distance]

pts1 = np.float32([kp1[m.queryIdx].pt for m in good])
pts2 = np.float32([kp2[m.trainIdx].pt for m in good])

# Homography: ảnh A -> ảnh B
H, inliers = cv2.findHomography(pts1, pts2, cv2.RANSAC, 3.0)
h, w = b.shape[:2]
warped = cv2.warpPerspective(a, H, (w, h))

# Nếu camera đã hiệu chuẩn và cảnh không phẳng:
# E, mask = cv2.findEssentialMat(pts1, pts2, K, cv2.RANSAC, 0.999, 1.0)
# _, R, t, mask = cv2.recoverPose(E, pts1, pts2, K)
print("H =\n", H)
print("inliers:", int(inliers.sum()))
THƯ VIỆN: OPENCV / NUMPY Đọc từ trên xuống · thử từng block
06 Thử

Điều chỉnh tham số.

Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.

CỤC BỘ / KHÔNG GỬI ẢNH
BÀN THỬ / 12 Homography & hình học epipolar
SẴN SÀNG
KẾT QUẢ / TRỰC TIẾP —
Ảnh đầu vào mặc định
Bấm “Chạy thử” Kết quả sẽ xuất hiện ở đây.
TRẠNG THÁIChờ chạy
ĐẦU VÀO—
SỐ BƯỚC—
THỜI GIAN—
NHẬT KÝ / LUỒNG XỬ LÝ
$ bài thử chưa chạy
$ chọn ảnh và bấm “Chạy thử”
07 Ứng dụng

Dùng nó ở đâu?

DÙNG / 01

Rectify ảnh chụp nghiêng thành ảnh nhìn thẳng.

DÙNG / 02

Ghép panorama, ổn định video, AR marker.

DÙNG / 03

Ước lượng chuyển động camera trong SLAM.

HƯỚNG HIỆN ĐẠI

Những hướng đang được dùng hiện nay.

Các phương pháp dưới đây không thay thế baseline; chúng giải quyết những điểm yếu của cách cổ điển khi có thêm dữ liệu, GPU hoặc yêu cầu độ ổn định cao hơn.

Bấm vào một thẻ để xem chi tiết từng họ giải thuật và khi nào nên dùng.