Chuyện gì đang xảy ra?
Nếu bạn chụp một tờ giấy từ hai góc khác nhau, tờ giấy vẫn là một mặt phẳng. Có một phép biến đổi 3×3 — homography — ánh xạ mỗi điểm trên tờ giấy ở ảnh A sang vị trí tương ứng ở ảnh B. Phép biến đổi này bảo toàn đường thẳng: đường thẳng vẫn thành đường thẳng. Vì vậy nó được dùng để rectify ảnh, ghép panorama, thay mặt phẳng trong AR.
Một homography có 8 bậc tự do (ma trận 3×3 xác định sai khác một tỉ lệ). Mỗi cặp điểm cho hai phương trình, nên bốn cặp điểm không nằm trên một đường thẳng là đủ. Trong thực tế, ta có hàng trăm cặp match nhiễu; DLT + RANSAC tìm mô hình tốt nhất và loại outlier.
Khi camera đã hiệu chuẩn và cảnh không phẳng, homography không còn đúng. Thay vào đó, hai ảnh liên hệ qua essential matrix E: x'ᵀ E x = 0. E mã hoá xoay R và tịnh tiến t giữa hai camera. Từ E có thể recover pose, nhưng chỉ lên tới một tỉ lệ và có bốn nghiệm — cần kiểm tra điểm nằm trước camera.
Điểm dễ nhầm: homography là mô hình cho mặt phẳng hoặc camera chỉ xoay quanh tâm; essential matrix là mô hình cho camera dịch chuyển. Chọn sai mô hình sẽ cho kết quả trông có vẻ ổn nhưng sai về hình học.
Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.
Viết lại bằng toán.
Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.
Homography
- H xác định sai khác một tỉ lệ
- 8 bậc tự do
- Bốn cặp điểm không collinear là đủ
DLT xếp các phương trình thành A·h = 0; nghiệm là vector kỳ dị nhỏ nhất của A.
Ràng buộc epipolar
- E: essential matrix 3×3
- R, t: xoay và tịnh tiến giữa hai camera
- x, x': toạ độ chuẩn hoá
Với pixel chưa hiệu chuẩn, dùng fundamental matrix F = K'⁻ᵀ E K⁻¹.
Sai số Sampson
- Xấp xỉ bậc một của khoảng cách tới đường epipolar
- Dùng trong RANSAC để chấm điểm
Sai số hình học tốt hơn nhiều so với kiểm tra đại số thô.
Luồng xử lý bằng lời.
-
01
Feature matching
Dùng SIFT/ORB, ratio test; cần ít nhất 4 cặp cho homography, 5–8 cho essential.
-
02
RANSAC
Lặp chọn mẫu tối thiểu, fit H/E, đếm inlier theo ngưỡng tái chiếu.
-
03
Tinh chỉnh
Fit lại mô hình trên toàn bộ inlier, có thể dùng Levenberg–Marquardt.
-
04
Warp/verify
Với H, warp ảnh và kiểm tra bằng mắt; với E, recover pose và kiểm tra điểm trước camera.
-
05
Đo chất lượng
Inlier ratio, reprojection error, tính nhất quán của H trên các vùng khác nhau.
Núm vặn và cạm bẫy.
| Tham số | Ý nghĩa | Khoảng |
|---|---|---|
pair | Cặp ảnh mẫu. | astronaut / checkerboard |
detector | Detector dùng để matching. | SIFT / ORB / BRISK |
max_features | Số keypoint tối đa. | 50…3000 |
ratio | Ngưỡng ratio test. | 0.4…0.95 |
ransac | Ngưỡng tái chiếu RANSAC. | 0.5…12 px |
! Cạm bẫy thường gặp
- Homography chỉ đúng cho mặt phẳng; áp dụng lên cảnh 3D sẽ tạo biến dạng khó thấy.
- Bốn điểm dùng để fit không được collinear hoặc quá gần nhau.
- RANSAC với ngưỡng quá lớn giữ outlier; quá nhỏ bỏ mất inlier do nhiễu pixel.
- Essential matrix cần camera đã hiệu chuẩn; dùng F nếu chỉ có pixel.
Mã nguồn tối giản, không phải giả mã.
import cv2
import numpy as np
a = cv2.imread("astronaut.jpg")
b = cv2.imread("astronaut_warp.jpg")
ga = cv2.cvtColor(a, cv2.COLOR_BGR2GRAY)
gb = cv2.cvtColor(b, cv2.COLOR_BGR2GRAY)
sift = cv2.SIFT_create(nfeatures=1200)
kp1, des1 = sift.detectAndCompute(ga, None)
kp2, des2 = sift.detectAndCompute(gb, None)
knn = cv2.BFMatcher(cv2.NORM_L2).knnMatch(des1, des2, k=2)
good = [m for m, n in knn if m.distance < 0.75 * n.distance]
pts1 = np.float32([kp1[m.queryIdx].pt for m in good])
pts2 = np.float32([kp2[m.trainIdx].pt for m in good])
# Homography: ảnh A -> ảnh B
H, inliers = cv2.findHomography(pts1, pts2, cv2.RANSAC, 3.0)
h, w = b.shape[:2]
warped = cv2.warpPerspective(a, H, (w, h))
# Nếu camera đã hiệu chuẩn và cảnh không phẳng:
# E, mask = cv2.findEssentialMat(pts1, pts2, K, cv2.RANSAC, 0.999, 1.0)
# _, R, t, mask = cv2.recoverPose(E, pts1, pts2, K)
print("H =\n", H)
print("inliers:", int(inliers.sum()))
Điều chỉnh tham số.
Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.
$ bài thử chưa chạy $ chọn ảnh và bấm “Chạy thử”
Dùng nó ở đâu?
Rectify ảnh chụp nghiêng thành ảnh nhìn thẳng.
Ghép panorama, ổn định video, AR marker.
Ước lượng chuyển động camera trong SLAM.
Những hướng đang được dùng hiện nay.
Các phương pháp dưới đây không thay thế baseline; chúng giải quyết những điểm yếu của cách cổ điển khi có thêm dữ liệu, GPU hoặc yêu cầu độ ổn định cao hơn.
Bấm vào một thẻ để xem chi tiết từng họ giải thuật và khi nào nên dùng.