CHƯƠNG 36 Camera & nhiều góc nhìn

RANSAC & ghép ảnh toàn cảnh

Ghép ảnh toàn cảnh là bài toán ước lượng một phép biến đổi (homography) từ những cặp điểm khớp, trong đó có không ít cặp sai. RANSAC giải quyết đúng chỗ khó ấy: thử nhiều giả thuyết nhỏ, giữ giả thuyết được nhiều điểm ủng hộ nhất, rồi mới uốn và trộn ảnh.

Camera & nhiều góc nhìn Trung cấp 22 phút đọc bài thử tương tác
Ảnh minh hoạ cho RANSAC & ghép ảnh toàn cảnh 36 / 46
RANSAC · Homography Một khung hình, một câu hỏi.
01 Trực giác

Chuyện gì đang xảy ra?

Khi xoay điện thoại chụp liền vài tấm, mỗi tấm thấy một phần cảnh và hai tấm kề nhau có một dải chung. Muốn ghép, ta cần biết điểm nào ở ảnh A là điểm nào ở ảnh B. Cách làm quen thuộc là dò điểm đặc trưng (Harris, SIFT, ORB…), mô tả vùng quanh mỗi điểm bằng một vector, rồi so vector giữa hai ảnh. Kết quả là một danh sách cặp tương ứng (correspondence) — nhưng danh sách này không bao giờ sạch.

Chỉ lấy láng giềng gần nhất là chưa đủ: một mảng gạch lặp lại hay một vùng trời gần như đồng màu sẽ có rất nhiều ứng viên na ná nhau. Mẹo của Lowe là so khoảng cách tới láng giềng gần nhất với khoảng cách tới láng giềng gần nhì. Nếu hai con số gần bằng nhau, đặc trưng đó không đủ phân biệt và ta bỏ nó; nếu láng giềng gần nhất vượt trội hẳn, cặp khớp đáng tin hơn nhiều so với việc đặt một ngưỡng khoảng cách tuyệt đối.

Dù đã lọc, vẫn còn những cặp sai — gọi là điểm ngoại lai (outlier). Nếu đưa tất cả vào bình phương tối thiểu (least squares), chỉ vài điểm sai rất xa cũng đủ kéo lệch cả lời giải, vì sai số bị bình phương. Có hai triết lý chống lại điều đó: bỏ phiếu (Hough — mỗi điểm bầu cho các tham số phù hợp với nó) và giả thuyết rồi kiểm tra (RANSAC). Với mô hình nhiều tham số như homography 8 bậc tự do, lưới bỏ phiếu Hough quá lớn, nên RANSAC thắng.

RANSAC (RANdom SAmple Consensus) lặp lại một vòng rất đơn giản: bốc ngẫu nhiên số cặp tối thiểu đủ xác định mô hình (4 cặp cho homography), tính mô hình, đếm xem bao nhiêu cặp còn lại nằm gần mô hình trong một ngưỡng pixel — đó là các điểm nội tuyến (inlier). Sau đủ số vòng, mô hình có nhiều inlier nhất được chọn và được ước lượng lại bằng bình phương tối thiểu trên riêng tập inlier. Số vòng cần thiết chỉ phụ thuộc tỉ lệ ngoại lai và kích thước mẫu, không phụ thuộc tổng số điểm.

Có homography rồi, ta uốn (warp) ảnh thứ hai vào hệ toạ độ ảnh thứ nhất và chồng lên. Chồng thẳng sẽ lộ đường nối do chênh sáng giữa hai lần chụp; làm mềm đường nối (feathering) trộn hai ảnh với trọng số giảm dần về phía mép mỗi ảnh. Khi ghép nhiều ảnh quét rộng, homography phẳng kéo giãn rất mạnh ở rìa, nên các phần mềm thường chiếu lên mặt trụ hoặc cầu trước khi ghép.

Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.

02 Công thức

Viết lại bằng toán.

Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.

CÔNG THỨC / 01

Phép thử tỉ lệ của Lowe

\[ \frac{\lVert \mathbf{d} - \mathbf{d}_{1} \rVert}{\lVert \mathbf{d} - \mathbf{d}_{2} \rVert} < \tau \]
  • d: mô tả của điểm ở ảnh A
  • d₁, d₂: láng giềng gần nhất và gần nhì ở ảnh B
  • τ: ngưỡng tỉ lệ, thường 0.7–0.8

τ nhỏ → ít cặp nhưng sạch; τ gần 1 → nhiều cặp nhưng nhiều cặp sai hơn.

CÔNG THỨC / 02

Số vòng lặp RANSAC

\[ N = \frac{\log(1 - p)}{\log\left(1 - (1 - e)^{s}\right)} \]
  • p: xác suất mong muốn có ít nhất một mẫu toàn inlier (vd 0.99)
  • e: tỉ lệ ngoại lai ước tính
  • s: số cặp tối thiểu mỗi mẫu (4 với homography)

Ví dụ s = 4, e = 0.5, p = 0.99 cho N ≈ 72 vòng. Tỉ lệ ngoại lai càng cao thì N tăng rất nhanh.

CÔNG THỨC / 03

Homography và hệ tuyến tính DLT

\[ \lambda\begin{bmatrix} x' \\ y' \\ 1 \end{bmatrix} = \mathbf{H}\begin{bmatrix} x \\ y \\ 1 \end{bmatrix}, \qquad \begin{bmatrix} -x & -y & -1 & 0 & 0 & 0 & x x' & y x' & x' \\ 0 & 0 & 0 & -x & -y & -1 & x y' & y y' & y' \end{bmatrix}\mathbf{h} = \mathbf{0} \]
  • H: ma trận 3×3, chỉ xác định tới một hệ số tỉ lệ → 8 bậc tự do
  • h: 9 phần tử của H xếp thành vector
  • Mỗi cặp điểm cho 2 phương trình → cần ít nhất 4 cặp

Xếp các hàng của mọi cặp thành ma trận A; h là vector kỳ dị ứng với trị kỳ dị nhỏ nhất của A (SVD). Nên chuẩn hoá toạ độ trước khi giải.

CÔNG THỨC / 04

Điểm số của một giả thuyết

\[ \text{score}(\mathbf{H}) = \sum_{i} \mathbf{1}\left[ \lVert \mathbf{x}'_i - \pi(\mathbf{H}\mathbf{x}_i) \rVert < t \right] \]
  • π: chia cho toạ độ thứ ba để về pixel
  • t: ngưỡng RANSAC (pixel)
  • 1[·] = 1 nếu điều kiện đúng

Khác bình phương tối thiểu, một điểm sai rất xa chỉ làm mất 1 phiếu chứ không kéo lệch lời giải.

03 Từng bước

Luồng xử lý bằng lời.

  1. 01

    Dò & mô tả

    Chạy ORB (hoặc SIFT) trên cả hai ảnh xám để có điểm đặc trưng và vector mô tả. ORB nhị phân nên so bằng khoảng cách Hamming.

  2. 02

    Khớp + lọc tỉ lệ

    knnMatch(k=2) lấy hai láng giềng gần nhất, giữ cặp có tỉ lệ khoảng cách dưới ngưỡng Lowe.

  3. 03

    RANSAC homography

    cv2.findHomography(src, dst, cv2.RANSAC, t) trả về H và mặt nạ inlier. Cần tối thiểu 4 cặp; thực tế nên có vài chục.

  4. 04

    Uốn ảnh

    Tính ảnh của 4 góc qua H để biết khung đích đủ lớn, thêm phép tịnh tiến nếu có toạ độ âm, rồi cv2.warpPerspective.

  5. 05

    Trộn đường nối

    Dùng cv2.distanceTransform trên mặt nạ mỗi ảnh làm trọng số, trộn theo tỉ lệ trọng số ở vùng chồng lấn.

04 Tham số

Núm vặn và cạm bẫy.

Tham sốÝ nghĩaKhoảng
overlapPhần trăm chiều rộng hai khung nhìn cắt từ ảnh gốc chồng lên nhau. Chồng ít → ít điểm chung để khớp.20…60 %
angleGóc xoay phối cảnh giả lập cho khung phải (như xoay máy khi chụp). Góc lớn làm mô tả cục bộ biến dạng, khớp khó hơn.0…20°
ratioNgưỡng tỉ lệ Lowe giữa láng giềng gần nhất và gần nhì.0.5…0.95
ransacSai số chiếu lại tối đa (pixel) để một cặp được tính là inlier.1…10 px
blendCách ghép: làm mềm đường nối bằng trọng số khoảng cách, hoặc chồng thẳng ảnh phải lên ảnh trái.feather / none

! Cạm bẫy thường gặp

  • Ngưỡng tỉ lệ quá rộng (≥ 0.9) đưa vào rất nhiều cặp sai; tỉ lệ ngoại lai cao làm số vòng RANSAC cần thiết tăng vọt.
  • Ngưỡng RANSAC quá chặt thì inlier thật bị loại vì nhiễu toạ độ; quá lỏng thì một homography sai vẫn được nhiều phiếu.
  • Homography chỉ đúng khi cảnh gần phẳng hoặc máy chỉ xoay quanh tâm quang học. Đi ngang khi chụp gây thị sai (parallax) → bóng ma ở vật gần.
  • Quên tịnh tiến khung đích: phần ảnh uốn ra toạ độ âm sẽ bị cắt mất.
  • Chồng thẳng để lộ đường nối do phơi sáng khác nhau; feather giảm nhưng không khử được chênh sáng lớn — cần bù phơi sáng hoặc trộn đa dải.
  • Ghép chuỗi nhiều ảnh bằng cách nhân dồn homography làm sai số tích luỹ; phần mềm thật tối ưu đồng thời mọi ảnh (bundle adjustment).
05 Mã nguồn

Mã nguồn tối giản, không phải giả mã.

MÃ THAM KHẢO / panorama
import cv2
import numpy as np

img = cv2.imread("road.jpg")
if img is None:
    raise FileNotFoundError("Không đọc được ảnh")
h, w = img.shape[:2]

# 1) Tự tạo hai khung nhìn chồng lấn 40% từ một ảnh
cw = int(w / (2 - 0.4))
left = img[:, :cw].copy()
right = img[:, w - cw:].copy()
# Giả lập xoay máy: bóp méo phối cảnh khung phải
src = np.float32([[0, 0], [cw, 0], [cw, h], [0, h]])
dst = np.float32([[0, 0.06 * h], [cw, 0], [cw, h], [0, 0.94 * h]])
right = cv2.warpPerspective(right, cv2.getPerspectiveTransform(src, dst), (cw, h))

# 2) ORB + khớp có phép thử tỉ lệ Lowe
orb = cv2.ORB_create(2000)
k1, d1 = orb.detectAndCompute(cv2.cvtColor(left, cv2.COLOR_BGR2GRAY), None)
k2, d2 = orb.detectAndCompute(cv2.cvtColor(right, cv2.COLOR_BGR2GRAY), None)
bf = cv2.BFMatcher(cv2.NORM_HAMMING)
good = [m for m, n in (p for p in bf.knnMatch(d2, d1, k=2) if len(p) == 2)
        if m.distance < 0.75 * n.distance]
if len(good) < 4:
    raise RuntimeError("Không đủ cặp khớp")

pts_r = np.float32([k2[m.queryIdx].pt for m in good]).reshape(-1, 1, 2)
pts_l = np.float32([k1[m.trainIdx].pt for m in good]).reshape(-1, 1, 2)

# 3) RANSAC: homography đưa ảnh phải về hệ toạ độ ảnh trái
H, mask = cv2.findHomography(pts_r, pts_l, cv2.RANSAC, 4.0)
print("cặp khớp:", len(good), "inlier:", int(mask.sum()))

# 4) Khung đích đủ chứa cả hai ảnh
corners = cv2.perspectiveTransform(np.float32([[0, 0], [cw, 0], [cw, h], [0, h]]).reshape(-1, 1, 2), H)
allc = np.vstack([corners.reshape(-1, 2), [[0, 0], [cw, 0], [cw, h], [0, h]]])
x0, y0 = np.floor(allc.min(axis=0)).astype(int)
x1, y1 = np.ceil(allc.max(axis=0)).astype(int)
T = np.array([[1, 0, -x0], [0, 1, -y0], [0, 0, 1]], dtype=np.float64)
size = (x1 - x0, y1 - y0)
warp_r = cv2.warpPerspective(right, T @ H, size)
warp_l = cv2.warpPerspective(left, T, size)

# 5) Làm mềm đường nối bằng trọng số khoảng cách tới mép
def weight(im):
    m = (im.sum(axis=2) > 0).astype(np.uint8)
    return cv2.distanceTransform(m, cv2.DIST_L2, 5).astype(np.float32)

wl, wr = weight(warp_l), weight(warp_r)
tot = wl + wr
tot[tot == 0] = 1
pano = (warp_l * (wl / tot)[..., None] + warp_r * (wr / tot)[..., None]).astype(np.uint8)
cv2.imwrite("panorama.jpg", pano)
THƯ VIỆN: OPENCV / NUMPY Đọc từ trên xuống · thử từng block
06 Thử

Điều chỉnh tham số.

Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.

CỤC BỘ / KHÔNG GỬI ẢNH
BÀN THỬ / 36 RANSAC & ghép ảnh toàn cảnh
SẴN SÀNG
KẾT QUẢ / TRỰC TIẾP —
Ảnh đầu vào mặc định
Bấm “Chạy thử” Kết quả sẽ xuất hiện ở đây.
TRẠNG THÁIChờ chạy
ĐẦU VÀO—
SỐ BƯỚC—
THỜI GIAN—
NHẬT KÝ / LUỒNG XỬ LÝ
$ bài thử chưa chạy
$ chọn ảnh và bấm “Chạy thử”
07 Ứng dụng

Dùng nó ở đâu?

DÙNG / 01

Chế độ panorama trên điện thoại, ảnh 360° cho tham quan ảo.

DÙNG / 02

Ghép ảnh vệ tinh / flycam thành bản đồ lớn (mosaic).

DÙNG / 03

Nắn ảnh tài liệu, biển số, bảng hiệu về mặt phẳng chính diện.

DÙNG / 04

Ổn định video và chồng thực tế tăng cường lên mặt phẳng (bàn, tường).

DÙNG / 05

RANSAC dùng chung cho mọi bài khớp mô hình có ngoại lai: đường thẳng, ma trận cơ bản, tư thế camera.

HƯỚNG HIỆN ĐẠI

Những hướng đang được dùng hiện nay.

Các phương pháp dưới đây không thay thế baseline; chúng giải quyết những điểm yếu của cách cổ điển khi có thêm dữ liệu, GPU hoặc yêu cầu độ ổn định cao hơn.

HIỆN ĐẠI / 01

SuperPoint + SuperGlue / LightGlue

Mạng học sẵn để dò điểm và khớp có ngữ cảnh toàn ảnh, bền với thay đổi góc nhìn và ánh sáng hơn ORB/SIFT.

Dùng khi: Ảnh khó (đêm, ít texture, góc nhìn khác xa); có GPU.
HIỆN ĐẠI / 02

LoFTR (khớp không cần bộ dò)

Transformer khớp dày đặc trực tiếp giữa hai ảnh, vẫn tìm được tương ứng ở vùng ít góc cạnh.

Dùng khi: Tường trơn, vùng lặp; chấp nhận chi phí tính toán lớn.
HIỆN ĐẠI / 03

MAGSAC++ / USAC

Biến thể RANSAC hiện đại, giảm phụ thuộc vào việc chọn đúng ngưỡng; OpenCV có cờ <code>cv2.USAC_MAGSAC</code>.

Dùng khi: Thay thế trực tiếp cho <code>cv2.RANSAC</code> khi khó chọn ngưỡng.