Chuyện gì đang xảy ra?
Khi xoay điện thoại chụp liền vài tấm, mỗi tấm thấy một phần cảnh và hai tấm kề nhau có một dải chung. Muốn ghép, ta cần biết điểm nào ở ảnh A là điểm nào ở ảnh B. Cách làm quen thuộc là dò điểm đặc trưng (Harris, SIFT, ORB…), mô tả vùng quanh mỗi điểm bằng một vector, rồi so vector giữa hai ảnh. Kết quả là một danh sách cặp tương ứng (correspondence) — nhưng danh sách này không bao giờ sạch.
Chỉ lấy láng giềng gần nhất là chưa đủ: một mảng gạch lặp lại hay một vùng trời gần như đồng màu sẽ có rất nhiều ứng viên na ná nhau. Mẹo của Lowe là so khoảng cách tới láng giềng gần nhất với khoảng cách tới láng giềng gần nhì. Nếu hai con số gần bằng nhau, đặc trưng đó không đủ phân biệt và ta bỏ nó; nếu láng giềng gần nhất vượt trội hẳn, cặp khớp đáng tin hơn nhiều so với việc đặt một ngưỡng khoảng cách tuyệt đối.
Dù đã lọc, vẫn còn những cặp sai — gọi là điểm ngoại lai (outlier). Nếu đưa tất cả vào bình phương tối thiểu (least squares), chỉ vài điểm sai rất xa cũng đủ kéo lệch cả lời giải, vì sai số bị bình phương. Có hai triết lý chống lại điều đó: bỏ phiếu (Hough — mỗi điểm bầu cho các tham số phù hợp với nó) và giả thuyết rồi kiểm tra (RANSAC). Với mô hình nhiều tham số như homography 8 bậc tự do, lưới bỏ phiếu Hough quá lớn, nên RANSAC thắng.
RANSAC (RANdom SAmple Consensus) lặp lại một vòng rất đơn giản: bốc ngẫu nhiên số cặp tối thiểu đủ xác định mô hình (4 cặp cho homography), tính mô hình, đếm xem bao nhiêu cặp còn lại nằm gần mô hình trong một ngưỡng pixel — đó là các điểm nội tuyến (inlier). Sau đủ số vòng, mô hình có nhiều inlier nhất được chọn và được ước lượng lại bằng bình phương tối thiểu trên riêng tập inlier. Số vòng cần thiết chỉ phụ thuộc tỉ lệ ngoại lai và kích thước mẫu, không phụ thuộc tổng số điểm.
Có homography rồi, ta uốn (warp) ảnh thứ hai vào hệ toạ độ ảnh thứ nhất và chồng lên. Chồng thẳng sẽ lộ đường nối do chênh sáng giữa hai lần chụp; làm mềm đường nối (feathering) trộn hai ảnh với trọng số giảm dần về phía mép mỗi ảnh. Khi ghép nhiều ảnh quét rộng, homography phẳng kéo giãn rất mạnh ở rìa, nên các phần mềm thường chiếu lên mặt trụ hoặc cầu trước khi ghép.
Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.
Viết lại bằng toán.
Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.
Phép thử tỉ lệ của Lowe
- d: mô tả của điểm ở ảnh A
- d₁, d₂: láng giềng gần nhất và gần nhì ở ảnh B
- τ: ngưỡng tỉ lệ, thường 0.7–0.8
τ nhỏ → ít cặp nhưng sạch; τ gần 1 → nhiều cặp nhưng nhiều cặp sai hơn.
Số vòng lặp RANSAC
- p: xác suất mong muốn có ít nhất một mẫu toàn inlier (vd 0.99)
- e: tỉ lệ ngoại lai ước tính
- s: số cặp tối thiểu mỗi mẫu (4 với homography)
Ví dụ s = 4, e = 0.5, p = 0.99 cho N ≈ 72 vòng. Tỉ lệ ngoại lai càng cao thì N tăng rất nhanh.
Homography và hệ tuyến tính DLT
- H: ma trận 3×3, chỉ xác định tới một hệ số tỉ lệ → 8 bậc tự do
- h: 9 phần tử của H xếp thành vector
- Mỗi cặp điểm cho 2 phương trình → cần ít nhất 4 cặp
Xếp các hàng của mọi cặp thành ma trận A; h là vector kỳ dị ứng với trị kỳ dị nhỏ nhất của A (SVD). Nên chuẩn hoá toạ độ trước khi giải.
Điểm số của một giả thuyết
- π: chia cho toạ độ thứ ba để về pixel
- t: ngưỡng RANSAC (pixel)
- 1[·] = 1 nếu điều kiện đúng
Khác bình phương tối thiểu, một điểm sai rất xa chỉ làm mất 1 phiếu chứ không kéo lệch lời giải.
Luồng xử lý bằng lời.
-
01
Dò & mô tả
Chạy ORB (hoặc SIFT) trên cả hai ảnh xám để có điểm đặc trưng và vector mô tả. ORB nhị phân nên so bằng khoảng cách Hamming.
-
02
Khớp + lọc tỉ lệ
knnMatch(k=2)lấy hai láng giềng gần nhất, giữ cặp có tỉ lệ khoảng cách dưới ngưỡng Lowe. -
03
RANSAC homography
cv2.findHomography(src, dst, cv2.RANSAC, t)trả về H và mặt nạ inlier. Cần tối thiểu 4 cặp; thực tế nên có vài chục. -
04
Uốn ảnh
Tính ảnh của 4 góc qua H để biết khung đích đủ lớn, thêm phép tịnh tiến nếu có toạ độ âm, rồi
cv2.warpPerspective. -
05
Trộn đường nối
Dùng
cv2.distanceTransformtrên mặt nạ mỗi ảnh làm trọng số, trộn theo tỉ lệ trọng số ở vùng chồng lấn.
Núm vặn và cạm bẫy.
| Tham số | Ý nghĩa | Khoảng |
|---|---|---|
overlap | Phần trăm chiều rộng hai khung nhìn cắt từ ảnh gốc chồng lên nhau. Chồng ít → ít điểm chung để khớp. | 20…60 % |
angle | Góc xoay phối cảnh giả lập cho khung phải (như xoay máy khi chụp). Góc lớn làm mô tả cục bộ biến dạng, khớp khó hơn. | 0…20° |
ratio | Ngưỡng tỉ lệ Lowe giữa láng giềng gần nhất và gần nhì. | 0.5…0.95 |
ransac | Sai số chiếu lại tối đa (pixel) để một cặp được tính là inlier. | 1…10 px |
blend | Cách ghép: làm mềm đường nối bằng trọng số khoảng cách, hoặc chồng thẳng ảnh phải lên ảnh trái. | feather / none |
! Cạm bẫy thường gặp
- Ngưỡng tỉ lệ quá rộng (≥ 0.9) đưa vào rất nhiều cặp sai; tỉ lệ ngoại lai cao làm số vòng RANSAC cần thiết tăng vọt.
- Ngưỡng RANSAC quá chặt thì inlier thật bị loại vì nhiễu toạ độ; quá lỏng thì một homography sai vẫn được nhiều phiếu.
- Homography chỉ đúng khi cảnh gần phẳng hoặc máy chỉ xoay quanh tâm quang học. Đi ngang khi chụp gây thị sai (parallax) → bóng ma ở vật gần.
- Quên tịnh tiến khung đích: phần ảnh uốn ra toạ độ âm sẽ bị cắt mất.
- Chồng thẳng để lộ đường nối do phơi sáng khác nhau; feather giảm nhưng không khử được chênh sáng lớn — cần bù phơi sáng hoặc trộn đa dải.
- Ghép chuỗi nhiều ảnh bằng cách nhân dồn homography làm sai số tích luỹ; phần mềm thật tối ưu đồng thời mọi ảnh (bundle adjustment).
Mã nguồn tối giản, không phải giả mã.
import cv2
import numpy as np
img = cv2.imread("road.jpg")
if img is None:
raise FileNotFoundError("Không đọc được ảnh")
h, w = img.shape[:2]
# 1) Tự tạo hai khung nhìn chồng lấn 40% từ một ảnh
cw = int(w / (2 - 0.4))
left = img[:, :cw].copy()
right = img[:, w - cw:].copy()
# Giả lập xoay máy: bóp méo phối cảnh khung phải
src = np.float32([[0, 0], [cw, 0], [cw, h], [0, h]])
dst = np.float32([[0, 0.06 * h], [cw, 0], [cw, h], [0, 0.94 * h]])
right = cv2.warpPerspective(right, cv2.getPerspectiveTransform(src, dst), (cw, h))
# 2) ORB + khớp có phép thử tỉ lệ Lowe
orb = cv2.ORB_create(2000)
k1, d1 = orb.detectAndCompute(cv2.cvtColor(left, cv2.COLOR_BGR2GRAY), None)
k2, d2 = orb.detectAndCompute(cv2.cvtColor(right, cv2.COLOR_BGR2GRAY), None)
bf = cv2.BFMatcher(cv2.NORM_HAMMING)
good = [m for m, n in (p for p in bf.knnMatch(d2, d1, k=2) if len(p) == 2)
if m.distance < 0.75 * n.distance]
if len(good) < 4:
raise RuntimeError("Không đủ cặp khớp")
pts_r = np.float32([k2[m.queryIdx].pt for m in good]).reshape(-1, 1, 2)
pts_l = np.float32([k1[m.trainIdx].pt for m in good]).reshape(-1, 1, 2)
# 3) RANSAC: homography đưa ảnh phải về hệ toạ độ ảnh trái
H, mask = cv2.findHomography(pts_r, pts_l, cv2.RANSAC, 4.0)
print("cặp khớp:", len(good), "inlier:", int(mask.sum()))
# 4) Khung đích đủ chứa cả hai ảnh
corners = cv2.perspectiveTransform(np.float32([[0, 0], [cw, 0], [cw, h], [0, h]]).reshape(-1, 1, 2), H)
allc = np.vstack([corners.reshape(-1, 2), [[0, 0], [cw, 0], [cw, h], [0, h]]])
x0, y0 = np.floor(allc.min(axis=0)).astype(int)
x1, y1 = np.ceil(allc.max(axis=0)).astype(int)
T = np.array([[1, 0, -x0], [0, 1, -y0], [0, 0, 1]], dtype=np.float64)
size = (x1 - x0, y1 - y0)
warp_r = cv2.warpPerspective(right, T @ H, size)
warp_l = cv2.warpPerspective(left, T, size)
# 5) Làm mềm đường nối bằng trọng số khoảng cách tới mép
def weight(im):
m = (im.sum(axis=2) > 0).astype(np.uint8)
return cv2.distanceTransform(m, cv2.DIST_L2, 5).astype(np.float32)
wl, wr = weight(warp_l), weight(warp_r)
tot = wl + wr
tot[tot == 0] = 1
pano = (warp_l * (wl / tot)[..., None] + warp_r * (wr / tot)[..., None]).astype(np.uint8)
cv2.imwrite("panorama.jpg", pano)
Điều chỉnh tham số.
Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.
$ bài thử chưa chạy $ chọn ảnh và bấm “Chạy thử”
Dùng nó ở đâu?
Chế độ panorama trên điện thoại, ảnh 360° cho tham quan ảo.
Ghép ảnh vệ tinh / flycam thành bản đồ lớn (mosaic).
Nắn ảnh tài liệu, biển số, bảng hiệu về mặt phẳng chính diện.
Ổn định video và chồng thực tế tăng cường lên mặt phẳng (bàn, tường).
RANSAC dùng chung cho mọi bài khớp mô hình có ngoại lai: đường thẳng, ma trận cơ bản, tư thế camera.
Những hướng đang được dùng hiện nay.
Các phương pháp dưới đây không thay thế baseline; chúng giải quyết những điểm yếu của cách cổ điển khi có thêm dữ liệu, GPU hoặc yêu cầu độ ổn định cao hơn.
SuperPoint + SuperGlue / LightGlue
Mạng học sẵn để dò điểm và khớp có ngữ cảnh toàn ảnh, bền với thay đổi góc nhìn và ánh sáng hơn ORB/SIFT.
Dùng khi: Ảnh khó (đêm, ít texture, góc nhìn khác xa); có GPU.LoFTR (khớp không cần bộ dò)
Transformer khớp dày đặc trực tiếp giữa hai ảnh, vẫn tìm được tương ứng ở vùng ít góc cạnh.
Dùng khi: Tường trơn, vùng lặp; chấp nhận chi phí tính toán lớn.MAGSAC++ / USAC
Biến thể RANSAC hiện đại, giảm phụ thuộc vào việc chọn đúng ngưỡng; OpenCV có cờ <code>cv2.USAC_MAGSAC</code>.
Dùng khi: Thay thế trực tiếp cho <code>cv2.RANSAC</code> khi khó chọn ngưỡng.- CS 4476 Computer Vision — James Hays, Georgia Tech (bài giảng 10, 11)
- Richard Szeliski — Computer Vision: Algorithms and Applications (2nd ed.)
- M. Fischler, R. Bolles — Random Sample Consensus (Communications of the ACM, 1981)
- M. Brown, D. Lowe — Automatic Panoramic Image Stitching using Invariant Features (IJCV, 2007)
Chương này được viết lại bằng tiếng Việt dựa trên chủ đề của bài giảng gốc; không sao chép slide.