Chuyện gì đang xảy ra?
Một bức ảnh có hàng trăm nghìn pixel, nhưng không phải pixel nào cũng hữu ích để nhận diện. Vùng trời phẳng, bức tường trơn hay mặt nước ít thông tin; một góc nhà, đỉnh tháp hay chữ cái có cấu trúc rõ ràng thì ổn định hơn khi ảnh bị xoay, đổi sáng hoặc đổi góc nhìn. Feature detector tìm những điểm như vậy.
Sau khi có keypoint, descriptor mô tả vùng lân cận thành một vector. ORB dùng FAST để tìm góc và BRIEF để tạo descriptor nhị phân, rất nhanh. SIFT dùng Difference-of-Gaussians, gán hướng và tạo histogram gradient 128 chiều, chậm hơn nhưng bền với scale và xoay. Cả hai đều có trong OpenCV hiện đại.
Matching thô thường có nhiều cặp sai, nhất là khi có texture lặp. Ratio test của Lowe so khoảng cách tới match tốt nhất và match tốt thứ hai: nếu hai ứng viên gần nhau, match đó mơ hồ và bị loại. Sau đó RANSAC tìm một mô hình hình học (homography, essential matrix) và loại các cặp không nhất quán.
Đừng đánh giá matching chỉ bằng số lượng match. Một cặp ảnh có 500 match nhưng 20 inlier tệ hơn 80 match với 75 inlier. Tỉ lệ inlier và sai số tái chiếu mới là tín hiệu đáng tin.
Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.
Viết lại bằng toán.
Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.
Harris corner response
- M: ma trận moment gradient
- R lớn: góc mạnh
- k ≈ 0.04…0.06
Harris tìm điểm mà gradient thay đổi mạnh theo cả hai hướng.
Ratio test
- m1: match tốt nhất
- m2: match tốt thứ hai
- Nếu hai match gần nhau, bỏ qua
Ratio test giảm match sai do texture lặp hoặc mô tả không đặc trưng.
Mô hình hình học
- H: homography cho mặt phẳng
- E: essential matrix cho camera đã hiệu chuẩn
RANSAC lặp: chọn mẫu tối thiểu, fit mô hình, đếm inlier, giữ mô hình tốt nhất.
Luồng xử lý bằng lời.
-
01
Phát hiện keypoint
ORB cho tốc độ; SIFT cho độ bền; Harris nếu chỉ cần góc đơn giản.
-
02
Tính descriptor
Mỗi keypoint được mô tả bằng vector. Descriptor phải ổn định với thay đổi nhỏ.
-
03
Matching
BFMatcher hoặc FLANN; dùng knnMatch để lấy hai ứng viên gần nhất.
-
04
Ratio test
Giữ match nếu khoảng cách tốt nhất nhỏ hơn τ lần khoảng cách thứ hai.
-
05
RANSAC
Fit homography/essential matrix, loại outlier, đo inlier và sai số tái chiếu.
Núm vặn và cạm bẫy.
| Tham số | Ý nghĩa | Khoảng |
|---|---|---|
detector | Bộ phát hiện/descriptor. | ORB / SIFT / BRISK |
max_features | Số keypoint tối đa cần tìm. | 50…3000 |
ratio | Ngưỡng ratio test; nhỏ hơn = khắt khe hơn. | 0.4…0.95 |
ransac | Ngưỡng tái chiếu của RANSAC. | 0.5…12 px |
max_matches | Số match tốt nhất đưa vào RANSAC. | 4…300 |
! Cạm bẫy thường gặp
- Vùng texture lặp (gạch, hàng rào, cửa sổ) sinh nhiều match sai dù descriptor tốt.
- Tăng max_features không luôn tốt hơn; keypoint yếu làm matching nhiễu.
- Ratio test quá lỏng giữ outlier; quá chặt bỏ mất match đúng.
- RANSAC có thể hội tụ sai nếu tỉ lệ outlier quá cao hoặc mô hình không phù hợp.
Mã nguồn tối giản, không phải giả mã.
import cv2
import numpy as np
img1 = cv2.imread("astronaut.jpg")
img2 = cv2.imread("astronaut_warp.jpg")
g1 = cv2.cvtColor(img1, cv2.COLOR_BGR2GRAY)
g2 = cv2.cvtColor(img2, cv2.COLOR_BGR2GRAY)
sift = cv2.SIFT_create(nfeatures=1200)
kp1, des1 = sift.detectAndCompute(g1, None)
kp2, des2 = sift.detectAndCompute(g2, None)
bf = cv2.BFMatcher(cv2.NORM_L2)
knn = bf.knnMatch(des1, des2, k=2)
# Lowe ratio test
good = [m for m, n in knn if m.distance < 0.75 * n.distance]
pts1 = np.float32([kp1[m.queryIdx].pt for m in good])
pts2 = np.float32([kp2[m.trainIdx].pt for m in good])
H, inliers = cv2.findHomography(pts1, pts2, cv2.RANSAC, 3.0)
print("matches:", len(good), "inliers:", int(inliers.sum()))
Điều chỉnh tham số.
Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.
$ bài thử chưa chạy $ chọn ảnh và bấm “Chạy thử”
Dùng nó ở đâu?
Ghép panorama, ổn định video, SLAM.
Tìm vật thể đã biết trong ảnh mới (logo, sản phẩm, tranh).
Hiệu chuẩn camera và ước lượng chuyển động.