CHƯƠNG 10 Hình học & chuyển động

Đặc trưng cục bộ & khớp đặc trưng

Feature matching không so từng pixel. Nó tìm các điểm ổn định — góc, blob, giao cạnh — mô tả vùng quanh chúng bằng vector, rồi ghép các vector giống nhau. Đây là nền tảng của SLAM, panorama, AR và hiệu chuẩn camera.

Hình học & chuyển động Nâng cao 24 phút đọc bài thử tương tác
Ảnh minh hoạ cho Đặc trưng cục bộ & khớp đặc trưng 10 / 46
Harris · ORB Một khung hình, một câu hỏi.
01 Trực giác

Chuyện gì đang xảy ra?

Một bức ảnh có hàng trăm nghìn pixel, nhưng không phải pixel nào cũng hữu ích để nhận diện. Vùng trời phẳng, bức tường trơn hay mặt nước ít thông tin; một góc nhà, đỉnh tháp hay chữ cái có cấu trúc rõ ràng thì ổn định hơn khi ảnh bị xoay, đổi sáng hoặc đổi góc nhìn. Feature detector tìm những điểm như vậy.

Sau khi có keypoint, descriptor mô tả vùng lân cận thành một vector. ORB dùng FAST để tìm góc và BRIEF để tạo descriptor nhị phân, rất nhanh. SIFT dùng Difference-of-Gaussians, gán hướng và tạo histogram gradient 128 chiều, chậm hơn nhưng bền với scale và xoay. Cả hai đều có trong OpenCV hiện đại.

Matching thô thường có nhiều cặp sai, nhất là khi có texture lặp. Ratio test của Lowe so khoảng cách tới match tốt nhất và match tốt thứ hai: nếu hai ứng viên gần nhau, match đó mơ hồ và bị loại. Sau đó RANSAC tìm một mô hình hình học (homography, essential matrix) và loại các cặp không nhất quán.

Đừng đánh giá matching chỉ bằng số lượng match. Một cặp ảnh có 500 match nhưng 20 inlier tệ hơn 80 match với 75 inlier. Tỉ lệ inlier và sai số tái chiếu mới là tín hiệu đáng tin.

Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.

02 Công thức

Viết lại bằng toán.

Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.

CÔNG THỨC / 01

Harris corner response

\[ R = \det(M) - k\left(\operatorname{tr}(M)\right)^2, \qquad M = \sum_{x,y} w(x,y)\begin{bmatrix}I_x^2 & I_xI_y\\\\I_xI_y & I_y^2\end{bmatrix} \]
  • M: ma trận moment gradient
  • R lớn: góc mạnh
  • k ≈ 0.04…0.06

Harris tìm điểm mà gradient thay đổi mạnh theo cả hai hướng.

CÔNG THỨC / 02

Ratio test

\[ d(m_1) < \tau \cdot d(m_2), \qquad \tau \approx 0.7\text{–}0.8 \]
  • m1: match tốt nhất
  • m2: match tốt thứ hai
  • Nếu hai match gần nhau, bỏ qua

Ratio test giảm match sai do texture lặp hoặc mô tả không đặc trưng.

CÔNG THỨC / 03

Mô hình hình học

\[ \mathbf{x}' \sim H\mathbf{x} \quad\text{hoặc}\quad \mathbf{x}'^T E\mathbf{x}=0 \]
  • H: homography cho mặt phẳng
  • E: essential matrix cho camera đã hiệu chuẩn

RANSAC lặp: chọn mẫu tối thiểu, fit mô hình, đếm inlier, giữ mô hình tốt nhất.

03 Từng bước

Luồng xử lý bằng lời.

  1. 01

    Phát hiện keypoint

    ORB cho tốc độ; SIFT cho độ bền; Harris nếu chỉ cần góc đơn giản.

  2. 02

    Tính descriptor

    Mỗi keypoint được mô tả bằng vector. Descriptor phải ổn định với thay đổi nhỏ.

  3. 03

    Matching

    BFMatcher hoặc FLANN; dùng knnMatch để lấy hai ứng viên gần nhất.

  4. 04

    Ratio test

    Giữ match nếu khoảng cách tốt nhất nhỏ hơn τ lần khoảng cách thứ hai.

  5. 05

    RANSAC

    Fit homography/essential matrix, loại outlier, đo inlier và sai số tái chiếu.

04 Tham số

Núm vặn và cạm bẫy.

Tham sốÝ nghĩaKhoảng
detectorBộ phát hiện/descriptor.ORB / SIFT / BRISK
max_featuresSố keypoint tối đa cần tìm.50…3000
ratioNgưỡng ratio test; nhỏ hơn = khắt khe hơn.0.4…0.95
ransacNgưỡng tái chiếu của RANSAC.0.5…12 px
max_matchesSố match tốt nhất đưa vào RANSAC.4…300

! Cạm bẫy thường gặp

  • Vùng texture lặp (gạch, hàng rào, cửa sổ) sinh nhiều match sai dù descriptor tốt.
  • Tăng max_features không luôn tốt hơn; keypoint yếu làm matching nhiễu.
  • Ratio test quá lỏng giữ outlier; quá chặt bỏ mất match đúng.
  • RANSAC có thể hội tụ sai nếu tỉ lệ outlier quá cao hoặc mô hình không phù hợp.
05 Mã nguồn

Mã nguồn tối giản, không phải giả mã.

MÃ THAM KHẢO / feature
import cv2
import numpy as np

img1 = cv2.imread("astronaut.jpg")
img2 = cv2.imread("astronaut_warp.jpg")
g1 = cv2.cvtColor(img1, cv2.COLOR_BGR2GRAY)
g2 = cv2.cvtColor(img2, cv2.COLOR_BGR2GRAY)

sift = cv2.SIFT_create(nfeatures=1200)
kp1, des1 = sift.detectAndCompute(g1, None)
kp2, des2 = sift.detectAndCompute(g2, None)

bf = cv2.BFMatcher(cv2.NORM_L2)
knn = bf.knnMatch(des1, des2, k=2)

# Lowe ratio test
good = [m for m, n in knn if m.distance < 0.75 * n.distance]

pts1 = np.float32([kp1[m.queryIdx].pt for m in good])
pts2 = np.float32([kp2[m.trainIdx].pt for m in good])

H, inliers = cv2.findHomography(pts1, pts2, cv2.RANSAC, 3.0)
print("matches:", len(good), "inliers:", int(inliers.sum()))
THƯ VIỆN: OPENCV / NUMPY Đọc từ trên xuống · thử từng block
06 Thử

Điều chỉnh tham số.

Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.

CỤC BỘ / KHÔNG GỬI ẢNH
BÀN THỬ / 10 Đặc trưng cục bộ & khớp đặc trưng
SẴN SÀNG
KẾT QUẢ / TRỰC TIẾP —
Ảnh đầu vào mặc định
Bấm “Chạy thử” Kết quả sẽ xuất hiện ở đây.
TRẠNG THÁIChờ chạy
ĐẦU VÀO—
SỐ BƯỚC—
THỜI GIAN—
NHẬT KÝ / LUỒNG XỬ LÝ
$ bài thử chưa chạy
$ chọn ảnh và bấm “Chạy thử”
07 Ứng dụng

Dùng nó ở đâu?

DÙNG / 01

Ghép panorama, ổn định video, SLAM.

DÙNG / 02

Tìm vật thể đã biết trong ảnh mới (logo, sản phẩm, tranh).

DÙNG / 03

Hiệu chuẩn camera và ước lượng chuyển động.