Chuyện gì đang xảy ra?
Muốn ghép hai ảnh toàn cảnh, dựng 3D hay theo dõi vật, ta cần tìm tương ứng (correspondence): điểm này ở ảnh 1 là điểm nào ở ảnh 2. So khớp mọi pixel thì vừa chậm vừa mơ hồ, nên quy trình chuẩn là: chọn một số điểm đặc trưng (keypoint) dễ nhận lại, mô tả vùng quanh mỗi điểm bằng một vectơ, rồi so khớp các vectơ. Chương này lo bước đầu: chọn điểm nào.
Hãy đặt một cửa sổ nhỏ lên ảnh và thử dịch nó. Ở vùng phẳng (bầu trời, tường trơn), dịch hướng nào nội dung cũng gần như y nguyên — không định vị được. Trên biên, dịch dọc theo biên không đổi gì, chỉ dịch ngang qua biên mới đổi — vẫn trượt được theo một chiều (bài toán khe hở, aperture problem). Tại góc, dịch hướng nào cũng thay đổi mạnh: đó là điểm ta muốn.
Harris biến trực giác này thành phép tính. Độ thay đổi khi dịch cửa sổ một lượng (u, v) xấp xỉ bằng một dạng toàn phương của ma trận cấu trúc M (còn gọi ma trận mô-men bậc hai) — tổng có trọng số của các tích đạo hàm Ix², IxIy, Iy² trong cửa sổ. Hai trị riêng của M cho biết độ thay đổi theo hướng thay đổi mạnh nhất và yếu nhất: cả hai nhỏ → phẳng; một lớn một nhỏ → biên; cả hai lớn → góc.
Tính trị riêng ở mọi pixel tốn kém, nên Harris dùng điểm R = det(M) − k·trace(M)²: định thức là tích hai trị riêng, vết là tổng. R lớn dương ở góc, âm ở biên, gần 0 ở vùng phẳng; k thường khoảng 0,04–0,06. Shi–Tomasi đề xuất dùng thẳng trị riêng nhỏ hơn, min(λ₁, λ₂): một điểm chỉ tốt khi cả hướng yếu nhất vẫn đủ mạnh — tiêu chí này thường cho điểm ổn định hơn khi theo dõi (hàm goodFeaturesToTrack). Sau đó cần khử không cực đại (NMS) vì quanh mỗi góc thật có cả cụm pixel vượt ngưỡng.
Harris bất biến với phép xoay (trị riêng không đổi khi xoay ảnh) và khá bền với thay đổi độ sáng cộng thêm, nhưng không bất biến tỉ lệ: phóng to một góc bo tròn thì trong cửa sổ cố định nó chỉ còn là đường cong — thành biên. Để chọn tỉ lệ tự động, người ta tìm cực trị của Laplacian của Gaussian (LoG) hoặc hiệu Gaussian (DoG) theo cả vị trí lẫn tỉ lệ — đó là bộ dò của SIFT, trình bày ở chương khớp đặc trưng.
Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.
Viết lại bằng toán.
Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.
Hàm sai khác khi dịch cửa sổ
- w(x, y): cửa sổ trọng số (hộp hoặc Gaussian) — thanh “Cửa sổ lân cận”
- (u, v): độ dịch nhỏ
- Xấp xỉ có được nhờ khai triển Taylor bậc nhất: I(x+u, y+v) ≈ I + I_x u + I_y v
Các đường mức E(u, v) = hằng số là hình elip; trục ngắn ứng với hướng thay đổi nhanh nhất.
Ma trận cấu trúc (second moment matrix)
- I_x, I_y: đạo hàm ảnh theo x, y (thường dùng Sobel)
- M đối xứng, nửa xác định dương → hai trị riêng λ₁ ≥ λ₂ ≥ 0
Trong thực hành: tính I_x², I_y², I_xI_y ở mọi pixel rồi làm mờ từng ảnh bằng Gaussian — ba ảnh đó chính là ba phần tử của M tại mỗi điểm.
Điểm góc Harris
- R ≫ 0: góc · R < 0: biên · |R| nhỏ: vùng phẳng
- k: hệ số thực nghiệm, thường 0,04–0,06; k lớn hơn → khắt khe hơn, ít góc hơn
Không cần tính trị riêng: det(M) = ac − b², trace(M) = a + c với M = [[a, b], [b, c]].
Shi–Tomasi
- a = ΣwI_x², b = ΣwI_xI_y, c = ΣwI_y²
- Giữ điểm khi R > ngưỡng × max(R)
OpenCV: cv2.cornerMinEigenVal trả về min(λ) từng pixel; cv2.goodFeaturesToTrack làm luôn ngưỡng, NMS và khoảng cách tối thiểu.
Luồng xử lý bằng lời.
-
01
Đạo hàm ảnh
Chuyển xám, float32, (có thể làm mờ nhẹ trước) rồi tính Ix, Iy bằng Sobel.
-
02
Ba ảnh tích và cửa sổ
Tính Ix², Iy², IxIy, làm mờ mỗi ảnh bằng Gaussian hoặc hộp kích thước cửa sổ — được M tại mọi pixel.
-
03
Bản đồ điểm góc
Harris: R = det − k·trace². Shi–Tomasi: R = min(λ₁, λ₂). Ra một ảnh “độ góc” cùng kích thước ảnh gốc.
-
04
Ngưỡng tương đối
Giữ pixel có R > ngưỡng × max(R). Ngưỡng tương đối giúp tham số ít phụ thuộc độ tương phản của từng ảnh.
-
05
Khử không cực đại
Chỉ giữ pixel lớn nhất trong lân cận (so với ảnh đã dilate). Tuỳ chọn tinh chỉnh vị trí dưới pixel bằng
cv2.cornerSubPix.
Núm vặn và cạm bẫy.
| Tham số | Ý nghĩa | Khoảng |
|---|---|---|
method | Hàm điểm góc: Harris (R = det − k·trace²) hoặc Shi–Tomasi (trị riêng nhỏ nhất). | harris / shitomasi |
k | Hệ số k của Harris (không dùng cho Shi–Tomasi). Tăng k phạt mạnh các điểm có một trị riêng trội — loại bớt biên, còn ít góc hơn. | 0.02…0.2 |
block | Kích thước cửa sổ lân cận dùng để cộng ma trận M (blockSize trong OpenCV). Nhỏ = nhạy chi tiết và nhiễu; lớn = ổn định hơn nhưng góc sát nhau bị gộp. | 2…9 px |
thresh | Ngưỡng tương đối: giữ điểm có độ góc lớn hơn tỉ lệ này nhân với giá trị lớn nhất trên ảnh. | 0.001…0.1 |
nms | Khử không cực đại: chỉ giữ cực đại cục bộ. Tắt đi sẽ thấy mỗi góc thật thành một cụm điểm. | bật / tắt |
! Cạm bẫy thường gặp
- Đặt ngưỡng tuyệt đối cho R: giá trị R thay đổi theo độ tương phản và kích thước cửa sổ hàng nghìn lần giữa các ảnh. Dùng ngưỡng tương đối với max(R).
- Quên khử không cực đại: mỗi góc thành một cụm điểm, khớp ảnh bị trùng lặp và RANSAC chậm.
- Chạy trên
uint8hoặc ảnh nhiễu nặng: đạo hàm bị lượng tử và nhiễu tạo góc giả. Ép float32, làm mờ nhẹ trước. - Mong Harris bất biến tỉ lệ: cùng một góc ở ảnh phóng to có thể không còn được phát hiện. Cần dò đa tỉ lệ (LoG / DoG, kim tự tháp) hoặc dùng SIFT / ORB.
- Điểm dồn hết vào một vùng nhiều texture (lá cây, chữ): dùng
minDistance, chia lưới ảnh và lấy tối đa N điểm mỗi ô để phân bố đều. - Nhầm
blockSize(cửa sổ cộng M) vớiksize(khẩu độ Sobel) trongcv2.cornerHarris.
Mã nguồn tối giản, không phải giả mã.
import cv2
import numpy as np
img = cv2.imread("checkerboard.jpg")
if img is None:
raise FileNotFoundError("Không đọc được ảnh")
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY).astype(np.float32)
# --- Tự tính ma trận cấu trúc ---
Ix = cv2.Sobel(gray, cv2.CV_32F, 1, 0, ksize=3)
Iy = cv2.Sobel(gray, cv2.CV_32F, 0, 1, ksize=3)
a = cv2.GaussianBlur(Ix * Ix, (0, 0), 1.5)
b = cv2.GaussianBlur(Ix * Iy, (0, 0), 1.5)
c = cv2.GaussianBlur(Iy * Iy, (0, 0), 1.5)
k = 0.05
R_harris = (a * c - b * b) - k * (a + c) ** 2
lam_min = (a + c) / 2 - np.sqrt(((a - c) / 2) ** 2 + b * b) # Shi–Tomasi
def pick(R, thresh=0.01, nms=True, radius=3):
keep = R > thresh * R.max()
if nms:
kernel = np.ones((2 * radius + 1, 2 * radius + 1), np.uint8)
keep &= R >= cv2.dilate(R, kernel) # cực đại cục bộ
ys, xs = np.nonzero(keep)
return list(zip(xs, ys))
pts = pick(R_harris)
print("Harris tự viết:", len(pts), "điểm")
# --- Cùng việc đó bằng hàm OpenCV ---
R_cv = cv2.cornerHarris(gray, blockSize=3, ksize=3, k=0.05)
pts_cv = pick(R_cv)
print("cv2.cornerHarris:", len(pts_cv), "điểm")
# Shi–Tomasi: ngưỡng + NMS + khoảng cách tối thiểu trong một lệnh
corners = cv2.goodFeaturesToTrack(gray, maxCorners=500, qualityLevel=0.01,
minDistance=5, blockSize=3)
corners = corners.reshape(-1, 2) if corners is not None else np.empty((0, 2))
print("Shi–Tomasi:", len(corners), "điểm")
# Tinh chỉnh dưới pixel (hữu ích khi hiệu chỉnh camera bằng bàn cờ)
if len(corners):
crit = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.01)
corners = cv2.cornerSubPix(gray, corners.astype(np.float32).reshape(-1, 1, 2),
(5, 5), (-1, -1), crit).reshape(-1, 2)
out = img.copy()
for x, y in pts_cv:
cv2.circle(out, (int(x), int(y)), 3, (0, 0, 255), -1)
for x, y in corners:
cv2.circle(out, (int(round(x)), int(round(y))), 5, (0, 255, 0), 1)
cv2.imwrite("corners.png", out)
Điều chỉnh tham số.
Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.
$ bài thử chưa chạy $ chọn ảnh và bấm “Chạy thử”
Dùng nó ở đâu?
Chọn điểm để theo dõi trong video bằng luồng quang học Lucas–Kanade (KLT).
Tìm điểm tương ứng cho ghép toàn cảnh, căn chỉnh ảnh và dựng 3D.
Hiệu chỉnh camera: phát hiện và tinh chỉnh dưới pixel các góc bàn cờ.
Odometry thị giác / SLAM: bộ dò nhanh dựa trên ý tưởng góc (FAST + Harris trong ORB).
Những hướng đang được dùng hiện nay.
Các phương pháp dưới đây không thay thế baseline; chúng giải quyết những điểm yếu của cách cổ điển khi có thêm dữ liệu, GPU hoặc yêu cầu độ ổn định cao hơn.
ORB (FAST + điểm Harris)
Dò góc nhanh bằng FAST, xếp hạng bằng điểm Harris, thêm hướng và mô tả nhị phân — nhanh, miễn phí bản quyền, chạy tốt trên CPU nhúng.
Dùng khi: SLAM, ghép ảnh thời gian thực trên thiết bị yếu.Bộ dò học được (SuperPoint và các biến thể)
Mạng CNN dự đoán đồng thời bản đồ điểm đặc trưng và mô tả, huấn luyện tự giám sát bằng biến đổi hình học ngẫu nhiên.
Dùng khi: Cảnh khó: thiếu sáng, thay đổi góc nhìn lớn, cần khớp bền.Khớp không cần bộ dò (detector-free)
Một số phương pháp khớp trực tiếp đặc trưng dày đặc giữa hai ảnh bằng transformer, bỏ qua bước chọn điểm góc — tốt ở vùng ít texture.
Dùng khi: Tường trơn, cảnh trong nhà, khi bộ dò góc không tìm đủ điểm.- CS 4476 Computer Vision — James Hays, Georgia Tech (bài giảng 08, 09)
- OpenCV — Harris Corner Detection (tutorial Python)
- OpenCV — Shi-Tomasi Corner Detector & Good Features to Track
Chương này được viết lại bằng tiếng Việt dựa trên chủ đề của bài giảng gốc; không sao chép slide.