CHƯƠNG 35 Camera & nhiều góc nhìn

Điểm góc Harris & Shi–Tomasi

Một điểm góc là chỗ mà dịch cửa sổ nhỏ theo bất kỳ hướng nào cũng làm nội dung thay đổi mạnh — nên nó định vị được chính xác. Harris và Shi–Tomasi đo điều đó bằng hai trị riêng của ma trận cấu trúc, tạo nền cho khớp ảnh, theo dõi và ghép toàn cảnh.

Camera & nhiều góc nhìn Trung cấp 22 phút đọc bài thử tương tác
Ảnh minh hoạ cho Điểm góc Harris & Shi–Tomasi 35 / 46
Harris · Shi–Tomasi Một khung hình, một câu hỏi.
01 Trực giác

Chuyện gì đang xảy ra?

Muốn ghép hai ảnh toàn cảnh, dựng 3D hay theo dõi vật, ta cần tìm tương ứng (correspondence): điểm này ở ảnh 1 là điểm nào ở ảnh 2. So khớp mọi pixel thì vừa chậm vừa mơ hồ, nên quy trình chuẩn là: chọn một số điểm đặc trưng (keypoint) dễ nhận lại, mô tả vùng quanh mỗi điểm bằng một vectơ, rồi so khớp các vectơ. Chương này lo bước đầu: chọn điểm nào.

Hãy đặt một cửa sổ nhỏ lên ảnh và thử dịch nó. Ở vùng phẳng (bầu trời, tường trơn), dịch hướng nào nội dung cũng gần như y nguyên — không định vị được. Trên biên, dịch dọc theo biên không đổi gì, chỉ dịch ngang qua biên mới đổi — vẫn trượt được theo một chiều (bài toán khe hở, aperture problem). Tại góc, dịch hướng nào cũng thay đổi mạnh: đó là điểm ta muốn.

Harris biến trực giác này thành phép tính. Độ thay đổi khi dịch cửa sổ một lượng (u, v) xấp xỉ bằng một dạng toàn phương của ma trận cấu trúc M (còn gọi ma trận mô-men bậc hai) — tổng có trọng số của các tích đạo hàm Ix², IxIy, Iy² trong cửa sổ. Hai trị riêng của M cho biết độ thay đổi theo hướng thay đổi mạnh nhất và yếu nhất: cả hai nhỏ → phẳng; một lớn một nhỏ → biên; cả hai lớn → góc.

Tính trị riêng ở mọi pixel tốn kém, nên Harris dùng điểm R = det(M) − k·trace(M)²: định thức là tích hai trị riêng, vết là tổng. R lớn dương ở góc, âm ở biên, gần 0 ở vùng phẳng; k thường khoảng 0,04–0,06. Shi–Tomasi đề xuất dùng thẳng trị riêng nhỏ hơn, min(λ₁, λ₂): một điểm chỉ tốt khi cả hướng yếu nhất vẫn đủ mạnh — tiêu chí này thường cho điểm ổn định hơn khi theo dõi (hàm goodFeaturesToTrack). Sau đó cần khử không cực đại (NMS) vì quanh mỗi góc thật có cả cụm pixel vượt ngưỡng.

Harris bất biến với phép xoay (trị riêng không đổi khi xoay ảnh) và khá bền với thay đổi độ sáng cộng thêm, nhưng không bất biến tỉ lệ: phóng to một góc bo tròn thì trong cửa sổ cố định nó chỉ còn là đường cong — thành biên. Để chọn tỉ lệ tự động, người ta tìm cực trị của Laplacian của Gaussian (LoG) hoặc hiệu Gaussian (DoG) theo cả vị trí lẫn tỉ lệ — đó là bộ dò của SIFT, trình bày ở chương khớp đặc trưng.

Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.

02 Công thức

Viết lại bằng toán.

Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.

CÔNG THỨC / 01

Hàm sai khác khi dịch cửa sổ

\[ E(u,v) = \sum_{x,y} w(x,y)\,\big[I(x+u, y+v) - I(x,y)\big]^2 \;\approx\; \begin{bmatrix} u & v \end{bmatrix} M \begin{bmatrix} u \\ v \end{bmatrix} \]
  • w(x, y): cửa sổ trọng số (hộp hoặc Gaussian) — thanh “Cửa sổ lân cận”
  • (u, v): độ dịch nhỏ
  • Xấp xỉ có được nhờ khai triển Taylor bậc nhất: I(x+u, y+v) ≈ I + I_x u + I_y v

Các đường mức E(u, v) = hằng số là hình elip; trục ngắn ứng với hướng thay đổi nhanh nhất.

CÔNG THỨC / 02

Ma trận cấu trúc (second moment matrix)

\[ M = \sum_{x,y} w(x,y) \begin{bmatrix} I_x^2 & I_x I_y \\ I_x I_y & I_y^2 \end{bmatrix} \]
  • I_x, I_y: đạo hàm ảnh theo x, y (thường dùng Sobel)
  • M đối xứng, nửa xác định dương → hai trị riêng λ₁ ≥ λ₂ ≥ 0

Trong thực hành: tính I_x², I_y², I_xI_y ở mọi pixel rồi làm mờ từng ảnh bằng Gaussian — ba ảnh đó chính là ba phần tử của M tại mỗi điểm.

CÔNG THỨC / 03

Điểm góc Harris

\[ R = \det(M) - k\,\operatorname{trace}(M)^2 = \lambda_1\lambda_2 - k(\lambda_1 + \lambda_2)^2 \]
  • R ≫ 0: góc · R < 0: biên · |R| nhỏ: vùng phẳng
  • k: hệ số thực nghiệm, thường 0,04–0,06; k lớn hơn → khắt khe hơn, ít góc hơn

Không cần tính trị riêng: det(M) = ac − b², trace(M) = a + c với M = [[a, b], [b, c]].

CÔNG THỨC / 04

Shi–Tomasi

\[ R = \min(\lambda_1, \lambda_2), \qquad \lambda_{1,2} = \frac{a+c}{2} \pm \sqrt{\left(\frac{a-c}{2}\right)^2 + b^2} \]
  • a = ΣwI_x², b = ΣwI_xI_y, c = ΣwI_y²
  • Giữ điểm khi R > ngưỡng × max(R)

OpenCV: cv2.cornerMinEigenVal trả về min(λ) từng pixel; cv2.goodFeaturesToTrack làm luôn ngưỡng, NMS và khoảng cách tối thiểu.

03 Từng bước

Luồng xử lý bằng lời.

  1. 01

    Đạo hàm ảnh

    Chuyển xám, float32, (có thể làm mờ nhẹ trước) rồi tính Ix, Iy bằng Sobel.

  2. 02

    Ba ảnh tích và cửa sổ

    Tính Ix², Iy², IxIy, làm mờ mỗi ảnh bằng Gaussian hoặc hộp kích thước cửa sổ — được M tại mọi pixel.

  3. 03

    Bản đồ điểm góc

    Harris: R = det − k·trace². Shi–Tomasi: R = min(λ₁, λ₂). Ra một ảnh “độ góc” cùng kích thước ảnh gốc.

  4. 04

    Ngưỡng tương đối

    Giữ pixel có R > ngưỡng × max(R). Ngưỡng tương đối giúp tham số ít phụ thuộc độ tương phản của từng ảnh.

  5. 05

    Khử không cực đại

    Chỉ giữ pixel lớn nhất trong lân cận (so với ảnh đã dilate). Tuỳ chọn tinh chỉnh vị trí dưới pixel bằng cv2.cornerSubPix.

04 Tham số

Núm vặn và cạm bẫy.

Tham sốÝ nghĩaKhoảng
methodHàm điểm góc: Harris (R = det − k·trace²) hoặc Shi–Tomasi (trị riêng nhỏ nhất).harris / shitomasi
kHệ số k của Harris (không dùng cho Shi–Tomasi). Tăng k phạt mạnh các điểm có một trị riêng trội — loại bớt biên, còn ít góc hơn.0.02…0.2
blockKích thước cửa sổ lân cận dùng để cộng ma trận M (blockSize trong OpenCV). Nhỏ = nhạy chi tiết và nhiễu; lớn = ổn định hơn nhưng góc sát nhau bị gộp.2…9 px
threshNgưỡng tương đối: giữ điểm có độ góc lớn hơn tỉ lệ này nhân với giá trị lớn nhất trên ảnh.0.001…0.1
nmsKhử không cực đại: chỉ giữ cực đại cục bộ. Tắt đi sẽ thấy mỗi góc thật thành một cụm điểm.bật / tắt

! Cạm bẫy thường gặp

  • Đặt ngưỡng tuyệt đối cho R: giá trị R thay đổi theo độ tương phản và kích thước cửa sổ hàng nghìn lần giữa các ảnh. Dùng ngưỡng tương đối với max(R).
  • Quên khử không cực đại: mỗi góc thành một cụm điểm, khớp ảnh bị trùng lặp và RANSAC chậm.
  • Chạy trên uint8 hoặc ảnh nhiễu nặng: đạo hàm bị lượng tử và nhiễu tạo góc giả. Ép float32, làm mờ nhẹ trước.
  • Mong Harris bất biến tỉ lệ: cùng một góc ở ảnh phóng to có thể không còn được phát hiện. Cần dò đa tỉ lệ (LoG / DoG, kim tự tháp) hoặc dùng SIFT / ORB.
  • Điểm dồn hết vào một vùng nhiều texture (lá cây, chữ): dùng minDistance, chia lưới ảnh và lấy tối đa N điểm mỗi ô để phân bố đều.
  • Nhầm blockSize (cửa sổ cộng M) với ksize (khẩu độ Sobel) trong cv2.cornerHarris.
05 Mã nguồn

Mã nguồn tối giản, không phải giả mã.

MÃ THAM KHẢO / harris
import cv2
import numpy as np

img = cv2.imread("checkerboard.jpg")
if img is None:
    raise FileNotFoundError("Không đọc được ảnh")
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY).astype(np.float32)

# --- Tự tính ma trận cấu trúc ---
Ix = cv2.Sobel(gray, cv2.CV_32F, 1, 0, ksize=3)
Iy = cv2.Sobel(gray, cv2.CV_32F, 0, 1, ksize=3)
a = cv2.GaussianBlur(Ix * Ix, (0, 0), 1.5)
b = cv2.GaussianBlur(Ix * Iy, (0, 0), 1.5)
c = cv2.GaussianBlur(Iy * Iy, (0, 0), 1.5)

k = 0.05
R_harris = (a * c - b * b) - k * (a + c) ** 2
lam_min = (a + c) / 2 - np.sqrt(((a - c) / 2) ** 2 + b * b)   # Shi–Tomasi

def pick(R, thresh=0.01, nms=True, radius=3):
    keep = R > thresh * R.max()
    if nms:
        kernel = np.ones((2 * radius + 1, 2 * radius + 1), np.uint8)
        keep &= R >= cv2.dilate(R, kernel)       # cực đại cục bộ
    ys, xs = np.nonzero(keep)
    return list(zip(xs, ys))

pts = pick(R_harris)
print("Harris tự viết:", len(pts), "điểm")

# --- Cùng việc đó bằng hàm OpenCV ---
R_cv = cv2.cornerHarris(gray, blockSize=3, ksize=3, k=0.05)
pts_cv = pick(R_cv)
print("cv2.cornerHarris:", len(pts_cv), "điểm")

# Shi–Tomasi: ngưỡng + NMS + khoảng cách tối thiểu trong một lệnh
corners = cv2.goodFeaturesToTrack(gray, maxCorners=500, qualityLevel=0.01,
                                  minDistance=5, blockSize=3)
corners = corners.reshape(-1, 2) if corners is not None else np.empty((0, 2))
print("Shi–Tomasi:", len(corners), "điểm")

# Tinh chỉnh dưới pixel (hữu ích khi hiệu chỉnh camera bằng bàn cờ)
if len(corners):
    crit = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.01)
    corners = cv2.cornerSubPix(gray, corners.astype(np.float32).reshape(-1, 1, 2),
                               (5, 5), (-1, -1), crit).reshape(-1, 2)

out = img.copy()
for x, y in pts_cv:
    cv2.circle(out, (int(x), int(y)), 3, (0, 0, 255), -1)
for x, y in corners:
    cv2.circle(out, (int(round(x)), int(round(y))), 5, (0, 255, 0), 1)
cv2.imwrite("corners.png", out)
THƯ VIỆN: OPENCV / NUMPY Đọc từ trên xuống · thử từng block
06 Thử

Điều chỉnh tham số.

Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.

CỤC BỘ / KHÔNG GỬI ẢNH
BÀN THỬ / 35 Điểm góc Harris & Shi–Tomasi
SẴN SÀNG
KẾT QUẢ / TRỰC TIẾP —
Ảnh đầu vào mặc định
Bấm “Chạy thử” Kết quả sẽ xuất hiện ở đây.
TRẠNG THÁIChờ chạy
ĐẦU VÀO—
SỐ BƯỚC—
THỜI GIAN—
NHẬT KÝ / LUỒNG XỬ LÝ
$ bài thử chưa chạy
$ chọn ảnh và bấm “Chạy thử”
07 Ứng dụng

Dùng nó ở đâu?

DÙNG / 01

Chọn điểm để theo dõi trong video bằng luồng quang học Lucas–Kanade (KLT).

DÙNG / 02

Tìm điểm tương ứng cho ghép toàn cảnh, căn chỉnh ảnh và dựng 3D.

DÙNG / 03

Hiệu chỉnh camera: phát hiện và tinh chỉnh dưới pixel các góc bàn cờ.

DÙNG / 04

Odometry thị giác / SLAM: bộ dò nhanh dựa trên ý tưởng góc (FAST + Harris trong ORB).

HƯỚNG HIỆN ĐẠI

Những hướng đang được dùng hiện nay.

Các phương pháp dưới đây không thay thế baseline; chúng giải quyết những điểm yếu của cách cổ điển khi có thêm dữ liệu, GPU hoặc yêu cầu độ ổn định cao hơn.

HIỆN ĐẠI / 01

ORB (FAST + điểm Harris)

Dò góc nhanh bằng FAST, xếp hạng bằng điểm Harris, thêm hướng và mô tả nhị phân — nhanh, miễn phí bản quyền, chạy tốt trên CPU nhúng.

Dùng khi: SLAM, ghép ảnh thời gian thực trên thiết bị yếu.
HIỆN ĐẠI / 02

Bộ dò học được (SuperPoint và các biến thể)

Mạng CNN dự đoán đồng thời bản đồ điểm đặc trưng và mô tả, huấn luyện tự giám sát bằng biến đổi hình học ngẫu nhiên.

Dùng khi: Cảnh khó: thiếu sáng, thay đổi góc nhìn lớn, cần khớp bền.
HIỆN ĐẠI / 03

Khớp không cần bộ dò (detector-free)

Một số phương pháp khớp trực tiếp đặc trưng dày đặc giữa hai ảnh bằng transformer, bỏ qua bước chọn điểm góc — tốt ở vùng ít texture.

Dùng khi: Tường trơn, cảnh trong nhà, khi bộ dò góc không tìm đủ điểm.
NGUỒN THAM KHẢO

Chương này được viết lại bằng tiếng Việt dựa trên chủ đề của bài giảng gốc; không sao chép slide.