CHƯƠNG 09 Hình học & chuyển động

Khớp mẫu

Template matching là phép tương quan giữa một ảnh mẫu và từng vị trí trong ảnh lớn. Nó cực nhanh và dễ hiểu, nhưng chỉ hoạt động khi vật thể giữ nguyên tỉ lệ, góc xoay và điều kiện sáng tương đối.

Hình học & chuyển động Trung cấp 16 phút đọc bài thử tương tác
Ảnh minh hoạ cho Khớp mẫu 09 / 46
matchTemplate · NCC Một khung hình, một câu hỏi.
01 Trực giác

Chuyện gì đang xảy ra?

Bạn có một ảnh mẫu nhỏ — ví dụ một biển số hoặc một logo. Đặt mẫu lên góc trái trên của ảnh lớn, tính một điểm tương đồng, rồi dịch sang phải một pixel và lặp lại. Sau khi quét hết ảnh, ta được một bản đồ điểm số. Vị trí có điểm cao nhất là nơi mẫu khớp nhất.

Điểm tương đồng có thể là tổng bình phương sai khác (SSD), tương quan chéo (CC), hoặc tương quan chéo chuẩn hoá (NCC). NCC bất biến với thay đổi độ sáng tuyến tính, nên thường được dùng. OpenCV cung cấp TM_CCOEFF_NORMED — tương quan hệ số chuẩn hoá, khá ổn định với ánh sáng.

Kết quả là một score map, không phải danh sách vật thể. Ta phải chọn ngưỡng và non-maximum suppression để biến các đỉnh thành các box. Nếu vật thể xuất hiện nhiều lần, mỗi đỉnh là một lần xuất hiện. Nếu vật thể bị xoay hoặc thay đổi tỉ lệ, score tụt rất nhanh.

Template matching phù hợp khi mẫu cố định: kiểm tra linh kiện, tìm logo, đọc ô trên phiếu trả lời, hoặc xác nhận một biển số đã biết. Với bài toán mở, feature matching (bài 10) thường bền hơn nhiều.

Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.

02 Công thức

Viết lại bằng toán.

Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.

CÔNG THỨC / 01

Tương quan chéo chuẩn hoá

\[ R(x,y) = \frac{\sum_{x',y'} \left(T(x',y') - \bar{T}\right)\left(I(x+x',y+y') - \bar{I}_{x,y}\right)}{\sqrt{\sum_{x',y'}\left(T-\bar{T}\right)^2}\sqrt{\sum_{x',y'}\left(I-\bar{I}\right)^2}} \]
  • T: template
  • I: ảnh scene
  • R ∈ [−1, 1], gần 1 là khớp

Đây là ý tưởng của TM_CCOEFF_NORMED; OpenCV tối ưu bằng FFT cho một số trường hợp.

CÔNG THỨC / 02

Chọn đỉnh

\[ \text{match} = \{(x,y) \mid R(x,y) \ge \tau \text{ và } R(x,y) \text{ là cực đại địa phương}\} \]
  • τ: ngưỡng
  • NMS loại các đỉnh nằm sát nhau

Nếu không NMS, một vật thể có thể tạo ra hàng chục box chồng lên nhau.

03 Từng bước

Luồng xử lý bằng lời.

  1. 01

    Chọn template

    Template phải nhỏ hơn scene và chứa đủ đặc trưng phân biệt, không quá nhiều nền.

  2. 02

    Chọn phương pháp

    TM_CCOEFF_NORMED là mặc định tốt; TM_SQDIFF_NORMED phù hợp khi cần đo sai khác tuyệt đối.

  3. 03

    Quét và tạo score map

    Gọi cv2.matchTemplate. Kích thước score map là (W−w+1, H−h+1).

  4. 04

    Ngưỡng + NMS

    Lấy các đỉnh trên ngưỡng, sắp xếp theo score và loại box chồng lấn.

  5. 05

    Kiểm tra hình học

    Nếu có thể, xác minh tỉ lệ, vị trí hoặc OCR — đừng chỉ tin score.

04 Tham số

Núm vặn và cạm bẫy.

Tham sốÝ nghĩaKhoảng
pairCặp scene/template mẫu.plate / symbols
methodCách tính điểm tương đồng.ccoeff / ccorr / sqdiff
thresholdNgưỡng score tối thiểu.0.05…0.99
max_resultsSố match tối đa sau NMS.1…20

! Cạm bẫy thường gặp

  • Template lấy từ chính khung hình đang tìm sẽ cho score gần 1 — đó là bài kiểm tra quá dễ, không phản ánh thực tế.
  • Vật thể bị xoay, phóng to hoặc thu nhỏ làm template matching thất bại.
  • Nền trong template quá nhiều texture làm score bị chi phối bởi nền, không phải vật thể.
  • Không NMS dẫn đến nhiều box trùng cho cùng một vật thể.
05 Mã nguồn

Mã nguồn tối giản, không phải giả mã.

MÃ THAM KHẢO / template
import cv2
import numpy as np

scene = cv2.imread("plate_scene.jpg")
template = cv2.imread("plate_template.jpg")

result = cv2.matchTemplate(scene, template, cv2.TM_CCOEFF_NORMED)
threshold = 0.65

# Lấy các đỉnh cục bộ trên ngưỡng
ys, xs = np.where(result >= threshold)
h, w = template.shape[:2]
for x, y in zip(xs, ys):
    cv2.rectangle(scene, (x, y), (x + w, y + h), (0, 255, 0), 2)

print("best score:", float(result.max()))
THƯ VIỆN: OPENCV / NUMPY Đọc từ trên xuống · thử từng block
06 Thử

Điều chỉnh tham số.

Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.

CỤC BỘ / KHÔNG GỬI ẢNH
BÀN THỬ / 09 Khớp mẫu
SẴN SÀNG
KẾT QUẢ / TRỰC TIẾP —
Ảnh đầu vào mặc định
Bấm “Chạy thử” Kết quả sẽ xuất hiện ở đây.
TRẠNG THÁIChờ chạy
ĐẦU VÀO—
SỐ BƯỚC—
THỜI GIAN—
NHẬT KÝ / LUỒNG XỬ LÝ
$ bài thử chưa chạy
$ chọn ảnh và bấm “Chạy thử”
07 Ứng dụng

Dùng nó ở đâu?

DÙNG / 01

Kiểm tra linh kiện điện tử, tem nhãn, logo.

DÙNG / 02

Đọc phiếu trả lời trắc nghiệm khi đã biết vị trí ô.

DÙNG / 03

Xác nhận một biển số hoặc vùng ROI đã được phát hiện trước đó.