CHƯƠNG 40 Nhận dạng & học sâu

Túi từ thị giác & nhận dạng cảnh

Túi từ thị giác (bag of visual words) biến một ảnh có số lượng điểm đặc trưng tuỳ ý thành một vector histogram có độ dài cố định. Nhờ vậy ta dùng được bộ phân loại thông thường và chỉ mục đảo ngược để nhận dạng cảnh hay tìm ảnh trong kho hàng triệu tấm.

Nhận dạng & học sâu Trung cấp 20 phút đọc bài thử tương tác
Ảnh minh hoạ cho Túi từ thị giác & nhận dạng cảnh 40 / 46
Bag of Words · k-means Một khung hình, một câu hỏi.
01 Trực giác

Chuyện gì đang xảy ra?

Hãy nghĩ tới cách một công cụ tìm kiếm so hai bài báo: nó không cần hiểu ngữ pháp, chỉ cần đếm mỗi từ xuất hiện bao nhiêu lần. Hai bài cùng nói nhiều về “xuất khẩu”, “thặng dư”, “thương mại” thì gần như chắc chắn cùng chủ đề. Túi từ thị giác (bag of visual words) mượn đúng ý đó cho ảnh: thay vì từ ngữ, ta đếm các mảnh ảnh nhỏ điển hình xuất hiện trong ảnh.

Vấn đề là ảnh không có sẵn “từ”. Ta phải tự tạo từ điển: trích thật nhiều đặc trưng cục bộ (SIFT, ORB, hoặc lấy mẫu dày đặc theo lưới) từ một tập ảnh huấn luyện, rồi gom cụm chúng bằng k-means. Mỗi tâm cụm là một từ thị giác (visual word) — chẳng hạn một kiểu góc gạch, một vệt biên chéo, một đốm tròn sáng. Ý tưởng này bắt nguồn từ nhận dạng texture, nơi người ta gọi các mẫu lặp lại đó là texton.

Với ảnh mới, mỗi đặc trưng được gán cho từ gần nhất (lượng tử hoá vector — vector quantization). Đếm số đặc trưng rơi vào từng từ, ta được một histogram độ dài k, bất kể ảnh có 50 hay 5.000 điểm. Từ nào xuất hiện ở gần như mọi ảnh (ví dụ vùng phẳng) thì ít giá trị phân biệt, nên ta giảm trọng số bằng tf-idf, giống hệt cách làm với văn bản.

Cái giá phải trả là mất thông tin vị trí: xáo trộn các mảnh ảnh thì histogram vẫn y nguyên. Có hai cách vá. Một là kim tự tháp không gian (spatial pyramid, Lazebnik và cộng sự): chia ảnh thành lưới 1×1, 2×2, 4×4 rồi ghép histogram của từng ô. Hai là kiểm tra hình học sau khi truy hồi: lấy các ảnh ứng viên rồi dùng RANSAC xem các cặp khớp có cùng một phép biến đổi hay không.

Trước thời học sâu, túi từ là phương pháp mạnh nhất cho phân loại cảnh và truy hồi ảnh theo đối tượng cụ thể (instance retrieval) trong khoảng một thập kỷ. Để tìm nhanh trong kho lớn, người ta dùng chỉ mục đảo ngược (inverted index: từ → danh sách ảnh chứa nó) và cây từ vựng (vocabulary tree, Nistér–Stewénius) để gán từ nhanh khi từ điển có hàng triệu từ. Các mã hoá giàu hơn như VLAD hay Fisher vector giữ thêm phần dư giữa đặc trưng và tâm cụm thay vì chỉ đếm.

Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.

02 Công thức

Viết lại bằng toán.

Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.

CÔNG THỨC / 01

Học từ điển bằng k-means

\[ \min_{c_1,\dots,c_k}\ \sum_{i=1}^{n}\ \min_{j}\ \lVert \mathbf{x}_i - \mathbf{c}_j \rVert^2 \]
  • x_i: một descriptor cục bộ (SIFT 128 chiều, ORB 256 bit…)
  • c_j: tâm cụm = từ thị giác thứ j
  • k: kích thước từ điển

Lặp hai bước: gán mỗi điểm về tâm gần nhất, rồi đặt lại tâm bằng trung bình các điểm của cụm. Chỉ hội tụ về cực tiểu cục bộ, nên khởi tạo k-means++ và chạy vài lần.

CÔNG THỨC / 02

Histogram từ và trọng số tf-idf

\[ h_j = \sum_{i} [\,w(\mathbf{x}_i) = j\,], \qquad t_j = \frac{h_j}{\sum_{l} h_l}\cdot \log\frac{N}{N_j} \]
  • w(x): chỉ số từ gần nhất của descriptor x
  • N: số ảnh trong kho
  • N_j: số ảnh có chứa từ j

Từ có mặt ở mọi ảnh thì log(N/N_j) ≈ 0 — gần như bị bỏ qua khi so sánh.

CÔNG THỨC / 03

Độ giống cosine giữa hai ảnh

\[ \mathrm{sim}(A,B) = \frac{\mathbf{t}_A^\top \mathbf{t}_B}{\lVert \mathbf{t}_A\rVert\,\lVert \mathbf{t}_B\rVert} \]
  • t_A, t_B: vector tf-idf của hai ảnh
  • Giá trị 1: phân bố từ giống hệt; 0: không chung từ nào

Chuẩn hoá L2 trước thì chỉ cần tích vô hướng; với vector thưa, chỉ mục đảo ngược chỉ duyệt những từ ảnh truy vấn có.

CÔNG THỨC / 04

Nhân kim tự tháp không gian

\[ K(X,Y) = \frac{1}{2^{L}} I^{0} + \sum_{\ell=1}^{L} \frac{1}{2^{L-\ell+1}} I^{\ell}, \qquad I^{\ell} = \sum_{j} \min\!\big(H_X^{\ell}(j),\, H_Y^{\ell}(j)\big) \]
  • ℓ: tầng lưới (tầng ℓ có 2^ℓ × 2^ℓ ô)
  • H^ℓ: histogram từ ghép của mọi ô ở tầng ℓ
  • I^ℓ: giao histogram (histogram intersection)

Khớp ở lưới mịn được thưởng nhiều hơn vì nó chứng tỏ hai ảnh giống nhau cả về bố cục.

03 Từng bước

Luồng xử lý bằng lời.

  1. 01

    Trích đặc trưng cục bộ

    Chạy SIFT hoặc ORB trên mọi ảnh huấn luyện; với ảnh cảnh, lấy mẫu dày đặc theo lưới thường tốt hơn chỉ dùng điểm nổi bật vì vùng trời, mặt đường cũng mang thông tin.

  2. 02

    Gom cụm thành từ điển

    Ghép tất cả descriptor (hoặc một mẫu con ngẫu nhiên) rồi chạy k-means với k từ vài trăm tới vài nghìn. Từ điển chỉ học một lần và dùng lại cho mọi ảnh.

  3. 03

    Lượng tử hoá và đếm

    Gán mỗi descriptor của một ảnh về tâm gần nhất, đếm bằng np.bincount để có histogram độ dài k.

  4. 04

    Chuẩn hoá và đánh trọng số

    Chia cho tổng số đặc trưng (tf), nhân với idf, rồi chuẩn hoá L2. Thêm kim tự tháp không gian nếu bố cục quan trọng.

  5. 05

    Phân loại hoặc truy hồi

    Phân loại cảnh bằng SVM (nhân giao histogram hoặc χ² rất hợp với histogram). Truy hồi thì xếp hạng theo cosine, sau đó kiểm tra hình học top kết quả bằng RANSAC.

04 Tham số

Núm vặn và cạm bẫy.

Tham sốÝ nghĩaKhoảng
wordsSố từ thị giác k của từ điển k-means học từ đặc trưng của tất cả ảnh mẫu. k nhỏ thì từ quá thô (nhiều mảnh khác nhau chung một từ); k lớn thì mỗi từ hiếm, histogram thưa và nhạy nhiễu.8…128, bước 8
detectorLoại đặc trưng cục bộ: ORB (descriptor nhị phân 256 bit, nhanh) hoặc SIFT (128 chiều số thực, ổn định hơn với đổi tỉ lệ và ánh sáng).orb / sift
tfidfBật để giảm trọng số các từ xuất hiện ở hầu hết ảnh mẫu trước khi tính độ giống cosine; tắt để so histogram tần suất thuần.bật / tắt

! Cạm bẫy thường gặp

  • Học từ điển trên chính ảnh kiểm tra làm điểm số đẹp giả tạo; từ điển phải học từ tập huấn luyện.
  • Dùng k-means Euclid cho descriptor nhị phân ORB chỉ là xấp xỉ — khoảng cách đúng là Hamming; ORB vì thế thường cho từ điển kém hơn SIFT.
  • Quên chuẩn hoá theo số đặc trưng: ảnh lớn, nhiều chi tiết có histogram “dày” hơn và luôn trông giống mọi thứ.
  • Túi từ không biết vị trí: ảnh bị xáo mảnh vẫn khớp hoàn hảo. Cần kim tự tháp không gian hoặc kiểm tra hình học khi bố cục quan trọng.
  • Ảnh quá trơn (trời, tường sơn) gần như không có điểm đặc trưng — histogram rỗng; hãy lấy mẫu dày đặc thay vì chỉ dùng điểm nổi bật.
05 Mã nguồn

Mã nguồn tối giản, không phải giả mã.

MÃ THAM KHẢO / bow
import cv2
import numpy as np
from sklearn.cluster import MiniBatchKMeans

paths = ["brick.jpg", "astronaut.jpg", "road.jpg", "plate_scene.jpg", "coins.jpg", "camera.jpg"]
K = 32
sift = cv2.SIFT_create(nfeatures=800)


def descriptors(path):
    img = cv2.imread(path, cv2.IMREAD_GRAYSCALE)
    if img is None:
        raise FileNotFoundError(path)
    _, d = sift.detectAndCompute(img, None)
    return d if d is not None else np.zeros((0, 128), np.float32)


all_desc = [descriptors(p) for p in paths]

# 1) Từ điển: k-means trên descriptor của mọi ảnh
kmeans = MiniBatchKMeans(n_clusters=K, random_state=0, n_init=3, batch_size=2048)
kmeans.fit(np.vstack(all_desc))


# 2) Lượng tử hoá -> histogram độ dài K
def bow_histogram(desc):
    if len(desc) == 0:
        return np.zeros(K)
    words = kmeans.predict(desc)
    return np.bincount(words, minlength=K).astype(np.float64)


H = np.array([bow_histogram(d) for d in all_desc])          # (số ảnh, K)

# 3) tf-idf + chuẩn hoá L2
tf = H / np.maximum(H.sum(axis=1, keepdims=True), 1)
df = (H > 0).sum(axis=0)                                    # số ảnh chứa từ j
idf = np.log(len(paths) / np.maximum(df, 1))
T = tf * idf
T /= np.maximum(np.linalg.norm(T, axis=1, keepdims=True), 1e-12)

# 4) Xếp hạng ảnh giống ảnh truy vấn (cosine)
query = 0
sims = T @ T[query]
for i in np.argsort(-sims):
    print(f"{paths[i]:18s} {sims[i]:.3f}")
THƯ VIỆN: OPENCV / NUMPY Đọc từ trên xuống · thử từng block
06 Thử

Điều chỉnh tham số.

Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.

CỤC BỘ / KHÔNG GỬI ẢNH
BÀN THỬ / 40 Túi từ thị giác & nhận dạng cảnh
SẴN SÀNG
KẾT QUẢ / TRỰC TIẾP —
Ảnh đầu vào mặc định
Bấm “Chạy thử” Kết quả sẽ xuất hiện ở đây.
TRẠNG THÁIChờ chạy
ĐẦU VÀO—
SỐ BƯỚC—
THỜI GIAN—
NHẬT KÝ / LUỒNG XỬ LÝ
$ bài thử chưa chạy
$ chọn ảnh và bấm “Chạy thử”
07 Ứng dụng

Dùng nó ở đâu?

DÙNG / 01

Phân loại cảnh (bãi biển, phòng bếp, đường phố…) trên các bộ như SUN, Caltech-101.

DÙNG / 02

Truy hồi ảnh theo đối tượng cụ thể: tìm cùng một toà nhà, bìa sách, logo trong kho lớn.

DÙNG / 03

Phát hiện vòng lặp (loop closure) trong SLAM, ví dụ thư viện DBoW dùng trong ORB-SLAM.

DÙNG / 04

Nhận dạng hành động trong video bằng “từ không gian–thời gian”.

HƯỚNG HIỆN ĐẠI

Những hướng đang được dùng hiện nay.

Các phương pháp dưới đây không thay thế baseline; chúng giải quyết những điểm yếu của cách cổ điển khi có thêm dữ liệu, GPU hoặc yêu cầu độ ổn định cao hơn.

HIỆN ĐẠI / 01

NetVLAD và mã hoá học được

Đưa phép gộp kiểu VLAD vào cuối CNN và huấn luyện đầu–cuối, cho vector toàn cục để nhận dạng địa điểm.

Dùng khi: Truy hồi địa điểm, bản đồ ảnh đường phố.
HIỆN ĐẠI / 02

Embedding toàn cục tự giám sát

Đặc trưng từ mô hình tự giám sát hoặc CLIP thay cho histogram từ; tìm kiếm bằng chỉ mục láng giềng gần đúng (FAISS).

Dùng khi: Tìm ảnh tương tự quy mô lớn, không cần tự học từ điển.