Chuyện gì đang xảy ra?
Hãy nghĩ tới cách một công cụ tìm kiếm so hai bài báo: nó không cần hiểu ngữ pháp, chỉ cần đếm mỗi từ xuất hiện bao nhiêu lần. Hai bài cùng nói nhiều về “xuất khẩu”, “thặng dư”, “thương mại” thì gần như chắc chắn cùng chủ đề. Túi từ thị giác (bag of visual words) mượn đúng ý đó cho ảnh: thay vì từ ngữ, ta đếm các mảnh ảnh nhỏ điển hình xuất hiện trong ảnh.
Vấn đề là ảnh không có sẵn “từ”. Ta phải tự tạo từ điển: trích thật nhiều đặc trưng cục bộ (SIFT, ORB, hoặc lấy mẫu dày đặc theo lưới) từ một tập ảnh huấn luyện, rồi gom cụm chúng bằng k-means. Mỗi tâm cụm là một từ thị giác (visual word) — chẳng hạn một kiểu góc gạch, một vệt biên chéo, một đốm tròn sáng. Ý tưởng này bắt nguồn từ nhận dạng texture, nơi người ta gọi các mẫu lặp lại đó là texton.
Với ảnh mới, mỗi đặc trưng được gán cho từ gần nhất (lượng tử hoá vector — vector quantization). Đếm số đặc trưng rơi vào từng từ, ta được một histogram độ dài k, bất kể ảnh có 50 hay 5.000 điểm. Từ nào xuất hiện ở gần như mọi ảnh (ví dụ vùng phẳng) thì ít giá trị phân biệt, nên ta giảm trọng số bằng tf-idf, giống hệt cách làm với văn bản.
Cái giá phải trả là mất thông tin vị trí: xáo trộn các mảnh ảnh thì histogram vẫn y nguyên. Có hai cách vá. Một là kim tự tháp không gian (spatial pyramid, Lazebnik và cộng sự): chia ảnh thành lưới 1×1, 2×2, 4×4 rồi ghép histogram của từng ô. Hai là kiểm tra hình học sau khi truy hồi: lấy các ảnh ứng viên rồi dùng RANSAC xem các cặp khớp có cùng một phép biến đổi hay không.
Trước thời học sâu, túi từ là phương pháp mạnh nhất cho phân loại cảnh và truy hồi ảnh theo đối tượng cụ thể (instance retrieval) trong khoảng một thập kỷ. Để tìm nhanh trong kho lớn, người ta dùng chỉ mục đảo ngược (inverted index: từ → danh sách ảnh chứa nó) và cây từ vựng (vocabulary tree, Nistér–Stewénius) để gán từ nhanh khi từ điển có hàng triệu từ. Các mã hoá giàu hơn như VLAD hay Fisher vector giữ thêm phần dư giữa đặc trưng và tâm cụm thay vì chỉ đếm.
Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.
Viết lại bằng toán.
Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.
Học từ điển bằng k-means
- x_i: một descriptor cục bộ (SIFT 128 chiều, ORB 256 bit…)
- c_j: tâm cụm = từ thị giác thứ j
- k: kích thước từ điển
Lặp hai bước: gán mỗi điểm về tâm gần nhất, rồi đặt lại tâm bằng trung bình các điểm của cụm. Chỉ hội tụ về cực tiểu cục bộ, nên khởi tạo k-means++ và chạy vài lần.
Histogram từ và trọng số tf-idf
- w(x): chỉ số từ gần nhất của descriptor x
- N: số ảnh trong kho
- N_j: số ảnh có chứa từ j
Từ có mặt ở mọi ảnh thì log(N/N_j) ≈ 0 — gần như bị bỏ qua khi so sánh.
Độ giống cosine giữa hai ảnh
- t_A, t_B: vector tf-idf của hai ảnh
- Giá trị 1: phân bố từ giống hệt; 0: không chung từ nào
Chuẩn hoá L2 trước thì chỉ cần tích vô hướng; với vector thưa, chỉ mục đảo ngược chỉ duyệt những từ ảnh truy vấn có.
Nhân kim tự tháp không gian
- ℓ: tầng lưới (tầng ℓ có 2^ℓ × 2^ℓ ô)
- H^ℓ: histogram từ ghép của mọi ô ở tầng ℓ
- I^ℓ: giao histogram (histogram intersection)
Khớp ở lưới mịn được thưởng nhiều hơn vì nó chứng tỏ hai ảnh giống nhau cả về bố cục.
Luồng xử lý bằng lời.
-
01
Trích đặc trưng cục bộ
Chạy SIFT hoặc ORB trên mọi ảnh huấn luyện; với ảnh cảnh, lấy mẫu dày đặc theo lưới thường tốt hơn chỉ dùng điểm nổi bật vì vùng trời, mặt đường cũng mang thông tin.
-
02
Gom cụm thành từ điển
Ghép tất cả descriptor (hoặc một mẫu con ngẫu nhiên) rồi chạy k-means với k từ vài trăm tới vài nghìn. Từ điển chỉ học một lần và dùng lại cho mọi ảnh.
-
03
Lượng tử hoá và đếm
Gán mỗi descriptor của một ảnh về tâm gần nhất, đếm bằng
np.bincountđể có histogram độ dài k. -
04
Chuẩn hoá và đánh trọng số
Chia cho tổng số đặc trưng (tf), nhân với idf, rồi chuẩn hoá L2. Thêm kim tự tháp không gian nếu bố cục quan trọng.
-
05
Phân loại hoặc truy hồi
Phân loại cảnh bằng SVM (nhân giao histogram hoặc χ² rất hợp với histogram). Truy hồi thì xếp hạng theo cosine, sau đó kiểm tra hình học top kết quả bằng RANSAC.
Núm vặn và cạm bẫy.
| Tham số | Ý nghĩa | Khoảng |
|---|---|---|
words | Số từ thị giác k của từ điển k-means học từ đặc trưng của tất cả ảnh mẫu. k nhỏ thì từ quá thô (nhiều mảnh khác nhau chung một từ); k lớn thì mỗi từ hiếm, histogram thưa và nhạy nhiễu. | 8…128, bước 8 |
detector | Loại đặc trưng cục bộ: ORB (descriptor nhị phân 256 bit, nhanh) hoặc SIFT (128 chiều số thực, ổn định hơn với đổi tỉ lệ và ánh sáng). | orb / sift |
tfidf | Bật để giảm trọng số các từ xuất hiện ở hầu hết ảnh mẫu trước khi tính độ giống cosine; tắt để so histogram tần suất thuần. | bật / tắt |
! Cạm bẫy thường gặp
- Học từ điển trên chính ảnh kiểm tra làm điểm số đẹp giả tạo; từ điển phải học từ tập huấn luyện.
- Dùng k-means Euclid cho descriptor nhị phân ORB chỉ là xấp xỉ — khoảng cách đúng là Hamming; ORB vì thế thường cho từ điển kém hơn SIFT.
- Quên chuẩn hoá theo số đặc trưng: ảnh lớn, nhiều chi tiết có histogram “dày” hơn và luôn trông giống mọi thứ.
- Túi từ không biết vị trí: ảnh bị xáo mảnh vẫn khớp hoàn hảo. Cần kim tự tháp không gian hoặc kiểm tra hình học khi bố cục quan trọng.
- Ảnh quá trơn (trời, tường sơn) gần như không có điểm đặc trưng — histogram rỗng; hãy lấy mẫu dày đặc thay vì chỉ dùng điểm nổi bật.
Mã nguồn tối giản, không phải giả mã.
import cv2
import numpy as np
from sklearn.cluster import MiniBatchKMeans
paths = ["brick.jpg", "astronaut.jpg", "road.jpg", "plate_scene.jpg", "coins.jpg", "camera.jpg"]
K = 32
sift = cv2.SIFT_create(nfeatures=800)
def descriptors(path):
img = cv2.imread(path, cv2.IMREAD_GRAYSCALE)
if img is None:
raise FileNotFoundError(path)
_, d = sift.detectAndCompute(img, None)
return d if d is not None else np.zeros((0, 128), np.float32)
all_desc = [descriptors(p) for p in paths]
# 1) Từ điển: k-means trên descriptor của mọi ảnh
kmeans = MiniBatchKMeans(n_clusters=K, random_state=0, n_init=3, batch_size=2048)
kmeans.fit(np.vstack(all_desc))
# 2) Lượng tử hoá -> histogram độ dài K
def bow_histogram(desc):
if len(desc) == 0:
return np.zeros(K)
words = kmeans.predict(desc)
return np.bincount(words, minlength=K).astype(np.float64)
H = np.array([bow_histogram(d) for d in all_desc]) # (số ảnh, K)
# 3) tf-idf + chuẩn hoá L2
tf = H / np.maximum(H.sum(axis=1, keepdims=True), 1)
df = (H > 0).sum(axis=0) # số ảnh chứa từ j
idf = np.log(len(paths) / np.maximum(df, 1))
T = tf * idf
T /= np.maximum(np.linalg.norm(T, axis=1, keepdims=True), 1e-12)
# 4) Xếp hạng ảnh giống ảnh truy vấn (cosine)
query = 0
sims = T @ T[query]
for i in np.argsort(-sims):
print(f"{paths[i]:18s} {sims[i]:.3f}")
Điều chỉnh tham số.
Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.
$ bài thử chưa chạy $ chọn ảnh và bấm “Chạy thử”
Dùng nó ở đâu?
Phân loại cảnh (bãi biển, phòng bếp, đường phố…) trên các bộ như SUN, Caltech-101.
Truy hồi ảnh theo đối tượng cụ thể: tìm cùng một toà nhà, bìa sách, logo trong kho lớn.
Phát hiện vòng lặp (loop closure) trong SLAM, ví dụ thư viện DBoW dùng trong ORB-SLAM.
Nhận dạng hành động trong video bằng “từ không gian–thời gian”.
Những hướng đang được dùng hiện nay.
Các phương pháp dưới đây không thay thế baseline; chúng giải quyết những điểm yếu của cách cổ điển khi có thêm dữ liệu, GPU hoặc yêu cầu độ ổn định cao hơn.
NetVLAD và mã hoá học được
Đưa phép gộp kiểu VLAD vào cuối CNN và huấn luyện đầu–cuối, cho vector toàn cục để nhận dạng địa điểm.
Dùng khi: Truy hồi địa điểm, bản đồ ảnh đường phố.Embedding toàn cục tự giám sát
Đặc trưng từ mô hình tự giám sát hoặc CLIP thay cho histogram từ; tìm kiếm bằng chỉ mục láng giềng gần đúng (FAISS).
Dùng khi: Tìm ảnh tương tự quy mô lớn, không cần tự học từ điển.- CS 4476 Computer Vision — James Hays, Georgia Tech (bài giảng 19, 20, 21, 22)
- Lazebnik, Schmid, Ponce — Beyond Bags of Features: Spatial Pyramid Matching (CVPR 2006)
- Richard Szeliski — Computer Vision: Algorithms and Applications (2nd ed.)
Chương này được viết lại bằng tiếng Việt dựa trên chủ đề của bài giảng gốc; không sao chép slide.