CHƯƠNG 46 Nhận dạng & học sâu

Dữ liệu lớn, gán nhãn & thuộc tính

Dữ liệu lớn biến nhiều bài toán khó thành bài toán tìm kiếm: hoàn thiện cảnh, đoán vị trí địa lý, nhận dạng bằng ảnh tí hon. Nhưng dữ liệu cần nhãn, nhãn cần con người, và cách thu thập — chuyên gia, cộng đồng, trò chơi, trả tiền, học chủ động — quyết định chất lượng và thiên lệch của mọi mô hình phía sau.

Nhận dạng & học sâu Trung cấp 18 phút đọc chương lý thuyết
Ảnh minh hoạ cho Dữ liệu lớn, gán nhãn & thuộc tính 46 / 46
Bộ dữ liệu · Crowdsourcing Một khung hình, một câu hỏi.
01 Trực giác

Chuyện gì đang xảy ra?

Hãy thử một thí nghiệm tư duy: cần lấp một vùng bị khoét trên ảnh phong cảnh. Cách "thông minh" là hiểu cảnh rồi vẽ lại. Cách của Hays và Efros (Scene Completion, SIGGRAPH 2007) thì thô hơn: tìm trong khoảng hai triệu ảnh Flickr những cảnh có bố cục giống nhất (mô tả toàn cục gist + màu), lấy vùng tương ứng của ảnh láng giềng, ghép vào bằng graph cut rồi trộn Poisson. Với vài chục nghìn ảnh, láng giềng gần nhất trông lạc lõng; với vài triệu ảnh, chúng bắt đầu giống thật đến mức người xem khó đoán ảnh nào là gốc.

Cùng tinh thần đó, im2gps (Hays & Efros, CVPR 2008) đoán nơi chụp một bức ảnh bằng cách tìm các ảnh giống nhất trong vài triệu ảnh có toạ độ GPS rồi bỏ phiếu vị trí. Tiny Images (Torralba, Fergus, Freeman, PAMI 2008) thu nhỏ khoảng 80 triệu ảnh về 32×32 và cho thấy người vẫn nhận ra cảnh ở độ phân giải ấy, còn láng giềng gần nhất trên kho khổng lồ làm được việc nhận dạng thô, tô màu, xoay đúng chiều ảnh. Bài học chung: khi dữ liệu đủ dày, nhiều bài toán "cần hiểu" trở thành bài toán "cần tìm" — và nhãn của láng giềng được mượn sang.

Nhưng muốn huấn luyện thì phải có nhãn. Các bộ dữ liệu kinh điển phản ánh các cách thu thập khác nhau: Caltech-101 và PASCAL VOC (20 lớp, khung bao) do nhóm nghiên cứu tự gán cẩn thận; LabelMe mở cho cộng đồng vẽ đa giác tuỳ ý; ImageNet và COCO (80 lớp, mặt nạ từng vật trong cảnh phức tạp) dựa vào lao động trả tiền trên Amazon Mechanical Turk; SUN hướng tới hàng trăm loại cảnh. Mỗi bộ có "dấu vân tay" riêng — kiểu ảnh, góc chụp, vật nằm giữa khung — nên mô hình học trên bộ này thường tụt hiệu năng ở bộ khác: đó là thiên lệch bộ dữ liệu (Torralba & Efros, CVPR 2011).

Gán nhãn bằng đám đông (crowdsourcing) rẻ và nhanh nhưng ồn. Có ba động cơ: lòng tốt (LabelMe), niềm vui (trò chơi ESP của von Ahn & Dabbish: hai người lạ cùng gõ từ mô tả một ảnh, trùng từ thì cả hai được điểm và ảnh có nhãn) và tiền (Mechanical Turk). Kiểm soát chất lượng là phần quan trọng nhất: cho nhiều người gán cùng một mẫu rồi lấy đồng thuận, cài câu hỏi vàng (gold standard) đã biết đáp án để chấm từng người, bài kiểm tra đầu vào, hoặc cho tầng người thứ hai chấm bài tầng thứ nhất. Trả giá cao chưa chắc được nhãn tốt hơn — nó tăng tốc độ thu thập nhiều hơn là tăng chất lượng.

Vì công gán nhãn đắt, hãy để máy chỉ cho người chỗ cần gán. Học chủ động (active learning) chọn các mẫu mà mô hình đang phân vân nhất; người trong vòng lặp (human-in-the-loop) như hệ thống nhận dạng chim của Branson và cộng sự (dự án Visipedia) hỏi người dùng những câu ngắn kiểu "mỏ có màu gì?", mỗi lần chọn câu làm giảm entropy nhiều nhất. Từ đó nảy ra ý tưởng thuộc tính (attributes): mô tả vật bằng tính chất chung như "có bánh xe", "làm bằng kim loại", "có sọc" — vừa mô tả được vật lạ, vừa cho phép nhận dạng lớp chưa từng thấy ảnh (zero-shot), vừa so sánh tương đối ("cười nhiều hơn").

Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.

02 Công thức

Viết lại bằng toán.

Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.

CÔNG THỨC / 01

Đồng thuận đa người gán

\[ \hat{y}_i=\arg\max_{c}\sum_{w\in W_i} q_w\,\mathbf{1}\!\left[y_{iw}=c\right],\qquad \text{giữ mẫu nếu}\;\frac{\max_c \sum_{w} \mathbf{1}[y_{iw}=c]}{|W_i|}\ge\tau \]
  • W_i: tập người đã gán mẫu i; y_iw: nhãn người w đưa ra
  • q_w: trọng số tin cậy của người w (= 1 cho bỏ phiếu đều, hoặc độ chính xác trên câu hỏi vàng)
  • τ: ngưỡng đồng thuận; mẫu dưới ngưỡng gửi thêm người hoặc chuyên gia

Mô hình Dawid–Skene mở rộng ý này bằng EM: ước lượng đồng thời nhãn thật và ma trận nhầm lẫn của từng người.

CÔNG THỨC / 02

Học chủ động — chọn mẫu bất định nhất

\[ x^{*}=\arg\max_{x\in\mathcal{U}}\;H\!\left[p(y\mid x)\right]=\arg\max_{x\in\mathcal{U}}\;-\sum_{c}p(c\mid x)\log p(c\mid x) \]
  • U: kho mẫu chưa gán nhãn
  • p(c | x): xác suất mô hình hiện tại dự đoán lớp c

Hệ "20 câu hỏi" người-trong-vòng-lặp dùng cùng tiêu chí, nhưng chọn câu hỏi làm giảm kỳ vọng entropy của p(lớp | ảnh, các câu trả lời) nhiều nhất.

CÔNG THỨC / 03

Zero-shot bằng thuộc tính (Direct Attribute Prediction)

\[ f(\mathbf{x})=\arg\max_{z\in\mathcal{Z}_{\text{mới}}}\prod_{m=1}^{M}\frac{p\!\left(a_m=a_m^{z}\mid\mathbf{x}\right)}{p\!\left(a_m=a_m^{z}\right)} \]
  • a_m^z: giá trị thuộc tính m mà lớp z được mô tả là có (do người cung cấp, không cần ảnh)
  • p(a_m | x): bộ phân loại thuộc tính học trên các lớp đã biết
  • M: số thuộc tính

Công thức của Lampert, Nickisch, Harmeling (CVPR 2009). Mô tả "ngựa vằn = có sọc + bốn chân + có bờm" đủ để nhận ra ngựa vằn dù chưa thấy ảnh nào của nó.

03 Từng bước

Luồng xử lý bằng lời.

  1. 01

    Định nghĩa nhiệm vụ & hướng dẫn gán

    Viết rõ lớp nào, ranh giới lớp, trường hợp mơ hồ (vật bị che, ảnh phản chiếu, tranh vẽ) xử lý ra sao. Hướng dẫn kèm ví dụ đúng / sai quyết định độ đồng thuận nhiều hơn mọi mẹo hậu kỳ.

  2. 02

    Thu ảnh & kiểm thiên lệch

    Lấy ảnh từ nhiều nguồn, nhiều điều kiện chụp; khử trùng lặp (gần trùng) để không rò rỉ giữa train và test. So phân bố lớp, góc chụp, vùng địa lý với nơi mô hình sẽ chạy thật.

  3. 03

    Gán nhãn có kiểm soát chất lượng

    Mỗi mẫu cho vài người gán, trộn câu hỏi vàng vào từng lô, loại hoặc giảm trọng số người có độ chính xác thấp, lấy đồng thuận theo ngưỡng; mẫu bất đồng chuyển chuyên gia.

  4. 04

    Chia tập đúng cách

    Chia train / validation / test theo nhóm (cùng người chụp, cùng video, cùng địa điểm vào một tập) và phân tầng theo lớp. Tập test giữ kín, chỉ dùng một lần cuối.

  5. 05

    Lặp với học chủ động

    Huấn luyện mô hình, cho nó chấm kho chưa gán, chọn lô mẫu bất định / sai nhiều nhất gửi gán tiếp. Mỗi vòng ghi lại phiên bản dữ liệu để kết quả tái lập được.

04 Tham số

Núm vặn và cạm bẫy.

Tham sốÝ nghĩaKhoảng
annotators_per_itemSố người gán độc lập cho mỗi mẫu. Nhiều người → nhãn đồng thuận đáng tin hơn nhưng chi phí nhân lên tương ứng; số lẻ tránh hoà phiếu.1 (chuyên gia) · 3–5 (đám đông) · 5+ cho nhãn mơ hồ
agreement_thresholdTỉ lệ phiếu tối thiểu của nhãn thắng để chấp nhận mẫu (τ). Ngưỡng cao cho tập test sạch; ngưỡng thấp giữ được nhiều mẫu khó cho train.0.5…1.0 (thường 0.6–0.8)
gold_ratioTỉ lệ câu hỏi vàng (đã biết đáp án) trộn vào mỗi lô để chấm độ chính xác từng người và loại người gán ẩu.5–20% số câu mỗi lô
min_worker_accuracyĐộ chính xác tối thiểu trên câu hỏi vàng để người gán được tiếp tục / được tính phiếu.0.7…0.95 tuỳ độ khó
splitTỉ lệ train / validation / test, chia theo nhóm và phân tầng theo lớp.70/15/15 · 80/10/10 · bộ lớn có thể 98/1/1
active_batchSố mẫu chọn bằng học chủ động để gửi gán ở mỗi vòng. Lô nhỏ chọn tinh hơn nhưng nhiều vòng huấn luyện lại hơn.1–10% kho chưa gán mỗi vòng

! Cạm bẫy thường gặp

  • Đánh giá trên tập test cùng nguồn với train rồi tuyên bố mô hình "tổng quát": thiên lệch bộ dữ liệu khiến hiệu năng tụt khi gặp ảnh từ nguồn khác.
  • Ảnh gần trùng (cùng cảnh, cùng người chụp, khung hình liên tiếp của video) rơi vào cả train lẫn test — điểm số đẹp giả tạo.
  • Chỉ lấy một nhãn mỗi mẫu từ đám đông và tin tuyệt đối; không có câu hỏi vàng thì không biết ai đang gán bừa.
  • Hướng dẫn gán mơ hồ: người gán bất đồng không phải vì ẩu mà vì định nghĩa lớp không rõ. Đo độ đồng thuận sớm để sửa hướng dẫn.
  • Học chủ động chỉ chọn mẫu bất định có thể dồn vào ngoại lai / nhãn nhiễu và làm lệch phân bố train; nên trộn thêm một phần mẫu ngẫu nhiên.
  • Dữ liệu web chứa nội dung cá nhân, bản quyền, định kiến xã hội; thu thập ở quy mô lớn phải tính tới giấy phép và quyền riêng tư.
05 Mã nguồn

Mã nguồn tối giản, không phải giả mã.

MÃ THAM KHẢO / data-scale
# Mô phỏng quy trình làm bộ dữ liệu: người gán ồn -> câu hỏi vàng -> đồng thuận -> chia tập -> học chủ động.
# Cần numpy + scikit-learn.
import numpy as np
from sklearn.datasets import make_classification
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split

rng = np.random.default_rng(0)
X, y_true = make_classification(n_samples=3000, n_features=20, n_informative=8,
                                n_classes=3, n_clusters_per_class=1, random_state=0)
n_classes = 3

# 1) Đội người gán: phần lớn cẩn thận, vài người gán ẩu
n_workers = 20
worker_acc = np.clip(rng.normal(0.85, 0.08, n_workers), 0.3, 0.99)
worker_acc[:3] = 0.4                       # 3 người gán gần như bừa


def annotate(i, w):
    if rng.random() < worker_acc[w]:
        return y_true[i]
    return rng.choice([c for c in range(n_classes) if c != y_true[i]])


# 2) Câu hỏi vàng: ước lượng độ chính xác từng người
gold_ratio, min_worker_accuracy = 0.1, 0.7
gold = rng.choice(len(X), int(gold_ratio * len(X)), replace=False)
est_acc = np.array([np.mean([annotate(i, w) == y_true[i] for i in gold[:50]]) for w in range(n_workers)])
trusted = np.where(est_acc >= min_worker_accuracy)[0]
print("Người bị loại:", np.where(est_acc < min_worker_accuracy)[0].tolist())

# 3) Mỗi mẫu cho k người tin cậy gán, bỏ phiếu có trọng số, giữ nếu đạt ngưỡng đồng thuận
annotators_per_item, agreement_threshold = 3, 0.6
labels, keep = np.zeros(len(X), int), np.zeros(len(X), bool)
for i in range(len(X)):
    ws = rng.choice(trusted, annotators_per_item, replace=False)
    votes = np.array([annotate(i, w) for w in ws])
    score = np.bincount(votes, weights=est_acc[ws], minlength=n_classes)
    labels[i] = score.argmax()
    keep[i] = np.mean(votes == labels[i]) >= agreement_threshold
print(f"Giữ {keep.mean():.1%} mẫu, nhãn đồng thuận đúng {np.mean(labels[keep] == y_true[keep]):.1%}")

# 4) Chia train / val / test phân tầng (70/15/15)
idx = np.where(keep)[0]
tr, tmp = train_test_split(idx, test_size=0.3, stratify=labels[idx], random_state=0)
va, te = train_test_split(tmp, test_size=0.5, stratify=labels[tmp], random_state=0)
print("train/val/test:", len(tr), len(va), len(te))

# 5) Học chủ động: bắt đầu với 60 nhãn, mỗi vòng xin thêm 40 mẫu có entropy lớn nhất
labeled = list(rng.choice(tr, 60, replace=False))
pool = [i for i in tr if i not in set(labeled)]
active_batch = 40
for rnd in range(6):
    clf = LogisticRegression(max_iter=2000).fit(X[labeled], labels[labeled])
    print(f"vòng {rnd}: {len(labeled):4d} nhãn -> độ chính xác val {clf.score(X[va], labels[va]):.3f}")
    p = clf.predict_proba(X[pool])
    entropy = -(p * np.log(p + 1e-12)).sum(1)
    pick = np.argsort(-entropy)[:active_batch]
    chosen = set(int(pool[j]) for j in pick)
    labeled += sorted(chosen)
    pool = [i for i in pool if i not in chosen]

print("Độ chính xác test cuối:", round(clf.score(X[te], labels[te]), 3))
THƯ VIỆN: OPENCV / NUMPY Đọc từ trên xuống · thử từng block
06 Ứng dụng

Dùng nó ở đâu?

DÙNG / 01

Phương pháp dựa trên dữ liệu: hoàn thiện / xoá vật khỏi ảnh, đoán vị trí địa lý, tô màu bằng láng giềng gần nhất.

DÙNG / 02

Xây bộ dữ liệu cho phát hiện lỗi sản phẩm, y tế, giao thông với quy trình đồng thuận + chuyên gia duyệt.

DÙNG / 03

Nhận dạng chi tiết (loài chim, mẫu xe) với người trong vòng lặp trả lời vài câu hỏi thuộc tính.

DÙNG / 04

Tìm kiếm ảnh bằng thuộc tính ("cảnh ngoài trời, có nước, nhiều người") và nhận dạng lớp mới không cần ảnh mẫu.

HƯỚNG HIỆN ĐẠI

Những hướng đang được dùng hiện nay.

Các phương pháp dưới đây không thay thế baseline; chúng giải quyết những điểm yếu của cách cổ điển khi có thêm dữ liệu, GPU hoặc yêu cầu độ ổn định cao hơn.

HIỆN ĐẠI / 01

Dữ liệu ảnh–văn bản quy mô web (CLIP)

Học từ hàng trăm triệu cặp ảnh–chú thích lấy trên mạng thay vì nhãn lớp; mô hình nhận dạng zero-shot bằng câu mô tả — hậu duệ trực tiếp của ý tưởng thuộc tính.

Dùng khi: Cần phân loại / tìm kiếm mở với danh mục thay đổi liên tục.
HIỆN ĐẠI / 02

Động cơ dữ liệu có mô hình trong vòng lặp (SAM)

Mô hình đề xuất mặt nạ, người chỉ sửa; dần dần mô hình tự gán phần lớn và người chỉ duyệt — học chủ động + human-in-the-loop ở quy mô hàng tỉ mặt nạ.

Dùng khi: Gán nhãn dày (phân đoạn) tốn công, có thể khởi động bằng một mô hình sẵn.
HIỆN ĐẠI / 03

Giám sát yếu & nhãn giả

Dùng hashtag, chú thích, quy tắc hoặc mô hình thầy để sinh nhãn ồn số lượng lớn, rồi lọc / làm sạch; đổi độ chính xác từng nhãn lấy quy mô.

Dùng khi: Không đủ ngân sách gán tay nhưng có nhiều ảnh kèm tín hiệu phụ.
HIỆN ĐẠI / 04

Dữ liệu tổng hợp

Dựng cảnh bằng đồ hoạ hoặc mô hình sinh để có nhãn hoàn hảo miễn phí (độ sâu, mặt nạ, tư thế); cần thu hẹp khoảng cách miền với ảnh thật.

Dùng khi: Nhãn khó gán tay (độ sâu, luồng quang học) hoặc sự kiện hiếm.
ĐÃ ĐỌC XONG 46 / 46