CHƯƠNG 14 Ứng dụng

XGBoost cho đặc trưng ảnh

XGBoost là một bộ phân loại gradient boosting mạnh cho dữ liệu dạng bảng. Trong thị giác máy tính, nó đặc biệt hữu ích khi ta đã trích được các đặc trưng có ý nghĩa như độ tròn, diện tích, số đỉnh hoặc mô men hình dạng.

Ứng dụng Trung cấp 18 phút đọc bài thử tương tác
Ảnh minh hoạ cho XGBoost cho đặc trưng ảnh 14 / 46
XGBoost · Gradient boosting Một khung hình, một câu hỏi.
01 Trực giác

Chuyện gì đang xảy ra?

Không phải bài toán thị giác nào cũng cần mạng nơ-ron. Nếu dữ liệu nhỏ và ta đo được những đặc trưng ổn định — độ tròn, độ lấp đầy, tỉ lệ cạnh, số đỉnh — một mô hình dạng bảng như XGBoost có thể cho kết quả tốt với chi phí thấp.

Mỗi contour được biến thành một vector số. XGBoost xây nhiều cây quyết định nhỏ; mỗi cây mới tập trung sửa lỗi còn lại của các cây trước. Kết quả cuối là tổng có trọng số của các cây, nên mô hình học được cả quan hệ phi tuyến giữa các đặc trưng.

Khác với CNN, XGBoost không tự nhìn thấy pixel. Chất lượng mô hình phụ thuộc rất nhiều vào bước feature engineering. Đổi lại, nó huấn luyện nhanh, không cần GPU và rất dễ giải thích bằng feature importance.

Trong bài thử này, mô hình được huấn luyện trên các contour tổng hợp của sáu lớp hình học. Ảnh đầu vào được tách nền, tìm contour, đo đặc trưng rồi phân loại. Đây là ví dụ thu nhỏ của những pipeline phân loại linh kiện, biển báo hoặc khiếm khuyết bằng đặc trưng thủ công.

Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.

02 Công thức

Viết lại bằng toán.

Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.

CÔNG THỨC / 01

Mục tiêu có điều chuẩn

\[ \mathcal{L}(\phi)=\sum_i l(y_i,\hat y_i)+\sum_k \Omega(f_k) \]
  • l: hàm mất mát của từng mẫu
  • Ω: hình phạt cho độ phức tạp của cây

XGBoost tối ưu mất mát và độ phức tạp cùng lúc để hạn chế overfitting.

CÔNG THỨC / 02

Độ phức tạp của một cây

\[ \Omega(f)=\gamma T+\frac{1}{2}\lambda\sum_{j=1}^{T}w_j^2 \]
  • T: số lá
  • w: giá trị dự đoán tại lá
  • γ, λ: hệ số điều chuẩn

Cây càng nhiều lá hoặc lá có trọng số càng lớn thì bị phạt càng mạnh.

CÔNG THỨC / 03

Độ lợi khi tách

\[ \text{Gain}=\frac{1}{2}\left[\frac{G_L^2}{H_L+\lambda}+\frac{G_R^2}{H_R+\lambda}-\frac{(G_L+G_R)^2}{H_L+H_R+\lambda}\right]-\gamma \]
  • G: tổng gradient trong nút
  • H: tổng Hessian
  • Chỉ tách nếu Gain > 0

Đây là dạng rút gọn; XGBoost dùng công thức này để chọn điểm chia tốt nhất.

03 Từng bước

Luồng xử lý bằng lời.

  1. 01

    Tách vật thể

    Threshold nền sáng, morphology nhẹ, rồi findContours. Lọc theo diện tích tối thiểu.

  2. 02

    Đo đặc trưng

    Với mỗi contour, tính độ tròn, độ lấp đầy, tỉ lệ cạnh, độ đặc, số đỉnh và các mô men Hu.

  3. 03

    Chuẩn bị nhãn

    Trong demo, nhãn đến từ dữ liệu hình học tổng hợp. Trong dự án thật, nhãn đến từ chuyên gia hoặc quy trình kiểm duyệt.

  4. 04

    Huấn luyện

    Chọn số cây, độ sâu và learning rate. Theo dõi accuracy trên tập huấn luyện và kiểm tra trực quan từng dự đoán.

  5. 05

    Dự đoán và kiểm tra

    XGBoost trả xác suất cho từng lớp; hiển thị nhãn có confidence cao nhất và so lại với hình dạng thật.

04 Tham số

Núm vặn và cạm bẫy.

Tham sốÝ nghĩaKhoảng
treesSố cây boosting; nhiều hơn có thể học tốt hơn nhưng dễ overfit.10…200
depthĐộ sâu tối đa của mỗi cây.2…8
lrLearning rate; nhỏ cần nhiều cây hơn, lớn dễ dao động.0.03…0.8
min_areaBỏ qua contour nhỏ hơn diện tích này.200…10000 px²
show_confHiện xác suất của lớp được chọn trên ảnh.true / false

! Cạm bẫy thường gặp

  • Đặc trưng phải bất biến với vị trí, tỉ lệ và góc xoay nếu bài toán thay đổi góc nhìn.
  • Mô hình học trên hình tổng hợp có thể sai khi gặp ảnh thật khác miền dữ liệu.
  • Accuracy trên tập huấn luyện cao không có nghĩa mô hình tổng quát tốt; cần tập kiểm tra riêng.
  • Confidence của XGBoost không phải xác suất đã hiệu chuẩn; đừng dùng nó như xác suất tuyệt đối.
  • XGBoost không thay thế CNN khi đầu vào là pixel thô, ảnh lớn hoặc cần học biểu diễn phức tạp.
05 Mã nguồn

Mã nguồn tối giản, không phải giả mã.

MÃ THAM KHẢO / xgboost
import cv2
import numpy as np
from xgboost import XGBClassifier

def shape_features(contour):
    area = cv2.contourArea(contour)
    perimeter = cv2.arcLength(contour, True)
    x, y, w, h = cv2.boundingRect(contour)
    hull_area = cv2.contourArea(cv2.convexHull(contour))
    approx = cv2.approxPolyDP(contour, 0.02 * perimeter, True)

    circularity = 4 * np.pi * area / (perimeter ** 2)
    extent = area / (w * h)
    aspect = min(w, h) / max(w, h)
    solidity = area / hull_area
    hu = cv2.HuMoments(cv2.moments(contour)).flatten()
    hu = -np.sign(hu) * np.log10(np.abs(hu) + 1e-12)

    return np.array([
        circularity, extent, aspect, solidity,
        len(approx), *hu[:5],
    ], dtype=np.float32)

# X: mỗi hàng là vector đặc trưng của một contour
# y: nhãn lớp 0..5
model = XGBClassifier(
    n_estimators=60,
    max_depth=3,
    learning_rate=0.25,
    objective="multi:softprob",
    num_class=6,
    eval_metric="mlogloss",
)
model.fit(X, y)

# contour mới -> vector -> xác suất từng lớp
probability = model.predict_proba(shape_features(new_contour)[None, :])[0]
print("lớp dự đoán:", probability.argmax())
THƯ VIỆN: OPENCV / NUMPY Đọc từ trên xuống · thử từng block
06 Thử

Điều chỉnh tham số.

Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.

CỤC BỘ / KHÔNG GỬI ẢNH
BÀN THỬ / 14 XGBoost cho đặc trưng ảnh
SẴN SÀNG
KẾT QUẢ / TRỰC TIẾP —
Ảnh đầu vào mặc định
Bấm “Chạy thử” Kết quả sẽ xuất hiện ở đây.
TRẠNG THÁIChờ chạy
ĐẦU VÀO—
SỐ BƯỚC—
THỜI GIAN—
NHẬT KÝ / LUỒNG XỬ LÝ
$ bài thử chưa chạy
$ chọn ảnh và bấm “Chạy thử”
07 Ứng dụng

Dùng nó ở đâu?

Bấm vào một thẻ để xem cách áp dụng, pipeline gợi ý và điều kiện cần kiểm tra.

HƯỚNG HIỆN ĐẠI

Những hướng đang được dùng hiện nay.

Các phương pháp dưới đây không thay thế baseline; chúng giải quyết những điểm yếu của cách cổ điển khi có thêm dữ liệu, GPU hoặc yêu cầu độ ổn định cao hơn.

HIỆN ĐẠI / 01

LightGBM

Gradient boosting dựa trên histogram, mọc cây theo leaf-wise nên rất nhanh trên dữ liệu bảng lớn. Hỗ trợ categorical, missing value và huấn luyện CPU tốt.

Dùng khi: Lựa chọn thay thế XGBoost phổ biến khi cần tốc độ và dữ liệu vừa/lớn.
HIỆN ĐẠI / 02

CatBoost

Gradient boosting xử lý categorical bằng ordered target statistics và giảm overfitting tốt. Thường ít tuning hơn XGBoost/LightGBM trên dữ liệu có nhiều cột phân loại.

Dùng khi: Dữ liệu có category, ID hoặc thời gian; chấp nhận thời gian huấn luyện cao hơn.
HIỆN ĐẠI / 03

Random Forest / Extra Trees

Bagging nhiều cây độc lập, ổn định, ít tuning và dễ song song. Không học tinh chỉnh lỗi như boosting nên thường kém hơn một chút khi dữ liệu lớn.

Dùng khi: Baseline nhanh, dữ liệu nhỏ hoặc cần mô hình khó overfit hơn.
HIỆN ĐẠI / 04

TabNet

Mạng attention dạng bảng, chọn đặc trưng theo từng mẫu và có thể học end-to-end. Cần nhiều dữ liệu hơn cây boosting và khó giải thích hơn.

Dùng khi: Dữ liệu lớn, có GPU, muốn học biểu diễn thay vì chỉ dựa trên feature thủ công.
HIỆN ĐẠI / 05

FT-Transformer / TabTransformer

Transformer cho dữ liệu bảng, học tương tác giữa các cột qua attention. Mạnh khi có nhiều đặc trưng tương tác phức tạp nhưng cần dataset lớn và tuning cẩn thận.

Dùng khi: Nghiên cứu hoặc dữ liệu lớn; không phải lựa chọn đầu tiên cho dataset nhỏ.
HIỆN ĐẠI / 06

Logistic regression / SVM

Baseline tuyến tính nhanh, dễ giải thích và ít overfit. Nếu mô hình này đã đủ tốt, không cần dùng boosting phức tạp.

Dùng khi: Dữ liệu nhỏ, quan hệ gần tuyến tính hoặc cần giải thích hệ số rõ ràng.