Chuyện gì đang xảy ra?
Khi nhìn ra cửa sổ, ta thấy “nhà, cây, trời” chứ không thấy hàng trăm nghìn chấm màu. Các nhà tâm lý học Gestalt đầu thế kỷ 20 mô tả những quy luật khiến mắt tự gom nhóm: gần nhau, giống nhau, liên tục, khép kín, cùng chuyển động. Phân đoạn (segmentation) là nỗ lực làm điều đó bằng máy: chia ảnh thành các vùng mạch lạc. Nó khác phát hiện biên (chỉ tìm đường ranh, có thể hở) và khác phân đoạn ngữ nghĩa (gán nhãn lớp “người”, “đường” cho mỗi điểm ảnh).
Cách trực tiếp nhất là coi mỗi điểm ảnh là một điểm trong không gian đặc trưng rồi gom cụm. k-means trên màu (tốt nhất trong LAB) chia ảnh thành k nhóm màu — nhanh nhưng các vùng có thể rời rạc khắp ảnh, vì nó không biết hai điểm cùng màu ở hai góc ảnh là khác vật. Thêm toạ độ (x, y) có trọng số vào vector đặc trưng khiến cụm gọn lại về không gian. Hạn chế lớn: phải chọn trước k, và k-means ưa cụm hình cầu cỡ tương đương.
Mean shift bỏ được k: nó xem dữ liệu như một hàm mật độ và cho mỗi điểm “leo dốc” tới đỉnh (mode) gần nhất bằng cách liên tục dời tới trung bình các điểm trong cửa sổ quanh nó. Các điểm leo về cùng đỉnh thuộc một vùng. Trong ảnh, cửa sổ có hai bán kính: không gian (pixel) và màu; hai bán kính này thay cho k, quyết định vùng to hay nhỏ. Kết quả là vùng có hình dạng tự do, nhưng chậm hơn k-means khá nhiều.
Watershed nhìn ảnh độ lớn gradient (hoặc bản đồ khoảng cách) như địa hình: đổ nước từ các marker ở đáy thung lũng, nước dâng dần và nơi hai vũng nước gặp nhau dựng thành đập — đó là ranh giới. Không có marker, mỗi cực tiểu nhiễu thành một vùng (phân mảnh quá mức). Với đồng xu chạm nhau, ta lấy marker là các đỉnh của biến đổi khoảng cách (tâm mỗi đồng xu), nên watershed tách được các đồng xu mà k-means theo màu không thể, vì chúng cùng màu.
Nhóm phương pháp mạnh nhất coi ảnh là đồ thị: đỉnh là điểm ảnh, cạnh nối láng giềng với trọng số lớn nếu hai điểm giống nhau. Phân đoạn là cắt đồ thị sao cho bỏ đi ít trọng số nhất; normalized cut (Shi–Malik) chuẩn hoá để không ưu tiên cắt lẻ vài điểm. GrabCut (Rother và cộng sự) chỉ cần người dùng khoanh một khung: nó học mô hình màu tiền cảnh / hậu cảnh bằng hỗn hợp Gaussian, giải graph cut, rồi lặp lại. Thực tế người ta còn dùng siêu điểm ảnh (superpixel, ví dụ SLIC) làm đơn vị thay cho điểm ảnh, và bộ dò biên học từ nhãn người (Pb trên BSDS) để có ranh giới tốt hơn.
Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.
Viết lại bằng toán.
Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.
k-means trên màu và vị trí
- p: một điểm ảnh, z_p: cụm của nó
- μ_k: tâm cụm k
- λ: trọng số vị trí (λ = 0 → chỉ theo màu)
λ lớn thì cụm thành các ô gần như đều nhau trên ảnh; λ vừa phải cho vùng vừa đồng màu vừa liền khối.
Bước dịch mean shift
- h: bán kính cửa sổ (ảnh: h_s cho không gian, h_r cho màu)
- g: hồ sơ nhân, ví dụ g = 1 trong cửa sổ và 0 ngoài
- m(x): vector dịch, chỉ về phía mật độ tăng
Lặp x ← x + m(x) đến khi m ≈ 0; điểm dừng là một mode của mật độ.
Normalized cut
- V: tập mọi đỉnh, A ∪ B = V
- w_uv: độ giống giữa hai điểm ảnh
- assoc(A,V): tổng trọng số từ A tới toàn đồ thị
Bài toán tối ưu rời rạc là NP-khó; Shi–Malik nới lỏng thành bài toán trị riêng của ma trận Laplace đồ thị.
Năng lượng GrabCut
- α_p ∈ {0, 1}: nhãn hậu cảnh / tiền cảnh
- p(z | α): mô hình màu GMM của mỗi phía
- Hạng sau: phạt đổi nhãn giữa hai láng giềng giống màu
Với α hai nhãn, cực tiểu chính xác tìm được bằng min-cut / max-flow; GrabCut xen kẽ cập nhật GMM và cắt đồ thị.
Luồng xử lý bằng lời.
-
01
Chọn đặc trưng
Chuyển sang LAB để khoảng cách màu gần cảm nhận hơn; làm mờ nhẹ để giảm nhiễu. Thêm (x, y) nếu muốn vùng liền khối.
-
02
Gom cụm nhanh
cv2.kmeansvới k cụm cho bản phân vùng màu đầu tiên; thử vài k để thấy đánh đổi giữa thiếu và thừa vùng. -
03
Mean shift khi không biết k
cv2.pyrMeanShiftFiltering(img, sp, sr)làm phẳng ảnh về các mode; sau đó gom các điểm có màu đã hội tụ giống nhau thành vùng. -
04
Watershed có marker
Ngưỡng Otsu → mở hình thái → biến đổi khoảng cách → ngưỡng đỉnh làm marker tiền cảnh, giãn nở làm vùng chắc chắn là nền, phần còn lại = 0 (chưa biết) →
cv2.watershed. -
05
GrabCut tách vật
Đưa khung chứa vật, gọi
cv2.grabCutvài vòng; sửa thêm bằng mặt nạ nét vẽ (chắc chắn tiền / hậu cảnh) nếu cần.
Núm vặn và cạm bẫy.
| Tham số | Ý nghĩa | Khoảng |
|---|---|---|
method | Thuật toán phân đoạn: k-means theo màu, mean shift, watershed với marker tự động từ biến đổi khoảng cách, hoặc GrabCut với khung đặt sẵn ở giữa ảnh. | kmeans / meanshift / watershed / grabcut |
k | Số cụm của k-means. Ít cụm gộp vật khác màu vào nhau; nhiều cụm chẻ một vật thành các mảng sáng – tối. | 2…12 |
xy | Thêm toạ độ (x, y) đã chuẩn hoá vào vector đặc trưng k-means để các cụm liền khối về không gian thay vì rải khắp ảnh. | bật / tắt |
sp | Bán kính không gian h_s của mean shift: điểm ảnh xa hơn bán kính này không ảnh hưởng tới nhau. | 5…40 px |
sr | Bán kính màu h_r của mean shift: hai màu chênh hơn ngưỡng này không bị kéo về cùng một mode. Lớn thì vùng to, ít chi tiết. | 10…60 |
! Cạm bẫy thường gặp
- k-means chỉ theo màu không phân biệt hai vật cùng màu chạm nhau — đồng xu dính nhau thành một vùng.
- Không chuẩn hoá thang đo khi thêm (x, y): toạ độ hàng trăm pixel lấn át màu 0…255 hoặc ngược lại; trọng số λ phải chỉnh có chủ ý.
- Watershed không có marker phân mảnh quá mức vì mỗi cực tiểu nhiễu thành một vùng; ngưỡng đỉnh khoảng cách quá thấp thì các vật chạm nhau vẫn dính.
- Ngưỡng Otsu cho vật đen trên nền trắng hay ngược lại tuỳ ảnh — kiểm tra cực tính trước khi tính biến đổi khoảng cách.
- Mean shift trên ảnh lớn rất chậm; thu nhỏ ảnh hoặc dùng bản lọc kim tự tháp (pyrMeanShiftFiltering) thay vì cài đặt thô.
- GrabCut giả định màu tiền / hậu cảnh tách được; vật cùng màu nền (áo trắng trên tường trắng) cần nét vẽ bổ sung.
Mã nguồn tối giản, không phải giả mã.
import cv2
import numpy as np
img = cv2.imread("coins.jpg")
if img is None:
raise FileNotFoundError("coins.jpg")
h, w = img.shape[:2]
# --- 1) k-means trên LAB (+ vị trí tuỳ chọn) ---
lab = cv2.cvtColor(img, cv2.COLOR_BGR2LAB).reshape(-1, 3).astype(np.float32)
use_xy, lam = True, 0.5
if use_xy:
yy, xx = np.mgrid[0:h, 0:w]
xy = np.stack([xx.ravel() / w, yy.ravel() / h], axis=1).astype(np.float32) * 255 * lam
feats = np.hstack([lab, xy])
else:
feats = lab
K = 4
criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 20, 1.0)
_, labels, centers = cv2.kmeans(feats, K, None, criteria, 3, cv2.KMEANS_PP_CENTERS)
lab_centers = centers[:, :3].astype(np.uint8).reshape(1, K, 3)
palette = cv2.cvtColor(lab_centers, cv2.COLOR_LAB2BGR)[0]
kmeans_seg = palette[labels.ravel()].reshape(h, w, 3)
# --- 2) Mean shift (làm phẳng về các mode) ---
meanshift_seg = cv2.pyrMeanShiftFiltering(img, sp=15, sr=30)
# --- 3) Watershed với marker từ biến đổi khoảng cách ---
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
_, th = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU)
if th.mean() > 127: # muốn vật = trắng, nền = đen
th = 255 - th
kernel = np.ones((3, 3), np.uint8)
opened = cv2.morphologyEx(th, cv2.MORPH_OPEN, kernel, iterations=2)
sure_bg = cv2.dilate(opened, kernel, iterations=3)
dist = cv2.distanceTransform(opened, cv2.DIST_L2, 5)
_, sure_fg = cv2.threshold(dist, 0.5 * dist.max(), 255, 0)
sure_fg = sure_fg.astype(np.uint8)
unknown = cv2.subtract(sure_bg, sure_fg)
n, markers = cv2.connectedComponents(sure_fg)
markers = markers + 1 # nền chắc chắn = 1
markers[unknown == 255] = 0 # vùng chưa biết = 0
markers = cv2.watershed(img, markers)
ws = img.copy()
ws[markers == -1] = (0, 0, 255) # đường đập (ranh giới) = -1
print("số vật watershed tìm được:", n - 1)
# --- 4) GrabCut với khung ở giữa ảnh ---
mask = np.zeros((h, w), np.uint8)
rect = (w // 8, h // 8, w * 3 // 4, h * 3 // 4)
bgd, fgd = np.zeros((1, 65), np.float64), np.zeros((1, 65), np.float64)
cv2.grabCut(img, mask, rect, bgd, fgd, 5, cv2.GC_INIT_WITH_RECT)
fg = np.where((mask == cv2.GC_FGD) | (mask == cv2.GC_PR_FGD), 1, 0).astype(np.uint8)
grabcut_seg = img * fg[:, :, None]
for name, im in [("kmeans", kmeans_seg), ("meanshift", meanshift_seg), ("watershed", ws), ("grabcut", grabcut_seg)]:
cv2.imwrite(f"seg_{name}.jpg", im)
Điều chỉnh tham số.
Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.
$ bài thử chưa chạy $ chọn ảnh và bấm “Chạy thử”
Dùng nó ở đâu?
Đếm và đo vật chạm nhau: đồng xu, hạt, tế bào dưới kính hiển vi (watershed).
Tách nền ảnh sản phẩm, chân dung chỉ với một khung chọn (GrabCut, công cụ “chọn vật” trong phần mềm ảnh).
Làm phẳng màu / hiệu ứng tranh vẽ và nén ảnh theo vùng (k-means, mean shift).
Tạo siêu điểm ảnh làm đơn vị cho phân đoạn ngữ nghĩa và gán nhãn dữ liệu nhanh.
Những hướng đang được dùng hiện nay.
Các phương pháp dưới đây không thay thế baseline; chúng giải quyết những điểm yếu của cách cổ điển khi có thêm dữ liệu, GPU hoặc yêu cầu độ ổn định cao hơn.
Segment Anything (SAM / SAM 2)
Mô hình nền tảng nhận một điểm, một khung hay một nét và trả mặt nạ tức thì — GrabCut “phiên bản học sâu” cho mọi loại vật.
Dùng khi: Gán nhãn tương tác, tách vật không cần huấn luyện riêng.Phân đoạn ngữ nghĩa / thực thể bằng mạng sâu
FCN, U-Net, Mask R-CNN, Mask2Former gán nhãn lớp cho từng điểm ảnh và tách từng thực thể.
Dùng khi: Khi cần biết vùng là gì, không chỉ vùng nào thuộc về nhau.- CS 4476 Computer Vision — James Hays, Georgia Tech (bài giảng 15, 17, 29, 30)
- OpenCV — Image Segmentation with Watershed Algorithm (tutorial)
- Richard Szeliski — Computer Vision: Algorithms and Applications (2nd ed.)
Chương này được viết lại bằng tiếng Việt dựa trên chủ đề của bài giảng gốc; không sao chép slide.