Chuyện gì đang xảy ra?
Trước khi nói về phong cách, hãy nhìn lại câu hỏi: mạng CNN học được gì nếu ta không có nhãn? Ý tưởng tự giám sát (self-supervised learning) là bịa ra một bài toán phụ mà nhãn có sẵn trong chính dữ liệu. Doersch, Gupta và Efros (ICCV 2015) cắt hai mảnh ảnh cạnh nhau và bắt mạng đoán mảnh thứ hai nằm ở ô nào trong 8 ô quanh mảnh thứ nhất. Muốn đoán đúng, mạng buộc phải hiểu "bánh xe ở dưới thân xe", "mắt nằm trên mũi" — tức là học ngữ nghĩa mà không ai dạy tên vật.
Bài toán phụ rất dễ bị "ăn gian". Nếu hai mảnh sát nhau, mạng chỉ cần nối đường biên hoặc khớp màu ở mép; nhóm tác giả phải chừa khe hở và xê dịch ngẫu nhiên vị trí mảnh. Lối tắt tinh vi hơn là sắc sai (chromatic aberration) của ống kính: các kênh màu lệch nhau một chút tuỳ vị trí trong khung hình, và mạng dùng nó để đoán vị trí tuyệt đối. Tô màu ảnh xám (Zhang, Isola, Efros 2016) là một bài toán tự giám sát khác: kênh L là đầu vào, kênh ab là "nhãn miễn phí".
Texture (vân bề mặt) có tính chất đặc biệt: hai mảnh cỏ khác nhau từng pixel nhưng ta vẫn thấy là "cùng một loại cỏ". Điều giống nhau là thống kê — bao nhiêu nét theo hướng nào, ở tỉ lệ nào, mạnh yếu ra sao. Heeger và Bergen (SIGGRAPH 1995) biến nhận xét này thành thuật toán: phân tách ảnh thành các dải kim tự tháp, rồi ép histogram của từng dải trong ảnh nhiễu khớp với histogram tương ứng của texture mẫu; lặp vài lần là ra texture mới trông cùng loại.
Gatys, Ecker và Bethge thay ngân hàng bộ lọc thủ công bằng các tầng của mạng VGG-19 đã huấn luyện. Nội dung được đo bằng chính bản đồ đặc trưng ở một tầng sâu (giữ vị trí: cái gì nằm ở đâu). Phong cách được đo bằng ma trận Gram — tích vô hướng giữa các kênh đặc trưng, cộng dồn trên mọi vị trí — nên vị trí bị xoá, chỉ còn "kênh nào hay bật cùng kênh nào". Ảnh kết quả được tìm bằng gradient descent trực tiếp trên pixel, mạng đứng yên.
Tối ưu từng ảnh như Gatys mất hàng trăm vòng lan truyền ngược, nên Johnson và cộng sự (ECCV 2016) huấn luyện một mạng truyền thẳng (feed-forward) với chính hàm mất mát đó: sau khi học xong, mỗi ảnh chỉ cần một lượt chạy. Bài thử ở đây không dùng mạng nơ-ron: nó dùng hai phương pháp cổ điển chạy trên CPU — chuyển màu Reinhard và khớp thống kê từng dải Laplacian kiểu Heeger–Bergen — để bạn thấy trực tiếp "phong cách = thống kê" nghĩa là gì.
Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.
Viết lại bằng toán.
Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.
Mất mát nội dung (một tầng sâu)
- x: ảnh đang tối ưu (canvas); p: ảnh nội dung
- F^l_{ij}: phản hồi của bộ lọc thứ i tại vị trí j ở tầng l khi đưa x vào mạng
- P^l: phản hồi tương ứng của ảnh nội dung p
Gatys dùng tầng conv4_2 của VGG-19: đủ sâu để chỉ giữ bố cục vật thể, không bắt chép đúng từng pixel.
Ma trận Gram — thống kê bậc hai không phụ thuộc vị trí
- N_l: số kênh (bộ lọc) ở tầng l; M_l: số vị trí (cao × rộng)
- k chạy qua mọi vị trí — tổng làm mất thông tin "ở đâu"
- G_ij lớn: kênh i và kênh j thường cùng bật
Hoán vị các vị trí trong bản đồ đặc trưng không làm đổi G — đó chính là lý do G mô tả texture/phong cách chứ không mô tả bố cục.
Mất mát phong cách & tổng
- A^l: ma trận Gram của ảnh phong cách a ở tầng l
- w_l: trọng số từng tầng (thường đều nhau trên conv1_1 … conv5_1)
- α/β: tỉ lệ nội dung trên phong cách — nhỏ thì ảnh đậm chất tranh hơn
Cập nhật pixel: x ← x − η ∂L_total/∂x. Gradient chảy qua VGG nhưng trọng số mạng không đổi.
Khớp histogram & chuyển màu Reinhard
- F_c, F_s: hàm phân phối tích luỹ (CDF) của dải nội dung và dải phong cách
- μ, σ: trung bình và độ lệch chuẩn từng kênh màu (không gian kiểu LAB)
Reinhard chỉ khớp moment bậc 1–2 của màu; Heeger–Bergen khớp cả histogram, và làm cho từng dải tần số riêng.
Luồng xử lý bằng lời.
-
01
Chọn biểu diễn
Cổ điển: kim tự tháp Laplacian / steerable (dải tần × hướng). Học sâu: các tầng VGG-19 đã huấn luyện trên ImageNet. Biểu diễn càng giàu, thống kê càng nắm được cấu trúc lớn.
-
02
Đo thống kê của ảnh phong cách
Với từng dải / tầng, tính histogram (Heeger–Bergen) hoặc ma trận Gram (Gatys). Đây là "chữ ký" phong cách, không còn thông tin vị trí.
-
03
Khởi tạo canvas
Có thể bắt đầu từ nhiễu trắng (tổng hợp texture thuần), từ ảnh nội dung (giữ bố cục tốt hơn) hoặc pha trộn hai thứ. Điểm khởi đầu khác nhau cho kết quả khác nhau vì bài toán không lồi.
-
04
Ép thống kê lặp lại
Heeger–Bergen: khớp histogram từng dải rồi ghép lại, lặp vài lần. Gatys: tính mất mát nội dung + phong cách, lan truyền ngược về pixel, cập nhật bằng L-BFGS hoặc Adam vài trăm vòng.
-
05
Cân chỉnh & hậu xử lý
Điều chỉnh α/β hoặc mức trộn; có thể giữ màu gốc bằng cách chỉ chuyển kênh độ sáng, hoặc chạy ở nhiều tỉ lệ (thô → tinh) để nét lớn của phong cách hiện rõ hơn.
Núm vặn và cạm bẫy.
| Tham số | Ý nghĩa | Khoảng |
|---|---|---|
style | Ảnh nguồn thống kê phong cách: tường gạch (vân lặp đều), đồng xu (đốm tròn ánh kim) hoặc đường phố (cạnh thẳng, màu đô thị). | brick / coins / road |
method | pyramid: khớp histogram từng dải Laplacian và từng kênh màu theo tinh thần Heeger–Bergen, đổi cả texture lẫn màu. color: chỉ khớp trung bình và độ lệch chuẩn màu trong LAB (Reinhard), giữ nguyên chi tiết. | pyramid / color |
strength | Trộn tuyến tính giữa ảnh gốc (0) và ảnh đã áp thống kê phong cách (1) — đóng vai trò gần giống tỉ lệ β/α. | 0…1, bước 0.05 |
! Cạm bẫy thường gặp
- Tưởng ma trận Gram giữ bố cục: nó đã cộng dồn mọi vị trí, nên chỉ dùng mất mát phong cách thì ảnh ra là texture xáo trộn, không còn vật thể.
- Quên chuẩn hoá ảnh theo trung bình / độ lệch chuẩn ImageNet và thứ tự RGB khi đưa vào VGG — đặc trưng sai, kết quả loang lổ.
- Tỉ lệ α/β phụ thuộc cách chuẩn hoá Gram và kích thước ảnh; chép số từ bài báo sang mã khác chuẩn hoá thường cho kết quả quá nhạt hoặc quá rối.
- Khớp thống kê toàn cục làm màu tràn: vùng trời có thể nhận màu gạch. Cần mask theo vùng hoặc giữ màu gốc nếu muốn chỉ chuyển nét.
- Ảnh phong cách nhỏ hơn nhiều ảnh nội dung thì các "nét cọ" bị phóng to tương đối; tỉ lệ giữa hai ảnh là một tham số ngầm.
- Bài toán tự giám sát dễ có lối tắt (mép mảnh, sắc sai ống kính, watermark); kiểm tra mạng có thật sự học ngữ nghĩa hay chỉ học mẹo.
Mã nguồn tối giản, không phải giả mã.
# Phương pháp CỔ ĐIỂN (chỉ cần OpenCV + NumPy): Reinhard + khớp thống kê từng dải Laplacian.
# Hàm gatys() ở cuối minh hoạ bản học sâu, cần PyTorch + torchvision (nên có GPU).
import cv2
import numpy as np
def reinhard(content, style):
# Khớp trung bình / độ lệch chuẩn từng kênh trong LAB (Reinhard et al. 2001 dùng lαβ).
c = cv2.cvtColor(content, cv2.COLOR_BGR2LAB).astype(np.float32)
s = cv2.cvtColor(style, cv2.COLOR_BGR2LAB).astype(np.float32)
mc, sc = c.reshape(-1, 3).mean(0), c.reshape(-1, 3).std(0) + 1e-6
ms, ss = s.reshape(-1, 3).mean(0), s.reshape(-1, 3).std(0)
out = (c - mc) / sc * ss + ms
return cv2.cvtColor(np.clip(out, 0, 255).astype(np.uint8), cv2.COLOR_LAB2BGR)
def match_hist(src, ref):
# Ép phân bố giá trị của src giống ref (T = F_ref^-1(F_src)).
order = np.argsort(src.ravel())
ref_sorted = np.sort(ref.ravel())
q = np.linspace(0, ref_sorted.size - 1, src.size)
out = np.empty(src.size, np.float32)
out[order] = np.interp(q, np.arange(ref_sorted.size), ref_sorted)
return out.reshape(src.shape)
def lap_pyr(img, levels):
g = [img]
for _ in range(levels - 1):
g.append(cv2.pyrDown(g[-1]))
lap = []
for i in range(levels - 1):
up = cv2.pyrUp(g[i + 1], dstsize=(g[i].shape[1], g[i].shape[0]))
lap.append(g[i] - up)
lap.append(g[-1])
return lap
def collapse(lap):
img = lap[-1]
for band in reversed(lap[:-1]):
img = cv2.pyrUp(img, dstsize=(band.shape[1], band.shape[0])) + band
return img
def pyramid_style(content, style, levels=5, iters=3):
# Tinh thần Heeger–Bergen, nhưng khởi tạo từ ảnh nội dung thay vì nhiễu.
x = content.astype(np.float32)
s = style.astype(np.float32)
out = np.empty_like(x)
for ch in range(3):
xc, sc = x[..., ch], s[..., ch]
s_bands = lap_pyr(sc, levels)
for _ in range(iters):
xc = match_hist(xc, sc)
bands = lap_pyr(xc, levels)
bands = [match_hist(b, sb) for b, sb in zip(bands, s_bands)]
xc = collapse(bands)
out[..., ch] = match_hist(xc, sc)
return np.clip(out, 0, 255).astype(np.uint8)
def gram(features):
# features: (C, H, W) -> ma trận Gram C×C, chuẩn hoá theo số vị trí.
C = features.shape[0]
F = features.reshape(C, -1)
return F @ F.T / F.shape[1]
def gabor_features(img_bgr, n=8):
gray = cv2.cvtColor(img_bgr, cv2.COLOR_BGR2GRAY).astype(np.float32) / 255.0
maps = []
for k in range(n):
kern = cv2.getGaborKernel((21, 21), 4.0, np.pi * k / n, 10.0, 0.5, 0)
maps.append(np.maximum(cv2.filter2D(gray, -1, kern), 0)) # ReLU
return np.stack(maps)
content = cv2.imread("astronaut.jpg")
style = cv2.imread("brick.jpg")
if content is None or style is None:
raise FileNotFoundError("Không đọc được ảnh")
style = cv2.resize(style, (content.shape[1], content.shape[0]))
strength = 0.7
color_only = reinhard(content, style)
textured = pyramid_style(content, style)
result = cv2.addWeighted(content, 1 - strength, textured, strength, 0)
cv2.imwrite("style_reinhard.jpg", color_only)
cv2.imwrite("style_pyramid.jpg", result)
G_c, G_s = gram(gabor_features(content)), gram(gabor_features(style))
print("Khoảng cách Gram nội dung–phong cách:", float(((G_c - G_s) ** 2).sum()))
def gatys(content_bgr, style_bgr, steps=300, alpha=1.0, beta=1e6):
# Minh hoạ Gatys et al. bằng PyTorch — cần torch + torchvision, tải trọng số VGG-19.
import torch
from torchvision import models
dev = "cuda" if torch.cuda.is_available() else "cpu"
vgg = models.vgg19(weights=models.VGG19_Weights.DEFAULT).features.to(dev).eval()
for p in vgg.parameters():
p.requires_grad_(False)
mean = torch.tensor([0.485, 0.456, 0.406], device=dev).view(1, 3, 1, 1)
std = torch.tensor([0.229, 0.224, 0.225], device=dev).view(1, 3, 1, 1)
def to_t(bgr):
rgb = cv2.cvtColor(bgr, cv2.COLOR_BGR2RGB).astype(np.float32) / 255.0
t = torch.from_numpy(rgb).permute(2, 0, 1)[None].to(dev)
return (t - mean) / std
style_ids = [0, 5, 10, 19, 28] # conv1_1 … conv5_1
content_id = 21 # conv4_2
def feats(x):
out = {}
for i, layer in enumerate(vgg):
x = layer(x)
if i in style_ids or i == content_id:
out[i] = x
if i >= 28:
break
return out
def gram_t(f):
_, c, h, w = f.shape
f = f.view(c, h * w)
return f @ f.t() / (c * h * w)
c_t, s_t = to_t(content_bgr), to_t(style_bgr)
with torch.no_grad():
P = feats(c_t)[content_id]
A = {i: gram_t(f) for i, f in feats(s_t).items() if i in style_ids}
x = c_t.clone().requires_grad_(True)
opt = torch.optim.Adam([x], lr=0.02)
for _ in range(steps):
F = feats(x)
l_content = ((F[content_id] - P) ** 2).mean()
l_style = sum(((gram_t(F[i]) - A[i]) ** 2).sum() for i in style_ids) / len(style_ids)
loss = alpha * l_content + beta * l_style
opt.zero_grad()
loss.backward()
opt.step()
img = (x.detach() * std + mean).clamp(0, 1)[0].permute(1, 2, 0).cpu().numpy()
return cv2.cvtColor((img * 255).astype(np.uint8), cv2.COLOR_RGB2BGR)
# cv2.imwrite("style_gatys.jpg", gatys(content, style)) # bỏ chú thích nếu có PyTorch
Điều chỉnh tham số.
Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.
$ bài thử chưa chạy $ chọn ảnh và bấm “Chạy thử”
Dùng nó ở đâu?
Bộ lọc nghệ thuật trong ứng dụng ảnh / video (biến ảnh chụp thành tranh theo phong cách họa sĩ).
Tổng hợp texture cho đồ hoạ, game: tạo vân gỗ, đá, cỏ không lặp từ một mảnh mẫu nhỏ.
Hoà hợp màu và tông giữa các cảnh quay (color grading tự động) bằng chuyển thống kê màu.
Tăng cường dữ liệu bằng đổi phong cách để mô hình nhận dạng bớt phụ thuộc vào texture.
Tiền huấn luyện tự giám sát (đoán vị trí mảnh, tô màu) để có đặc trưng tốt khi ít dữ liệu gán nhãn.
Những hướng đang được dùng hiện nay.
Các phương pháp dưới đây không thay thế baseline; chúng giải quyết những điểm yếu của cách cổ điển khi có thêm dữ liệu, GPU hoặc yêu cầu độ ổn định cao hơn.
Mạng truyền thẳng (Johnson et al.)
Huấn luyện một mạng biến ảnh → ảnh bằng mất mát cảm nhận (perceptual loss) trên VGG; khi dùng chỉ cần một lượt chạy, đủ nhanh cho video.
Dùng khi: Cần áp một phong cách cố định với tốc độ thời gian thực.AdaIN (Huang & Belongie)
Thay ma trận Gram bằng việc khớp trung bình và độ lệch chuẩn từng kênh đặc trưng — một mạng dùng được cho phong cách bất kỳ.
Dùng khi: Muốn đổi phong cách tuỳ ý mà không huấn luyện lại cho từng tranh.Tự giám sát hiện đại (SimCLR, MoCo, DINO, MAE)
Kế thừa ý tưởng đoán vị trí mảnh / tô màu nhưng dùng học tương phản hoặc che-và-dựng-lại ảnh; đặc trưng thu được cạnh tranh với tiền huấn luyện có nhãn.
Dùng khi: Nhiều ảnh nhưng ít nhãn, cần backbone tốt cho tác vụ phía sau.Mô hình khuếch tán có điều kiện
Sinh ảnh mới theo ảnh nội dung + mô tả văn bản hoặc ảnh tham chiếu phong cách; linh hoạt hơn nhiều so với tối ưu từng ảnh.
Dùng khi: Chấp nhận GPU lớn, cần phong cách mô tả bằng lời hoặc chỉnh sửa sâu.- CS 4476 Computer Vision — James Hays, Georgia Tech (bài giảng 37, 37b)
- Gatys, Ecker, Bethge — A Neural Algorithm of Artistic Style (arXiv 2015)
- Doersch, Gupta, Efros — Unsupervised Visual Representation Learning by Context Prediction (ICCV 2015)
Chương này được viết lại bằng tiếng Việt dựa trên chủ đề của bài giảng gốc; không sao chép slide.