CHƯƠNG 34 Tần số & tỉ lệ

Kim tự tháp ảnh & trộn ảnh đa tầng

Kim tự tháp Gaussian là chuỗi ảnh ngày càng nhỏ và mờ; kim tự tháp Laplacian tách ảnh thành từng dải tần số và dựng lại được hoàn hảo. Hai cấu trúc này là nền cho tìm kiếm thô → tinh, luồng quang học đa tỉ lệ và trộn ảnh Burt–Adelson.

Tần số & tỉ lệ Trung cấp 20 phút đọc bài thử tương tác
Ảnh minh hoạ cho Kim tự tháp ảnh & trộn ảnh đa tầng 34 / 46
Gaussian pyramid · Laplacian pyramid Một khung hình, một câu hỏi.
01 Trực giác

Chuyện gì đang xảy ra?

Một vật có thể to hay nhỏ trên ảnh tuỳ khoảng cách tới camera, và một phép tìm kiếm trên ảnh lớn thì rất chậm. Cách giải quyết đơn giản là chuẩn bị sẵn nhiều phiên bản của ảnh ở các độ phân giải giảm dần — xếp chồng lên trông như một kim tự tháp. Tầng dưới cùng là ảnh gốc, mỗi tầng trên nhỏ đi một nửa mỗi chiều.

Để lên tầng, ta không được bỏ pixel ngay mà phải làm mờ bằng Gaussian rồi mới giảm mẫu — đúng bài học aliasing ở chương Fourier. Mỗi tầng của kim tự tháp Gaussian vì vậy là phiên bản thông thấp của tầng dưới. Toàn bộ kim tự tháp chỉ tốn thêm khoảng một phần ba bộ nhớ so với ảnh gốc, vì 1 + ¼ + 1/16 + … = 4/3.

Kim tự tháp Laplacian lưu phần “bị mất” ở mỗi lần làm mờ: lấy tầng Gaussian hiện tại trừ đi tầng phía trên đã phóng to lại. Mỗi tầng Laplacian chỉ còn biên và chi tiết của một dải tần số — trông như ảnh qua bộ lọc thông dải. Tầng trên cùng giữ nguyên ảnh Gaussian nhỏ nhất. Điểm đẹp là phép này đảo ngược được hoàn toàn: phóng to từ đỉnh rồi cộng lần lượt từng tầng Laplacian sẽ ra đúng ảnh gốc.

Ứng dụng thứ nhất là tìm kiếm thô → tinh (coarse-to-fine): khớp mẫu, căn chỉnh ảnh, hay luồng quang học Lucas–Kanade đều giải bài toán ở tầng nhỏ trước — nơi chuyển động lớn trở thành chuyển động vài pixel — rồi dùng kết quả làm điểm xuất phát cho tầng lớn hơn. Cách này vừa nhanh vừa tránh được giả định “chuyển động nhỏ” bị vi phạm.

Ứng dụng thứ hai là trộn ảnh đa dải (multiband blending, Burt–Adelson) với ví dụ kinh điển nửa quả táo ghép nửa quả cam. Ghép thẳng thì lộ đường nối; làm mờ cả mặt nạ bằng một cửa sổ cố định thì hoặc vẫn lộ (cửa sổ hẹp) hoặc bóng ma chồng hình (cửa sổ rộng). Trộn đa dải chia hai ảnh thành từng tầng Laplacian và trộn mỗi tầng với một mặt nạ mờ tương ứng: tần số thấp hoà vào nhau trên vùng rộng, chi tiết sắc chỉ chuyển trên vùng hẹp — kết quả liền mạch mà không nhoè.

Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.

02 Công thức

Viết lại bằng toán.

Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.

CÔNG THỨC / 01

Kim tự tháp Gaussian

\[ G_0 = I, \qquad G_{l+1} = \operatorname{down}_2\!\big(g_\sigma * G_l\big) \]
  • g_σ: nhân Gaussian (OpenCV dùng nhân 5×5 gần đúng)
  • down₂: giữ một pixel trên hai theo mỗi chiều
  • l: chỉ số tầng, 0 là ảnh gốc

cv2.pyrDown làm đúng hai việc làm mờ + giảm mẫu trong một lệnh.

CÔNG THỨC / 02

Kim tự tháp Laplacian

\[ L_l = G_l - \operatorname{up}_2\!\big(G_{l+1}\big), \quad l = 0,\dots,N-1, \qquad L_N = G_N \]
  • up₂: phóng to gấp đôi rồi làm mờ (cv2.pyrUp)
  • L_l: chi tiết của dải tần số ở tầng l, có cả giá trị âm

Hiệu giữa hai mức làm mờ xấp xỉ bộ lọc Laplacian của Gaussian — đó là nguồn gốc tên gọi.

CÔNG THỨC / 03

Tái tạo hoàn hảo

\[ G_l = L_l + \operatorname{up}_2\!\big(G_{l+1}\big) \;\Rightarrow\; I = G_0 \]
  • Đi từ đỉnh G_N xuống, mỗi bước phóng to rồi cộng tầng Laplacian tương ứng

Chỉ đúng tuyệt đối khi giữ L_l ở kiểu số thực (hoặc int có dấu) và dùng đúng kích thước khi phóng to.

CÔNG THỨC / 04

Trộn đa dải Burt–Adelson

\[ L^{S}_l = M_l \, L^{A}_l + (1 - M_l)\, L^{B}_l, \qquad M_l = \text{tầng } l \text{ của kim tự tháp Gaussian của mặt nạ} \]
  • L^A, L^B: kim tự tháp Laplacian của hai ảnh
  • M_l: mặt nạ 0…1, càng lên cao càng mờ và rộng
  • L^S: kim tự tháp của ảnh kết quả — tái tạo bằng công thức trên

Độ rộng vùng chuyển tiếp tự động tỉ lệ với bước sóng của từng dải tần số.

03 Từng bước

Luồng xử lý bằng lời.

  1. 01

    Dựng kim tự tháp Gaussian

    Gọi cv2.pyrDown liên tiếp N lần. Kích thước ảnh nên chia hết cho 2ᴺ để các tầng khớp nhau khi phóng to.

  2. 02

    Dựng kim tự tháp Laplacian

    Với mỗi tầng: G[l] - cv2.pyrUp(G[l+1], dstsize=...), làm trong float32. Tầng cuối giữ nguyên G[N].

  3. 03

    Kiểm tra tái tạo

    Phóng to từ đỉnh, cộng dần từng tầng; sai khác với ảnh gốc phải gần 0. Nếu không, thường do làm tròn uint8 hoặc lệch kích thước.

  4. 04

    Trộn đa dải

    Dựng Laplacian cho hai ảnh, Gaussian cho mặt nạ; trộn từng tầng với mặt nạ cùng tầng; tái tạo ảnh kết quả từ kim tự tháp đã trộn.

  5. 05

    Dùng cho tìm kiếm thô → tinh

    Giải bài toán (khớp mẫu, căn chỉnh, luồng quang học) ở tầng nhỏ nhất, nhân đôi kết quả rồi tinh chỉnh ở tầng kế tiếp, cho tới ảnh gốc.

04 Tham số

Núm vặn và cạm bẫy.

Tham sốÝ nghĩaKhoảng
viewNội dung hiển thị: các tầng kim tự tháp Gaussian, các tầng Laplacian (chi tiết từng dải tần số), hoặc so sánh ghép thẳng với trộn đa tầng giữa ảnh đang chọn và ảnh phi hành gia.gaussian / laplacian / blend
levelsSố tầng của kim tự tháp. Khi trộn, nhiều tầng hơn nghĩa là dải tần thấp nhất được hoà trên vùng rộng hơn — đường nối biến mất nhưng màu nền của hai ảnh lan sang nhau nhiều hơn.2…6

! Cạm bẫy thường gặp

  • Lưu tầng Laplacian bằng uint8: giá trị âm bị cắt, tái tạo sai. Luôn dùng float32 (hoặc int16).
  • Ảnh có kích thước lẻ: pyrUp cho ra kích thước chẵn, không trừ được với tầng dưới. Truyền dstsize hoặc cắt/đệm ảnh về bội số của 2ᴺ.
  • Giảm mẫu bằng cv2.resize với nội suy gần nhất mà không làm mờ trước — tầng trên bị aliasing, kết quả coarse-to-fine lệch.
  • Trộn đa dải với quá nhiều tầng khi hai ảnh có màu nền rất khác: tầng thấp nhất trộn trên gần cả ảnh, màu bị pha loãng.
  • Hai ảnh trộn chưa được căn chỉnh: không kỹ thuật trộn nào che được vật bị lệch vị trí — căn chỉnh (homography) trước rồi mới trộn.
05 Mã nguồn

Mã nguồn tối giản, không phải giả mã.

MÃ THAM KHẢO / pyramid
import cv2
import numpy as np

def gaussian_pyramid(img, levels):
    G = [img.astype(np.float32)]
    for _ in range(levels):
        G.append(cv2.pyrDown(G[-1]))
    return G

def laplacian_pyramid(img, levels):
    G = gaussian_pyramid(img, levels)
    L = []
    for l in range(levels):
        h, w = G[l].shape[:2]
        L.append(G[l] - cv2.pyrUp(G[l + 1], dstsize=(w, h)))
    L.append(G[-1])                       # đỉnh giữ nguyên
    return L

def reconstruct(L):
    img = L[-1]
    for lap in reversed(L[:-1]):
        h, w = lap.shape[:2]
        img = cv2.pyrUp(img, dstsize=(w, h)) + lap
    return img

levels = 4
size = 2 ** levels * 32                   # kích thước chia hết cho 2^levels
A = cv2.imread("road.jpg")
B = cv2.imread("astronaut.jpg")
if A is None or B is None:
    raise FileNotFoundError("Không đọc được ảnh")
A = cv2.resize(A, (size, size))
B = cv2.resize(B, (size, size))

# Kiểm tra tái tạo hoàn hảo
LA = laplacian_pyramid(A, levels)
err = np.abs(reconstruct(LA) - A.astype(np.float32)).max()
print("sai số tái tạo lớn nhất:", err)

# Trộn đa dải: nửa trái A, nửa phải B
mask = np.zeros((size, size, 3), np.float32)
mask[:, : size // 2] = 1.0
LB = laplacian_pyramid(B, levels)
GM = gaussian_pyramid(mask, levels)
blended = reconstruct([m * la + (1 - m) * lb for la, lb, m in zip(LA, LB, GM)])

direct = A * mask + B * (1 - mask)        # ghép thẳng: lộ đường nối
cv2.imwrite("blend_direct.png", np.clip(direct, 0, 255).astype(np.uint8))
cv2.imwrite("blend_multiband.png", np.clip(blended, 0, 255).astype(np.uint8))

# Hiển thị các tầng Laplacian (cộng 128 vì có giá trị âm)
for l, lap in enumerate(LA[:-1]):
    cv2.imwrite(f"laplacian_{l}.png", np.clip(lap + 128, 0, 255).astype(np.uint8))
THƯ VIỆN: OPENCV / NUMPY Đọc từ trên xuống · thử từng block
06 Thử

Điều chỉnh tham số.

Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.

CỤC BỘ / KHÔNG GỬI ẢNH
BÀN THỬ / 34 Kim tự tháp ảnh & trộn ảnh đa tầng
SẴN SÀNG
KẾT QUẢ / TRỰC TIẾP —
Ảnh đầu vào mặc định
Bấm “Chạy thử” Kết quả sẽ xuất hiện ở đây.
TRẠNG THÁIChờ chạy
ĐẦU VÀO—
SỐ BƯỚC—
THỜI GIAN—
NHẬT KÝ / LUỒNG XỬ LÝ
$ bài thử chưa chạy
$ chọn ảnh và bấm “Chạy thử”
07 Ứng dụng

Dùng nó ở đâu?

DÙNG / 01

Ghép ảnh toàn cảnh (panorama) và ghép mặt / đồ vật không lộ đường nối.

DÙNG / 02

Luồng quang học, căn chỉnh ảnh và khớp mẫu theo kiểu thô → tinh.

DÙNG / 03

Phát hiện vật thể ở nhiều kích thước (cửa sổ trượt trên từng tầng).

DÙNG / 04

Nén và truyền ảnh lũy tiến: gửi tầng nhỏ trước, chi tiết sau.

DÙNG / 05

Ghép phơi sáng (exposure fusion) và khử nhiễu đa tỉ lệ.

HƯỚNG HIỆN ĐẠI

Những hướng đang được dùng hiện nay.

Các phương pháp dưới đây không thay thế baseline; chúng giải quyết những điểm yếu của cách cổ điển khi có thêm dữ liệu, GPU hoặc yêu cầu độ ổn định cao hơn.

HIỆN ĐẠI / 01

Feature Pyramid Network (FPN)

Bộ phát hiện hiện đại dựng kim tự tháp trên bản đồ đặc trưng của CNN thay vì trên pixel, kết hợp tầng sâu (ngữ nghĩa) với tầng nông (chi tiết) để bắt vật to lẫn nhỏ.

Dùng khi: Phát hiện / phân đoạn vật thể nhiều kích thước.
HIỆN ĐẠI / 02

Luồng quang học học sâu theo tầng

Nhiều mạng ước lượng luồng quang học vẫn giữ ý tưởng thô → tinh hoặc tinh chỉnh lặp trên đặc trưng nhiều tỉ lệ.

Dùng khi: Chuyển động lớn trong video, ổn định hình.
HIỆN ĐẠI / 03

Siêu phân giải theo kim tự tháp Laplacian

Mạng dự đoán dần phần chi tiết (residual) của từng tầng ×2 thay vì phóng to một lần, giống cách tái tạo kim tự tháp Laplacian.

Dùng khi: Phóng to ảnh ×4, ×8 có kiểm soát từng bước.