CHƯƠNG 37 Camera & nhiều góc nhìn

Mô hình camera lỗ kim & hiệu chỉnh

Camera lỗ kim là mô hình toán gọn nhất cho việc ảnh được tạo ra: mỗi điểm 3D đi thẳng qua một tâm chiếu rồi rơi lên mặt phẳng ảnh. Viết bằng toạ độ thuần nhất, cả quá trình gói trong P = K[R|t], và hiệu chỉnh camera là đo các con số trong K cùng hệ số méo từ ảnh một bàn cờ.

Camera & nhiều góc nhìn Trung cấp 22 phút đọc bài thử tương tác
Ảnh minh hoạ cho Mô hình camera lỗ kim & hiệu chỉnh 37 / 46
Pinhole · Ma trận nội K Một khung hình, một câu hỏi.
01 Trực giác

Chuyện gì đang xảy ra?

Đục một lỗ nhỏ trên vách một căn phòng tối, cảnh bên ngoài sẽ hiện lộn ngược lên vách đối diện — đó là camera obscura, tổ tiên của mọi máy ảnh. Lỗ càng nhỏ ảnh càng nét nhưng càng tối; lỗ to thì sáng mà nhoè vì mỗi điểm trên vách nhận ánh sáng từ nhiều hướng. Ống kính ra đời để gom nhiều ánh sáng mà vẫn hội tụ được, nhưng về mặt hình học ta vẫn mô tả máy ảnh như một lỗ kim lý tưởng.

Trong mô hình lỗ kim, một điểm cách camera Z mét, lệch ngang X mét sẽ rơi lên ảnh tại toạ độ tỉ lệ với X/Z. Phép chia cho độ sâu này là gốc của mọi hiệu ứng phối cảnh: vật xa trông nhỏ, đường ray song song hội tụ về một điểm biến mất (vanishing point), độ dài và góc không còn được bảo toàn. Ngược lại, cũng vì phép chia đó mà một ảnh đơn không cho biết độ sâu: cả một tia điểm 3D cùng chiếu về một pixel.

Để biến mét thành pixel, ta cần biết tiêu cự tính theo pixel (f), vị trí tâm ảnh (cx, cy) và đôi khi độ nghiêng trục điểm ảnh (skew) — gom lại thành ma trận nội K. Còn camera đặt ở đâu và nhìn về hướng nào là tham số ngoại: ma trận quay R và vector tịnh tiến t. Toạ độ thuần nhất (thêm số 1 vào cuối vector) cho phép viết cả phép quay, tịnh tiến lẫn phép chia phối cảnh thành một phép nhân ma trận duy nhất P = K[R|t].

Ống kính thật không hoàn hảo. Ống góc rộng thường bị méo thùng (barrel, đường thẳng cong phình ra), ống tele có thể méo gối (pincushion). Méo xuyên tâm được mô tả bằng đa thức theo bán kính với các hệ số k1, k2… Ống kính còn chỉ nét ở một dải khoảng cách — độ sâu trường ảnh — hẹp lại khi mở khẩu lớn. Hiệu ứng tilt-shift làm thành phố trông như mô hình tí hon chính là bắt chước độ sâu trường ảnh rất nông vốn chỉ gặp khi chụp vật nhỏ ở gần.

Hiệu chỉnh camera (calibration) là đo K và hệ số méo. Cách phổ biến nhất (Zhang, 2000) dùng một bàn cờ phẳng có kích thước ô biết trước: chụp nó ở nhiều tư thế, dò góc ô cờ, rồi giải tìm K, méo và tư thế từng ảnh sao cho sai số chiếu lại nhỏ nhất. Có K rồi, ta đo được góc giữa các tia sáng, khử méo ảnh, ước lượng tư thế vật thể và làm stereo — mọi chương hình học sau đều dựa vào bước này.

Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.

02 Công thức

Viết lại bằng toán.

Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.

CÔNG THỨC / 01

Chiếu phối cảnh lỗ kim

\[ x = f\,\frac{X}{Z}, \qquad y = f\,\frac{Y}{Z} \]
  • (X, Y, Z): điểm trong hệ toạ độ camera, Z là độ sâu
  • f: tiêu cự
  • (x, y): toạ độ trên mặt phẳng ảnh

Nhân đôi f hoặc giảm một nửa Z đều làm vật to gấp đôi trên ảnh — nhưng chỉ đổi Z mới làm phối cảnh thay đổi.

CÔNG THỨC / 02

Ma trận chiếu P = K[R|t]

\[ \lambda\begin{bmatrix} u \\ v \\ 1 \end{bmatrix} = \underbrace{\begin{bmatrix} f_x & s & c_x \\ 0 & f_y & c_y \\ 0 & 0 & 1 \end{bmatrix}}_{\mathbf{K}} \left[\, \mathbf{R} \mid \mathbf{t} \,\right] \begin{bmatrix} X \\ Y \\ Z \\ 1 \end{bmatrix} \]
  • K: tham số nội (tiêu cự pixel f_x, f_y; tâm ảnh c_x, c_y; skew s)
  • R (3×3), t (3×1): tham số ngoại, đưa toạ độ thế giới về toạ độ camera
  • λ: độ sâu, bị chia đi khi về pixel

P có 11 bậc tự do: 5 nội + 3 quay + 3 tịnh tiến. Tâm camera trong hệ thế giới là C = −Rᵀt.

CÔNG THỨC / 03

Méo xuyên tâm

\[ \begin{bmatrix} x_d \\ y_d \end{bmatrix} = \left(1 + k_1 r^2 + k_2 r^4\right)\begin{bmatrix} x \\ y \end{bmatrix}, \qquad r^2 = x^2 + y^2 \]
  • (x, y): toạ độ chuẩn hoá (đã chia Z, trước khi nhân K)
  • k₁ < 0: méo thùng · k₁ > 0: méo gối

OpenCV dùng vector hệ số (k1, k2, p1, p2, k3), trong đó p1, p2 là méo tiếp tuyến do ống kính lắp lệch.

CÔNG THỨC / 04

Điểm biến mất

\[ \mathbf{v} \simeq \mathbf{K}\,\mathbf{R}\,\mathbf{d} \]
  • d: hướng 3D của một họ đường song song
  • ≃: bằng nhau sai khác một hệ số tỉ lệ

Mọi đường song song cùng hướng d hội tụ về cùng một điểm v trên ảnh; đường song song với mặt phẳng ảnh thì điểm biến mất ở vô cực.

03 Từng bước

Luồng xử lý bằng lời.

  1. 01

    Dựng điểm 3D

    Mô tả vật (góc bàn cờ, đỉnh khối lập phương) trong hệ toạ độ thế giới, đơn vị tuỳ chọn nhưng thống nhất.

  2. 02

    Đặt camera

    Chọn góc quay (yaw, pitch) → R qua cv2.Rodrigues; đặt camera lùi xa khoảng dist → t.

  3. 03

    Ghép K

    Tiêu cự f theo pixel, tâm ảnh ở giữa khung. Nếu ảnh có điểm ảnh vuông và không nghiêng thì f_x = f_y, s = 0.

  4. 04

    Chiếu & méo

    cv2.projectPoints(pts3d, rvec, tvec, K, dist) làm trọn K[R|t], phép chia độ sâu và méo ống kính.

  5. 05

    Hiệu chỉnh ngược

    Có nhiều ảnh bàn cờ: findChessboardCorners → cornerSubPix → calibrateCamera trả về K, hệ số méo và sai số chiếu lại RMS.

04 Tham số

Núm vặn và cạm bẫy.

Tham sốÝ nghĩaKhoảng
fTiêu cự tính theo pixel. f lớn = góc nhìn hẹp (tele), f nhỏ = góc rộng.200…1200 px
yawGóc quay camera quanh trục đứng (nhìn sang trái / phải).−60…60°
pitchGóc ngẩng / cúi; giá trị âm là cúi nhìn xuống mặt sàn bàn cờ.−60…0°
distKhoảng cách từ camera tới tâm vật, theo đơn vị cạnh ô cờ. Lùi xa làm phối cảnh phẳng hơn.2…10
k1Hệ số méo xuyên tâm bậc 2: âm cho méo thùng, dương cho méo gối.−0.5…0.5

! Cạm bẫy thường gặp

  • Đếm nhầm kích thước bàn cờ: OpenCV cần số góc trong (vd 9×6), không phải số ô.
  • Chụp bàn cờ chỉ ở chính diện và giữa khung: K và méo ước lượng kém. Cần nghiêng bàn cờ nhiều hướng và phủ cả rìa ảnh, nơi méo lớn nhất.
  • Bàn cờ in trên giấy bị cong vênh vi phạm giả thiết mặt phẳng — dán lên tấm cứng.
  • K chỉ đúng với đúng độ phân giải và mức zoom đã hiệu chỉnh; đổi độ phân giải phải nhân tỉ lệ f, cx, cy; đổi zoom / lấy nét phải hiệu chỉnh lại.
  • RMS chiếu lại nhỏ chưa chắc K đúng nếu dữ liệu thiếu đa dạng; kiểm thêm bằng cách khử méo một ảnh có nhiều đường thẳng.
  • Nhầm quy ước: R, t của OpenCV đưa điểm thế giới vào hệ camera, không phải vị trí camera trong thế giới (tâm camera là −Rᵀt).
05 Mã nguồn

Mã nguồn tối giản, không phải giả mã.

MÃ THAM KHẢO / camera
import cv2
import numpy as np

# --- 1) Chiếu một khối lập phương qua K[R|t] ---
W, H = 800, 600
f = 600.0
K = np.array([[f, 0, W / 2], [0, f, H / 2], [0, 0, 1]], dtype=np.float64)
dist = np.array([-0.2, 0, 0, 0, 0], dtype=np.float64)       # k1, k2, p1, p2, k3

cube = np.float32([[x, y, z] for x in (0, 1) for y in (0, 1) for z in (0, 1)]) - 0.5
yaw, pitch = np.deg2rad(25), np.deg2rad(-30)
Ry = cv2.Rodrigues(np.array([0, yaw, 0], dtype=np.float64))[0]
Rx = cv2.Rodrigues(np.array([pitch, 0, 0], dtype=np.float64))[0]
R = Rx @ Ry
rvec = cv2.Rodrigues(R)[0]
tvec = np.array([0, 0, 4.5], dtype=np.float64)              # vật nằm trước camera 4.5 đơn vị
pix, _ = cv2.projectPoints(cube, rvec, tvec, K, dist)
print("pixel các đỉnh:\n", pix.reshape(-1, 2).round(1))
print("tâm camera trong hệ thế giới:", (-R.T @ tvec).round(3))

# --- 2) Hiệu chỉnh Zhang trên dữ liệu tổng hợp (không cần ảnh) ---
cols, rows = 9, 6
board = np.zeros((rows * cols, 3), np.float32)
board[:, :2] = np.mgrid[0:cols, 0:rows].T.reshape(-1, 2)
board -= board.mean(axis=0)

rng = np.random.default_rng(0)
obj_pts, img_pts = [], []
for _ in range(12):
    rv = rng.uniform(-0.5, 0.5, 3)
    tv = np.array([rng.uniform(-1, 1), rng.uniform(-1, 1), rng.uniform(10, 16)])
    p, _ = cv2.projectPoints(board, rv, tv, K, dist)
    p += rng.normal(0, 0.2, p.shape)                       # nhiễu dò góc ~0.2 px
    obj_pts.append(board)
    img_pts.append(p.astype(np.float32))

rms, K_est, dist_est, rvecs, tvecs = cv2.calibrateCamera(obj_pts, img_pts, (W, H), None, None)
print("RMS chiếu lại (px):", round(rms, 3))
print("K ước lượng:\n", K_est.round(1))
print("k1 ước lượng:", dist_est.ravel()[0].round(3))

# Với ảnh thật:
# ok, corners = cv2.findChessboardCorners(gray, (cols, rows))
# corners = cv2.cornerSubPix(gray, corners, (11, 11), (-1, -1),
#     (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 1e-3))
# Khử méo: und = cv2.undistort(img, K_est, dist_est)
THƯ VIỆN: OPENCV / NUMPY Đọc từ trên xuống · thử từng block
06 Thử

Điều chỉnh tham số.

Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.

CỤC BỘ / KHÔNG GỬI ẢNH
BÀN THỬ / 37 Mô hình camera lỗ kim & hiệu chỉnh
SẴN SÀNG
KẾT QUẢ / TRỰC TIẾP —
Ảnh đầu vào mặc định
Bấm “Chạy thử” Kết quả sẽ xuất hiện ở đây.
TRẠNG THÁIChờ chạy
ĐẦU VÀO—
SỐ BƯỚC—
THỜI GIAN—
NHẬT KÝ / LUỒNG XỬ LÝ
$ bài thử chưa chạy
$ chọn ảnh và bấm “Chạy thử”
07 Ứng dụng

Dùng nó ở đâu?

DÙNG / 01

Khử méo ống kính góc rộng, camera hành trình, camera an ninh mắt cá.

DÙNG / 02

Ước lượng tư thế vật / marker (solvePnP) cho thực tế tăng cường và robot gắp.

DÙNG / 03

Đo kích thước vật thật từ ảnh khi biết khoảng cách hoặc mặt phẳng tham chiếu.

DÙNG / 04

Nền tảng cho stereo, dựng 3D từ nhiều ảnh (structure from motion) và SLAM.

HƯỚNG HIỆN ĐẠI

Những hướng đang được dùng hiện nay.

Các phương pháp dưới đây không thay thế baseline; chúng giải quyết những điểm yếu của cách cổ điển khi có thêm dữ liệu, GPU hoặc yêu cầu độ ổn định cao hơn.

HIỆN ĐẠI / 01

Tự hiệu chỉnh trong SfM (COLMAP)

Ước lượng K và méo cùng lúc với dựng cảnh từ nhiều ảnh, không cần bàn cờ, nhờ bundle adjustment.

Dùng khi: Ảnh chụp sẵn, không có điều kiện hiệu chỉnh riêng.
HIỆN ĐẠI / 02

Mô hình fisheye / omnidirectional

Module <code>cv2.fisheye</code> và các mô hình như Kannala–Brandt cho ống góc rất rộng, nơi đa thức k1, k2 không đủ.

Dùng khi: Camera 180°+, camera xe tự lái, robot.
HIỆN ĐẠI / 03

Marker ChArUco

Bàn cờ kèm mã ArUco nên vẫn dò được khi bị che một phần hoặc chỉ thấy một góc bảng.

Dùng khi: Hiệu chỉnh nhiều camera, môi trường khó kiểm soát.