CHƯƠNG 21 Học sâu & video

ORB-SLAM3

ORB-SLAM3 là hệ visual SLAM kinh điển, hỗ trợ monocular, stereo, RGB-D và camera + IMU. Nó theo dõi feature ORB, xây bản đồ 3D, tối ưu local bundle adjustment và phát hiện vòng lặp để giảm drift trên video dài.

Ứng dụng Nâng cao 22 phút đọc bài thử tương tác
Ảnh minh hoạ cho ORB-SLAM3 21 / 46
ORB-SLAM3 · ORB Một khung hình, một câu hỏi.
01 Trực giác

Chuyện gì đang xảy ra?

Essential matrix chỉ mô tả hình học giữa hai frame; càng nhiều frame, sai số càng tích luỹ. ORB-SLAM3 giữ một bản đồ các điểm 3D và keyframe, đồng thời tối ưu pose camera lẫn vị trí điểm. Khi quay lại vùng đã thấy, loop closure hiệu chỉnh toàn bộ quỹ đạo.

Hệ thống có ba luồng: tracking theo dõi frame mới, local mapping thêm keyframe và tối ưu cục bộ, loop closing phát hiện và hiệu chỉnh vòng. ORB descriptor nhanh và đủ bền cho CPU, nhưng yếu ở vùng texture ít hoặc chuyển động quá nhanh.

Với bài toán xe đỗ/chạy, SLAM cho pose camera tại từng frame. Chuyển tâm biển số sang hệ tọa độ thế giới; nếu tọa độ ổn định, xe đứng yên; nếu thay đổi, xe đang chạy. Cách này bền hơn epipolar hai frame nhưng cần calibration và thời gian khởi tạo.

Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.

02 Công thức

Viết lại bằng toán.

Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.

CÔNG THỨC / 01

Bundle adjustment

\[ \min_{T_i,X_j}\sum_{i,j}\left\|\pi(T_iX_j)-x_{ij}\right\|^2 \]
  • T_i: pose camera
  • X_j: điểm 3D
  • π: phép chiếu

Tối ưu phi tuyến bằng Levenberg–Marquardt/g2o; chỉ tối ưu cục bộ trong local BA.

CÔNG THỨC / 02

Loop closure Sim(3)

\[ T_{loop}=\arg\min_T\sum_k\left\|T X_k-X'_k\right\|^2 \]
  • X_k, X'_k: điểm khớp giữa bản đồ cũ/mới
  • Sim(3) gồm xoay, tịnh tiến và scale

Monocular cần scale; loop closure sai có thể làm hỏng cả bản đồ.

03 Từng bước

Luồng xử lý bằng lời.

  1. 01

    Hiệu chuẩn

    Nạp intrinsic, distortion, fps và (nếu có) extrinsic camera-IMU. Calibration sai làm hệ trôi ngay.

  2. 02

    Theo dõi

    Trích ORB, matching với local map, ước lượng pose bằng PnP/RANSAC.

  3. 03

    Local mapping

    Tạo keyframe, triangulate điểm mới, chạy local bundle adjustment.

  4. 04

    Loop closure

    So khớp descriptor với bản đồ cũ, tối ưu Sim(3), hiệu chỉnh quỹ đạo.

  5. 05

    Đánh giá

    Đo ATE/RPE, kiểm tra scale, số keyframe và các đoạn bị mất tracking.

04 Tham số

Núm vặn và cạm bẫy.

Tham sốÝ nghĩaKhoảng
sensorMonocular, stereo, RGB-D hoặc camera + IMU.mono / stereo / rgbd / imu
n_featuresSố feature ORB mỗi frame.1000…3000
keyframeTiêu chí tạo keyframe và tần suất local BA.theo cấu hình
loop_closureBật phát hiện vòng lặp.on / off
imu_rateTần số IMU và đồng bộ timestamp.100…400 Hz

! Cạm bẫy thường gặp

  • Calibration hoặc timestamp sai làm pose lệch dù thuật toán đúng.
  • Cảnh ít texture, mưa hoặc chuyển động quá nhanh làm mất tracking.
  • Monocular SLAM không biết scale tuyệt đối nếu không có IMU/vật chuẩn.
  • Loop closure sai tạo quỹ đạo đẹp nhưng sai; phải kiểm tra nhất quán hình học.
  • Viewer/Pangolin trên WSLg có thể lỗi khi shutdown; lưu trajectory trước khi đóng.
05 Mã nguồn

Mã nguồn tối giản, không phải giả mã.

MÃ THAM KHẢO / orb-slam3
# ORB-SLAM3 là C++; chạy ví dụ monocular với sequence TUM.
# ./Examples/Monocular/mono_tum \
#   Vocabulary/ORBvoc.txt Examples/Monocular/TUM1.yaml /path/to/sequence
#
# Kết quả: KeyFrameTrajectory.txt (timestamp tx ty tz qx qy qz qw)
# Kiểm tra số keyframe và ATE trước khi dùng pose.
THƯ VIỆN: ORB-SLAM3 / C++ / OPENCV Đọc từ trên xuống · thử từng block
06 Thử

Điều chỉnh tham số.

Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.

CỤC BỘ / KHÔNG GỬI ẢNH
BÀN THỬ / 21 ORB-SLAM3
SẴN SÀNG
KẾT QUẢ / TRỰC TIẾP —
Ảnh đầu vào mặc định
Bấm “Chạy thử” Kết quả sẽ xuất hiện ở đây.
TRẠNG THÁIChờ chạy
ĐẦU VÀO—
SỐ BƯỚC—
THỜI GIAN—
NHẬT KÝ / LUỒNG XỬ LÝ
$ bài thử chưa chạy
$ chọn ảnh và bấm “Chạy thử”
07 Ứng dụng

Dùng nó ở đâu?

DÙNG / 01

Bù chuyển động camera cho video dài hoặc camera rung.

DÙNG / 02

Robot, drone, AR cần định vị và bản đồ.

DÙNG / 03

Tạo quỹ đạo tham chiếu khi đánh giá epipolar/homography.

ĐÃ ĐỌC XONG 21 / 46