Chuyện gì đang xảy ra?
Essential matrix chỉ mô tả hình học giữa hai frame; càng nhiều frame, sai số càng tích luỹ. ORB-SLAM3 giữ một bản đồ các điểm 3D và keyframe, đồng thời tối ưu pose camera lẫn vị trí điểm. Khi quay lại vùng đã thấy, loop closure hiệu chỉnh toàn bộ quỹ đạo.
Hệ thống có ba luồng: tracking theo dõi frame mới, local mapping thêm keyframe và tối ưu cục bộ, loop closing phát hiện và hiệu chỉnh vòng. ORB descriptor nhanh và đủ bền cho CPU, nhưng yếu ở vùng texture ít hoặc chuyển động quá nhanh.
Với bài toán xe đỗ/chạy, SLAM cho pose camera tại từng frame. Chuyển tâm biển số sang hệ tọa độ thế giới; nếu tọa độ ổn định, xe đứng yên; nếu thay đổi, xe đang chạy. Cách này bền hơn epipolar hai frame nhưng cần calibration và thời gian khởi tạo.
Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.
Viết lại bằng toán.
Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.
Bundle adjustment
- T_i: pose camera
- X_j: điểm 3D
- π: phép chiếu
Tối ưu phi tuyến bằng Levenberg–Marquardt/g2o; chỉ tối ưu cục bộ trong local BA.
Loop closure Sim(3)
- X_k, X'_k: điểm khớp giữa bản đồ cũ/mới
- Sim(3) gồm xoay, tịnh tiến và scale
Monocular cần scale; loop closure sai có thể làm hỏng cả bản đồ.
Luồng xử lý bằng lời.
-
01
Hiệu chuẩn
Nạp intrinsic, distortion, fps và (nếu có) extrinsic camera-IMU. Calibration sai làm hệ trôi ngay.
-
02
Theo dõi
Trích ORB, matching với local map, ước lượng pose bằng PnP/RANSAC.
-
03
Local mapping
Tạo keyframe, triangulate điểm mới, chạy local bundle adjustment.
-
04
Loop closure
So khớp descriptor với bản đồ cũ, tối ưu Sim(3), hiệu chỉnh quỹ đạo.
-
05
Đánh giá
Đo ATE/RPE, kiểm tra scale, số keyframe và các đoạn bị mất tracking.
Núm vặn và cạm bẫy.
| Tham số | Ý nghĩa | Khoảng |
|---|---|---|
sensor | Monocular, stereo, RGB-D hoặc camera + IMU. | mono / stereo / rgbd / imu |
n_features | Số feature ORB mỗi frame. | 1000…3000 |
keyframe | Tiêu chí tạo keyframe và tần suất local BA. | theo cấu hình |
loop_closure | Bật phát hiện vòng lặp. | on / off |
imu_rate | Tần số IMU và đồng bộ timestamp. | 100…400 Hz |
! Cạm bẫy thường gặp
- Calibration hoặc timestamp sai làm pose lệch dù thuật toán đúng.
- Cảnh ít texture, mưa hoặc chuyển động quá nhanh làm mất tracking.
- Monocular SLAM không biết scale tuyệt đối nếu không có IMU/vật chuẩn.
- Loop closure sai tạo quỹ đạo đẹp nhưng sai; phải kiểm tra nhất quán hình học.
- Viewer/Pangolin trên WSLg có thể lỗi khi shutdown; lưu trajectory trước khi đóng.
Mã nguồn tối giản, không phải giả mã.
# ORB-SLAM3 là C++; chạy ví dụ monocular với sequence TUM.
# ./Examples/Monocular/mono_tum \
# Vocabulary/ORBvoc.txt Examples/Monocular/TUM1.yaml /path/to/sequence
#
# Kết quả: KeyFrameTrajectory.txt (timestamp tx ty tz qx qy qz qw)
# Kiểm tra số keyframe và ATE trước khi dùng pose.
Điều chỉnh tham số.
Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.
$ bài thử chưa chạy $ chọn ảnh và bấm “Chạy thử”
Dùng nó ở đâu?
Bù chuyển động camera cho video dài hoặc camera rung.
Robot, drone, AR cần định vị và bản đồ.
Tạo quỹ đạo tham chiếu khi đánh giá epipolar/homography.