CHƯƠNG 22 Học sâu & video

VINS-Mono

VINS-Mono kết hợp camera và IMU: IMU cung cấp chuyển động tần số cao, camera giữ drift thấp. Hệ thống dùng preintegration và tối ưu cửa sổ trượt để ước lượng pose, scale và bias.

Ứng dụng Nâng cao 21 phút đọc bài thử tương tác
Ảnh minh hoạ cho VINS-Mono 22 / 46
VINS-Mono · IMU Một khung hình, một câu hỏi.
01 Trực giác

Chuyện gì đang xảy ra?

Camera cho biết hình ảnh nhưng tần số thấp và dễ mất tracking khi chuyển động nhanh. IMU cho gia tốc và vận tốc góc ở tần số cao nhưng trôi nhanh. VINS-Mono dung hợp hai nguồn: IMU dự đoán chuyển động ngắn hạn, camera hiệu chỉnh drift dài hạn.

Thay vì tối ưu toàn bộ lịch sử, VINS-Mono giữ một cửa sổ các keyframe gần nhất. IMU giữa hai keyframe được preintegrate để giảm số biến. Hệ thống đồng thời ước lượng pose, vận tốc, bias IMU và scale ban đầu.

Điều kiện tiên quyết là đồng bộ timestamp và calibration camera-IMU thật tốt. Sai một vài milli-giây hoặc sai extrinsic có thể làm quỹ đạo trôi. Với camera điện thoại hoặc camera PTZ không có IMU, VINS-Mono không áp dụng trực tiếp.

Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.

02 Công thức

Viết lại bằng toán.

Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.

CÔNG THỨC / 01

IMU preintegration

\[ \Delta R_{ij},\ \Delta v_{ij},\ \Delta p_{ij} \]
  • Tổng hợp vận tốc góc và gia tốc giữa hai keyframe
  • Giảm số biến cần tối ưu

Preintegration phải hiệu chỉnh bias; bias thay đổi thì tích phân phải cập nhật.

CÔNG THỨC / 02

Tối ưu cửa sổ trượt

\[ \min_{\mathcal{X}}\left(\sum\|r_{imu}\|^2+\sum\|r_{vis}\|^2+\|r_{prior}\|^2\right) \]
  • r_imu: residual IMU
  • r_vis: reprojection
  • r_prior: marginalization

Cửa sổ trượt giữ chi phí cố định; prior giữ thông tin từ frame bị loại.

03 Từng bước

Luồng xử lý bằng lời.

  1. 01

    Đồng bộ và hiệu chuẩn

    Căn timestamp camera-IMU, nạp intrinsic/extrinsic và noise model.

  2. 02

    Khởi tạo

    Ước lượng scale, gravity, vận tốc và bias từ đoạn đầu có chuyển động.

  3. 03

    Preintegrate

    Tích phân IMU giữa hai keyframe, lưu residual và Jacobian.

  4. 04

    Tối ưu

    Giải sliding-window optimization với residual thị giác, IMU và prior.

  5. 05

    Đánh giá

    Đo ATE/RPE, kiểm tra drift khi đứng yên và khi quay nhanh.

04 Tham số

Núm vặn và cạm bẫy.

Tham sốÝ nghĩaKhoảng
imu_topicTopic IMU và tần số lấy mẫu.100…400 Hz
image_topicTopic ảnh monocular.15…30 Hz
window_sizeSố keyframe trong cửa sổ tối ưu.8…15
estimate_extrinsicCho phép tối ưu extrinsic camera-IMU.on / off
max_solver_timeGiới hạn thời gian solver mỗi frame.0.02…0.1 s

! Cạm bẫy thường gặp

  • Timestamp lệch giữa camera và IMU làm residual sai, quỹ đạo trôi nhanh.
  • Extrinsic hoặc noise model sai làm bộ lọc không hội tụ.
  • Khởi tạo khi camera đứng yên hoặc chuyển động quá ít dễ sai scale/gravity.
  • Rung động tần số cao có thể làm bias IMU khó ước lượng.
  • Không thể dùng cho camera không có IMU hoặc IMU không đồng bộ.
05 Mã nguồn

Mã nguồn tối giản, không phải giả mã.

MÃ THAM KHẢO / vins-mono
# Chạy VINS-Mono qua ROS; cấu hình trong config/*.yaml
# roslaunch vins_estimator euroc.launch
# roslaunch vins_estimator vins_rviz.launch
# rosbag play MH_01_easy.bag
#
# Kiểm tra: /vins_estimator/odometry, /vins_estimator/path
# Nếu quỹ đạo trôi ngay từ đầu, kiểm tra timestamp và extrinsic.
THƯ VIỆN: ROS / VINS-MONO / CERES Đọc từ trên xuống · thử từng block
06 Thử

Điều chỉnh tham số.

Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.

CỤC BỘ / KHÔNG GỬI ẢNH
BÀN THỬ / 22 VINS-Mono
SẴN SÀNG
KẾT QUẢ / TRỰC TIẾP —
Ảnh đầu vào mặc định
Bấm “Chạy thử” Kết quả sẽ xuất hiện ở đây.
TRẠNG THÁIChờ chạy
ĐẦU VÀO—
SỐ BƯỚC—
THỜI GIAN—
NHẬT KÝ / LUỒNG XỬ LÝ
$ bài thử chưa chạy
$ chọn ảnh và bấm “Chạy thử”
07 Ứng dụng

Dùng nó ở đâu?

DÙNG / 01

Drone, robot và AR cần odometry tần số cao.

DÙNG / 02

Video camera di động có IMU và cần bù chuyển động chính xác.

DÙNG / 03

Đánh giá SLAM thuần thị giác với một nguồn tham chiếu.

ĐÃ ĐỌC XONG 22 / 46