CHƯƠNG 23 Học sâu & video

DROID-SLAM

DROID-SLAM dùng dense flow học sâu và tối ưu bundle adjustment khả vi để ước lượng pose và depth. Nó mạnh ở cảnh texture yếu nhưng cần GPU và tài nguyên lớn hơn ORB-SLAM3.

Ứng dụng Nâng cao 21 phút đọc bài thử tương tác
Ảnh minh hoạ cho DROID-SLAM 23 / 46
DROID-SLAM · Dense flow Một khung hình, một câu hỏi.
01 Trực giác

Chuyện gì đang xảy ra?

ORB-SLAM3 dựa trên feature thưa; khi texture ít hoặc blur, feature biến mất. DROID-SLAM dùng flow dày đặc giữa các frame, tối ưu đồng thời pose và depth bằng một bài bundle adjustment khả vi. Mạng học cách cập nhật flow và pose qua nhiều vòng lặp.

Hệ thống xây một đồ thị các frame, mỗi cạnh là một cặp frame có flow. Tối ưu toàn đồ thị giúp giảm drift và xử lý vùng bị che tốt hơn. Loop closure có thể được thêm để hiệu chỉnh quỹ đạo dài.

Cái giá là bộ nhớ và thời gian. DROID-SLAM thường chạy trên GPU rời; trên thiết bị biên cần giảm độ phân giải, số frame hoặc dùng biến thể nhẹ hơn. Nó cũng nhạy với vật thể động vì flow của xe chạy có thể bị coi là chuyển động camera nếu không mask.

Thuật toán không “hiểu” ảnh. Nó chỉ tìm một cách biến đổi có thể kiểm tra được.

02 Công thức

Viết lại bằng toán.

Không cần thuộc lòng. Hãy đọc công thức như một câu mô tả: đại lượng nào được cộng, cái gì bị chuẩn hoá, và điều kiện nào khiến nó thất bại.

CÔNG THỨC / 01

Dense bundle adjustment

\[ \min_{T_i,d_j}\sum_{(i,j)\in\mathcal{E}}\left\|\pi(T_i,d_j)-p_{ij}\right\|^2 \]
  • T_i: pose frame
  • d_j: depth pixel
  • p_ij: flow khớp

Tối ưu khả vi cho phép lan gradient qua flow và pose.

CÔNG THỨC / 02

Cập nhật lặp

\[ (T,d)^{k+1}=\mathrm{Update}\left((T,d)^k,\Delta f^k\right) \]
  • Δf: flow dư
  • Update: mạng học hoặc Gauss–Newton
  • Lặp đến khi hội tụ

Số vòng lặp đánh đổi độ chính xác và latency.

03 Từng bước

Luồng xử lý bằng lời.

  1. 01

    Chọn frame

    Lấy frame theo khoảng thời gian hoặc chuyển động; giữ đồ thị frame gần.

  2. 02

    Tính dense flow

    Ước lượng flow giữa các cặp frame bằng mạng học sâu.

  3. 03

    Tối ưu

    Chạy DBA cập nhật pose/depth; loại cạnh có residual lớn.

  4. 04

    Loop closure

    Phát hiện frame quay lại, thêm cạnh và tối ưu toàn đồ thị.

  5. 05

    Đánh giá

    Đo ATE/RPE, kiểm tra depth, vùng texture yếu và vật thể động.

04 Tham số

Núm vặn và cạm bẫy.

Tham sốÝ nghĩaKhoảng
bufferSố frame trong cửa sổ tối ưu.8…32
radiusBán kính kết nối frame trong đồ thị.1…4
itersSố vòng cập nhật DBA.5…20
image_sizeKích thước ảnh đầu vào.320…640
mixed_precisionFP16 để giảm VRAM.on / off

! Cạm bẫy thường gặp

  • VRAM lớn; giảm buffer/độ phân giải trước khi tăng batch.
  • Vật thể động không mask sẽ làm pose camera bị kéo theo.
  • Depth scale vẫn cần calibration hoặc tham chiếu ngoài.
  • Loop closure sai làm hỏng toàn bộ đồ thị pose.
  • Khó realtime trên thiết bị biên nếu chưa tối ưu/quantize.
05 Mã nguồn

Mã nguồn tối giản, không phải giả mã.

MÃ THAM KHẢO / droid-slam
# DROID-SLAM chạy qua repo chính thức; cần checkpoint và GPU.
# python demo.py --imagedir /path/to/frames --calib calib.txt
#
# API minh hoạ:
# model = torch.hub.load("princeton-vl/DROID-SLAM", "droid_slam")
# poses, depths, intrinsics = model(frames, calib)
THƯ VIỆN: PYTORCH / DROID-SLAM Đọc từ trên xuống · thử từng block
06 Thử

Điều chỉnh tham số.

Chọn ảnh mẫu hoặc tải ảnh của bạn lên, chỉnh tham số, rồi chạy. Kết quả, các bước trung gian và nhật ký được cập nhật ngay tại đây.

CỤC BỘ / KHÔNG GỬI ẢNH
BÀN THỬ / 23 DROID-SLAM
SẴN SÀNG
KẾT QUẢ / TRỰC TIẾP —
Ảnh đầu vào mặc định
Bấm “Chạy thử” Kết quả sẽ xuất hiện ở đây.
TRẠNG THÁIChờ chạy
ĐẦU VÀO—
SỐ BƯỚC—
THỜI GIAN—
NHẬT KÝ / LUỒNG XỬ LÝ
$ bài thử chưa chạy
$ chọn ảnh và bấm “Chạy thử”
07 Ứng dụng

Dùng nó ở đâu?

DÙNG / 01

Cảnh texture yếu hoặc ánh sáng thay đổi mạnh.

DÙNG / 02

Nghiên cứu dense SLAM và tái tạo 3D.

DÙNG / 03

Bù chuyển động camera khi feature thưa không đủ.

ĐÃ ĐỌC XONG 23 / 46