![食堂での実験結果
[4] A. Angeli, D. Filliat, S. Doncieux, and J. A. Meyer, “Fast and Incremental Method
for Loop-Closure Detection Using Bags of Visual Words,” IEEE Trans. Robotics, 2008,
24(5), pp. 1027–1037 （オンラインVisual SLAMだが性能面でかなり劣る。）
31](https://image.slidesharecdn.com/pirf-nav2-110813061234-phpapp02/85/PIRF-NAV2-31-320.jpg)
PIRF-NAV2
- 1. A Fast Online Incremental Loop-Closure Detection for Appearance-based SLAM in Dynamic Crowded Environment Noppharit Tongprasit, Aram Kawewong, Osamu Hasegawa 東京工業大学
- 2. 研究背景 近年，「日常生活環境」ロボットの需要が高まっている 警備 搬送 介護 セコム : (2005) 富士重・ツムラ (2008) 理研 : RIBA (2009) これらのロボットは，常に変化する(動的な)実環境下で自律 的に行動する必要がある マップ ロボットの環境に対する認識 事前に与えられることは稀 ロボット自身が作る必要がある 2
- 3. 本日の内容 PIRF IEICE PIRF-NAV1 IJRR PIRF-NAV2 3
- 4. 4
- 5. 従来法の問題点 • 従来手法（FAB-MAP : Oxford大）の問題点 – 環境が大きく変化しないことを仮定 – 辞書はバッチ学習で作成し更新できない – 辞書の作成には別途膨大な学習用画像が必要 同じ場所だが、トラックが 停まっていることで、画像 の見え方が変わり、異なる 場所と認識してしまう。 異なる場所だが、見え方が 極めて似ており、同じ場所と 認識してしまう。 5
- 6. 提案手法のポイント • 環境の大きな変化への対応 – 独自の画像特徴“Position-Invariant Robust Features （PIRF）”を利用 – PRIF:移動カメラの動画像から安定した点を探索し特徴化 • 辞書は完全にオンラインで作成し更新可能 – 事前に膨大な学習用画像を集めて長時間学習させ、辞書を 作る必要が無い – 辞書はその場で与えられたデータのみから作り、更新可能 – 重複する特徴を除外し、必要最低限の特徴のみ辞書に記録 – 上記の結果、メモリ効率が向上し処理の高速化も実現 6
- 7. • 地図上での各地点の表現に工夫 – PIRF特徴が少ない（画像の識別の手掛かりが少 ない）場合 – 類似する画像が存在する（識別が困難な）場合 – 上記のような場合は、その画像に連続する前後の 画像も援用し、自動的にPIRF特徴を増やして画像 を表現する。 例えば、左図のような異なる場所で見え 方が極めて類似する場合、この画像に連 続する前後の画像も用い、手掛かりを増 やして識別する。 7
- 8. PIRF とは？ Original Descriptors (SIFT) Selective Descriptors (PIRF) 8
- 9. PIRF: algorithm Current image 過去の画像を参照し、 共通するSIFT特徴を 抽出して、その位置の 特徴表現とする。 9
- 10. 類似手法との性能比較(PIRF) Recognition Rate of Suzukakedai and O-okayama 93.46% 77.48% 100.00% 90.00% 80.00% 45.75% 70.00% 36.71% 30.22% Suzukakedai 31.08% O-Okayama 27.59% 60.00% 24.54% 22.29% 18.23% 50.00% 40.00% 30.00% 20.00% 10.00% 0.00% 10
- 11. Even With These Strong Changes, PIRF Still Works Well !!! Highly Dynamic Changes in Scenes Illumination Changes in Scenes 11
- 12. PIRF-NAV1 我々の過去の提案手法 PIRFを用いた VISUAL SLAM の初期のもの A.KAWEWONG, ET AL,: "ONLINE INCREMENTAL APPEARANCE-BASED SLAM IN HIGHLY DYNAMIC ENVIRONMENTS", INTERNATIONAL JOURNAL OF ROBOTICS RESEARCH (IJRR) 12
- 13. PIRF-NAV1(Kawewong, A. et al.,IJRR) • Visual SLAM based on PIRF’s concept • Characteristics – Online – Robust to dynamic scene – SIFT (128 dimensions) based system 13
- 14. PIRF-NAV1: Algorithm Algorithm Data structure Image features 14
- 15. Results & Experiments: DATASETS • City Centre 15
- 16. Results & Experiments: DATASETS • New College 16
- 17. Result 1: City Centre Vehicle Trajectory Loop Closure Detection PIRF-Nav (100% Precision) (proposed) FAB-MAP (100% Precision) 17
- 18. Result 2: New College Vehicle Trajectory Loop Closure Detection PIRF-Nav (100% Precision) (proposed) FAB-MAP (100% Precision) 18
- 19. PIRF-NAV1: City Center Result Precision-Recall 19
- 20. PIRF-NAV1: City Center Result(Cont.) Computation time Full scale result Method PIRF-NAV 1 Recall 84% Precision 100% Total time (sec) 12057.4 Aver. time (ms) 9746 Total words 64618 Memory (MB) 33.4 MB Unable to process in real time 20
- 21. PIRF-NAV2 今回の提案手法 PIRF-NAV1 の処理速度と 情報処理効率を大幅に改善 21
- 22. PIRF-NAV2 (Tongprasit, N. et al., MIRU’10) • Improved version of PIRF-NAV 1 • Characteristics –Online –Robust to dynamic environment –Real time process –SURF (64 dimensions) based system 22
- 23. PIRF-NAV2: Algorithm (Cont.) Image features 23
- 24. PIRF-NAV2: Modified PIRF Shrink back if number of features is too few 24
- 25. PIRF-NAV2: City Center Result Precision-Recall Aerial image 25
- 26. PIRF-NAV2: City Center Result(Cont.) PIRF-NAV1との比較 Method PIRF-NAV 2 Recall 80% (-4%) Precision 100% Total time (sec) 1086.4 (12倍高速化) Aver. time (ms) 878.2 (12倍高速化) Total words 24410 (約66％削減) Memory (MB) 10.9 (約66%削減) 26
- 27. 混雑した環境での実験 • 本研究でPIRF-NAV1が高速化し、実用レベルで利用 可能になったので試みた。 • 場所：食堂（東工大学食） • 時刻：昼間（12時頃） – あえて、食堂が混み合う時間帯に撮影 • 約６分間の動画（692枚の画像） • 画像サイズ：480 x 270（全方位カメラ画像） 27
- 28. 28
- 29. 混雑した環境での実験 • 認識率：86.65%（FAB-MAP：17.80%） • 平均処理時間：264ms / 枚, Matlab（同：577ms/枚） 入力（テスト）画像 同位置と推定された学習画像 全方位カメラの画像のため，同位置の画像でも 撮影時のカメラの向きによって見え方が異なります 29
- 30. 食堂での実験結果 提案手法 30
- 31. 食堂での実験結果 [4] A. Angeli, D. Filliat, S. Doncieux, and J. A. Meyer, “Fast and Incremental Method for Loop-Closure Detection Using Bags of Visual Words,” IEEE Trans. Robotics, 2008, 24(5), pp. 1027–1037 （オンラインVisual SLAMだが性能面でかなり劣る。） 31
- 32. まとめに代えて（予告） • PIRF-NAV2 の移動ロボットへの実装もほぼ完了。 • 混雑した学食で、全方位カメラ1本のみで、ロボットがオン ライン・リアルタイムに地図の作成と自己位置同定(SLAM) を行う。 • ロボットは、「レジから下膳口へ」といった言語による指示 により経路探索し、移動可能（ナビゲーションも実現）。 • 日本ロボット学会学術講演会（9月、名工大）にて発表予 定。 32