Dense Planar-Iner,al SLAM for Large Indoor 3D - PowerPoint PPT Presentation

Dense ¡Planar-­‑Iner,al ¡SLAM ¡ ¡ for ¡Large ¡Indoor ¡3D ¡Reconstruc,on ¡ Speaker: ¡ Ming ¡Hsiao ¡ Collaborators: ¡ Eric ¡Westman ¡ Guofeng ¡Zhang ¡ Michael ¡Kaess ¡ Robot ¡Percep,on ¡Lab ¡(RPL) ¡ Robo,cs ¡Ins,tute ¡| ¡Carnegie ¡Mellon ¡University ¡ 1 ¡

Outline ¡ ¡ ¡I. ¡ ¡Why ¡SLAM ¡with ¡planes? ¡Challenges? ¡ ¡II. ¡ ¡Real-­‑<me ¡ dense ¡planar ¡SLAM ¡ on ¡CPU ¡(1 st ) ¡ III. ¡ ¡ Improvements ¡ with ¡IMU ¡ and ¡others ¡(2 nd ) ¡ IV. ¡ ¡Results ¡and ¡conclusion ¡ 2 ¡

Why ¡SLAM ¡with ¡Planes? ¡ • Dense ¡indoor ¡mapping ¡ – Kin<nuous [1] , ¡Elas<cFusion [2] , ¡BundleFusion [3] ¡ Kin<nuous ¡ ¡ Elas<cFusion ¡ BundleFusion ¡ ¡ [+]: ¡ Real-­‑,me ¡dense ¡3D ¡reconstruc,on ¡ [+]: ¡ Using ¡a ¡handheld ¡RGB-­‑D ¡sensor ¡ ¡ ¡ [1] ¡T.Whelan ¡et ¡al. ¡“Real-­‑<me ¡large ¡scale ¡dense ¡RGB-­‑D ¡SLAM ¡with ¡volumetric ¡fusion,” ¡ IJRR , ¡2015. ¡ ¡ [2] ¡T. ¡Whelan ¡et ¡al. ¡“Elas<cFusion: ¡Dense ¡SLAM ¡without ¡a ¡pose ¡graph,” ¡ RSS , ¡2015. ¡ [3] ¡A. ¡Dai ¡et ¡al. ¡“BundleFusion: ¡Real-­‑<me ¡globally ¡consistent ¡3D ¡reconstruc<on ¡using ¡on-­‑the-­‑fly ¡surface ¡re-­‑ 3 ¡ integra<on,” ¡ CoRR , ¡2017. ¡

Why ¡SLAM ¡with ¡Planes? ¡ • Dense ¡indoor ¡mapping ¡ – Kin<nuous [1] , ¡Elas<cFusion [2] , ¡BundleFusion [3] ¡ Kin<nuous ¡ ¡ Elas<cFusion ¡ BundleFusion ¡ ¡ [−]: ¡ DriH/distor,on ¡ ¡ [−]: ¡ Expensive ¡calcula,on ¡ (GPU) ¡ ¡ [1] ¡T.Whelan ¡et ¡al. ¡“Real-­‑<me ¡large ¡scale ¡dense ¡RGB-­‑D ¡SLAM ¡with ¡volumetric ¡fusion,” ¡ IJRR , ¡2015. ¡ ¡ [2] ¡T. ¡Whelan ¡et ¡al. ¡“Elas<cFusion: ¡Dense ¡SLAM ¡without ¡a ¡pose ¡graph,” ¡ RSS , ¡2015. ¡ [3] ¡A. ¡Dai ¡et ¡al. ¡“BundleFusion: ¡Real-­‑<me ¡globally ¡consistent ¡3D ¡reconstruc<on ¡using ¡on-­‑the-­‑fly ¡surface ¡re-­‑ 4 ¡ integra<on,” ¡ CoRR , ¡2017. ¡

Why ¡SLAM ¡with ¡Planes? ¡ • Planar ¡SLAM ¡ (general ¡indoor ¡environments) ¡ – Point-­‑Plane ¡SLAM [4] , ¡SLAM ¡with ¡infinite ¡planes [5] ¡ SLAM ¡with ¡ ¡ infinite ¡planes ¡ Point-­‑Plane ¡SLAM ¡ ¡ [+]: ¡ Reduce ¡driH/distor,on ¡ [+]: ¡ Cheaper ¡op,miza,on ¡ [4] ¡Y. ¡Taguchi ¡et ¡al. ¡“Point-­‑plane ¡SLAM ¡for ¡hand-­‑held ¡3D ¡sensors,” ¡ ICRA , ¡2013 ¡ ¡ ¡ [5] ¡M. ¡Kaess, ¡“Simultaneous ¡localiza<on ¡and ¡mapping ¡with ¡infinite ¡planes,” ¡ ICRA , ¡2015 ¡ 5 ¡

Challenges ¡ • Planar ¡SLAM ¡ (general ¡indoor ¡environments) ¡ – Point-­‑Plane ¡SLAM [4] , ¡SLAM ¡with ¡infinite ¡planes [5] ¡ SLAM ¡with ¡ ¡ infinite ¡planes ¡ Point-­‑Plane ¡SLAM ¡ ¡ [−]: ¡ Noisy/bad ¡ plane ¡extrac,on ¡ [−]: ¡ No ¡model ¡for ¡non-­‑planar ¡regions ¡ [4] ¡Y. ¡Taguchi ¡et ¡al. ¡“Point-­‑plane ¡SLAM ¡for ¡hand-­‑held ¡3D ¡sensors,” ¡ ICRA , ¡2013 ¡ ¡ ¡ [5] ¡M. ¡Kaess, ¡“Simultaneous ¡localiza<on ¡and ¡mapping ¡with ¡infinite ¡planes,” ¡ ICRA , ¡2015 ¡ 6 ¡

Challenges ¡ • Planar ¡SLAM ¡ (general ¡indoor ¡environments) ¡ – Point-­‑Plane ¡SLAM [4] , ¡SLAM ¡with ¡infinite ¡planes [5] ¡ • Dense ¡planar ¡SLAM : ¡CPA-­‑SLAM [6] ¡ Segmented ¡planes ¡ Sod ¡EM ¡alignment ¡ Graph ¡constraints ¡ ¡ ¡[+]: ¡ Expecta,on ¡maximiza,on ¡(EM) ¡plane ¡alignment ¡ ¡[+]: ¡ Model ¡non-­‑planar ¡regions ¡with ¡raw ¡pointclouds ¡ [6] ¡L. ¡Ma ¡et ¡al. ¡“CPA-­‑SLAM: ¡Consistent ¡plane-­‑model ¡alignment ¡for ¡direct ¡RGB-­‑D ¡SLAM,” ¡ ICRA , ¡2016. ¡ 7 ¡

Challenges ¡ • Planar ¡SLAM ¡ (general ¡indoor ¡environments) ¡ – Point-­‑Plane ¡SLAM [4] , ¡SLAM ¡with ¡infinite ¡planes [5] ¡ • Dense ¡planar ¡SLAM : ¡CPA-­‑SLAM [6] ¡ Segmented ¡planes ¡ Sod ¡EM ¡alignment ¡ Graph ¡constraints ¡ ¡ ¡[−]: ¡ Expensive ¡calcula,on ¡ (GPU) ¡ [6] ¡L. ¡Ma ¡et ¡al. ¡“CPA-­‑SLAM: ¡Consistent ¡plane-­‑model ¡alignment ¡for ¡direct ¡RGB-­‑D ¡SLAM,” ¡ ICRA , ¡2016. ¡ 8 ¡

Goal ¡ • A ¡ cheaper ¡ but ¡s<ll ¡ accurate ¡planar ¡SLAM ¡system ¡ – Dense ¡3D ¡map ¡ – Real-­‑<me ¡ – CPU ¡ 9 ¡

Reduce ¡Computa<onal ¡Costs ¡ • Expecta<on-­‑maximiza<on ¡(EM) ¡plane ¡alignment ¡ ¡ ¡ ¡ ¡ ¡ Hard ¡labeling ¡ EM ¡alignment ¡ ¡ ¡ 10 ¡

Reduce ¡Computa<onal ¡Costs ¡ • Expecta<on-­‑maximiza<on ¡(EM) ¡plane ¡alignment ¡ ¡ ¡ ¡ ¡ ¡ Hard ¡labeling ¡ EM ¡alignment ¡ ¡ ¡=> ¡ Local ¡depth ¡fusion ¡ for ¡plane ¡extrac<on ¡ ¡ => ¡Op<mizing ¡planes ¡as ¡ quaternions [7] ¡ 11 ¡

Local ¡Depth ¡Fusion ¡ • Select ¡ keyframes ¡based ¡on ¡sensor ¡mo<on ¡ • Between ¡two ¡consecu,ve ¡keyframes , ¡do: ¡ – Project ¡ depth ¡images ¡ into ¡the ¡previous ¡keyframe ¡ – Running ¡average ¡ fusion ¡ d ← α d + α ′ ′ d α ← α + α ′ α + α ′ – Remove ¡outliers : ¡Only ¡fuse ¡two ¡depth ¡pixels ¡when ¡ the ¡their ¡difference ¡is ¡within ¡a ¡threshold ¡ 12 ¡

Plane ¡Extrac<on ¡from ¡Fused ¡Depth ¡ • A ¡clustering ¡method ¡for ¡plane ¡segmenta<on [7] ¡ • Depth ¡fusion ¡can ¡improve ¡plane ¡extrac,on ¡ Original ¡image ¡ Raw ¡depth ¡ Locally ¡fused ¡depth ¡ • We ¡fit ¡a ¡plane ¡model ¡to ¡each ¡point ¡cluster ¡using ¡ a ¡linear ¡model ¡in ¡ disparity ¡space [8] ¡ [7] ¡D. ¡Holz ¡et ¡al. ¡“Real-­‑<me ¡plane ¡segmenta<on ¡using ¡RGB-­‑D ¡cameras,” ¡ RoboCup , ¡2012. ¡ [8] ¡C. ¡Erdogan ¡et ¡al. ¡“Planar ¡segmenta<on ¡of ¡RGBD ¡images ¡using ¡fast ¡linear ¡finng ¡and ¡Markov ¡chain ¡Monte ¡ Carlo,” ¡ CRV , ¡2012. ¡ 13 ¡

Plane ¡Op<miza<on ¡ • Plane ¡representa<on [5] ¡(same ¡as ¡ quaternion ): ¡ ⎡ ⎤ n – Model: ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡(only ¡3 ¡DoF) ¡ π ≡ ⎥ ∈ S 3 ⎢ d ⎣ ⎦ ⎡ ⎤ ⎛ ⎞ 1 2 sinc 1 2 ω ⎟ ω ⎢ ⎥ ⎜ ⎝ ⎠ ⎢ ⎥ – Update: ¡ π = π ⊗ exp( ω ) = ′ ⎢ ⎥ ⎛ ⎞ cos 1 2 ω ⎢ ⎥ ⎜ ⎟ ⎝ ⎠ ⎢ ⎥ ⎣ ⎦ ¡ − 1 ⊗ π 1 ) – Error: ¡ ω err = log( π 2 ⊗ Hamilton product [5] ¡M. ¡Kaess, ¡“Simultaneous ¡localiza<on ¡and ¡mapping ¡with ¡infinite ¡planes,” ¡ ICRA , ¡2015 ¡ 14 ¡

Reduce ¡Computa<onal ¡Costs ¡ • ICP [9] ¡& ¡Dense ¡RGB-­‑D ¡odometry [10] ¡(GPU) ¡ ¡ 3D ¡Itera<ve ¡Closest ¡Point ¡(ICP) ¡ Dense ¡RGB-­‑D ¡odometry ¡ ¡ ¡ [9] ¡P. ¡J. ¡Besl ¡et ¡al. ¡“A ¡method ¡for ¡registra<on ¡of ¡3-­‑D ¡shapes,” ¡ TPAMI , ¡1992. ¡ [10] ¡F. ¡Steinbrucker ¡et ¡al. ¡“Real-­‑<me ¡visual ¡odometry ¡from ¡dense ¡RGB-­‑D ¡images,” ¡ ICCV ¡workshops , ¡2011. ¡ 15 ¡ hqp://www.pointclouds.org/blog/gsoc/georgeLisca/all.php ¡

Reduce ¡Computa<onal ¡Costs ¡ • ICP [9] ¡& ¡Dense ¡RGB-­‑D ¡odometry [10] ¡(GPU) ¡ ¡ 3D ¡Itera<ve ¡Closest ¡Point ¡(ICP) ¡ Dense ¡RGB-­‑D ¡odometry ¡ ¡ ¡=> ¡ Fast ¡dense ¡RGB-­‑D ¡odometry ¡(100 ¡fps ¡on ¡CPU) ¡ [9] ¡P. ¡J. ¡Besl ¡et ¡al. ¡“A ¡method ¡for ¡registra<on ¡of ¡3-­‑D ¡shapes,” ¡ TPAMI , ¡1992. ¡ [10] ¡F. ¡Steinbrucker ¡et ¡al. ¡“Real-­‑<me ¡visual ¡odometry ¡from ¡dense ¡RGB-­‑D ¡images,” ¡ ICCV ¡workshops , ¡2011. ¡ 16 ¡ hqp://www.pointclouds.org/blog/gsoc/georgeLisca/all.php ¡