Medical Applica+ons for Manifold Learning: I) - PowerPoint PPT Presentation

Medical ¡Applica+ons ¡for ¡Manifold ¡Learning: ¡ ¡ ¡ ¡ ¡ ¡I) ¡ ¡Mul+-­‑Modal ¡Registra+on ¡ ¡ ¡ ¡ ¡ ¡II) ¡Breathing ¡Ga+ng ¡ Chris+an ¡Wachinger ¡ ¡(wachinge@in.tum.de) ¡ CAMP, ¡TU ¡Munich ¡ ¡ Presented ¡by ¡Loren ¡Schwarz ¡

Mul+-­‑Modal ¡Registra+on ¡ with ¡Manifold ¡Learning ¡ C. ¡Wachinger, ¡N. ¡Navab, ¡ Entropy ¡and ¡Laplacian ¡Images: ¡Structural ¡Representa8ons ¡for ¡ Mul8-­‑Modal ¡Registra8on , ¡Medical ¡Image ¡Analysis, ¡accepted ¡for ¡publica+on. ¡ ¡ ¡ C. ¡Wachinger, ¡N. ¡Navab, ¡ Manifold ¡Learning ¡for ¡Mul8-­‑Modal ¡Image ¡Regisra8on , ¡ ¡ Bri+sh ¡Machine ¡Vision ¡Conference ¡(BMVC), ¡2010. ¡ ¡ C. ¡Wachinger, ¡N. ¡Navab, ¡ Structural ¡Image ¡Represena8on ¡for ¡Image ¡Registra8on , ¡ ¡ MMBIA, ¡2010. ¡ ¡ 21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 2 ¡

Mono-­‑modal, ¡Intensity-­‑based ¡Registra+on ¡ Registra)on ¡Framework ¡ Similarity ¡Measure ¡ SSD, ¡SAD ¡ Op+miza+on ¡ 21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 3 ¡ 3 ¡

Mul+-­‑modal, ¡Intensity-­‑based ¡Registra+on ¡ Registra)on ¡Framework ¡ Similarity ¡Measure ¡ SSD, ¡SAD ¡ Mutual ¡Inf. ¡ Op+miza+on ¡ 21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 4 ¡

Registra+on ¡with ¡Structural ¡Representa+on ¡ Registra)on ¡Framework ¡ Advantages: ¡ ? Similarity ¡Measure ¡ Faster ¡similarity ¡evalua+on ¡ • SSD, ¡SAD ¡ Mutual ¡Inf. ¡ Interac+ve ¡registra+on ¡ • Amor+za+on ¡of ¡pre-­‑processing ¡+me ¡ • Groupwise ¡registra+on ¡ • Easier ¡assessment ¡of ¡performance ¡ • ? Seamless ¡integra+on ¡ • Op+miza+on ¡ Efficient ¡op+miza+on ¡with ¡ESM ¡ • 21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 5 ¡

How ¡to ¡calculate ¡structural ¡representa+ons? ¡ ? Input ¡Image ¡ Patches ¡ Structural ¡Image ¡ Descriptor ¡ 21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 6 ¡

Which ¡patches ¡are ¡structurally ¡equivalent? ¡ Patch ¡1 ¡ Patch ¡2 ¡ Patch ¡3 ¡ 21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 7 ¡

Model ¡for ¡structural ¡representa+on ¡ 21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 8 ¡

Manifold ¡Learning ¡ • Dimensionality ¡reduc+on, ¡Visualiza+on ¡ ¡ • Techniques ¡ – Isomap ¡: ¡Tenenbaum ¡et ¡al., ¡Science, ¡2000 ¡ – Locally-­‑Linear ¡Embedding ¡: ¡Roweis, ¡Saul, ¡Science, ¡2000 ¡ – Laplacian ¡Eigenmaps ¡: ¡Belkin, ¡Niyogi, ¡Neural ¡Comp, ¡2004 ¡ 21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 9 ¡

Dimensionality ¡Reduc+on ¡ Can’t ¡we ¡use ¡PCA? ¡ 21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 10 ¡

Manifold ¡Learning ¡ Swiss ¡roll ¡ Manifold ¡ Projec+on ¡ Neighborhood ¡graph ¡ Locality ¡Preserva)on: ¡ Laplacian ¡Eigenmaps ¡ensures ¡that ¡points ¡that ¡are ¡close ¡in ¡the ¡high-­‑dimensional ¡ space ¡ are ¡mapped ¡to ¡close-­‑by ¡points ¡in ¡the ¡low-­‑dimensional ¡projec+on. ¡ 21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 11 ¡

Model ¡for ¡structural ¡representa+on ¡ 21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 12 ¡

A novel framework for multi-modal intensity-based similarity measures based on internal similarity a a b b G.P.Penney , L.D.Griffin , A.P.King and D.J.Hawkes a Interdisciplinary Medical Imaging Group, Kings College London UK; b Centre of Medical Image Computing, University College London, UK. Interdisciplinary Medical Imaging Group, St. Thomas’ Hospital

Worked Example Example synthetic images: Fixed Image F( x ) Moving Image M( x ) 14 Interdisciplinary Medical Imaging Group, St. Thomas’ Hospital

First Stage: Fixed Image Aim is to find internally similar regions 15 Interdisciplinary Medical Imaging Group, St. Thomas’ Hospital

Second Stage: Moving Image Involves 1. Moving Image M( x ) 2. Patch positions and rotations ( Tp i , x i ) 3. Registration transformation T Difference Images A Patches A and A’ B’ B A’ Patches B and B’ 16 Interdisciplinary Medical Imaging Group, St. Thomas’ Hospital

Two ¡+mes ¡manifold ¡learning ¡ 21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 17 ¡

Image ¡Results ¡T1, ¡T2, ¡PD ¡ Images ¡ Laplacian ¡ ¡ (this ¡work) ¡ Entropy ¡ (previous ¡ approach) ¡ 21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 18 ¡

Errors ¡from ¡registra+on ¡study ¡ 21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 19 ¡

Simultaneous ¡Mul+-­‑Modal ¡ Registra+on ¡with ¡ESM ¡ BrainWeb ¡ RIRE ¡ 21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 20 ¡

Ultrasound ¡Breathing-­‑Ga+ng ¡ ¡ with ¡Manifold ¡Learning ¡ C. ¡Wachinger, ¡M. ¡Yigitsoy, ¡N. ¡Navab, ¡ Manifold ¡Learning ¡for ¡Image-­‑Based ¡Breathing ¡Ga8ng ¡ with ¡Applica8on ¡to ¡4D ¡Ultrasound, ¡ MICCAI ¡2010 ¡ 21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 21 ¡

Breathing ¡Modeling ¡from ¡Ultrasound ¡ align ¡ breathing ¡ phase ¡ +me ¡ 21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 22 ¡

Volumetric ¡Ultrasound ¡ Freehand ¡ 2D ¡Array ¡ Wobbler ¡ 21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 23 ¡

4D ¡Breathing ¡Ultrasound ¡with ¡Wobbler ¡ Workstation stream ¡ stream ¡ Respiratory Gating Ultrasound Synchroniza+on ¡ 4D ¡Compounding ¡ 21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 24 ¡

Manifold ¡Learning ¡for ¡Image-­‑Based ¡Breathing ¡ Respiratory Gating stream ¡ 4D ¡Compounding ¡ Ultrasound Workstation 21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 25 ¡

4D ¡Breathing ¡Ultrasound ¡with ¡Wobbler ¡ deflection compound ¡ US ¡ 0,5s time US ¡ compound ¡ compound ¡ US ¡ compound ¡ US ¡ 21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 26 ¡

4D ¡Breathing ¡Ultrasound ¡with ¡Wobbler ¡ Breathing Wobbler Accumulation over several breathing cycles US ¡ compound ¡ time What do we need for each frame ? 1. location 2. breathing stage 21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 27 ¡

Manifold ¡Learning ¡for ¡ ¡ Image-­‑Based ¡Breathing ¡Ga+ng ¡ ¡ • No need for gating system • No synchronization 21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 28 ¡

Applica+on ¡of ¡Manifold ¡Learning ¡ - Each image is a point in high dimensional space - Changes between images are smooth - Images at different times but same breathing stage are similar - Learn manifold that image points are lying on - Project to 1-dimensional subspace 21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 29 ¡

Laplacian ¡Eigenmaps ¡Facts ¡ Ambient ¡space: ¡ ¡ 640 ¡x ¡480 ¡x ¡0.25 ¡= ¡ ¡76,800 ¡ Nearest ¡neighbors: ¡ 14 ¡ Manifold ¡dimension: ¡ ¡ 1 ¡ Heat ¡weights ¡on ¡graph: ¡ ¡ 21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 30 ¡

Breathing ¡Ga+ng ¡Laplacian ¡Eigenmaps ¡ (2D ¡Ultrasound) ¡ Red: manifold Blue: tracking Correlation Coeff: 95.8 % 21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 31 ¡

21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 32 ¡

21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 33 ¡

Consistent ¡4D ¡breathing ¡es+ma+on ¡ Unaligned local breathing curves Aligned local breathing curves 21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 34 ¡

Consistent ¡4D ¡breathing ¡es+ma+on ¡ Green: data points Red: spline fitting • Robust ¡curve ¡fihng ¡ Blue: tracking • Compound ¡volume ¡for ¡each ¡doied ¡region 21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 35 ¡

21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 36 ¡