in the Age of Big Data Matthew Toews, PhD ETS, Montral, - PowerPoint PPT Presentation

Medical ¡Image ¡Analysis ¡ in ¡the ¡Age ¡of ¡ ¡ ¡ ¡ Big Data Matthew Toews, PhD ¡ ETS, Montréal, November 29, 2017

Hello! ¡ University of British Columbia 1996-2001, B. Eng McGill University 2001-2008 PhD, Tal Arbel Harvard Medical School 2 ¡ 2009 – 2015 Recalage par Postdoc, William Wells information mutuel

Research ¡Interests ¡ • Computer ¡Vision ¡ – Probabilis?c ¡models, ¡detec?on, ¡ classifica?on, ¡registra?on, ¡segmenta?on, ¡ tracking. ¡ • Medical ¡Image ¡Analysis ¡ • Other ¡ – Ar?ficial ¡intelligence, ¡machine ¡learning, ¡deep ¡ learning ¡methods, ¡ – Signal ¡processing, ¡video, ¡audio ¡… ¡ 3 ¡

Philosophy ¡ Images ¡are ¡oIen ¡produced ¡for ¡the ¡human ¡visual ¡ system. ¡Why ¡not ¡use ¡models ¡of ¡the ¡human ¡visual ¡ system ¡to ¡process ¡them? ¡ 4 ¡

Human ¡Vision ¡ (1) Retina: « center-surround » (2) Visual cortex: « orientation columns » Joe ¡Sakic

Computer ¡Vision ¡ (1) Scale-space: Laplacian-of-Gaussian (2) Gradient orientation histograms 6 ¡ Joe ¡Sakic Distinctive Image Features from Scale-Invariant Keypoints D. G. Lowe, IJCV, 2004.

« ¡Scale-­‑Invariant ¡Feature ¡Transform» ¡ • SIFT ¡ – Detect ¡local ¡image ¡features ¡ • Invariance ¡ – Geometry, ¡illumina?on. ¡ • Image ¡correspondance ¡ – Very ¡fast, ¡resistant ¡to ¡ occlusion. ¡ Dis?nc?ve ¡Image ¡Features ¡from ¡Scale-­‑Invariant ¡Keypoints ¡ 7 ¡ D. ¡G. ¡Lowe, ¡IJCV, ¡2004. ¡

« ¡Scale-­‑Invariant ¡Feature ¡Transform ¡» ¡ Geometry ¡ Appearance ¡ ¡ σ θ • Posi?on ¡ x ¡ • Gradient orientation histograms ¡ • Orienta?on ¡ θ ¡ x • Scale ¡ σ ¡ 8 ¡ 8 ¡ Distinctive Image Features from Scale-Invariant Keypoints D. G. Lowe, IJCV, 2004.

Probabilis?c ¡Modeling ¡ T Reference frame (non-observable) f Local ¡feature ¡ i Geometrical ¡transform ¡ t : f T → (similarity) ¡ i i Posterior ¡Distribu2on ¡ Transform ¡rela?ng ¡feature ¡and ¡OCI ¡ p ( T | f 1 f , ,...) p ( T ) p ( f , f ,... | T ) Bayes ¡Theorem ¡ ∝ geometries: ¡ 2 1 2 p ( T ) p ( f | T ) p ( f | T )... Condi2onal ¡Independence ¡ = 1 2

Learning ¡ • Parameter ¡es?ma?on ¡ p ( f | T ) i – Geometry, ¡apperance, ¡occurrence ¡frequency ¡ • « ¡clustering ¡» ¡clustering ¡of ¡similar ¡features ¡ – Large ¡data ¡bases ¡of ¡training ¡images ¡ p ( f | T ) i 10 ¡

Analysis, ¡Classifica?on ¡ • Visual ¡traits: ¡age, ¡sex, ¡… ¡ • Likelihood ¡ra?o ¡ p ( f | T , Male ) 1 i = p ( f | T , Female ) 2 i 11 ¡

Detec?on ¡ • Infer ¡a ¡viewpoint-­‑invariant ¡reference ¡frame ¡ • Independent ¡vo?ng ¡ – model ¡features ¡-­‑> ¡new ¡image ¡ Model ¡ New ¡Image ¡ T = * p ( T | f 1 f , ,...) 2 Detection: Maximum A Posteriori (MAP)

Detec?on, ¡Localiza?on ¡and ¡Sex ¡Classifica?on ¡of ¡Faces ¡ from ¡Arbitrary ¡Viewpoints ¡and ¡Under ¡Occlusion ¡ M ¡Toews ¡and ¡T ¡Arbel, ¡ IEEE ¡Transac?ons ¡on ¡Paeern ¡Analysis ¡and ¡Machine ¡Intelligence, ¡31(9), ¡pp. ¡1567-­‑1581, ¡2009. ¡ Detect ¡and ¡classify ¡faces ¡from ¡arbitrary ¡viewpoints ¡

Detec?on, ¡Localiza?on ¡and ¡Sex ¡Classifica?on ¡of ¡Faces ¡ from ¡Arbitrary ¡Viewpoints ¡and ¡Under ¡Occlusion ¡ M ¡Toews ¡and ¡T ¡Arbel, ¡ IEEE ¡Transac?ons ¡on ¡Paeern ¡Analysis ¡and ¡Machine ¡Intelligence, ¡31(9), ¡pp. ¡1567-­‑1581, ¡2009. ¡ Understanding ¡the ¡link ¡between ¡image ¡features ¡and ¡traits ¡ Male Female p ( f | Male ) Rose: i 1 < p ( f | Female ) i p ( f | Male ) Blue: i 1 > p ( f | Female ) i 14 ¡

Detec?on, ¡Localiza?on ¡and ¡Sex ¡Classifica?on ¡of ¡Faces ¡ from ¡Arbitrary ¡Viewpoints ¡and ¡Under ¡Occlusion ¡ M ¡Toews ¡and ¡T ¡Arbel, ¡ IEEE ¡Transac?ons ¡on ¡Paeern ¡Analysis ¡and ¡Machine ¡Intelligence, ¡31(9), ¡pp. ¡1567-­‑1581, ¡2009. ¡ Understanding ¡the ¡link ¡between ¡image ¡features ¡and ¡traits ¡ 15 ¡

A ¡Sta?s?cal ¡Parts-­‑based ¡Appearance ¡Model ¡of ¡Anatomical ¡Variability ¡ M ¡Toews ¡and ¡T ¡Arbel, ¡ IEEE ¡Transac?ons ¡on ¡Medical ¡Imaging, ¡Vol. ¡26(4), ¡pp. ¡497-­‑508, ¡2007. ¡ ¡ Model ¡normal ¡brain ¡anatomy ¡in ¡MRI ¡slices ¡ Feature ¡variability ¡ p ( f ) Feature f 16 ¡

A ¡Sta?s?cal ¡Parts-­‑based ¡Appearance ¡Model ¡of ¡Anatomical ¡Variability ¡ M ¡Toews ¡and ¡T ¡Arbel, ¡ IEEE ¡Transac?ons ¡on ¡Medical ¡Imaging, ¡Vol. ¡26(4), ¡pp. ¡497-­‑508, ¡2007. ¡ ¡ Local ¡feature ¡alignment ¡is ¡highly ¡robust ¡to ¡perturba?on ¡ Feature-­‑based ¡Model ¡ Ac2ve ¡Appearance ¡Model ¡ 17 ¡

Invariant ¡Feature-­‑Based ¡Analysis ¡of ¡Medical ¡ Images ¡ CVPR ¡2015 ¡-­‑ ¡Workshop ¡on ¡Medical ¡Computer ¡Vision ¡ How ¡big ¡data ¡is ¡possible? ¡ Boston ¡2015 ¡ Maehew ¡Toews ¡ ¡ Associate ¡Professor ¡ ¡ETS, ¡Montreal ¡ ¡ William ¡(Sandy) ¡Wells ¡ ¡ Professor ¡of ¡Radiology ¡ ¡Harvard ¡Medical ¡School ¡ ¡ ¡Brigham ¡and ¡Women’s ¡Hospital ¡ ¡ ¡ ¡ 18 ¡

Outline ¡ • Context ¡of ¡research ¡ • Invariant ¡Feature-­‑Based ¡Analysis ¡of ¡Medical ¡ Images ¡ 19 ¡

Neuroimage ¡Analysis ¡Center ¡ • NIH ¡P41 ¡Ron ¡Kikinis ¡ • Projects ¡ – Microstructure ¡Imaging: ¡CF ¡Wes?n ¡ – Spa?o-­‑Temporal ¡Modeling: ¡Sandy ¡Wells ¡ – ¡Anatomic ¡Variability: ¡Polina ¡Golland ¡ ¡ – 3D ¡Slicer: ¡Steve ¡Pieper ¡ ¡ 20 ¡

Na?onal ¡Center ¡for ¡Image ¡Guided ¡ Therapy ¡(NCIGT) ¡ • Brigham ¡and ¡Women’s ¡Hospital, ¡Boston ¡ • NIH ¡P41 ¡(Ferenc ¡Jolesz), ¡Clare ¡Tempany ¡ – Tina ¡Kapur: ¡Execu?ve ¡Director ¡ • Projects: ¡ – Neurosurgery ¡: ¡Alexendra ¡Golby, ¡MD ¡ – Prostate ¡: ¡Clare ¡Tempany, ¡MD ¡ – Guidance ¡: ¡Noby ¡Hata, ¡PhD ¡ – Computa?on ¡: ¡William ¡Wells, ¡PhD ¡ • Collabora?on ¡and ¡training ¡are ¡*required* ¡

Advanced ¡Mul?modality ¡Image ¡Guided ¡ Opera?ng ¡Suite ¡(AMIGO) ¡ 22 ¡

Precise ¡Localiza-on ¡of ¡Tumor ¡Boundaries ¡for ¡Therapy ¡ MRI ¡ ANGIO ¡ OR ¡ PET/CT ¡ ENTRANCE ¡INTO ¡AMIGO ¡ +ultrasound ¡ + ¡naviga?on ¡ +mass ¡spect ¡ 5700 ¡Square ¡Feet ¡ ¡ 23 ¡ Launched ¡in ¡2011 ¡ Courtesy ¡Balasz ¡Lengyel, ¡BWH ¡

3D ¡Feature-­‑Based ¡Analysis ¡ • Precursor ¡(2D) ¡ – Scale ¡Invariant ¡Feature ¡Transform ¡(SIFT) ¡ – Big ¡success ¡in ¡Computer ¡Vision ¡ • Medical ¡Image ¡Analysis ¡vs. ¡Computer ¡Vision ¡ – Some ¡problems ¡are ¡harder ¡in ¡computer ¡vision ¡ • Perspec?ve ¡projec?on ¡ • Uncontrolled ¡illumina?on ¡ – Different ¡ques?ons ¡ • Iden?fy ¡biomarkers: ¡disease-­‑related ¡features ¡ • Quan?fy ¡ Lowe ¡D. ¡ ¡Dis2nc2ve ¡Image ¡Features ¡from ¡Scale-­‑Invariant ¡Keypoints. ¡Intl ¡J ¡ Computer ¡Vision, ¡2004. ¡

3D ¡Feature ¡Detec?on[1] ¡ • Localize ¡ key ¡points ¡in ¡images ¡ – Loca?on ¡ – Scale ¡ – 3D ¡Orienta?on ¡ • at ¡each ¡key ¡point: ¡ – Summarize ¡local ¡texture ¡in ¡3D ¡patch ¡centered ¡on ¡ feature ¡ – 64 ¡bucket ¡histogram ¡of ¡gradient ¡direc?ons ¡ – Rank ¡transform ¡histograms ¡[2] ¡ [1] ¡Toews ¡M., ¡Wells ¡III ¡W.M., ¡Collins ¡D.L., ¡Arbel ¡T. ¡ Feature-­‑Based ¡Morphometry . ¡Int ¡Conf ¡Med ¡Image ¡ Comput ¡Comput ¡Assist ¡Interv. ¡2009 ¡Sep;12(Pt ¡2):109-­‑16. ¡PMID: ¡20426102. ¡PMCID: ¡PMC3854925. ¡ [2]Toews ¡M, ¡Wells ¡W. ¡SIFT-­‑Rank: ¡Ordinal ¡Descriptors ¡for ¡Invariant ¡Feature ¡Correspondence. ¡ ¡ Interna2onal ¡Conference ¡on ¡Computer ¡Vision ¡and ¡Pa^ern ¡Recogni2on ¡(CVPR), ¡2009. ¡pp ¡172-­‑177. ¡

Feature ¡Detec?on… ¡ Brain ¡MRI ¡ σ : Scale Appearance x: 3D location Geometry Lung ¡CT ¡ MRI, ¡CT: ¡100s ¡to ¡1000s ¡of ¡features ¡per ¡scan ¡