Biomedical Data Mining: Imaging Sharath Cholle6 Medical - PowerPoint PPT Presentation

Biomedical ¡Data ¡Mining: ¡Imaging ¡ Sharath ¡Cholle6 ¡

Medical ¡Imaging ¡ • Radiology ¡ – CT ¡ – X-­‑ray ¡ – MRI ¡ – PET ¡ • Pathology ¡ – High ¡resolu6on ¡microscope ¡

Example ¡Radiology ¡Images ¡ MRI ¡ CT ¡

Example ¡Pathology ¡Whole ¡Slide ¡ Images ¡

Example ¡2 ¡

Zoomed ¡in ¡Image ¡

Different ¡types ¡of ¡regions ¡

IBM ¡Watson ¡

Possibili6es ¡ • Ques6ons? ¡ • Solu6ons? ¡

Image ¡Analysis ¡ • Color ¡deconvolu6on ¡ – Separa6on ¡of ¡colors ¡ • “Object” ¡Segmenta6on ¡ – Cells, ¡nuclei, ¡cytoplasm, ¡blood ¡vessels, ¡necrosis ¡ • Feature ¡Extrac6on ¡ – Size: ¡Area, ¡perimeter ¡ – Shape: ¡circularity, ¡elonga6on, ¡jaggedness ¡ – Texture: ¡smoothness, ¡paTerns ¡ • Classifica6on ¡

In Silico Brain Tumor Research histology ¡ neuroimaging ¡ molecular ¡ clincal\pathology ¡ Integrated ¡ Analysis ¡ Datasets: ¡ In ¡Silico ¡Research ¡ ¡ Centers ¡of ¡Excellence ¡

Morphometry of the Gliomas Nuclear ¡ Morphology: ¡ Oligodendroglioma ¡ Astrocytoma ¡ Vessel ¡ Necrosis: ¡ Morphology: ¡

Morphometric Analysis Parallel ¡ Scien6fic ¡Queries ¡ Matlab ¡ PAIS ¡Database ¡ ? ¡ (90+ ¡Million ¡Nuclei) ¡

Morphological Correlates of Genomic Analysis Nuclear ¡ Characteriza6on ¡ Classical ¡ ? Nuclear ¡ Region ¡ ¡ Proneural ¡ Nuclear ¡priors ¡ Classifica6on ¡ Filtering ¡ Mesenchymal ¡ (Neoplas6c ¡Oligodendroglia, ¡ Neural ¡ Class ¡ Neoplas6c ¡Astrocytes, ¡ Summary ¡Sta6s6cs ¡ Reac6ve ¡Endothelial, ¡...) ¡ ¡

Morphological Correlates of Genomic Analysis Nuclear ¡ Characteriza6on ¡ Classical ¡ ? Tissue ¡ ¡ Proneural ¡ Nuclear ¡Priors ¡ Classifica6on ¡ Mesenchymal ¡ Neural ¡ Nuclear ¡ Classifica6on ¡ (Neoplas6c ¡Oligodendroglia, ¡ Class ¡ Neoplas6c ¡Astrocytes, ¡ Summary ¡Sta6s6cs ¡ Reac6ve ¡Endothelial, ¡...) ¡ ¡

Region Classification • Classify regions as normal or tumor – exclude nuclei in normal tissue regions – conditional probabilities for nuclear classification • texton approach – Multiple layers of classification add robustness – Combines supervised and unsupervised classifiers • References Malik, J., Belongie, S., Shi, J., and Leung, T. 1999. Textons, contours and regions: Cue integration – in image segmentation. In Proceedings IEEE 7th International Conference on Computer Vision, Corfu, Greece, pp. 918–925. O. Tuzel, L. Yang, P. Meer, and D. J. Foran. Classification of hematologic malignancies using texton – signatures. Pattern Anal. Appl ., 10(4):277-290,2007. M. Varma and A. Zisserman. Texture classification: Are filter banks necessary? In Proceedings of – the IEEE Conference on Computer Vision and Pattern Recognition , pages 691-698, 2003.

Tissue Classifier: Training For ¡each ¡class ¡(texture ¡classifica;on): ¡ Training ¡ Extract ¡ Texton ¡ Regions ¡ “Textures” ¡ Library ¡ For ¡each ¡training ¡region: ¡ Train ¡Region ¡ Region ¡ Texton ¡ Classifier ¡ “Textures” ¡ Histogram ¡ SVM

Tissue Classifier: Testing Test ¡ Region ¡ Texton ¡ Library ¡ Region ¡ Texton ¡ Region ¡ “Textures” ¡ Histogram ¡ Classifica6on ¡ SVM

Dataset • Human Annotated regions – 18 whole-slide images – Normal, GBM (IV), Astrocytoma (II & III), Oligodendroglioma (II & III), Oligoastrocytoma (II & III) Region ¡type ¡ # ¡ Normal ¡ 45 ¡ Astrocytoma ¡ 20 ¡ Oligodendroglioma ¡ 54 ¡ Oligoastrocytoma ¡ 29 ¡ Glioblastoma ¡ 18 ¡ Total ¡ 166 ¡

Experiment and Results • 30 ¡x ¡2 ¡cross-­‑valida6on ¡ • Randomly ¡pick ¡50% ¡data ¡for ¡training ¡and ¡50% ¡for ¡ tes6ng. ¡ • Classifica6on ¡accuracy: ¡ ¡ Average(correct ¡regions ¡/ ¡total ¡regions) ¡ Experiment ¡ Classifica;on ¡accuracy ¡(%) ¡ Normal ¡vs ¡Tumor ¡ 98 ¡ Oligodendroglioma ¡vs ¡Oligoastrocytoma ¡ 86 ¡ Oligodendroglioma ¡vs ¡Astrocytoma ¡ 92 ¡ Olgiodendroglioma ¡vs ¡Glioblastoma ¡ 91 ¡ Oligoastrocytoma ¡vs ¡Astrocytoma ¡ 80 ¡ Oligoastrocytoma ¡vs ¡Gligoblastoma ¡ 76 ¡ Astrocytoma ¡vs ¡Glioblastoma ¡ 70 ¡

3 Class region classification results • 3 ¡types ¡of ¡regions ¡ • Normal, ¡background ¡and ¡tumor ¡ • Overall ¡accuracy ¡98.6% ¡ Confusion ¡matrix ¡ Category ¡ Normal ¡ Tumor ¡ Background ¡ Normal ¡ 0.9852 ¡ 0.0181 ¡ 0.0051 ¡ Predicted ¡as ¡ Tumor ¡ 0.0148 ¡ 0.9819 ¡ 0 ¡ Background ¡ 0 ¡ 0 ¡ 0.9949 ¡

Multiclass classification results: tumor subtypes • 6 ¡types ¡of ¡regions ¡ • Tumor ¡subclasses ¡ • Astrocytoma, ¡GBM, ¡Oligoastrocytoma, ¡Oligodendroglioma ¡ • Overall ¡accuracy ¡86.9% ¡ Confusion ¡matrix ¡ Category ¡ Normal ¡ Astrocytoma ¡ Background ¡ GBM ¡ Oligoastrocytoma ¡ Oligodendroglioma ¡ Normal ¡ 1 ¡ 0.0417 ¡ 0 ¡ 0 ¡ 0.0333 ¡ 0 ¡ Predicted ¡as ¡ Astrocytoma ¡ 0 ¡ 0.2833 ¡ 0 ¡ 0 ¡ 0.0067 ¡ 0.0033 ¡ Background ¡ 0 ¡ 0.0417 ¡ 1 ¡ 0.1222 ¡ 0 ¡ 0 ¡ GBM ¡ 0 ¡ 0.1833 ¡ 0 ¡ 0.6778 ¡ 0.0067 ¡ 0.0633 ¡ Oligoastrocytoma ¡ 0 ¡ 0.0583 ¡ 0 ¡ 0.1111 ¡ 0.7733 ¡ 0.01 ¡ Oligodendroglioma ¡ 0 ¡ 0.3917 ¡ 0 ¡ 0.0889 ¡ 0.18 ¡ 0.9233 ¡

Extension: Region Masking

Watson ¡+ ¡Image ¡Mining ¡ with ¡ ¡ Image ¡Mining ¡