Modeling Biological Processes for Reading Comprehension - PowerPoint PPT Presentation

Modeling ¡Biological ¡Processes ¡for ¡ Reading ¡Comprehension ¡ Vivek ¡Srikumar ¡ University ¡of ¡Utah ¡ (Previously, ¡Stanford ¡University) ¡ ¡ ¡ Jonathan ¡Berant , ¡Pei-­‑Chun ¡Chen, ¡Abby ¡Vander ¡Linden, ¡ ¡ BriEany ¡Harding, ¡Brad ¡Huang, ¡Peter ¡Clark ¡and ¡Christopher ¡D. ¡Manning ¡ ¡

¡Reading ¡comprehension ¡is ¡hard! ¡ Water ¡is ¡split, ¡providing ¡a ¡source ¡of ¡electrons ¡and ¡ protons ¡(hydrogen ¡ions, ¡H + ) ¡and ¡giving ¡off ¡O 2 ¡as ¡a ¡by-­‑ product. ¡Light ¡absorbed ¡by ¡chlorophyll ¡drives ¡a ¡transfer ¡ of ¡the ¡electrons ¡and ¡hydrogen ¡ions ¡from ¡water ¡to ¡an ¡ acceptor ¡called ¡NADP + . ¡ What ¡can ¡the ¡spliKng ¡of ¡water ¡lead ¡to? ¡ ¡ A: ¡Light ¡absorpNon ¡ ¡ B: ¡ Transfer ¡of ¡ions ¡ ¡

¡Reading ¡comprehension ¡is ¡hard! ¡ Water ¡is ¡split, ¡providing ¡a ¡source ¡of ¡electrons ¡and ¡ protons ¡(hydrogen ¡ions, ¡H + ) ¡and ¡giving ¡off ¡O 2 ¡as ¡a ¡by-­‑ product. ¡Light ¡absorbed ¡by ¡chlorophyll ¡drives ¡a ¡transfer ¡ of ¡the ¡electrons ¡and ¡hydrogen ¡ions ¡from ¡water ¡to ¡an ¡ acceptor ¡called ¡NADP + . ¡ What ¡can ¡the ¡spliKng ¡of ¡water ¡lead ¡to? ¡ ¡ A: ¡Light ¡absorpNon ¡ ¡ B: ¡ Transfer ¡of ¡ions ¡ ¡

¡Reading ¡comprehension ¡is ¡hard! ¡ Water ¡is ¡split , ¡providing ¡a ¡source ¡of ¡electrons ¡and ¡ protons ¡(hydrogen ¡ions, ¡H + ) ¡and ¡giving ¡off ¡O 2 ¡as ¡a ¡by-­‑ product. ¡ Light ¡absorbed ¡ by ¡chlorophyll ¡drives ¡a ¡ transfer ¡ of ¡the ¡electrons ¡and ¡hydrogen ¡ions ¡ from ¡water ¡to ¡an ¡ acceptor ¡called ¡NADP + . ¡ What ¡can ¡the ¡spliKng ¡of ¡water ¡lead ¡to? ¡ ¡ A: ¡Light ¡absorpNon ¡ ¡ B: ¡ Transfer ¡of ¡ions ¡ ¡

¡Reading ¡comprehension ¡is ¡hard! ¡ Enable ¡ Water ¡is ¡split , ¡providing ¡a ¡source ¡of ¡electrons ¡and ¡ protons ¡(hydrogen ¡ions, ¡H + ) ¡and ¡giving ¡off ¡O 2 ¡as ¡a ¡by-­‑ product. ¡ Light ¡absorbed ¡ by ¡chlorophyll ¡drives ¡a ¡ transfer ¡ of ¡the ¡electrons ¡and ¡hydrogen ¡ions ¡ from ¡water ¡to ¡an ¡ acceptor ¡called ¡NADP + . ¡ What ¡can ¡the ¡spliKng ¡of ¡water ¡lead ¡to? ¡ ¡ A: ¡Light ¡absorpNon ¡ ¡ B: ¡ Transfer ¡of ¡ions ¡ ¡

¡Reading ¡comprehension ¡is ¡hard! ¡ Enable ¡ Water ¡is ¡split , ¡providing ¡a ¡source ¡of ¡electrons ¡and ¡ protons ¡(hydrogen ¡ions, ¡H + ) ¡and ¡giving ¡off ¡O 2 ¡as ¡a ¡by-­‑ product. ¡ Light ¡absorbed ¡ by ¡chlorophyll ¡drives ¡a ¡ transfer ¡ of ¡the ¡electrons ¡and ¡hydrogen ¡ions ¡ from ¡water ¡to ¡an ¡ acceptor ¡called ¡NADP + . ¡ Cause ¡ What ¡can ¡the ¡spliKng ¡of ¡water ¡lead ¡to? ¡ ¡ A: ¡Light ¡absorpNon ¡ ¡ B: ¡ Transfer ¡of ¡ions ¡ ¡

ContribuNons ¡ 1. A ¡new ¡reading ¡comprehension ¡task ¡requiring ¡reasoning ¡ over ¡processes ¡ ¡ ¡Processes ¡are ¡fundamental ¡in ¡many ¡domains ¡ 2. A ¡new ¡dataset ¡ ProcessBank ¡consisNng ¡of ¡ descripNons ¡of ¡biological ¡processes ¡with ¡ Rich ¡process ¡structure ¡annotated, ¡ and ¡ – MulNple-­‑choice ¡quesNons ¡ – 3. A ¡new ¡end-­‑to-­‑end ¡system ¡for ¡reading ¡comprehension ¡ Predict ¡structure ¡and ¡treat ¡it ¡as ¡a ¡knowledge ¡base ¡ – Parse ¡quesNon ¡as ¡query ¡to ¡this ¡KB ¡(semanNc ¡parsing) ¡ –

A ¡new ¡dataset: ¡ ProcessBank �

MoNvaNon: ¡macro ¡vs. ¡micro ¡reading ¡ • Macro ¡reading: ¡ – Exploits ¡web-­‑scale ¡redundancy ¡ [Etzioni ¡et ¡al., ¡2006, ¡Carlson ¡et ¡al., ¡2010, ¡Fader ¡et ¡al., ¡2011] ¡ – Factoid ¡quesNons ¡ [Berant ¡el ¡al., ¡2014, ¡Fader ¡et ¡al., ¡2014] ¡ • Micro ¡reading: ¡ Chosen ¡domain: ¡ ¡ – Single ¡document ¡ Biological ¡process ¡ – Requires ¡reasoning ¡ ¡ descrip3ons ¡ – Non-­‑factoid ¡quesNons ¡ [Richardson ¡et ¡al., ¡2013, ¡Kushman ¡et ¡al., ¡2014] ¡

Processes ¡abound ¡in ¡biology ¡ Nitrogen ¡Cycle ¡ Tissue ¡Engineering ¡ Central ¡Dogma ¡of ¡Molecular ¡Biology ¡

CreaNng ¡a ¡difficult ¡reading ¡ comprehension ¡task ¡ 200 ¡paragraphs ¡from ¡the ¡textbook ¡ Biology ¡ Extending ¡[Scaria, ¡et ¡al. ¡2013] ¡ [Campbell ¡& ¡Reese, ¡2005] ¡ ¡ Desiderata ¡ 1. Test ¡understanding ¡of ¡inter-­‑relaNons ¡between ¡ events ¡and ¡enNNes ¡ 2. Both ¡answers ¡should ¡have ¡similar ¡lexical ¡overlap: ¡ Trump ¡shallow ¡approaches ¡ • Sidestep ¡lexical ¡variability ¡ •

Reading ¡comprehension ¡annotaNon ¡ • AnnotaNon ¡instrucNons: ¡Ask ¡quesNons ¡about ¡events, ¡ enNNes ¡and ¡their ¡relaNonships ¡ – 10 ¡examples ¡provided ¡ – Two ¡answer ¡choices, ¡only ¡one ¡unambiguously ¡correct ¡ • 200 ¡paragraphs ¡ ! ¡585 ¡quesNons ¡ • Second ¡annotator ¡answered ¡the ¡quesNons ¡ – 98.1% ¡agreement ¡

Examples ¡of ¡annotated ¡quesNons ¡ Dependencies ¡between ¡events/en33es ¡(70%) ¡ Q: ¡ What ¡can ¡the ¡spli4ng ¡of ¡water ¡lead ¡to? ¡ ¡ A: ¡Light ¡absorpNon ¡ B: ¡Transfer ¡of ¡ions ¡ ¡ ¡ Temporal ¡ordering ¡of ¡events ¡(10%) ¡ Q: ¡ What ¡is ¡the ¡correct ¡order ¡of ¡events? ¡ A: ¡PDGF ¡binds ¡to ¡tyrosine ¡kinases, ¡then ¡cells ¡divide, ¡then ¡wound ¡healing ¡ ¡ B: ¡Cells ¡divide, ¡then ¡PDGF ¡binds ¡to ¡tyrosine ¡kinases, ¡then ¡wound ¡healing ¡ ¡ True-­‑False ¡ques3ons ¡(20%) ¡ Q: ¡ Cdk ¡associates ¡with ¡MPF ¡to ¡become ¡cyclin ¡ A: ¡True ¡ B: ¡ False ¡ ¡

A ¡second ¡layer ¡of ¡annotaNon: ¡ Process ¡structures ¡ Water ¡is ¡split , ¡providing ¡a ¡source ¡of ¡electrons ¡and ¡protons ¡ (hydrogen ¡ions, ¡H + ) ¡and ¡giving ¡off ¡O2 ¡as ¡a ¡by-­‑product. ¡ Light ¡ absorbed ¡ by ¡chlorophyll ¡drives ¡a ¡ transfer ¡of ¡the ¡electrons ¡and ¡ hydrogen ¡ions ¡ from ¡water ¡to ¡an ¡acceptor ¡called ¡NADP + . ¡

A ¡second ¡layer ¡of ¡annotaNon: ¡ Process ¡structures ¡ Water ¡is ¡split , ¡providing ¡a ¡source ¡of ¡electrons ¡and ¡protons ¡ (hydrogen ¡ions, ¡H + ) ¡and ¡giving ¡off ¡O2 ¡as ¡a ¡by-­‑product. ¡ Light ¡ absorbed ¡ by ¡chlorophyll ¡drives ¡a ¡ transfer ¡of ¡the ¡electrons ¡and ¡ hydrogen ¡ions ¡ from ¡water ¡to ¡an ¡acceptor ¡called ¡NADP + . ¡ split ¡ absorb ¡ Triggers : ¡Tokens ¡ denoNng ¡occurrence ¡of ¡ an ¡event ¡ transfer ¡

A ¡second ¡layer ¡of ¡annotaNon: ¡ Process ¡structures ¡ Water ¡is ¡split , ¡providing ¡a ¡source ¡of ¡electrons ¡and ¡protons ¡ (hydrogen ¡ions, ¡H + ) ¡and ¡giving ¡off ¡O2 ¡as ¡a ¡by-­‑product. ¡ Light ¡ absorbed ¡ by ¡chlorophyll ¡drives ¡a ¡ transfer ¡of ¡the ¡electrons ¡and ¡ hydrogen ¡ions ¡ from ¡water ¡to ¡an ¡acceptor ¡called ¡NADP + . ¡ Theme ¡ Theme ¡ water ¡ split ¡ absorb ¡ light ¡ Triggers : ¡Tokens ¡ denoNng ¡occurrence ¡of ¡ Theme ¡ an ¡event ¡ transfer ¡ ions ¡ Arguments : ¡Agent, ¡Theme, ¡ Source, ¡DesGnaGon, ¡ LocaGon, ¡Result ¡ and ¡ Other ¡

A ¡second ¡layer ¡of ¡annotaNon: ¡ Process ¡structures ¡ Water ¡is ¡split , ¡providing ¡a ¡source ¡of ¡electrons ¡and ¡protons ¡ (hydrogen ¡ions, ¡H + ) ¡and ¡giving ¡off ¡O2 ¡as ¡a ¡by-­‑product. ¡ Light ¡ absorbed ¡ by ¡chlorophyll ¡drives ¡a ¡ transfer ¡of ¡the ¡electrons ¡and ¡ hydrogen ¡ions ¡ from ¡water ¡to ¡an ¡acceptor ¡called ¡NADP + . ¡ Theme ¡ Theme ¡ water ¡ split ¡ absorb ¡ light ¡ Enable ¡ Cause ¡ Triggers : ¡Tokens ¡ denoNng ¡occurrence ¡of ¡ Theme ¡ an ¡event ¡ transfer ¡ ions ¡ Arguments : ¡Agent, ¡Theme, ¡ E-­‑E ¡rela3ons : ¡Cause, ¡Enable, ¡ Source, ¡DesGnaGon, ¡ Prevent, ¡Super, ¡Same ¡ LocaGon, ¡Result ¡ and ¡ Other ¡