The Moment of Meaning The Moment of Meaning - PowerPoint PPT Presentation

The ¡Moment ¡of ¡Meaning ¡

The ¡Moment ¡of ¡Meaning ¡ ¡ ¡ ¡ ¡ ¡ Joint ¡work ¡with: ¡ ¡ o Antonio ¡Toral ¡ Johan ¡Bos ¡ o Barbara ¡Plank ¡ o Duc-­‑Duy ¡Nguyen ¡ o Fabrizio ¡Esposito ¡ o Hessel ¡Haagsma ¡ o Johannes ¡Bjerva ¡ o Kilian ¡Evang ¡ o Lasha ¡Abzianidze ¡ o Malvina ¡Nissim ¡ o Mostafa ¡Abdou ¡ o Noortje ¡Venhuizen ¡ o Pierre ¡Ludmann ¡ o Rik ¡van ¡Noord ¡ o Talita ¡Antonio ¡ o Valerio ¡Basile ¡

recognizing ¡textual ¡entailment, ¡ Montague ¡ under-­‑specificaKon, ¡ large ¡annotated ¡corpora, ¡ semanKcs ¡ automated ¡inference ¡ ¡ distribuKonal ¡semanKcs ¡ parsers ¡for ¡small ¡fragments, ¡ wide ¡coverage ¡ dynamic ¡semanKcs ¡ semanKc ¡parsers ¡

Why ¡Seman6cs? ¡ ① Future ¡Language ¡Technology ¡requires ¡semanKc ¡ interpretaKon ¡– ¡“explainable ¡NLP” ¡ ② Improve ¡MT ¡– ¡contradicKon ¡checking ¡ ③ SemanKcs ¡is ¡fun ¡because ¡it ¡is ¡super-­‑interdisciplinary ¡

Lost ¡in ¡TranslaKon ¡

Nothing sucks like an Electrolux

Machine ¡TranslaKon ¡ 2017: ¡bad ¡ ¡ 2018: ¡good ¡ ¡

Machine ¡TranslaKon ¡

Human ¡Translators ¡

Meaning ¡Banking ¡

Discourse ¡ RepresentaKon ¡ ¡ ¡ ¡ ¡ ¡Mo6va6on ¡ Theory ¡ u Integrate ¡Lexical ¡and ¡Formal ¡Sem. ¡ (Kamp ¡1981) ¡ u Gold-­‑standard ¡meanings ¡ u MulK-­‑lingual ¡ u Resource ¡for ¡parsing/translaKon ¡ ¡ ¡ ¡ ¡ ¡Method ¡ ¡ ¡ ¡ ¡ ¡Results ¡ u Machine-­‑produced, ¡human-­‑corrected ¡ u Four ¡languages ¡ u Language-­‑neutral ¡annotaKon ¡ u WordNet/VerbNet/DRT ¡ u Use ¡parallel ¡corpora ¡ u Bronze/Silver/Gold ¡data ¡ u English ¡first, ¡annotaKon ¡projecKon ¡ u Easily ¡available: ¡pmb.let.rug.nl ¡

Diese ¡Schule ¡wurde ¡1650 ¡gegründet. ¡ This ¡school ¡was ¡founded ¡in ¡1650. ¡

Language-­‑Neutral ¡LinguisKc ¡Analysis ¡ SegmentaKon: ¡ 1 ¡tagset, ¡1 ¡tokeniser ¡(Elephant) ¡ Parsing: ¡ 1 ¡tagset, ¡1 ¡parser ¡(easyCCG) ¡ SemanKc ¡Tagging: ¡ 1 ¡tagset, ¡1 ¡tagger ¡ Boxing: ¡ ¡ 1 ¡boxer ¡

Combinatory ¡ Categorial ¡ ¡ ¡X/Y ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Y ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Y ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡X\Y ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ Grammar ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡> ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡< ¡ (Steedman ¡2000) ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡X ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡X ¡ CCG ¡ ¡X/Y ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Y/Z ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Y\Z ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡X\Y ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡>B ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡<B ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡X/Z ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡X\Z ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡X ¡ ¡ ¡ ¡ ¡X/Y ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Y\Z ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Y/Z ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡X\Y ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡>T ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡>Bx ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡<Bx ¡ ¡ ¡ ¡ ¡Y/(Y\X) ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡X\Z ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡X/Z ¡ ¡(X/Y)/Z ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Y/Z ¡ ¡ ¡ ¡ ¡ ¡Y/Z ¡ ¡ ¡ ¡ ¡ ¡ ¡(X\Y)/Z ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡X ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡>S ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡<Sx ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡<T ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡X/Z ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡X/Z ¡ ¡ ¡ ¡ ¡X\(Y/X) ¡

SyntacKc ¡Analysis ¡-­‑-­‑ ¡CCG ¡

SemanKc ¡Tagging ¡ ● 72 ¡sem-­‑tags ¡divided ¡into ¡13 ¡classes ¡ ● Designed ¡in ¡a ¡data-­‑driven ¡fashion ¡ ● POS-­‑tagging ¡not ¡informaKve ¡enough ¡ ● Includes ¡named ¡enKty ¡recogniKon ¡ ● SemanKcally ¡moKvated ¡ ● Language-­‑neutral ¡ Abdou ¡et ¡al.: ¡ What ¡can ¡we ¡learn ¡from ¡ Seman'c ¡Tagging? ¡ ¡EMNLP ¡2018. ¡ Bjerva, ¡Plank ¡& ¡Bos: ¡ Seman'c ¡Tagging ¡with ¡ Deep ¡Residual ¡Networks . ¡ ¡COLING ¡2016. ¡

ComposiKonal ¡SemanKcs ¡(λ-­‑DRT) ¡

Projec6on ¡with ¡a ¡Twist: ¡EN ¡→ ¡NL ¡(PMB ¡19/0830) ¡ Word ¡alignment ¡(Giza ¡++) ¡ Evang ¡& ¡Bos: ¡ Cross-­‑lingual ¡Learning ¡of ¡an ¡ Open-­‑domain ¡Seman'c ¡Parser . ¡COLING ¡2016. ¡

Copy, ¡Merge ¡& ¡Split ¡ PMB ¡01/0935 ¡ Copy : ¡ ¡ X ¡ ¡ ¡N/N: ¡ default ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ N: ¡ value ¡ transfer ¡of ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡> ¡ category ¡from ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡N: ¡ standaardbedrag ¡ source ¡to ¡target ¡ X ¡ PMB ¡32/2284 ¡ NP: ¡ you ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ (S\NP)/NP: ¡ have ¡ X/Y ¡ Merge : ¡ Y/Z ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡>T ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ two ¡source ¡categories ¡ ¡ merge ¡into ¡one ¡target ¡ ¡ S/(S\NP): ¡ you ¡ X/Z ¡ category ¡(composiKon) ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡>B ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡S/NP: ¡ hai ¡ Split : ¡ X ¡ one ¡source ¡category ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡S [adj] \NP: ¡ impossible ¡ into ¡two ¡target ¡categories ¡ ¡ > ¡ (de-­‑composiKon) ¡ X/X ¡ X ¡ ¡ ¡ ¡(S/NP)/(S\NP): ¡ niet ¡ ¡ ¡ ¡ ¡ ¡ ¡ S [adj] \NP: ¡ mogelijk ¡

ProjecKon ¡challenges ¡– ¡an ¡example ¡ ¡ ¡ ¡PMB: ¡10/0864 ¡ : ¡My ¡eyes ¡hurt. ¡ : ¡Meine ¡Augen ¡schmerzen. ¡ : ¡ Ik ¡heb ¡pijn ¡aan ¡mijn ¡ogen. ¡ : ¡Mi ¡fanno ¡male ¡ gli ¡occhi. ¡ ¡

Learning ¡from ¡translaKons ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡PMB: ¡59/1946 ¡ EN: ¡I ¡ do ¡like ¡ice ¡cream. ¡ DE: ¡Ich ¡mag ¡ wirklich ¡Eiscreme. ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡PMB: ¡68/2811 ¡ ¡ EN: ¡I ¡ do ¡believe ¡it’s ¡called ¡a ¡leek. ¡ ¡ ¡IT: ¡Io ¡credo ¡ davvero ¡che ¡si ¡chiama ¡porro. ¡ ¡ ¡