Organizing Harvested Knowledge Eduard Hovy USC/ISI (and - PowerPoint PPT Presentation

Organizing ¡Harvested ¡Knowledge ¡ ¡ Eduard ¡Hovy ¡ USC/ISI ¡ (and ¡soon, ¡CMU) ¡

Our ¡basic ¡premise ¡ ¡ • NLP ¡applicaDons ¡need ¡[semanDc] ¡informaDon ¡ ¡ • Every ¡semanDc ¡representaDon ¡ever ¡built ¡can ¡ be ¡represented ¡as ¡a ¡network/graph/frame ¡of ¡ units ¡(terms/nodes) ¡and ¡relaDons ¡(links/ edges) ¡ • By ¡cleverly ¡matching ¡paMerns ¡to ¡large ¡corpora ¡ in ¡various ¡ways ¡we ¡can ¡harvest ¡[most?] ¡units ¡ and ¡relaDons ¡ ¡

So ¡it ¡is ¡natural ¡to ¡ask… ¡ • What ¡kinds ¡of ¡units ¡and ¡relaDons ¡should ¡be ¡ harvested ¡[for ¡a ¡given ¡domain]? ¡ ¡ – How ¡many? ¡ ¡ Don’t ¡know ¡ – How ¡to ¡integrate, ¡organize, ¡and ¡store ¡them? ¡ ¡ Don’t ¡know ¡ • How ¡do ¡you ¡measure ¡results? ¡ ¡ – Precision ¡and ¡Recall ¡— ¡against ¡what? ¡ ¡ ¡ Don’t ¡know ¡ Don’t ¡know ¡ – Extrinsic ¡tasks ¡— ¡which? ¡ ¡ • How ¡do ¡you ¡make ¡public ¡and ¡integrate ¡results? ¡ ¡ – YAGO, ¡NELL, ¡Textrunner, ¡others…. ¡ Don’t ¡know ¡

Kinds ¡of ¡knowledge ¡harvested ¡ ¡ • Concepts : ¡ car, ¡jaguar, ¡dreaming ¡ ¡ ¡ • Instances : ¡ Albert ¡Einstein, ¡Montreal, ¡WW ¡II ¡ ¡ ¡ • Rela-ons ¡ (perhaps ¡with ¡properDes ¡/ ¡role ¡filler ¡ ¡ constraints): ¡ color-­‑of(en;ty,color), ¡birthdate(living-­‑ being,date) ¡ ¡ – Eventually: ¡use ¡partly ¡instanDated ¡relaDons ¡as ¡axioms: ¡ insects ¡fly-­‑to ¡flowers, ¡people ¡fly-­‑to ¡ci;es/par;es/family ¡ • Challenges: ¡ ¡ The ¡NLP ¡researcher ¡ Jerry ¡Hobbs ¡ The ¡criminal ¡ – Sense ¡disambiguaDon ¡ The ¡President ¡ – Synonymy ¡(enDty ¡linking) ¡ ¡ Person3013 ¡ Barack ¡Obama ¡

Let’s ¡talk ¡about ¡relaDons ¡ • The ¡semanDcs ¡is ¡not ¡in ¡the ¡units/symbols, ¡it’s ¡in ¡ their ¡relaDonships ¡to ¡one ¡another ¡ ¡ • Luckily, ¡we ¡can ¡also ¡harvest ¡these ¡relaDons ¡ • The ¡trouble ¡is, ¡we ¡don’t ¡know ¡which ¡relaDons ¡ there ¡are, ¡overall ¡or ¡even ¡per ¡concept ¡type… ¡ ¡ – EnDty ¡relaDons: ¡ ¡ • is-­‑a ¡ ¡ • Physical ¡enDDes: ¡relaDons ¡for ¡all ¡the ¡aMributes ¡( size, ¡color, ¡ weight, ¡age, ¡name , ¡etc.) ¡ ¡ • Non-­‑physical ¡ones: ¡other ¡aMributes? ¡ ¡ • What ¡about ¡funcDons, ¡sources, ¡etc,? ¡ ¡ – Event ¡relaDons: ¡ ¡

Approaches ¡toward ¡event ¡roles ¡ ¡ 1. ¡ Case ¡roles : ¡ ¡ – Charles ¡Fillmore: ¡ The ¡Case ¡for ¡Case , ¡1968. ¡Each ¡verb ¡has ¡ a ¡set ¡of ¡‘deep ¡case’ ¡roles, ¡named ¡ ¡ – Usual ¡approach: ¡~25, ¡then ¡~150, ¡taxonomized ¡ ¡ 2. ¡ Dependencies , ¡some ¡of ¡them ¡named: ¡ ¡ – Lucien ¡Tesniere: ¡ Éléments ¡de ¡syntaxe ¡structurale , ¡1959. ¡ ¡ (Father ¡of ¡dependency ¡grammar.) ¡ ¡Each ¡verb ¡has ¡a ¡small ¡ core ¡set ¡of ¡idiosyncraDc ¡roles, ¡plus ¡addiDonal ¡standard ¡ ones ¡ ¡ – Like ¡PropBank’s ¡ arg0, ¡arg1, ¡…, ¡argM-­‑loc, ¡argM-­‑;me ¡ 3. ¡ FrameNet/Hobbs ¡ soluDon: ¡ ¡ – Every ¡enDty ¡has ¡its ¡own ¡relaDon ¡set; ¡don’t ¡bother ¡to ¡try ¡ to ¡generalize ¡ ¡

The ¡FrameNet ¡soluDon ¡ • FrameNet : ¡ ¡ – Why ¡do ¡you ¡use ¡frame-­‑specific ¡frame ¡element ¡names ¡rather ¡than ¡ thema-c ¡roles? ¡ ¡ ¡First ¡of ¡all, ¡there ¡are ¡too ¡many ¡different ¡seman-c ¡rela-ons ¡ to ¡fit ¡into ¡any ¡of ¡the ¡so-­‑called ¡standard ¡list ¡of ¡thema-c ¡roles ¡or ¡case ¡roles. ¡We ¡ are ¡in ¡the ¡process ¡of ¡preparing ¡a ¡more ¡complete ¡answer ¡to ¡this ¡ques-on… ¡ – Doesn't ¡this ¡frame-­‑specific ¡approach ¡lead ¡to ¡mul-ple ¡names ¡for ¡what ¡is ¡ really ¡the ¡same ¡frame? ¡ ¡ ¡ Strictly ¡speaking ¡the ¡frame ¡element ¡names ¡ proposed ¡for ¡one ¡frame ¡are ¡rela-ve ¡to ¡that ¡frame, ¡so ¡decisions ¡about ¡choosing ¡ labels ¡that ¡are ¡also ¡used ¡in ¡other ¡frames ¡are ¡always ¡reparable. ¡We ¡want ¡the ¡ cross-­‑frame ¡recycling ¡of ¡frame ¡element ¡names ¡to ¡be ¡jus-fied, ¡ul-mately, ¡ through ¡establishing ¡principles ¡of ¡frame ¡inheritance. ¡The ¡picture ¡is ¡complicated ¡ … ¡because ¡of ¡the ¡possibility ¡of ¡mul-ple ¡inheritance: ¡the ¡same ¡argument ¡of ¡a ¡ single ¡predicate ¡can ¡be ¡seen ¡as ¡an ¡instance ¡of ¡one ¡frame ¡element ¡by ¡virtue ¡of ¡ its ¡membership ¡in ¡one ¡frame, ¡of ¡another ¡frame ¡element ¡through ¡its ¡ par-cipa-on ¡in ¡a ¡different ¡co-­‑exis-ng ¡frame. ¡For ¡our ¡purpose ¡in ¡the ¡annota-on ¡ phase ¡of ¡the ¡work, ¡the ¡main ¡func-on ¡of ¡the ¡frame ¡element ¡labels ¡is ¡to ¡be ¡ transparent ¡to ¡the ¡annotators…. ¡

Approaches ¡2 ¡ 4. ¡The ¡‘ subatomic ¡par-cle’ ¡ soluDon: ¡Try ¡to ¡develop ¡elemental ¡ aspects ¡of ¡relaDons ¡and ¡combine ¡them ¡to ¡form ¡case ¡roles: ¡ ¡ – PaDent ¡(enDty ¡changed ¡by ¡event): ¡+ change , ¡-­‑ uses -­‑ energy , ¡ + event -­‑ root-­‑en;ty ¡ – Theme ¡(enDty ¡is ¡unchanged ¡by ¡event, ¡info ¡is ¡needed): ¡-­‑ change, ¡ ¡ -­‑uses-­‑energy, ¡ + event -­‑ root-­‑en;ty ¡ – Agent ¡(uses ¡‘energy’ ¡to ¡iniDate ¡event, ¡causes ¡change): ¡-­‑ change , ¡ + uses -­‑ energy, ¡ + cause, ¡ -­‑ event -­‑ root-­‑en;ty ¡ – Instr ¡(mediates ¡transmission ¡of ¡‘energy’ ¡to ¡paDent, ¡or ¡of ¡info ¡to ¡ agent): ¡-­‑ uses -­‑ energy , ¡-­‑ change , ¡+ cause, ¡ -­‑ event -­‑ root-­‑en;ty ¡ 5. ¡ Autoencoders : ¡ ¡ – Neural ¡networks ¡encode ¡words ¡into ¡vector ¡spaces ¡that ¡predict ¡ how ¡likely ¡given ¡words ¡are ¡to ¡appear ¡in ¡given ¡role ¡posiDons ¡ ¡ – This ¡implicitly ¡encodes ¡role ¡preferences ¡ ¡ – Collobert ¡and ¡Weston ¡08; ¡Bengio ¡09; ¡Turian ¡et ¡al. ¡10; ¡Socher ¡et ¡ al. ¡11 ¡ ¡ ¡

Taxonomy ¡of ¡top-­‑level ¡case ¡relaDons ¡ ¡ • Events: ¡Case ¡roles ¡ ¡ Agent ¡ PaDent ¡ Instr ¡ SpaDo-­‑Temporal ¡ Benef ¡ family ¡ family ¡ family ¡ family ¡ ¡ Agent ¡ Experiencer ¡ PaDent ¡ Theme ¡ Tool ¡ Prop ¡ Loc ¡ Source ¡Dest ¡ Time ¡ Prep ¡senses: ¡SemEval ¡2007; ¡Hovy ¡et ¡al. ¡11 ¡ • Objects: ¡Property ¡relaDons ¡ ¡ Structure ¡ Provenance ¡ FuncDon ¡ family ¡ family ¡ family ¡ Use ¡ Purpose ¡ OperaDon ¡ Source ¡ Maker ¡ Morphology ¡ Material ¡ Noun-­‑noun ¡relaDon ¡senses: ¡Tratz ¡and ¡Hovy ¡10 ¡

EnDDes: ¡Noun-­‑noun ¡relaDons ¡ ¡ • Created ¡about ¡45 ¡relaDons, ¡taxonomized ¡ ¡ – Annotated ¡15k ¡NN ¡expressions ¡ ¡ – Compared ¡to ¡and ¡absorbed ¡data ¡from ¡previous ¡studies ¡in ¡ NLP ¡and ¡LinguisDcs ¡ ¡ – RelaDons ¡overlap ¡about ¡50% ¡with ¡SemEval ¡prep ¡senses ¡ • ValidaDon: ¡Annotated ¡test ¡data ¡on ¡MTurk ¡ – 25 ¡annotators, ¡8c/decision ¡ ¡ – Weighted ¡them ¡by ¡overall ¡group ¡agreement ¡ ¡ ¡ • Built ¡automated ¡NN ¡classifier ¡ ¡ – 10x ¡cross-­‑validaDon: ¡79.3% ¡agreement ¡ ¡ – Merged ¡into ¡Tratz ¡parser ¡ ¡ • See ¡(Tratz ¡and ¡Hovy ¡ACL-­‑10) ¡ ¡