who is he
play

Who is he? VP NP Berkeley PRP VBZ NP NP N - PDF document

Dec 04, 2022 •416 likes •516 views

11/13/14 Sentence-level Analysis Natural Language Processing S Who is he? VP NP Berkeley PRP VBZ NP NP N L P

  1. 11/13/14 ¡ Sentence-­‑level ¡Analysis ¡ Natural ¡Language ¡Processing ¡ S ¡ Who ¡is ¡he? ¡ VP ¡ NP ¡ Berkeley ¡ PRP ¡ VBZ ¡ NP ¡ NP ¡ N ¡ ¡ ¡ ¡L ¡ ¡ ¡ ¡P ¡ … ¡He ¡signed ¡the ¡bill ¡ ¡last ¡Thursday ¡… ¡ Coreference ¡Resolu8on ¡and ¡En8ty ¡Linking ¡ e. ¡sign(e, ¡he, ¡bill) ¡& ¡date(e, ¡last ¡Thursday) ¡ UC ¡Berkeley ¡ Document-­‑level ¡Analysis ¡ Document-­‑level ¡Analysis ¡ President ¡Barack ¡Obama ¡received ¡the ¡Serve ¡ President ¡Barack ¡Obama ¡received ¡the ¡Serve ¡ America ¡Act ¡aOer ¡Congress’s ¡vote. ¡He ¡signed ¡the ¡ America ¡Act ¡aOer ¡Congress’s ¡vote. ¡He ¡signed ¡the ¡ bill ¡last ¡Thursday. ¡The ¡president ¡said ¡it ¡would ¡ bill ¡last ¡Thursday. ¡The ¡president ¡said ¡it ¡would ¡ greatly ¡increase ¡service ¡opportuni8es ¡for ¡the ¡ greatly ¡increase ¡service ¡opportuni8es ¡for ¡the ¡ American ¡people. ¡ American ¡people. ¡ Document-­‑level ¡Analysis ¡ Narra8ve ¡Structure ¡ Discourse ¡(rhetorical, ¡temporal ¡structure) ¡ President ¡Barack ¡Obama ¡received ¡the ¡Serve ¡ America ¡Act ¡aOer ¡Congress’s ¡vote. ¡He ¡signed ¡the ¡ bill ¡last ¡Thursday. ¡The ¡president ¡said ¡it ¡would ¡ greatly ¡increase ¡service ¡opportuni8es ¡for ¡the ¡ Events ¡ American ¡people. ¡ En88es ¡ Text ¡ 1 ¡

  2. 11/13/14 ¡ En8ty ¡Analysis ¡ Coreference ¡ Input: ¡text ¡(and ¡men8ons) ¡ President ¡Barack ¡Obama ¡received ¡the ¡Serve ¡ America ¡Act ¡aOer ¡Congress’s ¡vote. ¡He ¡signed ¡the ¡ President ¡Barack ¡Obama ¡received ¡the ¡Serve ¡America ¡Act ¡aOer ¡ bill ¡last ¡Thursday. ¡The ¡president ¡said ¡it ¡would ¡ Congress’s ¡vote. ¡He ¡signed ¡the ¡bill ¡last ¡Thursday. ¡The ¡president ¡ said ¡it ¡would ¡greatly ¡increase ¡service ¡opportuni8es ¡for ¡the ¡ greatly ¡increase ¡service ¡opportuni8es ¡for ¡the ¡ American ¡people. ¡ American ¡people. ¡ Output: ¡clustering ¡of ¡the ¡men8ons ¡in ¡text ¡ Cluster ¡1 ¡ en.wikipedia.org/wiki/Barack_Obama � President ¡Barack ¡Obama ¡received ¡the ¡Serve ¡America ¡Act ¡aOer ¡ Cluster ¡2 ¡ .../wiki/Edward_M._Kennedy_Serve_America_Act � Congress’s ¡vote. ¡He ¡signed ¡the ¡bill ¡last ¡Thursday. ¡The ¡president ¡ said ¡it ¡would ¡greatly ¡increase ¡service ¡opportuni8es ¡for ¡the ¡ Cluster ¡3 ¡ .../wiki/United_States_Congress � American ¡people. ¡ Pragma8cs ¡101 ¡ Pragma8cs ¡101 ¡ President ¡Barack ¡Obama ¡received ¡the ¡Serve ¡ President ¡Barack ¡Obama ¡received ¡the ¡Serve ¡ America ¡Act ¡aOer ¡Congress’s ¡vote. ¡ America ¡Act ¡aOer ¡Congress’s ¡vote. ¡ President ¡Barack ¡Obama ¡signed ¡the ¡Serve ¡ He ¡signed ¡the ¡bill ¡last ¡Thursday. ¡ America ¡Act ¡last ¡Thursday. ¡ President ¡Barack ¡Obama ¡said ¡… ¡ President ¡Barack ¡Obama ¡said ¡… ¡ Pragma8cs ¡101 ¡ Pragma8cs ¡101 ¡ President ¡Barack ¡Obama ¡received ¡the ¡Serve ¡ America ¡Act ¡aOer ¡Congress’s ¡vote. ¡ President ¡Barack ¡Obama ¡ He ¡ ¡ He ¡signed ¡the ¡bill ¡last ¡Thursday. ¡ antecedent ¡ anaphor ¡ ¡ The ¡president ¡said ¡… ¡ • Coreference ¡is ¡answering ¡the ¡ques8on ¡“who ¡is ¡ Proper ¡name ¡ Nominal ¡ Pronoun ¡ my ¡antecedent?” ¡for ¡each ¡men8on ¡ Specificity ¡ • Propers, ¡nominals, ¡and ¡pronouns ¡resolve ¡ Salience ¡required ¡ differently! ¡ 2 ¡

  3. 11/13/14 ¡ Proper ¡Names ¡ Pronouns ¡ President ¡Barack ¡Obama ¡received ¡the ¡Serve ¡America ¡ • Introduce ¡new ¡en88es ¡and ¡give ¡informa8on: ¡ Act ¡aOer ¡Congress’s ¡vote. ¡ He ¡… ¡ President ¡Barack ¡Obama, ¡44th ¡president ¡of ¡ President ¡Obama ¡met ¡with ¡Chancellor ¡Merkel. ¡ He ¡ … ¡ the ¡United ¡States, ¡… ¡ President ¡Obama ¡met ¡with ¡President ¡Hollande ¡aOer ¡ President ¡Obama ¡ flew ¡in ¡from ¡Paris. ¡ signed ¡the ¡bill. ¡ he… ¡ • Main ¡cues: ¡agreement, ¡salience ¡ Obama ¡ • Main ¡cue: ¡lexical ¡overlap ¡ Nominal ¡References ¡ What ¡do ¡we ¡need ¡to ¡capture? ¡ • Salience: ¡distance ¡to ¡previous ¡men8on ¡ President ¡Obama ¡… ¡The ¡president ¡ • Seman8c ¡compa8bility: ¡agreement ¡in ¡number, ¡ Serve ¡America ¡Act ¡… ¡The ¡bill ¡ gender, ¡animacy, ¡seman8c ¡type, ¡iden8ty ¡ Barack ¡Obama ¡and ¡Angela ¡Merkel ¡… ¡The ¡leaders ¡ “A ¡men8on ¡refers ¡to ¡the ¡closest ¡compa8ble ¡ antecedent” ¡ NBC ¡… ¡The ¡network ¡ • A ¡rule-­‑based ¡system ¡based ¡on ¡this ¡principal ¡ • Main ¡cues: ¡lexical ¡seman8cs, ¡world ¡ won ¡the ¡CoNLL ¡2011 ¡bakeoff! ¡ knowledge, ¡salience ¡ Haghighi ¡and ¡Klein ¡(2009), ¡Raghunathan ¡et ¡al. ¡(2010) ¡ Problem: ¡Robustness ¡ Learning-­‑based ¡Coreference ¡ • Number ¡and ¡gender ¡are ¡misiden8fied ¡ • Generic ¡men8ons ¡oOen ¡don’t ¡corefer ¡( officials ) ¡ • Seman8c ¡similarity ¡is ¡a ¡soO ¡concept ¡ (some8mes ¡ Washington ¡and ¡ the ¡US ¡ corefer) ¡ New ¡ New ¡ New ¡ New ¡ 1 ¡ 1 ¡ 2 ¡ • Even ¡head ¡match ¡is ¡not ¡always ¡reliable ¡( Gaza ¡ 1 ¡ 2 ¡ 3 ¡ Strip ¡and ¡ Southern ¡Gaza ¡Strip ) ¡ President ¡ the ¡Serve ¡ Congress ¡ He ¡ Obama ¡ America ¡Act ¡ 3 ¡

  4. 11/13/14 ¡ Features ¡ What ¡else ¡do ¡these ¡capture? ¡ • Centering: ¡progression ¡of ¡men8on ¡posi8ons ¡tell ¡us ¡ Ment. ¡distance=3 ¡ No ¡head ¡match ¡ [new] ¡PRONOUN ¡ something ¡about ¡discourse ¡status ¡ PROPER —he ¡ Male—he ¡ [new] ¡ he ¡ Barack ¡Obama ¡met ¡with ¡Harry ¡Reid ¡on ¡Monday. ¡ Obama—he ¡ Barack—he ¡ [new] ¡ X ¡signed ¡ He ¡discussed ¡several ¡key ¡poli8cal ¡issues ¡with ¡Reid. ¡ X ¡received—he ¡ PROPER —X ¡signed ¡ [new] ¡. ¡ X ¡ On ¡Tuesday, ¡he ¡announced ¡a ¡new ¡ini8a8ve. ¡ he ¡ ¡ Anaph. ¡ Length ¡1 ¡ Ant . ¡ Length ¡2 ¡ [new] ¡Length ¡1 ¡ • X ¡ discussed —X ¡ announced ¡ • Definiteness: ¡ the ¡president ¡is ¡probably ¡a ¡president ¡ already ¡in ¡the ¡discourse ¡ Barack ¡Obama ¡received ¡ … ¡ ¡ … ¡ vote ¡ . ¡He ¡signed ¡ • [new] ¡First ¡word ¡= ¡ the ¡ Type ¡= ¡PROPER, ¡Male, ¡sing. ¡ Type ¡= ¡PRONOUN, ¡Male, ¡sing. ¡ Length ¡= ¡2 ¡ Length ¡= ¡1 ¡ Datasets ¡ Metrics ¡ coref ¡metrics ¡ • OntoNotes ¡dataset: ¡4000 ¡documents ¡(mix ¡of ¡news, ¡ conversa8ons, ¡web) ¡with ¡parses, ¡named ¡en88es, ¡ coreference ¡ • You ¡have ¡to ¡predict ¡your ¡own ¡en88es, ¡and ¡single-­‑ men8on ¡en88es ¡are ¡not ¡annotated ¡ Randall ¡Munroe; ¡hop://xkcd.com/927 ¡ Metrics ¡ Results ¡ • MUC: ¡“How ¡many ¡antecedents ¡did ¡you ¡get ¡ 75 ¡ 75 ¡ right?” ¡(linear ¡in ¡cluster ¡size) ¡ 70 ¡ • B 3 : ¡“How ¡many ¡edges ¡in ¡predicted ¡clusters ¡did ¡you ¡ get ¡right?” ¡(quadra8c ¡in ¡cluster ¡size) ¡ Stanford ¡ 65 ¡ Berkeley ¡ • CEAF: ¡“Do ¡a ¡maximum ¡matching ¡between ¡predicted ¡ Human ¡ and ¡gold ¡en88es; ¡how ¡close ¡are ¡they?” ¡(???) ¡ 60 ¡ 61 ¡ 57 ¡ • CEAF-­‑M, ¡BLANC, ¡etc. ¡ 55 ¡ • CoNLL ¡= ¡(MUC ¡+ ¡B 3 ¡+ ¡CEAF)/3 ¡ 50 ¡ 4 ¡

  5. 11/13/14 ¡ Results ¡ Error ¡Analysis ¡ 75 ¡ 75 ¡ 70 ¡ Stanford ¡ 65 ¡ Berkeley ¡ 60 ¡ 61 ¡ Human ¡ 57 ¡ 55 ¡ 50 ¡ Error ¡Analysis ¡ Error ¡Analysis ¡ Error ¡Analysis ¡ World ¡Knowledge ¡ America ¡Online ¡announced ¡on ¡Monday ¡that ¡the ¡ company ¡plans ¡to ¡update ¡its ¡instant ¡messaging ¡ service. ¡ Predic8on: ¡ America ¡Online ¡announced ¡on ¡Monday ¡that ¡the ¡ company ¡plans ¡to ¡update ¡its ¡instant ¡messaging ¡ service. ¡ 5 ¡

Recommend

More recommend