linking, cross-lingual entity linking) TAC 2011 Summarization Track - PowerPoint PPT Presentation

Overview of the TAC2011 Summarization (Guided, AESOP, MultiLing) RTE (within a corpus including novelty detection and ablation testing) Knowledge Base Population (monolingual entity linking, cross-lingual entity linking)

TAC 2011 Summarization Track Guided Summarization task multidocument summarization to create both an initial summary (100 words) update summary (100 words) guided by list of required aspects AESOP (Automatically Evaluating Summaries of Peers) automatic metrics for evaluation of summary quality human-crafted model summaries available source documents available Multiling Summarization Pilot

RTE-­‑7 ¡Main ¡Task ¡Description ¡ • Given ¡ ¡ – a ¡corpus ¡ – a ¡hypothesis ¡H ¡ – a ¡set ¡of ¡"candidate" ¡entailing ¡sentences ¡for ¡ that ¡H ¡retrieved ¡by ¡Lucene ¡from ¡the ¡corpus ¡ ¡ • RTE ¡systems ¡are ¡required ¡ ¡ – to ¡identify ¡all ¡the ¡sentences ¡among ¡the ¡ candidate ¡sentences ¡that ¡entail ¡a ¡given ¡ Hypothesis ¡ NIST - November 14, 2011 RTE-7@TAC2011

RTE-­‑7 ¡Novelty ¡Detection ¡Subtask ¡ Task : ¡ Judge ¡if ¡the ¡information ¡contained ¡in ¡each ¡H ¡(from ¡ Cluster ¡B) ¡is ¡ novel ¡with ¡respect ¡to ¡the ¡information ¡ contained ¡in ¡the ¡set ¡of ¡(Cluster ¡A) ¡candidate ¡ entailing ¡sentences ¡ – If ¡a ¡given ¡H: ¡ • has ¡entailing ¡sentences ¡= ¡information ¡is ¡NOT ¡novel ¡ ¡ • has ¡not ¡entailing ¡sentences ¡= ¡information ¡ ¡is ¡novel ¡ ¡ NIST - November 14, 2011 RTE-7@TAC2011

Ablation ¡Tests ¡-­‑ ¡Resources ¡ # ¡ Impact ¡on ¡Systems ¡ Ablated ¡Resource ¡ Ablation ¡ Positive ¡ Negative ¡ Tests ¡ 8 ¡ WordNet ¡ ¡ ¡ 5 ¡(+9.81%) ¡ 3 ¡(-­‑0.14%) ¡ 3 ¡ Wikipedia ¡ 2 ¡(+8.89%) ¡ 1 ¡(-­‑2.64%) ¡ 1 ¡ VerbOcean ¡ ¡ ¡ 1 ¡(+5.93%) ¡ -­‑ ¡ 1 ¡ DIRECT ¡ 1 ¡(+0.94%) ¡ -­‑ ¡ 1 ¡ Paraphrase ¡table ¡ -­‑ ¡ 1 ¡(-­‑1.43%) ¡ 1 ¡ CatVar ¡ ¡ ¡ 1 ¡(+0.84%) ¡ -­‑ ¡ 1 ¡ Acronym ¡Lists ¡ -­‑ ¡ 1 ¡(-­‑0.16%) ¡ NIST - November 14, 2011 RTE-7@TAC2011

Entity Linking: Create Wiki Entry? NIL <query id="EL000304"> <name> Jim Parsons </name> <docid>eng-NG-31-100578- 11879229</docid> </query> Query type: persons, GPEs, organizations n

What’s New and What Works Source Quer Collection y Statistical Name Variant n Expansion (NUSchime) Query Expansion Collaborative “CCP” vs. “Communist Clustering q Source doc Statistical Party of China” Wiki hyperlink Coreference Model mining “MINDEF” vs. “Ministry of q Resolution Defence” Mention Collaborators New Ranking Algorithms n KB Node Candidate Generation e.g. ListNet (CUNY), q Document Semantic Analysis Random Forests Wiki KB (THUNLP,DMIR_INESCID +Texts IR ) Query Classification n KB Node Candidate Ranking DMIR_INESCID, CUNY, q MSRA unsupervised supervised Graph- Rules IR similarity based classification Go Beyond Single Query n computation and Single KB Entry Wikification (UIUC), NIL Clustering q Graph- Coref Hierarchical Collaborative ranking based agglomerative Name Match (CUNY), Link all entities Topic Link to larger KB Polysemy and and inference (MS_MLI, Modeling and map down synonymy CMCRC) Answer

Cross-lingual Entity Linking <query id="SF114"> <name> 李安 </name> <docid>XIN20030616.0130.0053</docid> </query> Parent: Li Sheng Birth-place: Taiwan Pindong City Residence: Hua Lian Attended-School: NYU

What’s happening in 2012 (this November) Summarization is taking a break; and looking for a new task n There is a huge amount of data/test collections to work with q RTE is taking a break and will reappear in 2013 with a new n task joint with Semeval Student Response Analysis Task Knowledge Base Population is continuing n English entity-linking (25 teams) q English slot-filling (11 teams full slot-filling; 1 team slot-filler validation) q Chinese entity-linking (4 teams) q Spanish entity-linking (4 teams) q Cold Start (4 teams) -- build an entire Knowledge Base from scratch q

Cold Start