Seman<cs of Language Learning Language from The - PDF document

Seman<cs ¡of ¡Language ¡ ¡ Learning ¡Language ¡from ¡ • The ¡ meaning ¡of ¡words, ¡phrases, ¡etc ¡ • Learning ¡seman<cs ¡of ¡language ¡is ¡one ¡of ¡the ¡ Perceptual ¡Context ul<mate ¡goals ¡in ¡natural ¡language ¡processing ¡ • The ¡meanings ¡of ¡many ¡words ¡are ¡grounded ¡in ¡ David ¡Chen ¡ our ¡percep<on ¡of ¡the ¡physical ¡world: ¡red, ¡ball, ¡ cup, ¡run, ¡hit, ¡fall, ¡etc. ¡[Harnad, ¡1990] ¡ Supervising ¡Professor: ¡Raymond ¡J. ¡Mooney ¡ • Computer ¡representa<on ¡should ¡also ¡be ¡ Doctoral ¡Disserta<on ¡Proposal ¡ grounded ¡in ¡real ¡world ¡percep<on ¡ December ¡15, ¡2009 ¡ 1 ¡ 2 ¡ Grounding ¡Language ¡ Grounding ¡Language ¡ Spanish goalkeeper Block( Casillas ) Casillas blocks the Spanish goalkeeper Block( Casillas ) Casillas blocks the ball ball 3 ¡ 4 ¡ Natural ¡Language ¡and ¡ Natural ¡Language ¡and ¡ Meaning ¡Representa<on ¡ Meaning ¡Representa<on ¡ Natural Language (NL) Spanish goalkeeper Block( Casillas ) Spanish goalkeeper Block( Casillas ) Casillas blocks the Casillas blocks the ball ball NL: A language that has evolved naturally, such as English, German, French, Chinese, etc 5 ¡ 6 ¡

Natural ¡Language ¡and ¡ Seman<c ¡Parsing ¡and ¡ Meaning ¡Representa<on ¡ Tac<cal ¡Genera<on ¡ Meaning Representation Natural Language (NL) NL MRL Language (MRL) Spanish goalkeeper Block( Casillas ) Spanish goalkeeper Block( Casillas ) Casillas blocks the Casillas blocks the ball ball Seman4c ¡Parsing ¡(NL ¡  ¡MRL) ¡ NL: A language that has evolved naturally, such Seman4c ¡Parsing: ¡maps ¡a ¡natural-­‑language ¡sentence ¡to ¡a ¡ as English, German, French, Chinese, etc complete, ¡detailed ¡seman<c ¡representa<on ¡ MRL: Formal languages such as logic or any computer-executable code 7 ¡ 8 ¡ Seman<c ¡Parsing ¡and ¡ Strategic ¡Genera<on ¡ Tac<cal ¡Genera<on ¡ Pass(Beck, Hunt) NL Tac4cal ¡Genera4on ¡(NL ¡  ¡MRL) ¡ MRL Pass(Hunt, Podolski) Block( Casillas ) Shoot(Podolski) Spanish goalkeeper Block( Casillas ) Casillas blocks the Block( Casillas ) ball … Seman4c ¡Parsing ¡(NL ¡  ¡MRL) ¡ Seman4c ¡Parsing: ¡maps ¡a ¡natural-­‑language ¡sentence ¡to ¡a ¡ • Strategic ¡Genera4on ¡(Content ¡Selec4on): ¡ complete, ¡detailed ¡seman<c ¡representa<on ¡ Given ¡a ¡set ¡of ¡meaning ¡representa<ons, ¡select ¡ Tac4cal ¡Genera4on: ¡Generates ¡a ¡natural-­‑language ¡sentence ¡ a ¡subset ¡ from ¡a ¡meaning ¡representa<on. ¡ 9 ¡ 10 ¡ Tradi<onal ¡Learning ¡Approach ¡ Applica<ons ¡ • Natural ¡language ¡interface ¡ Seman<c ¡Parser ¡ – Issue ¡commands ¡and ¡queries ¡in ¡natural ¡language ¡ Learner ¡ – Computer ¡responds ¡with ¡answer ¡in ¡natural ¡ language ¡ Manually ¡Annotated ¡ ¡ Training ¡Corpora ¡ • Knowledge ¡acquisi<on ¡ (NL/MRL ¡pairs) ¡ • Computer ¡assisted ¡tasks ¡ Seman<c ¡Parser ¡ NL ¡ MRL ¡ 11 ¡ 12 ¡

Tradi<onal ¡Learning ¡Approach ¡ Example ¡of ¡Annotated ¡ ¡ Training ¡Corpus ¡ Tac<cal ¡Generator ¡ Meaning Representation Learner ¡ Natural Language (NL) Language (MRL) Alice passes the ball to Bob Pass(Alice, Bob) Manually ¡Annotated ¡ ¡ Bob turns the ball over to John Turnover(Bob, John) Training ¡Corpora ¡ (NL/MRL ¡pairs) ¡ John passes to Fred Pass(John, Fred) Fred shoots for the goal Kick(Fred) Paul blocks the ball Block(Paul) Tac<cal ¡Generator ¡ Paul kicks off to Nancy Pass(Paul, Nancy) … ¡ … ¡ NL ¡ MRL ¡ 13 ¡ 14 ¡ Learning ¡Language ¡from ¡ ¡ Learning ¡in ¡Virtual ¡Environment ¡ Perceptual ¡Context ¡ • Many ¡schools ¡use ¡3D ¡virtual ¡environments ¡to ¡ support ¡language ¡learning ¡ • Construc<ng ¡annotated ¡corpora ¡for ¡ – Immersive: ¡Surrounded ¡by ¡a ¡s<mula<ng ¡environment ¡ language ¡learning ¡is ¡difficult ¡ – Social: ¡Language ¡learners ¡can ¡interact ¡with ¡others ¡ • Children ¡acquire ¡language ¡through ¡ – Crea<ve: ¡Construc<ng ¡objects ¡as ¡part ¡of ¡learning ¡ • Online ¡worlds ¡including ¡Second ¡Life ¡ exposure ¡to ¡linguis<c ¡input ¡in ¡the ¡context ¡ • Different ¡ways ¡of ¡learning ¡ of ¡a ¡rich, ¡relevant, ¡perceptual ¡environment ¡ – Task-­‑based ¡learning ¡ • Ideally, ¡a ¡computer ¡system ¡can ¡learn ¡ – Collabora<ve ¡construc<on ¡ language ¡in ¡the ¡same ¡manner ¡ – Virtual ¡tourism ¡ 15 ¡ 16 ¡ Naviga<on ¡Example ¡ Learning ¡in ¡Virtual ¡Environment ¡ • Growing ¡video ¡game ¡industry ¡ – $9.5 ¡billion ¡in ¡the ¡US ¡in ¡2007, ¡$11.7 ¡billion ¡in ¡2008 ¡ Alice: ¡ 在餐廳的地方右轉 ¡ (Entertainment ¡Soaware ¡Associa<on ¡annual ¡report) ¡ • Serious ¡games ¡ – DARWARS: ¡Military ¡training ¡systems ¡ – SimPort: ¡Simulated ¡construc<on ¡and ¡management ¡ of ¡a ¡sea ¡port ¡project ¡ Bob ¡ 17 ¡ 18 ¡

Naviga<on ¡Example ¡ Naviga<on ¡Example ¡ Alice: ¡ 在醫院的地方右轉 ¡ Scenario ¡1 ¡ 在餐廳的地方右轉 ¡ Scenario ¡2 ¡ 在醫院的地方右轉 ¡ Bob ¡ 19 ¡ 20 ¡ Naviga<on ¡Example ¡ Naviga<on ¡Example ¡ Scenario ¡1 ¡ Scenario ¡1 ¡ 在 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ 的地方右轉 ¡ 在餐廳的地方右轉 ¡ Scenario ¡2 ¡ Scenario ¡2 ¡ 在 ¡ ¡ ¡ ¡ ¡ ¡ ¡ 的地方右轉 ¡ 在醫院的地方右轉 ¡ Make ¡a ¡right ¡turn ¡ 21 ¡ 22 ¡ Naviga<on ¡Example ¡ Naviga<on ¡Example ¡ Scenario ¡1 ¡ Scenario ¡1 ¡ ¡ ¡ ¡ ¡ 餐廳 ¡ 在餐廳的地方右轉 ¡ Scenario ¡2 ¡ Scenario ¡2 ¡ 在醫院的地方右轉 ¡ 23 ¡ 24 ¡

Naviga<on ¡Example ¡ Overview ¡ Scenario ¡1 ¡ • Background ¡and ¡related ¡works ¡ • Completed ¡work: ¡Sportscas<ng ¡ – Tac<cal ¡genera<on ¡ – Strategic ¡genera<on ¡ Scenario ¡2 ¡ – Human ¡evalua<on ¡ ¡ ¡ ¡ ¡ 醫院 ¡ • Proposed ¡work: ¡Naviga<on ¡instruc<ons ¡ • Conclusions ¡ 25 ¡ 26 ¡ Seman<c ¡Parser ¡Learners ¡ WASP: ¡ W ord ¡ A lignment-­‑based ¡ S eman<c ¡ P arsing ¡ • Uses ¡sta<s<cal ¡machine ¡transla<on ¡techniques ¡ • Learn ¡a ¡func<on ¡from ¡NL ¡to ¡MR ¡ NL: ¡“Purple3 ¡passes ¡the ¡ball ¡to ¡Purple5” ¡ – Synchronous ¡context-­‑free ¡grammars ¡(SCFG) ¡[Wu, ¡ 1997; ¡Melamed, ¡2004; ¡Chiang, ¡2005] ¡ Seman<c ¡Parsing ¡ Tac<cal ¡Genera<on ¡ (NL ¡  ¡MR) ¡ (MR ¡  ¡NL) ¡ – Word ¡alignments ¡[Brown ¡et ¡al., ¡1993; ¡Och ¡& ¡Ney, ¡ 2003] ¡ MR: ¡Pass ¡( ¡Purple3, ¡Purple5 ¡) ¡ • Capable ¡of ¡both ¡seman<c ¡parsing ¡and ¡tac<cal ¡ • We ¡experiment ¡with ¡two ¡seman<c ¡parser ¡learners ¡ genera<on ¡ – WASP ¡[Wong ¡& ¡Mooney, ¡2006; ¡2007] ¡ – KRISP ¡[Kate ¡& ¡Mooney, ¡2006] ¡ 27 ¡ 28 ¡ KRISP: ¡ K ernel-­‑based ¡ R obust ¡ I nterpreta<on ¡by ¡ KRISPER: ¡KRISP ¡ with ¡ E M-­‑like ¡ R etraining ¡ S eman<c ¡ P arsing ¡ • Produc<ons ¡of ¡MR ¡language ¡are ¡treated ¡like ¡seman<c ¡ concepts ¡ • Extension ¡of ¡K RISP ¡that ¡learns ¡from ¡ ambiguous ¡supervision ¡ [Kate ¡& ¡Mooney, ¡2007] ¡ • SVM ¡classifier ¡is ¡trained ¡for ¡each ¡produc<on ¡with ¡ string ¡subsequence ¡kernel ¡ • Uses ¡an ¡itera<ve ¡EM-­‑like ¡method ¡to ¡ • These ¡classifiers ¡are ¡used ¡to ¡composi<onally ¡build ¡ gradually ¡converge ¡on ¡a ¡correct ¡meaning ¡ MRs ¡of ¡ ¡the ¡sentences ¡ for ¡each ¡sentence. ¡ • More ¡resistant ¡to ¡noisy ¡supervision ¡but ¡incapable ¡of ¡ tac<cal ¡genera<on ¡ 29 ¡ 30 ¡