Learning to Interpret Natural Language Commands through - PowerPoint PPT Presentation

Learning ¡to ¡Interpret ¡Natural ¡ Language ¡Commands ¡through ¡ Human-­‑Robot ¡Dialog ¡ ¡ ¡ Jesse ¡Thomason ¡ Shiqi ¡Zhang, ¡Raymond ¡Mooney, ¡Peter ¡Stone ¡ ¡ The ¡University ¡of ¡Texas ¡at ¡AusHn ¡ 1 ¡

Commanding ¡Robots ¡ • Autonomous ¡robots ¡in ¡human ¡environments ¡ • Simplest ¡to ¡interact ¡with ¡via ¡natural ¡language ¡ 2 ¡

Our ¡Task ¡ • Command ¡a ¡robot ¡operaHng ¡in ¡ an ¡office ¡environment ¡ • Robot ¡autonomously ¡wanders ¡ by ¡default ¡ • Robot ¡can ¡navigate ¡to ¡rooms ¡ and ¡deliver ¡items ¡ 3 ¡

System ¡Goals ¡ • Require ¡liRle ¡iniHal ¡data ¡ – More ¡domain ¡independent ¡ • Reason ¡using ¡composiHon ¡ – “Alice’s ¡office” ¡ • Robust ¡to ¡lexical ¡variaHon ¡ – “bring”, ¡“deliver”, ¡“take” ¡ • Execute ¡the ¡ right ¡acHon ¡ – Perform ¡clarificaHons ¡with ¡user ¡ 4 ¡

Closest ¡Previous ¡Work ¡ • Service ¡robot ¡that ¡accepts ¡commands ¡ ¡ (Kollar, ¡2013) ¡ • SemanHcs ¡match ¡spans ¡of ¡words ¡to ¡known ¡ acHons/people/locaHons ¡ • Can ¡learn ¡new ¡referring ¡expressions ¡through ¡ dialog ¡ Human ¡ Go ¡to ¡Alice’s ¡office ¡ Robot ¡ Where ¡is ¡“Alice’s ¡office”? ¡ ¡ Human ¡ Room ¡3 ¡ • This ¡system ¡would ¡explicitly ¡match ¡“Alice’s ¡office” ¡ to ¡room ¡3 ¡ 5 ¡

Closest ¡Previous ¡Work ¡ • When ¡system ¡sees ¡“Bob’s ¡office”, ¡will ¡have ¡to ¡ ask ¡where ¡that ¡is ¡ • Want ¡to ¡take ¡advantage ¡of ¡composiHonality ¡ instead ¡ – Reason ¡about ¡possessive ¡marker ¡“’s” ¡and ¡what ¡ enHHes ¡“office” ¡picks ¡out ¡ • Need ¡a ¡more ¡powerful ¡formalism ¡for ¡ represenHng ¡sentence ¡semanHcs ¡ – Want ¡to ¡keep ¡iniHal ¡training ¡data ¡light ¡ 6 ¡

Helpful ¡Previous ¡Work ¡ • Augment ¡a ¡semanHc ¡parser ¡through ¡ conversaHon ¡logs ¡(Artzi, ¡2011) ¡ Human ¡ I ¡would ¡like ¡to ¡fly ¡out ¡of ¡boston ¡arriving ¡to ¡new ¡ york ¡and ¡back ¡from ¡new ¡york ¡to ¡boston ¡ ¡ System ¡ Leaving ¡boston ¡(CONFIRM: from(fl1,BOS) ) ¡ on ¡ what ¡date? ¡(ASK: λx.departdate(fl1,x) ) ¡ ¡ • Key ¡idea ¡for ¡us: ¡use ¡known ¡system ¡semanHc ¡ meanings ¡to ¡guess ¡human ¡uRerance ¡word ¡ meanings ¡ 7 ¡

Tag ¡Token ¡Sequence ¡ token(s) ¡ syntax ¡ : ¡ seman7cs ¡ University ¡of ¡Washington ¡SemanHc ¡Parsing ¡Framework ¡(SPF); ¡(Artzi, ¡2011) ¡ Known ¡possibiliHes ¡for ¡each ¡token ¡stored ¡in ¡a ¡lexicon ¡ Use ¡Combinatory ¡Categorial ¡Grammar ¡(CCG)-­‑driven ¡parsing ¡ bring ¡ (S/PP)/NP ¡: ¡λx.λP.( ac7on ( bring ) ∧ pa7ent ( bring ,x) ∧ P( bring )) ¡ coffee ¡ NP ¡: ¡ coffee ¡ to ¡ PP/NP ¡: ¡λx.λy.( recipient (y,x)) ¡ Bob ¡ NP ¡: ¡ bob ¡ 8 ¡

Construct ¡Meaning ¡Hierarchically ¡ S ¡: ¡ ac7on ( bring ) ∧ pa7ent ( bring , coffee ) ∧ recipient ( bring,bob ) ¡ S/PP ¡: ¡λP.( ac7on ( bring ) ∧ pa7ent ( bring , coffee ) ∧ P( bring )) ¡ PP ¡: ¡λy.( recipient (y, bob )) ¡ (S/PP)/NP ¡: ¡λx.λP.( ac7on ( bring ) ∧ pa7ent ( bring ,x) ∧ P( bring )) ¡ PP/NP ¡: ¡λx.λy.( recipient (y,x)) ¡ NP ¡: ¡ coffee ¡ NP ¡: ¡ bob ¡ bring ¡ to ¡ coffee ¡ Bob ¡ 9 ¡

Tag ¡Token ¡Sequence ¡– ¡Missing ¡Entry ¡ bring ¡ (S/PP)/NP ¡: ¡λx.λP.( ac7on ( bring ) ∧ pa7ent ( bring ,x) ∧ P( bring )) ¡ java ¡ ? ¡ to ¡ PP/NP ¡: ¡λx.λy.( recipient (y,x)) ¡ Bob ¡ NP ¡: ¡ bob ¡ Given ¡semanHc ¡form, ¡can ¡guess ¡about ¡missing ¡token ¡syntax/semanHcs ¡ Human ¡ bring ¡java ¡to ¡bob ¡ Robot ¡ what ¡should ¡I ¡bring ¡to ¡bob? ¡ Human ¡ coffee ¡ S ¡: ¡ ac7on ( bring ) ∧ pa7ent ( bring , coffee ) ∧ recipient ( bring,bob ) ¡ 10 ¡

Tag ¡Token ¡Sequence ¡– ¡Missing ¡Entry ¡ bring ¡ (S/PP)/NP ¡: ¡λx.λP.( ac7on ( bring ) ∧ pa7ent ( bring ,x) ∧ P( bring )) ¡ java ¡ ? ¡ to ¡ PP/NP ¡: ¡λx.λy.( recipient (y,x)) ¡ Bob ¡ NP ¡: ¡ bob ¡ ac7on ( bring) ∧ pa7ent ( bring , coffee ) ∧ ¡ recipient ( bring , bob ) ¡ Given ¡form: ¡ bring ¡:-­‑ ¡(S/PP)/NP ¡: ¡λx.λP.( ac7on ( bring ) ∧ pa7ent ( bring ,x) ∧ P( bring )) ¡ Lexicon ¡entries ¡ bring ¡:-­‑ ¡(S/NP)/NP ¡: ¡λx.λy.( ac7on ( bring ) ∧ recipient ( bring ,x) ¡ ∧ pa7ent ( bring ,y)) ¡ that ¡produce ¡ coffee ¡:-­‑ ¡NP ¡: ¡ coffee ¡ parts ¡of ¡this ¡ Bob ¡:-­‑ ¡NP ¡: ¡ bob ¡ form: ¡ Candidates ¡for ¡ :-­‑ ¡(S/PP)/NP ¡: ¡λx.λP.( ac7on ( bring ) ∧ pa7ent ( bring ,x) ∧ P( bring )) ¡ ‘java’ ¡lexical ¡ :-­‑ ¡(S/NP)/NP ¡: ¡λx. ¡λy.( ac7on ( bring ) ∧ recipient ( bring ,x) ¡ ∧ pa7ent ( bring ,y)) ¡ entry: ¡ :-­‑ ¡NP ¡: ¡ coffee ¡ :-­‑ ¡NP ¡: ¡ bob ¡ 11 ¡

Tag ¡Token ¡Sequence ¡– ¡Missing ¡Entry ¡ bring ¡ (S/PP)/NP ¡: ¡λx.λP.( ac7on ( bring ) ∧ pa7ent ( bring ,x) ∧ P( bring )) ¡ java ¡ NP ¡: ¡ coffee ¡ to ¡ PP/NP ¡: ¡λx.λy.( recipient (y,x)) ¡ Bob ¡ NP ¡: ¡ bob ¡ With ¡new ¡lexicon ¡entry, ¡we ¡can ¡construct ¡the ¡correct ¡semanHc ¡form ¡ S ¡: ¡ ac7on ( bring ) ∧ pa7ent ( bring , coffee ) ∧ recipient ( bring,bob ) ¡

MeeHng ¡System ¡Goals ¡ • Require ¡liRle ¡iniHal ¡data ¡ – Bootstrap ¡parser ¡with ¡5 ¡expressions, ¡105 ¡words ¡ • Handle ¡composiHon ¡used ¡by ¡speakers ¡ – Use ¡CCG-­‑driven ¡semanHc ¡parsing ¡(Artzi, ¡2011) ¡ • Robust ¡to ¡lexical ¡variaHon ¡ – Incrementally ¡train ¡parser ¡to ¡obtain ¡new ¡words ¡ • Execute ¡the ¡ right ¡acHon ¡ – Use ¡dialog ¡to ¡clarify ¡meanings ¡with ¡user ¡(Kollar, ¡ 2013) ¡ 13 ¡

Mechanical ¡Turk ¡Experiment ¡ • Users ¡given ¡one ¡navigaHon ¡and ¡one ¡delivery ¡ goal ¡ – Train/test ¡goals ¡chosen ¡at ¡random ¡from ¡ possibiliHes ¡ • Chat ¡with ¡robot’s ¡dialog ¡agent ¡unHl ¡goal ¡is ¡ understood ¡ 14 ¡

Mechanical ¡Turk ¡Interface ¡ 15 ¡

Large-­‑Scale ¡Experiment ¡ • Tested ¡in ¡4 ¡phases ¡ • ~50 ¡users ¡received ¡test ¡goals, ¡~50 ¡train ¡goals ¡ – Unique ¡users ¡in ¡each ¡phase ¡ • System ¡incrementally ¡trained ¡via ¡train ¡goal ¡ conversaHons ¡only ¡ 16 ¡

Mechanical ¡Turk ¡Dialog ¡Turns ¡ NavigaHon ¡task ¡turns ¡ Delivery ¡task ¡turns ¡ 20 ¡ 18 ¡ Average ¡Turker ¡Turns ¡for ¡Success ¡ 18 ¡ 16 ¡ 14 ¡ 12 ¡ 10 ¡ 8 ¡ 5.6 ¡ 5.2 ¡ 6 ¡ 3.8 ¡ 3.5 ¡ * ¡ 3.4 ¡ 4 ¡ 2.7 ¡ 2.5 ¡ 2 ¡ 0 ¡ Batch ¡0 ¡ Batch ¡1 ¡ Batch ¡2 ¡ Batch ¡3 ¡ 17 ¡

Mechanical ¡Turk ¡Survey ¡Responses ¡ The ¡robot ¡understood ¡me ¡ The ¡robot ¡frustrated ¡me ¡ Strongly ¡ Agree ¡ 3 ¡ 2.8 ¡ * ¡ 2.7 ¡ ¡ * ¡ 2.6 ¡ ¡ 2.5 ¡ Somewhat ¡ 2.2 ¡ 2.2 ¡ Agree ¡ 2 ¡ 1.9 ¡ 2 ¡ ¡ Average ¡ ¡ 1.5 ¡ * ¡ ¡ 1.5 ¡ ¡ ¡ 1 ¡ Somewhat ¡ Disagree ¡ 0.5 ¡ ¡ ¡ Strongly ¡ 0 ¡ Disagree ¡ Batch ¡0 ¡ Batch ¡1 ¡ Batch ¡2 ¡ Batch ¡3 ¡ 18 ¡

Robot ¡Experiment ¡ • Same ¡setup, ¡but ¡real ¡robot ¡and ¡fewer ¡users ¡ – Users ¡type ¡to ¡robot ¡to ¡mimic ¡Mechanical ¡Turk ¡ setup ¡ • 10 ¡users ¡in ¡iniHal ¡test ¡batch ¡ • System ¡interacted ¡freely ¡with ¡people ¡on ¡the ¡ floor ¡for ¡four ¡days ¡as ¡training ¡(34 ¡ conversaHons ¡in ¡total) ¡ • 10 ¡users ¡in ¡the ¡second ¡test ¡batch, ¡arer ¡ retraining ¡ 19 ¡

Office ¡Robot ¡Dialog ¡CompleHon ¡ NavigaHon ¡task ¡compleHon ¡ Delivery ¡task ¡compleHon ¡ 100 ¡ 90 ¡ 90 ¡ Percent ¡of ¡Users ¡CompleFng ¡Task ¡ 90 ¡ 80 ¡ 70 ¡ 60 ¡ + ¡ 60 ¡ 50 ¡ 40 ¡ 30 ¡ 20 ¡ 20 ¡ 10 ¡ 0 ¡ Batch ¡0 ¡ Batch ¡1 ¡ 20 ¡