generating and interpreting referring expressions in
play

Generating and Interpreting Referring Expressions in Context Dustin - PowerPoint PPT Presentation

Jul 27, 2023 •138 likes •1.75k views

Generating and Interpreting Referring Expressions in Context Dustin Smith 1 Tuesday, November 5, 13 The three readers Henry Agustn Marvin Lieberman Rayo Minsky 2 Tuesday, November 5, 13 3 Tuesday,

  1. Involving ¡Speaker ¡and ¡Hearer Genera+on: ¡ given ¡an ¡intended ¡meaning, ¡produce ¡a ¡referring ¡ expression ¡that ¡will ¡allow ¡a ¡human ¡listener ¡to ¡derive ¡it Interpreta+on: ¡ Given ¡a ¡human ¡speaker’s ¡referring ¡expression, ¡ infer ¡her ¡intended ¡meaning Okay I’d ¡like ¡ the ¡Albacore ¡tuna I’d ¡like ¡ the ¡tuna ¡burger I’d ¡like ¡ tuna 22 Tuesday, November 5, 13

  2. Related ¡Work 1. Generating ¡referring ¡expressions ¡using ¡planning ¡ ¡ Appelt ¡1985; ¡Stone ¡& ¡Doran, ¡1997; ¡ ¡Koller ¡& ¡Stone ¡2007; ¡Koller ¡& ¡Petrick ¡ 2011 1. Modeling ¡vague ¡and ¡gradable ¡adjectives ¡ ¡Lassiter ¡2011; ¡Klein ¡1990; ¡ Bartsch ¡& ¡Vennermann ¡1976; ¡Zadeh ¡1975; 2. Modeling ¡both ¡generation ¡and ¡interpretation ¡Winograd ¡1976; ¡Appelt ¡ 1986; ¡ ¡Heeman ¡& ¡Hirst ¡1995 2. Interpretation ¡models ¡that ¡use ¡“Theory ¡of ¡Mind” ¡ reasoning ¡about ¡generation. ¡Benotti ¡and ¡Traum ¡2009; ¡ ¡Bergen ¡ et ¡al ¡2012; ¡ ¡Goodman ¡& ¡Stuhlmüller ¡2013; ¡ ¡Vogel ¡et ¡al ¡2013 What’s ¡missing? ¡ ¡Computational ¡models ¡of ¡interpretation ¡and ¡ generation ¡that ¡are ¡fast, ¡incremental, ¡non-­‑deterministic, ¡and ¡ address ¡context-­‑dependencies. 23 /122 Tuesday, November 5, 13

  3. Presentation ¡Overview I. A ¡computational ¡model ¡for ¡ A utomatically ¡ I nterpreting ¡& ¡ G enerating ¡ R eferring ¡ E xpressions ¡( AIGRE ) 1. Generation ¡as ¡belief-­‑state ¡planning, ¡Interpretation ¡as ¡plan-­‑recognition • fast • incremental • non-­‑deterministic 2. Handles ¡context-­‑dependent ¡word ¡meanings ¡for ¡a ¡fragment ¡of ¡English ¡NPs 3. Evaluation ¡on ¡Mechanical ¡Turk ¡Data II. IntegraBon ¡of ¡both ¡processes ¡to ¡model ¡the ¡hearer’s ¡about ¡ speakers’ ¡decisions 24 /122 Tuesday, November 5, 13

  4. Context-­‑dependent ¡Meanings Standard Model of Interpretation Denotation Reference Context Resolution Speaker Meaning Pragmatic Context Inference Encoded Meaning Linguistic Decoding ¡ the ¡blue ¡house Referring Expression 25 Tuesday, November 5, 13

  5. Context-­‑dependent ¡Meanings Standard Model of Interpretation Denotation Reference Context Resolution Speaker Meaning Pragmatic Context Inference [ ∃ x [ ∀ y blue 1 ( y ) ∧ house ( y ) → x = y ]] Encoded Meaning ∨ [ ∃ x [ ∀ y blue 2 ( y ) ∧ house ( y ) → x = y ]] Linguistic Decoding ¡ the ¡blue ¡house Referring Expression 26 Tuesday, November 5, 13

  6. Context-­‑dependent ¡Meanings Standard Model of Interpretation Denotation Reference Context Resolution . . . ∴ ¬ blue 1 Speaker Meaning Pragmatic Context Inference [ ∃ x [ ∀ y blue 1 ( y ) ∧ house ( y ) → x = y ]] Encoded Meaning ∨ [ ∃ x [ ∀ y blue 2 ( y ) ∧ house ( y ) → x = y ]] Linguistic Decoding ¡ the ¡blue ¡house Referring Expression 27 Tuesday, November 5, 13

  7. Context-­‑dependent ¡Meanings Standard Model of Interpretation x = x1349A3 Denotation Reference Context Resolution . . . ∴ ¬ blue 1 Speaker Meaning Pragmatic Context Inference [ ∃ x [ ∀ y blue 1 ( y ) ∧ house ( y ) → x = y ]] Encoded Meaning ∨ [ ∃ x [ ∀ y blue 2 ( y ) ∧ house ( y ) → x = y ]] Linguistic Decoding ¡ the ¡blue ¡house Referring Expression 28 Tuesday, November 5, 13

  8. NLU/NLG ¡Pipelines 29 Tuesday, November 5, 13

  9. NLU/NLG ¡Pipelines 29 Tuesday, November 5, 13

  10. The ¡“Lexical ¡Approach” Interpretation Generation Meaning Representation Meaning Representation All linguistic All linguistic Context encoding decoding decisions decisions Referring Expression [Stone & Doran, 1997; Koller & Stone 2007; Koller & Petrick 2011] 30 Tuesday, November 5, 13

  11. The ¡“Lexical ¡Approach” Given ¡varying ¡ initial ¡conditions Interpretation Generation Meaning Representation Meaning Representation All linguistic All linguistic Context encoding decoding decisions decisions Referring Expression [Stone & Doran, 1997; Koller & Stone 2007; Koller & Petrick 2011] 31 Tuesday, November 5, 13

  12. The ¡“Lexical ¡Approach” Given ¡varying ¡ initial ¡conditions Interpretation Generation Meaning Representation Meaning Representation All linguistic All linguistic Context encoding decoding decisions decisions Choose ¡content, ¡words, ¡and ¡arrange ¡ them ¡ in ¡ order Referring Expression [Stone & Doran, 1997; Koller & Stone 2007; Koller & Petrick 2011] 31 Tuesday, November 5, 13

  13. The ¡“Lexical ¡Approach” Given ¡varying ¡ initial ¡conditions Interpretation Generation Meaning Representation Meaning Representation All linguistic All linguistic Context encoding decoding decisions decisions Choose ¡content, ¡words, ¡and ¡arrange ¡ them ¡ in ¡ order Referring Expression Stop ¡when ¡ ¡ communication ¡ goal ¡ is ¡met [Stone & Doran, 1997; Koller & Stone 2007; Koller & Petrick 2011] 31 Tuesday, November 5, 13

  14. Generation ¡→ ¡Planning ac+ons lexical ¡entries change ¡the ¡state change ¡encoded ¡meaning, ¡while ¡ adhering ¡to ¡semanMc ¡and ¡ morphosyntacMc ¡constraints state encoded ¡meaning representaMon ¡of ¡the ¡relevant ¡parts ¡of ¡ the ¡meaning ¡of ¡the ¡referring ¡expression. ¡ the ¡problem ¡or ¡environment Both ¡as ¡(1) ¡an ¡ intensional ¡descrip.on and ¡(2) ¡its ¡referents ¡ (denotaMon) goal goal desired ¡state(s) meaning ¡that ¡idenMfies ¡targets 32 Tuesday, November 5, 13

  15. Generation ¡→ ¡Planning ac+ons lexical ¡entries change ¡the ¡state change ¡encoded ¡meaning, ¡while ¡ adhering ¡to ¡semanMc ¡and ¡ morphosyntacMc ¡constraints state encoded ¡meaning representaMon ¡of ¡the ¡relevant ¡parts ¡of ¡ the ¡meaning ¡of ¡the ¡referring ¡expression. ¡ the ¡problem ¡or ¡environment Both ¡as ¡(1) ¡an ¡ intensional ¡descrip.on and ¡(2) ¡its ¡referents ¡ (denotaMon) goal goal desired ¡state(s) meaning ¡that ¡idenMfies ¡targets big 1 ( size ) one 2 1 the 2 3 6 standard: [ 70, ∞ ) cost: 2.55 size:7 cost: 0.01 size:7 size:1 size:1 cost: 1.40 33 Tuesday, November 5, 13

  16. Generation ¡→ ¡Planning ac+ons lexical ¡entries change ¡the ¡state change ¡encoded ¡meaning, ¡while ¡ adhering ¡to ¡semanMc ¡and ¡ morphosyntacMc ¡constraints state encoded ¡meaning representaMon ¡of ¡the ¡relevant ¡parts ¡of ¡ the ¡meaning ¡of ¡the ¡referring ¡expression. ¡ the ¡problem ¡or ¡environment Both ¡as ¡(1) ¡an ¡ intensional ¡descrip.on and ¡(2) ¡its ¡referents ¡ (denotaMon) goal goal desired ¡state(s) meaning ¡that ¡idenMfies ¡targets ac+on state state 1 the 2 size:7 cost: 0.01 size:7 33 Tuesday, November 5, 13

  17. Generation ¡→ ¡Planning ac+ons lexical ¡entries change ¡the ¡state change ¡encoded ¡meaning, ¡while ¡ adhering ¡to ¡semanMc ¡and ¡ morphosyntacMc ¡constraints state encoded ¡meaning representaMon ¡of ¡the ¡relevant ¡parts ¡of ¡ the ¡meaning ¡of ¡the ¡referring ¡expression. ¡ the ¡problem ¡or ¡environment Both ¡as ¡(1) ¡an ¡ intensional ¡descrip.on and ¡(2) ¡its ¡referents ¡ (denotaMon) goal goal desired ¡state(s) meaning ¡that ¡idenMfies ¡targets ac+on goal ¡state state one 2 3 6 70, ∞ ) cost: 2.55 size:1 size:1 33 Tuesday, November 5, 13

  18. The ¡CIRCLES ¡referential ¡domain C1 C2 C3 34 /122 Tuesday, November 5, 13

  19. The ¡CIRCLES ¡referential ¡domain C1 C2 C3 big 1 ( size ) one 2 1 the 2 3 6 standard: [ 70, ∞ ) cost: 2.55 size:7 cost: 0.01 size:7 size:1 size:1 cost: 1.40 35 /122 Tuesday, November 5, 13

  20. “the ¡big ¡one” C1 C2 C3 R=3 big 1 ( size ) one 2 1 the 2 3 6 standard: [ 70, ∞ ) cost: 2.55 size:7 cost: 0.01 size:7 size:1 size:1 cost: 1.40 36 /122 Tuesday, November 5, 13

  21. “the ¡green ¡circles” C1 C2 C3 green 1 1 the 2 3 circles 4 size:7 cost: 0.01 size:7 cost: 1.31 size:3 cost: 2.42 size:1 37 /122 Tuesday, November 5, 13

  22. “a ¡green ¡circle” C1 C2 C3 green b 0 a b 1 b 2 b 3 circle cost: 0.61 cost: 1.61 cost: 2.91 size:7 size:7 size:7 size:2 38 Tuesday, November 5, 13

  23. “a ¡green ¡circle” C1 C2 C3 green b 0 a b 1 b 2 b 3 circle cost: 0.61 cost: 1.61 cost: 2.91 size:7 size:7 size:7 size:2 38 Tuesday, November 5, 13

  24. “a ¡green ¡circle” “a green circle” in C IRCLES domain a Possible Targets { c 1 } { c 2 } { c 3 } green { c 1 , c 2 } C1 C2 C3 { c 1 , c 3 } { c 2 , c 3 } { c 1 , c 2 , c 3 } circle 0.0 0.5 1.0 Relative likelihood of denotation green b 0 a b 1 b 2 b 3 circle cost: 0.61 cost: 1.61 cost: 2.91 size:7 size:7 size:7 size:2 38 Tuesday, November 5, 13

  25. “any ¡two ¡circles” “any two circles” in C IRCLES domain any Possible Targets { c 1 } { c 2 } { c 3 } two { c 1 , c 2 } { c 1 , c 3 } { c 2 , c 3 } { c 1 , c 2 , c 3 } circles 0.0 0.5 1.0 Relative likelihood of denotation any b 0 b 1 b 2 b 3 two circles cost: 0.99 cost: 2.07 cost: 3.27 size:7 size:7 size:3 size:3 39 Tuesday, November 5, 13

  26. Representing ¡Referents Belief ¡states ¡represent ¡an ¡ intensional ¡descrip.on ¡of ¡the ¡ reference ¡domain . ¡ ¡This ¡is ¡a ¡conBnuum ¡between ¡a ¡category ¡of ¡ enBBes ¡and ¡a ¡single ¡enBty ¡in ¡the ¡referenBal ¡domain. visual ¡ SHAPE: circle SHAPE: circle SHAPE: circle SIZE: 30 SIZE: 60 SIZE: 120 aNribute-­‑value ¡ COLOR: green COLOR: green COLOR: blue c 1 c 2 c 3 symbolic ¡ 40 Tuesday, November 5, 13

  27. Representing ¡Referents Belief ¡states ¡represent ¡an ¡ intensional ¡descrip.on ¡of ¡the ¡ reference ¡domain . ¡ ¡This ¡is ¡a ¡conBnuum ¡between ¡a ¡category ¡of ¡ enBBes ¡and ¡a ¡single ¡enBty ¡in ¡the ¡referenBal ¡domain. SHAPE: circle SHAPE: circle SHAPE: circle SIZE: 30 SIZE: 60 SIZE: 120 COLOR: green COLOR: green COLOR: blue c 1 c 2 c 3 symbolic ¡ 40 Tuesday, November 5, 13

  28. Representing ¡Belief ¡States Belief ¡contain ¡aNributes ¡defined ¡by ¡data ¡structures ¡called ¡ cells : ¡ In [1]: import numpy as np BoolCell In [2]: from beliefs.cells import * DictCell IntervalCell In [3]: size = IntervalCell(0, np.inf) LatLonCell Out[3]: [0.00, np.inf] LinearOrderedCell In [4]: size.merge(IntervalCell(30, 50)) ListCell Out[4]: [30.00, 50.00] NameCell PartialOrderedCell In [5]: size.merge(33) PrefixCell Out[5]: 33.00 RGBColorCell StringCell In [6]: size.merge(10) SetIntersectionCell ------------------------------------------- SetUnionCell Contradiction SHAPE: SIZE: [0, 100] COLOR: {green, blue} Download at http://eventteam.github.io/beliefs/ [Sussman & Radul 2009] 41 Tuesday, November 5, 13

  29. Representing ¡Belief ¡States Belief ¡contain ¡aNributes ¡defined ¡by ¡data ¡structures ¡called ¡ cells : ¡ In [1]: import numpy as np BoolCell In [2]: from beliefs.cells import * DictCell IntervalCell In [3]: size = IntervalCell(0, np.inf) LatLonCell Out[3]: [0.00, np.inf] LinearOrderedCell In [4]: size.merge(IntervalCell(30, 50)) ListCell Out[4]: [30.00, 50.00] NameCell PartialOrderedCell In [5]: size.merge(33) PrefixCell Out[5]: 33.00 RGBColorCell StringCell In [6]: size.merge(10) SetIntersectionCell ------------------------------------------- SetUnionCell Contradiction SHAPE: belief_state = DictCell({'size': IntervalCell(0, 100), SIZE: [0, 100] 'color': SetCell(['green', ‘blue’])}) COLOR: {green, blue} Download at http://eventteam.github.io/beliefs/ [Sussman & Radul 2009] 41 Tuesday, November 5, 13

  30. Representing ¡Belief ¡States Belief ¡contain ¡aNributes ¡defined ¡by ¡data ¡structures ¡called ¡ cells : ¡ In [1]: import numpy as np BoolCell In [2]: from beliefs.cells import * DictCell IntervalCell In [3]: size = IntervalCell(0, np.inf) LatLonCell Out[3]: [0.00, np.inf] LinearOrderedCell ListCell In [4]: size.merge(IntervalCell(30, 50)) NameCell Out[4]: [30.00, 50.00] PartialOrderedCell In [5]: size.merge(33) PrefixCell Out[5]: 33.00 RGBColorCell StringCell In [6]: size.merge(10) SetIntersectionCell ------------------------------------------- SetUnionCell Contradiction The ¡same ¡ extension ¡ does ¡not ¡imply ¡the ¡same ¡ intension. ⊨ ¡{C1, ¡C2} SHAPE: ≠ SHAPE: SHAPE: SIZE: [20, 60] SIZE: [20, 100] SIZE: 70 COLOR: {blue, green} COLOR: COLOR: {blue} ⊨ ¡{C1, ¡C2} SHAPE: [Sussman & Radul 2009] Download at http://eventteam.github.io/beliefs/ 42 Tuesday, November 5, 13

  31. A ¡belief ¡state ¡ about ¡ CIRCLES denote(CIRCLE, b ) intension extension ¡(denotation) 43 Tuesday, November 5, 13

  32. Representing ¡Properties denote(CIRCLE, b ) resolve(CIRCLES, b) intension extension ¡(denotation) 44 Tuesday, November 5, 13

  33. Representing ¡Singular denote(CIRCLE, b ) resolve(CIRCLES, b) intension extension ¡(denotation) 45 Tuesday, November 5, 13

  34. Representing ¡Singular restricts ¡size ¡of ¡target ¡set denote(CIRCLE, b ) resolve(CIRCLES, b) intension extension ¡(denotation) 45 Tuesday, November 5, 13

  35. Representing ¡Plurals denote(CIRCLE, b ) resolve(CIRCLES, b) intension extension ¡(denotation) 46 Tuesday, November 5, 13

  36. Representing ¡“any” denote(CIRCLE, b ) resolve(CIRCLES, b) intension extension ¡(denotation) 47 Tuesday, November 5, 13

  37. Representing ¡“any” denote(CIRCLE, b ) resolve(CIRCLES, b) restricts ¡size ¡of ¡ difference ¡ intension extension ¡(denotation) between ¡target ¡set ¡and ¡largest ¡set 47 Tuesday, November 5, 13

  38. Representing ¡“the” denote(CIRCLE, b ) resolve(CIRCLES, b) intension extension ¡(denotation) 48 Tuesday, November 5, 13

  39. Representing ¡“the” denote(CIRCLE, b ) resolve(CIRCLES, b) intension extension ¡(denotation) 49 Tuesday, November 5, 13

  40. Representing ¡“the” denote(CIRCLE, b ) resolve(CIRCLES, b) intension extension ¡(denotation) 50 Tuesday, November 5, 13

  41. Representing ¡“the” denote(CIRCLE, b ) resolve(CIRCLES, b) intension extension ¡(denotation) 51 Tuesday, November 5, 13

  42. Determiner ¡meanings This ¡simple ¡representation ¡captures ¡a ¡wide ¡range ¡of ¡articles ¡(the, ¡ a) ¡and ¡quantifier ¡meanings ¡(without ¡scope). 52 Tuesday, November 5, 13

  43. Presentation ¡Overview I. A ¡computational ¡model ¡for ¡ A utomatically ¡ I nterpreting ¡& ¡ G enerating ¡ R eferring ¡ E xpressions ¡( AIGRE ) 1. Generation ¡as ¡belief-­‑state ¡planning, ¡Interpretation ¡as ¡plan-­‑recognition • fast • incremental • non-­‑deterministic 2. Handles ¡context-­‑dependent ¡word ¡meanings ¡for ¡a ¡fragment ¡of ¡English ¡NPs • unspeci1ic ¡meanings • quanti1iers • ambiguity • vagueness • ellipsis 3. Evaluation ¡on ¡Turk ¡Data II. IntegraBon ¡of ¡both ¡processes ¡to ¡model ¡the ¡hearer’s ¡about ¡ speakers’ ¡decisions 53 /122 Tuesday, November 5, 13

  44. “the ¡big ¡one” C1 C2 C3 big 1 ( size ) one 2 1 the 2 3 6 standard: [ 70, ∞ ) cost: 2.55 size:7 cost: 0.01 size:7 size:1 size:1 cost: 1.40 54 /122 Tuesday, November 5, 13

  45. KINDLES ¡referential ¡domain K1 K2 K3 K4 K5 55 /122 Tuesday, November 5, 13

  46. “the ¡big ¡one” K1 K2 K3 K4 K5 56 /122 Tuesday, November 5, 13

  47. Lexical ¡Ambiguity The ¡same ¡lexical ¡item ¡can ¡generate ¡mulBple ¡outcomes ¡due ¡to ¡ two ¡types ¡of ¡lexical ¡ambiguity: Polysemy Homonymy (disk) 2 2 light ¡(weight) 1 1 big 3 light ¡(color) (screen) 4 57 Tuesday, November 5, 13 K1 K2 K3 K4 K5 K6

  48. “the ¡big ¡one” “the big one” in K INDLES domain the Possible Targets { k 4 } big { k 5 } K1 K2 K3 K4 K5 one 2 0.0 0.5 1.0 Relative likelihood of denotation one 2 3 9 size:1 cost: 2.26 size:1 ) ) ∞ e , z 0 i 7 s . ( 9 [ g 2 : i d b r a d 0 2 n a . 1 t s : t s o c big 2 ( harddrive.size ) one 2 1 2 6 14 the standard: [ 8, ∞ ) size:31 cost: 0.01 size:31 size:1 cost: 3.26 size:1 cost: 2.20 58 /122 Tuesday, November 5, 13

  49. “the ¡big ¡one” “the big one” in K INDLES domain the Possible Targets { k 4 } big { k 5 } K1 K2 K3 K4 K5 one 2 0.0 0.5 1.0 Relative likelihood of denotation one 2 3 9 size:1 cost: 2.26 size:1 ) ) ∞ e , z 0 i 7 s . ( 9 [ g 2 : i d b r a d 0 2 n a . 1 t s : t s o c big 2 ( harddrive.size ) one 2 1 2 6 14 the standard: [ 8, ∞ ) size:31 cost: 0.01 size:31 size:1 cost: 3.26 size:1 cost: 2.20 59 /122 Tuesday, November 5, 13

  50. “the ¡big ¡one” “the big one” in K INDLES domain the Possible Targets { k 4 } big { k 5 } K1 K2 K3 K4 K5 one 2 0.0 0.5 1.0 Relative likelihood of denotation one 2 3 9 size:1 cost: 2.26 size:1 ) ) ∞ e , z 0 i 7 s . ( 9 [ g 2 : i d b r a d 0 2 n a . 1 t s : t s o c big 2 ( harddrive.size ) one 2 1 2 6 14 the standard: [ 8, ∞ ) size:31 cost: 0.01 size:31 size:1 cost: 3.26 size:1 cost: 2.20 60 /122 Tuesday, November 5, 13

  51. “the ¡big ¡one” “the big one” in K INDLES domain the Possible Targets { k 4 } big { k 5 } K1 K2 K3 K4 K5 one 2 0.0 0.5 1.0 Relative likelihood of denotation one 2 3 9 size:1 cost: 2.26 size:1 ) ) ∞ e , z 0 i 7 s . ( 9 [ g 2 : i d b r a d 0 2 n a . 1 t s : t s o c big 2 ( harddrive.size ) one 2 1 2 6 14 the standard: [ 8, ∞ ) size:31 cost: 0.01 size:31 size:1 cost: 3.26 size:1 cost: 2.20 61 /122 Tuesday, November 5, 13

  52. “the ¡big ¡one” “the big one” in K INDLES domain the Possible Targets { k 4 } big { k 5 } K1 K2 K3 K4 K5 one 2 0.0 0.5 1.0 Relative likelihood of denotation one 2 3 9 size:1 cost: 2.26 size:1 ) ) ∞ e , z 0 i 7 s . ( 9 [ g 2 : i d b r a d 0 2 n a . 1 t s : t s o c big 2 ( harddrive.size ) one 2 1 2 6 14 the standard: [ 8, ∞ ) size:31 cost: 0.01 size:31 size:1 cost: 3.26 size:1 cost: 2.20 62 /122 Tuesday, November 5, 13

  53. Vagueness 1. Insufficient ¡informaBon ¡for ¡the ¡communicaBonal ¡goal. ¡ 2. Existence ¡of ¡borderline ¡cases. red? overweight? heap? [van ¡Deemter, ¡2010] 63 Tuesday, November 5, 13

  54. Vagueness ParBBon ¡on ¡all ¡possible ¡standards ¡of ¡comparison ¡for ¡the ¡context ¡ set. ¡ ¡With ¡5 ¡disBnct ¡PRICE ¡values, ¡“expensive” ¡could ¡have ¡5 ¡ meanings: std ¡≥ ¡$379 2 std ¡≥ ¡$199 1 expensive 3 std ¡≥ ¡$149 4 std ¡≥ ¡$99 5 std ¡≥ ¡$79 6 64 Tuesday, November 5, 13 K1 K2 K3 K4 K5

  55. “the ¡big ¡ones” 65 /122 Tuesday, November 5, 13

  56. “the ¡second” Ellipsis: one 2 1 the 2 second 3 leftmost 4 5 cost: 5.41 size:7 cost: 0.01 size:7 cost: 3.10 size:3 cost: 3.61 size:3 size:1 66 Tuesday, November 5, 13

  57. “the ¡second” Ellipsis: one 2 1 the 2 second 3 leftmost 4 5 cost: 5.41 size:7 cost: 0.01 size:7 cost: 3.10 size:3 cost: 3.61 size:3 size:1 66 Tuesday, November 5, 13

  58. “the ¡second” Ellipsis: “the second” in C IRCLES domain the Possible Targets { c 1 } { c 2 } second { c 3 } { c 1 , c 2 } [leftmost] { c 1 , c 3 } { c 2 , c 3 } { c 1 , c 2 , c 3 } [one 2 ] 0.0 0.5 1.0 Relative likelihood of denotation one 2 1 the 2 second 3 leftmost 4 5 cost: 5.41 size:7 cost: 0.01 size:7 cost: 3.10 size:3 cost: 3.61 size:3 size:1 66 Tuesday, November 5, 13

  59. “the ¡second” Ellipsis: “the second” in C IRCLES domain the Possible Targets { c 1 } { c 2 } second { c 3 } { c 1 , c 2 } [leftmost] { c 1 , c 3 } { c 2 , c 3 } { c 1 , c 2 , c 3 } [one 2 ] 0.0 0.5 1.0 Relative likelihood of denotation one 2 1 the 2 second 3 leftmost 4 5 cost: 5.41 size:7 cost: 0.01 size:7 cost: 3.10 size:3 cost: 3.61 size:3 size:1 67 Tuesday, November 5, 13

  60. Presentation ¡Overview I. A ¡computational ¡model ¡for ¡ A utomatically ¡ I nterpreting ¡& ¡ G enerating ¡ R eferring ¡ E xpressions ¡( AIGRE ) 1. Generation ¡as ¡belief-­‑state ¡planning, ¡Interpretation ¡as ¡plan-­‑recognition • fast • incremental • non-­‑deterministic 2. Handles ¡context-­‑dependent ¡word ¡meanings ¡for ¡a ¡fragment ¡of ¡English ¡NPs • unspeci1ic ¡meanings • quanti1iers • ambiguity • vagueness • ellipsis 3. Evaluation ¡on ¡Turk ¡Data • Collecting ¡Data • Generation ¡Coverage • Interpretation ¡Coverage II. IntegraBon ¡of ¡both ¡processes ¡to ¡model ¡the ¡hearer’s ¡about ¡ speakers’ ¡decisions 68 /122 Tuesday, November 5, 13

  61. Collecting ¡Data Created ¡web ¡interface ¡for ¡authoring ¡experiments 69 /122 Tuesday, November 5, 13

  62. Dataset ¡Details 70 /122 Tuesday, November 5, 13

  63. Full ¡AIGRE ¡Generation ¡Output 71 Tuesday, November 5, 13

  64. Evaluating ¡Generation ¡ 72 /122 Tuesday, November 5, 13

  65. Generation ¡Quality Referring Expression Quality in C IRCLES domain for 15 1.0 Best-first Stochastic Hillclimbing Stochastic Hillclimbing with backtracking 0.8 Mean Sorensen-Dice coefficient 0.6 0.4 0.2 0.0 { c 1 } { c 2 } { c 3 } { c 1 , c 2 } { c 1 , c 3 } { c 2 , c 3 } { c 1 , c 2 , c 3 } 73 /122 Tuesday, November 5, 13

Recommend

Generating Referring Expressions in Open Domains Advaith Siddharthan & Ann Copestake

Generating Referring Expressions in Open Domains Advaith Siddharthan & Ann Copestake

g Generating Referring Expressions in Open Domains Advaith Siddharthan & Ann Copestake as372@cs.columbia.edu & aac10@cl.cam.ac.uk Advaith Siddharthan. Index p.1/40 Structure of Talk1 g Motivation Attribute Selection The

444 views • 40 slides
Computational Models of Discourse: Generating Referring Expressions Caroline Sporleder

Computational Models of Discourse: Generating Referring Expressions Caroline Sporleder

Computational Models of Discourse: Generating Referring Expressions Caroline Sporleder Universit at des Saarlandes Sommersemester 2009 03.06.2009 Caroline Sporleder csporled@coli.uni-sb.de Computational Models of Discourse Generating

1.15k views • 60 slides
Learning(Distribu.ons(over(Logical(Forms(for( Referring(Expression(Genera.on(

Learning(Distribu.ons(over(Logical(Forms(for( Referring(Expression(Genera.on(

Learning(Distribu.ons(over(Logical(Forms(for( Referring(Expression(Genera.on( Nicholas(FitzGerald(((((Yoav(Artzi(((((Luke(ZeClemoyer( Referring(Expressions( Photo:(pwenzel(on(Flikr( Referring(Expressions( Photo:(pwenzel(on(Flikr(

1.18k views • 95 slides
NLG as Cogni,ve Modelling The case of Referring Expressions

NLG as Cogni,ve Modelling The case of Referring Expressions

NLG as Cogni,ve Modelling The case of Referring Expressions Genera,on Kees van Deemter University of Aberdeen Compu,ng Science dept. KvD, NLG Summer

1.11k views • 73 slides
Referring Expressions & Alternate Views of Summarization Ling 573 Systems and Applications

Referring Expressions & Alternate Views of Summarization Ling 573 Systems and Applications

Referring Expressions & Alternate Views of Summarization Ling 573 Systems and Applications May 24, 2016 Roadmap Content realization: Referring expressions Alternate views of summarization: Dimensions of the TAC

558 views • 32 slides
The Generation of Referring Expressions: The Generation of Referring Expressions: Where We've

The Generation of Referring Expressions: The Generation of Referring Expressions: Where We've

The Generation of Referring Expressions: The Generation of Referring Expressions: Where We've Been, How We Got Here, and Where Where We've Been, How We Got Here, and Where We re Going We We're Going We re Going re Going Robert Dale Robert

981 views • 60 slides
Referring Expressions A mention that is are about some entity, the referent Pronoun Name:

Referring Expressions A mention that is are about some entity, the referent Pronoun Name:

Coreference Resolution Referring Expressions A mention that is are about some entity, the referent Pronoun Name: Toby Definite description: Samuels cat Indefinite description: A cat Mentions can be nested: her sons

457 views • 42 slides
Mat MattNet tNet: : Modu Modular Atten lar Attention tion Network for Referring Network for

Mat MattNet tNet: : Modu Modular Atten lar Attention tion Network for Referring Network for

March 2020 Mat MattNet tNet: : Modu Modular Atten lar Attention tion Network for Referring Network for Referring Expres Expression Comp sion Comprehe rehension nsion Tong Gao Background Referring expressions are natural language

433 views • 26 slides
ReferItGame: Referring to Objects in Photographs of Natural Scenes Motivation First

ReferItGame: Referring to Objects in Photographs of Natural Scenes Motivation First

ReferItGame: Referring to Objects in Photographs of Natural Scenes Motivation First large-scale referring expression dataset Reference expressions are the natural way people talk Of psychological interest in the 70s; Grice,

359 views • 15 slides
Modelling the Polysemy of Spatial Prepositions in Referring Expressions omez Adam

Modelling the Polysemy of Spatial Prepositions in Referring Expressions omez Adam

Modelling the Polysemy of Spatial Prepositions in Referring Expressions omez Adam Richard-Bollans Luc a G Alvarez Anthony G. Cohn September 10, 2020 University of Leeds, UK Introduction Modelling spatial prepositions

564 views • 17 slides
Lecture 22: Discourse and Referring Expressions Julia Hockenmaier juliahmr@illinois.edu 3324

Lecture 22: Discourse and Referring Expressions Julia Hockenmaier juliahmr@illinois.edu 3324

CS447: Natural Language Processing http://courses.engr.illinois.edu/cs447 Lecture 22: Discourse and Referring Expressions Julia Hockenmaier juliahmr@illinois.edu 3324 Siebel Center : n 1 o t i r t c a u P d o r e t s n r

516 views • 26 slides
Information Structure Prediction for Visual-World Referring Expressions Micha Elsner Hannah

Information Structure Prediction for Visual-World Referring Expressions Micha Elsner Hannah

Information Structure Prediction for Visual-World Referring Expressions Micha Elsner Hannah Rohde, Alasdair Clarke The Ohio State University University of Edinburgh University of Aberdeen Describe the person in the box so that someone

783 views • 28 slides
Chapter 7 Expressions and Statements Expressions Arithmetic Expressions Conditional

Chapter 7 Expressions and Statements Expressions Arithmetic Expressions Conditional

Chapter 7 Expressions and Statements Expressions Arithmetic Expressions Conditional Expressions Relational Expressions Logical Expressions Operator Overloading Assignment Statement Control Structure Selection

737 views • 51 slides
Toward a Toward a Overview Sociology of Sociology of Introduction Interpreting

Toward a Toward a Overview Sociology of Sociology of Introduction Interpreting

6/9/2010 Toward a Toward a Overview Sociology of Sociology of Introduction Interpreting Interpreting Traditional foci in Sign Language Interpreting Research What a sociology of interpreting would look like. Jeremy L. Brunson

82 views • 5 slides
INTERPRETING THE PACEMAKER ECG - GANZ 2017 1 SUPERIOR VENA CAVAL SYNDROME EXAMINATION OF THE

INTERPRETING THE PACEMAKER ECG - GANZ 2017 1 SUPERIOR VENA CAVAL SYNDROME EXAMINATION OF THE

INTERPRETING THE ECG IN PATIENTS WITH PACEMAKERS BEFORE INTERPRETING THE ECG: Nora Goldschlager, M.D. MACP, FACC, FAHA, FHRS. Cardiology San Francisco General Hospital UCSF Disclosures: None 1 2 QUESTIONS FOR THE PATIENT

252 views • 14 slides
Learning Distribu.ons over Logical Forms for Referring Expression

Learning Distribu.ons over Logical Forms for Referring Expression

Learning Distribu.ons over Logical Forms for Referring Expression Genera.on Nicholas FitzGerald Yoav Artzi Luke ZeClemoyer Referring

1.5k views • 95 slides
Fem Poble(s): Expressions Meritxell (Txell) Martn Pardo, Ph.D Research associate Data

Fem Poble(s): Expressions Meritxell (Txell) Martn Pardo, Ph.D Research associate Data

Fem Poble(s): Expressions Meritxell (Txell) Martn Pardo, Ph.D Research associate Data Analysis Artistic expressions Educational expressions Gastronomical expressions Herbal expressions Historical expressions Linguistical expressions

303 views • 19 slides
Recursive Definitions Generating Functions Lecture 18 Generating Functions A generating

Recursive Definitions Generating Functions Lecture 18 Generating Functions A generating

Recursive Definitions Generating Functions Lecture 18 Generating Functions A generating function is an alternate representation of an infinite sequence, which allows making useful deductions about the sequence (including, possibly, a closed

865 views • 17 slides
Interpreting with Functions Comparing Different Representations of Functions Glossary Return to

Interpreting with Functions Comparing Different Representations of Functions Glossary Return to

Slide 1 / 122 Slide 2 / 122 8th Grade Modeling Relationships 2015-11-30 www.njctl.org Slide 3 / 122 Slide 4 / 122 Table of Contents Click on the topic to go to that section Interpreting with Functions Analyzing a Graph Interpreting with

638 views • 21 slides
Regexp Lecture 26: Regular Expressions Regular Expressions Regular expressions are a small

Regexp Lecture 26: Regular Expressions Regular Expressions Regular expressions are a small

Regexp Lecture 26: Regular Expressions Regular Expressions Regular expressions are a small programming language over strings Regex or regexp are not unique to Python They let us to succinctly and compactly represent classes of strings In this

739 views • 29 slides
Regular Expressions (REs) Regular Expressions (REs) p.1/37 Expressions In arithmetic:

Regular Expressions (REs) Regular Expressions (REs) p.1/37 Expressions In arithmetic:

Regular Expressions (REs) Regular Expressions (REs) p.1/37 Expressions In arithmetic: Regular Expressions (REs) p.2/37 Expressions In arithmetic: 1. expressions are constructed from numbers and variables using arithmetic

1.51k views • 122 slides
Mat 2170 Week 3 Chapter Three Java Expressions Variable Declarations Java Expressions

Mat 2170 Week 3 Chapter Three Java Expressions Variable Declarations Java Expressions

Mat 2170 Chapter Three Java Expressions Mat 2170 Week 3 Chapter Three Java Expressions Variable Declarations Java Expressions Operators Mixed Mode Assignment Applications Spring 2014 Boolean Expressions Data Types Java

766 views • 41 slides
1 Whats hard about expressions? Expression Evaluation The computers view result = 4 + 3 *

1 Whats hard about expressions? Expression Evaluation The computers view result = 4 + 3 *

CSE142 Outline Computer Programming I Expressions overview Operators & Operands Expressions Precedence & Associativity Type conversion Or a (r(o(s)))(e) with any other #define parenthesization would smell as

412 views • 8 slides
Operators C emphasizes expressions rather than statements. Expressions are built from

Operators C emphasizes expressions rather than statements. Expressions are built from

1/28/14 Operators C emphasizes expressions rather than statements. Expressions are built from variables, constants, and Expressions operators. C has a rich collection of operators, including o arithmetic operators o relational

946 views • 6 slides

More recommend