Transforming Personal Ar0facts into Probabilis0c Narra0ves - PowerPoint PPT Presentation

Transforming ¡Personal ¡ Ar0facts ¡into ¡Probabilis0c ¡ Narra0ves ¡ (UAIW2013) ¡ Setareh ¡Rafa0rad ¡and ¡Kathryn ¡Laskey ¡ srafa0r@gmu.edu ¡ klaskey@gmu.edu ¡ ¡ Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡ 1 ¡ George ¡Mason ¡University ¡ ¡

Outline ¡ • Mo0va0on ¡ • Agglomera0ve ¡Clustering ¡ • Event ¡Ontology ¡Augmenta0on ¡ • Filtering ¡ • Evalua0on ¡ • Summary ¡ Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡ 2 ¡ George ¡Mason ¡University ¡

Mo0va0on ¡ EXIF ¡TAG ¡ Date/Time Original : 2009:12:15 11:46:44 Create Date : 2009:12:15 11:46:44 Shutter Speed Value : 1/304 Aperture Value : 2.6 Brightness Value : 7.16 GPS Version ID : 2.2.0.0 Compression : JPEG (old-style) Thumbnail Offset : 1280 Thumbnail Length : 9508 Bits Per Sample : 8 Color Components : 3 Y Cb Cr Sub Sampling : YCbCr4:2:2 (2 1) Aperture : 2.6 GPS Altitude : 0 m Above Sea Level GPS Latitude : 33.81924 GPS Longitude :-117.918963 Shutter Speed : 1/304 Focal Length : 3.8 mm Light Value : 12.0 Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡ 3 ¡ George ¡Mason ¡University ¡

Mo0va0on ¡cont’d ¡ ¡ ¡ • Expressive ¡event ¡tag ¡ – Mul0-­‑granular ¡Conceptual ¡descrip0on ¡ • Containment ¡event ¡rela0onships ¡e.g. ¡subevent, ¡ during, ¡etc. ¡ ¡ ¡ – Mul0-­‑adapta0on ¡of ¡Contextual ¡descrip0on ¡ • Visit ¡landmark ¡Forbidden ¡City ¡in ¡a ¡trip ¡to ¡ Beijing, ¡visit ¡Landmark ¡Washington ¡monument ¡ in ¡Washington, ¡DC. ¡ ¡ ¡ ¡ ¡ Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡ 4 ¡ George ¡Mason ¡University ¡

Mo0va0on ¡cont’d ¡ ¡ photo ¡stream ¡annotated ¡ with ¡context-­‑adap0ve ¡event ¡ Geo-­‑tagged ¡ Annota0on ¡ ontology ¡(probabilis0c ¡ photo ¡stream ¡of ¡ technique ¡ narra0ves) ¡ an ¡event ¡+ ¡ Ontological ¡Event ¡models ¡ + ¡ Data ¡sources ¡ Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡ 5 ¡ George ¡Mason ¡University ¡

Domain ¡Event ¡Ontology ¡ Miscellaneous! Check!in! Journey! Visit!Landmark! Indoor!Ac<vity! Flight!! Check!out! Arrival!! Trip! Leisure! Outdoor!Ac<vity! Shopping! Lunch! subeventOf! Parking! Breakfast! Dinner! Order!food! before! Serve!food! subClassOf! !!!Formal!Event! !!!Visit!Campus! !!!Professional! !!!Visit!departments! trip! !!!Visit!Surrounding!Area! !!! Talk! !!! Mee<ng! !!!Visit!People! Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡ 6 ¡ George ¡Mason ¡University ¡

Core ¡Event ¡Ontology ¡ Subevent containment Rules: If subevent(B,A), then: • B.Start>= A.start && B.end<= A.end • Contained-in(B.located-at,A.located-at) subevent-of • B.media ⊂ A.media • B.participant ⊂ A.participant Perdurant ¡ ¡ Visual ¡Concept ¡ occurs-at visual-constraint Par0cipant ¡ Spa0al ¡Region ¡ occurs-during Endurant ¡ Interval ¡ point ¡ Trel hasLatitude end double:lat ¡ start hasLongitude Literal:Timestamp ¡ double:lng ¡ Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡ 7 ¡ George ¡Mason ¡University ¡

Solu0on ¡Strategy ¡ photo%base* metadata%base* p r e d i c t e d * t a g s * photo*stream* filtering* user*info* processing* individual* clustering* components* photo* descriptor* valida5on* execu5on* visual*concept** h6p%request/ flow* verifica5on*tool* response* Event*Ontology** Augmenta5on* h6p%request/ S ⊆ V response* data*sources* %event*inference** ontological* %refinement* event*models* %*valida5on* ( ) O V , E %*extension* ( ) = m i p f s i , c j Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡ 8 ¡ George ¡Mason ¡University ¡

Challenges ¡ • How ¡to ¡obtain ¡expressive ¡event ¡tags? ¡ • How ¡to ¡determine ¡the ¡event ¡ category? ¡ • What ¡kind ¡of ¡data ¡sources ¡should ¡be ¡ used ¡to ¡compute ¡the ¡tags? ¡ Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡ 9 ¡ George ¡Mason ¡University ¡

Agglomera0ve ¡Clustering ¡ Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡ 10 ¡ George ¡Mason ¡University ¡

Event ¡Ontology ¡Augmenta0on ¡ • Defini0on1: ¡ – A ¡context-­‑adap0ve ¡event ¡ontology ¡is ¡an ¡ instance ¡event ¡ontology, ¡augmented ¡with ¡ concrete ¡context ¡cues ¡from ¡disparate ¡ sources. ¡ • Defini0on2: ¡ – A ¡tag ¡ t ¡for ¡a ¡group ¡of ¡photos ¡ C is ¡an ¡ augmented ¡instance ¡of ¡a ¡subevent ¡of ¡event ¡ E ¡that ¡either ¡exists ¡in ¡event ¡ontology ¡ O , ¡or ¡ can ¡be ¡derived ¡from ¡ O ¡such ¡that ¡ t is ¡the ¡ finest ¡subevent ¡that ¡can ¡be ¡assigned ¡to ¡ C . ¡ Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡ 11 ¡ George ¡Mason ¡University ¡

Event ¡Ontology ¡Augmenta0on ¡ cont’d ¡ • Given ¡a ¡photo ¡ pj , ¡find ¡the ¡sound ¡ cluster ¡ C ¡containing ¡ pj ¡ • Represent ¡ C ¡with ¡a ¡set ¡of ¡consistent ¡ descriptors ¡ ¡ – using ¡the ¡descriptors ¡of ¡every ¡ pi ¡ ¡ ¡ ¡ ¡ C , ¡ ¡ ∈ – guided ¡by ¡the ¡descriptors ¡of ¡ pj ¡ • Confidence ¡of ¡cluster ¡descriptor ¡ d: ¡ ¡ confidence d = 1 ∑ ( ) f p i , d C × Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡ 12 ¡ George ¡Mason ¡University ¡

Event ¡Ontology ¡Augmenta0on ¡ cont’d ¡ • Context ¡Discovery ¡ – Schema ¡for ¡source ¡representa0on ¡ – SPARQL ¡for ¡query ¡sources ¡ ¡ ¡ SELECT ¡?var 1 ¡FROM ¡<source-­‑URI> ¡ weather ¡<typeOf> ¡Sta0s0calSource ¡ WHERE{ ¡ ¡ ¡ ¡ ¡ ¡input_akr: ¡(loc,t, ¡zone); ¡ ¡ ¡ ¡ ¡ ¡ ¡akr 1 ¡<typeOf> ¡class w . ¡ ¡ ¡ ¡ ¡ ¡output_akr: ¡(weather); ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡akr 2 ¡<typeOf> ¡class f . ¡ ¡ ¡ ¡ ¡ ¡loc ¡<typeOf> ¡Point; ¡ ¡ ¡ ¡ ¡ ¡ ¡akr 3 ¡<typeOf> ¡class u . ¡ ¡ ¡ ¡ ¡ ¡t ¡<typeOf> ¡Timestamp; ¡ ¡ ¡ ¡ ¡ ¡ ¡?x ¡rel a ¡?var 1 . ¡ ¡ ¡ ¡ ¡ ¡zone ¡<typeOf> ¡TimeZone; ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡?x ¡rel b ¡?y. ¡ ¡ ¡ ¡ ¡ ¡Point ¡<subClassOf> ¡Space; ¡ ¡ ¡ ¡ ¡ ¡ ¡?x ¡rel c ¡?z. ¡ ¡ ¡ ¡ ¡ ¡Point ¡<hasLa0tude> ¡Literal:numeric; ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡?y ¡rel d ¡ akr 1 . ¡ ¡ ¡ ¡ ¡ ¡Point ¡<hasLongitude> ¡Literal:numeric. ¡ ¡ ¡ ¡ ¡ ¡ ¡?z ¡rel h ¡akr 2 . ¡} ¡ ¡ ¡ ¡ ¡ ¡Timestamp ¡<subClassOf> ¡Time; ¡ ¡ ¡ ¡ ¡ ¡weather ¡<typeOf> ¡Ambiance; ¡ ¡ ¡ ¡ ¡ ¡Ambiance ¡<hasValue> ¡Literal:String; ¡ Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡ ¡ ¡ ¡ ¡Ambiance ¡<subClassOf> ¡Quality. ¡ ¡ 13 ¡ ¡George ¡Mason ¡University ¡

Event ¡Ontology ¡Augmenta0on ¡ cont’d ¡ • Descriptors ¡consistency ¡ – Example ¡ outdoorSea.ng ¡: ¡true; ¡ sceneT ¡ype ¡: ¡outdoor; ¡ weatherCondi.on ¡: ¡storm ¡ Rule1: ¡ outdoorSeating ∧ outdoor → fineWeather fineWeather → ¬ storm Rule2 ¡is ¡entailed: ¡ outdoorSeating ∧ outdoor → ¬ storm inconsistency ¡detected! ¡ Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡ 14 ¡ George ¡Mason ¡University ¡

Event ¡Ontology ¡Augmenta0on ¡ cont’d ¡ • Event ¡Inference ¡ – Find ¡event ¡categories ¡ – Rank ¡event ¡candidates ¡through ¡Measure ¡of ¡Plausibility ¡ ¡ ( ) p m i • Granularity ¡score ¡for ¡an ¡event ¡candidate ¡ ( ) w g • Context-­‑Plausibility ¡score ¡for ¡an ¡event ¡candidate ¡ ( ) w AX w AX = 1 ¡ ∑ j Number ¡of ¡event ¡constraints ¡ w AX ,1 ≤ j ≤ N × N Score ¡related ¡to ¡an ¡event ¡constraint ¡ • Compare ¡event ¡candidates ¡ e i . w g e i . w AX p = e i . m i + ( ) ( ) max e i . w AX , e j . w AX max e i . w g , e j . w g – Instan0ate ¡and ¡augment ¡the ¡most ¡plausible ¡event ¡candidate ¡ Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡ 15 ¡ George ¡Mason ¡University ¡

Context-­‑Adap0ve ¡Event ¡Ontology ¡ (Probabilis0c ¡Narra0ves) ¡ Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ 16 ¡ ¡George ¡Mason ¡University ¡