2012 TRECVID Workshop Mul$media Event Detec$on Task - PowerPoint PPT Presentation

Mul$media ¡Event ¡Detec$on ¡Task ¡ Time ime Pres esent entation ion Task Overview (NIST) 9:20 – 9:40 9:40 – 10:00 Access to Audiovisual Media (AXES) 10:00 – 10:20 SRI International; Sarnoff Corporation (Aurora) Break in the NIST West Square Cafeteria 10:20 – 10:40 10:40 – 11:00 Kitware Inc (GENIE) 11:00 – 11:20 Tokyo Institute of Technology; Canon Corporation (TokyoTechCanon) 11:20 – 11:40 SRI Internations (SESAME) 11:40 – 12:10 Discussion

2012 ¡TRECVID ¡Workshop ¡ Mul$media ¡Event ¡Detec$on ¡Task ¡ ¡ Jonathan ¡Fiscus ¡ ¡Na$onal ¡Ins$tute ¡of ¡Standards ¡and ¡Technology ¡(NIST) ¡ ¡ Mar$al ¡Michel ¡ Systems ¡Plus ¡Inc. ¡

Talk ¡Outline ¡ • MED ¡Task ¡Overview ¡ ¡ ¡ ¡ ¡ • HAVIC ¡Data ¡Resources ¡ ¡ ¡ ¡ • The ¡2012 ¡MED ¡Results ¡ ¡ ¡ ¡ • Summary ¡and ¡What’s ¡Next ¡ 2012 TRECVID Workshop November 26, 2012 (Gaithersburg, Maryland)

MED Task Definition Rock ¡Climbing ¡Event ¡Kit ¡Text ¡ Given an event specified by an event kit , Definition: search multimedia recordings for the event: One or more people climb up or across rock 1. determine a hard decision confidence formations or artificial rock walls. threshold prior to search time, Explication: 2. assign a confidence score to each clip in the collection, Rock climbing is a physically intense activity, where the 3. measure Content Description build time, goal is to reach the top or endpoint of a pre-defined route and on a rock formation or artificial rock wall by finding a grip 4. measure the Event Agent execution time on the surface using hands and feet, and then pulling up using their arm and leg strength. … An MED Event is Evidential Description: • scene: outdoors in natural setting, indoors in rock climbing gym, or outdoors on a specially … • complex activity occurring at a specific • objects/people: carabiners, rope, helmet, harness, rock place and time; formation, artificial rock wall, climbers • involves people interacting with other people and/or objects; • activities: hooking rope to harness, moving hands and feet along side of rock face, grabbing rock …… . • consists of a number of human actions, processes, and activities that are • audio: carabiners clinking, climbers making comments loosely or tightly organized and that on the difficulty of the climb, onlookers cheering on … have significant temporal and semantic Illustrative Examples relationships to the overarching activity; • Positive instances of the event • is directly observable. • Clips “Related” to the event 2012 TRECVID Workshop November 26, 2012 (Gaithersburg, Maryland)

Posi$ve ¡Rock ¡Climbing ¡Video ¡Example ¡ 2012 TRECVID Workshop November 26, 2012 (Gaithersburg, Maryland)

MED ¡Evalua$on ¡Condi$ons ¡ • MED ¡Tasks ¡ – Pre-­‑Specified ¡Event ¡(PS) ¡– ¡MED ¡metadata ¡genera$on ¡op$mized ¡with ¡knowledge ¡of ¡ events ¡ – Ad-­‑Hoc ¡Event ¡(AH) ¡– ¡MED ¡metadata ¡genera$on ¡complete ¡before ¡events ¡revealed ¡ Event ¡Agent ¡Genera$on ¡(EAG) ¡Processing ¡Types ¡ • – AutomaAc ¡EAG ¡– ¡No ¡human ¡interac$on ¡to ¡build ¡the ¡event ¡agent ¡ ¡ – Semi-­‑AutomaAc ¡EAG ¡– ¡Human ¡guidance ¡of ¡event ¡agent ¡building ¡ Events ¡Processes ¡ • – MEDFull ¡– ¡Processing ¡20 ¡PS ¡event, ¡5 ¡AH ¡events ¡ – MEDPart ¡– ¡Processing ¡a ¡subset ¡of ¡the ¡events ¡ Event ¡Training ¡Condi$on ¡ • – EKFull ¡– ¡Use ¡the ¡event ¡kit ¡text ¡and ¡all ¡supplied ¡posi$ve, ¡near_miss, ¡and ¡related ¡ exemplars ¡ – EK10Ex ¡– ¡Use ¡a ¡10-­‑posi$ve ¡and ¡10-­‑related ¡clip ¡subset ¡(20 ¡total) ¡of ¡EKFulll ¡ • Required ¡Condi$on ¡ – PS, ¡EKFull ¡ 2012 TRECVID Workshop November 26, 2012 (Gaithersburg, Maryland)

The ¡TRECVID ¡MED ¡2012 ¡Events ¡ Ad Hoc Events Pre-Specified Events MED ¡’11 ¡Events ¡ New ¡Events ¡ New ¡Events ¡ A_emp$ng ¡a ¡bike ¡trick ¡ Doing ¡homework ¡or ¡studying ¡ Changing ¡a ¡vehicle ¡$re ¡ Cleaning ¡an ¡appliance ¡ Hide ¡and ¡seek ¡ Ge\ng ¡a ¡vehicle ¡unstuck ¡ Dog ¡show ¡ Hiking ¡ Grooming ¡an ¡animal ¡ Giving ¡direc$ons ¡to ¡a ¡loca$on ¡ Installing ¡flooring ¡ Making ¡a ¡sandwich ¡ Marriage ¡proposal ¡ Wri$ng ¡text ¡ Parkour ¡ Renova$ng ¡a ¡home ¡ Repairing ¡an ¡appliance ¡ Rock ¡climbing ¡ Working ¡on ¡a ¡sewing ¡project ¡ Town ¡hall ¡mee$ng ¡ Birthday ¡party ¡ Winning ¡a ¡race ¡without ¡a ¡vehicle ¡ Flash ¡mob ¡gathering ¡ Working ¡on ¡a ¡metal ¡cra`s ¡project ¡ Parade ¡ 2012 TRECVID Workshop November 26, 2012 (Gaithersburg, Maryland)

17 ¡MED ¡2012 ¡Finishers ¡and ¡Number ¡of ¡Runs ¡ )@KT>F Y?:K*W:F.=.:@ 8:AG ;?SA/.ZA2.>/ !"#$% !"&'(( !"#$% !"&'(( ,'-(./01.2304/.56704/.56089:/2:70;<=>?@04/.5670"A2B>(.:C:0 4/.5:?D.230E:'5:/708:FB/.F>(>?70!?ADG'D04/.560H>22:?@AG70 &?A'/B>=:?0I:D:((DFBA=27001ADD.@.A/70JJ170,:'DFB:KL:((:70 )%!* + + M:2B:?(A/@D0N/D260=>?0*>'/@0A/@0O.D.>/70!H1NP JJMON*!HQ R # # R HA32B:>/0JJM08:FB/>(>S.:D704P,701>('G-.A7041&08:AG 1!H8TKN8NQ + N/=>?GA2.FD0A/@08:(:GA2.FD0N/D26701:/2?:0=>?0H:D:A?FB0A/@08:FB6 1P4Q # # # U 1A?/:S.:0P:((>/04/.5:?D.23 ,14K.),K1E)HN8VQ # # ,'-(./01.2304/.5:?D.2370N), !1M4 U N/D2.2'2:0>=01>GW'2:?0)WW(.FA2.>/D70!AD201B./A0M>?GA(04/.5:?D.23 I:/.:Q # R # U ".29A?:0N/F6 NJP14Q # # # U NJP0860X60LA2D>/0H:D:A?FB01:/2:? P:@.AP.((Q R # U 4/.5:?D.230>=0)GD2:?@AG MNNQ + MA2.>/A(0N/D2.2'2:0>=0N/=>?GA2.FD M88KMNN R + M8801>GG'/.FA2.>/0*F.:/F:0EA-670MA260N/D260>=0N/=>?GA2.FD ;Y4 # # ;DACA0Y?:=:F2'?:04/.5:?D.23 *:DAG:Q # R # U *HN0N/2:?/A2.>/A(0*!*)P! *HN)4H;H)Q # # # U *HN0N/2:?/A2.>/A(0*A?/>==0)'?>?A 8>C3>8:FB1A/>/Q R + 8>C3>0N/D2.2'2:0>=08:FB/>(>S30A/@01A/>/ 4!1 # # 4/.5:?D.230>=0!(:F2?>K1>GG'/.FA2.>/D0 ONH!; U 1.2304/.5:?D.230>=0T>/S0">/S ! "# $ %! * MED ‘11 Participants 2012 TRECVID Workshop November 26, 2012 (Gaithersburg, Maryland)

Data ¡Collec$on ¡& ¡Annota$on ¡ • Team ¡of ¡50 ¡data ¡scouts ¡at ¡the ¡Linguis$c ¡Data ¡Consor$um ¡ – In-­‑person ¡training, ¡regular ¡team ¡mee$ngs, ¡work ¡remotely ¡ • Custom ¡GUI ¡to ¡search ¡web ¡for ¡appropriate ¡videos, ¡then ¡ annotate ¡their ¡proper$es ¡ ¡ • Two ¡guiding ¡annota$on ¡principles, ¡plus ¡corollary ¡ – Sufficient ¡Evidence ¡Rule: ¡ Video ¡must ¡contain ¡sufficient ¡evidence ¡to ¡ decide ¡that ¡an ¡event ¡has ¡occurred ¡ ¡ – Reasonable ¡Viewer ¡Rule: ¡ If ¡according ¡to ¡a ¡reasonable ¡interpreta$on ¡ of ¡the ¡video ¡the ¡event ¡must ¡have ¡occurred, ¡then ¡the ¡clip ¡is ¡a ¡posi$ve ¡ instance ¡of ¡that ¡event ¡ – Corollary : ¡Not ¡necessary ¡for ¡full ¡process ¡to ¡be ¡shown ¡ • Scouts ¡encouraged ¡to ¡seek ¡out ¡interes$ng, ¡varied ¡clips ¡ 2012 TRECVID Workshop November 26, 2012 (Gaithersburg, Maryland)

Annota$on ¡and ¡Prepara$on ¡of ¡ Candidate ¡Videos ¡ • For ¡each ¡candidate ¡video, ¡scouts ¡are ¡required ¡to ¡ – Watch ¡clip ¡in ¡its ¡en$rety ¡ – Determine ¡and ¡verify ¡the ¡download ¡URL ¡ – Screen ¡for ¡sensi$ve ¡PII, ¡objec$onable ¡content ¡ • Collec$on ¡strategies ¡ – Event ¡specific: ¡label ¡with ¡event ¡status ¡(posi$ve, ¡near ¡miss, ¡background) ¡ – Background ¡clips: ¡collected ¡without ¡regard ¡to ¡an ¡event ¡ • Downloaded ¡videos ¡processed ¡to ¡standardize ¡data ¡format ¡and ¡ encoding ¡ – MPEG-­‑4, ¡h.264 ¡video ¡encoding, ¡aac ¡audio ¡encoding ¡ – Original ¡video ¡resolu$on ¡and ¡audio/video ¡bitrates ¡retained ¡ 2012 TRECVID Workshop November 26, 2012 (Gaithersburg, Maryland)

HAVIC ¡Data ¡Resources ¡ Video ¡ Video ¡clips ¡ duraAon ¡ MED ¡‘10 ¡ 3,468 ¡ 114 ¡hours ¡ MED ¡‘11 ¡DEV ¡ 10,403 ¡ 324 ¡hours ¡ MED ¡‘12 ¡ Training ¡ MED ¡‘11 ¡Eval ¡ 32,061 ¡ 991 ¡hours ¡ Transcrip$on ¡ 1,498 ¡ 45 ¡hours ¡ Progress ¡Test ¡Collec$on ¡ 98,117 ¡ 3,722 ¡hours ¡ (Used ¡for ¡MED ¡‘12-­‑15) ¡ Total ¡ 144,049 ¡ 5,151 ¡hours ¡ 2012 TRECVID Workshop November 26, 2012 (Gaithersburg, Maryland)