Domain Adapta,on for Upper Body Pose Tracking in Signed TV - PowerPoint PPT Presentation

Domain ¡Adapta,on ¡for ¡Upper ¡Body ¡Pose ¡ Tracking ¡in ¡Signed ¡TV ¡Broadcasts James ¡Charles 1 , ¡ Tomas ¡Pfister 2 , ¡Derek ¡Magee 1 , ¡David ¡Hogg 1 , ¡Andrew ¡Zisserman 2 1 School ¡of ¡Compu=ng 2 ¡ Visual ¡Geometry ¡Group ¡ ¡University ¡of ¡Leeds ¡University ¡of ¡Oxford Friday, 13 September 13

Mo=va=on: ¡ Automa,c ¡sign ¡language ¡recogni,on Idea: automatically learn signs by watching TV using weak supervision from subtitles Friday, 13 September 13

Mo=va=on: ¡ Automa,c ¡sign ¡language ¡recogni,on Idea: automatically learn signs by watching TV using weak supervision from subtitles Friday, 13 September 13

Introduc=on Given a large amount of annotated joint training data Accurate real-time joint tracking with Random Forest Method is similar to Kinect, but without depth Friday, 13 September 13

Problem There ¡is ¡only ¡training ¡data ¡for ¡one ¡ type ¡of ¡signer ¡(domain) Friday, 13 September 13

Problem There ¡is ¡only ¡training ¡data ¡for ¡one ¡ type ¡of ¡signer ¡(domain) Can’t ¡generalise ¡to ¡some ¡new ¡signers ¡(new ¡domains) Different build Different sleeve length Different hair length Friday, 13 September 13

Problem There ¡is ¡only ¡training ¡data ¡for ¡one ¡ type ¡of ¡signer ¡(domain) Can’t ¡generalise ¡to ¡some ¡new ¡signers ¡(new ¡domains) Different build Different sleeve length Different hair length Example: ¡ signers ¡with ¡short ¡sleeves Friday, 13 September 13

One ¡solu=on Annotate new training data Friday, 13 September 13

One ¡solu=on Annotate new training data Problem: annotation is very expensive! Friday, 13 September 13

One ¡solu=on Annotate new training data Problem: annotation is very expensive! Several hours of manual annotation per video Friday, 13 September 13

Key ¡idea ¡in ¡this ¡paper Synthesise training data for new domain by reusing existing training data Several hours of manual annotation per video Friday, 13 September 13

Key ¡idea ¡in ¡this ¡paper Synthesise training data for new domain by reusing existing training data Several hours of manual annotation per video Annotation = 1 NUMBER Friday, 13 September 13

Example: ¡ Tracking ¡signers ¡wearing ¡short ¡sleeves Original ¡forests ¡ Friday, 13 September 13

Example: ¡ Tracking ¡signers ¡wearing ¡short ¡sleeves Personalised ¡forests ¡ Training ¡COMPLETELY ¡AUTOMATIC Friday, 13 September 13

Related ¡work ¡ on ¡synthesising ¡training ¡data ¡for ¡discrimina=ve ¡predic=on • Kinect (CVPR’11): synthesise depth images • Everingham & Zisserman ICCV’05: synthesise using head model • Lepetit & Fua PAMI’06: synthesise affine distortions to classify interest points Kinect • Agarwal & Triggs PAMI’06: synthesise human pose for pose estimation • Pishchulin et al. CVPR’12: synthesise photorealistic images with different human poses Everingham & Zisserman ICCV’05 Friday, 13 September 13

METHOD ¡ Running ¡example: ¡ signers ¡wearing ¡sleeves ¡of ¡various ¡length Sleeve length (decreasing) Friday, 13 September 13

Exis=ng ¡method ¡for ¡signers ¡with ¡long ¡sleeves Accurate real-time tracking with Random Forest Friday, 13 September 13

Exis=ng ¡method ¡for ¡signers ¡with ¡long ¡sleeves Accurate real-time tracking with Random Forest Why colour posterior? Abstracts ¡away ¡ colour ¡of ¡clothes Friday, 13 September 13

Exis=ng ¡method ¡for ¡signers ¡with ¡long ¡sleeves Accurate real-time tracking with Random Forest Why colour Why not just posterior? segmentation? ? Abstracts ¡away ¡ Cannot colour ¡of ¡clothes locate hands Friday, 13 September 13

Exis=ng ¡method ¡for ¡signers ¡with ¡long ¡sleeves Accurate real-time tracking with Random Forest Why colour Why not just Problem with short sleeves: posterior? segmentation? ? Abstracts ¡away ¡ Cannot Colour posterior looks very different colour ¡of ¡clothes locate hands Friday, 13 September 13

Exis=ng ¡method ¡for ¡signers ¡with ¡long ¡sleeves Solution: Accurate real-time tracking with Random Forest Synthesise training data for short sleeved signers using already tracked long sleeved videos Why colour Why not just Problem with short sleeves: + joint positions + joint positions posterior? segmentation? ? Abstracts ¡away ¡ Cannot Colour posterior looks very different colour ¡of ¡clothes locate hands Friday, 13 September 13

Method ¡overview Input: 0.5 Video ¡from ¡ Source ¡domain ¡ Target ¡label ¡ Colour ¡posterior ¡& ¡joint ¡ target ¡domain colour ¡posterior (sleeve ¡length) posi,ons ¡in ¡source ¡domain Friday, 13 September 13

Method ¡overview Input: 0.5 Video ¡from ¡ Source ¡domain ¡ Target ¡label ¡ Colour ¡posterior ¡& ¡joint ¡ target ¡domain colour ¡posterior (sleeve ¡length) posi,ons ¡in ¡source ¡domain Output: ¡ ¡ ¡ synthesised ¡training ¡data ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡(with ¡target ¡sleeve ¡length) Friday, 13 September 13

Method ¡overview Input: 0.5 Video ¡from ¡ Source ¡domain ¡ Target ¡label ¡ Colour ¡posterior ¡& ¡joint ¡ target ¡domain colour ¡posterior (sleeve ¡length) posi,ons ¡in ¡source ¡domain Output: ¡ ¡ ¡ synthesised ¡training ¡data ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡(with ¡target ¡sleeve ¡length) 1. ¡Train ¡joint ¡tracker ¡for ¡target ¡domain Friday, 13 September 13

Method ¡overview Input: 0.5 Video ¡from ¡ Source ¡domain ¡ Target ¡label ¡ Colour ¡posterior ¡& ¡joint ¡ target ¡domain colour ¡posterior (sleeve ¡length) posi,ons ¡in ¡source ¡domain Output: ¡ ¡ ¡ synthesised ¡training ¡data ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡(with ¡target ¡sleeve ¡length) 1. ¡Train ¡joint ¡tracker ¡for ¡target ¡domain 2. ¡Apply ¡tracker ¡to ¡target ¡domain Friday, 13 September 13

Method ¡detail 1. ¡Colour ¡posterior ¡synthesis ¡ Synthesise ¡bare ¡arms ¡on ¡signers ¡wearing ¡long ¡sleeves + Source ¡signer Ini=al ¡synthesised ¡CP ¡image (Known ¡joint ¡loca=ons) (Known ¡joint ¡loca=ons) Friday, 13 September 13

Method ¡detail 1. ¡Colour ¡posterior ¡synthesis ¡ Synthesise ¡bare ¡arms ¡on ¡signers ¡wearing ¡long ¡sleeves + Source ¡signer Ini=al ¡synthesised ¡CP ¡image (Known ¡joint ¡loca=ons) (Known ¡joint ¡loca=ons) 2. ¡Template ¡personalisa,on ¡ Personalise ¡arm ¡templates ¡by ¡refining ¡ini=al ¡colour ¡posterior + Ini=al ¡synthesised ¡CP ¡image Friday, 13 September 13

Method ¡detail 1. ¡Colour ¡posterior ¡synthesis ¡ Synthesise ¡bare ¡arms ¡on ¡signers ¡wearing ¡long ¡sleeves + Source ¡signer Ini=al ¡synthesised ¡CP ¡image (Known ¡joint ¡loca=ons) (Known ¡joint ¡loca=ons) Friday, 13 September 13

Method ¡detail 1. ¡Colour ¡posterior ¡synthesis ¡ Synthesise ¡bare ¡arms ¡on ¡signers ¡wearing ¡long ¡sleeves + Source ¡signer Ini=al ¡synthesised ¡CP ¡image (Known ¡joint ¡loca=ons) (Known ¡joint ¡loca=ons) Friday, 13 September 13

Method ¡detail 1. ¡Colour ¡posterior ¡synthesis ¡ Synthesise ¡bare ¡arms ¡on ¡signers ¡wearing ¡long ¡sleeves + Source ¡signer Ini=al ¡synthesised ¡CP ¡image (Known ¡joint ¡loca=ons) (Known ¡joint ¡loca=ons) 2. ¡Template ¡personalisa,on ¡ Personalise ¡arm ¡templates ¡by ¡refining ¡ini=al ¡colour ¡posterior + Ini=al ¡synthesised ¡CP ¡image Friday, 13 September 13

Method ¡detail 1. ¡Colour ¡posterior ¡synthesis ¡ Synthesise ¡bare ¡arms ¡on ¡signers ¡wearing ¡long ¡sleeves + Source ¡signer Ini=al ¡synthesised ¡CP ¡image (Known ¡joint ¡loca=ons) (Known ¡joint ¡loca=ons) 2. ¡Template ¡personalisa,on ¡ Personalise ¡arm ¡templates ¡by ¡refining ¡ini=al ¡colour ¡posterior + Ini=al ¡synthesised ¡CP ¡image Friday, 13 September 13

Method ¡detail 1. ¡Colour ¡posterior ¡synthesis ¡ Synthesise ¡bare ¡arms ¡on ¡signers ¡wearing ¡long ¡sleeves + Source ¡signer Ini=al ¡synthesised ¡CP ¡image (Known ¡joint ¡loca=ons) (Known ¡joint ¡loca=ons) 2. ¡Template ¡personalisa,on ¡ Personalise ¡arm ¡templates ¡by ¡refining ¡ini=al ¡colour ¡posterior + Ini=al ¡synthesised ¡CP ¡image Friday, 13 September 13