Re-presen(ng Art Collec(ons Joon Son Chung, Relja - PowerPoint PPT Presentation

Re-­‑presen(ng ¡Art ¡Collec(ons ¡ Joon ¡Son ¡Chung, ¡Relja ¡Arandjelović, ¡Giles ¡Bergel, ¡ ¡ Alex ¡Franklin ¡and ¡Andrew ¡Zisserman ¡ VISART, ¡6 th ¡September ¡2014 ¡ University ¡of ¡Oxford ¡

Dataset: ¡The ¡Bodleian ¡Broadside ¡Ballads ¡ § Photographs ¡of ¡around ¡900 ¡broadside ¡ballad ¡sheets ¡ § Broadside ¡ballad ¡sheets ¡are: ¡ ¡ § Cheap ¡printed ¡ballad ¡sheets ¡ § Printed ¡from ¡the ¡16 th ¡to ¡the ¡20 th ¡century ¡ § The ¡illustraSons ¡are ¡printed ¡with ¡woodblocks ¡ 2 ¡

Dataset: ¡The ¡Bodleian ¡Broadside ¡Ballads ¡ 3 ¡

Dataset: ¡The ¡Bodleian ¡Broadside ¡Ballads ¡ 4 ¡

Dataset: ¡The ¡Bodleian ¡Broadside ¡Ballads ¡ 5 ¡

Problem ¡statement ¡ l MoSvaSon: ¡ l Art ¡historians ¡now ¡have ¡huge ¡ digital ¡collecSons ¡for ¡study ¡ l Manual ¡analysis ¡inadequate ¡ for ¡collecSons ¡of ¡this ¡scale ¡ l Computer ¡vision ¡methods ¡can ¡generate ¡new ¡representaSons ¡ of ¡the ¡data ¡that ¡are ¡beXer ¡suited ¡to ¡their ¡research ¡problems ¡ 6 ¡

ObjecSves ¡ 1. ¡ ¡IdenSfying ¡woodcut ¡illustraSons ¡ 7 ¡

ObjecSves ¡ 2. ¡ ¡Clustering ¡by ¡semanSc ¡similarity ¡ 8 ¡

ObjecSves ¡ 3. ¡ ¡Clustering ¡by ¡exact ¡copies ¡(from ¡the ¡same ¡woodblock) ¡ 9 ¡

Outline ¡ 1. IdenSfying ¡woodcut ¡illustraSons ¡ Finding ¡candidate ¡regions ¡ a. b. Matching ¡the ¡illustraSons ¡across ¡the ¡collecSon ¡to ¡ refine ¡the ¡regions ¡ 2. Clustering ¡by ¡semanSc ¡similarity ¡ 3. Clustering ¡by ¡exact ¡copies ¡ 4. ApplicaSon: ¡temporal ¡ordering ¡ 10 ¡

IdenSfying ¡woodcut ¡illustraSons ¡ § First, ¡idenSfy ¡the ¡areas ¡of ¡text ¡ ¡ 11 ¡

IdenSfying ¡woodcut ¡illustraSons ¡ 12 ¡

IdenSfying ¡woodcut ¡illustraSons ¡ § Areas ¡of ¡text ¡highlighted ¡ 13 ¡

IdenSfying ¡woodcut ¡illustraSons ¡ § Remove ¡the ¡areas ¡of ¡text ¡from ¡the ¡image ¡ ¡ 14 ¡

IdenSfying ¡woodcut ¡illustraSons ¡ § Remove ¡all ¡details ¡that ¡are ¡outside ¡the ¡page ¡boundary ¡ 15 ¡

IdenSfying ¡woodcut ¡illustraSons ¡ § Find ¡the ¡bounding ¡boxes ¡of ¡the ¡remaining ¡objects ¡ 16 ¡

Outline ¡ 1. IdenSfying ¡woodcut ¡illustraSons ¡ Finding ¡candidate ¡regions ¡ a. b. Matching ¡the ¡illustraSons ¡across ¡the ¡collecSon ¡to ¡ refine ¡the ¡regions ¡ 2. Clustering ¡by ¡semanSc ¡similarity ¡ 3. Clustering ¡by ¡exact ¡copies ¡ 4. ApplicaSon: ¡temporal ¡ordering ¡ 17 ¡

ImageMatch ¡ Philbin ¡et ¡al. ¡(2007), ¡Arandjelović ¡and ¡Zisserman ¡(2012) ¡ Set ¡of ¡RootSIFT ¡ query ¡input ¡ descriptors ¡ [Sivic03] ¡ [Lowe04, ¡Mikolajczyk07] ¡ Hessian-­‑Affine ¡regions ¡+ ¡ visual ¡words ¡ RootSIFT ¡descriptors ¡ sparse ¡frequency ¡vector ¡ R-­‑idf ¡weigh(ng ¡ Inverted ¡ ranked ¡image ¡ Geometric ¡ querying ¡ file ¡ short-­‑list ¡ verifica(on ¡ [Lowe04, ¡Philbin07] ¡ 18 ¡

ImageMatch ¡ query ¡input ¡ 19 ¡

Boundary ¡refinement ¡ § Generate ¡ImageMatch ¡queries ¡from ¡all ¡candidate ¡illustraSons ¡ § Record ¡all ¡returns ¡ 20 ¡

Boundary ¡refinement ¡ § Cluster ¡the ¡matches ¡from ¡other ¡candidates ¡that ¡overlap ¡the ¡ original ¡boundary ¡ 2614 illustrations 21 ¡

Outline ¡ 1. IdenSfying ¡woodcut ¡illustraSons ¡ 2. Clustering ¡by ¡semanSc ¡similarity ¡ 3. Clustering ¡by ¡exact ¡copies ¡ 4. ApplicaSon: ¡temporal ¡ordering ¡ 22 ¡

Clustering ¡by ¡semanSc ¡similarity ¡ § Similarity ¡of ¡two ¡illustraSons ¡is ¡computed ¡as ¡a ¡weighted ¡ similariSes ¡of: ¡ § The ¡GIST ¡descriptor ¡provides ¡a ¡holisSc ¡descripSon ¡of ¡the ¡scene ¡ § The ¡VLAD ¡summarizes ¡the ¡distribuSon ¡of ¡local ¡SIFT ¡descriptors ¡ in ¡an ¡image ¡ ¡ § SpaSally ¡pooled ¡VLAD ¡encodes ¡the ¡spaSal ¡informaSon ¡ P2 P1 P0 P5 P3 P4 23 ¡ !

Clustering ¡by ¡semanSc ¡similarity ¡ § Similarity ¡of ¡two ¡illustraSons ¡is ¡computed ¡as ¡a ¡weighted ¡ similariSes ¡of ¡the ¡GIST, ¡the ¡VLAD ¡and ¡spaSally-­‑pooled ¡VLAD. ¡ § The ¡pairwise ¡dissimilariSes ¡are ¡thresholded, ¡and ¡a ¡graph ¡is ¡formed ¡ § Undirected ¡edges ¡represent ¡sufficient ¡similarity ¡ 3.4 ¡ 3.1 ¡ 1.8 ¡ 2.2 ¡ 2.9 ¡ Threshold ¡is ¡3.0 ¡ 3.5 ¡ 24 ¡

Clustering ¡by ¡semanSc ¡similarity ¡ § Similarity ¡of ¡two ¡illustraSons ¡is ¡computed ¡as ¡a ¡weighted ¡ similariSes ¡of ¡the ¡GIST, ¡the ¡VLAD ¡and ¡spaSally-­‑pooled ¡VLAD. ¡ § The ¡pairwise ¡similariSes ¡are ¡thresholded, ¡and ¡a ¡graph ¡is ¡formed ¡ § Extract ¡connected ¡components ¡to ¡find ¡the ¡clusters ¡ 3.4 ¡ 3.1 ¡ 1.8 ¡ 2.2 ¡ 2.9 ¡ 3.5 ¡ 25 ¡

Clustering ¡by ¡semanSc ¡similarity ¡ § Similarity ¡of ¡two ¡illustraSons ¡is ¡computed ¡as ¡a ¡weighted ¡ similariSes ¡of ¡the ¡GIST, ¡the ¡VLAD ¡and ¡spaSally-­‑pooled ¡VLAD. ¡ § The ¡pairwise ¡similariSes ¡are ¡thresholded, ¡and ¡a ¡graph ¡is ¡formed ¡ § Extract ¡connected ¡components ¡to ¡find ¡the ¡clusters ¡ § We ¡find ¡and ¡break ¡up ¡clusters ¡with ¡large ¡intra-­‑cluster ¡variability ¡ 3.4 ¡ 3.1 ¡ 1.8 ¡ 2.2 ¡ 2.9 ¡ 3.5 ¡ 26 ¡

Clustering ¡by ¡semanSc ¡similarity ¡ 740 clusters 27 ¡

Outline ¡ 1. IdenSfying ¡woodcut ¡illustraSons ¡ 2. Clustering ¡by ¡semanSc ¡similarity ¡ 3. Clustering ¡by ¡exact ¡copies ¡ 4. ApplicaSon: ¡temporal ¡ordering ¡ 28 ¡

Clustering ¡by ¡exact ¡copies ¡ § VLAD ¡descriptors ¡for ¡these ¡illustraSons ¡are ¡almost ¡the ¡same. ¡ § But, ¡are ¡these ¡from ¡the ¡same ¡woodblock? ¡ Frequency ¡of ¡visual ¡words ¡ Frequency ¡of ¡visual ¡words ¡ 29 ¡

Clustering ¡by ¡exact ¡copies ¡ § A ¡linear ¡SVM ¡is ¡trained ¡to ¡disSnguish ¡between ¡a ¡pair ¡of ¡ same ¡ and ¡ similar ¡illustraSons. ¡Useful ¡features ¡are: ¡ § The ¡number ¡of ¡putaSve ¡SIFT ¡matches, ¡ § The ¡raSo ¡of ¡spaSally ¡consistent ¡SIFT ¡matches, ¡ § The ¡density ¡of ¡matches, ¡ § The ¡spaSal ¡distribuSon ¡of ¡the ¡matches, ¡and ¡… ¡ 30 ¡

Clustering ¡by ¡exact ¡copies ¡ § The ¡minimum ¡of ¡fine-­‑level ¡differences ¡in ¡image ¡details. ¡ ¡ Difference ¡images ¡ Difference ¡images ¡ From ¡the ¡same ¡woodblock. ¡ ¡ From ¡different ¡woodblocks ¡ • • The ¡differences ¡are ¡damages ¡to ¡the ¡ The ¡image ¡differences ¡are ¡due ¡to ¡spaSal ¡ • • woodblock. ¡ inconsistencies. ¡ ¡ ¡ Max ¡( ¡I 1 ¡– ¡I 2 ¡ , ¡0 ¡) ¡ Max ¡( ¡I 2 ¡– ¡I 1 ¡ , ¡0 ¡) ¡ Max ¡( ¡I 1 ¡– ¡I 2 ¡ , ¡0 ¡) ¡ Max ¡( ¡I 2 ¡– ¡I 1 ¡ , ¡0 ¡) ¡ 31 ¡

Clustering ¡by ¡exact ¡copies ¡ 942 woodblocks 32 ¡

Summary ¡staSsScs ¡ § 918 ¡broadside ¡ballad ¡sheets ¡ § 2614 ¡illustraSons ¡ § 740 ¡semanScally ¡similar ¡clusters ¡ § 942 ¡different ¡woodblocks ¡used ¡to ¡print ¡the ¡illustraSons ¡ 33 ¡

Outline ¡ 1. IdenSfying ¡woodcut ¡illustraSons ¡ 2. Clustering ¡by ¡semanSc ¡similarity ¡ 3. Clustering ¡by ¡exact ¡copies ¡ 4. ApplicaSon: ¡temporal ¡ordering ¡ 34 ¡

ApplicaSon: ¡temporal ¡ordering ¡of ¡the ¡prints ¡ ¡ § Woodblocks ¡get ¡damaged ¡over ¡Sme. ¡ § We ¡use ¡the ¡visual ¡cues ¡apparent ¡on ¡the ¡illustraSons ¡to ¡find ¡ the ¡temporal ¡ordering ¡of ¡the ¡ballad ¡sheets. ¡ 35 ¡