High Dynamic Range (HDR) Video for Cultural Heritage - PowerPoint PPT Presentation

High ¡Dynamic ¡Range ¡(HDR) ¡Video ¡ ¡ for ¡Cultural ¡Heritage ¡Documenta9on ¡ and ¡Experimental ¡Archaeology ¡ Jassim ¡Happa 1 , ¡Alessandro ¡Artusi 2 , ¡ ¡ Silvester ¡Czanner 1 ¡and ¡Alan ¡Chalmers 1 ¡ ¡ 1 ¡-­‑ ¡Interna9onal ¡Digital ¡Laboratory, ¡University ¡of ¡Warwick ¡ 2 ¡– ¡CaSToRC, ¡The ¡Cyprus ¡Ins9tute ¡

Overview ¡ • Introduc9on ¡ ¡ – High ¡Dynamic ¡Range ¡Imaging ¡(HDRI) ¡ – Our ¡Goals ¡ • Challenges ¡ ¡and ¡Limita9on ¡ • Examples ¡-­‑ ¡Applica9ons ¡ • Conclusion ¡

High ¡Dynamic ¡Range ¡Imaging ¡

Acquisi9on ¡ Renderer ¡ Capturing ¡/ ¡ Synthesising ¡ Storing ¡ HDR ¡Display ¡ LDR ¡Display ¡ Delivering ¡

Demo ¡

5 ¡a.m. ¡ 12 ¡a.m. ¡ 8 ¡p.m. ¡ J. ¡Happa, ¡A. ¡Artusi, ¡P. ¡Dubla, ¡T. ¡Bashford-­‑Rogers, ¡K, ¡DebaZsta, ¡V. ¡Hulusic ¡ ¡and ¡A. ¡Chalmers ¡“The ¡ Virtual ¡ Reconstruc9on ¡ and ¡ ¡ Daylight ¡ Illumina9on ¡ of ¡ the ¡ Panagia ¡ Angelok9s9”, ¡ Proceedings ¡ Eurographics ¡VAST ¡2009. ¡

• Data ¡Acquisi9on ¡ – Mul9-­‑exposure ¡using ¡SLR ¡Digital ¡camera ¡ • Mann ¡and ¡Pickard ¡1995 ¡-­‑ ¡Debevec ¡and ¡Malik ¡1997 ¡ – Spherical ¡cameras ¡– ¡automa9c ¡mul9-­‑exposure ¡ ¡ • Spheron ¡VR, ¡Civeaa ¡(Weiss ¡AG) ¡and ¡Panonscan ¡Ltd ¡ – HDR ¡Video ¡Camera ¡ • HDR ¡sensors ¡for ¡automo9ve ¡applica9ons ¡(see ¡Omron) ¡ • Unger ¡ ¡and ¡Gustavson ¡2007 ¡ • Data ¡Storage ¡ – File ¡Format ¡ • RGBE/XYZE, ¡LogLuv ¡(Ward ¡1991, ¡1998), ¡OpenEXR ¡2003 ¡ – Compression ¡ • JPEG-­‑HDR, ¡HDR-­‑JPEG2000, ¡MPEG-­‑HDR ¡ • Data ¡Visualisa9on ¡ – Tradi9onal ¡Display ¡ • Tone ¡Mapping ¡(mapping ¡HDR ¡content ¡to ¡LDR ¡displays) ¡ – Tumblin ¡and ¡Rushmeier ¡1991 ¡ – Other ¡solu9ons ¡have ¡been ¡presented ¡ ¡ – HDR ¡Display ¡ • Seetzen ¡et ¡al. ¡2004 ¡

• What ¡We ¡Want ¡to ¡Do? ¡ ¡ – Record, ¡ Store, ¡ Process ¡ and ¡ Display ¡ real ¡ world ¡ light ¡ informa9on ¡making ¡use ¡of ¡a ¡video ¡camera. ¡ • Why? ¡ – More ¡informa9on ¡about ¡light ¡means ¡more ¡accurate ¡ data ¡collec9on. ¡ • Challenges ¡ Technological ¡and ¡Applica9ons ¡

• Why ¡is ¡this ¡important? ¡ – Capture ¡more ¡informa9on ¡about ¡real ¡world ¡light ¡ LDR ¡ ¡ ¡ ¡-­‑ ¡ ¡ ¡ ¡Fading ¡ HDR ¡ ¡ ¡ ¡-­‑ ¡ ¡ ¡ ¡Visible ¡

• Why ¡is ¡this ¡important? ¡ – High ¡exposures: ¡Excess ¡informa9on ¡ ¡ ¡ -­‑5 ¡stops ¡ ¡ ¡ ¡ -­‑2 ¡stops ¡ ¡ ¡ 0 ¡stops ¡ ¡ ¡ ¡ +2 ¡stops ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ HDRV ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡LDRV ¡(gamma ¡2.2) ¡

How ¡to ¡Acquire ¡these ¡Data? ¡

• HDR ¡Video ¡Camera ¡(Spheron ¡VR ¡and ¡Warwick ¡Digital ¡ Laboratory) ¡ • Fiber ¡coupled ¡storage ¡unit ¡ • 24 ¡Terrabyte ¡Array ¡(~5h ¡of ¡footage) ¡ • 30 ¡Frames-­‑per-­‑Second ¡ • 20 ¡f-­‑stops ¡ • Full ¡HD ¡(1920x1080) ¡

Challenges ¡

• Data ¡Acquisi9on ¡ – Sta9c ¡ ¡vs. ¡Temporal ¡content ¡ • Data ¡Storage ¡ – Huge ¡amount ¡of ¡data ¡ • 1 ¡min ¡data: ¡15.8MB ¡per ¡frame ¡x ¡30FPS ¡x ¡60 ¡seconds ¡= ¡28.44GB ¡ – Compression ¡ • Dealing ¡with ¡data ¡in ¡more ¡manageable ¡chunks ¡ • Data ¡Visualisa9on ¡ – Tradi9onal ¡Display ¡ • Tone ¡Mapping ¡(mapping ¡HDR ¡content ¡to ¡LDR ¡displays) ¡ – Good, ¡but ¡limited ¡-­‑ ¡Difficult ¡to ¡recommend ¡for ¡CH ¡representa9on ¡ » Unless ¡you ¡have ¡sufficient ¡understanding ¡of ¡Tone ¡Mapping. ¡ – HDR ¡Display ¡ • Son ¡Tone ¡Mapping ¡ • Costly, ¡not ¡easily ¡available ¡ – Decompression ¡on ¡the ¡fly ¡is ¡needed ¡

Tone ¡Mapping ¡Issues ¡ Under ¡Exposed ¡ ¡ ¡ ¡Middle ¡Exposed ¡ ¡Over ¡Exposed ¡ ¡ ¡ Tone ¡Mapped ¡using ¡three ¡different ¡TMOs ¡ ¡

Examples ¡-­‑ ¡Applica9ons ¡

Documenta9on ¡and ¡ ¡ Experimental ¡Archaeology ¡ What ¡can ¡HDRV ¡be ¡used ¡for? ¡ • Recrea9ng ¡and ¡documen9ng ¡ancient ¡ligh9ng ¡ condi9ons ¡to ¡HDR ¡digital ¡video: ¡ – Flames ¡ – Interplay ¡of ¡light ¡(dark ¡and ¡light): ¡ • Smoke/Incense ¡(Par9cipa9ng ¡Media) ¡ • Translucent ¡objects ¡ • Major ¡benefit: ¡ – Examine ¡a ¡richer ¡set ¡of ¡data ¡ • Through ¡more ¡data ¡on ¡luminance. ¡

Sta9c ¡vs. ¡Temporal ¡Data ¡ • When ¡is ¡HDR ¡photography ¡sa9sfactory? ¡ – Documenta9on ¡of ¡sta9c ¡interplay ¡of ¡light ¡ • E.g. ¡Non/slow-­‑moving ¡fog/dust ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡LDR ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡HDR ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Different ¡exposures. ¡(D-­‑SLR ¡camera ) ¡ ¡ ¡

• When ¡is ¡HDR ¡photography ¡sa9sfactory? ¡ – Documenta9on ¡of ¡sta9c ¡interplay ¡of ¡light ¡ • E.g. ¡Sunlight ¡at ¡specific ¡9mes ¡of ¡day ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡LDR ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡HDR ¡

• When ¡does ¡HDR ¡photography ¡alone ¡fail? ¡ – Documenta9on ¡of ¡dynamic ¡interplay ¡of ¡light ¡ • Moving ¡Caus9cs ¡(Concentra9on ¡of ¡light) ¡, ¡Flame ¡light, ¡ Fast ¡moving ¡Smoke/Fog ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡LDR ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡HDR ¡ ¡

• Problems: ¡banding ¡and ¡ghos9ng ¡artefacts. ¡ ¡(Tone ¡ mapped ¡HDR ¡photograph ¡from ¡D-­‑SLR ¡Camera) ¡

Limita9ons ¡-­‑ ¡Today ¡

• Data ¡Acquisi9on ¡(at ¡the ¡moment) ¡ – High ¡End, ¡Prototype ¡Camera ¡Equipment ¡ – Demands ¡post-­‑process ¡ – Costly ¡technology ¡ – Not ¡especially ¡portable ¡ • Data ¡Storage ¡ – Fiber ¡coupled ¡unit: ¡ ¡ • Fragile ¡and ¡expensive ¡cable ¡ • Demands ¡terabyte ¡array ¡for ¡footage ¡ ¡

Conclusion ¡ • We ¡have ¡presented: ¡ – “Proof-­‑of-­‑concept” ¡for ¡HDRV ¡in ¡the ¡CH ¡domain ¡ • Illustrated ¡how ¡HDRV ¡can ¡be ¡employed ¡for ¡CH ¡research ¡ • HDRV ¡allows ¡for ¡acquisi9on ¡of: ¡ – Moving ¡light ¡sources ¡ – Greater ¡documenta9on/measurement ¡of ¡dynamic ¡ ranges ¡of ¡light ¡

Acknowledgements ¡ • Thanks ¡to ¡Spheron ¡for ¡collabora9on. ¡ • Thanks ¡to ¡The ¡Byzan9ne ¡Art ¡Gallery ¡in ¡Nicosia ¡for ¡ permission ¡to ¡visit ¡Panagia ¡Angelok9s9 ¡and ¡ record ¡video ¡and ¡HDR ¡photography ¡inside. ¡ • Thanks ¡to ¡the ¡American ¡Research ¡Center ¡in ¡Egypt ¡ (ARCE) ¡and ¡Elizabeth ¡Bolman ¡for ¡permission ¡to ¡ use ¡the ¡Red ¡Monastary ¡photographs. ¡ • Thanks ¡to ¡Paul ¡A. ¡Wilson, ¡Vibhor ¡Aggarwal, ¡Alena ¡ Petrasova ¡for ¡useful ¡comments. ¡