Super-Resolution Shai Avidan Tel-Aviv University �
Slide Credits � (partial list) • Rick Szeliski • Steve Seitz • Alyosha Efros • Yacov Hel-Or • Yossi Rubner • Miki Elad • Marc Levoy • Bill Freeman • Fredo Durand • Sylvain Paris
Basic Super�Resolution Idea ������ A set of low�quality ���������� Fusion of images: these images into a higher resolution image How? Comment: This is an actual super� resolution reconstruction result
Example – Surveillance 40 images ratio 1:4 �
Example – Enhance Mosaics �
�
Super-Resolution - Agenda • The basic idea • Image formation process • Formulation and solution • Special cases and related problems • Limitations of Super-Resolution • SR in time �
Intuition ������������������������� D ������������������ ����������������� ������������������������� ������������������������ � ≥ � ����������� ������������������ ��������� D �
Intuition ������������������� ���������������������� 2D ���������������� ������������� ������ 2D �
Intuition !����������������"���� ���������������� 2D �������������������� #���������������������$ ���������% 2D ��
Intuition &������������� ����������������� �����������������% 2D 2D ��
Intuition '��������������� ������������������ �������������������� ����������������% 2D 2D ��
Intuition (������������������������� ��������������������� �������������������� ����������������������� ���������������������� �������� ������������������ ����������� ��
Rotation/Scale/Disp. )������������������ ���������������� '���������*� )������������������ �������*�+�������������� ������,�����-����* ��
Rotation/Scale/Disp. ������������ ��������� �������� �������������� ���� ��
������ � Modeling the Super�Resolution Problem Defining the relation between the given and the desired images � The Maximum�Likelihood Solution A simple solution based on the measurements � Bayesian Super�Resolution Reconstruction Taking into account behavior of images � Some Results and Variations Examples, Robustifying, Handling color � Super�Resolution: A Summary The bottom line
��������������������������������������������� ������������������������������������������ ������������������������
The Model Blur Decimation Geometric Warp Y 1 High� �� ! � " 1 Low� Resolution 1 1 Resolution Image Images V 1 X Additive Noise Y N � N � " N N V N { } Assumed N D H F = + Y X V known k k k k k = k 1
The Model as One Equation { } N D H F = + Y X V k k k k k = k 1 D H F Y V 1 1 1 1 1 D H F Y V H = = + = + Y 2 2 2 2 X 2 X V � � � D H F Y V N N N N N
A Rule of Thumb D H F Y 1 1 1 1 In the noiseless D H F Y case we have H = = = Y 2 2 2 2 X X � � D H F Y N N N N Clearly, this linear system of equations should have more ��������� than ��#��$�� in order to make it possible to have a unique Least�Squares solution. Example: Assume that we have N images of 100�by�100 pixels, and we would like to produce an image X of size 300� by�300. Then, we should require N≥9.
��������%��������������������������������������������� &�����'�����(�#���������������������� ��������
Super-Resolution - Model +������������� 0���������� ���������� 3 1 !���� ���� � � 1 4��� /��������� 1 1 /��������� (���� 56������� 2 1 . '������������� 3 � � � � � � � 2 � N { } D H F N = + σ Y X V V 2 , ~ 0 , k k k k k k n �� = k 1
Simplified Model +������������� 0���������� ���������� 3 1 !���� ���� � � 4��� /��������� 1 /��������� (���� 56������� 2 1 . '������������� 3 � � � � � 2 � N { } DHF N = + σ Y X V V 2 , ~ 0 , k k k k n �� = k 1
The Super-Resolution Problem { } DHF N = + σ Y X V V 2 , ~ 0 , k k k k n • Given Y k – The measured images (noisy, blurry, down-sampled ..) H – The blur can be extracted from the camera characteristics D – The decimation is dictated by the required resolution ratio F k – The warp can be estimated using motion estimation σ n – The noise can be extracted from the camera / image σ σ σ • Recover X – HR image ��
The Model as One Equation D H F Y V 1 1 1 1 1 D H F Y V G = = + = + Y 2 2 2 2 X 2 X V � � � D H F Y V N N N N N ��7������������������ ��7�������������������7�9 8.8�7���-��������������� 8.8�7���-����������������7�1:::.1::: ��7����������������� ��7������������������7�1: [ ] 7;1:8 × 1< × Y NM 2 of size 1 [ ] 7;1:8 × 1=8< G × NM r M 2 2 2 of size [ ] 7;1=8 × 1< 4�������������������������� × X V r M 2 2 , of size 1 ������������������������� ��������� ��
SR - Solutions • Maximum Likelihood (ML): N ∑ DHF 2 = − X X Y arg min k k X = k 1 >����������������������? • Maximum Aposteriori Probability (MAP) N { } ∑ DHF 2 = − + λ X X Y A X arg min k k X = 1 k &�������������������� ��������-����� ��
ML Reconstruction (LS) N ) ∑ ( 8�����-�% DHF 2 ε = − X X Y 2 ML k k = k 1 ( ) ( ) 0 ∂ ε X N 2 @������������% ∑ F H D DHF = T T T ˆ − = X Y ML 2 k k k ∂ X = k 1 N N X ∑ ∑ F H D DHF F H D ˆ T T T ⋅ = T T T Y k k k k = = k k 1 1 B A A ˆ B = X ��
Recommend
More recommend