super resolution
play

Super-Resolution Shai Avidan Tel-Aviv University Slide Credits - PowerPoint PPT Presentation

Super-Resolution Shai Avidan Tel-Aviv University Slide Credits (partial list) Rick Szeliski Steve Seitz Alyosha Efros Yacov Hel-Or Yossi Rubner Miki Elad Marc Levoy Bill Freeman Fredo Durand


  1. Super-Resolution Shai Avidan Tel-Aviv University �

  2. Slide Credits � (partial list) • Rick Szeliski • Steve Seitz • Alyosha Efros • Yacov Hel-Or • Yossi Rubner • Miki Elad • Marc Levoy • Bill Freeman • Fredo Durand • Sylvain Paris

  3. Basic Super�Resolution Idea ������ A set of low�quality ���������� Fusion of images: these images into a higher resolution image How? Comment: This is an actual super� resolution reconstruction result

  4. Example – Surveillance 40 images ratio 1:4 �

  5. Example – Enhance Mosaics �

  6. Super-Resolution - Agenda • The basic idea • Image formation process • Formulation and solution • Special cases and related problems • Limitations of Super-Resolution • SR in time �

  7. Intuition ������������������������� D ������������������ ����������������� ������������������������� ������������������������ � ≥ � ����������� ������������������ ��������� D �

  8. Intuition ������������������� ���������������������� 2D ���������������� ������������� ������ 2D �

  9. Intuition !����������������"���� ���������������� 2D �������������������� #���������������������$ ���������% 2D ��

  10. Intuition &������������� ����������������� �����������������% 2D 2D ��

  11. Intuition '��������������� ������������������ �������������������� ����������������% 2D 2D ��

  12. Intuition (������������������������� ��������������������� �������������������� ����������������������� ���������������������� �������� ������������������ ����������� ��

  13. Rotation/Scale/Disp. )������������������ ���������������� '���������*� )������������������ �������*�+�������������� ������,�����-����* ��

  14. Rotation/Scale/Disp. ������������ ��������� �������� �������������� ���� ��

  15. ������ � Modeling the Super�Resolution Problem Defining the relation between the given and the desired images � The Maximum�Likelihood Solution A simple solution based on the measurements � Bayesian Super�Resolution Reconstruction Taking into account behavior of images � Some Results and Variations Examples, Robustifying, Handling color � Super�Resolution: A Summary The bottom line

  16. ��������������������������������������������� ������������������������������������������ ������������������������

  17. The Model Blur Decimation Geometric Warp Y 1 High� �� ! � " 1 Low� Resolution 1 1 Resolution Image Images V 1 X Additive Noise Y N � N � " N N V N { } Assumed N D H F = + Y X V known k k k k k = k 1

  18. The Model as One Equation { } N D H F = + Y X V k k k k k = k 1 D H F Y    V    1 1 1 1 1       D H F Y V       H = = + = + Y 2 2 2 2 X 2 X V       � � �       D H F Y V       N N N N N

  19. A Rule of Thumb D H F  Y    1 1 1 1 In the noiseless     D H F Y case we have     H = = = Y 2 2 2 2 X X     � �     D H F Y     N N N N Clearly, this linear system of equations should have more ��������� than ��#��$�� in order to make it possible to have a unique Least�Squares solution. Example: Assume that we have N images of 100�by�100 pixels, and we would like to produce an image X of size 300� by�300. Then, we should require N≥9.

  20. ��������%��������������������������������������������� &�����'�����(�#���������������������� ��������

  21. Super-Resolution - Model +������������� 0���������� ���������� 3 1 !���� ���� � � 1 4��� /��������� 1 1 /��������� (���� 56������� 2 1 . '������������� 3 � � � � � � � 2 � N   { } D H F N = + σ Y X V V 2   , ~ 0 , k k k k k k n   �� = k 1

  22. Simplified Model +������������� 0���������� ���������� 3 1 !���� ���� � � 4��� /��������� 1 /��������� (���� 56������� 2 1 . '������������� 3 � � � � � 2 � N   { } DHF N = + σ Y X V V 2   , ~ 0 , k k k k n   �� = k 1

  23. The Super-Resolution Problem { } DHF N = + σ Y X V V 2 , ~ 0 , k k k k n • Given Y k – The measured images (noisy, blurry, down-sampled ..) H – The blur can be extracted from the camera characteristics D – The decimation is dictated by the required resolution ratio F k – The warp can be estimated using motion estimation σ n – The noise can be extracted from the camera / image σ σ σ • Recover X – HR image ��

  24. The Model as One Equation D H F  Y     V  1 1 1 1 1       D H F Y V       G = = + = + Y 2 2 2 2 X 2 X V       � � �       D H F Y V       N N N N N ��7������������������ ��7�������������������7�9 8.8�7���-��������������� 8.8�7���-����������������7�1:::.1::: ��7����������������� ��7������������������7�1: [ ] 7;1:8 × 1< × Y NM 2 of size 1 [ ] 7;1:8 × 1=8< G × NM r M 2 2 2 of size [ ] 7;1=8 × 1< 4�������������������������� × X V r M 2 2 , of size 1 ������������������������� ��������� ��

  25. SR - Solutions • Maximum Likelihood (ML): N ∑ DHF 2 = − X X Y arg min k k X = k 1 >����������������������? • Maximum Aposteriori Probability (MAP) N { } ∑ DHF 2 = − + λ X X Y A X arg min k k X = 1 k &�������������������� ��������-����� ��

  26. ML Reconstruction (LS) N ) ∑ ( 8�����-�% DHF 2 ε = − X X Y 2 ML k k = k 1 ( ) ( ) 0 ∂ ε X N 2 @������������% ∑ F H D DHF = T T T ˆ − = X Y ML 2 k k k ∂ X = k 1 N N X ∑ ∑ F H D DHF F H D ˆ T T T ⋅ = T T T Y k k k k = = k k 1 1 B A A ˆ B = X ��

Recommend


More recommend