V V ISUAL ISUAL G RAPH RAPH M M ODELING AND R R ETRIEVAL ODELING AND ETRIEVAL A L A L ANGUAGE ANGUAGE M M ODEL ODEL A A PPROACH PPROACH FOR S CENE CENE R R ECOGNITION FOR ECOGNITION PHAM PHAM T PHAM T PHAM T RONG T RONG RONG � RONG � �T �T T ÔN T ÔN ÔN ÔN MRIM T EAM & IPAL LAB ���������������� ������ �������� ��������������� #�(�� )*�+!�," ��-(��#������ ��������� ��!" ������������ .(�/(�#��$��#��� 0�))*,"��-(��#������ �##$!%�� �& ��'#$���������� 1�#������"--*,,&,��"2(���(�����
' *,0"�0 �� '*,0",0 $ )�."� & �+" -"0-&"3�� � Goal � ����������(������������(��#�� � &�����(��#��#4���(��(�� ��4#��(��#� � 1(���(�������(������(��� �(�������(��#����� � Thesis focus � +�(��$�(������(����#������ � +�(����(�����������#� � Applications � *���##�����������#�����#� � &��##���#�#���#�(��5(��#� 2
� ��-*�'! *3"-3&"6 Query graph Document Graph graph model model matching Image ranking 3
* �0�&," �(���& �(���&& �(���&&& �(���&3 3���(����(��� 3���(����(��� 3���(����(��� 3���(����(��� ������(��#�� '#������#� ����2��� ������/(� 4
� �-0 &��3 &.��� +-��! &,�"�&,+ �(���& �(���&& �(���&&& �(���&3 3���(����(��� 3���(����(��� 3���(����(�� 3���(����(�� ������(��#�� '#������#� ����2��� ������/(� �7 .�(���#4�����(�� �7 3���(����(�������2��� 5
Part I: Visual graph indexing 9��7�.�(���#4�����(�� ��0&��" & �+" �*&,0 *1 3&"6. � ��44������%(���#4���(������#��#����#��������#���������(��#�8� ������(�����#����8�����������#�����������#�� � ��44������/���(��4�(�������2��(�������#�#�8�����8��#�(����/(��(��� 4�(������ ������������ �������� ����� +�����(�����#���� -���#���������(��#� &���������#��� 6
Part I: Visual graph indexing 9��7�.�(���#4�����(�� 3 "'0*- $ )�."� & �+" -"�-".",0�0&*, � &��������4�#����2��������/(���#�(�� &�(�� )(��#4�/���(��%#��� :������� :��(����#���������� :��(����#���������� :����#����44������� $ 4�(�����������(��#� $ ��(����/���#�� $ �(�;�#4���(��(����4#��(��#� �������� �������� ����� 7
Part I: Visual graph indexing 9��7�.�(���#4�����(�� . 0-�'0�-"� & �+" -"�-".",0�0&*, � '*,0 7� � ����$���#����#������(�����(����(������������ ���(������������� +���������#�# ���������������� :�(��#�(������#�;��(�����#���� :���<�����������#����(��#� $ �#�$%���������#����(������;� 8
Part I: Visual graph indexing 9��7�.�(���#4�����(�� . 0-�'0�-"� & �+" -"�-".",0�0&*, � '*,0 7� � 1#��������(�(����(���4�#�������#������������#�� ,(���(������� ��(�(����(�� � ������!� ��"�������#� :�(��#�(������(����������(��#� $ �#�$%���������#����(������;� 9
Part I: Visual graph indexing 9��7�.�(���#4�����(�� * �- �-*�*.�� �� 3&.��� +-��! *�"�&,+ � �� visual graph ��(���#��������#��� visual concepts, spatial relations (�������� weights/probabilities ����2��� ������/(� top of 8��7? left of 8��7@ �;� �������� �7? �7=� top of 8��7� top of 8��7= left of 8��7> ��(��� �7� 10
Part I: Visual graph indexing 9��7�3���(����(�������2��� 3 &.��� +-��! &,�"�&,+ .'!" " 11
Part I: Visual graph indexing 9��7�3���(����(�������2��� 3 &.��� +-��! &,�"�&,+ .'!" " 12
Part I: Visual graph indexing 9��7�3���(����(�������2��� & �+" �-*'"..&,+ &�(������#��#����#� 1�(������2��(���#� '#�#������#��(� � "��������#��(� ����� ������� ����� � .&10 A ��������#��� ���$��%&&&� � �������������� ����������������� �������������� A .&10��.�(���&�/(��(���1�(�����0�(��4#�� 13
Part I: Visual graph indexing 9��7�3���(����(�������2��� 3 &.��� +-��! &,�"�&,+ .'!" " 14
Part I: Visual graph indexing 9��7�3���(����(�������2��� 3 &.��� '*,'"�0 �"�-,&,+ �������/�������(������%���� k�means clustering � k ���������#4�����������/���(���#������� � *���/���(���#���������� � � 4#���(���4�(����� �� ∈ ∈ � ∈ ∈ � visual concepts c 1 '��������� c 2 c 3 B F C�D'#�#�8�"���8�.&10E 3���(���#���������� C f 15
Part I: Visual graph indexing 9��7�3���(����(�������2��� 3 &.��� +-��! &,�"�&,+ .'!" " 16
Part I: Visual graph indexing 9��7�3���(����(�������2��� 3 &.��� +-��! '*,.0-�'0&*, � 1#���(�����(��� I � � "2��(���#��#4� weighted concept set �� � � 4#���(���/���(��4�(����� f � "2��(���#��#4� weighted relation set �� � � ���%�����%#��#������ ����� WC I f (��� WC I f’ 4#���(����(���������(��#�� l � ����($���(��#��� WC I f = WC I f’ � �����$���(��#��� WC I f ≠ WC I f’ left_of top_of co�occurrence &���($���(��#� &����$���(��#� 17
Part I: Visual graph indexing 9��7�3���(����(�������2��� 3 &.��� +-��! '*,.0-�'0&*, � '*,0 7� � 1#� (� ��(�� �#������#� C � .���#4�%���������#����������� S WC = ∪ WC f ∪ � .���#4�%�����������(��#������� S WE = ∪ WE l = ∪ WE S � 1#��(����(��� I � .���#4�%���������#������������ WC = ∪ WC f S I I � .���#4�%�����������(��#�������� WE = ∪ WE l S I I 18 18
Recommend
More recommend