����������������� ����������������������������������������� � ������������������� T ∈ R 3 N 3 N � ���������������� J ∈ R 3 K � �������� W ∈ R N × K � ����������������� � θ ∈ R 3 K
����������������� ����������������������������������������� � ������������������� T ∈ R 3 N � ���������������� J ∈ R 3 K 3 K � �������� W ∈ R N × K � ����������������� � θ ∈ R 3 K
����������������� ����������������������������������������� � ������������������� T ∈ R 3 N � ���������������� J ∈ R 3 K � �������� W ∈ R N × K N × K � ����������������� � θ ∈ R 3 K
����������������� ����������������������������������������� � ������������������� T ∈ R 3 N � ���������������� J ∈ R 3 K � �������� W ∈ R N × K � ����������������� � θ ∈ R 3 K 3 K
����������������� � ������������������� T ∈ R 3 N � ���������������� J ∈ R 3 K � �������� W ∈ R N × K � ����������������� � θ ∈ R 3 K W ( T , J , W , � θ ) �→ vertices
������������
������������
���������������������� � �� ������������ �������������������������������������� ��������� � ������������������������������������������� ⎡ ⎤ ∆ x 1 ∆ y 1 ∆ z 1 �������� ⎢ ⎥ . . ⎢ ⎥ . ) ∈ R 3 N ⎢ ⎥ P = vec( ⎢ ⎥ . . ⎣ ⎦ . ∆ x N ∆ y N ∆ z N
����������������� � ����� ����������������������
����������������������������� � ����������������������������� � ������������������������������ ����������������������������������������������
�������� � ������������������������������������ B P ( � θ ′ ) � ������������������������������������ T ∈ R 3 N J ∈ R 3 K W ∈ R N × K
������������� �������������������������������������������
����
��������������������������� ��������������������
���������������������� �������������������������������������������������������������
���� ��������������������������� M ( θ, β ; w ) : R | θ | + | β | �→ R 3 N Latent parameters �→ vertices ���������������������������������������������� ��������� ���������������� ��
��������������� ��������������������������������������� ����������������������������������������� � ��������������������� � ��������������������� ��
�� ��
�� ��
���������������������� ����������������� W ( T , J , W , � θ ) �→ vertices ���������� M ( � θ, � β ) = W ( T F ( � β, θ ) , J ( � β ) , W , � θ ) �→ vertices F � ����������������������������������������� θ ����������� � β ��
�������������������������� ���������������� � ��������������������������������������������� W ( T , J , W , � θ ) W ( T ( θ ) , J , W , � θ ) ��
��������������������������� � ����� ���������������������� ��
���������������������� W ( T ( θ ) , J , W , � θ ) �→ vertices T ( � θ ) = T + B P ( � θ ) � ��������������������������� ��������������������� | f ( � θ ) | � B P ( � f i ( � θ ) = θ ) P i i ��
���������������������� � ������������� ? f ( � θ ) | f ( � θ ) | � B P ( � f i ( � θ ) = θ ) P i i � ������������������ f ( � θ ) = � θ ��
������������� �� ��
���������������������� f ( � � ��������������������� �� θ ) | f ( � θ ) | � B P ( � f i ( � θ ) = θ ) P i i � ����������������������� f ( � ������������������ � θ ) ����������������������� � ����������������� �������������������������� � �������� ��
����������������� | f ( � θ ) | � B P ( � f i ( � θ ) = θ ) P i i � ω k ) T θ = ( � ω 1 , . . . , � ω 1 − I ω K − I e ˆ e ˆ ����������� f ( � e ˆ ω 1 e ˆ ω 1 e ˆ ω K e ˆ ω K θ ) = [¯ 1 , 1 . . . ¯ ¯ 1 , 1 . . . ¯ 3 , 3 ] . . . 3 , 3 ���������������������������������������������������������������� ��
�� ��
������������������������� � ������������������������������������������� J � ������������������������������������������������������������������ ����������� J = J ( T ; J ) = J T ���������������������� ��
�� ��
���� �������������� ������������ �������� �������� �������� �������� ������� ��
���������������������� ����������������� W ( T , J , W , � θ ) �→ vertices ���������� M ( � θ, � β ) = W ( T F ( � β, θ ) , J ( � β ) , W , � θ ) �→ vertices F � ����������������������������������������� θ ����������� � β ��
���� pose shape M ( � θ, � β ; T , S , P , W , J ) Input Model parameters to be learned from data Template (average shape) T Shape blend shape matrix S Pose blend shape matrix P Blendweights matrix W Joint regressor matrix J ��
���� ��
�������������� � � M ( � θ, � � 2 w = arg min β ; w ) − w j
… � � � � = T + B V 1 V 2 . . . V N subj S 1 S 2 . . . S N subj 1 2 ����������������������� � ����������������� ���������������������� ��
… � V 1 � ≈ T + SB . . . V 2 V N subj ������������������������� � �� ����������������� ��������������������������������������������������� ��������������������������������� ��
�� ��
���������������� � ����� ��������������� � �������� ������������������������������������ ������������������������ � ������������� ��������������������������� � ������������������������������������������� ����������������������������������� ��
������������������������������ ������������� ����������� ������������ �������� �����������
������������
������������
� E ( v ) = dist( s i , A ( v )) + E prior ( v ) s i ∈S − ����� ���������
� E ( θ, β ) = dist( s i , M ( θ, β )) + E prior ( θ, β ) s i ∈S − ����� �����
� E ( θ, β, v ) = dist( s i , A ( v )) + dist( A ( v ) , M ( θ, β )) + E prior ( θ, β ) s i ∈S − − + ����� ����� ���������
http://dfaust.is.tue.mpg.de ������� ��������� ������������ �������� ���������������
���������� � ������������������������������ ��������������������������� � ����������� ����� � ������������� ��
������ ���������������������������������������������� ���������� ������������ ������ ������ ������ ���� ����������������������� �� ����� ����� ������������ �� ��� �������� �� ����� �� �������� �������� ���������� � ���� θ ��� ������ ��� ����� ����� β M ( θ, β, c ) �������� c ���������������������� ������� � ���������������������� ��
������������� � ���������������������� � ���������� ���������������������������������������� � ����������������������������������� �������������������������������������������� ������������
�������� Input: scans + Single frame Segmentation Multi-part garment priors registration registration
������������������������
���������������������������� Cloth template SMPL Scan
���������������������������� Cloth Template
���������������������������� Cloth Template
E ( θ , β , v ) = E data ( v ) + E cpl ( θ , β , v ) +
E ( θ , β , v ) = E data ( v ) + E cpl ( θ , β , v ) + + E boundary ( v ) + E lap ( v )
�������������������������������
�������������������������������
�������������������������������
�������������������������������
����� Zhang et al. CVPR’17. BUFF dataset: http://buff.is.tue.mpg.de
������������������� ������������������������������������ � ����������������������������������������������� � ��������������� ����������������������������������������� ������������������������������������������������������� ������������� ������
�������� � ��������������������� � �������������������� � ���������������������������������������������������� � ���������������������������������������� ����������� � ����������� � ����������� � �������������������������������������� � �������������������������������������� � ��������������������������������������� � ������������������������������������ � ����������������������������������� � ���������������������������������������������������
������������������������������������ ���������������� ����������������� � ������������ � �������� � ������������ � ���������� �
���������������������� arg min θ , β dist(ˆ z ( M ( θ , β )) , z ) z ����� �������� P ( · ) ������������������������� ��������������������������������
���������������������� arg min θ , β dist(ˆ z ( M ( θ , β )) , z ) z �������� ������������ P ( · ) ���� ���������� ������� ����������
���������������������� arg min θ , β dist(ˆ z ( M ( θ , β )) , z ) ��������� ���������������������� �������������������� ���� ���� ���������� ������� ����������
������������������������� �������� ��������� ���� θ ��� ����� β w ���������������������� �������
Recommend
More recommend