real virtual humans
play

Real Virtual Humans Gerard Pons-Moll Max Planck Institute for - PowerPoint PPT Presentation

Real Virtual Humans Gerard Pons-Moll Max Planck Institute for Informatics


  1. ����������������� ����������������������������������������� � ������������������� T ∈ R 3 N 3 N � ���������������� J ∈ R 3 K � �������� W ∈ R N × K � ����������������� � θ ∈ R 3 K

  2. ����������������� ����������������������������������������� � ������������������� T ∈ R 3 N � ���������������� J ∈ R 3 K 3 K � �������� W ∈ R N × K � ����������������� � θ ∈ R 3 K

  3. ����������������� ����������������������������������������� � ������������������� T ∈ R 3 N � ���������������� J ∈ R 3 K � �������� W ∈ R N × K N × K � ����������������� � θ ∈ R 3 K

  4. ����������������� ����������������������������������������� � ������������������� T ∈ R 3 N � ���������������� J ∈ R 3 K � �������� W ∈ R N × K � ����������������� � θ ∈ R 3 K 3 K

  5. ����������������� � ������������������� T ∈ R 3 N � ���������������� J ∈ R 3 K � �������� W ∈ R N × K � ����������������� � θ ∈ R 3 K W ( T , J , W , � θ ) �→ vertices

  6. ������������

  7. ������������

  8. ���������������������� � �� ������������ �������������������������������������� ��������� � ������������������������������������������� ⎡ ⎤ ∆ x 1 ∆ y 1 ∆ z 1 �������� ⎢ ⎥ . . ⎢ ⎥ . ) ∈ R 3 N ⎢ ⎥ P = vec( ⎢ ⎥ . . ⎣ ⎦ . ∆ x N ∆ y N ∆ z N

  9. ����������������� � ����� ����������������������

  10. ����������������������������� � ����������������������������� � ������������������������������ ����������������������������������������������

  11. �������� � ������������������������������������ B P ( � θ ′ ) � ������������������������������������ T ∈ R 3 N J ∈ R 3 K W ∈ R N × K

  12. ������������� �������������������������������������������

  13. ����

  14. ��������������������������� ��������������������

  15. ���������������������� �������������������������������������������������������������

  16. ���� ��������������������������� M ( θ, β ; w ) : R | θ | + | β | �→ R 3 N Latent parameters �→ vertices ���������������������������������������������� ��������� ���������������� ��

  17. ��������������� ��������������������������������������� ����������������������������������������� � ��������������������� � ��������������������� ��

  18. �� ��

  19. �� ��

  20. ���������������������� ����������������� W ( T , J , W , � θ ) �→ vertices ���������� M ( � θ, � β ) = W ( T F ( � β, θ ) , J ( � β ) , W , � θ ) �→ vertices F � ����������������������������������������� θ ����������� � β ��

  21. �������������������������� ���������������� � ��������������������������������������������� W ( T , J , W , � θ ) W ( T ( θ ) , J , W , � θ ) ��

  22. ��������������������������� � ����� ���������������������� ��

  23. ���������������������� W ( T ( θ ) , J , W , � θ ) �→ vertices T ( � θ ) = T + B P ( � θ ) � ��������������������������� ��������������������� | f ( � θ ) | � B P ( � f i ( � θ ) = θ ) P i i ��

  24. ���������������������� � ������������� ? f ( � θ ) | f ( � θ ) | � B P ( � f i ( � θ ) = θ ) P i i � ������������������ f ( � θ ) = � θ ��

  25. ������������� �� ��

  26. ���������������������� f ( � � ��������������������� �� θ ) | f ( � θ ) | � B P ( � f i ( � θ ) = θ ) P i i � ����������������������� f ( � ������������������ � θ ) ����������������������� � ����������������� �������������������������� � �������� ��

  27. ����������������� | f ( � θ ) | � B P ( � f i ( � θ ) = θ ) P i i � ω k ) T θ = ( � ω 1 , . . . , � ω 1 − I ω K − I e ˆ e ˆ ����������� f ( � e ˆ ω 1 e ˆ ω 1 e ˆ ω K e ˆ ω K θ ) = [¯ 1 , 1 . . . ¯ ¯ 1 , 1 . . . ¯ 3 , 3 ] . . . 3 , 3 ���������������������������������������������������������������� ��

  28. �� ��

  29. ������������������������� � ������������������������������������������� J � ������������������������������������������������������������������ ����������� J = J ( T ; J ) = J T ���������������������� ��

  30. �� ��

  31. ���� �������������� ������������ �������� �������� �������� �������� ������� ��

  32. ���������������������� ����������������� W ( T , J , W , � θ ) �→ vertices ���������� M ( � θ, � β ) = W ( T F ( � β, θ ) , J ( � β ) , W , � θ ) �→ vertices F � ����������������������������������������� θ ����������� � β ��

  33. ���� pose shape M ( � θ, � β ; T , S , P , W , J ) Input Model parameters to be learned from data Template (average shape) T Shape blend shape matrix S Pose blend shape matrix P Blendweights matrix W Joint regressor matrix J ��

  34. ���� ��

  35. �������������� � � M ( � θ, � � 2 w = arg min β ; w ) − w j

  36. … � � � � = T + B V 1 V 2 . . . V N subj S 1 S 2 . . . S N subj 1 2 ����������������������� � ����������������� ���������������������� ��

  37. … � V 1 � ≈ T + SB . . . V 2 V N subj ������������������������� � �� ����������������� ��������������������������������������������������� ��������������������������������� ��

  38. �� ��

  39. ���������������� � ����� ��������������� � �������� ������������������������������������ ������������������������ � ������������� ��������������������������� � ������������������������������������������� ����������������������������������� ��

  40. ������������������������������ ������������� ����������� ������������ �������� �����������

  41. ������������

  42. ������������

  43. � E ( v ) = dist( s i , A ( v )) + E prior ( v ) s i ∈S − ����� ���������

  44. � E ( θ, β ) = dist( s i , M ( θ, β )) + E prior ( θ, β ) s i ∈S − ����� �����

  45. � E ( θ, β, v ) = dist( s i , A ( v )) + dist( A ( v ) , M ( θ, β )) + E prior ( θ, β ) s i ∈S − − + ����� ����� ���������

  46. http://dfaust.is.tue.mpg.de ������� ��������� ������������ �������� ���������������

  47. ���������� � ������������������������������ ��������������������������� � ����������� ����� � ������������� ��

  48. ������ ���������������������������������������������� ���������� ������������ ������ ������ ������ ���� ����������������������� �� ����� ����� ������������ �� ��� �������� �� ����� �� �������� �������� ���������� � ���� θ ��� ������ ��� ����� ����� β M ( θ, β, c ) �������� c ���������������������� ������� � ���������������������� ��

  49. ������������� � ���������������������� � ���������� ���������������������������������������� � ����������������������������������� �������������������������������������������� ������������

  50. �������� Input: scans + Single frame Segmentation Multi-part garment priors registration registration

  51. ������������������������

  52. ���������������������������� Cloth template SMPL Scan

  53. ���������������������������� Cloth Template

  54. ���������������������������� Cloth Template

  55. E ( θ , β , v ) = E data ( v ) + E cpl ( θ , β , v ) +

  56. E ( θ , β , v ) = E data ( v ) + E cpl ( θ , β , v ) + + E boundary ( v ) + E lap ( v )

  57. �������������������������������

  58. �������������������������������

  59. �������������������������������

  60. �������������������������������

  61. ����� Zhang et al. CVPR’17. BUFF dataset: http://buff.is.tue.mpg.de

  62. ������������������� ������������������������������������ � ����������������������������������������������� � ��������������� ����������������������������������������� ������������������������������������������������������� ������������� ������

  63. �������� � ��������������������� � �������������������� � ���������������������������������������������������� � ���������������������������������������� ����������� � ����������� � ����������� � �������������������������������������� � �������������������������������������� � ��������������������������������������� � ������������������������������������ � ����������������������������������� � ���������������������������������������������������

  64. ������������������������������������ ���������������� ����������������� � ������������ � �������� � ������������ � ���������� �

  65. ���������������������� arg min θ , β dist(ˆ z ( M ( θ , β )) , z ) z ����� �������� P ( · ) ������������������������� ��������������������������������

  66. ���������������������� arg min θ , β dist(ˆ z ( M ( θ , β )) , z ) z �������� ������������ P ( · ) ���� ���������� ������� ����������

  67. ���������������������� arg min θ , β dist(ˆ z ( M ( θ , β )) , z ) ��������� ���������������������� �������������������� ���� ���� ���������� ������� ����������

  68. ������������������������� �������� ��������� ���� θ ��� ����� β w ���������������������� �������

Recommend


More recommend