Generative adversarial networks Ian Jean Mehdi Goodfellow Pouget-Abadie Mirza David Bing Sherjil Warde-Farley Xu Ozair Aaron Yoshua Courville Bengio 1
Discriminative deep learning • Recipe for success x 2014 NIPS Workshop on Perturbations, Optimization, and Statistics --- Ian Goodfellow 2
Discriminative deep learning • Recipe for success: �������� ����������������� �� ����������� �������� ���� ���� ���� ���� ����������� ����������������� ���� ���� ���� ���� �������� �������� �������� �������� �������� �������� �������� �������� ���� ���� ������� �������� �������� �������� ����������� ���� ���� ���� ���� �������� �������� �������� �������� �������� ���� ���� ������� ����������������� �������� �������� �������� ������� �� �������� ����������� �� ���� ���� ���� ���� ���� ���� ���� ������� �������� �������� �������� �������� �������� ���� ���� �� ������� ����������� �������� �������� �������� �������� �������� �������� �������� ����������� ���� ���� ���� ���� �������� �������� �������� �������� ���� ���� ������� �������� �������� �������� ����������� �������� Google’s winning entry ���� ���� ���� ���� ����������������� �������� �������� �������� �������� ���� ���� ������� �� �������� �������� �������� into the ImageNet 1K ����������� �� ����������� �� ���� ���� ���� ���� ���� �������� �������� �������� �������� �������� ���� ���� ������� ����������� �������� �������� �������� �������� competition (with extra data) . ����������� ���� ���� ���� ���� �������� �������� �������� �������� ���� ���� ������� �������� �������� �������� ������� �������� ����������� ���� ���� ���� ���� ���� ���� ���� ���� ���� �������� �������� �������� �������� ���� ���� ������� �������� �������� �������� �������� �������� �������� �������� �������� ����������� ���� ���� ���� ���� �������� �������� �������� �������� ���� ���� ������� �������� �������� �������� ������� �������� ������������� ���� �������� ���� ���� ������� ����������� ���� �������� ������������� �������� �������� �������� �������� ������� �������� ���� �������� ����� 2014 NIPS Workshop on Perturbations, Optimization, and Statistics --- Ian Goodfellow 3
Discriminative deep learning • Recipe for success: �������� ����������������� �� - Gradient backpropagation. ����������� �������� ����������� ���� ���� ���� ���� �������� �������� �������� �������� ���� ���� ������� �������� �������� �������� ����������� ���� ���� ���� ���� - Dropout �������� �������� �������� �������� �������� ���� ���� ������� ����������������� �������� �������� �������� ������� �� �������� ����������� �� ���� ���� ���� ���� ���� �������� �������� �������� �������� �������� ���� ���� ������� ����������� �������� �������� �������� �������� - Activation functions: ����������� ���� ���� ���� ���� �������� �������� �������� �������� ���� ���� ������� �������� �������� �������� ����������� �������� ���� ���� ���� ���� ����������������� �������� �������� �������� �������� • rectified linear ���� ���� ������� �� �������� �������� �������� ����������� �� ���� ���� ���� ���� ���� �������� �������� �������� �������� �������� ���� ���� ������� ����������� �������� �������� �������� �������� ����������� • maxout ���� ���� ���� ���� �������� �������� �������� �������� ���� ���� ������� �������� �������� �������� ������� �������� ����������� ���� ���� ���� ���� �������� �������� �������� �������� ���� ���� ������� �������� �������� �������� ����������� ���� ���� ���� ���� �������� �������� �������� �������� ���� ���� ������� �������� �������� �������� Google’s winning entry ������� �������� ������������� ���� �������� into the ImageNet 1K ���� �������� ������������� ������� competition (with extra data) . �������� ���� �������� ����� 2014 NIPS Workshop on Perturbations, Optimization, and Statistics --- Ian Goodfellow 4
Generative modeling • Have training examples x ~ p data ( x ) • Want a model that can draw samples: x ~ p model ( x ) • Where p model ≈ p data x ~ p data ( x ) x ~ p model ( x ) 2014 NIPS Workshop on Perturbations, Optimization, and Statistics --- Ian Goodfellow 5
Recommend
More recommend