Generative adversarial networks Ian Jean Mehdi Goodfellow Pouget-Abadie Mirza David Bing Sherjil Warde-Farley Xu Ozair Aaron Yoshua Courville Bengio 1
Discriminative deep learning • Recipe for success x 2014 NIPS Workshop on Perturbations, Optimization, and Statistics --- Ian Goodfellow 2
Discriminative deep learning • Recipe for success: �������� ����������������� �� ����������� �������� ���� ���� ���� ���� ����������� ����������������� ���� ���� ���� ���� �������� �������� �������� �������� �������� �������� �������� �������� ���� ���� ������� �������� �������� �������� ����������� ���� ���� ���� ���� �������� �������� �������� �������� �������� ���� ���� ������� ����������������� �������� �������� �������� ������� �� �������� ����������� �� ���� ���� ������� ���� ���� ���� ���� ���� �������� �������� �������� �������� �������� �� ���� ���� ������� ����������� �������� �������� �������� �������� �������� �������� �������� ����������� ���� ���� ���� ���� �������� �������� �������� �������� ���� ���� ������� �������� �������� �������� Google’s winning entry ����������� �������� ���� ���� ���� ���� ����������������� �������� �������� �������� �������� ���� ���� ������� �� �������� �������� �������� into the ImageNet 1K ����������� �� ����������� �� ���� ���� ���� ���� ���� �������� �������� �������� �������� �������� ���� ���� ������� ����������� �������� �������� �������� �������� competition (with extra data) . ����������� ���� ���� ���� ���� �������� �������� �������� �������� ���� ���� ������� �������� �������� �������� ������� �������� ����������� ���� ���� ���� ���� ���� ���� ���� ���� ���� �������� �������� �������� �������� ���� ���� ������� �������� �������� �������� �������� �������� �������� �������� �������� ����������� ���� ���� ���� ���� �������� �������� �������� �������� ���� ���� ������� �������� �������� �������� ������� �������� ������������� ���� �������� ���� ���� ������� ����������� ���� �������� ������������� �������� �������� �������� �������� ������� �������� ���� �������� ����� 2014 NIPS Workshop on Perturbations, Optimization, and Statistics --- Ian Goodfellow 3
Discriminative deep learning • Recipe for success: �������� ����������������� �� - Gradient backpropagation. ����������� �������� ����������� ���� ���� ���� ���� �������� �������� �������� �������� ���� ���� ������� �������� �������� �������� ����������� ���� ���� ���� ���� - Dropout �������� �������� �������� �������� �������� ���� ���� ������� ����������������� �������� �������� �������� ������� �� �������� ����������� �� ���� ���� ���� ���� ���� �������� �������� �������� �������� �������� ���� ���� ������� ����������� - Activation functions: �������� �������� �������� �������� ����������� ���� ���� ���� ���� �������� �������� �������� �������� ���� ���� ������� �������� �������� �������� ����������� �������� ���� ���� ���� ���� ����������������� �������� �������� �������� �������� • rectified linear ���� ���� ������� �� �������� �������� �������� ����������� �� ���� ���� ���� ���� ���� �������� �������� �������� �������� �������� ���� ���� ������� ����������� �������� �������� �������� �������� ����������� • maxout ���� ���� ���� ���� �������� �������� �������� �������� ���� ���� ������� �������� �������� �������� ������� �������� ����������� ���� ���� ���� ���� �������� �������� �������� �������� ���� ���� ������� �������� �������� �������� ����������� ���� ���� ���� ���� �������� �������� �������� �������� ���� ���� ������� �������� �������� �������� Google’s winning entry ������� �������� ������������� ���� into the ImageNet 1K �������� ���� �������� ������������� ������� competition (with extra data) . �������� ���� �������� ����� 2014 NIPS Workshop on Perturbations, Optimization, and Statistics --- Ian Goodfellow 4
Generative modeling • Have training examples x ~ p data (x ) • Want a model that can draw samples: x ~ p model (x ) • Where p model ≈ p data x ~ p data (x ) x ~ p model (x ) 2014 NIPS Workshop on Perturbations, Optimization, and Statistics --- Ian Goodfellow 5
Recommend
More recommend