tensor networks for generative modeling
play

Tensor Networks for Generative Modeling From Boltzmann machines to - PowerPoint PPT Presentation

Tensor Networks for Generative Modeling From Boltzmann machines to Born machines, and back ang ( ) Lei W https://wangleiphy.github.io Institute of Physics, Beijing Han, Wang, Fan, LW, Zhang, PRX18 Chen, Cheng, Xie, LW, Xiang, PRB


  1. Tensor Networks for Generative Modeling From Boltzmann machines to Born machines, and back ang ( �� ) Lei W https://wangleiphy.github.io Institute of Physics, Beijing Han, Wang, Fan, LW, Zhang, PRX18’ Chen, Cheng, Xie, LW, Xiang, PRB 18’ Chinese Academy of Sciences Cheng, Chen, LW, Entropy 18’+unpublished

  2. TNSAA: Live long and prosper Ψ Quantum circuits Neural networks and architecture and parametrization Probabilistic graphical models

  3. TNSAA in the era of quantum computing Simulation and validation of Noise-resilient quantum circuits quantum circuits with TNS architecture Villalonga et al, 1811.09599 Kim and Swingle, 1711.07500 | 0 i | 0 i = · · · ψ i +1 ψ i | 0 i | 0 i + quantum tomography, quantum annealing, quantum error correction, holographic duality, and more

  4. TNSAA in the era of deep learning Hidden Markov Model p ( h t | h t − 1 ) … Hidden p ( o t | h t ) Observation • Widely used in speech recognition, bioinformatics, cryptography… • Learning, inference, and sampling algorithms (Forward-backward message passing, Viterbi, Baum-Welch) => Think of positive MPS Temme, Verstraete,1003.2545 Critch, Morton, 1210.2812 Tensor Graphical Networks Models Zhao, Jaeger, Neural Comput. 2010 Bailly, J. Mach. Learn. Res. 2011 Robeva, Seigal, 1710.01437 Chen, Cheng, Xie, LW, Xiang, 1701.04831

  5. Unleash the power of tensor network states and algorithms for generative modeling

  6. Discriminative and generative learning y = f ( x ) p ( x , y ) p ( y | x ) or

  7. Discriminative and generative learning “What I can not create, I do not understand”

  8. Generated Arts $432,500 25 October 2018 Christie’s New York https://www.christies.com/Features/A-collaboration-between-two-artists-one-human-one-a-machine-9332-1.aspx

  9. Generated Arts Gaussian Generative Noise Network $432,500 25 October 2018 Christie’s New York https://www.christies.com/Features/A-collaboration-between-two-artists-one-human-one-a-machine-9332-1.aspx

  10. Generate Molecules Latent Physical attributes configurations Generate Simple Complex Distributions Distribution Inference Sanchez-Lengeling & Aspuru-Guzik, Science 2018

  11. <latexit sha1_base64="l+MU6Wop3O4gDLGg4JnxmuonPhM=">ACEHicbVDNSsNAGNzUv1r/oj16WSxCvZREBPVW9OKxgrGFNpTNZtMu3WzC7kYaQp7CB/Cqj+BJvPoGPoGv4abNwbYOLDvMfB/fMF7MqFSW9W1U1tY3Nreq27Wd3b39A/Pw6FGicDEwRGLRM9DkjDKiaOoYqQXC4JCj5GuN7kt/O4TEZJG/EGlMXFDNOI0oBgpLQ3NOoybAy9ivkxD/WXT/AwOzYbVsmaAq8QuSQOU6AzNn4Ef4SQkXGpOzbVqzcDAlFMSN5bZBIEiM8QSPS15SjkEg3m4XP4alWfBhEQj+u4Ez9u5GhUBbh9GSI1Fgue4X4n9dPVHDlZpTHiSIczw8FCYMqgkUT0KeCYMVSTRAWVGeFeIwEwkr3tXBFTYtoMq/pZuzlHlaJc96bln3F432TVlRFRyDE9AENrgEbXAHOsABGKTgBbyCN+PZeDc+jM/5aMUod+pgAcbXL/rwnUs=</latexit> <latexit sha1_base64="l+MU6Wop3O4gDLGg4JnxmuonPhM=">ACEHicbVDNSsNAGNzUv1r/oj16WSxCvZREBPVW9OKxgrGFNpTNZtMu3WzC7kYaQp7CB/Cqj+BJvPoGPoGv4abNwbYOLDvMfB/fMF7MqFSW9W1U1tY3Nreq27Wd3b39A/Pw6FGicDEwRGLRM9DkjDKiaOoYqQXC4JCj5GuN7kt/O4TEZJG/EGlMXFDNOI0oBgpLQ3NOoybAy9ivkxD/WXT/AwOzYbVsmaAq8QuSQOU6AzNn4Ef4SQkXGpOzbVqzcDAlFMSN5bZBIEiM8QSPS15SjkEg3m4XP4alWfBhEQj+u4Ez9u5GhUBbh9GSI1Fgue4X4n9dPVHDlZpTHiSIczw8FCYMqgkUT0KeCYMVSTRAWVGeFeIwEwkr3tXBFTYtoMq/pZuzlHlaJc96bln3F432TVlRFRyDE9AENrgEbXAHOsABGKTgBbyCN+PZeDc+jM/5aMUod+pgAcbXL/rwnUs=</latexit> <latexit sha1_base64="l+MU6Wop3O4gDLGg4JnxmuonPhM=">ACEHicbVDNSsNAGNzUv1r/oj16WSxCvZREBPVW9OKxgrGFNpTNZtMu3WzC7kYaQp7CB/Cqj+BJvPoGPoGv4abNwbYOLDvMfB/fMF7MqFSW9W1U1tY3Nreq27Wd3b39A/Pw6FGicDEwRGLRM9DkjDKiaOoYqQXC4JCj5GuN7kt/O4TEZJG/EGlMXFDNOI0oBgpLQ3NOoybAy9ivkxD/WXT/AwOzYbVsmaAq8QuSQOU6AzNn4Ef4SQkXGpOzbVqzcDAlFMSN5bZBIEiM8QSPS15SjkEg3m4XP4alWfBhEQj+u4Ez9u5GhUBbh9GSI1Fgue4X4n9dPVHDlZpTHiSIczw8FCYMqgkUT0KeCYMVSTRAWVGeFeIwEwkr3tXBFTYtoMq/pZuzlHlaJc96bln3F432TVlRFRyDE9AENrgEbXAHOsABGKTgBbyCN+PZeDc+jM/5aMUod+pgAcbXL/rwnUs=</latexit> Probabilistic Generative Modeling p ( x ) How to express, learn, and sample from a high-dimensional probability distribution ? ������� �� ������������ ������� �� ������� �������� ������ ������ ���� ������� ������ ���� ��� ����� �������� ��� ������ ������ ��� �������� ������ ����� �������� ������ ��������� �� ������ ��� �������� ������� ���� ����� ��������� �� � ������� ������������� ����� ���� �� ����� ������� �������� ����� �� � ���� ��������� �� ��������� ��� ����������� ��� ������ ���� ���������� ��������� ���� ����� ���� ����������� �� �������� �� ����� �� � ���� �� ��� ����� ������ ���������� ����������� ��� ��� ������ ��� ���������� ����� ��� ���� ��� ���� ������������ ��� ������ ��� ���� �� �� ������������� �� ����� �������� ������� ���� ��������� �� ��������� ���� �������� ������� �������� ����������� ��� ����� ������� �������� �� ����� �� ����������� ������ “random” images “natural” images ���� ��� ������ ����������� �� �� ������������ ������ � ���������� ���������� �� ��� ��� ���������� ������ ���������� ����� ����� ��� �� ��������� �� ���� ������ ���� ������ ������ �� ����� ������ ������������� ������� �� ��� �� ��� �������� ��� ���� ������ ���� ����� �� ���� �������� ��������� �� ������� ������� ������� ����� ����� ���� ��� ������ ���������� �� ������ �� ������� ������������ ����������� ������������� ��� ��� �������� �� ���� ������� ������ ��� ��������� �� �� ���� ���������� �� ������� ���������� ������� ���� ���� ��� ���� ���� �� � ���������� ����� ������ �� ���������� �� ���� ���� �� ������ ������� �������� ����������� �� ����� ����� ���������� �� ���������� ���������� ��������� ���� ��� �������� �� ��������� ��� ��������� �� ���� ����� �� ����� ����������� ���� �� ���������� ����� ����� ����� ����� ��� ��

Recommend


More recommend