Tensor Networks for Generative Modeling From Boltzmann machines to Born machines, and back ang ( �� ) Lei W https://wangleiphy.github.io Institute of Physics, Beijing Han, Wang, Fan, LW, Zhang, PRX18’ Chen, Cheng, Xie, LW, Xiang, PRB 18’ Chinese Academy of Sciences Cheng, Chen, LW, Entropy 18’+unpublished
TNSAA: Live long and prosper Ψ Quantum circuits Neural networks and architecture and parametrization Probabilistic graphical models
TNSAA in the era of quantum computing Simulation and validation of Noise-resilient quantum circuits quantum circuits with TNS architecture Villalonga et al, 1811.09599 Kim and Swingle, 1711.07500 | 0 i | 0 i = · · · ψ i +1 ψ i | 0 i | 0 i + quantum tomography, quantum annealing, quantum error correction, holographic duality, and more
TNSAA in the era of deep learning Hidden Markov Model p ( h t | h t − 1 ) … Hidden p ( o t | h t ) Observation • Widely used in speech recognition, bioinformatics, cryptography… • Learning, inference, and sampling algorithms (Forward-backward message passing, Viterbi, Baum-Welch) => Think of positive MPS Temme, Verstraete,1003.2545 Critch, Morton, 1210.2812 Tensor Graphical Networks Models Zhao, Jaeger, Neural Comput. 2010 Bailly, J. Mach. Learn. Res. 2011 Robeva, Seigal, 1710.01437 Chen, Cheng, Xie, LW, Xiang, 1701.04831
Unleash the power of tensor network states and algorithms for generative modeling
Discriminative and generative learning y = f ( x ) p ( x , y ) p ( y | x ) or
Discriminative and generative learning “What I can not create, I do not understand”
Generated Arts $432,500 25 October 2018 Christie’s New York https://www.christies.com/Features/A-collaboration-between-two-artists-one-human-one-a-machine-9332-1.aspx
Generated Arts Gaussian Generative Noise Network $432,500 25 October 2018 Christie’s New York https://www.christies.com/Features/A-collaboration-between-two-artists-one-human-one-a-machine-9332-1.aspx
Generate Molecules Latent Physical attributes configurations Generate Simple Complex Distributions Distribution Inference Sanchez-Lengeling & Aspuru-Guzik, Science 2018
<latexit sha1_base64="l+MU6Wop3O4gDLGg4JnxmuonPhM=">ACEHicbVDNSsNAGNzUv1r/oj16WSxCvZREBPVW9OKxgrGFNpTNZtMu3WzC7kYaQp7CB/Cqj+BJvPoGPoGv4abNwbYOLDvMfB/fMF7MqFSW9W1U1tY3Nreq27Wd3b39A/Pw6FGicDEwRGLRM9DkjDKiaOoYqQXC4JCj5GuN7kt/O4TEZJG/EGlMXFDNOI0oBgpLQ3NOoybAy9ivkxD/WXT/AwOzYbVsmaAq8QuSQOU6AzNn4Ef4SQkXGpOzbVqzcDAlFMSN5bZBIEiM8QSPS15SjkEg3m4XP4alWfBhEQj+u4Ez9u5GhUBbh9GSI1Fgue4X4n9dPVHDlZpTHiSIczw8FCYMqgkUT0KeCYMVSTRAWVGeFeIwEwkr3tXBFTYtoMq/pZuzlHlaJc96bln3F432TVlRFRyDE9AENrgEbXAHOsABGKTgBbyCN+PZeDc+jM/5aMUod+pgAcbXL/rwnUs=</latexit> <latexit sha1_base64="l+MU6Wop3O4gDLGg4JnxmuonPhM=">ACEHicbVDNSsNAGNzUv1r/oj16WSxCvZREBPVW9OKxgrGFNpTNZtMu3WzC7kYaQp7CB/Cqj+BJvPoGPoGv4abNwbYOLDvMfB/fMF7MqFSW9W1U1tY3Nreq27Wd3b39A/Pw6FGicDEwRGLRM9DkjDKiaOoYqQXC4JCj5GuN7kt/O4TEZJG/EGlMXFDNOI0oBgpLQ3NOoybAy9ivkxD/WXT/AwOzYbVsmaAq8QuSQOU6AzNn4Ef4SQkXGpOzbVqzcDAlFMSN5bZBIEiM8QSPS15SjkEg3m4XP4alWfBhEQj+u4Ez9u5GhUBbh9GSI1Fgue4X4n9dPVHDlZpTHiSIczw8FCYMqgkUT0KeCYMVSTRAWVGeFeIwEwkr3tXBFTYtoMq/pZuzlHlaJc96bln3F432TVlRFRyDE9AENrgEbXAHOsABGKTgBbyCN+PZeDc+jM/5aMUod+pgAcbXL/rwnUs=</latexit> <latexit sha1_base64="l+MU6Wop3O4gDLGg4JnxmuonPhM=">ACEHicbVDNSsNAGNzUv1r/oj16WSxCvZREBPVW9OKxgrGFNpTNZtMu3WzC7kYaQp7CB/Cqj+BJvPoGPoGv4abNwbYOLDvMfB/fMF7MqFSW9W1U1tY3Nreq27Wd3b39A/Pw6FGicDEwRGLRM9DkjDKiaOoYqQXC4JCj5GuN7kt/O4TEZJG/EGlMXFDNOI0oBgpLQ3NOoybAy9ivkxD/WXT/AwOzYbVsmaAq8QuSQOU6AzNn4Ef4SQkXGpOzbVqzcDAlFMSN5bZBIEiM8QSPS15SjkEg3m4XP4alWfBhEQj+u4Ez9u5GhUBbh9GSI1Fgue4X4n9dPVHDlZpTHiSIczw8FCYMqgkUT0KeCYMVSTRAWVGeFeIwEwkr3tXBFTYtoMq/pZuzlHlaJc96bln3F432TVlRFRyDE9AENrgEbXAHOsABGKTgBbyCN+PZeDc+jM/5aMUod+pgAcbXL/rwnUs=</latexit> Probabilistic Generative Modeling p ( x ) How to express, learn, and sample from a high-dimensional probability distribution ? ������� �� ������������ ������� �� ������� �������� ������ ������ ���� ������� ������ ���� ��� ����� �������� ��� ������ ������ ��� �������� ������ ����� �������� ������ ��������� �� ������ ��� �������� ������� ���� ����� ��������� �� � ������� ������������� ����� ���� �� ����� ������� �������� ����� �� � ���� ��������� �� ��������� ��� ����������� ��� ������ ���� ���������� ��������� ���� ����� ���� ����������� �� �������� �� ����� �� � ���� �� ��� ����� ������ ���������� ����������� ��� ��� ������ ��� ���������� ����� ��� ���� ��� ���� ������������ ��� ������ ��� ���� �� �� ������������� �� ����� �������� ������� ���� ��������� �� ��������� ���� �������� ������� �������� ����������� ��� ����� ������� �������� �� ����� �� ����������� ������ “random” images “natural” images ���� ��� ������ ����������� �� �� ������������ ������ � ���������� ���������� �� ��� ��� ���������� ������ ���������� ����� ����� ��� �� ��������� �� ���� ������ ���� ������ ������ �� ����� ������ ������������� ������� �� ��� �� ��� �������� ��� ���� ������ ���� ����� �� ���� �������� ��������� �� ������� ������� ������� ����� ����� ���� ��� ������ ���������� �� ������ �� ������� ������������ ����������� ������������� ��� ��� �������� �� ���� ������� ������ ��� ��������� �� �� ���� ���������� �� ������� ���������� ������� ���� ���� ��� ���� ���� �� � ���������� ����� ������ �� ���������� �� ���� ���� �� ������ ������� �������� ����������� �� ����� ����� ���������� �� ���������� ���������� ��������� ���� ��� �������� �� ��������� ��� ��������� �� ���� ����� �� ����� ����������� ���� �� ���������� ����� ����� ����� ����� ��� ��
Recommend
More recommend