Dynamical-System s Beha vior in Recurren t and Non-Recurren - PDF document

Dynamical-System s Beha vior in Recurren t and Non-Recurren t Connectionist Nets An Honors Thesis Presen ted b y Jason M. Eisner to The Departmen t of Psyc hology in P artial F ul�llmen t of the Requiremen ts for the Degree of Bac helor of Arts with Honors in the Sub ject of Psyc holgy Harv ard-Radcli�e Colleges Cam bridge, Massac h usetts April 2, 1990

Abstract A broad approac h is dev elop ed for training dynamical b eha viors in connectionist net w orks. General recurren t net w orks are p o w erful computational devices, necessary for di�cult tasks lik e constrain t sat- isfaction and temp oral pro cessing. These tasks are discussed here in some detail. F rom b oth theoretical and empirical considerations, it is concluded that suc h tasks are b est addressed b y recurren t net w orks that op erate con tin uously in time|and further, that e�ectiv e learn- ing rules for these con tin uous-time net w orks m ust b e able to prescrib e their dynamic al prop erties. A general class of suc h learning rules is deriv ed and tested on simple problems. Where existing learning algo- rithms for recurren t and non-recurren t net w orks only attempt to train a net w ork's p osition in activ ation space, the mo dels presen ted here can also explicitly and successfully prescrib e the nature of its movement thr ough activ ation space. I am indebted to Ja y Ruec kl, m y advisor, b oth for his suggestions and for his supp ort. Ja y Ruec kl and Greg Galp erin pro vided com- putational facilities that pro v ed indisp ensable. I w ould also lik e to thank m y family and the man y friends whose encouragemen t sa w this pro ject through its �nal stages. Con ten ts 1 In tro duction 3 1.1 The uses of recurren t net w orks : : : : : : : : : : : : : : : : : : 3 1.1.1 Recurren t net w orks and constrain t satisfaction : : : : : 3 1.1.2 Recurren t net w orks and temp oral problems : : : : : : : 4 1.1.3 The computational p o w er of recurren t net w orks : : : : 5 1.2 Recurren t net w orks in practice : : : : : : : : : : : : : : : : : : 6 1.2.1 Existing mo dels of constrain t satisfaction : : : : : : : : 6 1.2.2 Existing temp oral mo dels : : : : : : : : : : : : : : : : 8 1.3 Summary : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 10 2 Some Theoretical Observ ations 11 2.1 Though ts on temp oral pattern pro cessing : : : : : : : : : : : : 12 1

2.1.1 The usefulness of gradual-resp onse nets : : : : : : : : : 12 2.1.2 The dynamical systems approac h : : : : : : : : : : : : 14 2.1.3 Dynamics of small clusters : : : : : : : : : : : : : : : : 16 2.2 Though ts on constrain t satisfaction : : : : : : : : : : : : : : : 19 2.2.1 The need for hidden units : : : : : : : : : : : : : : : : 19 2.2.2 A �rst attempt at a satisfaction mo del : : : : : : : : : 20 2.2.3 A learning rule for the non-resonan t case : : : : : : : : 21 2.2.4 Extending our rule to the resonan t case : : : : : : : : : 23 2.2.5 The problem with this approac h : : : : : : : : : : : : : 25 2.3 Summary of Theoretical Observ ations : : : : : : : : : : : : : : 26 3 A General Mo del and its Learning Rule 26 3.1 Conception of the general mo del : : : : : : : : : : : : : : : : : 26 3.1.1 Molding a dynamical system : : : : : : : : : : : : : : : 26 3.1.2 The role of input : : : : : : : : : : : : : : : : : : : : : 27 3.1.3 Ho w to use the error measure : : : : : : : : : : : : : : 28 3.1.4 Ho w w eigh t c hanges shift the tra jectory : : : : : : : : 31 3.2 F ormal deriv ation of the general mo del : : : : : : : : : : : : : 32 3.2.1 Notation : : : : : : : : : : : : : : : : : : : : : : : : : : 33 3.2.2 Calculating the gradien t in w eigh t space : : : : : : : : 34 3.2.3 An algorithm : : : : : : : : : : : : : : : : : : : : : : : 35 3.3 Summary of the general mo del : : : : : : : : : : : : : : : : : : 37 4 P articular Mo dels 38 4.1 Some mo dels of p oten tial in terest : : : : : : : : : : : : : : : : 38 4.2 Some top ologies of p oten tial in terest : : : : : : : : : : : : : : 41 4.3 Detailed deriv ation of particular error measures : : : : : : : : 42 4.3.1 Mapping mo del I: No des to w ard targets : : : : : : : : 42 4.3.2 Mapping mo del I I: System to w ard target : : : : : : : : 44 4.3.3 General gradien t-descen t mo del : : : : : : : : : : : : : 45 4.3.4 Con ten t-addressable memory mo del : : : : : : : : : : : 46 5 Sim ulation Results 49 5.1 Results for feedforw ard X OR : : : : : : : : : : : : : : : : : : : 51 5.2 Other tasks : : : : : : : : : : : : : : : : : : : : : : : : : : : : 53 6 Conclusions 54 2

1 In tro duction In the 1960's, Minsky and P ap ert p oin ted to hidden units as a p oten tial remedy for some of connectionism's problems. Recurren t connections ha v e lately b een attracting the same kind of in terest. Muc h as hidden units extend the computational p o w er of p erceptrons, recurren t connections extend the computational p o w er of feedforw ard net w orks. The w ork rep orted here is ultimately concerned with b oth recurren t and non-recurren t net w orks. Ho w ev er, it fo cuses on net w ork prop erties that are most eviden t (and most useful) in the presence of recurrence. These are dynamic al prop erties of net w orks|prop erties describing ho w net w orks' states c hange or remain stable o v er time. The pap er has three ma jor aims, as follo ws. First, to highligh t the fea- tures of recurrence that mak e it useful. Second, to demonstrate that certain net w ork arc hitectures exhibit esp ecially ric h kinds of b eha vior. Finally , to dev elop a training algorithm that can pro duce the desired b eha viors in net- w orks that use these arc hitectures. 1.1 The uses of recurren t net w orks Since it is useful to fo cus on actual problems, the early sections of this pa- p er will pa y sp ecial atten tion to t w o domains in whic h recurren t net w orks ha v e pro v ed esp ecially useful. These are the c onstr aint satisfaction domain and the temp or al domain. In a constrain t satisfaction problem, the net w ork is supp osed to disco v er an y regularities that hold among v arious static in- puts. The temp oral domain includes all those tasks where a net w ork's inputs and/or outputs are to c hange o v er time in a principled w a y . 1.1.1 Recurren t net w orks and constrain t satisfaction The general constrain t satisfaction task is simple. V arious p atterns (v ectors of n um b ers) are sho wn to a net w ork. The net w ork is supp osed to disco v er regularities in the set of patterns it sees. When it is sho wn only part of a pattern, it should correctly �ll in the missing elemen ts. The purest form of constrain t satisfaction mak es no distinction b et w een input and output no des of the net w ork. There is simply a set of visible no des , whic h hold the patterns. A partial pattern can b e \clamp ed" on to some of 3