STA and the encoding and decoding problems NEU 466M - PowerPoint PPT Presentation

STA ¡and ¡the ¡ ¡ encoding ¡and ¡decoding ¡problems ¡ NEU ¡466M ¡ Instructor: ¡Professor ¡Ila ¡R. ¡Fiete ¡ Spring ¡2016 ¡

Last ¡Gme: ¡sGmulus, ¡spike ¡cross-­‑correlaGon ¡ 5 x 10 16 When ¡sGmulus ¡goes ¡up ¡(more ¡ posiGve ¡velocity), ¡response ¡ 14 increases ¡(more ¡spikes): ¡posiGve ¡ peak. ¡ 12 single ¡H1 ¡neuron ¡ in ¡lobula ¡plate ¡per ¡ hemisphere ¡ 10 C(stim, rho) 8 6 Response ¡lags ¡sGmulus ¡ ¡ (peak ¡to ¡right ¡of ¡zero-­‑shiV). ¡ ¡ ¡ 4 − − 2 − 0 − 2 5.997 5.998 5.999 6 6.001 6.002 6.003 sample number (500 Hz) 5 x 10 Cross-­‑correlaGon ¡uncovers ¡relaGonships ¡between ¡Gme-­‑series. ¡ ¡ What ¡specifically ¡does ¡it ¡mean ¡about ¡sGmulus ¡ à ¡spike ¡response? ¡ ¡

Back ¡to ¡original ¡goal: ¡Modeling ¡ WHAT ¡DOES ¡IT ¡MEAN ¡TO ¡BUILD ¡A ¡ MODEL ¡OF ¡OBSERVATIONS ¡OF ¡A ¡ STIMULUS ¡AND ¡RESPONSE? ¡

Modeling ¡spike ¡train ¡data ¡ Model: ¡Simple, ¡predicGve ¡descripGon. ¡ ¡ But ¡what ¡is ¡it ¡we ¡want ¡to ¡describe/predict? ¡ OpGon ¡1) ¡Given ¡sGmulus, ¡ ¡predict ¡spikes? ¡ OpGon ¡2) ¡Given ¡spikes, ¡“predict” ¡sGmulus? ¡

Modeling ¡spike ¡train ¡data ¡ Model: ¡Simple, ¡predicGve ¡descripGon. ¡ ¡ But ¡what ¡is ¡it ¡we ¡want ¡to ¡describe/predict? ¡ OpGon ¡1): ¡Given ¡sGmulus, ¡ ¡predict ¡spikes? ¡ Encoding ¡model ¡ OpGon ¡2): ¡Given ¡spikes, ¡“predict” ¡sGmulus? ¡

Modeling ¡spike ¡train ¡data ¡ Model: ¡Simple, ¡predicGve ¡descripGon. ¡ ¡ But ¡what ¡is ¡it ¡we ¡want ¡to ¡describe/predict? ¡ OpGon ¡1): ¡Given ¡sGmulus, ¡ ¡predict ¡spikes? ¡ Encoding ¡model ¡ OpGon ¡2): ¡Given ¡spikes, ¡“predict” ¡sGmulus? ¡ Decoding ¡model ¡

Modeling ¡spike ¡train ¡data ¡ Model: ¡Simple, ¡predicGve ¡descripGon. ¡ ¡ But ¡what ¡is ¡it ¡we ¡want ¡to ¡describe/predict? ¡ OpGon ¡1): ¡Given ¡sGmulus, ¡ ¡predict ¡spikes? ¡ Encoding ¡model ¡ OpGon ¡2): ¡Given ¡spikes, ¡“predict” ¡sGmulus? ¡ Decoding ¡model ¡ Both ¡are ¡good ¡and ¡closely ¡related ¡modeling ¡goals! ¡

Decoding ¡problem ¡ − − − Given ¡a ¡spike, ¡what ¡was ¡the ¡sGmulus? ¡ ¡

The ¡spike-­‑triggered ¡average ¡ from ¡“Spikes”, ¡Rieke ¡et ¡al. ¡ ¡ Given ¡a ¡spike, ¡what ¡was ¡the ¡mean ¡sGmulus ¡that ¡led ¡up ¡to ¡it? ¡ ¡

The ¡spike-­‑triggered ¡average ¡ from ¡“Spikes”, ¡Rieke ¡et ¡al. ¡ ¡ STA: ¡(average) ¡sGmulus ¡“feature” ¡to ¡which ¡cell ¡responds ¡

The ¡spike-­‑triggered ¡average ¡ stimulus s ( t ) N spikes at times t i ( i = 1 · · · N ) N STA( τ ) = 1 X s ( t i − τ ) N i =1

The ¡spike-­‑triggered ¡average ¡as ¡a ¡correlaGon ¡ N STA( τ ) = 1 X s ( t i − τ ) N i =1 = 1 X ρ ( t ) s ( t − τ ) N t ρ is the spike vector of 0 0 s, 1 0 s = 1 N C ρ s ( − τ ) STA ¡= ¡CorrelaGon ¡between ¡spike-­‑train, ¡sGmulus ¡at ¡negaGve ¡(earlier) ¡Gmes ¡ “Reverse ¡correlaGon” ¡

STA ¡and ¡reverse ¡correlaGon ¡ • STA ¡implies ¡that ¡the ¡response ¡is ¡a ¡binary ¡spike-­‑train. ¡ ¡ • Reverse ¡correlaGon: ¡the ¡response ¡can ¡be ¡any ¡Gme-­‑ varying ¡signal. ¡Also ¡called ¡“white ¡noise” ¡analysis ¡(we ¡ will ¡see ¡why ¡later). ¡

STA ¡and ¡the ¡decoding ¡problem ¡ − − − − − − Decoding ¡problem: ¡Infer ¡sGmulus ¡given ¡spike ¡train. ¡“Mindreading”: ¡read ¡spike ¡ output ¡and ¡infer ¡what ¡the ¡brain ¡saw. ¡ ¡ ¡ ¡ STA: ¡Given ¡that ¡cell ¡fired ¡spike, ¡STA ¡returns ¡average ¡of ¡preceding ¡sGmulus. ¡ ¡ ¡

Decoding ¡problem ¡ stimulus s ( t ) Volterra ¡series ¡expansion: ¡ ¡ N spikes at times t i ( i = 1 · · · N ) X X s est ( t ) = F 1 ( t − t i ) + F 2 ( t − t i , t − t j ) + · · · i i,j spike ¡pairs ¡in ¡specific ¡configuraGon ¡ ¡ each ¡spike ¡an ¡independent ¡event, ¡ ¡ carry ¡informaGon ¡about ¡sGmulus, ¡beyond ¡ ¡ and ¡contributes ¡independently ¡to ¡ that ¡contained ¡in ¡their ¡individual ¡occurrences. ¡ sGmulus ¡reconstrucGon ¡ ¡ spike ¡pair ¡a ¡separate ¡event ¡contribuGng ¡to ¡ reconstrucGon. ¡

Decoding ¡problem ¡ Volterra ¡series ¡expansion: ¡ ¡ X X s est ( t ) = F 1 ( t − t i ) + F 2 ( t − t i , t − t j ) + · · · i i,j spike ¡pairs ¡in ¡specific ¡configuraGon ¡ ¡ each ¡spike ¡an ¡independent ¡event ¡ carry ¡informaGon ¡about ¡sGmulus, ¡beyond ¡ ¡ given ¡sGmulus, ¡and ¡contributes ¡ ¡ that ¡contained ¡in ¡their ¡individual ¡occurrences. ¡ independently ¡to ¡sGmulus ¡ ¡ spike ¡pair ¡an ¡independent ¡event ¡contribuGng ¡ ¡ reconstrucGon ¡ ¡ STA ¡ to ¡reconstrucGon. ¡

Geometric ¡view ¡ length-­‑ T ¡sGmulus ¡vector ¡preceding ¡Gme ¡point ¡ t : ¡ ¡ { s ( t − T ) · · · s ( t − 2) s ( t − 1) } s ( t − 1) t − 2 s ( t − 2) t − T * ¡ t − 1 · · · s ( t − T ) sGmulus ¡space ¡

Geometric ¡view ¡ length-­‑ T ¡sGmulus ¡vector ¡preceding ¡Gme ¡point ¡ t : ¡ ¡ { s ( t − T ) · · · s ( t − 2) s ( t − 1) } s ( t − 1) t − 2 s ( t − 2) t − T * ¡ t − 1 · · · s ( t − T ) Any ¡possible ¡sGmulus ¡Gme-­‑series ¡is ¡one ¡point ¡in ¡sGmulus ¡space ¡

Geometric ¡view ¡of ¡STA ¡ * ¡ presented ¡sGmuli ¡ s ( t − 1) * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ s ( t − 2) * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ · · · * ¡ * ¡ * ¡ * ¡ s ( t − T )

Geometric ¡view ¡of ¡STA ¡ * ¡ presented ¡sGmuli ¡ * ¡ effecGve ¡sGmuli ¡ (evoked ¡spike) ¡ s ( t − 1) * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ s ( t − 2) * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ · · · * ¡ * ¡ * ¡ * ¡ s ( t − T )

Geometric ¡view ¡of ¡STA ¡ * ¡ presented ¡sGmuli ¡ * ¡ effecGve ¡sGmuli ¡ (evoked ¡spike) ¡ STA ¡ s ( t − 1) * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ s ( t − 2) * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ · · · * ¡ * ¡ * ¡ * ¡ s ( t − T ) STA ¡picks ¡single ¡direcGon ¡in ¡sGmulus ¡space ¡

Geometric ¡view ¡of ¡STA ¡ STA ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ STA ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ · · · * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡

Geometric ¡view ¡of ¡STA: ¡when ¡does ¡it ¡fail? ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ STA ¡ * ¡ * ¡ * ¡ * ¡* ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ STA ¡points ¡in ¡direcGon ¡where ¡sGmuli ¡were ¡actually ¡ineffecGve ¡in ¡producing ¡spikes. ¡ ¡

Geometric ¡view ¡of ¡STA: ¡when ¡does ¡it ¡fail? ¡ * ¡ * ¡ * ¡ STA ¡= ¡0 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ Example: ¡moGon ¡energy ¡model ¡ * ¡ * ¡ * ¡ for ¡complex ¡cells ¡in ¡V1. ¡ Same ¡cauGon ¡as ¡correlaGon: ¡measure ¡of ¡linear ¡relaGonship ¡between ¡sGmulus, ¡response. ¡ ¡ If ¡response ¡is ¡specific ¡nonlinear ¡funcGon ¡of ¡sGmulus, ¡then ¡STA ¡may ¡not ¡be ¡informaGve. ¡ ¡