Uncertainty and its Representa/on @kordinglab Uncertainty - PowerPoint PPT Presentation

Uncertainty ¡and ¡its ¡ Representa/on ¡ @kordinglab ¡

Uncertainty ¡ma7ers ¡

The ¡brain ¡is ¡good ¡with ¡uncertainty ¡ Measure ¡world ¡+ ¡uncertainty ¡ Derive ¡op/mal ¡behavior ¡ Compare ¡ With ¡Thier, ¡Catz, ¡Albert ¡

4 ¡Models ¡for ¡the ¡ representa(on ¡of ¡ uncertainty ¡ • More ¡uncertainty ¡-­‑> ¡fewer ¡spikes ¡ • More ¡uncertainty ¡-­‑> ¡broader ¡tuning ¡ • More ¡uncertainty ¡-­‑> ¡earlier ¡spikes ¡ • More ¡uncertainty ¡-­‑> ¡more ¡variability ¡ With ¡Lee ¡Miller, ¡Dekleva, ¡etc ¡

Uncertainty ¡task ¡

Example: ¡More ¡not ¡less ¡spikes ¡

Implica/ons? ¡ NN/ ¡black ¡box ¡ ¡ Prewired ¡Bayesian ¡ learning ¡ Many ¡ Intermediate ¡ models ¡ “each ¡spike ¡ “just ¡do ¡ changes ¡the ¡ gradient ¡ probability” ¡ descent” ¡

What ¡is ¡missing ¡in ¡neural ¡network ¡ representa/ons ¡ • Good ¡representa/ons ¡of ¡kinds ¡of ¡uncertainty ¡ • Ways ¡of ¡represen/ng ¡nontrivial ¡structures ¡ • Ways ¡of ¡controlling ¡ac/ons ¡

Some ¡interes/ng ¡developments ¡ Deep ¡networks ¡for ¡op/mal ¡motor ¡control ¡ w. ¡Max ¡Berniker ¡

We ¡also ¡need ¡more ¡data ¡ Record ¡countless ¡ ¡ Quan/fy ¡the ¡world ¡ neurons ¡ w ¡Boyden, ¡Church, ¡Tyo ¡ w ¡Wolpert, ¡Ingram ¡ Nontrivial ¡models ¡require ¡nontrivial ¡amounts ¡of ¡data ¡

Conclusions ¡ • Uncertainty ¡representa/on ¡not ¡simple ¡ • Shouldn’t ¡be ¡simple ¡if ¡not ¡pre-­‑wired ¡ • Need ¡models ¡in ¡between ¡ • And ¡a ¡lot ¡of ¡data ¡to ¡constrain ¡