講義

計算論的神経科学(computational neuroscience)

脳の中でどのような情報処理が行われているかを議論する学問。認知科学や人工知能と近い。

Computational level
- what does the system do (e.g.: what problems does it solve or overcome) and similarly, why does it do these things
- 最適化の評価関数を決める
Algorithmic/representational level
- how does the system do what it does, specifically, what representations does it use and what processes does it employ to build and manipulate the representations
- 事象をどう表現（数式化、数値化）するか決める
Implementational/physical level
- how is the system physically realized (in the case of biological vision, what neural structures and neuronal activities implement the visual system)
- 脳のどの部位がどの計算をしているかを決める

Computational level
- Maximize the future rewards.
- $V(s_{t})=r_{t}+\gamma r_{t+1}+\gamma^{2} r_{t+2}+\gamma^{3} r_{t+3}\cdots$
- $\gamma$ : （行動経済学の）報酬。大きいと将来の報酬のために今の報酬を我慢しやすい。小さいと将来の報酬より今の報酬を優先する。割引報酬和が発散しないように、1より小さい数値が入る。
Algorithmic/representational level
- Learning how to maximize the reward using a reward-prediction error.
- $\delta_{t}=r_{t}-\left [ V(s_{t})-V(s_{t+1}) \right ]$
- $r_{t}$ : Actual reward
- $V(s_{t})-V(s_{t+1})$ : Predicted reward
- 学習は、報酬そのものではなく、報酬の予測誤差になっている。報酬の期待値からのズレが学習になる。
- 脳は常に予測している。
Implementational/physical level
- Dopamine neurons in the basal ganglia.
- 猿に餌を与える場合、餌を与えた直後が活性化する。
- 光を出して猿に餌を与える場合、光を出したあとが活性化するが、実際に餌をもらえたときは活性化しない。（古典的条件付け）
- 光を出して猿に餌を与えない場合、光を出したあとが同じくらい活性化するが、餌をもらえる場所で活性が負になる。