前編はこちら（この記事は後編です）

• 脳型の認知アーキテクチャによる人工知能は、どのぐらいヒトに近づいたのか

1次元迷路の8つの課題のうち7つの課題をクリアし、優秀賞を獲得

【優秀賞】＆【スポンサー賞】「HM-SYS」（玉川大学 宮田・早川・川添・栢沼・堤チーム）

　優秀賞とスポンサー賞を獲得したのが玉川大学チームだ。同チームはエピソード記憶と価値に基づく行動選択を可能にするシステムづくりにトライ。神経科学的妥当性については、海馬活動内の場所細胞と行動機能のエピソード記憶、場所の再認を実装。このほか脳領域構造としてCA1、CA3、歯状回の実装も試みた。



　同チームは、規定課題の1次元迷路について、11個の課題のうち7個の課題をクリアし、かなりの好成績をあげた。課題が難しくなるにつれ、負荷（ステップ数や学習時間）が大きくなることもわかったという。一方、2次元迷路については、残念ながらエピソード記憶を重ねてもクリアできなかった。

　玉川大学チームは、エピソード記憶を中心に海馬をモデル化することで、汎用的なエージェントになると考えた。まずエピソード記憶として「いつ」「どこで」「誰と」「何をした」という要素を仮定し、さらにエピソード記憶と感情（価値）に強い関係があるとした。たとえば、エピソード記憶には「楽しかった」「つまらなかった」といった快と不快の価値 も付随するため、意思決定に利用できる。

　今回のハッカソンでは、規定課題と自由課題の両方にチャレンジ。しかも規定課題で2つのモデルを構築した。まず規定課題では、現在の感覚情報（視覚）をエージェントが受け取り、特徴量（ベクトル）に変換し、それを用いてエピソード記憶として溜め込んだ情報から、その特徴に近いエピソード群を想起させる。さらに想起されたベクトル群を平均化・概念化し、入力の特徴ベクトルに対する価値を見出すことで行動を決定していくという流れだ。

　ただし、このアプローチだと学習ステップ数と時間がかかり過ぎてしまったという。そこで「SFA（Slow Feature Analysis）」による場所細胞モデルも構築。これが2つ目のモデルにあたるものだ。ちなみにSFAとは、画像内で高速に変化する事象の分散を最小化することで、低周波成分を抽出する手法のこと。視覚情報より得られた画像を分析することで、海馬の場所細胞を再現したという。

　一次元迷路に対して、ランダムウォーク にて3万ステップ分の教師なし学習（リアルタイム学習も可能だったが未実装）を事前に実施して課題を解いたところ、場所細胞を追加した際には学習効率が平均で65％も向上し 、良好な結果が得られた。


　今回開発したネットワークは、5つのモジュールから構成されているという。まず「VVC（Ventral Visual Cortex：腹側視覚野）」からの視覚情報が、「Perirhinal Cortex（嗅周皮質）」と「Entorhinal Cortex（嗅内皮質）」を経由し、「DG（Dentate Gyrus：歯状回）」まで送られたとき、エピソード記憶として情報を蓄積する。それらの情報を過去情報と比較し、ここで「CA3」の再帰ネットワークによってフィードバックをかけて、エピソード記憶の探索を行うという流れだ。


　さらに「CA1」によって自己位置推定を行い、「BG（Basal Ganglia：大脳基底核）」から送られた価値情報も付与する。これらを再び、Entorhinal Cortexに送り、BG側で行動決定を行って、最終的に「FL/MO（Frontal Lobe/Motor Output：前頭葉/行動出力）」によって運動を生成するという。

　このネットワークの正当性を判断するために、課題の加点ポイントになっていた可視化ツールのBiCAmonも用いた。ちなみにBiCAmonはドワンゴ人工知能研究所によって開発されたものだ。


　また同チームは自由課題で「感情（価値）がエピソード記憶の形成に与える影響のモデル化」を目指した。たとえば動物がランドマークを手がかりに移動し、餌にありつくと嬉しいという感情が生れる。この際には、脳内の神経伝達物質を放出する神経回路が関係しているという。これらは海馬などの脳内にも広範囲に影響を与え、特に海馬の神経細胞の機能が変化することが知られている。

　そこで提案モデルとして、視覚情報 を基にした特徴ベクトルを前出のようなSFA階層ネットワークに入力し、教師なし学習を行う。SFAは低周波成分を抽出するため、近くで高速移動する映像よりも、遠くにあるランドマークのような低速移動の映像成分を抽出できると予想した。

　ここでは、これらの情報をエピソード記憶と定義し、行動決定を行った後に得られた報酬を感情（価値）とする。このモデル構築は途中で終わってしまったが、規定課題2まで解けたそうだ。


【次ページ】最優秀賞は何が評価されたのか？