ビジネス+IT

ビジネス課題別で探す

ITジャンル別で探す

会員限定

2017年08月28日

PFN 奥田遼介氏が解説、ディープラーニングだけでなく「強化学習」も活用する理由

ディープラーニングのOSSフレームワーク「Chainer」やその中のライブラリ「CuPy」の研究・開発などに携わり、いま日本のAIを支えるキーパーソンの一人に数えられるようになったのが、Preferred Networks(以下、PFN)チーフアーキテクトの奥田遼介氏だ。同氏は東北大学の学生時代から教育用ロボットを活用し、そのときの経験が現在の仕事でも生かされているという。奥田氏はロボットカーやアマゾンのロボット大会などの具体的な事例をもとに、機械学習や強化学習がどう活用されているのかについて解説した。

教育用ロボットキットを活用してAIを学ぶ

photo

Preferred Networks(PFN)
チーフアーキテクト
奥田 遼介 氏

 教育用ロボットキット「LEGO MINDSTORMS」を手がけるアフレル主催の「Robotics Education Day 2017」に登壇した奥田氏はまず、東北大学在学中、組み込みソフトウェア技術を競い合う「ETロボコン2012」のチャンピオンシップ大会に出場してきた当時を振り返った。

 学生時代にETロボコンで培ったノウハウを、現在の仕事でも活用しているという奥田氏。かつて開発したETロボコン用の自動パラメータ装置は、競技で使うライントレース用の倒立振子学習ロボットを釣り上げ、うまく走行できるようにパラメータをリトライで自動調節した。

photo
(クリックで拡大)

ETロボコン用の倒立振子学習ロボットを上手く走らせるために、ロボットの制御パラメータを自動調整させる装置を開発した


「ロボットが倒れたら、釣り上げて、倒れないで上手く走れるようになるまで延々とパラメータを調整する。そのために、プログラムのリモート書き換え機能も実装している。PCからBluetoothでパラメータをロボットに転送する専用スクリプトも書いた」(奥田氏)

 ご存じの方も多いだろうが、同氏が在籍するPFNは、NTT、ファナック、トヨタ自動車も出資するAIベンチャーの雄だ。製造業やヘルスケア、自動車などの産業分野に機械学習技術を適用し、実データを用いた共同R&Dプロジェクトをいくつも立ち上げている。

ディープラーニングだけでなく、強化学習も必要になる理由

関連記事
 ここで少しAI関連の用語を解説しておこう。

 まず機械学習は、目標とする問題設定に対して、実データ(教師データ)を使って繰り返し学習させることで賢くなるというものだ。たとえば、手書き文字データを入力して機械学習にかけると、その文字を精度よく認識できるようになる。一方の強化学習は、試行錯誤を通じ、環境に適した制御を獲得する。話題の深層学習(ディープラーニング)は、前出の機械学習手法のひとつであり、近年になって大きな進展が見られる分野だ。

「ディープラーニングによって画像認識率が向上し、現在では3.56%までエラー率が下がっている。同様のタスクを人間が行うと5.1%のエラーになる。つまり現在は、機械学習のほうが人間よりも画像認識の精度が高くなっている。ディープラーニングでは、100万枚の画像をデータセットとして使える。膨大な量のデータを学習させることで、人よりも精度が劇的に良くなった。ただし、画像データに対して、それが何であるかということを人間がタグ付けをしているため、その準備はかなり大変だ」(奥田氏)

 たとえばロボットで動くデモをつくろうとする際には、適当なデータセットが見つからないという問題もあった。そこで、これらの課題を解決するために利用されるのが強化学習フレームワークだ。

 エージェント(ロボット)に周囲情報を与え、スムーズに動けば(良い結果なら)正の報酬を、逆に何かに衝突したら(悪い結果なら)負の報酬を与える。ある状態のときに、どんな行動を取れば正解なのかを、報酬を手がかりに学習させるわけだ。こうすればデータがない環境からも、いろいろな問題に取り組んで正解を出せるようになる。

 強化学習では、前処理したデータをディープラーニングやSVM(サポートベクターマシン)などの学習処理に入力し、さまざまなサービスに反映させる形だ。これがエージェントの行動となる。たとえば、ロボットやゲームAI、自動運転車の動きであったりする。それらの行動から、またデータが生み出され、多くのデータ収集し、学習させるという一連のループを回せるようになる。

photo
(クリックで拡大)

強化学習のモチベーションは、データ、学習、行動のループを自動で回していけるようにすることだ


【次ページ】ロボットカーの仕組みとは? どう制御しているのか

お勧め記事

ロボティクス・ドローン ジャンルのトピックス

一覧へ

ロボティクス・ドローン ジャンルのIT導入支援情報

一覧へ

関連キーワード

AI記事 ロボティクス記事

PR

注目のIT導入支援情報

一覧へ

注目のイベント・セミナー情報

一覧へ

イベント・セミナー情報の登録(無料)

記事アクセスランキング

イベント・セミナー情報アクセスランキング