• 会員限定
  • 2017/08/28 掲載

PFN 奥田遼介氏が解説、ディープラーニングだけでなく「強化学習」も活用する理由

記事をお気に入りリストに登録することができます。
ディープラーニングのOSSフレームワーク「Chainer」やその中のライブラリ「CuPy」の研究・開発などに携わり、いま日本のAIを支えるキーパーソンの一人に数えられるようになったのが、Preferred Networks(以下、PFN)チーフアーキテクトの奥田遼介氏だ。同氏は東北大学の学生時代から教育用ロボットを活用し、そのときの経験が現在の仕事でも生かされているという。奥田氏はロボットカーやアマゾンのロボット大会などの具体的な事例をもとに、機械学習や強化学習がどう活用されているのかについて解説した。

教育用ロボットキットを活用してAIを学ぶ

photo
Preferred Networks(PFN)
チーフアーキテクト
奥田 遼介 氏
 教育用ロボットキット「LEGO MINDSTORMS」を手がけるアフレル主催の「Robotics Education Day 2017」に登壇した奥田氏はまず、東北大学在学中、組み込みソフトウェア技術を競い合う「ETロボコン2012」のチャンピオンシップ大会に出場してきた当時を振り返った。

 学生時代にETロボコンで培ったノウハウを、現在の仕事でも活用しているという奥田氏。かつて開発したETロボコン用の自動パラメータ装置は、競技で使うライントレース用の倒立振子学習ロボットを釣り上げ、うまく走行できるようにパラメータをリトライで自動調節した。

画像
ETロボコン用の倒立振子学習ロボットを上手く走らせるために、ロボットの制御パラメータを自動調整させる装置を開発した

「ロボットが倒れたら、釣り上げて、倒れないで上手く走れるようになるまで延々とパラメータを調整する。そのために、プログラムのリモート書き換え機能も実装している。PCからBluetoothでパラメータをロボットに転送する専用スクリプトも書いた」(奥田氏)

 ご存じの方も多いだろうが、同氏が在籍するPFNは、NTT、ファナック、トヨタ自動車も出資するAIベンチャーの雄だ。製造業やヘルスケア、自動車などの産業分野に機械学習技術を適用し、実データを用いた共同R&Dプロジェクトをいくつも立ち上げている。

ディープラーニングだけでなく、強化学習も必要になる理由

関連記事
 ここで少しAI関連の用語を解説しておこう。

 まず機械学習は、目標とする問題設定に対して、実データ(教師データ)を使って繰り返し学習させることで賢くなるというものだ。たとえば、手書き文字データを入力して機械学習にかけると、その文字を精度よく認識できるようになる。一方の強化学習は、試行錯誤を通じ、環境に適した制御を獲得する。話題の深層学習(ディープラーニング)は、前出の機械学習手法のひとつであり、近年になって大きな進展が見られる分野だ。

「ディープラーニングによって画像認識率が向上し、現在では3.56%までエラー率が下がっている。同様のタスクを人間が行うと5.1%のエラーになる。つまり現在は、機械学習のほうが人間よりも画像認識の精度が高くなっている。ディープラーニングでは、100万枚の画像をデータセットとして使える。膨大な量のデータを学習させることで、人よりも精度が劇的に良くなった。ただし、画像データに対して、それが何であるかということを人間がタグ付けをしているため、その準備はかなり大変だ」(奥田氏)

 たとえばロボットで動くデモをつくろうとする際には、適当なデータセットが見つからないという問題もあった。そこで、これらの課題を解決するために利用されるのが強化学習フレームワークだ。

 エージェント(ロボット)に周囲情報を与え、スムーズに動けば(良い結果なら)正の報酬を、逆に何かに衝突したら(悪い結果なら)負の報酬を与える。ある状態のときに、どんな行動を取れば正解なのかを、報酬を手がかりに学習させるわけだ。こうすればデータがない環境からも、いろいろな問題に取り組んで正解を出せるようになる。

 強化学習では、前処理したデータをディープラーニングやSVM(サポートベクターマシン)などの学習処理に入力し、さまざまなサービスに反映させる形だ。これがエージェントの行動となる。たとえば、ロボットやゲームAI、自動運転車の動きであったりする。それらの行動から、またデータが生み出され、多くのデータ収集し、学習させるという一連のループを回せるようになる。

画像
強化学習のモチベーションは、データ、学習、行動のループを自動で回していけるようにすることだ

【次ページ】ロボットカーの仕組みとは? どう制御しているのか

関連タグ

あなたの投稿

関連コンテンツ

PR

処理に失敗しました

トレンドタグ

おすすめユーザー

会員登録で動画、資料に使えるホワイトペーパー、オンラインセミナー年間500本など、会員限定記事が​閲覧できる!​

投稿したコメントを
削除しますか?

あなたの投稿コメント編集

機能制限のお知らせ

現在、コメントの違反報告があったため一部機能が利用できなくなっています。

そのため、この機能はご利用いただけません。
詳しくはこちらにお問い合わせください。

通報

このコメントについて、
問題の詳細をお知らせください。

ビジネス+ITルール違反についてはこちらをご覧ください。

通報

報告が完了しました

コメントを投稿することにより自身の基本情報
本メディアサイトに公開されます

必要な会員情報が不足しています。

必要な会員情報をすべてご登録いただくまでは、以下のサービスがご利用いただけません。

  • 記事閲覧数の制限なし

  • [お気に入り]ボタンでの記事取り置き

  • タグフォロー

  • おすすめコンテンツの表示

詳細情報を入力して
会員限定機能を使いこなしましょう!

詳細はこちら 詳細情報の入力へ進む
報告が完了しました

」さんのブロックを解除しますか?

ブロックを解除するとお互いにフォローすることができるようになります。

ブロック

さんはあなたをフォローしたりあなたのコメントにいいねできなくなります。また、さんからの通知は表示されなくなります。

さんをブロックしますか?

ブロック

ブロックが完了しました

ブロック解除

ブロック解除が完了しました

機能制限のお知らせ

現在、コメントの違反報告があったため一部機能が利用できなくなっています。

そのため、この機能はご利用いただけません。
詳しくはこちらにお問い合わせください。

ユーザーをフォローすることにより自身の基本情報
お相手に公開されます