阪大とJST、脳で想像したものと「同じ意味」の画像を表示する技術を開発

【研究成果のポイント】

◆ヒトが画像（例:風景・文字）を想像することで、同じ意味の画像を画面に表示する技術を開発した

◆ヒトが画像を見ながら別の画像を想像した場合の脳活動を明らかにし、想像した画像の意味内容を推定できることを示した

◆ヒトの想像を映像として伝達する新しいコミュニケーションツールの実現可能性を初めて示した

■概要

　大阪大学大学院医学系研究科の福間良平特任助教（常勤）、大阪大学高等共創研究院 柳澤琢史教授らの研究グループは、被験者が見た画像の意味（例:風景・文字）を頭蓋内脳波（※1）から推定する脳情報解読（※2）技術を開発しました。また、この技術を用いることで、被験者が想像した意味の画像を画面に表示できることを世界で初めて示しました（図1）。

　画像を見ている際の脳活動は、見ている画像の色や形、意味だけでなく、見ている人の注意や想像によって影響を受けることが知られています。先行研究では、脳活動をAIで解読することで、ヒトが見た画像を推定できることが示されています。また、目を閉じた状態で想像した画像を脳信号から推定できることも報告されています。しかし、ヒトが画面を見ながら異なる画像を想像することで、想像した意味の画像を画面に表示できるかは明らかでありませんでした。

　今回、柳澤教授らの研究グループは、頭蓋内脳波から被験者が見た画像の意味内容を推定する脳情報解読器を作成しました。この脳情報解読器を用いて推定された意味内容の画像を画面に提示したところ、被験者が特定の意味の画像を想像することで、被験者が画面を見ながらでも想像している意味の画像を画面に表示できることを明らかにしました。さらに、ヒトが画像を見ながら別の意味の画像を想像する際の脳活動の特徴を明らかにしました。これらの成果により、ヒトの想像を映像として伝達する新しいコミュニケーションツールの実現可能性が初めて示されました。

　本研究成果は、英国科学誌「Communications Biology」に、3月18日（金）（日本時間）に公開されます。

※1 頭蓋内脳波

　脳の表面もしくは深部に留置した電極（頭蓋内電極）で計測した脳波。本研究では難治性てんかんの患者さんらに協力していただいて計測を行った。高い時間分解能（本研究では1秒間に10,000回の計測）を持ち、脳表の広い範囲から計測されるという特徴がある。

※2 脳情報解読

　脳信号に機械学習を適用することで、被験者の認知内容や意図を推定する技術。