VRやARのメリットを両立させたMR技術でブレークスルーを起こす

──そもそも複合現実、MR（Mixed Reality）とは、どのようなものでしょうか？　よく聞くVRやARとは何が違うのでしょうか？

勝本氏：MRとは、VRとARを組み合わせた技術です。つまり仮想空間がベースとなるVR（Virtual Reality）と、現実空間がべースとなるAR（Augmented Reality）をミックスさせたものです。これまでVRとARには、それぞれ得手不得手がありました。


　VRでは、コンピューター内の仮想空間ですべてを処理するため、物理的・空間的な制約を受けずに情報を扱えますが、現実空間と遮断されるため、外界の情報は扱いにくいという面がありました。一方、ARについては、現実世界に情報を重ね、常に外界を確認できるのですが、現状では機器のスペックに制約があるため、付加情報が限定されていたのです。


──両者をミックスすることで、双方の不得手を補えるということですか？

勝本氏：おおざっぱに言ってしまえば、その通りです。我々は、双方のメリットを活かすために、まず仮想空間をつくり、その上にステレオカメラでリアルタイムに撮影した現実空間を重ね合わせ、そこに付加情報をつけるという3層構造にしました。

　外界の情報を扱えるだけでなく、さらに仮想的につくられているデータとして、顔や歯の画像を拡大・縮小しながら作業することもできます。これ以外にも手の動きをキャプチャする機能などもあります。体験を伴ったシミュレーションができる点が大きな差別化のポイントです。

ドイツの展示会でデモ実施、オンリーワンで競合もなく大好評

──歯科医療機器の業界ではリーディングカンパニーであられるモリタですが、今回の「歯科治療シミュレーションシンステム」の開発は、どういうきっかけで始まったのですか？

関岡氏：モリタは昨年、創業100周年を迎えました。そこで次の100年を見据えて「WK2 Project」を発足させ、今後テクノロジーが発達することでより身近になっていくであろう歯科治療シミュレーションシステムを開発することにしたのです。ちなみに、プロジェクト名の「WK2」は日本語の「わくわく」を意味しています（笑）。

　本システムは、今年3月にドイツのケルンで開催された国際イベント「37th International Dental Show」に出展しました。2年に1度開かれる歯科関係では世界最大のイベントで、世界から約15万人もの関係者が集まり、出展社数も2000を超える規模のイベントですが、我々のようにMRを使ったシステムは他社にはありませんでした。オンリーワンで競合もなかったため、来場者の反応も非常に良く、足を止めてデモを最後までご覧になる方ばかりでしたね。


──実際に、どのようなことができるのでしょうか？

関岡氏：歯科医療は、レントゲン写真から、CTでスキャンしたり、3D模型をCAD/CAMで製作するなど、徐々にデジタル化が進んできました。その意味では、すでにデジタル化されたデータを現場で活用しているわけです。しかし、患者さんに説明したり、治療する際には、可視化されたデータを間接的に参考にすることしかできませんでした。

　つまり歯科医師は、これらのデータを頭に入れ、「経験と勘」で治療を行っていたのです。せっかく用意した3次元データを活かし切れなかったわけですね。また外科分野では、患者の腹部にプロジェクション・マッピングでデータを重ねて手術を行うこともありますが、これは2次元データであり、実際に内臓のデータを見られません。まだ3次元データを組み合わせることも実現できていないのです。


──プロジェクション・マッピングでミリ単位の精度が要求される手術は難しそうですね。

関岡氏：その通りです。それでは患者さんも、安心して任せられませんよね。そこで我々は、まず歯科のデータを可視化して、直接的にデータをレイヤリングし、それらを現実空間に3次元的に重ねて、専用デバイスで見られるようにしようと考えたわけです。

実際に「37th International Dental Show」で実演されたデモの様子

空間に情報を表示・集約化させる歯科治療シミュレーションシステム

──なるほど、それが今回の歯科治療シミュレーションシステムなのですね。それでは具体的な仕組みについて教えてください。

勝本氏：今回はデータを合成するために、我々のほうで「MR Dental Support System」を開発しました。これはVRヘッドセット「Oculus Rift」や、市販カメラなどを組み合わせて独自につくったものです。このデバイスだけでなく、いろいろな装置の組み合せでシステムを構成しています。

　本システムは、まず外界を認識するところから始まります。術者の目になるステレオカメラで外界を見て、モーショントラックで手の動きを認識します。さらに手術道具や患者の歯など、さまざまなオブジェクトの拡張情報が空間に配置され、自分自身がどこを向いているのか、位置情報も外界に差し込みます。

　そのほかカルテ情報や器具のCG情報を重ね合わせることで、MRの3層構造が出来上がります。ただし、それでは操作できないため、声やジェスチャーによって制御して、3次元空間での操作を実現しています。


──センサーやカメラを部屋に複数台設置しておいて、位置情報を取るということですか？

勝本氏：そうです。理論的には3点測量なので、3台のカメラがあれば実現できますが、精度を上げるために、いま8台のカメラを使っています。これらの機器による3次元空間座標や、術者視点の2次元座標、CTなどのCGデータといった、さまざまなセンサーから得られた空間情報を、ひとつのMR空間に統合し、合成処理を行うわけです。


【次ページ】 具体的に何が実現できるのか？歯科医療の「経験と勘」をなくせるか？