富士通研究所が開発したのは、実世界の物に対する手指の位置やタッチなどの操作を汎用のカメラを用いて高精度・高速に検出する技術群。汎用のプロジェクターと組み合わせることで、たとえばテーブルの上の書類を指でなぞって電子データとして取り込んだり、触った物にプロジェクターで情報を表示したりすることが可能になる。

　実物へのタッチ操作などを非接触で検出できれば、特殊なセンサーを物に埋め込む必要はなくなる。しかし、現在実用化されているジェスチャー操作は、空間での操作が前提となっており、背景となる物と手が近づいた状態では、手と背景が混在して検出されるという問題があり、タッチ操作の検出には不向きだった。

　また、赤外線などの特殊デバイスを用いて、距離を計測する技術がユーザーインターフェースに活用され始めているものの、手指の操作を細かく検出できるほどの分解能はなく、装置も大型でコストも高いという課題があった。

　今回、新たに開発した技術は大きく3つ。

　1つめは、実空間とICT空間の座標認識・変換技術。実世界（テーブル）の凹凸形状をカメラで自動計測し、カメラ座標系、プロジェクター座標系、実世界座標系を自動調整する。これにより、指の動きや物へのタッチとプロジェクション表示を正確に合わせることを可能になった。


　富士通研究所では、今回開発したアプリケーション、システムを実際の使用環境に適用する評価を進め、2014年度中の実用化を目指すという。
　2つめは、手指認識の安定化技術。これは、手指の色と輪郭の特徴を抽出して手指の形状を認識するというもの。また、周囲の環境光に応じたカメラ画像の色や明るさの制御、手指の色の個人差を補正する技術により、設置環境や個人差の影響の少ない安定した手指の抽出を実現しました。


　3つめは、指先の高精度・高速な認識技術。汎用のWebカメラなどで得られる低解像度の画像でも、指先の画像を補間することでタッチ検出に必要な精度を実現した。また、指の自然な動きにも追従するように、毎秒300ミリメートルの指先追跡速度を実現した。