ルネサス、米シンティアントと「マルチモーダルAIソリューション」を共同開発

　ルネサス エレクトロニクス株式会社（東京、代表取締役兼 CEO:柴田 英利、以下ルネサス）と、低消費電力でインテリジェントな音声処理を実現する深層学習チップテクノロジ企業の Syntiant Corp.（米国カリフォルニア州アーバイン、CEO:Kurt Busch、以下シンティアント）は、このたび、ビジョンAIを活用したIoTおよびエッジアプリケーションを、低消費電力な音声認識を使って完全なハンズフリーで操作できる「マルチモーダルAIソリューション」を共同開発し、リファレンスデザインの提供を開始しました。

　本ソリューションは、ルネサスのビジョンAI向けマイクロプロセッサ（MPU）「RZ/Vシリーズ（ https://www.renesas.com/products/microcontrollers-microprocessors/rz-arm-based-high-end-32-64-bit-mpus/rzv-embedded-ai-mpus）」と、シンティアントの低消費電力でマルチモーダルかつマルチフィーチャーの Neural Decision Processor(TM)「NDP120(TM)（ https://www.syntiant.com/ndp120）」を組み合わせ、常時オンで待機しながら音声トリガーで高速起動し、ビジョンAIによる物体認識、顔認識などを行うことができます。例えば、任意の音声でシステムを起動/操作しつつ、操作する人のふるまいをAIで画像認識し、不審な動きがあれば操作を停止したり注意を促すなど、音声と画像の双方のAIを組み合わせたマルチモーダルシステムの開発が可能になります。これにより、セルフレジ、顔認証セキュリティカメラ、TV会議システムやロボット掃除機等スマート家電などのビジョンAIシステムを、非接触で安全な音声UIで楽に操作できるようになります。音声認識に低消費電力な専用チップを用いることによりスタンバイ電力が抑えられる上、ビジョンAIと独立したソフトウェア開発が可能なためシステムの早期開発を実現します。

　ルネサスのIoT・インフラ事業本部 SoCビジネス担当の執行役員である新田 啓人は次のように述べています。

　「使いやすさや安全性の向上を図るために、画像と音声といった複数の入力情報を利用したマルチモーダルシステムへのニーズは今後増大が見込まれます。今回、低電力なビジョンAI技術をリードするルネサスと、低電力な音声AI技術をリードするシンティアントが協業することにより、低電力で極小な音声AIの組み込み機器への活用を加速させ、この新たなソリューションをグローバルに提供していきます。」

　シンティアントのCEOであるKurt Buschは次のように述べています。

　「音声によるユーザインタフェースによって、次世代の革新的なアイデアを単なるコンセプトから現実のものとし、お客様に新しいユーザエクスペリエンスを提供するでしょう。当社は、すでに1,500万個以上のディープラーニング用NDPをグローバルに出荷しており、さまざまな民生および産業用IoTアプリケーションにおいて、Always Onの音声UIを実現しています。ルネサスとの協業により、パワフルで低消費電力の音声・画像ソリューションが実現し、さまざまなデバイスやユースケースで、グローバルなお客様に普及していくと確信しています。」