東芝情報システム、精度を維持してDNNモデルを高速化する「DNN高速化サービス」を提供

● 精度を維持してディープニューラルネットワーク(DNN)モデルを高速化

● 短期間で最適なDNNモデルを提供

→ 1.5ヶ月で性能を5倍に改善した事例

　東芝情報システム株式会社（本社:神奈川県 川崎市、取締役社長:渡邉 一正、以下 東芝情報システム）は、精度を維持してDNNモデルを高速化する「DNN高速化サービス」の提供を、2022年3月1日より開始します。

　今日、DNNモデルを用いた機械学習は、画像認識、音声認識、言語処理、レコメンデーションなど、さまざまな分野で活用されています。また、エッジコンピューティングの中で、自動車や産業機器、IoT機器など、さまざまな組込みシステムへの実装が進んでいます。DNNモデルの計算量は非常に大きいため、ハードウェアスペックが非力な組込みシステムで実装する場合、対象のDNNモデルに「高速化・軽量化」といった手法を適用することが一般的ですが、推論精度が低下してしまうという課題があります。

　「DNN高速化サービス」は、お客様からDNNモデル、学習データ、精度評価指標などをお預かりして、目標の処理性能・推論精度を満たすDNNモデルを提供するエンジニアリングサービスです。本サービスのポイントは以下のとおりです。

● 精度を維持してディープニューラルネットワーク(DNN)モデルを高速化

　本サービスは、お客様からお預かりしたDNNモデルから複数の修正モデルを作成して、目標の処理性能・推論精度を満たす最適モデルを探索します。さまざまなDNNモデルの高速化を手掛けてきた東芝情報システムの知見を活かして、推論精度への影響が少なく、処理性能を向上させた、修正モデルを作成します。その後、それぞれの修正モデルについて、実際に処理性能の測定と推論精度の評価を実施することで、お客様の要望に最も適したDNNモデルを提供します。

● 短期間で最適なDNNモデルを提供

　本サービスは、お客様からお預かりしたDNNモデルの分析結果に基づいて、処理性能を向上させる見込みのある大量の修正モデルを自動生成します。修正モデルに対して性能予測や精度予測を実施して、目標達成が見込まれる修正モデルを自動で選別し、選別された修正モデルについてのみ、処理性能の測定と推論精度の詳細評価を実施します。本サービスを適応することにより、従来の「高速化・軽量化」手法と比べて、低コスト・短期間で最適なDNNモデルを提供します。

→ 1.5ヶ月で性能を5倍に改善した事例

　東芝情報システムの「CVNucleus MonocularVisionソフトウェアライブラリ」のDNNモデルに本サービスを適用しました。「CVNucleus MonocularVisionソフトウェアライブラリ」は、レンズによる画像のボケの形状と距離の相関を学習して、1台のカメラで距離を計測する技術です。本サービス適用前の処理性能は566ミリ秒（※）で、リアルタイム処理とは言い難い状態でした。本サービスを適用することにより、推論精度を維持したまま、処理性能を約5倍の113ミリ秒（※）に短縮し、リアルタイム処理を実現することができました。また、本サービスの適用にかかった期間は1.5ヶ月でした。

　本サービスは、ハードウェアスペックが非力な組込みシステムでDNNモデルを実装するお客様に活用して頂くことを想定しています。東芝情報システムは、これらのお客様に本サービスを提供することで、製品開発の期間やコストの削減に寄与し、お客様の事業発展に貢献していきます。

※:NVIDIA社製Jetson AGX Xavierを使用、Full HDの解像度で処理