本ソリューションは、ルネサスのビジョンAI向けマイクロプロセッサ（MPU）「RZ/Vシリーズ」と、シンティアントの低消費電力でマルチモーダルかつマルチフィーチャーのNeural Decision Processor 「NDP120」を組み合わせ、常時オンで待機しながら音声トリガーで高速起動し、ビジョンAIによる物体認識、顔認識などを行うことができる。例えば、任意の音声でシステムを起動／操作しつつ、操作する人のふるまいをAIで画像認識し、不審な動きがあれば操作を停止したり注意を促すなど、音声と画像の双方のAIを組み合わせたマルチモーダルシステムの開発が可能になる。これにより、セルフレジ、顔認証セキュリティカメラ、TV会議システムやロボット掃除機等スマート家電などのビジョンAIシステムを、非接触で安全な音声UIで楽に操作できるようになる。音声認識に低消費電力な専用チップを用いることによりスタンバイ電力が抑えられる上、ビジョンAIと独立したソフトウェア開発が可能なためシステムの早期開発を実現する。
ルネサスのビジョンAI向けRZ/Vシリーズは、ルネサス独自のAIアクセラレータDRP（Dynamically Reconfigurable Processor）-AIを内蔵し、高精度なAI推論と業界トップクラスの低消費電力を両立している。高い電力性能により、ヒートシンクや冷却ファンなどの放熱対策も不要となるためBOM（部品表）コストの削減にも貢献し、幅広い組み込みアプリケーションにビジョンAI活用の幅を広げる。
シンティアントのNDP120チップは、高度なAI機能を内蔵しており、話者の識別、キーワード検出、複数のウェイクワード、ローカルコマンドの認識など、多くの高精度なハンズフリーの音声機能を実現する。ニューラルネットワーク推論エンジンSyntiant Core 2を搭載しており、複数のアプリケーションを同時に動作させることができる一方で、バッテリ消費を1mWに抑えることができる。
このビジョンAIとボイスAIを組み合わせてハンズフリーを実現する「マルチモーダルAIソリューション」は、ルネサスの「ウイニングコンビネーション」の一環として、ルネサスの幅広いポートフォリオの中から相互に互換性のあるデバイスを組み合わせることにより、市場投入までの時間を短縮し、リスクを低減する。今回ルネサスは、リファレンスデザインとして回路図や部品表などを提供する。
ルネサス：シンティアントと共同、ビジョンAIとボイスAIを組み合わせてハンズフリーを実現する「マルチモーダルAIソリューション」を共同開発
ルネサス エレクトロニクスとSyntiant Corp.（シンティアント）は、ビジョンAIを活用したIoTおよびエッジアプリケーションを、低消費電力な音声認識を使って完全なハンズフリーで操作できる「マルチモーダルAIソリューション」を共同開発し、リファレンスデザインの提供を開始した。
著者プロフィール
