目次
開発の概要
近年、LiDARは自動運転としての用途に加え、カメラと併用して「空間のデジタルツイン」を構築しているが、カメラとLiDARの取得データの活用において、両データの空間的・時間的なずれによる認識精度の劣化が大きな課題となっている。東芝は、LiDARのみで得られる2次元データと3次元データを高精度に融合する「2D・3DフュージョンAI」を開発し、カメラを用いず物体を世界最高精度の98.9%で認識し、99.9%で追跡することに成功した。これにより、「空間のデジタルツイン」の構築において、従来必要だった大量のカメラの設置が不要になることも見込まれている。
東芝はさらに、「雨・霧除去アルゴリズム」を開発し、猛烈な雨・濃霧環境下での検知距離を2倍以上改善、80mm/hの猛烈な雨環境で40mの距離計測ができることを確認した。また、「計測範囲可変技術」により、従来技術に比べ計測距離を350mまで伸長しつつ、約6倍の画角で120mの計測距離が実現された。
本技術の特長
2D・3DフュージョンAI
物体の認識・追跡を実現するには、カメラとLiDARによるデータを用いて学習したAIモデルが使用されているが、AIモデルを適用するために、カメラとLiDARの画角とフレームレートを合わせ込み、空間的にも時間的にも精密に同期させる必要がある(図3上)。カメラとLiDARは物理的に設置場所にずれが生じるためずれを補正するのが一般的だが、補正誤差が生じたり、そもそも、振動など何等かの要因で画角やフレームレートが相対的にずれたりすることがあり、認識精度が大きく劣化してしまうことが課題となっている。
今回、東芝はLiDARのみで、2次元データ（輝度）と3次元データを取得できることに着目し、LiDARで得た2次元データと3次元データを融合（フュージョン）してAIを適用・学習することで物体を認識・追跡できる「2D・3DフュージョンAI」を開発した (図3下)。2次元データと3次元データは、LiDARの同一の画素から同一のタイミングで読み込まれたデータのため、合わせ込みが不要で認識精度が劣化する懸念がない。本AI技術により、カメラを用いず、照明のない夜間でも、車両や人といった物体を世界最高精度の98.9%で認識し、99.9%で追跡することに成功した(図4)。
(上：LiDARによる2次元データ 下：3次元データ)
雨・霧除去アルゴリズム
「雨・霧除去アルゴリズム」は、LiDARの計測精度を劣化させる雨や霧による影響を最大限緩和する。LiDARは赤外レーザーを用いるが、赤外光は水分に当たると吸収・散乱される性質があり、雨・霧・雪といった視界不良な屋外環境では計測精度が低下し、検知可能距離が短くなってしまう課題があった。LiDARメーカー各社は雨粒を含む物体からの複数の反射光の中から、計測対象物からの反射光のみを選択するマルチエコー機能を搭載しているが、雨や霧に埋もれてしまった計測対象物からの脆弱な反射光を抽出できず、計測精度の向上に向け、さらなる研究開発が求められていた。
東芝は、アナログデータをデジタルデータに変換するADコンバータによって、反射光強度のデジタル値を基に、水などの散乱粒子による反射光の特徴量から、雨・霧なのか、計測対象なのかを判別し、雨・霧と判断したらその波形ごと取り除くことで、雨・霧に埋もれてしまった脆弱な反射光を含めて計測対象物からの反射光を抽出するアルゴリズムを開発した(図5)。
本アルゴリズムを適用したLiDARを用いて、実環境を模擬した実験設備で検知可能距離を計測したところ、80mm/hの猛烈な雨環境においては20mから40m、視程40mの霧環境においては17mから35mと、従来の2倍以上に向上することを確認した(図6)。
計測範囲可変技術
「計測範囲可変技術」は、設置場所に応じて、LiDARの距離と画角によって決まる計測範囲を自在に変更することを可能にする。東芝は昨年、71cm3まで小型化した投光器を2台用いることで、アイセーフ※4の基準を満たしつつ、計測距離を1.5倍にし、広角性能の向上を実現するLiDAR技術を発表しましたが、今般、この投光器の台数と受光レンズの構成を変更することで、計測距離のさらなる伸長および6倍の広画角化に成功した。東芝は、画角60度（水平H）×34度（垂直V）において世界トップクラスである120mの計測距離（図7）と画角24度（水平H）×12度（垂直V）において世界最長計測距離※5である350m(図8)を達成した。本技術により、長距離計測が求められる道路や線路などのインフラ監視に加えて、広角性能が求められる工場や倉庫内のAGV※6自動運転など、空間のデジタルツインでの適用を拡大することができる。
開発された技術の適用分野と長距離モード実証結果
【注釈】
※1 LiDAR（Light Detection and Ranging）：
レーザーの照射により、離れた物体までの距離情報を3D画像として得る技術。
※2 LiDARから50m～115mの距離を走る任意の車と80m～110mの距離を歩く任意の歩行者に対して実証した結果。
※3 2023年9月 東芝調べ。
※4 目に障害を与えないレーザー光強度を保つこと。国際電気標準会議などでレーザーの安全基準が決められている。レーザーの安全基準は、レーザー機器の出力、レーザー光線の波長などによる安全レベルに応じて7段階のクラス分けがなされており、例えば安全レベルが一番高いクラス1は「どのような光学系（レンズや望遠鏡）で集光しても、目に対して安全なレベル」で定義されており、別名「アイセーフ」と呼ばれる。
※5 2023年8月25日 当社調べ。画角24°×12°での計測装置の体積、画質（解像度）、計測距離を計測した値。
※6 Automatic Guided Vehicleの略。人が行っていた搬送作業を代わりに自動で行うロボットのこと。