センサ融合
センサ融合とは、性質の異なる複数のセンサから得た情報を統合し、単一のセンサでは得られない精度・信頼性・頑健性をもつ推定結果を導き出す技術である。英語ではSensor FusionあるいはMulti-sensor Data Fusionと呼ばれる。カメラ、レーダー、LiDAR、慣性計測装置（IMU）、GPSなどの組み合わせが代表例で、自動運転、航空宇宙、ロボット、スマートフォン、産業用IoTまで幅広い分野で使われている。各センサの弱点を別のセンサが補い合う点に本質がある。
起源と発展の経緯
源流は軍事と宇宙開発にある。1960年、ルドルフ・カルマンが状態推定の論文を発表し、のちにカルマンフィルタと呼ばれる手法が誕生した。この手法はアポロ計画の航法コンピュータに採用され、慣性航法の誤差を外部観測で補正する仕組みとして実証された。1980年代半ばには米国国防総省の研究所合同委員会（JDL）がデータ融合の処理モデルを整理し、「JDLモデル」として体系化している。民生分野へ本格的に広がったのは2000年代後半で、スマートフォンへのMEMSセンサ搭載がきっかけとなった。
融合のレベルによる分類
どの段階で情報を統合するかによって、センサ融合は大きく3つに分けられる。生の計測値を直接まとめる方式ほど情報の損失は少ないが、通信量と計算負荷は重くなる。
| 分類 | 統合する対象 | 長所 | 短所 |
|---|---|---|---|
| 低レベル融合（データレベル） | 点群・画素などの生データ | 情報損失が最小 | 帯域・演算量が大きい |
| 中レベル融合（特徴レベル） | エッジ、物体候補などの特徴量 | 精度と負荷のバランスがよい | 特徴設計に依存する |
| 高レベル融合（決定レベル） | 各センサの認識結果 | 実装が容易で故障を切り分けやすい | 個々の誤判定を引き継ぎやすい |
近年は機械学習の進展により、カメラ画像とLiDAR点群をニューラルネットワーク内部で結合する手法が増えた。鳥瞰図（BEV）空間に変換してから統合する方式は、2022年前後から自動車業界で急速に採用例を伸ばしている。
カルマンフィルタによる推定の考え方
融合アルゴリズムの基礎は確率的な状態推定にあり、ベイズ推定の枠組みで「予測」と「更新」を繰り返す。運動モデルで次の状態を予測し、センサの観測値とのずれを、それぞれの誤差の大きさに応じて按分して修正する。更新式は次のとおりである。
x̂k = x̂k− + Kk（zk − H x̂k−）
Kk = Pk−HT（H Pk−HT + R）−1
ここでx̂kは推定状態、zkは観測値、Pは推定誤差の共分散、Rは観測ノイズの共分散を表す。カルマンゲインKkは、観測ノイズRが大きいほど小さくなる。つまり信用できないセンサほど結果への影響が薄められる。直感的にいえば、自信のある情報ほど重く扱う加重平均といえる。
拡張カルマンフィルタと粒子フィルタ
標準形は線形かつガウス分布の系を前提とするため、車両の旋回のような非線形運動には拡張カルマンフィルタ（EKF）や無香料カルマンフィルタ（UKF）が使われる。分布が多峰性をもつ場合は、数百から数千の粒子で確率分布を近似する粒子フィルタが選ばれる。ただし粒子数に比例して計算量が増えるので、組込み機器では採用が難しいこともある。
自動運転システムでの組み合わせ
自動車はこの技術が最も厳しい条件で試される領域である。センサごとに得意な環境がはっきり分かれている。
- カメラ：色や標識の文字を識別できるが、逆光・夜間・濃霧に弱い。フレームレートは30fps前後が一般的。
- ミリ波レーダー：76〜81GHz帯を用い、雨や霧の中でも距離と相対速度を測れる。反面、角度分解能は低い。
- LiDAR：905nmや1550nmのレーザーで高精度な3次元点群を得る。降雪時には反射ノイズが増える。
- 超音波センサ：数m以内の近距離検知に使い、駐車支援で欠かせない。
- GNSS・IMU：自車位置と姿勢を推定し、トンネル内ではIMUが測位を引き継ぐ。
LiDARはかつて1台7万ドルを超える高価な装置で、量産車への搭載は現実的ではなかった。現在は1,000ドルを下回る車載品も登場しており、カメラ主体の構成とLiDARを含む構成のどちらを選ぶかは、メーカーの設計思想と原価目標によって判断が分かれている。
身近な例としてのスマートフォン
ポケットの中にも同じ技術がある。スマートフォンは加速度センサ、ジャイロセンサ、地磁気センサの3軸ずつ、計9軸の情報を統合して端末の姿勢を求めている。ジャイロは短時間なら正確だが積分誤差でドリフトし、地磁気は長期的に安定する代わりに鉄骨やスピーカーの影響を受ける。両者を補完フィルタで混ぜ合わせれば、画面回転やAR表示で使える滑らかな姿勢値が得られる。歩行者ナビゲーションでは、更新周期1Hz程度のGNSSを100Hz以上のIMUで補間し、ビルの谷間で位置が飛ぶ現象を抑えている。
導入現場で問題になりやすい点
アルゴリズムよりも、計測系の地道な整備に工数を取られるケースが多い。まず厄介なのがキャリブレーションで、カメラとLiDARの取り付け位置が1度ずれるだけで、50m先では約87cmの位置誤差になる。生産ラインの設備監視や物流倉庫の無人搬送車（AGV）に導入するB2B案件では、センサの単価よりも、出荷後の再校正作業や振動による取付けずれへの対応費用が総コストを押し上げやすい。見積段階で保守費まで含めて比較することが求められる。
時刻同期の誤差
複数センサのタイムスタンプがそろっていなければ、融合はかえって精度を落とす。時速100kmの車両は10ミリ秒で約28cm進むため、同期のずれがそのまま位置誤差になる。そこで車載Ethernetや工場ネットワークでは、IEEE 1588として規格化されたPTP（Precision Time Protocol）でマイクロ秒以下の同期をとる構成が広がった。安価なUSB接続のセンサを寄せ集めた試作機では、この同期処理が抜け落ちて精度が出ない例が少なくない。
安全規格との関係
車載用途では、電子制御の故障に起因する危険を扱う機能安全規格ISO 26262（2018年に第2版）への適合が前提となる。故障がなくても性能限界で誤認識が起こる問題については、2022年発行のISO 21448（SOTIF）が扱う。融合処理はどちらか片方のセンサが劣化した状態でも安全側に動作するよう設計し、その根拠を文書化しなければならない。人工知能を用いた認識部をこうした規格のもとでどう検証するかは、業界全体でまだ議論が続いている。
コメント（β版）