JP7140291B2 - 同期装置、同期方法、同期プログラム - Google Patents

Description

関連出願の相互参照

この出願は、２０１９年１０月８日に日本に出願された特許出願第２０１９－１８５３８８号を基礎としており、基礎の出願の内容を、全体的に、参照により援用している。

本開示は、同期処理技術に関する。

近年の車両には、電磁波の照射により得られる反射波に応じた反射波画像を取得するレーダセンサと、外界から感知する外光に応じた外光画像を取得する外界カメラとが、共に搭載されている。こうした車両においてレーダセンサと外界カメラとを同期させるため、各々の取得画像に時刻情報を付加する技術が、特許文献１に開示されている。

特許第３９２０７６９号公報

しかし、特許文献１の開示技術では、レーダセンサ及び外界カメラと、同期処理を遂行する処理回路との間の経路にて、画像信号の遅延が生じる。その結果、処理回路が画像信号を受けて付加した時刻情報は、レーダセンサ及び外界カメラのそれぞれが実際に画像を取得した正規時刻からの誤差を、含んでしまうおそれがあった。

本開示の課題は、レーダセンサと外界カメラとを高精度に同期させる同期装置を、提供することにある。本開示の別の課題は、レーダセンサと外界カメラとを高精度に同期させる同期方法を、提供することにある。本開示のさらに別の課題は、レーダセンサと外界カメラとを高精度に同期させる同期プログラムを、提供することにある。

以下、課題を解決するための本開示の技術的手段について、説明する。

本開示の第一態様は、
電磁波を照射することにより得られる反射波に応じた反射波画像を取得するレーダセンサと、外界から感知する外光に応じた外光画像を取得する外界カメラと、を搭載した車両において、レーダセンサ及び外界カメラに対する同期処理を遂行する同期装置であって、
レーダセンサ及び外界カメラ間の同期ずれ時間を予測する同期予測部と、
外界カメラのシャッタフレーム間における反射波画像の時間変化量を算出する変化量算出部と、
同期予測部により予測される同期ずれ時間がシャッタフレームの開始タイミングからずれた同期タイミングでの反射波画像を、変化量算出部により算出される時間変化量に基づき推定する画像推定部と、
画像推定部により推定される同期タイミングでの反射波画像と、外光画像とを対比することにより、それら画像の差分を抽出する差分抽出部と、
同期予測部による同期ずれ時間の予測まで同期処理を差し戻すか否かを、差分抽出部により算定される差分に基づき判定する処理判定部と、を備える。

本開示の第二態様は、
電磁波を照射することにより得られる反射波に応じた反射波画像を取得するレーダセンサと、外界から感知する外光に応じた外光画像を取得する外界カメラと、を搭載した車両において、レーダセンサ及び外界カメラに対する同期処理を遂行する同期方法であって、
レーダセンサ及び外界カメラ間の同期ずれ時間を予測する予測プロセスと、
外界カメラのシャッタフレーム間における反射波画像の時間変化量を算出する算出プロセスと、
予測プロセスにより予測される同期ずれ時間がシャッタフレームの開始タイミングからずれた同期タイミングでの反射波画像を、算出プロセスにより算出される時間変化量に基づき推定する推定プロセスと、
推定プロセスにより推定される同期タイミングでの反射波画像と、外光画像とを対比することにより、それら画像の差分を抽出する抽出プロセスと、
予測プロセスによる同期ずれ時間の予測まで同期処理を差し戻すか否かを、抽出プロセスにより抽出される差分に基づき判定する判定プロセスと、を含む。

本開示の第三態様は、
電磁波を照射することにより得られる反射波に応じた反射波画像を取得するレーダセンサと、外界から感知する外光に応じた外光画像を取得する外界カメラと、を搭載した車両において、レーダセンサ及び外界カメラに対する同期処理を遂行するために記憶媒体に格納され、プロセッサに実行させる命令を含む同期プログラムであって、
命令は、
レーダセンサ及び外界カメラ間の同期ずれ時間を予測させる予測プロセスと、
外界カメラのシャッタフレーム間における反射波画像の時間変化量を算出させる算出プロセスと、
予測プロセスにより予測される同期ずれ時間がシャッタフレームの開始タイミングからずれた同期タイミングでの反射波画像を、算出プロセスにより算出される時間変化量に基づき推定させる推定プロセスと、
推定プロセスにより推定される同期タイミングでの反射波画像と、外光画像とを対比させることにより、それら画像の差分を抽出させる抽出プロセスと、
予測プロセスによる同期ずれ時間の予測まで同期処理を差し戻すか否かを、抽出プロセスにより抽出される差分に基づき判定させる判定プロセスと、を含む。

これら第一～第三態様の同期処理によると、外界カメラにおけるシャッタフレームの開始タイミングからレーダセンサ及び外界カメラ間の同期ずれ時間がずれた同期タイミングでの反射波画像は、同フレーム間における反射波画像の時間変化量に基づき推定される。この同期タイミングでの反射波画像が外光画像と対比されることにより抽出される差分は、同期ずれ時間の予測が正確なほど、小さくなる。そこで、同期ずれ時間の予測まで同期処理を差し戻すか否かが、反射波画像と外光画像との差分に基づき判定されることによれば、同期ずれ時間が正確に予測されるまで同期処理が繰り返され得る。故に、レーダセンサと外界カメラとを高精度に同期させることが可能である。

第一実施形態による同期装置の全体構成を示すブロック図である。 第一実施形態による同期装置の詳細構成を示すブロック図である。 第一実施形態による外界カメラ（ａ）及びレーダセンサ（ｂ）を説明するための模式図である。 第一実施形態による外界画像（ａ）及び反射波画像（ｂ）を説明するための模式図である。 第一実施形態による運動補償ブロックを説明するための模式図である。 第一実施形態による運動補償ブロックを説明するための模式図である。 第一実施形態による変化量算出ブロック及び画像推定ブロックを説明するための模式図である。 第一実施形態による差分抽出ブロックを説明するための模式図である。 第一実施形態による差分抽出ブロックを説明するための模式図である。 第一実施形態による同期方法を示すフローチャートである。 第二実施形態による同期装置の詳細構成を示すブロック図である。 第二実施形態による同期方法を示すフローチャートである。

以下、複数の実施形態を図面に基づき説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことで、重複する説明を省略する場合がある。また、各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。さらに、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。

（第一実施形態）
図１に示すように第一実施形態による同期装置１は、車両３に搭載される。車両３は、自己位置推定といった運動推定の結果に基づき走行する、例えば高度運転支援車又は自動運転車等である。尚、以下の説明では、水平面上における車両３の水平方向のうち横方向及び前後方向をそれぞれ単に、横方向及び前後方向という。また、以下の説明では、水平面上における車両３の鉛直方向を単に、鉛直方向という。

車両３には、同期装置１と共に、センサ系２が搭載される。図１，２に示すようにセンサ系２は、慣性センサ２０とレーダセンサ２２と外界カメラ２４とを少なくとも含んで、構成される。

慣性センサ２０は、例えば車両３の運動推定等に活用可能な慣性情報Ｉｂを取得する、所謂ＩＭＵ（Inertial Measurement Unit）である。慣性センサ２０は、車両３の前後方向と横方向と鉛直方向との三軸まわりにおける、例えば角度、角速度及び角加速度等のうち少なくとも一種類を、慣性情報Ｉｂとして取得する。そこで慣性センサ２０は、例えばジャイロ及び加速度センサ等のうち少なくとも一種類を含んで、構成される。

第一実施形態のレーダセンサ２２は、例えば車両３の運動推定等に活用可能な反射波画像Ｉｒを取得する、所謂ＬＩＤＡＲ（Light Detection and Ranging / Laser Imaging Detection and Ranging）である。レーダセンサ２２は、車両３の外界へ電磁波を照射することで得られる反射波に応じた反射波画像Ｉｒを、取得する。図２に示すようにレーダセンサ２２は、レーザ素子２２０、撮像素子２２１及び撮像回路２２２を有している。

撮像回路２２２は、レーザ素子２２０から車両３の外界へ向かう電磁波としての赤外線レーザ光（以下、単にレーザ光という）を、横方向でのビームステアリング角の変化に応じて断続的となるパルスビーム状に、照射制御する。このレーザ光照射に伴って撮像回路２２２は、撮像素子２２１の構成画素において横方向に単列又は複数列の縦画素列を、横方向に駆動されるビームステアリング角に対応した走査ライン毎に順次露光並びに順次走査する、ローリングシャッタを実現する。撮像回路２２２は、撮像素子２２１の露光された画素毎に反射波として感知される反射光の、レーザ光照射時点からの到達時間に応じた当該反射光の反射点までの距離値を、それら画素毎に対応したビームステアリング角と関連付けてデータ化することで、反射波画像Ｉｒを取得する。

ここで、撮像素子２２１の露光された画素毎に感知される反射波としての反射光の強度に応じた輝度値が、それら画素毎に対応したビームステアリング角と関連付けて撮像回路２２２によりデータ化されることで、反射波画像Ｉｒに含まれていてもよい。また撮像素子２２１には、断続的なレーザ光照射のインターバル中に車両３の外界から感知する外光に応じて、撮像する機能が備えられていてもよい。この場合、撮像素子２２１の露光された画素毎に感知される外光の強度に応じた輝度値が、それら画素毎に対応したビームステアリング角と関連付けて撮像回路２４２によりデータ化されることで、反射波画像Ｉｒに含まれていてもよい。

外界カメラ２４は、例えば車両３の運動推定等に活用可能な外光画像Ｉｏを取得する、所謂車載カメラである。外界カメラ２４は、車両３の外界から感知する外光に応じた外光画像Ｉｏを、取得する。外界カメラ２４は、撮像素子２４１及び撮像回路２４２を有している。

撮像回路２４２は、撮像素子２４１の構成画素において横方向に複数列の縦画素列を、それぞれ対応する走査ラインで一括露光並びに一括走査する、グローバルシャッタを実現する。撮像回路２４２は、撮像素子２４１の露光された画素毎に感知される外光の強度に応じた輝度値を、それら画素毎に対応した画素角と関連付けてデータ化することで、外光画像Ｉｏを取得する。

外界カメラ２４において全ての走査ラインが走査されるグローバルシャッタフレームＦｏには、レーダセンサ２２において全ての走査ラインが走査されるローリングシャッタフレームＦｒに対して、短いフレーム期間と、近接した開始タイミングとが、設定されている。そこで、図３に示すようにフレームＦｏ，Ｆｒの開始タイミングが正確に同期されている場合に、外光画像Ｉｏと比べて反射波画像Ｉｒは、図４に示すように見かけ上、車両３の走行側とは逆側に圧縮且つ当該圧縮分だけ余分に外界を観測して、取得されることになる。尚、図４は、各画像Ｉｒ，Ｉｏそのものではなく、各画像Ｉｒ，Ｉｏに映る外界範囲を模式的に示している。

図１に示すように第一実施形態の同期装置１は、例えばＬＡＮ（Local Area Network）、ワイヤハーネス及び内部バス等のうち少なくとも一種類を介して、センサ系２の各構成要素２０，２２，２４に接続されている。同期装置１は、少なくとも一つの専用コンピュータを含んで構成される。同期装置１を構成する専用コンピュータは、車両３の自己位置を推定するロケータのＥＣＵ（Electronic Control Unit）であってもよい。同期装置１を構成する専用コンピュータは、車両３の高度運転支援又は自動運転を制御するＥＣＵであってもよい。同期装置１を構成する専用コンピュータは、車両３と外界との間の通信を制御するＥＣＵであってもよい。

同期装置１は、こうした専用コンピュータを含んで構成されることで、メモリ１０及びプロセッサ１２を、少なくとも一つずつ有している。メモリ１０は、コンピュータにより読み取り可能なプログラム及びデータを非一時的に記憶する、例えば半導体メモリ、磁気媒体及び光学媒体等のうち少なくとも一種類の非遷移的実体的記憶媒体（non-transitory tangible storage medium）である。プロセッサ１２は、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）及びＲＩＳＣ（Reduced Instruction Set Computer）－ＣＰＵ等のうち少なくとも一種類を、コアとして含む。プロセッサ１２は、メモリ１０に記憶された同期プログラムに含まれる複数の命令を、実行する。これにより同期装置１は、レーダセンサ２２と外界カメラ２４とに対する同期処理を遂行するための複数の機能ブロックを、図２に示すように構築する。尚、以下の説明では、レーダセンサ２２及び外界カメラ２４に対する同期処理を単に、同期処理という。

同期装置１により構築される複数の機能ブロックには、誤差補正ブロック１００、運動補償ブロック１１０、変化量算出ブロック１２０、画像推定ブロック１３０、差分抽出ブロック１４０、処理判定ブロック１６０及び同期予測ブロック１８０が含まれる。

誤差補正ブロック１００には、時刻ｋにて慣性センサ２０により取得された最新の慣性情報Ｉｂが、入力される。それと共に誤差補正ブロック１００には、各種の航法演算のうち少なくとも一種類により時刻ｋに関して推定された最新のバイアス誤差Ｂが、入力される。ここで時刻ｋは、グローバルシャッタフレームＦｏの開始タイミング（図３参照）を表している。

こうした入力を受けて誤差補正ブロック１００は、最新の慣性情報Ｉｂに対して、最新のバイアス誤差Ｂを補正する。この補正は、慣性情報Ｉｂからバイアス誤差Ｂを減算することで、実現される。

図２に示す運動補償ブロック１１０には、誤差補正ブロック１００によりバイアス誤差Ｂの補正された時刻kでの慣性情報Ｉｂが、入力される。それと共に運動補償ブロック１１０には、時刻ｋを開始タイミングとするグローバルシャッタフレームＦｏ内にレーダセンサ２２により取得された最新の反射波画像Ｉｒが、入力される。図５に示すように最新の反射波画像Ｉｒは、走査ライン毎の各画素に関して、距離値Ｌｒ［ｋ，ｉ，ｊ］と、ビームステアリング角θｒ［ｋ，ｉ，ｊ］及びψｒ［ｋ，ｉ，ｊ］とを、最新データ値として含む。

ここで［ｋ，ｉ，ｊ］は、時刻ｋと、走査ライン毎の並び順且つ走査順を表す走査番号ｉと、走査ライン毎の各画素を表す画素番号ｊとにより、最新データ値Ｌｒ，θｒ，ψｒを特定するインデックスである。即ちＬｒ［ｋ，ｉ，ｊ］，θｒ［ｋ，ｉ，ｊ］及びψｒ［ｋ，ｉ，ｊ］は、下記数１の時刻ｈ（図３参照）を走査タイミングとする走査ライン毎の最新データ値として、運動補償ブロック１１０へ入力される。

ここで上記数１は、フレームＦｏ，Ｆｒの開始タイミング間での同期ずれ時間Ｔを加味した時刻ｈを、時刻ｋと走査番号ｉと走査ライン間での時間間隔Δｈ（図５参照）とを用いて近似的に定義している。そこで図６に示すようにθｒ［ｋ，ｉ，ｊ］は、レーザ素子２２０により照射されてから撮像素子２２１のうち番号ｉ，ｊでの特定画素により時刻ｈにて感知されるレーザ光に関して、鉛直方向におけるビームステアリング角を表している。一方でψｒ［ｋ，ｉ，ｊ］は、レーザ素子２２０により照射されてから撮像素子２２１のうち番号ｉ，ｊでの特定画素により時刻ｈにて感知されるレーザ光に関して、横方向におけるビームステアリング角を、表している。

こうした入力を受けて運動補償ブロック１１０は、反射波画像Ｉｒの最新データ値に対して、グローバルシャッタフレームＦｏ内での車両３の運動（図３参照）による移動量を、バイアス誤差Ｂの補正された慣性情報Ｉｂに基づき、補償する。具体的に運動補償ブロック１１０は、バイアス誤差Ｂの補正された慣性情報Ｉｂに基づく各種の航法演算のうち少なくとも一種類により、時刻ｋにおける車両３の自己位置Ｐ［ｋ，ｉ］及び方向余弦行列Ｃ［ｋ，ｉ］を算出する。

ここで［ｋ，ｉ］は、時刻ｋと走査番号ｉとにより、算出結果Ｐ，Ｃを特定するインデックスである。即ちＰ［ｋ，ｉ］及びＣ［ｋ，ｉ］は、同一走査ラインの画素同士では共通に算出される。そこで運動補償ブロック１１０は、最新データ値Ｌｒ［ｋ，ｉ，ｊ］、θｒ［ｋ，ｉ，ｊ］及びψｒ［ｋ，ｉ，ｊ］に対して、グローバルシャッタフレームＦｏ内では走査番号ｉ毎に変化する車両３の移動量を、算出結果Ｐ［ｋ，ｉ］及びＣ［ｋ，ｉ］を用いた下記数２により補償する。その結果として運動補償ブロック１１０は、走査ライン毎の各画素に関して、下記数２の三次元極座標Ｒ［ｋ，ｉ，ｊ］を算出する。このとき、算出された三次元極座標Ｒ［ｋ，ｉ，ｊ］は、車両３の移動量が補償された反射波画像Ｉｒの最新データ値として、時刻ｋと関連付けてメモリ１０に記憶される。尚、以下の説明では、グローバルシャッタフレームＦｏ内での車両３の移動量を単に、車両移動量という。

図２に示す変化量算出ブロック１２０には、運動補償ブロック１１０により車両移動量を補償されてメモリ１０に記憶された最新及び前回の反射波画像Ｉｒが、入力される（即ち、読み出される）。この入力を受けて変化量算出ブロック１２０は、グローバルシャッタフレームＦｏ間における反射波画像Ｉｒの時間変化量ΔＲ［ｋ，ｉ，ｊ］を、算出する。具体的に変化量算出ブロック１２０は、開始タイミングの前後するグローバルシャッタフレームＦｏにそれぞれ取得された最新及び前回の反射波画像Ｉｒを、時刻以外のインデックスが共通の三次元極座標Ｒ同士にて、下記数３により対比する。その結果として変化量算出ブロック１２０は、時刻ｋでの最新の微分値となる時間変化量ΔＲ［ｋ，ｉ，ｊ］を、各画素に関して算出する。

ここで上記数３は、今回時刻ｋに開始のグローバルシャッタフレームＦｏにおける座標Ｒ［ｋ，ｉ，ｊ］と、前回時刻ｋ－１に開始のグローバルシャッタフレームＦｏにおける座標Ｒ［ｋ－１，ｉ，ｊ］とを用いて、それら座標間の差分により変化量ΔＲ［ｋ，ｉ，ｊ］を定義している。そこで変化量算出ブロック１２０は、今回及び前回の同期処理にて先立つブロック１００，１１０での補正及び補償により算出された三次元極座標Ｒ［ｋ，ｉ，ｊ］及びＲ［ｋ－１，ｉ，ｊ］を、用いる。但し、始動した車両３の走行開始から初回の同期処理に限って変化量算出ブロック１２０は、当該初回前にブロック１００，１１０での補正及び補償を経て算出される三次元極座標Ｒ［ｋ－１，ｉ，ｊ］を、当該初回の三次元極座標Ｒ［ｋ，ｉ，ｊ］と共に用いる。

図２に示す画像推定ブロック１３０には、変化量算出ブロック１２０により算出された最新の時間変化量ΔＲ［ｋ，ｉ，ｊ］が、入力される。それと共に画像推定ブロック１３０には、運動補償ブロック１１０により車両移動量を補償されてメモリ１０に記憶された最新の反射波画像Ｉｒが、入力される（即ち、読み出される）。さらに変化量算出ブロック１２０には、後に詳述するように同期予測ブロック１８０により予測されることでメモリ１０に記憶された最新の同期ずれ時間Ｔが、入力される（即ち、読み出される）。

こうした入力を受けて画像推定ブロック１３０は、グローバルシャッタフレームＦｏの開始タイミングを時刻ｋとして、最新の同期ずれ時間Ｔがその符号の向きに時刻ｋからずれたタイミング（即ち、時刻ｋ+Ｔ）を、図７に示す如く同期タイミングｔｓに設定する。尚、図７は、同期ずれ時間Ｔの符号がプラス（＋）の場合の反射波画像Ｉｒそのものではなく、当該画像Ｉｒに映る外界範囲を模式的に示している。そこで画像推定ブロック１３０は、この同期タイミングｔｓにおける反射波画像Ｉｒを、時刻ｋでの時間変化量ΔＲ［ｋ，ｉ，ｊ］に基づき推定する。具体的に画像推定ブロック１３０は、時間変化量ΔＲ［ｋ，ｉ，ｊ］と同期ずれ時間Ｔとを用いた下記数４により、最新の反射波画像Ｉｒにおける三次元極座標Ｒ［ｋ，ｉ，ｊ］を変換する。その結果として画像推定ブロック１３０は、同期タイミングｔｓにおける反射波画像Ｉｒの推定極座標Ｒｐ［ｋ，ｉ，ｊ］を、各画素に関して算出する。

ここで上記数４は、今回時刻ｋに開始のグローバルシャッタフレームＦｏにおける座標Ｒ［ｋ，ｉ，ｊ］と、同時刻ｋでの変化量ΔＲ［ｋ，ｉ，ｊ］及び同期ずれ時間Ｔと、同フレームＦｏのフレーム期間Δｋとを用いて、同期タイミングｔｓでの座標Ｒｐ［ｋ，ｉ，ｊ］を推定している。そこで画像推定ブロック１３０は、同期タイミングｔｓでの推定データ値として、推定極座標Ｒｐ［ｋ，ｉ，ｊ］を含む反射波画像Ｉｒを、生成するのである。

図２に示すように差分抽出ブロック１４０は、反射波画像Ｉｒ及び外光画像Ｉｏをそれぞれ前処理するサブブロック１４２，１４４と、それら前処理された画像Ｉｒ，Ｉｏ同士を対比処理するサブブロック１４６とを、有している。

差分抽出ブロック１４０におけるサブブロック１４２には、運動補償ブロック１１０により算出された自己位置Ｐ［ｋ，ｉ］及び方向余弦行列Ｃ［ｋ，ｉ］のうち、時刻ｋに対応する自己位置Ｐ［ｋ，１］及び方向余弦行列Ｃ［ｋ，１］が、入力される。それと共にサブブロック１４２には、画像推定ブロック１３０により推定された同期タイミングｔｓでの反射波画像Ｉｒが、入力される。

こうした入力を受けてサブブロック１４２は、グローバルシャッタフレームＦｏの開始タイミングである時刻ｋからのずれ分を、反射波画像Ｉｒに対して補償する。具体的にサブブロック１４２は、同期タイミングｔｓでの反射波画像Ｉｒの推定データ値として画像推定ブロック１３０により算出された各画素の推定極座標Ｒｐ［ｋ，ｉ，ｊ］を、下記数５の三次元直交座標Ｒｒ［ｋ，ｉ，ｊ］へそれぞれ変換する。

ここで上記数５は、グローバルシャッタフレームＦｏの開始タイミングである時刻ｋでの方向余弦行列Ｃ［ｋ，１］の転置行列ＣＴ［ｋ，１］と、同フレームＦｏ内の推定極座標Ｒｐ［ｋ，ｉ，ｊ］とを用いて、三次元直交座標Ｒｒ［ｋ，ｉ，ｊ］を定義している。そこでサブブロック１４２は、座標変換された反射波画像Ｉｒの最新データ値となる各画素の三次元直交座標Ｒｒ［ｋ，ｉ，ｊ］に対してさらに、時刻ｈにおける時刻ｋからのずれ分を、時刻ｋでの自己位置Ｐ［ｋ，１］を用いた下記数６により補償する。その結果としてサブブロック１４２は、各画素に対応するレーザ光反射点を時刻ｋに車両３から観た場合の相対的な位置情報として、下記数６の相対直交座標ｘ，ｙ，ｚを算出する。

サブブロック１４２はさらに、算出した各画素の相対直交座標ｘ，ｙ，ｚを、下記数７～９により変換する。その結果としてサブブロック１４２は、距離値Ｌｒ［ｋ，ｉ，ｊ］と、ビームステアリング角θｒ［ｋ，ｉ，ｊ］及びψｒ［ｋ，ｉ，ｊ］とを、時刻ｋに合わせてずれの補償された反射波画像Ｉｒの最新データ値として、算出する。

図２に示す差分抽出ブロック１４０においてサブブロック１４４には、サブブロック１４２により算出された反射波画像Ｉｒの最新データ値のうちビームステアリング角θｒ［ｋ，ｉ，ｊ］及びψｒ［ｋ，ｉ，ｊ］が、入力される。それと共にサブブロック１４４には、時刻ｋを開始タイミングとするグローバルシャッタフレームＦｏ内に外界カメラ２４により取得された最新の外光画像Ｉｏが、入力される。図８に示すように最新の外光画像Ｉｏは、走査ライン毎の各画素に関して、輝度値Ｓｏ［ｋ，ｍ，ｎ］と、画素角θｏ［ｋ，ｍ，ｎ］及びψｏ［ｋ，ｍ，ｎ］とを、最新データ値として含む。

ここで［ｋ，ｍ，ｎ］は、時刻ｋと、走査ライン毎の並び順を表す走査番号ｍと、走査ライン毎の各画素を表す画素番号ｎとにより、最新データ値Ｓｏ，θｏ，ψｏを特定するインデックスである。ここで、外光画像Ｉｏに関する走査番号ｍの最大値は、反射波画像Ｉｒに関する走査番号ｉの最大値よりも大きく、また外光画像Ｉｏに関する画素番号ｎの最大値は、反射波画像Ｉｒに関する画素番号ｊの最大値よりも大きい。即ち外光画像Ｉｏは、反射波画像Ｉｒよりも多い画素数にて高精細に生成される。

また、図９に示すようにθｏ［ｋ，ｍ，ｎ］は、撮像素子２４１のうち番号ｍ，ｎでの特定画素により時刻ｋにて感知される外光に関して、鉛直方向における画素角を表している。一方でψｏ［ｋ，ｉ，ｊ］は、撮像素子２４１のうち番号ｍ，ｎでの特定画素により時刻ｋにて感知される外光に関して、横方向における画素角を表している。

こうした入力を受けてサブブロック１４４は、反射波画像Ｉｒと外光画像Ｉｏとのうち、高精細側を低精細側に合わせて補間する。即ちサブブロック１４４は、高精細側の外光画像Ｉｏを低精細側の反射波画像Ｉｒに対して、補間によりマッチングさせる。具体的にサブブロック１４４は、各画素でのビームステアリング角θｒ［ｋ，ｉ，ｊ］及びψｒ［ｋ，ｉ，ｊ］に対して、それぞれ下記数１０，１１を満たすインデックスの画素角θｏ及びψｏを、図８の如く探索する。

ここで上記数１０は、横方向に相互隣接する画素のインデックスを、［ｋ，ｍ，ｎ］及び［ｋ，ｍ+１，ｎ］と表記している。この表記下にて上記数１０は、θｏ［ｋ，ｍ，ｎ］及びθｏ［ｋ，ｍ+１，ｎ］を用いて、ビームステアリング角θｒ［ｋ，ｉ，ｊ］の探索条件を定義している。一方で上記数１１は、鉛直方向に相互隣接する画素のインデックスを、［ｋ，ｍ，ｎ］及び［ｋ，ｍ，ｎ+１］と表記している。この表記下にて上記数１１は、画素角θｏ［ｋ，ｍ，ｎ］及びθｏ［ｋ，ｍ，ｎ+１］を用いて、ビームステアリング角ψｒ［ｋ，ｉ，ｊ］の探索条件を定義している。これらのことからサブブロック１４４は、各画素でのビームステアリング角θｒ［ｋ，ｉ，ｊ］及びψｒ［ｋ，ｉ，ｊ］に外光画像Ｉｏ上にて該当する座標の輝度値Ｓｏ［ｋ，ｉ，ｊ］を、下記数１２～１４の内分補間（図８参照）により算出する。

ここで上記数１２は、横方向に相互隣接する画素のインデックスを、［ｋ，ｍ，ｎ］及び［ｋ，ｍ+１，ｎ］と表記している。この表記下にて上記数１２は、画素角θｏ［ｋ，ｍ，ｎ］及びθｏ［ｋ，ｍ+１，ｎ］と、それぞれ対応する輝度値Ｓｏ［ｋ，ｍ，ｎ］及びＳｏ［ｋ，ｍ+１，ｎ］と、ビームステアリング角θｒ［ｋ，ｉ，ｊ］とを用いて、変数Ｓ１を定義している。

一方で上記数１３は、鉛直方向に相互隣接する画素のインデックスを、［ｋ，ｍ，ｎ］及び［ｋ，ｍ，ｎ+１］と表記している。また上記数１３は、横方向に相互隣接する画素のインデックスを［ｋ，ｍ，ｎ］及び［ｋ，ｍ+１，ｎ］と表記した場合に、後者［ｋ，ｍ+１，ｎ］の画素とは鉛直方向に隣接する画素のインデックスを［ｋ，ｍ+１，ｎ+１］と表記している（図８参照）。換言すれば上記数１３は、鉛直方向に相互隣接する画素のインデックスを［ｋ，ｍ，ｎ］及び［ｋ，ｍ，ｎ+１］と表記した場合に、後者［ｋ，１，ｎ+１］の画素とは横方向に隣接する画素のインデックスを［ｋ，ｍ+１，ｎ+１］と表記しているともいえる（図８参照）。これらの表記下にて上記数１３は、画素角θｏ［ｋ，ｍ，ｎ+１］及びθｏ［ｋ，ｍ+１，ｎ+１］と、それぞれ対応する輝度値Ｓｏ［ｋ，ｍ，ｎ+１］及びＳｏ［ｋ，ｍ+１，ｎ+１］と、ビームステアリング角θｒ［ｋ，ｉ，ｊ］とを用いて、変数Ｓ２を定義している。

さらに上記数１４は、鉛直方向に相互隣接する画素のインデックスを、［ｋ，ｍ，ｎ］及び［ｋ，ｍ，ｎ+１］と表記している。この表記下にて上記数１４は、画素角ψｏ［ｋ，ｍ，ｎ］及びψｏ［ｋ，ｍ，ｎ+１］と、上記数１２，１３の変数Ｓ１，Ｓ２と、ビームステアリング角ψｒ［ｋ，ｉ，ｊ］とを用いて、補間された外光画像Ｉｏの輝度値Ｓｏ［ｋ，ｉ，ｊ］を定義している。

図２に示す差分抽出ブロック１４０においてサブブロック１４６には、サブブロック１４２により算出された反射波画像Ｉｒの最新データ値として、距離値Ｌｒ［ｋ，ｉ，ｊ］が入力される。この入力を受けてサブブロック１４６は、距離値Ｌｒ［ｋ，ｉ，ｊ］に対する各種のフィルタ処理のうち少なくとも一種類により、最新の反射波画像Ｉｒにおけるエッジを抽出する。その結果としてサブブロック１４６は、抽出したエッジに対応する各画素に関して、横方向又は鉛直方向に相互隣接する画素同士での距離値Ｌｒ［ｋ，ｉ，ｊ］の差を、エッジ画像値Ｌｒｅ［ｋ，ｉ，ｊ］として算出する。

サブブロック１４６には、サブブロック１４４により補間された外光画像Ｉｏの最新データ値として、輝度値Ｓｏ［ｋ，ｉ，ｊ］が入力される。この入力を受けてサブブロック１４６は、輝度値Ｓｏ［ｋ，ｉ，ｊ］に対する各種のフィルタ処理のうち少なくとも一種類により、最新の外光画像Ｉｏにおけるエッジを抽出する。その結果としてサブブロック１４６は、抽出したエッジに対応する各画素に関して、横方向又は鉛直方向に相互隣接する画素同士での輝度値Ｓｏ［ｋ，ｉ，ｊ］の差を、エッジ画像値Ｓｏｅ［ｋ，ｉ，ｊ］として算出する。

サブブロック１４６は、こうした算出されたエッジ画像値Ｌｒｅ［ｋ，ｉ，ｊ］及びＳｏｅ［ｋ，ｉ，ｊ］に関して、互いに対応する各画素毎に反射波画像Ｉｒと外光画像Ｉｏとを対比することで、それら画像Ｉｏ，Ｉｒの差分Ｅ［ｋ，ｉ，ｊ］を抽出する。具体的にサブブロック１４６は、インデックスの同じエッジ画像値Ｌｒｅ［ｋ，ｉ，ｊ］及びＳｏｅ［ｋ，ｉ，ｊ］同士を、それぞれのバラツキ範囲により正規化してから対比する下記数１５により、それら画像値間の差分Ｅ［ｋ，ｉ，ｊ］を算出する。即ちサブブロック１４６は、反射波画像Ｉｒと外光画像Ｉｏとのエッジに関する画像値Ｌｒｅ［ｋ，ｉ，ｊ］及びＳｏｅ［ｋ，ｉ，ｊ］同士をそれぞれのバラツキ範囲により正規化してから、それらエッジ同士の対比並びに差分抽出を実行する。

ここで上記数１５の右辺第一項は、反射波画像Ｉｒにおけるエッジ画像値Ｌｒｅ［ｋ，ｉ，ｊ］の最大値及び最小値を、それぞれＬｒｅｍａｘ［ｋ，ｉ，ｊ］及びＬｒｅｍｉｎ［ｋ，ｉ，ｊ］と表記している。この表記下にて上記数１５の右辺第一項は、最大値Ｌｒｅｍａｘ［ｋ，ｉ，ｊ］から最小値Ｌｒｅｍｉｎ［ｋ，ｉ，ｊ］を差し引いたバラツキ範囲により、エッジ画像値Ｌｒｅ［ｋ，ｉ，ｊ］を正規化（即ち、無次元化）している。

一方で上記数１５の右辺第二項は、外光画像Ｉｏにおけるエッジ画像値Ｓｏｅ［ｋ，ｉ，ｊ］の最大値及び最小値を、それぞれＳｏｅｍａｘ［ｋ，ｉ，ｊ］及びＳｏｅｍｉｎ［ｋ，ｉ，ｊ］と表記している。この表記下にて上記数１５の右辺第一項は、最大値Ｓｏｅｍａｘ［ｋ，ｉ，ｊ］から最小値Ｓｏｅｍｉｎ［ｋ，ｉ，ｊ］を減算したバラツキ範囲により、エッジ画像値Ｓｏｅ［ｋ，ｉ，ｊ］を正規化（即ち、無次元化）している。

図２に示す処理判定ブロック１６０には、差分抽出ブロック１４０のうちサブブロック１４６により抽出された最新の画像Ｉｏ，Ｉｒ同士における差分Ｅ［ｋ，ｉ，ｊ］が、入力される。この入力を受けて処理判定ブロック１６０は、同期予測ブロック１８０による同期ずれ時間Ｔの予測まで同期処理を差し戻すか否かを、差分Ｅ［ｋ，ｉ，ｊ］に基づき判定する。

このとき、互いに対応するエッジ同士の各画素毎に差分Ｅ［ｋ，ｉ，ｊ］を２乗和した値が許容範囲内にある場合には、同期ずれ時間Ｔの予測が正確であるとして、差し戻しは不要との判定を処理判定ブロック１６０が下す。差し戻し不要との判定が下された場合の同期ずれ時間Ｔは、例えば車両３の運動推定等に活用される際に、レーダセンサ２２と外界カメラ２４との同期が実現される。尚、以下の説明では、各画素毎に差分Ｅ［ｋ，ｉ，ｊ］を２乗和した値を単に、差分Ｅ［ｋ，ｉ，ｊ］の２乗和という。

これに対して、差分Ｅ［ｋ，ｉ，ｊ］の２乗和が許容範囲外にある場合には、同期ずれ時間Ｔの予測が不正確であるとして、差し戻しを要するとの判定を処理判定ブロック１６０が下す。差戻し要との判定が下された場合の同期ずれ時間Ｔは、後に詳述する同期予測ブロック１８０により、メモリ１０に記憶の最新値とは異なる値へ予測し直される。

ここで、同期予測ブロック１８０の判定基準となる許容範囲は、差分Ｅ［ｋ，ｉ，ｊ］として正確と判断可能な値の上限を閾値として、当該閾値以下の数値範囲に設定されてもよい。許容範囲は、差分Ｅ［ｋ，ｉ，ｊ］としては不正確と判断すべき値の下限を閾値として、当該閾値未満の数値範囲に設定されてもよい。

図２に示す同期予測ブロック１８０には、始動した車両３の走行開始から初回の同期処理要との判断に伴って、メモリ１０に記憶されている同期ずれ時間Ｔの初期値が、入力される（即ち、読み出される）。この入力を受けて同期予測ブロック１８０は、時刻ｋにおける最新の同期ずれ時間Ｔを初期値に仮予測して、メモリ１０に記憶する。ここで同期ずれ時間Ｔの初期値は、予め設定された固定値であってもよい。同期ずれ時間Ｔの初期値は、過去の同期処理にて予測された可変値であってもよい。

同期予測ブロック１８０には、処理判定ブロック１６０により差し戻し要との判定が下された場合に、不正確予測の同期ずれ時間Ｔがメモリ１０から入力される（即ち、読み出される）。この入力を受けて同期予測ブロック１８０は、不正確予測の同期ずれ時間Ｔにずれ調整値を加算することで、時刻ｋにおける最新の同期ずれ時間Ｔを再予測して、メモリ１０に記憶する。このとき同期予測ブロック１８０は、今回及び前回の同期処理にて抽出された差分Ｅ［ｋ，ｉ，ｊ］の２乗和間での増減結果に応じて、ずれ調整値の符号及び初期値からの可変量を調整する。そこで同期予測ブロック１８０には、差し戻し要との判定が下された場合に、メモリ１０に記憶されているずれ調整値の初期値も、入力される（即ち、読み出される）。ここでずれ調整値の初期値は、予め設定された固定値であってもよい。ずれ調整値の初期値は、過去の同期処理にて予測された可変値であってもよい。

以上より第一実施形態では、運動補償ブロック１１０が「運動補償部」が相当し、変化量算出ブロック１２０が「変化量算出部」に相当し、画像推定ブロック１３０が「画像推定部」が相当する。さらに第一実施形態では、差分抽出ブロック１４０が「差分抽出部」に相当し、処理判定ブロック１６０が「処理判定部」に相当し、同期予測ブロック１８０が「同期予測部」に相当する。

ここまで説明した機能ブロック１００，１１０，１２０，１３０，１４０，１６０，１８０の共同により、同期装置１が同期処理を遂行して実現される同期方法のフローを、図１０に従って以下に説明する。尚、本フローは、始動した車両３の走行開始後に繰り返されるグローバルシャッタフレームＦｏ毎に、実行される。また、本フローにおいて各「Ｓ」とは、同期プログラムに含まれた複数命令により実行される複数ステップを、それぞれ意味する。さらに、以下の説明においてインデックスの表記は、省略されている。

Ｓ１０１において同期予測ブロック１８０は、グローバルシャッタフレームＦｏの開始される時刻ｋにてレーダセンサ２２と外界カメラ２４との間に生じている同期ずれ時間Ｔを、メモリ１０に記憶された初期値に仮予測して、メモリ１０に記憶する。

Ｓ１０２において誤差補正ブロック１００は、慣性センサ２０により時刻ｋに取得された最新の慣性情報Ｉｂに対して、最新のバイアス誤差Ｂを補正する。Ｓ１０３において運動補償ブロック１１０は、時刻ｋに開始されたグローバルシャッタフレームＦｏ内にレーダセンサ２２により取得された最新の反射波画像Ｉｒに対して、同フレームＦｏ内での車両移動量を、補償する。このときの補償は、Ｓ１０２によりバイアス誤差Ｂの補正された慣性情報Ｉｂに、基づく。

Ｓ１０４において変化量算出ブロック１２０は、グローバルシャッタフレームＦｏ間における反射波画像Ｉｒの時間変化量ΔＲとして、車両移動量の補償された最新及び前回画像Ｉｒ間の変化量ΔＲを算出する。尚、始動した車両３の走行開始から初回の同期処理を遂行する本フローの実行前には、Ｓ１０１と同様な補正及びＳ１０２と同様な補償がそれぞれ一回ずつ実行されることで、当該初回における時間変化量ΔＲに必要な三次元極座標Ｒが算出されている。

Ｓ１０５において画像推定ブロック１３０は、時刻kにおけるグローバルシャッタフレームＦｏの開始タイミングから、Ｓ１０１又は後述のＳ１１０により直前に予測された最新の同期ずれ時間Ｔ分をずらした同期タイミングｔｓでの反射波画像Ｉｒを、推定する。このときの画像推定は、Ｓ１０４により算出された時間変化量ΔＲに、基づく。

Ｓ１０６において差分抽出ブロック１４０のサブブロック１４２は、Ｓ１０５により推定された同期タイミングｔｓでの反射波画像Ｉｒに対して、グローバルシャッタフレームＦｏの開始タイミングである時刻ｋからのずれ分を、補償する。

Ｓ１０７において差分抽出ブロック１４０のサブブロック１４４は、時刻ｋに開始されたグローバルシャッタフレームＦｏ内に外界カメラ２４により取得された最新の外光画像Ｉｏを、Ｓ１０６によりずれ補償された反射波画像Ｉｒに合わせて、補間する。このときの補間は、高精細側の外光画像Ｉｏを低精細側の反射波画像Ｉｒに合わせて、マッチングさせる。

Ｓ１０８において差分抽出ブロック１４０のサブブロック１４６は、Ｓ１０６によりずれ補償された反射波画像Ｉｒと、Ｓ１０７により補間された外光画像Ｉｏとを、対比することで差分Ｅを抽出する。このときの対比並びに差分抽出は、反射波画像Ｉｒと外光画像Ｉｏとのエッジに関する画像値Ｌｒｅ，Ｓｏｅがそれぞれのバラツキ範囲により正規化されてから、それらエッジ同士に対して実行される。

Ｓ１０９において処理判定ブロック１６０は、同期ずれ時間Ｔの予測まで同期処理を差し戻すか否かを、Ｓ１０８により抽出された差分Ｅに基づき、判定する。その結果、差戻し不要との判定が下された場合、本フローが終了する。

一方で差し戻し要との判定が下された場合、Ｓ１１０において同期予測ブロック１８０は、時刻ｋでの同期ずれ時間Ｔを再予測してメモリ１０に記憶してから、再度Ｓ１０２を実行させる。このときの再予測は、今回及び前回の同期処理にて抽出された差分Ｅ間での増減結果に応じて、不正確予測の同期ずれ時間Ｔに加算するずれ調整値の可変量を調整することで、実現される。

以上より第一実施形態では、Ｓ１０１，Ｓ１１０が「予測プロセス」に相当し、Ｓ１０３が「補償プロセス」に相当し、Ｓ１０４が「算出プロセス」に相当する。また第一実施形態では、Ｓ１０５が「推定プロセス」に相当し、Ｓ１０６，Ｓ１０７，Ｓ１０８が「抽出プロセス」に相当し、Ｓ１０９が「判定プロセス」に相当する。

（作用効果）
以上説明した第一実施形態の作用効果を、以下に説明する。

第一実施形態の同期処理によると、外界カメラ２４におけるグローバルシャッタフレームＦｏの開始タイミングからレーダセンサ２２及び外界カメラ２４間の同期ずれ時間Ｔがずれた同期タイミングｔｓでの反射波画像Ｉｒは、同フレームＦｏ間における反射波画像Ｉｒの時間変化量ΔＲに基づき推定される。この同期タイミングｔｓでの反射波画像Ｉｒが外光画像Ｉｏと対比されることにより抽出される差分Ｅは、同期ずれ時間Ｔの予測が正確なほど、小さくなる。そこで、同期ずれ時間Ｔの予測まで同期処理を差し戻すか否かが、反射波画像Ｉｒと外光画像Ｉｏとの差分Ｅに基づき判定されることによれば、同期ずれ時間Ｔが正確に予測されるまで同期処理が繰り返され得る。故に、レーダセンサ２２と外界カメラ２４とを高精度に同期させることが可能である。

第一実施形態による反射波画像Ｉｒは、グローバルシャッタフレームＦｏの開始タイミングからのずれ分を補償されてから、外光画像Ｉｏと対比される。これによれば、グローバルシャッタフレームＦｏ内に取得された反射波画像Ｉｒは、同フレームＦｏの開始タイミングにて外光画像Ｉｏと共に取得された画像となるように、補償され得る。即ち、補償された反射波画像Ｉｒは、外光画像Ｉｏと実質同時に取得と擬制され得ることから、それら画像Ｉｒ，Ｉｏの対比により正確に差分Ｅを抽出して、レーダセンサ２２と外界カメラ２４とを高精度に同期させることが可能となる。

第一実施形態によると、グローバルシャッタのフレームＦｏ間における反射波画像Ｉｒの変化量算出に先立って、同フレームＦｏ内での車両移動量が反射波画像Ｉｒに対して補償される。これによれば、グローバルシャッタのフレームＦｏ内に（具体的にはローリングシャッタのフレームＦｒ毎に）、変化する車両移動量を補償した上での時間変化量ΔＲが、算出されることになる。故に、そうした時間変化量ΔＲに基づき予測される同期タイミングｔｓの反射波画像Ｉｒからは、外光画像Ｉｏとの差分Ｅを正確に抽出して、レーダセンサ２２と外界カメラ２４とを高精度に同期させることが可能となる。

第一実施形態による反射波画像Ｉｒと外光画像Ｉｏとは、高精細側を低精細側に合わせて補間されてから、対比される。これによれば、精細度の違いによる画像Ｉｒ，Ｉｏ同士のアンマッチングを解消した上で対比により、正確に差分Ｅを抽出することができるので、レーダセンサ２２と外界カメラ２４とを高精度に同期させることが可能となる。

第一実施形態による反射波画像Ｉｒと外光画像Ｉｏとは、エッジ同士を対比される。これによれば、対比の容易なエッジ同士からは差分Ｅを正確に抽出し易くなるので、レーダセンサ２２と外界カメラ２４とを高精度に同期させることが可能となる。

第一実施形態による反射波画像Ｉｒと外光画像Ｉｏとは、画像値Ｌｒｅ，Ｓｏｅ同士をそれぞれのバラツキ範囲により正規化されてから、対比される。これによれば、正規化の結果としてスケール合わせされた画像値Ｌｒｅ，Ｓｏｅ同士の対比により、正確に差分Ｅを抽出することができるので、レーダセンサ２２と外界カメラ２４とを高精度に同期させることが可能となる。

（第二実施形態）
図１１に示すように第二実施形態は、第一実施形態の変形例である。

第二実施形態のレーダセンサ２０２２は、例えば車両３の運動推定等に活用可能な反射波画像Ｉｒを取得する、所謂イメージングレーダである。レーダセンサ２０２２は、車両３の外界から電磁波としてのミリ波（電波）の照射により得られる反射波に応じた反射波画像Ｉｒを、取得する。レーダセンサ２０２２は、送信アンテナ２２２０、受信アンテナ２２２１及び撮像回路２２２２を有している。

撮像回路２２２２は、アレイ状に配置される複数の送信アンテナ２２２０から、車両３の外界へ向かう電磁波として、ミリ波をパルスビーム状に照射制御する。このミリ波照射に伴って撮像回路２２２２は、アレイ状に配置される複数の受信アンテナ２２２１に対応した構成画素において横方向に複数列の縦画素列を、それぞれ対応する走査ライン毎に走査する。撮像回路２２２２は、ミリ波照射時点からの、感知した反射波の到達時間に応じた、当該反射波の反射点までの距離値を、画素毎に対応したビームステアリング角と関連付けてデータ化することで、反射波画像Ｉｒを取得する。

第二実施形態の差分抽出ブロック２１４０には、外光画像Ｉｏを前処理するサブブロック２１４５が、追加されている。サブブロック２１４５には、サブブロック１４４により補間された外光画像Ｉｏが、入力される。この入力を受けてサブブロック２１４５は、補間された外光画像Ｉｏから、レーダセンサ２２２０による物体捕捉率の高い特定物標を、抽出する。

ここで、レーダセンサ２２２０による物体捕捉率の高い特定物標とは、理想的には、外界の物体部分のうち、車両３から視て奥方向に凹んだコーナ部分を、意味する。但し、外光画像Ｉｏからは、外界の物体部分のうち、車両３から視て奥方向に凹んだコーナ部分と、車両３から視て手前方向に凸のコーナ部分とを、判別することが難しい。そこでサブブロック２１４５は、外界の物体部分のうち凹んだコーナ部分と凸のコーナ部分との両方を、外光画像Ｉｏから抽出する。

第二実施形態の差分抽出ブロック２１４０は、第一実施形態のサブブロック１４６に代えて、前処理された画像Ｉｒ，Ｉｏ同士を対比処理するサブブロック２１４６を、有している。サブブロック２１４６には、サブブロック２１４５により外光画像Ｉｏから抽出された特定物標の特徴量である最新データ値として、輝度値Ｓｏ［ｋ，ｉ，ｊ］が入力される。

この入力以外の機能についてサブブロック２１４６は、第一実施形態のサブブロック１４６と同様の機能を実現する。その結果、反射波画像Ｉｒと外光画像Ｉｏとの対比は、それら画像Ｉｒ，Ｉｏに映る特定物標、即ちコーナ部分に関して実現される。

第二実施形態による同期装置１のフローでは、図１２に示すように、第一実施形態のＳ１０８に代えて、Ｓ２１１０，Ｓ２１１１が順次実行される。Ｓ２１１０において差分抽出ブロック２１４０のサブブロック２１４６は、Ｓ１０７により補間された外光画像Ｉｏから、レーダセンサ２２２０による物体捕捉率が高い特定物標を、抽出する。

Ｓ２１１１において差分抽出ブロック２１４０のサブブロック２１４６は、Ｓ１０６によりずれ補償された反射波画像Ｉｒと、Ｓ２１１０により抽出された外光画像Ｉｏの特定物標とを、対比することで差分Ｅを抽出する。このときの対比並びに差分抽出は、反射波画像Ｉｒと外光画像Ｉｏとの特定物標同士のエッジに関する画像値Ｌｒｅ，Ｓｏｅがそれぞれのバラツキ範囲により正規化されてから、それらエッジ同士に対して実行される。

以上より第二実施形態では、差分抽出ブロック１４０，２１４０が「差分抽出部」に相当し、Ｓ１０６，Ｓ１０７，Ｓ２１１０，Ｓ２１１１が「抽出プロセス」に相当する。

ここまで説明した第二実施形態によると、車両３の外界へ照射する電磁波が赤外線レーザ光となる第一実施形態のレーダセンサ２２に代えて、当該電磁波がミリ波となるレーダセンサ２０２２を用いても、第一実施形態と同様の作用効果を発揮することが可能となる。

（他の実施形態）
以上、複数の実施形態について説明したが、本開示は、それらの実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。

変形例における同期装置１は、デジタル回路及びアナログ回路のうち少なくとも一方をプロセッサとして含んで構成される、専用のコンピュータであってもよい。ここで特にデジタル回路とは、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、ＳＯＣ（System on a Chip）、ＰＧＡ（Programmable Gate Array）、及びＣＰＬＤ（Complex Programmable Logic Device）等のうち、少なくとも一種類である。またこうしたデジタル回路は、プログラムを格納したメモリを、備えていてもよい。

変形例における誤差補正ブロック１００及びＳ１０２は、省略されてもよい。この場合における運動補償ブロック１１０及びＳ１０３では、慣性センサ２０により時刻ｋに取得された最新の慣性情報Ｉｂに基づき、車両移動量が補償されてもよい。

変形例における差分抽出ブロック１４０，２１４０のサブブロック１４２及びＳ１０６では、反射波画像Ｉｒにおける時刻ｋからのずれ分が、外光画像Ｉｏにおいて補償されてもよい。変形例における反射波画像Ｉｒは、外光画像Ｉｏよりも高精細であってもよい。この場合における差分抽出ブロック１４０，２１４０のサブブロック１４４及びＳ１０７では、高精細側の反射波画像Ｉｒが低精細側の外光画像Ｉｏに合わせて補間されてもよい。

変形例における差分抽出ブロック１４０，２１４０のサブブロック１４２，１４６，２１４６及びＳ１０６，Ｓ１０８，Ｓ２１１１では、反射波画像Ｉｒの距離値Ｌｒと関連付けて同画像Ｉｒに含まれる輝度値又は強度値が、当該距離値Ｌｒに代えて用いられてもよい。変形例における差分抽出ブロック１４０，２１４０のサブブロック１４６，２１４６及びＳ１０８，Ｓ２１１１では、反射波画像Ｉｒの距離値Ｌｒと外光画像Ｉｏの輝度値Ｓｏがそのまま画像値として、対比並びに差分抽出へ供されてもよい。変形例における差分抽出ブロック１４０，２１４０のサブブロック１４６，２１４６及びＳ１０８，Ｓ２１１１では、反射波画像Ｉｒと外光画像Ｉｏとのうち、一方が他方に合わせて正規化されてから、対比並びに差分抽出へ供されてもよい。

変形例におけるレーダセンサ２２は、グローバルシャッタにより反射波画像Ｉｒを取得する構成であってもよい。この場合のさらなる変形例では、ブロック１００，１１０，１４２及びＳ１０２，Ｓ１０３，Ｓ１０６が省略されてもよい。ここで、さらなる変形例のサブブロック１４４及びＳ１０７では、グローバルシャッタフレームＦｏ内に取得の最新画像Ｉｒ，Ｉｏのうち、高精細側が低精細側に合わせて補間されるとよい。また、さらなる変形例のサブブロック１４６及びＳ１０８では、グローバルシャッタフレームＦｏ内に取得の最新画像Ｉｒ，Ｉｏ同士が対比されるとよい。

Claims (18)

1. 電磁波を照射することにより得られる反射波に応じた反射波画像（Ｉｒ）を取得するレーダセンサ（２２，２０２２）と、外界から感知する外光に応じた外光画像（Ｉｏ）を取得する外界カメラ（２４）と、を搭載した車両（３）において、前記レーダセンサ及び前記外界カメラに対する同期処理を遂行する同期装置（１）であって、
   前記レーダセンサ及び前記外界カメラ間の同期ずれ時間（Ｔ）を予測する同期予測部（１８０）と、
   前記外界カメラのシャッタフレーム（Ｆｏ）間における前記反射波画像の時間変化量（ΔＲ）を算出する変化量算出部（１２０）と、
   前記同期予測部により予測される前記同期ずれ時間が前記シャッタフレームの開始タイミングからずれた同期タイミング（ｔｓ）での前記反射波画像を、前記変化量算出部により算出される前記時間変化量に基づき推定する画像推定部（１３０）と、
   前記画像推定部により推定される前記同期タイミングでの前記反射波画像と、前記外光画像とを対比することにより、それら画像の差分（Ｅ）を抽出する差分抽出部（１４０，２１４０）と、
   前記同期予測部による前記同期ずれ時間の予測まで前記同期処理を差し戻すか否かを、前記差分抽出部により算定される前記差分に基づき判定する処理判定部（１６０）と、を備える同期装置。
2. 前記差分抽出部は、前記反射波画像に対して前記シャッタフレームの前記開始タイミングからのずれ分を補償してから、前記反射波画像を前記外光画像と対比する請求項１に記載の同期装置。
3. 前記変化量算出部による前記時間変化量の算出に先立って、前記シャッタフレーム内での前記車両の運動による移動量を、前記反射波画像に対して補償する運動補償部（１１０）を、さらに備える請求項２に記載の同期装置。
4. 前記差分抽出部は、前記反射波画像と前記外光画像とのうち高精細側を低精細側に合わせて補間してから、それら画像を対比する請求項１～３のいずれか一項に記載の同期装置。
5. 前記差分抽出部は、前記反射波画像と前記外光画像とのエッジ同士を対比する請求項１～４のいずれか一項に記載の同期装置。
6. 前記差分抽出部は、前記反射波画像と前記外光画像との画像値（Ｌｒｅ，Ｓｏｅ）同士を、それぞれのバラツキ範囲により正規化してから、対比する請求項１～５のいずれか一項に記載の同期装置。
7. 電磁波を照射することにより得られる反射波に応じた反射波画像（Ｉｒ）を取得するレーダセンサ（２２）と、外界から感知する外光に応じた外光画像（Ｉｏ）を取得する外界カメラ（２４）と、を搭載した車両（３）において、前記レーダセンサ及び前記外界カメラに対する同期処理を遂行する同期方法であって、
   前記レーダセンサ及び前記外界カメラ間の同期ずれ時間（Ｔ）を予測する予測プロセス（Ｓ１０１，Ｓ１１０）と、
   前記外界カメラのシャッタフレーム（Ｆｏ）間における前記反射波画像の時間変化量（ΔＲ）を算出する算出プロセス（Ｓ１０４）と、
   前記予測プロセスにより予測される前記同期ずれ時間が前記シャッタフレームの開始タイミングからずれた同期タイミング（ｔｓ）での前記反射波画像を、前記算出プロセスにより算出される前記時間変化量に基づき推定する推定プロセス（Ｓ１０５）と、
   前記推定プロセスにより推定される前記同期タイミングでの前記反射波画像と、前記外光画像とを対比することにより、それら画像の差分（Ｅ）を抽出する抽出プロセス（Ｓ１０６，Ｓ１０７，Ｓ１０８，Ｓ２１１０，Ｓ２１１１）と、
   前記予測プロセスによる前記同期ずれ時間の予測まで前記同期処理を差し戻すか否かを、前記抽出プロセスにより抽出される前記差分に基づき判定する判定プロセス（Ｓ１０９）と、を含む同期方法。
8. 前記抽出プロセスは、前記反射波画像に対して前記シャッタフレームの前記開始タイミングからのずれ分を補償してから、前記反射波画像を前記外光画像と対比する請求項７に記載の同期方法。
9. 前記算出プロセスによる前記時間変化量の算出に先立って、前記シャッタフレーム内での前記車両の運動による移動量を、前記反射波画像に対して補償する補償プロセス（Ｓ１０３）を、さらに含む請求項８に記載の同期方法。
10. 前記抽出プロセスは、前記反射波画像と前記外光画像とのうち高精細側を低精細側に合わせて補間してから、それら画像を対比する請求項７～９のいずれか一項に記載の同期方法。
11. 前記抽出プロセスは、前記反射波画像と前記外光画像とのエッジ同士を対比する請求項７～１０のいずれか一項に記載の同期方法。
12. 前記抽出プロセスは、前記反射波画像と前記外光画像との画像値（Ｌｒｅ，Ｓｏｅ）同士を、それぞれのバラツキ範囲により正規化してから、対比する請求項７～１１のいずれか一項に記載の同期方法。
13. 電磁波を照射することにより得られる反射波に応じた反射波画像（Ｉｒ）を取得するレーダセンサ（２２）と、外界から感知する外光に応じた外光画像（Ｉｏ）を取得する外界カメラ（２４）と、を搭載した車両（３）において、前記レーダセンサ及び前記外界カメラに対する同期処理を遂行するために記憶媒体（１０）に格納され、プロセッサ（１２）に実行させる命令を含む同期プログラムであって、
    前記命令は、
    前記レーダセンサ及び前記外界カメラ間の同期ずれ時間（Ｔ）を予測させる予測プロセス（Ｓ１０１，Ｓ１１０）と、
    前記外界カメラのシャッタフレーム（Ｆｏ）間における前記反射波画像の時間変化量（ΔＲ）を算出させる算出プロセス（Ｓ１０４）と、
    前記予測プロセスにより予測される前記同期ずれ時間が前記シャッタフレームの開始タイミングからずれた同期タイミング（ｔｓ）での前記反射波画像を、前記算出プロセスにより算出される前記時間変化量に基づき推定させる推定プロセス（Ｓ１０５）と、
    前記推定プロセスにより推定される前記同期タイミングでの前記反射波画像と、前記外光画像とを対比させることにより、それら画像の差分（Ｅ）を抽出させる抽出プロセス（Ｓ１０６，Ｓ１０７，Ｓ１０８，Ｓ２１１０，Ｓ２１１１）と、
    前記予測プロセスによる前記同期ずれ時間の予測まで前記同期処理を差し戻すか否かを、前記抽出プロセスにより抽出される前記差分に基づき判定させる判定プロセス（Ｓ１０９）と、を含む同期プログラム。
14. 前記抽出プロセスは、前記反射波画像に対して前記シャッタフレームの前記開始タイミングからのずれ分を補償させてから、前記反射波画像を前記外光画像と対比させる請求項１３に記載の同期プログラム。
15. 前記命令は、
    前記算出プロセスによる前記時間変化量の算出に先立って、前記シャッタフレーム内での前記車両の運動による移動量を、前記反射波画像に対して補償させる補償プロセス（Ｓ１０３）を、さらに含む請求項１４に記載の同期プログラム。
16. 前記抽出プロセスは、前記反射波画像と前記外光画像とのうち高精細側を低精細側に合わせて補間させてから、それら画像を対比させる請求項１３～１５のいずれか一項に記載の同期プログラム。
17. 前記抽出プロセスは、前記反射波画像と前記外光画像とのエッジ同士を対比させる請求項１３～１６のいずれか一項に記載の同期プログラム。
18. 前記抽出プロセスは、前記反射波画像と前記外光画像との画像値（Ｌｒｅ，Ｓｏｅ）同士を、それぞれのバラツキ範囲により正規化させてから、対比させる請求項１３～１７のいずれか一項に記載の同期プログラム。
    

Images