JP7140091B2 - 画像処理装置、画像処理方法、画像処理プログラム、及び画像処理システム - Google Patents

Description

この明細書による開示は、画像処理の技術に関する。

例えば特許文献１には、距離測定が可能な距離センサの一種として、ＬｉＤＡＲ（Light Detection and Ranging）が開示されている。特許文献１に開示のＬｉＤＡＲは、走査ミラーを用いて照射光を走査し、周囲の物体によって反射された反射光を検出することで、当該物体までの距離を測定する。

特表２０１９－５２０５６３号公報

距離センサでは、個々のセンシング点の間隔を狭くし、密なデータを取得できることが望ましい。しかし、特許文献１のような走査型のＬｉＤＡＲでは、特に走査方向と直交する方向について、例えば受光素子の配置に起因して、センシング点の間隔を狭めることが難しかった。その結果、密度の低い、言い換えれば、解像度の低い検出データしか取得できないおそれがあった。

本開示は、解像度の高い検出データを取得可能な画像処理装置等の提供を目的とする。

上記目的を達成するため、開示された一つの態様は、光照射に応じた反射光を受光素子（１２ａ）が検出することにより得られる距離情報を含む反射光画像（ＩｍＲ）、及び反射光に対する背景光を受光素子にて検出する輝度情報を含む背景光画像（ＩｍＬ）を、互いに紐づけて取得する画像取得部（４１）と、反射光画像及び背景光画像のうちの一方である第１画像を複数準備し、複数の第１画像に対してサブピクセルマッチング処理を行うマッチング処理部（４３）と、反射光画像及び背景光画像のうちの他方である第２画像であって、サブピクセルマッチング処理の対象とされた第１画像にそれぞれ紐づく第２画像を複数準備し、サブピクセルマッチング処理にて得られる位置合わせ情報を用いて複数の第２画像に対する超解像処理を行い、高解像画像（ＩＨＲ）を生成する超解像処理部（４４）と、を備える画像処理装置とされる。

また開示された一つの態様は、少なくとも１つのプロセッサ（３１）にて実行される処理に、光照射に応じた反射光を受光素子（１２ａ）が検出することにより得られる距離情報を含む反射光画像（ＩｍＲ）、及び反射光に対する背景光を受光素子にて検出する輝度情報を含む背景光画像（ＩｍＬ）を、互いに紐づけて取得すること（Ｓ１０２，Ｓ１１２）、反射光画像及び背景光画像のうちの一方である第１画像を複数準備し、複数の第１画像に対してサブピクセルマッチング処理を行うこと（Ｓ１０３）、反射光画像及び背景光画像のうちの他方である第２画像であって、サブピクセルマッチング処理の対象とされた第１画像にそれぞれ紐づく第２画像を複数準備し、サブピクセルマッチング処理にて得られる位置合わせ情報を用いて複数の第２画像に対する超解像処理を行い、高解像画像（ＩＨＲ）を生成すること（Ｓ１１３～Ｓ１１８）、を含む画像処理方法とされる。

また開示された一つの態様は、少なくとも１つのプロセッサ（３１）に、光照射に応じた反射光を受光素子（１２ａ）が検出することにより得られる距離情報を含む反射光画像（ＩｍＲ）、及び反射光に対する背景光を受光素子にて検出する輝度情報を含む背景光画像（ＩｍＬ）を、互いに紐づけて取得し（Ｓ１０２，Ｓ１１２）、反射光画像及び背景光画像のうちの一方である第１画像を複数準備し、複数の第１画像に対してサブピクセルマッチング処理を行い（Ｓ１０３）、反射光画像及び背景光画像のうちの他方である第２画像であって、サブピクセルマッチング処理の対象とされた第１画像にそれぞれ紐づく第２画像を複数準備し、サブピクセルマッチング処理によって得られる位置合わせ情報を用いて複数の第２画像に対する超解像処理を行い、高解像画像（ＩＨＲ）を生成する（Ｓ１１３～Ｓ１１８）、ことを含む処理を実行させる画像処理プログラムとされる。

また開示された一つの態様は、光照射に応じた反射光を受光素子（１２ａ）が検出することにより得られる距離情報を含む反射光画像（ＩｍＲ）、及び反射光に対する背景光を受光素子にて検出する輝度情報を含む背景光画像（ＩｍＬ）を生成する測距センサ（１０）と、反射光画像及び背景光画像のうちの一方である第１画像を複数準備し、複数の第１画像に対してサブピクセルマッチング処理を行うマッチング処理部（４３）と、反射光画像及び背景光画像のうちの他方である第２画像であって、サブピクセルマッチング処理の対象とされた第１画像にそれぞれ紐づく第２画像を複数準備し、サブピクセルマッチング処理にて得られる位置合わせ情報を用いて複数の第２画像に対する超解像処理を行い、高解像画像（ＩＨＲ）を生成する超解像処理部（４４）と、を備える画像処理システムとされる。

これらの態様では、互いに紐づく反射光画像及び背景光画像のうちの一方に対してサブピクセルマッチング処理が行われ、超解像処理に必要な位置合わせ情報が準備される。そして、こうした位置合わせ情報を用いて、反射光画像及び背景光画像のうちの他方に対する超解像処理が実施され、高解像画像が生成される。以上のように、超解像処理の実施による高解像化によれば、解像度の高い検出データの取得が可能になる。

尚、上記括弧内の参照番号は、後述する実施形態における具体的な構成との対応関係の一例を示すものにすぎず、技術的範囲を何ら制限するものではない。

本開示の１実施形態によるセンサパッケージ及び自動運転システムの全体像を示す図である。 画像処理ＥＣＵにおける画像処理の過程を説明するためのブロック図である。 サブピクセルマッチング処理の詳細を説明するための図である。 超解像処理の詳細を説明するための図である。 画像処理ＥＣＵにて実施される画像処理のフローチャートである。

図１に示す本開示の１実施形態による画像処理ＥＣＵ（Electronic Control Unit）３０は、移動体としての車両Ａにおいて用いられる。図１及び図２に示すように、画像処理ＥＣＵ３０は、測距センサ１０等の自律センサと共にセンサパッケージ１００を構成している。さらに、センサパッケージ１００は、自動運転ＥＣＵ５０及び電源装置６０等と共に自動運転システム１１０を構成可能である。

自動運転システム１１０は、例えばドライバーレスでの車両Ａの自律走行を可能にするシステムパッケージである。自動運転システム１１０にて中核をなす自動運転ＥＣＵ５０は、プロセッサ、ＲＡＭ（Random Access Memory）、記憶部、入出力インターフェース、及びこれらを接続するバス等を備えたコンピュータを主体として含む高速演算装置である。

自動運転ＥＣＵ５０は、センサパッケージ１００からの提供情報に基づき、車両Ａの周囲の走行環境を認識する。加えて自動運転ＥＣＵ５０は、車載ネットワーク９０から取得する車両情報に基づき、車両Ａの走行状態を把握する。自動運転ＥＣＵ５０は、提供情報及び車両情報を参照し、車両Ａの将来の走行経路を生成する。自動運転ＥＣＵ５０は、車両Ａの走行系のＥＣＵと連携し、走行経路に沿って車両Ａを自動走行させる。尚、自動運転システム１１０は、無人運転を可能にする完全な自動運転機能ではなく、運転者の運転支援を行う高度運転支援機能を提供可能なシステムであってもよい。

以上の自動運転システム１１０において、画像処理ＥＣＵ３０は、画像処理装置として、測距センサ１０より出力されるセンサ画像ＩｍＳを処理する。こうした画像処理ＥＣＵ３０を含むことで、センサパッケージ１００は、画像処理システムの機能を有する。以下、センサパッケージ１００に含まれる測距センサ１０及び画像処理ＥＣＵ３０の詳細を順に説明する。

測距センサ１０は、一例として、ＳＰＡＤ（Single Photon Avalanche Diode） ＬｉＤＡＲである。測距センサ１０は、移動体である車両Ａの前端部又は車両Ａのルーフ等に配置されており、車両Ａと一体的に移動する。測距センサ１０の測定範囲は、例えば車両Ａの周辺のうち少なくとも前方範囲を含むように設定されている。

測距センサ１０は、発光部１１、受光部１２及び制御ユニット１３等を含む構成である。発光部１１は、光源から発光された光ビームを、可動光学部材（例えばポリゴンミラー）を用いて走査することにより、測定範囲へ向けて照射する。光源は、例えば半導体レーザ（Laser diode）であり、制御ユニット１３からの電気信号に応じて、乗員及び外界の人間から視認不能な可視外領域（例えば、近赤外域）の光ビームを、パルス状に照射する。

受光部１２は、集光レンズ及び受光素子１２ａを有している。集光レンズは、測定範囲内の物体によって反射された光ビームの反射光、及び反射光に対する背景光を集光し、受光素子１２ａに入射させる。受光素子１２ａは、光電変換により光を電気信号に変換する素子である。受光素子１２ａは、光ビームの反射光を効率的に検出するため、可視域に対して近赤外域の感度が高く設定されたＣＭＯＳセンサとされている。受光素子１２ａの各波長域に対する感度は、光学フィルタによって調整されてよい。受光素子１２ａは、１次元方向又は２次元方向にアレイ状に配列された複数の受光画素を有している。個々の受光画素は、ＳＰＡＤを用いた構成であり、フォトンの入射で発生した電子をアバランシェ倍増によって増幅することにより、高感度な光検出を可能にしている。

制御ユニット１３は、発光部１１及び受光部１２を制御する。制御ユニット１３は、例えば受光素子１２ａと共通の基板上に配置されている。制御ユニット１３は、例えばマイクロコントローラ又はＦＰＧＡ（Field-Programmable Gate Array）等の広義のプロセッサを主体に構成されている。制御ユニット１３は、走査制御機能、反射光測定機能及び背景光測定機能を実現している。

走査制御機能は、発光部１１による光ビームの走査を制御する機能である。制御ユニット１３は、測距センサ１０に設けられたクロック発振器の動作クロックに基づいたタイミングにて、光源から光ビームをパルス状に複数回発振させる。加えて制御ユニット１３は、光ビームの照射に同期させて、可動光学部材を動作させる。

反射光測定機能は、光ビームの走査のタイミングに合わせて、個々の受光画素にて受光された反射光に基づく電圧値を読み出し、反射光の強度を測定する機能である。制御ユニット１３は、受光素子１２ａの出力パルスにおけるピークの発生タイミングにより、反射光の到来時刻を感知する。制御ユニット１３は、光源からの光ビームの射出時刻と反射光の到来時刻との時間差を計測することにより、光の飛行時間（Time of Flight）を測定する。

以上の走査制御機能及び反射光測定機能の連携により、画像状のデータである反射光画像ＩｍＲが生成される。制御ユニット１３は、ローリングシャッター方式で反射光を測定し、反射光画像ＩｍＲを生成する。詳記すると、制御ユニット１３は、例えば水平方向への光ビームの走査に合わせて、測定範囲に対応した画像平面上にて横方向に並ぶ画素群の情報を、一行又は複数行ずつ生成する。制御ユニット１３は、行毎に順次生成した画素情報を縦方向に合成し、１つの反射光画像ＩｍＲを生成する。

反射光画像ＩｍＲは、発光部１１からの光照射に応じた反射光を受光素子１２ａが検出（感知）することにより得られる距離情報を含む画像データである。反射光画像ＩｍＲの各画素には、光の飛行時間を示す値が含まれている。光の飛行時間を示す値は、言い換えれば、測距センサ１０から測定範囲にある物体の反射点までの距離を示す距離値である。加えて反射光画像ＩｍＲの各画素には、反射光の強度を示す値が含まれている。即ち、反射光画像ＩｍＲは、反射光の輝度分布を表す画像データとなる。

背景光測定機能は、反射光を測定する直前のタイミングにて、各受光画素が受光した背景光に基づく電圧値を読み出し、背景光の強度を測定する機能である。ここで背景光とは、反射光を実質的に含まない、外界のうち測定範囲から受光素子１２ａへ入射する入射光を意味する。入射光には、自然光、外界の表示等から入射する表示光等が含まれる。制御ユニット１３は、反射光画像ＩｍＲと同様に、ローリングシャッター方式で背景光を測定し、背景光画像ＩｍＬを生成する。背景光画像ＩｍＬは、光照射前での背景光の輝度分布を表す画像データであり、反射光画像ＩｍＲと同一の受光素子１２ａにより検出される背景光の輝度情報を含んでいる。即ち、背景光画像ＩｍＬにおいて２次元状に並ぶ各画素の値は、測定範囲の対応する箇所における背景光の強度を示す輝度値である。

反射光画像ＩｍＲ及び背景光画像ＩｍＬは、共通の受光素子１２ａにより感知され、当該受光素子１２ａを含む共通の光学系から取得される。故に、反射光画像ＩｍＲの座標系と背景光画像ＩｍＬの座標系とは、互いに一致する同座標系とみなすことができる。加えて、反射光画像ＩｍＲと背景光画像ＩｍＬとの間にて、測定タイミングのずれも殆どない（例えば１ｎｓ未満）。故に、連続的に取得された一組の反射光画像ＩｍＲと背景光画像ＩｍＬとは、同期もとれているとみなし得る。加えて、反射光画像ＩｍＲ及び背景光画像ＩｍＬは、個々の画素同士の対応を一義的に取ることが可能となっている。反射光画像ＩｍＲ及び背景光画像ＩｍＬは、各画素に対応して、反射光の強度、物体までの距離、及び背景光の強度の３チャンネルのデータを含む一体的な画像データとして、画像処理ＥＣＵ３０へ逐次出力される。尚、互いに紐づく反射光画像ＩｍＲ及び背景光画像ＩｍＬは、以下の説明において、「センサ画像ＩｍＳ」と記載することがある。

画像処理ＥＣＵ３０は、処理部３１、ＲＡＭ３２、記憶部３３、入出力インターフェース３４及びこれらを接続するバス等を備えた演算回路を主体として含む電子制御装置である。処理部３１は、ＲＡＭ３２と結合された演算処理のためのハードウェアである。処理部３１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphical Processing Unit）、ＦＰＧＡ等の演算コアを少なくとも１つ含んでいる。処理部３１は、他の専用機能を備えたＩＰコア等をさらに含んでなる画像処理チップとして構成可能である。こうした画像処理チップは、自動運転用途専用に設計されたＡＳＩＣ（Application Specific Integrated Circuit）であってよい。処理部３１は、ＲＡＭ３２へのアクセスにより、後述する各機能部の機能を実現するための種々の処理を実行する。記憶部３３は、不揮発性の記憶媒体を含む構成である。記憶部３３には、処理部３１によって実行される種々のプログラム（画像処理プログラム等）が格納されている。

画像処理ＥＣＵ３０は、測距センサ１０の画像情報を処理し、いわゆる複数フレーム超解像技術を用いて、測距センサ１０から入力される入力画像よりも解像度の高い出力画像、即ち高解像画像を生成する。画像処理ＥＣＵ３０は、記憶部３３に記憶された画像処理プログラムを処理部３１によって実行し、画像取得部４１、車両情報取得部４２、マッチング処理部４３、超解像処理部４４、及び出力部４５等の機能部を備える。これら機能部のうちで、マッチング処理部４３、超解像処理部４４及び超解像処理部４４は、画像処理を実行する画像処理ブロックである。

画像取得部４１は、反射光画像ＩｍＲ及び背景光画像ＩｍＬを互いに紐付けて、測距センサ１０より取得する。反射光画像ＩｍＲ及び背景光画像ＩｍＬは共に、車両Ａに設けられた受光素子１２ａの検出に基づく画像データである。画像取得部４１は、画像データのバッファ機能を有しており、反射光画像ＩｍＲ及び背景光画像ＩｍＬのそれぞれについて、数フレーム分の画像データを一時的に記憶可能である。画像取得部４１は、マッチング処理部４３及び超解像処理部４４にて必要とされるフレーム分のセンサ画像ＩｍＳを、逐次提供可能である。一例として、画像取得部４１は、最新（例えば、時刻ｔ＋１）の反射光画像ＩｍＲ及び背景光画像ＩｍＬに加えて、１フレーム前（例えば、時刻ｔ）の反射光画像ＩｍＲ及び背景光画像ＩｍＬを、マッチング処理部４３及び超解像処理部４４に提供する。

車両情報取得部４２は、車載ネットワーク９０に出力された車両情報を、自動運転ＥＣＵ５０を介して取得する。車両情報取得部４２は、例えば車速等の車両Ａの移動状態を特定する車両情報を取得する。車両情報取得部４２は、車両Ａの移動状態に適した画像処理が実施されているように、画像取得部４１、マッチング処理部４３及び超解像処理部４４に、取得した車両情報を逐次提供する。

図１～図４に示すマッチング処理部４３は、反射光画像ＩｍＲ及び背景光画像ＩｍＬのうちの一方である第１画像を複数準備し、複数の第１画像に対してサブピクセルマッチング処理を実施する。サブピクセルマッチング処理は、フレーム間の対応付けを行う処理である。本実施形態では、背景光画像ＩｍＬが第１画像とされる。マッチング処理部４３は、時系列に連続する複数フレームの背景光画像ＩｍＬ（時刻ｔ，ｔ＋１，ｔ＋２・・・）を重ね合わせた場合に、個々の背景光画像ＩｍＬに共通して写る被写対象ＰＯをぴったり一致させることが可能な位置合わせ情報を生成する。

具体的に、マッチング処理部４３は、位置合わせ情報として、変形量（ｍ）を算出する。こうした変形量（ｍ）は、言い換えれば、画像を重ね合わせる際のずれを補正するための移動量である。変形量（ｍ）は、一般的にホモグラフィー行列と呼ばれる形式で与えられる。ホモグラフィー行列は、３×３の画像変換行列であり、画像の回転、平行移動、拡大縮小などの変換を行うことができる。一例として、時刻ｔの背景光画像ＩｍＬを基準とする場合、マッチング処理部４３は、時刻ｔ＋１，ｔ＋２の各背景光画像ＩｍＬを時刻ｔの背景光画像ＩｍＬに一致させる２つの変形量（ｍ１），（ｍ２）を算出する（図３参照）。

マッチング処理部４３は、複数の背景光画像ＩｍＬにおける個々の画素の輝度値の差分から、変形量（ｍ）を推定する。マッチング処理部４３は、ブロックマッチング等を用いて、各画素の輝度値の差分の二乗和が最小となるように、画素単位での変形量（整数値）をまず求める。次に、マッチング処理部４３は、上記の変形量の整数値を前提とした範囲で、関数近似を利用して、背景光画像ＩｍＬの１画素の単位よりも小さい小数点精度での変形量を算出する。マッチング処理部４３は、パラボラフィッティング又は等角直線フィッティング等を用いて、サブピクセルオーダーの変形量を取得する。

超解像処理部４４は、反射光画像ＩｍＲ及び背景光画像ＩｍＬのうちの他方である第２画像であって、サブピクセルマッチング処理の対象とされた第１画像にそれぞれ紐づく第２画像を複数準備する。本実施形態では、反射光画像ＩｍＲが第２画像とされ、サブピクセルマッチング処理の対象とされた背景光画像ＩｍＬと同時刻に撮影された反射光画像ＩｍＲが準備される。超解像処理部４４は、背景光画像ＩｍＬのサブピクセルマッチング処理にて得られた変形量（ｍ）を用いて、複数の反射光画像ＩｍＲに対する超解像処理を行い、反射光画像ＩｍＲの高解像画像（以下、「高解像反射光画像ＩＨＲ」）を生成する。

超解像処理部４４は、再構成法による超解像処理を実施する。超解像処理部４４は、特定（時刻ｔ）の反射光画像ＩｍＲを、バイキュービック法等の補間技術を用いてアップコンバートし、仮の高解像反射光画像ＩＨＲを生成する。次に、超解像処理部４４は、高解像反射光画像ＩＨＲへの関数の適用により、高解像反射光画像ＩＨＲを反射光画像ＩｍＲと同じ解像度までダウンコンバートした第１比較画像ＩｍＥ１及び第２比較画像ＩｍＥ２を生成する。

第１比較画像ＩｍＥ１は、時刻ｔに撮影された反射光画像ＩｍＲと比較される画像である。第１比較画像ＩｍＥ１は、仮の高解像反射光画像ＩＨＲを縮小してなる。第２比較画像ＩｍＥ２は、時刻ｔ＋１に撮影された反射光画像ＩｍＲと比較される画像である。第２比較画像ＩｍＥ２は、高解像反射光画像ＩＨＲを縮小しつつ、サブピクセルマッチング処理にて得られた変形量（ｍ）を適用することにより生成される。

以上のように、仮の高解像反射光画像ＩＨＲから各比較画像ＩｍＥ１，ＩｍＥ２を生成する処理は、実際の被写対象ＰＯを受光素子１２ａで撮影する行程を数学的にシミュレートする内容である。そのため、高解像反射光画像ＩＨＲに適用される関数には、測距センサ１０の撮影時に反射光画像ＩｍＲに生じるぼけ方の態様を反映させるＰＳＦ（Point Spread Function）関数が含まれる。

詳記すると、反射光画像ＩｍＲのぼけ方の態様は、発光部１１から照射される光ビームの広がり形状に関連している。光ビームの広がりが大きければ、特定画素にて検出されるべき光が、その周囲の多数の画素よっても検出されるようになり、反射光画像ＩｍＲのぼけが増加する。反対に、光ビームの広がりが小さければ、反射光画像ＩｍＲのぼけも減少する。こうした測距センサ１０の構造的な光学特性を超解像処理に忠実に反映させるため、超解像処理部４４は、光ビームの広がり形状を示すビーム形状情報を用いて、高解像反射光画像ＩＨＲに適用するＰＳＦ関数を決定する。ビーム形状情報は、測距センサ１０から提供される情報であってもよく、記憶部３３から読み出される情報であってもよい。

超解像処理部４４は、数学的に生成した第１比較画像ＩｍＥ１及び第２比較画像ＩｍＥ２と、実際の各反射光画像ＩｍＲとの誤差を算出する。超解像処理部４４は、画像間で生じている誤差を補償するように、仮設定した高解像反射光画像ＩＨＲの距離値を更新するための更新量を算出する。超解像処理部４４は、算出した更新量を現在の高解像反射光画像ＩＨＲに適用し、高解像反射光画像ＩＨＲを正しい状態に近づけていく。超解像処理部４４は、誤差計算と高解像反射光画像ＩＨＲの更新とを複数回（数回～数十回）繰り返すことにより、高解像反射光画像ＩＨＲを完成させる。超解像処理部４４は、生成した高解像反射光画像ＩＨＲを、出力部４５に提供する。

ここまで説明した超解像処理は、以下の数式（１）を最小化する演算によって実施可能である。

上記の数式（１）において、ｆは、処理中の高解像反射光画像ＩＨＲである。ｇは、上述のＰＳＦ関数である。Ｄは、縮小変形関数であって、サブピクセルマッチング処置にて得られた変形量に基づく関数である。ｄ＿ｓｐａｄ（ｔ）は、時刻ｔにおける反射光画像ＩｍＲの距離値である。Ｅは、画像のエッジを抽出する関数であり、一例としてラプラシアンフィルタ等が用いられる。ラプラシアンフィルタは、画像中の平坦部における距離値を一定に保つ効果を発揮する。αは、拘束パラメータである。

出力部４５は、超解像処理部４４にて生成された高解像反射光画像ＩＨＲを用いて、自動運転ＥＣＵ５０への提供情報を生成する。具体的に、出力部４５は、高解像反射光画像ＩＨＲから特定する被写対象ＰＯまでの距離及び被写対象ＰＯのサイズ等の情報を、自動運転ＥＣＵ５０へ向けて逐次出力可能である。

さらに、画像取得部４１、マッチング処理部４３及び超解像処理部４４は、車両Ａの移動状態を示す車両情報（移動体情報）に基づき、サブピクセルマッチング処理及び超解像処理の内容を変更する。こうした制御により、画像処理ＥＣＵ３０より出力される提供情報の遅延及び精度が、車両Ａの走行状態に最適化される。

具体的に、車両Ａの走行速度が閾値を超えている場合、マッチング処理部４３及び超解像処理部４４は、それぞれサブピクセルマッチング処理及び超解像処理を一時的に中断する。この場合、出力部４５には、高解像反射光画像ＩＨＲに替えて、最新の反射光画像ＩｍＲがそのまま提供される。以上によれば、車両Ａが高速で走行しているシーン等では、自動運転ＥＣＵ５０への提供情報の遅延が最小限に抑えられる。

さらに、超解像処理部４４は、車両情報に基づき、超解像処理における繰り返し演算の繰り返し回数を変更する。具体的に、超解像処理部４４は、車両Ａの走行速度が高くなるほど、繰り返し演算の回数を少なくする。その結果、自動運転ＥＣＵ５０への提供情報に生じる遅延は、走行速度が高くなるに従って、段階的に低減される。反対に、超解像処理部４４は、車両Ａの走行速度が低くなるほど、繰り返し演算の回数を多くする。その結果、提供情報の精度は、走行速度が低くなるに従って、段階的に向上する。

また、マッチング処理部４３及び超解像処理部４４は、サブピクセルマッチング処理及び超解像処理に用いる各画像のフレーム数を、車両情報に基づき変更する。具体的に、車両Ａの走行速度が高くなるほど、処理対象とされる画像フレーム数は、少なくされる。その結果、提供情報に生じる遅延も、走行速度が高くなるに従って、段階的に低減される。反対に、車両Ａの走行速度が低くなるほど、処理対象とされる画像フレーム数は、多くされる。その結果、提供情報の精度は、走行速度が低くなるに従って、段階的に向上する。

次に、ここまで説明したサブピクセルマッチング処理及び超解像処理を実現する画像処理方法の詳細を、図５に示すフローチャートに基づき、図１～図４を参照しつつ、以下説明する。図５に示す画像処理は、自動運転システム１１０の起動後、初期処理等を完了させた画像処理ＥＣＵ３０によって開始される。画像処理ＥＣＵ３０は、自動運転システム１１０の停止まで、図５に示すフローチャートの各ステップを繰り返し実施する。図５に示す各ステップのうち、Ｓ１０１～Ｓ１０３はマッチング処理部４３にて実施され、Ｓ１１１～Ｓ１２０は超解像処理部４４にて実施される。

マッチング処理部４３は、Ｓ１０１にて、車両情報取得部４２にて取得される車両情報に基づき、サブピクセルマッチング処理の実施内容を設定し、Ｓ１０２に進む。同様に、超解像処理部４４は、Ｓ１１１にて、車両情報取得部４２にて取得される車両情報に基づき、超解像処理の実施内容を設定し、Ｓ１１２に進む。

ここで、Ｓ１０１及びＳ１１１にて設定される各処理の実施内容は、互いに拘束されており、別々の内容にはならない。Ｓ１０１及びＳ１１１では、具体的に、各処理の実施の有無及び各処理にて対象とする画像フレームの数を、一体的に決定する。加えて、Ｓ１１１では、超解像処理における反復演算の繰り返し回数を決定する。尚、車両情報に基づきサブピクセルマッチング処理及び超解像処理を不実施とした場合、マッチング処理部４３及び超解像処理部４４は、Ｓ１０１及びＳ１１１をそれぞれ繰り返し、各処理の開始を待機する。

マッチング処理部４３は、Ｓ１０２にて、画像取得部４１と連携し、複数フレーム分の背景光画像ＩｍＬを準備して、Ｓ１０３に進む。同様に、超解像処理部４４は、Ｓ１１２にて、画像取得部４１と連携し、複数フレーム分の反射光画像ＩｍＲを準備して、Ｓ１１３に進む。Ｓ１０２及びＳ１１２では、同一時刻に撮影された背景光画像ＩｍＬ及び反射光画像ＩｍＲが、Ｓ１０１及びＳ１１１にて設定されたフレーム数だけ準備される。

マッチング処理部４３は、Ｓ１０３にて、複数の背景光画像ＩｍＬに対するサブピクセルマッチング処理を行い、フレーム数に応じた数の変形量（ｍ）を生成する。変形量（ｍ）は、処理対象である複数の背景光画像ＩｍＬのうちで、最も過去（例えば、時刻ｔ）に撮影された背景光画像ＩｍＬを基準とした値とされる。マッチング処理部４３は、位置合わせ情報として生成した変形量（ｍ）を超解像処理部４４に提供し（Ｓ１１６参照）、Ｓ１０１に戻る。

一方、超解像処理部４４は、Ｓ１１３にて、サブピクセルマッチング処理にて基準とされる背景光画像ＩｍＬと同時刻（時刻ｔ）の反射光画像ＩｍＲをアップコンバートする。Ｓ１１３では、入力された反射光画像ＩｍＲよりも高解像度な初期の高解像反射光画像ＩＨＲを準備して、Ｓ１１４及びＳ１１６に進む。Ｓ１１４では、高解像反射光画像ＩＨＲをダウンコンバートして、第１比較画像ＩｍＥ１を生成し、Ｓ１１５に進む。Ｓ１１４の縮小処理には、ビーム形状情報が使用される。Ｓ１１５では、第１比較画像ＩｍＥ１と時刻ｔの反射光画像ＩｍＲとを比較し、これらの画像間に生じた距離値の誤差を計算して、Ｓ１１８に進む。

Ｓ１１６では、Ｓ１１４の処理と併行し、高解像反射光画像ＩＨＲをダウンコンバートして、第２比較画像ＩｍＥ２を生成し、Ｓ１１７に進む。Ｓ１１６では、縮小処理に加えて、変形処理も実施する。Ｓ１１６の変形処理には、Ｓ１０３にて算出される変形量（ｍ）が使用される。Ｓ１１７では、第２比較画像ＩｍＥ２と時刻ｔ＋１の反射光画像ＩｍＲとを比較し、これらの画像間に生じた距離値の誤差を計算して、Ｓ１１８に進む。

Ｓ１１８では、Ｓ１１５及びＳ１１７にて算出された各誤差を用いて、現在の高解像反射光画像ＩＨＲに適用する更新量を算出する。Ｓ１１８では、算出した更新量を高解像反射光画像ＩＨＲに反映し、Ｓ１１９に進む。

Ｓ１１９では、反復演算の繰り返し回数がＳ１１１にて設定した規定回数に到達したか否かを判定する。Ｓ１１９にて、設定済みの繰り返し回数に未達である判定した場合、Ｓ１１４及びＳ１１６に戻り、高解像反射光画像ＩＨＲを更新し、高画質化する処理を継続する。一方で、Ｓ１１９にて、設定済みの繰り返し回数に到達したと判定した場合、Ｓ１２０に進む。Ｓ１２０では、直前のＳ１１８で更新量を反映した高解像反射光画像ＩＨＲを、超解像処理による出力画像として出力部４５に提供し、Ｓ１１１に戻る。

ここまで説明した本実施形態では、互いに紐づく反射光画像ＩｍＲ及び背景光画像ＩｍＬのうちの一方に対してサブピクセルマッチング処理が行われ、超解像処理に必要な位置合わせ情報が準備される。そして、こうした位置合わせ情報を用いて、反射光画像ＩｍＲ及び背景光画像ＩｍＬのうちの他方に対する超解像処理が実施され、高解像反射光画像ＩＨＲ等が生成される。以上のように、超解像処理の実施による高解像化によれば、解像度の高い検出データの取得が可能になる。

加えて本実施形態では、複数の背景光画像ＩｍＬに対してサブピクセルマッチング処理が実施され、その位置合わせ情報を用いた高解像処理により、反射光画像ＩｍＲが高解像化される。輝度情報を含む背景光画像ＩｍＬには、例えば物体表面のテクスチャの状態が記録されている。故に、背景光画像ＩｍＬは、反射光画像ＩｍＲよりもサブピクセルマッチングにて得られる位置合わせ情報の精度が確保され易い。そのため、複数の背景光画像ＩｍＬから取得する位置合わせ情報を用いた超解像処理では、単に複数の反射光画像ＩｍＲを用いた超解像処理と比較して、復元される高解像反射光画像ＩＨＲの高画質化が可能になる。

ここで一般に、走査型のＬｉＤＡＲによる検出データでは、ある位置のセンシング点と、その次のセンシング点との間に隙間が空き易く、密な検出データの取得は困難となる。特に、走査方向と直交する方向は、光源及び受光素子１２ａの配置によってセンシング点の間隔が決定されるため、解像度は、いっそう低くなり易い。

しかし、本実施形態の画像処理ＥＣＵ３０は、走査型の測距センサ１０にて撮影された複数の背景光画像ＩｍＬ間でサブピクセルマッチング処理を行い、各画像間での対応関係を計算することで、反射光画像ＩｍＲへの超解像処理の適用を可能にしている。以上のように、ソフトウェア的に解像度を向上させる処理は、ハードウェア的な制約で高解像化が困難な走査型の測距センサ１０の検出データに適用されることで、当該検出データの有益性を顕著に高めることができる。

さらに本実施形態では、発光部１１より照射される光ビームの広がり形状を示すビーム形状情報が、超解像処理にて用いられる。具体的には、仮設定した高解像反射光画像ＩＨＲから第１比較画像ＩｍＥ１及び第２比較画像ＩｍＥ２を生成する際に、ビーム形状情報が用いられる。以上によれば、測距センサ１０固有のハードウェア情報が超解像処理に有効に利用される。したがって、超解像処理部４４は、繰り返し演算を通じて、高解像反射光画像ＩＨＲの正確性を効率的に高めていくことができる。

加えて本実施形態のマッチング処理部４３及び超解像処理部４４は、車両Ａの移動の状態を示す車両情報に基づき、サブピクセルマッチング処理及び超解像処理の各内容を変更する。画像処理ＥＣＵ３０の演算処理能力には上限があるため、高解像反射光画像ＩＨＲに基づく提供情報では、遅延及び精度が互いにトレードオフとなる。故に、車両Ａの移動状態に応じて各処理の内容を変更すれば、画像処理ＥＣＵ３０は、提供情報の遅延及び精度を、各移動状態で許容され得る範囲内に適切に調整することができる。

また本実施形態のマッチング処理部４３及び超解像処理部４４は、車両情報に基づき、それぞれサブピクセルマッチング処理及び超解像処理を中断できる。以上によれば、例えば高速で走行するシーンのように低遅延が要求される場合にて、画像処理ＥＣＵ３０は、測距センサ１０による最新の検出データを迅速に自動運転ＥＣＵ５０等に提供できる。

さらに本実施形態の超解像処理部４４は、車両情報に基づき、超解像処理における繰り返し演算の繰り返し回数を変更できる。加えて本実施形態のマッチング処理部４３及び超解像処理部４４は、サブピクセルマッチング処理及び超解像処理に用いる各画像のフレーム数を、車両情報に基づき変更できる。こうした制御によれば、例えば市街地を走行している場合等、比較的遅延が許容され得るシーンにおいて、画像処理ＥＣＵ３０は、高画質な高解像反射光画像ＩＨＲに基づく精度の高い提供情報を、自動運転ＥＣＵ５０等に提供できる。その結果、自動運転ＥＣＵ５０は、歩行者等の検出サイズの小さい周辺物体を適確に認識可能となる。一方で、車両Ａが比較的高速で走行するシーンにて、画像処理ＥＣＵ３０は、提供情報の遅延量と精度とをバランスさせることができる。以上によれば、画像処理ＥＣＵ３０は、演算処理能力に制限があったとしても、自動運転ＥＣＵ５０の制御に好適な情報の提供を継続できる。

尚、上記実施形態では、処理部３１が「プロセッサ」に相当し、画像処理ＥＣＵ３０が「画像処理装置」に相当し、センサパッケージ１００が「画像処理システム」に相当する。また、背景光画像ＩｍＬが「第１画像」に相当し、反射光画像ＩｍＲが「第２画像」に相当し、高解像反射光画像ＩＨＲが「高解像画像」に相当する。さらに、車両Ａが「移動体」に相当し、車両情報が「移動体情報」に相当する。

＜他の実施形態＞
以上、本開示の複数の実施形態について説明したが、本開示は、上記実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。

上記実施形態の変形例１のマッチング処理部４３は、複数の反射光画像ＩｍＲに対してサブピクセルマッチング処理を実施する。そして、超解像処理部４４は、反射光画像ＩｍＲのサブピクセルマッチング処理にて得られる位置合わせ情報を用いた超解像処理により、背景光画像ＩｍＬの高解像画像（高解像背景光画像）を生成する。こうした変形例１では、例えば暗所で撮影された輝度変化の少ない背景光画像ＩｍＬを、反射光画像ＩｍＲから抽出した位置合わせ情報を用いて、高解像化可能である。

以上の変形例１のように、背景光画像ＩｍＬに対して超解像処理を行う場合、超解像処理部４４は、仮の高解像背景光画像から第１，第２比較画像を生成するダウンコンバートの処理にて、上述のＰＳＦ関数を使用しない。超解像処理部４４は、ＰＳＦ関数をとは異なる関数を用いて、撮影時の背景光画像ＩｍＬのぼけやにじみを再現した第１，第２比較画像を生成する。

上記実施形態の変形例２では、車両情報に基づく超解像処理等の内容変更の詳細が異なっている。変形例２の画像処理ＥＣＵ３０は、超解像処理の中断、繰り返し演算の回数の変更、及び超解像処理に用いる画像のフレーム数変更のうちで、１つ又は２つのみを実施する。尚、車両情報に基づく超解像処理等の内容変更は、実施されなくてもよい。また、車両情報は、車速に限定されず、適宜変更されてよい。

上記実施形態の変形例３では、例えば倉庫等で使用される資材運搬用の自走式ロボットに測距センサ１０が搭載されている。こうした変形例３のように、測距センサ１０を搭載する移動体は、車両に限定されない。さらに、変形例４の測距センサ１０は、非移動体である静止構造物に設置されており、予め決定された測定範囲の画像データを出力する。以上のような変形例３，４でも、画像処理ＥＣＵ３０は、測距センサ１０より出力される反射光画像ＩｍＲ又は背景光画像ＩｍＬを高解像化可能である。

上記実施形態の変形例５の測距センサ１０は、ポリゴンミラー等の可動光学部材を備えない非走査側のライダ装置である。こうしたライダ装置では、反射光画像ＩｍＲ及び背景光画像ＩｍＬは、グローバルシャッター方式で撮像されてもよい。さらに、測距センサ１０にて撮影される反射光画像ＩｍＲ及び背景光画像ＩｍＬのフレームレート及び解像度は、適宜変更されてよい。加えて、反射光画像ＩｍＲ及び背景光画像ＩｍＬの解像度に関連して、超解像処理により生成される高解像反射光画像ＩＨＲの解像度も、適宜変更されてよい。

上記実施形態の変形例６において、測距センサ１０は、例えば外界カメラと一体型とされたセンサユニットを構成している。また変形例７では、測距センサ１０及び画像処理ＥＣＵ３０を一体型とした、センサパッケージユニットが構成されている。さらに、変形例８では、画像処理ＥＣＵ３０及び自動運転ＥＣＵ５０の各機能が、１つの統合制御ＥＣＵに纏めて実装されている。また変形例９では、サブピクセルマッチング処理及び超解像処理の少なくとも一部が、ネットワーク上に設けられたコンピュータによって実行される。こうした変形例９では、超解像処理によって生成された高解像反射光画像ＩＨＲが、ネットワークを通じて、車両Ａの自動運転ＥＣＵ５０に提供される。

上記実施形態の変形例１０では、複数の測距センサ１０が画像処理ＥＣＵ３０に画像データを逐次出力する。画像処理ＥＣＵ３０は、個々の測距センサ１０の画像データに対して、個別に超解像処理等を実行する。測距センサ１０の測定範囲は、車両Ａの前方範囲に限定されず、側方範囲や後方範囲であってもよい。

上記実施形態の変形例１１では、測距センサ１０に加えて、例えばカメラ装置、レーダ装置及びソナー装置等の自律センサが画像処理ＥＣＵ３０に電気的に接続されている。画像処理ＥＣＵ３０の出力部４５は、超解像処理部４４によって生成された高解像反射光画像ＩＨＲを、各自律センサの検出データと融合させて、走行環境認識のための提供情報を生成可能である。

上記実施形態において、画像処理ＥＣＵ３０により提供されていた各機能は、ソフトウェア及びそれを実行するハードウェア、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの複合的な組み合わせによっても提供可能である。さらに、こうした機能がハードウェアとしての電子回路によって提供される場合、各機能は、多数の論理回路を含むデジタル回路、又はアナログ回路によっても提供可能である。

さらに、上記の画像処理方法を実現可能な画像処理プログラム等を記憶する記憶媒体の形態も、適宜変更されてもよい。例えば記憶媒体は、回路基板上に設けられた構成に限定されず、メモリカード等の形態で提供され、スロット部に挿入されて、画像処理ＥＣＵ３０の制御回路に電気的に接続される構成であってもよい。さらに、記憶媒体は、画像処理ＥＣＵ３０のプログラムのコピー基となる光学ディスク及びハードディスクであってもよい。

本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された１つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置及びその手法は、専用ハードウェア論理回路により、実現されてもよい。もしくは、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと１つ以上のハードウェア論理回路との組み合わせにより構成された１つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

１０ 測距センサ、１２ａ 受光素子、３０ 画像処理ＥＣＵ（画像処理装置）、３１ 処理部（プロセッサ）、４１ 画像取得部、４３ マッチング処理部、４４ 超解像処理部、１００ センサパッケージ（画像処理システム）、Ａ 車両（移動体）、ＩｍＬ 背景光画像、ＩｍＲ 反射光画像、ＩＨＲ 高解像反射光画像（高解像画像）

Claims (8)

1. 光照射に応じた反射光を受光素子（１２ａ）が検出することにより得られる距離情報を含む反射光画像（ＩｍＲ）、及び前記反射光に対する背景光を前記受光素子にて検出する輝度情報を含む背景光画像（ＩｍＬ）を、互いに紐づけて取得する画像取得部（４１）と、
   前記反射光画像及び前記背景光画像のうちの一方である第１画像を複数準備し、複数の前記第１画像に対してサブピクセルマッチング処理を行うマッチング処理部（４３）と、
   前記反射光画像及び前記背景光画像のうちの他方である第２画像であって、前記サブピクセルマッチング処理の対象とされた前記第１画像にそれぞれ紐づく前記第２画像を複数準備し、前記サブピクセルマッチング処理にて得られる位置合わせ情報を用いて複数の前記第２画像に対する超解像処理を行い、高解像画像（ＩＨＲ）を生成する超解像処理部（４４）と、
   を備える画像処理装置。
2. 前記マッチング処理部は、複数の前記背景光画像に対して前記サブピクセルマッチング処理を実施し、
   前記超解像処理部は、前記背景光画像の前記サブピクセルマッチング処理にて得られる前記位置合わせ情報を用いた前記超解像処理により、前記反射光画像の前記高解像画像を生成する請求項１に記載の画像処理装置。
3. 前記超解像処理部は、
   前記受光素子にて前記反射光として検出される光ビームの広がり形状を示すビーム形状情報を前記超解像処理に用いて、前記高解像画像を生成する請求項２に記載の画像処理装置。
4. 前記画像取得部は、移動体（Ａ）に設けられる前記受光素子の検出に基づく前記反射光画像及び前記背景光画像を取得し、
   前記超解像処理部は、前記移動体の状態を示す移動体情報に基づき、前記超解像処理の内容を変更する請求項１～３のいずれか一項に記載の画像処理装置。
5. 前記超解像処理部は、
   前記超解像処理を中断すること、
   前記超解像処理における繰り返し演算の回数を変更すること、
   前記超解像処理に用いる前記第１画像の数を変更すること、
   の少なくとも１つを、前記移動体情報に基づき実施する請求項４に記載の画像処理装置。
6. 少なくとも１つのプロセッサ（３１）にて実行される処理に、
   光照射に応じた反射光を受光素子（１２ａ）が検出することにより得られる距離情報を含む反射光画像（ＩｍＲ）、及び前記反射光に対する背景光を前記受光素子にて検出する輝度情報を含む背景光画像（ＩｍＬ）を、互いに紐づけて取得すること（Ｓ１０２，Ｓ１１２）、
   前記反射光画像及び前記背景光画像のうちの一方である第１画像を複数準備し、複数の前記第１画像に対してサブピクセルマッチング処理を行うこと（Ｓ１０３）、
   前記反射光画像及び前記背景光画像のうちの他方である第２画像であって、前記サブピクセルマッチング処理の対象とされた前記第１画像にそれぞれ紐づく前記第２画像を複数準備し、前記サブピクセルマッチング処理にて得られる位置合わせ情報を用いて複数の前記第２画像に対する超解像処理を行い、高解像画像（ＩＨＲ）を生成すること（Ｓ１１３～Ｓ１１８）、
   を含む画像処理方法。
7. 少なくとも１つのプロセッサ（３１）に、
   光照射に応じた反射光を受光素子（１２ａ）が検出することにより得られる距離情報を含む反射光画像（ＩｍＲ）、及び前記反射光に対する背景光を前記受光素子にて検出する輝度情報を含む背景光画像（ＩｍＬ）を、互いに紐づけて取得し（Ｓ１０２，Ｓ１１２）、
   前記反射光画像及び前記背景光画像のうちの一方である第１画像を複数準備し、複数の前記第１画像に対してサブピクセルマッチング処理を行い（Ｓ１０３）、
   前記反射光画像及び前記背景光画像のうちの他方である第２画像であって、前記サブピクセルマッチング処理の対象とされた前記第１画像にそれぞれ紐づく前記第２画像を複数準備し、前記サブピクセルマッチング処理によって得られる位置合わせ情報を用いて複数の前記第２画像に対する超解像処理を行い、高解像画像（ＩＨＲ）を生成する（Ｓ１１３～Ｓ１１８）、
   ことを含む処理を実行させる画像処理プログラム。
8. 光照射に応じた反射光を受光素子（１２ａ）が検出することにより得られる距離情報を含む反射光画像（ＩｍＲ）、及び前記反射光に対する背景光を前記受光素子にて検出する輝度情報を含む背景光画像（ＩｍＬ）を生成する測距センサ（１０）と、
   前記反射光画像及び前記背景光画像のうちの一方である第１画像を複数準備し、複数の前記第１画像に対してサブピクセルマッチング処理を行うマッチング処理部（４３）と、
   前記反射光画像及び前記背景光画像のうちの他方である第２画像であって、前記サブピクセルマッチング処理の対象とされた前記第１画像にそれぞれ紐づく前記第２画像を複数準備し、前記サブピクセルマッチング処理にて得られる位置合わせ情報を用いて複数の前記第２画像に対する超解像処理を行い、高解像画像（ＩＨＲ）を生成する超解像処理部（４４）と、
   を備える画像処理システム。

Images