JP2025023015A - 情報処理方法、情報処理装置、およびプログラム - Google Patents

Abstract

【課題】画像の奥行きを正確に取得することができる情報処理方法を提供する。
【解決手段】この情報処理方法では、光源１０から照射されて被写体によって反射された光を受光する撮像を行うことでＩＲ画像を取得し、その被写体を可視光により撮像を行うことでＢＷ画像を取得し、ＩＲ画像およびＢＷ画像に基づいてフレア領域を検出する。
【選択図】図６

Description

本開示は、画像の奥行きを取得する奥行取得装置などに関する。

従来、被写体までの距離を測定する測距装置が提案されている（例えば、特許文献１参照）。この測距装置は、光源と撮像部とを備える。光源は被写体に光を照射する。撮像部は、その被写体で反射された反射光を撮像する。そして、測距装置は、その撮像によって得られた画像の各画素値を、被写体までの距離に変換することによって、その被写体までの距離を測定する。つまり、測距装置は、撮像部によって得られた画像の奥行きを取得する。

特開２０１１－６４４９８号公報

しかしながら、上記特許文献１の測距装置では、画像の奥行きを正確に取得することができないという課題がある。

そこで、本開示は、画像の奥行きを正確に取得することができる奥行取得装置を提供する。

本開示の一態様に係る情報処理方法では、光源から照射されて被写体によって反射された光を受光する撮像を行うことでＩＲ画像を取得し、前記被写体を可視光により撮像を行うことでＢＷ画像を取得し、前記ＩＲ画像および前記ＢＷ画像に基づいてフレア領域を検出する。

本開示の一態様に係る撮像装置は、被写体に照射光を照射する光源と、前記被写体の第１撮像、および前記照射光が前記被写体により反射した反射光を用いた第２撮像をする固体撮像素子と、前記固体撮像素子によって出力された前記被写体に関する被写体情報を用いてフレア領域を検出するフレア検出部と、検出した前記フレア領域に応じて出力情報を生成し、出力する出力部と、を備え、前記第１撮像と前記第２撮像とは実質的に同一の視点の撮像である。

本開示の一態様に係る奥行取得装置は、メモリと、プロセッサとを備え、前記プロセッサは、光源が被写体に赤外光を照射するタイミングを示すタイミング情報を取得し、前記タイミング情報によって示される前記タイミングに応じた、前記被写体を含むシーンの赤外光に基づく撮像によって得られ、前記メモリに保持されている赤外画像を取得し、前記赤外画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外画像と実質的に同一の視点および撮像時刻の撮像によって得られ、前記メモリに保持されている可視光画像を取得し、前記赤外画像からフレア領域を検出し、前記赤外画像、前記可視光画像、および前記フレア領域に基づいて、前記フレア領域の奥行きを推定する。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。また、記録媒体は、非一時的な記録媒体であってもよい。

本開示の奥行取得装置は、画像の奥行きを正確に取得することができる。本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施の形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。

図１は、実施の形態における奥行取得装置のハードウェア構成を示すブロック図である。 図２は、実施の形態における固体撮像素子が有する画素アレイを示す模式図である。 図３は、実施の形態おける、光源の発光素子の発光タイミングと、固体撮像素子の第１画素の露光タイミングとの関係を示すタイミング図である。 図４は、実施の形態おける奥行取得装置の機能構成の一例を示すブロック図である。 図５は、実施の形態おける奥行取得装置の機能構成の他の例を示すブロック図である。 図６は、実施の形態おける奥行取得装置の全体的な処理動作を示すフローチャートである。 図７は、実施の形態おける奥行取得装置のプロセッサによる全体的な処理動作を示すフローチャートである。 図８は、実施の形態おける奥行取得装置のプロセッサの具体的な機能構成を示すブロック図である。 図９Ａは、ＩＲ画像の一例を示す図である。 図９Ｂは、ＢＷ画像の一例を示す図である。 図１０は、ＩＲ画像の二値化によって得られる二値化画像の一例を示す図である。 図１１は、ＩＲ画像内の高輝度領域の一例を示す図である。 図１２は、ＩＲ画像の高輝度領域に対応するＢＷ画像の領域を示す図である。 図１３は、ＩＲ画像から検出されたフレア領域の一例を示す図である。 図１４は、実施の形態おける奥行取得装置のシミュレーション結果を示す図である。 図１５は、図８に示す奥行取得装置の全体的な処理動作を示すフローチャートである。 図１６は、図１５のステップＳ３１～Ｓ３４の詳細な処理を示すフローチャートである。 図１７は、図１５のステップＳ３１～Ｓ３４の代わりの処理の一例を示すフローチャートである。 図１８は、図１５のステップＳ３１～Ｓ３４の代わりの処理の他の例を示すフローチャートである。 図１９は、図１５のステップＳ３１～Ｓ３４の代わりの処理の他の例を示すフローチャートである。 図２０は、実施の形態の変形例１における奥行取得装置の機能構成の一例を示すブロック図である。 図２１は、実施の形態の変形例１における奥行取得装置の機能構成の他の例を示すブロック図である。 図２２は、実施の形態の変形例２におけるフレア検出部の処理動作を示すフローチャートである。 図２３は、実施の形態の変形例３における奥行取得装置の全体的な処理動作を示すフローチャートである。 図２４は、図２３のステップＳ３１ａ～Ｓ３４ａの詳細な処理を示すフローチャートである。 図２５は、図２３のステップＳ３１ａ～Ｓ３４ａの代わりの処理の一例を示すフローチャートである。 図２６は、図２３のステップＳ３１ａ～Ｓ３４ａの代わりの処理の他の例を示すフローチャートである。

（本開示の基礎となった知見）
本発明者は、「背景技術」の欄において記載した、特許文献１の測距装置に関し、以下の問題が生じることを見出した。

特許文献１の測距装置は、上述のように、光源から被写体に光を照射し、光が照射された被写体を撮像することによって画像を取得し、その画像の奥行きを測定する。この奥行きの測定には、ＴＯＦ（Time Of Flight）が用いられる。このような測距装置では、測距精度を向上させるために、互いに異なる撮像条件の撮像が行われる。つまり、測距装置は、所定の撮像条件にしたがって撮像を行い、その撮像結果に応じて、その所定の撮像条件と異なる撮像条件を設定する。そして、測距装置は、その設定された撮像条件にしたがって再び撮像を行う。

しかしながら、撮像によって得られる画像には、フレア、ゴースト、または輝度の飽和などが生じる場合がある。このフレアなどが生じている画像だけからは、奥行きを正しく測定することはできない。また、撮像条件を変更しても、フレアなどの発生を簡単に抑えることが難しい場合がある。さらに、例えば車両に搭載された測距装置が、その車両の走行中に、互いに異なる撮像条件で撮像を繰り返せば、繰り返し行われる撮像の視点位置が異なるため、得られる複数の画像のそれぞれのシーンは異なってしまう。つまり、同一のシーンに対して撮像を繰り返すことができず、そのシーンが映し出された画像の奥行き、特にフレアなどが生じている領域の奥行きを適切に推定することができない。

このような問題を解決するために、本開示の一態様に係る奥行取得装置は、メモリと、プロセッサとを備え、前記プロセッサは、光源が被写体に赤外光を照射するタイミングを示すタイミング情報を取得し、前記タイミング情報によって示される前記タイミングに応じた、前記被写体を含むシーンの赤外光に基づく撮像によって得られ、前記メモリに保持されている赤外画像を取得し、前記赤外画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外画像と実質的に同一の視点および撮像時刻の撮像によって得られ、前記メモリに保持されている可視光画像を取得し、前記赤外画像からフレア領域を検出し、前記赤外画像、前記可視光画像、および前記フレア領域に基づいて、前記フレア領域の奥行きを推定する。なお、フレア領域は、フレア、ゴースト、輝度の飽和、またはスミヤが生じている領域である。

これにより、赤外画像からフレア領域が検出され、そのフレア領域では、赤外画像だけでなく可視光画像にも基づいて奥行きが推定されるため、そのフレア領域の奥行きを適切に取得することができる。つまり、赤外画像と可視光画像とでは、撮像の対象となるシーンが実質的に同一であって、視点および撮像時刻も実質的に同一である。ここで、実質的に同一の視点および撮像時刻で撮像した実質的に同一のシーンの画像の一例としては、同一撮像素子の異なる画素で撮像された画像である。このような画像は、ベイヤー配列のカラーフィルタで撮像されたカラー画像の赤、緑および青の各チャンネル画像と同様のものであり、各画像の画角、視点および撮像時刻はほぼ等しい。つまり、実質的に同一の視点および撮像時刻で撮像した実質的に同一のシーンの画像は、撮像された各画像において、被写体の画像上での位置が２画素以上、異ならない。例えば、シーンに可視光と赤外成分を有する点光源が存在し、可視光画像において１画素のみが高輝度に撮像されている場合、赤外画像においても可視光画像で撮像されている画素位置に対応する画素の２画素より近傍に点光源が撮像される。また、実質的に同一の撮像時刻とは、撮像時刻の差が１フレーム以下で等しいことを示している。したがって、赤外画像と可視光画像とは高い相関を有する。また、フレアなどは波長に依存した現象であって、赤外画像にフレアなどが生じても、可視光画像にはフレアなどが生じていない可能性が高い。したがって、フレア領域において欠落した情報を、そのフレア領域に対応する可視光画像内の領域（すなわち対応領域）から補うことができる。その結果、フレア領域の奥行きを適切に取得することができる。

例えば、前記プロセッサは、前記フレア領域の奥行きの推定では、前記赤外画像内の各位置での奥行きを示す第１奥行情報を推定し、前記第１奥行情報によって示される前記フレア領域内の各位置での奥行きを前記可視光画像に基づいて補正することによって、前記フレア領域内の各位置での補正後の奥行きを示す第２奥行情報を推定し、さらに、前記第１奥行情報によって示される、前記赤外画像の前記フレア領域外の各位置での奥行きと、前記第２奥行情報によって示される、前記赤外画像の前記フレア領域内の各位置での奥行きとを示す、第３奥行情報を生成してもよい。なお、第１奥行情報の推定では、赤外画像に対してＴＯＦなどを適用してもよい。

これにより、第３奥行情報は、赤外画像のフレア領域外の奥行きとして、その赤外画像から得られた奥行きを示し、赤外画像のフレア領域の奥行きとして、その赤外画像から得られ、可視光画像に基づいて補正された奥行きを示す。したがって、赤外画像にフレア領域がある場合であっても、その赤外画像の全体の奥行きを適切に推定することができる。

また、前記プロセッサは、前記フレア領域の検出では、前記赤外画像のうち、第１閾値以上の輝度を有する領域を、前記フレア領域として検出してもよい。

フレア領域内の輝度は、フレア領域外の輝度よりも高い傾向にあるため、赤外画像のうち、第１閾値以上の輝度を有する領域をフレア領域として検出することによって、フレア領域を適切に検出することができる。

また、前記プロセッサは、前記フレア領域の検出では、前記赤外画像のうち、第１閾値以上の輝度を有し、かつ、予め定められた条件を満たす領域を、前記フレア領域として検出し、前記予め定められた条件は、前記赤外画像の領域内の画像特徴量と、前記領域に対応する前記可視光画像の領域内の画像特徴量との間の相関値が、第２閾値未満となる条件であってもよい。例えば、前記赤外画像および前記可視光画像のそれぞれの領域内の画像特徴量は、前記領域内の画像に含まれるエッジであってもよい。または、前記赤外画像および前記可視光画像のそれぞれの領域内の画像特徴量は、前記領域内の輝度であってもよい。

赤外画像のフレア領域内の画像特徴量と、そのフレア領域に対応する可視光画像の領域内の画像特徴量との相関は低い傾向にある。したがって、赤外画像において、輝度が高く、かつ、その画像特徴量の相関が低い領域を、フレア領域として検出することによって、フレア領域をより適切に検出することができる。

また、前記プロセッサは、前記フレア領域の検出では、前記赤外画像のうちの第１閾値以上の輝度を有する少なくとも１つの高輝度領域のそれぞれについて、（ｉ）当該高輝度領域内の画像をＣＥＮＳＵＳ変換することによって第１変換画像を取得し、（ｉｉ）当該高輝度領域に対応する前記可視光画像の領域内の画像をＣＥＮＳＵＳ変換することによって第２変換画像を取得し、少なくとも１つの前記高輝度領域のうち、前記第１変換画像と前記第２変換画像との間のハミング距離が第３閾値を超える高輝度領域を、前記フレア領域として検出してもよい。

これにより、フレア領域を適切に検出することができる。

また、前記プロセッサは、前記フレア領域の奥行きの推定では、前記赤外画像内の各位置での奥行きを示す奥行情報を推定し、前記赤外画像、前記可視光画像、前記フレア領域、および前記奥行情報を学習モデルに入力することによって、前記奥行情報によって示される、前記フレア領域内の各位置での奥行きを補正してもよい。

これにより、赤外画像、可視光画像、フレア領域、および奥行情報の入力に対して、フレア領域内の各位置での正解の奥行きが出力されるように、学習モデルに予め学習させておけば、赤外画像から推定された奥行情報を適切に補正することができる。つまり、奥行情報によって示される、フレア領域内の各位置で奥行きを、適切に補正することができる。

また、本開示の他の態様に係る奥行取得装置は、メモリと、プロセッサとを備え、前記プロセッサは、光源が被写体に赤外光を照射するタイミングを示すタイミング情報を取得し、前記タイミング情報によって示される前記タイミングに応じた、前記被写体を含むシーンの赤外光に基づく撮像によって得られ、前記メモリに保持されている赤外画像を取得し、前記赤外画像と実質的に同一のシーンの可視光に基づく撮像であって、前記赤外画像と実質的に同一の視点および撮像時刻の撮像によって得られ、前記メモリに保持されている可視光画像を取得し、前記赤外画像内の各位置での奥行きを示す奥行情報を推定し、前記赤外画像、前記可視光画像、および前記奥行情報を、学習モデルに入力することによって、前記奥行情報によって示される、前記赤外画像のフレア領域内の各位置での奥行きを補正してもよい。

これにより、赤外画像、可視光画像、および奥行情報の入力に対して、赤外画像のフレア領域内の各位置での正解の奥行きが出力されるように、学習モデルに予め学習させておけば、赤外画像から推定された奥行情報を適切に補正することができる。つまり、奥行情報によって示される、フレア領域内の各位置で奥行きを、フレア領域を検出することなく、適切に補正することができる。

また、本開示の他の態様に係る奥行取得装置は、メモリと、プロセッサとを備え、前記プロセッサは、前記メモリに保持されている赤外画像を取得し、ここで、前記赤外画像は、赤外光に基づく撮像によって得られ、前記メモリに保持されている可視光画像を取得し、ここで、前記可視光画像は、前記赤外画像と実質的に同一の視点および撮像時刻に、可視光に基づく撮像によって得られ、前記赤外画像から、フレアが映し出されている領域をフレア領域として検出し、前記フレア領域に基づいて、前記フレア領域の奥行きを推定する。また、前記可視光画像および前記赤外画像のそれぞれについて、フレア領域とその他の領域とに分けたとき、前記フレア領域は前記可視光画像に基づいて奥行きが推定され、その他の領域は前記赤外画像に基づいて奥行きが推定される。

これにより、本開示の上記一態様に係る奥行取得装置と同様、フレア領域の奥行きを適切に取得することができる。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。また、記録媒体は、非一時的な記録媒体であってもよい。

以下、実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。

（実施の形態）
［ハードウェア構成］
図１は、実施の形態に係る奥行取得装置１のハードウェア構成を示すブロック図である。本実施の形態における奥行取得装置１は、赤外光（または近赤外線光）に基づく画像と、可視光に基づく画像とを、実質的に同一のシーンに対する撮像であって、かつ、実質的に同一の視点および撮像時刻の撮像によって取得することができるハードウェア構成を有する。なお、実質的に同一とは、本開示における効果を奏し得る程度に同一であることを意味する。

図１に示されるように、奥行取得装置１は、光源１０と、固体撮像素子２０と、処理回路３０と、拡散板５０と、レンズ６０と、バンドパスフィルタ７０とを含んで構成される。

光源１０は、照射光を照射する。より具体的には、光源１０は、処理回路３０で生成された発光信号によって示されるタイミングで、被写体に照射する照射光を発光する。

光源１０は、例えば、コンデンサ、駆動回路、及び発光素子を含んで構成され、コンデンサに蓄積された電気エネルギーで発光素子を駆動することで発光する。発光素子は、一例として、レーザダイオード、発光ダイオード等により実現される。なお、光源１０は、１種類の発光素子を含む構成であっても構わないし、目的に応じた複数種類の発光素子を含む構成であっても構わない。

以下では、発光素子は、例えば、近赤外線光を発光するレーザダイオード、または、近赤外線光を発光する発光ダイオード等である。しかしながら、光源１０が照射する照射光は、近赤外線光に限定される必要はない。光源１０が照射する照射光は、例えば、近赤外線光以外の周波数帯の赤外光（赤外線光ともいう）であっても構わない。以下、本実施の形態では、光源１０が照射する照射光を赤外光として説明するが、その赤外光は、近赤外線光であってもよく、近赤外線光以外の周波数帯の赤外光であってもよい。

固体撮像素子２０は、被写体を撮像して露光量を示す撮像信号を出力する。より具体的には、固体撮像素子２０は、処理回路３０で生成された露光信号によって示されるタイミングで露光を行い、露光量を示す撮像信号を出力する。

固体撮像素子２０は、照射光が被写体により反射した反射光を用いて撮像する第１画素と、被写体を撮像する第２画素とがアレイ状に配置されてなる画素アレイを有する。固体撮像素子２０は、例えば、必要に応じて、カバーガラス、ＡＤコンバータ等のロジック機能を有していても構わない。

以下では、照射光と同様に、反射光は、赤外光であるとして説明するが、反射光は、照射光が被写体により反射した光であれば、赤外光に限定される必要はない。

図２は、固体撮像素子２０が有する画素アレイ２を示す模式図である。

図２に示されるように、画素アレイ２は、照射光が被写体により反射した反射光を用いて撮像する第１画素２１（ＩＲ画素）と、被写体を撮像する第２画素２２（ＢＷ画素）とが列単位で交互に並ぶように、アレイ状に配置されて構成される。

また、図２では、画素アレイ２において、第２画素２２と第１画素２１が行方向に隣接するように並べられ、行方向のストライプ状に並ぶように配置されているが、これに限定されず、複数行置き（一例として、２行置き）に配置されていてもよい。つまり、第２画素２２が行方向に隣接するように並べられる第１の行と第１画素２１が行方向に隣接するように並べられる第２の行は、Ｍ行置き（Ｍは自然数）に交互に配置されてもよい。更に、第２画素２２が行方向に隣接するように並べられる第１の行と第１画素２１が行方向に隣接するように並べられる第２の行は、異なる行置き（第１の行はＮ行、第２の行はＬ行を交互に繰り返す（ＮとＬは、異なる自然数））に配置されていてもよい。

第１画素２１は、例えば、反射光である赤外光に感度を有する赤外光画素で実現される。第２画素２２は、例えば、可視光に感度を有する可視光画素で実現される。

赤外光画素は、例えば、赤外光のみを透過させる光学フィルタ（ＩＲフィルタともいう）、マイクロレンズ、光電変換部としての受光素子、および、受光素子で生成された電荷を蓄積する蓄積部等を含んで構成される。したがって、画素アレイ２に含まれる複数の赤外光画素（すなわち第１画素２１）から出力される撮像信号によって、赤外光の輝度を示す画像が表現される。この赤外光の画像を、以下、ＩＲ画像または赤外画像ともいう。

また、可視光画素は、例えば、可視光のみを透過させる光学フィルタ（ＢＷフィルタともいう）、マイクロレンズ、光電変換部としての受光素子、および、受光素子で変換された電荷を蓄積する蓄積部等を含んで構成される。したがって、可視光画素、すなわち第２画素２２は、輝度および色差を示す撮像信号を出力する。つまり、画素アレイ２に含まれる複数の第２画素２２から出力される撮像信号によって、可視光の輝度および色差を示すカラー画像が表現される。なお、可視光画素の光学フィルタは、可視光と赤外光との双方を透過させても構わないし、可視光のうち、赤（Ｒ）、緑（Ｇ）、または青（Ｂ）等の特定の波長帯域の光だけを透過させても構わない。

また、可視光画素は、可視光の輝度のみを検出してもよい。この場合には、可視光画素、すなわち第２画素２２は、輝度を示す撮像信号を出力する。したがって、画素アレイ２に含まれる複数の第２画素２２から出力される撮像信号によって、可視光の輝度を示す白黒の画像、言い換えればモノクロの画像が表現される。このモノクロの画像を、以下、ＢＷ画像ともいう。なお、上述のカラー画像およびＢＷ画像を総称して、可視光画像ともいう。

再び図１に戻って、奥行取得装置１の説明を続ける。

処理回路３０は、固体撮像素子２０によって出力された撮像信号を用いて、被写体に係る被写体情報を演算する。

処理回路３０は、例えば、マイクロコンピュータ等の演算処理装置によって構成される。マイクロコンピュータは、プロセッサ（マイクロプロセッサ）、メモリ等を含み、メモリに格納された駆動プログラムがプロセッサにより実行されることで、発光信号および露光信号を生成する。なお、処理回路３０は、ＦＰＧＡまたはＩＳＰ等を用いてもよく、１つのハードウェアから構成されても、複数のハードウェアから構成されてもかまわない。

処理回路３０は、例えば、固体撮像素子２０の第１画素２１からの撮像信号を用いて行うＴＯＦ測距方式により、被写体までの距離を算出する。

以下、図面を参照しながら、処理回路３０が行うＴＯＦ測距方式による被写体までの距離の算出について説明する。

図３は、処理回路３０が、ＴＯＦ測距方式を用いて被写体までの距離の算出を行う際における、光源１０の発光素子の発光タイミングと、固体撮像素子２０の第１画素２１の露光タイミングとの関係を示すタイミング図である。

図３において、Ｔｐは光源１０の発光素子が照射光を発光する発光期間であり、Ｔｄは、光源１０の発光素子が照射光を発光してから、その照射光が被写体により反射した反射光が、固体撮像素子２０に戻ってくるまでの遅延時間である。そして、第１露光期間は、光源１０が照射光を発光する発光期間と同じタイミングとなっており、第２露光期間は、第１露光期間の終了時点から、発光期間Ｔｐが経過するまでのタイミングとなっている。

図３において、ｑ１は、第１露光期間内における反射光による、固体撮像素子２０の第１画素２１における露光量の総量を示し、ｑ２は、第２露光期間内における反射光による、固体撮像素子２０の第１画素２１における露光量の総量を示す。

光源１０の発光素子による照射光の発光と、固体撮像素子２０の第１画素２１による露光とを、図３に示されるタイミングで行うことで、被写体までの距離ｄは、光速をｃとして、以下の（式１）で表すことができる。

ｄ＝ｃ×Ｔｐ／２×ｑ２／（ｑ１＋ｑ２） ・・・（式１）

このため、処理回路３０は、（式１）を利用することで、固体撮像素子２０の第１画素２１からの撮像信号を用いて、被写体までの距離を算出することができる。

また、固体撮像素子２０の複数の第１画素２１は、第１露光期間および第２露光期間の終了後に、第３露光期間Ｔｐだけ露光してもよい。複数の第１画素２１は、この第３露光期間Ｔｐにおいて得られる露光量によって、反射光以外のノイズを検出することができる。つまり、処理回路３０は、上記（式１）において、第１露光期間の露光量ｑ１および第２露光期間の露光量ｑ２のそれぞれからノイズを削除することによって、より正確に、被写体までの距離ｄを算出することができる。

再び図１に戻って、奥行取得装置１の説明を続ける。

処理回路３０は、例えば、固体撮像素子２０の第２画素２２からの撮像信号を用いて、被写体の検知、及び被写体までの距離の算出を行ってもよい。

すなわち、処理回路３０は、固体撮像素子２０の複数の第２画素２２によって撮像された可視光画像に基づいて、被写体の検知、及び被写体までの距離の算出を行ってもよい。ここで、被写体の検知は、例えば、被写体の特異点のエッジ検出によりパターン認識で形状の判別を行なうことで実現してもよいし、事前に学習した学習モデルを利用してDeep Learningなどの処理により実現してもかまわない。また、被写体までの距離の算出は、世界座標変換を用いて行ってもよい。もちろん、可視光画像だけでなく、第１画素２１によって撮像された赤外光の輝度や距離情報を利用してマルチモーダルな学習処理により被写体の検知を実現してもよい。

処理回路３０は、発光するタイミングを示す発光信号と、露光するタイミングを示す露光信号とを生成する。そして、処理回路３０は、生成した発光信号を光源１０へ出力し、生成した露光信号を固体撮像素子２０へ出力する。

処理回路３０は、例えば、所定の周期で光源１０を発光させるように発光信号を生成して出力し、所定の周期で固体撮像素子２０を露光させるように露光信号を生成して出力することで、奥行取得装置１に、所定のフレームレートによる連続撮像を実現させてもよい。また、処理回路３０は、例えばプロセッサ（マイクロプロセッサ）、メモリ等を含み、メモリに格納された駆動プログラムがプロセッサにより実行されることで、発光信号および露光信号を生成する。

拡散板５０は、照射光の強度分布と角度を調整する。また、強度分布の調整では、拡散板５０は、光源１０からの照射光の強度分布を一様にする。なお、図１に示す例では、奥行取得装置１は、拡散板５０を備えるが、この拡散板５０を備えていなくてもよい。

レンズ６０は、奥行取得装置１の外部から入る光を、固体撮像素子２０の画素アレイ２の表面に集光する光学レンズである。

バンドパスフィルタ７０は、反射光である赤外光と、可視光とを透過させる光学フィルタである。なお、図１に示す例では、奥行取得装置１は、バンドパスフィルタ７０を備えるが、このバンドパスフィルタ７０を備えていなくてもよい。

上記構成の奥行取得装置１は、輸送機器に搭載されて利用される。例えば、奥行取得装置１は、路面を走行する車両に搭載されて利用される。なお、奥行取得装置１が搭載される輸送機器は、必ずしも車両に限定される必要はない。奥行取得装置１は、例えば、オートバイ、ボート、飛行機等といった、車両以外の輸送機器に搭載されて利用されても構わない。

［奥行取得装置の概要］
本実施の形態における奥行取得装置１は、図１に示すハードウェア構成によって、ＩＲ画像とＢＷ画像とを、実質的に同一のシーンに対する撮像であって、かつ、実質的に同一の視点および同一時刻の撮像によって取得する。そして、奥行取得装置１は、そのＩＲ画像から得られる、そのＩＲ画像内の各位置における奥行きを、ＢＷ画像を用いて補正する。具体的には、ＩＲ画像に後述のフレア領域が存在する場合、奥行取得装置１は、そのＩＲ画像から得られる、フレア領域内の各位置における奥行きを、そのフレア領域に対応するＢＷ画像の領域内の画像を用いて補正する。

図４は、奥行取得装置１の機能構成の一例を示すブロック図である。

奥行取得装置１は、光源１０１と、ＩＲカメラ１０２と、ＢＷカメラ１０３と、奥行推定部１１１と、フレア検出部１１２とを備える。

光源１０１は、図１に示す光源１０および拡散板５０から構成されていてもよい。

ＩＲカメラ１０２は、図１に示す固体撮像素子２０の複数の第１画素２１、レンズ６０およびバンドパスフィルタ７０から構成されていてもよい。このようなＩＲカメラ１０２は、光源１０１が被写体に赤外光を照射するタイミングに応じて、その被写体を含むシーンの赤外光に基づく撮像を行うことによって、ＩＲ画像を取得する。

ＢＷカメラ１０３は、図１に示す固体撮像素子２０の複数の第２画素２２、レンズ６０およびバンドパスフィルタ７０から構成されていてもよい。このようなＢＷカメラ１０３は、赤外画像と実質的に同一のシーンの可視光に基づく撮像であって、その赤外画像と実質的に同一の視点および撮像時刻の撮像を行うことによって、可視光画像（具体的にはＢＷ画像）を取得する。

奥行推定部１１１およびフレア検出部１１２は、図１に示す処理回路３０の機能、具体的には、プロセッサ１１０の機能として実現されてもよい。

フレア検出部１１２は、ＩＲカメラ１０２による撮像によって得られたＩＲ画像と、ＢＷカメラ１０３による撮像によって得られたＢＷ画像とに基づいて、ＩＲ画像からフレア領域を検出する。

本実施の形態におけるフレア領域は、フレア、ゴースト、輝度の飽和、または、スミヤが生じている領域である。フレアは、強い光源方向にＩＲカメラ１０２のレンズを向けたときに、レンズ面または鏡胴で有害光が反射して発生する光のカブリ現象である。また、フレアでは、画像が白っぽくなり、シャープネスが奪われる。ゴーストは、フレアの一種であって、レンズ面で複雑に反射を繰り返した光がはっきりと画像として写ったものである。スミヤは、カメラで周囲より所定以上の明るさの差を有する被写体を撮影した際に、直線状の白部分が発生する現象である。

なお、本開示では、フレア、ゴースト、輝度の飽和、および、スミヤのうちの少なくとも１つを含む現象を、フレアなど、と称する。

奥行推定部１１１は、フレア検出部１１２によって検出されたフレア領域を含むＩＲ画像内の各位置での奥行きを推定する。具体的には、奥行推定部１１１は、光源１０１による被写体への赤外光の照射のタイミングに応じて、ＩＲカメラ１０２が撮像することによって得られたＩＲ画像を取得し、そのＩＲ画像に基づいてＩＲ画像内の各位置での奥行きを推定する。さらに、奥行推定部１１１は、フレア検出部１１２によって検出されたフレア領域において推定された各位置での奥行きを、ＢＷ画像に基づいて補正する。つまり、奥行推定部１１１は、ＩＲ画像、ＢＷ画像、およびフレア領域に基づいて、フレア領域の奥行きを推定する。

図５は、奥行取得装置１の機能構成の他の例を示すブロック図である。

奥行取得装置１は、メモリ２００とプロセッサ１１０とを備えてもよい。

また、プロセッサ１１０は、奥行推定部１１１およびフレア検出部１１２を備えるだけでなく、図５に示すように、発光タイミング取得部１１３、ＩＲ画像取得部１１４およびＢＷ画像取得部１１５を備えてもよい。なお、これらの構成要素は、プロセッサ１１０の機能として実現される。

発光タイミング取得部１１３は、光源１０１が被写体に赤外光を照射するタイミングを示すタイミング情報を取得する。つまり、発光タイミング取得部１１３は、図１に示す発光信号を光源１０１に出力することによって、その出力のタイミングを示す情報を上述のタイミング情報として取得する。

ＩＲ画像取得部１１４は、そのタイミング情報によって示されるタイミングに応じた、被写体を含むシーンの赤外光に基づく撮像によって得られ、メモリ２００に保持されているＩＲ画像を取得する。

ＢＷ画像取得部１１５は、上述のＩＲ画像と実質的に同一のシーンの可視光に基づく撮像であって、そのＩＲ画像と実質的に同一の視点および撮像時刻の撮像によって得られ、メモリ２００に保持されているＢＷ画像を取得する。

フレア検出部１１２は、上述のように、ＩＲ画像からフレア領域を検出し、奥行推定部１１１は、そのＩＲ画像、ＢＷ画像、およびフレア領域に基づいて、奥行きを推定する。

なお、本実施の形態における奥行取得装置１は、光源１０１、ＩＲカメラ１０２、およびＢＷカメラ１０３を備えることなく、プロセッサ１１０およびメモリ２００から構成されていてもよい。

図６は、奥行取得装置１の全体的な処理動作を示すフローチャートである。

（ステップＳ１１）
まず、光源１０１は、発光することによって、被写体に赤外光を照射する。

（ステップＳ１２）
次に、ＩＲカメラ１０２は、ＩＲ画像を取得する。つまり、ＩＲカメラ１０２は、光源１０１によって赤外光が照射された被写体を含むシーンを撮像する。これにより、ＩＲカメラ１０２は、被写体から反射された赤外光に基づくＩＲ画像を取得する。具体的には、ＩＲカメラ１０２は、図３に示す第１露光期間、第２露光期間および第３露光期間のそれぞれのタイミングと露光量とによって得られるＩＲ画像を取得する。

（ステップＳ１３）
次に、ＢＷカメラ１０３は、ＢＷ画像を取得する。つまり、ＢＷカメラ１０３は、ステップＳ１２で取得されたＩＲ画像に対応するＢＷ画像、すなわち、そのＩＲ画像と同一のシーンおよび同一の視点のＢＷ画像を取得する。

（ステップＳ１４）
そして、フレア検出部１１２は、ステップＳ１２で取得されたＩＲ画像からフレア領域を検出する。

（ステップＳ１５）
次に、奥行推定部１１１は、ステップＳ１２で取得されたＩＲ画像、ステップＳ１３で取得されたＢＷ画像、および、ステップＳ１４で検出されたフレア領域に基づいて、フレア領域の奥行きを推定する。

図７は、奥行取得装置１のプロセッサ１１０による全体的な処理動作を示すフローチャートである。

（ステップＳ２１）
まず、プロセッサ１１０の発光タイミング取得部１１３は、光源１０１が被写体に赤外光を照射するタイミングを示すタイミング情報を取得する。

（ステップＳ２２）
次に、ＩＲ画像取得部１１４は、ステップＳ２１で取得されたタイミング情報によって示されるタイミングに応じて撮像を行ったＩＲカメラ１０２から、ＩＲ画像を取得する。例えば、ＩＲ画像取得部１１４は、発光タイミング取得部１１３から図１に示す発光信号が出力されるタイミングに、露光信号をＩＲカメラ１０２に出力する。これによって、ＩＲ画像取得部１１４は、ＩＲカメラ１０２に撮像を開始させ、その撮像によって得られたＩＲ画像を、そのＩＲカメラ１０２から取得する。このとき、ＩＲ画像取得部１１４は、メモリ２００を介してＩＲカメラ１０２からＩＲ画像を取得してもよく、ＩＲカメラ１０２から直接取得してもよい。

（ステップＳ２３）
次に、ＢＷ画像取得部１１５は、ステップＳ２２で取得されたＩＲ画像に対応するＢＷ画像をＢＷカメラ１０３から取得する。このとき、ＢＷ画像取得部１１５は、メモリ２００を介してＢＷカメラ１０３からＢＷ画像を取得してもよく、ＢＷカメラ１０３から直接取得してもよい。

（ステップＳ２４）
そして、フレア検出部１１２は、ＩＲ画像からフレア領域を検出する。

（ステップＳ２５）
次に、奥行推定部１１１は、ステップＳ２２で取得されたＩＲ画像、ステップＳ２３で取得されたＢＷ画像、および、ステップＳ２４で検出されたフレア領域に基づいて、フレア領域の奥行きを推定する。これによって、少なくともそのフレア領域の奥行きを示す奥行情報が算出される。なお、このとき、奥行推定部１１１は、フレア領域だけでなくＩＲ画像の全体の奥行きを推定し、その推定結果を示す奥行情報を算出してもよい。

具体的には、本実施の形態における奥行推定部１１１は、ステップＳ２２で取得されたＩＲ画像から、そのＩＲ画像内の各位置での奥行きを推定する。そして、奥行推定部１１１は、フレア領域内の各位置での奥行きをＢＷ画像を用いて補正する。なお、各位置は、複数の画素のそれぞれの位置であってもよく、複数の画素からなるブロックの位置であってもよい。

このような本実施の形態における奥行取得装置１では、ＩＲ画像からフレア領域が検出され、そのフレア領域では、ＩＲ画像だけでなくＢＷ画像にも基づいて奥行きが推定されるため、そのフレア領域の奥行きを適切に取得することができる。つまり、ＩＲ画像とＢＷ画像とでは、撮像の対象となるシーンが実質的に同一であって、視点および撮像時刻も実質的に同一である。したがって、ＩＲ画像とＢＷ画像とは高い相関を有する。また、フレアなどは波長に依存した現象であって、ＩＲ画像にフレアなどが生じても、ＢＷ画像にはフレアなどが生じていない可能性が高い。したがって、フレア領域において欠落した情報を、そのフレア領域に対応するＢＷ画像内の領域（すなわち対応領域）から補うことができる。その結果、フレア領域の奥行きを適切に取得することができる。

［奥行取得装置の具体的な機能構成］
図８は、奥行取得装置１のプロセッサ１１０の具体的な機能構成を示すブロック図である。

プロセッサ１１０は、第１奥行推定部１１１ａ、第２奥行推定部１１１ｂ、フレア検出部１１２と、高輝度領域検出部１１６、第１エッジ検出部１１７ＩＲ、第２エッジ検出部１１７ＢＷ、および出力部１１８を備える。なお、第１奥行推定部１１１ａおよび第２奥行推定部１１１ｂは、図５に示す奥行推定部１１１に相当する。また、プロセッサ１１０は、上述の発光タイミング取得部１１３、ＩＲ画像取得部１１４およびＢＷ画像取得部１１５を備えていてもよい。

高輝度領域検出部１１６は、ＩＲ画像において第１閾値以上の輝度を有する領域を高輝度領域として検出する。第１エッジ検出部１１７ＩＲは、ＩＲ画像にあるエッジを検出する。第２エッジ検出部１１７ＢＷは、ＢＷ画像にあるエッジを検出する。

フレア検出部１１２は、ＩＲ画像内の少なくとも１つの高輝度領域のそれぞれについて、その高輝度領域に対して検出されたエッジと、その高輝度領域に対応するＢＷ画像内の領域に対して検出されたエッジとを比較する。この比較によって、フレア検出部１１２は、高輝度領域がフレア領域であるか否かを判定する。つまり、この判定によって、フレア領域が検出される。言い換えれば、フレア検出部１１２は、撮像されたＩＲ画像を、フレア領域と、フレア領域でない非フレア領域とに判別することによって、ＩＲ画像の領域分割を行う。

ここで、フレアなどは、光の波長に依存した現象である。そのため、ＩＲ画像で生じたフレアなどは、ＢＷ画像には生じないことが多い。通常、ＩＲ画像とＢＷ画像は強い相関を持つことが知られている。しかし、ＩＲ画像で生じたフレアなどでは、ＩＲ画像のエッジはつぶれてしまうため、そのフレアなどが生じている領域のエッジと、その領域に対応するＢＷ画像の領域のエッジとの間の相関値は低くなる。また、フレアなどが生じた場合、それらが生じた領域の輝度は大きくなる。そこで、本実施の形態におけるフレア検出部１１２は、この関係を利用して、撮像されたＩＲ画像からフレア領域を判別する。

つまり、本実施の形態におけるフレア検出部１１２は、ＩＲ画像のうち、第１閾値以上の輝度を有し、かつ、予め定められた条件を満たす領域を、フレア領域として検出する。その予め定められた条件は、ＩＲ画像の領域内の画像特徴量と、その領域に対応するＢＷ画像の領域内の画像特徴量との間の相関値が、第２閾値未満となる条件である。ここで、ＩＲ画像およびＢＷ画像のそれぞれの領域内の画像特徴量は、その領域内の画像に含まれるエッジである。なお、ＩＲ画像の領域に対応するＢＷ画像の領域は、ＩＲ画像の領域と空間的に同一の位置にあって、ＩＲ画像の領域と同一の形状およびサイズを有する領域である。

上述のように、ＩＲ画像のフレア領域内の画像特徴量と、そのフレア領域に対応するＢＷ画像の領域内の画像特徴量との相関は低い傾向にある。したがって、本実施の形態では、ＩＲ画像において、輝度が高く、かつ、その画像特徴量の相関が低い領域を、フレア領域として検出することによって、フレア領域をより適切に検出することができる。

第１奥行推定部１１１ａおよび第２奥行推定部１１１ｂは、上述の奥行推定部１１１としての機能を有する。

第１奥行推定部１１１ａは、光源１０１による赤外光の照射のタイミングに応じて取得されたＩＲ画像に基づいて、そのＩＲ画像内の各位置での奥行きを推定する。第１奥行推定部１１１ａは、推定されたそのＩＲ画像内の各位置での奥行きを示す情報を、第１奥行情報として出力する。つまり、第１奥行推定部１１１ａは、ＩＲ画像内の各位置での奥行きを示す第１奥行情報を推定する。

第２奥行推定部１１１ｂは、ＢＷ画像と、ＩＲ画像内のフレア領域とに基づいて、第１奥行情報を補正する。これにより、第１奥行情報によって示される、ＩＲ画像内の各位置での奥行きのうち、フレア領域の奥行きが補正される。第２奥行推定部１１１ｂは、このフレア領域内の各位置での補正後の奥行きを示す情報を、第２奥行情報として出力する。つまり、第２奥行推定部１１１ｂは、第１奥行情報によって示されるフレア領域内の各位置での奥行きをＢＷ画像に基づいて補正することによって、そのフレア領域内の各位置での補正後の奥行きを示す第２奥行情報を推定する。

出力部１１８は、第１奥行情報によって示される、フレア領域内の各位置での奥行きを、第２奥行情報によって示される、フレア領域内の各位置での補正後の奥行きに置き換える。これによって、第１奥行情報によって示される、ＩＲ画像のフレア領域以外の各位置での奥行きと、第２奥行情報によって示される、ＩＲ画像のフレア領域内の各位置での補正後の奥行きとを含む、第３奥行情報が生成される。出力部１１８は、その第３奥行情報を出力する。

これにより、第３奥行情報は、ＩＲ画像のフレア領域外の奥行きとして、そのＩＲ画像から得られた奥行きを示し、ＩＲ画像のフレア領域の奥行きとして、そのＩＲ画像から得られ、ＢＷ画像に基づいて補正された奥行きを示す。したがって、本実施の形態では、ＩＲ画像にフレア領域がある場合であっても、そのＩＲ画像の全体の奥行きを適切に推定することができる。

図９Ａは、ＩＲ画像の一例を示す。図９Ｂは、ＢＷ画像の一例を示す。

図９Ｂに示すように、ＢＷ画像では、道路に看板が配置されているシーンが映し出されている。看板は、例えば赤外光を反射しやすい材料を含んでいる。そこで、ＩＲカメラ１０２が、その図９Ｂに示すシーンと同一のシーンを、ＢＷカメラ１０３の視点と同じ視点から撮像すると、図９Ａに示すＩＲ画像が取得される。

上述のように取得されたＩＲ画像は、図９Ａに示すように、ＢＷ画像の看板に相当する範囲を含む領域において、高い輝度のフレアが生じている。これは、光源１０１からの赤外光が道路の看板に正反射することによって、強い強度の赤外光が反射光としてＩＲカメラ１０２に入射するためである。なお、赤外光を反射しやすい材料は、工事の作業員が着用する衣服、または、道路に沿って立設されている複数のポールなどによく使われている。したがって、このような材料が用いられている被写体を含むシーンが撮像される場合には、ＩＲ画像にはフレアなどが生じる可能性が高い。しかし、ＢＷ画像にはフレアなどが生じる可能性は低い。その結果、ＩＲ画像のフレア領域の画像特徴量と、そのフレア領域に対応するＢＷ画像の領域の画像特徴量との間の相関は、低くなる。一方、ＩＲ画像のフレア領域以外の領域（すなわち非フレア領域）の画像特徴量と、その非フレア領域に対応するＢＷ画像の領域の画像特徴量との間の相関は、高くなる。

図１０は、ＩＲ画像の二値化によって得られる二値化画像の一例を示す。

高輝度領域検出部１１６は、図９Ａに示すＩＲ画像において、第１閾値以上の輝度を有する領域を高輝度領域として検出する。つまり、高輝度領域検出部１１６は、ＩＲ画像内の各位置（すなわち各画素）での輝度を二値化する。その結果、例えば、図１０に示すように、白色の領域と、黒色の領域（図１０ではハッチングされている領域）とからなる二値化画像が生成される。

図１１は、ＩＲ画像内の高輝度領域の一例を示す。

高輝度領域検出部１１６は、二値化画像内の白色の領域を高輝度領域として検出する。例えば、図１１に示すように、６つの白色の領域が二値化画像に含まれている場合、高輝度領域検出部１１６は、６つの白色の領域を高輝度領域Ａ～Ｆとして検出する。つまり、ＩＲ画像または二値化画像が、６つの高輝度領域Ａ～Ｆと、高輝度領域ではない非高輝度領域とに領域分割される。

図１２は、ＩＲ画像の高輝度領域に対応するＢＷ画像の領域を示す。

フレア検出部１１２は、二値化画像（すなわちＩＲ画像）内の少なくとも１つの高輝度領域のそれぞれについて、その高輝度領域に対応するＢＷ画像内の領域の画像特徴量を特定する。なお、画像特徴量は、例えばエッジである。また、その高輝度領域に対応するＢＷ画像内の領域は、二値化画像またはＩＲ画像内のその高輝度領域と空間的に同一の位置にあって、その高輝度領域と同一の形状およびサイズを有する領域である。以下、このようなＩＲ画像の領域に対応するＢＷ領域内の領域を、対応領域ともいう。

例えば、図１１に示すように、高輝度領域Ａ～Ｆが検出されている場合、フレア検出部１１２は、ＢＷ画像のうち、これらの高輝度領域Ａ～Ｆのそれぞれに対応する領域の画像特徴量を特定する。

図１３は、ＩＲ画像から検出されたフレア領域の一例を示す。

フレア検出部１１２は、高輝度領域Ａ～Ｆのそれぞれについて、その高輝度領域がフレア領域か否かを判定する。つまり、フレア検出部１１２は、ＩＲ画像内の高輝度領域Ａの画像特徴量と、その高輝度領域Ａに対応するＢＷ画像内の対応領域の画像特徴量とを比較することによって、その高輝度領域がフレア領域か否かを判定する。その結果、例えば図１３に示すように、フレア検出部１１２は、高輝度領域Ａ～Ｆのうち、高輝度領域Ａ、Ｃ、ＤおよびＥがフレア領域であると判定する。

図１４は、奥行取得装置１のシミュレーション結果を示す。

奥行取得装置１は、ＢＷカメラ１０３による撮像によって、図１４の（ａ）に示すＢＷ画像を取得し、さらに、ＩＲカメラ１０２による撮像によって、図１４の（ｂ）に示すＩＲ画像を取得する。このＢＷ画像およびＩＲ画像は、同一のシーンを同一の視点および撮像時刻で撮像することによって得られる画像である。図１４の（ｂ）に示す例では、ＩＲ画像の右端に大きなフレア領域が生じている。

第１奥行推定部１１１ａは、そのＩＲ画像から奥行きを推定することによって、図１４の（ｃ）に示す第１奥行情報を生成する。この第１奥行情報は、ＩＲ画像内の各位置での奥行きを輝度によって示す第１奥行画像として表現される。この第１奥行画像では、フレア領域の奥行きが不適切に表現されている。

第２奥行推定部１１１ｂは、そのフレア領域における不適切な奥行きを補正する。そして、出力部１１８は、図１４の（ｅ）に示すように、そのフレア領域の補正された奥行きと、非フレア領域の奥行きとを示す第３奥行情報を生成する。この第３奥行情報も、第１奥行情報と同様、奥行きを輝度によって示す第３奥行画像として表現される。なお、第２奥行推定部１１１ｂは、第１奥行画像における非フレア領域の奥行きも、ＢＷ画像の対応領域の画像特徴量に基づいて補正してもよい。

このように、本実施の形態における奥行取得装置１では、フレア領域を含む画像全体において、第３奥行画像を、図１４の（ｄ）に示す正解の奥行画像に近づけることができる。

［奥行取得装置の具体的な処理フロー］
図１５は、図８に示す奥行取得装置１の全体的な処理動作を示すフローチャートである。

（ステップＳ３１）
まず、高輝度領域検出部１１６は、ＩＲ画像から高輝度領域を検出する。

（ステップＳ３２）
第１エッジ検出部１１７ＩＲは、ＩＲ画像にあるエッジを検出する。

（ステップＳ３３）
第２エッジ検出部１１７ＢＷは、ＢＷ画像にあるエッジを検出する。

（ステップＳ３４）
フレア検出部１１２は、ＩＲ画像の少なくとも１つの高輝度領域のそれぞれについて、その高輝度領域内のエッジと、ＢＷ画像の対応領域内のエッジとを比較することによって、ＩＲ画像内のフレア領域を検出する。つまり、フレア検出部１１２は、高輝度領域内のエッジと、ＢＷ画像の対応領域内のエッジとの間の相関値が第２閾値未満の場合に、その高輝度領域をフレア領域として検出する。これにより、ＩＲ画像は、少なくとも１つのフレア領域と、非フレア領域とに領域分割される。

（ステップＳ３５）
第１奥行推定部１１１ａは、例えばＴＯＦを用いてＩＲ画像から第１奥行情報を生成する。

（ステップＳ３６）
第２奥行推定部１１１ｂは、ＩＲ画像の第１奥行情報とＢＷ画像とに基づいて、フレア領域の奥行きを示す第２奥行情報を生成する。

（ステップＳ３７）
出力部１１８は、その第１奥行情報によって示されるフレア領域の奥行きを、第２奥行情報によって示される奥行きに置き換えることによって、第３奥行情報を生成する。

図１６は、図１５のステップＳ３１～Ｓ３４の詳細な処理を示すフローチャートである。

（ステップＳ４１）
まず、高輝度領域検出部１１６は、ＩＲ画像内の各位置での輝度が第１閾値以上であるか否かを判定する。ここで、第１閾値は、例えばＩＲ画像が１２ビット階調の画像であれば、１５００程度であってもよい。もちろん、この第１閾値は、環境条件またはＩＲカメラ１０２の設定に応じて変化する値であってもよい。例えば、夜のような暗いシーンが撮像される場合、ＩＲ画像全体の輝度が低くなるため、第１閾値は、昼の明るいシーンが撮像される場合よりも、小さい値でもよい。また、ＩＲカメラ１０２の露光時間が長い場合、ＩＲ画像全体の輝度が高くなるため、第１閾値は、露光時間が短い場合よりも、大きい値でもよい。

（ステップＳ４２）
ここで、何れの位置での輝度も第１閾値以上ではないと判定すると（ステップＳ４１のＮｏ）、高輝度領域検出部１１６は、そのＩＲ画像においてフレアは生じていないと判定する（ステップＳ４２）。つまり、ＩＲ画像の全体が非フレア領域として判定される。

（ステップＳ４３）
一方、何れかの位置での輝度が第１閾値以上であると判定すると（ステップＳ４１のＹｅｓ）、高輝度領域検出部１１６は、ＩＲ画像を領域分割する。つまり、高輝度領域検出部１１６は、ＩＲ画像を、少なくとも１つの高輝度領域と、高輝度領域以外の領域とに分割する。この領域分割には、例えばＳｕｐｅｒＰｉｘｅｌなど、輝度による手法を利用してもよい。

（ステップＳ４４）
次に、第１エッジ検出部１１７ＩＲおよび第２エッジ検出部１１７ＢＷは、ＩＲ画像およびＢＷ画像のそれぞれに対してエッジ検出を行う。エッジ検出には、Ｃａｎｎｙ法またはＳｏｂｅｌフィルタなどを利用してもよい。

（ステップＳ４５）
フレア検出部１１２は、ＩＲ画像の少なくとも１つの高輝度領域のそれぞれについて、その高輝度領域内のエッジと、その高輝度領域に対応するＢＷ画像の領域内のエッジとを比較する。つまり、フレア検出部１１２は、ＩＲ画像の高輝度領域内のエッジと、ＢＷ画像の対応領域内のエッジとの間の相関値が、第２閾値以上か否かを判定する。相関値は、ＩＲ画像とＢＷ画像のそれぞれに対するエッジ検出によって出力された各値を、領域ごとにベクトル状に配列し、その内積値を正規化することで求められる。つまり、フレア検出部１１２は、ＩＲ画像の高輝度領域内のエッジ検出によって得られる複数の値からなるベクトルと、その高輝度領域に対応するＢＷ画像の領域内のエッジ検出によって得られる複数の値からなるベクトルとの内積値を正規化する。これによって、高輝度領域に対する相関値が算出される。

（ステップＳ４６）
ここで、相関値が第２閾値以上ではない、すなわち第２閾値未満と判定すると（ステップＳ４５のＮｏ）、フレア検出部１１２は、その高輝度領域をフレア領域として判定する。つまり、フレアなどの影響で、ＩＲ画像内のフレアなどが生じている領域と、ＢＷ画像の対応領域との間ではエッジの相関がなくなっているため、フレア検出部１１２は、ＩＲ画像内のその高輝度領域をフレア領域として判別する。

一方、フレア検出部１１２は、ステップＳ４５で、相関値が第２閾値以上である、すなわち第２閾値未満ではないと判定すると（ステップＳ４５のＹｅｓ）、その高輝度領域ではフレアなどは生じていないと判定する。つまり、フレア検出部１１２は、その高輝度領域を非フレア領域として判定する。

このような手法では、視点位置が実質的に等しいＩＲ画像とＢＷ画像が必要である。本実施の形態における奥行取得装置１では、画素ごとに、その画素に用いられるフィルタがＩＲフィルタおよびＢＷフィルタの何れかに設定されている。つまり、図２に示すように、ＩＲフィルタを有する第１画素２１と、ＢＷフィルタを有する第２画素２２とが列方向に交互に配列されている。これにより、実質的に同一視点のＩＲ画像とＢＷ画像とを取得できるため、フレア領域を適切に判別することができる。

＜輝度の相関を利用＞
以上の説明では、フレア領域と非フレア領域の判別にエッジを利用したが、その判別にエッジを利用しなくてもかまわない。例えば、ＩＲ画像とＢＷ画像のそれぞれの輝度そのものの相関値を利用してもよい。前述のように、フレアなどが生じていない場合、ＩＲ画像とＢＷ画像とは強い相関を持つが、フレアなどが生じた領域では、相関が弱くなる。そこで、ＩＲ画像とＢＷ画像のそれぞれの輝度の相関を利用することで、フレア領域を適切に判別することができる。

図１７は、図１５のステップＳ３１～Ｓ３４の代わりの処理の一例を示すフローチャートである。つまり、図１７は、ＩＲ画像とＢＷ画像のそれぞれの輝度の相関を利用したフレア領域の検出処理を示したフローチャートである。なお、図１７において、図１６と同じステップには、同一の符号を付し、詳細な説明を省略する。図１７に示すフローチャートは、図１６に示すフローチャートと異なり、ステップＳ４４を含まず、ステップＳ４５の代わりにステップＳ４５ａを含む。

（ステップＳ４５ａ）
フレア検出部１１２は、ステップＳ４５ａでは、ステップＳ４３の領域分割によって得られた各高輝度領域について、その高輝度領域における各画素の輝度と、その高輝度領域に対応するＢＷ画像の領域における各画素の輝度との間の相関値を計算する。相関値は、ＩＲ画像とＢＷ画像のそれぞれの各画素の輝度を、領域ごとにベクトル状に配列し、その内積値を画素数で正規化することによって求められる。つまり、フレア検出部１１２は、ＩＲ画像の高輝度領域における各画素の輝度からなるベクトルと、ＢＷ画像の対応領域における各画素の輝度からなるベクトルとの内積値を正規化する。これによって、その高輝度領域に対する相関値が算出される。

ここで、相関値が第２閾値以上、すなわち第２閾値未満でない場合（ステップＳ４５ａのＹｅｓ）、フレア検出部１１２は、その高輝度領域ではフレアなどが生じていないと判別する（ステップＳ４２）。一方、相関値が第２閾値未満の場合（ステップＳ４５ａのＮｏ）、フレアなどの影響で、ＩＲ画像の高輝度領域内の各画素の輝度と、ＢＷ画像の対応領域内の各画素の輝度との相関が低くなっている。したがって、このような場合には、フレア検出部１１２は、その高輝度領域をフレア領域として判別する（ステップＳ４６）。

つまり、フレア領域の検出のために用いられる、ＩＲ画像およびＢＷ画像のそれぞれの領域内の画像特徴量は、図１６に示す例では、その領域内の画像に含まれるエッジであるが、図１７に示す例では、その領域内の輝度である。ここで、上述のように、ＩＲ画像のフレア領域内の輝度と、そのフレア領域に対応するＢＷ画像の領域内の輝度との相関は低い傾向にある。したがって、ＩＲ画像において、輝度が高く、かつ、その輝度の相関が低い領域を、フレア領域として検出することによって、フレア領域をより適切に検出することができる。

＜ＣＥＮＳＵＳ変換を利用＞
もちろん、フレア領域と非フレア領域の判別のための評価値は相関値である必要はない。例えば、ハミング距離およびＣＥＮＳＵＳ変換を利用してもかまわない。ＣＥＮＳＵＳ変換については、例えば非特許文献（R. Zabih and J. Woodfill, “Non-parametric Local Transforms for Computing Visual Correspondence”, Proc. of ECCV, pp.151-158, 1994）に開示されている。ＣＥＮＳＵＳ変換は、画像中にウインドウを設定し、そのウインドウの中心画素と周辺画素との大小関係をバイナリベクトルに変換する。

図１８は、図１５のステップＳ３１～Ｓ３４の代わりの処理の他の例を示すフローチャートである。つまり、図１８は、ＩＲ画像とＢＷ画像のそれぞれのＣＥＮＳＵＳ変換を利用したフレア領域の検出処理を示したフローチャートである。なお、図１８において、図１６と同じステップには、同一の符号を付与し、詳細な説明を省略する。図１８に示すフローチャートは、図１６に示すフローチャートと異なり、ステップＳ４４およびＳ４５の代わりにステップＳ４４ｂおよびＳ４５ｂを含む。

（ステップＳ４４ｂ）
フレア検出部１１２は、ステップＳ４４ｂでは、ステップＳ４３の領域分割によって得らえた各高輝度領域について、ＩＲ画像のうちのその高輝度領域の画像と、ＢＷ画像のうちの対応領域の画像とのそれぞれに対してＣＥＮＳＵＳ変換を行う。これにより、ＩＲ画像のうちのその高輝度領域の画像に対するＣＥＮＳＵＳ変換画像と、ＢＷ画像のうちの対応領域の画像に対するＣＥＮＳＵＳ変換画像とが生成される。

（ステップＳ４５ｂ）
次に、フレア検出部１１２は、ステップＳ４５ｂにおいて、ステップＳ４４ｂで求めたＩＲ画像のＣＥＮＳＵＳ変換画像と、ＢＷ画像のＣＥＮＳＵＳ変換画像との間のハミング距離を計算する。そして、フレア検出部１１２は、このハミング距離を高輝度領域の画素数で正規化した値が第３閾値以下の場合（ステップＳ４５ｂのＹｅｓ）、その高輝度領域ではフレアなどが生じていないと判別する（ステップＳ４２）。一方、正規化したハミング距離の値が第３閾値より大きい場合（ステップＳ４５ｂのＮｏ）、フレア検出部１１２は、フレアなどの影響で、その高輝度領域の画像においてテクスチャがなくなっていると判断する。その結果、フレア検出部１１２は、その高輝度領域をフレア領域として判別する（ステップＳ４６）。

つまり、フレア検出部１１２は、ＩＲ画像のうちの第１閾値以上の輝度を有する少なくとも１つの高輝度領域のそれぞれについて、当該高輝度領域内の画像をＣＥＮＳＵＳ変換することによって第１変換画像を取得する。そして、フレア検出部１１２は、当該高輝度領域に対応するＢＷ画像の領域内の画像をＣＥＮＳＵＳ変換することによって第２変換画像を取得する。なお、第１変換画像および第２変換画像は、上述のＣＥＮＳＵＳ変換画像である。次に、フレア検出部１１２は、少なくとも１つの高輝度領域のうち、第１変換画像と第２変換画像との間のハミング距離が第３閾値を超える高輝度領域を、フレア領域として検出する。このようにＣＥＮＳＵＳ変換を用いても、フレア領域を適切に検出することができる。

＜ＩＲ画像の輝度を利用＞
図１７に示す例では、フレア領域と非フレア領域の判別に、ＩＲ画像の輝度と、ＩＲ画像とＢＷ画像の輝度との間の相関値を利用したが、ＩＲ画像の輝度のみを利用してもかまわない。

図１９は、図１５のステップＳ３１～Ｓ３４の代わりの処理の他の例を示すフローチャートである。つまり、図１９は、ＩＲ画像の輝度のみを利用したフレア領域の検出処理を示したフローチャートである。なお、図１９において、図１６と同じステップには、同一の符号を付し、詳細な説明を省略する。図１９に示すフローチャートでは、図１６に示すステップＳ４３～Ｓ４５が省かれている。

つまり、フレア検出部１１２は、ステップＳ４１において、ＩＲ画像における画素の輝度が第１閾値以上であるか否かを判定する。ここで、その画素の輝度が第１閾値未満と判定すると（ステップＳ４１のＮｏ）、フレア検出部１１２は、その画素を含む領域ではフレアは生じていないと判別する（ステップＳ４２）。一方、その画素の輝度が第１閾値以上と判定すると（ステップＳ４１のＹｅｓ）は、フレア検出部１１２は、その画素を含む領域ではフレアが生じていると判別する。すなわち、フレア検出部１１２は、その領域をフレア領域として判別する（ステップＳ４６）。

つまり、図１９に示す例では、フレア検出部１１２は、ＩＲ画像のうち、１閾値以上の輝度を有する領域を、フレア領域として検出する。フレア領域内の輝度は、フレア領域外の輝度よりも高い傾向にあるため、ＩＲ画像のうち、第１閾値以上の輝度を有する領域をフレア領域として検出することによって、フレア領域を適切に検出することができる。

また、フレア領域と非フレア領域の判別に、学習処理を利用して実現してもかまわない。学習処理には、例えばＤｅｅｐ Ｌｅａｒｎｉｎｇなどの処理を利用すればよい。この場合、学習のために、ＩＲ画像およびＢＷ画像と、そのＩＲ画像がフレア領域と非フレア領域とに分割された正解画像とを事前に用意する。次に、入力としてそのＩＲ画像およびＢＷ画像を学習モデルに与える。そして、その入力に対する学習モデルからの出力が正解画像と一致するように、その学習モデルに学習させる。例えば、学習モデルは、ニューラルネットワークである。その学習モデルからの出力は、画素ごとに数値「０」または数値「１」を示す画像であって、数値「０」は、その画素が非フレア領域に属することを示すし、数値「１」は、その画素がフレア領域に属することを示す。

フレア検出部１１２は、このように事前に学習を行った学習モデルを利用することで、フレア領域と非フレア領域の判別を行う。つまり、フレア検出部１１２は、入力としてＩＲ画像とＢＷ画像を学習モデルに入力する。そして、フレア検出部１１２は、学習モデルから出力される数値「０」に対応する画素を含む領域を非フレア領域として判別する。さらに、フレア検出部１１２は、学習モデルから出力される数値「１」に対応する画素を含む領域をフレア領域として判別する。

以上の処理により、フレア検出部１１２は、撮像されたＩＲ画像を、フレアなどが生じているフレア領域と、非フレア領域とに分割する。

＜奥行補正処理＞
第２奥行推定部１１１ｂは、ＢＷ画像、第１奥行情報、およびフレア領域（すなわち上述の領域の判別結果）を利用し、第２奥行情報を生成する。

フレアなどは、光の波長に依存した現象である。そのため、ＩＲ画像で生じたフレアなどは、ＢＷ画像には生じないことが多い。そこで、フレア領域のみ、ＩＲ画像から求めた第１奥行情報ではなく、ＢＷ画像を利用して第１奥行情報を補正することにより、ＩＲ画像で生じたフレアなどの影響を受けていない第２奥行情報を取得することができる。

第２奥行情報の取得では、画像補正フィルタの一種であるガイデッドフィルタを利用してもよい。ガイデッドフィルタについては、非特許文献（Kaiming He, Jian Sun and Xiaoou Tang, “Guided Image Filtering”， IEEE Transactions on Pattern Analysis and Machine Intelligence， Vol. 35, Iss. 6, pp．1397 - 1409，2013.）に開示されている。ガイデッドフィルタは、対象画像と参照画像との相関を利用して、その対象画像を補正するフィルタである。ガイデッドフィルタでは、参照画像Ｉと対象画像ｐは、以下の（式２）で示されるようにパラメータａとｂで表現されると仮定する。

ここで、ｑは対象画像ｐを補正した出力画像、ｉは各画素の番号、ωｋは画素ｋの周辺領域を表す。また、パラメータａとｂは、以下の（式３）で表現される。

ただし、εは正則化パラメータである。また、μとσは、参照画像のブロック内の平均と分散であり、以下の（式４）で計算される。

ただし、求めたパラメータａとｂに含まれるノイズを抑えるため、平均化したパラメータを利用し、出力は以下の（式５）のように求められる。

本実施の形態では、第２奥行推定部１１１ｂは、参照画像としてＢＷ画像を与えることで、対象画像である第１奥行情報（または第１奥行画像）を補正する。これにより、第２奥行情報が生成または取得される。このような第２奥行情報の生成には、実質的に視点位置の等しいＩＲ画像とＢＷ画像が必要である。本実施の形態の奥行取得装置１では、画素ごとに、その画素に用いられるフィルタがＩＲフィルタおよびＢＷフィルタの何れかに設定されている。つまり、図２に示すように、ＩＲフィルタを有する第１画素２１と、ＢＷフィルタを有する第２画素２２とが列方向に交互に配列されている。これにより、実質的に同一視点のＩＲ画像とＢＷ画像とを取得できるため、適切な第２奥行情報を取得することができる。

もちろん、第２奥行推定部１１１ｂは、ガイデッドフィルタ以外の処理を用いてもよい。例えば、第２奥行推定部１１１ｂは、バイラテラルフィルタ（非特許文献：C. Tomasi, R. Manduchi, “Bilateral filtering for gray and color images”， IEEE International Conference on Computer Vision (ICCV), pp．839 - 846，1998）、または、Ｍｕｔｕａｌ－Ｓｔｒｕｃｔｕｒｅ ｆｏｒ Ｊｏｉｎｔ Ｆｉｌｔｅｒｉｎｇ（非特許文献：Xiaoyong Shen, Chao Zhou, Li Xu and Jiaya Jia, “Mutual-Structure for Joint Filtering”, IEEE International Conference on Computer Vision (ICCV), 2015.）などの処理を用いてもよい。

以上のように、本実施の形態では、フレアなどが生じていないと判別された領域（すなわち非フレア領域）には第１奥行情報を利用し、フレアなどが生じている領域（すなわちフレア領域）には第２奥行情報を利用する。これにより、ＩＲ画像にフレアなどが生じていても、より高精度の奥行情報を取得することができる。

（変形例１）
上記実施の形態では、第２奥行情報の生成に、ガイデッドフィルタなどのフィルタを用いたが、学習モデルを用いて第２奥行情報を生成してもよい。

例えば、非特許文献（Shuran Song, Fisher Yu, Andy Zeng, Angel X. Chang, Manolis Savva and Thomas Funkhouser, “Semantic Scene Completion from a Single Depth Image”, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 190-198, 2017.）のように、学習処理であるＤｅｅｐ Ｌｅａｒｎｉｎｇを利用してもよい。つまり、ＢＷ画像と第１奥行情報とが入力されると、第２奥行情報が出力されるように、学習モデルに学習させてもよい。上記非特許文献では、欠損領域を含む奥行情報とカラー画像とが入力されると、その奥行情報の欠損領域を補間するネットワークが提案されている。本変形例における第２奥行推定部１１１ｂは、その非特許文献と同様のネットワーク（すなわち学習モデル）に、ＩＲ画像、ＢＷ画像、および第１奥行情報を与え、さらに、フレア検出部１１２によって検出されたフレア領域を欠損領域のマスク画像として与える。これにより、より高精度の第２奥行情報をそのネットワークから取得することができる。

図２０は、本変形例における奥行取得装置１の機能構成の一例を示すブロック図である。

本変形例における奥行取得装置１は、図８に示す各構成要素を備えるとともに、さらに、例えばニューラルネットワークなどからなる学習モデル１０４を備える。

第２奥行推定部１１１ｂは、その学習モデル１０４に対して、ＩＲ画像、ＢＷ画像、および第１奥行情報の３種類のデータを入力し、補正されるマスク領域としてフレア領域を利用して、第２奥行情報を生成する。

学習モデル１０４の学習では、ＩＲ画像、ＢＷ画像、および第１奥行情報に加え、正解奥行画像を事前に用意する。次に、ＩＲ画像と、ＢＷ画像と、第１奥行情報と、フレア領域を指定するマスク画像とを入力として学習モデル１０４に与える。そして、その入力に対する学習モデル１０４からの出力が正解奥行画像と一致するように、その学習モデル１０４に学習させる。なお、学習時には、マスク画像はランダムに与えられる。第２奥行推定部１１１ｂは、このように事前に学習を行った学習モデル１０４を利用する。つまり、第２奥行推定部１１１ｂは、ＩＲ画像と、ＢＷ画像と、第１奥行情報と、フレア領域を指定するマスク画像とを学習モデル１０４に入力することで、その学習モデル１０４から出力される第２奥行情報を取得することができる。

このように、本変形例では、第２奥行推定部１１１ｂは、ＩＲ画像内の各位置での奥行きを示す奥行情報を推定し、ＩＲ画像、ＢＷ画像、フレア領域、およびその奥行情報を学習モデルに入力することによって、その奥行情報によって示される、フレア領域内の各位置での奥行きを補正する。したがって、ＩＲ画像、ＢＷ画像、フレア領域、および奥行情報の入力に対して、フレア領域内の各位置での正解の奥行きが出力されるように、学習モデルに予め学習させておけば、ＩＲ画像から推定された奥行情報を適切に補正することができる。つまり、奥行情報によって示される、フレア領域内の各位置で奥行きを、適切に補正することができる。

以上のように、第２奥行推定部１１１ｂは、Ｄｅｅｐ Ｌｅａｒｎｉｎｇを利用してもかまわない。その場合、フレア領域を直接出力する必要はなく、Ｄｅｅｐ Ｌｅａｒｎｉｎｇにより直接、第２奥行情報を生成してもかまわない。

図２１は、本変形例における奥行取得装置１の機能構成の他の例を示すブロック図である。

本変形例における奥行取得装置１は、図２０に示す各構成要素のうち、フレア検出部１１２、高輝度領域検出部１１６、第１エッジ検出部１１７ＩＲ、および第２エッジ検出部１１７ＢＷを備えておらず、これら以外の構成要素を備える。

学習モデル１０４の学習では、図２０に示す例と同様、ＩＲ画像、ＢＷ画像、および第１奥行情報に加え、正解奥行画像を事前に用意する。次に、ＩＲ画像と、ＢＷ画像と、第１奥行情報とを入力として学習モデル１０４に与える。そして、その入力に対する学習モデル１０４からの出力が正解奥行画像と一致するように、その学習モデル１０４に学習させる。学習モデル１０４としては、非特許文献（Caner Hazirbas, Laura Leal-Taixe and Daniel CremersC. Hazirbas, “Deep Depth From Focus”, In ArXiv preprint arXiv, 1704.01085, 2017.）のように、スキップ結合を追加したＶＧＧ－１６ネットワークを用いてもよい。その学習モデル１０４に対し、入力としてＩＲ画像とＢＷ画像と第１奥行情報とが与えられるように、学習モデル１０４のチャネル数を変更する。このように事前に学習を行った学習モデル１０４を利用することで、第２奥行推定部１１１ｂは、ＩＲ画像とＢＷ画像と第１奥行情報とを学習モデル１０４に入力することで、その学習モデル１０４から第２奥行情報を簡単に取得することができる。

つまり、図２１に示す奥行取得装置１は、メモリとプロセッサ１１０とを備える。なお、メモリは、図２１では図示されていないが、図５に示すように奥行取得装置１に備えられていてもよい。プロセッサ１１０は、光源１０１が被写体に赤外光を照射するタイミングを示すタイミング情報を取得する。次に、プロセッサ１１０は、そのタイミング情報によって示されるタイミングに応じた、被写体を含むシーンの赤外光に基づく撮像によって得られ、メモリに保持されているＩＲ画像を取得する。次に、プロセッサ１１０は、そのＩＲ画像と実質的に同一のシーンの可視光に基づく撮像であって、そのＩＲ画像と実質的に同一の視点および撮像時刻の撮像によって得られ、メモリに保持されているＢＷ画像を取得する。そして、プロセッサ１１０の第１奥行推定部１１１ａは、そのＩＲ画像内の各位置での奥行きを示す奥行情報を推定する。第２奥行推定部１１１ｂは、そのＩＲ画像、ＢＷ画像、および奥行情報を、学習モデル１０４に入力することによって、その奥行情報によって示される、ＩＲ画像のフレア領域内の各位置での奥行きを補正する。

したがって、ＩＲ画像、ＢＷ画像、および奥行情報の入力に対して、ＩＲ画像のフレア領域内の各位置での正解の奥行きが出力されるように、学習モデル１０４に予め学習させておけば、ＩＲ画像から推定された奥行情報を適切に補正することができる。つまり、奥行情報によって示される、フレア領域内の各位置で奥行きを、フレア領域を検出することなく、適切に補正することができる。

（変形例２）＜時間方向の利用＞
ここで、フレア検出部１１２は、フレア領域と非フレア領域の判別のために、時間方向の情報を利用してもかまわない。フレアは、被写体自体ではなく、被写体と光源１０１との関係によりＩＲカメラ１０２内部で生じる現象である。そのため、ＩＲカメラ１０２が移動した場合、フレア領域の形状は変化する。そこで、フレア検出部１１２は、上述の手法によってＩＲ画像からフレア領域の候補を検出し、その前のＩＲ画像で検出されたフレア領域からその候補の形状が変化しているか否かを判定する。そして、フレア検出部１１２は、形状が変化していないと判定すると、その候補がフレア領域ではなく、非フレア領域であると判断してもよい。

図２２は、本変形例におけるフレア検出部１１２の処理動作を示すフローチャートである。

（ステップＳ５１）
まず、フレア検出部１１２は、対象フレームにフレア領域の候補が存在するか否かを判定する。つまり、フレア検出部１１２は、例えば上述の図１６～図１９に示すフローチャートに基づいて検出されるフレア領域が、最終的なフレア領域ではなく、フレア領域の候補として対象フレームに存在するか否かを判定する。なお、対象フレームは、判別対象とされるＩＲ画像、すなわち、フレア領域の存在が判別されるＩＲ画像である。

（ステップＳ５４）
ここで、フレア検出部１１２は、対象フレームにフレア領域の候補が存在しない場合（ステップＳ５１のＮｏ）、その対象フレーム（すなわちＩＲ画像）においてフレアは存在しないと判別する。

（ステップＳ５２）
一方、フレア検出部１１２は、対象フレームにフレア領域の候補が存在する場合（ステップＳ５１のＹｅｓ）、対象フレームの前のフレームでもフレア領域が存在するかどうかを判定する。なお、対象フレームの前のフレームは、対象フレームの前にＩＲカメラ１０２による撮像によって取得されたＩＲ画像である。

（ステップＳ５５）
ここで、フレア検出部１１２は、対象フレームの前のフレームにフレア領域が存在しない場合（ステップＳ５２のＮｏ）、検出されたフレア領域の候補はフレアによって生じた領域、すなわちフレア領域であると判別する。

（ステップＳ５３）
一方、フレア検出部１１２は、対象フレームの前のフレームにフレア領域が存在している場合（ステップＳ５２のＹｅｓ）、対象フレームのフレア領域の候補の形状と、その前のフレームのフレア領域の形状とを比較する。ここで、対象フレームのフレア領域の候補の形状と、その前のフレームのフレア領域の形状とが似ていた場合（ステップＳ５３のＹｅｓ）、フレア検出部１１２は、ステップＳ５４の処理を実行する。つまり、フレア検出部１１２は、検出されたフレア領域の候補を非フレア領域に更新し、その対象フレーム（すなわちＩＲ画像）においてフレアは存在しないと判別する。一方、対象フレームのフレア領域の候補の形状と、その前のフレームのフレア領域の形状とが似ていない場合（ステップＳ５３のＮｏ）、フレア検出部１１２は、ステップＳ５５の処理を実行する。つまり、フレア検出部１１２は、検出されたフレア領域の候補はフレアによって生じた領域、すなわちフレア領域であると判別する。

このように、本変形例におけるフレア検出部１１２は、時間方向の情報を利用する。すなわち、フレア検出部１１２は、互いに異なる時間に取得されたそれぞれのフレームにおけるフレア領域またはその候補の形状を利用する。これにより、フレア領域と非フレア領域とを、より高精度に判別することができる。

なお、フレア検出部１１２は、フレームごとにフレア領域の判別を行うことなく、近傍の複数のフレームごとにフレア領域の判別を行ってもよい。なお、近傍の複数のフレームは、例えばＩＲカメラ１０２による撮像によって時間的に連続して取得される複数のＩＲ画像である。つまり、フレア検出部１１２は、近傍の複数のフレームのそれぞれにおいて例えば上述の図１６～図１９に示すフローチャートに基づいてフレア領域の候補を検出し、それらの候補がフレア領域か否かを判別してもよい。より具体的には、フレア検出部１１２は、各フレームにおけるフレア領域の候補の形状を比較し、それらのフレア領域の候補の形状が略等しい場合、それらの候補はフレア領域ではない、つまり非フレア領域であると判別する。一方、フレア検出部１１２は、それらのフレア領域の候補の形状が似ていない場合、それらの候補はフレア領域であると判別する。

また、フレア検出部１１２は、２つの形状の類似度が閾値以上であるか否かを判定することによって、それらの形状が似ているか否かを判定してもよい。その類似度は、例えば２つの形状の相関値として算出されてもよい。

（変形例３）＜複数のＩＲ元画像の利用＞
上記実施の形態とその変形例１および２における奥行取得装置１は、ＩＲ画像とＢＷ画像とを用いてフレア領域を検出するが、ＢＷ画像を用いなくてもよい。本変形例における奥行取得装置１は、複数のＩＲ元画像を用いてフレア領域を検出する。複数のＩＲ元画像は、例えば、図３に示す第１露光期間において得られる赤外画像と、第２露光期間において得られる赤外画像とである。

つまり、本変形例では、ＴＯＦなどを利用して第１奥行情報を推定するために、互いに異なるタイミングで複数の赤外画像をＩＲカメラ１０２が取得する場合、これらの複数の赤外画像を利用してフレア領域と非フレア領域とを判別する。以下の説明では、この複数の赤外画像のそれぞれをＩＲ元画像とよぶ。なお、上述のＩＲ画像は、これらの複数のＩＲ元画像から構成されていると言える。

ＴＯＦによる奥行推定には、発光した光の到達時間を直接計測する直接ＴＯＦと、発光と受光のタイミングが異なることによって得られる複数のＩＲ元画像から奥行を推定する間接ＴＯＦの２種類が存在する。本変形例では、奥行取得装置１は、間接ＴＯＦの際に取得される複数のＩＲ元画像からフレア領域と非フレア領域とを判別する。

その複数のＩＲ元画像のそれぞれが得られるタイミング、すなわち複数のＩＲ元画像のそれぞれの受光のタイミングは異なっている。したがって、複数のＩＲ元画像のうちの第１のＩＲ元画像にフレアが生じていても、その第１のＩＲ元画像と受光のタイミングが異なる第２のＩＲ元画像にはフレアが生じていない可能性が高い。そこで、本変形例における奥行取得装置１は、受光のタイミングを変更することによって取得された複数のＩＲ元画像を比較することで、フレア領域と非フレア領域とを判別する。これにより、第３奥行画像を、図１４の（ｄ）に示す正解の奥行画像に近づけることができる。

［奥行取得装置の具体的な処理フロー］
図２３は、本変形例における奥行取得装置１の全体的な処理動作を示すフローチャートである。

（ステップＳ３１ａ）
まず、高輝度領域検出部１１６は、第１のＩＲ元画像から高輝度領域を検出する。

（ステップＳ３２ａ）
第１エッジ検出部１１７ＩＲは、第１のＩＲ元画像にあるエッジを検出する。

（ステップＳ３３ａ）
第２エッジ検出部１１７ＢＷは、ＢＷ画像の代わりに第２のＩＲ元画像にあるエッジを検出する。

（ステップＳ３４ａ）
フレア検出部１１２は、第１のＩＲ元画像の少なくとも１つの高輝度領域のそれぞれについて、その高輝度領域内のエッジと、第２のＩＲ元画像の対応領域内のエッジとを比較することによって、ＩＲ画像内のフレア領域を検出する。つまり、フレア検出部１１２は、高輝度領域内のエッジと、第２のＩＲ元画像の対応領域内のエッジとの間の相関値が第４閾値未満の場合に、その高輝度領域をフレア領域として検出する。これにより、ＩＲ画像は、少なくとも１つのフレア領域と、非フレア領域とに領域分割される。

（ステップＳ３５）
第１奥行推定部１１１ａは、例えばＴＯＦを用いてＩＲ画像から第１奥行情報を生成する。

（ステップＳ３６）
第２奥行推定部１１１ｂは、ＩＲ画像の第１奥行情報とＢＷ画像とに基づいて、フレア領域の奥行きを示す第２奥行情報を生成する。

（ステップＳ３７）
出力部１１８は、その第１奥行情報によって示されるフレア領域の奥行きを、第２奥行情報によって示される奥行きに置き換えることによって、第３奥行情報を生成する。

図２４は、図２３のステップＳ３１ａ～Ｓ３４ａの詳細な処理を示すフローチャートである。

（ステップＳ４１ａ）
まず、高輝度領域検出部１１６は、第１のＩＲ元画像内の各位置での輝度が第５閾値以上であるか否かを判定する。ここで、第５閾値は、例えば第１のＩＲ元画像が１２ビット階調の画像であれば、１５００程度であってもよい。もちろん、この第５閾値は、環境条件またはＩＲカメラ１０２の設定に応じて変化する値であってもよい。例えば、夜のような暗いシーンが撮像される場合、第１のＩＲ元画像全体の輝度が低くなるため、第５閾値は、昼の明るいシーンが撮像される場合よりも、小さい値でもよい。また、ＩＲカメラ１０２の露光時間が長い場合、第１のＩＲ元画像全体の輝度が高くなるため、第５閾値は、露光時間が短い場合よりも、大きい値でもよい。

（ステップＳ４２ａ）
ここで、何れの位置での輝度も第５閾値以上ではないと判定すると（ステップＳ４１ａのＮｏ）、高輝度領域検出部１１６は、その第１のＩＲ元画像を用いて構成されるＩＲ画像においてフレアは生じていないと判定する（ステップＳ４２）。つまり、ＩＲ画像の全体が非フレア領域として判定される。

（ステップＳ４３ａ）
一方、何れかの位置での輝度が第５閾値以上であると判定すると（ステップＳ４１ａのＹｅｓ）、高輝度領域検出部１１６は、第１のＩＲ元画像を領域分割する。つまり、高輝度領域検出部１１６は、第１のＩＲ元画像を、少なくとも１つの高輝度領域と、高輝度領域以外の領域とに分割する。この領域分割には、例えばＳｕｐｅｒＰｉｘｅｌなど、輝度による手法を利用してもよい。

（ステップＳ４４ａ）
次に、第１エッジ検出部１１７ＩＲおよび第２エッジ検出部１１７ＢＷは、第１のＩＲ元画像および第２のＩＲ元画像のそれぞれに対してエッジ検出を行う。エッジ検出には、Ｃａｎｎｙ法またはＳｏｂｅｌフィルタなどを利用してもよい。

（ステップＳ４５ａ）
フレア検出部１１２は、第１のＩＲ元画像の少なくとも１つの高輝度領域のそれぞれについて、その高輝度領域内のエッジと、その高輝度領域に対応する第２のＩＲ元画像の領域内のエッジとを比較する。つまり、フレア検出部１１２は、第１のＩＲ元画像の高輝度領域内のエッジと、第２のＩＲ元画像の対応領域内のエッジとの間の相関値が、第４閾値以上か否かを判定する。相関値は、第１のＩＲ元画像と第２のＩＲ元画像のそれぞれに対するエッジ検出によって出力された各値を、領域ごとにベクトル状に配列し、その内積値を正規化することで求められる。つまり、フレア検出部１１２は、第１のＩＲ元画像の高輝度領域内のエッジ検出によって得られる複数の値からなるベクトルと、その高輝度領域に対応する第２のＩＲ元画像の領域内のエッジ検出によって得られる複数の値からなるベクトルとの内積値を正規化する。これによって、高輝度領域に対する相関値が算出される。

（ステップＳ４６ａ）
ここで、相関値が第４閾値以上ではない、すなわち第４閾値未満と判定すると（ステップＳ４５ａのＮｏ）、フレア検出部１１２は、その高輝度領域をフレア領域として判定する。つまり、フレアなどの影響で、第１のＩＲ元画像内のフレアなどが生じている領域と、第２のＩＲ元画像の対応領域との間ではエッジの相関がなくなっているため、フレア検出部１１２は、第１のＩＲ元画像内のその高輝度領域をフレア領域として判別する。すなわち、フレア検出部１１２は、ＩＲ画像内のその高輝度領域をフレア領域として判別する。なお、ＩＲ画像内の高輝度領域は、第１のＩＲ元画像内の高輝度領域と同一の領域である。

一方、フレア検出部１１２は、ステップＳ４５ａで、相関値が第４閾値以上である、すなわち第４閾値未満ではないと判定すると（ステップＳ４５ａのＹｅｓ）、その高輝度領域ではフレアなどは生じていないと判定する。つまり、フレア検出部１１２は、その高輝度領域を非フレア領域として判定する。

＜輝度の相関を利用＞
以上の説明では、フレア領域と非フレア領域の判別にエッジを利用したが、その判別にエッジを利用しなくてもかまわない。例えば、第１のＩＲ元画像と第２のＩＲ元画像のそれぞれの輝度そのものの相関値を利用してもよい。前述のように、フレアなどが生じていない場合、第１のＩＲ元画像と第２のＩＲ元画像とは強い相関を持つが、フレアなどが生じた領域では、相関が弱くなる。そこで、第１のＩＲ元画像と第２のＩＲ元画像のそれぞれの輝度の相関を利用することで、フレア領域を適切に判別することができる。

図２５は、図２３のステップＳ３１ａ～Ｓ３４ａの代わりの処理の一例を示すフローチャートである。つまり、図２５は、第１のＩＲ元画像と第２のＩＲ元画像のそれぞれの輝度の相関を利用したフレア領域の検出処理を示したフローチャートである。なお、図２５において、図２４と同じステップには、同一の符号を付し、詳細な説明を省略する。図２５に示すフローチャートは、図２４に示すフローチャートと異なり、ステップＳ４４ａを含まず、ステップＳ４５ａの代わりにステップＳ４５ｂを含む。

（ステップＳ４５ｂ）
フレア検出部１１２は、ステップＳ４５ｂでは、ステップＳ４３ａの領域分割によって得られた各高輝度領域について、その高輝度領域における各画素の輝度と、その高輝度領域に対応する第２のＩＲ元画像の領域における各画素の輝度との間の相関値を計算する。相関値は、第１のＩＲ元画像と第２のＩＲ元画像のそれぞれの各画素の輝度を、領域ごとにベクトル状に配列し、その内積値を画素数で正規化することによって求められる。つまり、フレア検出部１１２は、第１のＩＲ元画像の高輝度領域における各画素の輝度からなるベクトルと、第２のＩＲ元画像の対応領域における各画素の輝度からなるベクトルとの内積値を正規化する。これによって、その高輝度領域に対する相関値が算出される。

ここで、相関値が第４閾値以上、すなわち第４閾値未満でない場合（ステップＳ４５ｂのＹｅｓ）、フレア検出部１１２は、その高輝度領域ではフレアなどが生じていないと判別する（ステップＳ４２ａ）。一方、相関値が第４閾値未満の場合（ステップＳ４５ｂのＮｏ）、フレアなどの影響で、第１のＩＲ元画像の高輝度領域内の各画素の輝度と、第２のＩＲ元画像の対応領域内の各画素の輝度との相関が低くなっている。したがって、このような場合には、フレア検出部１１２は、その高輝度領域をフレア領域として判別する（ステップＳ４６ａ）。

つまり、フレア領域の検出のために用いられる、第１のＩＲ元画像および第２のＩＲ元画像のそれぞれの領域内の画像特徴量は、図２４に示す例では、その領域内の画像に含まれるエッジであるが、図２５に示す例では、その領域内の輝度である。ここで、上述のように、第１のＩＲ元画像のフレア領域内の輝度と、そのフレア領域に対応する第２のＩＲ元画像の領域内の輝度との相関は低い傾向にある。したがって、第１のＩＲ元画像において、輝度が高く、かつ、その輝度の相関が低い領域を、フレア領域として検出することによって、フレア領域をより適切に検出することができる。

＜ＣＥＮＳＵＳ変換を利用＞
もちろん、フレア領域と非フレア領域の判別のための評価値は相関値である必要はない。例えば、前述のハミング距離およびＣＥＮＳＵＳ変換を利用してもかまわない。

図２６は、図２３のステップＳ３１ａ～Ｓ３４ａの代わりの処理の他の例を示すフローチャートである。つまり、図２６は、第１のＩＲ元画像と第２のＩＲ元画像のそれぞれのＣＥＮＳＵＳ変換を利用したフレア領域の検出処理を示したフローチャートである。なお、図２６において、図２４と同じステップには、同一の符号を付与し、詳細な説明を省略する。図２６に示すフローチャートは、図２４に示すフローチャートと異なり、ステップＳ４４ａおよびＳ４５ａの代わりにステップＳ４４ｃおよびＳ４５ｃを含む。

（ステップＳ４４ｃ）
フレア検出部１１２は、ステップＳ４４ｃでは、ステップＳ４３ａの領域分割によって得らえた各高輝度領域について、第１のＩＲ元画像のうちのその高輝度領域の画像と、第２のＩＲ元画像のうちの対応領域の画像とのそれぞれに対してＣＥＮＳＵＳ変換を行う。これにより、第１のＩＲ元画像のうちのその高輝度領域の画像に対するＣＥＮＳＵＳ変換画像と、第２のＩＲ元画像のうちの対応領域の画像に対するＣＥＮＳＵＳ変換画像とが生成される。

（ステップＳ４５ｃ）
次に、フレア検出部１１２は、ステップＳ４５ｃにおいて、ステップＳ４４ｃで求めた第１のＩＲ元画像のＣＥＮＳＵＳ変換画像と、第２のＩＲ元画像のＣＥＮＳＵＳ変換画像との間のハミング距離を計算する。そして、フレア検出部１１２は、このハミング距離を高輝度領域の画素数で正規化した値が第６閾値以下の場合（ステップＳ４５ｃのＹｅｓ）、その高輝度領域ではフレアなどが生じていないと判別する（ステップＳ４２ａ）。一方、正規化したハミング距離の値が第６閾値より大きい場合（ステップＳ４５ｃのＮｏ）、フレア検出部１１２は、フレアなどの影響で、その高輝度領域の画像においてテクスチャがなくなっていると判断する。その結果、フレア検出部１１２は、その高輝度領域をフレア領域として判別する（ステップＳ４６ａ）。

つまり、フレア検出部１１２は、第１のＩＲ元画像のうちの第５閾値以上の輝度を有する少なくとも１つの高輝度領域のそれぞれについて、当該高輝度領域内の画像をＣＥＮＳＵＳ変換することによって第１変換画像を取得する。そして、フレア検出部１１２は、当該高輝度領域に対応する第２のＩＲ元画像の領域内の画像をＣＥＮＳＵＳ変換することによって第２変換画像を取得する。なお、第１変換画像および第２変換画像は、上述のＣＥＮＳＵＳ変換画像である。次に、フレア検出部１１２は、少なくとも１つの高輝度領域のうち、第１変換画像と第２変換画像との間のハミング距離が第６閾値を超える高輝度領域を、フレア領域として検出する。このようにＣＥＮＳＵＳ変換を用いても、フレア領域を適切に検出することができる。

以上、本実施の形態およびその変形例における奥行取得装置１では、ＩＲ画像にフレア領域がある場合であっても、ＢＷ画像の対応領域の画像を用いることによって、そのフレア領域内の各位置での適切な奥行きを取得することができる。

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態および変形例の奥行取得装置などを実現するソフトウェアは、図６、図７、図１５～図１９、および図２２～図２６の何れかのフローチャートに含まれる各ステップをコンピュータに実行させる。

以上、一つまたは複数の態様に係る奥行取得装置について、実施の形態およびその変形例に基づいて説明したが、本開示は、この実施の形態およびその変形例に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態および変形例に施したものや、実施の形態および変形例における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれてもよい。

また、本開示において、ユニット、デバイスの全部又は一部、又は図１、図４、図５、図８、図２０、および図２１に示されるブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路（ＩＣ）、又はＬＳＩ（large scale integration）を含む一つ又は一つ以上の電子回路によって実行されてもよい。ＬＳＩ又はＩＣは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、ＬＳＩやＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ(very large scale integration)、若しくはＵＬＳＩ(ultra large scale integration) と呼ばれるかもしれない。ＬＳＩの製造後にプログラムされる、Field Programmable Gate Array (FPGA)、又はＬＳＩ内部の接合関係の再構成又はＬＳＩ内部の回路区画のセットアップができるreconfigurable logic deviceも同じ目的で使うことができる。

さらに、ユニット、装置、又は装置の一部の、全部又は一部の機能又は操作は、ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは一つ又は一つ以上のＲＯＭ、光学ディスク、ハードディスクドライブ、などの非一時的記録媒体に記録され、ソフトウェアが、処理装置（processor）によって実行された場合に、ソフトウェアは、ソフトウェア内の特定の機能を、処理装置（processor）と周辺のデバイスに実行させる。システム又は装置は、ソフトウェアが記録されている一つ又は一つ以上の非一時的記録媒体、処理装置（processor）、及び必要とされるハードウエアデバイス、例えばインターフェース、を備えていても良い。

本開示は、撮影によって得られる画像から奥行きを取得する奥行取得装置に適用可能であり、例えば車載機器などとして利用可能である。

１ 奥行取得装置
１０、１０１ 光源
２０ 固体撮像素子
２１ 第１画素（ＩＲ）
２２ 第２画素（ＢＷ）
３０ 処理回路
５０ 拡散板
６０ レンズ
７０ バンドパスフィルタ
１０２ ＩＲカメラ
１０３ ＢＷカメラ
１０４ 学習モデル
１１０ プロセッサ
１１１ 奥行推定部
１１１ａ 第１奥行推定部
１１１ｂ 第２奥行推定部
１１２ フレア検出部
１１３ 発光タイミング取得部
１１４ ＩＲ画像取得部
１１５ ＢＷ画像取得部
１１６ 高輝度領域検出部
１１７ＩＲ 第１エッジ検出部
１１７ＢＷ 第２エッジ検出部
１１８ 出力部
２００ メモリ

Claims (15)

1. 光源から照射されて被写体によって反射された光を受光する撮像を行うことでＩＲ画像を取得し、
   前記被写体を可視光により撮像を行うことでＢＷ画像を取得し、
   前記ＩＲ画像および前記ＢＷ画像に基づいてフレア領域を検出する、
   情報処理方法。
2. 前記フレア領域の検出では、前記ＢＷ画像内の領域に対応する前記ＩＲ画像内の領域に基づいて、前記フレア領域を検出する、
   請求項１に記載の情報処理方法。
3. 前記フレア領域の検出では、前記ＢＷ画像内の領域に対応する前記ＩＲ画像内の領域の輝度に基づいて、前記フレア領域を検出する、
   請求項１または２に記載の情報処理方法。
4. 前記フレア領域の検出では、前記ＢＷ画像内の領域に対応する前記ＩＲ画像内の領域における輝度が閾値以上であることを検出する、
   請求項３に記載の情報処理方法。
5. 前記フレア領域の検出では、前記ＢＷ画像内の領域に対応する前記ＩＲ画像内の領域における輝度が閾値以上である場合、前記ＩＲ画像内の前記領域が前記フレア領域であることを検出する、
   請求項４に記載の情報処理方法。
6. 前記フレア領域の検出では、前記ＩＲ画像と、前記ＩＲ画像と同一のシーンの撮像によって生成された前記ＢＷ画像とに基づいて、前記フレア領域を検出する、
   請求項１に記載の情報処理方法。
7. 前記フレア領域の検出では、前記ＩＲ画像と、前記ＩＲ画像と同一の視点での撮像によって生成された前記ＢＷ画像に基づいて、前記フレア領域を検出する、
   請求項１に記載の情報処理方法。
8. 前記フレア領域の検出では、前記ＩＲ画像と、前記ＩＲ画像と同一の時刻での撮像によって生成された前記ＢＷ画像に基づいて、前記フレア領域を検出する、
   請求項１に記載の情報処理方法。
9. 前記ＩＲ画像の取得では、ＴｏＦ（Time of Flight）を利用する、
   請求項１に記載の情報処理方法。
10. 前記フレア領域の検出では、
    前記ＩＲ画像と前記ＢＷ画像とに基づいて、前記ＩＲ画像のうち、第１閾値以上の輝度を有し、かつ、予め定められた条件を満たす領域を、前記フレア領域として検出する、
    請求項１に記載の情報処理方法。
11. 前記予め定められた条件は、前記ＩＲ画像の領域内の画像特徴量と、前記領域に対応する前記ＢＷ画像の領域内の画像特徴量との間の相関値が、第２閾値未満となる条件である、
    請求項１０に記載の情報処理方法。
12. 前記ＩＲ画像および前記ＢＷ画像のそれぞれの領域内の画像特徴量は、前記領域内の画像に含まれるエッジである、
    請求項１１に記載の情報処理方法。
13. 前記ＩＲ画像および前記ＢＷ画像のそれぞれの領域内の画像特徴量は、前記領域内の輝度である、
    請求項１１に記載の情報処理方法。
14. プロセッサと、
    メモリとを備え、
    前記プロセッサは、前記メモリを用いて、
    光源から照射されて被写体によって反射された光を受光する撮像を行うことで生成されたＩＲ画像を取得し、
    前記被写体を可視光により撮像を行うことで生成されたＢＷ画像を取得し、
    前記ＩＲ画像および前記ＢＷ画像に基づいてフレア領域を検出する、
    情報処理装置。
15. 光源から照射されて被写体によって反射された光を受光する撮像を行うことで生成されたＩＲ画像を取得し、
    前記被写体を可視光により撮像を行うことで生成されたＢＷ画像を取得し、
    前記ＩＲ画像および前記ＢＷ画像に基づいてフレア領域を検出する、
    ことをコンピュータに実行させるプログラム。

Images