JP2010534000A - Ｔｏｆレンジカメラにおける汚れ検出方法 - Google Patents

Abstract

シーンからの反射光を、光インターフェースを通して、画素のアレイをもつイメージャセンサ上に受取する飛行時間（ＴＯＦ）レンジ画像化システムにおける汚れ検出方法が記載される。当該方法では、センサ画素に対して距離情報と振幅情報を特定するが、光インターフェース上の汚れの存在を、センサ画素に対して特定する振幅情報に基づいて特定する。

Description

本発明は、一般にＴＯＦレンジ画像化システムにおける汚れ検出、特に飛行時間レンジカメラシステムの光学素子における汚れ検出に関する。

光センサに基づく占有者（体）検出及び分類装置が、最新の車両では今や利用可能になっている。そのような装置の決定する情報はシート占有種類であり、適用エアバッグのスマート制御等の安全臨界的応用に屡用いられている。これ等装置は典型的には制御・計算部及びセンサ部から成り、センサ部の提供する画像を制御部が解析して、確度の最も高いシート占有クラス、例えば「空席」、「チャイルドシート」又は「搭乗者」を特定して後、それをエアバッグ制御部に送るようにしている。

従来の光検出及び分類装置は一般には、飛行時間（ＴＯＦ）原理に基づく、可動部の無い実時間カメラに頼っている（そのようなＴＯＦレンジカメラの一例は例えばR. Lange and P. Seitz in “Solid-State Time-of-Flight Range Camera”, IEEE Journal of Quantum Electronics, Vol. 37, No. 3, March 2001に記載されている）。検出及び分類装置は主として、計算部とセンサ部から成る。センサ部を特徴付けるものは、ＴＯＦ原理で動作する画像器センサと、１つ以上のレンズから成り、観測シーンからイメージャ（画像化素子）に到来する光を収集及び収束する連携光インターフェースとである。センサ部はまた、シーン内の物体に反射し、センサ部で検出される、例えば可視又は近赤外線を放出する能動照射用モジュールを一体として含む。

どんな光学系にもある固有の問題は汚れの問題である。実際、占有体検出・分類装置では車両内部とのセンサ部の光インターフェースは、搭乗者面に由来する垢、塵、露、油脂、擦傷、指先等の汚れを被りやすい。汚れは、センサ部の光学特性を局部的又は一様に変更して、制御及び計算部の動作の性能を変更、従って占有体検出・分類装置の決定情報、例えば占有体分類に誤差を導入し兼ねない作用がある。

汚れの問題は安全臨界的応用では特に重大であり、この種及び他種の用途のためのかかるＴＯＦレンジカメラにおける汚れを特定する簡単、且つ効率的方法があることが望まれる。

R. Lange and P. Seitz in "Solid-State Time-of-Flight Range Camera", IEEE Journal of Quantum Electronics, Vol. 37, No. 3, March 2001

本発明の目的は、ＴＯＦレンジ画像化システムにおける汚れ検出方法を提供することにある。

上記の目的は、請求項１に記載の方法により達成される。
本発明は、飛行時間レンジ画像化システムの光インターフェース上の汚れの存在を検出するに、センサ画素に連携する振幅情報を用いることを提案するものである。本発明者等は実際、光インターフェース上の汚れの存在が振幅画像／データの不鮮明化を、センサ全面に亘り局部的又は一様に引き起こすことを確認した。この不鮮明化は概して、イメージャアレイにおける隣接センサ画素間の入射変調光の回折による、振幅値分布の変更を引き起こす。その結果、コントラストが失われ、これが主としてバックグランド特性に影響を及ぼす。良く知られているように、画像化、即ち無走査、ＴＯＦカメラでは、距離情報は光波走時に関係するが、シーン照射のために変調光波を用いるシステムでは一般に、検出光信号成分の振幅もまた特定される。実際、振幅は信号／バックグランド比を、従ってシステム精度を規定する。

よって、本発明は、シーンからの反射光を、光インターフェースを通して、画素のアレイをもつイメージャセンサ上に受取するＴＯＦレンジ画像化システムにおける汚れ検出方法であって、センサ画素に対して距離情報と振幅情報を特定する方法を提案する。本発明の重要な側面によれば、光インターフェース上の汚れの存在が、上記センサ画素に対して特定した上記振幅情報に基づいて特定される。

本発明方法は実施が極めて簡単であり、能動照射モジュールはＴＯＦレンジカメラシステムの通常の装備であるので、光インターフェースの表面を照射するのにも、反射光を検出するのにも、如何なる付加的ハードウェアを要しない。

本方法は、標準的ＶＧＡ解像度を要する、又は画像ノイズに鋭敏な、画像変換を要しないので、低解像度センサ（例えば、グラディエント演算子、ラプラス演算子、高速フーリエ変換）での使用に特に適していることが理解されるであろう。更に、どんな特定画像操作（画像相関等）も要しないので、どんな付加的パワーをも要しない。光学素子は典型的にシーンに合焦（ｆｏｃｕｓｅｄ）され、光インターフェースの表面には合焦されないものの、本方法の更なる有利な点はシーン内容に対するその独自性であり、それにより、光学装置をその主機能（レンジ測定）と同時に、且つ汚れ検出のために動作させることができる。加えるに、本方法は他の汚れ検出方法又はシステムに加えて用いることができる。最後に、ＴＯＦ原理による照射部とセンサ部との連結動作により、外部照明条件による感度問題が回避される。

実際上、シーンは変調光波を放出する能動照射モジュールにより照射されて良く、距離情報は放出光信号と受取光信号間の位相遅れに基づいて特定される。センサアレイでは、受光は好ましくは各画素において平行に同時復調され、位相及び振幅情報又はデータを特定するようにする。従って、所定時刻に、センサアレイの各画素において特定される振幅値の組が「振幅画像」を形成するものと考えることができる。

一実施態様において方法は、振幅が所定振幅閾値より低い画素の数を特定し、振幅が上記振幅閾値より低いが画素の数が画素の所定数より少ない場合に、汚れが存在すると結論を下すようにして成る。そうでない場合、ＴＯＦカメラシステムは汚れが無いものと結論付けられる。

もう１つの実施態様において方法は、振幅値毎の画素の数を特定し、より低い振幅の画素の総数が画素の所定数に等しい振幅値を特定し、この振幅値が所定振幅閾値に等しい、又はそれを上回る場合に、汚れが存在すると結論を下すようにして成る。

両実施態様において有利には、画像に亘る回折光の量がシーンからの反射光に比例することから、振幅閾値は振幅値の平均の一次関数である。典型的には、振幅閾値は画素の数が平均振幅値の約５％となるように選ぶことができる。この平均振幅値は、画像における全画素振幅値の平均として計算することができる。

本発明は、適用分野に関係なく種々のＴＯＦレンジ画像化システムに適用することができることが理解されるであろう。本方法は、既利用可能な振幅値を用い、又は利用可能であればこれ等振幅値を特に計算する独立した方法として実施することができる。背景が一定の用途において、最適の性能が得られる。

本提案の方法は汚れ検出の性能及び堅牢性を高めるため、付加的汚れ検出手段、例えばハードウェアに基づく方法又は他の画像に基づく方法と最大限組み合わせることができる。

本発明の更なる詳細及び利点は、添付の図面を参照する、非限定実施態様数例の以下の記載から明らかになろう。 図面において、
図１は、ＴＯＦカメラシステムを用いる通常の光学的占有体検出・分類装置の線図である。
図２ａ及び図２ｂは、非汚れ及び汚れ状況に夫々対応する振幅ヒストグラムである。

汚れ検出のための本方法の好適な実施態様を以下、飛行時間原理に従って動作するイメージャセンサを組み込む光学的占有体検出・分類装置１０に関する用途に付いて例示的に記載する。この用途では、光学的占有体検出・分類装置１０はエアバッグ制御器に用いられる分類情報を出力する。

通常の光学的占有体検出・分類装置の構造を図１に示す。それは、制御・計算部１２とセンサ部１４を含む。センサ部１４は主として、光インターフェース１８に付随するイメージャモジュール１６を含む。イメージャモジュール１６は例えば、電荷結合素子原理を利用するロックイン画素の２Ｄアレイから成るものとして良い。センサ部１４は更に、監視すべきシーン２２、例えば光インターフェース１８の視野内にある車両内部を照射するため、能動照射モジュール２０を含むようにすると有利である。照射モジュール２０をセンサ部１４に組み込むと、コンパクト性の点で好ましく、受光器（イメージャ１６）に近接して能動的光源を位置付けることが可能になり、これはシャドウィング効果を回避する。照射モジュール２０は好ましくは、連続的に変調する不可視光を放出する。照射モジュール２０の放出する光（矢印２１）はシーン２２内の物体に反射し、矢印２３で表されているように、戻って光インターフェース１８を貫通し、イメージャモジュール１６のセンサアレイの各画素に取り込まれる。

制御・計算部１２は、ＴＯＦ原理に基づいてセンサ部１４を動作させる。従って、イメージャモジュール１６のセンサアレイの各画素に到達する光は復調され、シーン２２内の物体の種々の量、特に距離（レンジ）情報を特定する。

制御部１２はイメージャモジュール１６の送出するデータ／画像を解析し、エアバッグ制御器２６に前部搭乗者シートの確度の最も高い占有体分類（空席、チャイルドシート又は搭乗者等の占有体分類）に関する分類決定情報信号２８を提供する。

既述のように、照射モジュール２０は好ましくは連続変調光波を放出し、それにより光パルスの全走行時間を直接測定するのでは無く、測定送信信号と受信信号間の位相差が測定される。変調周波数は既知であるので、この測定された位相は飛行時間、従って距離に直接対応する。

本実施態様では、センサ部１６は画像化、即ち非走査センサシステムを用いる。全シーン２２は変調光円錐（ｍｏｄｕｌａｔｅｄ ｌｉｇｈｔ ｃｏｎｅ）照射モジュール２０によって射変調光波は従って、センサアレイの各画素において平行に同期復調される。

位相情報に加えて、振幅が各画素に対して特定されるもう一つのパラメタである。検出光信号成分の振幅は全光学損失に応じてファクターｋだけ低減される。その高さは信号／バックグランド比を規定し、従って達成可能な精度が決定される。受信変調信号の復調は、元の変調との相関により行うことができる。実際には、相互相関がＴＯＦチップ内で行われ、４つの相互相関係数の一組を生成する。次いで振幅及び位相情報がこれ等係数より計算される。これ等の計算は当業者に周知であり、此処では更なる記述はしない（一般的情報は例えば前出R. Lange and P. Seitzによる論文に見出されよう）。

例示のため、全シーン２２に変調光円錐が同時に照射される本例では、光強度は一般に時間と共に、周波数をｗとして次式に従って変化する。

数式１ Ｉ_ｓ（ｔ） ＝Ｉ_０・（１＋ｓｉｎ（ｗｔ））

各画素の受信する光は、同一周波数で、且つカメラから画素に写像される物体の点までの距離ｄに比例して、位相シフトｆ＝２ｄｗ／ｃ（ｃは光速）で変調される。

従って、受信信号は、ｆ＝２ｄｗ／ｃ（ｃは光速）として次式で表される。

数式２ Ｉ_Ｒ（ｔ）＝Ｂ＋Ａ・ｓｉｎ（ｗｔ−ｆ）

従って、受信信号は非変調部Ｂと振幅Ａの変調部とから成る。

完璧さのため、ＴＯＦカメラ分野における当業者に周知なように、振幅Ａは放出光の強度Ｉ_０に、例えば光学損失ファクターｋのようなカメラのある種の一定特性に、並びにシーンの光軽減係数及びシーンからカメラまでの距離に依存することを付記しても良いであろう。距離に対するＡの強い依存性のため、シーンの背景に関係する画素はシーンの前景に関係する画素より測定値の振幅が概して小さくなる。

装置１０の光インターフェース１８はシーン２２（車両搭乗者）に露呈するので、垢、塵、指先、油脂跡、擦傷、ヘアスプレー、ガラスクリーナー、接着剤、ステッカー、水やソーダ等の液滴等の汚れを被り易い。汚れは光インターフェース上に付着、粘着し、その結果、センサ部１４の光学特性を局部的又は一様に変更してしまう。そして、汚れの作用は計算部の動作を変更し、従って上記光学装置により特定される情報に誤差を導入することもある。

実際、光インターフェース１８にはイメージャモジュール１６が連携していて、入射光をイメージャモジュール１６内のセンサアレイ上に収集、収束する。光インターフェース１８は１つ以上のレンズと、保護窓又はレンズを含み、後者が例えばセンサ部ハウジングの外部壁部を形成するようにしても良い。汚れは従って、一般に、光インターフェース１８とは別個に参照符号２４で示すこの保護窓上に付着するであろう。光インターフェースと云う用語は従って、センサアレイに入射する光の光路にあるどんな光学素子をも包含するものと理解されるべきである。

本方法によれば、イメージャモジュール１６に当たる受信光波の振幅画像が、光インターフェース１８上の汚れの存在を検出するのに用いられる。振幅画像と云う用語は、所定時点に対応する復調振幅情報／データ／値を指し、画像の概念はこの情報の２次元配置に関係する。

本発明者等は事実、光インターフェース上の汚れには、画素全面に亘って局部的又は一様に振幅画像を不鮮明化する作用があることを確認した。不鮮明化は、隣接画素間で入射変調光が回折することにより、振幅値の分布が変更されることを意味する。この結果は、主としてバックグランド特性に影響を及ぼすコントラストの喪失である。

図２のグラフ（画素数ｖｓ振幅）は、光インターフェースに汚れが無い（図２ａ）場合と有る（図２ｂ）場合に制御部が送出する振幅画像における典型的な振幅分布を示す。これ等ヒストグラムは、汚れにより生ずる不鮮明化及びコントラスト喪失のため、低振幅のものが少なくなることを示している。振幅の分布は汚れ有りの場合（図２ｂ）狭くなる、即ち振幅値の覆う程度が小さくなることが分かる。従って、振幅画像の振幅ヒストグラムの解析は汚れを検出する手段として用いることができる。

一動作モードによれば、汚れ検出は、振幅が所定振幅閾値ＡＴより低い画素の数ＮＰを特定し、この画素数ＮＰが画素の所定数ＰＮＰより少ない場合に、汚れが存在するものと結論を下すものとする。そうでない場合には、装置は汚れ無いものと見做される。ＰＮＰの良値は実験により、どの画像もＮＰがＰＮＰより少なくないことを確かめた上で選ぶことができる。

画像に亘る回折光の量がシーンからの受信光に比例することから、振幅閾値ＡＴは好ましくは、振幅平均に比例するよう（例えば平均値の５％）に選ばれる。

より正確には、振幅閾値は次式により選ぶことができる。

数式３ ＡＴ＝Ａ_０＋ｅ_０・＜Ａ＞

ここで、Ａ_０は定数、＜Ａ＞は平均振幅値、ｅ_０は汚れ程度の意味の定数である。

言及されるべきことは、振幅閾値ＡＴは前景から最大の独立性を得るため小さく選ぶと有利であるが、その振幅下の画素数が統計的に十分大きいことを保証するのに十分大きいものであらねばならない。

他の動作モードでは、汚れ検出は、振幅値毎の画素の数を特定（即ち振幅ヒストグラムを作成）し、より低い振幅の画素の総数が画素の所定数に等しい振幅値Ａｓを特定するようにする。この振幅値Ａｓが所定振幅閾値Ａｔを上回る場合に、画像は汚れ有りと見做される（図２ｂ参照）。ここで再び、画像に亘る回折光の量がシーンからの受信光に比例することから、振幅閾値ＡＴは好ましくは上記のように、振幅平均に比例するように選ばれるべきである。

或いはまた、汚れ程度ｅを次式に従って計算することができる。

数式４ ｅ＝（Ａｓ−Ａ_０）／＜Ａ＞

特定される汚れ程度ｅ_０が既定の定数より大きければ、それは汚れと結論付けることができる。

シーン前景は振幅画像において高振幅に対して中央値を作る（シーン前景はセンサ部により近いので、照射部からより大きい光強度を受ける）が、シーン背景は逆に振幅画像において低振幅の一因となる。これを考慮するため、本汚れ検出方法は有利には、振幅ヒストグラムの解析を低振幅の分布に限定し、それにより、汚れとシーン内容の変化によるシーン前景の変化間の混同を回避するようにしている。図２において、背景画素の振幅の変動は実に汚れのみによる。本提案方法は、実施すべき主作業は画素を数えることであるので、複雑度が極めて低いことも言及して良いであろう。

典型的用途において、本方法を用いて、汚れの程度が或る閾値を超える場合、汚れ存否情報をエアバッグ制御器に与える２値信号を出力するようにすると有利である。上記閾値を、汚れが誤った分類出力を引き起こす汚れ程度未満に選ぶようにすると有利である。このようにして、本提案方法は、汚れによるどんな誤ったシート占有分類もエアバッグ制御器に伝わらないようにすることができる。

占有検出の文脈において、制御部の特定する振幅画像は次の２つの特性を有することに言及しても良いであろう。
（ａ）占有体検出・分類装置の光インターフェースの視野が、車両の前部搭乗者部分であるシーンをカバーしている（含んでいる）。種々のシート占有者及びシート位置が通常シーンを構成するが、それにもかかわらずシーンには、車両構造により規定される固定の分かっているフレーム構造、即ち車両ウィンドシールド及び車両ドア及び窓、Ａ及びＢピラー、ダッシュボード及び中央コンソールがある。その結果、センサ部の得る画像には、固定の背景を共有すると云う第１の共通特性がある。
（ｂ）第２に、本提案方法の好適な実施態様における飛行時間原理による、照射部とセンサ部間の連結動作のため、計算部の解析する振幅画像はまた、外部照明条件に無感応であることである。一定の既知フレーム構造に光を放出するので、照射部は従って一定の光パワーで動作可能になる。従って、振幅画像の第２の重要な特性は、それ等の背景画素が時間的に一定なディジタル値を有すると云うことである。

振幅画像のこれ等の特性を、本方法に従って画像に基づく汚れ検出に利用すると有利である。

この汚れ検出は、シート占有体が既知の場合、存在する汚れの程度に関する情報を与える連続信号（ＮＰの値又は式４からｅの値）をサービスモードで出力するのに用いることができる。

この好適な実施態様において、汚れ検出は、どんな付加的コンピュータリソース又はハードウェアもセンサ部に加えることなく、占有者検出・分類装置の計算部内の独立したアルゴリズムとして実行することができる。

本提案方法は付加的汚れ検出手段、例えばハードウェアに基づく方法又は他の画像に基づく方法と組み合わせて、汚れ検出の性能及び堅牢性を高めることもできる。

然しながら、本発明は用途が占有者分類のための光センサに限定されるものではなく、一定の背景及び能動照射によるどんな光監視システムにも有利に利用することができる。

１０ 光学的占有体検出・分類装置
１２ 制御・計算部
１４ センサ部
１６ イメージャモジュール
１８ 光インターフェース
２０ 照射モジュール
２１ 放出光
２２ シーン
２３ 反射光
２４ 保護窓
２６ エアバッグ制御器
２８ 分類決定情報信号

Claims (7)

1. シーンからの反射光を、光インターフェースを通して、画素のアレイをもつイメージャセンサ上に受取する飛行時間（ＴＯＦ）レンジ画像化システムにおける汚れ検出方法であって、上記センサ画素に対して距離情報と振幅情報を特定し、
   光インターフェース上の汚れの存在を、上記センサ画素に対して特定した上記振幅情報に基づいて特定して成ることを特徴とする方法。
2. 振幅が所定振幅閾値（ＡＴ）より低い画素の数（ＮＰ）を特定し、振幅が上記振幅閾値（ＡＴ）より低い画素の数（ＮＰ）が画素の所定数（ＰＮＰ）より少ない場合に、汚れが存在すると結論を下して成る請求項１に記載の方法。
3. 振幅値毎の画素の数を特定し、より低い振幅の画素の総数が画素の所定数に等しい振幅値を特定し、この振幅値が所定振幅閾値に等しい、又はそれを上回る場合に、汚れが存在すると結論することにより成る請求項１に記載の方法。
4. 前記振幅閾値が画像における振幅値の平均に依存する請求項２又は３に記載の方法。
5. 前記シーンが、変調光波を放出する能動照射モジュールにより照射され、前記距離情報を放出光信号と受取光信号間の位相遅れに基づいて特定して成る請求項１〜４の何れか１つに記載の方法。
6. 前記振幅情報の解析に応じて、汚れの程度を夫々表すところの、汚れの存否を表す信号を発生して成る請求項１〜５の何れか１つに記載の方法。
7. 請求項１〜５の何れか１つによる方法を実施し、汚れの程度を表す信号を発生するための手段を含んで成る飛行時間画像化システム。

Images