JP2002509320A

JP2002509320A - 眠気の検知方法及び装置

Info

Publication number: JP2002509320A
Application number: JP2000540525A
Authority: JP
Inventors: ピリム，パトリック; ビンフォード，トーマス
Original assignee: ホールディング・ベ・エ・ヴェ・ソシエテ・アノニム; パトリック・ピリム; トーマス・ビンフォード
Priority date: 1998-01-15
Filing date: 1999-01-15
Publication date: 2002-03-26
Also published as: WO1999036893A1; EP1050033B1; ES2179612T3; EP1050032A1; ES2179620T3; EP1050032B1; FR2773521A1; AU2619299A; CN1132131C; FR2773521B1; WO1999036893A9; ATE221235T1; BR9906974A; EP1050033A1; CA2320815A1; CN1157694C; DE69902225D1; AU2058099A; JP2002509321A; ATE219593T1

Abstract

(57)【要約】人の居眠りを検知するステップにおいて、人の顔の画像が収集される。人の目に対応する特徴を有する画像のピクセルが選択され、選択されたピクセルからヒストグラムが形成される。ヒストグラムは随時分析され、目のそのつどの開閉が識別され、人の居眠りを示す特徴が判定される。目を含む画像のサブ・エリアは人の頭部又は顔の特徴を識別することによって判定され、次に擬人モデルを利用してサブ・エリアが識別される。目の開閉を判定するため、目の陰影付きのピクセルのヒストグラムが分析され、陰影の幅と高さが判定され、又はまばたきに対応する動きのヒストグラムが分析される。人の居眠り検知装置は、人の顔の画像を収集するセンサと、コントローラと、選択された特徴を有するピクセルでヒストグラムを形成するためのヒストグラム形成ユニットとを含んでいる。本装置を搭載したバックミラー・アセンブリも開示される。

Description

【発明の詳細な説明】

【０００１】

【発明の技術分野】

本発明は一般に画像処理システムに関し、特に眠気を検知するための総称的( ジェネリック)画像処理システムの使用に関する。

【０００２】

【従来の技術】

高速道路での事故の多くはドライバーが居眠り、もしくはうたた寝したことが
原因であり、その結果、多数の死者と負傷者が出でいることはよく知られている
。眠気は用心を怠ることにより重大なダメージにつながる、例えば航空機のパイ
ロット、及び動力設備のオペレータのような他の分野での問題でもある。人が眠気を感じた時を確認するために、まばたきの継続期間と間隔の変化を含
む多数の異なる身体的な判定基準を利用できる。通常は、まばたきの継続期間は
目覚めている場合は約１００〜２００ｍｓであり、眠気を感じた場合は約５００
〜８００ｍｓである。連続するまばたきの時間間隔は目覚めている場合には一般
に一定であるが、眠気を感じた中は比較的広い範囲で変化する。

【０００３】ドライバの眠気を検知するために多くの装置が提案されている。このような装
置は、例えば米国特許明細書第5,841,354号;5,813,99号;5,689,24号;5,684,461 号;5,682,144号、5,469,143号;5,402,109号;5,353,013号;5,195,606号;4,928,090
号;4,555,697号;4,485,375号;及び4,259,665号に記載されている。一般に、これ
らの装置は３つの範疇に含まれる。すなわち、ｉ)ドライバの頭部の動き、例えば、傾倒を検知する装置、ｉｉ)ドライバの生理的変化、例えば心拍又は呼吸の変化を検知する装置、及び、ｉｉｉ)ドライバが居眠りした物理的な結果、例えばハンドルの握りが弱くなることを検知する装置である。これらの装置のどれも
市販されて成功しているわけではない。

【０００４】本件出願と共通の譲受人によるＰＣＴ出願番号PCT/FR97/01354号、及びPCT/EP9
8/05383号は、画像内の相対運動する目標物の位置を判定し、かつ目標物の速度と方向をリアルタイムで判定するように動作する総称的な画像処理システムを開
示している。画像の各ピクセルは独自の時間定数を用いて平滑化されている。平
滑化されたピクセルの振幅が先行のフレームから顕著に変化していることに対応
するバイナリ値と、変化の振幅とが判定され、そのピクセルの時間定数が更新さ
れる。各々の特定のピクセル毎に、特定のピクセルと空間的に関連するピクセル
のサブセットを含む２つのマトリクスが形成される。第１のマトリクスはピクセ
ルのサブセットのバイナリ値を含んでいる。第２のマトリクスはピクセルのサブ
セットの変化の振幅を含んでいる。第１のマトリクスでは、特定のピクセルに対
して配向された方向に沿ったピクセルが顕著な変化を表すバイナリ値を有してい
るか否かが判定され、そのようなピクセルに関しては、第二のマトリクスで、こ
れらのピクセルの振幅が配向された方向での動きを示す周知の態様で変化するか
否かが判定される。輝度、色相、飽和、速度、配向方向、時間定数、及びｘ及び
ｙ位置を含むドメイン(領域)で、ユーザが選択したこのようなドメインの組合わ
せ内に入る第１と第２のマトリスク内の値からヒストグラムが形成される。ヒス
トグラムを利用して、選択されたドメインの組合わせの特徴を有する領域がある
か否かが判定される。このような総称的な画像処理システムを人の眠気を検知するために応用できる
ことが望ましい。

【０００５】

【課題を解決するための手段】

本発明は、ドライバの顔の画像を収集してドライバが居眠りしていることを検
知する方法に関する。ドライバの少なくとも片目の特徴に対応する特徴を有する
画像のピクセルが選択され、選択されたピクセルからヒストグラムが形成される
。随時、ヒストグラムは分析され、そのつどの目の開閉が識別され、目の開閉情
報からドライバが居眠りしていることを示す特徴が判定される。

【０００６】一実施例では、目の特徴に対応する特徴を有する画像のピクセルを選択するス
テップに先立ち、目を含む画像のサブ・エリアが判定される。この実施例では、
目の特徴を有する画像のピクセルを選択するステップは、画像のサブ・エリア内
のピクセルを選択することを含んでいる。画像をサブ・エリアを識別するステッ
プは好適には、ドライバの頭部、又はドライバの鼻孔のような顔の特徴を識別し
、次に擬人モデルを利用して画像のサブ・エリアを識別するステップを含んでい
る。ドライバの頭部はドライバの頭部の縁部に対応する特徴を有する画像のピク
セルを選択することによって識別してもよい。ドライバの頭部の縁部の選択され
たピクセルのヒストグラムは直交軸に投影される。次に、これらのヒストグラム
が分析されて、ドライバの頭部の縁部が識別される。

【０００７】顔の特徴に対応する特徴を有する画像のピクセルを選択することによって、ド
ライバの顔の特徴を識別してもよい。顔の特徴の選択されたピクセルのヒストグ
ラムは直交軸に投影される。次に、これらのヒストグラムが分析されて、顔の特
徴が識別される。必要ならば、画像内の顔の特徴を識別するステップには、顔の
特徴が判明するまで画像のサブ画像を探索するステップが含まれていてもよい。
顔の特徴がドライバの鼻孔である場合は、ヒトスグラムは鼻孔を検知するために
輝度レベルが低いピクセルから形成される。鼻孔の検知を確認するために、鼻孔
ピクセルのヒストグラムを分析して、鼻孔の間隔が望ましい範囲内にあるか否か
、及び鼻孔の寸法が望ましい範囲内にあるか否かを判定してもよい。顔の特徴の
識別を確認するために、擬人モデル及び顔の特徴の位置を利用して、顔の第２の
特徴を含む画像のサブ・エリアが選択される。顔の第２の特徴に対応する特徴を
有する画像のピクセルが選択され、顔の第２の特徴の選択されたピクセルのヒス
トグラムが分析されて、顔の第１の特徴の識別が確認される。

【０００８】ドライバの目の開閉を判定するために、ドライバの目の特徴に対応する特徴を
有する画像のピクセルを選択するステップには、目の陰影に対応する低い輝度レ
ブルのピクセルを選択することが含まれる。この実施例では、目のそのつどの開
閉を識別するためにヒストグラムを随時分析するステップには、目の陰影の形状
を分析して、目の開閉を判定することが含まれる。陰影付きのピクセルのヒスト
グラムは好適には直交軸に投影され、目の陰影の形状を分析するステップには陰
影の幅と高さを分析することが含まれる。

【０００９】ドライバの目の開閉を判定する別の方法には、まばたきに対応する動きの特徴
を有する画像のピクセルを選択することが含まれる。この実施例において、その
つどの目の開閉を識別するためにヒストグラムを随時分析するステップには、目
のまばたきに対応する動くピクセルの数を随時分析することが含まれる。目のま
ばたきの特徴は好適には、ｉ)ＤＰ＝１、ｉｉ)まばたきする瞼を示すＣＯ、ｉｉ
ｉ)まばたきする瞼を示す速度、及びｉｖ)まばたきする瞼を示す上下運動、のグ
ループから選択される。

【００１０】ドライバの居眠りを検知する装置は、ドライバの顔の画像を収集するためのセ
ンサと、コントローラと、選択された特徴を有するピクセルのヒストグラムを形
成するためのヒストグラム形成ユニットとを含んでいる。コントローラは、ドラ
イバの少なくとも片目の特徴に対応する特徴を有する画像のピクセルを選択し、
かつ選択されたピクセルのヒストグラムを形成するようにヒストグラム形成ユニ
ットを制御する。コントローラはヒストグラムを随時分析し、目のその都度の開
閉を識別し、かつ目の開閉情報からドライバの居眠りを示す特徴を判定する。

【００１１】一実施例では、コントローラはヒストグラム形成ユニットと相互に作用して、
目を含む画像のサブ・エリアを識別し、かつコントローラは、画像のサブ・エリ
アの範囲内だけの目の特徴に対応する特徴を有する画像のピクセルが選択される
ようにヒストグラム形成ユニットを制御する。画像のサブ・エリアを選択するた
めに、コントローラはヒストグラム形成ユニットと相互に作用して、画像内のド
ライバの頭部を識別し、又はドライバの鼻孔のような顔の特徴を識別する。次に
コントローラは擬人モデルを利用して画像のサブ・エリアを識別する。ドライバ
の頭部を識別するため、ヒストグラム形成ユニットはドライバの頭部の縁部に対
応する特徴を有する画像のピクセルを選択し、直交軸に投影された選択されたピ
クセルのヒストグラムを形成する。ドライバの顔の特徴を識別するため、ヒスト
グラム形成ユニットは顔の特徴に対応する特徴を有する画像のピクセルを選択し
、直交軸に投影された選択されたピクセルのヒストグラムを形成する。次にコン
トローラは選択されたピクセルのヒストグラムを分析して、ドライバの頭部の縁
部、又は場合によっては顔の特徴を識別する。顔の特徴がドライバの鼻孔である
場合は、ヒストグラム形成ユニットは鼻孔の輝度レベルに対応する低い輝度レベ
ルを有する画像のピクセルを選択する。コントローラは更に鼻孔ピクセルのヒス
トグラムを分析して、鼻孔の間隔が望ましい範囲内にあるか否か、及び鼻孔の寸
法が望ましい範囲内にあるか否かを判定する。所望ならば、コントローラはヒス
トグラム形成ユニットと相互作用して、画像のサブ画像を探索し、顔の特徴を探
索する。

【００１２】顔の特徴の識別を確認するために、コントローラは擬人モデルと顔の特徴の位
置を利用して、ヒストグラム形成ユニットが顔の第２の特徴を含む画像のサブ・
エリアを選択するようにさせる。ヒストグラム形成ユニットは顔の第二の特徴に
対応する特徴を有するサブ・エリア内の画像のピクセルを選択し、このようなピ
クセルのヒストグラムを形成する。次にコントローラは顔の第２の特徴に対応す
る選択されたピクセルのヒストグラムを分析して、顔の第２の特徴を識別し、そ
れによって顔の第１の特徴の識別を確認する。

【００１３】一実施例では、ヒストグラム形成ユニットは目の陰影に対応する低いレベルの
輝度を有する画像のピクセルを選択し、次にコントローラは目の陰影の形状を分
析して目の開閉に対応する形状を識別する。ヒストグラム形成ユニットは好適に
は直交軸に投影された目の陰影付きのピクセルのヒストグラムを形成し、コント
ローラは陰影の幅と高さを分析して、目の開閉を判定する。

【００１４】別の実施例では、ヒストグラム形成ユニットはまばたきに対応する動きのピク
セルを選択し、コントローラは動くピクセルの数を随時分析して目の開閉を判定
する。まばたきに対応する動きの特徴は、好適には、ｉ)ＤＰ＝１、ｉｉ)まばた
きする瞼を示すＣＯ、ｉｉｉ)まばたきする瞼を示す速度、及びｉｖ)まばたきす
る瞼を示す上下運動、のグループから選択される。所望ならば、センサをコントローラ及びヒストグラム形成ユニットと一体に構
成してもよい。この装置は人が居眠りしていることを検知するとコントローラが
作動するアラームを備えていてもよく、また、照明源によって照射されるとセン
サが人を観察するように構成されているＩＲ放射源のような照明源を備えていて
もよい。

【００１５】バックミラー・アセンブリは、バックミラーと、バックミラーに実装されたド
ライバの眠気を検知する前述の装置とから構成されている。一実施例では、ブラ
ケットが装置をバックミラーに取り付ける。他の実施例では、バックミラーは開
放側部と内部とを有するハウジングを備えている。バックミラーはハウジングの
開放側部に実装され、ハウジング内部からハウジング外部へと透けて見える。眠
気検知装置は、センサをバックミラーの方向に向けてハウジング内部に実装され
る。所望ならば、ジョイントが装置をバックミラー・アセンブリに取り付け、こ
のジョイントはドライバがミラー・アセンブリを調節中に装置をドライバに面す
る位置に保持するように構成されている。バックミラー・アセンブリにはドライ
バに向けられる照明源が含まれていてもよく、センサは照明源によって照射され
るとドライバを観察するようにされている。バックミラー・アセンブリは更にア
ラームを備えていてもよく、ドライバの居眠りが検知されるとコントローラがア
ラームを作動する。更に、居眠り検知装置を搭載した自動車も開示される。

【００１６】

【発明の実施の形態】

この発明は、本明細書で参照文献として参照されている、所有者が共通のＰＣ
Ｔ出願シリアルナンバーPCT/FR97/01354号、及びPCT/EP98/05383号に開示されている、人の目に関連する様々な判断基準を検知し、特に車両を運転中のドライバ
の居眠りを検知するための総称的画像(ジェネリック・イメージ)処理システムの
応用を開示するものである。

【００１７】この発明の装置は明解にするために本明細書でも説明される上記のＰＣＴ出願
シリアルナンバーPCT/FR97/01354号、及びPCT/EP98/05383号に記載されているものと同様である。図１及び１０を参照すると、総称的画像処理システム２２はヒ
ストグラム形成ユニット２２ａと組合わせた空間及び時間処理ユニット１１を含
んでいる。空間及び時間処理ユニット１１は場面１３ａを監視するビデオカメラ
又はその他の写像装置(イメージング・デバイス)１３から発されるデジタル・ビ
デオ信号Ｓを受信する入力１２を含んでいる。写像装置１３は、好適には従来形
のＣＭＯＳ型ＣＣＤカメラであり、該カメラが本発明の目的のためにドライバに
面して車両内に搭載されている。車両以外の用途で使用する場合は、カメラは当
該の特定の判断基準を検知するための任意の態様で実装してもよいことが理解さ
れよう。更に、例えば超音波、ＩＲ、レーダーなどのその他の適宜のセンサを写
像装置として使用してもよいことが予測される。写像装置１３は直接デジタル出
力を有していてもよく、又はＡ／Ｄコンバータによってデジタル信号Ｓに変換さ
れるアナログ出力を有していてもよい。写像装置１３は更に、所望ならば総称的
画像処理システム２２と一体に形成してもよい。

【００１８】信号Ｓは進行波(プログレッシブ)信号でもよいが、好適には、各々が例えばＴ
Ｒ₁ 内でｌ_1.1 ，ｌ_1.2，……，ｌ_1.17、またＴＲ₂ 内でｌ_2.1 のような連続する水平走査線からなる一対の飛び越しフレームの連続からなっている。各線は連
続するピクセル、もしくは画像ポイント、例えば線ｌ_1.1の場合は、_1.1，ａ_1.2 ，ａ_1.3、または、線ｌ_1.17の場合は、ａｌ_17.1及びａｌ_17.22、または、線ｌ_2. ₁ の場合は、ａｌ_1.1 及びａ_1.2,からなっている。信号Ｓ(Ｐl )は、ピクセルＰl
からなる信号Ｓを表している。Ｓ(Ｐl )は各フレームの始端のフレーム同期信号(ＳＴ)と、各線の始端の線同
期信号(ＳＬ)と、帰線消去信号(ＢＬ)とを含んでいる。このように、Ｓ(Ｐl )は
時間領域を表す連続フレームを含んでおり、各フレーム内には空間領域を表す一
連の線とピクセルとを含んでいる。時間領域では、"連続フレーム"とは同じ種類の連続フレーム(すなわちＴＲ₁ のような奇数フレーム、又はＴＲ'₁ のような偶数フレーム)のことであり、"同じ位置の連続ピクセル"とは、例えばフレームＴＲ₁ 内のｌ_1.1のａ_1.1、及び、次の対応するフレームＴＲ ₂内のｌ_1.1のａ_1.1のような、同じ種類の連続フレー
ムの同じ位置にあるピクセル(Ｐl )の連続値を表している。

【００１９】空間及び時間処理ユニット１１は、好適にはデジタル信号であるデータ・バス
２３(図１１)への出力ＺＨ及びＳＲ１４を発生する。複合信号ＺＨは好適には動
いているエリア又は目標物の存在及び位置、及び画像の各ピクセルの速度Ｖと変
位の配向方向ＤＩとを示す信号を含む、システムによって生成される多数の出力
信号から構成されている。更に好適には、システムからの出力は、複合信号ＺＨ
(１フレーム)内のデータの計算時間を考慮に入れて、フレーム用の出力ＺＨと同
期化するために遅延される(ＳＲ)入力デジタル・ビデオ信号Ｓである。遅延信号
ＳＲはモニタ又はテレビ画面１０にカメラ１３によって受像される画像を表示す
るために利用され、これは更に、複合信号ＺＨに含まれる情報を表示するために
も利用される。複合信号ＺＨは更に、別個の処理アセンブリ１０ａに伝送され、
そこで信号が更に処理されるようにしてもよい。

【００２０】図２を参照すると、空間及び時間処理ユニット１１は、関連するメモリ１６と
、遅延ユニット１８と順序付けユニット１９とを有する空間処理ユニット１７と
、クロック信号ＨＰを生成し、かつ時間処理ユニット１５と順序付けユニット１
９用のクロックとして機能するピクセル・クロック２０からなる第１アセンブリ
１１ａを含んでいる。クロック・パルスＨＰは好適には１３．５ＭＨｚである、
画像のピクセル速度でクロック２０によって生成される。

【００２１】図３は時間処理ユニット１５の動作を示しており、その機能はビデオ信号を平
滑化し、かつ空間処理ユニット１７によって利用される多数の出力を生成するこ
とである。処理中に、時間処理ユニット１５はメモリ１６から、直前のフレーム
からのデジタル・ビデオ信号の平滑化されたピクセル値Ｌ１と、各ピクセル毎の
平滑化時間定数ＣＩの値とを検索する。ここで用いるＬＯ及びＣＯは時間処理ユ
ニット１５からのメモリ１６に記憶さているピクセル値(Ｌ)と時間定数(Ｃ)を示
すために用いられ、またＬＩとＣＩは時間処理ユニット１５により利用されるた
めにメモリ１６から検索され上記の値のそれぞれピクセル値(Ｌ)と時間定数(Ｃ)
を示す。時間処理ユニット１５は各ピクセル毎にピクセルに顕著な変化があるか
否かを識別するバイナリ出力信号ＤＰと、時間定数Ｃの更新された計算値を表す
デジタル信号ＣＯとを生成する。

【００２２】図３を参照すると、時間処理ユニット１５は入力ビデオ信号ＳのピクセルＰＩ
を受ける第１ブロック１５ａを含んでいる。各ピクセルＰＩごとに、時間処理ユ
ニットはメモリ１６から、直前の対応するフレームからの前記ピクセルの平滑化
された値ＬＩを検索し、この値は直前のフレームの処理中に時間処理ユニット１
５によって計算され、メモリ１６にＬＯとして記憶された値である。時間処理ユ
ニット１５は同じピクセル位置についての各ピクセル値ＰＩ及びＬＩ(例えばＴＲ₁内のｌ_1.1の、またＴＲ₂内のｌ_1.1のａ_1.1)の間の差の絶対値ＡＢを計算する
。ＡＢ＝｜ＰＬ−ＬＩ｜

【００２３】時間処理ユニット１５は入りピクセルのストリームとの同期を保持するために
クロック２０からのクロック信号ＨＰによって制御される。時間処理ユニット１
５のテスト・ブロック１５ｂは信号ＡＢと閾値ＳＥとを受信する。閾値ＳＥは一
定でもよいが、好適にはピクセル値ＰＩに基づいて変化し、より好適にはピクセ
ル値と共に変化して、ガンマ修正が形成される。ガンマ修正を形成するためにＳ
Ｅを変化させる周知の手段は、選択ブロック１５ｅに点線で示されている。バイ
ナリ信号ＤＰを判定するために、テスト・ブロック１５ｂはピクセル毎にデジタ
ル信号ＡＢとＳＥとを比較する。ＡＢが閾値ＳＥを超えている場合、それはピク
セル値ＰＩが先行フレームの同じピクセルの平滑化された値ＬＩと比較して顕著
に変化していることを示し、考慮しながら、ＤＰは当該のピクセルごとに"１"に
設定される。超えていない場合は、ＤＰはこのようなピクセルについて"０"に設
定される。

【００２４】ＤＰ＝１である場合は、ピクセル値ＰＩと、先行フレームの同じピクセルの平
滑化された値ＬＩとの差が大きすぎるものと見なされ、時間処理ユニット１５は
そのピクセルについて平滑化の時間定数Ｃを縮小することによって後続フレーム
での上記の差を縮小しようとする。逆に、ＤＰ＝０である場合は、時間処理ユニ
ット１５はそのピクセルについて平滑化の時間定数Ｃを増大することによって後
続フレームでの上記の差を増大しようとする。ＤＰの値の関数としての時間定数
Ｃの上記の調整はブロック１５ｃによって行われる。ＤＰ＝１である場合は、ブ
ロック１５ｃは単位値Ｕだけ時間定数を縮小するので、時間定数ＣＯの新たな値
は定数ＣＩの旧来の値から単位値Ｕを減算した値に等しくなる。ＣＯ＝ＣＩ−Ｕ

【００２５】ＤＰ＝０である場合は、ブロック１５ｃは単位値Ｕだけ時間定数を増大するの
で、時間定数ＣＯの新たな値は定数ＣＩの旧来の値に単位値Ｕを加算した値に等
しくなる。ＣＯ＝ＣＩ＋Ｕこのように、各ピクセル毎に、ブロック１５ｃはテスト・ユニット１５ｂから
のバイナリ信号ＤＰと、メモリ１６からの時間定数ＣＩとを受信し、ＣＩを単位
値Ｕだけ増減して調整し、新たな時間定数ＣＯを生成し、これは時間定数ＣＩに
代わってメモリ１６に記憶される。

【００２６】好適な実施例では、時間定数Ｃは２^pの形式であり、但しｐはブロック１５ｃ内で、好適には１に等しい単位値Ｕだけ増分、又は減分される。このようにして
、ＤＰ＝１である場合は、ブロック１５ｃは時間定数２^pのｐから１(Ｕ＝１であ
る場合)を減算し、そこで２^p-1になる。ＤＰ＝０である場合は、ブロック１５ｃ
は時間定数２^pのｐに１を加算し、そこで２^p+1になる。時間定数を２^pの形式のもとに選択することによって計算が容易になり、ひいてはブロック１５ｃの構造
が簡略化される。ブロック１５ｃはシステムの適正な動作を確実にするための幾つかのテストを
含んでいる。第１に、ＣＯは規定の限度内に留まっていなければならない。好適
な実施例では、ＣＯは負(ＣＯ≧０)になってはならず、また好適には７である限
度Ｎを超えてはならない(ＣＯ≦Ｎ)。ＣＩとＣＯが２^pの形式である場合は、上限Ｎはｐの最大値である。

【００２７】上限Ｍは一定でもよいが、好適には変数である。選択入力ユニット１５ｆはユ
ーザ、又はコントローラ４２がＮを変更できるようにするメモリのレジスタを含
んでいる。Ｎを増大させると、その結果ピクセルの変位を検知するシステムの感
度が上昇し、一方、Ｎを縮小すると検出速度が向上する。ＰＩのレバーの関数と
してＬＯの変化を調整するためにＮをＰＩに依存するようにしてもよく(Ｎは所望ならばピクセル毎に変更してもよい)、すなわちＮ_ijt＝ｆ(ＰＩ_ijt)であり、その計算はこの実施例ではビデオカメラ１３からＰＩの値を受けるブロック１５
ｆで行われる。

【００２８】最後に、計算ブロック１５ｄは各ピクセル毎に、ブロック１５ｃで生成された
新たな時間定数ＣＯと、入りビデオ信号Ｓのピクセル値ＰＩと、メモリ１６から
の以前のフレーム内のピクセルの平滑化されたピクセル値ＬＩとを受ける。次に
計算ブロック１５ｄは下記のようにピクセルの新たな平滑化されたピクセル値Ｌ
Ｏを計算する。ＬＯ＝ＬＩ＋(ＰＩ−ＬＩ)／ＣＯＣＯ＝２^pである場合は、ＬＯ＝ＬＩ＋(ＰＩ−ＬＩ)／２^POとなり、但し"ｐｏ"はユニット１５ｃで計算されたｐの新たな値であり、メモリ１６内
の以前の値"ｐｉ"に変わる数値である。

【００２９】平滑化動作の目的は、変化の差を縮小するために入りビデオ信号の各ピクセル
値ＰＩの変化を規準化することである。フレームの各ピクセル毎に、時間処理ユ
ニット１５はメモリ１６からＬＩとＣＩを検索し、新たな値ＬＯ(新たな平滑化されたピクセル値)と、ＣＯ(新たな時間定数)とを生成し、これらはＬＩ及びＣＩにそれぞれ代わってメモリ１６に記憶される。図２に示すように、時間処理ユ
ニット１５は各ピクセル毎にＣＯとＤＰの値を遅延ユニット１８を経て空間処理
ユニット１７に伝送する。

【００３０】Ｒ個のピクセルがフレーム内にあり、従って完全な画像ごとに２Ｒのピクセル
があるものと想定したメモリ１６の容量は少なくとも２Ｒ(ｅ＋ｆ)でなければな
らず、但しｅは単一のピクセル値ＬＩを記憶するために必要なビット数(好適には８ビット)であり、ｆは単一の時間定数ＣＩを記憶するために必要なビット数(
好適には３)である。各ビデオ画像が単一のフレームから構成されている場合は(
漸進画像)、２Ｒ(ｅ＋ｆ)ビットではなくＲ(ｅ＋ｆ)ビットを用いれば充分である。空間処理ユニット１７はカメラ１３からの画像の相対移動のエリアを識別し、
かつ動きの速度と配向方向とを判定するために使用される。空間処理ユニット１
７は遅延ユニット１８と連係して、ピクセル周波数でクロック・パルスＨＰを発
生するクロック２０によって制御される制御ユニット１９と協調する。空間処理
ユニット１７は時間処理ユニット１５から信号ＤＰ_ijとＣＯ_ijとを受け(但しｉとｊはピクセルのｘ及びｙ座標に対応している)、これらの信号を下記のように処理する。時間処理ユニット１５は各フレーム内のピクセルを処理するのに対し
て、空間処理ユニット１７はフレーム内のピクセルの集合を処理する。

【００３１】図５は対応する連続フレームのシーケンスＴＲ₁、ＴＲ₂及びＴＲ₃の時間処理と、ｔ₁、ｔ₂及びｔ₃の時点での座標ｘ、ｙを有するピクセルＰＩの上記フレームでの空間処理とを示している。図５の平面はフレームの空間処理に対応してい
るのに対して、フレームの重複は連続フレームの時間処理に対応している。時間処理ユニット１５からの信号ＤＰ_ijとＣＯ_ijとは空間処理ユニット１７に
よって、フレームの線の数Ｌ、及び線当たりのピクセル数Ｍよりも大幅に少ない
数の行と列とを含む第１マトリクス２１へと配分される。マトリクス２１は好適
には(カルテシアン座標の)ｙ軸に沿った２ｌ＋１の行と、ｘ軸に沿った２ｍ＋１
の列とを含んでおり、ｌとｍは小さい整数である。有利には、ｌとｍとして２の
倍数が選択され、例えばｌは２^aであり、ｍは２^bに等しく、ａとｂは例えば約２
から５までの整数である。図面と説明を簡略化するために、ｍは(異なっていてもよいが)ｌに等しいものとし、ｍ＝ｌ＝２³＝８とする。この場合、マトリクス
２ｌは２ｘ８＋１＝１７の行と、１７の列とを有する。図４はマトリクス２１を
形成する１７の行Ｙ₀，Ｙ₁ ,……,Ｙ₁₅,Ｙ₁₆と、１７の列Ｘ₀，Ｘ₁,……,Ｘ₁₅, Ｘ₁₆の一部を示している。

【００３２】空間処理ユニット１７は時間処理ユニット１５からのＤＰ_ijt及びＣＯ_jtの入り信号の流れをｌｘｍのマトリクス２１に配分する。フレームは大幅に大きく、
使用されているＴＶ規格に応じて行ごとにＬの線とＭのピクセル(例えば３１２．５の線と２５０−８００のピクセル)を有しているので、全てのＤＰ_ijt及びＣ
Ｏ_ijt の値のサブセットだけがマトリクス２１内に含まれることが判る。入りビデオ信号のＬｘＭのマトリクスを空間処理ユニット１７のｌｘｍのマト
リクス２１と区別するために、前者のマトリクスの座標を表すために指標ｉとｊ
が用いられ、後者のマトリクスの座標を表すために指標ｘとｙが用いられる。所
定の時点で、瞬間値ＰＩ_ijtを有するピクセルは信号ＤＰ_ijt及びＣＯ_ijtによって空間処理ユニット１７の入力にて特徴付けされる。ＤＰ及びＣＯについてＬｘ
Ｍマトリクスの各々を走査することによって(２l ＋１)ｘ(２ｍ＋１)マトリクス
２１が形成される。

【００３３】マトリクス２ｌでは、ｌ＝ｍ＝８である場合は、各ピクセルは行Ｙ₀からＹ₁₆ については０と１６(これを含む)の間の行番号によって定義され、列Ｘ₀からＸ₁ ₆ については０と１６(これを含む)の間の列信号によって定義される。この場合は、マトリクス２１は１７ｘ１７＝２８９のピクセルの平面になる。図４では、細長い水平の方形Ｙ₀からＹ₁₆そのうちの４つ、すなわちＹ₀，Ｙ₁ ，Ｙ₁₅及びＹ₁₆だけが示されている)と、垂直の線Ｘ₀からＸ₁₆そのうちの４つ、
すなわちＸ₀，Ｘ₁，Ｘ₁₅及びＸ₁₆だけが示されている)は、縦座標行と横座標列の交差点で定義されている指標を有する１７ｘ１７の画素、すなわちピクセルを
有するマトリクス２１を示している。例えばＰ₈₈は、図４でマトリクス２１の中
心である位置ｅに示されているような列８と行８の交差点にある。

【００３４】クロック２０(図２)からのＨＰ及びＢＬ信号に応答して、速度制御及び順序付
けユニット１９は、ｉ)(対応するピクセル数を有する画像用の)１３．５ＭＨｚをフレーム当たりの列の数(例えば４００)で除算した商に等しい周波数で遅延ユ
ニット１８への線シーケンス信号ＳＬを発生し、ｉｉ)周波数が１３．５／４００ＭＨｚをビデオ画像内の行の数(例えば３１２．５)で除算した商に等しいフレ
ーム信号ＳＣを発生し、ｉｉｉ)かつクロック信号ＨＰを出力する。帰線消去信号ＢＬは入力画像内の同期信号中に順序付けユニット１９を非動作状態にするた
めに用いられる。遅延ユニット１８はＬｘＭのマトリクスの一部をマトリクス２１へと配分する
。遅延ユニット１８はＤＰ、ＣＯ、及び入りピクセルＳ(ＰＩ)信号を受信し、こ
れらの信号をクロック信号ＨＰ、及び線シーケンス及び列シーケンス信号ＳＬ及
びＳＣを用いてマトリクス２１へと配分する。

【００３５】入り信号ＤＰとＣＯのストリームからマトリクス２１を形成するために、ＤＰ
及びＣＯ信号用の連続的な行Ｙ₀からＹ₁₆は下記のように遅延されなければならない。行Ｙ₀ −遅延なし行Ｙ₁ −フレーム線ＴＰの継続期間だけ遅延される行Ｙ₂ −２ＴＰだけ遅延されるそして、行Ｙ₁₆が１６ＴＰだけ遅延されるまで以下同様である。フレーム行ＴＰの継続期間の連続的な遅延は、Ｙ₁，Ｙ₂，……，Ｙ₁₆をそれぞ
れ担う１６の遅延回路ｒ₁，ｒ₂，……，ｒ₁₆のカスケードで行われ、行Ｙ₀は時間処理ユニット１５からの到来があると遅延なくＤＰ及びＣＯ信号によって直接
担われる。全ての遅延回路ｒ₁，ｒ₂，……，ｒ₁₆は１６の出力を有する遅延線に
よって構成されてもよく、連続する２つの出力間にいずれかのセクションによっ
て挿入される遅延は一定であり、ＴＰに等しい。

【００３６】速度制御ユニット１９はマトリクス２１に亘るＬｘＭのフレーム・マトリスク
全体の走査を制御する。１７ｘ１７のマトリクス上でのフレーム・マトリクスの
行内のピクセルの、例えば行Ｙ₀上でのＸ₀からＸ₁₆までの円形の変位は、連続す
る２つのピクセル位置の間の各行内に位置するＹ₀からＹ₁₆までの１７の行の各々の１６のシフトレジスタｄ(総数で１６ｘ１７＝２７２のシフトレジスタになる)、すなわち位置ＰＩ₀₀とＰＩ₀₁の間のレジスタｄ₀₁、及び位置ＰＩ₀₁とＰＩ₀ ₂ の間のレジスタｄ₀₂などのカスケードによって行われる。各レジスタは列シーケンス信号ＳＣを利用して、行、もしくは線内の連続する２つのピクセル間の時
間差に等しい遅延ＴＳを挿入する。Ｓ(ＰＩ)及びＤＰとＣＯについて、フレーム
ＴＲ₁ (図１)内の行ｌ₁，l₂，……，ｌ₁₇はＴＰ(行の完全な継続期間)だけシフトされて前後して遅延ユニット１８に到達し、遅延ユニット１８は漸増するＴＰ
の遅延を伴ってこれらを行Ｙ₀，Ｙ₁，……，Ｙ₁₇へと配分するので、これらの行
は同じフレーム部分に行ｌ₁，ｌ₂，……，ｌ₁₇について所定時間にＤＰ及びＣＯ
信号を表示する。同様に、所定の行、例えばｌａ₁について、連続するピクセル信号ａ_1.1，ａ_1.2，……がＴＳによってシフトされて到達し、シフトレジスタｄ
がこれもＴＳに等しい遅延を挿入する。その結果、マトリクス２１内の所定の行
Ｙ₀からＹ₁₆までのＤＰ及びＣＯ信号のピクセルは同時期のピクセルである。すなわちこれらは同じフレーム部分に対応している。

【００３７】マトリクス２１内のＣＯ及びＤＰを表す信号はシフトレジスタの１６ｘ１７＝
２７２の出力で、並びに１７行だけ先のレジスタの上流側で、すなわちレジスタ
ｄ_0.1，ｄ_1.1，……，ｄ_16.1で所定の瞬間に利用でき、それによって１７ｘ１７
の位置Ｐ_0.0，Ｐ_O.1，……，Ｐ_8.8，……，Ｐ_16.16について総計１６ｘ１７＋１
７＝１７ｘ１７の出力になる。空間処理のステップをより明解に理解するため、３つの行と３つの列を含む小
さいマトリクスＭ３に関してシステムを説明する。但し、その９つの画素の中心
画素は下記のような座標ｘ＝８、ｙ＝８を有するピクセルｅである。ａｂｃｄｅｆ (Ｍ３) ｇｈｉ

【００３８】マトリクスＭ３では、中心ピクセルｅの周囲の位置ａ、ｂ、ｃ、ｄ、ｅ、ｆ、
ｇ、ｈ、ｉは中心ピクセルに関する８つの配向方向に対応している。８つの方向
は図６に示したフリーマン・コードを用いて識別することができ、方向は４５の
ステップでｘ軸から開始されるコード０から７である。フリーマン・コードでは
２³＝８であるので、可能な８つの配向方向は３ビット数で表してもよい。マトリクスＭ３を検討すると、フリーマン・コードの８つの方向は下記の通り
である。３２１４ｅ０５６７１７ｘ１７のピクセルを有するマトリクス２１に戻ると、計算ユニット１７ａ
は同時に、マトリクス２１内の、寸法１５ｘ１５、１３ｘ１３、１１ｘ１１、９
ｘ９、７ｘ７、５ｘ５、及び３ｘ３を有する、ｅを中心にした様々のネストされ
た方形第２マトリクスを吟味する。３ｘ３マトリクスは前述のＭ３マトリクスで
ある。空間処理ユニット１７はどのマトリクスが最小であるかを判定し、そのマ
トリクス内でＤＰ＝１であるピクセルは位置合わせされたピクセルの運動方向を
決定する直線に沿って位置合わせされる。

【００３９】マトリクス内で位置合わせされたピクセルについて、システムは中心位置の各
々の側で、配向方向の＋ａから逆の配向方向の−ａまでの位置合わせの方向にＣ
Ｏが変化するか否かを判定する。但し、１＜ａ＜Ｎである。例えば、Ｍ３の位置
ｇ、ｅ、及びｃの値が−１、０、＋１である場合は、このマトリクス内で右から
左にフリーマン・コードの(配向された)方向１で変位が存在することになる(図６)。３ｘ３から１５ｘ１５までのネストされたマトリクスのうち、ＣＯがある方向に沿った２つの隣接位置の間で＋１又は１から変化するマトリクスの方が大
きい場合は、動くピクセルの変位の速度はより大きいことになる。例えば、Ｍ９
と呼ばれる９ｘ９のマトリクス内の位置ｇ、ｅ、及びｃの値が配向方向１で−１
、０、＋１の値を有している場合は、変位は３ｘ３のマトリクスＭ３(図７)で−
１、０、＋１の値である場合よりも変位は速い。線内のピクセルについて線がＤ
Ｐ＝１のテストを満たし、中心位置の各々の側で、配向方向の＋ａと逆の配向方
向の−ａからの位置合わせの方向にＣＯが変化する際の最小のマトリクスは、当
該の基本線として選択される。

【００４０】所定のマトリクス内で、ÅＣＯの値が大きいほど動きは遅いことを示す。例え
ば、最小のマトリクス、すなわち３ｘ３のマトリクスで、ＤＰs ＝１のＣＯ＝Å
２は、サブピクセルの動き、すなわち画像当たり１／２のピクセルの動きを判定
し、ＣＯ＝Å３はより遅い動き、すなわち画像当たり１／３の動きを示す。シス
テムにおける計算力を低減し、ハードウェアを簡略化するために、好適には中心
ピクセルに対して対称であるＣＯの値だけが考慮される。好適な実施例ではＣＯは２の倍数として表されるので、比較的低速度の識別も
依然として可能でありつつ、ＣＯ用に僅か数ビットを利用して拡張された速度範
囲を識別できる。可変速度を検知できるのは、例えば３ｘ３マトリクスＭ３内の
位置ｇ、ｅ、ｃ内の−２、０、＋２が、マトリクスＭ３内の同じ位置での１、０
、＋１に対応する速度の半分の速度を示すからである。

【００４１】不確実性を排除するために、結果として、好適には２回のテストが実施される
。第１のテストは、ネストさたマトリクスの１つの幾つかの方向に沿ってＣＯの
変化がある場合は、最強の変化、言い換えると最高の時間定数を選択する。第２
のテストは、例えば同一の動きの線が単一のマトリクス内で異なる方向に向く瞬
間に、フリーマン・コードの最小値を選択することによって、それに沿ってＣＤ
の変化が同一である２つの(又はそれ以上の)方向の一つを任意に選択する。この
ような事態は通常は、実際の変位方向がフリーマン・コードで連続する２つのコ
ード化された方向のほぼ真ん中にある場合、例えばｘ軸方向(フリーマン・コードの方向０)で、１．５(図６)で表すことができる約６７．５の(配向)方向に対応する方向１と２のほぼ真ん中にある場合に発生する。

【００４２】デジタル・ビデオ信号Ｓのフレーム全体の走査は好適には以下の手順で行われ
る。当該の第１群のピクセルはフレームの最初の１７の行、もしくは線と、フレ
ームの最初の１７の列である。引き続いて、依然としてフレームの最初の１７の
行について、マトリクスは列毎に図５に示すように、フレームの左から右へと、
すなわち最も左側の位置ＴＭ₁ の部分から、次にＴＭ₁に対して１列だけ偏倚したＴＭ₂へと、最も右のＴＭ_M(但しＭはフレーム線、もしくは行当たりのピクセル数)まで移動される。最初の１７行が各列ごとに左から右に移動したと見なされると、上記ステップはフレーム内の行２から１８について反復される。このス
テップは一度に１行だけシフトダウンしつつ、フレームの底部の最終グループの
線、すなわち線Ｌ−１６，……，Ｌ(但しＬはフレーム当たりの線の数)が考慮さ
れるまで継続される。

【００４３】空間処理ユニット１７は各ピクセルについて以下の出力信号を発生する。すな
わちｉ)ピクセルを囲むＣＯの最大変化の振幅に基づいて、ピクセルの変位速度を表す信号Ｖ。その値は例えば、速度が２の倍数で表される場合には０−７の範
囲の整数で表されてよく、従って３ビットで記憶されてよい。ｉｉ)最大変化の方向から計算されるピクセルの変位方向を表す信号Ｄ１。ＤＩの値も好適には、
３ビットで記憶されるフリーマン・コードに対応する０−７の範囲の整数によっ
て表される。ｉｉｉ)Ｖ＝０、及びＤＩ＝０の妥当な出力を偶発時による出力の欠如から区別できるように、速度及び配向方向の結果が妥当であるか否かを示す
バイナリ妥当性検査信号ＶＬ。この信号は妥当な出力の場合は１であり、妥当で
はない信号の場合は０である。ｉｖ)例えば、時間一定信号ＣＯは、３ビットで格納される。及びｖ)テレビ受像機又はモニタに表示できる、マトリクス２１にタンミングを合わせたビデオ信号を得るために、連続する１６の線の継続期間Ｔ
Ｒだけ、従って１７ｘ１７のマトリクス２１内での信号Ｓの配分の継続期間だけ
遅延ユニット１８内で遅延された入力ビデオ信号Ｓからなる遅延されたビデオ信
号ＳＲ、である。更に、制御ユニット１９からのクロック信号ＨＰ、線シーケン
ス信号ＳＬ、及び列シーケンス信号ＳＣも出力される。

【００４４】ネストされた６角マトリクス(図８)又は反転Ｌ字形マトリクス(図９)を図４及
び７のネストされた方形マトリクスの代わりに用いてもよい。図８に示した例で
は、ネストされたマトリクス(そのうちの最も中心に近いマトリクスＭＲ１及びＭＲ２だけを図示)は全て、図７のマトリクスＭ３、Ｍ９の中心点に対応するポイントＭＲ０に中心がある。６角マトリクス・システムの利点は、それによって
等方性速度計算を実施するために、不透明な座標軸ｘ_a、Ｙ_aを利用でき、同じ辺
の三角形に分解できることにある。

【００４５】図９のマトリクスは、２つの信号ＤＰとＣＯのそれぞれが、動きが生じた場合
は、ＤＰについては"１"に等しく、ＣＯについては１単位だけ増減される中心位
置ＭＲ_uから始まる単一の行(Ｌ_u)と単一の列(Ｃ_u)からなっている。動きがｘ座標の方向である場合は、ＣＯ_uの値を有する起点ＭＲ_uからＣＯがＣ
Ｏ_u＋１、又は１(これを含む)に等しい位置まで、ＣＯ信号は列Ｃ_u内の全ての位
置(ボックス)で同一であり、バイナリ信号ＤＰは行Ｌ_uの全ての位置で１に等しい。動きがｙ座標の方向である場合は、ＣＯ_uの値を有する起点ＭＲ_uからＣＯが
ＣＯ_u＋１、又は１(これを含む)に等しい位置まで、ＣＤ信号は行Ｌ_u の全ての位置(ボックス)で同一であり、バイナリ信号ＤＰは列Ｃ_uの全ての位置で１に等しい。動きがｘ及びｙ座標に対して斜めである場合は、Ｌ_uの位置(ボックス)及びＣ_uの位置(ボックス)で、バイナリ信号ＤＰは１に等しく、ＣＯはＣＯ_uに等し
い。勾配は、信号ＣＯ_uが１単位の値だけ変化し、ＤＰ信号は常に１に等しい２つの位置を通過する線に対する垂線によって決定される。

【００４６】図９はＤＰ＝１であり、ＣＯ_uの値は２つの特定位置Ｌ_u3及びＬ_U5で１単位だけ変化する場合を示し、対応する勾配Ｐ_Pを示している。全ての場合に、変位速度はＣＯが１単位だけ変化する位置の関数である。ＣＯがＬ_u又はＣ_uにおいての
み１単位だけ変化する場合は、それはＣＯの変化位置の値に対応する。ＣＯがＬ _u 内の位置、及びＣ_u内の位置で１単位だけ変化する場合は、速度はＭＲ_uとＥ_xと
の距離に等しい(ＭＲ_uを通過するＣ_u−Ｌ_uに垂直な線の交点)。

【００４７】図１０は方形マトリクス写像装置の行と列に対応する同心線Ｃと放射状の線ｄ
の交点に位置するセンサを有する写像装置を示している。このような写像装置の
動作は円形走査シーケンサによって制御される。この実施例では、角セクタ形の
ｎｘｎマトリクスＭＣが形成され(３ｘ３マトリクスＭＣ３と５ｘ５マトリクスＭＣ５を図示)、順序付けの差を除けば、マトリクスは前述の方形マトリクスの実施例と同様に処理される。

【００４８】図１１〜１６に示すように、目標物を識別するためのユーザ指定の判断基準に
基づいて入力信号内の目標物を識別するために、ヒストグラム・プロセッサ２２
ａと連係して空間及び時間処理ユニット１１が使用される。バスＺ−Ｚ₁(図２、
１１、及び１２を参照)は空間及び時間処理ユニット１１の出力信号をヒストグラム・プロセッサ２２ａに転送する。ヒストグラム・プロセッサ２２ａは場面内
の相対運動のエリアに関する情報を含む複合出力信号ＺＨを発生する。

【００４９】図１２を参照すると、ヒストグラム・プロセッサ２２ａは信号をその様々な部
品間で通信し、コントローラ４２から入力コマンドを受信し、かつ出力信号をコ
ントローラ４２に伝送するためのバス２３を含んでいる。ヒストグラム形成及び
処理ブロック２４−２９は様々な入力信号、すなわち遅延したデジタル・ビデオ
信号ＳＲ、速度Ｖ、(フリーマン・コード内の)配向方向ＤＩ、時間定数ＣＯ、後
述する第１の軸ｘ(ｍ)及び第２の軸ｙ(ｍ)を受信する。各ヒストグラム形成ブロ
ックの機能は、そのブロックに関連する領域についてヒストグラムを形成できる
ようにすることである。例えば、ヒストグラム形成ブロック２４は遅延したデジ
タル・ビデオ信号ＳＲを受信し、ビデオ信号の輝度値についてヒストグラムを形
成することができる。信号の輝度は一般に０〜２５５の範囲の数で表されるので
、ヒストグラム形成ブロック２４は好適には８ビットでアドレス指定可能なメモ
リであり、各記憶域はフレーム内のピクセル数に対応するのに充分なビット数を
有している。

【００５０】ヒストグラム形成ブロック２５は速度信号Ｖを受信し、フレーム内にある様々
な速度についてのヒストグラムを形成することができる。好適な実施例では、配
向方向は０〜７の範囲の整数である。その場合はヒストグラム形成ブロックは２
５好適には３ビットでアドレス指定可能なメモリであり、各記憶域はフレーム内
のピクセル数に対応するのに充分なビット数を有している。ヒストグラム形成ブロック２６は配向方向信号ＤＩを受信し、フレーム内の配
向方向についてのヒストグラムを形成することができる。好適な実施例では、配
向方向はフリーマンコードに対応して０〜７の範囲の整数である。その場合は、
ヒストグラム形成ブロック２７は好適には３ビットでアドレス指定可能なメモリ
であり、各記憶域はフレーム内のピクセル数に対応するのに充分なビット数を有
している。

【００５１】ヒストグラム形成ブロック２７は時間定数信号ＣＯを受信し、フレーム内のピ
クセルの時間定数についてのヒストグラムを形成することができる。好適な実施
例では、時間定数は０〜７の範囲の整数である。その場合は、ヒストグラム形成
ブロック２７は好適には３ビットでアドレス指定可能なメモリであり、各記憶域
はフレーム内のピクセル数に対応するのに充分なビット数を有している。ヒストグラム形成ブロック２８及び２９はヒストグラムが形成されるピクセル
のｘとｙのそれぞれの位置を受信し、後に詳述するようにこのようなピクセルの
ヒトスグラムを形成する。ヒストグラム形成ブロック２８は好適には、線内のピ
クセル数に対応するビット数でアドレス指定可能であり、各記憶域はフレーム内
の線の数に対応するのに充分なビット数を有しており、また、ヒストグラム形成
ブロック２９は好適には、フレーム内の線の数に対応するビット数でアドレス指
定可能であり、各記憶域は線内のピクセル数に対応するのに充分なビット数を有
している。

【００５２】図１２及び１４を参照すると、ヒストグラム形成ブロック２４〜２９の各々は
妥当性検査信号Ｖ１−Ｖ６をそれぞれ発生する関連する妥当性検査ブロック３０
〜３５をそれぞれ有している。一般に、ヒストグラム形成ブロック２４〜２９の
各々は他のブロックと同一であり、同様の機能を果たす。簡略化のために、残り
のヒストグラム形成ブロックも同様に動作するものと想定して、ヒストグラム形
成ブロック２５の動作について説明する。ヒストグラム形成ブロック２５はその
ブロックのヒストグラムを形成するヒストグラム形成部２５ａと、形成されるヒ
ストグラムのピクセルの判断基準を選択するための分類器２５ｂとを含んでいる
。ヒストグラム形成部２５ａ及び分類器２５ｂは集積回路(図示せず)内のコンピ
ュータ・ソフトウェアの制御下で、ヒストグラム形成ブロックによって発生され
るヒストグラムの或る制限を抽出し、かつヒストグラム形成ユニットの様々な部
品の動作を制御するように動作する。

【００５３】ここで図１４を参照すると、ヒストグラム形成部２５ａは、好適には従来形の
デジタル・メモリであるメモリ１００を含んでいる。速度のヒストグラムを形成
するヒストグラム形成ブロック２５の場合は、メモリ１００は、各々が画像のピ
クセル数までを記憶できるアドレス０〜７を有するサイズである。フレーム間で
マルチプレクサ１０２及び１０４にinit＝１を設定することによって、メモリは
初期設定される。すなわち全てのメモリがクリヤされる。それによって、マルチ
プレクサ１０２に関して、"０"入力を選択する効果が得られ、これはメモリ１０
０のデータ・イン線に出力される。同時に、init＝１を設定することによって、
マルチプレクサ１０４はカウンタ入力を選択するようにされ、これはメモリ１０
０のアドレス線に出力される。カウンタ入力はメモリ１００用の全てのアドレス
をカウントするカウンタ(図示せず)に接続されており、この場合、０≦アドレス
≦７である。これはメモリ１００の全てのメモリ・アドレスにゼロを配する効果
がある。メモリ１００は好適には、各フレーム間の帰線消去期間中にクリヤされ
る。メモリ１００がクリヤされた後、init線はゼロに設定され、その結果、マル
チプレクサ１０２の場合はデータ線のコンテントがメモリ１００に送られ、また
、マルチプレクサ１０４の場合は、空間処理ユニット１１７からのデータ、すな
わちＶデータがメモリ１００のアドレス線に送られる。

【００５４】分類器２５ｂは後に更に検討される選択された分類の判断基準を有するデータ
だけを割込み可能にするが、これは、ヒストグラム形成ブロック２４〜２９によ
って形成されるヒストグラムに含めることを意図している。例えば、好適には０
−７の範囲の値である速度に関しては、分類器２５ｂを例えば速度１、速度３又
は５、速度３〜６などのような特定の速度範疇(単数又は複数)内のデータだけを
考慮するように設定すればよい。分類器２５ｂは分類の判断基準をユーザが、又
は別個のコンピュータ・プログラムが設定できるようにするレジスタ１０６を含
んでいる。例えば、レジスタ１０６は、速度の場合は０〜７の番号の８個のレジ
スタを含んでいる。例えばレジスタ番号２のようなレジスタを"１"に設定するこ
とによって、例えば速度２のような選択されたクラスの判断基準を満たすデータ
だけが"１"の分類出力を生ずる。Ｒ(ｋ)＝ｂ(但しｋはレジスタ番号、ｂはレジスタに記憶されている論理値)である任意の所与のレジスタの場合、数学的に表現すると下記になる。出力＝Ｒ(データ(Ｖ))

【００５５】データ・ポイントＶの大きさが２であるならば、Ｒ(２)＝１である場合だけ分
類器２５ｂの出力は"１"になる。ヒストグラム形成ブロック２４に関連する分類
器は好適には、画像の可能なそれぞれの輝度値ごとに１個ずつ、２５６個のレジ
スタを有している。ヒストグラム形成ブロック２６に関連する分類器は好適には
可能なそれぞれの方向の値ごとに１個ずつ、８個のレジスタを有している。ヒス
トグラム形成ブロック２７に関連する分類器は、好適には、可能なそれぞれのＣ
Ｏの値ごとに１個ずつ、８個のレジスタを有している。ヒストグラム形成ブロッ
ク２８に関連する分類器は好適には、線当たりのピクセル数と同数のレジスタを
有している。最後に、ヒストグラム形成ブロック２９に関連する分類器は好適に
はフレーム当たりの線の数と同数のレジスタを有している。各分類器の出力はヒ
ストグラム形成ブロック２８及び２９の場合はバス２３を介して、後に詳述する
組合わせユニット３６を経て妥当性検査ブロック３０〜３５の各々に通信される
。

【００５６】妥当性検査ユニット３０〜３５はヒストグラム形成ブロック２４〜２９内の全
ての分類ユニットから並列に分類情報を受信する。各妥当性検査ユニットは関連
するヒストグラム形成ブロック２４−２９に通信される妥当性検査信号を発生す
る。妥当性検査信号は各々の入りピクセルごとに、ヒストグラム形成ブロックが
そのヒストグラムを形成する際にそのピクセルを利用するか否かを決定する。ヒ
ストグラム形成ブロック２５を示した図１４を再び参照すると、妥当性検査ユニ
ット３１は各々のヒストグラム形成ブロックに関連するレジスタを有する、又は
より一般的には、この場合は輝度、速度、方向、ＣＯ、及びｘ及びｙ位置におい
て、システムが処理できる各々のデータ領域に関連するレジスタを有するレジス
タ・ブロック１０８を含んでいる。レジスタ・ブロック１０８内の各レジスタの
コンテントは、ユーザ又はコンピュータ・コントローラによって設定できるバイ
ナリ値である。各妥当性検査ユニットはバス２３を介してこの場合は０，……，
ｐの番号が付された各々の分類器の出力を受信する。例えば速度である任意のデ
ータ領域について、考慮されている特定のデータ・ポイントがデータ領域用の分
類器で"１"に設定されているレジスタのクラスにある場合は、そのデータ領域に
ついての分類器の出力は"１"だけであることに留意されたい。各妥当性検査ユニ
ットからの妥当性検査信号は、"１"に設定されている妥当性検査ユニット内の各
レジスタについて、そのレジスタの領域用に分類器から"１"の入力が受信された
場合のみ、"１"になる。このことは下記のように表される。 Out =(in₀*＋Reg₀)(in₁*＋Reg₁),……, (in_n*＋Reg_n)(in₀＋in₁＋，……，in_n) ただし、in₀*、in₁*,……,in_n*は、in₀，in₁，……,in_nの反転であり、Reg₀は
入力in₀に関連する妥当性検査ユニット内のレジスタである。

【００５７】このように、妥当性検査ユニット３０〜３５と組合わせて分類器を利用するこ
とで、システムは選択された任意の領域内の選択された任意のクラスのデータ・
ポイントだけを処理するように選択できる。例えば、下記のレジスタ、すなわち
速度、方向、及び輝度の妥当性検査ユニット内のレジスタ、速度分類器内のレジ
スタ２、方向分類器内のレジスタ４、及び輝度分類器内のレジスタ１２５の各々
を"１"に設定することによって、速度２、方向４、及び輝度１２５を有するデー
タ・ポイントだけを検出するためにシステムを利用できる。これらのピクセルを
ブロック内へと形成するために、ｘ及びｙ方向での妥当性検査ユニット内のレジ
スタも"１"に設定されよう。

【００５８】再び図１３を参照すると、妥当性検査信号Ｖ２はピクセル毎に更新される。特
定のピクセルについて、妥当性検出信号Ｖ２が"１"である時、加算機１１０は、
メモリ１００の出力を１つ増分する特定のピクセルについて、妥当性信号Ｖ２が
"０"である場合は、加算器１００はメモリの出力を増分しない。いずれにせよ、
加算器１００の出力は当該のピクセルに対応するアドレスでメモリ１００内に記
憶される。例えば、速度０〜７の範疇に入れることができる速度のヒストグラム
を形成するためにメモリ１００が使用され、メモリ１００が０〜７の対応する記
憶域を含んでいるものと想定すると、速度６のピクセルが受信されると、データ
線を経たマルチプレクサ１０４へのアドレス入力は６になる。妥当性検査信号Ｖ
２が"１"であるものと想定すると、記憶域６でのメモリのコンテントは増分され
る。画像のコースに亘って、メモリ１００はメモリに関連する範疇内の画像のピ
クセルのヒストグラムを含んでいる。特定のピクセルについて、妥当性検出信号
Ｖ２が"０"である場合、(例えばそのピクセルが適正な方向、速度、又は輝度を有していないため)そのピクセルはピクセルがカウントされる範疇にはないので、そのピクセルはヒストグラムの形成には利用されない。

【００５９】メモリ１００内で形成されるヒストグラムについて、そのヒストグラムのキー
になる特徴はユニット１１２で同時に計算される。図１４を参照すると、ユニッ
ト１１２は、ヒストグラムの極小値(ＭＩＮ)、ヒストグラムの極大値(ＭＡＸ)、
ヒストグラム内でのポイント数(ＮＢＰＴＳ)、ヒストグラムの極大値の位置(ＰＯＳＲＭＡＸ)、及びヒストグラムの極大値でのポイント数(ＲＭＡＸ)を含むキーになる特徴のそれぞれのためのメモリを含んでいる。これらの特徴は下記のよ
うにヒストグラムの形成と並行して判定される。 "１"の妥当性検査信号１を有する各ピクセルについて、 (ａ)ピクセルのデータ値＜(最初にヒストグラムの可能最大値に設定された)ＭＩ
Ｎである場合は、データ値をＭＩＮに書き込む。 (ｂ)ピクセルのデータ値＞(最初にヒストグラムの可能最小値に設定された)ＭＡ
Ｘである場合は、データ値をＭＡＸに書き込む。 (ｃ)ピクセルのデータ値のアドレスでのメモリ１００のコンテント＞(最初にヒストグラムの可能最小値に設定された)ＲＭＡＸである場合は、(ｉ)データ値をＰＯＳＲＭＡＸに書き込む、又は、(ｉｉ)データ値をＲＭＡＸに書き込む。 (ｄ)(最初に０に設定された)ＮＢＰＴＳを増分する。

【００６０】各フレームの終端でメモリ１００内のヒストグラムの形成が完了した時点で、
ユニット１１２はヒストグラムを特徴付ける重要なデータを含んでいる。各メモ
リ１００内のヒストグラム、及びユニット１１２内のヒストグラムの特徴は、コ
ントローラ４２によって各フレームの走査スポット中に読み出され、メモリ１０
０はクリヤされ、ユニット１１２は次のフレームの処理のために再初期化される
。

【００６１】この発明のシステムはシステムによって考慮されるべきピクセルを選択するた
めの準グラフィック・マスキング機能を含んでいる。図１６は各々がｓｘｔの寸
法を有するサブ・マトリクス５１へと分割された、ＱｘＲマトリクスに配列され
たピクセルからなる代表的な画像５３を示しており、各々のｓｘｔのサブ・マト
リクスは画像のｓｘｔの数のピクセルを含んでいる。図１７に示した各サブ・マ
トリクスは３ｘ４のマトリクスである。好適な実施例では、ｓ＝９であり、ｔ＝
１２であるが、所望ならば１ｘ１を含む任意の適当なサイズのサブ・マトリクス
を使用してもよい。図１２を参照すると、ヒストグラム・プロセッサ２２ａは各
々のｓｘｔマトリクスに対応する１ビットの記憶域を含む準グラフィック・メモ
リ５０を含んでいる。所定の任意のサブ・マトリクス５１について、メモリ５０
内の対応するビットを"０"に設定してよく、これはこのようなサブ・マトリクス
５０内の全てのピクセルを無視する効果があり、あるいは"１"に設定してもよく
、この場合は、ヒストグラムを形成する際にこのようなサブ・マトリクス内の全
てのピクセルが考慮される。このようにして、準グラフィック・メモリ５０を使
用することによって、ヒストグラム形成中に考慮に入れる画像のエリアを制限す
ることができる。例えば、車両の方向を向いたカメラによって撮影された道路の
画像を利用して、道路の車線を検知する場合、カメラから最も遠い道路のピクセ
ル情報は一般に有用な情報を含んでいない。従って、このような用途では、こう
したピクセルを無視するように準グラフィック・メモリ５０を設定することによ
って道路の遠距離部分を遮蔽するために、準グラフィック・メモリが使用される
。あるいは、後述のようなスクリーンの不要なエリアを排除する検知ボックス内
だけのピクセルをトラッキングするようにシステムを設定することによって、無
視されるべき道路部分を遮蔽してもよい。

【００６２】動作時には、考慮中のどのピクセルについても、このようなピクセルの妥当性
検査信号、及びそのピクセルが位置するサブ・マトリクス用の準グラフィック・
メモリ５０のコンテントにもとづきＡＮＤ演算が実行される。そのピクセルが位
置するサブ・マトリクスについて準グラフィック・メモリ５０のコンテントが" ０"を含んでいる場合は、ＡＮＤ演算によって"０"が算出され、ピクセルは無視されるが、それ以外の場合はピクセルは通常のように考慮される。妥当性検査信
号以外でＡＮＤ演算を行っても、機能性の結果は同一であるものと予測される。
更に、メモリ５０は各ピクセルを準グラフィック・メモリ内で独立して選択可能
なフレームサイズ・メモリでもよいことが予想される。それによって、画像の所
望の任意のピクセルを所望通りに考慮したり、無視したりできよう。準グラフィ
ック・メモリ５０はデータ・バス２３を介してコントローラ４２によって設定さ
れる。

【００６３】図１６は連続するクラスＣ₁、Ｃ₂、……、Ｃ_n-1、Ｃ_nの例を示しており、各々
が仮想の速度ヒストグラムについて特定の速度を表しており、この例では１６の
速度まで(１５が示されている)範疇化されている。更に、ヒストグラムの平滑化
された表現であるエンベロープ３８も示されている。画像内でユーザ指定の判断基準を有する目標物の位置を突き止めるために、ヒ
ストグラム・ブロック２８及び２９を利用して、選択された判断基準を有するピ
クセルのｘとｙの位置についてのヒストグラムが作成される。これらは図１３に
ｘ及びｙ座標に沿ったヒストグラムとして示されている。これらのｘ及びｙデー
タは、横座標及び縦座標情報ｘ(ｍ)₂及びｙ(ｍ)₂をそれぞれバス２３に出力され
る複合信号ｘｙ(ｍ)へと結合する移動エリア形成ブロック３６へと出力される。
複合ヒストグラム４０のサンプルが図１３に示されている。バス２３に出力され
る様々なヒストグラム及び複合信号ｘｙ(ｍ)は、画像内に移動エリアがあるか否
かを判定し、このエリアの位置を発見し、かつ／又はその速度と配向方向を判定
するために使用される。相対運動しているエリアは、図１８を参照して後述する
ように、必ずしも直交ではないｘとｙの方向に沿った観察面にあるので、データ
変更ブロック３７を利用してｘ及びｙデータを直交座標へと変換してもよい。デ
ータ変更ブロック３７はｘ(ｍ)₀及びｙ(ｍ)₀の軸についての配向信号ｘ(ｍ)₁及びｙ(ｍ)₁、並びにピクセル・クロック信号ＨＰ、線シーケンス及び列シーケンス信号ＳＬ及びＳＣ(これらの３つの信号は図２、４、及び１０で束Ｆ内にグループ分けされている)を受信し、かつヒストグラム形成ブロック２８及び２９のそれぞれに出力される直交するｘ(ｍ)₁ 及びｙ(ｍ)₁ 信号を生成する。

【００６４】ユーザが規定したエリア内だけでピクセルを処理するために、ｘ方向のヒスト
グラム形成ユニット２８を、境界、すなわちＸＭＩＮ及びＸＭＡＸによって規定
されたピクセルのクラスだけのピクセルを処理するようにプログラムしてもよい
。これはＸＭＩＮ及びＸＭＡＸの値をｘ方向ヒストグラム形成ユニット２８、又
は線形組合わせユニット３０〜３５内のユーザ・プログラム可能なメモリ内に設
定することによって達成される。このクラス外のいかなるピクセルも処理されな
い。同様に、境界ＹＭＩＮ及びＹＭＡＸによって規定されたピクセルのクラスだ
けのピクセルを処理するように、ｙ方向ヒストグラム形成ユニット２９を設定し
てもよい。これはこれはＹＭＩＮ及びＹＭＡＸの値をｙ方向ヒストグラム形成ユ
ニット２９、又は線形組合わせユニット３０〜３５内のユーザ・プログラム可能
なメモリ内に設定することによって達成される。このようにして、システムはＸ
ＭＩＮ及びＸＭＡＸ、及びＹＭＩＮ及びＹＭＡＸの値を所望通りに設定すること
によって、規定された方形内のピクセルだけを処理することができる。勿論、選
択された方形エリア内の選択された領域の、選択されたクラスのピクセルだけの
ヒストグラムを形成するために、他のヒストグラム形成ユニットからの分類判断
基準及び妥当性検査の判断基準を設定してもよい。ＸＭＩＮ及びＸＭＡＸの記憶
域は考慮さている画像のｘ次元での最大数のピクセルを表すのに充分なビット数
を有しており、また、ＹＭＩＮ及びＹＭＡＸの記憶域は考慮さている画像のｙ次
元での最大数のピクセルを表すのに充分なビット数を有している。更に後に説明
するように、回転軸に沿った投影のヒストグラムを作成するために、ｘ及びｙ軸
を回転させてもよい。好適な実施例では、ＸＭＩＮ、ＸＭＡＸ、ＹＭＩＮ、ＹＭ
ＡＸの記憶域は、考慮中の画像の対角線に沿って最大数のピクセルを表すのに充
分なビット数を有している(図１５の"起点"から"停止"まで)。このようにして、
ユーザが規定する回転軸系に沿ったユーザが規定した方形内で探索するためにシ
ステムを利用してもよい。

【００６５】直交座標上であれ、又は回転軸に沿ってであれ、ｘ及びｙ方向のヒストグラム
の形成でピクセルＰＩ(ａ、ｂ)を考慮するためには、ＸＭＩＮ＜ａ＜ＸＭＡＸ、
及びＹＭＩＮ＜ｂ＜ＹＭＡＸの条件が満たされなければならない。これらのテス
トの出力は妥当性検査信号と論理積演算されるので、条件が満たされない場合は
、論理"０"が考慮中のピクセルのための妥当性検査信号と論理積演算されること
によって、ｘとｙ方向のヒストグラムの形成でピクセルを考慮することが回避さ
れる。

【００６６】図１３は速度データ用のｘとｙのそれぞれの座標内のヒストグラム３８と３９
のエンベロープを図示している。この例では、Ｘ_MとＹ_Mは２つのヒストグラム３
８と３９の最大値のｘ及びｙ座標を表し、一方、ｘ軸についてのｌ_a及びｌ_bと、
ｙ軸についてのｌ_c及びｌ_dは有為な、又は関心がある速度範囲の限度を表し、ｌ _a とｌ_cはより長い限度であり、ｌ_bとｌ_dはヒストグラムの有為部分の上限である
。限度ｌ_a、ｌ_b、ｌ_c及びｌ_dはユーザによって、又はシステムを利用した応用プログラムによって設定され、例えばＸ_M ／２のようなヒストグラムの最大値の
比率として設定され、又は特定の用途に必要なその他の設定がされてもよい。

【００６７】横座標ｌ_a及びｌ_bの垂直線Ｌ_a及びＬ_b、及び縦座標ｌ_c及びｌ_dの水平線Ｌ_c及びＬ_dは(全てのｘ及びｙ方向について)有為速度のクロスハッチエリア４０を囲む方形を形成している。より長い速度の少数の小さいエリア４１が主要エリア４
０の近傍にあり、一般的には無視される。この例では、ヒストグラム用、特に、
この場合では、スピードＶ用のパラメータの最大の変化を有するエリアを特徴付
けるのに必要なことは、限度ｌ_a、ｌ_b、ｌ_c及びｌ_dと最大値Ｘ_MとＹ_Mの座標を特
定することだけであり、これらは各々のヒストグラム形成メモリ１００、データ
・イン・ユニット１１２、及びｘｙ(ｍ)データ・ブロックから容易に導出するこ
とができる。

【００６８】このように、この発明のシステムはリアルタイムで、検知される各々のパラメ
ータのヒストグラムを作成する。速度"２"、及び方向"４"を有する目標物を識別
したいものと想定すると、速度と方向のための妥当性検査ユニットは"１"に設定
され、速度"２"、及び方向"４"のための分類器は"１"に設定されよう。加えて、
この速度と方向を有する目標物(単数又は複数)の位置をビデオ画像上で突き止め
ることが望ましいので、ｘ及びｙ座標に対応するヒストグラム形成ブロック２８
及び２９用の妥当性検査信号も"１"に設定されよう。このようにして、ヒストグ
ラム形成ブロック２８及び２９はリアルタイムで、選択された速度と方向を有す
るピクセルだけのヒストグラムを形成するであろう。ヒストグラム内の情報、及
び特にＰＯＳＲＭＡＸを利用して、選択された速度と方向での最大数のピクセル
を有する目標物をリアルタイムでビデオ画像上で識別できよう。より一般的には
、ヒストグラム形成ブロックはリアルタネムでユーザが選択した判定基準を満た
す目標物の位置を突き止めることができ、目標物が検知されると、出力信号を生
成することができる。あるいは、情報を例えば有線、光ファイバ、又は遠隔の用
途のための無線継電器によって、空間及び時間処理ユニット１１の近傍でもよく
、遠隔でもよい図１のユニット１０ａのような制御ユニットへと伝送してもよい
。

【００６９】この発明のシステムをこれまで、ビデオ画像の水平軸と垂直軸によって定義さ
れた直交座標系を利用したヒストグラムの形成に関連して説明してきたが、この
システムはユーザが規定する直交ではない軸を利用してヒストグラムを形成する
ためにも利用できる。図１５Ａ及び１５Ｂは画像内の或るポイントの配向を判定
するために分析軸の回転を利用した方法を示しており、この方法は例えば線を検
知するために利用できる。好適な実施例では、ｘ軸は最大１６の異なる方向(１８０°／１６)に回転でき、ｙ軸は独立して最大１６の異なる方向に回転できる。軸の回転はデータ線変更ブロック３７を利用して行われ、これは入力としてユ
ーザが規定するｘ及びｙの各々の回転軸を受け、かつ考慮中のｘ及びｙ座標の値
を、ｘ及びｙのヒストグラム形成ユニット２８及び２９によって考慮される回転
座標軸系へと変換するためにホーク(Hough) 変換を行う。ホーク変換を利用した
座標系間の変換動作はこの分野では公知である。このようにして、ユーザは最大
１６の異なる方向でｘ座標系の回転を選択でき、また、独立して最大１６の異な
る方向でｙ座標系を回転することができる。回転座標系を利用して、システムは
ユーザが規定した(回転軸上の)方形内の探索、回転軸上でのヒストグラムの形成
、及び速度、方向などを利用した探索を含む上記の機能を実行できる。

【００７０】前述したように、各々のヒストグラム形成ユニットはそれぞれのヒストグラム
ごとに下記の値を計算する。ＭＩＮ、ＭＡＸ、ＮＢＰＴＳ、ＲＭＡＸ、ＰＯＳＭＡＸこれらの値がリアルタイムで計算されるものとすると、これらの値を利用する
ことによってシステムは画像上の線を迅速に識別することができる。これは多く
の異なる方法で達成できるものの、より簡単な方法の１つはＲを計算することで
ある。Ｒ＝ＮＢＰＴＳ／ＲＭＡＸであり、すなわちヒストグラム内のポイント数
と、最大線内のポイント数の比率である。この比率が小さいほど、すなわちＲが
１に接近するほど、考慮中のデータ・ポイントはより垂直に走査軸と位置合わせ
される。

【００７１】図１５Ａは考慮中の或るポイントのヒストグラムを示しており、ヒストグラム
はｘ軸に沿って形成され、すなわちｘ軸へと投影されている。この例では、比率
Ｒは計算されていないものの高く、考慮中のポイントの配向に関する情報は僅か
しか含んでいない。ｘ軸が回転すると、比率Ｒは図１５Ｂに示すように、約４５
°で比率Ｒが最大値に達するまで増大する。これは考慮中のポイントが４５°の
ｘ軸に対して垂直に最も近接して位置合わせされていることを示す。動作中は、
連続フレーム、又は同じフレーム上で、複数のｘ方向のヒストグラム形成ユニッ
トを利用できる場合は、Ｒが最小になることを常時確実にするために、(軸が１６°の回転に限定されているものと想定すると、)例えば３３．７５°及び５７．２５°の異なる角度でＲを計算することが有利である。線を検知することが望
ましい用途では、また、１６のｘ方向でのヒストグラム形成ユニットを利用でき
るものと想定すると、線の配向方向を判定するために、最小値Ｒを有する角度を
判定するには、可能なあらゆる軸に沿って同時にＲの計算を実行することが有利
である。ｘ及びｙ軸は独立して回転できるので、ｘ及びｙ軸のヒストグラム形成
ユニットは、同様にして道路の各々の側線のような線を同時に独立して検知する
ことができる。

【００７２】前述したように、この発明のシステムはＸＭＩＮ、ＸＭＡＸ、ＹＭＩＮ、ＹＭ
ＡＸによって規定される境界エリア内の目標物を探索するために利用できる。移
動する目標物は境界エリアを離れることがあるので、システムは好適には、標的
の速度と方向を補整するためにシステムによってＸＭＩＮ、ＸＭＡＸ、ＹＭＩＮ
、ＹＭＡＸを自動的に修正できる予測機能を含んでいる。これは方向のヒストグ
ラムを利用した境界エリア内の標的の動きの配向(方向)に対応するＯ−ＭＶＴの
値と、動きの強さ(速度)に対応するＩ−ＭＶＴの値を判定することによって達成
される。これらのパラメータを利用して、コントローラ４２は、標的が探索中の
境界ボックス内に留まっていることを確認するために、フレーム毎にＸＭＩＮ、
ＸＭＡＸ、ＹＭＩＮ、ＹＭＡＸの値を修正することができる。これらのパラメー
タによってシステムは更に、回転軸をベースにトラッキングされる例えば線のよ
うな動く目標物がその配向軸を変更した場合にそれを判定し、かつシステムはＲ
の最小値を保持するために新たな配向軸を予測することが可能になる。

【００７３】図１２を参照すると、好適には従来形のマイクロプロセッサを使用したコント
ローラであるコントローラ４２は、システムの様々な素子を制御し、かつユーザ
が例えばコンピュータのマウス及びキーボード(図示せず)、又はその他の入力装
置を使用して、コマンドと制御を入力できるようにするために利用される。構成
物１１ａと２２ａ及びコントローラは、好適には、一緒に一体化された回路上で
形成される。コントローラ４２はデータ・バス２３と通信しており、それによっ
てコントローラ４２はシステム内に設定できる様々なパラメータを制御し、かつ
結果を分析するためにプログラムを実行することが可能になる。トラッキングさ
れるべきピクセルの判定基準を選択するために、コントローラ４２は更に、ｉ) 分類器２５ｂ内の各レジスタのコンテント、ｉｉ)妥当性検査ユニット３１内の各レジスタのコンテント、ｉｉｉ)ＸＭＩＮ、ＸＭＡＸ、ＹＭＩＮ、ＹＭＡＸのコンテント、ｉｖ)ｘ及びｙ軸の各々の配向角、及びｖ)準グラフィック・メモリ
５０を直接制御できる。コントローラ４２は更に、ヒストグラム形成ステップの
結果を分析するためにｉ)各メモリ１００のコンテント、及びｉｉ)レジスタ１１
２のコンテントをも検索できる。加えて、コントローラ４２は一般にシステムで
用いられる全てのデータ及びパラメータにアクセスし、これらを制御することが
できる。

【００７４】この発明は居眠りしている車両のドライバを検知し、かつそれを検知するとア
ラームを発するために利用できる。この発明の多数の実施例を説明するが、基本
的にこのシステムは、ドライバの目が開き、また閉じた場合にそれを判定するた
めに、ドライバの目の単数又は複数の判定基準を検知するため、カメラ又はその
類似物からドライバの画像を受信し、かつ画像を処理するものである。前述した
ように、しっかりと覚醒している人は一般に約１００〜２００ｍｓの比較的規則
的な期間でまばたきする。人が眠くなると、それぞれの目のまばたきの長さは約
５００ないし８００ｍｓに延長し、まばたきの間の間隔は長く、変則的になる。
ドライバの目の開閉に関する情報を利用して、このシステムは各まばたきの継続
期間及び／又はまばたきの間の間隔を測定して、ドライバが居眠りしていること
を判定する。このことが可能であるのは、使用中のセンサ、例えば図２１のセン
サ３１０からのビデオ信号が好適には毎秒５０又は６０フレーム、すなわち２０
ｍｓ又は１６．６６ｍｓごとに１フレームを生成するからである。それによって
リアルタイムで各画像を処理するシステムは、覚めている人のまばたきの長さで
ある１００〜２００ｍｓと、眠気を感じている人のまばたきの長さである５００
ないし８００ｍｓを、すなわち、毎秒５０フレームのビデオ信号の場合は、覚め
ている人のまばたきの長さである５から１０フレーム、又は眠気を感じている人
のまばたきの長さである２５から４０フレームを区別することが可能になる。

【００７５】この発明のシステムはドライバが居眠りするとそれを検知するために、ドライ
バＴの画像を受けるためにビデオ・カメラ又はその他のセンサを利用している。
センサの位置決めの様々な方法を説明するが、センサは一般には、ドライバが座
席に座った場合にドライバの顔の連続画像を収集できる任意の手段によって、任
意の位置に設置できる。このように、センサ１０がドライバの顔を観察できるよ
うに、センサ１０を車両のダッシュボード、ハンドル、ドア、バックミラー、天
井などの中、又は上のような適宜の任意の位置で車両に、又は車両の上に設置す
ればよい。センサ１０には必要ならば大きさが異なるドライバを見るためにより
広い視野を与えるために、適宜のレンズを実装してもよい。

【００７６】図１８及び１９は、ドライバＴがバックミラー３０３を介して方向３０１に沿
って前方を見ることができ、また(光線３０２ａ及び３０２ｂを介して)後方を見
ることができるような従来形のバックミラー機構を示している。図２０を参照す
ると、ミラー３０３は視軸３０２ａ及び３０２ｂの調整を可能にする接続アーム
３０１を介して車体３０５に取り付けられる。軸３０２ａ及び３０２ｂは一般に
平行であり、車両の方向を向いている。ミラー３０３の鏡面３０３ａに対して垂
直な光軸３０６が軸３０２ａ及び３０２ｂによって形成された角度を等しい角度
ａとｂに分割する。軸３０２ｂに対して垂直であり、従って車体３０５の取り付
け部とほぼ平行である軸３０７は、角度ａとｂにほぼ等しい軸３０７と鏡面３０
３ａとの間の角度ｃを規定する。カメラ、又はセンサ３１０は好適にはブラケッ
ト２９９によってミラーに取り付けられる。カメラは、センサ３１０がドライバ
の顔の画像を収集できるようにする一方で、ドライバが道路の明瞭な視野を得る
ことができるような所望のどの位置に取り付けてもよい。ブラケット２９９は、
カメラが所望の方向に、すなわちドライバの方向に向けることができるようにす
る調整可能なブラケットであってもよく、又は大きさが異なるドライバによって
ミラーが調節された場合も、カメラがドライバの顔の画像を収集し続けることが
できる固定方向に設置してもよい。カメラからの信号は、リード線など(図１８〜２０には図示せず)によって後述のように動作する画像処理システムと通信する。

【００７７】図２１及び２２は、センサ３１０がミラー・アセンブリの内部に実装されるバ
ックミラー・アセンブリ３０８を示している。ミラー・アセンブリ３０８は、ア
センブリ３０８がドライバによって調節されても、センサ３１０がドライバの顔
の方向に留まるように構成されている。バックミラー・アセンブリ３０８はドラ
イバに後方の視野を与えるように可動式に配向された鏡面３０９ａを有する２方
向ミラー３０９を含んでいる。好適には電子ミニカメラ、又はレンズ内蔵のＭＯ
Ｓセンサであるセンサ３１０はブラケット３１１に取り付けられ、ドライバに車
両の後方の視野が得られるようにミラー３０９が調整された場合にも、センサ３
１０がドライバの顔の画像を受けることができるような機械的機構を利用してド
ライバの方に向けられる。機械的機構はカルダン型機械的継手からなり、これは
ドライバがバックミラーを調整した場合にブラケット３１１が自動的に調整され
るような継手であるので、センサ３１０の感受面３１０ａはドライバの顔の画像
を感受する。すなわち、光軸３１０ｂはドライバの頭部の方向に位置合わせされ
た状態に留められる。

【００７８】ブラケット３１１はビポット・ピン３１４ａ(図２１)又はスリーブ３１４ｂ( 図２２)によって互いに可動的に連結された棒３１２及び３１３を含んでいる。棒３１２は一端で車両３０５の実装部分に取り付けられている。好適には玉とほ
ぼ半球の２個のキャップとからなるピボット・ピン３１５によってミラー・アセ
ンブリ３０８の動きが容易になる。棒３１２はピボット・ピン３１５を貫いて延
在し、スリーブ３１４ｂ又は別のピボット・ピン３１４ａを介して棒３１３に取
り付けられている。棒３１３は他端で、センサ３１０がその上に実装されるブラ
ケット３１１をしっかりと支持する。棒３１３は中空のピボット３１７を介して
ミラー・アセンブリ３０８のクランプ３１６を貫いて延在している。ピボット３
１７は、棒３１３が嵌合する貫通した管路を有していて、クランプ３１６によっ
て支持されたほぼ半球のキャップ内で回転する玉を含んでいる。継手はミラー３
０９とブラケット３１１の間の所望の角度を常時保つことによって、バックミラ
ー３０９の正常な調整を可能にする。一方、ブラケット３１１は、センサの面３
１０ａがドライバの顔の画像を感受するように、センサ３１０の方向を調整する
。所望ならば、ミラーが大きさの異なるドライバに調整された場合も、センサ３
１０がドライバトの顔の画像を感受できるならば、センサ３１０をミラー・アセ
ンブリの鏡面３０９ａに対して固定角度でバックミラー・アセンブリ３０８の内
部に取り付けてもよい。異なる調整環境でセンサをより有効に使用できるように
するため、センサ３１０に広角レンズを取り付けてもよい。

【００７９】センサ３１０は単数又は複数のリード線によって画像プロセッサ３１９に接続
される。画像プロセッサ３１９は好適には前述の種類の画像処理システムであり
、好適にはバックミラー・アセンブリ３０８の内部の集積回路の形式のものであ
る。好適な実施例では、画像処理システム３１９はセンサ３１０と一体の構造で
ある。あるいは、画像処理システム３１９を従来のリード線を用いてミラー・ア
センブリ３０８の外側に設置してもよい。コントローラ３１０は好適にはマイク
ロプロセッサであるが、コントローラ３１０は、特にシステムがミラー・アセン
ブリ内に、又は車両と一体に施設されている場合、例えば、格納されている場合
は、記載されている機能を果たすように設計されたＡＳＩＣ、又は簡単なコント
ローラでもよい。

【００８０】画像処理システム３１９がドライバのまばたき特性を判定するのに周囲光線が
不充分である場合、ドライバの顔を赤外線で照射するために、ミラー・アセンブ
リにエレクトロルミネッセント・ダイオード３２０を組込んでもよい。このよう
なダイオードを使用する場合は、センサ３１０は赤外線を受光できる種類のもの
でなければならない。エレクトロルミネッセント・ダイオード３２０の照射は、
必要ならば画像処理システム３１９のコントローラ４２(図１２)によって制御し
てもよい。例えば、画像処理システム３１９によって作成されたヒストグラムが
必要なドライバの顔の形質を検知するために充分に有用な情報を含んでいない場
合に、例えばＮＢＰＴＳが閾値未満である場合に、コントローラ４２はエレクト
ロルミネッセント・ダイオード３２０を点灯させることができる。エレクトロル
ミネッセント・ダイオード３２０は必要ならば漸次点灯されてもよく、またドラ
イバの近傍の周囲照明に関する信号を発生し、かつ単独で、又はコントローラ４
２、又は別の制御回路とと組合わせてエレクトロルミネッセント・ダイオード３
２０を制御するために使用できる単数又は複数個の光電池(図示せず)と組合わせ
て動作してもよい。必要ならば、センサ３１０が照明源と適合するのであれば、
ドライバの顔を常時照射するためのＩＲ又はその他のＥＭＦ放射源を使用しても
よい。これにより、眠気を検知するための周囲照明の使用に関わる可能性のある
多くの問題が解消される。

【００８１】例えばブザー、ベル、又はその他の報知手段でよいオプションのアラーム３２
２は、ドライバが居眠りしていることが検知された場合にコントローラ４２によ
って起動される。ミラー・アセンブリ３０８及び画像処理システム３１９内に含
まれる部品の全ては好適には車両の電気系統によって給電される。画像処理システム３１９はリアルタイムで、また連続的にドライバの目のまば
たきの継続期間、及び／又はまばたきの間隔を検知し、かつバライバの居眠りが
検知された場合はアラーム３２２をトリガしてドライバを起こすようにすること
によって、ドライバの警戒を監視する。画像処理システム３１９はセンサ３１０
からドライバの顔の画像を受信する。画像はドライバの顔全体でもよく、少なく
ともドライバの片目を含む顔の選択された領域のものでもよい。画像処理システ
ム３１９はまばたきに関連する多くの判断基準を検知することができる。これら
の判断基準には瞳、網膜、白眼、瞼、目の近傍の皮膚、及びその他の検知を含む
目を閉じたことを識別するために用いられる顔の形質が含まれている。目は更に
、まばたきの場合の目の外見の変化を検知し、又はまばたき中の瞼の動きを検知
することによっても検知できる。

【００８２】図３０を参照すると、初期段階として、この発明のシステムは好適には運転席
にドライバがいるか否かを検知する(４０２)。これは多くの方法で、例えば運転
席の電気的重量センサスイッチによって、又は例えば速度センサ、車両のギヤが
入っていることを検知するスイッチ、シートベルトが閉まっていることを検知す
るスイッチなど、車両が走行中であることを示す、車両が発生する信号とのイン
ターフェースによって達成される。このような信号が検知されると、システムは
ドライバの顔又はドライバの目(片目又は両目)を検知する探索モードに入る。あ
るいは、システムは車両の電気系統によって、またより好適には車両のキーが入
った場合だけ給電される電気系統回路によって給電されているので、システムは
エンジンがターンオンされた場合だけオンになり、探索モードに入って、ドライ
バの顔又は目(両目又は片目)が検知されるまでこのモードで動作する。ドライバ
が社内にいることが検知されると(４０４)、"ドライバ存在"標識が"１"に設定さ
れるので、コントローラ４２はドライバがいることを認識する。例えば図２１に示したバックミラーの調整によって、センサ１０を使用前にド
ライバの顔の方向に調整可能である(又は調整する必要がある)ように実装されて
いる場合は、ドライバの存在を検知する代替方法として、システムはセンサがド
ライバの顔を捕らえるまでアラームを起動させてもよい。

【００８３】画像処理システムを使用して、ドライバが運転席に入ったことを検知すること
でドライバを検知してもよい。それには、例えば画像処理システムとセンサを定
電力を有する車両の電気系統の回路に接続することによって、ドライバが車内に
入った時に既に画像処理システム及びセンサ１０が給電されているという前提が
必要である。あるいは、車両のドアが開いたことなどを検知した場合にシステム
が給電されるのでもよい。ドライバが運転席に入ったことは、センサ１０からの
画像はＣＯが比較的高い値を有していて、画像の多くのピクセルがドライバのド
アから離れる横方向に動いている(ＤＰ＝１)ことで特徴付けられる。ピクセルは
更に皮膚の色相特性をも有している。この実施例では、システムがドライバの存
在を検知しようとしているモードでは、ヒストグラム形成ユニットをドライバが
運転席に入った動きの特徴を検知するように設定することによって、コントロー
ラ４２はドライバの車内への動きを検出するように妥当性検査ユニットを設定す
る。もっとも簡単なのは、コントローラ４２がＤＰ＝１を検知するように妥当性
検査ユニットを設定し、ＤＰについてのヒストグラム形成ユニット内のヒストグ
ラムを分析して、例えば、ＮＢＰＴＳが閾値を超える場合のように、人が車内に
入ったことを示す動きを検出する。

【００８４】図２３は方向３２３ａと３２３ｂとの間のセンサ３１０の視野３２３を示して
おり、ドライバの頭部Ｔは円錐形の視野３２３内に、好適に視野の中心にある。
視野３２３は、ドライブ中にドライバの頭部Ｔの動きが限定されることを前提と
して、比較的狭く保たれている。ドライバの顔はより多いピクセル数によってセ
ンサ１０から受信される画像で表されるので、視野３２３を制限することによっ
てシステムの感度が高まり、それによって後述のヒストグラム形成ステップが向
上する。

【００８５】一般に、動いているピクセル数はセンサの視野によって左右される。車内へと
移動するドライバのピクセル特性の数と、フレーム内の全ピクセル数との比率は
、センサの視野のサイズの関数である。視野が狭い場合は(図２３の３２３ａと３２３ｂの角度が大きい場合)、ドライバが車内に入るとより多くのピクセル、おそらくは５０％以上のピクセルが"移動中"であり、閾値は大きくなる。視野が
広い場合は(図２３の３２３ａと３２３ｂの角度が小さい場合)、ドライバが車内
に入る時の"移動中"のピクセル数はより少ない。閾値はセンサの特定の位置と種
類に対応し、また、システムの特定の搭載に応じたその他の特徴に基づいて設定
される。ＤＰヒストグラム用のＮＢＰＴＳが閾値を超えると、コントローラはド
ライバの存在を検知していることになる。

【００８６】前述したように、高いＣＯ、色相、方向などを含むいずれかの組合わせの、車
内に入るドライバのその他の特徴がシステムによって適宜に検知されてもよく、
システムはより強力なものになる。例えば、コントローラ４２は車内へと移動す
るピクセルを検知するために方向ヒストグラム形成ユニットの線形組合わせユニ
ットをセットしてもよく、高い値を検知するために、ＣＯ用の線形組合わせユニ
ットをセットしてもよく、ならびに／又は、人の皮膚の色相特性を検知するため
に色相用の線形組合わせユニットをセットしてもよい。コントローラ４２は次に
ＤＰ、ＣＯ、色相、及び／又は方向を検知するために妥当性検査ユニットをセッ
トする。その結果生じたヒストグラムは次に分析されて、ＮＢＰＴＳが閾値を超
えたか否かが判定され、それによってドライバが運転席へと移動したことが示さ
れよう。例えばＲＭＡＸが閾値を超えたことのような、結果として生じたヒスト
グラムのＮＢＰＴＳ以外の特徴を利用してドライバの存在を検知するために利用
してもよい。

【００８７】ドライバが検知されると、すなわち"ドライバ存在"標識が"１"に設定されると
、システムはビデオ信号内のドライバの顔を検知し、ドライバの頭部の上、下、
及び左右のビデオ信号の不要な部分をそれ以上処理することを避ける。ドライバ
の頭部の画像内で、頭部の動きに基づいて頭部の縁部が検知される。頭部の縁部
は通常は、皮膚と背景の輝度差により、また頭部が静止している間の頭部の最小
限の動きによっても、ＤＰ＝１で特徴付けされる。頭部の動きは更に、頭部の上
縁部と下縁部の縦の動き、及び頭部の縦の縁部の左右への動きによって特徴付け
してもよい。動いている頭部のピクセルは更に、人の皮膚に対応する色相、及び
例えば瞼の動きと比較して比較的遅い動きによっても特徴付けされる。コントロ
ーラ４２は好適には、ＤＰ＝１を検知するためにＤＰの線形組合わせユニットを
セットし、かつ垂直と水平の動きだけを検知するために方向用の線形組合わせユ
ニットをセットする(４０６)。オプションとして、システムをより強化するため
に低速度及び人の皮膚の色相を検知するように、速度及び色相用の線形組合わせ
ユニットをセットしてもよい。更に、頭部がその間に検知される処理のこの段階
で、目を考慮に入れることを避けるために、まばたきの極めて急速な動きを排除
するようにＣＯ用の線形の組合わせユニットをセットしてもよい。最後に、コン
トローラ４２はＤＰ、方向、及びｘとｙの位置用の妥当性検査ユニットを"オン"
にセットする(４０６)。オプションとして、速度、色相、及びＣＯのような判断
基準が検知されている場合はこれらのための妥当性検査ユニットを"オン"にセッ
トしてもよい。

【００８８】図２４に示すように、選択された特徴を有するピクセルは軸Ｏｘ及びＯｙに沿
って、すなわち水平と垂直の投影でそれぞれヒストグラム３２４ｘ及び３２４ｙ
へと形成される。選択された特徴を有するドライバの頭部の僅かな動きはリップ
ル(さざ波)３２７ａ、３２７ｂ、３２７ｃ、及び３２７ｄとして示され、これら
は線の形状で示されるが、実際には頭部の周囲を囲む小さいエリアに亘って延び
ている。ヒストグラム３２４ｘのピーク３２５ａ及び３２５ｂと、ヒストグラム
３２４ｙのピーク３２５ｃ及び３２５ｄは、それぞれの座標３２６ａ、３２６ｂ
、３２６ｃ、及び３２６ｄによって、一般にドライバの顔Ｖが位置しているエリ
アに対応する直線Ｙａ、Ｙｂ、Ｙｃ、Ｙｄによって境界付けされたフレームを区
切る。コントローラ４２は好適には帰線消去期間中にヒストグラム形成ユニット
からヒストグラム３２４ｘ及び３２４ｙを読み取り、ピーク３２５ａ、３２５ｂ
、３２５ｃ、及び３２５ｄの位置を検知する(４０８)。ヘッドが識別されたこと
を確認するため、ピーク３２５ａと３２５ｂの距離、及び３２５ｃと３２５ｄの
距離は好適には、人の頭部のサイズの通常範囲に対応する範囲内にあるか否かが
テストされる。

【００８９】座標３２６ａ、３２６ｂ、３２６ｃ、及び３２６ｄの位置が確立されると、ド
ライバの顔を囲むエリアはそれ以上処理されないように遮蔽される(４１０)。図
２５を参照すると、これはコントローラ４２がＸＭＩＮ、ＸＭＡＸ、ＹＭＩＮ、
ＹＭＡＸをＸｃ、Ｘｄ、Ｙａ、及びＹｂにそれぞれ対応するように設定すること
によって達成される。それによって顔Ｖの周囲のあや目付きのエリアがそれ以上
考慮されないように遮蔽され、それによって背景の動きがシステムによるドライ
バの目(片目又は両目)の検知能力に影響を及ぼすことが回避される。このように
して、次の分析として、線Ｘｅ、Ｘｄ、Ｙａ、Ｙｂによって、フレーミングされ
、顔Ｖを含む中心エリアＺ内のピクセルのみが考慮される。中心エリアＺの外側
のエリアを遮蔽する代替方法として、コントローラ４２はこれらのエリアを遮蔽
するように準グラフィック・メモリを設定してもよい。前述したように、個々の
、又は小さい方形群の画像の選択されたピクセルを遮蔽するために準グラフィッ
ク・メモリを利用してもよい。ヘッドＶは方形ではないので、準グラフィック・
メモリを使用することによって、顔の丸い縁部の周囲をより良好に遮蔽すること
ができ、背景ピクセルを更に考慮することをより良好に回避できる。

【００９０】ドライバの頭部を検知し、背景エリアを遮蔽するステップは規則的な間隔で、
好適には１０フレーム、又はそれ未満のフレームごとに１回反復される。このス
テップは必要ならば、特に１組以上のヒストグラム形成ユニットを利用できる場
合は、全フレームごとに反復してもよい。コントローラ４２は更に、座標３２６
ａ、３２６ｂ、３２６ｃ、及び３２６ｄの随時の平均値を計算し、必要ならばこ
れらの数値を利用して、座標Ｘｃ、Ｘｄ、Ｙａ、及びＹｂを遮蔽するようにセッ
トしてもよい。それによってフレームの随時のほぼ固定位置が確立される。

【００９１】フレームが確立されると、"顔が中心に位置する"標識が"１"に設定され(４１２)、コントローラ４２はドライバの目をより近接して囲むようにフレーム・サイズを縮小するステップを開始する。フレームＺが先行のステップで判定された
Ｙa、Ｙｂ、Ｘｃ、及びＸｄによって境界付けされたエリアを示している図２６を参照すると、コントローラ４２は特に垂直方向において最初に人の目と顔全体
のゾーンの人体的な比率を利用して、考慮中のエリアを縮小し、ドライバの目Ｕ
を含む線Ｙ'ａ、Ｙ'ｂ、Ｘ'ｃ、Ｘ'ｄによって境界付けされたより小さいゾーン
Ｚ'をカバーするようにする。このようにして、図２７の外側の陰影付きエリアのピクセルは考慮外にされ、フレームＺ'内のエリアだけが更に考慮に入れられる。これはコントローラ４２がＸＭＩＮ、ＸＭＡＸ、ＹＭＩＮ、ＹＭＡＸをＸ' ｃ、Ｘ'ｄ、Ｙ'ａ、及びＹ'ｂにそれぞれ対応するように設定することによって達成される(４１４)。それによってＺ'外のエリアのピクセルがそれ以上考慮されないように遮蔽される。このようにして、次の分析として、目Ｖを含むエリア
Ｚ'内のピクセルのみが考慮される。エリアＺ'の外側のエリアを遮蔽する代替方
法として、これらのエリアを遮蔽するように準グラフィック・メモリを設定して
もよい。片目だけの周囲にフレームＺ'をセットするように人体的比率を用いてもよく、まばたきの検知は一般に下記と同様であるが、片目だけである。

【００９２】人体的比率を用いてエリアＺ'が決定されると、"目が粗く中心に位置する"標識が"１"に設定され(４１６)、コントローラ４２はエリアＺ'内のピクセルを分析して瞼の動きを識別する。瞼の動きは、皮膚の色相を有するピクセルの高速度
の縦の動きを含む判断基準によって特徴付けされる。一般に、エリアＺ'内では、瞼の動きを検知するにはＤＰ＝１のためのヒストグラムを形成するだけで充分
である。この検知は、高いＣＯ値の検知、縦の動きの検知、高速度の検知、及び
色相の検知によって一層強化される。色相の検知の代替として、皮膚の色相を有
していないＤＰ＝１のピクセルを検知することによって、目のピクセルの動きを
検知してもよい。それによって瞳、網膜、瞳孔などに関連する多くのピクセルの
数の変化を検知することができる。

【００９３】コントローラ４２はＤＰ＝１を検知するためにＤＰ用線形組合わせユニットを
セットし、ＤＰ、及びｘ及びｙ位置の妥当性検査ユニットをオンにセットする( ４１８)。オプションとして、線形組合わせユニットと妥当性検査ユニットは、ＣＯ、速度、及び色相のような目の動きに関連するその他の判断基準を検出する
ようにセットされてもよい。最初に、コントローラ４２はＸＭＩＮ、ＸＭＡＸ、
ＹＭＩＮ、ＹＭＡＸをＸ'ｃ、Ｘ'ｄ、Ｙ'ａ、及びＹ'ｂにそれぞれ対応するよう
にも設定する。ここで図２７を参照すると、ヒストグラムは選択された判断基準
によって形成され、これはコントローラ４２(４２０)によって分析される。所望
ならば、目が検知されたことを確認するテストが実施される。このテストは例え
ば、ヒストグラム内のＮＢＴＳがフレームＹ'ａ、Ｙ'ｂ、Ｘ'ｃ、Ｘ'ｄ内の総ピ
クセル数の閾値２０％を超えていることを確認することからなっているものでよ
い。目が検知されると、"目を検知"標識が"１"に設定される(４２２)。

【００９４】図２７は軸Ｏｘに沿ったヒストグラム２８ｘと、軸Ｏｙに沿ったヒストグラム
２８ｙを示しており、選択された判断基準はドライバの瞼、好適には縦の運動を
有するＤＰ＝１に対応している。コントローラ４２はヒストグラムを分析し、ヒ
ストグラムのピーク２９ａ、２９ｂ、２９ｃ、及び２９ｄを判定する。これらの
ピークは瞼Ｚ"が動くエリアを規定する水平線Ｘ"ｃ及びＸ"ｄと、垂直線Ｙ"ａ及
びＹ"ｂを判定するために利用され、瞼の縁部の動きは、一方の目については３０ａ及び３０ｂで示され、他方の目については３０ｃ及び３０ｄで示される(４２４)。Ｙ"ａ、Ｙ"ｂ、Ｘ"ｃ及びＸ"ｄによって境界付けされたフレームの位置は、好適には１０フレームごと又は１０フレーム未満ごとに１回、好適にはピー
ク２９ａ、２９ｂ、２９ｃ、及び２９ｄの時間平均値によって判定され、かつ更
新される。目が検知され、フレームＺ"が確立されると、"目が中心に位置する" 標識が"１"に設定され(４２６)、フレームＺ"内のピクセルだけがその後も処理される。

【００９５】次にコントローラ４２は瞬きの長さを判定し、更に適用できる場合は連続する
まばたき間の間隔を判定する。図２８は三次元の直交座標形を示している。すな
わち選択された端弾基準を有するエリアＺ"内のピクセル数に対応するＯＱ：連続する瞬き間の間隔に対応するＴｏ：及びそのつどのまばたきの長さに対応する
Ｏｚである。この情報から、ドライバが居眠りするとそれを判定することができ
る。連続する２回のまばたきＣ１とＣ２が図２８に示されている。

【００９６】図２９Ａは選択された判断基準ＤＰ＝１を有する各フレーム内のピクセル数の
随時の変化の１つの曲線Ｃを示しており、連続するピークＰ１、Ｐ２、Ｐ３は連
続するまばたきに対応している。この情報はｘ及び／ＯＥＨｙ軸のヒストグラム
形成ユニットのＮＢＰＴＳを読み取ることによって、コントローラ４２によって
判定される。あるいは、コントローラ４２がヒストグラム形成ユニット(図２７)
のｘ及びｙ軸のヒストグラムを分析して、随時、図２９Ａに示したグラフの特徴
と同一のグラフ特性を呈するピーク２９ａと２９ｂ、及び／又は２９ｃ及び２９
ｄを検知する。

【００９７】コントローラ４２は随時、図２９Ａのデータを分析して、グラフ内のピークの
位置とタイミングを判定する(４２８)。これは例えば、図２９Ｂに示すように、
ピークＰ１、Ｐ２、Ｐ３をフレーム付きの方形Ｒ１、Ｒ２、Ｒ３にそれぞれ変換
するために、図２９Ａに示したグラフを、閾値を超える全てのピクセル・カウン
トが"１"に設定され、閾値未満の全てのピクセル・カウントが"０"に設定される
(vertical dashes 31)、バイナリ・データのストリームへと変換することによっ
て行うことができる。最後に、図２９Ｂはそのつどのまばたきの長さ(まばたきＰ１、Ｐ２、及びＰ２とＰ３についてのそれぞれの５、６及び５フレーム)と、時間間隔(まばたきＰ１とＰ２、及びＰ３についてのそれぞれの間の間隔用の１４及び１７フレーム)を示している。この情報は随時のピーク・データの分析によってコントローラ４２によって判定される。

【００９８】最後に、コントローラ４２は連続するまばたきの長さと、連続するまばたき間
の間隔を計算する(４３０)。まばたきの長さが、例えば３５０ｍｓのように閾値
を超える場合は、標識は"１"に設定され、まばたきの閾値を超えたことが示され
る。連続するまばたき間の間隔が随時極めて顕著に変化することが判明した場合
は、標識は"１"に設定され、まばたき間の可変間隔が示される。ドライバが居眠
りしたことを示す速度でまばたきしていることを示す第１の標識が設定されると
、コントローラ４２はドライバを起こすためにアラーム３２２をトリガする。第
２の標識は、第１の標識の場合と同様にアラームを発するか、又は例えばアラー
ムの音量を高くすることで第１の標識を補強するために利用されてもよい。

【００９９】図３１〜３６は総称的画像処理システムをドライバの居眠りを検知するために
使用できるようにする代替方法を示している。最初に、コントローラ４２は探索
モードにされ(３５０)、そこでコントローラ４２は画像を走査して、顔の１つ又
はそれ以上の特徴を、また好適には鼻の鼻孔の特徴を検知する。鼻孔には一般に
陰影があり、従って通常は低い輝度によって規定される。図３１を参照すると、
画像のエリアが、この場合はＡ−Ｆのラベルが付された６つである、多数のサブ
画像３５２へと分解され、これらは鼻孔の位置を突き止めるために逐次コントロ
ーラ４２によって分析される。図示のように、各々のサブ画像３５２は好適には
、探索モード中に鼻孔を見失う確率を最小限にするために、少なくとも鼻孔の通
常の組合わせた幅と、鼻孔間の間隔に等しい量３５３だけ各々の隣接するサブ画
像と重複する。

【０１００】コントローラ４２はＸＭＩＮ、ＸＭＡＸ、ＹＭＩＮ、ＹＭＡＸを第１のサブ画
像Ａに対応するようにセットする(３５４)。次にコントローラ４２は輝度線形組
合わせユニット内のレジスタ１０６を低レベルの輝度を検知するようにセットす
る(３５６)。選択される実際の輝度レベルは、周囲照明、時間、天候条件などの
ような様々な要因によって変化する。コントローラ４２はヒストグラム形成ユニ
ット２４から輝度用に計算されたヒストグラムにアクセスでき、コントローラ４
２は鼻孔を探索するために所望の輝度を選択するために、例えば考慮される輝度
値の最低１５％の値を選択するために閾値、又はその他の所望の技術を利用して
もよく、かつ閾値を所望どおりに適応化させてもよいことに留意されたい。コン
トローラ４２は更に輝度及びｘ及びｙ軸のヒストグラム用の妥当性検査ユニット
をオンに設定し(３５８)、それによって選択された低レベルの輝度からｘ及びｙ
のヒストグラムを形成する。次にコントローラ４２は、ｘ及びｙ方向のヒストグ
ラムを分析して、後述するように鼻孔を示す特徴を識別する(３６０)。鼻孔が識
別されない場合は(３６２)、コントローラ４２は、鼻孔が識別されるまで次のサ
ブ画像で、すなわちサブ画像Ｂ、及びそれぞれの後続のサブ画像で上記のステッ
プを繰り返し、必要ならばサブ画像Ａから始まるステップを繰り返す。各々のサ
ブ画像は単一フレーム内でコントローラ４２によって分析される。従って、鼻孔
は一般に、６フレーム未満でシステムによって捕らえられる。必要ならば追加の
サブ画像を使用してもよいことが判る。更に、サブ画像が探索されるエリアは、
システムの過去の動作によって判定され、又は人体モデルを用いて、鼻孔が存在
する確率が最も高いエリアに限定されてもよいことが判る。例えば、ドライバの
頭部の輪郭を前述のように判定し、次に鼻孔の探索を画像の小さいサブ・エリア
に限定してもよい。更に、必要ならば画像全体で一度に鼻孔を探索してもよいこ
とが判る。

【０１０１】この発明を目の位置を突き止める出発点としての鼻孔の識別に関して説明して
きたが、例えば鼻、耳、眉毛、口などのその他の任意の顔の特徴、及びその組合
わせを、目の位置を検知する出発点として検知してもよいことが判る。これらの
特徴は、ＣＯ、ＤＰ、速度、方向、輝度、色相、及び飽和を含む、システムによ
って探索可能な任意の特徴から識別できる。更に、システムは例えば、出発点と
して別の顔の判断基準を用いずに、縦の動きを有するＤＰ＝１について(又はその他の探索可能な目の特徴について)単純に画像全体を探索することによって、直接目の位置を突き止めてもよいことが判る。ドライバの頭部又はその他の顔の
特徴の検知を可能にしつつ、目の詳細な観察をするために、それぞれの目的別の
別個のセンサを使用してもよいことが判る。

【０１０２】図３２は鼻孔が位置しているサブ画像のｘ及びｙのヒストグラムのサンプルを
示している。鼻孔はｙ方向のヒストグラムではピーク３７０によって特徴付けさ
れ、ｘ方向のヒストグラムでは２つのピーク３７２と３７４とによって特徴付け
される。鼻孔が識別されたことの確認は幾つかの方法で行うことができる。第１
に、ヒストグラムを分析して、各ヒストグラムの特徴が或る条件を満たすことを
確認する。例えば、各ヒストグラム内のＮＢＰＴＳが、鼻孔を検知できる通常の
ピクセル数と関連する閾値を超える必要がある。また、ｙヒストグラム内のＲＭ
ＡＸ、及びｘヒストグラムの各ピークが同様の閾値を超える必要がある。第二に
、鼻孔間の距離ｄは極めて一定である。ｘヒストグラムはコントローラ４２によ
って分析され、それが所望の範囲内にあることを確認するためにｄが測定される
。最後に、陰影効果による変動があるにせよ、鼻孔の幅も極めて一定である。ｘ
及びｙのヒストグラムの各々は、各鼻孔のサイズが所望の範囲内にあることを確
認するために、コントローラ４２によって分析される。コントローラ４２によっ
て鼻孔が上記の判断基準を満たすものと判明すると、鼻孔は捕らえられているこ
とになり、探索モードは終了する。鼻孔が捕らえられないと、探索モードは継続
される。鼻孔が捕らえられると、顔の中心のｘ位置(考慮中のサブ画像内の位置ｄ／２)が、画像内の鼻孔のｙ位置(ｙヒストグラムのＰＯＳＲＭＡＸ)と同様に判定される(３６４)。

【０１０３】この例では、ドライバが居眠りしていることを判定するために片目だけが分析
される。この場合、開いた位置、及び閉じた位置にある目の陰影を利用して、陰
影の形状から目が開いているか、閉じているかが判定される。前述したように、
夜間の用途では、この発明は好適には短波のＩＲ光源との組合わせで使用される
。ここに記載している例の場合は、システムによって検知可能な形状を有する陰
影を刻印することができる、ドライバの上に位置にＩＲ光源を設置することが好
適である。人体モデルは好適には、動き、ドライバの形質、及びセンサに対する
ドライバの角変化に適応化されている。

【０１０４】図３２を参照すると、中心位置がＸ_N、Ｙ_Nであるドライバの鼻孔２７２の位置
が判定されると、ドライバの目２７４の周囲に探索ボックス２７６が確立される
(３６６)。探索ボックス２７６の位置は人体モデルを使用して設定され、その際
に人の目と鼻との空間的な関係は判明している。コントローラ４２は探索ボック
ス２７６によって規定されたエリア内を探索するようにＸＭＩＮ、ＸＭＡＸ、Ｙ
ＭＩＮ、ＹＭＡＸを設定する。コントローラ４２は更に、輝度と、ｘ及びｙ方向
でのヒストグラムをオンに設定し、輝度用の線形組合わせユニットは、例えば輝
度値の最低１５％の値である、画像の残りの部分に対して低いヒストグラム・レ
ベルを検知するように設定される(３６８)。鼻孔、又はその他の顔の形質の検知
が確認されたことが検知されると、人体モデルを用いてドライバの目２７４の周
囲に形成される探索ボックス２７６が分析され、目を示す特徴が探索ボックス内
にあるか否かが判定される。これらの特徴には、例えば瞼の動き、瞳、虹彩、又
は網膜、目に対応する形状、目に対応する陰影、又は目を示すその他の指標が含
まれる。コントローラ４２は所望の判断基準を検知するようにヒストグラム形成
ユニットをセットする。例えば、図３６は瞳４３２のヒストグラムのサンプルを
示しており、この場合は、瞳を特徴付ける極めて低い輝度レベルと高い光沢を有
するピクセルを検知するように線形組合わせユニットと妥当性検査ユニットとが
セットされる。瞳はｘとｙのヒストグラムの形状を、一般に対称である瞳の周知
の特徴と比較することによって確認されるが、この対称性はセンサとドライバの
頭部との角度関係によって影響されることがあることに留意されたい。

【０１０５】所望の二次的な顔の判定基準が検知されると、鼻孔の識別が確認され、目の開
閉の検知が開始される。あるいは、鼻孔の識別を確認するために検知される判断
基準は、後述の技術を利用したまばたきであってもよい。探索ボックスでまばた
きが検知されない場合は、探索モードが再開される。まばたきはトラッキング・モード４００の間に検知される。トラッキング・モ
ードでは、コントローラ４２は探索ボックス２７６によって規定されたエリア内
を探索するためにＸＭＩＮ、ＸＭＡＸ、ＹＭＩＮ、ＹＭＡＸを設定する。コント
ローラ４２は更に、輝度及びｘ及びｙ方向のヒストグラムをオンに設定し、目の
陰影を検知するために、輝度用の線形組合わせユニットを、例えば輝度値の最低
１５％の値である画像の残りの部分と比較して低いヒストグラムのレベル（３６
８）を検知するように設定する。トラッキング・モード中、システムは頭部の動
きを検知するために鼻孔２７２の位置を監視する。頭部の動きと、その結果とし
ての位置Ｘ_N、Ｙ_Nのシフトが検知されると、ドライバの目の上に探索ボックスを
保持するために、探索ボックス２７６は人体モデルに従ってシフトされる。

【０１０６】図３３は目を開けた状態のｘ及びｙのヒストグラムの形状を示しており、図３
４は目を閉じた状態のｘ及びｙのヒストグラムの形状を示している。陰影の形状
、特に目を閉じた状態での陰影の形状は、カメラの位置、及び例えば日光やＩＲ
光源のような陰影を作る光源の位置に大きく左右される。いずれの場合も、各ヒ
ストグラムの幅ＭＡＸ_X−ＭＩＮ_Xは一般に目が開いている場合は閉じている場合
よりも大幅に大きい。コントローラ４２は各ヒストグラムの幅と高さを分析して
、目が開いている時と閉じている時を判定する(３８２)。開いた目は、幅ＭＡＸ _X −ＭＩＮ_X、及び高さＭＡＸ_X−ＭＩＮ_X、閾値の超過、閾値を超過した各ヒスト
グラムのＮＢＰＴＳ、閾値を超過した各ヒストグラムのＲＭＡＸ、閉じた目と比
較したＰＯＳＲＭＡＸの位置の変化などを含む、ｘ及びｙのヒストグラムの任意
の数の特徴によって判定できる。同様に、閉じた目は、幅ＭＡＸ_X−ＭＩＮ_X、及
び高さＭＡＸ_Y−ＭＩＮ_Y、閾値未満であること、閾値未満の各ヒストグラムのＮ
ＢＰＴＳ、閾値未満の各ヒストグラムのＲＭＡＸ、開いた目と比較したＰＯＳＲ
ＭＡＸの位置の変化などを含む、ｘ及びｙのヒストグラムの任意の数の特徴によ
って判定できる。好適な実施例では、コントローラ４２は各ヒストグラムの幅Ｍ
ＡＸ_X−ＭＩＮ_X、及び高さＭＡＸ_Y−ＭＩＮ_Yを計算し、目が開いているか閉じて
いるかを判定するために閾値を利用する。各々の幅ＭＡＸ_X−ＭＩＮ_X、及び高さ
ＭＡＸ_Y−ＭＩＮ_Yが閾値を超えている場合は、目は開いているものと判定される
。各々の幅ＭＡＸ_X−ＭＩＮ_X、及び高さＭＡＸ_Y−ＭＩＮ_Yが閾値未満である場合
(開いた目を判定するために用いる閾値とは異なっていてもよい)は、目は閉じて
いるものと判定される(３８４)。ＭＡＸ及びＭＩＮは好適にはヒストグラム形成
ユニットで計算されたＭＡＸ及びＭＩＮである。一方、ＭＡＸ及びＭＩＮは、例
えばＲＭＡＸ／２に対応するヒストグラム上のポイントのような他の閾値、又は
ＲＭＡＸに対するその他の閾値のような他の閾値でもよい。

【０１０７】コントローラ４２は目が随時開閉しているフレーム数を分析して、各々のまば
たき、及び／又はまばたき間の間隔の継続期間を判定する(３８６)。この情報を
利用して、コントローラ４２はドライバが眠気を感じているか否かを判定する( ３８８)。ドライバが眠気を感じていることが判定されると、コントローラ４２はドライバを起こすためのアラームを発生し(３９０)、又はドライバが眠ってい
ることを示す他の信号を発生する。コントローラ４２は常時、特に、照明レベルを変更についてシステムの動作を
適応化させる。コントローラ４２は輝度スペクトルをできるだけ広く保持するた
めに、輝度ヒストグラムを周期的に監視し、かつセンサの利得バイアスを適応化
させることにより、照明状態の変化を検出する。コントローラ４２は更に、目と
、例えば鼻の側部の陰影のような鼻により陰影がついた鼻孔とをより良好に区別
するため、陰影の判定のために用いられる閾値を調整することができ、かつ陰影
の効果を最小限にするためにセンサの利得を調整することもできる。所望ならば
、コントローラ４２はヒストグラム形成ユニットが虹彩のヒストグラムを形成す
るようにしてもよい。このヒストグラムは一貫性のために監視され、システム内
で利用される様々な閾値を必要に応じて調整してもよい。

【０１０８】この発明を或る判断基準を利用してドライバの目を検知することに関連して説
明してきたが、この発明はピクセルの可能ないずれかの測定可能な特徴を利用し
て目の何らかの判断基準を検知することができ、かつドライバの居眠りの特徴を
本発明によって形成されたヒストグラムの他のいずれかの情報から認識できるこ
とが明らかであろう。更に、この発明をドライバの眠気の検知に関して説明して
きたが、これは眠気が検知されるべきどのような用途にも応用できる。より一般
的には、この発明を或る実施例に関して説明してきたが、特許請求の範囲に含ま
れる変更が可能である。

【図面の簡単な説明】

【図１】本発明に基づくシステムの概略図である。

【図２】本発明の時間及び空間処理ユニットのブロック図である。

【図３】本発明の時間処理ユニットのブロック図である。

【図４】本発明の空間処理ユニットのブロック図である。

【図５】本発明に基づくピクセルの処理を示したグラフである。

【図６】本発明に基づいて動きの方向を判定するために使用されるフリーマン・コード
の数値を示した図である。

【図７】時間処理ユニットによって処理される巣状のマトリクスを示している。

【図８】時間処理ユニットによって処理される６角形のマトリクスを示している。

【図９】時間処理ユニットによって処理される逆Ｌ字形マトリクスを示している。

【図１０】時間処理ユニットによって処理される角セクタ形のマトリクスを示している。

【図１１】時間及び空間処理ユニットと、ヒストグラム形成ユニットとの関係を示したブ
ロック図である。

【図１２】様々なヒストグラム形成ユニットの関係を示したブロック図である。

【図１３】２つの一次元ヒストグラムから移動エリアの二次元ヒストグラムを形成する態
様を示している。

【図１４】個々のヒストグラム形成ユニットのブロック図である。

【図１５】Ａ及びＢは、分析軸に対する線の配向を発見するためにヒストグラム形成ユニ
ットを使用する態様を示している。

【図１６】一次元ヒストグラムを示している。

【図１７】画像の選択された所望エリアに準グラフィック・サブ・マトリクスを使用する
態様を示している。

【図１８】この発明の眠気検知システムと組合わせたバックミラーの側面図である。

【図１９】バックミラーの動作を示した上面図である。

【図２０】バックミラーの動作を示した概略図である。

【図２１】この発明の眠気検知システムを組込んだバックミラー・アセンブリを示した断
面上面図である。

【図２２】図２１のミラー・アセンブリ内にこの発明の眠気検知システムを支持する継手
を示した部分断面化した上面図である。

【図２３】図２１のバックミラー・アセンブリとドライバとの関係を示した上面図である
。

【図２４】この発明のシステムを利用した人の頭部の縁部の検知を示している。

【図２５】人の頭部の縁部の外側の遮蔽を示している。

【図２６】人の目の外側の遮蔽を示している。

【図２７】この発明のシステムを利用した人の目の検知を示している。

【図２８】三次元直交座標系内での連続するまばたきを示している。

【図２９】Ａ及びＢは、目の動きのヒストグラムのピーク値と底値とをまばたきを示す情
報へと変換する態様を示している。

【図３０】眠気を検知するためのこの発明のシステムの利用を示した流れ図である。

【図３１】完全な画像を探索するためにサブ画像を利用する態様を示している。

【図３２】鼻孔を検知し、かつ目の動きを追跡するためにこの発明のシステムを利用する
態様を示している。

【図３３】開いた目を検知するためにこの発明のシステムを利用する態様を示している。

【図３４】閉じた目を検知するためにこの発明のシステムを利用する態様を示している。

【図３５】眠気を検知するため、選択可能な方法を示した流れ図である。

【図３６】瞳を検知するためにこの発明のシステムを利用する態様を示している。

【手続補正書】

【提出日】平成１３年３月６日（２００１．３．６）

【手続補正１】

【補正対象書類名】図面

【補正対象項目名】図１

【補正方法】変更

【補正内容】

【図１】

【手続補正２】

【補正対象書類名】図面

【補正対象項目名】図１０

【補正方法】変更

【補正内容】

【図１０】

【手続補正３】

【補正対象書類名】図面

【補正対象項目名】図１２

【補正方法】変更

【補正内容】

【図１２】

【手続補正４】

【補正対象書類名】図面

【補正対象項目名】図１４

【補正方法】変更

【補正内容】

【図１４】

【手続補正５】

【補正対象書類名】図面

【補正対象項目名】図１５

【補正方法】変更

【補正内容】

【図１５】

【手続補正６】

【補正対象書類名】図面

【補正対象項目名】図３０

【補正方法】変更

【補正内容】

【図３０】

【手続補正７】

【補正対象書類名】図面

【補正対象項目名】図３２

【補正方法】変更

【補正内容】

【図３２】

【手続補正８】

【補正対象書類名】図面

【補正対象項目名】図３３

【補正方法】変更

【補正内容】

【図３３】

【手続補正９】

【補正対象書類名】図面

【補正対象項目名】図３４

【補正方法】変更

【補正内容】

【図３４】

【手続補正１０】

【補正対象書類名】図面

【補正対象項目名】図３５

【補正方法】変更

【補正内容】

【図３５】

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，ＫＥ，ＬＳ，ＭＷ，ＳＤ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ) ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ，ＧＥ，ＧＨ，ＧＭ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，ＺＷ (72)発明者ピリム，パトリックフランス共和国エフ−75013 パリ，リュー・パタイ 56 (72)発明者ビンフォード，トーマスアメリカ合衆国カリフォルニア州95014，クパティーノ，フリントロック・ロード 16012 Ｆターム(参考） 5C086 AA23 BA22 BA23 BA24 CB36 DA33 EA11 EA13 EA40 EA45 FA01

Claims

【特許請求の範囲】

【請求項１】居眠りしている人を検知する方法において、人の顔の画像を収集するステップと、人の少なくとも片目の特徴に対応する特徴を有する画像のピクセルを選択する
ステップと、選択されたピクセルの少なくとも１つのヒストグラムを形成するステップと、随時少なくとも１つのヒストグラムを分析して、目の開閉のそれぞれを識別す
るステップと、目の開閉情報から人が居眠りしていることを示す特徴を判定するステップとを含んでいる方法。
【請求項２】請求項１記載の方法において、該方法はさらに、少なくとも片目
の特徴に対応する特徴を有する画像のピクセルを選択するステップに先立ち、少
なくとも片目の画像のサブ・エリアを識別するステップを含むと共に、少なくと
も片目の特徴に対応する特徴を有する画像のピクセルを選択するステップは、画
像のサブ・エリア内のピクセルを選択することを含むことを特徴とする方法。
【請求項３】請求項２記載の方法において、少なくとも片目を含む画像のサブ
・エリアを識別するステップは、画像内の人の頭部を識別するステップと、擬人モデルを用いて画像のサブ・エリアを識別するステップとを含んでいることを特徴とする方法。
【請求項４】請求項3記載の方法において、画像内の人の頭部を識別するステップは、人の頭部の縁部に対応する特徴を有する画像のピクセルを選択するステップと
、直交軸に投影された選択されたピクセルのヒストグラムを形成するステップと
、選択されたピクセルのヒストグラムを分析して、人の頭部の縁部を識別するス
テップとを含んでいることを特徴とする方法。
【請求項５】請求項２記載の方法において、少なくとも片目を含む画像のサブ
・エリアを識別するステップは、画像内の人の顔の特徴の位置を識別するステップと、擬人モデルと顔の特徴の位置とを利用して、画像のサブ・エリアを識別するス
テップとを含んでいることを特徴とする方法。
【請求項６】請求項５記載の方法において、画像内の人の顔の特徴の位置を識
別するステップは、顔の特徴に対応する特徴を有する画像のピクセルを選択するステップと、直交軸に投影された選択されたピクセルのヒストグラムを形成するステップと
、選択されたピクセルのヒストグラムを分析して、画像内の顔の特徴の位置を識
別するステップとを含んでいることを特徴とする方法。
【請求項７】請求項６記載の方法において、顔の特徴とは人の鼻孔であり、顔
の特徴に対応する特徴を有する画像のピクセルを選択するステップは、輝度レベ
ルが低いピクセルを選択することを含んでいることを特徴とする方法。
【請求項８】請求項７記載の方法において、該方法はさらに、鼻孔のピクセル
のヒストグラムを分析して、鼻孔間の間隔が望ましい範囲内にあるか否かを判定
し、かつ鼻孔の寸法が望ましい範囲内にあるか否かを判定するステップを含んで
いることを特徴とする方法。
【請求項９】請求項１記載の方法において、人の少なくとも片目の特徴に対応する特徴を有する画像のピクセクを選択する
ステップは、目の陰影に対応する低いレベルの輝度を有するピクセルを選択する
ステップを含んでおり、随時少なくとも１つのヒストグラムを分析して、目の開閉のそれぞれを識別す
るステップは、目の陰影の形状を分析して目の開閉を判定するステップを含んで
いることを特徴とする方法。
【請求項１０】請求項９記載の方法において、選択されたピクセルの少なくと
も１つのヒストグラムを形成するステップは、直交軸に投影された目の陰影が付
いたピクセルのヒストグラムを形成するステップを含んでおり、目の陰影の形状
を分析するステップは陰影の幅と高さを分析するステップを含んでいることを特
徴とする方法。
【請求項１１】請求項１記載の方法において、人の少なくとも片目の特徴に対応する特徴を有する画像のピクセルを選択する
ステップは、まばたきに対応する動きのピクセルを選択するステップを含んでお
り、随時少なくとも１つのヒストグラムを分析して、目の開閉のそれぞれを識別す
るステップは、動くピクセルの数を随時分析して目の開閉を判定するステップを
含んでいることを特徴とする方法。
【請求項１２】請求項１１記載の方法において、人の少なくとも片目の特徴に
対応する特徴を有する画像のピクセルを選択するステップは、ｉ)ＤＰ＝１、ｉｉ)まばたきする瞼を示すＣＯ、ｉｉｉ)まばたきする瞼を示す速度、及びｉｖ) まばたきする瞼を示す上下運動、の群から選択された特徴を有するピクセルを選
択することを含んでいることを特徴とする方法。
【請求項１３】請求項５記載の方法において、画像内の人の顔の特徴を識別す
るステップは、画像のサブ画像を探索して顔の特徴を識別するステップを含んで
いることを特徴とする方法。
【請求項１４】請求項７記載の方法において、画像内の人の顔の特徴を識別す
るステップは、画像のサブ画像を探索して鼻孔を識別するステップを含んでいる
ことを特徴とする方法。
【請求項１５】請求項１３記載の方法において、顔の特徴とは顔の第１の特徴
であり、該方法は更に、疑人モデル及び顔の第１の特徴の位置を用いて、顔の第２の特徴を含む画像の
サブ・エリアを選択するステップと、顔の第２の特徴に対応する特徴を有する画像のピクセルを選択するステップと
、顔の第２の特徴の選択されたピクセルのヒストグラムを分析して顔の第１の特
徴の識別を確認するステップとを含んでいることを特徴とする方法。
【請求項１６】居眠りしている人を検知する装置において、人の目に対応するピクセルを含んでいる、人の顔の画像を収集するためのセン
サと、コントローラと、選択された特徴を有するピクセルのヒストグラムを形成するためのヒストグラ
ム形成装置と、人の少なくとも片目の特徴に対応する特徴を有する画像のピクセルを選択し、
かつ選択されたピクセルのヒストグラムを形成するようにヒストグラム形成ユニ
ットを制御するコントローラとを備えており、該コントローラは、ヒストグラムを随時分析して、目の開閉のそ
れぞれを識別し、かつ目の開閉情報から人が居眠りしていることを示す特徴を判
定することを特徴とする装置。
【請求項１７】請求項１６記載の装置において、コントローラはヒストグラム
形成ユニットと相互に作用して、少なくとも片目を含む画像のサブ・エリアを識
別し、かつ、コントローラは、画像のサブ・エリアの範囲内だけの少なくとも片
目の特徴に対応する特徴を有する画像のピクセルが選択されるようにヒストグラ
ム形成ユニットを制御することを特徴とする装置。
【請求項１８】請求項１７記載の装置において、コントローラはヒストグラム形成ユニットと相互に作用して、画像内の人の頭
部を識別し、コントローラは擬人モデルを用いて画像のサブ・エリアを識別することを特徴とする装置。
【請求項１９】請求項１８記載の装置において、ヒストグラム形成ユニットは人の頭部の縁部に対応する特徴を有する画像のピ
クセルを選択し、かつ直交軸に投影された選択されたピクセルのヒストグラムを
形成し、コントローラは選択されたピクセルのヒストグラムを分析して人の頭部の縁部
を識別することを特徴とする装置。
【請求項２０】請求項１７記載の装置において、コントローラはヒストグラム形成ユニットと相互に作用して、画像内の人の顔
の特徴の位置を識別し、コントローラは擬人モデルと、顔の特徴の位置とを利用して画像のサブ・エリ
アを識別することを特徴とする装置。
【請求項２１】請求項２０記載の装置において、ヒストグラム形成ユニットは顔の特徴に対応する特徴を有する画像のピクセル
を選択し、かつ直交軸に投影された選択されたピクセルのヒストグラムを形成し
、コントローラは選択されたピクセルのヒストグラムを分析して、画像内の顔の
特徴の位置を識別することを特徴とする装置。
【請求項２２】請求項２１記載の装置において、顔の特徴は人の鼻孔であり、
ヒストグラム形成ユニットは、鼻孔の輝度レベルに対応する低い輝度レベルを有
する画像のピクセルを選択することを特徴とする装置。
【請求項２３】請求項２２記載の装置において、コントローラは、鼻孔ピクセ
ルのヒストグラムを分析して、鼻孔間の間隔が望ましい範囲内にあるか否かを判
定し、かつ、鼻孔の寸法が望ましい範囲内にあるか否かを判定することを特徴と
する装置。
【請求項２４】請求項１６記載の装置において、ヒストグラム形成ユニットは、目の陰影に対応する低いレベルの輝度を有する
画像のピクセルを選択し、コントローラは、目の陰影の形状を分析して目の開閉を判定することを特徴とする装置。
【請求項２５】請求項２４記載の装置において、ヒストグラム形成ユニットは
、直交軸に投影された目の陰影付きのピクセルのヒストグラムを形成し、コント
ローラは、陰影の幅と高さを分析して、目の開閉を判定することを特徴とする装
置。
【請求項２６】請求項１６記載の装置において、ヒストグラム形成ユニットは、まばたきに対応する動きの画像のピクセルを選
択し、コントローラは、動くピクセル数を随時分析して目の開閉を判定することを特徴とする装置。
【請求項２７】請求項２６記載の装置において、ヒストグラム形成ユニットは
、まばたきに対応する動きの特徴を有する画像のピクセルを選択し、該特徴は、
ｉ)ＤＰ＝１、ｉｉ)まばたきする瞼を示すＣＯ、ｉｉｉ)まばたきする瞼を示す速度、及びｉｖ)まばたきする瞼を示す上下運動、のグループから選択されることを特徴とする装置。
【請求項２８】請求項２０記載の装置において、コントローラは、ヒストグラ
ム形成ユニットと相互に作用して、画像のサブ画像を探索し、顔の特徴を識別す
ることを特徴とする装置。
【請求項２９】請求項２２記載の装置において、コントローラは、ヒストグラ
ム形成ユニットと相互に作用して、画像のサブ画像を探索し、鼻孔を識別するこ
とを特徴とする装置。
【請求項３０】請求項２８記載の装置において、顔の特徴とは顔の第１の特徴
であり、該装置は更に、コントローラは、疑人モデル及び顔の第１の特徴の位置を用いて、ヒストグラ
ム形成ユニットが顔の第２の特徴を含む画像のサブ・エリアを選択するようにし
、ヒストグラム形成ユニットは、顔の第２の特徴に対応する特徴を有するサブ・
エリア内の画像のピクセルを選択して、該ピクセルのヒストグラムを形成し、コントローラは、顔の第２の特徴に対応する選択されたピクセルのヒストグラ
ムを分析して、顔の第１の特徴の識別を確認することを特徴とする装置。
【請求項３１】請求項１６記載の装置において、センサは、コントローラ及び
ヒストグラム形成ユニットと一体に形成されていることを特徴とする装置。
【請求項３２】請求項１６記載の装置において、該装置はさらにアラームを備
え、コントローラは、人が居眠りしていることを検知するとアラームを作動させ
ることを特徴とする装置。
【請求項３３】請求項１６記載の装置において、該装置はさらに照明源を備え
、センサは、照明源によって照射されると人を観察するように構成されているこ
とを特徴とする装置。
【請求項３４】請求項３３記載の装置において、照明源はＩＲ放射源であるこ
とを特徴とする装置。
【請求項３５】車両用のバックミラー・アセンブリにおいて、バックミラーと、バックミラーに実装された請求項１６に記載の装置とを備えてなることを特徴とするバックミラー・アセンブリ。
【請求項３６】請求項３５記載のバックミラー・アセンブリにおいて、該アセ
ンブリはさらに、前記装置をバックミラーに取り付けるブラケットを備えている
ことを特徴とするバックミラー・アセンブリ。
【請求項３７】請求項３５記載のバックミラー・アセンブリにおいて、該アセ
ンブリはさらに、開放側部と内部とを有するハウジングを備え、バックミラーは
ハウジングの開放側部に実装され、バックミラーはハヴシング内部からハウジン
グ外部へと透けて見え、前記装置はセンサをバックミラーの方に向けてハウジン
グ内部に実装されることを特徴とするバックミラー・アセンブリ。
【請求項３８】請求項３７記載のバックミラー・アセンブリにおいて、該アセ
ンブリはさらに、前記装置をバックミラー・アセンブリに取り付けるジョイント
を備え、該ジョイントはドライバによるミラー・アセンブリの調整中に車両のド
ライバに面した位置に前記装置を保持するように構成されていることを特徴とす
るバックミラー・アセンブリ。
【請求項３９】請求項３５記載のバックミラー・アセンブリにおいて、該アセ
ンブリは更に人に向けられた照明源を備え、センサは照明源によって照射される
と人を観察するよう構成されていることを特徴とするバックミラー・アセンブリ
。
【請求項４０】請求項３５記載のバックミラー・アセンブリにおいて、該アセ
ンブリは更にアラームを備え、コントローラは人が居眠りしていることを検知す
るとアラームを作動させることを特徴とするバックミラー・アセンブリ。
【請求項４１】バックミラー・アセンブリにおいて、バックミラーと、請求項１６に記載の装置とを備え、センサはバックミラーに実装され、コントローラとヒストグラム形成ユ
ニットとはセンサから離れた位置に設置されていることを特徴とするバックミラ
ー・アセンブリ。
【請求項４２】請求項１６に記載の装置を搭載した車両。
【請求項４３】目の形質(特徴) を検知する方法において、検知される形質に対応するピクセルを含んでいる、人の顔の画像を収集するス
テップと、検知される形質に対応する特徴を有する画像のピクセルを選択するステップと
、選択されたピクセルの少なくとも１つのヒストグラムを形成するステップと、随時少なくとも１つのヒストグラムを分析して、検知される形質を示す特徴を
識別するステップとを含んでいることを特徴とする方法。
【請求項４４】請求項４３記載の方法において、形質とは、虹彩、瞳孔又は角
膜であることを特徴とする方法。
【請求項４５】目の形質を検知する装置において、検知される形質に対応するピクセルを含んでいる、人の顔の画像を収集するセ
ンサと、コントローラと、選択された特徴を有するピクセル上にヒストグラムを形成するヒストグラム形
成ユニットとを備えており、コントローラは、人の少なくとも片目の特徴に対応する特徴を有
する画像のピクセルを選択し、かつ選択されたピクセルのヒストグラムを形成す
るようにヒストグラム形成ユニットを制御し、コントローラは、ヒストグラムを
随時分析して、目のそのつどの開閉を識別し、かつ目の開閉情報から人が居眠り
していることを示す特徴を判定することを特徴とする装置。