JP6036065B2 - 注視位置検出装置及び注視位置検出方法 - Google Patents

Description

本発明は、例えば、車両の乗員が注視する位置を検出する注視位置検出装置及び注視位置検出方法に関する。

近年、ドライバによる車両の運転を支援するために、ドライバが注視した位置を検出し、車両の周囲を撮影した画像上でその注視位置に対応する点を特定する技術が提案されている（例えば、特許文献１〜３を参照）。

例えば、特許文献１に記載された運転支援装置は、ドライバの顔を撮影した画像に基づいてドライバの右眼の視線角度及び左眼の視線角度を検出する。そしてこの運転支援装置は、右眼と左眼の中点から右眼の視線角度を表すベクトルと左眼の視線角度を表すベクトルとの交点までを結ぶベクトルを視線ベクトルとして検出する。

また、特許文献２に記載された視線方向計測装置は、被験者に装着したアイカメラ及び３次元磁気センサからの出力信号に基づいて被験者の視線方向を検出する。そしてこの視線方向計測装置は、被験者がフロントガラスを通して遠方を見る動作を行っている場合には、視点位置が無限遠点にあるものとして、被験者の前方の風景を撮影するＴＶカメラにより生成される映像上に、その視点位置をマッピングする。

さらに、特許文献３に記載された安全走行支援装置は、２個のカメラで車両前方をそれぞれ撮影することにより得られた二つの映像から運転者が注意を払うべき対象物を検出し、三角測量の原理によって、自車とその対象物との相対的な位置関係を求める。またこの安全走行支援装置は、例えば、瞳孔角膜反射法によって運転者の視線方向を検出する。そしてこの安全走行支援装置は、対象物と運転者の間に二次元空間を設定し、運転者の眼の位置と対象物とを結んだ線がその二次元空間と交わる位置に対象物を写像し、かつ、運転者の視線方向をその二次元空間に写像する。そうすることで、この安全走行支援装置は、その二次元空間上で対象物と視線方向の関係を比較できる。

特開２００９−４３００３号公報 特開平６−１８９９０６号公報 国際公開第２００７／０６９４８９号公報

車両の周囲を撮影するカメラとドライバは、互いに離れているので、そのカメラの視野とドライバの視野との間には視差が存在する。そのため、ドライバが注視する位置に対応する画像上の点を正確に特定するには、ドライバからその注視位置までの距離が求められることが好ましい。

このことに関して、特許文献１に記載の技術では、左眼の視線角度と右眼の視線角度の差が小さいため、何れかの眼の視線角度の検出結果に誤差が含まれると、検出された注視位置までの距離が、本来の注視位置までの距離から大きくずれてしまうおそれがあった。

また、特許文献２に記載の技術では、注視位置が無限遠に設定されるものの、実際には、ドライバは車両近辺にある物体を注視することもある。そのため、特許文献２に記載の技術では、ドライバの注視位置に対応する画像上の位置とは異なる位置に視点位置が設定されるおそれがあった。

さらに、特許文献３に記載の技術は、ドライバから注視位置までの距離を求める代わりに、自車から対象物までの距離を求めている。しかしこの技術は、自車から対象物までの距離を求めるために、２台のカメラを用いるので、装置構成が複雑化し、その結果として装置のコストも高くなる。

そこで本明細書は、車両周囲が写った画像上でのドライバの注視位置の精度を向上可能な注視位置検出装置を提供することを目的とする。

一つの実施形態によれば、注視位置検出装置が提供される。この注視位置検出装置は、車両の周囲の少なくとも一部の景色を撮影し、その景色が写った画像を生成する撮像部と、車両の乗員の視線の方向を検出する視線検出部と、車両の周囲の少なくとも一部に、車両の進行方向と平行でかつ車両から乗員が注視する物体が存在する可能性がある位置までの距離だけ車両から離れた位置に仮想的な面を設定する投影面設定部と、その仮想的な面と乗員の視線との交点を求める交点算出部と、画像上に交点を投影することにより得られた画像上の点を乗員の注視位置として検出する投影部とを有する。

本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。

本明細書に開示された注視位置検出装置は、車両周囲が写った画像上でのドライバの注視位置の精度を向上できる。

一つの実施形態による注視位置検出装置が実装された運転支援装置の概略構成図である。 車両内における運転支援装置の配置の一例を示す図である。 制御部の機能ブロック図である。 視線投影面の一例を示す図である。 ドライバの視線と視線投影面との交点と、車外画像上の注視位置との関係の一例を示す図である。 注視位置検出処理を含む運転支援処理の動作フローチャートである。

以下、図を参照しつつ、一つの実施形態による、注視位置検出装置について説明する。
この注視位置検出装置は、車両の周囲の少なくとも一部の景色を撮影する車外撮像部から、ドライバが注視する物体が存在する可能性のある距離だけ離れた位置に、仮想的に車両の進行方向に平行な面を設定し、その面とドライバの視線との交点を求める。そしてこの注視位置検出装置は、車外撮像部からその交点までの距離に応じて、その車外撮像部により生成された画像上にその交点を投影することで、車両の周囲の少なくとも一部の景色が写った画像上でのユーザの注視位置を特定する。

本実施形態では、注視位置検出装置は、運転支援装置に実装されるものとする。しかし注視位置検出装置は、ドライバの注視位置からドライバが興味を持っているものを解析する装置などにも利用可能である。また注視位置検出装置は、ドライバの注視位置を検出する代わりに、車室内にいる他の乗員の注視位置を検出してもよい。

図１は、注視位置検出装置が実装された一つの実施形態による運転支援装置の概略構成図である。図２は、車両内における運転支援装置の配置の一例を示す図である。運転支援装置１は、光源２と、車内撮像部３と、車外撮像部４と、記憶部５と、制御部６とを有する。運転支援装置１は、さらに、車外撮像部４により生成された画像を表示するためのディスプレイ（図示せず）を有してもよい。例えば、運転支援装置１が有する各構成要素は、一つの筺体内に収容されていてもよい。この場合、運転支援装置１は、車両１０のダッシュボードの上に、車外撮像部４が車両１０の周囲の少なくとも一部の景色を撮影可能であり、かつ、車内撮像部３がドライバ１１の顔を撮影可能なように配置される。

あるいは、運転支援装置１の一部の構成要素が他の構成要素とは別個に配置されてもよい。例えば、光源２は、インスツルメントパネルまたは車室内前方の天井付近にドライバ１１へ向けて光を発するように取り付けられてもよい。また車内撮像部３も、例えば、ドライバの方を向けてインスツルメントパネルまたは車室内前方の天井付近に取り付けられてもよい。さらに、車外撮像部４は、車両１０の周囲の少なくとも一部の景色、例えば、車両１０の前方の景色を撮影可能なように取り付けられる。そして光源２、車内撮像部３及び車外撮像部４は、信号線を介して、記憶部５及び制御部６が収容され、インスツルメントパネルの裏側またはダッシュボードの上に配置された筐体と接続されてもよい。

光源２は、ユーザの顔、特に眼及びその周囲を照明する。そのため、光源２は、例えば、少なくとも一つの赤外発光ダイオードと、制御部６からの制御信号に応じて、赤外発光ダイオードに図示しない電源からの電力を供給する駆動回路とを有する。そして光源２は、制御部６から光源を点灯させる制御信号を受信すると照明光を発する。
なお、運転支援装置１が有する光源２の数は、１個に限られず、複数個であってもよい。

車内撮像部３は、ドライバの視線方向を検出するために利用される、ドライバの顔が写った画像を生成する。そのために、車内撮像部３は、光源２の光に感度を持つ２次元状に配列された固体撮像素子を有するイメージセンサと、そのイメージセンサ上にドライバの顔の像を結像する撮像光学系を有する。車内撮像部３は、虹彩による反射像及び光源２以外の光源からの光の角膜反射像が検出されることを抑制するために、イメージセンサと撮像光学系の間に、可視光カットフィルタをさらに有してもよい。また車内撮像部３は、画像上で、ユーザの角膜に光源２の像が写るように、例えば、光源２と近接して配置される。

また、画像が光源２のプルキンエ像を識別できる程度の解像度を有するように、車内撮像部３のイメージセンサの画素数は、例えば、100万、200万、あるいは400万とすることができる。またイメージセンサにより生成される画像はカラー画像である。あるいは、イメージセンサにより生成される画像は、固体撮像素子が受光した光の強度が強いほど各画素の輝度が高くなるグレー画像であってもよい。

車内撮像部３は、注視位置検出処理が実行されている間、制御部６から通知された所定の露出条件に従って、所定の撮影レート（例えば、10〜30フレーム／秒）でドライバの顔を撮影することにより、ドライバの顔が写った画像を生成する。車内撮像部３は、画像を生成する度に、その画像を制御部６へ出力する。なお、以下では、便宜上、車内撮像部３により生成された画像を車内画像と呼ぶ。

車外撮像部４は、車両１０の周囲の少なくとも一部の景色を撮影可能なように設置され、所定の撮影レート（例えば、10〜30フレーム／秒）で周期的にその景色が写った画像を生成する。そのために、車外撮像部４は、２次元アレイ状に並べられた固体撮像素子のイメージセンサと、そのイメージセンサ上に車両の前方の景色の像を結像する結像光学系とを有する。本実施形態では、車外撮像部４の光軸が、車両１０の進行方向と平行となり、車外撮像部４が車両１０の前方の景色を撮影できるように、車外撮像部４は設置される。なお、車外撮像部４は、車両１０の右側方または左側方を撮影するように設置されてもよい。また、車外撮像部４が生成する画像はカラー画像であってもよく、あるいは、グレー画像であってもよい。車外撮像部４は、画像を生成する度に、その画像を制御部６へ渡す。なお、以下では、便宜上、車外撮像部４により生成された画像を車外画像と呼ぶ。

記憶部５は、例えば、読み書き可能な不揮発性または揮発性の半導体メモリ及び読み出し専用の不揮発性の半導体メモリを有する。そして記憶部５は、制御部６上で実行される、注視位置検出処理のプログラムを記憶する。また記憶部５は、車外画像上でのドライバの注視位置を検出するために利用される各種のデータを記憶する。

制御部６は、一つまたは複数のプロセッサ及びその周辺回路を有し、運転支援装置１の各部と信号線を通じて接続されている。そして制御部６は、運転支援装置１の各部へ信号線を通じて制御信号を送信することで運転支援装置１の各部を制御する。

図３は、制御部６の機能ブロック図である。制御部６は、視線検出部１１と、視線投影面設定部１２と、交点算出部１３と、投影部１４と、注視対象検出部１５と、注意判定部１６とを有する。このうち、視線検出部１１、視線投影面設定部１２、交点算出部１３及び投影部１４が注視位置検出装置に含まれる。
制御部６が有するこれらの各部は、制御部６が有するプロセッサ上で実行されるコンピュータプログラムにより実現される機能モジュールである。
また制御部６が有するこれらの各部は、その各部に対応する回路が集積された一つの集積回路として制御部６が有するプロセッサとは別個に、運転支援装置１に実装されてもよい。

視線検出部１１は、制御部６が車内撮像部３から車内画像を受け取る度に、その車内画像に基づいてドライバの視線方向を検出する。本実施形態では、視線検出部１１は、車内画像上でドライバの角膜により反射された光源２のプルキンエ像及びドライバの瞳孔重心を検出し、プルキンエ像と瞳孔重心間の位置関係に応じてドライバの視線方向を検出する。

そこで例えば、視線検出部１１は、車内画像上でドライバの顔が写っている領域を検出する。
本実施形態では、撮影時において、ドライバの顔は光源２からの赤外光で照明されており、赤外光に対する肌の反射率は比較的高い（例えば、肌の反射率は近赤外の波長域で数10%）ので、車内画像上で顔の肌の部分が写っている画素の輝度は高い。一方、車内画像上で髪の毛またはユーザの背後の領域は赤外光に対する反射率が低いかまたは光源２から遠いため、髪の毛またはユーザの背後の領域が写っている画素の輝度は、相対的に低くなる。
そこで視線検出部１１は、車内画像の各画素の値がRGB表色系により表されているカラー画像である場合、各画素の値をYUV表色系により表される値に変換する。そして視線検出部１１は、各画素の輝度成分（Y成分）の値が所定の閾値以上の画素を、顔が写っている可能性がある顔領域候補画素として抽出する。なお、車内画像の各画素の値が輝度を表すグレー画像である場合、視線検出部１１は、各画素の値を所定の閾値と比較する。所定の閾値は、例えば、画像上の輝度成分の最大値に0.8を乗じた値に設定される。

また、車内画像上でドライバの顔が占める領域の大きさはある程度推定される。
そこで視線検出部１１は、顔領域候補画素に対してラベリング処理を行って、互いに隣接している顔領域候補画素の集合を顔候補領域とする。そして視線検出部１１は、顔候補領域の大きさがユーザの顔の大きさに相当する基準範囲に含まれているか否か判定する。顔候補領域の大きさがユーザの顔の大きさに相当する基準範囲に含まれていれば、視線検出部１１はその顔候補領域をドライバの顔が写っている顔領域と判定する。

なお、視線検出部１１は、画像上に写っている顔の領域を検出する他の様々な方法の何れかに従って顔領域を検出してもよい。例えば、視線検出部１１は、顔候補領域と一般的な顔の形状に相当するテンプレートとの間でテンプレートマッチングを行って、顔候補領域とテンプレートとの一致度を算出し、その一致度が所定値以上である場合に、顔候補領域を顔領域と判定してもよい。

次に、視線検出部１１は、顔領域内で眼に相当する領域を検出する。眼に相当する画素の輝度は、眼の周囲に相当する画素の輝度と大きく異なる。そこで視線検出部１１は、顔領域内の各画素に対して、例えば、Sobelフィルタを用いて垂直方向の近傍画素間差分演算を行って垂直方向に輝度が変化するエッジ画素を検出する。そして視線検出部１１は、例えば、エッジ画素が略水平方向に眼の大きさに相当する所定数以上連結された２本のエッジ線で囲まれた領域を眼の領域とする。
あるいは、視線検出部１１は、画像上の眼の像を表すテンプレートと、顔領域とのテンプレートマッチングにより、顔領域内でテンプレートに最も一致する領域を検出し、その検出した領域を眼の領域としてもよい。

眼の領域が検出されると、視線検出部１１は、眼の領域内で瞳孔領域を検出する。本実施形態では、視線検出部１１は、瞳孔に相当するテンプレートと眼の領域との間でテンプレートマッチングを行い、眼の領域内でテンプレートとの一致度が最も高くなる領域を検出する。そして視線検出部１１は、一致度の最高値が所定の一致度閾値よりも高い場合、その検出した領域に瞳孔が写っていると判定する。
また視線検出部１１は、画像上で瞳孔領域を検出する他の様々な方法の何れかを用いて、瞳孔領域を検出してもよい。

さらに、視線検出部１１は、眼の領域内で光源２のプルキンエ像を検出する。
光源２のプルキンエ像が写っている領域の輝度は、その周囲の領域の輝度よりも高い。また、光源２のプルキンエ像が写っている領域の形状は、光源２の発光面の形状と略一致する。そこで視線検出部１１は、眼の領域内で、光源２の発光面の輪郭形状と略一致する形状を持ち、かつ、大きさが異なるとともに中心が一致する２本のリングを設定する。そして視線検出部１１は、内側のリングに相当する画素の輝度の平均値である内部輝度平均値から外側の画素の輝度の平均値を引いた差分値が所定の差分閾値よりも大きく、かつ内側輝度平均値が所定の輝度閾値よりも高い領域を検出する。そして視線検出部１１は、その検出された領域内の内側のリングで囲まれた領域を光源２のプルキンエ像とする。なお、差分閾値は、例えば、眼の領域内の近傍画素間の差分値の平均値とすることができる。また所定の輝度閾値は、例えば、眼の領域内での輝度値の最高値の80%とすることができる。
なお、視線検出部１１は、画像上で光源のプルキンエ像が写っている領域を検出する他の様々な方法の何れかを用いて、光源のプルキンエ像が写っている領域を検出してもよい。

視線検出部１１は、プルキンエ像に含まれる各画素の水平方向座標値の平均値及び垂直方向座標値の平均値を、プルキンエ像の重心の座標として算出する。

角膜の表面は略球形であるため、ドライバの視線方向によらず、光源２のプルキンエ像の位置はほぼ一定となる。一方、瞳孔重心は、ドライバの視線方向に応じて移動する。そのため、視線検出部１１は、プルキンエ像の重心を基準とする瞳孔重心の相対的な位置を求めることにより、ドライバの視線方向を検出できる。

本実施形態では、視線検出部１１は、光源のプルキンエ像の重心を基準とする瞳孔重心の相対的な位置を、例えば、瞳孔重心の水平方向座標及び垂直方向座標からプルキンエ像の重心の水平方向座標及び垂直方向座標を減算することにより求める。そして視線検出部１１は、瞳孔重心の相対的な位置とユーザの視線方向との関係を表す視線方向参照テーブルを参照することにより、ドライバの視線方向を決定する。なお、視線方向参照テーブルは、例えば、既知の複数の方向のそれぞれごとに、ドライバがその方向を見たときの瞳孔重心とプルキンエ像の重心の位置を検出することによって予め作成され、記憶部５に記憶される。

なお、視線検出部１１は、プルキンエ像を用いない方法によりドライバの視線方向を検出してもよい。例えば、視線検出部１１は、車内画像上でのドライバの顔の特徴的な部位の位置を基準とした、瞳孔重心の相対的な位置に基づいてドライバの視線方向を検出してもよい。
例えば、視線検出部１１は、鼻尖点または目頭といった、眼との相対的な位置関係の変動が小さい特徴的な部位の画像上での座標を求める。そのために、視線検出部１１は、例えば、顔領域とそれら特徴的な部位の一般的な形状に相当するテンプレートとの間で相対的な位置を変えつつテンプレートマッチングを行って、顔領域とテンプレートとの一致度を算出する。そして視線検出部１１は、顔領域内の特定位置で一致度が所定値以上である場合に、その特定位置にテンプレートに相当する部位が写っていると判定する。

視線検出部１１は、その特徴的な部位の座標から、ドライバが特定の方向を向いている状態でドライバの顔が撮影された基準画像から求められ、かつ記憶部５に記憶されているその特徴的な部位の基準位置の座標を引くことにより位置補正量を求める。そして視線検出部１１は、瞳孔重心の座標値にその位置補正量を減じて、位置補正量に相当する、車内画像上の瞳孔重心の位置と基準画像上の瞳孔重心の位置の差を打ち消すことで、補正後の瞳孔重心の座標を求める。
視線検出部１１は、記憶部５に記憶されている瞳孔−視線方向参照テーブルを参照することにより、補正後の瞳孔重心位置に対応するドライバの視線方向を決定する。

ドライバの視線方向は、世界座標系での単位ベクトルとして表すことができる。そこで視線検出部１１は、ドライバの視線方向を表す単位ベクトル及び車内画像上の眼の位置を交点算出部１３へ通知する。

視線投影面設定部１２は、ドライバの視線を投影するための仮想的な面である視線投影面を、車両１０の周囲の少なくとも一部に設定する。本実施形態では、視線投影面設定部１２は、視線投影面を、車両１０の進行方向と平行でかつ車両１０から注視対象物が存在する可能性がある位置までの距離だけ車両１０から離れた位置に設定する。なお、本実施形態では、世界座標系での視線投影面の取扱を容易にするために、車両１０から視線投影面までの距離を、車両１０に搭載された車外撮像部４から視線投影面までの距離で表す。しかし、車両１０から視線投影面までの距離は、車両１０の側面または車両１０の進行方向に平行な、車両１０の中心線から視線投影面までの距離で表されてもよい。

図４は、視線投影面の一例を示す図である。図４に示されるように、視線投影面４００は、車両１０の左側、右側及び上側を囲むように設定される。この例では、右側の視線投影面４００ａ及び左側の視線投影面４００ｂは、それぞれ、路面に対して鉛直な方向に沿って設定される。一方、上方の視線投影面４００ｃは、路面と平行に設定される。ドライバは、運転中、衝突などの危険を事前に回避するために、対向車線を走行する他の車両、あるいは側道を歩行する歩行者または自転車を注視することがある。そこで、視線投影面設定部１２は、車外撮像部４から車両１０の右側に設定される視線投影面までの距離を、例えば、車外撮像部４から対向車線までの距離、あるいは、車外撮像部４から車両１０が走行中の道路の右端までの距離に設定する。この距離は、予め設定され、記憶部５に記憶されていてもよい。

あるいは、視線投影面設定部１２が、車外画像上で道路上に引かれたセンターラインまたは道路の右端を検出することにより、車外撮像部４からそのセンターラインまたは道路の右端までの距離を推定してもよい。車外画像上で道路上に引かれたセンターラインまたは道路の右端を検出する場合には、視線投影面設定部１２は、例えば、車外画像上の道路が写る領域内でエッジ検出処理を実行することにより、その領域内のエッジ画素を検出する。そして視線投影面設定部１２は、例えば、エッジ画素に対してハフ変換を実行することで、車両１０の右側に相当する領域で車両１０の進行方向に沿って伸びる直線を、センターラインまたは道路の右端として検出すればよい。また視線投影面設定部１２は、センターラインまたは道路の端を検出する他の様々な手法の何れかに従って、センターラインまたは道路の右端を検出してもよい。

車外撮像部４の光軸方向、及び車外撮像部４の画角は予め既知である。そのため、車外撮像部４から、車外画像上の任意の画素に写っている物体へ向かう方向が分かる。また、路面から車外撮像部４までの高さも既知である。そのため、視線投影面設定部１２は、車外画像上で路面が写っている画素を特定することにより、車外撮像部４からその画素に写っている路面までの距離も求めることができる。そこで視線投影面設定部１２は、センターラインまたは道路の右端が写っている何れかの画素に基づいて、車外撮像部４からセンターラインまたは道路の右端までの距離を求めることができる。

なお、車外撮像部４から車両１０の右側に設定される視線投影面までの距離をDとすれば、車両１０の右側に設定される視線投影面sは、次式で表される。

ただし、(x,y,z)は、車外撮像部４の前側主点を原点とする世界座標系における座標を表す。このうち、zは、車両１０の進行方向、すなわち、車外撮像部４の光軸に平行な方向の座標を表す。またxは、路面と平行で、かつ車両１０の進行方向に直交する方向の座標を表す。そしてyは、路面鉛直方向の座標を表す。なお、xは、原点から右へ向かう方向が正であり、yは、原点から上方へ向かう方向が正であり、zは、原点から車両１０の前方へ向かう方向が正である。

また、視線投影面設定部１２は、車外撮像部４から車両１０の左側に設定される視線投影面までの距離を、例えば、車外撮像部４から車両１０が走行中の道路の左端までの距離に設定する。この場合も、車外撮像部４から車両１０が走行中の道路の左端までの距離は、予め記憶部５に記憶されていてもよい。あるいは、視線投影面設定部１２が、車外画像上で道路の左端を検出することにより、その距離を決定してもよい。なお、車両１０の左側に設定される視線投影面s'は、車外撮像部４から車両１０の左側に設定される視線投影面までの距離をDとすれば、（１）式において、Dの代わりに(-D)とすることで求められる。

さらに、視線投影面設定部１２は、車外撮像部４から車両１０の上側に設定される視線投影面までの距離を、例えば、車外撮像部４から道路標識または信号機までの高さ（例えば、4m）に相当する値に設定する。

なお、視線投影面設定部１２は、車両１０の右側及び左側にのみ、視線設定面を設定し、車両１０の上方には視線投影面を設定しなくてもよい。これは、車両１０の上方から車両１０に近づく物体は、一般的には存在しないためである。また、視線投影面設定部１２は、車両１０の周囲に、車両１０の進行方向に平行な軸を中心とする円筒面状に視線投影面を設定してもよい。

視線投影面設定部１２は、視線投影面を表す式を交点算出部１３へ通知する。

交点算出部１３は、視線投影面とドライバの視線との交点を算出する。ドライバの視線は、ドライバの視線方向を表す単位ベクトルをv(x,y,z)とし、車外撮像部４の前側主点を原点とする世界座標系におけるドライバの眼の位置をg(x,y,z)とすれば、直線(g+kv)で表される。ただしkは正の値を持つ実数である。そのため、交点算出部１３は、次式に従って視線投影面とドライバの視線との交点を算出できる。なお、次式において、v、gは、同次座標表現で表されており、それぞれ、v(x,y,z,0)、g(x,y,z,1)である。

なお、ドライバの眼の位置は、例えば、車内撮像部３により生成された車内画像から検出された眼の位置に基づいて決定される。車内画像上の任意の画素と、車内撮像部３からその画素に写っている被写体への方向は１対１に対応する。そのため、車内画像上の眼の重心に相当する画素を特定することにより、車内撮像部３からのドライバの眼へ向かう方向が特定される。そして車内撮像部３の光軸方向、画角及び設置位置は既知であるので、世界座標系における、車内撮像部３からのドライバの眼へ向かう直線を求めることができる。さらに、車内撮像部３とシートの位置関係により、車内撮像部３からドライバまでの距離も予め推定される。そのため、その直線に沿って、車内撮像部３からドライバの眼までの推定距離だけ車内撮像部３から離れた位置にドライバの眼があると推定される。
なお、ドライバの眼の位置は、予め測定され、記憶部５に記憶されてもよい。

また、実空間上でのドライバの眼の位置が分かっているときにドライバの頭部を撮影して得られた車内画像上での眼の位置が、眼の基準位置として予め記憶部５に記憶されてもよい。そして交点算出部１３は、注視位置検出処理の実行中に得られた車内画像上の眼の位置と、眼の基準位置との差を求め、その差に応じて、基準位置に対応するドライバの眼の位置を補正することで、ドライバの眼の位置を求めてもよい。
さらに交点算出部１３は、ドライバの眼の位置を検出する様々な他の技術の何れかを用いて、ドライバの眼の位置を検出してもよい。

交点算出部１３は、ドライバの視線と視線投影面との交点の座標を投影部１４へ通知する。

投影部１４は、ドライバの視線と視線投影面の交点を車外画像上へ投影する。上記のように、車外撮像部４の設置位置、光軸方向、画角、及び1画素のサイズといった車外撮像部４に関するパラメータは既知である。そのため、車外撮像部４の撮像光学系の歪曲収差が無視できるほど小さい場合、投影部１４は、世界座標系上の任意の点を車外画像上に投影する射影行列Fを、これらのパラメータに基づいて決定できる。あるいは、射影行列Fの各要素の値を決定するために、車外撮像部４から所定の距離だけ離れた位置に既知のパターンが示されたチャートを配置して、そのチャートを車外撮像部４で撮影することにより得られる画像が利用されてもよい。この場合、そのチャートが写った画像から、チャート上の複数の特徴点が抽出される。そして、各特徴点に対応するチャート上の点を射影行列Fを用いて車外画像上に投影したときの座標と特徴点との距離の二乗和が最小となるように、射影行列Fの各要素の値が算出される。この射影行列Fは、例えば、運転支援装置１が車両１０に設置されたとき、あるいは、定期的に実行されるキャリブレーション処理において算出され、記憶部５に記憶されればよい。

投影部１４は、その射影行列Fを用いて次式により、ドライバの視線と視線投影面の交点q(x,y,z)に対応する車外画像上の注視位置p(u,w)を算出する。ただし、uは、車外画像上での水平方向の座標であり、wは、車外画像上での垂直方向の座標である。

なお、（３）式では、交点q及び対応する車外画像上の注視位置pを同次座標表現で表している。すなわち、（３）式で得られた注視位置pの一番上の要素を1/zした値が、車外画像上での実際の水平方向の座標uとなり、（３）式で得られた注視位置pの上から2番目の要素を1/zした値が、車外画像上での実際の垂直方向の座標wとなる。

図５は、ドライバの視線と視線投影面との交点と、車外画像上の注視位置との関係の一例を示す図である。車外撮像部４から視線投影面５０２までの距離Dが、その視線投影面５０２の近傍にドライバ５００の注視対象物５０１が位置するように設定されていると、ドライバ５００の視線５０３と視線投影面５０２との交点qは、その注視対象物５０１の近くに位置する。そのため、ドライバ５００と車外撮像部４とが離れて配置されていても、車外撮像部４と交点qとを結ぶ線５１１が車外撮像部４の光軸ＯＡとなす角と、車外撮像部４と注視対象物５０１とを結ぶ線５１２がその光軸ＯＡとなす角との差は小さい。そのため、交点qに対応する、車外撮像部４の撮像面５０４上の位置pと、注視対象物５０１に対応する、車外撮像部４の撮像面５０４上の位置p'はほぼ一致する。そのため、ドライバから注視対象物までの距離を測定しなくても、制御部６は、車外画像上の注視位置を実際にドライバが注視した対象物の車外画像上の位置に近づけることができる。

なお、車外撮像部４の撮像光学系が魚眼レンズである場合のように、その撮像光学系の歪曲収差が無視できないほど大きいことがある。このような場合には、例えば、車外撮像部４の光軸からの角度と歪曲収差による車外画像上の位置のずれを補正する補正量との対応関係を表す補正テーブルが予め記憶部５に記憶される。このような補正テーブルは、車外撮像部４を用いて予め既知のパターンが示されたチャートを撮影して得られる画像を解析することによって作成できる。あるいは、車外撮像部４の撮像光学系の歪曲収差曲線が分かっている場合には、その歪曲収差曲線に基づいて補正テーブルは作成されてもよい。

投影部１４は、車外撮像部４の前側主点から交点へ向かう線と車外撮像部４の光軸とのなす角を算出し、補正テーブルを参照してその角度に応じた補正量を求める。また投影部１４は、光軸に相当する車外画像上の画素から（３）式で算出した交点qの車外画像上の投影点pへ向かう車外画像上の直線を求める。そして投影部１４は、その直線に沿って、光軸に相当する画素から（３）式で算出したその投影点pまでの距離をその補正量だけ減じた位置を注視位置pの座標とすればよい。

投影部１４は、車外画像上の注視位置pの座標を注意判定部１６へ通知する。

注視対象検出部１５は、車外画像上でドライバが注視すべき対象物を検出する。例えば、注視対象検出部１５は、車外画像を複数の部分画像に分割し、部分画像ごとに注視すべき対象物を表す特徴量を抽出する。そして注視対象検出部１５は、部分画像ごとの特徴量を、注視すべき対象物か否かを識別する識別器に入力することによって、その部分画像に注視すべき対象物が写っているか否か判定する。なお、識別器は、例えば、adaBoost識別器あるいはサポートベクトルマシンとすることができる。また特徴量は、例えば、Haar-like特徴量とすることができる。

なお、注視対象検出部１５は、様々なトラッキング手法の何れかを用いて、時間的に連続する複数の車外画像にわたって注意すべき対象物を追跡してもよい。そして注視対象検出部１５は、その対象物の車外画像上の位置が車外画像の中心に近づいている場合、すなわち、その対象物が車両１０に接近していると推定される場合にのみ、その対象物を注意すべき対象物としてもよい。

注視対象検出部１５は、注視すべき対象物が写っている領域を表す情報を注意判定部１６へ通知する。

注意判定部１６は、車外画像上の注視点の座標が、何れかの注視すべき対象物の領域に含まれるか否かを判定する。そして注意判定部１６は、注視点の座標が、何れかの注視すべき対象物が写っている領域に含まれる場合、ドライバはその注視すべき対象物を見たと判定する。

注意判定部１６は、直近の所定期間にわたって、その所定期間中に生成された車外画像に注意すべき対象物が写っている場合、ドライバがその対象物を見ているか否か判定する。なお、所定期間は、例えば、0.1秒〜1秒程度に設定される。その所定期間にわたってドライバがその対象物を見ていない場合、注意判定部１６は、ドライバに注意を喚起するよう、例えば、スピーカ（図示せず）に警告音を発させる。あるいは、注意判定部１６は、車内に配置されたディスプレイ（図示せず）に、最新の車外画像及びその車外画像上で検出された注意すべき対象物を示すマーク（例えば、その対象物を囲む特定の色の枠線）を表示させてもよい。

図６は、制御部６により制御される注視位置検出処理を含む運転支援処理の動作フローチャートである。制御部６は、車外画像を受け取る度に、この動作フローチャートに従って運転支援処理を実行する。

視線検出部１１は、車内撮像部３から受け取った最新の車内画像に基づいて、ドライバの視線方向を検出する（ステップＳ１０１）。そして視線検出部１１は、その視線方向を表す方向ベクトルを交点算出部１３へ通知する。

視線投影面設定部１２は、車両１０の周囲に、車両１０の進行方向と平行、かつ、車外撮像部４から注意すべき対象物が位置する可能性がある距離だけ離れた位置に視線投影面を設定する（ステップＳ１０２）。そして視線投影面設定部１２は、視線投影面を交点算出部１３へ通知する。

交点算出部１３は、ドライバの視線と視線投影面との交点を算出する（ステップＳ１０３）。なおこの交点の座標は世界座標系で表される。そして交点算出部１３は、交点の座標を投影部１４へ通知する。

投影部１４は、ドライバの視線と視線投影面との交点を車外画像上へ投影して注視位置を特定する（ステップＳ１０４）。そして投影部１４は、車外画像上の注視位置の座標を注意判定部１６へ通知する。

また、注視対象検出部１５は、車外画像上でドライバが注視すべき対象物が写っている領域を検出する（ステップＳ１０５）。そして注視対象検出部１５は、注視すべき対象物が写っている領域の位置及び範囲を注意判定部１６へ通知する。

注意判定部１６は、車外画像上でのドライバの注視位置が、何れかの注意すべき対象物が写っている領域の何れかに含まれるか否か判定する（ステップＳ１０６）。注視位置が注意すべき対象物が写っている領域の何れにも含まれない場合（ステップＳ１０６−Ｎｏ）、注意判定部１６は、ドライバはその車外画像の生成時において、注意すべき対象物を見ていないと判定する。そして注意判定部１６は、ドライバが注意すべき対象物を見ていない期間が、所定期間にわたって継続しているか否か判定する（ステップＳ１０７）。ドライバが注意すべき対象物を見ていない期間が所定期間にわたって継続している場合（ステップＳ１０７−Ｙｅｓ）、注意判定部１６は、注意すべき対象物が車両１０の周囲に存在することをドライバに警告する（ステップＳ１０８）。その後、制御部６は、運転支援処理を終了する。

一方、ステップＳ１０７にて、ドライバの注視位置が、何れかの注意すべき対象物が写っている領域に含まれる場合（ステップＳ１０６−Ｙｅｓ）、注意判定部１６は、ドライバはその注意すべき対象物を見たと判定する。この場合、ドライバに警告せずに注意すべき対象物を見ていない継続期間の長さを0にリセットした上で、制御部６は、運転支援処理を終了する。またステップＳ１０８にて、ドライバが注意すべき対象物を見ていない継続時間が所定期間に達していない場合も（ステップＳ１０７−Ｎｏ）、制御部６は、ドライバに警告せずに運転支援処理を終了する。

以上に説明してきたように、この注視位置検出装置が実装された運転支援装置は、ドライバの視線と、注意すべき対象物が存在する可能性のある位置に設定された視線投影面との交点を求め、その交点を車外画像上へ投影する。視線投影面の性質上、運転支援装置は、車外撮像部からドライバが実際に注視している物体までの距離を、車外撮像部からこの交点までの距離によって近似できる。そのため、この運転支援装置は、車外撮像部からドライバが実際に注視している物体までの距離を測定しなくても、車外画像上での注視位置の精度を向上できる。またこの運転支援装置は、車外撮像部からドライバが実際に注視している物体までの距離を測定しなくてよいので、運転支援装置の構成を簡単化できる。

なお、本発明は上記の実施形態に限定されるものではない。例えば、注視位置検出装置は、運転中にドライバが注視した物を解析する注視物体解析装置に実装されてもよい。注視物体解析装置も、図１に示された運転支援装置の構成と同様の構成を有することができる。この場合、例えば、視線投影面は、車外撮像部４から、解析対象とする物体が位置する可能性のある位置までの距離に応じて設定される。例えば、ドライバが注視した広告看板を特定したい場合には、視線投影面は、車外撮像部４から広告看板の推定位置までの距離だけ車外撮像部４から離れた位置に、車両１０の進行方向と平行に設定されればよい。

またこの例では、注視物体解析装置は、例えば、全地球測位システム(Global Positioning System, GPS)のGPS衛星からの測位情報に基づいて、車両１０の現在位置を検出する位置検出部（図示せず）をさらに有してもよい。さらに、注視物体解析装置の記憶部は、車両１０が走行中のエリア内にある、広告看板の位置及び広告内容を表すマップ情報を記憶していてもよい。

この例では、制御部６の注視対象検出部１５は、例えば、車両１０の現在位置に基づいて、その現在位置の近傍にある広告看板に対応するテンプレートを記憶部５から読み込む。そして注視対象検出部１５は、車外画像とそのテンプレートとのテンプレートマッチングにより、車外画像上でそのテンプレートと最も一致する領域に、そのテンプレートに対応する広告看板が写っていると判定する。

また制御部６の注意判定部１６は、車外画像上で広告看板が写っていると判定された領域内にドライバの注視位置が含まれる場合、ドライバはその広告看板を見たと判定する。そして注意判定部１６は、直近の所定の期間にわたって、その期間内に取得された各車外画像においてドライバがその広告看板を見たと判定した場合、注視した広告看板の広告内容を記憶部５から読み出す。そして注意判定部１６は、マップ情報を参照して、車両１０の現在位置の周囲の所定の範囲（例えば、2km×2kmの範囲）内で、ドライバが注視した広告看板の広告内容と関連する店を検出する。例えば、ドライバが注視した広告看板の広告内容がレストランの広告であれば、注意判定部１６は、レストランを検出する。そして注意判定部１６は、車内に設置された表示部（図示せず）に車両１０の現在位置の周囲のマップとともに、検出した店の名称及び位置を示す情報を表示させる。

さらに他の変形例によれば、注視物体解析装置は、車外に設置された移動体通信システムの基地局と無線通信するための通信部（図示せず）を有し、その基地局を介して、車外の所定の場所、例えば、データセンターに設置されたサーバと通信可能であってもよい。この場合、注視物体解析装置は、車両１０の現在位置、ドライバが注視した広告看板の位置及び広告内容を表す情報を含む信号を、通信部及び基地局を介して、サーバへ送信する。サーバは、マップ情報を参照して、車両１０の現在位置の周囲の所定の範囲内で、ドライバが注視した広告看板の広告内容と関連する店を検出する。そしてサーバは、検出した店の名称及び位置を示す情報を、車両１０に設置された注視物体解析装置へ返信する。
注視物体解析装置の制御部６は、車内に設置された表示部（図示せず）に車両１０の現在位置の周囲のマップとともに、検出した店の名称及び位置を示す情報を表示させる。

さらに他の変形例によれば、制御部６は、車両１０の走行中の一定期間中に生成されたそれぞれの車外画像に対して注視位置を示すマークを付し、そのマークを付した車外画像を記憶部５に記憶させてもよい。
これにより、注視物体解析装置は、その一定期間の車外画像上の注視位置を追跡することで、ドライバの視線の動きを解析することが可能となる。

また、上記の実施形態及び変形例による制御部の各部の機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。なお、記録媒体には、搬送波は含まれない。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
車両の乗員の視線の方向を検出し、
前記車両の周囲の少なくとも一部に、前記車両の進行方向と平行でかつ前記車両から乗員が注視する物体が存在する可能性がある位置までの距離だけ前記車両から離れた位置に仮想的な面を設定し、
前記仮想的な面と前記乗員の視線との交点を求め、
前記車両の周囲の少なくとも一部の景色が写った画像上に前記交点を投影することにより得られた前記画像上の点を前記乗員の注視位置として検出する
ことをコンピュータに実行させるための注視位置検出用コンピュータプログラム。

１ 運転支援装置（注視位置検出装置）
２ 光源
３ 車内撮像部
４ 車外撮像部
５ 記憶部
６ 制御部
１１ 視線検出部
１２ 視線投影面設定部
１３ 交点算出部
１４ 投影部
１５ 注視対象検出部
１６ 注意判定部

Claims (3)

1. 車両の周囲の少なくとも一部の景色を撮影し、当該景色が写った画像を生成する撮像部と、
   前記車両の乗員の視線の方向を検出する視線検出部と、
   前記車両の周囲の少なくとも一部に、前記車両の進行方向と平行でかつ前記車両から乗員が注視する物体が存在する可能性がある位置までの距離だけ前記車両から離れた位置に仮想的な面を設定する投影面設定部と、
   前記仮想的な面と前記乗員の視線との交点を求める交点算出部と、
   前記画像上に前記交点を投影することにより得られた前記画像上の点を前記乗員の注視位置として検出する投影部と
   を有する注視位置検出装置。
2. 前記投影面設定部は、前記画像上で前記車両が走行する道路のセンターラインまたは該道路の端部を検出し、該道路のセンターラインまたは該道路の端部の位置に前記仮想的な面を設定する、請求項１に記載の注視位置検出装置。
3. 車両の周囲の少なくとも一部の景色が写った画像を取得し、
   前記車両の乗員の視線の方向を検出し、
   前記車両の周囲の少なくとも一部に、前記車両の進行方向と平行でかつ前記車両から乗員が注視する物体が存在する可能性がある位置までの距離だけ前記車両から離れた位置に仮想的な面を設定し、
   前記仮想的な面と前記乗員の視線との交点を求め、
   前記画像上に前記交点を投影することにより得られた前記画像上の点を前記乗員の注視位置として検出する
   ことを含む注視位置検出方法。

Images