JP6364627B2

JP6364627B2 - 視線方向検出装置および視線方向検出方法

Info

Publication number: JP6364627B2
Application number: JP2015544796A
Authority: JP
Inventors: 武田　英俊; 英俊武田; 木村　雅之; 雅之木村
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2013-11-01
Filing date: 2014-10-28
Publication date: 2018-08-01
Anticipated expiration: 2034-10-28
Also published as: US20160042240A1; WO2015064080A1; US9619722B2; JPWO2015064080A1

Description

本技術は、車両を運転する運転者の運転操作を支援する運転支援装置において、運転者の視線方向を検出する視線方向検出装置および視線方向検出方法に関する。

非接触で視線方向を検出する技術として、角膜反射法が知られている。角膜反射法は、カメラで撮影した目の画像から、ＬＥＤなどの近赤外の光を角膜に照射することにより形成される反射像（プルキニエ像）と、瞳孔との位置関係を測定することにより視線方向を検出する。角膜反射法では、測定を行う前に、キャリブレーションと呼ばれる、被測定者個人に合わせた補正係数を求め、個人差に起因する誤差を小さくすることが行われる。

特許文献１は、機器の動作中の視線情報に基づいて、記憶手段内のパラメータを更新する更新手段を設け、視線情報の算出に用いるパラメータを機器の動作中に更新する技術が開示されている。

特開平７−１５１９５８号公報

本技術にかかる視線方向検出装置は、所定期間運転者の視線を検出する検出部と、検出部が検出した第１の視線情報から、運転者が注視している第２の視線情報を出力する判定部と、判定部が出力する第２の視線情報から視線分布を作成する生成部とを有する。さらに、検出部が検出した第１の視線情報を補正する補正部を備える。補正部は、あらかじめ設定される基準分布の中心と生成部が作成した視線分布の中心を算出し、基準分布の中心と視線分布の中心を重ね合わせた後、基準分布と視線分布の差から補正パラメータを算出し、検出部で検出された第１の視線情報を補正パラメータで補正する。

図１は、本技術の一実施の形態による視線方向検出装置の構成例を示すブロック図である。図２は、本技術の一実施の形態による視線方向検出装置において、撮像部の設置例を示す説明図である。図３は、本技術の一実施の形態による視線方向検出装置において、撮像部の構成例を示す説明図である。図４は、本技術の一実施の形態による視線方向検出装置において、視線位置の検出方法の一例を説明する説明図である。図５は、本技術の一実施の形態による視線方向検出装置において、検出される視線分布の一例を示す説明図である。図６は、本技術の一実施の形態による視線方向検出装置において、検出される視線分布の一例を示す説明図である。図７は、本技術の一実施の形態による視線方向検出装置において、基準分布の一例を示す説明図である。図８は、本技術の一実施の形態による視線方向検出装置において、視線分布の中心点の一例を示す説明図である。図９は、本技術の一実施の形態による視線方向検出装置において、視線分布と基準分布を重ねた状態を示す説明図である。図１０は、本技術の一実施の形態による視線方向検出装置において、補正部の動作を説明するための説明図である。図１１は、本技術の一実施の形態による視線方向検出装置において、検出時の領域を分割した一例を示す説明図である。

以下、本技術の一実施の形態による視線方向検出装置について、運転者の運転操作を支援する運転支援装置に活用した場合を例にとって、適宜図面を参照しながら説明する。

ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、出願人は、当業者が本技術を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

図１は、本技術の一実施の形態による視線方向検出装置の構成例を示すブロック図である。図２は、本技術の一実施の形態による視線方向検出装置において、撮像部の設置例を示す説明図である。図３は、図２に示す撮像部の構成例を示す説明図である。

図１に示すように、視線方向検出装置１００は、撮像部１１０、検出部１２０、判定部１３０、生成部１４０、算出部１５０、補正部１６０、メモリ１７０を備える。

撮像部１１０は、図２に示すように、車両のステアリングコラム２００の上部に設置され、運転者の顔を撮像する。撮像部１１０は、例えば画角Ａの赤外線カメラであり、照射された近赤外光に反射した反射光を受光することにより、運転者の顔を撮像する。撮像部１１０は、撮像した画像による画像信号を検出信号として検出部１２０に出力する。なお、撮像部１１０は、ダッシュボードやメーター内部などのように、運転者の顔ができるだけ正面に近い方向から撮影できる場所であれば、どこに設置してもよい。

また、撮像部１１０は、図３に示すように、所定の距離、例えば３ｃｍの間隔をあけて配置した２台のカメラ３１０の間に、照明として使用するＬＥＤなどの近赤外の光源３２０を備えたステレオカメラである。撮像部１１０は、例えば、毎秒３０枚撮影して検出部１２０に画像信号を出力する。なお、撮像部１１０の構成としては、図３の構成に限定するものではなく、ＬＥＤによる光源３２０を各カメラ３１０の外側に設置してもよい。

次に、検出部１２０は、撮像部１１０より出力される検出信号を用いて、視線方向（角度）や視点位置などの視線情報（第１の視線情報）を検出する。視線情報は、判定部１３０と補正部１６０に出力される。検出部１２０は、例えば、角膜反射法を用いて、視線方向を検出する。また、検出部１２０は、ステレオカメラである撮像部１１０が撮像した２枚の画像から、視点の視差を求めることで、視点の３次元位置を求める。

判定部１３０は、所定のフレーム数の期間、または０．３秒の期間などの所定の期間において、検出部１２０から出力される第１の視線情報より、運転者が概ね同じ方向を継続して向いている（注視している）かどうかを判定する。判定部１３０は、検出部１２０から出力される第１の視線情報のうち、運転者が注視していると判定された第２の視線情報のみが選択されて生成部１４０に出力される。言い換えると、判定部１３０は、移動中と思われる視線情報は出力しない動作を行う。なお、出力される第２の視線情報は、所定の期間分の全ての視線情報でもよいし、所定の期間分のうちの少なくとも１つの視線情報を選択して出力してもよい。

生成部１４０は、判定部１３０より出力された第２の視線情報をメモリ１７０に所定の期間に渡って蓄積し、第２の視線情報から得られた視線分布を生成する。所定の期間は、例えば、５分間とすればよいが、これに限定するものではなく、所定数の視線情報が蓄積されるまでの期間、例えば、３０００秒など、視線分布を生成するために十分な数の視線情報が蓄積できる期間であればよい。

図４は、視線位置の検出方法の一例を説明する説明図で、生成部１４０の蓄積動作を説明するための図である。

図４に示すように、座席から３ｍ程度前方の位置に仮想平面Ｑを設ける。判定部１３０より出力された視線情報に含まれる視線方向（α度）と、視点位置Ｒとを用いて、仮想平面Ｑ上の注視点Ｐを求め、メモリ１７０に蓄積する。注視点Ｐは、視点位置Ｒから視線方向に直線を引いたときに仮想平面Ｑと交わる点である。このようにして注視点Ｐを求めることで、視点位置、または顔の位置が動いた場合でも同一の仮想平面Ｑ上の注視点Ｐとして蓄積することが可能となる。なお、図４においては、仮想平面Ｑを設けたが、仮想球面を設けても構わない。また、仮想平面Ｑは運転者より３ｍ程度前方に設けたが、これに限定するものではない。

生成部１４０は、メモリ１７０に蓄積した複数の注視点より視線分布を生成し、算出部１５０に出力する。なお、生成部１４０は、視線分布を算出部１５０に出力せず、メモリ１７０に記憶させ、メモリ１７０上の視線分布の記憶領域を示す情報を算出部１５０に出力してもよい。

図５は、本技術の一実施の形態による視線方向検出装置において、検出される視線分布の一例を示す説明図である。図５は、１つの注視点Ｐを１つの丸として、仮想平面Ｑ上に表示している。なお、視線分布は、仮想平面Ｑ上の位置で考えてもよいし、仮想平面Ｑ上の位置から水平方向、垂直方向それぞれの方向に、例えば１°傾いた平面で考えてもいい。

算出部１５０は、生成部１４０が生成した視線分布と、メモリ１７０に記録されている規定方向のあらかじめ設定される基準分布のデータより、補正パラメータを算出し、補正部１６０に出力する。算出部１５０の動作については、後述する。

補正部１６０は、検出部１２０より出力される第１の視線情報を、算出部１５０から出力される補正パラメータを用いて補正し、運転者の視線方向として出力する。補正部１６０は、あらかじめ設定される基準分布と生成部１４０が作成した視線分布とから補正パラメータを算出し、第１の視線情報を補正パラメータで補正するものである。補正部１６０の動作については、後述する。

以下、算出部１５０の動作について、詳細に説明する。

まず、規定方向データについて説明する。規定方向データは、搭載された車ごとに、正面以外に運転者がよく見る可能性がある方向とその領域の大きさを示す値で表される。

図６は、視線方向検出装置において、検出される視線分布の一例を示す説明図である。図６は、運転者から見た前方の車内の概略を示している。図６に示すように、正面６３０以外に運転者がよく見る可能性がある方向としては、左ドアミラー６１０、右ドアミラー６６０、ルームミラー６２０、各種メーター６５０、カーナビゲーション６４０、オーディオの画面（図示せず）などが考えられる。算出部１５０は、規定方向データをもとに、座席から３ｍ先の仮想平面もしくは仮想球面上に、視線が集中する可能性の高い領域を設定した基準分布を生成する。

図７は、視線方向検出装置において、基準分布の一例を示す説明図である。図７に示すように、基準分布は、左ドアミラー６１０を囲む領域７１０、右ドアミラー６６０を囲む領域７６０、ルームミラー６２０を囲む領域７２０、正面６３０の領域７３０、カーナビゲーション６４０を囲む領域７４０、メーター６５０を囲む領域７５０で構成されている。また、図７において、点Ａは正面領域７４０の中心を示す。なお、基準分布は予め生成して、メモリ１７０に記憶していてもよい。

算出部１５０は、生成部１４０が生成した視線分布において、正面と思われる部分の分布の中心を求めておく。

図５の視線分布の場合は、図８に示すように、中心は点Ｂとなる。図８は、視線方向検出装置において、視線分布の中心点の一例を示す説明図である。図８において、点Ｂは、例えば判定部から出力された視線情報のうち、上下左右に２０度の範囲に含まれるものの平均を計算するなどの方法によって求めることができる。

算出部１５０は、視線分布が基準分布に重なるように、視線分布を並行移動、拡大・縮小、回転などのうち、少なくとも１つ以上の変換を行う。

図９は、視線方向検出装置において、図５に示す視線分布と、図７に示す基準分布を重ねた状態を示す説明図である。算出部１５０は、図９に示すように、視線分布と基準分布が、概ね一致できた場合の視線分布の平行移動量（水平、垂直）、拡大・縮小率、回転角などを補正パラメータとして算出する。図９の場合は、視線分布を下方向と右方向に移動させることにより、視線分布と基準分布を概ね重ねることができる。補正パラメータは、視線分布の基準分布に対する差を算出することにより得られる。また、補正パラメータは、視線分布と基準分布とを比較した際に、基準分布に対する視線分布の水平方向の平行移動量、垂直方向の平行移動量、拡大率、縮小率、および回転角の中から選ばれる少なくとも１つのパラメータより算出される。

次に、図５に示す視線分布と図７に示す基準分布とにおいて、重なりを判定する方法の一例として、相関値を用いた例を説明する。例えば、１つの注視点の値を１とし、注視点が基準分布の領域内に入る（重なる）場合には１、重ならない場合には０とし、全体の数を計測し、その合計が最も大きくなる時の変換方法を、補正パラメータとする。

ここで、拡大・縮小や回転を行う場合には、予め求めている正面と思われる部分の分布の中心を、拡大・縮小の中心、または回転の中心として使用する。本実施の形態においては、生成部１４０が生成した視線分布にける正面領域の中心点Ｂが中心に相当する。中心点Ｂを、図７に示す基準分布の正面領域７３０の中心点Ａを重ね合わせた後、視線分布に拡大・縮小、回転などの変換処理を行って、視線分布が基準分布に概ね重なるための変換処理を特定する。なお、拡大・縮小は、上下左右の４方向や、水平・垂直の２方向で異なる比率で行っても良い。また、拡大・縮小率、回転角は、方向別に複数設定されても構わない。

このように、分布全体を使用することによって、例えば、ナビゲーションを使用せずに運転しているなど、一部の注視点にあまり視線が向かない状態においても、規定方向に対する補正パラメータを求めることができる。

図１０は、補正部の動作を説明するための説明図である。上記実施の形態では、正面を中心に上下左右の分割で拡大・縮小率を求めたが、これに限定するものではない。例えば、図１０に示すように、中心からの方向で各領域を分割し、拡大・縮小率、回転角を求めてもよい。

以下、補正部１６０の動作について、図１１を用いて詳細に説明する。

図１１は、本技術による視線方向検出装置において、検出時の領域を分割した一例を示す説明図で、補正部１６０の動作を説明する図である。

まず、補正部１６０は、生成部１４０部と同様に、検出部１２０より入力される視線方向と視点位置をもとに仮想平面Ｑとの交点として注視点Ｃを求める。

次に、補正部１６０は、算出部１５０より、補正パラメータとして入力される移動量、拡大・縮小率、回転角などをもとにこの注視点Ｃを注視点Ｄに移動することで補正を行う。さらに、予め定めてある基準視点位置Ｅから、この注視点Ｄを通る直線を求め、この直線の基準視点位置からの向き（角度）を補正後の視線方向として出力する。この時、前述の正面付近の分布の中心の方向を基準として使用し、この基準方向から上下左右のどちらの方向かで、補正パラメータを使い分けることもできる。このような補正を行った視線方向によって、運転者が実際に見ている方向を得ることができる。

以上のように、本実施の形態において、検出部１２０が運転者の視線情報を検出し、判定部１３０は、運転者が注視している視線情報であるかを判定し、生成部１４０は、判定部が出力する視線情報から視線分布を作成し、算出部１５０は、生成部が作成した視線分布と基準分布との差より補正パラメータを算出し、補正部１６０は、検出部が検出した視線情報を補正パラメータで補正する。

これにより、予めキャリブレーションを行わなくても、個人差の影響を受けにくい視線方向の検出が可能となる。また、オーディオやナビゲーション機器を操作しない場合でも、個人差の影響を受けにくい視線方向の検出が可能になる。

（他の実施の形態）
以上のように、本技術における実装の例示として、実施の形態１を説明した。しかしながら、本技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

なお、停止直前の補正パラメータを不揮発性のメモリに記録しておき、次に、運転者が運転を行う場合に、使用してもよい。この場合、例えば、座席やハンドル、ミラーなどの調整が行われたかどうかで、停止直前の運転者と同じ運転者であるかを判断してもよい。また、撮像部１１０が撮像した画像を使用し、虹彩や顔画像による認証を行うことで判断してもよい。このようにすることで、運転者が変わらなかった場合に、発進直後から精度の高い視線方向の検出が可能となる。

また、運転者が複数いる場合は、運転者毎の補正パラメータをメモリに記録しておき、運転席に座った人に合わせた補正パラメータを選択、使用することも可能である。運転者の判断は、例えば、上述した、撮像部１１０が撮像した画像を使用し、虹彩や顔画像による認証によって行うことができる。

以上のように、添付図面および詳細な説明によって、出願人がベストモードと考える実施の形態と他の実施の形態とを提供した。これらは、特定の実施の形態を参照することにより、当業者に対して、特許請求の範囲に記載の主題を例証するために提供されるものである。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、それ以外の構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されているからといって、直ちにそれらの必須ではない構成要素が必須であるとの認定を受けるべきではない。また、特許請求の範囲またはその均等の範囲において、上述の実施の形態に対して、種々の変更、置き換え、付加、省略などを行うことができる。

本技術は、運転者の視線方向検出装置に適用可能である。また、運転者の運転状態（漫然状態であるか否か）を推定、安全確認が不十分なことの検出、視線の方向から考えて気付いていないと予想される危険物の警告などを行う運転状態監視装置、運転支援装置における視線方向の検出に適用可能である。

１００視線方向検出装置
１１０撮像部
１２０検出部
１３０判定部
１４０生成部
１５０算出部
１６０補正部
１７０メモリ
２００ステアリングコラム
３１０カメラ
３２０光源
６１０左ドアミラー
６２０ルームミラー
６３０正面
６４０カーナビゲーション
６５０メーター
６６０右ドアミラー
７１０，７２０，７３０，７４０，７５０，７６０領域

Claims

所定期間運転者の視線を検出する検出部と、前記検出部が検出した第１の視線情報から、運転者が注視している第２の視線情報を出力する判定部と、前記判定部が出力する第２の視線情報から視線分布を作成する生成部と、前記検出部が検出した第１の視線情報を補正する補正部とを備え、
前記補正部は、あらかじめ設定される基準分布の中心と前記生成部が作成した視線分布の中心を算出し、前記基準分布の中心と前記視線分布の中心を重ね合わせた後、前記基準分布と前記視線分布の差から補正パラメータを算出し、前記第１の視線情報を補正パラメータで補正する
視線方向検出装置。
前記補正パラメータは、視線分布と基準分布とを比較した際に、基準分布に対する視線分布の水平方向の平行移動量、垂直方向の平行移動量、拡大率、縮小率、および回転角の中から選ばれる少なくとも１つのパラメータより算出されるものである請求項１記載の視線方向検出装置。
検出部で検出される所定期間の運転者の第１の視線情報から、運転者が注視している第２の視線情報を出力し、前記第２の視線情報から視線分布を作成する生成部と、前記検出部で検出された第１の視線情報を補正する補正部とを備えた視線方向検出方法であって、
前記補正部が検出部で検出された第１の視線情報を補正するとき、あらかじめ設定される基準分布の中心と生成部が作成した視線分布の中心を重ね合わせた後、前記基準分布と前記視線分布の差から補正パラメータを算出し、その補正パラメータで第１の視線情報を補正する
視線方向検出方法。
前記補正パラメータは、視線分布の基準分布に対する差を算出することにより得られるものである請求項３記載の視線方向検出方法。
前記補正パラメータは、視線分布と基準分布とを比較した際に、基準分布に対する視線分布の水平方向の平行移動量、垂直方向の平行移動量、拡大率、縮小率、および回転角の中から選ばれる少なくとも１つのパラメータより算出されるものである請求項３記載の視線方向検出方法。