JP7518021B2 - 較正装置及び較正方法 - Google Patents

Description

本発明は、較正装置及び較正方法に関する。

車両の乗員に対して適切なサービスを提供したり、乗員の動作を記録したりするために、乗員の視線を検出するための視線検出装置が車両に搭載されることがある。視線検出装置は、人の顔の画像に基づいてその人の視線を検出する。視線検出の精度を向上するための方法として、特許文献１には、視線の検出結果を較正（キャリブレーション）する技術が記載されている。

特開２０１７－１２９８９８号公報

車両の乗員（特に運転者）は、車両の速度に応じて、異なる特性で視線を動かす。そのため、視線検出処理の較正もそれぞれの特性に従って行うことになる。また、乗員がサングラスを着用している場合など、乗員の瞳を検出できない場合もある。較正を適切に行うことが視線検出の精度の向上につながる。本発明の一部の側面は、視線検出の精度を向上するための技術を提供することを目的とする。

上記課題に鑑みて、ユーザの視線検出処理を較正する較正装置であって、前記ユーザの瞳を検出可能かどうかを判定する判定手段と、複数の位置のそれぞれを見るように前記ユーザに指示する指示手段と、前記複数の位置のそれぞれについて、各位置を見ている前記ユーザの顔の画像を取得する取得手段と、前記ユーザの顔の画像に基づいて、視線検出処理を較正する較正手段と、を備え、前記較正装置は、前記指示手段が、前記複数の位置のそれぞれを、顔を動かして見るように指示し、前記較正手段が、当該指示に応じて個別の位置を見ている前記ユーザの顔の画像に基づいて前記視線検出処理を較正する第１較正処理と、前記指示手段が、前記複数の位置のそれぞれを、顔を動かさずに見るように指示し、前記較正手段が、当該指示に応じて個別の位置を見ている前記ユーザの顔の画像に基づいて前記視線検出処理を較正する第２較正処理と、を実行可能であり、前記較正装置は、前記判定手段によって前記ユーザの瞳を検出可能であると判定された場合に、前記第１較正処理と前記第２較正処理との両方を実行し、前記判定手段によって前記ユーザの瞳を検出可能でないと判定された場合に、前記第１較正処理を実行し、前記第２較正処理を実行しない、較正装置が提供される。

上記手段により、視線検出の精度が向上する。

本開示の一部の実施形態の車両の構成例を説明する模式図。 本開示の一部の実施形態のドライブレコーダの構成例を説明するブロック図。 本開示の一部の実施形態の車室内の画像例を説明する図。 本開示の一部の実施形態のドライブレコーダの動作例を説明するフロー図。 本開示の一部の実施形態のドライブレコーダの動作例を説明するフロー図。 本開示の一部の実施形態の運転者の視線の動きを説明する模式図。 本開示の一部の実施形態のドライブレコーダの動作例を説明するフロー図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。

本発明の一部の実施形態は、車両のユーザの視線を検出するための視線検出装置に関する。視線検出装置は、ユーザの顔の画像に基づいて視線検出処理を較正する較正装置としても機能する。以下の説明では、ユーザが車両の乗員である実施形態について説明する。すなわち、視線検出及び構成は、車内において行われる。しかし、以下の実施形態は、他の環境における視線検出及び構成にも適用可能である。車両は、典型的には四輪車である。しかし、以下の実施形態は、他のタイプの車両に適用されてもよい。車両の乗員は、典型的には車両の運転者である。しかし、以下の実施形態は、運転者以外の乗員、例えば助手席に乗車している乗員に適用されてもよい。以下の説明では、車両の乗員として運転者の視線検出を行う場合について説明する。

図１を参照して、視線検出装置の取り付け位置の例について説明する。車両１００に、ドライブレコーダ１０１が取り付けられている。図１の例で、ドライブレコーダ１０１は、車両１００のルームミラーに取り付けられている。ドライブレコーダ１０１の取り付け位置はこれに限られず、車両１００の乗員の顔を撮影可能な任意の位置であってもよい。ドライブレコーダ１０１が視線検出装置として機能する。

ドライブレコーダ１０１は、単体として動作可能であってもよいし、車両１００の制御装置（例えば、制御ＥＣＵ（Electronic Control Unit）１０２）と連携して動作可能であってもよい。ドライブレコーダ１０１が単体として動作可能である場合に、ドライブレコーダ１０１は車両１００から電力の供給を受けてもよい。

図２を参照して、ドライブレコーダ１０１の構成例について説明する。ドライブレコーダ１０１は、プロセッサ２０１と、記憶装置２０２と、前方用カメラ２０３と、車内用カメラ２０４と、入力装置２０５と、出力装置２０６と、通信装置２０７とを備える。

プロセッサ２０１は、ドライブレコーダ１０１全体の動作を制御する。プロセッサ２０１は、例えばＣＰＵ（Central Processing Unit）によって実現されてもよい。記憶装置２０２は、ドライブレコーダ１０１の動作に関連するデータを記憶する。例えば、記憶装置２０２は、ドライブレコーダ１０１の動作を規定したプログラム、このプログラムの実行時の一時データ、前方用カメラ２０３及び車内用カメラ２０４で撮影された画像、運転者の視線検出の結果などを記憶してもよい。記憶装置２０２は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリによって実現されてもよい。さらに、記憶装置２０２は、ＳＳＤ（Solid State Drive）などの補助記憶装置を含んでもよい。

前方用カメラ２０３は、車両１００の前方の風景を撮影するためのカメラである。前方用カメラ２０３は、例えば広角カメラであってもよい。前方用カメラ２０３は、ドライブレコーダ１０１の前側（車両１００前方側）に位置する。車内用カメラ２０４は、車両１００の車室内の風景を撮影するためのカメラである。車内用カメラ２０４は、例えば魚眼カメラであってもよい。車内用カメラ２０４は、ドライブレコーダ１０１の後側（車両１００後方側）に位置する。

入力装置２０５は、車両１００の乗員からの指示を入力するための装置である。入力装置２０５は、例えばボタンやタッチパネルなどで実現される。出力装置２０６は、車両１００の乗員に向けて情報を出力するための装置である。出力装置２０６は、視覚情報を提供する表示装置（例えば、液晶ディスプレイやインジケータ）であってもよいし、聴覚情報を提供する音響装置（例えば、スピーカ）であってもよいし、これらの両方を含んでもよい。ドライブレコーダ１０１が出力装置２０６を有する代わりに、又はこれに加えて、ドライブレコーダ１０１は、車両１００に対して情報の出力を指示してもよい。指示を受けた車両１００は、自身の出力装置（不図示）から乗員に向けて情報を出力する。

通信装置２０７は、ドライブレコーダ１０１が他の装置（例えば、制御ＥＣＵ１０２）と通信するための装置である。通信装置２０７は、他の装置と有線で通信してもよいし、他の装置と無線で通信してもよい。無線通信は、短距離通信（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標））などのプロトコルに準拠した通信であってもよい。通信装置２０７は省略可能であってもよい。

図３（Ａ）は、ドライブレコーダ１０１の車内用カメラ２０４で撮影された画像３００の一例を示す。画像３００には、車両１００の車室内が写っており、具体的に、運転者３０１が写っている。この実施例では車両１００が右ハンドルであるため、運転者３０１は画像３００の左側に位置する。車両１００が左ハンドルであるならばその逆となる。図３（Ｂ）は、ドライブレコーダ１０１の車内用カメラ２０４で撮影された画像３１０の別の例を示す。画像３１０は、運転者３０１がサングラス３１１を着用している点で画像３００とは異なる。

続いて、ドライブレコーダ１０１が実行する視線検出処理について説明する。視線検出処理とは、運転者の視線（どこを見ているか）を検出する処理のことである。視線検出処理は、車内用カメラ２０４によって撮影された運転者の顔の画像を解析することによって行われる。

一般的に、車両の運転者は、車両が停止中であれば、顔を動かして対象物に視線を向け、車両が走行中であれば、顔をなるべく動かさずに（顔を正面に向けたまま）瞳だけを動かして対象物に視線を向ける傾向がある。そこで、ドライブレコーダ１０１は、車両１００の速度を考慮に入れて視線検出処理を行う。例えば、ドライブレコーダ１０１は、車両１００の速度がゼロの場合に、顔の方向を優先して視線検出処理を行う。このように、顔の方向を優先する視線検出処理を、以下では顔優先処理と呼ぶ。ドライブレコーダ１０１は、車両１００の速度が非ゼロの場合に、瞳の方向を優先して視線検出処理を行う。このように、瞳の方向を優先する視線検出処理を、以下では瞳優先処理と呼ぶ。瞳とは、虹彩のことであってもよいし、瞳孔のことであってもよいし、虹彩と瞳孔とを合わせたものであってもよい。

ドライブレコーダ１０１は、顔優先処理及び瞳優先処理を既存の手法と同様の手法で行ってもよい。例えば、ドライブレコーダ１０１は、これらの処理を以下のように実行してもよい。一部の実施形態において、顔優先処理を実行するために、ドライブレコーダ１０１は、画像に含まれる運転者の顔の輪郭における各パーツ（目、鼻、口など）の位置に基づいて運転者の視線を検出する。顔優先処理では、瞳の位置を考慮しなくてもよいし、瞳の位置に基づく視線に低い重みを割り当ててもよい。瞳優先処理を実行するために、ドライブレコーダ１０１は、画像に含まれる運転者の目における瞳の位置に基づいて運転者の視線を検出する。瞳優先処理では、顔の方向を考慮しなくてもよいし、顔の方向に基づく視線に低い重みを割り当ててもよい。

別の実施形態において、ドライブレコーダ１０１は、機械学習によって得られたモデルに基づいて顔優先処理及び瞳優先処理を行ってもよい。例えば、ドライブレコーダ１０１の記憶装置２０２に、運転者が顔を動かして対象物に視線を向けたことによって得られた運転者の画像を教師データとして学習したモデル（以下、顔優先モデルと呼ぶ）と、運転者が顔をできるだけ動かさずに瞳のみを動かして対象物に視線を向けたことによって得られた運転者の画像を教師データとして学習したモデル（以下、瞳優先モデルと呼ぶ）と、の２つのモデルのＤＮＮ（Deep Neural Network）モデルが記憶されていてもよい。顔優先処理を実行するために、ドライブレコーダ１０１は、取得された運転者の画像を顔優先モデルに適用することによって運転者の視線を検出する。瞳優先処理を実行するために、ドライブレコーダ１０１は、取得された運転者の画像を瞳優先モデルに適用することによって運転者の視線を検出する。

ドライブレコーダ１０１は、車両１００の速度に基づいて、顔優先処理と瞳優先処理とを択一的に選択してもよい。例えば、ドライブレコーダ１０１は、車両１００の速度がゼロの場合に顔優先処理を実行し、車両１００の速度が非ゼロの場合に瞳優先処理を実行してもよい。これにかえて、ドライブレコーダ１０１は、車両１００の速度の関数として得られる重みを使用して顔優先処理の結果と瞳優先処理の結果とに重みづけを行うことによって、視線を検出してもよい。ドライブレコーダ１０１は、車両１００の速度を前方用カメラ２０３又は車内用カメラ２０４による画像に基づいて決定してもよいし、車両１００から取得してもよい。

ドライブレコーダ１０１は、視線検出の精度を向上するために、視線検出処理の較正（キャリブレーション）を行う。較正とは、ドライブレコーダ１０１によって認識される視線と、実際の視線との誤差を軽減するために、視線検出処理のパラメータを調整する処理のことである。具体的に、ドライブレコーダ１０１は、運転者に特定の較正位置（例えば、正面やフロントウィンドウの隅）を見るように指示し、較正位置と、較正位置を見ている運転者の顔の画像とを対応付ける。較正位置とは、較正を行うために運転者に対して見ることを指示する位置のことである。ドライブレコーダ１０１は、顔優先処理と瞳優先処理とのそれぞれについて個別に較正を行う。顔優先処理と瞳優先処理とは、どちらが先に実行されてもよい。

図４を参照して、顔優先処理の較正方法について説明する。図４の動作は、ドライブレコーダ１０１のプロセッサ２０１が記憶装置２０２（具体的にはメモリ）に読み出されたプログラムを実行することによって行われてもよい。これにかえて、図４の動作の一部又は全部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）のような専用回路によって実行されてもよい。図４の動作は、運転者から較正開始の指示を受けたことに応じて開始されてもよい。較正は、安全確保のために、車両が停止中に行われる。

ステップＳ４０１で、プロセッサ２０１は、運転中の姿勢を取ることを運転者に指示する。この指示は、例えば出力装置２０６（例えば、スピーカー）によって乗員に出力される。以下、運転者への指示は同様に出力されてもよい。運転中の姿勢とは、例えば運転中と同様にシートに座り、ハンドルを把持した姿勢である。このような姿勢を運転者に取らせるための指示として、プロセッサ２０１は、例えば「ハンドルを両手で握って、運転姿勢をとってください。」のような通知を運転者へ向けて行ってもよい。この通知は、音声で行われてもよいし、ディスプレイ上への表示によって行われてもよい。

ステップＳ４０２で、プロセッサ２０１は、事前に設定された複数の較正位置のうち、未処理の１つを選択する。例えば、事前に設定された複数の較正位置は、運転者の正面と、フロントウィンドウの四隅とを含む。複数の較正位置は、これらの一部を含まなくてもよいし、他の位置を含んでもよい。この複数の較正位置の設定は、記憶装置２０２に事前に記憶されている。未処理の較正位置とは、後述するステップＳ４０３及びＳ４０４の処理が行われていない較正位置のことである。

ステップＳ４０３で、プロセッサ２０１は、選択された１つの較正位置（例えば、フロントウィンドウの右上）を、顔を動かして見るように運転者に指示する。その後、プロセッサ２０１は、運転者が視線の移動に要すると考えられる所定の時間待機する。これにかえて、プロセッサ２０１は、車内用カメラ２０４からの画像に基づいて、運転者の顔の方向が移動を開始し、その後停止したことを判定してもよい。顔を動かして較正位置を見ることの指示は、例えば「顔を動かしてフロントウィンドウの右上を見てください。」のように、顔を動かすことの指示を明示的に含んでもよい。これにかえて、顔を動かして較正位置を見ることの指示は、例えば「フロントウィンドウの右上を自然に見てください。」のように、顔を動かすことの指示を暗黙的に含んでもよい。このステップの実行時に車両は停止中である。そのため、運転者は、自然に見ることを指示されれば、顔を動かして較正位置を見ると考えられる。

ステップＳ４０４で、プロセッサ２０１は、車内用カメラ２０４によって撮影された運転者の画像を取得する。この画像は、指示された較正位置を見ている運転者の顔を含む。その後、プロセッサ２０１は、取得した画像を、選択中の較正位置に関連付けて記憶装置２０２に記憶する。

ステップＳ４０５で、プロセッサ２０１は、事前に設定されている複数の較正位置に未処理の較正位置が残っているかどうかを判定する。プロセッサ２０１は、未処理の較正位置が残っている場合（ステップＳ４０５で「ＹＥＳ」）に、処理をステップＳ４０２に戻し、ステップＳ４０２～Ｓ４０５を繰り返す。プロセッサ２０１は、未処理の較正位置が残っていない場合（ステップＳ４０５で「ＮＯ」）に、処理をステップＳ４０６に遷移する。

ステップＳ４０６で、プロセッサ２０１は、複数の較正位置に関連して記憶装置２０２に記憶されている運転者の顔の画像に基づいて、顔優先処理を較正する。例えば、プロセッサ２０１は、画像間の顔の向きの移動量（移動角度）と、較正位置間の距離とに基づいて、顔の向きの移動量に対する視線の移動距離の比率を調整してもよい。顔優先処理を機械学習で行う場合に、プロセッサ２０１は、例えば以下のように較正を行う。まず、ＤＮＮのモデルとして、ＤＮＮの出力を補正できる入力パラメータを有するモデルを選択する。プロセッサ２０１は、較正時に、ＤＮＮの出力と、実際の較正位置との誤差が最小となるように、このパラメータを調整する。較正位置間の距離は車種によって異なりうるため、記憶装置２０２に事前に記憶されていてもよい。

図５を参照して、瞳優先処理の較正方法について説明する。図５の動作は、ドライブレコーダ１０１のプロセッサ２０１が記憶装置２０２（具体的にはメモリ）に読み出されたプログラムを実行することによって行われてもよい。これにかえて、図５の動作の一部又は全部は、ＡＳＩＣやＦＰＧＡのような専用回路によって実行されてもよい。図５の動作は、運転者から較正開始の指示を受けたことに応じて開始されてもよい。較正は、安全確保のために、車両が停止中に行われる。

ステップＳ５０１で、プロセッサ２０１は、運転中の姿勢を取ることを運転者に指示する。ステップＳ５０１は、ステップＳ４０１と同様であってもよい。

ステップＳ５０２で、プロセッサ２０１は、事前に設定された複数の較正位置のうち、未処理の１つを選択する。ステップＳ５０２は、ステップＳ４０２と同様であってもよい。瞳優先処理の較正における複数の較正位置と、顔優先処理の較正における複数の較正位置とは、同じであってもよいし、異なっていてもよい。

ステップＳ５０３で、プロセッサ２０１は、選択された１つの較正位置（例えば、フロントウィンドウの右上）を、顔を動かさずに見るように運転者に指示する。その後、プロセッサ２０１は、運転者が視線の移動に要すると考えられる所定の時間待機する。これにかえて、プロセッサ２０１は、車内用カメラ２０４からの画像に基づいて、運転者の瞳の位置が移動を開始し、その後停止したことを判定してもよい。顔を動かさずに較正位置を見ることの指示は、例えば「顔を動かさずにフロントウィンドウの右上を見てください。」のように、顔を動かさないことの指示を明示的に含んでもよい。これにかえて、顔を動かさずに較正位置を見ることの指示は、例えば「フロントウィンドウの右上を眼だけで見てください。」のように、顔を動かさないことの指示を暗黙的に含んでもよい。

ステップＳ５０４で、プロセッサ２０１は、車内用カメラ２０４によって撮影された運転者の画像を取得する。この画像は、較正位置を見ている運転者の顔（特に、瞳）を含む。その後、プロセッサ２０１は、取得した画像を、選択中の較正位置に関連付けて記憶装置２０２に記憶する。

ステップＳ５０５で、プロセッサ２０１は、事前に設定されている複数の較正位置に未処理の較正位置が残っているかどうかを判定する。プロセッサ２０１は、未処理の較正位置が残っている場合（ステップＳ５０５で「ＹＥＳ」）に、処理をステップＳ５０２に戻し、ステップＳ５０２～Ｓ５０５を繰り返す。プロセッサ２０１は、未処理の較正位置が残っていない場合（ステップＳ５０５で「ＮＯ」）に、処理をステップＳ５０６に遷移する。

ステップＳ５０６で、プロセッサ２０１は、複数の較正位置に関連して記憶装置２０２に記憶されている運転者の顔の画像に基づいて、瞳優先処理を較正する。例えば、プロセッサ２０１は、画像間の瞳の移動量（移動角度）と、較正位置間の距離とに基づいて、瞳の移動量に対する視線の移動距離の比率を調整してもよい。瞳優先処理を機械学習で行う場合に、プロセッサ２０１は、上述の顔優先処理の較正と同様に瞳優先処理の較正を行ってもよい。

図６を参照して、較正位置について説明する。視界６００は、運転者の視界を示す。視界６００は、フロントウィンドウ６０１やハンドルなどのような、車両１００の車室前方の部品を含む。図６の例において、複数の較正位置は、運転者の正面にある位置６０２と、フロントウィンドウ６０１の四隅にある位置６０３～６０６を含む。位置６０３～６０６はいずれも運転者の正面にない。複数の較正位置を選択する順番は任意でよい。以下では、位置６０２～６０６の順に、ステップ５０２で較正位置が選択されるとする。この例では、運転者の正面にある位置６０２が最初に選択されるが、位置６０２は途中で選択されてもよい。

図５の瞳優先処理の較正方法では、瞳の位置に基づいて視線検出処理が較正される。しかし、図３（Ｂ）のように、運転者がサングラス３１１を着用していると、ドライブレコーダ１０１は、運転者の瞳を検出できない。このような場合に図５の瞳優先処理の較正方法を実行したとしても、適切に較正を行うことができない。そこで、一部の実施形態において、ドライブレコーダ１０１は、運転者の瞳を検出可能であると判定された場合に、顔優先処理のための較正処理と、瞳優先処理のための較正処理との両方を実行する。一方、ドライブレコーダ１０１は、運転者の瞳を検出可能でないと判定された場合に、顔優先処理のための較正処理を実行し、瞳優先処理のための較正処理を実行しない。上述のように、顔優先処理のための較正処理は、図４で説明したように、プロセッサ２０１が、複数の較正位置のそれぞれを、顔を動かして見るように指示し、当該指示に応じて個別の位置を見ている運転者の顔の画像に基づいて視線検出処理を較正することを含む。瞳優先処理のための較正処理は、図５で説明したように、プロセッサ２０１が、複数の較正位置のそれぞれを、顔を動かさずに見るように指示し、当該指示に応じて個別の位置を見ている運転者の顔の画像に基づいて視線検出処理を較正することを含む。

図７を参照して、どのような視線検出処理のための較正処理を実行するかの動作について説明する。図７の動作は、ドライブレコーダ１０１のプロセッサ２０１が記憶装置２０２（具体的にはメモリ）に読み出されたプログラムを実行することによって行われてもよい。これにかえて、図５の動作の一部又は全部は、ＡＳＩＣやＦＰＧＡのような専用回路によって実行されてもよい。図７の動作は、運転者から較正開始の指示を受けたことに応じて開始されてもよい。

ステップＳ７０１で、プロセッサ２０１は、図４で説明した顔優先処理のための較正処理を実行する。ステップＳ７０２で、プロセッサ２０１は、運転者の瞳を検出可能かどうかを判定する。プロセッサ２０１は、運転者の瞳を検出可能である場合（ステップＳ７０２で「ＹＥＳ」）に、処理をステップＳ７０３に遷移し、図５で説明した瞳優先処理のための較正処理を実行する。プロセッサ２０１は、運転者の瞳を検出可能でない場合（ステップＳ７０２で「ＮＯ」）に、処理を終了する。

ステップＳ７０２において、プロセッサ２０１は、例えば車内用カメラ２０４によって撮影された運転者の顔の画像を解析することによって、運転者の瞳を検出可能かどうかを判定してもよい。例えば、プロセッサ２０１は、運転者がサングラスを着用している場合や、運転者が目深に帽子をかぶっている場合、運転者が眼鏡を着用しており、レンズに光が反射している場合などに、運転者の瞳を検出可能でないと判定してもよい。これにかえて、プロセッサ２０１は、運転者からの事前の入力（例えば、ドライブレコーダ１０１からの「瞳を検出可能な状態ですか？」という問い合わせに対する応答）に基づいて、運転者の瞳を検出可能かどうかを判定してもよい。

図７に示されるように、プロセッサ２０１は、運転者の瞳を検出可能かどうかに関わらず、顔優先処理のための較正処理を実行する。一方、プロセッサ２０１は、運転者の瞳を検出可能な場合にのみ、瞳優先処理のための較正処理を実行し、それ以外の場合に、瞳優先処理のための較正処理を実行しない。これによって、較正の精度を下げるような状況で瞳優先処理のための較正処理が行われることが回避される。

上述の実施形態では、顔優先モデルを、運転者が顔を動かして対象物に視線を向けたことによって得られた運転者の画像を教師データとして学習したモデルとした。これにかえて又はこれに加えて、顔優先モデルは、較正時に顔を動かしながら適合したモデルであってもよい。また、上述の実施形態では、瞳優先モデルを、運転者が顔をできるだけ動かさずに瞳のみを動かして対象物に視線を向けたことによって得られた運転者の画像を教師データとして学習したモデルとした。これにかえて又はこれに加えて、瞳優先モデルは、較正時に顔を動かさずに瞳を動かしながら適合したモデルであってもよい。

上記の実施形態では、ドライブレコーダ１０１が視線検出装置として機能した。これにかえて、車両１００に内蔵されている制御ＥＣＵ１０２が視線検出装置として機能してもよい。この場合に、制御ＥＣＵ１０２は、図４及び図５で説明されたドライブレコーダ１０１の動作を実行する。制御ＥＣＵ１０２は、ドライブレコーダ１０１の車内用カメラ２０４で撮影された運転者の画像を取得してもよいし、他の車内用カメラで撮影された運転者の画像を取得してもよい。後者の場合に、ドライブレコーダ１０１は省略可能である。

＜実施形態のまとめ＞
＜項目１＞
ユーザ（３０１）の視線検出処理を較正する較正装置（１０１）であって、
前記ユーザの瞳を検出可能かどうかを判定する判定手段（２０１）と、
複数の位置（６０２～６０６）のそれぞれを見るように前記ユーザに指示する指示手段（２０１）と、
前記複数の位置のそれぞれについて、各位置を見ている前記ユーザの顔の画像（３００、３１０）を取得する取得手段（２０１）と、
前記ユーザの顔の画像に基づいて、視線検出処理を較正する較正手段（２０１）と、を備え、
前記較正装置は、
前記指示手段が、前記複数の位置のそれぞれを、顔を動かして見るように指示し、前記較正手段が、当該指示に応じて個別の位置を見ている前記ユーザの顔の画像に基づいて前記視線検出処理を較正する第１較正処理と、
前記指示手段が、前記複数の位置のそれぞれを、顔を動かさずに見るように指示し、前記較正手段が、当該指示に応じて個別の位置を見ている前記ユーザの顔の画像に基づいて前記視線検出処理を較正する第２較正処理と、を実行可能であり、
前記較正装置は、
前記判定手段によって前記ユーザの瞳を検出可能であると判定された場合に、前記第１較正処理と前記第２較正処理との両方を実行し、
前記判定手段によって前記ユーザの瞳を検出可能でないと判定された場合に、前記第１較正処理を実行し、前記第２較正処理を実行しない、較正装置。
この項目によれば、視線検出処理の較正を適切に行えるため、視線検出の精度が向上する。
＜項目２＞
前記判定手段は、前記ユーザがサングラス（３１１）を着用している場合に、前記ユーザの瞳を検出可能でないと判定する、項目１に記載の較正装置。
＜項目３＞
前記複数の位置は、前記ユーザが乗車している車両（１００）のフロントウィンドウ（６０１）の隅を含む、項目１又は２に記載の較正装置。
この項目によれば、視線検出処理の較正を一層適切に行える。
＜項目４＞
前記指示手段は、前記複数の位置を見るように前記ユーザに指示する前に、前記ユーザにハンドルを把持するよう指示する、項目１乃至３の何れか１項に記載の較正装置。
この項目によれば、較正時にユーザが運転中の姿勢をとる可能性が高まる。
＜項目５＞
項目１乃至４の何れか１項に記載の較正装置として機能するドライブレコーダ（１０１）。
この項目によれば、外付け可能なドライブレコーダによって視線検出を行える。
＜項目６＞
項目１乃至４の何れか１項に記載の較正装置として機能する制御装置（１０２）を内蔵する車両（１００）。
この項目によれば、車両によって視線検出を行える。
＜項目７＞
コンピュータを、項目１乃至４の何れか１項に記載の較正装置の各手段として機能させるためのプログラム。
この項目によれば、上述の較正装置を構成するプログラムが提供される。
＜項目８＞
較正装置（１０１）においてユーザ（３０１）の視線検出処理を較正する方法であって、
前記較正装置は、
複数の位置（６０２～６０６）のそれぞれを、顔を動かして見るように指示し、当該指示に応じて個別の位置を見ている前記ユーザの顔の画像（３００、３１０）に基づいて視線検出処理を較正する第１較正処理と、
複数の位置のそれぞれを、顔を動かさずに見るように指示し、当該指示に応じて個別の位置を見ている前記ユーザの顔の画像に基づいて視線検出処理を較正する第２較正処理と、を実行可能であり、
前記方法は、
前記ユーザの瞳を検出可能かどうかを判定する判定工程と、
前記判定工程において前記ユーザの瞳を検出可能であると判定された場合に、前記第１較正処理と前記第２較正処理との両方を実行する第１実行工程と、
前記判定工程において前記ユーザの瞳を検出可能でないと判定された場合に、前記第１較正処理を実行し、前記第２較正処理を実行しない第２実行工程と、を有する、方法。
この項目によれば、視線検出処理の較正を適切に行えるため、視線検出の精度が向上する。

発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。

１００ 車両、１０１ ドライブレコーダ、３１１ サングラス、６０１ フロントウィンドウ

Claims (8)

1. ユーザの視線検出処理を較正する較正装置であって、
   前記ユーザの瞳を検出可能かどうかを判定する判定手段と、
   複数の位置のそれぞれを見るように前記ユーザに指示する指示手段と、
   前記複数の位置のそれぞれについて、各位置を見ている前記ユーザの顔の画像を取得する取得手段と、
   前記ユーザの顔の画像に基づいて、視線検出処理を較正する較正手段と、を備え、
   前記較正装置は、
   前記指示手段が、前記複数の位置のそれぞれを、顔を動かして見るように指示し、前記較正手段が、当該指示に応じて個別の位置を見ている前記ユーザの顔の画像に基づいて前記視線検出処理を較正する第１較正処理と、
   前記指示手段が、前記複数の位置のそれぞれを、顔を動かさずに見るように指示し、前記較正手段が、当該指示に応じて個別の位置を見ている前記ユーザの顔の画像に基づいて前記視線検出処理を較正する第２較正処理と、を実行可能であり、
   前記較正装置は、
   前記判定手段によって前記ユーザの瞳を検出可能であると判定された場合に、前記第１較正処理と前記第２較正処理との両方を実行し、
   前記判定手段によって前記ユーザの瞳を検出可能でないと判定された場合に、前記第１較正処理を実行し、前記第２較正処理を実行しない、較正装置。
2. 前記判定手段は、前記ユーザがサングラスを着用している場合に、前記ユーザの瞳を検出可能でないと判定する、請求項１に記載の較正装置。
3. 前記複数の位置は、前記ユーザが乗車している車両のフロントウィンドウの隅を含む、請求項１又は２に記載の較正装置。
4. 前記指示手段は、前記複数の位置を見るように前記ユーザに指示する前に、前記ユーザにハンドルを把持するよう指示する、請求項１乃至３の何れか１項に記載の較正装置。
5. 請求項１乃至４の何れか１項に記載の較正装置として機能するドライブレコーダ。
6. 請求項１乃至４の何れか１項に記載の較正装置として機能する制御装置を内蔵する車両。
7. コンピュータを、請求項１乃至４の何れか１項に記載の較正装置の各手段として機能させるためのプログラム。
8. 較正装置においてユーザの視線検出処理を較正する方法であって、
   前記較正装置は、
   複数の位置のそれぞれを、顔を動かして見るように指示し、当該指示に応じて個別の位置を見ている前記ユーザの顔の画像に基づいて視線検出処理を較正する第１較正処理と、
   複数の位置のそれぞれを、顔を動かさずに見るように指示し、当該指示に応じて個別の位置を見ている前記ユーザの顔の画像に基づいて視線検出処理を較正する第２較正処理と、を実行可能であり、
   前記方法は、
   前記ユーザの瞳を検出可能かどうかを判定する判定工程と、
   前記判定工程において前記ユーザの瞳を検出可能であると判定された場合に、前記第１較正処理と前記第２較正処理との両方を実行する第１実行工程と、
   前記判定工程において前記ユーザの瞳を検出可能でないと判定された場合に、前記第１較正処理を実行し、前記第２較正処理を実行しない第２実行工程と、を有する、方法。