JP2018149234A - 注視点推定システム、注視点推定方法及び注視点推定プログラム - Google Patents

Abstract

【課題】１つの全天周カメラによって撮影した使用者の眼球と注視対象シーンを含む全天周画像から、カメラ姿勢の事前校正を必要することなく、使用者の注視点が推定できる注視点推定システム、注視点推定方法及び注視点推定プログラムを提供する。【解決手段】全天周画像取得手段によって使用者の眼球と注視対象シーンとを含む全天周画像を取得し、取得した全天周画像から虹彩部画像抽出手段によって眼球の虹彩部画像を抽出し、虹彩楕円形状評価手段によって抽出した虹彩画像の楕円形状を求め、視線方向推定手段によって虹彩画像の楕円形状から使用者の視線方向を求め、注視点推定手段によって、求めた視線方向と注視対象シーンとから使用者の注視点を推定する。【選択図】図１

Description

本発明は、注視点推定システム、注視点推定方法及び注視点推定プログラムに関し、より詳細には、１つの全天周カメラ等の全天周画像取得手段によって使用者の眼球と注視対象シーンとを含む全天周画像を取得し、取得した全天周画像から使用者の眼球の虹彩部分を抽出し、抽出した虹彩の楕円形状から使用者の視線方向を求め、求めた視線方向と注視対象シーンとから、使用者の注視点を推定する、注視点推定システム、注視点推定方法及び注視点推定プログラムに関する。

人の注視点情報はその滞在時間や頻度等がその人の意図と直結していると考えられ、商業的、学術的な利用可能性が高い。現状のカメラを用いた注視点推定方法は、大きく、リモートカメラを用いた方式と装着型カメラを用いた方式に分けることができる。リモートカメラによる方式は使用者がリモートカメラの観測範囲に入る必要があることや、リモートカメラと使用者間の距離を所定の範囲に保つ必要がある等の制限があり、自由度に優れた方式とは言えない。（非特許文献１）
装着型カメラによる方式は使用者の動きに制限はないが、眼球カメラとシーンカメラの両方を装着する必要があり、両カメラの相対姿勢を事前に校正しておく必要がある等の煩雑さがある。（非特許文献２）

中澤篤志、クリスティアン ニチュケ、"角膜イメージング法を用いたパララックス誤差に頑強な注視点推定法、"第１９回画像センシングシンポジウム（SSII）、論文集、ISI-18,pp.1-8,2013 中澤篤志、クリスティアン ニチュケ、西田豊明、"Random resampleconsensus法を用いた角膜表面反射とシーン画像の位置合わせ、"第１７回画像の認識・理解シンポジウム（MIRU）、論文集、OSI-2,pp.1-4,2014

本発明の目的は、従来の装着型カメラ方式における「眼球カメラとシーンカメラの相対姿勢を事前に校正しておく必要がある」という煩雑さを解消し、１つの全天周カメラによる注視点推定システム、注視点推定方法及び注視点推定プログラムを提供することにある。

係る目的を達成するため、本発明の注視点推定システムは、使用者の眼球と注視対象シーンとを含む全天周画像を取得する全天周画像取得部と、取得した全天周画像から眼球の虹彩部画像を抽出する虹彩部画像抽出部と、抽出した虹彩画像の楕円形状を求める虹彩楕円形状評価部と、虹彩画像の楕円形状から使用者の視線方向を求める視線方向推定部と、求めた視線方向と注視対象シーンとから使用者の注視点を推定する注視点推定部からなることを特徴とする。

係る目的を達成するため、本発明の注視点推定方法は、全天周画像取得工程によって使用者の眼球と注視対象シーンとを含む全天周画像を取得し、取得した全天周画像から虹彩部画像抽出工程によって眼球の虹彩部画像を抽出し、虹彩楕円形状評価工程によって抽出した虹彩画像の楕円形状を求め、視線方向推定工程によって虹彩画像の楕円形状から使用者の視線方向を求め、注視点推定工程によって、求めた視線方向と注視対象シーンとから使用者の注視点を推定することを特徴とする。

係る目的を達成するため、本発明の注視点推定プログラムは、コンピュータに、全天周画像取得手段によって取得した使用者の眼球と注視対象シーンとを含む全天周画像から眼球の虹彩部画像を抽出する虹彩部画像抽出手順と、抽出した虹彩画像の楕円形状を評価する虹彩楕円形状評価手順と、虹彩画像の楕円形状から使用者の視線方向を求める視線方向推定手順と、求めた視線方向と注視対象シーンとから使用者の注視点を推定する注視点推定手順を実行させることを特徴とする。

以上説明したように、本発明の注視点推定システム、注視点推定方法及び注視点推定プログラムによれば、１つの全天周カメラによって撮影した使用者の眼球と注視対象シーンを含む全天周画像を基に、使用者の注視点を推定することが可能となる。
１つの全天周カメラのみを使用者に装着することで実現可能であり、カメラ姿勢の事前校正が不要な、簡便な方式の実現が可能となる。

「図１」注視点推定システムのシステム構成を示す図である。
「図２」注視点推定方法及び注視点推定プログラムのデータ処理手順の概要を示す図である。
「図３」全天周画像抽出部とそれを使用者に装着した状態を示す図である。
「図４」全天周画像抽出部で得られた全天周画像を示す図である。
「図５」使用者の横顔及び眼球部の検出結果を示す図である。
「図６」一つの全天周カメラによる注視点推定モデルを説明する図である。
「図７」眼球部の透視投影画像例を示す図である。
「図８」虹彩の楕円形状評価における前処理画像を示す図である。
「図９」虹彩楕円形状評価と注視ベクトルを示す図である。
「図１０」注視点推定結果を示す図である。

以下、図面を参照しながら本発明の実施形態について詳細に説明する。各図において、同一の構成要素は同一番号をつけて示し、簡略化のためその説明を省略することがある。

図１は本発明の注視点推定システムのシステム構成を示す図であり、１は注視点推定システムである。２は全天周カメラ等によって構成される全天周画像取得部であり、取得された使用者の眼球と注視対象シーンを含んだ全天周画像データ７は虹彩部画像抽出部３に送出される。虹彩部画像抽出部３では使用者の眼球と注視対象シーンを含んだ全天周画像データ７から、画像処理によって眼球の虹彩部画像を抽出する。虹彩部画像抽出部３で抽出された虹彩部画像データ８が虹彩楕円形状評価部４に送出され、虹彩楕円形状評価部４では虹彩部画像データ８から、その楕円形状を評価する。虹彩楕円形状評価部４で得られた虹彩楕円形状データ９が視線方向推定部５に送出され、使用者の視線方向が推定される。視線方向推定部で得られた視線方向データ１０が注視点推定部６に送出され、注視対象シーン画像中の注視点が推定される。
正面正視状態の虹彩画像は真円であるが、視線方向が正面正視状態からずれることによって、そのずれ量に応じて虹彩画像は楕円に変形する。即ち、本発明の注視点推定システムでは、虹彩画像の楕円変形量から使用者の視線方向の正面正視状態からのずれ量を推定し、得られた視線方向から注視対象シーン上の注視点を求める。

図２によって、本発明の注視点推定方法及びプログラムのデータ処理手順の概要を説明する。
１．ステップ１
図１の全天周画像取得部２によって使用者の眼球と注視対象シーンを含んだ全天周画像７を取得する。取得された全天周画像７は虹彩部画像抽出部３に送出される。
２．ステップ２
ステップ１で取得した使用者の眼球と注視対象シーンを含んだ全天周画像７から、画像処理によって虹彩部画像抽出部３で虹彩部を抽出し、虹彩部画像データ８を虹彩楕円形状評価部４に送出する。
３．ステップ３
ステップ２で取得した虹彩部画像データ８から虹彩画像の楕円形状を評価し、虹彩楕円形状データ９を視線方向推定部５に送出する。
４．ステップ４
ステップ３で取得した、使用者の視線が正面正視状態からずれたことに起因する虹彩楕円形状データ９から使用者視線方向の正面正視状態からのずれ量を推定し、視線方向データ１０を注視点推定部６に送出する。
５．ステップ５
視線方向推定部５から取得した視線方向データ１０を基に、注視対象シーン状の注視点を求める。

以下、注視点推定システム、注視点推定方法及び注視点推定プログラムの実現可能性
を確認するため、実際にシステムを構築して性能確認等を実施した結果を示す。

１．全天周画像の取得
本発明は、一つの全天周カメラのみを用いて注視点推定を行う。本実施例では、全天周カメラにリコー社の製品であるRICOH THETAを用いる。装置の構成を図３に示す。この装置は、メガネのフレームに横向きに全天周カメラを接着したものである。このとき、全天周カメラは使用者の眼球部と注視対象シーンが同一画像内に収まるような位置に取り付ける必要がある。この適切な位置に取り付けられた全天周カメラから獲得される画像例を図４に示す。図４から分かるように、全天周画像1枚で、使用者の目と使用者が注視可能なシーンの両方を撮影出来ていることが分かる。

２．虹彩部の抽出
注視点推定を行うために、まず初めに、入力画像における使用者の目の位置を大まかに求める必要がある。装置の構成上、入力画像には比較的歪みの少ない横顔が撮影される。これを利用して、Haar-Like特徴分類器を用いた横顔検出および目検出を行う。図５に横顔および目を検出した例を示す。外側の白い枠が、横顔の検出結果で、内側の白い枠が目の検出結果である。目の検出は、検出された横顔の範囲内でのみ行う。
THETAから取得される全天周画像は正距円筒図法で描かれており、正距円筒図法で描かれた全天周画像には歪みが存在する。そのため、今後の虹彩楕円推定と注視ベクトル獲得のためには、歪みのない透視投影画像を作成する必要がある。そこで、Haar-like特徴分類機を用いて検出した目領域に対して、目領域の透視投影画像を作成する。図６に一つの全天周カメラのみによる注視点推定のモデルを示す。全天周カメラ座標系をOs、透視投影画像座標系をOとする。また、目領域の透視投影画像作成時の光軸の座標変換行列をRとする。すると、全天周カメラ座標系と、透視投影画像座標の関係は（１）式のようになる。また、獲得された目領域の透視投影画像の例を７に示す。

３．虹彩部楕円形状の評価
次に、作成した透視投影画像の虹彩に対して、虹彩楕円推定を行う。そのための前処理として、まず画像の正規化を行う。そして次に、メディアンフィルタを用いて、ノイズの除去を行い、Cannyエッジ検出を用いて、エッジ点を抽出する。図８(左上)にメディアンフィルタ後の画像を示す。図８(右上)にエッジ画像を示す。ここで、得られたエッジ点群には、睫や、瞼、瞼の影や、メガネフレームなど虹彩以外によるエッジ(ノイズ)が多大に含まれている。そこで、大まかな虹彩の中心を検出し、その近傍のエッジのみを抽出することで対応する。具体的には、公知の勾配を用いた黒目の中心検出法を用いて求めた大まかな虹彩中心から、放射線状にエッジ点があるかを調べ、一番近いエッジ点のみを残す。図８(左下)にノイズ除去を行ったエッジ画像を示す。次にノイズ除去を行ったエッジ画像に対して、RANSACで楕円推定を行う。そして、求めた楕円から、マスクを作成し、ノイズ除去前のエッジ画像にマスク処理を行うことで、楕円推定の前処理を完了する。図８(右下)に前処理が完了した画像を示す。最後に、前処理画像に対して、再びRANSAC楕円推定を行う。虹彩楕円推定の結果例を図９に示す。

４．視線方向の推定
透視投影画像座標系における注視ベクトルは、公知の眼球モデルを用いた注視ベクトル推定手法により求める。虹彩の楕円パラメータの長軸、短軸を
,
, 回転角
とすると、注視ベクトル
は（２）式より求まる。
なお
である。図９に注視ベクトルを可視化して示す。黒目の中心の白丸は虹彩の楕円中心であり、そこから左上に伸びている白線が注視ベクトルを可視化したものである。

５．注視点の推定
ステップ４で求めた注視ベクトルgは、目領域透視画像座標系Oで得られたものである。そこで次に、全天周座標系Osにおける注視点へのベクトルgsを求める必要がある。
もし本発明において、眼球と全天周カメラとの間の距離がゼロであると仮定した場合、式(1)のRを用いて、gベクトルとgsベクトルは（３）式のように表すことができる。
実際には眼球と全天周カメラとの間に4.5cm程の距離が存在するため、（３）式を用いた場合、その距離の分だけ実環境下で誤差が生じる。しかしながら、現状ではこの誤差を取り除くことはできず、また注視対象が一定以上離れていれば無視できるほどの誤差であるため、許容できるものとする。
以上より、全天周カメラ座標系における注視ベクトルgsを求めることができる。 最後にgsベクトルが全天周画像上でどこに対応するのかを求める。(
)は、gsを球座標で表したものである。全天周画像上での注視点を(px, py)、 全天周画像の解像度を(W, H)とし、またgs=(gs.x, gs.y, gs.z)であるとすると、
…(4)
…(5)
…(6)
…(7)
となり、全天周画像上での注視点が求まる。
全天周画像上に注視点を示した画像を図１０に示す。図中の「+」印が注視点である。

精度評価実験として以下を行った。一人の被験者に，正対する壁に取り付けれた9個のマーカを左上から右下まで順に注視してもらった．マーカとマーカとの間は30cmで，壁と被験者との距離は2mに設定した．被験者には，これを10セット繰り返してもらい，各マーカあたり10枚，計90枚の入力画像を取得し，注視点推定を行った．本実験において，視線方向平均誤差は，4.10[deg]となった．また，平均最大誤差は7.94[deg]，平均最小誤差は1.00[deg]であった．

本発明によれば、１つの全天周カメラによって撮影した使用者の眼球と注視対象シーンを含む全天周画像を基に、使用者の注視点を推定することが可能となる。
１つの全天周カメラのみを使用者に装着することで実現可能であり、カメラ姿勢の事前校正が不要な、簡便な方式の実現が可能となる。

１ 注視点推定システム
２ 全天周画像取得部
３ 虹彩部画像抽出部
４ 虹彩楕円形状評価部
５ 視線方向推定部
６ 注視点推定部
７ 全天周画像
８ 虹彩部画像データ
９ 虹彩楕円形状データ
１０ 視線方向データ

Claims (3)

1. 使用者の眼球と注視対象シーンとを含む全天周画像を取得する全天周画像取得部と、前記全天周画像から眼球の虹彩部画像を抽出する虹彩部画像抽出部と、前記虹彩部画像から虹彩楕円形状を求める虹彩楕円形状評価部と、前記虹彩楕円形状から使用者の視線方向を求める視線方向推定部と、前記視線方向と前記注視対象シーンとから使用者の注視点を推定する注視点推定手部からなる、注視点推定システム。
2. 全天周画像取得工程によって使用者の眼球と注視対象シーンとを含む全天周画像を取得し、該全天周画像から虹彩部画像抽出工程によって眼球の虹彩部画像を抽出し、虹彩楕円形状評価工程によって前記虹彩部画像の楕円形状を求め、視線方向推定工程によって前記楕円形状から使用者の視線方向を求め、注視点推定工程によって、前記視線方向と前記注視対象シーンとから使用者の注視点を推定する、注視点推定方法。
3. コンピュータに、全天周画像取得手段によって取得した使用者の眼球と注視対象シーンとを含む全天周画像から眼球の虹彩部画像を抽出する虹彩部画像抽出手順と、該虹彩部画像の楕円形状を評価する虹彩楕円形状評価手順と、該楕円形状から使用者の視線方向を求める視線方向推定手順と、前記視線方向と前記注視対象シーンとから使用者の注視点を推定する注視点推定手順を実行させる、注視点推定プログラム。