JP2019017800A

JP2019017800A - コンピュータプログラム、情報処理装置及び情報処理方法

Info

Publication number: JP2019017800A
Application number: JP2017140049A
Authority: JP
Inventors: セバスチャンピキャー; Reich Sebastian
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2017-07-19
Filing date: 2017-07-19
Publication date: 2019-02-07
Also published as: US10642353B2; US20190025911A1

Abstract

【課題】表示装置の画面に表示されている表示情報に対するユーザの注意の度合いを正確に示す注視度分布を生成する情報処理コンピュータプログラムを提供する。【解決手段】コンピュータプログラムは、表示部１３の画面１３ａに対するユーザの視線位置を検出し、検出した視線位置、または視線位置の近傍に表示される表示情報に基づいて、ユーザの注意の度合いを示す注視度分布の分布幅を決定して、画面１３ａに対する注視度分布を生成する、処理をプロセッサに実行させる。【選択図】図６

Description

本発明は、注視度分布を生成するコンピュータプログラム、情報処理装置及び情報処理方法に関する。

従来、表示装置の画面に表示されている表示情報に対するユーザの注意（関心）の度合いを、ヒートマップを用いて調べることが行われている。

表示情報に対するユーザの注意の度合いと、画面内の視線位置とは密接な関係があると考えられており、視線位置ごとに、注視時間を色の変化で表すヒートマップを作成することが提案されている（例えば、特許文献１〜４等参照）。これより、表示装置の画面に表示されている表示情報と注視時間との対応関係が視覚化されるので、ユーザが長い時間注視していた情報と、短い時間注視していた情報とを識別できる。

国際公開第２０１１／０７４１９８号国際公開第２０１２／１０５１９６号国際公開第２０１５／０６４０８０号国際公開第２０１６／０５２６４６号

ところで、ユーザは、表示装置の画面に表示されている表示情報に視線を向けていても、注意を向けられているとは限らない。例えば、ユーザが周囲から聞こえる話し声に気を取られている場合には、ユーザの注意が、画面内の視線位置の表示情報に向けられていない場合がある。

このような場合には、表示装置の画面上の視線位置に基づいて、画面に表示されている表示情報に対するユーザの注意の度合いを正確に調べることは困難である。

そこで、本明細書では、表示装置の画面に表示されている表示情報に対するユーザの注意の度合いを正確に示す注視度分布を生成する情報処理プログラム、情報処理装置及び情報処理方法を提供することを課題とする。

本明細書に開示するコンピュータプログラムの一形態によれば、表示部の画面に対するユーザの視線位置を検出し、検出した視線位置、または視線位置の近傍に表示される表示情報に基づいて、ユーザの注意の度合いを示す注視度分布の分布幅を決定して、画面に対する注視度分布を生成する、処理をプロセッサに実行させる。

また、本明細書に開示する情報処理装置の一形態によれば、表示部の画面に対するユーザの視線位置を検出する検出部と、検出した視線位置、または視線位置の近傍に表示される表示情報に基づいて、ユーザの注意の度合いを示す注視度分布の分布幅を決定して、画面に対する注視度分布を生成する注視度分布算出部と、を有する処理部と、を備える。

更に、本明細書に開示する情報処理方法の一形態によれば、処理部が、表示部の画面に対するユーザの視線位置を検出することと、処理部が、検出した視線位置、または視線位置の近傍に表示される表示情報に基づいて、ユーザの注意の度合いを示す注視度分布の分布幅を決定して、画面に対する注視度分布を生成することと、を含む。

本明細書に開示する形態の一側面によれば、表示装置の画面に表示されている表示情報に対するユーザの注意の度合いを正確に示す注視度分布を生成できる。

本明細書に開示する情報処理装置の一実施形態を示す図である。（Ａ）は、プロセッサを説明する図であり、（Ｂ）は、メモリを説明する図である。（Ａ）は、表示装置の画面に表示された表示情報を示す図であり、（Ｂ）は、注視度分布が表示情報と重ねられて表示される画面を示す図である。ｘ軸方向の注視度分布を示す。（Ａ）は、大きなサイズの文字を見た場合の焦点ずれ量を説明する図であり、（Ｂ）は、小さなサイズの文字を見た場合の焦点ずれ量を説明する図であり、（Ｃ）は、ぼけ量を説明する図である。本明細書に開示する第１実施形態の情報処理装置の動作を説明するフローチャート（その１）である。（Ａ）は、本明細書に開示する第１実施形態の情報処理装置の動作を説明するフローチャート（その２）であり、（Ｂ）は、ステップＳ７０１の処理を説明する図であり、（Ｃ）は、ステップＳ７０３及びステップＳ７０５の処理を説明する図である。（Ａ）は、両眼間の距離が短い場合のぼけ量を説明する図であり、（Ｂ）は、両眼間の距離が長い場合のぼけ量を説明する図である。本明細書に開示する第１実施形態の情報処理装置の動作を説明するフローチャート（その４）である。本明細書に開示する第２実施形態の情報処理装置の表示装置の画面に表示される表示情報を示す図である。（Ａ）は、視認度分布を生成する処理を説明する図（その１）であり、（Ｂ）は、視認度分布を生成する処理を説明する図（その２）である。視認度分布を生成する処理を説明する図（その３）である。本明細書に開示する第２実施形態の情報処理装置の動作を説明するフローチャートである。本明細書に開示する第３実施形態の情報処理装置の動作を説明するフローチャート（その１）である。（Ａ）は、視認度分布を生成する処理を説明する図であり、（Ｂ）は、視認度分布に基づいて、視認度を決定する処理を説明する図である。本明細書に開示する第３実施形態の情報処理装置の動作を説明するフローチャート（その２）である。本明細書に開示する第３実施形態の情報処理装置の動作の変形例を説明する図である。

以下、本明細書で開示する情報処理装置の好ましい一実施形態を、図を参照して説明する。但し、本発明の技術範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶものである。

図１は、本明細書に開示する情報処理装置の一実施形態を示す図である。

装置１０は、プロセッサ１１と、メモリ１２と、表示装置１３と、入力インターフェース１４と、視線情報検知装置１５と、通信インターフェース１６を有する。プロセッサ１１は、処理部又は処理装置の一例である。メモリ１２は、記憶部又は記憶装置の一例である。

本実施形態の情報処理装置（以下、単に装置ともいう）１０は、表示装置１３の画面に表示情報を表示して、ユーザの視線位置ごとに、注意の度合いを示す注視度分布の重み及び分布幅を決定して注視度分布を生成する。本実施形態では、ユーザの視線位置は、ユーザの視線と表示部の画面との交差点である。

ユーザの視線が、表示装置１３の画面に表示されている表示情報に向けられていても、ユーザの注意が向けられているとは限らない。例えば、ユーザが、周囲から聞こえる話し声に気を取られている場合には、ユーザの注意が、視線が向けられている表示情報に向けられていない場合がある。また、ユーザは、表示情報を注視して読んだ後に、読んだ情報に関して、自分の記憶した情報を呼び起こす精神活動を行う。このような精神活動を行っている時にも、ユーザの注意が画面に向けられていない場合がある。

ユーザの注意が、視線が向けられている表示情報に向けられていない場合のユーザの特徴として、ユーザの眼の焦点が、画面にあっていない場合がある。また、ユーザの注意の度合いは、文字の大きさ、フォント、単語の難易度、画像の大きさ又は後述する焦点ずれ量等の表示情報に対する視認の難易度による影響を受けると考えられる。

装置１０は、上述した表示情報に対する視認の難易度に基づいて、ユーザの視線と表示部の画面との交差点ごとに、注意の度合いを示す注視度分布の重み及び分布幅を決定して、画面に対する注視度分布を生成する。

ユーザは、ユーザの画面の表示情報に対する注意の度合いが得られることにより、例えば、効果的な広告を作成するための情報とすることができる。また、ユーザは、ユーザが読んだ画面の表示情報に対して、注意を向けている部分と注意を向けていない部分とが視覚化されることにより、画面の表示情報に対する注意の度合いを、画面の表示情報に対する自分の注意の度合いを認識することの参考とすることができる。

装置１０により生成される注視度分布の例を、図３（Ａ）及び図３（Ｂ）を参照しながら、以下に説明する。

図３（Ａ）は、表示装置１３の画面１３ａに表示される表示情報を示す。表示情報は、文字の大きさが異なる文章と、複数の人を示す画像及び風景を示す画像を有する。

図３（Ｂ）は、ユーザが画面１３ａに視線を向けている時に生成された、ユーザの視線と表示部の画面との交差点ごとの注視度分布を、ヒートマップとして表示情報と重ねて画面１３ａ上に表している。ヒートマップは、交差点ごとに注視度の大きさ及び広がりを有する注視度分布を、交差点の注視度の大きさにより色を変化させて生成される。

注視度分布を表す関数として、例えば、２次元のガウス分布関数を用いることができる。

２次元のガウス分布関数を用いて表された注視度分布関数は、例えば、下記式（１）で表される。

ここで、ｘ、ｙは、画面上の交差点を示し、σ_ｘ及びσ_ｙは、分散共分散行列の対角成分であり、σ_ｘｙは、分散共分散行列の非対角成分である。σ_ｘは、注視度分布のｘ軸方向の標準偏差であり、ｘ軸方向の分布幅を示す指標となる。σ_ｙは、注視度分布のｙ軸方向の標準偏差であり、ｙ軸方向の分布幅を示す指標となる。本明細書では、以下、σ_ｘ及びσ_ｙを、注視度分布関数の分布幅ともいう。また、本明細書では、以下、ｗ（ｘ、ｙ）を、注視度分布関数の重みともいう。

ｘ軸方向の注視度分布関数４００は、図４に示すように、正規分布となる。

装置１０は、ヒートマップを生成する際には、注視度分布関数の最大値を、カラーマップの最大値に対応させるので、規格化係数を用いていない。

装置１０では、ｗ（ｘ、ｙ）、σ_ｘ及びσ_ｙは、ユーザの視線と表示部の画面との交差点における注意の度合いに応じて決定される。なお、従来技術では、ｗ（ｘ、ｙ）、σ_ｘ及びσ_ｙは、固定されていた。

画面においてユーザの注視密度の高い部分では、隣接する注視度分布関数の値が重なり合っており、ヒートマップ上では重なっている複数の注視度分布関数の値の和により、交差点の色が決定される。

また、装置１０では、上述した注視度分布関数の重みｗ（ｘ、ｙ）及び分布幅σ_ｘ、σ_ｙは、交差点又は交差点の近傍に表示される表示情報に基づいて決定される。本実施形態では、交差点の近傍は、ユーザの視線位置の近傍を意味する。

ここで、交差点の近傍は、ユーザの眼の中心視覚が交差点の向けられている時に、ユーザの眼の周辺視覚により視覚可能な範囲を含んでもよい。

装置１０は、視線情報検知装置１５を用いて、ユーザの視線方向を表す視線情報を検知する。視線情報は、ユーザの眼を含む画像を有する。また、装置１０は、視線情報に基づいて、ユーザの視線方向、ユーザの視線と表示部の画面との交差点、ユーザが交差点を含む所定の領域内を注視している注視時間等の注視情報を求める。注視情報は、ユーザが交差点に視線を向けている時に、視線情報検知装置により視線情報と共に検知される情報である。

このように、装置１０は、注視情報と、画面におけるユーザの複数の交差点又は交差点の近傍に表示される表示情報とに基づいて、注視度分布関数の重み及び／又は分布幅を決定する。

例えば、装置１０は、注視情報に基づいて、ユーザの眼と画面１３ａ間の距離と、ユーザの眼からユーザの眼の焦点までの距離との差に基づいて求められる焦点ずれ量を求める。そして、装置１０は、焦点ずれ量に基づいて、文字のぼけ量又は画像のぼけ量を求めて、注視度分布関数の重み及び／又は分布幅を決定する。そして、装置１０は、文字のぼけ量又は画像のぼけ量と、画面におけるユーザの交差点又は交差点の近傍に表示される表示情報とに基づいて、注視度分布関数の重み及び／又は分布幅を決定する。

次に、図５（Ａ）〜図５（Ｃ）を参照しながら、注視情報に基づいて、ユーザの眼と画面１３ａ間の距離と、ユーザの眼からユーザの眼の焦点までの距離との差に基づいて焦点ずれ量を求め、焦点ずれ量に基づいて文字のぼけ量を求めることを、以下に説明する。

図５（Ａ）は、大きなサイズの文字を見た場合の焦点ずれ量を説明する図であり、図５（Ｂ）は、小さいサイズの文字を見た場合の焦点ずれ量を説明する図である。

装置１０の表示装置１３の画面１３ａには、「ＡＢ」という文字が表示されている。ユーザが両眼で画面１３ａ上の「ＡＢ」という文字に視線を向けている。装置１０は、ユーザの左右の眼の視線方向を、上述した視線情報検知装置１５を用いて取得可能である。

ユーザの両眼の焦点が画面１３ａの位置Ｐ１とあっていない場合には、焦点の位置Ｐ２と、画面１３ａの位置Ｐ１との差である焦点ずれ量が生じる。

焦点ずれ量がゼロでない場合には、図５（Ｃ）に示すように、ユーザの右眼に写る文字の画像Ｒｉと、左眼に写る文字の画像Ｌｉとの間に画像のずれ量ｄが生じる。装置１０は、右眼の視線と画面１３ａが交差する交差点ＣＲと、左眼の視線と画面１３ａが交差する交差点ＣＬと求め、２つの交差点の間の距離を、画像のずれ量ｄとして求める。

装置１０は、下記式（３）に示すように、画像のずれ量ｄを文字の高さｈで割った商（ｄ／ｈ）を、ユーザから見た画面のぼけ量として求める。ユーザから見た画面の文字の画像「ＡＢ」は、交差点ＣＲにおいてユーザの右眼に写る文字の画像Ｒｉと、交差点ＣＬにおいて左眼に写る文字の画像Ｌｉとが重なったものとなる。

右眼の視線と画面１３ａが交差する交差点ＣＲに表示される表示情報に対して、左眼の視線と画面１３ａが交差する交差点ＣＬに表示される表示情報は、交差点ＣＲの近傍に表示される表示情報である。逆に、左眼の視線と画面１３ａが交差する交差点ＣＬに表示される表示情報に対して、右眼の視線と画面１３ａが交差する交差点ＣＲに表示される表示情報は、交差点ＣＬの近傍に表示される表示情報である。

本実施形態では、右眼の視線と画面１３ａが交差する交差点ＣＲに表示される表示情報に対して、左眼の視線と画面１３ａが交差する交差点ＣＬに表示される表示情報を、交差点ＣＲの近傍に表示される表示情報とする。

本実施形態では、交差点ＣＲの近傍には、交差点ＣＲから画像のずれ量ｄまでの範囲が含まれる。

画像のずれ量ｄは、画面１３ａに表示される文字の大きさに対して、独立した値である。

従って、図５（Ａ）及び図５（Ｂ）に示すように、同じ焦点ずれ量であっても、文字のサイズが小さい場合の文字の画像のぼけ量（ｄ／ｈ）は、文字のサイズが大きい場合よりも大きくなるので、小さいサイズの文字は視認し難くなる。

なお、ユーザの両眼の焦点が画面１３ａの位置Ｐ１と一致していれば、焦点が画面１３ａ上の交差位置（視線位置）となり、ユーザの右眼に写る文字の画像Ｒｉと、左眼に写る文字の画像Ｌｉとの間にずれはないので、文字のぼけも生じない。

しかしながら、ユーザは、表示装置１３の画面１３ａ上の全ての表示情報に対して焦点をあわせて、表示情報を注視するとは限られないので、通常、画面１３ａに表示される表示情報の内の少なくとも一部には文字のぼけが生じると考えられる。

次に、装置１０の各ハードウェア構成要素について、以下に詳述する。

プロセッサ１１は、一つまたは複数の演算回路と、周辺回路とを有する。プロセッサ１１は、メモリ１２に予め記憶されている所定のプログラム１２ａに従い、装置１０の各ハードウェア構成要素の制御及び各種処理を行い、処理中に生じるデータを一時的に保存するためにメモリ１２を利用する。

メモリ１２は、ランダムアクセスメモリ（ＲＡＭ）若しくはリードオンリーメモリ（ＲＯＭ）等の半導体メモリ、又は磁気ディスク若しくはフラッシュメモリ等の不揮発性メモリを有していてもよい。また、メモリ１２は、非一時的な記憶媒体１２ｄに記憶されたプログラムを、読み出し可能なドライブ（図示せず）を有していてもよい。

図２（Ｂ）に示すように、メモリ１２は、所定のプログラム１２ａと共に、表示装置１３に表示される表示情報を含む表示情報データ１２ｂと、取得されたユーザの視線情報を含む視線情報データ１２ｃを記憶する。表示情報データ１２ｂは、表示情報と関連付けられた、表示情報が表示装置１３の画面上に表示される位置の情報も有する。

また、メモリ１２は、ユーザの視線と表示部の画面との交差点を検出するために利用される各種のデータを記憶する。例えば、メモリ１２は、プルキンエ像の重心に対する瞳孔重心の相対的な位置とユーザの視線方向との関係を表す参照テーブルを記憶する。更に、メモリ１２は、視線情報検知装置１５から得られたユーザの眼の画像、あるいは、その画像に基づいて検出されたキャリブレーション前の生の交差点の測定点の座標及び取得順番などを記憶する。また、メモリ１２は、装置１０を使用するユーザから見た画像のずれ量の平均的な範囲を記憶する。

表示装置１３は、プロセッサ１１に制御されて、装置１０の動作に伴う各種の情報を画面上に表示可能である。表示装置１３として、例えば、液晶ディスプレイを用いることができる。

入力インターフェース１４は、装置１０のユーザにより操作されて、操作を入力可能である。装置１０は、入力インターフェース１４として、例えばキーボード又はマウスを用いることができる。また、入力インターフェース１４として、入力インターフェース１４と表示装置１３とが一体となったタッチパネルを用いてもよい。

視線情報検知装置１５は、表示装置１３の周囲に配置され、ユーザの視線方向を表す測定データ（視線情報）を所定の周期（例えば、１ミリ秒〜３３ミリ秒）ごとに生成する。視線情報検知装置１５は、生成した測定データをプロセッサ１１へ出力する。

例えば、視線情報検知装置１５は、赤外発光ダイオード１５ａと、ＣＣＤ又はＣ−ＭＯＳといった赤外線に感度を持つイメージセンサと撮像光学系を含むカメラ１５ｂとを有する。そして、視線情報検知装置１５は、ユーザの眼の瞳孔と、赤外発光ダイオード１５ａから発した光が角膜で反射された角膜反射像（以下、プルキンエ像と呼ぶ）とが表された画像を、測定データとしてカメラ１５ｂにより生成する。

本実施形態では、視線情報検知装置１５は、表示装置１３の上方又は下方又は側方に、表示装置１３と対向するユーザへ向けて配置される。視線情報検知装置１５が有する赤外発光ダイオード１５ａは、ユーザの眼を照明する。そして視線情報検知装置１５が有するカメラ１５ｂにより、表示装置１３を見るユーザの両眼を含む、ユーザの顔全体あるいは顔の一部が写った画像が生成される。

通信インターフェース１６は、例えば、図示しないネットワーク介して、情報の送受信を行う。通信インターフェース１６は、送受信を行う通信回路及び通信線を有する。装置１０は、例えば、プログラム、表示情報データ又は視線情報データを、通信インターフェース１６を用いて送受信してもよい。

図２（Ａ）に示すように、上述したプロセッサ１１は、情報表示部１１ａと、視認度分布算出部１１ｂと、交差点検出部１１ｃと、注視度分布算出部１１ｄを有する。

プロセッサ１１が有するこれらの各部は、例えば、プロセッサ１１上で動作するコンピュータプログラムにより実現される機能モジュールである。なお、プロセッサ１１が有するこれらの各部は、それぞれ、別個の回路として、装置１０に実装されてもよい。

情報表示部１１ａは、メモリ１２に記憶される表示情報データを読み出して、表示装置１３の画面１３ａ上の所定の位置に表示する。

視認度分布算出部１１ｂは、表示装置１３の画面１３ａ上の位置ごとに、画面１３ａに表示される表示情報に基づいて、表示情報に対する視認の難易度を示す視認度分布を作成する。

交差点検出部１１ｃは、視線情報検知装置１５により検知された視線情報に基づいて、ユーザの視線方向を求め、ユーザの視線方向に基づいて、ユーザの視線と表示部の画面１３ａとの交差点を求める。

注視度分布算出部１１ｄは、視認度分布と、ユーザの視線と表示部の画面１３ａとの交差点及び／又は交差点の近傍に表示される表示情報とに基づいて、注視度分布の重み及び／又は分布幅を決定して、注視度分布関数を生成する。

次に、上述した装置１０の第１実施形態の動作を、図６に示すフローチャートを参照しながら、以下に説明する。

まず、ステップＳ６０１において、プロセッサ１１の情報表示部１１ａは、メモリ１２に記憶される表示情報データ１２ｂを読み出して、表示装置１３の画面１３ａ上の所定の位置に表示情報を表示する。例えば、情報表示部１１ａは、図７（Ｂ）に示すような文字情報である表示情報を、表示装置１３の画面１３ａに表示する。

次に、ステップＳ６０３において、プロセッサ１１の視認度分布算出部１１ｂは、表示装置１３の画面１３ａに表示情報が表示されているか否かを判断する。例えば、視認度分布算出部１１ｂは、情報表示部１１ａから表示装置１３の画面１３ａに表示情報を表示していることの通知を受けて、表示装置１３の画面１３ａに表示情報が表示されているか否かを判断する。

視認度分布算出部１１ｂは、表示装置１３の画面１３ａに表示情報が表示されていると判断した場合（ステップＳ６０３−Ｙｅｓ）、表示装置１３の画面１３ａに表示されている表示情報を取得する（ステップＳ６０５）。一方、表示装置１３の画面１３ａに表示情報が表示されていないと判断した場合（ステップＳ６０３−Ｎｏ）、装置１０は、処理を終了する。

次に、ステップＳ６０５の処理を、図７（Ａ）に示すフローチャートを参照しながら、以下に説明する。

まず、ステップＳ７０１において、視認度分布算出部１１ｂは、画面１３ａにおいて文字（画像）が表示されている領域を取得する。視認度分布算出部１１ｂは、情報表示部１１ａから、画面１３ａに表示される文字（画像）、文字（画像）が表示されている画面１３ａ内の位置、文字のサイズ、文字列の行間スペース及び文字間スペースの情報を受け取る。なお、視認度分布算出部１１ｂは、情報表示部１１ａから、画面１３ａに表示されている文字の情報として、文字のフォント、文字（画像）を形成する画素の色情報（Ｒ、Ｇ、Ｂ）等も受け取ってもよい。表示装置１３の画面１３ａ内の位置は、例えば、左上の隅の画素の位置を原点として、水平方向にｘ軸を有し、垂直方向にｙ軸を有する二次元座標系で表される。なお、視認度分布算出部１１ｂが、情報表示部１１ａから文字の画像の情報を取得する上述した説明は、視認度分布算出部１１ｂが、文字以外の画像の情報を情報表示部１１ａから取得する動作にも適宜適用される。

図７（Ｂ）に示すように、視認度分布算出部１１ｂは、情報表示部１１ａから受け取った情報に基づいて、文字が表示されている領域として、画面１３ａ内の領域Ｒ１及び領域Ｒ２を取得する。

次に、ステップＳ７０３において、視認度分布算出部１１ｂは、情報表示部１１ａから受け取った情報に基づいて、図７（Ｃ）に示すように、領域Ｒ１内の文字のサイズ及び領域Ｒ２内の文字のサイズを取得する。

次に、ステップＳ７０５において、視認度分布算出部１１ｂは、情報表示部１１ａから受け取った情報に基づいて、図７（Ｃ）に示すように、領域Ｒ１内の文字列の行間スペース及び文字間スペース及び領域Ｒ２内の文字列の行間スペース及び文字間スペースを取得する。

以上が、ステップＳ６０５の説明である。

次に、ステップＳ６０７において、視認度分布算出部１１ｂは、取得された表示情報に基づいて、表示情報に対する視認の難易度を示す視認度分布を生成する。

ステップＳ６０７の処理の詳細を、以下に説明する。

視認度分布算出部１１ｂは、メモリ１２に記憶されている装置１０を使用するユーザから見た画像のずれ量ｄｒの平均的な範囲を取得する。そして、視認度分布算出部１１ｂは、画像のずれ量ｄｒと、ステップＳ６０５において取得した表示情報に基づいて、隣接する２つの文字の画像に対して、ユーザから見た画面の推定されるぼけ量を、上記式（３）を用いて求める。そして、視認度分布算出部１１ｂは、画像のずれ量ｄｒの平均的な範囲に対して、文字のぼけ量と画像のずれ量ｄｒとの関係を得る。

ユーザから見た画面の推定されるぼけ量は、図８（Ａ）に示すように、ユーザの両眼面間の距離が短いと、文字のぼけ量は小さくなり、図８（Ｂ）に示すように、ユーザの両眼面間の距離が長いと、文字のぼけ量は大きくなる。

そして、視認度分布算出部１１ｂは、文字のぼけ量と画像のずれ量ｄｒとの関係に基づいて、表示情報が表示される画面１３ａの位置ごとに視認度を求める。視認度は、文字のぼけ量がそれよりも大きくなると、表示情報が視認できなくなると推定される値である。視認度は、例えば、文字のサイズ、文字のフォント、又は文字間スペース等に基づいて決定され得る。

このようにして、視認度分布算出部１１ｂは、画面１３ａの位置ごとに視認度を有する視認度分布を生成する。

以上が、ステップＳ６０７の説明である。

次に、ステップＳ６０９において、視認度分布算出部１１ｂは、注視度分布関数の分布幅σ_ｘ、σ_ｙ、及び注視度分布関数の重みｗ（ｘ、ｙ）を初期値に設定して、注視度分布関数を初期化する。

次に、ステップＳ６１１において、プロセッサ１１の交差点検出部１１ｃは、視線情報検知装置１５を用いて、ユーザの視線情報を取得する。視線情報検知装置１５は、ユーザの眼を含む複数の画像を撮像する。

次に、ステップＳ６１３において、プロセッサ１１の交差点検出部１１ｃは、複数の画像（視線情報）のそれぞれについて、ユーザの視線と表示部の画面１３ａとの交差点を求める。また、交差点検出部１１ｃは、交差点の経時的な移動を示す注視パターンを求めてもよい。例えば、注視パターンに基づいて、表示情報に対する読み返しの有無を調べることにより、ユーザの表示情報に対する注意の度合いを推定することができる。

以下、交差点検出部１１ｃが、複数の画像（視線情報）それぞれについて、ユーザの視線と画面１３ａとが交差する交差点を求める動作について、詳述する。

交差点検出部１１ｃは、視線情報検知装置１５からプロセッサ１１が画像を取得する度に、その画像上でユーザの眼が写っている領域を検出し、眼が写っている領域内でプルキンエ像及び瞳孔を検出する。そして交差点検出部１１ｃは、プルキンエ像と瞳孔重心との位置関係に基づいて、ユーザの視線と画面１３ａとが交差する交差点を検出する。

交差点検出部１１ｃは、先ず、眼が写っている領域を検出する。眼に相当する画素の輝度は、眼の周囲に相当する画素の輝度と大きく異なる。そこで交差点検出部１１ｃは、画像内の各画素に対して、例えば、Ｓｏｂｅｌフィルタを用いて垂直方向の近傍画素間差分演算を行って垂直方向に輝度が変化するエッジ画素を検出する。そして交差点検出部１１ｃは、例えば、エッジ画素が略水平方向に眼の大きさに相当する所定数以上連結された２本のエッジ線で囲まれた領域を眼の領域とする。あるいは、交差点検出部１１ｃは、画像上の眼の像を表すテンプレートと、画像とのテンプレートマッチングにより、画像内でテンプレートに最も一致する領域を検出し、その検出した領域を眼の領域としてもよい。

更に、交差点検出部１１ｃは、眼の領域内で瞳孔が写っている領域を検出する。本実施形態では、交差点検出部１１ｃは、瞳孔に相当するテンプレートと眼の領域との間でテンプレートマッチングを行い、眼の領域内でテンプレートとの一致度が最も高くなる領域を検出する。そして交差点検出部１１ｃは、一致度の最高値が所定の一致度閾値よりも高い場合、その検出した領域に瞳孔が写っていると判定する。

また瞳孔が写っている領域の輝度は、その周囲の領域の輝度よりも低く、瞳孔は略円形である。そこで交差点検出部１１ｃは、眼の領域内で、同心円状に半径の異なる２本のリングを設定する。そして交差点検出部１１ｃは、外側のリングに相当する画素の輝度の平均値から内側の画素の輝度の平均値を引いた差分値が所定の閾値よりも大きい場合、その内側のリングで囲まれた領域を瞳孔領域としてもよい。交差点検出部１１ｃは、瞳孔領域に含まれる各画素の水平方向座標値の平均値及び垂直方向座標値の平均値を、瞳孔領域の重心の座標として算出する。

また交差点検出部１１ｃは、眼の領域内で視線情報検知装置１５が有する赤外発光ダイオード１５ａのプルキンエ像を検出する。交差点検出部１１ｃは、プルキンエ像に含まれる各画素の水平方向座標値の平均値及び垂直方向座標値の平均値をプルキンエ像の重心の座標として算出する。

瞳孔重心及びプルキンエ像の重心を検出すると、交差点検出部１１ｃは、それらに基づいてユーザの視線方向を検出する。

角膜の表面は略球形であるため、視線方向によらず、視線情報検知装置１５が有する光源のプルキンエ像の位置はほぼ一定となる。一方、瞳孔重心は、ユーザの視線方向に応じて移動する。そのため、交差点検出部１１ｃは、プルキンエ像の重心を基準とする瞳孔重心の相対的な位置を求めることにより、ユーザの視線方向を検出できる。

本実施形態では、交差点検出部１１ｃは、プルキンエ像の重心を基準とする瞳孔重心の相対的な位置を、例えば、瞳孔重心の水平方向座標及び垂直方向座標からプルキンエ像の重心の水平方向座標及び垂直方向座標を減算することにより求める。そして交差点検出部１１ｃは、瞳孔重心の相対的な位置とユーザの視線方向との関係を表す参照テーブルを参照することにより、ユーザの視線方向を特定する。

交差点検出部１１ｃは、ユーザの視線方向を検出すると、ユーザの視線方向及び想定されるユーザの眼と表示装置１３間の位置関係に基づいて、ユーザの両眼の視線と画面とが交差する交差点を検出する。以下、交差点検出部１１ｃの動作を具体的に説明する。

本実施形態では、交差点検出部１１ｃは、実空間のユーザの両眼の間隔と、画像上のユーザの両眼の間隔と、カメラの焦点距離とにより、カメラとユーザの両眼それぞれまでの距離を推定する。交差点検出部１１ｃは、画像上の両眼の位置から求まるカメラから両眼への方向と距離とにより、ユーザの両眼の実空間の位置を推定する。交差点検出部１１ｃは、ユーザの両眼の実空間の位置と視線方向とに基づいて、ユーザの両眼の視線の交点を焦点（注視位置）として推定する。交差点検出部１１ｃは、ユーザの両眼それぞれと焦点とを結んだ直線と画面との交差点を推定して、ユーザの両眼の視線と画面とが交差する交差点を検出する。

以上が、交差点検出部１１ｃが、複数の画像（視線情報）それぞれについて、ユーザの視線と画面１３ａとが交差する交差点を求める動作の説明である。

次に、ステップＳ６１５において、プロセッサ１１の注視度分布算出部１１ｄは、表示装置１３の画面１３ａ上の交差点ごとに注視度分布関数の分布幅及び重みを求めて、注視度分布関数を生成する。

ステップＳ６１５の処理を、図９に示すフローチャートを参照しながら、以下に説明する。

ステップＳ９０１において、注視度分布算出部１１ｄは、画面１３ａ上の交差点ごとに、画面１３ａ上の表示情報に基づいて、ユーザから見た画面の実際のぼけ量を求める。まず、注視度分布算出部１１ｄは、注視情報に基づいて、交差点ごとに、ユーザの眼と画面１３ａ間の距離と、ユーザの眼からユーザの眼の焦点までの距離との差に基づいて、焦点ずれ量を求める。そして、注視度分布算出部１１ｄは、表示情報と、焦点ずれ量とを用いて、図５（Ａ）〜図５（Ｃ）を参照して説明したのと同様の方法を用いて、ユーザから見た画像の実際のずれ量ｄを求める。そして、注視度分布算出部１１ｄは、ずれ量ｄと、交差点の表示情報とに基づいて、上記式（３）を用いて、交差点におけるユーザから見た画面の実際のぼけ量を求める。

次に、注視度分布算出部１１ｄは、ステップＳ９０３からステップＳ９１１の間の処理を、画面１３ａ上の交差点ごとに行う。

ステップＳ９０５において、注視度分布算出部１１ｄは、画面１３ａ上の交差点のぼけ量（ユーザから見た画面の実際のぼけ量）が閾値ｔｈ１（ユーザから見た画面の推定されるぼけ量）よりも大きいか否かを判断する。ここで、閾値ｔｈ１は、交差点の視認度である。視認度は、上述したように、ぼけ量がそれよりも大きくなると、交差点に表示される表示情報が視認できなくなると推定される値である。

注視度分布算出部１１ｄは、交差点のぼけ量が閾値ｔｈ１以下の場合（ステップＳ９０５−Ｎｏ）には、交差点における注視度分布関数の分布幅及び重みを初期値に設定する。交差点のぼけ量が閾値ｔｈ１以下の場合には、ユーザは、交差点に表示される表示情報を視認していると推定される。即ち、ユーザは、交差点に表示される表示情報に対する注意の度合いが高いと考えられる。

一方、注視度分布算出部１１ｄは、交差点のぼけ量が閾値ｔｈ１よりも大きい場合（ステップＳ９０５−Ｙｅｓ）には、注視度分布関数の分布幅及び重みを、ぼけ量に応じて、初期値よりも低減するように決定する。例えば、分布幅及び重みは、ぼけ量を閾値ｔｈ１で割った値と比例するように決定してもよい。交差点のぼけ量が閾値ｔｈ１よりも大きい場合には、ユーザは、交差点に表示される表示情報が十分に視認していないと推定される。即ち、ユーザは、交差点に表示される表示情報に対する注意の度合いが低いと考えられる。

ステップＳ９０３からステップＳ９１１の間の処理を繰り返すことにより、注視度分布関数が生成される。

以上が、ステップＳ６１５の説明である。

次に、ステップＳ６１７において、注視度分布算出部１１ｄは、図３（Ｂ）に示すように、表示装置１３の画面１３ａに表示情報と共に、注視度分布関数に基づいて注視度分布をヒートマップとして表示する。

上述した本実施形態の装置１０によれば、表示装置１３の画面１３ａに表示されている表示情報に対するユーザの注意の度合いを正確に示す注視度分布を、ヒートマップとして生成できる。これにより、ユーザの表示情報に対する注意の度合いを正確に視覚化することができる。

次に、上述した情報処理装置の動作の他の実施形態を、図１０〜図１７を参照しながら以下に説明する。他の実施形態について特に説明しない点については、上述の動作の第１実施形態に関して詳述した説明が適宜適用される。また、同一の構成要素には同一の符号を付してある。

まず、装置１０の第２実施形態の動作を、以下に説明する。

図１０は、本明細書に開示する第２実施形態の情報処理装置の表示装置の画面に表示される表示情報を示す図である。

本実施形態の装置１０は、表示装置１３の画面１３ａに表示情報として文章を表示しているが、視認度分布の求め方が、上述した第１実施形態とは異なる。

本実施形態でも、装置１０は、図６に示すフローチャートに従って注視度分布関数を求めるが、上述した第１実施形態とは異なるステップの処理について、以下に説明する。

まず、ステップＳ６０１〜ステップＳ６０３の処理は、上述した第１実施形態と同様である。

次に、ステップＳ６０５において、視認度分布算出部１１ｂは、表示装置１３の画面１３ａに表示されている表示情報を取得する。視認度分布算出部１１ｂは、情報表示部１１ａから、画面１３ａに表示される単語、単語が表示されている画面１３ａ内の位置、単語を形成する文字のサイズの情報を受け取る。

まず、図１１（Ａ）に示すように、視認度分布算出部１１ｂは、画面１３ａに表示される文章を形成する各単語の難易度を求める。単語の難易度は、一般の文章中にその単語の現れる頻度である。頻度が低い程高い値となり、難易度の高い単語となる。視認度分布算出部１１ｂは、例えば、メモリ１２に記憶されている単語と単語の難易度とが関連づけられた表を参照して、各単語の難易度を数値として求める。

そして、図１１（Ｂ）に示すように、視認度分布算出部１１ｂは、画面１３ａに表示される文章を形成する各単語の文字のサイズを求める。

そして、視認度分布算出部１１ｂは、下記式（４）を用いて、画面１３ａにおける各単語が表示される位置の視認度Ｖを求めて、視認度分布を生成する。単語が表示されない領域の視認度Ｖはゼロである。

図１２は、画面１３ａ上の視認度分布を示す。なお、視認度分布算出部１１ｂは、単語の難易度の組み合わせ（例えば、「Ｔｈｉｓ is」の単語の難易度の組み合わせは、「Ｔｈｉｓ」の難易度と、「ｉｓ」の難易度との和で表される)に基づいて視認度分布を求めてもよい。

ステップＳ６０９〜ステップＳ６１３の処理は、上述した第１実施形態と同様である。

次に、ステップＳ６１５において、プロセッサ１１の注視度分布算出部１１ｄは、表示装置１３の画面１３ａ上の位置ごとに注視度分布関数の分布幅及び重みを求めて、注視度分布関数を生成する。

ステップＳ６１５の処理を、図１３に示すフローチャートを参照しながら、以下に説明する。

注視度分布算出部１１ｄは、ステップＳ１３０１からステップＳ１３１１の間の処理を、画面１３ａ上の交差点ごとに行う。

ステップＳ１３０３において、注視度分布算出部１１ｄは、交差点に対する注視時間が、係数Ａ１と交差点の視認度Ｖとの積よりも小さいか否かを判断する。ユーザの注視時間は、一般に１００〜５００ミリ秒である。係数Ａ１は、数Ａ１と視認度Ｖとの積が、このような注視時間に対して、大きくなるように決定され得る。注視度分布算出部１１ｄは、ユーザが交差点を含む所定の領域内に継続して視線を向けている複数の画像の枚数と、画像の撮像間隔との積として、注視時間を求め得る。そして、注視度分布算出部１１ｄは、注視時間を求めるのに使用される複数の画像それぞれに基づいて求められた交差点に対して、求められた注視時間を、交差点に対する注視時間として用いる。

本実施形態では、交差点の近傍は、ユーザの眼の中心視覚が交差点の向けられている時に、ユーザの眼の周辺視覚により視覚可能な範囲を含む。

交差点に対する注視時間が、係数Ａ１と交差点の視認度Ｖとの積よりも小さい場合（ステップＳ１３０３−Ｙｅｓ）には、注視度分布関数の重みをゼロに決定する（ステップＳ１３０５）。交差点に対する注視時間が、係数Ａ１と交差点の視認度Ｖとの積よりも小さい場合には、ユーザは、交差点に表示される表示情報を十分に視認していないと推定される。即ち、ユーザは、交差点に表示される表示情報に対する注意の度合いが低いと考えられる。そして、注視度分布算出部１１ｄは、次の交差点の処理に移る。

一方、注視度分布算出部１１ｄは、交差点に対する注視時間が、係数Ａ１と交差点の視認度Ｖとの積以上の場合（ステップＳ１３０３−Ｎｏ）には、交差点における注視度分布関数の重みを、注視時間と視認度Ｖとの積に決定する（ステップＳ１３０７）。交差点に対する注視時間が、係数Ａ１と交差点の視認度Ｖとの積以上の場合には、ユーザは、交差点に表示される表示情報を視認していると推定される。即ち、ユーザは、交差点に表示される表示情報に対する注意の度合いが高いと考えられる。

次に、ステップＳ１３０９において、注視度分布算出部１１ｄは、注視度分布関数の分布幅σ_ｘを、係数Ａ２と文字のサイズとの積に決定し、分布幅σ_ｙを、文字の高さを係数Ａ３で割った商に決定する。係数Ａ２は、６σ_ｘが文字の大きさをカバーするように決定され得る。係数Ａ３は、６σ_ｙが文字の高さをカバーするように決定され得る。

ステップＳ１３０１からステップＳ１３１１の間の処理を繰り返すことにより、注視度分布関数が生成される。

以上が、ステップＳ６１５の説明である。

ステップＳ６１７の処理は、上述した第１実施形態と同様である。

上述した本実施形態の装置１０によれば、上述した第１実施形態と同様の効果が奏される。

次に、装置１０の第３実施形態の動作を、以下に説明する。

本実施形態では、表示情報が文字ではない画像（例えば、写真又は絵）であることが、上述した第１実施形態とは異なる。

次に、ステップＳ６０５において、視認度分布算出部１１ｂは、表示装置１３の画面１３ａに表示されている表示情報を取得する。視認度分布算出部１１ｂは、情報表示部１１ａから、画面１３ａに表示される画像、画像が表示されている画面１３ａ内の位置の情報を受け取る。

ステップＳ６０７の処理を、図１４に示すフローチャートを参照しながら、以下に説明する。

まず、ステップＳ１４０１において、図１５（Ａ）に示すように、視認度分布算出部１１ｂは、画面を複数の領域Ｒに分割して、各領域Ｒの画像を抽出する。一の領域の大きさとして、例えば、２００画素×２００画素とすることができる。

次に、ステップＳ１４０３において、視認度分布算出部１１ｂは、各領域Ｒにおいて、画像のぼけ量ＩＤと、画像のずれ量ｄとの関係を求める。

図１５（Ａ）に示すように、視認度分布算出部１１ｂは、一の領域Ｒにおいて、ユーザの右眼の画像Ｇｒと、左眼の画像Ｇｌを求める。例えば、右眼の画像Ｇｒとして、領域Ｒの中心を右眼の交差点（左側の十字の位置）として、中心視覚及び周辺視覚により視認可能な範囲の画像とする。そして、右眼の交差点に対して水平方向にずれ量ｄ離れた位置を、ユーザの左眼の交差点（右側の十字の位置）として、中心視覚及び周辺視覚により視認可能範囲の画像とする。ずれ量ｄは、例えば、上述した第１実施形態のステップＳ８０１と同様にして求めることができる。

そして、視認度分布算出部１１ｂは、下記式（５）を用いて、各領域Ｒに対する画像のぼけ量ＩＤを求める。式（５）において、Ｉ_Ｒ（ｘ、ｙ）は、右眼の画像Ｇｒ内の画素の位置（ｘ、ｙ）の輝度であり、Ｉ_Ｌ（ｘ、ｙ）は、左眼の画像Ｇｌ内の画素の位置（ｘ、ｙ）の輝度であり、ＰＮは、領域Ｒ内の画素数である。

そして、図１５（Ｂ）のグラフに示すように、画像のぼけ量ＩＤとずれ量ｄとの関係が得られる。

次に、ステップＳ１４０５において、視認度分布算出部１１ｂは、各領域Ｒの第１閾値ｔｈ１及び第２閾値ｔｈ２を決定する。第１閾値ｔｈ１は、領域Ｒ内の画像が鮮明に視認可能な最大のぼけ量である。第２閾値ｔｈ２は、ぼけ量がそれ以上大きくなると、領域Ｒ内の画像を視認できなくなるぼけ量である。

第１閾値ｔｈ１は、例えば、領域Ｒ内の画像に対してエッジ検出を行ってエッジの位置を求め、エッジに囲まれる領域の寸法を取得する。そして、エッジに囲まれる領域の寸法の所定の割合（例えば、１／１０〜３／１０）を、第１閾値ｔｈ１とすることができる。第２閾値ｔｈ２は、例えば、エッジに囲まれる領域の寸法の他の所定の割合（例えば、４／１０〜６／１０）とすることができる。

そして、視認度分布算出部１１ｂは、領域Ｒごとに求めた第１閾値ｔｈ１及び第２閾値ｔｈ２を視認度として、視認度分布を生成する。本実施形態では、視認度分布は、画面の位置ごとに２つの第１閾値ｔｈ１及び第２閾値ｔｈ２の値を、視認度として有する。

ステップＳ６１５の処理を、図１６に示すフローチャートを参照しながら、以下に説明する。

注視度分布算出部１１ｄは、ステップＳ１６０１からステップＳ１６１５の間の処理を、ユーザの視線と画面１３ａの交差点ごとに行う。

まず、ステップＳ１６０３において、注視度分布算出部１１ｄは、表示情報と、交差点を含む注視情報に基づいて、交差点の画像のぼけ量ＩＤを求める。注視度分布算出部１１ｄは、ユーザの画面１３ａに対する交差点ごとに、ステップＳ１４０３と同様の処理を行って、交差点の画像のぼけ量ＩＤを求める。

次に、ステップＳ１６０５において、注視度分布算出部１１ｄは、交差点の画像のぼけ量ＩＤ（ユーザから見た画面の実際のぼけ量）が、第２閾値ｔｈ２（ユーザから見た画面の推定される第２のぼけ量）よりも大きいか否かを判断する。注視度分布算出部１１ｄは、画像のぼけ量ＩＤが第２閾値ｔｈ２よりも大きい場合（ステップＳ１６０５−Ｙｅｓ）には、注視度分布関数の分布幅及び重みをゼロに設定する（ステップＳ１６０７）。画像のぼけ量ＩＤが第２閾値ｔｈ２よりも大きい場合には、ユーザは、交差点に表示される表示情報を視認していないと推定される。即ち、ユーザは、交差点に表示される表示情報に対する注意の度合いが低いと考えられる。そして、注視度分布算出部１１ｄは、次の交差点の処理に移る。

一方、画像のぼけ量ＩＤが第２閾値ｔｈ２以下の場合（ステップＳ１６０５−Ｎｏ）には、注視度分布算出部１１ｄは、交差点の画像のぼけ量ＩＤが、第１閾値ｔｈ１（ユーザから見た画面の推定される第１のぼけ量）よりも大きいか否かを判断する（ステップＳ１６０９）。注視度分布算出部１１ｄは、画像のぼけ量ＩＤが第１閾値ｔｈ１以下の場合（ステップＳ１６０９−Ｎｏ）には、交差点における注視度分布関数の分布幅及び重みを初期値に設定する（ステップＳ１６１１）。画像のぼけ量ＩＤが第１閾値ｔｈ１以下の場合には、ユーザは、交差点に表示される表示情報を十分に視認していると推定される。即ち、ユーザは、交差点に表示される表示情報に対する注意の度合いが高いと考えられる。

また、注視度分布算出部１１ｄは、画像のぼけ量ＩＤが第１閾値ｔｈ１よりも大きい場合（ステップＳ１６０７−Ｙｅｓ）には、注視度分布関数の分布幅及び重みを、画像のぼけ量に応じて、初期値よりも低減するように決定する（ステップＳ１６１３）。画像のぼけ量ＩＤが第１閾値ｔｈ１と第２閾値ｔｈ２との間にある場合には、ユーザは、交差点に表示される表示情報をある程度視認していると推定される。即ち、ユーザは、交差点に表示される表示情報に対する注意の度合いが中程度であると考えられる。

ステップＳ１６０１からステップＳ１６１５の間の処理を繰り返すことにより、注視度分布関数が生成される。

以上が、ステップＳ６１５の説明である。

また、本実施形態の装置１０の動作例では、視認度分布及び注視度分布を求める時に、画像のぼけ量ＩＤ（上記式(５)参照）を用いたが、図１７に示すように、左右の眼の画像のずれ量ｄと、画像の特徴的な高さｈとを用いて、文字ではない画像のぼけ量は、下記式（６）により定義してもよい。

上記式（６）で表される文字ではない画像のぼけ量を用いて視認度分布及び注視度分布を求める方法は、上述した第１実施形態において、文字のぼけ量を用いて視認度分布及び注視度分布を求めるのと同様である。

本発明では、上述した実施形態の情報処理コンピュータプログラム、情報処理装置及び情報処理方法は、本発明の趣旨を逸脱しない限り適宜変更が可能である。また、一の実施形態が有する構成要件は、他の実施形態にも適宜適用することができる。

例えば、上述した動作の第１実施形態及び第２実施形態は、表示情報が文字であり、動作の第３実施形態では、表示情報が文字ではない画像であったが、表示情報は、文字及び文字ではない画像を含んでいてもよい。例えば、視認度分布算出部１１ｂ及び注視度分布算出部１１ｄは、情報表示部１１ａから、画面１３ａに表示されている表示情報を受け取る時に、文字の情報であるのか、又は文字ではない画像の情報であるのかを示す識別情報を受け取る。この識別情報に基づいて、視認度分布算出部１１ｂ及び注視度分布算出部１１ｄは、表示情報が文字であるか又は文字ではない画像であるかを識別できる。

ここで述べられた全ての例及び条件付きの言葉は、読者が、発明者によって寄与された発明及び概念を技術を深めて理解することを助けるための教育的な目的を意図する。ここで述べられた全ての例及び条件付きの言葉は、そのような具体的に述べられた例及び条件に限定されることなく解釈されるべきである。また、明細書のそのような例示の機構は、本発明の優越性及び劣等性を示すこととは関係しない。本発明の実施形態は詳細に説明されているが、その様々な変更、置き換え又は修正が本発明の精神及び範囲を逸脱しない限り行われ得ることが理解されるべきである。

１０情報処理装置
１１プロセッサ
１１ａ情報表示部
１１ｂ視認度分布算出部
１１ｃ交差点検出部
１１ｄ注視度分布算出部
１２メモリ
１２ａプログラム
１２ｂ表示情報データ
１２ｃ視線情報データ
１２ｄ記憶媒体
１３表示装置（表示部）
１３ａ画面
１４入力インターフェース
１５視線情報検知装置
１５ａ赤外発光ダイオード
１５ｂカメラ（撮像部）
１６通信インターフェース

Claims

表示部の画面に対するユーザの視線位置を検出し、
検出した前記視線位置、または前記視線位置の近傍に表示される表示情報に基づいて、前記ユーザの注意の度合いを示す注視度分布の分布幅を決定して、前記画面に対する前記注視度分布を生成する、
処理をプロセッサに実行させるコンピュータプログラム。
前記ユーザの視線位置を検出することは、
撮像部により生成されたユーザの眼を含む複数の画像のそれぞれに基づいてユーザの視線方向を検出し、
前記複数の画像のそれぞれについて、検出されたユーザの視線方向に基づいて、ユーザの視線と表示部の画面との交差点を前記ユーザの視線位置として検出することを含み、
前記注視度分布を生成することは、
前記交差点ごとに、前記画面上の当該交差点又は当該交差点の近傍に表示される表示情報に基づいて、当該交差点における前記注視度分布の分布幅を決定することを含む、請求項１に記載のコンピュータプログラム。
前記複数の画像のそれぞれについて、
ユーザの眼と前記画面間の距離及びユーザの眼からユーザの眼の焦点までの距離を求め、
ユーザの眼と前記画面間の距離と、ユーザの眼からユーザの眼の焦点までの距離との差である焦点ずれ量を求め、
前記交差点ごとに、前記焦点ずれ量と、前記画面上の当該交差点又は当該交差点の近傍に表示される前記表示情報とに基づいて、前記注視度分布の分布幅を決定することを、プロセッサに実行させる、請求項２に記載の情報処理コンピュータプログラム。
前記交差点のそれぞれについて、ユーザが前記交差点を含む所定の領域内に継続して視線を向けている注視時間を求め、前記注視時間と、前記画面上の当該交差点又は当該交差点の近傍に表示される前記表示情報とに基づいて、前記注視度分布の分布幅を決定することを、プロセッサに実行させる、請求項２に記載の情報処理コンピュータプログラム。
前記表示情報に基づいて、前記画面上の位置ごとに前記表示情報に対する視認の難易度を示す視認度分布を作成し、
前記交差点ごとに、前記視認度分布で表される当該交差点における視認の難易度と、前記画面上の当該交差点又は当該交差点の近傍に表示される前記表示情報とに基づいて、前記注視度分布の分布幅を決定することを、プロセッサに実行させる請求項２に記載の情報処理コンピュータプログラム。
前記交差点ごとに、
前記視認度分布で表される当該交差点における視認の難易度に基づいて、当該交差点（における、ユーザから見た画面の推定されるぼけ量を求め、
前記画面上の当該交差点又は当該交差点の近傍に表示される前記表示情報に基づいて、前記交差点における、ユーザから見た画面の実際のぼけ量を求め、
前記推定されるぼけ量と前記実際のぼけ量とを比較して、前記注視度分布の分布幅を決定することを、プロセッサに実行させる請求項５に記載の情報処理コンピュータプログラム。
前記交差点ごとに、前記画面上の当該交差点又は当該交差点の近傍に表示される前記表示情報に基づいて、前記交差点における前記注視度分布の重みを決定することを、プロセッサに実行させる請求項２〜６の何れか一項に記載の情報処理コンピュータプログラム。
表示部の画面に対するユーザの視線位置を検出する検出部と、
検出した前記視線位置、または前記視線位置の近傍に表示される表示情報に基づいて、前記ユーザの注意の度合いを示す注視度分布の分布幅を決定して、前記画面に対する前記注視度分布を生成する注視度分布算出部と、
を有する処理部と、
を備える情報処理装置。
処理部が、表示部の画面に対するユーザの視線位置を検出することと、
前記処理部が、検出した前記視線位置、または前記視線位置の近傍に表示される表示情報に基づいて、前記ユーザの注意の度合いを示す注視度分布の分布幅を決定して、前記画面に対する前記注視度分布を生成することと、
を含む情報処理方法。