JP2001134371A - 視線検出装置 - Google Patents

Abstract

(57)【要約】 【課題】 視線入力が困難になった場合に行う再キャリ
ブレーションを、簡易的なキャリブレーションで十分に
対応可能とする視線検出装置を提供する。 【解決手段】 この発明の視線検出装置は、再キャリブ
レーション指示を受けると、位置が既知である複数個の
標準点のうちのいずれか１点でのキャリブレーションを
行い、検出対象の眼球のある頭部の動きに起因する誤差
を求め、この求めた誤差に基づいて視線検出結果の位置
ずれを補正するずれ補正部２Ｃを備えている。これによ
り、複数個の標準点のうちのいずれか１点のキャリブレ
ーションをやり直すだけで、現状に応じた適切な値の相
関係数を求め直して視線検出結果の位置ずれを補正する
ことができるので、従来に比べて、短時間で再キャリブ
レーションでき、使用者に快適な操作性を提供すること
ができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、光学式撮像手段
で取り込んだ眼球画像から眼球の視線位置（視線方向）
を検出する視線検出装置に係り、特に、この種の視線検
出装置が用いられるヘッドマウントディスプレイなどで
の視線入力が困難になった場合に行う再キャリブレーシ
ョンを、簡易的なキャリブレーションで十分に対応可能
とする技術に関する。

【０００２】

【従来の技術】従来の視線検出装置としては、使用者の
眼球に赤外光を照射し、撮像光学系を用いて眼球画像を
取り込み、取り込んだ眼球画像を解析して眼球の視線位
置を検出するものがある。取り込んだ眼球画像の代表的
な解析手法（アルゴリズム）としては、瞳孔中心法と瞳
孔−角膜反射法とが特に有用とされている。前者の瞳孔
中心法は、視線位置の変化による眼球の回転に応じて瞳
孔中心が移動することを利用しており、瞳孔の中心位置
を測定して単純に視線位置を求める手法である。また、
後者の瞳孔−角膜反射法は、角膜表面の光反射で生じる
虚像（反射像）が視線位置の変化による眼球の回転に応
じて移動することを利用しており、角膜表面の虚像の中
心位置と瞳孔中心位置を測定して両位置の関係から視線
位置を求める手法である。

【０００３】瞳孔中心法の場合では、視線位置の変化に
伴う瞳孔中心位置の移動量が大きいので、視線位置が検
出し易いという利点がある。瞳孔−角膜反射法の場合で
は、眼球の回転による瞳孔中心位置の移動と頭部の動き
による瞳孔中心位置の移動とをある程度分離することが
できるので、頭部が完全に固定されていなくても視線位
置が検出できるという利点がある。

【０００４】いずれの解析手法においても、例えば、注
視対象物をパーソナルコンピュータとした場合には、ス
クリーン上の既知の異なった位置に複数個の標準点（視
標）を表示し、各々の標準点を注視した際の眼球画像上
での瞳孔中心位置を検出し、実際の視線方向と取り込ん
だ眼球画像上での瞳孔中心位置との相関を求めて視線位
置のキャリブレーションを行っておき、前記キャリブレ
ーションによって得られた相関係数を用いて、取り込ん
だ眼球画像から視線方向を検出している。

【０００５】

【発明が解決しようとする課題】しかしながら、従来の
視線検出装置では、頭部の動きに起因する誤差によって
視線検出位置がずれてしまい視線入力が困難になると、
撮影された眼球画像から眼球の視線位置を特定するため
に用いられる相関係数を求め直すために、前述の複数個
の標準点全てについてキャリブレーション（全点キャリ
ブレーション）をやり直さなければならないという問題
がある。また、使用者は、全ての標準点を個別に注視し
て視線位置のキャリブレーションを行わなければなら
ず、負担がかかるという問題がある。

【０００６】具体的には、瞳孔中心法による検出方法の
場合では、検出はし易くても、眼球の回転による瞳孔中
心位置の移動と頭部の動きによる瞳孔中心位置の移動と
が分離できないので、頭部の動きがあると、これが誤差
となって視線位置を正確に検出することができず、全て
の標準点についてのキャリブレーションを再実行しなけ
ればならない。また、瞳孔−角膜反射法による検出方法
であっても、全点キャリブレーションを採用しているの
で、再キャリブレーションの際には、全ての標準点につ
いてのキャリブレーションを再実行しなければならな
い。

【０００７】この発明は、上記の事情に鑑み、視線入力
が困難になった場合に行う再キャリブレーションを、簡
易的なキャリブレーションで十分に対応可能とする視線
検出装置を提供することを課題とする。

【０００８】

【課題を解決するための手段】前記課題を解決するため
に、請求項１の発明に係る視線検出装置は、位置が既知
である複数個の標準点を個別に注視して視線位置のキャ
リブレーションを行っておき、光学式撮像手段により撮
影された眼球画像から眼球の視線位置の検出を行うよう
構成された視線検出装置において、再キャリブレーショ
ン指示を受けると前記複数個の標準点のうちのいずれか
１点でのキャリブレーションを行って検出対象の眼球の
ある頭部の動きに起因する誤差を求め、この求めた誤差
に基づいて視線検出結果の位置ずれを補正する補正手段
を備えていることを特徴とするものである。

【０００９】また、請求項２の発明の視線検出装置は、
請求項１に記載の視線検出装置において、視線位置の検
出結果が、コンピュータの入力操作用として利用される
よう構成されていることを特徴とするものである。

【００１０】また、請求項３の発明の視線検出装置は、
請求項２に記載の視線検出装置において、コンピュータ
からの指令に従って少なくとも入力操作用画面を表示す
るヘッドマウントディスプレイの前記入力操作用画面に
眼球の視線が向けられるよう構成されていることを特徴
とするものである。

【００１１】〔作用〕次に、この発明に係る視線検出装
置における作用を説明する。この視線検出装置により眼
球の視線位置（視線方向）を検出する場合は、最初に視
線位置のキャリブレーションを行っておき、このキャリ
ブレーションで求めた相関係数を用いて、取り込んだ眼
球画像から視線位置の検出を行う。

【００１２】具体的には、この視線位置のキャリブレー
ションは、位置が既知である複数個の標準点を個別に注
視した状態で眼球画像を光学式撮像手段により撮影して
取り込み、この取り込んだ眼球画像に対して瞳孔中心法
や瞳孔−角膜反射法などのアルゴリズムによる演算を実
施して視線検出結果を得て、位置が既知である複数個の
標準点と得られた視線検出結果とから、撮影された眼球
画像から眼球の視線位置を特定するための相関係数を求
める。このように視線位置の検出についての事前準備が
完了すると、求めておいた相関係数を用いて、光学式撮
像手段により撮影された眼球画像から眼球の視線位置の
検出を行う。

【００１３】仮に、検出対象の眼球のある頭部の動きに
よって生じる瞳孔中心位置の移動量が大きくなると、光
学式撮像手段で撮像した眼球の眼球画像を瞳孔中心法や
瞳孔−角膜反射法などのアルゴリズムによって演算して
得られた視線位置検出結果に誤差が生じてしまい、視線
入力が困難になり、キャリブレーションを再実行する必
要がある。

【００１４】そこで、この発明の視線検出装置では、再
キャリブレーション指示を受けると前記複数個の標準点
のうちのいずれか１点でのキャリブレーションを行い、
検出対象の眼球のある頭部の動きに起因する誤差を求
め、この求めた誤差に基づいて視線検出結果の位置ずれ
を補正する。つまり、前述の頭部の動きは、ヘッドマウ
ントディスプレイに対して平行的な移動である場合が殆
どであるので、複数個の標準点のうちのいずれか１点の
キャリブレーションをやり直し、この同一標準点での前
回と今回のキャリブレーションでのデータ変化量を求め
る。このデータ変化量は、頭部の動きに起因する誤差を
示すものである。複数個の標準点における相対関係につ
いては、最初の全点キャリブレーションで取得済みであ
り、頭部の動きを平行的な移動であるとしていることか
ら、残りの標準点についてもこの変化量を有するものと
して相関係数を求め直すことで、現状に応じた適切な値
の相関係数を求め直すことができ、頭部の動きに起因す
る誤差を取り除くように視線検出結果の位置ずれを補正
することになり、正確な視線位置が求出される。

【００１５】また、請求項２の視線検出装置の場合、正
確に検出される視線位置に従って、コンピュータの入力
操作が間違いなく実行される。また、このコンピュータ
の入力操作において、視線位置にずれが生じて再キャリ
ブレーションしなければならない場合でも、再キャリブ
レーションを短時間で行うことができ、使用者に快適な
操作性を提供することができる。

【００１６】また、請求項３の視線検出装置の場合、コ
ンピュータからの指令に従ってヘッドマウントディスプ
レイに表示される入力操作用画面に向けられたコンピュ
ータ・オペレータの眼球の視線でもって、表示中の入力
操作用画面からコンピュータ操作のための入力が行われ
る。

【００１７】

【発明の実施の形態】続いて、この発明の一実施例を図
面を参照しながら説明する。図１は視線検出装置の一例
を用いたコンピュータコミュニケーションシステムの全
体構成を示すブロック図である。また、図１のシステム
中に配設されている視線検出装置２は、視線位置（視線
方向）を検出する装置である。

【００１８】実施例のコンピュータコミュニケーション
システムは、オペレータＭの眼球画像を撮影する光学式
撮像機器１と、光学式撮像機器１により撮影されたオペ
レータＭの眼球画像に基づいて眼球の視線位置を検出す
るよう構成さた視線検出装置２と、視線検出装置２によ
る視線位置の検出結果に従って入力操作がなされるパー
ソナルコンピュータ３と、パーソナルコンピュータ３か
らの指令に従って少なくとも入力操作用画面が表示され
るヘッドマウントディスプレイ（ＨＭＤ）４とを備えて
おり、ヘッドマウントディスプレイ４の入力操作用画面
に向けられたオペレータＭの眼球の視線位置が視線検出
装置２により検出されるとともに、検出された視線位置
に従ってパーソナルコンピュータ３に対して入力操作が
なされてオペレータＭとコンピュータ３の間でコミュニ
ケーションが行われる構成となっている。

【００１９】以下、実施例のコンピュータコミュニケー
ションシステムの各部の構成を具体的に説明する。

【００２０】光学式撮像機器１は、ヘッドマウントディ
スプレイ４に設置されている赤外光源１Ａとハーフミラ
ー１ＢおよびＣＣＤカメラ１Ｃとからなり、赤外光源１
Ａの照射光で照らされたオペレータＭの眼球がハーフミ
ラー１Ｂを介してＣＣＤカメラ１Ｃで撮影される。撮影
された眼球画像はＣＣＤカメラ１Ｃから視線検出装置２
へ送出される。なお、光学式撮像機器１は左右両眼用に
一対に設けられている。

【００２１】ヘッドマウントディスプレイ４は、これを
装着するオペレータＭに入力操作用画面を提供するＬＣ
Ｄ（液晶表示装置）４Ａと、表示用光学系４Ｂおよび一
対のハーフミラー４Ｃが左右両眼用にそれぞれ設けられ
た公知のものである。ＬＣＤ４Ａにはパーソナルコンピ
ュータ３から画像信号が提供され、オペレータＭの眼前
に入力操作用画面が拡大表示される。入力操作用画面に
は操作キーやアイコン等の像が所定の位置に映し出され
る。ヘッドマウントディスプレイ４による拡大表示の場
合、視野角が拡大して、注視点の移動時におけるオペレ
ータの視線の移動量が大きくなるので、視線位置の検出
精度が向上する利点がある。

【００２２】視線検出装置２は、取り込んだ眼球画像を
予め設定した「しきい値」に従って３値化処理して３値
化画像を得る３値化回路２Ａと、３値化画像から瞳孔中
心位置を算出する瞳孔抽出部２Ｂとを備えており、新た
に眼球画像が一つ取り込まれると、瞳孔中心位置が直ち
に求められる構成となっている。なお、３値化画像にお
いては、最も暗い領域が瞳像で、最も明るい領域が反射
像に対応する。

【００２３】さらに、この瞳孔抽出部２Ｂには、再キャ
リブレーション指示を受けると、位置が既知である複数
個の標準点のうちのいずれか１点でのキャリブレーショ
ンを行い、検出対象の眼球のある頭部の動きに起因する
誤差を求め、この求めた誤差に基づいて視線検出結果の
位置ずれを補正するずれ補正部２Ｃが設けられている。

【００２４】また、この視線検出装置２は、視線位置の
キャリブレーション時において瞳孔抽出部２Ｂで求めら
れた相関係数を保存するデータ保存部２Ｄと、眼球画像
から瞳孔中心法のアルゴリズムに従って相関係数を用い
て視線位置を算出する瞳孔中心法演算部２Ｅとを備えて
いる。つまり、瞳孔中心法演算部２Ｅは、瞳孔抽出部２
Ｂにより求められた瞳孔中心位置から比較的単純に視線
位置を算出する。

【００２５】この瞳孔中心法演算部２Ｅにより算出され
た視線位置は、ヘッドマウントディスプレイ４において
表示される入力操作用画面に対応するものである。すな
わち、予め入力操作用画面の全ての標準点に対して視線
位置のキャリブレーションが行われて、瞳孔中心法演算
部２Ｅにより算出された視線位置が入力操作用画面上の
注視点に対応付けられる構成となっている。

【００２６】具体的には、図２に示すように、入力操作
用画面ＰＡにおいて位置が既知である上下左右の４つの
標準点Ｐａ〜Ｐｄを順に眼球が注視して視線が各標準点
Ｐａ〜Ｐｄのそれぞれにある時の眼球画像上での瞳孔中
心位置を求めた後、さらに入力操作用画面ＰＡにおける
４つの標準点Ｐａ〜Ｐｄの座標とその瞳孔中心位置とか
ら相関係数を予め求めておく。この相関係数に従って実
測時の瞳孔中心位置を入力操作用画面の上で対応する視
線位置に変換する。なお、実施例の入力操作用画面の場
合、左上を原点とするＸＹ直交座標で視線位置を示す構
成になっている。

【００２７】瞳孔中心法演算部２Ｅでは、より具体的に
は、図３に示すように、眼球画像ＰＢの上での瞳孔中心
位置ＰｓがＰｓ＝（ｘｇ，ｙｇ）である場合、次に示す
演算式（１）に従って、図２に示すように、入力操作用
画面ＰＡにおける視線位置Ｐｔ＝（Ｘｗ，Ｙｗ）が算出
される。なお、演算式（１）のＡＢＣＤを要素とするマ
トリックスは、前述のように入力操作用画面ＰＡにおけ
る４つの標準点Ｐａ〜Ｐｄをキャリブレーションするこ
とで求められ、眼球画像ＰＢの上での瞳孔中心位置Ｐｓ
と入力操作用画面ＰＡの上での視線位置Ｐｔとの間の相
関関係（対応関係）を示す相関係数である。

【００２８】

【数１】

【００２９】ここで仮に、頭部の動きによって生じる瞳
孔中心位置の移動量が大きくなると、光学式撮像手段で
撮像した眼球の眼球画像から演算した視線位置検出結果
に誤差が生じてしまい、視線入力が困難になる。ずれ補
正部２Ｃは、オペレータＭが一定時間の間（例えば、数
秒間）にわたって眼を閉じることで発令される再キャリ
ブレーション指示を受けると、図２に示した入力操作用
画面ＰＡの４つの標準点Ｐａ〜Ｐｄのうちで例えば標準
点Ｐａの１点についてのみキャリブレーションを行う。
この標準点Ｐａの１点についてのみ前回と今回のキャリ
ブレーションでの瞳孔中心位置のデータ変化量（移動
量）を求める。例えば、前回の瞳孔中心位置は（ｘａ，
ｙａ）で、今回の瞳孔中心位置は（ｘａ’，ｙａ’）で
あったとすると、瞳孔中心位置の移動量ΔＰ（Δｘ，Δ
ｙ）＝（ｘａ’−ｘａ，ｙａ’−ｙａ）となり、現在の
瞳孔中心位置は、前回の瞳孔中心位置から瞳孔中心位置
の移動量ΔＰだけズレていることになる。なお、ｘａ’
−ｘａ＝Δｘ，ｙａ’−ｙａ＝Δｙであり、また移動量
ΔＰ＝（Δｘ，Δｙ）は座標の向きに応じて正または負
の数値となる。４つの標準点Ｐａ〜Ｐｄの相対関係につ
いては、最初の全点キャリブレーションで取得済みであ
り、頭部の動きを平行的な移動であるとしていることか
ら、残りの標準点Ｐｂ〜Ｐｄについてもこの移動量ΔＰ
＝（Δｘ，Δｙ）を有するものとして次の演算式（２）
〜（５）に従って相関係数を求め直す。

【００３０】

【数２】

【００３１】

【数３】

【００３２】

【数４】

【００３３】

【数５】

【００３４】なお、図２に示した入力操作用画面ＰＡの
各標準点Ｐａ〜Ｐｄの位置は、前記の演算式（２）〜
（５）に示すように、それぞれ（Ｘａ，Ｙａ），（Ｘ
ｂ，Ｙｂ），（Ｘｃ，Ｙｃ），（Ｘｄ，Ｙｄ）と既知で
ある。また、標準点Ｐｂ〜Ｐｄの前回の瞳孔中心位置
は、前述の標準点Ｐａの場合と同様に前回のキャリブレ
ーションで取得済みであり、それぞれ（ｘｂ，ｙｂ），
（ｘｃ，ｙｃ），（ｘｄ，ｙｄ）である。

【００３５】このように求め直された相関係数は、デー
タ保存部２Ｄに出力されて記憶される。瞳孔中心法演算
部２Ｅでは、データ保存部２Ｄに記憶された最新の相関
係数を用いて、取り込んだ眼球画像から視線位置を演算
して求め、この求めた視線位置をパーソナルコンピュー
タ３へ送出する。

【００３６】また、視線検出装置２は、瞳孔抽出部２Ｂ
による検出結果からオペレータＭが瞬きしたことや再キ
ャリブレーション指示を検知する瞬き検知部２Ｆを備え
ている。具体的には、瞬き検知部２Ｆでは、瞳孔抽出部
２Ｂで第１の検出時間Ｔ１（例えば、１秒以内）にわた
って瞳孔中心位置が算出できずこの瞳孔抽出部２Ｂから
検出結果が得られない場合はオペレータＭの眼に瞬きが
あったとして瞬きを検知し、第１の検出時間Ｔ１より長
い時間である第２の検出時間Ｔ２（例えば、数秒間）に
わたって瞳孔が中心位置が算出できない場合は再キャリ
ブレーション指示として検知する。瞬き検知部２Ｆは、
オペレータＭの眼の瞬きや再キャリブレーション指示を
検知すると、この検知内容に従って瞬きの発生や再キャ
リブレーションの発生を知らせる信号を直ちにパーソナ
ルコンピュータ３に送出する。

【００３７】一方、パーソナルコンピュータ３は瞳孔中
心法演算部２Ｅから送出された視線位置に従って、図４
に示すように、ヘッドウマントディスプレイ４の入力操
作用画面ＰＡに視線位置を示すカーソル状のマーカｍｋ
を重畳表示させる。マーカｍｋは、オペレータＭの視線
変化に従って入力操作用画面ＰＡの上を移動する構成に
なっている。他方、パーソナルコンピュータ３は、瞬き
検知部２Ｆから瞬き発生を知らせる信号を受信すると、
図５に示すように、マーカｍｋが位置する操作キー（又
はアイコン）ｎｋに対して入力操作が行われたと判断す
る。

【００３８】このように、実施例のシステムの場合、オ
ペレータＭは視線と瞬きでパーソナルコンピュータ３の
入力操作が行えるので、キーボードの操作が全く出来な
い重度の障害者でも寝たままでパーソナルコンピュータ
３とコミュニケーション（対話）することが可能とな
る。

【００３９】続いて、以上に述べた構成を有する実施例
のシステムによるコミュニケーションの実行プロセス
を、図面を参照しながら説明する。図６は実施例のシス
テムによるコミュニケーションの進行状況を示すフロー
チャートである。なお、以下では、オペレータＭにはヘ
ッドマウントディスプレイ４が装着されているとして、
このシステムの使用を最初から順に説明する。

【００４０】〔ステップＳ１〕最初に、入力操作用画面
ＰＡの上に表示される位置が既知である各標準点Ｐａ〜
Ｐｄを個別に注視して視線位置のキャリブレーションを
行う。具体的には、入力操作用画面ＰＡの上の各標準点
Ｐａ〜Ｐｄを個別に注視した状態で光学式撮像機器１に
よりオペレータＭの眼球を撮影して視線検出装置２へ眼
球画像を送り込む。この眼球画像に対して瞳孔中心法の
アルゴリズムによる演算を実施して視線検出結果を得
て、位置が既知である複数の標準点と得られた視線検出
結果とから、撮影された眼球画像から眼球の視線位置を
特定するための相関係数を求める。この相関係数は、演
算式（１）に示したＡＢＣＤを要素とするマトリックス
のことである。 〔ステップＳ２〕視線入力を行うことで、前記のステッ
プＳ１でのキャリブレーションの確認を行う。具体的に
は、前記のステップＳ１で求めた相関係数を用いて、光
学式撮像手段により撮影された眼球画像から、眼球の視
線位置の検出の確認を行う。この確認において、視線入
力が良好に実行できる、即ち視線位置検出結果が良好で
ある場合は、ステップＳ３に進む。それとは逆に、視線
入力が困難である、即ち視線位置検出結果が良好でない
場合は、ステップＳ１に戻り全標準点Ｐａ〜Ｐｄのキャ
リブレーションをやり直す。

【００４１】〔ステップＳ３〕視線入力によるコミュニ
ケーションを実行する。具体的には、光学式撮像機器１
によりオペレータＭの眼球を撮影して視線検出装置２へ
眼球画像を送り込む。３値化回路２Ａにより取り込まれ
た眼球画像が３値化された後、３値化画像から瞳孔抽出
部２Ｂにより瞳孔中心位置が求められる。データ保存部
２Ｄに記憶している相関係数を用いて、瞳孔中心法演算
部２Ｅにより瞳孔中心位置から視線位置が検出される。
瞳孔中心法演算部２Ｅにより求出された視線位置Ｐｔが
パーソナルコンピュータ３に送り込まれる。瞬き検知部
２ＦでオペレータＭの瞬きが検知された場合は、この瞬
き検知部２Ｆから瞬き発生を知らせる信号がパーソナル
コンピュータ３に送り込まれて視線位置に対応した入力
操作が実行される。

【００４２】〔ステップＳ４〕再キャリブレーション指
示の有無を検出する。再キャリブレーション指示が無い
場合は、視線入力によるコミュニケーションが良好な状
態であり、前記のステップＳ３のコミュニケーションを
継続できる。仮に、検出対象の眼球のある頭部の動きに
よって視線入力が困難になると、オペレータＭは第２の
検出時間Ｔ２の間（例えば、数秒間）にわたって眼を閉
じる。瞳孔抽出部２Ｂでは、オペレータＭの眼球の瞳孔
中心位置の算出を常時行っているが、第２の検出時間Ｔ
２の間にわたって瞳孔中心位置の算出ができず瞬き検知
部２Ｆに検出結果が出力できない。瞬き検知部２Ｆで
は、第２の検出時間Ｔ２にわたって瞳孔抽出部２Ｂから
検出結果を得られないことを検知し、再キャリブレーシ
ョン指示の発生を知らせる信号をパーソナルコンピュー
タ３に出力する。再キャリブレーション指示を受ける
と、簡易的なキャリブレーションを実行するステップＳ
５に進む。

【００４３】〔ステップＳ５〕簡易的なキャリブレーシ
ョンを実行して前記ステップＳ２に戻る。具体的には、
パーソナルコンピュータ３は、再キャリブレーション指
示を受けると、複数個の標準点Ｐａ〜Ｐｄのうちのいず
れか１点（例えば、標準点Ｐａ）を注視させるための入
力操作用画面を表示するようヘッドマウントディスプレ
イ４に指示する。オペレータＭは標準点Ｐａを注視し、
この標準点Ｐａでのキャリブレーションを行い、検出対
象の眼球のある頭部の動きに起因する誤差を求め、この
求めた誤差に基づいて視線検出結果の位置ずれを補正す
る。つまり、前述の頭部の動きは、ヘッドマウントディ
スプレイ４に対して平行的な移動である場合が殆どであ
るので、複数の標準点Ｐａ〜Ｐｄのうちのいずれか１点
（標準点Ｐａ）のキャリブレーションをやり直すこと
で、この同一標準点Ｐａでの前回と今回のキャリブレー
ションでのデータ変化量を求める。このデータ変化量
は、頭部の動きに起因する誤差を示すものである。複数
の標準点Ｐａ〜Ｐｄの相対関係については、最初の全点
キャリブレーションで取得済みである。残りの標準点Ｐ
ｂ〜Ｐｄについてもこの変化量を有するものとして相関
係数を求め直すことで、現状に応じた適切な値の相関係
数を求め直すことができ、頭部の動きに起因する誤差を
取り除くように視線検出結果の位置ずれを補正すること
になり、正確な視線位置が求められる。

【００４４】ステップＳ２では、視線入力を行うこと
で、この簡易的なキャリブレーションの確認を行う。具
体的には、簡易的なキャリブレーションで求めた相関係
数を用いて、光学式撮像手段により撮影された眼球画像
から、眼球の視線位置の検出の確認を行う。視線入力が
良好に実行できる、即ち視線位置検出結果が良好である
場合は、前記ステップＳ３に進み、視線入力によるコミ
ュニケーションが可能な状態となる。仮に、この簡易的
なキャリブレーションによっても視線入力が困難であ
る、即ち視線位置検出結果が良好でない場合は、前記の
ステップＳ１に戻り全標準点Ｐａ〜Ｐｄのキャリブレー
ションをやり直す。簡易的なキャリブレーションによっ
ても視線入力が困難であるときは、頭部の動きがヘッド
マウントディスプレイ４に対して平行的な移動ではなく
大きく回転した場合が考えられる。この場合は、前述の
全点キャリブレーションを行うことで良好な視線入力を
得ることができる。

【００４５】以上に述べたように、この実施例において
は、複数個の標準点Ｐａ〜Ｐｄのうちのいずれか１点の
キャリブレーションをやり直すだけで、現状に応じた適
切な値の相関係数を求め直すことができ、視線検出結果
の位置ずれを補正することができる。したがって、全て
の標準点Ｐａ〜Ｐｄを再キャリブレーションする必要が
なく、従来に比べて、余分な演算処理を削減することが
でき、短時間で再キャリブレーションでき、使用者に快
適な操作性を提供することができる。

【００４６】この発明は、上記実施の形態に限られるこ
とはなく、下記のように変形実施することができる。

【００４７】（１）実施例では、標準点を４つとしてい
るが、これ以外の複数個の標準点としてもよく、検出精
度をさらに向上させるために５つ以上の標準点を設定し
てもよい。また、上記実施例では、複数個の標準点Ｐａ
〜Ｐｄのうちの標準点Ｐａの１点でキャリブレーション
を再実行しているが、標準点Ｐｂ〜Ｐｄのいずれか１点
でキャリブレーションを再実行してもよい。

【００４８】（２）実施例では、図１に示すように瞳孔
中心法を用いた構成であったが、図７に示すように、３
値化画像から角膜表面に生じる反射像（虚像）の（中
心）位置を求める反射像抽出部２Ｇと、眼球画像から瞳
孔−角膜反射法のアルゴリズムに従って視線位置を求め
る角膜反射法演算部２Ｈとを備え、角膜反射法演算部２
Ｈは瞳孔抽出部２Ｂにより求められた瞳孔中心位置と反
射像抽出部２Ｇにより求められた反射像の位置とから視
線位置を算出する瞳孔−角膜反射法を用いた構成であっ
てもよい。

【００４９】（３）実施例では、眼球画像を３値化処理
する構成であったが、必要な位置検出が可能であるなら
眼球画像を２値化処理する構成を採用するようにしても
よい。

【００５０】（４）実施例では、瞬きのあったことで視
線位置の確定を行う構成であったが、スイッチ操作や視
線継続時間によって視線位置の確定を行う構成のもの
が、変形例として挙げられる。

【００５１】（５）実施例の場合、視線位置の検出結果
がコンピュータの入力操作に利用される構成であった
が、この発明においては、視線位置の検出結果はコンピ
ュータの入力操作以外のことに利用される構成であって
もよいし、単に視線位置の検出結果を求めるだけの構成
であってもよい。

【００５２】

【発明の効果】以上に詳述したように、請求項１の発明
の視線検出装置によれば、再キャリブレーション指示を
受けると、キャリブレーションで使用する位置が既知で
ある複数個の標準点のうちのいずれか１点についてキャ
リブレーションを行い、検出対象の眼球のある頭部の動
きに起因する誤差を求め、この求めた誤差に基づいて視
線検出結果の位置ずれを補正する補正手段を備えたこと
により、複数個の標準点のうちのいずれか１点のキャリ
ブレーションをやり直すだけで、現状に応じた適切な値
の相関係数を求め直して視線検出結果の位置ずれを補正
することができる。したがって、全ての標準点を再キャ
リブレーションする必要がなく、従来に比べて、短時間
で再キャリブレーションをすることができるので、使用
者に快適な操作性を提供することができる。

【００５３】また、請求項２の発明の視線検出装置によ
れば、常に正確に検出される視線位置がコンピュータの
入力操作用として利用される構成となっているので、正
確に検出される視線位置に従って、コンピュータの入力
操作が間違いなく実行される。また、このコンピュータ
の入力操作において、視線位置にずれが生じて再キャリ
ブレーションしなければならない場合でも、再キャリブ
レーションを短時間で行うことができ、使用者に快適な
操作性を提供することができる。

【００５４】また、請求項３の発明の視線検出装置によ
れば、コンピュータからの指令に従ってヘッドマウント
ディスプレイに表示される入力操作用画面に眼球の視線
が向けられる構成となっているので、ヘッドマウントデ
ィスプレイに表示中の入力操作用画面から眼球の視線で
もってコンピュータ操作のための入力を行うことが可能
となる。

【図面の簡単な説明】

【図１】この発明の視線検出装置の一例を用いたコンピ
ュータコミュニケーションシステムの全体構成を示すブ
ロック図である。

【図２】実施例のシステムのコンピュータの入力操作用
画面の一例を示す図である。

【図３】実施例の眼球画像における瞳孔中心位置の一例
を示す図である。

【図４】実施例のシステムのコンピュータの入力操作用
画面の他の例を示す図である。

【図５】図４に示した入力操作用画面の操作状態を示す
図である。

【図６】実施例のシステムによる動作進行状況を示すフ
ローチャートである。

【図７】図１とは別の視線検出装置を用いたコンピュー
タコミュニケーションシステムの全体構成を示すブロッ
ク図である。

【符号の説明】

１ …光学式撮像機器 ２ …視線検出装置 ２Ｂ …瞳孔抽出部 ２Ｃ …ずれ補正部 ２Ｄ …データ保存部 ２Ｅ …瞳孔中心法演算部 ３ …パーソナルコンピュータ ４ …ヘッドマウントディスプレイ ＰＡ …入力操作用画面 ＰＢ …眼球画像 Ｐａ〜Ｐｄ …標準点 Ｐｔ …視線位置 Ｍ …オペレータ

Claims (3)

【特許請求の範囲】
1. 【請求項１】 位置が既知である複数個の標準点を個別
   に注視して視線位置のキャリブレーションを行ってお
   き、光学式撮像手段により撮影された眼球画像から眼球
   の視線位置の検出を行うよう構成された視線検出装置に
   おいて、再キャリブレーション指示を受けると前記複数
   個の標準点のうちのいずれか１点でのキャリブレーショ
   ンを行って検出対象の眼球のある頭部の動きに起因する
   誤差を求め、この求めた誤差に基づいて視線検出結果の
   位置ずれを補正する補正手段を備えていることを特徴と
   する視線検出装置。
2. 【請求項２】 請求項１に記載の視線検出装置におい
   て、視線位置の検出結果がコンピュータの入力操作用と
   して利用されるよう構成されている視線検出装置。
3. 【請求項３】 請求項２に記載の視線検出装置におい
   て、コンピュータからの指令に従って少なくとも入力操
   作用画面を表示するヘッドマウントディスプレイの前記
   入力操作用画面に眼球の視線が向けられるよう構成され
   ている視線検出装置。