JPH0981309A

JPH0981309A - 入力装置

Info

Publication number: JPH0981309A
Application number: JP7235834A
Authority: JP
Inventors: Hisashi Kazama; 久風間; Kazunori Onoguchi; 一則小野口; Kazuhiro Fukui; 和広福井; Mayumi Yuasa; 真由美湯浅
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1995-09-13
Filing date: 1995-09-13
Publication date: 1997-03-28
Also published as: US6111580A

Abstract

(57)【要約】【課題】操作者が動作指示を要する機器を特定すること
により、操作者の意図的な行為に基づく指示を入力でき
る入力装置を提供すること。【解決手段】操作者の成す所定の行為を検出しその行為
に対応する指示を出力する入力装置において、前記操作
者の成す第１の行為に基づき前記操作者が操作対象に対
して注目状態にあることを検出する注目度検出手段（１
１）と、前記操作者の成す第２の行為に基づき前記操作
者による前記操作対象に対する動作指示を検出する動作
指示検出手段（１３）と、前記注目度検出手段（１１）
で注目状態にあることが検出された場合、前記動作指示
検出手段（１３）で検出された動作指示に対応する指示
を出力する指示出力手段と（１４）を具備。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば家庭電気機
器やオフィス機器等の動作指示を視線入力やジェスチャ
入力にて行なうのに適用される入力装置に関する。

【０００２】

【従来の技術】近年、家庭電気機器などをより手軽に操
作するために、機器への動作指示を操作者の視線、音
声、ジェスチャ等にて行なう入力装置のニーズが高まっ
てきている。操作者にとって使いやすいこれらの入力装
置は、将来家庭内やオフイス内に多数現われることが予
想されている。

【０００３】従来、この種の視線、音声、ジェスチャに
よる入力装置では、その入力に係る指示を操作者の単純
な動作にて行なうよう設定している。例えば視線を用い
た入力装置としては特開平０２−１７３６９６（画像表
示装置）に示されているコンピュータの画面のスクロー
ルを視線で指示する装置や、特開平０２−１７８７２１
（座標入力装置）に示されているディスプレイ内で操作
者が視線を向けている位置に自動的にカーソルを移動す
る装置等が考えられている。

【０００４】またその他の従来例としては、特開平０３
−８７８１８（視線で作動機能を選択できる装置：カメ
ラにおいてファインダ内の選択指標を注視すると指標が
点滅し、選択状況を確認できる。）、特開平０３−１０
７９３２（カメラの撮影制御装置：注視点の焦点位置お
よび測光情報を基にピント合わせ、絞りを制御す
る。）、特開平０３−１０７９３３（カメラの自動露出
制御装置：注視点から測光すべき領域を求める。）、特
開平０３−１０７９３４（視線信号を利用した露出制御
装置：注視点に合わせて露出制御を行なう。）等、注視
点の情報からカメラを制御する装置等がある。

【０００５】さらに、例えばジェスチャを用いた入力装
置の従来例としては、特開平０１−３１４３２０（手装
着型データ入力方式）に示されている手袋の表面に圧力
センサを取り付けて指相互で押し合うことによりデータ
入力を行なう装置や、特開平０１−１８８９２５（カー
ソル移動方法及びそのための慣性入力装置）に示されて
いる、手に加速度センサを付けてコンピュータのディス
プレイ上のカーソルを移動させる装置等がある。

【０００６】

【発明が解決しようとする課題】上述したような操作者
による動作指示を入力することにより操作を行なう機器
においては、一般にその機器への動作指示は簡易なもの
である。しかしその反面、検出される動作が単純である
ために操作者の無意識な動作にも反応してしまい、意図
しない動作をするといった弊害がある。例えば、操作者
の視線を検出してその注視点を求め、コンピュータディ
スプレイのカーソル位置やカメラの露出調整位置を制御
する機器の場合、操作者の“ぼーっと遠くを見る”、
“くしゃみや咳で頭が動く”、“声をかけられてあわて
て振り向く”等、不意にあるいは無意識に視線を動かし
てしまう動作にも反応することが数多くある。

【０００７】また、操作者の手の動きや体の動きをジェ
スチャ認識し動作する機器の場合、操作者の無意識の動
作が指示入力になり誤動作することがある。あるいは操
作者が手袋やボディースーツのような特殊な器具を付け
て指示入力する場合、その器具を装着し所定のスイッチ
をＯＮにしているときは操作者の全ての動作が入力対象
となってしまう。特に画像入力を利用した入力装置の場
合にその傾向が顕著であり、ＴＶカメラが操作者の姿を
撮像している間はその全ての動作が指示入力として検出
されることになる。

【０００８】上述したような入力装置は指示の入力動作
が単純であるため、操作者は機器に対する指示を簡易に
行なえるが、無意識な余計な動作をしないよう操作時に
緊張していなければならないという問題がある。しかし
ながら、逆に指示を意味する動作を不自然な特殊な動作
に設定してしまうと、簡易に指示することができなくな
り操作性が悪くなる。例えば、“何度もある一点を見な
いとカーソルが動かない装置”、“一つの指示動作を行
なう度に、所定のスイッチをＯＮにしないと認識しない
装置”等では、視線やジェスチャを用いて指示を簡易に
行なうという種の入力装置としての本来の目的を遂げら
れない。

【０００９】また、家庭内やオフイス内等にこの種の機
器が多数導入されるようになると、操作者の一つのジェ
スチャで異なる多数の機器が同時に動作してしまうこと
が考えられる。また、画像や遠隔センサ等を用いて視線
やジェスチャを認識する入力装置では、検出対象空間に
操作者が複数人いる場合や、操作者でない人間が存在す
る場合も考えられる。このような場合、各機器が操作者
の意図に反して動作する状況はますます増加すると考え
られる。

【００１０】また、上述したような人間の意図的な動作
を識別する手段としては、例えば予め設定した人間の声
にだけ反応する（話者識別）手段や、いくつかの所定の
指示（例えば複数のコマンドを入力する）を組み合わせ
てどの対象に対して何の指示を行なったのかを判別する
手段を組み合わせることも考えられる。しかしこのよう
な方法では、入力装置が話者識別のような高度な認識を
必要としたり、いくつかの指示を行なわないと機器が動
作しないことになり、結果的に操作者にとって極めて使
い勝手の悪い機器となってしまう。

【００１１】以上述べてきたように、視線入力やジェス
チャ認識を用いた機器においては操作者の意図しない動
作を防止する必要があり、かつ簡単な手段で意図した動
作だけを選択して認識する機能が、使いやすいヒューマ
ンインタフェースの実現のためには必要不可欠であると
いうことが明らかである。

【００１２】本発明の目的は、操作者が動作指示を要す
る機器を簡易に特定することにより、操作者の意図的な
行為に基づく指示を入力できる入力装置を提供すること
にある。

【００１３】

【課題を解決するための手段】上記課題を解決し目的を
達成するために、本発明の入力装置は以下の如く構成さ
れている。（１）本発明の入力装置は、操作者の成す所定の行為を
検出しその行為に対応する指示を出力する入力装置にお
いて、前記操作者の成す第１の行為に基づき前記操作者
が操作対象に対して注目状態にあることを検出する注目
度検出手段と、前記操作者の成す第２の行為に基づき前
記操作者による前記操作対象に対する動作指示を検出す
る動作指示検出手段と、前記注目度検出手段で注目状態
にあることが検出された場合、前記動作指示検出手段で
検出された動作指示に対応する指示を出力する指示出力
手段とから構成されている。（２）本発明の入力装置は上記（１）に記載の装置であ
って、かつ前記注目度検出手段における第１の行為は所
定箇所への注視であり、前記動作指示検出手段における
第２の行為は身体の動作である。（３）本発明の入力装置は上記（１）に記載の装置であ
って、かつ前記注目度検出手段における第１の行為は所
定箇所への注視であり、前記動作指示検出手段における
第２の行為は音声入力である。（４）本発明の入力装置は上記（１）に記載の装置であ
って、かつ前記注目度検出手段における第１の行為は所
定箇所への接触であり、前記動作指示検出手段における
第２の行為は視線方向の移動である。（５）本発明の入力装置は上記（１）に記載の装置であ
って、かつ前記注目度検出手段における第１の行為は音
声入力であり、前記動作指示検出手段における第２の行
為は身体の動作である。（６）本発明の入力装置は上記（１）〜（５）のいずれ
かに記載の装置であって、かつ前記注目度検出手段にお
いて注目状態にあることが検出された場合、その旨を出
力する手段を備える。

【００１４】上記手段（１）〜（６）を講じた結果、そ
れぞれ次のような作用が生じる。（１）本発明の入力装置は、操作者の成す第１の行為に
基づき注目度検出手段で注目状態にあることが検出され
た場合、前記操作者の成す第２の行為に基づき動作指示
検出手段で検出された動作指示に対応する指示を出力す
るので、操作者による前記第２の行為と同様な行為に基
づき動作を行なう機器が同一環境内に複数存在しても、
前記第１の行為の検出を行なうことで操作対象となる機
器の特定が可能になる。これにより、前記操作対象とな
る機器のみを動作させることができ、操作者の意図しな
い行為により他の機器を誤動作させるおそれがなくな
る。（２）本発明の入力装置は、前記第１の行為は所定箇所
の注視であり、前記第２の行為は身体の動作であるの
で、操作者により前記所定箇所が注視されたときのみ、
前記身体の動作に対応する指示を出力することができ
る。これにより、操作者の意図しない身体の動作が機器
への動作指示として誤認識されることがなくなる。（３）本発明の入力装置は、前記第１の行為は所定箇所
の注視であり、前記第２の行為は音声入力であるので、
操作者により前記所定箇所が注視されたときのみ、前記
音声に対応する指示を出力することができる。これによ
り、操作者の意図しない音声の発生が機器への動作指示
として誤認識されることがなくなる。（４）本発明の入力装置は、前記第１の行為は所定箇所
への接触であり、前記第２の行為は視線方向の移動であ
るので、操作者により前記所定箇所が接触されたときの
み、前記視線方向の移動に対応する指示を出力すること
ができる。これにより、操作者の意図しない視線方向の
移動が機器への動作指示として誤認識されることがなく
なる。（５）本発明の入力装置は、前記第１の行為は音声入力
であり、前記第２の行為は身体の動作であるので、操作
者により所定の音声の発生が成されたときのみ、前記身
体の動作に対応する指示を出力することができる。これ
により、操作者の意図しない身体の動作が機器への動作
指示として誤認識されることがなくなる。（６）本発明の入力装置は、注目状態にあることが検出
された場合その旨を出力するので、操作者は前記第１の
行為が検出されたことを確認した後、前記第２の行為を
成すことができる。これにより、操作者による前記第２
の行為に対応する動作指示を対象となる機器へ確実に出
力できることになる。

【００１５】

【発明の実施の形態】

（第１の実施の形態）図１は本発明の第１の実施の形態
に係る入力装置の構成を示すブロック図である。本第１
の実施の形態に係る入力装置は、コンピュータに付随す
るディスプレイ制御を操作者の視線とジェスチャに基づ
き行なうためのものである。図１に示す入力装置は、視
線方向検出部１１、注目度判定部１２、ジェスチャ認識
部１３、指示出力部１４および注目状態表示部１５から
なる。視線方向検出部１１は注目度判定部１２を介して
指示出力部１４および注目状態表示部１５に接続されて
いる。またジェスチャ認識部１３も指示出力部１４に接
続されている。さらに指示出力部１４は当該コンピュー
タに接続されている。

【００１６】図２は上記視線方向検出部１１の構成を示
すブロック図である。図２に示すように視線方向検出部
１１はＴＶカメラ１１１、ＡＤ変換部１１２、顔領域検
出部１１３、目領域検出部１１４および視線方向計測部
１１５からなる。ＴＶカメラ１１１はＡＤ変換部１１２
を介して顔領域検出部１１３に接続され、顔領域検出部
１１３は目領域検出部１１４を介して視線方向計測部１
１５に接続されている。さらに視線方向計測部１１５は
注目度判定部１２に接続されている。

【００１７】図３の（ａ）は上記ＴＶカメラ１１１によ
り撮影された、当該ディスプレイに向って座った操作者
の顔を示す図である。このＴＶカメラ１１１から出力さ
れたビデオ信号は、ＡＤ変換部１１２に入力されディジ
タル画像に変換される。そしてこのディジタル画像がＡ
Ｄ変換部１１２から顔領域検出部１１３へ出力される。
顔領域検出部１１３は入力したディジタル画像から操作
者の顔領域を切り出す。この切り出しは、例えば撮影さ
れた操作者の顔における肌色領域を切り出すようにす
る。なお顔の肌色の色相は人それぞれ異なるが、操作者
がディスプレイに向かう際、自分の顔の色、あるいは手
の甲の色を該コンピュータに教示することで（例えば、
該コンピュータに接続されている所定の色識別装置に自
身の手の甲を向ける）、その操作者に適した肌色の設定
が容易に行なえる。

【００１８】そして、その切り出された顔領域の情報が
顔領域検出部１１３から目領域検出部１１４へ出力され
る。目領域検出部１１４は入力した顔領域の情報から左
右の目の領域を切り出す。この切り出しは、例えば前記
顔領域における中心軸に対称で上方にある黒の円部分を
抽出する。そして目の中心位置が検出されると、その情
報が目領域検出部１１４から視線方向計測部１１５へ出
力され、視線方向計測部１１５で操作者の視線方向が計
測される。

【００１９】上記視線方向検出部１１に類するものを適
用した例は、従来から各種提案されている。本発明がそ
れら従来の提案内容と異なる点は、視線方向検出部１１
で得られた視線方向の情報を用いて即ディスプレイの画
面制御（例えばカーソル位置の制御やウインドウの切り
替え制御）を行なうのでなく、その視線方向の情報を後
述するような注目度判定の情報として用いることにあ
る。

【００２０】さて、このようにして視線方向検出部１１
で得られた視線方向の情報は、注目度判定部１２へ出力
される。この注目度判定部１２は、視線方向検出部１１
から入力した視線方向に対応する該ディスプレイ上での
注視点が該ディスプレイの中央から所定の半径を有する
円内に位置する場合、このディスプレイが操作者により
“注目された状態にある”と判定する。また、注目度判
定部１２は前記注視点が前記ディスプレイに表示されて
いる複数のウィンドウのうち特定のウィンドウの中心位
置（あるいは、例えば前記特定のウィンドウ上のカーソ
ル位置や前記特定のウィンドウのラベル等）から所定の
半径を有する円内に位置する場合、このウインドウが操
作者により“注目された状態にある”と判定する。

【００２１】このような“注目された状態にある”と判
定する方法は上述した以外にも数種類考えられる。例え
ば注視状態の継続時間を測定しある設定時間（例えば３
秒と決めておく）より長く注視状態にある場合、“注目
された状態にある”と判定することもできる。このよう
に、検出された視線方向から“注目された状態にある”
と判定する方法は、本発明に係る入力装置を用いて構成
するシステムの用途にあわせて適宜設定すればよく、重
要なことは注目度判定のため情報と、後述する動作指示
の認識とを分離して検出することにある。

【００２２】そして注目度判定部１２は“注目された状
態にある”と判定した時点で、指示出力部１４にその判
定結果を出力し、指示出力部１４における所定の注目状
態フラグをＯＮにする。その後注目度判定部１２は、前
記注視点が前記所定の半径を有する円内に位置せず“注
目された状態にない”と判定した時点で前記注目状態フ
ラグをＯＦＦに切替える。

【００２３】なお、上述したようなディスプレイが注目
された状態にあるか否かの判定を行なうには、該ディス
プレイに対するＴＶカメラ１１１の設定位置が確定して
いなければならない。一般に、ＴＶカメラはディスプレ
イと同じ位置には設定できないため、例えばディスプレ
イの上部にＴＶカメラを設置することになる。したがっ
て、操作者のＴＶカメラに対する視線方向と、ディスプ
レイに対する視線方向は異なる。例えばＴＶカメラがデ
ィスプレイの上部から３０度下方向に傾いて設置されて
いるならば、操作者の視線方向がＴＶカメラに対して正
面である状態が、操作者がディスプレイの中心を正面か
ら注視している状態なのでは無い。操作者の視線方向が
ＴＶカメラに対して３０度下方向を向いている時が、デ
ィスプレイの中心を正面から注視している状態になる。
このようにＴＶカメラに対する視線方向とディスプレイ
に対する視線方向とは異なるので、補正をする必要があ
る。この補正量は操作者の背の（座高の）高さによって
も変化する。ただし操作者が同一人物であればこの補正
量は一定と考えられる。このような意味で、前記ディス
プレイとＴＶカメラ１１１の設定位置を確定する必要が
ある。

【００２４】そして、前記設定位置はＴＶカメラ１１１
を設置したときに前記ディスプレイとの相対位置として
容易に登録できる。また、操作者がディスプレイに向っ
て座るときに、その操作者とディスプレイとの位置関係
を考慮し、該ディスプレイおよびＴＶカメラ１１１の位
置の校正を当該コンピュータ内の処理により行なうこと
もできる。そしてディスプレイの位置が決定されれば、
そのディスプレイに表示される各ウィンドウの位置の情
報は、前記コンピュータで実行されているウインドウシ
ステムから容易に得ることができる。

【００２５】一方、注目度判定部１２の判定結果は注目
状態表示部１５にも出力される。注目状態表示部１５
は、上記注目状態フラグがＯＮの状態である期間に、例
えば当該ディスプレイの傍らに設置されたランプを点灯
し、操作者に当該ディスプレイが“注目された状態にあ
る”と判定されていることを通知する。また、前記ラン
プを設置し点灯させる以外に、ディスプレイのウインド
ウ上のカーソル形状を変更する、カーソルの色を変更す
る、または該当するウインドウの色を変更する等数々の
手段により状態表示を行なえる。

【００２６】このように、当該コンピュータディスプレ
イが注目された状態にあることを操作者に通知すること
より、操作者は当該入力装置が自らの指示動作を入力で
きる状態にあることを認識できる。なお、上記注目状態
表示部１５は本第１の実施の形態の構成においては省略
可能な部分であり、当該入力装置を上述したような状態
表示を行なわない構成とすることもできる。

【００２７】さて、上述したような視線方向検出部１１
の処理に並行して、ジェスチャ認識部１３の処理が実行
されている。なお、本第１の実施の形態ではジェスチャ
認識部１３の入力において視線方向検出部１１のＴＶカ
メラ１１１と同じ映像を利用するが（即ち、ＴＶカメラ
１１１にて操作者の顔と共にジェスチャも撮影する）、
ジェスチャ入力のための入力手段を別途設けるようにし
てもよい。

【００２８】図３の（ｂ）は、ジェスチャ認識部１３に
より操作者の手の動作を抽出するために用いる手袋の概
念図である。この手袋の各指先および掌の下部に相当す
る部分にはそれぞれ固有の色を有するカラーボールが取
り付けられている。なお、これら各カラーボールは各々
が固有のものであることが識別可能であればよく、各々
の色が異なる以外に各形状や色の濃さが異なるものであ
るようにしてもよい。

【００２９】以下、操作者が片方の手に上記手袋をは
め、ＴＶカメラ１１１からジェスチャ入力した後の動作
を説明する。なお各カラーボールの色は予め当該コンピ
ュータに登録しておき、ＡＤ変換部１１２から出力され
るディジタル映像を基に、登録されている色の領域を検
出する。そしてこれら各カラーボールの動きを利用する
ことにより、簡単なジェスチャ（例えば上下左右への手
の動き）を検出することができる。

【００３０】ジェスチャ認識部１３は抽出したジェスチ
ャを予め設定されている動作指示信号に変換し、（例え
ば、ウインドウを手前に出すという信号、あるいはウイ
ンドウ内の文字を拡大するという信号に変換する）その
結果を指示出力部１４に出力する。指示出力部１４は、
上記注目状態フラグがＯＮの状態である場合、ジェスチ
ャ認識部１３から入力した動作指示信号に基づいた操作
量を当該コンピュータへ出力する。

【００３１】なお本第１の実施の形態では、ジェスチャ
認識部１３は前記注目状態フラグのＯＮまたはＯＦＦ状
態に関わらず終始ジェスチャ認識を行なっているが、注
目度判定部１２が“注目された状態にある”と判定した
期間のみジェスチャ認識を行なう構成としてもよい。例
えば、視線方向検出部１１とジェスチャ認識部１３を同
一の装置上に備える場合は、“注目された状態にある”
期間のみジェスチャ認識を行なうようにすれば、当該コ
ンピュータの処理に係る負荷を低減させることができ
る。このようにして操作者が注目している場合にのみ、
操作者のジェスチャを認識し動作する入力装置が構成で
きる。

【００３２】以上のように本第１の実施の形態による入
力装置では、注目状態にある場合にのみ、認識したジェ
スチャを対応する動作指示信号に変換し当該コンピュー
タへ出力するので、従来では検出するに足らないと思わ
れていた程度の簡単な動作（例えば手の上下左右への動
き）でも、指示動作として利用することができる。また
単純な動作の認識であれば、画像により認識する方式に
しても、他のデバイスあるいは特殊な器具を用いてジェ
スチャを認識する方式にしても簡単な構成で実現でき
る。

【００３３】ところで本第１の実施の形態において、操
作者以外の人物が偶然ＴＶカメラ１１１の画像に映った
場合などは、注目度判定部１２で誤って“注目された状
態にある”と判定される状況が考えられる。装置の設置
環境によってこのような状況が頻発する場合でも対策は
いくつか考えられる。例えば、ＴＶカメラのレンズを広
角系から望遠系に変更し、通常状態であれば操作者の顔
以外はほとんど映らないように設定する方法や、画像中
の顔の大きさが所定量以上に撮影されなければ、視線方
向がディスプレイに向いていても“注目された状態にあ
る”と判定しない（これにより、遠くにいる人物を誤認
識することを防ぐことができる）方法などがある。ある
いは、注目状態表示部１５において、注目状態にある場
合は見やすい大きなランプを点灯することで、“注目さ
れた状態にある”ことを操作者が容易に認識できるよう
構成する。これにより、誤認識があった場合操作者はそ
の時点で誤認識が発生したことを認識でき、後続の動作
指示を控えることができるので、誤認識があった場合で
も誤動作を防ぐことができる。これも注目状態の検出と
動作指示認識とを分離したことによる効果である。

【００３４】以上本第１の実施の形態は、注目意志の伝
達に視線方向を用い、操作指示の伝達にジェスチャを用
いる例として説明した。（第２の実施の形態）第２の実施の形態では、上記第１
の実施の形態の変形例を示す。上記第１の実施の形態で
は、注目度の判定を操作者の視線方向の検出を基に行な
い、動作指示の認識を操作者のジェスチャを基に行なっ
たが、注目度の判定を操作者による別の行為に基づいて
行なっても全く同様にシステムを構成することができ
る。例えば後述する第１１の実施の形態で説明する音声
認識部を注目度の判定のために利用することが考えられ
る。この音声認識部は操作者が発声する「カーソル」
「移動」等の言葉を認識するものである。そして、例え
ば操作者による「カーソル」という発声を認識した場
合、その時点から１０秒間を“注目された状態にある”
と判定する。

【００３５】本第２の実施の形態では、操作者は音声に
より動作指示を行なう機器を特定し、ジェスチャにより
ディスプレイに表示されるカーソル（本来マウスの操作
により移動する）の位置を操作する。上記第１の実施の
形態と同様に、通常操作者がジェスチャを行なっても
（手や身体を動かしても）機器は誤動作せず、操作者が
意図した時間における意図したジェスチャに対しての
み、前記機器が動作するという効果が得られる。

【００３６】以上本第２の実施の形態は注目意志の伝達
に音声を用い、操作指示の伝達にジェスチャを用いる例
として説明した。（第３の実施の形態）第３の実施の形態も、上記第１の
実施の形態の変形例を示す。例えば注目度の判定を操作
者の対象機器への接触を検出することで行なうこともで
きる。いま操作者がコンピュータを操作する際に座る椅
子が所定の椅子として明らかであり、その椅子に限定さ
れているものとする。また、コンピュータ本体やディス
プレイを置く机と椅子とが一体型の場合や、コンピュー
タと椅子とをケーブルで接続しておく等の方法で、操作
者が椅子を限定できる状況は多数考えられる。

【００３７】本第３の実施の形態では、前記椅子に圧力
センサを組み込み、操作者が前記椅子に座っている状態
を検出することで“注目された状態にある”と判定し、
操作者のジェスチャを認識することによりマウスのカー
ソル位置の操作を行なう。

【００３８】ところで操作者が椅子に座るだけで“注目
された状態”と判定する構成では、操作者が横を向いて
座った場合などでも“注目された状態にある”と判断さ
れ、カーソル位置が移動するおそれがある。そのため、
操作者の個性や操作環境により、そのような状況が頻発
してしまう場合は、例えばロータリーエンコーダで前記
椅子の角度を検出し、操作者が前記ディスプレイに正対
した位置に座っているか否かを検知する手段を付加する
等の方法が考えられる。

【００３９】以上本第３の実施の形態は、注目意志の伝
達に機器への接触を行ない、操作指示の伝達にジェスチ
ャを用いる例として説明した。（第４の実施の形態）第４の実施の形態では、上記第１
の実施の形態の操作指示の入力形態の変形例を示す。第
４の実施の形態では、注目度の判定を上記第１の実施の
形態と同様に操作者の視線方向の検出を基に行ない、動
作指示の認識を操作者の発する音声を基に行なう。

【００４０】入力装置の構成としては、図１に示すジェ
スチャ認識部１３に代えて音声認識部（不図示）を設け
る。この音声認識部は例えば、操作者の発声する「拡
大」「手前に」等の言葉を認識し、それらの音声を入力
した場合“ウィンドウの文字を拡大する”、“ウィンド
ウを手前に出す”といった旨を示す信号に変換し、指示
出力部１４へ送信する。これにより、当該ディスプレイ
が“注目された状態にない”状態で、操作者の音声を認
識してしまい誤動作することを防ぐことができる。

【００４１】以上本第４の実施の形態は、注目意志の伝
達に視線方向を用い、操作指示の伝達に音声を用いる例
として説明した。（第１〜第４の実施の形態のまとめ）第１〜第４の実施
の形態に示された構成及び作用効果をまとめると次の通
りである。［１］第１の実施の形態に示された入力装置は、注目度
検出手段（１１）における第１の行為は所定箇所への注
視であり、動作指示検出手段（１３）における第２の行
為は身体の動作である。

【００４２】したがって上記入力装置においては、操作
者により前記所定箇所が注視されたときのみ、前記身体
の動作に対応する指示を出力することができる。これに
より、操作者の意図しない身体の動作が機器への動作指
示として誤認識されることがなくなる。［２］第２の実施の形態に示された入力装置は、注目度
検出手段における第１の行為は音声入力であり、動作指
示検出手段（１３）における第２の行為は身体の動作で
ある。

【００４３】したがって上記入力装置においては、操作
者により所定の音声の発生が成されたときのみ、前記身
体の動作に対応する指示を出力することができる。［３］第３の実施の形態に示された入力装置は、注目度
検出手段における第１の行為は所定箇所への接触であ
り、動作指示検出手段（１３）における第２の行為は身
体の動作である。

【００４４】したがって上記入力装置においては、操作
者により前記所定箇所が接触されたときのみ、前記身体
の動作に対応する指示を出力することができる。［４］第４の実施の形態に示された入力装置は、注目度
検出手段（１１）における第１の行為は所定箇所への注
視であり、動作指示検出手段における第２の行為は音声
入力である。

【００４５】したがって上記入力装置においては、操作
者により前記所定箇所が注視されたときのみ、前記音声
に対応する指示を出力することができる。これにより、
操作者の意図しない音声の発生が機器への動作指示とし
て誤認識されることがなくなる。

【００４６】（第５の実施の形態）図４は本発明の第５
の実施の形態に係る入力装置の構成を示すブロック図で
ある。本第５の実施の形態に係る入力装置は、コンピュ
ータに付随するディスプレイの制御を操作者の視線に基
づき行なうためのものである。図４に示す入力装置は、
マウス２１、注目度判定部２２、視線方向検出部２３、
指示出力部２４および注目状態表示部２５からなる。マ
ウス２１は注目度判定部２２を介して指示出力部２４お
よび注目状態表示部２５に接続されている。また視線方
向検出部２３は指示出力部２４に接続されている。さら
に指示出力部２４は当該コンピュータに接続されてい
る。

【００４７】なお上記第１の実施の形態では、操作者の
視線方向を基に注目状態を判定しジェスチャ認識により
カーソル位置等を制御したが、本第５の実施の形態では
操作者によるマウス２１のクリックを基に注目状態を判
定し、視線方向を基にカーソル位置を制御する。マウス
２１は通常のコンピュータに付属するマウスを使用し、
このマウス２１のボタンが操作者によりクリックされて
いる期間を注目度判定部２２では“注目された状態にあ
る”と判定する。このとき注目度判定部２２はマウス２
１のボタンだけでなく、当該ディスプレイの傍らに接触
センサを設置し、それに操作者が触れている期間を“注
目された状態にある”と判定するようにしてもよい。

【００４８】また注目度判定部２２が、“注目された状
態にある”と判定した期間は、注目状態表示部２５が所
定のランプを点灯するなどして、操作者に“注目された
状態にある”旨を通知する。なお、カーソルの形状や色
を変更することで状態表示を行なってもよいことは、上
記第１の実施の形態と同様である。また、視線方向検出
部２３は上記第１の実施の形態における視線方向検出部
１１と同様に構成し、操作者のディスプレイ上の注視点
に従ってカーソルが動くように、指示出力部２４が前記
注視点の情報を当該コンピュータへ出力する。

【００４９】以上のように本第５の実施の形態による入
力装置を用いれば、操作者によりマウス２１がクリック
されている期間のみ、操作者の視線方向を基にカーソル
位置を制御可能となるので、操作者の無意識な視線の動
きに左右されず、意図した視線の動きに基づきカーソル
位置の移動を制御することが可能になる。

【００５０】以上本第５の実施の形態は、注目意志の伝
達に機器への接触を行ない、操作指示の伝達に視線方向
の移動を用いる例として説明した。（第６の実施の形態）第６の実施の形態では、上記第５
の実施の形態の注目度判定のための入力形態の変形例を
示す。本第６の実施の形態では注目度の判定を、操作者
がコンピュータのディスプレイに対して正面を向いてい
る事を検出することにより行なう。入力装置の構成とし
ては、図４に示すマウス２１の代わりに以下の如き正面
顔判定手段２６を設ける。

【００５１】図５は正面顔判定手段２６の構成を示すブ
ロック図である。図５に示すように正面顔判定手段２６
はＴＶカメラ２６１、ＡＤ変換部２６２、顔領域検出部
２６３、画像処理部２６４からなる。ＴＶカメラ２６１
はＡＤ変換部２６２を介して顔領域検出部２６３に接続
され、顔領域検出部２６３は画像処理部２６４に接続さ
れている。さらに画像処理部２６４は注目度判定部２２
に接続されている。

【００５２】ＴＶカメラ２６１は図４に示す視線方向検
出部２３内部の構成要素であるＴＶカメラと共有する構
成としてもよい。ＴＶカメラ２６１から入力した画像は
図３の（ａ）に示したものと同様であるとする。ＴＶカ
メラ２６１から出力されたビデオ信号はＡＤ変換部２６
２でディジタル画像に変換される。この画像に対して、
上記第１の実施の形態と同様に顔領域検出部２６３で顔
領域が切り出され、画像処理部２６４へその切り出され
た顔領域の部分画像が送信される。画像処理部２６４は
前記顔領域の特徴を解析することで、操作者が当該ディ
スプレイに十分接近しかつ当該ディスプレイに対して正
面を向いているか否かを判定することができる。

【００５３】画像処理の手法としては、例えば抽出され
た顔領域の部分画像が中心軸に対して左右対称であるこ
と、前記顔領域の両側の耳が同様な大きさで切り出され
ていること、切り出された前記顔領域の大きさが入力画
像の大きさに対して所定の割合（例えば、３０％以上と
予め設定しておく）を上回っていること等、特徴を解析
し予め設定した条件を満たしていれば当該ディスプレイ
に対して正面を向いていると判定することで実現でき
る。

【００５４】以上本第６の実施の形態は、注目意志の伝
達を対象機器と正対することで行ない、操作指示の伝達
に視線方向の移動を用いる例として説明した。（第７の実施の形態）第７の実施の形態も、上記第５の
実施の形態の注目度判定のための入力形態の変形例を示
す。本第７の実施の形態では注目度の判定を、操作者の
発する音声を基に行なう。

【００５５】入力装置の構成は、図４に示したマウス２
１の代わりに音声認識部（不図示）を設ける。前記音声
認識部は、例えば、操作者の発声する「移動」「動かす
よ」「カーソル」等の言葉を認識し、それらの認識結果
に基づいて、注目度判定部２２が“注目された状態にあ
る”と判定し、以降上記第５の実施の形態と同様に、視
線方向を検出しカーソル位置を制御する。操作者による
発声とカーソル位置の制御は同時である必要はなく、予
め決められた単語が認識された時点から所定の時間内
（例えば１５秒間）を“注目された状態にある”と判定
している期間とする。あるいは、「始め」という言葉で
“注目された状態”に入り、「止め」という言葉で“注
目された状態”から“注目されていない状態”に復帰す
る方法も考えられる。

【００５６】当該音声認識部が注目度の判定のために認
識する単語は端的に述べれば何でも良く、操作者自身が
その単語を言うことにより“注目された状態”に入る
（あるいは出る）ことを分かっていれば良い。また各単
語を操作者毎に個別に設定する方法も考えられる。ある
いは、当該音声認識部は簡略化された性能の機器を利用
し、その機器にて認識可能な単語を注目状態の出入りを
示す単語として設定するようにしてもよい。このような
構成をとることで、入力装置全体の構成も簡略化でき
る。

【００５７】以上本第７の実施の形態は、注目意志の伝
達に音声を用い、操作指示の伝達に視線方向の移動を用
いる例として説明した。（第５〜第７の実施の形態のまとめ）第５〜第７の実施
の形態に示された構成及び作用効果をまとめると次の通
りである。［５］第５の実施の形態に示された入力装置は、注目度
検出手段（２１）における第１の行為は所定箇所への接
触であり、動作指示検出手段（２３）における第２の行
為は視線方向の移動である。

【００５８】したがって上記入力装置においては、操作
者により前記所定箇所が接触されたときのみ、前記視線
方向の移動に対応する指示を出力することができる。こ
れにより、操作者の意図しない視線方向の移動が機器へ
の動作指示として誤認識されることがなくなる。［６］第６の実施の形態に示された入力装置は、注目度
検出手段における第１の行為は前記注目度検出手段に対
して正対することであり、動作指示検出手段（２３）に
おける第２の行為は視線方向の移動である。

【００５９】したがって上記入力装置においては、操作
者が前記注目度検出手段に対して正対したときのみ、前
記視線方向の移動に対応する指示を出力することができ
る。［７］第７の実施の形態に示された入力装置は、注目度
検出手段における第１の行為は音声入力であり、動作指
示検出手段（２３）における第２の行為は視線方向の移
動である。

【００６０】したがって上記入力装置においては、操作
者により所定の音声の発生が成されたときのみ、前記視
線方向の移動に対応する指示を出力することができる。（第８の実施の形態）図６の（ａ）は本発明の第８の実
施の形態に係る入力装置の構成を示すブロック図であ
る。本第８の実施の形態に係る入力装置は、家庭用テレ
ビのスイッチを制御するためのものである。図６の
（ａ）に示す入力装置は、ジェスチャ認識部３１、注目
度判定部３２、音声認識部３３および表示出力部３４か
らなる。ジェスチャ認識部３１は注目度判定部３２を介
して指示出力部３４に接続されている。また音声認識部
３３も指示出力部３４に接続されている。さらに指示出
力部３４は当該家庭用テレビに接続されている。

【００６１】図６の（ｂ）は上記ジェスチャ認識部３１
の構成を示すブロック図である。ジェスチャ認識部３１
は、操作者が当該家庭用テレビにおけるテレビ画面に向
って指さしている方向を検出する。図６の（ｂ）におい
て３３１ａおよび３３１ｂはＴＶカメラであり、これら
ＴＶカメラ３３１ａ、３３１ｂはそれぞれＡＤ変換部３
３２ａ、３３２ｂを介して手領域検出部３３３ａ、３３
３ｂに接続されている。また手領域検出部３３３ａ、３
３３ｂはそれぞれ指先方向検出部３３４ａ、３３４ｂを
介して指先方向計測部３３５に接続されている。

【００６２】以下図６の（ｂ）に基づき、ジェスチャ認
識部３１の動作を説明する。なおジェスチャ認識部３１
内において、当該テレビ画面の位置は予め設定されてい
るものとする。またＴＶカメラ３３１ａは操作者に対し
て横方向から、ＴＶカメラ３３１ｂは操作者に対して上
方向から各々操作者の手先が撮影できるよう設置されて
いる。なお各ＴＶカメラ３３１ａ、３３１ｂはカラーカ
メラを用いている。各ＴＶカメラ３３１ａ、３３１ｂの
出力はそれぞれＡＤ変換部３３２ａ、３３２ｂに入力さ
れ、各々カラー情報が含まれたディジタル画像に変換さ
れる。そしてこれらディジタル画像はＡＤ変換部３３２
ａ、３３２ｂから手領域検出部３３３ａ、３３３ｂへ出
力される。

【００６３】手領域検出部３３３ａ，３３３ｂは各々入
力したディジタル画像を基に、予め登録されている操作
者の手の色相に当てはまる部分を手領域として切り出
し、その手領域画像情報を指先方向検出部３３４ａ，３
３４ｂへ出力する。指先方向検出部３３４ａ，３３４ｂ
は入力した手領域画像情報の中で当該テレビ画面に最も
接近している部分を選択し、その部分を前記画像中の指
先位置と指定する。またそれと共に指先方向検出部３３
４ａ，３３４ｂは前記手領域の重心位置を計測し、その
位置を手の甲の中心位置と指定する。これら指先方向検
出部３３４ａ，３３４ｂにて指定された指先位置および
手の甲の中心位置を示す画像情報は指先方向計測部３３
５へ出力される。

【００６４】指先方向計測部３３５では、指先方向検出
部３３４ａ，３３４ｂから入力した両系統画像を基に操
作者の指先位置と手の甲の中心位置が計測される。そし
て指先方向計測部３３５は、予め設定されているＴＶカ
メラ３３１ａ，３３１ｂの位置関係を基に、ステレオ計
測により前記手の甲の中心位置から前記指先位置へ向か
う３次元ベクトルの方向を算出し、注目度判定部３２へ
出力する。

【００６５】そして注目度判定部３２は、ジェスチャ認
識部３１から入力した前記手の甲の中心位置から前記指
先位置へ向かう３次元ベクトルが、当該テレビ画面の中
心位置を中心とし所定の半径を有する球を通過する方向
にあるか否かを判定する。そして通過する方向にある場
合、“操作者は指先をテレビ画面に向けている”と判定
し、指示出力部２４の注目状態フラグをＯＮに設定す
る。

【００６６】一方音声認識部３３は、操作者の音声によ
る指示を認識する。例えば「スイッチオン」「スイッチ
オフ」「ボリューム」「上げる」「下げる」等、テレビ
の操作に必要な簡単な言葉が十分認識できる。なお、本
発明による構成に基づけば、一つ一つの認識手段は簡易
に構成されたもので十分である。また「スイッチオン」
等の言葉は、テレビに限らず様々な機器の動作指示に共
通に使われる言葉であるが、上述したように操作者が指
先をテレビ画面に向けている場合にのみ、指示出力部３
４は音声認識部３３で認識した音声に係る指示を当該家
庭用テレビへ行なうので、操作者が意図して指示してい
る機器以外の機器が誤動作する心配はない。そのため
「テレビ、スイッチオン」などのように複合命令を用い
る必要もなくなる。なお複合命令を認識する音声認識手
段には、複合命令に含まれている各命令を自動的に区切
ったり、同一話者の命令か否かを判別する機能が必要と
なるが、これら複雑な機能を設ける必要もなくなる。

【００６７】上記音声認識部３３での認識結果は、上記
第１の実施の形態と同様に指示対象に合わせて予め設定
されている動作指示信号（例えばスイッチをＯＦＦにす
るための命令信号）に変換され、指示出力部３４に出力
される。また従来の音声認識機能は、使用される環境内
の雑音等の影響でしばしば誤認識を起こすが、本第８の
実施の形態による入力装置では、注目状態フラグがＯＮ
の状態のときの音声認識部３３での認識結果だけを用い
ている。このため、誤認識により操作者が意図しない時
にスイッチがＯＦＦになるといった誤動作は起こらな
い。また、周囲の騒音や雑音が激しい場合でも、操作者
はそれらの騒音や雑音が一旦おさまるまで待って指先で
機器を特定することで、音声による操作を行なうことが
可能になる。

【００６８】以上本第８の実施の形態は、注目意志の伝
達にジェスチャを用い、操作指示の伝達に音声を用いる
例として説明した。（第９の実施の形態）第９の実施の形態では、上記第８
の実施の形態の注目度判定のための入力形態および操作
指示の入力形態の変形例を示す。本第９の実施の形態で
は注目度の判定に正面顔判定部を利用し、操作指示の認
識にジェスチャ認識部を利用した例を示す。

【００６９】入力装置の構成としては、図６の（ａ）に
示したジェスチャ認識部３１の代わりに正面顔判定部
（不図示）を設け、音声認識部３３の代わりにジェスチ
ャ認識部（不図示）を設ける。前記正面顔判定部は上記
第６の実施の形態で示した正面顔判定手段２６と同様に
構成される。当該正面顔判定部においては上記第６の実
施の形態における正面顔判定手段２６と比較して操作者
の位置が当該家庭用テレビに対して遠方である事が予想
されるので、上記第６の実施の形態に示したような入力
画像に対する顔画像領域の大きさの比を条件とする手法
は利用できない場合も考えられる。このため操作者が当
該家庭用テレビにある程度接近して操作するという仕様
を設定することにより操作者の顔領域が大きく撮影され
るので、画像処理の結果も安定し、入力画像と顔画像領
域との比を上記第６の実施の形態における正面顔判定手
段２６と同様に利用できる。

【００７０】本第９の実施の形態では、前記正面顔判定
部で操作者が当該家庭用テレビに対して正面を向いてい
ると判定した状態において、前記ジェスチャ認識部が操
作者のジェスチャ（手の動き）を認識し、その認識結果
に基づいて指示出力部３４が動作指示信号を当該家庭用
テレビへ送信する。これにより上記第８の実施の形態と
同様に、操作者の一つのジェスチャにより多数の機器が
同時に動く弊害は防止され、同様の効果が得られる。

【００７１】以上本第９の実施の形態は、注目意志の伝
達を対象機器と正対することで行ない、操作指示の伝達
に手や身体のジェスチャを用いる例として説明した。（第１０の実施の形態）本第１０の実施の形態は、上記
第８の実施の形態の注目度判定のための入力形態の変形
例を示す。本第１０の実施の形態では注目度の判定に正
面顔判定部を利用した例について説明する。

【００７２】入力装置の構成としては、図６の（ａ）に
示したジェスチャ認識部３１の代わりに正面顔判定部
（不図示）を設ける。音声認識部３３は操作者の発声す
る「オン」「オフ」「２チャンネル」などの言葉を認識
し、その認識結果に基づいて指示出力部３４が動作指示
信号を家庭用テレビへ送信する。

【００７３】上記第９の実施の形態および本第１０の実
施の形態では正面顔判定部を利用した例について説明し
た。実施形態が家庭用テレビのスイッチである場合は、
前記家庭用テレビに対して正面を向いている人物が複数
である可能性がある。このような場合、入力画像に対す
る顔領域の比が最大の人物のジェスチャを指示として優
先的に認識する手法が考えられる。また音声により操作
指示を入力する場合は、入力画像に対して顔領域の比が
所定の割合（例えば、２０％等と予め決めておく。また
割合をユーザが設定することも考えられる）より大きけ
れば音声認識部３３が動作すると設定する。この場合、
当該家庭用テレビへの操作指示を意図する操作者は必然
的に当該家庭用テレビへ接近することになり、音声認識
部３３を構成するマイクから入力される音声レベルも十
分大きくなり、結果的にその環境のなかで検出される音
声としては最大のものとなる。

【００７４】したがって、前記マイクの入力感度レベル
を低く設定しておけば、必然的に最も強い意図を持って
いる操作者の声だけが前記マイクから入力されることに
なる。あるいは、入力画像中の顔領域の割合から当該家
庭用テレビと操作者との概略距離が推定できるので、前
記マイクの入力感度レベルを動的に調整することも考え
られる。

【００７５】以上本第１０の実施の形態は、注目意志の
伝達を対象機器と正対することで行ない、操作指示の伝
達に音声を用いる例として説明した。（第８〜第１０の実施の形態のまとめ）第８〜第１０の
実施の形態に示された構成及び作用効果をまとめると次
の通りである。［８］第８の実施の形態に示された入力装置は、注目度
検出手段（３１）における第１の行為は身体の動作であ
り、動作指示検出手段（３３）における第２の行為は音
声入力である。

【００７６】したがって上記入力装置においては、所定
の身体の動作がなされたときのみ、前記音声に対応する
指示を出力することができる。これにより、操作者の意
図しない音声の発生が機器への動作指示として誤認識さ
れることがなくなる。［９］第９の実施の形態に示された入力装置は、注目度
検出手段における第１の行為は前記注目度検出手段に対
して正対することであり、動作指示検出手段における第
２の行為は身体の動作である。

【００７７】したがって上記入力装置においては、操作
者が前記注目度検出手段に対して正対したときのみ、前
記身体の動作に対応する指示を出力することができる。
これにより、操作者の意図しない身体の動作が機器への
動作指示として誤認識されることがなくなる。［１０］第１０の実施の形態に示された入力装置は、注
目度検出手段における第１の行為は前記注目度検出手段
に対して正対することであり、動作指示検出手段（３
３）における第２の行為は音声入力である。

【００７８】したがって上記入力装置においては、操作
者が前記注目度検出手段に対して正対したときのみ、前
記音声に対応する指示を出力することができる。（第１１の実施の形態）図７の（ａ）は本発明の第１１
の実施の形態に係る入力装置の構成を示すブロック図で
ある。本第１１の実施の形態に係る入力装置は、家庭用
テレビのスイッチを制御するためのものである。図７の
（ａ）に示す入力装置は、音声認識部４１、注目度判定
部４２、ジェスチャ認識部４３および指示出力部４４か
らなる。音声認識部４１は注目度判定部４２を介して指
示出力部４４に接続されている。またジェスチャ認識部
４３も指示出力部４４に接続されている。さらに指示出
力部４４は当該家庭用テレビに接続されている。上記第
８の実施の形態では操作者のジェスチャで機器を特定し
音声によって動作指示を行なったが、本第１１の実施の
形態では音声によって機器を特定しジェスチャによって
動作指示を行なう。

【００７９】上記音声認識部４１は操作者の当該家庭用
テレビへの注目状態を、操作者による例えば「テレビ」
「画面」等の呼びかけ言葉で認識し、認識した旨を示す
信号を注目度判定部４２へ出力する。注目度判定部４２
は前記信号を入力した場合、指示出力部４４の注目状態
フラグをＯＮにする。このように操作者による機器への
呼びかけを基に当該家庭用テレビへの注目状態の判定を
行なっているため、例えばその機器が備えられている環
境内に音声やジェスチャで指示により動作する機器が種
々存在しても、操作者が音声を発した後で行なうジェス
チャが当該家庭用テレビに対する指示であることが明確
になり、他の機器を誤動作させずに済む。

【００８０】図７の（ｂ）はジェスチャ認識部４３の構
成を示すブロック図である。ジェスチャ認識部４３は、
ＴＶカメラ４３１、ＡＤ変換部４３２、手領域検出部４
３３、指の骨格線抽出部４３４および形状識別部４３５
からなる。ＴＶカメラ４３１はＡＤ変換部４３２を介し
て手領域検出部４３３に接続されている。さらに手領域
検出部４３３は指の骨格線抽出部４３４を介して形状識
別部４３５に接続されている。

【００８１】図８の（ａ）は上記ＴＶカメラ４３１によ
り撮影された操作者の顔および手を示す図である。ＴＶ
カメラ４３１はこのような操作者の画像が得られるよう
設置されている。ＴＶカメラ４３１から入力された画像
は、ＡＤ変換部４３２でディジタル画像に変換され、手
領域検出部４３３に出力される。手領域検出部４３３は
入力したディジタル画像を基に、予め登録されている操
作者の手の平の色相に当てはまる部分を手領域（図８の
（ａ）において８１で示す）として切り出す。手領域検
出部４３３で切り出された手領域８１の部分画像は指の
骨格線抽出部４３４に出力される。

【００８２】図８の（ｂ）は切り出された手領域８１の
部分画像を示す図である。骨格線抽出部４３４は入力し
た前記部分画像に対し、手領域８１の細線化処理を行な
うことにより、各指の骨格線を抽出しその情報を形状識
別部４３５へ出力する。形状識別部４３５は入力した指
の骨格線形状の情報を基に、手の形（例えば「パー」
「グー」「チョキ」）の識別を行なう。そして、その識
別した結果を所定の指示信号に変換し指示出力部４４に
出力する。

【００８３】本第１１の実施の形態では、ジェスチャ認
識部４３の方が音声認識部４１に比べ処理すべき情報量
が多いため、注目度判定部４２が上記注目状態フラグを
ＯＮにしている期間（即ち当該家庭用テレビが操作者に
より“注目された状態にある”場合）のみ、ジェスチャ
認識部４３が処理を行なう構成としてもよい。その際注
目度判定部４２は前記注目状態フラグがＯＮである期
間、所定の信号をジェスチャ認識部４３へ出力する。そ
してジェスチャ認識部４３は注目度判定部４２から前記
信号を入力している間、ジェスチャの認識を行なうよう
にする。

【００８４】勿論、上記第８の実施の形態と同様にジェ
スチャ認識部が終始認識処理を行なっているよう構成し
てもよい。そしていずれの場合も、指示出力部４４は当
該家庭用テレビが操作者により“注目された状態にあ
る”場合にのみ、ジェスチャ認識部４３の認識結果に基
づく動作指示を当該家庭用テレビへ出力する。

【００８５】以上、本第１１の実施の形態は、注目意志
の伝達に音声を用い、操作指示の伝達にジェスチャを用
いる例として説明した。（第１１の実施の形態のまとめ）第１１の実施の形態に
示された構成及び作用効果をまとめると次の通りであ
る。［１１］第１１の実施の形態に示された入力装置は、注
目度検出手段（４１）における第１の行為は音声入力で
あり、動作指示検出手段（４３）における第２の行為は
身体の動作である。

【００８６】したがって上記入力装置においては、操作
者が所定の音声を発生したときのみ、前記身体の動作に
対応する指示を出力することができる。これにより、操
作者の意図しない身体の動作が機器への動作指示として
誤認識されることがなくなる。

【００８７】（第１２の実施の形態）図９は本発明の第
１２の実施の形態に係る入力装置の構成を示すブロック
図である。本第１２の実施の形態に係る入力装置は、携
帯時計に適用されている。図９に示す入力装置は、視線
方向検出部５１、注目度判定部５２、接触センサ５３、
指示出力部５４、音声出力部５５およびクロック５６か
らなる。視線方向検出部５１は注目度判定部５２を介し
て指示出力部５４に接続されている。また接触センサ５
３も指示出力部５４に接続されている。さらに指示出力
部５４は音声出力部５５に接続されており、この音声出
力部５５はクロック５６に接続されている。

【００８８】このような構成により、利用者が当該携帯
時計を見て、かつ前記接触センサに接触するとその瞬間
の時刻を当該携帯時計が音声により読み上げることにな
る。当該入力装置は、ＴＶカメラからなる視線方向検出
部５１にて検出された利用者の視線方向に基づき注目度
判定部５２で注目度を判定する。それとともに接触セン
サ５３の検出結果を基に指示出力部５４で音声出力部５
５に動作指示する。これにより、音声出力部５５がクロ
ック５６からその時点の時刻を検出し、その時刻を図示
しないスピーカから音声出力することになる（例えば、
「ただいま午後３時３０分です。」）。なお、視線方向
検出部５１および注目度判定部５２は上記第１の実施の
形態における視線方向検出部１１および注目度判定部１
２と同様に構成する。

【００８９】本第１２の実施の形態による入力装置で
は、動作指示を当該携帯時計、あるいは当該携帯時計と
離れた位置に設置されている（例えば、利用者のポケッ
ト内等持ち歩くに便利な位置）接触センサに利用者が触
れたことを検出することにより行なう。

【００９０】ここで、時計に接触センサを搭載し接触状
態を検出する構成をとり、視線方向の検出に画像入力と
画像処理を用いている場合、利用者が当該携帯時計に接
触している間は視線方向検出部１に相当するＴＶカメラ
が手で塞がれて入力画像が得られないおそれがある。こ
のような場合、注目状態と動作指示には若干のタイミン
グラグが生ずる。このようなとき、注目度判定部５２は
ある一定期間利用者の視線が当該携帯時計に向けられて
いたと判定した場合、それ以降所定の設定期間（例えば
１５秒間）、指示出力部５４の注目状態フラグをＯＮに
設定する。このように注目状態は注目度判定部５２が
“注目された状態にある”と判定した時点だけでなく、
適切な期間上記注目状態フラグをＯＮにすることで、注
目状態と指示入力が同時には成立し得ないような機器で
も本発明を適用できるので、より使いやすい入力装置を
実現することができる。

【００９１】以上述べたように、接触センサ５３は利用
者による接触を検出しその結果を指示出力部５４に出力
する。指示出力部５４は上記注目状態フラグがＯＮであ
れば、音声出力部５５に現在の時刻を読み上げるための
命令信号を出力する。そして音声出力部５５は指示出力
部５４から入力した前記命令信号に従って、クロック５
６からその時点の時刻を検出し、その時刻を図示しない
スピーカから音声出力する。

【００９２】このような構成により、時刻を読み上げる
携帯時計を構成することができる。なお、上述したよう
に注目度認識機能を時計に搭載したことによる効果は、
特に携帯時計において顕著である。本第１２の実施の形
態によれば、携帯時計例えば腕時計において、利用者が
軽く腕時計全体を眺めた後で、その腕時計を耳に当てた
時に静かな音声で時刻を読み上げるよう構成することが
できる。このような時計は、視力の弱い障害者やお年寄
りにとって使いやすいものとなる。

【００９３】また日常生活の中で、不意に腕時計に触っ
てしまうことはしばしばあるが、その都度時刻を読み上
げるよう構成する必要はなく、当該腕時計が利用者によ
り注目されたときにのみ時刻を読み上げれば良い。そこ
で、利用者の視線方向検出に基づく注目度判定部５２を
設けることで、当該腕時計にて不必要なときに時刻を読
み上げることがなくなる。さらに、例えば腕時計の文字
盤が見えない夜間でも、赤外センサを用いることで当該
入力装置において視線方向の検出が可能であり、夜間に
も利用者が当該時計を耳に当てることで、静かな音声で
時刻を伝えてくれる腕時計を実現できる。

【００９４】以上本第１２の実施の形態は、注目意志の
伝達に視線方向を用い、操作指示の伝達に機器への接触
を用いる例として説明した。（第１２の実施の形態のまとめ）第１２の実施の形態に
示された構成及び作用効果をまとめると次の通りであ
る。［１２］第１２の実施の形態に示された入力装置は、注
目度検出手段（５１）における第１の行為は所定箇所へ
の注視であり、動作指示検出手段（５３）における第２
の行為は所定箇所への接触である。

【００９５】したがって上記入力装置においては、操作
者により前記所定箇所が注視されたときのみ、前記所定
箇所への接触に対応する指示を出力することができる。
これにより、操作者の意図しない前記所定箇所への接触
が機器への動作指示として誤認識されることがなくな
る。

【００９６】（第１３の実施の形態）第１３の実施の形
態では、本発明を適用した自動ドアの開閉スイッチを構
成する。この自動ドアは例えばビルや店舗の入口に設置
される自動ドアを想定している。従来の自動ドアでは圧
力センサ、赤外線センサ等人間の存在を検知するだけの
センサを用いドアの開閉スイッチをＯＮ、ＯＦＦしてい
た。しかしドアの周囲が混雑すると、ドアを開ける意図
がないにも関わらず人間がドアに接近してしまう状況が
多くなる。（例えば、混雑を避けようとして扉に近付い
たり、後向きで後ずさりしているうちにドアの近くに寄
ってしまうという状況。）このような場合でも従来の自
動ドアであれば無条件に開いてしまい、無駄にドアを開
けていた。

【００９７】このような問題も、本発明を適用すれば簡
単に解決できる。上記のような場合は、注目度認識機能
として接近した人間が当該自動ドアに対して正面から来
ているか否かを判別する手段を適用し（例えばＴＶカメ
ラにて撮影した該人間の画像から両目が検出されたか否
かを判断する。）、さらに指示認識機能として従来から
用いられている圧力センサや赤外線センサを適用すれば
よい。そして前記注目度認識機能で人間が正面から接近
していることを検出したとき“注目された状態にある”
と判定し、この判定がなされかつ前記指示認識機能で人
間の存在を検知したときのみ、当該自動ドアを開くよう
にする。

【００９８】このような構成により、当該自動ドアに人
間が正面から接近している場合即ち当該自動ドアの内側
に入ろうとしている場合にのみ、当該自動ドアを開ける
ことが可能になる。

【００９９】以上本第１３の実施の形態は、注目意志の
伝達を対象機器と正対することで行ない、操作指示の伝
達を機器へ接近することで行なう例として説明した。（第１４の実施の形態）第１４の実施の形態では、上記
第１３の実施の形態で用いられている接近に係る情報
を、操作者による注目意志の伝達に用いた自動ドアの開
閉スイッチを説明する。本第１４の実施の形態では、例
えば赤外線センサや超音波センサを当該自動ドアの入口
に、外側からの人間の接近に反応するよう設置する。そ
して人間が当該自動ドアへ接近する情報を注目状態の判
定に用いる。

【０１００】指示認識機能を持つ入力部には音声認識装
置（不図示）を用いる。例えば操作者の発声する「開
け」「閉まれ」という言葉を認識し、その認識結果に基
づいて当該自動ドアを開いたり閉じたりするようにす
る。

【０１０１】このような構成により、自動ドアに人間が
意図せず接近した場合に、誤ってドアが開くことを防ぐ
ことができる。また、単に音声の認識により開く自動ド
アと比較しても、前記音声認識装置が周囲のノイズに反
応して誤ってドアが開いてしまうことを防ぐことができ
る。

【０１０２】以上本第１４の実施の形態は、注目意志の
伝達を対象機器へ接近することで行ない、操作指示の伝
達に音声を用いる例として説明した。（第１３および第１４の実施の形態のまとめ）第１３お
よび第１４の実施の形態に示された構成及び作用効果を
まとめると次の通りである。［１３］第１３の実施の形態に示された入力装置は、注
目度検出手段における第１の行為は前記注目度検出手段
に対して正対することであり、動作指示検出手段におけ
る第２の行為は前記動作指示検出手段への接近である。

【０１０３】したがって上記入力装置においては、操作
者が前記注目度検出手段に対して正対したときのみ、前
記動作指示検出手段への接近に対応する指示を出力する
ことができる。これにより、操作者の意図しない前記動
作指示検出手段への接近が機器への動作指示として誤認
識されることがなくなる。［１４］第１３の実施の形態に示された入力装置は、注
目度検出手段における第１の行為は前記注目度検出手段
への接近であり、動作指示検出手段における第２の行為
は音声入力である。したがって上記入力装置において
は、操作者が前記注目度検出手段に接近したときのみ、
前記音声に対応する指示を出力することができる。これ
により、操作者の意図しない音声の発生が機器への動作
指示として誤認識されることがなくなる。

【０１０４】（第１５の実施の形態）第１５の実施の形
態では、本発明をコンピュータのキーボードに適用した
キー入力装置について説明する。従来のキーボード等の
キー入力装置は、操作者により所定のキーが押し下げれ
たことを検出し、そのキーに対応した信号をコンピュー
タ本体へ出力することにより操作者の入力を伝達するも
のであった。近年さまざまな形態のキー入力装置あるい
は接触型センサが開発されている。これらの入力装置は
一般に、操作者の接触あるいはキー押し下げを検出する
だけの装置であった。

【０１０５】しかしこれらの装置では、しばしば操作者
の意図しない入力を検出することがある。例えば、キー
ボードの上に物が置かれ圧力がかかり押し下げられたキ
ーや、操作者がコンピュータのディスプレイに向かって
考え事をしているうちに、キーボードの上に置かれた手
により無意識に押されたキー等を検出することがある。

【０１０６】図１０は本第１５の実施の形態に係るキー
入力装置の構成を示すブロック図である。図１０に示す
キー入力装置は、視線方向検出部６１ａおよび６１ｂ、
注目度判定部６２、キーボード入力装置６３および指示
出力部６４からなる。視線方向検出部６１ａ、６１ｂは
各々注目度判定部６２を介して指示出力部６４に接続さ
れている。またキーボード入力装置６３も指示出力部６
４に接続されている。さらに指示出力部６４には当該コ
ンピュータ本体が接続されている。

【０１０７】本第１５の実施の形態では、注目度の判定
を注目度判定部６２において視線方向検出部６１ａ，６
１ｂからの出力を基に行なう。視線方向検出部６１ａ，
６１ｂの構成は上記第１の実施の形態に示した視線方向
検出部１１と同様である。当該入力装置は、各々ＴＶカ
メラからなる二つの視線方向検出部６１ａ，６１ｂを備
えている。視線検出部６１ａをなすＴＶカメラは当該コ
ンピュータのキーボードに、また視線検出部６１ｂをな
すＴＶカメラはディスプレイに、各々操作者の顔領域が
撮影できるよう取り付けられている。注目度判定部６２
は、視線検出部６１ａで検出した視線位置が前記キーボ
ード上にあるか、または視線検出部６１ｂで検出した視
線位置が前記ディスプレイの中心位置から所定の半径を
有する円内にある場合、“注目された状態にある”と判
定する。

【０１０８】一方、指示出力部６４は前記キーボードに
おけるキー入力を検出する。キーボード入力装置６３か
ら出力された信号を入力し、それらの入力信号の中で注
目度判定部６２が“注目された状態にある”と判定して
いる期間の信号を当該コンピュータ本体へ出力する。

【０１０９】なお、視線方向検出部６１ａにおける検出
が高精度に行なえる場合、視線方向検出部６１ａに前記
キーボード上の各キーに対応する複数の注目状態フラグ
を設け、各注目状態フラグのＯＮ、ＯＦＦ状態を指示出
力部６４へ出力するようにしてもよい。例えば視線方向
検出部６１ａで、前記キーボード上の“ａ”のキーが
“注目された状態にある”と判定し、前記キーボード上
の“ａ”のキーの近傍にある各キーに対応する注目状態
フラグを各々ＯＮにし、それらの情報を指示出力部６４
へ出力する。そして指示出力部６４は、キーボード入力
装置６３から入力する信号のうち操作者により注目され
ているキー、即ち“ａ”のキーの近傍にある各キーの入
力に限り受け付け、当該コンピュータ本体へ出力するよ
うにする。

【０１１０】また場合によっては、操作者がディスプレ
イでなく原稿を見ながらキーボードを操作する状況も考
えられる。このような場合、操作者の視線方向はキーボ
ードにもディスプレイにも当たらず、視線方向検出部６
１ａおよび６１ｂのいずれにも検出されない。そのよう
な特殊な状況では、手動で切り替えられるスイッチ（最
も簡単なものは、操作者が所定の椅子に座ったときＯＮ
になるようなセンサ）を別途備え、そのスイッチがＯＮ
の状態である期間、注目度判定部６２が“注目された状
態にある”と判定する。そして、注目度判定部６２が指
示出力部６４における所定の注目状態フラグをＯＮにす
るよう設定することにより、上記キーボードを従来のも
のと同様に使用することができる。

【０１１１】以上本第１５の実施の形態は、注目意志の
伝達に視線方向を用い、操作指示の伝達に機器への接触
を用いる例として説明した。（第１５の実施の形態のまとめ）第１５の実施の形態に
示された構成及び作用効果をまとめると次の通りであ
る。［１５］第１５の実施の形態に示された入力装置は、注
目度検出手段（６１ａ、６１ｂ）における第１の行為は
所定箇所への注視であり、動作指示検出手段（６３）に
おける第２の行為は所定箇所への接触である。

【０１１２】したがって上記入力装置においては、操作
者により前記所定箇所が注視されたときのみ、前記所定
箇所への接触に対応する指示を出力することができる。
これにより、操作者の意図しない前記所定箇所への接触
が機器への動作指示として誤認識されることがなくな
る。

【０１１３】（第１６の実施の形態）図１１は、本発明
の第１６の実施の形態に係る入力装置の構成を示すブロ
ック図である。本第１６の実施の形態に係る入力装置
は、目覚まし時計のスイッチを制御するためのものであ
る。図１１に示す入力装置は、ジェスチャ識別部７１、
注目度判定部７２、視線方向検出部７３、指示出力部７
４からなる。ジェスチャ識別部７１は注目度判定部７２
を介して指示出力部７４に接続されている。また視線方
向検出部７３も指示出力部７４に接続されている。さら
に指示出力部７４は当該目覚まし時計に接続されてい
る。

【０１１４】図１２は上記ジェスチャ認識部７１の構成
を示すブロック図である。図１２に示すようにジェスチ
ャ認識部７１はＴＶカメラ７１１、ＡＤ変換部７１２、
手領域検出部７１３および画像処理部７１４からなる。
ＴＶカメラ７１１はＡＤ変換部７１２を介して手領域検
出部７１３に接続され、手領域検出部７１３は画像処理
部７１４に接続されている。さらに画像処理部７１４は
指示出力部７４に接続されている。

【０１１５】ジェスチャ認識部７１のＴＶカメラ７１１
は、当該目覚まし時計の近傍を撮影するよう設置してい
る。また視線方向検出部７３は、上記第１の実施の形態
の視線方向検出部１１とほぼ同様の構成である。

【０１１６】当該目覚まし時計にセットされた時間（タ
イマーにセットされた時間）が到来すると、当該目覚ま
し時計は一般の目覚まし時計と同様にベルを鳴らす。一
般の目覚まし時計であれば、目覚めようとする人物（操
作者）が非常に眠い場合は、手探りでスイッチを切り、
再び眠ってしまうおそれがある。本第１６の実施の形態
の目覚まし時計は、そのような無意識の行動では簡単に
はスイッチを切れない入力装置（スイッチ）の実現が目
的である。

【０１１７】ＴＶカメラ７１１は当該目覚まし時計の近
傍を撮影し、上記第１１の実施の形態のジェスチャ認識
部４３と同様に手領域検出部（７１３）で手領域を切り
出す。画像処理部７１４による処理は時系列的に行な
い、時間的に前記手領域が移動していることを求める
（例えば、手領域の重心位置の移動量を算出すれば簡単
に求められる。）。これにより、操作者はＴＶカメラ７
１１の前で手を振ることによって当該入力装置に“注目
された状態にある”ことを伝達できる。

【０１１８】操作者が本当に眠い場合は、手を振ること
はできても目を開けることはできない。したがって本第
１６の実施の形態では“入力装置に視線を向けること”
を前記目覚まし時計のスイッチを切る操作指示として用
いる。これにより本第１６の実施の形態の目覚し時計
は、操作者が手を振ると共に目を開けることによりスイ
ッチを切る構成が実現できる。

【０１１９】操作者が目を開けているか閉じているかの
判定は、視線方向検出部７３で行なう。これは図２に示
した視線方向検出部１１の目領域検出部１１４によって
検出される黒目の大きさが十分大きい場合に、目を開け
ていると判断すれば良い。この黒目領域の抽出は確実か
つ精密に行なう必要があるが、これは視線方向検出部７
３の入力用ＴＶカメラの設置にあたり、本第１６の実施
の形態の目覚し時計に十分接近した範囲だけを撮影する
ようにカメラ系（位置、方向、画角、被写界深度）を設
定すればよい。そして、操作者は確実に当該目覚し時計
の近傍で手を振ると共に確実に時計を見ないと（即ち、
目を覚まさないと）ベルのスイッチを切ることはできな
い。

【０１２０】このように本第１６の実施の形態の目覚し
時計は、スイッチを切るだけ、あるいは時計自身を見る
だけでベルが鳴り止む目覚し時計と違って、手を振るこ
と等による注目状態の伝達と注視による動作指示の伝達
の２段階が必要になる。通常起床する場合には操作者に
とって何ら負担とならない自然な動作であるが、操作者
が非常に眠い場合に目覚める確実性が向上する。

【０１２１】以上本第１６の実施の形態は、注目意志の
伝達に手や身体のジェスチャを用い、動作指示の伝達に
視線方向の検出を用いる例として説明した。（第１７の実施の形態）第１７の実施の形態は、上記第
１６の実施の形態の変形例を示す。本第１７の実施の形
態では目覚し時計の注目状態の判定に音声入力を用い
る。

【０１２２】入力装置の構成は、図１１に示したジェス
チャ認識部７１の代わりに音声認識部を設ける。スイッ
チを切るための動作指示の認識は視線方向の検出である
ことは上記第１６の実施の形態と同様である。前記音声
認識部は、例えば操作者の発声する「起きます」「起き
るよ」などの言葉を認識し、これらの言葉が認識された
時点から決められた期間（例えば１５秒間）は“注目さ
れた状態にある”と判定する。注目状態にあるとき、視
線方向検出部７３は操作者の視線方向を検出し、確かに
目を開けていると判定した場合に当該目覚し時計のベル
を切ることになる。

【０１２３】以上本第１７の実施の形態は、上記第７の
実施の形態と同様に、注目意志の伝達に音声を用い動作
指示の伝達に視線方向の検出を用いる例として説明し
た。（第１６および第１７の実施の形態のまとめ）第１６お
よび第１７の実施の形態に示された構成及び作用効果を
まとめると次の通りである。［１６］第１６の実施の形態に示された入力装置は、注
目度検出手段（７１）における第１の行為は身体の動作
であり、動作指示検出手段（７３）における第２の行為
は所定箇所への注視である。

【０１２４】したがって上記入力装置においては、所定
の身体の動作がなされたときのみ、前記所定箇所への注
視に対応する指示を出力することができる。これによ
り、操作者の意図しない前記所定箇所への注視が機器へ
の動作指示として誤認識されることがなくなる。［１７］第１７の実施の形態に示された入力装置は、注
目度検出手段における第１の行為は音声入力であり、動
作指示検出手段（７３）における第２の行為は所定箇所
への注視である。

【０１２５】したがって上記入力装置においては、操作
者が所定の音声を発生したときのみ、前記所定箇所への
注視に対応する指示を出力することができる。（その他の実施の形態）本発明は上述した以外の実施形
態でも同様に実現される。 (1) 注目意志の伝達を視線方向を向けることで行ない、
動作指示の伝達を機器へ接近することで行なう例。 (2) 注目意志の伝達を機器へ接近することで行ない、動
作指示の伝達を視線方向によって行なう例。 (3) 注目意志の伝達を機器へ接近することで行ない、動
作指示の伝達を手や身体のジェスチャによって行なう
例。 (4) 注目意志の伝達を手や身体のジェスチャによって行
ない、動作指示の伝達を機器へ接触することで行なう
例。 (5) 注目意志の伝達を手や身体のジェスチャによって行
ない、動作指示の伝達を機器へ接近することで行なう
例。

【０１２６】なお、本発明は上記各実施の形態に限定さ
れず、要旨を変更しない範囲で適宜変形して実施でき
る。以上数々の実施の形態を説明してきた。本発明の基
本構成をまとめると以下のようになる。本発明で構成さ
れる入力装置は操作者の立場からみれば、全て自らの対
象機器への注目意志を伝える段階と操作指示を伝える段
階とがある。そして注目意志を伝える手段と操作指示を
伝える手段とが各々別の形態をとる。注目意志を伝える
手段および操作指示を伝える手段としては、例えば視線
方向、機器に対して正面を向くこと、手や身体のジェス
チャ、音声、機器への接触、機器への接近などがあり、
これらを組み合わせることになる。

【０１２７】本発明の入力装置で最も効果を発揮するの
は、注目意志を伝える手段または操作指示のどちらか一
方に視線やジェスチャなど画像による認識方法を用いた
り、特殊な装置（例えばデータグローブ、データスーツ
等）を身体に装着して認識する入力形態を利用する場合
である。このような画像による認識方法や特殊な装置等
による認識方法を用いる利点は、継続的に操作者の動作
を認識できることである。その反面、操作者の意図しな
い動作と意図した動作は全く同様な信号で出力される問
題がある。しかし本発明によれば、機器において操作指
示の認識がなされる期間を操作者が“注目された状態”
という概念を利用し選択、調整できるため、上述したよ
うな入力形態を有効に活用できる。なお、本発明の各実
施の形態は装置を構成し説明したが、ソフトウェアによ
っても同様に実現可能である。

【０１２８】

【発明の効果】本発明によれば、操作者の意志に基づき
動作を要する機器を特定でき、その機器に対する操作者
の意図する指示だけを入力できる。これにより操作者の
意図しない行為による他機器の誤動作を防ぐことがで
き、実用上多大な効果が奏せられる。例えば、家庭内や
オフィス内等で使用されている種々の電気機器を操作者
の音声やジェスチャ等で簡易かつ自由に操作する環境が
実現できる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態に係る入力装置の構
成を示すブロック図。

【図２】本発明の第１の実施の形態に係る視線方向検出
部の構成を示すブロック図。

【図３】本発明の第１の実施の形態に係る図であり、
（ａ）はＴＶカメラにより撮影されたコンピュータの前
に座った操作者の顔を示す図、（ｂ）はジェスチャ認識
部により手の動作を抽出するために用いる手袋の概念図

【図４】本発明の第５の実施の形態に係る入力装置の構
成を示すブロック図。

【図５】本発明の第６の実施の形態に係る正面顔判定手
段の構成を示すブロック図。

【図６】本発明の第８の実施の形態に係る図であり、
（ａ）は入力装置の構成を示すブロック図、（ｂ）はジ
ェスチャ認識部の構成を示すブロック図。

【図７】本発明の第１１の実施の形態に係る図であり、
（ａ）は入力装置の構成を示すブロック図、（ｂ）はジ
ェスチャ認識部の構成を示すブロック図。

【図８】本発明の第１１の実施の形態に係る図であり、
（ａ）はＴＶカメラにより撮影された操作者の顔および
手を示す図、（ｂ）は切り出された手領域の部分画像を
示す図。

【図９】本発明の第１２の実施の形態に係る入力装置の
構成を示すブロック図。

【図１０】本発明の第１５の実施の形態に係るキー入力
装置の構成を示すブロック図。

【図１１】本発明の第１６の実施の形態に係る入力装置
の構成を示すブロック図。

【図１２】本発明の第１６の実施の形態に係るジェスチ
ャ認識部の構成を示すブロック図。

【符号の説明】

１１…視線方向検出部、１２…注目度判定部、１３…ジ
ェスチャ認識部、１４…指示出力部、１５…注目状態表
示部、１１１…ＴＶカメラ、１１２…ＡＤ変換部、１１
３…顔領域検出部、１１４…目領域検出部、１１５…視
線方向計測部、２１…マウス、２２…注目度判定部、２
３…視線方向検出部、２４…指示出力部、２５…注目状
態表示部、２６…正面顔判定手段、２６１…ＴＶカメ
ラ、２６２…ＡＤ変換部、２６３…顔領域検出部、２６
４…画像処理部、３１…ジェスチャ認識部、３２…注目
度判定部、３３…音声認識部、３４…指示出力部、３３
１ａ…ＴＶカメラ、３３１ｂ…ＴＶカメラ、３３２ａ…
ＡＤ変換部、３３２ｂ…ＡＤ変換部、３３３ａ…手領域
検出部、３３３ｂ…手領域検出部、３３４ａ…指先方向
検出部、３３４ｂ…指先方向検出部、３３５…指先方向
計測部、４１…音声認識部、４２…注目度判定部、４３
…ジェスチャ認識部、４４…指示出力部、４３１…ＴＶ
カメラ、４３２…ＡＤ変換部、４３３…手領域検出部、
４３４…指の骨格線抽出部、４３５…形状識別部、８１
…手領域、５１…指先方向検出部、５２…注目度判定
部、５３…接触センサ、５４…指示出力部、５５…音声
出力部、５６…クロック、６１ａ…視線方向検出部、６
１ｂ…視線方向検出部、６２…注目度判定部、６３…キ
ーボード入力装置、６４…指示出力部、７１…ジェスチ
ャ識別部、７２…注目度判定部、７３…視線方向検出
部、７４…指示出力部、７１１…ＴＶカメラ、７１２…
ＡＤ変換部、７１３…手領域検出部、７１４…画像処理
部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者湯浅真由美大阪府大阪市北区大淀中１丁目１番30号株式会社東芝関西支社内

Claims

【特許請求の範囲】

【請求項１】操作者の成す所定の行為を検出しその行為
に対応する指示を出力する入力装置において、前記操作者の成す第１の行為に基づき前記操作者が操作
対象に対して注目状態にあることを検出する注目度検出
手段と、前記操作者の成す第２の行為に基づき前記操作者による
前記操作対象に対する動作指示を検出する動作指示検出
手段と、前記注目度検出手段で注目状態にあることが検出された
場合、前記動作指示検出手段で検出された動作指示に対
応する指示を出力する指示出力手段と、を具備したことを特徴とする入力装置。
【請求項２】前記注目度検出手段における第１の行為は
所定箇所への注視であり、前記動作指示検出手段におけ
る第２の行為は身体の動作であることを特徴とする請求
項１に記載の入力装置。
【請求項３】前記注目度検出手段における第１の行為は
所定箇所への注視であり、前記動作指示検出手段におけ
る第２の行為は音声入力であることを特徴とする請求項
１に記載の入力装置。
【請求項４】前記注目度検出手段における第１の行為は
所定箇所への接触であり、前記動作指示検出手段におけ
る第２の行為は視線方向の移動であることを特徴とする
請求項１に記載の入力装置。
【請求項５】前記注目度検出手段における第１の行為は
音声入力であり、前記動作指示検出手段における第２の
行為は身体の動作であることを特徴とする請求項１に記
載の入力装置。
【請求項６】前記注目度検出手段において注目状態にあ
ることが検出された場合、その旨を出力する手段を具備
したことを特徴とする請求項１乃至５のいずれかに記載
の入力装置。