JP2016009396A - 入力装置 - Google Patents

Abstract

【課題】三次元空間上における指示体の位置を、簡素な構成、かつ、少ない処理量で、正確に特定できる入力装置を提供する。
【解決手段】入力装置１００は、第一方向に向けて検出光１７を出射し、空間中に定められる検出境界面に対して検出光１７によるラスタ走査を行う検出光源１０と、検出境界面よりも検出光源１０側に配置され、検出光１７が反射された第一反射光１８を検出する第一光検出部２０と、検出境界面から検出光源１０側に設けられる検出領域に対して進入した指示体によって検出光１７が反射された第二反射光１９を検出する第二光検出部３０と、第二光検出部３０が第二反射光１９を検出したタイミングで第一光検出部２０が検出した第一反射光１８に基づく検出信号を用いて、指示体の座標値を検出する制御部４０と、を備える。
【選択図】図３

Description

本発明は、三次元空間上における指示体の位置を特定することにより、当該位置に応じた入力を行うための入力装置に関する。

従来、三次元空間上における指示体の位置を特定し、当該位置に応じた入力を行う入力装置が知られている（例えば、特許文献１参照）。特許文献１の技術では、カメラで撮影された映像から指示体の位置を画像解析により特定している。

国際公開第２００８／１２３５００号

しかしながら、特許文献１の技術では、カメラを用いているため、装置自体が大きくなってしまう。また、カメラで撮影された映像の画像解析を行うための高度なソフトウェアが必要になり、画像処理に係る処理量が多くなってしまうと言う問題がある。

そこで、本発明は、このような状況に鑑みてなされたものであり、三次元空間上における指示体の位置を、簡素な構成、かつ、少ない処理量で、正確に特定できる入力装置を提供することにある。

上記目的を達成するために、本発明の一態様に係る入力装置は、第一方向に向けて検出光を出射し、空間中に定められる検出境界面に対して前記検出光によるラスタ走査を行う検出光源と、前記検出境界面よりも前記検出光源側に配置され、前記検出光が反射された第一反射光を検出する第一光検出部と、前記検出境界面から前記検出光源側に設けられる検出領域に対して進入した指示体によって前記検出光が反射された第二反射光を検出する第二光検出部と、前記第二光検出部が前記第二反射光を検出したタイミングで前記第一光検出部が検出した前記第一反射光に基づく検出信号を用いて、前記指示体の座標値を検出する制御部と、を備える。

これによれば、検出光が検出境界面に対して出射されており、第一光検出部が検出光源側に配置され、第二光検出部が検出領域に対して進入した指示体によって反射された第二反射光を検出可能な位置に配置されている。つまり、第一光検出部は、指示体において反射された反射光のうち、検出光源側に反射された第一反射光を検出し、第二光検出部は、検出領域で反射された第二反射光を検出する。そして、制御部は、第二光検出部が第二反射光を検出したタイミングで第一光検出部が検出した第一反射光に基づく検出信号を用いて、指示体の座標値を検出する。

このように、第一光検出部で検出された第一反射光の検出結果の全部ではなく、第二光検出部が第二反射光を検出したタイミングで検出された第一反射光の検出結果（つまり第一反射光の検出結果の一部）を用いて、指示体の座標値を検出するため、少ない処理量で指示体の座標値を正確に特定できる。

例えば、前記第二光検出部は、複数設けられ、複数の前記第二光検出部は、前記第一方向における異なる位置に配置され、前記制御部は、前記複数の第二光検出部により検出された複数の第二反射光のうち、前記検出光源に近い側に配置される第二光検出部で検出された第二反射光を優先的に用いて、前記指示体の座標値を検出しても良い。

これによれば、複数の第二反射光のうち検出光源側に近い側に配置される第二光検出部で検出された第二反射光を優先的に用いて、指示体の座標値を検出する。入力装置では、ユーザは、検出光源に対峙する位置から入力を行う。つまり、このような入力装置では、複数の第二光検出部から得られた結果のうち、例えばユーザの指の先端の座標位置が必要になるため、ユーザの手前側の領域で取得された第一検出信号は不要になる。このように、ユーザが、Ｚ軸方向の奥側（検出光源に近い側）を指示した座標値を優先することで、ユーザの手前側で検出される不要なデータについては処理を行わないため、座標の検出処理を行う対象となる第一検出信号を最小限のデータとすることができる。このため、当該検出処理に係る処理量を低減することができる。

また、さらに、前記検出領域内に空中映像を投影する投影部を備え、前記制御部は、検出した前記指示体の座標値に応じて、前記投影部で投影される前記空中映像を変化させても良い。

これによれば、空中映像を投影し、投影された空中映像を指示体の座標値に応じて変更するため、例えば、ユーザに対して空中映像を直接操作した感覚を与えることができる。

また、前記投影部は、表示面が前記第一方向に交差し、かつ、前記第一方向に並ぶ複数の表示部と、前記複数の表示部に表示される複数の映像を前記検出領域内で結像させることにより、前記検出領域内に前記空中映像として立体映像を投影する結像部と、を有しても良い。

これによれば、第一方向に並ぶ複数の表示部を用いて立体映像を表示させるため、ユーザに、第一方向に奥行きを有する立体映像を見せることができる。

また、前記複数の第二光検出部は、前記複数の表示部に対応した位置に設けられていても良い。

これによれば、複数の第二光検出部により検出された結果をそのまま用いて座標値を検出する処理を行えばよいため、ユーザが見える立体映像の座標と、指示体の座標とを合わせるための座標変換処理を省くことができる。

また、前記複数の第二光検出部は、前記第一方向に並ぶように配置されていても良い。

また、前記複数の第二光検出部のうちの一部の第二光検出部は、前記指示体により前記検出境界面に沿った第二方向に反射された前記第二反射光を検出するように配置されており、前記複数の第二光検出部のうちの残りの第二光検出部は、前記指示体により前記検出境界面に沿った前記第二方向とは異なる第三方向に反射された前記検出光を検出するように配置されていても良い。

これによれば、第二方向に反射される第二反射光だけでなく、第三方向に反射される第二反射光を検出できるため、第二方向および第三方向の少なくとも一方に向けて進む反射光があれば、検出領域に進入した指示体を検出可能である。このため、一方からでは影になるような場合であっても、他方から反射光を取得できれば、指示体を検出できるため、影による影響を低減できる。

また、前記検出光源は、前記ラスタ走査を、前記検出境界面の前記第二光検出部が設けられている側から開始しても良い。

これによれば、検出光源は、ラスタ走査を、検出境界面の第二光検出部が設けられている側から開始するため、第二光検出部の影になる位置へのラスタ走査を、影になりにくい位置の後にしている。これにより、確実に第二光検出部による検出結果を確実に得ることができる。

なお、本発明は、このような特徴的な処理部を備える入力装置として実現することができるだけでなく、入力装置に含まれる特徴的な処理部が実行する処理をステップとする入力方法として実現することができる。また、入力装置に含まれる特徴的な処理部としてコンピュータを機能させるためのプログラムまたは入力方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムを、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のコンピュータ読取可能な非一時的な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。

本発明によると、三次元空間上における指示体の位置を、簡素な構成、かつ、少ない処理量で、正確に特定できる。

実施の形態１に係る入力装置の構成の一例を示す模式図である。 入力装置の第二光検出部の検出領域について説明するための図である。 実施の形態１に係る入力装置の機能的な構成の一例を示すブロック図である。 実施の形態１に係る制御部の機能的な構成の一例を示すブロック図である。 １回のラスタ走査における第一検出信号Ａを画像に変換した場合のイメージ図である。 １回のラスタ走査における第二検出信号Ｂのうち所定の閾値を超えて検出された第二検出信号Ｂを画像に変換した場合のイメージ図である。 検出タイミングで検出された第一検出信号Ａを画像に変換した場合のイメージ図である。 指示体の座標値を検出する検出処理を示すフローチャートである。 実施の形態２に係る入力装置の機能構成の一例を示す模式図である。 実施の形態２に係る制御部の機能的な構成の一例を示すブロック図である。 実施の形態２に係る入力装置の複数の第二検出部の検出領域について説明するための図である。 複数の表示部に表示される映像により結像される複数の空中像について、説明するための図である。 複数の空中像が組み合わされることによりユーザに見える立体映像を説明するための図である。 実施の形態２に係る入力装置での検出処理の具体例を説明するためのフローチャートである。 指示体の先端を検出する処理を説明するための第一検出信号を示す図である。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、特許請求の範囲によって特定される。よって、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。

（実施の形態１）
実施の形態１では、空間に投影された空中像に対するユーザの仮想的なタッチ動作を検出する入力装置について説明する。

図１は、実施の形態１に係る入力装置の構成の一例を示す模式図である。図２は、入力装置の第二光検出部の検出領域について説明するための図である。

図１に示されるように、入力装置１００は、検出光源１０、第一光検出部２０、第二光検出部３０、制御部４０、および投影部１５０を備える。

検出光源１０は、第一方向（Ｚ軸方向）に向けて検出光１７を出射し、空間中に定められる検出境界面４００に対して検出光のラスタ走査を行う。なお、検出光源１０は、検出光１７を検出境界面４００に対して、所定のタイミングでラスタ走査を行う。検出光１７は、例えば、赤外レーザのコリメート光であってもよい。

第一光検出部２０は、検出境界面４００よりも検出光源１０側に配置され、検出光１７が反射された第一反射光１８を検出する。第一光検出部２０は、予め定められた異なる複数のタイミングで第一反射光１８を検出し、検出した結果としての第一検出信号Ａを出力する。

第二光検出部３０は、検出境界面４００から検出光源１０側に設けられる検出領域Ｒに対して進入した指示体７０によって検出光１７が反射された第二反射光１９を検出する。第二光検出部３０は、第一光検出部２０と同様に、予め定められた異なる複数のタイミングで第二反射光１９を検出し、検出した結果として第二検出信号Ｂを出力する。第二光検出部３０は、第一光検出部２０のＺ軸方向に沿った検出領域とは、交差するＹ軸方向に沿った検出領域で反射された第二反射光１９を検出する。また、第二光検出部３０は、Ｙ軸方向に沿って反射された光を検出する。

なお、指示体７０は、例えば、ユーザの指、またはユーザが手に持って動かすペンなどである。検出領域Ｒ内には、指示体７０によって仮想的にタッチされる対象である仮想タッチ面（図示せず）が定義されていてもよい。

なお、第一光検出部２０により第一反射光１８が検出される予め定められた異なる複数のタイミングと、第二光検出部３０により第二反射光１９が検出される予め定められた異なる複数のタイミングとは同期されている。また、検出光源１０によりラスタ走査におけるＸ−Ｙ座標値と、第一光検出部２０および第二光検出部３０により検出が行われる予め定められた異なる複数のタイミングとは、関連づけられている。つまり、予め異なる複数のタイミングのうちの一タイミングが特定されれば、当該一タイミングにおける検出光源１０から出射されている検出光１７の検出境界面４００でのＸ−Ｙ座標値が特定されることになる。

制御部４０は、第二光検出部３０が第二反射光１９を検出したタイミングで第一光検出部２０が検出した第一反射光１８に基づく検出信号を用いて、指示体７０の座標値を検出する。また、制御部４０は、検出した指示体７０の座標値に応じて、投影部１５０で投影される空中映像を変化させる。制御部４０は、具体的には、検出した指示体７０の座標値に応じた空中映像の位置にポインタを表示させることで空中映像を変化させてもよいし、ポインタによる入力に応じて空中映像を回転させる、移動させる、変形させる等で変化させてもよい。

投影部１５０は、表示部５０および結像部６０を有し、検出領域Ｒ内に空中映像を投影する。

表示部５０は、映像を表示する表示パネルである。表示部５０は、表示面が第一方向に交差する。表示部５０は、例えば、液晶表示部であってもよい。映像は、例えば、高度に陰影処理され、正確な立体感が与えられた映像オブジェクトであってもよい。

結像部６０は、表示部５０に表示された映像を空中像として検出領域Ｒ内に投影する光学素子パネルである。結像部６０は、例えば、特許文献１に開示される、２面コーナーリフレクタアレイであってもよい。結像部６０によって、映像の奥行きが反転した実像が空中像として検出領域Ｒ内に結像される。制御部４０において、空中像の表面形状と同じ形状の仮想タッチ面を定義することで、ユーザは、空中像に対する仮想的なタッチ感を得ることができる。

次に、入力装置１００の機能的な構成について説明する。

図３は、実施の形態１に係る入力装置の機能的な構成の一例を示すブロック図である。

図３に示されるように、検出光源１０は、レーザドライバ１１、赤外レーザ素子１２、コリメートレンズ１３、走査ドライバ１４、アクチュエータ１５、およびミラー１６を有する。

レーザドライバ１１は、制御部４０の制御下で、赤外レーザ素子１２を駆動する。赤外レーザ素子１２は、検出光１７としての赤外レーザ光を出射する。コリメートレンズ１３は、赤外レーザ素子１２から入射された赤外レーザ光を平行光に変換する。

走査ドライバ１４は、制御部４０の制御下で、アクチュエータ１５を駆動する。アクチュエータ１５は、ミラー１６の方向を変更することにより、ミラー１６で反射した検出光１７で検出境界面４００をラスタ走査する。検出境界面４００のラスタ走査は、図１に示されるように、検出光１７で検出境界面４００をＸ軸方向にラスタ走査する主ラスタ走査とＹ方向にラスタ走査する副ラスタ走査とで構成されてもよい。

第一光検出部２０は、集光レンズ２１および光電変換素子２２を有する。

集光レンズ２１は、検出光１７の指示体７０からの第一反射光１８を光電変換素子２２に集光する。光電変換素子２２は、集光レンズ２１を介して入射した第一反射光１８を検出信号に変換する。

第二光検出部３０は、集光レンズ３１、および光電変換素子３２を有する。

集光レンズ３１は、検出光１７の指示体７０からの第二反射光１９を光電変換素子３２に集光する。光電変換素子３２は、集光レンズ３１を介して入射した第二反射光１９を検出信号に変換する。

制御部４０は、上述した予め定められた異なる複数のタイミング（つまり、サンプリングのタイミング）と、検出光１７がラスタ走査される座標値とが関連づけられた情報を保持し、指示体７０の位置を特定するコントローラである。制御部４０は、指示体７０の位置を特定した結果を、表示部５０の表示に反映させる。

制御部４０は、具体的には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４３などからなるコンピュータシステムとして構成されてもよい。制御部４０の一部または全部の機能は、ＣＰＵ４１がＲＡＭ４２を作業用のメモリとして用いてＲＯＭ４３に記録されたプログラム（図示せず）を実行することによって達成されてもよい。また、制御部４０の一部または全部の機能は、専用のハードウェア回路によって達成されてもよい。

次に、制御部４０の機能的な構成について説明する。

図４は、実施の形態１に係る制御部の機能的な構成の一例を示すブロック図である。

図４に示されるように、制御部４０は、座標検出部１１０と、画像処理部１２０とを有する。座標検出部１１０は、第一光検出部２０で取得された第一検出信号Ａと、第二光検出部３０で取得された第二検出信号Ｂと、検出光源１０で行われているラスタ走査の同期信号とを取得し、取得した信号を解析することにより、指示体７０の座標値を検出する。画像処理部１２０は、座標検出部１１０により得られた指示体７０の座標値に基づいて、表示部５０に表示させる画像の生成を行う。

座標検出部１１０は、判定部１１１、データ生成部１１２、および座標生成部１１３を有する。

判定部１１１は、第一光検出部２０で取得された第一検出信号Ａと、第二光検出部３０で取得された第二検出信号Ｂと、検出光源１０のラスタ走査の同期信号とを取得する。判定部１１１は、第二検出信号Ｂが所定の閾値を超えているか否かを、異なる複数のタイミングで得られた検出信号毎に判定する。また、判定部１１１は、第二検出信号Ｂが所定の閾値を超えていると判定した場合、複数のタイミングで検出された第一検出信号Ａのうちで、所定の閾値を超えている第二検出信号Ｂが検出されたタイミングである検出タイミングで検出された第一検出信号Ａを特定する。

データ生成部１１２は、判定部１１１により特定された、検出タイミングで検出された第一検出信号Ａを用いて、指示体７０の形状、サイズ、ピーク強度、および指示座標を示す指示体データを生成する。なお、指示体データは、指示体７０の先端の位置を示す座標を含むが、指示体７０の先端の位置に限らずに、指示体７０の基準となる位置が予め特定できるように定められていてもよい。

座標生成部１１３は、データ生成部１１２により生成された指示体データから、指示体７０の先端の位置を示す座標を出力する。

図５Ａは、１回のラスタ走査における第一検出信号Ａを画像に変換した場合のイメージ図である。図５Ｂは、１回のラスタ走査における第二検出信号Ｂのうち所定の閾値を超えて検出された第二検出信号Ｂを画像に変換した場合のイメージ図である。図５Ｃは、検出タイミングで検出された第一検出信号Ａを画像に変換した場合のイメージ図である。なお、ここでいう「１回のラスタ走査」とは、検出境界面４００の全部の領域を１回分ラスタ走査することである。

図５Ａに示されるように、１回のラスタ走査において第一光検出部２０で取得された第一検出信号Ａは、第一画像１２１のように表される。第一画像１２１では、より白いほど第一検出信号の検出値が大きく、より黒いほど第一検出信号の検出値が小さいことを示している。つまり、第一画像１２１では、指示体７０でより強く反射された第一反射光１８ほど白く描写される。

また、図５Ｂに示されるように、１回のラスタ走査において第二光検出部３０で取得された第二検出信号Ｂは、第二画像１２２のように表される。第二画像１２２は、所定の閾値を超えたか否かが表されるため、白黒の二値で表される。つまり、第二画像１２２では、所定の閾値を超えた第二検出信号Ｂが白で表され、所定の閾値以下である第二検出信号Ｂが黒で表される。このため、第二画像１２２を用いることにより、所定の閾値を超えた第二検出信号Ｂで表される特定領域１２２ａが識別可能になる。

第一画像１２１および第二画像１２２は、１回のラスタ走査が行われている間において取得された第一検出信号Ａおよび第二検出信号Ｂを表現したものである。つまり、第一画像１２１は、予め定められた異なる複数のタイミングで検出された第一検出信号Ａの各タイミングにおける検出値と、当該タイミングから特定される座標値とにより表される。第二画像１２２は、予め定められた異なる複数のタイミングで検出された第二検出信号Ｂの各タイミングにおける検出値が所定の閾値を超えているか否かの判定結果と、当該タイミングから特定される座標値とにより表される。

そして、図５Ａの第一画像１２１から図５Ｂの特定領域１２２ａのみを切り出した切出画像１２３を求めることで、検出タイミングで検出された第一検出信号Ａを画像に変換した画像を得ることができる。このようにして、制御部４０は、切出画像１２３を、１回のラスタ走査により得られた第一検出信号Ａおよび第二検出信号Ｂから得ることができ、切出画像１２３について画像処理を行うことにより、指示体７０の形状、サイズ、ピーク強度、および指示座標を示す指示体データを生成している。このため、第一検出信号Ａのみを用いて指示体データを生成するよりも、小さい切出画像１２３に対して画像処理を行うことにより指示体データを生成することになるため、より少ない処理量で指示体７０の先端の座標値を検出できる。

なお、画像処理は、検出信号として得られる画像のうちで最もピーク強度が高い領域を検出するための処理である。また、画像処理は、検出信号として得られる画像のうちで所定の閾値を超える領域を検出する処理である。また、画像処理は、ピーク強度が高い領域または所定の閾値を超える領域から基準となる点を指示体の座標値として検出するための処理である。

次に、制御部４０の動作について説明する。

図６は、指示体の座標値を検出する検出処理を示すフローチャートである。

検出処理では、まず、制御部４０は、検出光源１０から検出光１７を出射させ、当該検出光１７を検出境界面４００に対してラスタ走査する（Ｓ１１）。

次に、制御部４０は、第一光検出部２０で検出された第一検出信号Ａを取得する（Ｓ１２）。

また、制御部４０は、第二光検出部３０で検出された第二検出信号Ｂを取得する（Ｓ１３）。

制御部４０は、第一検出信号Ａおよび第二検出信号Ｂを用いて指示体７０の座標値を検出する（Ｓ１４）。つまり、第二光検出部３０が第二反射光１９を検出したタイミングで第一光検出部２０が検出した第一反射光１８に基づく検出信号を用いて、指示体７０の座標値を検出する。具体的には、制御部４０は、第二反射光１９が検出されたか否かを判定する。具体的には、制御部４０は、判定部１１１を用いて第二光検出部３０で検出された第二検出信号Ｂが所定の閾値を超えているか否かを判定することで、第二反射光１９が検出されたか否かを判定する。そして、制御部４０は、第二反射光１９が検出されたと判定した場合における、第一検出信号Ａを用いて座標値を検出する。

本実施の形態１に係る入力装置１００によれば、検出光１７が検出境界面４００に対して出射されており、第一光検出部２０が検出光源１０側に配置され、第二光検出部３０が検出領域Ｒに対して進入した指示体７０によって反射された第二反射光１９を検出可能な位置に配置されている。つまり、第一光検出部２０は、指示体７０において反射された反射光のうち、検出光源１０側に反射された第一反射光１８を検出し、第二光検出部３０は、第一光検出部２０による光の検出領域をさらに限定した領域である検出領域Ｒで反射された第二反射光１９を検出する。そして、制御部４０は、第二光検出部３０が第二反射光１９を検出したタイミングで第一光検出部２０が検出した第一反射光１８に基づく検出信号を用いて、指示体７０の座標値を検出する。

このように、第一光検出部２０で検出された第一反射光１８の検出結果の全部ではなく、第二光検出部が第二反射光１９を検出したタイミングで検出された第一反射光１８の検出結果（つまり第一反射光１８の検出結果の一部）を用いて、指示体７０の座標値を検出するため、少ない処理量で指示体の座標値を正確に特定できる。また、指示体７０の奥行き方向（Ｚ軸方向）における位置を第二光検出部３０により検出でき、第二光検出部３０で検出したタイミングでの第一検出信号Ａを用いて指示体の座標値を検出するため、第二光検出部３０の検出領域Ｒから外れる領域に存在する指示体７０からの第一検出信号Ａは座標値の検出処理に使用されない。つまり、指示体７０の部分のうちで、指示体７０の座標値が必要となる検出領域Ｒに含まれる指示体７０の一部の座標値を特定するため、第一検出信号Ａの検出誤差を低減することができる。

また、本実施の形態１に係る入力装置１００によれば、空中映像を投影し、投影された空中映像を指示体７０の座標値に応じて変更するため、例えば、ユーザに対して空中映像を直接操作した感覚を与えることができる。

（実施の形態２）
次に、実施の形態２に係る入力装置１００ａについて説明する。

図７は、実施の形態２に係る入力装置の機能構成の一例を示す模式図である。図８は、実施の形態２に係る制御部の機能的な構成の一例を示すブロック図である。図９は、実施の形態２に係る入力装置の複数の第二検出部の検出領域について説明するための図である。

実施の形態２に係る入力装置１００ａは、複数の第二光検出部３０ａ、３０ｂ、・・・を備えること、および、複数の表示部５０ａ、５０ｂ、・・・を備えることが、実施の形態１に係る入力装置１００と異なる。また、実施の形態２に係る制御部４０は、複数の第二光検出部３０ａ、３０ｂ、・・・により取得された第二検出信号Ｂ１、Ｂ２、・・・を取得して、当該取得した第二検出信号Ｂ１、Ｂ２、・・・を用いて、指示体７０の座標値を検出する処理を行う点、および、検出した指示体７０の座標値に応じて複数の表示部５０ａ、５０ｂ、・・・に映像を出力する点が異なる。その他の構成については、実施の形態１と同様であるため、同じ符号を付して説明を省略する。

複数の第二光検出部３０ａ、３０ｂ、・・・は、互いに第一方向（Ｚ軸方向）における異なる位置に配置される。つまり、複数の第二光検出部３０ａ、３０ｂ、・・・は、Ｚ軸方向に並んで配置される。なお、複数の第二光検出部３０ａ、３０ｂ、３０ｃのそれぞれには、図９に示すように、検出境界面４０１、４０２、４０３がそれぞれ定義される。そして、最もユーザに近い位置の検出境界面４０１を第１層と定義し、第１層よりもユーザから遠い位置に配置される検出境界面をユーザに近い順からそれぞれ第２層、第３層、・・・と定義する。つまり、検出境界面４０２は、第２層と定義され、検出境界面４０３は、第３層と定義される。また、複数の第二光検出部３０ａ、３０ｂ、３０ｃのそれぞれは、それぞれの検出境界面４０１、４０２、４０３よりも検出光源１０側に設けられる検出領域Ｒ１、Ｒ２、Ｒ３に進入した指示体７０から反射された第二反射光を検出する。

また、制御部４０は、複数の第二光検出部３０ａ、３０ｂ、・・・により検出された複数の第二反射光のうち、検出光源１０に近い側に配置される第二光検出部で検出された第二反射光を優先的に用いて、指示体７０の座標値を検出する。具体的には、例えば、第二光検出部３０ａおよび第二光検出部３０ｂで第二反射光が検出された場合、検出光源１０に近い側（ユーザから遠い側）に配置される第二光検出部３０ｂの検出結果を優先的に用いて指示体７０の座標値を検出する。

また、複数の表示部５０ａ、５０ｂ、５０ｃ、・・・は、表示面がＺ軸方向に交差する姿勢で配置され、かつ、Ｚ軸方向に並んで配置される。結像部６０は、複数の表示部５０ａ、５０ｂ、・・・に表示される複数の映像を複数の検出領域Ｒ１、Ｒ２、Ｒ３、・・・内で結像させることにより、複数の検出領域Ｒ１、Ｒ２、Ｒ３、・・・内に空中映像として立体映像を投影する（図１０Ａ）。なお、図１０Ａに示すように、最もユーザに近い表示部５０ａでは、立体の最も手前側の部分が表示され、ユーザから離れた位置に配置される表示部に行くに従い、ユーザから離れた位置の立体の部分が表示されることになる。つまり、ユーザには、複数の空中像が組み合わされることにより奥行きを有する立体映像（図１０Ｂ）のように見えることになる。

なお、図１０Ａは、複数の表示部５０ａ、５０ｂ、５０ｃ、・・・により検出境界面４０１、４０２、４０３に表示される映像により結像される複数の空中像について、説明するための図である。また、図１０Ｂは、複数の空中像が組み合わされることによりユーザに見える立体映像を説明するための図である。

また、図９に示すように、複数の第二光検出部３０ａ、３０ｂ、３０ｃ、・・・と複数の表示部５０ａ、５０ｂ、５０ｃ、・・・とは、それぞれが互いに対応した位置に設けられている。つまり、第二光検出部３０ａおよび表示部５０ａと、第二光検出部３０ｂおよび表示部５０ｂと、第二光検出部３０ｃおよび表示部５０ｃとが、Ｚ軸方向における位置が互いに対応している。

実施の形態２に係る入力装置１００ａにおいても、実施の形態１のような検出処理が行われている。

図１１は、実施の形態２に係る入力装置での検出処理の具体例を説明するためのフローチャートである。

まず、検出光源１０によるＸ軸方向の１回のラスタ走査による検出処理が開始される（Ｓ２１）。ここでは、１回のラスタ走査のうちに行われるＸ軸方向の複数のラスタ走査のうちのＸ軸方向の１回のラスタ走査について説明する。このとき、第一検出信号Ａは、Ｘ軸方向の１回のラスタ走査が行われている間であっても、予め定められた異なる複数のタイミングで第一光検出部２０により検出されることにより得られる。ステップＳ２１〜Ｓ３３の処理は、Ｘ軸方向の１回のラスタ走査が行われている間において、予め定められた異なる複数のタイミングで検出される複数の検出信号の一つ一つに対して順番に行われる。

まず、複数の第二光検出部３０ａ、３０ｂ、・・・の検出状況を取得する（Ｓ２２）。

そして、複数の第二光検出部３０ａ、３０ｂ、・・・の検出結果のうち、所定の閾値を超えた検出結果の中で最も優先順位の高い（つまり、最も検出光源１０に近い）第二光検出部を選択する（Ｓ２３）。

次に、予め定められた異なる複数のタイミングで検出される第一検出信号のうち、指示体７０の先端が検出中の信号であるか否かが判定される（Ｓ２４）。

ここで、図１２は、指示体の先端を検出する処理を説明するための第一検出信号を示す図である。図１２は、Ｘ軸方向の１回のラスタ走査において第一光検出部２０により取得された第一検出信号Ａの値を示すグラフである。つまり、図１２では、第一検出信号Ａは、連続した曲線で表現されているが、実際には、予め定められた異なる複数のタイミングで取得された複数の第一検出信号Ａの離散的にプロットされるドットからなる。つまり、図１２で示される曲線のグラフは、離散的にプロットされたドットについて曲線近似することにより得られる。

ステップＳ２４では、この曲線のグラフが、第１層以上の階層で指示体７０が検出されており、かつ、傾きが正であることを満たした場合に、先端検出中のフェーズに移行する。そして、先端検出中において、複数の層のうちで高い層から低い層に一段階低下したことを満たした場合に、指示体７０の先端検出中でないと判定する。

指示体７０の先端が検出中でない（Ｓ２４でＮｏ）と判定された場合、現在のタイミングでの優先度と前回のタイミングでの優先度と比較する（Ｓ２５）。ここで言う、優先度とは、複数の第二光検出部３０ａ、３０ｂ、・・・のうちの最も検出光源１０に近い位置で第二反射光を検出している第二光検出部が配置される位置で定義される。つまり、具体的には、第１層よりも第２層の方が、優先度が高いことになる。

ここで、前回よりも優先度が高いと判定されれば、当該タイミングにおける第一検出信号Ａを用いて座標値の検出を開始する（Ｓ３０）。

また、指示体７０の先端が検出中である（Ｓ２４でＹｅｓ）と判定された場合、現在のタイミングでの優先度と前回のタイミングでの優先度とを比較する（Ｓ２６）。ステップＳ２６の処理は、ステップＳ２５の処理と同様である。

ステップＳ２６で、前回よりも優先度が高いと判定されれば、検出点データをリセットする（Ｓ２７）。つまり、前回まで取り込んだ第一検出信号Ａを削除する。

ステップＳ２６で、前回と優先度が同じであると判定されれば、次のステップＳ３１に進む。

ステップＳ２６で、前回よりも優先度が低いと判定されれば、前回までに検出したデータで検出座標を確定する（Ｓ２８）。つまり、例えば、前回の優先度が第３層であり、現在の優先度が第２層である場合には、前回までに検出した、優先度が第３層までのデータを用いて検出座標を確定し、終了する（Ｓ２９）。

ステップＳ３０、Ｓ２７、またはＳ２９が終了した場合、または、ステップＳ２６で前回と優先度が同じであると判定された場合、第一検出信号Ａの取り込みが開始される（Ｓ３１）。

そして、当該第一検出信号Ａを用いて、指示体７０の輪郭およびピーク強度の少なくとも一方のデータを算出する（Ｓ３２）。

次に、ステップＳ３２が終了した場合、または、ステップＳ２５において、前回よりも優先度が低いと判定された場合、Ｘ軸方向の１回のラスタ走査による検出処理を終了し（Ｓ３３）、Ｙ軸方向の次の段におけるＸ軸方向の１回のラスタ走査による検出処理をＹ軸方向の次の段がなくなるまでステップＳ２１から繰り返す。

そして、複数のＸ軸方向のラスタ走査の全てについてステップＳ２１〜Ｓ３３の処理が終了した場合、得られた座標データの座標系変換を行う（Ｓ３４）。具体的には、複数の検出境界面４０１、４０２、４０３、・・・ごとに、検出光源１０による検出光１７のラスタ走査の範囲が異なるため、それぞれの検出境界面４０１、４０２、４０３、・・・で取得された座標データを共通する座標系に変換する。

最後に、変換された座標値を出力し、当該処理を終了する（Ｓ３５）。

なお、ステップＳ２１〜Ｓ３５の処理は、１枚のラスタ走査による画像の１フレーム分を得るための処理であり、複数フレーム分に対して順次行うことになるため、ステップＳ３５が終了すればステップＳ２１に戻って繰り返し処理が行われることになる。

本実施の形態２に係る入力装置１００ａによれば、複数の第二反射光のうち検出光源１０側に近い側に配置される第二光検出部で検出された第二反射光を優先的に用いて、指示体７０の座標値を検出する。入力装置１００ａでは、ユーザは、検出光源１０に対峙する位置から入力を行う。つまり、このような入力装置１００ａでは、複数の第二光検出部３０ａ、３０ｂ、３０ｃ、・・・から得られた結果のうち、例えばユーザの指の先端の座標位置が必要になるため、ユーザの手前側の領域で取得された第一検出信号Ａは不要になる。このように、ユーザが、Ｚ軸方向の奥側（検出光源１０に近い側）を指示した座標値を優先することで、ユーザの手前側で検出される不要なデータについては処理を行わないため、座標の検出処理を行う対象となる第一検出信号Ａを最小限のデータとすることができる。このため、当該検出処理に係る処理量を低減することができる。

また、本実施の形態２に係る入力装置１００ａによれば、検出光源１０は、ラスタ走査を、検出境界面４０１、４０２、４０３、・・・の第二光検出部３０ａ、３０ｂ、３０ｃ、・・・が設けられている側から開始するため、複数の第二光検出部３０ａ、３０ｂ、３０ｃ、・・・の影になる位置へのラスタ走査を、影になりにくい位置の後にしている。これにより、確実に第二光検出部３０ａ、３０ｂ、３０ｃ、・・・による検出結果を確実に得ることができる。

また、本実施の形態２に係る入力装置１００ａによれば、Ｚ軸方向に並ぶ複数の表示部５０ａ、５０ｂ、５０ｃ、・・・を用いて立体映像を表示させるため、ユーザにＺ軸方向に奥行きを有する立体映像を見せることができる。

また、本実施の形態２に係る入力装置１００ａによれば、複数の第二光検出部３０ａ、３０ｂ、３０ｃ、・・・は、複数の表示部５０ａ、５０ｂ、５０ｃ、・・・に対応した位置に設けられているため、複数の第二光検出部５０ａ、５０ｂ、５０ｃ、・・・により検出された結果をそのまま用いて座標値を検出する処理を行えばよい。このため、ユーザに見える立体映像の座標と、指示体の座標とを合わせるための座標変換処理を省くことができる。

（その他の実施の形態）
以上、本発明の実施の形態に係る入力装置について説明したが、本発明は、この実施の形態に限定されるものではない。

例えば、実施の形態２に係る入力装置１００ａにおいて、第二光検出部３０ａ、３０ｂ、３０ｃ、・・・は、Ｚ軸方向に一列に並んで配置されているが、これに限らずに、複数の第二光検出部のうちの一部は、指示体により検出境界面に沿った第二方向に反射された第二反射光を検出するように配置されており、かつ、複数の第二光検出部のうちの残りの第二光検出部は、指示体により検出境界面に沿った第二方向とは異なる第三方向に反射された検出光を検出するように配置されていてもよい。

また、例えば、実施の形態２に係る入力装置１００ａにおいて、第二光検出部３０ａ、３０ｂ、３０ｃ、・・・は、Ｚ軸方向に二列以上並んで配置されていてもよい。

また、検出光源１０は、最終的に空間の第一方向に向けて出射する光学系（例えばミラー）を含む。つまり、第一方向に異なる方向に向けて出射する光源があったとしても、最終的にミラーなどの光学系を介して第一方向に出射されていれば、そのような光学系も検出光源に含まれる。

また、上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクドライブ、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムとして構成されても良い。ＲＡＭまたはハードディスクドライブには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

さらに、上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしても良い。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

さらにまた、上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしても良い。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしても良い。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしても良い。

また、本発明は、上記に示す方法であるとしても良い。また、本発明は、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、上記コンピュータプログラムからなるデジタル信号であるとしても良い。

さらに、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読み取り可能な非一時的な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリなどに記録したものとしても良い。また、これらの非一時的な記録媒体に記録されている上記デジタル信号であるとしても良い。

また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしても良い。

また、上記プログラムまたは上記デジタル信号を上記非一時的な記録媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号を、上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。

さらに、上記実施の形態および上記変形例をそれぞれ組み合わせるとしても良い。

本発明は、三次元空間上における指示体の位置を、簡素な構成、かつ、少ない処理量で、正確に特定できる入力装置などとして有用である。

１０ 検出光源
１１ レーザドライバ
１２ 赤外レーザ素子
１３ コリメートレンズ
１４ 走査ドライバ
１５ アクチュエータ
１６ ミラー
１７ 検出光
１８ 第一反射光
１９ 第二反射光
２０ 第一光検出部
２１ 集光レンズ
２２ 光電変換素子
３０、３０ａ〜３０ｃ 第二光検出部
３１ 集光レンズ
３２ 光電変換素子
４０ 制御部
４１ ＣＰＵ
４２ ＲＡＭ
４３ ＲＯＭ
５０、５０ａ〜５０ｃ 表示部
６０ 結像部
７０ 指示体
１００、１００ａ 入力装置
１１０ 座標検出部
１１１ 判定部
１１２ データ生成部
１１３ 座標生成部
１２０ 画像処理部
１２１ 第一画像
１２２ 第二画像
１２２ａ 特定領域
１２３ 切出画像
１５０ 投影部
４００、４０１、４０２、４０３ 検出境界面

本発明は、三次元空間上における指示体の位置を特定することにより、当該位置に応じた入力を行うための入力装置に関する。

従来、三次元空間上における指示体の位置を特定し、当該位置に応じた入力を行う入力装置が知られている（例えば、特許文献１参照）。特許文献１の技術では、カメラで撮影された映像から指示体の位置を画像解析により特定している。

国際公開第２００８／１２３５００号

しかしながら、特許文献１の技術では、カメラを用いているため、装置自体が大きくなってしまう。また、カメラで撮影された映像の画像解析を行うための高度なソフトウェアが必要になり、画像処理に係る処理量が多くなってしまうと言う問題がある。

そこで、本発明は、このような状況に鑑みてなされたものであり、三次元空間上における指示体の位置を、簡素な構成、かつ、少ない処理量で、正確に特定できる入力装置を提供することにある。

上記目的を達成するために、本発明の一態様に係る入力装置は、所定領域に向けて光を出射する光源と、被検体から第一領域に向けて反射された光を受光し、第一検出信号を出力する第一受光部と、前記所定領域から前記第一領域に向かう方向に略垂直な方向の第二領域に向けて前記被検体から反射された光を受光し、第二検出信号を出力する第二受光部と、前記第二受光部が前記反射光を検出している間に得られた前記第一検出信号を用いて、前記被検体の位置を決定する制御部と、を備える。
これによれば、第一受光部が受光することにより得られた受光データの全部ではなく、第二受光部が受光したタイミングと同じタイミングで受光することにより得られた受光データを用いて、被検体の位置を決定するため、少ない処理量で被検体の位置を精度よく特定できる。
例えば、前記制御部は、所定の閾値を超える光量の反射光を前記第二受光部が受光したタイミングと同じタイミングで、前記第一受光部が受光することにより得られた受光データを用いて、前記被検体の位置を決定してもよい。
例えば、さらに、映像を表示する表示部と、前記表示部によって表示される映像を前記所定領域内で結像させることにより、前記所定領域内に立体映像を投影する結像部と、を有してもよい。
これによれば、所定領域内に立体映像を投影することができる。
例えば、複数の表示部は、前記光源からの光の出射方向に並び、かつ、それぞれが表示している表示画像が前記出射方向に交差してもよい。
これによれば、光源からの光の出射方向に沿って配置される複数の表示部を用いて立体映像を表示させるため、ユーザに、出射方向に奥行きを有する立体映像を見せることができる。
例えば、前記所定領域は、前記結像部によって映像が結像される映像面を含む領域であってもよい。
例えば、前記第二受光部は、複数備えられ、前記複数の第二受光部のそれぞれは前記複数の表示部に対応する位置に設けられていてもよい。
これによれば、複数の第二受光部により検出された結果をそのまま用いて被検体の位置を検出する処理を行えばよいため、ユーザが見える立体映像の位置と、被検体の位置とを合わせるための処理を省くことができる。
例えば、前記複数の第二受光部は、それぞれ対応する表示部の表示領域において、他の表示部における反射光とは異なる方向に反射される光を検出する位置に配置されてもよい。
このため、一方からでは影になるような場合であっても、他方からの反射光を取得できる場合が増えるため、影による影響を低減できる。
例えば、前記第一受光部は、前記被検体から前記略垂直な方向側に向けて反射された光を受光し、前記第二受光部は、前記被検体から前記略垂直な方向に向けて反射された光を受光してもよい。
これによれば、光源から出射された光を被検体が反射した光を、第一受光部および第二受光部が受光できるため、被検体の位置検出を精度よくできる。
例えば、さらに、前記所定領域に映像を投影する投影部を備えてもよい。
これによれば、所定領域内に映像を投影することができる。
また、本発明の一態様に係る入力装置は、第一方向に向けて検出光を出射し、空間中に定められる検出境界面に対して前記検出光によるラスタ走査を行う光源と、前記検出境界面よりも前記光源側に配置され、前記検出光が反射された第一反射光を検出する第一光検出部と、前記検出境界面から前記光源側に設けられる検出領域に対して進入した指示体によって前記検出光が反射された第二反射光を検出する第二光検出部と、同じタイミングにおいて前記第一及び第二光検出部が受光することにより得られた受光データを用いて、前記指示体の座標値を検出する制御部と、を備える。

これによれば、検出光が検出境界面に対して出射されており、第一光検出部が光源側に配置され、第二光検出部が検出領域に対して進入した指示体によって反射された第二反射光を検出可能な位置に配置されている。つまり、第一光検出部は、指示体において反射された反射光のうち、光源側に反射された第一反射光を検出し、第二光検出部は、検出領域で反射された第二反射光を検出する。そして、制御部は、第二光検出部が第二反射光を検出したタイミングで第一光検出部が検出した第一反射光に基づく検出信号を用いて、指示体の座標値を検出する。

このように、第一光検出部で検出された第一反射光の検出結果の全部ではなく、第二光検出部が第二反射光を検出したタイミングで検出された第一反射光の検出結果（つまり第一反射光の検出結果の一部）を用いて、指示体の座標値を検出するため、少ない処理量で指示体の座標値を正確に特定できる。

例えば、前記第二光検出部は、複数設けられ、複数の前記第二光検出部は、前記第一方向における異なる位置に配置され、前記制御部は、前記複数の第二光検出部により検出された複数の第二反射光のうち、前記光源に近い側に配置される第二光検出部で検出された第二反射光を優先的に用いて、前記指示体の座標値を検出しても良い。

これによれば、複数の第二反射光のうち光源側に近い側に配置される第二光検出部で検出された第二反射光を優先的に用いて、指示体の座標値を検出する。入力装置では、ユーザは、光源に対峙する位置から入力を行う。つまり、このような入力装置では、複数の第二光検出部から得られた結果のうち、例えばユーザの指の先端の座標位置が必要になるため、ユーザの手前側の領域で取得された第一検出信号は不要になる。このように、ユーザが、Ｚ軸方向の奥側（光源に近い側）を指示した座標値を優先することで、ユーザの手前側で検出される不要なデータについては処理を行わないため、座標の検出処理を行う対象となる第一検出信号を最小限のデータとすることができる。このため、当該検出処理に係る処理量を低減することができる。

また、さらに、前記検出領域内に空中映像を投影する投影部を備え、前記制御部は、検出した前記指示体の座標値に応じて、前記投影部で投影される前記空中映像を変化させても良い。

これによれば、空中映像を投影し、投影された空中映像を指示体の座標値に応じて変更するため、例えば、ユーザに対して空中映像を直接操作した感覚を与えることができる。

また、前記投影部は、表示面が前記第一方向に交差し、かつ、前記第一方向に並ぶ複数の表示部と、前記複数の表示部に表示される複数の映像を前記検出領域内で結像させることにより、前記検出領域内に前記空中映像として立体映像を投影する結像部と、を有しても良い。

これによれば、第一方向に並ぶ複数の表示部を用いて立体映像を表示させるため、ユーザに、第一方向に奥行きを有する立体映像を見せることができる。

また、前記複数の第二光検出部は、前記複数の表示部に対応した位置に設けられていても良い。

これによれば、複数の第二光検出部により検出された結果をそのまま用いて座標値を検出する処理を行えばよいため、ユーザが見える立体映像の座標と、指示体の座標とを合わせるための座標変換処理を省くことができる。

また、前記複数の第二光検出部は、前記第一方向に並ぶように配置されていても良い。

また、前記複数の第二光検出部のうちの一部は、前記指示体により前記検出境界面に沿った第二方向に反射された前記第二反射光を検出するように配置されており、前記複数の第二光検出部のうちの残りの第二光検出部は、前記指示体により前記検出境界面に沿った前記第二方向とは異なる第三方向に反射された前記検出光を検出するように配置されていても良い。

これによれば、第二方向に反射される第二反射光だけでなく、第三方向に反射される第二反射光を検出できるため、第二方向および第三方向の少なくとも一方に向けて進む反射光があれば、検出領域に進入した指示体を検出可能である。このため、一方からでは影になるような場合であっても、他方から反射光を取得できれば、指示体を検出できるため、影による影響を低減できる。

また、前記光源は、前記ラスタ走査を、前記検出境界面の前記第二光検出部が設けられている側から開始しても良い。

これによれば、光源は、ラスタ走査を、検出境界面の第二光検出部が設けられている側から開始するため、第二光検出部の影になる位置へのラスタ走査を、影になりにくい位置の後に行っている。これにより、確実に第二光検出部による検出結果を確実に得ることができる。

なお、本発明は、このような特徴的な処理部を備える入力装置として実現することができるだけでなく、入力装置に含まれる特徴的な処理部が実行する処理をステップとする入力方法として実現することができる。また、入力装置に含まれる特徴的な処理部としてコンピュータを機能させるためのプログラムまたは入力方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムを、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のコンピュータ読取可能な非一時的な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。

本発明によると、三次元空間上における指示体の位置を、簡素な構成、かつ、少ない処理量で、正確に特定できる。

実施の形態１に係る入力装置の構成の一例を示す模式図である。 入力装置の第二光検出部の検出領域について説明するための図である。 実施の形態１に係る入力装置の機能的な構成の一例を示すブロック図である。 実施の形態１に係る制御部の機能的な構成の一例を示すブロック図である。 １回のラスタ走査における第一検出信号Ａを画像に変換した場合のイメージ図である。 １回のラスタ走査における第二検出信号Ｂのうち所定の閾値を超えて検出された第二検出信号Ｂを画像に変換した場合のイメージ図である。 検出タイミングで検出された第一検出信号Ａを画像に変換した場合のイメージ図である。 指示体の座標値を検出する検出処理を示すフローチャートである。 実施の形態２に係る入力装置の機能構成の一例を示す模式図である。 実施の形態２に係る制御部の機能的な構成の一例を示すブロック図である。 実施の形態２に係る入力装置の複数の第二検出部の検出領域について説明するための図である。 複数の表示部に表示される映像により結像される複数の空中像について、説明するための図である。 複数の空中像が組み合わされることによりユーザに見える立体映像を説明するための図である。 実施の形態２に係る入力装置での検出処理の具体例を説明するためのフローチャートである。 指示体の先端を検出する処理を説明するための第一検出信号を示す図である。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、特許請求の範囲によって特定される。よって、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。

（実施の形態１）
実施の形態１では、空間に投影された空中像に対するユーザの仮想的なタッチ動作を検出する入力装置について説明する。

図１は、実施の形態１に係る入力装置の構成の一例を示す模式図である。図２は、入力装置の第二光検出部の検出領域について説明するための図である。

図１に示されるように、入力装置１００は、検出光源１０、第一光検出部２０、第二光検出部３０、制御部４０、および投影部１５０を備える。

検出光源１０は、第一方向（Ｚ軸方向）に向けて検出光１７を出射し、空間中に定められる検出境界面４００に対して検出光のラスタ走査を行う。検出光源１０は、所定領域としての検出領域Ｒに向けて光を出射する光源である。なお、検出光源１０は、検出光１７を検出境界面４００に対して、所定のタイミングでラスタ走査を行う。検出光１７は、例えば、赤外レーザのコリメート光であってもよい。

第一光検出部２０は、検出境界面４００よりも検出光源１０側に配置され、検出光１７が反射された第一反射光１８を検出する。第一検出部２０は、被検体としての指示体７０から第一領域に向けて反射された光を受光する第一受光部である。第一光検出部２０は、予め定められた異なる複数のタイミングで第一反射光１８を検出し、検出した結果としての第一検出信号Ａを出力する。

第二光検出部３０は、検出境界面４００から検出光源１０側に設けられる検出領域Ｒに対して進入した指示体７０によって検出光１７が反射された第二反射光１９を検出する。第二光検出部３０は、検出領域Ｒから第一領域に向かう方向（Ｚ軸方向）に略垂直な方向（Ｙ軸方向）の第二領域に向けて指示体７０から反射された光を受光する第二受光部である。第二光検出部３０は、第一光検出部２０と同様に、予め定められた異なる複数のタイミングで第二反射光１９を検出し、検出した結果として第二検出信号Ｂを出力する。第二光検出部３０は、第一光検出部２０のＺ軸方向に沿った検出領域とは、交差するＹ軸方向に沿った検出領域で反射された第二反射光１９を検出する。また、第二光検出部３０は、Ｙ軸方向に沿って反射された光を検出する。

なお、指示体７０は、例えば、ユーザの指、またはユーザが手に持って動かすペンなどである。検出領域Ｒ内には、指示体７０によって仮想的にタッチされる対象である仮想タッチ面（図示せず）が定義されていてもよい。

なお、第一光検出部２０により第一反射光１８が検出される予め定められた異なる複数のタイミングと、第二光検出部３０により第二反射光１９が検出される予め定められた異なる複数のタイミングとは同期されている。また、検出光源１０によりラスタ走査におけるＸ−Ｙ座標値と、第一光検出部２０および第二光検出部３０により検出が行われる予め定められた異なる複数のタイミングとは、関連づけられている。つまり、予め異なる複数のタイミングのうちの一タイミングが特定されれば、当該一タイミングにおける検出光源１０から出射されている検出光１７の検出境界面４００でのＸ−Ｙ座標値が特定されることになる。

制御部４０は、第二光検出部３０が第二反射光１９を検出している間に第一光検出部２０が検出した第一反射光１８に基づく検出信号を用いて、指示体７０の座標値を検出する。つまり、同じタイミングにおいて第一光検出部２０および第二光検出部３０が受光することにより得られた受光データとしての第一検出信号Ａおよび第二検出信号Ｂを用いて、指示体７０の位置を決定する。具体的には、制御部４０は、所定の閾値を超える光量の反射光を第二光検出部３０が受光したタイミングと同じタイミングで、第一光検出部２０が受光することにより得られた受光データを用いて、指示体７０の位置を決定する。
また、制御部４０は、検出した指示体７０の座標値に応じて、投影部１５０で投影される空中映像を変化させる。制御部４０は、具体的には、検出した指示体７０の座標値に応じた空中映像の位置にポインタを表示させることで空中映像を変化させてもよいし、ポインタによる入力に応じて空中映像を回転させる、移動させる、変形させる等で変化させてもよい。

投影部１５０は、表示部５０および結像部６０を有し、検出領域Ｒ内に空中映像を投影する。投影部１５０は、検出領域Ｒに映像を投影する。

表示部５０は、映像を表示する、例えば表示パネルである。表示部５０は、表示面が第一方向に交差する。表示部５０は、例えば、液晶表示部であってもよい。映像は、例えば、高度に陰影処理され、正確な立体感が与えられた映像オブジェクトであってもよい。

結像部６０は、表示部５０に表示された映像を空中像として検出領域Ｒ内に投影する光学素子パネルである。言い換えると、結像部６０は、表示部５０によって表示される映像を検出領域Ｒ内で結像させることにより、検出領域Ｒ内に立体映像を投影する。検出領域Ｒは、結像部６０によって映像が結像される映像面を含む領域である。結像部６０は、例えば、特許文献１に開示される、２面コーナーリフレクタアレイであってもよい。結像部６０によって、映像の奥行きが反転した実像が空中像として検出領域Ｒ内に結像される。制御部４０において、空中像の表面形状と同じ形状の仮想タッチ面を定義することで、ユーザは、空中像に対する仮想的なタッチ感を得ることができる。

次に、入力装置１００の機能的な構成について説明する。

図３は、実施の形態１に係る入力装置の機能的な構成の一例を示すブロック図である。

図３に示されるように、検出光源１０は、レーザドライバ１１、赤外レーザ素子１２、コリメートレンズ１３、走査ドライバ１４、アクチュエータ１５、およびミラー１６を有する。

レーザドライバ１１は、制御部４０の制御下で、赤外レーザ素子１２を駆動する。赤外レーザ素子１２は、検出光１７としての赤外レーザ光を出射する。コリメートレンズ１３は、赤外レーザ素子１２から入射された赤外レーザ光を平行光に変換する。

走査ドライバ１４は、制御部４０の制御下で、アクチュエータ１５を駆動する。アクチュエータ１５は、ミラー１６の方向を変更することにより、ミラー１６で反射した検出光１７で検出境界面４００をラスタ走査する。検出境界面４００のラスタ走査は、図１に示されるように、検出光１７で検出境界面４００をＸ軸方向にラスタ走査する主ラスタ走査とＹ方向にラスタ走査する副ラスタ走査とで構成されてもよい。

第一光検出部２０は、集光レンズ２１および光電変換素子２２を有する。

集光レンズ２１は、検出光１７の指示体７０からの第一反射光１８を光電変換素子２２に集光する。光電変換素子２２は、集光レンズ２１を介して入射した第一反射光１８を検出信号に変換する。

第二光検出部３０は、集光レンズ３１、および光電変換素子３２を有する。

集光レンズ３１は、検出光１７の指示体７０からの第二反射光１９を光電変換素子３２に集光する。光電変換素子３２は、集光レンズ３１を介して入射した第二反射光１９を検出信号に変換する。

制御部４０は、上述した予め定められた異なる複数のタイミング（つまり、サンプリングのタイミング）と、検出光１７がラスタ走査される座標値とが関連づけられた情報を保持し、指示体７０の位置を特定するコントローラである。制御部４０は、指示体７０の位置を特定した結果を、表示部５０の表示に反映させる。

制御部４０は、具体的には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４３などからなるコンピュータシステムとして構成されてもよい。制御部４０の一部または全部の機能は、ＣＰＵ４１がＲＡＭ４２を作業用のメモリとして用いてＲＯＭ４３に記録されたプログラム（図示せず）を実行することによって達成されてもよい。また、制御部４０の一部または全部の機能は、専用のハードウェア回路によって達成されてもよい。

次に、制御部４０の機能的な構成について説明する。

図４は、実施の形態１に係る制御部の機能的な構成の一例を示すブロック図である。

図４に示されるように、制御部４０は、座標検出部１１０と、画像処理部１２０とを有する。座標検出部１１０は、第一光検出部２０で取得された第一検出信号Ａと、第二光検出部３０で取得された第二検出信号Ｂと、検出光源１０で行われているラスタ走査の同期信号とを取得し、取得した信号を解析することにより、指示体７０の座標値を検出する。画像処理部１２０は、座標検出部１１０により得られた指示体７０の座標値に基づいて、表示部５０に表示させる画像の生成を行う。

座標検出部１１０は、判定部１１１、データ生成部１１２、および座標生成部１１３を有する。

判定部１１１は、第一光検出部２０で取得された第一検出信号Ａと、第二光検出部３０で取得された第二検出信号Ｂと、検出光源１０のラスタ走査の同期信号とを取得する。判定部１１１は、第二検出信号Ｂが所定の閾値を超えているか否かを、異なる複数のタイミングで得られた検出信号毎に判定する。また、判定部１１１は、第二検出信号Ｂが所定の閾値を超えていると判定した場合、複数のタイミングで検出された第一検出信号Ａのうちで、所定の閾値を超えている第二検出信号Ｂが検出されたタイミングである検出タイミングで検出された第一検出信号Ａを特定する。

データ生成部１１２は、判定部１１１により特定された、検出タイミングで検出された第一検出信号Ａを用いて、指示体７０の形状、サイズ、ピーク強度、および指示座標を示す指示体データを生成する。なお、指示体データは、指示体７０の先端の位置を示す座標を含むが、指示体７０の先端の位置に限らずに、指示体７０の基準となる位置が予め特定できるように定められていてもよい。

座標生成部１１３は、データ生成部１１２により生成された指示体データから、指示体７０の先端の位置を示す座標を出力する。

図５Ａは、１回のラスタ走査における第一検出信号Ａを画像に変換した場合のイメージ図である。図５Ｂは、１回のラスタ走査における第二検出信号Ｂのうち所定の閾値を超えて検出された第二検出信号Ｂを画像に変換した場合のイメージ図である。図５Ｃは、検出タイミングで検出された第一検出信号Ａを画像に変換した場合のイメージ図である。なお、ここでいう「１回のラスタ走査」とは、検出境界面４００の全部の領域を１回分ラスタ走査することである。

図５Ａに示されるように、１回のラスタ走査において第一光検出部２０で取得された第一検出信号Ａは、第一画像１２１のように表される。第一画像１２１では、より白いほど第一検出信号の検出値が大きく、より黒いほど第一検出信号の検出値が小さいことを示している。つまり、第一画像１２１では、指示体７０でより強く反射された第一反射光１８ほど白く描写される。

また、図５Ｂに示されるように、１回のラスタ走査において第二光検出部３０で取得された第二検出信号Ｂは、第二画像１２２のように表される。第二画像１２２は、所定の閾値を超えたか否かが表されるため、白黒の二値で表される。つまり、第二画像１２２では、所定の閾値を超えた第二検出信号Ｂが白で表され、所定の閾値以下である第二検出信号Ｂが黒で表される。このため、第二画像１２２を用いることにより、所定の閾値を超えた第二検出信号Ｂで表される特定領域１２２ａが識別可能になる。

第一画像１２１および第二画像１２２は、１回のラスタ走査が行われている間において取得された第一検出信号Ａおよび第二検出信号Ｂを表現したものである。つまり、第一画像１２１は、予め定められた異なる複数のタイミングで検出された第一検出信号Ａの各タイミングにおける検出値と、当該タイミングから特定される座標値とにより表される。第二画像１２２は、予め定められた異なる複数のタイミングで検出された第二検出信号Ｂの各タイミングにおける検出値が所定の閾値を超えているか否かの判定結果と、当該タイミングから特定される座標値とにより表される。

そして、図５Ａの第一画像１２１から図５Ｂの特定領域１２２ａのみを切り出した切出画像１２３を求めることで、検出タイミングで検出された第一検出信号Ａを画像に変換した画像を得ることができる。このようにして、制御部４０は、切出画像１２３を、１回のラスタ走査により得られた第一検出信号Ａおよび第二検出信号Ｂから得ることができ、切出画像１２３について画像処理を行うことにより、指示体７０の形状、サイズ、ピーク強度、および指示座標を示す指示体データを生成している。このため、第一検出信号Ａのみを用いて指示体データを生成するよりも、小さい切出画像１２３に対して画像処理を行うことにより指示体データを生成することになるため、より少ない処理量で指示体７０の先端の座標値を検出できる。

なお、画像処理は、検出信号として得られる画像のうちで最もピーク強度が高い領域を検出するための処理である。また、画像処理は、検出信号として得られる画像のうちで所定の閾値を超える領域を検出する処理である。また、画像処理は、ピーク強度が高い領域または所定の閾値を超える領域から基準となる点を指示体の座標値として検出するための処理である。

次に、制御部４０の動作について説明する。

図６は、指示体の座標値を検出する検出処理を示すフローチャートである。

検出処理では、まず、制御部４０は、検出光源１０から検出光１７を出射させ、当該検出光１７を検出境界面４００に対してラスタ走査する（Ｓ１１）。

次に、制御部４０は、第一光検出部２０で検出された第一検出信号Ａを取得する（Ｓ１２）。

また、制御部４０は、第二光検出部３０で検出された第二検出信号Ｂを取得する（Ｓ１３）。

制御部４０は、第一検出信号Ａおよび第二検出信号Ｂを用いて指示体７０の座標値を検出する（Ｓ１４）。つまり、第二光検出部３０が第二反射光１９を検出したタイミングで第一光検出部２０が検出した第一反射光１８に基づく検出信号を用いて、指示体７０の座標値を検出する。具体的には、制御部４０は、第二反射光１９が検出されたか否かを判定する。具体的には、制御部４０は、判定部１１１を用いて第二光検出部３０で検出された第二検出信号Ｂが所定の閾値を超えているか否かを判定することで、第二反射光１９が検出されたか否かを判定する。そして、制御部４０は、第二反射光１９が検出されたと判定した場合における、第一検出信号Ａを用いて座標値を検出する。

本実施の形態１に係る入力装置１００によれば、検出光１７が検出境界面４００に対して出射されており、第一光検出部２０が検出光源１０側に配置され、第二光検出部３０が検出領域Ｒに対して進入した指示体７０によって反射された第二反射光１９を検出可能な位置に配置されている。つまり、第一光検出部２０は、指示体７０において反射された反射光のうち、検出光源１０側に反射された第一反射光１８を検出し、第二光検出部３０は、第一光検出部２０による光の検出領域をさらに限定した領域である検出領域Ｒで反射された第二反射光１９を検出する。そして、制御部４０は、第二光検出部３０が第二反射光１９を検出したタイミングで第一光検出部２０が検出した第一反射光１８に基づく検出信号を用いて、指示体７０の座標値を検出する。

このように、第一光検出部２０で検出された第一反射光１８の検出結果の全部ではなく、第二光検出部が第二反射光１９を検出したタイミングで検出された第一反射光１８の検出結果（つまり第一反射光１８の検出結果の一部）を用いて、指示体７０の座標値を検出するため、少ない処理量で指示体の座標値を正確に特定できる。また、指示体７０の奥行き方向（Ｚ軸方向）における位置を第二光検出部３０により検出でき、第二光検出部３０で検出したタイミングでの第一検出信号Ａを用いて指示体の座標値を検出するため、第二光検出部３０の検出領域Ｒから外れる領域に存在する指示体７０からの第一検出信号Ａは座標値の検出処理に使用されない。つまり、指示体７０の部分のうちで、指示体７０の座標値が必要となる検出領域Ｒに含まれる指示体７０の一部の座標値を特定するため、第一検出信号Ａの検出誤差を低減することができる。

また、本実施の形態１に係る入力装置１００によれば、空中映像を投影し、投影された空中映像を指示体７０の座標値に応じて変更するため、例えば、ユーザに対して空中映像を直接操作した感覚を与えることができる。
また、例えば、第一光検出部２０は、指示体７０よりもＹ軸方向プラス側の領域に向けて反射された光を受光し、かつ、第二光検出部３０は、指示体７０においてＹ軸方向プラス側の方向に向けて反射された光を受光している。つまり、第一光検出部２０は、第二光検出部３０の検出領域に対して配置されている方向側に向けて、指示体７０から反射された光を受光できる位置に配置されているとも言える。これにより、指示体７０が検出光源１０から出射された検出光を反射した反射光を、第一光検出部２０および第二光検出部３０が受光できる。

（実施の形態２）
次に、実施の形態２に係る入力装置１００ａについて説明する。

図７は、実施の形態２に係る入力装置の機能構成の一例を示す模式図である。図８は、実施の形態２に係る制御部の機能的な構成の一例を示すブロック図である。図９は、実施の形態２に係る入力装置の複数の第二検出部の検出領域について説明するための図である。

実施の形態２に係る入力装置１００ａは、複数の第二光検出部３０ａ、３０ｂ、・・・を備えること、および、複数の表示部５０ａ、５０ｂ、・・・を備えることが、実施の形態１に係る入力装置１００と異なる。また、実施の形態２に係る制御部４０は、複数の第二光検出部３０ａ、３０ｂ、・・・により取得された第二検出信号Ｂ１、Ｂ２、・・・を取得して、当該取得した第二検出信号Ｂ１、Ｂ２、・・・を用いて、指示体７０の座標値を検出する処理を行う点、および、検出した指示体７０の座標値に応じて複数の表示部５０ａ、５０ｂ、・・・に映像を出力する点が異なる。その他の構成については、実施の形態１と同様であるため、同じ符号を付して説明を省略する。

複数の第二光検出部３０ａ、３０ｂ、・・・は、互いに第一方向（Ｚ軸方向）における異なる位置に配置される。つまり、複数の第二光検出部３０ａ、３０ｂ、・・・は、Ｚ軸方向に並んで配置される。なお、複数の第二光検出部３０ａ、３０ｂ、３０ｃのそれぞれには、図９に示すように、検出境界面４０１、４０２、４０３がそれぞれ定義される。そして、最もユーザに近い位置の検出境界面４０１を第１層と定義し、第１層よりもユーザから遠い位置に配置される検出境界面をユーザに近い順からそれぞれ第２層、第３層、・・・と定義する。つまり、検出境界面４０２は、第２層と定義され、検出境界面４０３は、第３層と定義される。また、複数の第二光検出部３０ａ、３０ｂ、３０ｃのそれぞれは、それぞれの検出境界面４０１、４０２、４０３よりも検出光源１０側に設けられる検出領域Ｒ１、Ｒ２、Ｒ３に進入した指示体７０から反射された第二反射光を検出する。

また、制御部４０は、複数の第二光検出部３０ａ、３０ｂ、・・・により検出された複数の第二反射光のうち、検出光源１０に近い側に配置される第二光検出部で検出された第二反射光を優先的に用いて、指示体７０の座標値を検出する。具体的には、例えば、第二光検出部３０ａおよび第二光検出部３０ｂで第二反射光が検出された場合、検出光源１０に近い側（ユーザから遠い側）に配置される第二光検出部３０ｂの検出結果を優先的に用いて指示体７０の座標値を検出する。

また、複数の表示部５０ａ、５０ｂ、５０ｃ、・・・は、表示面がＺ軸方向に交差する姿勢で配置され、かつ、Ｚ軸方向に並んで配置される。つまり、複数の表示部５０ａ、５０ｂ、５０ｃ、・・・は、検出光源１０からの光の出射方向に沿って並び、かつ、それぞれが表示している表示画像が当該出射方向に交差すると言える。結像部６０は、複数の表示部５０ａ、５０ｂ、・・・に表示される複数の映像を複数の検出領域Ｒ１、Ｒ２、Ｒ３、・・・内で結像させることにより、複数の検出領域Ｒ１、Ｒ２、Ｒ３、・・・内に空中映像として立体映像を投影する（図１０Ａ）。なお、図１０Ａに示すように、最もユーザに近い表示部５０ａでは、立体の最も手前側の部分が表示され、ユーザから離れた位置に配置される表示部に行くに従い、ユーザから離れた位置の立体の部分が表示されることになる。つまり、ユーザには、複数の空中像が組み合わされることにより奥行きを有する立体映像（図１０Ｂ）のように見えることになる。

なお、図１０Ａは、複数の表示部５０ａ、５０ｂ、５０ｃ、・・・により検出境界面４０１、４０２、４０３に表示される映像により結像される複数の空中像について、説明するための図である。また、図１０Ｂは、複数の空中像が組み合わされることによりユーザに見える立体映像を説明するための図である。

また、図９に示すように、複数の第二光検出部３０ａ、３０ｂ、３０ｃ、・・・と複数の表示部５０ａ、５０ｂ、５０ｃ、・・・とは、それぞれが互いに対応した位置に設けられている。つまり、第二光検出部３０ａおよび表示部５０ａと、第二光検出部３０ｂおよび表示部５０ｂと、第二光検出部３０ｃおよび表示部５０ｃとが、Ｚ軸方向における位置が互いに対応している。

実施の形態２に係る入力装置１００ａにおいても、実施の形態１のような検出処理が行われている。

図１１は、実施の形態２に係る入力装置での検出処理の具体例を説明するためのフローチャートである。

まず、検出光源１０によるＸ軸方向の１回のラスタ走査による検出処理が開始される（Ｓ２１）。ここでは、１回のラスタ走査のうちに行われるＸ軸方向の複数のラスタ走査のうちのＸ軸方向の１回のラスタ走査について説明する。このとき、第一検出信号Ａは、Ｘ軸方向の１回のラスタ走査が行われている間であっても、予め定められた異なる複数のタイミングで第一光検出部２０により検出されることにより得られる。ステップＳ２１〜Ｓ３３の処理は、Ｘ軸方向の１回のラスタ走査が行われている間において、予め定められた異なる複数のタイミングで検出される複数の検出信号の一つ一つに対して順番に行われる。

まず、複数の第二光検出部３０ａ、３０ｂ、・・・の検出状況を取得する（Ｓ２２）。

そして、複数の第二光検出部３０ａ、３０ｂ、・・・の検出結果のうち、所定の閾値を超えた検出結果の中で最も優先順位の高い（つまり、最も検出光源１０に近い）第二光検出部を選択する（Ｓ２３）。

次に、予め定められた異なる複数のタイミングで検出される第一検出信号のうち、指示体７０の先端が検出中の信号であるか否かが判定される（Ｓ２４）。

ここで、図１２は、指示体の先端を検出する処理を説明するための第一検出信号を示す図である。図１２は、Ｘ軸方向の１回のラスタ走査において第一光検出部２０により取得された第一検出信号Ａの値を示すグラフである。つまり、図１２では、第一検出信号Ａは、連続した曲線で表現されているが、実際には、予め定められた異なる複数のタイミングで取得された複数の第一検出信号Ａの離散的にプロットされるドットからなる。つまり、図１２で示される曲線のグラフは、離散的にプロットされたドットについて曲線近似することにより得られる。

ステップＳ２４では、この曲線のグラフが、第１層以上の階層で指示体７０が検出されており、かつ、傾きが正であることを満たした場合に、先端検出中のフェーズに移行する。そして、先端検出中において、複数の層のうちで高い層から低い層に一段階低下したことを満たした場合に、指示体７０の先端検出中でないと判定する。

指示体７０の先端が検出中でない（Ｓ２４でＮｏ）と判定された場合、現在のタイミングでの優先度と前回のタイミングでの優先度と比較する（Ｓ２５）。ここで言う、優先度とは、複数の第二光検出部３０ａ、３０ｂ、・・・のうちの最も検出光源１０に近い位置で第二反射光を検出している第二光検出部が配置される位置で定義される。つまり、具体的には、第１層よりも第２層の方が、優先度が高いことになる。

ここで、前回よりも優先度が高いと判定されれば、当該タイミングにおける第一検出信号Ａを用いて座標値の検出を開始する（Ｓ３０）。

また、指示体７０の先端が検出中である（Ｓ２４でＹｅｓ）と判定された場合、現在のタイミングでの優先度と前回のタイミングでの優先度とを比較する（Ｓ２６）。ステップＳ２６の処理は、ステップＳ２５の処理と同様である。

ステップＳ２６で、前回よりも優先度が高いと判定されれば、検出点データをリセットする（Ｓ２７）。つまり、前回まで取り込んだ第一検出信号Ａを削除する。

ステップＳ２６で、前回と優先度が同じであると判定されれば、次のステップＳ３１に進む。

ステップＳ２６で、前回よりも優先度が低いと判定されれば、前回までに検出したデータで検出座標を確定する（Ｓ２８）。つまり、例えば、前回の優先度が第３層であり、現在の優先度が第２層である場合には、前回までに検出した、優先度が第３層までのデータを用いて検出座標を確定し、終了する（Ｓ２９）。

ステップＳ３０、Ｓ２７、またはＳ２９が終了した場合、または、ステップＳ２６で前回と優先度が同じであると判定された場合、第一検出信号Ａの取り込みが開始される（Ｓ３１）。

そして、当該第一検出信号Ａを用いて、指示体７０の輪郭およびピーク強度の少なくとも一方のデータを算出する（Ｓ３２）。

次に、ステップＳ３２が終了した場合、または、ステップＳ２５において、前回よりも優先度が低いと判定された場合、Ｘ軸方向の１回のラスタ走査による検出処理を終了し（Ｓ３３）、Ｙ軸方向の次の段におけるＸ軸方向の１回のラスタ走査による検出処理をＹ軸方向の次の段がなくなるまでステップＳ２１から繰り返す。

そして、複数のＸ軸方向のラスタ走査の全てについてステップＳ２１〜Ｓ３３の処理が終了した場合、得られた座標データの座標系変換を行う（Ｓ３４）。具体的には、複数の検出境界面４０１、４０２、４０３、・・・ごとに、検出光源１０による検出光１７のラスタ走査の範囲が異なるため、それぞれの検出境界面４０１、４０２、４０３、・・・で取得された座標データを共通する座標系に変換する。

最後に、変換された座標値を出力し、当該処理を終了する（Ｓ３５）。

なお、ステップＳ２１〜Ｓ３５の処理は、１枚のラスタ走査による画像の１フレーム分を得るための処理であり、複数フレーム分に対して順次行うことになるため、ステップＳ３５が終了すればステップＳ２１に戻って繰り返し処理が行われることになる。

本実施の形態２に係る入力装置１００ａによれば、複数の第二反射光のうち検出光源１０側に近い側に配置される第二光検出部で検出された第二反射光を優先的に用いて、指示体７０の座標値を検出する。入力装置１００ａでは、ユーザは、検出光源１０に対峙する位置から入力を行う。つまり、このような入力装置１００ａでは、複数の第二光検出部３０ａ、３０ｂ、３０ｃ、・・・から得られた結果のうち、例えばユーザの指の先端の座標位置が必要になるため、ユーザの手前側の領域で取得された第一検出信号Ａは不要になる。このように、ユーザが、Ｚ軸方向の奥側（検出光源１０に近い側）を指示した座標値を優先することで、ユーザの手前側で検出される不要なデータについては処理を行わないため、座標の検出処理を行う対象となる第一検出信号Ａを最小限のデータとすることができる。このため、当該検出処理に係る処理量を低減することができる。

また、本実施の形態２に係る入力装置１００ａによれば、検出光源１０は、ラスタ走査を、検出境界面４０１、４０２、４０３、・・・の第二光検出部３０ａ、３０ｂ、３０ｃ、・・・が設けられている側から開始するため、複数の第二光検出部３０ａ、３０ｂ、３０ｃ、・・・の影になる位置へのラスタ走査を、影になりにくい位置の後に行っている。これにより、確実に第二光検出部３０ａ、３０ｂ、３０ｃ、・・・による検出結果を確実に得ることができる。

また、本実施の形態２に係る入力装置１００ａによれば、Ｚ軸方向に並ぶ複数の表示部５０ａ、５０ｂ、５０ｃ、・・・を用いて立体映像を表示させるため、ユーザにＺ軸方向に奥行きを有する立体映像を見せることができる。

また、本実施の形態２に係る入力装置１００ａによれば、複数の第二光検出部３０ａ、３０ｂ、３０ｃ、・・・は、複数の表示部５０ａ、５０ｂ、５０ｃ、・・・に対応した位置に設けられているため、複数の第二光検出部５０ａ、５０ｂ、５０ｃ、・・・により検出された結果をそのまま用いて座標値を検出する処理を行えばよい。このため、ユーザに見える立体映像の座標と、指示体の座標とを合わせるための座標変換処理を省くことができる。

（その他の実施の形態）
以上、本発明の実施の形態に係る入力装置について説明したが、本発明は、この実施の形態に限定されるものではない。

また、例えば、上記実施の形態２に係る入力装置１００ａにおいて、第二光検出部３０ａ、３０ｂ、３０ｃ、・・・は、Ｚ軸方向に一列に並んで配置されているが、これに限らずに、複数の第二光検出部のうちの一部は、指示体により検出境界面に沿った第二方向に反射された第二反射光を検出するように配置されており、かつ、複数の第二光検出部のうちの残りの第二光検出部は、指示体により検出境界面に沿った第二方向とは異なる第三方向に反射された検出光を検出するように配置されていてもよい。つまり、複数の第二光検出部は、複数の第二光検出部のそれぞれについて、当該第二光検出部に対応する表示部の表示領域において、対応しない他の表示部における反射光とは異なる方向に反射される光を検出する位置に配置されていてもよい。

また、例えば、上記実施の形態２に係る入力装置１００ａにおいて、第二光検出部３０ａ、３０ｂ、３０ｃ、・・・は、Ｚ軸方向に二列以上並んで配置されていてもよい。

また、例えば、上記各実施の形態に係る検出光源１０は、最終的に空間の第一方向に向けて出射する光学系（例えばミラー）を含む。つまり、第一方向に異なる方向に向けて出射する光源があったとしても、最終的にミラーなどの光学系を介して第一方向に出射されていれば、そのような光学系も検出光源に含まれる。

また、上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクドライブ、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムとして構成されても良い。ＲＡＭまたはハードディスクドライブには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

さらに、上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしても良い。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

さらにまた、上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしても良い。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしても良い。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしても良い。

また、本発明は、上記に示す方法であるとしても良い。また、本発明は、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、上記コンピュータプログラムからなるデジタル信号であるとしても良い。

さらに、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読み取り可能な非一時的な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリなどに記録したものとしても良い。また、これらの非一時的な記録媒体に記録されている上記デジタル信号であるとしても良い。

また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしても良い。

また、上記プログラムまたは上記デジタル信号を上記非一時的な記録媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号を、上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。

さらに、上記実施の形態および上記変形例をそれぞれ組み合わせるとしても良い。

本発明は、三次元空間上における指示体の位置を、簡素な構成、かつ、少ない処理量で、正確に特定できる入力装置などとして有用である。

１０ 検出光源
１１ レーザドライバ
１２ 赤外レーザ素子
１３ コリメートレンズ
１４ 走査ドライバ
１５ アクチュエータ
１６ ミラー
１７ 検出光
１８ 第一反射光
１９ 第二反射光
２０ 第一光検出部
２１ 集光レンズ
２２ 光電変換素子
３０、３０ａ〜３０ｃ 第二光検出部
３１ 集光レンズ
３２ 光電変換素子
４０ 制御部
４１ ＣＰＵ
４２ ＲＡＭ
４３ ＲＯＭ
５０、５０ａ〜５０ｃ 表示部
６０ 結像部
７０ 指示体
１００、１００ａ 入力装置
１１０ 座標検出部
１１１ 判定部
１１２ データ生成部
１１３ 座標生成部
１２０ 画像処理部
１２１ 第一画像
１２２ 第二画像
１２２ａ 特定領域
１２３ 切出画像
１５０ 投影部
４００、４０１、４０２、４０３ 検出境界面

Claims (8)

1. 第一方向に向けて検出光を出射し、空間中に定められる検出境界面に対して前記検出光によるラスタ走査を行う検出光源と、
   前記検出境界面よりも前記検出光源側に配置され、前記検出光が反射された第一反射光を検出する第一光検出部と、
   前記検出境界面から前記検出光源側に設けられる検出領域に対して進入した指示体によって前記検出光が反射された第二反射光を検出する第二光検出部と、
   前記第二光検出部が前記第二反射光を検出したタイミングで前記第一光検出部が検出した前記第一反射光に基づく検出信号を用いて、前記指示体の座標値を検出する制御部と、を備える
   入力装置。
2. 前記第二光検出部は、複数設けられ、
   複数の前記第二光検出部は、前記第一方向における異なる位置に配置され、
   前記制御部は、前記複数の第二光検出部により検出された複数の第二反射光のうち、前記検出光源に近い側に配置される第二光検出部で検出された第二反射光を優先的に用いて、前記指示体の座標値を検出する
   請求項１に記載の入力装置。
3. さらに、
   前記検出領域内に空中映像を投影する投影部を備え、
   前記制御部は、検出した前記指示体の座標値に応じて、前記投影部で投影される前記空中映像を変化させる
   請求項２に記載の入力装置。
4. 前記投影部は、
   表示面が前記第一方向に交差し、かつ、前記第一方向に並ぶ複数の表示部と、
   前記複数の表示部に表示される複数の映像を前記検出領域内で結像させることにより、前記検出領域内に前記空中映像として立体映像を投影する結像部と、を有する
   請求項３に記載の入力装置。
5. 前記複数の第二光検出部は、前記複数の表示部に対応した位置に設けられている
   請求項４に記載の入力装置。
6. 前記複数の第二光検出部は、前記第一方向に並ぶように配置されている
   請求項２から５のいずれか１項に記載の入力装置。
7. 前記複数の第二光検出部のうちの一部の第二光検出部は、前記指示体により前記検出境界面に沿った第二方向に反射された前記第二反射光を検出するように配置されており、
   前記複数の第二光検出部のうちの残りの第二光検出部は、前記指示体により前記検出境界面に沿った前記第二方向とは異なる第三方向に反射された前記検出光を検出するように配置されている
   請求項２から５のいずれか１項に記載の入力装置。
8. 前記検出光源は、前記ラスタ走査を、前記検出境界面の前記第二光検出部が設けられている側から開始する
   請求項１から７のいずれか１項に記載の入力装置。