JP2006010489A - 情報装置、情報入力方法およびプログラム - Google Patents
情報装置、情報入力方法およびプログラム Download PDFInfo
- Publication number
- JP2006010489A JP2006010489A JP2004187735A JP2004187735A JP2006010489A JP 2006010489 A JP2006010489 A JP 2006010489A JP 2004187735 A JP2004187735 A JP 2004187735A JP 2004187735 A JP2004187735 A JP 2004187735A JP 2006010489 A JP2006010489 A JP 2006010489A
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- unit
- aperture
- finger
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Measurement Of Optical Distance (AREA)
- Diaphragms For Cameras (AREA)
- Automatic Focus Adjustment (AREA)
- Position Input By Displaying (AREA)
- Telephone Function (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
【課題】ユーザの指等の指示物体の動きを迅速に検出して情報を入力することのできる情報装置および情報入力方法およびプログラムを提供する。
【解決手段】指の動きによって非接触に情報が入力される携帯電話装置50であって、絞り1と、絞り1の開口度を調節する絞り調節部4と、指を撮影する撮影部3と、絞り調節部4により開口度を異ならせてそれぞれの開口度において撮影部3で撮影した複数の指画像を比較することにより指が所定の距離範囲内にあるか否かを判定するキー接触検出部11と、指が所定の距離範囲内にあると判定された場合にいずれのキーが操作されたかを判定するキー操作判定部13とを備えた。
【選択図】図2
【解決手段】指の動きによって非接触に情報が入力される携帯電話装置50であって、絞り1と、絞り1の開口度を調節する絞り調節部4と、指を撮影する撮影部3と、絞り調節部4により開口度を異ならせてそれぞれの開口度において撮影部3で撮影した複数の指画像を比較することにより指が所定の距離範囲内にあるか否かを判定するキー接触検出部11と、指が所定の距離範囲内にあると判定された場合にいずれのキーが操作されたかを判定するキー操作判定部13とを備えた。
【選択図】図2
Description
本発明は、携帯電話装置等の情報装置に関し、特に非接触に情報入力することのできる情報装置に関する。
近年、携帯電話装置、PDA(Personal Digital Assistant)装置およびパソコン装置等の情報装置の小型化が進んでいる。情報装置のさらなる小型化を実現するためには、その装置構成から文字や数字等の情報を入力するためのテンキーやキーボード等の入力部を除去することが必要となってきている。
情報装置に対してこのような入力部を用いることなく情報を入力することのできる装置としては、例えば、LCD(Liquid Crystal Display)装置等の表示部の上に透明なタッチパネルを重ねて配置して、表示部の画面上にキーボード等の入力を誘導する画像を表示し、ユーザはあたかも画像上の所望のキーに触れるようにして実際にはタッチパネルに触れることによって所望の情報が入力できる情報装置が実用化されている。
しかしながら、一般に透明タッチパネルはその反射率が高いので、屋外等の外光のもとでは下側に配置された表示部の表示が見えにくい上に、タッチパネルに指を接触させて入力を行う場合には、タッチパネル上に皮脂等による汚れが付着したり、さらには、指によって操作可能な範囲が表示部の大きさに制限されるので、情報装置の小型化にともなって表示部が小型化すると操作可能な範囲も小さくなり、それによって操作性が悪化したりするという課題があり、このような構成の情報装置は必ずしもユーザに広く受け入れられているとはいえなかった。
このような課題に鑑みて、ユーザはタッチパネル等のデバイスに触れることなく空間で指、ペンまたは指示棒等の物体を動かし、情報装置はその物体の動きを検出することによって、その物体の動き方の違いによって様々な情報を非接触に入力することのできる情報装置が提案されてきている。
このような情報装置の一例として、二次元に複数の発光ダイオード(以下、LEDと記す)を配置して順番に点灯させ、それぞれのLEDから発した光線の指における反射光の位置を位置検出素子によって検出する入力装置を備えた構成により、指の座標を三次元的に検出し、検出した指の動きにもとづいて様々な情報を入力することのできる情報装置が提案されている(例えば、特許文献1を参照。)。
特開平7−334299号公報
しかしながら、前述したような従来の情報装置においては、二次元に複数配置されたLEDを一つずつ順番に点灯させて、それぞれのLEDに対応する指からの反射光の位置を検知した後に指の三次元座標を計算するので、指の位置を検知するのに時間がかかり、指を迅速に移動させたときにはその動きに追随することが難しく、その位置を的確に検出できないという課題があった。
本発明はこのような課題に鑑みてなされたものであり、ユーザの指等の指示物体を迅速に移動させてもその位置を的確に検出して情報を入力することのできる情報装置、情報入力方法およびプログラムを提供することを目的とする。
本発明の情報装置は、物体の動きによって非接触に情報を発生する情報装置であって、絞り部と、絞り部の開口度を調節する開口度調節部と、物体を撮影する撮影部と、開口度調節部により絞り部の開口度を異ならせて物体を撮影部で撮影して取得した、互いに開口度の異なる複数の画像を比較することにより物体が所定の領域内にあるか否かを判定する距離判定部と、物体が所定の領域内にあると判定された場合に物体の位置に対応した所定の情報を発生する情報発生部を備えたことを特徴としている。
このような構成により、絞り部を開閉することによって開口度の異なる複数の画像を得、その開口度の異なる複数の画像を比較するという比較的簡易な処理によって、ユーザの指等の指示物体を迅速に移動させてもその位置を的確に検出して情報を発生、入力することのできる情報装置を提供することができる。
また、物体の互いに開口度の異なる複数の画像の中から選択した一つの画像から物体の二次元座標を算出する座標算出部を備え、情報発生部は、物体の二次元座標に応じて異なる情報を発生する構成であってもよい。
このような構成によれば、さらに、ユーザの指等の指示物体の二次元座標にもとづいて異なる情報が発生されるので、指示物体を装置に向かって縦横に移動させることによって、異なる情報を発生することが可能である。
さらに、情報発生部が物体の二次元座標に対応させて発生する情報を記憶する情報記憶部を備え、情報発生部は、物体の二次元座標の情報および情報記憶部に記憶された情報にもとづいて異なる情報を発生する構成であってもよい。
このような構成によれば、さらに、あらかじめ情報記憶部に物体の二次元座標に対応付けて、発生すべき情報を有させることができるので、発生すべき情報の変更等を迅速に行うことが可能となる。
また、情報記憶部に記憶された情報にもとづいて、物体の二次元座標に対応させて情報発生部より発生する情報をキーボード状に表示する表示部を備えた構成であってもよい。
このような構成によれば、さらに、表示部にユーザの指等の指示物体の座標に対応して入力可能な情報が表示されるので、ユーザは表示された画像を見ながら指等の指示物体を移動させて、所望の情報を発生させることが可能である。
さらに、物体の移動軌跡を生成する軌跡生成部を備え、距離判定部は、物体が所定の領域よりも大きな軌跡表示領域内にあるか否かを判定し、距離判定部において物体が軌跡表示領域内にあると判定された場合に、表示部は物体の移動軌跡を表示する構成であってもよい。
このような構成によれば、さらに、指等の指示物体が所定の領域よりも外側にあるときに、指示物体の移動軌跡が表示部に表示されるので、ユーザはその移動軌跡を見ながら、自らが入力したい情報を選択することができ、情報の発生を容易に行うことができる。
さらに、距離判定部は、物体の互いに開口度の異なる複数の画像における合焦度の違いにもとづいて物体が所定の領域内にあるか否かを判別する構成であってもよい。
このような構成によれば、さらに、画像の合焦度を比較するという簡易な構成によって、物体が所定の領域内にあるか否かを判別して、情報を発生させることができる。
さらに、距離判定部は、物体の互いに開口度の異なる複数の画像における合焦度を、DCT処理した場合の係数にもとづいて計算する構成であってもよい。
このような構成によれば、さらに、画像圧縮技術等に広く用いられるDCT処理を用いてその係数にもとづいて合焦度を計算して、その合焦度にもとづいて物体が所定の領域内にあるか否かの判定を行うので、MPEG等の画像圧縮技術に用いられるDCT処理ブロック等を用いて構成することの容易な情報装置を提供できる。
また、距離判定部は、物体の互いに開口度の異なる複数の画像における合焦度を、DCT処理した場合の所定周波数の係数値を積算して計算する構成であってもよい。
このような構成によれば、さらに、所定周波数の係数値を積算して合焦度を計算するので、より人の指の検出に適した情報発生を行うことが可能となる。
さらに、撮影部は、開口度が異なる3枚の画像を撮影し、距離判定部は、開口度が異なる3枚の画像のうち、もっとも開口度の大きな第1の画像と第1の画像よりも開口度の小さな第2の画像とを用いて物体が軌跡表示領域内にあるか否かの判定を行い、第1の画像、第2の画像、および、第2の画像よりも開口度の小さな第3の画像を用いて物体が所定の領域内にあるか否かを判定する構成であってもよい。
このような構成によれば、さらに、3枚の画像を撮影してその画像を比較するという簡易な構成により、物体が所定の領域およびその領域よりも外側の領域内にあるか否かを判定することができる。
さらに、撮影部は、開口度が異なる3枚の画像を撮影し、距離判定部は、開口度が異なる3枚の画像のうち、もっとも開口度の小さい第1の画像と第1の画像よりも開口度の大きな第2の画像とを用いて物体が軌跡表示領域内にあるか否かの判定を行い、第2の画像と第2の画像よりも開口度の大きな第3の画像とを用いて物体が所定の領域内にあるか否かを判定する構成であってもよい。
このような構成によれば、さらに、3枚の画像を撮影してその画像を比較するという簡易な構成により、物体が所定の領域内にあるか、および、所定の領域よりも外側の領域内にあるか否かを判定することができる。
また、絞り部は、液晶シャッタを有する構成であってもよい。
このような構成によれば、さらに、絞り部の耐久性を向上することが可能となる。
さらに、開口度調節部は、液晶シャッタを透過する光線の光量が一定になるように光量を調節する光量調節部を有する構成であってもよい。
このような構成によれば、さらに、液晶シャッタを透過する光線の光量を一定にすることができるので、異なる開口度で撮影した画像同士を比較した際に、輝度調整等の前処理が必要なくなる。
次に、本発明の情報入力方法は、第1の絞り開口度で物体の第1の画像を撮影する第1のステップと、第1の絞り開口度よりも大きな第2の絞り開口度で、物体の第2の画像を撮影する第2のステップと、第1の画像および第2の画像それぞれの合焦度を算出する第3のステップと、第1の画像および第2の画像それぞれの合焦度を比較することにより、物体が所定の領域内にあるか否かを判定する第4のステップと、物体が所定の領域内にあると判定された場合に、物体の位置に対応した所定の情報を入力する第5のステップとを備えたことを特徴としている。
このような方法により、絞り部を開閉することによって開口度の異なる複数の画像を得、その開口度の異なる複数の画像を比較するという比較的簡易な処理によって、ユーザの指等の指示物体の動きを迅速に検出して情報を入力することのできる情報入力方法を提供することができる。
次に、本発明のプログラムは、コンピュータに、物体の第1の絞り開口度で撮影された画像を入力する第1のステップと、第1の絞り開口度よりも大きな第2の絞り開口度で撮影された画像を入力する第2のステップと、第1の絞り開口度で撮影された画像および第2の絞り開口度で撮影された画像それぞれの合焦度を算出する第3のステップと、第1の絞り開口度で撮影された画像および第2の絞り開口度で撮影された画像それぞれの合焦度を比較することにより、物体が所定の領域内にあるか否かを判定する第4のステップと、物体が所定の領域内にあると判定された場合に、物体の位置に対応した所定の情報を発生する第5のステップとを実行させることを特徴としている。
このようなプログラムにより、開口度の異なる複数の画像を入力し、その開口度の異なる複数の画像を比較するという比較的簡易な処理によって、ユーザの指等の指示物体の動きを迅速に検出して情報を発生することのできるプログラムを提供することができる。
以上述べたように、本発明の情報装置および情報入力方法およびプログラムを用いれば、開口度のそれぞれ異なる複数の画像を比較するという比較的簡易な処理によって、ユーザの指等の指示物体を迅速に移動させてもその位置を的確に検出して情報を入力することのできる情報装置、情報入力方法およびプログラムを提供することができる。
以下、本発明の第1の実施の形態について、図面を用いて詳細に説明する。
(第1の実施の形態)
まず、本発明の第1の実施の形態における情報装置および情報入力方法について説明する。本発明の第1の実施の形態においては、情報装置の例として携帯電話装置を用いて説明を行う。
まず、本発明の第1の実施の形態における情報装置および情報入力方法について説明する。本発明の第1の実施の形態においては、情報装置の例として携帯電話装置を用いて説明を行う。
図1は、本発明の第1の実施の形態における携帯電話装置50の概要について説明するための図である。
図1において、本発明の第1の実施の形態における携帯電話装置50は、ユーザの指51を撮影する撮影部3およびユーザに入力を促すような入力誘導表示52および指の軌跡53を表示する表示部15を備えている。ユーザは撮影部3の画角θの範囲内で指51を動かすことにより、携帯電話装置50への電話番号の入力や、電子メールまたはアドレス帳等の数字や文字等の各種情報の入力を行うことが可能である。なお、図1においては、撮影部3の撮影光軸の方向をZ軸方向として示し、Z軸と直交する方向をX軸およびY軸としてそれぞれ示している。
ユーザが携帯電話装置50に対して、数字や文字等の各種情報を入力する場合について説明する。まず、表示部15に、テンキー表示を模したキーボード状の入力誘導表示52が表示される。さらに、ユーザの指51が撮影部3から所定距離範囲の領域A1内に入ると、表示部15の画面上に指51の軌跡53が表示される。
ユーザはこの軌跡53を見ながら、自らの指51の軌跡53が、表示部15の入力誘導表示52において自らが入力したい情報に対応するキー表示(例えば「1」等)に重なるように指51を動かす。指51の軌跡53が所望のキー表示に重なったときに、ユーザは指51を撮影部3にさらに接近させ、図1における領域A2内に達するまで指51を動かすこと(以下、この動作を「押下」と記す。)により、キー表示に対応した情報を携帯電話装置50に入力することができる。
つまり、本発明の第1の実施の形態における携帯電話装置50によれば、ユーザは指51を携帯電話装置50に接触させることなく、あたかも領域A2の空間中に存在する仮想キーボード54を操作するように非接触に情報を入力することが可能である。本発明の第1の実施の形態における携帯電話装置50によれば、携帯電話装置50にテンキー等の入力部を設ける必要がないので、装置全体のさらなる小型化が可能である。
次に、本発明の第1の実施の形態における携帯電話装置50の構成についてさらに詳細に説明する。図2は、本発明の第1の実施の形態における携帯電話装置50の構成を示すブロック図である。
携帯電話装置50は、開閉制御の可能な絞り1、絞り1を通過した光線を集光する単焦点のレンズ2および絞り1とレンズ2とを通過した被写体の光像を撮影して画像信号を出力するCCD等の撮像素子33を有する撮影部3、所定の同期信号を発生する同期信号発生部5、同期信号発生部5によって発生された同期信号にもとづいて絞り1の開口度を調節する絞り調節部4、同期信号発生部5で発生された同期信号にもとづいて絞り1の開口度の違いに対応した画像信号を撮影部3から取得し、その画像情報を絞り1の開口度の違いに応じて記憶部に振り分けて出力する振り分け部6、振り分け部6によって振り分けられた画像情報を記憶する第1の画像記憶部7、第2の画像記憶部8および第3の画像記憶部9、第2の画像記憶部8および第3の画像記憶部9に接続され、それぞれに記憶された画像情報から指51の位置を検出する指位置検出部10、第1の画像記憶部7、第2の画像記憶部8および第3の画像記憶部9に接続され、それぞれに記憶された画像情報から後述の方法で指51が押下されているか否かを検出するキー接触検出部11、指位置検出部10およびキー接触検出部11に接続され、指51と撮影部3との位置関係を示す指位置情報を記憶している指位置記憶部16、指位置検出部10で抽出された指51の移動軌跡を生成する軌跡生成部12、指51の位置に対応させた入力すべき情報の内容を記憶するキー配置記憶部14、指位置検出部10で検出された指51の位置、キー接触検出部11で検出された指51の押下作業の有無およびキー配置記憶部14に記憶された情報によってユーザがどのキー操作を行ったのかを判定し、そのキー操作に対応する情報を発生し、出力するキー操作判定部13、軌跡生成部12で生成された指51の軌跡53およびキー配置記憶部14に記憶された情報にもとづいてユーザに入力誘導表示52を表示する表示部15、ならびに、キー操作判定部13から出力されたキー操作に対応する情報を受信して携帯電話装置としての通信や情報処理等の各種公知の処理を行う携帯通信処理部60を備える。
絞り1は、開口度の調節が可能な絞りであれば、機械式の広く知られた絞りを用いて構成してもよいし、液晶シャッタを用いて構成してもよい。絞り1として液晶シャッタを用いることにより、機械式の絞りよりも耐久性に優れるとともに、絞り調節部4によって、絞り1の開口度の調節のみならず、絞り1を透過する光線の光量を一定にするように、液晶シャッタの透過率を変更させることが可能である。このような構成によれば、後述するような画像情報の比較等を行う際に輝度補正等の余分な処理を行う必要がなくなり、絞り1としては液晶シャッタを用いることが実用性に鑑みて望ましい。
絞り調節部4としては、絞り1として機械式の絞りを用いた場合にはその開口度の調節を行う機構を用いればよいし、絞り1として液晶シャッタを用いた場合には、その開閉制御および透過率の調節を行う制御回路を構成すればよい。
本発明の第1の実施の形態においては、絞り調節部4は、絞り1の開口度が「大」「中」「小」の三つの状態になるように調節することができるものとして説明する。なお、絞り調節部4が液晶シャッタを透過する光線の光量を一定になるように液晶シャッタの透過率を制御するためには、あらかじめ開口度に対応した、光量が一定になるような透過率についての情報をテーブルに有する構成であってもよいし、図示しないが、液晶シャッタを透過する光量を測定するセンサ部を有し、そのセンサ部からの出力が一定になるように液晶シャッタの透過率を調節する構成であってもよい。
レンズ2は、カメラ付きの携帯電話装置等の携帯型の撮影装置に広く搭載されている、単焦点の簡易な構成のレンズ系を用いることができる。
撮像素子33としては、CCDやCMOSセンサ等の広く知られた素子を用いることができる。
撮影部3は、絞り1、レンズ2および撮像素子33を有し、その撮影可能な画角範囲が図1における画角θで表される領域であるとする。
図3は、本発明の第1の実施の形態における携帯電話装置50における絞り1の開口の違いによる合焦可能範囲を示す図である。図3に示したように、本発明の第1の実施の形態における携帯電話装置50において、その撮影部3の絞り1の開口度を「大」とした場合の被写界深度を距離範囲Δ3であるとする。また、絞り1の開口度を「中」とした場合には、被写界深度が深くなり、距離範囲Δ2の範囲で焦点が合うものとする。さらに、絞り1の開口度を「小」とした場合にはもっとも被写界深度が深くなり、距離範囲Δ1の範囲で焦点が合っているものとする。本発明の第1の実施の形態においては、距離範囲Δ2は指51の軌跡53が表示部15上に表示される範囲(図1における領域A1)であり、距離範囲Δ3は、仮想キーボード54が押下されたと判定される範囲(図1における領域A2)である。
再び図2に戻って、同期信号発生部5としては、水晶等を用いた発振回路を用いることができる。
第1の画像記憶部7、第2の画像記憶部8、第3の画像記憶部9およびキー配置記憶部14としては、それぞれ、ハードディスク装置(HDD)や半導体メモリ等の公知の記憶手段から適宜選択したものを用いることが可能である。
本発明の第1の実施の形態の携帯電話装置50においては、第1の画像記憶部7に絞り1の開口の大きさが「小」の場合の画像情報(以下、第1の画像情報と記す)が、第2の画像記憶部8に絞り1の開口の大きさが「中」の場合の画像情報(以下、第2の画像情報と記す)が、さらに、第3の画像記憶部9に絞り1の開口の大きさが「大」の場合の画像情報(以下、第3の画像情報と記す)がそれぞれ記憶されているものとする。
振り分け部6としては、撮影部3から出力される画像信号を同期信号発生部5で発生される同期信号にもとづいて、第1の画像記憶部7、第2の画像記憶部8または第3の画像記憶部9に振り分けるような専用回路を用いることもできるし、前述のように、記憶部が一つの場合には、その画像情報が記憶されるべき領域を絞り1の開口度に応じて割り振る構成であってもよいし、絞り1の開口度を示す付加情報を画像情報に付加して記憶させるソフトウェアによって振り分け部6の機能が実現されていてもよい。
指位置検出部10は、前述の第2の画像情報と第3の画像情報とを用いて、絞り1の開口度の違いによる物体深度の違いを利用して、ユーザの指51の位置が図3における撮影部3から所定の距離範囲Δ2内に入ったか否かを検出し、ユーザの指51が所定の距離範囲Δ2内に入った場合に、指位置記憶部16に記憶された指位置情報であるキー操作フラグをONとして、その指51の二次元の位置座標(図1におけるXY面における位置座標)を検出し、軌跡生成部12およびキー操作判定部13に出力する。この指位置検出部10の機能については後述するが、ソフトウェアまたは専用回路のいずれを用いても実現することが可能である。
キー接触検出部11は、前述の第1の画像情報、第2の画像情報、第3の画像情報および指位置情報を用いて、後述する方法で、ユーザの指51が図3における距離範囲Δ3内に入ったか否かを検出して、その結果をキー操作判定部13に出力する。キー接触検出部11の機能についても後述するが、ソフトウェアまたは専用回路のいずれを用いても実現することが可能である。
軌跡生成部12は、指位置検出部10で指51が撮影部3から距離範囲Δ2内に入ったと判定された場合に、指位置検出部10から出力される指51の二次元座標を取得して、表示部15上に指51の軌跡53を表示させる。軌跡生成部12の機能は、ソフトウェアまたは専用回路のいずれを用いても実現することが可能である。
キー配置記憶部14には、図4に示したような、表示部15の画面上に表示すべきキーボード状の入力誘導表示52の二次元座標と入力されるべき情報とが対応付けられた情報であるキー配置情報61が記憶されている。図4は、本発明の第1の実施の形態における携帯電話装置50のキー配置情報61の一例を示す図である。
キー操作判定部13は、キー接触検出部11で指51が図2における距離範囲Δ3内に入ったと判定された場合に、指位置検出部10から出力された指51の二次元座標を取得して、あらかじめキー配置記憶部14に記憶されたキー配置情報61を参照して、指51の二次元座標に対応する入力されるべき情報を判定して、その情報を出力する。例えば、指51が図4に示したキー配置情報61における位置座標Aに示した位置にあるという情報が指位置検出部10から出力された場合には、対応して入力されるべきキーの情報は「5」となり、「5」という情報がキー操作判定部13から携帯通信処理部60に出力される。このとき、キー操作判定部13が表示部15に表示された入力誘導表示52の「5」に対応するキーの部分の色を変化させたり、別途設けられた音声発生装置(図示せず)によって音声を発生させたりする等して、ユーザに入力が行われた(仮想キーボード54が押下された)ことを知らしめる構成とすれば、さらに実用性の高い構成を実現できる。
キー操作判定部13から出力された情報は携帯通信処理部60に送られて、携帯通信処理部60での通信の発呼やメール処理におけるテキスト入力等の各種情報処理が行われる。
表示部15としては、LCD、ELまたはPDP等の公知のディスプレイデバイスから適宜選択したものを用いることができる。
ここで、本発明の第1の実施の形態における携帯電話装置50における指位置検出部10およびキー接触検出部11の機能についてさらに詳細に説明する。
本発明の指位置検出部10およびキー接触検出部11は、絞り1の開口度Dの違いによる物体深度Δの違いを利用して、指51が図3における距離範囲Δ2内またはΔ3の距離範囲内に入っているか否かを判別することができる。
図5は、本発明の第1の実施の形態における携帯電話装置50の指位置検出部10またはキー接触検出部11の機能の基本原理を示す図である。図5に示したように、ここでは、物体31が開口Dのレンズ32を透過して撮像素子33の結像面上に結像した場合を仮定する。このとき、物体31からレンズ32までの距離を距離u、レンズ32の焦点Fまでの距離を焦点距離fとし、撮像素子33の画素ピッチ(解像度)をピッチεとしたときに、物体深度Δは、
であらわされる。
例えば、画素ピッチε=0.001mmのCCDを用い、焦点距離f=1mmのレンズを用いて、絞り(開口)Dを0.07mm、0.1mm、0.2mmと変化させた場合の、焦点合わせの位置でのカメラからの距離uに対する物体深度Δの値の変化を図6に示す。図6は、本発明の第1の実施の形態の携帯電話装置50における絞りDを変化させた場合の焦点合わせの位置でのカメラからの距離uに対する物体深度Δの値の変化を示す図である。
図6に示したように、例えば焦点合わせの位置でのレンズ32から物体31までの距離uが50mmのとき、絞りの開放時(D=0.2mm)には約10mmであった物体深度Δが、絞りを少し絞ったとき(D=0.1mm)には約30mm、さらに絞りを絞ったとき(D=0.07mm)には約70mmとなる。なお、このレンズ2および絞り1の設計を各種行うことにより任意の画角θや距離範囲を実現することができ、ユーザの要望に合わせた様々な大きさの仮想キーボード54を実現することができる。
本発明の携帯電話装置50における指位置検出部10またはキー接触検出部11は、このような絞りの開口Dの違いによる物体深度Δの違いを利用する。図7を用いて、本発明の第1の実施の形態における携帯電話装置50の指位置検出部10およびキー接触検出部11の動作原理についてさらに詳細に説明する。図7は、本発明の第1の実施の形態の携帯電話装置50における指位置検出部10およびキー接触検出部11の動作原理について説明するための図である。図7に示したように、携帯電話装置50のレンズ2から50mm離れた距離に指71があり、レンズ2から60mm離れた位置に指72があり、レンズ2から70mm離れた位置に指73があり、レンズ2から90mm離れた位置に指74があるものと仮定して説明する。なお、図7は上述した距離関係を正確に反映したものではなく、それぞれの指の位置を模式的に示した図である。
また、携帯電話装置50に搭載されたレンズ2は、前述のような、焦点合わせの位置でのカメラからの距離uを50mmとしたときに、絞りの開口が「小」の状態での物体深度Δ1≒10mm(焦点合わせの位置±5mmの範囲で合焦する(厳密には焦点位置よりもカメラに近い方の合焦範囲が、焦点位置よりもカメラから遠い方の合焦範囲よりも若干小さいが、以後焦点位置前後で合焦範囲が等しいとして議論を進める。))であり、開口が「中」の状態での物体深度Δ2=30mm(焦点合わせの位置±15mmの範囲で合焦する)であり、開口が「大」の状態での物体深度Δ3=70mm(焦点合わせの位置±35mmで合焦する)であるとする。
このように構成することにより、撮影される画像情報の一例を図8に示す。図8は、本発明の第1の実施の形態における携帯電話装置50によって撮影された画像情報の一例を示す図である。
図8(a)は、絞りの開口度が「小」のときの画像情報(第1の画像情報)の一例を示す図である。図8(a)に示した第1の画像情報81のように、指71,72,73では焦点の合った画像情報を得ることができるが、指74では鮮明さに欠ける、すなわちぼけた画像が得られる。つまり、絞りの開口が「小」であるときには、焦点合わせの位置のカメラからの距離50mmに対して、物体深度Δ1は±35mmであるので、指71(距離50mm)、指72(距離60mm)および指73(距離70mm)のいずれにも焦点の合った画像情報を得ることができる。しかし、指74(距離90mm)は、焦点の合う範囲を超えているのでぼけた画像が得られる。
次に、絞りの開口度を「中」とすると、図8(b)に示したような第2の画像情報82を得ることができる。第2の画像情報82は、指71(距離50mm)および指72(距離60mm)は焦点合わせの位置50mm±15mmの位置にあるので合焦しており、指73(距離70mm)や指74(距離90mm)については、物体深度Δ2を超えるので、合焦していないため、ぼけた画像情報が得られる。
さらに、絞りの開口度を「大」とすると、図8(c)に示したような第3の画像情報83を得ることができる。第3の画像情報83は、指71(距離50mm)は焦点合わせの位置50mm±5mmの位置にあるので合焦している。しかし、指72(距離60mm)、指73(距離70mm)、指74(距離90mm)は、物体深度Δ3を超えるので、合焦していないため、ぼけた画像情報が得られる。
指位置検出部10は、絞りの開口度が「中」の状態で撮影された第2の画像情報82と、絞りの開口度が「大」の状態で撮影された第3の画像情報83とを比較する。具体的には、指位置検出部10は、第2の画像情報82の合焦の度合いと第3の画像情報83の合焦の度合いとを比較して、合焦の度合いが異なっている場合、距離範囲Δ2内に指72が入ったことを知ることができ、上下左右の二次元座標を出力することが可能である。なお、指72の二次元座標の算出は、合焦の度合いが異なっている部分の中心座標や重心座標を用いることにより簡易に行うことが可能である。
さらに、指位置検出部10は、指が距離範囲Δ2内に入ったことを検出した場合、指位置記憶部16に記憶された指位置情報であるキー操作フラグをONにする。また、指が距離範囲Δ2の外に出た時は、キー操作フラグをOFFにする。
なお、画像情報中のぼけ度合い算出方法、合焦度判定については、例えば「カメラフォーカスを連続変化させた動画像を用いた奥行き分布検出」、工藤朋之、三池秀敏著、情報処理学会、コンピュータビジョン研究会98−2、1996年1月18日発行や、“A New Sense for Depth of Field”, A.Pentlad, IEEE Trans. On Pattern Analysis and Machine Intelligence, vol. PAMI−9,No.4 July 1987等に提案された方法を用いることができる。
また、発明者らが既に特開2001−227914号公報において提案している方法を用いることも可能である。このような方法によれば、画像を構成する画素を縦×横=8×8画素の小ブロックに分割して、小ブロック毎に離散コサイン変換(以下、DCTと記す)した結果の係数を周波数成分毎にマトリックス状に並べて、所定の周波数領域の係数の2乗和をとることによって、画像の合焦の度合いを比較することが可能となる。
指72を距離範囲Δ2の範囲内からさらに距離範囲Δ3の範囲内に入れた状態、すなわち図7に示した指71の位置において、絞り1の開口度を「大」、「中」、「小」と変化させると、図8(a)、(b)、(c)に示したように指71についてはどの画像も合焦した画像が得られる。
すなわち、キー接触検出部11は、このような絞りの開口度が「小」の状態の第1の画像情報83と、絞りの開口度が「中」の状態の第2の画像情報82と、絞りの開口度が「大」の状態の第3の画像情報83とを比較して、第1の画像情報81および第2の画像情報82、第3の画像情報83のいずれにおいても合焦し、かつその度合いに実質的な差のない部分を抽出することにより、距離範囲Δ3内に入った指71の部分の画像情報を特定するとともに、指71が距離範囲Δ3内に入ったことを判定することが可能である。
ここで、指が距離範囲Δ1よりも離れている場合、すなわち図7における指74の位置にある場合も、図8に示したように第1の画像情報81、第2の画像情報82、第3の画像情報83のいずれにおいても合焦の度合いの差がない画像が得られるが、指71の位置にあるときは、指位置記憶部16に記憶されたキー操作フラグがONであり、指74の位置にあるときは、指位置記憶部16のキー操作フラグがOFFであるため、キー接触検出部11は指が距離範囲Δ3内に入ったか否かを検知することができる。
なお、本発明の第1の実施の形態における携帯電話装置50においては、携帯電話装置50が第1の画像記憶部7、第2の画像記憶部8、第3の画像記憶部9、指位置記憶部16およびキー配置記憶部14の五つの記憶部を備えている構成を示したが、これは本発明の第1の実施の形態における携帯電話装置50が五つの記憶媒体を備えている構成に限定されることを意味するものではない。例えば、携帯電話装置50が一つの記憶媒体を有し、その記憶媒体内で絞りの開口度毎に画像情報の記憶されるべき領域やキー配置の記憶されるべき領域がそれぞれ割り当てられている構成、または記憶媒体に記憶される画像情報それぞれが、対応する絞りの開口度を示す情報を付加情報として有する構成であってもよいことはいうまでもない。
さらに、本発明の第1の実施の形態における携帯電話装置50から携帯通信処理部60を除いた構成、すなわち、撮影部3、絞り調節部4、同期信号発生部5、振り分け部6、第1の画像記憶部7、第2の画像記憶部8、第3の画像記憶部9、指位置検出部10、キー接触検出部11、軌跡生成部12、キー操作判定部13、キー配置記憶部14、指位置記憶部16および表示部15を備えた入力装置を構成することも可能である。このような入力装置を構成すれば、外部に接続された情報装置に対して、非接触で指の動きを検出して数字や文字等の各種入力を行うことができる。
次に、本発明の第1の実施の形態における携帯電話装置50の動作について説明する。図9は、本発明の第1の実施の形態における携帯電話装置50の動作ステップを示すフローチャートである。
図9に示したように、まず携帯電話装置50は、絞り調節部4によって絞り1の開口度を「小」状態にして、得られる光像を撮影部3で撮影する(S1)。ステップS1で撮影された画像情報を、振り分け部6は、第1の画像情報81として第1の画像記憶部7に記憶させる(S2)。
次に、絞り調節部4によって、絞り1の開口度を「中」状態にして、得られる光像を撮影部3で撮影する(S3)。ステップS3で撮影された画像情報を、振り分け部6は、第2の画像情報82として第2の画像記憶部8に記憶させる(S4)。
次に、絞り調節部4によって、絞り1の開口度を「大」状態にして、得られる光像を撮影部3で撮影する(S5)。ステップS5で撮影された画像情報を、振り分け部6は、第3の画像情報83として第3の画像記憶部9に記憶させる(S6)。
なお、本発明は上述した三つの画像情報の撮影の順番に限定されるものでなく、いかなる順序で撮影してもよいものである。
次にキー接触検出部11は、第1の画像記憶部7に記憶された第1の画像情報81と第2の画像記憶部8に記憶された第2の画像情報82と第3の画像記憶部9に記憶された第3の画像情報83との合焦度を比較する(S7)。
これら三つの画像情報の合焦度に差があるとキー接触検出部11が判定した場合(S8)には、指位置検出部10が、第2の画像記憶部8に記憶された第2の画像情報82と第3の画像記憶部9に記憶された第3の画像情報83との合焦度を比較する(S9)。
ステップS9において、第2の画像情報82と第3の画像情報83との合焦度に実質的な差がない場合と判定された場合(S10)には、未だ指51が所定の距離範囲Δ2内に存在しない場合(図7における指73または指74の位置)であると考えられるので、指位置検出部10は指位置記憶部16に記憶されたキー操作フラグをOFFにし(S15)、ステップS1に戻り(S16)、再び第1の画像情報81の撮影を行う。一方、ステップS9において、指位置検出部10が第2の画像情報82と第3の画像情報83との合焦度に実質的な差があると判定した場合には、指51が携帯電話装置50から所定の距離範囲Δ2内に存在する(図7における指72の位置にある)と考えられるので、指位置検出部10は第2の画像情報82と第3の画像情報83とにおいて合焦の度合いに差のある部分を抽出することにより、指72の含まれる領域を抽出することができ、その領域の重心または中心座標を算出することにより指72の二次元座標を検出することができる(S11)。そして、その二次元座標の値を指位置検出部10内に一時的に記憶する(S12)。また、指位置検出部10は、指位置記憶部16に記憶されたキー操作フラグをONとする(S13)。軌跡生成部12は、表示部15の入力誘導表示52に重畳させて指位置検出部10から出力された指72の二次元座標を軌跡53として表示する。
ステップS7において、キー接触検出部11が第1の画像情報81、第2の画像情報82および第3の画像情報83との間に合焦度の実質的な差がないと判定した場合(S8)には、キー接触検出部11は、指位置記憶部16に記憶されたキー操作フラグを確認する(S17)。
ステップS17において、キー操作フラグがOFFである場合には、指51が図7における距離範囲Δ1の範囲外、すなわち図7における指74の位置にあり、やはり指51が押下されていないものと判定し、同じくステップS1に戻る(S18)。一方、ステップS17において、キー接触検出部11が指位置記憶部16に記憶されたキー操作フラグがONであると判定した場合には、キー接触検出部11が指51の位置が図7における距離範囲Δ3の範囲内にあると判定し、指51が押下された旨の信号をキー操作判定部13に送る。この場合には、キー操作判定部13は、キー接触検出部11からの指51が押下された旨の信号を受けて、指位置検出部10から送られた指72の二次元座標とキー配置記憶部14に記憶されたキー配置情報61とを比較し(S19)、ユーザの指51の押下がどのキーを操作するためのものであるかを判定し(S20)、そのキーに対応する情報を携帯通信処理部60に送る(S22)。ステップS19において、指51の位置に対応するキー情報がキー配置情報61にない場合には、ステップS1に戻る(S21)。
このような動作を行うことにより、本発明の第1の実施の形態における携帯電話装置50によれば、ユーザの指51の二次元座標および押下の有無を非接触で検知することができるので、テンキーやキーボード等の入力部を設けることなく、数字や文字等の入力を行うことができる。
なお、本発明の第1の実施の形態においては、ユーザが指51を動かすことによって情報装置に入力を行う例を示したが、本発明は情報装置に指示を行う物体をなんら限定するものではない。例えば、指51以外にも、ペンや指示棒等を用いて情報を入力することができるものである。
また、本発明の第1の実施の形態における携帯電話装置50によれば、3枚の画像を撮影して画像の比較を行うことにより情報の入力が可能であるので、短時間に処理を行うことが可能である。
なお、本発明の第1の実施の形態においては、携帯電話装置50を例として用いて説明したが、本発明の情報装置はこれに限定されず、例えばパソコン装置やPDA装置等も広く含むことはいうまでもない。このような情報装置の一例として、図10に腕時計型の情報装置95の外観を示す。図10は、本発明の第1の実施の形態における情報装置の他の例を示す図であり、情報装置95は、図2に示した本発明の第1の実施の形態における携帯電話装置50と同様の構成を有しているものとする。図10に示したように、表示部15の小さい腕時計型の情報装置95においても、上述した携帯電話装置50と同様にキーボード等の入力部を設けなくとも、指51によって非接触に各種情報の入力を行うことができる。
(第2の実施の形態)
次に、本発明の第2の実施の形態である情報装置について説明する。本発明の第2の実施の形態においても、第1の実施の形態と同様に、情報装置の一例として、携帯電話装置90を用いて説明を行う。図11は本発明の第2の実施の形態における携帯電話装置90の構成を示すブロック図である。図11に示したように、本発明の第2の実施の形態における携帯電話装置90の構成は、図2に示した本発明の第1の実施の形態における携帯電話装置50の構成と比較して、指位置記憶部16を備えない点、指位置検出部91が第1の画像記憶部7および第2の画像記憶部8に接続されている点、ならびに、キー接触検出部92が第2の画像記憶部8および第3の画像記憶部9に接続されている点が異なる。
次に、本発明の第2の実施の形態である情報装置について説明する。本発明の第2の実施の形態においても、第1の実施の形態と同様に、情報装置の一例として、携帯電話装置90を用いて説明を行う。図11は本発明の第2の実施の形態における携帯電話装置90の構成を示すブロック図である。図11に示したように、本発明の第2の実施の形態における携帯電話装置90の構成は、図2に示した本発明の第1の実施の形態における携帯電話装置50の構成と比較して、指位置記憶部16を備えない点、指位置検出部91が第1の画像記憶部7および第2の画像記憶部8に接続されている点、ならびに、キー接触検出部92が第2の画像記憶部8および第3の画像記憶部9に接続されている点が異なる。
本発明の第2の実施の形態の携帯電話装置90においては、指位置検出部91は、第1の画像情報81および第2の画像情報82の合焦の度合いを比較することにより、その合焦の度合いが実質的に異なっている場合に、指51が距離範囲Δ1内、すなわち図7における指73の位置にあるものとして、合焦の度合いが異なる部分の重心または中心座標を用いて指73の二次元座標として、キー操作判定部13および軌跡生成部12に送る。
また、本発明の第2の実施の形態における携帯電話装置90においては、キー接触検出部92は、第2の画像情報82および第3の画像情報83の合焦の度合いを比較し、その合焦の度合いが異なっている場合に、指51が距離範囲Δ2内、すなわち図7における指72の位置にあるものとしてキー接触がされたものと判定し、仮想キーボード54のキーが押された旨の信号をキー操作判定部13に送る。
他の構成要件の各機能は第1の実施の形態の携帯電話装置50において説明した各構成要件の機能と同じであるので、詳細な説明は省略する。
次に、本発明の第2の実施の形態における携帯電話装置90の動作について説明する。図12は本発明の第2の実施の形態における携帯電話装置90の動作ステップを示すフローチャートである。
図12に示したように、ステップS1からステップS6までの動作ステップは、図9に示した本発明の第1の実施の形態における携帯電話装置50の動作ステップと同じであるので、その説明を省略する。
第1の画像情報81、第2の画像情報82および第3の画像情報83の記憶部への記憶がそれぞれ完了すると、指位置検出部91は、第1の画像記憶部7に記憶された第1の画像情報81および第2の画像記憶部8に記憶された第2の画像情報82の合焦の度合いを比較する(S31)。合焦の度合いに差がある場合(S8)には指51が図7における距離範囲Δ1、すなわち指73の位置に入ったとみなしてステップS11に進み、差がない場合(S8)にはステップS1に戻る(S30)。
指位置検出部91が指73の二次元座標を算出した(S11)後に、キー接触検出部92は第2の画像情報82と第3の画像情報83との合焦の度合いの比較を行う(S32)。第2の画像情報82と第3の画像情報83との合焦の度合いに実質的な差がある場合(S33)には、指51が図7における距離範囲Δ2、すなわち指72の位置に入ったとみなしてステップS19に進む一方、差がないと判定された場合(S33)には、指73の位置にあるものとみなしてステップS1に戻る(S35)。
なお、ステップS19からステップS22までの各処理ステップは、第1の実施の形態の図9に示した各処理ステップと同様であるので、その説明を省略する。
以上説明したように、本発明の第2の実施の形態における携帯電話装置90においても、第1の実施の形態において説明した携帯電話装置50と同様に、指を装置に触れることなく、指の位置を検出して、対応する情報を入力することが可能となる。本発明の第2の実施の形態における携帯電話装置90では、距離範囲Δ1は指51の軌跡53が表示部15上に表示される範囲(図1における領域A1)となり、距離範囲Δ2は、仮想キーボード54が押下されたと判定される範囲(図1における領域A2)となる。
本発明の第2の実施の形態における携帯電話装置90においても、3枚の画像を撮影して画像の比較を行うことにより情報の入力が可能であるので、短時間に処理を行うことが可能であることは第1の実施の形態と同じである。
本発明に係る情報装置および情報入力方法およびプログラムによれば、開口度のそれぞれ異なる複数の画像を比較するという比較的簡易な処理によって、ユーザの指等の指示物体の動きを迅速に検出して情報を入力することができるという効果を奏することができるので、携帯電話装置等の情報装置、特に非接触に情報入力することのできる情報装置等として有用である。
1 絞り
2,32 レンズ
3 撮影部
4 絞り調節部
5 同期信号発生部
6 振り分け部
7 第1の画像記憶部
8 第2の画像記憶部
9 第3の画像記憶部
10,91 指位置検出部
11,92 キー接触検出部
12 軌跡生成部
13 キー操作判定部
14 キー配置記憶部
15 表示部
16 指位置記憶部
31 物体
33 撮像素子
50,90 携帯電話装置
51,71,72,73,74 指
52 入力誘導表示
53 軌跡
54 仮想キーボード
60 携帯通信処理部
61 キー配置情報
81 第1の画像情報
82 第2の画像情報
83 第3の画像情報
95 情報装置
2,32 レンズ
3 撮影部
4 絞り調節部
5 同期信号発生部
6 振り分け部
7 第1の画像記憶部
8 第2の画像記憶部
9 第3の画像記憶部
10,91 指位置検出部
11,92 キー接触検出部
12 軌跡生成部
13 キー操作判定部
14 キー配置記憶部
15 表示部
16 指位置記憶部
31 物体
33 撮像素子
50,90 携帯電話装置
51,71,72,73,74 指
52 入力誘導表示
53 軌跡
54 仮想キーボード
60 携帯通信処理部
61 キー配置情報
81 第1の画像情報
82 第2の画像情報
83 第3の画像情報
95 情報装置
Claims (14)
- 物体の動きによって非接触に情報を発生する情報装置であって、
絞り部と、
前記絞り部の開口度を調節する開口度調節部と、
前記物体を撮影する撮影部と、
前記開口度調節部により前記絞り部の開口度を異ならせて前記物体を前記撮影部で撮影して取得した、互いに開口度の異なる複数の画像を比較することにより前記物体が所定の領域内にあるか否かを判定する距離判定部と、
前記物体が前記所定の領域内にあると判定された場合に前記物体の位置に対応した所定の情報を発生する情報発生部を備えたことを特徴とする情報装置。 - 前記物体の互いに開口度の異なる複数の画像の中から選択した一つの画像から前記物体の二次元座標を算出する座標算出部を備え、
前記情報発生部は、前記物体の二次元座標に応じて異なる情報を発生することを特徴とする請求項1に記載の情報装置。 - 前記情報発生部が前記物体の二次元座標に対応させて発生する情報を記憶する情報記憶部を備え、
前記情報発生部は、前記物体の二次元座標の情報および前記情報記憶部に記憶された情報にもとづいて前記異なる情報を発生することを特徴とする請求項2に記載の情報装置。 - 前記情報記憶部に記憶された情報にもとづいて、前記物体の二次元座標に対応させて前記情報発生部より発生する情報をキーボード状に表示する表示部を備えたことを特徴とする請求項3に記載の情報装置。
- 前記物体の移動軌跡を生成する軌跡生成部を備え、
前記距離判定部は、前記物体が前記所定の領域よりも大きな軌跡表示領域内にあるか否かを判定し、
前記距離判定部において前記物体が前記軌跡表示領域内にあると判定された場合に、前記表示部は前記物体の移動軌跡を表示することを特徴とする請求項4に記載の情報装置。 - 前記距離判定部は、前記物体の互いに開口度の異なる複数の画像における合焦度の違いにもとづいて前記物体が前記所定の領域内にあるか否かを判別することを特徴とする請求項1から請求項5までのいずれか1項に記載の情報装置。
- 前記距離判定部は、前記物体の互いに開口度の異なる複数の画像における合焦度を、DCT処理した場合の係数にもとづいて計算することを特徴とする請求項6に記載の情報装置。
- 前記距離判定部は、前記物体の互いに開口度の異なる複数の画像における合焦度を、DCT処理した場合の所定周波数の係数値を積算して計算することを特徴とする請求項7に記載の情報装置。
- 前記撮影部は、開口度が異なる3枚の画像を撮影し、
前記距離判定部は、開口度が異なる3枚の画像のうち、もっとも開口度の大きな第1の画像と前記第1の画像よりも開口度の小さな第2の画像とを用いて前記物体が前記軌跡表示領域内にあるか否かの判定を行い、前記第1の画像、前記第2の画像、および、前記第2の画像よりも開口度の小さな第3の画像を用いて前記物体が前記所定の領域内にあるか否かを判定することを特徴とする請求項5から請求項8までのいずれか1項に記載の情報装置。 - 前記撮影部は、開口度が異なる3枚の画像を撮影し、
前記距離判定部は、開口度が異なる3枚の画像のうち、もっとも開口度の小さい第1の画像と前記第1の画像よりも開口度の大きな第2の画像とを用いて前記物体が前記軌跡表示領域内にあるか否かの判定を行い、前記第2の画像と前記第2の画像よりも開口度の大きな第3の画像とを用いて前記物体が前記所定の領域内にあるか否かを判定することを特徴とする請求項5から請求項8までのいずれか1項に記載の情報装置。 - 前記絞り部は、液晶シャッタを有することを特徴とする請求項1から請求項10までのいずれか1項に記載の情報装置。
- 前記開口度調節部は、前記液晶シャッタを透過する光線の光量が一定になるように前記光量を調節する光量調節部を有することを特徴とする請求項11に記載の情報装置。
- 第1の絞り開口度で物体の第1の画像を撮影する第1のステップと、
前記第1の絞り開口度よりも大きな第2の絞り開口度で、前記物体の第2の画像を撮影する第2のステップと、
前記第1の画像および前記第2の画像それぞれの合焦度を算出する第3のステップと、
前記第1の画像および前記第2の画像それぞれの合焦度を比較することにより、前記物体が所定の領域内にあるか否かを判定する第4のステップと、
前記物体が前記所定の領域内にあると判定された場合に、前記物体の位置に対応した所定の情報を入力する第5のステップとを備えたことを特徴とする情報入力方法。 - コンピュータに、
物体の第1の絞り開口度で撮影された画像を入力する第1のステップと、
前記第1の絞り開口度よりも大きな第2の絞り開口度で撮影された画像を入力する第2のステップと、
前記第1の絞り開口度で撮影された画像および前記第2の絞り開口度で撮影された画像それぞれの合焦度を算出する第3のステップと、
前記第1の絞り開口度で撮影された画像および前記第2の絞り開口度で撮影された画像それぞれの合焦度を比較することにより、前記物体が所定の領域内にあるか否かを判定する第4のステップと、
前記物体が前記所定の領域内にあると判定された場合に、前記物体の位置に対応した所定の情報を発生する第5のステップとを実行させることを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004187735A JP2006010489A (ja) | 2004-06-25 | 2004-06-25 | 情報装置、情報入力方法およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004187735A JP2006010489A (ja) | 2004-06-25 | 2004-06-25 | 情報装置、情報入力方法およびプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2006010489A true JP2006010489A (ja) | 2006-01-12 |
Family
ID=35777914
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004187735A Pending JP2006010489A (ja) | 2004-06-25 | 2004-06-25 | 情報装置、情報入力方法およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2006010489A (ja) |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007213245A (ja) * | 2006-02-08 | 2007-08-23 | Nec Corp | 携帯端末及びプログラム |
| KR100843590B1 (ko) | 2006-07-19 | 2008-07-04 | 엠텍비젼 주식회사 | 광 포인팅 장치 및 이를 구비한 휴대 단말기 |
| JP2009141441A (ja) * | 2007-12-03 | 2009-06-25 | Nec Corp | 文字入力・機能操作装置、方法、プログラム及び携帯端末装置 |
| JP2010049583A (ja) * | 2008-08-24 | 2010-03-04 | Teruhiko Yagami | 腕時計型電子メモ装置 |
| JP2010522492A (ja) * | 2007-03-26 | 2010-07-01 | イデント テクノロジー アーゲー | 移動通信装置及び該移動通信装置のための入力装置 |
| JP2010205223A (ja) * | 2009-03-06 | 2010-09-16 | Seiko Epson Corp | 仮想対象に対するジェスチャーに従う制御を行うシステム及び装置 |
| WO2010135076A3 (en) * | 2009-05-22 | 2011-02-03 | Motorola Mobility, Inc. | Sensing assembly for mobile device |
| JP2011039673A (ja) * | 2009-08-07 | 2011-02-24 | Sony Corp | 位置検出装置および位置検出方法 |
| JP2011081506A (ja) * | 2009-10-05 | 2011-04-21 | Hitachi Consumer Electronics Co Ltd | 映像表示装置、および、その表示制御方法 |
| US8030914B2 (en) | 2008-12-29 | 2011-10-04 | Motorola Mobility, Inc. | Portable electronic device having self-calibrating proximity sensors |
| US8269175B2 (en) | 2009-05-22 | 2012-09-18 | Motorola Mobility Llc | Electronic device with sensing assembly and method for detecting gestures of geometric shapes |
| US8275412B2 (en) | 2008-12-31 | 2012-09-25 | Motorola Mobility Llc | Portable electronic device having directional proximity sensors based on device orientation |
| US8294105B2 (en) | 2009-05-22 | 2012-10-23 | Motorola Mobility Llc | Electronic device with sensing assembly and method for interpreting offset gestures |
| US8319170B2 (en) | 2009-07-10 | 2012-11-27 | Motorola Mobility Llc | Method for adapting a pulse power mode of a proximity sensor |
| US8344325B2 (en) | 2009-05-22 | 2013-01-01 | Motorola Mobility Llc | Electronic device with sensing assembly and method for detecting basic gestures |
| US8391719B2 (en) | 2009-05-22 | 2013-03-05 | Motorola Mobility Llc | Method and system for conducting communication between mobile devices |
| US8542186B2 (en) | 2009-05-22 | 2013-09-24 | Motorola Mobility Llc | Mobile device with user interaction capability and method of operating same |
| JP2013541110A (ja) * | 2011-09-27 | 2013-11-07 | イーロ・タッチ・ソリューションズ・インコーポレイテッド | ジェスチャベースの入力のスケーリング |
| US8619029B2 (en) | 2009-05-22 | 2013-12-31 | Motorola Mobility Llc | Electronic device with sensing assembly and method for interpreting consecutive gestures |
| US8665227B2 (en) | 2009-11-19 | 2014-03-04 | Motorola Mobility Llc | Method and apparatus for replicating physical key function with soft keys in an electronic device |
| JP2014082605A (ja) * | 2012-10-15 | 2014-05-08 | Canon Marketing Japan Inc | 情報処理装置、その制御方法及びプログラム |
| JP2014102842A (ja) * | 2012-11-20 | 2014-06-05 | Samsung Electronics Co Ltd | デバイスの動きを含む、着用式電子デバイスへのユーザジェスチャー入力 |
| US8751056B2 (en) | 2010-05-25 | 2014-06-10 | Motorola Mobility Llc | User computer device with temperature sensing capabilities and method of operating same |
| US8788676B2 (en) | 2009-05-22 | 2014-07-22 | Motorola Mobility Llc | Method and system for controlling data transmission to or from a mobile device |
| US8963885B2 (en) | 2011-11-30 | 2015-02-24 | Google Technology Holdings LLC | Mobile device for interacting with an active stylus |
| US8963845B2 (en) | 2010-05-05 | 2015-02-24 | Google Technology Holdings LLC | Mobile device with temperature sensing capability and method of operating same |
| US9063591B2 (en) | 2011-11-30 | 2015-06-23 | Google Technology Holdings LLC | Active styluses for interacting with a mobile device |
| US9103732B2 (en) | 2010-05-25 | 2015-08-11 | Google Technology Holdings LLC | User computer device with temperature sensing capabilities and method of operating same |
| JP2016517505A (ja) * | 2013-03-15 | 2016-06-16 | インテル・コーポレーション | 適応デプス検出 |
| US9448714B2 (en) | 2011-09-27 | 2016-09-20 | Elo Touch Solutions, Inc. | Touch and non touch based interaction of a user with a device |
| CN114503040A (zh) * | 2019-11-22 | 2022-05-13 | 欧姆龙株式会社 | 作业指示系统以及作业指示方法 |
-
2004
- 2004-06-25 JP JP2004187735A patent/JP2006010489A/ja active Pending
Cited By (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007213245A (ja) * | 2006-02-08 | 2007-08-23 | Nec Corp | 携帯端末及びプログラム |
| KR100843590B1 (ko) | 2006-07-19 | 2008-07-04 | 엠텍비젼 주식회사 | 광 포인팅 장치 및 이를 구비한 휴대 단말기 |
| JP2010522492A (ja) * | 2007-03-26 | 2010-07-01 | イデント テクノロジー アーゲー | 移動通信装置及び該移動通信装置のための入力装置 |
| US9141148B2 (en) | 2007-03-26 | 2015-09-22 | Microchip Technology Germany Gmbh | Mobile communication device and input device for the same |
| KR101429494B1 (ko) * | 2007-03-26 | 2014-09-19 | 마이크로칩 테크놀로지 저머니 Ⅱ 게엠베하 운트 콤파니 카게 | 이동 통신 장치 및 이를 위한 입력 장치 |
| JP2009141441A (ja) * | 2007-12-03 | 2009-06-25 | Nec Corp | 文字入力・機能操作装置、方法、プログラム及び携帯端末装置 |
| JP2010049583A (ja) * | 2008-08-24 | 2010-03-04 | Teruhiko Yagami | 腕時計型電子メモ装置 |
| US8030914B2 (en) | 2008-12-29 | 2011-10-04 | Motorola Mobility, Inc. | Portable electronic device having self-calibrating proximity sensors |
| US8275412B2 (en) | 2008-12-31 | 2012-09-25 | Motorola Mobility Llc | Portable electronic device having directional proximity sensors based on device orientation |
| US8346302B2 (en) | 2008-12-31 | 2013-01-01 | Motorola Mobility Llc | Portable electronic device having directional proximity sensors based on device orientation |
| JP2010205223A (ja) * | 2009-03-06 | 2010-09-16 | Seiko Epson Corp | 仮想対象に対するジェスチャーに従う制御を行うシステム及び装置 |
| US8788676B2 (en) | 2009-05-22 | 2014-07-22 | Motorola Mobility Llc | Method and system for controlling data transmission to or from a mobile device |
| US8970486B2 (en) | 2009-05-22 | 2015-03-03 | Google Technology Holdings LLC | Mobile device with user interaction capability and method of operating same |
| US8304733B2 (en) | 2009-05-22 | 2012-11-06 | Motorola Mobility Llc | Sensing assembly for mobile device |
| WO2010135076A3 (en) * | 2009-05-22 | 2011-02-03 | Motorola Mobility, Inc. | Sensing assembly for mobile device |
| US8344325B2 (en) | 2009-05-22 | 2013-01-01 | Motorola Mobility Llc | Electronic device with sensing assembly and method for detecting basic gestures |
| US8619029B2 (en) | 2009-05-22 | 2013-12-31 | Motorola Mobility Llc | Electronic device with sensing assembly and method for interpreting consecutive gestures |
| US8542186B2 (en) | 2009-05-22 | 2013-09-24 | Motorola Mobility Llc | Mobile device with user interaction capability and method of operating same |
| US8391719B2 (en) | 2009-05-22 | 2013-03-05 | Motorola Mobility Llc | Method and system for conducting communication between mobile devices |
| US8294105B2 (en) | 2009-05-22 | 2012-10-23 | Motorola Mobility Llc | Electronic device with sensing assembly and method for interpreting offset gestures |
| US8269175B2 (en) | 2009-05-22 | 2012-09-18 | Motorola Mobility Llc | Electronic device with sensing assembly and method for detecting gestures of geometric shapes |
| US8519322B2 (en) | 2009-07-10 | 2013-08-27 | Motorola Mobility Llc | Method for adapting a pulse frequency mode of a proximity sensor |
| US8319170B2 (en) | 2009-07-10 | 2012-11-27 | Motorola Mobility Llc | Method for adapting a pulse power mode of a proximity sensor |
| JP2011039673A (ja) * | 2009-08-07 | 2011-02-24 | Sony Corp | 位置検出装置および位置検出方法 |
| JP2011081506A (ja) * | 2009-10-05 | 2011-04-21 | Hitachi Consumer Electronics Co Ltd | 映像表示装置、および、その表示制御方法 |
| US8665227B2 (en) | 2009-11-19 | 2014-03-04 | Motorola Mobility Llc | Method and apparatus for replicating physical key function with soft keys in an electronic device |
| US8963845B2 (en) | 2010-05-05 | 2015-02-24 | Google Technology Holdings LLC | Mobile device with temperature sensing capability and method of operating same |
| US8751056B2 (en) | 2010-05-25 | 2014-06-10 | Motorola Mobility Llc | User computer device with temperature sensing capabilities and method of operating same |
| US9103732B2 (en) | 2010-05-25 | 2015-08-11 | Google Technology Holdings LLC | User computer device with temperature sensing capabilities and method of operating same |
| JP2013541110A (ja) * | 2011-09-27 | 2013-11-07 | イーロ・タッチ・ソリューションズ・インコーポレイテッド | ジェスチャベースの入力のスケーリング |
| US9448714B2 (en) | 2011-09-27 | 2016-09-20 | Elo Touch Solutions, Inc. | Touch and non touch based interaction of a user with a device |
| US8963885B2 (en) | 2011-11-30 | 2015-02-24 | Google Technology Holdings LLC | Mobile device for interacting with an active stylus |
| US9063591B2 (en) | 2011-11-30 | 2015-06-23 | Google Technology Holdings LLC | Active styluses for interacting with a mobile device |
| JP2014082605A (ja) * | 2012-10-15 | 2014-05-08 | Canon Marketing Japan Inc | 情報処理装置、その制御方法及びプログラム |
| JP2014102842A (ja) * | 2012-11-20 | 2014-06-05 | Samsung Electronics Co Ltd | デバイスの動きを含む、着用式電子デバイスへのユーザジェスチャー入力 |
| JP2016517505A (ja) * | 2013-03-15 | 2016-06-16 | インテル・コーポレーション | 適応デプス検出 |
| CN114503040A (zh) * | 2019-11-22 | 2022-05-13 | 欧姆龙株式会社 | 作业指示系统以及作业指示方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2006010489A (ja) | 情報装置、情報入力方法およびプログラム | |
| US11670267B2 (en) | Computer vision and mapping for audio applications | |
| EP3116215B1 (en) | Mobile terminal and method for controlling the same | |
| US8854433B1 (en) | Method and system enabling natural user interface gestures with an electronic system | |
| US20060044399A1 (en) | Control system for an image capture device | |
| US20110273369A1 (en) | Adjustment of imaging property in view-dependent rendering | |
| JPWO2018003861A1 (ja) | 表示装置および制御装置 | |
| EP2687959A1 (en) | Detection device, input device, projector, and electronic apparatus | |
| CN110035218B (zh) | 一种图像处理方法、图像处理装置及拍照设备 | |
| JP7371264B2 (ja) | 画像処理方法、電子機器及びコンピュータ可読記憶媒体 | |
| JP2013070303A (ja) | 画面への押圧で撮影が可能な撮影装置、撮影方法及びプログラム | |
| WO2018045592A1 (zh) | 拍摄图像方法、装置和终端 | |
| US10290120B2 (en) | Color analysis and control using an electronic mobile device transparent display screen | |
| US20150199063A1 (en) | Three-Dimensional Touchscreen | |
| CN109947243A (zh) | 基于触摸手检测的智能电子设备手势捕获与识别技术 | |
| US9462259B2 (en) | Electronic device | |
| US10783666B2 (en) | Color analysis and control using an electronic mobile device transparent display screen integral with the use of augmented reality glasses | |
| JP3851601B2 (ja) | 携帯端末装置 | |
| EP3767928A1 (en) | Optical device and mobile terminal comprising same | |
| JP2022183171A (ja) | 表示装置 | |
| CN114549658A (zh) | 摄像头的标定方法、装置及电子设备 | |
| CN114115544A (zh) | 人机交互方法、三维显示设备及存储介质 | |
| KR101741356B1 (ko) | 스마트폰을 이용한 접촉각 측정방법 | |
| KR101204868B1 (ko) | 프로젝션 및 가상 입력 겸용의 프로젝터 및 데이터 입력 방법 | |
| KR102151206B1 (ko) | 이동 단말기 및 그 제어방법 |