JP2017022590A - 画像処理装置、画像処理装置の制御方法、及びプログラム - Google Patents

Abstract

【課題】 操作者が見開きの原稿を押さえた状態でも投影される操作ボタンを容易に操作する。
【解決手段】
載置された原稿の画像を読み取る読取手段を備える画像処理装置において、載置された原稿を操作者が両手で押さえている状態であるかどうかを取得する距離画像の変化に基づいて判断する。ここで、載置された原稿を操作者が両手で押さえている状態でないと判断した場合、第１の認識処理により操作ボタンに対する指示を認識させ、載置された原稿を操作者が両手で押さえている状態であると判断した場合、第２の認識処理により操作ボタンに対する指示を認識させるように認識処理を切替え制御する構成を特徴とする。
【選択図】 図１０

Description

本発明は、画像処理装置、画像処理装置の制御方法、及びプログラムに関するものである。

画像処理装置として、机上に置いた原稿を上方から撮影してページの画像を読み取ることができる上面読み取りスキャナが普及している。このような上面読み取りスキャナを用いると、ページをめくりながらページの画像を次々に読み取ることができるため、原稿を電子化する作業を効率良く行うことができる。
また、プロジェクションによってユーザインタフェース（以下、ＵＩ）を壁や机など任意の操作面に投影し、投影したＵＩに対してタッチ操作を行う場合がある。このような場合においては、ステレオカメラや距離画像センサ等を用い、操作面と、操作を行う指示部として認識すべき認識対象（例えばユーザの指先）との間の距離に基づく判断により、両者が接触しているか否かを判断することが多い。
具体的には、操作面と、ユーザの指先との間の距離に所定の閾値を設ける。そして、当該距離が閾値より小さければ、操作面がタッチされている状態を示す「タッチ状態」、閾値より大きければ操作面がタッチされていない状態を示す「非タッチ状態（リリース状態）」であるという判定を行う（特許文献１参照）。このようなＵＩを用いて、ブックスキャナは操作面にスキャンボタンを表示し、ユーザがスキャンボタンをタッチすることを認識してページの画像を読み取る。

特開２０１５−４３１５４号公報

例えば上述したスキャナを用いて、上面読み取りスキャナでは分厚い本を読み取る例を考える。
この場合、図１１のように、本と認識対象との距離に基づく判断により、両者が接触しているか否かを判断することもできる。分厚い本の中には、本を押さえないと読み取りたいページを開きっぱなしにできない場合がある。この場合、本の両端を手で押さえて、読み取りたいページを保持して読み取る。
その際、図１２の（ａ）のように、両手で本を押さえている状態では、手の近傍にスキャンボタンを表示させても、タッチ検出させるために、図１２の（ｂ）のように、指を閾値に対して行き来させるのは大変である。

本発明は、上記の課題を解決するためになされたもので、本発明の目的は、操作者が見開きの原稿を押さえた状態でも投影される操作ボタンを容易に操作できる仕組みを提供することである。

上記目的を達成する本発明の画像処理装置は以下に示す構成を備える。
距離画像を取得する取得手段と、載置された原稿の画像を読み取る読取手段と、前記原稿が載置された原稿台上に操作ボタンを投影する投影手段と、投影された操作ボタンと前記取得手段が取得する前記距離画像から特定される操作者の指先との距離が所定値を下回ることを検出することにより前記操作ボタンに対する指示を認識する第１の認識手段と、前記取得手段が取得する前記距離画像から特定される操作者の指先が指示している位置を検出することにより前記操作者が投影された前記操作ボタンに対する指示を認識する第２の認識手段と、前記載置された原稿を操作者が両手で押さえている状態であるかどうかを前記取得手段が取得する距離画像の変化に基づいて判断する判断手段と、前記載置された原稿を操作者が両手で押さえている状態でないと判断した場合、前記第１の認識手段により前記操作ボタンに対する指示を認識させ、前記載置された原稿を操作者が両手で押さえている状態であると判断した場合、前記第２の認識手段により前記操作ボタンに対する指示を認識させるように認識処理を切替え制御する制御手段と、を備えることを特徴とする。

本発明によれば、操作者が見開きの原稿を押さえた状態でも投影される操作ボタンを容易に操作できる。

画像処理装置が含まれるネットワーク構成を示す図である。 画像処理装置の構成例を示す図である。 コントローラ部のハードウェア構成例を示す図である。 画像処理装置の制御用プログラムの機能構成を示す図である。 画像処理装置の制御方法を説明するフローチャートである。 手指認識部による認識例を示す図である。 画像処理装置の制御方法を説明するフローチャートである。 画像処理装置における原稿操作状態を示す図である。 画像処理装置における原稿操作状態を示す図である。 画像処理装置における原稿操作状態を示す図である。 画像処理装置の制御方法を説明するフローチャートである。 画像処理装置における原稿操作状態を示す図である。 画像処理装置における原稿操作状態を示す図である。

次に本発明を実施するための最良の形態について図面を参照して説明する。
＜システム構成の説明＞
〔第１実施形態〕
図１は、本実施形態に係る画像処理装置が含まれるネットワーク構成を示す図である。

図１に示すように、画像処理装置１０１はイーサネット（登録商標）等のネットワーク１０４にてホストコンピュータ１０２およびプリンタ１０３に接続されている。図１のネットワーク構成において、ホストコンピュータ１０２からの指示により、画像処理装置１０１から画像を読み取るスキャン機能や、スキャンデータをプリンタ１０３により出力するプリント機能の実行が可能である。また、ホストコンピュータ１０２を介さず、画像処理装置１０１への直接の指示により、スキャン機能、プリント機能の実行も可能である。

図２は、本実施形態を示す画像処理装置１０１の構成例を示す図である。
図２に示すように、画像処理装置１０１は、コントローラ部２０１、画像取得部２０２、腕部２０３、投影部２０７、距離画像取得部２０８を含む。画像処理装置の本体であるコントローラ部２０１と、撮像を行うための画像取得部２０２、投影部２０７および距離画像取得部２０８は、腕部２０３により連結されている。腕部２０３は関節を用いて曲げ伸ばしが可能である。

図２には、画像処理装置１０１が設置されている書画台２０４も示している。画像取得部２０２および距離画像取得部２０８のレンズは書画台（原稿台）２０４方向に向けられており、破線で囲まれた読み取り領域２０５内の画像を読み取り可能である。図２の例では、原稿２０６は読み取り領域２０５内に置かれているので、画像処理装置１０１が読み取ることが可能となっている。
原稿読取り手段として機能する画像取得部２０２はズーム機能を有しており、ズームすることで、読み取り領域２０５内の一部を高解像度で撮影可能である。
なお、図２に示されていないが、画像処理装置１０１は、ＬＣＤタッチパネル３３０およびスピーカ３４０をさらに含むこともできる。

図３は、図１に示した画像処理装置１０１の本体であるコントローラ部２０１のハードウェア構成例を示す図である。
図３のコントローラ部２０１は、システムバス３０１に接続されたＣＰＵ３０２、ＲＡＭ３０３、ＲＯＭ３０４、ＨＤＤ３０５、ネットワークＩ／Ｆ３０６、画像処理プロセッサ３０７、画像取得部Ｉ／Ｆ３０８、ディスプレイコントローラ３０９を含む。さらに、シリアルＩ／Ｆ３１０、オーディオコントローラ３１１、ＵＳＢコントローラ３１２および電源部３１３を含む。

ＣＰＵ３０２はコントローラ部２０１全体の動作を制御する中央演算装置である。ＲＡＭ３０３は揮発性メモリである。ＲＯＭ３０４は不揮発性メモリであり、ＣＰＵ３０２の起動用プログラムが格納されている。ＨＤＤ３０５はＲＡＭ３０３と比較して大容量なハードディスクドライブ（ＨＤＤ）である。ＨＤＤ３０５にはコントローラ部２０１の実行する、画像処理装置１０１の制御用プログラムが格納されている。

ＣＰＵ３０２は電源ＯＮ等の起動時、ＲＯＭ３０４に格納されている起動用プログラムを実行する。この起動用プログラムは、ＨＤＤ３０５に格納されている制御用プログラムを読み出し、ＲＡＭ３０３上に展開するためのものである。ＣＰＵ３０２は起動用プログラムを実行すると、続けてＲＡＭ３０３上に展開した制御用プログラムを実行し、制御を行う。

また、ＣＰＵ３０２は制御用プログラムによる動作に用いるデータもＲＡＭ３０３上に格納して読み書きを行う。ＨＤＤ３０５上にはさらに、制御用プログラムによる動作に必要な各種設定や、また、画像取得部からの入力によって生成した画像データを格納することができ、ＣＰＵ３０２によって読み書きされる。ＣＰＵ３０２はネットワークＩ／Ｆ３０６を介してネットワーク１０４上の他の機器との通信を行う。

画像処理プロセッサ３０７はＲＡＭ３０３に格納された画像データを読み出して処理し、またＲＡＭ３０３へ書き戻す。なお、画像処理プロセッサ３０７が実行する画像処理は、回転、変倍、色変換等である。

画像取得部Ｉ／Ｆ３０８は画像取得部２０２および距離画像取得部２０８と接続され、ＣＰＵ３０２からの指示に応じて画像取得部２０２からＲＧＢ画像データを、距離画像取得部２０８からＲＧＢ画像データと距離画像データを取得してＲＡＭ３０３へ書き込む。また、ＣＰＵ３０２からの制御コマンドを画像取得部２０２および距離画像取得部２０８へ送信し、画像取得部２０２および距離画像取得部２０８の設定を行う。ここで、画像取得部２０２と距離画像取得部２０８のＲＧＢ画像取得部３６３は解像度が異なり、画像取得部２０２の方が高解像度である。

距離画像取得部２０８は、赤外線によるパターン投射方式の距離画像センサである。赤外線パターン投射部３６１は対象物に、人の目には不可視である赤外線によって３次元測定パターンを投射する。ここで、投射される３次元測定パターンは、原稿が載置される書画台２０４で原稿、例えばブック原稿を両手で押さえる手先に投射される。なお、距離画像の取得処理については後述する。赤外線画像取得部３６２は対象物に投射した３次元測定パターンを読みとるカメラである。ＲＧＢ画像取得部３６３は人の目に見える可視光をＲＧＢ信号で撮影するカメラである。距離画像取得部２０８で得られる距離画像を用いて、人の手によるジェスチャー操作を実現する

なお、本実施形態では、距離画像取得部２０８として赤外線パターン投射方式を採用しているが、他の方式の距離画像センサを用いることも可能である。例えば、２つのＲＧＢカメラでステレオ立体視を行うステレオ方式や、レーザー光の飛行時間を検出することで距離を測定するＴＯＦ（Ｔｉｍe ｏｆ Ｆｌｉｇｈｔ）方式を用いても構わない。なお、投影部２０７は、操作者の両手のうち、いずれか一方に近接するように操作ボタンを投影することが可能に構成されている。また、投影部２０７は、操作者の両手に近接するように複数の操作ボタンを割当てて投影することが可能に構成されている。

また、コントローラ部２０１は、ディスプレイコントローラ３０９、シリアルＩ／Ｆ３１０、オーディオコントローラ３１１およびＵＳＢコントローラ３１２のうち少なくとも１つをさらに含むことができる。

ディスプレイコントローラ３０９はＣＰＵ３０２の指示に応じてディスプレイへの画像データの表示を制御する。ここでは、ディスプレイコントローラ３０９は投影部２０７およびＬＣＤタッチパネル３３０に接続されている。

シリアルＩ／Ｆ３１０はシリアル信号の入出力を行う。ここでは、シリアルＩ／Ｆ３１０はＬＣＤタッチパネル３３０に接続され、ＣＰＵ３０２はＬＣＤタッチパネル３３０が押下されたときに、シリアルＩ／Ｆ３１０を介して押下された座標を取得する。
オーディオコントローラ３１１はスピーカ３４０に接続され、ＣＰＵ３０２の指示に応じて音声データをアナログ音声信号に変換し、スピーカ３４０を通じて音声を出力する。

ＵＳＢコントローラ３１２はＣＰＵ３０２の指示に応じて外付けのＵＳＢデバイスの制御を行う。ここでは、ＵＳＢコントローラ３１２はＵＳＢメモリやＳＤカードなどの外部メモリ３５０に接続され、外部メモリ３５０へのデータの読み書きを行う。

電源部３１３は、電力モードを少なくとも２つ有し、スキャン動作などを実行する通常電力モードとそれよりも電力消費の少ない省電力モードを有する。ＣＰＵ３０２は電源部３１３を制御して装置の電力モードを省電力モードへ移行させることができる。省電力モード時には、電源部３１３から画像取得部２０２や投影部２０７などへの電源供給が停止される。なお、電力モードは上記２種類以外にもさまざまなモードを設けることが可能である。

図４は、図１に示した画像処理装置１０１の制御用プログラムの機能構成４０１を示す図である。
画像処理装置１０１の制御用プログラムは前述のようにＨＤＤ３０５に格納され、ＣＰＵ３０２が起動時にＲＡＭ３０３上に展開して実行する。メイン制御部４０２は制御の中心であり、機能構成４０１内の他の各モジュールを制御する。

画像取得部４１６は画像入力処理を行うモジュールであり、カメラ画像取得部４０７、距離画像取得部４０８から構成される。カメラ画像取得部４０７は画像取得部Ｉ／Ｆ３０８を介して画像取得部２０２が出力する画像データを取得し、ＲＡＭ３０３へ格納する。距離画像取得部４０８は画像取得部Ｉ／Ｆ３０８を介して距離画像取得部２０８が出力する距離画像データを取得し、ＲＡＭ３０３へ格納する。手指認識部４０９は、画像取得部４１６から書画台２０４上の画像を取得し続け、後述する座標算出処理に基づいて手指を認識してメイン制御部４０２へ通知する。

画像処理部４１１は、画像取得部２０２および距離画像取得部２０８から取得した画像を画像処理プロセッサ３０７で解析するために用いられる。前述の手指認識部４０９も画像処理部４１１の機能を利用して実行される。

ユーザインタフェース部４０３は、メイン制御部４０２からの要求を受け、メッセージやボタン等のＧＵＩ部品を生成する。そして、表示部４０６へ生成したＧＵＩ部品の表示を要求する。表示部４０６はディスプレイコントローラ３０９を介して、投影部２０７もしくはＬＣＤタッチパネル３３０へ要求されたＧＵＩ部品の表示を行う。投影部２０７は書画台２０４に向けて設置されているため、書画台２０４上にＧＵＩ部品を投射することが可能となっている。
また、ユーザインタフェース部４０３は、手指認識部４０９が認識したタッチ等のジェスチャー操作、あるいはシリアルＩ／Ｆ３１０を介したＬＣＤタッチパネル３３０からの入力操作、そしてさらにそれらの座標を受信する。そして、ユーザインタフェース部４０３は描画中の操作画面の内容と操作座標を対応させて操作内容（押下されたボタン等）を判定する。この操作内容をメイン制御部４０２へ通知することにより、操作者の操作を受け付ける。
ネットワーク通信部４０４は、ネットワークＩ／Ｆ３０６を介して、ネットワーク１０４上の他の機器とＴＣＰ／ＩＰによる通信を行う。
データ管理部４０５は、制御用プログラム４０１の実行において生成した作業データなど様々なデータをＨＤＤ３０５上の所定の領域へ保存し、管理する。

図５Ａは、本実施形態を示す画像処理装置の制御方法を説明するフローチャートである。本例は、図４に示した手指認識部４０９の処理の詳細手順に対応する。なお、各ステップは、ＣＰＵ３０２がＲＡＭ３０３に格納された制御用プログラムを実行することで実現する。以下、図５Ｂに示す手指認識部による認識例を参照しながら認識処理について説明する。

図５Ｂの（ａ）において、手指認識部４０９が処理を開始すると、Ｓ５０１で初期化処理を行う。初期化処理では、手指認識部４０９は距離画像取得部４０８から距離画像を１フレーム取得する。ここで、手指認識部４０９の開始時は書画台２０４上に対象物が置かれていない状態であるため、初期状態として書画台２０４の平面の認識を行う。

つまり、取得した距離画像から最も広い平面を抽出し、その位置と法線ベクトル（以降、書画台２０４の平面パラメータと呼ぶ）を算出し、ＲＡＭ３０３に保存する。また、タッチ認識のための閾値を算出し、ＲＡＭ３０３に保存する。閾値は、書画台２０４の法線方向に対してある一定の値だけ上面に設定する。

続いて、Ｓ５０２では、Ｓ５２１、Ｓ５２２に示す、書画台２０４上に存在する物体の３次元点群を取得する。その際、Ｓ５２１では距離画像取得部４０８から距離画像と３次元点群を１フレーム取得する。Ｓ５２２では書画台２０４の平面パラメータを用いて、取得した３次元点群から書画台２０４を含む平面にある点群を除去する。

Ｓ５０３では、Ｓ５３１〜Ｓ５３４に示す、取得した３次元点群からユーザの手の形状および指先を検出する処理を行う。ここで、図５Ｂの（a）〜（c）に示す、指先検出処理の方法を模式的に表した図を用いて説明する。Ｓ５３１では、Ｓ５０２で取得した３次元点群から、書画台２０４を含む平面から所定の高さ以上にある、肌色の３次元点群を抽出することで、手の３次元点群を得る。図５Ｂの（ａ）の５６１は抽出した手の３次元点群を表している。Ｓ５３２では、抽出した手の３次元点群を、書画台２０４の平面に射影した２次元画像を生成して、その手の外形を検出する。５６２は、書画台２０４の平面に投影した３次元点群を表している。

投影は、点群の各座標を、書画台２０４の平面パラメータを用いて投影すればよい。また、図５Ｂの（ｂ）に示すように、投影した３次元点群から、ｘｙ座標の値だけを取り出せば、ｚ軸方向から見た２次元画像５６３として扱うことができる。この時、手の３次元点群の各点が、書画台２０４の平面に投影した２次元画像の各座標のどれに対応するかを、記憶しておくものとする。Ｓ５３３では検出した手の外形上の各点について、その点での外形の曲率を算出し、算出した曲率が所定値より小さい点を指先として検出する。

図５Ｂの（ｃ）は、外形の曲率から指先を検出する方法を模式的に表したものである。５６４は、書画台２０４の平面に投影された２次元画像５６３の外形を表す点の一部を表している。ここで、５６４のような、外形を表す点のうち、隣り合う５個の点を含むように円を描くことを考える。円５６５、５６７が、その例である。

この円を、全ての外形の点に対して順に描き、その直径（例えば５６６、５６８）が所定の値より小さい（曲率が小さい）ことを以て、隣り合う５個の点の真ん中の点を指先とする。前に述べたように、ＲＡＭ３０３が、この点に関する３次元点群との対応関係を記憶しているので、手指認識部４０９は指先点の３次元情報を利用することができる。この例では隣り合う５個の点としたが、その数は限定されるものではない。また、ここでは曲率を用いたが、外形に対して楕円フィッティングを行うことで、指先を検出してもよい。

Ｓ５３４では、検出した指先の個数および各指先の座標を算出する。この時、前述したように、書画台２０４に投影した２次元画像の各点と、手の３次元点群の各点の対応関係を記憶しているため、各指先の３次元座標を得ることができる。今回は、３次元点群から２次元画像に投影した画像から指先を検出する方法を説明したが、指先検出の対象とする画像は、これに限定されるものではない。例えば、距離画像の背景差分や、ＲＧＢ画像の肌色領域から手の領域を抽出し、上に述べたのと同様の方法（外形の曲率計算等）で、手領域のうちの指先を検出してもよい。

この場合、検出した指先の座標はＲＧＢ画像や距離画像といった、２次元画像上の座標であるため、その座標における距離画像の距離情報を用いて、直交座標系の３次元座標に変換する必要がある。この時、指先点となる外形上の点ではなく、指先を検出するときに用いた、曲率円の中心を指先点としてもよい。

次にＳ５０４では各指先のタッチ検出処理を行う。各指先と、書画台２０４と閾値のｚ座標の関係から、タッチ検出を行う。具体的には、各指先のｚ座標が、閾値のｚ座標と書画台２０４のｚ座標の間（所定の距離を下回る）にあればタッチとみなす。書画台２０４に物体が置かれた場合は、距離画像の距離情報を用いて、物体のｚ座標の上方に一定の距離を設定して閾値としても良い。

図６は、本実施形態を示す画像処理装置の制御方法を説明するフローチャートである。本例は、原稿読み取りの処理の一例である。なお、各ステップは、ＣＰＵ３０２がＲＡＭ３０３に格納された制御用プログラムを実行することで実現する。なお、本実施形態では、原稿台に載置される見開きのブック原稿を操作者が原稿台上で両手で押さえていることを認識して、特定の操作ボタンに対する操作指示の認識処理を切替制御する例を説明する。
まずＳ６０１で、手指の認識を行う。これは、前述した手指認識部４０９の処理そのものである。これにより、手の外形、指先の個数、座標が決定される。

次に、Ｓ６０２で両手が静止しているかを判断する。両手が静止しているかどうかは、Ｓ６０１で認識された指先の座標それぞれについて、取得する距離画像のフレーム間で座標の移動が規定値以内であれば、静止していると判断する。例えば、１０フレーム間で各指先の移動が５ｍｍ以内であれば、静止していると判断する。つまり、載置された原稿を操作者が両手で押さえている状態であるかどうかを取得する距離情報の変化に基づいて判断することとなる。

両手が静止していると判断された場合（Ｓ６０２でＹｅｓ）、Ｓ６０３で、両手で原稿を押さえているかどうかを判断する。両手で原稿を押さえているかどうかは、図７のように、書画台２０４上で左手の最もｘ軸の座標が大きい指の位置７０１と、右手の最もｘ軸の座標が小さい位置７０２の間に、ＲＧＢ画像を用いて背景と差分のある画像があれば原稿があり、両手で原稿を押さえていると判断する。両手で原稿を押さえているかどうかは、例えば、ＲＧＢ画像を用いて両手の間に特徴点があるかないかで判断しても良いし、距離画像を用いて両手の間に厚みのあるものがあるかないかで判断しても良い。

Ｓ６０４では読み取り指示のためのスキャンボタンの表示位置を計算する。表示位置としては、図８のように右手の最もｘ軸の座標が小さい位置８０１からｙ軸の座標を５ｍｍ減算した位置がスキャンボタンの右上の頂点になるように計算する。スキャンボタンのサイズは、縦２０ｍｍ、横４０ｍｍとする。スキャンボタンの表示位置が決定したら、Ｓ６０５では投影部２０７からスキャンボタンを表示する。

次に、Ｓ６０６では表示したスキャンボタンに対して、原稿の上方に一定の距離を設定して閾値とし、閾値を用いたタッチ検出の認識方法から、２次元座標で指先がスキャンボタンの内部に入ったかどうかでタッチ検出をする認識方法に切り替え制御する。具体的には、スキャンボタンの左上の２次元座標８０２を（ｘ１，ｙ１）、右下の２次元座標８０３を（ｘ２，ｙ２）とし、指先８０１の２次元座標を（ｘ，ｙ）とすると、
ｘ１＜ｘ＜ｘ２式（１）
ｙ２＜ｙ＜ｙ１式（２）
が同時に成り立つかどうかを判定する（Ｓ６０７）。
Ｓ６０７が成り立つと手指認識部４０９が判断した場合（Ｓ６０７がｙｅｓ）、Ｓ６０８で投影部２０７はスキャンボタンを消去し、Ｓ６０９で画像取得部２０２が原稿を含む読み取り領域２０５内の画像を読み取る。

以上説明したように、本実施形態によれば、本の両端を両手で押さえて読み取るときに、スキャンボタンへのタッチを検出させるために、指を閾値に対して行き来させなくても、指を移動させるだけの容易な操作でタッチ検出することができる。
本実施形態では、スキャンボタンのみを表示させる例について説明したが、本発明はこれに限定するものではない。複数のボタンを表示させる場合は、右手と左手の指先の近傍に表示しても良い。

また、本例では、スキャンボタンを指に重ならない位置に表示させる例について説明したが、図９のように指に重なる位置に表示させても良い。その場合は、２次元座標がすでにスキャンボタンに入っているので、指先の２次元座標がスキャンボタンに入っているかどうかでタッチ判定を行わない。タッチの判定は、指先が一度動いてから静止したかどうかで行っても良い。

また、本例では、本を押さえている手のみでタッチ検出の判定方法を切り替えている。しかし、それ以外の手が入ってきたときには、その手に対しては通常の閾値を用いたタッチ検出の判定方法を用い、本を押さえている手についてはタッチ検出の判定方法を切り替えても良い。

〔第２実施形態〕

上述の実施形態では、スキャンボタンの表示位置に指先を移動させることで原稿の読み取りを行ったが、その状態では原稿の読み取りたい内容が指先で隠れてしまう可能性がある。そこで、指先が元の位置に戻ったら読み取りを開始するように処理を追加する。

図１０は、本実施形態を示す画像処理装置の制御方法を説明するフローチャートである。本例は、原稿読み取りの処理例である。なお、各ステップのうち、図６のフローチャートと同じステップについては、同じ符号を付与し、説明は割愛する。
図１０では、Ｓ６０３までは図６に示した各ステップと同じである。次に、Ｓ１００１で、指先の位置をＲＡＭ３０３に記憶しておく。次に、Ｓ６０４からＳ６０８まで、図６と同じ処理を行う。以下、第１の認識処理において、特定の操作ボタンが指示された位置から操作者の指先が移動する位置と、操作指示がなされた後に移動した位置との距離が所定値を超えているかどうかを検知する。そして、操作指示がなされた後に移動した位置との距離が所定値を超えていることを検知した場合、操作者に指先が原稿面にあることを通知する。

次に、Ｓ１００２で指先が元の位置に戻ったかどうかを判定する。具体的には、現在の指先の位置と、Ｓ１００１でＲＡＭ３０３に記憶していた指先の位置の距離を比較する。距離がある閾値（例えば２ｍｍ）以内であれば（Ｓ１００２でｙｅｓ）、Ｓ６０９に進み、画像を読み取る。
以上説明したように、本実施形態によれば、指が元の位置に戻ってから画像を読み取るので、スキャンボタンをタッチするために移動した指が原稿を隠してしまうことがない。

本例では、指先が元の位置に戻るまで待つ例について説明したが、本発明はこれに限定するものではない。指先が元の位置に戻らずに一定の時間が経過したら、元の位置に戻すように、メッセージを通知または表示させることも可能である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステムまたは装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えばＡＳＩＣ）によっても実現可能である。

１０１ 画像処理装置
２０１ コントローラ部
２０８ 距離画像取得部
２０５ 読み取り領域
３０２ ＣＰＵ
３６１ 赤外線パターン投射部
３６２ 赤外線カメラ
３６３ ＲＧＢカメラ
４０９ 手指認識部
４１１ 画像処理部

Claims (7)

1. 距離画像を取得する取得手段と、
   載置された原稿の画像を読み取る読取手段と、
   前記原稿が載置された原稿台上に操作ボタンを投影する投影手段と、
   投影された操作ボタンと前記取得手段が取得する前記距離画像から特定される操作者の指先との距離が所定値を下回ることを検出することにより前記操作ボタンに対する指示を認識する第１の認識手段と、
   前記取得手段が取得する前記距離画像から特定される操作者の指先が指示している位置を検出することにより前記操作者が投影された前記操作ボタンに対する指示を認識する第２の認識手段と、
   前記載置された原稿を操作者が両手で押さえている状態であるかどうかを前記取得手段が取得する距離画像の変化に基づいて判断する判断手段と、
   前記載置された原稿を操作者が両手で押さえている状態でないと判断した場合、前記第１の認識手段により前記操作ボタンに対する指示を認識させ、前記載置された原稿を操作者が両手で押さえている状態であると判断した場合、前記第２の認識手段により前記操作ボタンに対する指示を認識させるように認識処理を切替え制御する制御手段と、
   を備えることを特徴とする画像処理装置。
2. 特定の操作ボタンが指示された位置から操作者の指先が移動する位置と、操作指示がなされた後に移動した位置との距離が所定値を超えているかどうかを検知手段と、
   操作指示がなされた後に移動した位置との距離が所定値を超えていることを検知した場合、操作者に指先が原稿面にあることを通知する通知手段と、
   を備えることを特徴とする請求項１記載の画像処理装置。
3. 前記原稿は、見開きのブック原稿であることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記投影手段は、前記両手のうち、いずれか一方に近接するように操作ボタンを投影することを請求項１または２に記載の画像処理装置。
5. 前記投影手段は、前記両手に近接するように複数の操作ボタンを割当てて投影することを請求項１または２に記載の画像処理装置。
6. 原稿の画像を読み取る読取手段を備える画像処理装置であって、
   距離画像を取得する取得工程と、
   前記原稿が載置された原稿台上に操作ボタンを投影する投影工程と、
   投影された操作ボタンと前記取得手段が取得する前記距離画像から特定される操作者の指先との距離が所定値を下回ることを検出することにより前記操作ボタンに対する指示を認識する第１の認識工程と、
   前記取得工程が取得する前記距離画像から特定される操作者の指先が指示している位置を検出することにより前記操作者が投影された前記操作ボタンに対する指示を認識する第２の認識工程と、
   前記載置された原稿を操作者が両手で押さえている状態であるかどうかを前記取得工程が取得する距離画像の変化に基づいて判断する判断工程と、
   前記載置された原稿を操作者が両手で押さえている状態でないと判断した場合、前記第１の認識工程により前記操作ボタンに対する指示を認識させ、前記載置された原稿を操作者が両手で押さえている状態であると判断した場合、前記第２の認識工程により前記操作ボタンに対する指示を認識させるように認識処理を切替え制御する制御工程と、
   を備えることを特徴とする画像処理装置の制御方法。
7. 請求項６に記載の画像処理装置の制御方法をコンピュータに実行させることを特徴とするプログラム。

Images