JP2007042050A - 情報処理装置、情報処理の制御方法及びプログラム - Google Patents

Abstract

【課題】 入力したコマンドの処理対象の指定を容易に行うことができる情報処理装置を提供する。
【解決手段】 手書入力手段によって入力された手書きデータを手書きコマンドとして解釈（Ｓ４０２）し、解釈されたコマンドの入力位置に対応するデータの少なくとも一部を、前記手書コマンドの処理対象として特定(Ｓ４０４)する。
【選択図】 図４

Description

本発明は、手書き入力手段によって入力されたデータを処理する情報処理装置及びその方法、プログラムに関する。

従来、デジタイザ付きのＰＣ、ＰＤＡ、大画面ディスプレイ等、手書き入力手段を備えた情報処理装置においては、キーボードやマウスを用いたＧＵＩ操作以外に、日頃慣れ親しんだペンによる手書き入力手段を備えたＧＵＩが用いられている。具体的には手書き入力によるコマンド実行の指示操作が実現されており、手書き入力手段を生かした操作性の向上が図られている。

例えば特許文献１には、表示データをペンを用いて表示データを丸で囲み、編集コマンドを入力し、登録済みの編集コマンドの場合にはコマンドを実行し、未登録の場合には新規に登録するものがある。
特登録０３３８８４５１号公報

しかしながら、特許文献１ではコマンドの対象を範囲指定する必要がある為、操作性を低下させていた。また複数のコマンドを組み合わせて実行させる方法については考慮されていなかった。また誤ってコマンドとして認識された場合や認識されなかった場合についても考慮されていなかった。またコマンド実行結果の表示先指定方法についても考慮されていなかった。

本発明は上記問題に鑑みてなされたものであり、コマンドの対象を範囲指定することなく特定して実行可能とすることを目的とする。また複数のコマンドを組み合わせて実行可能とすることを目的とする。また誤ってコマンドとして認識された場合や認識されなかった場合であっても適切に操作可能とすることを目的とする。またコマンド実行結果の表示先を指定可能とすることを目的とする。また属性付与対象を範囲指定することなく特定して実行可能とすることを目的とする。また付与属性に重み付け可能とすることを目的とする。またスキャン原稿中の属性付与対象を指定した処理を指示可能とすることを目的とする。

上記目的を達成するために、本発明の請求項１に記載の情報処理装置は、手書入力手段によって入力された手書きデータを手書きコマンドとして解釈する手書きコマンド解釈手段と、前記手書コマンド解釈手段によって解釈されたコマンドの入力位置に対応するデータの少なくとも一部を、前記手書コマンドの処理対象として特定する対象特定手段と、を備えることを特徴とする。また、本発明の請求項２２に記載の情報処理装置の制御方法は、手書入力手段によって入力された手書きデータを手書きコマンドとして解釈する手書きコマンド解釈工程と、前記手書コマンド解釈手段によって解釈されたコマンドの入力位置に対応するデータの少なくとも一部を、前記手書コマンドの処理対象として特定する対象特定工程と、を備えることを特徴とする。

また、本発明の請求項２３に記載のプログラムは、コンピュータによって実行するプログラムであって、手書入力手段によって入力された手書きデータを手書きコマンドとして解釈する手書きコマンド解釈工程と、前記手書コマンド解釈手段によって解釈されたコマンドの入力位置に対応するデータの少なくとも一部を、前記手書コマンドの処理対象として特定する対象特定工程と、を備える情報処理の制御方法を実行することを特徴とする。

本発明によれば、コマンドの対象を範囲指定することなく特定して実行可能とするので操作性が向上する。

以下、図面を参照して本発明の好適な実施形態を詳細に説明する。尚、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また、本実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

図１は本実施の形態に係る情報処理装置のハードウェア構成を示すブロック図である。同図において、１はデータを入力するための入力部である。２はＣＰＵであり、各種処理のための演算、論理判断等を行い、バス６に接続された各構成要素を制御する。３はデータを出力する出力部である。出力部３としては、後述するＬＣＤやＣＲＴ等のディスプレイや、プリンタ等の記録装置がある。４はプログラムメモリであり、後述するフローチャートの処理手順を含むＣＰＵ２による制御のためのプログラムを格納するメモリである。プログラムメモリ４は、ＲＯＭであってもよいし、外部記憶装置等からプログラムがロードされるＲＡＭであってもよい。５はデータメモリであり、各種処理で生じたデータを格納する。データメモリ５は、例えば、ＲＡＭとするが、不揮発な外部記憶媒体から、処理に先立ってロードしておく、あるいは必要があるごとに参照するものとする。６はＣＰＵ２の制御の対象とする各構成要素を指示するアドレス信号、各構成要素を制御するためのコントロール信号、各構成要素間で相互にやりとりされるデータの転送を行うためのバスである。

図３は本実施の形態に係る情報処理装置の機能ブロック図である。各機能は、プログラムメモリ４に記憶されたプログラムと、ＣＰＵ２の協働によって実現される。図中の各機能は、後述の実施形態において、全てが必須機能とは限らず、また、図示したもの以外の機能を有しても構わない。

図３に示すように、大きくは本実施の形態における情報処理装置は以下のａ〜ｃおよび検索キー特定ルール指定手段３０８の機能構成からなる。

手書き入力解釈手段ａは、操作者によるストローク入力を受付ける手書き入力手段３０１、入力を解釈する手書きコマンド解釈手段３０２、手書き検索コマンド３０３、ペン種別判別手段３０４、付帯入力データ解釈手段３０５を有する。更に、手書きコマンドが示す検索キーを特定する検索キー特定手段３０６、描画領域算出手段３０９、近傍しきい値決定手段３１０、手書文字認識手段３１１、特定された検索キーを明示する検索キー明示手段３１２を有する。また、手書きコマンドとして解釈されなかった場合に認識結果文字列を取得する手書き文字認識手段３１３、検索キー変更手段３１４、複数の検索キーが特定された場合にそれぞれを重み付けする検索キー重み付け手段３１５、描画領域算出手段３１６を有する。また、手書検索コマンド相対比検出手段３１７、新たに特定された検索キーを追加する検索キー追加手段３１８、検索手段３１９、検索キー組み合わせ手段３２０を有する。また、検索結果の表示先を指定する手書き表示先指定コマンド解釈手段３２１、検索結果表示手段３２２等を有する。

検索コマンド消去同期手段ｂは、操作者による消去指示を受付ける消去指示手段３２３、対応する検索コマンドを消去する手書き検索コマンド消去手段３２４を有する。更に、対応する検索キーを検索条件から削除する検索キー除外手段３２５、除外の結果検索キーが１つも残らなかった場合に検索を中止する検索中止手段２３６を有する。

認識候補変更手段ｃは、認識候補を表示し、操作者による変更指示を受付ける認識候補表示手段３２７、変更指示の結果検索コマンドが選択された場合に強制的に検索キーを特定する検索キー強制特定手段３２８を有する。更に、検索コマンド以外が選択された場合に対応する検索キーを検索条件から削除する検索キー除外手段３２９、近傍しきい値拡大手段３３０、検索中止手段３３１、特定された検索キーを明示する検索キー明示手段３３２、検索手段３３３等を有する。

（第１の実施形態）
図２〜１８を用いて、本発明の第１の実施形態である、表示中のデータの近傍で入力された手書き検索コマンドを解釈して検索キーを特定し、検索を行う例について説明する。また特定された検索キーを明示し、誤っている場合に変更指示を受付ける例について説明する。また特定されたストロークデータを認識し、文字列として検索する例について説明する。

図２は、第１の実施形態のディスプレイに表示された表示画面の一例を示した図である。手書きストローク２４、２５と画像２６は、同図における表示画面の描画オブジェクトである。２１、２２、２３は、これら描画オブジェクトに対する手書き検索コマンドであり、２７、２８、２９、２ａは、これらの指示における検索結果である。各検索結果は適合度の高いものから順に左から整列されており、更に適合する手書き検索コマンドに関連付けられ、更に個々の検索結果についても関連付けられている。

図４は本実施形態における手書入力解釈手段ａによる、手書き入力解釈処理のフローを示す図である。図において、Ｓ４０１の手書き入力処理により操作者によるストローク入力を受付け、続くＳ４０２の手書きコマンド解釈処理により入力ストロークを手書きコマンドとして解釈する。その結果Ｓ４０３で手書き検索コマンドとして判断された場合、Ｓ４０４の検索キー特定処理により該手書き検索コマンドに対応する検索キーが特定される。Ｓ４０５で検索キーの特定成功と判断された場合、Ｓ４０６の検索キー明示処理により特定された検索キーが明示され、必要であれば検索キーの変更を受付け、続くＳ４０８の検索処理により検索が行われる。続くＳ４０９の手書き表示先指定コマンド解釈処理では、該手書き検索コマンドに連続して入力された手書き表示先指定コマンドが解釈され、次のＳ４１０の検索結果表示処理により指定に従って表示され、処理を終了する。一方、Ｓ４０３で手書き検索コマンドとして判断されなかった場合や、Ｓ４０５で検索キーの特定成功と判断されなかった場合には、手書き文字認識処理により入力ストロークを文字として認識して処理を終了する（Ｓ４０７）。

図５は本実施形態における手書き検索コマンドの例を示す図である。図において、文字列オブジェクト”計画”５１の近傍で、手書き検索コマンド５２が手書き入力されている様子が示されている。

図６は手書きコマンド解釈手段３０２で参照される手書きコマンドの一覧情報を格納した手書きコマンドデータベースの一例を示す図である。各手書きコマンドは入力ストロークとの一致を判断するだめのストロークデータと、コマンド種類、更に後述する表示先指定操作を伴う可能性があるかどうかが指定されている。例えば手書きコマンド６１にはストロークデータの他に”削除”コマンドの指定と表示先指定無しの定義がされており、手書きコマンド６２にはストロークデータの他に”検索”コマンドの指定と表示先指定有りの定義がされている。また、手書コマンド６３には”コピー”コマンドの指定と表示先指定無しの定義がされている。

図７は本実施形態における手書きコマンド解釈手段３０２による手書きコマンド解釈処理のフローを示す図である。図において、Ｓ７０１で処理対象コマンドを手書きコマンド一覧先頭にして初期化をする。Ｓ７０２で対象コマンドが有効と判断された場合、Ｓ７０３のストローク一致判定処理により操作者によって入力された手書きストロークと、対象コマンドのストロークデータの一致が判定される。判定の結果、Ｓ７０４で一致していると判断された場合、該コマンドを戻り値として処理を終了する。Ｓ７０４で一致していると判断されなかった場合、Ｓ７０５で対象コマンドを進め、Ｓ７０２の処理に戻る。Ｓ７０２で対象コマンドが無効と判断された場合、入力ストロークに対応する手書きコマンドが無いものとして処理を終了する。

図８は本実施形態における検索キー特定領域の例を示す図である。図８において、文字列オブジェクト”テーマ検討会”８５、”計画”８６、図形オブジェクト８７が表示されており、更に文字列オブジェクト８６の近傍で手書き検索コマンド８１が手書き入力されている様子が示されている。また後述する検索キー特定ルールに対応した手書き検索コマンド描画領域内８２、左上近傍８３、近傍８４の各領域が図示されている。そして、文字列オブジェクト８６と手書き検索コマンド描画領域内８２、左上近傍８３の各領域が重なっていることが示されている。

図９は後述する検索キー特定手段３０６により参照される検索キー特定ルールの一例を示す図である。図において、優先度９１は（１）手書き検索コマンド描画領域内、（２）左上近傍、（３）近傍の順に定義され、近傍比は手書き検索コマンド描画領域の３倍と定義され、重み比は手書き検索コマンド描画領域比の１倍と定義されている。

図１０は本実施形態における検索キー特定手段３０６による検索キー特定処理のフローを示す図である。描画領域算出手段３０９は、Ｓ１００１で、描画領域算出処理により手書き検索コマンドの描画領域を求める。Ｓ１００２で近傍しきい値決定手段３１０は、後述する処理で用いられる近傍しきい値を該手書き検索コマンド描画領域の値から決定する。Ｓ１００３で処理対象ルールを検索キー特定ルールで定義された優先度順の先頭で初期化する。Ｓ１００４で対象ルールが有効な場合、Ｓ１００５で領域内オブジェクト抽出処理により該近傍しきい値で決定される特定対象領域内に重なるオブジェクトを抽出する。Ｓ１００６で抽出成功と判断された場合、Ｓ１００８で抽出されたオブジェクトが手書きストロークかどうか判断する。手書きストロークの場合は、Ｓ１００９の手書き文字認識処理により文字認識を行った結果を検索キーとして処理を終了する。Ｓ１００６で抽出成功と判断されなかった場合、Ｓ１００７で対象ルールを進め、Ｓ１００４に戻って処理を繰り返す。Ｓ１００４で対象ルールが終了と判断された場合、特定領域内に検索キーが無いものとして処理を終了する。

図１１は本実施形態における描画領域算出手段３０９による描画領域算出処理のフローを示す図である。Ｓ１１０１で描画領域の座標を初期化し、Ｓ１１０２で対象ポイントをストローク列先頭ポイントに初期化し、Ｓ１１０３で対象が無効となるまで以下の処理を繰り返す。Ｓ１１０３で対象が有効と判断された場合、Ｓ１１０４からＳ１１１１の処理で描画領域の座標を更新し、ステップＳ１１１２で対象を進め、Ｓ１１０３に戻って処理を繰り返す。

図１２は本実施形態における近傍しきい値決定手段３１０による近傍しきい値決定処理のフローを示す図である。Ｓ１２０１で近傍比を検索キー特定ルールで定義された近傍比に初期化し、Ｓ１２０２で幅差と高差を（近傍比−１）で掛けた値で決定する。Ｓ１２０３で該幅差と該高差を基に近傍しきい値を決定し、処理を終了する。

図１３は本実施形態における図８の検索キー特定領域の例で説明した各描画オブジェクトのリストを示す図である。１３１〜１３３はオブジェクトである。同図において、各オブジェクトは始点終点の座標を持っている。例えばオブジェクト“計画”１３２は始点（５０，１５０）、終点（２００，２３０）の座標を持っている。

図１４は本実施形態における領域内オブジェクト抽出処理のフローを示す図である。Ｓ１４０１で対象を全オブジェクトリスト先頭に初期化し、対象が無効となるまで以下の処理を繰り返す。Ｓ１４０２で対象が有効と判断された場合、Ｓ１４０３の領域判定処理により対象オブジェクトが判定領域と重なるどうか判断し、続くステップＳ１４０４で重なると判断された場合、対象オブジェクトを返して処理を終了する。Ｓ１４０４で重なると判断されなかった場合、Ｓ１４０５で対象を進めて、再びＳ１４０２に戻って処理を繰り返す。

図１５は本実施形態における明示された検索キーの一例を示す図である。１５１は手書検索コマンド、１５２、１５３は文字列オブジェクト、１５４は図形オブジェクト、１５５は検索キー明示領域、１５６は検索キー変更ドラックポイントである。同図において、検索コマンド１５１により特定された検索キー１５２が、背景色の反転１５５により明示されていることが示されている。また検索キーの変更に必要なドラッグポイント１５６が同時に表示され、変更指示操作を可能としている。

図１６は本実施形態における検索キー明示手段３１２による検索キー明示処理のフローを示す図である。Ｓ１６０１の描画領域算出処理により検索キーの描画領域が算出され、Ｓ１６０２の領域明示処理により算出された領域の背景色を反転させることで検索キーを明示する。更に続くＳ１６０３の変更点明示処理により検索キー描画領域の四隅にドラッグポイントを明示し、続くＳ１６０４の検索キー変更処理により該ドラッグポイントを指示した変更操作に対応し、処理を終了する。

図１７は本実施形態における検索キー変更手段３１４による検索キー変更処理のフローを示す図である。Ｓ１７０１の変更点Ｄｒａｇ処理により、該ドラッグポイントを指示した変更操作を受付け、続くＳ１７０２の検索キー確定処理により変更内容に対応する検索キーを確定し、処理を終了する。

図１８は本実施形態における手書きストロークを検索キーとした検索指示操作を行っている一例を示す図である。検索コマンド１８２により特定された検索キーが手書きストロークの為、図１０で示した検索キー特定手段のＳ１００９の手書き文字認識処理により認識され、文字列「計画」を検索キーとして前述の処理が実行される。

以上説明したように、本発明の本実施形態は、コマンドの対象を範囲指定することなく特定して実行可能とし、特に検索キーを範囲指定することなく特定して検索可能とするので操作性が向上する。また、コマンドの対象を範囲指定することなく更に優先度を持ったルールに従って特定して実行可能とする。また、コマンドの対象の特定範囲を手書き検索コマンドの大きさで指定可能とする。また、コマンドの対象として特定された表示中のデータを明示できる。また、コマンドの対象として誤って特定された表示中のデータ範囲を変更できる。また、コマンドの対象として特定された表示中のストロークデータを文字列として検索キーに使用できる。また、手書き文字入力と手書き検索コマンド入力を併用可能とする。

（第２の実施形態）
第２の実施形態では図１９〜２８を用いて、表示中のデータの近傍で入力された複数の手書き検索コマンドを解釈して検索キーを特定し、検索を行う例について説明する。また入力された手書き検索コマンドの大きさにより複数検索キーの重み付けを変化させる例についても説明する。また入力された手書き検索コマンドと対応する検索キーの大きさの比率により複数検索キーの重み付けを変化させる例についても説明する。また検索コマンドを消去することで対応する検索キーを検索条件から除外、あるいは検索を中止する例についても説明する。

図１９は本実施形態における手書入力解釈手段ａによる手書き入力解釈処理のフローを示す図である。Ｓ１９０１の手書き入力処理により操作者によるストローク入力を受付け、Ｓ１９０２の手書きコマンド解釈処理により入力ストロークを手書きコマンドとして解釈する。Ｓ１９０３で解釈結果が手書き検索コマンドとして判断された場合、Ｓ１９０４の検索キー特定処理により該手書き検索コマンドに対応する検索キーを特定する。その結果Ｓ１９０５で検索キーが特定成功と判断された場合、Ｓ１９０６の検索キー明示処理により特定された検索キーを明示し、必要であれば検索キーの変更を受付ける。続くＳ１９０８の検索キー重み付け処理により各検索キーの重み付けを決定し、Ｓ１９０９の検索キー追加処理により該検索キーを検索条件に追加し、続くステップＳ１９１０の検索処理により検索を行う。Ｓ１９１１の手書き表示先指定コマンド解釈処理では該手書き検索コマンドに連続して入力された手書き表示先指定コマンドを解釈し、次のステップＳ１９１２の検索結果表示処理により指定に従って表示し、処理を終了する。一方、Ｓ１９０３で手書き検索コマンドとして判断されなかった場合や、Ｓ１９０５で検索キーの特定成功と判断されなかった場合には、Ｓ１９０７の手書き文字認識処理により入力ストロークを文字として認識して処理を終了する。

図２０は本実施形態における手書き検索コマンドを複数入力した例を示す図である。同図では手書きストロークオブジェクト２０４，２０５、画像オブジェクト２０６の近傍で、手書き検索コマンド２０１，２０２，２０３が手書き入力されている様子を示す。

図２１は本実施形態における図２０の各手書き検索コマンドの描画領域サイズ及びサイズ比の一覧を示す図である。例えば同図の一覧２１２では手書き検索コマンドＩＤ＝２０２、描画領域サイズが５０×４０＝２０００、最小描画領域２１３に比較したサイズ比が２０であることが示されている。

図２２は本実施形態における検索キー重み付け手段３１５による検索キー重み付け処理のフローを示す図である。Ｓ２２０１で、描画領域算出手段３１６は検索コマンド描画領域算出処理により図２１で説明した描画領域サイズを算出する。Ｓ２２０２で最小領域検索コマンド特定処理により図２１で説明した各検索コマンドの中で最小の描画領域を持つものを特定する。続くＳ２２０３の描画領域比算出処理により図２１で説明した最小描画領域に比較したサイズ比が求められる。Ｓ２２０４で処理対象が検索コマンドリストの先頭に初期化され、Ｓ２２０５で対象が無効となるまで以下の処理が繰り返される。Ｓ２２０５で対象が有効と判断された場合、ステップＳ２２０６で対応する検索キーに対する重み付けを［１＋（描画領域比−１）×検索キー特定ルール重み比］として決定する。Ｓ２２０７で対象が進められ、再びステップＳ２２０５に戻って処理が繰り返される。

図２３は本実施形態における前述の検索キー重み付け処理により決定された検索キーの重み付けの一例を示す図である。例えば同図の一覧２３１では検索キーＩＤ＝２０４が重み付け４に決定されていることが示されている。また、２３２、２３３はそれぞれ検索キーＩＤ＝２０５、２０６で、重み付け２０、１に決定されている事が示されている。

図２４は本実施形態における各手書き検索コマンドの描画領域サイズ、対応する検索キーの描画領域サイズ、検索キーに対する検索コマンドの描画領域サイズの比率及び該比率の比の一覧を示す図である。例えば同図の一覧２４２では手書き検索コマンドＩＤ＝２０２、描画領域サイズが５０×４０＝２０００で、手書き検索キーＩＤ＝２０５、描画領域サイズが３０×１００＝３０００である。また、検索キーに対する検索コマンドの描画領域サイズ比率が０．６７で、最小の描画領域サイズ比率である２４３に対する比が１１．２であることが示されている。

図２５は本実施形態における検索キーに対する検索コマンドの描画領域サイズ比率を用いた検索キー重み付け処理のフローを示す図である。Ｓ２５０１で、検索キーに対する検索コマンドの描画領域サイズ比率算出処理により、図２４で説明した検索キーに対する検索コマンドの描画領域サイズ比率を算出する。Ｓ２５０２の最小検索キーに対する検索コマンドの描画領域サイズ比率特定処理により図２４で説明した各検索コマンドの中で最小の検索キーに対する検索コマンドの描画領域サイズ比率を持つものを特定する。Ｓ２５０３で検索キーに対する検索コマンドの描画領域サイズ比率比算出処理により図２４で説明した最小の描画領域サイズ比率に対する比を求める。Ｓ２５０４で処理対象が検索コマンドリストの先頭で初期化され、Ｓ２５０５で対象が無効となるまで以下の処理が繰り返される。Ｓ２５０５で対象が有効と判断された場合、Ｓ２５０６で対応する検索キーに対する重み付けを［１＋（検索キーに対する検索コマンドの描画領域サイズ比率比−１）×検索キー特定ルール重み比］で決定する。Ｓ２５０７で対象が進められ、再びステップＳ２５０５に戻って処理が繰り返される。

図２６は本実施形態において入力された複数の手書き検索コマンドから１つを削除した例を示す図である。同図では手書きストロークオブジェクト２６４，２６５、画像オブジェクト２６６の近傍に入力された、手書き検索コマンド２６１，２６２，２６３から手書き検索コマンド２６１を削除する様子である。

図２７は本実施形態における検索コマンド消去同期手段ｂによる検索コマンド消去同期処理のフローを示す図である。Ｓ２７０１で消去指示処理によりユーザによる手書き検索コマンドの消去指示を受付ける。Ｓ２７０２で手書検索コマンド消去手段３２４は、手書き検索コマンド消去処理により指示された手書き検索コマンドを消去する。Ｓ２７０３で、検索キー除外手段３２５は、消去された手書き検索コマンドに対応する検索キーを検索条件から除外する。Ｓ２７０４で、検索条件に検索キーが残っているかどうか判断し、検索キーがあると判断された場合、ステップＳ２７０５の検索処理で残りの検索条件で検索を行い、ＳＳ２７０６の検索結果表示処理により検索結果を表示して処理を終了する。Ｓ２７０４で検索キーがあると判断されなかった場合、Ｓ２７０７で、検索中止手段３２６は、検索中止処理により検索を中止して処理を終了する。

図２８は本実施形態における前述の検索コマンド消去同期処理により検索キーが除外された一例を示す図である。図２３の２３１〜２３３と比較してＩＤ＝２０４の検索キーが除外された２８１と２８２が示されている。

以上説明したように、本発明の本実施形態は、複数の手書き検索コマンドの対象を範囲指定することなく特定し、各々の検索キーを組み合わせて検索を実行可能とするので、利便性が向上する。また、各々の検索キーの重み付けを手書き検索コマンドの大きさで指定可能とする。また、各々の検索キーの重み付けを手書き検索コマンドと検索キーの相対的な大きさで指定可能とする。また、検索の中止を手書き検索コマンドの消去によって指示可能とする。また、各々の検索キーの組み合わせから任意の検索キーの除外を手書き検索コマンドの消去によって指示可能とする。

（第３の実施形態）
本実施形態では図２９〜３３を用いて、表示中のデータの近傍で入力された複数の手書き検索コマンドを異なる組み合わせの検索指示と解釈して検索キーを特定し、検索を行う例について説明する。

図２９は本実施形態における手書き検索コマンドを複数入力した例を示す図である。同図では手書きストロークオブジェクト２９４，２９５、画像オブジェクト２９６の近傍で、手書き検索コマンド２９１，２９２，２９３が手書き入力されている様子が示されている。また手書き検索コマンド２９１，２９２はペン色＝赤で描画され、手書き検索コマンド２９３はペン色＝緑で描画されている。

図３０は本実施形態における検索キーの一例を示す図であり、２つの検索条件が示されている。同図において３００１、３００２は、ペン色＝赤で入力された手書き検索コマンドに対応し、検索キーＩＤ＝２９４，２９５である。３００３は、ペン色＝緑で入力された手書き検索コマンドに対応し、検索キーＩＤ＝２９６である。３００１、３００２と、３００３は、それぞれ異なる検索条件１、２として認識されている。

図３１は本実施形態における手書き検索コマンドを複数入力した別の例を示す図である。同図では手書きストロークオブジェクト３１４，３１５、画像オブジェクト３１６の近傍で、手書き検索コマンド３１１，３１２，３１３が手書き入力されている様子が示されている。また手書き検索コマンド３１１，３１２の近傍には数字“１”が描画され、手書き検索コマンド３１３の近傍には数字“２”が描画されている。

図３２は本実施形態における手書コマンド解釈手段３０２による手書きコマンド解釈処理のフローを示す図である。Ｓ３２０１で処理対象コマンドを手書きコマンド一覧先頭で初期化し、Ｓ３２０２で対象コマンドが有効と判断される間処理を繰り返す。Ｓ３２０２で対象コマンドが有効と判断された場合、Ｓ３２０３のストローク一致判定処理において、操作者により入力された手書きストロークと、対象コマンドのストロークデータの一致が判定される。Ｓ３２０４で一致していると判断された場合、Ｓ３２０６の手書き検索コマンド判別処理により入力された手書き検索コマンドがどの検索条件に含まれるか判別し該検索条件に追加して、該コマンドを戻り値として処理を終了する。Ｓ３２０４で一致していると判断されなかった場合、Ｓ３２０５で対象コマンドを進め、Ｓ３２０２に戻って処理を繰り返す。Ｓ３２０２で対象コマンドが終了と判断された場合、入力ストロークに対応する手書きコマンドが無いものとして処理を終了する。

図３３は本実施形態における手書検索コマンド判別手段３０３による手書き検索コマンド判別処理のフローを示す図である。Ｓ３３０１のペン種別判別処理により手書き検索コマンドを入力したペン種別を判別する。Ｓ３３０２で、同一ペン種別取得処理により該ペン種別と同一のペン種別で入力された手書き検索コマンドに対応する検索キーを含む検索条件を取得する。その結果、Ｓ３３０３で取得成功と判断されなかった場合、Ｓ３３０８の新規検索条件作成処理により該手書き検索コマンドに対応する検索キーを持った検索条件を新規に作成して処理を終了する。Ｓ３３０３で取得成功と判断された場合、続くステップＳ３３０４の付帯入力データ解釈処理により手書き検索コマンドに続けて入力された付帯データを解釈する。続いて、Ｓ３３０５の同一付帯入力データ取得処理により該付帯データと同一の付帯データが入力された手書き検索コマンドに対応する検索キーを含む検索条件を取得する。その結果、Ｓ３３０６で取得成功と判断された場合には該検索条件に該手書き検索コマンドに対応する検索キーを追加する。取得成功と判断されなかった場合にはＳ３３０８の新規検索条件作成処理により該手書き検索コマンドに対応する検索キーを持った検索条件を新規に作成して処理を終了する。

以上のように本実施形態では、異なる検索指示を手書き検索コマンドを描き分けることで指示可能とするので利便性が向上する。また、異なる検索指示を手書き検索コマンドのペン種別を切替えることで指示可能とする。また、異なる検索指示を手書き検索コマンドに付帯データを描き足すことで指示可能とする。

（第４の実施形態）
第４の本実施形態では図３４〜３５を用いて、検索キー特定ルールを指定する例について説明する。

図３４は本実施形態における検索キー特定ルール指定画面の例を示す図である。同図では検索キー特定の優先順３４２、近傍領域の範囲を示す近傍比３４３、検索キーの重み付け比率を示す重み比３４４が指定可能な様子を示す。例えば同図では「手書き検索コマンド描画領域内」、「左上近傍」、「近傍」で優先順が指定され、手書きコマンド描画領域の「３」倍が近傍比として指定され、手書きコマンド描画領域比の「１」倍が重み比として指定されている。

図３５は本実施形態における検索キー特定ルール指定手段３０８による検索キー特定ルール指定処理のフローを示す図である。Ｓ３５０１の検索キー特定ルール表示処理により現状のルールを図３４のように表示する。続いてＳ３５０２のルール変更指示処理によりユーザの変更指示を受付ける。その結果、Ｓ３５０３で優先順指定操作と判断された場合、Ｓ３５０４の優先順変更処理により優先順を変更し、再びＳ３５０２に戻って処理を繰り返す。Ｓ３５０３で近傍比指定操作と判断された場合、Ｓ３５０５の近傍比変更処理により近傍比を変更し、Ｓ３５０２に戻って処理を繰り返す。Ｓ３５０３で重み比指定操作と判断された場合、Ｓ３５０６の重み比変更処理により重み比を変更し、再びＳ３５０２に戻って処理を繰り返す。Ｓ３５０３で確定操作と判断された場合、Ｓ３５０７の特定ルール確定処理によりこれまでの変更内容を確定し処理を終了する。Ｓ３５０３で取消操作と判断された場合、これまでの変更内容を無視して処理を終了する。

以上説明したように、検索キー特定ルールをユーザによって指定可能とするので利便性が向上する。

（第５の実施形態）
本実施形態では図３６〜４０を用いて、手書き検索コマンドとして正しく認識されなかった場合に、認識候補一覧から手書き検索コマンドを選択指示して検索を実行する例について説明する。また逆に手書き検索コマンドとして誤って認識された場合に、検索を中止する例について説明する。

図３６は本実施形態における検索キー特定領域と認識結果文字と誤認識修正操作の例を示す図である。同図において、文字列オブジェクト”テーマ検討会”３６５、”計画”３６６、図形オブジェクト３６７が表示されており、更に文字列オブジェクト３６６の近傍で文字列オブジェクト３６１が入力されている様子を示す。また前述の検索キー特定ルールに対応した手書き検索コマンド描画領域内３６２、左上近傍３６３、近傍３６４の各領域を示す。各オブジェクト３６５，３６６，３６７と手書き検索コマンド描画領域内３６２、左上近傍３６３、近傍３６４のいずれ領域とも重なっていないことがわかる。これは図４で説明した手書き入力解釈処理のＳ４０５で特定成功と判断されず、Ｓ４０７の手書き文字認識処理により文字列として認識されたことを示している。これは手書き検索コマンドが入力されたにも関わらず、検索キーとして特定可能な範囲内にいずれのオブジェクトも存在しなかった為である。同図では更に誤認識された文字列オブジェクトを修正する為に認識候補一覧３６８を表示し、その中から手書き検索コマンド３６９を選択している様子が示されている。

図３７は本実施形態における認識候補変更手段ｃによる認識候補変更処理のフローを示す図である。Ｓ３７０１の認識候補表示処理によりユーザが指定した対象の認識候補を表示し選択操作を受付ける。続いてＳ３７０２の選択候補置換処理により選択された候補で置換し、続くＳ３７０３で選択された候補が検索コマンドかどうか判断する。Ｓ３７０３で検索コマンドが選択されたと判断された場合、Ｓ３７０４で検索キーが存在するかどうか判断し、存在しないと判断された場合処理を終了する。Ｓ３７０４で表示データ中に検索キーが存在すると判断された場合、Ｓ３７０５の検索キー強制特定処理により通常の近傍しきい値を超えて強制的に検索キーを特定する。続いてＳ３７０６の検索キー明示処理により特定された検索キーを明示し、必要であれば検索キーの変更を受付ける。Ｓ３７０７の検索キー重み付け処理により各検索キーの重み付けを決定し、続くＳ３７０８の検索キー追加処理により該検索キーを検索条件に追加する。続いてＳ３７０９の検索処理により検索を行って、Ｓ３７１０の検索結果表示処理により検索結果を表示して処理を終了する。Ｓ３７０３で検索コマンドと判断されなかった場合、Ｓ３７１１の検索キー除外処理により対象コマンドに対応した検索キーを検索条件から除外する。その結果Ｓ３７１２で該検索条件に検索キーがあると判断された場合にはＳ３７０７に進み、ないと判断された場合にはステップＳ３７１３の検索中止処理により検索を中止して処理を終了する。

図３８は本実施形態における誤認識修正操作の結果として検索キー特定領域を拡大している例を示す図である。同図において、文字列オブジェクト”テーマ検討会”３８５、”計画”３８６、図形オブジェクト３８７が表示されている。更に文字列オブジェクト３８６の近傍で検索コマンド３８１に誤認識結果が修正操作された様子が示されている。また前述の検索キー特定ルールに対応した手書き検索コマンド描画領域内３８２、左上近傍３８３、近傍３８４の各領域が示されている。各オブジェクト３８５，３８６，３８７と手書き検索コマンド描画領域内３８２、左上近傍３８３、近傍３８４のいずれ領域とも重なっていないことが図示されている。更に同図では手書き検索コマンドに修正操作したことに対応して強制的に検索キーを特定するために、近傍しきい値の範囲を拡大し、左上近傍３８８、近傍３８９に拡大している様子が示されている。その結果として文字列オブジェクト３８６と左上近傍３８８が重なっていることが示されている。

図３９は本実施形態における検索キー強制特定手段３２８による検索キー強制特定処理のフローを示す図である。Ｓ３９０１の描画領域算出処理により手書き検索コマンドの描画領域を求める。続いてＳ３９０２の近傍しきい値決定処理により以下の処理で用いられる近傍しきい値を該手書き検索コマンド描画領域の値から決定する。続くＳ３９０３で処理対象ルールを検索キー特定ルールで定義された優先度順の先頭に初期化し、Ｓ３９０４以下の処理を繰り返す。Ｓ３９０４で対象ルールが有効な場合、ステップＳ３９０５の領域内オブジェクト抽出処理により該近傍しきい値で決定される特定対象領域内に重なるオブジェクトを抽出する。続くＳ３９０６で抽出成功と判断された場合、Ｓ３９０９で抽出されたオブジェクトが手書きストロークかどうか判断し、手書きストロークの場合にＳ３９１０の手書き文字認識処理により文字認識を行った結果を検索キーとして処理を終了する。Ｓ３９０６で抽出成功と判断されなかった場合、Ｓ３９０７で対象ルールを進め、Ｓ３９０４に戻って処理を繰り返す。Ｓ３９０４で対象ルールが終了と判断された場合、Ｓ３９０８の近傍しきい値拡大処理により近傍しきい値を一定値だけ拡大し、Ｓ３９０３に戻って処理を繰り返す。

図４０は本実施形態において誤って認識された手書き検索コマンドを文字列として誤認識修正操作をおこなった例を示す図である。同図において、文字列オブジェクト”テーマ検討会”４０２、”計画”４０３、図形オブジェクト４０４が表示されており、更に文字列オブジェクト４０３の近傍で手書き検索コマンド４０１が入力されている様子が示されている。同図では更に誤認識された手書き検索コマンドを修正する為に認識候補一覧４０５を表示し、その中から文字“Ｚ”４０６を選択している様子が示されている。

以上説明したように、誤って手書き検索コマンドとして認識されなかった場合であっても、容易に手書き検索コマンドに指定し直すことが可能となり、操作性が向上する。また、誤って手書き検索コマンドとして認識された場合であっても、容易に文字に指定し直すことを可能とし、更に連動して検索を中止可能とする。また、誤って手書き検索コマンドとして認識された場合であっても、容易に文字に指定し直すことを可能とし、更に連動して各々の検索キーの組み合わせから任意の検索キーを除外可能とする。

（第６の実施形態）
第６の実施形態では図４１〜４３を用いて、検索結果の表示先を手書き検索コマンドに連続する手書きストロークにより指定する例について説明する。

図４１は本実施形態における手書きストロークを検索キーとした検索指示操作と同時に検索結果の表示先指定を行っている一例を示す図である。検索コマンド４１２には連続した右方向の表示先指定４１３が行われている。

図４２は本実施形態における手書き表示先指定コマンド解釈処理のフローを示す図である。同図におけるステップＳ４２０１のコマンド対応ストローク除去処理により表示先指定ストローク部分だけを残し、続くステップＳ４２０２のストローク描画方向判定処理により表示先指定ストロークの方向を判定する。

図４３は本実施形態において指定された表示先に検索結果が表示されている例を示す図である。同図では手書きストロークオブジェクト４３４，４３５、画像オブジェクト４３６の近傍で、手書き検索コマンド４３１，４３２，４３３が手書き入力されている。また手書き検索コマンド４３１には連続して表示先指定がなされており、検索結果４３７，４３８，４３９，４３０が指定された右方向に表示されている。

以上説明したように、コマンド実行結果の表示先の指定を手書き検索コマンドに連続した手書き入力操作で可能とするので利便性が向上する。

（第７の実施形態）
第７の実施形態では図４４〜４７を用いて、表示中のデータの近傍で入力された手書きポイント指示コマンドを解釈してポイントを特定し、議事録を作成する例について特徴的な差分のみ説明する。

図４４は本実施形態を用いた議事録作成の操作イメージを示した図の一例である。同図における表示画面には手書きストローク４４４，４４５と画像４４６の描画オブジェクトが表示されている。手書きポイント指示コマンド４４１，４４２，４４３の指示によって作成された議事録４４８，４４９，４４ａが時系列に表示されており、スクロールバー４４７により操作が可能である。なお同図では、該手書きポイント指示コマンドに対応して、議事録中にポイント４４ｂが対応する大きさと順序で記載されている様子が示されている。

図４５は手書きコマンド解釈手段で参照される手書きポイント指示コマンドを含む手書きコマンドの一覧情報を格納した手書きコマンドデータベースの一例を示す図である。各手書きコマンドは入力ストロークとの一致を判断するだめのストロークデータと、コマンド種類、更に表示先指定操作を伴う可能性があるかどうかが指定されている。例えば手書きコマンド４５１にはストロークデータの他に”削除”コマンドの指定と表示先指定無しの定義がされている。手書きコマンド４５２にはストロークデータの他に”検索”コマンドの指定と表示先指定有りの定義がされている。手書きコマンド４５４，４５５にはストロークデータの他に”左上ポイント””左下ポイント”コマンドの指定と表示先指定無しの定義がされている。

図４６は本実施形態におけるポイント特定領域の例を示す図である。同図において、文字列オブジェクト”テーマ検討会”４６５、”計画”４６６、図形オブジェクト４６７が表示されている。また、文字列オブジェクト４６６の近傍で手書きポイント指示コマンド４６１が手書き入力されている様子が示されている。また前述の処理対象特定ルールに対応した手書きコマンド描画領域内４６２、矢印方向近傍４６３、近傍４６４の各領域が示され、文字列オブジェクト４６６と手書きコマンド描画領域内４６２、矢印方向近傍４６３の各領域が重なっていることが示されている。

図４７は手書きコマンド処理対象特定手段により参照されるポイント特定ルールの一例を示す図である。同図において優先度４７１は１．手書きコマンド描画領域内、２．矢印方向近傍の順に定義され、近傍比は手書きコマンド描画領域の３倍と定義され、重み比は手書きコマンド描画領域比の１倍と定義されている。

前述の手書き検索コマンドを用いた実施形態に以上の特徴的な差分を加えることで、議事録作成に必要なポイントの指定を手書き操作により実現し、かつ手書きポイント指示コマンドの大きさによってポイントの重要度を同時に指定可能である。具体的には手書きコマンドデータベースで示された手書きポイント指示コマンドを解釈し、ポイント特定ルールの定義に従って処理対象が特定された後、該処理対象の重要度を考慮したポイントを明記した議事録が作成可能となる。

以上説明したように、ポイントを範囲指定することなく特定して議事録を作成可能とするので利便性が向上する。また、コマンドの対象を範囲指定することなく更に優先度を持ったルールに従って特定して実行可能とする。また、コマンドの対象の特定範囲を手書きコマンドの大きさで指定可能とする。また、複数の手書きコマンドの対象を範囲指定することなく特定し、各々の処理対象を組み合わせて議事録を作成可能とする。また、各々の処理対象の重み付けを手書きコマンドの大きさで指定可能とする。

（第８の実施形態）
第８の実施形態では図４８〜６４を用いて、スキャン原稿上に記入した手書きコマンドを解釈し、対応する位置にあるデータに属性を付与する例について説明する。また手書きコマンドの大きさに対応して属性に重み付けしてソートする例について説明する。またスキャナのコントロールパネルを用いて、属性が付与されたデータに対する表示・送信等の処理を指示する例について説明する。

図４８は本実施形態における情報処理装置イメージの一例を示す図である。同図には原稿４８０１がスキャナ４８０２でスキャンされ、ディスプレイ４８０３に表示４８０４されている様子が示されている。また該ディスプレイへの表示指示をスキャナに付属したコントロールパネル４８０５を用いて操作している様子が示されている。

図４９は本実施形態における情報処理装置のブロック図である。同図に示した原稿４９０６は原稿読取装置４９０１のスキャン手段によりスキャンされ、スキャン原稿解釈手段及び属性付与手段により原稿中の処理対象に属性付与される。そして、処理指示手段及びソート手段及び属性絞込み手段により該属性付与された処理対象に対する処理指示が行われる。一方、表示装置では送られた処理対象を表示し、ユーザによる操作を受付ける。また、送信装置では送られた処理対象を送信する。

図５０は本実施形態における情報処理装置の機能ブロック図である。各機能は、プログラムメモリ４に記憶されたプログラムと、ＣＰＵ２の協働によって実現される。図中の各機能は、後述の実施形態において、全てが必須機能とは限らず、また、図示したもの以外の機能を有しても構わない。

図５０に示すように、スキャン原稿５００７をスキャンするスキャン手段５００１と、スキャン原稿を解釈するスキャン原稿解釈手段５００２を有する。そして、処理指示手段５０１０がスキャン原稿中の処理対象に対する処理を指示する。

更に該スキャン原稿解釈手段５００２は、スキャン原稿中の手書き属性付与コマンドを抽出・解釈する手書きコマンド解釈手段５０３を有する。また、該手書き属性付与コマンドの属性付与対象データ５００８を特定する属性付与対象特定手段５００４と該手書き属性付与コマンドをスキャン原稿から除去５００９する手書きコマンド除去手段５００５を有する。また、該手書き属性付与コマンドの大きさに対応して属性付与対象データの重み付けをする属性重み付け手段５００６を有する。

一方該処理指示手段５０１０は、ユーザの操作を受付ける指示操作手段５０１１と、指示された属性で属性付与対象データを絞り込む属性絞込み手段５０１２を有する。また、指示された条件で属性付与対象データをソートするソート手段５０１３と、属性付与対象データを表示する表示手段５０１６と、属性付与対象データを送信する送信手段５０１７から構成される。更にソート手段５０１３は、属性ソート手段５０１４と、重み付けソート手段５０１５を有する。

図５１は、第８の実施形態でスキャン対象となる手書き属性付与コマンドが記入されている原稿の一例を示した図である。該スキャン原稿５１０１はテキスト領域５１０２、５１０３、５１０４と画像領域５１５から構成され、更に手書き属性付与コマンド５１０６、５１０７、５１０８、５１０９が記入されている様子が示されている。

図５２は、第８の実施形態で生成された手書き属性データの一例を示した図である。該手書き属性データ５２０１〜５２０３は一意に特定可能なＩＤ３０３〜３０５と、属性付与対象データと、属性及びその重み付けの値から構成される。例えば手書き属性データ５２０１は図５１で示した手書き属性付与コマンド５１０６、５１０７が付与された属性付与対象「至急計画立案」に対応する。そして、ＩＤ＝３０３で、属性「Ａ」の重み付け＝２かつ属性「Ｂ」の重み付け＝１０として記録されている。

図５３は、第８の実施形態における情報処理装置の全体処理を説明するフローチャートである。まず、ステップＳ５３０１の初期化処理により操作画面を表示する等の初期化動作を行う。続くステップＳ５３０２のユーザ操作処理によりユーザの操作を受付け、次のステップＳ５３０３で分岐する。ステップＳ５３０３でスキャン＆処理指示が行われたと判断された場合、ステップＳ５３０４のスキャン処理により原稿がスキャンされる。続くステップＳ５３０５のスキャン原稿解釈処理によりスキャン原稿中の手書き属性付与コマンドが解釈される。そしてステップＳ５３０６の処理指示処理により属性付与対象を指定した処理が指示され、再びステップＳ５３０２に戻って処理を繰り返す。ステップＳ５３０３で表示指示と判断された場合、ステップＳ５３０７の表示処理により指定された属性付与対象が表示され、再びステップＳ５３０２に戻って処理を繰り返す。ステップＳ５３０３で送信指示と判断された場合、ステップＳ５３０８の送信処理により指定された属性付与対象が送信され、再びステップＳ５３０２に戻って処理を繰り返す。

図５４は、図５０に示すスキャン原稿解釈手段５００２におけるスキャン原稿解釈処理を示すフローチャートである。まず、ステップＳ５４０１の手書きコマンド解釈処理により原稿上に記入された手書き属性付与コマンドを解釈し、続くステップＳ５４０２で属性付与コマンドが有るかどうか判断される。その結果、属性付与コマンド有りと判断された場合、ステップＳ５４０３の属性付与対象特定処理により手書き属性付与コマンドの指示対象オブジェクトを特定し、続くステップＳ５４０４で特定成功かどうか判断される。その結果、特定成功と判断された場合、ステップＳ５４０５の手書きコマンド除去処理により手書き属性付与コマンドをスキャン原稿から除去する。続いてステップＳ５４０６の属性重み付け処理により該手書き属性付与コマンドの大きさから属性に重み付けし、処理を終了する。またステップＳ５４０２で属性付与コマンド有りと判断されなかった場合、あるいはステップＳ５４０４で特定成功と判断されなかった場合には無処理で処理を終了する。

図５５の５５０１〜５５０４は、第８の実施形態における手書き属性付与コマンド定義データの一例を示した図である。該手書き属性付与コマンド定義データはストローク情報と、付与される属性の定義から構成される。例えば手書き属性付与コマンド定義データ５５０１は、図５１のスキャン原稿上に記入されたストローク５１６及び５１９と同一のストローク情報と、対応する属性「Ａ」が定義されている。

図５６は、図５０の手書コマンド解釈手段５００３による手書きコマンド解釈処理のフローを示す図である。図５６において、Ｓ５６０１で処理対象コマンドを手書き属性付与コマンド一覧先頭にして初期化をする。Ｓ５６０２で対象コマンドが有効かどうかを判断する。有効と判断された場合、Ｓ５６０３のストローク一致判定処理により操作者によって入力された手書きストロークと、対象コマンドのストロークデータの一致が判定される。判定の結果、Ｓ５６０４で一致していると判断された場合、該コマンドの属性を戻り値として処理を終了する。Ｓ５６０４で一致していると判断されなかった場合、Ｓ５６０５で対象コマンドを進め、Ｓ５６０２の処理に戻る。Ｓ５６０２で対象コマンドが無効と判断された場合、入力ストロークに対応する手書き属性付与コマンドが無いものとして処理を終了する。

図５７は、図５０の属性重み付け手段による手書き属性重み付け処理のフローを示す図である。Ｓ５７０１で、描画領域算出手段３１６は属性付与コマンド描画領域算出処理により図２１で説明した描画領域サイズを算出する。Ｓ５７０２で最小領域属性付与コマンド特定処理により図２１で説明した各属性付与コマンドの中で最小の描画領域を持つものを特定する。続くＳ５７０３の描画領域比算出処理により図２１で説明した最小描画領域に比較したサイズ比が求められる。Ｓ５７０４で処理対象が属性付与コマンドリストの先頭に初期化され、Ｓ５７０５で対象が無効となるまで以下の処理が繰り返される。Ｓ５７０５で対象が有効と判断された場合、ステップＳ５７０６で対応する手書き属性に対する重み付けを［１＋（描画領域比−１）×属性付与特定ルール重み比］として決定する。Ｓ５７０７で対象が進められ、再びステップＳ５７０５に戻って処理が繰り返される。なお属性付与特定ルールとは前述の検索キー特定ルールと同様なルールを属性付与について定義したものである。

図５８は、第８の実施形態のスキャナに付属するコントロールパネルに表示された処理指示画面の一例を示した図である。処理指示画面５８０１は表示指示ボタン５８０２及び送信指示ボタン５８０３と、優先順指定領域５８０４、５８０７及び絞込み指定領域５８０５と、手書き属性データ一覧５８０６、５８０８から構成されている。また同図では、優先順指定の違いによって手書き属性データ一覧が変化する様子を示している。具体的には５８０４に示すよう属性を第１優先、重み付けを第２優先と指定することで、属性Ａを持つものが先頭に集まり、その中で重み付けの大きなもの順に並んでいる様子が手書き属性データ一覧５８０６に示されている。一方、５８０７に示すように重み付けを第１優先、属性を第２優先と指定することで、属性の大きなものから並んでいる様子が示されている。

図５９は、第８の実施形態における情報処理装置の処理指示処理を示すフローチャートである。まず、ステップＳ５９０１の処理指示画面表示処理により図５８で説明した処理指示画面を表示し、続くステップＳ５９０２のユーザ操作処理によりユーザの操作を受付け、次のステップＳ５９０３で分岐する。ステップＳ５９０３で優先順変更又は絞り込み変更操作が行われたと判断された場合、ステップＳ５９０４のソート処理により手書き属性データがソートされ、再びステップＳ５９０２に戻って処理を繰り返す。ステップＳ５９０３で表示指示と判断された場合、ステップＳ５９０５の表示指示処理によりユーザによる表示指示操作を受付け、処理を終了する。ステップＳ５９０３で送信指示と判断された場合、ステップＳ５９０６の送信指示処理によりユーザによる送信指示操作を受付け、処理を終了する。

図６０は、図５０のソート手段５０１３に係るソート処理を示すフローチャートである。まず、ステップＳ６００１の属性絞込み処理により図５８で指定された絞込条件で手書き属性データを絞り込み、続くステップＳ６００２で分岐する。ステップＳ６００２で優先順が属性優先と判断された場合、ステップＳ６００３の属性ソート処理により属性を元に並べ替える。そして、続くステップＳ６００４の重み部分ソート処理により重み付けで各属性ソート部分内を並べ替えて、処理を終了する。一方、ステップＳ６００２で優先順が重み付け優先と判断された場合、ステップＳ６００５の重みソート処理により重み付けを元に並べ替える。そして、続くステップＳ６００６の属性部分ソート処理により属性で各重み付けソート部分内を並べ替えて、処理を終了する。

図６１は、第８の実施形態のスキャナに付属するコントロールパネルに表示された表示指示画面の一例を示した図である。表示指示画面６１０１は表示指示ボタン６１０２と、表示先指定領域６１０３から構成されている。また同図では該表示先指定の中から「Ｂ会議室ディスプレイ」６１０４が表示先として選択されており、表示ボタンを押すことで実行されることが示されている。

図６２は、図５０の表示手段５０１６に係る表示指示処理を示すフローチャートである。まず、ステップＳ６２０１の表示指示画面表示処理により図６１で説明した表示指示画面を表示し、ステップＳ６２０２以降の処理を繰り返す。続いてステップＳ６２０２のユーザ操作処理によりユーザの操作を受付け、次のステップＳ６２０３で分岐する。ステップＳ６２０３で選択状態変更操作と判断された場合、ステップＳ６２０４の選択状態変更処理により選択状態を変更し、再びステップＳ６２０２に戻って処理を繰り返す。ステップＳ６２０３で表示指示操作と判断された場合、ステップＳ６２０５の表示確定処理によりこれまで指定された表示先を確定し、処理を終了する。

図６３は、第８の実施形態のスキャナに付属するコントロールパネルに表示された送信指示画面の一例を示した図である。送信指示画面６３０１は送信指示ボタン６３０２と、送信先指定領域６３０３から構成されている。また同図では該送信先指定の中から「企画室担当」６３０４が送信先として選択されており、送信ボタンを押すことで実行されることが示されている。

図６４は、図５０の送信手段５０１７に係る送信指示処理を示すフローチャートである。まず、ステップＳ６４０１の送信指示画面表示処理により図６３で説明した送信指示画面を表示し、ステップＳ６４０２以降の処理を繰り返す。続いてステップＳ６４０２のユーザ操作処理によりユーザの操作を受付け、次のステップＳ６４０３で分岐する。ステップＳ６４０３で選択状態変更操作と判断された場合、ステップＳ６４０４の選択状態変更処理により選択状態を変更し、再びステップＳ６４０２に戻って処理を繰り返す。ステップＳ６４０３で送信指示操作と判断された場合、ステップＳ６４０５の送信確定処理によりこれまで指定された送信先を確定し、処理を終了する。

尚、スキャン原稿から手書き属性付与コマンドを的確に抽出するために、手書属性付与コマンドを異なる色で記述したり、特殊なインクを用いて記述してもよい。

以上説明したように、属性付与対象を範囲指定することなく特定して実行可能とするので操作性が向上する。また付与属性に重み付け可能とするので操作性が向上する。またスキャン原稿中の属性付与対象を指定した処理を指示可能とするので操作性が向上する。

尚、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。

また、本発明の目的は、システムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることはいうまでもない。その場合、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給する。また、その場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでない。例えば、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることはいうまでもない。更に、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる場合も含む。その場合、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることはいうまでもない。本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図に示すフローチャートに対応するプログラムコードが格納されることになる。

本実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。 第１の実施形態の表示画面の一例を示した図である。 本実施形態に係る機能ブロック図である。 第１の実施形態における手書き入力解釈処理のフローを示す図である。 第１の実施形態における手書き検索コマンドの例を示す図である。 手書きコマンドデータベースの一例を示す図である。 手書きコマンド解釈処理のフローを示す図である。 検索キー特定領域の例を示す図である。 検索キー特定ルールの一例を示す図である。 検索キー特定処理のフローを示す図である。 描画領域算出処理のフローを示す図である。 近傍しきい値決定処理のフローを示す図である。 オブジェクトのリストを示す図である。 領域内オブジェクト抽出処理を示す図である。 検索キー明示の例を示す図である。 検索キー明示手段を示す図である。 検索キー変更手段を示す図である。 手書きストロークの例を示す図である。 手書き入力解釈手段を示す図である。 複数検索キー組み合わせの例を示す図である。 複数検索コマンド描画領域サイズの例を示す図である。 検索キー重み付け手段を示す図である。 重み付けされた複数検索キーの例を示す図である。 検索コマンド相対比の例を示す図である。 検索キー重み付け手段を示す図である。 検索コマンド消去の例を示す図である。 検索コマンド消去同期手段を示す図である。 検索コマンド消去後の検索キーの例を示す図である。 複数検索指示の例を示す図である。 複数検索条件の例を示す図である。 複数検索指示の別の例を示す図である。 手書きコマンド解釈手段を示す図である。 手書き検索コマンド判別手段を示す図である。 検索キー特定ルール指定画面を示す図である。 検索キー特定ルール指定手段を示す図である。 認識候補表示画面の例を示す図である。 認識候補変更手段を示す図である。 検索キー特定範囲拡大の例を示す図である。 検索キー強制特定手段を示す図である。 認識候補表示画面の例２を示す図である。 手書き表示先指定の例を示す図である。 手書き表示先指定コマンド解釈手段を示す図である。 検索結果表示手段を示す図である。 議事録作成の操作イメージを示す図である。 手書きポイント指示コマンドを含む手書きコマンドデータベースを示す図である。 ポイント特定領域の例を示す図である。 ポイント特定ルールを示す図である。 第８の実施形態に係るイメージを示す図である。 第８の実施形態に係るブロック図を示す図である。 属性付与を含んだ機能ブロック図を示す図である。 スキャン原稿を示す図である。 手書き属性データを示す図である。 全体処理を示す図である。 スキャン原稿解釈手段を示す図である。 手書き属性付与コマンド定義データを示す図である。 手書きコマンド解釈手段を示す図である。 手書き属性重み付け手段を示す図である。 処理指示画面を示す図である。 処理指示手段を示す図である。 ソート手段を示す図である。 表示指示画面を示す図である。 表示指示手段を示す図である。 送信指示画面を示す図である。 送信指示手段を示す図である。

符号の説明

１ 入力部
２ ＣＰＵ
３ 出力部
４ プログラムメモリ
５ データメモリ

Claims (28)

1. 手書入力手段によって入力された手書きデータを手書きコマンドとして解釈する手書きコマンド解釈手段と、
   前記手書コマンド解釈手段によって解釈されたコマンドの入力位置に対応するデータの少なくとも一部を、前記手書コマンドの処理対象として特定する対象特定手段と、
   を備えることを特徴とする情報処理装置。
2. 前記対象特定手段は、前記データから検索キーを特定することを特徴とする請求項１に記載の情報処理装置。
3. 前記対象特定手段は、前記手書コマンドの大きさと位置から求めた領域から処理対象を特定することを特徴とする請求項１に記載の情報処理装置。
4. 前記処理対象に対応するデータの表示形態を変更して処理対象を明示する明示手段を更に有することを特徴とする請求項１に記載の情報処理装置。
5. 前記処理対象の範囲を変更する変更手段を更に有することを特徴とする請求項１に記載の情報処理装置。
6. 前記対象特定手段は、前記表示装置に表示されているストロークデータを文字列として認識する手書き文字認識手段を備え、前記手書き文字認識手段により認識された文字列を処理対象として特定することを特徴とする請求項１に記載の情報処理装置。
7. 前記対象特定手段は、前記手書きコマンドが複数入力された場合に各々の入力位置に対応するデータから複数の処理対象を特定し、前記複数の処理対象を組み合わせて処理することを特徴とする請求項１に記載の情報処理装置。
8. 前記対象特定手段は、前記複数の手書きコマンドの大きさに基づいて該コマンドに対応する前記処理対象の重み付けをすることを特徴とする請求項１に記載の情報処理装置。
9. 前記手書きコマンドを消去する手書きコマンド消去手段と、
   前記手書きコマンドが消去された場合に処理を中止する処理中止手段と、
   を更に有することを特徴とする請求項１に記載の情報処理装置。
10. 前記手書きコマンドを消去する手書きコマンド消去手段と、
    前記手書きコマンドが消去された場合に対応する処理対象を組み合わせから除外する処理対象除外手段と、
    を更に有することを特徴とする請求項７に記載の情報処理装置。
11. 前記手書きコマンド解釈手段は、入力された手書きコマンドが他の手書きコマンドと種類の異なるコマンドであることを判別する手書きコマンド判別手段を備え、手書きコマンドの種類毎に処理対象を組み合わせて処理することを特徴とする請求項７に記載の情報処理装置。
12. 前記手書きコマンド判別手段は、入力データの色または太さを判別し、判別結果に応じて前記種類を判別することを特徴とする請求項１１に記載の情報処理装置。
13. 前記手書きコマンド判別手段は、前記手書きコマンドに付帯して入力された付帯入力データ解釈手段を備え、前記付帯入力データによって手書きコマンドの前記種類を判別することを特徴とする請求項１１に記載の情報処理装置。
14. 前記処理対象を特定するルールを指定する処理対象特定ルール指定手段を更に有することを特徴とする請求項１に記載の情報処理装置。
15. 前記手書きコマンド処理対象特定手段で処理対象が特定できない場合、前記手書きコマンドに対応する手書きデータをあらためて文字列として認識する手書き文字認識手段を更に有することを特徴とする請求項１に記載の情報処理装置。
16. 前記手書コマンドの認識候補を表示する認識候補表示手段を更に有することを特徴とする請求項１に記載の情報処理装置。
17. 前記認識候補表示手段により文字が選択された場合に、処理を中止することを特徴とする請求項１６に記載の情報処理装置。
18. 前記認識候補表示手段により文字が選択された場合に、対応する処理対象を組み合わせから除外する処理対象除外手段を更に有することを特徴とする請求項１６に記載の情報処理装置。
19. 前記対象特定手段は、前記処理対象が特定されるまで特定範囲を拡大することを特徴とする請求項１に記載の情報処理装置。
20. 前記手書きコマンドに連続する手書きデータを表示先指定コマンドとして解釈する手書き表示先指定コマンド解釈手段を更に有し、前記手書コマンドの処理結果を前記表示先に表示することを特徴とする請求項１に記載の情報処理装置。
21. 前記コマンド解釈手段は、前記入力手段による入力を手書ポイント指示コマンドとして解釈し、
    該対象特定手段は、前記データからポイントを特定し、
    前記ポイントを用いて議事録を作成する議事録作成手段を備えることを特徴とする請求項１に記載の情報処理装置。
22. 前記対象特定手段は前記データから属性付与対象を特定することを特徴とすることを特徴とする請求項１に記載の情報処理装置。
23. 前記対象特定手段は前記データの大きさに基づいて前記属性付与対象を重み付けし、
    前記重み付けに基づいて前記属性付与対象をソートする重み付けソート手段と、
    することを特徴とする請求項２２に記載の情報処理装置。
24. さらに、手書きデータが書き込まれた原稿をスキャンするスキャン手段と、
    前記対象特定手段により特定された属性付与対象に対する処理を指示する処理指示手段と、
    を備えることを特徴とする請求項２２記載の情報処理装置。
25. 前記処理指示手段は前記属性または重み付けを用いてソート指示し、
    前記属性に基づいて前記属性付与対象をソートする属性ソート手段と、
    を備えることを特徴とする請求項２４記載の情報処理装置。
26. さらに、前記属性に基づいて前記属性付与対象を絞り込む属性絞込み手段と、
    を備え、
    前記処理指示手段は前記属性により絞り込まれた対象に指示することを特徴とする請求項２４記載の情報処理装置。
27. 手書入力手段によって入力された手書きデータを手書きコマンドとして解釈する手書きコマンド解釈工程と、
    前記手書コマンド解釈手段によって解釈されたコマンドの入力位置に対応するデータの少なくとも一部を前記手書コマンドの処理対象として特定する対象特定工程と、
    を備えることを特徴とする情報処理の制御方法。
28. コンピュータによって実行するプログラムであって、
    手書入力手段によって入力された手書きデータを手書きコマンドとして解釈する手書きコマンド解釈工程と、
    前記手書コマンド解釈手段によって解釈されたコマンドの入力位置に対応するデータの少なくとも一部を前記手書コマンドの処理対象として特定する対象特定工程と、
    を備える情報処理方法を実行することを特徴とするプログラム。
    

Images