JP4050055B2 - Handwritten character batch conversion apparatus, handwritten character batch conversion method, and program - Google Patents
Handwritten character batch conversion apparatus, handwritten character batch conversion method, and program Download PDFInfo
- Publication number
- JP4050055B2 JP4050055B2 JP2002002946A JP2002002946A JP4050055B2 JP 4050055 B2 JP4050055 B2 JP 4050055B2 JP 2002002946 A JP2002002946 A JP 2002002946A JP 2002002946 A JP2002002946 A JP 2002002946A JP 4050055 B2 JP4050055 B2 JP 4050055B2
- Authority
- JP
- Japan
- Prior art keywords
- coordinate value
- line
- coordinate
- information
- handwritten
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
- G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Character Discrimination (AREA)
- Document Processing Apparatus (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、手書き文字一括変換装置、手書き文字一括変換方法およびプログラムに関する。
【０００２】
【従来の技術】
手書き文字を認識する手段を備えた手書き文字変換装置に関する従来技術として、例えば、以下のような発明がある。
（１）特開２０００−０９９２２３号公報には、固定型の手書き入力枠をもつインターフェースであり、誤認識の修正が簡単に行なえるインターフェースを備えたことを特徴とするデータ処置装置（手書き文字変換装置）が記載されている。このデータ処理装置においては、アプリケーションへ手書き文字に対応した文字コードを送る。
（２）特開２００１−０１４１０３号公報には、（１）の発明と同様に固定入力枠をもつインターフェースを備えた文字入力装置（手書き文字変換装置）において、入力方法の切替を効率的に行なう文字入力装置（手書き文字変換装置）が記載されている。
【０００３】
（３）特開２０００−０７６３８０号公報には、タッチパネル上に手書きで文字入力する際に、入力枠等や文書書式の設定を意識することなく、任意の入力方向で手書き文字を自由に入力することを可能にする手書き文字入力装置（手書き文字変換装置）が記載されている。
（４）特開平０９−３１９５０３号公報には、手書き入力された文字に対して文字認識を行わず筆跡をストローク（筆跡の始点と終点とをつなぐ複数の点の列）のデータとして取り扱う筆記文字列入力方式と手書き入力された文字に対して文字認識を行ない、文字コードに変換する認識文字列入力方式とを併用または混用した文書入力や文書編集を簡単な操作で自由に行なう文書処理装置（手書き文字変換装置）が記載されている。
【０００４】
以上の従来技術は、手書き文字認識装置、特にそのためのユーザインタフェースに関する発明の一部を抜粋したものである。手書き文字認識のユーザインタフェースには大きく分けて２種類が存在する。一つは、上記（１）および（２）の発明のように、ある固定の枠を設け、ユーザに一文字単位でその枠内に文字を記入させるユーザインタフェースであり、現在最も一般的なユーザインタフェースである。一文字単位の切り出し処理が不要であり、切り出しミスによる誤認識がないが、ユーザ負担が多く、使い辛いユーザインタフェースである（以下、このようなユーザインタフェースにおける文字認識を固定枠手書き文字認識という。）。もう一つは、上記（３）および（４）の発明のように、入力枠がなく、手書き領域内に自由に文字を書き、一文字切り出し処理を行なって文字認識をするユーザインタフェースである。一文字単位の切り出し処理による誤認識はあるものの、ユーザにとっては普通に鉛筆を走らせる動作と同じ操作で文字入力ができるメリットがある（以下、このようなユーザインタフェースにおける文字認識を自由手書き認識という。）。
【０００５】
手書き文字認識の従来手法としては、以上述べたような固定枠手書き文字認識および自由手書き認識が存在する。これらの手法は、一文字単位、あるいは、ある程度の文字列が入力された時点で認識処理を行ない、認識された文字列を表示してユーザの欲する文字を確定するという、随時変換を実現している手法である。このような手法を会議中に用いた場合を考えると、議論の最中に認識結果の見直しをするという面倒な作業が発生してしまったり、思考の分断が生じてしまったりする。会議中に手書き入力された情報を活字化するには、手書き情報を座標値として記憶しておき、議論が落ち着いた時点で、あるいは、会議が終了してから活字化することが望ましい。また、従来手法では、活字化は行うが、文字が書かれた位置については何の処理も行われない。会議中に書かれた文字列は、その上下の文字列と深い関連があり、例えば箇条書きやインデント構造などのアウトラインを書かれた通りに表現することが望ましい。さらに、アウトライン清書された文字列をファイルに保存したり、メールとして任意の人物へ簡単に送信したりできれば、会議で生まれた情報を有効に活用できる。
【０００６】
さらに、従来手法では、ひらがな入力した手書き文字を漢字変換する際、漢字変換ボタンを押すなどの操作をユーザが行わなければならなかった。その場合、Ｗｉｎｄｏｗｓ（登録商標）のＩＭＥ（Ｉｎｐｕｔ Ｍｅｔｈｏｄ Ｅｄｉｔｏｒ）は漢字を含む文字列を漢字変換しても、漢字部は変換されず、漢字変換されていないひらがな部のみ漢字変換されるので、手書き文字を活字化する際に同時に漢字変換を行うのが望ましい。
【０００７】
【発明が解決しようとする課題】
本発明は、上述のような実情に鑑みてなされたものであり、手書き文字一括変換装置において、手書き文字を随時活字化するのではなく、手書き情報をストローク情報および行情報とともに記録しておき、ユーザが任意のタイミングで手書き文字の一括変換を実行するとともに、手書き入力された情報の位置からインデントを求め、文字列のアウトラインを清書する。また、清書したアウトラインを簡単に修正することを目的としたものである。
【０００８】
また、アウトライン清書した文字列を、任意の記憶媒体に記憶したり、メールアドレスおよび表題を入力して任意の人物にメール送信したりすることを目的としたものである。
【０００９】
更には、手書き文字一括変換方法において、手書き文字を随時活字化するのではなく、手書き情報をストローク情報および行情報とともに記録しておき、ユーザが任意のタイミングで手書き文字の一括変換を実行するとともに、手書き入力された情報の位置からインデントを求め、文字列のアウトラインを清書する処理、および、清書したアウトラインを簡単に修正する処理からなる手書き文字一括変換方法を提供することを目的としたものである。
【００１０】
更には、手書き文字一括変換方法を実行するプログラムにおいて、手書き文字を随時活字化するのではなく、手書き情報をストローク情報および行情報とともに記録しておき、ユーザが任意のタイミングで手書き文字の一括変換を実行するとともに、手書き入力された情報の位置からインデントを求め、文字列のアウトラインを清書する処理、および、清書したアウトラインを簡単に修正する処理からなる手書き文字一括変換方法を実行するプログラムを提供することを目的としたものである。
【００１１】
【課題を解決するための手段】
請求項１に係る発明は、操作者が手書き入力する手書き入力画面と、前記手書き入力画面を表示装置として用いることが可能な座標入力装置とが接続される手書き文字一括変換装置において、前記座標入力装置から出力された、操作者が入力した手書き入力の列方向及び行方向の座標値に基づいて、前記座標値が手書き文字の認識処理命令であるか否かを判定する判定手段と、前記判定手段において、前記座標値が前記手書き文字の認識処理命令ではないと判定された場合に、前記座標入力装置から出力される前記座標値をそれぞれの座標値のストローク情報および行情報とともに記憶する座標値記憶手段と、前記判定手段において、前記座標値が前記手書き文字の認識処理命令であると判定された場合に、前記座標値記憶手段に記憶された全ての座標値に対して、前記座標値と前記ストローク情報と前記行情報とに基づいて手書き文字を認識した行単位の認識文字列を生成する手書き文字認識手段と、前記座標値記憶手段に記憶された座標値と行情報とに基づいて列方向及び行方向の座標値を含む各行の行開始座標値を算出し、所定の処理対象行の行開始座標値が含む行方向の座標値と前記処理対象行の行開始座標値が含む列方向の座標値に基づいて決定される他の行の行開始座標値が含む行方向の座標値との差分を取り、該差分と所定の閾値とに基づいて前記処理対象行が前記他の行の上位のインデント、同位のインデント、下位のインデントのいずれの関係にあるかを示すインデント構造を設定し、前記行開始座標値と前記インデント構造とを前記処理対象行のアウトライン情報として取得するアウトライン清書手段と、前記認識文字列と前記アウトライン情報とを対応付けて記憶する結果記憶手段と、前記結果記憶手段に記憶される認識文字列を対応するアウトライン情報に基づいて前記表示装置に表示させる表示処理手段と、を有するものである。
【００１２】
請求項２に係る発明は、座標値記憶処理手段を備え、前記座標値記憶処理手段は、前記座標値入力装置から出力された座標値をストローク単位に切り分け、前記座標値が構成するストロークを示すストローク情報を取得するストローク切り分け処理部と、前記座標値入力装置から出力された座標値と前記ストローク切り分け処理部で取得したストローク情報とに基づいて、前記ストローク情報が属する行を示す行情報を取得する行単位切り分け処理部と、を有し、前記座標入力手段から出力される前記座標値を前記ストローク情報および前記行情報とともに前記座標値記憶手段に記憶することを特徴とする請求項１に記載の手書き文字一括変換装置である。
【００１３】
請求項３に係る発明は、前記表示処理手段は、行単位にテキストボックスを作成するテキストボックス作成処理部と、前記結果記憶手段に記憶される認識文字列を前記作成されたテキストボックスに設定するテキスト設定処理部と、前記テキスト設定処理部にてテキストボックスに設定された認識文字列の前記表示装置における表示位置を前記アウトライン情報に基づいて決定するテキストボックス表示位置算出処理部と、前記テキストボックス表示位置算出処理部にて決定された表示位置に基づいて前記テキストボックスに設定された認識文字列を前記表示装置に表示させる表示処理部とからなることを特徴とする請求項１または２に記載の手書き文字一括変換装置である。
【００１４】
請求項４に係る発明は、前記表示処理手段によって前記表示装置に表示された後に前記座標入力装置から出力された、操作者が入力した手書き入力の座標値に基づいてユーザ操作を判別するユーザ操作判別手段と、前記ユーザ操作判別手段によって判別されたユーザ操作が、前記アウトライン情報の修正である場合に、前記座標入力装置から出力された、操作者が入力した手書き入力の座標値に基づいて、前記アウトライン情報の修正を行う編集処理手段と、を備えることを特徴とする請求項１乃至３のいずれか１つに記載の手書き文字一括変換装置である。
【００１５】
請求項５に係る発明は、前記表示処理手段によって前記表示装置に表示された後に前記座標入力装置から出力された、操作者が入力した手書き入力の座標値に基づいてユーザ操作を判別するユーザ操作判別手段と、前記ユーザ操作判別手段によって判別されたユーザ操作が前記アウトライン情報の修正である場合に、前記座標入力装置から出力された、操作者が入力した手書き入力の座標値に基づいて、操作者によって選択されたテキストボックスを確定し、前記確定したテキストボックスの移動量を取得し、前記確定したテキストボックスと前記テキストボックスの移動量とに基づいて、前記アウトライン情報を修正する編集処理手段と、を備えることを特徴とする請求項４に記載の手書き情報一括変換装置である。
【００１６】
請求項６に係る発明は、前記ユーザ操作判別手段によって判別されたユーザ操作が前記表示装置に表示処理された認識文字列の出力である場合に、前記結果記憶手段に記憶された認識文字列とアウトライン情報とを所定のファイルフォーマットのデータに変換するフォーマット変換処理手段と、前記フォーマット変換処理手段で変換されたデータの出力を実行するデータ実行処理手段と、を備えることを特徴とする請求項４または５に記載の手書き文字一括変換装置である。
【００１７】
請求項７に係る発明は、前記データ実行処理手段は、前記変換されたデータを記憶媒体に出力又は、指定されたメールアドレスへメール送信して出力することを特徴とする請求項６に記載の手書き文字一括変換装置である。
【００１８】
請求項８に係る発明は、コンピュータに、前記コンピュータが判定手段として、操作者が手書き入力する手書き入力画面を表示装置として用いることが可能な座標入力装置から出力された、操作者が入力した手書き入力の列方向及び行方向の座標値に基づいて、前記座標値が手書き文字の認識処理命令であるか否かを判定する判定手順と、前記コンピュータが座標値記憶手段として、前記判定手順において、前記座標値が前記手書き文字の認識処理命令ではないと判定された場合に、前記座標入力装置から出力される前記座標値をそれぞれの座標値のストローク情報および行情報とともに記憶する座標値記憶手順と、前記コンピュータが手書き文字認識手段として、前記判定手順において、前記座標値が前記手書き文字の認識処理命令であると判定された場合に、前記座標値記憶手順により記憶されたすべての座標値に対して、前記座標値と前記ストローク情報と前記行情報とに基づいて手書き文字を認識した行単位の認識文字列を生成する手書き文字認識手順と、前記コンピュータがアウトライン清書手段として、前記座標値記憶手順により記憶された座標値と行情報とに基づいて列方向及び行方向の座標値を含む各行の行開始座標値を算出し、所定の処理対象行の行開始座標値が含む行方向の座標値と前記処理対象行の行開始座標値が含む列方向の座標値に基づいて決定される他の行の行開始座標値が含む行方向の座標値との差分を取り、該差分と所定の閾値とに基づいて前記処理対象行が前記他の行の上位のインデント、同位のインデント、下位のインデントのいずれの関係にあるかを示すインデント構造を設定し、前記行開始座標値と前記インデント構造とを前記処理対象行のアウトライン情報として取得するアウトライン清書手順と、前記コンピュータが結果記憶手段として、前記認識文字列と前記アウトライン情報とを対応付けて記憶する結果記憶手順と、前記コンピュータが表示処理手段として、前記結果記憶手順により記憶される認識文字列を対応するアウトライン情報に基づいて前記表示装置に表示させる表示処理手順と、を実行させることを特徴とする手書き文字一括変換方法である。
【００１９】
請求項９に係る発明は、前記座標値記憶手段のストローク切り分け処理部により、前記座標入力装置から出力された座標値をストローク単位に切り分け、前記座標値が構成するストロークを示すストローク情報を取得するストローク切り分け処理手順と、前記座標値記憶手段の行単位切り分け処理部により、前記座標入力装置から出力された座標値と前記ストローク切り分け処理部で取得したストローク情報とに基づいて、前記ストローク情報が属する行を示す行情報を取得する行単位切り分け処理手順とを有し、前記座標値記憶手順は、前記座標入力装置から出力される前記座標値を前記ストローク情報および前記行情報とともに前記座標値記憶手段に記憶することを特徴とする請求項８に記載の手書き文字一括変換方法である。
【００２０】
請求項１０に係る発明は、前記表示処理手順は、前記表示処理手段のテキストボックス作成処理部により、行単位にテキストボックスを作成するテキストボックス作成処理手順と、前記表示処理手段のテキスト設定処理部により、前記結果記憶手段に記憶される認識文字列を前記作成されたテキストボックスに設定するテキスト設定処理手順と、前記表示処理手段のテキストボックス表示位置算出処理部により、前記テキスト設定処理部にてテキストボックスに設定された認識文字列の前記表示装置における表示位置を前記アウトライン情報に基づいて決定するテキストボックス表示位置算出処理手順と、前記表示処理手段の表示処理部により、前記テキストボックス表示位置算出処理部にて決定された表示位置に基づいて前記テキストボックスに設定された認識文字列を前記表示装置に表示させる表示処理手順とからなることを特徴とする請求項８または９に記載の手書き情報一括変換方法である。
【００２１】
請求項１１に係る発明は、前記コンピュータがユーザ操作判別手段として、前記表示処理手段によって前記表示装置に表示された後に前記座標入力装置から出力された、操作者が入力した手書き入力の座標値に基づいてユーザ操作を判別するユーザ操作判別手順と、前記コンピュータが編集処理手段として、前記ユーザ操作判別手段により判別されたユーザ操作が、前記アウトライン情報の修正である場合に、前記座標入力装置から出力された、操作者が入力した手書き入力の座標値に基づいて、前記アウトライン情報の修正を行う編集処理手順と、を備えることを特徴とする請求項８乃至１０のいずれか１つに記載の手書き文字一括変換方法である。
【００２２】
請求項１２に係る発明は、前記コンピュータがユーザ操作判別手段として、前記表示処理手段によって前記表示装置に表示された後に前記座標入力装置から出力された、操作者が入力した手書き入力の座標値に基づいてユーザ操作を判別するユーザ操作判別手順と、前記コンピュータが編集処理手段として、前記ユーザ操作判別手段によって判別されたユーザ操作が前記アウトライン情報の修正である場合に、前記座標入力装置から出力された、操作者が入力した手書き入力の座標値に基づいて、操作者によって選択されたテキストボックスを確定し、前記確定したテキストボックスの移動量を取得し、前記確定したテキストボックスと前記テキストボックスの移動量とに基づいて、前記アウトライン情報を修正する編集処理手順と、を備えることを特徴とする請求項１１に記載の手書き文字一括変換方法である。
請求項１３に係る発明は、前記コンピュータがフォーマット変換処理手段として、前記ユーザ操作判別手段によって判別されたユーザ操作が前記表示装置に表示処理された認識文字列の出力である場合に、前記結果記憶手段に記憶された認識文字列とアウトライン情報とを所定のファイルフォーマットのデータに変換するフォーマット変換処理手順と、前記コンピュータがデータ実行処理手段として、前記フォーマット変換処理手段で変換されたデータの出力を実行するデータ実行処理手順と、を備えることを特徴とする請求項１１または１２に記載の手書き文字一括変換方法である。
請求項１４に係る発明は、前記データ実行処理手順は、前記変換されたデータを記憶媒体に出力又は、指定されたメールアドレスへメール送信して出力することを特徴とする請求項１３に記載の手書き文字一括変換方法である。
請求項１５に係る発明は、請求項８に記載のコンピュータに、請求項８に記載の手書き文字一括変換方法における、前記判定手順と、前記座標値記憶手順と、前記手書き文字認識手順と、前記アウトライン清書手順と、前記結果記憶手順と、前記表示処理手順とを実行させるためのプログラムである。
【００２３】
【発明の実施の形態】
以下、本発明の実施例について、添付の図面を参照しながら順に説明する。
図１は、本発明の手書き文字一括変換装置が適用される会議システムを説明するための構成図であり、図２は、本発明の手書き文字変換装置で用いる座標入力装置を有する表示装置の仕様の例を示した図である。
手書き文字一括変換装置が適用される会議システムは、手書き文字一括変換装置としてのパーソナルコンピュータ（以下、ＰＣという。）１と、例えば、図２に示す仕様のリコー製メディアサイトのような、座標入力装置を有する表示装置２で構成される。以下、この座標入力装置を有する表示装置２を手書き入力装置といい、そのうちの画面を手書き入力画面２という。この手書き入力画面２を特に座標入力装置として用いる場合には座標入力装置２1といい、表示装置として用いる場合には表示装置２2という。なお、座標入力装置としてマウスやタブレット、表示装置としてＣＲＴやプロジェクタなどを用いても構わない。また、Ｖｉｒｔｕａｌ Ｉｎｃ社製ｍｉｍｉｏやＥＦＩ社製ｅＢｅａｍのようにすでに市販されている座標入力装置とプロジェクタの組み合わせでも構わない。
【００２４】
座標入力装置２1は、図１に示すように、操作者３が指あるいはペンなどの指示部３1を使って座標入力装置２1へ入力した信号を座標値として検出し、ＰＣ１へ送り込む装置である。ＰＣ１は、送り込まれた座標値の集合（以下、ストロークという。）をすべて記憶しておき、ユーザ（操作者）３からの手書き文字認識の命令を受け取った際に、一括で手書き文字認識を行ない、得られた処理内容を表示装置２2に表示する。
【００２５】
図３は、本発明の手書き文字一括変換装置の概略の処理ブロック図である。
座標入力装置２1および表示装置２2が図１に示した手書き入力装置２であり、その中間の処理をＰＣ１内で行なう構成である。
まず、座標入力装置２1から出力される座標値について、認識命令判別処理によってユーザ（操作者）が認識を命令したのか否かを調べる（ステップ１０）。認識命令でない場合は（ステップ１０―Ｎｏ）、手書き入力領域内に入力される座標値を座標値記憶処理によって座標値メモリ１０１に記憶し（ステップ２０）、ステップ１０に戻りユーザからの認識命令の監視を続ける。認識命令である場合は（ステップ１０―Ｙｅｓ）、座標値メモリ１０１を参照して手書き文字認識処理を実行し、得られた文字列を結果メモリ１０２へ記憶する（ステップ３０）。
【００２６】
そして、結果メモリ１０２を参照してＩＭＥ漢字変換処理を行ない、手書き文字認識処理で得られた文字列を漢字へ変換し、結果メモリ１０２に記憶する（ステップ４０）。
さらに、座標値メモリ１０１を参照して文字列が書かれた位置を求め、文字列の位置からインデント位置を算出し、結果を結果メモリ１０２へ記憶する（ステップ５０）。
次に、結果メモリ１０２を参照して表示処理により表示装置２2に結果を出力するとともに（ステップ６０）、ユーザ操作判別処理を開始する（ステップ７０）。ステップ７０のユーザ操作判別処理は、ステップ６０の表示処理によって表示装置２2に表示された結果に対して、ユーザがどのような処理を実行するか否かを判別する処理である。ステップ７０のユーザ操作判別処理によって処理は二手に分岐する。一つは、ユーザが結果に対して編集を行なう場合である（ステップ７０−編集）。例えば、ステップ５０のアウトライン清書処理で求めたインデント位置を修正するような作業である。結果メモリ１０２を参照して修正作業を編集処理内で行ない、結果をステップ６０の表示処理に出力する（ステップ８０）。他の一つは、結果の出力を行なう場合である（ステップ７０−出力）。結果の出力は結果メモリ１０２を参照して出力処理内で行ない、ハードディスクや光ディスクなどの記憶媒体４に所定のフォーマットで出力したり、メールアドレスと表題を入力し、メールとして送信したりするためにネットワーク５にデータを出力する（ステップ９０）。ステップ９０の出力処理が終了すると、ステップ１０の認識命令判別処理に処理を渡し、新たな手書き文字の入力を可能とする。
【００２７】
以下に、図３に示した各ステップの詳しい処理について述べる。
まず、認識命令判別処理について述べる。
図４は、認識命令判別処理が実行されるときの表示装置２2の手書き入力画面の例を示した図である。
例えば、図４に示すような手書き入力画面２を用意する。手書き入力画面２の破線で囲んだ部分が手書き入力を行なう領域（手書き入力領域）２ａであり、手書き入力領域２ａの上部に認識ボタン２ｂを設ける。そして、ユーザが手書き入力画面２のどの位置に操作をしたかを監視することで、ユーザが認識を命令したか否か判別する。ステップ１０の認識命令判別処理の出力は２つに分岐する。一つは、ユーザが手書き入力領域２ａに手書き文字を入力した場合で、ステップ２０の座標値記憶処理に処理を渡す。もう一つは、ユーザが任意のタイミングで認識ボタン２ｂを押下した場合で、ステップ３０の手書き文字認識処理に処理を渡す。
【００２８】
次いで、認識命令判別処理の一つ目の出力先である座標値記憶処理について説明する。
図５は、座標値記憶処理を説明するための図である。
まず、図５に示すように、ストローク切り分け処理によって、ユーザが手書き入力領域に入力した手書き文字の座標値をストローク単位に切り分けて座標値メモリ１０１に記憶する（ステップ２１）。例えば、手書き入力装置２の座標入力装置２1にユーザが触れるということは、マウスの左クリックに対応している。Ｗｉｎｄｏｗｓ（登録商標）のようなオペレーティングシステムでは、マウスの左クリックに対して、ＭｏｕｓｅＤｏｗｎ，ＭｏｕｓｅＭｏｖｅ，ＭｏｕｓｅＵｐというメッセージが割り当てられているが、手書き入力装置２の座標入力装置２1は、座標を検知するごとにオペレーティングシステムに対してこれらのメッセージを生成するように命令する。なお、上述したストロークとは、ＭｏｕｓｅＤｏｗｎからＭｏｕｓｅＵｐまでに検出された座標値の集合のことである。
【００２９】
次に、行単位切り分け処理によって、ストロークの何番目から何番目までが一行単位であるかを調査し、結果を座標値メモリ１０１に記憶する（ステップ２２）。
最後に、処理をステップ１０の認識命令判別処理に渡す。よって、ユーザが認識命令を発するまで、ステップ２０の座標値記憶処理はループすることになる。
【００３０】
図６は、ストローク切り分け処理を説明するための図である。
上述したステップ２０の座標値記憶処理を構成するステップ２１のストローク切り分け処理は、図６に示すように、ユーザが指示部で手書き入力領域２ａに触れ、手書き入力領域２ａ上を移動し、手書き入力領域２ａから離れるまでに検出された座標値を一つのストロークとして座標値メモリ１０１に記憶する処理である。
【００３１】
図７は、行単位切り分け処理を説明するための図である。
例えば、図７のように、手書き入力領域２ａの一行目に文字列“あいう”、二行目に文字列“かきく”が書かれているとする。これらの文字列を行単位に切り分けると、一行目の文字列“あいう”はストロークの１番目から７番目まで、二行目の文字列“かきく”はストロークの８番目から１５番目ということになる。
【００３２】
図８は、行単位切り分け処理の動作を説明するための図である。
上述のステップ２２の行単位の切り分け処理は、以下のような過程を経て行なう。図８（Ａ）のように手書き入力領域２ａにストローク１が書かれたら、ストローク１に属する座標値のｙ座標について最大値ｙｍａｘと最小値ｙｍｉｎを求める。図８（Ｂ）のように、ストローク２に属する座標点の少なくとも１点以上のｙ座標値が最大値ｙｍａｘと最小値ｙｍｉｎの間にあった場合、ストローク２はストローク１と同じ行であるとみなし、図８（Ｂ′）のように最大値ｙｍａｘと最小値ｙｍｉｎを算出し直すとともに、座標値メモリ１０１に行の情報を記憶する。また、図８（Ｃ）のように、ストローク２に属する座標点のいずれのｙ座標値も最大値ｙｍａｘと最小値ｙｍｉｎの間にない場合、ストローク２は新たな行の始まりであるとみなし、図８（Ｃ′）のようにストローク２について最大値ｙｍａｘと最小値ｙｍｉｎを算出し直すとともに、座標値メモリ１０１に新たな行番号を記憶する。
【００３３】
図９は、座標値記憶処理の結果、座標値メモリに記憶される座標値，ストローク情報、および行情報の例を示した図である。
上述したステップ２１からステップ２２の処理によって座標値メモリ１０１に記憶される情報は、図９に示すように、座標点単位で、座標値（ｘ，ｙ）、ストローク番号、行番号の３種である。
【００３４】
次いで、認識命令判別処理の二つ目の出力先である手書き文字認識処理について説明する。
図１０は、手書き文字認識処理を説明するための図である。
まず、図１０に示すように、座標値メモリ１０１を参照し、一行分の座標値を呼び出す（ステップ３１）。そして、呼び出した座標値に対して、一文字切り出し処理を行なう（ステップ３２）。一文字切り出し処理の方法は従来よりさまざまな方法が提案されており、いずれの方法を使用しても構わない。ステップ３２の一文字切り出し処理を行なうことによって、ストロークの何番目から何番目までが一文字に相当するかを認知することができる。
【００３５】
次に、認識すべき文字の有無を判断し（ステップ３３）、認識すべき文字が存在する場合は（ステップ３３−Ｙｅｓ）、一文字に切り出した座標値を認識エンジンに送る。認識エンジンにて認識された文字コードを行番号ごとに結果メモリ１０２に記憶する（ステップ３４）。認識エンジンについても従来より様々な認識エンジンがあり、いずれの認識エンジンを使用しても構わない。
そして、ステップ３３へ戻り、認識すべき文字がまだ存在するか否かを調べ、存在する場合は（ステップ３３−Ｙｅｓ）、認識エンジンへ送り、存在しない場合は（ステップ３３−Ｎｏ）、認識すべき行がまだ存在するか否かを調べる（ステップ３５）。行が存在する場合は（ステップ３５−Ｙｅｓ）、ステップ３１の一行分の座標値呼び出し処理に処理を渡し、上述したステップ３１〜ステップ３５の処理を繰り返す。行が存在しない場合は（ステップ３５−Ｎｏ）、ステップ４０のＩＭＥ漢字変換処理へ処理を渡す。
【００３６】
図１１は、手書き文字認識処理の結果、結果メモリに記憶される情報の例を示した図である。
上述したステップ３１からステップ３５の処理によって結果メモリ１０２に記憶される情報は、図１１に示すように、行単位の認識文字列である。結果メモリにはインデント情報である行開始位置、インデント番号、親行番号および子行番号も記憶されるが、これについてはアウトライン清書処理にて述べる。
【００３７】
次いで、手書き文字認識処理から処理を渡されるＩＭＥ漢字変換処理について、説明する。
図１２は、ＩＭＥ漢字変換処理を説明するための図である。
上述したステップ３０の手書き文字認識処理のステップ３５の次の行の有無判断する処理から処理を受け取ると、まず、結果メモリ１０２を参照して一行分の認識文字列呼び出し処理を行なう（ステップ４１）。図１１に示したように、結果メモリ１０２には行単位で認識文字列が記録されているので、簡単に呼び出しを実行することができる。
呼び出した認識文字列を、例えば、ＭＳ−ＩＭＥやＡＴＯＫなどのようなＩＭＥ（Ｉｎｐｕｔ Ｍｅｔｈｏｄ Ｅｄｉｔｏｒ）に送る。するとＩＭＥは認識文字列を漢字変換した結果を返すので、結果メモリ１０２の認識文字列に上書きする（ステップ４２）。また、結果メモリ１０２内にＩＭＥ漢字変換文字列用の領域を確保し、記憶してもよい。
【００３８】
そして、結果メモリ１０２内に次の行が存在するか否かを調べ（ステップ４３）、次の行が存在する場合は（ステップ４３―Ｙｅｓ）、ステップ４１の一行分の認識文字列呼び出し処理へ処理を渡し、存在しない場合は（ステップ４３―Ｎｏ）、ステップ５０のアウトライン清書処理に処理を渡す。
これにより、手書き文字を随時活字化するのではなく、手書き情報をストローク情報および行情報とともに記録しておき、ユーザが任意のタイミングで手書き文字の一括認識を実行するとともに、ＩＭＥへ認識文字列を送り、漢字変換することで、漢字変換の煩雑さを無くすことができる。
【００３９】
次いで、ＩＭＥ漢字変換処理から処理を渡されるアウトライン清書処理について説明する。
図１３は、アウトライン清書処理を説明するための図である。
まず、行開始位置算出処理において、座標値メモリ１０１を参照して１行づつ行開始位置算出処理（ステップ５１）を行ない、結果を結果メモリ１０２に記憶し、次の行が存在するか否かを判断し（ステップ５２）、次の行が存在する場合には（ステップ５２−Ｙｅｓ）、ステップ５１へ戻り行開始位置算出処理を行なうことで、各行の開始位置の座標値を求める。具体的には、各々の行に属する座標点のｘ座標およびｙ座標の最小値を求めることで、行の左上座標が求まり、これを行開始位置とする。次の行がない場合には（ステップ５２−Ｎｏ）、次のステップに進む。
【００４０】
次に、行開始位置算出処理によって求められた各行の開始位置について、ｙ座標の小さい順に上の行とのｘ座標の比較し、インデント付け処理を行ない、結果を結果メモリ１０２へ記憶する（ステップ５３）。このように、ｙ座標の小さい順に処理を行なうのは、ユーザがｙ座標の小さい順に文字列を入力していくとは限らないからである。例えば、行１と行２と行３が書かれた後に、行１と行２の間に行４が追加された場合、行番号順に処理をすると正しくインデントが求まらないからである。また、上の行とは、すべての行のうち、処理対象行の開始位置のｙ座標値の次に小さいｙ座標値を開始位置として有する行である。
次に、次の行が存在するか否かを判断し（ステップ５４）、上述のインデント付け処理を行なうべき次の行がある場合は（ステップ５４−Ｙｅｓ）、ステップ５３へ戻りインデント付け処理を繰り返す。次の行がない場合は（ステップ５４−Ｎｏ）、ステップ６０の表示処理へ処理を渡す。
【００４１】
次いで、行開始位置算出処理について説明する。
図１４は、行開始位置算出処理を説明するための図である。
例えば、図１４に示すように、手書き入力領域２ａに４行の文字列が入力された場合、上述の行開始位置算出処理を行なうと、行１は（ｘ１，ｙ１），行２は（ｘ２，ｙ２），行３は（ｘ３，ｙ３），行４は（ｘ４，ｙ４）の座標値が行の開始位置として得られる。これらの行開始位置は、結果メモリ１０２内の各行の行開始位置に記憶される。
【００４２】
次いで、インデント付け処理について説明する。
図１５は、インデント付け処理を説明するための図である。
インデント付け処理とは、各行の結果メモリ１０２が有するインデント番号、親行番号および子行番号の項目に対応する行番号を設定する処理である。インデント番号および親番号は一つの値しか持たないが、子番号は複数の値を持つことが可能である。
まず、手書き入力領域２ａ内の処理対象行“かきくけこ”のｘ座標値をｘｐ、上の行“あいうえお”のｘ座標値をｘｑとし、ｘｐからｘｑを減算した値Ｓを求める。
図１５（Ａ）に示すように、ＳがＷ以上ならば上の行は上位（親）、処理対象行は下位（子）である。図１５（Ｂ）に示すように、Ｓが−Ｗ以上かつＷ未満ならば上の行と処理対象行は同位である。図１５（Ｃ）に示すように、Ｓが−Ｗ未満であれば、Ｓを−Ｗで除算した商の値Ｑ分、上の行の親行番号を基準として順に親行番号を辿る。ここで、Ｗはインデント幅であり、これはユーザがあらかじめ設定しておくことができる。
【００４３】
具体例として、前述の図１４についてステップ５３のインデント付け処理を行なう例を説明する。
ｙ座標の最も小さい行を探索すると、行１のｙ１が最も小さいので、行１を処理対象行とする。行１には上の行がないので、インデント番号を“０”、親行番号を“０”とし、子行番号には何も設定しない。次にｙ座標が小さい行を探索すると、行４が処理対象行となり、上の行は行１となる。行４のｘ４から行１のｘ１を減算した値Ｓ４を求めると、Ｓ４はインデント幅Ｗよりも大きいので、行１は親、行４は子ということになる。よって、行１の子行番号に“４”を追加し、行４のインデント番号に行１のインデント番号に１を足した値“１”を、親番号に“１”を設定する。次にｙ座標が小さい行を探索すると、行２が処理対象行となり、上の行は行４となる。同様にＳ２＝ｘ２−ｘ４を求めると、Ｓ２は−Ｗ以上かつＷ未満なので、行２と行４は同位である。よって、行２のインデント番号に行４のインデント番号を、行２の親番号に行４の親番号“１”を設定する。
【００４４】
次にｙ座標が小さい行を探索すると、行３が処理対象行となり、上の行は行２となる。同様にＳ３＝ｘ３−ｘ２を求めると、Ｓ３は−Ｗ未満なので、行３は行２よりも上位である。Ｓ３を−Ｗで除算した商Ｑは“１”であるので、行２の親番号をＱの値分、つまり１つ上へ辿る。行２の親番号は“１”であるから、行１の親番号を参照する。行１のインデント番号は“０”、親番号は“０”であるので、行３のインデント番号を“０”、親番号を“０”に設定する。次の行は存在しないので、以上の結果を結果メモリ１０２に記憶し、ステップ６０の表示処理へ処理を渡す。
【００４５】
次いで、アウトライン清書処理から処理を渡された表示処理について説明する。
図１６は、表示処理を説明するための図である。
ステップ６０の表示処理では、結果メモリ１０２に記憶されたデータを表示装置２2に表示する。
まず、テキストボックス作成処理において、行単位のテキストボックスを作成する（ステップ６１）。テキストボックスは、Ｖｉｓｕａｌ Ｃ＋＋やＶｉｓｕａｌ Ｂａｓｉｃのようなプログラミングツールを使用することで簡単に作成できる。そして、テキスト設定処理において、テキストとして結果メモリ内の認識文字列を設定する（ステップ６２）。さらに、テキストボックス表示位置算出処理において、行ｎの行開始位置のｙ座標をｙｎ、インデント番号をＩｎとすると、行ｎのテキストボックスの表示位置を（Ｗ×Ｉｎ，ｙｎ）とする（ステップ６３）。
次に、以上の処理をすべき次の行が存在するか否かを判断し（ステップ６４）、次の行がある場合（ステップ６４−Ｙｅｓ）、ステップ６１に戻ることで以上の処理を結果メモリ１０２に記憶されたすべての行に対して実行し、表示装置２2に表示する。次の行がない場合（ステップ６４−Ｎｏ）、ステップ７０のユーザ操作判別処理に処理を渡す。
【００４６】
次いで、表示処理から処理を渡されたユーザ操作判別処理について説明する。
図１７は、ユーザ操作判別処理を説明するための図で、図１８は、ユーザ操作判別処理時の手書き入力画面の例を示した図である。
ユーザの操作としては、アウトライン情報の修正を行なう編集処理、記憶媒体への保存やメール送信を行なう出力処理を用意する。まず、ユーザ操作判別処理が処理を開始すると、ボタン変更処理において、前述の図４に示すような“認識”ボタン２ｂを削除し、図１８に示すように“出力”ボタン２ｃを作成し、表示装置２2に表示する（ステップ７１）。そして、ユーザが、手書き入力領域２ａに入力をしたか、あるいは、“出力”ボタン２ｃを押したかを監視する（ステップ７２）。手書き入力領域２ａに入力が行なわれた場合は（ステップ７２−編集）ステップ８０の編集処理へ、“出力”ボタン２ｃが押された場合は（ステップ７２−出力）ステップ９０出力処理へ処理を渡す。以上のように、ステップ７０のユーザ操作判別処理の出力先は２つに分岐する。
【００４７】
次いで、ユーザ操作判別処理からの一つ目の出力先である編集処理について説明する。
図１９は、編集処理を説明するための図である。
ステップ８０の編集処理では、アウトライン清書処理で求められた各行のインデント等のアウトライン情報をユーザの指示する通りに修正する。ＶｉｓｕａｌＣ＋＋やＶｉｓｕａｌ Ｂａｓｉｃのようなプログラミングツールを使用してテキストボックスを作成すると、テキストボックス上でのＭｏｕｓｅＤｏｗｎ，ＭｏｕｓｅＭｏｖｅ，ＭｏｕｓｅＵｐメッセージを監視できる。まず、それぞれのテキストボックスは、結果メモリ１０２内の各行に対応しているので、ユーザがテキストボックスに指示部で触れると、ＭｏｕｓｅＤｏｗｎメッセージを受け取ることにより、どの行を選択したかが分かることを利用して、選択行確定処理を行なう（ステップ８１）。
【００４８】
続いて、ユーザはテキストボックスに触れたまま移動を行なう。この時、ＭｏｕｓｅＭｏｖｅメッセージを受け取ることで、移動量を取得できる。この移動量に基いて、テキストボックスの表示位置を変更することで、ユーザがテキストボックスを移動させる操作が実現できる。そして、ユーザは任意の場所でテキストボックスを離す。この時、ＭｏｕｓｅＵｐメッセージを受け取ることで、テキストボックスの移動先がを決定できることを利用して、移動先確定処理を行ない、移動先確定処理で移動先が確定すると、移動先のグリッドラインのｘ座標および移動先のｙ座標を、移動した行（選択行確定処理で確定した行）の結果メモリ１０２内の行開始位置に書きこむ（ステップ８２）。次に、移動先でのインデント修正処理を行ない、結果を結果メモリ１０２に記憶して、ステップ６０の表示処理に処理を戻す（ステップ８３）。
【００４９】
図２０は、編集処理時の手書き入力領域の例を示した図である。
上のようにステップ８０の編集処理においてユーザによりテキストボックスの移動処理が行なわれるが、図２０に示すように、手書き入力領域２ａにインデント幅Ｗのグリッドラインを設けておき、グリッドライン上にしか移動できないようにすることで、正確に所望のインデント位置へテキストボックスを移動できる。なお、グリッドラインは表示／非表示をユーザが選択できる。
【００５０】
図２１は、インデント修正処理を説明するための図である。
例えば、前述の図２０の行３を図２１（Ａ）に示すように行１と行２の間に移動する場合を例に説明する。
結果メモリのインデント番号、親行番号および子行番号の変更は、アウトライン清書処理で説明した方法と同じである。行３の上の行は行１であり、行１の下位（子）の位置に移動されたので、行１の子行番号に“３”を追加し、行３のインデント番号を行１のインデント番号＋１、つまり“１”に、行３の親行番号に“１”を設定する。アウトライン清書処理と異なる点は、以下の３点である。一つには、行３の移動により、行２の子行番号を変更しなければならないことである。これは、行３の移動の際に、行３の親行番号を参照し、行２が親であることが分かると、行２の子行番号から“３”を削除することで実現できる。二つには行３の子行番号に“４”が存在することである。行３を移動する場合は、行３の下位に位置するすべての行も同時に移動する。よって、行３の移動量をもとに、結果メモリ内の行４の行開始位置を変更するとともに、行４のインデント番号を行３のインデント番号＋１、つまり“２”に設定する。行４が下位の行を持っていれば、同様の処理を行なう。
【００５１】
三つには、行３および行４の移動によって、行２の行開始位置を変更しなければならないことである。これは、行４の行開始位置のｙ座標をｙ４、行４のテキストボックスの高さをｈ４、行２の行開始位置のｙ座標をｙ２とすると、ｙ２＝ｙ４＋ｈ４＋αで求めることができる。ここで、αは行間距離であり、ユーザが任意に決定可能な値である。行２の下にさらに行があった場合は、上記の処理を繰り返す。結果はすべて結果メモリに記憶されるので、処理を表示処理に渡せば、表示装置に表示される。以上の処理を行なうことで、図２１（Ｂ）のように、インデントを修正できる。
【００５２】
次いで、ユーザ操作判別処理からの二つ目の出力先である出力処理について説明する。
図２２は、出力処理を説明するための図である。
ステップ９０の出力処理は、結果メモリ１０２に記憶された認識文字列およびアウトライン情報をハードディスクや光ディスクなどの記憶媒体に保存したり、メールとして指定した人物に送信したりする処理を行なう。
まず、図２２に示すように、フォーマット変換処理によって、結果メモリ内の情報を文書化する（ステップ９１）。結果メモリ１０２に記憶されている行開始位置のｙ座標が小さい順にデータを呼び出し、インデント番号をもとに、ｈｔｍｌ文書やＴＡＢテキストのようなファイルフォーマットに変換する。次に、出力するための情報をユーザが入力する。記憶媒体に記憶する場合はファイル名を、メール送信する場合はメールアドレスおよび表題をユーザが入力する。上述のようにして文書化したデータを記憶媒体４あるいはネットワーク５に出力し、出力を行なうと、新たに手書き文字入力を行なうために、ステップ１０の認識命令判別処理に処理を渡す（ステップ９２）。なお、ネットワーク５に出力するためのアプリケーションはＯｕｔｌｏｏｋなどのメールソフトを用いる。
【００５３】
【発明の効果】
本発明は、効果手書き文字を随時活字化するのではなく、手書き情報をストローク情報および行情報とともに記録しておき、ユーザが任意のタイミングで手書き文字の一括変換を実行するとともに、手書き入力された情報の位置からインデントを求め、文字列のアウトラインを清書することができ、また、清書したアウトラインを簡単に修正することができる。
【００５４】
本発明は、効果アウトライン清書した文字列を、任意の記憶媒体に記憶したり、メールアドレスおよび表題を入力して任意の人物にメール送信したりすることができる。
【図面の簡単な説明】
【図１】 本発明の手書き文字一括変換装置が適用される会議システムを説明するための構成図である。
【図２】 本発明の手書き文字変換装置で用いる座標入力装置を有する表示装置の仕様の例を示した図である。
【図３】 本発明の手書き文字一括変換装置の概略の処理ブロック図である。
【図４】 認識命令判別処理が実行されるときの表示装置の手書き入力画面の例を示した図である。
【図５】 座標値記憶処理を説明するための図である。
【図６】 ストローク切り分け処理を説明するための図である。
【図７】 行単位切り分け処理を説明するための図である。
【図８】 行単位切り分け処理の動作を説明するための図である。
【図９】 座標値記憶処理の結果、座標値メモリに記憶される座標値，ストローク情報、および行情報の例を示した図である。
【図１０】 手書き文字認識処理を説明するための図である。
【図１１】 手書き文字認識処理の結果、結果メモリに記憶される情報の例を示した図である。
【図１２】 ＩＭＥ漢字変換処理を説明するための図である。
【図１３】 アウトライン清書処理を説明するための図である。
【図１４】 行開始位置算出処理を説明するための図である。
【図１５】 インデント付け処理を説明するための図である。
【図１６】 表示処理を説明するための図である。
【図１７】 ユーザ操作判別処理を説明するための図である。
【図１８】 ユーザ操作判別処理時の手書き入力画面の例を示した図である。
【図１９】 編集処理を説明するための図である。
【図２０】 編集処理時の手書き入力領域の例を示した図である。
【図２１】 インデント修正処理を説明するための図である。
【図２２】 出力処理を説明するための図である。
【符号の説明】
１…パーソナルコンピュータ（ＰＣ）、２…手書き入力画面、２1…座標入力装置、２2…表示装置、２ａ…手書き入力領域、２ｂ…“認識”ボタン、２ｃ…“出力”ボタン、３…操作者（ユーザ）、４…記憶媒体、５…ネットワーク。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a handwritten character batch conversion device and a handwritten character batch conversion. Method and And programs.
[0002]
[Prior art]
As a prior art related to a handwritten character conversion device provided with means for recognizing handwritten characters, for example, there are the following inventions.
(1) Japanese Patent Application Laid-Open No. 2000-099223 discloses a data processing apparatus (handwritten character conversion) having an interface having a fixed handwriting input frame and capable of easily correcting erroneous recognition. Device). In this data processing apparatus, a character code corresponding to a handwritten character is sent to the application.
(2) In Japanese Patent Laid-Open No. 2001-014103, the input method is efficiently switched in a character input device (handwritten character conversion device) having an interface having a fixed input frame as in the invention of (1). A character input device (handwritten character conversion device) is described.
[0003]
(3) In Japanese Patent Laid-Open No. 2000-076380, when inputting characters by handwriting on a touch panel, handwritten characters are freely input in an arbitrary input direction without being conscious of input frame settings and document format settings. A handwritten character input device (handwritten character conversion device) that enables this is described.
(4) Japanese Patent Laid-Open No. 09-319503 discloses a handwritten character that handles handwriting as stroke data (a sequence of a plurality of points connecting the starting point and the ending point of the handwriting) without performing character recognition on a handwritten character. Document processing device that performs document input and document editing freely with a simple operation by combining or using the character input method that recognizes character input for handwritten characters and converts them into character codes. A handwritten character conversion device).
[0004]
The prior art described above is an excerpt of a part of the invention related to a handwritten character recognition device, particularly a user interface therefor. There are roughly two types of user interfaces for handwritten character recognition. One is a user interface provided with a fixed frame as in the inventions of the above (1) and (2), and allows a user to enter characters in the frame in units of one character. It is. There is no need for character-by-character segmentation processing, and there is no misrecognition due to segmentation errors, but the user interface is heavy and difficult to use (hereinafter, character recognition in such a user interface is referred to as fixed frame handwritten character recognition). . The other is a user interface for recognizing characters by writing characters freely in a handwritten area and performing character extraction processing as in the inventions of (3) and (4) described above. Although there is misrecognition due to character-by-character segmentation processing, there is an advantage for the user that characters can be input by the same operation as an operation of running a pencil normally (hereinafter, character recognition in such a user interface is referred to as free handwriting recognition). ).
[0005]
Conventional techniques for handwritten character recognition include fixed frame handwritten character recognition and free handwriting recognition as described above. These methods realize conversion at any time by performing recognition processing when a character string or a certain amount of character string is input, and displaying the recognized character string to determine the character desired by the user. It is a technique. Considering the case where such a method is used during a meeting, troublesome work of reviewing the recognition result during the discussion may occur, or the division of thought may occur. In order to convert information input by handwriting during the meeting, it is desirable to store the handwritten information as coordinate values, and to convert the information when the discussion is settled or after the meeting is finished. Further, in the conventional method, the printing is performed, but no processing is performed on the position where the character is written. The character strings written during the conference are closely related to the upper and lower character strings, and it is desirable to express outlines such as bullets and indent structures as written. Furthermore, if you can save the outline-written text in a file or simply send it as an email to any person, you can effectively use the information born in the meeting.
[0006]
Furthermore, in the conventional method, when handwritten characters input in hiragana are converted into kanji, the user has to perform operations such as pressing a kanji conversion button. In that case, even if Windows (registered trademark) IME (Input Method Editor) converts a character string including kanji into kanji, the kanji part is not converted, and only the hiragana part not converted to kanji is converted into kanji. It is desirable to perform Kanji conversion at the same time when converting characters.
[0007]
[Problems to be solved by the invention]
The present invention has been made in view of the above situation, and in the handwritten character batch conversion device, handwritten characters are not printed at any time, but handwritten information is recorded together with stroke information and line information, The user executes batch conversion of handwritten characters at an arbitrary timing, obtains an indent from the position of information input by handwriting, and cleans the outline of the character string. It is also intended to make it easier to modify a written outline.
[0008]
In addition, it is intended to store a character string that has been outline-written in an arbitrary storage medium, or to send an e-mail to an arbitrary person by inputting an e-mail address and a title.
[0009]
Furthermore, handwritten character batch conversion On the way The handwritten character is not printed at any time, but the handwritten information is recorded together with the stroke information and the line information, and the user performs batch conversion of the handwritten character at an arbitrary timing, and the position of the information input by handwriting Indentation from text, clearing out the outline of a character string, and batch conversion of handwritten characters consisting of processing that easily modifies the written outline Proposed method It is intended to serve.
[0010]
Furthermore, in a program for executing a handwritten character batch conversion method, handwritten characters are not printed at any time, but handwritten information is recorded together with stroke information and line information, and the user performs batch conversion of handwritten characters at an arbitrary timing. Provides a program that executes a batch conversion method for handwritten characters that includes indentation from the position of handwritten input information, clearing the outline of the character string, and processing for easily correcting the written outline. It is intended to do.
[0011]
[Means for Solving the Problems]
The invention according to
[0012]
[0013]
The invention according to
[0014]
The invention according to
[0015]
The invention according to
[0016]
The invention according to claim 6 When the user operation determined by the user operation determination unit is an output of a recognized character string displayed on the display device, the recognized character string and outline information stored in the result storage unit are stored in a predetermined file format. Format conversion processing means for converting the data into the data, and data execution processing means for executing output of the data converted by the format conversion processing means
[0017]
The invention according to claim 7 provides: The data execution processing means outputs the converted data to a storage medium or sends it to a specified mail address and outputs it. Claims characterized by 6 It is the handwritten character batch conversion apparatus of description.
[0018]
The invention according to claim 8 is directed to a computer, wherein the computer As a judgment means The coordinate values based on the column-direction and row-direction coordinate values of the handwriting input input by the operator, output from a coordinate input device that can use the handwriting input screen on which the operator performs handwriting input as a display device A determination procedure for determining whether or not is a handwritten character recognition processing instruction; As coordinate value storage means In the determination procedure, when it is determined that the coordinate value is not a recognition processing command for the handwritten character, the coordinate value output from the coordinate input device is stored together with stroke information and line information of each coordinate value. Coordinate value storage procedure to be performed, and the computer As handwritten character recognition means In the determination procedure, when it is determined that the coordinate value is a recognition processing command for the handwritten character, the coordinate value storage is performed. procedure A handwritten character recognition procedure for generating a recognition character string in line units in which handwritten characters are recognized based on the coordinate values, the stroke information, and the line information, for all the coordinate values stored by Outline , The coordinate value storage procedure In Than Based on the stored coordinate value and the row information, the row start coordinate value of each row including the column direction and the row direction coordinate value is calculated, and the row direction coordinate value included in the row start coordinate value of the predetermined processing target row Taking a difference from the row direction coordinate value included in the row start coordinate value of another row determined based on the column direction coordinate value included in the row start coordinate value of the processing target row, the difference and a predetermined threshold value The indent structure indicating whether the processing target line is in a higher indent, a peer indent, or a lower indent relationship of the other line is set, and the line start coordinate value and the indent structure are Outline clean-up procedure to be acquired as outline information of the processing target line, and the computer As a result storage means A result storing procedure for storing the recognized character string and the outline information in association with each other; and As a display processing means , The result storage procedure In Than And a display processing procedure for causing the display device to display a stored recognized character string on the basis of corresponding outline information.
[0019]
The invention according to claim 9 is: The coordinate value storage means The above-mentioned stroke separation processing unit Inclusion A stroke separation process procedure for dividing the coordinate value output from the force device into stroke units and obtaining stroke information indicating the stroke formed by the coordinate value; The coordinate value storage means The line segmentation processing unit of Inclusion Based on the coordinate value output from the force device and the stroke information acquired by the stroke separation processing unit, the line unit separation processing procedure for acquiring line information indicating the line to which the stroke information belongs, The coordinate value storing procedure includes the coordinate input device. 9. The handwritten character batch conversion method according to claim 8, wherein the coordinate value output from is stored in the coordinate value storage unit together with the stroke information and the line information.
[0020]
According to a tenth aspect of the present invention, in the display processing procedure, a text box creation processing procedure for creating a text box for each line by the text box creation processing unit of the display processing means. In order A text setting processing procedure for setting a recognized character string stored in the result storage means to the created text box by a text setting processing unit of the display processing means, and a text box display position calculating process of the display processing means A text box display position calculation processing procedure for determining a display position on the display device of the recognized character string set in the text box by the text setting processing unit, and a display of the display processing means The processing unit comprises a display processing procedure for causing the display device to display the recognized character string set in the text box based on the display position determined by the text box display position calculation processing unit. A handwritten information batch conversion method according to claim 8 or 9.
[0021]
According to an eleventh aspect of the present invention, the computer As user operation discrimination means A user operation determination procedure for determining a user operation based on a coordinate value of handwritten input input by an operator output from the coordinate input device after being displayed on the display device by the display processing unit; As editing processing means When the user operation determined by the user operation determining means is correction of the outline information, the outline information is output based on the handwritten input coordinate value input by the operator and output from the coordinate input device. The handwritten character batch conversion method according to claim 8, further comprising: an editing processing procedure for correcting
[0022]
The invention according to
According to a thirteenth aspect of the present invention, the computer As a format conversion processing means When the user operation determined by the user operation determining means is an output of the recognized character string displayed on the display device, the recognized character string and outline information stored in the result storage means are stored in a predetermined file. A format conversion processing procedure for converting the data into format data; As a data execution processing means 13. A handwritten character batch conversion method according to claim 11 or 12, further comprising: a data execution processing procedure for executing output of data converted by the format conversion processing means.
The invention according to claim 14 is: The data execution procedure is as follows: 14. The handwritten character batch conversion method according to claim 13, wherein the converted data is output to a storage medium or transmitted to a designated mail address and output.
The invention according to claim 15 is the computer according to claim 8, in the handwritten character batch conversion method according to claim 8, wherein the determination procedure, the coordinate value storage procedure, the handwritten character recognition procedure, It is a program for executing an outline cleanup procedure, the result storing procedure, and the display processing procedure.
[0023]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in order with reference to the accompanying drawings.
FIG. 1 is a configuration diagram for explaining a conference system to which a handwritten character batch conversion apparatus of the present invention is applied, and FIG. 2 is a specification of a display device having a coordinate input device used in the handwritten character conversion apparatus of the present invention. It is the figure which showed the example of.
The conference system to which the handwritten character batch conversion device is applied includes a personal computer (hereinafter referred to as a PC) 1 as a handwritten character batch conversion device and coordinate input such as a Ricoh media site having the specifications shown in FIG. It is comprised with the
[0024]
Coordinate
[0025]
FIG. 3 is a schematic processing block diagram of the handwritten character batch conversion apparatus of the present invention.
Coordinate
First, the coordinate
[0026]
Then, IME kanji conversion processing is performed with reference to the
Further, the position where the character string is written is obtained with reference to the coordinate
Next, the
[0027]
Hereinafter, detailed processing of each step shown in FIG. 3 will be described.
First, recognition command discrimination processing will be described.
FIG. 4 shows the
For example, a
[0028]
Next, the coordinate value storage process that is the first output destination of the recognition command determination process will be described.
FIG. 5 is a diagram for explaining the coordinate value storage processing.
First, as shown in FIG. 5, the coordinate value of the handwritten character input to the handwriting input area by the user is divided into stroke units by the stroke dividing process and stored in the coordinate value memory 101 (step 21). For example, the coordinate
[0029]
Next, by line-by-line segmentation processing, the number of strokes to what number is in line units is investigated, and the result is stored in the coordinate value memory 101 (step 22).
Finally, the process is passed to the recognition command discrimination process in
[0030]
FIG. 6 is a diagram for explaining the stroke dividing process.
As shown in FIG. 6, the stroke separation process of step 21 that constitutes the coordinate value storage process of
[0031]
FIG. 7 is a diagram for explaining the line-by-line segmentation process.
For example, as shown in FIG. 7, it is assumed that the character string “Ah” is written in the first line of the
[0032]
FIG. 8 is a diagram for explaining the operation of the line unit segmentation process.
The line-by-line segmentation processing in
[0033]
FIG. 9 is a diagram illustrating an example of coordinate values, stroke information, and line information stored in the coordinate value memory as a result of the coordinate value storage processing.
As shown in FIG. 9, the information stored in the coordinate
[0034]
Next, a handwritten character recognition process that is the second output destination of the recognition command determination process will be described.
FIG. 10 is a diagram for explaining the handwritten character recognition process.
First, as shown in FIG. 10, the coordinate
[0035]
Next, it is determined whether or not there is a character to be recognized (step 33). If there is a character to be recognized (step 33-Yes), the coordinate value cut into one character is sent to the recognition engine. The character code recognized by the recognition engine is stored in the
Then, the process returns to step 33 to check whether or not the character to be recognized still exists. If it exists (step 33-Yes), it is sent to the recognition engine, and if it does not exist (step 33-No), it is recognized. It is checked whether or not a power line still exists (step 35). If there is a line (step 35-Yes), the process is transferred to the coordinate value calling process for one line of step 31, and the processes of steps 31 to 35 described above are repeated. If no line exists (step 35-No), the process is transferred to the IME kanji conversion process in
[0036]
FIG. 11 is a diagram illustrating an example of information stored in the result memory as a result of the handwritten character recognition process.
The information stored in the
[0037]
Next, the IME kanji conversion process that is handed over from the handwritten character recognition process will be described.
FIG. 12 is a diagram for explaining the IME kanji conversion process.
When a process is received from the process for determining the presence or absence of the next line in
The called recognition character string is sent to IME (Input Method Editor) such as MS-IME or ATOK. Then, since IME returns the result of Kanji conversion of the recognized character string, it overwrites the recognized character string in the result memory 102 (step 42). Further, an area for the IME-kanji conversion character string may be secured in the
[0038]
Then, it is checked whether or not the next line exists in the result memory 102 (step 43). If the next line exists (step 43-Yes), the process proceeds to the recognition character string calling process for one line in
As a result, the handwritten character is not printed at any time, but the handwritten information is recorded together with the stroke information and the line information, and the user executes collective recognition of the handwritten character at an arbitrary timing, and the recognized character string is transferred to the IME. By sending and converting kanji, the complexity of kanji conversion can be eliminated.
[0039]
Next, an outline cleanup process to which the process is transferred from the IME kanji conversion process will be described.
FIG. 13 is a diagram for explaining outline cleanup processing.
First, in the line start position calculation process, the line start position calculation process (step 51) is performed line by line with reference to the coordinate
[0040]
Next, with respect to the start position of each line obtained by the line start position calculation process, the x coordinate is compared with the upper line in ascending order of the y coordinate, an indentation process is performed, and the result is stored in the result memory 102 (step) 53). The reason why the processing is performed in ascending order of the y coordinate is because the user does not always input the character strings in the order of the smaller y coordinate. For example, if
Next, it is determined whether or not the next line exists (step 54). If there is a next line to be subjected to the indentation process described above (step 54-Yes), the process returns to step 53 to perform the indentation process. repeat. When there is no next line (step 54-No), the process is transferred to the display process of
[0041]
Next, the line start position calculation process will be described.
FIG. 14 is a diagram for explaining row start position calculation processing.
For example, as shown in FIG. 14, when four lines of character strings are input to the
[0042]
Next, the indentation process will be described.
FIG. 15 is a diagram for explaining the indentation process.
The indenting process is a process of setting a line number corresponding to the items of indent number, parent line number, and child line number that the
First, the x coordinate value of the processing target line “Kakikukeko” in the
As shown in FIG. 15A, if S is greater than or equal to W, the upper row is the upper (parent) and the processing target row is the lower (child). As shown in FIG. 15B, if S is greater than or equal to −W and less than W, the upper row and the processing target row are the same. As shown in FIG. 15C, if S is less than −W, the parent row number is traced in order based on the parent row number of the upper row by the value Q of the quotient obtained by dividing S by −W. Here, W is an indentation width, which can be set in advance by the user.
[0043]
As a specific example, an example in which the indentation process in step 53 is performed for FIG. 14 described above will be described.
When the line with the smallest y coordinate is searched, y1 of
[0044]
Next, when a line having a small y coordinate is searched,
[0045]
Next, the display process that has been handed over from the outline cleanup process will be described.
FIG. 16 is a diagram for explaining display processing.
In the display process of
First, in the text box creation process, a text box for each line is created (step 61). A text box can be easily created by using a programming tool such as Visual C ++ or Visual Basic. In the text setting process, a recognized character string in the result memory is set as text (step 62). Further, in the text box display position calculation process, if the y coordinate of the line start position of line n is yn and the indent number is In, the display position of the text box of line n is (W × In, yn) (step 63). ).
Next, it is determined whether or not there is a next line to be processed (step 64). If there is a next line (step 64-Yes), the process returns to step 61 to obtain the result. Execute for all rows stored in
[0046]
Next, the user operation determination process that has been handed over from the display process will be described.
FIG. 17 is a diagram for explaining the user operation determination process, and FIG. 18 is a diagram illustrating an example of a handwriting input screen at the time of the user operation determination process.
As user operations, an editing process for correcting outline information and an output process for saving to a storage medium and sending mail are prepared. First, when the user operation determination process starts, in the button change process, the “recognition” button 2b as shown in FIG. 4 is deleted, and an “output”
[0047]
Next, the editing process that is the first output destination from the user operation determination process will be described.
FIG. 19 is a diagram for explaining the editing process.
In the editing process in
[0048]
Subsequently, the user moves while touching the text box. At this time, the movement amount can be acquired by receiving the Mouse Move message. By changing the display position of the text box based on this movement amount, the user can move the text box. The user then releases the text box at an arbitrary location. At this time, using the fact that the destination of the text box can be determined by receiving the MouseUp message, the destination determination process is performed, and when the destination is determined in the destination determination process, the x coordinate of the grid line of the destination Then, the y coordinate of the movement destination is written in the line start position in the
[0049]
FIG. 20 is a diagram illustrating an example of a handwriting input area during editing processing.
As described above, the text box moving process is performed by the user in the editing process in
[0050]
FIG. 21 is a diagram for explaining the indent correction processing.
For example, the case where the above-described
The change of the indent number, the parent line number, and the child line number in the result memory is the same as the method described in the outline clearing process. Since the line above
[0051]
Third, the line start position of
[0052]
Next, an output process that is a second output destination from the user operation determination process will be described.
FIG. 22 is a diagram for explaining the output process.
In the output process in
First, as shown in FIG. 22, information in the result memory is documented by a format conversion process (step 91). Data is called in ascending order of the y-coordinate of the line start position stored in the
[0053]
【The invention's effect】
The present invention The handwritten information is recorded together with the stroke information and line information, and the user performs batch conversion of the handwritten characters at an arbitrary timing, and from the position of the information input by handwriting. You can ask for indentation, you can clear the outline of the string, and you can easily modify the outlined outline.
[0054]
The present invention The character string that has been clarified in the effect outline can be stored in an arbitrary storage medium, or an e-mail address and a title can be input and e-mail can be transmitted to an arbitrary person.
[Brief description of the drawings]
FIG. 1 is a configuration diagram for explaining a conference system to which a handwritten character batch conversion apparatus of the present invention is applied.
FIG. 2 is a diagram showing an example of the specification of a display device having a coordinate input device used in the handwritten character conversion device of the present invention.
FIG. 3 is a schematic processing block diagram of the handwritten character batch conversion apparatus of the present invention.
FIG. 4 is a diagram illustrating an example of a handwriting input screen of the display device when a recognition command determination process is executed.
FIG. 5 is a diagram for explaining coordinate value storage processing;
FIG. 6 is a diagram for explaining stroke dividing processing;
FIG. 7 is a diagram for explaining line-by-line segmentation processing;
FIG. 8 is a diagram for explaining the operation of line-by-line segmentation processing;
FIG. 9 is a diagram illustrating an example of coordinate values, stroke information, and line information stored in a coordinate value memory as a result of coordinate value storage processing;
FIG. 10 is a diagram for explaining handwritten character recognition processing;
FIG. 11 is a diagram illustrating an example of information stored in a result memory as a result of handwritten character recognition processing;
FIG. 12 is a diagram for explaining IME kanji conversion processing;
FIG. 13 is a diagram for explaining outline cleanup processing;
FIG. 14 is a diagram for explaining row start position calculation processing;
FIG. 15 is a diagram for explaining indentation processing;
FIG. 16 is a diagram for explaining display processing;
FIG. 17 is a diagram for explaining user operation determination processing;
FIG. 18 is a diagram illustrating an example of a handwriting input screen during user operation determination processing.
FIG. 19 is a diagram for explaining editing processing;
FIG. 20 is a diagram illustrating an example of a handwriting input area during editing processing.
FIG. 21 is a diagram for explaining indent correction processing;
FIG. 22 is a diagram for explaining output processing;
[Explanation of symbols]
1 ... Personal computer (PC), 2 ... Handwriting input screen, 2 1 ... Coordinate input device, 2 2 ... display device, 2a ... handwriting input area, 2b ... "recognition" button, 2c ... "output" button, 3 ... operator (user), 4 ... storage medium, 5 ... network.
Claims (15)
前記座標入力装置から出力された、操作者が入力した手書き入力の列方向及び行方向の座標値に基づいて、前記座標値が手書き文字の認識処理命令であるか否かを判定する判定手段と、
前記判定手段において、前記座標値が前記手書き文字の認識処理命令ではないと判定された場合に、前記座標入力装置から出力される前記座標値をそれぞれの座標値のストローク情報および行情報とともに記憶する座標値記憶手段と、
前記判定手段において、前記座標値が前記手書き文字の認識処理命令であると判定された場合に、前記座標値記憶手段に記憶された全ての座標値に対して、前記座標値と前記ストローク情報と前記行情報とに基づいて手書き文字を認識した行単位の認識文字列を生成する手書き文字認識手段と、
前記座標値記憶手段に記憶された座標値と行情報とに基づいて列方向及び行方向の座標値を含む各行の行開始座標値を算出し、所定の処理対象行の行開始座標値が含む行方向の座標値と前記処理対象行の行開始座標値が含む列方向の座標値に基づいて決定される他の行の行開始座標値が含む行方向の座標値との差分を取り、該差分と所定の閾値とに基づいて前記処理対象行が前記他の行の上位のインデント、同位のインデント、下位のインデントのいずれの関係にあるかを示すインデント構造を設定し、前記行開始座標値と前記インデント構造とを前記処理対象行のアウトライン情報として取得するアウトライン清書手段と、
前記認識文字列と前記アウトライン情報とを対応付けて記憶する結果記憶手段と、
前記結果記憶手段に記憶される認識文字列を対応するアウトライン情報に基づいて前記表示装置に表示させる表示処理手段と、
を有することを特徴とする手書き文字一括変換装置。In a handwritten character batch conversion device to which a handwriting input screen on which an operator performs handwriting input and a coordinate input device that can use the handwriting input screen as a display device are connected,
Determining means for determining whether or not the coordinate value is a handwriting character recognition processing command based on the column-direction and row-direction coordinate values of the handwritten input input by the operator output from the coordinate input device; ,
When the determination means determines that the coordinate value is not a recognition processing command for the handwritten character, the coordinate value output from the coordinate input device is stored together with stroke information and line information of each coordinate value. Coordinate value storage means;
In the determination unit, when it is determined that the coordinate value is a recognition processing command for the handwritten character, the coordinate value, the stroke information, and all the coordinate values stored in the coordinate value storage unit A handwritten character recognizing means for generating a recognized character string in units of lines in which handwritten characters are recognized based on the line information;
Based on the coordinate value and the row information stored in the coordinate value storage means, the row start coordinate value of each row including the column direction and the coordinate value in the row direction is calculated, and the row start coordinate value of the predetermined processing target row is included. Taking the difference between the coordinate value in the row direction and the coordinate value in the row direction included in the row start coordinate value of the other row determined based on the coordinate value in the column direction included in the row start coordinate value of the processing target row, Based on the difference and a predetermined threshold value, sets the indent structure indicating whether the processing target line is in a higher indent, a peer indent, or a lower indent of the other lines, and the line start coordinate value And an outline clearing means for acquiring the indent structure as outline information of the processing target line;
A result storage means for storing the recognized character string and the outline information in association with each other;
Display processing means for displaying the recognized character string stored in the result storage means on the display device based on corresponding outline information;
The handwritten character batch conversion apparatus characterized by having.
前記座標値記憶処理手段は、
前記座標値入力装置から出力された座標値をストローク単位に切り分け、前記座標値が構成するストロークを示すストローク情報を取得するストローク切り分け処理部と、
前記座標値入力装置から出力された座標値と前記ストローク切り分け処理部で取得したストローク情報とに基づいて、前記ストローク情報が属する行を示す行情報を取得する行単位切り分け処理部と、
を有し、前記座標入力手段から出力される前記座標値を前記ストローク情報および前記行情報とともに前記座標値記憶手段に記憶すること
を特徴とする請求項１に記載の手書き文字一括変換装置。Coordinate value storage processing means,
The coordinate value storage processing means includes:
The stroke value processing unit that cuts the coordinate value output from the coordinate value input device into stroke units, and obtains stroke information indicating the stroke formed by the coordinate value;
Based on the coordinate value output from the coordinate value input device and the stroke information acquired by the stroke segmentation processing unit, a line unit segmentation processing unit that acquires line information indicating the line to which the stroke information belongs;
The handwritten character batch conversion apparatus according to claim 1, wherein the coordinate value output from the coordinate input unit is stored in the coordinate value storage unit together with the stroke information and the line information.
行単位にテキストボックスを作成するテキストボックス作成処理部と、
前記結果記憶手段に記憶される認識文字列を前記作成されたテキストボックスに設定するテキスト設定処理部と、
前記テキスト設定処理部にてテキストボックスに設定された認識文字列の前記表示装置における表示位置を前記アウトライン情報に基づいて決定するテキストボックス表示位置算出処理部と、
前記テキストボックス表示位置算出処理部にて決定された表示位置に基づいて前記テキストボックスに設定された認識文字列を前記表示装置に表示させる表示処理部とからなること
を特徴とする請求項１または２に記載の手書き情報一括変換装置。The display processing means includes
A text box creation processing unit that creates a text box for each line;
A text setting processing unit that sets a recognized character string stored in the result storage means in the created text box;
A text box display position calculation processing unit for determining a display position of the recognized character string set in the text box in the text setting processing unit on the display device based on the outline information;
2. The display processing unit according to claim 1, further comprising: a display processing unit that causes the display device to display a recognized character string set in the text box based on the display position determined by the text box display position calculation processing unit. 2. The handwritten information batch conversion device according to 2.
前記ユーザ操作判別手段によって判別されたユーザ操作が、前記アウトライン情報の修正である場合に、前記座標入力装置から出力された、操作者が入力した手書き入力の座標値に基づいて、前記アウトライン情報の修正を行う編集処理手段と、
を備えることを特徴とする請求項１乃至３のいずれか１つに記載の手書き文字一括変換装置。User operation determination means for determining a user operation based on a coordinate value of handwritten input input by an operator output from the coordinate input device after being displayed on the display device by the display processing means;
When the user operation determined by the user operation determination means is correction of the outline information, the outline information is output based on the handwritten input coordinate value input by the operator and output from the coordinate input device. Editing processing means for making corrections;
The handwritten character batch conversion apparatus according to any one of claims 1 to 3, further comprising:
前記ユーザ操作判別手段によって判別されたユーザ操作が前記アウトライン情報の修正である場合に、前記座標入力装置から出力された、操作者が入力した手書き入力の座標値に基づいて、操作者によって選択されたテキストボックスを確定し、前記確定したテキストボックスの移動量を取得し、前記確定したテキストボックスと前記テキストボックスの移動量とに基づいて、前記アウトライン情報を修正する編集処理手段と、
を備えることを特徴とする請求項４に記載の手書き文字一括変換装置。User operation determination means for determining a user operation based on a coordinate value of handwritten input input by an operator output from the coordinate input device after being displayed on the display device by the display processing means;
When the user operation determined by the user operation determining means is correction of the outline information, the user operation is selected based on the handwritten input coordinate value input by the operator and output from the coordinate input device. Editing processing means for fixing the outline information based on the determined text box and the movement amount of the text box;
The handwritten character batch conversion apparatus according to claim 4, comprising:
前記フォーマット変換処理手段で変換されたデータの出力を実行するデータ実行処理手段と、
を備えることを特徴とする請求項４または５に記載の手書き文字一括変換装置。When the user operation determined by the user operation determination unit is an output of a recognized character string displayed on the display device, the recognized character string and outline information stored in the result storage unit are stored in a predetermined file format. Format conversion processing means for converting the data into
Data execution processing means for executing output of the data converted by the format conversion processing means;
The handwritten character batch conversion device according to claim 4, wherein the handwritten character batch conversion device is provided.
を特徴とする請求項６に記載の手書き文字一括変換装置。7. The handwritten character batch conversion apparatus according to claim 6, wherein the data execution processing means outputs the converted data to a storage medium or transmits the data to a designated mail address and outputs it.
前記コンピュータが判定手段として、操作者が手書き入力する手書き入力画面を表示装置として用いることが可能な座標入力装置から出力された、操作者が入力した手書き入力の列方向及び行方向の座標値に基づいて、前記座標値が手書き文字の認識処理命令であるか否かを判定する判定手順と、
前記コンピュータが座標値記憶手段として、前記判定手順において、前記座標値が前記手書き文字の認識処理命令ではないと判定された場合に、前記座標入力装置から出力される前記座標値をそれぞれの座標値のストローク情報および行情報とともに記憶する座標値記憶手順と、
前記コンピュータが手書き文字認識手段として、前記判定手順において、前記座標値が前記手書き文字の認識処理命令であると判定された場合に、前記座標値記憶手順により記憶されたすべての座標値に対して、前記座標値と前記ストローク情報と前記行情報とに基づいて手書き文字を認識した行単位の認識文字列を生成する手書き文字認識手順と、
前記コンピュータがアウトライン清書手段として、前記座標値記憶手順により記憶された座標値と行情報とに基づいて列方向及び行方向の座標値を含む各行の行開始座標値を算出し、所定の処理対象行の行開始座標値が含む行方向の座標値と前記処理対象行の行開始座標値が含む列方向の座標値に基づいて決定される他の行の行開始座標値が含む行方向の座標値との差分を取り、該差分と所定の閾値とに基づいて前記処理対象行が前記他の行の上位のインデント、同位のインデント、下位のインデントのいずれの関係にあるかを示すインデント構造を設定し、前記行開始座標値と前記インデント構造とを前記処理対象行のアウトライン情報として取得するアウトライン清書手順と、
前記コンピュータが結果記憶手段として、前記認識文字列と前記アウトライン情報とを対応付けて記憶する結果記憶手順と、
前記コンピュータが表示処理手段として、前記結果記憶手順により記憶される認識文字列を対応するアウトライン情報に基づいて前記表示装置に表示させる表示処理手順と、
を実行させることを特徴とする手書き文字一括変換方法。On the computer,
As the determination means , the coordinate values in the column direction and the row direction of the handwritten input input by the operator are output from the coordinate input device that can be used as a display device. A determination procedure for determining whether the coordinate value is a handwritten character recognition processing command;
When the computer determines that the coordinate value is not a recognition processing command for the handwritten character in the determination procedure, the coordinate value output from the coordinate input device is used as the coordinate value storage unit. Coordinate value storing procedure for storing together with stroke information and line information of
When it is determined in the determination procedure that the coordinate value is a recognition processing command for the handwritten character, the computer serves as a handwritten character recognition unit for all coordinate values stored in the coordinate value storage procedure . , A handwritten character recognition procedure for generating a line-by-line recognition character string that recognizes a handwritten character based on the coordinate value, the stroke information, and the line information;
As the computer outline finish means calculates the line start coordinates of each line including coordinate values of the column and row directions on the basis of the more stored coordinate values and line information on the coordinate values stored procedure, predetermined processing The row direction coordinate value included in the row start coordinate value of another row determined based on the coordinate value in the row direction included in the row start coordinate value of the target row and the coordinate value in the column direction included in the row start coordinate value of the processing target row. An indent structure that takes a difference from a coordinate value and indicates whether the processing target line is in a higher indent, a peer indent, or a lower indent based on the difference and a predetermined threshold An outline clearing procedure for acquiring the line start coordinate value and the indent structure as outline information of the processing target line;
A result storage procedure in which the computer stores the recognized character string and the outline information in association with each other as a result storage unit ;
A display processing procedure for displaying on the display device based on the as computer display processing means, the outline information corresponding to the recognized character string to be more stored in the result storing instructions,
A method for batch conversion of handwritten characters, characterized in that
前記座標値記憶手段の行単位切り分け処理部により、前記座標入力装置から出力された座標値と前記ストローク切り分け処理部で取得したストローク情報とに基づいて、前記ストローク情報が属する行を示す行情報を取得する行単位切り分け処理手順と
を有し、
前記座標値記憶手順は、前記座標入力装置から出力される前記座標値を前記ストローク情報および前記行情報とともに前記座標値記憶手段に記憶すること
を特徴とする請求項８に記載の手書き文字一括変換方法。The stroke segmentation processing unit of the coordinate value storing means, cut the coordinate values output from said seat ShimegiIri force system to the stroke unit, and the stroke segmentation procedure for obtaining stroke information indicating a stroke the coordinate value constitutes,
The row cut section of the coordinate value storing means based on the obtained stroke information in said coordinate values output from said seat ShimegiIri force system stroke segmentation processing unit, the line indicating the line in which the stroke information belongs A line-by-line segmentation processing procedure for acquiring information, and
9. The handwritten character batch conversion according to claim 8, wherein the coordinate value storage procedure stores the coordinate value output from the coordinate input device in the coordinate value storage unit together with the stroke information and the line information. Method.
前記表示処理手段のテキストボックス作成処理部により、行単位にテキストボックスを作成するテキストボックス作成処理手順と、
前記表示処理手段のテキスト設定処理部により、前記結果記憶手段に記憶される認識文字列を前記作成されたテキストボックスに設定するテキスト設定処理手順と、
前記表示処理手段のテキストボックス表示位置算出処理部により、前記テキスト設定処理部にてテキストボックスに設定された認識文字列の前記表示装置における表示位置を前記アウトライン情報に基づいて決定するテキストボックス表示位置算出処理手順と、
前記表示処理手段の表示処理部により、前記テキストボックス表示位置算出処理部にて決定された表示位置に基づいて前記テキストボックスに設定された認識文字列を前記表示装置に表示させる表示処理手順とからなること
を特徴とする請求項８または９に記載の手書き情報一括変換方法。The display processing procedure is as follows:
The text box creation processing unit of the display processing unit, and a text box creation process steps to create a text box for each line,
A text setting processing procedure for setting a recognized character string stored in the result storage means in the created text box by a text setting processing unit of the display processing means;
Text box display position for determining the display position of the recognized character string set in the text box by the text setting processing unit on the display device based on the outline information by the text box display position calculation processing unit of the display processing means Calculation processing procedure;
From the display processing procedure for causing the display device to display the recognized character string set in the text box based on the display position determined by the text box display position calculation processing unit by the display processing unit of the display processing unit. The handwritten information batch conversion method according to claim 8 or 9, wherein:
前記コンピュータが編集処理手段として、前記ユーザ操作判別手段により判別されたユーザ操作が、前記アウトライン情報の修正である場合に、前記座標入力装置から出力された、操作者が入力した手書き入力の座標値に基づいて、前記アウトライン情報の修正を行う編集処理手順と、
を備えることを特徴とする請求項８乃至１０のいずれか１つに記載の手書き文字一括変換方法。A user who discriminates a user operation based on a coordinate value of handwritten input inputted by an operator, which is output from the coordinate input device after being displayed on the display device by the display processing unit as the user operation discriminating unit. Operation determination procedure,
The coordinate value of the handwritten input input by the operator that is output from the coordinate input device when the user operation determined by the user operation determination unit is correction of the outline information as the editing processing unit. An editing process procedure for correcting the outline information based on
The handwritten character batch conversion method according to any one of claims 8 to 10, further comprising:
前記コンピュータが編集処理手段として、前記ユーザ操作判別手段によって判別されたユーザ操作が前記アウトライン情報の修正である場合に、前記座標入力装置から出力された、操作者が入力した手書き入力の座標値に基づいて、操作者によって選択されたテキストボックスを確定し、前記確定したテキストボックスの移動量を取得し、前記確定したテキストボックスと前記テキストボックスの移動量とに基づいて、前記アウトライン情報を修正する編集処理手順と、
を備えることを特徴とする請求項１１に記載の手書き文字一括変換方法。A user who discriminates a user operation based on a coordinate value of handwritten input inputted by an operator, which is output from the coordinate input device after being displayed on the display device by the display processing unit as the user operation discriminating unit. Operation determination procedure,
When the computer is the editing processing means, and the user operation determined by the user operation determining means is correction of the outline information, the coordinate value of the handwritten input input by the operator output from the coordinate input device is used. Based on this, the text box selected by the operator is confirmed, the movement amount of the confirmed text box is obtained, and the outline information is corrected based on the confirmed text box and the movement amount of the text box. Editing procedure,
The handwritten character batch conversion method according to claim 11, comprising:
前記コンピュータがデータ実行処理手段として、前記フォーマット変換処理手段で変換されたデータの出力を実行するデータ実行処理手順と、
を備えることを特徴とする請求項１１または１２に記載の手書き文字一括変換方法。The recognized character string stored in the result storage means when the computer is the format conversion processing means, and the user operation determined by the user operation determination means is the output of the recognized character string displayed on the display device And a format conversion processing procedure for converting outline information into data of a predetermined file format,
A data execution processing procedure in which the computer executes output of data converted by the format conversion processing means as data execution processing means ;
The handwritten character batch conversion method according to claim 11 or 12, further comprising:
を特徴とする請求項１３に記載の手書き文字一括変換方法。14. The handwritten character batch conversion method according to claim 13, wherein in the data execution processing procedure , the converted data is output to a storage medium or transmitted to a specified mail address and output.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002002946A JP4050055B2 (en) | 2002-01-10 | 2002-01-10 | Handwritten character batch conversion apparatus, handwritten character batch conversion method, and program |
| US10/338,831 US7215815B2 (en) | 2002-01-10 | 2003-01-09 | Handwriting information processing apparatus, handwriting information processing method, and storage medium having program stored therein for handwriting information processing |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002002946A JP4050055B2 (en) | 2002-01-10 | 2002-01-10 | Handwritten character batch conversion apparatus, handwritten character batch conversion method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003208416A JP2003208416A (en) | 2003-07-25 |
| JP4050055B2 true JP4050055B2 (en) | 2008-02-20 |
Family
ID=27642663
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002002946A Expired - Fee Related JP4050055B2 (en) | 2002-01-10 | 2002-01-10 | Handwritten character batch conversion apparatus, handwritten character batch conversion method, and program |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7215815B2 (en) |
| JP (1) | JP4050055B2 (en) |
Families Citing this family (80)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1302891A1 (en) * | 2001-10-12 | 2003-04-16 | Siemens Aktiengesellschaft | Apparatus for the detection and display of motion |
| KR100472429B1 (en) * | 2002-10-18 | 2005-03-10 | 삼성전자주식회사 | Key pad assembly for portable radiotelephone and controlling method thereof |
| JP4393161B2 (en) * | 2003-11-20 | 2010-01-06 | キヤノン株式会社 | Image processing apparatus and image processing method |
| JP4738777B2 (en) * | 2004-09-02 | 2011-08-03 | 株式会社リコー | Character recognition device, character recognition method, and character recognition program |
| US7873243B2 (en) | 2005-03-18 | 2011-01-18 | The Invention Science Fund I, Llc | Decoding digital information included in a hand-formed expression |
| US8599174B2 (en) | 2005-03-18 | 2013-12-03 | The Invention Science Fund I, Llc | Verifying a written expression |
| US8340476B2 (en) | 2005-03-18 | 2012-12-25 | The Invention Science Fund I, Llc | Electronic acquisition of a hand formed expression and a context of the expression |
| US7791593B2 (en) | 2005-03-18 | 2010-09-07 | The Invention Science Fund I, Llc | Machine-differentiatable identifiers having a commonly accepted meaning |
| US20060212430A1 (en) * | 2005-03-18 | 2006-09-21 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Outputting a saved hand-formed expression |
| US8640959B2 (en) | 2005-03-18 | 2014-02-04 | The Invention Science Fund I, Llc | Acquisition of a user expression and a context of the expression |
| US7961943B1 (en) * | 2005-06-02 | 2011-06-14 | Zeevi Eli I | Integrated document editor |
| JP5230901B2 (en) * | 2005-11-14 | 2013-07-10 | 株式会社ハル研究所 | GAME PROGRAM, GAME DEVICE, GAME CONTROL METHOD, AND GAME SYSTEM |
| US20070130547A1 (en) * | 2005-12-01 | 2007-06-07 | Navisense, Llc | Method and system for touchless user interface control |
| US8578282B2 (en) * | 2006-03-15 | 2013-11-05 | Navisense | Visual toolkit for a virtual user interface |
| US8249334B2 (en) * | 2006-05-11 | 2012-08-21 | Primesense Ltd. | Modeling of humanoid forms from depth maps |
| JP4762070B2 (en) * | 2006-07-19 | 2011-08-31 | 富士通株式会社 | Handwriting input device, handwriting input method, and computer program |
| JP4855965B2 (en) * | 2007-02-14 | 2012-01-18 | 株式会社リコー | Image processing apparatus, image processing method, image processing program, and image processing system |
| JP4850746B2 (en) * | 2007-02-15 | 2012-01-11 | 株式会社リコー | Image processing apparatus, image processing method, image processing program, and image processing system |
| JP4828448B2 (en) * | 2007-02-16 | 2011-11-30 | 株式会社リコー | Image processing apparatus, image processing method, and image processing program |
| JP4909760B2 (en) * | 2007-02-19 | 2012-04-04 | 株式会社リコー | Image processing apparatus, image processing method, and image processing program |
| JP4870599B2 (en) | 2007-03-16 | 2012-02-08 | 株式会社リコー | Image processing system, image processing apparatus, image processing method, and image processing program |
| US8064702B2 (en) * | 2007-12-21 | 2011-11-22 | Microsoft Corporation | Handwriting templates |
| US8255822B2 (en) * | 2007-12-21 | 2012-08-28 | Microsoft Corporation | Incorporated handwriting input experience for textboxes |
| US8116569B2 (en) * | 2007-12-21 | 2012-02-14 | Microsoft Corporation | Inline handwriting recognition and correction |
| US8933876B2 (en) | 2010-12-13 | 2015-01-13 | Apple Inc. | Three dimensional user interface session control |
| US8166421B2 (en) * | 2008-01-14 | 2012-04-24 | Primesense Ltd. | Three-dimensional user interface |
| US9035876B2 (en) | 2008-01-14 | 2015-05-19 | Apple Inc. | Three-dimensional user interface session control |
| CN101510138B (en) * | 2008-02-16 | 2012-07-11 | 旭丽电子(广州)有限公司 | Display device and method for processing or operating image object by applying same |
| JP4661924B2 (en) | 2008-09-12 | 2011-03-30 | カシオ計算機株式会社 | Electronic device and program with dictionary function |
| WO2010103482A2 (en) * | 2009-03-13 | 2010-09-16 | Primesense Ltd. | Enhanced 3d interfacing for remote devices |
| US8565479B2 (en) * | 2009-08-13 | 2013-10-22 | Primesense Ltd. | Extraction of skeletons from 3D maps |
| US20110164032A1 (en) * | 2010-01-07 | 2011-07-07 | Prime Sense Ltd. | Three-Dimensional User Interface |
| US8787663B2 (en) * | 2010-03-01 | 2014-07-22 | Primesense Ltd. | Tracking body parts by combined color image and depth processing |
| KR101658239B1 (en) | 2010-04-15 | 2016-09-30 | 삼성전자주식회사 | Method and apparatus for generating of animation message |
| US20110254765A1 (en) * | 2010-04-18 | 2011-10-20 | Primesense Ltd. | Remote text input using handwriting |
| US8594425B2 (en) | 2010-05-31 | 2013-11-26 | Primesense Ltd. | Analysis of three-dimensional scenes |
| JP5791131B2 (en) | 2010-07-20 | 2015-10-07 | アップル インコーポレイテッド | Interactive reality extension for natural interactions |
| US9201501B2 (en) | 2010-07-20 | 2015-12-01 | Apple Inc. | Adaptive projector |
| US8582867B2 (en) | 2010-09-16 | 2013-11-12 | Primesense Ltd | Learning-based pose estimation from depth maps |
| US8959013B2 (en) | 2010-09-27 | 2015-02-17 | Apple Inc. | Virtual keyboard for a non-tactile three dimensional user interface |
| US9104306B2 (en) * | 2010-10-29 | 2015-08-11 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Translation of directional input to gesture |
| US8872762B2 (en) | 2010-12-08 | 2014-10-28 | Primesense Ltd. | Three dimensional user interface cursor control |
| CN103347437B (en) | 2011-02-09 | 2016-06-08 | 苹果公司 | Gaze detection in 3D mapping environments |
| US9377865B2 (en) | 2011-07-05 | 2016-06-28 | Apple Inc. | Zoom-based gesture user interface |
| US8881051B2 (en) | 2011-07-05 | 2014-11-04 | Primesense Ltd | Zoom-based gesture user interface |
| US9459758B2 (en) | 2011-07-05 | 2016-10-04 | Apple Inc. | Gesture-based interface with enhanced features |
| US9030498B2 (en) | 2011-08-15 | 2015-05-12 | Apple Inc. | Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface |
| US9218063B2 (en) | 2011-08-24 | 2015-12-22 | Apple Inc. | Sessionless pointing user interface |
| US9122311B2 (en) | 2011-08-24 | 2015-09-01 | Apple Inc. | Visual feedback for tactile and non-tactile user interfaces |
| US9002099B2 (en) | 2011-09-11 | 2015-04-07 | Apple Inc. | Learning-based estimation of hand and finger pose |
| US9229534B2 (en) | 2012-02-28 | 2016-01-05 | Apple Inc. | Asymmetric mapping for tactile and non-tactile user interfaces |
| CN107665042B (en) | 2012-03-26 | 2021-05-07 | 苹果公司 | Enhanced virtual touchpad and touchscreen |
| US9047507B2 (en) | 2012-05-02 | 2015-06-02 | Apple Inc. | Upper-body skeleton extraction from depth maps |
| KR20130128681A (en) * | 2012-05-17 | 2013-11-27 | 삼성전자주식회사 | Method for correcting character style and an electronic device thereof |
| KR102040851B1 (en) * | 2012-08-06 | 2019-11-06 | 삼성전자주식회사 | Method for key inputting in a portable terminal |
| CN102866856B (en) * | 2012-09-05 | 2015-01-07 | 鸿富锦精密工业（深圳）有限公司 | Method and device for processing hand-writing input handwritings |
| US9019267B2 (en) | 2012-10-30 | 2015-04-28 | Apple Inc. | Depth mapping with enhanced resolution |
| JP5712232B2 (en) * | 2013-01-25 | 2015-05-07 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | Input device |
| US9898187B2 (en) | 2013-06-09 | 2018-02-20 | Apple Inc. | Managing real-time handwriting recognition |
| KR20150018127A (en) | 2013-08-09 | 2015-02-23 | 삼성전자주식회사 | Display apparatus and the method thereof |
| US9418281B2 (en) * | 2013-12-30 | 2016-08-16 | Google Inc. | Segmentation of overwritten online handwriting input |
| US9411508B2 (en) * | 2014-01-03 | 2016-08-09 | Apple Inc. | Continuous handwriting UI |
| JP2015148946A (en) * | 2014-02-06 | 2015-08-20 | ソニー株式会社 | Information processing device, information processing method, and program |
| WO2015141260A1 (en) * | 2014-03-17 | 2015-09-24 | 株式会社河合楽器製作所 | Handwritten music notation recognition device and program |
| JP6465414B6 (en) | 2014-10-30 | 2019-04-03 | Ｄｙｎａｂｏｏｋ株式会社 | Electronic device, method and program |
| CN105868590B (en) | 2015-01-19 | 2019-09-10 | 阿里巴巴集团控股有限公司 | A kind of handwriting data treating method and apparatus |
| JP2015122114A (en) * | 2015-03-04 | 2015-07-02 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | Input device |
| US11157166B2 (en) * | 2015-11-20 | 2021-10-26 | Felt, Inc. | Automove smart transcription |
| US10043279B1 (en) | 2015-12-07 | 2018-08-07 | Apple Inc. | Robust detection and classification of body parts in a depth map |
| JP2017215833A (en) * | 2016-06-01 | 2017-12-07 | 株式会社リコー | Information processing system, information processing method, information processing apparatus, and program |
| DK179329B1 (en) | 2016-06-12 | 2018-05-07 | Apple Inc | Handwriting keyboard for monitors |
| CN107665087B (en) * | 2016-07-28 | 2021-03-16 | 夏普株式会社 | Image display device, image display method, and image display system |
| US10366278B2 (en) | 2016-09-20 | 2019-07-30 | Apple Inc. | Curvature-based face detector |
| CN107967479B (en) * | 2016-10-19 | 2021-11-12 | 深圳怡化电脑股份有限公司 | Character recognition method and system with stained bill |
| US11194467B2 (en) | 2019-06-01 | 2021-12-07 | Apple Inc. | Keyboard management user interfaces |
| KR102149105B1 (en) * | 2019-09-18 | 2020-08-27 | 세종대학교산학협력단 | Mixed reality based 3D sketching device and method |
| KR20220017290A (en) * | 2020-08-04 | 2022-02-11 | 삼성전자주식회사 | Electronic device and method for aligning handwriting |
| WO2022160619A1 (en) * | 2021-02-01 | 2022-08-04 | 京东方科技集团股份有限公司 | Handwriting recognition method and apparatus, handwriting recognition system and interactive board |
| CN113723065A (en) * | 2021-09-02 | 2021-11-30 | 掌阅科技股份有限公司 | Display method of handwritten annotations, reading equipment and computer storage medium |
| JP2023137822A (en) | 2022-03-18 | 2023-09-29 | 株式会社リコー | Display device, fair copy method, program, and information sharing system |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4935634A (en) * | 1989-03-13 | 1990-06-19 | The Regents Of The University Of California | Atomic force microscope with optional replaceable fluid cell |
| US5537372A (en) * | 1991-11-15 | 1996-07-16 | International Business Machines Corporation | High density data storage system with topographic contact sensor |
| DE69309318T2 (en) * | 1992-01-10 | 1997-10-30 | Hitachi, Ltd., Tokio/Tokyo | Method and device for observing a surface |
| US5367373A (en) * | 1992-11-19 | 1994-11-22 | Board Of Regents, The University Of Texas System | Noncontact position measurement systems using optical sensors |
| US5481908A (en) * | 1993-04-28 | 1996-01-09 | Topometrix Corporation | Resonance contact scanning force microscope |
| US5356218A (en) * | 1993-05-04 | 1994-10-18 | Motorola, Inc. | Probe for providing surface images |
| US5517578A (en) | 1993-05-20 | 1996-05-14 | Aha! Software Corporation | Method and apparatus for grouping and manipulating electronic representations of handwriting, printing and drawings |
| US5463897A (en) * | 1993-08-17 | 1995-11-07 | Digital Instruments, Inc. | Scanning stylus atomic force microscope with cantilever tracking and optical access |
| US5440920A (en) * | 1994-02-03 | 1995-08-15 | Molecular Imaging Systems | Scanning force microscope with beam tracking lens |
| US5880743A (en) * | 1995-01-24 | 1999-03-09 | Xerox Corporation | Apparatus and method for implementing visual animation illustrating results of interactive editing operations |
| JPH0946370A (en) | 1995-07-28 | 1997-02-14 | Oki Electric Ind Co Ltd | Method for distributing image data described on electronic blackboard |
| JPH09319503A (en) | 1996-05-31 | 1997-12-12 | Sanyo Electric Co Ltd | Document processor, document processing method and storage medium |
| JP3216800B2 (en) | 1997-08-22 | 2001-10-09 | 日立ソフトウエアエンジニアリング株式会社 | Handwritten character recognition method |
| JP2000105671A (en) | 1998-05-11 | 2000-04-11 | Ricoh Co Ltd | Coordinate input / detection device and electronic blackboard system |
| JP2000043485A (en) | 1998-07-31 | 2000-02-15 | Ricoh Co Ltd | Electronic blackboard system |
| JP2000076380A (en) | 1998-08-31 | 2000-03-14 | Casio Comput Co Ltd | Handwritten character input device and storage medium |
| JP2000099223A (en) | 1998-09-17 | 2000-04-07 | Fujitsu Ltd | Data processing device having handwritten character input interface and recording medium |
| US6356866B1 (en) * | 1998-10-07 | 2002-03-12 | Microsoft Corporation | Method for converting a phonetic character string into the text of an Asian language |
| US6393395B1 (en) * | 1999-01-07 | 2002-05-21 | Microsoft Corporation | Handwriting and speech recognizer using neural network with separate start and continuation output scores |
| CN1173247C (en) * | 1999-01-13 | 2004-10-27 | 国际商业机器公司 | Handwriting Information Processing System with Character Segmentation User Interface |
| JP2001014103A (en) | 1999-06-30 | 2001-01-19 | Toshiba Corp | Character input device and character input method |
| US6931153B2 (en) * | 2000-04-20 | 2005-08-16 | Matsushita Electric Industrial Co., Ltd. | Handwritten character recognition apparatus |
| US7006711B2 (en) * | 2000-06-21 | 2006-02-28 | Microsoft Corporation | Transform table for ink sizing and compression |
| US7039234B2 (en) * | 2001-07-19 | 2006-05-02 | Microsoft Corporation | Electronic ink as a software object |
-
2002
- 2002-01-10 JP JP2002002946A patent/JP4050055B2/en not_active Expired - Fee Related
-
2003
- 2003-01-09 US US10/338,831 patent/US7215815B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20030185444A1 (en) | 2003-10-02 |
| JP2003208416A (en) | 2003-07-25 |
| US7215815B2 (en) | 2007-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4050055B2 (en) | Handwritten character batch conversion apparatus, handwritten character batch conversion method, and program | |
| JP2845149B2 (en) | Handwritten character input device and handwritten character input method | |
| JP2001005599A (en) | Information processing apparatus, information processing method, and recording medium recording information processing program | |
| JPH06337856A (en) | Hand-written character input device | |
| EP3867733B1 (en) | Input apparatus, input method, program, and input system | |
| JP2000122768A (en) | Character input device, its method and recording medium | |
| JP2012181653A (en) | Scoring method, program of scoring method, and scoring system | |
| JPH0683522A (en) | Coordinate input system | |
| JPS60136890A (en) | Real-time recognition device of hand-written locus | |
| JP2003208569A (en) | Handwritten information processing apparatus, handwritten information processing method, handwritten information processing program, recording medium on which the program is recorded, and electronic blackboard | |
| JP3422634B2 (en) | Handwritten character recognition method and apparatus | |
| JPH07200723A (en) | Character recognition method and device | |
| JP3167800B2 (en) | Online character input device | |
| JPH0744308A (en) | Word processor | |
| JP2004272377A (en) | Character editing device, character input / display device, character editing method, character editing program, and storage medium | |
| JP2013218592A (en) | Character input device | |
| JP4430910B2 (en) | Character recognition device, character recognition method, and character recognition program | |
| JP4698308B2 (en) | Character input device, character input program, and recording medium for recording character input program | |
| JPH0728801A (en) | Image data processing method and apparatus thereof | |
| JPH0973515A (en) | Character recognition device | |
| JPH07113951B2 (en) | Character recognition result confirmation and correction processing method in drawing recognition processing | |
| CN100418045C (en) | A selection method for handwriting input | |
| JP3093366B2 (en) | Image processing method and apparatus | |
| JPH09230992A (en) | Information processing device | |
| JPH1097531A (en) | Document editing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041213 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20041227 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060811 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060822 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061023 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070508 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070709 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070725 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070821 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071017 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071120 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071128 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101207 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101207 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111207 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111207 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121207 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131207 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |