[go: up one dir, main page]

JP2012038225A - Character recognition device, character recognition method and character recognition program - Google Patents

Character recognition device, character recognition method and character recognition program Download PDF

Info

Publication number
JP2012038225A
JP2012038225A JP2010179907A JP2010179907A JP2012038225A JP 2012038225 A JP2012038225 A JP 2012038225A JP 2010179907 A JP2010179907 A JP 2010179907A JP 2010179907 A JP2010179907 A JP 2010179907A JP 2012038225 A JP2012038225 A JP 2012038225A
Authority
JP
Japan
Prior art keywords
character
recognition
character image
candidate
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010179907A
Other languages
Japanese (ja)
Other versions
JP5644247B2 (en
Inventor
Takashi Segawa
誉史 瀬川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2010179907A priority Critical patent/JP5644247B2/en
Publication of JP2012038225A publication Critical patent/JP2012038225A/en
Application granted granted Critical
Publication of JP5644247B2 publication Critical patent/JP5644247B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Character Discrimination (AREA)

Abstract

【課題】適切な文字認識を実現する。
【解決手段】文字画像Aを画像認識して、1以上の候補文字を特定するとともに、当該1以上の候補文字それぞれについて、候補文字が文字画像と同じ文字であるとする尤度を算出する認識処理部14と、文字画像を文字認識した結果が訂正された該文字画像を含む履歴データベースを参照して、履歴データベースの文字画像Bと、処理対象の文字画像との類似度を求め、該類似度から、候補文字の尤度を補正する誤りリスト処理部16と、補正された尤度に基づいて候補文字から認識結果とする文字を特定する評価部18と、を備えている。
【選択図】図1
To realize proper character recognition.
Recognizing that character image A is recognized to identify one or more candidate characters, and for each of the one or more candidate characters, a likelihood that the candidate character is the same character as the character image is calculated. The similarity between the character image B in the history database and the character image to be processed is obtained by referring to the processing unit 14 and the history database including the character image obtained by correcting the character recognition result of the character image. An error list processing unit 16 that corrects the likelihood of the candidate character and an evaluation unit 18 that identifies a character as a recognition result from the candidate character based on the corrected likelihood.
[Selection] Figure 1

Description

本件は、文字認識装置、文字認識方法及び文字認識プログラムに関する。   The present case relates to a character recognition device, a character recognition method, and a character recognition program.

従来、例えば、金融機関における為替振込処理においては、以下のような手順の処理が実施されていた。(1)顧客(振込み依頼人)が振込み伝票に必要事項(振込先、金額等)を記入し、営業店窓口へ振込み依頼を行う。(2)振込み依頼を受け付けたオペレータは、営業店端末から振込み伝票のイメージを読み取る。このとき、営業店端末では、読み取り後のイメージデータを自動的に認識し、認識結果として認識率の一番高い文字を画面上に表示する。(3)そして、オペレータは、表示された文字と顧客が記入した文字とを同一画面上で目視にてチェックする。このとき、オペレータは、両文字が一致していないと判断すれば、正しい文字に修正して送信処理を行う。   Conventionally, for example, in the exchange transfer process in a financial institution, the following procedure has been performed. (1) The customer (transfer client) fills in the necessary information (transfer destination, amount, etc.) on the transfer slip and makes a transfer request to the sales office. (2) The operator who has received the transfer request reads the image of the transfer slip from the branch office terminal. At this time, the sales office terminal automatically recognizes the read image data and displays the character with the highest recognition rate on the screen as a recognition result. (3) The operator visually checks the displayed characters and the characters entered by the customer on the same screen. At this time, if the operator determines that the characters do not match, the operator corrects the characters to perform transmission processing.

ここで、オペレータによる文字の修正を補助するための技術として、特許文献1〜3等がある。特許文献1には、過去にオペレータが文字を修正した誤認識文字と修正後の文字とを関連付けて記憶しておき、新たな認識文字が、記憶されている誤認識文字と一致するときに、誤認識文字に関連付けられた修正後の文字を候補文字として表示する技術が開示されている。   Here, as a technique for assisting the correction of characters by an operator, there are Patent Documents 1 to 3 and the like. In Patent Document 1, an erroneously recognized character that has been corrected by the operator in the past and a corrected character are stored in association with each other, and when a new recognized character matches the stored erroneously recognized character, A technique for displaying a corrected character associated with a misrecognized character as a candidate character is disclosed.

また、特許文献2には、特許文献1の内容に加えて、誤認識頻度情報も記憶しておき、頻度の高い文字から順番に候補文字を表示する技術が開示されている。また、特許文献3には、ある文字の認識結果の確からしさを、その文字に関する過去の認識の正誤の率(信頼度)で補正することで、候補文字の順位を修正する技術が開示されている。   Patent Document 2 discloses a technique for storing erroneous recognition frequency information in addition to the contents of Patent Document 1 and displaying candidate characters in order from the most frequently used characters. Patent Document 3 discloses a technique for correcting the rank of candidate characters by correcting the certainty of the recognition result of a character by the accuracy (reliability) of past recognition related to that character. Yes.

特開昭59−049675号公報JP 59-049675 A 特開平5−26607号公報Japanese Patent Laid-Open No. 5-26607 特開平1−214987号公報JP-A-1-214987

上記特許文献1〜3では、コンピュータが一般的に誤認識しやすい文字に対しては候補文字が効果的に表示される。しかしながら、文字認識においては、認識率が比較的高い文字であっても、依頼人独特の筆跡(癖)等により誤認識される場合がある。このような場合に対しては、上記特許文献1〜3の技術では適応できない可能性が高い。   In Patent Documents 1 to 3, candidate characters are effectively displayed for characters that are generally easily misrecognized by a computer. However, in character recognition, even a character having a relatively high recognition rate may be erroneously recognized due to a handwriting (癖) unique to the client. In such a case, there is a high possibility that the techniques of Patent Documents 1 to 3 cannot be applied.

そこで本件は上記の課題に鑑みてなされたものであり、高精度な文字認識を可能にする文字認識装置、文字認識方法及び文字認識プログラムを提供することを目的とする。   Therefore, the present invention has been made in view of the above problems, and an object thereof is to provide a character recognition device, a character recognition method, and a character recognition program that enable highly accurate character recognition.

本明細書に記載の文字認識装置は、文字画像の文字認識を行う文字認識装置であって、前記文字画像を画像認識して、1以上の候補文字を特定するとともに、当該1以上の候補文字それぞれについて、候補文字が文字画像と同じ文字であるとする尤度を算出する候補文字尤度算出部と、文字画像を文字認識した結果が訂正された該文字画像を含む履歴データベースを参照して、前記履歴データベースの文字画像と、処理対象の文字画像との類似度を求め、該類似度から、前記候補文字の尤度を補正する補正部と、補正された尤度に基づいて前記候補文字から認識結果とする文字を特定する文字認識部と、を備える文字認識装置である。   The character recognition device described in the present specification is a character recognition device that performs character recognition of a character image, recognizes the character image, specifies one or more candidate characters, and the one or more candidate characters. For each, refer to a candidate character likelihood calculating unit that calculates the likelihood that the candidate character is the same character as the character image, and a history database including the character image in which the character recognition result of the character image is corrected Determining a similarity between the character image of the history database and the character image to be processed, and correcting the candidate character based on the corrected likelihood based on the similarity and the correction unit for correcting the likelihood of the candidate character And a character recognition unit that identifies a character as a recognition result.

本明細書に記載の文字認識方法は、コンピュータが、文字画像の文字認識を行う文字認識方法であって、前記文字画像を画像認識して、1以上の候補文字を特定するとともに、当該1以上の候補文字それぞれについて、候補文字が文字画像と同じ文字であるとする尤度を算出する候補文字尤度算出工程と、文字画像を文字認識した結果が訂正された該文字画像を含む履歴データベースを参照して、前記履歴データベースの文字画像と、処理対象の文字画像との類似度を求め、該類似度から、前記候補文字の尤度を補正する補正工程と、補正された尤度に基づいて前記候補文字から認識結果とする文字を特定する文字認識工程と、を含む文字認識方法である。   The character recognition method described in the present specification is a character recognition method in which a computer performs character recognition of a character image, and the character image is image-recognized to identify one or more candidate characters, and the one or more A candidate character likelihood calculating step for calculating the likelihood that the candidate character is the same character as the character image for each of the candidate characters, and a history database including the character image in which the result of character recognition of the character image is corrected With reference to, based on the correction step of obtaining the similarity between the character image of the history database and the character image to be processed, correcting the likelihood of the candidate character from the similarity, and the corrected likelihood And a character recognition step of identifying a character as a recognition result from the candidate character.

本明細書に記載の文字認識プログラムは、コンピュータを、前記文字画像を画像認識して、1以上の候補文字を特定するとともに、当該1以上の候補文字それぞれについて、候補文字が文字画像と同じ文字であるとする尤度を算出する候補文字尤度算出部、文字画像を文字認識した結果が訂正された該文字画像を含む履歴データベースを参照して、前記履歴データベースの文字画像と、処理対象の文字画像との類似度を求め、該類似度から、前記候補文字の尤度を補正する補正部、及び補正された尤度に基づいて前記候補文字から認識結果とする文字を特定する文字認識部、として機能させる文字認識プログラムである。   The character recognition program described in this specification causes a computer to image-recognize the character image to identify one or more candidate characters, and for each of the one or more candidate characters, the candidate character is the same character as the character image. A candidate character likelihood calculating unit for calculating the likelihood of being a character image, referring to a history database including the character image in which the result of character recognition of the character image is corrected, the character image of the history database, and the processing target A character recognition unit that obtains a similarity with a character image, corrects the likelihood of the candidate character from the similarity, and specifies a character as a recognition result from the candidate character based on the corrected likelihood , A character recognition program that functions as

本明細書に記載の文字認識装置、文字認識方法及び文字認識プログラムは、高精度な文字認識を実現できるという効果を奏する。   The character recognition device, the character recognition method, and the character recognition program described in this specification have an effect of realizing high-accuracy character recognition.

一実施形態に係る振込み伝票処理システムの構成を概略的に示す図である。It is a figure showing roughly the composition of the transfer slip processing system concerning one embodiment. 制御装置のハードウェア構成を示す図である。It is a figure which shows the hardware constitutions of a control apparatus. 認識処理データの一例を示す図である。It is a figure which shows an example of recognition process data. 誤りリストDBの一例を示す図である。It is a figure which shows an example of error list DB. 制御装置の一連の処理を示すフローチャートである。It is a flowchart which shows a series of processes of a control apparatus. 図5のステップS12の具体的処理を示すフローチャートである。It is a flowchart which shows the specific process of step S12 of FIG. 図6のステップS32の具体的処理を示すフローチャートである。It is a flowchart which shows the specific process of step S32 of FIG. 図8(a)、図8(b)は、認識処理データが作成される際の途中の状態を示す図である。FIG. 8A and FIG. 8B are diagrams showing a state in the middle when the recognition process data is created. 誤りリストDBのフォーマット後の状態を示す図である。It is a figure which shows the state after the format of error list DB. 図6のステップS48の具体的処理を示すフローチャートである。It is a flowchart which shows the specific process of step S48 of FIG. 図10の処理を説明するための図(その1)である。It is FIG. (1) for demonstrating the process of FIG. 図10の処理を説明するための図(その2)である。FIG. 11 is a diagram (No. 2) for describing the process of FIG. 10; 図10の処理を説明するための図(その3)である。FIG. 11 is a diagram (No. 3) for explaining the processing of FIG. 10; 図6のステップS50の具体的処理を示すフローチャートである。It is a flowchart which shows the specific process of step S50 of FIG. 図14の処理を説明するための図(その1)である。FIG. 15 is a diagram (No. 1) for describing the processing of FIG. 14; 図14の処理を説明するための図(その2)である。FIG. 15 is a diagram (No. 2) for explaining the processing of FIG. 14;

以下、振込み伝票処理システムの一実施形態について、図1〜図16に基づいて詳細に説明する。この振込み伝票処理システム100は、例えば銀行の営業店窓口に設置されるシステムである。振込み伝票処理システム100は、図1に示すように、文字認識装置としての制御装置10と、制御装置10に接続された、読み取り装置30と、入力装置40と、表示装置50と、を備えている。   Hereinafter, an embodiment of a transfer slip processing system will be described in detail with reference to FIGS. This transfer voucher processing system 100 is a system installed at a sales office of a bank, for example. As shown in FIG. 1, the transfer slip processing system 100 includes a control device 10 as a character recognition device, a reading device 30, an input device 40, and a display device 50 connected to the control device 10. Yes.

制御装置10は、読み取り装置30において読み取られた(スキャンされた)振込み伝票の画像を取得し、当該振込み伝票の画像から、振込み依頼人が記載した手書き文字の文字認識を行う。そして、当該文字認識結果を表示装置50に出力する。また、制御装置10は、振込み処理を行うセンターと、ネットワークを介して接続されており、振込み伝票の内容をセンターに送信する。なお、制御装置10の具体的な構成等については、後述する。   The control device 10 acquires an image of a transfer slip read (scanned) by the reading device 30, and performs character recognition of a handwritten character described by the transfer requester from the image of the transfer slip. Then, the character recognition result is output to the display device 50. Moreover, the control apparatus 10 is connected to the center which performs a transfer process via a network, and transmits the contents of the transfer slip to the center. The specific configuration of the control device 10 will be described later.

読み取り装置30は、スキャナなどの振込み伝票の画像を読み取ることが可能な装置である。読み取り装置30は、読み取り結果を、制御装置10に対して出力する。入力装置40は、キーボードやマウスなどを含むユーザインタフェースであり、振込み伝票処理システム100のオペレータが、文字入力やコマンドの入力などを行う際に使用する。表示装置50は、液晶ディスプレイや有機ELディスプレイなどのディスプレイである。   The reading device 30 is a device that can read an image of a transfer slip such as a scanner. The reading device 30 outputs the reading result to the control device 10. The input device 40 is a user interface including a keyboard and a mouse, and is used when an operator of the transfer slip processing system 100 performs character input, command input, and the like. The display device 50 is a display such as a liquid crystal display or an organic EL display.

図2には、制御装置10のハードウェア構成図が示されている。この図2に示すように、制御装置10は、CPU90、ROM92、RAM94、記憶部(ここではHDD(Hard Disk Drive))96、入出力部97等を備えており、制御装置10の構成各部は、バス98に接続されている。制御装置10では、ROM92あるいはHDD96に格納されているプログラム(文字認識プログラム)をCPU90が実行することにより、図1の各部の機能が実現される。また、入出力部97には、図1の読み取り装置30、入力装置40、及び表示装置50等が接続されている。   FIG. 2 is a hardware configuration diagram of the control device 10. As shown in FIG. 2, the control device 10 includes a CPU 90, a ROM 92, a RAM 94, a storage unit (HDD (Hard Disk Drive)) 96, an input / output unit 97, and the like. , Connected to the bus 98. In the control device 10, the CPU 90 executes a program (character recognition program) stored in the ROM 92 or the HDD 96, thereby realizing the functions of the respective units in FIG. The input / output unit 97 is connected to the reading device 30, the input device 40, the display device 50, and the like shown in FIG.

制御装置10では、図1に示すように、入力部12、候補文字尤度算出部としての認識処理部14、誤りリスト処理部16、評価部18、出力部20、及び送信部22、として機能する。また、制御装置10では、HDD96が、伝票イメージDB28、及び履歴データベースとしての誤りリストDB26として機能する。なお、誤りリスト処理部16及び評価部18の一部の機能により、補正部が実現され、評価部18の一部の機能により、文字認識部が実現される。   As shown in FIG. 1, the control device 10 functions as an input unit 12, a recognition processing unit 14 as a candidate character likelihood calculation unit, an error list processing unit 16, an evaluation unit 18, an output unit 20, and a transmission unit 22. To do. In the control device 10, the HDD 96 functions as a slip image DB 28 and an error list DB 26 as a history database. A correction unit is realized by a part of the functions of the error list processing unit 16 and the evaluation unit 18, and a character recognition unit is realized by a part of the functions of the evaluation unit 18.

入力部12は、読み取り装置30において取得した画像や、入力装置40から入力される情報を受け付ける。認識処理部14は、入力部12にて受け付けた画像(処理対象の画像)のうちの文字画像に対して文字認識を行い、1以上の候補文字を特定するとともに、当該1以上の候補文字が文字画像と同じ文字であるとする認識率(尤度(尤もらしさや確からしさの度合い)ともいう)を算出する。誤りリスト処理部16は、誤りリストDB26を参照して、当該DB26の文字画像と、処理対象の画像に含まれる文字画像との類似度(合致率)を求め、求められた類似度から、候補文字の認識率を補正する補正値を算出する。評価部18は、認識率を補正値にて補正し、その補正後の値(以下、正解率と呼ぶ)を含む認識処理データ(図3参照)に基づいて候補文字の評価をすることで、文字認識を行う。なお、図3には、評価部18において候補文字の評価に用いる認識処理データの一例が示されている。この図3の認識処理データにおける「文字画像A」の項目は、入力部12から、入力される文字画像である。また、「候補文字1〜5」の項目は、認識処理部14において文字認識されて得られる1以上の候補文字を意味する。各候補文字1〜5には認識率(尤度)が紐付けられている。「認識結果(仮)」の項目には、原則、候補文字1が登録される。「認識結果(本)」の項目は、評価部18の評価の結果、文字画像Aの認識結果とすべき文字が登録される。   The input unit 12 receives an image acquired by the reading device 30 and information input from the input device 40. The recognition processing unit 14 performs character recognition on a character image in the image (processing target image) received by the input unit 12 to identify one or more candidate characters, and the one or more candidate characters are identified. A recognition rate (likelihood (also referred to as likelihood or degree of likelihood)) that is the same character as the character image is calculated. The error list processing unit 16 refers to the error list DB 26, obtains the similarity (match rate) between the character image in the DB 26 and the character image included in the image to be processed, and uses the obtained similarity as a candidate. A correction value for correcting the character recognition rate is calculated. The evaluation unit 18 corrects the recognition rate with the correction value, and evaluates the candidate character based on the recognition processing data (see FIG. 3) including the corrected value (hereinafter referred to as the correct answer rate). Perform character recognition. FIG. 3 shows an example of recognition processing data used for evaluation of candidate characters by the evaluation unit 18. The item “character image A” in the recognition processing data of FIG. 3 is a character image input from the input unit 12. The item “candidate characters 1 to 5” means one or more candidate characters obtained by character recognition in the recognition processing unit 14. Each candidate character 1 to 5 is associated with a recognition rate (likelihood). In principle, candidate character 1 is registered in the item “recognition result (provisional)”. In the item “recognition result (book)”, a character to be a recognition result of the character image A as a result of the evaluation by the evaluation unit 18 is registered.

図1に戻り、出力部20は、評価部18の文字認識結果を、表示装置50に対して出力する。誤りリストDB26では、図4に示すように、振込み依頼人名と、訂正前の文字(文字画像の認識結果であり、評価部18の文字認識結果として表示装置50に表示された文字)、オペレータが訂正した後の文字(訂正によって文字画像の文字とされた文字)、そのときの文字画像(文字認識を行った文字画像B)とが関連付けられている。なお、誤りリストDB26には合致率の項目も含まれているが、この合致率の項目には、初めは何も入力されていないものとする。   Returning to FIG. 1, the output unit 20 outputs the character recognition result of the evaluation unit 18 to the display device 50. In the error list DB 26, as shown in FIG. 4, the name of the transfer client, the uncorrected characters (character image recognition results displayed on the display device 50 as the character recognition results of the evaluation unit 18), and the operator The corrected character (the character that has been changed to the character image by correction) and the character image at that time (character image B that has been subjected to character recognition) are associated with each other. The error list DB 26 includes a match rate item. However, it is assumed that nothing is initially input in the match rate item.

図1に戻り、伝票イメージDB28には、各種振込み伝票の画像が登録される。伝票イメージDB28に登録されている振込み伝票の画像は、認識処理部14が、読み取り装置30において取得した画像(手書き文字が記載された振込み伝票の画像)から手書き文字の画像のみを取得する際に用いられる。   Returning to FIG. 1, images of various transfer slips are registered in the slip image DB 28. The image of the transfer slip registered in the slip image DB 28 is obtained when the recognition processing unit 14 acquires only the image of the handwritten character from the image acquired by the reading device 30 (the image of the transfer slip in which the handwritten character is described). Used.

次に、図5〜図16に基づいて、振込み伝票処理システム100(主に制御装置10)の処理について、詳細に説明する。   Next, based on FIGS. 5-16, the process of the transfer slip processing system 100 (mainly control apparatus 10) is demonstrated in detail.

図5は、制御装置10の一連の処理を示すフローチャートである。この図5の処理においては、まず、ステップS10において、認識処理部14が、画像の読み取りが開始されたか否かを判断する。具体的には、認識処理部14は、振込み依頼人が手書きした振込み伝票が、オペレータにより読み取り装置30にセットされ、スキャン開始ボタン等が押されるなどして読み取り開始の指示が出されたか否かを判断する。   FIG. 5 is a flowchart showing a series of processing of the control device 10. In the process of FIG. 5, first, in step S10, the recognition processing unit 14 determines whether or not image reading has started. Specifically, the recognition processing unit 14 determines whether or not a transfer slip handwritten by the transfer requester is set in the reading device 30 by an operator and an instruction to start reading is issued by pressing a scan start button or the like. Judging.

次いで、ステップS12では、認識処理部14、誤りリスト処理部16及び評価部18が、振込み伝票の文字認識処理のサブルーチンを実行する。このステップS12では、各部14,16,18が、図6のフローチャートに沿った処理を実行する。   Next, in step S12, the recognition processing unit 14, the error list processing unit 16, and the evaluation unit 18 execute a subroutine for character recognition processing of the transfer slip. In this step S12, each part 14, 16, and 18 performs the process according to the flowchart of FIG.

図6の処理(ステップS12)では、ステップS30において、認識処理部14が、依頼人情報を取得する。ここで、認識処理部14は、依頼人情報を、例えば、振込み依頼が依頼人から出されたときにオペレータが確認する身分証明書から読み込み、取得する。ただし、これに限らず、認識処理部14は、依頼人情報を、例えば、振込み伝票に記載された依頼人の氏名から取得することとしても良い。または、認識処理部14は、オペレータが直接入力した依頼人の氏名を取得することとしても良い。   In the process of FIG. 6 (step S12), in step S30, the recognition processing unit 14 acquires client information. Here, the recognition processing unit 14 reads and acquires the client information from, for example, an identification card that the operator confirms when a transfer request is issued from the client. However, the present invention is not limited to this, and the recognition processing unit 14 may acquire the client information from, for example, the name of the client described in the transfer slip. Alternatively, the recognition processing unit 14 may acquire the name of the client who is directly input by the operator.

次いで、ステップS32では、認識処理部14が、認識処理のサブルーチンを実行する。このステップS32では、図7のフローチャートに沿った処理が実行される。   In step S32, the recognition processing unit 14 executes a recognition processing subroutine. In step S32, a process according to the flowchart of FIG. 7 is executed.

図7の処理では、ステップS70において、認識処理部14が、振込み伝票から1文字を抽出する。この場合、認識処理部14は、伝票イメージDB28に格納されている伝票の画像と、依頼人が手書きした後の伝票の画像との差分を取ることにより、振込み伝票に記載されている文字のうちの1つを抽出する。   In the process of FIG. 7, in step S70, the recognition processing unit 14 extracts one character from the transfer slip. In this case, the recognition processing unit 14 takes the difference between the image of the slip stored in the slip image DB 28 and the image of the slip after the client has handwritten, so that among the characters described in the transfer slip, One of these is extracted.

次いで、ステップS72では、認識処理部14が、抽出した文字画像Aについて複数(ここでは5つ)の候補文字1〜5を抽出する。ステップS74では、認識処理部14が、各候補文字の認識率を算出する。この場合の認識率としては、候補文字の文字特徴ベクトルから求められる距離情報などを用いて算出することができる。   Next, in step S72, the recognition processing unit 14 extracts a plurality (here, five) of candidate characters 1 to 5 for the extracted character image A. In step S74, the recognition processing unit 14 calculates the recognition rate of each candidate character. The recognition rate in this case can be calculated using distance information obtained from the character feature vector of the candidate character.

次いで、ステップS75では、認識処理部14が、候補文字1の認識率は閾値1以上か否かを判断する。ここで、閾値1としては、文字認識がある程度適切に行われた場合に示す値の下限値(例えばシミュレーション結果から求められる)などを採用することができる。ここでの判断が否定される場合とは、図3の認識処理データの最右列に示すように、文字が訂正されるなどして、認識率が他と比べて軒並み低い値を示す場合である。ここでの判断が肯定されるとステップS76に移行し、否定されるとステップS77に移行する。   Next, in step S75, the recognition processing unit 14 determines whether the recognition rate of the candidate character 1 is equal to or greater than the threshold value 1. Here, as the threshold value 1, a lower limit value (for example, obtained from a simulation result) of a value shown when character recognition is appropriately performed to some extent can be employed. The case where the judgment here is negative is a case where the recognition rate is lower than the others by correcting characters as shown in the rightmost column of the recognition processing data in FIG. is there. If the determination here is affirmed, the process proceeds to step S76. If the determination is negative, the process proceeds to step S77.

ステップS75の判断が肯定されてステップS76に移行すると、認識処理部14は、候補文字1を認識結果(仮)に設定する。一方、ステップS75の判断が否定されて、ステップS77に移行すると、認識処理部14は、「リジェクト」を認識結果(仮)に設定する。なお、「リジェクト」の意味については、後述する。なお、1つ目の文字画像Aに関して、ステップS72〜S76(又はS77)を経た段階では、図8(a)に示すような認識処理データを得ることができる。   When the determination in step S75 is affirmed and the process proceeds to step S76, the recognition processing unit 14 sets the candidate character 1 as a recognition result (temporary). On the other hand, if the determination in step S75 is negative and the process proceeds to step S77, the recognition processing unit 14 sets “reject” as the recognition result (temporary). The meaning of “reject” will be described later. Regarding the first character image A, recognition processing data as shown in FIG. 8A can be obtained at the stage after steps S72 to S76 (or S77).

次いで、ステップS78では、認識処理部14が、全文字画像Aの抽出が完了したか否かを判断する。ここでの判断が否定されると、ステップS70に戻り、次の文字画像Aについての処理が、上記と同様にして行われる。そして、全ての文字画像Aについての処理が終了すると、ステップS78の判断が肯定され、図6のステップS34に移行する。なお、ステップS78の判断が肯定された段階では、図8(b)に示すような認識処理データを得ることができる。   Next, in step S78, the recognition processing unit 14 determines whether or not the extraction of all the character images A has been completed. If the determination is negative, the process returns to step S70, and the process for the next character image A is performed in the same manner as described above. When the processes for all the character images A are completed, the determination in step S78 is affirmed, and the process proceeds to step S34 in FIG. Note that when the determination in step S78 is affirmative, recognition process data as shown in FIG. 8B can be obtained.

図6に戻り、ステップS34では、誤りリスト処理部16が、誤りリストDB26のうち読み込みを行っていない先頭のデータを読み込む。具体的には、図4に示す誤りリストDB26の未だ読み込まれていない先頭のデータ(ここでは、最上段のデータ)を読み込む。   Returning to FIG. 6, in step S <b> 34, the error list processing unit 16 reads the top data that has not been read from the error list DB 26. Specifically, the head data (here, the uppermost data) that has not yet been read in the error list DB 26 shown in FIG. 4 is read.

次いで、ステップS36では、誤りリスト処理部16が、データを読み込みできたか否かを判断する。ここでの判断が否定されると、ステップS54に移行するが、肯定されるとステップS38に移行する。ステップS38に移行した場合、誤りリスト処理部16が、依頼人のデータか否かを判断する。このステップS38の判断が否定された場合には、ステップS42において、誤りリスト処理部16が、読み込んだデータを破棄する。一方、ステップS38の判断が肯定された場合には、ステップS40において、誤りリスト処理部16が、読み込んだデータを取得する。ステップS42又はステップS40を経た後は、ステップS44に移行する。   Next, in step S36, the error list processing unit 16 determines whether data has been read. If the determination here is negative, the process proceeds to step S54. If the determination is positive, the process proceeds to step S38. When the process proceeds to step S38, the error list processing unit 16 determines whether the data is the client data. If the determination in step S38 is negative, the error list processing unit 16 discards the read data in step S42. On the other hand, if the determination in step S38 is affirmative, the error list processing unit 16 acquires the read data in step S40. After step S42 or step S40, the process proceeds to step S44.

ステップS44では、誤りリスト処理部16が、全てのデータの読み込みが終了したか否かを判断する。ここでの判断が否定された場合には、ステップS34に移行する。そして、ステップS44の判断が肯定されるまで、ステップS34〜ステップS44の処理・判断を繰り返すことにより、依頼人のデータのみを集めた誤りリストDBを作成(フォーマット)する。図9には、依頼人が「フジツウタロウ」であった場合のフォーマット後の誤りリストDBが示されている。   In step S44, the error list processing unit 16 determines whether all data has been read. When judgment here is denied, it transfers to step S34. Then, until the determination in step S44 is affirmed, the processing / determination in steps S34 to S44 is repeated to create (format) an error list DB that collects only the client data. FIG. 9 shows an error list DB after formatting when the client is “Fujitsutarou”.

上記処理を行い、ステップS44の判断が肯定されると、ステップS46に移行する。このステップS46では、評価部18が、ステップS40を1度以上経て、1以上のデータが取得されたか否かを判断する。このステップS46の判断が否定された場合には、ステップS54に移行する。一方、ステップS46の判断が肯定された場合には、ステップS47に移行する。   When the above process is performed and the determination in step S44 is affirmed, the process proceeds to step S46. In step S46, the evaluation unit 18 determines whether or not one or more pieces of data have been acquired through step S40 once or more. If the determination in step S46 is negative, the process proceeds to step S54. On the other hand, if the determination in step S46 is affirmative, the process proceeds to step S47.

ステップS47では、評価部18が、1つの文字画像Aを抽出する。ここでは、例えば、図8(b)の左端の文字画像Aが抽出されたものとする。そして、次のステップS48では、評価部18が、補正文字抽出処理1のサブルーチンを実行する。このサブルーチンでは、評価部18は、図10のフローチャートに沿った処理を実行する。   In step S47, the evaluation unit 18 extracts one character image A. Here, for example, it is assumed that the leftmost character image A in FIG. 8B has been extracted. In the next step S48, the evaluation unit 18 executes a subroutine of the corrected character extraction process 1. In this subroutine, the evaluation unit 18 executes processing according to the flowchart of FIG.

図10のステップS80では、評価部18が、フォーマット後の誤りリストDBから、候補文字1(図11の上図の太枠)と同一の訂正後の文字(図11の下図の太破線枠)に対応する文字画像B(図11の下図の太線枠)を、抽出する。次いで、ステップS82では、評価部18が、合致率を算出していない文字画像Bを算出対象にする。ここでは、評価部18は、図11の下図において符号Baで示す文字画像B(文字画像Ba)を算出対象とする。   In step S80 of FIG. 10, the evaluation unit 18 corrects the same corrected character as the candidate character 1 (bold frame in the upper diagram of FIG. 11) (bold broken line frame in the lower diagram of FIG. 11) from the formatted error list DB. A character image B (thick line frame in the lower diagram of FIG. 11) corresponding to is extracted. Next, in step S82, the evaluation unit 18 sets the character image B for which the match rate has not been calculated as a calculation target. Here, the evaluation unit 18 sets a character image B (character image Ba) indicated by a symbol Ba in the lower diagram of FIG. 11 as a calculation target.

次いで、ステップS84では、評価部18が、文字画像Aと算出対象の文字画像B(Ba)とを比較し、合致率を算出する。この場合の合致率としては、既知の方法を用いて求められる文字画像AとBaとの合致率(類似度)を採用することができる。なお、図12には、破線Laにて、合致率の算出の様子が模式的に示されている。図12では、文字画像Baと文字画像Aとの合致率として85%が算出されている。   Next, in step S84, the evaluation unit 18 compares the character image A with the character image B (Ba) to be calculated, and calculates a match rate. As the match rate in this case, the match rate (similarity) between the character images A and Ba obtained using a known method can be employed. In FIG. 12, the manner of calculating the match rate is schematically shown by a broken line La. In FIG. 12, 85% is calculated as the match rate between the character image Ba and the character image A.

次のステップS86では、評価部18が、抽出した全ての文字画像Bの合致率を算出したか否かを判断する。ここでは、文字画像Baとの合致率を算出したのみであるので、判断は否定され、ステップS82に戻る。その後は、文字画像Bb、Bc…と、文字画像Aとの合致率を算出する。なお、図12には、これらの算出過程が、破線Lb、Lcで示されている。そして、ステップS80において抽出された全ての文字画像Bとの合致率が算出された段階で、ステップS86の判断が肯定され、ステップS88に移行する。   In the next step S86, the evaluation unit 18 determines whether or not the match rates of all the extracted character images B have been calculated. Here, since only the match rate with the character image Ba has been calculated, the determination is denied, and the process returns to step S82. Thereafter, the match rate between the character images Bb, Bc... And the character image A is calculated. In FIG. 12, these calculation processes are indicated by broken lines Lb and Lc. Then, at the stage where the match rate with all the character images B extracted in step S80 is calculated, the determination in step S86 is affirmed, and the process proceeds to step S88.

ステップS88では、評価部18が、算出した合致率のうち最大のものを抽出する。ここでは、図12の下図において太破線枠で示す数値のうち最も大きい数値である85%が抽出される。次いで、ステップS90では、評価部18が、抽出した合致率最大のデータに係る訂正後の文字を取得する。ここでは、図13の下図に太破線枠で示すように、評価部18は、「1」を取得することになる。   In step S88, the evaluation unit 18 extracts the maximum one of the calculated match rates. Here, 85% which is the largest numerical value among the numerical values indicated by the thick broken line frame in the lower diagram of FIG. 12 is extracted. Next, in step S90, the evaluation unit 18 acquires a corrected character related to the extracted data with the highest matching rate. Here, as indicated by a thick broken line frame in the lower diagram of FIG. 13, the evaluation unit 18 acquires “1”.

次いで、ステップS92では、評価部18が、最大の合致率(ここでは、85%)を補正値として、訂正後の文字に関する認識率を次式(1)に基づいて補正し、補正後の値(ここでは、正解率1と呼ぶ)を取得する。
正解率1=訂正後の文字に関する認識率×補正値 …(1)
Next, in step S92, the evaluation unit 18 uses the maximum match rate (here, 85%) as a correction value, corrects the recognition rate related to the corrected character based on the following equation (1), and the corrected value: (Here, the accuracy rate is 1).
Correct answer rate 1 = recognition rate for corrected characters × correction value (1)

なお、訂正後の文字に関する認識率とは、図13の下図の訂正後の文字「1」と一致する、図13の上図の候補文字「1」の認識率を意味する。ここでは、評価部18は、上式(1)に基づいて、正解率1=66.3%(=78%×85%)を取得することができる。   The recognition rate related to the corrected character means the recognition rate of the candidate character “1” in the upper diagram of FIG. 13 that matches the corrected character “1” in the lower diagram of FIG. Here, the evaluation unit 18 can acquire the correct answer rate 1 = 66.3% (= 78% × 85%) based on the above equation (1).

上記のようにして、図10のステップS48の処理が終了すると、図6のステップS50(補正文字抽出処理2)に移行する。このステップS50の処理は、図14のフローチャートに沿って実行される。   As described above, when the process of step S48 of FIG. 10 is completed, the process proceeds to step S50 (corrected character extraction process 2) of FIG. The process of step S50 is executed along the flowchart of FIG.

図14のステップS102では、評価部18が、候補文字1(ここでは、「7」)と同一の文字が訂正後の文字となっているデータの、文字画像B及び訂正前の文字を抽出する。具体的には、評価部18は、候補文字1(「7」)と同一の訂正後の文字(図15の下図の太線枠)の文字画像及び訂正前の文字(いずれも図15の下図の太破線枠参照)を抽出する。   In step S102 of FIG. 14, the evaluation unit 18 extracts the character image B and the uncorrected character of data in which the same character as the candidate character 1 (here “7”) is the corrected character. . Specifically, the evaluation unit 18 uses the character image of the corrected character (thick line frame in the lower diagram of FIG. 15) and the character before correction (both of the lower characters of FIG. 15) as the candidate character 1 (“7”). (Refer to a thick broken line frame).

次いで、ステップS104では、評価部18が、合致率を算出していない文字画像Bを算出対象にする。ここでは、図15の下図の文字画像BAを算出対象にしたものとする。次いで、ステップS106では、評価部18が、文字画像Aと算出対象の文字画像B(ここでは文字画像BA)とを比較し、合致率を算出する。その結果、文字画像BAと文字画像Aとの合致率は、図16の下図に示すように、70%と算出されたものとする。   Next, in step S104, the evaluation unit 18 sets the character image B for which the match rate has not been calculated as a calculation target. Here, it is assumed that the character image BA in the lower diagram of FIG. Next, in step S106, the evaluation unit 18 compares the character image A with the character image B to be calculated (here, the character image BA), and calculates a match rate. As a result, the matching rate between the character image BA and the character image A is calculated to be 70% as shown in the lower diagram of FIG.

次いで、ステップS108では、評価部18が、抽出した全ての文字画像Bの合致率を算出したか否かを判断する。ここでは、未だ文字画像BAの合致率を算出したのみであるので、判断は否定され、ステップS104に戻る。   Next, in step S108, the evaluation unit 18 determines whether or not the match rates of all extracted character images B have been calculated. Here, since the match rate of the character image BA has only been calculated, the determination is denied and the process returns to step S104.

その後、ステップS108の判断が肯定されるまで、ステップS104〜S108の処理・判断が繰り返される。そして、ステップS108の判断が肯定されると、ステップS110に移行して、評価部18が、算出した合致率のうち最大のものを抽出する。ここでは、図16の下図に示す、70%が抽出されたものとする。   Thereafter, the processes and determinations in steps S104 to S108 are repeated until the determination in step S108 is affirmed. If the determination in step S108 is affirmed, the process proceeds to step S110, and the evaluation unit 18 extracts the maximum one of the calculated match rates. Here, 70% shown in the lower diagram of FIG. 16 is extracted.

次いで、ステップS112では、評価部18が、最大の合致率を補正値として、候補文字1の認識率を次式(2)に基づいて補正し、補正後の値(以下、正解率2と呼ぶ)を取得する。
正解率2=候補文字1に関する認識率×補正値 …(2)
Next, in step S112, the evaluation unit 18 corrects the recognition rate of the candidate character 1 based on the following equation (2) using the maximum matching rate as a correction value, and the corrected value (hereinafter referred to as correct answer rate 2). ) To get.
Correct answer rate 2 = recognition rate for candidate character 1 × correction value (2)

ここでは、評価部18は、上式(2)より、正解率2=56%(=80%×70%)を取得する。   Here, the evaluation unit 18 acquires the correct answer rate 2 = 56% (= 80% × 70%) from the above equation (2).

以上のようにして、図14のステップS50の全処理が終了すると、図6のステップS52に移行する。   As described above, when all the processes in step S50 in FIG. 14 are completed, the process proceeds to step S52 in FIG.

図6のステップS52では、評価部18が、正解率1,2が閾値2以上か否かを判断する。この判断が否定される場合とは、文字画像Aにおいて、図3の最右列に示すように文字が修正されているような場合を意味する。すなわち、閾値2としては、文字が修正された際の正解率1、2を統計的に取得し、その値から求められる所定値(例えば平均値や最大値)などを用いることができる。ここでの判断が否定された場合には、ステップS54に移行する。なお、前述のように、ステップS36及びステップS46の判断が否定された場合にも、ステップS54に移行する。   In step S <b> 52 of FIG. 6, the evaluation unit 18 determines whether the correct answer ratios 1 and 2 are equal to or greater than the threshold value 2. The case where this determination is denied means a case where the character is corrected in the character image A as shown in the rightmost column of FIG. That is, as the threshold 2, it is possible to statistically acquire the correct answer rates 1 and 2 when the characters are corrected, and use a predetermined value (for example, an average value or a maximum value) obtained from the values. When judgment here is denied, it transfers to step S54. As described above, when the determinations in steps S36 and S46 are negative, the process proceeds to step S54.

ステップS54では、評価部18が、認識結果(仮)を認識結果(本)に設定する。例えば、図7のステップS77において認識結果(仮)にリジェクトが設定されているような場合には、ステップS52の判断が否定される可能性が高い。このような場合には、ステップS54において、認識結果(本)にリジェクトが設定されることになる。また、ステップS36やステップS46の判断が否定されて、ステップS54に移行したような場合には、誤りリストDB26を用いた処理を行うことができていないので、認識結果(仮)をそのまま認識結果(本)に設定する。なお、ステップS54の処理が行われた後は、ステップS62に移行する。   In step S54, the evaluation unit 18 sets the recognition result (temporary) as the recognition result (main). For example, if the recognition result (temporary) is set to reject in step S77 in FIG. 7, the determination in step S52 is likely to be denied. In such a case, in step S54, a rejection is set for the recognition result (book). Further, when the determination in step S36 or step S46 is negative and the process proceeds to step S54, the process using the error list DB 26 cannot be performed, so the recognition result (provisional) is directly used as the recognition result. Set to (Book). In addition, after the process of step S54 is performed, it transfers to step S62.

一方、ステップS52において、判断が肯定されて、ステップS56に移行すると、評価部18は、正解率1が正解率2以上であるか否かを判断する。ここでの判断が肯定された場合、すなわち、正解率1が正解率2以上であった場合には、補正文字抽出処理1の訂正後の文字を認識結果(本)に設定する。一方、ステップS56の判断が否定されると、ステップS60に移行し、評価部18が、候補文字1を認識結果(本)とする。なお、ステップS58又はステップS60の処理が行われた後は、ステップS62に移行する。   On the other hand, when the determination is affirmed in step S52 and the process proceeds to step S56, the evaluation unit 18 determines whether or not the correct answer rate 1 is equal to or higher than the correct answer rate 2. If the determination here is affirmative, that is, if the correct answer rate 1 is greater than or equal to 2, the correct character in the corrected character extraction process 1 is set as the recognition result (book). On the other hand, if the determination in step S56 is negative, the process proceeds to step S60, and the evaluation unit 18 sets the candidate character 1 as a recognition result (book). In addition, after the process of step S58 or step S60 is performed, it transfers to step S62.

ステップS62では、評価部18が、全ての文字画像Aの認識結果(本)が設定されたか否かを判断する。ここでの判断が否定された場合には、ステップS47に戻り、次の文字画像AについてのステップS47〜S62の処理・判断が行われるようになっている。そして、ステップS62の判断が肯定された段階で、図6の全処理を終了して、図5のステップS14に移行する。なお、ステップS62の判断が肯定された場合には、評価部18においては、図3のような認識処理データが得られていることになる。   In step S62, the evaluation unit 18 determines whether or not the recognition results (books) for all the character images A have been set. If the determination here is negative, the process returns to step S47, and the processing / determination of steps S47 to S62 for the next character image A is performed. Then, when the determination in step S62 is affirmed, all the processes in FIG. 6 are terminated, and the process proceeds to step S14 in FIG. If the determination in step S62 is affirmed, the evaluation unit 18 has obtained recognition processing data as shown in FIG.

図5のステップS14では、出力部20が、認識結果を図1の表示装置50に出力する。ここで、認識結果(本)にリジェクトが設定されていた場合には、認識ができなかった旨の表示、例えば、「?」などの記号が表示される。次いで、ステップS16では、誤りリスト処理部16が、認識結果の訂正がオペレータによって実行されたか否かを判断する。ここでの判断が肯定された場合には、ステップS18に移行する。ステップS18では、誤りリスト処理部16が、誤りリストDB26を更新する。すなわち、誤りリスト処理部16は、依頼人名(フジツウタロウ)と、訂正前及び訂正後の文字、並びに文字画像Bを、図4に示す誤りリストDB26に新たに登録する。   In step S14 of FIG. 5, the output unit 20 outputs the recognition result to the display device 50 of FIG. Here, when a rejection is set in the recognition result (book), a display indicating that the recognition could not be performed, for example, a symbol such as “?” Is displayed. Next, in step S16, the error list processing unit 16 determines whether or not the recognition result has been corrected by the operator. When judgment here is affirmed, it transfers to step S18. In step S18, the error list processing unit 16 updates the error list DB 26. That is, the error list processing unit 16 newly registers the client name (Fujitsutaro), the characters before and after correction, and the character image B in the error list DB 26 shown in FIG.

次いで、ステップS20では、送信部22が、オペレータにより送信ボタンが押されたか否かを判断する。なお、送信ボタンとは、表示装置50に表示されている認識結果又は訂正後の認識結果の内容が正しいことをオペレータが確認したときに、押すボタンである。このステップS20の判断が否定された場合には、ステップS16に戻る。一方、ステップS20の判断が肯定された場合には、ステップS22に移行する。ステップS22では、送信部22が、表示装置50に表示されている認識結果又は訂正後の認識結果(振込みデータという)を、振り込み処理を行うセンターへ送信する。   Next, in step S20, the transmission unit 22 determines whether or not the transmission button has been pressed by the operator. The transmission button is a button that is pressed when the operator confirms that the content of the recognition result displayed on the display device 50 or the corrected recognition result is correct. If the determination in step S20 is negative, the process returns to step S16. On the other hand, if the determination in step S20 is affirmed, the process proceeds to step S22. In step S22, the transmission unit 22 transmits the recognition result displayed on the display device 50 or the corrected recognition result (referred to as transfer data) to the center that performs the transfer process.

以上、詳細に説明したように、本実施形態によると、認識処理部14が、処理対象である文字画像Aを画像認識して、候補文字1〜5を特定するとともに、当該候補文字1〜5それぞれの認識率(尤度)を算出し、誤りリスト処理部16が、過去に、文字認識の結果が別の文字に訂正されたことのある文字画像Bを含む誤りリストDB26を参照して、誤りリストDB26の文字画像Bと、文字画像Aとの合致率(類似度)から、認識率を補正する補正値を算出する。そして、評価部18は、算出した補正値を用いて認識率を補正して正解率を求め、当該正解率に基づいて、認識結果(本)を決定する。これにより、本実施形態では、過去に認識を行った文字画像のうちで、類似している文字画像における訂正履歴を考慮した認識率の補正を行うことができる。このように、類似している文字画像における訂正履歴を考慮することで、認識率が比較的高いが、依頼人独特の筆跡(癖)等により誤認識される可能性のある文字についても、高精度に文字認識することが可能となる。   As described above in detail, according to the present embodiment, the recognition processing unit 14 recognizes the character image A to be processed, identifies candidate characters 1 to 5, and specifies the candidate characters 1 to 5. Each recognition rate (likelihood) is calculated, and the error list processing unit 16 refers to the error list DB 26 including the character image B in which the result of character recognition has been corrected to another character in the past. From the match rate (similarity) between the character image B in the error list DB 26 and the character image A, a correction value for correcting the recognition rate is calculated. And the evaluation part 18 correct | amends a recognition rate using the calculated correction value, calculates | requires a correct answer rate, and determines a recognition result (book) based on the said correct answer rate. Thereby, in this embodiment, the recognition rate can be corrected in consideration of the correction history of similar character images among character images recognized in the past. In this way, by considering the correction history of similar character images, the recognition rate is relatively high. However, even for characters that may be erroneously recognized due to the handwriting (跡) unique to the client, Character recognition can be performed with high accuracy.

また、本実施形態では、誤りリストDB26は、過去に文字認識が行われた文字の画像と、認識結果に係る訂正前の文字と、訂正後の文字と、を関連付けて持ち、誤りリスト処理部16は、誤りリストDB26から、認識率が最も大きい候補文字と訂正前の文字とが一致する1以上の文字画像Bを取得し、当該1以上の文字画像Bそれぞれと、文字画像Aとの合致率(類似度)を算出する。そして、合致率(類似度)の最大値を算出し、合致率の最大値を、当該合致率が最大の文字画像Bに関連付けられた訂正後の文字と一致する候補文字の認識率の補正値とする。これにより、本実施形態では、評価部18が、文字画像Aとの合致率が最大の文字画像Bに関連付けられた訂正後の文字と一致する候補文字の認識率を、合致率の最大値で補正して、正解率1を算出することができるので、訂正後の文字と一致する候補文字の正解率を高精度に算出することが可能である。   In the present embodiment, the error list DB 26 has an image of characters that have been recognized in the past, an uncorrected character related to the recognition result, and a corrected character, in association with the error list processing unit. 16 obtains from the error list DB 26 one or more character images B in which the candidate character having the highest recognition rate matches the character before correction, and matches each of the one or more character images B with the character image A. The rate (similarity) is calculated. Then, the maximum value of the matching rate (similarity) is calculated, and the maximum value of the matching rate is calculated as a correction value of the recognition rate of candidate characters that match the corrected character associated with the character image B having the maximum matching rate. And As a result, in this embodiment, the evaluation unit 18 sets the recognition rate of the candidate character that matches the corrected character associated with the character image B having the highest match rate with the character image A as the maximum match rate. Since the correct rate 1 can be calculated after correction, it is possible to calculate the correct rate of the candidate character that matches the corrected character with high accuracy.

また、本実施形態では、誤りリスト処理部16は、誤りリストDB26から、認識率が最も大きい候補文字と訂正後の候補文字とが一致する1以上の文字画像Bを取得し、当該1以上の文字画像Bそれぞれと、文字画像Aとの合致率の最大値を算出し、当該合致率の最大値を認識率が最も大きい候補文字の認識率の補正値とする。これにより、本実施形態では、評価部18が、認識率が最も大きい候補文字の認識率を、認識率が最も大きい候補文字と訂正後の候補文字とが一致する文字画像Bと文字画像Aとの合致率の最大値で補正して、正解率2を算出することができるので、認識率が最も大きい候補文字の正解率を高精度に算出することが可能である。なお、これに限らず、誤りリスト処理部16は、文字画像Bそれぞれと、文字画像Aとの合致率を算出し、当該合致度を用いた何らかの演算により得られる値を認識率の補正値としても良い。   In the present embodiment, the error list processing unit 16 acquires one or more character images B in which the candidate character having the highest recognition rate matches the candidate character after correction from the error list DB 26, and the one or more character images B are obtained. The maximum value of the match rate between each character image B and the character image A is calculated, and the maximum value of the match rate is used as the correction value for the recognition rate of the candidate character having the highest recognition rate. Thereby, in this embodiment, the evaluation unit 18 determines the recognition rate of the candidate character having the highest recognition rate as the character image B and the character image A in which the candidate character having the highest recognition rate matches the corrected candidate character. Since the correct rate 2 can be calculated by correcting with the maximum value of the match rate, it is possible to calculate the correct rate of the candidate character with the highest recognition rate with high accuracy. Not limited to this, the error list processing unit 16 calculates a match rate between each character image B and the character image A, and uses a value obtained by some calculation using the match level as a recognition rate correction value. Also good.

また、本実施形態では、正解率1と正解率2とを比較して、正解率1≧正解率2のときに正解率1に係る候補文字を認識結果(本)とし、正解率1<正解率2のときに正解率2に係る候補文字を認識結果(本)とする。これにより、正解率1、2の単純比較という簡易な方法で、認識結果(本)を決定することができる。ここで、本実施形態では、文字画像Aに類似する過去の文字画像Bの事例に基づいて、文字画像Aの場合に、認識結果(仮)の文字から別の文字に訂正する可能性と、別の文字から認識結果(仮)の文字に訂正する可能性のいずれが高いかを判断しているので、適切に認識結果(本)を決定することができる。   Further, in the present embodiment, the correct answer rate 1 and the correct answer rate 2 are compared, and when the correct answer rate 1 ≧ the correct answer rate 2, the candidate character related to the correct answer rate 1 is set as the recognition result (book), and the correct answer rate 1 <correct answer When the rate is 2, the candidate character related to the accuracy rate 2 is set as the recognition result (book). Thereby, a recognition result (this) can be determined by a simple method of simple comparison of correct answer rates 1 and 2. Here, in the present embodiment, based on the case of the past character image B similar to the character image A, in the case of the character image A, the possibility of correcting the recognition result (temporary) character to another character; Since it is determined which is more likely to be corrected from another character to a recognition result (provisional) character, the recognition result (book) can be appropriately determined.

また、本実施形態では、誤りリストDB26から依頼人の過去のデータを抽出して、当該抽出したデータを用いて、認識結果(本)を決定するので、依頼人の筆跡の癖などを考慮して、依頼人ごとに多種多様な特徴のある文字の認識結果(本)を適切に決定することができる。   Further, in the present embodiment, the client's past data is extracted from the error list DB 26, and the recognition result (book) is determined using the extracted data. Thus, the recognition result (book) of characters having various characteristics can be appropriately determined for each client.

なお、上記実施形態では、評価部18が、正解率1と正解率2とを比較した結果に基づいて、認識結果(本)を決定する場合について説明したが、これに限られるものではない。例えば、評価部18は、正解率1と正解率2とを比較した結果に基づいて、正解率1に係る候補文字と正解率2に係る候補文字の順位付けを行うこととしても良い。この場合、出力部20は、順位の高い方を表示装置50に表示するとともに、順位の低い方を修正候補として付記的に表示するようにしても良い。すなわち、上記実施形態では、評価部18は、補正された認識率(正解率)に基づいて所定の文字認識を行い、その結果を表示するのであれば、その表示態様は問わない。   In the above embodiment, the case where the evaluation unit 18 determines the recognition result (the book) based on the result of comparing the correct answer rate 1 and the correct answer rate 2 has been described, but the present invention is not limited to this. For example, the evaluation unit 18 may rank candidate characters related to the correct answer rate 1 and candidate characters related to the correct answer rate 2 based on a result of comparing the correct answer rate 1 and the correct answer rate 2. In this case, the output unit 20 may display the higher rank on the display device 50 and additionally display the lower rank as a correction candidate. That is, in the said embodiment, the evaluation part 18 will not ask | require the display aspect, if predetermined | prescribed character recognition is performed based on the corrected recognition rate (correction rate), and the result is displayed.

また、上記実施形態では、誤りリスト処理部16が、誤りリストDB26から依頼人のデータのみを抽出して、上述した処理を行う場合について説明した(図9参照)。しかしながら、これに限られるものではなく、誤りリストDB26に登録されている全てのデータ(依頼人のデータ及び依頼人以外のデータ)を用いて、上述した処理を行うこととしても良い。   In the above embodiment, the case where the error list processing unit 16 extracts only the client data from the error list DB 26 and performs the above-described processing has been described (see FIG. 9). However, the present invention is not limited to this, and the above-described processing may be performed using all data registered in the error list DB 26 (data of the client and data other than the client).

また、上記実施形態では、上式(1)、(2)に示すように、認識率に補正値(合致率の最大値)を積算して、正解率を算出する場合について説明したが、これに限られるものではない。例えば、認識率と補正値とを用いた所定の演算により、正解率を算出することとしても良い。   Further, in the above embodiment, as shown in the above formulas (1) and (2), the correction value (maximum value of the match rate) is integrated with the recognition rate to calculate the correct answer rate. It is not limited to. For example, the correct answer rate may be calculated by a predetermined calculation using the recognition rate and the correction value.

なお、上記実施形態では、認識率を、文字特徴ベクトルの距離情報を用いて算出する場合について説明したが、これに限られるものではない。認識率は、文法的な意味合いに基づいて算出しても良い。例えば、数字が記載される可能性が高い欄において、片仮名と認識された場合には、その認識率を低くするなどすることができる。また、住所が記載されるべきところにおいて、前後の地名と関係する地名が認識された場合には、その認識度を高くするなどすることができる。   In the embodiment described above, the recognition rate is calculated using the distance information of the character feature vector. However, the present invention is not limited to this. The recognition rate may be calculated based on grammatical implications. For example, in the column where the number is likely to be written, if the katakana is recognized, the recognition rate can be lowered. Moreover, when the place name related to the place name before and after is recognized in the place where the address should be described, the recognition degree can be increased.

なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。   The above processing functions can be realized by a computer. In that case, a program describing the processing contents of the functions that the processing apparatus should have is provided. By executing the program on a computer, the above processing functions are realized on the computer. The program describing the processing contents can be recorded on a computer-readable recording medium.

プログラムを流通させる場合には、例えば、そのプログラムが記録されたDVD(Digital Versatile Disc)、CD−ROM(Compact Disc Read Only Memory)などの可搬型記録媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。   When the program is distributed, for example, it is sold in the form of a portable recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory) on which the program is recorded. It is also possible to store the program in a storage device of a server computer and transfer the program from the server computer to another computer via a network.

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。   The computer that executes the program stores, for example, the program recorded on the portable recording medium or the program transferred from the server computer in its own storage device. Then, the computer reads the program from its own storage device and executes processing according to the program. The computer can also read the program directly from the portable recording medium and execute processing according to the program. Further, each time the program is transferred from the server computer, the computer can sequentially execute processing according to the received program.

上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。   The above-described embodiment is an example of a preferred embodiment of the present invention. However, the present invention is not limited to this, and various modifications can be made without departing from the scope of the present invention.

なお、以上の説明に関して更に以下の付記を開示する。
(付記1) 文字画像の文字認識を行う文字認識装置であって、前記文字画像を画像認識して、1以上の候補文字を特定するとともに、当該1以上の候補文字それぞれについて、候補文字が文字画像と同じ文字であるとする尤度を算出する候補文字尤度算出部と、文字画像を文字認識した結果が訂正された該文字画像を含む履歴データベースを参照して、前記履歴データベースの文字画像と、処理対象の文字画像との類似度を求め、該類似度から、前記候補文字の尤度を補正する補正部と、補正された尤度に基づいて前記候補文字から認識結果とする文字を特定する文字認識部と、を備える文字認識装置。
(付記2) 前記履歴データベースは、文字認識を行った文字画像と、該文字画像の認識結果と、訂正によって該文字画像の文字とされた文字とを関連付けて持ち、前記補正部は、前記履歴データベースから、文字画像の認識結果が前記候補文字と同じ文字となる文字画像を取得し、当該文字画像と前記処理対象である文字画像との類似度を算出し、当該類似度を用いて、前記候補文字の尤度の補正をすることを特徴とする付記1に記載の文字認識装置。
(付記3) 前記補正部は、前記履歴データベースから、候補文字が文字画像と同じ文字とする文字画像を取得し、当該文字画像と、前記処理対象である文字画像との類似度を算出し、当該類似度を用いて前記候補文字の尤度の補正値とすることを特徴とする付記2に記載の文字認識装置。
(付記4) コンピュータが、文字画像の文字認識を行う文字認識方法であって、前記文字画像を画像認識して、1以上の候補文字を特定するとともに、当該1以上の候補文字それぞれについて、候補文字が文字画像と同じ文字であるとする尤度を算出する候補文字尤度算出工程と、文字画像を文字認識した結果が訂正された該文字画像を含む履歴データベースを参照して、前記履歴データベースの文字画像と、処理対象の文字画像との類似度を求め、該類似度から、前記候補文字の尤度を補正する補正工程と、補正された尤度に基づいて前記候補文字から認識結果とする文字を特定する文字認識工程と、を含む文字認識方法。
(付記5) 前記履歴データベースは、文字認識を行った文字画像と、該文字画像の認識結果と、訂正によって該文字画像の文字とされた文字とを関連付けて持ち、前記補正工程では、コンピュータが、前記履歴データベースから、文字画像の認識結果が前記候補文字と同じ文字となる文字画像を取得し、当該文字画像と前記処理対象である文字画像との類似度を算出し、当該類似度を用いて、前記候補文字の尤度の補正をすることを特徴とする付記4に記載の文字認識方法。
(付記6) 前記補正工程では、コンピュータが、前記履歴データベースから、候補文字が文字画像と同じ文字とする文字画像を取得し、当該文字画像と、前記処理対象である文字画像との類似度を算出し、当該類似度を用いて前記候補文字の尤度の補正値とすることを特徴とする付記5に記載の文字認識方法。
(付記7) コンピュータを、前記文字画像を画像認識して、1以上の候補文字を特定するとともに、当該1以上の候補文字それぞれについて、候補文字が文字画像と同じ文字であるとする尤度を算出する候補文字尤度算出部、文字画像を文字認識した結果が訂正された該文字画像を含む履歴データベースを参照して、前記履歴データベースの文字画像と、処理対象の文字画像との類似度を求め、該類似度から、前記候補文字の尤度を補正する補正部、及び補正された尤度に基づいて前記候補文字から認識結果とする文字を特定する文字認識部、として機能させることを特徴とする文字認識プログラム。
(付記8) 前記履歴データベースは、文字認識を行った文字画像と、該文字画像の認識結果と、訂正によって該文字画像の文字とされた文字とを関連付けて持ち、前記補正部は、前記履歴データベースから、文字画像の認識結果が前記候補文字と同じ文字となる文字画像を取得し、当該文字画像と前記処理対象である文字画像との類似度を算出し、当該類似度を用いて、前記候補文字の尤度の補正をすることを特徴とする付記7に記載の文字認識プログラム。
(付記9) 前記補正部は、前記履歴データベースから、候補文字が文字画像と同じ文字とする文字画像を取得し、当該文字画像と、前記処理対象である文字画像との類似度を算出し、当該類似度を用いて前記候補文字の尤度の補正値とすることを特徴とする付記8に記載の文字認識プログラム。
In addition, the following additional notes are disclosed regarding the above description.
(Supplementary note 1) A character recognition device for character recognition of a character image, wherein the character image is image recognized to identify one or more candidate characters, and for each of the one or more candidate characters, the candidate character is a character The character image of the history database is referred to by referring to a candidate character likelihood calculating unit that calculates a likelihood that the character is the same as the image, and a history database including the character image in which the result of character recognition of the character image is corrected. And a correction unit that corrects the likelihood of the candidate character from the similarity, and a character that is a recognition result from the candidate character based on the corrected likelihood A character recognition device comprising: a character recognition unit to be identified.
(Supplementary Note 2) The history database has a character image that has undergone character recognition, a recognition result of the character image, and a character that has been made a character of the character image by correction, and the correction unit includes the history image A character image whose character image recognition result is the same as the candidate character is obtained from the database, a similarity between the character image and the character image to be processed is calculated, and the similarity is used to calculate the character image. The character recognition apparatus according to appendix 1, wherein the likelihood of the candidate character is corrected.
(Additional remark 3) The said correction | amendment part acquires the character image which makes a candidate character the same character as a character image from the said history database, calculates the similarity degree of the said character image and the character image which is the said process target, The character recognition device according to appendix 2, wherein the similarity is used as a correction value for the likelihood of the candidate character.
(Supplementary Note 4) A character recognition method in which a computer performs character recognition of a character image, and recognizes the character image to identify one or more candidate characters, and each of the one or more candidate characters A candidate character likelihood calculating step for calculating a likelihood that the character is the same character as the character image, and a history database including the character image in which the result of character recognition of the character image is corrected, the history database A correction step of correcting the likelihood of the candidate character from the similarity, and a recognition result from the candidate character based on the corrected likelihood And a character recognition method for specifying a character to be recognized.
(Supplementary Note 5) The history database has a character image that has undergone character recognition, a recognition result of the character image, and a character that has been made a character of the character image by correction, and in the correction step, a computer , Obtaining a character image whose character image recognition result is the same as the candidate character from the history database, calculating a similarity between the character image and the character image to be processed, and using the similarity The character recognition method according to appendix 4, wherein the likelihood of the candidate character is corrected.
(Additional remark 6) In the said correction process, a computer acquires the character image which makes a candidate character the same character as a character image from the said history database, The similarity degree of the said character image and the character image which is the said process target is obtained. The character recognition method according to claim 5, wherein the character recognition is calculated and used as a correction value for the likelihood of the candidate character using the similarity.
(Supplementary note 7) The computer recognizes the character image and identifies one or more candidate characters, and for each of the one or more candidate characters, the likelihood that the candidate character is the same character as the character image A candidate character likelihood calculating unit for calculating, referring to a history database including the character image in which the result of character recognition of the character image is corrected, the similarity between the character image of the history database and the character image to be processed is determined. And a correction unit that corrects the likelihood of the candidate character from the similarity, and a character recognition unit that specifies a character as a recognition result from the candidate character based on the corrected likelihood. A character recognition program.
(Supplementary Note 8) The history database has a character image that has undergone character recognition, a recognition result of the character image, and a character that has been made a character of the character image by correction, and the correction unit includes the history image A character image whose character image recognition result is the same as the candidate character is obtained from the database, a similarity between the character image and the character image to be processed is calculated, and the similarity is used to calculate the character image. The character recognition program according to appendix 7, wherein the likelihood of a candidate character is corrected.
(Additional remark 9) The said correction | amendment part acquires the character image which makes a candidate character the same character as a character image from the said history database, calculates the similarity degree of the said character image and the character image which is the said process target, 9. The character recognition program according to appendix 8, wherein the similarity is used as a correction value for the likelihood of the candidate character.

10 制御装置(文字認識装置)
14 認識処理部(候補文字尤度算出部)
16 誤りリスト処理部(補正部の一部)
18 評価部(補正部の一部、文字認識部)
26 誤りリストDB(履歴データベース)
10 Control device (character recognition device)
14 Recognition Processing Unit (Candidate Character Likelihood Calculation Unit)
16 Error list processing part (part of correction part)
18 Evaluation part (part of correction part, character recognition part)
26 Error list DB (history database)

Claims (5)

文字画像の文字認識を行う文字認識装置であって、
前記文字画像を画像認識して、1以上の候補文字を特定するとともに、当該1以上の候補文字それぞれについて、候補文字が文字画像と同じ文字であるとする尤度を算出する候補文字尤度算出部と、
文字画像を文字認識した結果が訂正された該文字画像を含む履歴データベースを参照して、前記履歴データベースの文字画像と、処理対象の文字画像との類似度を求め、該類似度から、前記候補文字の尤度を補正する補正部と、
補正された尤度に基づいて前記候補文字から認識結果とする文字を特定する文字認識部と、を備える文字認識装置。
A character recognition device for character recognition of a character image,
Recognizing the character image to identify one or more candidate characters, and for each of the one or more candidate characters, calculate the likelihood that the candidate character is the same character as the character image And
Referring to a history database including the character image in which the result of character recognition of the character image is corrected, the similarity between the character image in the history database and the character image to be processed is obtained, and the candidate is obtained from the similarity. A correction unit for correcting the likelihood of characters;
A character recognition device comprising: a character recognition unit that identifies a character as a recognition result from the candidate character based on the corrected likelihood.
前記履歴データベースは、文字認識を行った文字画像と、該文字画像の認識結果と、訂正によって該文字画像の文字とされた文字とを関連付けて持ち、
前記補正部は、前記履歴データベースから、文字画像の認識結果が前記候補文字と同じ文字となる文字画像を取得し、当該文字画像と前記処理対象である文字画像との類似度を算出し、当該類似度を用いて、前記候補文字の尤度の補正をすることを特徴とする請求項1に記載の文字認識装置。
The history database has a character image that has undergone character recognition, a recognition result of the character image, and a character that has been made a character of the character image by correction,
The correction unit acquires, from the history database, a character image whose character image recognition result is the same as the candidate character, calculates a similarity between the character image and the character image to be processed, The character recognition apparatus according to claim 1, wherein the likelihood of the candidate character is corrected using a similarity.
前記補正部は、前記履歴データベースから、候補文字が文字画像と同じ文字とする文字画像を取得し、当該文字画像と、前記処理対象である文字画像との類似度を算出し、当該類似度を用いて前記候補文字の尤度の補正値とすることを特徴とする請求項2に記載の文字認識装置。   The correction unit acquires a character image in which the candidate character is the same character as the character image from the history database, calculates a similarity between the character image and the character image to be processed, and calculates the similarity The character recognition apparatus according to claim 2, wherein the character recognition device is used as a correction value for the likelihood of the candidate character. コンピュータが、文字画像の文字認識を行う文字認識方法であって、
前記文字画像を画像認識して、1以上の候補文字を特定するとともに、当該1以上の候補文字それぞれについて、候補文字が文字画像と同じ文字であるとする尤度を算出する候補文字尤度算出工程と、
文字画像を文字認識した結果が訂正された該文字画像を含む履歴データベースを参照して、前記履歴データベースの文字画像と、処理対象の文字画像との類似度を求め、該類似度から、前記候補文字の尤度を補正する補正工程と、
補正された尤度に基づいて前記候補文字から認識結果とする文字を特定する文字認識工程と、を含む文字認識方法。
A character recognition method in which a computer performs character recognition of a character image,
Recognizing the character image to identify one or more candidate characters, and for each of the one or more candidate characters, calculate the likelihood that the candidate character is the same character as the character image Process,
Referring to a history database including the character image in which the result of character recognition of the character image is corrected, the similarity between the character image in the history database and the character image to be processed is obtained, and the candidate is obtained from the similarity. A correction step for correcting the likelihood of the character;
And a character recognition step of identifying a character as a recognition result from the candidate character based on the corrected likelihood.
コンピュータを、
前記文字画像を画像認識して、1以上の候補文字を特定するとともに、当該1以上の候補文字それぞれについて、候補文字が文字画像と同じ文字であるとする尤度を算出する候補文字尤度算出部、
文字画像を文字認識した結果が訂正された該文字画像を含む履歴データベースを参照して、前記履歴データベースの文字画像と、処理対象の文字画像との類似度を求め、該類似度から、前記候補文字の尤度を補正する補正部、及び
補正された尤度に基づいて前記候補文字から認識結果とする文字を特定する文字認識部、として機能させることを特徴とする文字認識プログラム。
Computer
Recognizing the character image to identify one or more candidate characters, and for each of the one or more candidate characters, calculate the likelihood that the candidate character is the same character as the character image Part,
Referring to a history database including the character image in which the result of character recognition of the character image is corrected, the similarity between the character image in the history database and the character image to be processed is obtained, and the candidate is obtained from the similarity. A character recognition program that functions as a correction unit that corrects the likelihood of a character, and a character recognition unit that specifies a character as a recognition result from the candidate character based on the corrected likelihood.
JP2010179907A 2010-08-11 2010-08-11 Character recognition device, character recognition method, and character recognition program Expired - Fee Related JP5644247B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010179907A JP5644247B2 (en) 2010-08-11 2010-08-11 Character recognition device, character recognition method, and character recognition program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010179907A JP5644247B2 (en) 2010-08-11 2010-08-11 Character recognition device, character recognition method, and character recognition program

Publications (2)

Publication Number Publication Date
JP2012038225A true JP2012038225A (en) 2012-02-23
JP5644247B2 JP5644247B2 (en) 2014-12-24

Family

ID=45850131

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010179907A Expired - Fee Related JP5644247B2 (en) 2010-08-11 2010-08-11 Character recognition device, character recognition method, and character recognition program

Country Status (1)

Country Link
JP (1) JP5644247B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8938123B2 (en) 2012-05-11 2015-01-20 Kabushiki Kaisha Toshiba Electronic device and handwritten document search method

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09237322A (en) * 1995-12-28 1997-09-09 Nec Corp Candidate correcting system for recognizing device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09237322A (en) * 1995-12-28 1997-09-09 Nec Corp Candidate correcting system for recognizing device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8938123B2 (en) 2012-05-11 2015-01-20 Kabushiki Kaisha Toshiba Electronic device and handwritten document search method

Also Published As

Publication number Publication date
JP5644247B2 (en) 2014-12-24

Similar Documents

Publication Publication Date Title
RU2613734C1 (en) Video capture in data input scenario
US8107727B2 (en) Document processing apparatus, document processing method, and computer program product
CN110785773B (en) bill recognition system
CN111683285B (en) File content identification method and device, computer equipment and storage medium
KR20090087384A (en) How to Recognize Auto Accompaniment Scores on Mobile Devices
JP6859977B2 (en) Image processing equipment, image processing systems, image processing methods and programs
WO2000052645A1 (en) Document image processor, method for extracting document title, and method for imparting document tag information
US11816923B2 (en) Face image candidate determination apparatus for authentication, face image candidate determination method for authentication, program, and recording medium
EP3841523A1 (en) Text line image splitting with different font sizes
US20150278619A1 (en) Method and system for verification by reading
US10706581B2 (en) Image processing apparatus for clipping and sorting images from read image according to cards and control method therefor
CN107305682B (en) Method and apparatus for stitching images
JP5644247B2 (en) Character recognition device, character recognition method, and character recognition program
CN112270295B (en) Method and device for framing questions in student homework scenarios, terminal equipment and storage medium
JP5481965B2 (en) Information processing apparatus and information processing program
JP2010237909A (en) Knowledge correction program, knowledge correction device, and knowledge correction method
JP2020087112A (en) Document processing apparatus and document processing method
JP2021071911A (en) Form recognition device, form recognition system, and form recognition method
JP7316479B1 (en) Image processing system, image processing method, and program
JP7450131B2 (en) Image processing system, image processing method, and program
US20240193217A1 (en) Information processing apparatus, method of controlling information processing apparatus, and storage medium
JP2020052498A (en) Information processing apparatus and program
JP6028566B2 (en) Program, display control method, and display control apparatus
JP7291488B2 (en) Image processing device
JP2010218043A (en) Character information acquisition device, character information acquisition program and character information acquisition method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130604

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140527

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140723

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141007

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141020

R150 Certificate of patent or registration of utility model

Ref document number: 5644247

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees