JP3721034B2

JP3721034B2 - Character reading device, reading method, and reading program recording medium

Info

Publication number: JP3721034B2
Application number: JP36360399A
Authority: JP
Inventors: 俊徳長谷
Original assignee: NEC Engineering Ltd
Current assignee: NEC Engineering Ltd
Priority date: 1999-12-22
Filing date: 1999-12-22
Publication date: 2005-11-30
Anticipated expiration: 2019-12-22
Also published as: JP2001175809A

Description

【０００１】
【発明の属する技術分野】
本発明は文字読取り装置、文字読取り方法及び文字読取りプログラムを記録した記録媒体に関し、特に鉛筆で記入した文字を消しゴムで消した際に生じる消し残し等の汚れを除去するノイズ除去処理を具備する文字読取り装置、文字読取り方法及び文字読取りプログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
文字読取り装置においては、帳票上の読取り対象となる文字の多値画像を、何らかの方法で定めた二値化しきい値で二値化し、その二値化画像に対して文字認識処理を行うのが一般的である。しかし、文字の周辺に汚れ等がある場合、多値画像を二値化する際にそれらが文字とともに二値画像上にノイズとして現れる事がある。このような二値画像に対するノイズ除去処理としては、所定の大きさ以下の孤立した連結黒画素を検出し、それをノイズとして除去するという処理が一般的である。この処理により、文字周辺の微小なノイズは除去することが可能である。しかしながら、この処理では、鉛筆で記入した文字を消しゴムで消したとき等に生じる消し残し等の比較的大きな汚れを除去することが出来なかった。
【０００３】
そこで、上記のような比較的大きな汚れを除去する従来の技術として、特開平６−２７４６９３号公報や特開平５−６４６１号公報に開示されている。
【０００４】
特開平６−２７４６９３号公報では、文字画像上の文字の存在位置に線状の領域を設定し、この領域内に存在する連結黒画素を種情報として、その線状の領域を走査して種情報と接続している黒画素を抽出するという操作を行っている。すなわち、文字を構成する黒画素の連結性に着目して、孤立した比較的大きな連結黒画素を汚れ等のノイズと判断し、これを除去している。
【０００５】
特開平５−６４６１号公報では、文字画像を２分の１に圧縮した圧縮画像から最大画素ブロックを文字として抽出し、この最大画素ブロックを再び元の画像サイズに拡大したのちに、これと元の文字画像とのアンドを取ることにより、比較的大きな連結黒画素をノイズとして除去している。
【０００６】
【発明が解決しようとする課題】
しかし、特開平６−２７４６９３号公報では、文字が１つの連結黒画素で表されるという前提のもとに文字かノイズかの判断を行っているため、特に手書きで記入された文字を読取る場合等、複数個のそれぞれ分離したストロークで表現される文字が容易に起こり得るため適用が難しい。
【０００７】
また、特開平５−６４６１号公報では、最大画素ブロックという矩形領域の内か外かで文字とノイズの判別を行っているため、１文字が複数の分離したストロークで表現される場合や文字のすぐ近くに汚れが存在している場合に文字ストロークと汚れを正しく判別することが難しいという問題がある。
【０００８】
そのため、上記のような従来の技術では、消しゴムによる消し残し等の汚れがうまく除去できないため、そのようなノイズが文字の誤読あるいは不読の原因となっていた。
【０００９】
本発明は上述した従来技術の欠点を解決するためになされたものであり、その目的は鉛筆で記入する際に文字を消しゴムで消したときに生じる消し残し等の汚れをノイズとして除去することにより、汚れ等があっても正確に文字の読取りを行うことができる文字読取り装置、文字読取り方法及び文字読取りプログラムを記録した記録媒体を提供することである。
【００１０】
【課題を解決するための手段】
本発明による文字読取り装置は、帳票に記載された手書き文字を読取る文字読取り装置であって、前記帳票に対して画像読取りを行った多値画像上の文字についてその濃度の区分である濃度区分を前記多値画像上の画素値の分散と所定のしきい値とを比較して判定する文字濃度判定部と、前記多値画像内の読取り対象である文字とその文字以外の汚れとを判別するための汚れ判別しきい値を算出する汚れ判別しきい値算出部と、前記多値画像を二値化した二値画像上の連結黒画素が汚れか文字ストロークかを判別する汚れ判別部とを含み、前記汚れ判別部は、前記連結黒画素のサイズが第１のしきい値より大で、前記第１のしきい値より大きい値の第２のしきい値以下であり、かつ前記多値画像上の画素値の分散が前記所定のしきい値より大である場合、前記汚れ判別しきい値を用いて前記連結黒画素が汚れか文字ストロークかを判別することを特徴とする。また、前記汚れ判別部は、前記連結黒画素のサイズが前記第１のしきい値以下である場合には前記連結黒画素を汚れと判別し、前記連結黒画素のサイズが前記第２のしきい値より大である場合または前記第２のしきい値以下であるが前記多値画像上の画素値の分散が前記所定のしきい値より小である場合には前記連結黒画素を文字ストロークと判別することを特徴とし、また、前記汚れ判別部は、前記多値画像の画素値に基づいて前記連結黒画素を汚れとして判別することを特徴とする。
【００１１】
本発明による文字読取り方法は、帳票に記載された手書き文字を読取る文字読取り方法であって、前記帳票に対して画像読取りを行った多値画像上の文字についてその濃度の区分である濃度区分を前記多値画像上の画素値の分散と所定のしきい値とを比較して判定する文字濃度判定ステップと、前記多値画像内の読取り対象である文字とその文字以外の汚れとを判別するための汚れ判別しきい値を算出する汚れ判別しきい値算出ステップと、前記多値画像を二値化した二値画像上の連結黒画素が汚れか文字ストロークかを判別する汚れ判別ステップとを含み、前記汚れ判別ステップにおいては、前記連結黒画素のサイズが第１のしきい値より大で、前記第１のしきい値より大きい値の第２のしきい値以下であり、かつ前記多値画像上の画素値の分散が前記所定のしきい値より大である場合、前記汚れ判別しきい値を用いて前記連結黒画素が汚れか文字ストロークかを判別することを特徴とする。また、前記汚れ判別部ステップにおいては、前記連結黒画素のサイズが前記第１のしきい値以下である場合には前記連結黒画素を汚れと判別し、前記連結黒画素のサイズが前記第２のしきい値より大である場合または前記第２のしきい値以下であるが前記多値画像上の画素値の分散が前記所定のしきい値より小である場合には前記連結黒画素を文字ストロークと判別することを特徴とし、また、前記汚れ判別ステップにおいては、前記多値画像の画素値に基づいて前記連結黒画素を汚れとして判別することを特徴とする。
【００１２】
本発明による記録媒体は、コンピュータによって、帳票に記載された手書き文字を読取るための文字読取りプログラムを記録した記録媒体であって、該プログラムは、コンピュータに、前記帳票に対して画像読取りを行った多値画像上の文字についてその濃度の区分である濃度区分を前記多値画像上の画素値の分散と所定のしきい値とを比較して判定する文字濃度判定ステップと、前記多値画像内の読取り対象である文字とその文字以外の汚れとを判別するための汚れ判別しきい値を算出する汚れ判別しきい値算出ステップと、前記多値画像を二値化した二値画像上の連結黒画素が汚れか文字ストロークかを判別する汚れ判別ステップとを含み、前記汚れ判別ステップにおいては、前記連結黒画素のサイズが第１のしきい値より大で、前記第１のしきい値より大きい値の第２のしきい値以下であり、かつ前記多値画像上の画素値の分散が前記所定のしきい値より大である場合、前記汚れ判別しきい値を用いて前記連結黒画素が汚れか文字ストロークかを判別することを特徴とする。また、前記汚れ判別部ステップにおいては、前記連結黒画素のサイズが前記第１のしきい値以下である場合には前記連結黒画素を汚れと判別し、前記連結黒画素のサイズが前記第２のしきい値より大である場合または前記第２のしきい値以下であるが前記多値画像上の画素値の分散が前記所定のしきい値より小である場合には前記連結黒画素を文字ストロークと判別することを特徴とし、また、前記汚れ判別ステップにおいては、前記多値画像の画素値に基づいて前記連結黒画素を汚れとして判別することを特徴とする。
【００１３】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して詳細に説明する。図１を参照すると、本発明の実施の形態は、帳票上の読取り対象の文字イメージを多値画像として取込むスキャナ等の画像入力装置１と、情報を記憶する記憶装置２と、プログラム制御により動作するデータ処理装置３と、ディスプレイ装置等の出力装置４から構成されている。
【００１４】
記憶装置２は、画像記憶部２１と文字認識辞書部２２を含む。画像記憶部２１は、画像入力装置にて取り込んだ文字の多値画像を記憶する。文字認識辞書部２２は、文字認識処理に使用する辞書を記憶する。
【００１５】
データ処理装置３は、文字認識のための前処理を行う前処理部３１と、この前処理部３１により生成された二値画像から文字認識のための特徴を抽出する特徴抽出部３２と、この特徴抽出部３２により抽出された特徴と文字認識辞書部２２に格納された文字特徴とを比較することにより文字認識を行う文字認識部３３とを含んで構成されている。
【００１６】
前処理部３１は、二値化部３１１とノイズ除去部３１２とを含んで構成されている。二値化部３１１は、濃度ヒストグラム生成部３１１１と、二値化しきい値算出部３１１２と文字濃度判定部３１１３と汚れ判別しきい値算出部３１１４と二値画像生成部３１１５とを含んで構成されている。
【００１７】
濃度ヒストグラム生成部３１１１は、画像記憶部２１に記憶された多値画像の各画素値毎の画素数をカウントした濃度ヒストグラムを生成する。二値化しきい値算出部３１１２は、この濃度ヒストグラムを基に多値画像を二値化するための二値化しきい値を算出する。文字濃度判定部３１１３は、この濃度ヒストグラムを基に多値画像上の文字の濃さ区分を判定する。汚れ判別しきい値算出部３１１４は、上記濃度ヒストグラムを基に汚れと文字とを判別するための汚れ判別しきい値を算出する。二値画像生成部３１１５は、上記二値化しきい値により上記多値画像を二値化した二値画像を生成する。
【００１８】
ノイズ除去部３１２は、汚れ判別部３１２１と連結黒画素除去部３１２２とを含んで構成されている。汚れ判別部３１２１は、二値画像上の連結黒画素が汚れか文字ストロークかを判定する。連結黒画素除去部３１２２は、汚れ判別部３１２１で汚れと判定された連結黒画素または所定の大きさ以下の連結黒画素を上記二値画像上から除去する。
【００１９】
次に、図１の他、図２〜図４、図６及び図７のフローチャート更には図５を参照して本実施の形態の全体の動作について詳細に説明する。
【００２０】
図２を参照し、まず、画像入力装置１により帳票上の読取り対象となる文字イメージが多値画像ＩＭＧとして取り込まれ、画像記憶部２１に格納される（ステップＳ１）。多値画像ＩＭＧは、画素値が大きいほど、その画素の明るさが明るいものとする。
【００２１】
次に、二値化部３１１は、多値画像ＩＭＧを二値化した二値画像ＩＭＢを生成する（ステップＳ２）。この場合、図３に示されているように、まず、濃度ヒストグラム生成部３１１１は、この多値画像ＩＭＧに対して、画素値毎の画素数をカウントした濃度ヒストグラムを生成する（図３のステップＳ２０）。
【００２２】
次に、二値化しきい値算出部３１１２は、上記濃度ヒストグラムを基に上記多値画像ＩＭＧを二値化するためのしきい値ＢＴＨを算出する（ステップＳ２１）。二値化しきい値ＢＴＨは、１９８０年、電子通信学会論文誌Ｖｏｌ．Ｊ６３−Ｄ、Ｎｏ．４、ｐｐ．３４９−３５６で大津の提案した判別分析法により求める。この大津の提案した方法は、例えば文字と背景という２つのカテゴリを含む画像において、それぞれのカテゴリ内の分散を最小にし、かつカテゴリ間の分散を最大にするようにしきい値を選定する方法である。
【００２３】
多値画像ＩＭＧの二値化は次のようにして行う。多値画像ＩＭＧのある画素の画素値が二値化しきい値ＢＴＨより小さければ、その画素に対応する二値画像ＩＭＢ上の画素の画素値を‘１’すなわち‘黒’とし、多値画像ＩＭＧのある画素の画素値が二値化しきい値ＢＴＨ以上であれば、その画素に対応する二値画像ＩＭＢ上の画素の画素値を‘０’すなわち‘白’とする。
【００２４】
次に、文字濃度判定部３１１３は、多値画像ＩＭＧ上の文字の濃度区分を判定する（ステップＳ２２）。文字の濃度区分としては、‘空白’、‘薄い’、‘濃い’の３つの区分があるものとする。
【００２５】
文字濃度判定部３１１３は、図４に示されているように、まず、多値画像ＩＭＧ上の画素値の分散Ｖｒを求める（図４のステップＳ２２０）。次に、分散Ｖｒと予め定められたしきい値ＢＲ＿ＴＨとを比較する（ステップＳ２２１）。ステップＳ２２１の分散Ｖｒとしきい値ＢＲ＿ＴＨとを比較した結果、Ｖｒ＜ＢＲ＿ＴＨが成り立つ場合は、その文字濃度区分を‘空白’と判定する（ステップＳ２２３）。
【００２６】
ステップＳ２２１において分散Ｖｒとしきい値ＢＲ＿ＴＨとを比較した結果、Ｖｒ＜ＢＲ＿ＴＨが成り立たない場合は、分散Ｖｒと予め定められたしきい値ＫＯＳＡ＿ＴＨとを比較する（ステップＳ２２２）。ステップＳ２２２において分散Ｖｒとしきい値ＫＯＳＡ＿ＴＨとを比較した結果、Ｖｒ＜ＫＯＳＡ＿ＴＨが成り立つ場合は、文字濃度区分を‘薄い’と判定する（ステップＳ２２４）。ステップＳ２２２において分散Ｖｒとしきい値ＫＯＳＡ＿ＴＨとを比較した結果、Ｖｒ＜ＫＯＳＡ＿ＴＨが成り立たない場合は、文字濃度区分を‘濃い’と判定する（ステップＳ２２５）。そして、文字濃度判定部３１１３はこのフローチャートの処理、すなわち図３のステップＳ２２を終了する。
【００２７】
次に、二値化部３１１は、変数ＫＯＳＡを‘０’で初期化する（図３のステップＳ２３）。変数ＫＯＳＡは、ＫＯＳＡ＝０ならば、上記文字濃度区分が‘空白’もしくは‘薄い’であり、ＫＯＳＡ＝１ならば上記文字濃度区分が‘濃い’であることを示すための変数である。
【００２８】
次に、文字濃度判定部３１１３により判定された文字濃度区分を参照し、濃度区分が‘空白’かどうか調べる（ステップＳ２４）。濃度区分が‘空白’であれば、二値画像生成部３１１５は、上記多値画像ＩＭＧを二値化した画像として、画素値が全て‘０’、すなわち全て白画素の二値画像ＩＭＢを生成する（ステップＳ２９）。ステップＳ２４において文字濃度区分が‘空白’でなければ、次に、文字濃度区分が‘薄い’かどうか調べる（ステップＳ２５）。ステップＳ２５において文字濃度区分が‘薄い’であれば、二値画像生成部３１１５は、上記多値画像ＩＭＧを上記二値化しきい値ＢＴＨで二値化した二値画像ＩＭＢを生成する（ステップＳ２８）。ステップＳ２５において文字濃度区分が‘薄い’でない場合、すなわち文字濃度区分が‘濃い’である場合は、汚れ判別しきい値算出部３１１４は、二値画像ＩＭＢ上の連結黒画素が汚れか文字ストロークかを判別するための汚れ判別しきい値ＤＴＨを算出する（ステップＳ２６）。
【００２９】
汚れ判別しきい値算出部３１１４は、図５のように、上記濃度ヒストグラム上の上記二値化しきい値ＢＴＨ未満の画素値に対して上述した判別分析法を適用し、上記二値化しきい値ＢＴＨ未満の画素を濃い画素（画素値小）と薄い画素（画素値大）とに分離するしきい値を見つけ、これを汚れ判別しきい値ＤＴＨとする（ステップＳ２６）。次に、変数ＫＯＳＡに‘１’を代入する（ステップＳ２７）。二値画像生成部３１１５は、上記多値画像ＩＭＧを上記二値化しきい値ＢＴＨで二値化した二値画像ＩＭＢを生成する（ステップＳ２８）。そして、二値化部３１１は、このフローチャートの処理、すなわち図２のステップＳ２を終了する。
【００３０】
次に、ノイズ除去部３１２は、上記二値画像ＩＭＢに対してノイズ除去を行う（図２のステップＳ３）。ノイズ除去部３１２はまず、上記二値画像ＩＭＢに対して画像内に存在する全ての連結黒画素を検出する（図６のステップＳ３０）。連結黒画素を見つけるための処理は、例えば公知の技術であるラベリング処理によって実現できる。次に、検出した連結黒画素の内の１つを選択し、これを連結黒画素ＢＬＫとする（ステップＳ３１）。
【００３１】
次に、上記連結黒画素ＢＬＫの高さＨ及び幅Ｗと予め定められたしきい値ＳＩＺＥ＿Ｓとを比較する（ステップＳ３２）。しきい値ＳＩＺＥ＿Ｓは、連結黒画素ＢＬＫを微小ノイズと見なすかどうかをその連結黒画素ＢＬＫの幅Ｗ及び高さＨから判定するためのしきい値である。幅Ｗ及び高さＨが共にしきい値ＳＩＺＥ＿Ｓ以下であれば、連結黒画素除去部３１２２はその連結黒画素ＢＬＫを微小ノイズとして除去し（ステップＳ３６）、ステップＳ３０にて検出した連結黒画素を全て選択し終わったかどうか判定する（ステップＳ３７）。未選択の連結黒画素が存在すると判定された場合は、ステップＳ３１に戻り、未選択の連結黒画素を１つ選択したのち、ステップＳ３２以降を実行する。
【００３２】
ステップＳ３２で、連結黒画素ＢＬＫの幅Ｗ及び高さＨのいずれかがしきい値ＳＩＺＥ＿Ｓよりも大きければ、次に幅Ｗ及び高さＨと予め定められたしきい値ＳＩＺＥ＿Ｍとを比較し、さらに変数ＫＯＳＡの値が‘１’かどうか調べる（ステップＳ３３）。しきい値ＳＩＺＥ＿Ｍは、ある連結黒画素に対して汚れと見なすかどうかをその連結黒画素ＢＬＫの幅Ｗ及び高さＨから判断するためのしきい値である。
【００３３】
なお、上記しきい値ＳＩＺＥ＿Ｓはしきい値ＳＩＺＥ＿Ｍよりも小さい値を設定するものとする。連結黒画素ＢＬＫの幅Ｗ及び高さＨのいずれかがしきい値ＳＩＺＥ＿Ｍよりも大きいか、もしくは変数ＫＯＳＡの値が‘０’である場合は、ステップＳ３７に進み、ステップＳ３０にて検出した連結黒画素を全て選択し終わったかどうか判定する。一方、ステップＳ３３で連結黒画素ＢＬＫの幅Ｗ及び高さＨが共にしきい値ＳＩＺＥ＿Ｍ以下であり、かつ変数ＫＯＳＡの値が‘１’である場合、汚れ判別部３１２１はその連結黒画素ＢＬＫが汚れかどうかの判定を行う（ステップＳ３４）。
【００３４】
この場合、汚れ判別部３１２１は、図７に示されているように、変数ＢＫ＿ＣＮＴとＴＫ＿ＣＮＴにそれぞれ０を代入する（図７のステップＳ３４０）。変数ＢＫ＿ＣＮＴはその連結黒画素ＢＬＫを構成する黒画素の数を格納する変数である。また、変数ＴＫ＿ＣＮＴはその連結黒画素ＢＬＫを構成する黒画素のうち、多値画像ＩＭＧ上で汚れ判別しきい値ＤＴＨ未満の画素値を持つ画素の個数を格納する変数である。
【００３５】
次に、その連結黒画素ＢＬＫを構成する黒画素の１つを選択する（ステップＳ３４１）。次に、ステップＳ３４１で選択した黒画素に対応する多値画像ＩＭＧ上の画素の画素値ＢＫ＿Ｇを求める。すなわち、選択した黒画素に対して、二値化を行う前の多値の画素値を求める（ステップＳ３４２）。次に、上記画素値ＢＫ＿Ｇと上記汚れ判別しきい値ＤＴＨとを比較する（ステップＳ３４３）。ステップＳ３４３における比較の結果、ＢＫ＿Ｇ＜ＤＴＨが成り立つ場合は、変数ＴＫ＿ＣＮＴの値を１増加させる（ステップＳ３４４）。ステップＳ３４３における比較の結果、ＢＫ＿Ｇ＜ＤＴＨが成り立たない場合は、ステップＳ３４５に進む。次に、変数ＢＫ＿ＣＮＴの値を１増加させる（ステップＳ３４５）。
【００３６】
次に、ステップＳ３４１においてその連結黒画素ＢＬＫの構成黒画素が全て選択済みがどうか判定する（ステップＳ３４６）。ステップＳ３４６における判定の結果、未選択の黒画素があると判定された場合は、ステップＳ３４１に戻り、未選択の黒画素を１つ選択したのち、ステップＳ３４２以降を実行する。ステップＳ３４６における判定の結果、未選択の黒画素がないと判定された場合は、式（１）により汚れ評価値ＴＫ＿ＲＴＯの値を計算する（ステップＳ３４７）。
【００３７】
ＴＫ＿ＲＴＯ＝ＴＫ＿ＣＮＴ／ＢＫ＿ＣＮＴ（１）次に、汚れ評価値ＴＫ＿ＲＴＯと予め設定された汚れ評価しきい値ＤＴＫ＿ＴＨとを比較し、ＴＫ＿ＲＴＯ＜ＤＴＫ＿ＴＨが成り立つかどうか判定する（ステップＳ３４８）。ステップＳ３４８で汚れ評価値ＴＫ＿ＲＴＯと予め設定された汚れ評価しきい値ＤＴＫ＿ＴＨとを比較した結果、ＴＫ＿ＲＴＯ＜ＤＴＫ＿ＴＨが成り立つ場合は、その連結黒画素ＢＬＫを‘汚れ’であると判定する（ステップＳ３４９）。ステップＳ３４８での評価の結果、ＴＫ＿ＲＴＯ＜ＤＴＫ＿ＴＨが成り立たない場合は、その連結黒画素ＢＬＫを‘文字ストローク’であると判定する（ステップＳ３４ａ）。そして、汚れ判別部３１２１はこのフローチャートの処理、すなわち図６中のステップＳ３４を終了する。
【００３８】
次に、ノイズ除去部３１２は、ステップＳ３４における汚れ判別部３１２１の判定結果が‘汚れ’であるかどうか調べる（図６のステップＳ３５）。ステップＳ３５において、汚れ判別部３１２１の判定結果が‘汚れ’であった場合は、連結黒画素除去部３１２２はその連結黒画素ＢＬＫを上記二値画像ＩＭＢ上から除去する（ステップＳ３６）。
【００３９】
次に、ステップＳ３７に進み、ステップＳ３１で上記二値画像ＩＭＢ上の連結黒画素を全て選択済みかどうか判定する。ステップＳ３５において、汚れ判別部３１２１の判定結果が‘汚れ’でなかった場合は、ステップＳ３７に進み、ステップＳ３１で上記二値画像ＩＭＢ上の連結黒画素を全て選択済みかどうか判定する。ステップＳ３７において、上記二値画像ＩＭＢ上の連結黒画素を全て選択済みであると判定された場合は、ノイズ除去部３１２はこのフローチャートの処理、すなわち図２のステップＳ３を終了する。未選択の連結黒画素が存在すると判定された場合は、ステップＳ３１に戻り、未選択の連結黒画素を１つ選択したのち、ステップＳ３２以降を実行する。
【００４０】
次に、特徴抽出部３２は、前処理部３１により生成されたその二値画像ＩＭＢから文字認識に必要な特徴を抽出する（図２のステップＳ４）。次に、文字認識部３３は、上記特徴抽出部３２により抽出された特徴と文字認識辞書部２２に記憶された文字特徴とを比較し、文字認識処理を行う（ステップＳ５）。そして、出力装置４は、文字認識部３３による文字認識結果を上記多値画像ＩＭＧの読取り結果として出力する（ステップＳ６）。なお、特徴抽出部３２及び文字認識部３３は公知の技術を適用して実現できる。
【００４１】
以上説明した文字読取り装置では、図２〜図７に示されている文字読取り方法が実現されている。すなわち、帳票に記載された手書き文字を読取る方法であり、帳票に対して画像読取りを行った多値画像上の文字についてその濃度の区分である濃度区分を判定し、多値画像内の読取り対象である文字とその文字以外の汚れとを判別するための汚れ判別しきい値を算出し、多値画像を二値化した二値画像上の連結黒画素が汚れか文字ストロークかを判別する文字読取り方法が実現されていることになる。そして、上記の汚れは、消しゴムで消した際に生じる消し残し等の汚れであり、多値画像の画素値に基づいて連結黒画素を汚れとして判別するのである。
【００４２】
以上のように、本実施の形態による文字読取り装置では、画像入力装置１から取り込まれ画像記憶部２１に記憶された多値画像を二値化した二値画像において、消しゴムで文字を消したときに生じる消し残し等の汚れが比較的大きな連結黒画素を形成している場合、汚れ判別部３１２１により、上記多値画像の画素値を基にその連結黒画素を汚れとして判別することができる。そして、そのような汚れを二値画像上から除去することにより、誤って汚れを文字の一部と見なして文字認識処理を行うことを避けることができる。したがって、消し残し等の汚れに頑健な高精度の文字読取りを実現できるのである。
【００４３】
【実施例】
次に、具体的な実施例を用いて本実施の形態の動作を詳細に説明する。ここでは、図８に示されているような、数字の「５」の読取りを行う場合について説明する。図８を参照すると、帳票等に記載されている読取り対象は、数字の「５」を構成する文字成分１００と文字成分１０１と、例えば消しゴムで一度記入した文字を消した際に残ってしまった汚れである汚れ成分１０２と同じく汚れ成分１０３から構成されている。図８に示す数字の「５」のイメージを画像入力装置１により取込み、多値画像ＩＭＧとして画像記憶部２１に格納する（図２のステップＳ１）。
【００４４】
次に、二値化部３１１はこの多値画像ＩＭＧを二値化した二値画像ＩＭＢを生成する処理を行う（ステップＳ２）。濃度ヒストグラム生成部３１１１は、上記多値画像ＩＭＧの濃度ヒストグラムを生成する（図３のステップＳ２０）。次に、二値化しきい値算出部３１１２は、上記濃度ヒストグラムを基に多値画像ＩＭＧを二値化するための二値化しきい値ＢＴＨを算出する（ステップＳ２１）。その結果、ＢＴＨ＝１２であったとする。
【００４５】
次に、文字濃度判定部３１１３は、多値画像ＩＭＧ上の文字の濃度区分を判定する（ステップＳ２２）。文字濃度判定部３１１３は、まず、多値画像ＩＭＧ上の全ての画素の画素値の分散Ｖｒを求める（図４のステップＳ２２０）。このとき、分散Ｖｒ＝２．４であったとする。次に、Ｖｒ＜ＢＲ＿ＴＨが成り立つかどうか調べる（ステップＳ２２１）。ＢＲ＿ＴＨは多値画像ＩＭＧが‘空白’かどうかを分散Ｖｒに基づいて判定するために予め設定されたしきい値であり、ここではＢＲ＿ＴＨ＝０．２に設定されているものする。
【００４６】
したがって、Ｖｒ＜ＢＲ＿ＴＨが成り立たないため、ステップＳ２２２に進む。次に、Ｖｒ＜ＫＯＳＡ＿ＴＨが成り立つかどうか判定する（ステップＳ２２２）。ＫＯＳＡ＿ＴＨは多値画像ＩＭＧ上の文字の濃度区分が‘濃い’か‘薄い’かを分散Ｖｒに基づいて判定する予め設定されたしきい値であり、ここではＫＯＳＡ＿ＴＨ＝１．０と設定されているものとする。したがって、Ｖｒ＜ＫＯＳＡ＿ＴＨが成り立たないため、多値画像ＩＭＧに写っている文字の濃度区分は‘濃い’であると判定する。
【００４７】
次に、二値化部３１１は、変数ＫＯＳＡを０で初期化する（図３のステップＳ２３）。次に、文字濃度判定部３１１３の判定した文字濃度区分が‘空白’かどうか判定する（ステップＳ２４）。ここでは、文字濃度区分は‘濃い’であるため、ステップＳ２５に進み、上記文字濃度区分が‘薄い’かどうか判定する。文字濃度区分は‘濃い’なので、汚れ判別しきい値算出部３１１４は、上記濃度ヒストグラムを基に、汚れ判別しきい値の算出を行う（ステップＳ２６）。
【００４８】
すなわち、ＢＴＨ＝１２であるため、図５に示した濃度ヒストグラムの画素値が０から１１までの部分に対して上述した判別分析法を適用し、汚れ判別しきい値ＤＴＨを求める。ここでは、ＤＴＨ＝１０が得られたとする。次に、二値化部３１１は、変数ＫＯＳＡに１を代入する（ステップＳ２７）。そして、二値画像生成部３１１５は、多値画像ＩＭＧを二値化しきい値ＢＴＨで二値化し、図９の二値画像ＩＭＢを生成する（ステップＳ２８）。もし、ステップＳ２４の文字濃度区分が‘空白’かどうかの判定で‘空白’であると判定された場合は、多値画像ＩＭＧの二値画像として、全ての画素が白画素の二値画像ＩＭＢを生成する。
【００４９】
次に、ノイズ除去部３１２は、上記二値画像ＩＭＢに対して連結黒画素を検出する（図６のステップＳ３０）。その結果、図９に示されている４つの連結黒画素１１０〜１１３が検出される。これら４つの連結黒画素の内、まず連結黒画素１１０を選択する（ステップＳ３１）。このとき、連結黒画素１１０の大きさは、幅Ｗ＝２０ピクセル、高さＨ＝３５ピクセルであったとする。
【００５０】
次に、この幅Ｗと高さＨが共に予め設定されたしきい値ＳＩＺＥ＿Ｓ以下であるかどうか判定する（ステップＳ３２）。ここでは、しきい値ＳＩＺＥ＿Ｓ＝５に設定されているものとする。この場合、幅Ｗと高さＨは共にＳＩＺＥ＿Ｓよりも大きいため、次に、幅Ｗ及び高さＨが予め設定されたしきい値ＳＩＺＥ＿Ｍ以下であり、かつ変数ＫＯＳＡ＝１であるかどうか判定する（ステップＳ３３）。ここでは、しきい値ＳＩＺＥ＿Ｍ＝１０に設定されているものとする。
【００５１】
この場合、幅Ｗ及び高さＨは共にしきい値ＳＩＺＥ＿Ｍよりも大きいため、ステップＳ３７に進み、連結黒画素が全て選択済みかどうか判定する。しかし、まだ連結黒画素１１１〜１１３が選択されていないので、ステップＳ３１に戻り、連結黒画素１１１を選択する。連結黒画素の大きさは、幅Ｗ＝１０、高さＨ＝４であったとする。すると、ステップＳ３２での大きさ判定では、幅Ｗ及び高さＨが共にしきい値ＳＩＺＥ＿Ｓ以下という条件を満たさないため、ステップＳ３３に進む。ステップＳ３３での大きさ判定では、幅Ｗと高さＨが共にＳＩＺＥ＿Ｍ以下という条件を満たすため、汚れ判別部３１２１は、連結黒画素１１１が汚れかどうかの判定を行う（ステップＳ３４）。
【００５２】
次に、汚れ判別部３１２１は、変数ＢＫ＿ＣＮＴと変数ＴＫ＿ＣＮＴを共に０で初期化する（図７のステップＳ３４０）。次に、連結黒画素１１１を構成する黒画素の内の１つを選択する（ステップＳ３４１）。次に、図１０に示されているように、選択した黒画素に対応する画素の画素値ＢＫ＿Ｇを、画像記憶部２１に記憶された多値画像ＩＭＧを参照することにより求める（ステップＳ３４２）。なお、図１０には、二値画像ＩＭＢ上の連結黒画像ＢＬＫと、多値画像ＩＭＧとが示されている。
【００５３】
この選択した黒画素に対応する画素の画素値ＢＫ＿Ｇを求める場合、図９に示されている連結黒画素１１１に対応する図８の文字成分１０１を参照する。ここでは、ＢＫ＿Ｇ＝４であったとする。次に、このＢＫ＿Ｇと汚れ判別しきい値算出部３１１４により算出された汚れ判別しきい値ＤＴＨとを比較し、ＢＫ＿Ｇ＜ＤＴＨが成り立つかどうか判定する（ステップＳ３４３）。汚れ判別しきい値ＤＴＨは上述した通りＤＴＨ＝１０が得られていると仮定しているので、ＢＫ＿Ｇ＜ＤＴＨが成り立つ。従って、変数ＴＫ＿ＣＮＴの値を１増加させる（ステップＳ３４４）。そして、変数ＢＫ＿ＣＮＴの値を１増加させる（ステップＳ３４５）。
【００５４】
次に、全ての黒画素を選択済みかどうか調べる（ステップＳ３４６）。ここでは、まだ未選択の黒画素があるとして、ステップＳ３４１に戻り、未選択の黒画素を１つ選択する。そして、この黒画素に対応する多値画像ＩＭＧ上の画素の画素値をＢＫ＿Ｇを求める（ステップＳ３４２）。ここでは、この画素値ＢＫ＿Ｇ＝１２であったとする。次に、画素値ＢＫ＿Ｇと汚れ判別しきい値ＤＴＨとを比較し、ＢＫ＿Ｇ＜ＤＴＨが成り立つかどうか判定する（ステップＳ３４３）。しかし、ＢＫ＿Ｇ＜ＤＴＨが成り立たないので、ステップＳ３４４をとばしてステップＳ３４５に進み変数ＢＫ＿ＣＮＴの値を１増加させる。
【００５５】
そして、ステップＳ３４６で、全ての黒画素を選択済みかどうか判定する。このようにして、ステップＳ３４１で連結黒画素１１１を構成する全ての黒画素を選択するまでステップＳ３４１からステップＳ３４６間での処理を繰り返す。全ての黒画素を選択し終わった時点で、ステップＳ３４７に進み、ＴＫ＿ＲＴＯの値を計算する。ここで、ＴＫ＿ＣＮＴ＝２０、ＢＫ＿ＣＮＴ＝２５であったとすると、ＴＫ＿ＲＴＯ＝０．８となる。次に、このＴＫ＿ＲＴＯと予め設定されたしきい値ＤＴＫ＿ＴＨとを比較する。ここでは、ＤＴＫ＿ＴＨ＝０．１に設定してあるものとする。すると、ステップＳ３４８でＴＫ＿ＲＴＯとＤＴＫ＿ＴＨとを比較した結果、ＴＫ＿ＲＴＯ＜ＤＴＫ＿ＴＨが成り立たないため、連結黒画素１１１を‘文字ストローク’であると判定する（ステップＳ３４ａ）。
【００５６】
そして、図６のステップＳ３５に進み、汚れ判別部３１２１の判別結果が‘汚れ’かどうか判定する。この場合、汚れ判別部３１２１は、連結黒画素１１１は‘文字ストローク’であると判定しているので、ステップＳ３７に進む。ステップＳ３７で連結黒画素を全て選択したかどうか判定する。この場合、連結黒画素１１２と連結黒画素１１３が未選択であるので、ステップＳ３１に戻り、連結黒画素１１２を選択する。
【００５７】
連結黒画素１１２の大きさは、幅Ｗ＝５，高さＨ＝８であったとする。すると、ステップＳ３２における判定では、幅Ｗ及び高さＨが共にＳＩＺＥ＿Ｓ以下という条件を満たさないため、ステップＳ３３に進む。ステップＳ３３における判定では、幅Ｗ及び高さＨが共にＳＩＺＥ＿Ｍ以下であり、かつ変数ＫＯＳＡ＝１を満たすので、汚れ判別部３１２１は、連結黒画素１１２が汚れかどうかの判定を行う（ステップＳ３４）。
【００５８】
次に、汚れ判別部３１２１は、上記連結黒画素１１１に対して行った場合と同様に、図７のステップＳ３４０からステップＳ３４６までの処理を連結黒画素１１２に対して行う。その結果、ＴＫ＿ＣＮＴ＝２、ＢＫ＿ＣＮＴ＝３２が得られたとすると、ＴＫ＿ＲＴＯ＝０．０６２５となる。次に、このＴＫ＿ＲＴＯと上記しきい値ＤＴＫ＿ＴＨとを比較する（ステップＳ３４８）。ここでは、ＤＴＫ＿ＴＨ＝０．１に設定してあるので、ステップＳ３４８でＴＫ＿ＲＴＯ＜ＤＴＫ＿ＴＨが成り立つため、連結黒画素１１２を‘汚れ’であると判定する（ステップＳ３４９）。そして、図６のステップＳ３５に進み、汚れ判別部３１２１の判別結果が‘汚れ’かどうか判定する。この場合、汚れ判別部３１２１は、連結黒画素１１２を‘汚れ’であると判定しているので、連結黒画素除去部３１２２は連結黒画素１１２を二値画像ＩＭＢ上から除去する（ステップＳ３６）。
【００５９】
次に、ステップＳ３７で連結黒画素を全て選択したかどうか判定する。連結黒画素が１１３が未選択であるので、ステップＳ３１に戻り、連結黒画素１１３を選択する。連結黒画素１１３の大きさは、幅Ｗ＝３、高さＨ＝４であるとする。すると、ステップＳ３２の判定で、幅Ｗと高さＨが共にＳＩＺＥ＿Ｓ以下であるので、連結黒画素除去部３１２２は連結黒画素１１３を二値画像ＩＭＢ上から除去する（ステップＳ３６）。次に、ステップＳ３７で、連結黒画素を全て選択済みかどうか判定する。このとき、二値画像ＩＭＢ上の連結黒画素１１０から１１３は全て選択済みであるので、ノイズ除去部３１２はその処理（図２のステップＳ３）を終了する。
【００６０】
次に、特徴抽出部３２は、前処理部３１から図１１に示すノイズ除去後の二値画像ＩＭＢを受け取り、文字認識部３３で文字認識処理を行う際に用いる特徴を抽出する（図２のステップＳ４）。
【００６１】
次に、文字認識部３３は、特徴抽出部３２にて抽出された特徴と文字認識辞書部２２に格納された文字特徴とを比較し、文字認識処理を行う（ステップＳ５）。そして、文字認識処理の結果得られた、多値画像ＩＭＧの属すべきカテゴリ名を、文字読取り結果として出力装置４に出力する。
【００６２】
なお、以上説明した実施の形態では、プログラム制御により動作するデータ処理装置３が、メモリに記憶されたプログラムを実行することによって、前処理部３１から文字認識部３３までの機能が実現されていた。これに対し、図１２に示すように、データ処理装置３が実行するプログラムを記録した記録媒体５を備え、この記録媒体５からプログラムをデータ処理装置３のメモリに読込ませ、データ処理装置３の動作を制御するようにしても良い。
【００６３】
つまり、上述した図２〜図４、図６及び図７の処理を実現するためのプログラムを記録した記録媒体を用意し、これを用いて図１２の各部を制御すれば、上述と同様の文字読取り動作を行うことができることは明白である。この記録媒体５には、半導体メモリ、磁気ディスク装置の他、種々の記録媒体を用いることができる。
【００６４】
また、同記録媒体に記録されているプログラムによってコンピュータを制御すれば、上述と同様に文字読取り動作を行うことができることは明白である。この記録媒体には、半導体メモリ、磁気ディスク装置の他、種々の記録媒体を用いることができる。
【００６５】
【発明の効果】
以上説明したように本発明は、二値画像上のある程度大きな連結黒画素に対して汚れか文字ストロークかを、二値化する前の多値画像上の濃度情報を参照することによって判別するようにしたので、文字ストロークを誤って除去することなく、汚れのみを除去することができ、消しゴムで一度記入した文字を消したときなどに生じる消し残し等の汚れに強い安定した文字読取り装置を実現できるという効果がある。
【図面の簡単な説明】
【図１】本発明による文字読取り装置の実施の形態の構成を示すブロック図である。
【図２】図１中の各部の動作を示すフローチャートである。
【図３】図１中の二値化部３１１の動作を示すフローチャートである。
【図４】図１中の文字濃度判定部３１１３の動作を示すフローチャートである。
【図５】図１中の濃度ヒストグラム生成部３１１１で生成される濃度ヒストグラムの例を示す図である。
【図６】図１中のノイズ除去部３１２の動作を示すフローチャートである。
【図７】図１中の汚れ判別部３１２１の動作を示すフローチャートである。
【図８】多値画像ＩＭＧの例を示す図である。
【図９】多値画像ＩＭＧを二値化した二値画像ＩＭＢの例を示す図である。
【図１０】二値画像ＩＭＢ上の連結黒画素ＢＬＫ上の画素から、その画素に対応する多値画像ＩＭＧ上の画素の画素値ＢＫ＿Ｇを参照する処理を示す図である。
【図１１】図１中のノイズ除去部３１２によるノイズ除去後の二値画像ＩＭＢの例を示す図である。
【図１２】本発明による文字読取り装置の他の実施の形態を示すブロック図である。
【符号の説明】
１画像入力装置
２記憶装置
２１画像記憶部
２２文字認識辞書部
３データ処理装置
３１前処理部
３１１二値化部
３１１１濃度ヒストグラム生成部
３１１２二値化しきい値算出部
３１１３文字濃度判定部
３１１４汚れ判別しきい値算出部
３１１５二値画像生成部
３１２ノイズ除去部
３１２１汚れ判別部
３１２２連結黒画素除去部
３２特徴抽出部
３３文字認識部
４出力装置
５記録媒体
１００，１０１文字成分
１０２，１０３汚れ成分
１１０，１１１，１１２，１１３連結黒画素[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a character reading device, a character reading method, and a recording medium on which a character reading program is recorded, and in particular, a character having a noise removing process for removing dirt such as unerased characters generated when a character written with a pencil is erased with an eraser. The present invention relates to a reading device, a character reading method, and a recording medium on which a character reading program is recorded.
[0002]
[Prior art]
In a character reader, a multi-valued image of characters to be read on a form is binarized with a binarization threshold value determined by some method, and character recognition processing is performed on the binarized image. It is common. However, when there are dirt around the character, when binarizing the multi-valued image, they may appear as noise on the binary image together with the character. As a noise removal process for such a binary image, a process of detecting an isolated connected black pixel having a predetermined size or less and removing it as noise is common. By this process, minute noise around the character can be removed. However, this process cannot remove relatively large stains such as unerased parts that occur when characters written with a pencil are erased with an eraser.
[0003]
Therefore, as conventional techniques for removing the relatively large dirt as described above, JP-A-6-274663 and JP-A-5-6461 are disclosed.
[0004]
In Japanese Patent Laid-Open No. Hei 6-274669, a linear region is set at the position of a character on a character image, and the linear region is scanned by using the connected black pixel existing in this region as seed information. An operation of extracting black pixels connected to information is performed. That is, paying attention to the connectivity of black pixels constituting a character, an isolated relatively large connected black pixel is determined as noise such as dirt, and is removed.
[0005]
In Japanese Patent Application Laid-Open No. 5-6461, a maximum pixel block is extracted as a character from a compressed image obtained by compressing a character image by a half, and the maximum pixel block is enlarged again to the original image size. By taking an AND with the character image, relatively large connected black pixels are removed as noise.
[0006]
[Problems to be solved by the invention]
However, in Japanese Patent Laid-Open No. Hei 6-274669, a determination is made as to whether a character is a noise or a noise on the assumption that the character is represented by one connected black pixel. It is difficult to apply because a plurality of characters represented by separate strokes can easily occur.
[0007]
Further, in Japanese Patent Laid-Open No. 5-6461, character and noise are discriminated within or outside a rectangular area called the maximum pixel block, so that one character is represented by a plurality of separated strokes or character There is a problem that it is difficult to correctly distinguish a character stroke and dirt when dirt is present in the immediate vicinity.
[0008]
For this reason, in the conventional technique as described above, dirt such as unerased by an eraser cannot be removed well, and such noise causes misreading or unreading of characters.
[0009]
The present invention has been made to solve the above-mentioned drawbacks of the prior art, and its purpose is to remove, as noise, dirt such as unerased material that occurs when characters are erased with an eraser when writing with a pencil. Another object of the present invention is to provide a character reading device, a character reading method, and a recording medium on which a character reading program is recorded, which can accurately read characters even if they are dirty.
[0010]
[Means for Solving the Problems]
  A character reading device according to the present invention is a character reading device that reads handwritten characters described in a form, and a density classification that is a density classification of characters on a multi-valued image obtained by performing image reading on the form.Comparing the variance of pixel values on the multi-valued image with a predetermined threshold valueA character density determination unit for determining; a stain determination threshold value calculation unit for calculating a stain determination threshold value for determining a character to be read in the multi-valued image and a stain other than the character; And a stain discriminator for discriminating whether the connected black pixels on the binary image obtained by binarizing the value image are dirty or a character stroke.The stain determination unit is configured such that the size of the connected black pixel is larger than a first threshold value and smaller than or equal to a second threshold value that is larger than the first threshold value, and the multivalued value. When the variance of the pixel values on the image is larger than the predetermined threshold value, it is determined whether the connected black pixel is dirty or a character stroke using the stain determination threshold value.It is characterized by that. Also,The stain determination unit determines that the connected black pixel is dirty when the size of the connected black pixel is equal to or smaller than the first threshold value, and the size of the connected black pixel is the second threshold value. If it is greater than or less than the second threshold but the variance of the pixel values on the multi-valued image is smaller than the predetermined threshold, the connected black pixel is determined as a character stroke. It is also characterized byThe stain determination unit determines the connected black pixels as stains based on pixel values of the multi-valued image.
[0011]
  A character reading method according to the present invention is a character reading method for reading a handwritten character written on a form, and a density classification that is a density classification of characters on a multi-valued image obtained by performing image reading on the form.Comparing the variance of pixel values on the multi-valued image with a predetermined threshold valueA character density determination step for determining; a stain determination threshold value calculating step for calculating a stain determination threshold value for determining a character to be read in the multi-valued image and a stain other than the character; A stain discrimination step for discriminating whether the connected black pixels on the binary image obtained by binarizing the value image are a stain or a character stroke.Therefore, in the stain determination step, the size of the connected black pixels is larger than the first threshold value and smaller than or equal to the second threshold value greater than the first threshold value, and If the variance of the pixel values on the value image is larger than the predetermined threshold value, it is determined whether the connected black pixel is dirty or a character stroke using the stain determination threshold value.It is characterized by that. Also,In the stain determination unit step, when the size of the connected black pixel is equal to or smaller than the first threshold value, the connected black pixel is determined as dirty, and the size of the connected black pixel is the second threshold value. If it is greater than the threshold value or less than the second threshold value but the variance of pixel values on the multi-valued image is smaller than the predetermined threshold value, the connected black pixels are treated as character strokes. And is characterized byIn the stain determination step, the connected black pixels are determined as stains based on the pixel values of the multi-valued image.
[0012]
  A recording medium according to the present invention is a recording medium in which a character reading program for reading a handwritten character written in a form is recorded by a computer, and the program reads an image of the form on the computer. For the characters on the multi-valued image, set the density classification that is the density classification.Comparing the variance of pixel values on the multi-valued image with a predetermined threshold valueA character density determination step for determining; a stain determination threshold value calculating step for calculating a stain determination threshold value for determining a character to be read in the multi-valued image and a stain other than the character; A stain discrimination step for discriminating whether the connected black pixels on the binary image obtained by binarizing the value image are a stain or a character stroke.Therefore, in the stain determination step, the size of the connected black pixels is larger than the first threshold value and smaller than or equal to the second threshold value greater than the first threshold value, and If the variance of the pixel values on the value image is larger than the predetermined threshold value, it is determined whether the connected black pixel is dirty or a character stroke using the stain determination threshold value.It is characterized by that. Also,In the stain determination unit step, when the size of the connected black pixel is equal to or smaller than the first threshold value, the connected black pixel is determined as dirty, and the size of the connected black pixel is the second threshold value. If it is greater than the threshold value or less than the second threshold value but the variance of pixel values on the multi-valued image is smaller than the predetermined threshold value, the connected black pixels are treated as character strokes. And is characterized byIn the stain determination step, the connected black pixels are determined as stains based on the pixel values of the multi-valued image.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
Next, embodiments of the present invention will be described in detail with reference to the drawings. Referring to FIG. 1, an embodiment of the present invention is an image input device 1 such as a scanner that captures a character image to be read on a form as a multi-valued image, a storage device 2 that stores information, and program control. It comprises a data processing device 3 that operates and an output device 4 such as a display device.
[0014]
The storage device 2 includes an image storage unit 21 and a character recognition dictionary unit 22. The image storage unit 21 stores a multi-valued image of characters captured by the image input device. The character recognition dictionary unit 22 stores a dictionary used for character recognition processing.
[0015]
The data processing device 3 includes a preprocessing unit 31 that performs preprocessing for character recognition, a feature extraction unit 32 that extracts features for character recognition from the binary image generated by the preprocessing unit 31, A character recognition unit 33 that performs character recognition by comparing the features extracted by the feature extraction unit 32 with the character features stored in the character recognition dictionary unit 22 is included.
[0016]
The preprocessing unit 31 includes a binarization unit 311 and a noise removal unit 312. The binarization unit 311 includes a density histogram generation unit 3111, a binarization threshold value calculation unit 3112, a character density determination unit 3113, a stain determination threshold value calculation unit 3114, and a binary image generation unit 3115. ing.
[0017]
The density histogram generation unit 3111 generates a density histogram in which the number of pixels for each pixel value of the multi-valued image stored in the image storage unit 21 is counted. The binarization threshold value calculation unit 3112 calculates a binarization threshold value for binarizing the multilevel image based on this density histogram. The character density determination unit 3113 determines the character density classification on the multi-valued image based on the density histogram. The dirt determination threshold value calculation unit 3114 calculates a dirt determination threshold value for determining dirt and characters based on the density histogram. The binary image generation unit 3115 generates a binary image obtained by binarizing the multi-value image using the binarization threshold value.
[0018]
The noise removal unit 312 includes a dirt determination unit 3121 and a connected black pixel removal unit 3122. The stain determination unit 3121 determines whether the connected black pixel on the binary image is dirty or a character stroke. The connected black pixel removing unit 3122 removes the connected black pixels determined to be dirty by the stain determination unit 3121 or connected black pixels having a predetermined size or less from the binary image.
[0019]
Next, the overall operation of the present embodiment will be described in detail with reference to the flowcharts of FIGS. 2 to 4, 6 and 7 and FIG. 5 in addition to FIG. 1.
[0020]
Referring to FIG. 2, first, a character image to be read on a form is captured as a multi-valued image IMG by the image input device 1 and stored in the image storage unit 21 (step S1). In the multi-value image IMG, the larger the pixel value, the brighter the pixel.
[0021]
Next, the binarization unit 311 generates a binary image IMB obtained by binarizing the multilevel image IMG (step S2). In this case, as shown in FIG. 3, first, the density histogram generation unit 3111 generates a density histogram in which the number of pixels for each pixel value is counted for the multi-value image IMG (step of FIG. 3). S20).
[0022]
Next, the binarization threshold value calculation unit 3112 calculates a threshold value BTH for binarizing the multilevel image IMG based on the density histogram (step S21). The binarized threshold value BTH was calculated in 1980 from the IEICE Transactions Vol. J63-D, no. 4, pp. It is obtained by the discriminant analysis method proposed by Otsu at 349-356. The method proposed by Otsu is, for example, a method of selecting a threshold value in an image including two categories of characters and background so that the variance within each category is minimized and the variance between categories is maximized. .
[0023]
The binarization of the multi-valued image IMG is performed as follows. If the pixel value of a pixel in the multi-valued image IMG is smaller than the binarization threshold BTH, the pixel value of the pixel on the binary image IMB corresponding to that pixel is set to “1”, that is, “black”, and the multi-valued image IMG If the pixel value of a certain pixel is equal to or greater than the binarization threshold BTH, the pixel value of the pixel on the binary image IMB corresponding to that pixel is set to “0”, that is, “white”.
[0024]
Next, the character density determination unit 3113 determines the character density classification on the multi-valued image IMG (step S22). Assume that there are three character density categories: 'blank', 'light', and 'dark'.
[0025]
As shown in FIG. 4, the character density determination unit 3113 first obtains a variance Vr of pixel values on the multi-valued image IMG (step S220 in FIG. 4). Next, the variance Vr is compared with a predetermined threshold value BR_TH (step S221). As a result of comparing the variance Vr in step S221 and the threshold value BR_TH, if Vr <BR_TH holds, the character density classification is determined to be 'blank' (step S223).
[0026]
As a result of comparing the variance Vr with the threshold value BR_TH in step S221, if Vr <BR_TH does not hold, the variance Vr is compared with a predetermined threshold value KOSA_TH (step S222). As a result of comparing the variance Vr and the threshold value KOSA_TH in step S222, if Vr <KOSA_TH holds, the character density classification is determined to be “light” (step S224). As a result of comparing the variance Vr with the threshold value KOSA_TH in step S222, if Vr <KOSA_TH does not hold, the character density classification is determined to be 'deep' (step S225). Then, the character density determination unit 3113 ends the process of this flowchart, that is, step S22 of FIG.
[0027]
Next, the binarization unit 311 initializes the variable KOSA with “0” (step S23 in FIG. 3). The variable KOSA is a variable for indicating that the character density division is 'blank' or 'light' if KOSA = 0, and that the character density division is 'deep' if KOSA = 1.
[0028]
Next, the character density classification determined by the character density determination unit 3113 is referenced to check whether the density classification is 'blank' (step S24). If the density classification is “blank”, the binary image generation unit 3115 generates a binary image IMB having all pixel values “0”, that is, all white pixels, as an image obtained by binarizing the multi-value image IMG. (Step S29). If the character density section is not 'blank' in step S24, it is next checked whether the character density section is 'light' (step S25). If the character density classification is “light” in step S25, the binary image generation unit 3115 generates a binary image IMB obtained by binarizing the multi-value image IMG with the binarization threshold BTH (step S28). ). If the character density section is not “light” in step S25, that is, if the character density section is “high”, the stain determination threshold value calculation unit 3114 determines whether the connected black pixel on the binary image IMB is dirty or a character stroke. A contamination determination threshold value DTH for determining whether or not is determined (step S26).
[0029]
As shown in FIG. 5, the stain determination threshold value calculation unit 3114 applies the above-described determination analysis method to pixel values less than the binarization threshold value BTH on the density histogram, and the binarization threshold value. A threshold value for separating a pixel less than BTH into a dark pixel (small pixel value) and a thin pixel (large pixel value) is found, and this is set as a stain determination threshold value DTH (step S26). Next, “1” is substituted into the variable KOSA (step S27). The binary image generation unit 3115 generates a binary image IMB obtained by binarizing the multi-value image IMG with the binarization threshold value BTH (step S28). Then, the binarization unit 311 ends the process of this flowchart, that is, step S2 of FIG.
[0030]
Next, the noise removing unit 312 performs noise removal on the binary image IMB (step S3 in FIG. 2). First, the noise removing unit 312 detects all connected black pixels existing in the image with respect to the binary image IMB (FIG.Step S30). The process for finding the connected black pixels can be realized by, for example, a known labeling process. Next, one of the detected connected black pixels is selected and set as a connected black pixel BLK (step S31).
[0031]
Next, the height H and width W of the connected black pixel BLK are compared with a predetermined threshold SIZE_S (step S32). The threshold SIZE_S is a threshold value for determining whether or not the connected black pixel BLK is regarded as minute noise from the width W and the height H of the connected black pixel BLK. If the width W and the height H are both equal to or smaller than the threshold SIZE_S, the connected black pixel removing unit 3122 removes the connected black pixel BLK as a minute noise (step S36), and the connected black pixel detected in step S30 is detected. It is determined whether or not all selection has been completed (step S37). If it is determined that there is an unselected connected black pixel, the process returns to step S31, and after selecting one unselected connected black pixel, step S32 and subsequent steps are executed.
[0032]
In step S32, if any of the width W and height H of the connected black pixel BLK is larger than the threshold value SIZE_S, then the width W and height H are compared with a predetermined threshold value SIZE_M. Further, it is checked whether or not the value of the variable KOSA is “1” (step S33). The threshold value SIZE_M is a threshold value for determining whether or not a certain connected black pixel is regarded as dirty from the width W and height H of the connected black pixel BLK.
[0033]
The threshold value SIZE_S is set to a value smaller than the threshold value SIZE_M. If either of the width W and the height H of the connected black pixel BLK is larger than the threshold value SIZE_M or the value of the variable KOSA is “0”, the process proceeds to step S37 and the connected detected in step S30. It is determined whether all black pixels have been selected. On the other hand, when the width W and the height H of the connected black pixel BLK are both equal to or smaller than the threshold SIZE_M and the value of the variable KOSA is “1” in step S33, the stain determination unit 3121 determines that the connected black pixel BLK It is determined whether it is dirty (step S34).
[0034]
In this case, as shown in FIG. 7, the dirt determination unit 3121 substitutes 0 for each of the variables BK_CNT and TK_CNT (step S340 in FIG. 7). The variable BK_CNT is a variable for storing the number of black pixels constituting the connected black pixel BLK. The variable TK_CNT is a variable for storing the number of pixels having a pixel value less than the stain determination threshold value DTH on the multi-valued image IMG among the black pixels constituting the connected black pixel BLK.
[0035]
Next, one of the black pixels constituting the connected black pixel BLK is selected (step S341). Next, the pixel value BK_G of the pixel on the multi-valued image IMG corresponding to the black pixel selected in step S341 is obtained. That is, a multi-value pixel value before binarization is obtained for the selected black pixel (step S342). Next, the pixel value BK_G is compared with the dirt determination threshold value DTH (step S343). If BK_G <DTH holds as a result of the comparison in step S343, the value of variable TK_CNT is increased by 1 (step S344). As a result of the comparison in step S343, if BK_G <DTH does not hold, the process proceeds to step S345. Next, the value of the variable BK_CNT is incremented by 1 (step S345).
[0036]
Next, in step S341, it is determined whether all the constituent black pixels of the connected black pixel BLK have been selected (step S346). As a result of the determination in step S346, when it is determined that there is an unselected black pixel, the process returns to step S341, and after selecting one unselected black pixel, step S342 and subsequent steps are executed. As a result of the determination in step S346, when it is determined that there is no unselected black pixel, the value of the dirt evaluation value TK_RTO is calculated by equation (1) (step S347).
[0037]
TK_RTO = TK_CNT / BK_CNT (1) Next, the dirt evaluation value TK_RTO is compared with a preset dirt evaluation threshold value DTK_TH to determine whether or not TK_RTO <DTK_TH is satisfied (step S348). As a result of comparing the dirt evaluation value TK_RTO with the preset dirt evaluation threshold value DTK_TH in step S348, if TK_RTO <DTK_TH is satisfied, it is determined that the connected black pixel BLK is “dirt” (step S349). . If TK_RTO <DTK_TH does not hold as a result of the evaluation in step S348, it is determined that the connected black pixel BLK is a “character stroke” (step S34a). The dirt determination unit 3121 then performs the processing of this flowchart, that is,FIG.The middle step S34 is terminated.
[0038]
Next, the noise removal unit 312 examines whether or not the determination result of the stain determination unit 3121 in step S34 is “dirt” (FIG.Step S35). If the determination result of the stain determination unit 3121 is “dirt” in step S35, the connected black pixel removing unit 3122 removes the connected black pixel BLK from the binary image IMB (step S36).
[0039]
In step S37, it is determined in step S31 whether or not all the connected black pixels on the binary image IMB have been selected. In step S35, if the determination result of the stain determination unit 3121 is not 'dirt', the process proceeds to step S37, and it is determined in step S31 whether all the connected black pixels on the binary image IMB have been selected. If it is determined in step S37 that all the connected black pixels on the binary image IMB have been selected, the noise removing unit 312 ends the processing of this flowchart, that is, step S3 of FIG. If it is determined that there is an unselected connected black pixel, the process returns to step S31, and after selecting one unselected connected black pixel, step S32 and subsequent steps are executed.
[0040]
Next, the feature extraction unit 32 extracts features necessary for character recognition from the binary image IMB generated by the preprocessing unit 31 (step S4 in FIG. 2). Next, the character recognition unit 33 compares the feature extracted by the feature extraction unit 32 with the character feature stored in the character recognition dictionary unit 22, and performs character recognition processing (step S5). And the output device 4 outputs the character recognition result by the character recognition part 33 as a reading result of the said multi-value image IMG (step S6). The feature extraction unit 32 and the character recognition unit 33 can be realized by applying a known technique.
[0041]
In the character reading apparatus described above, the character reading method shown in FIGS. 2 to 7 is realized. In other words, it is a method of reading handwritten characters described in a form, and determines a density classification that is a density classification of characters on a multi-valued image obtained by reading an image on a form, and is to be read in a multi-valued image. A character that determines whether a connected black pixel on a binary image obtained by binarizing a multi-valued image is a stain or a character stroke by calculating a stain detection threshold value for distinguishing between a character that is and a stain other than that character A reading method is realized. The above-mentioned stains are stains such as unerased portions that are generated when erased with an eraser, and the connected black pixels are determined as stains based on the pixel values of the multi-valued image.
[0042]
As described above, in the character reading device according to the present embodiment, when a character is erased with an eraser in a binary image obtained by binarizing a multi-valued image captured from the image input device 1 and stored in the image storage unit 21. When a connected black pixel having a relatively large stain such as unerased is formed, the stain determining unit 3121 can determine the connected black pixel as dirty based on the pixel value of the multi-valued image. Then, by removing such stains from the binary image, it is possible to avoid performing character recognition processing by mistakenly considering the stains as part of the characters. Therefore, it is possible to realize high-precision character reading that is robust against dirt such as unerased items.
[0043]
【Example】
Next, the operation of this embodiment will be described in detail using specific examples. Here, a case where the number “5” as shown in FIG. 8 is read will be described. Referring to FIG. 8, the reading target described in the form or the like remains when the character component 100 and the character component 101 constituting the number “5”, for example, a character once entered with an eraser are erased. Like the dirt component 102 which is dirt, it is composed of a dirt component 103. The number “5” image shown in FIG. 8 is taken in by the image input device 1 and stored in the image storage unit 21 as a multi-valued image IMG (step S1 in FIG. 2).
[0044]
Next, the binarization unit 311 performs a process of generating a binary image IMB obtained by binarizing the multi-valued image IMG (step S2). The density histogram generator 3111 generates a density histogram of the multi-value image IMG (step S20 in FIG. 3). Next, the binarization threshold value calculation unit 3112 calculates a binarization threshold value BTH for binarizing the multilevel image IMG based on the density histogram (step S21). As a result, it is assumed that BTH = 12.
[0045]
Next, the character density determination unit 3113 determines the character density classification on the multi-valued image IMG (step S22). First, the character density determination unit 3113 obtains the variance Vr of the pixel values of all the pixels on the multi-value image IMG (step S220 in FIG. 4). At this time, it is assumed that the dispersion Vr = 2.4. Next, it is examined whether Vr <BR_TH is satisfied (step S221). BR_TH is a threshold value set in advance to determine whether or not the multi-valued image IMG is 'blank' based on the variance Vr. Here, BR_TH is set to 0.2.
[0046]
Therefore, since Vr <BR_TH does not hold, the process proceeds to step S222. Next, it is determined whether Vr <KOSA_TH is satisfied (step S222). KOSA_TH is a preset threshold value for determining whether the character density classification on the multi-valued image IMG is 'high' or 'light' based on the variance Vr. Here, KOSA_TH = 1.0 is set. It shall be. Therefore, since Vr <KOSA_TH does not hold, it is determined that the density classification of the characters shown in the multi-valued image IMG is “dark”.
[0047]
Next, the binarization unit 311 initializes the variable KOSA with 0 (step S23 in FIG. 3). Next, it is determined whether or not the character density classification determined by the character density determination unit 3113 is 'blank' (step S24). Here, since the character density section is “high”, the process proceeds to step S25 to determine whether the character density section is “light”. Since the character density category is “dark”, the stain determination threshold value calculation unit 3114 calculates the stain determination threshold value based on the density histogram (step S26).
[0048]
That is, since BTH = 12, the above-described discriminant analysis method is applied to the portion where the pixel values of the density histogram shown in FIG. Here, it is assumed that DTH = 10 is obtained. Next, the binarizing unit 311 substitutes 1 for the variable KOSA (step S27). Then, the binary image generation unit 3115 binarizes the multi-value image IMG with the binarization threshold value BTH, and generates the binary image IMB of FIG. 9 (step S28). If it is determined in step S24 that the character density classification is “blank”, it is determined to be “blank”. As a binary image of the multilevel image IMG, a binary image IMB in which all pixels are white pixels. Is generated.
[0049]
Next, the noise removing unit 312 detects connected black pixels from the binary image IMB (FIG.Step S30). As a result, the four connected black pixels 110 to 113 shown in FIG. 9 are detected. Of these four connected black pixels, the connected black pixel 110 is first selected (step S31). At this time, it is assumed that the size of the connected black pixel 110 is a width W = 20 pixels and a height H = 35 pixels.
[0050]
Next, it is determined whether or not both the width W and the height H are equal to or smaller than a preset threshold SIZE_S (step S32). Here, it is assumed that the threshold value SIZE_S = 5. In this case, since both the width W and the height H are larger than SIZE_S, it is next determined whether the width W and the height H are equal to or smaller than a preset threshold SIZE_M and the variable KOSA = 1. (Step S33). Here, it is assumed that the threshold SIZE_M = 10.
[0051]
In this case, since both the width W and the height H are larger than the threshold value SIZE_M, the process proceeds to step S37, and it is determined whether all connected black pixels have been selected. However, since the connected black pixels 111 to 113 are not yet selected, the process returns to step S31 and the connected black pixel 111 is selected. Assume that the size of the connected black pixels is a width W = 10 and a height H = 4. Then, in the size determination in step S32, since both the width W and the height H do not satisfy the condition that the threshold value SIZE_S or less, the process proceeds to step S33. In the size determination in step S33, since both the width W and the height H satisfy the condition that SIZE_M or less, the stain determination unit 3121 determines whether the connected black pixel 111 is dirty (step S34).
[0052]
Next, the dirt determination unit 3121 initializes both the variable BK_CNT and the variable TK_CNT to 0 (step S340 in FIG. 7). Next, one of the black pixels constituting the connected black pixel 111 is selected (step S341). Next, as shown in FIG. 10, the pixel value BK_G of the pixel corresponding to the selected black pixel is obtained by referring to the multi-valued image IMG stored in the image storage unit 21 (step S342). FIG. 10 shows a connected black image BLK and a multi-valued image IMG on the binary image IMB.
[0053]
When obtaining the pixel value BK_G of the pixel corresponding to the selected black pixel, the character component 101 in FIG. 8 corresponding to the connected black pixel 111 shown in FIG. 9 is referred to. Here, it is assumed that BK_G = 4. Next, this BK_G is compared with the stain determination threshold value DTH calculated by the stain determination threshold value calculation unit 3114, and it is determined whether BK_G <DTH is satisfied (step S343). Since it is assumed that the dirt determination threshold value DTH is DTH = 10 as described above, BK_G <DTH is established. Accordingly, the value of the variable TK_CNT is incremented by 1 (step S344). Then, the value of the variable BK_CNT is incremented by 1 (step S345).
[0054]
Next, it is checked whether or not all black pixels have been selected (step S346). Here, assuming that there is still an unselected black pixel, the process returns to step S341, and one unselected black pixel is selected. Then, BK_G is obtained for the pixel value of the pixel on the multi-valued image IMG corresponding to the black pixel (step S342). Here, it is assumed that the pixel value BK_G = 12. Next, the pixel value BK_G is compared with the dirt determination threshold value DTH to determine whether BK_G <DTH is satisfied (step S343). However, since BK_G <DTH does not hold, step S344 is skipped and the process proceeds to step S345 where the value of variable BK_CNT is incremented by one.
[0055]
In step S346, it is determined whether all black pixels have been selected. In this manner, the process from step S341 to step S346 is repeated until all the black pixels constituting the connected black pixel 111 are selected in step S341. When all the black pixels have been selected, the process proceeds to step S347, and the value of TK_RTO is calculated. Here, if TK_CNT = 20 and BK_CNT = 25, then TK_RTO = 0.8. Next, this TK_RTO is compared with a preset threshold value DTK_TH. Here, it is assumed that DTK_TH = 0.1. Then, as a result of comparing TK_RTO and DTK_TH in step S348, TK_RTO <DTK_TH does not hold, so it is determined that the connected black pixel 111 is a “character stroke” (step S34a).
[0056]
AndFIG.In step S35, it is determined whether the determination result of the contamination determination unit 3121 is 'dirt'. In this case, since the dirt determination unit 3121 determines that the connected black pixel 111 is a “character stroke”, the process proceeds to step S37. In step S37, it is determined whether all connected black pixels have been selected. in this case,Connected black pixel 112Since the connected black pixel 113 is not selected, the process returns to step S31 and the connected black pixel 112 is selected.
[0057]
The size of the connected black pixel 112 is assumed to be a width W = 5 and a height H = 8. Then, in the determination in step S32, since both the width W and the height H do not satisfy the condition that SIZE_S or less, the process proceeds to step S33. In the determination in step S33, since the width W and the height H are both SIZE_M or less and satisfy the variable KOSA = 1, the stain determination unit 3121 determines whether or not the connected black pixel 112 is dirty (step S34). .
[0058]
Next, the dirt determination unit 3121 performs the processing from step S340 to step S346 of FIG. As a result, if TK_CNT = 2 and BK_CNT = 32 are obtained, TK_RTO = 0.0625. Next, this TK_RTO is compared with the threshold value DTK_TH (step S348). Here, since DTK_TH = 0.1 is set, TK_RTO <DTK_TH is established in step S348, and therefore, it is determined that the connected black pixel 112 is “dirt” (step S349). AndFIG.In step S35, it is determined whether the determination result of the contamination determination unit 3121 is 'dirt'. In this case, since the stain determination unit 3121 determines that the connected black pixel 112 is “dirt”, the connected black pixel removal unit 3122 removes the connected black pixel 112 from the binary image IMB (step S36). .
[0059]
Next, in step S37, it is determined whether all connected black pixels have been selected. Since the connected black pixel 113 is not selected, the process returns to step S31, and the connected black pixel 113 is selected. The size of the connected black pixel 113 is assumed to be a width W = 3 and a height H = 4. Then, since it is determined in step S32 that both the width W and the height H are SIZE_S or less, the connected black pixel removing unit 3122 removes the connected black pixel 113 from the binary image IMB (step S36). In step S37, it is determined whether all connected black pixels have been selected. At this time, since all the connected black pixels 110 to 113 on the binary image IMB have already been selected, the noise removing unit 312 ends the processing (step S3 in FIG. 2).
[0060]
Next, the feature extraction unit 32 receives the binary image IMB after noise removal shown in FIG. 11 from the preprocessing unit 31, and extracts the features used when the character recognition unit 33 performs the character recognition processing (FIG. 2). Step S4).
[0061]
Next, the character recognition unit 33 compares the feature extracted by the feature extraction unit 32 with the character feature stored in the character recognition dictionary unit 22, and performs character recognition processing (step S5). Then, the category name to which the multi-valued image IMG belongs as a result of the character recognition process is output to the output device 4 as a character reading result.
[0062]
In the embodiment described above, the functions from the preprocessing unit 31 to the character recognition unit 33 are realized by the data processing device 3 operating by program control executing the program stored in the memory. . On the other hand, as shown in FIG. 12, a recording medium 5 on which a program executed by the data processing device 3 is recorded is provided, and the program is read from the recording medium 5 into the memory of the data processing device 3. The operation may be controlled.
[0063]
In other words, if a recording medium on which a program for realizing the processes of FIGS. 2 to 4, 6, and 7 described above is prepared and each part of FIG. Obviously, a read operation can be performed. As the recording medium 5, various recording media can be used in addition to a semiconductor memory and a magnetic disk device.
[0064]
If the computer is controlled by a program recorded on the same recording medium, it is obvious that the character reading operation can be performed as described above. As this recording medium, various recording media can be used in addition to a semiconductor memory and a magnetic disk device.
[0065]
【The invention's effect】
As described above, according to the present invention, it is determined by referring to the density information on the multi-valued image before binarization, whether it is dirty or a character stroke for a somewhat large connected black pixel on the binary image. As a result, it is possible to remove only the dirt without accidentally removing the character stroke, and to realize a stable character reader that is resistant to dirt such as unerased characters that occur when the characters once entered with the eraser are erased. There is an effect that can be done.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an embodiment of a character reader according to the present invention.
FIG. 2 is a flowchart showing the operation of each unit in FIG.
FIG. 3 is a flowchart showing an operation of a binarization unit 311 in FIG.
4 is a flowchart showing an operation of a character density determination unit 3113 in FIG.
FIG. 5 is a diagram illustrating an example of a density histogram generated by a density histogram generation unit 3111 in FIG. 1;
6 is a flowchart showing the operation of the noise removing unit 312 in FIG.
7 is a flowchart showing an operation of a dirt determination unit 3121 in FIG.
FIG. 8 is a diagram illustrating an example of a multi-valued image IMG.
FIG. 9 is a diagram illustrating an example of a binary image IMB obtained by binarizing the multi-value image IMG.
FIG. 10 is a diagram illustrating a process of referring to a pixel value BK_G of a pixel on a multi-valued image IMG corresponding to the pixel from a connected black pixel BLK on the binary image IMB.
11 is a diagram illustrating an example of a binary image IMB after noise removal by a noise removing unit 312 in FIG. 1;
FIG. 12 is a block diagram showing another embodiment of the character reading device according to the present invention.
[Explanation of symbols]
1 Image input device
2 storage devices
21 Image storage unit
22 Character recognition dictionary
3 Data processingapparatus
31 Pre-processing section
311 Binarization part
3111 Density histogram generator
3112 Binary threshold calculation unit
3113 Character density determination unit
3114 Dirt determination threshold value calculation unit
3115 Binary image generation unit
312 Noise removal unit
3121 Dirt determination unit
3122 Connected black pixel removal unit
32 Feature extraction unit
33 Character recognition part
4 Output device
5 recording media
100, 101 character component
102,103 Dirt component
110, 111, 112, 113 connected black pixels

Claims

A character reading device for reading a handwritten character described in a form, wherein a pixel value on the multi-valued image is a density class that is a density class for characters on the multi-valued image obtained by performing image reading on the form. A character density determination unit for comparing the dispersion of the image and a predetermined threshold value, and a stain determination threshold value for determining a character to be read in the multi-valued image and a stain other than the character. a dirt determination threshold value calculation unit that calculates, connected black pixels in the binary image obtained by binarizing the multivalued image and the stain determination unit for determining whether or dirty character strokes seen including,
The stain determination unit is configured such that the size of the connected black pixels is larger than a first threshold value and smaller than or equal to a second threshold value greater than the first threshold value, and on the multi-valued image. When the variance of the pixel values is larger than the predetermined threshold value , the character reading device determines whether the connected black pixel is dirty or a character stroke using the stain determination threshold value .

The stain determination unit determines that the connected black pixel is dirty when the size of the connected black pixel is equal to or smaller than the first threshold value, and the size of the connected black pixel is the second threshold value. If it is greater than or less than the second threshold but the variance of the pixel values on the multi-valued image is smaller than the predetermined threshold, the connected black pixel is determined as a character stroke. character reader according to claim 1, characterized in that.

The character reading device according to claim 1, wherein the stain determination unit determines the connected black pixel as a stain based on a pixel value of the multi-valued image.

A character reading method for reading a handwritten character described in a form, wherein a density classification that is a density classification of a character on a multi-value image obtained by performing image reading on the form is a pixel value on the multi-value image. A character density determining step for comparing the variance of the image and a predetermined threshold value, and a stain determination threshold value for determining a character to be read in the multi-valued image and a stain other than the character. a dirt determination threshold value calculation step of calculating, see contains a stain determination step of connecting the black pixels on the binary image by binarizing the multi-valued image to determine whether dirt or character stroke,
In the stain determination step, the size of the connected black pixels is larger than a first threshold value and smaller than or equal to a second threshold value greater than the first threshold value, and the multi-value image A character reading method , wherein when the variance of the upper pixel value is larger than the predetermined threshold value, it is determined whether the connected black pixel is dirty or a character stroke by using the stain determination threshold value .

In the stain determination unit step, when the size of the connected black pixel is equal to or smaller than the first threshold value, the connected black pixel is determined as dirty, and the size of the connected black pixel is the second threshold value. If it is greater than the threshold value or less than the second threshold value but the variance of pixel values on the multi-valued image is smaller than the predetermined threshold value, the connected black pixels are treated as character strokes. character reading method according to claim 4, wherein the determining that.

6. The character reading method according to claim 4 or 5, wherein, in the stain determination step, the connected black pixels are determined as stains based on pixel values of the multi-valued image.

A recording medium which records a character reading program for reading a handwritten character written on a form by a computer, the program being used for characters on a multi-valued image obtained by performing image reading on the form on the computer. A character density determination step for determining a density classification, which is a density classification, by comparing a dispersion of pixel values on the multi-valued image and a predetermined threshold; and a character to be read in the multi-valued image; A stain determination threshold value calculating step for calculating a stain determination threshold value for determining a stain other than the character, and whether the connected black pixel on the binary image obtained by binarizing the multi-valued image is a stain or a character stroke only contains a stain determination step to determine whether,
In the stain determination step, the size of the connected black pixels is larger than a first threshold value and smaller than or equal to a second threshold value greater than the first threshold value, and the multi-value image When the variance of the upper pixel value is larger than the predetermined threshold value , the recording medium is characterized by determining whether the connected black pixel is dirty or a character stroke using the stain determination threshold value .

In the stain determination unit step, when the size of the connected black pixel is equal to or smaller than the first threshold value, the connected black pixel is determined as dirty, and the size of the connected black pixel is the second threshold value. If it is greater than the threshold value or less than the second threshold value but the variance of pixel values on the multi-valued image is smaller than the predetermined threshold value, the connected black pixels are treated as character strokes. The recording medium according to claim 7, wherein the recording medium is discriminated .

9. The recording medium according to claim 7, wherein, in the stain determination step, the connected black pixels are determined as stains based on pixel values of the multi-valued image.