JP2008011484A - 文字図形列抽出装置，文字図形列抽出方法，その方法を実行するプログラム，そのプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】画像から文字図形列である領域を適切かつ高速に抽出する。
【解決手段】画像データ入力手段１１によって入力された画像データに対し、エッジ抽出処理及び２値化処理を施す手段１２、孤立点を除去する孤立点除去手段１３、直線除去部１４１、ブラッシュ処理手段１４、モフォロジ処理手段１５、閾値記憶部１９から取得した閾値に基づいて形状を解析する形状解析手段１６、重複領域除去手段１７を順に施して得られた文字図形列領域を出力する。
【選択図】図１

Description

本発明は、画像データから文字図形列や図形などのパターンを抽出する技術に関するものである。

近年、デジタルカメラが携帯電話やＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等に搭載されるようになり、いつでも手軽に画像データを取得、保存できるようになった。この機能をさらに活用する手段として、画像に写る文字図形（即ち、文字を形成する図形）列を画像データから認識し、画像検索のためのインデクシングとして活用することが考えられる。

例えば、文字図形列を効率よく検出する手段として、画像から文字と関係ない成分を段階的に除去していき、最後に残った成分を文字成分として検出する手法が知られている（例えば、非特許文献１参照）。この手法では、エッジ成分を検出し、長い直線成分や孤立点を除去した後、残った成分の外接矩形を取り、形状に関する解析結果から文字図形列を検出するアルゴリズムを提案している。また、この手法は、図面や文書等を主に対象にしている手法である。

なお、関連技術として、自動的に閾値を選択して２値化を行う手法も広く知られている。
Ｚｈａｏｙａｎｇ Ｌｕ，"Ｄｅｔｅｃｔｉｏｎ ｏｆ Ｔｅｘｔ Ｒｅｇｉｏｎｓ ｆｒｏｍ Ｄｉｇｉｔａｌ Ｅｎｇｉｎｅｅｒｉｎｇ Ｄｒａｗｉｎｇｓ"，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ＡＰＲＩＬ １９９８，Ｖｏｌ．２０，Ｎｏ．４，ｐ．４３１−４３９． 大津展之，「判別および最小２乗基準に基づく自動しきい値選定法」，電子通信学会論文誌，１９８０，Ｖｏｌ．Ｊ６３−Ｄ，Ｎｏ．４，ｐｐ．３４９−３５６．

上述の手法は、図面等を対象としているため、例えば、デジタルカメラによって撮影された自然画像（例えば、文字入りの看板が背景に撮像された画像やテロップを含む映像）から文字図形列を抽出する手法としては最適と言えない。特に、大量の画像インデクシングを行ったり、映像を扱う場合、できるだけ高速に文字図形列を抽出しなくてはならず、上述の手法ではやや複雑過ぎて処理速度面に関して問題を生じる。

本発明は、前記課題に基づいてなされたものであって、自然画像または映像から文字図形列である領域を適切かつ高速に抽出できる文字図形列抽出装置，文字図形列抽出方法，その方法を実行するプログラム，そのプログラムを記録した記録媒体を提供することにある。

本発明は、前記課題の解決を図るために、請求項１記載の発明は、画像データに含まれる文字図形列を形成する領域を抽出する文字図形列抽出装置であって、前記画像データを画像データ取得手段から入力する画像データ入力手段と、前記入力された画像データにエッジ抽出処理を施し、さらに、そのエッジ抽出された画像データに対し２値化処理を施した第１段階画像データを生成するエッジ抽出手段と、前記第１段階画像データに関して他の第１値画素から孤立した第１値画素を除去して、第２段階画像データを生成する孤立点除去手段と、前記第２段階画像データから直線的に連続する第１値画素の領域を検出し、さらに、その領域を構成する第１値画素を除去した第３段階画像データを生成する直線除去手段と、注目画素に関する近傍を定義する閾値を閾値記憶部から読み出し、その閾値に基づいて前記第３段階画像データに対してブラッシュ処理を施して、第４段階画像データを生成するブラッシュ処理手段と、前記第４段階画像データに対し、エロージョンとダイレーションを施して、第５段階画像データを生成するモフォロジ処理手段と、前記第５段階画像データに対して、第１値画素領域をラベリングし、同一領域を一領域と見做して各領域の第１外接矩形を算出し、該第１外接矩形内の第１値画素数が第１値画素数の上限値を超えた場合を真として判定する第１判定，該第１外接矩形内の第１値画素数が第１値画素数の下限値を超えた場合を真として判定する第２判定，該第１外接矩形の短辺長が短辺長の下限値を超えた場合を真として判定する第３判定，該第１外接矩形内の第１値画素数と第２値画素数の比率が比率の下限値を超えた場合を真として判定する第４判定，前記入力された画像データにおいて、その第１外接矩形の内部に対応する部分のコントラストがコントラストの下限値を超えた場合を真として判定する第５判定，のいずれかの判定で真として判定された第１外接矩形を第２外接矩形と見做し、算出された第１外接矩形から第２外接矩形を除去し、残った第１外接矩形を第３外接矩形と見做して生成する形状解析手段と、前記包含関係にある第３外接矩形のうち、含まれる方の第３外接矩形を除去し、残った第３外接矩形を第４外接矩形と見做して生成する重複領域除去手段と、前記第４外接矩形を文字図形列領域と見做して出力する文字図形列領域出力手段と、を備えることを特徴とする。

請求項２記載の発明は、画像データに含まれる文字図形列を形成する領域を抽出する文字図形列抽出方法であって、前記画像データを画像データ取得手段から入力する画像データ入力ステップと、その入力された画像データにエッジ抽出処理を施し、さらに、そのエッジ抽出された画像データに対し２値化処理を施した第１段階画像データを生成するエッジ抽出ステップと、その第１段階画像データに関して他の第１値画素から孤立した第１値画素を除去し、第２段階画像データを生成する孤立点除去ステップと、前記第２段階画像データから直線的に連続する第１値画素の領域を検出し、さらに、その領域を構成する第１値画素を除去した第３段階画像データを生成する直線除去ステップと、注目画素に関する近傍を定義する閾値を閾値記憶部から読み出し、その閾値に基づいて前記第３段階画像データに対してブラッシュ処理を施し、第４段階画像データを生成するブラッシュ処理ステップと、前記第４段階画像データに対し、エロージョンとダイレーションを施して、第５段階画像データを生成するモフォロジ処理ステップと、前記第５段階画像データに対して、第１値画素領域をラベリングし、同一領域を一領域と見做して各領域の第１外接矩形を算出し、該第１外接矩形内の第１値画素数が第１値画素数の上限値を超えた場合を真として判定する第１判定，該第１外接矩形内の第１値画素数が第１値画素数の下限値を超えた場合を真として判定する第２判定，該第１外接矩形の短辺長が短辺長の下限値を超えた場合を真として判定する第３判定，該第１外接矩形内の第１値画素数と第２値画素数の比率が比率の下限値を超えた場合を真として判定する第４判定，前記入力された画像データにおいて、その第１外接矩形の内部に対応する部分のコントラストがコントラストの下限値を超えた場合を真として判定する第５判定，のいずれかの判定で真として判定された第１外接矩形を第２外接矩形と見做し、算出された第１外接矩形から第２外接矩形を除去し、残った第１外接矩形を第３外接矩形と見做して生成する形状解析ステップと、包含関係にある第３外接矩形のうち、含まれる方の第３外接矩形を除去し、残った第３外接矩形を第４外接矩形と見做して生成する重複領域除去ステップと、その第４外接矩形を文字図形列領域と見做して出力する文字図形列領域出力ステップと、を有することを特徴とする。

請求項３記載の発明は、文字図形列抽出プログラムであって、請求項２に記載の文字図形列抽出方法を、コンピュータで実行可能なコンピュータプログラムとして記述したことを特徴とする。

請求項４記載の発明は、記録媒体であって、請求項２に記載の文字図形列抽出方法を、コンピュータで実行可能なプログラムに記述し、そのプログラムを記録したことを特徴とする。

請求項５記載の発明は、画像データに含まれる文字図形列を形成する領域を抽出する文字図形列抽出装置であって、前記画像データを画像データ取得手段から入力する画像データ入力手段と、前記入力された画像データにエッジ抽出処理を施し、さらに、そのエッジ抽出された画像データに対し２値化処理を施した第１段階画像データを生成するエッジ抽出手段と、前記第１段階画像データに関して他の第１値画素から孤立した第１値画素を除去して、第２段階画像データを生成する孤立点除去手段と、前記第２段階画像データから直線的に連続する第１値画素の領域を検出し、さらに、その領域を構成する第１値画素を除去した第３段階画像データを生成する直線除去手段と、注目画素に関する近傍を定義する閾値を閾値記憶部から読み出し、その閾値に基づいて前記第３段階画像データに対してブラッシュ処理を施して、第４段階画像データを生成するブラッシュ処理手段と、前記第４段階画像データに対し、エロージョンとダイレーションを施して、第５段階画像データを生成するモフォロジ処理手段と、前記第５段階画像データに対して、第１値画素領域をラベリングし、同一領域を一領域と見做して各領域の第１外接矩形を算出し、該第１外接矩形内の第１値画素数が第１値画素数の上限値を超えた場合を真として判定する第１判定，該第１外接矩形内の第１値画素数が第１値画素数の下限値を超えた場合を真として判定する第２判定，該第１外接矩形の短辺長が短辺長の下限値を超えた場合を真として判定する第３判定，該第１外接矩形内の第１値画素数と第２値画素数の比率が比率の下限値を超えた場合を真として判定する第４判定，前記入力された画像データにおいて、その第１外接矩形の内部に対応する部分のコントラストがコントラストの下限値を超えた場合を真として判定する第５判定，のいずれかの判定で真として判定された第１外接矩形を第２外接矩形と見做し、算出された第１外接矩形から第２外接矩形を除去し、残った第１外接矩形を第３外接矩形と見做して生成する形状解析手段と、前記包含関係にある第３外接矩形のうち、含まれる方の第３外接矩形を除去し、残った第３外接矩形を第４外接矩形と見做して生成する重複領域除去手段と、前記第４外接矩形のうち、外接矩形領域の２値化のしやすさ、ストローク幅の分散の少なさ、ストローク幅の最大の大きさ、２値化後の第１値画素領域と第２値画素領域との境界の複雑さ、ストローク長の最大の大きさ、をそれぞれ数値化し、文字らしくない外接矩形領域と判定されたものを第４外接矩形から除去し、残った第４外接矩形を第５外接矩形と見做して生成する文字らしさ解析手段と、前記第５外接矩形を文字図形列領域と見做して出力する文字図形列領域出力手段と、を備えることを特徴とする。

請求項６記載の発明は、画像データに含まれる文字図形列を形成する領域を抽出する文字図形列抽出方法であって、前記画像データを画像データ取得手段から入力する画像データ入力ステップと、その入力された画像データにエッジ抽出処理を施し、さらに、そのエッジ抽出された画像データに対し２値化処理を施した第１段階画像データを生成するエッジ抽出ステップと、その第１段階画像データに関して他の第１値画素から孤立した第１値画素を除去し、第２段階画像データを生成する孤立点除去ステップと、前記第２段階画像データから直線的に連続する第１値画素の領域を検出し、さらに、その領域を構成する第１値画素を除去した第３段階画像データを生成する直線除去ステップと、注目画素に関する近傍を定義する閾値を閾値記憶部から読み出し、その閾値に基づいて前記第３段階画像データに対してブラッシュ処理を施し、第４段階画像データを生成するブラッシュ処理ステップと、前記第４段階画像データに対し、エロージョンとダイレーションを施して、第５段階画像データを生成するモフォロジ処理ステップと、前記第５段階画像データに対して、第１値画素領域をラベリングし、同一領域を一領域と見做して各領域の第１外接矩形を算出し、該第１外接矩形内の第１値画素数が第１値画素数の上限値を超えた場合を真として判定する第１判定，該第１外接矩形内の第１値画素数が第１値画素数の下限値を超えた場合を真として判定する第２判定，該第１外接矩形の短辺長が短辺長の下限値を超えた場合を真として判定する第３判定，該第１外接矩形内の第１値画素数と第２値画素数の比率が比率の下限値を超えた場合を真として判定する第４判定，前記入力された画像データにおいて、その第１外接矩形の内部に対応する部分のコントラストがコントラストの下限値を超えた場合を真として判定する第５判定，のいずれかの判定で真として判定された第１外接矩形を第２外接矩形と見做し、算出された第１外接矩形から第２外接矩形を除去し、残った第１外接矩形を第３外接矩形と見做して生成する形状解析ステップと、包含関係にある第３外接矩形のうち、含まれる方の第３外接矩形を除去し、残った第３外接矩形を第４外接矩形と見做して生成する重複領域除去ステップと、前記第４外接矩形のうち、外接矩形領域の２値化のしやすさ、ストローク幅の分散の少なさ、ストローク幅の最大の大きさ、２値化後の第１値画素領域と第２値画素領域との境界の複雑さ、ストローク長の最大の大きさ、をそれぞれ数値化し、文字らしくない外接矩形領域と判定されたものを第４外接矩形から除去し、残った第４外接矩形を第５外接矩形と見做して生成する文字らしさ解析ステップと、その第５外接矩形を文字図形列領域と見做して出力する文字図形列領域出力ステップと、を有することを特徴とする。

請求項７記載の発明は、文字図形列抽出プログラムであって、請求項６に記載の文字図形列抽出方法を、コンピュータで実行可能なコンピュータプログラムとして記述したことを特徴とする。

請求項８記載の発明は、記録媒体であって、請求項６に記載の文字図形列抽出方法を、コンピュータで実行可能なプログラムに記述し、そのプログラムを記録したことを特徴とする。

前記の請求項１，２，３，４の発明によれば、上述のエッジ抽出，２値化処理，孤立点除去，ブラッシュ処理，モフォロジ処理を施した画像に対し、単純化した形状解析処理を実行できる。

前記の請求項５，６，７，８の発明によれば、上述のエッジ抽出，２値化処理，孤立点除去，ブラッシュ処理，モフォロジ処理を施した画像に対し、単純化した形状解析処理，文字らしさ解析処理を実行できる。

以上示したように請求項１，２，３，４の発明によれば、形状解析処理が単純化されるため、文字図形列抽出処理全体として、画像から文字図形列領域を適切かつ高速に抽出できる。また、非文字図形列領域の誤抽出を抑制でき、その後の認識処理の負担を軽減できる。

請求項５，６，７，８の発明によれば、請求項１，２，３，４の発明よりも、非文字列領域の誤抽出を抑制でき、その後の認識処理の負担を軽減できる。

これらを以って文字認識技術分野に貢献できる。

以下、本発明の実施形態を図面等に基づいて詳細に説明する。

本実施形態における文字図形列抽出装置の構成を図１に基づいて説明する。本実施形態における文字図形列抽出装置は、画像データ入力部１１，画像処理部１，文字図形列領域出力部１８，閾値記憶部１９から構成される。また、上記の画像処理部１は、エッジ抽出部１２，孤立点除去部１３，直線除去部１４１，ブラッシュ処理部１４，モフォロジ処理部１５，形状解析部１６，重複領域除去部１７から構成される。なお、閾値記憶部１９に対し閾値を入力及び記憶する手段を備えていても良いし、予め固定的な値が閾値記憶部１９に記憶されていても良い。また、前記閾値は、例えば、文字図形（または文字図形列），図形（例えば、トレードマーク）などを含むパターンを認識するための閾値である。

画像データ入力部１１は、画像データ取得手段（例えば、デジタルカメラや画像データを格納したデータベース等）から自然画像データ（即ち、多値画像データ）を入力し、エッジ抽出部１２に伝送する。なお、映像から自然画像データを入力する場合、その映像中の各フレーム画像（即ち、画像データ）を画像データ入力部１１から入力する。

エッジ抽出部１２は、伝送された画像データにエッジ抽出処理を施し、さらに、そのエッジ抽出された画像データに対し２値化処理を施した画像データを生成し孤立点除去部１３に伝送する。なお、エッジ抽出処理には、例えば、Ｓｏｂｅｌオペレータ、Ｌａｐｌａｓｉａｎオペレータ等を用いる。また、２値化処理には、例えば、固定閾値による方法、局所窓内の明度ヒストグラムにもとづく適応的閾値による方法等を用いる。以下の説明では、エッジ領域に対し２値化処理を行った領域を黒色画素（即ち、画素値が「０」の画素；第１値画素）として説明する。

孤立点除去部１３は、エッジ抽出後の画像データに対して、１画素の孤立点黒色画素を削除したその結果生成した画像データを直線除去部１４１へ伝送する。

直線除去部１４１は、孤立点黒画素除去後の画像データから黒色画素が直線的に連続する場所を検出し、それらを構成する黒色画素を全て除去する。具体的には、まず、世界座標系において、画像を回転角度θ°だけ回転（もしくはスキュー変換）する。なお、回転後の画像も２値画像であるとする。次に、その画像を縦方向（世界座標系ｙ軸方向）または横方向（世界座標系ｘ軸方向）にスキャン（線状に検査）して、黒色画素のランレングスＬを計測し、そのランレングスＬが特定の閾値ｎ₁より大きいものを直線と見做す。なお、閾値ｎ₁は閾値記憶部１９から読み出す。次に、回転角度θ°を数段階変えて同様に処理する。そして、その直線と見做された構成画素を全て除去する。最後に、直線除去された段階の画像データを生成しブラッシュ処理部１４へ伝送する。

ブラッシュ処理部１４は、直線除去部１４１から伝送されてきた全ての黒色画素をある距離（画素数）まで上下左右（画像座標系ｙ方向ｘ方向）に延ばす処理を行う。即ち、直線除去部１４１から伝送された画像データ全体に対して以下のようなルールに基づいた演算を行うものである。なお、ブラッシュ処理とは、全ての対象画素をある距離（画素数）まで放射状に延ばす処理である。そして、その演算結果である画像データを生成しモフォロジ処理部１５へ伝送する。

まず、注目画素から上（画像座標系の＋ｙ方向）ｎ₂画素数分及び下（画像座標系の−ｙ方向）ｎ₂画素数分の範囲内における画素のどれかが一つでも黒色画素であれば注目画素も黒色画素にする。なお、ｎ₂は、ブラッシュ処理における注目画素に関する近傍を定義する閾値であって、正の値を示す。閾値ｎ₂は閾値記憶部１９から読み出すものとする。

その後、注目画素から左（画像座標系の−ｘ方向）ｎ₂画素数分及び右（画像座標系の＋ｘ方向）ｎ₂画素数分の範囲内における画素のどれかが一つでも黒色画素であれば注目画素も黒色画素にする。

以上が、本実施形態におけるブラッシュ処理になる。

モフォロジ処理部１５は、ブラッシュ処理部１４から伝送された画像データに対してエロージョンおよびダイレーションを施し（即ち、モフォロジ処理を施し）、その施した画像データを生成し形状解析部１６へ伝送する。

形状解析部１６では、形状解析として次の処理を行う。

まず、モフォロジ処理部１５から伝送された画像データに対し黒色画素のラベリングを行い、同一ラベルの領域を一領域と考え各領域の外接矩形領域（以下、単に外接矩形という）を計算する（抽出する）。なお、外接矩形は斜めに回転した矩形（長方形）も許すものとする。

そして、各外接矩形に対し、以下の式１乃至５のいずれか一つに当てはまる外接矩形を除去し、全くあてはまらない外接矩形を抽出する。なお、ｎ₃は、外接矩形内の黒色画素数の上限値を定義する閾値であって、正の値である。ｎ₄は、外接矩形内の黒色画素数の下限値を定義する閾値であって、正の値である。ｎ₅は、外接矩形の短辺の下限値を定義する閾値であって、正の値である。ｎ₆は、外接矩形内の黒色画素数と白色画素（第２値画素）数の比の下限値を定義する閾値であって、正の値である。ｎ₇は、外接矩形内の元画像（即ち、自然画像データ）のコントラストの下限値を定義する閾値であって、正の値である。前記コントラストは、矩形内の２値化前の元画像で計測を行い、例えば、明度ヒストグラムの分散等で定義される。閾値ｎ₃からｎ₇は、閾値記憶部１９から読み出して使用するものとする。

ただし、Ｐ_bは矩形内の黒色画素数、Ｌ_sは矩形の短辺、Ｐ_wは矩形内の白色画素数、Ｐ_cは矩形内の元画像のコントラストである。

抽出された外接矩形を重複領域除去部１７へ伝送する。

重複領域除去部１７は、抽出された外接矩形の重なりを調べ、完全に包含するようなものに関しては小さい方（即ち、含まれる方の外接矩形）を除去し、残された外接矩形を文字図形列領域出力部１８へ伝送する。

文字図形列領域出力部１８は、残された外接矩形に関する情報（例えば、矩形の長辺の長さ、短辺の長さ、回転角度）を文字図形領域として出力する。例えば、外接矩形を元画像（即ち、画像入力部１１によって入力された画像）に重畳してディスプレイ装置に表示させる。

本実施形態における文字図形列抽出方法を図２に基づいて説明する。なお、以下の説明で、図１中の符号と同じものの説明は省略する。

まず、画像データ取得手段から自然画像データを入力する（Ｓ１０１）。

次に、入力された自然画像データに対しエッジ抽出処理を施し、さらに、そのエッジ抽出された画像データに対し２値化処理を施す（Ｓ１０２）。

次に、エッジ抽出処理及び２値化処理を施された画像データにおいて、１画素の孤立点黒色画素を削除する（Ｓ１０３）。

次に、孤立点黒色画素を削除された画像データに対して上述の直線除去を施す（Ｓ１０４１）。

次に、直線除去された画像データ全体に対して上述のブラッシュ処理を施す（Ｓ１０４）。

次に、ブラッシュ処理を施された画像データに対して、上述のモフォロジ処理を施す（Ｓ１０５）。

次に、モフォロジ処理を施された画像データに対して、上述の形状解析を施し、外接矩形領域を抽出する（Ｓ１０６）。

そして、抽出された外接矩形領域の重なりを調べ、完全に包含するようなものに関しては含まれる方を除去する（Ｓ１０７）。即ち、残された外接矩形領域が、閾値記憶部１９に記憶された閾値に基づくパターン（例えば、文字図形列パターン）に一致した領域である。

なお、本実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）（あるいはＭＰＵ（Ｍｉｃｒｏｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ））が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、実現できる。その場合、記憶媒体から読み出されたプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅｃｏｒｄａｂｌｅ）、ＣＤ−ＲＷ（Ｃｏｍｐａｃｔ Ｄｉｓｋ ＲｅＷｒｉｔａｂｌｅ）、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等は本発明を構成する。

また、高速化より文字図形検出精度を重視する場合、重複領域除去部の後に、「文字らしさ解析部」を追加した構成（例えば、図３及び図４の構成）した実施例も考えられる。

図３中の画像データ入力部２１〜重複領域除去部２７，直線除去部２４１及び文字図形列領域出力部２９は、前記画像データ入力部１１〜重複領域除去部１７，直線除去部１４１および文字図形列領域出力部１８とそれぞれ同様の機能を有する。

文字らしさ解析部２８は、抽出された文字図形領域候補（例えば、重複領域除去部２７によって残された外接矩形）それぞれにおいて、５種類の文字らしさ基準値を算出し、文字図形領域でないと判定されたものは除外する。ここで、文字図形領域候補は全て長方形の形状で検出されており、長方形の短辺がＳになるよう予め大きさ正規化されているものとする。なお、Ｓの値は予め決められているものとする。

１つ目の文字らしさ基準値は、２値化のしやすさを数値化したものである。

まず、一つの文字図形領域候補に対し、図５のような明度ヒストグラムを算出する。なお、図５は、ｘ軸が明度、ｙ軸が頻度である。

次に、ヒストグラムから２値化のための閾値を求める。なお、閾値算出法は、例えば、非特許文献２の閾値算出法などが挙げられる。

次に、ヒストグラムから２つのピーク位置（例えば、図５中の左ピーク位置Ｐｌ，右ピーク位置Ｐｒ）を検出する。例えば、しきい値（例えば、図５中のしきい値ｔｈ）で区切られた２つの領域においてそれぞれ最大の頻度を示す位置として算出可能である。

そして、それぞれのピーク位置において前後に幅ｗ１の範囲の頻度を累積値として求め、全体の何パーセントを占めているかを調べる。なお、幅ｗ１の値は、予め決められているものとする。

ここで、左ピーク位置の周囲から算出されたものの割合をＰｅｒＬ，右ピークから算出されたものの割合をＰｅｒＲということとする。ＰｅｒＬ及びＰｅｒＲが予め決められたＴｈｒｅ１より小さい（ＰｅｒＬ＜Ｔｈｒｅ１かつＰｅｒＲ＜Ｔｈｒｅ１）場合は、文字図形領域でないと見做して候補から除外する。

２つ目の文字らしさ基準値は、ストローク幅の分散の少なさを数値化したものである。なお、ストロークとは、文字を構成する線のことを指す。

まず、一つの文字図形領域候補に対し、領域内を２値化した２値化文字図形領域候補を生成する。

次に、ある一つの黒画素に対し以下の処理を施す。

処理Ａ１として、ある一つの黒画素に対し、上下方向、左右方向、左下−右上方向、左上−右下方向への黒画素スキャンを行い、４方向のランレングスをそれぞれ測る。

処理Ａ２として、それらのランレングスのうち、最も小さい長さを示したものの数値を”ストローク幅”と定義し、図６のような「ストローク幅ヒストグラム」に投票する。なお、図６では、ｘ軸がストローク幅、ｙ軸が頻度である。

処理Ａ１及び処理Ａ２を全ての黒画素に施す。

次に、ストローク幅ヒストグラムからピーク位置Ｐ（例えば、図６中のピーク位置Ｐ）を求める。このピーク位置Ｐは、頻度最大の位置を探すことで求められる。

次に、そのピーク位置において、前後に幅ｗ２の範囲の頻度を累積値として求め、全体の何パーセントを占めているか（割合；ＰｅｒＷ１）を調べる。なお、幅ｗ２の値は、予め決められたものとする。ＰｅｒＷ１を求めた前記処理を白黒逆転させた２値化文字図形領域候補に適応しＰｅｒＷ２を求める。ＰｅｒＷ１とＰｅｒＷ２を比較し、大きい方をＰｅｒＷとして採用する。なお、このときの白画素もしくは黒画素と文字成分と背景成分の対応関係を以下でも利用することにする。

最終的に、得られたＰｅｒＷが予め決められたＴｈｒｅ２より小さい（ＰｅｒＷ＜Ｔｈｒｅ２）場合は、文字図形領域でないと見做して候補から除外する。

３つ目の文字らしさ基準値は、ストローク幅の最大の大きさを数値化したものである。上述のストローク幅を全て黒画素（文字成分である黒画素）で算出し、それらの最大値を求める。最大値が長方形領域の短辺長さＳに対し、どの程度の大きさかを比として求めＰｅｒＤとする。ＰｅｒＤが予め決められたＴｈｒｅ３より大きい（ＰｅｒＤ＞Ｔｈｒｅ３）場合は、文字図形領域でないと見做して候補から除外する。

４つ目の文字らしさ基準値は、２値化後の黒画素（文字成分である黒画素）領域と白画素（背景成分である白画素）領域との境界の複雑さを数値化したものである。

まず、一つの文字図形領域候補に対し、領域内を２値化する。

次に、黒画素領域と白画素領域の境界にあたる画素を検出し、その数を集計する。それが、全体の画素数に対し、どの程度の割合かを求めＰｅｒＦとする。ＰｅｒＦが予め決められたＴｈｒｅ４より大きい（ＰｅｒＦ＞Ｔｈｒｅ４）場合は、文字図形領域でないとして候補から除外する。

５つ目の文字らしさ基準値は、ストローク長さの最大の大きさを数値化したものである。

まず、一つの文字図形領域候補に対し、領域内を２値化する。

次に、ある一つの黒画素に対し以下の処理を施す。

処理Ｂ１として、ある一つの黒画素（文字成分である黒画素）に対し、上下方向、左右方向、左下−右上方向、左上−右下方法への黒画素のスキャンを行い、４方向のランレングスをそれぞれ測る。

処理Ｂ２として、そのランレングスのうち、最も大きい長さを示したものの数値を「ストローク長さ」と定義する。

処理Ｂ１及び処理Ｂ２を全ての黒画素に対して行い、その最大値を求める。その最大値が長方形領域の短辺長さＳに対し、どの程度の大きさかを比として求めＰｅｒＳと定義する。ＰｅｒＳが予め決められたＴｈｒｅ５より大きい（ＰｅｒＳ＞Ｔｈｒｅ５）場合は、文字図形領域でないと見做して候補から除外する。

以上の文字らしさ基準値の組み合わせによって残された外接矩形に関する情報は、文字図形列領域出力部２９によって出力される。

図４に基づいて本実施例の処理を説明する。図４中の画像データ入力ステップＳ２０１〜重複領域除去ステップＳ２０７及び直線除去ステップＳ２０４１は、前記画像データ入力ステップＳ１０１〜重複領域除去ステップＳ１０７，直線除去ステップＳ１０４１とそれぞれ同様の処理を行う。

図４中の文字らしさ解析ステップＳ２０８は、上述の文字らしさ解析部２８と同様の処理を行うステップである。即ち、抽出された文字図形領域候補それぞれにおいて、上述の５種類の文字らしさ基準値を算出し、文字図形領域でないと判定されたものは除外するステップである。

なお、上述のＳの値，Ｔｈｒｅ１からＴｈｒｅ５の値，ｗ１及びｗ２の値は、閾値記憶部１９から読み出して使用するものとする。

以上のように、本実施形態は、画像データから文字図形列領域を抽出する方法であって、エッジ抽出、孤立点除去、直線除去、ブラッシュ処理、モフォロジ処理、形状解析、重複領域除去の順に処理を行う。

また、本実施形態は、文字成分として抽出された部分領域の形状解析（Ｓ１０６）を、以下のような単純化した５つ処理にできる。

第１処理は、特定の閾値より大きすぎる領域を削除する。

第２処理は、特定の閾値より小さすぎる領域を削除する。

第３処理は、特定の閾値より細長すぎる領域を削除する。

第４処理は、外接矩形内の値（黒色画素数を白色画素数で除算した値）が、特定の閾値より小さすぎる領域を削除する。

第５処理は、コントラストが、特定の閾値より極端に小さすぎる領域を削除する。

これらの処理はいずれも単純な処理であるため、非常に高速に文字図形列を自然画像から抽出できる。

例えば、上述の閾値ｎ₃からｎ₇の閾値セットに文字コード（例えば、ＪＩＳ（Ｊａｐａｎｅｓｅ Ｉｎｄｕｓｔｒｉａｌ Ｓｔａｎｄａｒｄ）コード）を割り当てれば、コンピュータで扱われる文字列（例えば、テキスト）として扱うこともできる。

以上、本発明において、記載された具体例に対してのみ詳細に説明したが、本発明の技術思想の範囲で多彩な変形および修正が可能であることは、当業者にとって明白なことであり、このような変形および修正が特許請求の範囲に属することは当然のことである。

例えば、本実施形態の変形例として、閾値ｎ₁からｎ₇の閾値セットを複数セット管理する閾値記憶部であっても良い。即ち、その複数の閾値セットから１つの閾値セットを予め選択しておき、その閾値セットから各々の閾値を読み出すものである。

本実施形態における文字図形列抽出装置の構成図。 本実施形態における文字図形列抽出方法を示すフローチャート。 本実施例における文字図形列抽出装置の構成図。 本実施例における文字図形列抽出方法を示すフローチャート。 本実施例における明度ヒストグラムの一例を示す図。 本実施例におけるストローク幅ヒストグラムの一例を示す図。

符号の説明

１，１’…画像処理部
１１，２１…画像データ入力部
１２，２２…エッジ抽出部
１３，２３…孤立点除去部
１４，２４…ブラッシュ処理部
１５，２５…モフォロジ処理部
１６，２６…形状解析部
１７，２７…重複領域除去部
１８，２９…文字図形列領域出力部
１９…閾値記憶部
２８…文字らしさ解析部
１４１，２４１…直線除去部
Ｐ…ピーク位置
Ｐｌ…左ピーク位置
Ｐｒ…右ピーク位置
ｔｈ…しきい値

Claims (8)

1. 画像データに含まれる文字図形列を形成する領域を抽出する文字図形列抽出装置であって、
   前記画像データを画像データ取得手段から入力する画像データ入力手段と、
   前記入力された画像データにエッジ抽出処理を施し、さらに、そのエッジ抽出された画像データに対し２値化処理を施した第１段階画像データを生成するエッジ抽出手段と、
   前記第１段階画像データに関して他の第１値画素から孤立した第１値画素を除去して、第２段階画像データを生成する孤立点除去手段と、
   前記第２段階画像データから直線的に連続する第１値画素の領域を検出し、さらに、その領域を構成する第１値画素を除去した第３段階画像データを生成する直線除去手段と、
   注目画素に関する近傍を定義する閾値を閾値記憶部から読み出し、その閾値に基づいて前記第３段階画像データに対してブラッシュ処理を施して、第４段階画像データを生成するブラッシュ処理手段と、
   前記第４段階画像データに対し、エロージョンとダイレーションを施して、第５段階画像データを生成するモフォロジ処理手段と、
   前記第５段階画像データに対して、第１値画素領域をラベリングし、同一領域を一領域と見做して各領域の第１外接矩形を算出し、
   該第１外接矩形内の第１値画素数が第１値画素数の上限値を超えた場合を真として判定する第１判定，
   該第１外接矩形内の第１値画素数が第１値画素数の下限値を超えた場合を真として判定する第２判定，
   該第１外接矩形の短辺長が短辺長の下限値を超えた場合を真として判定する第３判定，
   該第１外接矩形内の第１値画素数と第２値画素数の比率が比率の下限値を超えた場合を真として判定する第４判定，
   前記入力された画像データにおいて、その第１外接矩形の内部に対応する部分のコントラストがコントラストの下限値を超えた場合を真として判定する第５判定，
   のいずれかの判定で真として判定された第１外接矩形を第２外接矩形と見做し、算出された第１外接矩形から第２外接矩形を除去し、残った第１外接矩形を第３外接矩形と見做して生成する形状解析手段と、
   前記包含関係にある第３外接矩形のうち、含まれる方の第３外接矩形を除去し、残った第３外接矩形を第４外接矩形と見做して生成する重複領域除去手段と、
   前記第４外接矩形を文字図形列領域と見做して出力する文字図形列領域出力手段と、
   を備えることを特徴とする文字図形列抽出装置。
2. 画像データに含まれる文字図形列を形成する領域を抽出する文字図形列抽出方法であって、
   前記画像データを画像データ取得手段から入力する画像データ入力ステップと、
   その入力された画像データにエッジ抽出処理を施し、さらに、そのエッジ抽出された画像データに対し２値化処理を施した第１段階画像データを生成するエッジ抽出ステップと、
   その第１段階画像データに関して他の第１値画素から孤立した第１値画素を除去し、第２段階画像データを生成する孤立点除去ステップと、
   前記第２段階画像データから直線的に連続する第１値画素の領域を検出し、さらに、その領域を構成する第１値画素を除去した第３段階画像データを生成する直線除去ステップと、
   注目画素に関する近傍を定義する閾値を閾値記憶部から読み出し、その閾値に基づいて前記第３段階画像データに対してブラッシュ処理を施し、第４段階画像データを生成するブラッシュ処理ステップと、
   前記第４段階画像データに対し、エロージョンとダイレーションを施して、第５段階画像データを生成するモフォロジ処理ステップと、
   前記第５段階画像データに対して、第１値画素領域をラベリングし、同一領域を一領域と見做して各領域の第１外接矩形を算出し、
   該第１外接矩形内の第１値画素数が第１値画素数の上限値を超えた場合を真として判定する第１判定，
   該第１外接矩形内の第１値画素数が第１値画素数の下限値を超えた場合を真として判定する第２判定，
   該第１外接矩形の短辺長が短辺長の下限値を超えた場合を真として判定する第３判定，
   該第１外接矩形内の第１値画素数と第２値画素数の比率が比率の下限値を超えた場合を真として判定する第４判定，
   前記入力された画像データにおいて、その第１外接矩形の内部に対応する部分のコントラストがコントラストの下限値を超えた場合を真として判定する第５判定，
   のいずれかの判定で真として判定された第１外接矩形を第２外接矩形と見做し、算出された第１外接矩形から第２外接矩形を除去し、残った第１外接矩形を第３外接矩形と見做して生成する形状解析ステップと、
   包含関係にある第３外接矩形のうち、含まれる方の第３外接矩形を除去し、残った第３外接矩形を第４外接矩形と見做して生成する重複領域除去ステップと、
   その第４外接矩形を文字図形列領域と見做して出力する文字図形列領域出力ステップと、
   を有することを特徴とする文字図形列抽出方法。
3. 請求項２に記載の文字図形列抽出方法を、コンピュータで実行可能なコンピュータプログラムとして記述したことを特徴とする文字図形列抽出プログラム。
4. 請求項２に記載の文字図形列抽出方法を、コンピュータで実行可能なプログラムに記述し、そのプログラムを記録したことを特徴とする記録媒体。
5. 画像データに含まれる文字図形列を形成する領域を抽出する文字図形列抽出装置であって、
   前記画像データを画像データ取得手段から入力する画像データ入力手段と、
   前記入力された画像データにエッジ抽出処理を施し、さらに、そのエッジ抽出された画像データに対し２値化処理を施した第１段階画像データを生成するエッジ抽出手段と、
   前記第１段階画像データに関して他の第１値画素から孤立した第１値画素を除去して、第２段階画像データを生成する孤立点除去手段と、
   前記第２段階画像データから直線的に連続する第１値画素の領域を検出し、さらに、その領域を構成する第１値画素を除去した第３段階画像データを生成する直線除去手段と、
   注目画素に関する近傍を定義する閾値を閾値記憶部から読み出し、その閾値に基づいて前記第３段階画像データに対してブラッシュ処理を施して、第４段階画像データを生成するブラッシュ処理手段と、
   前記第４段階画像データに対し、エロージョンとダイレーションを施して、第５段階画像データを生成するモフォロジ処理手段と、
   前記第５段階画像データに対して、第１値画素領域をラベリングし、同一領域を一領域と見做して各領域の第１外接矩形を算出し、
   該第１外接矩形内の第１値画素数が第１値画素数の上限値を超えた場合を真として判定する第１判定，
   該第１外接矩形内の第１値画素数が第１値画素数の下限値を超えた場合を真として判定する第２判定，
   該第１外接矩形の短辺長が短辺長の下限値を超えた場合を真として判定する第３判定，
   該第１外接矩形内の第１値画素数と第２値画素数の比率が比率の下限値を超えた場合を真として判定する第４判定，
   前記入力された画像データにおいて、その第１外接矩形の内部に対応する部分のコントラストがコントラストの下限値を超えた場合を真として判定する第５判定，
   のいずれかの判定で真として判定された第１外接矩形を第２外接矩形と見做し、算出された第１外接矩形から第２外接矩形を除去し、残った第１外接矩形を第３外接矩形と見做して生成する形状解析手段と、
   前記包含関係にある第３外接矩形のうち、含まれる方の第３外接矩形を除去し、残った第３外接矩形を第４外接矩形と見做して生成する重複領域除去手段と、
   前記第４外接矩形のうち、外接矩形領域の２値化のしやすさ、ストローク幅の分散の少なさ、ストローク幅の最大の大きさ、２値化後の第１値画素領域と第２値画素領域との境界の複雑さ、ストローク長の最大の大きさ、をそれぞれ数値化し、文字らしくない外接矩形領域と判定されたものを第４外接矩形から除去し、残った第４外接矩形を第５外接矩形と見做して生成する文字らしさ解析手段と、
   前記第５外接矩形を文字図形列領域と見做して出力する文字図形列領域出力手段と、
   を備えることを特徴とする文字図形列抽出装置。
6. 画像データに含まれる文字図形列を形成する領域を抽出する文字図形列抽出方法であって、
   前記画像データを画像データ取得手段から入力する画像データ入力ステップと、
   その入力された画像データにエッジ抽出処理を施し、さらに、そのエッジ抽出された画像データに対し２値化処理を施した第１段階画像データを生成するエッジ抽出ステップと、
   その第１段階画像データに関して他の第１値画素から孤立した第１値画素を除去し、第２段階画像データを生成する孤立点除去ステップと、
   前記第２段階画像データから直線的に連続する第１値画素の領域を検出し、さらに、その領域を構成する第１値画素を除去した第３段階画像データを生成する直線除去ステップと、
   注目画素に関する近傍を定義する閾値を閾値記憶部から読み出し、その閾値に基づいて前記第３段階画像データに対してブラッシュ処理を施し、第４段階画像データを生成するブラッシュ処理ステップと、
   前記第４段階画像データに対し、エロージョンとダイレーションを施して、第５段階画像データを生成するモフォロジ処理ステップと、
   前記第５段階画像データに対して、第１値画素領域をラベリングし、同一領域を一領域と見做して各領域の第１外接矩形を算出し、
   該第１外接矩形内の第１値画素数が第１値画素数の上限値を超えた場合を真として判定する第１判定，
   該第１外接矩形内の第１値画素数が第１値画素数の下限値を超えた場合を真として判定する第２判定，
   該第１外接矩形の短辺長が短辺長の下限値を超えた場合を真として判定する第３判定，
   該第１外接矩形内の第１値画素数と第２値画素数の比率が比率の下限値を超えた場合を真として判定する第４判定，
   前記入力された画像データにおいて、その第１外接矩形の内部に対応する部分のコントラストがコントラストの下限値を超えた場合を真として判定する第５判定，
   のいずれかの判定で真として判定された第１外接矩形を第２外接矩形と見做し、算出された第１外接矩形から第２外接矩形を除去し、残った第１外接矩形を第３外接矩形と見做して生成する形状解析ステップと、
   包含関係にある第３外接矩形のうち、含まれる方の第３外接矩形を除去し、残った第３外接矩形を第４外接矩形と見做して生成する重複領域除去ステップと、
   前記第４外接矩形のうち、外接矩形領域の２値化のしやすさ、ストローク幅の分散の少なさ、ストローク幅の最大の大きさ、２値化後の第１値画素領域と第２値画素領域との境界の複雑さ、ストローク長の最大の大きさ、をそれぞれ数値化し、文字らしくない外接矩形領域と判定されたものを第４外接矩形から除去し、残った第４外接矩形を第５外接矩形と見做して生成する文字らしさ解析ステップと、
   その第５外接矩形を文字図形列領域と見做して出力する文字図形列領域出力ステップと、
   を有することを特徴とする文字図形列抽出方法。
7. 請求項６に記載の文字図形列抽出方法を、コンピュータで実行可能なコンピュータプログラムとして記述したことを特徴とする文字図形列抽出プログラム。
8. 請求項６に記載の文字図形列抽出方法を、コンピュータで実行可能なプログラムに記述し、そのプログラムを記録したことを特徴とする記録媒体。