JP2002271611A

JP2002271611A - 画像処理装置

Info

Publication number: JP2002271611A
Application number: JP2001071869A
Authority: JP
Inventors: Katsuto Fujimoto; 克仁藤本; Atsuko Obara; 敦子小原; Satoshi Naoi; 聡直井
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2001-03-14
Filing date: 2001-03-14
Publication date: 2002-09-20
Also published as: CN1195284C; CN1374623A; US20020131646A1; US7110607B2

Abstract

(57)【要約】【課題】コントラストの悪い入力画像から線状パターン
を適切に検出し、二値化処理を行う画像処理装置を提供
する。【解決手段】カラー画像や白黒画像などを多値画像に変
換した後の多値画像を入力とし、つぶれ気味二値画像生
成手段１０がつぶれ気味の線状パターンを含み背景ノイ
ズを含まないつぶれ気味二値画像を生成する。また、形
状保存二値画像生成手段１１が線状パターンの形状を保
存するが背景ノイズを含む二値画像を生成する。そし
て、これらの画像を二値画像合成手段１２が画素毎にＡ
ＮＤ合成して、線状パターンの形状を保存しつつ背景ノ
イズを含まない二値画像を生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置に関
する。

【０００２】

【従来の技術】近年、非接触型画像入力装置（ＯＨＲ）
を用いた帳票認識技術や文書認識技術が注目されるよう
になってきた。

【０００３】図２３は、ＯＨＲの外観を示す図である。
非接触型画像入力装置（ＯＨＲ：Over Head Reader）
とは、ラインあるいはエリアＣＣＤを撮像素子として用
いる、図２３に示すようなスタンド型の画像入力装置で
ある。ＯＨＲを用いると、従来のイメージスキャナなど
の接触型画像入力装置と比較して、ユーザは、画像入力
を行いながら帳票・文書への記入などの作業が行える、
帳票・文書を見たまま画像入力が行えるといった作業の
快適さを享受できる。

【０００４】一方、ＯＨＲにて取得した画像（ＯＨＲ画
像）は、スキャナにて取得した画像（スキャナ画像）と
比較して、濃淡むら・影・画像の歪みなどの画質の劣化
が見られる。

【０００５】図２４は、濃淡スキャナ画像の様子を示す
図であり、図２５は、濃淡ＯＨＲ画像の様子を示す図で
あるが、図２５のＯＨＲ画像の場合、影無しであっても
若干の濃淡むらの度合いの強く、文字線がよりぼけてし
まっていることが分かる。

【０００６】また、図２６は、影有りのＯＨＲ画像の様
子を示す図であるが、これに示すように、ＯＨＲ画像に
は影が存在する。このため、ＯＨＲを用いるためには、
濃淡むら・影を克服した多値画像の二値化技術が必須と
なる。

【０００７】ＯＨＲ画像に対して高精度な認識処理を可
能とするためには、影・濃淡むらに対して安定した線状
パターンを得る二値化方式が必要であり、一定閾値二値
化では不十分で、Niblackなどの局所的二値化を導入す
る必要がある。Niblackの局所的二値化については、
φ．Ｄ．Trier、A.K.Jain：“Goal-Directed Evaluati
on of BinarizationMethods、”IEEE Transactions
on Pattern Analysis and Machine Intelligenc
e、Vol.17、No.12、pp.1191-1201, 1995を参照された
い。

【０００８】Niblackの局所的二値化とは、各画素の閾
値Ｔ＝Ｅ＋ｋσ（Ｅ、σは画素近傍の濃度平均・標準偏
差、ｋはほぼ−０．４〜０．４の定数）として、画素毎
に二値化を実行する方式である。画素近傍には対象画素
を中心とするＮ×Ｎの矩形領域を用いる。（Ｎ＝７程度
が良く用いられる。）更に、Niblackの局所的二値化を
そのまま適用すると、背景領域において、画素近傍の全
ての画素が一様な濃度であることに起因するごま塩状の
ノイズが発生する。図２７は、ＯＨＲ画像の例である
が、これに示すＯＨＲ画像にNiblack局所的二値化を施
した二値画像を図２８に示す。図２８から分かるよう
に、背景領域にごま塩状ノイズが発生する（Ｎ＝７、ｋ
＝０．１の場合）。

【０００９】そこで、ごま塩状の背景ノイズを除去する
ために、二値画像の黒画素の４連結成分（ここで、黒画
素の４連結成分とは、左右上下に隣り合った黒画素同士
を順次連結していったときに得られる最大の黒画素集合
のことである。また、４連結成分の他に８連結成分があ
り、これは、左右上下に加えて斜め４方向に隣り合った
黒画素同士を順次連結していったときに得られる最大の
黒画素集合のことであって、ここでは、８連結成分を使
用しても良い。以下、単に連結成分と言う場合には、４
連結成分あるいは８連結成分を示すものとする）の輪郭
画素の平均エッジ強さを用いて、平均エッジ強さの一定
値以下の連結成分を背景ノイズであると判定して除去す
ることにより背景ノイズの除去を実行する。ここで、連
結成分の輪郭画素とは、連結成分に含まれる黒画素であ
り、かつ、その黒画素の上下左右のいずれかの隣に背景
である白画素の存在している画素のことである。輪郭画
素の平均エッジ強さとは、輪郭画素それぞれのエッジ強
さの平均のことであり、ある輪郭画素のエッジ強さはソ
ーベルのエッジフィルタ等により求めたエッジ強さのこ
とである。

【００１０】図２９は、Niblackの局所二値化の概念を
説明する図である。図２９（ａ）に示すように、カラー
画像あるいは白黒画像から得られたグレースケール画像
の各画素に対し、その画素を中心とする、例えば、７×
７の矩形領域を処理の対象とする。この矩形領域内の画
素の黒の濃度を平均したものをＥとし、この矩形領域内
の画素の濃度の平均Ｅからの標準偏差をσとした場合、
二値化対象の画素を黒とするか白とするかの閾値をＴ＝
Ｅ＋ｋσという式で求める。二値化対象の画素の濃度を
ｇとすると、ｇ≦Ｔの場合、当該画素を黒とし、ｇ＞Ｔ
の場合、当該画素を白とする。そして、このような判定
の結果から、当該画素の濃度データとして、二値化後の
黒あるいは白のデータを与えることによって二値化画像
を順次得る（図２９（ｂ））。

【００１１】図３０は、Niblackの局所二値化処理の流
れを示すフローチャートである。まず、ステップＳ１に
おいて、処理すべき画素を選択する。ステップＳ２にお
いては、選択された画素を中心とする矩形領域内の各画
素の濃度を取得する。ステップＳ３において、該矩形領
域内の各画素の濃度の平均Ｅと、標準偏差σを計算し、
ステップＳ４において、閾値ＴをＴ＝Ｅ＋ｋσ（ｋは、
典型的には−０．４〜０．４の間の値）を計算する。そ
して、ステップＳ５において、選択された画素の濃度が
閾値Ｔ以上か否かを判断し、ステップＳ５の判断がＹＥ
Ｓの場合には、選択画素を黒とし、ステップＳ５の判断
がＮｏの場合には、選択が素を白とする。そして、ステ
ップＳ８において、二値化すべき画像の全ての画素につ
いて処理したか否かを判断し、まだ処理していない画素
がある場合には、ステップＳ１に戻って、以降の処理を
繰り返す。ステップＳ８において、全ての画素について
処理が終わったと判断された場合には、処理を終了す
る。

【００１２】図３１は、ソーベルのエッジフィルタとエ
ッジ強さについて説明する図である。まず、図３１の
（１）に示すような連結成分があったとすると、斜線で
示した部分が輪郭画素に対応する。そして、これら輪郭
画素について、（４）に示されているような、処理対象
の画素を中心とする３×３の矩形領域をとり、この矩形
領域内の画素の濃度と、図３１の（２）及び（３）のフ
ィルタとの積和演算を行う。（２）のフィルタによって
生成されるベクトル成分をＳｘ、（３）のフィルタによ
って生成されるベクトル成分をＳｙとすると、（４）に
示すように、矩形領域の中心画素に対して、ベクトルＳ
＝（Ｓｘ、Ｓｙ）が得られる。このベクトルの長さ、す
なわち、√（Ｓｘ²＋Ｓｙ²）が注目画素のソーベルのエ
ッジ強さである。

【００１３】このようなエッジ強さを（１）の連結成分
の輪郭画素全てについて求め、平均したものが輪郭画素
の平均エッジ強さである。図３２は、連結成分の平均エ
ッジ強さが４以下の４連結成分を除去することにより得
た、背景ノイズ除去結果を示す。

【００１４】このように、図２７に示すような比較的コ
ントラストの良い画像においては、従来の技術によって
比較的質の良い二値画像が得られる。

【００１５】

【発明が解決しようとする課題】従来技術で用いられて
いる背景ノイズ除去は、コントラストの良い文字の場合
には、安定して上手く動作するが、図３３に示すよう
な、背景と文字のコントラストが低い、すなわち極めて
薄い文字の存在する画像に対しては上手く動作しない。

【００１６】図３３の濃淡画像に対して、Niblackの局
所的二値化（ｋ＝０．１）の実行結果を図３４に示す。
背景ノイズ除去を、図３２を生成した場合と同様に平均
エッジ強さ４以下で実行すると、図３５に示すように、
背景ノイズが除去できるものの、極めて薄い文字列も一
緒に除去されてしまう。

【００１７】一方、極めて薄い文字列の線状パターンが
保存されるように、背景ノイズ除去時の平均エッジ強さ
を２以下にしてみると、図３６に示すように、背景ノイ
ズが十分に除去されない二値画像となってしまう。

【００１８】このように、局所的二値化と平均エッジ強
さを用いた背景ノイズ除去を用いた従来技術では、極め
て薄い文字列を背景ノイズを含まずに良好に取り出すこ
とが出来ない、という問題点がある。

【００１９】本発明の課題は、コントラストの悪い入力
画像から線状パターンを適切に検出し、二値化処理を行
う画像処理装置を提供することである。

【００２０】

【課題を解決するための手段】本発明の画像処理装置
は、文字、罫線、図形等の線状パターンを含む画像を入
力し、対応する二値化画像を出力する画像処理装置にお
いて、線状パターンの形状がつぶれているものの、形状
のほとんどを含む第１の画像を生成するつぶれ気味二値
画像生成手段と、線状パターンの形状をほとんど含むが
線状パターンの近傍以外の背景領域のノイズも含む第２
の画像を生成する形状保存二値画像生成手段と、該第１
と第２の画像を画素毎に合成し、線状パターンの形状を
保存したまま、その形状をほとんど含みつつ背景領域の
ノイズを含まない良好な二値画像を生成する画像合成手
段とを備えることを特徴とする。

【００２１】本発明によれば、性質の異なる２つの画像
（第１と第２の画像、特には、これらの画像は二値画像
である）を、画素毎に合成（特には、画素毎のＡＮＤ合
成）をすることによって、従来では、線状パターンの形
状を確実に取ろうとすると線状パターンがつぶれ気味に
なってしまい、線状パターンの形状がつぶれないように
しようとすると背景領域にごま塩状ノイズが発生してい
たものを、背景領域のノイズを除去しながら、線状パタ
ーンの形状を確実に取ることが出来る画像処理装置を提
供することが出来る。ここで、特には、第１の画像と
は、線状パターンの形状がつぶれ気味の二値画像であ
り、第２の画像とは、線状パターンの形状がつぶれてい
ないが、背景領域にごま塩状ノイズが発生している二値
画像である。

【００２２】また、本発明のある形態においては、この
第１及び第２の画像の背景領域を検出し、背景ノイズの
除去処理を行ってから、これらの画像の合成を行うよう
にする。これにより、合成の結果得られる画像がより質
の良いものとなる。

【００２３】更に、本発明の更なる形態においては、第
１及び第２の画像の合成結果に後処理を行ってやり、最
終画像の質を向上する。

【００２４】

【発明の実施の形態】本発明の実施形態では、文字・罫
線・図形などの線状パターンの形状を保存した局所的二
値化結果の二値画像においては、線状パターンの連結成
分と背景ノイズの連結成分の黒画素数・平均エッジ強さ
の分布（連結成分の黒画素数と平均エッジ強さを軸とし
てグラフを描いた場合の連結成分の分布）が重なってい
るのに対して、線状パターンをつぶし気味にした局所的
二値化結果の二値画像においては、線状パターンの連結
成分と背景ノイズの連結成分の黒画素数・平均エッジ強
さの分布が分離していく、という性質を利用して、線状
パターンを形状がつぶれているもののほとんどを含みつ
つ背景ノイズを含まないつぶれ気味二値画像と、線状パ
ターンを形状を保存したままほとんど含むが線状パター
ンの近傍以外の背景ノイズも含む形状保存二値画像を生
成し、これらのＡＮＤ合成により、線状パターンを形状
を保存したままほとんど含みつつ背景領域ノイズを含ま
ない良好な二値画像を生成する。

【００２５】図１は、本発明の実施形態の画像処理装置
の第１の構成例である。本構成例の画像処理装置は、文
字・罫線・図形などの線状パターンを含む、モノクロの
多値画像（カラー画像を変換したものも含む）を入力と
し、つぶれ気味二値画像生成手段１０と形状保存二値画
像静止手段１１と二値画像合成手段１２を備える。そし
て、線状パターンを黒画素として抽出した二値画像を出
力するに際して、つぶれ気味二値画像生成手段１０が線
状パターンを形状がつぶれているもののほとんどを含み
つつ背景領域のノイズを含まないつぶれ気味二値画像を
生成し、形状保存二値画像生成手段１１が線状パターン
を形状を保存したままほとんど含むが線状パターンの近
傍以外の背景領域のノイズも含む形状保存二値画像を生
成し、二値画像合成手段１２がつぶれ気味二値画像と形
状保存二値画像を合成することにより、線状パターンを
形状を保存したままほとんど含みつつ背景領域のノイズ
を含まない良好な二値画像を生成して出力するように構
成する。

【００２６】図２は、図３３の極めて薄い文字列を含む
濃淡画像に対するつぶれ気味二値画像を示す図である。
この二値画像は、線状パターンで形状がつぶれているも
のをほとんど含みつつ背景領域のノイズを含まない。

【００２７】図３は、図３３の極めて薄い文字列を含む
濃淡画像に対する形状保存二値画像を示す図である。こ
の二値画像は、線状パターンを形状を保存したままほと
んど含むが線状パターンの近傍以外の背景領域のノイズ
も含む。

【００２８】図４は、つぶれ気味二値画像と形状保存二
値画像の画素毎のＡＮＤをとった合成二値画像を示す図
である。この二値画像は、線状パターンを形状を保存し
たままほとんど含みつつ背景領域のノイズを含まない良
好な二値画像であり、本実施形態により、極めて薄い文
字列を良好に抽出できることが分かる。

【００２９】なお、上記の実施形態あるいは以下の実施
形態において、つぶれ気味二値画像は、Niblackの局所
二値化処理において、σの値を正の大きな値に設定して
得られるもので、形状保存二値画像は、Niblackの局所
二値化処理において、σの値を負の値あるいは小さな値
に設定して得られるものである。

【００３０】従って、図１のつぶれ気味二値画像生成手
段１０と形状保存二値画像生成手段１１は、行っている
処理のアルゴリズム自身は同じNiblackの局所二値化処
理であって、両者においては、二値化のための閾値が異
なるものである。

【００３１】図５は、本発明の実施形態に従った画像処
理装置の第２の構成例を示す図である。本構成例の画像
処理装置においては、文字・罫線・図形などの線状パタ
ーンを含む多値画像を入力とし、つぶれ気味二値画像生
成手段１０ａと形状保存二値画像生成手段１１ａと二値
画像合成手段１２とを備える。線状パターンを黒画素と
して抽出した二値画像を出力するに際し、つぶれ気味二
値画像生成手段１０ａが線状パターンを形状がつぶれて
いるものをほとんど含みつつ背景領域のノイズを含まな
いつぶれ気味二値画像を生成し、形状保存二値画像生成
手段１１ａが線状パターンの形状を保存したままほとん
ど含むが線状パターンの近傍以外の背景領域のノイズも
含む形状保存二値画像を生成し、二値画像合成手段１２
がつぶれ気味二値画像と形状保存二値画像を合成するこ
とにより、線状パターンを形状を保存したままほとんど
含みつつ背景領域のノイズを含まない良好な二値画像を
生成して出力する。

【００３２】更に、つぶれ気味二値画像生成手段１０ａ
が、つぶれ気味二値化手段１３と背景ノイズ除去手段１
５からなり、つぶれ気味二値化手段１３が入力多値画像
から線状パターンを形状がつぶれているもののほとんど
含みつつ背景領域のノイズも含むつぶれ気味背景ノイズ
あり二値画像を生成し、背景ノイズ除去手段１５がつぶ
れ気味背景ノイズあり二値画像から背景ノイズを含まな
いつぶれ気味二値画像を生成する。また、形状保存二値
画像生成手段１１ａは、形状保存二値化手段１４と背景
ノイズ除去手段１５からなり、形状保存二値化手段１４
が入力多値画像から線状パターンを形状を保存したまま
ほとんど含むが線状パターンの近傍も含めて背景領域の
ノイズも含む形状保存近傍ノイズあり二値画像を生成
し、背景ノイズ除去手段１５が形状保存近傍ノイズあり
二値画像から背景ノイズを除去して線状パターンを形状
保存したままほとんど含むが線状パターンの近傍以外の
背景領域のノイズも含む形状保存二値画像を生成するよ
うに構成する。

【００３３】なお、背景ノイズ除去手段１５は、つぶれ
気味二値画像生成手段１０ａと形状保存二値画像生成手
段１４の何れにおいても同じアルゴリズムで構成して良
く、具体的な背景ノイズの除去方法は、後述する。

【００３４】図６は、図３３の極めて薄い文字列を含む
濃淡画像に対するつぶれ気味背景ノイズあり二値画像を
示す図である。この二値画像は、線状パターンを形状が
つぶれているものをほとんど含みつつ背景領域のノイズ
を含む。

【００３５】図７は、図３３の極めて薄い文字列を含む
濃淡画像に対するつぶれ気味二値画像を示す図である。
この二値画像は、線状パターンを形状がつぶれているも
ののほとんどを含みつつ背景領域のノイズを含まないと
いう性質を持つ。このよう二値画像を生成できるのは、
つぶれ気味背景ノイズあり二値画像の黒画素連結成分の
黒画素数・平均エッジ強さからなる連結成分の分布が、
線状パターンを含む連結成分と背景ノイズのみを含む連
結成分とで分離しているためである。

【００３６】図８は、図３３の極めて薄い文字列を含む
濃淡画像に対する形状保存近傍ノイズあり二値画像を示
す図である。この二値画像は、線状パターンを形状を保
存したままほとんど含むが線状パターンの近傍も含めて
背景ノイズも含む。

【００３７】図９は、図３３の極めて薄い文字列を含む
濃淡画像に対する形状保存二値画像を示す図である。こ
の二値画像は、線状パターンを形状を保存したままほと
んど含むが線状パターンの近傍以外の背景領域のノイズ
も含むという性質を持つ。背景領域のノイズを含んでし
まうのは、形状保存近傍ノイズあり二値画像の黒画素連
結成分の黒画素数・平均エッジ強さからなる連結成分の
分布が、線状パターンを含む連結成分と背景ノイズのみ
を含む連結成分とで分離しておらず、線状パターンを誤
って除去しないように背景ノイズを除去した場合に、分
布が重なっている領域の背景ノイズを除去できないため
である。

【００３８】図１０は、つぶれ気味二値画像と形状保存
二値画像の画素毎のＡＮＤをとった合成二値画像を示す
図である。この二値画像は、線状パターンを形状を保存
したままほとんど含みつつ背景領域のノイズを含まない
良好な二値画像であり、本実施形態により、極めて薄い
文字列を良好に抽出できることが分かる。

【００３９】上記の構成のいずれにおいても、図１１の
線状パターンに対する黒画素数対平均エッジ強さのグラ
フに示すように、線状パターンの形状を保存した局所的
二値化結果の二値画像においては、二値化用閾値を変化
させて、形状保存位置画像の分布（図１１（ａ））とつ
ぶれ気味二値画像（図１１（ｂ））を比較すると、線状
パターンの連結成分と背景ノイズの連結成分の黒画素数
・平均エッジ強さの分布が分離していくという性質を利
用している。そして、線状パターンを形状がつぶれてい
るもののほとんどを含みつつ背景領域のノイズを含まな
いつぶれ気味二値画像と、線状パターンを形状を保存し
たままほとんど含むが線状パターンの近傍以外の背景領
域のノイズも含む形状保存二値画像を生成し、これらの
ＡＮＤ合成により、線状パターンを形状を保存したまま
ほとんど含みつつ背景領域のノイズを含まない良好な二
値画像を生成するようにしている。

【００４０】本実施形態では、図１１に示す連結成分の
特徴分布の変化を効果的に利用して、図４あるいは図１
０に示すように、従来技術で実現できなかった極めて薄
い文字列を背景ノイズを含まずに良好に取り出すことを
可能とし、従来技術の持つ問題点の克服を図ることがで
きる。

【００４１】図１２は、本発明の実施形態のより具体的
な構成例を示す図である。図１２の画像処理装置は、文
字・罫線・図形などの線状パターンを含む多値画像を入
力とし、つぶれ気味二値画像生成手段１０ａと形状保存
二値画像生成手段１１ａと二値画像合成手段１２を備
え、線状パターンを黒画素として抽出した二値画像を出
力する。つぶれ気味二値画像生成手段１０ａが線状パタ
ーンを形状がつぶれているもののほとんどを含みつつ背
景領域のノイズを含まないつぶれ気味二値画像を生成
し、形状保存二値画像生成手段１１ａが線状パターンを
形状を保存したままほとんど含むが線状パターンの近傍
以外の背景領域のノイズも含む形状保存二値画像を生成
し、二値画像合成手段１２がつぶれ気味二値画像と形状
保存二値画像を合成することにより、線状パターンを形
状を保存したままほとんど含みつつ背景領域のノイズを
含まない良好な二値画像を生成して出力する。

【００４２】更に、つぶれ気味二値画像生成手段１０ａ
が、つぶれ気味二値化手段１３と背景ノイズ除去手段１
５からなり、つぶれ気味二値化手段１３がNiblackの局
所的二値化を用い、各画素に対する二値化閾値として、
その画素を中心として７×７の画素近傍の画素濃度の平
均をＥ、標準偏差をσとしたときに、閾値Ｔ＝Ｅ＋０．
３σとして二値画像を求めるようにする。Ｔ＝Ｅ＋ｋσ
のｋの値が０．３の程度の大きな値であると、入力多値
画像から線状パターンを形状がつぶれているもののほと
んど含みつつ背景領域のノイズも含むつぶれ気味背景ノ
イズあり二値画像を生成することができる。

【００４３】また、形状保存二値画像生成手段１１ａ
は、形状保存二値化手段１４と背景ノイズ除去手段１５
からなり、形状保存二値化手段１４が、Niblackの局所
二値化を用い、各画素に対する二値化閾値として、その
画素を中心として７×７の画素近傍の画素濃度の平均を
Ｅ、標準偏差をσとしたときに、閾値Ｔ＝Ｅ＋０．１σ
として二値画像を求めるようにする。Ｔ＝Ｅ＋ｋσのｋ
の値が０．１の程度の小さな値であると、入力多値画像
から線状パターンを形状を保存したままほとんど含むが
線状パターンの近傍以外の背景領域のノイズも含む形状
保存近傍ノイズあり二値画像を生成することができる。

【００４４】そして、背景ノイズ除去手段１５におい
て、つぶれ気味背景ノイズあり二値画像と形状保存近傍
ノイズあり二値画像から、背景ノイズを除去した二値画
像を生成する。本実施形態では、背景ノイズ除去手段と
して、以下のグラフを用いて説明する方法によって行
う。

【００４５】図１３は、図３３の極めて薄い文字列を含
む濃淡画像に対するつぶれ気味背景ノイズあり二値画像
を示す図である。この二値画像は、線状パターンを形状
がつぶれているもののほとんどを含みつつ背景領域のノ
イズを含む。

【００４６】図１４は、つぶれ気味背景ノイズあり二値
画像の４連結成分の特徴量、すなわち、連結成分の黒画
素数と輪郭画素の平均エッジ強さ分布を示すグラフであ
る。背景ノイズの連結成分の分布と線状パターンを含む
連結成分の分布は、つぶれ気味にしたために線状パター
ンの近傍の背景ノイズが線状パターンと連結したため
に、良く分離している。このため、背景ノイズ除去手段
が、領域Ａに属する連結成分を除去することにより、線
状パターンを含む連結成分のみを抽出することができ
る。本実施形態の場合の領域Ａに属する条件は、黒画素
数１３以下、あるいは、平均エッジ強さが２．２以下、
あるいは、平均エッジ強さが（３．２−（黒画素数−１
５）／６５）以下、である。

【００４７】上記の領域Ａの満たすべき条件を用いて、
背景ノイズ除去手段がつぶれ気味背景ノイズであり二値
画像から背景ノイズを除去して線状パターンを形状がつ
ぶれているもののほとんどを含みつつ背景領域のノイズ
を含まないつぶれ気味二値画像を生成することができ
る。

【００４８】図１５は、図３３の極めて薄い文字列を含
む濃淡画像に対するつぶれ気味二値画像を示す図であ
る。この二値画像は、線状パターンを形状がつぶれてい
るもののほとんど含みつつ背景領域のノイズを含まない
という性質を持つ。このような二値画像を生成できるの
は、つぶれ気味背景ノイズあり二値画像の黒画素連結成
分の黒画素数・平均エッジ強さからなる連結成分の特徴
量が、線状パターンを含む連結成分と背景ノイズのみを
含む連結成分とで分布が分離しているためである。

【００４９】形状保存二値画像生成手段が、形状保存二
値化手段と背景ノイズ除去手段からなり、形状保存二値
化手段がNiblackの局所的二値化を用い、各画素に対す
る二値化閾値として、その画素を中心として７×７の画
素近傍の画素濃度の平均をＥ、標準偏差をσとしたとき
に、閾値Ｔ＝Ｅ＋０．１×σとして二値画像を求めるよ
うにする。Ｔ＝Ｅ＋ｋσのｋの値が０．１の程度の小さ
な値であると、入力多値画像から線状パターンを形状を
保存したままほとんど含むが線状パターンの近傍も含め
て背景領域のノイズも含む形状保存近傍ノイズあり二値
画像を生成することができる。

【００５０】図１６は、図３３の極めて薄い文字列を含
む濃淡画像に対する形状保存近傍ノイズあり二値画像を
示す図である。この二値画像は、線状パターンを形状を
保存したままほとんど含むが線状パターンの近傍も含め
て背景領域のノイズも含む。

【００５１】図１７は、形状保存近傍ノイズあり二値画
像の４連結成分の特徴量、すなわち、連結成分の黒画素
数と輪郭画素の平均エッジ強さの分布を示す図である。
背景ノイズの連結成分の分布と線状パターンを含む連結
成分の分布は、つぶれ気味でないため、線状パターンの
近傍の背景ノイズが線状パターンが連結せず、線状パタ
ーンの連結成分の分布と背景ノイズの連結成分の分布が
重なっている。このため、背景ノイズ除去手段は、領域
Ｂに属する連結成分を除去することにより、線状パター
ンを形状を保存したままほとんど含むが線状パターンの
近傍以外の背景領域のノイズも含む形状保存二値画像を
生成することができる。本実施例の場合の領域Ｂに属す
る条件は、黒画素数１２以下かつ平均エッジ強さ４以
下、あるいは、黒画素数６０以下かつ平均エッジ強さ
２．８以下である。

【００５２】上記の領域Ｂの満たすべき条件を用いて、
背景ノイズ除去手段が形状保存近傍ノイズあり二値画像
から背景ノイズを除去して線状パターンを形状を保存し
たままほとんど含むが線状パターンの近傍以外の背景領
域のノイズも含む形状保存二値画像を生成することがで
きる。

【００５３】図１８は、図３３の極めて薄い文字列を含
む濃淡画像に対する形状保存二値画像を示す図である。
この二値画像は、線状パターンを形状を保存したままほ
とんど含むが線状パターンの近傍以外の背景領域のノイ
ズも含むという性質を持つ。背景領域のノイズを含んで
しまうのは、形状保存近傍ノイズあり二値画像の黒画素
連結成分の黒画素数・平均ノイズを除去した場合に、分
布が重なっている領域の背景ノイズを除去できないため
である。

【００５４】図１９は、つぶれ気味二値画像と形状保存
二値画像を、画素毎のＡＮＤをとった合成二値画像を示
す図である。この二値画像は、線状パターンを形状を保
存したままほとんど含みつつ背景領域のノイズを含まな
い良好な二値画像であり、本実施形態により、極めて薄
い文字列を良好に抽出できることが分かる。

【００５５】図１９に示すように、線状パターンの形状
を保存した局所的二値化結果の二値画像においては、線
状パターンの連結成分と背景ノイズの連結成分の黒画素
数・平均エッジ強さの分布が重なるのに対して、線状パ
ターンをつぶし気味にした局所的二値化結果の二値画像
においては、線状パターンの連結成分と背景ノイズの連
結成分の黒画素数・平均エッジ強さの分布が分離してい
く、という性質を利用して、線状パターンを形状がつぶ
れているもののほとんどふくみつつ背景領域のノイズを
含まないつぶれ気味二値画像と、線状パターンを形状を
保存したままほとんど含むが線状パターンの近傍以外の
背景領域のノイズも含む形状保存二値画像を生成し、こ
れらの画素毎のＡＮＤ合成により、線状パターンを形状
を保存したままほとんど含みつつ背景領域のノイズを含
まない良好な二値画像を生成するようにしているのが大
きな特徴である。図２０は、上述の背景ノイズ除去処理
を示すフローチャートである。

【００５６】まず、ステップＳ１０において、各連結成
分の黒画素数と平均エッジ強さを求める。そして、ステ
ップＳ１１において、処理すべき連結成分として、１つ
の連結成分の黒画素数と平均エッジ強さを選択する。ス
テップＳ１２において、黒画素数が所定の範囲内か否か
を判断し、ＮＯである場合には、ステップＳ１５に進
み、ＹＥＳである場合には、ステップＳ１３において、
平均エッジ強さは所定範囲内か否かを判断する。ステッ
プＳ１３においてＮＯの場合には、ステップＳ１５に進
む。ステップＳ１５において、ＹＥＳの場合には、ステ
ップＳ１４において、当該連結成分を除去し、ステップ
Ｓ１５に進む。ステップＳ１５においては、全ての連結
成分について処理をしたか否かを判断し、処理していな
い連結成分が残っている場合には、ステップＳ１１に戻
り、全て処理し終わった場合には、処理を終了する。前
述の例では、背景ノイズの除去に、本発明の実施形態で
導入した方法を使用することを述べたが、他の方法、例
えば、Yanowitz and Brucksteinの方法を使用するこ
とも使用可能である。あるいは、例えば、本願の出願人
の先願である、特願平１１−３３５４９５号の方法も使
用可能である。この出願には、背景判別方法として、対
象画素の近傍領域内にある画素の濃度の標準偏差σが閾
値σｍｉｎより小さければ、その画素を背景と判断す
る、あるいは、平均濃度差Δｇ＝｛近傍領域内の白画素
の平均濃度−近傍領域内の黒画素の平均濃度｝とした場
合に、これが所定の閾値Δｇｍｉｎより小さい場合に背
景とする方法が記載されている。この方法により、背景
と判断された画素を予め白として設定し直し、ごま塩状
ノイズを除去するようにする。ここで、平均濃度差と
は、画素近傍をその画素の二値化閾値により仮に二値化
した場合の白画素集合の平均濃度と黒画素集合の平均濃
度の差のことである。

【００５７】また、上述の実施形態のように、つぶれ気
味二値画像と形状保存二値画像とをＡＮＤ処理によって
処理した後に、更に、ノイズを減らすべく、画像に後処
理を加えるようにしても良い。すなわち、図１２の背景
ノイズ除去手段１５においては、図１４及び図１７のグ
ラフに示されるように、背景ノイズとして除去する連結
成分を、予め定めた黒画素数及び平均エッジ強さで指定
される範囲に入っているか否かによって判断するが、こ
れはあらゆる場合に十分であるとは限らない。すなわ
ち、背景ノイズがＡＮＤ処理の後にも残る可能性があ
る。

【００５８】そこで、前述したように、同じく背景ノイ
ズ除去手段として使用可能な特願平１１−３３５４９５
号の方法やYanowitz and Brucksteinの後処理をＡＮ
Ｄ処理後の二値画像に対して行う。特に、Yanowitz an
d Brucksteinの後処理は、前述の論文にPostprocessin
g stepとして記述されている。

【００５９】このように、本実施形態のＡＮＤ処理によ
る二値画像の質の向上の他に、先願の方法やYanowitz
and Brucksteinの後処理などを併用することによって
より質の良い二値画像を得ることが出来る。

【００６０】図２１は、本発明の実施形態をプログラム
で実現する場合に必要とされる情報処理装置の構成図で
ある。情報処理装置は、ＣＰＵ２１が、バス２８で接続
されたハードディスクなどの外部記憶装置２５、あるい
は、可搬記録媒体２９を読み込む媒体駆動装置２６を介
してプログラムをメモリ２２にコピーし、実行する。

【００６１】入力装置２３は、キーボード、マウス、タ
ブレット、ＯＨＲなどからなり、情報処理装置のユーザ
がＣＰＵ２１に命令を与えたり、画像を読み込むために
使用する。例えば、Niblackの二値化処理におけるσの
値を設定したり、背景ノイズ除去処理における、黒画素
数や平均エッジ強さの範囲を与えることも可能である。
また、出力装置２４は、ディスプレイ、プリンタなどか
らなり、ユーザに処理結果を見せたり、二値化された画
像を印刷するために設けられる。

【００６２】ネットワーク接続装置２７は、ネットワー
クを介して、データをやりとりするために設けられ、該
情報処理装置とは離れたところにあるＯＨＲからの画像
を読み込んだり、本実施形態の処理を実行するプログラ
ムをダウンロードするのに使用可能である。

【００６３】図２２は、プログラムデータの利用形態を
説明する図である。本実施形態のプログラムは、処理装
置３１のＲＡＭやハードディスクなどのメモリ３５に格
納されて使用されるが、ＣＤ−ＲＯＭやフロッピー（登
録商標）ディスク３２などに格納された当該プログラム
をロードして使用することも可能である。また、回線３
３を使ってプログラム提供者３０からプログラムデータ
をダウンロードし、処理装置３１で使用することも可能
であり、あるいは、ダウンロードするのではなく、ネッ
トワーク環境下で、プログラム提供者３０の有する当該
プログラムを実行しても良い。

【００６４】

【発明の効果】以上説明したように、本発明では、連結
成分の特徴分布の変化を効果的に利用して、多値画像中
の極めて薄い文字列を、背景ノイズを含まずに抽出する
ことを可能とする。

【図面の簡単な説明】

【図１】本発明の実施形態の画像処理装置の第１の構成
例である。

【図２】図３３の極めて薄い文字列を含む濃淡画像に対
するつぶれ気味二値画像を示す図である。

【図３】図３３の極めて薄い文字列を含む濃淡画像に対
する形状保存二値画像を示す図である。

【図４】つぶれ気味二値画像と形状保存二値画像の画素
毎のＡＮＤをとった合成二値画像を示す図である。

【図５】本発明の実施形態に従った画像処理装置の第２
の構成例を示す図である。

【図６】図３３の極めて薄い文字列を含む濃淡画像に対
するつぶれ気味背景ノイズあり二値画像を示す図であ
る。

【図７】図３３の極めて薄い文字列を含む濃淡画像に対
するつぶれ気味二値画像を示す図である。

【図８】図３３の極めて薄い文字列を含む濃淡画像に対
する形状保存近傍ノイズあり二値画像を示す図である。

【図９】図３３の極めて薄い文字列を含む濃淡画像に対
する形状保存二値画像を示す図である。

【図１０】つぶれ気味二値画像と形状保存二値画像の画
素毎のＡＮＤをとった合成二値画像を示す図である。

【図１１】線状パターンに対する黒画素数対平均エッジ
強さのグラフである。

【図１２】本発明の実施形態のより具体的な構成例を示
す図である。

【図１３】図３３の極めて薄い文字列を含む濃淡画像に
対するつぶれ気味背景ノイズあり二値画像を示す図であ
る。

【図１４】つぶれ気味背景ノイズあり二値画像の４連結
成分の特徴量、すなわち、連結成分の黒画素数と輪郭画
素の平均エッジ強さ分布を示すグラフである。

【図１５】図３３の極めて薄い文字列を含む濃淡画像に
対するつぶれ気味二値画像を示す図である。

【図１６】図３３の極めて薄い文字列を含む濃淡画像に
対する形状保存近傍ノイズあり二値画像を示す図であ
る。

【図１７】形状保存近傍ノイズあり二値画像の４連結成
分の特徴量、すなわち、連結成分の黒画素数と輪郭画素
の平均エッジ強さの分布を示す図である。

【図１８】図３３の極めて薄い文字列を含む濃淡画像に
対する形状保存二値画像を示す図である。

【図１９】つぶれ気味二値画像と形状保存二値画像を、
画素毎のＡＮＤをとった合成二値画像を示す図である。

【図２０】背景ノイズ除去処理を示すフローチャートで
ある。

【図２１】本発明の実施形態をプログラムで実現する場
合に必要とされる情報処理装置の構成図である。

【図２２】プログラムデータの利用形態を説明する図で
ある。

【図２３】ＯＨＲの外観を示す図である。

【図２４】濃淡スキャナ画像の様子を示す図である。

【図２５】濃淡ＯＨＲ画像の様子を示す図である。

【図２６】影有りのＯＨＲ画像の様子を示す図である。

【図２７】ＯＨＲ画像の例である。

【図２８】ＯＨＲ画像にNiblack局所的二値化を施した
二値画像を示す図である。

【図２９】Niblackの局所二値化の概念を説明する図で
ある。

【図３０】Niblackの局所二値化処理の流れを示すフロ
ーチャートである。

【図３１】ソーベルのエッジフィルタとエッジ強さにつ
いて説明する図である。

【図３２】連結成分の平均エッジ強さが４以下の４連結
成分を除去することにより得た、背景ノイズ除去結果を
示す図である。

【図３３】極めて薄い文字列を含む濃淡画像の例を示す
図である。

【図３４】図３３にノイズ除去なしのNiblack局所二値
化を施した様子を示す図である。

【図３５】図３３に平均エッジ強さ４．０未満を除去し
たNiblack局所二値化による二値画像を示す図である。

【図３６】図３３に平均エッジ強さ２．０未満を除去し
たNiblack局所二値化による二値画像を示す図である。

【符号の説明】

１０、１０ａつぶれ気味二値画像生成手段１１、１１ａ形状保存二値画像生成手段１２二値画像合成手段１３つぶれ気味二値化手段１４形状保存二値化手段１５背景ノイズ除去手段

フロントページの続き (72)発明者直井聡神奈川県川崎市中原区上小田中４丁目１番１号富士通株式会社内Ｆターム(参考） 5B047 AA01 AB02 BA02 BB04 CB21 DB06 DC09 DC11 5B057 CA02 CA08 CA12 CA16 CB02 CB06 CB12 CB16 CC01 CE02 CE08 CH08 5C076 AA03 AA12 AA19 AA27 AA40 BA06 5C077 LL02 MP05 MP07 PP23 PP27 PP43 PP46 PP47 PP55 PQ20 RR02 SS01

Claims

【特許請求の範囲】

【請求項１】文字、罫線、図形等の線状パターンを含む
画像を入力し、対応する二値化画像を出力する画像処理
装置において、線状パターンの形状がつぶれているものの、形状のほと
んどを含む第１の画像を生成するつぶれ気味二値画像生
成手段と、線状パターンの形状をほとんど含むが線状パターンの近
傍以外の背景領域のノイズも含む第２の画像を生成する
形状保存二値画像生成手段と、該第１と第２の画像を画素毎に合成し、線状パターンの
形状を保存したまま、その形状をほとんど含みつつ背景
領域のノイズを含まない良好な二値画像を生成する画像
合成手段と、を備えることを特徴とする画像処理装置。
【請求項２】前記第１及び第２の画像から背景領域のノ
イズを除去する背景ノイズ除去手段を更に備えることを
特徴とする請求項１に記載の画像処理装置。
【請求項３】前記背景ノイズ除去手段は、入力された第
１あるいは第２の画像である二値画像の黒画素の４連結
成分あるいは８連結成分の黒画素数対輪郭画素の平均エ
ッジ強さの分布から、各連結成分を線状パターンを含む
連結成分と背景ノイズである連結成分に分類し、背景ノ
イズであると判定した連結成分を除去することにより背
景ノイズの除去を実行することを特徴とする請求項２に
記載の画像処理装置。
【請求項４】前記背景ノイズ除去手段は、入力された第
１あるいは第２の画像のある画素の近傍の濃度の標準偏
差あるいは平均濃度差が所定範囲にある場合に、該ある
画素を背景の画素であると判断することを特徴とする請
求項２に記載の画像処理装置。
【請求項５】前記第１及び第２の画像は、入力画像をNi
blackの局所二値化方法によって生成されることを特徴
とする請求項１に記載の画像処理装置。
【請求項６】前記画像処理装置は、前記画像合成手段の
出力に対し、Yanowitz and Brucksteinの後処理を施
すことを特徴とする請求項１に記載の画像処理装置。
【請求項７】文字、罫線、図形等の線状パターンを含む
画像を入力し、対応する二値化画像を出力する画像処理
方法において、線状パターンの形状がつぶれているものの、形状のほと
んどを含む第１の画像を生成するステップと、線状パターンの形状をほとんど含むが線状パターンの近
傍以外の背景領域のノイズも含む第２の画像を生成する
ステップと、該第１と第２の画像を画素毎に合成し、線状パターンの
形状を保存したまま、その形状をほとんど含みつつ背景
領域のノイズを含まない良好な二値画像を生成するステ
ップと、を備えることを特徴とする画像処理方法。
【請求項８】文字、罫線、図形等の線状パターンを含む
画像を入力し、対応する二値化画像を出力する画像処理
方法において、線状パターンの形状がつぶれているものの、形状のほと
んどを含む第１の画像を生成するステップと、線状パターンの形状をほとんど含むが線状パターンの近
傍以外の背景領域のノイズも含む第２の画像を生成する
ステップと、該第１と第２の画像を画素毎に合成し、線状パターンの
形状を保存したまま、その形状をほとんど含みつつ背景
領域のノイズを含まない良好な二値画像を生成するステ
ップと、を備えることを特徴とする画像処理方法を情報処理装置
に実行させるプログラム。
【請求項９】文字、罫線、図形等の線状パターンを含む
画像を入力し、対応する二値化画像を出力する画像処理
方法において、線状パターンの形状がつぶれているものの、形状のほと
んどを含む第１の画像を生成するステップと、線状パターンの形状をほとんど含むが線状パターンの近
傍以外の背景領域のノイズも含む第２の画像を生成する
ステップと、該第１と第２の画像を画素毎に合成し、線状パターンの
形状を保存したまま、その形状をほとんど含みつつ背景
領域のノイズを含まない良好な二値画像を生成するステ
ップと、を備えることを特徴とする画像処理方法を情報
処理装置に実現させるプログラムを格納した、情報処理
装置読み取り可能な記録媒体。