JP4060559B2 - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP4060559B2 JP4060559B2 JP2001278478A JP2001278478A JP4060559B2 JP 4060559 B2 JP4060559 B2 JP 4060559B2 JP 2001278478 A JP2001278478 A JP 2001278478A JP 2001278478 A JP2001278478 A JP 2001278478A JP 4060559 B2 JP4060559 B2 JP 4060559B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- attribute
- area
- color
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、文書などの画像をファイリングや複写のために文書の構成要素と色情報によって変換処理を行なう画像処理装置および画像処理方法に関する。
【０００２】
【従来の技術】
文書画像を画像データとして取り込んで、その画像をハードコピーとして出力したり、イメージファイルとして保存したりする技術として、複写機や、パーソナルコンピュータ等に於ける、イメージ取り込みの分野に利用されている技術や、ファイリングシステム装置やデータベースに利用される技術等がある。
【０００３】
この種、画像データを扱う装置に於いて、取り込んだ画像をハードコピーとして出力する場合、文書画像として利用者が見易いものにするために、画像処理を施す場合がある。例えば、文書画像に文字が含まれている場合、ハイパスフィルタ処理を施すことによって、文字のエッジ部分が強調され、くっきりとした、読み易い文字となる。また、写真の場合、写真の滑らかな階調を再現するために、ローパスフィルタを施すことによって、ざらつき感が無くなり、奇麗な出力となる。網点で構成された網点写真であるのか、あるいは銀塩写真であるのかによっても処理を切り替えることも可能である。
【０００４】
一方、イメージデータとして取り込む場合、カラー画像や濃淡画像のデータ量は非常に大きいため、データ量を削減するためにデータ圧縮を施すことが多い。このような場合、文字は２値化することによってデータ量を削減することが可能となり、写真は階調性を保存するような圧縮処理を施すことにより写真の美しさを保存しつつ、データ量を圧縮することが可能となる。
【０００５】
以上のように、文書画像の種類によって処理手法を変更することは、ハードコピーとして出力する際も、イメージファイルとして保存する際にも非常に有効である。
【０００６】
文書画像は、通常、テキスト、図表、写真等の領域がそれぞれ単独にあるいは重なり合うことによって構成されている。したがって、画像処理を行なう場合、文書画像にどのような領域がどのように構成されているかを検知する必要がある。
【０００７】
従来、文字、網点、写真等の文書画像を構成する要素を識別するために、入力画像データの濃度値を利用する方法が用いられてきた。２×２から４×４画素程度のブロック内に於ける最大値と最小値の差を用いて写真領域と非写真領域に分離する方法、ブロック内でエッジ画素を検出し、そのエッジ画素が文字の一部か否かをパターンマッチングによって判別する方法、３値化された画像に対しパターンマッチングによりエッジ検出およびピーク画素検出を行ない判定する方法、ブロック内の各画素に於けるエッジ量の総和を算出し分離する方法等である。これらの手法に共通しているのは、高速な処理を実現するため、数画素単位のブロック毎に処理を行なっていることである。
【０００８】
したがって、ブロック内に存在する画素値の変化によっては、同一の構成要素に於ける隣接ブロック間で違う要素であると誤って識別される虞があり、その結果として同じ領域でありながら異なった画像処理が施される。
【０００９】
これを解決する方法として、特願平８−３４７０２号に記載されているように、レイアウト解析を利用して、文書画像の構造を抽出するものがある。この方法では、２値化処理を行なった後に、画素の連結性を調べ、連結している画素同士を領域として抽出して、その位置や大きさ等の特徴量を利用して識別するものである。さらに、特願平１０−１９１２８６号に記載されているように、入力された画像に対し、複数の２値画像に分離して、各々の２値画像データに於いてレイアウト解析を行なう方法もある。この方法では濃度値によって画像を分離しているため、各々の画像を処理した結果を比較することで、通常の２値化では困難であった正確な文書要素の抽出や識別を行なうことができる。またカラー画像や濃淡画像を複数の２値画像で表現しているため、処理時間の短縮とメモリ容量の削減が図られている。
【００１０】
しかし、これらの方法では、カラー、グレー、黒といった彩度の違いによる色属性を文書要素毎に与えることは可能であったが、どのような色によって描かれているかは分からなかった。
【００１１】
例えば、カラー画像に於いて、グラフのような複雑な線図形は、その領域に於ける特徴量が写真と類似することがあり、そのため写真と誤って識別する場合がある。逆に、薄い写真領域は、その領域における特徴量が線図形に類似することがあり、そのため線図形と誤って識別する場合がある。誤った識別の結果、写真領域に対してハイパスフィルタ処理を行なって、ざらついた画像となり、逆に、線図形にローパスフィルタ処理を行なって文字や線がぼやけた画像となる虞がある。通常、カラー写真は、多色により表現されており、色の分布は、散らばっていることが多い。線図形では限定された色により表現され、色の分布は塊のようになっていることが多い。したがって、色の分布を調べることにより誤識別を防ぐことが可能となる。しかし、カラー属性だけでは色の分布を調べることが難しい。
【００１２】
また、通常、文書に赤色の文字がある場合、他の部分より注目すべき部分であることが多い。このような文字は、ファイリングを行なう際のキーワードとなることが想定されるため、より高度な文書処理を考慮した場合、他の文字と区別して扱うことが重要となってくる。しかし、この場合もカラー属性だけでは、赤色の文字と他の色との区別をつけるのは難しい。
【００１３】
更に、ハードコピーとして出力する場合、予め使われている色が分かっているならば、色変換テーブルを構築する際に、使われていない色を除外し、逆に使われている色の分解能をあげることにより、綺麗な出力を得ることが可能となるが、どのような色分布であるか分からないため、このような適応的なカラーテーブルを構築することは難しい。
【００１４】
このように、特願平１０−１９１２８６号に記載されている方法では、文書要素がどのような色で描かれているかを示す色分布が分からないため、カラー画像に於ける特徴を抽出することが困難であった。
【００１５】
【発明が解決しようとする課題】
上述したように従来では、画像データとして読み込まれた画像の各画素を、前記画像の画素およびその近傍画素の濃度情報に応じて複数の画像に分離し、当該各画像から領域を抽出し、抽出した領域の特徴量により分離された画像毎の属性を識別する画像処理に於いて、例えば写真領域、線図形領域等を弁別するための有効な処理手段が存在しなかった。
【００１６】
本発明は上記実情に鑑みなされたもので、画像データとして読み込まれた画像の各画素を、前記画像の画素およびその近傍画素の濃度情報に応じて複数の画像に分離し、当該各画像から領域を抽出し、抽出した領域の特徴量により分離された画像毎の属性を識別する画像処理に於いて、例えば写真領域、線図形領域等を弁別するための有効な処理が期待できる画像処理装置および画像処理方法を提供することを目的とする。
【００１７】
【課題を解決するための手段】
本発明は、画像データとして読み込まれた画像の各画素を、前記画像の画素およびその近傍画素の濃度情報に応じて複数の画像に分離し、当該各画像から領域を抽出し、抽出した領域の特徴量により分離された画像毎の属性を識別する画像処理方法に於いて、前記抽出した領域の複数色毎若しくは特定色の色の固まり形状を認識し、当該認識した色の固まり状態の情報を識別条件に前記画像の属性を識別することを特徴とする。
【００１８】
また、本発明に係る画像処理装置は、画像データとして読み込まれた画像の各画素を、前記画像の画素およびその近傍画素の濃度情報に応じて複数の画像に分離し、当該各画像から領域を抽出し、抽出した領域の特徴量により分離された画像毎の属性を識別する領域識別手段と、前記画像データとして読み込まれた画像の各画素を、前記画像の画素およびその近傍画素の色情報によって数種類の色に分類する色分類手段と、前記領域識別手段で取得した画像の属性、および前記色分類手段で取得した色の各情報をもとに、前記画像データとして読み込まれた画像の各画素の属性を識別する画素属性識別手段と、この画素属性識別手段により識別された属性を画像に変換して出力する画像出力手段とを具備することを特徴とする。
【００１９】
また、本発明に係る画像処理装置は、画像データとして読み込まれた画像の各画素を、前記画像の画素およびその近傍画素の濃度情報に応じて複数の画像に分離し、当該各画像から領域を抽出し、抽出した領域の特徴量により分離された画像毎の属性を識別する領域識別手段と、前記画像データとして読み込まれた画像の各画素を、前記画像の画素およびその近傍画素の色情報によって数種類の色に分類する色分類手段と、前記領域識別手段で取得した画像の属性、および前記色分類手段で取得した色の各情報をもとに、前記画像データとして読み込まれた画像の各画素の属性を決定する画素属性識別手段と、前記画素属性識別手段で取得した特定の属性に対して画像生成方法の変更を行なう画像出力制御手段と、前記画素属性識別手段で取得した属性を画像に変換して出力する画像出力手段とを具備することを特徴とする。
【００２０】
また、本発明に係る画像処理装置は、画像データとして読み込まれた画像の各画素を、前記画像の画素およびその近傍画素の濃度情報に応じて複数の画像に分離し、当該各画像から領域を抽出し、抽出した領域の特徴量により分離された画像毎の属性を識別する領域識別手段と、前記領域識別手段で抽出された領域内の各画素の色情報から前記領域内の色分布の情報を取得する色分類手段と、前記領域識別手段で取得した画像の属性、および前記色分類手段で取得した色の各情報をもとに、前記画像データとして読み込まれた画像の各画素の属性を識別する画素属性識別手段と、この画素属性識別手段により識別された属性を画像に変換して出力する画像出力手段とを具備することを特徴とする。
【００２１】
上記した本発明の機能を備えることにより、従来発生していた写真領域や線図形領域の誤識別の軽減につながり、例えばハードコピーをとる場合、写真領域に対してはローパスフィルタ処理を行って滑らかな階調を再現するためにローパスフィルタを施すことによって、ざらつき感が無くなり、奇麗な出力となり、また、線図形領域に対してはハイパスフィルタ処理を施すことによって、文字のエッジ部分が強調され、くっきりとした出力にすることが可能となる。また、色によって画像編集の指示を行なったり、ファイリングの際に色付きの文字をキーワードとして自動登録を行なったりすることも可能となる。
【００２２】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
【００２３】
図１は本発明の第１実施形態に於ける装置システムの構成を示すブロック図である。
【００２４】
本発明は、文書画像を画像入力部によって取り込み、領域識別部に於いて画素値の濃度差や彩度などの状態によって複数の画像データに分離し、物理的あるいは論理的に連結しているものを一つの領域として抽出した後、個々の領域の画像上の位置、大きさ、形状、構造、濃度分布等の特徴量を計測し、その計測結果を予め定められたルールに基づいて文書構成要素として識別し、色分類部に於いて画素値の色相や彩度などの状態によって、幾つかの色に分類し、その結果を色分布画像データとして保持し、更に複数の画像データから抽出された領域の情報や色分布画像データより画像の各画素の属性を決定することによって、文書画像内の領域毎の属性を検知することができる。また、画像出力制御部で特定の属性を持った画素に対して色分布画像データに基づき、編集処理を行なわせることができる。
【００２５】
以下、本発明のより具体的な実施の形態について、図面を参照して説明する。
【００２６】
図１は本発明の第１実施形態に於ける画像処理装置の要部の構成要素を示すブロック図である。
【００２７】
図１に於いて、１０１は画像入力部、１０２は領域識別部、１０３は色分類部、１０４は画素属性識別部、１０５は画像出力部である。
【００２８】
画像入力部１０１は、画像データを入力する装置であり、書類を読み取って画像データに変換する装置であるイメージスキャナ等の画像入力装置により、文書等の書類から描かれているものを取り込む装置である。尚、この画像入力部１０１はイメージスキャナ等の読み取り装置で構成されたものでもよいし、保存された画像イメージを取り込む装置であってもよい。
【００２９】
領域識別部１０２は、画像入力部１０１に於いて入力された画像データから文書要素を領域として抽出する。先ず、画像入力部１０１に於いて入力された画像データに対して、周辺画素の濃度差や彩度などの状態によって複数の２値の画像データに分離し、各画像より文字や図形等が物理的にあるいは論理的に連結されている各領域に分割して抽出し、その領域の位置、大きさ、形状、構造、濃度分布等の特徴量を計測して、文書要素としての各種類や重要度を識別する。文書要素の種類としては、例えば、文字、写真、図、表、網点などがあげられる。複数の２値の画像データに分離する具体的な手法として、既に公知となっているものがあり、例えば、特願平１０−０５３３１７号で開示されている手法により実現してもよい。この場合、文字画像、中間調画像、下地画像、網点画像、カラー画像、グレー画像、黒画像の７つの２値分離画像データが生成される。また、文書要素の抽出および識別の具体的な手法として、既に公知となっているものがあり、例えば、特願平８−３４７０２号で開示されている手法により実現してもよい。この領域抽出部１０２では、単一画像データからだけではなく、複数画像データでの特徴量をルールに従って統合し、入力された画像データの領域属性を決定する。例えば、文字画像と中間調画像の双方から同じ位置に領域が抽出された場合、その領域の種類や領域の大きさはどれだけなのかを決定する。具体的な例として、文字画像上に写真領域が存在し、同じ位置に中間調画像に中間調画素が存在する場合、銀塩写真領域と決定する。複数画像データからの領域属性決定の具体的な手法として、既に公知となっているものがあり、例えば、特願平１０−０５３３１７号で開示されている手法により実現してもよい。
【００３０】
色分類部１０３は、詳細は後述するが、画像入力部１０１に於いて入力された画像データに対して、周辺画素の色相や彩度などの状態から幾つかの色（数種類の色について、その同色の分布の状態）に分類し、その結果を色分類画像データとして生成するものである。
【００３１】
画素属性識別部１０４は、詳細は後述するが、領域識別部１０２で識別された複数画像データの領域の種類や重要度と色分離部１０３で分類された色分類画像データを用いて、入力された画像データの画素毎の属性を決定するものである。
【００３２】
画像出力部１０５は、画素属性識別部１０４によって決定された領域情報に従って出力を行なう。出力形態としては、例えば属性の領域情報を画像に変換したものでもよい。属性の領域情報を画像に変換する具体的な手法として、既に公知となっているものがあり、例えば、特願平１０−０５３３１７号で開示されている手法により実現してもよい。
【００３３】
図２は上記図１に示した本発明の第１実施形態に於ける画像処理装置の文書処理手順の一例を示すフローチャートである。
【００３４】
上記各図を参照して本発明の第１実施形態に於ける処理動作を説明する。
【００３５】
まず、書類の画像を画像入力部１０１により取り込む（ステップＳＴ２０１）。すなわち、スキャナ等の画像入力装置を利用して書類から画像を読み取ったり、またはファイリングシステム等の画像ファイルデータを入力したりしたものを、画像入力部１０１により画像データに変換する。
【００３６】
領域抽出部１０２は、上記画像入力部１０１より出力される画像データを１ライン分、または数ライン分ずつ読み取り、周辺画素の濃度差や彩度などの画素毎の状態によって複数の２値画像データに分離し、更に文字や図形等が物理的にあるいは論理的に連結されている領域毎に分割して抽出し、その領域の位置、大きさ、形状、構造、濃度分布等の特徴量を計測して、領域の種類や重要度等の識別を行ない、その結果、文字、写真、図、表、網点領域などの文書要素を抽出する（ステップＳＴ２０２）。この処理を入力された画像の全画素に対して処理が終了するまで繰り返す（ステップＳＴ２０３）。
【００３７】
色分類部１０３は、上記画像入力部１０１より出力される画像データを１ライン分、または数ライン分ずつ読み取り、周辺画素の色相や彩度などの画素毎の状態によって各画素がどのような色であるか分類を行ない、色分布画像データを生成する。その際、データ圧縮のため、周辺画素の色分布から微小な色分布をその周囲の大きな色分布に置き換える（ステップＳＴ２０４）。この処理を入力された画像の全画素に対して処理が終了するまで繰り返す（ステップＳＴ２０５）。
【００３８】
すべての画素に対して領域識別および色分類が終了した後、画素属性判別部１０４に於いて、各画素の最終的な属性を決定する（ステップＳＴ２０６）。ここで決定される属性の一例としては、写真と線図形の区別や色分布情報の付加などである。そして、上記の処理をすべての画素に対して終了するまで繰り返す（ステップＳＴ２０７）。
【００３９】
その後、画像出力部１０５に於いて、各々の画素属性を画像データとして変換した出力画像を出力する（ステップＳＴ２０８）。
【００４０】
以上が本発明の第１実施形態に於ける画像処理装置の大まかな処理動作である。
【００４１】
次に上記実施形態に於ける個々の要素の処理の詳細を説明する。
【００４２】
図３は本発明の第１実施形態に於ける画像処理装置に設けられた色分類部１０３の処理手順の一例を示すフローチャートであり、図２に示したステップＳＴ２０４で行われる処理の手順を示すフローチャートである。
【００４３】
色分類部１０３は、入力画像データの色相や彩度および輝度値の特徴から入力画像を数種類の色に分類する。ここで、色の数は、画素属性識別部１０４で処理を行なう内容によって決定される。厳密に色を調べる必要がある場合、分類数を増やし、逆に大まかな色の分布が分かればよい場合は、分類数を減らす。一般に分類数を増やすとデータ量が増大して、コスト的に不具合が生じる。本発明では、後者の大まかな色の分布が分かればよい場合について述べる。
【００４４】
以下の例では、入力された画素を赤(red)、黄色(yellow)、緑(green)、シアン(cyan)、青(blue)、マゼンダ(magenta)、白(white)、グレー(gray)、黒(black)の９通りの色に分類する一例を示す。
【００４５】
画像入力部１０１から入力される画像データ１５１は、ＲＧＢで表現されるカラー情報を含んだものである。このＲＧＢで表わされた画像データを一例として次式によって示されるＹＵＶ線形変換によって輝度値Ｙに変換する（ステップＳＴ３０１）。
【００４６】
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
ここで、Ｒ、Ｇ、Ｂは、それぞれ入力された画像データに於ける画素のＲＧＢ値である。また、同じＲＧＢで表わされた画像データを一例として表１に示される変換式を用いて彩度Ｓに変換する。
【００４７】
【表１】
【００４８】
図４は上記した例で示した画素変換のカラーモデルを示し、図５はそのモデルの断面を表している。図５の中央部の小さい円の領域は、白、グレー、黒のいずれかになる領域である。
【００４９】
Ｈの値により赤(red)、黄色(yellow)、緑(green)、シアン(cyan)、青(blue)、マゼンダ(magenta)の何れかに分類される。
【００５０】
以上の処理の結果、各画素は赤(red)、黄色(yellow)、緑(green)、シアン(cyan)、青(blue)、マゼンダ(magenta)、白(white)、グレー(gray)、黒(black)の何れかになる。
【００５１】
これらの変換処理を入力された画像データの一行分行ない、その結果をメモリ内に保存する。
【００５２】
次にＨの値から更に大まかな色分布の決定を行なう（ステップＳＴ３０２）。ここでは、現在の行の色分布データと一つ前の行の色分布データからｘ方向の解像度を落としながら色分布を決定していく。
【００５３】
ｘ方向の解像度を１／Ｎに落とし、色分布を決定する画素位置を（ｉ，ｊ）とすると、ｉ−１行で前後３Ｎ画素、ｉ行で前後３Ｎ画素分の色分布を調べ、赤(red)、黄色(yellow)、緑(green)、シアン(cyan)、青(blue)、マゼンダ(magenta)、白(white)、グレー(gray)、黒(black)ごとにカウントする。その結果、最もカウント数が多い色をその画素の色分布と決定する。
【００５４】
図６はＮ＝３とした例を示している。図中のｒは赤(red)を、ｍはマゼンダ(magenta)を、ｇはグレー(gray)を、ｂは黒(black)を表している。該当する画素に於いて各々の色をカウントすると、ｒ＝８、ｇ＝５、ｍ＝３、ｂ＝２となる。これより色分布は赤と決定できる。以上の処理により、解像度を落とした大まかな色の分布状態がわかる色分布を決定できる。
【００５５】
そして、決定した色分布から色分布画像データを生成する（ステップＳＴ３０３）。これは、ランレングスデータのように「色の識別子＋連続する画素数」という表現でデータを記述することにより、更に圧縮することが可能となる。その結果、色分布画像データ１５２が出力される。
【００５６】
以上により色分類部１０３の出力として、色分布画像データが生成される。
【００５７】
次に画素属性識別処理について説明する。
図７は本発明の第１実施形態に於ける画像処理装置に設けられた画素属性識別部１０４の画素属性識別処理手順を示すフローチャートであり、図２のステップＳＴ２０６で行われる処理の詳細を示すフローチャートである。
【００５８】
画素属性識別処理とは、領域識別と色分類の結果を比較することによって、領域識別結果の確認と修正を行なう処理である。以下、図７に示すフローチャートに従って画素属性識別処理動作を説明する。
【００５９】
領域識別部１０２では、文書要素を抽出して、識別を行ない、その結果を出力する。また、色分類部１０３では、数種類の色の分類を行ない、その結果を色分布画像データとして出力する。画素属性識別部１０４では、領域識別の結果とそれに対応する位置の色分布画像データの情報から領域識別結果の再判定を行なう。以下の例では、カラー写真と識別された領域に対しての再判定方法を述べる。尚、ここでの写真はカラー写真のことを指す。
【００６０】
まず領域識別データ１５３が写真属性かどうかを調べる（ステップＳＴ４０１）。写真属性を持っていない場合、例えばテキスト属性である場合、そのまま修正領域データ１５４として出力する。
【００６１】
ステップＳＴ４０１に於いて領域識別データ１５３が写真属性であった場合、色分布画像データ１５２から該当する領域の色分布情報のうち、色数を調査する（ステップＳＴ４０２）。写真であるならば、さまざまな色で表現されることが多い。そのような領域では、色分類の結果として、いくつもの色が検出される。逆に、色分類の結果、単色に近い場合、複雑な線図形とみなすことができる。多くの色が存在している場合、写真と判定し、そのまま修正領域データ１５４として出力する（ステップＳＴ４０３）。また、単色に近い場合、次に色分布画像データ１５２から該当する領域の色分布の偏りを調査する（ステップＳＴ４０４）。写真であるならば、色が領域中に散らばっていることが多い。逆に、線図形であるならば、オブジェクトに単一色を割り当てることが多いため、色の分布に偏りが生じることが予想される。色の偏りを調べる方法としては、色分布画像データが色情報をもったランレングスデータで表現されているため、色毎の領域抽出処理を行ない、写真と同じ領域で抽出された同一色領域の大きさや形状や画素の分布といった特徴量を抽出してもよい。その結果、色に偏りが無い場合、写真と判定し、そのまま修正領域データ１５４として出力する（ステップＳＴ４０５）。偏りがある場合、線図形と判定し、写真属性から線図形属性に修正した修正領域データ１５４を出力する（ステップＳＴ４０６）。
【００６２】
以上の処理を全ての写真領域に行なうことで、識別精度の向上を図ることが可能となる。
【００６３】
図８は上記した本発明の第１実施形態に於ける画像処理装置に入力される一例としての画像データの例である。ここでは画像データ５０１として、線図形部分５０２と、文章部分５０３が描かれているものを示してある。この例を用いて画素属性識別部１０４に於ける実際の処理過程を説明する。
【００６４】
上記図８に示す画像データ５０１を画像入力部１０１より取り込み、領域識別部１０２によって領域として抽出した線図形部分５０２は、複雑なグラフであるために、写真領域と誤識別され、文章部分５０３は文字領域として識別される。その結果は、例えば、線図形領域、は写真領域と誤識別され、図９の５０２ａの如く、文字領域は５０３ａの如く出力される。
【００６５】
さて、写真領域と誤識別された線図形領域５０２ａは、画素属性識別部１０４によって写真であるか否か再判定される。この際は、色分類部１０３で生成された色分布画像データによって、写真領域と誤識別された線図形領域５０２ａは色が少ないと判定されたとする。その後、色分布画像データから同一色領域の抽出を行ない、その大きさや形状や画素の分布状態から、色の分布に偏りがあると判定される。したがって、画素属性識別部１０４の出力としては、修正領域データとして、写真領域を線図形領域と変更し、出力することとなる。
【００６６】
この例のように、本発明による画像処理装置によると複雑な線図形領域を写真領域として誤識別した場合であっても、色の分布状態から、線図形として正しく識別することが可能となる。
【００６７】
以上が、画素属性識別部１０４の処理の詳細である
また、別の形態では、色分類部１０３で生成される色分布画像データにしたがって、出力を制御することも可能である。この機能を実現した画像処理装置の一例を本発明の第２実施形態として説明する。
【００６８】
以下に本発明の第２実施形態に於ける、より具体的な処理の一例について、図面を参照して説明する。
【００６９】
図１０は本発明の第２実施形態に於ける画像処理装置の一構成例を示すブロック図である。
【００７０】
図１０に於いて、１０１は画像入力部、１０２は領域識別部、１０３は色分類部、１０４は画素属性識別部、１０５は画像出力部、１０６は画像出力制御部である。
【００７１】
画像入力部１０１、領域識別部１０２、色分類部１０３、および画素属性識別部１０４については、上述した第１実施形態に於いて、図１を用いて説明した構成要素と同様のものであり、ここではその説明を省略する。
【００７２】
画像出力制御部１０６は、色分類部１０３で生成される色分布画像データにしたがって、画像出力方法の変更を行ない、その情報を画像出力部１０５へ渡す。
【００７３】
図１１は本発明の画像処理装置に入力される一例としての画像データの例である。ここでは画像データ６０１として、写真部分６０２と、文章部分６０３と、閉曲線６０４が描かれているものを示している。文章部分６０３は黒で、閉曲線６０４は赤で描かれているとする。この例を用いて画像出力制御部１０６に於ける処理の一例を説明する。
【００７４】
画像入力部１０１より取り込まれた画像データ６０１は、領域識別部１０２によって領域抽出される。ここでは、図１２に於ける写真領域６０２ａと文字領域６０３ａと赤の平曲線６０４ａとに識別される。
【００７５】
画像出力制御部１０６は、抽出された領域の状態と色が対応付けられたルールによって構成される。例えば、「赤の閉曲線で囲まれた領域内に存在する文字の色を赤で置き換える」というルールが記述されているならば、色分類部１０３で生成される色分布画像データを参照することによって、閉曲線６０４ａ内に存在する文字領域６０３aの文字を「黒」から「赤」に置き換えることが可能となる。上述した従来技術では、閉曲線６０４ａ内の全て黒が赤に置き換えられてしまうが、本発明に於いては、画素属性とその色を対応付けることが可能であるため、このような高度な編集も可能となる。
【００７６】
また、別の形態では、画像出力部１０５が画像ファイリングであっても効果がある。
【００７７】
以下、本発明の第２実施形態に於ける、より具体的な処理の一例について、図面を参照して説明する。
【００７８】
図１３は本発明の第２実施形態に於ける画像処理装置に入力される一例としての画像データの例である。ここでは画像データ７０１として、線図形部分７０２と、文章部分７０３が描かれており、更に文字７０４と文字７０５は赤で描かれているとする。この例を用いて、上記画像出力制御部１０６に於ける処理の一例を説明する。
【００７９】
画像入力部１０１より取り込まれた上記画像データ７０１は、領域識別部１０２によって領域抽出される。ここでは、図１４に於ける線図形領域７０２ａと文字領域７０３ａとに識別される。
【００８０】
通常、文書内に於ける赤い文字は、その文書に於いて重要な意味を成すことが多いため、ファイリング時のキーワードとして利用することが考えられる。
【００８１】
画像出力制御部１０６で「赤の文字が存在する場合、その文字領域に対して文字認識処理を行なわせ、キーワードとして登録する」というルールを記述しておくと、上述した色分類部１０３で生成される色分布画像データを参照することによって、文字領域７０３ａ中に赤で描かれている文字７０４ａと７０５ａを自動的に抽出して、キーワード登録することも可能となる。
【００８２】
このように本発明の実施形態に於いては、画像データを画像入力部１０１により取り込み、この画像データ（カラー画像）を領域識別部１０２に於いて画素値の濃度差や彩度などの状態により複数の画像データに分離し、物理的あるいは論理的に連結しているものを一つの領域として抽出した後、個々の領域の画像上の位置、大きさ、形状、構造、濃度分布等の特徴量を計測し、更に、その計測結果を予め定められたルールに基づいて文書構成要素として識別し、色分類部１０３に於いて画素値の色相や彩度などの状態によって、幾つかの色に分類し、その結果を色分布画像データとして保持し、画素属性識別部１０４に於いて領域識別データと色分布画像データから文書内の各画素の属性を決定し、画像出力部１０５によって、構造的な画素属性を出力している。このような処理機能をもつことで、文書要素の識別精度を向上させることが可能となり、また色の違いを利用した、より高度な編集処理を行なうことが可能となる。
【００８３】
【発明の効果】
以上詳記したように、本発明によれば、画像データとして読み込まれた画像の各画素を、前記画像の画素およびその近傍画素の濃度情報に応じて複数の画像に分離し、当該各画像から領域を抽出し、抽出した領域の特徴量により分離された画像毎の属性を識別する画像処理に於いて、例えば写真領域、線図形領域等を弁別するための有効な処理が期待できる。
【００８４】
更に、本発明によれば、文書をハードコピーしたり、イメージデータに変換して保存しようとする場合、入力されたカラー画像に対して、画素値の濃度差や彩度などの状態によって複数の画像データに分離し、物理的あるいは論理的に連結しているものを一つの領域として抽出した後、個々の領域の画像上の位置、大きさ、形状、構造、濃度分布等の特徴量を計測し、その計測結果を予め定められたルールに基づいて文書構成要素として識別し、画素値の色相や彩度などの状態によって、幾つかの色に分類して、その結果を色分布画像データとして保持し、領域識別結果と色分布画像データの比較により、文書要素の識別精度を向上させることが可能となる。その結果、従来発生していた写真領域や線図形領域の誤識別の軽減につながり、例えばハードコピーをとる場合、写真領域に対してはローパスフィルタ処理を行って滑らかな階調を再現するためにローパスフィルタを施すことによって、ざらつき感が無くなり、奇麗な出力となる。また、線図形領域ではハイパスフィルタ処理を施すことによって、文字のエッジ部分が強調され、くっきりとした出力にすることが可能となる。また、色によって画像編集の指示を行なったり、ファイリングの際に色付きの文字をキーワードとして自動登録を行なったりすることも可能となる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に於ける画像処理装置の要部の構成要素を示すブロック図。
【図２】上記実施形態に於ける画像処理手順の一例を示すフローチャート。
【図３】上記実施形態に於ける色分類部の処理手順の一例を示すフローチャート。
【図４】上記実施形態に於ける色分類部の処理動作を説明するための画素変換のカラーモデルを示す図。し、図５はそのモデルの断面を表している。
【図５】上記図４に示すカラーモデルの断面を示す図。
【図６】上記実施形態に於ける色分布画像生成処理の動作説明図。
【図７】上記実施形態に於ける画素属性識別部の処理手順を示すフローチャート
【図８】上記実施形態の動作を説明するための入力画像データの一例を示す図。
【図９】上記図８に示す画像データの領域抽出例を示す図。
【図１０】本発明の第２実施形態に於ける画像処理装置の要部の構成要素を示すブロック図。
【図１１】上記実施形態の動作を説明するための入力画像データの一例を示す図。
【図１２】上記図１１に示す画像データの領域抽出例を示す図。
【図１３】上記実施形態の動作を説明するための入力画像データの一例を示す図。
【図１４】上記図１３に示す画像データの領域抽出例を示す図。
【符号の説明】
１０１…は画像入力部
１０２…領域識別部
１０３…色分類部
１０４…画素属性識別部
１０５…画像出力部
１０６…画像出力制御部
５０１…画像データ
５０２…領域として抽出した線図形部分
５０３…領域として抽出した文章部分
５０２ａ…写真領域と誤識別された線図形領域
５０３ａ…文章領域と誤識別された線図形領域
６０１…画像データ
６０２…領域として抽出した写真部分
６０３…領域として抽出した文章部分
６０４…領域として抽出した閉曲線部分
６０２ａ…識別された写真領域
６０３ａ…識別された文字領域
６０４ａ…識別された平曲線領域
７０１…画像データ
７０２…領域として抽出した線図形部分
７０３…領域として抽出した文章部分
７０４…領域として抽出した文字部分
７０４，７０５…文字領域に赤で描かれた文字
７０２ａ…識別された線図形領域
７０３ａ…識別された文字領域
７０４ａ，７０５ａ…自動抽出された赤で描かれている文字
【発明の属する技術分野】
本発明は、文書などの画像をファイリングや複写のために文書の構成要素と色情報によって変換処理を行なう画像処理装置および画像処理方法に関する。
【０００２】
【従来の技術】
文書画像を画像データとして取り込んで、その画像をハードコピーとして出力したり、イメージファイルとして保存したりする技術として、複写機や、パーソナルコンピュータ等に於ける、イメージ取り込みの分野に利用されている技術や、ファイリングシステム装置やデータベースに利用される技術等がある。
【０００３】
この種、画像データを扱う装置に於いて、取り込んだ画像をハードコピーとして出力する場合、文書画像として利用者が見易いものにするために、画像処理を施す場合がある。例えば、文書画像に文字が含まれている場合、ハイパスフィルタ処理を施すことによって、文字のエッジ部分が強調され、くっきりとした、読み易い文字となる。また、写真の場合、写真の滑らかな階調を再現するために、ローパスフィルタを施すことによって、ざらつき感が無くなり、奇麗な出力となる。網点で構成された網点写真であるのか、あるいは銀塩写真であるのかによっても処理を切り替えることも可能である。
【０００４】
一方、イメージデータとして取り込む場合、カラー画像や濃淡画像のデータ量は非常に大きいため、データ量を削減するためにデータ圧縮を施すことが多い。このような場合、文字は２値化することによってデータ量を削減することが可能となり、写真は階調性を保存するような圧縮処理を施すことにより写真の美しさを保存しつつ、データ量を圧縮することが可能となる。
【０００５】
以上のように、文書画像の種類によって処理手法を変更することは、ハードコピーとして出力する際も、イメージファイルとして保存する際にも非常に有効である。
【０００６】
文書画像は、通常、テキスト、図表、写真等の領域がそれぞれ単独にあるいは重なり合うことによって構成されている。したがって、画像処理を行なう場合、文書画像にどのような領域がどのように構成されているかを検知する必要がある。
【０００７】
従来、文字、網点、写真等の文書画像を構成する要素を識別するために、入力画像データの濃度値を利用する方法が用いられてきた。２×２から４×４画素程度のブロック内に於ける最大値と最小値の差を用いて写真領域と非写真領域に分離する方法、ブロック内でエッジ画素を検出し、そのエッジ画素が文字の一部か否かをパターンマッチングによって判別する方法、３値化された画像に対しパターンマッチングによりエッジ検出およびピーク画素検出を行ない判定する方法、ブロック内の各画素に於けるエッジ量の総和を算出し分離する方法等である。これらの手法に共通しているのは、高速な処理を実現するため、数画素単位のブロック毎に処理を行なっていることである。
【０００８】
したがって、ブロック内に存在する画素値の変化によっては、同一の構成要素に於ける隣接ブロック間で違う要素であると誤って識別される虞があり、その結果として同じ領域でありながら異なった画像処理が施される。
【０００９】
これを解決する方法として、特願平８−３４７０２号に記載されているように、レイアウト解析を利用して、文書画像の構造を抽出するものがある。この方法では、２値化処理を行なった後に、画素の連結性を調べ、連結している画素同士を領域として抽出して、その位置や大きさ等の特徴量を利用して識別するものである。さらに、特願平１０−１９１２８６号に記載されているように、入力された画像に対し、複数の２値画像に分離して、各々の２値画像データに於いてレイアウト解析を行なう方法もある。この方法では濃度値によって画像を分離しているため、各々の画像を処理した結果を比較することで、通常の２値化では困難であった正確な文書要素の抽出や識別を行なうことができる。またカラー画像や濃淡画像を複数の２値画像で表現しているため、処理時間の短縮とメモリ容量の削減が図られている。
【００１０】
しかし、これらの方法では、カラー、グレー、黒といった彩度の違いによる色属性を文書要素毎に与えることは可能であったが、どのような色によって描かれているかは分からなかった。
【００１１】
例えば、カラー画像に於いて、グラフのような複雑な線図形は、その領域に於ける特徴量が写真と類似することがあり、そのため写真と誤って識別する場合がある。逆に、薄い写真領域は、その領域における特徴量が線図形に類似することがあり、そのため線図形と誤って識別する場合がある。誤った識別の結果、写真領域に対してハイパスフィルタ処理を行なって、ざらついた画像となり、逆に、線図形にローパスフィルタ処理を行なって文字や線がぼやけた画像となる虞がある。通常、カラー写真は、多色により表現されており、色の分布は、散らばっていることが多い。線図形では限定された色により表現され、色の分布は塊のようになっていることが多い。したがって、色の分布を調べることにより誤識別を防ぐことが可能となる。しかし、カラー属性だけでは色の分布を調べることが難しい。
【００１２】
また、通常、文書に赤色の文字がある場合、他の部分より注目すべき部分であることが多い。このような文字は、ファイリングを行なう際のキーワードとなることが想定されるため、より高度な文書処理を考慮した場合、他の文字と区別して扱うことが重要となってくる。しかし、この場合もカラー属性だけでは、赤色の文字と他の色との区別をつけるのは難しい。
【００１３】
更に、ハードコピーとして出力する場合、予め使われている色が分かっているならば、色変換テーブルを構築する際に、使われていない色を除外し、逆に使われている色の分解能をあげることにより、綺麗な出力を得ることが可能となるが、どのような色分布であるか分からないため、このような適応的なカラーテーブルを構築することは難しい。
【００１４】
このように、特願平１０−１９１２８６号に記載されている方法では、文書要素がどのような色で描かれているかを示す色分布が分からないため、カラー画像に於ける特徴を抽出することが困難であった。
【００１５】
【発明が解決しようとする課題】
上述したように従来では、画像データとして読み込まれた画像の各画素を、前記画像の画素およびその近傍画素の濃度情報に応じて複数の画像に分離し、当該各画像から領域を抽出し、抽出した領域の特徴量により分離された画像毎の属性を識別する画像処理に於いて、例えば写真領域、線図形領域等を弁別するための有効な処理手段が存在しなかった。
【００１６】
本発明は上記実情に鑑みなされたもので、画像データとして読み込まれた画像の各画素を、前記画像の画素およびその近傍画素の濃度情報に応じて複数の画像に分離し、当該各画像から領域を抽出し、抽出した領域の特徴量により分離された画像毎の属性を識別する画像処理に於いて、例えば写真領域、線図形領域等を弁別するための有効な処理が期待できる画像処理装置および画像処理方法を提供することを目的とする。
【００１７】
【課題を解決するための手段】
本発明は、画像データとして読み込まれた画像の各画素を、前記画像の画素およびその近傍画素の濃度情報に応じて複数の画像に分離し、当該各画像から領域を抽出し、抽出した領域の特徴量により分離された画像毎の属性を識別する画像処理方法に於いて、前記抽出した領域の複数色毎若しくは特定色の色の固まり形状を認識し、当該認識した色の固まり状態の情報を識別条件に前記画像の属性を識別することを特徴とする。
【００１８】
また、本発明に係る画像処理装置は、画像データとして読み込まれた画像の各画素を、前記画像の画素およびその近傍画素の濃度情報に応じて複数の画像に分離し、当該各画像から領域を抽出し、抽出した領域の特徴量により分離された画像毎の属性を識別する領域識別手段と、前記画像データとして読み込まれた画像の各画素を、前記画像の画素およびその近傍画素の色情報によって数種類の色に分類する色分類手段と、前記領域識別手段で取得した画像の属性、および前記色分類手段で取得した色の各情報をもとに、前記画像データとして読み込まれた画像の各画素の属性を識別する画素属性識別手段と、この画素属性識別手段により識別された属性を画像に変換して出力する画像出力手段とを具備することを特徴とする。
【００１９】
また、本発明に係る画像処理装置は、画像データとして読み込まれた画像の各画素を、前記画像の画素およびその近傍画素の濃度情報に応じて複数の画像に分離し、当該各画像から領域を抽出し、抽出した領域の特徴量により分離された画像毎の属性を識別する領域識別手段と、前記画像データとして読み込まれた画像の各画素を、前記画像の画素およびその近傍画素の色情報によって数種類の色に分類する色分類手段と、前記領域識別手段で取得した画像の属性、および前記色分類手段で取得した色の各情報をもとに、前記画像データとして読み込まれた画像の各画素の属性を決定する画素属性識別手段と、前記画素属性識別手段で取得した特定の属性に対して画像生成方法の変更を行なう画像出力制御手段と、前記画素属性識別手段で取得した属性を画像に変換して出力する画像出力手段とを具備することを特徴とする。
【００２０】
また、本発明に係る画像処理装置は、画像データとして読み込まれた画像の各画素を、前記画像の画素およびその近傍画素の濃度情報に応じて複数の画像に分離し、当該各画像から領域を抽出し、抽出した領域の特徴量により分離された画像毎の属性を識別する領域識別手段と、前記領域識別手段で抽出された領域内の各画素の色情報から前記領域内の色分布の情報を取得する色分類手段と、前記領域識別手段で取得した画像の属性、および前記色分類手段で取得した色の各情報をもとに、前記画像データとして読み込まれた画像の各画素の属性を識別する画素属性識別手段と、この画素属性識別手段により識別された属性を画像に変換して出力する画像出力手段とを具備することを特徴とする。
【００２１】
上記した本発明の機能を備えることにより、従来発生していた写真領域や線図形領域の誤識別の軽減につながり、例えばハードコピーをとる場合、写真領域に対してはローパスフィルタ処理を行って滑らかな階調を再現するためにローパスフィルタを施すことによって、ざらつき感が無くなり、奇麗な出力となり、また、線図形領域に対してはハイパスフィルタ処理を施すことによって、文字のエッジ部分が強調され、くっきりとした出力にすることが可能となる。また、色によって画像編集の指示を行なったり、ファイリングの際に色付きの文字をキーワードとして自動登録を行なったりすることも可能となる。
【００２２】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
【００２３】
図１は本発明の第１実施形態に於ける装置システムの構成を示すブロック図である。
【００２４】
本発明は、文書画像を画像入力部によって取り込み、領域識別部に於いて画素値の濃度差や彩度などの状態によって複数の画像データに分離し、物理的あるいは論理的に連結しているものを一つの領域として抽出した後、個々の領域の画像上の位置、大きさ、形状、構造、濃度分布等の特徴量を計測し、その計測結果を予め定められたルールに基づいて文書構成要素として識別し、色分類部に於いて画素値の色相や彩度などの状態によって、幾つかの色に分類し、その結果を色分布画像データとして保持し、更に複数の画像データから抽出された領域の情報や色分布画像データより画像の各画素の属性を決定することによって、文書画像内の領域毎の属性を検知することができる。また、画像出力制御部で特定の属性を持った画素に対して色分布画像データに基づき、編集処理を行なわせることができる。
【００２５】
以下、本発明のより具体的な実施の形態について、図面を参照して説明する。
【００２６】
図１は本発明の第１実施形態に於ける画像処理装置の要部の構成要素を示すブロック図である。
【００２７】
図１に於いて、１０１は画像入力部、１０２は領域識別部、１０３は色分類部、１０４は画素属性識別部、１０５は画像出力部である。
【００２８】
画像入力部１０１は、画像データを入力する装置であり、書類を読み取って画像データに変換する装置であるイメージスキャナ等の画像入力装置により、文書等の書類から描かれているものを取り込む装置である。尚、この画像入力部１０１はイメージスキャナ等の読み取り装置で構成されたものでもよいし、保存された画像イメージを取り込む装置であってもよい。
【００２９】
領域識別部１０２は、画像入力部１０１に於いて入力された画像データから文書要素を領域として抽出する。先ず、画像入力部１０１に於いて入力された画像データに対して、周辺画素の濃度差や彩度などの状態によって複数の２値の画像データに分離し、各画像より文字や図形等が物理的にあるいは論理的に連結されている各領域に分割して抽出し、その領域の位置、大きさ、形状、構造、濃度分布等の特徴量を計測して、文書要素としての各種類や重要度を識別する。文書要素の種類としては、例えば、文字、写真、図、表、網点などがあげられる。複数の２値の画像データに分離する具体的な手法として、既に公知となっているものがあり、例えば、特願平１０−０５３３１７号で開示されている手法により実現してもよい。この場合、文字画像、中間調画像、下地画像、網点画像、カラー画像、グレー画像、黒画像の７つの２値分離画像データが生成される。また、文書要素の抽出および識別の具体的な手法として、既に公知となっているものがあり、例えば、特願平８−３４７０２号で開示されている手法により実現してもよい。この領域抽出部１０２では、単一画像データからだけではなく、複数画像データでの特徴量をルールに従って統合し、入力された画像データの領域属性を決定する。例えば、文字画像と中間調画像の双方から同じ位置に領域が抽出された場合、その領域の種類や領域の大きさはどれだけなのかを決定する。具体的な例として、文字画像上に写真領域が存在し、同じ位置に中間調画像に中間調画素が存在する場合、銀塩写真領域と決定する。複数画像データからの領域属性決定の具体的な手法として、既に公知となっているものがあり、例えば、特願平１０−０５３３１７号で開示されている手法により実現してもよい。
【００３０】
色分類部１０３は、詳細は後述するが、画像入力部１０１に於いて入力された画像データに対して、周辺画素の色相や彩度などの状態から幾つかの色（数種類の色について、その同色の分布の状態）に分類し、その結果を色分類画像データとして生成するものである。
【００３１】
画素属性識別部１０４は、詳細は後述するが、領域識別部１０２で識別された複数画像データの領域の種類や重要度と色分離部１０３で分類された色分類画像データを用いて、入力された画像データの画素毎の属性を決定するものである。
【００３２】
画像出力部１０５は、画素属性識別部１０４によって決定された領域情報に従って出力を行なう。出力形態としては、例えば属性の領域情報を画像に変換したものでもよい。属性の領域情報を画像に変換する具体的な手法として、既に公知となっているものがあり、例えば、特願平１０−０５３３１７号で開示されている手法により実現してもよい。
【００３３】
図２は上記図１に示した本発明の第１実施形態に於ける画像処理装置の文書処理手順の一例を示すフローチャートである。
【００３４】
上記各図を参照して本発明の第１実施形態に於ける処理動作を説明する。
【００３５】
まず、書類の画像を画像入力部１０１により取り込む（ステップＳＴ２０１）。すなわち、スキャナ等の画像入力装置を利用して書類から画像を読み取ったり、またはファイリングシステム等の画像ファイルデータを入力したりしたものを、画像入力部１０１により画像データに変換する。
【００３６】
領域抽出部１０２は、上記画像入力部１０１より出力される画像データを１ライン分、または数ライン分ずつ読み取り、周辺画素の濃度差や彩度などの画素毎の状態によって複数の２値画像データに分離し、更に文字や図形等が物理的にあるいは論理的に連結されている領域毎に分割して抽出し、その領域の位置、大きさ、形状、構造、濃度分布等の特徴量を計測して、領域の種類や重要度等の識別を行ない、その結果、文字、写真、図、表、網点領域などの文書要素を抽出する（ステップＳＴ２０２）。この処理を入力された画像の全画素に対して処理が終了するまで繰り返す（ステップＳＴ２０３）。
【００３７】
色分類部１０３は、上記画像入力部１０１より出力される画像データを１ライン分、または数ライン分ずつ読み取り、周辺画素の色相や彩度などの画素毎の状態によって各画素がどのような色であるか分類を行ない、色分布画像データを生成する。その際、データ圧縮のため、周辺画素の色分布から微小な色分布をその周囲の大きな色分布に置き換える（ステップＳＴ２０４）。この処理を入力された画像の全画素に対して処理が終了するまで繰り返す（ステップＳＴ２０５）。
【００３８】
すべての画素に対して領域識別および色分類が終了した後、画素属性判別部１０４に於いて、各画素の最終的な属性を決定する（ステップＳＴ２０６）。ここで決定される属性の一例としては、写真と線図形の区別や色分布情報の付加などである。そして、上記の処理をすべての画素に対して終了するまで繰り返す（ステップＳＴ２０７）。
【００３９】
その後、画像出力部１０５に於いて、各々の画素属性を画像データとして変換した出力画像を出力する（ステップＳＴ２０８）。
【００４０】
以上が本発明の第１実施形態に於ける画像処理装置の大まかな処理動作である。
【００４１】
次に上記実施形態に於ける個々の要素の処理の詳細を説明する。
【００４２】
図３は本発明の第１実施形態に於ける画像処理装置に設けられた色分類部１０３の処理手順の一例を示すフローチャートであり、図２に示したステップＳＴ２０４で行われる処理の手順を示すフローチャートである。
【００４３】
色分類部１０３は、入力画像データの色相や彩度および輝度値の特徴から入力画像を数種類の色に分類する。ここで、色の数は、画素属性識別部１０４で処理を行なう内容によって決定される。厳密に色を調べる必要がある場合、分類数を増やし、逆に大まかな色の分布が分かればよい場合は、分類数を減らす。一般に分類数を増やすとデータ量が増大して、コスト的に不具合が生じる。本発明では、後者の大まかな色の分布が分かればよい場合について述べる。
【００４４】
以下の例では、入力された画素を赤(red)、黄色(yellow)、緑(green)、シアン(cyan)、青(blue)、マゼンダ(magenta)、白(white)、グレー(gray)、黒(black)の９通りの色に分類する一例を示す。
【００４５】
画像入力部１０１から入力される画像データ１５１は、ＲＧＢで表現されるカラー情報を含んだものである。このＲＧＢで表わされた画像データを一例として次式によって示されるＹＵＶ線形変換によって輝度値Ｙに変換する（ステップＳＴ３０１）。
【００４６】
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
ここで、Ｒ、Ｇ、Ｂは、それぞれ入力された画像データに於ける画素のＲＧＢ値である。また、同じＲＧＢで表わされた画像データを一例として表１に示される変換式を用いて彩度Ｓに変換する。
【００４７】
【表１】
図４は上記した例で示した画素変換のカラーモデルを示し、図５はそのモデルの断面を表している。図５の中央部の小さい円の領域は、白、グレー、黒のいずれかになる領域である。
【００４９】
Ｈの値により赤(red)、黄色(yellow)、緑(green)、シアン(cyan)、青(blue)、マゼンダ(magenta)の何れかに分類される。
【００５０】
以上の処理の結果、各画素は赤(red)、黄色(yellow)、緑(green)、シアン(cyan)、青(blue)、マゼンダ(magenta)、白(white)、グレー(gray)、黒(black)の何れかになる。
【００５１】
これらの変換処理を入力された画像データの一行分行ない、その結果をメモリ内に保存する。
【００５２】
次にＨの値から更に大まかな色分布の決定を行なう（ステップＳＴ３０２）。ここでは、現在の行の色分布データと一つ前の行の色分布データからｘ方向の解像度を落としながら色分布を決定していく。
【００５３】
ｘ方向の解像度を１／Ｎに落とし、色分布を決定する画素位置を（ｉ，ｊ）とすると、ｉ−１行で前後３Ｎ画素、ｉ行で前後３Ｎ画素分の色分布を調べ、赤(red)、黄色(yellow)、緑(green)、シアン(cyan)、青(blue)、マゼンダ(magenta)、白(white)、グレー(gray)、黒(black)ごとにカウントする。その結果、最もカウント数が多い色をその画素の色分布と決定する。
【００５４】
図６はＮ＝３とした例を示している。図中のｒは赤(red)を、ｍはマゼンダ(magenta)を、ｇはグレー(gray)を、ｂは黒(black)を表している。該当する画素に於いて各々の色をカウントすると、ｒ＝８、ｇ＝５、ｍ＝３、ｂ＝２となる。これより色分布は赤と決定できる。以上の処理により、解像度を落とした大まかな色の分布状態がわかる色分布を決定できる。
【００５５】
そして、決定した色分布から色分布画像データを生成する（ステップＳＴ３０３）。これは、ランレングスデータのように「色の識別子＋連続する画素数」という表現でデータを記述することにより、更に圧縮することが可能となる。その結果、色分布画像データ１５２が出力される。
【００５６】
以上により色分類部１０３の出力として、色分布画像データが生成される。
【００５７】
次に画素属性識別処理について説明する。
図７は本発明の第１実施形態に於ける画像処理装置に設けられた画素属性識別部１０４の画素属性識別処理手順を示すフローチャートであり、図２のステップＳＴ２０６で行われる処理の詳細を示すフローチャートである。
【００５８】
画素属性識別処理とは、領域識別と色分類の結果を比較することによって、領域識別結果の確認と修正を行なう処理である。以下、図７に示すフローチャートに従って画素属性識別処理動作を説明する。
【００５９】
領域識別部１０２では、文書要素を抽出して、識別を行ない、その結果を出力する。また、色分類部１０３では、数種類の色の分類を行ない、その結果を色分布画像データとして出力する。画素属性識別部１０４では、領域識別の結果とそれに対応する位置の色分布画像データの情報から領域識別結果の再判定を行なう。以下の例では、カラー写真と識別された領域に対しての再判定方法を述べる。尚、ここでの写真はカラー写真のことを指す。
【００６０】
まず領域識別データ１５３が写真属性かどうかを調べる（ステップＳＴ４０１）。写真属性を持っていない場合、例えばテキスト属性である場合、そのまま修正領域データ１５４として出力する。
【００６１】
ステップＳＴ４０１に於いて領域識別データ１５３が写真属性であった場合、色分布画像データ１５２から該当する領域の色分布情報のうち、色数を調査する（ステップＳＴ４０２）。写真であるならば、さまざまな色で表現されることが多い。そのような領域では、色分類の結果として、いくつもの色が検出される。逆に、色分類の結果、単色に近い場合、複雑な線図形とみなすことができる。多くの色が存在している場合、写真と判定し、そのまま修正領域データ１５４として出力する（ステップＳＴ４０３）。また、単色に近い場合、次に色分布画像データ１５２から該当する領域の色分布の偏りを調査する（ステップＳＴ４０４）。写真であるならば、色が領域中に散らばっていることが多い。逆に、線図形であるならば、オブジェクトに単一色を割り当てることが多いため、色の分布に偏りが生じることが予想される。色の偏りを調べる方法としては、色分布画像データが色情報をもったランレングスデータで表現されているため、色毎の領域抽出処理を行ない、写真と同じ領域で抽出された同一色領域の大きさや形状や画素の分布といった特徴量を抽出してもよい。その結果、色に偏りが無い場合、写真と判定し、そのまま修正領域データ１５４として出力する（ステップＳＴ４０５）。偏りがある場合、線図形と判定し、写真属性から線図形属性に修正した修正領域データ１５４を出力する（ステップＳＴ４０６）。
【００６２】
以上の処理を全ての写真領域に行なうことで、識別精度の向上を図ることが可能となる。
【００６３】
図８は上記した本発明の第１実施形態に於ける画像処理装置に入力される一例としての画像データの例である。ここでは画像データ５０１として、線図形部分５０２と、文章部分５０３が描かれているものを示してある。この例を用いて画素属性識別部１０４に於ける実際の処理過程を説明する。
【００６４】
上記図８に示す画像データ５０１を画像入力部１０１より取り込み、領域識別部１０２によって領域として抽出した線図形部分５０２は、複雑なグラフであるために、写真領域と誤識別され、文章部分５０３は文字領域として識別される。その結果は、例えば、線図形領域、は写真領域と誤識別され、図９の５０２ａの如く、文字領域は５０３ａの如く出力される。
【００６５】
さて、写真領域と誤識別された線図形領域５０２ａは、画素属性識別部１０４によって写真であるか否か再判定される。この際は、色分類部１０３で生成された色分布画像データによって、写真領域と誤識別された線図形領域５０２ａは色が少ないと判定されたとする。その後、色分布画像データから同一色領域の抽出を行ない、その大きさや形状や画素の分布状態から、色の分布に偏りがあると判定される。したがって、画素属性識別部１０４の出力としては、修正領域データとして、写真領域を線図形領域と変更し、出力することとなる。
【００６６】
この例のように、本発明による画像処理装置によると複雑な線図形領域を写真領域として誤識別した場合であっても、色の分布状態から、線図形として正しく識別することが可能となる。
【００６７】
以上が、画素属性識別部１０４の処理の詳細である
また、別の形態では、色分類部１０３で生成される色分布画像データにしたがって、出力を制御することも可能である。この機能を実現した画像処理装置の一例を本発明の第２実施形態として説明する。
【００６８】
以下に本発明の第２実施形態に於ける、より具体的な処理の一例について、図面を参照して説明する。
【００６９】
図１０は本発明の第２実施形態に於ける画像処理装置の一構成例を示すブロック図である。
【００７０】
図１０に於いて、１０１は画像入力部、１０２は領域識別部、１０３は色分類部、１０４は画素属性識別部、１０５は画像出力部、１０６は画像出力制御部である。
【００７１】
画像入力部１０１、領域識別部１０２、色分類部１０３、および画素属性識別部１０４については、上述した第１実施形態に於いて、図１を用いて説明した構成要素と同様のものであり、ここではその説明を省略する。
【００７２】
画像出力制御部１０６は、色分類部１０３で生成される色分布画像データにしたがって、画像出力方法の変更を行ない、その情報を画像出力部１０５へ渡す。
【００７３】
図１１は本発明の画像処理装置に入力される一例としての画像データの例である。ここでは画像データ６０１として、写真部分６０２と、文章部分６０３と、閉曲線６０４が描かれているものを示している。文章部分６０３は黒で、閉曲線６０４は赤で描かれているとする。この例を用いて画像出力制御部１０６に於ける処理の一例を説明する。
【００７４】
画像入力部１０１より取り込まれた画像データ６０１は、領域識別部１０２によって領域抽出される。ここでは、図１２に於ける写真領域６０２ａと文字領域６０３ａと赤の平曲線６０４ａとに識別される。
【００７５】
画像出力制御部１０６は、抽出された領域の状態と色が対応付けられたルールによって構成される。例えば、「赤の閉曲線で囲まれた領域内に存在する文字の色を赤で置き換える」というルールが記述されているならば、色分類部１０３で生成される色分布画像データを参照することによって、閉曲線６０４ａ内に存在する文字領域６０３aの文字を「黒」から「赤」に置き換えることが可能となる。上述した従来技術では、閉曲線６０４ａ内の全て黒が赤に置き換えられてしまうが、本発明に於いては、画素属性とその色を対応付けることが可能であるため、このような高度な編集も可能となる。
【００７６】
また、別の形態では、画像出力部１０５が画像ファイリングであっても効果がある。
【００７７】
以下、本発明の第２実施形態に於ける、より具体的な処理の一例について、図面を参照して説明する。
【００７８】
図１３は本発明の第２実施形態に於ける画像処理装置に入力される一例としての画像データの例である。ここでは画像データ７０１として、線図形部分７０２と、文章部分７０３が描かれており、更に文字７０４と文字７０５は赤で描かれているとする。この例を用いて、上記画像出力制御部１０６に於ける処理の一例を説明する。
【００７９】
画像入力部１０１より取り込まれた上記画像データ７０１は、領域識別部１０２によって領域抽出される。ここでは、図１４に於ける線図形領域７０２ａと文字領域７０３ａとに識別される。
【００８０】
通常、文書内に於ける赤い文字は、その文書に於いて重要な意味を成すことが多いため、ファイリング時のキーワードとして利用することが考えられる。
【００８１】
画像出力制御部１０６で「赤の文字が存在する場合、その文字領域に対して文字認識処理を行なわせ、キーワードとして登録する」というルールを記述しておくと、上述した色分類部１０３で生成される色分布画像データを参照することによって、文字領域７０３ａ中に赤で描かれている文字７０４ａと７０５ａを自動的に抽出して、キーワード登録することも可能となる。
【００８２】
このように本発明の実施形態に於いては、画像データを画像入力部１０１により取り込み、この画像データ（カラー画像）を領域識別部１０２に於いて画素値の濃度差や彩度などの状態により複数の画像データに分離し、物理的あるいは論理的に連結しているものを一つの領域として抽出した後、個々の領域の画像上の位置、大きさ、形状、構造、濃度分布等の特徴量を計測し、更に、その計測結果を予め定められたルールに基づいて文書構成要素として識別し、色分類部１０３に於いて画素値の色相や彩度などの状態によって、幾つかの色に分類し、その結果を色分布画像データとして保持し、画素属性識別部１０４に於いて領域識別データと色分布画像データから文書内の各画素の属性を決定し、画像出力部１０５によって、構造的な画素属性を出力している。このような処理機能をもつことで、文書要素の識別精度を向上させることが可能となり、また色の違いを利用した、より高度な編集処理を行なうことが可能となる。
【００８３】
【発明の効果】
以上詳記したように、本発明によれば、画像データとして読み込まれた画像の各画素を、前記画像の画素およびその近傍画素の濃度情報に応じて複数の画像に分離し、当該各画像から領域を抽出し、抽出した領域の特徴量により分離された画像毎の属性を識別する画像処理に於いて、例えば写真領域、線図形領域等を弁別するための有効な処理が期待できる。
【００８４】
更に、本発明によれば、文書をハードコピーしたり、イメージデータに変換して保存しようとする場合、入力されたカラー画像に対して、画素値の濃度差や彩度などの状態によって複数の画像データに分離し、物理的あるいは論理的に連結しているものを一つの領域として抽出した後、個々の領域の画像上の位置、大きさ、形状、構造、濃度分布等の特徴量を計測し、その計測結果を予め定められたルールに基づいて文書構成要素として識別し、画素値の色相や彩度などの状態によって、幾つかの色に分類して、その結果を色分布画像データとして保持し、領域識別結果と色分布画像データの比較により、文書要素の識別精度を向上させることが可能となる。その結果、従来発生していた写真領域や線図形領域の誤識別の軽減につながり、例えばハードコピーをとる場合、写真領域に対してはローパスフィルタ処理を行って滑らかな階調を再現するためにローパスフィルタを施すことによって、ざらつき感が無くなり、奇麗な出力となる。また、線図形領域ではハイパスフィルタ処理を施すことによって、文字のエッジ部分が強調され、くっきりとした出力にすることが可能となる。また、色によって画像編集の指示を行なったり、ファイリングの際に色付きの文字をキーワードとして自動登録を行なったりすることも可能となる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に於ける画像処理装置の要部の構成要素を示すブロック図。
【図２】上記実施形態に於ける画像処理手順の一例を示すフローチャート。
【図３】上記実施形態に於ける色分類部の処理手順の一例を示すフローチャート。
【図４】上記実施形態に於ける色分類部の処理動作を説明するための画素変換のカラーモデルを示す図。し、図５はそのモデルの断面を表している。
【図５】上記図４に示すカラーモデルの断面を示す図。
【図６】上記実施形態に於ける色分布画像生成処理の動作説明図。
【図７】上記実施形態に於ける画素属性識別部の処理手順を示すフローチャート
【図８】上記実施形態の動作を説明するための入力画像データの一例を示す図。
【図９】上記図８に示す画像データの領域抽出例を示す図。
【図１０】本発明の第２実施形態に於ける画像処理装置の要部の構成要素を示すブロック図。
【図１１】上記実施形態の動作を説明するための入力画像データの一例を示す図。
【図１２】上記図１１に示す画像データの領域抽出例を示す図。
【図１３】上記実施形態の動作を説明するための入力画像データの一例を示す図。
【図１４】上記図１３に示す画像データの領域抽出例を示す図。
【符号の説明】
１０１…は画像入力部
１０２…領域識別部
１０３…色分類部
１０４…画素属性識別部
１０５…画像出力部
１０６…画像出力制御部
５０１…画像データ
５０２…領域として抽出した線図形部分
５０３…領域として抽出した文章部分
５０２ａ…写真領域と誤識別された線図形領域
５０３ａ…文章領域と誤識別された線図形領域
６０１…画像データ
６０２…領域として抽出した写真部分
６０３…領域として抽出した文章部分
６０４…領域として抽出した閉曲線部分
６０２ａ…識別された写真領域
６０３ａ…識別された文字領域
６０４ａ…識別された平曲線領域
７０１…画像データ
７０２…領域として抽出した線図形部分
７０３…領域として抽出した文章部分
７０４…領域として抽出した文字部分
７０４，７０５…文字領域に赤で描かれた文字
７０２ａ…識別された線図形領域
７０３ａ…識別された文字領域
７０４ａ，７０５ａ…自動抽出された赤で描かれている文字
Claims (4)
- 画像データとして読み込まれた入力画像の各画素およびその近傍画素の濃度情報に応じて複数の画像に分離し、当該各画像から領域を抽出し、抽出した領域の特徴量により分離された画像毎の写真属性およびテキスト属性を含む複数の領域属性を識別する領域識別手段と、
前記入力画像の各画素を、前記入力画像の画素およびその近傍画素の色情報によって数種類の色に分類する色分類手段と、
前記領域識別手段によって識別された画像の領域属性が前記写真属性である場合、前記色分類手段によって分類された色の各情報をもとに、当該領域属性が真に写真属性であるかを再識別する画素属性識別手段であって、前記写真属性であると識別された領域を対象に、前記色分類手段によって分類された色の情報から取得される当該領域の色の数に基づき、当該領域の領域属性が真に写真属性であるかを識別し、真に写真属性であると識別されない場合、当該真に写真属性であると識別されない領域を対象に、前記色分類手段によって分類された色の情報をもとに当該領域における同一色の分布の偏りの有無を判定し、同一色の分布の偏りが無い場合には当該領域の領域属性が真に写真属性であると識別し、同一色の分布の偏りが有る場合には当該領域の領域属性が線図形属性であるとして前記領域識別手段による領域識別結果を修正する画素属性識別手段と
を具備することを特徴とする画像処理装置。 - 前記画素属性識別手段によって識別された領域属性に従って画像を出力する画像出力手段を更に具備することを特徴とする請求項１記載の画像処理装置。
- 前記画素属性識別手段によって属性が識別された領域内に存在する特定の属性の画像の色を予め定められたルールに従って変更する画像出力制御手段を更に具備することを特徴とする請求項２記載の画像処理装置。
- 画像データとして読み込まれた入力画像の各画素およびその近傍画素の濃度情報に応じて複数の画像に分離し、当該各画像から領域を抽出し、抽出した領域の特徴量により分離された画像毎の写真属性およびテキスト属性を含む複数の領域属性を識別する領域識別ステップと、
前記入力画像の各画素を、前記入力画像の画素およびその近傍画素の色情報によって数種類の色に分類する分類ステップと、
前記領域識別ステップで識別された画像の領域属性が前記写真属性である場合、前記分類された色の各情報をもとに、当該写真属性が真に写真属性であるかを再識別する再識別ステップであって、前記写真属性であると識別された領域を対象に、前記分類された色の情報から取得される当該領域の色の数に基づき、当該領域の領域属性が真に写真属性であるかを識別するステップと、真に写真属性であると識別されない場合、当該真に写真属性であると識別されない領域を対象に、前記分類された色の情報をもとに当該領域における同一色の分布の偏りの有無を判定するステップと、同一色の分布の偏りが無い場合には当該領域の領域属性が真に写真属性であると識別するステップと、同一色の分布の偏りが有る場合には当該領域の領域属性が線図形属性であるとして前記領域識別ステップによる領域識別結果を修正するステップとを含む再識別ステップと
を具備することを特徴とする画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001278478A JP4060559B2 (ja) | 2001-09-13 | 2001-09-13 | 画像処理装置および画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001278478A JP4060559B2 (ja) | 2001-09-13 | 2001-09-13 | 画像処理装置および画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003087562A JP2003087562A (ja) | 2003-03-20 |
| JP4060559B2 true JP4060559B2 (ja) | 2008-03-12 |
Family
ID=19102841
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001278478A Expired - Fee Related JP4060559B2 (ja) | 2001-09-13 | 2001-09-13 | 画像処理装置および画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4060559B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004077567A (ja) | 2002-08-09 | 2004-03-11 | Semiconductor Energy Lab Co Ltd | 表示装置及びその駆動方法 |
| US7271784B2 (en) | 2002-12-18 | 2007-09-18 | Semiconductor Energy Laboratory Co., Ltd. | Display device and driving method thereof |
| US20070002348A1 (en) * | 2005-03-15 | 2007-01-04 | Kabushiki Kaisha Toshiba | Method and apparatus for producing images by using finely optimized image processing parameters |
| JP4657773B2 (ja) | 2005-03-22 | 2011-03-23 | 株式会社東芝 | 画像処理装置および画像処理方法 |
| JP5178490B2 (ja) | 2008-12-17 | 2013-04-10 | キヤノン株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム |
| JP5042251B2 (ja) * | 2009-02-18 | 2012-10-03 | 三菱電機株式会社 | 画像処理装置および画像処理方法 |
| US8977044B2 (en) * | 2011-02-18 | 2015-03-10 | Fuji Xerox Co., Ltd. | Image processing apparatus for area separation of images, image processing method, and computer readable medium |
| JP2017175524A (ja) * | 2016-03-25 | 2017-09-28 | 株式会社日立ドキュメントソリューションズ | 文書管理システムおよびイメージデータ管理方法 |
| CN115620065B (zh) * | 2022-10-26 | 2025-06-17 | 中国民用航空飞行学院 | 一种基于颜色特征互信息量的火灾图像识别方法 |
| CN116977998B (zh) * | 2023-07-27 | 2024-07-05 | 江苏苏力机械股份有限公司 | 涂装生产线工件上件视觉识别系统及识别方法 |
| CN119904165A (zh) * | 2023-10-26 | 2025-04-29 | 北京京东远升科技有限公司 | 一种退换货订单处理的方法和装置 |
-
2001
- 2001-09-13 JP JP2001278478A patent/JP4060559B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003087562A (ja) | 2003-03-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100339691B1 (ko) | 코드인식을 위한 장치 및 그 방법 | |
| US6865290B2 (en) | Method and apparatus for recognizing document image by use of color information | |
| US9171224B2 (en) | Method of improving contrast for text extraction and recognition applications | |
| US20050232490A1 (en) | Red-eye detection device, red-eye detection method, and red-eye detection program | |
| JP5337563B2 (ja) | 帳票認識方法および装置 | |
| JPH11126259A (ja) | 画像検出方法、画像検出装置、画像処理方法、画像処理装置、及び媒体 | |
| JP4060559B2 (ja) | 画像処理装置および画像処理方法 | |
| US8611658B2 (en) | Image processing apparatus and image processing method | |
| CN101551859A (zh) | 图像辨别装置及图像检索装置 | |
| JP3018949B2 (ja) | 文字読取装置およびその方法 | |
| KR100513784B1 (ko) | 영상 개선 방법 및 장치 | |
| CN101802844A (zh) | 将分割引擎应用于数字图像的不同映射 | |
| JP5929282B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JP5887242B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP3906221B2 (ja) | 画像処理方法及び画像処理装置 | |
| US20190356820A1 (en) | Image processing apparatus for processing marked regions | |
| JP4001446B2 (ja) | 画像背景色特定のための方法、装置及びコンピュータ読み取り可能な記録媒体 | |
| US20050271260A1 (en) | Device, method and program for removing pores | |
| JPH0654180A (ja) | 画像領域分離装置及び画像領域分離方法 | |
| JP4116377B2 (ja) | 画像処理方法および画像処理装置 | |
| RU2571510C2 (ru) | Метод и устройство, использующие увеличение изображения для подавления визуально заметных дефектов на изображении | |
| JP3647071B2 (ja) | 画像処理装置およびその方法 | |
| JP2003196592A (ja) | 画像処理プログラム及び画像処理装置 | |
| JP2001109842A (ja) | 光学文字読取装置 | |
| JP4228905B2 (ja) | 画像処理装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040915 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061113 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061121 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070122 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070911 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071112 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20071119 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071218 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071220 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101228 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4060559 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101228 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111228 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121228 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131228 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |