JP4780215B2 - 画像処理装置および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置および画像処理プログラムに関する。

近年、デジタル複合機等で紙文書をスキャンして電子的に保存する、もしくは流通させることが一般的に行われている。このため、大量な文書を電子的に保管したり、通信回線を用いてやり取りを行うためには、文書あたりのファイルサイズが小さいことが望ましい。ファイルサイズを小さくするためには高い圧縮率で圧縮すればよいが、圧縮率を高くすると画質の劣化が起こる。

特許文献１では、画像を、文字／非文字や絵柄など画像中のさまざまな特性毎に領域分割し、その領域ごとに圧縮する技術が開示されている。

特開平７−２３６０６２号公報

本発明は、画像情報を特性毎に領域分割することなく、圧縮率と高画質化との両立を図る技術の提供を目的とする。

本願請求項１に係る発明は、画像情報を構成する複数の色情報を抽出し、当該色情報が属する特定の色への変換を行う限定色化処理手段と、前記限定色化処理手段で特定の色に変換された画像情報を前記特定の色ごとに分離する色別分離処理手段と、前記色別分離処理手段によって分離された前記特定の色ごとの画像情報を当該色ごとに圧縮する圧縮処理手段と、前記圧縮処理手段によって圧縮された色ごとの画像情報をまとめて出力する層構造形成処理手段とを有する画像処理装置である。

本願請求項２に係る発明は、前記限定色化処理手段が、前記画像情報を構成する複数の色情報の頻度から前記特定の色を設定する請求項１記載の画像処理装置である。

本願請求項３に係る発明は、前記限定色化処理手段が、前記画像情報の色空間を分割した領域ごとに色情報の頻度を計数し、計数した頻度から前記特定の色を設定する請求項１記載の画像処理装置である。

本願請求項４に係る発明は、前記限定色化処理手段が、予め決められた色数を上限として前記特定の色を設定する請求項１から３のうちいずれか１項に記載の画像処理装置である。

本願請求項５に係る発明は、前記限定色化処理手段が、前記色情報が属する特定の色への変換を行うルックアップテーブルを生成し、当該ルックアップテーブルを用いて色変換を行う請求項１から４のうちいずれか１項に記載の画像処理装置である。

本願請求項６に係る発明は、画像情報を構成する複数の色情報を抽出し、当該色情報が属する特定の色への変換を行う限定色化処理ステップと、前記限定色化処理ステップで特定の色に変換された画像情報を前記特定の色ごとに分離する色別分離処理ステップと、前記色別分離処理ステップによって分離された前記特定の色ごとの画像情報を当該色ごとに圧縮する圧縮処理ステップと、前記圧縮処理ステップによって圧縮された色ごとの画像情報をまとめて出力する画像出力ステップとコンピュータに実行させる画像処理プログラムである。

本願請求項１に係る発明によれば、処理対象となる画像情報から特定の色の情報を残しつつ、特定の色ごとの圧縮情報を得ることが可能となる。

本願請求項２に係る発明によれば、処理対象となる画像情報の色情報の頻度から設定された特定の色の情報を残しつつ、その特定の色ごとの圧縮情報を得ることが可能となる。

本願請求項３に係る発明によれば、処理対象となる画像情報の色空間を分割した領域に対応する特定の色の情報を残しつつ、その特定の色ごとの圧縮情報を得ることが可能となる。

本願請求項４に係る発明によれば、処理対象となる画像情報から上限を超えない色数の色情報を残しつつ、その色ごとの圧縮情報を得ることが可能となる。

本願請求項５に係る発明によれば、ルックアップテーブルによって変換された特定の色の情報を残しつつ、その特定の色ごとの圧縮情報を得ることが可能となる。

本願請求項６に係る発明によれば、処理対象となる画像情報から特定の色の情報を残しつつ、特定の色ごとの圧縮情報を得ることが可能となる。

本実施形態に係る画像処理装置の全体構成を説明するブロック図である。 減色処理部の構成を説明するブロック図である。 限定色化処理部の構成を説明するブロック図である。 色空間の領域分割について説明する模式図である。 色別分離処理部の構成を説明する図である。 色別分離処理部によるデータ分離を説明する模式図である。 画像処理プログラムを実行するコンピュータのハードウェア構成を示すブロック図である。 限定色化処理部に対応したプログラムの流れを説明するフローチャートである。 色置換部に対応したプログラムの流れを説明するフローチャートである。 色置換部での処理による色置換の例を説明する模式図である。 色別分離処理部に対応したプログラムの流れを説明するフローチャートである。 圧縮処理部に対応したプログラムの流れを説明するフローチャートである。 層構造形成処理部での処理を説明する模式図である。

以下、本発明を実施するための形態（以下、「実施形態」という。）について説明する。なお、説明は以下の順序で行う。
１．画像処理装置の全体構成
２．減色処理部の構成
３．限定色化処理部の構成
４．色別層分離処理部の構成
５．画像処理プログラム

＜１．画像処理装置の全体構成＞
図１は、本実施形態に係る画像処理装置の全体構成を説明するブロック図である。なお、本実施形態では、画像処理装置としてデジタル複合機を例とした説明を行うが、対象を限定しているわけではなく、例えば、デジタルカメラによる撮影（例えば、ホワイトボードモード）など、他の機器にも適用される。

画像処理装置は、画像入力部１１、入力階調補正部１２、拡大縮小部１３、空間フィルタ部１４、色空間変換部１５、出力階調補正部１６、ページメモリ１７、圧縮部１８、第１記憶部Ｍ１、カラー白黒判定部１９、伸長部２１、減色処理部２２、第２記憶部Ｍ２を備えている。

画像入力部１１は、処理対象となる画像の電子データを取得する。例えば、原稿から画像の電子データを取得するスキャナであったり、ネットワークを介して外部のコンピュータ等から送信された電子データを取得する部分であったりする。

入力階調補正部１２は、画像入力部１１で取得した画像の電子データにおける階調を補正する部分である。例えば、所定のトーンカーブによる階調補正を施す。

拡大縮小部１３は、画像の電子データを所定の拡大、縮小率に応じて拡大、縮小する処理を行う。空間フィルタ部１４は、所定の空間フィルタを用いて画像の電子データのフィルタリングを行う。例えば、画像の電子データに対して所定の空間フィルタを適用し、空間フィルタの特性に応じたＭＴＦ（Modulation Transfer Function）補正などの処理（例えば、ノイズ除去、平滑化処理、強調処理）を施す。

色空間変換部１５は、画像の電子データ（画素値）を表す色空間の変換を行う部分である。例えば、ＲＧＢ色空間をＹＣｂＣｒ色空間に変換する処理である。出力階調補正部１６は、出力機器の特性に合わせた階調補正を行う部分である。ページメモリ１７は、ページ単位で画像の電子データを一時保存する部分である。

圧縮部１８は、画像の電子データを所定の圧縮方式（例えば、ＪＰＥＧ（Joint Photographic Experts Group））による圧縮を施す部分である。第１記憶部Ｍ１は、圧縮された画像データを保存する部分である。第１記憶部Ｍ１は、例えばハードディスクドライブが用いられる。

カラー白黒判定部１９は、画像入力部１１で取得した画像の電子データに基づき、カラー画像であるか、白黒（単色）であるかの判定を行う部分である。判定の結果は、空間フィルタ部１４、色空間変換部１５、出力階調補正部１６に反映される。

伸長部２１は、第１記憶部Ｍ１に記憶された圧縮画像データを伸長する処理を行う。減色処理部２２は、伸長部２１で伸長された画像の電子データに対して特定の色に減色する処理を行う。減色処理部２２は本実施形態の画像処理装置の特徴部分の一つであり、後段にて詳細に説明する。

第２記憶部Ｍ２は、減色処理後の画像データを記憶する部分である。第１記憶部Ｍ１は、例えばハードディスクドライブが用いられる。第２記憶部Ｍ２は、第１記憶部Ｍ１と共用であってもよい。第２記憶部Ｍ２に記憶された減色処理済み画像データはネットワーク等を介して外部に送出される。

＜２．減色処理部の構成＞
図２は、減色処理部の構成を説明するブロック図である。減色処理部２２は、限定色化処理部２２１、色別分離処理部２２２、圧縮処理部２２３、層構造形成処理部２２４を備えている。

限定色化処理部２２１は、入力画像（図１に示す伸長部２１から送られた画像の電子データ）から、画像を構成する複数の色情報を抽出し、抽出した色情報が属する特定の色への変換を行う。限定色化処理部２２１は、後段で詳細に説明する。

色別分離処理部２２２は、限定色化処理部２２１で複数色に変換された変換後データを色毎の画像データに分離する処理を行う。

圧縮処理部２２３は、色別分離処理部２２２で色別に分離された複数の画像データをその色別のデータ毎に圧縮する処理を行う。

層構造形成処理部２２４は、圧縮処理部２２３により圧縮された各色別の画像データを一つのファイルとしてまとめて出力する処理を行う。出力したファイルは図１に示す第２記憶部Ｍ２に一旦蓄積されたのち、ネットワークを通じて送出される。

＜３．限定色化処理部の構成＞
図３は、限定色化処理部の構成を説明するブロック図である。限定色化処理部２２１は、適応平滑化部２２１１、フィルタ処理部２２１２、色空間頻度計数部２２１３、ヒストグラムフィルタ処理部２２１４、地色抽出部２２１５、色抽出部２２１６、３Ｄ・ＬＵＴ生成部２２１７、色置換部２２１８を備えている。

適応平滑化部２２１１は、入力画像（図１に示す伸長部２１から送られた画像の電子データ）の平滑化処理を行う部分である。これにより、入力画像の電子データからノイズを除去する。

フィルタ処理部２２１２は、例えば、５×５フィルタを用いて平滑化処理後の画像の電子データに強調処理を施す部分である。

色空間頻度計数部２２１３は、平滑化処理後の画像の電子データについて、画素値の出現頻度（ヒストグラム）を計数する処理を行う。ここで、色空間頻度計数部２２１３によるヒストグラム生成について説明する。図４は、色空間の領域分割について説明する模式図である。色空間頻度計数部２２１３は、ヒストグラムを生成するにあたり、画像の電子データにおける３次元色空間を所定の領域に分割し、各分割領域ごとの頻度を計数する。

図４に示すように、例えば、ＲＧＢ色空間における取り得る階調値が０から２５５であった場合、ＲＧＢ各階調値を３２階調ごとに８等分する。これにより、ＲＧＢ色空間は、８×８×８＝５１２の領域に分割される。色空間頻度計数部２２１３は、この５１２の分割された領域ごとに頻度を計数する。なお、分割単位は一例であり、適宜設定されるものである。

図３に示すヒストグラムフィルタ処理部２２１４は、色空間頻度計数部２２１３で計数された分割領域ごとのヒストグラムについて、所定の頻度を超えるものだけを抽出するフィルタリング処理を施す部分である。また、ヒストグラムフィルタ処理部２２１４は、３次元２次微分フィルタを用い、ヒストグラムのピークを抽出する。

地色抽出部２２１５は、ヒストグラムフィルタ処理部２２１４でフィルタリング処理されたヒストグラムに基づき、画像データの地色（地肌の色）を抽出する処理を行う。例えば、予め設定された地色となる複数の候補色のうち、最も頻度の高いものを地色として抽出する。なお、地色抽出処理は、各種のものが適用される。

色抽出部２２１６は、ヒストグラムフィルタ処理部２２１４でフィルタリング処理され、抽出されたヒストグラムのピークの中から、特定の色（代表色）を抽出する処理を行う。具体的には、先ず、抽出されたヒストグラムのピーク（ピーク色）の中から、予め設定された彩度より低い色を候補色から排除する。

次に、残ったピーク色の中から代表色を選定する。代表色の選定は、例えば、色相等の特徴量が予め設定された所定量以上離れているものを選定する。また、代表色の色数は、予め設定された上限を超えないようにする。すなわち、代表色として選定された色のうち、頻度が高いものから順に、上限の色数を超えないよう選択する。

３Ｄ・ＬＵＴ生成部２２１７は、色抽出部２２１６で抽出された代表色に色置換するための３Ｄ・ＬＵＴ（３次元ルックアップテーブル）を生成する。すなわち、３Ｄ・ＬＵＴは、画像データの所定の画素値の範囲と、選定された代表色とを対応付けするものである。これにより、画像データの各画素値は、その画素値の属する範囲と対応付けられた特定の代表色へ変換されることになる。

色置換部２２１８は、３Ｄ・ＬＵＴ生成部２２１７で生成された３Ｄ・ＬＵＴを用いて画像データの画素値をいずれかの代表色に置換する処理を行う。これにより、画像データが代表色に減色されることになる。

＜４．色別層分離処理部の構成＞
図５は、色別分離処理部の構成を説明する図である。色別分離処理部２２２には、入力画像（図１に示す伸長部２１から送られた画像の電子データ）、入力画像のサイズ情報、限定色化処理部より出力される置換色情報（色数、色値）が入力される。色別分離処理部２２２は、これらの入力情報に基づき、代表色ごと層構造のデータとして分離し、結果画像を出力する。また、層構造の結果画像の情報（有効サイズ、矩形情報等）を出力する。

図６は、色別分離処理部によるデータ分離を説明する模式図である。色別分離処理部は、代表色に置換された画像データを各代表色ごとに分離して、層構造のデータとする。層構造のデータは、各代表色ごとの画像要素の画素値を２値化したものと、その代表色の画像要素が含まれる外接矩形の情報、すなわち、ページ内における外接矩形の始点座標、矩形高さ、矩形幅の情報とを備える。

図６に示す例では、代表色として「赤」、「青」、「緑」、「灰」の４色が選定されており、それぞれの代表色ごとに分離され、層構造のデータとして出力される。各代表色の画像要素のデータは、２値化されたものとなっている。

また、代表色のほか、背景色も層構造のデータとして出力される。背景色のデータは、背景色の色値と、背景であることを示す情報とを備える。背景はページ全体に指定されるため、矩形情報を持つ必要はない。なお、背景色も代表色のデータと同様に矩形情報（この場合、ページ全体の矩形情報）を持たせるようにしてもよい。これにより、代表色と背景色とを区別しないデータ構造となる。

色別分離処理部２２２によって代表色や背景色ごと層構造のデータとして分離された情報は、図２に示す圧縮処理部２２３で層構造のデータごとに圧縮される。ここでは各色ごとのデータが２値化されているため、ランレングス符号化といった圧縮処理が施されることになる。なお、背景色として色値と背景であることを示す情報とを備える構造では、圧縮の必要はない。

また、図２に示す層構造形成処理部２２４は、圧縮された代表色や背景色の層構造のデータを層構造のデータ形式として１つのファイルにまとめ、出力する処理を行う。層構造のデータ形式としは、例えばＭＲＣ（Mixed Raster Content）が挙げられる。

＜５．画像処理プログラム＞
次に、本実施形態に係る画像処理プログラムを説明する。本実施形態に係る画像処理プログラムはコンピュータに実行させるステップを有している。コンピュータは本実施形態に係る画像処理プログラムを実行する演算部、プログラムや各種データを格納する記憶部、入出力部を備えている。コンピュータはパーソナルコンピュータ等の電子計算機のほか、映像記録再生装置、携帯端末等の情報を取り扱うことのできる電子機器に組み込まれているものでもよい。また、本実施形態の情報処理プログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されていたり、ネットワークを介して配信されるものでもある。

［ハードウェア構成］
図７は、画像処理プログラムを実行するコンピュータのハードウェア構成を示すブロック図である。コンピュータのハードウェア構成としては、ＣＰＵ（Central Processing Unit）１、ＲＯＭ（Read Only Memory）２、ＲＡＭ（Random Access Memory）３、ＨＤＤ（Hard Disk Drive）４、ＨＤＤコントローラ５、マウス６、キーボード７、ディスプレイ８、入出力コントローラ９およびネットワークコントローラ１０がバス１１によって接続された構成となっている。

後述する本実施形態の画像処理プログラムは、上記ハードウェア構成のうちＨＤＤ４に格納されており、実行にあたりＲＡＭ３に読み出され、ＣＰＵ１によって実行される。

［フローチャート：限定色化処理部に対応したプログラム］
図８は、限定色化処理部に対応したプログラムの流れを説明するフローチャートである。先ず、入力画像の画素値を１画素分読み込み（ステップＳ１０１）、頻度計数を行う（ステップＳ１０２）。この処理を入力画像の全ての画素について行う（ステップＳ１０３）。

次に、ヒストグラムから頻度がある色を読み出し（ステップＳ１０４）、頻度の高い順にソートする処理をおこなう（ステップＳ１０５）。この頻度がある色の読み出し、およびソート処理を頻度がある全ての色で繰り返す（ステップＳ１０６）。

次に、ソート処理の結果から、頻度の高い順に色を読み出し（ステップＳ１０７）、代表色として登録する（ステップＳ１０８）。次に、代表色の登録数が色数制限以上であるか否かを判断する（ステップＳ１０９）。色数制限以上でない場合には色の読み出し（ステップＳ１０７）および代表色の登録（ステップＳ１０８）を繰り返す。

その後、登録された代表色と画素値との対応を示す色変換ＬＵＴ（３Ｄ・ＬＵＴ）を生成する（ステップＳ１１０）。

［フローチャート：色置換部に対応したプログラム］
図９は、色置換部に対応したプログラムの流れを説明するフローチャートである。先ず、入力画像の画素値を１画素分読み込む（ステップＳ２０１）。次に、読み込んだ画素値を色変換ＬＵＴ（３Ｄ・ＬＵＴ）に付き当て、対応する代表色を決定し（ステップＳ２０２）、それを１画素の出力値とする（ステップＳ２０３）。この処理を全ての画素について繰り返す（ステップＳ２０４）。

図１０は、色置換部での処理による色置換の例を説明する模式図である。ここでは、図１０（ａ）に示す原稿画像の色空間において表現される１６色の画素値が、色変換ＬＵＴによって図１０（ｂ）に示すような８色の画素値に減色されている。

［フローチャート：色別分離処理部に対応したプログラム］
図１１は、色別分離処理部に対応したプログラムの流れの一例を説明するフローチャートである。先ず、減色された画像情報を読み込み（ステップＳ３０１）、代表色の１つである色情報を読み込む（ステップＳ３０２）。次に、１画素の画素値を読み込む（ステップＳ３０３）。そして、この画素値が先に読み込んだ色情報と一致するか否かを判断する（ステップＳ３０４）。一致する場合にはＯＮ出力（ステップＳ３０５）、一致しない場合にはＯＦＦ出力（ステップＳ３０６）とする。これを全画素の画素値について繰り返す（ステップＳ３０７）。これにより、ステップＳ３０２で読み込まれた代表色と一致する画素がＯＮ出力、それ以外がＯＦＦ出力となる層構造の２値データが出力される（ステップＳ３０８）。この層構造のデータ出力の処理を、全ての色情報について行う（ステップＳ３０９）。なお、図１１に示すプログラムの流れは色別分離処理部の処理の一例であり、色ごとに層構造の２値データを出力する方法であればどのような方法であってもよい。

［フローチャート：圧縮処理部に対応したプログラム］
図１２は、圧縮処理部に対応したプログラムの流れを説明するフローチャートである。このプログラムでは、代表色ごとに出力された層構造のデータ単位で圧縮を行う。先ず、特定の代表色についての層構造のデータを読み込む（ステップＳ４０１）。次に、このデータのＯＮ出力、ＯＦＦ出力の２値のデータについて圧縮処理を行う（ステップＳ４０２）。そして、圧縮処理後の画像データを出力する（ステップＳ４０３）。この処理を全ての代表色の層構造のデータについて施す（ステップＳ４０４）。

［層構造形成処理部での処理］
図１３は、層構造形成処理部での処理を説明する模式図である。層構造形成処理部は、代表色ごとに圧縮された層構造のデータおよび背景色のデータを一つのファイルとしてまとめる処理を行う。これにより、代表色および背景色の層構造の圧縮されたデータが一ファイルとして出力される。

１１…画像入力部、１２…入力階調補正部、１３…拡大縮小部、１４…空間フィルタ部、１５…色空間変換部、１６…出力階調補正部、１７…ページメモリ、１８…圧縮部、１９…白黒判定部、２１…伸長部、２２…減色処理部、２２１…限定色化処理部、２２２…色別分離処理部、２２３…圧縮処理部、２２４…層構造形成処理部

Claims (5)

1. 画像情報を構成する複数の色情報を抽出し、当該色情報が属する特定の色への変換を行う限定色化処理手段と、
   前記限定色化処理手段で特定の色に変換された画像情報を前記特定の色ごとに、前記特定の色の色情報を２値化した情報と、前記画像情報における、前記特定の色の色情報が含まれる外接矩形の始点座標、矩形の高さおよび矩形幅を示す外接矩形の情報とを含む層構造の２値データに分離する色別分離処理手段と、
   前記色別分離処理手段によって分離された前記層構造の２値データごとに圧縮処理を行う圧縮処理手段と、
   前記圧縮処理手段によって、前記特定の色ごとに圧縮された層構造の２値データを、１つの画像情報としてまとめて出力する層構造形成処理手段と
   を有し、
   前記特定の色は、前記画像情報を予め定められた数の色空間に分割した領域ごとに、前記抽出された色情報のヒストグラムを計数し、前記計数されたヒストグラムのうち、予め定められた頻度を超えるヒストグラムからピークを抽出し、前記抽出されたピークの色のうち、予め定められた彩度より低い色以外から、色相の特徴量が予め定められた特徴量よりも離れている色を選択し、前記選択された色から、予め定められた色数を上限として、頻度が高い順に選択することにより定められる
   画像処理装置。
2. 前記色別分離処理手段は、前記画像情報における背景を、背景色の色情報を２値化した情報と、背景色であることを示す情報とを含む背景色の層構造の２値データに分離する
   請求項１に記載の画像処理装置。
3. 前記限定色化処理手段は、前記色情報が属する特定の色への変換を行うルックアップテーブルを生成し、当該ルックアップテーブルを用いて色変換を行う
   請求項１または２に記載の画像処理装置。
4. 画像情報を構成する複数の色情報を抽出し、当該色情報が属する特定の色への変換を行う限定色化処理ステップと、
   前記限定色化処理ステップで特定の色に変換された画像情報を前記特定の色ごとに、前記特定の色の色情報を２値化した情報と、前記画像情報における、前記特定の色の色情報が含まれる外接矩形の始点座標、矩形の高さおよび矩形幅を示す外接矩形の情報とを含む層構造の２値データに分離する色別分離処理ステップと、
   前記色別分離処理ステップによって分離された前記層構造の２値データごとに圧縮処理を行う圧縮する圧縮処理ステップと、
   前記圧縮処理ステップによって前記特定の色ごとに圧縮された層構造の２値データを、１つの画像情報としてまとめて出力する画像出力ステップと
   コンピュータに実行させ、
   前記特定の色は、前記画像情報を予め定められた数の色空間に分割した領域ごとに、前記抽出された色情報のヒストグラムを計数し、前記計数されたヒストグラムのうち、予め定められた頻度を超えるヒストグラムからピークを抽出し、前記抽出されたピークの色のうち、予め定められた彩度より低い色以外から、色相の特徴量が予め定められた特徴量よりも離れている色を選択し、前記選択された色から、予め定められた色数を上限として、頻度が高い順に選択することにより定められる
   画像処理プログラム。
5. 前記色別分離処理ステップは、前記特定の色ごとに、
   前記限定色化処理ステップにより変換された画像情報を構成する複数の色情報それぞれと、前記特定の色の色情報とを比較し、
   一致する場合は、この色情報を出力し、それ以外の場合は、この色情報を出力しない
   請求項４に記載の画像処理プログラム。
   

Images