JP7039219B2

JP7039219B2 - 情報処理装置、画像処理方法、プログラム

Info

Publication number: JP7039219B2
Application number: JP2017171178A
Authority: JP
Inventors: 律子大竹
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-09-06
Filing date: 2017-09-06
Publication date: 2022-03-22
Anticipated expiration: 2037-09-06
Also published as: US10896344B2; JP2019047418A; US20190073558A1

Description

本発明は、情報処理装置における画像処理技術に関する。

入力されたカラーやグレースケールの画像データの画素値が閾値より大きいか小さいかを判定し、白黒の２値画像に変換する２値化処理がある。特許文献１では、画像データの各画素で単一の閾値を用いて２値化処理を行っている。

特開平４－２９０１７７号公報

特許文献１では、２値化処理において、画像データに写り込んでいる撮影環境における影成分を考慮していないため、画像データに含まれている影成分が閾値よりも暗い場合、２値化した結果、影成分は黒に変換されていた。そのため、影成分が含まれている白紙の原稿を撮影した場合、白紙の領域が黒に変換される。また、画像データに蛍光灯などの照明が写り込んでいる場合、照明の外周領域が正しく２値化が行われていなかった。

本発明の１つの側面としての情報処理装置は、被写体を撮影することで得られた多値画像データに基づいて、前記多値画像データに写り込んでいる、撮影環境に起因した陰影成分を推定することにより陰影画像データを生成する生成する第１の生成手段と、前記第１の生成手段によって生成された前記陰影画像データの輝度情報に基づいて反射領域が存在するかどうかを判定する判定手段と、前記判定手段によって反射領域が存在すると判定された場合に、前記第１の生成手段によって生成された前記陰影画像データを構成する各画素を参照し、当該参照した画素の輝度が所定輝度値よりも大きい画素について輝度が小さくなるよう補正を行う補正手段と、前記判定手段によって反射領域が存在すると判定された場合に、前記多値画像データの注目画素の画素値を、前記補正された陰影画像データにおける前記注目画素と同一座標における画素値に基づき２値化することで、２値画像データを生成する第２の生成手段とを有し、前記判定手段によって前記反射領域が存在しないと判定された場合、前記第２の生成手段は、前記多値画像データの注目画素の画素値を、前記第１の生成手段によって生成され、前記補正手段による補正が行われていない前記陰影画像データにおける前記注目画素と同一座標における画素値に基づき２値化することで、２値画像データを生成し、前記第２の生成手段による前記注目画素の画素値の２値化では、前記補正された陰影画像データ又は前記補正が行われていない陰影画像データにおける前記注目画素と同一座標の画素値に応じて異なる閾値が用いられ、前記判定手段は、前記陰影画像データにおいて、前記所定輝度値以上の輝度を有する画素の比率が所定の割合を超えている場合に反射領域が存在すると判定することを特徴とする。

本発明によれば、原稿画像を撮影することで得られた多値画像に影成分および照明光などが写り込んでいる場合であっても、影成分の影響を抑制した高画質な２値化処理を行うことができる。

本発明の一実施形態としてのシステム構成図携帯端末２００の外観の例携帯端末２００の構成図デジタル複合機３００の構成図実施例１のフローチャート実施例１の画像の２値化の例実施例１の閾値マップ生成処理のフローチャート反射対策処理のフローチャート実施例２の操作と処理の関係を示すフローチャート操作画面２値化処理画像例２値化閾値の説明図

以下、本発明を実施するための形態について図面を用いて説明する。

図１は本実施例に好適なシステムの全体構成である。ＬＡＮ１００には、無線ルータ１０２、コンピュータ１０４、デジタル複合機３００が接続されている。携帯端末２００は、無線ルータ１０２およびＬＡＮ１００を介して、デジタル複合機３００、コンピュータ１０４と接続することができる。携帯端末２００およびデジタル複合機３００は、以下の実施例において情報処理装置として機能する。

図２は、本実施例で利用する携帯端末２００の外観である。携帯端末２００は様々な種類が存在するが、図２（ａ）は、携帯端末２００の表面の一例を示している。表面には、タッチパネルディスプレイ２０１、操作ボタン２０２を持つ。タッチパネルディスプレイ２０１は、詳細には操作に必要な情報やボタン、画像などを表示するための表示装置と、人体の指などで触れることにより位置入力をする装置とが組み合わされた装置である。図２（ｂ）は、携帯端末２００の裏面の一例である。裏面には撮影部２０３が配置されている。なお、本実施例では、携帯端末２００は、撮影部２０３を含むカメラ機能を持つ端末装置ならば適用可能である。すわなち、カメラ機能を持ったスマートフォン、携帯電話、タブレット端末、ノートパソコン、通信機能を持ったデジタルカメラなどに適用できるほか、非接触に原稿を撮影可能な書画カメラなどにも適用可能である。

図３は、携帯端末２００の内部の構成を説明する図である。但し、この構成図は、本実施例を実施するための構成の一例である。図３において、ＣＰＵ２１０、ＲＡＭ２１１、ＲＯＭ２１２がデータバス２２０を介してプログラムやデータを送受信する。データバス２２０には、記憶部２１３、データ送受信部２１４、撮像部２１５、表示部２１６、操作部２１７、画像処理部２１８、モーションセンサ２１９が接続される。それらは、ＣＰＵ２１０、ＲＡＭ２１１、ＲＯＭ２１２と併せて、互いにプログラムやデータの送受信を行っている。

記憶部２１３は、フラッシュメモリであり、画像データや各種プログラムを格納する。データ送受信部２１４は、無線ＬＡＮコントローラを有し、無線ルータ１０２を介して、デジタル複合機３００、コンピュータ１０４とのデータの送受信を実現する。撮像部２１５は、前述の撮像部２０３であり、原稿の撮影を行って撮影画像を取得する。取得された撮影画像のデータは、記憶部２１３やＲＡＭ２１１を介して、画像処理部２１８やＣＰＵ２１０で処理される。処理された画像データはその後、ＣＰＵ２１０により、表示部２１６での表示、記憶部２１３への保存、データ送受信部２１４を介した外部への送信等の処理が施される。

表示部２１６は、前述のタッチパネルディスプレイ２０１を構成するディスプレイであり、カメラ機能を用いて原稿を撮影する際のライブビューによる表示のほか、本実施例の画像処理結果の表示、処理過程の通知や操作に必要な情報などを表示する。

操作部２１７は、前述のタッチパネルディスプレイ２０１を構成するタッチパネルや操作ボタン２０２であり、ユーザからの操作を受け付けて各部へ該操作の情報を送信する。

モーションセンサ２１９は、３軸加速度センサ、電子コンパス、３軸角速度センサを搭載しており、公知の技術を利用することにより、携帯端末２００の姿勢や移動を検知することが可能である。

なお、ＣＰＵ２１０がＲＯＭ２１２や記憶部２１３が保持するプログラムを実行することで、これらの携帯端末２００内の構成要素の制御を行う。

図４はデジタル複合機３００の内部の構成を説明する図である。但し、この構成図は本実施例を実施するための構成の一例である。図４において、コントローラユニット３１０は、画像入力装置であるスキャナ３０１や画像出力装置であるプリンタ３０２と接続される。また、コントローラユニット３１０は、ＬＡＮ１００や公衆回線４００と接続し、画像データやデバイス情報の入出力を行いシステム全体の制御を行う。ＣＰＵ３１１は、デジタル複合機３００全般を制御するコントローラとして機能する。記憶部３１２は、画像データや圧縮されたデータを格納し、ＣＰＵ３１１が動作するためのシステムワークメモリ等も含まれる。ネットワークＩ／Ｆ３１３は、ＬＡＮ１００に接続され、データの入出力を行う。モデム３１４は、公衆回線４００に接続され、データ送受信を行うための変調復調処理を行う。操作部Ｉ／Ｆ３１５は、操作部３０３とのインターフェース部であり、操作部３０３上の表示部（不図示）に表示するための画像データを操作部３０３に対して出力する。また操作部Ｉ／Ｆ３１５は、操作部３０３からユーザが入力した情報をＣＰＵ３１１に伝える役割を担う。画像処理部３１６はスキャナ３０１またはネットワークＩ／Ｆ等を通じて外部から入力された画像データに対して補正、加工、編集を行う。圧縮／解凍処理部３１７は画像データを所定の圧縮方法により、圧縮、解凍を行う。デバイスＩ／Ｆ３１８は、スキャナ３０１やプリンタ３０２とコントローラユニット３１０とを接続し、画像データの同期系／非同期系の変換を行う。ＣＰＵ３１１、記憶部３１２、ネットワークＩ／Ｆ３１３、モデム３１４、操作部Ｉ／Ｆ３１５、画像処理部３１６、圧縮／解凍処理部３１７、デバイスＩ／Ｆ３１８は、データバス３２０に接続されている。

スキャナ３０１は、原稿を照射しその反射光をＣＣＤラインセンサ等の受光素子によって読み取り、原稿上の画像を表す電気信号に変換し、デジタル画像データを生成する。プリンタ３０２は、画像データを用紙上の画像として形成し出力する。その際の画像形成方式は、電子写真方式、インクジェット方式等があるが、どの形式でも構わない。

以上のような構成のデジタル複合機３００は、例えば携帯端末２００から無線ルータ１０２およびＬＡＮ１００を介して送信された画像データをプリンタ３０２にて印刷することや、モデム３１４を介してファクシミリ送信することができる。

図５は本実施例における画像の２値化処理を説明するフローチャートである。携帯端末２００が撮影部２０３を含むカメラ機能によって撮影した画像や記憶部２１３に保存されている画像、または外部から受信した画像などを入力画像として取得すると処理が開始される。

ステップＳ５０１で画像処理部２１８は多値画像である入力画像をグレースケール画像へ変換する。なお、入力画像がグレースケール画像である場合、ステップＳ５０１の処理は省略できる。ステップＳ５０１では、入力画像がＲ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の３チャンネルのカラー画像であった場合、各チャンネルを所定の割合で混合して１チャンネルの画像を生成する。このときの混合比は限定しないが、例えばＮＴＳＣ加重平均によってグレースケール画像を生成する。ここで、入力画像は、原稿画像を撮影することで得られた多値画像に撮影環境における影成分が写り込んでいる画像である。

次にステップＳ５０２で画像処理部２１８が閾値マップを取得する。閾値マップとは、入力画像に写り込んでいる撮影環境における影成分を示す画像である。閾値マップの取得、例えば記憶部２１３に予め保存されている、撮影環境において白紙を撮影することで得られたグレースケール画像を読み出しても良い。または、入力画像（多値画像）の明るさに関する特徴量を解析し、入力画像に写り込んでいる影成分を推定することで取得しても良い。本実施例では主に上記入力画像から閾値マップを推定することとし、閾値マップ生成処理の詳細は図７およびを用いて後述する。

次にステップＳ５０３で画像処理部２１８がグレースケール画像と閾値マップから２値画像を生成する。ここで、説明のためにグレースケール画像、閾値マップともに各画素８ｂｉｔで表される輝度成分を示す画素値で構成され、画素値０が黒、画素値２５５が白であるとする。また出力される２値画像は各画素１ｂｉｔで表される画素値で構成され、画素値０は白、画素値１は黒とする。座標（ｘ，ｙ）におけるグレースケール画像の画素値をｇ（ｘ，ｙ）、閾値マップの画素値をｔ（ｘ，ｙ）、出力される２値画像の画素値をｂ（ｘ，ｙ）で表す。式（１）に示すように、画像処理部２１８が同座標でのグレースケール画像と閾値マップの画素値ｇ（ｘ，ｙ）とｔ（ｘ，ｙ）の大小を比較することで、２値画像の画素値ｂ（ｘ，ｙ）が０（白）であるか１（黒）であるかを決定して２値画像を生成する。
ｇ（ｘ，ｙ）≧ｔ（ｘ，ｙ）のとき、ｂ（ｘ，ｙ）＝０
式（１）
ｇ（ｘ，ｙ）＜ｔ（ｘ，ｙ）のとき、ｂ（ｘ，ｙ）＝１

すなわち、グレースケール画像における注目画素の輝度成分を示す画素値が、影成分を示す閾値マップにおける前記注目画素と同一座標にある輝度成分を示す画素値以上の場合、白を示す画素値を生成する。また、グレースケール画像における注目画素の輝度成分を示す画素値が、影成分を示す閾値マップにおける前記注目画素の輝度成分を示す画素値よりも小さい場合、黒を示す画素値を生成する。ステップＳ５０３では、グレースケール画像の全ての画素に対して２値化処理を行うことで、２値画像を生成する。

以上のように、閾値マップを利用することで入力画像の各画素に適した２値化を行う。

図６（ａ）は入力画像であり、２値化する場合に黒で再現すべきオブジェクト（ここでは“Ａ”から“Ｍ”の文字列）と白で再現すべき背景で構成される。被写体は背景が一様であるにも関わらず撮影時の影の影響で画像の右上に比べて左下が暗くなっている。この撮影時に生じた明るさのムラの要素をこれ以降、影成分と記述することとする。図６（ｂ）は入力画像に対応した閾値マップである。この閾値マップを利用して入力画像を２値化した結果が図６（ｃ）であり、撮影時の影は再現されず再現すべきオブジェクトである文字列のみが黒に変換された例を表している。

図７は、図５ステップＳ５０２で、画像処理部２１８が入力画像から閾値マップを推定する場合の処理の流れを表すフローチャートである。

図１１は、図７のフローチャートの処理を説明するための画像例を示す。図１１（ａ）は入力画像である。入力画像には、撮影時に照明光や外光などが映り込み、反射して明るい箇所がある。図１１（ａ）では、反射により明るい領域を反射領域、被写体上の黒で再現すべき文字等をオブジェクト、白で再現すべきムラのある背景を影成分と記述する。

ステップＳ７０１で画像処理部２１８が入力画像を複数のブロックに分割する。その際、１ブロックの形状や１ブロックに含まれる入力画素数に制限は無いが、例えば１ブロックは縦横同数の入力画素を含む正方形とし、縦横の分割数をそれぞれ８から６４程度となるよう決定する。分割数は、固定でも入力画像の条件に従って可変としてもよい。

次にステップＳ７０２で画像処理部２１８が分割後の各ブロックの代表画素値を算出する。代表画素値は、ブロックに含まれる複数の入力画素のうち比較的明るい画素を選択し、それらを利用して決定する。代表画素値の算出で最も簡易な方法は、ブロック内で最も明るい画素値を代表画素値とする方法である。別の方法では、ブロック内で最も明るい画素値から順に既定画素数の明るい画素を選択しそれらの画素値の平均値を算出し代表画素値とする。さらにまた別の方法では、ブロック内で最も明るい画素値から既定範囲内の明るさの画素のみを選択してそれらの平均値を代表画素値とする。また、ブロック内の画素値ヒストグラムを利用して代表画素値を算出しても良い。さらにブロック内の画素値をクラスタリングして各々のクラスタ代表値を算出、最も明るいクラスタ代表値を代表画素値とする方法を適用することもできる。このようにして算出された代表画素値は、ブロック内に被写体の下地領域が含まれている場合には下地レベルそのものに撮影時にできた影成分が加算された値にほぼ等しい。ブロック内に下地領域が無い場合には、ブロック内で比較的明るいオブジェクト領域に影成分が加算された値となる。

全ブロックの代表画素値を求めた結果を受けて、ステップＳ７０３で画像処理部２１８が各ブロックの代表値のみで構成される縮小画像を生成する。各ブロックの代表画素値のみで構成される画像は、入力画像を前述の分割数で規定される画素数を持つ画像に縮小したものであり、この後続く影推定処理の起点画像となる。図１１（ｂ）は、図１１（ａ）の入力画像からステップＳ７０３の縮小画像生成により生成された画像である。

次にステップＳ７０４で画像処理部２１８が起点画像である縮小画像から、下地や影ではない文字や写真などのオブジェクトの要素を取り除き影成分のみを残すための補正処理を実施する。この補正処理は前述の下地領域が無いブロックの代表画素値をその隣接する下地領域が含まれたブロックの代表画素値を利用して補正する。その結果、縮小画像には下地レベルに影成分が加算された値のみが残ることになる。なお、縮小画像全体またはその画素の周辺の画素値と比較して異常に暗い場合に、下地領域がないブロックの代表画素値であると判断する。この判断の際、元の入力画像情報を利用して、画素値の明るさに加えて色情報を利用することにより判断精度を向上させることも可能である。図１１（ｃ）は、ステップＳ７０４の処理により、図１１（ｂ）の画像からオブジェクト要素を除去した画像である。

ステップＳ７０５では、画像処理部２１８がオブジェクト要素の取り除かれた縮小画像（図１１（ｃ））に基づいて、入力画像に照明の映り込みなどの反射領域があるか否かを判定する。判定方法は各種適用可能であるが、例えば、上記縮小画像の全画素数に対する既定輝度値以上の画素値を持つ画素数が所定割合以上あれば反射領域有りと判定する。このときの既定輝度値以上の画素値は、通常の撮影では取得されることが少ない非常に明るい画素値で定義する。すなわち撮影時に照明光などが直接もしくは鏡面反射してレンズに入光した場合に発生する白とび領域を構成する画素が持つ値であり、例えば８ｂｉｔ画像データであれば、輝度値２５０前後が適している。但し、ここでは携帯端末２００が撮影部２０３を含むカメラ機能によって撮影した画像を前提としているものの、実際には影や照明ムラなどを含まない画像が入力される場合がある。その際、上記の輝度値２５０前後の値で定義される既定値が画像の大部分を下地レベルとして占めることとなり、反射領域がないにも関わらず、反射有りと判断される。これを回避するために、上記画素数の所定割合の上限値を設ける、もしくは縮小画像全体の例えば平均輝度値の上限値を設ける等により、それら上限値を上回る場合に上記判断を反射無しに変更する手段を設けることが望ましい。

ステップＳ７０６で、画像処理部２１８が、上記反射有無判定結果に従って処理を分岐する。反射領域有りと判定された場合には、ステップＳ７０７の反射対策処理を実行した後ステップＳ７０８へ進むが、反射領域無しと判定された場合には、ステップＳ７０８へ進む。ステップＳ７０７で実行される反射対策処理は図７のステップＳ７０４までの処理で生成された縮小画像内の反射領域の外周に発生する明るい領域（外周領域）を補正する処理である。ここで、外周領域とは、反射領域と非反射領域の境界付近の領域である。

図８はステップＳ７０７の反射対策処理を示すフローチャートであり、上記縮小画像の各画素を順に注目画素とし、その画素に対する処理を示している。実際にはこの処理の出力用の記憶領域を記憶部２１３、ＲＡＭ２１１いずれかに確保して処理されるが、その仕組みの説明はここでは省略する。

ステップＳ８０１では、画像処理部２１８が注目画素の画素値が明るいか（所定輝度値以上であるか）否かを判断し、処理を分岐する。所定輝度値よりも小さい場合には次の画素に注目画素を移す。所定輝度値以上の明るさである場合にはステップＳ８０２に進む。

ステップＳ８０２では画像処理部２１８が注目画素を暗めに変換する。この処理の方法は特に限定しないが、例えば注目画素を中心としたＮ×Ｎ画素（例えば、５×５画素）の範囲内のもっとも暗い画素値で注目画素の画素値を置き換えるなどの処理を適用する。また、既定値以上に明るい画素の画素値を、縮小画像の平均輝度値に置き換えてもよい。ステップＳ８０２の処理により反射領域の外周領域が特定され、外周領域の画素値が、暗い画素値に変換される。

ステップＳ８０３は反射対策処理が縮小画像全画素に対して実行されたか否かを画像処理部２１８が判断し、全画素終了するまでステップＳ８０１およびステップＳ８０２の処理を繰り返す。

図１１（ｄ）は以上のステップＳ７０７反射対策処理により図１１（ｃ）を補正した画像である。

次に図７に戻り、ステップＳ７０８で、画像処理部２１８が縮小画像を、例えば線形補間法などで入力画像と同画素数となるように拡大処理する。その結果得られた拡大後の画像は、下地レベルに影成分が加算された入力画像と同サイズの画像であり、画像内で変化する背景と前景の分離レベルの分布を示す、閾値マップである。図１１（ｅ）はステップＳ７０６で反射領域無しと判断された場合に図１１（ｃ）を拡大した結果の画像、すなわち閾値マップである。図１１（ｆ）はステップＳ７０６で反射領域有りと判断された場合に図１１（ｄ）を拡大した結果の画像、すなわち閾値マップである。

このように、入力画像から閾値マップを生成する。

図１１（ｇ）は図１１（ｅ）を閾値マップとして図１１（ａ）を２値化した結果である。これはステップＳ７０７の反射対策処理を実行しない場合の出力画像であり、照明等の映り込みによる反射領域周辺部に不要な黒い領域が現われる。一方、図１１（ｈ）は図１１（ｆ）を閾値マップとして図１１（ａ）を２値化した結果である。これはステップＳ７０７の反射対策処理を実行した場合の出力画像であり、適切な結果となっている。

これらの出力結果の違いが生じる理由を、図１２の概念図を用いて説明する。

図１２（ａ）は入力画像を模式的に示すもので、黒い線が３本描かれた右端に反射領域があることを想定している。この画像の明るさをグラフに表したものが図１２（ｅ）の太実線ｅ－１である。入力画像の３本の線はグラフ上の太実線ｅ－１から下方（暗い側）に延びた３本の太実線で表されている。図１２（ｂ）は図１２（ａ）の理想的な閾値マップであり、グラフ上では太実線ｅ－１に一致している。図１２（ｂ）を閾値マップとして図１２（ａ）を２値化すると、図１２（ｆ）のように、白地に黒い３本の線が描かれた画像が得られる。

図１２（ｃ）は反射対策処理を実行しない場合に算出される閾値マップである。閾値マップの算出時にブロック分割してブロック内の明るい画素値を利用し縮小画像を生成することから、明るい反射領域がある場合、その外側に明るい領域が広がる性質がある。そのため、理想的な閾値マップ図１２（ｂ）に比べて図１２（ｃ）は右端から広がる明るい領域がより広く算出されている。これをグラフに表したものが図１２（ｅ）の破線ｅ－０である。入力画像のグラフである太実線ｅ－１よりも閾値である破線ｅ－０のほうが明るい領域は、２値化によって黒に変換されるため、このときの２値化結果は図１２（ｇ）のようになる。これが図１１（ｇ）に現われた不要な黒い領域に相当する。

図１２（ｄ）は図１２（ｃ）に対して反射対策処理を実行した場合に算出される閾値マップである。これをグラフに表したものが図１２（ｅ）の破線ｅ－２である。入力画像のグラフである太実線ｅ－１よりも閾値である破線ｅ－２のほうが明るい領域のみ２値化によって黒に変換されるため、このときの２値化結果は図１２（ｈ）のように適切なものになる。

なお、本実施例における２値化処理は主に携帯端末２００に搭載される画像処理部２１８が実施するとして説明したが、同様の処理はＣＰＵ２１０、ＭＦＰ３００上の画像処理部３１６またはＣＰＵ３１１で実行することも可能である。さらにコンピュータ１０４やネットワーク上の図示しないサーバー等で実行することも可能である。

以上のような処理を行うことにより、入力画像に影やムラなどの影成分が存在する場合、さらに照明などが反射して明るい領域が発生している画像であっても、１枚の画像内で２値化の閾値を適切に変化させることにより高画質な２値化処理が可能である。

本実施例では、実施例１で示した２値化のための閾値マップ生成を効果的に提供するための操作画面フローを説明する。なお、実施例１と共通の内容については説明を省略する。

図１０（ａ）は、実施例１で示したように反射有無を内部で判断してその結果に応じた閾値マップ生成処理を行う場合に適した操作画面１１０である。操作画面１１０上の処理対象画像表示領域１１１に、２値化処理の対象となる入力画像が表示される。ユーザはこの表示を確認して２値化処理を指示する場合には「次へ」ボタン１１２を押下する。「次へ」ボタン１１２が押下されると、入力画像内に反射領域があれば自動でその対策処理を実行した閾値マップが生成され、２値画像が生成されて処理は終了する。その他「キャンセル」ボタン１１４、「戻る」ボタン１１３が画面上に配置されるが詳細説明は省略する。

図１０（ｂ）は、実施例１での反射有無判断の代わりにユーザが反射対策処理の有効／無効を選択できる構成とした操作画面１２０を示している。この画面に関する操作と処理の流れを図９（ａ）のフローチャートを用いて説明する。

ユーザは処理対象画像表示領域１２１に表示された２値化処理の対象となる入力画像を観察し、照明の映り込み等が無い画像であれば「通常モード」ボタン１２２、照明の映り込み等がある場合には「映り込みモード」ボタン１２３を押下する。操作部２１７から押下されたボタンの情報が伝えられ、ＣＰＵ２１０がそれを受けて反射対策処理の有効／無効情報として画像処理部２１８に伝達する。画像処理部２１８はステップＳ９０１で「通常モード」が押下された、すなわち反射対策処理無効であると判断するとステップＳ９０３へ進み、反射対策無しで閾値マップを生成する。図７のフローチャートではステップＳ７０５を省略し、ステップＳ７０６の分岐で必ずＮｏへ進む処理に相当する。ステップＳ９０１で「通常モード」が押下されていない場合にはステップＳ９０２に進み、画像処理部２１８が「映り込みモード」が押下されたか否かを判断する。「映り込みモード」が押下された、すなわち反射対策処理有効であると判断するとステップＳ９０４へ進み、反射対策有りで閾値マップを生成する。「映り込みモード」が押下された場合の処理は、図７のステップＳ７０５を省略し、ステップＳ７０６の分岐で必ずＹｅｓへ進む処理に相当する。ステップＳ９０５では生成された閾値マップを用いて画像処理部２１８が入力画像を２値化する。

図１０（ｃ）、（ｄ）は、ユーザが２値化結果画像を確認しながら反射対策処理の有効／無効を選択できる構成とした操作画面１３０、１４０を示している。これらの画面に関する操作と処理の流れを図９（ｂ）のフローチャートを用いて説明する。

この操作の流れを実施する場合、画像処理部２１８はあらかじめ反射対策有／無、双方の閾値マップを生成し、それぞれの閾値マップを用いて処理した２値画像を生成し、これら２種類の２値画像を記憶部２１３に一時的に記憶する。ここで、説明のために反射対策無しの閾値マップによって２値化した画像を２値画像Ａ、反射対策有りの閾値マップによって２値化した画像を２値画像Ｂとする。

ステップＳ９０６、Ｓ９０７では、上記ステップＳ９０１、Ｓ９０２と同様に画面１２０の「通常モード」ボタン１２２および「映り込みモード」ボタン１２３が押下され操作部２１７から情報が伝達されるのをＣＰＵ２１０が待つ。「通常モード」が押下されるとステップＳ９０６からステップＳ９０８へ進み、ＣＰＵ２１０が指示して２値画像Ａを表示部２１６に表示する。この時の操作画面が図１０（ｃ）であり、２値画像Ａは画像表示領域１３１に表示され、「通常モード」選択状態となる。「映り込みモード」が押下されるとステップＳ９０７からステップＳ９０９へ進み、ＣＰＵ２１０が指示して２値画像Ｂを表示部２１６に表示する。この時の操作画面が図１０（ｄ）であり、２値画像Ｂは画像表示領域１４１に表示され、「映り込みモード」選択状態となる。

ステップＳ９１０では、画面１３０または画面１４０上のボタンが押下されるのをＣＰＵ２１０が待つ。「実行」ボタン１３６または１４６が押下された場合、ステップＳ９１１へ進み、ＣＰＵ２１０は直前に選択されていたモードに対応する２値画像を選択し、その情報を画像処理部２１８に伝達して一連の処理を終了する。例えば画面１３０が表示されている状態で「実行」ボタン１３６が押下されると、２値画像Ａが選択され、画面１４０が表示されている状態で「実行」ボタン１４６が押下されると、２値画像Ｂが選択される。ステップＳ９１０で「通常モード」ボタン１３２または１４２が押下された場合、ステップＳ９１２に進み、ＣＰＵ２１０が指示して２値画像Ａ、すなわち画面１３０を表示部２１６に表示する。一方、「映り込みモード」ボタン１３３または１４３が押下された場合、ステップＳ９１３に進み、ＣＰＵ２１０が指示して２値画像Ｂ、すなわち画面１４０を表示部２１６に表示する。

以上のような操作手段を設けることにより、対象画像に照明光や外光の反射領域があるか否か等によりユーザの判断で処理を切り替えることが可能になる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims

被写体を撮影することで得られた多値画像データに基づいて、前記多値画像データに写り込んでいる、撮影環境に起因した陰影成分を推定することにより陰影画像データを生成する生成する第１の生成手段と、
前記第１の生成手段によって生成された前記陰影画像データの輝度情報に基づいて反射領域が存在するかどうかを判定する判定手段と、
前記判定手段によって反射領域が存在すると判定された場合に、前記第１の生成手段によって生成された前記陰影画像データを構成する各画素を参照し、当該参照した画素の輝度が所定輝度値よりも大きい画素について輝度が小さくなるよう補正を行う補正手段と、
前記判定手段によって反射領域が存在すると判定された場合に、前記多値画像データの注目画素の画素値を、前記補正された陰影画像データにおける前記注目画素と同一座標における画素値に基づき２値化することで、２値画像データを生成する第２の生成手段とを有し、
前記判定手段によって前記反射領域が存在しないと判定された場合、前記第２の生成手段は、前記多値画像データの注目画素の画素値を、前記第１の生成手段によって生成され、前記補正手段による補正が行われていない前記陰影画像データにおける前記注目画素と同一座標における画素値に基づき２値化することで、２値画像データを生成し、
前記第２の生成手段による前記注目画素の画素値の２値化では、前記補正された陰影画像データ又は前記補正が行われていない陰影画像データにおける前記注目画素と同一座標の画素値に応じて異なる閾値が用いられ、
前記判定手段は、前記陰影画像データにおいて、前記所定輝度値以上の輝度を有する画素の比率が所定の割合を超えている場合に反射領域が存在すると判定することを特徴とすることを特徴とする情報処理装置。
被写体を撮影することで得られた多値画像データに基づいて、前記多値画像データに写り込んでいる、撮影環境に起因した陰影成分を推定することにより陰影画像データを生成する生成する第１の生成手段と、
前記第１の生成手段によって生成された前記陰影画像データの輝度情報に基づいて反射領域が存在するかどうかを判定する判定手段と、
前記判定手段によって反射領域が存在すると判定された場合に、前記第１の生成手段によって生成された前記陰影画像データを構成する各画素を参照し、当該参照した画素の輝度が所定輝度値よりも大きい画素について輝度が小さくなるよう補正を行う補正手段と、
前記判定手段によって反射領域が存在すると判定された場合に、前記多値画像データの注目画素の画素値を、前記補正された陰影画像データにおける前記注目画素と同一座標における画素値に基づき２値化することで、２値画像データを生成する第２の生成手段とを有し、
前記判定手段によって前記反射領域が存在しないと判定された場合、前記第２の生成手段は、前記多値画像データの注目画素の画素値を、前記第１の生成手段によって生成され、前記補正手段による補正が行われていない前記陰影画像データにおける前記注目画素と同一座標における画素値に基づき２値化することで、２値画像データを生成し、
前記第２の生成手段による前記注目画素の画素値の２値化では、前記補正された陰影画像データ又は前記補正が行われていない陰影画像データにおける前記注目画素と同一座標の画素値に応じて異なる閾値が用いられ、
前記第１の生成手段は、被写体を撮影することで得られた多値画像データをグレースケール画像データに変換する第１処理、及び前記グレースケール画像データの解像度をダウンスケーリングする第２処理、並びに前記第２処理の結果得られた前記多値画像データと比較して解像度が低い縮小画像データに基づき、前記撮影環境に起因した陰影成分を推定することにより陰影画像データを生成する第３の処理を行うことで前記陰影画像データを生成し、
前記補正手段は、前記第３の処理で生成された前記陰影画像データを補正し、前記補正手段で補正された陰影画像データは、アップスケーリングする処理が行われることで、前記多値画像データに対応する解像度に変換され、
前記第２の生成手段では、前記多値画像データに対応する解像度に変換された前記補正された陰影画像データを用いて前記２値化の処理が行われることを特徴とする情報処理装置。
被写体を撮影することで得られた多値画像データに基づいて、前記多値画像データに写り込んでいる、撮影環境に起因した陰影成分を推定することにより陰影画像データを生成する生成する第１の生成工程と、
前記第１の生成工程で生成された前記陰影画像データの輝度情報に基づいて反射領域が存在するかどうかを判定する判定工程と、
前記判定工程で反射領域が存在すると判定された場合に、前記第１の生成工程で生成された前記陰影画像データを構成する各画素を参照し、当該参照した画素の輝度が所定輝度値よりも大きい画素について輝度が小さくなるよう補正を行う補正工程と、
前記判定工程で反射領域が存在すると判定された場合に、前記多値画像データの注目画素の画素値を、前記補正された陰影画像データにおける前記注目画素と同一座標における画素値に基づき２値化することで、２値画像データを生成する第２の生成工程と、
を有する画像処理方法であって、
前記判定工程で前記反射領域が存在しないと判定された場合、前記第２の生成工程では、前記多値画像データの注目画素の画素値を、前記第１の生成工程で生成され、前記補正工程による補正が行われていない前記陰影画像データにおける前記注目画素と同一座標における画素値に基づき２値化することで、２値画像データを生成し、
前記第２の生成工程における前記注目画素の画素値の２値化では、前記補正された陰影画像データ又は前記補正が行われていない陰影画像データにおける前記注目画素と同一座標の画素値に応じて異なる閾値が用いられ、
前記判定工程では、前記陰影画像データにおいて、前記所定輝度値以上の輝度を有する画素の比率が所定の割合を超えている場合に反射領域が存在すると判定することを特徴とする画像処理方法。
被写体を撮影することで得られた多値画像データに基づいて、前記多値画像データに写り込んでいる、撮影環境に起因した陰影成分を推定することにより陰影画像データを生成する生成する第１の生成工程と、
前記第１の生成工程で生成された前記陰影画像データの輝度情報に基づいて反射領域が存在するかどうかを判定する判定工程と、
前記判定工程で反射領域が存在すると判定された場合に、前記第１の生成工程で生成された前記陰影画像データを構成する各画素を参照し、当該参照した画素の輝度が所定輝度値よりも大きい画素について輝度が小さくなるよう補正を行う補正工程と、
前記判定工程で反射領域が存在すると判定された場合に、前記多値画像データの注目画素の画素値を、前記補正された陰影画像データにおける前記注目画素と同一座標における画素値に基づき２値化することで、２値画像データを生成する第２の生成工程と、
を有する画像処理方法であって、
前記判定工程で前記反射領域が存在しないと判定された場合、前記第２の生成工程では、前記多値画像データの注目画素の画素値を、前記第１の生成工程で生成され、前記補正工程による補正が行われていない前記陰影画像データにおける前記注目画素と同一座標における画素値に基づき２値化することで、２値画像データを生成し、
前記第２の生成工程における前記注目画素の画素値の２値化では、前記補正された陰影画像データ又は前記補正が行われていない陰影画像データにおける前記注目画素と同一座標の画素値に応じて異なる閾値が用いられ、
前記第１の生成工程では、被写体を撮影することで得られた多値画像データをグレースケール画像データに変換する第１処理、及び前記グレースケール画像データの解像度をダウンスケーリングする第２処理、並びに前記第２処理の結果得られた前記多値画像データと比較して解像度が低い縮小画像データに基づき、前記撮影環境に起因した陰影成分を推定することにより陰影画像データを生成する第３の処理を行うことで前記陰影画像データを生成し、
前記補正工程では、前記第３の処理で生成された前記陰影画像データが補正され、前記補正工程で補正された陰影画像データは、アップスケーリングする処理が行われることで、前記多値画像データに対応する解像度に変換され、
前記第２の生成工程では、前記多値画像データに対応する解像度に変換された前記補正された陰影画像データが、前記２値化の処理に供されることを特徴とする画像処理方法。
前記補正工程では、前記参照した画素であり、輝度が前記所定輝度値よりも大きい画素を、当該画素及び当該画素に隣接する周辺領域を構成するＮ×Ｎ画素の領域のうち、最も暗い画素値に置換する補正を行うことを特徴とする請求項３又は４に記載の画像処理方法。
前記補正工程では、前記参照した画素であり、輝度が前記所定輝度値よりも大きい画素を、前記陰影画像データの平均輝度値に置換する補正を行うことを特徴とする請求項３又は４に記載の画像処理方法。
前記第２の生成工程は、前記多値画像データの注目画素の輝度成分を示す画素値を、前記補正された陰影画像データの前記注目画素の輝度成分を示す画素値を閾値として二値化する処理を実行するよう構成されており、前記多値画像データの注目画素の輝度成分を示す画素値が当該閾値以上の場合、前記第２の生成工程では、前記多値画像データの前記注目画素から白を示す画素値が生成されることを特徴とする請求項４乃至６のいずれか１項に記載の画像処理方法。
前記第２の生成工程は、前記多値画像データの注目画素の輝度成分を示す画素値を、前記補正された陰影画像データの前記注目画素の輝度成分を示す画素値を閾値として二値化する処理を実行するよう構成されており、前記多値画像データの注目画素の輝度成分を示す画素値が当該閾値よりも小さい場合、前記第２の生成工程では、前記多値画像データの前記注目画素から黒を示す画素値が生成されることを特徴とする請求項３乃至７のいずれか１項に記載の画像処理方法。
前記多値画像データは、グレースケールの画像データであることを特徴とする請求項３乃至８のいずれか１項に記載の画像処理方法。
前記第２処理では、前記グレースケール画像データのブロック分割を行う処理、当該ブロック分割で分割されたブロックごとに、所定の条件に従って１の画素値を代表値として選択する処理、及び、前記分割されたブロックごとに選択された代表値で構成される前記縮小画像データを生成する処理が行われることを特徴とする請求項４に記載の画像処理方法。
前記第３の処理は、前記縮小画像データの注目画素の画素値と、当該注目画素に隣接する周辺画素の画素値に基づき、濃度変化が大きいと判断された注目画素の画素値を前記周辺画素に対応する画素値に基づき補正する処理を少なくとも行って、前記陰影画像データを生成する処理であることを特徴とする請求項１０に記載の画像処理方法。
前記画像処理方法は、モバイル端末により実行される画像処理方法であり、
前記多値画像データは、前記モバイル端末が備えるカメラによって周囲を撮像することによって得られた画像データであることを特徴とする請求項３乃至１１のいずれか１項に記載の画像処理方法。
請求項３乃至１２いずれか１項に記載の画像処理方法をコンピュータに実行させるためのプログラム。
前記プログラムが実行される前記コンピュータは、汎用プロセッシングユニットと、画像処理ユニットを少なくとも有しており、
前記プログラムは、前記コンピュータの前記汎用プロセッシングユニットにより実行されることで、前記汎用プロセッシングユニットと前記画像処理ユニットとが協働した前記画像処理方法を前記コンピュータに実行させることを特徴とする請求項１３に記載のプロ
グラム。
前記所定輝度値は２５０であり、前記判定工程では、前記陰影画像データにおいて、前記所定輝度値以上の輝度を有する画素の比率が第１の割合を超えているといった条件を満たし、且つ前記所定輝度値以上の輝度を有する画素の比率が第２の割合を超えていないといった条件を満たす場合に、反射領域が存在すると判定することを特徴とする請求項４に記載の画像処理方法。