JP2018156274A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】矩形に近い形状の画像データを媒体の画像データとして切出す画像処理装置、画像処理方法及びプログラムを提供する。
【解決手段】画像処理装置は、媒体を含む領域を読み取って画像データを取得する読取部と、画像データに含まれるエッジ画素を抽出するエッジ抽出部と、エッジ画素の集合によって表されるエッジの内、媒体の輪郭に相当する閉輪郭線を抽出する輪郭線抽出部と、閉輪郭線上の第一の特徴点を抽出する第一特徴点抽出部、閉輪郭線上の第一の特徴点の周辺に位置するエッジ画素を削除し、閉輪郭線を複数の輪郭線に分割する輪郭線分割部及び分割された輪郭線の延長線上の交点となる第二の特徴点を抽出する第二特徴点抽出部を備える特徴点抽出部と、第二の特徴点を結んで得られる領域を切り出す切出部と、を備える。
【選択図】図５

Description

本発明は画像処理装置、画像処理方法およびプログラムに関する。

矩形や円形のような領域を形成する閉図形や、直線のように単体では領域を形成しない開図形の組み合わせ、又は単体によって成る図形の特徴点を抽出する方法が知られている。

特徴点とは、対象となる図形の輪郭をより簡略的に複数の直線で表現するときに、各直線の端点となる点である。特徴点を抽出することのメリットのひとつに、必要なメモリ容量の軽量化が挙げられる。例えば、図１５（ａ）のような弧を描く図形に対して特徴点を抽出してそれらの特徴点を結ぶことで、図１５（ｂ）のように当初の弧を描いている部分を簡略化した図形を得ることが出来、必要なメモリ容量の軽量化が可能になる。

特徴点抽出をした後に、図形をさらに簡略化する方法として、ＤＰ法（Douglas-Peuckerアルゴリズム）（非特許文献１）が知られている。ＤＰ法とは注目する２点の特徴点から引いた直線と、２点の特徴点の間にあり且つ上記直線から最も遠い特徴点との距離を閾値と比較し、当該距離が閾値以下の場合に特徴点を間引く処理を再帰的に行い、残った特徴点同士を結ぶことで図形を簡略化する方法である。ＤＰ法による間引きの方法については後の段落で詳しく説明する。

ＤＰ法のＭＦＰ（Multi Function Printer）への適用例として、原稿台に載せられた名刺などの媒体を画像読取装置でスキャニングし、媒体の輪郭をＤＰ法で簡略化した後に回転変換を施し、輪郭に沿って切り取ったものを画像データとして記憶する技術がある。通常、ＭＦＰで読み取ったスキャニングデータから矩形を切出す場合、スキャニングデータに含まれる媒体の４隅の頂点の座標を抽出し、媒体領域に対して回転変換を施して媒体の閉輪郭線を画像読取装置の読取方向の主走査方向と副走査方向のいずれか一方をｘ軸、もう一方をｙ軸としたときのｘ軸およびｙ軸に一致させて、切出した形が一般的な画像データの形式となるよう矩形形状に切出しを行う。通常、名刺のような媒体は長方形形状をしていることから、ＤＰ法により４隅に位置する頂点の座標が特徴点として抽出される。

抽出する媒体の内角が全て直角であれば、ＤＰ法を用いなくとも例えばＨａｒｒｉｓアルゴリズムなどにより媒体の４隅の頂点の座標を抽出出来る。しかし、媒体の角が丸みを帯びている場合や折れ曲がっている場合、Ｈａｒｒｉｓアルゴリズムではその箇所について複数個の特徴点を抽出することになる。少なくとも１つの角で複数個の特徴点を抽出した場合、結果として媒体全体では５個以上の特徴点が抽出されることとなり、切出すべき領域として認識されない。５個以上の特徴点が抽出された領域を切出すべき領域として認識しない理由は、隣り合う輪郭線同士の角度が必ずしも直角とならないため、ｘ軸とｙ軸に一致させる輪郭線が定まらず、正確性の高い回転変換を行うことが出来ないからである。

そこで、隅が丸みを帯びている媒体や折れ曲がっている媒体にＤＰ法を施すことで輪郭を簡略化し、頂点の代わりとなる４点の特徴点を抽出することで、切出すべき領域として認識することが可能になる。

しかしながら、ＭＦＰでスキャニングをするときのユーザの意図は、媒体を簡略化したものをスキャニングするのではなく媒体全体を抜け落ちのないようにスキャニングすることである。ＤＰ法によって角が丸みを帯びている媒体から４つの特徴点を媒体の頂点として抽出する場合、丸みを帯びている部分については、丸みを帯びている輪郭線上の１点が特徴点として抽出される。４つの特徴点の中に丸みを帯びた角の輪郭線上の点が１つでも含まれる場合、４つの特徴点を結んだ領域から媒体の領域がはみ出してしまい、媒体の本来の領域を全て含んだ領域を抽出することが出来ない。
本発明は、矩形に近い形状の画像データを媒体の画像データとして切出すことを目的とする。

上述した課題を解決するために、本発明における画像処理装置は、媒体を含む領域を読み取って得られた画像データに含まれるエッジ画素を抽出するエッジ抽出部と、エッジ画素の集合によって表されるエッジの内、媒体の輪郭に相当する閉輪郭線を抽出する輪郭線抽出部と、閉輪郭線上の第一の特徴点を抽出する第一特徴点抽出部と、閉輪郭線上の第一の特徴点の周辺に位置するエッジ画素を削除して、閉輪郭線を複数の輪郭線に分割する輪郭線分割部と、分割された各輪郭線の延長線上の交点となる第二の特徴点を夫々抽出する第二特徴点抽出部と、各第二の特徴点同士を結んで得られる領域を切出す切出部と、を備える。

本発明によれば、矩形に近い形状の画像データを媒体の画像データとして切出すことが可能となる。

本実施形態に係る開図形に対するＤＰ法のフローの一例を示す図である。 本実施形態に係る閉図形に対するＤＰ法のフローの一例を示す図である。 本実施形態に係る開図形に対するＤＰ法の適用例の一例を示す図である。 本実施形態に係る画像処理装置のハードウェア構成の一例を示す図である。 本実施形態に係る画像処理装置の機能構成の一例を示す図である。 本実施形態に係る特徴点抽出部の機能構成の一例を示す図である。 本実施形態に係る特徴点を説明する図である。 本実施形態に係る特徴点の最適性を説明する図である。 本実施形態に係る媒体の閉輪郭線の分割方法の一例を説明する図である。 本実施形態に係る最適な特徴点を説明する図である。 本実施形態に係る最適な特徴点の最適性を説明する図である。 本実施形態に係る後処理部の機能構成の一例を示す図である。 本実施形態に係る操作画面の一例を示す図である。 本実施形態に係る一連の処理フローの一例を示す図である。 特徴点を抽出して図形を簡略化する一例を示す図である。

ＤＰ法についてフローチャートを用いて詳しく説明する。ＤＰ法は輪郭線上に存在する特徴点の抽出を終えた図形に対して施す処理であり、以下のフローでは既に特徴点の抽出を終えている状態を仮定して説明する。また、本実施形態で説明するフローはＤＰ法を用いた特徴点の間引きの一例であり、ＤＰ法を用いた特徴点の間引きは本実施形態におけるフローに限定されるものではない。

図１は開図形に対してＤＰ法による特徴点の間引きを行うときのフローの一例である。本実施形態における開図形とは、２つ以上の端点が存在する図形であり、図１では２つの端点が存在する図形を例に挙げている。Ｓ１０１では、開図形の両端点を結ぶ直線を引く。これは、ＤＰ法が２つの特徴点の間に位置する特徴点に対して再帰的に処理を行う性質があることから、両端点を選択しなかった場合に、その２つの特徴点よりも端部に位置する特徴点に対してＤＰ法を適用することが出来ないためである。開図形の両端点の特徴点は間引きされることがないため、それぞれ間引き後の特徴点となる。ＤＰ法では、順次、間引き後の特徴点を決定していき、最終的な間引き後の図形は間引き後の特徴点を結んだものとなる。

Ｓ１０２では、選択された２つの特徴点を結ぶ線図の間に位置し、２つの特徴点を結んだ直線から最も距離が遠い特徴点を抽出する。Ｓ１０３では、Ｓ１０２で抽出した特徴点と、２つの特徴点を結んだ直線との距離を算出し、所定の閾値と比較する。Ｓ１０２で抽出した特徴点と、２つの特徴点を結んだ直線との距離が閾値よりも大きい場合はＳ１０４に進み、抽出した特徴点を間引き後の特徴点の１つとして決定する。Ｓ１０５では、Ｓ１０４で新しく抽出された特徴点と、元の２つの特徴点のいずれか一方を新たに２つの特徴点として選択し、それらを結ぶ直線を引き、Ｓ１０２に戻る。このとき元の２つの特徴点を結んだ直線は削除する。ＤＰ法による特徴点の間引きは閾値に依存しており、閾値を大きく設定すれば間引きが行われやすくなり、より簡略化された図形を得やすくなる。閾値を小さく設定すれば間引きが行われにくくなり、より元の図形に近い形の図形を得やすくなる。Ｓ１０２で抽出した特徴点と、２つの特徴点を結んだ直線との距離が閾値よりも小さい場合はＳ１０６へ進み、２つの特徴点の間の区間に終了フラグを付与する。終了フラグが付与された区間に位置する特徴点は以後間引き後の特徴点として設定されず、終了フラグが付与された時点で間引き区間として決定される。

Ｓ１０６で終了フラグを付与したらＳ１０７へ進み、全ての区間に終了フラグが付与されているか否かを判断する。全ての区間に終了フラグが付与されている場合（Ｓ１０７、Ｙｅｓ）はフローを終了する。終了フラグが付与されていない区間が残っている場合（Ｓ１０７、Ｎｏ）はＳ１０８へ進む。Ｓ１０８では、終了フラグが付与されていない区間の両端点を結ぶ直線を引き、Ｓ１０２に戻る。以上の処理を繰り返し行い、Ｓ１０７で全ての区間に終了フラグが付与されていると判定されたときにフローを終了する。フローの終了後に抽出された特徴点および直線が、ＤＰ法による間引き後の開図形となる。

図２は閉図形に対してＤＰ法による特徴点の間引きを行うときのフローの一例である。本実施形態における閉図形とは、端点が存在しない図形である。基本的なフローは開図形の場合と同様であるが、初めに図形を分割する点で開図形の場合と異なる。Ｓ２０１では閉図形を２つの開図形に分割する。分割方法の一例として、図形の左上端の特徴点と右下端の特徴点のように、ある程度の距離を隔てて位置する２点を抽出する。Ｓ２０１で２つの開図形に分割したら、それらの内の片方を選択してＳ２０２に進む。Ｓ２０２〜Ｓ２０９までのフローはＳ１０１〜Ｓ１０８までのフローと同様であるため、ここでは重複する説明を省略する。

Ｓ２０８で全ての区間に終了フラグが付与されている場合（Ｓ２０８、Ｙｅｓ）、Ｓ２１０に進み、全ての開図形に対して終了フラグが付与されているか否かを判断する。全ての開図形に対して終了フラグが付与されていない場合（Ｓ２１０、Ｎｏ）はＳ２０２へ戻り、終了フラグが付与されていない開図形に対してＳ２０２〜Ｓ２０９のフローを適用する。全ての開図形に対して終了フラグが付与されている場合（Ｓ２１０、Ｙｅｓ）はＳ２１１へ進む。Ｓ２１１では、Ｓ２０１で分割したときの端点同士を繋ぎ合わせる処理を行う。フローの終了後に抽出された特徴点および直線が、ＤＰ法による間引き後の閉図形となる。

図１のフローを適用した例について図面を用いて説明する。以下では図１のどのフローに相当するかを括弧書きで記している。図３（ａ）は実線で表される開図形と、ＤＰ法を適用する前の特徴点ａ〜ｇを表している。ＤＰ法を適用する前の特徴点ａ〜ｇは、例えばＨａｒｒｉｓアルゴリズムによって求められる。図１のフローに沿って、この開図形に対してＤＰ法を適用する。まず初めに端点である特徴点ａと特徴点ｇを直線で結び（Ｓ１０１）、２つの特徴点の間にあり、かつ結んだ直線から最も遠い距離にある特徴点ｅを抽出する（Ｓ１０２）。次に、図３（ｂ）に図示するように、直線ａｇと特徴点ｅとの距離α１を閾値と比較し（Ｓ１０３）、距離α１が閾値よりも大きかった場合は特徴点ｅを間引き後の特徴点（間引き後に残る特徴点）として決定する（Ｓ１０４）。ここでは、距離α１が閾値よりも大きかったと仮定し（Ｓ１０３、Ｙｅｓ）、特徴点ｅは間引き後の特徴点の１つとして設定される。

次に、図３（ｃ）に図示するように、抽出した特徴点ｅと先の直線ａｇの一端に位置する特徴点ｇを選択し、直線ｅｇを引き（Ｓ１０５）、特徴点ｅと特徴点ｇの間にあり、且つ直線ｅｇから最も遠い特徴点ｆと直線ｅｇとの距離α２を閾値と比較する。ここでは、距離α２が閾値よりも小さかったと仮定し（Ｓ１０３、Ｎｏ）、特徴点ｅと特徴点ｇとの間の区間に終了フラグを付与する（Ｓ１０６）。終了フラグが付与された区間に位置する特徴点ｆについては削除する。次に、全ての区間に終了フラグが付与されたか否かを判定する（Ｓ１０７）。ここでは特徴点ａから特徴点ｅまでの区間に終了フラグが付与されていないため（Ｓ１０７、Ｎｏ）、図３（ｄ）に図示するように、終了フラグが付与されていない区間の端点である特徴点ａと特徴点ｅとを結ぶ直線ａｅを引き（Ｓ１０８）、特徴点ａと特徴点ｅの間の区間にも同様にＤＰ法による間引きを行う。最終的に図３（ｅ）に図示するように、特徴点ｃおよび特徴点ｆを間引いた図形が得られる。以上がＤＰ法による特徴点の間引き方法に関する説明である。

図４は本実施形態における画像処理装置１００のハードウェア構成の一例について説明する図である。本実施形態における画像処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、画像読取装置１０４（読取部）、記憶装置１０５、外部Ｉ／Ｆ１０６、入出力Ｉ／Ｆ１０７がそれぞれバス１０８を介して接続されている。

ＣＰＵ１０１は、画像処理装置１００における演算処理装置であり、制御プログラムを実行することで画像処理装置１００全体の動作の制御を行う。ＲＡＭ１０２は、情報を高速で読み書きするための揮発性の記憶媒体であり、ＣＰＵ１０１が制御プログラムを実行する際のワークエリアとして機能する。ＲＯＭ１０３は制御プログラムが記憶されている読み出し専用の不揮発性の記憶媒体である。

画像読取装置１０４は原稿台の上にセットされた対象物をラインセンサで読み取った画像信号を、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の画像データ（ＲＧＢデータ）に変換して出力する。ＲＧＢデータは、各画素のＲ、Ｇ、Ｂの値を夫々０〜２５５の整数値で表現したものである。画像読取装置１０４はデフォルトの状態で読み取るサイズが決められており、例えばデフォルトの読み取りサイズよりも小さい、名刺サイズの媒体が原稿台にセットされている場合であっても、入出力Ｉ／Ｆ１０７から特別な指示がない場合は、画像読取装置１０４はデフォルトの読み取りサイズで媒体を読み取る。デフォルトの読み取りサイズはＡ４サイズに設定されるのが一般的である。画像読取装置１０４は、原稿台の上に何も置かれていない部分については圧板を読み取ることになり、圧板部分に該当する画素には白色を表すＲＧＢ値が与えられる。

記憶装置１０５は、例えばＨＤＤ（Hard Disk Drive）であって、情報の読み書きが可能な大容量の不揮発性の記憶媒体であり、制御プログラムや画像データを記憶する。記憶装置１０５は、ＳＳＤ（Solid State Drive）などの他の形式の記憶媒体であっても良い。

外部Ｉ／Ｆ１０６は、ＬＡＮなどのネットワークに接続するための通信インターフェースであり、ＰＣ（Personal Computer）やスマートフォンなどの外部端末に接続される。外部Ｉ／Ｆ１０６は受信機能、送信機能を有しており、外部端末から送られてくる情報を受信する他、記憶装置１０５に記憶された画像データを送信する。
入出力Ｉ／Ｆ１０７は、画像処理装置１００に対する指示や設定情報等を外部から入力し、画像処理装置１００の状態を示す情報等を外部に出力するインターフェースである。入出力Ｉ／Ｆ１０７には、マウス、キーボード、タッチパネルディスプレイ等が接続される。

ＣＰＵ１０１は、入出力Ｉ／Ｆ１０７を介してユーザによって入力された情報を基に、対応する制御プログラムをＲＯＭ１０３から読み出してＲＡＭ１０２に展開して実行することにより、対象となるデバイスを制御する。ＣＰＵ１０１はＰＣやスマートフォンのような外部端末からの情報を外部Ｉ／Ｆ１０６を通して受け取り、対応する制御プログラムをＲＯＭ１０３から読み出して対象となるデバイスを制御することも可能である。また、ＣＰＵ１０１の一部の機能をＡＳＩＣ（Application Specific integrated Circuit）のような回路を代わりに用いることで実行しても良い。また、ＣＰＵ１０１は複数のハードウェア（マルチＣＰＵ）によって成り立つものであっても良い。

図５は、本実施形態に係る画像処理装置１００の機能構成の一例について説明する図である。画像処理装置１００は、画像読取装置１０４から入力されるＲＧＢデータを処理して、切出画像データを出力する画像処理部２０１を備えている。画像処理部２０１はＣＰＵ１０１の命令によりＲＧＢデータの処理を実行するものである。画像処理部２０１は、後に説明する画像変換部２０２、エッジ抽出部２０３、輪郭線抽出部２０４、特徴点抽出部２０５、後処理部２０６を有する。

画像変換部２０２は、画像読取装置１０４で読み取って得たＲＧＢデータをＣ（シアン）、Ｍ（マゼンダ）、Ｙ（イエロー）、Ｋ（ブラック）の画像データ（ＣＭＹＫデータ）に変換する。ＣＭＹＫデータはＲＧＢデータによって表される画素値を印刷により表現する際の各画素における色材使用量を表すものであり、対象の画素に用いられるＣＭＹＫそれぞれの色材量が０〜２５５までの整数によって表される。ＣＭＹＫデータへの変換は記憶装置１０５に記憶されている変換テーブルを用いて行われる。変換テーブルにはＲＧＢ値に対応するＣＭＹＫ値が入力されており、これらの値は定期的なキャリブレーションにより更新される。

エッジ抽出部２０３は、フィルタリング処理によってＣＭＹＫの画像データに含まれるエッジを抽出する。フィルタリング処理に使用されるフィルタ係数としては、通常使用されるデフォルトの係数に加え、使用するモードに対応した異なる係数が用意されている。エッジ抽出部２０３は、注目画素とその周辺画素に対してフィルタリング処理を行い、エッジを構成すると判定された注目画素に対してエッジ画素であることを示す情報を付与する。エッジ抽出部２０３が抽出するエッジ画素には、媒体中に含まれる文字や図形と地肌部分の境界に相当する画素の他、媒体と圧板との境界の画素がある。本実施形態において、エッジとは連続するエッジ画素によって成り立つ画素の集合体である。

輪郭線抽出部２０４は、非特許文献２に記載されている方法を用いて、エッジ抽出部２０３によって抽出されたエッジの内、最外周のエッジを媒体の閉輪郭線として抽出する。原稿台の上に複数の媒体が置かれている場合、各媒体の閉輪郭線が抽出される。閉輪郭線で囲まれる領域が複数存在する場合、領域それぞれに対して後段の処理を行う。

特徴点抽出部２０５は、輪郭線抽出部２０４によって抽出された閉輪郭線から、媒体の角部に相当する特徴点を抽出する。本実施形態は矩形又は矩形に近い媒体を検出対象としており、特徴点抽出部２０５は、媒体の角部とするに最適な位置となる４点の特徴点を抽出する。本実施形態における抽出とは、抽出対象となる点の位置を特定する処理であり、一例としてＲＡＭ１０２や記憶装置１０５に抽出対象となる点の位置座標を記憶するような処理が挙げられる。最適な位置となる特徴点とは、４点の特徴点を結んだときに得られる四角形の領域内に、媒体の領域が全て含まれるような位置にあり、且つその四角形の領域の面積が最小となる座標に位置する特徴点を意味する。特徴点抽出部２０５によって抽出された特徴点は後段で説明する後処理部２０６における処理に用いられる。

尚、本実施形態における画像処理装置１００は、矩形又は矩形に近い媒体を抽出することを目的としており、画像処理装置１００は媒体全体を切出すために、切出した形が一般的な画像データの形状である矩形となるように回転変換や輪郭抽出を行う。本実施形態における媒体の切出しとは、画像読取装置１０４が出力したサイズの画像データから切出し対象となる領域の画像データを選択的に出力することを意味する。特徴点抽出部２０５によって抽出される特徴点の数が４点となる媒体は、名刺のような一般的に矩形であるもの、又は矩形に近い媒体であるため、後処理部２０６は検出対象である媒体と判断し、４点の特徴点を結んで得られる四角形に対して処理を行う。特徴点抽出部２０５によって抽出される特徴点の数が５点以上、又は３点以下となる媒体は、名刺のような一般的に矩形であるもの、又は矩形に近い媒体とは異なるため、後処理部２０６は検出対象ではない媒体と判断する。特徴点の抽出はＤＰ法によって行われ、対象となる図形を簡略的に表現するときの頂点として抽出される。本実施形態では角が丸い媒体や角の一部が折れ曲がっている媒体のような矩形に近いものも抽出対象としており、これらの媒体はＤＰ法による特徴点の間引きによって４点の特徴点が抽出される。

図６は特徴点抽出部２０５の機能構成の一例について説明する図である。特徴点抽出部２０５は、第一特徴点抽出部２０７で閉輪郭線に対して仮の特徴点を抽出した後に、輪郭線分割部２０８および第二特徴点抽出部２０９により最適な位置となる４点の特徴点を抽出する。それぞれの処理について詳しく説明する。

第一特徴点抽出部２０７は、輪郭線抽出部２０４によって抽出された閉輪郭線に対してＤＰ法を施し、媒体の輪郭を簡略化するための特徴点を抽出する。図７（ａ）は矩形の媒体を読み取ったときに第一特徴点抽出部２０７によって抽出された特徴点Ｒ１を示す図の一例であり、図７（ｂ）は角が丸い媒体を読み取ったときに第一特徴点抽出部２０７によって抽出された特徴点Ｒ１を示す図の一例である。図では媒体の隅の１つを拡大したものを示しており、四角で囲まれている領域１つがエッジ抽出部によってエッジ画素として抽出された画素である。エッジ画素の内、斜線で示している画素は第一特徴点抽出部２０７によって抽出された特徴点Ｒ１である。本実施形態では、閉輪郭線をエッジ画素の集合体として扱い、エッジ画素によって成る点の集合体に対してＤＰ法を適用することで特徴点を抽出している。このようにエッジ画素である点をそのまま特徴点として用いることで、改めて特徴点に相当する点を判断する処理の手間を省くことが可能になる。

ここで、第一特徴点抽出部２０７によって間引きされた後の特徴点の最適性について説明する。
図８（ａ）は矩形の媒体に対してＤＰ法を施した後の特徴点Ｒ０１〜Ｒ０４と、それらを結んだ領域Ｘを示しており、図８（ｂ）は角が丸い媒体に対してＤＰ法を施した後の特徴点Ｒ１１〜Ｒ１４と、それらを結んだ領域Ｘを示している。また、図中の斜線部は媒体領域と特徴点を結んだ領域との差分領域を示している。図中の点線部は媒体の輪郭を示しており、実線部は特徴点を結んだときの輪郭を示している。
矩形の媒体の場合、領域Ｘに媒体領域が全て含まれており、且つその面積が最小であることから最適な特徴点が抽出されていると言える。
これに対し、角が丸い媒体の場合、ＤＰ法によって間引きされた後の特徴点はエッジ上の点であることから、領域Ｘに媒体領域が収まっておらず、最適な特徴点が抽出されているとは言えない。要するに、ＤＰ法のみによって決定した特徴点に基づいて切り出す領域を決定した場合、角が丸い媒体に対しては差分領域の情報を欠落することになってしまう。また、領域Ｘが矩形ではないため、後処理部２０６で画像読取装置１０４における読取方向の主走査方向と副走査方向のいずれか一方をｘ軸、もう一方をｙ軸としたときのｘ軸およびｙ軸に沿った画像に精度良く回転変換することが出来ない。

そこで、輪郭線分割部２０８および第二特徴点抽出部２０９は、第一特徴点抽出部２０７によって間引きされた後の４つの特徴点を仮の特徴点として、角が丸い媒体の場合であっても抽出した特徴点が最適なものとなるように新しい４つの特徴点を抽出する。

輪郭線分割部２０８は、仮の特徴点の周辺に位置するエッジ画素および仮の特徴点を削除し、閉輪郭線をＳ１〜Ｓ４の４つの輪郭線に分割する。本実施形態における仮の特徴点の周辺とは、特徴点から所定の長さの範囲内や、特徴点を中心とするｎ×ｎ画素の領域を示す。また、本実施形態における閉輪郭線の分割とは、４つの輪郭線をそれぞれ個別のものとして認識している状態を意味する。
図９は、輪郭線分割部２０８による角が丸い場合の媒体の閉輪郭線の分割方法の一例を説明する図である。
輪郭線分割部２０８は、第一特徴点抽出部２０７によって抽出された仮の特徴点の周辺に位置する、閉輪郭線を構成するエッジ画素を削除する。仮の特徴点の周辺のエッジ画素が削除されたことにより、丸い角の部分に相当するエッジ画素が削除される。図で、色の無いエッジ画素は削除されるエッジ画素であり、網点模様によって塗られているエッジ画素は削除後に残っているエッジ画素であり、これらのエッジ画素の集合が分割された輪郭線に相当する。図では上辺の輪郭線がＳ１、右辺の輪郭線がＳ２に相当し、図９には示されていないが、下辺の輪郭線がＳ３、左辺の輪郭線がＳ４となる。また、図では、仮の特徴点を中心とする１７×１７画素分の領域に含まれるエッジ画素を削除しているが、削除する領域は適宜調整することが可能である。例えば、削除する領域を大きくすることで丸い角に位置するエッジ画素を確実に削除することが出来るようになるが、読み取る媒体が小さい場合には角に位置するエッジ画素以外の画素も削除してしまい、閉輪郭線を正確に４つに分割出来なくなる可能性がある。逆に、削除する領域を小さくすることで小さい媒体であっても閉輪郭線を正確に４つに分割することが出来るようになるが、角の丸い部分に位置するエッジ画素を削除しきれない可能性がある。デフォルト値以外への調整は入出力Ｉ／Ｆ１０７を通してユーザによって行われる。本実施形態におけるエッジ画素の削除とはエッジ画素であることを示す情報を削除することで、エッジ画素と認識されないようにすることを意味する。また、後段の処理において削除対象のエッジ画素が後段の処理でエッジ画素と認識されないように、付加情報を削除対象のエッジ画素に加えるようなものであっても良い。

第二特徴点抽出部２０９は、分割した４つの輪郭線Ｓ１〜Ｓ４の直線方程式をそれぞれ導出し、図１０に図示するように輪郭線Ｓ１および輪郭線Ｓ２の延長線上の交点Ｒ１´の座標を導出する。図では交点Ｒ１´を縦線のハッチングで表しており、本実施形態における最適な特徴点に該当する。直線方程式の導出は分割したエッジの１つに含まれるエッジ画素の何点かをランダムに選択し、それらのエッジ画素の座標に対して最小二乗法を用いることにより行われる。分割した４つの輪郭線Ｓ１〜Ｓ４の延長線上の４つの交点Ｒ１´〜Ｒ４´が最適な４つの特徴点となる。尚、直線方程式は多少の誤差が生じるため、輪郭線Ｓ１〜Ｓ４は必ずしも垂直方向に交差するわけではなく、略垂直方向に交差するものであれば良い。

図１１は角が丸い媒体に対し、第二特徴点抽出部２０９によって抽出された特徴点Ｒ１´〜Ｒ４´の最適性を説明する図である。図で、点線で囲まれた領域は媒体領域を示しており、実線で囲まれた領域は特徴点Ｒ１´〜Ｒ４´によって囲まれた領域Ｘ´を示している。この領域は媒体領域を全て含んでおり、且つその領域面積は最小又は最小に近い状態である。尚、直線方程式は多少の誤差が生じることから、媒体領域が領域Ｘ´から若干はみ出てしまう場合であっても、特徴点Ｒ１´〜Ｒ４´は最適な特徴点であるとみなす。このように、本実施形態における特徴点抽出部２０５は、ＤＰ法によって間引いて得た特徴点を仮の特徴点として設定し、そこから最適な特徴点を抽出する。特徴点抽出部２０５によって抽出された最適な特徴点Ｒ１´〜Ｒ４´の座標を基に、後処理部２０６で領域補完、回転変換、および切出しが行われる。

図１２は後処理部２０６の機能構成の一例について説明する図である。後処理部２０６は、抽出される特徴点の数が４点となる媒体の４点の特徴点を結んで得られる四角形に対して処理を行う。まず、判断部２１０で処理対象となる媒体を判断し、領域補完部２１１で領域Ｘ´の内、特定の領域に対して画素を補完し、スキュー補正部２１２でアフィン変換による回転変換を行い、切出部２１３で補正された媒体領域を含む領域を切出して切出画像データとして出力する。本実施形態における補完とは、対象となる画素の画素値を別の画素値で置き換えることを意味する。また、本実施形態における補完は置き換える前の画素値と置き換えた後の画素値が同一となる場合も含む。それぞれの処理について詳しく説明する。

判断部２１０は、特徴点が４点となる媒体を抽出する。領域補完部２１１は、判断部２１０によって抽出された媒体を対象とし、特徴点抽出部２０５によって抽出された最適な特徴点を結んで得られる矩形領域内であり、媒体領域と重なっていない差分領域に対して領域補完を行う。領域補完部２１１による差分領域の補完方法の例としては、差分領域に含まれる画素に対し、媒体領域内に位置し、且つ差分領域の周辺に位置する画素の画素値を適用する方法や、差分領域に含まれる画素に対し透過領域であることを示す画素値を適用して差分領域を透過領域とする方法が挙げられる。
差分領域を透過領域として補完する場合、あらかじめ決められている画素値を差分領域に含まれる画素に対して割り振る。透過領域による画素値の補完は、あらかじめ記憶されている複数の画素値から１つを選択して行うものであっても良い。その他、補間を行わないものであっても良い。領域補完部２１１による差分領域の補間方法はあらかじめＲＯＭ１０３に設定しておく他、ユーザが任意の方法を選択するものであっても良い。
図１３は差分領域の補完方法をユーザに選択させる操作画面の一例である。領域補完部２１１は、差分領域の補完方法をユーザに選択させることができる。ユーザは所望の処理を選択することで差分領域に対して所定の処理を施すことが出来る。

スキュー補正部２１２は、特徴点抽出部２０５によって抽出された４つの特徴点を結んで得られる領域Ｘ´に対してアフィン変換による回転変換を行い、画像読取装置１０４における主走査方向と副走査方向のいずれか一方をｘ軸、もう一方をｙ軸としたときのｘ軸およびｙ軸に矩形の２辺を一致させる。ただし、４つの特徴点を結んで囲まれた領域の４つの頂点の角度は直角からわずかなズレが想定されるため、必ずしも２辺が一致するものではなく、あらかじめ決められた誤差範囲内で一致するものであれば良い。即ち、スキュー補正部２１２は、画像読取装置１０４が出力した矩形状の画像データの隣接する２辺の一方をｘ軸、他方をｙ軸とした場合に、領域Ｘ´の隣接する２辺が夫々ｘ軸、ｙ軸と実質的に平行になるように、領域Ｘ´に対して回転変換を行う。

切出部２１３は、スキュー補正部２１２によって回転変換を行った画像データから領域Ｘ´を切出し、切出画像データとして出力する。切出す領域が複数存在する場合はそれら全てを別々の切出画像データとして出力する。出力先は、記憶装置１０５や外部Ｉ／Ｆ１０６を通して接続される外部端末等である。

このように、スキュー補正部２１２によって回転変換をする四角形の領域は４隅が直角又は略直角であり、回転変換をした後に切り出し部２１３によって媒体領域が部分的に削除されることがない。また、第二特徴点抽出部２０９によって最適な特徴点が抽出されるため、ＤＰ法によって閉輪郭線を簡略化したときに媒体領域が切り出し部２１３によって部分的に削除されることがない。

図１４は、本実施形態における一連の処理フローの一例について説明する図である。Ｓ３０１では、エッジ抽出部２０３が画像読取装置１０４で取得した画像データに含まれるエッジ画素を抽出する。Ｓ３０２では、輪郭線抽出部２０４が、Ｓ３０１で抽出したエッジ画素の内、媒体の輪郭に相当するエッジ画素の集合を閉輪郭線として抽出する。Ｓ３０３では、第一特徴点抽出部２０７が、対象となる閉輪郭線の特徴点を抽出する。Ｓ３０４では、輪郭線分割部２０８が、閉輪郭線を複数の輪郭線に分割する。Ｓ３０５では、第二特徴点抽出部２０９が、Ｓ３０４で分割された輪郭線を基に最適な特徴点を抽出する。Ｓ３０６では、領域補完部が、媒体領域と最適な特徴点を結ぶ直線によって囲まれた領域の差分領域を所定の画素によって補完する。Ｓ３０７では、スキュー補正部２１２が最適な特徴点を結ぶ直線によって囲まれた領域に対して回転変換を施し、切出し部２１３が回転変換を施した後の領域の切出しを行い、切出画像データを出力する。Ｓ３０８では、切出部２１３が全ての閉輪郭線集合によって成る領域に対して切出しを行ったか否かを判断し、切出しを行っている場合（Ｓ３０８、Ｙｅｓ）はフローを終了する。切出しを行っていない場合（Ｓ３０８、Ｎｏ）は、Ｓ３０３に戻り、切出しを終えていない閉輪郭線集合に対してＳ３０３〜Ｓ３０７のフローを実施する。

以上のように、本実施形態に係る画像処理装置１００によれば、エッジ抽出部２０３は画像読取装置１０４で取得した画像データからエッジ画素を抽出し、輪郭線抽出部２０４は取得したエッジ画素の内、媒体の輪郭に相当するエッジ画素の集合を閉輪郭線として抽出し、第一特徴点抽出部２０７は閉輪郭線の仮の特徴点を抽出し、輪郭線分割部２０８は閉輪郭線を複数の輪郭線に分割し、第二特徴点抽出部２０９は分割された輪郭線を基に最適な特徴点を抽出し、領域補完部２１１は領域を補完し、スキュー補正部２１２はスキュー補正を行うことで、角が丸い媒体や角が折れ曲がっている媒体であっても本来の媒体領域を損ねることなく画像データとして記憶することが出来る。

以上、本発明の具体的な実施形態について説明したが、上述した実施形態は本発明の一例を示したものである。本発明は、上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で様々な変形や変更を加えて具体化することができる。

上記実施形態の各装置で実行されることにより各機能を実現するプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供される。
また、上記プログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記プログラムをインターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上記プログラムを、ＲＯＭ等に予め組み込んで提供するようにしてもよい。

〔本発明の実施態様例と作用、効果のまとめ〕
本発明の第一の実施態様に係る画像処理装置１００は、媒体を含む領域を読み取って得られた画像データに含まれるエッジ画素を抽出するエッジ抽出部２０３と、エッジ画素の集合によって表されるエッジの内、媒体の輪郭に相当する閉輪郭線を抽出する輪郭線抽出部２０４と、閉輪郭線上の第一の特徴点を抽出する第一特徴点抽出部２０７と、閉輪郭線上の第一の特徴点の周辺に位置するエッジ画素を削除して、閉輪郭線を複数の輪郭線に分割する輪郭線分割部２０８と、分割された各輪郭線の延長線上の交点となる第二の特徴点を夫々抽出する第二特徴点抽出部２０９と、各第二の特徴点同士を結んで得られる領域を切出す切出部２１３と、を備える。
ここで、媒体の代表的な例としては矩形状の名刺である。
本実施態様によれば、角が丸い媒体や角の一部が折れ曲がっている媒体であっても、矩形に近い形状の画像データを媒体の画像データとして切出すことが可能となる。即ち、矩形状の媒体は、その角部が変形しても角部以外の辺が大幅に傾斜することは考えにくい。従って、閉輪郭線上の第一の特徴点の周辺に位置するエッジ画素を削除することにより得られる複数の輪郭線は、変形した角部分を除く媒体の辺に沿って延びる輪郭線を表す。その結果、分割後の各輪郭線を含む直線によって包囲される領域は矩形に近い形状となる。本態様によれば該領域の画像データとして矩形状の画像データを得ることができる。

本発明の第二の実施態様に係る画像処理装置１００において、第一特徴点抽出部２０７は、閉輪郭線を構成するエッジ画素の集合に間引き処理を施すことにより、第一の特徴点を抽出する。
エッジ画素の集合に対して間引き処理を施すことにより、媒体の角部を表す適当な一点を機械的に定めることができる。

本発明の第三の実施態様に係る画像処理装置１００は、各第二の特徴点同士を結んで得られる領域内部であり、媒体の領域と重複しない差分領域の画素を補完する画素補完部（領域補完部２１１）をさらに備える。
ここで、補完とは対象となる画素の画素値を同一又は別の画素値で置き換えることを意味する。なお、画素値には透過領域を示す画素値を含む。角が丸い媒体の場合、読取部（画像読取装置１０４）は、差分領域について媒体の画像データを取得できない。本態様においては、利用態様に見合った画素値で差分領域の画素を補完する。

本発明の第四の実施態様に係る画像処理装置１００において、画素補完部（領域補完部２１１）は、差分領域の周辺に位置する媒体の領域内の画素に係る画素値を用いて、該差分領域内の画素の画素値を補完する。
本態様によれば、切出部２１３が出力する切出画像データとして、差分領域の色合いに違和感のない画像データを得ることができる。

本発明の第五の実施態様に係る画像処理装置１００は、各第二の特徴点同士を結んで得られる領域に対して回転変換を行う回転変換部（スキュー補正部２１２）を更に備え、切出部２１３は回転変換部によって回転変換された領域を切出す。
各第二の特徴点同士を結んで得られる領域はほぼ矩形の領域であることから、回転変換によって媒体領域が部分的に削除されることがない。本態様によれば、媒体領域が部分的に削除されることなく、ユーザの意図に沿った媒体の切出しが可能になる。

本発明の第六の実施態様に係る画像処理方法は、媒体を含む領域を読み取って得られた画像データを取得し、画像データに含まれるエッジ画素を抽出するエッジ抽出ステップ（Ｓ３０１）と、エッジ画素の集合によって表されるエッジの内、媒体の輪郭に相当する輪郭線を抽出する輪郭線抽出ステップ（Ｓ３０２）と、輪郭線上の第一の特徴点を抽出する第一特徴点抽出ステップ（Ｓ３０３）と、輪郭線上の第一の特徴点の周辺に位置するエッジ画素を削除して、閉輪郭線を複数の輪郭線に分割する輪郭線分割ステップ（Ｓ３０４）と、分割された各輪郭線の延長線上の交点となる第二の特徴点を夫々抽出する第二特徴点抽出ステップ（Ｓ３０５）と、各第二の特徴点同士を結んで得られる領域を切出す切出ステップ（Ｓ３０７）と、を有する。
本態様は、第一の実施態様と同様の作用、効果を奏する。

本発明の第七の実施態様に係る画像処理装置１００は、コンピュータに、第六の実施態様に係る画像処理方法を実行させるためのプログラムである。
本態様は、第一の実施態様と同様の作用、効果を奏する。

１００ 画像処理装置 １０１ ＣＰＵ １０２ ＲＡＭ １０３ ＲＯＭ １０４ 画像読取装置（読取部） １０５ 記憶装置 １０６ 外部Ｉ／Ｆ １０７ 入力Ｉ／Ｆ １０８ バス ２０１ 画像処理部 ２０２ 画像変換部 ２０３ エッジ抽出部 ２０４ 輪郭線抽出部 ２０５ 特徴点抽出部 ２０６ 後処理部 ２０７ 第一特頂点抽出部 ２０８ 輪郭線分割部 ２０９ 第二特徴点抽出部 ２１０ 判断部 ２１１ 領域補完部 ２１２ スキュー補正部 ２１３ 切出部

Shin-Ting Wu; Adler C. G. da Silva; Mercedes R. G. Marquez、 The Douglas-peucker algorithm、 J. Braz. Comp. Soc. vol.9 no.3 Campinas Apr. 2004 Satoshi Suzuki; Keiichi Abe、 Topological structural analysis of digitized binary images by border following、Computer Vision Graphics and Image Processing 30(1):32-46 March 1985

Claims (7)

1. 媒体を含む領域を読み取って得られた画像データに含まれるエッジ画素を抽出するエッジ抽出部と、
   前記エッジ画素の集合によって表されるエッジの内、前記媒体の輪郭に相当する閉輪郭線を抽出する輪郭線抽出部と、
   前記閉輪郭線上の第一の特徴点を抽出する第一特徴点抽出部と、
   前記閉輪郭線上の第一の特徴点の周辺に位置するエッジ画素を削除して、前記閉輪郭線を複数の輪郭線に分割する輪郭線分割部と、
   前記分割された各輪郭線の延長線上の交点となる第二の特徴点を夫々抽出する第二特徴点抽出部と、
   前記各第二の特徴点同士を結んで得られる領域を切出す切出部と、
   を備える画像処理装置。
2. 前記第一特徴点抽出部は、前記閉輪郭線を構成するエッジ画素の集合に間引き処理を施すことにより、前記第一の特徴点を抽出する請求項１記載の画像処理装置。
3. 前記各第二の特徴点同士を結んで得られる領域内部であり、前記媒体の領域と重複しない差分領域の画素を補完する画素補完部をさらに備える請求項１又は２記載の画像処理装置。
4. 前記画素補完部は、前記差分領域の周辺に位置する前記媒体の領域内の画素に係る画素値を用いて、該差分領域内の画素の画素値を補完する請求項３記載の画像処理装置。
5. 前記各第二の特徴点同士を結んで得られる領域に対して回転変換を行う回転変換部を更に備え、
   前記切出部は前記回転変換部によって回転変換された領域を切出す請求項１乃至４記載の画像処理装置。
6. 媒体を含む領域を読み取って得られた画像データを取得し、前記画像データに含まれるエッジ画素を抽出するエッジ抽出ステップと、
   前記エッジ画素の集合によって表されるエッジの内、前記媒体の輪郭に相当する輪郭線を抽出する輪郭線抽出ステップと、
   前記輪郭線上の第一の特徴点を抽出する第一特徴点抽出ステップと、
   前記輪郭線上の第一の特徴点の周辺に位置するエッジ画素を削除して、前記閉輪郭線を複数の輪郭線に分割する輪郭線分割ステップと、
   前記分割された各輪郭線の延長線上の交点となる第二の特徴点を夫々抽出する第二特徴点抽出ステップと、
   前記各第二の特徴点同士を結んで得られる領域を切出す切出ステップと、
   を有する画像処理方法。
7. コンピュータに、請求項６記載の画像処理方法を実行させるためのプログラム。

Images