JP2019161639A - 画像処理装置、プログラム、画像処理方法 - Google Patents

Abstract

【課題】 イメージリピート処理に用いるリピート対象領域を指定する際に、原稿台全体をスキャンした画像を表示すると、所望の領域を正確に指定するのが難しい。【解決手段】 スキャン画像に対して画像解析処理を行うことにより原稿領域を検出し、当該検出した原稿領域に基づいて原稿画像の抽出と傾き補正とを実行することにより傾き補正後の原稿画像を得る。そして、その傾き補正後の原稿画像に対応する領域を初期のリピート対象領域として、前記傾き補正後の原稿画像と当該リピート対象領域を示す枠とを表示し、かつ、ユーザの指示に基づいて当該表示された枠の位置を変更するためのリピート対象領域指定画面を表示する。そして、該画面において設定された枠に基づき確定されるリピート対象領域の画像を、指定された用紙サイズ内に繰り返しレイアウトすることにより、リピートレイアウト処理後の出力画像を作成し、印刷処理を実行可能にする。【選択図】 図３

Description

本発明は、スキャン画像内に含まれる原稿画像の一部をリピート対象画像とし、該リピート対象画像が１枚の記録紙内に繰り返し配置されて印刷されるようにするイメージリピート処理に関するものである。

複写機や複合機等の画像形成装置には、イメージリピート印刷の機能を備えるものがある。このイメージリピート印刷は、スキャナで読取った一枚の原稿の画像（原稿画像）の一部をリピート対象画像とし、当該リピート対象画像を繰り返し配置して一枚の記録紙上に印刷する機能である。特許文献１には、繰り返し配置したときに隣接するリピート対象画像間に余白を付加するかどうかをユーザが選択可能にすることや、縦方向のリピート回数と横方向のリピート回数をユーザが設定可能にすることなどが開示されている。

特許文献２には、スキャナで読み取った画像を表示し、当該表示された画像上でユーザが四角形の枠の頂点を指定し、当該四角形の枠に対応する部分をくりぬき、当該くりぬき画像をリピート対象画像として繰り返し配置して印刷することが記載されている。

特開２００４−２４８２６２号公報 特開２０１１−０５５１３１号公報

一方、スキャナの原稿台に置いた原稿をスキャンする際に、スキャナの原稿サイズ検知用センサーで原稿サイズを検知できない場合などは、原稿台全体をスキャン対象として、原稿台と同じサイズのスキャン画像を取得することになる。このようにして得たスキャン画像に対して特許文献２の技術を適用した場合、原稿台全体と同じサイズのスキャン画像を表示し、ユーザは当該表示されたスキャン画像の中から所望の領域を選択することになる。しかしながら、原稿台に置いた原稿のサイズが例えば名刺サイズであった場合、原稿台のサイズ（例えばＡ３サイズ）に比べてかなり小さい。したがって、原稿台と同じサイズのスキャン画像（例えばＡ３サイズの画像）の全体が画面内に表示されるようにした場合、当該スキャン画像内に含まれる名刺サイズの領域は小さく表示されてしまい、ユーザはリピート対象にしたい領域を正確に指定するのが難しくなってしまう。また、スキャン画像の全体を画面に表示した後、ユーザのマニュアル操作に基づき指定された箇所を拡大表示してからリピート対象領域を指定する形態も考えられるが、その場合、ユーザが所望の箇所を拡大表示操作をする必要があり、手間がかかってしまう。

上記課題を解決するために、本発明の画像処理装置は、スキャン画像に対して画像解析処理を実行することにより原稿領域を検出し、当該検出した原稿領域に基づいて原稿画像の抽出と傾き補正とを実行することにより傾き補正後の原稿画像を得る抽出手段と、前記抽出手段で得られた前記傾き補正後の原稿画像に対応する領域を初期のリピート対象領域として、前記傾き補正後の原稿画像と当該リピート対象領域を示す枠とを表示し、かつ、ユーザの指示に基づいて当該リピート対象領域を示す枠の位置を変更するためのリピート対象領域指定画面を表示する第１の表示手段と、前記リピート対象領域指定画面において設定された枠に基づき確定されるリピート対象領域の画像を、指定された用紙サイズ内に繰り返しレイアウトすることにより、リピートレイアウト処理後の出力画像を作成するリピートレイアウト手段と、前記リピートレイアウト処理後の出力画像を用いて印刷処理を実行する印刷手段と、を備えることを特徴とする。

本発明によれば、読み取った画像に対して画像解析処理を実行することによって原稿領域を検出して当該原稿領域に基づいて原稿画像の切り出しと傾き補正とを行い、当該傾き補正後の原稿画像を拡大表示することにより、ユーザがリピート対象領域を指定しやすくできる。

システムの全体構成例である。 画像形成装置のハードウェア構成例を示す図である。 実施例１におけるイメージリピート処理に関するフローチャートを示す図である。 スキャン対象の原稿の例を示す。 原稿台に置かれた原稿を読み取った結果として得られた原稿台サイズと同じサイズの画像の例である。 読み取り開始画面の例を示す図である。 イメージリピートのレイアウト処理を実行することにより得られる画像をプレビューするプレビュー画面の例を示す図である。 実施例２におけるイメージリピート処理に関するフローチャートを示す図である。 リピート対象領域指定画面のデフォルト表示の例を示す図である。 リピート対象領域指定画面においてリピート対象領域を示す枠の位置を修正した場合の例を示す図である。 リピート対象領域を示す枠の位置を修正した後に、イメージリピートのレイアウト処理を実行することにより得られる画像をプレビューするプレビュー画面の例を示す図である。 実施例３におけるイメージリピート処理に関するフローチャートを示す図である。 実施例４におけるイメージリピート処理に関するフローチャートを示す図である。 実施例４における、顔領域が検出されなかった場合におけるリピート対象領域指定画面の初期表示の例を示す図である。 実施例５における、顔領域が検出された場合におけるリピート対象領域指定画面の初期表示の例を示す図である。 実施例５における、原稿領域を指定するためのボタンが選択された場合のリピート対象領域指定画面の例を示す図である。

以下、図面を用いて本発明に係る実施形態を詳細に説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらに限定する趣旨のものではない。

＜システム構成＞
図１は本実施例を適用可能なシステムの全体構成を示す図である。図１に示すように、画像形成装置（画像処理装置）１００はＬＡＮ１０２に接続され、Ｉｎｔｅｒｎｅｔ１０３等を介してＰＣなどの端末１０１等と通信可能になっている。なお、本実施例の実現にあたっては、ＰＣなどの端末１０１に関しては、必ずしも必要なくても良く、画像形成装置１００のみの構成だけでも良い。

画像形成装置（画像処理装置）１００は、表示・操作部、スキャナ部及び、プリンタ部を有する複合機（ＭＦＰ）であり、スキャナ部を用いて原稿（文書、名刺、証明書用写真、免許証、葉書など）をスキャンするスキャン端末として利用することが可能である。タッチパネルやハードボタンなどの表示・操作部では、スキャン画像やレイアウト処理結果のプレビュー画像を表示したり、ユーザからの指示を入力するためのユーザインタフェースの表示を行う。本実施例では、スキャン画像内から自動抽出または手動指定された領域内の画像を処理対象として、１枚の出力原稿内に繰り返しレイアウトするリピートレイアウト処理（イメージリピート処理とも言う）を実行し、レイアウト処理結果のプレビュー画像を画面に表示する。そして、ユーザがプレビュー画面において印刷開始ボタンを押下すると、プリンタ部を用いて印刷処理を実行する。

なお、本実施例では、画像形成装置１００単体で、スキャン処理、リピートレイアウト処理、印刷処理を行う例について説明するが、その一部を他の端末１０１で行うように構成したシステムであっても構わない。例えば、スキャン処理とリピートレイアウト処理とを画像形成装置１００で実行し、レイアウト処理結果の画像を他の端末１０１にネットワークを介して送信し、他の端末１０１からその画像を印刷するようにしてもよい。

＜画像形成装置１００のハードウェア構成＞
図２は、画像形成装置１００の構成を示すブロック図である。制御部１１０では、ＣＰＵ１１１、記憶装置１１２（ＲＯＭ１１７，ＲＡＭ１１８，ＨＤＤ１１９など）、ネットワークＩ／Ｆ部１１３、スキャナＩ／Ｆ部１１４、表示・操作部Ｉ／Ｆ部１１５、プリンタＩ／Ｆ部１２２がシステムバス１１６を介して互いに通信可能に接続されている。制御部１１０は、画像形成装置１００全体の動作を制御する。

ＣＰＵ１１１は、記憶装置１１２に記憶された制御プログラムを読み出し実行することにより、後述のフローチャートにおける各処理（読取制御や表示制御や印刷制御など）を実行する手段として機能する。記憶装置１１２は、上記プログラム、画像データ、メタデータ、設定データ及び、処理結果データなどを格納し保持する。記憶装置１１２には、不揮発性メモリであるＲＯＭ１１７、揮発性メモリであるＲＡＭ１１８及び、大容量記憶領域であるＨＤＤ１１９などがある。ＲＯＭ１１７は、制御プログラムなどを保持する不揮発性メモリであり、ＣＰＵ１１１はその制御プログラムを読み出し制御を行う。ＲＡＭ１１８は、ＣＰＵ１１１の主メモリ、ワークエリア等の一時記憶領域として用いられる揮発性メモリである。

ネットワークＩ／Ｆ部１１３は、制御部１１０（画像形成装置１００）を、システムバス１１６を介してＬＡＮ１０４に接続する。ネットワークＩ／Ｆ部１１３は、ＬＡＮ１０４上の外部装置に画像データを送信したり、ＬＡＮ１０４上の外部装置から各種情報を受信したりする。

スキャナＩ／Ｆ部１１４は、スキャナ部１２０と制御部１１０とを、システムバス１１６を介して接続する。スキャナ部１２０は、原稿上の画像を読み取ってスキャン画像データを生成し、スキャナＩ／Ｆ部１１４を介してスキャン画像データを制御部１１０に入力する。

表示・操作部Ｉ／Ｆ部１１５は、表示・操作部１２１と制御部１１０とを、システムバス１１６を介して接続する。表示・操作部１２１には、タッチパネル機能を有する液晶表示部やキーボードなどが備えられている。

プリンタＩ／Ｆ部１２２は、プリンタ部１２３と制御部１１０とを、システムバス１１６を介して接続する。プリンタ部１２３は、ＣＰＵ１１１で生成されたレイアウト処理後の画像データをプリンタＩ／Ｆ部１２２を介して受信し、当該受信した画像データを用いて記録紙へのプリント処理が行われる。

以上のように、本実施例に係る画像形成装置１００では、上記のハードウェア構成によって、画像処理機能を提供することが可能である。

＜イメージリピート処理機能＞
本実施例に係る画像処理機能として、イメージリピート処理（リピートレイアウト処理）について説明する。

画像形成装置１００は、スキャナ部１２０の原稿台に置かれた原稿をスキャンしてスキャン画像を取得する。取得したスキャン画像に対して画像解析処理を実行することにより、原稿領域の検出と、当該原稿領域の抽出と傾き補正とを行うことにより、傾き補正された原稿画像を得る。なお、原稿領域の検出処理の詳細については、後述する。

さらに、画像形成装置１００は、指定された用紙サイズに対応する出力用画像内に当該傾き補正された原稿画像を繰り返し配置する際のレイアウトを決定する。そして、当該決定したレイアウトにしたがって、原稿画像を配置してイメージリピート処理結果画像を生成し、表示・操作部のＵＩにプレビュー画像を表示する。また、表示・操作部を通じてユーザから、当該イメージリピート処理結果画像の印刷指示を受付け可能にしている。

図３は、本実施例１に係るイメージリピート処理の詳細を示すフローチャートである。なお、画像形成装置１００のＣＰＵ１１１が、ＲＯＭ１１７に格納されている処理プログラムをＲＡＭ１１８にロードして実行することにより、図３の各ステップの処理を実行する処理部として機能する。なお、本実施例では、スキャン対象の原稿として、図４のような名刺をスキャンした場合について説明するが、原稿の種類は名刺に限るものではなく、定形サイズや非定型サイズの文書、免許証、証明書用写真、各種カード、はがきなどであってもよい。

まず、画像形成装置１００の操作画面において、イメージリピート処理のモードがユーザにより指定されると、図６のタッチパネルディスプレイ領域６０１に操作画面が表示される。図６において、表示・操作部１２１は、タッチパネルディスプレイ領域６０１と、ハードキー６０２（数字キーや各種処理のスタートキーなど）とを備える。タッチパネルディスプレイ領域６０１には、原稿を原稿台にセットしてスキャンを開始するように促すメッセージと、スキャン開始を指示するためのスキャン開始ボタン（ソフトウェアキー）６０３とが表示される。

スキャン開始ボタン６０３がユーザにより選択されると、ステップＳ３０１において、画像形成装置のＣＰＵ１１１は、スキャナ部を動作させて画像を取得する処理を行う。なお、図４のような名刺や非定型サイズの文書などを原稿台に置いてスキャンを行った場合、原稿サイズ検知用センサーによる原稿サイズの自動検知ができない場合がある。そこで、本実施例のイメージリピート処理では、原稿台全体を読み取り対象として、原稿台と同じサイズのスキャン画像を取得するものとする。図４の４００は名刺（原稿）の例であり、名刺内には、写真等が記載されている領域４０１と、名前や住所等の文字列が記載されている領域４０２とが含まれる。この名刺を原稿台に置いてスキャンを行った結果、図５に示すようなスキャン画像５０１が得られたものとする。このとき、名刺が原稿台に無造作に置かれると、名刺が原稿台に対して傾いた状態でスキャンされてしまうので、スキャン画像５０１内には、傾いた状態の名刺画像５０２が含まれることになる。

ステップＳ３０２において、ＣＰＵ１１１は、ステップＳ３０１で取得した画像に対して画像解析処理（原稿領域検出処理）を実行することにより原稿領域を検出し、当該検出した原稿領域の部分画像を切り出すとともに、傾き補正処理を行う。これにより、Ｓ３０１で取得したスキャン画像５０１に含まれている名刺画像５０２の領域を切り出して傾き補正した画像を取得することができる。原稿領域の検出処理と傾き補正処理は、公知の方法を用いて実現することができる。スキャン画像から原稿領域を検出する手法としては、例えば、スキャン画像に対してＳｏｂｅｌフィルタ等を適用することによりエッジ強度画像を求め、エッジ強度が高い画素が直線状に繋がっている個所を原稿の辺として検出する公知の手法を用いればよい。そして、当該検出した原稿の四辺に基づき４頂点を特定し、当該特定した４頂点に基づいて原稿領域の画像を切り出す（すなわち、スキャン画像から原稿画像を抽出する）。このとき、スキャン画像から切り出した原稿領域の画像が傾いている場合には、さらに、傾き補正を行うことで、傾き補正後の原稿画像として取得する。傾き補正は、例えば、当該特定した４頂点の座標値に基づき傾き角度の推定を行い、その傾き角度を補正する方向に画像を回転させればよい。なお、原稿領域の画像の切り出し処理（原稿画像の抽出処理）と傾き補正処理は、順番に実行するようにしてもよいし、切り出しと傾き補正を同時に行うようにしてもよい。例えば、４頂点の座標値に基づき、当該４頂点により囲まれる長方形領域の内部の画素に対して所定の射影変換処理を行うことで、長方形領域内の画素抽出と傾き補正とを同時に実現することも可能である。

ステップＳ３０３において、ＣＰＵ１１１はステップＳ３０２の原稿領域検出処理の結果に基づき原稿が検出されたかの判定を行う。原稿が検出されなかったと判断した場合には、ステップＳ３０４に進み、原稿が検出できなかった旨と、原稿を原稿台に置き直して再実行することをユーザに促すメッセージとを、表示・操作部１２１に表示させる。ステップＳ３０３で原稿が検出されたと判断した場合には、ステップＳ３０５に進む。

ステップＳ３０５において、ＣＰＵ１１１は、指定された出力用紙の用紙サイズの情報を取得する。ユーザにより用紙サイズが未指定である場合は、デフォルト設定されている用紙サイズ（例えばＡ４サイズ）の情報を取得する。また、手差しトレイの用紙を使用することが予め指定されている場合などは、この時点でユーザに用紙サイズの指定を行わせるようにしてもよい。

ステップＳ３０６において、ＣＰＵ１１１は、リピート対象画像のサイズと、Ｓ３０５で取得した用紙サイズの情報とに基づいて、出力用紙内にリピート対象画像を繰り返しレイアウトする位置を決定するリピートレイアウト処理を実行する。なお、リピート対象画像として、最初は、Ｓ３０２の原稿領域検出処理及び傾き補正処理を行った結果の切り出し画像（傾き補正後の原稿部分画像）を使用する。リピートレイアウト処理では、出力用紙の縦横のサイズとリピート対象画像のサイズとに基づき、リピート対象画像を出力用紙の左上から配置した際に何枚画像を配置できるか計算する。次にリピート対象画像のサイズを９０度回転させて出力用紙の左上から配置した際に何枚画像が配置できるか計算する。そして、９０度回転有無での配置枚数を比較し、配置枚数が多い方のレイアウトを用いて、リピート対象画像を繰り返しレイアウトすることにより、リピート処理後の画像（すなわち、印刷処理で用いられる出力画像）の作成を行う。なお、９０度回転有無での配置枚数が同じ場合は、リピート対象画像を回転しない場合のレイアウトで出力画像の作成を行う。

ステップＳ３０７において、ＣＰＵ１１１は、Ｓ３０６で作成した出力画像のプレビュー画像を作成して、表示・操作部１２１のプレビュー画面に表示する。図７を用いて表示・操作部１２１に表示されるプレビュー画面について説明する。図７では、図６のタッチパネルディスプレイ領域６０１に表示されていた表示内容が、出力画像のプレビュー画面に変わっている。

図７の７０５には、ステップＳ３０６で作成した出力画像のプレビュー画像を表示している。また、７０６には、ステップＳ３０６で作成した出力画像において、リピート対象画像を何枚レイアウトしているかを示す枚数情報を表示している。図７の例では、リピート対象画像１６枚が、１枚の出力画像内にリピートされることを示している。

７０７は、出力画像を印刷する枚数を示す数字を表示しており、ユーザがプラスボタン７０９を押下すると、その印刷枚数が増加し、マイナスボタンを押下すると、その印刷枚数が減少する。なお、プラスボタンあるいはマイナスボタンをクリックするたびに枚数が１枚ずつ増減してもよいし、プラスボタンあるいはマイナスボタンを長押しすることで押している間は、印刷枚数７０７が連続的に変わるようにしてもよい。また、印刷枚数７０７の入力は、ハードキー７０２を使って入力することも可能である。

７１０は、出力画像をカラーで印刷するか白黒で印刷するかを選択可能なプルダウンメニューである。デフォルト設定では、リピート対象画像がカラーである場合に「フルカラー」が自動選択され、リピート対象画像が白黒である場合に「白黒」が自動選択されるものとする。ユーザは、このカラー選択のプルダウンメニュー７１０を用いて、手動操作でフルカラー印刷／白黒印刷の設定を変更することができる。なお、後述のステップＳ３０９で説明するように、フルカラー印刷／白黒印刷の設定が変更されると、変更後の設定に応じて、プレビュー画像７０５も変更される。例えば、フルカラーが自動選択されている状態で、ユーザが白黒に設定変更すると、プレビュー画像７０５も連動して白黒画像のプレビューに変更される。

７１１には、現在指定されている用紙サイズを表示する。ユーザが変更ボタン７１２を押下すると、後述のステップＳ３１１で説明するように、用紙サイズの変更処理を行う。用紙サイズが変更された場合、当該変更後の用紙サイズとリピート対象画像のサイズとに基づき、Ｓ３０６のリピートレイアウト処理を実行して出力画像を再作成し、出力画像のプレビュー画像７０５と枚数情報７０６とを更新する。

リピート対象領域変更ボタン７１３がユーザにより押下されると、図９のようなリピート対象領域指定画面を表示し、ユーザはリピート対象領域を所望の位置・サイズを有する領域に修正することができる。図９のリピート対象領域指定画面の詳細は、ステップＳ３１０で後述する。

印刷開始ボタン７０３がユーザにより押下されると、後述のステップＳ３１２で説明するように、現在の設定内容にしたがって、印刷処理が開始される。また、戻るボタン７０４がユーザにより押下されると、図６の画面に戻る。

ステップＳ３０８において、ＣＰＵ１１１は、図７のプレビュー画面に表示されているボタンやプルダウンメニューのうちのいずれが、ユーザにより指示されたかを判定する。カラー選択のプルダウンメニュー７１０が指示されたと判定した場合はステップＳ３０９に進み、リピート対象領域変更ボタン７１３が指示されたと判定した場合はステップＳ３１０に進み、用紙サイズ変更ボタン７１２が指示されたと判定した場合はステップＳ３１１に進み、印刷開始ボタン７０３が指示されたと判定した場合はステップＳ３１２に進む。

ステップＳ３０８で、ユーザの指示内容がカラー選択のプルダウンメニュー７１０におけるフルカラー／白黒の設定変更である、と判定した場合は、ステップＳ３０９にて、ＣＰＵ１１１は、当該変更後の設定に基づきプルダウンメニュー７１０の表示を更新して、更に、ステップＳ３０７に戻って、当該変更後の設定に基づきプレビュー画像７０５も更新する。例えば、フルカラー印刷が設定されていた時に、プルダウンメニュー７１０で白黒印刷へ設定変更された場合には、ステップＳ３０７で白黒のプレビュー画像を作成してプレビュー画面の表示を更新する。なお、白黒のプレビュー画像および出力画像は、プルダウンメニュー７１０で白黒印刷へ設定変更された時点で作成する形態に限るものではない。例えば、Ｓ３０２で切り出した画像に基づき最初にＳ３０６のリピートレイアウト処理で作成された出力画像に基づいてプレビュー画像を作成する際に、カラーのプレビュー画像と白黒のプレビュー画像を予め作成しておく形態でも構わない。

ステップＳ３０８で、ユーザの指示内容がリピート対象領域変更ボタン７１３の押下である、と判定した場合は、ステップＳ３１０にて、ＣＰＵ１１１は、リピート対象領域を変更するためのリピート対象領域指定画面（図９）をタッチパネルディスプレイ領域に表示する。

図９のリピート対象領域指定画面の詳細について説明する。図９の９０５には、Ｓ３０２の原稿領域検出処理及び傾き補正処理を行った結果の切り出し画像（傾き補正後の原稿部分画像）のプレビュー画像が表示される。さらに、その時点でのリピート対象領域の位置を示す枠９０６を、切り出し画像に重ねて表示する。なお、リピート対象領域の位置を示す枠９０６は、区別しやすい色（例えば、赤色）等の線で表示するのが望ましい。なお、リピート対象領域をユーザの指示に基づいて変更する前の時点では、図９のように、Ｓ３０２で検出されて切り出された原稿部分画像をリピート対象領域として枠９０６を表示することになる。ハンドラ９２１、９２２、９２３、９２４は、枠９０６の頂点に表示されるハンドラであり、ユーザが該ハンドラを用いて枠の頂点の位置を変更することにより、リピート対象領域の縮小や拡大を行うことができる。ハンドラ９２５、９２６、９２７、９２８は、ユーザが枠の辺の位置を変更するためのハンドラであり、これらのハンドラの操作によっても、リピート対象領域の縮小や拡大を行うことができる。また、矢印９０７、９０８、９０９、９１０のいずれかがユーザに押下されると、当該表示されている原稿部分画像が、当該押下された矢印の方向に移動する。つまり、枠９０６の位置は移動せずに、矢印９０７、９０８、９０９、９１０を使用することで原稿部分画像を相対的に移動させることにより、ユーザ所望の切出し位置になるよう調整することもできる。なお、原稿部分画像の移動は、矢印９０７、９０８、９０９、９１０の操作に限らず、枠９０６より外側で且つプレビュー画像の表示領域９０５より内側の位置において、ユーザがタッチ＆ドラッグ操作することで移動できるようにしてもよい。

バー９１１は、表示領域９０５に表示される画像の表示倍率の状態を示すバーであり、バー９１１が右側にあれば拡大表示されていることを示し、左側にあれば縮小表示されていることを示す。ユーザがボタン９１２を押下すると、その表示倍率を下げて表示し、ボタン９１３を押下すると、その表示倍率を上げて表示する。なお、バー９１１を直接左右にドラッグ操作することで、表示倍率を変更することも可能である。また、ユーザがボタン９１４を押下すると、表示領域９０５に表示している画像の表示の向きを９０度回転させる。また、ユーザがボタン９１５を押下した場合は、表示領域９０５に表示している画像を反時計回りに０．５度刻みで回転させる。ユーザがボタン９１６を押下した場合は、表示領域９０５に表示している画像を時計回りに０．５度刻みで回転させる。なお、本実施例では、ボタン９１５、９１６ともに回転角度を０．５度刻みとして説明したが、０．５度に限るものではない。また、ボタン９１７は、枠９０６を縦方向に伸ばす指示を行うためのボタンであり、ユーザがボタン９１７を押下すると、枠９０６の上辺の位置が上方向に所定画素数移動し且つ下辺の位置が下方向に所定画素数移動する。ボタン９１８は、枠９０６を縦方向に縮める指示を行うためのボタンであり、ユーザがボタン９１８を押下すると、枠９０６の上辺の位置が下方向に所定画素数移動し且つ下辺の位置が上方向に所定画素数移動する。また、ボタン９１９は枠９０６を横方向に伸ばす指示を行うためのボタンであり、ボタン９２０は枠９０６を横方向に縮める指示を行うためのボタンである。また、ユーザがボタン９０４を押下すると、図９において変更された枠の位置をキャンセルして図７の画面に戻る。

また、ユーザがボタン９０３を押下すると、その時点で設定されている枠９０６の位置に基づいてリピート対象領域を確定し、当該リピート対象領域の画像に基づいて、ステップＳ３０６のリピートレイアウト処理を実行する。例えば、ユーザが名刺画像（原稿画像）の内部に含まれる写真領域のみをリピート対象領域にしたいとする。その場合、ユーザは、図９の枠の頂点ハンドラ９２１〜９２４の位置を調整し、図１０の枠の頂点ハンドラ１０２１〜１０２４の位置に変更する。その状態でＯＫボタンがユーザにより押下されると、図１０の枠で囲まれる領域がリピート対象領域として確定され、当該確定されたリピート対象領域の画像を用いてステップＳ３０６でリピートレイアウト処理が再度実行される。そして、ステップＳ３０７では、Ｓ３０６のリピートレイアウト処理で得た出力画像のプレビュー画像を、図１１のように、プレビュー画面１１０５に表示する。図１１の１１０６には、図１０で変更したリピート対象領域の画像を何枚レイアウトしているかを示す枚数情報を表示している。

なお、本実施例では、リピート対象領域の画像の倍率は１００％で印刷されるように、リピートレイアウトする例で説明するが、倍率は１００％に限るものではない。例えば、図９の画面で、リピート対象領域の画像の倍率を指定できるように構成すれば、リピート対象領域の画像を拡大または縮小しながら、イメージリピート処理することも可能である。その場合、指定された倍率も考慮して、ステップＳ３０５のリピート枚数算出処理やステップＳ３０８のリピートレイアウト処理を行うようにすればよい。

ステップＳ３０８で、ユーザの指示内容が用紙サイズ変更ボタン７１２の押下である、と判定した場合は、ステップＳ３１１にて、用紙サイズの候補を複数提示（例えば、定形サイズＡ４，Ａ３，Ｂ４，Ｂ５などを複数提示）し、その中からユーザにより指定された用紙サイズを判定する。なお、用紙サイズの変更は定形サイズの中から選択する方法に限るものではなく、非定形の用紙サイズ（用紙の縦と横のサイズ）をユーザがマニュアル入力できるようにしてもよい。ステップＳ３１１で用紙サイズが変更された場合には、ステップＳ３０５でその変更後の用紙サイズを取得し、ステップＳ３０６で、当該変更された用紙サイズに基づいてリピートレイアウト処理を実行し、ステップＳ３０７でプレビュー画面を表示する。

ステップＳ３０８で、ユーザの指示内容が印刷開始ボタン７０３の押下であると判定した場合は、ステップＳ３１２にて、ＣＰＵ１１１は、Ｓ３０６で作成した出力画像を用いて、プリンタ部１２３で印刷を実行するように制御する。

本実施例１によれば、図９のリピート対象領域指定画面において、Ｓ３０１で取得した原稿台全体のスキャン画像ではなく、Ｓ３０２で得た傾き補正後の原稿部分画像を表示する。原稿台全体のスキャン画像をそのままプレビュー表示すると、スキャン画像内に含まれる名刺画像が相対的に小さく表示されてしまうので、ユーザはリピート対象にしたい領域を指定しにくくなるが、本実施例では、Ｓ３０２で得た原稿部分画像を大きく表示するので、ユーザはリピート対象にしたい領域を指定しやすくなる。さらに、傾き補正後の原稿部分画像を表示するので、ユーザは、リピート対象にしたい領域を正確に指定しやすくなる。また、原稿台に原稿を傾いて置いてスキャンしたとしてもＳ３０２で傾き補正されるので、ユーザは原稿台に原稿を置く際に原稿が傾かないように気を付ける必要もなくなる。

また、Ｓ３０７で表示される図７のプレビュー画面では、Ｓ３０２で得た傾き補正後の原稿部分画像を初期のリピート対象画像として設定してＳ３０６のリピートレイアウト処理を実行して出力画像を作成し、その出力画像のプレビュー画像を初期表示する。したがって、ユーザは、そのままの設定でよければ、印刷開始ボタンを押すだけでよく、リピートレイアウト処理を簡単に実行することもできる。

実施例１では、図６の操作画面でスキャン開始ボタンがユーザにより押下されると、図３のＳ３０１〜Ｓ３０７の処理が実行されて、図７のプレビュー画面が表示される例について説明した。本実施例２では、図６の操作画面でスキャン開始ボタンがユーザにより押下されると、図７のプレビュー画面を表示する前に、図９のリピート対象領域指定画面を表示してリピート対象領域をユーザに確認・修正させる例について説明する。

図８に示す実施例２に係るイメージリピート処理の詳細を示すフローチャートと、図３に示した実施例１のフローチャートとの差異について説明する。実施例２では、図８のステップＳ３０３で原稿有りと判定した場合に、ステップＳ３１０に進んで、図９のリピート対象領域指定画面を表示する。そして、図９のリピート対象領域指定画面で、リピート対象領域が確定された後、Ｓ３０５〜Ｓ３０７の処理を行ってプレビュー画面を表示する。

なお、各ステップの処理の詳細は、実施例１と同様であるので説明を割愛する。

以上、本実施例２によれば、図７のプレビュー画面を表示する前に、図９のリピート対象領域指定画面を表示するので、リピート対象領域をユーザが予め確認でき、さらに、必要に応じてリピート対象領域の修正も簡単に行える。また、実施例１と同様に、図９のリピート対象領域指定画面において、Ｓ３０１で取得した原稿台全体のスキャン画像ではなく、Ｓ３０２で得た傾き補正後の原稿部分画像を表示するので、ユーザは、リピート対象にしたい領域を正確に指定しやすくなる。

図６の操作画面でスキャン開始ボタンがユーザにより押下された後、タッチパネルディスプレイ領域において、実施例１では図７のプレビュー画面を最初に表示し、実施例２では図９のリピート対象領域指定画面を最初に表示する例について説明した。本実施例３では、スキャンした原稿に応じて、図７のプレビュー画面を最初に表示するか、図９のリピート対象領域指定画面を最初に表示するかを適応的に変更する例について説明する。

図１２のフローチャートを用いて、実施例３に係るイメージリピート処理の詳細を説明する。図１２では、ステップＳ３０３で原稿有りと判定した場合、ステップＳ１２０１に進んで、Ｓ３０２で検出した原稿画像が所定の条件を満たすかどうか判定する。Ｓ１２０１で所定の条件を満たすと判定した場合は、ステップＳ３１０に進んで図９のリピート対象領域指定画面を表示する。一方、Ｓ１２０１で所定の条件を満たさないと判定した場合は、Ｓ３０５〜Ｓ３０７の処理を行って図７のプレビュー画面を表示する。

ステップＳ１２０１の判定で用いられる所定の条件は、例えば、Ｓ３０２で検出された原稿画像のサイズが所定のサイズ（例えばＡ４サイズ）より大きいかどうかである。原稿画像のサイズが大きい場合は、その原稿内の一部分を切り出してリピート対象に用いる可能性が高いと考えられるので、Ｓ３１０に進んで図９のリピート対象領域指定画面を表示する。

また、ステップＳ１２０１の判定で用いられる所定の条件の別の例について説明する。例えば、Ｓ３０２で検出された原稿画像に対して、テキストや写真や表などの属性ごとの領域に分割する領域分割処理を実行し、複数の属性の領域が含まれる場合に所定の条件を満たすと判定する。すなわち、原稿内に複数の属性の領域（例えばテキスト領域と写真領域）が含まれる場合、そのいずれかの領域をリピート対象に用いる可能性が高いと考えられるので、Ｓ３１０に進んで図９のリピート対象領域指定画面を表示する。

なお、図１２のＳ３０１〜Ｓ３１２の各ステップにおける処理の詳細は、実施例１，２の対応するステップ番号の処理と同様であるので説明を割愛する。

実施例２では、図９のリピート対象指定画面においてリピート対象領域の初期領域として、Ｓ３０２で検出された原稿領域を表示する例について説明した。実施例４においては、Ｓ３０２で検出された原稿画像に対して、さらに顔領域検出（人物の顔を含む写真領域の検出処理）を行い、当該検出した写真領域をリピート対象領域の初期領域として表示する例について説明する。

図１３に示す実施例４に係るイメージリピート処理の詳細を示すフローチャートと、図８に示した実施例２のフローチャートとの差異について説明する。実施例４では、ステップＳ３０３において原稿有りと判定した場合に、ステップＳ１３０１に進む。

ステップＳ１３０１において、ＣＰＵ１１１は、ステップＳ３０３で検出された原稿領域内の画像に対して、人物の顔を含む写真領域（すなわち顔領域）の検出処理を実行する。顔領域検出処理は、例えば、画像から局所特徴量を検出し、当該検出した局所特徴量と予め保持している顔の各パーツ（目、鼻、口など）の特徴量とをパターンマッチングすることにより、人物の顔を含む領域を特定する。なお、顔領域検出処理の手法は上記手法に限るものではなく、その他の顔領域検出処理を用いてもよい。

ステップＳ１３０２において、ＣＰＵ１１１は、顔領域検出処理により顔領域が検出されたか否かを判定する。ここで、顔領域が検出された（すなわち、人物の顔を含む写真領域が有る）と判定された場合は、ステップＳ１３０３に進む。また、顔領域が検出されなかった（すなわち、人物の顔を含む写真領域が無い）と判定された場合は、ステップＳ１３０４に進む。

ステップＳ１３０３において、ＣＰＵ１１１は、ステップＳ１３０１において検出された顔領域に基づきリピート対象領域の初期領域とする領域を決定する。本実施例では、リピート対象領域の初期領域は、検出された顔を含む写真領域全体とするが、これに限るものではない。なお、写真領域の境界は、ハフ変換による直線検出手法を用いて定めてもよいし、白以外の画素に対してラベリング処理を行って写真領域を検出するような手法を用いてもよい。また、顔の目・鼻・口などの各パーツの位置を基準として、そこから所定サイズ分大きいサイズの領域を初期領域とするようにしてもよい。また、人物の顔検出だけでなく、人物の肩や胸などの特徴も検出し、人物のバストより上の領域（すなわち、バストアップ領域）を初期領域として用いるようにしてもよい。ステップＳ１３０３で人物の顔を含む写真領域がリピート対象領域の初期領域として決定されると、ステップＳ３１０に進む。図４のような顔写真の領域４０１を含む名刺４００をスキャンした場合、ステップＳ１３０３で顔写真領域が初期領域として決定される。したがって、ステップＳ３１０では図１０のように頂点ハンドラ１０２１〜１０２４で囲まれる枠内の領域（顔写真領域）が、リピート対象領域の初期領域として表示される。

ステップＳ１３０４において、ＣＰＵ１１１は、ステップＳ３０２において検出された原稿領域を、リピート対象領域の初期領域として決定する。ステップＳ１３０４において、リピート対象領域の初期領域が決定されると、ステップＳ３１０に進む。図１４に示すように、顔写真を含まない名刺をスキャンした場合、ステップＳ１３０１で顔領域が検出されないので、ステップＳ３０２で検出された原稿領域がリピート対象領域として決定される。したがって、ステップＳ３１０では、図１４のように頂点ハンドラ１４０１〜１４０４で囲まれる枠内の領域（原稿領域）が、リピート対象領域の初期領域として表示される。

以上のように、実施例４では、顔領域が検出されたか否かに応じて、リピート対象領域指定画面に初期表示される領域が切り替わる。なお、図１３のＳ３０１〜Ｓ３１２の各ステップにおける処理の詳細は、実施例１〜２の対応するステップ番号の処理と同様であるので説明を割愛する。

実施例４では、原稿画像から顔領域が検出された場合に、リピート対象指定画面において、人物の顔を含む写真領域をリピート対象領域の初期領域として表示する例について説明した。実施例５においては、顔領域が検出された場合に表示されるリピート対象指定画面の別の例について説明する。

実施例５では、図１３に示した実施例４のフローチャートと同様に、ステップＳ１３０２で人物の顔を含む写真領域を検出し、ステップＳ１３０３で当該検出した顔領域をリピート対象領域の初期領域として決定する。ただし、その後、ステップＳ３１０で表示される実施例５のリピート対象指定画面（図１５）が、実施例４のリピート対象指定画面（図１０）と異なる。

図１５は、顔領域が検出された場合に表示される実施例５のリピート対象領域指定画面の例である。図１５のリピート対象領域指定画面には、リピート対象領域の候補を切り替えるためのボタン１５０３と１５０４が追加されている。ステップＳ１３０３で顔を含む写真領域がリピート対象領域の初期領域として決定されたため、領域１５０１が初期のリピート対象領域として頂点ハンドラとともに表示され、かつ、顔領域が対象領域となっていることを示すボタン１５０３が選択された状態となっている。また、このとき、ボタン１５０４は非選択状態となっており、原稿領域１５０２の内側の部分領域１５０５も非対称領域であることが識別できるように、網掛け表示（またはグレーアウト表示）されるようにしてもよい。

図１５のリピート対象領域指定画面において、原稿領域を選択するためのボタン１５０４（または、領域１７０５）が、ユーザにより選択された場合、ＣＰＵ１１１は、Ｓ３０２で検出された原稿領域を、リピート対象領域として表示切替するように制御する。ボタン１５０４が選択された場合のリピート対象領域指定画面の例を、図１６に示す。

図１６では、原稿領域を指定するためのボタン１６０４が選択状態となり、顔領域を指定するためのボタン１６０３が非選択状態となり、且つ、リピート対象領域として原稿領域１６０１が頂点ハンドラとともに表示される。図１６の画面において、顔領域を選択するためのボタン１６０３（または顔領域１６０２の内部領域１６０５）が、ユーザにより選択された場合は、図１５の画面に戻って、リピート対象領域は顔領域に切り替わる。

以上のように、実施例５では、顔領域が検出された場合、顔領域と原稿領域の選択切り替えをリピート対象指定画面において簡単に行うことができる。

（その他の実施例）
本発明は、上述した実施例の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行することによっても実現される。

Claims (12)

1. スキャン画像に対して画像解析処理を実行することにより原稿領域を検出し、当該検出した原稿領域に基づいて原稿画像の抽出と傾き補正とを実行することにより傾き補正後の原稿画像を得る抽出手段と、
   前記抽出手段で得られた前記傾き補正後の原稿画像に対応する領域を初期のリピート対象領域として、前記傾き補正後の原稿画像と当該リピート対象領域を示す枠とを表示し、かつ、ユーザの指示に基づいて当該リピート対象領域を示す枠の位置を変更するためのリピート対象領域指定画面を表示する第１の表示手段と、
   前記リピート対象領域指定画面において設定された枠に基づき確定されるリピート対象領域の画像を、指定された用紙サイズ内に繰り返しレイアウトすることにより、リピートレイアウト処理後の出力画像を作成するリピートレイアウト手段と、
   前記リピートレイアウト処理後の出力画像を用いて印刷処理を実行する印刷手段と、
   を備えることを特徴とする画像処理装置。
2. 前記リピートレイアウト手段で作成された出力画像のプレビュー画像を含むプレビュー画面を表示する第２の表示手段を更に備え、
   前記第１の表示手段は、前記プレビュー画面においてリピート対象領域の変更がユーザにより指示された場合に、前記リピート対象領域指定画面を表示する、ことを特徴とする請求項１に記載の画像処理装置。
3. 前記リピートレイアウト手段は、前記抽出手段で得られた前記傾き補正後の原稿画像を初期のリピート対象領域の画像として、前記指定された用紙サイズ内に繰り返しレイアウトすることにより、リピートレイアウト処理後の出力画像を作成し、
   前記第２の表示手段は、前記初期のリピート対象領域の画像に基づき作成されたリピートレイアウト処理後の出力画像のプレビュー画像を含むプレビュー画面を初期表示する、ことを特徴とする請求項２に記載の画像処理装置。
4. 前記リピートレイアウト手段で作成された出力画像のプレビュー画像を含むプレビュー画面を表示する第２の表示手段を更に備え、
   前記第１の表示手段で表示される前記リピート対象領域指定画面は、前記第２の表示手段で表示される前記プレビュー画面より先に表示されるものであり、
   前記第２の表示手段は、前記リピート対象領域指定画面において確定された枠に基づき特定されるリピート対象領域の画像を用いて前記リピートレイアウト手段で作成されたリピートレイアウト処理後の出力画像のプレビュー画像を含むプレビュー画面を表示する、ことを特徴とする請求項１に記載の画像処理装置。
5. 前記リピートレイアウト手段で作成された出力画像のプレビュー画像を含むプレビュー画面を表示する第２の表示手段と、
   前記抽出手段で得られた前記傾き補正後の原稿画像が所定の条件を満たすか否か判定する判定手段と、を更に備え、
   前記判定手段で前記傾き補正後の原稿画像が前記所定の条件を満たすと判定した場合は、前記第１の表示手段で前記リピート対象領域指定画面を表示させ、
   前記判定手段で前記傾き補正後の原稿画像が前記所定の条件を満たさないと判定した場合は、前記抽出手段で得られた前記傾き補正後の原稿画像を初期のリピート対象領域の画像とし、前記リピートレイアウト手段で当該初期のリピート対象領域の画像に基づき作成されたリピートレイアウト処理後の出力画像のプレビュー画像を含むプレビュー画面を、前記第２の表示手段で表示させる、ことを特徴とする請求項１に記載の画像処理装置。
6. 前記判定手段は、前記傾き補正後の原稿画像のサイズが所定のサイズより大きい場合に前記所定条件を満たす、と判定することを特徴とする請求項５に記載の画像処理装置。
7. 前記判定手段は、前記傾き補正後の原稿画像内に、複数の属性の領域が含まれる場合に前記所定条件を満たす、と判定することを特徴とする請求項５に記載の画像処理装置。
8. 前記抽出手段で得られた前記傾き補正後の原稿画像から、人物の顔を含む写真領域を検出する顔検出手段を、更に有し、
   前記顔検出手段で前記写真領域が検出されなかった場合、前記第１の表示手段は、前記抽出手段で得られた前記傾き補正後の原稿画像に対応する領域を初期のリピート対象領域として、前記傾き補正後の原稿画像と当該リピート対象領域を示す枠とを表示し、かつ、ユーザの指示に基づいて当該リピート対象領域を示す枠の位置を変更するためのリピート対象領域指定画面を表示し、
   前記顔検出手段で前記写真領域が検出された場合、前記第１の表示手段は、前記顔検出手段で検出された前記写真領域を初期のリピート対象領域として、前記傾き補正後の原稿画像と当該リピート対象領域を示す枠とを表示し、かつ、ユーザの指示に基づいて当該リピート対象領域を示す枠の位置を変更するためのリピート対象領域指定画面を表示する、
   ことを特徴とする請求項１に記載の画像処理装置。
9. 前記顔検出手段で前記写真領域が検出された場合、前記第１の表示手段は、前記リピート対象領域を、前記抽出手段で得られた前記傾き補正後の原稿画像に対応する領域に切り替えるためのボタンを前記リピート対象領域指定画面内に更に表示する、ことを特徴とする請求項８に記載の画像処理装置。
10. コンピュータを、請求項１乃至９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
11. 請求項１０に記載のプログラムを格納した、コンピュータ読み取り可能な記憶媒体。
12. スキャン画像に対して画像解析処理を実行することにより原稿領域を検出し、当該検出した原稿領域に基づいて原稿画像の抽出と傾き補正とを実行することにより傾き補正後の原稿画像を得る抽出ステップと、
    前記抽出ステップで得られた前記傾き補正後の原稿画像に対応する領域を初期のリピート対象領域として、前記傾き補正後の原稿画像と当該リピート対象領域を示す枠とを表示し、かつ、ユーザの指示に基づいて当該リピート対象領域を示す枠の位置を変更するためのリピート対象領域指定画面を表示する第１の表示ステップと、
    前記リピート対象領域指定画面において設定された枠に基づき確定されるリピート対象領域の画像を、指定された用紙サイズ内に繰り返しレイアウトすることにより、リピートレイアウト処理後の出力画像を作成するリピートレイアウトステップと、
    前記リピートレイアウト処理後の出力画像を用いて印刷処理を実行する印刷ステップと、
    を有することを特徴とする画像処理方法。

Images