JP2005073015A - 画像処理装置及び画像処理方法及びコンピュータプログラム - Google Patents

Abstract

【課題】 画像の概要を示すサムネール表示において、階調画像の場合は、階調領域全体の画像を表示し、文字画像の場合は、文字画像の一部分を拡大して表示することで文字を理解可能に表示することができるサムネールを作成する。
【解決手段】 画像が文字画像か階調画像かどうかの判定を行い、階調画像の場合は、プレビュー倍率を設定する。一方、文字画像の場合は、プレビュー倍率を設定し、次に文字部分と背景部分を分離するヒストグラムを用いて、ページ内で文字が存在する座標を検出することでプレビュー座標を設定し、それらの設定された値を用いてサムネール表示を行なう。
【選択図】 図１１

Description

本発明は、画像処理装置及び画像処理方法及びコンピュータプログラムに関するものである。

作成した印刷データが実際にどのように印刷されるかを知るために、印刷前にディスプレイ上で目視により確認できる印刷プレビュー機能がある。

プレビュー機能において、画像全体を縮小し表示するサムネール表示を見ることによって、入力した画像の内容がどのようなものであるかを知ることができる。この方式は、特にコピー機による多枚数のページの画像処理を行なう際に便利であり、その場合はプレビューディスプレイ領域にサムネール画像を多枚数並べて表示を行なう場合が多い。

また、プレビュー機能において、印刷イメージの詳細を知るために、ユーザが拡大モードを選択した場合に、印刷時の物理的解像度での画素数のデジタルデータを作成し、それをディスプレイに表示し、どの位置を拡大表示するかを手動で試行錯誤により指定することで、細部の確認が行なえる（例えば、特許文献１参照）。
特開２００１−６３１５５

しかしながら、上記で説明したデジタル複写機等の、デジタル画像入出力装置におけるプレビュー機能に関して従来の方法には以下のような課題があった。

すなわちサムネール（ｔｈｕｍｂｎａｉｌ，簡略表示部分画像）で画像を表示する目的は、単に画像を縮小して並べる事自体が目的では無く、多ページにわたる入力画像の画像情報の要約を認識して判断の材料にできる事が目的であるが、コピー文書のような入力画像に文字情報が多く含まれている場合、１ページを縮小して表示する従来のサムネール表示では、その本来目的とするところのページの概要を理解する事が困難で、単にページが文字画像であるらしいという事がわかるだけであるという課題があった。

ここで、書類がＡＳＣＩＩコードのようなテキストデータを含んで記述されている場合には、その見出し（キャプション）を表示する事で書類の内容に関する概要をユーザーが知ることができ、例えばパーソナルコンピュータのソフトウェアとしても実現されている。しかし、スキャナで取り込んだ画像やデジタルカメラで撮影した一般の画像に文字が含まれている場合、画像データにキャプションが用意されていないので、このような事はできず、また世の中に流通するデジタル書類のフォーマットは多数存在するため上記のテキストで見出し表示が可能な場合は限られており、ほとんどの場合には上記と同様、ページの概要を理解する事が困難で、単にページが文字画像であるらしいという事がわかるだけであるという課題があった。

また、サムネール画像を拡大縮小表示して見る場合、拡大縮小する位置と拡大縮小率を手動により設定することで、試行錯誤が多く必要であった。

本発明は、上記問題に鑑みてなされたものであり、デジタル画像印刷装置に入力された画像の概要を示すサムネール表示において、階調画像の場合は、階調領域全体の画像を表示し、文字画像の場合は、文字画像の一部分を拡大して表示することで文字を理解可能に表示することができるサムネール表示を行なうことを目的とする。

上記課題を達成するために、画像が文字画像か階調画像かどうかの判定を行なう判定手段と、前記判定手段の判定結果に基づいて、前記画像が文字画像と判定された場合、前記文字画像の一部分を拡大したサムネール表示を行なう表示手段とを有することを特徴とする。

本発明によれば、画像処理装置内の画像データのサムネール表示において、文字画像の場合には、文字を拡大して部分表示することで文字を理解可能に表示でき、階調画像の場合には、階調領域全体の画像を表示することでどのような画像が表示されているか理解することができる。

以下、本発明の好適な実施例の一例を挙げてその原理を説明する。以下は、本発明の原理に基づく実施形態を例示しまた理解を助ける為に説明を行ったものであり、本発明の適用範囲が必ずしもこの実施例の詳細によって限定されるものではない。

図１と図２において、１０００は本発明の実施例を説明する為のデジタル画像入出力装置である。本実施例では、画像入力部（スキャナ部）９００と画像出力部（プリンタ部）８００とにより構成されている。図３は、図２の画像出力部８００の上面のディスプレイ表示部１０を上方から見た図を示したもので、１０はプレビューを表示する為のディスプレイ表示部１０であり、８８は、ディスプレイ表示部１０内の領域にあるプレビュー表示部８８である。また、１２はディスプレイ部１０上に配置されたユーザーインターフェース用スイッチである。１０は感圧式タッチパネルになっており、ユーザーは１２を押すことにより各種操作を行なう。画像入力部９００から読み込まれた画像は実際に印刷される前にプレビューとして表示される。プレビュー表示部８８にはサムネール表示機能があり、図４にはプレビュー表示部に、画像入力部より読み込んだ複数ページのサムネール表示を行う小区画ウィンドウ９０から９７を配置した場合を示している。この図４の例では、８枚のウインドウにより８ページ分のサムネール表示用のウインドウが用意されている。

図５は本実施例の基本原理を示す図で、入力されたページ画像の概要を示すサムネールにおいて、文字画像の場合には高解像度でその文章の先頭と推測される部分を表示するようにすることで、ページの概要を理解することが容易になっている。一方自然画などの階調画像の場合には、ページ全体を表示することで、ページの概要を理解することが容易になっている。

図５の基本原理を補完して説明するために、以下従来例との比較による本発明の実施例の特徴、および本発明の処理のより詳細な手順を示していく。

図６は従来のプレビューによるサムネール表示の例である。図６では読み込んだ入力ページ画像として８ページの画像データを、各々入力画像２０、入力画像２１、入力画像２２．．．入力画像２７として表しており、入力画像２３と２７は図では省略されている。これらの入力画像が図の通り、点線で囲まれた領域すなわち各ページごとの画像全体を縮小して、小区画ウィンドウ９０から９７にサムネール画像として表示されている。

入力画像の各ページに対し、図６の通り、従来の方式では、複数の読み込み画像の概要を知る為にページ全体の縮小画像を表示していた。この場合、入力画像２０や２２のような階調画像においては、適切に入力画像のデータ内容についてユーザーが理解する事ができる。しかし、入力画像２１や２４のような文字中心の画像データを読み込んだ場合には、サムネール表示領域９１や９４のようにデータが文字中心であることは理解できても、その際にプレビュー表示を行なう目的である、内容の概要理解には効果が無い。

そこで、この実施例においては、図７に示す構成により動作する事で図５の機能を実現し、ユーザがページの内容を理解できるようにする。

図７は装置構成例を示すブロック図である。本実施例におけるこのブロック図では、特に本発明に関連した部分を抽出して説明しており、また実際の物理的構成（信号処理ＬＳＩ、プリント基板、印刷装置機械部分、等）と論理的ブロックが１対１で同一に対応した構成として限定されないが、本発明の原理としては同一の効果が得られるものである。

５０は装置全体を示すブロックであり、５１は画像読み込み部５１、５２は像域判定部５２、５３はプレビュー変数設定部５３、５４はプレビュー画像データ生成部５４、５５は印刷用の画像処理を行なう文字領域画像処理部５５、５６は同じく印刷用の画像処理を行なう階調領域画像処理部５６、５７は印刷画像データを生成する印刷画像データ生成部５７、５８はプレビュー画像表示部５８、５９は印刷部５９、６０はユーザ入力部６０である。

図７において、太字の矢印は画像データの流れを、細字の矢印は本発明に関連する制御信号の流れを示している。

画像読み込み部５１で読み込まれた１ページの画像は、像域判定部５２により、報告書などの文字画像が主である画像か、あるいは自然画や風景等の階調画像が主である画像であるかが判定される。像域判定部５２により読み込んだデジタル画像に対し文字画像、あるいは階調画像であるという属性が付与される。

この方法の例として、図８に示す通り、画像データの値のヒストグラムを計算する事で、階調画像か、あるいは文字画像かを判定することができる。図８（ａ）、（ｂ）はそれぞれ図８（ａ）は文字画像の画像データ、図８（ｂ）は風景等の階調画像の画像データのヒストグラムであり、横軸は輝度Ｙデータの値、縦軸は画像内のデータ個数である。図８（ａ）の場合、画像データ個数のピークが高輝度と低輝度の部分にあり、このようなヒストグラムの場合、高輝度の部分が背景の白地、低輝度の部分が文字の黒い部分と判定され、この画像データは文字画像であると推測判定することができる。また図８（ｂ）の場合、画像データ個数が一様に分布している為、このようなヒストグラムの場合、文字画像のような特徴が無く、しかも何らかの階調を持った画像データが分布している為、この画像データは階調画像であると推測判定する事ができる。

この判定結果をもとに、それぞれの属性に応じた画像処理が行なわれる。読み込んだデジタル画像の属性が文字画像の場合、文字領域画像処理部５５にて文字画像に最適化された画像処理を行う。文字画像に最適化されたデジタル画像処理は、例えば電子写真方式の印刷部を用いた例としては、印刷部の物理的最大解像度に合わせた高精細なドットで表現しかつ安定した小ドットを生成する為にコントラストの高い２値で表現する方法がある。また、階調画像に最適化されたデジタル画像処理は、例えば電子写真方式の印刷部を用いた例としては、文字画像の場合とは逆に解像度を下げて１つのドット当りの面積を大きくする事で１ドット内の面積比で表現する多値階調表現を安定化させる方法があり、これらの方法は電子写真による印刷技術の手法としてよく知られているものである。このようにして像域判定後に適切な表現になるように処理された画像データは印刷画像データ生成部５７においてルックアップテーブルによる階調カーブ補正等を行い、出力直前の１つのデジタル画像データとして生成され、紙への印刷を行なう印刷部５９へと送られる。

ここで、本実施例での像域判定部５２はある画像領域に対して上述のヒストグラム計算による像域判定を行うが、この判定領域として１ページを例えば矩形に分割して分割領域ごとに像域を判定する事ができるので、この矩形ごとの像域判定結果を装置で保持すると同時に、各分割領域の判定結果を総合してページ全体としての判定結果も決定することができる。

本実施例では、画像読み込み部５１で読み込まれたデジタル画像データを用いプレビュー表示を行なうプレビュー機能を実現する。本実施例でのプレビューの機能としては読み込み画像の拡大縮小（ズーム）、表示領域の上下左右の表示位置（ＸＹ座標）の移動があり、それらのプレビュー変数を変更することで、それに応じた画像がプレビュー画像表示部５８に表示される。

入力画像データは像域判定部５２で文字画像あるいは階調画像の属性が付与されており、この属性を参照してプレビュー変数設定部５３でプレビュー変数を初期設定してサムネール表示に用いる。プレビュー変数設定部５３では、次のように動作する。像域判定の結果が階調画像の場合には、拡大縮小（ズーム）倍率を最小としてそのページに関するサムネールとしてページ全体を表示するようにする。本実施例では１００％（最小）から８００％（最大）まで拡大縮小できるので、この場合１００％となる。なお、ここで説明する１００％の値は、サムネール表示窓でページ全体が１００％表示できる倍率設定を指す。表示位置（ＸＹ座標）は全体表示なのでこの場合関係しない。

一方でもし、像域判定の結果が文字画像の場合には、拡大縮小（ズーム）倍率を倍率より大きい所定の拡大倍率とする。ここでは参考例として８００％とする。この場合には画像が拡大されて部分表示されるので、その表示位置を決める事が必要になる。本実施例におけるこの方法について図９を用いて説明する。

図９では像域判定部５２で文字画像領域と判定された領域のヒストグラムを示している。図９（ａ）は図８（ａ）と同じく文字領域と判定された領域のヒストグラムで、データ個数に文字部分と背景地部分のピークが見られる。一方図９（ｂ）のヒストグラムでは、この領域には背景地部分しか見られないと推測されるので、背景の白地が続く部分と判定される事ができる。この判定を用いてプレビュー拡大表示時の表示位置を決定する。

図１０に１ページの画像に関してこの判定方法を用いる方法を示す。図１０（ａ）は文字画像を像域判定する際の領域分割の方法について示したもので、１ページを図のように小区画の矩形に分割し、それぞれの矩形領域に関して、前述図９における判定、すなわち背景部分と文字が存在する部分の区別を行う。図では各矩形のうちで、文字”Ｏｎｃｅ ｕｐｏｎ ａ ｔｉｍｅ…”の存在する部分が文字部分で、空白の矩形が背景部分である。図１０（ｂ）では各矩形部分の判定結果が示されている。図１０（ｂ）で７１は背景矩形部７１で、７２と７５は文字存在矩形部である。ここで、本実施例では、１ページの画像において、各矩形領域を左上から順次水平方向に、背景部であるか文字存在部であるかを判定しながら走査する。右端に達した時点で垂直方向に１段下げて再度左端から水平方向に判定しながら走査する。これを繰り返して最初の文字存在矩形部を確定する。この結果、図１０（ｂ）の文字存在矩形部７５が見つかるので、この７５の位置をプレビュー拡大表示時の表示位置とする。本実施例ではプレビュー表示位置（ＸＹ座標）はプレビュー表示の左上の座標を示すように設定している。

以上の手順のフローチャートを図１１に示す。図１１において、まずステップＳ１で画像読込みを行い、次にステップＳ２で、作成した図８のヒストグラムより、文字画像であるか階調画像であるかの像域判定を行なう。階調画像である場合は、ステップＳ３でプレビュー倍率を設定する。一方、文字画像である場合は、ステップＳ４でプレビュー倍率を設定し、ステップＳ５で図９のヒストグラムを用いて、ページ内で文字が存在する座標を検出し、プレビュー座標を設定する。それらの設定された値を用いてステップＳ６でプレビュー表示を行う。

この図１１の制御を読み込みページごとに行い、各々のページに応じたサムネールを表示する。この原理全体を表した図が図５である。図５では、入力データの点線の部分をサムネール表示としてディスプレイに表示しており、従来例である図６との比較により、図５の効果が明らかとなっている。

なお、上記の方法で拡大縮小倍率と表示位置が設定されプレビュー表示が行なわれるが、プレビュー表示後、手動で拡大縮小倍率と表示位置を設定し、さらに詳細に見ることができる。

また、本実施例では１ページの画像において、各矩形領域を左上から順次水平方向に走査していったが、左上にかぎらずどの方向から走査してもよい。また、本実施例ではプレビュー表示位置を左上の座標としたが、左上以外のどの座標を設定してもよい。

また、本実施例で使われる判読可能とは、ユーザが読むことができるある程度以上の大きさで文字が表示されることをいう。

以上示したように、本実施例の構成とすることで、デジタル画像印刷装置でのサムネール機能において、入力されたページ画像の概要を示すサムネールにおいて、階調画像の場合には全体の画像を表示し、どのような画像であるか認識でき、また文字画像の場合には高解像度でその文章の先頭と推測される部分を表示するようにすることで、その文字を理解できるので、サムネール表示の本来の目的である、“ページの概要を理解する“という目的が容易に達成される。

また、従来は文字表示による内容理解が、テキスト情報を含むコンピュータソフト用の文書等でのみ可能であったが、ビットマップとして読み込んだスキャナ読み込み画像でも、適切に高い確率でページの概要を理解できる。

さらに、ＯＣＲ（光学文字認識）などの精度の高い文字認識を絶対必要条件として要求しておらず、文字画像サムネール表示に関しては、その表示が適切か、それとも誤認識によるものかどうかは人間の文章理解能力に依存するため、実用的な観点からはコストパフォーマンスに見合う認識成功率で十分である（要するに認識失敗しても、ベストエフォートで表示されれば良い）。その結果、本発明に特化した像域分離やプレビュー変数設定の為の装置を必要とせず、従来の印刷用の像域分離機能を再利用でき、また既存の画像処理システム構成を変更すること無く既存システムに追加する形で本発明の機能を実現できる。

また、本実施例では、画像処理装置内の画像データのサムネール表示に関して述べたが、印刷前の画像を予備的にＰＣのディスプレイに表示する印刷プレビューのプレビュー表示やデジタルカメラのディスプレイのサムネール表示部にも適用することができる。

［他の実施例］
上記の実施例の基本形では文字が主体の画像に関して一般流通画像において平均的に使われる文字の大きさからズーム倍率を規定しているが、一般に、はがきやカード等の原稿サイズが小さいものには極端に大きな文字は使われない可能性が高いので、原稿サイズを検知して、そのサイズに従いズーム倍率の設定を変更することができる。

この場合、原稿サイズごとに一般流通画像において平均的に使われる文字の大きさを各種サンプル画像を収集して統計データをとり、規定ズーム倍率を決めておく方法が実施例としてあげられる。

また他の実施例として、装置のコストに関して相対的に余裕がありＯＣＲ（光学文字認識）が搭載されていて高速に使える場合、上記像域分離部の代わりにＯＣＲを用いて文字の位置およびサイズを正確に判定する事で、プレビュー変数をより正確に決定することができ、上記の文字画像のサムネール表示の精度を更に向上させることができる。

本発明の実施の形態のデジタル画像入出力装置を示す図 本発明の実施の形態のデジタル画像入出力装置を上から見た図 画像入出力装置の上面のディスプレイ表示部を示す図 ディスプレイ表示部に、画像入力部より読み込んだ複数ページのサムネール表示を行なう小区間ウィンドウを配置した図 プレビューサムネールを示す本発明の主要概念の図 プレビューサムネールを示す従来の処理の図 本発明の実施の形態の装置構成例を示すブロック図 像域分離部の動作を示す図 文字領域中で先頭文字位置判定を行なう図 文字画像を像域判定する際の領域分割の方法について示した図 本発明の実施の形態の処理手順を示すフローチャート

Claims (11)

1. 原画像からサムネール画像を生成し、前記サムネール画像の表示を行なう場合、特徴のある原画像を拡大して表示を行なうことを特徴とする画像処理装置。
2. 画像が文字画像か階調画像かどうかの判定を行なう判定手段と、
   前記判定手段の判定結果に基づいて、前記画像が文字画像と判定された場合、前記文字画像の一部分を拡大したサムネール表示を行なう表示手段と、
   を有することを特徴とする画像処理装置。
3. 前記判定手段において、光学文字認識処理を用いて判定することを特徴とする請求項２に記載の画像処理装置。
4. 画像が文字画像か階調画像かどうかの判定を行なう判定手段と、
   前記判定手段の判定結果に基づいて、前記画像が文字画像と判定された場合、前記文字画像の一部分を拡大したサムネール表示を行なうプレビュー変数を決定する決定手段と、
   を有することを特徴とする画像処理装置。
5. 前記プレビュー変数は、拡大縮小倍率および／またはプレビュー表示位置の座標値であることを特徴とする請求項４に記載の画像処理装置。
6. 前記プレビュー変数をユーザが指定する指定手段を有することを特徴とする請求項４に記載の画像処理装置。
7. 前記プレビュー表示位置の座標値は、画像を小区画の矩形に分割し、各矩形領域を文字領域か背景領域か判定するために走査することで決定されることを特徴とする請求項５に記載の画像処理装置。
8. 原画像からサムネール画像を生成し、前記サムネール画像の表示を行なう場合、特徴のある画像を拡大して表示を行なうことを特徴とする画像処理方法。
9. 画像が文字画像か階調画像かどうかの判定を行なう判定ステップと、
   前記判定ステップの判定結果に基づいて、前記画像が文字画像と判定された場合、前記文字画像の一部分を拡大したサムネール表示を行なう表示ステップと、
   を有することを特徴とする画像処理方法。
10. 画像が文字画像か階調画像かどうかの判定を行なう判定ステップと、
    前記判定ステップの判定結果に基づいて、前記画像が文字画像と判定された場合、前記文字画像の一部分を拡大したサムネール表示を行なうプレビュー変数を決定する決定ステップと、
    を有することを特徴とする画像処理方法。
11. 上記請求項８乃至１０のいずれか１項に記載の画像処理方法におけるステップをコンピュータに実現させるためのプログラム。

Images