JP3624153B2

JP3624153B2 - Image processing apparatus and image processing method

Info

Publication number: JP3624153B2
Application number: JP2000341965A
Authority: JP
Inventors: 信孝三宅
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2000-11-09
Filing date: 2000-11-09
Publication date: 2005-03-02
Anticipated expiration: 2020-03-02
Also published as: JP2001189851A

Description

【０００１】
【発明の属する技術分野】
本発明は、入力した低解像情報を高解像情報に解像度変換する画像処理装置及び画像処理方法に関する。
【０００２】
【従来の技術】
従来より、入力装置と出力装置の解像度が異なる場合や、解像度の異なる装置間で通信を行う場合等に、低解像情報を高解像情報に変換することが行われている。
【０００３】
そして、入力した低解像情報を高解像情報に解像度変換する方法として、様々な方法が提案されている。提案されている従来方法は、対象となる画像の種類（例えば、各画素ごとに階調情報の持つ多値画像、疑似中間調により２値化された２値画像、固定閾値により２値化された２値画像、文字画像等）によって、その変換処理方法が異なっている。本発明で対象としている画像は各画素ごとに階調情報を持つ自然画像等の多値画像であるが、従来より知られている多値画像に対する変換方法である内挿方法には図１０に示すような、内挿点に最も近い同じ画素値を配列する最近接内挿方法、図１１に示すような内挿点を囲む４点（４点の画素値をＡ、Ｂ、Ｃ、Ｄとする）の距離により、以下の演算によって画素値Ｅを決定する共１次内挿法等がある。
【０００４】
Ｅ＝（１−ｉ）（１−ｊ）Ａ＋ｉ・（１−ｊ）Ｂ＋ｊ・（１−ｉ）Ｃ＋ｉｊＤ
（但し、画素間距離を１とした場合に、Ａから横方向にｉ、縦方向にｊの距離があるとする。（ｉ≦１、ｊ≦１））
【０００５】
【発明が解決しようとする課題】
しかし、上記従来例には、以下に示す欠点がある。
【０００６】
すなわち、図１０の方法は構成が簡単であるという利点はあるが、対象画像を自然画像等に用いた場合には拡大するブロック毎に画素値が決定される為、視覚的にブロックが目立ってしまい画質的に劣悪であるといった欠点がある。
【０００７】
また、文字、線画像、ＣＧ（コンピュータグラフィック）画像等に用いた場合でも、拡大するブロック毎に同一画素値が連続する為、特に、斜線等には、図１２（ａ）、（ｂ）に示す様にジャギーといわれるギザギザの目立った劣悪な画像になってしまう。図１２では、縦横ともに２倍の解像度変換の例であるが、倍率が大きくなればなるほど、劣化は大きくなる（図中の“２００”、“１０”は画素値である。）。
【０００８】
図１１の方法は自然画像の拡大には一般的に良く用いられている方法である。この方法では、平均化され、スムージングのかかった画質になるが、エッジ部や、シャープな画質が要求される部分には、ぼけた画質になってしまう。さらに、地図等をスキャンした画像や、文字部を含む自然画像の様な場合には、補間によるぼけの為に、大切な情報が受け手に伝わらないこともある。
【０００９】
図１２（ｃ）は図１１の方法により、図１２（ａ）の入力画像情報を縦横２倍ずつに補間処理をした画像情報を示している。
【００１０】
図１２（ｃ）からも明らかな様に、斜線周辺のみならず、斜線そのものも画素値が均一にならず、ぼけが生じてしまう。
【００１１】
また、解像度変換（画素密度変換）をプリンタ等の画像出力装置内部に持たせた時の応用を想定して考えてみる。プリンタでは、ホストコンピュータから送信されてくる画像情報が、イメージスキャナ等の画像入力装置から入力した自然画像情報であったり、ホストコンピュータ上のアプリケーションソフトにて人工的に作成した文字、線画情報であったり、また、ＣＧ（コンピュータグラフィック）であったりと様々な状況が考えられる。これらの画像情報の解像度変換をプリンタ内で行う時に、いかなる性質の画像かという属性が識別信号として、画像ごとに送信されてくれば良いが、昨今は識別信号なしで送信されるシステム構成が増えている。
【００１２】
この場合、従来は図１１の方法により、全画像情報の解像度変換が実行されることが多い。つまり、文字、線画像等の人工的に作成されたものには多少、犠牲になってもらい（図１２（ｃ））、自然画像を優先することが行われてきている。プリンタでは、文字、線画が見ずらいのは致命的である。言い換えると、１画素当たり多階調が出力可能な高精彩なプリンタ等では、そのエンジンの出力解像度に見合う良好な解像度変換が実現されていなかった。
【００１３】
本発明は上述した従来技術の欠点を除去するものであり、文字、線画像と自然画像が混在している画像を高解像情報に変換する場合、低解像の画像情報で発生しているエッジを崩すように平滑化処理し、平滑化処理より鈍ったエッジから新たな高解像度に見合った急峻なエッジを作成するように解像度変換することで、文字、線画部分に対してはジャギーを発生することなく鮮明にエッジを再現でき、更に自然画像に対しては、補間ぼけの発生を抑えた高画質な画像を作成することができる画像処理装置及び画像処理方法の提供を目的とする。
【００１４】
【課題を解決するための手段】
上述した目的を達成するため本発明の画像処理装置は、低解像の多階調の画像情報を高解像情報に解像度変換する画像処理装置において、低解像の画像情報を入力する入力手段と、前記入力手段により入力した画像情報に含まれるエッジ部の階調変化が小さくなるように平滑化処理する平滑化手段と、前記平滑化手段における平滑化処理後に、低解像の画像情報を高解像の画像情報となるように補間する補間手段と、前記補間手段によって補間された高解像の画像情報に対して、前記平滑化手段で平滑化されたエッジ部の階調変化を大きくするようにエッジを作成するエッジ作成手段と、を有する。
【００１５】
また、本発明の画像処理方法は、低解像の多階調の画像情報を高解像情報に解像度変換する画像処理方法において、低解像の画像情報を入力する入力工程と、前記入力工程により入力した画像情報に含まれるエッジ部の階調変化が小さくなるように平滑化処理する平滑化工程と、前記平滑化工程における平滑化処理後に、低解像の画像情報を高解像の画像情報となるように補間する補間工程と、前記補間工程によって補間された高解像の画像情報に対して、前記平滑化工程で平滑化されたエッジ部の階調変化を大きくするようにエッジを作成するエッジ作成工程と、を有する。
【００１６】
以上の構成において、入力した低解像情報から高解像情報に変換する際に、人工的に作成された文字、線画像等と自然画像が同じ１枚の画像中に混在してある場合でも、人工的な画像の部分に関しては、ジャギーの発生しない、エッジのくっきりした変換が、また、自然画像の部分に関しては、補間ぼけが発生しない良好な画像の作成が実現できる。
【００１７】
【発明の実施の形態】
（第１の実施の形態）
図１は本発明にかかる第１の実施の形態を表す要部ブロック図である。本発明の画像処理装置は、主としてプリンタ等の画像出力装置内部に具備することが効率的であるが、画像出力装置以外の画像処理装置、ホストコンピュータ内のアプリケーションソフトとして内蔵することも可能である。
【００１８】
図１のブロック図に沿って本実施の形態の動作手順を説明していく。本実施の形態では、入力した画像情報を縦Ｎ倍、横Ｍ倍（Ｎ、Ｍはそれぞれ２以上の整数）の画素数の情報に変換する例について述べる。
【００１９】
図中１００は入力端子を示し、低解像の画像情報が入力される。画像情報は１画素当たり多階調の情報とする。入力した低解像情報は、一時、数ライン分のラインバッファ１０１に格納される。ウインドウ作成手段１０２は、ラインバッファ１０１の格納情報より、注目画素周辺の画素群をレジスタ等に格納する手段を示す。図２（ａ）にウインドウの一例を示す。これは、３×３のウインドウであり、注目画素は中心のＥの画素である。ウインドウは、注目画素の処理に伴って、１画素ごと走査していく。本実施の形態では、後述する平滑化処理の為に、図２（ｂ）の３×３のウインドウとそれを含む５×５のウインドウを作成する。
【００２０】
１０３は、階調数検出手段で、ウインドウ内の階調の数（種類）を検出する手段である。図３を用いて説明すると、３×３のウインドウ内で、図３（ａ）では、階調数は１、（ｂ）では階調数は２、（ｃ）では階調数は６となっている。すなわち、ウインドウ内に幾種の値が存在するのかを検出している。本実施の形態では、このウインドウ内の階調数が、注目画素の解像度変換処理後の（Ｎ×Ｍ）画素内（以下、注目画素ブロックと称す）の階調数決定に大きく起因することが大きな特徴である。
【００２１】
１０４は、平滑化手段を示し、注目画素のみならず、ウインドウ内を平滑化する手段である。いま、例えば、図４の平滑化フィルタを用いて、図２（ｂ）のウインドウを処理すると、３×３のウインドウ内は図５の様に変換される。
【００２２】
１０５はスイッチを示し、階調数検出手段において、階調数が２以下と判断されたか、否かで切り換える。階調数が２以下（２と１）の場合には、端子Ａに、それ以外は端子Ｂに接続される。
【００２３】
１０６は補間手段を示し、注目画素１画素を（Ｎ×Ｍ）の画素に補間する。これは、主に共１次補間処理（以下、線形補間処理を称す）が用いられるが、他の公知の補間手段であっても良い。但し、周辺画素との連続性が失われるような補間手段は好ましくない。
【００２４】
１０７は、最大値、最小値検出手段であり、３×３のウインドウ内の画素値の最大値、最小値を検出する手段である。ウインドウ内の階調数が１種類の時には最大値と最小値は同じ値となる。
【００２５】
１０８は配置手段を示す。配置手段の一例を図６に示す。
【００２６】
図６中、破線で囲んだ部分が配置手段１０８を示す。２００は閾値算出手段を示し、入力した最大値、最小値より、２値化閾値を算出する。たとえば、閾値をＴＨ、最大値をＭＡＸ、最小値をＭＩＮとおくと、
ＴＨ＝（ＭＡＸ＋ＭＩＮ）／２
として算出する。２０１は２値化手段を示し、入力した（Ｎ×Ｍ）画素の注目画素ブロック内の補間情報を、算出した閾値で２値化する。２０２は画素値代入手段を示し、２値化後のＴＨ以上の画素には最大値を代入し、ＴＨ未満の画素には最小値を代入する。代入後の注目画素ブロック内には、ウインドウ内の最大値、最小値が配置されたブロックになる。
【００２７】
図１、１０９はスイッチを示し、配置手段で配置されたブロックか、補間手段１０６より直接出力されるブロックかを選択する。スイッチを司るのは、階調数検出手段１０３の階調の数であり、スイッチ１０５と同様、ウインドウ内の階調数が２以下の場合には、端子Ａに、それ以外の場合には端子Ｂに接続される。
【００２８】
１１０は、出力端子を示し、注目画素ブロック内の（Ｎ×Ｍ）画素の情報が出力される。
【００２９】
すなわち、本実施の形態では、ウインドウ内の階調数が２の場合には、必ず注目画素ブロック内の階調数も２、もしくは１になり、階調数が１の場合には、最大値、最小値とも同じ値である為に、注目画素ブロック内の階調数も１になる。ウインドウ内の階調数が３以上の場合には、補間手段から直接出力される為、注目画素ブロックの階調数は不定である。
【００３０】
尚、１１０から出力されるデータは多値データであるため、プリンタが多値記録できるものであればそのまま多値データを用いて記録を行い、プリンタが２値記録のものであれば、２値化処理の後記録を行う。
【００３１】
続いて本実施の形態の処理内容を説明する。
【００３２】
いま、本処理をプリンタ等の画像出力装置内の処理と想定して考えてみる。プリンタでは、ホストコンピュータから送信されてくる画像情報が、イメージスキャナ等の画像入力装置から入力した自然画像情報であったり、ホストコンピュータ上のアプリケーションソフトにて作成した文字、線画情報であったり、また、ＣＧ（コンピュータグラフィック）画像であったりと様々な状況が考えられる。これらの画像情報の解像度変換をプリンタ内で行う時に、いかなる性質の画像かという属性が識別信号として、画像ごとに送信されてくれば良いが、昨今は識別信号なしで送信されるシステム構成が増えてきている。
【００３３】
そこで、本実施の形態では、ウインドウ内に階調数が２の場合には、主に文字、線画像等、ホストコンピュータ上のＰＤＬ（ページ記述言語）や、様々なアプリケーションソフトにより作成した画像の可能性があると判断し、解像度変換する際にジャギー（ギザギザ）が発生しないような変換処理を実行する。
【００３４】
図７に本実施の形態の処理を実際の値を基に説明する。
【００３５】
図７（ａ）は、ある入力画像中の一部分である。今、破線で囲んだ画素が注目画素、一点鎖線で囲んだ部分がウインドウとする。図７（ａ）の画像はウインドウ内の階調数が２なので平滑化を行う。図７（ｂ）は、平滑化後の（ａ）と同じ部分の画素値を示している。破線の注目画素は平滑化の為、“２００”が“１５０”の値に変換されている。
【００３６】
図７（ｃ）は注目画素付近の線形補間後の画素値を示している。今、Ｎ＝Ｍ＝３として、１画素分が９画素に増加している。破線で囲んだ９画素が注目画素ブロックである。図７（ａ）のウインドウ内の階調数は２なので配置手段１０８による再配置を行う。まず、この注目画素ブロック内を２値化する。図７（ａ）のウインドウより、ＭＡＸ＝２００、ＭＩＮ＝５０であるので、２値化閾値は、ＴＨ＝１２５として２値化する。その結果を図７（ｄ）に示す。図７（ｅ）は、注目画素をずらして処理したあとの最終結果を示している。
【００３７】
この例からも明らかな様に、ジャギーを生じることなく、任意の倍率で良好な解像度変換が実現できる。また、ウインドウ内と同じく、注目画素ブロック内でも階調数を２に抑えている為、解像度上昇によるぼけもない。
【００３８】
ここで、入力画像情報の解像度依存性について考えてみる。ホストコンピュータ等で作成した文字、線画像等では、低解像時に生じているエッジは、原解像度に依存している為、解像度変換には邪魔な周波数成分が含まれている。その為、邪魔な周波数成分を消してから（エッジを崩してから）解像度変換して、新たな解像度に見合ったエッジ（高周波成分の情報）を作成する必要がある。
【００３９】
それに対して自然画像では、画像作成時にＬＰＦ（ローパスフィルタ）がかかっている為に、低解像時でも解像度フリーの状態に近い。すなわち、入力状態からエッジが崩された状態であるために、邪魔になる周波数成分が少ない。そこで本実施の形態では、ウインドウ内に階調数が３以上あると、注目画素は自然画像部に属する可能性があると判断し、平滑化手段、及び階調数を２にする配置手段は用いない。
【００４０】
（第２の実施の形態）
図８は、本発明第２実施の形態を説明する要部ブロック図である。
【００４１】
図２中、図１と同一部には同一番号を付してその詳細な説明は省略する。本実施の形態では、注目画素ブロック内の階調数の決定を、検出した周辺画素の階調数のみならず、周辺画素のコントラストの大きさも評価に含めていることに特徴がある。
【００４２】
図中、３００はコントラスト算出手段を示し、最大値、最小値検出手段１０７により検出された最大値、最小値から、その差分、すなわちコントラストを算出する手段である。算出されたコントラストは選択手段３０１に送信される。選択手段３０１では、前述の実施の形態同様、階調性検出手段１０３から検出された周辺画素の階調数の情報も入力する。選択手段３０１は、比較器を内蔵していて、入力したコントラストと、予め設定した閾値との比較を行い、閾値よりも大きいか、否かを判断する。閾値の設定は、実験的に求めても良い。選択手段３０１では、周辺画素の階調数が２、かつ、コトラストが、閾値以上の時にのみ、この注目画素は、人工的に作成された画像、すなわた、ホストコンピュータ上のアプリケーションソフト等により作成された文字、線画像、また、ＰＤＬ（ページ記述言語）等により展開された画像等であると判断する。
【００４３】
人工的な画像でない限り、例えば、イメージスキャナ等により入力したままの自然画像では、急峻なエッジ部だとしてもコントラストの高く、しかも階調数が２であることはないと仮定する。もし、自然画像中にそのようなエッジが存在しても、そのエッジは前述したように原情報の解像度に依存しているものであるから、ジャギーの発生しない解像度変換が必要である。
【００４４】
周辺画素の階調数が１である場合、コントラストは０になる。そこで、“階調数が１の場合”、及び、“階調数が２、かつ、コントラストが大”と判断された場合には、スイッチ１０５、スイッチ１０９にて端子Ａに接続し、前述した実施の形態にて説明したように平滑化にて解像度依存性を取り除き、補間した後に、最大値、最小値を配置することによって、良好な解像度変換が実行される。
【００４５】
（第３の実施の形態）
図９は、本発明第３の実施の形態を示す要部ブロック図である。図９中、図１、図８と同一部には同一番号を付してある。本実施の形態では、選択手段４００による場合分けが、前述の実施の形態よりも増えている。本実施の形態では、より高精彩な画像出力を期待するプリンタ等に有効である。
【００４６】
選択手段４００の入力は、前述した実施の形態同様、周辺画素の階調数と、コントラストであるが、本実施の形態では注目画素の属性を５種のカテゴリーに分類する。選択手段はスイッチ１０５、及びスイッチ４０１の接続を司るが、スイッチの切り換えは表１の示した様に設定する。
【００４７】
【表１】

【００４８】
まず、カテゴリーナンバー１として、階調性が１であった場合を想定する。階調性１の場合は、人工的な文字、線画像、また、自然画像の一部等、全ての場合が想定される。周辺画素がひとつの階調により成りたっているため、この場合には、０次補間手段４０２により、注目画素の画素値を（Ｎ×Ｍ）画素分繰り返す。
【００４９】
カテゴリーナンバー２として、周辺画素の階調数が２、かつ、コントラスト大の場合を想定する。この場合は、前述したように、人工的なものと判断し、スイッチ１０５、スイッチ４０１ではともにＡに接続して、注目画素ブロック内を階調数２以下に抑える。
【００５０】
カテゴリーナンバー３として、周辺画素の階調数が２、かつ、コントラスト小の場合を想定する。この場合は、カテゴリーナンバー１と同様、人工的なもの、自然画像ともに考えられる。もともとコントラストが小さいため、いかなる処理でも画質的には目立たないが、本実施の形態では０次補間手段４０２により出力する。
【００５１】
カテゴリーナンバー４として、周辺画素の階調数が３以上、かつ、コントラスト大の場合を想定する。この場合は、自然画像中のエッジ部にかかっている場合と想定する。その為、線形補間手段４０３のまま出力するのではなく、線形補間後の注目画素ブロック内を配置手段１０８にて階調性を２に調整した後の、合成手段４０４において、ある配分比率によって合成する。配分比率の設定は、予め実験的に求めても良いし、コントラストの大きさに依存させて動的に切り換えることも可能である。配置手段後の画像は、エッジを急峻にした画像であり、線形補間情報と合成することで、階調方向に滑らかなエッジが作成され、補間ぼけの少ない解像度変換が実現できる。
【００５２】
カテゴリーナンバー５として、周辺画素の階調数が３以上、かつ、コントラスト小の場合を想定する。この場合は、自然画像の平坦部と想定され、通常の線形補間手段により、注目画素ブロック内の情報を作成する。
【００５３】
以上、様々なカテゴリーに対する処理を示したが、この処理に限定されるものではない。また、カテゴリーの種類もこれに限定するものではない。また、ジャギーの発生しない解像度変換を平滑化手段によって示してきたが、この平滑化フィルタをウインドウ内の状態により、適応的に切り換えることも有効である。
【００５４】
また、配置手段を、図６の様な２値化手段により実現する例について説明したが、他の方式として、補間後の注目画素ブロック内の各画素をソートして、最大値、最小値を配置していく方式もある。この場合、例えば注目画素値をＭとすると、
Ｍ＝ａ・ＭＡＸ＋（１−ａ）・ＭＩＮ（０≦ａ≦１）
を満足するａの値を求め、注目画素ブロックのソートにより、画素値の大きい順から（ａ×Ｎ×Ｍ）画素分にＭＡＸ値を配置し、その他の画素にはＭＩＮ値を配置する方式も有効である。
【００５５】
【発明の効果】
以上説明したように、本発明によると、文字、線画像と自然画像が混在している画像を高解像情報に変換する場合、低解像の画像情報で発生しているエッジを崩すように平滑化処理し、平滑化処理より鈍ったエッジから新たな高解像度に見合った急峻なエッジを作成するように解像度変換することで、文字、線画部分に対してはジャギーを発生することなく鮮明にエッジを再現でき、更に自然画像に対しては、補間ぼけの発生を抑えた高画質な画像を作成することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を示す要部ブロック図。
【図２】ウインドウの例と、本実施の形態のウインドウの図。
【図３】ウインドウ内の階調数の説明図。
【図４】平滑化フィルタの例を示した図。
【図５】本実施の形態のウインドウ内の平滑化の説明図。
【図６】図１の配置手段の詳細構成を示す図。
【図７】本実施の形態の処理を実際の値を用いて説明した例を示した図。
【図８】本発明の第２の実施の形態を示す要部ブロック図。
【図９】本発明の第３の実施の形態を示す要部ブロック図。
【図１０】従来例である最近接内挿法を示した図。
【図１１】従来例である共１次内挿法を示した図。
【図１２】従来例の処理例を示した図。
【符号の説明】
１００入力端子
１０１ラインバッファ
１０２ウインドウ作成手段
１０３階調数検出手段
１０４平滑化手段
１０５、１０９スイッチ
１０６補間手段
１０７最大値、最小値検出手段
１０８配置手段[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus and an image processing method for converting resolution of input low resolution information into high resolution information.
[0002]
[Prior art]
Conventionally, when resolutions of an input device and an output device are different, or when communication is performed between devices having different resolutions, low resolution information is converted into high resolution information.
[0003]
Various methods have been proposed as a method of converting the resolution of the input low resolution information into high resolution information. The proposed conventional method is based on the type of target image (for example, a multi-valued image having gradation information for each pixel, a binary image binarized by pseudo halftone, and binarized by a fixed threshold value. The conversion processing method differs depending on the binary image, character image, and the like. The target image in the present invention is a multi-value image such as a natural image having gradation information for each pixel. FIG. 10 shows an interpolation method which is a conventionally known conversion method for multi-value images. As shown in FIG. 11, the closest interpolation method for arranging the same pixel values closest to the interpolation point, four points surrounding the interpolation point as shown in FIG. 11 (the pixel values of four points are A, B, C, and D). There is a bilinear interpolation method for determining the pixel value E by the following calculation according to the distance of
[0004]
E = (1-i) (1-j) A + i. (1-j) B + j. (1-i) C + ijD
(However, when the inter-pixel distance is 1, it is assumed that there is a distance i from the A and j in the vertical direction from A (i ≦ 1, j ≦ 1)).
[0005]
[Problems to be solved by the invention]
However, the conventional example has the following drawbacks.
[0006]
That is, the method of FIG. 10 has an advantage that the configuration is simple, but when the target image is used for a natural image or the like, the pixel value is determined for each block to be enlarged, so that the block is visually conspicuous. There is a disadvantage that the image quality is poor.
[0007]
Further, even when used for characters, line images, CG (computer graphic) images, etc., the same pixel value continues for each block to be enlarged. As shown in the figure, it becomes a noticeable inconspicuous image of jagged edges called jaggy. FIG. 12 shows an example of resolution conversion that is double in both the vertical and horizontal directions, but the larger the magnification, the greater the deterioration (“200” and “10” in the figure are pixel values).
[0008]
The method shown in FIG. 11 is a method that is generally used for enlarging a natural image. In this method, the image quality is averaged and smoothed, but the image quality is blurred in the edge portion and the portion where sharp image quality is required. Furthermore, in the case of an image obtained by scanning a map or a natural image including a character part, important information may not be transmitted to the receiver due to blurring due to interpolation.
[0009]
FIG. 12C shows image information obtained by interpolating the input image information of FIG. 12A twice vertically and horizontally by the method of FIG.
[0010]
As is clear from FIG. 12C, pixel values are not uniform not only in the vicinity of the hatched line but also in the hatched line, and blurring occurs.
[0011]
Consider an application when resolution conversion (pixel density conversion) is provided inside an image output device such as a printer. In a printer, image information transmitted from a host computer is natural image information input from an image input device such as an image scanner, or text and line drawing information artificially created by application software on the host computer. And various situations such as computer graphics (CG). When the resolution conversion of these image information is performed in the printer, the attribute of what kind of image should be transmitted as an identification signal for each image, but recently, the number of system configurations transmitted without an identification signal has increased. ing.
[0012]
In this case, conventionally, resolution conversion of all image information is often performed by the method of FIG. In other words, artificially created characters, line images, etc. are somewhat sacrificed (FIG. 12C), and priority is given to natural images. In printers, it is fatal that characters and line drawings are difficult to see. In other words, in a high-definition printer that can output multiple gradations per pixel, satisfactory resolution conversion corresponding to the output resolution of the engine has not been realized.
[0013]
The present invention eliminates the above-mentioned drawbacks of the prior art, and is generated with low-resolution image information when an image in which characters, line images, and natural images are mixed is converted into high-resolution information. Smoothing processing to break edges, and converting the resolution to create a steep edge corresponding to the new high resolution from the edge that is duller than the smoothing processing, jaggies are generated for characters and line drawings An object of the present invention is to provide an image processing apparatus and an image processing method capable of clearly reproducing an edge without generating an image and creating a high-quality image with reduced interpolation blurring for a natural image.
[0014]
[Means for Solving the Problems]
In order to achieve the above-described object, an image processing apparatus according to the present invention is an input processing unit for inputting low-resolution image information in an image processing apparatus that converts resolution of low-resolution multi-tone image information into high-resolution information. And smoothing means for smoothing so as to reduce the gradation change of the edge portion included in the image information input by the input means, and after the smoothing processing in the smoothing means , the low-resolution image information is Interpolating means for interpolating so as to obtain high-resolution image information, and for the high-resolution image information interpolated by the interpolating means, the gradation change of the edge portion smoothed by the smoothing means is greatly increased. And an edge creation means for creating an edge.
[0015]
The image processing method of the present invention is an image processing method for converting resolution of low-resolution multi-gradation image information into high-resolution information, an input step for inputting low-resolution image information, and the input step Smoothing process for smoothing the gradation change of the edge portion included in the image information input by the step, and after the smoothing process in the smoothing process, the low-resolution image information is converted to the high-resolution image. An interpolation step for interpolating information, and an edge so as to increase the gradation change of the edge portion smoothed in the smoothing step with respect to the high-resolution image information interpolated by the interpolation step. And an edge creation step to create.
[0016]
In the above configuration, when converting input low resolution information to high resolution information, even when artificially created characters, line images, and natural images are mixed in the same image As a result, it is possible to realize a sharp conversion without jaggies for an artificial image portion and a good image without an interpolation blur for a natural image portion.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
(First embodiment)
FIG. 1 is a principal block diagram showing a first embodiment according to the present invention. The image processing apparatus according to the present invention is efficiently provided mainly in an image output apparatus such as a printer. However, the image processing apparatus can also be incorporated as application software in an image processing apparatus other than the image output apparatus or a host computer. .
[0018]
The operation procedure of the present embodiment will be described with reference to the block diagram of FIG. In this embodiment, an example will be described in which input image information is converted into information of the number of pixels of N times vertical and M times horizontal (N and M are integers of 2 or more, respectively).
[0019]
In the figure, reference numeral 100 denotes an input terminal to which low resolution image information is input. The image information is multi-tone information per pixel. The input low resolution information is temporarily stored in the line buffer 101 for several lines. The window creation means 102 indicates means for storing a pixel group around the target pixel in a register or the like based on the storage information of the line buffer 101. An example of a window is shown in FIG. This is a 3 × 3 window, and the pixel of interest is the center E pixel. The window scans pixel by pixel as the target pixel is processed. In the present embodiment, a 3 × 3 window shown in FIG. 2B and a 5 × 5 window including the 3 × 3 window are created for smoothing processing described later.
[0020]
Reference numeral 103 denotes a gradation number detection means for detecting the number (type) of gradations in the window. Referring to FIG. 3, in the 3 × 3 window, the number of gradations is 1 in FIG. 3A, the number of gradations is 2 in (b), and the number of gradations is 6 in (c). ing. That is, it is detected how many values exist in the window. In the present embodiment, the number of gradations in this window may be largely attributed to the determination of the number of gradations in the (N × M) pixel after the resolution conversion processing of the target pixel (hereinafter referred to as the target pixel block). It is a big feature.
[0021]
Reference numeral 104 denotes a smoothing unit that smoothes not only the pixel of interest but also the inside of the window. For example, when the window of FIG. 2B is processed using the smoothing filter of FIG. 4, the 3 × 3 window is converted as shown in FIG.
[0022]
Reference numeral 105 denotes a switch, which is switched depending on whether or not the number of gradations is determined to be 2 or less in the gradation number detection means. When the number of gradations is 2 or less (2 and 1), it is connected to the terminal A, and the others are connected to the terminal B.
[0023]
An interpolation unit 106 interpolates one pixel of interest into (N × M) pixels. This mainly uses bilinear interpolation processing (hereinafter referred to as linear interpolation processing), but other known interpolation means may be used. However, an interpolation means that loses continuity with surrounding pixels is not preferable.
[0024]
Reference numeral 107 denotes maximum value / minimum value detection means for detecting the maximum value and the minimum value of the pixel values in the 3 × 3 window. When the number of gradations in the window is one, the maximum value and the minimum value are the same value.
[0025]
Reference numeral 108 denotes arrangement means. An example of the arrangement means is shown in FIG.
[0026]
In FIG. 6, a portion surrounded by a broken line indicates the arrangement unit 108. Reference numeral 200 denotes a threshold value calculation means, which calculates a binarization threshold value from the input maximum value and minimum value. For example, if the threshold is TH, the maximum value is MAX, and the minimum value is MIN,
TH = (MAX + MIN) / 2
Calculate as Reference numeral 201 denotes a binarization unit that binarizes interpolation information in a pixel-of-interest block of (N × M) input pixels with a calculated threshold value. Reference numeral 202 denotes a pixel value substituting means for substituting the maximum value for pixels equal to or higher than the binarized TH and substituting the minimum value for pixels less than TH. In the target pixel block after substitution, the maximum value and minimum value in the window are arranged.
[0027]
1 and 109 show switches, which select whether the block is arranged by the arrangement means or the block directly output from the interpolation means 106. The switch controls the number of gradations of the gradation number detecting means 103. Similar to the switch 105, the terminal A is used when the number of gradations in the window is 2 or less, and the terminal is used otherwise. Connected to B.
[0028]
Reference numeral 110 denotes an output terminal, which outputs information on (N × M) pixels in the target pixel block.
[0029]
That is, in this embodiment, when the number of gradations in the window is 2, the number of gradations in the target pixel block is always 2 or 1, and when the number of gradations is 1, the maximum value is obtained. Since the minimum value is the same value, the number of gradations in the target pixel block is also 1. When the number of gradations in the window is 3 or more, the number of gradations of the pixel block of interest is indefinite because it is directly output from the interpolation means.
[0030]
Since the data output from 110 is multi-value data, if the printer can record multi-value data, the multi-value data is recorded as it is. If the printer is binary data, binary data is recorded. Recording is performed after the conversion process.
[0031]
Next, processing contents of the present embodiment will be described.
[0032]
Now, consider this processing as processing in an image output apparatus such as a printer. In a printer, the image information transmitted from the host computer is natural image information input from an image input device such as an image scanner, character or line image information created by application software on the host computer, Various situations such as CG (computer graphic) images can be considered. When the resolution conversion of these image information is performed in the printer, the attribute of what kind of image should be transmitted as an identification signal for each image, but recently, the number of system configurations transmitted without an identification signal has increased. It is coming.
[0033]
Therefore, in the present embodiment, when the number of gradations is 2 in the window, mainly characters, line images, etc., images created by PDL (page description language) on the host computer and various application software are used. It is determined that there is a possibility, and conversion processing is performed so that jaggies (jagged edges) do not occur when resolution conversion is performed.
[0034]
FIG. 7 describes the processing of the present embodiment based on actual values.
[0035]
FIG. 7A shows a part of an input image. Now, a pixel surrounded by a broken line is a pixel of interest, and a portion surrounded by an alternate long and short dash line is a window. Since the image in FIG. 7A has 2 gradations in the window, smoothing is performed. FIG. 7B shows the pixel values of the same part as in FIG. Since the broken line pixel of interest is smoothed, “200” is converted to a value of “150”.
[0036]
FIG. 7C shows pixel values after linear interpolation near the target pixel. Now, N = M = 3, and one pixel is increased to nine pixels. Nine pixels surrounded by a broken line are the target pixel block. Since the number of gradations in the window of FIG. 7A is 2, rearrangement by the arrangement unit 108 is performed. First, the inside of this target pixel block is binarized. Since MAX = 200 and MIN = 50 from the window of FIG. 7A, the binarization threshold is binarized with TH = 125. The result is shown in FIG. FIG. 7E shows the final result after processing by shifting the target pixel.
[0037]
As is clear from this example, good resolution conversion can be realized at an arbitrary magnification without causing jaggies. Further, as in the window, since the number of gradations is suppressed to 2 in the target pixel block, there is no blur due to an increase in resolution.
[0038]
Consider the resolution dependency of input image information. In a character, line image, or the like created by a host computer or the like, an edge generated at the time of low resolution depends on the original resolution, and therefore, a frequency component that disturbs resolution conversion is included. For this reason, it is necessary to remove the disturbing frequency component (after breaking the edge) and convert the resolution to create an edge (information on the high frequency component) suitable for the new resolution.
[0039]
On the other hand, since a natural image has an LPF (low pass filter) applied at the time of image creation, it is close to a resolution-free state even at low resolution. That is, since the edge is broken from the input state, there are few frequency components that get in the way. Therefore, in this embodiment, if the number of gradations is 3 or more in the window, it is determined that the target pixel may belong to the natural image portion, and the smoothing means and the arrangement means for setting the number of gradations to 2 are Do not use.
[0040]
(Second Embodiment)
FIG. 8 is a principal block diagram for explaining a second embodiment of the present invention.
[0041]
2, the same parts as those in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted. The present embodiment is characterized in that the determination of the number of gradations in the pixel block of interest includes not only the number of gradations of the detected peripheral pixels but also the contrast level of the peripheral pixels in the evaluation.
[0042]
In the figure, reference numeral 300 denotes a contrast calculation means, which is a means for calculating the difference, that is, contrast, from the maximum value and the minimum value detected by the maximum value and minimum value detection means 107. The calculated contrast is transmitted to the selection means 301. In the selection unit 301, information on the number of gradations of the peripheral pixels detected from the gradation detection unit 103 is input as in the above-described embodiment. The selection means 301 has a built-in comparator, compares the input contrast with a preset threshold value, and determines whether or not it is larger than the threshold value. The threshold setting may be obtained experimentally. In the selection means 301, only when the number of gradations of the surrounding pixels is 2 and the contrast is equal to or greater than the threshold value, the target pixel is detected by an artificially created image, that is, application software on the host computer, or the like. It is determined that the generated character, line image, image developed by PDL (page description language), or the like.
[0043]
Unless it is an artificial image, for example, it is assumed that a natural image as input by an image scanner or the like has a high contrast even if it is a steep edge portion, and the number of gradations is not two. Even if such an edge exists in the natural image, the edge depends on the resolution of the original information as described above, so that it is necessary to perform resolution conversion without causing jaggies.
[0044]
When the number of gradations of the peripheral pixels is 1, the contrast is 0. Therefore, when it is determined that “the number of gradations is 1” and “the number of gradations is 2 and the contrast is large”, the switch 105 and the switch 109 are connected to the terminal A, and are described above. As described in the embodiment, the resolution dependency is removed by smoothing, and after interpolation, the maximum value and the minimum value are arranged, so that satisfactory resolution conversion is executed.
[0045]
(Third embodiment)
FIG. 9 is a principal block diagram showing a third embodiment of the present invention. 9, the same parts as those in FIGS. 1 and 8 are denoted by the same reference numerals. In the present embodiment, the case classification by the selection unit 400 is increased as compared with the above-described embodiment. This embodiment is effective for a printer or the like that expects a higher-definition image output.
[0046]
The input of the selection unit 400 is the number of gradations of the surrounding pixels and the contrast as in the above-described embodiment, but in this embodiment, the attribute of the pixel of interest is classified into five categories. The selection means controls the connection between the switch 105 and the switch 401, and the switch switching is set as shown in Table 1.
[0047]
[Table 1]

[0048]
First, it is assumed that the gradation number is 1 as the category number 1. In the case of gradation 1, all cases such as artificial characters, line images, and part of natural images are assumed. Since the peripheral pixels are composed of one gradation, in this case, the pixel value of the target pixel is repeated by (N × M) pixels by the 0th-order interpolation unit 402.
[0049]
As the category number 2, it is assumed that the number of gradations of peripheral pixels is 2 and the contrast is large. In this case, as described above, it is determined that the image is artificial, and the switch 105 and the switch 401 are both connected to A, so that the pixel block of interest is suppressed to the number of gradations of 2 or less.
[0050]
As the category number 3, it is assumed that the number of gradations of peripheral pixels is 2 and the contrast is small. In this case, similar to category number 1, both artificial and natural images can be considered. Since the contrast is originally small, the image quality is not conspicuous in any processing, but in the present embodiment, it is output by the 0th-order interpolation means 402.
[0051]
As the category number 4, it is assumed that the number of gradations of peripheral pixels is 3 or more and the contrast is large. In this case, it is assumed that it is applied to the edge portion in the natural image. Therefore, instead of outputting the linear interpolation means 403 as it is, the composition means 404 after combining the pixel block of interest after linear interpolation with the arrangement means 108 after adjusting the gradation to 2 with a certain distribution ratio. To do. The setting of the distribution ratio may be obtained experimentally in advance, or may be dynamically switched depending on the magnitude of contrast. The image after the arrangement means is an image with sharp edges, and by combining with linear interpolation information, a smooth edge is created in the gradation direction, and resolution conversion with less interpolation blur can be realized.
[0052]
As the category number 5, it is assumed that the number of gradations of peripheral pixels is 3 or more and the contrast is small. In this case, a natural image is assumed to be a flat portion, and information in the pixel block of interest is created by a normal linear interpolation means.
[0053]
As mentioned above, although the process with respect to various categories was shown, it is not limited to this process. Also, the category type is not limited to this. Further, although the resolution conversion without jaggies has been shown by the smoothing means, it is also effective to adaptively switch the smoothing filter depending on the state in the window.
[0054]
In addition, the example in which the arranging unit is realized by the binarizing unit as shown in FIG. 6 has been described. However, as another method, the pixels in the pixel block of interest after the interpolation are sorted to obtain the maximum value and the minimum value. There is also a method of arranging. In this case, for example, if the target pixel value is M,
M = a · MAX + (1−a) · MIN (0 ≦ a ≦ 1)
There is also a method in which the value of a satisfying the above is obtained, and MAX values are arranged for (a × N × M) pixels in descending order of pixel values by sorting the pixel block of interest, and MIN values are arranged for other pixels. It is valid.
[0055]
【The invention's effect】
As described above, according to the present invention, when an image in which characters, line images, and natural images are mixed is converted into high resolution information, the edges generated in the low resolution image information are broken. By smoothing and converting the resolution to create a steep edge that matches the new high resolution from the edge that is duller than the smoothing process, the characters and line drawing parts are clear without causing jaggies. Edges can be reproduced, and for natural images, high-quality images with reduced occurrence of interpolation blur can be created.
[Brief description of the drawings]
FIG. 1 is a principal block diagram showing a first embodiment of the present invention.
FIG. 2 shows an example of a window and a window of this embodiment.
FIG. 3 is an explanatory diagram of the number of gradations in a window.
FIG. 4 is a diagram illustrating an example of a smoothing filter.
FIG. 5 is an explanatory diagram of smoothing in a window according to the present embodiment.
6 is a diagram showing a detailed configuration of the arrangement unit in FIG. 1. FIG.
FIG. 7 is a diagram illustrating an example in which processing of the present embodiment is described using actual values.
FIG. 8 is a principal block diagram showing a second embodiment of the present invention.
FIG. 9 is a principal block diagram showing a third embodiment of the present invention.
FIG. 10 is a diagram showing a nearest-neighbor interpolation method, which is a conventional example.
FIG. 11 is a diagram showing a bilinear interpolation method as a conventional example.
FIG. 12 is a diagram showing a processing example of a conventional example.
[Explanation of symbols]
100 input terminal 101 line buffer 102 window creation means 103 gradation number detection means 104 smoothing means 105, 109 switch 106 interpolation means 107 maximum value / minimum value detection means 108 arrangement means

Claims

In an image processing apparatus that converts resolution of low-resolution multi-tone image information into high-resolution information,
Input means for inputting low-resolution image information;
Smoothing means for performing smoothing processing so as to reduce the gradation change of the edge portion included in the image information input by the input means;
Interpolating means for interpolating low-resolution image information to become high-resolution image information after the smoothing processing in the smoothing means;
Edge creation means for creating an edge so as to increase the gradation change of the edge portion smoothed by the smoothing means for the high-resolution image information interpolated by the interpolation means;
An image processing apparatus comprising:

A pixel group including a target pixel and pixels around the target pixel is formed from image information input by the input unit, and the smoothing unit performs a smoothing process on the pixel group. The image processing apparatus according to claim 1.

3. The image processing according to claim 2, wherein whether or not the image information interpolated by the interpolating means is image information smoothed by the smoothing means is switched according to the number of gradations of the pixel group. apparatus.

The image information to be interpolated by the interpolating means is switched according to the number of gradations and contrast of the pixel group as to whether or not the image information smoothed by the smoothing means is used. Image processing device.

5. The image processing according to claim 1, wherein the edge creation unit creates an edge portion so that a change in gradation is larger than image information generated by interpolation by linear interpolation. apparatus.

6. The image processing apparatus according to claim 5, wherein the edge creating unit further creates an edge portion so as to reduce the number of gradations compared to image information generated by interpolation by linear interpolation.

The image processing apparatus according to claim 2, wherein the edge creation by the edge creation unit is performed based on a contrast of the pixel group before the smoothing process.

The edge creating means arbitrarily selects a pixel value obtained based on a maximum pixel value and a minimum pixel value in the pixel group before the smoothing process, and a pixel value generated by linear interpolation by the interpolation means. 8. The image processing apparatus according to claim 6, wherein an edge is created so as to increase a gradation change of an edge portion of the high-resolution image information by combining at a distribution ratio.

In an image processing method for converting resolution of low resolution multi-gradation image information into high resolution information,
An input process for inputting low-resolution image information;
A smoothing step of performing a smoothing process so as to reduce a gradation change of an edge portion included in the image information input by the input step;
After the smoothing process in the smoothing step, an interpolation step for interpolating the low resolution image information to become high resolution image information,
An edge creating step for creating an edge so as to increase the gradation change of the edge portion smoothed in the smoothing step with respect to the high-resolution image information interpolated by the interpolation step;
An image processing method comprising:

A pixel group including a target pixel and pixels around the target pixel is formed from the image information input in the input step, and the smoothing step performs a smoothing process on the pixel group. The image processing method according to claim 9.

The image processing according to claim 10, wherein whether or not the image information to be interpolated in the interpolation step is the image information smoothed in the smoothing step is switched according to the number of gradations of the pixel group. Method.

The image information to be interpolated in the interpolation step is switched according to the number of gradations and contrast of the pixel group as to whether or not the image information smoothed in the smoothing step is used. Image processing method.

The image processing according to claim 9, wherein the edge creation step creates an edge portion so that a change in gradation is larger than image information generated by interpolation by linear interpolation. Method.

14. The image processing method according to claim 13, wherein the edge creation step further creates an edge portion so as to reduce the number of gradations compared to image information generated by interpolation by linear interpolation.

15. The image processing method according to claim 10, wherein the edge creation in the edge creation step is performed based on a contrast of the pixel group before the smoothing process.

In the edge creation step, a pixel value obtained based on a maximum pixel value and a minimum pixel value in the pixel group before the smoothing process and a pixel value generated by linear interpolation in the interpolation step are arbitrarily set. 16. The image processing apparatus according to claim 14, wherein an edge is created so as to increase a gradation change in an edge portion of the high-resolution image information by combining at a distribution ratio.