JP2015039049A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】複数フレーム画像の利用における冗長性を抑制し高解像度を維持する技術を提供する。
【解決手段】複数の画像フレームを用いてこの画像を高解像度化する超解像変換部と、前記超解像変換部に入力する画像フレームを保存するフレームメモリと、前記入力する画像フレームに同じフレームが含まれるかを検出する同一フレーム検出部とを備え、前記同一フレーム検出部で同じフレームを検出したときに、前記フレームメモリの制御方法を同じフレームが保存されないように切り替えることを特徴とする画像処理装置。
【選択図】 図５

Description

本発明は、画像処理装置に係わり、特に高解像度化処理を行う画像処理技術に関する。

高解像度のテレビやディスプレイの普及に伴い、映像信号の高解像度化が進んでいる。特に、低解像度の映像信号から本来の画素値を推定して画素を増やすことによって、高解像度の映像信号を復元することにより、映像信号の鮮鋭度を維持しつつ高解像度化を実現する超解像度変換（超解像度変換処理）と呼ばれる画像処理技術が登場してきている（例えば、特許文献１参照）。

また、特許文献２に開示された複数フレーム画像間でのマッピングを利用した超解像度変換処理を用いることもできる。しかしながら、複数フレームの利用において同一内容のフレームを重ねて扱うという冗長性により高解像度化が妨げられる場合があるという問題が生じていた。

特開２００７−３３６２３９号公報 特開２０００−１８８６８０号公報

本発明は、複数フレーム画像の利用における冗長性を抑制し高解像度を維持する技術を提供することを目的とする。

上記課題を解決するために、本発明の画像処理装置は、複数の画像フレームを用いてこの画像を高解像度化する超解像変換部と、前記超解像変換部に入力する画像フレームを保存するフレームメモリと、前記入力する画像フレームに同じフレームが含まれるかを検出する同一フレーム検出部とを備え、前記同一フレーム検出部で同じフレームを検出したときに、前記フレームメモリの制御方法を同じフレームが保存されないように切り替えることを特徴とする。

本発明によれば、複数フレーム画像の利用における冗長性を抑制し高解像度を維持した画像処理装置及び画像処理方法が得られる。

動画像のフレーム構成を示す模式図。 この発明の一実施形態の複数のフレーム情報を用いた高解像度化処理を示す説明図。 同実施形態の補間画素生成を示す説明図。 同実施形態に係わる放送受信装置のブロック構成図。 同実施形態の高解像度化画像処理装置の構成図。 同実施形態のＩＰ変換後のフレームを示す説明図。 同実施形態の超解像変換部に入力されるフレームを示す説明図。 同実施形態の２−３プルダウン検出機能を持つＩＰ変換部を示すブロック構成図。 同実施形態のプルダウン検出時のＩＰ変換映像を示す説明図。 同実施形態の処理手順を示すフローチャート。 同実施形態の超解像変換部に入力されるフレームを示す説明図。 本発明の別の実施形態を示す構成図。 実施形態の一時停止時に超解像変換部に入力されるフレームを示す説明図。 従来の映像処理部を示す構成図。 シネマモードＩＰ変換時に従来の超解像変換部に入力されるフレームを示す説明図。 実施形態のフィールド比較パターンを示す説明図。

以下、本発明の実施形態を説明する。
（実施形態１）
本発明による実施形態１を図１乃至図１１を参照して説明する。
図１は、動画像のフレーム構成を示す模式図である。動画像の連続するフレームの並びにおける時刻Ｔａの自動車の映像に対し、７フレーム後のＴｂ、更に７フレーム後のＴｃというように自動車が進行している。

図２は、実施形態の複数のフレーム情報を用いた高解像度化処理を示す説明図である。図１のような動画像において、複数のフレーム情報を用いて入力画像よりも高解像度な画像を生成する仕組みを図２は示している。

いま、図２中に網掛けされた実線の交点に画素が並んでいるとし、Ｎ番目フレームの点線の交点に位置する補間画素を生成して縦横それぞれ2倍の画素数を持つ画像に変換する場合を想定する。補間画素を推測する際に、Ｎ番目フレーム中の画素(黒丸で示される)のみを使用したのでは情報が不足して所謂超解像のような被写体本来の画像を復元するように高解像度化することはできない。そこで、Ｎ番目フレームの前後のフレームからそれぞれ三角、菱形で示される画素情報を持ってくることにより、次に図３に示すように、より多くの情報を利用して補間画素を推測することができ、高解像度化が可能となる。なお図２では前後1フレームずつの情報を利用しているが、より多くのフレーム情報を利用することで、補間画素推測の精度を高めることができる。

図３は、実施形態の補間画素生成を示す説明図である。図３は、図２の実線で囲った左から２番目、上から２番目の領域に相当するものである。即ち、白丸で示される補間画素生成のために自フレーム中の黒丸で示される画素情報の他に上記の前後のフレームからの三角、菱形で示される画素情報が用いられる。

図4に実施形態に係わる画像処理装置を放送受信装置に適用した場合のブロック構成図を示す。同図に示したように、放送受信装置は、アンテナ４１と、チューナ／復調器４３と、ＭＰＥＧデマルチプレクサ４４と、ビデオデコーダ４５と、画像処理装置に対応する映像処理部４６と、表示パネル４７と、オーディオデコーダ４８と、スピーカ４９とを備えている。

アンテナ４１は例えば、ＢＳ、ＣＳ、地上波等のデジタル放送を受信するためのアンテナである。このアンテナ４１で受信されたデジタル放送のＲＦ信号は続くチューナ／復調器４３に導かれて選局・復調されデジタルの映像信号および音声信号としてＭＰＥＧデマルチプレクサ４４に出力される。

ＭＰＥＧデマルチプレクサ４４は、チューナ／復調器４３から入力される映像信号および音声信号を、映像信号と音声信号とに分離し、この映像信号にビデオデコーダ４５が後述の信号処理を施した後、ビデオデコーダ４５が映像処理部４６に出力する。ここで、ビデオデコーダ４５が施す信号処理としては、入力されたＭＰＥＧ２などの圧縮方式で圧縮されている映像信号のデコード処理や、入力された映像信号の解像度を所定の解像度（例えば、ディスプレイの解像度に合わせた１２８０×７２０等）に変換するスケーリング処理等が挙げられる。他方でオーディオデコーダ４８は、ＭＰＥＧデマルチプレクサ４４からの音声信号に所定の信号処理を施した後、スピーカ４９に出力する。

図５は、実施形態の高解像度化画像処理装置の構成図である。いま図4に示される映像処理部４６が、画像処理装置として図5のようにＩＰ変換部５１と超解像変換部５２等で構成されているとする。

なお、超解像度変換処理については、特開２００７−３１０８３７号公報や特開２００８−９８８０３号公報等に開示された公知・公用の技術を用いることが可能である。本実施形態の超解像変換処理の技術としては、例えば、入力画像の標本化周期で決まるナイキスト周波数より高い周波数成分を有する画像を復元する技術を用いる。

例えば、特開２００７−３１０８３７号公報に開示された超解像度変換処理を用いる場合には、複数の低解像度の映像信号（低解像度フレーム）の夫々に対してフレーム中の注目画素を含む注目画像領域中の画素値の変化パターンに最も近い複数の注目画像領域に対応する複数の対応点を基準フレームの中から選択し、対応点での輝度の標本値を対応点に対応している注目画素の画素値に設定し、複数の標本値の大きさと、複数の対応点の配置とに基づいて、基準フレームの画素数よりも多い画素数の高解像度フレームであって基準フレームに対応する高解像度フレームの画素値を算出することにより、低解像度の映像信号から本来の画素値を推定して画素を増やすことにより、高解像度の映像信号を復元する。

また、特開２００８−９８８０３号公報に開示された同一フレーム画像内の自己合同位置探索を利用した超解像度変換処理を用いる場合には、低解像度フレームの探索領域の各画素の誤差を比較して最小となる第１の画素位置を算出し、第１の画素位置及びこの第１の誤差、第１の画素の周辺の第２の画素位置及びこの第２の誤差に基づいて、探索領域のなかで誤差が最小となる位置を小数精度で算出する。そして、この位置を終点及び注目画素を始点とする小数精度ベクトルを算出し、小数精度ベクトルを用いて、探索領域に含まれない画面上の画素を終点とする、小数精度ベクトルの外挿ベクトルを算出する。そして、小数精度ベクトル、外挿ベクトル及び画像データから取得された画素値に基づいて、画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する。超解像変換部５２は、このような処理を行うことにより、低解像度の映像信号から本来の画素値を推定して画素を増やすことにより、高解像度の映像信号を復元する。

ただし、超解像変換部５２における超解像変換処理の手法は、上記に限定されるものではなく、低解像度の映像信号から本来の画素値を推定して画素を増やすことにより、高解像度の映像信号を復元する処理であれば、あらゆる手法を適用することができる。

図５において映像処理部４６に入力されるインタレース映像信号は、ＩＰ変換部５１によりＩＰ変換された後に超解像変換部５２により超解像変換され、高解像度プログレッシブ映像として出力される。

ここで図６は実施形態のＩＰ変換後の複数のフレームを示す説明図であり、また図７は実施形態の超解像変換部５２に入力される複数のフレームを示す説明図である。

ＩＰ変換部５１から出力される６０ｐのフレームが図6のように並んでいるとすると、超解像変換部５２に入力されるフレームは図7のようになる。Ｆ４は4フレーム遅延信号（4フレーム期間前のC信号）、Ｆ３は3フレーム遅延信号、Ｆ２は2フレーム遅延信号、Ｆ１は1フレーム遅延信号、Cは現在ＩＰ変換部５１から出力されているフレーム信号である。超解像変換部５２では、これらの5フレームのデータを使用して、Ｆ２のフレームを高解像度化する。

即ち図５の高解像度化画像処理装置は、更にフレームメモリ５３、メモリコントローラ５４から構成されている。フレームメモリ５３は、入力信号を上記のように数フレーム期間分遅延させた信号を格納しメモリコントローラ５４を通じて超解像変換部５２へ供給している。

図８は、２−３プルダウン検出機能を持つＩＰ変換部５１を更に詳細に説明するためのブロック構成図である。また図９は、プルダウン検出時のＩＰ変換映像を示す説明図である。

通常の６０ｉの放送コンテンツでは、このように超解像変換部５２に入力されるフレームは全て異なるフレームとなるが、例えば２−３プルダウン処理された６０ｉの放送コンテンツでは、全く同じフレームが超解像変換部５２に入力されることがある。図５のＩＰ変換部５１は、図８のように動き適応ＩＰ変換部８１とシネマモードＩＰ変換部８２と２−３プルダウン検出部８３等で構成されている。このＩＰ変換部に２４ｐのシネマコンテンツを２−３プルダウンした６０ｉの信号が入力されているとすると、２−３プルダウン検出部８３がプルダウン映像であることを検出し同一フレーム情報ＳＦを発生すると共に、図9に示すような６０ｐの映像を出力する。このとき動き適応ＩＰ変換出力ではなく、２−３プルダウン検出部８３に制御されたセレクタ８４の指定による完全静止画処理によるシネマモードＩＰ変換出力により、もとの２４ｐプログレッシブ映像と同等のクリアな静止画映像を６０ｐで生成することで高画質化を行う。そして、このように処理されたプログレッシブ映像は、同じフレームが2もしくは3枚連続することになる。

図１６は、２−３プルダウン検出部８３に関するフィールド比較パターンを示す説明図である。２−３プルダウンを検出する方法はいろいろあるが、簡単なのはフィールド間の差分を利用する方法である。

例えば、２−３プルダウン検出部８３には、図示せぬフィールドメモリから２フィールド遅延のフィールドデータが到来するよう構成されている。カレントフィールドのデータとこのフィールドデータとを、トップフィールド同士またはボトムフィールド同士として比較すると図１６に点線囲いで示すように、「動動静動動」という繰り返しパターンが現れる。このパターンが何回も繰り返された場合に２−３プルダウン検出部８３は入力が２−３プルダウン信号であると判断しまた同一フレーム情報ＳＦを生成する。より正確にプルダウンを検出するため、１フィールド遅延のフィールドデータなどの情報も利用する構成としてもよい。

図１４は従来の映像処理部を示す構成図である。また図１５にシネマモードＩＰ変換時に従来の超解像変換部に入力されるフレームを示す。同図からわかるように、同じフレームが何枚も入力されることになる。複数フレーム超解像変換は異なるフレームの情報によって高解像度化を行うため、同じフレームが複数枚あっても情報が増えない。従って、図１５の斜線掛けで示したフレームは無駄な情報になってしまう。

そこで本実施形態では、このような無駄なフレームばかりがフレームメモリにたまらないように、同一フレームの場合はそのフレームを破棄することができるようにする。本実施形態の構成図は前述のように図５に示している。本実施形態では、シネマモードＩＰ変換が実行された場合に、同一フレーム情報ＳＦを例えば具体的には直前のフレームと同一のフレームか否かの２値情報としてメモリコントローラ５４に入力する構成としている。

本実施形態の映像処理部４６の処理の実行手順を表すフローチャートを図１０に示す。図１０（ａ）に示すように全体として、例えばまずＩＰ変換処理を行い（ステップＳ１０）、次に超解像変換処理を行なう（ステップＳ２０）。最後にフレームメモリ更新を行い（ステップＳ３０）、ステップＳ１０へと戻りこれらの処理の繰り返しとなる。

ステップＳ３０のフレームメモリ更新ルーチンでは、図１０（ｂ）に示すようにまず現在の1フレーム遅延信号Ｆ１と2フレーム遅延信号Ｆ２が同一であるかを判定し（ステップＳ３１）、同一であると判定された場合はＦ２を破棄し（ステップＳ３２）、ステップＳ３４へ移る。ステップＳ３１でＦ１とＦ２が同一でないと判定されれば、Ｆ３を次のＦ４としＦ２を次のＦ３とし（ステップＳ３３）、Ｆ１を次のＦ２としＦ０を次のＦ１とする（ステップＳ３４）。

このようにフレームメモリを更新することにより、超解像変換部５２に入力されるフレームは図１１のようになる。図１１では異なるフレームの数が図１５より増えており、超解像変換の効果を上げることができる。図１１で上から３行目から、高解像度化されたＦ２のフレームが出力される。

（実施形態２）
本発明による実施形態２を図１乃至図４及び図６乃至図１３を参照して説明する。実施形態１と共通する部分は説明を省略する。
本発明の別の形態を図１２の構成図に示す。図１２のように、ＩＰ変換部５１を同一フレームかどうかの判定出力を持たないＩＰ変換部１２１とし、替わりにフレーム差分検出部１２２によって同一フレームかどうかを判定することもできる。この場合、２−3プルダウンされたコンテンツでなくても、例えば外部入力映像が一時停止されたときには、同一フレームを検出して同じフレームばかりがフレームメモリにたまらないようにする。この時、超解像変換部５２に入力されるフレームは図１３のようになり、一時停止のときでも超解像変換の効果を出すことができる。

以上の実施形態では概要として、画像処理装置において、複数のフレームを用いて動画像を超解像化する超解像変換部のフレームメモリに、入力画像中の同一フレームが連続しないようにフレームメモリの制御方法を切り替えた。

この効果として、同一フレームが連続するような場合にも、超解像変換の効果を上げることができる。また、一時停止によって同一フレームしか入力されなくなった場合にも、超解像変換の効果を出すことができる。

なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。例えば映像信号はチューナの他に、専用のＩＰ網を介して送信されるＩＰ放送を受信したり、インターネット等のＩＰ網を介して送信されるデータ（静止画像や動画像）を受信したりして得る形態でもよい。またＩＰ変換部１２１に相当する部分は映像処理部４６の前段にあってもよい。換言すれば映像処理部４６はプログレッシブ映像を入力する形態でもよい。

また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係る構成要素を適宜組み合わせても良いものである。

４１…アンテナ、４３…チューナ／復調器、４４…ＭＰＥＧデマルチプレクサ、４５…ビデオデコーダ、４６…映像処理部、４７…表示パネル、４８…オーディオデコーダ、４９…スピーカ、５１…ＩＰ変換部、５２…超解像変換部、５３…フレームメモリ、５４…メモリコントローラ、８１…動き適応ＩＰ変換部、８２…シネマモードＩＰ変換部、８３…２−３プルダウン検出部、８４…セレクタ、１２１…ＩＰ変換部、１２２…フレーム差分検出部。

Claims (5)

1. 外部から入力される画像フレームを保持しフレーム期間単位で遅延させた前記画像フレームを出力するフレームメモリと、
   前記フレーム期間単位が相互に異なる複数の前記遅延させた画像フレームを用いて前記外部から入力される画像を高解像度化する超解像変換部と、
   前記遅延させた画像フレームが以前の画像フレームと同一か否かを検出する同一フレーム検出部と、
   前記画像フレームの前記フレームメモリへの読み書きを制御するメモリ制御部とを備え、
   前記メモリ制御部は、前記同一フレーム検出部で同一と判定された場合に、前記フレームメモリに同じフレームが保持されないように制御することを特徴とする画像処理装置。
2. 前記同一フレーム検出部が、２−３プルダウン検出回路を具備していることを特徴とする請求項１に記載の画像処理装置。
3. 前記同一フレーム検出部が、フレームを比較して差分を検出するフレーム差分検出回路を具備していることを特徴とする請求項１に記載の画像処理装置。
4. 前記超解像変換部の出力を表示する表示パネルを更に備えたことを特徴とする請求項１に記載の画像処理装置。
5. 複数の画像フレームを用いてこの画像を高解像度化し、
   前記高解像度化のために入力する画像フレームを保持し、
   前記入力する画像フレームに同じフレームが含まれるかを検出し、
   前記同じフレームを検出したときに、この同じフレームが保存されないように前記保持する画像フレームを制御することを特徴とする画像処理方法。

Images