JP2012019381A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】入力画像の特性が変化した場合に、ユーザに違和感を与えることなく画像処理の設定を変更する。
【解決手段】本発明の画像処理装置１００は、入力画像の特性の変化を取得する特性変化取得部１０２と、入力画像に対して画像処理を行う画像処理部と、画像処理のゲインを調整するゲイン調整部１０８と、入力画像の特性の変化に応じて、画像処理部における画像処理の設定を変更するとともに、画像処理の設定を変更するタイミングでゲイン調整部１０８によりゲインを低下させる制御を行う制御部１１０と、を備える。
【選択図】図１

Description

本発明は、画像処理装置及び画像処理方法に関する。

近時においては、例えばテレビ受像機（ＴＶ）等の映像処理において、「オート」、「インテリジェント」などのメニュー項目で示されるような、自動で画質を制御する機能が普及している。

また、下記の特許文献１には、画面平均輝度レベルとＯＳＤの有無によってバックライトを動的に制御し、これによって画質を動的に制御する技術が記載されている。

特開２００８−２９９１９１号公報

自動画質制御では、映像に付随する情報や、映像信号を解析した結果によって画質制御処理を適したモードや設定に動的に変更するなどして映像シーンに最適な制御が行われる。例えばスポーツ、シネマ、アニメなどのコンテンツの種類に応じて画質処理設定を最適化したり、映像信号の輝度分布によってコントラスト処理を制御する。また、映像の周波数分布状態によってシャープネス等の信号強調処理設定を変える制御を行なう。

しかしながら、この場合、自動的に画像処理のモードや設定を切り替えると、急激に画質が変化することになる。そして、この画質の変化は、映像における何らかの異常状態として視聴者に視認されてしまうことがある。例えば、シャープネス（エッジ強調処理）などの画像処理において、シャープネスゲインを徐々に変化させた場合は、人間の眼に画像の変化は比較的認識され難いが、フィルタ係数の変更等を行うと、映像の輪郭が急激に変化する。このため、視聴者が視認する映像が急激に変化して、視聴者には違和感として捉えられてしまう問題がある。

一方、このような問題に対処するため、例えば視聴者が判別できない程度の範囲でモードを切り換えたり、設定変更を行うなどの手法が考えられる。しかしながら、この方法では、モードや設定変更のレベルを低くせざるを得ない。このため、刻々と変わる映像シーンに対して常に最適な制御を行うことは困難である。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、入力画像の特性が変化した場合に、ユーザに違和感を与えることなく画像処理の設定を変更することが可能な、新規かつ改良された画像処理装置及び画像処理方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、入力画像の特性の変化を取得する特性変化取得部と、前記入力画像に対して画像処理を行う画像処理部と、前記画像処理のゲインを調整するゲイン調整部と、前記入力画像の特性の変化に応じて、前記画像処理部における前記画像処理の設定を変更するとともに、前記画像処理の設定を変更するタイミングで前記ゲイン調整部のゲインを低下させる制御を行う制御部と、を備える、画像処理装置が提供される。

また、前記制御部は、前記画像処理の設定を変更するタイミングで前記ゲイン調整部のゲインを０に設定し、前記画像処理部における前記画像処理を無効とするものであってもよい。

また、前記制御部は、前記画像処理の設定を変更するタイミングを含む所定時間の間、前記ゲイン調整部のゲインを０に設定し、前記画像処理部における前記画像処理を無効とするものであってもよい。

また、前記制御部は、前記所定時間より前に前記ゲイン調整部のゲインを０まで低下させ、前記所定時間の経過後、前記ゲイン調整部のゲインを増加させるものであってもよい。

また、前記制御部は、前記入力画像の特性の変化に応じて、前記画像処理部における画像処理の設定を段階的に変更するものであってもよい。

また、上記課題を解決するために、本発明の別の観点によれば、入力画像の特性の変化を取得するステップと、前記入力画像に対して画像処理を行うステップと、前記入力画像の特性の変化に応じて、前記画像処理の設定を変更するステップと、前記画像処理の設定を変更するタイミングで前記画像処理のゲインを低下させるステップと、を備える、画像処理方法が提供される。

また、前記画像処理のゲインを低下させるステップにおいて、ゲインを０に低下させて前記画像処理を無効とするものであってもよい。

また、前記画像処理のゲインを低下させるステップにおいて、前記画像処理の設定を変更するタイミングを含む所定時間の間、前記画像処理のゲインを０に設定するものであってもよい。

また、前記画像処理のゲインを低下させるステップにおいて、前記所定時間より前にゲインを０まで低下させ、前記所定時間の経過後にゲインを増加させるものであってもよい。

また、前記画像処理の設定を変更するステップにおいて、前記入力画像の特性の変化に応じて、前記画像処理の設定を段階的に変更するものであってもよい。

本発明によれば、入力画像の特性が変化した場合に、ユーザに違和感を与えることなく画像処理の設定を変更することが可能となる。

本発明の一実施形態に係る画像処理装置の構成例を示す模式図である。 高域信号が存在しない映像と高域信号が存在する映像の入力信号Ｉの周波数特性をそれぞれ示す特性図である。 フィルタ係数の設定を変更する際に、設定変更のタイミングの前後でゲインを徐々に変化させる例を示すタイミングチャートである。 本実施形態に係る処理を示すタイミングチャートである。 無効区間にフィルタ設定値を徐々に変化させる例を示すタイミングチャートである。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．画像処理装置の構成例
２．映像の周波数特性が変更された場合の制御の例
３．本実施形態による処理の例

１．画像処理装置の構成例
まず、図１を参照して、本発明の一実施形態に係る画像処理装置１００の構成例について説明する。図１は、画像処理装置１００の構成を示すブロック図である。画像処理装置１００は、例えばテレビ受像機等の機器に構成されるものである。図１に示すように、画像処理装置１００は、特性変化取得部１０２、ローパスフィルタ１０４、減算部１０６、ゲイン調整部１０８、制御部１１０、加算部１１２を有して構成される。

本実施形態では、映像に急激な変化を伴う画像処理内容の変更の際に、画像の信号のレベル、ゲインなどの処理強度を制御して変化を目立たせないように映像処理を行う。以下では、シャープネス処理（エッジ強調処理）を例に挙げて説明を行うが、これに限定されるものではない。例えばノイズリダクション処理などの他の画像処理、上述した自動画質制御の各種モード間の切り替わりなど、様々な画像処理の切り替わりに適用することができる。図１の構成では、１次元信号におけるシャープネス処理の一例に本実施形態を適用した例を示している。

最初に、図１の構成によるシャープネス処理の基本的な流れについて説明する。説明のため、図１では、各段階における信号波形Ｉ，Ｌ，Ｄ，Ｄ’，Ｏをブロック図中に模式的に示している。図１に示す入力信号Ｉは、例えば画像中において、信号強度の高い領域と、これに隣接する信号強度の低い領域を表している。ここでは、信号強度の高い領域と低い領域の境界のエッジを強調するシャープネス処理について説明する。

入力信号Ｉは、ローパスフィルタ１０４を経由して減算部１０６へ入力されるとともに、直接、減算部１０６へ入力される。図１に示すように、ローパスフィルタ１０４からの出力波形Ｌは、高帯域成分が除去されることにより、エッジの部分が丸められた信号波形となる。

減算部１０６では、入力信号Ｉとローパスフィルタ１０４の出力Ｌとの差分Ｄを算出し、差分Ｄはゲイン調整部１０８に入力される。図１に示すように、差分Ｄは、エッジの部分が強調された信号となる。ゲイン調整部１０８では、差分Ｄのゲイン調整を行い、差分Ｄ’を出力する。差分Ｄ’は、加算部１１２へ入力される。加算部１１２では、ゲイン調整が行われた差分Ｄ’を再び入力信号Ｉに加算することで、出力Ｏを出力する。これにより、図１に示すように、出力ＯのエッジＥの部分の信号強度が高められて、エッジ強調処理（輪郭強調処理）を行うことができる。

上述したように、図１では、シャープネス処理について例示しているが、本実施形態は、広く様々な画像処理に適用することができる。図１に示すシャープネス処理の場合、ローパスフィルタ１０４、減算部１０６、ゲイン調整部１０８、及び加算部１１２によってシャープネス処理を行う画像処理部が構成される。ここで、シャープネス処理以外の他の処理を行う画像処理部を制御部１１０によって制御する構成とすることができ、この場合に、制御部１１０の制御により画像処理部のゲインを調整する構成とすることができる。

以上の処理において、映像信号の内容によっては、入力信号Ｉの周波数特性が大きく異なる場合がある。例えば、デジタルテレビ放送のテレビ受像機（ＴＶ）への入力フォーマットとして、水平解像度が１０８０画素の１０８０ｉフォーマットが存在する。

一方で、テレビ受像機等に対して、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子、コンポーネント（Ｃｏｍｐｏｎｅｎｔ）端子などの外部入力端子から入力される信号がある。これらの信号としては、ブルーレイディスクプレーヤ（Ｂｌｕ−ｒａｙ Ｄｉｓｋ Ｐｌａｙｅｒ）から水平解像度１９２０画素（ｄｏｔ）で入力される信号がある。また、地上デジタル放送の水平解像度１４４０画素の映像やＤＶＤの水平解像度７２０画素の映像信号、更にはＩＰＴＶ等の低解像度画像がアップコンバートされた映像の信号等がある。

これらの映像信号は、水平解像度１９２０画素の信号、水平解像度１４４０画素の信号、水平解像度７２０画素の信号、低解像度画像がアップコンバートされた信号の順でより低域の信号となり、異なる周波数特性で各フォーマットの映像が構成されている。これらのアップコンバート映像と非アップコンバート映像との切り替わりは、ユーザによる入力切替を伴わないことが多く、ユーザの意思に関わらず切り換えが発生することがある。同様に、アップコンバート画像の表示中においても、元画像の解像度への切り替わりはユーザによる入力切替を伴わずに発生する。例えば、「ＣＭ」から「本編の番組」へのシーンの移り変わり、「本編番組のスタジオ映像」から「中継映像」へのシーンの移り変わりなどがこれらの切り替わりに該当する。このように、映像の周波数特性は、絶えず大きく変動を繰り返すものとなる。

以上のように、テレビ受像機等に構成される画像処理装置１００には、様々な信号帯域の映像が入力されることがあるため、これらの様々な入力信号Ｉに対して適切なシャープネス処理を行うためには、周波数特性に応じて処理を変えることが望ましい。

２．映像の周波数特性が変更された場合の制御の例
一例として、例えば図２は、高域信号（高帯域信号）が存在しない映像と高域信号が存在する映像の入力信号Ｉの周波数特性をそれぞれ示している。ここで、図２（Ａ）は、高域信号が存在しない映像の周波数特性を示しており、例えばアナログテレビ放送（ＳＤＴＶ）に相当する品質のＳＤ映像の特性を示している。一方、図２（Ｂ）は、高域信号が存在する映像の周波数特性を示しており、例えば高精細テレビ（ＨＤＴＶ、ハイビジョン）サイズの品質に相当するＨＤ映像の特性を示している。

図１におけるローパスフィルタ１０４のフィルタ係数によって、図２（Ａ）、図２（Ｂ）に示すようなカットオフ周波数ａ、カットオフ周波数ｂが設定される。図２（Ｂ）に示す高域信号が存在する映像では、カットオフ周波数ｂで低域信号を分離することが効果的であるとしてシャープネス処理を行うものとする。この場合、上述のように映像の周波数特性が図２（Ｂ）の特性から図２（Ａ）の特性に切り換わった場合、同じフィルタ係数で図２（Ａ）に示す映像を処理し、カットオフ周波数ｂで低域信号を分離すると、図２（Ａ）に示す映像では高域信号が存在しない。このため、シャープネス処理の所望の効果が得られず、逆にノイズが強調されてしまうなどの弊害が現れてしまう。従って、映像を視認しているユーザに違和感を与えてしまうことが想定される。

このため、例えば図２（Ａ）に示す特性の映像に切り換えた際に、カットオフ周波数ａのフィルタ係数に変更することが考えられる。カットオフ周波数をｂからａに変更すると、これに合わせてゲイン調整部１０８におけるゲインも変更される。この際、フィルタ係数の設定変更の前後において、画像処理設定を変更する際に視聴者に急激な映像の変化をみせないようにするため、目標とする設定値に対して、ゲイン調整部１０８におけるゲインを、時間をかけて徐々に変化させていく。

図３は、フィルタ係数の設定を変更する際に、設定変更のタイミングの前後でゲインを徐々に変化させる例を示しており、横軸は時間ｔを表している。なお、図２（Ｂ）の特性から図２（Ａ）の特性に切り替わった場合、図３の縦軸のフィルタ設定値Ｘ１はフィルタ係数ｂに対応し、フィルタ設定値Ｘ２はフィルタ係数ａに対応する。また、図３の縦軸における設定変更前Ｇａｉｎはゲイン調整部１０８におけるフィルタ係数変更前のゲインに対応し、設定変更後Ｇａｉｎはゲイン調整部１０８におけるフィルタ係数変更後のゲインに対応している。図３の例では、時刻Ｔで画像処理設定を変更する場合に、設定変更前のゲインを時刻ｔ１１から減少させて、時刻Ｔよりも後の時刻ｔ１２で設定変更後のゲインとなるようにゲイン調整部１０８のゲインを徐々に変化させている。

しかしながら、シャープネス処理のフィルタ係数を変更した瞬間に、画像の輪郭は急激に変化し、ユーザに違和感を与える。このため、図３に示すようにゲインを徐々に変化させたとしても、視聴者に違和感として捉えられ易い。

ゲイン調整部１０８のゲインが０の場合は、図１に示す差分Ｄ’は０となり、加算部１１２からの出力Ｏは入力信号Ｉと同一の信号となる。従って、ゲイン調整部１０８のゲインが０の場合は、シャープネス処理が行われず、シャープネス処理が無効の状態となる。図３においては、フィルタ係数の設定変更の前後でゲインを徐々に変化させているが、ゲインの値は０ではなく、シャープネス処理が働いているため、シャープネス処理のフィルタ係数を変更した瞬間に映像に急激な変化が現れてしまう。

このため、本実施形態では、画像処理の強度に相当するパラメータをスルー（無効）状態にする時間を設け、その間にフィルタ設定変更や処理モード切替等における、映像に急激な変化を与えてしまうパラメータを変更する手法を用いる。これにより、映像に違和感を生じさせることなく、最適な画質設定を行うことが可能となる。

３．本実施形態による処理の例
図４は、本実施形態に係る処理を示すタイミングチャートである。図４においても横軸は時間ｔを表しており、縦軸のパラメータは図３と同様である。図４では、映像の状態が変化した時点(時刻ｔ０)から処理設定を変更する制御を示している。ここで、映像の状態が変化したか否かは、入力信号Ｉを受けた特性変化取得部１１０が判定する。特性変化取得部１１０は、映像の状態が変化したか否かを、入力信号Ｉの周波数特性のヒストグラム等から判断することができる。また、特性変化取得部１１０は、入力信号Ｉとともに映像のコンテンツ情報、メタデータ等を取得することで、上述した「ＣＭ」から「本編の番組」へのシーンの移り変わり、「本編番組のスタジオ映像」から「中継映像」へのシーンの移り変わりなどの映像状態の変化を取得することができる。

特性変化取得部１１０にて映像の状態が変化したことが検出されると、その情報は制御部１２０へ送られる。制御部１２０は、映像の状態が変化した場合は、ローパスフィルタ１０４のフィルタ係数の設定を変更するとともに、ゲイン調整部１０８のゲインを制御する。以下、詳細に説明すると、先ず、時刻ｔ０〜t１において、設定変更前のゲインからゲインを徐々に減少させる制御を行い、時刻ｔ１におけるゲインを０．０倍（×０．０）としてシャープネス処理を無効状態とする。その後、時刻ｔ２からゲインを増加させ、時刻ｔ３にて目的のゲイン設定値（設定変更後ゲイン）に到達するようにゲインを緩やかに制御する。

このとき、ｔ１≦Ｔ≦ｔ２となる時刻Ｔにおいて、フィルタ設定値をＸ１→Ｘ２に切り替えると、時刻ｔ１〜ｔ２の間はシャープネス処理が無効状態である。このため、ローパスフィルタ１０４のフィルタ設定値を切替えたとしても、加算部１１２からの出力にはローパスフィルタ１０４の出力成分は含まれることはない。従って、フィルタ設定値をＸ１からＸ２へ切り換えた際に、映像には変化が生じない。これにより、フィルタ設定値をＸ１からＸ２に切替えた際に、視聴者に違和感を与えることなく、最適なフィルタ設定に移行させることができる。

なお、ｔ１〜ｔ２の区間でシャープネス処理の無効状態とするため、ｔ０〜ｔ３の区間でゲインが変化するが、これに伴って一時的に映像状態が変化することが考えられる。例えば、シャープネス処理の場合は、無効状態とすることによってシャープネス処理がオフ（ＯＦＦ）になるため、シャープネス処理がオン（ＯＮ）の場合に比べて映像の鮮明度が若干低下することが考えられる。この場合においても、ゲインをある程度の時間かけて変化させることにより、例えばｔ０〜ｔ３間を数秒程度の時間をかけて徐々に（段階的に）ゲインを変化させることで、ユーザに違和感を与えることを抑止できる。また、周波数特性など映像の入力信号Ｉの内容が大きく変わった直後であるので、単にフィルタ係数のみを変化させた場合の急激な映像の変動と比較すると、ユーザに与える違和感は最小限に抑えられる。

また、ｔ０〜ｔ１間、及びｔ２〜ｔ３間でゲインを徐々に変化させる際の設定変更のステップ（ｓｔｅｐ）数としては、所定の精度(変更開始から終了まで数ステップ〜数十ステップ)をもたせることとし、急激にゲインの値が変わらないようにする。これにより、ゲインの変化に伴ってユーザが違和感を認識することを確実に抑えることが可能である。

以上の説明では、シャープネス処理のフィルタ係数を例に挙げて説明を行ったが、画像処理のアルゴリズムや処理の構成によっては、無効区間における設定変更であってもユーザに映像の変化が視認されることが想定される。

この場合には、図５に示すように、無効区間にフィルタ設定値を徐々に変化させるようにしても良い。また、画像処理のアルゴリズムや処理の構成によって、ゲインを×０．０倍まで低下させると映像に与える影響が大きくなる場合は、ゲインを×０．０倍まで低下させず、視聴者に違和感を感じさせない程度(×０．５倍、×０．２倍など)までゲインを低下させるようにしてもよい。

以上説明したように本実施形態によれば、入力される映像の状態に応じて画像処理を切り換えることによって、最適な画像処理を行うことができる。この際、滑らかにモード・設定を切り替えることによって視聴者に違和感を感じさせることなく、最適な処理状態に移行させることができる。

また、画像処理の強度(ゲイン)をスルー状態にすることで、滑らかな設定変更が可能であるため、簡単な制御ソフト若しくはハードウェアを追加するのみで、いかなる画像処理にも適用することが可能である。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１００ 画像処理装置
１０２ 特性変化取得部
１０４ ローパスフィルタ
１０６ 減算部
１０８ ゲイン調整部
１１０ 制御部
１１２ 加算部

Claims (10)

1. 入力画像の特性の変化を取得する特性変化取得部と、
   前記入力画像に対して画像処理を行う画像処理部と、
   前記画像処理のゲインを調整するゲイン調整部と、
   前記入力画像の特性の変化に応じて、前記画像処理部における前記画像処理の設定を変更するとともに、前記画像処理の設定を変更するタイミングで前記ゲイン調整部のゲインを低下させる制御を行う制御部と、
   を備える、画像処理装置。
2. 前記制御部は、前記画像処理の設定を変更するタイミングで前記ゲイン調整部のゲインを０に設定し、前記画像処理部における前記画像処理を無効とする、請求項１に記載の画像処理装置。
3. 前記制御部は、前記画像処理の設定を変更するタイミングを含む所定時間の間、前記ゲイン調整部のゲインを０に設定し、前記画像処理部における前記画像処理を無効とする、請求項２に記載の画像処理装置。
4. 前記制御部は、前記所定時間より前に前記ゲイン調整部のゲインを０まで低下させ、前記所定時間の経過後、前記ゲイン調整部のゲインを増加させる、請求項３に記載の画像処理装置。
5. 前記制御部は、前記入力画像の特性の変化に応じて、前記画像処理部における画像処理の設定を段階的に変更する、請求項１に記載の画像処理装置。
6. 入力画像の特性の変化を取得するステップと、
   前記入力画像に対して画像処理を行うステップと、
   前記入力画像の特性の変化に応じて、前記画像処理の設定を変更するステップと、
   前記画像処理の設定を変更するタイミングで前記画像処理のゲインを低下させるステップと、
   を備える、画像処理方法。
7. 前記画像処理のゲインを低下させるステップにおいて、ゲインを０に低下させて前記画像処理を無効とする、請求項６に記載の画像処理方法。
8. 前記画像処理のゲインを低下させるステップにおいて、前記画像処理の設定を変更するタイミングを含む所定時間の間、前記画像処理のゲインを０に設定する、請求項７に記載の画像処理方法。
9. 前記画像処理のゲインを低下させるステップにおいて、前記所定時間より前にゲインを０まで低下させ、前記所定時間の経過後にゲインを増加させる、請求項８に記載の画像処理方法。
10. 前記画像処理の設定を変更するステップにおいて、前記入力画像の特性の変化に応じて、前記画像処理の設定を段階的に変更する、請求項６に記載の画像処理方法。

Images