JP4735696B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、ビット数を変換する階調変換処理機能を有する画像処理装置、画像処理方法、およびプログラムに関するものである。

たとえば、Ｎビットの画素値の画像を、Ｎビットよりも小さいＭビットの画素値の画像を表示する表示装置で表示するには、Ｎビットの画像をＭビットの画像に変換すること、つまり画像階調を変換する階調変換を行う必要がある。

Ｎビットの画像をＭビットの画像に階調変換する方法としては、たとえばＮビットの画素値の下位Ｎ−Ｍビットを単に切り捨ててＭビット画素値に量子化する方法が知られている。

この量子化する階調変換において、たとえば８ビットでは２５６（＝２^８）階調を表現することができるが、４ビットでは１６（＝２^４）階調しか表現することができない。
このため、８ビットのグレースケール画像の下位ビットを切り捨てて上位４ビットに量子化する階調変換では、階調の変化が帯のように見えるバンディング（ｂａｎｄｉｎｇ）が生じる。

このようなバンディングが生じることを防止し、階調変換後の画像において階調変換前の階調を擬似的に表現する階調変換方法として、たとえば誤差拡散法が知られている。
この誤差拡散法によれば、たとえば２５６階調の画像を階調変換して得られる１６階調の画像において、人が見たときに、視覚的に１６階調で、２５６階調を表現する。

すなわち、下位ビットを単純に切り捨てただけでは、表示された画像において量子化誤差が目立ってしまい、画像品質を保つことが困難である。
そこで、このような量子化誤差を、人間の視覚特性を考慮して高域に変調する画像のΔΣ変調を行う方法が誤差拡散法として知られている。
一般的には、誤差拡散では、量子化誤差をフィルタリングする２次元フィルタが用いられる。
この２次元フィルタとしては、Ｊａｒｖｉｓ，Ｊｕｄｉｃｅ＆Ｎｉｎｋｅのフィルタや
Ｆｌｏｙｄ＆Ｓｔｅｉｎｂｅｒｇのフィルタが知られている（たとえば非特許文献１参照）。
貴家仁志著，「よくわかるディジタル画像処理」，第６版，ＣＱ出版株式会社，２０００年１月，ｐ．１９６−２１３

ところで、２次元ではなく、１次元ΔΣ変調を行うことも考えられる。

ところが、階調変換処理機能を有する画像処理装置において、１次元の階調変換を入力された素材に使用すると、目視で確認できるような大きなノイズが発生することがある。
また、階調変換処理の直交方向の色成分の変化が確認されることがある。
これは、１次元階調変換処理の直交方向には通常のディザリングと同様の効果がもたらされるためであり、これにより、直交方向成分に一般的な誤差拡散手法が適応されてしまう。

また、映像再生システムではオリジナルソースを特定の画サイズで出力するものがあり、そのようなシステムに誤差拡散手法を適応する場合に映像システムの内部処理が施された信号に対して、誤差拡散手法を適応することになる。
この場合の問題点は、本来の信号とは異なった信号に対して処理を行うため、ソースによっては適応する必要がないケースに誤差拡散手法を適応してしまうことである。
それにより、画面全体の表現能力がほとんど上がらず、ディザリングのデメリットであるＳ／Ｎの低下を招くおそれがある。

本発明は、必要のない場合に誤差拡散法が適応されることを防止することができ、素材の属性に応じて適応的に階調変換機能を適用することが可能な画像処理装置、画像処理方法、およびプログラムを提供することにある。

本発明の第１の観点の画像処理装置は、ビデオのオリジナルソースに対して各種処理を施す処理系と、ビット数を変換する階調変換機能であって、階調変換後の画像において階調変換前の階調を擬似的に表現する階調変換機能を有し、当該階調変換機能を変更可能な階調変換部と、少なくともオリジナルソース情報およびシステム全体の情報に応じて上記階調変換部のオン、オフ、並びに、上記階調変換機能の変更制御を行う制御部と、を有し、上記処理系は、オリジナルソースをビデオ信号に変換するデコーダと、デコードされたビデオ信号の画質を調整する画質調整部と、上記画質調整部の出力をインターレース（Ｉ）からプログレッシブ（Ｐ）に変換し、上記階調変換部に供給するＩ／Ｐ部と、上記Ｉ／Ｐ部の出力からビデオ信号の特徴点情報を取得する特徴解析部と、を含み、上記制御部は、上記デコーダ、上記画質調整部、上記Ｉ／Ｐ部、および上記特徴解析部からの情報に応じて上記階調変換部のオン、オフ、並びに、上記階調変換機能の変更制御を行う。

本発明の第２の観点の画像処理方法は、ビデオのオリジナルソースに対して各種処理を施すオリジナルソース処理ステップと、少なくともオリジナルソース情報およびシステム全体の情報に応じて階調変換部のオン、オフ、並びに、当該階調変換部の階調変換機能の変更制御を行う制御ステップと、上記階調変換部がオフに制御されると上記階調変換機能を発現させない非階調変換ステップと、上記階調変換部がオンに制御された場合、上記各種処理された画像信号に対して、ビット数を変換する階調変換機能であって、階調変換後の画像において階調変換前の階調を擬似的に表現する階調変換を行う階調変換ステップと、を有し、上記オリジナルソース処理ステップは、オリジナルソースをビデオ信号に変換するデコードステップと、デコードされたビデオ信号の画質を調整する画質調整ステップと、上記画質調整ステップの出力をインターレース（Ｉ）からプログレッシブ（Ｐ）に変換し、上記階調変換部に供給するＩ／Ｐステップと、上記Ｉ／Ｐステップの出力からビデオ信号の特徴点情報を取得する特徴解析ステップと、を含み、上記制御ステップは、上記デコードステップ、上記画質調整ステップ、上記Ｉ／Ｐステップ、および上記特徴解析ステップによる情報に応じて上記階調変換機能のオン、オフ、並びに、上記階調変換機能の変更制御を行う。

本発明の第３の観点は、ビデオのオリジナルソースに対して各種処理を施すオリジナルソース処理と、少なくともオリジナルソース情報およびシステム全体の情報に応じて階調変換部のオン、オフ、並びに、当該階調変換部の階調変換機能の変更制御を行う制御処理と、上記階調変換部がオフに制御されると上記階調変換機能を発現させない非階調変換処理と、上記階調変換部がオンに制御された場合、上記各種処理された画像信号に対して、ビット数を変換する階調変換機能であって、階調変換後の画像において階調変換前の階調を擬似的に表現する階調変換を行う階調変換処理と、を有し、上記オリジナルソース処理は、 オリジナルソースをビデオ信号に変換するデコード処理と、デコードされたビデオ信号の画質を調整する画質調整処理と、上記画質調整処理の出力をインターレース（Ｉ）からプログレッシブ（Ｐ）に変換し、上記階調変換部に供給するＩ／Ｐ処理と、上記Ｉ／Ｐ処理の出力からビデオ信号の特徴点情報を取得する特徴解析処理と、を含み、上記制御処理は、上記デコード処理、上記画質調整処理、上記Ｉ／Ｐ処理、および上記特徴解析処理による情報に応じて上記階調変換部のオン、オフ、並びに、上記階調変換機能の変更制御を行う画像処理をコンピュータに実行させるプログラムである。

本発明によれば、必要のない場合に誤差拡散法が適応されることを防止することができ、素材の属性に応じて適応的に階調変換機能を適用することができる。

以下、本発明の実施形態を図面に関連付けて説明する。
なお、説明は以下の順番で行う。
１．第１の実施形態（画像処理装置の基本構成例）
２．第２の実施形態（画像処理装置が適用される記録再生装置の構成例）

＜１．第１の実施形態＞
図１は、本発明の実施形態に係る１次元ＳＢＭ処理機能を有するビデオ系画像処理装置の基本構成例を示すブロック図である。

本実施形態に係る映像信号の画像処理装置１００は、１次元のスーパービットマッピング（ＳＢＭ：Super Bit Mapping）処理機能を採用している。
ここで、ＳＢＭ処理とは、多ビット信号処理結果をあるビットに丸め込む際に、人間の視覚特性に合わせて高域にノイズを加えることにより、多ビット成分を落とすことなく伝送可能とする技術である。

そして、本実施形態の画像処理装置１００は、素材の属性に応じたＳＢＭ処理を行うように構成されている。
即ち、本実施形態においては、入力されたビデオ信号に１次元ＳＢＭ処理をそのまま適応するだけではなく、オリジナルソースの情報と最終出力までの情報を基にＳＢＭ処理を適応的に制御する。
たとえば、ＳＢＭ処理をＯＦＦにする、あるいはＳＢＭ処理を行うが素材に応じて後で説明するハイパスフィルタ（ＨＰＦ）の係数を切り替えてＳＢＭ処理を行う等の制御を行う。

図１の画像処理装置１００は、ＡＶデコーダ１１０、画質調整部１２０、Ｉ／Ｐブロック１３０、特徴解析ブロック１４０、ＳＢＭ処理部１５０、素材の属性情報格納部１６０、および制御部としてのＣＰＵ１７０を有する。
本実施形態においては、ＡＶデコーダ１１０、画質調整部１２０、Ｉ／Ｐブロック１３０、特徴解析ブロック１４０により処理系が形成される。

ＡＶデコーダ１１０は、入力された映像および音声の圧縮データを所定の圧縮符号化方式で復号（圧縮データの伸張）する。
換言すれば、ＡＶデコーダ１１０は、オリジナルソースをビデオ信号に変換する。

画質調整部１２０は、ＡＶデコーダ１１０でデコードされたビデオ信号の画質を調整する機能を有する。

Ｉ（インターレース）／Ｐ（プログレッシブ）変換部１３０は、いわゆるＩＰ変換を行い特徴解析ブロック１４０、およびＳＢＭ処理部１５０に出力する。

特徴解析ブロック１４０は、ビデオ信号の特徴点情報を取得する。
特徴解析ブロック１４０は、画素単位で、たとえば平坦部、グレーンノイズ部、モスキートノイズ部、ディテール部を取得することができる。
また、特徴解析ブロック１４０は、対象画素に対しての情報である、黒の暗部、エッジ強度情報、平坦部情報、クロマレベル（Ｃｈｒｏｍａ Ｌｅｖｅｌ）情報を取得する。

ＳＢＭ処理部１５０は、ＣＰＵ１７０の制御の下、ＳＢＭ処理をＯＦＦにする、あるいはＳＢＭ処理を行うが素材に応じて後で説明するハイパスフィルタ（ＨＰＦ）の係数を切り替えてＳＢＭ処理を行う。

図２は、本実施形態に係るＳＢＭ処理部の要部である階調変換部の構成例を示すブロック図である。

階調変換部２００は、たとえばノイズリダクション処理により８ビットの画像が１４ビットの画像に拡張されたビデオ信号を、表示デバイスが処理可能で表示することができるビット数、たとえば８ビット、１０ビット、１２ビットに変換する階調変換機能を有する。

階調変換部２００は、ディザ加算部２１０および１次元ΔΣ変調部２２０を有する。

ディザ加算部２１０は、対象画像を形成する画素値ＩＮ（ｘ，ｙ）にランダムノイズを加算することにより、対象画像にディザを施し、１次元ΔΣ変調部２２０に出力する。

１次元ΔΣ変調部２２０は、ディザ加算部２１０からのディザが施された対象画像に、１次元のΔΣ変調を施し、その結果得られた画素値ＯＵＴ（ｘ，ｙ）により形成される階調変換部２００の画像として出力する。

図３は、図２のディザ加算部２１０の構成例を示す図である。

ディザ加算部２１０は、図３に示すように、演算部２１１、ハイパスフィルタ（ＨＰＦ：Ｈｉｇｈ Ｐａｓｓ Ｆｉｌｔｅｒ）２１２、ランダムノイズ出力部２１３、および係数設定部２１４を有する。

演算部２１１は、対象画像の画素値ＩＮ（ｘ，ｙ）が、図４に示すように、ラスタスキャン順に供給される。
また、演算部２１１には、ＨＰＦ２１２の出力が供給される。
演算部２１１は、対象画像の画素値ＩＮ（ｘ，ｙ）に、ＨＰＦ２１２の出力を加算し、その結果得られる加算値を、ディザが施された画素値Ｆ（ｘ，ｙ）として１次元ΔΣ変調部２２０に供給する。

ＨＰＦ２１２は、係数設定部２１４によって設定されるフィルタ係数に基づき、ランダムノイズ出力部２１３が出力するランダムノイズをフィルタリングし、そのフィルタリングの結果得られるランダムノイズの高域成分を演算部２１１に供給する。

ランダムノイズ出力部２１３は、たとえばガウス分布等に従うランダムノイズを発生し、ＨＰＦ２１２に出力する。

係数設定部２１４は、基本的に、人の視覚の空間周波数特性、および表示デバイスの解像度に基づいてフィルタ係数ＨＰＦ−ＣＥ１、ＨＰＦ−ＣＥ２、ＨＰＦ−ＣＥ３を決定し、ＨＰＦ２１２に設定する。
本実施形態において、係数設定部２１４は、ＣＰＵ１７０の制御指示に従ってフィルタ係数ＨＰＦ−ＣＥ１、ＨＰＦ−ＣＥ２、ＨＰＦ−ＣＥ３のいずれかを選択する。

以上のように、ディザ加算部２１０では、係数設定部２１４が、ＣＰＵ１７０の指示に従ってＨＰＦ２１２のフィルタ係数ＨＰＦ−ＣＥ１、ＨＰＦ−ＣＥ２、ＨＰＦ−ＣＥ３のいずれかを選択する。
そして、ＨＰＦ２１２が、係数設定部６４によって設定されたフィルタ係数と、ランダムノイズ出力部２１３が出力するランダムノイズとの積和演算等を行うことによって、ランダムノイズ出力部２１３が出力するランダムノイズをフィルタリングする。
これにより、ＨＰＦ２１２は、ランダムノイズの高域成分を演算部２１１に供給する。
演算部２１１は、対象画像の１４ビットの画素値ＩＮ（ｘ，ｙ）と、ＨＰＦ２１２からのランダムノイズの高域成分とを加算する。演算部２１１は、その結果得られる、たとえば対象画像と同一のビット数である１４ビットの加算値、あるいはそれ以上のビット数の加算値を、ディザが施された画素値Ｆ（ｘ，ｙ）として、１次元ΔΣ変調部２２０に出力する。

ＣＰＵ１７０は、全体の制御を行うとともに、入力されたビデオ信号に１次元ＳＢＭ処理をそのまま適応するだけではなく、オリジナルソースの情報と最終出力までの情報を基にＳＢＭ処理を適応的に制御する。
ＣＰＵ１７０は、たとえば、ＳＢＭ処理をＯＦＦにする、あるいはＳＢＭ処理を行うが素材に応じて後で説明するハイパスフィルタ（ＨＰＦ）の係数を切り替えてＳＢＭ処理を行う等の制御を行う。

ＣＰＵ１７０は、各種情報に応じてＳＢＭ処理部１５０のＯＮ／ＯＦＦ制御を行う。
ＣＰＵ１７０は、テレビジョン（ＴＶ）からの情報に応じてＳＢＭのビット長を自動で切り替える制御を行う。
ＣＰＵ１７０は、ＡＶデコーダ１１０、画質調整部１２０、Ｉ／Ｐブロック１３０、特徴解析ブロック１４０からの情報に応じてＳＢＭ処理部１５０における階調変換部２００のディザ加算部２１０のＨＰＦ２１２のフィルタ係数の切り替え制御を行う。

本実施形態において、ＳＢＭ処理を適応的に制御する理由について述べる。

１次元ＳＢＭ処理を入力されたビデオ信号にそのまま適応するとＳＢＭ処理方向に対して直交方向のノイズ成分が目立つことがある。
そのため、１次元ＳＢＭ処理を行う場合は、直交方向のノイズが目立ちにくいように画像解析の結果を利用して、１次元ＳＢＭ処理を行うように制御する。
また映像再生システムでは、オリジナルソースを特定の画サイズで出力するものがあり、そのようなシステムに誤差拡散手法を適応する場合に、映像システムの内部処理が施された信号に対して、誤差拡散手法を適応することになる。
この場合、本来の信号とは異なった信号に対して処理を行うため、ソースによっては適応する必要がないケースに誤差拡散手法を適応してしまうおそれがある。それにより、画面全体の表現能力がほとんど上がらず、ディザリングのデメリットであるＳ/Ｎの低下を招くおそれある。
そこで、映像信号再生システムによってはオリジナルソースを加工した状態で出力しなければならないため、オリジナルソースに適応された複数の処理結果から、ＳＢＭ処理の設定を変更して、ＳＢＭ処理の効果をより高めるような制御を行っている。

次に、図１の画像処理装置１００のＣＰＵ１７０の制御の具体例について説明する。

［ＳＢＭ ＯＮ/ＯＦＦ の制御］
ＣＰＵ１７０は、デジタルアウト（Ｄｉｇｉｔａｌ Ｏｕｔ）、アナログアウト（Ａｎａｌｏｇ Ｏｕｔ）の使用有無情報に応じて、ＳＢＭ処理のＯＮ／ＯＦＦ処理を切り替える。
もしくは、デジタル（Ｄｉｇｉｔａｌ）、アナログ（Ａｎａｌｏｇ）の種別に応じてＨＰＦ２１２のフィルタ係数ＨＰＦ−ＣＥ１、ＨＰＦ−ＣＥ２、ＨＰＦ−ＣＥ３のいずれかを選択する。

［Digital Out の際にＴＶからの情報を使用する］
ＣＰＵ１７０は、デジタルアウト（Ｄｉｇｉｔａｌ Ｏｕｔ）、たとえばＨＤＭＩ出力の時にＨＤＭＩのモニタ情報、たとえば図５に示すＨＤＭＩ Ｓｐｅｃ1.3で得られる情報からＳＢＭのビット長を自動で切り替える。
たとえば、１４ビットを１２ビットあるいは１０ビットあるいは８ビットとなるように制御する。

［各ブロックの情報に応じたＨＰＦのフィルタ係数の切り替え］
ＣＰＵ１７０は、ＡＶデコーダ１１０、画質調整部１２０、Ｉ／Ｐブロック１３０、特徴解析ブロック１４０からの情報に応じてＳＢＭ処理部１５０における階調変換部２００のディザ加算部２１０のＨＰＦ２１２のフィルタ係数の切り替え制御を行う。
ＣＰＵ１７０は、ＳＢＭ処理のＯＮ／ＯＦＦ制御も行う。

図６は、本実施形態における各ブロックの情報に応じたＨＰＦのフィルタ係数の切り替え処理を説明するためのフローチャートである。

（ステップＳＴ１）
ステップＳＴ１において、オリジナルソースのコーデックタイプ（Ｃｏｄｅｃ Ｔｙｐｅ）を確認する。
コーデックタイプとは、ＭＰＥＧ２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などである。

（ステップＳＴ２）
ステップＳＴ２において、入力サイズと出力サイズの組み合わせを確認する。
入力サイズとして以下のものを例示できる。

・入力
1920x1080/24p、1920x1080/60i、1440x1080/60i、1280x720/60p、720x480/60p、720x480/60i、etc

出力サイズとして以下のものを例示できる。

・出力
1920x1080/60p、1920x1080/24p、1920x1080/60i、1280x720/60p、720x480/60p、720x480/60i

（ステップＳＴ３）
ステップＳＴ３において、画質調整機能を確認する。
たとえばノイズリダクション（ＮＲ）のＯＮ／ＯＦＦ等の確認を行う。

（ステップＳＴ４）
ステップＳＴ４において、画像出力までにＩ／Ｐ変換をしているのかを確認する。
たとえば６０ｉから６０ｐに変換をしているのかを確認する。

（ステップＳＴ５）
ステップＳＴ５において、特徴解析ブロック１４０の特徴情報を確認する。
対象画素に対しての情報は、たとえば黒の暗部、エッジ（Ｅｄｇｅ）強度情報、平坦部情報、クロマレベル（Ｃｈｒｏｍａ Ｌｅｖｅｌ）情報である。

（ステップＳＴ６）
ステップＳＴ６において、各ブロックから得られるスコアからの情報を元にＳＢＭ処理部１５０のＯＦＦ、あるいはＨＰＦ２１２のフィルタ係数ＨＰＦ−ＣＥ１、ＨＰＦ−ＣＥ２、ＨＰＦ−ＣＥ３の変更制御を行う。

図７は、ソースビデオ情報の一例を示す図である。
ソースビデオ情報としては、コーデックタイプ、オリジナルソース解像度、メイン出力解像度、外付けスケーラ、特殊シーン情報、ＨＤＭＩ出力情報等が含まれる。

以上、第１の実施形態として、本実施形態の特徴的な機能であるＳＭＢ処理機能に関する構成、機能について説明した。
以下、図１の画像処理装置が適用可能な記録再生装置に構成、機能を第２の実施形態として説明する。

＜２．第２の実施形態＞
図８は、本発明の実施形態に係る画像処理装置が適用される記録再生装置の構成例を示すブロック図である。

本実施形態に係る記録再生装置１０は、外部から提供された映像コンテンツを、ハードディスクドライブ（ＨＤＤ）、光ディスク等の記録媒体に記録し、かつ、当該記録媒体に記録された映像コンテンツを再生可能な装置として構成されている。
この記録再生装置１０は、たとえば、光ディスクを記録媒体とする光ディスクレコーダと、ハードディスクを記録媒体とするＨＤＤレコーダとの複合機として構成される。

映像コンテンツ（単に「コンテンツ」と称する場合もある）は、たとえば放送局から受信したテレビジョン放送の番組コンテンツや、外部入力されたビデオプログラム、セルＤＶＤ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標））等から読み出したビデオプログラムなどを含む。

なお、テレビジョン放送は、たとえば、地上波デジタル／アナログ放送、ＢＳ（Ｂｒｏａｄｃａｓｔｉｎｇ Ｓａｔｅｌｌｉｔｅ）放送、ＣＳ（Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ）放送など、放送電波を介して番組コンテンツを放送するものを含む。
さらに、テレビジョン放送は、ケーブルテレビ放送、ＩＰＴＶ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ ＴＶ）又はＶＯＤ（Ｖｉｄｅｏ Ｏｎ Ｄｅｍａｎｄ）など、ネットワークを介して番組コンテンツを配信するものも含む。

［記録再生装置の概略］
次に、本実施形態にかかる記録再生装置１０の特徴を概略的に説明する。

本実施形態に係る記録再生装置１０は、映像コンテンツの録画時或いは再生時に、映像コンテンツの映像全体を解析して、コンテンツの特徴的な部分を表す特徴点情報を予め取得しておく。
記録再生装置１０は、その映像コンテンツの次回再生時に、特徴点情報を再生映像の画質調整に適用することを特徴としている。

すなわち、本実施形態に係る記録再生装置１０は、番組コンテンツの記録時等に、その番組の内容を解析して、その番組の映像の特徴を表す情報（特徴点情報）を記録しておく。
そして、記録再生装置１０は、番組コンテンツを次回再生するときに、特徴点情報を用いて、その番組コンテンツの出力画質調整機能を動的に制御することにより、出力映像の画質を向上させることができる。

より具体的に説明すると、記録再生装置１０は、テレビジョン放送番組や映画等の映像コンテンツの記録時に、映像コンテンツの映像全体を解析する。
そして、記録再生装置１０は、たとえば、番組コンテンツのシーンチェンジ、フェード、クロスフェード、人物の登場シーン、テロップが大きいシーンなどを検出し、これらを特徴点情報として記録しておく。
そして、記録再生装置１０は、映像コンテンツの再生時において出力画質調整機能を制御する際に、通常の画質調整処理の制御パラメータに、特徴点情報でフィードバックをかけて、映像の特徴に応じて出力画質調整を動的に制御する。
この際、ユーザは、解放された設定項目を切り替えることで、特徴点情報を画質調整にどの程度反映させるかを、選択することが可能となっている。
以下に、このような特徴を実現するための、本実施形態に係る記録再生装置１０の構成について詳細に説明する。

［記録再生装置のハードウェア構成］
次に、図８に関連付けて、本実施形態に係る記録再生装置１０のハードウェア構成について説明する。

図８は、本実施形態に係る記録再生装置１０の構成を示すブロック図である。なお、図中の「Ａ」は音声信号を、「Ｖ」は映像信号を示す。

図８に示すように、記録再生装置１０は、アナログチューナー１１と、Ａ／Ｄ変換器１２と、アナログ入力端子１３と、ＤＶ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ）入力端子１４と、ＤＶデコーダ１５と、デジタルチューナー１６と、を有する。
記録再生装置１０は、ｉ．ＬＩＮＫ端子１７と、ＵＳＢ端子１８と、通信部１９と、ＡＶエンコーダ２０と、ストリームプロセッサ３０と、ＡＶデコーダ４０と、スケーラ（ｓｃａｌｅｒ）４２と、オーディオプロセッサ４４と、を有する。
記録再生装置１０は、ＨＤＤ５２と、光ディスクドライブ５４と、特徴点抽出ブロック６０と、出力画質調整ブロック７０と、グラフィック処理部８０と、ディスプレイ処理部８２と、Ｄ／Ａ変換器８４と、を有する。
記録再生装置１０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９４と、ユーザインタフェース９６と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１７０と、を有する。

そして、図８の記録再生装置１０において、ＡＶデコーダ４０、出力画質調整ブロック７０、グラフィック処理部８０、ディスプレイ処理部８２、およびＣＰＵ１７０のビデオ処理系が図１の画像処理装置と同様の機能を有している。
ディスプレイ処理部８２が、特徴解析ブロック１４０およびＳＢＭ処理部１５０に相当する機能ブロックを持つように形成することが可能である。
特徴解析ブロック１４０の機能は、ディスプレイ処理部８２ではなく特徴点抽出ブロック６０が持つように形成することも可能である。
ＳＢＭ処理およびその制御については図１〜図６に関連付けて詳述したことから、その詳細な説明は省略する。
以下では、記録再生装置１０の各部の構成、機能について説明する。

アナログチューナー１１は、アナログ放送用のアンテナ１で受信した放送電波から、目的のチャンネルを選局し、そのチャンネルの電波の復調処理を行って、番組コンテンツの受信信号（映像および音声アナログ信号）を生成する。
さらに、アナログチューナー１１は、この受信信号に対して、たとえば中間周波の増幅処理、色信号の分離、色差信号の生成、同期信号の抽出などといった所定の映像信号処理を行って、映像信号を出力する。

Ａ／Ｄ変換器１２は、上記アナログチューナー１１やアナログ入力端子１３等から入力された映像および音声のアナログ信号を所定のサンプリング周波数でデジタル信号に変換して、ＡＶエンコーダ２０に出力する。

アナログ入力端子１３には、外部機器２から、映像および音声のアナログ信号が入力される。

また、ＤＶ入力端子１４には、ＤＶ方式のデジタルビデオカメラ等の外部機器３から、映像および音声のＤＶ信号が入力される。

ＤＶデコーダ１５は、このＤＶ信号をデコードしてＡＶエンコーダ２０に出力する。

デジタルチューナー１６は、衛星放送または地上波デジタル放送用のアンテナ４で受信した放送電波から、目的のチャンネルを選局し、そのチャンネルの番組コンテンツの映像および音声デジタルデータ（ビットストリーム）をストリームプロセッサ３０に出力する。

また、ｉ．ＬＩＮＫ端子１７、ＵＳＢ端子１８等の外部入力端子には、ＨＤＶ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｖｉｄｅｏ）方式のデジタルビデオカメラ等の外部機器５、６が接続される。
この外部機器５からＩＥＥＥ１３９４方式で転送された映像および音声のＨＤＶ信号（ストリーム）が、ｉ．ＬＩＮＫ端子１７を介してストリームプロセッサ３０に入力される。

通信部１９は、イーサネット（登録商標）７等のＩＰネットワークを介して、外部装置（図示せず）との間で各種データを送受信する。
たとえば、通信部１９は、イーサネット（登録商標）７等を介して配信されるＩＰＴＶの番組コンテンツの映像および音声信号を受信して、ストリームプロセッサ３０に出力する。

ＡＶエンコーダ２０は、映像および音声信号をエンコード（圧縮符号化）するエンコード部の一例として構成されたハードウェアである。
このＡＶエンコーダ２０は、上述のＡ／Ｄ変換器１２、ＤＶデコーダ１５、後述のスケーラ４２、オーディオプロセッサ４４等から入力された映像および音声デジタル信号を、所定の圧縮符号化形式で圧縮符号化する。
このＡＶエンコーダ２０は、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）映像およびＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）映像に対応可能な高性能のエンコーダであり、ＳＤ解像度の映像信号のみならず、ＨＤ解像度の映像信号もエンコード可能である。
また、このＡＶエンコーダ２０は、ステレオ音声およびマルチチャンネル音声に対応可能なエンコーダであり、２チャンネルの音声信号のみならず、マルチチャンネルの音声信号もエンコード可能である。
ＡＶエンコーダ２０は、記録対象のコンテンツの映像信号又は音声信号を、ＣＰＵ１７０により決定された記録モードに対応するビットレートでエンコードする。
さらに、ＡＶエンコーダ２０は、このようにエンコードした映像／音声信号の圧縮データ（ビットストリーム）を、ストリームプロセッサ３０に出力する。

ストリームプロセッサ３０は、記録媒体に対するデータの記録時又は再生時に、記録対象又は再生対象のデータ（ストリーム）に対して所定のデータ処理を行う。
たとえば、データ記録時には、ストリームプロセッサ３０は、ＡＶエンコーダ２０でエンコードされた圧縮データを多重化（Ｍｕｌｔｉｐｌｅｘ）および暗号化して、バッファ制御しつつ、記録部５０の記録媒体に記録する。
記録部５０は、ＨＤＤ５２や光ディスクドライブ５４を含む。
また、データ再生時には、ストリームプロセッサ３０は、記録部５０の記録媒体から読み出された圧縮データを、暗号解読および分離化（ＤｅＭｕｌｔｉｐｌｅｘ）してＡＶデコーダ４０に出力する。

ＡＶデコーダ４０は、圧縮された映像および音声信号をデコード（復号）するデコード部の一例として構成されたハードウェアである。
このＡＶデコーダ４０は、ストリームプロセッサ３０から入力された映像および音声の圧縮データを所定の圧縮符号化方式で復号（圧縮データの伸張）する。

上記のようなＡＶエンコーダ２０およびＡＶデコーダ４０で用いる圧縮符号化方式（コーデックタイプ）としては、映像については、たとえば、ＭＰＥＧ２、Ｈ．２６４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、ＶＣ１等を使用できる。
また、音声については、たとえば、Ｄｏｌｂｙ ＡＣ３、ＭＰＥＧ２ ＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）、ＬＰＣＭ（Ｌｉｎｅａｒ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）等を使用できる。

また、上記のように、記録再生装置１０には、外部から多様な形式の映像／音声信号が入力される。この映像信号の形式（画サイズ）としては、映像の品質に応じて、たとえば、「４８０ｉ」、「４８０ｐ」、「７２０ｐ」、「１０８０ｉ」、「１０８０ｐ」等がある。
たとえば、「１０８０ｉ」は、垂直方向の有効走査線が１０８０本（総走査線が１１２５本）であり、飛び越し走査(インターレーススキャン)方式で、フレームレートが「３０フレーム／秒」で送信される映像信号を表す。
「１０８０ｉ」における解像度は「１９２０×１０８０」若しくは「１４４０×１０８０」ピクセルである。
また、「７２０ｐ」は、垂直方向の有効走査線が７２０本(総走査線が７５０本)であり、順次走査(プログレッシブスキャン）方式で、フレームレートが「６０フレーム／秒」で送信される映像信号を表す。
「７２０ｐ」における解像度は「１２８０×７２０」若しくは「９６０×１０８０」ピクセルである。
これらの映像信号の形式のうち、「４８０ｉ」および「４８０ｐ」等の映像信号は、走査線本数が少なく低解像度のＳＤ映像のカテゴリ（以下「ＳＤカテゴリ」という。）に分類される。
一方、「７２０ｐ」、「１０８０ｉ」および「１０８０ｐ」等の映像信号は、走査線本数が多く高解像度のＨＤ映像のカテゴリ（以下「ＨＤカテゴリ」という。）に分類される。

また、音声信号の形式（チャンネル数）としては、たとえば、「１ＣＨ」、「２ＣＨ」、「５．１ＣＨ」、「６．１ＣＨ」、「７．１ＣＨ」、「４ＣＨ」、「５ＣＨ」、「６ＣＨ」等がある。
たとえば、「５．１ＣＨ」は、視聴者の正面、右前方、左前方、右後方、左後方に配されるスピーカと、低音出力用サブウーファースピーカ（ＬＦＥ：Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ Ｅｆｆｅｃｔ）との６スピーカから出力されるマルチチャンネルの音声信号を表す。
これらの音声信号形式のうち、「１ＣＨ（モノラル）」および「２ＣＨ（ステレオ）」等の音声信号は、チャンネル数が比較的少ない低音質のステレオ音声のカテゴリ（以下「ステレオカテゴリ」という。）に分類される。
一方、「５．１ＣＨ」、「６．１ＣＨ」、「７．１ＣＨ」、「４ＣＨ」、「５ＣＨ」および「６ＣＨ」等の音声信号は、チャンネル数が比較的多く高音質のマルチチャンネル音声のカテゴリ（以下「マルチチャンネルカテゴリ」という。）に分類される。

また、記録再生装置１０は、上記のように入力された各種の映像／音声信号の形式を、記録媒体に対応した所定の記録形式に変換するための形式変換部を有している。
この形式変換部は、スケーラ４２（映像形式変換部）とオーディオプロセッサ４４（音声形式変換部）とを含む。

スケーラ４２は、ＣＰＵ１７０からの指示に基づいて、ＡＶデコーダ４０から入力された映像信号の形式を所定の記録形式に変換（即ち、画サイズを調整）する。
たとえば、ＨＤカテゴリに属する「７２０ｐ」、「１０８０ｐ」等の形式の映像信号が入力された場合には、スケーラ４２は、これらの映像信号を、記録媒体が対応可能な所定の記録形式「１０８０ｉ」に変換する。
スケーラ４２は、画サイズを変換した映像信号をＡＶエンコーダ２０に出力する。
このようにスケーラ４２は、一般的なスケーラのようにＨＤ映像とＳＤ映像との間での画サイズ変換機能のみならず、同一の映像形式カテゴリ内に属する多様な形式間での画サイズ変換機能をも有する。なお、画サイズ変換機能には、たとえば、ＨＤカテゴリ内で「７２０ｐ」から「１０８０ｉ」に変換する機能を含む。

オーディオプロセッサ４４は、ＣＰＵ１７０からの指示に基づいて、ＡＶデコーダ４０から入力された音声信号の形式を所定の記録形式に変換（即ち、チャンネル数を変更）する。
たとえば、マルチチャンネルカテゴリに属する「７．１ＣＨ」、「４ＣＨ」、「５ＣＨ」等の形式の映像信号が入力された場合には、オーディオプロセッサ４４は次のチャンネル数変換処理を行う。
即ち、オーディオプロセッサ４４は、これらの音声信号を、記録再生装置１０が対応可能なマルチチャンネルカテゴリの所定の記録形式「５．１ＣＨ」に変換する。
オーディオプロセッサ４４は、チャンネル数を変換した音声信号をＡＶエンコーダ２０に出力する。
このように、オーディオプロセッサ４４は、異なる音声形式カテゴリ間でのチャンネル数変換機能のみならず、同一の音声形式カテゴリ内に属する多様な形式間でのチャンネル数変換機能をも有する。なお、このチャンネル数変換機能には、たとえば、マルチチャンネルカテゴリ内で「５ＣＨ」から「５．１ＣＨ」に変換する機能を含む。

また、記録再生装置１０は、コンテンツの映像および音声データ等を記録媒体に記録する記録部５０を有している。
本実施形態に係る記録再生装置１０の記録部５０は、たとえば、ハードディスクドライブ（ＨＤＤ）５２と、光ディスクドライブ５４とを含む。

ＨＤＤ５２は、記録媒体であるハードディスクに対して、各種の情報を書き込み／読み出しする。
たとえば、ＨＤＤ５２は、ストリームプロセッサ３０から入力された映像／音声信号のストリームを、ハードディスクに記録する。
また、ＨＤＤ５２は、ハードディスクに記録されているデータを読み出して、ストリームプロセッサ３０に出力する。
同様に、光ディスクドライブ５４も、記録媒体である光ディスクに対して、各種の情報を書き込み／読み出しする。
たとえば、映像コンテンツが記録された市販のリムーバブル記録媒体（セルＤＶＤ、ＢＤ等）を光ディスクドライブ５４にロードすることで、当該リムーバブル記録媒体から映像コンテンツを読み出して再生できる。

このように、本実施形態にかかる記録再生装置１０は、２つの記録部５０、即ち、ＨＤＤ５２と光ディスクドライブ５４とを有している。
これにより、ＨＤＤ５２に記録されたコンテンツを、光ディスクドライブ５４に記録したり、その逆を行ったりできる。
なお、記録媒体としては、たとえば、ハードディスク等の磁気ディスク、または、次世代ＤＶＤ（Ｂｌｕ−Ｒａｙディスク等）、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等の任意の記録媒体を使用可能である。
若しくは、記録媒体として、光磁気ディスク等の光ディスク、または、フラッシュメモリ等の各種の半導体メモリなど、任意の記録媒体を使用できる。
また、記録媒体は、記録再生装置１０内に固定される記録媒体であってもよいし、記録再生装置１０に着脱可能なリムーバブル記録媒体であってもよい。

特徴点抽出ブロック６０は、たとえば、映像信号を解析してコンテンツの映像の特徴点に関する情報を抽出する機能を有するハードウェアで構成される。
特徴点抽出ブロック６０は、外部から入力されたコンテンツを記録部５０の記録媒体に記録するとき、或いは、記録媒体に記録されたコンテンツを再生するときに、ＣＰＵ１７０による指示に応じて、コンテンツの映像信号を解析する。そして特徴点抽出ブロック６０は、この映像信号から、コンテンツの映像の特徴点を表す情報を抽出して、ＣＰＵ１７０に出力する。

出力画質調整ブロック７０は、たとえば、出力画質の調整機能を有するハードウェアで構成される。出力画質調整ブロック７０は、上記記録部５０の記録媒体に記録されたコンテンツを再生するときに、ＣＰＵ１７０による指示に応じて、再生対象のコンテンツの出力画質を調整する。
このとき、ＣＰＵ１７０は、再生対象のコンテンツに関する特徴点情報に基づいて、出力画質調整ブロック７０の動作をコンテンツごとに動的に制御する。

グラフィック処理部８０は、データ再生時に、記録再生装置１０の動作設定や動作状況を示す表示データや、字幕などを生成し、これらの表示データや字幕を、出力画像調整ブロックから出力された再生映像に重畳（オーバレイ）する。

ディスプレイ処理部８２は、グラフィック処理部８０で生成された合成映像に対して、出力形式に応じて画サイズなどを整形する処理を施す。
ディスプレイ処理部８２は、上述したＳＢＭ処理機能を有する。
ディスプレイ処理部８２は、ＣＰＵ１７０の制御の下、素材の属性に応じたＳＢＭ処理を行うように構成されている。
即ち、ディスプレイ処理部８２は、ＣＰＵ１７０により、入力されたビデオ信号に１次元ＳＢＭ処理をそのまま適応するだけではなく、オリジナルソースの情報と最終出力までの情報を基にＳＢＭ処理が適応的に制御される。
たとえば、ディスプレイ処理部８２は、ＳＢＭ処理がＯＦＦにされる、あるいはＳＢＭ処理を行うが素材に応じてハイパスフィルタ（ＨＰＦ）の係数が切り替えられてＳＢＭ処理を行うように制御される。

さらに、Ｄ／Ａ変換器８４は、ディスプレイ処理部８２から入力された映像のデジタル信号、ＡＶデコーダ４０から入力された音声のデジタル信号を、アナログ信号に変換して、モニタ８またはスピーカ９に出力する。

ＣＰＵ１７０は、演算処理装置および制御装置として機能し、記録再生装置１０内の各装置を制御する。
ＣＰＵ１７０は、ＲＯＭ９２に記憶されているプログラム、或いは、記録部５０からＲＡＭ９４にロードされたプログラムに従って、ＲＡＭ９４を使用しながら、各種の処理を実行する。
ＲＯＭ９２は、ＣＰＵ１７０が使用するプログラムや演算パラメータ等を記憶するとともに、ＣＰＵ１７０から記録部５０へのアクセスを軽減するためのバッファとしても機能する。
ＲＡＭ９４は、ＣＰＵ１７０の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。
また、ＣＰＵ１７０は、属性情報取得部、解析部、制御ルーチン作成部、画質調整制御部などしても機能する。

ユーザインタフェース９６は、ユーザが記録再生装置１０に対して各種の指示を入力するための入力部として機能する。
ユーザインタフェース９６は、たとえばボタン、スイッチ、レバー等の操作キーや、タッチパネル、リモートコントローラなどの操作手段と、この操作手段に対する入力操作に応じて入力信号を生成してＣＰＵ１７０に出力する入力制御回路などから構成される。
記録再生装置１０のユーザは、このユーザインタフェース９６を操作することにより、記録再生装置１０に対して各種のデータを入力したり、処理動作を指示したりすることができる。
ＣＰＵ１７０は、ユーザインタフェース９６に対するユーザ入力を受け付けると、このユーザ入力に基づいて、コンテンツの記録処理や再生処理を制御したり、放送番組の予約録画の設定を行ったりする。

次に、図８に示す構成の記録再生装置１０の記録動作について説明する。
この記録動作は、たとえば、録画予約された番組コンテンツを録画する場合や、ユーザ指示に応じて番組コンテンツをダイレクト録画する場合などに実行される。
また、この記録動作は、外部入力されたコンテンツを記録する場合、ＨＤＤ５２と光ディスクドライブ５４との間でコンテンツをダビングする場合などに実行される。

まず、外部から入力されたアナログ信号をエンコードして記録媒体に記録する場合の手順を説明する。

たとえば、アナログテレビジョン放送をアンテナ１で受信した場合、アナログチューナー１１から出力されたアナログ映像信号およびアナログ音声信号は、Ａ／Ｄ変換器１２でデジタル化される。
次いで、デジタル映像信号および音声信号は、ＡＶエンコーダ２０でエンコード処理されて、ビットストリームに変換される。
さらに、デジタル映像信号および音声信号は、ストリームプロセッサ３０で多重化および暗号化されて、バッファ制御されながら、ＨＤＤ５２または光ディスクドライブ５４の記録媒体に記録される。

なお、ここでは、入力信号としてアナログチューナー１１から出力されたアナログ信号を記録する例を挙げて説明したが、その他にも記録する例を挙げることができる。
たとえば、（１）入力信号が外部機器２からアナログ入力端子１３を介して入力された外部アナログ入力信号を記録する場合である。（２）ＤＶ方式のデジタルビデオカメラ等の外部機器３からＤＶ入力端子１４を介して入力されたＤＶ信号を、ＤＶデコーダ１５でデコードして取り込む場合である。これらの場合なども、同様の手順となる。

次に、外部から入力されたデジタル信号(ビットストリーム)を、デコードした後に、記録媒体が対応するデジタル記録フォーマットに合わせて再エンコードして記録する場合の手順を説明する。

たとえばデジタルテレビジョン放送をアンテナ４で受信した場合、デジタルチューナー１６から出力されたビットストリームは、ストリームプロセッサ３０によりスクランブル解除された後に映像信号と音声信号とに分離化されて、ＡＶデコーダ４０に入力される。
次いで、ＡＶデコーダ４０にて、デジタル映像信号およびデジタル音声信号はデコードされる。
さらに、デコードされたデジタル映像信号は、必要に応じて、スケーラ４２で所定の画サイズにリサイズされて、ＡＶエンコーダ２０に入力される。
一方、デコードされたデジタル音声信号は、必要に応じて、オーディオプロセッサ４４で所定のチャンネル数に変換されて、ＡＶエンコーダ２０に入力される。
その後、この形式変換後のデジタル映像／音声信号は、上述したアナログ信号の場合と同様に、ＡＶエンコーダ２０でエンコード処理（再エンコード処理）される。
次いで、形式変換後のデジタル映像／音声信号は、ストリームプロセッサ３０で多重化および暗号化されて、バッファ制御されつつ、ＨＤＤ５２又は光ディスクドライブ５４の記録媒体に記録される。

このように、記録対象の入力信号が、圧縮符号化されたデジタル信号（ストリーム）である場合には、必要に応じて、再エンコード処理を行う。
即ち、圧縮符号化されたデジタル信号をＡＶデコーダ４０でストリームデータに一旦デコードして、スケーラ４２やオーディオプロセッサ４４で形式変換した後に、ＡＶエンコーダ２０で、記録媒体が対応可能な所定の記録形式に再エンコードして記録する。
なお、入力されたデジタル信号の形式が元々、記録媒体が対応可能な所定の記録形式である場合には、上記再エンコード処理は不要である。

なお、ここでは、デジタルチューナー１６から出力されたデジタル放送の映像／音声信号を記録する例を挙げて説明したが、その他にも記録する例を挙げることができる。
たとえば、（１）入力信号が、ＨＤＶビデオカメラ等の外部機器５からｉ．ＬＩＮＫ端子１７を介して入力されたストリーム（ＨＤＶ信号）を記録する場合である。
（２）イーサネット（登録商標）７および通信部１９を介して受信したＩＰＴＶの入力ストリームを記録する場合である。
（３）外部からＨＤＤ５２等にダイレクト記録されたストリームを読み出した場合である。ここでダイレクト記録とは、たとえばＵＳＢ端子１８を介して接続された外部機器６からの入力ストリームや、受信したデジタル放送のＨＤ映像ストリームをＨＤＤ５２の記録媒体にダイレクト記録（そのまま記録）した場合である。
（４）光ディスクドライブ５４の光ディスクから読み出されたストリームをＨＤＤ５２に記録する場合である。これらの場合なども、同様の手順となる。

さらに、本実施形態にかかる記録再生装置１０では、上記のように外部から提供された各種のコンテンツを記録部５０に記録するときには、当該記録対象のコンテンツについて特徴点情報の抽出処理、制御ルーチンの作成処理が行われる。
詳細には、コンテンツの記録時には、ストリームプロセッサ３０から特徴点抽出ブロック６０に、記録対象のコンテンツの映像信号が入力される。そして、特徴点抽出ブロック６０とＣＰＵ１７０により、映像信号を解析することで、記録対象のコンテンツの映像全体の特徴を表す特徴点情報が抽出される。
さらに、この特徴点情報に基づいて、次回再生時の画質調整時に出力画質調整ブロック７０を制御するための制御ルーチンが生成され、この制御ルーチンを記録部５０のＨＤＤ５２等に格納される。
このように、本実施形態に係る記録再生装置１０では、記録部５０に対するコンテンツの記録時に、コンテンツの映像の特徴点情報に応じた制御ルーチンを、コンテンツごとに作成して記録しておく。

次に、図８に示す構成の記録再生装置１０の再生動作について説明する。
この再生動作は、過去に録画されたコンテンツを再生する場合や、現在録画中のコンテンツを先頭から再生する追いかけ再生を行う場合などに実行される

まず、記録部５０のＨＤＤ５２または光ディスクドライブ５４によって、記録媒体に記録されている再生対象のコンテンツのデータ（映像、音声、字幕等のデータ）が読み出される。
読み出されたデータストリームは、ストリームプロセッサ３０により、暗号解除されて、映像ストリームと音声ストリームとに分離化される。
次いで、この映像ストリームと音声ストリーム（圧縮データ）はそれぞれ、ＡＶデコーダ４０にてデコードされた後に、デコードされた映像ストリーム（再生映像信号）は、出力画質調整ブロック７０に入力されて、画質調整処理される。
このとき、ＣＰＵ１７０は、上記特徴点情報に基づいてコンテンツごとに予め作成しておいた制御ルーチンに従って、出力画質調整ブロックを制御する。
これにより、再生対象のコンテンツの映像の適切な箇所に適切な画質調整が施される。

その後、画質調整された映像ストリームは、グラフィック処理部８０により、コンテンツの映像にＯＳＤ（オン・スクリーン・ディスプレイ）や字幕などが付加される。
さらに、この映像ストリームは、ディスプレイ処理部８２で出力形式に応じて画サイズなどが整形されて、デジタル出力され、あるいはＤ／Ａ変換器８４に入力される。
また、ディスプレイ処理部８２は、ＣＰＵ１７０により、入力されたビデオ信号に１次元ＳＢＭ処理をそのまま適応するだけではなく、オリジナルソースの情報と最終出力までの情報を基にＳＢＭ処理が適応的に制御される。
たとえば、ディスプレイ処理部８２は、ＳＢＭ処理がＯＦＦにされる、あるいはＳＢＭ処理を行うが素材に応じてハイパスフィルタ（ＨＰＦ）の係数が切り替えられてＳＢＭ処理を行うように制御される。
一方、ＡＶデコーダ４０から出力された音声ストリームは、必要に応じて所定の音声処理を施された後に、Ｄ／Ａ変換器８４に入力される。
この結果、Ｄ／Ａ変換器８４にて映像ストリーム音声ストリームのデジタル信号がそれぞれ、アナログ信号に変換されて、モニタ８やスピーカ９等の外部機器に出力される。
この結果、モニタ８は、再生されたコンテンツの映像を表示し、スピーカ９は、再生されたコンテンツの音声を出力する。

また、本実施形態に係る記録再生装置１０では、以上のようなコンテンツの再生時にも、この再生対象のコンテンツについて特徴点情報の抽出および解析処理を実行することができる。
たとえば、セルＤＶＤ、ＢＤなどのリムーバブル記録媒体により、記録再生装置１０にコンテンツが提供された場合などには、当該リムーバブル記録媒体に記録されたコンテンツについては、特徴点情報の抽出処理等を行っていない。
そこで、かかる場合には、コンテンツの再生時（たとえば初回再生時）に、特徴点情報の抽出処理等を実行し、コンテンツの画質調整に適した制御ルーチンを作成しておく。
詳細には、コンテンツの再生時に、記録部５０から読み出された再生対象のコンテンツの映像信号を、ストリームプロセッサ３０から特徴点抽出ブロック６０に入力する。
そして、上記記録時と同様にして、映像信号の解析結果に基づいて、再生対象のコンテンツの特徴点情報を抽出し、この特徴点情報等に基づき制御ルーチンを作成して、記録部５０に記録しておく。
これにより、コンテンツの次回再生時には、制御ルーチンに基づいて、再生対象のコンテンツの画質を好適に調整できる。

以上説明したように、本実施形態の画像処理装置１００は、素材の属性に応じたＳＢＭ処理を行うように構成されている。
即ち、本実施形態においては、入力されたビデオ信号に１次元ＳＢＭ処理をそのまま適応するだけではなく、オリジナルソースの情報と最終出力までの情報を基にＳＢＭ処理を適応的に制御する。
たとえば、ＳＢＭ処理をＯＦＦにする、あるいはＳＢＭ処理を行うが素材に応じてハイパスフィルタ（ＨＰＦ）の係数を切り替えてＳＢＭ処理を行う等の制御を行う。
したがって、本実施形態によれば、必要のない場合に誤差拡散法が適応されることを防止することができ、素材の属性に応じて適応的に階調変換機能を適用することが可能となる利点がある。
すなわち、ＳＢＭ処理の効果を適応的に発現させることが可能となる。

なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。

本発明の実施形態に係る１次元ＳＢＭ処理機能を有するビデオ系画像処理装置の基本構成例を示すブロック図である。 本実施形態に係るＳＢＭ処理部の要部である階調変換部の構成例を示すブロック図である。 図２のディザ加算部の構成例を示す図である。 階調変換処理の対象となる画素の順番を示す図である。 ＨＤＭＩ Ｓｐｅｃ1.3で得られる情報を示す図である。 本実施形態における各ブロックの情報に応じたＨＰＦのフィルタ係数の切り替え処理を説明するためのフローチャートである。 ソースビデオ情報の一例を示す図である。 本発明の実施形態に係る画像処理装置が適用される記録再生装置の構成例を示すブロック図である。

符号の説明

１００・・・画像処理装置、１１０・・・ＡＶデコーダ、１２０・・・画質調整部、１３０・・・Ｉ／Ｐブロック、１４０・・・特徴解析ブロック、１５０・・・ＳＢＭ処理部、１６０・・・素材の属性情報格納部、１７０・・・ＣＰＵ。

Claims (7)

1. ビデオのオリジナルソースに対して各種処理を施す処理系と、
   ビット数を変換する階調変換機能であって、階調変換後の画像において階調変換前の階調を擬似的に表現する階調変換機能を有し、当該階調変換機能を変更可能な階調変換部と、
   少なくともオリジナルソース情報およびシステム全体の情報に応じて上記階調変換部のオン、オフ、並びに、上記階調変換機能の変更制御を行う制御部と、を有し、
   上記処理系は、
   オリジナルソースをビデオ信号に変換するデコーダと、
   デコードされたビデオ信号の画質を調整する画質調整部と、
   上記画質調整部の出力をインターレース（Ｉ）からプログレッシブ（Ｐ）に変換し、上記階調変換部に供給するＩ／Ｐ部と、
   上記Ｉ／Ｐ部の出力からビデオ信号の特徴点情報を取得する特徴解析部と、を含み、
   上記制御部は、
   上記デコーダ、上記画質調整部、上記Ｉ／Ｐ部、および上記特徴解析部からの情報に応じて上記階調変換部のオン、オフ、並びに、上記階調変換機能の変更制御を行う
   画像処理装置。
2. 上記階調変換部は、
   対象画像を形成する画素値にランダムノイズを加算することにより、対象画像にディザを施すディザ加算部と、
   上記ディザ加算部からのディザが施された対象画像に１次元のΔΣ変調を施し、当該結果得られた画素値により形成される画像を出力する１次元ΔΣ変調部と、を含む
   請求項１記載の画像処理装置。
3. 上記ディザ加算部は、
   設定されるフィルタ係数に応じて発生されるランダムノイズをフィルタリングするフィルタと、
   対象画素の画素値に上記フィルタの出力を加算し、当該加算値をディザが施された画素値として上記１次元ΔΣ変調部に供給する演算部と、を含み、
   上記制御部は、
   上記デコーダ、上記画質調整部、上記Ｉ／Ｐ部、および上記特徴解析部からの情報に応じて上記フィルタのフィルタ係数を変更する
   請求項２記載の画像処理装置。
4. 上記制御部は、
   上記処理系の上記デコーダ、上記画質調整部、上記Ｉ／Ｐ部、および上記特徴解析部からの各種情報に応じて上記階調変換部における階調変換機能におけるフィルタ係数の切り替え制御、または上記階調変換部のオン、オフ制御を行う
   請求項３記載の画像処理装置。
5. 上記制御部は、
   ＨＤＭＩ出力時のＨＤＭＩのモニタ情報で得られる情報から上記階調変換部のビット長を自動で切り替える制御を行う
   請求項１から４のいずれか一に記載の画像処理装置。
6. ビデオのオリジナルソースに対して各種処理を施すオリジナルソース処理ステップと、
   少なくともオリジナルソース情報およびシステム全体の情報に応じて階調変換部のオン、オフ、並びに、当該階調変換部の階調変換機能の変更制御を行う制御ステップと、
   上記階調変換部がオフに制御されると上記階調変換機能を発現させない非階調変換ステップと、
   上記階調変換部がオンに制御された場合、上記各種処理された画像信号に対して、ビット数を変換する階調変換機能であって、階調変換後の画像において階調変換前の階調を擬似的に表現する階調変換を行う階調変換ステップと、を有し、
   上記オリジナルソース処理ステップは、
   オリジナルソースをビデオ信号に変換するデコードステップと、
   デコードされたビデオ信号の画質を調整する画質調整ステップと、
   上記画質調整ステップの出力をインターレース（Ｉ）からプログレッシブ（Ｐ）に変換し、上記階調変換部に供給するＩ／Ｐステップと、
   上記Ｉ／Ｐステップの出力からビデオ信号の特徴点情報を取得する特徴解析ステップと、を含み、
   上記制御ステップは、
   上記デコードステップ、上記画質調整ステップ、上記Ｉ／Ｐステップ、および上記特徴解析ステップによる情報に応じて上記階調変換機能のオン、オフ、並びに、上記階調変換機能の変更制御を行う
   画像処理方法。
7. ビデオのオリジナルソースに対して各種処理を施すオリジナルソース処理と、
   少なくともオリジナルソース情報およびシステム全体の情報に応じて階調変換部のオン、オフ、並びに、当該階調変換部の階調変換機能の変更制御を行う制御処理と、
   上記階調変換部がオフに制御されると上記階調変換機能を発現させない非階調変換処理と、
   上記階調変換部がオンに制御された場合、上記各種処理された画像信号に対して、ビット数を変換する階調変換機能であって、階調変換後の画像において階調変換前の階調を擬似的に表現する階調変換を行う階調変換処理と、を有し、
   上記オリジナルソース処理は、
   オリジナルソースをビデオ信号に変換するデコード処理と、
   デコードされたビデオ信号の画質を調整する画質調整処理と、
   上記画質調整処理の出力をインターレース（Ｉ）からプログレッシブ（Ｐ）に変換し、上記階調変換部に供給するＩ／Ｐ処理と、
   上記Ｉ／Ｐ処理の出力からビデオ信号の特徴点情報を取得する特徴解析処理と、を含み、
   上記制御処理は、
   上記デコード処理、上記画質調整処理、上記Ｉ／Ｐ処理、および上記特徴解析処理による情報に応じて上記階調変換部のオン、オフ、並びに、上記階調変換機能の変更制御を行う
   画像処理をコンピュータに実行させるプログラム。

Images