JP2010055001A - 映像信号処理装置及び映像信号処理方法 - Google Patents

Abstract

【課題】静止画と動画の混在映像信号に対する倍速処理に優れた映像信号処理装置を提供すること。
【解決手段】本発明の一実施形態に係る映像信号処理装置は、映像信号に基づいて生成される連続した複数フレーム中の動画領域及び静止画領域を検出する検出手段と、動き補償予測に基づいて、前記連続した複数フレーム中の前記静止画領域を除く前記動画領域を補償するための複数の補間フレームを生成し、前記連続した複数フレームの間を前記複数の補間フレームで補間して生成された補間処理済み複数フレームを出力するフレーム処理手段とを備える。
【選択図】 図１

Description

本発明は、動き補償予測に基づき生成される補間フレームにより動画表示を改善する映像信号処理装置及び映像信号処理方法に関する。

近年、液晶ＴＶ等において、倍速処理技術が適用されている。倍速処理技術とは、動き補償予測に基づき生成される補間フレームにより動画表示を改善する技術である。例えば、倍速処理回路は、動き補償予測に基づき、連続する二つのフレームの間に挿入するための補間フレームを生成する。これにより、例えば、倍速処理回路は、６０フレーム／秒で構成される映像を、１２０フレーム／秒で構成される映像へ変換することができ、残像感を低減することができる。

上記した倍速処理技術は、動画に対しては有効に機能するが、静止画に対しては有効に機能しないことがある。そこで、映像信号が動画に相当することを検出した場合に補間フレームによる倍速処理を適用し、映像信号が静止画に相当することを検出した場合に補間フレームによる倍速処理を適用しない技術が提案されている（特許文献１参照）。
特開２００８−１６６９６６

特許文献１に開示された技術は、映像信号が静止画に相当する場合、映像信号に対する倍速処理を停止してしまうというものである。

しかしながら、静止画と動画とが混在する映像信号もある。静止画と動画とが混在する映像としては、例えば、サイドパネル（額縁）を含む映像、一部にメニュー画面を含む映像が挙げられる。このような映像信号に対して倍速処理を停止してしまうと、スムーズな動画表示が実現できず、逆に、このような映像信号に対して倍速処理を適用してしまうと、例えば静止画と動画の境界上にノイズが発生することがある。

本発明の目的は、静止画と動画の混在映像信号に対する倍速処理に優れた映像信号処理装置及び映像信号処理方法を提供することにある。

この発明の一実施形態に係る映像信号処理装置は、映像信号に基づいて生成される連続した複数フレーム中の動画領域及び静止画領域を検出する検出手段と、動き補償予測に基づいて、前記連続した複数フレーム中の前記静止画領域を除く前記動画領域を補償するための複数の補間フレームを生成し、前記連続した複数フレームの間を前記複数の補間フレームで補間して生成された補間処理済み複数フレームを出力するフレーム処理手段とを備える。

この発明の一実施形態に係る映像信号処理方法は、映像信号に基づいて生成される連続した複数フレーム中の動画領域及び静止画領域を検出し、動き補償予測に基づいて、前記連続した複数フレーム中の前記静止画領域を除く前記動画領域を補償するための複数の補間フレームを生成し、前記連続した複数フレームの間を前記複数の補間フレームで補間して生成された補間処理済み複数フレームを出力する。

本発明によれば、静止画と動画の混在映像信号に対する倍速処理に優れた映像信号処理装置及び映像信号処理方法を提供できる。

以下、図面を参照し、本発明の実施形態について説明する。

図１は、本発明の第１実施形態に係る放送受信システム（映像信号処理装置）の概略構成を示す図である。

図１に示すように、放送受信システムは、チューナーモジュール１、信号処理モジュール２、映像信号処理モジュール３、ＩＰ変換モジュール４、スケーリングモジュール５、動画／静止画領域検出モジュール６、制御モジュール７、動画改善モジュール８、倍速処理モジュール９、表示モジュール１０、音声信号処理モジュール１１、及び音声出力モジュール１２を備えている。

チューナーモジュール１は、受信された放送信号から、指定されたチャンネルの放送信号を選択し、選択された放送信号を出力する。選択された放送信号は、制御信号、映像信号、及び音声信号等を含む。信号処理モジュール２は、チューナーモジュール１から出力された放送信号に含まれた制御信号、映像信号、及び音声信号等を分離し、制御信号を制御モジュール７へ供給し、映像信号を映像信号処理モジュール３へ供給し、音声信号を音声信号処理モジュール１１へ供給する。

映像信号は、映像信号処理モジュール３及び動画改善モジュール８を経て、表示モジュール１０へ出力される。表示モジュール１０は、例えば液晶ディスプレイである。音声信号は、音声信号処理モジュール１１を経て、音声出力モジュール１２へ出力される。音声出力モジュール１２は、例えばスピーカである。

映像信号処理モジュール３を構成するＩＰ変換モジュール４及びスケーリングモジュール５は、映像信号を表示モジュール１０に対応した表示フォーマットの映像へ変換する。例えば、ＩＰ変換モジュール４は、インターレス方式の映像信号をプログレッシブ方式の映像信号へ変換し、スケーリングモジュール５は、映像信号に基づく映像を表示モジュール１０の性能等に応じて変倍する。動画／静止画領域検出モジュール６は、映像信号に含まれる動画領域及び静止画領域を検出する。つまり、動画／静止画領域検出モジュール６は、映像信号から生成される連続した複数フレーム中に位置する動画領域の位置情報（座標情報）及び静止画領域の位置情報（座標情報）を検出する。

なお、静止画の一例として、図３に示すようなサイドパネル、図４に示すようなメニュー画面（グラフィック）が挙げられる。

動画改善モジュール８を構成する倍速処理モジュール９は、動き補償予測に基づき、連続する二つのフレームの間に挿入するための補間フレームを生成し、例えば、６０フレーム／秒で構成される映像（垂直周波数６０Ｈｚの映像信号）を、１２０フレーム／秒で構成される映像（垂直周波数１２０Ｈｚの映像信号）へ変換する。

動き補償予測とは、ターゲットの画像（フレーム１）と以前の画像（フレーム０）とを比較し、以前の画像中の各オブジェクトの動きを予測する技術である。例えば、ターゲットの画像と以前の画像の夫々をマクロブロック（例えば、１６画素×１６ラインのブロック）に分割し、ターゲットの画像と以前の画像との間において対応するマクロブロックの移動方向及び移動量を示す動きベクトルを準備し、その動きベクトルに基づいて以前の画像から補間画像（補間フレーム）を予測する技術である。

さらに、倍速処理モジュール９は、静止画と動画とが混在する映像信号から生成されるフレームに対しては、静止画動画別倍速処理を適用する。静止画動画別倍速処理とは、動画部分に対しては倍速処理を適用し、静止画部分に対しては倍速処理を適用しない処理である。言い換えれば、静止画動画別倍速処理とは、動画部分に対しては補間画像を用意し、静止画部分に対しては補間画像ではなく以前の画像をそのまま利用する処理である。

上記説明したように、動画／静止画領域検出モジュール６は、映像信号に含まれる動画領域及び静止画領域を検出し、動画領域及び静止画領域の検出結果（動画領域の位置情報及び静止画領域の位置情報）を制御モジュール７へ通知する。制御モジュール７は、倍速処理モジュール９に対して、動画領域及び静止画領域の検出結果に基づき、静止画領域を除く動画領域だけの補償を指示する。

これに対応して、倍速処理モジュール９は、動き補償予測に基づいて、連続した複数フレーム中の静止画領域を除く動画領域だけを補償するための複数の補間フレームを生成し、連続した複数フレームの間を補間フレームで補間して生成された補間処理済み複数フレームを出力する。言い換えると、倍速処理モジュール９は、静止画部分のみ倍速処理をＯＦＦにする。

ここで図５を参照して、静止画動画別倍速処理により生成される補間フレームについて説明する。図５に示すように、フレームＦ１とフレームＦ１に続くフレームＦ２との間を補間するための補間フレームＩＦについて説明する。

フレームＦ１は、動画領域Ａ１１と、静止画領域Ａ１２、静止画領域Ａ１３を含み、フレームＦ２は、動画領域Ａ１１に対応する動画領域Ａ２１、静止画領域Ａ１２に対応する静止画領域Ａ２２、静止画領域Ａ１３に対応する静止画領域Ａ２３を含む。なお、静止画領域Ａ１２、Ａ１３、Ａ２２、Ａ２３は、例えばサイドパネルと呼ばれる黒縁である。

補間フレームＩＦは、動き補償予測に基づいて動画領域Ａ１１、Ａ２１から生成された補間用動画領域Ａ３１、静止画領域Ａ１２、Ａ２２の何れか一方の静止画領域（つまりフレームＦ１又はフレームＦ２の何れかの静止画領域）、静止画領域Ａ１３、Ａ２３の何れか一方の静止画領域（つまりフレームＦ１又はフレームＦ２の何れかの静止画領域）を含む。

つまり、補間フレームＩＦの静止画は、動き補償予測に基づいて生成された画像ではなく、補間フレームＩＦの一つ前のフレームの静止画（或いは補間フレームＩＦの一つ後のフレームの静止画）をそのまま利用したものである。これに対して、補間フレームＩＦの動画は、動き補償予測に基づいて生成された画像である。

上記説明したような静止画動画別倍速処理により、静止画と動画の境界上のノイズ発生を防止しつつ残像感の少ない動画再生が可能となる。つまり、静止画と動画の境界上のノイズ発生を防止した倍速処理が可能となる。

図２は、本発明の第２実施形態に係る放送受信システム（映像信号処理装置）の概略構成を示す図である。図１に示す第１実施形態に係る放送受信システムとこの図２に示す第２実施形態に係る放送受信システムとの違いは、映像信号処理モジュール３の構成である。図１に示す第１実施形態に係る放送受信システムの映像信号処理モジュール３は、ＩＰ変換モジュール４及びスケーリングモジュール５により映像信号を処理した後で、動画／静止画領域検出モジュール６により映像信号中の動画領域及び静止画領域を検出する。一方、図２に示す第２実施形態に係る放送受信システムの映像信号処理モジュール３は、動画／静止画領域検出モジュール６により映像信号中の動画領域及び静止画領域を検出した後で、ＩＰ変換モジュール４及びスケーリングモジュール５により映像信号を処理する。

このような違いから、図２に示す第２実施形態に係る放送受信システムのスケーリングモジュール５は、変倍処理結果（画角情報）を制御モジュール７へ通知する。制御モジュール７は、変倍処理結果に基づき変倍処理後の静止画領域の位置を判断し、倍速処理モジュール９に対して、静止画領域の位置情報とともに、静止画領域を除く動画領域だけの補償を指示する。

これに対応して、倍速処理モジュール９は、動き補償予測に基づいて、連続した複数フレーム中の静止画領域を除く動画領域だけを補償するための複数の補間フレームを生成し、連続した複数フレームの間を補間フレームで補間して生成された補間処理済み複数フレームを出力する。言い換えると、倍速処理モジュール９は、変倍処理後の静止画部分のみ倍速処理をＯＦＦにする。

以上により、図２に示すように映像信号処理モジュール３の構成が、変倍処理前に動画領域及び静止画領域を検出する構成であっても、倍速処理モジュール９は、変倍処理後の静止画領域と動画領域とを正確に区別して、動画領域だけを補償するための複数の補間フレームを生成することができる。その結果、静止画と動画の境界上のノイズ発生を防止しつつ残像感の少ない動画再生が可能となる。

なお、上記したモジュールとは、ハードウェアで実現するものであっても良いし、ＣＰＵ等を使ってソフトウェアで実現するものであってもよい。

なお、本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

本発明の第１実施形態に係る放送受信システム（映像信号処理装置）の概略構成を示す図である。 本発明の第２実施形態に係る放送受信システム（映像信号処理装置）の概略構成を示す図である。 静止画（サイドパネル）と動画とが混在する映像の一例を示す図である。 静止画（メニュー画面）と動画とが混在する映像の一例を示す図である。 静止画動画別倍速処理により生成される補間フレームの一例を示す図である。

符号の説明

１…チューナーモジュール、２…信号処理モジュール、３…映像信号処理モジュール、４…ＩＰ変換モジュール、５…スケーリングモジュール、６…動画／静止画領域検出モジュール、７…制御モジュール、８…動画改善モジュール、９…倍速処理モジュール、１０…表示モジュール、１１…音声信号処理モジュール、１２…音声出力モジュール

Claims (7)

1. 映像信号に基づいて生成される連続した複数フレーム中の動画領域及び静止画領域を検出する検出手段と、
   動き補償予測に基づいて、前記連続した複数フレーム中の前記静止画領域を除く前記動画領域を補償するための複数の補間フレームを生成し、前記連続した複数フレームの間を前記複数の補間フレームで補間して生成された補間処理済み複数フレームを出力するフレーム処理手段と、
   を備えたことを特徴とする映像信号処理装置。
2. 前記フレーム処理手段は、第１のフレームと、前記第１のフレームに続く第２のフレームとの間を補間するための所定の補間フレームを生成し、
   前記第１のフレームは、第１の動画領域と、第１の静止画領域とを含み、
   前記第２のフレームは、前記第１の動画領域に対応する第２の動画領域と、前記第１の静止画領域に対応する第２の静止画領域とを含み、
   前記所定の補間フレームは、前記動き補償予測に基づいて前記第１及び第２の動画領域から生成された補間用動画領域と、第１及び第２の静止画領域の何れか一方の静止画領域とを含む、
   ことを特徴とする請求項１に記載の映像信号処理装置。
3. 前記検出手段は、前記連続した複数フレーム中から、前記静止画領域に相当するサイドパネル領域の位置を検出し、
   前記フレーム処理手段は、前記サイドパネル領域の位置情報に基づいて、前記連続した複数フレーム中の前記サイドパネル領域を除く前記動画領域を補償するための複数の補間フレームを生成し、前記連続した複数フレームの間を前記複数の補間フレームで補間して生成された補間処理済み複数フレームを出力する、
   ことを特徴とする請求項１に記載の映像信号処理装置。
4. 前記検出手段は、前記連続した複数フレーム中から、前記静止画領域に相当するグラフィック領域の位置を検出し、
   前記フレーム処理手段は、前記グラフィック領域の位置情報に基づいて、前記連続した複数フレーム中の前記グラフィック領域を除く前記動画領域を補償するための複数の補間フレームを生成し、前記連続した複数フレームの間を前記複数の補間フレームで補間して生成された補間処理済み複数フレームを出力する、
   ことを特徴とする請求項１に記載の映像信号処理装置。
5. 前記映像信号に基づいて生成される映像を変倍する変倍手段を備え、
   前記フレーム処理手段は、前記変倍手段による変倍処理結果に基づき、変倍処理後の前記静止画領域の位置を検出し、前記静止画領域を除く前記動画領域を補償するための複数の補間フレームを生成する、
   ことを特徴とする請求項１に記載の映像信号処理装置。
6. 受信放送信号から、前記映像信号を含む指定チャンネルの放送信号を選択する選択手段を備えたことを特徴とする請求項１に記載の映像信号処理装置。
7. 映像信号に基づいて生成される連続した複数フレーム中の動画領域及び静止画領域を検出し、
   動き補償予測に基づいて、前記連続した複数フレーム中の前記静止画領域を除く前記動画領域を補償するための複数の補間フレームを生成し、前記連続した複数フレームの間を前記複数の補間フレームで補間して生成された補間処理済み複数フレームを出力する、
   ことを特徴とする映像信号処理方法。

Images