JP2018160725A - 映像信号処理装置、映像信号処理方法、映像信号処理プログラム - Google Patents

Abstract

【課題】画質劣化の少ない補間フレームを生成することができる映像信号処理装置を提供する。【解決手段】付加情報領域検出部２は、動画像の映像信号に存在する静止画像の付加情報領域を検出する。静止補間元信号選択部５１は、第１及び第２のフレーム間に内挿される補間フレームの各補間画素と同じ位置の第１及び第２のフレームにおける第１及び第２の静止補間元画素を選択する。動き補間元信号選択部５２は、動きベクトルが指す方向の第１及び第２のフレームにおける第１及び第２の動き補間元画素を選択する。補間信号生成部６は、第１及び第２の静止補間元画素と、第１の動き補間元画素と、第２の動き補間元画素とが、それぞれ付加情報領域内に位置しているか否か、及び、第１及び第２の静止補間元画素の第１の差分値と第１及び第２の動き補間元画素の第２の差分値との大小関係に基づいた場合分けに応じて、補間映像信号を生成する。【選択図】図１

Description

本発明は、映像信号における隣接するフレーム間に内挿する補間フレームを生成する映像信号処理装置、映像信号処理方法、映像信号処理プログラムに関する。

近年、映像信号表示装置においては、映像信号における隣接するフレーム間に補間フレームを内挿してフレームレートを増大させることによって、滑らかでぼけの少ない動画像を表示するのが一般的である。映像信号処理装置は、画像の動きベクトルを検出し、動きベクトルに基づいて隣接するフレーム内の画素を選択して補間フレーム内の各補間画素を生成する。

特開２０１１−２０５５１９号公報 特開平１１−２０５６７９号公報

映像信号に、字幕、テロップ、ＯＳＤ（On Screen Display）情報等の付加情報が重畳されることがある（特許文献１参照）。ＯＳＤ情報とは、テレビジョン受信機におけるチャンネル番号、音量、メニュー等の情報を示す文字、記号、図形等のことである。動画像の映像信号に静止画像の付加情報が重畳されると、フレーム内の動画像の領域と付加情報の領域とで画像の動きが異なることとなる。

すると、動画像と付加情報との境界において画像の動きベクトルを検出することが困難となる。動きベクトルを誤検出すると補間画素を正しく生成することができないため、補間フレームの画質劣化を招く。特に付加情報が重畳されている領域及びその周辺で目立った画質劣化が生じる。付加情報が重畳された映像信号であっても、画質劣化の少ない補間フレームを生成することが望まれる。

本発明は、付加情報が重畳された映像信号であっても、画質劣化の少ない補間フレームを生成することができる映像信号処理装置、映像信号処理方法、映像信号処理プログラムを提供することを目的とする。

本発明は、入力された動画像の映像信号の各フレーム内に存在する静止画像の付加情報領域を検出する付加情報領域検出部と、前記映像信号における少なくとも隣接する第１及び第２のフレームの画素に基づいて、前記動画像の動きベクトルを検出する動きベクトル検出部と、前記映像信号における前記第１及び第２のフレーム間に内挿される補間フレームのそれぞれの画素位置における補間画素を静止補間するために、それぞれの画素位置と同じ位置の前記第１及び第２のフレームにおける第１及び第２の静止補間元画素を選択して出力する静止補間元信号選択部と、前記補間フレームのそれぞれの画素位置における補間画素を動き補間するために、前記動きベクトル検出部によって検出された動きベクトルが指す方向の前記第１及び第２のフレームにおける第１及び第２の動き補間元画素を選択して出力する動き補間元信号選択部と、前記第１及び第２の静止補間元画素の第１の差分値と、前記第１及び第２の動き補間元画素の第２の差分値とを算出し、前記第１及び第２の静止補間元画素と、前記第１の動き補間元画素と、前記第２の動き補間元画素とが、それぞれ前記付加情報領域検出部によって検出された付加情報領域内に位置しているか否か、及び、前記第１の差分値と前記第２の差分値との大小関係に基づいた場合分けに応じて、前記第１及び第２の静止補間元画素のみを用いて前記補間画素を生成する状態と、前記第１及び第２の静止補間元画素と第１及び第２の動き補間元画素との双方を用いて前記補間画素を生成する状態と、前記第１の動き補間元画素のみを用いて前記補間画素を生成する状態と、前記第２の動き補間元画素のみを用いて前記補間画素を生成する状態と、前記第１及び第２の動き補間元画素のみを用いて前記補間画素を生成する状態とを選択して、前記補間フレームである補間映像信号を生成する補間信号生成部とを備えることを特徴とする映像信号処理装置を提供する。

本発明は、入力された動画像の映像信号の各フレーム内に存在する静止画像の付加情報領域を検出し、前記映像信号における少なくとも隣接する第１及び第２のフレームの画素に基づいて、前記動画像の動きベクトルを検出し、前記映像信号における前記第１及び第２のフレーム間に内挿される補間フレームのそれぞれの画素位置における補間画素を静止補間するために、それぞれの画素位置と同じ位置の前記第１及び第２のフレームにおける第１及び第２の静止補間元画素を選択し、前記補間フレームのそれぞれの画素位置における補間画素を動き補間するために、前記動きベクトル検出部によって検出された動きベクトルが指す方向の前記第１及び第２のフレームにおける第１及び第２の動き補間元画素を選択し、前記第１及び第２の静止補間元画素の第１の差分値と、前記第１及び第２の動き補間元画素の第２の差分値とを算出し、前記第１及び第２の静止補間元画素と、前記第１の動き補間元画素と、前記第２の動き補間元画素とがそれぞれ前記付加情報領域内に位置しているか否か、及び、前記第１の差分値と前記第２の差分値との大小関係に基づいた場合分けに応じて、前記第１及び第２の静止補間元画素のみを用いて前記補間画素を生成する状態と、前記第１及び第２の静止補間元画素と第１及び第２の動き補間元画素との双方を用いて前記補間画素を生成する状態と、前記第１の動き補間元画素のみを用いて前記補間画素を生成する状態と、前記第２の動き補間元画素のみを用いて前記補間画素を生成する状態と、前記第１及び第２の動き補間元画素のみを用いて前記補間画素を生成する状態とを選択して、前記補間フレームである補間映像信号を生成することを特徴とする映像信号処理方法を提供する。

本発明は、コンピュータに、入力された動画像の映像信号の各フレーム内に存在する静止画像の付加情報領域を検出するステップと、前記映像信号における少なくとも隣接する第１及び第２のフレームの画素に基づいて、前記動画像の動きベクトルを検出するステップと、前記映像信号における前記第１及び第２のフレーム間に内挿される補間フレームのそれぞれの画素位置における補間画素を静止補間するために、それぞれの画素位置と同じ位置の前記第１及び第２のフレームにおける第１及び第２の静止補間元画素を選択するステップと、前記補間フレームのそれぞれの画素位置における補間画素を動き補間するために、前記動きベクトル検出部によって検出された動きベクトルが指す方向の前記第１及び第２のフレームにおける第１及び第２の動き補間元画素を選択するステップと、前記第１及び第２の静止補間元画素の第１の差分値と、前記第１及び第２の動き補間元画素の第２の差分値とを算出するステップと、前記第１及び第２の静止補間元画素と、前記第１の動き補間元画素と、前記第２の動き補間元画素とがそれぞれ前記付加情報領域内に位置しているか否か、及び、前記第１の差分値と前記第２の差分値との大小関係に基づいた場合分けに応じて、前記第１及び第２の静止補間元画素のみを用いて前記補間画素を生成する状態と、前記第１及び第２の静止補間元画素と第１及び第２の動き補間元画素との双方を用いて前記補間画素を生成する状態と、前記第１の動き補間元画素のみを用いて前記補間画素を生成する状態と、前記第２の動き補間元画素のみを用いて前記補間画素を生成する状態と、前記第１及び第２の動き補間元画素のみを用いて前記補間画素を生成する状態とを選択して、前記補間フレームである補間映像信号を生成するステップとを実行させることを特徴とする映像信号処理プログラムを提供する。

本発明の映像信号処理装置、映像信号処理方法、映像信号処理プログラムによれば、付加情報が重畳された映像信号であっても、画質劣化の少ない補間フレームを生成することができる。

第１実施形態の映像信号処理装置を示すブロック図である。 付加情報領域の第１の例を示す図である。 付加情報領域の第２の例を示す図である。 補間フレーム内の所定の位置の補間画素を生成するための、静止補間元画素及び動き補間元画素の一例を示す図である。 図１における補間信号生成部６の具体的構成例を示すブロック図である。 第１実施形態の映像信号処理装置及び方法が補間画素を生成するときの場合分けの例を示す図である。 第２実施形態の映像信号処理装置及び方法が補間画素を生成するときの場合分けの例を示す図である。 第３実施形態の映像信号処理装置を示すブロック図である。 第１〜第３実施形態の映像信号処理プログラムを実行するコンピュータの概略的な構成を示すブロック図である。 第１〜第３実施形態の映像信号処理プログラムが実行する処理を示すフローチャートである。

以下、各実施形態の映像信号処理装置、映像信号処理方法、映像信号処理プログラムについて、添付図面を参照して説明する。

＜第１実施形態＞
図１〜図５を用いて、第１実施形態の映像信号処理装置の動作、第１実施形態の映像信号処理方法を説明する。図１において、字幕、テロップ、ＯＳＤ情報等の付加情報が重畳されている映像信号は、付加情報領域検出部２、フレームメモリ３、動きベクトル検出部４、及び、補間元信号選択部５に入力される。映像信号は８ビットであるとする。

例えばスポーツ中継の映像信号に重畳されているスコア、放送局のマーク等も付加情報に含まれる。動画像の映像信号に、静止画像の付加情報が重畳されているとする。

フレームメモリ３は、入力された映像信号の各フレームを１フレーム遅延させて、遅延映像信号を生成する。遅延映像信号は、付加情報領域検出部２、動きベクトル検出部４、及び、補間元信号選択部５に入力される。補間元信号選択部５は、静止補間元信号選択部５１及び動き補間元信号選択部５２を有する。入力された映像信号のフレーム（第１のフレーム）を現在フレームＦ０、遅延映像信号のフレーム（第２のフレーム）を前フレームＦ１と称することとする。

付加情報領域検出部２は、各フレームにおいてそれぞれの画素位置が、付加情報が重畳されている領域（以下、付加情報領域）であるか否かを検出して、付加情報領域を示す検出信号Ｓｄｅｔを生成する。検出信号Ｓｄｅｔは、例えば、付加情報領域であると検出された画素位置で値“１”、付加情報領域ではないと検出された画素位置で値“０”の信号である。

例えば、付加情報領域検出部２は、複数フレームに渡って変化せず、動きが周囲とは異なる画素位置を付加情報領域であると検出することができる。付加情報領域検出部２は、特許文献２に記載されている手法によって付加情報領域を検出することもできる。付加情報領域検出部２が、付加情報領域を検出する手法は任意である。

付加情報領域検出部２は、検出信号Ｓｄｅｔを補間信号生成部６に供給する。図２Ａ及び図２Ｂに示すように、フレームＦにＡＢＣなる文字情報が付加情報として重畳されている場合を例とする。付加情報領域検出部２は、図２Ａに示すように、文字情報を矩形状に囲む領域を値“１”とする検出信号Ｓｄｅｔを生成してもよいし、図２Ｂに示すように、文字情報の外形に概ね沿うように囲む領域を値“１”とする検出信号Ｓｄｅｔを生成してもよい。

動きベクトル検出部４は、隣接する現在フレームＦ０及び前フレームＦ１における画素単位または複数画素のブロック単位でブロックマッチングを実行して、現在フレームＦ０と前フレームＦ１との間の動きベクトルＭＶを検出する。例えば、動きベクトル検出部４は、水平８画素及び垂直８画素の６４画素をブロックとし、生成しようとする補間画素を通る複数の方向で現在フレームＦ０及び前フレームＦ１のブロック間の差分を求める。動きベクトル検出部４は、差分が最も小さい方向を動きベクトルＭＶとして検出する。

動きベクトル検出部４は、動きベクトルＭＶを動き補間元信号選択部５２に供給する。現在フレームＦ０を２フレームまたはそれ以上遅延させるフレームメモリを設け、３フレームまたはそれ以上の複数フレームを用いて動きベクトルＭＶを検出してもよい。

現在フレームＦ０と前フレームＦ１との間に内挿される補間フレームを補間フレームＦ０１と称することとする。図３に示すように、静止補間元信号選択部５１は、補間フレームＦ０１を構成する各補間画素Ｐｉを静止補間するために、ベクトルＳＶが指す方向の現在フレームＦ０の画素Ｓ０と前フレームＦ１の画素Ｓ１とを選択して出力する。

画素Ｓ０及びＳ１は、補間画素Ｐｉを静止補間するために必要な第１及び第２の静止補間元画素である。静止ベクトルＳＶとは、各補間画素Ｐｉと同じ位置の現在フレームＦ０の画素と前フレームＦ１の画素とを結ぶ方向のベクトルである。画素Ｓ０及びＳ１は、現在フレームＦ０及び前フレームＦ１内の補間画素Ｐｉと同じ位置の画素である。

図３に示すように、動き補間元信号選択部５２は、補間フレームＦ０１を構成する各補間画素Ｐｉを動き補間するために、動きベクトルＭＶが指す方向の現在フレームＦ０の画素Ｍ０と前フレームＦ１の画素Ｍ１とを選択して出力する。画素Ｍ０及びＭ１は、補間画素Ｐｉを動き補間するために必要な第１及び第２の動き補間元画素である。

図３に示す補間画素Ｐｉは、補間フレームＦ０１を構成する補間画素の１つを例示しており、動きベクトルＭＶの方向は一例である。補間元信号選択部５は、補間フレームＦ０１における全ての補間画素の位置において同様に、画素Ｓ０及びＳ１の対と、画素Ｍ０及びＭ１の対とを選択して、補間信号生成部６に供給する。

補間信号生成部６は、検出信号Ｓｄｅｔを参照し、後述するようにして各補間画素Ｐｉを生成することによって、補間フレームＦ０１である補間映像信号を出力する。補間信号生成部６は、画素Ｓ０及びＳ１のみを用いて補間画素Ｐｉを生成することがあり、画素Ｓ０及びＳ１と画素Ｍ０及びＭ１との双方を用いて補間画素Ｐｉを生成することがある。補間信号生成部６は、画素Ｍ０及びＭ１のみを用いて補間画素Ｐｉを生成することがあり、画素Ｍ０またはＭ１のみを用いて補間画素Ｐｉを生成することがある。

図４に示すように、補間信号生成部６は、差分算出部６１及び６２と、補間画素生成部６３とを有する。差分算出部６１は、画素Ｓ０と画素Ｓ１との差分値Ｄｓ（第１の差分値）を算出して補間画素生成部６３に供給する。差分算出部６２は、画素Ｍ０と画素Ｍ１との差分値Ｄｍ（第２の差分値）を算出して補間画素生成部６３に供給する。

補間画素生成部６３は、検出信号Ｓｄｅｔを参照して、画素Ｓ０及びＳ１が付加情報領域内の画素であるか否か、画素Ｍ０が付加情報領域内の画素であるか否か、画素Ｍ１が付加情報領域内の画素であるか否かに応じて、補間画素Ｐｉを生成する計算式を異ならせる。これに加えて、補間画素生成部６３は、差分値Ｄｓと差分値Ｄｍとの大小関係に応じて、補間画素Ｐｉを生成する計算式を異ならせることがある。

具体的には、補間信号生成部６は、一例として、図５に示すように場合分けして補間画素Ｐｉを生成する。図５の付加情報領域判定結果の欄において、「付加情報領域と判定」とは、補間信号生成部６が、付加情報領域検出部２より供給される検出信号Ｓｄｅｔに基づいて、補間画素Ｐｉを生成するために選択された画素Ｓ０及びＳ１、画素Ｍ０、画素Ｍ１が付加情報領域内に位置していると判定したことを示している。

図５において、「任意」とは、付加情報領域内に位置していると判定されてもよいし、付加情報領域外に位置していると判定されてもよいことを示している。

補間信号生成部６は、付加情報領域判定結果の欄に示す各場合において、差分値Ｄｓが差分値Ｄｍよりも小さい場合と、差分値Ｄｓが差分値Ｄｍ以上である場合とに場合分けして、補間画素Ｐｉを生成する。

付加情報領域は静止画像の付加情報が重畳されている領域であるから、本来であれば、差分値Ｄｓは差分値Ｄｍよりも小さくなる。しかしながら、付加情報領域検出部２による付加情報領域の誤検出によって、差分値Ｄｓが差分値Ｄｍ以上となる場合もある。

図５に示すように、画素Ｓ０及びＳ１が付加情報領域内に位置していると判定され、画素Ｍ０及び画素Ｍ１が付加情報領域内に位置していないと判定された状態を組み合わせ（１）とする。補間信号生成部６は、組み合わせ（１）において、差分値Ｄｓが差分値Ｄｍよりも小さい場合には、付加情報領域検出部２は付加情報領域を正しく検出していると考えられる。そこで、補間信号生成部６は、計算式（Ｓ０＋Ｓ１）／２に基づき、画素Ｓ０及びＳ１の平均値を補間画素Ｐｉとする。

補間信号生成部６は、組み合わせ（１）において、差分値Ｄｓが差分値Ｄｍ以上である場合には、付加情報領域検出部２は付加情報領域を誤検出しているおそれがある。そこで、補間信号生成部６は、計算式｛（１−Ｃ）×（Ｓ０＋Ｓ１）＋Ｃ×（Ｍ０＋Ｍ１）｝／２に基づき、補間画素Ｐｉを生成する。一例として、補間信号生成部６は、（Ｄｓ−Ｄｍ）が１２８以上であればＣを１、（Ｄｓ−Ｄｍ）が０以上１２８未満であればＣを（Ｄｓ−Ｄｍ）／１２８とする。

補間信号生成部６は、（Ｄｓ−Ｄｍ）が０以上１２８未満であれば、（Ｄｓ−Ｄｍ）が大きくなるほど画素Ｍ０及びＭ１の平均値の割合が多くなるように画素Ｓ０及びＳ１と画素Ｍ０及びＭ１とを加重平均して補間画素Ｐｉを生成する。補間信号生成部６は、差分値Ｄｓが差分値Ｄｍよりも格段に大きい（Ｄｓ−Ｄｍ）が１２８以上であれば、画素Ｍ０及びＭ１の平均値を補間画素Ｐｉとする。

動きベクトルＭＶが正確に検出されても付加情報領域を誤検出すれば、付加情報領域であっても、差分値Ｄｓよりも差分値Ｄｍの方が小さくなることがある。画素Ｓ０及びＳ１の平均値のみで補間画素Ｐｉを生成するよりも、画素Ｓ０及びＳ１と画素Ｍ０及びＭ１とを加重平均して補間画素Ｐｉを生成するか、または、画素Ｍ０及びＭ１の平均値のみで補間画素Ｐｉを生成することにより、付加情報領域及びその周辺での画質劣化を抑えることができる。

画素Ｓ０及びＳ１が付加情報領域内に位置していると判定され、画素Ｍ０が付加情報領域内に位置している（画素Ｍ１は任意）と判定された状態を組み合わせ（２）とする。画素Ｓ０及びＳ１が付加情報領域内に位置していると判定され、画素Ｍ１が付加情報領域内に位置している（画素Ｍ０は任意）と判定された状態を組み合わせ（３）とする。画素Ｍ０と画素Ｍ１との少なくとも一方が付加情報領域内に位置していると判定されたときに、組み合わせ（１）のように画素Ｍ０及び画素Ｍ１を用いて補間画素Ｐｉを生成すると、画質を劣化させてしまうおそれがある。

そこで、補間信号生成部６は、組み合わせ（２）及び（３）において、差分値Ｄｓが差分値Ｄｍよりも小さい場合、差分値Ｄｓが差分値Ｄｍ以上である場合のいずれも、計算式（Ｓ０＋Ｓ１）／２に基づき、画素Ｓ０及びＳ１の平均値を補間画素Ｐｉとする。

画素Ｓ０及びＳ１が付加情報領域内に位置していないと判定され、画素Ｍ０及び画素Ｍ１が付加情報領域内に位置していると判定された状態を組み合わせ（４）とする。補間信号生成部６は、組み合わせ（４）において、差分値Ｄｓが差分値Ｄｍよりも小さい場合、差分値Ｄｓが差分値Ｄｍ以上である場合のいずれも、画素Ｓ０及びＳ１の平均値を補間画素Ｐｉとする。この場合、画素Ｍ０及びＭ１は動きベクトルＭＶの方向に偶然に存在する互いに異なる位置の付加情報領域内に位置していると考えられるため、画素Ｓ０及びＳ１の平均値を補間画素Ｐｉとした方が画質劣化を抑えることができる。

画素Ｓ０及びＳ１が付加情報領域内に位置していないと判定され、画素Ｍ０が付加情報領域内に位置していないと判定され、画素Ｍ１が付加情報領域内に位置していないと判定された状態を組み合わせ（５）とする。補間信号生成部６は、組み合わせ（５）において、差分値Ｄｓと差分値Ｄｍとの大小関係にかかわらず、画素Ｍ１を補間画素Ｐｉとする。付加情報領域はほとんど動かないことを前提としているため、付加情報領域内に位置していないと判定した画素Ｍ１を補間画素Ｐｉとした方が画質劣化を抑えることができる。

画素Ｓ０及びＳ１が付加情報領域内に位置していないと判定され、画素Ｍ０が付加情報領域内に位置していないと判定され、画素Ｍ１が付加情報領域内に位置していないと判定された状態を組み合わせ（６）とする。補間信号生成部６は、組み合わせ（６）において、差分値Ｄｓと差分値Ｄｍとの大小関係にかかわらず、画素Ｍ０を補間画素Ｐｉとする。同様に、付加情報領域内に位置していないと判定した画素Ｍ０を補間画素Ｐｉとした方が画質劣化を抑えることができる。

画素Ｓ０及びＳ１と画素Ｍ０及び画素Ｍ１とがいずれも付加情報領域内に位置していないと判定された状態を組み合わせ（７）とする。補間信号生成部６は、組み合わせ（７）において、差分値Ｄｓと差分値Ｄｍとの大小関係にかかわらず、通常の動き補間である画素Ｍ０及びＭ１の平均値を補間画素Ｐｉとする。

以上のように、第１実施形態においては、付加情報領域検出部２がフレーム内の付加情報領域を検出し、補間信号生成部６が画素Ｓ０及びＳ１と画素Ｍ０と画素Ｍ１とがそれぞれ付加情報領域内に位置しているか否かに応じて場合分けする。補間信号生成部６は、組み合わせ（１）〜（７）のいずれかの状態を選択して補間画素Ｐｉを生成する。

第１実施形態の映像信号処理装置及び方法によれば、付加情報が重畳された映像信号であっても、画質劣化の少ない補間フレーム（補間映像信号）を生成することができる。

＜第２実施形態＞
第２実施形態の構成は、図１に示す第１実施形態の構成と同じであり、付加情報領域検出部２及び補間信号生成部６の具体的な動作が第１実施形態と異なる。よって、第２実施形態の映像信号処理装置及び方法を、第１実施形態の映像信号処理装置及び方法とは異なる部分を中心に説明する。

第２実施形態においては、付加情報領域検出部２がそれぞれの画素位置が付加情報領域である確からしさを複数段階で検出して、複数段階の検出値を生成する。補間信号生成部６は、画素Ｓ０及びＳ１と、画素Ｍ０と、画素Ｍ１とがそれぞれどの検出値の付加情報領域内に位置しているか否かに応じて場合分けして、補間画素Ｐｉを生成する。

付加情報領域である確からしさを示す複数段階の検出値とは、例えば、付加情報領域ではないことを示す値“０”、付加情報領域である可能性が多少あることを示す値“１”、付加情報領域である可能性が高いことを示す値“２”である。図１において、付加情報領域検出部２は、画素単位で値“０”，“１”，“２”のいずれかを示す検出信号Ｓｄｅｔを補間信号生成部６に供給する。

なお、値“２”は、第１実施形態において付加情報領域であると検出された場合に相当し、値“０”は、第１実施形態において付加情報領域ではないと検出された場合に相当する。

補間画素生成部６３は、一例として、図６に示すように場合分けして補間画素Ｐｉを生成する。図６における組み合わせ（１），（１３），（１８），（２０）における補間画素Ｐｉの生成の仕方はそれぞれ図５における組み合わせ（１），（５）〜（７）におけるそれと同じである。

図６における組み合わせ（２）において画素Ｍ０が値“２”であるとき、補間画素Ｐｉの生成の仕方はそれぞれ図５における組み合わせ（２）におけるそれと同じである。図６における組み合わせ（３）において画素Ｍ１が値“２”であるとき、補間画素Ｐｉの生成の仕方はそれぞれ図５における組み合わせ（３）におけるそれと同じである。図６における組み合わせ（４）において画素Ｓ０及びＳ１が値“０”であるとき、補間画素Ｐｉの生成の仕方は図５における組み合わせ（４）におけるそれと同じである。
が

補間信号生成部６は、組み合わせ（５）〜（１２），（１４）〜（１７），（１９）において、差分値Ｄｓが差分値Ｄｍよりも小さい場合と、差分値Ｄｓが差分値Ｄｍ以上である場合とで、図６に示す計算式基づいて補間画素Ｐｉを生成する。

第２実施形態の映像信号処理装置及び方法によれば、付加情報領域である複数段階の確からしさに応じて適切な補間画素Ｐｉを生成することができ、画質劣化の少ない補間フレームを生成することができる。

＜第３実施形態＞
図７に示す第３実施形態の映像信号処理装置において、図１に示す第１実施形態の映像信号処理装置と同一部分には同一符号を付し、その説明を省略する。

図７に示す第３実施形態の映像信号処理装置は、映像信号にＯＳＤ情報を重畳するＯＳＤ重畳部１を備える。ＯＳＤ重畳部１にＯＳＤ重畳指示信号が入力されると、ＯＳＤ重畳部１は映像信号にＯＳＤ情報を重畳する。

ＯＳＤ重畳部１は、ＯＳＤ情報を重畳した映像信号を付加情報領域検出部２に供給する。ＯＳＤ重畳部１がＯＳＤ情報を重畳する位置は予め定められており、ＯＳＤ重畳部１はＯＳＤ重畳位置情報を付加情報領域検出部２に供給する。付加情報領域検出部２は、ＯＳＤ重畳位置情報に基づいて付加情報領域を示す検出信号Ｓｄｅｔを生成する。

付加情報領域検出部２は、ＯＳＤ重畳位置情報のみに基づいて付加情報領域を検出してよいが、第１及び第２実施形態と同様の手法で付加情報領域を検出するのに加えて、ＯＳＤ重畳位置情報に基づいて付加情報領域を検出するのがよい。

第３実施形態の映像信号処理装置及び方法において、補間信号生成部６は、図５に示す場合分けによって補間画素Ｐｉを生成してもよいし、図６に示す場合分けによって補間画素Ｐｉを生成してもよい。

＜映像信号処理プログラム＞
第１〜第３実施形態の映像信号処理装置の動作をコンピュータプログラム（映像信号処理プログラム）によってコンピュータに実行させることも可能である。

図８において、コンピュータ２０は、中央処理装置２１（以下、ＣＰＵ２１）と記憶部２２とを有する。記憶部２２は非一時的な記憶媒体である。ＣＰＵ２１には映像信号が入力される。記憶部２２には、映像信号処理プログラムが記憶されている。記憶部２２は、ＲＯＭまたはハードディスク・ドライブ等である。

第１〜第３実施形態の映像信号処理装置の動作をコンピュータ２０に実行させる映像信号処理プログラムを、それぞれ、第１〜第３実施形態の映像信号処理プログラムとする。図９は、第１〜第３実施形態の映像信号処理プログラムに共通して、コンピュータ２０に実行させる処理を示している。

図９において、映像信号処理プログラムは、ステップＳ１にて、コンピュータ２０に、フレーム内の画素を順次入力させる。映像信号処理プログラムは、ステップＳ２にて、コンピュータ２０に、付加情報領域を検出させる。映像信号処理プログラムは、ステップＳ３にて、コンピュータ２０に、動きベクトルを検出させる。

映像信号処理プログラムは、ステップＳ４にて、コンピュータ２０に、生成しようとしている画素位置の画素Ｓ０及びＳ１を選択して出力させる。映像信号処理プログラムは、ステップＳ５にて、コンピュータ２０に、動きベクトルに基づいて画素Ｍ０及びＭ１を選択して出力させる。映像信号処理プログラムは、ステップＳ６にて、コンピュータ２０に、差分値Ｄｓ及びＤｍを算出させる。

映像信号処理プログラムは、ステップＳ７にて、コンピュータ２０に、付加情報領域の検出結果、及び、差分値Ｄｓと差分値Ｄｍとの大小関係に応じた場合分けによって、補間画素Ｐｉを生成させる。映像信号処理プログラムは、ステップＳ８にて、コンピュータ２０に、補間フレーム内の全ての補間画素Ｐｉを生成したか否かを判定させる。

補間フレーム内の全ての補間画素Ｐｉを生成していなければ（NO）、映像信号処理プログラムは、コンピュータ２０に、ステップＳ４〜Ｓ８の処理を繰り返し実行させる。補間フレーム内の全ての補間画素Ｐｉを生成してれば（YES）、像信号処理プログラムは、ステップＳ９にて、コンピュータ２０に、次のフレームがあるか否かを判定させる。

次のフレームがあれば（YES）、像信号処理プログラムは、コンピュータ２０に、ステップＳ１〜Ｓ９の処理を繰り返し実行させる。次のフレームがなければ（NO）、映像信号処理プログラムは、処理を終了させる。

第１実施形態の映像信号処理プログラムは、ステップＳ７にて、コンピュータ２０に、図５に示す場合分けによって補間画素Ｐｉを生成させる。第２実施形態の映像信号処理プログラムは、ステップＳ７にて、コンピュータ２０に、図６に示す場合分けによって補間画素Ｐｉを生成させる。

第３実施形態の映像信号処理プログラムは、ステップＳ２にて、コンピュータ２０に、ＯＳＤ重畳位置情報のみに基づいて、または、第１及び第２実施形態と同様の手法で付加情報領域を検出させるのに加えて、ＯＳＤ重畳位置情報に基づいて付加情報領域を検出させる。

映像信号処理プログラムは、非一時的な記憶媒体に記憶されてユーザに提供されてもよい。映像信号処理プログラムは、インターネット等の任意のネットワークを介してユーザ（コンピュータ２０）に提供されてもよい。

本発明は以上説明した第１〜第３実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。

１ ＯＳＤ重畳部
２ 付加情報領域検出部
３ フレームメモリ
４ 動きベクトル検出部
５ 補間元信号選択部
６ 補間信号生成部
２０ コンピュータ
２１ 中央処理装置
２２ 記憶部
５１ 静止補間元信号選択部
５２ 動き補間元信号選択部

Claims (9)

1. 入力された動画像の映像信号の各フレーム内に存在する静止画像の付加情報領域を検出する付加情報領域検出部と、
   前記映像信号における少なくとも隣接する第１及び第２のフレームの画素に基づいて、前記動画像の動きベクトルを検出する動きベクトル検出部と、
   前記映像信号における前記第１及び第２のフレーム間に内挿される補間フレームのそれぞれの画素位置における補間画素を静止補間するために、それぞれの画素位置と同じ位置の前記第１及び第２のフレームにおける第１及び第２の静止補間元画素を選択して出力する静止補間元信号選択部と、
   前記補間フレームのそれぞれの画素位置における補間画素を動き補間するために、前記動きベクトル検出部によって検出された動きベクトルが指す方向の前記第１及び第２のフレームにおける第１及び第２の動き補間元画素を選択して出力する動き補間元信号選択部と、
   前記第１及び第２の静止補間元画素の第１の差分値と、前記第１及び第２の動き補間元画素の第２の差分値とを算出し、前記第１及び第２の静止補間元画素と、前記第１の動き補間元画素と、前記第２の動き補間元画素とが、それぞれ前記付加情報領域検出部によって検出された付加情報領域内に位置しているか否か、及び、前記第１の差分値と前記第２の差分値との大小関係に基づいた場合分けに応じて、前記第１及び第２の静止補間元画素のみを用いて前記補間画素を生成する状態と、前記第１及び第２の静止補間元画素と第１及び第２の動き補間元画素との双方を用いて前記補間画素を生成する状態と、前記第１の動き補間元画素のみを用いて前記補間画素を生成する状態と、前記第２の動き補間元画素のみを用いて前記補間画素を生成する状態と、前記第１及び第２の動き補間元画素のみを用いて前記補間画素を生成する状態とを選択して、前記補間フレームである補間映像信号を生成する補間信号生成部と、
   を備えることを特徴とする映像信号処理装置。
2. 前記補間信号生成部は、前記第１及び第２の静止補間元画素が前記付加情報領域内に位置しており、前記第１及び第２の動き補間元画素が前記付加情報領域内に位置しておらず、前記第１の差分値が前記第２の差分値以上であるとき、
   前記第１の差分値より前記第２の差分値を減じた差分が所定の値以上であれば、前記第１及び第２の動き補間元画素の平均値を前記補間画素とし、
   前記第１の差分値より前記第２の差分値を減じた差分が前記所定の値未満であれば、前記第１の差分値より前記第２の差分値を減じた差分が大きくなるほど、前記第１及び第２の動き補間元画素の平均値の割合が大きくなるように、前記第１及び第２の静止補間元画素と前記第１及び第２の動き補間元画素とを加重平均した値を前記補間画素とする
   ことを特徴とする請求項１に記載の映像信号処理装置。
3. 前記補間信号生成部は、前記第１及び第２の静止補間元画素が前記付加情報領域内に位置しており、前記第１及び第２の動き補間元画素が前記付加情報領域内に位置しておらず、前記第１の差分値が前記第２の差分値未満であるとき、前記第１及び第２の静止補間元画素の平均値を前記補間画素とすることを特徴とする請求項２に記載の映像信号処理装置。
4. 前記補間信号生成部は、前記第１及び第２の静止補間元画素が前記付加情報領域内に位置しており、前記第１の動き補間元画素と前記第２の動き補間元画素との少なくとも一方が前記付加情報領域内に位置しているとき、
   前記第１の差分値と前記第２の差分値との大小関係にかかわらず、前記第１及び第２の静止補間元画素の平均値を前記補間画素とすることを特徴とする請求項３に記載の映像信号処理装置。
5. 前記補間信号生成部は、前記第１及び第２の静止補間元画素が前記付加情報領域内に位置しないとき、
   前記第１及び第２の動き補間元画素が前記付加情報領域内に位置していれば、前記第１及び第２の静止補間元画素の平均値を前記補間画素とし、
   前記第１の動き補間元画素と前記第２の動き補間元画素との一方が前記付加情報領域内に位置していて、他方が前記付加情報領域内に位置していなければ、前記付加情報領域内に位置してない方の動き補間元画素を前記補間画素とし、
   前記第１及び第２の動き補間元画素が前記付加情報領域内に位置していなければ、前記第１及び第２の動き補間元画素の平均値を前記補間画素とする
   ことを特徴とする請求項４に記載の映像信号処理装置。
6. 前記付加情報領域検出部は、各フレームのそれぞれの画素位置が付加情報領である確からしさを複数段階で検出し、
   前記補間信号生成部は、前記第１及び第２の静止補間元画素と、前記第１の動き補間元画素と、前記第２の動き補間元画素とが、どの確からしさの付加情報領に位置しているか否か、及び、前記第１の差分値と前記第２の差分値との大小関係に基づいた場合分けに応じて、前記補間映像信号を生成する
   ことを特徴とする請求項１に記載の映像信号処理装置。
7. 前記映像信号に、ＯＳＤ情報を重畳するＯＳＤ重畳部をさらに備え、
   前記付加情報領域検出部は、ＯＳＤ重畳部より出力されるＯＳＤ重畳位置情報に基づいて付加情報領域を検出する
   ことを特徴とする請求項１〜６のいずれか１項に記載の映像信号処理装置。
8. 入力された動画像の映像信号の各フレーム内に存在する静止画像の付加情報領域を検出し、
   前記映像信号における少なくとも隣接する第１及び第２のフレームの画素に基づいて、前記動画像の動きベクトルを検出し、
   前記映像信号における前記第１及び第２のフレーム間に内挿される補間フレームのそれぞれの画素位置における補間画素を静止補間するために、それぞれの画素位置と同じ位置の前記第１及び第２のフレームにおける第１及び第２の静止補間元画素を選択し、
   前記補間フレームのそれぞれの画素位置における補間画素を動き補間するために、前記動きベクトル検出部によって検出された動きベクトルが指す方向の前記第１及び第２のフレームにおける第１及び第２の動き補間元画素を選択し、
   前記第１及び第２の静止補間元画素の第１の差分値と、前記第１及び第２の動き補間元画素の第２の差分値とを算出し、
   前記第１及び第２の静止補間元画素と、前記第１の動き補間元画素と、前記第２の動き補間元画素とがそれぞれ前記付加情報領域内に位置しているか否か、及び、前記第１の差分値と前記第２の差分値との大小関係に基づいた場合分けに応じて、前記第１及び第２の静止補間元画素のみを用いて前記補間画素を生成する状態と、前記第１及び第２の静止補間元画素と第１及び第２の動き補間元画素との双方を用いて前記補間画素を生成する状態と、前記第１の動き補間元画素のみを用いて前記補間画素を生成する状態と、前記第２の動き補間元画素のみを用いて前記補間画素を生成する状態と、前記第１及び第２の動き補間元画素のみを用いて前記補間画素を生成する状態とを選択して、前記補間フレームである補間映像信号を生成する
   ことを特徴とする映像信号処理方法。
9. コンピュータに、
   入力された動画像の映像信号の各フレーム内に存在する静止画像の付加情報領域を検出するステップと、
   前記映像信号における少なくとも隣接する第１及び第２のフレームの画素に基づいて、前記動画像の動きベクトルを検出するステップと、
   前記映像信号における前記第１及び第２のフレーム間に内挿される補間フレームのそれぞれの画素位置における補間画素を静止補間するために、それぞれの画素位置と同じ位置の前記第１及び第２のフレームにおける第１及び第２の静止補間元画素を選択するステップと、
   前記補間フレームのそれぞれの画素位置における補間画素を動き補間するために、前記動きベクトル検出部によって検出された動きベクトルが指す方向の前記第１及び第２のフレームにおける第１及び第２の動き補間元画素を選択するステップと、
   前記第１及び第２の静止補間元画素の第１の差分値と、前記第１及び第２の動き補間元画素の第２の差分値とを算出するステップと、
   前記第１及び第２の静止補間元画素と、前記第１の動き補間元画素と、前記第２の動き補間元画素とがそれぞれ前記付加情報領域内に位置しているか否か、及び、前記第１の差分値と前記第２の差分値との大小関係に基づいた場合分けに応じて、前記第１及び第２の静止補間元画素のみを用いて前記補間画素を生成する状態と、前記第１及び第２の静止補間元画素と第１及び第２の動き補間元画素との双方を用いて前記補間画素を生成する状態と、前記第１の動き補間元画素のみを用いて前記補間画素を生成する状態と、前記第２の動き補間元画素のみを用いて前記補間画素を生成する状態と、前記第１及び第２の動き補間元画素のみを用いて前記補間画素を生成する状態とを選択して、前記補間フレームである補間映像信号を生成するステップと、
   を実行させることを特徴とする映像信号処理プログラム。

Images