JP4145351B2 - ビデオ信号の走査変換方法、装置およびビデオ信号表示装置 - Google Patents

Description

本発明はビデオ信号の走査変換のための方法と装置、およびそのような変換装置を含んでいるビデオ信号表示装置に関する。
ＷＯ−Ａ−９５／２７３６２（代理人の参照番号 ＰＨＮ１４，７９４）は、インターレースビデオ信号を出力順次走査ビデオ信号に変換する方法を開示している。第１の順次走査ビデオ信号はインターレースビデオ信号に依存して供給される。次に、動き補正された順次走査信号が第１の順次走査ビデオ信号に依存して供給される。出力順次走査ビデオ信号のすべてのビデオラインが、動き補償処理動作において使用される動きベクトルの不正確さが目に見える歪みに帰着するのを防ぐために、第１の順次走査ビデオ信号と動き補償された順次走査信号の両方に依存して発生される。第１の順次走査ビデオ信号と動き補償された順次走査信号は、インターレースビデオ信号の現在のフィールドのもとのラインに位置的に相当している第１のラインのための第１のミキサ、もとのライン間に内挿されたラインに位置的に相当している第２のラインのための第２のミキサ、および第１のミキサの出力または第２のミキサの出力をライン交互に選択するためのマルチプレクサによって出力順次走査ビデオ信号を供給するために組み合わされている。
本発明の目的は、とりわけ、改善されたビデオ信号の走査変換を提供することにある。この目的のために、本発明の第１の要旨はクレーム１に規定された方法を提供する。本発明の第２の要旨はクレーム８に規定された走査変換装置を提供する。本発明の第３の要旨はクレーム１３に規定されたビデオ信号表示装置を提供する。有利な実施の形態は従属クレームに規定されている。
それ故に、本発明の第１の要旨は：
インターレース入力信号のもとのラインに相当する第１のライン（Ｆ_i（ｘ−（０，１）^T，ｎ））、および第１のライン（Ｆ_i（ｘ−（０，１）^T，ｎ））に加えて第２のライン（Ｆ_i（ｘ，ｎ））を有する第１の信号を供給し；および
第１の信号に関して遅れまたは進んでいる第２の信号であって、その第２の信号は、もとのラインに相当する第１の処理されたライン（Ｆ_out（ｘ−（０，１）^T−Ｄ，ｎ−１））、および第２のライン（Ｆ_i（ｘ，ｎ））に相当する第２の処理されたライン（Ｆ_out（ｘ−Ｄ，ｎ−１））を有している、を供給する；
のステップを含んでいて、インターレース入力信号から出力ビデオ信号を発生する方法を提供し、
その中において、出力ビデオ信号の出力ライン（Ｆ_out（ｘ，ｎ））は：
第１の処理されたライン（Ｆ_out（ｘ−（０，１）^T−Ｄ，ｎ−１））と第１のライン（Ｆ_i（ｘ−（０，１）^T，ｎ））間の第１の差、および
第２の処理されたライン（Ｆ_out（ｘ−Ｄ，ｎ−１））と第２のライン（Ｆ_i（ｘ，ｎ））間の第２の差
に依存して（好ましい実施の形態の詳細な記述における式２１および２７を参照）得られる。
好ましくは、出力ビデオ信号は順次走査ビデオ信号であり、そして方法は、もとのラインに相当する第１の出力ライン（Ｆ_out（ｘ−（０，１）^Tｎ））、および第１の出力ライン（Ｆ_out（ｘ−（０，１）^Tｎ））間の出力ライン（Ｆ_out（ｘ，ｎ））を有している出力順次走査ビデオ信号を得るために、第１の信号と第２の信号を組み合わせるさらなるステップを含んでいる。有利なことに、出力ビデオ信号の出力ライン（Ｆ_out（ｘ，ｎ））は、第１のライン（Ｆ_i（ｘ−（０，１）^T，ｎ））と第１の出力ライン（Ｆ_out（ｘ−（０，１）^Tｎ））間の関係に依存してさらに得られる。
本発明の第２の要旨は、出力ラインが、第２の差と、第１の出力ライン（Ｆ_out（ｘ−（０，１）^Tｎ））と第１の処理されたライン（Ｆ_out（ｘ−（０，１）^T−Ｄ，ｎ−１））間の第３の差に依存して得られることを提供し、その中において、第１のラインと第１の出力ライン間の関係と同様に、第１の差は、本発明の好ましい実施の形態においてはそれに等しい第３の差によって置き替えられる。参照は、好ましい実施の形態の詳細な記述において式２０に対してなされる。
本発明の別の要旨は、組み合わせるステップが、出力ライン（Ｆ_out（ｘ，ｎ））と第２の処理されたライン（Ｆ_out（ｘ−Ｄ，ｎ−１））間の差が第１の出力ライン（Ｆ_out（ｘ−（０，１）^Tｎ））と第１の処理されたライン（Ｆ_out（ｘ−（０，１）^T−Ｄ，ｎ−１））間の差に相当するように制御され、好ましい実施の形態の詳細な記述における式１８を参照されたい。本発明の上述した要旨は動きの軌道に沿った一貫性を改善し、または、他の言葉に置き替えるならば、よりスムーズな絵が動き物体に対して得られる。
本発明のこれらおよび他の要旨は、以下に記述される実施の形態から明らかになり、そして実施の形態を参照して明瞭になるであろう。
図面において：
図１は、本発明に従った順次走査変換器を含んでいるテレビジョン受信機の実施の形態を示し；
図２は、図１の実施の形態における使用のためのミキサの係数ｋ１とｋ２を計算するためのデバイスの実施の形態を示し；そして
図３は、図１の実施の形態における使用のためのミキサの係数ｋ１を計算するためのデバイスの実施の形態を示している。
１．序説
非インターレース化は、最も多くのビデオ走査のフォーマット変換のために要求される基本的な動作である。画像データの垂直方向および時間方向の内挿は、サンプリング定理の条件が一般にビデオ信号に合わないので、実際的で基本的な困難さを引き起こす。サンプリングレート変換理論に基づいた直線的な方法は、それ故解像度および／または動き描写にネガティブに影響を与える。より進歩したアルゴリズムは、その方向に最も高い相関で３−Ｄ画像データを内挿するそれらの共通の試みによって特徴づけられ得る。この目的のために、それらはこの方向を見つけるために明白かまたは暗黙かの検出器を有している。１−Ｄの時間方向の内挿の場合においては明白な検出器は通常動き検出器と呼ばれ、２−Ｄの空間方向の内挿に対してはそれはエッジ検出器と呼ばれ、ところが一方、最適な空間−時間方向の３−Ｄ内挿の方向を推定する最も進んだデバイスは動き推定器である。内挿フィルタはリカーシブかまたはトランスバーサルかで有り得るが、しかし、時間方向のタップの数は好ましくは少ない。
最近、動き補償された順次走査変換器のためのリカーシブ方式を提案している幾つかのペーパーが発表された［１，２］。実験は、リカーシブが動き補償されたメジアンの重要な改善を生み出し［３］、そしてもし良質の動きベクトルが適用されるならば、それにこれらのアルゴリズムは基づいていることを示している。さらに、リカーシブは、もし速度が増しているならば、一般化されたサンプリング理論を適用する最近発表された方法［４］に比べて、クリティカルな速度について改善された動作をすることが期待されている。この出願においては、従来技術で残っている不自然さを抑圧する、改善されたリカーシブな順次走査変換アルゴリズムが導入されている。本発明は、アルゴリズムと、オブジェクティブスコア（objective score）において改善を示す新規な評価方法を提供する。高い品質で、サブ画素の正確な動き推定のため、［５］のアルゴリズムが使用される。
２．非インターレース化技術
一般に、動き補償された非インターレース化のために必要なサンプルは、たとえば非整数の速度のため、時間離散的な入力信号には存在しない。水平方向の領域においては、この問題はリニアなサンプリングレート変換（ＳＲＣ）理論、たとえば［６］参照、で解かれ得るが、しかし、サンプリング理論の制約が合わないので、垂直方向の領域においては解かれない。この問題に対する３つの異なった解決が、最近、文献に提案されている：
１）それが存在している画素を（殆ど）指すまで、初期の画像への動きベクトルの一直線の延長［７］。
２）一般化されたサンプリング理論（ＧＳＴ）の応用［４］。
３）信号のリカーシブな非インターレース化［１，２］。
解決１）は、我々がより大きい時間の場合にわたって速度が一定であると仮定したときにのみ確実である。これは、方法を実際的に有用でないものにする、むしろシビアな限界である。
ＧＳＴの含意は、１／ｎ倍のＮｙｑｕｉｓｔレートでサンプルされた信号を記述するｎ個の独立したサンプルのセットで完全に再構築することが可能である。非インターレース化の問題にとって、ｎ＝２であり、そして要求された２つのセットは、現在のフィールドと動き補償された前のフィールドである。もし、２つが一致しない、すなわち物体が奇数の垂直方向の動きベクトル成分を有しないならば、独立性の制約が満たされ、そして問題は理論的に解決され得る。実際の問題は：
ａ）速度が奇数の垂直方向の成分を有し得る。
ｂ）完全な再構築は多くのラインからの画素の使用を必要とし、そのための速度は一定であることを要しない。
ｃ）垂直方向の奇数の近くの速度に対して、ノイズが拡張され得る。
解決３）は、いつかメモリ中に完全に非インターレース化された画像を有することが可能である、という仮定に基づいている。ひとたびこれが真実ならば、画像は次の入力フィールドを非インターレース化するために使用される。動き補償とともに、この解決は、メモリ中の非インターレース化された画像が垂直方向の領域においてまたＳＲＣ理論の使用を許すので、完全であり得る。もし、この新しい非インターレース化されたフィールドがメモリ中に書かれるならば、それは次に入って来るフィールド、等々を非インターレース化するために使用され得る。この方法の限界は：
Ｉ）動きベクトルの不正確さと内挿の欠陥のため、エラーの伝播
II）光学的なプレフィルタのないカメラの共通の場合を仮定すると、完全に非インターレース化された画像でさえも、垂直方向の周波数領域においてエイリアスを含み得る。
実際問題として、問題１）はより重大であり、特に、殆ど奇数の垂直方向の速度および／またはノイジーな入力信号に対して重大である。
我々は、ＧＳＴに基づいたリカーシブな非インターレース化および非インターレース化が現在既知の最良の方法であると結論づけた。しかしながら、これらの最良の方法でさえも不完全である。非インターレース化された出力信号に残っている不自然さを抑圧するために、両方の方法と組み合わせで適用される改善を提供することが我々の目標である。事実、我々の提案は、どんな非インターレース化のアルゴリズムをも改善するために使用され得る。
３．適用されるアルゴリズムの説明
［１］においては、時間方向にリカーシブな非インターレース化アルゴリズムが、内挿されるために必要なラインは、前に見つかった非インターレース化された出力フレームを動き補償することによって見い出されることにおいて提案されている：

ここで、Ｆ（ｘ，ｔ）はインターレース入力信号、Ｆ_out（ｘ，ｎ）は順次出力、ｎはフィールド番号、およびｘは空間的な位置である。
伝播からエラーを防ぐため、［１］においては、幾つかの付加的な措置が内挿されたラインを保護するために述べられている。特に、メジアンフィルタがこの保護を実現するために提案されている。
さらに、代案［１］に暗示されているけれども、我々は、我々の比較のために基礎としてこのアルゴリズムを使用するであろう。

結果としてのアルゴリズムの品質が動き推定器動作に重く依存することを我々が予期するので、我々は［５］の動き推定方法を適用した。この高品質のアルゴリズムは１／４の画素の正確さ、および走査レート変換のために非常に重要であると考えられる真の動きベクトルに近いフィールドに生み出す。すべての可能な補償ベクトルを計算するよりもむしろ、このリカーシブな探索ブロック照合器が３−Ｄの隣接から空間方向および／または時間方向の“予測ベクトル”、および単一のアップデートされた予測ベクトルをとる。これは、暗黙に空間方向および／または時間方向に一貫性を呈する。アップデートするプロセスは、空間的な予測ベクトルのいずれかに加算されるアップデートベクトルを含む。我々は、そこからブロック照合器がその結果のベクトルを選択する、次によって定義される候補のセットＣＳ（Ｘ，ｎ）を適用した。

ここに、アップデートベクトルＵ _a（Ｘ，ｎ）およびＵ _b（Ｘ，ｎ）は二者択一的に（ブロックベースで）適用可能であり、そして限られた固定の整数のアップデートセットから取られ、我々の場合においては：

サブ画素の正確さを実現するために、式（４）のアップデートセットは、端数のアップデート値について拡張される。我々は、アップデートセットに次の端数のアップデートベクトルを加算することによって１／４の画素の解像度を実現した：

候補ベクトルの小さい数の故に、方法は、固有のスムーズな制約のため、非常に能率的で、そして走査フォーマット変換器のために最も適した非常に密着してそして真の動きベクトルに近いフィールドを実現する。
４．リカーシブな非インターレース化アルゴリズム
リカーシブな非インターレース化アルゴリズムの主な不完全さは、出力信号に残っているエイリアスである。この不完全さは通常、代案の方法に対してより悪いけれども、一層の改善が魅力的に見える。この欠点についての困難さは、それが単一画像においてはみえにくく、しかし主に動いているシーケンスにおいて見えにくいことである。これは、図解することを困難にし、と同時にまた、改善を示すための数量的尺度も欠けているように見える。
非インターレース化の品質を評価するための共通の方法は、もとの連続的に走査された画像を、我々がここではＭＳＥ_S標準と読んでいるものを用いて非インターレース化された結果と比較することである：

この標準は、たとえば解像度ロス、ノイズ、ベクトルエラー、等々による異なった背景を識別することなしに、それはすべての差を合計するので、専らではないが残っているエイリアスに対して敏感である。この標準の付加的な不便さは、もとのインターレースされたソース信号についてのアルゴリズムの性能をチェックすることが適用され得ないことである。
完全に非インターレース化された画像（残留エイリアスのない）においては、特性は、動きのモデルが確実である画像部分において、シーケンスが動き軌道に沿って静止していることである。この特性に基づいて、代案が［５］に暗示され、そこで、我々は現在のインターレースされた入力フィールドｎが動き補償された以前に非インターレース化されたフィールドによって如何に良く予測されるかを測定した：

この方法は、もとの順次走査されたシーケンスの不在において性能を判断することが適用され得るという利点を有している。しかしながら、測定は、クリティカルな速度においては、内挿されたラインの品質は数字に反映されないので、クリティカルな速度の場合における限られた値を有している。
この局面で改善する試みにおいて、フィールドｎにおけるすべての出力ラインに対する“動き軌道の非一貫性”（ＭＴＩ（ｎ））を測定することが可能であり、それを我々は次のように定義する：

この測定についての問題は、この標準上で良いスコア（score）が必要であるが、しかし、処理においては十分な制約ではない。このＭＴＩを非常に低い値にすることは、たとえば強力な時間方向のフィルタを適用して可能であるが、と同時に、明らかに画質は低下する。しかしながら、殆ど変化しないＭＳＥスコアに結合したＭＴＩ標準におけるより低いスコアは品質改善のための強い表示である。動きベクトルのスムーズな制約［８］と明らかな類似があり、そこでは、動きの推定技術、わずかなＭＳＥの低下を受け入れる重大な一貫性の改善を生み出す照合標準にスムーズネスの項を加えることによって改善された。全く同様に、次のように定義される非インターレース化のコストフギャー（cost figure）を導入するとがここに可能である：

パラメータαは、主観的印象を照合するためのコスト関数のチューニングを許している。
式（９）を適用して“残留エイリアス”の量を図った後に、ＭＴＩフィギャーの改善が、動き軌道に沿って静止していないものを抑圧することによって実現され得た。これがＭＳＥスコアを重大に低下させない限り、それは改善されたコストスコアと、正しくチューンされたαをもって、また改善された主観性能をもたらす。
静止していないものは、もとのライン上と同様内挿されたライン上に存在し得るので、含意は、両方とも時間方向にフィルタされなければならないことである。もとのラインのフィルタリング、それは幾らか反直観的であるが、残っているエイリアスを抑圧するのを助けることはまた、それぞれもとの内挿されたライン上の信号の垂直方向の周波数スペクトラムから理解され得る。もとのリカーシブな非インターレース化のアルゴリズムにおいて、入力フィールドに存在しているラインは常に直接に出力端子に伝達され、そして決して変形されない。内挿されたラインの第１の繰り返しスペクトラムは常に動きベクトル推定と保護機能における不正確さを被るので、このスペクトラムはもとのラインから生じている（反位相の）繰り返しスペクトラムに対して十分に補償できない。
上述の結果として、我々が提案するリカーシブな非インターレース化の方法は、新しいラインだけでなく、等しく強力な両方のタイプのライン上の動き軌道の一貫性を最大にする試みにおいて、インターレースされた信号に存在しているラインもまた内挿する：

ここに、ｋ（Ｒ）は動きベクトルの信頼性Ｒを反映する制御パラメータであるＦ_i（ｘ，ｎ）は式（２）によって計算され得、しかしまた、我々が後に示すような小さい不都合をもって、簡単なイントラフィールド内挿を使用する：

文献においては時々、照合エラーまたは局部的な画像のコントラストのために補正された照合エラーが使用される。［５］に記述された３−Ｄのリカーシブな探索ブロック照合器を適用するとき、動きベクトルの信頼性に対する別の表示が利用できる。このリカーシブな推定器は、空間方向および時間方向の予測の使用のため、一貫性のある動きベクトルのフィールドを暗に呈している。もし、出力ベクトルのフィールドがスムーズでないならば、そのとき暗に提示したものは誤っていて、そしてそれ故動きベクトルは信じられない。
このスムーズネスのために、その空間方向および時間方向の近隣を有する現在のベクトルの絶対値の（または２乗の）差のどんな合計も適用されるが、しかし、３−Ｄ ＲＳブロック照合器を用いて、我々は、ベクトルのスムーズネスＳのための次の定義を用いて良い結果を得た：

ここにｐ＝（ｘ，ｙ，ｔ）^Tは空間方向−時間方向の位置、αは実験的に選択された定数、一方、近隣のベクトルが見い出される近隣Ｎは次のように定義される：

この定義において、ＸおよびＹは、それぞれ動き推定器において使用されたような水平および垂直ブロックのディメンジョンを意味する。
５．アルゴリズムの改善
上述したアルゴリズムについて見つかった最も厳しい欠点は：
１）大きく同種に動いている画像部分は時々、わずかに異なった速度を有する幾つかの領域に分解する（地震）。
２）大きな変位の不連続が起こった領域においては、ブロッキングの人為結果が時々見える。これらは、信頼性表示器がブロックベースにだけ有効であるためである。
これらの困難さの第１は提案された方法の基本に直接関係し、そしてそれ故最も治療しにくい：もし、動きベクトルの信頼性が良いと考えられるならば、もとのと内挿されたラインの両方をリカーシブにフィルタリングすることによって、出力は益々“入力から分離”されてくる。この節において、それ故、我々は、出力画像が入力材料からあまりに遠くドリフトするのを防ぐための解決を導入する。
洗練のための基礎は、もとのライン上のフィルタされた情報が如何に遠くにフィルタされない情報から違っているかを直接に検出し、そして逸脱が大きくなる場合にはフィルタリングを減少することである。このフィルタリングの適応は画素ベースで容易に実現されるので、それはさらに、２）に述べた欠点について処理するための手段を提供する。同じ差が、もっと大きな差は我慢できることが判明したけれども、内挿されたラインのフィルタリングを減少させるために使用される。
洗練されたアルゴリズム（式（２）の修正）において、出力の輝度は次のように見い出される：

そして、次のように定義されたリミッタ関数“ｃｌｉｐ”を用いて：

ｋ₂は次のように計算される：

従って、ｋ₂は式（１２）で定義されたベクトルのスムーズネスＳの、およびインターレースされた格子（ｇｒｉｄ）だけのもとのライン上で測定され動き補償されたリカーシブなループにおける（画素の）差Ｄｉｆｆの関数である：

ここで、Ｗは、内挿された画素の直上または直下のライン上の現在内挿された画素に最も近い６個の画素を含んでいるウインドウである。Ｄｉｆｆは式（７）のＭＳＥ_i（ｎ）に関係しているので、ＭＳＥ_i（ｎ）とＭＴＩ（ｎ）の相対的な重要さをチューンすることは、Ｃ₁を適当に選択することによって可能である。
このチューニングはもとのラインにとってむしろ単純なように見えるけれども、それは内挿されたラインにとってより複雑である。これらのラインに対してＭＴＩ（ｎ）フィギャーは計算されるけれども、しかし重要なＭＳＥ_i（ｎ）は、この時間方向のフィルタへの入力ラインの品質が最初の順次走査変換アルゴリズムの品質に依存するので、見い出せない。この基本の問題から逃れるために、我々はここに、もとのラインと内挿されたラインのＭＴＩ（ｎ）のフィギャーへの寄与が、内挿されたラインに対する時間方向のフィルタについてのエネルギーを無視すると、画素あたり同一であるようにｋ₁をチューンすることを提案する。仮定は次のようになる：

一方、同時に：

ここに、Ｆ_i（ｘ，ｎ）は最初の非インターレース化のアルゴリズム、たとえば、式（２）または（１１）を使用しての出力である。式（１８）および（１９）の組み合わせは、次によりｋ₁の計算に帰着する：

この結果を式（１４）の下方の部分と組み合わせると、次に帰着する：

含意として、内挿されたライン上の時間方向にリカーシブなフィルタリングは、最初の非インターレース化の方法の質に依存する。簡単なライン平均化アルゴリズムは、内挿されたラインについて、例えば動き補償されたメジアンフィルタよりも、より強く時間方向のフィルタリングを引き起こす。実験的に、我々は、非インターレース化の性能に由来する差は小さいことを示し得た。
式（１８）の仮定は、上方に隣接しているもとのライン上で測定された差を適用している内挿されたラインに、時間方向にリカーシブなフィルタリングの適用に導く。参照として上方のもとのラインを使用するよりもむしろ、下方の隣接しているラインの方が等しく良く使用され得る。対称のために、２つの隣接しているもとのライン上での平均の効果を考慮することは有利のように見える。苦心してつくると、これは式（２０）に対する対称の代案に帰着する：

と共に：

絶対の差を平均化するよりもむしろ、平均の絶対値をとり、２つの平均の最大値をとり、または、整流器（絶対）の前および／または後で（２-Ｄの）空間方向のフィルタを適用することが可能である。選択は、動き検出器に適用されたそれらの通例と似ている。さらに、内挿されたラインに時間方向のフィルタの上述した制御を適用することも可能であり、と同時に、ｋ₂の値をもとのライン上でフィルタリングしない（ｋ₂＝１）に固定する。一般に、これは幾らか低いＭＳＥ_i（ｎ）フィギャーに帰着するであろうけれども、しかし意味のある高いＭＴＩ（ｎ）スコアに帰着するであろう。
代わりとなる実施の形態においては、ｋ₂は次のように計算される：

結果として、ｋ₂は、動き補償されたリカーシブなループにおける予測エラーＤｉｆｆの関数である。Ｄｉｆｆは式（７）のＭＳＥ（ｎ）に関係しているので、ＭＳＥ_i（ｎ）とＭＴＩ（ｎ）の相対的な重要さをチューンすることは、Ｃ₂を適当に選択することによって可能である。
最初の非インターレース化の方法から生じているような、内挿された画素の品質は明らかにもとの画素のそれより小さいので、これらの画素のフィルタリングは強くあるべきである。さらに、内挿されたラインの位置におけるＤｉｆｆ（ｘ，ｎ）は、動き補償された予測の品質を決定するために小さな値を有しているので、我々は次を使用してｋ₁を制御することを提案する。

ここにＣ₁はＣ₂より小さく、そして内挿された画素のためのリカーシブなフィルタの制御は、垂直方向に隣接して存在している画素において動き補償された予測の質から引き出される。
交互のラインを異なってフィルタリングすることにはリスクがあり、それは目に見えるライン構造を潜在的に導入するからである。高品質の非インターレース化の利益は垂直方向のディテールに関する領域において明らかであるけれども、そのような高い垂直方向の周波数成分を欠いている領域においては利益がない。それ故、個々のフィルタリングから決して益しない画像部分におけるライン構造の導入を防ぐために、もし次式が成立するならば、ｋ₁がｋ₂に等しくなされる：

前の節から生じている提案を評価するために、我々は４つのクリティカルなシーケンスのセットを選択した。シーケンスは、垂直方向のディテールと、多くの方向における種々のサブ画素値を有する動きを含んでいる。参照として２節に述べたバージョンにおける［１］のアルゴリズムを用いて、我々は本ペーパーの提案を図解している別の２つのアルゴリズムのためのＭＳＥ_SとＭＴＩ_Sを計算した。第１のアルゴリズムは図１に示されたアルゴリズムであり、その中で、リカーシブなループの制御は式（２４，２６）によっている。第２のアルゴリズムは１に固定されたｋ₂を有し、すなわち、もとの画素のリカーシブなフィルタリングを有さず、そしてさらに同一である。参照のアルゴリズムと比較されると、両方の提案された新しいアルゴリズムはわずかに改善されたＭＳＥ_iフィギャーを生み出し、そしてそれは、主に高い空間方向の周波数におけるメジアンディフェクトの除去によることが予測されている。ＭＴＩフィギャーは、しかしながら、目覚ましく改善され、特に第１のアルゴリズム、すなわち、もとのライン上でさえもリカーシブなフィルタリングを行うアルゴリズムに対して改善された。両方のアルゴリズムのＭＳＥ_iフィギャーはわずかに少し異なっている。もとの画素の付加的なリカーシブなフィルタリングは主にＭＴＩフィギャーを改善する（ＭＳＥ_iフィギャーにとって、わずかの不利益でまたはまったく不利益なく）。
図１は、提案された非インターレース化のアルゴリズムの生じているアーキテクチャを示している。図１において、インターレースされた入力信号が入力端子Ｉから、その下方の出力端子にもとのラインをそしてその上方の出力端子に内挿されたラインを供給する最初の順次走査変換器１に供給される。もとのラインは、ミキサ３とフィールドメモリ５を通して動き補償段７に供給される。同様に、内挿されたラインは、ミキサ９とフィールドメモリ１１を通して動き補償段７に供給される。動き補償段７のための動きベクトルＤは、最初の順次走査変換器１によって供給されたもとのラインを基礎として（または、ミキサ３によって供給されたラインを基礎として）動き推定器１３によって決定され、そしてシフトされたラインが動き補償段７によって供給される。動き補償されシフトされたラインは動き補償段７によってミキサ３および９に供給される。ミキサ３は、もとのラインと動き補償されシフトされたラインとを比率ｋ₂：（１−ｋ₂）で混合する。ミキサ９は、最初の順次走査変換器１からの内挿されたラインと動き補償されシフトされたラインとを比率ｋ１：（１−ｋ１）で混合する。ミキサ３および９からの出力信号は、非インターレース化された出力信号、そしてそれは表示ユニット１６上に表示される、を発生するために圧縮および多重化段１５に供給される。
しかるに、この実施の形態は大部分、ＷＯ−Ａ−９５／２７３６２（代理人の参照番号 ＰＨＮ１４，７９４）に述べられた実施の形態に相当しているけれども、本発明は主に、ｋ１（およびｋ２）のために最適な値を供給することに関係している。この目的のために、図２は、図１の実施の形態での使用のためのミキサの係数ｋ１およびｋ２を計算するためのデバイスの実施の形態を示している。図２のミキサの係数計算デバイスは、式１２，１３に従って動きベクトルＤに応じてベクトルのスムーズネスＳを計算するための計算回路１７と、そして式１４から２３に従ってミキサ３および９に供給される４つの信号に依存してミキシングの係数ｋ₁およびｋ₂を計算するための第２の計算回路１９とを含んでいる。
図３は、図１の実施の形態での使用のためのミキサの係数ｋ１を計算するためのデバイスの実施の形態を示している。ミキサの係数ｋ２は、１の固定した値を有している。ミキサの係数ｋ１は、計算デバイス２０によって式２０に従って計算される。
６．結論
現存の非インターレース化のアルゴリズムの一般的に適切な改善と、そのようなアルゴリズムに対する新しい評価尺度とが出願において提案された。提案の典型的な特徴は、このフィルタリングが内挿された画素だけに限られず、インターレースされた入力信号中に存在する画素のフィルタリングに拡張されることである。この幾分か反直観的な動作は、内挿されたラインの繰り返しスペクトラによって補償されたものとラインの繰り返しスペクトラを有するために、２つが同一の周波数応答をもつことが本質的であるという仮定に従っている。内挿された画素が供給された動きベクトルの限られた正確さによって歪ませられ得ることは防げないので、エイリアスを最大に抑えるために、類似の歪がもとの画素のそれに最も良く適応され得る。時間方向にリカーシブな非インターレース化に対する改善の適用が苦心してつくられ、そして改善された動作が確証された。確証は、標準的なＭＳＥ_iの性能尺度は被らず（事実、幾らかの改善を示しさえしても）、一方、新規に提案した“動き軌道に沿った一貫性”（ＭＴＩ）は大きく改善した、という意味において理解されなければならない。
好ましい実施の形態においては、本発明は、少なくとも内挿されたラインのリカーシブな時間方向のフィルタリングを使用する順次走査変換の方法を提供し、その中において、フィルタは、隣接ラインのために決められた値に動き軌道に沿った一貫性を生じている固定の関係（例えば、１）を局部的に与えることによって制御される。
上述した実施の形態は本発明を制限するよりもむしろ図解していて、そして当業者は添付したクレームの範囲から逸脱することなく多くの代案となる実施の形態を設計することができるであろうことに留意されたい。しかるに絶対の差が述べられているが、ある実施の形態において通常の差は差の符号を保存するために使われている。図１はリカーシブな実施の形態を示し、その中においてミキサ３，９の出力はフィールドメモリ５，１１を通して動き補償段７に供給されているが；勿論、フィールドメモリ５，１１の入力端子が直接最初の順次走査変換器１の出力端子に接続されているノンリカーシブな実施の形態もまた可能である。図１において、最初の順次走査変換器１によって供給される内挿されたラインは、まさに白、黒またはグレーのラインであり得て；もし、内挿のアルゴリズムが内挿されたラインを得るために使用されるならば、どんなアルゴリズムもそうであろう。クレームにおいて、括弧間に置かれた参照符号はクレームを制限するように解釈されるべきではない。本発明は幾つかの個別の要素を含んでいるハードウェアによって、そして適当にプログラムされたコンピュータによって実行され得る。
従って、本発明の好ましい実施の形態は、次のステップを含んでいる、インターレースされた入力信号から順次走査されたビデオ信号を発生する方法を提供する：
インターレース入力信号のもとのラインに相当する第１のライン（Ｆ_i（ｘ−（０，１）^T，ｎ））、および第１のライン（Ｆ_i（ｘ−（０，１）^T，ｎ））に加えて第２のライン（Ｆ_i（ｘ，ｎ））を有する第１の信号を供給し；および
もとのラインに相当する第１の動き補償されたライン（Ｆ_out（ｘ−（０，１）^T−Ｄ，ｎ−１））、および第２のライン（Ｆ_i（ｘ，ｎ））に相当する第２の動き補償されたライン（Ｆ_out（ｘ−Ｄ，ｎ−１））を有する第２の信号を供給し；
もとのラインに相当する第１の出力ライン（Ｆ_out（ｘ−（０，１）^T，ｎ））、および第１の出力ライン（Ｆ_out（ｘ−（０，１）^T，ｎ）間の第２の出力ライン（Ｆ_out（ｘ，ｎ））を有する出力順次走査ビデオ信号を得るために、第１の信号と動き補償された信号を組み合わせ；
そこにおいて、第２の出力ライン（Ｆ_out（ｘ，ｎ））は、（式２１および２７を参照）に依存して得られる：
第１の動き補償されたライン（Ｆ_out（ｘ−（０，１）^T−Ｄ，ｎ−１））および第１のライン（Ｆ_i（ｘ−（０，１）^T，ｎ））間の第１の差、
第２の動き補償されたライン（Ｆ_out（ｘ−Ｄ，ｎ−１））および第２のライン（Ｆ_i（ｘ，ｎ））間の第２の差、および
第１のライン（Ｆ_i（ｘ−（０，１）^Tｎ））および第１の出力ライン（Ｆ_out（ｘ−（０，１）^T，ｎ））間の関係（ｋ₂）。
しかしながら、本発明が、入力インターレース信号のライン間に垂直方向に位置されたその出力ラインを有する出力インターレース信号を引き出すために有利に使用され得るので、出力ビデオ信号が順次走査ビデオ信号であることは必要でない。そのようなインターレースからインターレースへの変換は、１００Ｈｚの変換において必要とされ、そこでは１つの入力インターレースフィールドのラインが他の入力インターレースフィールドのラインの位置の方向に垂直方向にシフトされることを必要としている。組み合わせるステップは、順次走査変換においては有利であるが、しかし他の走査変換においては必要でない。
同様に、第２の信号が動き補償された内挿によって好ましく得られる一方で、より複雑でない方法が、第１の信号に関して遅れまたは進んでいる第２の信号を得るために使用されるとき、メジアンフィルタを使用するそれのように、満足な結果がすでに得られた。
最後に、第１のラインと第１の出力ライン間の関係（ｋ₂）への依存は改善された結果に貢献するように見え、と同時に、出力ラインが第１および第２の差にのみ依存しているとき良い結果がすでに得られた。
本発明は、テレビジョン受信機またはパーソナルコンピュータのようなビデオ信号表示装置に有利に適用され得る。
７．参照

Claims (8)

1. インターレース入力信号から出力ビデオ信号を発生する走査変換方法であって、
   前記インターレース入力信号のもとのラインに相当する第１のライン、および前記第１のライン間にイントラフィールド内挿された第２のラインを有する第１の信号を供給するステップと、
   前記もとのラインに位置的に相当し、前記第１のラインを動き補償内挿処理して得られた処理済みの第１ラインと、前記第２のラインに位置的に相当し、前記第２のラインを動き内挿処理して得られた処理済みの第２ラインとを有する第２の信号を供給するステップと、
   前記出力ビデオ信号の出力ラインを得るために前記第２のライン及び前記処理済みの第２ラインを混合するステップと、
   を有する走査変換方法において、
   前記混合するステップにおける混合係数を、
   同一水平位置にある前記処理済みの第１ラインと前記第１のラインとの間の、同一垂直位置にある画素間の画素値の差の総和である第１の差と、
   同一水平位置にある前記処理済みの第２ラインと前記第２のラインとの間の、同一垂直位置にある画素間の画素値の差の総和である第２の差と
   の比率に依存して得ることを特徴とする走査変換方法。
2. 請求の範囲第１項記載の方法において、前記出力ビデオ信号は順次走査ビデオ信号であり、当該方法はさらに、前記混合するステップの後に、前記もとのラインに相当する第１の出力ラインと、前記第１の出力ライン間にある前記出力ラインとを交互に組み合わせて出力順次走査ビデオ信号を形成するステップを含んでいることを特徴とする走査変換方法。
3. 請求の範囲第２項記載の方法において、前記出力順次走査ビデオ信号を形成するステップは、同一水平位置にある前記出力ラインと前記処理済みの第２ラインとの間の、同一垂直位置にある画素間の画素値の差の総和が、同一水平位置にある前記第１の出力ラインと前記処理済みの第１ラインとの間の、同一垂直位置にある画素間の画素値の差の総和に相当するように制御されることを特徴とする走査変換方法。
4. 請求の範囲第１項記載の方法において、前記第１の差および前記第２の差は絶対差であることを特徴とする走査変換方法。
5. インターレース入力信号のもとのラインに相当する第１のライン、および前記第１のライン間にイントラフィールド内挿された第２のラインを有する第１の信号を供給する手段と、
   前記もとのラインに位置的に相当し、前記第１のラインを動き補償内挿処理して得られた処理済みの第１ラインと、前記第２のラインに位置的に相当し、前記第２のラインを動き内挿処理して得られた処理済みの第２ラインを有する第２の信号を供給する手段と、
   前記出力ビデオ信号の出力ラインを得るために前記第２のラインおよび前記処理済の第２ラインを混合する手段と、
   を有する走査変換装置において、
   前記混合する手段における混合係数を、
   同一水平位置にある前記処理済みの第１ラインと前記第１のラインとの間の、同一垂直位置にある画素間の画素値の差の総和である第１の差と、
   同一水平位置にある前記処理済みの第２ラインと前記第２のラインとの間の、同一垂直位置にある画素間の画素値の差の総和である第２の差と
   の比率に依存して得る手段を有することを特徴とする走査変換装置。
6. 請求の範囲第５項記載の装置において、前記出力ビデオ信号は順次走査ビデオ信号であり、当該装置はさらに、前記もとのラインに相当する第１の出力ラインと、前記第１の出力ライン間にある前記出力ラインとを交互に組み合わせて出力順次走査ビデオ信号を形成する手段をさらに含んでいることを特徴とする走査変換装置。
7. 請求の範囲第６項記載の装置において、前記出力順次走査ビデオ信号を形成する手段は、同一水平位置にある前記出力ラインと前記処理済みの第２ラインとの間の、同一垂直位置にある画素間の画素値の差の総和が、同一水平位置にある前記第１の出力ラインと前記処理済みの第１ラインとの間の、同一垂直位置にある画素間の画素値の差の総和に相当するように制御されることを特徴とする走査変換装置。
8. ビデオ信号表示装置であって、
   インターレース入力信号を供給する手段と、
   請求の範囲第５項ないし第７項の何れか一項に記載の、前記インターレース入力信号から前記出力ビデオ信号を発生する走査変換装置と、
   前記出力ビデオ信号を表示する手段と、
   を含んでいることを特徴とするビデオ信号表示装置。

Images