JP2008141546A - フレームレート変換装置及び表示装置 - Google Patents

Abstract

【課題】
映像信号を入力し該映像信号に補間フレームを挿入することによってフレームレートを変換するフレームレート変換装置において、映像の画質の低下を抑制しつつ、フレームレート変換処理における計算処理量を低減する。
【解決手段】
映像信号を入力し前記映像信号に補間フレームを挿入することによって前記映像信号のフレームレートを変換するフレームレート変換装置であって、前記映像信号を入力する入力部と、前記補間フレームの生成処理を行い、前記映像信号の補間処理を行う映像補間部と、前記映像補間部による前記補間フレームの生成処理を制御する制御部とを備え、前記映像補間部は前記補間フレームの生成処理を複数種類の方法で行い、前記制御部は、前記複数種類の方法の切替えを制御する。
【選択図】図１

Description

本発明は、映像信号のフレーム周波数（以下「フレームレート」と称する）を変換するフレームレート変換技術に関する。

入力映像信号の複数のフレーム間の動きベクトルを探索し、探索した動きベクトルに応じて前後のフレーム画像に含まれる画像の位置を移動させて、新たなフレーム画像を生成し、前後フレーム間に挿入することにより、フレームレートを変換する技術が知られている（例えば、特許文献１参照）。
特開平１１−１１２９３９号公報

特許文献１に記載の動きベクトルを用いたフレームレームレート変換技術では、入力映像信号の複数のフレーム間の動きベクトルを探索し、この動きベクトルに基づいて新たなブロックを生成することで補間フレームを生成する。

ここで、動きベクトル探索における計算処理量を低減するために、動きべクトルを探索する、動きベクトルの探索範囲を小さくしようとした場合、相対的に当該入力映像信号の動きベクトルにおける当該探索範囲を超える動きベクトルの比率が大きくなる。これにより、動きベクトルの探索ミスが発生して、低画質の補間画像のフレームが増加し、映像の画質が低下するという課題があった。

本発明はこのような課題を鑑みてなされたものであり、本発明の目的は、映像の画質の低下を抑制しつつ、フレームレート変換処理における計算処理量を低減することにある。

上記目的を達成するために、本発明の一実施の態様は、映像信号を入力し前記映像信号に補間フレームを挿入することによって前記映像信号のフレームレートを変換するフレームレート変換装置であって、前記映像信号を入力する入力部と、前記補間フレームの生成処理を行い、前記映像信号の補間処理を行う映像補間部と、前記映像補間部による前記補間フレームの生成処理を制御する制御部とを備え、前記映像補間部は前記補間フレームの生成処理を複数種類の方法で行い、前記制御部は、前記複数種類の方法の切替えを制御する。

本発明によれば、映像の画質の低下を抑制しつつ、フレームレート変換処理における計算処理量を低減することができる。

以下、本発明の実施例を、図面を参照して説明する。

また、各図面において、同一の符号が付されている構成要素は同一の機能を有すること
とする。

また、本明細書の各記載及び各図面における「フレーム」もしくは「フレーム内の所定の領域」という表現は、それぞれ、フレーム画像及びフレーム内の所定の領域の画像の意味も含む。

まず、本発明の第１の実施例について図面を参照して説明する
図１に本発明の第１の実施例に係る動き補正型フレームレート変換装置１００のブロック図の一例を示す。

フレームレート変換装置１００は、例えば、入力映像信号を入力する入力部１と、複数の方法で当該入力映像信号に係る補間フレームの生成処理を行い、当該入力映像信号のフレームレートを変える映像補間部２と、当該フレームレートを変更した映像信号を出力映像信号として出力する出力部３と、入力部１に入力される入力映像信号について動きベクトルを探索する動きベクトル探索部４と、当該動きベクトル探索部４が探索した当該動きベクトルについてヒストグラム算出処理を行うヒストグラム算出部６と、当該動きベクトル探索部４が探索した当該動きベクトルや、当該ヒストグラム算出部が算出したヒストグラム分布情報や、判定基準情報などを記憶する記憶部８と、当該ヒストグラム分布情報と当該判定基準情報とを用いて、判定処理を行うことにより、前記映像補間部２の補間フレームの生成処理の方法を切替える制御を行う制御部７とをなえる。

以下にフレームレート変換装置１００の各構成要素の動作を詳細に説明する。

なお、フレームレート変換装置１００の各構成要素の動作は、例えば以下の通り各構成要素の自律的な動作としても良い。また、例えば制御部７が、例えば記憶部８が記憶するソフトウェアと協働することにより実現しても構わない。

まず、入力映像信号が、入力部１に入力される。入力部１は、映像補間部２に入力映像信号を送信する。映像補間部２は、入力部１から取得した入力映像信号に対して補間処理を行う。次に、映像補間部２は、当該補間処理を行って所望のフレームレートに変換した映像信号を出力部３に送信する。出力部３は、当該所望のフレームレートに変換した映像信号をフレームレート変換装置１００から出力する。

ここで、映像補間部２が行う補間処理は、その補間フレームの生成方法について、複数の種類の生成方法を選択的に行うものとする。映像補間部２が行う補間フレームの生成方法または補間処理方法の種類の詳細な説明は後述する。

次に、例えば、映像補間部２が動きベクトルを用いて補間処理を行う場合は、前記入力映像信号における、時間的に前後する少なくとも二つの映像フレームの全領域もしくは一部の領域が、入力部１から動きベクトル探索部４に入力される。
ここで、動きベクトル探索部４による動きベクトルの探索処理は、例えば、複数の画素から構成されるブロック毎、もしくは画素毎に、映像フレーム間の動きベクトルを探索する。動きベクトルの探索方式に関してはブロックマッチング等の既知の方式を用いてよく、特に限定されるものではない。 次に、動きベクトル探索部４は、探索処理により求めた動きベクトルを、例えば、映像補間部２、ヒストグラム算出部６、記憶部８などに送信する。

ここで、動きベクトル探索部４による動きベクトルの探索処理において、動きベクトル探索対象フレームにおける動きベクトルを探索する範囲の大きさは、動きベクトルを探索処理の計算処理量に影響する。ここで、動きベクトルを探索処理の計算処理量を低減するためには、例えば、当該動きベクトル探索範囲を小さく設定すればよい。但し、当該動きベクトル探索範囲を小さくするほど、動きベクトルの探索ミスの発生確率は高くなる。尚、動きベクトル探索範囲の詳細と、動きベクトルの探索ミスの詳細は後述する。

次に、映像補間部２は、動きベクトルを用いる補間処理方法によって補間処理を行う場合には、動きベクトル探索部４から取得した動きベクトルを用いて、入力部１から取得した入力映像信号の補間処理を行う。

また、ヒストグラム算出部６は、動きベクトル探索部４から取得した動きベクトルを用いて、画面毎もしくは所定の領域毎の動きベクトルを、動き方向と動き量毎にカウントしたヒストグラム分布を算出する。例えば、このヒストグラム分布の算出処理は、動きベクトル探索部４から取得した動きベクトルをヒストグラム算出部６自体が記憶して、ヒストグラム分布を算出してもよい。また、動きベクトル探索部４から取得して記憶部８が記憶している動きベクトルを用いてヒストグラム分布を算出し、算出したヒストグラム情報を記憶部８に記憶しても良い。この場合は、ヒストグラム算出部６自体が記憶する必要はない。

次に、制御部７は、ヒストグラム算出部６が算出したヒストグラム分布情報を、ヒストグラム算出部６または記憶部８から取得する。また、制御部７は記憶部８からから判定基準情報を取得しする。ここで、制御部７は判定基準情報に基づいてヒストグラム分布情報を解析する。さらに制御部７は判定結果に基づいて補間フレームの生成処理方法の種類を切替える切替指示信号を、映像補間部２に送信する。

例えば、当該判定基準情報には、所定の条件を満たす動きベクトルの数の閾値、所定の条件を満たす動きベクトルの数の前記ヒストグラム分布の母数に対する比率の閾値、当該所定の条件（例えば、所定の動き量の条件、所定の方向の条件またはこれらの組合せ等）自体が格納されている。また当該判定基準を、前記動きベクトル探索部４が動きベクトルの探索ミスを起こした確率が高いか否かを検出できる条件に設定してもよい。この場合、当該動きベクトルの探索ミスの発生確率に応じて、映像補間部２における補間フレームを生成処理を選択することが可能となる。例えば、当該動きベクトルの探索ミスの発生確が低い場合には、動きベクトルを用いたより高画質な補間処理方法を選択する。また、例えば、当該動きベクトルの探索ミスの発生確が高い場合には、動きベクトルを用いない補間処理方法を選択する、この場合、動きベクトルの探索ミスによる補間フレームの画質の低下を防止するなどの制御方法が可能となる。尚、当該判定基準情報の詳細及び制御部７の判定処理の例については後述する。

次に、制御部７から補間処理方法の切替指示信号を取得した映像補間部２は、当該切替指示信号に基づいて、補間処理の方法を変更する。

以上説明したように、本実施例に係るフレームレート変換装置１００は、入力映像信号に対して、複数の補間処理方法を選択して補間処理を行い、当該補間処理によりフレームレートを変更した出力映像信号を出力することができる。

また、本実施例に係るフレームレート変換装置は、複数の補間処理方法の切替判定処理を、入力映像信号から取得した動きベクトルと所定の判定基準を用いて行うことにより、補間処理において生成される補間フレームの画質の低下を防止して、出力映像の画質の低下を防止することが可能となる。

次に、図２を用いて、本発明の第１の実施例に係る映像補間部２の補間処理の一例を説明する。

上述のとおり、映像補間部２は、複数の方法の補間フレームの生成方法を、例えば制御部７の切替信号に基づいて切替えて行う。第１の実施例の映像補間部２においては、例えば、図２(a)、図２(ｂ)、図２(c)に示す３種類の補間フレームの生成方法を行う。

尚、以下の図２(a)、図２(ｂ)、図２(c)における説明においては、いずれも補間処理をフレーム単位で行うこととして説明しているが、各補間処理は、フレーム内の所定の領域単位で行っても構わない。この場合は、図２(a)、図２(ｂ)、図２(c)における説明の記載において「フレーム」という記載を「フレーム内の所定の領域」と読みかえればよい。

まず、図２(a)を用いて、時間的に前のフレームを繰り返す補間処理方法を説明する。図２(a)において、横軸は時間が示されている。また、入力映像信号に含まれる前フレーム２１と、フレーム２１よりも時間的に後ろにある後フレーム２３、時間的に両フレームの間にあり補間処理により生成される補間フレーム２２とが示されている。また、時間軸上に示されるαは前フレーム２１から補間フレーム２２までの時間差、時間軸上に示されるβは補間フレーム２２から前フレーム２１までの時間差を示している。ここで、本方法においては、α、βはどのように設定しても構わない。

ここで、本方法による補間フレーム２２の生成方法においては、例えば補間フレーム２２上の画素Ｐ１の画素値を、フレーム内で画素Ｐ１と同一空間画素位置にある前フレーム２１上の画素Ｐa１にある画素値とする。補間フレーム２２内の画素を、同様に、前フレーム２１上の対応する位置に配置される画素の画素値とすることにより、補間フレーム２２を前フレーム２１と同じ画像として生成する。本方法の特徴としては、動きベクトル探索や線形補間処理を必要としないため、また計算量が最も小さいという点が上げられる。また、前フレームと比較して画質の劣化がないという効果もある。しかし、本方法においては入力画像によっては、本来動き続けて表示されるべき映像が動いたりとまったりして見える、いわゆるモーションジャダーと呼ばれる画質劣化が生じる可能性がある。

尚、図２(a)の方法において、複数の補間フレームを生成する場合も、上記と同様に、各補間フレーム上の画素値を、同一空間画素位置にある前フレーム上の画素値を用いて生成すればよい。

次に、図２(b)を用いて、時間的に前フレームと時間的に後のフレームとの線形補間を行う補間処理方法を説明する。

本方法による補間フレーム２２の生成方法においては、例えば、補間フレーム２２上の画素Ｐ２の画素値を、フレーム内で画素Ｐ１と同一空間画素位置にある前フレーム２１上の画素Ｐa２と、フレーム内で画素Ｐ１と同一空間画素位置にある後フレーム２３上の画素Ｐb２とを用いて線形補間により算出する。

具体的には、例えば、下記の数式１を用いて算出すればよい。

本方法の特徴としては、動きベクトル探索を必要としないため、動きベクトル探索を用いる方法よりも、計算量が最も小さいという点が上げられる。また、図２(a)にて説明した時間的に前のフレームを繰り返す補間処理方法と比べ、モーションジャダーは低減され、画質が向上するという効果がある。

尚、図２(ｂ)の方法において、複数の補間フレームを生成する場合も、上記と同様に各補間フレーム上の画素の画素値を、同一空間画素位置にある前フレーム上の画素値と、同一空間画素位置にある後フレーム上の画素値とを用いて生成すればよい。

次に、図２(c)を用いて、動きベクトルを用いた補間処理方法を説明する。

本方法による補間フレーム２２の生成方法においては、例えば、補間フレーム２２上の画素Ｐ３の画素値を算出する場合は、例えば、映像補間部２が、図１の動きベクトル探索部４から取得する動きベクトルを用いる。この場合に用いるベクトルは、例えば、動きベクトル探索部４が探索した動きベクトルのうち、補間フレーム２２よりも時間的に前にある前フレーム２１を始点とし、補間フレーム２２よりも時間的に後ろにある後フレーム２３を終点とし、当該画素Ｐ３を通過する動きベクトルである。図２(c)においては当該動きベクトルを動きベクトル２４として示す。

ここで、本方法による補間処理においては、補間フレーム２２上の画素Ｐ３の画素値を、例えば、動きベクトル２４の始点である画素Ｐa３の画素値と、動きベクトル２４の終点である画素Ｐb３の画素値とを用いて算出する。例えば、画素Ｐa３の画素値をそのまま画素Ｐ３の画素値としてもよい。また、数式１における「Ｐ２」を「Ｐ３」に、「Ｐa２」を「Ｐa３」に、「Ｐb２」を「Ｐb３」に読み替えて、画素Ｐ３の画素値を算出してもよい。

本方法の特徴としては、動きベクトル探索を必要するため、図２(a)の方法、図２(b)の方法よりも多くの計算量が必要となるが、動きベクトルを用いているため、フレーム間の画像の動きに応じた補間処理が可能となるという点が挙げられる。この場合、図２(b)の方法よりも動いている物体がボケなどが改善され、動画画質が向上するという効果がある。また、モーションジャダーも低減できる。

次に、動きベクトル探索部４において動きベクトルの探索ミスが発生したときに、図２(c)の方法を用いた場合を説明する。図２(c)の動きベクトル２５は、動きベクトル探索部４の動きベクトルの探索ミスによって生じた誤った動きベクトルを示している。ここで、補間フレーム２３の生成において、画素Ｐ３’の画素値を決定する際に、当該誤った動きベクトル２５が用いられる。しかし、補間フレーム２３の時点の画素Ｐ３’の空間画素位置において、画素Ｐa３の画素値が通過しているわけではない。よって、画素Ｐ３’の画素値を動きベクトル２５の始点であるＰa３を用いて算出しても、動きベクトル２５の始点であるＰa３との画素値と動きベクトル２５の終点であるＰｂ３’との画素値とを用いて算出しても、画素Ｐ３’の画素値は、前フレーム２１か後フレーム２３への画像の動きに応じた画素値にはならない。

よって、このような動きベクトルの探索ミスが多く発生すると、補間フレームの画質は低下する。

本実施例に係る映像補間部２は、例えば、図２(a)、図２(b)、図２(c)の補間処理方法を選択的に切替えて行うことにより、それぞれの高画質化の利点及び、計算量低減の利点を好適に両立することを可能とする。

次に、図３を用いて、本実施例に係る制御部７が、映像補間部２の補間処理の方法を切替るために用いる判定基準情報の一例について説明する。

図３は、判定基準情報３０を示している。判定基準情報３０は例えば、図１の記憶部８などに格納され、制御部７が判定基準情報３０に含まれる必要な情報を取得すればよい。

なお、図３に示す判定基準情報３０は、一例であり、図３に示す内容以外にも、既に説明した判定基準情報の内容を保持しても良い。

図３では、説明のため、判定基準情報３０に各情報がマトリックス状に示されている。そのうち、説明のため、行３１には、各列のデータの項目名が示されている。行３２、行３３、行３４、行３５、行３６、行３７等が、格納されているデータである。

例えば、行３２に可能されるデータはデータ名が「閾値１」であり、データの種類は、「領域Ａ内のベクトル占有率」であり、データの内容は「３０％」である。当該データは、例えば動きベクトルの数を用いた閾値のデータである。当該データを用いた判定処理については後述する。

また、例えば、行３３に格納されるデータはデータ名が「制限期間１」であり、データの種類は、「切替制限期間」であり、データの内容は「１sec」である。当該データは、例えば補間処理の切替処理を所定の期間だけ制限するための制限期間のデータである。当該データを用いた判定処理については後述する。

また、例えば、行３４に格納されるデータはデータ名が「判定期間１」であり、データの種類は、「判定期間」であり、データの内容は「０.３sec」である。当該データは、例えば補間処理の切替処理の判定を行うために用いる所定の期間のデータである。当該データを用いた判定処理については後述する。

また、例えば、行３５に格納されるデータはデータ名が「閾値２」であり、データの種類は、「領域Ａ内のベクトル占有率」であり、データの内容は「２０％」である。当該データは、「閾値１」と同様の閾値のデータである。当該データを用いた判定処理については後述する。

また、例えば、行３６に格納されるデータはデータ名が「取得信号１」であり、データの種類は、「取得信号条件」であり、データの内容は「信号Ｂが含まれる」である。当該データは、例えば補間処理の切替処理の判定基準条件であり、入力映像信号に信号Ｂが含まれる場合に切替処理を行うことを示す。当該データを用いた判定処理については後述する。

また、例えば、行３７に格納されるデータはデータ名が「閾値２」であり、データの種類は、「領域Ａ内のベクトル占有率」であり、データの内容は「１５％」である。当該データは、例えば、入力映像信号に含まれる信号の判定基準条件と、動きベクトルの数を用いた閾値のデータの条件を組み合わせたものである。当該データを用いた判定処理については後述する。

本発明の第１の実施例に係る制御部７は、以上説明した判定基準情報３０から、必要なデータを用いて、補間処理方法の切替処理の要否を判定し、映像補間部２に補間処理方法の切替信号を送信する。これにより、本発明の第１の実施例に係る映像補間部２は多様な条件で適切な補間処理の切替えを実現することができる。

次に、図４を用いて、本発明の第１の実施例に係る制御部７が、動きベクトル探索部４が取得した動きベクトルを用いて、補間処理の切替判定処理を行う方法を説明する。

図４は、本発明の第１の実施例に係る制御部７が補間処理の切替判定処理に用いる、動きベクトルのヒストグラム分布の一例である。図４に示す範囲４１及び範囲４２は、動きベクトル探索部４における動きベクトルの探索範囲を画素単位のマトリックス上にて示している。画素４０は、原点画素である。また、Ｈ１、Ｖ１はそれぞれ、探索範囲４１の中心画素から横方向、縦方向の探索範囲端の画素の画素数を示している。また、Ｈ２、Ｖ２はそれぞれ、探索範囲４２の中心画素から横方向、縦方向の探索範囲端の画素の画素数を示している。ここで、探索範囲４１および探索範囲４２の二つの探索範囲を示したのは、各探索範囲の大きさに係る以下の特徴を説明するためである。すなわち、前者の探索範囲４１は、探索範囲が広く、動きベクトルの探索ミスが発生しにくいが、その代わり動きベクトルの探索のための計算量が多くなる。また、後者の探索範囲４２は、探索範囲が狭く、計算量が小さくなるが、動きベクトルの探索ミスが発生する確率が高くなる。

また、領域４３は探索範囲４２内の外側の所定の幅を持った領域である。領域４３は本図においては、１画素の幅を持った領域であり、網掛けにて表示されている領域である。例えばこの幅は１画素でも３画素でも構わない。また、位置によって幅が異なっても構わない。探索範囲４２内の外側に近い領域であればよい。

次に、本図において各画素内に示される値について説明する。制御部７が切替判定処理に用いるベクトルは、例えば、動きベクトル探索部４が取得した動きベクトルのうち、補間フレームの全体、もしくは補間フレームの所定の領域内の画素を通過する動きベクトルである。すなわち、例えば、図２(c)において前フレーム２１上の点を始点とし、後フレーム２３上の点を終点とする動きベクトルのうち、補間フレーム２２の全体、もしくは補間フレーム２２上の所定の領域内の画素を通過するベクトルを用いる。前フレーム２１、後フレーム２３、補間フレーム２２上の所定の領域などは、設計によって適切なものを選択すればよい。以下の説明においては、説明のため、補間フレーム２２の全体を通過する動きベクトルを用いることとして統一して説明する。補間フレーム２２上の所定の領域内の画素を通過するベクトルを用いるときは、以下の説明における、「補間フレーム２２の全体」との記載を「補間フレーム２２上の所定の領域内の画素」と読み替えればよい。

ここで、図４(a)には、補間フレーム２２の全体を通過する動きベクトルのそれぞれの始点(実際は当該動きベクトルの始点は前フレーム２１上にある)を図４の探索範囲上の原点画素４０として配置したときに、各画素位置を終点の位置とする動きベクトルの個数を、補間フレーム２２の全体を通過する動きベクトル数で除算した値を％表示したヒストグラム分布が示される。

当該ヒストグラム分布の算出処理は、例えば、動きベクトル探索部４が探索して記憶部８が記憶している動きベクトルを用いて、図２のヒストグラム算出部６が算出すればよい。

図４(a)に示すヒストグラム分布は、例えば、動きの少ない映像が入力映像信号としてフレームレート変換装置に入力された場合を示している。すなわち、動きベクトルのヒストグラム分布は、原点画素４０の近くのみに分布し、探索範囲４１にも、探索範囲４２に対しでも十分包括されうる範囲に分布している。この場合、動きベクトル探索部４が探索範囲４１、探索範囲４２のいずれの探索範囲を用いて動きベクトル探索を行っても、同様の結果を得ることができる。また、動きベクトルの探索ミスは発生しない。

次に、入力映像信号として、動きの多い映像を入力し、動きベクトル探索部４が探索範囲４１を用いて動き探索を行った場合の一の補間フレームにおける動きベクトルのヒストグラムを図４(b)に示す。この場合、当該ヒストグラムは、図４(b)に示すように原点画素４０から離れて分布する。図４(b)の例では、入力映像信号の映像は右後方に動く映像であることがわかる。このとき、図４(b)のヒストグラム分布は、探索範囲４１の範囲内であるが、一部の分布は探索範囲４２の範囲外に分布している。よって、例えば当該入力映像信号に対し探索範囲４２を用いて動きベクトル探索を行った場合は、探索範囲４２の範囲外の分布に属する動きベクトルに関しては動きベクトルの探索ミスが発生することになる。この場合を図４(c)に示す。

図４(c)は、図４(b)と同じ入力映像信号を入力して、動きベクトル探索部４が探索範囲４２を用いて動き探索を行った場合の、同一の補間フレームにおける動きベクトルのヒストグラムである。ここで、図４(b)のヒストグラムと図４(c)のヒストグラムの両者を比較する。まず、図４(b)において、探索範囲４２の範囲外であった分布の動きベクトルが、探索範囲４２の範囲内に探索ミスの動きベクトルとして分布していることがわかる。このとき、動きベクトル探索部４が探索範囲４２を動きベクトル探索して取得した動きベクトルを用いて、映像補間部２が図２(c)に示す補間処理を行うと、上述の探索ミスの動きベクトルの発生分だけ補間フレームの画質が低下することとなる。

ここで、図４(b)と図４(c)の両者のヒストグラム分布と、探索範囲４１、４２の関係を比較すると、以下のことがわかる。すなわち、動きの多い映像の補間処理において、補間フレームの画質が低下を防止するためには、より動きベクトルの探索範囲を大きくして、動きベクトルの探索ミスを低減することが可能となる。しかし、探索範囲が大きくなればなるほど、動きベクトル探索に係る計算量は増大する。

よって、本実施例に係るフレームレート変換装置は、このトレードオフを解消し、計算量の低減と補間フレームの画質が低下防止を両立するために、以下のような処理を行う。すなわち、例えば、動きベクトル探索部４は探索範囲４２のような、従来よりも狭い探索範囲を動きベクトルの探索処理を行う。このとき、映像補間部２は、図２(c)に示す動きベクトルを用いた補間処理方法を用いて、より高画質な補間フレームを生成する。次に、図４(c)に示すような動きの多い映像が入力映像信号として入力された場合は、制御部７は、ヒストグラム算出部６が算出したヒストグラム情報を用いて、動きの多い映像が入力されたことを検出する。次に、制御部７は、補間処理部２の補間処理の方法を動きベクトルを用いる図２(c)の方法から、例えば、動きベクトルを用いない図２(b)の補間処理方法に切替えるための補間処理方法切替信号を、映像補間部２に送信する。当該補間処理方法切替信号を取得した映像補間部２は、補間処理方法を図２(c)の方法から図２(b)の方法た図２(a)の方法に切替える。

以上の補間処理を行うことにより、例えば、従来よりも探索範囲が狭いが、計算量の少ない探索範囲を用いて動きベクトルの探索処理を行う場合において、動きの多い映像が入力されても、動きベクトルの探索ミスによる補間フレームの画質低下の影響を防止することができる。

探索ミスによる補間フレームの画質低下と比べると、図２(c)の方法から図２(b)の方法に切替えることによる画質の低下は大きくない。よって、補間処理後の出力映像信号における画質の低下を防止することができる。

以上説明した本実施例に係るフレームレート変換装置における判定処理において、動きの多い映像が入力されたことを検出する方法を図４(a)および図４(c)を用いて、より詳しく説明する。すなわち、本実施例に係る制御部７は、図４(a)および図４(c)に示すヒストグラム分布において、領域４３に含まれる分布の総和がヒストグラム分布全体に占める比率を判定パラメータとして取り扱う。例えば、図４(a)においては、領域４３に含まれるヒストグラム分布の総和は０％であり、当該判定パラメータは０％である。次に、例えば、図４(c)においては、領域４３に含まれるヒストグラム分布の総和は９＋２６＋９＋（１×９）＝５３％であり、当該判定パラメータは５３％である。つまり、動きの多い映像が入力されて、動きベクトルの探索ミスが発生する場合は、動きベクトル探索範囲の周辺の領域に分布するヒストグラム分布が、ヒストグラム分布全体に占める割合が高くなる。 ここで、制御部７は、当該判定パラメータと、記憶部８が記憶する図３の判定基準情報３０に含まれる閾値とを比較して判定処理を行う。すなわち、図３に示す判定基準情報３０の行３２に格納されるデータ「閾値１」は、当該閾値を格納していることを表している
。行３２のデータ種類にある「領域Ａ内のベクトル占有率」とは、例えば、上述した判定パラメータである、領域４３に含まれるヒストグラム分布の全体に対する比率を意味する。ここで、行３２に格納されるデータ内容には、このベクトル占有率をパラメータとしたときの閾値が格納されており、その値は「３０％」である。

よって、制御部７は、上述した判定パラメータと、当該閾値を比較する。すなわち、当該判定パラメータが３０％より低い場合には、映像補間部２が図２(c)に示す補間処理方法を行うように制御する。例えば、図４(a)の場合では、判定パラメータが０％であり、３０％よりも低いのでこれに該当する。すなわち、当該判定パラメータが３０％以上になった場合に、補間処理切替信号を映像補間部２に送信し、映像補間部２が図２(b)または図２(c)に示す補間処理方法を行うように制御する。例えば、図４(b)の場合は、判定パラメータが５３％であり、３０％よりも高いのでこれに該当する。

次に、本実施例による切替処理の効果を説明する。図４(a)〜(c)に示したヒストグラム分布は、一の補間フレームに関する動きベクトルを用いて算出したものである。これに対し、図５に示すヒストグラム分布は、一の補間フレームだけでなく、一般的な入力映像信号から生成する多数の補間フレームに関するものである。当該ヒストグラム分布は、探索範囲４１を用いて動きベクトル探索し、ヒストグラム分布を算出して、動きベクトルの母数に対する比として示している。各値の単位は０.１％である。なお、図５に示す画素、範囲等のうち、図４と同一記号のものは、同一のものを示す。よって説明は省略する。

図５に示すように、動きの多いシーンや少ないシーンなどが混在した入力映像信号を入力した場合のヒストグラムでも、長期的な統計データでは、中心画素４０を中心とする分布となる。

ここで、図５の例では、例えば、探索範囲を探索範囲４２としたと仮定すると、探索範囲４２の外にあるヒストグラム分布は例えば数％である。これに対し、探索範囲４１の範囲内で、探索範囲４２の範囲外の面積は、例えば２倍近くある。

よって、探索範囲４１の範囲内かつ探索範囲４２の範囲外の部分における計算処理は効率が悪いこととなる。特に本実施例による補間処理方法の切替制御を行わない場合は、動きベクトルの探索ミスを発生させないために、探索範囲にマージンをもって広く設定しなければならない。よって、この場合当該計算処理はさらに効率が悪くなる。

ここで、本実施例の動きベクトル探索部４は、例えば、探索範囲４２まで動きベクトルの探索範囲を狭めて計算量を低減する。その上で、探索範囲４２の範囲外の部分に相当する動きベクトル探索ミスが多い補間フレームに関しては、上述した補間処理方法の切替処理を制御部７が行うことにより、動きベクトルを用いない補間処理方法に切替えて当該フレーム画質低下を防止する。

よって、以上説明した図４(a)〜(c)および図５の例では、計算量を約１／３としながら、画質の低下の低減を防止している。

また、動きベクトルの探索範囲は、例えば、図５のような統計的に算出したヒストグラムを用いて、設定すればよく、探索範囲４２には限られない。他の処理等との兼ね合いで設定すればよい。

また、図４(a)〜(c)および図５に示した領域４３は必ずしも画素単位の領域である必要は無い。例えば、領域４３の換わりに、所定の方向を有する所定の動き量のベクトルの条件として設定して、記憶部８が保持してもよい。

また、図４(a)〜(c)および図５に示した、各探索範囲、領域、動きベクトルのヒストグラム分布等は、説明のための一例であって、いずれも必要に応じて設定すればよい。

また、図４(a)〜(c)および図５に示した動きベクトルのヒストグラム分布は、図２(c)の補間フレーム２２の全体もしくは、所定の領域を通過するベクトルとした。しかし、必要に応じて動きベクトルの始点が、前フレーム２１の所定の領域内にあるものなどの限定を加えても構わない。例えば、補間処理に用いる動きベクトルから算出したヒストグラムであれば、いずれのヒストグラム分布もでよい。

また、図４(c)における判定パラメータおよび図３の判定基準情報３０の閾値１は、一の補間フレームにおける領域４３における動きベクトルのヒストグラム分布の占有率を用いて判定した。このとき、例えば、その判定パラメータおよび閾値を複数の補間フレーム間における領域４３における動きベクトルのヒストグラム分布の占有率の差分としてもよい。例えば、補間フレーム間での当該占有率の差分のその判定パラメータとしてもよい。この場合は、フレーム間での画像の動きの量の増減を基準とすることができる。これを図４(a)の補間フレームの次の補間フレームが図４(c)であったと考えた場合、両者の判定パラメータの差分は、５３％−０％＝５３％となる。ここで、当該差分に対する閾値も図３の判定基準情報３０に含まれる閾値１と同じく３０％であったとすると、５３％≧０％である。よって、上述の当該占有率の絶対値を用いたパラメータの場合と同じく、図４(c)の補間フレームにおいて補間処理方法は切替わることとなる。

以上説明した、動きベクトルのヒストグラム分布を用いた補間処理の切替判定処理を用いれば、動きベクトルの探索範囲を小さくして計算処理量を低減することと、動きベクトルの探索ミスによる画質の低下の防止を両立することが可能である。

よって、本発明の第１の実施例によれば、映像の画質の低下を抑制しつつ、フレームレート変換処理における計算処理量を低減することができる。

次に、本発明の第２の実施例について図面を参照して説明する
第２の実施例に係るフレームレート変換装置は、第１の実施例に係るフレームレート変換装置において、制御部７の切替判定処理に係る切替制限期間もしくは判定処理に所定の期間を設定するものである。または、第１の実施例に係るフレームレート変換装置において、制御部７の判定処理にヒステリシスを持たせるものである。

図６を用いて当該判定処理の一例を説明する。図６には３つのグラフが示されている。上段に示された図は、第１の実施例で説明した判定パラメータの値の時間的な推移６１を示している。第１の実施例で説明したとおり、この値が大きいほど、動きの多い映像の補間処理を行うこととなる。中段および下段に示された図は、判定パラメータの推移６１と、同時間軸における、フレームレート変換装置の補間処理方法を示した推移６２、６３が示されている。

ここで図６において、例えば、判定パラメータの推移６１は、ヒストグラム算出部６が生成したヒストグラム分布から制御部７が算出する判定パラメータを示したものである。 また、補間処理方法の推移６２、６３は、制御部７が映像補間部２に対して行う切替処理の制御により求められる。

補間処理方法の推移６２は、制御部７が当該切替えの所定の制限期間を設けない場合を示している。当該切替処理は、原則として判定パラメータ値と図示される閾値１とを比較して行われる。この閾値１は、実施例１における「閾値１」と同様のものである。例えば、制御部７は、判定パラメータ値が閾値１よりも小さいときは、原則として補間処理方法に動きベクトルを使用した補間処理方法を選択する。また例えば、制御部７は、判定パラメータ値が閾値１よりも小さいときは、原則として補間処理方法に動きベクトルを使用した補間処理方法を選択する。また例えば、制御部７は、判定パラメータ値が閾値１よりも大きいときは、原則として補間処理方法に動きベクトルを使用しない補間処理方法を選択する。

補間処理方法の推移６３は、制御部７が当該切替えの所定の制限期間を設ける場合を示している。この場合、補間処理方法の推移６２の原則的な切替制御に加えて、例えば、制御部７は、例外として、当該切替えの所定の制限期間を設ける。もしくは、制御部７は、例外として、当該切替判定のための所定の判定期間を設ける。

以下に、制御部７が当該切替えの所定の制限期間を設けない場合と設ける場合とを、それぞれ説明する。

まず、制御部７が当該切替えの所定の制限期間を設ない場合について図６の判定パラメータの推移６１と、補間処理方法の推移６２を用いて時系列に説明する。まず、時刻ｔ０から時刻ｔ１までは、判定パラメータ値が閾値１よりも小さい。よって、制御部７は、補間処理方法に動きベクトルを使用した補間処理方法を選択する。次に、時刻ｔ１において、判定パラメータ値が閾値１を超える。よって、制御部７は、補間処理方法を動きベクトルを使用しない補間処理方法を選択し、映像補間部２に補間処理切替信号を送信する。次に、時刻ｔ２において、判定パラメータ値が閾値１以下となる。よって、制御部７は、補間処理方法を動きベクトルを使用する補間処理方法を選択し、映像補間部２に補間処理切替信号を送信する。次に、時刻ｔ３において、判定パラメータ値が閾値１を超える。よって、制御部７は、補間処理方法を動きベクトルを使用しない補間処理方法を選択し、映像補間部２に補間処理切替信号を送信する。さらに、次に、時刻ｔ４において、判定パラメータ値が閾値１以下となる。よって、制御部７は、補間処理方法を動きベクトルを使用する補間処理方法を選択し、映像補間部２に補間処理切替信号を送信する。以降、判定パラメータ値が閾値１をまたいで変化することが無いので、補間処理方法の切替えは発生しない。

ここで、図６の補間処理方法の推移６２では、特に制御部７は切替制御について制限期間を設ない。そのため、例えば、時刻ｔ２から時刻ｔ３のような短い期間でも補間処理方法の切替処理が発生してしまう場合がある。短時間に補間処理方法の切替処理が頻繁に発生すると、フレームレート変換処理後の出力映像に不自然な動きがあるとユーザに認識される場合がある。

よってこの現象を改善するために、制御部７が当該切替えの所定の制限期間を設ける場合について図６の判定パラメータの推移６１と、補間処理方法の推移６３を用いて時系列に説明する。まず、時刻ｔ０から時刻ｔ１までは、判定パラメータ値が閾値１よりも小さい。よって、制御部７は、補間処理方法に動きベクトルを使用した補間処理方法を選択する。次に、時刻ｔ１において、判定パラメータ値が閾値１を超える。よって、制御部７は、補間処理方法を動きベクトルを使用しない補間処理方法を選択し、映像補間部２に補間処理切替信号を送信する。ここで、制御部７は、補間処理切替信号を送信した時刻ｔ１より、切替制限期間６４が経過するまでは、次の補間処理切替信号の送信を制限する。当該切替制限期間６４は、例えば、制御部７が記憶部８に記憶される判定基準情報３０から取得しておく。例えば、図３の判定基準情報３０における行３３の制限期間１の「１sec」を用いれば、補間処理方法の切替えの発生後１秒間については、映像補間部２の補間処理方法の切替えは行わない。よってこの場合、図６においては時刻ｔ２から時刻ｔ３まで、および時刻ｔ４から時刻ｔ５までは、いずれも判定パラメータ値が閾値１よりも小さい。しかし両期間とも、時刻ｔ１からの切替制限期間６４に含まれるため、両期間内においては、補間処理方法の切替えは行われない。そして、切替制限期間６４が終了する時刻ｔ５において、判定パラメータ値が閾値１よりも小さいため、制御部７は、補間処理方法を動きベクトルを使用する補間処理方法を選択し、映像補間部２に補間処理切替信号を送信する。

以上のように、補間処理方法の切替判定処理において切替制限期間を設けることにより、所定の期間において補間処理方法の切替えを制限することができる。これにより、例えば、時刻ｔ２から時刻ｔ３までのように、判定パラメータ値が短い時間に閾値１を複数回跨ぐ場合などでも、補間処理方法の切替処理が短時間において頻繁に発生することを防止できる。これにより、フレームレート変換処理後の出力映像を自然な動きの映像とすることが可能となる。

次に、上述した切替制限期間６４の替わりに、判定期間６５を用いる場合について説明する。上述した切替制限期間６４は、補間処理方法の切替処理が発生してから所定の期間については、次の補間処理方法の切替処理の発生を制限する期間である。これに対し、判定期間６５は、判定基準情報３０に格納される判定基準を満たした時刻には、補間処理方法の切替処理を行わない。判定期間６５は、当該時刻から当該判定基準を満たした状態が所定の期間連続して続いた場合に、補間処理方法の切替処理を行うための期間である。

判定期間６５の適用例を、図６の判定パラメータの推移６１と、補間処理方法の推移６３を用いて、時刻ｔ４からの処理と、時刻ｔ４からの処理を比較して説明する。また、説明のため、補間処理方法の推移６３についての切替制限期間６４は無いものとして説明する。図６では、判定期間６５を用いた補間処理方法の切替処理においても、補間処理方法の推移６３の結果となるものとする。

まず、時刻ｔ４からの処理について説明する。時刻ｔ４において、判定パラメータ値は閾値１よりも小さくなる。しかし、この時点では、制御部７では、補間処理切替信号を送信しない。次に、判定期間６５を経過する時刻ｔ５において、制御部７は以下の判定を行う。すなわち、判定期間６５の間、判定パラメータ値が判定基準を満たした状態であったかを判定する。すなわち時刻ｔ４から時刻ｔ５まで、判定パラメータ値が閾値１を下回った状態であったかを判定する。図６においては、当該基準を満たしているので、時刻ｔ５において、制御部７は、補間処理方法を動きベクトルを使用する補間処理方法を選択し、映像補間部２に補間処理切替信号を送信する。

次に、時刻ｔ２からの処理について同様に説明する。ここで、時刻ｔ２から時刻ｔ３までの期間は、判定期間６５よりも短いものとする。まず、時刻ｔ２において、判定パラメータ値は閾値１よりも小さくなる。この時点では、制御部７では、補間処理切替信号を送信しない。次に、時刻ｔ３において、判定パラメータ値は閾値１よりも大きくなる。このとき、映像補間部２の補間処理方法は既に、動きベクトルを使用しない補間処理方法であるので、制御部７では、補間処理切替信号を送信しない。ここで、時刻ｔ２から時刻ｔ３までの期間は判定期間６５よりも短い。よって、時刻ｔ２から判定期間６５を経過する前に、時刻ｔ３判定パラメータ値が判定基準を満たした状態が終了してしまう。そのため、補間処理方法の切替処理は行われなかったということになる。

よって、判定期間６５を用いた場合も、切替制限期間６４を用いた場合と同様に、例えば、時刻ｔ２から時刻ｔ３までのように、判定パラメータ値が短い時間に閾値１を複数回跨ぐ場合などでも、補間処理方法の切替処理が短時間において頻繁に発生することを防止できる。これにより、フレームレート変換処理後の出力映像を自然な動きの映像とすることが可能となる。

なお、判定期間６５も、切替制限期間６４と同様に、例えば、制御部７が記憶部８に記憶される判定基準情報３０から取得すればよい。例えば、図３の判定基準情報３０の行３４の「判定期間１」の「０．３秒」などの値を用いればよい。

また、上述の切替制限期間６４または判定期間６５を用いる方法以外にも、判定パラメータ値が増加している場合と、判定パラメータ値が減少している場合とで、切替判定処理に用いる閾値を変更することで同様の効果を得ることができる。

すなわち、図６に示すように、閾値１以外に閾値２を用いる。例えば、当該閾値２は図３に示す判定基準情報３０の行３５に格納されるものを使用すればよい。

ここで、制御部７は、例えば、判定パラメータ値が増加している場合は、閾値１を切替判定処理に用いる。また、制御部７は、例えば、判定パラメータ値が減少している場合は、閾値２を切替判定処理に用いる。すなわち、制御部７の切替判定処理において、判定パラメータ値に関するヒステリシスをもたせることとなる。

上記のように複数の閾値を用いた例を、図６の判定パラメータの推移６１と、補間処理方法の推移６３を用いて説明する。また、説明のため、補間処理方法の推移６３についての切替制限期間６４および判定期間６５は無いものとして説明する。複数の閾値を用いた場合も、図６の補間処理方法の推移６３の結果となるものとする。

まず、時刻ｔ０から時刻ｔ１までの期間においては、判定パラメータ値が増加している。よって、制御部７は閾値２では切替処理を行わない。次に、判定パラメータ値が閾値１に達する時刻ｔ１において、制御部７は、補間処理方法を動きベクトルを使用しない補間処理方法を選択し、映像補間部２に補間処理切替信号を送信する。また、時刻ｔ２においては、判定パラメータ値が減少している。よって、判定パラメータ値が閾値１に達しているが、閾値２に達していないので、制御部７切替処理を行わない。また、時刻ｔ２においては、判定パラメータ値が増加している。よって、制御部７が用いる閾値は閾値１である。しかし、補間処理方法は既に動きベクトルを使用しない補間処理方法であるので、制御部７切替処理を行わない。次に時刻ｔ４以降は、判定パラメータ値は減少しているため、制御部７が用いる閾値は閾値２である。よって、制御部７は時刻ｔ４では切替処理を行わない。次に、時刻ｔ５において、制御部７は補間処理方法を動きベクトルを使用する補間処理方法を選択し、映像補間部２に補間処理切替信号を送信する。

以上説明したように、複数の閾値を用いた場合も、切替制限期間６４や判定期間６５を用いた場合と同様な効果を有する。すなわち、例えば、時刻ｔ２から時刻ｔ３までのように、判定パラメータ値が短い時間に閾値１を複数回跨ぐ場合などでも、補間処理方法の切替処理が短時間において頻繁に発生することを防止できる。これにより、フレームレート変換処理後の出力映像を自然な動きの映像とすることが可能となる。

以上説明した、いずれの補間処理の切替判定処理を用いても、補間処理方法の切替処理が短時間において頻繁に発生することを防止でき、フレームレート変換処理後の出力映像を自然な動きの映像とすることが可能となる。

よって、本発明の第２の実施例によれば、映像の画質の低下を抑制しつつ、フレームレート変換処理における計算処理量を低減し、また、フレームレート変換処理の映像が不自然な動きになることを防ぐことができる。

次に、本発明の第３の実施例について図面を参照して説明する
第３の実施例に係るフレームレート変換装置は、第１の実施例もしくは第２の実施例のフレームレート変換装置において、制御部７の切替判定処理にて、その他の判定基準情報を用いるものである。

例えば、第３の実施例において制御部７は、図３に示す判定基準情報３０に格納される行３６の判定条件を用いる。判定基準情報３０の行３６に格納されるデータは、データ名が「取得信号１」であり、データの種類は、「取得信号条件」であり、データの内容は「信号Ｂが含まれる」である。

制御部７は、行３６に格納されるデータを判定基準として用いる。この場合、例えば、制御部７は図２の入力部１に入力される入力信号に、「信号Ｂ」が含まれるか否かを判定する。入力信号に「信号Ｂ」が含まれない場合は、制御部７は、映像補間部２の補間処理の方法が動きベクトルを使用する補間処理方法となるように制御する。次に、入力信号に「信号Ｂ」が含まれる場合は、制御部７は、映像補間部２の補間処理の方法が動きベクトルを使用しない補間処理方法となるように、映像補間部２に補間処理切替信号を送信する。

以上のような判定基準を用いることにより、例えば、入力映像信号に含まれるシーンの切替わりを示す信号などを検知して、補間処理方法を変更することが可能となる。例えば、シーンの切替わりなどで、動きベクトルを使用した補間処理方法を用いると適切でない補間処理が行われる場合などに適用できる。

当該取得信号条件で判定基準として用いる信号は、例えば、本実施例の判定処理を行うための特別な信号を入力映像信号に含めても良い。それ以外にも、既存の入力映像信号に含まれる信号を判定基準としてもよい。

また、例えば、図３の判定基準情報３０のうち、行３７に格納されるデータのような入力映像信号に含まれる信号の判定基準条件と、動きベクトルの数を用いた閾値のデータの条件を組み合わせたものを判定基準として用いても良い。この場合は、補間処理方法の切替処理の判定基準となる閾値を入力映像信号に含まれる信号に応じて可変することが可能となる。

また、例えば、制御部７は、入力映像信号に含まれる信号に基づいて、判定基準情報３０に格納される各閾値を変更しても良い。この場合は、判定基準情報３０に予め複数の閾値を用意しなくともよい。また、入力映像信号に含まれる信号に対して、さらに細かな対応関係をもつ閾値を判定基準とすることができる。例えば、閾値を入力映像信号に含まれる信号に含まれる数値データを変数とする関数とすればよい。

よって、以上説明した本発明の第３の実施例によれば、映像の画質の低下を抑制しつつ、フレームレート変換処理における計算処理量を低減し、また、フレームレート変換処理適切でない補間処理が行われることを防止することが可能となる。

次に、本発明の第４の実施例について図面を参照して説明する
第４の実施例に係るフレームレート変換装置は、第１乃至第３の実施例に係るフレームレート変換装置において、フレーム内の複数の領域において独立した補間処理方法を行うものである。

図７に、第４の実施例に係るフレームレート変換装置の出力映像の一例を示す。

第４の実施例は、例えば、図７に示されるように一つの映像フレーム７０内の２つの映像領域Ｃ７１、映像領域Ｄ７２において、それぞれ別の映像を表示する場合などに用いる。第３の実施例に係るフレームレート変換装置の制御部７においては、映像領域Ｃ７１と映像領域Ｄ７２で、それぞれ判定基準情報を用いた判定処理を行う。また、その判定処理の結果に応じて、それぞれの領域ごとの補間処理方法の切替信号を映像補間部２に送信する。このとき、映像補間部２は、それぞれの領域ごとの補間処理方法の切替えを行う。

このとき、判定基準情報は、映像領域Ｃ７１における補間処理方法の切替判定処理と、映像領域Ｄ７２における補間処理方法の切替判定処理とにおいて共通の判定基準情報を使用しても構わない。また、各領域に対応した判定基準情報を、制御部７が生成して記憶部８に格納し、これを各領域の切替判定処理においてそれぞれ用いても構わない。

本実施例では、映像フレーム７０内の２つの映像領域Ｃ７１、映像領域Ｄ７２においてそれぞれ独立した補間処理を行う。このようにすれば、例えば、映像領域Ｃ７１には比較的動きの少ない映像が表示され、映像領域Ｄ７２には動きベクトル探索範囲を越えるような動きの激しい映像があった表示される場合においても、例えば、映像領域Ｃ７１は動きベクトルを用いた補間処理方法を用い、映像領域Ｄ７２は動きベクトルを用いない線形補間による補間処理方法を行えばよい。このように領域ごとに補間処理を異ならせて、フレームレート変換を行うことができる。

以上の説明は、映像フレーム内の２つの領域を例に挙げて説明したが、本実施例は、特に２つの領域に限定されるものでは無く、２つ以上の複数の領域に同様に適用できる。

以上説明した、同一フレーム内において画像の動きの異なる複数の領域の領域の位置の情報は、予め設定して記憶部８に格納しておいてもよい。また、動きベクトル探索部４が算出し、記憶部８に格納した動きベクトルを、制御部７が統計的に評価して各領域の範囲を決定しても良い。

よって、以上説明した本発明の第４の実施例によれば、同一フレーム内において画像の動きの異なる複数の領域を含む入力映像に対しても、映像の画質の低下を抑制しつつ、フレームレート変換処理における計算処理量を低減することが可能となる。

次に、本発明の第５の実施例について図面を参照して説明する
第５の実施例に係る表示装置は、第１乃至第４の実施例に係るフレームレート変換装置
を、フレームレート変換部として備える表示装置である。

図８は、第５の実施例に係る表示装置８００の一例を示したブロック図である。表示装置８００は、例えば、アンテナ８１、チューナー部８２、信号処理部８３、表示部８４、フレームレート変換部８５、入力部８６、および制御部８１０を備える。

なお、以下に記載される表示装置８００の各構成要素の動作は、各構成要素の自律的な動作でもよく、各構成要素に接続する制御部８１０からの制御によるものでもよく、制御部８１０がソフトウェアと協働して実現してもよい。

ここで、アンテナ８１は、外部から電波を受信し、受信した電波をチューナー部８２に送る。チューナー部８２は、アンテナ８１から受けた電波を映像信号に変換し、変換した映像信号を信号処理部８３に送る。信号処理部８３は、チューナー部８２から取得した映像信号の信号処理を行い、信号処理後の映像信号を表示部８４に送る。表示部８４は信号処理部８３から取得した映像信号を表示する。

ここで、アンテナ８１が受信する電波は、例えば、ＴＶ放送波などである。

ここで、制御部８１０は、信号処理部８３またはフレームレート変換部８５に制御信号を送ることにより、信号処理部８３およびフレームレート変換部８５を、チューナー部８２から受けた映像信号に対してフレームレート変換処理を行って、表示部８４に出力するように制御することができる。

このとき、制御部８１０からの制御信号を取得した信号処理部８３は、チューナー部８２から受けた映像信号もしくは、信号処理部８３が信号処理を行った映像信号をフレームレート変換部８５に送信する。次に、信号処理部８３から映像信号を取得したフレームレート変換部８５は、例えば、第１乃至第４の実施例に係るフレームレート変換装置と同様のフレームレート変換処理、もしくはこれら処理を組み合わせたフレームレート変換処理を行う。次に、フレームレート変換部８５は、フレームレート変換処理後の映像信号を信号処理部８３に送信する。次に、信号処理部８３がフレームレート変換部８５から取得した映像信号または、当該映像信号に信号処理を行った映像信号を表示部８４に出力する。表示部８４は信号処理部８３から取得した映像信号を表示する。

このとき、フレームレート変換部８５が行うフレームレート変換処理においては、第１乃至第４の実施例と同様の補間処理の切替判定処理が行われる。ここで、当該切替判定処理に用いる判定基準情報は、予めフレームレート変換部８５が保持する記憶部に格納しておいてもよい。また、制御部８１０が当該判定基準情報を制御して設定、変更を行ってよい。

また、図８においてフレームレート変換部８５は信号処理部８３と異なるブロックとして図示しているが、両者が同一回路上に組み込まれていてもよい。

また、以上の説明においては、図８の表示装置８００の映像信号の取得経路は、アンテナ８１で受信する電波として説明した。しかし、表示装置８００は、アンテナ８１とチューナー部８２を用いて映像信号を取得する方法以外にも、例えば、図示する入力部８６から映像信号を取得してもよい。このとき、入力部８６は、例えば、ネットワークと接続するＬＡＮ用コネクタを備えた入力部でもよく、ＵＳＢコネクタを備えた入力部でもよい。さらに、映像信号や音声信号をデジタル入力する端子を備えた入力部でもよく、コンポジット端子やコンポーネント端子などのアナログ入力端子を備えた入力部でもよい。いずれの場合も信号処理部８３が映像を取得することができる。

また、入力部８６が上記の各端子を介してインターネット等のネットワークに接続するときは、例えば、インターネット放送などの映像信号を取得してもよい。

また、表示装置８００は、例えば、プラズマテレビでも、液晶テレビでも、ブラウン管でも、プロジェクタでもよく、また他のデバイスを用いた装置でも良い。同様に、表示部８４は、例えばプラズマパネルモジュールでも、ＬＣＤモジュールでも、プロジェクタ用デバイスでもよい。

よって、本実施例に係る表示装置８００においては、取得した映像信号に対して、第１乃至第４の実施例に係るフレームレート変換処理を行い、これを表示する表示装置を実現することができる。

よって、本発明の第５の実施例によれば、、映像の画質の低下を抑制しつつ、フレームレート変換処理における計算処理量を低減する表示装置を実現することが可能となる。

次に、本発明の第６の実施例について図面を参照して説明する
第６の実施例に係る表示装置は、第１乃至第４の実施例に係るフレームレート変換装置
を、フレームレート変換部として備える記録装置である。

図９は、第６の実施例に係る記録装置９００の一例を示したブロック図である。記録装置９００は、例えば、アンテナ８１、チューナー部８２、信号処理部８３、フレームレート変換部８５、入力部８６、出力部９１、映像記憶部９２、および制御部８１０と備える。すなわち、映像記録装置９００は第５の実施例に係る表示装置８００に対して、例えば、表示部８４の替わりに、出力部９１と映像記憶部９２を備えたものである。よって、アンテナ８１、チューナー部８２、信号処理部８３、フレームレート変換部８５、入力部８６についての、機能・動作等で第５の実施例における説明とほぼ同様である。異なる点のみ以下に説明する。

なお、以下に記載される記録装置９００の各構成要素の動作は、各構成要素の自律的な動作でもよく、各構成要素に接続する制御部８１０からの制御によるものでもよく、制御部８１０がソフトウェアと協働して実現してもよい。

出力部９１は、信号処理部８３から取得する映像信号を、例えば、出力部９１に接続される他の表示装置などに出力する。ここで出力部９１は、例えば、映像信号をデジタル出力する端子を備えたものでもよく、コンポジット端子やコンポーネント端子などのアナログ出力する端子を備えたものでもよい。またネットワークと接続するＬＡＮ用コネクタを備えたものでもよく、ＵＳＢコネクタを備えたものでもよい。さらに、ワイヤレスでデータを転送する送信部でも良い。

映像記憶部９２は、信号処理部８３から取得する映像信号を記録する。また、記録している映像信号を信号処理部８３に出力する。ここで映像記憶部９２は、例えば、ハードディスクドライブでも、フラッシュメモリでもよく、リムーバブルメディアディスクドライブでもよい。またモバイルメディアに信号を記録する装置でもよい。

ここで、信号処理部８３は、第５の実施例の説明における機能・動作に加えて、映像記憶部９２に対する映像の入出力動作を行う。このとき、信号処理部８３が、映像記憶部９２に入力する映像信号は、例えば、フレームレート変換部８５においてフレームレート変換処理を行った後の映像信号でもよい。また、フレームレート変換処理を行っていない映像信号をでもよい。また、信号処理部８３は、映像記憶部９２から取得した映像信号をフレームレート変換部８５においてフレームレート変換処理を行った後に出力部９１に出力してもよい。また、フレームレート変換処理を行っていない映像信号を出力部９１に出力してもよい。

よって、記録装置９００においては、アンテナ８１もしくは入力部８６から取得した映像信号に対して、フレームレート変換部８５において好適なフレームレート変換処理を行い、フレームレート変換処理後の映像信号を映像記憶部９２に記憶することができる。

また、記録装置９００においては、映像記憶部９２に記憶する映像信号に対して、フレームレート変換部８５において好適なフレームレート変換処理を行い、フレームレート変換処理後の映像信号を出力部９１から出力することができる。

また、記録装置９００は、例えば、ＨＤＤレコーダでも、ＤＶＤレコーダでも、また
他の記憶装置デバイスを用いた記録装置でも良い。

よって、本実施例に係る記録装置９００においては、取得した映像信号に対して、第１乃至第４の実施例に係るフレームレート変換処理を行い、これを記録する記録装置を実現することができる。

よって、本発明の第５の実施例によれば、、映像の画質の低下を抑制しつつ、フレームレート変換処理における計算処理量を低減する記録装置を実現することが可能となる。

以上説明した本発明の各実施例に係るフレームレート変換装置、表示装置、もしくは記録装置による入力映像もしくは出力映像の一例について図１０、図１１を用いて説明する。

図１０は、本発明の各実施例に係るフレームレート変換装置、表示装置、もしくは記録装置による入力映像もしくは出力映像の一例を示したものである。図１０には（１）動きベクトルを使用した補間処理方法の場合と、（２）動きベクトルを使用しない補間処理方法の場合の両者が示されている。また、両図とも、上段の図が前フレームの画像、中段の図が補間フレームの画像、下段の図が後フレームの画像を示している。ここで、前フレーム１００１および前フレーム１００４は図２における前フレーム２１と同様のフレームである。また、補間フレーム１００２および補間フレーム１００５は図２における補間フレーム２２と同様のフレームである。また、後フレーム１００３および後フレーム１００６は図２における後フレーム２３と同様のフレームである。また、各図とも各フレーム内の空間画素位置が同一の部分を示しているとする。各図において、例えば、記載される値は画像の画素値とする。例えば、値の記載のない部分は、画素値がゼロであるとする。

また、入力映像信号には前フレームと後フレームとが含まれるものとする。また、フレームレート変換処理後の入力映像信号には、前フレームと後フレームに加え、補間フレームが含まれるものとする。

また、図１０の（１）と図１０の（２）においては、例えば、入力映像信号は同様のものであるとする。すなわち、前フレームの画像と後フレームの画像とは同じであるとする。

ここで、前フレームの画像１００１と、前フレームの画像１００４とは、ともに、画素値Ｗの画素を文字「Ａ」の形状に配置した画像である。当該文字「Ａ」の画像の左右方向の中心位置を位置Ｅとする。

次に、後フレームの画像１００３と、後フレームの画像１００６とは、画素値Ｗの画素を文字「Ａ」の形状に配置した画像であるが、当該文字「Ａ」の画像の左右方向の中心位置は位置Ｆに変わっている。

よって、図１０において、入力映像信号に含まれる画像は、例えば、前フレームから後フレームにかけて、文字「Ａ」の画像が位置Ｅから位置Ｆまで移動する画像である。よってこのとき、例えば、図１に示される動きベクトル探索部４が動きベクトル探索を行えば、図示するような動きベクトル１００７を取得することができる。このとき、動きベクトル１００７のベクトル量はＧ、方向は右方向であるとする。

本発明の各実施例に係るフレームレート変換装置、表示装置、もしくは記録装置に、上述の入力映像信号が入力された場合の補間フレームの画像を、画像１００２および画像１００５を用いて説明する。

まず、画像１００２は、動きベクトルを使用した補間処理方法で補間フレームを生成した場合の画像である。例えば、図１の映像補間部２が図２(c)に示す方法で、補間フレームを生成した場合などである。この場合、映像補間部２は、例えば、動きベクトル探索部４が取得した動きベクトル１００７を用いて補間フレームの画像を生成する。よって、動きベクトル探索部４が動きベクトルの探索ミスを発生していなければ、画像１００２のように、文字「Ａ」の画像が位置Ｅから動きベクトル１００８の分だけ移動した画像が、補間フレームの画像となる。このとき、動きベクトル１００８は、動きベクトル１００７と同方向で、ベクトル量Ｇ以下のベクトル量Ｈを有するベクトルである。

このベクトル量Ｇとべクトル量Ｈの比は、例えば、図２(ｃ)の場合であれば以下の数式２を満たすように生成しても良い。

但し、小さいベクトル量Ｈはベクトル量Ｇ以下であればよく、必ずしも数式２を満たす必要は無い。

次に、画像１００５は、動きベクトルを使用しない補間処理方法で補間フレームを生成した場合の画像である。例えば、図１の映像補間部２が、動きベクトル探索部４が取得した動きベクトル１００７を用いずに補間フレームの画像を生成した場合である。本図においては、一例として線形補間を用いて補間フレームを生成した場合を示す。すなわち、例えば、映像補間部２が図２(b)に示す方法で補間フレームを生成した場合などである。

ここで、画像１００５に示される画像は、文字「Ａ」の形状に配置した画素の画像が複数あるものである。本図の例では、位置Ｅに画素値Ｍの画素を文字「Ａ」の形状に配置した画像があり、位置Ｆに画素値Ｎの画素を文字「Ａ」の形状に配置した画像がある。ここで画素値Ｍおよび画素値Ｎの値、例えば図２(b)に示す線形補間であれば、それぞれ数式３、数式４のように算出すればよい。

但し、画素値Ｍおよび画素値Ｎの値は、画素値Ｗ以下であればよく、必ずしも数式３、数式４を満たす必要は無い。

また、画像１００５は、文字「Ａ」の形状に配置した複数の画像がか重ならない場合を示している。このとき、両画像が重なる場合は、当該重なりが発生する画素の画素値は、例えば、Ｍ＋Ｎとすればよい。また、当該重なりが発生する画素の画素値は、例えば、ＭとＮのいずれか大きい方としても良い。

以上説明したとおり、フレームレート変換装置等に図１０に示す前フレームと後フレームの画像を含む入力映像信号を入力すれば、その出力映像もしくは出力映像信号に含まれる補間フレームの画像から、動きベクトルを使用した補間処理方法を行ったのか、動きベクトルを使用しない補間処理方法を行ったのかを判別することができる。

次に図１０にて説明した入力映像信号および出力映像もしくは出力映像信号を用いて、本発明の各実施例に係るフレームレート変換装置、表示装置、もしくは記録装置による補間処理方法の切替制御を確認する方法を図１１に示す。

図１１には４つの図が示されている。最上段の図は、図１１における切替制御を確認方法で用いる入力映像信号の動きベクトルのベクトル量Ｇの推移１１０１である。ここで、当該入力映像信号は、図１０にて説明した前フレームと後フレームの画像を含む入力映像信号である。よって、ベクトル量Ｇは、例えば、図１０における文字「Ａ」の形状がフレーム間で移動する速度である。

またベクトル量Ｇの推移１１０１の図より下には、切替制御の異なる３つの補間処理方法である、補間処理方法の推移１１０２、補間処理方法の推移１１０３、補間処理方法の推移１１０４とが記載されている。以下それぞれの補間処理方法の推移とベクトル量Ｇの推移１１０１との関係についてそれぞれ説明する。

まず、補間処理方法の推移１１０２は補間処理方法の切替制御を行わない場合である。この場合は、推移１１０１のように、入力信号中の動きベクトルのベクトル量Ｇを時刻ｔ１から矢印１１０５のように、ベクトル量Ｇ３まで大きくしても、補間処理方法の切替えは発生しない。このとき、補間処理方法の切替えは発生しないこと確認するためには、例えば、ベクトル量Ｇ３は極力大きくして確認すべきである。

次に、補間処理方法の推移１１０３は補間処理方法の切替制御を行う場合の一例である。ここで本図の場合、ベクトル量Ｇが０からＧ２までの間は、動きベクトルを使用した補間処理方法を用いている。次に、増加した時刻ｔ１の時点で、例えば出力映像に含まれる補間フレームが、例えば、図１０の（１）の補間フレーム１００２から、図１０の（２）の補間フレーム１００５に切替わったとする。この場合、補間処理方法が、動きベクトルを使用した補間処理方法から、動きベクトルを使用しない補間処理方法に切替わったこととなる。次に、ベクトル量ＧをＧ３まで大きくした後、矢印１１０６に示すように減少させていく。このとき、ベクトル量ＧがＧ２になった時刻ｔ４において、出力映像に含まれる補間フレームが、例えば、図１０の（２）の補間フレーム１００５から、図１０の（１）の補間フレーム１００２に切替わったとする。この場合、補間処理方法が、動きベクトルを使用しない補間処理方法から、動きベクトルを使用した補間処理方法に切替わったこととなる。

以上説明した、補間処理方法の推移１１０３のように補正処理方法が切替わる場合は、動きベクトルのベクトル量に係る閾値を用いて、補間処理方法の切替処理が行われていることとなる。例えば、本発明の第１の実施例を用いたフレームレート変換装置においても、同様の確認ができる。

次に、補間処理方法の推移１１０４も補間処理方法の切替制御を行う場合の一例である。ここで本図の場合、時刻ｔ０から時刻ｔ３までは、補間処理方法の推移１１０３と同様の補間処理方法の推移となる。すなわち、時刻ｔ１において、動きベクトルを使用した補間処理方法から、動きベクトルを使用しない補間処理方法に切替わっている。次に、時刻ｔ３の時点から、ベクトル量Ｇを矢印１１０６に示すように減少させていく。ここで、補間処理方法の推移１１０４は、補間処理方法の推移１１０３と異なり、ベクトル量ＧがＧ１となった時刻ｔ５において、補間処理方法の切替制御が発生している。例えば、本発明の第２の実施例に係る補間処理方法の切替制御を行えば、このような補間処理方法の推移となる。本発明の第２の実施例に係る補間処理方法の切替制御においては、上述したとおり、切替制限期間を用いた方法、判定期間を用いた方法、もしくは複数の閾値を用いた方法（ヒステリシスのある方法）などの複数の方法がある。これらの判別方法を以下の通りに説明する。

入力映像信号におけるベクトル量Ｇの推移１１０１において、時刻ｔ３からベクトル量Ｇを減少させているが、これを時刻ｔ３＋Ｔ(Ｔは所定の期間)から減少させることとし、以降の時刻を全てＴだけ遅らせたとする。すなわち、ベクトル量Ｇの推移は時刻ｔ４＋Ｔの時点でＧ２、時刻ｔ５＋Ｔの時点でＧ１、時刻ｔ６＋Ｔの時点で０と推移する。このような新たなベクトル量Ｇの推移を有する入力映像信号を入力しても、元の推移１１０１と同じく時刻ｔ５で、補間処理方法の切替制御が発生したとする。この場合は、当該補間処理方法の切替制御は、例えば、本発明の第２の実施例に係る補間処理方法の切替制御のうち、切替制限期間を用いた方法を行っていることとなる。すなわち、時刻ｔ３以降の全ての時刻において、ベクトル量Ｇと各時刻の関係が元の推移１１０１と異なっているにも関わらず、元と同じ時刻において補間処理方法の切替制御が発生している。例えば、長さがｔ４−ｔ１の切替制御期間を用いて、閾値がＧ２である場合、補間処理方法は、時刻ｔ１に動きベクトルを使用した補間処理方法から動きベクトルを使用しない補間処理方法に切替わる。次に、ｔ４−ｔ１だけの期間が経過した時刻、すなわち時刻ｔ４において既にベクトル量ＧがＧ２以下であれば、補間処理方法は、時刻ｔ４になった時点で、動きベクトルを使用した補間処理方法から動きベクトルを使用しない補間処理方法に切替わる。

つぎに、入力映像信号におけるベクトル量Ｇの推移１１０１において、同様に、ベクトル量ＧがＧ３から減少を開始する時刻を、ｔ３＋Ｔ(Ｔは所定の期間)まで遅らせ、以降の時刻を全てＴだけ遅らせたときも、ベクトル量ＧがＧ１となった時刻ｔ５＋Ｔにおいて補間処理方法の切替制御が発生する場合について説明する。

この場合には、例えば、本発明の第２の実施例に係る補間処理方法の切替制御のうち、判定期間を用いた方法か、複数の閾値を用いた方法(ヒステリシスのある方法)を行っていることとなる。両者の判別方法を以下の通りに説明する。

まず、入力映像信号におけるベクトル量Ｇの推移１１０１において、時刻ｔ５の直前において、ベクトル量Ｇの推移１１０７に示すようにベクトル量Ｇの値を固定する。このとき、ベクトル量Ｇの値はＧ１よりわずかに大きい。ここで、時刻ｔ５において補間処理方法の切替制御が発生せず、その後も発生しない場合は、当該補間処理方法の切替制御は、第２の実施例に係る複数の閾値を用いた方法(ヒステリシスのある方法)であるといえる。すなわち、この場合は、ベクトル量Ｇが増加する場合は閾値Ｇ２において、補間処理方法は、動きベクトルを使用した補間処理方法から動きベクトルを使用しない補間処理方法に切替わる。次に、ベクトル量Ｇが減少する場合は、ベクトル量Ｇが閾値Ｇ１になる時点において、補間処理方法は、動きベクトルを使用しない補間処理方法から動きベクトルを使用する補間処理方法に切替わる。

次に上述のベクトル量Ｇの推移１１０７に変更したときにおいても、時刻ｔ５において、補間処理方法の切替制御が発生した場合は、当該補間処理方法の切替制御は、第２の実施例に係る判定期間を用いた方法であるといえる。すなわち、切替制御の閾値をＧ２として、判定期間をｔ５−ｔ４とした補間処理方法の切替制御の場合、ベクトル量Ｇが減少し閾値Ｇ２となった時点ｔ４からｔ５−ｔ４経過した時点、すなわち時刻ｔ５までにおいて、ベクトル量Ｇが閾値Ｇ２以下であれば、補間処理方法は、動きベクトルを使用しない補間処理方法から動きベクトルを使用する補間処理方法に切替わる。

以上説明した、補間処理方法の推移１１０４のように補正処理方法が切替わる場合は、
動きベクトルのベクトル量に係る閾値を用いて、補間処理方法の切替処理が行われていることとなる。また、さらに上述した、切替制限期間を用いた方法、判定期間を用いた方法、もしくは複数の閾値を用いた方法（ヒステリシスのある方法）のいずれかの切替処理が行われていることとなる。例えば、本発明の第２の実施例を用いたフレームレート変換装置においても、同様の確認ができる。

以上、図１１をもちいて説明した確認方法を用いることにより、フレームレート変換装置、表示装置、もしくは記録装置において、所定の入力映像信号を入力して、その出力映像もしくは出力映像信号における補間フレームの画像を確認することにより、これらの装置に係るフレームレート変換処理における補間処理方法の切替処理が、いずれの方法を用いた切替処理であるかを確認することができる。

以上説明した本発明の各実施例に係るフレームレート変換装置、表示装置、もしくは記録装置によれば、例えば、高速で映像信号をフレームレート変換する技術を提供することが可能である。また、映像の画質の低下を防止しながら高速で動画像データを符号化するフレームレート変換技術を提供することが可能である。

なお、以上説明した各実施例のいずれを組み合わせても、本発明の一実施の形態となりうる。

以上説明した本発明の各実施例に係るフレームレート変換装置、表示装置、もしくは記録装置によれば、映像の画質の低下を抑制しつつ、フレームレート変換処理における計算処理量を低減することができる。

本発明の一実施例に係るフレームレート変換装置の一例のブロック図 本発明の一実施例に係る補間処理方法の一例の説明図 本発明の一実施例に係る補間処理方法の一例の説明図 本発明の一実施例に係る補間処理方法の一例の説明図 本発明の一実施例に係る判定基準情報の一例の説明図 本発明の一実施例に係る動きベクトルのヒストトグラムの一例の説明図 本発明の一実施例に係る動きベクトルのヒストトグラムの一例の説明図 本発明の一実施例に係る動きベクトルのヒストトグラムの一例の説明図 本発明の一実施例に係る動きベクトルのヒストトグラムの一例の説明図 本発明の一実施例に係る補間処理方法の切替判定処理の一例の説明図 本発明の一実施例に係る映像フレームの一例の説明図 本発明の一実施例に係る表示装置の一例のブロック図 本発明の一実施例に係る記録装置の一例のブロック図 本発明の一実施例に係る入出力映像の一例の説明図 本発明の一実施例に係る補間処理方法の切替制御の一例の説明図

符号の説明

１…入力部、２…映像補間部、３…出力部、４…動きベクトル探索部、６…ヒストグラム算出部、７…制御部、８…記憶部、３０…判定基準情報、４０…画素、４１…範囲、４２…範囲、４３…領域、７０…フレーム、７１…領域、７２…領域、８１…アンテナ、８２…チューナー部、８３…信号処理部、８４…表示部、８５…フレームレート変換部、８６…入力部、９１…出力部、９２…映像記憶部、１００…フレームレート変換装置、８００表示装置、８１０…制御部、９００…記録装置

Claims (20)

1. 映像信号を入力し前記映像信号に補間フレームを挿入することによって前記映像信号のフレームレートを変換するフレームレート変換装置であって、
   前記映像信号を入力する入力部と、
   前記補間フレームの生成処理を行い、前記映像信号の補間処理を行う映像補間部と、
   前記映像補間部による前記補間フレームの生成処理を制御する制御部とを備え、
   前記映像補間部は前記補間フレームの生成処理を複数種類の方法で行い、
   前記制御部は、前記複数種類の方法の切替えを制御することを特徴とするフレームレート変換装置。
2. 請求項１に記載のフレームレート変換装置であって、
   さらに前記映像信号に含まれる複数のフレーム間の動きベクトルを探索する動きベクトル探索部を備え、
   前記複数種類の方法のうち少なくとも一つの方法が、前記動きベクトル探索部が探索した動きベクトルのうち、前記補間フレームより時間的に前の第１のフレームを始点とし第２のフレームを終点とする動きベクトルを用いて、前記補間フレームにおける補間画素を生成する方法であることを特徴とするフレームレート変換装置。
3. 請求項２に記載のフレームレート変換装置であって、
   前記動きベクトル探索部が探索した動きベクトルを用いて前記補間フレームにおける補間画素を生成する方法が、前記第１のフレームに含まれる第１のブロックと、前記第２のフレームに含まれる第２のブロックとを、ブロックマッチングすることによって、前記第１のフレームを始点とし前記第２のフレームを終点とする動きベクトルを探索し、前記ブロックマッチングした第１のブロックまたは第２のブロックに含まれる一部もしくは全部の画素を用いて、前記補間フレームにおける補間画素を生成する方法であることを特徴とするフレームレート変換装置。
4. 請求項２に記載のフレームレート変換装置であって、
   前記複数種類の方法のうち、前記動きベクトルを用いた方法以外の少なくとも一つの方法が、前記動きベクトルを用いずに前記補間フレームを生成する方法であることを特徴とするフレームレート変換装置。
5. 請求項２に記載のフレームレート変換装置であって、
   前記複数種類の方法のうち、前記動きベクトルを用いた方法以外の少なくとも一つの方法が、前記第１のフレームと前記第２のフレームとの対応する画素を線形補間して、前記補間フレームの画素を生成する方法であることを特徴とするフレームレート変換装置。
6. 請求項２に記載のフレームレート変換装置であって、
   前記複数種類の方法の切替えは、前記補間フレームのフレームの所定の領域ごとに行なうことを特徴とするフレームレート変換装置。
7. 請求項２に記載のフレームレート変換装置であって、
   さらに、前記動きベクトル探索部が探索した動きベクトルと判定基準情報とを記憶する記憶部を備え、
   前記制御部は、前記記憶部が記憶する動きベクトルと判定基準情報とを用いて、前記複数種類の方法の切替えを制御することを特徴とするフレームレート変換装置。
8. 請求項２に記載のフレームレート変換装置であって、
   さらに前記動きベクトル探索部が探索した動きベクトルと判定基準情報とを記憶する記憶部と、
   前記記憶部が記憶する動きベクトルを用いて、フレーム全体もしくはフレームの所定の領域における動きベクトルの方向ベクトルのヒストグラム分布を算出するヒストグラム算出部とを備え、
   前記判定基準情報には閾値の情報が含まれており、
   前記制御部は、前記ヒストグラム分布において、前記フレーム全体もしくは前記所定の領域の全体のヒストグラム分布の動きベクトルの数に対する、前記フレーム全体もしくは前記所定の領域内の一部の領域に分布する動きベクトルの数の比率と、前記閾値とを比較して前記複数種類の方法を切替えることを特徴とするフレームレート変換装置。
9. 請求項７に記載のフレームレート変換装置であって、
   前記制御部は、前記入力映像に応じて前記判定基準を変更することを特徴とするフレームレート変換装置。
10. 請求項７に記載のフレームレート変換装置であって、
    前記判定基準情報には所定の期間情報を保持し、
    前記制御部は、前記複数種類の方法の切替えを行った時点から前記所定の期間が経過するまでは、前記複数種類の方法の切替えを行わないことを特徴とするフレームレート変換装置。
11. 映像信号を入力し前記映像信号に補間フレームを挿入することによって前記映像信号と異なるフレームレートの映像を表示する表示装置であって、
    前記映像信号を入力する入力部と、
    複数種類の方法で前記補間フレームの生成処理を行い、前記補間フレームを挿入した映像信号を出力する映像補間部と、
    前記映像補間部による前記補間フレームの生成処理方法の種類を選択する制御部と、
    前記映像補間部が出力した映像信号を表示する表示部とを備えることを特徴とする表示装置。
12. 請求項１１に記載の表示装置であって、
    さらに前記映像信号に含まれる複数のフレーム間の動きベクトルを探索する動きベクトル探索部を備え、
    前記複数種類の方法のうち少なくとも一つの方法が、前記動きベクトル探索部が探索した動きベクトルを用いて前記補間フレームにおける補間画素を生成する方法であることを特徴とする表示装置。
13. 請求項１１に記載の表示装置であって、
    前記複数種類の方法のうち少なくとも一つの方法が、前記映像信号に含まれる複数のフレームを用いた線形補間によって、前記補間フレームにおける補間画素を生成する方法であることを特徴とする表示装置。
14. 請求項１２に記載の表示装置であって、
    前記制御部は、前記動きベクトル探索部が探索した動きベクトルについて、前記補間フレームの所定の領域を通過する動きベクトルのうち所定の方向と所定の動き量を有する動きベクトルの数に応じて、前記映像補間部による前記補間フレームの生成処理方法の種類を選択することを特徴とする表示装置。
15. 入力映像信号を入力し、前記入力された映像信号とフレームレートの異なる出力映像信号を出力するフレームレート変換装置であって、
    前記入力映像信号を入力する入力部と、
    前記補間フレームの生成処理を行い、前記補間フレームを用いて前記映像信号の補間処理を複数種類の方法で行う映像補間部と、
    前記映像補間部による前記複数種類の補間処理の方法の切替えを制御する制御部と、
    前記複数種類の補間処理方法のうち一の方法の補間処理を行った出力映像信号を出力する出力部とを備え、
    前記出力部は、前記入力部に所定の画像が所定の方向に移動する映像を含む入力映像信号が入力された場合に、前記入力映像信号に含まれる所定の画像の移動速度によって、異なる種類の方法の補間処理を行った出力映像信号を出力することを特徴とするフレームレート変換装置。
16. 請求項１５に記載のフレームレート変換装置であって、
    前記所定の画像の移動速度が少なくとも一の移動速度であるときの、前記出力映像信号が、前記入力映像信号に含まれる複数のフレーム間の動きベクトルを用いた補間処理を行った映像信号であることを特徴とするフレームレート変換装置。
17. 請求項１５に記載のフレームレート変換装置であって、
    前記所定の画像の移動速度が少なくとも一の移動速度であるときの、前記出力映像信号が、前記入力映像信号に含まれる複数のフレームに対して線形補間を行った映像信号であることを特徴とするフレームレート変換装置。
18. 請求項１５に記載のフレームレート変換装置であって、
    前記所定の画像の移動速度が少なくとも一の移動速度であるときの、前記出力映像信号に含まれる前記補間フレームは、前記補間フレームより時間的に前の第１のフレームにおける前記所定の画像の位置と、前記補間フレームより時間的に後の第２のフレームにおける前記所定の画像の位置との間の位置に、前記所定の画像があることを特徴とするフレームレート変換装置。
19. 請求項１５に記載のフレームレート変換装置であって、
    前記所定の画像の移動速度が少なくとも一の移動速度であるときの、前記出力映像信号に含まれる前記補間フレームは、前記補間フレームより時間的に前の第１のフレームにおける前記所定の画像の位置と、前記補間フレームより時間的に後の第２のフレームにおける前記所定の画像の位置とに、それぞれ、前記所定の画像と同形状で画素値の異なる画像があることを特徴とするフレームレート変換装置。
20. 請求項１５に記載のフレームレート変換装置であって、
    前記出力部は、
    所定の画像が所定の方向に第１の速度で移動する映像を含む第１の入力映像信号が、前記入力部に入力された場合に、前記第１の入力映像信号に含まれる複数のフレーム間の動きベクトルを用いた第１の補間処理を前記第１の入力映像信号に対して行った、第１の出力映像信号を出力し、
    前記所定の画像が前記所定の方向に前記第１の速度よりも大きい第２の速度で移動する映像を含む第２の入力映像信号が前記入力部に入力された場合に、前記第１の補間処理とは異なる第２の補間処理を前記第２の入力映像信号に対して行った、第２の出力映像信号を出力することを特徴とするフレームレート変換装置。

Images