JP4548065B2

JP4548065B2 - 画像処理装置

Info

Publication number: JP4548065B2
Application number: JP2004276524A
Authority: JP
Inventors: 英樹相羽
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2004-09-24
Filing date: 2004-09-24
Publication date: 2010-09-22
Anticipated expiration: 2024-09-24
Also published as: JP2006091412A

Description

本発明は画像処理装置に係り、特に画像が書き込まれてから次のフレームの画像が書き込まれるまで表示を保持するホールド型表示を行うアクティブマトリクス型表示パネルに表示されるべき映像信号に対して、動きぼけの低減処理を施す画像処理装置に関する。

近年、液晶表示装置や有機エレクトロルミネセンスに代表されるアクティブマトリクス型表示パネルを用いた画像表示装置が注目されている。液晶表示装置は、応答速度が遅いために、動画を表示したときに残像を生じてしまう問題が指摘されている。この問題を解決するための一つの方法として、映像信号を時間軸方向に強調する時間軸強調回路を用いる方法がある。

図８は従来の代表的な時間軸強調回路の一例のブロック図を示す。同図において、入力された映像信号ｆ０は画像メモリ１により１フレーム遅延された遅延映像信号ｆ１とされる。入力映像信号ｆ０は減算器２において上記の遅延映像信号ｆ１との差がとられた後、乗算器３で係数ａを乗じられ、更に加算器４で乗算器３からの乗算結果と加算される。これにより、加算器４の出力信号ｇは次式で表わされる。

ｇ＝ｆ０＋ａ（ｆ０−ｆ１）
上記の係数ａは液晶の応答特性に応じて設定される。応答が速く、残像が少ない場合にはａは小さく、残像が多い場合にはａは大きく設定する。

図９はこのように処理された映像信号を液晶表示パネルに供給した場合の改善効果を示したものである。映像信号（ステップ波形）を未処理のまま液晶表示パネルを駆動すると、図９（Ａ）の様な波形になるのに対し、上記の時間軸強調回路を用いると図９（Ｂ）の様に応答が改善する。

この時間軸強調回路を用いることにより、フレーム単位での特性は改善された。しかし、液晶表示装置のように画像が書き込まれてから次のフレームの画像が書き込まれるまで表示を保持しているホールド型表示装置の場合には、如何に液晶の応答を改善しても、視覚系積分の影響による動画のぼやけが解決できないことが報告されている（例えば、非特許文献１参照）。なお、液晶表示装置に限らず、有機エレクトロルミネセンスなどの各画素毎にメモリ機能を持ったアクティブマトリクス型表示装置では、上記の動画のぼやけは同様に発生する。

また、上記の非特許文献１においては、これを解決する方法について紹介されている。一つは、ホールド時間を短くし、陰極線管（ＣＲＴ）を用いた表示のような、画像の書き込みの瞬間に強く発光して表示するインパルス型の表示に近づける方法で、もう一つは動き補償手段によってフレーム周波数を入力の２倍の１２０Ｈｚに高速化する方法である。

栗田泰市郎，「液晶ディスプレイで生じる原理的な動画質劣化とその改善法」，信学技報，社団法人電子情報通信学会，ＥＩＤ２０００−４７（２０００−０９），ｐ.１３−１８

しかし、時間軸強調を行う場合に、係数ａを大きくしていく（強調利得を上げていく）と、ノイズなどにも反応するため画像がざらつきやすくなって、液晶などのホールド型表示の利点であるフリッカがなく落ち着いた感じの表示が得られない。従って、係数ａは必要以上に大きくは設定できない。

一方、インパルス型の表示に近づける方法では、バックライトをシャッタする手段が必要となる。また、液晶を駆動する際にフレーム周波数を２倍にした上で、１フレームおきに黒を書き込んでインパルス型表示に近づける方法も提案されているが、この場合には、バックライトからの光の利用効率が半分になってしまうために、輝度が下がってしまう。また、どちらの場合にしても、ホールド型表示の利点であるちらつき（フリッカ）のない表示が損なわれてしまうという欠点がある。

そこで、本発明者はフレーム周波数を動き補償手段によって高速化する方法に着目した。この方法においては、フレーム周波数を変換する回路が必要になることによるコストアップ、回路動作やホールド型表示パネルの書き込み速度を２倍にしなければならないという動作速度の問題があるが、半導体の集積技術やパネル製造技術が進むにつれて、その問題は解決していく方向にある。しかし、フレーム周波数を高速に変換して、ホールド型表示の問題を解決しても液晶応答の問題は残ってしまう。

本発明は以上の点に鑑みなされたもので、フレーム周波数を元の映像信号のフレーム周波数より高速にした後に、時間軸方向の強調を行う時間軸強調回路を組み合わせることにより、液晶表示装置のようなホールド表示型で応答速度の遅い表示パネルを最適に駆動し得る画像処理装置を提供することを目的とする。

また、本発明の他の目的は、フレーム周波数を変換する際に必要となる動きベクトルの検出結果に基づいて、時間軸方向の強調を行う際の強調利得、すなわち係数ａを制御することにより、ノイズなどによるざらつきの発生を改善し得る画像処理装置を提供することにある。

本発明は上記の目的を達成するため、第１のフレーム周波数を有する映像信号を、第１のフレーム周波数のｍ／ｎ倍（ただし、ｍは２以上の整数、ｎはｍより小で、かつ、１以上の整数）である第２のフレーム周波数を有する映像信号に変換するフレームレート変換手段と、フレームレート変換手段により変換された第２のフレーム周波数を有する映像信号における隣接する２フレーム分の画像データを用いて時間軸方向の高域成分を強調する時間軸強調手段と、を備え、
フレームレート変換手段は、第１のフレーム周波数を有する映像信号を書き込んで第２のフレーム周波数の映像信号として読み出す複数の画像メモリと、複数の画像メモリから読み出された第２のフレーム周波数を有する映像信号における隣接する２フレーム分の画像データを用いて動きベクトルを検出する動きベクトル検出部と、複数の画像メモリより読み出された画像データと、この画像データに対応する動きベクトルとを用いて動き補償補間して、第２のフレーム周波数の映像信号であり互いに１フレーム分ずれた関係にある画像データを出力する第１及び第２の内挿部とを有し、
上記時間軸強調手段は、隣接する２フレーム分の画像データとして第１及び第２の内挿部より出力された画像データを用いて時間軸方向の高域成分を強調するとともに、動きベクトル検出部で検出された動きベクトルに基づいて、高域成分を強調する度合いを可変制御することを特徴とする。

本発明によれば、動き補償補間された前後２フレームの映像信号に対して、時間軸方向の高域成分の強調利得が動きベクトルに応じて可変制御される強調処理を行って、表示されるべき映像信号を出力することにより、ホールド型表示装置に表示する場合、動画ぼやけを改善できるようにしたため、バックライトをシャッタするようなインパルス型に近づける改善と比較して、画像のちらつき（フリッカ）がなく、画像と同期させてバックライトをシャッタさせるような特別な回路を必要とすることなく動画ぼやけを改善でき、また、画面が滑らかに一定方向に移動した場合のみ、時間軸強調されるようにしたため、ノイズなどの影響でざらついた画像を表示させることが極端に少なくできる。

次に、本発明を実施するための最良の形態について、図面と共に説明する。図１は本発明になる画像処理装置の第１の実施の形態のブロック図を示す。同図において、入力映像信号は画像メモリ１１ａ及び１１ｂにそれぞれ供給されて１フレーム分が蓄積される。ただし、画像メモリ１１ｂは画像メモリ１１ａの入力映像信号に対して１フレーム遅延された入力映像信号に対して書き込みと読み出しを同時に行う。

なお、説明の便宜上、入力映像信号はフレーム周波数が６０Ｈｚの順次走査信号であることを前提とし、インターレース形式のＮＴＳＣ信号やＨＤＴＶ信号においては、前段にて順次走査信号に変換する処理がなされているものとする。

画像メモリ１１ａ、１１ｂに蓄積された各１フレーム分の映像信号（画像データ）は、書き込み時の速度の２倍の速度で読み出されることにより、フレーム周波数（ここでは垂直周波数）が２倍に高くする周波数変換（フレームレート変換）が行われて、動きベクトル検出回路１２と内挿回路１３ａ及び１３ｂとにそれぞれ供給される。動きベクトル検出回路１２は、画像メモリ１１ａ及び１１ｂの読み出し画像データのフレーム間の動きベクトルを検出する。動きベクトル検出の方法としては、例えば公知のマッチング法などを用いる。

内挿回路１３ａ及び１３ｂは、それぞれ画像メモリ１１ａ及び１１ｂから読み出された２フレーム分の画像データと動きベクトル検出回路１２からの動きベクトルデータとから、後述する動き補償補間を行う。ただし、内挿回路１３ｂは、内挿回路１３ａの出力信号に対して１フレーム遅延した信号を出力する。内挿回路１３ａ及び１３ｂにより各々動き補償補間された映像信号は時間軸強調回路１４に入力される。

時間軸強調回路１４は、内挿回路１３ａの出力信号から内挿回路１３ｂの１フレーム遅延信号とを減算する減算器１４１と、動きベクトル検出回路１２からの動きベクトルデータに応じた値の係数を読み出し出力するルックアップテーブル（ＬＵＴ）１４２と、減算器１４１から出力された差分信号とＬＵＴ１４２から読み出された係数とを乗算する乗算器１４３と、内挿回路１３ａの出力信号に乗算器１４３からの乗算結果を加算し、その加算信号を時間軸の強調された画像データとして出力する加算器１４４とから構成されており、供給された映像信号の時間軸方向の高域成分の強調を行って、液晶表示装置などのホールド型表示装置に表示されるべき映像信号として出力する。

この時間軸強調回路１４は、図８で示した構成の従来の時間軸強調回路と比較すると、差分信号と乗算する係数（図８では係数ａ）が、動きベクトル検出結果に基づいて制御され、その結果、供給された映像信号の時間軸方向の高域成分の強調利得が、動きベクトル検出結果に応じて可変制御されるようになされた点が異なる。ここでは、動きベクトルに対する係数への関係をＬＵＴ１４２で割り当てることとした。

次に、図２を併せ参照して本実施の形態の動作タイミングについて説明する。入力映像信号は図２（Ａ）に模式的に示すようにフレーム周波数６０Ｈｚであり、この入力映像信号はフレームメモリである画像メモリ１１ａ及び１１ｂに、それぞれ６０Ｈｚの書き込み周波数で書き込まれた後、読み出しは書き込み周波数の２倍の１２０Ｈｚで行われるので２回同じ画像が読み出される。

ここで、画像メモリ１１ａは１／６０秒の各期間において、入力映像信号の１フレーム分の書き込みと同時に、その直前に書き込んだ１フレーム分の入力映像信号の読み出しを２回繰り返して行うため、その読み出し出力映像信号は、図２（Ｂ）に模式的に示される。一方の画像メモリ１１ｂは、１／６０秒の各期間において、入力映像信号の１フレーム分の書き込みと同時に、その直前に書き込んだ１フレーム分の入力映像信号の読み出しを２回繰り返して行うことは画像メモリ１１ｂと同様であるが、書き込む入力映像信号が、画像メモリ１１ａのそれとは１フレーム遅延されるようにしているので、画像メモリ１１ｂの読み出し出力映像信号は、図２（Ｃ）に模式的に示すように、画像メモリ１１ａの読み出し出力映像信号よりも１フレーム前の映像信号である。

これにより、画像メモリ１１ａと１１ｂとからは、互いに１フレーム前後の１フレーム分の入力映像信号が同時に２回繰り返して読み出されることとなる。動きベクトル検出回路１２は、この画像メモリ１１ａと１１ｂからの互いに１フレーム前後の映像信号（１フレーム前後の２枚の画像）から、画像の動きベクトルを公知の方法で検出して図２（Ｄ）に模式的に示すように動きベクトル検出信号を出力する。

内挿回路１３ａは、図２（Ａ）にＦ３で示す１フレーム分の映像信号が入力されている期間の前半の１／１２０秒の期間のフレームタイミングｔ１ａで、同図（Ｅ）に示すように動き補償補間された信号ｆ１ｂを出力し、Ｆ３で示す１フレーム分の映像信号が入力されている期間の後半の１／１２０秒の期間のフレームタイミングｔ１ｂで、同図（Ｅ）に示すように動き補償補間された信号ｆ２ａを出力する。ｆ１ｂ，ｆ２ａの画像生成については後述する。

一方、内挿回路１３ｂは、図２（Ｆ）に示すように、上記のフレームタイミングｔ１ａで動き補償補間された信号ｆ１ａを出力し、上記のフレームタイミングｔ１ｂでは動き補償補間された信号ｆ１ｂを出力する。図２（Ｅ）と（Ｆ）からわかるように、図２（Ｆ）に示す内挿回路１３ｂから出力される動き補償補間された信号は、同図（Ｅ）に示す内挿回路１３ａから出力される動き補償補間された信号よりも１／１２０秒周期で１フレーム分遅延されていることになる。従って、この信号を用いれば、時間軸強調回路１４において、フレームメモリの共用化が図れて余分なメモリを削減できる。

なお、図示の都合上、図２（Ａ）で書き込む映像信号に対して、読み出し側は図２（Ｂ）〜（Ｆ）に示すように時間を破線で示したようにずらして描いた。

次に、本実施の形態における動き補償補間の動作について図３を用いて説明する。動き補償補間としては、フレーム周波数の変換比率が２倍となっていることから、図３に示されるようなベクトル移動を行う。まず、入力映像信号のフレーム番号をＦ１，Ｆ２，Ｆ３，・・・とし、出力映像信号のフレーム番号をｆ１ａ，ｆ１ｂ，ｆ２ａ，ｆ２ｂ，ｆ３ａ，ｆ３ｂ，・・・とし、フレームレート変換の変換イメージを示す。

図３において、Ｆ１からｆ１ａへ、Ｆ２からｆ２ａへ、Ｆ３からｆ３ａの変換は時間位相が一致しているフレームでありベクトル移動を行わない。フレームｆ１ｂはＦ１とＦ２の間に入り、フレームｆ２ｂはＦ２とＦ３の間に挿入され、これらのフレームについてはベクトル移動を行う。

図３の右側には、物体の移動をわかりやすくするために変換前後それぞれ画像を重ねて表した。Ｆ１からＦ２への物体の動きベクトル検出結果をｖ１とし、Ｆ２からＦ３への物体の動きベクトル検出結果をｖ２とする。ｆ１ｂの画像を生成するとき、Ｆ１の画像を動きベクトル値ｖ１／２だけ移動させれば、物体の位置を正確に表示できる。また、ｆ２ｂの画像を生成する場合には、Ｆ２の画像を動きベクトル値ｖ２／２だけ移動させればよい。

次に、本実施の形態を用いた場合における実際の液晶応答を考慮した表示画像について、図４と共に説明する。図４は黒、白、黒と並んだ矩形波形が水平方向に平行移動した場合の表示状態を示しており、同図（Ａ）はフレームレート変換前のフレーム周波数６０Ｈｚの映像信号による表示状態、同図（Ｂ）はフレームレート変換後で、時間軸強調回路１４による時間軸強調前のフレーム周波数１２０Ｈｚの映像信号による表示状態、同図（Ｃ）はフレームレート変換及び時間軸強調回路１４による時間軸強調後のフレーム周波数１２０Ｈｚの映像信号による表示状態を示す。図４（Ａ）〜（Ｃ）に示すように、水平方向に平行移動する黒、白、黒の矩形波形を時間ｔ方向に並べて表示している。

あるフレームから次のフレームに移行した時に、黒、白、黒の矩形波形が水平方向に移動する際、黒の画像から白の画像に、また白の画像から黒の画像に切り替わる部分においては、人間の目には像が積分されて写る視覚系の積分という現象が起こるため、図４（Ａ）〜（Ｃ）にそれぞれ示すように、黒から白へ、また白から黒へなだらかに切り替わるように見え、動画ぼやけが発生することとなる。この動画ぼやけは、図４（Ａ）〜（Ｃ）に示すように、ホールド表示を行うことに起因する第１のぼやけａと、液晶の応答速度に起因する第２のぼやけｂとからなる。

フレーム周波数６０Ｈｚの図４（Ａ）では、ぼやけａとぼやけｂのいずれも大きい。フレーム周波数１２０Ｈｚの図４（Ｂ）では、ぼやけａの幅が狭くなり、動画ぼやけが改善されている。ただし、ぼやけｂは改善されていない。フレーム周波数１２０Ｈｚで時間軸強調した図４（Ｃ）では、ぼやけｂの幅も狭くなり、動画ぼやけが更に改善されている。

しかし、このような動画ぼやけの問題は、移動画像に対する視線の追跡に起因することは前記した非特許文献１で述べられている通りである。すなわち、時間軸強調が重要な役割を果たすのは画像が移動しているような場合であって、ランダムに出現したり消失したりするような画像、特にノイズ成分に対しては必要でなく、むしろざらついた画像を表示してしまうことになる。従って、時間軸強調を行う場合、乗算器１４３に供給される係数は、動きベクトルの絶対値が大きいときにその係数が大きくなるように制御されることが望ましい。

また、回路を簡略して、ある動きベクトル値よりも大きいときとそうでないときの２種類の係数を切り替えるようにしても効果的である。また、動きベクトルを検出していないときには、係数を０とし時間軸強調を行わないように制御することも有効である。ルックアップテーブル（ＬＵＴ）１４２には、以上の液晶表示パネルの応答特性と視覚的な評価を考慮して、動きベクトル検出回路１２で検出された動きベクトルの値に応じて可変された値の係数が格納されており、その結果、供給された映像信号の時間軸方向の高域成分の強調利得が、動きベクトル検出結果に応じて可変制御される。

また、本実施の形態によれば、フレームレート変換手段を構成する複数の画像メモリを、時間軸強調手段で用いる画像メモリと共用するようにしたため、コストアップを最小限にすることができる。

次に、本発明の第２の実施の形態について説明する。図５は本発明になる画像処理装置の第２の実施の形態のブロック図、図６は本発明になる画像処理装置の第２の実施の形態における動き補償補間の動作説明図、図７は図５の動作説明用タイミングチャートを示す。図５中、図１と同一構成部分には同一符号を付し、その説明を省略する。

本実施の形態は、フレーム周波数変換の変換比率を３／２倍に設定するものである。図５に示すように、本実施の形態の構成は図１の第１の実施の形態の構成とほぼ同一であるが、フレーム周波数の変換比率が３／２倍であることから、入力２フレームに対して出力３フレームになり、画像メモリ１１ｃを追加して構成している。画像メモリ１１ｃから読み出された映像信号は、画像メモリ１１ａ及び１１ｂの各出力映像信号と共に動きベクトル検出回路１６に供給される。動きベクトル検出回路１６で検出された動きベクトル検出信号は、内挿回路１３ａ及び１３ｂに供給されて動き補償補間に用いられる。

動き補償補間としては、フレーム周波数の変換比率が３／２倍となっていることから、図６に示されるようなベクトル移動を行う。まず、入力映像信号のフレーム番号をＦ１，Ｆ２，Ｆ３，・・・とし、出力映像信号のフレーム番号をｆ１，ｆ２ａ，ｆ２ｂ，ｆ３・・・とする。

図６において、Ｆ１からｆ１へ、Ｆ３からｆ３への変換は時間位相が一致しているフレームでありベクトル移動を行わない。他方、フレームｆ２ａはＦ１とＦ２の間に入り、フレームｆ２ｂはＦ２とＦ３の間に挿入され、これらのフレームについてはベクトル移動を行う。また、図６の右側に示すように、Ｆ１からＦ２への物体の動きベクトル検出結果をｖ１とし、Ｆ２からＦ３への物体の動きベクトル検出結果をｖ２とする。

この場合、フレームｆ２ａの画像を生成するとき、フレームＦ２の画像を動きベクトル値−ｖ１／３だけ移動させれば、物体の位置を正確に表示できる。また、フレームｆ２ｂの画像を生成する場合には、フレームＦ２の画像を動きベクトル値＋ｖ２／３だけ移動させればよい。

また、画像メモリ１１ａ、１１ｂ及び１１ｃは、それぞれ図７（Ａ）に示すフレーム周波数６０Ｈｚの入力映像信号の１フレーム分を６０Ｈｚの書き込み周波数で書き込むと同時に、その直前に書き込んだ１フレーム分の入力映像信号の読み出しを、９０Ｈｚの読み出し周波数で３回繰り返して行うが、書き込む入力映像信号が、画像メモリ１１ｂは画像メモリ１１ａのそれとは１フレーム遅延され、画像メモリ１１ｃは画像メモリ１１ａのそれとは２フレーム遅延されるようにしているので、画像メモリ１１ｃ、１１ｂ、１１ａの読み出し出力映像信号は、図７（Ｂ）、（Ｃ）、（Ｄ）に模式的に示すようになる。

また、内挿回路１３ａは、画像メモリ１１ｃから図７（Ｂ）にＦ１で示す１フレーム分の映像信号が３回連続して読み出される最初の１／９０秒期間で、同図（Ｅ）に示すように動き補償補間された信号ｆ２ａを出力し、Ｆ１の２回目の読み出し期間１／９０秒で、同図（Ｅ）に示すように動き補償補間された信号ｆ２ｂを出力し、Ｆ１の３回目の読み出し期間１／９０秒で、同図（Ｅ）に示すように動き補償補間された信号ｆ３を出力する。一方、内挿回路１３ｂは、画像メモリ１１ｃから図７（Ｂ）にＦ１で示す１フレーム分の映像信号が３回連続して読み出される上記の最初の１／９０秒期間で、同図（Ｆ）に示すように動き補償補間された信号ｆ１を出力し、Ｆ１の２回目の読み出し期間１／９０秒で、同図（Ｆ）に示すように動き補償補間された信号ｆ２ａを出力し、Ｆ１の３回目の読み出し期間１／９０秒で、同図（Ｆ）に示すように動き補償補間された信号ｆ２ｂを出力する。

従って、図７（Ｅ）と（Ｆ）からわかるように、図７（Ｆ）に示す内挿回路１３ｂから出力される動き補償補間された信号は、同図（Ｅ）に示す内挿回路１３ａから出力される動き補償補間された信号よりも１／９０秒周期で遅延されていることになる。このように、内挿回路１３ａと１３ｂの出力はフレーム周波数９０Ｈｚのレートで１フレーム分遅延した関係になるように出力させることにより、時間軸強調回路１４の画像メモリを削減できる。

また、図１の場合と同様に、図５に示す動きベクトル検出回路１６の出力からＬＵＴ１４２を通し、乗算器４３に係数を与えることにより、移動画像に対してのみ時間軸強調回路１４の強調利得を上げる制御ができる。

次に、この第２の実施の形態で示したように、出力映像信号のフレーム周波数を入力映像信号のそれの３／２倍にすることの意義について説明する。限りなくフレーム周波数を上げていけば、ホールド型表示における動画のぼやけについては改善され、インパルス型表示の性能に近づくはずであり、これまでは、フレーム周波数を２倍、４倍、８倍のように整数値に上げることを考えていた。

しかし、あまりにもフレーム周波数を上げると液晶の応答自体が無視できなくなり、フレーム周波数を上げた効果も薄れていくことになる。また、フレーム周波数を上げることはサンプリング周波数すなわち動作クロック周波数もその分だけ上昇する。本発明者の実験によれば、１２０Ｈｚ表示にしなくても、９０Ｈｚ表示においても動画ぼやけに対する改善効果が現れることが確認された。

フレーム周波数が９０Ｈｚになった場合の改善効果は、間欠表示のシャッタ期間が約３３％であった場合に相当し、時間に換算すると約５.５６ｍｓである。この数値は、液晶の応答速度の改善度としては相当大きなものである。

また、原画像のフレーム周波数が６０Ｈｚに対し、表示フレーム周波数が９０Ｈｚであるとすると、映像信号のサンプリング周波数は原画像のサンプリング周波数の１.５倍でよいことになる。現在、最も主流となっているＷＸＧＡの画素数は１２８０ドット×７６８ラインであり、ブランキング期間を無視して有効画面だけのサンプリング周波数を計算すると、フレーム周波数が１２０Ｈｚであった場合にはサンプリング周波数が１１８ＭＨｚとなってしまい、回路動作速度及びパネル駆動回路との接続インターフェースにとって大きな負担となる。

しかし、フレーム周波数９０Ｈｚにおいては、上記の有効画面だけのサンプリング周波数は約８８.５ＭＨｚであり、現状のＡＳＩＣ動作適度にとって、またパネル駆動部との接続インターフェースにとって十分に実現可能な値となる。

このように、本発明の画像処理装置は、入力映像信号のフレーム周波数をｍ／ｎ倍（ただし、ｍは２以上の整数、ｎはｍより小で、かつ、１以上の整数）に変換するフレームレート変換手段と、フレームレート変換手段によりフレームレートが変換された映像信号のフレーム間の動きベクトルを検出する動きベクトル検出手段と、動きベクトル検出手段により検出された動きベクトルに基づいて、フレームレート変換手段から出力された互いに１フレーム異なる前後２フレームの映像信号の動き補償補間する動き補償補間手段と、動き補償補間手段から出力された上記前後２フレームの映像信号に対して、時間軸方向の高域成分の強調利得が動きベクトルに応じて可変制御される強調処理を行って、表示されるべき映像信号を出力する時間軸強調手段とを有することを特徴とする。

本発明では、動き補償補間された互いに１フレーム異なる前後２フレームの映像信号に対して、時間軸方向の高域成分の強調利得が動きベクトルに応じて可変制御される強調処理を行って、表示されるべき映像信号を出力するようにしたため、ホールド型表示装置に表示する場合、動画ぼやけを改善できると共に、画面が滑らかに一定方向に移動した場合のみ、時間軸強調することができる。

また、本発明は、フレームレート変換手段を、入力映像信号を書き込んだ後、書き込み時のｍ／ｎ倍の速度で読み出して、フレームレートがｍ／ｎ倍に変換され、かつ、互いに異なるフレームの映像信号を出力する複数の画像メモリを有する構成とし、複数の画像メモリを、時間軸強調手段で用いる画像メモリと共用されることを特徴とする画像処理装置を提供する。

なお、本発明は以上の実施の形態に限定されるものではなく、例えば以上の実施の形態ではフレーム周波数（垂直周波数）を２倍、３／２倍に変換する例を挙げて説明してきたが、それに限ることはなくフレーム周波数（垂直周波数）をｍ／ｎ倍（ただし、ｍは２以上の整数、ｎはｍより小で、かつ、１以上の整数）に変換するものであればよく、パネルや回路の動作適度と動画応答の効果のバランスを考えた設計をすればよい。また、画像メモリの使い方、動き補償や時間軸強調の手段等は、以上の実施の形態で示した構成に限定されるものではない。

本発明の第１の実施の形態のブロック図である。図１の動作説明用タイミングチャートである。図１における動き補償補間の動作説明図である。本発明の第１の実施の形態の視覚系による効果を従来と対比して示す図である。本発明の第２の実施の形態のブロック図である。図５における動き補償補間の動作説明図である。図５の動作説明用タイミングチャートである。従来装置の一例のブロック図である。図８の従来装置による改善効果を説明するための図である。

符号の説明

１１ａ、１１ｂ、１１ｃ画像メモリ
１２、１６動きベクトル検出回路
１３ａ、１３ｂ内挿回路
１４時間軸強調回路
１４１減算器
１４２ルックアップテーブル（ＬＵＴ）
１４３乗算器
１４４加算器

Claims

第１のフレーム周波数を有する映像信号を、前記第１のフレーム周波数のｍ／ｎ倍（ただし、ｍは２以上の整数、ｎはｍより小で、かつ、１以上の整数）である第２のフレーム周波数を有する映像信号に変換するフレームレート変換手段と、
前記フレームレート変換手段により変換された前記第２のフレーム周波数を有する映像信号における隣接する２フレーム分の画像データを用いて時間軸方向の高域成分を強調する時間軸強調手段と、
を備え、
前記フレームレート変換手段は、
前記第１のフレーム周波数を有する映像信号を書き込んで前記第２のフレーム周波数の映像信号として読み出す複数の画像メモリと、
前記複数の画像メモリから読み出された前記第２のフレーム周波数を有する映像信号における隣接する２フレーム分の画像データを用いて動きベクトルを検出する動きベクトル検出部と、
前記複数の画像メモリより読み出された画像データと、この画像データに対応する前記動きベクトルとを用いて動き補償補間して、前記第２のフレーム周波数の映像信号であり互いに１フレーム分ずれた関係にある画像データを出力する第１及び第２の内挿部とを有し、
前記時間軸強調手段は、
前記隣接する２フレーム分の画像データとして前記第１及び第２の内挿部より出力された画像データを用いて時間軸方向の高域成分を強調するとともに、前記動きベクトル検出部で検出された動きベクトルに基づいて、前記高域成分を強調する度合いを可変制御することを特徴とする画像処理装置。