[go: up one dir, main page]

JP2008167102A - 映像処理装置及びそれを備えた映像表示装置 - Google Patents

映像処理装置及びそれを備えた映像表示装置 Download PDF

Info

Publication number
JP2008167102A
JP2008167102A JP2006353693A JP2006353693A JP2008167102A JP 2008167102 A JP2008167102 A JP 2008167102A JP 2006353693 A JP2006353693 A JP 2006353693A JP 2006353693 A JP2006353693 A JP 2006353693A JP 2008167102 A JP2008167102 A JP 2008167102A
Authority
JP
Japan
Prior art keywords
frame
video signal
interpolation
frames
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006353693A
Other languages
English (en)
Other versions
JP4438795B2 (ja
Inventor
Masahiro Ogino
荻野昌宏
Mitsuo Nakajima
中嶋満雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2006353693A priority Critical patent/JP4438795B2/ja
Priority to US12/004,959 priority patent/US8559517B2/en
Priority to CN2007101605656A priority patent/CN101212593B/zh
Publication of JP2008167102A publication Critical patent/JP2008167102A/ja
Application granted granted Critical
Publication of JP4438795B2 publication Critical patent/JP4438795B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)

Abstract

【課題】
フレームレート変換による動画質改善効果を得つつ、破綻の少ない映像を得ることが可能な技術を提供する。
【解決手段】
本発明は、入力映像信号の複数フレームから、映像の動きベクトルの情報を検出する動きベクトル検出部(24)と、動きベクトルを用いて補間フレームを作成するための補間フレーム生成部(25)と、補間フレーム生成部で生成された補間フレームと前記入力映像信号のフレームとを組み合わせて、新たなフレーム列の映像信号を生成して出力するためのフレーム列生成部(26)とを備える。そして本発明は、入力映像信号の2つのフレーム間に複数の補間フレームが連続するような変換を行う場合は、その複数の補間フレームのうち少なくとも一つを、動きベクトルを用いない(すなわち映像の動きに依存しない)補間フレームとする。
【選択図】 図2

Description

本発明は、映像処理装置及びそれを備えた映像表示装置に関し、特に入力された映像信号のフレームレートを変換するための構成を備えた映像処理装置及びそれを備えた映像表示装置に関する。
近年、動画性能を向上させるための技術として、フレームレート変換と呼ばれる技術が提案されている。これは、映像信号に含まれる複数のフレームと、該入力映像信号の動きベクトルを用いて装置内部で生成された補間フレームとを組み合わせて、新たなフレーム列の信号を生成するものである。これにより、動画表示における残像感やガタガタ感といった不自然な動きを改善し、動画性能を向上することが可能となる。
動画性能をより向上させるためには、精度の高い補間フレーム生成が必要であり、そのためには、補間フレーム生成に用いられる動きベクトルの検出精度を向上させる必要がある。動きベクトルの検出精度の向上にかかる従来技術については、例えば特許文献1等に開示されている。
特開2002−27414号公報(段落0009、図9)
しかしながら、上記従来技術では、1画面中に複数の動きが存在するような画像や、複数の動物体が交差するような画像については考慮されていない。かかる画像における動物体について正確な動きベクトルを求めることが難しく(すなわち動きベクトルの誤検出が発生しやすく)、精度の高い補間フレームの生成が困難となり、結果として、フレームレート変換後の映像に破綻が生じる。ここで、映像の破綻とは、オリジナル(入力映像信号)の映像の動きとは関連性が無いもしくは低い映像がオリジナルの映像中に出現することを言い、この出現頻度が高い場合は破綻が目立ちやすくなる。
本発明は、上記課題に鑑みて考えたものであり、上述の破綻を低減して高画質な映像を得ることが可能なフレームレートの変換技術を提供することを目的とする。
上記目的を達成するために、本発明は、特許請求の範囲に記載された構成を特徴とするものである。
例えば、入力映像信号における2つのフレーム間に複数の補間フレームを挿入、もしくは該2つのフレーム間のオリジナルフレームを複数の補間フレームと置き換える変換を行う場合、補間フレームが時間的に連続して表れることになる。このとき、オリジナルの映像における動物体の動きが複雑な場合は、動きベクトルを正確に検出することが困難となるために映像の破綻が生じやすくなる。従って、映像の動きが複雑な場合に上記のような変換を行うと、映像の破綻が大きい補間フレームが時間的に連続して出現するため、かかる破綻が一層目立ちやすくなる。
そこで本発明では、上記のように入力映像信号の2つのフレーム間に複数の補間フレームが連続するような変換を行う場合は、その複数の補間フレームのうち少なくとも一つを、動きベクトルを用いない(すなわち映像の動きに依存しない)補間フレームとすることを特徴とするものである。
本発明によれば、フレームレート変換による動画質改善効果を得つつ、破綻の少ない映像を得ることが可能となる。
以下、本発明の実施形態について図面を参照しつつ説明する。
図1は、本発明の第一実施例にかかる画像処理装置の構成の一例を示すブロック図である。図1において、入力映像信号1は、例えばデジタルテレビジョン放送信号であり、TS(トランスポートストリーム)で構成されるものとする。この入力映像信号は1、まず解像度変換部2に入力され、この解像度変換部2により垂直及び/または水平方向の画素数変換が施される。この画素数変換の処理は本実施例の主旨ではないので詳細は省略するが、例えば入力映像信号1の垂直、水平方向の画素数を表示部5の垂直、水平方向の画素数と等しくするように、フィルタリング処理が行われる。この解像度変換部2からの出力信号は、本実施形態の特徴部分であるフレームレート変換部(以下、FRC:Frame Rate Conversionと呼ぶ)3に入力され、ここで、後述するフレームレート変換が行われる。例えば、FRC3は、入力映像信号が非プルダウン形式(通常形式)であり、そのフレームレート(フレーム周波数)が60Hzの場合は、この映像信号の各フレームに、FRC3内部で生成された補間フレームを挿入することで120Hzのフレームレートを持つ新たなフレーム列を出力する変換する。また入力映像信号が2−3プルダウン形式であり、そのフレームレート(フレーム周波数)が60Hzの場合は、このプルダウン形式の映像信号のうち、幾つかのフレームをFRC3内部で生成された補間フレームと置き換えることにより、動きが滑らかにされた60Hzのフレームレートを持つ新たなフレーム列を出力する変換する。
ここで、2−3プルダウンとは、映画フィルムなど毎秒24コマで撮影された映像を、60フレーム(フィールド)に変換するための方式の一つである。具体的には、上記24コマの映像の奇数番目のコマを2フレーム(フィールド)連続して繰り返し、偶数番目のコマを3フレーム(フィールド)連続して繰り返すことにより、24コマの映像を60フレームに変換するものである。例えば、上記24コマの映像がA,B,C…と並んでいる場合は、2−3プルダウンにより、AA,BBB,CC…となる。尚、2−2プルダウン形式の映像信号も存在するが、本実施例ではその説明については省略する。
本実施例においては、2−3プルダウンの映像信号のフレームレートと新たなフレーム列のフレームレートは、いずれも60Hzで変化しないが、本実施例では、便宜上、2−3プルダウンの映像信号を24Hzのフレームレートを持つ映像信号として扱うものとする。また2−3プルダウンの映像信号を上述のように変換する処理も、フレームレートは変化しないが、ここではフレームレート変換処理の一つとして取り扱うものとする。
画像メモリ4は、オリジナルのフレームの信号を記憶し、FRC3はこの画像メモリ4とアクセスしながら上記補間フレームの作成を行う。また、画像メモリ4は、この補間フレームも記憶し、FRC3はこの画像メモリ4とアクセスしながら上記記憶されたオリジナルフレームと補間フレームとを組み合わせることによって、上述の新たなフレーム列の映像信号を出力する。
また、FRC3内部における補間フレームの生成方法は、入力映像信号のフォーマット(つまり2−3プルダウン形式か、そうでないか)もしくはフレームレート変換処理に応じて変更される。
入力映像信号が2−3プルダウンか否かを判定するために、例えば、制御回路であるCPU8には、入力映像信号のフォーマットを示すフラグ7が入力される。CPU8は、このフラグ7により入力映像信号のフォーマットの種別を判定する。このフラグ7は、例えばデジタルテレビジョン信号のTSに含まれるヘッダーを用いることができる。すなわち、TSのヘッダーには、入力映像信号のフォーマット、例えば解像度やアスペクト比等の情報を含ませることができ、更に当該映像信号が2−3プルダウン形式か、そうでないかを示す情報を含ませることができる。本実施例では、そのヘッダー内に含まれるプルダウン形式に関する情報を上記フラグ7として用いている。このフラグ7が検出できない場合は、映像信号の変化により当該映像信号が2−3プルダウン形式かを判別するようにしてもよい。例えば各フレームの特定位置における映像信号の差分を検出し、その差分から上記AA,BBB,CCの並びが検出された場合に当該映像信号が2−3プルダウン形式と判定してもよい。
CPU8は、上記フラグ7などにより入力映像信号が2−3プルダウンかを判定して、FRC3の変換処理を制御するためのFRC変換モード信号9を出力する。すなわち、CPU8は、入力映像信号が非プルダウン形式であるならば、FRC3が動きベクトルを用いた補間フレームを生成するように、また入力映像信号が2−3プルダウン形式であるならば、動きベクトルを用いない(映像の動きに依存しない)補間フレームを生成するように、FRC3を制御する。これの詳細については後述する。
FRC3からの新たなフレーム列の信号は、タイミングコントローラ5を経由して、例えばPDP(Plasma Display Panel)またはLCD(liquid Crystal Display)等のフラットパネルで構成される表示部6へ供給される。タイミングコントローラ5は、水平、垂直走査のタイミングに応じてFRC3からの出力信号を表示部6へ供給することにより、表示部6の画面上にフレームレートが変換された映像が表示される。
次に図2を参照してFRC3の構成の一例について説明する。かかるFRCは、現フレーム信号21と、それよりも時間的に1フレーム前の前フレーム信号22が入力され、これらのフレームから映像の動きベクトルを検出するための動きベクトル検出部20を備えている。また、動きベクトル検出部20には、上述したCPU7からのFRC変換モード信号9が入力され、このFRC変換モード信号9の状態に応じて動きベクトルの検出モードが変化される。尚、現フレーム信号21は、画像メモリ4への書き込みを制御するためのメモリI/Fを介して画像メモリ4へ書き込まれる。またメモリI/Fは、画像メモリ4からの読み出しを制御することにより、オリジナルフレームと補間フレームとを組み合わせて新たなフレーム列を生成するフレーム列生成部の機能も併せ持つ。
動きベクトル検出部24では、上述のように、現フレーム信号21と前フレーム信号22により動きベクトル27を検出する。この検出方法としては、例えばブロックマッチング法や勾配法、位相相関法等どれを用いてもよいが、ここでは、例えば図3に示すようなN×N(Nは整数)のブロックマッチング法を用いるものとする。このブロックマッチング法の一例について図3を参照しつつ説明する。
図3は、入力映像信号に含まれる第1のフレームである現フレーム信号21、及び前フレーム信号22から、その両フレーム間に挿入される補間フレーム信号33を生成する場合を例示している。補間フレーム33上の対象ブロック(1画素でもよい)34について補間(補間画素を作成)しようとする場合、現フレーム信号21、及び前フレーム信号22それぞれについて対象ブロック34と空間的に同一の位置にあるブロックを中心として、図3において点線で示された所定ブロック数の検索範囲35を設ける。図3の例では、この検索範囲35を、水平11ブロック、垂直5ブロックと設定している。次に、対象ブロック34を中心として、時間方向に点対称の位置にある現フレーム信号21、及び前フレーム信号22上のブロック同士を一組のブロックとして抽出する。このブロックペアの抽出を上記検索範囲35にある全ブロックについて行い、各ブロックペア同士の差分値を求める。そして、この最も差分値が小さいブロックペア36を検出し、そのブロックペアを結ぶ直線の方向が動きベクトル27として検出される(以下、このような処理を「差分値マッチング演算」と称する)。
このようにして得られた動きベクトル27は、補間フレーム生成部25へ入力される。補間フレーム生成部25では、補間フレーム33中の対象ブロック34の画素値を、前記差分値が最小となる(つまり動きベクトル27が指し示す)ブロックペアの画素値の平均値として算出する。このようにして、補間フレーム33中の補間画素が求められる。この処理を、補間フレームの全画素について行うことによって、1枚の補間フレームが完成される。
この図3は、例えば60Hzから120Hzへフレームレートを変換する場合のように、入力される映像信号における2つのオリジナルフレーム間の、時間的に中間の重心位置に1枚の補間フレームを挿入する場合を示している。これに対し、図4に示されるように、2−3プルダウン信号のようにフレームレートを24Hzから60Hzへの変換する場合(より正確に言えば、2−3プルダウン形式のフレームレートが60Hzの信号を、非プルダウン形式のフレームレートが60Hzの信号に変換する場合)等、キーフレーム間に複数枚の補間フレームを挿入する場合もある。このような場合における補間フレーム作成の一例について図4を参照しつつ説明する。
図4においては、現フレーム信号21と前フレーム信号22との間に、第1補間フレーム43と第2補間フレーム44が挿入される。ここで、現フレーム信号21と前フレーム信号22は、2−3プルダウン信号におけるオリジナルフレームであり、その映像内容は互いに異なるものであるとする。すなわち、上述した2−3プルダウン信号のフレーム列AA、BBB、CC…における隣接フレーム「A」、「A」または「B」、「B」を第1及び第2補間フレームとして用いるのではなく、第1補間フレーム43を「A」とした場合は、第2補間フレーム44を「B」とする。また第1補間フレーム43を「B」とした場合は、第2補間フレーム44を「C」とする。
第1補間フレーム43における対象ブロック45に対して、現フレーム信号21上では第1検索範囲41を、前フレーム信号22上では第2検索範囲42を設定する。図4から明らかなように、検索範囲42のほうが検索範囲41よりも大きくなっている。これは、現フレーム信号21から第1補間フレーム43までの時間的距離が、前フレーム信号22から第1補間フレーム43までの時間的距離に比べて短いためである。よって、第1補間フレーム43の対象ブロック45を中心とした点対称位置にある現フレーム信号21及び前フレーム信号22上のブロックから上記差分値マッチング演算を行う際、設定できる検索範囲の大きさが異なることになる。同様に、第2補間フレーム44上の対象ブロック46についても、その現フレーム信号21及び前フレーム信号22との時間的距離(重心位置)の違いから、現フレーム信号21上では検索範囲42を、前フレーム信号22上では、それとは大きさが異なる検索範囲41が設定される。
上記図3で示された変換(60Hz→120Hz)への変換処理と同様に、第1補間フレーム43の対象ブロック45、第2補間フレーム44の対象ブロック46のそれぞれについて、現フレーム信号21及び前フレーム信号22上に設定された検索範囲41、42内において差分値マッチング演算を行う。これにより、上記と同様に最も差分値が小さいブロックペアを抽出し、そのブロック同士を結ぶ直線の方向が動きベクトル27−1、27−2として検出される。この例では、補間フレームが2つ存在するために、補間画素生成のために必要な動きベクトルも2つ(図4中の符号27−1、27−2)となる。
このようにして得られた動きベクトル27−1、27−2は、上記と同様に補間フレーム生成部25へ入力される。補間フレーム生成部25では、この2つの動きベクトル27−1、27−2を用いて、第1補間フレーム43、及び第2補間フレーム44のそれぞれの時間的重心位置を考慮して補間画素値を算出する。具体的には、第1補間フレーム421上の対象ブロック45、及び第2補間フレーム44上の対象ブロック46の画素値(それぞれI(1)、I(2)とする)は、時間方向の重心位置を考慮した荷重加算によって、それぞれ下記数1及び数2で算出される。
(数1) I(1)=(3*Y1_a+2*Y0_a)/5
(数2) I(2)=(Y1_b+4*Y0_b)/5
ここで、Y1_aは、動きベクトル27−1が指し示す現フレーム信号21の画素値、Y0_aは、動きベクトル27−1が指し示す前フレーム信号22の画素値、Y1_bは、動きベクトル27−2が指し示す現フレーム信号21の画素値、Y0_bは、動きベクトル27−2が指し示す前フレーム信号22の画素値を示している。
ここで、数1において画素Y1_aに係数として「3」が乗算され、画素Y0_aに係数として「2」が乗算されるのは、第1補間フレーム43と現フレーム信号21との時間的距離と、第1補間フレーム43と前フレーム信号22との時間的距離との比が、2:3であるためである。同様に、数2において画素Y1_bに係数として「1」が乗算され、画素Y0_bに係数として「4」が乗算されるのは、第2補間フレーム44と現フレーム信号21との時間的距離と、第2補間フレーム43と前フレーム信号22との時間的距離との比が、4:1であるためである。
図5は、上記時間方向の荷重加算の一例を示しており、24Hzのフレーム51〜53を、60Hzのフレーム54〜59の変換する場合の例を示している。尚、図5中、丸印の数字は、補間フレーム生成際の荷重値(係数)を示している。図5に示されるように、フレーム51の画素値に係数「3」を、フレーム52に係数「2」を乗算し、上記数1または2に示した演算によりフレーム55が求められる。同様に、フレーム56を求める場合はフレーム51の画素値に係数「1」を、フレーム52に係数「4」を乗算し、フレーム57を求める場合は、フレーム52の画素値に係数「4」を、フレーム53に係数「1」を乗算し、フレーム58を求める場合は、フレーム52の画素値に係数「2」を、フレーム53に係数「3」を乗算する。尚、フレーム54、59は、それぞれフレーム51、53と同一の映像内容を持つものであり、それぞれフレーム51、53がそのままコピーされて生成される。
補間フレーム生成部25は、このような演算を行うことにより、2つのオリジナルフレーム間に複数の補間フレームを挿入する場合の補間フレームを生成する。
メモリインターフェース部26では、補間フレーム生成部25からの補間フレームのデータを画像メモリ14へ書き込まれる。またメモリインターフェース部26は、既に記憶されたオリジナルフレーム信号と上記書き込まれた補間フレームとをFRC変換モード信号9に応じたタイミングで読み出しを行うことにより、オリジナルフレームと補間フレームとの組み合わせを行う。例えば、FRC変換モード信号9がフレームレートを60Hzから120Hzに変換するモードを示す場合は、メモリインターフェース部26は、オリジナルフレーム信号と補間フレームとを1/120秒周期で交互に読み出すことにより、2つのオリジナルフレーム間に補間フレームを挿入する。これにより、補間フレームを含む新たなフレーム列29を生成して出力する。またFRC変換モード信号9がフレームレートを24Hzから60Hzに変換するモードを示す場合は、メモリインターフェース部26は、図5に示すように、フレーム54(オリジナルフレーム51)とフレーム59(オリジナルフレーム53)との間に4つのフレーム55〜58を挿入するように、これらフレームを1/60周期で読み出す。このとき、オリジナルフレーム52は削除される。よって、当該処理は、オリジナルフレーム52を補間フレーム55〜58に置き換えるものである。正確には、オリジナルフレーム51と52との間にあるオリジナルフレーム51または52と同一内容のフレーム、及びオリジナルフレーム52と53との間にあるオリジナルフレーム52または53と同一内容のフレームも、オリジナルフレーム52とともに、補間フレーム55〜58に置き換えられる。
ここで、本発明者等がフレームレート変換についての動画質評価により得られた新たな知見について以下に説明する。
60Hzから120Hzまたは30Hzから60Hzへの変換のようにフレームレートを整数倍にする変換で、オリジナルフレーム間に補間フレームが1つしか挿入されない場合、前記挿入される補間フレームの画質が動きベクトル誤検出等により多少劣化が現れたとしても、人間の目では、それはほとんど認識されない。結果として、時間的な解像度が向上したことによる視覚的効果(動画の滑らかさの向上)の方が大きい。これに対し、24Hzから60Hz、50Hzから60Hzへの変換のようにフレームレートを非整数倍にする変換で、オリジナルフレーム間に複数の補間フレームが挿入される場合、前記補間フレームの画質が動きベクトル誤検出等で劣化が現れると、その劣化画像が時間的に2枚以上続くことになる。このため、かかる劣化画像が人間の目でも認識され、時間的な解像度向上の効果よりも、画質の劣化が目立ってしまうことになる。つまり、時間的に2枚以上劣化画像が続いた場合、人間の目はそれを認識してしまう。
次に、前記動きベクトル誤検出による劣化画像に関して説明する。動きベクトルの検出においては、上述のように、基本的に現フレーム映像と前フレーム映像からブロック単位、画素単位での差分値マッチング演算によるフレーム間の相関を求めし、この相関が最も高い位置の画素値から補間フレームの画素値を算出する。しかしながら、例えば図6に示すように、フレーム間において対象動物体60が障害物61の裏を通り抜けるような画像の場合、対象動物体61の一部は数フレーム間映像中に存在しなくなる。このような場合、対象動物体61についての正確な動きベクトルを算出することができない。
また、通常、動きベクトル検出においては、その信頼性向上のために、ある画素の周囲の画素についての動きベクトルや、画面全体の動きベクトルを参照して、当該上記ある画素の動きベクトルを修正する場合が多い。これにより、画面全体が一定方向へパンしているような映像ではかなり精度の高い動きベクトルが得られるが、画面中に複数の異なる動きが存在するような映像の場合は、正確な動きベクトル検出が急激に難しくなる。さらに、2フレーム間で、図3、図4で示されたような動きベクトルの検索範囲35、41及び42を超えるような早い動きの場合においても、正確なベクトル検出が行えず、画像の破綻を招くことになる。最も単純な対策としては、動きベクトル検索範囲を拡げることが考えられるが、その分誤検出する可能性も増えると共に、演算量の増大、及びハードウェア化を考えた場合の回路規模の増大を招くだろう。
そこで本実施例では、入力映像信号のフォーマット、またはフレームレート変換のモードに応じてその補間方法、すなわち補間フレームの作成方法を切り替えることでこの問題を解決するものである。つまり、フレームレート変換のモードが整数倍(の変換例えば60Hz→120Hz)であるか、非整数倍の変換(例えば50Hz→60Hz)であるかによって、その補間方法を変更する。後者の場合は、例えば2−3プルダウン信号を非プルダウン形式の60Hzの信号に変換するような、補間フレームをオリジナルフレームと置き換えつつフレームレートを変化させない処理も含まれる。
図7は、本実施例に係る補間方法の変更の概念を示す図である。前述したように、動きベクトルの誤検出が起こった場合、補間フレームが4枚連続する変換モードでは、画像の破綻が人間の目に認識され易い。そこで、図7に示すように、通常削除するオリジナルフレーム72をそのまま補間フレーム75、76として生成し、使用する。補間フレーム74、77については、図4に示されたような方法で通常通り生成する。つまり、フレームレートを24Hzから60Hzに変換する場合に、変換後のフレーム列が時間的に等間隔とするために削除されていたオリジナルフレーム72を、そのまま補間フレーム位置にスライドして用いている。上記補間フレーム75、76は、オリジナルフレーム72をコピーして生成したものであり、動きベクトルを使用せずに生成される。つまりオリジナルフレーム72と同一の映像内容を持っている。
これにより、オリジナルフレーム71と72との間の補間フレームを、動きベクトルを用いて生成された補間フレームが2枚以上続かないフレーム構成とすることができる。これにより、動きベクトルを用いることによって生じる画像の破綻の認識を軽減できる。ここでは、この補間方法をフレームスライド方式と呼ぶこととする。勿論、本方式により、フレームレート変換による本来の効果である動画の滑らかさ、完璧な補間フレームが生成された場合と比べて低減されることとなる。しかしながら、現実的な演算量、ハードウェア構成での現在のベクトル検出技術においては、どのような画像に対しても完璧な補間フレームを生成することは難しい。よって、結果的に映像の破綻が認識されるよりは、上述の動画改善効果は多少軽減されるものの、破綻が認識されない変換の方が好ましいと考えられる。
尚、図7の例では、削除されるオリジナルフレーム72を2回繰り返すことにより、補間フレーム75及び76を生成したが、これに限られるものではない。例えば、フレーム71を2回繰り返すことにより、補間フレーム71及び74を生成し、またフレーム73を2回繰り返すことにより、補間フレーム77及び77を生成してもよい。このとき、補間フレーム75は、動きベクトルを用いてオリジナルフレーム71と72から生成され、補間フレーム76は、動きベクトルを用いてオリジナルフレーム72と73から生成される。また、図7の例では、補間フレーム75及び76の両方を削除されるオリジナルフレーム72のコピーとしているが、いずれか一方のみでもよい。このとき、他方は、上述と同様に動きベクトルを用いてオリジナルフレーム72と71もしくは73とから生成される。
図8は、図7とは別の補間方法を示している。図8において、図7の構成要素と同一の構成要素に関しては、同一の符号を付してその説明を省略する。
図8では、図7で示したようにオリジナルフレーム72をそのまま補間フレーム位置にスライドするのではなく、オリジナルフレーム71と72の直線補間によって補間フレーム81を生成する。つまり、補間フレーム81は、オリジナルフレーム71と72の平均値により求められる。同様に、補間フレーム82は、オリジナルフレーム72と73の直線補間によって生成する。つまり、補間フレーム82は、オリジナルフレーム72と73の平均値により求められる。この際、図5に示したように、時間方向の重心位置を考慮した荷重加算を行う。この補間方法を直線補間方式と呼ぶこととする。
また、図8の例では、補間フレーム81及び82を平均補間により生成したが、これに代えて、補間フレーム74及び77を平均補間により生成してもよい。このとき、補間フレーム81は、動きベクトルを用いてオリジナルフレーム71と72から生成され、補間フレーム77は、動きベクトルを用いてオリジナルフレーム72と73から生成される。また、図8の例では、補間フレーム75及び76の両方を平均補間により生成しているが、いずれか一方のみでもよい。このとき、他方は、上述と同様に動きベクトルを用いてオリジナルフレーム72と71もしくは73とから生成される。
尚、上記図7、図8の例では、フレームスライド方式による補間、及び直線補間方式による補間を2箇所の補間フレーム位置に適用したが、これに限るものではなく1、もしくは3箇所に適用してもよい。
図9、図10は、上記図7、図8で示した補間方式を行うための補間フレーム生成部25の一構成例をそれぞれ示している。
図9において、現フレーム信号21、前フレーム信号22は、水平/垂直方向補間画素選択部95、及びFRC出力セレクタ部97に入力される。水平/垂直方向補間画素選択部95では、動きベクトル27で指し示された現フレーム信号21、前フレーム信号22上の対象画素をそれぞれ選択する。ここで、動きベクトル27は、図3または図4で説明されたものと同様な方法で検出されるものとする。時間方向補間処理部96では、前記選択された水平/垂直方向の対象画素を用いて、FRC変換モード信号9に応じた荷重加算演算により、補間画素を算出する。FRC変換モード信号9が例えば24Hzから60Hzへの変換モードを示す場合は、時間方向補間処理部96は、図5に示したような演算を実行する。
セレクタ部97では、FRC変換モード信号9に応じて、フレームスライド方式への切替を行う。つまり、FRC変換モード信号9が例えば24Hzから60Hzへの変換モードを示す場合は、図7に示したように、補間フレーム75、76の時間重心位置でキーフレームを繰り返す制御を行う。すなわち、セレクタ部97は、FRC変換モード信号9が上記変換モードを示す場合は、時間方向補間処理部96の出力に代えて、現フレーム信号21または前フレーム信号22の信号を選択して出力する。
尚、本構成ではFRC変換モードによって強制的にフレームスライド方式を行う構成としているが、これに限られるものではない。例えば、FRC変換モードによって、フレームスライド方式を利用しないモードを設ける構成としてもよい。また、FRC3の出力切替は、補間フレーム生成部25で実行しなくてもよく、メモリインターフェース部26によるデータ読み出し制御によって実行してもよい。
図10は、直線補間方式の構成例を示すものであり、図9の構成要素と同一の構成要素に関しては、同一の符号を付してその説明を省略する。図10において、セレクタ部97には、動きベクトル検出部23にて検出された動きベクトル27と、ベクトル“0”が入力されている。ここで、ベクトル“0”とは、動きがないことを示している。FRC変換モード信号9に応じて、動きベクトル検出部23にて検出された動きベクトル27と、ベクトル“0”を切り替える。つまり、FRC変換モード信号9が例えば24Hzから60Hzへの変換モードを示す場合は、図8に示したように、補間フレーム75、76の時間重心位置で動きベクトルが“0”になり、これにより直線補間を実行される。
尚、本例では動きがない場合のベクトルを“0”で表現したが、これに限ることはなく、直線補間を行えるものであれば、どのような構成でもかまわない。
以上のように、本実施例では、入力映像信号のフォーマット、またはFRCの変換モードに応じて画像破綻の少ない最適な変換を実行し、最適な画像を得ることが可能となる。
次に、図11〜図17を用いて、本発明に係る第2実施例について説明する。図11は、第2実施例に係るフレームレート変換部の一構成例を示しており、図2に示した構成要素と同一の構成要素に関しては、同一の符号を付してその説明を省略する。本実施例は、検出された動きベクトルの特徴に応じて、補間方法の切替を行うことを特徴としている。以下、その詳細について、上述した第1実施例と異なる部分を中心に説明する。
図11の例は、図2に示された例に、更に動きベクトル27から動き判定信号12を生成して補間フレーム生成部28を制御する動き判定部11を設けたものである。動き判定部11は、動きベクトル27に基づき対象フレームの動きの特徴を検出し、動き判定信号12を出力する。この動きの特徴は、例えば1画面中の動きベクトルのヒストグラムによりを検出される。図12は、動きヒストグラム検出結果の一例を示したものである。図12のテーブルにおいて、列方向は、動きベクトル検出部24でのベクトル検出範囲の垂直方向5ブロックに対応し、行方向は、ベクトル検出範囲の水平方向11ブロックに対応している。
図12のテーブルをグラフ化したものを図13に示す。図13のグラフのX軸はベクトル検出範囲の水平方向に対応し、Y軸はベクトル検出範囲の垂直方向に対応している。またZ軸は、動きベクトルの出現頻度を示している。図13の例ではベクトル(0,0)周辺に多くの動きベクトルが集中し、ほとんど動きがないことが読み取れる。本実施例では、このヒストグラムをベクトルヒストグラム分布と呼ぶ。動き判定部11ではこのベクトルヒストグラム分布を用いて動きの特徴を判定する。判定された動きの特徴に応じて、フレームスライド方式、もしくは直線補間方式へ切り替える。
例えば図14に示すように検索範囲の境界部分に所定閾値以上集中する場合、その画面は検索範囲を超える早い動きの物体が多いと判定する。別の判定の仕方として、動きが検索範囲を超えた場合には、正確にマッチング(つまり現フレームと前フレームとの差分)がとれるパターン(補間フレーム内のある補間画素を中心とする直線のパターン)が存在しなくなることを利用してもよい。すなわち、正確にマッチングがとれないときは、検索範囲内では同じマッチング値を持つブロックが複数存在する場合がある。かかる場合において、マッチング値が同じ場合にベクトル(0,0)、もしくはそれに近いベクトルを優先してカウントするようなアルゴリズムを用いている場合は、図15に示すように、ベクトル(0,0)に分布が集中することが考えられる。この場合、所定閾値以上、ベクトル(0,0)に分布が集中する場合は検索範囲を超える動きが存在したと判定する。尚、ベクトル(0,0)に集中するかどうかは動きベクトルの検出アルゴリズム次第であり、これに限られものではない。
また、図16に示すように、所定閾値以上の分布が散乱している場合は複数の動きが存在する画像であると判定する。
動き判定部11は、上記図14〜16のようなベクトルヒストグラム分布を持つ映像が入力された際には、その旨を示す動き判定信号12を出力する。動き判定信号12は例えば1または0を示す1ビットの信号でよい。つまり、図14〜16のようなベクトルヒストグラム分布を持ち、ベクトル誤検出が見込まれるような映像パターンであれば1、そうでなければ0を出力する。そして補間フレーム作成部25は、動き判定信号12が1の場合は、上述にフレームスライド方式もしくは直線補間放棄のように動きベクトルを用いないで補間フレームを作成する。一方、0の場合は、図3、図4で示されたような動きベクトルを用いて補間フレームを作成する。
図17は本実施例における、補間フレーム生成部25の一構成例を示すブロック図である。図17において、図9に示した構成要素と同一の構成要素に関しては、同一の符号を付してその説明を省略する。セレクタ部97では、動きベクトル検出部24にて検出された動きベクトル27を用いて生成された補間フレームデータと、オリジナルフレームデータ21、22が入力される。一方、論理積演算部13は、FRC変換モード信号9と動き判定信号12とが入力される。そして論理積演算部13は、FRC変換モード信号9が例えば24Hzから60Hzへの変換モードを示し、かつ動き判定信号12が“1”の場合に、「1」出力し、それ以外の場合は「0」をセレクタ部97に出力する。セレクタ部97は、論理積演算部13からの信号が「1」の場合は、オリジナルフレームデータを選択してフレームスライド方式を実行する。論理積演算部13からの信号が「0」の場合は、セレクタ部97、時間方向補間処理部96を選択する。
直線補間方式を利用する場合は、図10のセレクタ部97への制御信号として、上述の論理積演算部13からの信号を用いればよい。すなわち、上述の条件で論理積演算部13からの信号が「1」の場合は、直線補間方式を実行し、「0」の場合は動きベクトルを用いた補間フレームを作成する。
以上のように本実施例では、入力された画像の動きの特徴に応じて、補間方法を切り替えることが可能となり、より映像破綻の少ないフレームレート変換を実現することができる。
図18は、本発明の第3実施例を示しており、他の図面に示した構成要素と同一の構成要素に関しては、同一の符号を付してその説明を省略する。
本実施例は、FRC変換モードに応じて、入力された画像全体の大まかな動き(グローバルベクトル)を検出し、このグローバルベクトルに応じて補間方法を切り替えることを特徴とするものである。これにより、より動画改善効果を保ちつつ、画像破綻を軽減させるものである。以下、その詳細について、図18及び19を参照しつつ、上述した第1実施例と異なる部分を中心に説明する。
動き判定部19では、前記第2実施例にて説明したように、動きベクトルのヒストグラムを検出する。更に動き判定部19は、このヒストグラムから、カウント数が所定閾値以上であるベクトルをグローバルベクトル18として、上述の動き判定信号12とともに補間フレーム生成部25へ出力する。例えばヒストグラム検出結果が図12に示すような場合で、所定閾値を30000とした場合、グローバルベクトルは(0,0)となる。第2実施例でも説明したように、動きベクトルの検出アルゴリズムによっては、検索範囲を超えた動きに関しては、分布がベクトル(0,0)に集中する場合が考えられる。その場合は、所定閾値を2つ以上設け、カウント値が第1値以上で第2閾値2以下の場合に、そのベクトルをグローバルベクトルとしてもよい。
図19は、本実施例における補間フレーム生成部25の一構成例を示すブロック図である。図19において、他の図に示した構成要素と同一の構成要素に関しては、同一の符号を付してその説明を省略する。セレクタ部97には、動きベクトル検出部23にて検出された動きベクトル27と、動き判定部11から出力されるグローバルベクトル18が入力される。一方、論理積演算部13は、図17の例と同様に、FRC変換モード信号9と動き判定部19からの動き判定信号12とが入力される。そして論理積演算部13は、FRC変換モード信号9が例えば24Hzから60Hzへの変換モードを示し、かつ動き判定信号12が“1”の場合に、「1」出力し、それ以外の場合は「0」をセレクタ部97に出力する。セレクタ部97は、論理積演算部13からの信号が「1」の場合は、動きベクトルとしてグローバルベクトル18を選択する。また論理積演算部13からの信号が「0」の場合は、動きベクトル27を選択する。
水平/垂直方向補間画素選択部95では、補間フレーム中全ての補間画素について、前記グローバルベクトル18で示された現フレーム信号21、前フレーム信号22内の画素を選択する。時間方向補間処理部97では、グローバルベクトル18で示された水平/垂直方向の画素を用いて、FRC変換モードに応じた荷重加算演算により、補間画素を算出する。つまり、本実施例では、動き判定信号が1である補間フレームに対しては、全て同じ方向の動きベクトル(グローバルベクトル)を用いて補間演算を行う。
以上のように、本実施例では、特に画面全体が一定方向にパンしているような映像に対して、FRCによる動画改善効果を最大限に得ることができ、且つベクトル誤検出による映像破綻を軽減することが可能となる。
図18は、本発明の第3実施例を示しており、他の図面に示した構成要素と同一の構成要素に関しては、同一の符号を付してその説明を省略する。本実施形態は、スポーツ、ニュース、映画等の番組のジャンルに応じて最適な補間方法へ切り替えることを特徴とするものである。以下、その詳細について、図20及び21を参照しつつ、上述した第1実施例と異なる部分を中心に説明する。
BS/CS/地上デジタルテレビ放送では、映像/音声/データ放送以外に番組に関する情報(例えば番組の名称、番組内容、番組放送日、番組放送開始時間、番組放送継続時間、放送チャンネル、番組ジャンルコードなど)も電波に重畳して送出されている。BS/CS/地上デジタルテレビ放送受信装置では、放送局から送出されるEIT(Event Information Table)と呼ばれる番組情報を利用して電子番組表機能をユーザに提供している。本実施例では、そのEITを用いてFRC3を制御するためのEITデータ処理部202を設けたものである。具体的には、EITデータ処理部202は、受信したEIT内のコンテント記述子で使用されている1バイトの番組ジャンルコードを用いて、現在受信中のテレビジョン信号の番組がどのジャンルかを判定し、そのジャンルに対応したEIT判定信号203を生成する。番組のジャンルと判定信号との対応関係の例が図21に示されており、EITデータ処理部202は、例えば図21の対応関係を保持したテーブルを参照して受信番組に対応するEIT判定信号を選択する。このEIT判定信号203は、FRC3を制御するための制御信号としてFRC3へ出力される。
本実施例のシステムは、例えばフレームレートが60Hzのコンテンツが入力された場合は120Hzのフレーム列を生成するモードと、フレームレートが24Hzのコンテンツが入力された場合は60Hzのフレーム列を生成するモードの、2種類のFRC変換モードを搭載している場合に有用である。本実施例では、図21に示されるように、受信番組が、60Hzのフレームレートを持つジャンルであれば「0」、アニメや映画のように24Hzのフレームレートを持つ可能性が高いジャンルであれば「1」をEIT判定信号203として出力するように上記テーブルが構成される。
そして、EIT判定信号203が「0」のときは図3または図4に示された動きベクトルを用いた補間フレームを生成してフレームレート変換を行い、「1」のときは、フレームスライド方式、直線補間方式によって動きベクトルを用いない補間フレームも生成してフレームレート変換を行う。
以上のように本実施例では、ユーザが視聴する番組のジャンルデータに応じて補間方式を切り替えることが可能となる。
尚本実施例においては、番組ジャンルを8つに分類しているが、当然これに限るものではない。例えば、その8分類を主分類とし、その主分類に従属する複数の副分類を設定することで、より細かい番組ジャンルに応じて補間方法を切り替えるようにしてもよい。
本発明の第1実施例を示すブロック図。 FRC3の一構成例を示す。 ブロックマッチング法による補間フレーム生成の一例を示す図。 ブロックマッチング法による補間フレーム生成の他の一例を示す図。 FRCのおける時間方向の荷重加算を説明する。 動きベクトルを誤検出し易い映像パターンの一例を示す図。 補間方式の一つであるフレームスライド方式の例を示す図。 補間方式の一つである直線補間方式の例を示す図。 第1実施例における補間フレーム生成部の一構成例を示す図。 第1実施例における補間フレーム生成部の一構成例を示す図。 本発明の第2実施例を示すブロック図。 ヒストグラム検出結果の一例を示す図。 ベクトルヒストグラム分布の一例を示す図。 ベクトルヒストグラム分布の一例を示す図。 ベクトルヒストグラム分布の一例を示す図。 ベクトルヒストグラム分布の一例を示す図。 第2実施例における補間フレーム生成部の一構成例を示す図。 本発明の第3実施例を示すブロック図。 第3実施例における補間フレーム生成部の一構成例を示す図。 本発明の第4実施例を示すブロック図。 第4実施例における補間フレーム生成部の一構成例を示す図。
符号の説明
1…入力映像信号、2…解像度変換部、3…フレームレート変換(FRC)部、4…画像メモリ、5…タイミングコントロール部、6…表示部、7…FRC変換モード信号、24…動きベクトル検出部、25…補間フレーム生成部、26…フレーム列生成部(メモリI/F)。

Claims (17)

  1. 映像信号処理装置において、
    入力映像信号に含まれる複数のフレームから、映像の動きベクトルの情報を検出する動きベクトル検出部と、
    補間フレームを作成するための補間フレーム生成部と、
    前記補間フレーム生成部で生成された補間フレームと前記入力映像信号のフレームとを組み合わせて、新たなフレーム列の映像信号を生成して出力するためのフレーム列生成部と、を備え、
    前記補間フレーム生成部は、前記動きベクトル検出部で検出された動きベクトルを用いて前記補間フレームの作成が可能であり、かつ前記入力映像信号のフォーマットに応じて、異なる補間フレーム生成処理を行うことを特徴とする映像信号処理装置。
  2. 請求項1に記載の映像信号処理装置において、前記補間フレーム生成部は、前記入力映像信号が非プルダウン形式の場合は第1の補間フレーム生成処理を行い、前記入力映像信号が2−3プルダウン形式の場合は第2の補間フレーム生成処理を行うことを特徴とする映像信号処理装置。
  3. 請求項2に記載の映像信号処理装置において、
    前記第1の補間フレーム生成処理は、前記非プルダウンの映像信号内の時間的に連続する第1及び第2のフレームから検出された動きベクトルを用いて、該第1及び第2のフレーム間に挿入される補間フレームを作成する処理であり、
    前記第2の補間フレーム生成処理は、前記2−3プルダウンの映像信号内の、互いに異なる映像情報を持ち、かつ時間的に連続する第1、第2及び第3のフレームのうち、第1及び第2、または第2及び第3のフレームから検出された動きベクトルを用いて第1の補間フレームを作成するとともに、前記第2のフレームと同じ映像情報を持つ第2の補間フレームを作成する処理であり、
    前記第1から第3のフレーム間に存在するフレームが、前記第1及び第2の補間フレームに置き換えられることを特徴とする映像信号処理装置。
  4. 請求項2に記載の映像信号処理装置において、
    前記第1の補間フレーム生成処理は、前記非プルダウンの映像信号内の時間的に連続する第1及び第2のフレームから検出された動きベクトルを用いて、該第1及び第2のフレーム間に挿入される補間フレームを作成する処理であり、
    前記第2の補間フレーム生成処理は、前記2−3プルダウンの映像信号内の、互いに異なる映像情報を持ち、かつ時間的に連続する第1、第2及び第3のフレームのうち、第1及び第2、または第2及び第3のフレームから検出された動きベクトルを用いて第1の補間フレームを作成するとともに、前記第1及び第2または前記第2及び第3のフレームの平均値から生成された第2の補間フレームを作成する処理であり、
    前記第1から第3のフレーム間に存在するフレームが、前記第1及び第2の補間フレームに置き換えられることを特徴とする映像信号処理装置。
  5. 映像信号処理装置において、
    入力映像信号に含まれる複数のフレームから、映像の動きベクトルの情報を検出する動きベクトル検出部と、
    補間フレームを作成するための補間フレーム生成部と、
    前記補間フレーム生成部で生成された補間フレームと前記入力映像信号のフレームとを組み合わせて、新たなフレーム列の映像信号を生成して出力するためのフレーム列生成部と、を備え、
    前記補間フレーム生成部は、前記動きベクトル検出部で検出された動きベクトルを用いて前記補間フレームの作成が可能であり、
    前記フレーム列生成部は、
    第1映像信号内の第1及び第2のフレーム間の動きベクトルを用いて生成されたの補間フレームを挿入する第1のフレーム列生成処理と、
    第2映像信号内の第1及び第2のフレーム間のフレームを、該第1及び第2のフレーム間の前記動きベクトルを用いて生成された第1の補間フレームと、前記動きベクトルを用いずに生成された第2の補間フレームとに置き換える第2のフレーム列生成処理と、
    を実行可能であることを特徴とする映像信号処理装置。
  6. 請求項5に記載の映像信号処理装置において、
    前記第1のフレーム列生成処理は、前記新たなフレーム列の信号のフレームレートを前記入力映像信号のフレームレートよりも大きくする処理であり、
    前記第2のフレーム列生成処理は、前記新たなフレーム列の信号のフレームレートを前記入力映像信号のフレームレートから変化させない処理であることを特徴とする映像信号処理装置。
  7. 請求項6に記載の映像信号処理装置において、
    前記第1映像信号は非プルダウン形式の60Hzのフレームレートを持つ映像信号であり、前記第2映像信号は2−3プルダウン形式の60Hzのフレームレートを持つ入力映像信号であり、
    前記第1のフレーム列生成処理は、前記第1映像信号を、前記補間フレームを含む120Hzまたは90Hzのフレームレートを有する前記新たなフレーム列の信号に変換する処理であり、
    前記第2のフレーム列生成処理は、2−3プルダウン形式の60Hzのフレームレートを持つ入力映像信号を、前記第1及び第2の補間フレームを含む60Hzのフレームレートを有する前記新たなフレーム列の信号に変換する処理であることを特徴とする映像信号処理装置。
  8. 映像信号処理装置において、
    入力映像信号に含まれる複数のフレームから、映像の動きベクトルの情報を検出する動きベクトル検出部と、
    補間フレームを生成する補間フレーム生成部と、
    前記補間フレーム生成部で生成された補間フレームと前記入力映像信号のフレームとを組み合わせて、新たなフレーム列の映像信号を生成して出力するためのフレーム列生成部と、を備え、
    前記補間フレーム生成部は、前記入力映像信号が所定フォーマットを有する場合は、前記補間フレームとして第1の補間フレーム及び第2の補間フレームを生成し、
    前記フレーム列生成部は、前記所定フォーマットの映像信号の、互いに異なる映像内容を持つ第1及び第2のフレーム間のフレームを、前記第1及び第2の補間フレームに置き換えて新たなフレーム列の映像信号を生成し、
    前記第1及び第2の補間フレームのうち少なくともいずれか1つの生成方法が、前記動きベクトル検出部で検出された動きベクトルの特徴に応じて変更されることを特徴とする映像信号処理装置。
  9. 請求項8に記載の映像信号処理装置において、前記所定フォーマットの映像信号は、2−3プルダウン形式の映像信号であることを特徴とする映像信号処理装置。
  10. 請求項8に記載の映像信号処理装置において、前記補間フレームの生成方法の一方は、前記動きベクトルを用いて補間フレームを生成する第1の生成方法であり、他方は、該動きベクトルを用いずに補間フレームを生成する第2の生成方法であることを特徴とする映像信号処理装置。
  11. 請求項10に記載の映像信号処理装置において、前記動きベクトルの特徴は、該動きベクトルの所定検出範囲におけるヒストグラムであることを特徴とする映像信号処理装置。
  12. 請求項11に記載の映像信号処理装置において、前記動きベクトルのヒストグラムによって前記所定検出範囲を超える動きが存在するかを判定し、当該所定領域を超える動きが存在する場合は前記第1の生成方法が選択され、存在しない場合は前記第2の生成方法が選択される選択されることを特徴とする。
  13. 請求項10に記載の映像信号処理装置において、前記第2の生成方法は、前記第1及び第2のフレーム間に存在しかつ第1及び第2のフレームとは異なる映像内容を持つ第3のフレームの繰り返しにより前記一方の補間フレームを生成する方法であることを特徴とする映像信号処理装置。
  14. 請求項10に記載の映像信号処理装置において、前記第2の生成方法は、前記第1及び第2のフレーム間に存在しかつ第1及び第2のフレームとは異なる映像内容を持つ第3のフレームと、前記第1または第2のフレームとの平均値により前記一方の補間フレームを生成する方法であることを特徴とする映像信号処理装置。
  15. 請求項8に記載のフレームレート変換装置において、入力映像の中で最も多く検出された動きベクトルをグローバルベクトルとするとともに、該グローバルベクトルを用いて前記第1及び第2の補間フレームを生成することを特徴とする映像信号処理装置。
  16. 請求項9に記載のフレームレート変換装置において、更に、入力映像信号が表す番組のジャンルによって、前記補間フレームの生成方法を変更するようにしたことを特徴とする映像信号処理装置。
  17. 請求項1〜16記載のいずれかに記載の映像信号処理装置を備えた画像表示装置。
JP2006353693A 2006-12-28 2006-12-28 映像変換装置、映像表示装置、映像変換方法 Active JP4438795B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006353693A JP4438795B2 (ja) 2006-12-28 2006-12-28 映像変換装置、映像表示装置、映像変換方法
US12/004,959 US8559517B2 (en) 2006-12-28 2007-12-21 Image processing apparatus and image display apparatus provided with the same
CN2007101605656A CN101212593B (zh) 2006-12-28 2007-12-25 影像处理装置和包括该影像处理装置的影像显示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006353693A JP4438795B2 (ja) 2006-12-28 2006-12-28 映像変換装置、映像表示装置、映像変換方法

Publications (2)

Publication Number Publication Date
JP2008167102A true JP2008167102A (ja) 2008-07-17
JP4438795B2 JP4438795B2 (ja) 2010-03-24

Family

ID=39612214

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006353693A Active JP4438795B2 (ja) 2006-12-28 2006-12-28 映像変換装置、映像表示装置、映像変換方法

Country Status (3)

Country Link
US (1) US8559517B2 (ja)
JP (1) JP4438795B2 (ja)
CN (1) CN101212593B (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010057010A (ja) * 2008-08-29 2010-03-11 Sharp Corp 画像表示装置
JP2010088133A (ja) * 2010-01-04 2010-04-15 Toshiba Corp 画像処理装置、および画像処理方法
JP2010148037A (ja) * 2008-12-22 2010-07-01 Toshiba Corp 動画像再生装置、動画像再生方法および動画像再生プログラム
JP2010175753A (ja) * 2009-01-28 2010-08-12 Sanyo Electric Co Ltd 信号処理装置及び映像表示装置
JP2011188300A (ja) * 2010-03-09 2011-09-22 Canon Inc 画像処理装置およびその制御方法
JP2011254392A (ja) * 2010-06-03 2011-12-15 Mitsubishi Electric Corp 映像信号処理装置及び方法、並びに映像信号表示装置
US8373700B2 (en) 2008-08-04 2013-02-12 Kabushiki Kaisha Toshiba Image processing apparatus
WO2013088589A1 (ja) * 2011-12-14 2013-06-20 パナソニック株式会社 映像信号処理装置、映像信号出力装置、及び映像信号処理方法
KR101493789B1 (ko) 2008-07-14 2015-02-17 삼성디스플레이 주식회사 표시 장치
KR101585247B1 (ko) 2009-07-24 2016-01-13 엘지전자 주식회사 영상 처리 방법 및 그를 이용한 디스플레이 장치

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4513819B2 (ja) * 2007-03-19 2010-07-28 株式会社日立製作所 映像変換装置、映像表示装置、映像変換方法
JP5335293B2 (ja) * 2008-06-13 2013-11-06 キヤノン株式会社 液晶表示装置及びその駆動方法
JP5293124B2 (ja) * 2008-12-01 2013-09-18 株式会社日立製作所 映像処理装置及び映像処理方法
JP5381930B2 (ja) * 2010-08-20 2014-01-08 株式会社Jvcケンウッド 映像制御装置および映像制御方法
US10354394B2 (en) 2016-09-16 2019-07-16 Dolby Laboratories Licensing Corporation Dynamic adjustment of frame rate conversion settings
JP6964234B2 (ja) * 2016-11-09 2021-11-10 パナソニックIpマネジメント株式会社 情報処理方法、情報処理装置およびプログラム
US10977809B2 (en) 2017-12-11 2021-04-13 Dolby Laboratories Licensing Corporation Detecting motion dragging artifacts for dynamic adjustment of frame rate conversion settings
KR102781952B1 (ko) * 2019-11-28 2025-03-18 삼성전자주식회사 전자 장치 및 그 제어 방법
CN111710308A (zh) * 2020-06-11 2020-09-25 Oppo(重庆)智能科技有限公司 显示方法、显示器、终端及存储介质
CN112004086B (zh) * 2020-08-21 2022-11-11 Oppo广东移动通信有限公司 视频数据处理方法及装置
DE102020129908B4 (de) 2020-11-12 2025-07-17 Mekra Lang Gmbh & Co. Kg Indirektes Sichtsystem und Verfahren zum Anpassen einer Bildwiederholungsrate

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04323988A (ja) 1991-04-23 1992-11-13 Hitachi Ltd サンプリングレート変換方式
KR100249029B1 (ko) * 1996-06-12 2000-03-15 전주범 영상신호의 윤곽선 부호화 방법 및 그 장치
JP2001024988A (ja) 1999-07-09 2001-01-26 Hitachi Ltd 画像信号の動き補償フレーム数変換方式および装置
KR100708091B1 (ko) 2000-06-13 2007-04-16 삼성전자주식회사 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법
JP3691419B2 (ja) 2001-03-28 2005-09-07 三洋電機株式会社 テレシネ変換方法
US7020197B2 (en) 2001-08-24 2006-03-28 Sanyo Electric Co., Ltd. Telecine converting method
JP2003163849A (ja) 2001-11-26 2003-06-06 Sony Corp 受信装置および方法
US7408986B2 (en) * 2003-06-13 2008-08-05 Microsoft Corporation Increasing motion smoothness using frame interpolation with motion analysis
JP2005167887A (ja) 2003-12-05 2005-06-23 Victor Co Of Japan Ltd 動画像フォーマット変換装置及び方法
JP2005241787A (ja) * 2004-02-25 2005-09-08 Victor Co Of Japan Ltd 画像表示装置
JP5177828B2 (ja) 2005-03-25 2013-04-10 株式会社Jvcケンウッド 画像レート変換方法及び画像レート変換装置
CN101167353A (zh) 2005-04-28 2008-04-23 株式会社日立制作所 帧频变换装置及影像显示装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101493789B1 (ko) 2008-07-14 2015-02-17 삼성디스플레이 주식회사 표시 장치
US8373700B2 (en) 2008-08-04 2013-02-12 Kabushiki Kaisha Toshiba Image processing apparatus
JP2010057010A (ja) * 2008-08-29 2010-03-11 Sharp Corp 画像表示装置
JP2010148037A (ja) * 2008-12-22 2010-07-01 Toshiba Corp 動画像再生装置、動画像再生方法および動画像再生プログラム
US8045620B2 (en) 2008-12-22 2011-10-25 Kabushiki Kaisha Toshiba Image processing apparatus, image processing method and computer readable medium
JP2010175753A (ja) * 2009-01-28 2010-08-12 Sanyo Electric Co Ltd 信号処理装置及び映像表示装置
KR101585247B1 (ko) 2009-07-24 2016-01-13 엘지전자 주식회사 영상 처리 방법 및 그를 이용한 디스플레이 장치
JP2010088133A (ja) * 2010-01-04 2010-04-15 Toshiba Corp 画像処理装置、および画像処理方法
JP2011188300A (ja) * 2010-03-09 2011-09-22 Canon Inc 画像処理装置およびその制御方法
JP2011254392A (ja) * 2010-06-03 2011-12-15 Mitsubishi Electric Corp 映像信号処理装置及び方法、並びに映像信号表示装置
WO2013088589A1 (ja) * 2011-12-14 2013-06-20 パナソニック株式会社 映像信号処理装置、映像信号出力装置、及び映像信号処理方法
JPWO2013088589A1 (ja) * 2011-12-14 2015-04-27 パナソニックIpマネジメント株式会社 映像信号処理装置、映像信号出力装置、及び映像信号処理方法

Also Published As

Publication number Publication date
CN101212593B (zh) 2010-09-22
CN101212593A (zh) 2008-07-02
US8559517B2 (en) 2013-10-15
US20080170161A1 (en) 2008-07-17
JP4438795B2 (ja) 2010-03-24

Similar Documents

Publication Publication Date Title
JP4438795B2 (ja) 映像変換装置、映像表示装置、映像変換方法
JP4513819B2 (ja) 映像変換装置、映像表示装置、映像変換方法
JP4396496B2 (ja) フレームレート変換装置、及び映像表示装置、並びにフレームレート変換方法
US9042710B2 (en) Video processing apparatus and controlling method for same
US20090040375A1 (en) Method of Processing Fields of Images and Related Device for Data Lines Similarity Detection
JP4929819B2 (ja) 映像信号の変換装置及び方法
JP2005045803A (ja) 2:2プルダウンシーケンスの判別装置およびその方法
US7239353B2 (en) Image format conversion apparatus and method
JP2005045807A (ja) フィルムモードの判別装置およびその方法
JP4951487B2 (ja) 映像処理装置及びそれを用いた映像表示装置
JP5241632B2 (ja) 画像処理回路および画像処理方法
JP4339237B2 (ja) 順次走査変換装置
JP5188272B2 (ja) 映像処理装置及び映像表示装置
JP2009135847A (ja) 映像処理装置及びフレームレート変換方法
KR100813986B1 (ko) 움직임 적응적 디인터레이싱 방법 및 그 장치
CN101437136B (zh) 图像处理设备
JP5077037B2 (ja) 画像処理装置
KR100574503B1 (ko) 필름모드 판별장치 및 그 방법
JP2010213287A (ja) 映像処理装置及び映像表示装置
CN101742206A (zh) 视频信号处理装置和视频信号处理方法
JP4929963B2 (ja) プルダウンシーケンス検出プログラムおよびプルダウンシーケンス検出装置
JP2012182691A (ja) 画像変換装置
JP2009124261A5 (ja)
JP2007288483A (ja) 画像変換装置
JP2009077034A (ja) 映像信号処理装置および映像信号処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091215

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091228

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130115

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4438795

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130115

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140115

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250