[go: up one dir, main page]

JP5645699B2 - 動き検出装置及び方法、映像信号処理装置及び方法、並びに映像表示装置 - Google Patents

動き検出装置及び方法、映像信号処理装置及び方法、並びに映像表示装置 Download PDF

Info

Publication number
JP5645699B2
JP5645699B2 JP2011030951A JP2011030951A JP5645699B2 JP 5645699 B2 JP5645699 B2 JP 5645699B2 JP 2011030951 A JP2011030951 A JP 2011030951A JP 2011030951 A JP2011030951 A JP 2011030951A JP 5645699 B2 JP5645699 B2 JP 5645699B2
Authority
JP
Japan
Prior art keywords
motion
signal
unit
frame
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011030951A
Other languages
English (en)
Other versions
JP2012169992A (ja
JP2012169992A5 (ja
Inventor
まさ子 浅村
まさ子 浅村
良樹 小野
良樹 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2011030951A priority Critical patent/JP5645699B2/ja
Priority to US13/360,129 priority patent/US9185431B2/en
Publication of JP2012169992A publication Critical patent/JP2012169992A/ja
Publication of JP2012169992A5 publication Critical patent/JP2012169992A5/ja
Application granted granted Critical
Publication of JP5645699B2 publication Critical patent/JP5645699B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Description

本発明は、映像信号において、動き適応型信号処理に用いるため画像の動きを検出する動き検出装置及び方法に関する。本発明はまた、上記動き検出装置及び方法を用いた映像信号処理装置及び方法に関し、さらにこの映像信号処理装置又は方法を用いた映像表示装置に関する。
映像信号を処理し高画質で表示するため、入力映像信号から画像の動きを検出し、動き適応型信号処理（以下、動き適応処理とする）を行うことで画質を向上させることが行われている。動き適応処理は、映像信号から画像の動きを局所的に検出し、検出された動きに応じて、静止画像に適した静止画処理と動画像に適した動画処理とを適応的に切り換える映像信号処理である。テレビジョン信号である映像信号に対する主な動き適応処理には動き適応走査線補間処理があり、さらには、動きに応じてノイズ除去の強さを制御する３次元ノイズ除去処理（ノイズリダクションとも呼び、ＮＲと略す）があり、いずれも画質改善に効果がある。
動き適応走査線補間処理は、インターレース方式のテレビジョン信号を高画質で表示する際に、インターレース信号をプログレッシブ信号に走査線変換（ＩＰ変換と呼ぶ）する処理を行い、検出された動き量に応じて、静止画と判断した場合には、時間的に隣接するフィールドの対応する走査線の画素をはめ込むことにより補間（フィールド間補間）し、ラインフリッカを除去することができる。一方、動画と判断した場合は、同一フィールド内の隣接走査線における画素により補間信号を生成する（フィールド内補間）。
また、３次元ノイズ除去処理は、各フレームの映像信号に対し、それ以前のフレームの信号を得て、複数のフレーム間の相関のない成分をノイズ成分として除去するものであり、１フレーム前のノイズ除去後の信号と現在のフレームの信号とのフレーム間の差分に巡回係数を掛けたものを現在のフレームの信号から減算することによりノイズ成分を除去する巡回型のノイズ除去処理や、異なる時間の複数のフレームの信号に係数を掛けて加算するフィルタ処理することによりノイズ成分を除去する非巡回型のノイズ除去処理がある。
いずれの方法でも動きのない部分に関しては、時間軸上でフレーム相関のないノイズ成分を除去でき、ノイズ除去効果が得られる。一方で、動きのある部分においては、尾引きや残像、輪郭ぼけが生じる場合があり、これを防ぐため、動き検出された動き量に応じて、ノイズ除去の効果を抑制する動き適応処理を行うことができる。
上記のような動き適応処理を行うための動き量を示す動き信号を検出する有効な手段として、現在の入力映像信号（現フレーム信号）と、時間的に前のフレームの信号（前フレーム信号）とのフレーム間の差分（フレーム差分、もしくはフレーム間差分）により動き検出する技術がある。ここで、動き適応処理における動き検出の検出精度は、表示画像の画質に大きく影響し、フレーム差分のみを基にした画像の動き検出では、静止画の一部を動画と誤判断して動画処理する場合や、動画の一部を静止画と誤判断し静止画処理する場合（動き検出漏れと呼ぶ）などの動きの誤検出が生じる。そこで、これらの動き検出の誤りを防ぐ動き検出処理が提案されている。
従来の動き検出の一方法として、１フレーム差分信号による動き検出の前に、垂直方向に帯域制限する低域通過フィルタ（垂直ＬＰＦ）を通すか、もしくは、動き検出での空間フィルタの垂直方向のタップ範囲を水平方向より多くすることで動きを検出し、画像の空間的形状に対し適切に動き適応処理を行う装置が提案されている（例えば、特許文献１参照）。
特許第２５９６１６６号公報（図１、図３）
上述したように、上記従来の装置においては、１フレーム差分信号による動き検出に対し、垂直フィルタ処理を行う構成や、動き検出での空間フィルタのタップ範囲を垂直方向に長くすることにより、動き信号を得ていた。
一方では、フレーム間の差分には、前後のフレーム間での映像信号の「動き」による差分のほかに、入力映像信号中の「ノイズ」成分が含まれており、特に画像の輪郭部分であるエッジ付近での差分には、映像信号の動き成分とノイズ成分が混在し、実際には静止した画素についても動きと誤判定することがある。
また、物体が緩やかに動く場合や、縦線や横線による繰り返し模様の物体が移動する場合は、フィルタ処理したフレーム間の差分を算出するのみでは、動きであるにもかかわらず差分が小さくなり、静止画と判定され、動きの検出漏れが発生する場合がある。
そのため、微少なゆれがある画像やノイズが含まれた画像などにおいては、これら微少なゆれやノイズにより生じるフレーム間の差分が動き検出に影響を与え、静止画であるにもかかわらず動きであると判定して、動きの誤検出が発生したり、また、物体の緩やかな動きや、繰り返し模様の物体の移動による動きの場合は、フレーム間の差分に対するフィルタ処理等により、フレーム間の差分を動きとして検出する値で得ることができず、動きであるにもかかわらず静止であると判定して、動き検出漏れが発生することがある。
これらの動き検出での誤検出、検出漏れが動き適応処理の結果において、画像のちらつきやぼやけ、画像が櫛状に割れるいわゆるコーミング現象などの弊害による画質劣化につながるという問題点があった。
本発明は、上記の課題を解決するためになされたものであり、その目的は、静止部分を動きと誤検出することなく、また、動き部分を静止であると判定する動きの検出漏れを防止し、高い精度で良好な動き検出を行うことができ、動き適応処理の結果において、画像のちらつきやぼやけなどの弊害や、コーミング現象による画質劣化を低減することができる動き検出装置及び方法、並びに該動き検出装置及び方法を用いた映像信号処理装置及び方法、並びに映像表示装置を提供することにある。
本発明の一つの態様の動き検出装置は、
時間的に異なる第１及び第２のフレームの映像信号から、上記映像信号における動き検出を行う動き検出装置であって、
前記第１のフレーム内の、動き検出する注目画素を中心とした画素ブロックと、前記第２のフレーム内の、対応する画素位置にある画素ブロックとのパターンの類似度を算出して、該類似度に基づいてブロックの動きを示す動きブロック係数を生成するパターンマッチング検出部と、
上記第１及び第２のフレームの信号から上記注目画素の近傍での画像のエッジを検出して、
エッジの有無の度合いを示すエッジ判定係数を生成するエッジ検出部と、
前記注目画素に対して、上記パターンマッチング検出部で生成された上記動きブロック係数と、上記エッジ検出部で生成された上記エッジ判定係数とに応じて、前記注目画素を含む水平方向又は垂直方向に並んだ画素を用いた平滑化処理及びフレーム間差分の算出を行なって、フレーム間差分信号を生成するフレーム間差分検出部と、
上記フレーム間差分検出部で生成された上記フレーム間差分信号に基づいて、前記注目画素での動き情報を生成する動き情報補正部と
を備えたこと特徴とする。
本発明の他の態様の映像信号処理装置は、
上記の動き検出装置から出力される上記動き検出信号に基づいて飛び越し走査映像信号を順次走査映像信号に変換する動き適応走査線補間処理を行う映像信号処理装置であって、
上記動き検出装置から出力される上記動き検出信号に受けて、画素毎の動き検出の結果に応じて、走査線補間信号を生成する動き適応補間処理部と、
上記動き適応補間処理部により生成された上記走査線補間信号に基づいて、順次走査映像信号を生成する倍速変換部とを備える
ことを特徴とする。
本発明の他の態様の映像信号処理装置は、
上記の動き検出装置から出力される上記動き検出信号に基づいて、上記映像信号のフレーム間の相関のないノイズ成分を除去する３次元ノイズ除去を行う映像信号処理装置であって、
上記動き検出装置から出力される上記動き検出信号に受けて、ノイズ除去の効果を制御する動き適応ノイズ除去部を備えることを特徴とする。
本発明のさらに他の態様の表示装置は、
上記の映像信号処理装置と、
映像を表示する表示部と、
上記映像信号処理装置から出力される映像信号に応じた画像を、上記表示部に表示させる表示処理部と
を備えたことを特徴とする。
本発明の動き検出装置及び方法によれば、静止部分を動きと誤検出することなく、動き部分を静止と検出する動き検出漏れを防止し、高い精度で良好な動き検出を行うことができる。
本発明の映像信号処理装置によれば、上記の動き検出装置による動き検出の結果を利用した動き適応処理を行うことで、画像のちらつきやぼやけなどの弊害やコーミング現象による画質劣化を低減するという効果がある。
本発明の映像表示装置によれば、上記の映像信号処理装置で処理された映像信号を表示することで、高品質な映像の表示を行うことができる。
本発明の実施の形態１の映像信号処理装置の構成の一例を示すブロック図である。 実施の形態１の映像信号処理装置で用いられるパターンマッチング検出部３０の一構成例を示すブロック図である。 実施の形態１で用いられるパターンマッチング検出部３０において、パターンマッチングで用いられる画素ブロックを構成する画素を示す図である。 （ａ）〜（ｂ）は、実施の形態１で用いられるパターンマッチング検出部３０において、パターンマッチングで用いられる、画素ブロックの互いに異なる例を示す図である。 実施の形態１の映像信号処理装置におけるインターレース信号入力時の現フレーム信号Ｄｉ０とフィールド遅延信号ｄ１ｆの画素の時間的関係と垂直走査方向（画面表示ライン上下方向）の位置関係を示す図である。 （ａ）及び（ｂ）は、実施の形態１におけるパターンマッチング検出部３０で処理に用いられる、現フレーム信号Ｄｉ０と１フレーム遅延信号ｄ２ｆの画素の画面内画素の位置関係を示す図である。 （ａ）及び（ｂ）は、図２に示すマッチング垂直高域成分抽出部３０４によるマッチング垂直高域成分ｖｅｂｐｍを求める処理の一例を示す図である。 （ａ）及び（ｂ）は、図２に示すマッチング垂直高域成分抽出部３０４によるマッチング垂直高域成分ｖｅｂｐｍを求める処理の他の例を示す図である。 実施の形態１の映像信号処理装置で用いられるパターンマッチング検出部３０での動きブロック数への変換特性の一例を示す図である。 実施の形態１の映像信号処理装置で用いられるエッジ検出部４０の一構成例を示すブロック図である。 実施の形態１の映像信号処理装置で用いられるエッジ検出部４０でのエッジ判定係数への変換特性の一例を示す図である。 実施の形態１で用いられるフレーム間差分検出部２０におけるフレーム間差分算出部２１の一構成例を示すブロック図である。 実施の形態１で用いられる他の構成例であるフレーム間差分検出部２０におけるフレーム間差分算出部２１ｂの構成例を示すブロック図である。 実施の形態１の映像信号処理装置で用いられるフレーム間差分検出部２０における非線形変換部２２での入出力特性の一例を示す図である。 実施の形態１の映像信号処理装置で用いられる動き情報補正部５０の一構成例を示すブロック図である。 実施の形態１の映像信号処理装置で用いられる動き検出信号変換部１９での入出力特性の一例を示す図である。 実施の形態１の映像信号処理装置で用いられる動き検出装置１の動作を示すフローチャートである。 実施の形態１の映像信号処理装置で用いられる動き検出装置１の動作を示すフローチャートである。 本発明の実施の形態２の映像信号処理装置の構成の一例を示すブロック図である。 実施の形態２の映像信号処理装置で用いられるパターンマッチング検出部３１の一構成例を示すブロック図である。 本発明の実施の形態３の映像信号処理装置である動き適応処理装置３の構成の一例を示すブロック図である。 本発明の実施の形態３の映像信号処理装置の他の構成例である動き適応処理装置３ｂの構成を示すブロック図である。 本発明の実施の形態４の映像信号処理装置である動き適応処理装置４の構成の一例を示すブロック図である。 本発明の実施の形態４の映像信号処理装置の他の構成例である動き適応処理装置４ｂの構成を示すブロック図である。 本発明の実施の形態４の映像信号処理装置の他の構成例である動き適応処理装置４ｃの構成例を示すブロック図である。 本発明の実施の形態５の映像表示装置の構成の一例を示すブロック図である。
本発明の動き検出装置は、時間的に異なる第１及び第２のフレームの映像信号から、映像信号における動き検出を行うものであり、本発明の映像信号処理装置は、上記の動き検出装置を用いて映像信号を処理するものであり、本発明の表示装置は、上記の映像信号処理装置で処理された映像を表示するものである。
本出願において、「・・・部」として示される構成要素は、電気回路（ハードウェア）によって実現されるもの、又はソフトウェアによって、即ちプログラムされたコンピュータによって実現されるもののいずれであってもよい。
実施の形態１．
図１は、本発明の実施の形態１の映像信号処理装置（すなわち、実施の形態１の映像信号処理方法を実施することができる装置）の構成を示すブロック図であり、時間的に異なる第１及び第２のフレームの映像信号、例えば、現フレームの映像信号と、１フレーム前の映像信号から画像の動きを画素ごとに検出するよう構成されている。
図１において、実施の形態１の映像信号処理装置は、インターレース信号である入力映像信号Ｄｉ０が順次入力されており、フレーム遅延部１３と、動き検出装置１とを備えている。入力映像信号Ｄｉ０は、入力映像を構成する画素の各々の値を示すものである。
フレーム遅延部１３は、入力映像信号Ｄｉ０を１フィールド分遅延した信号（１フィールド遅延信号）ｄ１ｆと１フレーム分遅延した信号（１フレーム遅延信号）ｄ２ｆを出力するものであり、第１及び第２のフィールドメモリ１１及び１２で構成されている。第１及び第２のフィールドメモリ１１及び１２は各々フィールド遅延部としての機能を持つものであり、インターレース信号において相前後する垂直同期信号で区切られるフィールド単位で入力映像信号を順次遅延することで上記の１フィールド遅延信号ｄ１ｆ及び１フレーム遅延信号ｄ２ｆを出力する。
入力映像信号Ｄｉ０、１フィールド遅延した信号ｄ１ｆ及び１フレーム遅延信号ｄ２ｆは、時間的に異なるフレームの映像信号であり、以下に詳述する例では、入力映像信号Ｄｉ０を現フレームの信号或いは入力フレームの信号と呼び、１フレーム遅延信号ｄ２ｆを１フレーム前の信号と呼び、１フィールド遅延信号ｄ１ｆを１フィールド前の信号と呼ぶことがある。
動き検出装置１は、入力映像信号（現フレーム信号）Ｄｉ０と、１フィールド遅延信号（１フィールド前の信号）ｄ１ｆと、１フレーム遅延信号（１フレーム前の信号）ｄ２ｆを用いてフレーム間の差分に基づく動きの度合いを示す動き検出信号ｍｄｓを出力する。
動き検出装置１は、パターンマッチング検出部３０と、エッジ検出部４０と、フレーム間差分検出部２０と、動き情報補正部５０と、時空間拡大フィルタ部１６と、動き検出信号変換部１９とを備えている。
パターンマッチング検出部３０は、現フレーム信号Ｄｉ０と１フレーム遅延信号ｄ２ｆにおける画素ブロック間で２つの画素ブロックの間のパターンの類似度の算出（パターンマッチング）を行って、画素ブロックの動きを示す第１及び第２の動きブロック係数ｄｆｍａｔ及びｃｂｍａｔを生成する。
エッジ検出部４０は、現フレーム信号Ｄｉ０と、１フレーム遅延信号ｄ２ｆと、１フィールド遅延信号ｄ１ｆとを受け、映像信号の注目画素近傍での画像のエッジを検出し、第１及び第２のエッジ判定係数ｅｆｋｍ及びｃｅｄｋｍを出力する。
フレーム間差分検出部２０は、現フレーム信号Ｄｉ０と、１フレーム遅延信号ｄ２ｆとを受け、パターンマッチング検出部３０からの動きブロック係数ｄｆｍａｔとエッジ検出部４０からのエッジ判定係数ｅｆｋｍとに応じて、平滑化処理を行う画素の範囲を選択して、平滑化処理された映像信号のフレーム間の差分を検出し、同じ画素についてのフレーム間の差分を表すフレーム間差分信号ｆｄｉｆｆを出力する。
動き情報補正部５０は、パターンマッチング検出部３０からの動きブロック係数ｃｂｍａｔとエッジ検出部４０からのエッジ判定係数ｃｅｄｋｍに応じて、フレーム間差分検出部２０からのフレーム間差分信号ｆｄｉｆｆを補正し、動き情報ｍｄ０を求める。
時空間拡大フィルタ部１６は、動き情報信号ｍｄ０に対し、時空間フィルタや孤立点除去などの処理を行い、動き情報を時空間方向で補正して動き信号ａｆｍｄを出力し、動き検出信号変換部１９は、時空間フィルタ部１６からの動き信号ａｆｍｄを、映像信号の動きの度合い示す動き検出信号ｍｄｓへ変換する。
フレーム間差分検出部２０は、動きブロック係数ｄｆｍａｔとエッジ判定係数ｅｆｋｍとに応じて、平滑化処理を行う範囲を切り換え、現フレーム信号と１フレーム遅延信号の間のフレーム間差分ｆｒｄを算出するフレーム間差分算出部２１と、フレーム間差分の値を非線形変換し動きとしての差分信号を求め上記フレーム間差分信号ｆｄｉｆｆとして出力する非線形変換部２２とを備えている。
また、時空間拡大フィルタ部１６は、時間方向に動き情報を引き伸ばすフィルタ処理による補正を行って、補正処理された信号ｆｍｄ０を出力する時間フィルタ部１７と、水平もしくは垂直方向の空間方向に動き情報を引き伸ばすフィルタ処理や孤立点除去などの処理による補正を行って、補正された信号を動き信号ａｆｍｄとして出力する空間フィルタ部１８とを備えている。
以下の実施の形態１では、インターレース信号入力時に現フレーム信号と１フレーム遅延信号の間での映像信号における動きを検出するものとする。
フィールド遅延部１３を構成する第１及び第２のフィールドメモリ１１及び１２は、映像信号を１フィールド分遅延して出力するためのメモリであり、第１のフィールドメモリ１１は、入力された入力映像信号Ｄｉ０を１フィールド分遅延して１フィールド遅延信号ｄ１ｆを出力し、第２のフィールドメモリ１２は、第１のフィールドメモリ１１からの１フィールド遅延信号ｄ１ｆを１フィールド分遅延し、２フィールド遅延信号（すなわち、１フレーム遅延信号）ｄ２ｆを出力する。
ここで、入力映像信号Ｄｉ０はインターレース信号であり、フレーム遅延部１３から出力される１フレーム遅延信号ｄ２ｆは、入力映像信号Ｄｉ０の画素と同一位置にある画素の信号であり、同位相の信号となる。一方、第１のフィールドメモリ１１から出力される１フィールド遅延信号ｄ１ｆは、入力映像信号Ｄｉ０の画素に対し、垂直方向上又は下に１／２ラインずれた位置にある画素の信号であり、異位相の信号である。
動き検出装置１には、入力映像信号Ｄｉ０が現フレーム信号として入力され、フレーム遅延部１３から１フレーム遅延信号ｄ２ｆ及び１フィールド遅延信号ｄ１ｆが、１フレーム前の信号及び1フィールド前の信号として入力される。動き検出装置１は、現フレーム信号Ｄｉ０と１フレーム前の信号との間での映像信号における動きを画素ごとに検出し、検出結果から動きの度合いを示す動き検出信号ｍｄｓを出力する。
動き検出装置１では、現フレーム信号Ｄｉ０と１フレーム前の信号ｄ２ｆにおける画素ブロックのパターンマッチングによる動きブロック係数と、エッジ検出の結果であるエッジ判定係数とにより、画像のエッジの方向、パターンの動きに応じてフレーム間の差分を求める際の平滑化処理の範囲を切り換えて、適切な範囲で平滑化されたフレーム間差分信号を得て、さらには、エッジの方向、パターンの動きに応じたフレーム間差分信号の補正を行い、動き部分を静止であると誤判定され勝ちなエッジやパターンにおいて、動きと検出されやすいように補正された動き情報生成することで、誤検出と動き検出漏れを防止した高い精度の動き検出を行って、動きの度合いを示す動き検出信号ｍｄｓを生成し出力する。
動き検出装置１内のパターンマッチング検出部３０には、現フレーム信号Ｄｉ０と１フレーム遅延信号ｄ２ｆが入力される。
パターンマッチング検出部３０では、１フレーム前の信号としての１フレーム遅延信号ｄ２ｆと現フレーム信号Ｄｉ０の画素ブロック間でパターンの類似度を算出し（パターンマッチングを行い）、画素ブロックの動きを示す動きブロック係数ｄｆｍａｔ及びｃｂｍａｔを出力する。出力された動きブロック係数ｄｆｍａｔ及びｃｂｍａｔは、動き検出の対象である注目画素を中心とした画素ブロックにおいて、パターンマッチングの結果により求められており、類似度の値が大きくなれば、画素ブロックのパターンが異なる、すなわち、画素ブロック内の画像が動いていることを示しており、画素ブロックでのブロック・パターンの動き（以下では、動きパターンと記す）を示すと言える。
パターンマッチング検出部３０は、例えば図２に示すように構成される。図示のパターンマッチング検出部３０は、１フレーム前の信号ｄ２ｆと現フレーム信号Ｄｉ０の画素ブロック間でパターンマッチングを行い、現フレーム信号Ｄｉ０における注目画素Ｐ０を中心とした画素ブロックの動きを示す動きブロック係数ｄｆｍａｔ及びｃｂｍａｔを生成する。
図示のように、パターンマッチング検出部３０は、ブロック間マッチング演算部３０１と、水平ブロックマッチング演算部３０３と、マッチング垂直高域成分抽出部３０４と、垂直ブロックマッチング演算部３０６と、マッチング水平高域成分抽出部３０７と、第１、第２及び第３の動きブロック係数変換部３１１、３１２及び３１３とを備える。
ここで、パターンマッチング検出部３０でパターンマッチングを行う範囲は、例えば、図３に示すように、現フレームＤｉ０内の注目画素Ｐ０を中心とし、垂直方向３ライン、水平方向３画素（３行３列）の合計９画素で構成される画素ブロック（注目画素ブロック）ｂ０とし、当該ブロックｂ０と、１フレーム遅延信号ｄ２ｆのフレーム内の同一位置の画素（参照中心画素）Ｐｆ２を中心とした画素ブロック(参照画素ブロック)ｂ２との間で、パターンマッチングが行われる。
なお、パターンマッチングを行う範囲は、図３に示した９画素で構成されるブロックに限定されるものではなく、一般的には画素垂直方向Ｖライン、水平方向Ｈ画素（Ｖ≧２、Ｈ≧２）であれば良く、例えば、図４（ａ）に示す垂直方向３ライン、水平方向５画素（３行５列）の合計１５画素の矩形ブロックとしても、図４（ｂ）に示す垂直方向２ライン、水平方向４画素（２行４列）の合計８画素で構成された矩形ブロックとしてもよい。画素ブロックを構成する画素の数が多いほど、より広い範囲での類似度を算出することが可能であるため、より安定した値が得られる。
一方で、画素の数が多く広い範囲での算出を行うほど、画素ブロックの動きが影響する範囲が広がることになる。
図５は、現フレーム信号Ｄｉ０と１フレーム遅延信号ｄ２ｆの同一ラインの信号の時間的関係と、それぞれのフレーム内における、垂直走査方向（画面表示ライン上下方向）の位置関係を示すものであり、パターンマッチング検出部３０内でパターンマッチングを行う注目画素Ｐ０及び注目画素ブロックｂ０と、対応する１フレーム遅延信号ｄ２ｆのフレーム内の参照中心画素Ｐｆ２及び参照画素ブロックｂ２の位置関係を示している。
図５では、時間的に前のフレームほどより左側に示され、各フレームの画素は、画面内で上のものほど図で上に示されている。現フレーム信号Ｄｉ０が現フレーム（最新のフレーム）の信号であるのに対して、１フィールド遅延信号ｄ１ｆは、１フィールド期間前のフレームの信号であり、１フレーム遅延信号ｄ２ｆは、１フレーム期間前のフレームの信号であり、２フレーム遅延信号ｄ４ｆは、２フレーム期間前のフレームの信号である。１フレーム期間前のフレームを単に「直前のフレーム」と言うことがある。各フレームの符号は、当該フレームの信号と同じ符号（Ｄｉ０、ｄ２ｆ、ｄ１ｆ）で表される。
図６（ａ）及び（ｂ）は、現フレーム信号Ｄｉ０と１フレーム遅延信号ｄ２ｆのそれぞれにおいて、各フレームの画面内の垂直方向（画面表示垂直走査方向）と水平方向（水平走査方向）の位置関係を示すものであり、現フレームＤｉ０内の注目画素Ｐ０及び注目画素ブロックｂ０と、対応する１フレーム遅延信号ｄ２ｆのフレーム（直前フレームｄ２ｆ）内の参照中心画素Ｐｆ２及び参照画素ブロックｂ２の関係を示している。
図２のパターンマッチング検出部３０は、１フレーム前の信号ｄ２ｆと現フレーム信号Ｄｉ０の画素ブロック間でパターンマッチングを行い、注目画素Ｐ０を中心とした画素ブロックｂ０での動きを示す動きブロック係数を検出するものであり、図５及び図６（ａ）及び（ｂ）において、現フレームＤｉ０内の注目画素ブロックｂ０に対し、直前フレームｄ２ｆ内の同じ位置にある参照画素ブロックｂ２との間でパターンマッチングした結果をパターンの類似度として求める。
図２において、パターンマッチング検出部３０へ入力された現フレーム信号Ｄｉ０と１フレーム遅延信号ｄ２ｆは、それぞれブロック間マッチング演算部３０１、水平ブロックマッチング演算部３０３、及び垂直ブロックマッチング演算部３０６へ入力される。
ブロック間マッチング演算部３０１は、現フレームＤｉ０内の注目画素Ｐ０を中心とする注目画素画素ブロックｂ０（図５、図６（ｂ）参照）と、対応する直前フレームｄ２ｆ内の、画素Ｐ０と同一位置にある画素Ｐｆ２を中心とする参照画素ブロックｂ２（図５、図６（ａ）参照）を抽出し、画素ブロック間でパターンマッチングを行い、結果として、パターンの類似度を示すブロックマッチング量ｂｌｋｐｍを求める。
ここで、パターンマッチングによる画素ブロック間でパターンの類似度は、画素ブロック内の対応する位置にある画素の画素値の差分の絶対値を、ブロック内の全ての画素について求め、それらを単純に加算すること或いは重み付け加算することで得られる値（単に差分絶対値和ということがある）に基づく値、又は差分の絶対値の単純平均又は加重平均値を算出することにより得られる。
具体的には、ブロック間マッチング演算部３０１では、現フレームＤｉ０の注目画素ブロックｂ０内の画素と、直前フレームｄ２ｆの参照画素ブロックｂ２内の画素について、下記の式（１）〜（９）に従い、それぞれ対応する位置にある画素ごとに画素値の差分の絶対値を算出する。
ｄ１＝｜Ｐ０ａ（−１）−Ｐｆ２ａ（−１）｜ …式（１）
ｄ２＝｜Ｐ０ａ（０）−Ｐｆ２ａ（０）｜ …式（２）
ｄ３＝｜Ｐ０ａ（１）−Ｐｆ２ａ（１）｜ …式（３）
ｄ４＝｜Ｐ０（−１）−Ｐｆ２（−１）｜ …式（４）
ｄ５＝｜Ｐ０−Ｐｆ２｜ …式（５）
ｄ６＝｜Ｐ０（１）−Ｐｆ２（１）｜ …式（６）
ｄ７＝｜Ｐ０ｂ（−１）−Ｐｆ２ｂ（−１）｜ …式（７）
ｄ８＝｜Ｐ０ｂ（０）−Ｐｆ２ｂ（０）｜ …式（８）
ｄ９＝｜Ｐ０ｂ（１）−Ｐｆ２ｂ（１）｜ …式（９）
次に、式（１）〜式（９）により計算した差分の絶対値ｄ１〜ｄ９の総和である差分絶対値和を求め、平均化を行う。すなわち、下記の式（１０）により、ブロックの平均差分絶対値を求め、ブロックマッチング量ｂｌｋｐｍとして出力する。
ｂｌｋｐｍ＝（ｄ１＋ｄ２＋ｄ３＋ｄ４＋ｄ５＋ｄ６＋ｄ７＋ｄ８＋ｄ９）/９
…式（１０）
ここで、上記式（１０）で９画素の平均値を求めるため、９分の１としたが、ハードウェアの構成、演算処理の容易さを考慮して、８(２の４乗）や、４（２の２乗）で割るようにしても良く、要するに平均値を反映した指標が得られれば良い。
上記式（１０）に従い算出されるブロック間のブロックマッチング量ｂｌｋｐｍは、注目画素ブロックｂ０と参照画素ブロックｂ２との類似性が高いほど「０」に近づき、完全に静止しているか、静止に近い微少な動きであることを示す。また、類似性が低いほどブロックマッチング量ｂｌｋｐｍは大きな値となり、画素ブロックのパターンが異なる、すなわち、画素ブロックが動きであることを示している。
ブロック間マッチング演算部３０１で算出されたブロックマッチング量ｂｌｋｐｍは、
注目画素ブロックｂ０と参照画素ブロックｂ２間でのパターンの類似度、すなわち、画素ブロックでのブロック・パターンの動きを示す結果として、図２における第１、第２及び第３の動きブロック係数変換部３１１、３１２及び３１３へ出力される。
なお、差分の絶対値ｄ１〜ｄ９の総和を求め平均化を行う際に、差分の絶対値を重み付け平均化しても良く、例えば、画素ブロックの中心画素Ｐ０に近い画素での差分の重みが大きく、中心画素からの距離が大きくなるほど重みが次第に小さくなるように重み付け加算することで重み付け平均化を行うこととしても良い。例えば、式（１０）に代え、下記の式（１１）に従い、差分絶対値和によるブロックマッチング量ｂｌｋｐｍとすることもできる。
ｂｌｋｐｍ
＝ｄ１／８＋ｄ２／８＋ｄ３／８＋ｄ４／８＋ｄ５／２
＋ｄ６／８＋ｄ７／８＋ｄ８／８＋ｄ９／８ …式（１１）
また、パターンマッチングに使用する画素ブロックを図３に示す９画素のブロックとして構成したが、図４（ａ）又は（ｂ）に示すように構成しても良く、例えば図４（ａ）に示す３ライン×５画素の１５画素のブロックとしてもよく、この場合には、ブロック間マッチング演算部３０１では、１５画素で構成された注目画素ブロックｂ０と、参照画素ブロックｂ２の画素ブロックが抽出され、１５画素分の差分の絶対値の総和を求め、平均化したブロックマッチング量ｂｌｋｐｍを得ることとなる。
次に、水平ブロックマッチング演算部３０３は、現フレーム信号Ｄｉ０と１フレーム遅延信号ｄ２ｆとに基づき、画素ブロックの一部で構成される水平方向に細長い領域で構成された小ブロックを単位としてパターンマッチングを行う。例えば、図３における水平方向(行方向)に並んだ３画素で小ブロックを形成し、小ブロックごとにパターンマッチングを行い、３ライン分（３行分）の水平ブロックマッチング量ｈｐ１１、ｈｐ１２及びｈｐ１３を求め、マッチング垂直高域成分抽出部３０４へ送る。
水平ブロックマッチング演算部３０３では、まず、上記ブロック間マッチング演算部３０１と同様、現フレームＤｉ０の注目画素ブロックｂ０内の各画素と、直前フレームｄ２ｆの参照画素ブロックｂ２内の画素について、上記式（１）〜式（９）で表される画素値の差分の絶対値ｄ１〜ｄ９を求め、画素ブロックｂ０内を垂直方向に分割することで形成された複数の小ブロック、例えば各々垂直方向のサイズが１ライン（１行）である３つの小ブロックの各々について差分絶対値の総和を求める。ここでは、画素ブロックのサイズが垂直方向３ライン×水平方向３画素（３行３列）であるので、各々垂直方向１ライン×水平方向３画素（１行３列）から成るブロック、即ち水平方向に並んだ３画素から成る小ブロックの単位で、その総和である差分絶対値和を求める。そして、下記の式（１２）〜式（１４）による水平ブロックマッチング量ｈｐ１１、ｈｐ１２及びｈｐ１３を求める。
ｈｐ１１＝ｄ１＋ｄ２＋ｄ３ …式（１２）
ｈｐ１２＝ｄ４＋ｄ５＋ｄ６ …式（１３）
ｈｐ１３＝ｄ７＋ｄ８＋ｄ９ …式（１４）
なお、画素ブロックの画素値の差分絶対値ｄ１〜ｄ９は、ブロック間マッチング演算部３０１内で求められているので、その差分絶対値を水平ブロックマッチング演算部３０３へ入力して、水平ブロックマッチング量ｈｐ１１、ｈｐ１２及びｈｐ１３の算出に用いても良い。
また、上記式（１２）〜式（１４）の演算の代わりに、式（１２）〜式（１４）の各々において、右辺の差分絶対値和の３分の１を求めることで、差分絶対値和の平均を求めることとしても良く、さらに３分の１を求める代わりに、ハードウェアの構成、演算処理の容易さを考慮して、４（２のべき乗）で割るようにしてもよい。
さらに、水平方向に並んだ３画素から成る小ブロックの単位での差分絶対値和を求める際に、重み付け加算を行っても良く、例えば、画素ブロックの中心画素Ｐ０、Ｐｆ２に近い画素での差分の重みが大きく、中心画素からの距離が大きい画素での重みが小さくなるように重み付け加算してもよい。例えば、式（１２）に代え、下記の式（１５）に従い、水平ブロックマッチング量ｈｐ１１とすることもできる。
ｈｐ１１＝ｄ１／４＋ｄ２／２＋ｄ３／４ …式（１５）
マッチング垂直高域成分抽出部３０４では、入力された水平ブロックマッチング量ｈｐ１１、ｈｐ１２及びｈｐ１３から、隣接するライン（行）の水平ブロックマッチング量同士の差分絶対値を求め、差分絶対値の垂直方向の高域周波数成分を表すマッチング垂直高域成分ｖｅｂｐｍを算出して出力する。
ここで、上記水平方向ブロックマッチング量ｈｐ１１、ｈｐ１２、ｈｐ１３は、差分絶対値和に基づく値であるが、水平方向ブロックマッチング量の垂直方向の高域周波数成分、すなわち、垂直方向のエッジ成分を求めることで、垂直方向に動くパターンの場合の類似度を得ることができる。
マッチング垂直高域成分抽出部３０４は、水平ブロックマッチング演算部３０３からの水平ブロックマッチング量ｈｐ１１、ｈｐ１２及びｈｐ１３から、下記の式（１６）及び式（１７）により、ライン間（行間）の値の差分の絶対値の１／４の値ｄｈ１及びｄｈ２を求めて垂直方向の高域周波数成分を抽出し、さらに式（１８）のように２つの値ｄｈ１及びｄｈ２の最大値を求めて、マッチング垂直高域成分ｖｅｂｐｍとして出力する。
ｄｈ１＝｜ｈｐ１１−ｈｐ１２｜／４ …式（１６）
ｄｈ２＝｜ｈｐ１２−ｈｐ１３｜／４ …式（１７）
ｖｅｂｐｍ＝ＭＡＸ（ｄｈ１，ｄｈ２） ・・・式（１８）
ここで、上記式（１６）及び式（１７）で差分絶対値の４分の１を求めているが、２分の１を求めるようにしてもよく、また、ライン間（行間）の値の差分の絶対値の最大値を選択した後、４分の１を求めても良い。さらに、水平ブロックマッチング演算部３０３で差分絶対値を平均化することで水平ブロックマッチング量ｈｐ１１、ｈｐ１２及びｈｐ１３を求める場合には、上記のように４分の１の乗算などを行う必要は無く、同様の値が得られる。いずれにせよ、上記差分の絶対値の最大値を反映する値が得られれば良い。
上記式（１８）に従い算出されるマッチング垂直高域成分ｖｅｂｐｍは、完全に静止しているか、ブロック内の画素が同じ値であり、かつブロック内の画素がすべて同じ方向に同じ速さでが動いているか、もしくは、ブロック内の画素が同じ速さで水平方向に動いている場合は、「０」であり、また、類似性が低いほど差分絶対値（水平方向ブロックマッチング量ｈｐ１１、ｈｐ１２、ｈｐ１３）は大きくなるので、差分絶対値の垂直方向の高域周波数成分があれば、マッチング垂直高域成分ｖｅｂｐｍは大きな値となり、画素ブロック内に垂直方向に動く成分があることを示している。
一例として、図７（ａ）及び（ｂ）に示すように、直前フレームｄ２ｆでは、１行目と２行目の間にエッジがあり、現フレームＤｉ０では、２行目と３行目の間にエッジがある場合（即ち、水平方向に延びたエッジが下方に移動した場合）、水平ブロックマッチング量ｈｐ１１は小さな値、水平ブロックマッチング量ｈｐ１２は大きな値、水平ブロックマッチング量ｈｐ１３は小さな値となり、従って、ｄｈ１、ｄｈ２はとも大きな値となり、マッチング垂直高域成分ｖｅｂｐｍは、大きな値となる。
また、図８（ａ）及び（ｂ）に示すように、直前フレームｄ２ｆでは１行目の上側にエッジがあり、現フレームＤｉ０では、１行目と２行目の間にエッジがある場合（即ち、水平方向に延びたエッジが下方に移動した場合）、水平ブロックマッチング量ｈｐ１１は大きな値、水平ブロックマッチング量ｈｐ１２及びｈｐ１３は小さな値となり、従って、ｄｈ１は大きな値となり、ｄｈ２は小さな値となり、マッチング垂直高域成分ｖｅｂｐｍは、大きな値となる。
図２の水平ブロックマッチング演算部３０３と、マッチング垂直高域成分抽出部３０４とで、現フレームＤｉ０及び直前フレームｄ２ｆの、同一の画素位置の画素ブロックｂ０、ｂ２内の、同一位置にある画素の画素値の差分の絶対値に基づいて、画素ブロックｂ０、ｂ２を垂直方向に分割した複数の小ブロックについての上記差分の絶対値の総和（単純加算値又は重み付け加算値）を求め、上記複数の小ブロックのうちの垂直方向に隣接するもの相互間で、上記総和の差を求めることで、マッチング垂直高域成分ｖｅｂｐｍを生成するマッチング垂直高域成分生成部３０８が構成されている。
なお、上記の例では、パターンマッチングに使用する画素ブロックを図３に示す９画素のブロックとして構成したが、図４（ａ）又は（ｂ）に示すように構成しても良く、例えば図４（ａ）に示す３ライン×５画素の１５画素のブロックとした場合には、水平ブロックマッチング演算部３０３では、水平方向に並んだ５画素から成る小ブロックの単位でパターンマッチングを行い、３ライン分の（垂直方向の異なる位置の３つの小ブロックについての）水平ブロックマッチング量を得ることとなる。
一般的に言えば、画素ブロックｂ０、ｂ２が垂直方向Ｖライン×水平方向Ｈ画素から成るものである場合、画素ブロックｂ０、ｂ２を垂直方向に分割して、各々１ライン×Ｈ画素から成り、互いに垂直方向位置が異なるＶ個の小ブロックを形成して、現フレームと直前フレームの同一画素位置の小ブロック間の差分絶対値の総和を求め、垂直方向に隣接する小ブロック相互間で、上記総和の差を求めることで、マッチング垂直高域成分ｖｅｂｐｍを求める。
マッチング垂直高域成分抽出部３０４で抽出されたマッチング垂直高域成分ｖｅｂｐｍは、画素ブロック内に垂直方向に動く成分があることを示す値として、第１及び第２の動きブロック係数変換部３１１及び３１２へ出力される。
垂直ブロックマッチング演算部３０６は、現フレーム信号Ｄｉ０と１フレーム遅延信号ｄ２ｆとに基づき、画素ブロックの一部で構成される垂直方向に細長い領域で構成された小ブロックを単位としてパターンマッチングを行う。例えば、図３における垂直方向（列方向）に並んだ３画素で小ブロックを形成し、小ブロックごとにパターンマッチングを行い、３画素（３列）分の垂直ブロックマッチング量ｖｐ１１、ｖｐ１２及びｖｐ１３を求め、マッチング水平高域成分抽出部３０７へ送る。
垂直ブロックマッチング演算部３０６における処理は、水平方向ブロックマッチング演算部３０３における処理と、「水平」と「垂直」を入れ替えた点以外では同じである。即ち、垂直ブロックマッチング演算部３０６では、まず、上記ブロック間マッチング演算部３０１と同様、現フレームＤｉ０の注目画素ブロックｂ０内の各画素と、直前フレームｄ２ｆの参照画素ブロックｂ２内の画素について、上記式（１）〜式（９）で表される画素値の差分の絶対値ｄ１〜ｄ９を求め、画素ブロックｂ０内を水平方向に分割することで形成された複数の小ブロック、例えば各々水平方向のサイズが１画素（１列）である３つの小ブロックの各々について差分絶対値の総和を求める。ここでは、画素ブロックのサイズが垂直方向３ライン×水平方向３画素（３行３列）であるので、各々垂直方向３ライン×１画素（３行１列）から成るブロック、即ち垂直方向に並んだ３画素から成る小ブロックの単位で、その総和である差分絶対値和を求める。そして、下記の式（１９）〜式（２１）による垂直ブロックマッチング量ｖｐ１１、ｖｐ１２及びｖｐ１３を求める。
ｖｐ１１＝ｄ１＋ｄ４＋ｄ７ …式（１９）
ｖｐ１２＝ｄ２＋ｄ５＋ｄ８ …式（２０）
ｖｐ１３＝ｄ３＋ｄ６＋ｄ９ …式（２１）
なお、水平ブロックマッチング演算部３０３と同様、画素ブロックの画素値の差分絶対値ｄ１〜ｄ９は、ブロック間マッチング演算部３０１内で求められているので、その差分絶対値を垂直ブロックマッチング演算部３０６へ入力して、垂直ブロックマッチング量ｖｐ１１、ｖｐ１２及びｖｐ１３の算出に用いても良い。
また、上記式（１９）〜式（２１）の演算の代わりに、式（１９）〜式（２１）の各々において、右辺の差分絶対値和の３分の１を求めることで、差分絶対値和の平均を求めることとしても良く、さらに３分の１を求める代わりに、ハードウェアの構成、演算処理の容易さを考慮して、４（２のべき乗）で割るようにしてもよい。
さらに、垂直方向に並んだ３画素から成る小ブロックの単位での差分絶対値和を求める際に、重み付け加算を行っても良く、例えば、画素ブロックの中心画素Ｐ０、Ｐｆ２に近い画素での差分の重みが大きく、中心画素からの距離が大きい画素での重みが小さくなるように重み付け加算してもよい。例えば、式（１９）に代え、下記の式（２２）に従い、垂直ブロックマッチング量ｖｐ１１とすることもできる。
ｖｐ１１＝ｄ１／４＋ｄ４／２＋ｄ７／４ …式（２２）
マッチング水平高域成分抽出部３０７では、入力された垂直ブロックマッチング量ｖｐ１１、ｖｐ１２及びｖｐ１３から、隣接する列の垂直ブロックマッチング量同士の差分絶対値を求め、差分絶対値の水平方向の高域周波数成分を表すマッチング水平高域成分ｈｅｂｐｍを算出して出力する。
ここで、上記垂直方向ブロックマッチング量ｖｐ１１、ｖｐ１２、ｖｐ１３は、差分絶対値和に基づく値であるが、垂直方向ブロックマッチング量の水平方向の高域周波数成分、すなわち、水平方向のエッジ成分を求めることで、水平方向に動くパターンの場合の類似度（水平方向に動くパターンがある場合に値が大きくなる類似度）を得ることができる。
マッチング水平高域成分抽出部３０７は、垂直ブロックマッチング演算部３０６からの垂直ブロックマッチング量ｖｐ１１、ｖｐ１２及びｖｐ１３から、下記の式（２３）及び式（２４）により、水平方向の画素間（列間）の値の差分の絶対値の１／４の値ｄｖ１及びｄｖ２を求めて水平方向の高域周波数成分を抽出し、さらに式（２５）のように２つの値ｄｖ１及びｄｖ２の最大値を求めて、マッチング水平高域成分ｈｅｂｐｍとして出力する。
ｄｖ１＝｜ｖｐ１１−ｖｐ１２｜／４ …式（２３）
ｄｖ２＝｜ｖｐ１２−ｖｐ１３｜／４ …式（２４）
ｈｅｂｐｍ＝ＭＡＸ（ｄｖ１，ｄｖ２） ・・・式（２５）
ここで、上記式（２３）及び式（２４）で差分絶対値の４分の１を求めているが、２分の１を求めるようにしてもよく、また、画素間（列間）の値の差分の絶対値の最大値を選択した後、４分の１を求めても良い。さらに、垂直ブロックマッチング演算部３０６で差分絶対値を平均化することで垂直ブロックマッチング量ｖｐ１１、ｖｐ１２及びｖｐ１３を求める場合には、上記のように４分の１の乗算などを行う必要は無く、同様の値が得られる。いずれにせよ、上記差分の絶対値の最大値を反映する値が得られれば良い。
上記式（２５）に従い算出されるマッチング水平高域成分ｈｅｂｐｍは、完全に静止しているか、ブロック内の画素が同じ値であり、かつブロック内の画素がすべて同じ方向に同じ速さで動いているか、もしくは、ブロック内の画素が同じ速さで垂直方向に動いている場合は、「０」であり、また、類似性が低いほど差分絶対値（垂直方向ブロックマッチング量ｖｐ１１、ｖｐ１２、ｖｐ１３）は大きくなるので、差分絶対値の水平方向の高域周波数成分があれば、マッチング垂直高域成分ｈｅｂｐｍは大きな値となり、画素ブロック内に水平方向に動く成分があることを示している。
図２の垂直ブロックマッチング演算部３０６と、マッチング水平高域成分抽出部３０７とで、現フレームＤｉ０及び直前フレームｄ２ｆの、同一の画素位置の画素ブロックｂ０、ｂ２内の、同位置にある画素の画素値の差分の絶対値に基づいて、画素ブロックｂ０、ｂ２を水平方向に分割した複数の小ブロックについての上記差分の絶対値の総和（単純加算値又は重み付け加算値）を求め、上記複数の小ブロックのうちの水平方向に隣接するもの相互間で、上記総和の差を求めることで、マッチング水平高域成分ｈｅｂｐｍを生成するマッチング水平高域成分生成部３０９が構成されている。
なお、上記の例では、パターンマッチングに使用する画素ブロックを図３に示す９画素のブロックとして構成したが、図４（ａ）又は（ｂ）に示すように構成しても良く、例えば図４（ａ）に示す３ライン×５画素の１５画素のブロックとした場合には、垂直ブロックマッチング演算部３０６では、垂直方向に並んだ３画素から成る小ブロックの単位でパターンマッチングを行い、水平方向５画素分の（水平方向の異なる位置の５つの小ブロックについての）垂直ブロックマッチング量を得ることとなる。
一般的に言えば、画素ブロックｂ０、ｂ２が垂直方向Ｖライン×水平方向Ｈ画素から成るものである場合、画素ブロックｂ０、ｂ２を水平方向に分割して、各々Ｖライン×１画素から成り、水平方向位置が互いに異なるＨ個の小ブロックを形成して、現フレームと直前フレームの同一画素位置の小ブロック間の差分絶対値の総和を求め、水平方向に隣接する小ブロック相互間で、上記総和の差を求めることで、マッチング水平高域成分ｈｅｂｐｍを求める。
マッチング水平高域成分抽出部３０７で抽出されたマッチング水平高域成分ｈｅｂｐｍは、
画素ブロック内に水平方向に動く成分があることを示す値として、第３の動きブロック係数変換部３１３へ出力される。
第１乃至第３の動きブロック係数変換部３１１乃至３１３は、互いに同様に構成されている。但し、第１及び第２の動きブロック係数変換部３１１及び３１２には、ブロック間マッチング演算部３０１からのブロックマッチング量ｂｌｋｐｍ及びマッチング垂直高域成分抽出部３０４からのマッチング垂直高域成分ｖｄｂｐｍが入力され、第３の動きブロック係数変換部３１３には、ブロック間マッチング演算部３０１からのブロックマッチング量ｂｌｋｐｍ及びマッチング水平高域成分抽出部３０７からのマッチング水平高域成分ｈｄｂｐｍが入力されている点で異なる。
第１、第２及び第３の動きブロック係数変換部３１１、３１２及び３１３は、それぞれブロック係数変換部３０２ａ〜３０２ｃと、高域成分変換部３０５ａ〜３０５ｃと、係数合成部３１４、３１５及び３１６とを備えている。
第１乃至第３の動きブロック係数変換部３１１、３１２及び３１３は、いずれも、ブロック間マッチング演算部３０１からのブロックマッチング量ｂｌｋｐｍを、マッチング高域成分（ｖｅｂｐｍ又はｈｅｂｐｍの値）に応じて変換して、画素ブロックでの動きを示す動きブロック係数ｄｆｍａｔ、ｄｍａｔ＿ｍｋ、Ｖｒｄｍａｔを生成する。
第１の動きブロック係数変換部３１１内のブロック係数変換部３０２ａは、例えば、ブロックマッチング量ｂｌｋｐｍから所定のオフセット値Ｍ１を減算し、所定の倍率Ｍｋ１を乗算して、その演算結果として得られる値（（ｂｌｋｐｍ−Ｍ１）×Ｍｋ１）を所定の範囲（例えば、「０」からＭａｘ＿ｋまでの範囲）に制限することで非線形変換し、ブロック係数ｄｍｂｌ１として出力する。
なお、非線形変換は、所定の倍率Ｍｋ１を乗算した後、所定のオフセット値Ｍ１を減算する演算（ｂｌｋｐｍ×Ｍｋ１−Ｍ１）を行い、ブロック係数として求めてもよい。
図９は、ブロック係数変換部３０２ａにおいて、ブロックマッチング量ｂｌｋｐｍ（横軸）からブロック係数ｄｍｂｌ１（縦軸）への変換の特性を示す図であり、ブロック係数ｄｍｂｌ１が、「０」から最大値Ｍａｘ＿ｋ（＝１）までの値を取る場合を示している。
ブロック係数ｄｍｂｌ１は、画素ブロックでのブロック・パターンの動きの度合いを示すものとして用いられる。
なお、このブロック係数ｄｍｂｌ１の「０」から「１」の値は、係数「１」に相当する値を「８」として、「０」〜「８」の値で小数部である「１／８」、「２／８」、・・・を表す値へ変換するようにしてもよい。
図示の例では、ブロックマッチング量ｂｌｋｐｍが所定値Ｍ２以上の場合は、得られるブロック係数ｄｍｂｌ１が最大値Ｍａｘ＿ｋ、即ち、動きブロックである（完全に「動き」として扱われるべき）ことを示すものとなり、ブロックマッチング量ｂｌｋｐｍがオフセット値Ｍ１以下では、ブロック係数ｄｍｂｌ１が「０」となり、類似パターン（静止画）として扱われる。
ブロックマッチング量ｂｌｋｐｍがオフセット値Ｍ１から所定値Ｍ２までの範囲では、ブロックマッチング量ｂｌｋｐｍの増加に伴ってブロック係数ｄｍｂｌ１が「０」からＭａｘ＿ｋまで次第に増加し、その値で動きの度合い（完全に「動き」として扱われるべき状態と、完全に「静止」として扱われるべき状態の間の状態であって、完全に「動き」として扱われるべき状態への近さ）を示している。
倍率Ｍｋ１を大きくすることで、ブロックマッチング量ｂｌｋｐｍがより大きな値を持つブロック係数ｄｍｂｌ１に変換される。即ち、ブロック係数ｄｍｂｌ１としてより大きな動きを表すものが生成されるように調整が行なわれ、動きと判定されやすくなる。一方、オフセット値Ｍ１を大きくすると、その値までの差分値が静止部分として検出されることとなる。よって、この倍率Ｍｋ１とオフセット値Ｍ１により、ブロック係数ｄｍｂｌ１への変換時の検出の感度が調整される。
なお、ブロック係数変換部３０２ａにおいて、非線形変換を省略し、ブロックマッチング量ｂｌｋｐｍを所定の閾値と比較することにより変換したり、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などで構成されたＬＵＴ（ルックアップテーブル）を用いて、予め定められた、例えば図９に示すような変換を行って、ブロック係数ｄｍｂｌ１を生成するようにしてもよい。
第１の動きブロック係数変換部３１１内の高域成分変換部３０５ａへは、マッチング垂直高域成分抽出部３０４からのマッチング垂直高域成分ｖｅｂｐｍを、例えば、上記ブロック係数変換部３０２ａと同様に非線形変換や閾値比較を行うことにより、画素ブロック内の垂直方向に動く成分の動きの度合いを示す高域成分係数ｈｌｄｍ１に変換して出力する。
高域成分係数ｈｌｄｍ１としては、マッチング垂直高域成分ｖｅｂｐｍの増加に伴って「０」から「１」まで次第に増加し、その値で垂直方向に動く成分の動きの度合いを示すものが得られる。
係数合成部３１４へは、ブロック係数変換部３０２ａからのブロック係数ｄｍｂｌ１と、高域成分変換部３０５ａからの高域成分係数ｈｌｄｍ１が入力される。係数合成部３１４では、ブロック係数ｄｍｂｌ１と、高域成分係数ｈｌｄｍ１を合成して、動きブロック係数ｄｆｍａｔを生成し、出力する。係数合成部３１４では、例えば、ブロック係数ｄｍｂｌ１を、高域成分係数ｈｌｄｍ１の値に応じて変化させる変換を行うことで、上記の合成を行う。
上記のように、高域成分係数ｈｌｄｍ１は、垂直方向に動く成分の動きの度合いを示すものであるので、係数合成部３１４では、例えば、ブロック係数ｄｍｂｌ１に対し、高域成分係数ｈｌｄｍ１を乗算することで変換を行うこととすれば、高域成分係数ｈｌｄｍ１＝１である（垂直方向に動く成分が存在することを示す）場合に、ブロック係数ｄｍｂｌ１がそのままの値で動きブロック係数ｄｆｍａｔとして出力され、高域成分係数ｈｌｄｍ１＝０である（垂直方向に動く成分が存在しないことを示す）場合には、動きブロック係数ｄｆｍａｔも「０」として出力され、高域成分係数ｈｌｄｍ１の値に応じて重み付けされたブロック係数ｄｍｂｌ１が、動きブロック係数ｄｆｍａｔとして得られることとなる。
これにより、係数合成部３１４から出力される動きブロック係数ｄｆｍａｔは、画素ブロックが垂直方向に動くパターンを考慮したブロックの動きの度合いを示す動きブロック係数ｄｆｍａｔとして得ることができる。
なお、係数合成部３１４での合成は、高域成分係数ｈｌｄｍ１をブロック係数ｄｍｂｌ１に対し、乗算する変換ではなく、高域成分係数ｈｌｄｍ１が所定値（例えばｈｌｄｍ１＝１）以上の場合にブロック係数ｄｍｂｌ１を動きブロック係数ｄｆｍａｔとするような変換を行っても、画素ブロックが垂直方向に動くパターンを考慮した動きブロック係数ｄｆｍａｔとすることができる。
また、係数合成部３１４で垂直方向に動くパターンを考慮した動きブロック係数ｄｆｍａｔを求めることとしたが、ブロック係数変換部３０２ａから出力されたブロック係数ｄｍｂｌ１をそのまま動きブロック係数ｄｆｍａｔしてもよく、ブロックマッチング量ｂｌｋｐｍから、画素ブロックの動きを示す動きブロック係数ｄｆｍａｔを生成できれば良く、このようにして生成された動きブロック係数ｄｆｍａｔは、画素ブロック間でパターンが異なること、すなわち、画素ブロックが動いていることを示しており、画素ブロックでのブロック・パターンの動きを示すものである。
但し、高域成分係数ｈｌｄｍ１に応じた変換を行うことで、垂直方向に動くパターンを考慮することにより、後に述べるフレーム間の差分の検出等において、パターンの動きに応じたより適切な処理を行うための動きブロック係数ｄｆｍａｔとすることができる。
以上の第１の動きブロック係数変換部３１１内の係数合成部３１４で生成される動きブロック係数ｄｆｍａｔは、パターンマッチング検出部３０で検出された動きブロック係数ｄｆｍａｔとして、図１におけるフレーム間差分検出部２０へ送られる。
第２及び第３の動きブロック係数変換部３１２及び３１３は、上記第１の動きブロック係数変換部３１１と入力が異なるのみで同様な構成であるので、その詳細な説明は省略するが、第２の動きブロック係数変換部３１２では、ブロックマッチング量ｂｌｋｐｍとマッチング垂直高域成分抽出部３０４で抽出されたマッチング垂直高域成分ｖｅｂｐｍを入力として、垂直方向に動くパターンを考慮した横線動きブロック係数ｄｆｍａｔ＿ｍｋを求め、第３の動きブロック係数変換部３１３では、ブロックマッチング量ｂｌｋｐｍとマッチング水平高域成分抽出部３０７で抽出されたマッチング水平高域成分ｈｅｂｐｍを入力として、水平方向に動くパターンを考慮した縦線動きブロック係数Ｖｒｄｆｍａｔを求め、得られた横線動きブロック係数ｄｆｍａｔ＿ｍｋと縦線動きブロック係数Ｖｒｄｆｍａｔは、パターンマッチング検出部３０で検出された動きブロック係数ｃｂｍａｔとして、図１における動き情報補正部５０へ送られる。
第２及び第３の動きブロック係数変換部３１２及び３１３内のブロック係数変換部３０２ｂ及び３０２ｃと、高域成分変換部３０５ｂ及び３０５ｃと、係数合成部３１５、３１６は、第１の動きブロック係数変換部３１１でのブロック係数変換部３０２ａ、高域成分変換部３０５ａ、係数合成部３１４とそれぞれ同じ構成であり、得られる動きブロック係数ｃｂｍａｔは、垂直方向もしくは水平方向に動くパターンを考慮して、パターンの類似度によるブロックマッチング量ｂｌｋｐｍの値に応じた画素ブロックでのブロック・パターンの動きを示すものとなるようにすることができる。
なお、第１、第２及び第３の動きブロック係数変換部３１１、３１２及び３１３で別々に動きブロック係数への変換を行っているが、共通の変換とし、一つの係数をそれぞれの出力とすることも可能である。しかし、ブロック係数変換部３０２ａ、３０２ｂ、３０２ｃ、高域成分変換部３０５ａ、３０５ｂ、３０５ｃでの変換時の倍率やオフセット値を別々に設定することで、高域成分の方向や、変換時の検出の感度の調整を後に述べるフレーム間の差分の検出、動き情報補正部５０の処理において、パターンの動きに応じたより適切な処理を行うための動きブロック係数となるようにすることができる。
以上により、図２に示されるパターンマッチング検出部３０においては、現フレームＤｉ０の注目画素ブロックｂ０と、直前フレームｄ２ｆの参照画素ブロックｂ２の間での類似度の算出から得られたブロックマッチング量ｂｌｋｐｍを求め、また、差分絶対値の垂直高域成分及び水平高域成分を求めて、画素ブロックが垂直方向に動くパターン及び／又は水平方向に動くパターンのものであるかを考慮して、ブロックマッチング量ｂｌｋｐｍによる類似度に応じた動きブロック係数ｄｆｍａｔ及びｃｂｍａｔが生成される。これらの動きブロック係数ｄｆｍａｔ及びｃｂｍａｔは、画素ブロック間のパターンマッチング（類似度の算出）から得られているため、注目画素Ｐ０と対応する画素の差分のみに基づいて判定を行なうのと比較し、画素ブロックのパターンの違いも考慮することとなり、画素ブロックでのブロック・パターンの動きを示した値が得られている。
図１に戻り、エッジ検出部４０には、現フレーム信号Ｄｉ０と、１フレーム遅延信号ｄ２ｆと、１フィールド遅延信号ｄ１ｆとが入力される。エッジ検出部４０では、現フレーム信号Ｄｉ０、１フレーム遅延信号ｄ２ｆ、及び１フィールド遅延信号ｄ１ｆで表される各画素の画素値から、現フレームＤｉ０における注目画素Ｐ０の近傍の領域、並びに１フィールド期間前のフレーム及び１フレーム期間前のフレームにおける、注目画素Ｐ０に対応する位置の近傍の領域に、画像の物体の輪郭部分であるエッジが存在するかを検出し、検出結果であるエッジ判定係数ｅｆｋｍ及びｃｅｄｋｍを生成する。
エッジ検出部４０は、例えば図１０に示すように構成される。
図１０に示すエッジ検出部４０は、画像の垂直方向の高域周波数成分（垂直エッジ成分、もしくは垂直高域成分、横線成分）を検出する垂直エッジ検出部４１と、画像の水平方向の高域周波数成分（水平エッジ成分、もしくは水平高域成分、縦線成分）を検出する水平エッジ検出部４２とを備えている。
垂直エッジ検出部４１と水平エッジ検出部４２は、現フレーム信号Ｄｉ０と、１フレーム前の信号ｄ２ｆと、１フィールド前の信号ｄ１ｆとを用いて、注目画素Ｐ０と、注目画素Ｐ０と同じフレーム内において、注目画素Ｐ０及びその近傍乃至周辺に位置する画素と、時間的に隣接するフレーム内において、注目画素Ｐ０と同じ位置もしくは対応する位置にある画素とその近傍乃至周辺の位置にある画素から、垂直方向もしくは水平方向の高域周波数成分を求めることで、エッジを検出し、検出結果であるエッジ判定係数を出力する。
垂直エッジ検出部４１は、垂直方向の高域周波数成分である垂直エッジ成分を取り出すための垂直高域成分抽出部４１１〜４１３と、垂直高域成分選択部４１４と、垂直エッジ判定係数変換部４１５〜４１７と、反転部４１８とを備える。
垂直高域成分抽出部４１１〜４１３は入力されるフレーム（フィールド）の信号が異なるが、同様に構成され、また、垂直エッジ判定係数変換部４１５〜４１７も、同様に構成されるが、同様のものを別々に設けることで、係数変換のための設定をそれぞれ（独立に）決定乃至変更することができる。
水平エッジ検出部４２は、水平方向の高域周波数成分である水平エッジ成分を取り出すための水平高域成分抽出部４２１〜４２３と、水平高域成分選択部４２４と、水平エッジ判定係数変換部４２５及び４２６とを備える。
水平高域成分抽出部４２１〜４２３は入力されるフレーム（フィールド）の信号が異なるが、同様に構成され、また、水平エッジ判定係数変換部４２５及び４２６も、同様に構成されるが、同様のものを別々に設けることで、係数変換のための設定をそれぞれ（独立に）決定乃至変更することができる。
上記パターンマッチング検出部３０に関して述べたように、図５は、入力映像信号がインターレース信号である場合の、現フレーム信号Ｄｉ０、１フレーム遅延信号ｄ２ｆ、及び１フィールド遅延信号ｄ１ｆのフレーム相互間の時間的関係と、処理に用いられる画素の垂直走査方向（画面表示ライン上下方向）の位置関係を示している。
図５において、現フレームＤｉ０を示す縦線上で、ラインｎ上に注目画素Ｐ０（図６（ｂ）の画素ブロックｂ０の中心画素）が示され、１フレーム遅延信号ｄ２ｆのフレームを示す縦線上で、注目画素Ｐ０と同じラインｎ上に（注目画素と同じ縦方向位置に）画素Ｐｆ２（図６（ａ）の画素ブロックｂ２の中心画素）が示され、１フィールド遅延信号ｄ１ｆのフレームを示す縦線上で、注目画素Ｐ０に対して１／２ライン上及び１／２ライン下に画素Ｐｆ１ａ及びＰｆ１ｂが示されている。
図１０及び図５を参照してエッジ検出部４０の動作を説明する。
まず、垂直エッジ検出部４１において、現フレーム信号Ｄｉ０、１フレーム遅延信号ｄ２ｆ、及び１フィールド遅延信号ｄ１ｆは、それぞれ垂直高域成分抽出部４１１〜４１３へ入力される。垂直高域成分抽出部４１１〜４１３では、現フレーム信号Ｄｉ０、１フレーム遅延信号ｄ２ｆ、及び１フィールド遅延信号ｄ１ｆから、注目画素Ｐ０（又はそれに対応する位置）の近傍の領域における垂直方向の高域周波数成分である垂直エッジ成分（横線成分）を抽出する。
垂直エッジ成分の抽出は、具体的には、帯域通過フィルタ（バンドパスフィルタ、以下、ＢＰＦと略す）等により行い、ライン間の画素で垂直方向のＢＰＦ（垂直ＢＰＦ）処理した後、ＢＰＦ後の出力を絶対値化した値を垂直エッジ成分として求める。
なお、絶対値化したＢＰＦ出力に対し、水平方向のＬＰＦ（水平ＬＰＦ）を施すことで平滑化処理を行っても良く、または、上記の垂直方向のＢＰＦ（垂直ＢＰＦ）の前に各ラインの信号に対し水平ＬＰＦを施すこととしても良く、要するに、水平方向に延びた或いは水平方向の成分を有する輪郭における垂直エッジ成分が求められれば良い。
垂直高域成分抽出部４１１及び４１２は互いに同様に構成されており、垂直高域成分抽出部４１１では、現フレームＤｉ０における画素Ｐ０と垂直方向上下ライン上に位置する信号（例えば、図５中のＰ０ａとＰ０ｂ）をライン遅延処理等で得て、フレーム内のライン間の画素の演算により垂直エッジ成分（例えば、垂直ＢＰＦ出力を絶対値化した値）を抽出し、垂直エッジ成分ｖｂｐ０として出力する。
また、垂直高域成分抽出部４１２では、１フレーム遅延信号ｄ２ｆのフレームにおける画素Ｐｆ２（上記画素Ｐ０と同一位置）と垂直方向上下ライン上に位置する信号（図５中のＰｆ２ａとＰｆ２ｂ）をライン遅延処理等で得て、フレーム内のライン間の画素の演算により垂直エッジ成分を抽出し、垂直エッジ成分ｖｂｐ２として出力する。
なお、上記の処理の代わりに、画素位置Ｐ０またはＰｆ２を中心とし、その上または下のラインに位置する１つの画素との間の演算、さらには、画素位置Ｐ０またはＰｆ２の上下に位置する数ラインにわたる画素との間での演算により垂直エッジ成分を抽出してもよい。
また、抽出した垂直エッジ成分に対して、平滑化処理とゲイン調整等の変換を行うよう構成することもできる。
垂直高域成分抽出部４１３では、１フィールド遅延信号ｄ１ｆにおいて垂直方向上下ライン上に位置する画素の信号（例えば、図５中の画素Ｐｆ１ａ及びＰｆ１ｂの信号）をライン遅延処理等で得て、フィールド内のライン間の画素の演算により垂直エッジ成分（例えば、２画素の差分による垂直ＢＰＦ出力を絶対値化した値）を抽出し、フィールド内の垂直エッジ成分ｖｂｐ１ｆとして出力する。
なお、図５中の画素Ｐｆ１ａ及びＰｆ１ｂの上下に位置する数ラインにわたる画素との間での演算により垂直エッジ成分を抽出してもよく、上記垂直高域成分抽出部４１１と同様のライン数を用いた抽出を行うこともできる。また、上記と同様、抽出した垂直エッジ成分に対して、平滑化処理とゲイン調整等の変換を行うよう構成することもできる。
垂直高域成分抽出部４１１〜４１３から出力される現フレーム信号Ｄｉ０、１フレーム遅延信号ｄ２ｆ、及び１フィールド遅延信号ｄ１ｆの各フレーム内における、垂直エッジ成分ｖｂｐ０、ｖｂｐ２及びｖｂｐ１ｆは、垂直高域成分選択部４１４へ出力される。
垂直高域成分選択部４１４では、入力された垂直エッジ成分ｖｂｐ０、ｖｂｐ２及びｖｂｐ１ｆを比較し、その最小値を選択して、抽出垂直エッジ成分ｖｅｄとして出力する。即ち、抽出垂直エッジ成分ｖｅｄは、注目画素Ｐ０の近傍（図５に示される注目画素Ｐ０周辺に位置する画素）とその時間的に１フレーム前までの同一位置の近傍において得られた垂直高域成分のうち最小となる値として抽出される。最小値を選択することで、例えば垂直高域成分があると判定できるような所定の閾値よりも、選択された最小値である抽出垂直エッジ成分ｖｅｄの値が大きければ、現フレーム信号Ｄｉ０、１フレーム遅延信号ｄ２ｆ、及び１フィールド遅延信号ｄ１ｆのいずれにも垂直高域成分、つまり、垂直エッジである横線成分が存在すると判定できる。
なお、垂直高域成分選択部４１４において、各垂直エッジ成分を比較し、その最大値を選択して、抽出垂直エッジ成分ｖｅｄとすることもできるが、この場合は、現フレーム信号Ｄｉ０、１フレーム遅延信号ｄ２ｆ、及び１フィールド遅延信号ｄ１ｆのいずれかにおいて、垂直エッジである横線成分が存在する場合を判定することになる。
この垂直高域成分選択部４１４からの抽出垂直エッジ成分ｖｅｄは、注目画素Ｐ０の近傍の垂直エッジである横線成分の存在を示し、垂直エッジ判定係数変換部４１５〜４１７へ出力される。
垂直エッジ判定係数変換部４１５〜４１７は、垂直高域成分選択部４１４からの抽出垂直エッジ成分ｖｅｄに基づいて、垂直エッジの有無を判定し、垂直エッジ判定係数を生成する。垂直エッジ判定係数変換部４１５〜４１７は互いに同様に構成されているが、垂直エッジ判定係数生成における係数変換のための設定がそれぞれ独立に定め得るように構成されている。
垂直エッジ判定係数変換部４１５〜４１７は互いに同様な構成であるので、垂直エッジ判定係数変換部４１５について説明する。
垂直エッジ判定係数変換部４１５では、例えば、抽出垂直エッジ成分ｖｅｄから所定のオフセット値Ｅ１を減算し、所定の倍率Ｅｋ１を乗算して、その演算結果として得られる値（（ｖｅｄ−Ｅ１）×Ｅｋ１）を所定の範囲（例えば、「０」からＭａｘ＿ｅｋまでの範囲）に制限することで非線形変換し、第１の垂直エッジ判定係数ｖｅｄｇ＿ｆｋとして出力する。
なお、非線形変換の方法は、抽出垂直エッジ成分ｖｅｄに所定の倍率Ｅｋ１を乗算した後、所定のオフセット値Ｅ１を減算する演算（ｖｅｄ×Ｅｋ１−Ｅ１）を行ってもよい。
図１１は、垂直エッジ判定係数変換部４１５において、抽出垂直エッジ成分ｖｅｄ（横軸、図中、抽出エッジ成分と記す）から垂直エッジ判定係数ｖｅｄｇ＿ｆｋ（縦軸、図中エッジ判定係数と記す）への変換の特性を示す図であり、垂直エッジ判定係数ｖｅｄｇ＿ｆｋが「０」から最大値Ｍａｘ＿ｅｋまでの値を取る場合を示している。
垂直エッジ判定係数ｖｅｄｇ＿ｆｋは、垂直エッジである横線成分の存在の度合い (存在するとして扱われるべき度合い）を示すものとして用いられる。
なお、この垂直エッジ判定係数ｖｅｄｇ＿ｆｋの「０」から「１」の値は、係数「１」に相当する値を「８」として、「０」〜「８」の値で小数部である「１／８」、「２／８」、・・・を表す値へ変換するようにしてもよい。
図示の例では、抽出垂直エッジ成分ｖｅｄが所定値Ｅ２以上の場合は、得られる垂直エッジ判定係数ｖｅｄｇ＿ｆｋが最大値Ｍａｘ＿ｅｋ、即ち、垂直エッジである（完全に「垂直エッジあり」として扱われるべき）ことを示すものとなり、抽出垂直エッジ成分ｖｅｄがオフセット値Ｅ１以下では、垂直エッジ判定係数ｖｅｄｇ＿ｆｋが「０」となり、エッジがない（完全に「垂直エッジなし」）として扱われる。
抽出垂直エッジ成分ｖｅｄがオフセット値Ｅ１から所定値Ｅ２までの範囲では、抽出垂直エッジ成分ｖｅｄの増加に伴って垂直エッジ判定係数ｖｅｄｇ＿ｆｋが「０」からＭａｘ＿ｅｋまで次第に増加し、その値で垂直エッジであることの度合い、言い換えれば垂直エッジとして扱われるべき度合い（完全に「エッジあり」として扱われるべき状態と、完全に「エッジなし」として扱われるべき状態の間の状態であって、完全に「エッジあり」として扱われるべき状態への近さ）、言い換えればエッジ成分の大きさ乃至強さを示している。
倍率Ｅｋ１を大きくすることで、抽出垂直エッジ成分ｖｅｄがより大きな値を持つ垂直エッジ判定係数ｖｅｄｇ＿ｆｋに変換され、垂直エッジが存在するとの判定がされやすくなる（垂直エッジが検出されやすくなる）。一方、オフセット値Ｅ１を大きくすると、エッジなしと判定される範囲が広がる。従って、この範囲内の高域成分はノイズとして扱われる。このようにこの倍率Ｅｋ１とオフセット値Ｅ１により、垂直エッジ判定係数ｖｅｄｇ＿ｆｋへの変換時の検出の感度が調整される。
なお、垂直エッジ判定係数変換部４１５において、非線形変換を省略し、抽出垂直エッジ成分ｖｅｄを所定の閾値と比較することにより変換したり、ＬＵＴを用いて、予め定められた、例えば図１１に示すような変換を行って、垂直エッジ判定係数ｖｅｄｇ＿ｆｋを生成するようにしてもよい。
垂直エッジ判定係数変換部４１６及び４１７は、上記垂直エッジ判定係数変換部４１５と同様な構成であるので、その詳細な説明は省略するが、垂直エッジ判定係数変換部４１６では、抽出垂直エッジ成分ｖｅｄを変換し、第２の垂直エッジ判定係数ｖｅｄｇ＿ｍｋを生成し、垂直エッジ判定係数変換部４１７では、抽出垂直エッジ成分ｖｅｄを変換し、第３の垂直エッジ判定係数ｖｒｄｅを生成する。垂直エッジ判定係数変換部４１７で変換された垂直エッジ判定係数ｖｒｄｅは、反転部４１８へ送られる。
垂直エッジ判定係数変換部４１６及び４１７は、垂直エッジ判定係数変換部４１５と同じ構成であり、得られる垂直エッジ判定係数ｖｅｄｇ＿ｍｋ及びｖｒｄｅは、垂直エッジである横線成分の存在の度合い（存在するとして扱われるべき度合い）を示す「０」から「１」の値をとり、抽出垂直エッジ成分ｖｅｄの値に応じた垂直エッジの存在を示すものとなる。
なお、垂直エッジ判定係数変換部４１５〜４１７で別々に垂直エッジ判定係数への変換を行っているが、共通の変換とし、一つの係数をそれぞれの出力とすることも可能である。しかし、垂直エッジ判定係数変換部４１５〜４１７での変換時の倍率やオフセット値を別々に設定することで、変換時の検出の感度の調整を、後に述べるフレーム間の差分の検出、動き情報補正部５０の処理において、画像のエッジの方向に応じたより適切な処理を行うための垂直エッジ判定係数となるようにすることができる。
反転部４１８は、垂直エッジ判定係数変換部４１７からの垂直エッジ判定係数ｖｒｄｅを反転し、非垂直エッジ判定係数ｖｒｄ＿ｈｖｋｍとする。この反転は、例えば、垂直エッジ判定係数ｖｒｄｅの値を、その最大値から減算することで行われる。垂直エッジ判定係数ｖｒｄｅは、垂直エッジである横線成分の存在の度合いを示すものであるので、反転することで垂直エッジである横線成分が存在しないこと、すなわち、非垂直エッジであることの度合いを示す値が得られる。
垂直エッジ判定係数変換部４１５及び４１６で生成された垂直エッジ判定係数ｖｅｄｇ＿ｆｋ及びｖｅｄｇ＿ｍｋと、反転部４１８からの非垂直エッジ判定係数ｖｒｄ＿ｈｖｋｍが、注目画素Ｐ０の近傍に垂直エッジが存在するか否かを示す検出結果として出力される。
次に、水平エッジ検出部４２において、現フレーム信号Ｄｉ０、１フレーム遅延信号ｄ２ｆ、及び１フィールド遅延信号ｄ１ｆは、それぞれ水平高域成分抽出部４２１〜４２３へ入力される。水平高域成分抽出部４２１〜４２３では、現フレーム信号Ｄｉ０、１フレーム遅延信号ｄ２ｆ、及び１フィールド遅延信号ｄ１ｆから、注目画素Ｐ０（又はそれに対応する位置）の近傍の領域における水平方向の高域周波数成分である水平エッジ成分（縦線成分）を抽出する。
水平エッジ成分の抽出は、垂直方向のＬＰＦ（垂直ＬＰＦ）により垂直方向での低域周波数成分（垂直低域成分）を取り出した後、水平方向のＢＰＦ（水平ＢＰＦ）処理を施すことにより行い、水平ＢＰＦ後の出力を絶対値化した値を水平エッジ成分として求める。
なお、フレーム内での水平エッジ成分の抽出は、所定の画素を中心とした水平ＢＰＦ処理のみから求めることとしても良く、また水平ＢＰＦ処理を施し、絶対値化したＢＰＦ出力に対し、垂直ＬＰＦを施すことで平滑化処理することとしても良く、要するに、垂直方向に延びた或いは垂直方向の成分を有する輪郭（縦線）における水平エッジ成分が求められれば良い。
水平高域成分抽出部４２１及び４２２は互いに同様に構成されており、水平高域成分抽出部４２１では、現フレームＤｉ０における画素Ｐ０に対し、垂直ＬＰＦにより垂直低域成分を取り出した後、この垂直低域成分に水平方向のＢＰＦ処理を施すことで、水平エッジ成分（例えば、水平ＢＰＦ出力を絶対値化した値）を抽出し、水平エッジ成分ｈｂｐ０として出力する。
また、水平高域成分抽出部４２２では、１フレーム遅延信号ｄ２ｆのフレームにおける画素Ｐｆ２に対し、垂直ＬＰＦにより垂直低域成分を取り出した後、この垂直低域成分に水平方向のＢＰＦ処理を施すことで、水平エッジ成分を抽出し、水平エッジ成分ｈｂｐ２として出力する。
なお、抽出した水平エッジ成分に対して、平滑化処理とゲイン調整等の変換を行うよう構成することもできる。
水平高域成分抽出部４２３では、１フィールド遅延信号ｄ１ｆの画素Ｐｆ１ａ及びＰｆ１ｂ（図５参照）に対し、垂直ＬＰＦ（例えば、２画素の平均値）により垂直低域成分を取り出した後、この垂直低域成分に水平ＢＰＦ処理を施すことで、フィールド内の垂直低域成分における水平エッジ成分（例えば、ＢＰＦ出力を絶対値化した値）を抽出し、フィールド内の水平エッジ成分ｈｂｐ１ｆとして出力する。
なお、図５中の画素Ｐｆ１ａ及びＰｆ１ｂの上下に位置する数ラインにわたる画素との間での垂直ＬＰＦ処理により垂直低域成分を取り出してもよく、また、上記と同様、抽出した水平エッジ成分に対して、平滑化処理とゲイン調整等の変換を行うよう構成することもできる。
水平高域成分抽出部４２１〜４２３から出力される現フレーム信号Ｄｉ０、１フレーム遅延信号ｄ２ｆ、及び１フィールド遅延信号ｄ１ｆの各フレーム内における、水平エッジ成分ｈｂｐ０、ｈｂｐ２及びｈｂｐ１ｆは、水平高域成分選択部４２４へ出力される。
水平高域成分選択部４２４では、入力された水平エッジ成分ｈｂｐ０、ｈｂｐ２及びｈｂｐ１ｆを比較し、その最小値を選択して、抽出水平エッジ成分ｈｅｄとして出力する。
即ち、抽出水平エッジ成分ｈｅｄは、注目画素Ｐ０の近傍（図５に示される注目画素Ｐ０周辺に位置する画素）とその時間的に１フレーム前までの同一位置の近傍において得られた水平高域成分のうち最小となる値として抽出される。最小値を選択することで、例えば水平高域成分があると判定できるような所定の閾値よりも、選択された最小値である抽出水平エッジ成分ｈｅｄの値が大きければ、現フレーム信号Ｄｉ０、１フレーム遅延信号ｄ２ｆ、及び１フィールド遅延信号ｄ１ｆのいずれにも水平高域成分、つまり、水平エッジである縦線成分が存在すると判定できる。
なお、水平高域成分選択部４２４において、各水平エッジ成分を比較し、その最大値を選択して、抽出水平エッジ成分ｈｅｄとすることもできるが、この場合は、現フレーム信号Ｄｉ０、１フレーム遅延信号ｄ２ｆ、及び１フィールド遅延信号ｄ１ｆのいずれかにおいて、水平エッジである縦線成分が存在する場合を判定することになる。
この水平高域成分選択部４２４からの抽出水平エッジ成分ｈｅｄは、注目画素Ｐ０の近傍の水平エッジである縦線成分の存在を示し、水平エッジ判定係数変換部４２５、４２６へ出力される。
水平エッジ判定係数変換部４２５及び４２６は、水平高域成分選択部４２４からの抽出水平エッジ成分ｈｅｄに基づいて、水平エッジの有無を判定し、水平エッジ判定係数を生成する。水平エッジ判定係数変換部４２５及び４２６は互いに同様に構成されているが、水平エッジ判定係数生成における係数変換のための設定がそれぞれ独立に定め得るように構成されている。
水平エッジ判定係数変換部４２５及び４２６は互いに同様な構成であるので、水平エッジ判定係数変換部４２５について説明する。
水平エッジ判定係数変換部４２５では、例えば、上記垂直エッジ判定係数変換部４１５と同様の処理により、抽出水平エッジ成分ｈｅｄを、「０」から最大値Ｍａｘ＿ｅｋまでの値をとる第１の水平エッジ判定係数ｈｅｄｇ＿ｆｋとして変換して出力する。変換特性は図１１に示すようになる。
この水平エッジ判定係数ｈｅｄｇ＿ｆｋは、水平エッジである縦線成分の存在の度合いを示すものとして用いられる。
なお、水平エッジ判定係数ｈｅｄｇ＿ｆｋの「０」から「１」の値は、係数「１」に相当する値を「８」として、「０」〜「８」の値で小数部である「１／８」、「２／８」、・・・を表す値へ変換するようにしてもよいことは、上述の垂直エッジ判定係数変換部４１５での変換と同様である。
抽出垂直エッジ成分ｖｅｄについて述べたのと同様に、抽出水平エッジ成分ｈｅｄが所定値Ｅ２以上の場合は、得られる水平エッジ判定係数ｈｅｄｇ＿ｆｋが最大値Ｍａｘ＿ｅｋ、即ち水平エッジであること（完全に「水平エッジあり」として扱われるべき）を示すものとなり、抽出水平エッジ成分ｈｅｄがオフセット値Ｅ１以下では、水平エッジ判定係数ｈｅｄｇ＿ｆｋが「０」となり、エッジがない（完全に「水平エッジなし」）として扱われる。
抽出水平エッジ成分ｈｅｄがオフセット値Ｅ１から所定値Ｅ２までの範囲では、抽出水平エッジ成分ｈｅｄの増加に伴って水平エッジ判定係数ｈｅｄｇ＿ｆｋが「０」からＭａｘ＿ｅｋまで次第に増加し、その値で水平エッジであることの度合い、言い換えれば水平エッジとして扱われるべき度合いを示している。
水平エッジ判定係数変換部４２６は、上記水平エッジ判定係数変換部４２５と同様な構成であるので、説明は省略するが、水平エッジ判定係数変換部４２６では、抽出水平エッジ成分ｈｅｄを変換し、第２の水平エッジ判定係数ｈｅｄｇ＿ｍｋを生成する。得られる水平エッジ判定係数ｈｅｄｇ＿ｍｋは、水平エッジである縦線成分の存在の度合いを示す「０」から「１」の値をとり、抽出水平エッジ成分ｈｅｄの値に応じた水平エッジの存在を示すものとなる。
なお、水平エッジ判定係数変換部４２５及び４２６で別々に水平エッジ判定係数への変換を行っているが、共通の変換とし、一つの係数をそれぞれの出力とすることも可能である。しかし、水平エッジ判定係数変換部４２５及び４２６での変換時の倍率やオフセット値を別々に設定することで、変換時の検出の感度の調整を、後に述べるフレーム間の差分の検出、動き情報補正部５０の処理において、画像のエッジの方向に応じたより適切な処理を行うための水平エッジ判定係数となるようにすることができる。
水平エッジ判定係数変換部４２５及び４２６で生成された水平エッジ判定係数ｈｅｄｇ＿ｆｋ及びｈｅｄｇ＿ｍｋが、注目画素Ｐ０の近傍に水平エッジが存在するか否かを示す検出結果として出力される。
以上により、図１０に示されるエッジ検出部４０においては、現フレーム信号Ｄｉ０、１フレーム遅延信号ｄ２ｆ、及び１フィールド遅延信号ｄ１ｆの画素から、信号の高域成分を抽出し、注目画素Ｐ０の近傍のエッジ成分の存在の度合いを示すエッジ判定係数ｅｆｋｍ及びｃｅｄｋｍを生成し、出力する。
そして、垂直エッジ検出部４１の垂直エッジ判定係数変換部４１５からの垂直エッジ判定係数ｖｅｄｇ＿ｆｋと、水平エッジ検出部４２の水平エッジ判定係数変換部４２５からの水平エッジ判定係数ｈｅｄｇ＿ｆｋは、エッジ検出部４０で検出された注目画素Ｐ０の近傍にエッジが存在するかを検出した検出結果であるエッジ判定係数ｅｆｋｍとして、図１におけるフレーム間差分検出部２０へ送られ、垂直エッジ検出部４１の垂直エッジ判定係数変換部４１６からの垂直エッジ判定係数ｖｅｄｇ＿ｍｋと反転部４１８からの非垂直エッジ判定係数ｖｒｄ＿ｈｖｋｍ、水平エッジ検出部４２の水平エッジ判定係数変換部４２６からの水平エッジ判定係数ｈｅｄｇ＿ｍｋは、エッジ検出部４０で検出されたエッジ判定係数ｃｅｄｋｍとして、図１における動き情報補正部５０へ送られる。
図１に戻り、フレーム間差分検出部２０へは、現フレーム信号Ｄｉ０と１フレーム遅延信号ｄ２ｆが入力され、さらにパターンマッチング検出部３０からの動きブロック係数ｄｆｍａｔと、エッジ検出部４０からのエッジ判定係数ｅｆｋｍが入力される。
フレーム間差分検出部２０では、１フレーム前の信号ｄ２ｆと現フレーム信号Ｄｉ０の同位相にある画素間の差分を求め、この差分に対し、動きブロック係数ｄｆｍａｔとエッジ判定係数ｅｆｋｍとに応じて、平滑化処理を行う画素の範囲を選択し、平滑化処理したフレーム間の差分を検出し、検出結果としてフレーム間差分信号ｆｄｉｆｆを生成する。
フレーム間差分検出部２０から出力されるフレーム間差分信号ｆｄｉｆｆは、画像の完全に静止した部分では、「０」となり、動き成分があると、動きの度合いに応じてその値の絶対値が大きくなる。
フレーム間差分検出部２０内のフレーム間差分算出部２１へは、現フレーム信号Ｄｉ０と１フレーム遅延信号ｄ２ｆが入力され、さらに、パターンマッチング検出部３０からの動きブロック係数ｄｆｍａｔと、エッジ検出部４０からのエッジ判定係数ｅｆｋｍが入力される。
フレーム間差分算出部２１は、例えば、図１２に示すように構成される。
図１２に示すフレーム間差分算出部２１は、減算部２１１と、水平方向平滑化処理部２１２と、第１の混合部２１３と、垂直方向平滑化処理部２１４と、第２の混合部２１５と、絶対値演算部２１６とを有する。
ここで、パターンマッチング検出部３０からフレーム間差分算出部２１へ入力される動きブロック係数ｄｆｍａｔは、画素ブロックが垂直方向に動くパターンを考慮したブロックの動きの度合いを示すものであり、エッジ検出部４０からのエッジ判定係数ｅｆｋｍは、垂直エッジ成分（横線）の度合いを示す垂直エッジ判定係数ｖｅｄｇ＿ｆｋと、水平エッジ成分（縦線）の度合いを示す水平エッジ判定係数ｈｅｄｇ＿ｆｋによるものである。
図１２において、フレーム間差分算出部２１内の減算部２１１へは、現フレーム信号Ｄｉ０と１フレーム遅延信号ｄ２ｆが入力され、減算部２１１は、１フレーム遅延信号ｄ２ｆと現フレーム信号Ｄｉ０の減算処理を行い、同位相にある画素間の差分を算出する。即ち、現フレーム信号Ｄｉ０と１フレーム遅延信号ｄ２ｆのフレーム間の差分値（注目画素の画素値と、該注目画素と同一位置にある、画素の画素値との差分値）Ｄｎを求める。
水平方向平滑化処理部２１２は、減算部２１１で求められた差分値Ｄｎを受け、水平方向の画素範囲で平滑化処理を行う。即ち、注目画素Ｐ０の位置での差分Ｄｎと、注目画素Ｐ０を中心として、水平方向に隣接する画素位置での差分Ｄｎとを用いた平均値を求め、水平方向の所定の画素範囲で平滑化処理した水平方向平滑化差分ｈｌｐｄとして出力する。平均値を求める処理においては、水平方向での差分の単純平均を求める代わりに、重み付け平均、例えば、中心位置に近いほどより大きな重みを付けた平均を求める処理、即ち水平ＬＰＦを施す平滑化処理を行ってもよい。
水平方向平滑化処理部２１２において、差分値Ｄｎが水平方向の所定の範囲で平滑化処理されると、縦線のような水平エッジが移動する場合には、得られた差分値Ｄｎが水平エッジ付近の画素で平均化され、急峻な変化でなくなるため（低域成分の値が得られることとなり）、動きであるにもかかわらず平滑化後の値が小さくなる。
特に、縦線による繰り返し模様の物体が移動する場合は、差分が正の値と負の値を交互に取るため、動きであるにもかかわらず平滑化後の値は小さくなる。
一方、平坦部や水平エッジ成分がない場合は、平滑化処理することで、差分の高域周波数成分であるノイズの影響を低減することができる。
第１の混合部２１３は、エッジ検出部４０からの第１のエッジ判定係数ｅｆｋｍのうちの第１の水平エッジ判定係数ｈｅｄｇ＿ｆｋに応じて、減算部２１１からの差分値Ｄｎと水平方向平滑化処理部２１２からの水平方向平滑化差分ｈｌｐｄとを混合し、水平混合差分ｈｄｆを求める。
水平エッジ判定係数ｈｅｄｇ＿ｆｋは、水平エッジ成分（縦線）の度合いに応じたものであるので、第１の混合部２１３は、例えば、水平エッジ判定係数ｈｅｄｇ＿ｆｋを混合比として、水平方向の平滑化処理を行っていない差分値Ｄｎと、水平方向平滑化差分ｈｌｐｄとを下記式（２６）のように混合する。
ｈｄｆ＝（１−ｈｅｄｇ＿ｆｋ）×ｈｌｐｄ＋ｈｅｄｇ＿ｆｋ×Ｄｎ ・・・式（２６）
式（２６）の混合を行えば、水平エッジ判定係数ｈｅｄｇ＿ｆｋの値が「０」から「１」の間である場合は、水平エッジ判定係数ｈｅｄｇ＿ｆｋの値に応じた混合比により、差分値Ｄｎと水平方向平滑化差分ｈｌｐｄを混合することにより得られた水平混合差分ｈｄｆが出力され、水平エッジ判定係数ｈｅｄｇ＿ｆｋが水平エッジ成分の存在を示す「１」である場合は、水平方向の平滑化処理を行っていない差分値Ｄｎがそのまま水平混合差分ｈｄｆとして出力され、一方、水平エッジ判定係数ｈｅｄｇ＿ｆｋが「０」である場合は、水平方向平滑化差分ｈｌｐｄがそのまま水平混合差分ｈｄｆとして出力される。
このようにして、水平エッジ判定係数ｈｅｄｇ＿ｆｋの値に応じ、適切な範囲で平滑化された差分が得られる。
なお、第１の混合部２１３での処理は、水平エッジ判定係数ｈｅｄｇ＿ｆｋが所定値以上（例えばｈｅｄｇ＿ｆｋ＝１）の場合に、差分値Ｄｎを選択し、それ以外は水平方向平滑化差分ｈｌｐｄを選択する処理であってもよい。このような選択処理も混合比を「１」か「０」にする混合処理の一種と見ることができる。但し、上記の式（２６）で表される混合処理を行えば、差分値Ｄｎと水平方向平滑化差分ｈｌｐｄが選択される切り換りを滑らかにすることができ、より精度よく差分値を得ることができる。
また、第１の混合部２１３に対し、パターンマッチング検出部３０からの動きブロック係数ｄｆｍａｔを使い、動くパターンであり、かつ、水平エッジ判定係数ｈｅｄｇ＿ｆｋが水平エッジ成分の存在を示す場合において差分値Ｄｎを選択するようにすることもできる。しかし、水平エッジ成分（縦線）がある場合は、動きとしての差分の検出ができないと、動き検出漏れにつながる。そこで、動きとして検出されるよう差分を得た方がよいため、動きパターンか否かに関わらず水平エッジ判定係数ｈｅｄｇ＿ｆｋに応じて水平混合差分ｈｄｆを求めるようにした方がよい。
垂直方向平滑化処理部２１４は、第１の混合部２１３からの水平混合差分ｈｄｆを受け、垂直方向の画素範囲で平滑化処理を行う。即ち、注目画素Ｐ０での水平混合差分ｈｄｆと、注目画素を中心として、垂直方向に隣接する画素位置での水平混合差分ｈｄｆとを用いた平均値を求め、垂直方向の所定の画素範囲で平滑化処理した垂直方向平滑化差分ｖｌｐｄとして出力する。平均値を求める処理においては、垂直方向での単純平均を求める代わりに、重み付け平均、例えば、中心位置に近いほどより大きな重みを付けた平均を求める処理、即ち垂直ＬＰＦを施す平滑化処理を行ってもよい。
垂直方向平滑化処理部２１４において、水平混合差分ｈｄｆが垂直方向の所定の範囲で平滑化処理されると、横線のような垂直エッジが移動する場合には、差分ｈｄｆが垂直エッジの隣接する画素で平均化され、急峻な変化でなくなるため（低域成分の値が得られることとなり）、動きであるにもかかわらず平滑化後の値が小さくなる。
特に、横線による繰り返し模様の物体が垂直方向に移動する場合は、差分が正の値と負の値を交互に取るため、動きであるにもかかわらず平滑化後の値は小さくなる。
一方、平坦部や垂直エッジ成分がない場合は、平滑化処理することで、差分の高域周波数成分であるノイズの影響を低減することができる。
また、横線のような垂直エッジ成分が存在しても、そのエッジが静止である場合や、水平方向に動く場合は、垂直方向に平滑化処理することで差分が小さくなっても、動き検出漏れにつながることはない。
第２の混合部２１５は、パターンマッチング検出部３０からの第１の動きブロック係数ｄｆｍａｔと、エッジ検出部４０からの第１のエッジ判定係数ｅｆｋｍのうちの第１の垂直エッジ判定係数ｖｅｄｇ＿ｆｋとに応じて、第１の混合部２１３からの水平混合差分ｈｄｆと垂直方向平滑化処理部２１４からの垂直方向平滑化差分ｖｌｐｄとを混合し、混合差分ｄｉｆを求める。
動きブロック係数ｄｆｍａｔは、画素ブロックが垂直方向に動くパターンを考慮したブロックの動きの度合いに応じたものであり、垂直エッジ判定係数ｖｅｄｇ＿ｆｋは垂直エッジ成分（横線）の度合いに応じたものであるので、第２の混合部２１５は、例えば、垂直エッジ判定係数ｖｅｄｇ＿ｆｋと動きブロック係数ｄｆｍａｔを乗算し、「０」から「１」の範囲内の値を取る混合比ｖｄｋへ変換し（例えば、ｖｄｋ＝ｖｅｄｇ＿ｆｋ×ｄｆｍａｔ）、この混合比ｖｄｋに応じて、水平混合差分ｈｄｆと垂直方向平滑化差分ｖｌｐｄとを下記式（２７）で示すように混合する。
ｄｉｆ＝（１−ｖｄｋ）×ｖｌｐｄ＋ｖｄｋ×ｈｄｆ ・・・式（２７）
動きブロック係数ｄｆｍａｔが垂直方向への動きパターンを示す「１」で、垂直エッジ判定係数ｖｅｄｇ＿ｆｋが垂直エッジ成分の存在を示す「１」であれば、混合比ｖｄｋは、垂直エッジである横線成分が動きパターンとなることを示し、混合比ｖｄｋは「１」となる。
よって、式（２７）の混合を行えば、混合比ｖｄｋの値が「０」から「１」の間である場合は、混合比ｖｄｋにより、水平混合差分ｈｄｆと垂直方向平滑化差分ｖｌｐｄとを混合して混合差分ｄｉｆが求められ、混合比ｖｄｋが「１」である場合、垂直方向の平滑化処理を行っていない水平混合差分ｈｄｆがそのまま混合差分ｄｉｆとして出力され、一方、混合比ｖｄｋが「０」である場合は、垂直方向平滑化差分ｖｌｐｄがそのまま混合差分ｄｉｆとして出力される。
このようにして、動きブロック係数ｄｆｍａｔと垂直エッジ判定係数ｖｅｄｇ＿ｆｋとの値に応じ、適切な範囲で平滑化された差分が得られる。
なお、第２の混合部２１５での処理は、動きブロック係数ｄｆｍａｔと垂直エッジ判定係数ｖｅｄｇ＿ｆｋの値がどちらも所定値（例えばともに１）以上の場合に、水平混合差分ｈｄｆを選択し、それ以外は垂直方向平滑化差分ｖｌｐｄを選択する処理であっても良い。このような選択処理も混合比を「１」か「０」にする混合処理の一種と見ることができる。但し、上記の式（２７）で表される混合処理を行えば、水平混合差分ｈｄｆと垂直方向平滑化差分ｖｌｐｄが選択される切り換りを滑らかにすることができ、より精度よく差分値を得ることができる。
絶対値演算部２１６は、第２の混合部２１５からの混合差分ｄｉｆを受け、混合差分ｄｉｆの絶対値を演算し、フレーム間差分の差分絶対値ｆｒｄとして出力する。
絶対値演算部２１６により得られたフレーム間差分の差分絶対値は、フレーム間差分ｆｒｄとしてフレーム間差分算出部２１から出力される。このフレーム間差分ｆｒｄは、水平エッジ判定係数ｈｅｄｇ＿ｆｋが水平エッジ成分（縦線）の存在を示す場合は、水平方向の平滑化処理を行わず、垂直方向の平滑化処理のみ施されたフレーム間差分であり、動きブロック係数ｄｆｍａｔが垂直方向への動きパターンを示し、かつ、垂直エッジ判定係数ｖｅｄｇ＿ｆｋが垂直エッジ成分（横線）の存在を示す場合は、水平方向の平滑化処理のみが施され、垂直方向の平滑化処理を行わないフレーム間差分であり、それ以外の場合は、水平方向及び垂直方向で平滑化処理されたものである。このように、フレーム間差分算出部２１により、画像のエッジの方向、パターンの動きに応じて平滑化処理の範囲を切り換えて、適切な範囲で平滑化されたフレーム間差分を得ることができ、ノイズ等による静止部分を動きと誤検出することなく、動き部分を静止と検出する動き検出漏れを防止でき、精度がよいフレーム間差分を得ることができる効果がある。
また、フレーム間差分算出部２１で平滑化処理の範囲を切り換える場合、閾値による切換えではなく、動きブロック係数ｄｆｍａｔとエッジ判定係数ｅｆｋｍによる値を混合比として混合処理する構成としたので、平滑化処理による信号である水平混合差分ｈｄｆ及び垂直方向平滑化差分ｖｌｐｄが選択される切り換りを滑らかにすることができ、より精度よく安定したフレーム間差分を得ることができる。
なお、図１２に示すフレーム間差分算出部２１は、水平方向平滑化処理部２１２と第１の混合部２１３の後段に配置された垂直方向平滑化処理部２１４と第２の混合部２１５により、フレーム間差分ｆｒｄを得るよう構成したが、水平方向の平滑化と垂直方向の平滑化処理を逆に行うこととしても良い。すなわち、垂直方向平滑化処理部２１４と第２の混合部２１５を前段に配置し、その後段に水平方向平滑化処理部２１２と第１の混合部２１３を配置しても、同様のフレーム間差分を得ることができる。
従って、一般化すれば、フレーム間差分算出部（２１）は、現フレームの注目画素の信号と直前フレームにおける、注目画素と同じ位置の画素の信号との差分を求める減算部（２１１）と、水平方向及び垂直方向のうちの一方である第１の方向の平滑化を行う第１の平滑化処理部（２１２、２１４）と、上記第１の平滑化処理部（２１２、２１４）による平滑化を受けた信号と、減算部（２１１）の出力とを混合する第１の混合部（２１３、２１５）と、上記第１の混合部（２１３、２１５）の出力に対し、水平方向及び垂直方向のうちの他方である第２の方向の平滑化を行う第２の平滑化処理部(２１４、２１２)と、上記第２の平滑化処理部（２１４、２１２）による平滑化を受けた信号と、上記第１の混合部（２１３）の出力とを混合する第２の混合部（２１５、２１３）とを備え、上記第２の混合部の出力に基づいて上記フレーム間差分（ｆｒｄ）を出力するものであれば良い。
また、図１２のフレーム間差分算出部２１の代わりに、図１３のフレーム間差分算出部２１ｂを用いることもできる。図１３に示されるフレーム算出部２１ｂにおいては、現フレーム信号Ｄｉ０及び１フレーム遅延信号ｄ２ｆの各々に対し、図１２の差分に対する平滑化処理と同様の処理を行い、その後、１フレーム遅延信号ｄ２ｆと現フレーム信号Ｄｉ０の減算処理を行ってフレーム間の差分値を求める。
図１３において、図１２と同一又は対応する構成要素、同じ数字に添え字「ｂ」、「ｃ」を付した符号で表されており、水平方向平滑化処理部２１２ｂ、２１２ｃと、混合部２１３ｂ、２１３ｃと、垂直方向平滑化処理部２１４ｂ、２１４ｃと、混合部２１５ｂ、２１５ｃは、それぞれ、入力が差分による値ではなく、映像信号における画素値であることが異なるのみで、図１２における水平方向平滑化処理部２１２、混合部２１３、垂直方向平滑化処理部２１４及び混合部２１５と同様に構成されており、減算部２１１ｂは、混合部２１５ｂから出力される混合結果である画素の値ｄｉｆ１と混合部２１５ｃから出力される混合結果である画素の値ｄｉｆ２の減算処理を行う。
画像のエッジの方向、パターンの動きに応じて平滑化処理の範囲を切り換えて、適切な範囲で平滑化されたフレーム間差分の差分絶対値ｆｒｄを得るまでの構成は、上記図１２と同様である。
図１におけるフレーム間差分検出部２０内の非線形変換部２２は、フレーム間差分算出部２１（又は２１ｂ）からのフレーム間差分ｆｒｄに対して非線形変換を行って、フレーム間差分信号ｆｄｉｆｆを生成する。
例えば、フレーム間差分ｆｒｄに所定の感度倍率Ｔｍｆを乗算し、所定のオフセット値Ｔｏｆを減算して、その演算結果を所定の値（例えば、「０」からｄＭ）の間に値を制限することで非線形変換し、フレーム間差分信号ｆｄｉｆｆとして出力する。フレーム間差分信号ｆｄｉｆｆは動き情報補正部５０へ出力される。
なお、フレーム間差分検出部２０が非線形変換部２２を備えず、フレーム間差分ｆｒｄをそのままフレーム間差分信号ｆｄｉｆｆとして出力する構成としてもよい。
図１４は、非線形変換部２２の入出力特性、即ちフレーム間差分ｆｒｄ（横軸に示される入力）とフレーム間差分信号ｆｄｉｆｆ（縦軸に示される出力）の関係の一例を示している。図示の例では、フレーム間差分ｆｒｄが所定値Ｔｍ以上の場合は、出力されるフレーム間差分信号ｆｄｉｆｆが一定値ｄＭとして動きを示すものとなり、フレーム間差分ｆｒｄがオフセット値Ｔｏｆ以下ではフレーム間差分信号ｆｄｉｆｆが「０」となり、微小のノイズ成分として扱われる。
フレーム間差分ｆｒｄがオフセット値Ｔｏｆから所定値Ｔｍまでの範囲では、フレーム間差分ｆｒｄの増加に伴ってフレーム間差分信号ｆｄｉｆｆが「０」からｄＭまで次第に増加し、その値で動きもしくはノイズの量を示している。
感度倍率Ｔｍｆを大きくすることで、フレーム間差分ｆｒｄがより大きな値を持つフレーム間差分信号ｆｄｉｆｆに変換され、より大きな動き、もしくはより多くのノイズを表すものとなり、動き、もしくはノイズを所定値以上含むと判断されやすくなる。一方、オフセット値Ｔｏｆを大きくすると、微小ノイズ成分（静止部分）と判断される範囲が広がる。このように、感度倍率Ｔｍｆとオフセット値Ｔｏｆにより動きとしてのフレーム間差分の検出の感度が調整される。
但し、動きと検出しやすくするため上記感度倍率Ｔｍｆを大きくしすぎると、ノイズやゆらぎなどのように、映像信号の動きによる値の変化に比べて比較的差分が小さな値となる場合も、動きとして変換されるため、実際は静止である部分もフレーム間差分信号ｆｄｉｆｆが大きな値として変換され、静止部分を動きと誤検出される。
また、上記オフセット値Ｔｏｆを大きくしすぎると、実際は動きがある部分においてもフレーム間差分信号ｆｄｉｆｆが「０」として変換され、動き部分を静止画として検出してしまう（即ち動き検出漏れとなってしまう）。感度倍率Ｔｍｆ、オフセット値Ｔｏｆの設定に当たっては、上記の点を考慮する必要がある。
フレーム間差分検出部２０においては、フレーム間差分算出部２１（又は２１ｂ）からのフレーム間差分ｆｒｄは、画像のエッジの方向、パターンの動きに応じて平滑化処理の範囲を切り換えて、適切な範囲で平滑化された値を有し、ノイズ等による静止部分を動きと誤検出することなく、動き部分を静止と検出する動き検出漏れを防止できるものとして得られているので、動き検出漏れなどをなくすよう、感度倍率Ｔｍｆを極端に大きくする必要なく、また、オフセット値Ｔｏｆを小さくしすぎたり、大きくしすぎることも必要ない。
以上のように、フレーム間差分検出部２０では、フレーム間差分信号ｆｄｉｆｆを求める際に、動きブロック係数ｄｆｍａｔとエッジ判定係数ｅｆｋｍとに応じて、平滑化処理を行う画素の範囲を選択して処理することで、画像のエッジの方向、パターンの動きに応じた適切な範囲で平滑化されたフレーム間差分を得ており、精度のよいフレーム間差分信号ｆｄｉｆｆを出力する。
図１の動き情報補正部５０へは、フレーム間差分検出部２０からのフレーム間差分信号ｆｄｉｆｆと、パターンマッチング検出部３０からの動きブロック係数ｃｂｍａｔとエッジ検出部４０からのエッジ判定係数ｃｅｄｋｍが入力される。
動き情報補正部５０では、動きブロック係数ｃｂｍａｔとエッジ判定係数ｃｅｄｋｍに応じて、フレーム間差分信号ｆｄｉｆｆを補正し、動き情報信号ｍｄ０として時空間拡大フィルタ部１６へ出力する。動きブロック係数ｃｂｍａｔとエッジ判定係数ｃｅｄｋｍに応じた値によりフレーム間差分信号ｆｄｉｆｆを補正することで、動き部分を静止であると判定し勝ちなエッジやパターンにおいて、動きと検出されやすい値へフレーム間差分信号ｆｄｉｆｆを補正することができる。
この動き情報補正部５０は、例えば、図１５に示すように構成される。
図１５に示す動き情報補正部５０は、横線（垂直エッジ）が垂直方向に移動する場合の補正を行う横線動き調整部５１と、縦線（水平エッジ）のような垂直方向に並ぶ画素で相関がある（相関が大きい）場合の補正を行う垂直相関調整部５２とを備える。横線動き調整部５１は、横線動き加算部５３と、加算値算出部５４とを備え、垂直相関調整部５２は、垂直相関変換部５５と、変換値算出部５６とを備えている。
動き情報補正部５０へ入力されているパターンマッチング検出部３０からの第２の動きブロック係数ｃｂｍａｔは、垂直方向に動くパターンを考慮した横線動きブロック係数ｄｆｍａｔ＿ｍｋと、水平方向に動くパターンを考慮した縦線動きブロック係数Ｖｒｄｆｍａｔとを含み、エッジ検出部４０からの第２のエッジ判定係数ｃｅｄｋｍは、垂直エッジ成分（横線）の度合いを示す垂直エッジ判定係数ｖｅｄｇ＿ｍｋと、非垂直エッジであることの度合いを示す非垂直エッジ判定係数ｖｒｄ＿ｈｖｋｍと、水平エッジ成分（縦線）の度合いを示す水平エッジ判定係数ｈｅｄｇ＿ｍｋとを含む。
図１５において、横線動き調整部５１へは、フレーム間差分検出部２０からのフレーム間差分信号ｆｄｉｆｆと、エッジ検出部４０からの垂直エッジ判定係数ｖｅｄｇ＿ｍｋと、パターンマッチング検出部３０からの横線動きブロック係数ｄｆｍａｔ＿ｍｋとが入力される。
横線動き調整部５１では、垂直エッジ判定係数ｖｅｄｇ＿ｍｋと横線動きブロック係数ｄｆｍａｔ＿ｍｋに応じて、フレーム間差分信号ｆｄｉｆｆの値を補正し、横線が垂直方向に移動する場合に、その動きを考慮に入れた補正動き情報ｍｄａｄ１を決定し、動き情報補正部５０内の垂直相関調整部５２へ出力する。
ここで、フレーム間差分検出部２０に関して上記したように、横線による繰り返し模様の物体が垂直方向に移動する場合は、動きであるにもかかわらず差分（平滑化後の差分）が小さくなりやすく、フレーム間差分検出部２０によりエッジの方向、パターンの動きに応じて平滑化処理の範囲を切り換えフレーム間差分ｆｒｄを得ていても、その差分値そのものの値が小さく、「０」に近ければ、動き検出漏れにつながる。
エッジ検出部４０からの垂直エッジ判定係数ｖｅｄｇ＿ｍｋは、垂直エッジ成分（横線）の度合いを示し、パターンマッチング検出部３０からの横線動きブロック係数ｄｆｍａｔ＿ｍｋは、垂直方向に動くパターンを考慮したブロックの動きの度合いを示す。そこで、これらの２つの係数を用いれば、横線による物体が垂直方向に移動する場合が判別でき、横線動き調整部５１では、これらの係数に応じた調整を行うことができる。例えば、垂直エッジ判定係数ｖｅｄｇ＿ｍｋと横線動きブロック係数ｄｆｍａｔ＿ｍｋから所定の加算値（オフセット値）ｈａｄ１を算出し、この加算値ｈａｄ１をフレーム間差分信号ｆｄｉｆｆに加算することで、フレーム間差分信号ｆｄｉｆｆによる動き情報を補正する。
具体的には、横線動き調整部５１の加算値算出部５４で、第２のエッジ判定係数ｃｅｄｋｍの第２の垂直エッジ判定係数ｖｅｄｇ＿ｍｋと第２の動きブロック係数ｃｂｍａｔの横線動きブロック係数ｄｆｍａｔ＿ｍｋとに応じて、フレーム間差分信号ｆｄｉｆｆを補正するための加算値ｈａｄ１を算出する。
加算値算出部５４では、例えば、所定の値Ａｄｍ１を設定するとともに、例えば、垂直エッジ判定係数ｖｅｄｇ＿ｍｋと横線動きブロック係数ｄｆｍａｔ＿ｍｋを乗算し、「０」から「１」の範囲内の値を取る係数ｋ１を求め（例えば、
ｋ１＝ｖｅｄｇ＿ｍｋ×ｄｆｍａｔ＿ｍｋ
により、係数ｋ１を求め）、この係数ｋ１を、予め設定された値Ａｄｍ１に、下記式（２８）のように乗算することで、加算値ｈａｄ１を算出する。
ｈａｄ１＝ｋ１×Ａｄｍ１ ・・・式（２８）
このとき、横線動きブロック係数ｄｆｍａｔ＿ｍｋが垂直方向への動きパターンを示す値「１」で、垂直エッジ判定係数ｖｅｄｇ＿ｍｋが垂直エッジ成分の存在を示す値「１」であれば、係数ｋ１は、垂直エッジである横線成分が垂直方向に動く動きパターンとなることを示す値「１」となる。
よって、式（２８）で示すように、係数ｋ１により値Ａｄｍ１を変換すれば、係数ｋ１が「１」の場合、値Ａｄｍ１がそのまま加算値ｈａｄ１として出力され、一方、係数ｋ１が「０」である場合は、加算値ｈａｄ１は「０」となる。係数ｋ１の値が「０」から「１」の間である場合は、係数ｋ１により値Ａｄｍ１が変換されて加算値ｈａｄ１となる。このようにして、垂直エッジ判定係数ｖｅｄｇ＿ｍｋと横線動きブロック係数ｄｆｍａｔ＿ｍｋとの値に応じ、横線による物体が垂直方向に移動する場合において最大値であるＡｄｍ１となる加算値ｈａｄ１が生成される。
なお、加算値ｈａｄ１は、上記のように係数ｋ１による乗算で求める代わりに、横線動きブロック係数ｄｆｍａｔ＿ｍｋと垂直エッジ判定係数ｖｅｄｇ＿ｆｋの値がどちらも所定値以上（例えばともに「１」）の場合に、設定された値Ａｄｍ１を選択し、それ以外の場合は「０」とすることで求めたり、横線動きブロック係数ｄｆｍａｔ＿ｍｋと垂直エッジ判定係数ｖｅｄｇ＿ｆｋの種々の値に応じた加算値ｈａｄ１をＬＵＴに設定しておき、パターンマッチング検出部１０から出力される特定の横線動きブロック係数ｄｆｍａｔ＿ｍｋとエッジ検出部４０から出力される特定の垂直エッジ判定係数ｖｅｄｇ＿ｆｋの値を、対応する変換値ｈａｄ１に変換することとしても良い。但し、上記のような乗算処理を行えば、加算値の切り換りを滑らかにすることができ、より適切に加算値ｈａｄ１を得ることができる。
横線動き加算部５３へは、フレーム間差分検出部２０からのフレーム間差分信号ｆｄｉｆｆと、加算値算出部５４からの加算値ｈａｄ１が入力される。横線動き加算部５３では、フレーム間差分信号ｆｄｉｆｆに加算値ｈａｄ１を加算することでフレーム間差分信号ｆｄｉｆｆの値を補正し、結果として、横線が垂直方向に移動するときに、動きと検出される方向へ補正された補正動き情報ｍｄａｄ１を生成する。
なお、横線動き調整部５１では、横線動き加算部５３において、フレーム間差分信号ｆｄｉｆｆに加算値ｈａｄ１を加算することで補正を行っているが、動きブロック係数ｄｆｍａｔ＿ｍｋと垂直エッジ判定係数ｖｅｄｇ＿ｆｋの値に応じて変化する倍率係数（１倍より大きい値）により、フレーム間差分信号ｆｄｉｆｆが大きくなる方向へ倍率変換してもよく、さらには、フレーム間差分信号ｆｄｉｆｆの代わりに、予め定められた、動きであることを示す値（例えば動きを示す最大値）を選択して出力することもできる。つまり、動きブロック係数ｄｆｍａｔ＿ｍｋと垂直エッジ判定係数ｖｅｄｇ＿ｆｋの値に応じて、フレーム差分を表すフレーム間差分信号ｆｄｉｆｆの値を補正し、結果として、動きと検出される方向へ調整され (動きと検出されやすい値へ調整され)、横線が垂直方向に移動するときの動きを考慮に入れた補正動き情報ｍｄａｄ１が得られれば、同様の効果がある。
よって、横線動き調整部５１では、垂直エッジ判定係数ｖｅｄｇ＿ｍｋと横線動きブロック係数ｄｆｍａｔ＿ｍｋに応じて、横線が垂直方向に移動するような場合に、動きと検出されやすいよう補正された補正動き情報ｍｄａｄ１が得られ、静止部分を動きと誤検出することなく、動き部分を静止と検出する動き検出漏れを防止できる。
次に、動き情報補正部５０内の垂直相関調整部５２へは、横線動き調整部５１からの補正動き情報ｍｄａｄ１と、エッジ検出部４０からの水平エッジ判定係数ｈｅｄｇ＿ｍｋ及び非垂直エッジ判定係数ｖｒｄ＿ｈｖｋｍと、パターンマッチング検出部３０からの縦線動きブロック係数Ｖｒｄｆｍａｔとが入力される。
垂直相関調整部５２では、水平エッジ判定係数ｈｅｄｇ＿ｍｋ、非垂直エッジ判定係数ｖｒｄ＿ｈｖｋｍ及び縦線動きブロック係数Ｖｒｄｆｍａｔに応じて、フレーム間差分信号ｆｄｉｆｆにより求められている補正動き情報ｍｄａｄ１の値を補正し、
動きのある縦線のような垂直相関がある画素で、その動きを考慮に入れた補正動き情報ｍｄｖ２を生成する。補正動き情報ｍｄｖ２は、動き情報信号ｍｄ０として動き情報補正部５０から時空間拡大フィルタ部１６へ出力される。
ここで、フレーム間差分検出部２０に関して上記したように、縦線による繰り返し模様の物体が、特に水平方向に移動する場合、動きであるにもかかわらず差分（平滑化後の差分）が小さくなりやすく、フレーム間差分検出部２０によりエッジの方向、パターンの動きに応じて平滑化処理の範囲を切り換えフレーム間差分ｆｒｄを得ていても、その差分値そのものの値が小さく、「０」に近ければ、動き検出漏れにつながる。
エッジ検出部４０からの水平エッジ判定係数ｈｅｄｇ＿ｍｋは、水平エッジ成分（縦線）の度合いを示し、また、非垂直エッジ判定係数ｖｒｄ＿ｈｖｋｍは、非垂直エッジ（垂直エッジ、横線でない）であることの度合いを示し、パターンマッチング検出部３０からの縦線動きブロック係数Ｖｒｄｆｍａｔは、水平方向に動くパターンを考慮したブロックの動きの度合いを示す。そこで、これらの３つの係数を用いれば、縦線のみによる物体が水平方向に移動する場合が判別でき、垂直相関調整部５２では、これらの係数に応じた補正を行うことができる。例えば、水平エッジ判定係数ｈｅｄｇ＿ｍｋ、非垂直エッジ判定係数ｖｒｄ＿ｈｖｋｍ、及び縦線動きブロック係数Ｖｒｄｆｍａｔから所定の加算値（オフセット値）ａｄ２及び倍率（１倍より大きい値）ｍｌ２を算出し、この加算値ａｄ２の加算及び倍率ｍｌ２の乗算による変換を、補正動き情報ｍｄａｄ１に対し施すことで、補正動き情報ｍｄａｄ１を補正する。
詳しくは、垂直相関調整部５２内の変換値算出部５６では、第２のエッジ判定係数ｃｅｄｋｍの水平エッジ判定係数ｈｅｄｇ＿ｍｋ、非垂直エッジ判定係数ｖｒｄ＿ｈｖｋｍ、及び第２の動きブロック係数ｃｂｍａｔの縦線動きブロック係数Ｖｒｄｆｍａｔに応じて、フレーム間差分信号である補正動き情報ｍｄａｄ１を補正するための所定の加算値（オフセット値）ａｄ２と倍率ｍｌ２から成る変換係数ｖｄｍｖを算出する。
変換値算出部５６では、例えば、所定の値Ａｄｍ２と倍率値Ｍｄ２を設定するとともに、例えば、水平エッジ判定係数ｈｅｄｇ＿ｍｋ、非垂直エッジ判定係数ｖｒｄ＿ｈｖｋｍ、及び縦線動きブロック係数Ｖｒｄｆｍａｔを乗算し、「０」から「１」の範囲内の値を取る係数ｋ２を求め（例えば、
ｋ２＝ｈｅｄｇ＿ｍｋ×Ｖｒｄｆｍａｔ×ｖｒｄ＿ｈｖｋｍ
により係数ｋ２を求め）、この係数ｋ２を、値Ａｄｍ２と倍率値Ｍｄ２のそれぞれに対し、下記式（２９）、(３０)のように乗算することで、加算値ａｄ２と倍率ｍｌ２から成る変換係数ｖｄｍｖを算出する。
ａｄ２＝ｋ２×Ａｄｍ２ ・・・式（２９）
ｍｌ２＝ｋ２×Ｍｄ２ ・・・式（３０）
このとき、縦線動きブロック係数Ｖｒｄｆｍａｔが水平方向への動きパターンを示す「１」で、水平エッジ判定係数ｈｅｄｇ＿ｍｋが水平エッジ成分の存在を示す値「１」であり、さらに、非垂直エッジ判定係数ｖｒｄ＿ｈｖｋｍが垂直エッジ成分がないことを示す値「１」であれば、係数ｋ２は、水平エッジである縦線成分のみがあり、水平方向に動く動きパターンであることを示す値「１」となる。よって、式（２９）、(３０)で示すように係数ｋ２により値Ａｄｍ２と倍率値Ｍｄ２を変換すれば、係数ｋ２が「１」の場合、値Ａｄｍ２がそのまま加算値ａｄ２として出力され、倍率Ｍｄ２がそのまま倍率ｍｄｌ２として出力され、一方、係数ｋ２が「０」である場合は、加算値ａｄ２及び倍率ｍｌ２は「０」となる。
係数ｋ２の値が「０」から「１」の間である場合は、係数ｋ２により値Ａｄｍ２と倍率値Ｍｄ２が変換されて加算値ａｄ２及び倍率ｍｌ２となる。このようにして、水平エッジ判定係数ｈｅｄｇ＿ｍｋ、非垂直エッジ判定係数ｖｒｄ＿ｈｖｋｍ、及び縦線動きブロック係数Ｖｒｄｆｍａｔとに応じて、縦線のみによる物体が水平方向に移動する場合において、最大値であるＡｄｍ２及びＭｄ２となる、加算値ａｄ２及び倍率ｍｌ２が生成される。このようにして生成された加算値ａｄ２及び倍率ｍｌ２が、変換値算出部５６からの出力である変換係数ｖｄｍｖとして、垂直相関変換部５５に供給される。
なお、変換係数ｖｄｍｖは、上記のように係数ｋ２による乗算で求める代わりに、水平エッジ判定係数ｈｅｄｇ＿ｍｋ、及び非垂直エッジ判定係数ｖｒｄ＿ｈｖｋｍと、縦線動きブロック係数Ｖｒｄｆｍａｔがいずれも所定値以上（例えばすべて「１」）の場合に、設定された値Ａｄｍ２と倍率値Ｍｄ２を選択し、それ以外の場合は「０」とすることで求めたり、水平エッジ判定係数ｈｅｄｇ＿ｍｋ、非垂直エッジ判定係数ｖｒｄ＿ｈｖｋｍ、及び縦線動きブロック係数Ｖｒｄｆｍａｔの種々の値に応じた変換係数ｖｄｍｖの値をＬＵＴに設定しておき、入力された水平エッジ判定係数ｈｅｄｇ＿ｍｋ、非垂直エッジ判定係数ｖｒｄ＿ｈｖｋｍ、及び縦線動きブロック係数Ｖｒｄｆｍａｔの値を、対応する変換係数ｖｄｍｖの値に変換することとしても良い。但し、上記のような乗算処理により求めれば、変換係数ｖｄｍｖの切り換りを滑らかにすることができ、より適切に変換係数ｖｄｍｖを得ることができる。
また、係数ｋ２を求める際に、水平エッジ判定係数ｈｅｄｇ＿ｍｋ、非垂直エッジ判定係数ｖｒｄ＿ｈｖｋｍ、及び縦線動きブロック係数Ｖｒｄｆｍａｔを用いたが、非垂直エッジ判定係数ｖｒｄ＿ｈｖｋｍを除き、縦線による物体が水平方向に移動する場合を示す係数ｋ２を得るようにしてもよい。この場合は、縦線と横線の両方の成分が検出される場合にも、縦線動きブロック係数Ｖｒｄｆｍａｔが動きパターンを示せば、変換係数ｖｄｍｖが「０」以外の値となる。
垂直相関変換部５５へは、横線動き調整部５１からの補正動き情報ｍｄａｄ１と、変換値算出部５６からの変換係数ｖｄｍｖが入力される。垂直相関変換部５５では、変換係数ｖｄｍｖを構成する倍率ｍｌ２を補正動き情報ｍｄａｄ１に乗算して倍率変換し、さらに、加算値ａｄ２を加算することで補正動き情報ｍｄａｄ１の値を補正し、結果として、縦線のような垂直相関がある（垂直相関が強い）画素が水平方向に移動するときに、動きと検出される方向へ補正された補正動き情報ｍｄｖ２を生成する。この補正動き情報ｍｄｖ２は、動き情報信号ｍｄ０として動き情報補正部５０から出力される。
なお、上記垂直相関調整部５２では、変換値算出部５６において、加算値ａｄ２と倍率ｍｌ２による変換で補正をしているが、加算値ａｄ２または倍率ｍｌ２のどちらか一方により、フレーム間差分信号が大きくなる方向へ変換してもよく、また、補正動き情報ｍｄａｄ１の代わりに、予め定められた、動きであることを示す値（例えば動きを示す最大値）を選択して出力することもできる。つまり、水平エッジ判定係数ｈｅｄｇ＿ｍｋ、非垂直エッジ判定係数ｖｒｄ＿ｈｖｋｍ、及び縦線動きブロック係数Ｖｒｄｆｍａｔの値に応じて、フレーム差分を表す補正動き情報ｍｄａｄ１の値を補正し、結果として、動きと検出される方向へ調整され（動きと検出されやすい値に調整され）、縦線のような垂直相関がある画素が水平方向に移動するときの動きを考慮に入れた補正動き情報ｍｄｖ２が得られれば、同様の効果がある。
よって、垂直相関調整部５２では、水平エッジ判定係数ｈｅｄｇ＿ｍｋ、非垂直エッジ判定係数ｖｒｄ＿ｈｖｋｍ、及び縦線動きブロック係数Ｖｒｄｆｍａｔに応じて、垂直相関がある物体が水平方向に移動するような場合に、動きと検出されやすいよう補正された補正動き情報ｍｄｖ２が得られ、静止部分を動きと誤検出することなく、動き部分を静止と検出する動き検出漏れを防止できる。
以上のように、動き情報補正部５０では、パターンマッチング検出部３０からの動きブロック係数ｃｂｍａｔとエッジ検出部４０からのエッジ判定係数ｃｅｄｋｍに応じて、横線が垂直方向に移動する場合や、垂直相関がある動きパターンの場合に、フレーム間差分信号ｆｄｉｆｆを動きと検出されやすいよう補正し、エッジの方向、パターンの動きに対応した補正が施された動き情報信号ｍｄ０を求めることができるので、静止部分を動きと誤検出することなく、動き部分を静止と検出する動き検出漏れを防止し、高い精度の動き情報信号ｍｄ０を得られる。
なお、図１５における動き情報補正部５０では、横線動き調整部５１による補正の後、垂直相関調整部５２で補正しているが、垂直相関調整部５２による補正の後、横線動き調整部５１で補正してもよく、どちらか一方の補正のみでもよい。
図１に戻り、時空間拡大フィルタ部１６へは、動き情報補正部５０からの動き情報信号ｍｄ０が入力される。時空間拡大フィルタ部１６では、動き情報信号ｍｄ０に対し、時空間フィルタや孤立点除去などの処理を行い、動き情報を時空間方向で補正して動き信号ａｆｍｄを求め、動き検出信号変換部１９へ出力する。
時空間拡大フィルタ部１６内の時間フィルタ部１７は、入力された動き情報信号ｍｄ０に対し、時間方向の時間拡大処理を行って、動きの誤検出、動き検出漏れを補正する。
時空間拡大フィルタ部１６内の空間フィルタ部１８は、動き情報信号に対し、水平もしくは垂直方向のＬＰＦを用いた空間フィルタや、孤立点除去処理などのフィルタ処理を行って、動きの誤検出、動き検出漏れを画面内の画素での動きにより補正し、動き信号ａｆｍｄとして出力する。
このように、時空間拡大フィルタ部１６で処理された動き信号ａｆｍｄは、動きが大きく、フレーム差分が動きと検出される場合は大きな値となり、静止画部分もしくはノイズがある場合は、「０」に近い小さな値となり、その値で動き検出の対象である画素での画像の動き量を示すこととなる。
動き検出信号変換部１９へは、時空間拡大フィルタ部１６からの動き信号ａｆｍｄが入力される。動き検出信号変換部１９では、時空間拡大フィルタ部１６からの動き信号ａｆｍｄに対し、動き検出の結果として、映像信号の動きの度合いを示す動き検出信号ｍｄｓへ変換し出力する。
図１６は、動き検出信号変換部１９における動き信号ａｆｍｄ（横軸、入力）から動き検出信号ｍｄｓ（縦軸、出力）への変換の特性例を示す図であり、動き検出信号ｍｄｓを映像信号の動きの度合いを示す「０」から「１６」までの値をとるように変換し出力する場合を示している。この動き検出信号ｍｄｓの値は、動き信号ａｆｍｄの値に応じて非線形で変換したものであり、動き信号ａｆｍｄが大きくなり、動きである場合(動きの度合いが最大である場合)は動き検出信号ｍｄｓを最大値「１６」とし、完全に静止画である場合は、動き検出信号ｍｄｓを「０」として変換している。この変換は、動き信号ａｆｍｄを対応する動き検出信号ｍｄｓ値に変換するＬＵＴで行ったり、動き信号ａｆｍｄに対し所定の倍率を乗算したり、値を加算もしくは減算するなどの非線形変換による演算で行っても良い。また、上記の例では、動き検出信号ｍｄｓが「０」〜「１６」の値を取るものであるが、より低い分解能を持つもの、例えば「０」〜「８」の値を取るものであっても良く、より高い分解能を持つものであっても良く、さらに、非線形変換を行わず動き信号ａｆｍｄで示される値をそのまま動き検出信号ｍｄｓの値としても良く、動きを「１」、静止部を「０」とする２値信号であっても良い。
以上のように、図１に示される動き検出装置１では、パターンマッチング検出部３０において、パターンマッチングにより画素ブロックでのパターンの動きを示した動きブロック係数ｄｆｍａｔ及びｃｂｍａｔを生成し、エッジ検出部４０において、エッジ成分の存在の度合いを示すエッジ判定係数ｅｆｋｍ及びｃｅｄｋｍを生成しており、フレーム間差分検出部２０では、生成された動きブロック係数ｄｆｍａｔとエッジ判定係数ｅｆｋｍとに応じて、平滑化処理を行う画素の範囲を選択して処理することで、画像のエッジの方向、パターンの動きに応じた適切な範囲で平滑化されたフレーム間差分を生成している。さらに、動き情報補正部５０では、生成された動きブロック係数ｃｂｍａｔとエッジ判定係数ｃｅｄｋｍに応じて、エッジの方向、パターンの動きに対応した補正が施された動き情報信号ｍｄ０を生成している。
したがって、動き検出装置１からは、ノイズのある画像においても、静止部分を動きと誤検出することなく、動き部分を静止と検出する動き検出漏れを防止し、高い精度で動き量を表す動き検出信号ｍｄｓが得られる。
次に、実施の形態１の映像信号処理装置において、フレーム遅延部１３によりフレーム遅延信号を得て、動き検出装置１で、映像信号のフレーム間差分を求め、パターンマッチングによる動きブロック係数と、エッジ検出の結果であるエッジ判定係数とにより、画像のエッジの方向、パターンの動きに応じてフレーム間の差分を求める際の平滑化処理の範囲を切り換えて、フレーム間差分信号を得て、さらには、エッジの方向、パターンの動きに応じたフレーム間差分信号の補正を行い、動きの度合いを示す動き検出信号ｍｄｓを出力する処理の手順をフローチャートを参照して説明する。
図１７及び図１８は、実施の形態１の映像信号処理装置において、画像の動きを画素ごとに検出する動き検出装置１の動作を示すフローチャートである。
入力された現フレーム信号Ｄｉ０は、フレーム遅延部１３でフレーム遅延され、１フレーム遅延信号ｄ２ｆ、及び１フィールド遅延信号ｄ１ｆが得られる。動き検出装置１には、現フレーム信号Ｄｉ０と１フレーム遅延信号ｄ２ｆと、１フィールド遅延信号ｄ１ｆが入力される（ステップＳ１０１）。
現フレーム信号Ｄｉ０と１フレーム遅延信号ｄ２ｆは、パターンマッチング検出部３０へ入力され、１フレーム遅延信号ｄ２ｆと現フレーム信号Ｄｉ０の画素ブロック間でパターンの類似度を算出し、画素ブロックの動きを示す動きブロック係数ｄｆｍａｔ及びｃｂｍａｔが生成される。生成された動きブロック係数ｄｆｍａｔ及びｃｂｍａｔは、パターンマッチングの結果により求められたものであり、画素ブロックが動いていることを示して、パターンの動きを示す（ステップＳ１０２）。
エッジ検出部４０では、現フレーム信号Ｄｉ０、１フレーム遅延信号ｄ２ｆ、及び１フィールド遅延信号ｄ１ｆに基づいて、注目画素Ｐ０の近傍に、画像の物体の輪郭部分であるエッジが存在するかを検出し、検出結果であるエッジ判定係数ｅｆｋｍ及びｃｅｄｋｍを生成する（ステップＳ１０３）。
フレーム間差分検出部２０では、フレーム間差分算出部２１内の減算部２１１において、現フレーム信号Ｄｉ０と１フレーム遅延信号ｄ２ｆのフレーム間の差分値Ｄｎを算出し（ステップＳ１０４）、差分値Ｄｎを水平方向平滑化処理部２１２で平滑化して水平方向平滑化差分ｈｌｐｄを求め、混合部２１３で、エッジ判定係数ｅｆｋｍのうちの水平エッジ判定係数ｈｅｄｇ＿ｆｋに応じて、差分値Ｄｎと、水平方向平滑化差分ｈｌｐｄとを混合し、水平混合差分ｈｄｆを求める。
このとき、例えば、水平エッジ判定係数ｈｅｄｇ＿ｆｋを混合比として、差分値Ｄｎと、水平方向平滑化差分ｈｌｐｄとを混合し、水平混合差分ｈｄｆを生成する（ステップＳ１０５）。この混合は、下記の式で表される。
ｈｄｆ＝（１−ｈｅｄｇ＿ｆｋ）×ｈｌｐｄ＋ｈｅｄｇ＿ｆｋ×Ｄｎ
次に、垂直方向平滑化処理部２１４で、水平方向混合差分ｈｄｆを平滑化して垂直方向平滑化差分ｖｌｐｄを求め、混合部２１５で、動きブロック係数ｄｆｍａｔとエッジ判定係数ｅｆｋｍのうちの垂直エッジ判定係数ｖｅｄｇ＿ｆｋに応じて、水平混合差分ｈｄｆと垂直方向平滑化差分ｖｌｐｄとを混合し、混合差分ｄｉｆを生成する。例えば、垂直エッジ判定係数ｖｅｄｇ＿ｆｋと動きブロック係数ｄｆｍａｔを乗算し、「０」から「１」の値を取る係数ｖｄｋへ変換する（ステップＳ１０６）。この係数ｖｄｋは、垂直エッジ成分（横線）の度合いが強く、また動きの度合いが大きいほど大きな値を取る。
次に上記のようにして求めた係数ｖｄｋを混合比として、水平混合差分ｈｄｆと垂直方向平滑化差分ｖｌｐｄとを混合して混合差分ｄｉｆを生成する（ステップＳ１０７）。この場合の混合は、下記の式で表される。
ｄｉｆ＝（１−ｖｄｋ）×ｖｌｐｄ＋ｖｄｋ×ｈｄｆ
そして、絶対値演算部２１６で、混合差分ｄｉｆの絶対値を演算し、非線形変換部２２で非線形変換することで、フレーム間差分信号ｆｄｉｆｆを得る（ステップＳ１０８）。
以上のステップＳ１０２、Ｓ１０３及びＳ１０４〜Ｓ１０８により、動きブロック係数ｄｆｍａｔとエッジ判定係数ｅｆｋｍとに応じて、平滑化処理を行う画素の範囲を選択して処理することで、画像のエッジの方向、パターンの動きに応じた適切な範囲で平滑化されたフレーム間差分を得ており、フレーム間差分検出部２０からは、精度のよいフレーム間差分信号ｆｄｉｆｆが出力される。
フレーム間差分検出部２０から出力されるフレーム間差分信号ｆｄｉｆｆは、動き情報補正部５０で補正されて動き情報信号ｍｄ０となるが、動きブロック係数ｃｂｍａｔとエッジ判定係数ｃｅｄｋｍに応じた値によりフレーム間差分信号ｆｄｉｆｆを補正することで、動き部分を静止であると誤判定され勝ちなエッジやパターンにおいて、動きと検出されやすい値へ（動き寄りへ）フレーム間差分信号ｆｄｉｆｆを補正する（ステップＳ１０９〜Ｓ１１０）。
具体的には、動き情報補正部５０内の横線動き調整部５１において、垂直エッジ判定係数ｖｅｄｇ＿ｍｋと横線動きブロック係数ｄｆｍａｔ＿ｍｋに応じて、例えば、垂直エッジ判定係数ｖｅｄｇ＿ｍｋと横線動きブロック係数ｄｆｍａｔ＿ｍｋから所定の加算値を算出し、この加算値をフレーム間差分信号ｆｄｉｆｆに加算することで、横線が垂直方向に移動するような場合に、フレーム間差分信号ｆｄｉｆｆによる動き情報を補正し、補正動き情報ｍｄａｄ１を生成する（ステップＳ１０９）。
また、動き情報補正部５０内の垂直相関調整部５２においては、水平エッジ判定係数ｈｅｄｇ＿ｍｋ、非垂直エッジ判定係数ｖｒｄ＿ｈｖｋｍ、及び縦線動きブロック係数Ｖｒｄｆｍａｔに応じて、例えば、水平エッジ判定係数ｈｅｄｇ＿ｍｋ、非垂直エッジ判定係数ｖｒｄ＿ｈｖｋｍ、及び縦線動きブロック係数Ｖｒｄｆｍａｔから所定の加算値と倍率（１倍より大きい値）を算出し、この加算値の加算と倍率の乗算（倍率変換）による変換を補正動き情報ｍｄａｄ１に対し施すことで、動き情報信号ｍｄ０を生成して出力する（ステップＳ１１０）。縦線であり、かつ横線がなく、かつ動きパターンである場合に、より動きと検出されやすい値へ補正する（動き寄りへ補正する）ものである。
上記のように、動き情報補正部５０により、動きブロック係数ｃｂｍａｔとエッジ判定係数ｃｅｄｋｍに応じて、横線が垂直方向に移動する場合や、垂直相関がある動きパターンの場合に、フレーム間差分信号ｆｄｉｆｆを動きと検出されやすいよう補正し、エッジの方向、パターンの動きに対応した補正が施された動き情報信号ｍｄ０を求めることができる。
時空間拡大フィルタ部１６では、動き情報補正部５０からの動き情報信号ｍｄ０に対し、時間方向の時間拡大処理を行い（ステップＳ１１１）、水平もしくは垂直方向のＬＰＦを用いた空間フィルタや、孤立点除去処理などのフィルタ処理を行う（ステップＳ１１２）。
動き検出信号変換部１９では、時空間拡大フィルタ部１６からの動き信号ａｆｍｄに対し、動き検出の結果として、映像信号の動きの度合いを示す動き検出信号ｍｄｓへ変換する（ステップＳ１１３）。
そして、この動き検出信号ｍｄｓを、動き検出装置１からの動き検出の結果として決定し、出力する（ステップＳ１１４）。動き検出装置１では、パターンマッチングにより画素ブロックでのパターンの動きを示した動きブロック係数ｄｆｍａｔ及びｃｂｍａｔを生成し、エッジ成分の存在の度合いを示すエッジ判定係数ｅｆｋｍ及びｃｅｄｋｍを生成しており、生成された動きブロック係数ｄｆｍａｔとエッジ判定係数ｅｆｋｍとに応じて、平滑化処理を行う画素の範囲を選択して処理することで、画像のエッジの方向、パターンの動きに応じた適切な範囲で平滑化されたフレーム間差分を得ている。さらに、動きブロック係数ｃｂｍａｔとエッジ判定係数ｃｅｄｋｍに応じて、エッジの方向、パターンの動きに対応した補正が施された動き情報信号ｍｄ０を求めている。
したがって、動き検出装置１からは、ノイズのある画像においても、静止部分を動きと誤検出することなく、動き部分を静止と検出する動き検出漏れを防止し、高い精度で動き量である動きの度合いを示す動き検出信号ｍｄｓが得られる。
以上のように、実施の形態１の映像信号処理装置によれば、パターンマッチング検出部３０において、パターンマッチングにより画素ブロックでのパターンの動きを示した動きブロック係数ｄｆｍａｔ及びｃｂｍａｔを生成し、エッジ検出部４０において、エッジ成分の存在の度合いを示すエッジ判定係数ｅｆｋｍ及びｃｅｄｋｍを生成しており、フレーム間差分検出部２０では、生成された動きブロック係数ｄｆｍａｔとエッジ判定係数ｅｆｋｍとに応じて、平滑化処理を行う画素の範囲を選択して処理することで、画像のエッジの方向、パターンの動きに応じた適切な範囲で平滑化されたフレーム間差分を得ている。さらに、動き情報補正部５０では、動きブロック係数ｃｂｍａｔとエッジ判定係数ｃｅｄｋｍに応じて、エッジの方向、パターンの動きに対応した補正が施された動き情報信号ｍｄ０を求めている。
したがって、画素ブロックのパターンの類似度の値によるブロックの動きを示す動きブロック係数と、エッジの存在の度合いを示すエッジ判定係数とにより、画像のエッジの方向、パターンの動きに応じて、フレーム間の差分を求める際の平滑化処理の範囲を切り換えて、適切な範囲で平滑化されたフレーム間差分信号を得ることができ、また、上記動きブロック係数と上記エッジ判定係数とに応じて、エッジの方向、パターンの動きに応じたフレーム間差分信号の補正を行い、動き部分を静止であると誤判定され勝ちなエッジやパターンにおいて、動きと検出されやすいよう補正することができるので、ノイズのある画像においても、静止部分を動きと誤検出することなく、動き部分を静止と検出する動き検出漏れを防止し、高い精度で良好な動き検出を行うことができる。
なお、実施の形態１の映像信号処理装置で用いられる、図１０に示すエッジ検出部４０では、現フレーム信号Ｄｉ０、１フレーム遅延信号ｄ２ｆ、及び１フィールド遅延信号ｄ１ｆから、注目画素Ｐ０の近傍における垂直エッジ成分、及び水平エッジ成分を抽出してエッジ検出を行っているが、１フィールド遅延信号ｄ１ｆを使用せず、同位相の信号となる現フレーム信号Ｄｉ０と１フレーム遅延信号ｄ２ｆによりエッジ成分を抽出してエッジ検出を行うよう構成することもできる。この場合は、図１０における垂直高域成分抽出部４１３と、水平高域成分抽出部４２３を除去し、垂直高域成分選択部４１４、及び水平高域成分選択部４２４での選択で、垂直高域成分抽出部４１３と、水平高域成分抽出部４２３からの信号を除外して選択すればよい。
また、実施の形態１の映像信号処理装置では、入力映像信号をインターレース信号として、現フレーム信号Ｄｉ０と１フレーム前の信号ｄ２ｆの間での映像信号における動きを検出しているが、入力映像信号は、プログレッシブ信号であってもよく、同様に構成することで動き検出を行うことができる。なお、プログレッシブ信号入力の場合には、フレーム遅延部１３は入力された現フレーム信号Ｄｉ０を１フレーム分遅延して、１フレーム前の信号ｄ２ｆが出力されるが、異位相の信号の位置関係にある１フィールド前の信号ｄ１ｆは得られないため、エッジ検出部４０として、上記のように同位相のフレーム位置関係にある１フレーム前の信号ｄ２ｆからエッジ検出を行う構成を用いることとなる。
また、実施の形態１の映像信号処理装置では、現フレームＤｉ０における画素Ｐ０を動き検出の対象である注目画素として動きを検出しているが、注目画素Ｐ０のあるフレームは現フレーム信号Ｄｉ０のフレームでなくてもよく、フィールドもしくはフレーム遅延された信号のフレームを動き検出する中心フレームとして、そのフレーム内の画素を注目画素Ｐ０とすることもできる。この場合、動き検出装置１で検出する１フレーム間差分は、中心フレームの時間軸上前に位置するフレームとの間の差分であっても、時間軸上後ろに位置するフレームとの間の差分であってもよく、さらには、その両方向のフレームとの差分を合成して用いてもよく、中心フレームとの間のフレーム差分を検出し動き検出信号として得られれば、実施の形態１と同様の効果が得られる。一般化して言えば、本発明の動き検出装置は、時間的に異なる第１のフレーム及び第２のフレームの映像信号に基づいて、第１のフレーム内の画素を注目画素として動きの検出を行うものであり、この第１のフレームは、現フレーム（最新のフレーム）であっても良く、１フレーム期間前のフレームであっても良く、１フィールド期間前のフレームであっても良い。
さらに、上記説明においては、映像信号処理装置のフレーム遅延部、動き検出装置１の各構成要素をハードウェアで構成するものとしているが、これらの構成要素を、ソフトウェアにより、即ちプログラムされたコンピュータにより実現しても良い。
実施の形態２．
実施の形態１の映像信号処理装置は、現フレーム信号と１フレーム前の信号から画像の動きを画素ごとで検出し、フレーム間差分検出部２０において、現フレーム信号と１フレーム前の信号の間の１フレーム間の差分を求めてフレーム差分を得るように構成されているが、図１９に示す映像信号処理装置のように、現フレーム信号と１フレーム前の信号との１フレーム間の差分に加え、現フレーム信号と２フレーム前の信号との２フレーム離れたフレーム間の差分（２フレーム間差分）とから、フレーム間の差分信号を求め、画像の動きを画素ごとで検出するよう構成することもできる。
図１９は、本発明の実施の形態２の映像信号処理装置（すなわち、実施の形態２の映像信号処理方法を実施することができる装置）の構成を示すブロック図であり、現フレーム信号Ｄｉ０と、１フレーム前の信号ｄ２ｆ及び２フレーム前の信号ｄ４ｆから画像の動きを画素ごとで検出するよう構成されている。図１９において、図１を参照して説明した実施の形態１における構成要素と同一又は対応する構成要素には、同じ符号を付してある。
図１９において、実施の形態２の映像信号処理装置は、現フレームの信号Ｄｉ０としての入力映像信号を順次１フレーム分遅延するフレーム遅延部１３、１５と、フレーム遅延された信号ｄ２ｆ、ｄ４ｆと現フレームの信号Ｄｉ０から画像の動きを画素ごとで検出する動き検出装置２とを備えている。
動き検出装置２は、図１に示される動き検出装置１と概して同じであるが、図１に示されるフレーム間差分検出部２０及びパターンマッチング検出部３０の代わりに、フレーム間差分検出部２０ｂ及びパターンマッチング検出部３１が用いられている。
フレーム間差分検出部２０ｂは、１フレーム間の差分に加え、２フレーム間のフレーム間差分を検出し、動き検出を行うためのフレーム間差分信号を出力する。
パターンマッチング検出部３１は、現フレーム信号と１フレーム前の信号の画素ブロック間でのパターンの類似度に加え、１フレーム前の信号とその１フレーム前（つまり、２フレーム前）の信号の画素ブロック間でのパターンの類似度により動きブロック係数を生成する。
その他の構成要素、即ち、エッジ検出部４０と、動き情報補正部５０と、時空間拡大フィルタ部１６と、動き検出信号変換部１９の構成及び動作は、実施の形態１に示されるものと同じであり、その詳細な説明は省略する。
図１９に示されるフレーム間差分検出部２０ｂの構成要素のうち、フレーム間差分を算出するフレーム間差分算出部２１ｃ、２１ｄは、図１のフレーム間差分算出部２１と同じものであり、入力が現フレーム信号Ｄｉ０と１フレーム前の信号ｄ２ｆであるか、現フレーム信号Ｄｉ０と２フレーム前の信号ｄ４ｆであるかの違いのみである。また、非線形変換部２２ｃ、２２ｄは、図１の非線形変換部２２と同じものである。図１９のフレーム間差分検出部２０ｂはさらに、１フレーム間差分ｆｄｉｆｆ１と２フレーム間差分ｆｄｉｆｆ２を合成する差分合成部２３を備えている。
図１９を用いて、実施の形態２での動き検出について説明する。
フレーム遅延部１３、１５は、映像信号を１フレーム分遅延して出力するためのメモリであり、第１のフレーム遅延部１３は、入力映像信号Ｄｉ０を１フレーム分遅延して１フレーム遅延信号ｄ２ｆを出力し、第２のフレーム遅延部１５は、第１のフレーム遅延部１３からの１フレーム遅延信号ｄ２ｆを１フレーム分遅延し、２フレーム遅延信号ｄ４ｆを出力する。なお、インターレース信号入力時には、フレーム遅延部１３及び１５は、フィールドごとで遅延する２個のフィールドメモリで構成できるので、フレーム遅延部１３において１フィールド遅延信号ｄ１ｆをも得ることができる。このフレーム遅延部１３及び１５の各々の構成、動作は図１のフレーム遅延部１３と同じである。
フレーム遅延部１５から出力される２フレーム遅延信号ｄ４ｆは、１フレーム遅延信号ｄ２ｆと同様、現フレーム信号Ｄｉ０の画素と同一位置における画素の信号であり、同位相の信号となる。
動き検出装置２には、現フレーム信号Ｄｉ０と、フレーム遅延部１３からの１フレーム遅延信号ｄ２ｆ及び１フィールド遅延信号ｄ１ｆと、フレーム遅延部１５からの２フレーム遅延信号ｄ４ｆが入力される。動き検出装置２は、現フレーム信号Ｄｉ０、１フレーム遅延信号ｄ２ｆ、１フィールド遅延信号ｄ１ｆ、及び２フレーム遅延信号ｄ４ｆから映像信号における動きを画素ごとに検出し、検出結果から動きの度合いを示す動き検出信号ｍｄｓを出力する。
動き検出装置２では、現フレーム信号Ｄｉ０と１フレーム遅延信号ｄ２ｆにおける画素ブロックのパターンマッチングに加え、１フレーム遅延信号ｄ２ｆと２フレーム遅延信号の信号ｄ４ｆにおける画素ブロックのパターンマッチングによる動きブロック係数を求めるとともに、この動きブロック係数とエッジ検出の結果であるエッジ判定係数とにより、画像のエッジの方向、パターンの動きに応じてフレーム間の差分を求める際の平滑化処理の範囲を切り換えて、適切な範囲で平滑化されたフレーム間差分信号を得る。この場合、フレーム間の差分は、現フレーム信号Ｄｉ０と１フレーム遅延信号ｄ２ｆとの１フレーム間差分に加え、現フレーム信号Ｄｉ０と２フレーム遅延信号ｄ４ｆとの２フレーム間差分により検出するよう構成し、より誤検出と動き検出漏れを防止した高い精度の動き検出を行って、動きの度合いを示す動き検出信号ｍｄｓを生成し出力する。
動き検出装置２において、エッジ検出部４０と、動き情報補正部５０と、時空間拡大フィルタ部１６と、動き検出信号変換部１９の構成及び動作は、図１に示されるものと同じであり、その詳細な説明は省略し、以下では、パターンマッチング検出部３１により動きブロック係数ｄｆｍａｔ及びｃｂｍａｔを生成する構成と、フレーム間差分検出部２０でフレーム間差分信号ｓｆｄｉｆｆを求める構成について説明する。
動き検出装置２内のパターンマッチング検出部３１には、現フレーム信号Ｄｉ０、１フレーム遅延信号ｄ２ｆ、及び２フレーム遅延信号ｄ４ｆが入力される。
パターンマッチング検出部３１では、１フレーム遅延信号ｄ２ｆと現フレーム信号Ｄｉ０の画素ブロック間でパターンマッチングを行い、類似度を算出するとともに、１フレーム遅延信号ｄ２ｆと２フレーム遅延信号ｄ４ｆの画素ブロック間でパターンマッチングを行い、類似度を算出する。そして、これら２通りのパターンマッチングの結果から、画素ブロックの動きを示す動きブロック係数ｄｆｍａｔ及びｃｂｍａｔを生成する。検出された動きブロック係数ｄｆｍａｔ及びｃｂｍａｔは、動き検出の対象である注目画素と同一位置での画素ブロックにおいて、パターンマッチングの結果により求められており、類似度の値が大きくなれば、画素ブロックのパターンが異なる、すなわち、画素ブロックが動いていることを示しており、２フレームの間に亘る画素ブロックでのブロック・パターンの動き（動きパターン）を示すと言える。
パターンマッチング検出部３１は、例えば図２０に示すように構成されている。
図２０において、図２を参照して説明した実施の形態１におけるパターンマッチング検出部３０の構成要素と同一又は対応する構成要素には、同じ符号を付してある。
図２０のパターンマッチング検出部３１の構成要素のうち、ブロック間マッチング演算部３０１ａ、３０１ｂは、パターンマッチング検出部３０でのブロック間マッチング演算部３０１と同じものであり、水平ブロックマッチング演算部３０３ａ、３０３ｂとマッチング垂直高域成分抽出部３０４ａ、３０４ｂとによるマッチング垂直高域成分生成部３０８ａ及び３０８ｂと、垂直ブロックマッチング演算部３０６ａ、３０６ｂとマッチング水平高域成分抽出部３０７ａ、３０７ｂとによるマッチング水平高域成分生成部３０９ａ及び３０９ｂは、パターンマッチング検出部３０での水平ブロックマッチング演算部３０３、マッチング垂直高域成分抽出部３０４によるマッチング垂直高域成分生成部３０８、垂直ブロックマッチング演算部３０６、水平高域成分抽出部３０７によるマッチング水平高域成分生成部３０９と同じものである。
パターンマッチング検出部３１は、さらに、最大値選択部３２１と、垂直高域最大値選択部３２２と、水平高域最大値選択部３２３を備えている。
図２０において、ブロック間マッチング演算部３０１ａは、現フレーム信号Ｄｉ０と１フレーム遅延信号ｄ２ｆを入力とし、現フレームＤｉ０における注目画素Ｐ０を中心とする画素ブロックｂ０と、対応する１フレーム遅延信号ｄ２ｆのフレームにおける画素ブロックｂ２との間でパターンマッチングを行い、結果として、パターンの類似度を示すブロックマッチング量ｂｌｋｐｍ１を求める。また、ブロック間マッチング演算部３０１ｂは、１フレーム遅延信号ｄ２ｆと２フレーム遅延信号ｄ４ｆを入力とし、１フレーム遅延信号ｄ２ｆのフレームにおける画素ブロックｂ２と、対応する２フレーム遅延信号ｄ４ｆのフレームにおける画素ブロックｂ４との間でパターンマッチングを行い、結果として、パターンの類似度を示すブロックマッチング量ｂｌｋｐｍ２を求める。これらブロック間マッチング演算部３０１ａ、３０１ｂの構成、動作は、実施の形態１でのブロック間マッチング演算部３０１と同じである。
ブロック間マッチング演算部３０１ａで算出されたブロックマッチング量ｂｌｋｐｍ１と、ブロック間マッチング演算部３０１ｂで算出されたブロックマッチング量ｂｌｋｐｍ２は、最大値選択部３２１へ送られ、最大値選択部３２１では、ブロックマッチング量ｂｌｋｐｍ１とブロックマッチング量ｂｌｋｐｍ２の最大値を選択し、ブロックマッチング量ｂｌｋｐｍとして出力する。ブロックマッチング量ｂｌｋｐｍは、注目画素Ｐ０を中心とする画素ブロックｂ０から２フレームに亘る間でのパターンの類似度、すなわち、画素ブロックでのブロック・パターンの動きを示す結果として、図２０における第１、第２及び第３の動きブロック係数変換部３１１、３１２及び３１３へ出力される。
なお、ブロック間マッチング演算部３０１ｂでは、１フレーム遅延信号ｄ２ｆと２フレーム遅延信号ｄ４ｆの画素ブロック間でパターンマッチングを行い、ブロックマッチング量ｂｌｋｐｍ２を求めているが、代わりに、現フレーム信号Ｄｉ０と２フレーム遅延信号ｄ４ｆの２フレームの間でパターンマッチングを行ってもよく、最大値選択部３２１の結果として、２フレームに亘る間でのブロックマッチング量ｂｌｋｐｍが得られればよい。
水平ブロックマッチング演算部３０３ａは、現フレーム信号Ｄｉ０と１フレーム遅延信号ｄ２ｆとを受け、それぞれのフレームの画素ブロックの一部で構成される水平方向に細長い領域で構成された小ブロックを単位としてパターンマッチングを行う。
水平ブロックマッチング演算部３０３ｂは、１フレーム遅延信号ｄ２ｆと２フレーム遅延信号ｄ４ｆとを受け、それぞれのフレームの画素ブロックの一部で構成される水平方向に細長い領域で構成された小ブロックを単位としてパターンマッチングを行う。
マッチング垂直高域成分抽出部３０４ａは、水平ブロックマッチング演算部３０３ａからの水平ブロックマッチング量ｈｐ１１、ｈｐ１２及びｈｐ１３から、マッチング垂直高域成分ｖｅｂｐｍ１を求め、マッチング垂直高域成分抽出部３０４ｂは、水平ブロックマッチング演算部３０３ｂからの水平ブロックマッチング量ｈｐ２１、ｈｐ２２及びｈｐ２３から、マッチング垂直高域成分ｖｅｂｐｍ２を求める。
マッチング垂直高域成分抽出部３０４ａ及び３０４ｂで算出されたマッチング垂直高域成分ｖｅｂｐｍ１及びｖｅｂｐｍ２は、垂直高域最大値選択部３２２へ送られ、垂直高域最大値選択部３２２では、マッチング垂直高域成分ｖｅｂｐｍ１及びｖｅｂｐｍ２の最大値を選択し、マッチング垂直高域成分ｖｅｂｐｍとして出力する。マッチング垂直高域成分ｖｅｂｐｍは、２フレームに亘る間での画素ブロック内に垂直方向に動く成分があることを示す値として、第１及び第２の動きブロック係数変換部３１１及び３１２へ出力される。
垂直ブロックマッチング演算部３０６ａは、現フレーム信号Ｄｉ０と１フレーム遅延信号ｄ２ｆとを受け、それぞれのフレームの画素ブロックの一部で構成される垂直方向に細長い領域で構成された小ブロックを単位としてパターンマッチングを行う。
垂直ブロックマッチング演算部３０６ｂへは、１フレーム遅延信号ｄ２ｆと２フレーム遅延信号ｄ４ｆとを受け、それぞれのフレームの画素ブロックの一部で構成される垂直方向に細長い領域で構成された小ブロックを単位としてパターンマッチングを行う。
マッチング水平高域成分抽出部３０７ａは、垂直ブロックマッチング演算部３０６ａからの垂直ブロックマッチング量ｖｐ１１、ｖｐ１２及びｖｐ１３から、マッチング水平高域成分ｈｅｂｐｍ１を求め、マッチング水平高域成分抽出部３０７ｂは、垂直ブロックマッチング演算部３０６ｂからの垂直ブロックマッチング量ｖｐ２１、ｖｐ２２及びｖｐ２３から、マッチング水平高域成分ｈｅｂｐｍ２を求める。
マッチング水平高域成分抽出部３０７ａ及び３０７ｂで算出されたマッチング水平高域成分ｈｅｂｐｍ１及びｈｅｂｐｍ２は、水平高域最大値選択部３２３へ送られ、水平高域最大値選択部３２３では、マッチング水平高域成分ｈｅｂｐｍ１及びｈｅｂｐｍ２の最大値を選択し、マッチング水平高域成分ｈｅｂｐｍとして出力する。
マッチング水平高域成分ｈｅｂｐｍは、２フレームに亘る間での画素ブロック内に水平方向に動く成分があることを示す値として、第３の動きブロック係数変換部３１３へ出力される。
なお、水平ブロックマッチング演算部３０３ｂと垂直ブロックマッチング演算部３０６ｂにおいても、ブロック間マッチング演算部３０１ｂと同様、１フレーム遅延信号ｄ２ｆと２フレーム遅延信号ｄ４ｆからパターンマッチングを行っているが、現フレーム信号Ｄｉ０と２フレーム遅延信号ｄ４ｆの２フレームの間でパターンマッチングを行ってもよく、垂直高域最大値選択部３２２及び水平高域最大値選択部３２３での結果として、２フレームに亘る間での差分絶対値（マッチング量）の高域成分が得られればよい。
以下、第１、第２及び第３の動きブロック係数変換部３１１、３１２及び３１３の構成、動作は図２と同じであるので、説明は省略する。図２０におけるパターンマッチング検出部３１によれば、１フレーム遅延信号ｄ２ｆと現フレーム信号Ｄｉ０の画素ブロック間でパターンマッチングを行い、類似度を算出するとともに、１フレーム遅延信号ｄ２ｆと２フレーム遅延信号ｄ４ｆの画素ブロック間でパターンマッチングを行い、類似度を算出してブロックマッチング量ｂｌｋｐｍを求め、また、差分絶対値の垂直高域成分及び水平高域成分を求めて、画素ブロックが垂直方向もしくは水平方向に動くパターンを考慮して、ブロックマッチング量ｂｌｋｐｍによる類似度に応じた動きブロック係数ｄｆｍａｔ及びｃｂｍａｔが生成される。この動きブロック係数ｄｆｍａｔ及びｃｂｍａｔは、２フレームの間に亘る画素ブロック間のパターンマッチング（類似度の算出）から得られているため、注目画素Ｐ０と対応する画素の差分のみに基づいて判定を行なうのと比較し、２フレームの間に亘る画素ブロックのパターンの違いも考慮することとなり、より画像の速い動きに対応した画素ブロックでのブロック・パターンの動きを示した値が得られる。
次に、図１９に戻り、フレーム間差分検出部２０ｂへは、現フレーム信号Ｄｉ０と、１フレーム遅延信号ｄ２ｆと、２フレーム遅延信号ｄ４ｆとが入力され、パターンマッチング検出部３１からの動きブロック係数ｄｆｍａｔと、エッジ検出部４０からのエッジ判定係数ｅｆｋｍも入力される。
フレーム間差分検出部２０ｂでは、１フレーム間差分と２フレーム間差分を求めるが、この差分を求める際に、動きブロック係数ｄｆｍａｔとエッジ判定係数ｅｆｋｍとに応じて、平滑化処理を行う画素の範囲を選択して処理し、平滑化処理したフレーム間の差分を検出し、結果として２つのフレーム差分を合成したフレーム間差分信号ｓｆｄｉｆｆを求め、動き情報補正部５０へ出力する。
フレーム間差分検出部２０ｂ内のフレーム間差分算出部２１ｃへは、現フレーム信号Ｄｉ０と１フレーム遅延信号ｄ２ｆが入力され、さらに、パターンマッチング検出部３１からの動きブロック係数ｄｆｍａｔと、エッジ検出部４０からのエッジ判定係数ｅｆｋｍが入力され、また、フレーム間差分算出部２１ｄへは、現フレーム信号Ｄｉ０と２フレーム遅延信号ｄ４ｆが入力され、さらに、パターンマッチング検出部３１からの動きブロック係数ｄｆｍａｔと、エッジ検出部４０からのエッジ判定係数ｅｆｋｍも入力される。
フレーム間差分算出部２１ｃは現フレーム信号Ｄｉ０と１フレーム遅延信号ｄ２ｆによる１フレーム間差分によるフレーム間差分ｆｒｄ１を求め、フレーム間差分算出部２１ｄは現フレーム信号Ｄｉ０と２フレーム遅延信号ｄ４ｆによる２フレーム間差分によるフレーム間差分ｆｒｄ２を求める。なお、フレーム間差分ｆｒｄ１は、図１の装置の説明におけるフレーム間差分ｆｒｄと同じものである。
また、フレーム間差分検出部２０ｂ内の非線形変換部２２ｃは、フレーム間差分ｆｒｄ１を非線形変換し、フレーム間差分信号ｆｄｉｆｆ１として求め、非線形変換部２２ｄは、フレーム間差分ｆｒｄ２を非線形変換し、フレーム間差分信号ｆｄｉｆｆ２として求め、差分合成部２３へ出力する。
差分合成部２３では、非線形変換部２２ｃからの１フレーム差分による１フレーム間差分信号ｆｄｉｆｆ１と、非線形変換部２２ｄからの２フレーム差分による２フレーム間差分信号ｆｄｉｆｆ２を入力とし、１フレーム間差分信号ｆｄｉｆｆ１１と２フレーム間差分信号ｆｄｉｆｆ１２の最大値を求めて合成することで、映像信号の動きを示すフレーム間差分とし、フレーム間差分信号ｓｆｄｉｆｆを出力する。
なお、差分合成部２３での合成の方法は最大値を求めることに限らず、平均値を求めることや、入力される１フレーム間差分信号ｆｄｉｆｆ１１と２フレーム間差分信号ｆｄｉｆｆ１２の大きさに基づく重み付けした係数による演算により合成してもよい。
以上のように、フレーム間差分検出部２０ｂでは、フレーム間差分信号ｓｆｄｉｆｆを求める際に、動きブロック係数ｄｆｍａｔとエッジ判定係数ｅｆｋｍとに応じて、平滑化処理を行う画素の範囲を選択して処理することで、画像のエッジの方向、パターンの動きに応じた適切な範囲で平滑化されたフレーム間差分を得ており、また、２フレーム間の差分を求めているので、より精度のよいフレーム間差分信号ｓｆｄｉｆｆを出力することができる。
以下、フレーム間差分信号ｓｆｄｉｆｆを動き情報補正部５０へ送り、動き信号ｍｄｓとして得るまでの構成は、実施の形態１の図１に示されるものと同じであり、その詳細な説明は省略する。
以上のように、図１９の動き検出装置２では、パターンマッチング検出部３１において、現フレーム信号と１フレーム前の信号に加え、１フレーム前の信号と２フレーム前の信号における画素ブロックのパターンマッチングにより画素ブロックでのパターンの動きを示した動きブロック係数ｄｆｍａｔ及びｃｂｍａｔを生成し、フレーム間差分検出部２０ｂでは、生成された動きブロック係数ｄｆｍａｔとエッジ判定係数ｅｆｋｍとに応じて、平滑化処理を行う画素の範囲を選択して処理することで、画像のエッジの方向、パターンの動きに応じた適切な範囲で平滑化された１フレーム間差分と２フレーム間差分を得ている。
したがって、動き検出装置２からは、ノイズのある画像においても、静止部分を動きと誤検出することなく、動き部分を静止と検出する動き検出漏れを防止し、高い精度で映像信号の動きの度合いを示すｍｄｓが得られる。そして、１フレーム間差分と２フレーム間差分を求め、２つのフレーム差分を合成することで、画像の速い動きに対応でき、動きを静止と検出する動き検出の漏れを防止できる。
実施の形態２の映像信号処理装置において、パターンマッチングによる動きブロック係数と、エッジ検出の結果であるエッジ判定係数とにより、映像信号の１フレーム間差分と２フレーム間差分を検出し、動きの度合いを示す動き検出信号ｍｄｓを出力する動作については、実施の形態１に関し図１７及び図１８を参照して説明したのと同様であり、その説明は省略するが、実施の形態２においては、図１７中のステップＳ１０１において入力されるフレーム遅延信号は、１フレーム遅延信号ｄ２ｆと、２フレーム遅延信号ｄ４ｆとなり、ステップＳ１０２における、パターンマッチング検出部３１でのブロックマッチングが、１フレーム遅延信号ｄ２ｆと現フレーム信号Ｄｉ０の画素ブロック間と、２フレーム遅延信号ｄ４ｆと１フレーム遅延信号ｄ２ｆの画素ブロック間とでパターンの２つの類似度を算出し、画素ブロックの動きを示す動きブロック係数ｄｆｍａｔ及びｃｂｍａｔを生成することとなり、図１８中のステップＳ１０８においてフレーム間差分信号が、１フレーム間差分と２フレーム間差分の合成により求められることとなる。
上記のステップＳ１０１、Ｓ１０２及びステップＳ１０８以外の動作は、図１７及び図１８で示すフローチャートによりで説明した動作と同じである。
以上より、実施の形態２の映像信号処理装置によれば、パターンマッチング検出部３１において、現フレーム信号と１フレーム前の信号に加え、１フレーム前の信号と２フレーム前の信号における画素ブロックのパターンマッチングにより画素ブロックでのパターンの動きを示した動きブロック係数ｄｆｍａｔ及びｃｂｍａｔを生成し、フレーム間差分検出部２０ｂでは、生成された動きブロック係数ｄｆｍａｔとエッジ判定係数ｅｆｋｍとに応じて、平滑化処理を行う画素の範囲を選択して処理することで、画像のエッジの方向、パターンの動きに応じた適切な範囲で平滑化された１フレーム間差分と２フレーム間差分を得ている。さらに、動き情報補正部５０では、動きブロック係数ｃｂｍａｔとエッジ判定係数ｃｅｄｋｍに応じて、エッジの方向、パターンの動きに対応した補正が施された動き情報信号ｍｄ０を求めている。
したがって、２フレーム間でも動きブロック係数を求め、フレーム間差分を１フレーム間差分と２フレーム間差分から求めるので、画像の速い動きに対応でき、動きを静止と検出する動き検出の漏れを防止できるとともに、画素ブロックのパターンの類似度の値によるブロックの動きを示す動きブロック係数と、エッジの存在の度合いを示すエッジ判定係数とにより、画像のエッジの方向、パターンの動きに応じて、フレーム間の差分を求める際の平滑化処理の範囲を切り換えて、適切な範囲で平滑化されたフレーム間差分信号を得ることができ、
ノイズのある画像においても、静止部分を動きと誤検出することなく、動き部分を静止と検出する動き検出漏れを防止し、高い精度で良好な動き検出を行うことができる。
なお、実施の形態２の映像信号処理装置では、現フレーム信号Ｄｉ０における画素Ｐ０を動き検出の対象である注目画素として、フレーム間差分検出部２０ｂで１フレーム間差分、２フレーム間差分を検出しているが、注目画素Ｐ０のあるフレームは現フレームでなくてもよく、フィールドもしくはフレーム遅延された信号のフレームを動き検出する中心フレームとして、そのフレーム遅延信号上の画素を注目画素Ｐ０とすることもできる。この場合、フレーム間差分検出部２０ｂで検出する１フレーム間差分と２フレーム間差分は、中心フレームの時間軸上前に位置するフレームとの間の差分であっても、時間軸上後ろに位置するフレームとの間の差分であってもよく、さらには、その両方向のフレームとの差分を合成し用いてもよく、中心フレームとの間のフレーム差分を検出して動き検出信号として得られれば、実施の形態２と同様の効果が得られる。
さらに、実施の形態２の説明においては、映像信号処理装置のフレーム遅延部、動き検出装置の各構成をハードウェアで構成するものとしているが、これらの構成要素を、ソフトウェアにより、即ちプログラムされたコンピュータにより実現しても良い。
実施の形態３．
実施の形態１又は実施の形態２の映像信号処理装置における動き検出は、映像信号から画像の動きを局所的に検出し、検出された動きに応じて映像信号処理を行う動き適応処理に適用できる。
この動き適応処理の適用例として、まず、インターレース信号をプログレッシブ信号に走査線変換（ＩＰ変換）する動き適応走査線補間処理について説明する。
以下に示す実施の形態３においては、ＩＰ変換する際に、動き検出された動き量である動きの度合いを示す動き検出信号に応じて、フィールド間補間及びフィールド内補間のいずれかに切換えて補間信号を生成する映像信号処理装置であって、動き検出のために、実施の形態１の映像信号処理装置における動き検出装置１を用いるものについて説明する。
図２１は、本発明の実施の形態３の映像信号処理装置（すなわち、実施の形態３の映像信号処理方法を実施することができる装置）の構成を示すブロック図であり、映像信号のフレーム間差分に基づき動きを検出し、動き検出装置の出力に従い、動きに応じた走査線補間処理を行ってプログレッシブ信号を得る動き適応処理装置３の構成を示している。図２１において、図１に示す実施の形態１における構成要素と同一又は対応する構成要素には、同じ符号を付してある。
図２１において、実施の形態３の映像信号処理装置である動き適応処理装置３は、映像信号の動き検出を行う動き検出を、実施の形態１の映像信号処理装置（図１参照）の動き検出装置１により行なっており、フィールドメモリ１１、１２で構成されたフレーム遅延部１３と、動き検出装置１と、動き検出装置１の出力に従い、動きに応じた走査線補間信号を生成する動き適応補間処理部６００と、動き適応補間処理部６００から出力された走査線補間信号Ｉを実走査線信号Ｒの対応する走査線間にはめ込み、倍速変換して、プログレッシブ映像信号Ｄｏへ変換して出力する倍速変換部６０１とを備えている。
動き適応処理装置３には、インターレース信号である入力映像信号Ｄｉ０が順次入力されており、動き適応処理による走査線補間処理を行い、プログレッシブ信号Ｄｏを出力する。
フレーム遅延部１３からは、１フィールド遅延信号ｄ１ｆと１フレーム遅延信号ｄ２ｆとが出力される。
動き適応処理装置３における動き検出装置１は、現フレーム信号Ｄｉ０、１フレーム遅延信号ｄ２ｆ及び１フィールド遅延信号ｄ１ｆとを受け、現フレーム信号と１フレーム前の信号との間での映像信号における動きを検出し、検出結果から動きの度合いを示す動き検出信号ｍｄｓを出力する。
この動き検出装置１としては、図１に示されるものを用いることができ、現フレーム信号Ｄｉ０と１フレーム前の信号ｄ２ｆにおける画素ブロックのパターンマッチングによる動きブロック係数と、エッジ検出の結果であるエッジ判定係数とにより、画像のエッジの方向、パターンの動きに応じてフレーム間の差分を求める際の平滑化処理の範囲を切り換えて、適切な範囲で平滑化されたフレーム間差分信号を得て、さらには、エッジの方向、パターンの動きに応じたフレーム間差分信号の補正を行い、動き部分を静止であると誤判定され勝ちなエッジやパターンにおいて、動きと検出されやすいよう補正された動き情報を求めることで、誤検出と動き検出漏れを防止した高い精度の動き検出を行う。
動き適応処理装置３における動き適応補間処理部６００には、現フレーム信号Ｄｉ０と、１フレーム遅延信号ｄ２ｆと、１フィールド遅延信号ｄ１ｆと、動き検出装置１からの動き検出信号ｍｄｓが入力される。
ここで、図２１においては、走査線補間処理を行う対象となるフィールド（補間対象フィールド）を１フィールド遅延信号ｄ１ｆのフィールドとする。動き検出装置１においては、動き検出を現フレーム信号Ｄｉ０と１フレーム遅延信号ｄ２ｆとの間で行い、動きの度合いを示す動き検出信号ｍｄｓを出力しているので、補間対象フィールドを１フィールド遅延信号ｄ１ｆとすると、動き検出の中心に補間信号を生成することとなる。すなわち、図５において、１フィールド遅延信号ｄ１ｆ上の画素Ｐｆ１ａ及びＰｆ１ｂの間の走査線上の画素を走査線補間信号として生成する。
動き適応補間処理部６００では、１フィールド遅延信号ｄ１ｆ、現フレーム信号Ｄｉ０、及び１フレーム遅延信号ｄ２ｆに対し、動き検出装置１から出力される動き検出信号ｍｄｓに基づき、動き適応補間処理を行って走査線補間信号Ｉを生成し、この走査線補間信号Ｉと、１フィールド遅延信号ｄ１ｆにおける実走査線信号Ｒを出力する。走査線補間信号Ｉの生成処理は、１フィールド遅延信号ｄ１ｆに対して行われ、動き適応補間処理部６００は、動き検出信号ｍｄｓの値に応じて、１フィールド遅延信号ｄ１ｆに対して時間的に前の１フレーム遅延信号ｄ２ｆ、あるいは、時間的に後ろの現フレーム信号Ｄｉ０における対応する走査線の画素をはめ込むことによるフィールド間補間、もしくは１フィールド遅延信号ｄ１ｆにおける垂直方向の上下に位置する画素の信号を用いたフィールド内補間処理を行い、走査線補間信号Ｉを生成する。
この動き適応補間処理部６００での走査線補間信号Ｉの生成は、例えば、動き検出信号ｍｄｓの値に応じて、フィールド間補間により得られた信号と、フィールド内補間により得られた信号を混合して行う。すなわち、動き検出信号ｍｄｓが完全静止画を示す場合（ｍｄｓ＝０の場合）は、フィールド間補間を行い、１フレーム遅延信号ｄ２ｆもしくは現フレーム信号Ｄｉ０信号を走査線補間信号Ｉとする一方、動き検出信号ｍｄｓの値が大きく、「完全に動き」であると判定される場合は、フィールド内補間により得られた信号（垂直方向の上下に位置する画素の信号を用いた補間信号）を走査線補間信号Ｉとする。そして、動き検出信号ｍｄｓの値が「０」と、「完全動き」を表す値との間の値である場合は、動き検出信号ｍｄｓの値に応じた混合比により、フィールド間補間による信号とフィールド内補間による信号を混合して走査線補間信号Ｉを生成する。
上記のフィールド間補間、１フレーム遅延信号ｄ２ｆ、あるいは、現フレーム信号Ｄｉ０のどちらか一方の信号、例えば、時間的に前の１フレーム遅延信号ｄ２ｆのみによって行っても良い。
なお、補間対象フィールドを１フィールド遅延信号ｄ１ｆとしたが、現フレーム信号Ｄｉ０や、１フレーム遅延信号ｄ２ｆとすることもできる。
次に、倍速変換部６０１は、動き適応補間処理部６００から出力された走査線補間信号Ｉと実走査線信号Ｒとを入力とし、補間信号を実走査線信号の対応する走査線間にはめ込み、倍速変換して、プログレッシブ映像信号Ｄｏへ変換して出力する。これにより、動き適応処理装置３からは、倍速変換部６０１の出力であるプログレッシブ映像信号Ｄｏが出力される。
以上に説明したように、実施の形態３の映像信号処理装置では、実施の形態１における動き検出装置１を用いて、適切な範囲で平滑化されたフレーム間差分信号から求められ、エッジの方向、パターンの動きに応じて補正された動き検出信号ｍｄｓを得ており、この動き検出信号ｍｄｓに応じて、動き適応補間処理部６００での動き適応処理による走査線補間処理を行ってプログレッシブ信号Ｄｏを得ている。
よって、ノイズのある画像においても、静止部分を動きと誤検出することなく、動き部分を静止と検出する動き検出漏れを防止し、高い精度で良好な動き検出を行うことができ、この良好な動き検出の結果を用いることで、動き適応処理による走査線補間の結果において、画像のちらつきやぼやけなどの弊害やコーミング現象やぶれによる画質劣化を低減されたプログレッシブ信号を得ることができる。
なお、図２１に示す実施の形態３の動き適応処理装置３では、映像信号の動き検出を図１の動き検出装置１により行う構成としたが、図２２に示すように、２フレーム遅延信号ｄ４ｆを得るためのフレーム遅延部１５をさらに備えることで、実施の形態２の映像信号処理装置（図１９参照）における動き検出装置２を用いて構成することもできる。この場合は、
２フレーム間でも動きブロック係数を求め、フレーム間差分を１フレーム間差分と２フレーム間差分から求めるので、画像の速い動きに対応でき、動きを静止と検出する動き検出の漏れを防止でき、高い精度で良好な動き検出を行った結果により、動き適応処理による走査線補間処理を行い、プログレッシブ信号Ｄｏを得ることができる。
また、図２１又は図２２に示す実施の形態３の動き適応処理装置３又は３ｂでは、映像信号の動き適応走査線補間処理について示したが、例えば、動きベクトルを検出し、動きベクトルに対応した走査線変換を行う動き補償型走査線補間処理において、動き検出装置１又は２により行った動き検出の結果を動き補償時の一つのパラメータとして使用し、動きベクトルと併用するよう構成することもできる。この場合は、より高い精度で良好な動き補償による走査線補間処理を行い、プログレッシブ信号Ｄｏを得ることができる。
さらに、上記説明においては、動き適応処理装置３の各構成をハードウェアで構成するものとしているが、これらの構成要素を、ソフトウェアにより、即ちプログラムされたコンピュータにより実現しても良い。
実施の形態４．
次に、動き適応処理の適用例として、３次元ノイズ除去において動き適応処理を行う場合について示す。
実施の形態４においては、３次元ノイズ除去を行う際に、動き検出された動き量である動きの度合いを示す動き検出信号に応じて、ノイズ除去の効果を制御する動き適応処理を行う映像信号処理装置であって、動き検出のために、実施の形態１の映像信号処理装置における動き検出装置１を用いるものについて説明する。
図２３は、本発明の実施の形態４の映像信号処理装置（すなわち、実施の形態４の映像信号処理方法を実施することができる装置）の構成を示すブロック図であり、映像信号のフレーム間差分に基づき動きを検出し、動き検出装置の出力に従い、ノイズ成分に対する巡回係数を得て、フレーム巡回型のノイズ除去処理を行う動き適応処理装置４の構成を示している。図２３において、図１に示す実施の形態１における構成要素と同一又は対応する構成要素には、同じ符号を付してある。
図２３において、実施の形態４の映像信号処理装置である動き適応処理装置４は、映像信号の動き検出を行う動き検出を、実施の形態１の図１の映像信号処理装置（図１）における動き検出装置１により行なっており、フレーム遅延部１３、６０３と、動き検出装置１と、動き検出装置１の出力に従いノイズ成分に対する巡回係数を得て、フレーム巡回型のノイズ除去処理を行う動き適応ノイズ除去部６１０とを備えている。
動き適応ノイズ除去部６１０は、ノイズ抽出部６１１と、動き検出結果に応じてノイズに対する巡回係数を生成する係数生成部６１２と、ノイズ抽出部６１１からのノイズ成分と巡回係数を乗算しノイズの巡回量として出力する乗算部６１３と、乗算部６１３からのノイズ巡回量Ｎｄと入力映像信号Ｄｉ０を加算又は減算処理する演算部６１４とを備えている。
動き適応処理装置４には、インターレース信号である入力映像信号Ｄｉ０が順次入力されており、動き適応処理によるノイズ除去処理を行い、ノイズ除去後の信号Ｄｎｒｏを出力する。
フレーム遅延部１３、６０３は、映像信号を１フレーム分遅延して出力するためのメモリであり、第１のフレーム遅延部１３は、入力映像信号Ｄｉ０を１フレーム分遅延して１フレーム遅延信号ｄ２ｆを出力し、第２のフレーム遅延部６０３は、ノイズ除去後の信号Ｄｎｒｏを１フレーム分遅延して、ノイズ除去後信号の１フレーム遅延信号ｌｎ２を出力する。なお、インターレース信号入力時には、フレーム遅延部１３、６０３は、１フィールド単位の遅延を行う２個のフィールドメモリで構成できるので、フレーム遅延部１３で、１フィールド遅延信号ｄ１ｆが生成されて、動き検出装置１に供給される。このフレーム遅延部１３及び６０３の構成、動作は図１のフレーム遅延部１３と同様である。
動き検出装置１は、現フレーム信号Ｄｉ０と、フレーム遅延部１３からの１フレーム遅延信号ｄ２ｆ及び１フィールド遅延信号ｄ１ｆとを入力とし、現フレーム信号Ｄｉ０と１フレーム前の信号ｄ２ｆとの間での映像信号における動きを検出し、検出結果から動き量である動きの度合いを示すｍｄｓを出力する。この動き検出装置１は、図１に示される動き検出装置１を適用したものであり、パターンマッチングによる動きブロック係数と、エッジ検出の結果であるエッジ判定係数とにより、画像のエッジの方向、パターンの動きに応じてフレーム間の差分を求める際の平滑化処理の範囲を切り換えて、適切な範囲で平滑化されたフレーム間差分信号を得て、さらには、エッジの方向、パターンの動きに応じたフレーム間差分信号の補正を行い、動き部分を静止であると誤判定され勝ちなエッジやパターンにおいて、動きと検出されやすいよう補正された動き情報を求めることで、誤検出と動き検出漏れを防止した高い精度の動き検出を行う。
動き適応ノイズ除去部６１０には、現フレーム信号Ｄｉ０と、フレーム遅延部６０３からのノイズ除去後信号の１フレーム遅延信号ｌｎ２と、動き検出装置１からの動き検出信号ｍｄｓが入力される。動き適応ノイズ除去部６１０では、現フレーム信号Ｄｉ０と１フレーム遅延信号ｌｎ２とのフレーム間の差分値からノイズ成分を抽出し、動き検出装置１からの動き検出信号ｍｄｓに応じてノイズ成分に対する巡回係数を求め、抽出したノイズ成分と巡回係数からノイズ除去処理を行い、ノイズ除去後の信号Ｄｎｒｏを出力する。ノイズ除去後の信号Ｄｎｒｏは、現フレーム信号Ｄｉ０と同じフレームの信号であり、第２のフレーム遅延部６０３へ送られる。
動き適応ノイズ除去部６１０内のノイズ抽出部６１１では、例えば、１フレーム遅延信号ｌｎ２から現フレーム信号Ｄｉ０を減算して、現フレーム信号Ｄｉ０と１フレーム遅延信号ｌｎ２のフレーム差分Ｄｉｆｆを求めた後、所定の値内（例えば、±ｄＴｈ内）に振幅を制限することで、振幅制限された差分値をノイズ成分Ｄｆｎとして求める。フレーム差分Ｄｉｆｆには、映像信号における「動き」と「ノイズ」の成分が含まれており、したがって、フレーム差分Ｄｉｆｆから得られるノイズ成分Ｄｆｎが「０」の場合は、完全に静止している部分もしくはノイズ成分がない部分であり、動きもしくはノイズ成分があると、その値は大きくなる。ノイズ抽出部３０１で求めたノイズ成分Ｄｆｎは、現フレーム信号Ｄｉ０での画素におけるノイズ成分として、乗算部６１３へ出力される。
係数生成部６１２は、動き検出装置１からの動き検出信号ｍｄｓを入力とし、動き検出信号ｍｄｓに応じたノイズに対する巡回係数Ｋｍを生成する。ここで、係数生成部６１２で生成する巡回係数Ｋｍは、巡回型ノイズ除去を行う際のノイズの巡回値を設定するものであり、０≦Ｋｍ＜１で設定される。この巡回係数Ｋｍの値が「１」に近いほど、ノイズ除去を行うノイズの巡回値が大きくなり、ノイズ除去効果が高くなる。一方、巡回係数Ｋｍの値がゼロ（Ｋｍ＝０）であると、ノイズの巡回値はゼロとなり、ノイズ除去は行われない。
よって、係数生成部６１２では、動き検出装置１からの動き検出信号ｍｄｓが示す動きの度合いに対応して変化するよう、例えば乗算処理や、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）で構成されたＬＵＴを用いて変換を行って、巡回係数Ｋｍを生成する。すなわち、動き検出信号ｍｄｓの値が大きく、「完全に動き」であることを示す場合は、巡回係数Ｋｍ＝０とし、動き検出信号ｍｄｓが「０」である（静止画もしくはノイズ成分であることを示す）場合は、Ｋｍ＝Ｋｍａｘ（Ｋｍａｘ＜１）として、動き検出信号ｍｄｓが「０」と「完全に動き」の間の値を取るときは、その値が大きくなるにつれ、巡回係数Ｋｍの値が小さくなるように変化させることで、動きを考慮したノイズに対する巡回係数が得られる。
そして、動き検出信号ｍｄｓに対応して０≦Ｋｍ＜Ｋｍａｘで変化するよう生成された係数生成部６１２からの巡回係数Ｋｍは、乗算部６１３へ出力される。
乗算部６１３は、ノイズ抽出部６１１からのノイズ成分Ｄｆｎに巡回係数Ｋｍを乗算し、ノイズの巡回量ＮｄをＫｍ×Ｄｆｎとして求める。得られたノイズ巡回量Ｎｄは、演算部６１４へ出力される。
巡回係数Ｋｍは、動き検出信号ｍｄｓの値に応じて算出されており、動き検出信号ｍｄｓが動きを示す場合は、巡回係数Ｋｍ＝０として送られているので、この場合のノイズの巡回量ＮｄはＮｄ＝０となり、ノイズ除去は行われない。一方で、静止画の画素と検出される場合は、Ｋｍ＝Ｋｍａｘとなっているので、ノイズ巡回量Ｎｄは最大値に設定され、ノイズの除去効果を大きくすることができ、動き検出信号が示す動き量に応じて段階的にノイズの除去効果を変化することになる。
演算部６１４には、現フレーム信号Ｄｉ０に対してノイズ巡回量Ｎｄを加算または減算することで、映像信号中のノイズを除去し、ノイズ除去後の信号Ｄｎｒｏを得る。ここで、演算部６１４の処理は、乗算部６１３からのノイズ巡回量Ｎｄの符号（正か負か）によって加算または減算処理が行われ、ノイズを除去するようにしている。
次に、図２３において、動き適応ノイズ除去部６１０から出力されたノイズ除去後の信号Ｄｎｒｏは、入力映像信号と同じフレームの信号であり、フレーム遅延部６０３へ送られる。
以上に説明したように、実施の形態４の映像信号処理装置では、実施の形態１における動き検出装置１を用いて、適切な範囲で平滑化されたフレーム間差分信号から求められ、エッジの方向、パターンの動きに応じて補正された動き検出信号ｍｄｓを得ており、動き適応ノイズ除去部６１０において、この動き検出信号ｍｄｓに応じて、ノイズ成分に対する巡回係数を得てフレーム巡回型のノイズ除去処理を行い、動き検出の結果でノイズ除去の効果を制御する動き適応処理を行っている。
よって、ノイズのある画像においても、静止部分を動きと誤検出することなく、動き部分を静止と検出する動き検出漏れを防止し、高い精度で良好な動き検出を行うことができ、この良好な動き検出の結果を用いることで、動き適応処理によるノイズ除去後の映像信号において、動き部分の尾引きや残像を抑え、静止画部のノイズを低減して、画像のちらつきやぼやけなどの弊害が低減されたノイズ除去された信号を得ることができる。
なお、図２３に示す実施の形態４の動き適応処理装置４では、映像信号の動き検出を図１の動き検出装置１により行う構成としたが、２フレーム遅延信号ｄ４ｆを得るためのフレーム遅延部１５をさらに備えることで、実施の形態２の映像信号処理装置（図１９参照）における動き検出装置２を用いて構成することもできる。この場合は、２フレーム間でも動きブロック係数を求め、フレーム間差分を１フレーム間差分と２フレーム間差分から求めるので、画像の速い動きに対応でき、動きを静止と検出する動き検出の漏れを防止できるとともに、高い精度で良好な動き検出を行った結果により、動き検出の結果でノイズ除去の効果を制御する動き適応処理によるノイズ除去を行うことができる。
また、実施の形態４の映像信号処理装置では、入力映像信号をインターレース信号としているが、入力映像信号はプログレッシブ信号であってもよく、同様に構成することで動き検出、ノイズ除去処理を行うことができる。なお、プログレッシブ信号入力の場合には、フレーム遅延部１３は入力された入力映像信号Ｄｉ０を１フレーム分遅延して、１フレーム前の信号である１フレーム遅延信号ｄ２ｆのみが出力され、異位相の信号の位置関係にある１フィールド遅延信号ｄ１ｆは得られないため、動き検出装置１では、同位相のフレーム位置関係にあるフレーム遅延信号により動き検出を行う構成を用いることとなる。
また、実施の形態４の動き適応処理装置４では、フレーム遅延部１３、６０３を設け、動き検出装置１のための１フレーム遅延信号ｄ２ｆと、動き適応ノイズ除去部６１０のためのノイズ除去後信号の１フレーム遅延信号ｌｎ２を得るように構成したが、図２４に示す動き適応処理装置４ｂのように、フレーム遅延部６０３によりノイズ除去後の信号Ｄｎｒｏを１フレーム遅延し、動き検出装置１と動き適応ノイズ除去部６１０で同じ１フレーム遅延信号を用いる構成としてもよい。なお、この場合にも、フレーム遅延部６０３で信号Ｄｎｒｏの１フィールド遅延信号ｌｎ１が生成されて、動き検出装置１に供給される。
また、実施の形態４の動き適応処理装置４では、動き適応ノイズ除去部６１０を図２３に示す構成とし、動き検出装置１で生成された動き検出信号ｍｄｓに応じて、係数生成部６１２において動き検出結果に応じたノイズ成分に対する巡回係数を生成するが、動き適応ノイズ除去部６１０の構成は図２３に限らず、例えば、巡回係数を固定として所定の強さの巡回型ノイズ除去を行った信号と入力映像信号とを、動き検出装置１で生成された動き検出信号ｍｄｓに応じた混合比で混合することで、動きにより制御された巡回型ノイズ除去後の信号を得るようにすることもでき、図２３の動き適応処理装置４と同様の効果を奏する。
さらには、図２３の動き適応処理装置４は、巡回型ノイズ除去を行うが、動き適応処理装置４を図２５で示す構成として、非巡回型のノイズ除去処理に、動き検出結果を適用することもできる。図２５において、図２３及び図１、図１９の構成と同一又は対応する構成には、同じ符号を付してある。図２５で示す動き適応処理装置４ｃは、図２３の動き適応ノイズ除去部６１０を非巡回型ノイズ除去処理を行う動き適応ノイズ除去部６２０とし、２フレーム遅延信号ｄ４ｆを得るためのフレーム遅延部１５を備え、動き適応ノイズ除去部６２０は、フィルタ部６２１と、動き混合部６２２とを備える。
図２５において、フレーム遅延部１３及び１５と、動き検出装置２の構成、動作は、実施の形態２と同じであるので、説明は省略する。
動き適応ノイズ除去部６２０のフィルタ部６１２は、現フレーム信号Ｄｉ０、１フレーム遅延信号ｄ２ｆ、及び２フレーム遅延信号ｄ４ｆに対してノイズ除去のためのフィルタ処理（例えば３つの信号の平均処理）を行い、動き混合部６２２は、フィルタ処理後の信号ｄｆｉｒと、フィルタ処理されていない信号、例えば現フレーム信号Ｄｉ０を、動き検出装置２からの動き検出信号ｍｄｓに応じて混合比で混合することで、ノイズ除去後の信号Ｄｎｒｏを出力する。
動き混合部６２２は、動き検出信号ｍｄｓが動きを示す場合は、現フレーム信号Ｄｉ０の混合比率を大きくし、動き検出信号ｍｄｓが「０」である（静止画もしくはノイズ成分であることを示す）場合は、フィルタ処理後の信号ｄｆｉｒの比率を大きくする。
また、動き検出信号ｍｄｓの値が０と「動き」の間であるときは、その値が大きくなるにつれ、フィルタ処理後の信号ｄｆｉｒの比率が小さくなるように変化させる。
これにより、動きを考慮した非巡回型ノイズ除去後の信号Ｄｎｒｏが得られることになる。よって、実施の形態４の図２３の場合と同様の効果が得られる。
なお、この動き適応ノイズ除去部６２０内のフィルタ部６２１での各フレームに対するフィルタ係数を、動き検出装置２からの動き検出信号ｍｄｓに応じて変化させることとすれば、動き混合部６２２を省略することができ、その場合にも、動きを考慮した非巡回型ノイズ除去後の信号Ｄｎｒｏを得ることができる。
なお、上記説明においては、動き適応処理装置４、４ｂ及び４ｃの各構成をハードウェアで構成するものとしているが、これらの構成要素を、ソフトウェアにより、即ちプログラムされたコンピュータにより実現しても良い。
実施の形態５．
次に、実施の形態１乃至４においては、映像信号処理装置及び映像信号処理方法を実施することができる装置について説明したが、本発明は、入力映像信号を動き検出することで動き適応処理し、高画質で表示する映像表示装置にも適用できる。以下に示す実施の形態５においては、ＴＶ放送信号やＤＶＤ、ＶＴＲ等の記録再生装置、ＴＶ放送受信装置などから入力される映像信号を処理し、実施の形態３又は４の映像信号処理装置の動き適応処理装置３又は４を用いた映像信号を表示する映像表示装置について説明する。
図２６は、本発明の実施の形態５の映像表示装置の一例を示すブロック図である。図示の映像表示装置５は、実施の形態３の動き適応処理装置３（もしくは、実施の形態４の動き適応処理装置４）のように構成された映像信号処理装置５００を有しており、入力端子５０１と、入力信号処理部５０２と、表示処理部５０３と、表示部５０４とを設け、動き適応処理による映像信号を表示するように構成したものである。これら入力端子５０１、入力信号処理部５０２、表示処理部５０３及び表示部５０４に関する部分以外の構成及び動作は、実施の形態１〜４に示されるものと同じであり、その詳細な説明は省略する。
入力端子５０１には、ＴＶ放送信号やＤＶＤ、ＶＴＲ等の記録再生装置、ＴＶ放送受信装置等からの信号が入力される。入力端子５０１に入力された信号は、入力信号処理部５０２へ送られる。
入力信号処理部５０２は、ＴＶ放送信号やＤＶＤ、ＶＴＲ等の記録再生装置、ＴＶ放送受信装置等からの信号に対し、例えば、アナログ信号が入力される場合は、信号をデジタル信号へ変換する処理、同期信号を分離する処理などの入力信号処理や、ＭＰＥＧデータを受けた場合には、ＭＰＥＧデータをデコードするなどの処理を施す。そして、入力信号処理された映像信号を映像信号処理装置５００へ出力する。
ここで、入力信号処理された映像信号は、インターレース信号である場合もあり、プログレッシブ信号である場合もある。
映像信号処理装置５００は、動き適応処理によるノイズ除去処理及び／又は動き適応走査線補間処理を行い、入力信号処理部５０２からの映像信号をフレーム遅延して、フレーム間での差分を用いて動き検出を行うとともに、この動き検出された結果に応じて、インターレース入力時は、ノイズ除去処理と３次元ＩＰ変換を行う。
プログレッシブ信号の場合は、動き検出された結果に応じて、ノイズ除去処理を行う。
そして、動き適応処理によりノイズ除去、ＩＰ変換されたプログレッシブ信号を表示処理部５０３へ出力する。この動き検出処理と、動き検出の結果を用いたノイズ除去処理及びＩＰ変換処理の動き適応処理の構成、動作は、実施の形態１〜４と同様であるので、詳細な説明は省略する。
また、ここでの動き適応処理は、ノイズ除去処理もしくは３次元ＩＰ変換どちらか一方の処理でもよい。
表示処理部５０３には、映像信号処理装置５００からの動き適応処理された映像信号が入力される。表示処理部５０３は、動き適応処理された映像信号に対し、スケーリング処理や映像信号の階調を変換する階調補正処理などの表示信号へ変換するための信号処理を施し、表示部５０４で表示するための表示信号として表示部５０４へ出力する。
表示部５０４は、表示処理部５０３からの表示信号に基づき映像を表示する。
以上に説明したように、実施の形態５の映像表示装置によれば、実施の形態１〜４の映像信号処理装置及び映像信号処理方法を用いるので、微少な動きやノイズのある画像においも、静止部分を動きと誤検出することなく、動き部分を静止と検出する動き検出漏れを防止し、高い精度で良好な動き検出を行い、動き適応処理の結果において、画像のちらつきやぼやけなどの弊害やコーミング現象やぶれによる画質劣化を低減された映像信号に基づく高品質な映像を表示することができる。
１，２ 動き検出装置、 １１、１２ フィールドメモリ、 １３、１５、６０３ フレーム遅延部、 ２０、２０ｂ フレーム間差分検出部、 ３０、３１ パターンマッチング検出部、 ４０ エッジ検出部、 ５０ 動き情報補正部、 ２１、２１ｃ、２１ｄ フレーム間差分算出部、 ２２、２２ｃ、２２ｄ 非線形変換部、 ２３ 差分合成部、 ３０１、３０１ａ、３０１ｂ ブロック間マッチング演算部、 ３１１、３１２、３１３ 動きブロック係数変換部、 ３０２ａ、３０２ｂ、３０２ｃ ブロック係数変換部、 ３０５ａ、３０５ｂ、３０５ｃ 高域成分変換部、 ３１４、３１５、３１６ 係数合成部、 ３０３、３０３ａ、３０３ｂ 水平ブロックマッチング演算部、 ３０４、３０４ａ、３０４ｂ マッチング垂直高域成分抽出部、 ３０６、３０６ａ、３０６ｂ 垂直ブロックマッチング演算部、 ３０７、３０７ａ、３０７ｂ マッチング水平高域成分抽出部、 ３０８、３０８ａ、３０８ｂ マッチング垂直高域成分生成部、 ３０９、３０９ａ、３０９ｂ マッチング水平高域成分生成部、 ３２１ 最大値選択部、 ３２２ 垂直高域最大値選択部、 ３２３ 水平高域最大値選択部、 ４１ 垂直エッジ検出部、 ４２ 水平エッジ検出部、 ４１１、４１２、４１３ 垂直高域成分抽出部、 ４１４ 垂直高域成分選択部、 ４１５、４１６、４１７ 垂直エッジ判定係数変換部、 ４１８ 反転部、 ４２１、４２２、４２３ 水平高域成分抽出部、 ４２４ 水平高域成分選択部、 ４２５、４２６ 水平エッジ判定係数変換部、 ２１１、２１１ｂ 減算部、 ２１２、２１２ｂ、２１２ｃ 水平方向平滑化処理部、 ２１３、２１３ｂ、２１３ｃ、２１５、２１５ｂ、２１５ｃ 混合部、 ２１４、２１４ｂ、２１４ｃ 垂直方向平滑化処理部、 ２１６ 絶対値演算部、 ５１ 横線動き調整部、 ５２ 垂直相関調整部、 ５３ 横線動き加算部、 ５４ 加算値算出部、 ５５ 垂直相関変換部、 ５６ 変換値算出部、 ３、４、４ｂ、４ｃ 動き適応処理装置、 ６００ 動き適応補間処理部、 ６０１ 倍速変換部、 ６１０、６２０ 動き適応ノイズ除去部、 ６１１ ノイズ抽出部、 ６１２ 係数生成部、 ６１３ 乗算部、 ６１４ 演算部、 ６２１ フィルタ部、 ６２２ 動き混合部、 ５ 映像表示装置、 ５００ 映像信号処理装置、 ５０１ 入力端子、 ５０２ 入力信号処理部、 ５０３ 表示処理部、 ５０４ 表示部。

Claims (14)

  1. 時間的に異なる第１及び第２のフレームの映像信号から、前記映像信号における動き検出を行う動き検出装置であって、
    前記第１のフレーム内の、動き検出する注目画素を中心とした画素ブロックと、前記第２のフレーム内の、対応する画素位置にある画素ブロックとのパターンの類似度を算出して、該類似度に基づいてブロックの動きを示す動きブロック係数を生成するパターンマッチング検出部と、
    前記第１及び第２のフレームの信号から前記注目画素の近傍での画像のエッジを検出して、
    エッジの有無の度合いを示すエッジ判定係数を生成するエッジ検出部と、
    前記注目画素に対して、前記パターンマッチング検出部で生成された前記動きブロック係数と、前記エッジ検出部で生成された前記エッジ判定係数とに応じて、前記注目画素を含む水平方向又は垂直方向に並んだ画素を用いた平滑化処理及びフレーム間差分の算出を行なって、フレーム間差分信号を生成するフレーム間差分検出部と、
    前記フレーム間差分検出部で生成された前記フレーム間差分信号に基づいて、前記注目画素での動き情報を生成する動き情報補正部と
    を備えたこと特徴とする動き検出装置。
  2. 前記パターンマッチング検出部は、
    前記第１のフレーム内の前記注目画素を中心とした画素ブロックと、前記第２のフレーム内の対応する画素位置にある画素ブロックにおいて、
    これらの画素ブロック内の同位置にある画素の画素値の差分の絶対値を該画素ブロック間の全ての画素について求め、それらを加算することで得られる差分絶対値和に基づく値を前記類似度として生成するブロック間マッチング演算部を有し、
    前記ブロック間マッチング演算部により生成された前記類似度の値を変換することにより、前記動きブロック係数を求める動きブロック係数変換部と
    を備えることを特徴とする請求項１に記載の動き検出装置。
  3. 前記パターンマッチング検出部は、
    前記第１及び第２のフレーム内の、同一の画素位置の画素ブロック内の、同位置にある画素の画素値の差分の絶対値に基づいて、前記画素ブロックを垂直方向に分割した複数の小ブロックについての前記差分の絶対値の総和を求め、前記複数の小ブロックのうちの垂直方向に隣接するもの相互間で、前記総和の、差を求めることで、マッチング垂直高域成分を生成するマッチング垂直高域成分生成部と、
    前記第１及び第２のフレーム内の、同一の画素位置の画素ブロック内の、同位置にある画素の画素値の差分の絶対値に基づいて、前記画素ブロックを水平方向に分割した複数の小ブロックについての前記差分の絶対値の総和を求め、前記複数の小ブロックのうちの水平方向に隣接するもの相互間で、前記総和の、差を求めることで、マッチング水平高域成分を生成するマッチング水平高域成分生成部とをさらに備え、
    前記動きブロック係数変換部が、
    前記マッチング垂直高域成分生成部で生成された前記マッチング垂直高域成分、もしくは前記マッチング水平高域成分生成部で生成された前記マッチング水平高域成分の値に応じて、前記ブロック間マッチング演算部により生成された前記類似度の値を変換して前記動きブロック係数を生成する
    ことを特徴とする請求項２に記載の動き検出装置。
  4. 前記エッジ検出部は、
    前記第１のフレーム内の、前記注目画素の近傍における垂直方向の高域周波数成分を抽出し、
    前記第２のフレーム内の、前記注目画素と同じ画素位置の近傍における垂直方向の高域周波数成分を抽出し、
    抽出されたこれらの垂直高域成分の値から、垂直方向のエッジの有無の度合いを示す垂直エッジ判定係数を生成する垂直エッジ検出部と、
    前記第１のフレーム内の、前記注目画素の近傍における水平方向の高域周波数成分を抽出し、
    前記第２のフレーム内の、前記注目画素と同じ画素位置の近傍における水平方向の高域周波数成分を抽出し、
    抽出されたこれらの水平高域成分の値から、水平方向のエッジの有無の度合いを示す水平エッジ判定係数を生成する水平エッジ検出部とを備え、
    前記垂直エッジ判定係数及び前記水平エッジ判定係数を前記エッジ判定係数として得ることを特徴とする請求項１に記載の動き検出装置。
  5. 前記フレーム間差分検出部は、
    前記第１のフレームにおける前記注目画素の信号と前記第２のフレームにおける、前記注目画素と同じ位置の画素の信号との差分を求める減算部と、
    前記減算部で求められた差分に対し、水平方向及び垂直方向のうちの一方である第１の方向の平滑化を行う第１の平滑化処理部と、
    前記第１の平滑化処理部による平滑化を受けた信号と、前記減算部の出力とを、前記パターンマッチング検出部により求められた前記動きブロック係数と前記エッジ判定係数に応じた混合比で、混合する第１の混合部と、
    前記第１の混合部の出力に対し、水平方向及び垂直方向のうちの他方である第２の方向の平滑化を行う第２の平滑化処理部と、
    前記第２の平滑化処理部による平滑化を受けた信号と、前記第１の混合部の出力とを、前記パターンマッチング検出部により求められた前記動きブロック係数と前記エッジ判定係数に応じた混合比で、混合する第２の混合部とを備え、
    前記第２の混合部の出力に基づいて前記フレーム間差分信号を生成する
    ことを特徴とする請求項１に記載の動き検出装置。
  6. 前記フレーム間差分検出部は、
    前記第１のフレームにおける前記注目画素の信号を、水平方向及び垂直方向のうちの一方である第１の方向の平滑化を行う第１の平滑化処理部と、
    前記第１の平滑化処理部による平滑化を受けた信号と、前記第１のフレームにおける前記注目画素の信号とを、前記パターンマッチング検出部により求められた前記動きブロック係数と前記エッジ判定係数に応じた混合比で、混合する第１の混合部と、
    前記第１の混合部の出力に対し、水平方向及び垂直方向のうちの他方である第２の方向の平滑化を行う第２の平滑化処理部と、
    前記第２の平滑化処理部による平滑化を受けた信号と、前記第１の混合部の出力とを、前記パターンマッチング検出部により求められた前記動きブロック係数と前記エッジ判定係数に応じた混合比で、混合する第２の混合部と、
    前記第２のフレームにおける前記注目画素と同じ画素位置の信号を、前記第１の方向の平滑化を行う第３の平滑化処理部と、
    前記第３の平滑化処理部による平滑化を受けた信号と、前記第２のフレームにおける前記注目画素と同じ画素位置の信号とを、前記パターンマッチング検出部により求められた前記動きブロック係数と前記エッジ判定係数に応じた混合比で、混合する第３の混合部と、
    前記第３の混合部の出力に対し、前記第２の方向の平滑化を行う第４の平滑化処理部と、
    前記第４の平滑化処理部による平滑化を受けた信号と、前記第３の混合部の出力とを、前記パターンマッチング検出部により求められた前記動きブロック係数と前記エッジ判定係数に応じた混合比で、混合する第４の混合部と、
    前記第２の混合部の出力と、前記第４の混合部の出力の差分を求める減算部とを備え、
    前記減算部の出力に基づいて前記フレーム間差分信号を生成する
    ことを特徴とする請求項１に記載の動き検出装置。
  7. 前記動き情報補正部は、
    前記パターンマッチング検出部で生成された前記動きブロック係数と、前記エッジ検出部で生成された前記エッジ判定係数とに応じて、
    前記フレーム間差分検出部で生成された前記フレーム間差分信号を補正することで前記映像信号の動き情報を生成する
    ことを特徴とする請求項１に記載の動き検出装置。
  8. 前記動き情報補正部は、
    前記動きブロック係数と前記エッジ判定係数とに応じて変化する変換値を算出し、
    前記フレーム間差分検出部により生成された前記フレーム間差分信号に対し、前記変換値を加算、もしくは乗算することによる補正を行って前記映像信号の動き情報を生成する
    ことを特徴とする請求項７に記載の動き検出装置。
  9. 前記動き情報補正部は、
    前記動きブロック係数と前記エッジ判定係数を構成する垂直エッジ判定係数に応じて変化する値を持つ第１の変換値を算出し、前記フレーム間差分信号に対し、算出された前記変換値を加算することによる補正を行う横線動き調整部と、
    前記動きブロック係数と前記エッジ判定係数を構成する垂直エッジ判定係数及び水平エッジ判定係数に応じて変化する値を持つ第２の変換値を算出し、前記横線動き調整部の出力に対し、算出された前記変換値を加算もしくは乗算することによる補正を行う垂直相関調整部とを備え、
    前記垂直相関調整部の出力を前記動き情報信号として出力する
    ことを特徴とする請求項８に記載の動き検出装置。
  10. 前記映像信号の動き情報に基づいて、動き検出信号を生成することを特徴とする請求項１乃至９のいずれかに記載の動き検出装置。
  11. 請求項１０に記載の動き検出装置から出力される前記動き検出信号に基づいて飛び越し走査映像信号を順次走査映像信号に変換する動き適応走査線補間処理を行う映像信号処理装置であって、
    前記動き検出装置から出力される前記動き検出信号を受け、画素毎の動き検出の結果に応じて、走査線補間信号を生成する動き適応補間処理部と、
    前記動き適応補間処理部により生成された前記走査線補間信号に基づいて、順次走査映像信号を生成する倍速変換部とを備える
    ことを特徴とする映像信号処理装置。
  12. 請求項１０に記載の動き検出装置から出力される前記動き検出信号に基づいて、前記映像信号のフレーム間の相関のないノイズ成分を除去する３次元ノイズ除去を行う映像信号処理装置であって、
    前記動き検出装置から出力される前記動き検出信号に受けて、ノイズ除去の効果を制御する動き適応ノイズ除去部を備えることを特徴とする映像信号処理装置。
  13. 請求項１１又は１２に記載の映像信号処理装置と、
    映像を表示する表示部と、
    前記映像信号処理装置から出力される映像信号に応じた画像を、前記表示部に表示させる表示処理部と
    を備えたことを特徴とする映像表示装置。
  14. 時間的に異なる第１及び第２のフレームの映像信号から、前記映像信号における動き検出を行う動き検出方法であって、
    前記第１のフレーム内の、動き検出する注目画素を中心とした画素ブロックと、前記第２のフレーム内の、対応する画素位置にある画素ブロックとのパターンの類似度を算出して、該類似度に基づいてブロックの動きを示す動きブロック係数を生成するパターンマッチング検出ステップと、
    前記第１及び第２のフレームの信号から前記注目画素の近傍での画像のエッジを検出して、
    エッジの有無の度合いを示すエッジ判定係数を生成するエッジ検出ステップと、
    前記注目画素に対して、前記パターンマッチング検出ステップで生成された前記動きブロック係数と、前記エッジ検出ステップで生成された前記エッジ判定係数とに応じて、前記注目画素を含む水平方向又は垂直方向に並んだ画素を用いた平滑化処理及びフレーム間差分の算出を行なって、フレーム間差分信号を生成するフレーム間差分検出ステップと、
    前記フレーム間差分検出ステップで生成された前記フレーム間差分信号に基づいて、前記注目画素での動き情報を生成する動き情報補正ステップと
    を備えたこと特徴とする動き検出方法。
JP2011030951A 2011-02-16 2011-02-16 動き検出装置及び方法、映像信号処理装置及び方法、並びに映像表示装置 Active JP5645699B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011030951A JP5645699B2 (ja) 2011-02-16 2011-02-16 動き検出装置及び方法、映像信号処理装置及び方法、並びに映像表示装置
US13/360,129 US9185431B2 (en) 2011-02-16 2012-01-27 Motion detection device and method, video signal processing device and method and video display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011030951A JP5645699B2 (ja) 2011-02-16 2011-02-16 動き検出装置及び方法、映像信号処理装置及び方法、並びに映像表示装置

Publications (3)

Publication Number Publication Date
JP2012169992A JP2012169992A (ja) 2012-09-06
JP2012169992A5 JP2012169992A5 (ja) 2013-11-28
JP5645699B2 true JP5645699B2 (ja) 2014-12-24

Family

ID=46636858

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011030951A Active JP5645699B2 (ja) 2011-02-16 2011-02-16 動き検出装置及び方法、映像信号処理装置及び方法、並びに映像表示装置

Country Status (2)

Country Link
US (1) US9185431B2 (ja)
JP (1) JP5645699B2 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9584804B2 (en) 2012-07-10 2017-02-28 Qualcomm Incorporated Coding SEI NAL units for video coding
US8704951B1 (en) 2013-04-05 2014-04-22 Altera Corporation Efficient 2D adaptive noise thresholding for video processing
US8976298B2 (en) 2013-04-05 2015-03-10 Altera Corporation Efficient 2D adaptive noise thresholding for video processing
US9767571B2 (en) * 2013-07-29 2017-09-19 Samsung Electronics Co., Ltd. Apparatus and method for analyzing image including event information
KR102104413B1 (ko) * 2014-01-16 2020-04-24 한화테크윈 주식회사 감시 카메라 및 디지털 비디오 리코더
CN105100886B (zh) * 2014-04-22 2019-03-15 腾讯科技（北京）有限公司 网络媒介信息的发布控制方法、及装置、服务器和系统
US12300273B2 (en) 2014-12-11 2025-05-13 Rdi Technologies, Inc. Apparatus and method for visualizing periodic motions in mechanical components
US9704266B2 (en) 2014-12-11 2017-07-11 Rdi, Llc Non-contacting monitor for bridges and civil structures
US10062411B2 (en) 2014-12-11 2018-08-28 Jeffrey R. Hay Apparatus and method for visualizing periodic motions in mechanical components
JP6981043B2 (ja) * 2017-05-19 2021-12-15 株式会社デンソー 測距装置
US11423551B1 (en) 2018-10-17 2022-08-23 Rdi Technologies, Inc. Enhanced presentation methods for visualizing motion of physical structures and machinery
JP7096520B2 (ja) * 2019-02-22 2022-07-06 日本電信電話株式会社 画像処理装置、画像処理方法及びプログラム
JP2021097312A (ja) * 2019-12-17 2021-06-24 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び測距装置
KR102649600B1 (ko) * 2020-01-17 2024-03-22 삼성디스플레이 주식회사 클럭 생성기 및 이를 포함하는 표시 장치
US11373317B1 (en) 2020-01-24 2022-06-28 Rdi Technologies, Inc. Measuring the speed of rotation or reciprocation of a mechanical component using one or more cameras
US11282213B1 (en) 2020-06-24 2022-03-22 Rdi Technologies, Inc. Enhanced analysis techniques using composite frequency spectrum data
US11322182B1 (en) 2020-09-28 2022-05-03 Rdi Technologies, Inc. Enhanced visualization techniques using reconstructed time waveforms
KR102814795B1 (ko) 2020-09-29 2025-05-29 삼성전자주식회사 최적 파라미터를 이용하는 재구성 가능 논리 회로 및 이의 동작 방법
US11354788B1 (en) * 2020-12-07 2022-06-07 Advanced Micro Devices, Inc. Overlapped curve mapping for histogram-based local tone and local contrast
US11810275B2 (en) * 2021-06-21 2023-11-07 Qualcomm Incorporated Temporal filtering restart for improved scene integrity

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2596166B2 (ja) 1990-04-09 1997-04-02 日本ビクター株式会社 動き適応型走査線補間装置
JP3164121B2 (ja) * 1992-02-21 2001-05-08 キヤノン株式会社 動きベクトル検出装置
US6741652B1 (en) * 1992-02-21 2004-05-25 Canon Kabushiki Kaisha Movement vector detecting device
JPH06337934A (ja) 1993-05-27 1994-12-06 Olympus Optical Co Ltd 画像処理装置
JPH06348848A (ja) 1993-06-08 1994-12-22 Matsushita Electric Ind Co Ltd 画像信号の動き検出装置
JP3846642B2 (ja) 1994-01-31 2006-11-15 ソニー株式会社 動き量検出方法及び動き量検出装置
JPH10112845A (ja) 1996-10-07 1998-04-28 Hitachi Ltd 画像信号の飛び越し順次走査変換方法および回路
JP4186242B2 (ja) * 1997-12-26 2008-11-26 ソニー株式会社 画像信号処理装置及び画像信号処理方法
JP4061721B2 (ja) * 1998-07-16 2008-03-19 松下電器産業株式会社 映像信号処理回路および映像信号処理方法
JP2000134632A (ja) 1998-10-28 2000-05-12 Victor Co Of Japan Ltd 動きベクトル検出装置
JP2001204045A (ja) * 2000-01-24 2001-07-27 Mitsubishi Electric Corp 動き検出装置
US7054367B2 (en) * 2001-12-31 2006-05-30 Emc Corporation Edge detection based on variable-length codes of block coded video
TWI240278B (en) * 2002-10-15 2005-09-21 Sony Corp Memory device, motion vector detection device, and detection method
JP4273420B2 (ja) * 2004-12-06 2009-06-03 ソニー株式会社 映像信号処理装置及び映像信号の伝送方法
JP2009008738A (ja) 2007-06-26 2009-01-15 Hitachi Ltd 表示装置及び表示方法
JP2009265688A (ja) 2008-04-21 2009-11-12 Toshiba Corp 動き検出装置
JP5178477B2 (ja) * 2008-11-26 2013-04-10 三菱電機株式会社 映像信号処理装置及び方法、並びに映像表示装置

Also Published As

Publication number Publication date
JP2012169992A (ja) 2012-09-06
US9185431B2 (en) 2015-11-10
US20120207218A1 (en) 2012-08-16

Similar Documents

Publication Publication Date Title
JP5645699B2 (ja) 動き検出装置及び方法、映像信号処理装置及び方法、並びに映像表示装置
JP4563603B2 (ja) 両方向動きベクトルを用いたフォーマット変換装置及びその方法
US6104755A (en) Motion detection using field-difference measurements
KR101536794B1 (ko) 후광현상이 줄어든 영상보간 장치 및 방법
US7769089B1 (en) Method and system for reducing noise level in a video signal
JP2001285810A (ja) 動きベクトルを算出するための方法および装置
JP2003163894A (ja) 適応動き補償型フレーム及び／又はフィールドレート変換装置及びその方法
KR20040009967A (ko) 디인터레이싱장치 및 방법
US8305489B2 (en) Video conversion apparatus and method, and program
US5386237A (en) Method and apparatus for adaptive progressive scan conversion
JP2001204045A (ja) 動き検出装置
JP4031389B2 (ja) 画像変換装置および画像変換方法
KR100422575B1 (ko) 디인터레이싱을 위한 공간축/시간축 보간 시스템 및 방법
JP2005522107A (ja) ノイズ抑制対角線方向補正によるアップコンバージョン
JP4031390B2 (ja) 画像変換装置および画像変換方法
JP3898546B2 (ja) 画像走査変換方法及び装置
JP5178477B2 (ja) 映像信号処理装置及び方法、並びに映像表示装置
JP4222090B2 (ja) 動画像時間軸補間方法及び動画像時間軸補間装置
JP2004320278A (ja) 動画像時間軸補間方法及び動画像時間軸補間装置
CN106027943A (zh) 一种视频去隔行方法
CN101232570B (zh) 自运动适应图像处理的装置和方法
JP3546698B2 (ja) 走査線補間回路
KR20070043703A (ko) 비월 비디오 이미지에서의 움직임 추정
US7405767B2 (en) Video image conversion method for interlaced image to progressive image and system thereof
JPH03291080A (ja) 動き適応型走査線補間装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131010

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131010

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140715

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140904

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141007

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141104

R150 Certificate of patent or registration of utility model

Ref document number: 5645699

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250