JP2000059740A - 動き判定装置、その方法および画像情報変換装置 - Google Patents
動き判定装置、その方法および画像情報変換装置Info
- Publication number
- JP2000059740A JP2000059740A JP22822198A JP22822198A JP2000059740A JP 2000059740 A JP2000059740 A JP 2000059740A JP 22822198 A JP22822198 A JP 22822198A JP 22822198 A JP22822198 A JP 22822198A JP 2000059740 A JP2000059740 A JP 2000059740A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- class
- detecting
- image signal
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 画像信号の部分的画像の動き判定を正確に行
い、また、動き判定をクラスとして使用して画像信号を
異なる走査線構造のものへ変換する。 【解決手段】 入力画像の部分画像に関して検出された
フレーム間差分ＦｒＧがしきい値ｔｈ１、ｔｈ２、ｔｈ
３とそれぞれ比較される。部分画像の空間アクティビテ
ィとしてのダイナミックレンジＤＲが検出され、しきい
値ｔｈ４と比較される。空間勾配ＳＧsum からしきい値
ｔｈ１、ｔｈ２、ｔｈ３が生成される。比較結果がアン
ドゲート１０とクラス決定部１１により処理され、４段
階の動きクラスＭＤが決定される。さらに、動きクラス
ＭＤが多数決判定されることによって、最終的な動きク
ラスＭＪが生成される。
い、また、動き判定をクラスとして使用して画像信号を
異なる走査線構造のものへ変換する。 【解決手段】 入力画像の部分画像に関して検出された
フレーム間差分ＦｒＧがしきい値ｔｈ１、ｔｈ２、ｔｈ
３とそれぞれ比較される。部分画像の空間アクティビテ
ィとしてのダイナミックレンジＤＲが検出され、しきい
値ｔｈ４と比較される。空間勾配ＳＧsum からしきい値
ｔｈ１、ｔｈ２、ｔｈ３が生成される。比較結果がアン
ドゲート１０とクラス決定部１１により処理され、４段
階の動きクラスＭＤが決定される。さらに、動きクラス
ＭＤが多数決判定されることによって、最終的な動きク
ラスＭＪが生成される。
Description
【０００１】
【発明の属する技術分野】この発明は、画像信号の動き
判定装置、その方法および画素情報変換装置に関する。
判定装置、その方法および画素情報変換装置に関する。
【０００２】
【従来の技術】入力ディジタル画像信号を異なる走査線
構造へ変換する画像信号変換装置、ディジタル画像信号
を圧縮する高能率符号化等の画像処理において、画像の
注目部分の静止、動きを判定する動き判定が使用され
る。従来の動き判定装置では、画像部分（例えば１フレ
ームの画像を細分化したブロック）についてフレーム間
差分の絶対値の和を求め、絶対値の和の大小によって、
画像部分の動きの有無を判定するようにしていた。すな
わち、フレーム間差分の絶対値和が大きい時には、画像
部分に動きがありと決定し、これが小さい時には、静止
と決定している。
構造へ変換する画像信号変換装置、ディジタル画像信号
を圧縮する高能率符号化等の画像処理において、画像の
注目部分の静止、動きを判定する動き判定が使用され
る。従来の動き判定装置では、画像部分（例えば１フレ
ームの画像を細分化したブロック）についてフレーム間
差分の絶対値の和を求め、絶対値の和の大小によって、
画像部分の動きの有無を判定するようにしていた。すな
わち、フレーム間差分の絶対値和が大きい時には、画像
部分に動きがありと決定し、これが小さい時には、静止
と決定している。
【０００３】
【発明が解決しようとする課題】従来の動き判定は、静
止および動きの２段階の判定であるために、静止画像に
対する処理を行った部分と動き画像に対する処理を行っ
た部分との境界で、画質の差が目立つ問題があった。ま
た、フレーム間差分のみを用いた判定は、誤った判定の
おそれがある。すなわち、フレーム間差分が大きい場合
でも、フィールド内アクティビティが大きいと、実際に
は、静止画像に近い場合があり、逆に、フレーム間差分
が小さい場合でも、フィールド内のアクティビティが無
いと実際には，動画に近い場合がある。さらに、フレー
ム間差分とフィールド内アクティビティとの関係が線形
であることを用いた動き判定方法として、勾配法が知ら
れている。しかしながら、勾配法の場合では、フィール
ド内のアクティビティの大小に応じて、動き判定を容易
とするなどの柔軟性を持たせることができない問題があ
る。
止および動きの２段階の判定であるために、静止画像に
対する処理を行った部分と動き画像に対する処理を行っ
た部分との境界で、画質の差が目立つ問題があった。ま
た、フレーム間差分のみを用いた判定は、誤った判定の
おそれがある。すなわち、フレーム間差分が大きい場合
でも、フィールド内アクティビティが大きいと、実際に
は、静止画像に近い場合があり、逆に、フレーム間差分
が小さい場合でも、フィールド内のアクティビティが無
いと実際には，動画に近い場合がある。さらに、フレー
ム間差分とフィールド内アクティビティとの関係が線形
であることを用いた動き判定方法として、勾配法が知ら
れている。しかしながら、勾配法の場合では、フィール
ド内のアクティビティの大小に応じて、動き判定を容易
とするなどの柔軟性を持たせることができない問題があ
る。
【０００４】従って、この発明の目的は、動き判定の誤
りのおそれを少なくし、複数段階の判定結果を発生する
ことが可能な動き判定装置、その方法および画像情報変
換装置を提供することにある。
りのおそれを少なくし、複数段階の判定結果を発生する
ことが可能な動き判定装置、その方法および画像情報変
換装置を提供することにある。
【０００５】
【課題を解決するための手段】請求項１の発明は、入力
画像信号の部分画像に関して動きを検出する動き判定装
置において、部分画像に関するフレーム間差分を検出す
る第１の検出手段と、部分画像に関する空間アクティビ
ティを検出する第２の検出手段と、第１、第２および第
３のしきい値をそれぞれ発生するしきい値発生手段と、
第１の検出手段により検出されたフレーム間差分を少な
くとも第１および第２のしきい値とそれぞれ比較する第
１および第２の比較手段と、第２の検出手段により検出
された空間アクティビティを第３のしきい値と比較する
第３の比較手段と、第１、第２および第３の比較手段の
比較結果が供給され、部分画像の動きの程度を少なくと
も３段階で示す動きクラスを決定する手段とからなるこ
とを特徴とする動き判定装置である。
画像信号の部分画像に関して動きを検出する動き判定装
置において、部分画像に関するフレーム間差分を検出す
る第１の検出手段と、部分画像に関する空間アクティビ
ティを検出する第２の検出手段と、第１、第２および第
３のしきい値をそれぞれ発生するしきい値発生手段と、
第１の検出手段により検出されたフレーム間差分を少な
くとも第１および第２のしきい値とそれぞれ比較する第
１および第２の比較手段と、第２の検出手段により検出
された空間アクティビティを第３のしきい値と比較する
第３の比較手段と、第１、第２および第３の比較手段の
比較結果が供給され、部分画像の動きの程度を少なくと
も３段階で示す動きクラスを決定する手段とからなるこ
とを特徴とする動き判定装置である。
【０００６】請求項５の発明は、入力画像信号の部分画
像に関して動きを検出する動き判定方法において、部分
画像に関するフレーム間差分を検出する第１の検出のス
テップと、部分画像に関する空間アクティビティを検出
する第２の検出のステップと、第１、第２および第３の
しきい値をそれぞれ発生するステップと、第１の検出ス
テップにより検出されたフレーム間差分を少なくとも第
１および第２のしきい値とそれぞれ比較するステップ
と、第２の検出ステップにより検出された空間アクティ
ビティを第３のしきい値と比較するステップと、比較に
より得られた比較結果が供給され、部分画像の動きの程
度を少なくとも３段階で示す動きクラスを決定するステ
ップとからなることを特徴とする動き判定方法である。
像に関して動きを検出する動き判定方法において、部分
画像に関するフレーム間差分を検出する第１の検出のス
テップと、部分画像に関する空間アクティビティを検出
する第２の検出のステップと、第１、第２および第３の
しきい値をそれぞれ発生するステップと、第１の検出ス
テップにより検出されたフレーム間差分を少なくとも第
１および第２のしきい値とそれぞれ比較するステップ
と、第２の検出ステップにより検出された空間アクティ
ビティを第３のしきい値と比較するステップと、比較に
より得られた比較結果が供給され、部分画像の動きの程
度を少なくとも３段階で示す動きクラスを決定するステ
ップとからなることを特徴とする動き判定方法である。
【０００７】請求項６の発明は、入力画像信号から走査
線構造の異なる複数の出力画像信号を形成するようにし
た画像情報変換装置において、出力画像信号の生成すべ
き画素の周辺に位置する入力画像信号の複数の第１の画
素を選択する第１のデータ選択手段と、出力画像信号の
生成すべき画素の周辺に位置する入力画像信号の複数の
第２の画素を選択する第２のデータ選択手段と、出力画
像信号の生成すべき画素の周辺に位置する入力画像信号
の複数の第３の画素を選択する第３のデータ選択手段
と、予め取得されている推定式係数を記憶するメモリ手
段と、第１のデータ選択手段で選択された複数の第１の
画素と推定式係数の線形推定式によって、出力画像信号
の画素を生成する信号生成手段と、第２のデータ選択手
段で選択された複数の第２の画素に基づいて、空間クラ
スを形成し、第３のデータ選択手段で選択された複数の
第３の画素に基づいて、動きクラスを形成し、空間クラ
スと動きクラスとを統合したクラス情報に対応して推定
式係数を信号生成手段に供給するクラス決定手段と、信
号生成手段に対して接続され、変換画像を指定された走
査線構造へ変換するための走査変換手段とを有し、動き
クラスを形成するための動き判定部は、複数の第３の画
素からなる部分画像に関するフレーム間差分を検出する
第１の検出手段と、部分画像に関する空間アクティビテ
ィを検出する第２の検出手段と、第１、第２および第３
のしきい値をそれぞれ発生するしきい値発生手段と、第
１の検出手段により検出されたフレーム間差分を少なく
とも第１および第２のしきい値とそれぞれ比較する第１
および第２の比較手段と、第２の検出手段により検出さ
れた空間アクティビティを第３のしきい値と比較する第
３の比較手段と、第１、第２および第３の比較手段の比
較結果が供給され、部分画像の動きの程度を少なくとも
３段階で示す動きクラスを決定する手段とからなること
を特徴とする画像情報変換装置である。
線構造の異なる複数の出力画像信号を形成するようにし
た画像情報変換装置において、出力画像信号の生成すべ
き画素の周辺に位置する入力画像信号の複数の第１の画
素を選択する第１のデータ選択手段と、出力画像信号の
生成すべき画素の周辺に位置する入力画像信号の複数の
第２の画素を選択する第２のデータ選択手段と、出力画
像信号の生成すべき画素の周辺に位置する入力画像信号
の複数の第３の画素を選択する第３のデータ選択手段
と、予め取得されている推定式係数を記憶するメモリ手
段と、第１のデータ選択手段で選択された複数の第１の
画素と推定式係数の線形推定式によって、出力画像信号
の画素を生成する信号生成手段と、第２のデータ選択手
段で選択された複数の第２の画素に基づいて、空間クラ
スを形成し、第３のデータ選択手段で選択された複数の
第３の画素に基づいて、動きクラスを形成し、空間クラ
スと動きクラスとを統合したクラス情報に対応して推定
式係数を信号生成手段に供給するクラス決定手段と、信
号生成手段に対して接続され、変換画像を指定された走
査線構造へ変換するための走査変換手段とを有し、動き
クラスを形成するための動き判定部は、複数の第３の画
素からなる部分画像に関するフレーム間差分を検出する
第１の検出手段と、部分画像に関する空間アクティビテ
ィを検出する第２の検出手段と、第１、第２および第３
のしきい値をそれぞれ発生するしきい値発生手段と、第
１の検出手段により検出されたフレーム間差分を少なく
とも第１および第２のしきい値とそれぞれ比較する第１
および第２の比較手段と、第２の検出手段により検出さ
れた空間アクティビティを第３のしきい値と比較する第
３の比較手段と、第１、第２および第３の比較手段の比
較結果が供給され、部分画像の動きの程度を少なくとも
３段階で示す動きクラスを決定する手段とからなること
を特徴とする画像情報変換装置である。
【０００８】この発明では、フレーム間差分と空間アク
ティビティ（例えばダイナミックレンジ）との両方を参
照して動き判定するので、フレーム間差分のみを使用す
るのと比較してより正確に動き判定を行うことができ
る。また、３段階以上の動きの程度を判別するので、動
き判定の結果に基づいて画像処理を行うと、動／静の２
段階の動き判定と比較して、より自然な結果を得ること
が可能となる。
ティビティ（例えばダイナミックレンジ）との両方を参
照して動き判定するので、フレーム間差分のみを使用す
るのと比較してより正確に動き判定を行うことができ
る。また、３段階以上の動きの程度を判別するので、動
き判定の結果に基づいて画像処理を行うと、動／静の２
段階の動き判定と比較して、より自然な結果を得ること
が可能となる。
【０００９】
【発明の実施の形態】以下、この発明の一実施形態につ
いて図面を参照して説明する。図１および図２は、この
発明の一実施形態の構成を示す。図１の構成は、入力デ
ィジタル画像信号から動きクラスＭＪを発生する部分で
あり、図２は、動きクラスＭＪから多数決判定によって
最終的な動きクラスＭＤを発生する部分である。すなわ
ち、図１に示す部分と図２に示す部分とが直列に接続さ
れることによって、一実施形態が構成される。
いて図面を参照して説明する。図１および図２は、この
発明の一実施形態の構成を示す。図１の構成は、入力デ
ィジタル画像信号から動きクラスＭＪを発生する部分で
あり、図２は、動きクラスＭＪから多数決判定によって
最終的な動きクラスＭＤを発生する部分である。すなわ
ち、図１に示す部分と図２に示す部分とが直列に接続さ
れることによって、一実施形態が構成される。
【００１０】最初に図１の構成部分について説明する。
入力端子１からの入力ディジタル画像信号がタップ構築
回路２に供給される。一例として、入力ディジタル画像
信号がインターレス信号であって、タップ構築回路２で
は、図３に示す５０個の画素が動き判定に使用するタッ
プとして選択され、選択されたタップが出力される。図
３は、ｔ−１，ｔ、ｔ＋１と時間的に連続する３フィー
ルドの空間的に同一部分の画像を示している。図３中の
ドットが所定周波数でサンプリングされることが得られ
る画素を示す。例えば１画素は、８ビットの輝度値であ
る。
入力端子１からの入力ディジタル画像信号がタップ構築
回路２に供給される。一例として、入力ディジタル画像
信号がインターレス信号であって、タップ構築回路２で
は、図３に示す５０個の画素が動き判定に使用するタッ
プとして選択され、選択されたタップが出力される。図
３は、ｔ−１，ｔ、ｔ＋１と時間的に連続する３フィー
ルドの空間的に同一部分の画像を示している。図３中の
ドットが所定周波数でサンプリングされることが得られ
る画素を示す。例えば１画素は、８ビットの輝度値であ
る。
【００１１】時間ｔ−１のフィールドでは、時間的に連
続する３ラインのそれぞれから対応する位置の５個のタ
ップが選択される。同様に、時間ｔ＋１のフィールドで
は、時間的に連続する３ラインのそれぞれから対応する
位置の５個のタップが選択される。これらのフィールド
のタップの空間的な位置が同一である。また、現在（時
間ｔ）のフィールドでは、時間的に連続する４ラインの
それぞれから対応する位置の５個のタップが選択され
る。インターレス方式であるために、これらの４ライン
は、ｔ−１およびｔ＋１のフィールドのタップとは、空
間的に１ラインずれている。そして、図３において、×
で示す位置が注目点であり、この注目点に関しての動き
判定がなされる。
続する３ラインのそれぞれから対応する位置の５個のタ
ップが選択される。同様に、時間ｔ＋１のフィールドで
は、時間的に連続する３ラインのそれぞれから対応する
位置の５個のタップが選択される。これらのフィールド
のタップの空間的な位置が同一である。また、現在（時
間ｔ）のフィールドでは、時間的に連続する４ラインの
それぞれから対応する位置の５個のタップが選択され
る。インターレス方式であるために、これらの４ライン
は、ｔ−１およびｔ＋１のフィールドのタップとは、空
間的に１ラインずれている。そして、図３において、×
で示す位置が注目点であり、この注目点に関しての動き
判定がなされる。
【００１２】タップ構築回路２に対してダイナミックレ
ンジＤＲ検出回路３、フレーム間差分ＦｒＧ検出回路４
および空間勾配ＳＧsum 検出回路５が接続される。ダイ
ナミックレンジＤＲ検出回路３に対して比較器６が接続
され、ダイナミックレンジＤＲとしきい値ｔｈ４が比較
される。フレーム間差分ＦｒＧ検出回路４に対して比較
器７，８，９が接続される。比較器７では、ダイナミッ
クレンジＤＲとしきい値ｔｈ１とが比較され、比較器８
および９では、ダイナミックレンジＤＲとしきい値ｔｈ
２およびｔｈ３とがそれぞれ比較される。
ンジＤＲ検出回路３、フレーム間差分ＦｒＧ検出回路４
および空間勾配ＳＧsum 検出回路５が接続される。ダイ
ナミックレンジＤＲ検出回路３に対して比較器６が接続
され、ダイナミックレンジＤＲとしきい値ｔｈ４が比較
される。フレーム間差分ＦｒＧ検出回路４に対して比較
器７，８，９が接続される。比較器７では、ダイナミッ
クレンジＤＲとしきい値ｔｈ１とが比較され、比較器８
および９では、ダイナミックレンジＤＲとしきい値ｔｈ
２およびｔｈ３とがそれぞれ比較される。
【００１３】比較器６，７，８，９は、入力値がしきい
値より大きい時に、"1" の出力を発生し、そうでない時
に、"0" の出力を発生する。例えばＦｒＧ≧ｔｈ１の時
には、比較器７の出力が"1" となり、ＦｒＧ＜ｔｈ１の
時には、その出力が"0" となる。空間勾配ＳＧsum 検出
回路５に対しては、しきい値発生部１２が接続される。
しきい値発生部１２については後述する。
値より大きい時に、"1" の出力を発生し、そうでない時
に、"0" の出力を発生する。例えばＦｒＧ≧ｔｈ１の時
には、比較器７の出力が"1" となり、ＦｒＧ＜ｔｈ１の
時には、その出力が"0" となる。空間勾配ＳＧsum 検出
回路５に対しては、しきい値発生部１２が接続される。
しきい値発生部１２については後述する。
【００１４】ダイナミックレンジＤＲは、空間アクティ
ビティの一例である。タップ構築回路２からの５０個の
タップの画素値の最大値ＭＡＸと最小値ＭＩＮの差がダ
イナミックレンジＤＲとされる。すなわち、ＤＲ＝ＭＡ
Ｘ−ＭＩＮである。しきい値ｔｈ４は、ダイナミックレ
ンジＤＲの大きさを判定するためのものである。
ビティの一例である。タップ構築回路２からの５０個の
タップの画素値の最大値ＭＡＸと最小値ＭＩＮの差がダ
イナミックレンジＤＲとされる。すなわち、ＤＲ＝ＭＡ
Ｘ−ＭＩＮである。しきい値ｔｈ４は、ダイナミックレ
ンジＤＲの大きさを判定するためのものである。
【００１５】フレーム間差分ＦｒＧは、ｔ−１のフィー
ルドの１５個のタップの画素値のそれぞれと、ｔ＋１の
フィールドの空間的に同一位置の１５個のタップの画素
値との差分を求め、求まった１５個のフレーム間差分を
絶対値に変換し、さらに、フレーム間差分の絶対値を合
計した値である。一般的には、フレーム間差分ＦｒＧが
大きいほど、フレーム間の動きが大きいものと判定され
る。
ルドの１５個のタップの画素値のそれぞれと、ｔ＋１の
フィールドの空間的に同一位置の１５個のタップの画素
値との差分を求め、求まった１５個のフレーム間差分を
絶対値に変換し、さらに、フレーム間差分の絶対値を合
計した値である。一般的には、フレーム間差分ＦｒＧが
大きいほど、フレーム間の動きが大きいものと判定され
る。
【００１６】空間勾配ＳＧsum は、ｔ−１のフィールド
の空間勾配ＳＧ（ｔ−１）、ｔのフィールドの空間勾配
ＳＧｔ、ｔ＋１のフィールドの空間勾配ＳＧ（ｔ＋１）
の合計値である。これらの空間勾配も、ダイナミックレ
ンジＤＲと同様に空間アクティビティの一つである。各
フィールドの空間勾配は、それぞれの画素と隣接画素と
の差分の絶対値を求め、差分の絶対値を合計した値であ
る。例えばｔ−１のフィールドにおいて、左上コーナー
の画素の場合では、その真下の画素と右側の画素とが隣
接画素であり、自分の画素値と各隣接画素の画素値の差
分が計算される。同様に、他の画素に関しても、垂直方
向および水平方向における隣接画素との差分値が計算さ
れる。そして、１５個の画素に関する差分値を合計する
ことによって、ｔ−１のフィールドの空間勾配ＳＧ（ｔ
−１）が求められる。他のフィールドの空間勾配ＳＧｔ
およびＳＧ（ｔ＋１）も同様に求められる。
の空間勾配ＳＧ（ｔ−１）、ｔのフィールドの空間勾配
ＳＧｔ、ｔ＋１のフィールドの空間勾配ＳＧ（ｔ＋１）
の合計値である。これらの空間勾配も、ダイナミックレ
ンジＤＲと同様に空間アクティビティの一つである。各
フィールドの空間勾配は、それぞれの画素と隣接画素と
の差分の絶対値を求め、差分の絶対値を合計した値であ
る。例えばｔ−１のフィールドにおいて、左上コーナー
の画素の場合では、その真下の画素と右側の画素とが隣
接画素であり、自分の画素値と各隣接画素の画素値の差
分が計算される。同様に、他の画素に関しても、垂直方
向および水平方向における隣接画素との差分値が計算さ
れる。そして、１５個の画素に関する差分値を合計する
ことによって、ｔ−１のフィールドの空間勾配ＳＧ（ｔ
−１）が求められる。他のフィールドの空間勾配ＳＧｔ
およびＳＧ（ｔ＋１）も同様に求められる。
【００１７】比較器６および７の出力がアンドゲート１
０に供給され、アンドゲート１０の出力ＬＶ３が動きク
ラスＭＪ決定部１１に供給される。比較器８の出力ＬＶ
２および比較器９の出力ＬＶ３が動きクラスＭＪ決定部
１１に供給される。ＭＪ決定部１１は、ＬＶ１，ＬＶ
２，ＬＶ３を受け取って２ビットの動きクラスＭＪを出
力する。動きクラスＭＪは、０，１，２，３の値をとり
うる。動きクラス０から動きクラス３に向かって、注目
点の動きが大きいことを表す。
０に供給され、アンドゲート１０の出力ＬＶ３が動きク
ラスＭＪ決定部１１に供給される。比較器８の出力ＬＶ
２および比較器９の出力ＬＶ３が動きクラスＭＪ決定部
１１に供給される。ＭＪ決定部１１は、ＬＶ１，ＬＶ
２，ＬＶ３を受け取って２ビットの動きクラスＭＪを出
力する。動きクラスＭＪは、０，１，２，３の値をとり
うる。動きクラス０から動きクラス３に向かって、注目
点の動きが大きいことを表す。
【００１８】動きクラスＭＪ決定部１１は、下記の条件
によって動きクラスＭＪを決定し、動きクラスＭＪを出
力端子１３に出力する。図４は、ＬＶ１，ＬＶ２，ＬＶ
３から動きクラスＭＪを決定する場合の論理を示す。
によって動きクラスＭＪを決定し、動きクラスＭＪを出
力端子１３に出力する。図４は、ＬＶ１，ＬＶ２，ＬＶ
３から動きクラスＭＪを決定する場合の論理を示す。
【００１９】動きクラスＭＪ＝３ ＦｒＧ≧ｔｈ１、且つＤＲ≧ｔｈ４（ＬＶ３＝"1" ） 動きクラスＭＪ＝２ ＦｒＧ≧ｔｈ２（ＬＶ２＝"1" ）、且つＬＶ３＝"0" 動きクラスＭＪ＝１ ＦｒＧ≧ｔｈ３（ＬＶ１＝"1" ）、且つＬＶ３＝"0" 、
ＬＶ２＝"0" 動きクラス０ 上記以外（ＬＶ３＝ＬＶ２＝ＬＶ１＝"0" ） しきい値発生部１２は、図５に示すように、空間勾配Ｓ
Ｇsum の大きさに従って変化するしきい値ｔｈ１、ｔｈ
２、ｔｈ３を発生する。各しきい値の変化の仕方が独立
であるが、空間勾配ＳＧsum が大きくなるに従って各し
きい値も大きくなる傾向を有する。発生したしきい値ｔ
ｈ１、ｔｈ２およびｔｈ３が上述した比較器７、８、９
に対してそれぞれ供給され、フレーム間差分ＦｒＧと比
較される。それによって、上述した条件に従って図５に
示すように、４種類の動きクラスＭＪが決定される。
ＬＶ２＝"0" 動きクラス０ 上記以外（ＬＶ３＝ＬＶ２＝ＬＶ１＝"0" ） しきい値発生部１２は、図５に示すように、空間勾配Ｓ
Ｇsum の大きさに従って変化するしきい値ｔｈ１、ｔｈ
２、ｔｈ３を発生する。各しきい値の変化の仕方が独立
であるが、空間勾配ＳＧsum が大きくなるに従って各し
きい値も大きくなる傾向を有する。発生したしきい値ｔ
ｈ１、ｔｈ２およびｔｈ３が上述した比較器７、８、９
に対してそれぞれ供給され、フレーム間差分ＦｒＧと比
較される。それによって、上述した条件に従って図５に
示すように、４種類の動きクラスＭＪが決定される。
【００２０】しきい値ｔｈ１を発生するために、空間勾
配ＳＧsum が供給される区間判定回路２１および区間内
位置判定回路２２と、区間判定回路２１の出力に対応し
たパラメータを出力するメモリ２３と、区間内位置判定
回路２２の出力とメモリ２３からのパラメータを受け取
ってしきい値ｔｈ１を発生するｔｈ１計算回路２４とが
設けられている。図５に示すように、空間勾配ＳＧsum
のＡ０、Ａ１、Ａ２、Ａ３で示す値によって、４個の区
間が規定される。３個の区間（Ａ０−Ａ１）（Ａ１−Ａ
２）（Ａ２−Ａ３）は、互いに等しい幅とされる。ま
た、ＳＧsum ＞Ａ３以上の区間では、しきい値ｔｈ１、
ｔｈ２、ｔｈ３の値が飽和したものとされる。区間判定
回路２１によって、４個の区間の内の１つの区間が決定
される。
配ＳＧsum が供給される区間判定回路２１および区間内
位置判定回路２２と、区間判定回路２１の出力に対応し
たパラメータを出力するメモリ２３と、区間内位置判定
回路２２の出力とメモリ２３からのパラメータを受け取
ってしきい値ｔｈ１を発生するｔｈ１計算回路２４とが
設けられている。図５に示すように、空間勾配ＳＧsum
のＡ０、Ａ１、Ａ２、Ａ３で示す値によって、４個の区
間が規定される。３個の区間（Ａ０−Ａ１）（Ａ１−Ａ
２）（Ａ２−Ａ３）は、互いに等しい幅とされる。ま
た、ＳＧsum ＞Ａ３以上の区間では、しきい値ｔｈ１、
ｔｈ２、ｔｈ３の値が飽和したものとされる。区間判定
回路２１によって、４個の区間の内の１つの区間が決定
される。
【００２１】また、空間勾配ＳＧsum の値Ａ０〜Ａ３に
それぞれと対応するしきい値レベルＢ１０、Ｂ１１、Ｂ
１２、Ｂ１３が規定され、これらのレベルがメモリ２３
から出力される。例えば区間（Ａ０−Ａ１）の場合で
は、レベルＢ１０およびＢ１１がメモリ２３からしきい
値計算回路２４に対して出力される。３個の各区間の中
は、均等に例えば６４分割される。区間内位置判定回路
２２は、区間内の位置を決定する。区間内の位置が決定
されると、しきい値計算回路２４は、線形補間によっ
て、しきい値ｔｈ１を発生する。例えば区間（Ａ０−Ａ
１）内の位置では、その位置に応じた係数をレベルＢ１
０およびＢ１１に対してそれぞれ乗算し、乗算結果を加
算することによって、しきい値ｔｈ１が得られる。
それぞれと対応するしきい値レベルＢ１０、Ｂ１１、Ｂ
１２、Ｂ１３が規定され、これらのレベルがメモリ２３
から出力される。例えば区間（Ａ０−Ａ１）の場合で
は、レベルＢ１０およびＢ１１がメモリ２３からしきい
値計算回路２４に対して出力される。３個の各区間の中
は、均等に例えば６４分割される。区間内位置判定回路
２２は、区間内の位置を決定する。区間内の位置が決定
されると、しきい値計算回路２４は、線形補間によっ
て、しきい値ｔｈ１を発生する。例えば区間（Ａ０−Ａ
１）内の位置では、その位置に応じた係数をレベルＢ１
０およびＢ１１に対してそれぞれ乗算し、乗算結果を加
算することによって、しきい値ｔｈ１が得られる。
【００２２】しきい値ｔｈ２を発生するために、区間判
定回路３１、区間内位置判定回路３２、メモリ３３およ
び計算回路３４が設けられる。しきい値ｔｈ３を発生す
るために、区間判定回路４１、区間内位置判定回路４
２、メモリ４３および計算回路４４が設けられる。これ
らの構成は、上述したしきい値ｔｈ１を発生するための
構成と同様に動作する。但し、メモリ３４には、しきい
値ｔｈ２用のレベルＢ２０、Ｂ２１、Ｂ２２、Ｂ２３が
格納され、メモリ４４には、しきい値ｔｈ３用のレベル
Ｂ３０、Ｂ３１、Ｂ３２、Ｂ３３が格納されている。
定回路３１、区間内位置判定回路３２、メモリ３３およ
び計算回路３４が設けられる。しきい値ｔｈ３を発生す
るために、区間判定回路４１、区間内位置判定回路４
２、メモリ４３および計算回路４４が設けられる。これ
らの構成は、上述したしきい値ｔｈ１を発生するための
構成と同様に動作する。但し、メモリ３４には、しきい
値ｔｈ２用のレベルＢ２０、Ｂ２１、Ｂ２２、Ｂ２３が
格納され、メモリ４４には、しきい値ｔｈ３用のレベル
Ｂ３０、Ｂ３１、Ｂ３２、Ｂ３３が格納されている。
【００２３】図１に示す構成によって、上述したように
決定された動きクラスＭＪに対して、図２に示す構成に
よって多数決判定処理を行う。この多数決判定処理は、
動きクラスの孤立点を除去し、また、近傍の動きクラス
に整合した動きクラスするために行われる。多数決判定
処理を付加することによって、出力画像中の破綻を少な
くすることができる。タップ構築回路５２は、入力動き
クラスと、ライン遅延回路５３からの１ライン前の動き
クラスと、フィールド遅延回路５４からの１フィールド
前の動きクラスと、フィールド遅延回路５４およびライ
ン遅延回路５５を通ることで形成された前フィールドで
且つ１ライン前の動きクラスとから多数決判定のための
タップを構築する。
決定された動きクラスＭＪに対して、図２に示す構成に
よって多数決判定処理を行う。この多数決判定処理は、
動きクラスの孤立点を除去し、また、近傍の動きクラス
に整合した動きクラスするために行われる。多数決判定
処理を付加することによって、出力画像中の破綻を少な
くすることができる。タップ構築回路５２は、入力動き
クラスと、ライン遅延回路５３からの１ライン前の動き
クラスと、フィールド遅延回路５４からの１フィールド
前の動きクラスと、フィールド遅延回路５４およびライ
ン遅延回路５５を通ることで形成された前フィールドで
且つ１ライン前の動きクラスとから多数決判定のための
タップを構築する。
【００２４】図６は、多数決判定の対象としての注目点
Ｐ０の近傍に位置する複数のタップの一例を示す。すな
わち、各タップは、入力ディジタル画像信号の画素に対
する注目点の位置（図３参照）に対応している。また、
注目点Ｐ０が存在する現行ラインと同一フィールド内の
１ライン上（−１Ｈライン）と、現行ラインより空間的
に１ライン上の前フィールドのライン（−２６３Ｈライ
ン）と、現行ラインより空間的に１ライン下の前フィー
ルドのライン（−２６２Ｈライン）とが示されている。
Ｐ０の近傍に位置する複数のタップの一例を示す。すな
わち、各タップは、入力ディジタル画像信号の画素に対
する注目点の位置（図３参照）に対応している。また、
注目点Ｐ０が存在する現行ラインと同一フィールド内の
１ライン上（−１Ｈライン）と、現行ラインより空間的
に１ライン上の前フィールドのライン（−２６３Ｈライ
ン）と、現行ラインより空間的に１ライン下の前フィー
ルドのライン（−２６２Ｈライン）とが示されている。
【００２５】注目点Ｐ０と垂直方向に整列する、−１Ｈ
ライン上のタップＰ１、−２６３Ｈライン上のタップＰ
ａが選択される。タップＰａの左右のタップＰｂが選択
される。タップＰ１より一つのタップを飛ばした左右の
位置のタップＰ３が選択される。注目点のタップＰ０よ
り一つのタップを飛ばした左側のタップＰ２が選択され
る。注目点のタップＰ０の下側の位置に対して左右のタ
ップＰｃが選択される。このように選択されたタップ数
は、全てで１０個存在する。
ライン上のタップＰ１、−２６３Ｈライン上のタップＰ
ａが選択される。タップＰａの左右のタップＰｂが選択
される。タップＰ１より一つのタップを飛ばした左右の
位置のタップＰ３が選択される。注目点のタップＰ０よ
り一つのタップを飛ばした左側のタップＰ２が選択され
る。注目点のタップＰ０の下側の位置に対して左右のタ
ップＰｃが選択される。このように選択されたタップ数
は、全てで１０個存在する。
【００２６】タップ構築回路５２は、図６に示される全
タップの内で、モードに応じて多数決判定に使用するタ
ップを選択することが可能とされている。モードは、入
力ディジタル画像信号の絵柄、動きの程度等に応じてユ
ーザが選択する。図７は、モードの種類と各モードで選
択されるタップを示す。モード０、モード１、モード
２、モード３の４通りのモードと、各モードに関して、
フィールド内処理とフレーム間処理とが設定される。従
って、選択されるタップの組み合わせとしては、全てで
８種類存在する。
タップの内で、モードに応じて多数決判定に使用するタ
ップを選択することが可能とされている。モードは、入
力ディジタル画像信号の絵柄、動きの程度等に応じてユ
ーザが選択する。図７は、モードの種類と各モードで選
択されるタップを示す。モード０、モード１、モード
２、モード３の４通りのモードと、各モードに関して、
フィールド内処理とフレーム間処理とが設定される。従
って、選択されるタップの組み合わせとしては、全てで
８種類存在する。
【００２７】最も単純なモード０では、フィールド内処
理の場合には、注目点のタップＰ０のみが使用され、フ
レーム間処理の場合では、Ｐ０およびＰａのタップが使
用される。最も複雑なモード３では、フィールド内処理
の場合には、Ｐ０、Ｐ１、Ｐ２、Ｐ３の５個のタップが
使用され、フレーム間処理の場合には、Ｐ０、Ｐ１、Ｐ
２、Ｐ３、Ｐｂ、Ｐｃの９個のタップが使用される。
理の場合には、注目点のタップＰ０のみが使用され、フ
レーム間処理の場合では、Ｐ０およびＰａのタップが使
用される。最も複雑なモード３では、フィールド内処理
の場合には、Ｐ０、Ｐ１、Ｐ２、Ｐ３の５個のタップが
使用され、フレーム間処理の場合には、Ｐ０、Ｐ１、Ｐ
２、Ｐ３、Ｐｂ、Ｐｃの９個のタップが使用される。
【００２８】図２に戻って説明すると、タップ構築回路
５２からは、モードに応じて選択されタップの動きクラ
スがクラス毎に出力される。動きクラス３の個数がカウ
ンタ５６によってカウントされ、動きクラス２の個数が
カウンタ５７によってカウントされ、動きクラス１の個
数がカウンタ５８によってカウントされる。カウンタ５
６、５７、５８のそれぞれのカウント値が比較器５９、
６０、６１に供給される。
５２からは、モードに応じて選択されタップの動きクラ
スがクラス毎に出力される。動きクラス３の個数がカウ
ンタ５６によってカウントされ、動きクラス２の個数が
カウンタ５７によってカウントされ、動きクラス１の個
数がカウンタ５８によってカウントされる。カウンタ５
６、５７、５８のそれぞれのカウント値が比較器５９、
６０、６１に供給される。
【００２９】比較器５９は、カウンタ５６によりカウン
トされた動きクラス３の個数をしきい値thr3と比較す
る。比較器６０は、カウンタ５７によりカウントされた
動きクラス２の個数をしきい値thr2と比較する。比較器
６１は、カウンタ５８によりカウントされた動きクラス
１の個数をしきい値thr1と比較する。比較器５９、６
０、６１は、それぞれカウント値がしきい値以上の時
に"1" であり、そうでない時に"0" である比較出力ＣＤ
３、ＣＤ２、ＣＤ１を発生する。比較器５９、６０、６
１のそれぞれの出力ＣＤ３、ＣＤ２、ＣＤ１が動きクラ
スＭＤ決定部６２に供給される。動きクラス決定部６２
は、比較出力ＣＤ３、ＣＤ２、ＣＤ１を受け取って最終
的な動きクラスＭＤを決定する。
トされた動きクラス３の個数をしきい値thr3と比較す
る。比較器６０は、カウンタ５７によりカウントされた
動きクラス２の個数をしきい値thr2と比較する。比較器
６１は、カウンタ５８によりカウントされた動きクラス
１の個数をしきい値thr1と比較する。比較器５９、６
０、６１は、それぞれカウント値がしきい値以上の時
に"1" であり、そうでない時に"0" である比較出力ＣＤ
３、ＣＤ２、ＣＤ１を発生する。比較器５９、６０、６
１のそれぞれの出力ＣＤ３、ＣＤ２、ＣＤ１が動きクラ
スＭＤ決定部６２に供給される。動きクラス決定部６２
は、比較出力ＣＤ３、ＣＤ２、ＣＤ１を受け取って最終
的な動きクラスＭＤを決定する。
【００３０】図８は、動きクラス決定部６２のクラス決
定の論理を示す。ＣＤ３＝"1" の場合では、ＭＤ＝３と
動きクラスが決定される。ＣＤ３＝"0" 、ＣＤ２＝"1"
の場合では、ＭＤ＝２と動きクラスが決定される。ＣＤ
３＝"0" 、ＣＤ２＝"0" 、ＣＤ１＝"1" の場合では、Ｍ
Ｄ＝１と動きクラスが決定される。ＣＤ３＝"0" 、ＣＤ
２＝"0" 、ＣＤ１＝"0" の場合では、ＭＤ＝０と動きク
ラスが決定される。このように決定された２ビットの動
きクラスＭＤが出力される。しきい値thr1、thr2、thr3
は、それぞれ適切に設定された固定値である。
定の論理を示す。ＣＤ３＝"1" の場合では、ＭＤ＝３と
動きクラスが決定される。ＣＤ３＝"0" 、ＣＤ２＝"1"
の場合では、ＭＤ＝２と動きクラスが決定される。ＣＤ
３＝"0" 、ＣＤ２＝"0" 、ＣＤ１＝"1" の場合では、Ｍ
Ｄ＝１と動きクラスが決定される。ＣＤ３＝"0" 、ＣＤ
２＝"0" 、ＣＤ１＝"0" の場合では、ＭＤ＝０と動きク
ラスが決定される。このように決定された２ビットの動
きクラスＭＤが出力される。しきい値thr1、thr2、thr3
は、それぞれ適切に設定された固定値である。
【００３１】ソフトウェアで行う場合の多数決判定の処
理について図９のフローチャートを参照して説明する。
動きクラスＭＪが決定された後に、ステップＳＴ１にお
いて、モードに応じたタップが構築される。ステップＳ
Ｔ２において、各タップの動きクラスを取得する。ステ
ップＳＴ３では、動きクラス３の個数がしきい値thr3以
上か否かが決定される。そうであれば、ステップＳＴ４
において、ＭＤ＝３と動きクラスが決定される。
理について図９のフローチャートを参照して説明する。
動きクラスＭＪが決定された後に、ステップＳＴ１にお
いて、モードに応じたタップが構築される。ステップＳ
Ｔ２において、各タップの動きクラスを取得する。ステ
ップＳＴ３では、動きクラス３の個数がしきい値thr3以
上か否かが決定される。そうであれば、ステップＳＴ４
において、ＭＤ＝３と動きクラスが決定される。
【００３２】動きクラス３の個数がしきい値thr3以上で
ないと、ステップＳＴ５において、動きクラス２の個数
がしきい値thr2以上か否かが決定される。そうであれ
ば、ステップＳＴ６において、ＭＤ＝２と動きクラスが
決定される。ステップＳＴ５の結果が否定であれば、ス
テップＳＴ７において、動きクラス１の個数がしきい値
thr1以上か否かが決定される。そうであれば、ステップ
ＳＴ８において、ＭＤ＝１と動きクラスが決定される。
ステップＳＴ７の結果が否定であれば、ＭＤ＝０と決定
される。以上で処理が終了する。
ないと、ステップＳＴ５において、動きクラス２の個数
がしきい値thr2以上か否かが決定される。そうであれ
ば、ステップＳＴ６において、ＭＤ＝２と動きクラスが
決定される。ステップＳＴ５の結果が否定であれば、ス
テップＳＴ７において、動きクラス１の個数がしきい値
thr1以上か否かが決定される。そうであれば、ステップ
ＳＴ８において、ＭＤ＝１と動きクラスが決定される。
ステップＳＴ７の結果が否定であれば、ＭＤ＝０と決定
される。以上で処理が終了する。
【００３３】上述したこの発明による動き判定装置は、
画像信号変換装置における動きクラスの生成に対して適
用することができる。この画像信号変換装置は、ＳＤ
（Standard Definition ）信号が入力され、ＨＤ（High
Definition ）信号を出力するものである。また、ＨＤ
画素を生成する場合、生成するＨＤ画素の近傍にある、
ＳＤ画素をクラス分割し、それぞれのクラス毎に予測係
数値を学習により獲得することで、より真値に近いＨＤ
画素を得るものである。図１０は、このような手法によ
る画像信号変換装置である。
画像信号変換装置における動きクラスの生成に対して適
用することができる。この画像信号変換装置は、ＳＤ
（Standard Definition ）信号が入力され、ＨＤ（High
Definition ）信号を出力するものである。また、ＨＤ
画素を生成する場合、生成するＨＤ画素の近傍にある、
ＳＤ画素をクラス分割し、それぞれのクラス毎に予測係
数値を学習により獲得することで、より真値に近いＨＤ
画素を得るものである。図１０は、このような手法によ
る画像信号変換装置である。
【００３４】図１０において、入力ＳＤ信号（５２５ｉ
信号）が第１のタップ選択回路１０１、第２のタップ選
択回路１０３および第３のタップ選択回路１０４に供給
される。第１のタップ選択回路１０１は、予測に使用す
るＳＤ画素（予測タップと称する）を選択するものであ
る。第２のタップ選択回路１０３は、生成するＨＤ画素
の近傍のＳＤ画素のレベル分布のパターンに対応するク
ラス分類に使用するＳＤ画素（空間クラスタップと称す
る）を選択するものである。第３のタップ選択回路１０
４は、生成するＨＤ画素の近傍のＳＤ画素に基づいて動
きに対応するクラス分類に使用するＳＤ画素（動きクラ
スタップと称する）を選択するものである。
信号）が第１のタップ選択回路１０１、第２のタップ選
択回路１０３および第３のタップ選択回路１０４に供給
される。第１のタップ選択回路１０１は、予測に使用す
るＳＤ画素（予測タップと称する）を選択するものであ
る。第２のタップ選択回路１０３は、生成するＨＤ画素
の近傍のＳＤ画素のレベル分布のパターンに対応するク
ラス分類に使用するＳＤ画素（空間クラスタップと称す
る）を選択するものである。第３のタップ選択回路１０
４は、生成するＨＤ画素の近傍のＳＤ画素に基づいて動
きに対応するクラス分類に使用するＳＤ画素（動きクラ
スタップと称する）を選択するものである。
【００３５】第１のタップ選択回路１０１により選択さ
れた予測タップが推定予測演算回路１０２に供給され
る。第２のタップ選択回路１０３により選択された空間
クラスタップが空間クラス検出回路１０５に供給され
る。空間クラス検出回路１０５は、空間クラスを検出す
る。検出された空間クラスがクラス合成回路１０７に供
給される。第３のタップ選択回路１０４により選択され
た動きクラスタップが動きクラス検出回路１０６に供給
される。動きクラス検出回路１０６は、動きクラスを検
出する。検出された動きクラスがクラス合成回路１０７
に供給される。クラス合成回路１０７によって、空間ク
ラスおよび動きクラスが統合され、最終的なクラスコー
ドが形成される。
れた予測タップが推定予測演算回路１０２に供給され
る。第２のタップ選択回路１０３により選択された空間
クラスタップが空間クラス検出回路１０５に供給され
る。空間クラス検出回路１０５は、空間クラスを検出す
る。検出された空間クラスがクラス合成回路１０７に供
給される。第３のタップ選択回路１０４により選択され
た動きクラスタップが動きクラス検出回路１０６に供給
される。動きクラス検出回路１０６は、動きクラスを検
出する。検出された動きクラスがクラス合成回路１０７
に供給される。クラス合成回路１０７によって、空間ク
ラスおよび動きクラスが統合され、最終的なクラスコー
ドが形成される。
【００３６】このクラスコードが係数メモリ１０８に対
して、アドレスとして供給され、係数メモリ１０８から
クラスコードに対応する係数データが読出される。係数
データと予測タップとが推定予測演算回路１０２に供給
される。推定予測演算回路１０２では、予測タップ（５
２５ｉ信号の画素）と予測係数との線形推定式を用いて
出力映像信号（５２５ｐ信号）のデータを算出する。推
定予測演算回路１０２は、現存ライン上のデータ（ライ
ンデータＬ１）と、生成ライン上のデータ（ラインデー
タＬ２）を出力する。同時に、推定予測演算回路１０２
は、水平方向で２倍の数の画素を出力する。５２５ｉ信
号は、ライン数が５２５本のインターレス信号を意味
し、５２５ｐ信号は、ライン数が５２５本のプログレッ
シブ（ノンインターレス）信号を意味する。
して、アドレスとして供給され、係数メモリ１０８から
クラスコードに対応する係数データが読出される。係数
データと予測タップとが推定予測演算回路１０２に供給
される。推定予測演算回路１０２では、予測タップ（５
２５ｉ信号の画素）と予測係数との線形推定式を用いて
出力映像信号（５２５ｐ信号）のデータを算出する。推
定予測演算回路１０２は、現存ライン上のデータ（ライ
ンデータＬ１）と、生成ライン上のデータ（ラインデー
タＬ２）を出力する。同時に、推定予測演算回路１０２
は、水平方向で２倍の数の画素を出力する。５２５ｉ信
号は、ライン数が５２５本のインターレス信号を意味
し、５２５ｐ信号は、ライン数が５２５本のプログレッ
シブ（ノンインターレス）信号を意味する。
【００３７】推定予測演算回路１０２からのラインデー
タＬ１、Ｌ２が線順次変換回路１０９に供給される。線
順次変換回路１０９は、ライン倍速の処理を行う。推定
予測演算回路１０２は、５２５ｉ信号から５２５ｐ信号
を生成するので、水平周期は、５２５ｉ信号と同一であ
る。線順次変換回路１０９は、水平周期を２倍とするラ
イン倍速処理を行う。線順次変換回路１０９から５２５
ｐ信号が取り出される。
タＬ１、Ｌ２が線順次変換回路１０９に供給される。線
順次変換回路１０９は、ライン倍速の処理を行う。推定
予測演算回路１０２は、５２５ｉ信号から５２５ｐ信号
を生成するので、水平周期は、５２５ｉ信号と同一であ
る。線順次変換回路１０９は、水平周期を２倍とするラ
イン倍速処理を行う。線順次変換回路１０９から５２５
ｐ信号が取り出される。
【００３８】図１１は、１フィールドの画像の一部を拡
大することによって、５２５ｉ信号と５２５ｐ信号との
画素の配置を示すものである。大きなドットが５２５ｉ
信号の画素であり、小さいドットが出力される５２５ｐ
信号の画素である。この関係は、図１１以外の他の図面
においても同様である。図１１は、あるフレーム（Ｆ）
の奇数（Ｏ）フィールドの画素配置である。他のフィー
ルド（偶数フィールド）では、５２５ｉ信号のラインが
空間的に０．５ラインずれたものとなる。図１１ら分か
るように、５２５ｉ信号のラインと同一位置のラインデ
ータＬ１および５２５ｉ信号の上下のラインの中間位置
のラインデータＬ２を形成し、また、各ラインの水平方
向の画素数を２倍とする。従って、推定予測演算回路１
０２によって、５２５ｐ信号の４画素のデータが同時的
に生成される。
大することによって、５２５ｉ信号と５２５ｐ信号との
画素の配置を示すものである。大きなドットが５２５ｉ
信号の画素であり、小さいドットが出力される５２５ｐ
信号の画素である。この関係は、図１１以外の他の図面
においても同様である。図１１は、あるフレーム（Ｆ）
の奇数（Ｏ）フィールドの画素配置である。他のフィー
ルド（偶数フィールド）では、５２５ｉ信号のラインが
空間的に０．５ラインずれたものとなる。図１１ら分か
るように、５２５ｉ信号のラインと同一位置のラインデ
ータＬ１および５２５ｉ信号の上下のラインの中間位置
のラインデータＬ２を形成し、また、各ラインの水平方
向の画素数を２倍とする。従って、推定予測演算回路１
０２によって、５２５ｐ信号の４画素のデータが同時的
に生成される。
【００３９】図１２は、ライン倍速処理をアナログ波形
を用いて示すものである。推定予測演算回路１０２によ
って、ラインデータＬ１およびＬ２が同時に生成され
る。ラインデータＬ１には、順にａ１，ａ２，ａ３，・
・・のラインが含まれ、ラインデータＬ２には、順にｂ
１，ｂ２，ｂ３，・・・のラインが含まれる。線順次変
換回路１０９は、各ラインのデータを時間軸方向に１／
２に圧縮し、圧縮されたデータをスイッチング回路によ
って交互に選択することによって、線順次出力（ａ０，
ｂ０，ａ１，ｂ１，・・・）を形成する。
を用いて示すものである。推定予測演算回路１０２によ
って、ラインデータＬ１およびＬ２が同時に生成され
る。ラインデータＬ１には、順にａ１，ａ２，ａ３，・
・・のラインが含まれ、ラインデータＬ２には、順にｂ
１，ｂ２，ｂ３，・・・のラインが含まれる。線順次変
換回路１０９は、各ラインのデータを時間軸方向に１／
２に圧縮し、圧縮されたデータをスイッチング回路によ
って交互に選択することによって、線順次出力（ａ０，
ｂ０，ａ１，ｂ１，・・・）を形成する。
【００４０】図示しないが、出力映像信号がＣＲＴディ
スプレイに供給される。ＣＲＴディスプレイは、出力映
像信号（５２５ｐ信号）を表示することが可能なよう
に、その同期系が構成されている。入力映像信号として
は、放送信号、またはＶＴＲ等の再生装置の再生信号が
供給される。すなわち、この一実施形態をテレビジョン
受像機に内蔵することができる。
スプレイに供給される。ＣＲＴディスプレイは、出力映
像信号（５２５ｐ信号）を表示することが可能なよう
に、その同期系が構成されている。入力映像信号として
は、放送信号、またはＶＴＲ等の再生装置の再生信号が
供給される。すなわち、この一実施形態をテレビジョン
受像機に内蔵することができる。
【００４１】図１３は、第２のタップ選択回路１０３に
より選択されるタップ（ＳＤ画素）を示す。図１３は、
時間的に連続するフレームＦ−１の奇数フィールドｏ
（Ｆ−１／ｏと表記する）、Ｆ−１の偶数フィールド
（Ｆ−１／ｅ）、Ｆ／ｏ、Ｆ／ｅのそれぞれの垂直方向
の画素の配列を示す。
より選択されるタップ（ＳＤ画素）を示す。図１３は、
時間的に連続するフレームＦ−１の奇数フィールドｏ
（Ｆ−１／ｏと表記する）、Ｆ−１の偶数フィールド
（Ｆ−１／ｅ）、Ｆ／ｏ、Ｆ／ｅのそれぞれの垂直方向
の画素の配列を示す。
【００４２】図１３に示すように、フィールドＦ／ｏの
ラインデータＬ１およびＬ２を予測する時の空間クラス
タップは、このフィールドＦ／ｏの次のフィールドＦ／
ｅに含まれ、生成すべき５２５ｐ信号の画素と空間的に
近傍位置の入力画素Ｔ１およびＴ２と、フィールドＦ／
ｏに含まれ、生成すべき５２５ｐ信号の画素の近傍の入
力画素Ｔ３，Ｔ４，Ｔ５と、前のフィールドＦ−１／ｅ
の入力画素Ｔ６，Ｔ７である。フィールドＦ／ｅのライ
ンデータＬ１およびＬ２を予測する時も同様にタップが
選択される。なお、ラインデータＬ１の画素を予測する
モード１では、Ｔ７の画素をクラスタップとして選択せ
ず、ラインデータＬ２の画素を予測するモード２では、
Ｔ４の画素をクラスタップとして選択しないようにして
も良い。
ラインデータＬ１およびＬ２を予測する時の空間クラス
タップは、このフィールドＦ／ｏの次のフィールドＦ／
ｅに含まれ、生成すべき５２５ｐ信号の画素と空間的に
近傍位置の入力画素Ｔ１およびＴ２と、フィールドＦ／
ｏに含まれ、生成すべき５２５ｐ信号の画素の近傍の入
力画素Ｔ３，Ｔ４，Ｔ５と、前のフィールドＦ−１／ｅ
の入力画素Ｔ６，Ｔ７である。フィールドＦ／ｅのライ
ンデータＬ１およびＬ２を予測する時も同様にタップが
選択される。なお、ラインデータＬ１の画素を予測する
モード１では、Ｔ７の画素をクラスタップとして選択せ
ず、ラインデータＬ２の画素を予測するモード２では、
Ｔ４の画素をクラスタップとして選択しないようにして
も良い。
【００４３】ここで、前述したこの発明による動き判定
装置は、動きクラス検出回路１０６に対して適用され
る。従って、タップ選択回路１０４により選択されるタ
ップ、すなわち、動きクラスタップは、図３に示すよう
な５０個のＳＤ画素である。そして、前述したように、
最終的な動きクラスＭＤが決定され、これが動きクラス
としてクラス合成回路１０７に供給される。
装置は、動きクラス検出回路１０６に対して適用され
る。従って、タップ選択回路１０４により選択されるタ
ップ、すなわち、動きクラスタップは、図３に示すよう
な５０個のＳＤ画素である。そして、前述したように、
最終的な動きクラスＭＤが決定され、これが動きクラス
としてクラス合成回路１０７に供給される。
【００４４】タップ選択回路１０３で選択された空間ク
ラスタップが空間クラス検出回路１０５に供給される。
空間クラス検出回路１０５は、選択された空間クラスタ
ップのレベル分布のパターンを検出する。この場合、各
画素８ビットのＳＤデータを２ビットのＳＤデータへ圧
縮するような処理を行う。一例として、ＡＤＲＣ（Adap
tive Dynamic Range Coding ）によって、空間クラスタ
ップのＳＤ画素のデータが圧縮される。なお、情報圧縮
手段としては、ＡＤＲＣ以外にＤＰＣＭ（予測符号
化）、ＶＱ（ベクトル量子化）等の圧縮手段を用いても
良い。
ラスタップが空間クラス検出回路１０５に供給される。
空間クラス検出回路１０５は、選択された空間クラスタ
ップのレベル分布のパターンを検出する。この場合、各
画素８ビットのＳＤデータを２ビットのＳＤデータへ圧
縮するような処理を行う。一例として、ＡＤＲＣ（Adap
tive Dynamic Range Coding ）によって、空間クラスタ
ップのＳＤ画素のデータが圧縮される。なお、情報圧縮
手段としては、ＡＤＲＣ以外にＤＰＣＭ（予測符号
化）、ＶＱ（ベクトル量子化）等の圧縮手段を用いても
良い。
【００４５】本来、ＡＤＲＣは、ＶＴＲ（Video Tape R
ecoder）向け高能率符号化用に開発された適応的再量子
化法であるが、信号レベルの局所的なパターンを短い語
長で効率的に表現できるので、ＡＤＲＣを空間クラス分
類のコード発生に使用している。ＡＤＲＣは、空間クラ
スタップのダイナミックレンジをＤＲ、ビット割当を
ｎ、空間クラスタップの画素のデータレベルをＬ、再量
子化コードをＱとして、以下の式（１）により、最大値
ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均
等に分割して再量子化を行う。
ecoder）向け高能率符号化用に開発された適応的再量子
化法であるが、信号レベルの局所的なパターンを短い語
長で効率的に表現できるので、ＡＤＲＣを空間クラス分
類のコード発生に使用している。ＡＤＲＣは、空間クラ
スタップのダイナミックレンジをＤＲ、ビット割当を
ｎ、空間クラスタップの画素のデータレベルをＬ、再量
子化コードをＱとして、以下の式（１）により、最大値
ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均
等に分割して再量子化を行う。
【００４６】 ＤＲ＝ＭＡＸ−ＭＩＮ＋１ Ｑ＝｛（Ｌ−ＭＩＮ＋０．５）×２／ＤＲ｝ （１） ただし、｛ ｝は切り捨て処理を意味する。
【００４７】予測係数メモリ１０８には、５２５ｉ信号
のパターンと５２５ｐ信号の関係を学習することによ
り、取得された予測係数が各クラス毎に記憶されてい
る。予測係数は、線形推定式により５２５ｉ信号を５２
５ｐ信号へ変換するための情報である。なお、予測係数
の取得方法については後述する。
のパターンと５２５ｐ信号の関係を学習することによ
り、取得された予測係数が各クラス毎に記憶されてい
る。予測係数は、線形推定式により５２５ｉ信号を５２
５ｐ信号へ変換するための情報である。なお、予測係数
の取得方法については後述する。
【００４８】予測係数メモリ１０８のクラスに対応した
アドレスから、そのクラスの予測係数が読出される。こ
の予測係数は、推定予測演算回路１０２に供給される。
推定予測演算回路１０２は、タップ選択回路１０１から
の予測タップ（画素値）Ｔ１，Ｔ２，・・・Ｔｉと、予
測係数ｗ1 ，ｗ2 ，・・・ｗｉとの線形１次結合式（式
（２））の演算を行うことにより、ラインデータＬ１、
Ｌ２を算出する。但し、ラインデータＬ１およびＬ２と
の間では、使用する予測係数が相違する。
アドレスから、そのクラスの予測係数が読出される。こ
の予測係数は、推定予測演算回路１０２に供給される。
推定予測演算回路１０２は、タップ選択回路１０１から
の予測タップ（画素値）Ｔ１，Ｔ２，・・・Ｔｉと、予
測係数ｗ1 ，ｗ2 ，・・・ｗｉとの線形１次結合式（式
（２））の演算を行うことにより、ラインデータＬ１、
Ｌ２を算出する。但し、ラインデータＬ１およびＬ２と
の間では、使用する予測係数が相違する。
【００４９】 Ｌ１＝ｗ1 Ｔ１＋ｗ2 Ｔ２＋・・・・＋ｗｉＴｉ （２） このように、予測係数が各クラス毎に予め学習により求
められた上で、予測係数メモリ１０８に記憶しておき、
入力される予測タップおよび読出された予測係数に基づ
いて演算が行われ、入力されたデータに対応する出力デ
ータを形成して出力することにより、入力データを単に
補間処理したのとは異なり、高画質のプログレッシブ方
式の映像信号を出力することができる。
められた上で、予測係数メモリ１０８に記憶しておき、
入力される予測タップおよび読出された予測係数に基づ
いて演算が行われ、入力されたデータに対応する出力デ
ータを形成して出力することにより、入力データを単に
補間処理したのとは異なり、高画質のプログレッシブ方
式の映像信号を出力することができる。
【００５０】次に、係数メモリ１０８に格納される係数
データの作成方法（学習）について図１４を用いて説明
する。係数データを学習によって得るためには、まず、
既に知られているＨＤ画像（５２５ｐ信号）に対応し、
ＨＤ画像の１／４の画素数のＳＤ画像を２次元間引きフ
ィルタ１２０によって形成する。例えばＨＤデータの垂
直方向の画素を垂直間引きフィルタによりフィールド内
の垂直方向の周波数が１／２になるように間引き処理
し、さらに水平間引きフィルタにより、ＨＤデータの水
平方向の画素を間引き処理することにより、ＳＤデータ
を得る。
データの作成方法（学習）について図１４を用いて説明
する。係数データを学習によって得るためには、まず、
既に知られているＨＤ画像（５２５ｐ信号）に対応し、
ＨＤ画像の１／４の画素数のＳＤ画像を２次元間引きフ
ィルタ１２０によって形成する。例えばＨＤデータの垂
直方向の画素を垂直間引きフィルタによりフィールド内
の垂直方向の周波数が１／２になるように間引き処理
し、さらに水平間引きフィルタにより、ＨＤデータの水
平方向の画素を間引き処理することにより、ＳＤデータ
を得る。
【００５１】２次元間引きフィルタ１２０からのＳＤ信
号がタップ選択回路１２１、タップ選択回路１２２およ
びタップ選択回路１２３にそれぞれ供給される。これら
のタップ選択回路は、図１０に示す信号変換装置におけ
るタップ選択回路１０１、１０３、１０４と同様に、予
測タップ、空間クラスタップ、動きクラスタップを選択
する。タップ選択回路１２１からの予測タップが正規方
程式加算回路１２７に供給される。タップ選択回路１２
２からの空間クラスタップが空間クラス検出回路１２４
に供給される。タップ選択回路１２３からの動きクラス
タップが動きクラス検出回路１２５に供給される。
号がタップ選択回路１２１、タップ選択回路１２２およ
びタップ選択回路１２３にそれぞれ供給される。これら
のタップ選択回路は、図１０に示す信号変換装置におけ
るタップ選択回路１０１、１０３、１０４と同様に、予
測タップ、空間クラスタップ、動きクラスタップを選択
する。タップ選択回路１２１からの予測タップが正規方
程式加算回路１２７に供給される。タップ選択回路１２
２からの空間クラスタップが空間クラス検出回路１２４
に供給される。タップ選択回路１２３からの動きクラス
タップが動きクラス検出回路１２５に供給される。
【００５２】信号変換装置における空間クラス検出回路
１０５と同様に、空間クラス検出回路１２４は、空間ク
ラスタップのデータをＡＤＲＣにより圧縮し、空間クラ
スコードを発生する。また、動きクラス検出回路１２５
は、信号変換装置における動きクラス検出回路１０６と
同様に、動きクラスタップから動きクラスコードを発生
する。空間クラスコードと動きクラスコードとがクラス
合成回路１２６によって合成され、最終的なクラスが形
成される。クラス合成回路１２６からのクラスコードが
正規方程式加算回路１２７へ供給される。
１０５と同様に、空間クラス検出回路１２４は、空間ク
ラスタップのデータをＡＤＲＣにより圧縮し、空間クラ
スコードを発生する。また、動きクラス検出回路１２５
は、信号変換装置における動きクラス検出回路１０６と
同様に、動きクラスタップから動きクラスコードを発生
する。空間クラスコードと動きクラスコードとがクラス
合成回路１２６によって合成され、最終的なクラスが形
成される。クラス合成回路１２６からのクラスコードが
正規方程式加算回路１２７へ供給される。
【００５３】ここで、正規方程式加算回路１２７の説明
のために、複数個のＳＤ画素からＨＤ画素への変換式の
学習とその予測式を用いた信号変換について述べる。以
下に、説明のために学習をより一般化してｎ画素による
予測を行う場合について説明する。予測タップとして選
択されるＳＤ画素のレベルをそれぞれｘ1 、‥‥、ｘn
とし、ＨＤ画素レベルをｙとしたとき、クラス毎に係数
データｗ1 、‥‥、ｗn によるｎタップの線形推定式を
設定する。これを下記の式（３）に示す。学習前は、ｗ
i が未定係数である。
のために、複数個のＳＤ画素からＨＤ画素への変換式の
学習とその予測式を用いた信号変換について述べる。以
下に、説明のために学習をより一般化してｎ画素による
予測を行う場合について説明する。予測タップとして選
択されるＳＤ画素のレベルをそれぞれｘ1 、‥‥、ｘn
とし、ＨＤ画素レベルをｙとしたとき、クラス毎に係数
データｗ1 、‥‥、ｗn によるｎタップの線形推定式を
設定する。これを下記の式（３）に示す。学習前は、ｗ
i が未定係数である。
【００５４】 ｙ＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋‥‥＋ｗn ｘn （３） 学習は、クラス毎に複数の信号データに対して行う。デ
ータ数がｍの場合、式（３）にしたがって、以下に示す
式（４）が設定される。
ータ数がｍの場合、式（３）にしたがって、以下に示す
式（４）が設定される。
【００５５】 ｙk ＝ｗ1 ｘk1＋ｗ2 ｘk2＋‥‥＋ｗn ｘkn （４） （ｋ＝１，２，‥‥ｍ） ｍ＞ｎの場合、予測係数ｗi 、‥‥ｗn は、一意に決ま
らないので、誤差ベクトルｅの要素を以下の式（５）で
定義して、式（６）を最小にする予測係数を求める。い
わゆる、最小自乗法による解法である。
らないので、誤差ベクトルｅの要素を以下の式（５）で
定義して、式（６）を最小にする予測係数を求める。い
わゆる、最小自乗法による解法である。
【００５６】 ｅk ＝ｙk −｛ｗ1 ｘk1＋ｗ2 ｘk2＋‥‥＋ｗn ｘkn｝ （５） （ｋ＝１，２，‥‥ｍ）
【００５７】
【数１】
【００５８】ここで、式（６）のｗi による偏微分係数
を求める。それは以下の式（７）を`０' にするよう
に、各係数ｗi を求めればよい。
を求める。それは以下の式（７）を`０' にするよう
に、各係数ｗi を求めればよい。
【００５９】
【数２】
【００６０】以下、式（８）、（９）のようにＸij、Ｙ
i を定義すると、式（７）は、行列を用いて式（１０）
へ書き換えられる。
i を定義すると、式（７）は、行列を用いて式（１０）
へ書き換えられる。
【００６１】
【数３】
【００６２】
【数４】
【００６３】
【数５】
【００６４】この方程式は、一般に正規方程式と呼ばれ
ている。図１４中の正規方程式加算回路１２７は、クラ
ス合成回路１２６から供給されたクラス情報と、タップ
選択回路１２１から供給された予測タップと、生成しよ
うとするプログレッシブ画像の画素（教師信号）を用い
て、この正規方程式の加算を行う。
ている。図１４中の正規方程式加算回路１２７は、クラ
ス合成回路１２６から供給されたクラス情報と、タップ
選択回路１２１から供給された予測タップと、生成しよ
うとするプログレッシブ画像の画素（教師信号）を用い
て、この正規方程式の加算を行う。
【００６５】学習に充分なフレーム数のデータの入力が
終了した後、正規方程式加算回路１２７は、予測係数決
定部１２８に正規方程式データを出力する。予測係数決
定部１２８は、正規方程式を掃き出し法等の一般的な行
列解法を用いて、ｗi について解き、予測係数を算出す
る。予測係数決定部１２８は、算出された予測係数を予
測係数メモリ１２９に書込む。
終了した後、正規方程式加算回路１２７は、予測係数決
定部１２８に正規方程式データを出力する。予測係数決
定部１２８は、正規方程式を掃き出し法等の一般的な行
列解法を用いて、ｗi について解き、予測係数を算出す
る。予測係数決定部１２８は、算出された予測係数を予
測係数メモリ１２９に書込む。
【００６６】以上のように学習を行った結果、予測係数
メモリ１２９には、クラス毎に、プログレッシブ画像の
注目画素ｙを推定するための、統計的にもっとも真値に
近い推定ができる予測係数が格納される。予測係数メモ
リ１２９に格納された予測係数は、上述の画像情報変換
装置において、予測係数メモリ１０８にロードされる。
メモリ１２９には、クラス毎に、プログレッシブ画像の
注目画素ｙを推定するための、統計的にもっとも真値に
近い推定ができる予測係数が格納される。予測係数メモ
リ１２９に格納された予測係数は、上述の画像情報変換
装置において、予測係数メモリ１０８にロードされる。
【００６７】以上の処理により、線形推定式により、イ
ンターレス画像のデータからプログレッシブ画像のデー
タを生成するための予測係数の学習が終了する。
ンターレス画像のデータからプログレッシブ画像のデー
タを生成するための予測係数の学習が終了する。
【００６８】なお、５２５本のライン数は、一例であっ
て、他の走査線構造の出力画像信号を生成する場合に対
してもこの発明を適用できる。例えば図１５に示すよう
に、５２５ｉ信号を１０５０ｉ（ライン数１０５０本の
インターレス）信号へ変換する場合に対しても同様にこ
の発明を適用できる。
て、他の走査線構造の出力画像信号を生成する場合に対
してもこの発明を適用できる。例えば図１５に示すよう
に、５２５ｉ信号を１０５０ｉ（ライン数１０５０本の
インターレス）信号へ変換する場合に対しても同様にこ
の発明を適用できる。
【００６９】
【発明の効果】この発明は、フレーム間差分のみではな
く、空間アクティビティを反映した動き判定を行うの
で、動き判定を正確に行うことができる。例えばフレー
ム間差分が大きい場合であっても、フィールド内のアク
ティビティが大きいことから、静止画に近い場合を検出
したり、フレーム間差分が小さくも、アクティビティが
無い時に動画に近い情報を検出できる。また、単なる動
きと静止の２段階判定ではなく、３段階以上に動きの程
度を判定するので、動き判定に基づいて画像処理を行っ
た時に、処理後の画像が不自然になることを防止するこ
とができる。
く、空間アクティビティを反映した動き判定を行うの
で、動き判定を正確に行うことができる。例えばフレー
ム間差分が大きい場合であっても、フィールド内のアク
ティビティが大きいことから、静止画に近い場合を検出
したり、フレーム間差分が小さくも、アクティビティが
無い時に動画に近い情報を検出できる。また、単なる動
きと静止の２段階判定ではなく、３段階以上に動きの程
度を判定するので、動き判定に基づいて画像処理を行っ
た時に、処理後の画像が不自然になることを防止するこ
とができる。
【００７０】また、この発明による画像情報変換装置で
は、入力映像信号の複数画素に基づいてクラスを検出
し、各クラスで最適となる推定予測式を用いて画素値を
生成するので、従来の画像情報変換装置と比較して、静
止画、動画とも高画質とすることができる。さらに、動
きの情報をクラスの情報に取り込むので、静止画／動画
の検出と、検出による切り替えが不要とでき、切り替え
時に画質の相違が目立つことを防止でき、また、動き検
出の誤りによる劣化を大幅に少なくできる。
は、入力映像信号の複数画素に基づいてクラスを検出
し、各クラスで最適となる推定予測式を用いて画素値を
生成するので、従来の画像情報変換装置と比較して、静
止画、動画とも高画質とすることができる。さらに、動
きの情報をクラスの情報に取り込むので、静止画／動画
の検出と、検出による切り替えが不要とでき、切り替え
時に画質の相違が目立つことを防止でき、また、動き検
出の誤りによる劣化を大幅に少なくできる。
【図１】この発明による動き判定装置の一実施形態の一
部ブロック図である。
部ブロック図である。
【図２】この発明による動き判定装置の他の実施形態の
一部ブロック図である。
一部ブロック図である。
【図３】この発明の一実施形態において動き判定に使用
するタップを示す略線図である。
するタップを示す略線図である。
【図４】この発明の一実施形態における動きクラスＭＪ
を決定する論理を示す略線図である。
を決定する論理を示す略線図である。
【図５】この発明の一実施形態におけるしきい値を説明
するための略線図である。
するための略線図である。
【図６】この発明の一実施形態における動きクラスの多
数決判定処理に使用するタップを示す略線図である。
数決判定処理に使用するタップを示す略線図である。
【図７】この発明の一実施形態における動きクラスの多
数決判定処理のモードを示す略線図である。
数決判定処理のモードを示す略線図である。
【図８】この発明の一実施形態における動きクラスＭＤ
を決定する論理を示す略線図である。
を決定する論理を示す略線図である。
【図９】この発明の一実施形態における動きクラスの多
数決判定処理の流れを示すフローチャートである。
数決判定処理の流れを示すフローチャートである。
【図１０】この発明を適用できる画像情報変換装置の一
例のブロック図である。
例のブロック図である。
【図１１】ＳＤ画素と５２５ｐの画素の位置関係を説明
するための略線図である。
するための略線図である。
【図１２】線順次変換動作を説明するための波形図であ
る。
る。
【図１３】ＳＤ画素および５２５ｐの画素の位置関係
と、空間クラスタップの一例を示す略線図である。
と、空間クラスタップの一例を示す略線図である。
【図１４】係数データを取得するための構成の一例を示
すブロック図である。
すブロック図である。
【図１５】ＳＤ画素と１０５０ｉの画素の位置関係を説
明するための略線図である。
明するための略線図である。
３・・・ダイナミックレンジ検出回路、４・・・フレー
ム間差分検出回路、５・・・空間勾配検出回路、６，
７，８，９・・・比較器、１１・・・動きクラス決定
部、１０１、１０２、１０４・・・タップ選択回路、１
０８・・・係数メモリ、１０９・・・線順次変換回路
ム間差分検出回路、５・・・空間勾配検出回路、６，
７，８，９・・・比較器、１１・・・動きクラス決定
部、１０１、１０２、１０４・・・タップ選択回路、１
０８・・・係数メモリ、１０９・・・線順次変換回路
───────────────────────────────────────────────────── フロントページの続き (72)発明者 内田 真史 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 朝倉 伸幸 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 守村 卓夫 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 安藤 一隆 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 中屋 秀雄 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 渡辺 勉 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 井上 賢 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 新妻 渉 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5C059 KK00 LA06 LA07 MA01 MA05 MA28 MC11 MC18 NN24 NN29 PP26 SS03 SS11 TC00 TC02 TC10 TC42 TD02 TD06 TD12 TD13 UA33 5C063 BA04 BA06 BA08 BA12 CA07 5L096 AA06 BA20 DA05 EA33 GA08 GA19 GA28 GA51 HA02 MA03
Claims (9)
- 【請求項１】 入力画像信号の部分画像に関して動きを
検出する動き判定装置において、 部分画像に関するフレーム間差分を検出する第１の検出
手段と、 上記部分画像に関する空間アクティビティを検出する第
２の検出手段と、 第１、第２および第３のしきい値をそれぞれ発生するし
きい値発生手段と、 上記第１の検出手段により検出されたフレーム間差分を
少なくとも上記第１および第２のしきい値とそれぞれ比
較する第１および第２の比較手段と、 上記第２の検出手段により検出された空間アクティビテ
ィを上記第３のしきい値と比較する第３の比較手段と、 上記第１、第２および第３の比較手段の比較結果が供給
され、上記部分画像の動きの程度を少なくとも３段階で
示す動きクラスを決定する手段とからなることを特徴と
する動き判定装置。 - 【請求項２】 請求項１において、 上記動きクラスを決定する手段は、 上記フレーム間差分が上記第１のしきい値より大きく、
且つ上記空間アクティビティが上記第３のしきい値より
大き時に、動きクラスを第１の動きクラスに決定し、 上記第１のクラスではなく、上記フレーム間差分が上記
第２のしきい値より大きい時に、動きクラスを第２の動
きクラスに決定し、 上記第１および第２のクラスではない時に、動きクラス
を第３の動きクラスに決定することを特徴とする動き判
定装置。 - 【請求項３】 請求項１において、 上記しきい値発生手段は、空間アクティビティによって
適応的に変化する第１、第２および第３のしきい値を発
生することを特徴とする動き判定装置。 - 【請求項４】 請求項１において、 上記動きクラスを決定する手段により決定された動きク
ラスに対して多数決判定の処理を行うようにしたことを
特徴とする動き判定装置。 - 【請求項５】 入力画像信号の部分画像に関して動きを
検出する動き判定方法において、 部分画像に関するフレーム間差分を検出する第１の検出
のステップと、 上記部分画像に関する空間アクティビティを検出する第
２の検出のステップと、 第１、第２および第３のしきい値をそれぞれ発生するス
テップと、 上記第１の検出ステップにより検出されたフレーム間差
分を少なくとも上記第１および第２のしきい値とそれぞ
れ比較するステップと、 上記第２の検出ステップにより検出された空間アクティ
ビティを上記第３のしきい値と比較するステップと、 上記比較により得られた比較結果が供給され、上記部分
画像の動きの程度を少なくとも３段階で示す動きクラス
を決定するステップとからなることを特徴とする動き判
定方法。 - 【請求項６】 入力画像信号から走査線構造の異なる複
数の出力画像信号を形成するようにした画像情報変換装
置において、 出力画像信号の生成すべき画素の周辺に位置する入力画
像信号の複数の第１の画素を選択する第１のデータ選択
手段と、 出力画像信号の生成すべき画素の周辺に位置する入力画
像信号の複数の第２の画素を選択する第２のデータ選択
手段と、 出力画像信号の生成すべき画素の周辺に位置する入力画
像信号の複数の第３の画素を選択する第３のデータ選択
手段と、 予め取得されている推定式係数を記憶するメモリ手段
と、 上記第１のデータ選択手段で選択された複数の第１の画
素と上記推定式係数の線形推定式によって、出力画像信
号の画素を生成する信号生成手段と、 上記第２のデータ選択手段で選択された複数の第２の画
素に基づいて、空間クラスを形成し、上記第３のデータ
選択手段で選択された複数の第３の画素に基づいて、動
きクラスを形成し、上記空間クラスと上記動きクラスと
を統合したクラス情報に対応して上記推定式係数を上記
信号生成手段に供給するクラス決定手段と、 上記信号生成手段に対して接続され、変換画像を指定さ
れた走査線構造へ変換するための走査変換手段とを有
し、 上記動きクラスを形成するための動き判定部は、 上記複数の第３の画素からなる部分画像に関するフレー
ム間差分を検出する第１の検出手段と、 上記部分画像に関する空間アクティビティを検出する第
２の検出手段と、 第１、第２および第３のしきい値をそれぞれ発生するし
きい値発生手段と、 上記第１の検出手段により検出されたフレーム間差分を
少なくとも上記第１および第２のしきい値とそれぞれ比
較する第１および第２の比較手段と、 上記第２の検出手段により検出された空間アクティビテ
ィを上記第３のしきい値と比較する第３の比較手段と、 上記第１、第２および第３の比較手段の比較結果が供給
され、上記部分画像の動きの程度を少なくとも３段階で
示す動きクラスを決定する手段とからなることを特徴と
する画像情報変換装置。 - 【請求項７】 請求項６において、 インターレス方式入力画像信号からプログレッシブ方式
出力画像信号を形成するようにしたことを特徴とする画
像情報変換装置。 - 【請求項８】 請求項６において、 さらに、水平方向に上記入力画像信号の２倍の画素数の
出力画像信号を生成することを特徴とする画像情報変換
装置。 - 【請求項９】 請求項６において、 上記予測係数は、上記線形推定式によって、出力画像信
号の画素を生成した時に、生成された値と上記画素の真
値との誤差を最小とするように、上記クラス情報毎に予
め学習によって求めることを特徴とする画像情報変換装
置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22822198A JP4193233B2 (ja) | 1998-08-12 | 1998-08-12 | 動き判定装置、その方法および画像情報変換装置 |
| US09/371,356 US6201833B1 (en) | 1998-08-12 | 1999-08-10 | Motion determining apparatus, method thereof, and picture information converting apparatus |
| KR19990033122A KR100633715B1 (ko) | 1998-08-12 | 1999-08-12 | 움직임 판정 장치, 그 방법, 및 화상 정보 변환 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22822198A JP4193233B2 (ja) | 1998-08-12 | 1998-08-12 | 動き判定装置、その方法および画像情報変換装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2000059740A true JP2000059740A (ja) | 2000-02-25 |
| JP2000059740A5 JP2000059740A5 (ja) | 2005-09-08 |
| JP4193233B2 JP4193233B2 (ja) | 2008-12-10 |
Family
ID=16873081
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22822198A Expired - Fee Related JP4193233B2 (ja) | 1998-08-12 | 1998-08-12 | 動き判定装置、その方法および画像情報変換装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6201833B1 (ja) |
| JP (1) | JP4193233B2 (ja) |
| KR (1) | KR100633715B1 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1294724C (zh) * | 2003-09-19 | 2007-01-10 | 北京航星网讯技术开发有限公司 | 被监测对象“动变静”图像传输报警装置 |
| US7627198B2 (en) | 2003-05-29 | 2009-12-01 | Sony Corporation | Information signal processing device and processing method, codebook generating device and generating method, and program for executing the methods |
| US7684635B2 (en) | 2003-06-27 | 2010-03-23 | Sony Corporation | Signal processing device, and signal processing method, and program, and recording medium |
| US7821572B2 (en) | 2003-06-06 | 2010-10-26 | Sony Corporation | Apparatus and method for processing information signal, apparatus and method for producing coefficient, apparatus and method for producing lookup table, program for performing each method, and medium recording each program |
| US7844136B2 (en) | 2003-05-29 | 2010-11-30 | Sony Corporation | Apparatus and method for generating coefficients, apparatus and method for generating class configuration, informational signal processing apparatus, and programs for performing these methods |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4168490B2 (ja) * | 1998-09-03 | 2008-10-22 | ソニー株式会社 | 動き判定装置、その方法および画像情報変換装置 |
| US6987866B2 (en) * | 2001-06-05 | 2006-01-17 | Micron Technology, Inc. | Multi-modal motion estimation for video sequences |
| FR2851397B1 (fr) * | 2003-02-14 | 2005-05-13 | Canon Europa Nv | Procede et dispositif d'analyse de sequences video dans un reseau de communication |
| CN107923745B (zh) * | 2015-08-26 | 2021-07-23 | 住友建机株式会社 | 挖土机的测量装置 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4651211A (en) * | 1986-01-17 | 1987-03-17 | Rca Corporation | Video signal motion detecting apparatus |
| JPH082106B2 (ja) * | 1986-11-10 | 1996-01-10 | 国際電信電話株式会社 | 動画像信号のハイブリツド符号化方式 |
| JP2830111B2 (ja) | 1989-07-21 | 1998-12-02 | ソニー株式会社 | 高能率符号化装置 |
| IT1241184B (it) * | 1990-03-02 | 1993-12-29 | Cselt Centro Studi Lab Telecom | Perfezionamenti ai sistemi ibridi di codifica di segnali video. |
| US5497203A (en) * | 1991-10-30 | 1996-03-05 | Mitsubishi Denki Kabushiki Kaisha | Motion detection circuit for high definition television based on muse |
| JPH05344493A (ja) * | 1992-06-10 | 1993-12-24 | Victor Co Of Japan Ltd | 動画像符号化装置 |
| JP2591441B2 (ja) * | 1993-09-28 | 1997-03-19 | 日本電気株式会社 | 動画像信号の動ベクトル検出装置 |
| US5903481A (en) | 1994-09-09 | 1999-05-11 | Sony Corporation | Integrated circuit for processing digital signal |
-
1998
- 1998-08-12 JP JP22822198A patent/JP4193233B2/ja not_active Expired - Fee Related
-
1999
- 1999-08-10 US US09/371,356 patent/US6201833B1/en not_active Expired - Lifetime
- 1999-08-12 KR KR19990033122A patent/KR100633715B1/ko not_active Expired - Fee Related
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7627198B2 (en) | 2003-05-29 | 2009-12-01 | Sony Corporation | Information signal processing device and processing method, codebook generating device and generating method, and program for executing the methods |
| US7844136B2 (en) | 2003-05-29 | 2010-11-30 | Sony Corporation | Apparatus and method for generating coefficients, apparatus and method for generating class configuration, informational signal processing apparatus, and programs for performing these methods |
| US7821572B2 (en) | 2003-06-06 | 2010-10-26 | Sony Corporation | Apparatus and method for processing information signal, apparatus and method for producing coefficient, apparatus and method for producing lookup table, program for performing each method, and medium recording each program |
| US7684635B2 (en) | 2003-06-27 | 2010-03-23 | Sony Corporation | Signal processing device, and signal processing method, and program, and recording medium |
| CN1294724C (zh) * | 2003-09-19 | 2007-01-10 | 北京航星网讯技术开发有限公司 | 被监测对象“动变静”图像传输报警装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4193233B2 (ja) | 2008-12-10 |
| KR100633715B1 (ko) | 2006-10-13 |
| US6201833B1 (en) | 2001-03-13 |
| KR20000017281A (ko) | 2000-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100638500B1 (ko) | 정보 신호 처리 장치, 화상 정보 변환 장치, 및 화상 디스플레이 장치 | |
| JP4147632B2 (ja) | 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 | |
| JP4193233B2 (ja) | 動き判定装置、その方法および画像情報変換装置 | |
| JP4168490B2 (ja) | 動き判定装置、その方法および画像情報変換装置 | |
| JP4131048B2 (ja) | 画像情報変換装置、変換方法および画像表示装置 | |
| JP3946781B2 (ja) | 画像情報変換装置及び方法 | |
| JP4140091B2 (ja) | 画像情報変換装置および画像情報変換方法 | |
| JP4470324B2 (ja) | 画像信号変換装置および方法 | |
| JP2000083225A (ja) | 予測演算装置および画像情報変換装置 | |
| JP4078719B2 (ja) | 画像情報変換装置、変換方法および画像表示装置 | |
| JP3480011B2 (ja) | 画像情報変換装置 | |
| JP3480015B2 (ja) | 画像データの生成装置および生成方法 | |
| JP4305688B2 (ja) | 画像処理装置および方法、並びに記録媒体 | |
| JP4310847B2 (ja) | 画像情報変換装置および変換方法 | |
| JP4123587B2 (ja) | 画像情報処理装置および方法 | |
| JP3800638B2 (ja) | 画像情報変換装置および方法 | |
| JP4174891B2 (ja) | 画像情報変換装置および方法 | |
| JPWO2000067480A1 (ja) | 画像信号変換装置および方法 | |
| JP4042121B2 (ja) | 画像情報処理装置及び画像情報処理方法 | |
| JP2000092454A (ja) | 画像情報変換装置および画像情報変換方法 | |
| JP4193236B2 (ja) | 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 | |
| JP2000134586A (ja) | 画像情報変換装置および画像表示装置 | |
| JP2000059738A (ja) | 画像データ変換装置及び画像データ変換方法 | |
| JP2000083223A (ja) | 画像情報変換装置および画像情報変換方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050310 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050310 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070918 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071109 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080902 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080915 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111003 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121003 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131003 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |