JP4038881B2

JP4038881B2 - Image signal conversion apparatus and conversion method, and coefficient data generation apparatus and generation method used therefor

Info

Publication number: JP4038881B2
Application number: JP15444698A
Authority: JP
Inventors: 哲二郎近藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-06-03
Filing date: 1998-06-03
Publication date: 2008-01-30
Anticipated expiration: 2018-06-03
Also published as: JPH11355731A

Description

【０００１】
【発明の属する技術分野】
この発明は、例えばＮＴＳＣ方式のビデオ信号をハイビジョンのビデオ信号に変換する画像信号の変換装置および変換方法、並びにそれに使用される係数データの生成装置および生成方法に関する。詳しくは、線形推定式を使用して第１の画像信号をこの第１の画像信号と同じあるいはそれより多い画素数の第２の画像信号に変換する際に、第１の画像信号のエラー状態に応じた係数データを選択的に使用可能とすることによって、変換処理を適切に行い得るようにした画像信号変換装置等に係るものである。
【０００２】
【従来の技術】
近年、オーディオ・ビジュアル指向の高まりから、より高解像度の画像を得ることができるようなテレビ受信機の開発が望まれ、この要望に応えて、いわゆるハイビジョンが開発された。ハイビジョンの走査線数は、ＮＴＳＣ方式の走査線数が５２５本であるのに対して、２倍以上の１１２５本である。また、ハイビジョンの縦横比は、ＮＴＳＣ方式の縦横比が３：４であるのに対して、９：１６となっている。このため、ハイビジョンでは、ＮＴＳＣ方式に比べて、高解像度で臨場感のある画像を表示することができる。
【０００３】
ハイビジョンはこのように優れた特性を有するが、ＮＴＳＣ方式のビデオ信号をそのまま供給しても、ハイビジョン方式による画像表示を行うことはできない。これは、上述のようにＮＴＳＣ方式とハイビジョンとでは規格が異なるからである。
【０００４】
そこで、ＮＴＳＣ方式のビデオ信号に応じた画像をハイビジョン方式で表示するため、本出願人は、先に、ＮＴＳＣ方式のビデオ信号をハイビジョンのビデオ信号に変換するための変換装置を提案した（特願平６−２０５９３４号参照）。この変換装置では、ハイビジョンのビデオ信号を構成する各画素の信号を、ＮＴＳＣ方式の所定領域の画素の信号と係数データ（予測係数値）とから線形推定式を用いて得るようになっている。ここで、係数データは、予め学習により獲得され、ＲＯＭ（read only memory）等の係数データ記憶手段に記憶されている。
【０００５】
【発明が解決しようとする課題】
上述した変換装置においては、係数データ記憶手段に記憶されている係数データは１種類のみである。そのため、ＮＴＳＣ方式のビデオ信号のエラー状態によっては、係数データ記憶手段に記憶されている係数データが適当でなく、適切な変換処理を行えないという問題があった。
【０００６】
そこで、この発明では、変換処理を適切に行い得るようにした画像信号変換装置等を提供することを目的とする。
【０００７】
【課題を解決するための手段】
この発明に係る画像信号変換装置は、第１の画像信号を、この第１の画像信号と同じあるいはそれより多い画素数の第２の画像信号に変換するようにした画像信号変換装置において、上記第２の画像信号を構成すると共に推定対象の画素である注目画素に対して、上記第１の画像信号から該注目画素周辺に位置する第１の領域の画素の信号を切り出す第１の画素切り出し手段と、上記第１の画素切り出し手段により切り出された上記第１の領域の画素の信号のレベル分布パターンを検出し、このパターンに基づいて注目画素の信号が属するクラスを決定してクラス情報を出力するクラス決定手段と、それぞれ上記クラス情報で示される各クラスに対応して、上記注目画素を推定するための線形推定式の演算に用いられる係数データを記憶すると共に、それぞれ上記第１の画像信号の異なるエラー状態に対応した、上記線形推定式の係数データを記憶する複数の係数データ記憶部を持つ係数データ記憶手段と、上記第１の画像信号の複数画素における画素値の相関を見ることにより、少なくともノイズによる画素のエラー状態を検出するエラー検出手段と、上記エラー検出手段で検出されるエラー状態に基づいて上記複数の係数データ記憶部より選択された一の係数データ記憶部から、上記クラス決定手段より出力される上記クラス情報に対応した係数データを読み出して出力する係数データ出力手段と、上記第１の画像信号から上記注目画素周辺に位置する第２の領域の画素の信号を切り出す第２の画素切り出し手段と、上記係数データ出力手段より出力された上記係数データと、上記第２の画素切り出し手段により切り出された上記第２の領域の画素の信号とを用いて上記線形推定式により積和演算し、当該演算結果を上記注目画素の値として出力する画像信号出力手段とを備えるものである。第１および第２の画素切り出し手段が共通に構成され、従って第１および第２の領域が同じであってもよい。
【０００８】
推定対象の画素である注目画素に対応して第１の画像信号から該注目画素周辺に位置する第１の領域の画素の信号が切り出され、そのレベル検出パターンに基づいて上述した注目画素の信号が属するクラスが決定されてクラス情報が出力される。また、第１の画像信号の複数画素における画素値の相関を見ることにより、少なくともノイズによる画素のエラー状態が検出され、そのエラー状態に基づいて複数の係数データ記憶部より選択された一の係数データ記憶部からクラス情報に対応した係数データが読み出される。また、上述した第２の画像信号を構成する注目画素に対応して、第１の画像信号から当該注目画素周辺に位置する第２の領域の画素の信号が切り出される。そして、この第２の領域の画素の信号と係数データとを用いて線形推定式により積和演算し、当該演算結果を注目画素の値として出力する。
【０００９】
複数の係数データ記憶部には、第１の画像信号の異なるエラー状態に対応した係数データが記憶される。上述したように第１の画像信号のエラー状態に基づいて複数の係数データ記憶部より選択された一の係数データ記憶部から係数データが読み出されて使用される。そのため、線形推定式で使用される係数データは第１の画像信号のエラー状態に対応したものとなり、変換処理が適切に行われるようになる。
【００１０】
また、この発明に係る係数データ生成装置は、第１の画像信号を、この第１の画像信号より画素数の多い第２の画像信号に変換する際に使用される線形推定式の係数データを生成する装置において、上記第２の画像信号に対応する教師信号を処理して上記第１の画像信号に対応する第１の入力信号を得る第１の信号処理手段と、上記第１の入力信号に対して、少なくとも所定の画素の値を変化させる処理により、当該画素に対してエラーを持つ第２の入力信号を得る第２の信号処理手段と、上記教師信号を構成すると共に推定対象の画素である注目画素の信号それぞれに対応して、上記第２の入力信号から該注目画素周辺に位置する第１の領域の画素の信号を順次切り出す第１の画素切り出し手段と、上記第１の画素切り出し手段により順次切り出された上記第１の領域の画素の信号のレベル分布のパターンを検出し、このパターンに基づいて上記注目画素の信号がそれぞれ属するクラスを決定してクラス情報を出力するクラス決定手段と、上記注目画素の信号それぞれに対応して、上記第２の入力信号より上記注目画素周辺に位置する第２の領域の画素の信号を順次切り出す第２の画素切り出し手段と、上記クラス決定手段より出力される上記注目画素がそれぞれ属するクラスを示すクラス情報と、上記教師信号を構成する上記注目画素の信号と、上記第２の画素切り出し手段により順次切り出された上記第２の領域の画素の信号とから、各クラス毎に上記係数データをそれぞれ得るための正規方程式を生成する正規方程式生成手段と、上記正規方程式を解いて上記各クラス毎の係数データを得る係数データ演算手段とを備えるものである。第１および第２の画素切り出し手段が共通に構成され、従って第１および第２の領域が同じであってもよい。
【００１１】
第２の画像信号、例えばハイビジョンのビデオ信号に対応する教師信号が処理されて第１の画像信号、例えばＮＴＳＣ方式のビデオ信号に対応する第１の入力信号が得られる。また、この第１の入力信号が処理されて所定のエラーが付加された第２の入力信号が得られる。エラー状態としては、ある走査線上のデータがジッタによって１画素分ずれているもの、特定の画素データの値がノイズによって変化しているもの等が考えられる。
【００１２】
教師信号を構成すると共に推定対象の画素である注目画素の信号にそれぞれ対応して、第２の入力信号から該注目画素周辺に位置する第１の領域の画素の信号が順次切り出され、その第１の領域の画素の信号のレベル分布パターンに基づいて注目画素の信号がそれぞれ属するクラスが決定されてクラス情報が出力される。
【００１３】
また、教師信号を構成する注目画素の信号にそれぞれ対応して、第２の入力信号より注目画素周辺に位置する第２の領域の画素の信号が順次切り出される。そして、この第２の領域の画素の信号と、教師信号を構成する注目画素の信号がそれぞれ属するクラスを示すクラス情報と、教師信号を構成する注目画素の信号とから、各クラス毎に係数データをそれぞれ得るための正規方程式が生成され、この正規方程式を解くことで各クラス毎の係数データが得られる。第２の信号処理手段で付加されるエラーを変更することで、第１の画像信号の種々のエラー状態に対応した係数データを得ることが可能となる。
【００１４】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としての画像信号変換装置１００の構成を示している。この画像信号変換装置１００は、ＮＴＳＣ方式のビデオ信号を構成する画素データ（以下、「ＳＤ画素データ」という）からハイビジョンのビデオ信号を構成する画素データ（以下、「ＨＤ画素データ」という）を得るためのものである。
【００１５】
この画像信号変換装置１００は、ＳＤ画素データが供給される入力端子１０１と、この入力端子１０１に供給されるＳＤ画素データより、推定しようとする所定のＨＤ画素データに対応した領域のＳＤ画素データを切り出す領域切り出し回路１０２と、この領域切り出し回路１０２で切り出されたＳＤ画素データに対してＡＤＲＣ（Adaptive Dynamic Range Coding）処理を適用して、主に空間内の波形を表すクラス（空間クラス）を決定してクラス情報を出力するＡＤＲＣ回路１０３とを有している。
【００１６】
図２および図３は、ＳＤ画素とＨＤ画素の位置関係を示している。領域切り出し回路１０２では、例えば図４に示すように、ＨＤ画素データｙを推定しようとする場合、このＨＤ画素データｙの近傍に位置するＳＤ画素データｋ₁〜ｋ₅が切り出される。
【００１７】
ＡＤＲＣ回路１０３では、領域切り出し回路１０２で切り出されたＳＤ画素データのレベル分布のパターン化を目的として、各ＳＤ画素データを、例えば８ビットデータから２ビットデータに圧縮するような演算が行われる。そして、ＡＤＲＣ回路１０３からは、各ＳＤ画素データに対応した圧縮データ（再量子化コード）ｑiが空間クラスのクラス情報として出力される。
【００１８】
本来ＡＤＲＣは、ＶＴＲ（Video Tape Recorder）向け高性能符号化用に開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、本実施の形態では、領域切り出し回路１０２で切り出されたＳＤ画素データのレベル分布のパターン化に使用している。
【００１９】
ＡＤＲＣ回路１０３では、領域内のＳＤ画素データの最大値をＭＡＸ、その最小値をＭＩＮ、領域内のダイナミックレンジをＤＲ（＝ＭＡＸ−ＭＩＮ＋１）、再量子化ビット数をｐとすると、領域内の各ＳＤ画素データｋiに対して、（１）式の演算により再量子化コードｑiが得られる。ただし、（１）式において、〔〕は切り捨て処理を意味している。領域切り出し回路１０２で、Ｎａ個のＳＤ画素データが切り出されるとき、ｉ＝１〜Ｎａである。
【００２０】
ｑi＝〔（ｋi−ＭＩＮ＋０．５）・２^p ／ＤＲ〕・・・（１）
また、画像信号変換装置１００は、入力端子１０１に供給されるＳＤ画素データより、推定しようとする所定のＨＤ画素データに対応した領域のＳＤ画素データを切り出す領域切り出し回路１０４と、この領域切り出し回路１０４で切り出されたＳＤ画素データより、主に動きの程度を表すためのクラス（動きクラス）を決定してクラス情報を出力する動きクラス決定回路１０５とを有している。
【００２１】
領域切り出し回路１０４では、例えば図５に示すように、ＨＤ画素データｙを推定しようとする場合、このＨＤ画素データｙの近傍に位置する１０個のＳＤ画素データｍ₁〜ｍ₅，ｎ₁〜ｎ₅が切り出される。
【００２２】
動きクラス決定回路１０５では、領域切り出し回路１０４で切り出されたＳＤ画素データｍi，ｎiからフレーム間差分が算出され、さらにその差分の絶対値の平均値に対してしきい値処理が行われて動きの指標である動きクラスのクラス情報ＭＶが出力される。
【００２３】
すなわち、動きクラス決定回路１０５では、（２）式によって、差分の絶対値の平均値ＡＶが算出される。領域切り出し回路１０４で、例えば上述したように１０個のＳＤ画素データｍ₁〜ｍ₅，ｎ₁〜ｎ₅が切り出されるとき、（２）式におけるＮｂは５である。
【００２４】
【数１】

【００２５】
そして、動きクラス決定回路１０５では、上述したように算出された平均値ＡＶが１個または複数個のしきい値と比較されてクラス情報ＭＶが得られる。例えば、３個のしきい値ｔｈ₁，ｔｈ₂，ｔｈ₃（ｔｈ₁＜ｔｈ₂＜ｔｈ₃）が用意され、４つの動きクラスを決定する場合、ＡＶ≦ｔｈ₁のときはＭＶ＝０、ｔｈ₁＜ＡＶ≦ｔｈ₂のときはＭＶ＝１、ｔｈ₂＜ＡＶ≦ｔｈ₃のときはＭＶ＝２、ｔｈ₃＜ＡＶのときはＭＶ＝３とされる。
【００２６】
また、画像信号変換装置１００は、ＡＤＲＣ回路１０３より出力される空間クラスのクラス情報としての再量子化コードｑiと、動きクラス決定回路１０５より出力される動きクラスのクラス情報ＭＶに基づき、推定しようとするＨＤ画素データが属するクラスを示すクラスコードＣＬを得るためのクラスコード発生回路１０６を有している。クラスコード発生回路１０６では、（３）式によって、クラスコードＣＬの演算が行われる。なお、（３）式において、Ｎａは領域切り出し回路１０２で切り出されるＳＤ画素データの個数、ｐはＡＤＲＣ回路１０３における再量子化ビット数を示している。
【００２７】
【数２】

【００２８】
また、画像信号変換装置１００は、それぞれ後述する推定演算回路１１０で使用される線形推定式の係数データが各クラス毎に記憶されているｎ個のＲＯＭテーブル１０７_-1〜１０７_-nと、入力端子１０１に供給されるＳＤ画素データのエラー状態を検出するエラー検出回路１０８とを有している。ＲＯＭテーブル１０７_-1〜１０７_-nには、それぞれＳＤ画素データの異なるエラー状態に対応した線形推定式の係数データが記憶されている。エラー状態としては、ある走査線上の画素データがジッタによって１画素分ずれているもの、特定の画素データの値がノイズによって変化しているもの等が考えられる。エラー検出回路１０８では、例えば連続する複数の垂直方向および水平方向の画素データの相関を見ることでエラー状態の検出が行われる。
【００２９】
エラー検出回路１０８より出力されるエラー状態の検出結果ＥＤＥは、ＲＯＭテーブル１０７_-1〜１０７_-nより一のＲＯＭテーブルを選択するための情報として使用される。すなわち、ＲＯＭテーブル１０７_-1〜１０７_-nのうち、係数データを得るためのＲＯＭテーブルとして、検出結果ＥＤＥで示されるエラー状態、またはそれに最も近いエラー状態に対応した線形推定式の係数データが記憶されているＲＯＭテーブルが選択される。この選択されたＲＯＭテーブルにはクラスコード発生回路１０６より出力されるクラスコードが読み出しアドレス情報として供給され、そのＲＯＭテーブルよりクラスコードＣＬに対応した係数データｗｉが読み出される。
【００３０】
また、画像信号変換装置１００は、入力端子１０１に供給されるＳＤ画素データより、推定しようとする所定のＨＤ画素データに対応した領域のＳＤ画素データを切り出す領域切り出し回路１０９と、この領域切り出し回路１０９で切り出されたＳＤ画素データと、上述したように選択されたＲＯＭテーブルより読み出される係数データｗiとから、推定しようとするＨＤ画素データを演算する推定演算回路１１０と、この推定演算回路１１０で演算されたＨＤ画素データを導出する出力端子１１１と有している。
【００３１】
領域切り出し回路１０９では、例えば図６に示すように、ＨＤ画素データｙを推定しようとする場合、これらＨＤ画素データｙの近傍に位置するＳＤ画素データｘ₁〜ｘ₂₅が切り出される。推定演算回路１１０では、領域切り出し回路１０９で切り出されたＳＤ画素データｘiと、選択されたＲＯＭテーブルより読み出された係数データｗiとから、（４）式の線形推定式によって、推定しようとするＨＤ画素データｙが演算される。領域切り出し回路１０９で、例えば上述したように２５個のＳＤ画素データｘ₁〜ｘ₂₅が切り出されるとき、（４）式におけるｎ、つまりタップ数は２５である。
【００３２】
【数３】

【００３３】
図１に示す画像信号変換装置１００の動作を説明する。推定しようとする所定のＨＤ画素データｙに対応して、入力端子１０１に供給されるＳＤ画素データより領域切り出し回路１０２で所定領域のＳＤ画素データｋiが切り出され、この切り出された各ＳＤ画素データｋiに対してＡＤＲＣ回路１０３でＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードｑiが得られる。
【００３４】
また、上述した推定しようとするＨＤ画素データｙに対応して、入力端子１０１に供給されるＳＤ画素データより領域切り出し回路１０４で所定領域のＳＤ画素データｍi，ｎiが切り出され、この切り出された各ＳＤ画素データｍi，ｎiより動きクラス決定回路１０５で動きクラス（主に動きの程度を表すためのクラス分類）を示すクラス情報ＭＶが得られる。この動きクラス情報ＭＶと上述したＡＤＲＣ回路１０３で得られる再量子化コードｑiとから、クラスコード発生回路１０６で、推定しようとするＨＤ画素データｙが属するクラスを示すクラス情報としてのクラスコードＣＬが得られる。
【００３５】
また、入力端子１０１に供給されるＳＤ画素データがエラー検出回路１０８に供給され、ＳＤ画素データのエラー状態が検出される。そして、エラー検出回路１０８からのエラー状態の検出結果ＥＤＥによって、ＲＯＭテーブル１０７_-1〜１０７_-nのうち、ＳＤ画素データのエラー状態またはそれに最も近いエラー状態に対応した線形推定式の係数データが記憶されているＲＯＭテーブルが選択される。この選択されたＲＯＭテーブルにクラスコードＣＬが読み出しアドレス情報として供給され、そのクラスコードＣＬに対応した係数データｗｉが読み出される。
【００３６】
また、上述した推定しようとするＨＤ画素データｙに対応して、入力端子１０１に供給されるＳＤ画素データより領域切り出し回路１０９で所定領域のＳＤ画素データｘiが切り出される。そして、推定演算回路１１０では、その切り出されたＳＤ画素データｘiと、上述したように選択されたＲＯＭテーブルより読み出された係数データｗiとから、線形推定式を使用して、推定しようとするＨＤ画素データｙが演算される。そして、推定演算回路１１０より順次出力されるＨＤ画素データｙが出力端子１１１に導出される。
【００３７】
図１に示す画像信号変換装置１００においては、入力端子１０１に供給されるＳＤ画素データのエラー状態が検出され、そのエラー状態またはそれに最も近いエラー状態に対応した係数データｗｉが読み出され、推定しようとするＨＤ画素データｙを求めるための線形推定式に用いられる。そのため、ＮＴＳＣ方式のビデオ信号からハイビジョンのビデオ信号への変換処理を常に適切に行うことができる利益がある。なお、領域切り出し回路１０２および領域切り出し回路１０９を共通に構成し、ｋiとｘiを同じとすることも考えられる。
【００３８】
ところで、ＲＯＭテーブル１０７_-1〜１０７_-nには、上述したようにそれぞれ各クラスに対応した線形推定式の係数データが記憶されている。この係数データは、予め学習によって生成されたものである。まず、この学習方法について説明する。（４）式の線形推定式に基づく係数データｗi（ｉ＝１〜ｎ）を最小自乗法により求める例を示すものとする。一般化した例として、Ｘを入力データ、Ｗを予測係数、Ｙを予測値として、（５）式の観測方程式を考える。この（５）式において、ｍは学習データ数を示し、ｎは予測タップの数を示している。
【００３９】
【数４】

【００４０】
（５）式の観測方程式により収集されたデータに最小自乗法を適用する。この（５）式の観測方程式をもとに、（６）式の残差方程式を考える。
【００４１】
【数５】

【００４２】
（６）式の残差方程式から、各ｗiの最確値は、（７）式のｅ²を最小にする条件が成り立つ場合と考えられる。すなわち、（８）式の条件を考慮すればよいわけである。
【００４３】
【数６】

【００４４】
つまり、（８）式のｉに基づくｎ個の条件を考え、これを満たすｗ₁，ｗ₂，・・・，ｗ_nを算出すればよい。そこで、（６）式の残差方程式から、（９）式が得られる。さらに、（９）式と（５）式とから、（１０）式が得られる。
【００４５】
【数７】

【００４６】
そして、（６）式と（１０）式とから、（１１）式の正規方程式が得られる。
【００４７】
【数８】

【００４８】
（１１）式の正規方程式は、未知数の数ｎと同じ数の方程式を立てることが可能であるので、各ｗiの最確値を求めることができる。この場合、掃き出し法（Gauss-Jordanの消去法）等を用いて連立方程式を解くことになる。
【００４９】
図７は、上述した予測係数の学習フローを示している。学習を行うためには、入力信号と予測対象となる教師信号を用意しておく。
【００５０】
まず、ステップＳＴ１で、教師信号より得られる予測対象画素値と入力信号より得られる予測タップのｎ個の画素値との組み合わせを学習データとして生成する。次に、ステップＳＴ２で、学習データの生成が終了したか否かを判定し、学習データの生成が終了していないときは、ステップＳＴ３でその学習データにおける予測対象画素値が属するクラスを決定する。このクラスの決定は、予測対象画素値に対応して入力信号より得られる所定数の画素値に基づいて行われ、上述したＡＤＲＣ処理による空間クラス等が決定される。
【００５１】
そして、ステップＳＴ４で、各クラス毎に、ステップＳＴ１で生成された学習データ、すなわち予測対象画素値と予測タップのｎ個の画素値とを使用して、（１１）式に示すような正規方程式の生成をする。ステップＳＴ１〜ステップＳＴ４の動作は、学習データの生成が終了するまで繰り返され、多くの学習データが登録された正規方程式が生成される。
【００５２】
ステップＳＴ２で学習データの生成が終了したときは、ステップＳＴ５で、各クラス毎に生成された正規方程式を解き、各クラス毎のｎ個の予測係数ｗiを求める。そして、ステップＳＴ６で、クラス別にアドレス分割されたメモリに予測係数ｗiを登録して、学習フローを終了する。
【００５３】
次に、図１に示した画像信号変換装置１００のＲＯＭテーブル１０７_-1〜１０７_-nに記憶されている各クラス毎の係数データｗiを、上述した学習の原理によって予め生成する係数データ生成装置１５０の詳細を説明する。図８は、係数データ生成装置１５０の構成例を示している。
【００５４】
この係数データ生成装置１５０は、教師信号としてのハイビジョンのビデオ信号を構成するＨＤ画素データが供給される入力端子１５１と、このＨＤ画素データに対して水平および垂直の間引きフィルタ処理を行って、入力信号としてのＮＴＳＣ方式のビデオ信号を構成するＳＤ画素データを得る間引き回路１５２と、このＳＤ画素データに所定のエラーを付加するエラー付加回路１５３とを有している。
【００５５】
間引き回路１５２では、図示せずも、ＨＤ画素データに対して、垂直間引きフィルタによってフィールド内の垂直方向のライン数が１／２となるように間引き処理が施されると共に、さらに水平間引きフィルタによって水平方向の画素数が１／２となるように間引き処理が施される。したがって、ＳＤ画素とＨＤ画素の位置関係は、図２および図３に示すようになる。エラー付加回路１５３からは所定のエラーが付加されたＳＤ画素データが出力されるが、係数データ生成装置１５０ではそのＳＤ画素データのエラー状態に対応した係数データが生成される。エラー付加回路１５３では、例えばある走査線上のデータを１画素分ずらす、特定の画素データの値を変化させる等の処理により、種々のエラーを付加することが可能とされている。
【００５６】
また、係数データ生成装置１５０は、入力端子１５１に供給されるＨＤ画素データＨＤより得られる予測対象画素値としての複数個のＨＤ画素データにそれぞれ対応して、エラー付加回路１５３より出力されるＳＤ画素データＳＤより所定領域のＳＤ画素データを順次切り出す領域切り出し回路１５５と、この領域切り出し回路１５５で順次切り出されたＳＤ画素データに対してＡＤＲＣ処理を適用して、主に空間内の波形を表すクラス（空間クラス）を決定してクラス情報を出力するＡＤＲＣ回路１５６とを有している。
【００５７】
領域切り出し回路１５５は、上述した画像信号変換装置１００の領域切り出し回路１０２と同様に構成される。この領域切り出し回路１５５からは、例えば図４に示すように、予測対象画素値としてのＨＤ画素データｙに対応して、このＨＤ画素データｙの近傍に位置するＳＤ画素データｋ₁〜ｋ₅が切り出される。また、ＡＤＲＣ回路１５６も、上述した画像信号変換装置１００のＡＤＲＣ回路１０３と同様に構成される。このＡＤＲＣ回路１５６からは、予測対象画素値としての各ＨＤ画素データにそれぞれ対応して切り出された所定領域のＳＤ画素データ毎に再量子化コードｑiが空間クラスを示すクラス情報として出力される。
【００５８】
また、係数データ生成装置１５０は、上述した予測対象画素値としての各ＨＤ画素データにそれぞれ対応して、エラー付加回路１５３より出力されるＳＤ画素データより所定領域のＳＤ画素データを順次切り出す領域切り出し回路１５７と、この領域切り出し回路１５７で切り出されたＳＤ画素データより、主に動きの程度を表すためのクラス（動きクラス）を決定してクラス情報を出力する動きクラス決定回路１５８とを有している。
【００５９】
領域切り出し回路１５７は、上述した画像信号変換装置１００の領域切り出し回路１０４と同様に構成される。この領域切り出し回路１５７からは、例えば図５に示すように、予測対象画素値としてのＨＤ画素データｙに対応して、このＨＤ画素データｙの近傍に位置する１０個のＳＤ画素データｍ₁〜ｍ₅，ｎ₁〜ｎ₅が切り出される。また、動きクラス決定回路１５８も、上述した画像信号変換装置１００の動きクラス決定回路１０５と同様に構成される。この動きクラス決定回路１５８からは、予測対象画素値としての各ＨＤ画素データにそれぞれ対応して切り出された所定領域のＳＤ画素データ毎に動きの指標である動きクラスのクラス情報ＭＶが出力される。
【００６０】
また、係数データ生成装置１５０は、ＡＤＲＣ回路１５６より出力される空間クラスのクラス情報としての再量子化コードｑiと、動きクラス決定回路１５８より出力される動きクラスのクラス情報ＭＶに基づいてクラスコードＣＬを得るためのクラスコード発生回路１５９を有している。このクラスコード発生回路１５９は、上述した画像信号変換装置１００のクラスコード発生回路１０６と同様に構成される。このクラスコード発生回路１５９からは、予測対象画素値としての各ＨＤ画素データにそれぞれ対応して、そのＨＤ画素データが属するクラスを示すクラスコードＣＬが出力される。
【００６１】
また、係数データ生成装置１５０は、上述した予測対象画素値としての各ＨＤ画素データにそれぞれ対応して、エラー付加回路１５３より出力されるＳＤ画素データより予測タップ値としての所定領域のＳＤ画素データを順次切り出す領域切り出し回路１６０を有している。領域切り出し回路１６０は、上述した画像信号変換装置１００の領域切り出し回路１０９と同様に構成される。この領域切り出し回路１６０からは、例えば図６に示すように、予測対象画素値としてのＨＤ画素データｙに対応して、このＨＤ画素データｙの近傍に位置する２５個のＳＤ画素データｘ₁〜ｘ₂₅が切り出される。
【００６２】
また、係数データ生成装置１５０は、入力端子１５１に供給されるＨＤ画素データより得られる予測対象画素値としての各ＨＤ画素データｙと、予測対象画素値としての各ＨＤ画素データｙにそれぞれ対応して領域切り出し回路１６０で順次切り出された予測タップ画素値としてのＳＤ画素データｘiと、予測対象画素値としての各ＨＤ画素データｙにそれぞれ対応してクラスコード発生回路１５９より出力されるクラスコードＣＬとから、各クラス毎に、ｎ個の係数データｗiを生成するための正規方程式（（１１）式参照）を生成する正規方程式生成回路１６１を有している。
【００６３】
この場合、１個のＨＤ画素データｙとそれに対応するｎ個の予測タップ画素値との組み合わせで上述した学習データが生成され、従って生成回路１６１では多くの学習データが登録された正規方程式が生成される。なお、図示しないが、領域切り出し回路１６０の前段に時間合わせ用の遅延回路を配置することで、領域切り出し回路１６０から正規方程式生成回路１６１に供給されるＳＤ画素データｘiのタイミング合わせを行うことができる。
【００６４】
また、係数データ生成装置１５０は、正規方程式生成回路１６１で各クラス毎に生成された正規方程式のデータが供給され、各クラス毎に生成された正規方程式を解いて、各クラス毎の係数データ（予測係数）ｗiを求める予測係数決定回路１６２と、この求められた係数データｗiを記憶するメモリ１６３とを有している。予測係数決定回路１６２では、正規方程式が例えば掃き出し法などによって解かれて、係数データｗiが求められる。
【００６５】
図８に示す係数データ生成装置１５０の動作を説明する。入力端子１５１には教師信号としてのハイビジョンのビデオ信号を構成するＨＤ画素データが供給され、そしてこのＨＤ画素データに対して間引き回路１５２で水平および垂直の間引き処理等が行われて入力信号としてのＮＴＳＣ方式のビデオ信号を構成するＳＤ画素データが得られる。そして、このＳＤ画素データに対してエラー付加回路１５３で所定のエラーが付加される。
【００６６】
また、入力端子１５１に供給されるＨＤ画素データより得られる予測対象画素値としての各ＨＤ画素データｙにそれぞれ対応して、エラー付加回路１５３より出力されるＳＤ画素データから領域切り出し回路１５５で所定領域のＳＤ画素データｋiが順次切り出され、この切り出された各ＳＤ画素データｋiに対してＡＤＲＣ回路１５６でＡＤＲＣ処理が施されて空間クラス（主に空間内の波形表現のためのクラス分類）のクラス情報としての再量子化コードｑiが得られる。
【００６７】
また、予測対象画素値としての各ＨＤ画素データｙにそれぞれ対応して、エラー付加回路１５３より出力されるＳＤ画素データから領域切り出し回路１５７で所定領域のＳＤ画素データｍi，ｎiが順次切り出され、この切り出された各ＳＤ画素データｍi，ｎiより動きクラス決定回路１５８で動きクラス（主に動きの程度を表すためのクラス分類）を示すクラス情報ＭＶが得られる。そして、このクラス情報ＭＶと上述したＡＤＲＣ回路１５６で得られる再量子化コードｑiとからクラスコード発生回路１５９で、予測対象画素値としての各ＨＤ画素データｙが属するクラスを示すクラス情報としてのクラスコードＣＬが得られる。
【００６８】
また、予測対象画素値としての各ＨＤ画素データｙにそれぞれ対応して、エラー付加回路１５３より出力されるＳＤ画素データから領域切り出し回路１６０で所定領域のＳＤ画素データｘiが順次切り出される。そして、入力端子１５１に供給されるＨＤ画素データより得られる予測対象画素値としての各ＨＤ画素データｙと、予測対象画素値としての各ＨＤ画素データｙにそれぞれ対応して領域切り出し回路１６０で順次切り出された予測タップ画素値としてのＳＤ画素データｘiと、予測対象画素値としての各ＨＤ画素データｙにそれぞれ対応してクラスコード発生回路１５９より出力されるクラスコードＣＬとから、正規方程式生成回路１６１では、各クラス毎に、ｎ個の係数データｗiを生成するための正規方程式が生成される。そして、予測係数決定回路１６２でその正規方程式が解かれ、各クラス毎の係数データｗiが求められ、その係数データｗiはクラス別にアドレス分割されたメモリ１６３に記憶される。
【００６９】
このように、図８に示す係数データ生成装置１５０においては、エラー付加回路１５３で付加されるエラーを順次変更することで、異なるエラー状態のＳＤ画素データに対応する係数データｗｉを順次生成することができる。
【００７０】
なお、上述実施の形態においては、空間波形を少ないビット数でパターン化する情報圧縮手段として、ＡＤＲＣ回路１０３，１５６を設けることにしたが、これはほんの一例であり、信号波形のパターンの少ないクラスで表現できるような情報圧縮手段であれば何を設けるかは自由であり、例えばＤＰＣＭ（Differential Pulse Code Modulation）やＶＱ（Vector Quantization ）等の圧縮手段を用いてもよい。
【００７１】
また、上述実施の形態においては、ＮＴＳＣ方式のビデオ信号をハイビジョンのビデオ信号に変換する例を示したが、この発明はそれに限定されるものでなく、線形推定式を使用して第１の画像信号をこの第１の画像信号と同じあるいはそれより多い画素数の第２の画像信号に変換する場合に適用できることは勿論である。
【００７２】
【発明の効果】
この発明によれば、線形推定式を使用して第１の画像信号をこの第１の画像信号と同じあるいはそれより多い画素数の第２の画像信号に変換する際に、第１の画像信号のエラー状態に応じた係数データを選択的に使用可能とするものであり、第１の画像信号のエラー状態に応じて、変換処理を適切に行うことができる。
【図面の簡単な説明】
【図１】実施の形態としての画像信号変換装置の構成を示すブロック図である。
【図２】ＳＤ画素とＨＤ画素の位置関係を説明するための略線図である。
【図３】ＳＤ画素とＨＤ画素の位置関係を説明するための略線図である。
【図４】空間クラス分類に使用するＳＤ画素データを説明するための略線図である。
【図５】動きクラス分類に使用するＳＤ画素データを説明するための略線図である。
【図６】推定演算に使用するＳＤ画素データを説明するための略線図である。
【図７】予測係数の学習フローを示すフローチャートである。
【図８】係数データ生成装置の構成例を示すブロック図である。
【符号の説明】
１００・・・画像信号変換装置、１０１・・・入力端子、１０２，１０４，１０９・・・領域切り出し回路、１０３・・・ＡＤＲＣ回路、１０５・・・動きクラス決定回路、１０６・・・クラスコード発生回路、１０７_-1〜１０７_-n・・・ＲＯＭテーブル、１０８・・・エラー検出回路、１１０・・・推定演算回路、１１１・・・出力端子、１５０・・・係数データ生成装置、１５１・・・入力端子、１５２・・・間引き回路、１５３・・・エラー付加回路、１５５，１５７，１６０・・・領域切り出し回路、１５６・・・ＡＤＲＣ回路、１５８・・・動きクラス決定回路、１５９・・・クラスコード発生回路、１６１・・・正規方程式生成回路、１６２・・・予測係数決定回路、１６３・・・メモリ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image signal conversion apparatus and conversion method for converting, for example, an NTSC video signal into a high-definition video signal, and coefficient data generation apparatus and generation method used therefor. For more information, linear A coefficient corresponding to an error state of the first image signal when the first image signal is converted into a second image signal having the same or larger number of pixels as the first image signal using the estimation formula The present invention relates to an image signal conversion apparatus or the like that can appropriately perform conversion processing by selectively using data.
[0002]
[Prior art]
In recent years, the development of television receivers capable of obtaining higher-resolution images has been desired due to the increase in audio / visual orientation, and so-called high-vision has been developed in response to this demand. The number of high-definition scanning lines is 1125, which is more than twice that of the NTSC scanning line, which is 525. Also, the aspect ratio of the high vision is 9:16, whereas the aspect ratio of the NTSC system is 3: 4. For this reason, high-definition images with high resolution can be displayed in the high-vision compared to the NTSC system.
[0003]
Although HDTV has such excellent characteristics, even if an NTSC video signal is supplied as it is, image display using the HDTV system cannot be performed. This is because the standards differ between the NTSC system and the high vision as described above.
[0004]
Therefore, in order to display an image according to the NTSC video signal in the high-definition system, the present applicant has previously proposed a conversion device for converting an NTSC video signal into a high-definition video signal (Japanese Patent Application). No. 6-205934). In this conversion apparatus, the signal of each pixel constituting the high-definition video signal is obtained from the signal of the pixel in a predetermined area of the NTSC system and coefficient data (prediction coefficient value) using a linear estimation formula. Here, the coefficient data is acquired in advance by learning and stored in coefficient data storage means such as a ROM (read only memory).
[0005]
[Problems to be solved by the invention]
In the conversion device described above, there is only one type of coefficient data stored in the coefficient data storage means. Therefore, depending on the error state of the NTSC video signal, there is a problem that the coefficient data stored in the coefficient data storage means is not appropriate and appropriate conversion processing cannot be performed.
[0006]
Accordingly, an object of the present invention is to provide an image signal conversion device or the like that can appropriately perform conversion processing.
[0007]
[Means for Solving the Problems]
In the image signal conversion apparatus according to the present invention, the first image signal is converted into a second image signal having the same or larger number of pixels as the first image signal. For the target pixel that constitutes the second image signal and is the pixel to be estimated, From the first image signal Signals of pixels in the first region located around the target pixel A first pixel cut-out means for cutting out a signal and a level distribution pattern of a signal of a pixel in the first region cut out by the first pixel cut-out means, and based on this pattern Attention Class determining means for determining a class to which a pixel signal belongs and outputting class information, and corresponding to each class indicated by the class information. Linear to estimate the pixel of interest Of the estimation formula Used for calculation The coefficient data is stored, and corresponding to different error states of the first image signal, linear Coefficient data storage means having a plurality of coefficient data storage units for storing coefficient data of the estimation formula, and the first image signal By looking at the correlation of pixel values in multiple pixels, at least Output from the class determination means from an error detection means for detecting an error state and one coefficient data storage section selected from the plurality of coefficient data storage sections based on the error state detected by the error detection means. Coefficient data output means for reading out and outputting coefficient data corresponding to the class information, and the first image signal Located around the pixel of interest Second pixel cutout means for cutting out signals of pixels in the second area, the coefficient data output from the coefficient data output means, and pixels in the second area cut out by the second pixel cutout means Signal And with the above linear Estimation formula The product-sum operation is performed using Image signal output means for outputting. The first and second pixel cutout means may be configured in common, and thus the first and second regions may be the same.
[0008]
Pixel of interest that is the pixel to be estimated Corresponding to the first image signal Located around the target pixel The pixel signal of the first region is cut out and described above based on the level detection pattern. Attention The class to which the pixel signal belongs is determined and class information is output. Also, the first image signal By looking at the correlation of pixel values in multiple pixels, at least An error state is detected, and coefficient data corresponding to the class information is read from one coefficient data storage unit selected from the plurality of coefficient data storage units based on the error state. Also, the second image signal described above is configured. Attention Corresponding to the pixel , From the first image signal Located around the target pixel The signal of the pixel in the second area is cut out. The pixel signal and coefficient data of the second area Using linear Estimation formula To calculate the sum of products and output the result as the value of the target pixel .
[0009]
Coefficient data corresponding to different error states of the first image signal is stored in the plurality of coefficient data storage units. As described above, the coefficient data is read from one coefficient data storage unit selected from the plurality of coefficient data storage units based on the error state of the first image signal and used. for that reason, linear The coefficient data used in the estimation formula corresponds to the error state of the first image signal, and the conversion process is appropriately performed.
[0010]
The coefficient data generation device according to the present invention is used when converting the first image signal into a second image signal having a larger number of pixels than the first image signal. linear In the apparatus for generating coefficient data of the estimation formula, first signal processing means for processing a teacher signal corresponding to the second image signal to obtain a first input signal corresponding to the first image signal; The first input signal On the other hand, at least for a given pixel, by changing the value of the given pixel The second signal processing means for obtaining a second input signal having an error and the teacher signal are configured And the signal of the pixel of interest that is the pixel to be estimated Respectively In Correspondingly, the second input signal To signals of pixels in the first region located around the target pixel A first pixel cutout unit that sequentially cuts out signals, and a signal level distribution pattern of pixels in the first region cut out sequentially by the first pixel cutout unit, and based on this pattern Above attention Class determining means for determining a class to which each pixel signal belongs and outputting class information; Above attention Pixel faith No. Each In Correspondingly, from the second input signal Located around the pixel of interest Output from the second pixel cutout means for sequentially cutting out the signals of the pixels in the second area and the class determination means. The pixel of interest Class information indicating the class to which each belongs, and the above that constitutes the teacher signal Attention Normal equation generating means for generating a normal equation for obtaining the coefficient data for each class from the pixel signal and the pixel signal of the second area sequentially cut out by the second pixel cutting out means And coefficient data calculation means for solving the normal equation and obtaining coefficient data for each class. The first and second pixel cutout means may be configured in common, and therefore the first and second regions may be the same.
[0011]
A teacher signal corresponding to a second image signal, for example, a high-definition video signal is processed to obtain a first input signal corresponding to a first image signal, for example, an NTSC video signal. Also, the first input signal is processed to obtain a second input signal to which a predetermined error is added. As an error state, data on a certain scanning line is shifted by one pixel due to jitter, or a value of specific pixel data is changed by noise.
[0012]
Configure the teacher signal Together with the pixel of interest that is the pixel to be estimated A second input signal corresponding to each signal Located around the pixel of interest Based on the level distribution pattern of the signals of the pixels in the first area, the signals of the pixels in the first area are sequentially cut out. Attention The class to which each pixel signal belongs is determined and class information is output.
[0013]
Also make up teacher signal Attention From the second input signal, corresponding to each pixel signal Located around the pixel of interest The signals of the pixels in the second region are sequentially cut out. Then, a pixel signal and a teacher signal are formed in the second area. Attention Configure class information indicating the class to which each pixel signal belongs and a teacher signal Attention A normal equation for obtaining coefficient data for each class is generated from the pixel signal, and coefficient data for each class is obtained by solving the normal equation. By changing the error added by the second signal processing means, it is possible to obtain coefficient data corresponding to various error states of the first image signal.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 shows a configuration of an image signal conversion apparatus 100 as an embodiment. The image signal conversion apparatus 100 obtains pixel data (hereinafter referred to as “HD pixel data”) constituting a high-definition video signal from pixel data (hereinafter referred to as “SD pixel data”) constituting an NTSC video signal. Is for.
[0015]
This picture

image

Signal converter 1 00 Is an input terminal 101 to which SD pixel data is supplied, and an area extraction circuit 102 that extracts SD pixel data in an area corresponding to predetermined HD pixel data to be estimated from the SD pixel data supplied to the input terminal 101. Then, ADRC (Adaptive Dynamic Range Coding) processing is applied to the SD pixel data cut out by the area cut-out circuit 102, and a class (space class) representing a waveform in space is mainly determined to obtain class information. An ADRC circuit 103 for output.
[0016]
2 and 3 show the positional relationship between SD pixels and HD pixels. For example, as shown in FIG. 4, in the region cutout circuit 102, when the HD pixel data y is to be estimated, the SD pixel data k located in the vicinity of the HD pixel data y ₁ ~ K _Five Is cut out.
[0017]
In the ADRC circuit 103, for the purpose of patterning the level distribution of the SD pixel data cut out by the area cutout circuit 102, an operation is performed to compress each SD pixel data from, for example, 8-bit data to 2-bit data. The ADRC circuit 103 outputs compressed data (requantized code) qi corresponding to each SD pixel data as class information of the space class.
[0018]
ADRC is originally an adaptive requantization method developed for high-performance coding for VTR (Video Tape Recorder), but it can efficiently represent local patterns of signal level with a short word length. In the embodiment, it is used for patterning the level distribution of the SD pixel data cut out by the area cutout circuit 102.
[0019]
In the ADRC circuit 103, assuming that the maximum value of the SD pixel data in the region is MAX, the minimum value is MIN, the dynamic range in the region is DR (= MAX−MIN + 1), and the number of requantization bits is p, For each SD pixel data ki, a requantization code qi is obtained by the calculation of the equation (1). However, in the expression (1), [] means a truncation process. When Na pieces of SD pixel data are cut out by the area cutout circuit 102, i = 1 to Na.
[0020]
qi = [(ki-MIN + 0.5) .2 ^p / DR] (1)
The image signal conversion apparatus 100 includes an area extraction circuit 104 that extracts SD pixel data of an area corresponding to predetermined HD pixel data to be estimated from the SD pixel data supplied to the input terminal 101, and the area extraction circuit. A motion class determining circuit 105 that determines a class (motion class) mainly representing the degree of motion from the SD pixel data cut out at 104 and outputs class information.
[0021]
For example, as shown in FIG. 5, in the region cutout circuit 104, when the HD pixel data y is to be estimated, 10 SD pixel data m located in the vicinity of the HD pixel data y ₁ ~ M _Five , N ₁ ~ N _Five Is cut out.
[0022]
In the motion class determination circuit 105, an inter-frame difference is calculated from the SD pixel data mi, ni cut out by the region cut-out circuit 104, and a threshold process is performed on the average value of the absolute value of the difference to perform motion. The class information MV of the motion class that is the index of is output.
[0023]
That is, in the motion class determination circuit 105, the average value AV of the absolute value of the difference is calculated by the equation (2). In the area cutout circuit 104, for example, as described above, ten SD pixel data m ₁ ~ M _Five , N ₁ ~ N _Five Is cut out, Nb in the equation (2) is 5.
[0024]
[Expression 1]

[0025]
In the motion class determination circuit 105, the average value AV calculated as described above is compared with one or a plurality of threshold values to obtain class information MV. For example, three thresholds th ₁ , Th ₂ , Th _Three (Th ₁ <Th ₂ <Th _Three ) And four motion classes are determined, AV ≦ th ₁ When MV = 0, th ₁ <AV ≦ th ₂ When MV = 1, th ₂ <AV ≦ th _Three When MV = 2, th _Three When AV, MV = 3.
[0026]
Further, the image signal conversion apparatus 100 tries to estimate based on the requantization code q i as the class information of the space class output from the ADRC circuit 103 and the motion class class information MV output from the motion class determination circuit 105. A class code generation circuit 106 for obtaining a class code CL indicating a class to which the HD pixel data belongs. In the class code generation circuit 106, the calculation of the class code CL is performed by the equation (3). In Equation (3), Na represents the number of SD pixel data cut out by the region cutout circuit 102, and p represents the number of requantization bits in the ADRC circuit 103.
[0027]
[Expression 2]

[0028]
Further, the image signal conversion apparatus 100 includes n ROM tables 107 each storing coefficient data of linear estimation formulas used in an estimation calculation circuit 110 described later, for each class. _-1 ~ 107 _-n And an error detection circuit 108 that detects an error state of the SD pixel data supplied to the input terminal 101. ROM table 107 _-1 ~ 107 _-n Stores coefficient data of linear estimation formulas corresponding to different error states of the SD pixel data. As an error state, pixel data on a certain scanning line is shifted by one pixel due to jitter, or the value of specific pixel data is changed due to noise. In the error detection circuit 108, for example, an error state is detected by observing the correlation between a plurality of continuous pixel data in the vertical and horizontal directions.
[0029]
The error state detection result EDE output from the error detection circuit 108 is stored in the ROM table 107. _-1 ~ 107 _-n It is used as information for selecting a more ROM table. That is, the ROM table 107 _-1 ~ 107 _-n Among them, a ROM table in which coefficient data of a linear estimation equation corresponding to the error state indicated by the detection result EDE or the error state closest thereto is selected as the ROM table for obtaining coefficient data. The class code output from the class code generation circuit 106 is supplied to the selected ROM table as read address information, and the coefficient data wi corresponding to the class code CL is read from the ROM table.
[0030]
The image signal conversion apparatus 100 also includes an area extraction circuit 109 that extracts SD pixel data of an area corresponding to predetermined HD pixel data to be estimated from SD pixel data supplied to the input terminal 101, and the area extraction circuit. The estimation calculation circuit 110 that calculates the HD pixel data to be estimated from the SD pixel data cut out at 109 and the coefficient data wi read from the ROM table selected as described above, and the estimation calculation circuit 110 It has an output terminal 111 for deriving the calculated HD pixel data.
[0031]
For example, as shown in FIG. 6, in the region cutout circuit 109, when the HD pixel data y is to be estimated, the SD pixel data x located in the vicinity of the HD pixel data y ₁ ~ X _{twenty five} Is cut out. The estimation calculation circuit 110 tries to estimate from the SD pixel data xi cut out by the region cutout circuit 109 and the coefficient data w i read from the selected ROM table by the linear estimation equation (4). HD pixel data y is calculated. In the area cutout circuit 109, for example, as described above, 25 pieces of SD pixel data x ₁ ~ X _{twenty five} Is cut out, n in equation (4), that is, the number of taps is 25.
[0032]
[Equation 3]

[0033]
The operation of the image signal conversion apparatus 100 shown in FIG. 1 will be described. Corresponding to the predetermined HD pixel data y to be estimated, the SD pixel data ki of the predetermined area is cut out by the area cutout circuit 102 from the SD pixel data supplied to the input terminal 101, and each piece of the cut SD pixel data is cut out. The ADRC circuit 103 applies ADRC processing to k i to obtain a requantized code q i as class information of a space class (mainly class classification for waveform expression in space).
[0034]
Corresponding to the above-described HD pixel data y to be estimated, the SD pixel data mi, ni in a predetermined area is cut out by the area cutout circuit 104 from the SD pixel data supplied to the input terminal 101, and this cut out. The class information MV indicating the motion class (mainly class classification for representing the degree of motion) is obtained by the motion class determination circuit 105 from each SD pixel data mi, ni. From this motion class information MV and the requantized code qi obtained by the above-mentioned ADRC circuit 103, the class code generating circuit 106 has a class code CL as class information indicating the class to which the HD pixel data y to be estimated belongs. can get.
[0035]
Further, the SD pixel data supplied to the input terminal 101 is supplied to the error detection circuit 108, and an error state of the SD pixel data is detected. Then, the ROM table 107 is detected based on the error state detection result EDE from the error detection circuit 108. _-1 ~ 107 _-n Among these, the ROM table storing the coefficient data of the linear estimation formula corresponding to the error state of the SD pixel data or the error state closest thereto is selected. The class code CL is supplied to the selected ROM table as read address information, and the coefficient data wi corresponding to the class code CL is read.
[0036]
Corresponding to the HD pixel data y to be estimated as described above, SD pixel data x i in a predetermined area is cut out by the area cut-out circuit 109 from the SD pixel data supplied to the input terminal 101. Then, the estimation arithmetic circuit 110 tries to estimate from the extracted SD pixel data xi and the coefficient data wi read from the ROM table selected as described above using a linear estimation equation. HD pixel data y is calculated. Then, the HD pixel data y sequentially output from the estimation arithmetic circuit 110 is derived to the output terminal 111.
[0037]
In the image signal conversion apparatus 100 shown in FIG. 1, an error state of the SD pixel data supplied to the input terminal 101 is detected, and coefficient data wi corresponding to the error state or the error state closest thereto is read and estimated. This is used in a linear estimation formula for obtaining the HD pixel data y to be obtained. Therefore, there is an advantage that the conversion process from the NTSC video signal to the high-definition video signal can always be appropriately performed. It is also conceivable that the area cutout circuit 102 and the area cutout circuit 109 are configured in common so that ki and xi are the same.
[0038]
By the way, ROM table 107 _-1 ~ 107 _-n As described above, the coefficient data of the linear estimation formula corresponding to each class is stored. This coefficient data is generated in advance by learning. First, this learning method will be described. An example in which coefficient data wi (i = 1 to n) based on the linear estimation formula (4) is obtained by the method of least squares will be shown. As a generalized example, consider the observation equation (5), where X is input data, W is a prediction coefficient, and Y is a predicted value. In this equation (5), m represents the number of learning data, and n represents the number of prediction taps.
[0039]
[Expression 4]

[0040]
The least square method is applied to data collected by the observation equation (5). Based on the observation equation (5), the residual equation (6) is considered.
[0041]
[Equation 5]

[0042]
From the residual equation of equation (6), the most probable value of each w i is e in equation (7). ² It is considered that the condition for minimizing is satisfied. That is, the condition of equation (8) should be considered.
[0043]
[Formula 6]

[0044]
That is, w conditions satisfying n conditions based on i in equation (8) are considered. ₁ , W ₂ , ..., w _n May be calculated. Therefore, Equation (9) is obtained from the residual equation of Equation (6). Furthermore, the equation (10) is obtained from the equations (9) and (5).
[0045]
[Expression 7]

[0046]
And the normal equation of (11) Formula is obtained from (6) Formula and (10) Formula.
[0047]
[Equation 8]

[0048]
Since the number of equations equal to the number n of unknowns can be established as the normal equation of equation (11), the most probable value of each wi can be obtained. In this case, simultaneous equations are solved using a sweeping method (Gauss-Jordan elimination method) or the like.
[0049]
FIG. 7 shows a learning flow of the prediction coefficient described above. In order to perform learning, an input signal and a teacher signal to be predicted are prepared.
[0050]
First, in step ST1, a combination of a prediction target pixel value obtained from a teacher signal and n pixel values of prediction taps obtained from an input signal is generated as learning data. Next, in step ST2, it is determined whether the generation of learning data has been completed. If the generation of learning data has not ended, the class to which the prediction target pixel value in the learning data belongs is determined in step ST3. . This class determination is performed based on a predetermined number of pixel values obtained from the input signal corresponding to the prediction target pixel value, and the space class or the like by the above-described ADRC processing is determined.
[0051]
Then, in step ST4, for each class, using the learning data generated in step ST1, that is, the prediction target pixel value and the n pixel values of the prediction tap, a normal equation as shown in equation (11) Generate. The operations in steps ST1 to ST4 are repeated until generation of learning data is completed, and a normal equation in which a large amount of learning data is registered is generated.
[0052]
When the generation of learning data is completed in step ST2, in step ST5, the normal equation generated for each class is solved, and n prediction coefficients wi for each class are obtained. Then, in step ST6, the prediction coefficient wi is registered in the memory divided into addresses by class, and the learning flow is terminated.
[0053]
Next, the ROM table 107 of the image signal converter 100 shown in FIG. _-1 ~ 107 _-n Details of the coefficient data generation device 150 that generates the coefficient data wi for each class stored in the above in advance based on the above-described learning principle will be described. FIG. 8 shows a configuration example of the coefficient data generation device 150.
[0054]
This coefficient data generation device 150 is supplied with an input terminal 151 to which HD pixel data constituting a high-definition video signal as a teacher signal is supplied, and performs horizontal and vertical decimation filtering on the HD pixel data to obtain an input. It has a thinning circuit 152 for obtaining SD pixel data constituting an NTSC video signal as a signal, and an error adding circuit 153 for adding a predetermined error to the SD pixel data.
[0055]
In the thinning circuit 152, although not shown, the HD pixel data is thinned by the vertical thinning filter so that the number of lines in the vertical direction in the field is halved, and further, by the horizontal thinning filter Thinning processing is performed so that the number of pixels in the horizontal direction is halved. Therefore, the positional relationship between the SD pixel and the HD pixel is as shown in FIGS. The error addition circuit 153 outputs SD pixel data to which a predetermined error is added, but the coefficient data generation device 150 generates coefficient data corresponding to the error state of the SD pixel data. The error adding circuit 153 can add various errors by processing such as shifting data on a certain scanning line by one pixel, changing the value of specific pixel data, and the like.
[0056]
Also, the coefficient data generation device 150 corresponds to each of a plurality of HD pixel data as prediction target pixel values obtained from the HD pixel data HD supplied to the input terminal 151, and outputs SD from the error addition circuit 153. An area extraction circuit 155 that sequentially extracts SD pixel data of a predetermined area from the pixel data SD, and ADRC processing is applied to the SD pixel data sequentially extracted by the area extraction circuit 155 to mainly represent a waveform in space. An ADRC circuit 156 that determines a class (space class) and outputs class information.
[0057]
The area cutout circuit 155 is configured in the same manner as the area cutout circuit 102 of the image signal conversion apparatus 100 described above. For example, as shown in FIG. 4, the region cutout circuit 155 corresponds to the HD pixel data y as the prediction target pixel value, and the SD pixel data k located in the vicinity of the HD pixel data y. ₁ ~ K _Five Is cut out. Further, the ADRC circuit 156 is configured in the same manner as the ADRC circuit 103 of the image signal conversion apparatus 100 described above. From this ADRC circuit 156, the re-quantization code qi is output as class information indicating a spatial class for each SD pixel data of a predetermined area cut out corresponding to each HD pixel data as a prediction target pixel value.
[0058]
In addition, the coefficient data generation device 150 sequentially extracts SD pixel data of a predetermined area from the SD pixel data output from the error addition circuit 153 in correspondence with each of the HD pixel data as the prediction target pixel values described above. A circuit 157, and a motion class determination circuit 158 that determines a class (motion class) mainly representing the degree of motion from the SD pixel data cut out by the region cutout circuit 157 and outputs class information. ing.
[0059]
The area cutout circuit 157 is configured in the same manner as the area cutout circuit 104 of the image signal conversion apparatus 100 described above. For example, as shown in FIG. 5, the area cutout circuit 157 corresponds to the HD pixel data y as the prediction target pixel value, and the 10 SD pixel data m located in the vicinity of the HD pixel data y. ₁ ~ M _Five , N ₁ ~ N _Five Is cut out. The motion class determination circuit 158 is also configured in the same manner as the motion class determination circuit 105 of the image signal conversion apparatus 100 described above. This movement class determination circuit 1 58 From, the class information MV of the motion class, which is a motion index, is output for each SD pixel data of a predetermined area cut out corresponding to each HD pixel data as the prediction target pixel value.
[0060]
The coefficient data generation device 150 also classifies the re-quantization code q i as the class information of the space class output from the ADRC circuit 156 and the class code MV of the motion class output from the motion class determination circuit 158. A class code generation circuit 159 for obtaining CL is provided. The class code generation circuit 159 is configured in the same manner as the class code generation circuit 106 of the image signal conversion apparatus 100 described above. This class code generation circuit 1 59 From, the class code CL indicating the class to which the HD pixel data belongs is output corresponding to each HD pixel data as the prediction target pixel value.
[0061]
Further, the coefficient data generation device 150 corresponds to each HD pixel data as the prediction target pixel value described above, and SD pixel data in a predetermined area as a prediction tap value from the SD pixel data output from the error addition circuit 153. Has a region cut-out circuit 160 for sequentially cutting out. The area cutout circuit 160 is configured in the same manner as the area cutout circuit 109 of the image signal conversion apparatus 100 described above. This area cut-out circuit 1 60 , For example, as shown in FIG. 6, corresponding to the HD pixel data y as the prediction target pixel value, 25 pieces of SD pixel data x located in the vicinity of the HD pixel data y ₁ ~ X _{twenty five} Is cut out.
[0062]
The coefficient data generation device 150 corresponds to each HD pixel data y as a prediction target pixel value obtained from the HD pixel data supplied to the input terminal 151 and each HD pixel data y as a prediction target pixel value. The class code CL output from the class code generation circuit 159 in correspondence with the SD pixel data xi as the predicted tap pixel value sequentially extracted by the region extraction circuit 160 and the respective HD pixel data y as the prediction target pixel value. Therefore, for each class, there is a normal equation generation circuit 161 that generates a normal equation (see equation (11)) for generating n coefficient data w i.
[0063]
In this case, the learning data described above is generated by a combination of one HD pixel data y and n prediction tap pixel values corresponding thereto, and thus the generation circuit 161 generates a normal equation in which a large amount of learning data is registered. Is done. Although not shown, it is possible to perform timing adjustment of the SD pixel data xi supplied from the region cutout circuit 160 to the normal equation generation circuit 161 by arranging a time adjustment delay circuit before the region cutout circuit 160. it can.
[0064]
Further, the coefficient data generation device 150 is supplied with the data of the normal equation generated for each class by the normal equation generation circuit 161, solves the normal equation generated for each class, and generates coefficient data ( A prediction coefficient determination circuit 162 for obtaining a prediction coefficient (wi) and a memory 163 for storing the obtained coefficient data wi are provided. In the prediction coefficient determination circuit 162, the normal equation is solved by, for example, a sweeping out method or the like, and the coefficient data wi is obtained.
[0065]
The operation of the coefficient data generation device 150 shown in FIG. 8 will be described. The input terminal 151 is supplied with HD pixel data constituting a high-definition video signal as a teacher signal, and the HD pixel data is subjected to horizontal and vertical thinning processing by the thinning circuit 152 and the like as an input signal. SD pixel data constituting an NTSC video signal is obtained. A predetermined error is added to the SD pixel data by the error adding circuit 153.
[0066]
In addition, in response to each HD pixel data y as a prediction target pixel value obtained from the HD pixel data supplied to the input terminal 151, the region extraction circuit 155 performs predetermined processing from the SD pixel data output from the error addition circuit 153. The SD pixel data ki of the region is sequentially cut out, and the ADRC circuit 156 applies ADRC processing to each of the cut out SD pixel data ki to determine the space class (mainly class classification for waveform expression in space). A requantization code q i as class information is obtained.
[0067]
Corresponding to each HD pixel data y as a prediction target pixel value, SD pixel data mi, ni of a predetermined area are sequentially cut out from the SD pixel data output from the error adding circuit 153 by the area cutout circuit 157, The class information MV indicating the motion class (mainly class classification for representing the degree of motion) is obtained from the extracted SD pixel data mi, ni by the motion class determination circuit 158. Then, from the class information MV and the requantized code q i obtained by the above-described ADRC circuit 156, the class code generating circuit 159 uses the class as class information indicating the class to which each HD pixel data y as the prediction target pixel value belongs. A code CL is obtained.
[0068]
Corresponding to each HD pixel data y as a prediction target pixel value, SD pixel data xi of a predetermined region is sequentially cut out from the SD pixel data output from the error adding circuit 153 by the region cutout circuit 160. Then, each of the HD pixel data y as the prediction target pixel value obtained from the HD pixel data supplied to the input terminal 151 and each of the HD pixel data y as the prediction target pixel value are sequentially processed by the region extraction circuit 160. A normal equation generation circuit based on the extracted SD pixel data xi as the predicted tap pixel value and the class code CL output from the class code generation circuit 159 corresponding to each HD pixel data y as the prediction target pixel value. In 161, a normal equation for generating n pieces of coefficient data wi is generated for each class. The normal coefficient is solved by the prediction coefficient determination circuit 162 to obtain coefficient data w i for each class, and the coefficient data w i is stored in the memory 163 that is divided into addresses for each class.
[0069]
As described above, the coefficient data generation device 150 shown in FIG. 8 sequentially generates the coefficient data wi corresponding to the SD pixel data in different error states by sequentially changing the error added by the error adding circuit 153. Can do.
[0070]
In the above-described embodiment, the

ADRC circuits

103 and 156 are provided as information compression means for patterning the spatial waveform with a small number of bits. However, this is only an example, and a class with a small number of signal waveform patterns is provided. As long as the information compression means can be expressed as follows, what is provided is free. For example, compression means such as DPCM (Differential Pulse Code Modulation) and VQ (Vector Quantization) may be used.
[0071]
In the above-described embodiment, an example in which an NTSC video signal is converted into a high-definition video signal has been shown. However, the present invention is not limited thereto, linear Of course, the present invention can be applied to the case where the first image signal is converted into the second image signal having the same or larger number of pixels as the first image signal using the estimation formula.
[0072]
【The invention's effect】
According to this invention, linear A coefficient corresponding to an error state of the first image signal when the first image signal is converted into a second image signal having the same or larger number of pixels as the first image signal using the estimation formula Data can be selectively used, and conversion processing can be appropriately performed in accordance with the error state of the first image signal.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of an image signal conversion apparatus according to an embodiment.
FIG. 2 is a schematic diagram for explaining a positional relationship between SD pixels and HD pixels.
FIG. 3 is a schematic diagram for explaining a positional relationship between SD pixels and HD pixels.
FIG. 4 is a schematic diagram for explaining SD pixel data used for space class classification.
FIG. 5 is a schematic diagram for explaining SD pixel data used for motion class classification;
FIG. 6 is a schematic diagram for explaining SD pixel data used for estimation calculation;
FIG. 7 is a flowchart illustrating a learning flow of a prediction coefficient.
FIG. 8 is a block diagram illustrating a configuration example of a coefficient data generation apparatus.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 100 ... Image signal converter, 101 ... Input terminal, 102, 104, 109 ... Area extraction circuit, 103 ... ADRC circuit, 105 ... Motion class determination circuit, 106 ... Class code Generator circuit 107 _-1 ~ 107 _-n ... ROM table, 108 ... error detection circuit, 110 ... estimation calculation circuit, 111 ... output terminal, 150 ... coefficient data generation device, 151 ... input terminal, 152 ... decimation Circuit, 153... Error adding circuit, 155, 157, 160... Region extraction circuit, 156... ADRC circuit, 158. Normal equation generation circuit, 162 ... prediction coefficient determination circuit, 163 ... memory

Claims

In the image signal conversion apparatus configured to convert the first image signal into a second image signal having the same or larger number of pixels as the first image signal,
A first pixel that constitutes the second image signal and extracts a signal of a pixel in a first region located around the target pixel from the first image signal with respect to the target pixel that is a pixel to be estimated Cutting means;
A class that detects a level distribution pattern of the signal of the pixel in the first region cut out by the first pixel cutout unit, determines a class to which the signal of the pixel of interest belongs based on this pattern, and outputs class information A determination means;
Corresponding to each class indicated by the class information, coefficient data used for calculation of the linear estimation formula for estimating the target pixel is stored, and each corresponds to a different error state of the first image signal. Coefficient data storage means having a plurality of coefficient data storage units for storing coefficient data of the linear estimation equation,
Error detection means for detecting an error state of a pixel due to noise at least by looking at a correlation of pixel values in a plurality of pixels of the first image signal;
Read coefficient data corresponding to the class information output from the class determination means from one coefficient data storage section selected from the plurality of coefficient data storage sections based on the error state detected by the error detection means. Coefficient data output means for outputting
Second pixel clipping means for clipping a signal of a pixel in a second region located around the target pixel from the first image signal;
The product-sum operation is performed by the linear estimation equation using the coefficient data output from the coefficient data output unit and the signal of the pixel in the second region cut out by the second pixel cut-out unit , and the calculation An image signal conversion device comprising: an image signal output means for outputting a result as the value of the target pixel .

In an image signal conversion method for converting a first image signal into a second image signal having the same or greater number of pixels as the first image signal,
A first step of cutting out a signal of a pixel in a first region located around the target pixel from the first image signal for the target pixel that constitutes the second image signal and is a pixel to be estimated When,
Detecting a level distribution pattern of the first cut-out the pixel signals of the first region in step, a second outputting class information to determine the class of signals of the pixel of interest belongs, based on the pattern Steps,
A third step of detecting a pixel error state due to at least noise by looking at a correlation of pixel values in a plurality of pixels of the first image signal;
Corresponding to each class indicated by the class information, coefficient data used for calculation of the linear estimation formula for estimating the target pixel is stored, and each corresponds to a different error state of the first image signal. Among the plurality of coefficient data storage units that store the coefficient data of the linear estimation equation, from the one coefficient data storage unit selected based on the error state detected in the third step, in the second step A fourth step of reading out and outputting coefficient data corresponding to the class information to be output;
A fifth step of cutting out a signal of a pixel in a second region located around the target pixel from the first image signal;
Using the above coefficient data output by the fourth step, a signal of the pixels of the fifth said second region cut out in step, and the product-sum operation by the linear estimation equation, the calculation result And a sixth step of outputting the value as the value of the pixel of interest .

In an apparatus for generating coefficient data of a linear estimation equation used when converting a first image signal into a second image signal having a larger number of pixels than the first image signal,
First signal processing means for processing a teacher signal corresponding to the second image signal to obtain a first input signal corresponding to the first image signal;
Second signal processing means for obtaining a second input signal having an error with respect to the pixel by a process of changing a value of at least a predetermined pixel with respect to the first input signal;
A first signal that sequentially forms a signal of a pixel in a first region located around the target pixel from the second input signal , corresponding to each signal of the target pixel that constitutes the teacher signal and is a pixel to be estimated . Pixel cutting means,
Class information is obtained by detecting a level distribution pattern of the signals of the pixels in the first region sequentially cut out by the first pixel cut-out means, and determining a class to which the signal of the pixel of interest belongs based on the pattern. Class decision means for outputting
In response to signal their respective of the target pixel, a second pixel clipping means for sequentially cutting out the signal of the pixel of the second area located to the pixel of interest near than the second input signal,
And class information indicating a class belongs the pixel of interest outputted from said class determination means respectively, and the signal of the target pixel constituting the teacher signal, sequentially cut out the second by the second pixel clipping means A normal equation generating means for generating a normal equation for obtaining the coefficient data for each class from the pixel signals of the region;
Coefficient data generating means, comprising: coefficient data calculating means for solving the normal equation and obtaining coefficient data for each class.

In a method for generating coefficient data of a linear estimation equation used when converting a first image signal into a second image signal having a larger number of pixels than the first image signal,
A first step of processing a teacher signal corresponding to the second image signal to obtain a first input signal corresponding to the first image signal;
A second step of obtaining a second input signal having an error with respect to the pixel by a process of changing a value of at least a predetermined pixel with respect to the first input signal;
Corresponding to the pixel to be estimated are signals their respective pixel of interest as well as constituting the teacher signal, a signal of the pixels in the first area located around the target pixel from the second input signal A third step of cutting out sequentially;
The level distribution pattern of the signal of the pixel in the first region sequentially cut out in the third step is detected, and the class to which the signal of the pixel of interest belongs is determined based on this pattern, and class information is output A fourth step to:
In response to signal their respective of the target pixel, and a fifth step of successively cutting the signal of a pixel in the second region located above the pixel of interest near than the second input signal,
And the target pixel class information indicating a class belonging respectively to be outputted in the fourth step, the signal of the target pixel constituting the teacher signal, sequentially cut out the second regions in the fifth step A sixth step of generating a normal equation for obtaining the coefficient data for each class from the pixel signals of
And a seventh step of obtaining coefficient data for each class by solving the normal equation generated in the sixth step.