JP3792837B2

JP3792837B2 - Deblocking filter

Info

Publication number: JP3792837B2
Application number: JP15342597A
Authority: JP
Inventors: 吉道大塚; 宏一浜田; 英輔中須; 幸博西田; 勝典青木; 菊文神田; 宏和小西; 修水野
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 1997-06-11
Filing date: 1997-06-11
Publication date: 2006-07-05
Anticipated expiration: 2017-06-11
Also published as: JPH114366A

Description

【０００１】
【発明の属する技術分野】
この発明はＤＣＴ（離散的コサイン変換）など直交変換を基幹技術とする高能率符号化画像（圧縮率の高い帯域圧縮画像伝送技術）の復号画像処理技術に係り、特に、符号化効率が高い場合に復号画像に発生するブロック歪やモスキート歪を低減するデブロッキングフィルタ処理技術に関するものである。
【０００２】
【従来の技術】
国際標準化機関であるＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９ＷＧ１１の第４番目の研究フェーズとしてＭＰＥＧ−４があり、超高能率符号化方式の標準化作業が行われている。この研究の中でデブロッキングフィルタの検討も進められている。
【０００３】
このデブロッキングフィルタは未だ検討段階ではあるが、一例をあげれば、図７に太線で示すようなＶＯＰ（Video Object Plane) の境界２１近傍の画素Ａ，Ｂ，Ｃ，Ｄのうち前後の２画素または上下の２画素のみに低域通過処理を施すフィルタである。低域通過フィルタ処理が施される画素は図７において画素ＢとＣで、動き部分の有無とは無関係にそれぞれ値Ｂ₁とＣ₁で置き換えられる。
Ｂ₁＝Ｂ＋Ｙ
Ｃ₁＝Ｃ−Ｙ
だだし、Ｙ＝sign（Ｘ）×Max ｛０，｜Ｘ｜−Max （0, 0.2×｜Ｘ｜−Ｑ_p) ｝ここで例えばMax （0, 0.2×｜Ｘ｜−Ｑ_p）とは０と0.2 ×｜Ｘ｜−Ｑ_pのうち大きい方の値をとるという意味である。
また、Ｘ＝（３Ａ−８Ｂ＋８Ｃ−３Ｄ）／１６
Ｑ_p：量子化パラメータ
sign（Ｘ）はＸの絶対値には無関係に次の値を与える関数である。
Ｘがプラスの値をとる場合は sign（Ｘ）＝＋１
Ｘがマイナスの値をとる場合はsign（Ｘ）＝−１
Ｘがゼロの場合は sign（Ｘ）＝０
【０００４】
一方、画像の動きに応じてフィルタの通過特性を変化させて、画像信号の性質に適応した良質の画像を再生し得るようにしたものとして、例えば、本願人の先の出願になる特開昭５８−２０５３７７号公報記載の「適応型時空間フィルタ」がある。
【０００５】
【発明が解決しようとする課題】
従来の技術で述べたデブロッキングフィルタは、画像のボケ発生防止を重視したため通過帯域を広くしており、ブロックの境界の２画素のみに適用するだけでは大きな効果は期待できなかった。ブロック歪やモスキート歪を効果的に低減するためには、より狭帯域の低域通過フィルタをブロックの境界の２画素だけでなく画素全体にわたって適用する必要がある。しかし、単純に狭帯域の低域通過フィルタを適用したのでは著しく画像がボケてしまう。
【０００６】
一方、画像の動きに応じてフィルタの通過特性を変える従来の動き適応型フィルタでは、動き部分の検出にはフレーム間差が用いられている。これは、内挿補間の画質は専らフレーム間差に依存するからである。しかし、後述するように画像に対する人の視覚特性を利用するためには動き量を動き部分の画面上の移動量としてとらえる必要がある。振幅の大きなエッジと振幅の小さなエッジでは同じ移動量でも異なるフレーム間差となるため、フレーム間差だけを用いてフィルタの通過特性を変える処理をそのままデブロッキングフィルタに適用することはできない。
【０００７】
従って本発明の目的は、これらの問題点を解決しつつ効果的にブロック歪やモスキート歪を低減できるデブロッキングフィルタを提供することにある。
【０００８】
【課題を解決するための手段】
この目的を達成するため、本発明に係るデブロッキングフィルタは、符号化効率が高い場合、その復号画像に発生するブロック歪やモスキート歪を軽減するため、直交変換を使用した高能率符号化伝送による復号画像を入力せしめて画像処理するデブロッキングフィルタにおいて、該フィルタが：入力を共通にする遮断特性の異なる少なくとも一つの低域通過フィルタと；入力画素値と前フレームの同一空間位置の画素値とのフレーム間差の絶対値を入力画素と隣接画素との画素値間差の絶対値で除して画像の動き量を求める手段と；求められた前記画像の動き量に応じ、前記少なくとも一つの低域通過フィルタ出力信号と前記共通の入力信号の中から、動き量が大きいほど通過帯域の狭い信号を選択して出力するよう、画素ごとに適応的に切替処理する信号切替手段と；を具備したことを特徴とするものである。
【０００９】
また、本発明のデブロッキングフィルタは、前記信号切替手段が、前記直交変換の係数の量子化ステップに対応する量子化パラメータを入力とし、前記量子化ステップの減少に伴い最も通過帯域の狭い前記低域通過フィルタの出力信号から順次に前記信号切替手段の選択肢から除外して選択肢の数を減少させるよう、量子化パラメータによる制限を行う制限手段を備える構成とすることができる。
【００１０】
さらにまた、本発明のデブロッキングフィルタは、前記動き量を求める手段が、前記フレーム間差の絶対値が予め定められた零を含まない第１のしきい値以下である場合にそのフレーム間差を零に置き換え、かつ、前記画素値間差の絶対値が予め定められた零を含まない第２のしきい値以下である場合にその画素値間差をその第２のしきい値に置き換えて、または、前記第２のしきい値への置き換えのみを行って、動き量を求める除算をおこなうよう構成することができる。
【００１１】
【発明の実施の形態】
画像に関する人の視覚特性について考察するに、一般的に画像はカメラの蓄積効果により（特別なシャッタを使用しない場合は、カメラは１／６０秒でシャッタを切るシステムと等価であるため蓄積効果が生じる）、動き部分はボケた画像として撮像されるが、視覚的にはボケて見えない。すなわち、視覚特性は、
▲１▼ 動き部分に対し高域強調型の特性をもつ。
さらに同じブロック歪であっても、
▲２▼ 静止部分の固定パターンはあまり目立たず動き部分の固定パターンが目につく。
しかも、符号化の際、ブロック歪やモスキート歪は動き部分に多く発生する。▲１▼は、画像をＶＴＲ等に録画し通常の速度でこれを再生してみるとそれほどボケで見えないのに、スチル再生すると動き部分が著しくボケて見えることで理解できる。▲２▼は、動き部分に発生した固定パターンは動き物体を目が追うことにより相対的に動いて見えるため、▲１▼の性質で高域が強調されることにより目立つようになることで説明できる。
【００１２】
このような視覚の性質を利用し、画像の動き部分の移動量（以下、動き量という）を検出し、動き量の激しい領域で狭い通過帯域の低域通過フィルタ、動きが緩やかになるにつれて徐々に広い通過帯域の低域通過フィルタ、さらに静止部分ではフィルタをかけないという手法を考えた（請求項１）。この手法は、高能率符号化デコーダの量子化パラメータによらず、デブロッキングフィルタ処理をデコーダ処理と独立に施せるという特徴がある。
【００１３】
また、高能率符号化方式による復号画像の画質劣化は原画像の内容に依存する。すなわち、符号化が難しい画像、易しい画像が存在する。符号化が易しい画像では、量子化ステップの細かい量子化処理が行われる確率が高く、ブロック歪やモスキート歪が発生する可能性は小さいため、低域通過フィルタ処理する必要性は小さい。一方、符号化が難しい画像では、量子化ステップの粗い量子化処理が行われる確率が高く、ブロック歪やモスキート歪が発生しやすいため、低域通過フィルタ処理する必要性が大きい。
【００１４】
そこで、デコーダから量子化特性（量子化ステップの細かい量子化を行うか粗い量子化を行うかを示す指標）を表わすパラメータを取り出し、これを用いて低域通過フィルタ処理に制限を設ければ、さらなる効果が期待できる（請求項２）。但し、この手法を用いるには、デコーダから量子化特性を表わすパラメータを出力してこれをデブロッキングフィルタの入力とすることが必要である。
【００１５】
【実施例】
以下添付図面を参照し実施例により本発明の実施の形態を詳細に説明する。
本発明デブロッキングフィルタの第１および第２の実施例を図１および図２にブロック線図として示す。従来技術におけるデブロッキングフィルタはブロック境界を介して隣接する２画素についてのみをフィルタ出力に置き換えていたが、本発明デブロッキングフィルタでは、フィルタをかけない信号（スルー）と遮断特性の異なるＮ個の低域通過フィルタを動き部分の移動量（動き量）により適応的に切り替え、全ての画素をこのフィルタ出力（スルーを含む）で置き換えている。
【００１６】
図１および図２でフィルタ１は最も通過帯域が広い低域通過フィルタ、フィルタ２は２番目に通過帯域が広い低域通過フィルタ、フィルタＮは最も通過帯域が狭い低域通過フィルタであり、動き量検出回路１はフレーム間差と画素間差をベースとした動き量の検出回路、切替器２，３は動き量検出回路出力またはさらに制限回路出力によりフィルタなしとフィルタ群の各出力の中からひとつを選択して出力するための切替器であり、制限回路４は量子化パラメータにより動き量を制限する回路である。
【００１７】
本発明の第１および第２の実施例で用いられている複数のフィルタ（フィルタ群）の構成例を図３に示す。図３は、２のベキ乗を分母とする簡単なフィルタで水平方向のデブロッキングフィルタ群を構成した例である。フィルタなし（フィルタ０）からフィルタ番号が大きくなるに従いより狭帯域なフィルタとなっている。このフィルタ群のインパルスレスポンスすなわちタップ係数を表１に示す。このフィルタ群では、表１の中心タップに相当する処理対象画素をその画素の動き量に応じてフィルタなし（フィルタ０）〜フィルタ７の出力に置き換えている。図３の遅延素子１Ｄ，２Ｄ，４Ｄ，６Ｄ，７Ｄおよび８Ｄはそれぞれ１，２，４，６，７および８画素遅延素子で、＋を丸で囲んだ記号は加算平均回路（加算して２で割る）である。
【表１】

【００１８】
本発明の特徴は、前述したように動き部分の移動量（動き量）に応じて適応的に通過帯域の異なる低域通過フィルタ処理を行う点にあるが、通常のように、動き部分の検出にフレーム間差を用いたのでは、振幅の大きなエッジと振幅の小さなエッジで同じ動きでも異なる値を与えるため、本発明では、動き量がエッジの振幅によらない値となるよう考慮している。
【００１９】
エッジ振幅によらない動きとは動きベクトルに相当する。但し、ここでは動きベクトルの方向は必要なく、動きベクトルの大きさだけが必要である。画素単位に動きベクトルを求める方法の一つに勾配法がある。勾配法とは、図８にその原理を示すように、物体のエッジが移動しているとき、エッジの傾き＝（フレーム間差）／（動き量）すなわち、動き量＝（フレーム間差）／（エッジの傾き）なる関係があることを利用して、動き量をフレーム間差とエッジの傾きの比で求める動きベクトル検出法である。ここで、エッジの傾きとは画素間差であり、このとき、動きベクトルの大きさはフレーム間差と画素間差の比となる。なお、この関係が成り立つには、エッジがなまった波形であることが必要であるが、一般的な画像では動きエッジはカメラの蓄積効果によりなまっているので問題はない。
【００２０】
図８で曲線２２，２３はそれぞれ１フレーム前および現フレームのエッジの波形を表わし、矢印２４は動き量、直線２５，２６はそれぞれフレーム間差およびエッジの傾きを示している。
【００２１】
一般的な勾配法による動きベクトルの表現は、水平、垂直、時間方向の３次元画像の変化（微分）に直交する３次元ベクトルで与えられる。水平ｘ、垂直ｙ、時間ｔの位置における画像の振幅をＡ（ｘ，ｙ，ｔ）で表わすとき、前記３次元ベクトルは、
【数１】

を満たす（Ｘ，Ｙ，Ｔ）で与えられる。通常、動きベクトルは１フレーム当りの値であるため、Ｔ＝１として（Ｘ，Ｙ）を求めればよい。
【００２２】
勾配法による動き量検出はブロック構造をもたず、いわば画素単位で動き量を検出できる長所がある反面、画像の平坦部または緩やかな変化部では、エッジの傾きがゼロまたは小さな値になり、除算の分母がゼロまたは小さな値となる演算が生ずる結果、画像に含まれるノイズの影響を受けやすいという欠点がある。そこで、ここでは次のようなしきい値処理を行いこの欠点を補っている。
【００２３】
・分子であるフレーム差は第１のしきい値以下の小さな値をゼロにする。
・分母であるエッジの傾きは第２のしきい値以下の小さな値はそのしきい値の値に置換する。
【００２４】
これらしきい値は、入力信号のノイズに相当する大きさに応じて予め定めておくが、入力が８ビットで表される一般的画像の場合は、５〜１０位の値が適当であることが経験的に確かめられている。
【００２５】
上記勾配法による水平方向の動き量検出の実施例を図４に示す。ただし、除算はハードウエアになじまず、ＲＯＭを用いたテーブル参照方式が現実的である。この場合２つのしきい値処理と除算をひとつの参照テーブルを用いて行うことができる。
【００２６】
図４で遅延素子２Ｄは２画素遅延素子、１フレーム遅延５は１フレームに相当する時間だけ遅延する回路、絶対値化回路６，７はそれぞれ絶対値を計算する回路、第１のしきい値処理回路８は予め定められた第１のしきい値以下の値を零にする回路、第２のしきい値処理回路９は零でない予め定められた第２のしきい値以下の値をそのしきい値の値とする回路、破線で囲まれた部分１０はＲＯＭで置き換え可能という意味、−を丸でかこんだ記号は減算器、÷を四角でかこんだ記号は第１のしきい値処理回路の出力を第２のしきい値処理回路の出力で割る除算回路、平滑化回路１１は２次元低域通過フィルタによる信号の平滑化処理結果に応じたフィルタ番号を出力する回路である。
【００２７】
上記勾配法で得られた動き量に対し、エッジの連続性とフレーム間差の空間的連続性を考慮して平滑化処理を施すと、さらにノイズに対する耐久性が強くなる。平滑化回路の実施例を図５に示す。平滑化回路は低域通過フィルタで実現でき、ここでは一例として３ライン×５画素の平均をとる２次元低域通過フィルタで構成した例を示した。そして、平滑化回路出力を図１または図２の切り替えるべきフィルタ群（スルーを含む）のフィルタの出力数に合わせるため、ＲＯＭによる第１の非線形処理を施している。図５の非線形処理回路１４はＲＯＭなどの参照テーブルによりフィルタ群の低域通過フィルタの出力数に基づくフィルタ番号を出力する回路である。例えば水平方向のフィルタ群として図３のフィルタ群を用いる場合の非線形処理は、平滑化回路出力を非線形処理回路１４に入力して、フィルタ番号を示すその出力を８レベル、すなわち、３ビットとする処理である。非線形処理回路１４で具体的にどのような入出力の対応関係を持たせるかはシステムに応じて実験的に定めればよい。但し、静止部分ではフィルタをスルーにすることが好ましい。
【００２８】
図５で遅延素子１Ｄ，１Ｈはそれぞれ１画素および１ライン遅延素子、加算平均回路１２，１３はそれぞれ信号の加算平均を行う回路、非線形処理回路１４はＲＯＭなどの参照テーブルによりフィルタ群の低域通過フィルタの出力数に合わせたフィルタ番号を出力する回路である。
【００２９】
次に復号画像の画質が原画像に依存することを利用したデブロッキングフィルタについて説明する。
ブロック歪やモスキート歪は原画像の内容に依存し、符号化が易しい画像では量子化ステップの細かい量子化処理が行われる確率が高く、これらの歪みは発生し難い。そこで、ＤＣＴなどの直交変換係数を量子化する量子化特性を表わすパラメータが、高能率符号化装置のデコーダから得られる場合に、このパラメータを利用して切り替えるべきフィルタ群の選択肢を制限することを考えた。
【００３０】
ここで、前述したように量子化パラメータは細かい量子化を行うか粗い量子化を行うかを示す指標であり、例えば、ＭＰＥＧ−２ビデオコーディング勧告ＩＳＯ／ＩＥＣ１３８１８−２の場合では、量子化パラメータとしてｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ＿ｃｏｄｅやｑｕａｎｔｉｚｅｒ＿ｓｃａｌｅを用いることができる。
【００３１】
実施例を図６に示す。図６では、量子化パラメータを入力してＲＯＭによる第２の非線形処理を施すようにした実施例を示した。この実施例では、図３のフィルタ群および図５の平滑化回路を用いることを前提に、非線形処理回路１５の出力を８レベルすなわち３ビットとし、切り替えるべきフィルタ群のフィルタの出力数に合わせている。そして、非線形処理回路１５は、量子化パラメータの入力に応じて、量子化ステップの減少に伴い、選技し得る低域通過フィルタの最大のフィルタ番号を予め実験的に求めた対応関係に基づき減少させた上で、その最大のフィルタ番号を出力する。次に、最小値選択回路１６で、図５の動き量から得られたフィルタ番号と量子化パラメータから得られたフィルタ番号のうち、小さい方のフィルタ番号を出力する。こうすることにより、符号化がし易い画像（量子化ステップが細かい画像）では動き量が大きくても通過帯域の広い低域通過フィルタ（図３でフィルタ番号の小さい低域通過フィルタ）により処理がなされ、必要以上に画質劣化を招くことを防止することができる。図６の非線形処理回路１５も非線形処理回路１４とおなじくＲＯＭなどの参照テーブルを用いてフィルタ群の低域通過フィルタの出力数に合わせた制限後のフィルタ番号を出力するよう構成することができる。
【００３２】
以上本発明の実施の形態をいくつかの実施例により説明してきたが、本発明はこれら実施例に限定されることなく、発明の要旨内で各種の変形、変更が可能である。
【００３３】
例えば、本発明の実施例は水平方向のデブロッキングフィルタを例に述べたが、垂直方向のデブロッキングフィルタも画素遅延をライン遅延に、ライン遅延を画素遅延に置き換えて実現できる。実際には、水平方向のデブロッキングフィルタと垂直方向のデブロッキングフィルタをカスケードに接続して用いることになる。但し、垂直方向ブロック歪やモスキート歪は、テレビジョン画面が走査線構造を持つことから水平方向に比較して目立たない。このため、垂直方向の低域通過フィルタは水平方向の低域通過フィルタより広帯域でよい。また、切り替えて用いるフィルタの数も少なくてよい。
【００３４】
本発明実施の形態は、図３、表１に示す７種類の低域通過フィルタ（＋スルー）で実施する場合を例に説明したが、フィルタの個数は少なくともひとつ以上（スルーを含めて２つ以上）あればよく、その数と構成は問わない。
【００３５】
また、本発明実施の形態では、動き量の計算にあたり、分子であるフレーム差に第１のしきい値処理を施す例を説明したが、この場合の第１のしきい値の値はゼロであってもよい。すなわち、第１のしきい値処理は行わなくてもよい。
【００３６】
さらに、本発明実施の形態では、３ライン５画素の２次元低域通過フィルタで平滑化処理を行う例を説明したが、他の平滑化処理の手法として任意のタップ長の論理フィルタによるもの、低域通過フィルタによるもの、また、この両者のカスケード接続によるものなどが考えられる。
【００３７】
【発明の効果】
本発明は、ＤＣＴなど直交変換を基幹技術とする高能率符号化装置のデコーダにおいて符号化効率が高い場合に発生するブロック歪やモスキート歪を低減するデブロッキングフィルタに係わり、画像の動き量を検出して、動いている部分で狭い通過帯域の低域通過フィルタ、動きが遅くなるにつれてより広い通過帯域の低域通過フィルタ、さらに、静止部分はフィルタをスルーにするようデブロッキングフィルタを構成した。その結果、画像の静止部分ではフィルタ処理が施されず、動きが速くなるに従って次第に狭い通過帯域の低域通過フィルタ処理が画素ごとに施されるため、視覚特性を利用したデブロッキングフィルタ処理が実現でき、ボケ感を生ずることなく、効果的にブロック歪やモスキート歪を低減できるようになった。
【図面の簡単な説明】
【図１】本発明第１の実施例構成ブロック線図
【図２】本発明第２の実施例構成ブロック線図
【図３】フィルタ群の構成例ブロック線図
【図４】動き量検出回路の実施例構成ブロック線図
【図５】平滑化回路の実施例構成ブロック線図
【図６】量子化パラメータによる制限回路の実施例構成ブロック線図
【図７】従来技術におけるデブロッキングフィルタを説明する図
【図８】勾配法による動きベクトル検出の原理を説明する図
【符号の説明】
１動き量検出回路
２，３切替器
４制限回路
５１フレーム遅延
６，７絶対値化回路
８第１のしきい値処理回路
９第２のしきい値処理回路
10 ＲＯＭ（リードオンリメモリ）
11 平滑化回路
12，13 加算平均回路
14，15 非線形処理回路
16 最小値選択回路[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a decoded image processing technique of a high-efficiency coded image (band compression image transmission technique with a high compression ratio) using orthogonal transform as a basic technique such as DCT (discrete cosine transform), and particularly when coding efficiency is high. The present invention relates to a deblocking filter processing technique for reducing block distortion and mosquito distortion generated in a decoded image.
[0002]
[Prior art]
MPEG-4 is the fourth research phase of ISO / IEC JTC1 / SC29 WG11, which is an international standardization organization, and standardization work for an ultra-high efficiency coding method is being performed. The deblocking filter is also being studied in this research.
[0003]
Although this deblocking filter is still in the examination stage, as an example, the two pixels before and after the pixels A, B, C, and D in the vicinity of the boundary 21 of the VOP (Video Object Plane) as shown by a thick line in FIG. Alternatively, it is a filter that performs low-pass processing on only the upper and lower two pixels. The pixels to which the low-pass filter processing is applied are pixels B and C in FIG. 7, and are replaced by values B ₁ and C ₁ , respectively, regardless of the presence or absence of a moving part.
B ₁ = B + Y
C ₁ = C−Y
However, Y = sign (X) × Max {0, | X | −Max (0, 0.2 × | X | −Q _p )} where, for example, Max (0, 0.2 × | X | −Q _p ) It means that the larger one of 0 and 0.2 × | X | −Q _p is taken.
Also, X = (3A-8B + 8C-3D) / 16
Q _p : quantization parameter
sign (X) is a function that gives the following value regardless of the absolute value of X.
If X takes a positive value, sign (X) = +1
When X takes a negative value, sign (X) = − 1
Sign (X) = 0 if X is zero
[0004]
On the other hand, it is possible to reproduce a high-quality image adapted to the characteristics of the image signal by changing the pass characteristic of the filter in accordance with the movement of the image. There is an “adaptive space-time filter” described in Japanese Patent No. 58-205377.
[0005]
[Problems to be solved by the invention]
Since the deblocking filter described in the prior art emphasizes prevention of blurring of an image, the passband is widened, and a large effect cannot be expected only by applying to only two pixels at the block boundary. In order to effectively reduce block distortion and mosquito distortion, it is necessary to apply a narrow band low-pass filter not only to the two pixels at the block boundary but also to the entire pixel. However, if a narrow band low-pass filter is simply applied, the image is significantly blurred.
[0006]
On the other hand, in a conventional motion adaptive filter that changes the pass characteristics of a filter in accordance with the motion of an image, an inter-frame difference is used to detect a motion portion. This is because the image quality of interpolation is mainly dependent on the difference between frames. However, as will be described later, in order to use the visual characteristics of a person with respect to an image, it is necessary to capture the amount of movement as the amount of movement of the moving part on the screen. Since an edge with a large amplitude and an edge with a small amplitude have different frame differences even with the same movement amount, the process of changing the pass characteristics of the filter using only the frame difference cannot be applied to the deblocking filter as it is.
[0007]
Accordingly, an object of the present invention is to provide a deblocking filter that can effectively reduce block distortion and mosquito distortion while solving these problems.
[0008]
[Means for Solving the Problems]
In order to achieve this object, the deblocking filter according to the present invention uses high-efficiency encoded transmission using orthogonal transform to reduce block distortion and mosquito distortion that occur in the decoded image when the encoding efficiency is high. In a deblocking filter that inputs a decoded image and performs image processing, the filter includes: at least one low-pass filter having a common cutoff characteristic and having a common input; an input pixel value and a pixel value at the same spatial position in the previous frame; Means for dividing the absolute value of the inter-frame difference by the absolute value of the difference between the pixel values of the input pixel and the adjacent pixel to obtain an amount of motion of the image; according to the obtained amount of motion of the image, the at least one The low pass filter output signal and the common input signal are adaptive for each pixel so that a signal with a narrow pass band is selected and output as the amount of motion increases. It is characterized in that comprising a; and signal switching means for exchange processing.
[0009]
In the deblocking filter of the present invention, the signal switching unit receives a quantization parameter corresponding to the quantization step of the coefficient of the orthogonal transform, and the low-passage band having the narrowest passband as the quantization step decreases. It can be configured to include a limiting means for limiting by the quantization parameter so as to reduce the number of options by excluding from the options of the signal switching means sequentially from the output signal of the pass filter.
[0010]
Furthermore, the deblocking filter according to the present invention provides the inter-frame difference when the means for obtaining the amount of motion is equal to or less than a first threshold value that does not include a predetermined zero as the absolute value of the inter-frame difference. Is replaced with zero, and when the absolute value of the difference between the pixel values is equal to or less than a predetermined second threshold value not including zero, the difference between the pixel values is replaced with the second threshold value. Alternatively, only the replacement with the second threshold value is performed, and the division for obtaining the motion amount can be performed.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Considering human visual characteristics related to images, images are generally accumulated by the accumulation effect of the camera (when a special shutter is not used, the accumulation effect is not obtained because the camera is equivalent to a system that releases the shutter in 1/60 second). Occurs), the moving part is captured as a blurred image, but is visually invisible. That is, the visual characteristics are
(1) Has high frequency emphasis on the moving part.
Even with the same block distortion,
(2) The stationary part fixed pattern is not so conspicuous and the moving part fixed pattern is noticeable.
In addition, during encoding, block distortion and mosquito distortion frequently occur in the moving part. (1) can be understood by recording an image on a VTR or the like and reproducing it at a normal speed, but it is not so blurred, but the moving part appears to be significantly blurred when still reproduced. (2) is explained by the fact that the fixed pattern generated in the moving part appears to move relatively as the eyes follow the moving object, so that the high frequency is emphasized by the nature of (1). it can.
[0012]
Using such visual properties, the amount of movement of the moving part of the image (hereinafter referred to as the amount of movement) is detected, and a low-pass filter with a narrow passband in a region where the amount of movement is intense. In addition, a low pass filter having a wide pass band and a method in which no filter is applied in a stationary part have been considered (claim 1). This method is characterized in that the deblocking filter process can be performed independently of the decoder process regardless of the quantization parameter of the high-efficiency encoding decoder.
[0013]
Further, the image quality degradation of the decoded image by the high efficiency coding method depends on the contents of the original image. That is, there are images that are difficult to encode and images that are easy to encode. An image that is easy to encode has a high probability that a quantization process with a fine quantization step will be performed, and the possibility of occurrence of block distortion or mosquito distortion is low. Therefore, the necessity for low-pass filter processing is small. On the other hand, an image that is difficult to encode has a high probability that a quantization process with a coarse quantization step will be performed, and block distortion and mosquito distortion are likely to occur, so there is a great need for low-pass filtering.
[0014]
Therefore, if a parameter representing a quantization characteristic (an index indicating whether to perform fine quantization or coarse quantization in a quantization step) is extracted from the decoder, and using this to set a limit on low-pass filter processing, Further effects can be expected (claim 2). However, in order to use this method, it is necessary to output a parameter representing the quantization characteristic from the decoder and use it as an input to the deblocking filter.
[0015]
【Example】
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
First and second embodiments of the deblocking filter of the present invention are shown as block diagrams in FIGS. The deblocking filter in the prior art replaces only two pixels adjacent to each other through the block boundary with the filter output. However, in the deblocking filter of the present invention, N signals having different cutoff characteristics from the signal not to be filtered (through). The low-pass filter is adaptively switched according to the movement amount (motion amount) of the moving part, and all the pixels are replaced with this filter output (including through).
[0016]
1 and 2, filter 1 is a low-pass filter with the widest pass band, filter 2 is a low-pass filter with the second widest pass band, and filter N is a low-pass filter with the narrowest pass band. The amount detection circuit 1 is a motion amount detection circuit based on the inter-frame difference and the inter-pixel difference, and the

switches

2 and 3 are selected from the outputs of the filter group and the filter group without the filter by the output of the motion amount detection circuit or further the limit circuit. The switching circuit is a switch for selecting and outputting one, and the limiting circuit 4 is a circuit for limiting the amount of motion by a quantization parameter.
[0017]
A configuration example of a plurality of filters (filter groups) used in the first and second embodiments of the present invention is shown in FIG. FIG. 3 shows an example in which a horizontal deblocking filter group is configured by a simple filter having a power of 2 as a denominator. As the filter number increases from no filter (filter 0), the filter becomes narrower. Table 1 shows the impulse response of this filter group, that is, the tap coefficient. In this filter group, the processing target pixel corresponding to the center tap in Table 1 is replaced with the output of no filter (filter 0) to filter 7 in accordance with the amount of motion of the pixel. The delay elements 1D, 2D, 4D, 6D, 7D and 8D in FIG. 3 are 1, 2, 4, 6, 7 and 8 pixel delay elements, respectively, and the symbol circled with + is an averaging circuit (added to 2 Divide by).
[Table 1]

[0018]
As described above, the present invention is characterized in that the low-pass filter processing having different pass bands is adaptively performed according to the movement amount (motion amount) of the moving part as described above. When the difference between frames is used, since different values are given even with the same motion between an edge with a large amplitude and an edge with a small amplitude, the present invention takes into consideration that the amount of motion is a value that does not depend on the amplitude of the edge. .
[0019]
The motion that does not depend on the edge amplitude corresponds to a motion vector. However, the direction of the motion vector is not necessary here, and only the magnitude of the motion vector is necessary. One of the methods for obtaining a motion vector for each pixel is a gradient method. As shown in FIG. 8, the gradient method means that when the edge of an object is moving, the gradient of the edge = (difference between frames) / (motion amount), that is, the motion amount = (difference between frames) / This is a motion vector detection method that obtains the amount of motion by the ratio of the difference between frames and the inclination of the edge by utilizing the relationship (edge inclination). Here, the slope of the edge is a difference between pixels. At this time, the magnitude of the motion vector is a ratio of the difference between frames and the difference between pixels. In order to establish this relationship, the waveform needs to have a rounded edge. However, in a general image, there is no problem because the moving edge is rounded by the accumulation effect of the camera.
[0020]
In FIG. 8, curves 22 and 23 represent the waveforms of the edges of the previous frame and the current frame, respectively, arrow 24 indicates the amount of motion, and

straight lines

25 and 26 indicate the inter-frame difference and the edge slope, respectively.
[0021]
A motion vector expression by a general gradient method is given by a three-dimensional vector orthogonal to a change (differentiation) of a three-dimensional image in the horizontal, vertical and temporal directions. When the amplitude of the image at the position of horizontal x, vertical y, and time t is represented by A (x, y, t), the three-dimensional vector is
[Expression 1]

(X, Y, T) satisfying Usually, since the motion vector is a value per frame, (X, Y) may be obtained with T = 1.
[0022]
Motion detection by the gradient method does not have a block structure, so it has the advantage that it can detect the amount of motion in units of pixels, but in the flat part or slowly changing part of the image, the slope of the edge becomes zero or small value, As a result of an operation in which the denominator of division is zero or a small value, there is a drawback that it is easily affected by noise included in the image. Therefore, here, the following threshold processing is performed to compensate for this drawback.
[0023]
-The frame difference which is a numerator makes a small value below the first threshold zero.
The inclination of the edge that is the denominator is replaced with a value that is smaller than the second threshold value.
[0024]
These threshold values are determined in advance according to the magnitude corresponding to the noise of the input signal. However, in the case of a general image in which the input is represented by 8 bits, a value of about 5 to 10 is appropriate. Has been confirmed empirically.
[0025]
FIG. 4 shows an example of horizontal motion amount detection by the gradient method. However, division is not compatible with hardware, and a table reference method using a ROM is realistic. In this case, two threshold processes and division can be performed using one reference table.
[0026]
In FIG. 4, the delay element 2D is a two-pixel delay element, the one-frame delay 5 is a circuit that delays by a time corresponding to one frame, the

absolute value circuits

6 and 7 are circuits that calculate absolute values, and a first threshold value. The processing circuit 8 is a circuit that zeros a value that is less than or equal to a predetermined first threshold value, and the second threshold value processing circuit 9 is a value that is not equal to a predetermined second threshold value that is not zero. Circuit for threshold value, meaning that portion 10 surrounded by broken line can be replaced by ROM, symbol with-in circles is a subtractor, symbol with ÷ in squares is first threshold processing A division circuit for smoothing the output of the circuit by the output of the second threshold processing circuit, and the smoothing circuit 11 are circuits for outputting a filter number corresponding to the result of the smoothing processing of the signal by the two-dimensional low-pass filter.
[0027]
When the smoothing process is applied to the motion amount obtained by the gradient method in consideration of the edge continuity and the spatial continuity of the inter-frame difference, durability against noise is further enhanced. An embodiment of the smoothing circuit is shown in FIG. The smoothing circuit can be realized by a low-pass filter, and here, as an example, an example in which the smoothing circuit is configured by a two-dimensional low-pass filter that takes an average of 3 lines × 5 pixels is shown. Then, in order to match the smoothing circuit output to the output number of filters of the filter group (including through) to be switched in FIG. 1 or FIG. 2, first non-linear processing is performed by the ROM. The non-linear processing circuit 14 in FIG. 5 is a circuit that outputs a filter number based on the number of outputs of the low-pass filters of the filter group using a reference table such as a ROM. For example, in the case of using the filter group of FIG. 3 as the horizontal filter group, the smoothing circuit output is input to the nonlinear processing circuit 14, and the output indicating the filter number is set to 8 levels, that is, 3 bits. It is processing. What specific input / output correspondence relationship the nonlinear processing circuit 14 has may be determined experimentally according to the system. However, it is preferable to make the filter through in the stationary part.
[0028]
In FIG. 5, delay elements 1D and 1H are one-pixel and one-line delay elements,

addition averaging circuits

12 and 13 are circuits that perform addition averaging of signals, and nonlinear processing circuit 14 is a low-frequency filter group using a reference table such as a ROM. This circuit outputs a filter number that matches the number of outputs of the pass filter.
[0029]
Next, a deblocking filter using the fact that the image quality of the decoded image depends on the original image will be described.
Block distortion and mosquito distortion depend on the contents of the original image, and an image that is easy to encode has a high probability that a quantization process with a fine quantization step will be performed, and these distortions hardly occur. Therefore, when a parameter representing a quantization characteristic for quantizing an orthogonal transform coefficient such as DCT is obtained from a decoder of a high-efficiency encoding device, it is possible to use this parameter to limit the choice of filter groups to be switched. Thought.
[0030]
Here, as described above, the quantization parameter is an index indicating whether to perform fine quantization or coarse quantization. For example, in the case of MPEG-2 video coding recommendation ISO / IEC 13818-2, the quantization parameter is used. Quantizer_scale_code and quantizer_scale can be used.
[0031]
An embodiment is shown in FIG. FIG. 6 shows an embodiment in which the quantization parameter is input and the second nonlinear processing is performed by the ROM. In this embodiment, assuming that the filter group of FIG. 3 and the smoothing circuit of FIG. 5 are used, the output of the non-linear processing circuit 15 is set to 8 levels, that is, 3 bits, in accordance with the number of outputs of the filter of the filter group to be switched. Yes. Then, the non-linear processing circuit 15 decreases the maximum filter number of the low-pass filter that can be selected based on the correspondence relationship obtained experimentally in advance as the quantization step decreases in accordance with the input of the quantization parameter. And output the maximum filter number. Next, the minimum value selection circuit 16 outputs the smaller filter number of the filter number obtained from the motion amount of FIG. 5 and the filter number obtained from the quantization parameter. In this way, an image that is easy to encode (an image with a fine quantization step) can be processed by a low-pass filter having a wide pass band (a low-pass filter having a small filter number in FIG. 3) even if the amount of motion is large. It is possible to prevent the image quality from being deteriorated more than necessary. The non-linear processing circuit 15 of FIG. 6 can also be configured to output a filter number after restriction according to the number of outputs of the low-pass filter of the filter group using a reference table such as a ROM similar to the non-linear processing circuit 14.
[0032]
Although the embodiments of the present invention have been described with some examples, the present invention is not limited to these examples, and various modifications and changes can be made within the scope of the invention.
[0033]
For example, although the embodiment of the present invention has been described by taking the horizontal deblocking filter as an example, the vertical deblocking filter can also be realized by replacing the pixel delay with a line delay and the line delay with a pixel delay. In practice, a horizontal deblocking filter and a vertical deblocking filter are connected in cascade. However, the vertical block distortion and mosquito distortion are not noticeable compared to the horizontal direction because the television screen has a scanning line structure. For this reason, the low-pass filter in the vertical direction may have a wider bandwidth than the low-pass filter in the horizontal direction. Further, the number of filters used by switching may be small.
[0034]
Although the embodiment of the present invention has been described by taking as an example the case of implementation with the seven types of low-pass filters (+ through) shown in FIG. 3 and Table 1, the number of filters is at least one (two including the through). The number and configuration are not limited.
[0035]
In the embodiment of the present invention, the example in which the first threshold value process is performed on the frame difference that is the numerator in calculating the motion amount has been described. However, the value of the first threshold value in this case is zero. There may be. That is, the first threshold value process need not be performed.
[0036]
Furthermore, in the embodiment of the present invention, an example in which smoothing processing is performed with a three-line five-pixel two-dimensional low-pass filter has been described. However, as another smoothing processing method, a logical filter having an arbitrary tap length, A low-pass filter or a cascade connection between the two can be considered.
[0037]
【The invention's effect】
The present invention relates to a deblocking filter that reduces block distortion and mosquito distortion that occur when coding efficiency is high in a decoder of a high-efficiency encoding apparatus that uses orthogonal transform as a core technology, such as DCT, and detects the amount of motion of an image. A low-pass filter having a narrow passband in the moving part, a low-pass filter having a wider passband as the movement becomes slower, and a deblocking filter in which the filter passes through the stationary part. As a result, filter processing is not performed on the static part of the image, and low-pass filter processing with a narrow passband is performed for each pixel as the movement speeds up, thus realizing deblocking filter processing using visual characteristics. The block distortion and the mosquito distortion can be effectively reduced without causing blurring.
[Brief description of the drawings]
1 is a block diagram of a configuration of a first embodiment of the present invention. FIG. 2 is a block diagram of a configuration of a second embodiment of the present invention. FIG. 3 is a block diagram of a configuration example of a filter group. FIG. 5 is a block diagram of an embodiment of a smoothing circuit. FIG. 6 is a block diagram of an embodiment of a limiting circuit based on a quantization parameter. FIG. Fig. 8 illustrates the principle of motion vector detection by the gradient method.
DESCRIPTION OF SYMBOLS 1 Motion

amount detection circuit

2, 3 Switch 4 Limit circuit 5 1

frame delay

6, 7 Absolute value conversion circuit 8 1st threshold value processing circuit 9 2nd threshold value processing circuit
10 ROM (Read Only Memory)
11 Smoothing circuit
12, 13 Addition averaging circuit
14, 15 Nonlinear processing circuit
16 Minimum value selection circuit

Claims

In a deblocking filter that inputs a decoded image by high-efficiency encoded transmission using orthogonal transform and reduces the block distortion and mosquito distortion that occur in the decoded image when the encoding efficiency is high, Is: at least one low-pass filter having a common cutoff characteristic and having a common input; an absolute value of an inter-frame difference between an input pixel value and a pixel value at the same spatial position in the previous frame as a pixel between the input pixel and an adjacent pixel Means for determining the amount of motion of the image by dividing by the absolute value of the difference between the values; according to the determined amount of motion of the image, from the at least one low-pass filter output signal and the common input signal; And a signal switching means for adaptively switching each pixel so as to select and output a signal having a narrower passband as the amount of motion increases. Ring filter.

The signal switching means inputs a quantization parameter corresponding to a quantization step of the coefficient of the orthogonal transform, and sequentially outputs the output signal of the low-pass filter having the narrowest passband as the quantization step decreases. The deblocking filter according to claim 1, further comprising a limiting unit that performs a limitation by a quantization parameter so as to reduce the number of options by excluding from the options of the signal switching unit.

The means for determining the amount of motion replaces the inter-frame difference with zero when the absolute value of the inter-frame difference is equal to or less than a first threshold value not including a predetermined zero, and between the pixel values When the absolute value of the difference is equal to or less than a second threshold not including a predetermined zero, the difference between the pixel values is replaced with the second threshold, or the second threshold The deblocking filter according to claim 1, wherein the division is performed by performing only division to obtain a motion amount.

4. The deblocking filter according to claim 3, wherein the means for obtaining the amount of motion further comprises a smoothing processing means for performing a smoothing process on the division result.