JP2018513571A - ビデオピクチャを符号化および復号する方法および装置 - Google Patents

Abstract

ビデオピクチャをビデオビットストリームに符号化するエンコーダ（４０）で実行される方法（２０）であって、参照ピクチャ（７；１１、１２）のノイズ除去バージョン（７’；１１’、１２’）を取得すること（２１）と、マッチング手順を少なくとも１回実行すること（２２）であり、マッチング手順が、参照ピクチャ（７；１１、１２）の参照マッチング領域（４；１４、１５）を第２のピクャ（６；１２、１１）のマッチング領域（３；１５、１４）にマッチさせることと、ノイズ除去バージョン（７’；１１’、１２’）の参照マッチング領域（４’；１４’、１５’）を第２のピクチャ（６；１２、１１）のマッチング領域（３；１５、１４）にマッチさせることとを含む、実行すること（２２）と、現在のピクチャ（６；１３）のブロック（２；１６）を、そのブロック（２；１６）に対して、参照ピクチャ（７；１１、１２）の第１の参照領域（５；１４、１５）に基づく第１の予測領域またはノイズ除去バージョン（７’；１１’、１２’）の第２の参照領域（５’；１４’、１５’）に基づく第２の予測領域を選択することにより符号化すること（２３）であり、第２のピクチャ（６；１２、１１）の対応するマッチング領域（３；１５、１４）に対するマッチング誤差が最小である予測領域が選択されること（２３）とを含む方法（２０）が開示される。デコーダ（５０）での対応する方法（３０）が開示され、エンコーダ（４０）、デコーダ（５０）、コンピュータプログラム、およびコンピュータプログラム製品がさらに開示される。【選択図】図５

Description

本明細書で開示される技術は、一般的にはデジタル画像処理の分野に関し、詳細にはビデオピクチャを符号化する方法、エンコーダ、ビデオピクチャを復号する方法、デコーダ、ならびに関連するコンピュータプログラムおよびコンピュータプログラム製品に関する。

高効率ビデオ符号化（ＨＥＶＣ）は、時間予測と空間予測の両方を利用する、標準化されたブロックベースのビデオコーデックである。空間予測は、現在のピクチャ内からのイントラ予測を使用して実現され、時間予測は、以前に復号された参照ピクチャからのブロックレベルのインター予測または双方向インター予測を使用して実現される。残差（または予測誤差）と呼ばれる、元のピクセルデータと予測されたピクセルデータとの間の差異は、周波数領域に変換され、たとえばコンテキスト適応型可変長符号化（ＣＡＶＬＣ）またはコンテキスト適応型二値算術符号化（ＣＡＢＡＣ）を使用して量子化およびエントロピー符号化される。その後、残差は、モード選択や動きベクトル（すべてエントロピー符号化されている）などの必要な予測パラメータと共に、受け手側のデコーダに伝送される。変換された残差を量子化することで、ビデオのビットレートと品質との間のトレードオフが制御され得、その際に、量子化のレベルが量子化パラメータ（ＱＰ）により判断される。受け手側のデコーダは、エントロピー復号、逆量子化、および逆変換を実行して残差を取得する。次にデコーダは、ピクチャを再構築するために、イントラ予測またはインター予測に残差を追加する。

国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）のビデオ符号化専門家グループ（ＶＣＥＧ）は、ＨＥＶＣの後継の開発を近年になって開始した。最初の検証段階では、キーテクニカルエリア（ＫＴＡ）と呼ばれる実験用ソフトウェアコーデックが使用されている。ＫＴＡは、ＨＥＶＣの基準コーデックソフトウェアであるＨＥＶＣテストモデル（ＨＭ）に基づいている。

ＫＴＡソフトウェアで提案および包含されているツールの１つは、フレームレートアップコンバージョン（ＦＲＵＣ）である。ＦＲＵＣツールは、動き情報をデコーダ側で導き出す動き予測ツールである。ＦＲＵＣには、テンプレートマッチングとバイラテラルマッチングの２つの異なるモードがある。

図１は、テンプレートマッチングの原理を示す。テンプレートマッチングは、テンプレート画像にマッチする画像の小部分を見つけるデジタル画像処理技法である。現在のピクチャの現在のブロックＢが復号されるため、検索画像（テンプレートＡ）が選択される。デコーダは、現在のピクチャ（Ｃｕｒ Ｐｉｃと図示）の現在のブロックＢに隣接するテンプレート領域Ａを、参照ピクチャ（Ｒｅｆ０と図示）の同じテンプレート領域Ａとマッチさせることにより、動きベクトルを導き出す。最良にマッチするテンプレート領域を含む、参照ピクチャＲｅｆ０の予測領域が、現在のブロックＢの予測として選択される。

図２は、バイラテラルマッチングの原理を示す。バイラテラルマッチングでは、前のピクチャ（Ｒｅｆ０）および後のピクチャ（Ｒｅｆ１）からブロック（またはピクチャ）が予測される。参照ピクチャ（Ｒｅｆ０およびＲｅｆ１）の２つのブロック間の現在のブロック（Ｃｕｒ ｂｌｏｃｋと図示）に沿った連続的な動作軌道（図では点線で示されている）が推測されて、直線運動がモデル化される。現在のブロックと最良にマッチするブロックとの間の変位が、動きベクトルである。前のピクチャＲｅｆ０と現在のピクチャＣｕｒＰｉｃ（これらのピクチャは時間差ＴＤ０を有する）の間の動きベクトルがＭＶ０で示されており、現在のピクチャＣｕｒＰｉｃと後のピクチャＲｅｆ１（これらのピクチャは時間差ＴＤ１を有する）の間の動きベクトルがＭＶ１で示されている。動きベクトルＭＶ０およびＭＶ１は、時間差ＴＤ０およびＴＤ１に比例する。予測誤差を最小化する動作軌道に沿った動きベクトルが選択され、対応する参照予測ブロックが現在のピクチャＣｕｒＰｉｃの現在のブロックの予測を内挿（または外挿）するために使用される。

デジタルカメラまたは従来型のフィルムカメラでキャプチャされた自然画像は、画像センサのピクセル当たり光子数の低さや、カメラ内の埃など、さまざまなソースからノイズを拾う。さらに、ノイズにはいくつかの種類がある。たとえば、ごま塩ノイズは、ピクセルがその周囲のピクセルと強度または色の点で大きく異なることを特徴とする。これに対し、別の種類のノイズであるガウスノイズは、各ピクセルのノイズが、典型的には、元の値または意図された値に比べてわずかに変化するだけである。

ノイズが入った画像は、テンプレートマッチングとバイラテラルマッチングの両方で、予測精度を悪化させる可能性がある。これは、ピクセルのノイズがピクチャ間で変わる傾向があるからである。前処理工程でのビデオのノイズ除去は、この問題に対処する方法の１つであるが、一方のノイズ除去の量と、他方の細部のレベルとのバランスをとるのは難しい。ピクチャが同じ領域で過剰にノイズ除去され、実際の細部が取り除かれる恐れがある。

この問題に対処するもう１つの方法は、エンコーダ側でノイズ除去フィルタのフィルタ強度のレート歪みを決定し、フィルタ強度をビットストリームでシグナリングすることである。ただし、この方法では追加のビットが必要となり、圧縮効率に悪影響が出る。

よって、取り除くことができるノイズの量と、維持できる細部のレベルとの間にトレードオフが存在し、適切なバランスを見つけるのが困難である。

本教示の目的は、上述した問題に対処し、特にテンプレートマッチング法やバイラテラルマッチング法などのマッチング方法で、予測精度を向上させることである。

目的は、態様によると、ビデオピクチャをビデオビットストリームに符号化するエンコーダで実行される方法によって達成される。この方法は、参照ピクチャのノイズ除去バージョンを取得することと、マッチング手順を少なくとも１回実行することであり、マッチング手順が、参照ピクチャの参照マッチング領域を第２のピクチャのマッチング領域にマッチさせることと、ノイズ除去バージョンの参照マッチング領域を第２のピクチャのマッチング領域にマッチさせることとを含むマッチング手順を実行することと、現在のピクチャのブロックを、そのブロックに対して、参照ピクチャの第１の参照領域に基づく第１の予測領域またはノイズ除去バージョンの第２の参照領域に基づく第２の予測領域を選択することにより符号化することであり、第２のピクチャの対応するマッチング領域に対するマッチング誤差が最小である予測領域が選択される符号化することとを含む。

この方法の利点は、ノイズを除去するために、参照ピクチャの参照領域および／または現在のブロックのテンプレート領域にノイズ除去フィルタを適用してからマッチングを実行することで、テンプレートマッチングおよびバイラテラルマッチングの予測が向上することである。デコーダ側のマッチングの予測が向上すると、圧縮効率が向上することを意味する。なぜなら、エンコーダとデコーダの両方でマッチング検索が実行される場合に、余分なシグナリングが不要だからである。

目的は、態様によると、ビデオピクチャをビデオビットストリームに符号化するエンコーダ用のコンピュータプログラムにより達成される。このコンピュータプログラムは、エンコーダの少なくとも１つのプロセッサで実行されたときに、上述した方法をエンコーダに実行させるコンピュータプログラムコードを含む。

目的は、態様によると、上述したコンピュータプログラムと、そのコンピュータプログラムが格納されるコンピュータ可読手段とを備えるコンピュータプログラム製品により達成される。

目的は、態様によると、ビデオピクチャをビデオビットストリームに符号化するエンコーダにより達成される。このエンコーダは、参照ピクチャのノイズ除去バージョンを取得し、参照ピクチャの参照マッチング領域を第２のピクチャのマッチング領域にマッチさせることと、ノイズ除去バージョンの参照マッチング領域を第２のピクチャのマッチング領域にマッチさせることとを含むマッチング手順を、少なくとも１回実行し、現在のピクチャのブロックを、そのブロックに対して、参照ピクチャの第１の参照領域に基づく第１の予測領域またはノイズ除去バージョンの第２の参照領域に基づく第２の予測領域を選択することにより符号化し、第２のピクチャの対応するマッチング領域に対するマッチング誤差が最小である予測領域が選択されるように構成される。

目的は、態様によると、ビデオビットストリームからビデオピクチャを復号するデコーダで実行される方法により達成される。この方法は、参照ピクチャのノイズ除去バージョンを取得することと、マッチング手順を少なくとも１回実行することであり、マッチング手順が、参照ピクチャの参照マッチング領域を第２のピクチャのマッチング領域にマッチさせることと、ノイズ除去バージョンの参照マッチング領域を第２のピクチャのマッチング領域にマッチさせることとを含む、マッチング手順を実行することと、第２のピクチャのブロックを、このブロックに対して、参照ピクチャの第１の参照領域に基づく第１の予測領域またはノイズ除去バージョンの第２の参照領域に基づく第２の予測領域を選択することにより復号することであり、第２のピクチャの対応するマッチング領域に対するマッチング誤差が最小である予測領域が選択される、復号することとを含む。

目的は、態様によると、ビデオビットストリームからビデオピクチャを復号するデコーダ用のコンピュータプログラムにより達成される。このコンピュータプログラムは、デコーダの少なくとも１つのプロセッサで実行されたときに、上述した方法をデコーダに実行させるコンピュータプログラムコードを含む。

目的は、態様によると、上述したコンピュータプログラムと、そのコンピュータプログラムが格納されるコンピュータ可読手段とを含むコンピュータプログラム製品により達成される。

目的は、態様によると、ビデオビットストリームからビデオピクチャを復号するデコーダにより達成される。このデコーダは、参照ピクチャのノイズ除去バージョンを取得し、参照ピクチャの参照マッチング領域を第２のピクチャのマッチング領域にマッチさせることと、ノイズ除去バージョンの参照マッチング領域を第２のピクチャのマッチング領域にマッチさせることとを含むマッチング手順を、少なくとも１回実行し、現在のピクチャのブロックを、そのブロックに対して、参照ピクチャの第１の参照領域に基づく第１の予測領域またはノイズ除去バージョンの第２の参照領域に基づく第２の予測領域を選択することにより復号し、第２のピクチャの対応するマッチング領域に対するマッチング誤差が最小である予測領域が選択されるように構成される。

本教示のさらなる特徴および利点は、以下の説明および添付の図面を読むことで明らかとなる。

テンプレートマッチングの原理を示す図である。 バイラテラルマッチングの原理を示す図である。 本明細書で開示される実施形態を実装することができる環境を概略的に示す図である。 本教示の実施形態に係る、テンプレートマッチングのノイズ除去の例を示す図である。 本教示の実施形態に係る、テンプレートマッチングのノイズ除去の例を示す図である。 本教示の実施形態に係る、テンプレートマッチングのノイズ除去の例を示す図である。 本教示の実施形態に係る、バイラテラルマッチングのノイズ除去の例を示す図である。 本教示に係る、エンコーダでの方法のステップにわたるフローチャートである。 本教示に係る、デコーダでの方法のステップにわたるフローチャートである。 エンコーダと、本教示に係る実施形態を実装する手段とを概略的に示す図である。 デコーダと、本教示に係る実施形態を実装する手段とを概略的に示す図である。 本教示に係る実施形態を実装するための機能モジュール／ソフトウェアモジュールを含むエンコーダを示す図である。 本教示に係る実施形態を実装するための機能モジュール／ソフトウェアモジュールを含むデコーダを示す図である。

以下の説明では、十分な理解を提供するために、限定ではなく説明を目的として、特定のアーキテクチャ、インターフェイス、技法等の具体的な詳細事項が記載される。その他の場合は、不要な詳細事項によって説明があいまいにならないように、既知の装置、回路、および方法の詳細な説明を省略する。同一の符号は、説明全体を通じて、同一または類似の要素を指す。

ノイズ除去またはノイズ低減は、信号中のノイズを低減する処理である。ノイズを低減する方法はさまざまであり、その例を以下で最初に示す。

線形平滑化フィルタ：ローパス操作または平滑化操作を備える畳み込みフィルタを使用して、画像をぼかすことができる。一例として、各ピクセルとそのピクセルに隣接するピクセルとの調和を高めるガウスぼかしフィルタがある。

異方性拡散：この方法では、平滑化偏微分方程式を使用して画像が平滑化される。この１つのバージョンはガウスフィルタであるが、エッジをぼかすことなく画像がノイズ除去され得るようにエッジを検出するよう設計された拡散係数を使用する。

非局所的平均：もう１つのアプローチは、ピクチャのすべてのピクセルを非局所的に平均化することによるピクセルの平均化に基づく。ピクセルの重み付けの量は、そのピクセルの周囲の小領域およびノイズ除去するピクセルの周囲の小領域の類似度に基づき得る。

時間フィルタ：時間フィルタは、ピクセルを時間の経過にわたり平均化するために、ビデオで使用され得る。複数のピクチャのピクセルを平均化するときにゴーストを防ぐために、動き補正が適用され得る。

非線形フィルタ：非線形ノイズ除去フィルタの例として、隣接するピクセルの中央値をノイズ除去するピクセルの値として選択する、中央値フィルタがある。

語彙のメモとして、本明細書では「ピクチャ」という用語が使用される。ＩＴＵ−Ｔの推奨（たとえば、Ｈ．２６５）では、ピクチャはフレームまたはフィールドを含み得るが、１つの符号化ビデオシーケンス（ＣＶＳ）では、すべてのピクチャがフレームであるか、またはすべてのピクチャがフィールドであるかのいずれかであることが留意される。技術分野では、「フレーム」という用語は、「ピクチャ」という用語と同じ意味でしばしば使用されることが留意され得る。

簡単に言うと、本教示は、多様な実施形態で、バイラテラルマッチングやテンプレートマッチングなどのデコーダ側マッチングを使用するときの予測を向上させる。これは、（テンプレートまたはバイラテラル）マッチングが実行される前に参照領域にノイズ除去フィルタを適用することにより実現される。複数の異なるノイズ除去フィルタまたはフィルタ強度が、デコーダ側のマッチング手順でテストされ得る。

図３は、本明細書で開示される実施形態が実装され得る環境を概略的に示す。エンコーダ３０は、入力ビデオストリーム１００を、符号化されたビデオを含むビットストリーム２００に符号化するために使用される。ビットストリーム２００は、たとえば無線または有線の接続を使用して、デコーダ４０に転送される。デコーダ４０は、受け取ったビットストリーム２００を読み込んで復号し、入力ビデオストリーム１００に対応する出力ビデオストリーム３００を作成する。符号化は損失を伴う可能性があり、よって出力ビデオストリーム３００は入力ビデオストリーム１００と同一ではない。知覚される品質の損失は、ビットストリーム２００のビットレートに依存する。ビットレートが高い場合、エンコーダ３０は、高品質な出力ビデオストリーム３００を可能にするビットストリーム２００を作成することができる。

ビデオの符号化／復号は、たとえば、高効率ビデオ符号化（ＨＥＶＣ）、動画専門家集団（ＭＰＥＧ）−４、Ｈ．２６３、Ｈ．２６４、およびＭＰＥＧ−２のいずれか１つに基づき得る。ビットストリームを低いビットレート要件で提供することで、最終的な出力ビデオ３００を高い品質で生成することができる。代替（または追加）で、ビットストリーム２００に低い帯域幅が求められる。よって、符号化効率を向上させると有利である。

図４ａ、図４ｂ、および図４ｃは、本教示の実施形態に係る、テンプレートマッチングのノイズ除去の例を示す。詳細には、図４ａ、図４ｂ、および図４ｃは、ノイズ除去フィルタが参照ピクチャ７に適用される実施形態を示す。図４ａは参照ピクチャ７を示し、図４ｂはノイズ除去されたときの参照ピクチャ７を示し（ノイズ除去された参照ピクチャの符号は７’）、図４ｃは現在のピクチャ６を示す。簡単に言うと、ノイズが混じった参照ピクチャ７がノイズ除去されて、ノイズ除去された参照ピクチャ７’ができあがる。参照ピクチャ７の参照テンプレート領域４と、ノイズ除去された参照ピクチャ７’の参照テンプレート領域４’とは、現在のピクチャ６のテンプレート領域３とそれぞれ比較される。

図４ａでは、参照ピクチャ７は、比較的ノイズが多いものとして示されることを意図されている。参照ピクチャ７は、予測領域５に隣接する２つの参照テンプレート領域４を含む。参照テンプレート領域４は、符号化される現在のピクチャ６（図４ｃ）のブロック２の予測を見つけるためのマッチング手順で使用され得る。なお、２つのテンプレート領域は、本明細書では異なる実施形態を純粋に説明および例示するために使用される。参照テンプレート領域４の数は、実際には、本明細書で使用されている２つとは異なる可能性がある。このことを、図４ａは追加の参照テンプレート領域４＿ａｄｄにより示している。そのような追加の参照テンプレート領域は、予測領域５に隣接する任意の場所に位置し得る。

図４ｂでは、ノイズ除去された参照ピクチャ７’が示されている。ノイズ除去された参照ピクチャ７’は、参照ピクチャ７のノイズ除去バージョンである。ノイズ除去は、たとえば最初に言及したノイズ除去方法（線形平滑化フィルタ、異方性拡散等）のいずれかなどに従って任意の既知の態様で実行され得る。

参照ピクチャ７をノイズ除去した後、ノイズ除去された参照ピクチャ７’と参照ピクチャ７のどちらが最良のテンプレートマッチを示すかがテストされる。このために、たとえばテンプレートマッチング（図４ａ、図４ｂ、図４ｃに図示するような）やバイラテラルマッチング（図５に図示するような）などのテンプレートマッチング手順を行うことができる。参照ピクチャ７の参照テンプレート領域４は、現在のピクチャ６のテンプレート領域３にマッチされる。ノイズ除去された参照ピクチャ７’の参照テンプレート領域４’も、現在のピクチャ６のテンプレート領域３にマッチされる。参照ピクチャ７の参照テンプレート領域４とノイズ除去された参照ピクチャ７’の参照テンプレート領域４’のどちらが現在のピクチャ６のテンプレート領域３に最良にマッチするかが判断される。最良にマッチする参照テンプレート４、４’に対応する予測領域５、５’が、現在のブロック２の予測として使用される。つまり、２つの参照ピクチャバージョンのうち、最良のテンプレートマッチを示す予測領域５、５’が、現在のブロック２の予測として使用される。マッチは、たとえば、テンプレートに対する差分絶対値和（ＳＡＤ）が最小化されるか、または平均二乗誤差（ＭＳＥ）が最小化されるときに、最良のマッチであると考えられ得る。サイズがｍ×ｎピクセルである長方形のブロックＩと、サイズがｍ×ｎピクセルである長方形のブロックＫとの間のＭＳＥは、以下に基づいて計算され得る。

図５は、バイラテラルマッチングのノイズ除去の例を示す。バイラテラルマッチングが使用されるこの実施形態では、前のピクチャＲｅｆ０（符号１１で図示）、詳細には表示順で現在のピクチャＣｕｒＰｉｃ（符号１３で図示）の前の任意のピクチャ１１と、後のピクチャＲｅｆ１（符号１２で図示）、詳細には表示順で現在のピクチャ１３の後の任意のピクチャ１２とが、それらのノイズ除去バージョンである１１’、１２’を得るためにノイズ除去される。別の実施形態では、バイラテラルマッチングについて、参照ピクチャ１１、１２の両方は、表示順では現在のピクチャ１３の後であるが、復号順では現在のピクチャ１３の前である。さらに別の実施形態では、バイラテラルマッチングについて、参照ピクチャ１１、１２の両方は、表示順と復号順の両方で現在のピクチャ１３の前である。よって現在のピクチャ１３の現在のブロック１６の予測は、これら２つの参照ピクチャ１１、１２から外挿され得る。一部の実施形態では、バイラテラルマッチングについて、２つの参照ピクチャ１１、１２のうちの１つのみがノイズ除去される。そのような実施形態は、ノイズ除去のレベルの制御が簡素化されるため、好ましくあり得る。両方の参照ピクチャをノイズ除去することも考えられるが、フィルタを選択するときに注意が必要である。強過ぎるフィルタを使用すると、両者の間の最良のマッチは依然として得られるが、内挿される第５の予測領域は、符号化されているブロックへのマッチが悪化する可能性がある。極端なケースでは、２つの参照ピクチャが、それぞれ単一の色のみからなるレベルまでノイズ除去される。

ノイズ除去フィルタの種類および／またはフィルタの強度は、マッチング手順で導き出され得る。最良のマッチが見つかると、現在のピクチャ１３の現在のブロック１６の予測が、参照ピクチャ１１、１２のそれらのマッチ領域１４、１５から導き出され得る。代替で、２つの参照ピクチャの一方（たとえば、前のピクチャ１１）に適用されたものと同じノイズ除去フィルタが他方の参照ピクチャ（たとえば、後のピクチャ１２）にも適用された後で、現在のブロック１６の予測が、参照ピクチャのノイズ除去バージョン１１’、１２’のマッチ位置から導き出される。さらに別の代替で、ピクチャの細部（ノイズも含む）を予測用に可能な限り保持するため、最良の（自然な）マッチを確実に実現しつつ、現在のブロック１６の予測を、２つの参照ピクチャのノイズ除去されていないバージョンである１１、１２のマッチ位置から導き出すこともできる。

以下では、さまざまな特徴および実施形態について説明するが、これらの特徴および実施形態は、テンプレートマッチングの使用に加えて、バイラテラルマッチングの使用とも組み合わせることができることが留意される。さらに、参照番号は、時間マッチングおよびバイラテラルマッチングが使用され得る実施形態についての図４ａ、図４ｂ、図４ｃ、および図５に関連する。

よって、これまでに説明した実施形態の変種であって、さらなる実施形態を示す変種では、ノイズ除去フィルタの２つ以上の異なる強度、代替でノイズ除去フィルタの２つ以上の種類が、参照ピクチャ７の３つ以上のバージョンのセットを作成するために適用される。このうち、１つのバージョンは、ノイズ除去されていないバージョンである（すなわち、テンプレートマッチング用の参照ピクチャ７、およびバイラテラルマッチング用の参照ピクチャ１１、１２）。最良のテンプレートマッチを示す、たとえば、最低のＳＡＤまたはＭＳＥを示す、参照バージョン７、７’、１１、１１’、１２、１２’の予測領域５、５’；１４、１４’、１５、１５’が、テンプレートマッチングの場合は符号化されるブロック２の予測として選択され、バイラテラルマッチングの場合は符号化されるブロック１６の予測の基盤として選択される。

参照ピクチャ７、１１、１２のフィルタリング（標本の整列）は、たとえば、参照領域５、１４、１５が完全なマッチでない（整列されていない）場合に有利であり得る。ノイズ除去フィルタ処理、およびテンプレートマッチングの一部として実行されるそのようなフィルタ処理は、場合によっては、ノイズを除去すると共にテンプレートマッチング用の所望の参照標本を作成する単一のフィルタに組み合され得る。

例示的なノイズ除去フィルタは、ローパスフィルタ、ガウスフィルタ等の線形平滑化フィルタ、異方性拡散、中央値フィルタ等の非線形フィルタ、時間フィルタ、および画像のすべてのピクセルの非局所的平均化を含む。

マッチング手順を高速化するために、標本のサブセットのみを、第１の粗検索時など、マッチング手順の一部のステップのみに使用することができる。さらなる単純化のために、粗検索で、ノイズ除去された／ノイズ除去されていない標本のすべての変異形を使用するか、または標本のサブセットのみを整数標本精度で使用して、参照標本のフィルタ処理を避けることもできる。その後、詳細検索で、参照標本をサブ標本精度で絞り込むことができる。ここでは、動きベクトルフィールドの概念を使用して、参照標本を現在のピクチャの標本に対して配置する方法を示す。

最良のテンプレートマッチが判断されると、ノイズ除去された（またはノイズ除去されていない）参照ピクチャ７、７’；１１、１１’、１２、１２’の予測領域が、現在のピクチャ６；１３の現在のブロック２；１６を予測するために使用される。

テンプレートマッチングによるノイズ除去を使用するときにエンコーダ側とデコーダ側の両方で予測ブロックが導き出され得る仕組みを記述する疑似コードを以下に示す。
for each block
for each denoising filter
apply denoising filter to reference picture
for each motion vector field
check match of template between current picture and denoised reference picture
if best match
store prediction block

上記疑似コードで、「for each denoising filter」は、いかなるノイズ除去フィルタを使用しない場合を含むものと解釈されるべきである。一部の明るいブロックなど、場合によっては、参照ピクチャがノイズをまったく含まないか、またはわずかしか含んでいないことがあり、よってノイズ除去フィルタを適用することで、ノイズ除去されていないバージョンを使用するときよりも予測が悪化する可能性がある。

テンプレートマッチングの代替の実施形態では、参照テンプレートと、現在のピクチャの対応する領域との両方に、ノイズ除去が適用される。

一部の実施形態では、参照テンプレート領域のみがノイズ除去される。テンプレートマッチングの場合（図４ａおよび図４ｂを参照）、参照テンプレート領域４’のみがノイズ除去され、ピクチャ７’の残りの部分はノイズ除去されない。ノイズはピクチャごとに変化すると仮定できるため、より良い（自然な）マッチを検索するために、参照テンプレート領域のみにノイズ除去フィルタが適用されてからテンプレートマッチングが実行され得る。参照ピクチャのノイズ除去されていない予測領域が、予測に使用される。よってマッチングは、自然な動きが追跡される可能性を高めるために、ノイズ除去されたテンプレートを使用して行われる。予測のために、細部が、ノイズが入った部分を含めて、可能な限り維持される。

バイラテラルマッチングの場合（図５を参照）、マッチ領域１４、１５のみがノイズ除去され、対応するピクチャ１１、１２の残りの部分はノイズ除去されない。利点は、情報が予測で失われず、かつ強化された自然なマッチング精度が維持されることである。テンプレートマッチングがすべてのブロックに適用されないため、それらのブロックをノイズ除去する必要はない。これにより、処理が減少し、符号化／復号が高速化され、メモリ帯域幅が減少するなどの利点が得られる。

一部の実施形態では、上述した方法を（さまざまな実施形態で）実装するときのデコーダ側の複雑さを軽減するために、マッチングを実際の復号よりも低い解像度で実行すると有利であり得る。たとえば、参照ピクチャおよびテンプレート領域を両方向で１／２にダウンスケールして、マッチされるピクセルの数を７５％減らすことができる。

他の実施形態では、上述した実施形態を実装するためのデコーダ側の複雑さを同じく軽減するために、検索戦略が使用され得る。たとえば、現在のピクチャとノイズ除去された参照ピクチャとの間で検索領域の最良のマッチ（最良のノイズ除去マッチと表される）を見つけるために、マッチングを２つの検索ステップで実行すると有益であり得る。第１の検索ステップで、再標本化された参照標本の粗い標本精度（たとえば、整数）の検索領域に対するＮ個の最良のマッチが選択される。第２のステップで、Ｎ個の最良のマッチが、再標本化された参照標本の最終的な標本精度（たとえば、クォーター標本）の検索領域を使用して絞り込まれる。第２のステップで最良のマッチを示すノイズ除去の予測が選択される。マッチは、たとえば、差分絶対値和（ＳＡＤ）または重み付けされたＳＡＤを使用することにより判断され得る。重み付けされたＳＡＤを使用することで、最終的な標本から遠く離れている粗標本より、最終的な標本に近い粗標本に大きい重みを与えることが意図される。

代替の実施形態では、第１の検索がエンコーダとデコーダの両方で実行されて、Ｎ個の候補が与えられる。次に、第２の検索が、エンコーダでＮ個の候補すべてに対してのみ実行され、選択された候補が方法の使用時にデコーダにシグナリングされる。よってデコーダは、選択された候補に対して、参照標本の最終的な標本精度で第２の検索を実行するだけでよい。

テンプレートマッチング等のデコーダ側マッチングの考え方は、動きベクトルやフィルタ強度などの特定の情報をビットストリームでシグナリングする必要性をなくすというものである。しかし、テンプレートマッチングを使用するタイミングや、マッチング手順でテストするフィルタの組み合わせ（フィルタの種類／強度）の数などの情報をシグナリングすることが必要な場合がある。この情報は、シーケンスパラメータセット（ＳＰＳ）等のシーケンスレベル、ピクチャパラメータセット（ＰＰＳ）等のピクチャレベル、スライスレベル、またはブロックレベルでシグナリングされ得る。

一部の実施形態では、いくつかの予測領域候補がテンプレートマッチングから得られる。使用する予測領域候補のインデックスが、エンコーダからデコーダにビットストリームでシグナリングされる。開示されるテンプレートマッチング手順のエンコーダ側でのステップはデコーダ側でのステップに対応するため、同じ候補セットがデコーダ側で導き出される。よって、エンコーダでマッチングを行い、使用する候補をデコーダにシグナリングすることができる。これにより、デコーダ側での処理ニーズが軽減され、予測誤差も軽減され得る。

これまでに説明した特徴および実施形態は、既に示したように、異なる方法で組み合わせることができる。以下では、多様な組み合わせのさらなる例を示す。

図６は、本教示に係るエンコーダでの方法２０のステップにわたるフローチャートを示す。方法２０は、エンコーダ３０でビデオピクチャをビデオビットストリームに符号化するために実行され得る。方法２０は、参照ピクチャ７；１１、１２のノイズ除去バージョン７’；１１’、１２’を取得すること２１を含む。ノイズ除去バージョンは、参照ピクチャ７；１１、１２の全体をノイズ除去したときに生成されるピクチャを含むか、または参照ピクチャ７；１１、１２の一部のみをノイズ除去したときに生成されるピクチャを含む場合があることに留意されたい。ノイズ除去バージョンの取得では、上述したように、任意の既知の手段が使用され得る。たとえば、ローパスフィルタ等のノイズ除去フィルタが、ノイズ除去バージョンを取得するために使用され得る。

方法２０は、マッチング手順を少なくとも１回実行すること２２を含み、このマッチング手順は、参照ピクチャ７；１１、１２の参照マッチング領域４；１４、１５を第２のピクチャ６；１３のマッチング領域３；１６にマッチさせることと、ノイズ除去バージョン７’；１１’、１２’の参照マッチング領域４’：１４’、１５’を第２のピクチャ６；１２、１１のマッチング領域３；１６にマッチさせることとを含む。マッチング手順は、参照ピクチャの多様な参照マッチング領域と第２のピクチャとの間でマッチングの程度をテストするために、繰り返し実行され得、また典型的には繰り返し実行される。

方法２０は、現在のピクチャ６；１３のブロック２；１６を、そのブロック２；１６に対して、参照ピクチャ７；１１、１２の第１の参照領域５；１４、１５に基づく第１の予測領域またはノイズ除去バージョン７’；１１’、１２’の第２の参照領域４’；１４’、１５’に基づく第２の予測領域を選択することにより符号化すること２３を含み、第２のピクチャ６；１２、１１の対応するマッチング領域３；１６に対するマッチング誤差が最小である予測領域が選択される。

方法２０は、複数の利点をもたらす。参照ピクチャのノイズ除去を実行してから（テンプレートまたはバイラテラル）マッチングを行うことで、予測が向上する。デコーダ側のマッチングで予測が向上すると、ひいては圧縮効率が向上することを意味する。なぜなら、エンコーダとデコーダの両方でマッチング検索が実行される場合に、余分なシグナリングが不要だからである。

方法は、いくつかのマッチング手順のいずれかを使用して実装され得る。マッチング手順は、たとえば、テンプレートマッチングまたはバイラテラルマッチングを含む。

テンプレートマッチングを実装する場合、方法２０は、第１の参照ピクチャ７のノイズ除去バージョン７’を取得すること２１を含む。その場合、参照ピクチャ７の参照マッチング領域４は、参照ピクチャ７の参照テンプレート領域を含む。つまり、テンプレートマッチングの語彙では、参照マッチング領域は参照テンプレート領域として知られている。ノイズ除去バージョン７’の参照マッチング領域４’は、ノイズ除去バージョン７’の参照テンプレート領域を含む。同様に、第２のピクチャ６のマッチング領域３は、現在のピクチャのテンプレート領域を含む。すなわち、第２のピクチャ６は、ブロックが予測される現在のピクチャである。さらに、テンプレートマッチングでは、予測領域５、５’は、参照ピクチャ７および参照ピクチャのノイズ除去バージョン７’のそれぞれの参照テンプレート領域４；４’に隣接している。

方法２０は、マッチング手順を少なくとも１回実行すること２２を含み、このマッチング手順は、参照ピクチャ７の参照テンプレート領域４を第２のピクチャ６のテンプレート領域３にマッチさせることと、ノイズ除去バージョン７’の参照テンプレート領域４’を第２のピクチャ６のテンプレート領域３にマッチさせることとを含む。マッチング手順は、参照ピクチャおよび参照ピクチャのノイズ除去バージョンの異なる参照マッチング領域の間でマッチングの程度をテストするために、繰り返し実行され得り、また典型的には繰り返し実行される。

方法２０は、現在のピクチャ６のブロック２を、そのブロック２に対して、参照ピクチャ７の第１の参照領域５に基づく第１の予測領域またはノイズ除去バージョン７’の第２の参照領域５’に基づく第２の予測領域を選択することにより符号化すること２３を含む。ここで、テンプレートマッチングの場合、予測領域が「基づく」とは、予測領域が参照ピクチャ７の予測領域５またはノイズ除去バージョン７’の第２の予測領域５’として選択されるという意味である。現在のピクチャ６の対応するテンプレート領域３に対するマッチング誤差が最小である予測領域が選択される。

バイラテラルマッチングを実装する場合、方法２０は、参照ピクチャ１１、１２のノイズ除去バージョン１１’、１２’を取得すること２１を含む。この実施形態では、第２のピクチャ１２、１１は、第２の取得された参照ピクチャ１２、１１、または第２の取得された参照ピクチャ１２、１１のノイズ除去バージョン１２’、１１’を含む。表示順で現在のピクチャ１３の前のピクチャ１１、または表示順で現在のピクチャ１３の前のピクチャ１１のノイズ除去バージョンが、表示順で現在のピクチャ１３の後のピクチャ１２、または表示順で現在のピクチャの後のピクチャ１２のノイズ除去バージョンと比較され得る。

方法２０は、バイラテラルマッチングを少なくとも１回実行すること２２を含み、このバイラテラルマッチングは、参照ピクチャ１１、１２の参照マッチング領域１４、１５を第２のピクチャ１２、１１のマッチング領域１５、１４にマッチさせることと、ノイズ除去バージョン１１’、１２’の参照マッチング領域１４’、１５’を第２のピクチャ１２、１１のマッチング領域１４、１５にマッチさせることとを含む。ここでも、マッチング手順は、参照ピクチャの多様な参照マッチング領域と第２のピクチャとの間でマッチングの程度をテストするために、繰り返し実行され得り、また典型的には繰り返し実行される。

方法２０は、現在のピクチャ１３のブロック１６を、そのブロック１６に対して、第１の参照ピクチャ１１、１２の第１の参照領域１４、１５に基づく第１の予測領域またはノイズ除去バージョン１１’、１２’の第２の参照領域１４’、１５’に基づく第２の予測領域を選択することで符号化すること２３を含む。ここで、バイラテラルマッチングの場合、予測領域が「基づく」とは、予測誤差を最小化する動作軌道に沿った動きベクトルが選択され、それらの対応する参照予測領域が現在のピクチャ１３の現在のブロック１６の予測を内挿するために使用されるという意味である。よって予測領域は、これらの対応する参照予測領域に基づく。第２のピクチャ１２、１１の対応するマッチング領域１５に対するマッチング誤差が最小である予測領域が選択される。

バイラテラルマッチングでは、符号化すること２３は、第１の参照ピクチャ１１、１２の第１の参照領域１４、１５に基づく第１の予測領域もしくはノイズ除去バージョン１１’、１２’の第２の参照領域１４’、１５’に基づく第２の予測領域、または第２の参照ピクチャ１２、１１の第３の予測領域１５、１４もしくは第２の参照ピクチャのノイズ除去バージョン１２’、１１’の第４の予測領域１５’、１４’を選択することと、選択された第１の予測領域１４、１５および選択された第３の予測領域１５、１４または選択された第２の予測領域１４’、１５’および選択された第４の予測領域１５’、１４’に基づいて第５の予測領域を導き出すこととを含む。第１、第２、第３、および第４の予測領域は、バイラテラルマッチングの場合、マッチング領域１４、１４’、１５、１５’と同じであり得る。第５の予測領域は、現在のフレーム１３のブロック１６の符号化２３のために選択される。

さまざまな実施形態では、第１の参照ピクチャ７；１１、１２のノイズ除去バージョン７’；１１’、１２’を取得すること２１は、参照マッチング領域４；１４、１５のみをノイズ除去することを含む。既に説明したように、このことは、必要な処理の減少、符号化／復号の高速化、メモリ帯域の減少などの利点をもたらし得る。

さまざまな実施形態では、方法２０は、マッチング手順を符号化よりも低い解像度で実行すること２２を含む。既に言及したように、これにより、マッチされるピクセルの数が大幅に減少し得る。

さまざまな実施形態では、マッチング手順を実行することは、第１の標本精度を使用して参照マッチング領域４、４’；１４、１４’、１５、１５’に対するマッチの第１のセットを取得することと、第２の標本精度を使用して第１のセットのマッチを絞り込むこととを含み、符号化すること２３は、第２の標本精度が使用された第１のセットのマッチの中から予測領域を選択することを含む。

上記実施形態の変種では、方法２０は、デコーダ５０に対し、第２の標本精度が使用された第１のセットのマッチの中の使用するマッチ候補に関する情報をシグナリングすることを含む。これは、たとえば、使用する候補をデコーダに知らせ、デコーダもまた第２の標本精度でマッチングを実行する必要性をなくすインデックスとして実装され得る。

さまざまな実施形態では、ノイズ除去バージョン７’；１１’、１２’を取得すること２１は、ローパスフィルタ、線形平滑化フィルタ、異方性拡散、非線形フィルタ、時間フィルタ、およびピクチャのすべてのピクセルの非局所的平均化から選択されるノイズ除去フィルタを使用することを含む。よって、従来使用され、容易に利用できるフィルタ実装が使用され得る。

図７は、本教示に係る、デコーダで実行される方法のステップのフローチャートを示す。図６を参照して説明したエンコーダでの方法２０が、デコーダ５０での以下の方法３０に対応し、エンコーダでの方法に関連して上述した利点に対応する利点が、以下のデコーダの方法でも得られることに留意されたい。よって、これらの利点はここで反復せず、そのような利点については上述した対応する実施形態が参照される。

方法３０は、参照ピクチャ７；１１、１２のノイズ除去バージョン７’；１１’、１２’を取得すること３１を含む。

方法３０は、マッチング手順を少なくとも１回実行すること３２を含み、マッチング手順は、参照ピクチャ７；１１、１２の参照マッチング領域４；１４、１５を第２のピクチャ６；１３のマッチング領域３；１６にマッチさせることと、ノイズ除去バージョン７’；１１’、１２’の参照マッチング領域４’：１４’、１５’を第２のピクチャ６；１２、１１のマッチング領域３；１６にマッチさせることとを含む。マッチング手順は、参照ピクチャの多様な参照マッチング領域と第２のピクチャとの間でマッチングの程度をテストするために、繰り返し実行され得り、および典型的には繰り返し実行される。

方法３０は、現在のピクチャ６；１３のブロック２；１６を、そのブロック２；１６に対して、第１の参照ピクチャ７；１１、１２の第１の参照領域５；１４、１５に基づく第１の予測領域またはノイズ除去バージョン７’；１１’、１２’の第２の参照領域５’；１４’、１５’に基づく第２の予測領域を選択することにより復号すること３３を含み、第２のピクチャ６；１２、１１の対応する予測領域マッチング領域３；１５、１４に対するマッチング誤差が最小である予測領域が選択される。

方法は、いくつかのマッチング手順のいずれかを使用して実装され得る。マッチング手順は、たとえば、テンプレートマッチングまたはバイラテラルマッチングを含む。

テンプレートマッチングを実装する場合、方法３０は、第１の参照ピクチャ７のノイズ除去バージョン７’を取得すること３１を含む。その場合、参照ピクチャ７の参照マッチング領域４は、参照ピクチャ７の参照テンプレート領域を含む。つまり、テンプレートマッチングの語彙では、参照マッチング領域は参照テンプレート領域として知られている。ノイズ除去バージョン７’の参照マッチング領域４’は、ノイズ除去バージョン７’の参照テンプレート領域を含む。同様に、第２のピクチャ６のマッチング領域３は、現在のピクチャのテンプレート領域を含む。すなわち、第２のピクチャ６は、ブロックが予測される現在のピクチャである。さらに、テンプレートマッチングでは、予測領域５、５’は、参照ピクチャ７および参照ピクチャのノイズ除去バージョン７’のそれぞれの参照テンプレート領域４；４’に隣接している。

方法３０は、マッチング手順を少なくとも１回実行すること３２を含み、このマッチング手順は、参照ピクチャ７の参照テンプレート領域４を第２のピクチャ６；１３のテンプレート領域３にマッチングさせることと、ノイズ除去バージョン７’の参照テンプレート領域４’を第２のピクチャ６；１２、１１のテンプレート領域３；１６にマッチングさせることとを含む。マッチング手順は、参照ピクチャおよび参照ピクチャのノイズ除去バージョンの多様な参照マッチング領域の間でマッチングの程度をテストするために、繰り返し実行され得り、また典型的には繰り返し実行される。

方法３０は、現在のピクチャ６のブロック２を、そのブロック２に対して、参照ピクチャ７のテンプレート領域５に基づく第１の予測領域またはノイズ除去バージョン７’の第２のテンプレート領域５’基づく第２の予測領域を選択することにより復号すること３３を含む。テンプレートマッチングの場合、予測領域が「基づく」とは、予測領域が参照ピクチャ７のテンプレート領域５またはノイズ除去バージョン７’の第２のテンプレート領域５’として選択されるという意味である。現在のピクチャ６の対応するテンプレート領域３に対するマッチング誤差が最小である予測領域が選択される。

バイラテラルマッチングを実装する場合、方法３０は、参照ピクチャ１１、１２のノイズ除去バージョン１１’、１２’を取得すること３１を含む。この実施形態では、第２のピクチャ１２、１１は、第２の取得された参照ピクチャ１２、１１、または第２の取得された参照ピクチャ１２、１１のノイズ除去バージョン１２’、１１’を含む。現在のピクチャ１３の前のピクチャ１１または現在のピクチャ１３の前のピクチャ１１のノイズ除去バージョンが、現在のピクチャ１３の後のピクチャ１２または現在のピクチャの後のピクチャ１２のノイズ除去バージョンと比較され得る。

方法３０は、バイラテラルマッチングを少なくとも１回実行すること３２を含み、このバイラテラルマッチングは、参照ピクチャ１１、１２の参照マッチング領域１４、１５を第２のピクチャ１２、１１のマッチング領域１５、１４にマッチさせることと、ノイズ除去バージョン１１’、１２’の参照マッチング領域１４’、１５’を第２のピクチャ１２、１１のマッチング領域１４、１５にマッチさせることとを含む。ここでも、マッチング手順は、参照ピクチャの多様な参照マッチング領域と第２のピクチャとの間でマッチングの程度をテストするために、繰り返し実行され得、また典型的には繰り返し実行される。

方法３０は、現在のピクチャ１３のブロック１６を、そのブロック１６に対して、第１の参照ピクチャ１１、１２の第１の参照領域１４、１５に基づく第１の予測領域またはノイズ除去バージョン１１’、１２’の第２の参照領域１４’、１５’に基づく第２の予測領域を選択することで復号すること３３を含む。ここで、バイラテラルマッチングの場合、予測領域が「基づく」とは、予測誤差を最小化する動作軌道に沿った動きベクトルが選択され、それらの対応する参照予測領域が現在のピクチャ１３の現在のブロック１６の予測を内挿するために使用されるという意味である。よって予測領域は、これらの対応する参照予測領域に基づく。第２のピクチャ１１、１２の対応するマッチング領域１５に対するマッチング誤差が最小である予測領域が選択される。

バイラテラルマッチングでは、復号すること３３は、第１の参照ピクチャ１１、１２の第１の参照領域１４、１５に基づく第１の予測領域もしくはノイズ除去バージョン１１’、１２’の第２の参照領域１４’、１５’に基づく第２の予測領域、または第２の参照ピクチャ１２、１１の第３の予測領域１５、１４もしくは第２の参照ピクチャのノイズ除去バージョン１２’、１１’の第４の予測領域１５’、１４’を選択することと、選択された第１の予測領域１４、１５および選択された第３の予測領域１５、１４または選択された第２の予測領域１４’、１５’および選択された第４の予測領域１５’、１２’に基づいて第５の予測領域を導き出すことを含む。第１、第２、第３、および第４の予測領域は、バイラテラルマッチングの場合、マッチング領域１４、１４’、１５、１５’と同じであり得る。第５の予測領域は、現在のフレーム１３のブロック１６の復号３３のために選択される。

さまざまな実施形態では、第１の参照ピクチャ７；１１、１２のノイズ除去バージョン７’；１１’、１２’を取得すること３１は、参照マッチング領域４；１４、１５のみをノイズ除去することを含む。

さまざまな実施形態では、方法３０は、マッチング手順を復号よりも低い解像度で実行すること３２を含む。

さまざまな実施形態では、マッチング手順を実行することは、第１の標本精度を使用して参照マッチング領域４、４’；１４、１４’、１６、１６’に対するマッチの第１のセットを取得することと、第２の標本精度を使用して第１のセットのマッチを絞り込むこととを含み、復号すること３３は、第２の標本精度が使用された第１のセットのマッチの中から予測領域を選択することを含む。

上記実施形態の変種では、方法３０は、第２の標本精度が使用された第１のセットのマッチの中の使用するマッチ候補に関する情報をエンコーダ４０から受け取ることを含む。これは、たとえば、使用する候補をデコーダに知らせ、デコーダもまたマッチングを実行する必要性をなくすインデックスとして実装され得る。

さまざまな実施形態では、ノイズ除去バージョン７’；１１’、１２’を取得すること３１は、ローパスフィルタ、線形平滑化フィルタ、異方性拡散、非線形フィルタ、時間フィルタ、およびピクチャのすべてのピクセルの非局所的平均化から選択されるノイズ除去フィルタを使用することを含む。

図８は、エンコーダ４０と、本教示に係る実施形態を実装するための手段とを概略的に示す。エンコーダ４０は、コンピュータプログラム製品であり得るメモリ４２に格納されたソフトウェア命令を実行することができる、中央処理装置（ＣＰＵ）、マルチプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路等の１つまたは複数の任意の組み合わせを含むプロセッサ４１を備える。エンコーダ４０のプロセッサ４１は、たとえば図６に関連して説明したような、方法２０のさまざまな実施形態のいずれかを実行するように構成され得る。

メモリ４２は、読み書き可能メモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、磁気テープ、コンパクトディスク（ＣＤ）−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、ブルーレイディスク等の任意の組み合わせであり得る。メモリ４２は、たとえば磁気メモリ、光学式メモリ、ソリッドステートメモリ、さらにはリモートに設置されたメモリの任意の１つまたは組み合わせであり得る、永続型ストレージをさらに含み得る。

エンコーダ４０は、他の装置との通信のためのインターフェイス４４を備える。インターフェイス４４は、たとえば、他の装置との通信のための、たとえばプロトコルスタック等を含み得、デコーダとの通信のためのインターフェイスをさらに含み得る。

エンコーダ４０は、本教示に係るさまざまな実施形態を実装するために、参照番号４５で概略的に示された追加の処理回路を備え得る。

エンコーダ４０は、ビデオピクチャをビデオビットストリームに符号化するために提供される。エンコーダ４０は、以下を行うように構成される。
− 参照ピクチャ７；１１、１２のノイズ除去バージョン７’；１１’、１２’を取得し、
− 参照ピクチャ７；１１、１２の参照マッチング領域４；１４、１５を第２のピクチャ６；１２、１１のマッチング領域３；１５、１４にマッチさせることと、ノイズ除去バージョン７’；１１’、１２’の参照マッチング領域４’：１４’、１５’を第２のピクチャ６；１２、１１のマッチング領域３；１５、１４にマッチさせることとを含むマッチング手順を、少なくとも１回実行し、
− 現在のピクチャ６；１３のブロック２；１６を、そのブロック２；１６に対して、参照ピクチャ７；１１、１２の第１の参照領域５；１４、１５に基づく第１の予測領域またはノイズ除去バージョン７’；１１’、１２’の第２の参照領域５’；１４’、１５’に基づく第２の予測領域を選択することにより符号化し、第２のピクチャ１１、１２の対応するマッチング領域３；１５、１４に対するマッチング誤差が最小である予測領域が選択される。

エンコーダ４０は、たとえば、１つまたは複数のプロセッサ４１とメモリ４２とを備えることで上記ステップを実行するように構成され得、メモリ４２は、プロセッサ４１により実行可能な命令を含み、それによってエンコーダ４０は、上記ステップを実行するように動作可能である。

実施形態では、エンコーダ４０は、参照マッチング領域４；１４、１５のみをノイズ除去することにより、参照ピクチャ７；１１、１２のノイズ除去バージョン７’；１１’、１２’を取得するように構成される。

実施形態では、エンコーダ４０は、マッチング手順を符号化よりも低い解像度で実行するように構成される。

実施形態では、エンコーダ４０は、第１の標本精度を使用して参照マッチング領域４、４’；１４、１４’、１５、１５’に対するマッチの第１のセットを取得することでマッチング手順を実行するように構成され、第２の標本精度を使用して第１のセットのマッチを絞り込むように構成され、第２の標本精度が使用された第１のセットのマッチの中から予測領域を選択することで符号化を行うように構成される。

上記実施形態の変種では、エンコーダ４０は、デコーダ５０に対し、第２の標本精度が使用された第１のセットのマッチの中の使用するマッチ候補に関する情報をシグナリングするように構成される。

実施形態では、エンコーダ４０は、ローパスフィルタ、線形平滑化フィルタ、異方性拡散、非線形フィルタ、時間フィルタ、およびピクチャのすべてのピクセルの非局所的平均化から選択されるノイズ除去フィルタを使用して、ノイズ除去バージョン７’；１１’、１２’を取得するように構成される。

実施形態では、マッチング手順は、テンプレートマッチングを含み、
− 第１の参照ピクチャ７の参照マッチング領域４が、参照ピクチャ７の参照テンプレート領域を含み、
− ノイズ除去バージョン７’の参照マッチング領域４’が、ノイズ除去バージョン７’の参照テンプレート領域を含み、
− 第２のピクチャ６が、現在のピクチャを含み、
− 第２のピクチャ６のマッチング領域３が、現在のピクチャのテンプレート領域を含み、
− 予測領域５、５’が、参照ピクチャ７およびノイズ除去バージョン７’のそれぞれのテンプレート領域４；４’に隣接している。

実施形態では、第２のピクチャ１２、１１は、第２の取得された参照ピクチャ１１、１２、または第２の取得された参照ピクチャのノイズ除去バージョン１１’、１２’を含み、
− エンコーダ４０は、ブロック１６の符号化時に、
− 第２の参照ピクチャ１２、１１の第３の予測領域１５、１４、または第２の参照ピクチャ１２、１１のノイズ除去バージョン１２’、１１’の第４の予測領域１５’、１４’を選択し、
− 選択された第１の予測領域１４、１５および選択された第３の予測領域１５、１４または選択された第２の予測領域１４’、１５’および選択された第４の予測領域１５’、１４’に基づいて、第５の予測領域を導き出し、
− 現在のピクチャ１３のブロック１６の符号化のために第５の予測領域を選択するように構成される。

実施形態では、エンコーダは、ビデオピクチャをビデオビットストリームに符号化するために設けられる。エンコーダは、１つまたは複数のプロセッサとメモリとを含み、メモリは、プロセッサにより実行可能な命令を含み、それによってエンコーダは、
− 参照ピクチャ７；１１、１２のノイズ除去バージョン７’；１１’、１２’を取得し、
− 参照ピクチャ７；１１、１２の参照マッチング領域４；１４、１５を第２のピクチャ６；１２、１１のマッチング領域３；１５、１４にマッチさせることと、ノイズ除去バージョン７’；１１’、１２’の参照マッチング領域４’：１４’、１５’を第２のピクチャ６；１２、１１のマッチング領域３；１５、１４にマッチさせることとを含むマッチング手順を、少なくとも１回実行し、
− 現在のピクチャ６；１３のブロック２；１６を、そのブロック２；１６に対して、参照ピクチャ７；１１、１２の第１の参照領域５；１４、１５に基づく第１の予測領域またはノイズ除去バージョン７’；１１’、１２’の第２の参照領域５’；１４’、１５’に基づく第２の予測領域を選択することにより符号化し、第２のピクチャ６；１４、１５の対応するマッチング領域３；１５、１４に対するマッチング誤差が最小である予測領域が選択されるように動作可能である。

本教示は、ビデオピクチャをビデオビットストリームに符号化するエンコーダ４０用のコンピュータプログラム４３をさらに包含する。コンピュータプログラム４３は、エンコーダ４０の少なくとも１つのプロセッサで実行されたときに、記載された実施形態のいずれか応じて方法２０をエンコーダ４０に実行させるコンピュータプログラムコードを含む。

本教示は、記載されたような方法の実施形態を実装するためのコンピュータプログラム４３を含むコンピュータプログラム製品４２と、コンピュータプログラム４３が格納されたコンピュータ可読手段とをさらに包含する。よって、コンピュータプログラム製品またはメモリは、プロセッサ４１により実行可能な命令を含む。そのような命令は、コンピュータプログラムに含まれるか、または１つもしくは複数のソフトウェアモジュールもしくは機能モジュールに含まれる。コンピュータプログラム製品４２は、既に述べたように、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、磁気テープ、コンパクトディスク（ＣＤ）−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、ブルーレイディスク等の任意の組み合わせであり得る。

図９は、デコーダ５０と、本教示に係る実施形態を実装する手段とを概略的に示す。デコーダ５０は、コンピュータプログラム製品であり得るメモリ５２に格納されたソフトウェア命令を実行することができる、中央処理装置（ＣＰＵ）、マルチプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路等の１つまたは複数の任意の組み合わせを含むプロセッサ５１を備える。デコーダ５０のプロセッサ５１は、たとえば図７に関連して説明したような、方法３０のさまざまな実施形態のいずれかを実行するように構成され得る。

メモリ５２は、読み書き可能メモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、磁気テープ、コンパクトディスク（ＣＤ）−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、ブルーレイディスク等の任意の組み合わせであり得る。メモリ５２は、たとえば磁気メモリ、光学式メモリ、ソリッドステートメモリ、さらにはリモートに設置されたメモリの任意の１つまたは組み合わせであり得る、永続型ストレージをさらに含み得る。

デコーダ５０は、他の装置との通信のためのインターフェイス５４を備える。インターフェイス５４は、たとえば、他の装置との通信のためのたとえばプロトコルスタック等を含み得、デコーダとの通信のためのインターフェイスをさらに含み得る。

デコーダ５０は、本教示に係るさまざまな実施形態を実装するために、参照番号５５で概略的に示された追加の処理回路を備え得る。

デコーダ５０は、ビデオビットストリームからビデオピクチャを復号するために設けられる。デコーダ５０は、以下を行うように構成される。
− 参照ピクチャ７；１１、１２のノイズ除去バージョン７’；１１’、１２’を取得し、
− 参照ピクチャ７；１１、１２の参照マッチング領域４；１４、１５を第２のピクチャ６；１２、１１のマッチング領域３；１５、１４にマッチさせることと、ノイズ除去バージョン７’；１１’、１２’の参照マッチング領域４’：１４’、１５’を第２のピクチャ６；１２、１１のマッチング領域３；１５、１４にマッチさせることとを含むマッチング手順を、少なくとも１回実行し、
− 現在のピクチャ６；１３のブロック２；１６を、そのブロック２；１６に対して、参照ピクチャ７；１１、１２の第１の参照領域５；１４、１５に基づく第１の予測領域またはノイズ除去バージョン７’；１１’、１２’の第２の参照領域５’；１４’、１５’に基づく第２の予測領域を選択することにより復号し、第２のピクチャ６；１２、１１の対応するマッチング領域３；１５、１４に対するマッチング誤差が最小である予測領域が選択される。

デコーダ５０は、たとえば、１つまたは複数のプロセッサ５１とメモリ５２とを備えることで上記ステップを実行するように構成され得、メモリ５２は、プロセッサ５１により実行可能な命令を含み、それによってデコーダ５０は、上記ステップを実行するように動作可能である。

実施形態では、デコーダ５０は、参照マッチング領域４；１４、１５のみをノイズ除去することにより、参照ピクチャ７；１１、１２のノイズ除去バージョン７’；１１’、１２’を取得するように構成される。

実施形態では、デコーダ５０は、マッチング手順を復号よりも低い解像度で実行するように構成される。

さまざまな実施形態では、デコーダ５０は、第１の標本精度を使用して参照マッチング領域４、４’；１４、１４’、１５、１５’に対するマッチの第１のセットを取得することでマッチング手順を実行するように構成され、第２の標本精度を使用して第１のセットのマッチを絞り込むように構成され、第２の標本精度が使用された第１のセットのマッチの中から予測領域を選択することで復号を行うように構成される。

実施形態では、デコーダ５０は、エンコーダ４０から、第２の標本精度が使用された第１のセットのマッチの中の使用するマッチ候補に関する情報を受け取るように構成される。

実施形態では、デコーダ５０は、ローパスフィルタ、線形平滑化フィルタ、異方性拡散、非線形フィルタ、時間フィルタ、およびピクチャのすべてのピクセルの非局所的平均化から選択されるノイズ除去フィルタを使用して、ノイズ除去バージョン７’；１１’、１２’を取得するように構成される。

実施形態では、マッチング手順は、テンプレートマッチングを含み、
− 第１の参照ピクチャ７の参照マッチング領域４が、参照ピクチャ７の参照テンプレート領域を含み、
− ノイズ除去バージョン７’の参照マッチング領域４’が、ノイズ除去バージョン７’の参照テンプレート領域を含み、
− 第２のピクチャ６が、現在のピクチャを含み、
− 第２のピクチャ６のマッチング領域３が、現在のピクチャのテンプレート領域を含み、
− 予測領域５、５’が、参照ピクチャ７およびノイズ除去バージョン７’のそれぞれのテンプレート領域４；４’に隣接している。

実施形態では、マッチング手順はバイラテラルマッチングを含み、
− 第２のピクチャ１２、１１が、第２の取得された参照ピクチャ１２、１１、または第２の取得された参照ピクチャのノイズ除去バージョン１２’、１１’を含み、
− デコーダ５０が、ブロック１６の復号時に、
− 第２の参照ピクチャ１２、１１の第３の予測領域１５、１４、または第２の参照ピクチャ１２、１１のノイズ除去バージョン１２’、１１’の第４の予測領域１５’、１４’を選択し、
− 選択された第１の予測領域１４、１５および選択された第３の予測領域１５、１４または選択された第２の予測領域１４’、１５’および選択された第４の予測領域１５’、１４’に基づいて、第５の予測領域を導き出し、
− 現在のピクチャ１３のブロック１６の復号のために第５の予測領域を選択するように構成される。

実施形態では、デコーダは、ビデオビットストリームからビデオピクチャを復号するために設けられる。デコーダは、１つまたは複数のプロセッサとメモリとを含み、メモリは、プロセッサにより実行可能な命令を含み、それによってデコーダは、
− 参照ピクチャ７；１１、１２のノイズ除去バージョン７’；１１’、１２’を取得し、
− 参照ピクチャ７；１１、１２の参照マッチング領域４；１４、１５を第２のピクチャ６；１２、１１のマッチング領域３；１５、１４にマッチさせることと、ノイズ除去バージョン７’；１１’、１２’の参照マッチング領域４’：１４’、１５’を第２のピクチャ６；１２、１１のマッチング領域３；１５、１４にマッチさせることとを含むマッチング手順を、少なくとも１回実行し、
− 現在のピクチャ６；１３のブロック２；１６を、そのブロック２；１６に対して、参照ピクチャ７；１１、１２の第１の参照領域５；１４、１５に基づく第１の予測領域またはノイズ除去バージョン７’；１１’、１２’の第２の参照領域５’；１４’、１５’の第２の予測領域を選択することにより復号し、第２のピクチャ６；１２、１１の対応するマッチング領域３；１５、１４に対するマッチング誤差が最小である予測領域が選択されるように動作可能である。

本教示は、ビデオビットストリームからビデオピクチャを復号するデコーダ５０用のコンピュータプログラム５３をさらに包含する。コンピュータプログラム５３は、デコーダ５０の少なくとも１つのプロセッサで実行されたときに、記載された実施形態のいずれかに従って方法３０をデコーダ５０に実行させるコンピュータプログラムコードを含む。

本教示は、記載されたような方法の実施形態を実装するためのコンピュータプログラム５３を含むコンピュータプログラム製品５２と、コンピュータプログラム５３が格納されたコンピュータ可読手段とをさらに包含する。よって、コンピュータプログラム製品またはメモリは、プロセッサ５１により実行可能な命令を含む。そのような命令は、コンピュータプログラムに含まれるか、または１つもしくは複数のソフトウェアモジュールもしくは機能モジュールに含まれる。コンピュータプログラム製品５２は、既に述べたように、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、磁気テープ、コンパクトディスク（ＣＤ）−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、ブルーレイディスク等の任意の組み合わせであり得る。

図１０は、本教示に係る実施形態を実装するための機能モジュール／ソフトウェアモジュールを含むエンコーダを示す。機能モジュールは、プロセッサで実行されるコンピュータプログラム等のソフトウェア命令を使用して、ならびに／または特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ、個別論理部品（discrete logical components）など、およびそれらの任意の組み合わせ等のハードウェアを使用して、実装することができる。上述した方法２０の任意のステップを実行するようになされ得、詳細にはなされた、処理回路が提供され得る。

エンコーダは、ビデオピクチャをビデオビットストリームに符号化するために設けられる。エンコーダは、参照ピクチャのノイズ除去バージョンを取得するための第１のモジュール６１を備える。そのような第１のモジュール６１は、たとえば、参照ピクチャをノイズ除去するようになされた処理回路を備え得る。

エンコーダは、マッチング手順を少なくとも１回実行するための第２のモジュール６２を備え、マッチング手順は、参照ピクチャの参照マッチング領域を第２のピクチャのマッチング領域にマッチさせることと、ノイズ除去バージョンの参照マッチング領域を第２のピクチャのマッチング領域にマッチさせることとを含む。そのような第２のモジュール６２は、たとえば、マッチング手順を実行するようになされた処理回路を備え得る。

エンコーダは、現在のピクチャのブロックを、そのブロックに対して、参照ピクチャの第１の参照領域に基づく第１の予測領域またはノイズ除去バージョンの第２の参照領域に基づく第２の予測領域を選択することにより符号化するための第３のモジュール６３を備え、第２のピクチャの対応するマッチング領域に対するマッチング誤差が最小である予測領域が選択される。そのような第３のモジュール６３は、たとえば、ブロックを符号化するようになされた処理回路を備え得る。

なお、モジュール６１、６２、６３の１つまたは複数は、ユニットで置換され得る。

図１１は、本教示に係る実施形態を実装するための機能モジュール／ソフトウェアモジュールを含むデコーダを示す。機能モジュールは、プロセッサで実行されるコンピュータプログラム等のソフトウェア命令を使用して、ならびに／または特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ、個別論理部品など、およびそれらの任意の組み合わせ等のハードウェアを使用して、実装することができる。上述した方法３０の任意のステップを実行するようになされ得り、詳細にはなされた、処理回路が提供され得る。

デコーダは、ビデオビットストリームからビデオピクチャを復号するために設けられる。デコーダは、参照ピクチャのノイズ除去バージョンを取得するための第１のモジュール７１を備える。そのような第１のモジュール７１は、たとえば、参照ピクチャをノイズ除去するようになされた処理回路を備え得る。

デコーダは、マッチング手順を少なくとも１回実行するための第２のモジュール７２を備え、マッチング手順は、参照ピクチャの参照マッチング領域を第２のピクチャのマッチング領域にマッチさせることと、ノイズ除去バージョンの参照マッチング領域を第２のピクチャのマッチング領域にマッチさせることとを含む。そのような第２のモジュール７２は、たとえば、マッチング手順を実行するようになされた処理回路を備え得る。

デコーダは、現在のピクチャのブロックを、そのブロックに対して、参照ピクチャの第１の参照領域に基づく第１の予測領域またはノイズ除去バージョンの第２の参照領域に基づく第２の予測領域を選択することにより復号するための第３のモジュール７３を備え、第２のピクチャの対応するマッチング領域に対するマッチング誤差が最小である予測領域が選択される。そのような第３のモジュール７３は、たとえば、ブロックを復号するようになされた処理回路を備え得る。

なお、モジュール７１、７２、７３の１つまたは複数は、ユニットで置換され得る。

上述したエンコーダおよびデコーダは、上述した方法と異なる方法で実装され得る。たとえば、エンコーダおよびデコーダは、アプリケーションプログラムまたはアプリケーションソフトウェアの形式（一般に「アプリ」として知られている）でダウンロード可能な、プロセッサで実行されるダウンロード可能命令として実装され得る。エンコーダおよびデコーダは、たとえば、カメラ、タブレット、セットトップボックス、パーソナルコンピュータ、スマートフォン、または符号化および／もしくは復号が求められる任意の装置で実装（たとえば、ダウンロード）され得る。他の実施形態では、エンコーダおよびデコーダは、そのような装置のハードウェアまたはハードウェアおよびソフトウェアで実装される。

本明細書では、本発明について主にいくつかの実施形態を参照しながら説明した。ただし、当業者により理解されるように、本明細書で開示された特定の実施形態以外の他の実施形態も、添付の特許請求の範囲により定義されるように本発明の範囲内で等しく可能である。

Claims (36)

1. ビデオピクチャをビデオビットストリームに符号化するエンコーダ（４０）で実行される方法（２０）であって、
   参照ピクチャ（７；１１、１２）のノイズ除去バージョン（７’；１１’、１２’）を取得すること（２１）と、
   マッチング手順を少なくとも１回実行すること（２２）であり、前記マッチング手順が、前記参照ピクチャ（７；１１、１２）の参照マッチング領域（４；１４、１５）を第２のピクチャ（６；１２、１１）のマッチング領域（３；１５、１４）にマッチさせることと、前記ノイズ除去バージョン（７’；１１’、１２’）の参照マッチング領域（４’；１４’、１５’）を前記第２のピクチャ（６；１２、１１）の前記マッチング領域（３；１５、１４）にマッチさせることとを含む、マッチング手順を実行すること（２２）と、
   現在のピクチャ（６；１３）のブロック（２；１６）を、前記ブロック（２；１６）に対して、前記参照ピクチャ（７；１１、１２）の第１の参照領域（５；１４、１５）に基づく第１の予測領域または前記ノイズ除去バージョン（７’；１１’、１２’）の第２の参照領域（５’；１４’、１５’）に基づく第２の予測領域を選択することにより符号化すること（２３）であり、前記第２のピクチャ（６；１２、１１）の対応するマッチング領域（３；１５、１４）に対するマッチング誤差が最小である予測領域が選択される、符号化すること（２３）と
   を含む方法（２０）。
2. 前記参照ピクチャ（７；１１、１２）のノイズ除去バージョン（７’；１１’、１２’）を取得すること（２１）が、前記参照マッチング領域（４；１４、１５）のみをノイズ除去することを含む、請求項１に記載の方法（２０）。
3. 前記マッチング手順を、前記符号化よりも低い解像度で実行すること（２２）を含む、請求項１または２に記載の方法（２０）。
4. 前記マッチング手順を実行すること（２２）が、第１の標本精度を使用して前記参照マッチング領域（４、４’；１４、１４’、１５、１５’）に対するマッチの第１のセットを取得することと、第２の標本精度を使用して前記第１のセットのマッチを絞り込むこととを含み、前記符号化すること（２３）が、前記第２の標本精度が使用された前記第１のセットのマッチの中から予測領域を選択することを含む、請求項１から３のいずれか一項に記載の方法（２０）。
5. デコーダ（５０）に対し、前記第２の標本精度が使用された前記第１のセットのマッチの中の使用するマッチ候補に関する情報をシグナリングすることを含む、請求項４に記載の方法（２０）。
6. ノイズ除去バージョン（７’；１１’、１２’）を取得すること（２１）が、ローパスフィルタ、線形平滑化フィルタ、異方性拡散、非線形フィルタ、時間フィルタ、およびピクチャのすべてのピクセルの非局所的平均化より選択されるノイズ除去フィルタを使用することを含む、請求項１から５のいずれか一項に記載の方法（２０）。
7. 前記マッチング手順がテンプレートマッチングを含み、
   第１の参照ピクチャ（７）の前記参照マッチング領域（４）が、参照ピクチャ（７）の参照テンプレート領域を含み、
   前記ノイズ除去バージョン（７’）の前記参照マッチング領域（４’）が、前記ノイズ除去バージョン（７’）の参照テンプレート領域を含み、
   前記第２のピクチャ（６）が、前記現在のピクチャを含み、
   前記第２のピクチャ（６）の前記マッチング領域（３）が、前記現在のピクチャのテンプレート領域を含み、
   前記予測領域（３）が、前記参照ピクチャ（７）および前記ノイズ除去バージョン（７’）のそれぞれのテンプレート領域（４；４’）に隣接している、請求項１から６のいずれか一項に記載の方法（２０）。
8. 前記マッチング手順がバイラテラルマッチングを含み、
   前記第２のピクチャ（１２、１１）が、第２の取得された参照ピクチャ（１１、１２）または第２の取得された参照ピクチャのノイズ除去バージョン（１１’、１２’）を含み、
   前記方法（２０）が、前記ブロック（１６）の前記符号化（２３）中に、
   第２の参照ピクチャ（１２、１１）の第３の予測領域（１５）または前記第２の参照ピクチャ（１２、１１）のノイズ除去バージョンの第４の予測領域（１５’）を選択することと、
   前記選択された第１の予測領域（１４、１５）および前記選択された第３の予測領域（１５、１４）または前記選択された第２の予測領域（１４’、１５’）および前記選択された第４の予測領域（１５’、１４’）に基づいて、第５の予測領域を導き出すことと、
   現在のフレーム（１３）の前記ブロック（１６）の符号化（２３）のために前記第５の予測領域を選択することと
   を含む、請求項１から６のいずれか一項に記載の方法（２０）。
9. ビデオピクチャをビデオビットストリームに符号化するエンコーダ（４０）用のコンピュータプログラム（４３）であって、前記エンコーダ（４０）の少なくとも１つのプロセッサで実行されたときに、前記エンコーダ（４０）に請求項１から８のいずれか一項に記載の方法（２０）を実行させるコンピュータプログラムコードを含むコンピュータプログラム（４３）。
10. 請求項９に記載のコンピュータプログラム（４３）と、前記コンピュータプログラム（４３）が格納されるコンピュータ可読手段とを備えるコンピュータプログラム製品（４２）。
11. ビデオピクチャをビデオビットストリームに符号化するエンコーダ（４０）であって、
    参照ピクチャ（７；１１、１２）のノイズ除去バージョン（７’；１１’、１２’）を取得し、
    前記参照ピクチャ（７；１１、１２）の参照マッチング領域（４；１４、１５）を第２のピクチャ（６；１２、１１）のマッチング領域（３；１５、１４）にマッチさせることと、前記ノイズ除去バージョン（７’；１１’、１２’）の参照マッチング領域（４’；１４’、１５’）を前記第２のピクチャ（６；１２、１１）の前記マッチング領域（３；１５、１４）にマッチさせることとを含むマッチング手順を、少なくとも１回実行し、
    現在のピクチャ（６；１３）のブロック（２；１６）を、前記ブロック（２；１６）に対して、前記参照ピクチャ（７；１１、１２）の第１の参照領域（５；１４、１５）に基づく第１の予測領域または前記ノイズ除去バージョン（７’；１１’、１２’）の第２の参照領域（５’；１４’、１５’）に基づく第２の予測領域を選択することにより符号化し、前記第２のピクチャ（６；１２、１１）の対応するマッチング領域（３；１５、１４）に対するマッチング誤差が最小である予測領域が選択されるように構成されたエンコーダ（４０）。
12. 前記参照ピクチャ（７；１１、１２）のノイズ除去バージョン（７’；１１’、１２’）を、前記参照マッチング領域（４；１４、１５）のみをノイズ除去することにより取得するように構成された、請求項１１に記載のエンコーダ（４０）。
13. 前記マッチング手順を、前記符号化よりも低い解像度で実行するように構成された、請求項１１または１２に記載のエンコーダ（４０）。
14. 第１の標本精度を使用して前記参照マッチング領域（４、４’；１４、１４’、１５、１５’）に対するマッチの第１のセットを取得することにより前記マッチング手順を実行するように構成され、第２の標本精度を使用して前記第１のセットのマッチを絞り込むように構成され、前記第２の標本精度が使用された前記第１のセットのマッチの中から予測領域を選択することにより符号化を実行するように構成された、請求項１１から１３のいずれか一項に記載のエンコーダ（４０）。
15. デコーダ（５０）に対し、前記第２の標本精度が使用された前記第１のセットのマッチの中の使用するマッチ候補に関する情報をシグナリングするように構成された、請求項１４に記載のエンコーダ（４０）。
16. ローパスフィルタ、線形平滑化フィルタ、異方性拡散、非線形フィルタ、時間フィルタ、およびピクチャのすべてのピクセルの非局所的平均化より選択されるノイズ除去フィルタを使用することにより、ノイズ除去バージョン（７’；１１’、１２’）を取得するように構成された、請求項１１から１５のいずれか一項に記載のエンコーダ（４０）。
17. 前記マッチング手順がテンプレートマッチングを含み、
    第１の参照ピクチャ（７）の前記参照マッチング領域（４）が、参照ピクチャ（７）の参照テンプレート領域を含み、
    前記ノイズ除去バージョン（７’）の前記参照マッチング領域（４’）が、前記ノイズ除去バージョン（７’）の参照テンプレート領域を含み、
    前記第２のピクチャ（６）が、前記現在のピクチャを含み、
    前記第２のピクチャ（６）の前記マッチング領域（３）が、前記現在のピクチャのテンプレート領域を含み、
    前記予測領域（５、５’）が、前記参照ピクチャ（７）および前記ノイズ除去バージョン（７’）のそれぞれのテンプレート領域（４；４’）に隣接している、請求項１１から１６のいずれか一項に記載のエンコーダ（４０）。
18. 前記マッチング手順がバイラテラルマッチングを含み、
    前記第２のピクチャ（１２、１１）が、第２の取得された参照ピクチャ（１１、１２）または第２の取得された参照ピクチャのノイズ除去バージョン（１１’、１２’）を含み、
    前記エンコーダ（４０）が、前記ブロック（１６）の前記符号化中に、
    第２の参照ピクチャ（１２、１１）の第３の予測領域（１５、１４）または前記第２の参照ピクチャ（１２、１１）のノイズ除去バージョンの第４の予測領域（１５’、１４’）を選択し、
    前記選択された第１の予測領域（１４、１５）および前記選択された第３の予測領域（１５、１４）または前記選択された第２の予測領域（１４’、１５’）および前記選択された第４の予測領域（１５’、１４’）に基づいて、第５の予測領域を導き出し、
    現在のフレーム（１３）の前記ブロック（１６）の符号化（２３）のために前記第５の予測領域を選択する
    ように構成された、請求項１１から１６のいずれか一項に記載のエンコーダ（４０）。
19. ビデオビットストリームからビデオピクチャを復号するデコーダ（５０）で実行される方法（３０）であって、
    参照ピクチャ（７；１１、１２）のノイズ除去バージョン（７’；１１’、１２’）を取得すること（３１）と、
    マッチング手順を少なくとも１回実行すること（３２）であり、前記マッチング手順が、前記参照ピクチャ（７；１１、１２）の参照マッチング領域（４；１４、１５）を第２のピクチャ（６；１２、１１）のマッチング領域（３；１５、１４）にマッチさせることと、前記ノイズ除去バージョン（７’；１１’、１２’）の参照マッチング領域（４’；１４’、１５’）を前記第２のピクチャ（６；１２、１１）の前記マッチング領域（３；１５、１４）にマッチさせることとを含む、マッチング手順を実行すること（３２）と、
    前記第２のピクチャ（６；１３）のブロック（２；１６）を、前記ブロック（２；１６）に対して、前記参照ピクチャ（７；１１、１２）の第１の参照領域（５；１４、１５）に基づく第１の予測領域または前記ノイズ除去バージョン（７’；１１’、１２’）の第２の参照領域（５’；１４’、１５’）に基づく第２の予測領域を選択することにより復号すること（３３）であり、前記第２のピクチャ（６；１２、１１）の対応するマッチング領域（３；１５、１４）に対するマッチング誤差が最小である予測領域が選択される、復号すること（３３）と
    を含む方法（３０）。
20. 参照ピクチャ（７；１１、１２）のノイズ除去バージョン（７’；１１’、１２’）を取得すること（３１）が、前記参照マッチング領域（４；１４、１５）のみをノイズ除去することを含む、請求項１９に記載の方法（３０）。
21. 前記マッチング手順を、前記復号よりも低い解像度で実行すること（３２）を含む、請求項１９または２０に記載の方法（３０）。
22. 前記マッチング手順を実行することが、第１の標本精度を使用して前記参照マッチング領域（４、４’；１４、１４’、１５、１５’）に対するマッチの第１のセットを取得することと、第２の標本精度を使用して前記第１のセットのマッチを絞り込むこととを含み、前記復号すること（３３）が、前記第２の標本精度が使用された前記第１のセットのマッチの中から予測領域を選択することを含む、請求項１９から２１のいずれか一項に記載の方法（３０）。
23. エンコーダ（４０）から、前記第２の標本精度が使用された前記第１のセットのマッチの中の使用するマッチ候補に関する情報を受け取ることを含む、請求項２２に記載の方法（３０）。
24. ノイズ除去バージョン（７’；１１’、１２’）を取得すること（３１）が、ローパスフィルタ、線形平滑化フィルタ、異方性拡散、非線形フィルタ、時間フィルタ、およびピクチャのすべてのピクセルの非局所的平均化より選択されるノイズ除去フィルタを使用することを含む、請求項１９から２３のいずれか一項に記載の方法（３０）。
25. 前記マッチング手順がテンプレートマッチングを含み、
    第１の参照ピクチャ（７）の前記参照マッチング領域（４）が、参照ピクチャ（７）の参照テンプレート領域を含み、
    前記ノイズ除去バージョン（７’）の前記参照マッチング領域（４’）が、前記ノイズ除去バージョン（７’）の参照テンプレート領域を含み、
    前記第２のピクチャ（６）が、前記現在のピクチャを含み、
    前記第２のピクチャ（６）の前記マッチング領域（３）が、前記現在のピクチャのテンプレート領域を含み、
    前記予測領域（５、５’）が、前記参照ピクチャ（７）および前記ノイズ除去バージョン（７’）のそれぞれのテンプレート領域（４；４’）に隣接している、請求項１９から２４のいずれか一項に記載の方法（３０）。
26. 前記マッチング手順がバイラテラルマッチングを含み、
    前記第２のピクチャ（１２、１１）が、第２の取得された参照ピクチャ（１１、１２）または第２の取得された参照ピクチャのノイズ除去バージョン（１１’、１２’）を含み、
    前記方法（３０）が、前記ブロック（１６）の前記復号（３３）中に、
    第２の参照ピクチャ（１２、１１）の第３の予測領域（１５、１４）または前記第２の参照ピクチャ（１２、１１）のノイズ除去バージョン（１２’、１１ ’）の第４の予測領域（１５’、１４’）を選択することと、
    前記選択された第１の予測領域（１４、１５）および前記選択された第３の予測領域（１５、１４）または前記選択された第２の予測領域（１４’、１５’）および前記選択された第４の予測領域（１５’、１４’）に基づいて、第５の予測領域を導き出すことと、
    現在のフレーム（１３）の前記ブロック（１６）の復号（３３）のために前記第５の予測領域を選択することと
    を含む、請求項１９から２４のいずれか一項に記載の方法（３０）。
27. ビデオビットストリームからビデオピクチャを復号するデコーダ（５０）用のコンピュータプログラム（５３）であって、前記デコーダ（５０）の少なくとも１つのプロセッサで実行されたときに、前記デコーダ（５０）に請求項１９から２６のいずれか一項に記載の方法（３０）を実行させるコンピュータプログラムコードを含むコンピュータプログラム（５３）。
28. 請求項２７に記載のコンピュータプログラム（５３）と、前記コンピュータプログラム（５３）が格納されるコンピュータ可読手段とを備えるコンピュータプログラム製品（５２）。
29. ビデオビットストリームからビデオピクチャを復号するデコーダ（５０）であって、
    参照ピクチャ（７；１１、１２）のノイズ除去バージョン（７’；１１’、１２’）を取得し、
    前記参照ピクチャ（７；１１、１２）の参照マッチング領域（４；１４、１５）を第２のピクチャ（６；１２、１１）のマッチング領域（３；１５、１４）にマッチさせることと、前記ノイズ除去バージョン（７’；１１’、１２’）の参照マッチング領域（４’；１４’、１５’）を前記第２のピクチャ（６；１２、１１）の前記マッチング領域（３；１５、１４）にマッチさせることとを含むマッチング手順を、少なくとも１回実行し、
    現在のピクチャ（６；１３）のブロック（２；１６）を、前記ブロック（２；１６）に対して、前記参照ピクチャ（７；１１、１２）の第１の参照領域（５；１４、１５）に基づく第１の予測領域または前記ノイズ除去バージョン（７’；１１’、１２’）の第２の参照領域（５’；１４’、１５’）に基づく第２の予測領域を選択することにより復号し、前記第２のピクチャ（６；１２、１１）の対応するマッチング領域（３；１５、１４）に対するマッチング誤差が最小である予測領域が選択されるように構成されたデコーダ（５０）。
30. 前記参照ピクチャ（７；１１、１２）のノイズ除去バージョン（７’；１１’、１２’）を、前記参照マッチング領域（４；１４、１５）のみをノイズ除去することにより取得するように構成された、請求項２９に記載のデコーダ（５０）。
31. 前記マッチング手順を、前記復号よりも低い解像度で実行するように構成された、請求項２９または３０に記載のデコーダ（５０）。
32. 第１の標本精度を使用して前記参照マッチング領域（４、４’；１４、１４’、１５、１５’）に対するマッチの第１のセットを取得することにより前記マッチング手順を実行するように構成され、第２の標本精度を使用して前記第１のセットのマッチを絞り込むように構成され、前記第２の標本精度が使用された前記第１のセットのマッチの中から予測領域を選択することにより復号するように構成された、請求項２９から３１のいずれか一項に記載のデコーダ（５０）。
33. エンコーダ（４０）から、前記第２の標本精度が使用された前記第１のセットのマッチの中の使用するマッチ候補に関する情報を受け取るように構成された、請求項３２に記載のデコーダ（５０）。
34. ローパスフィルタ、線形平滑化フィルタ、異方性拡散、非線形フィルタ、時間フィルタ、およびピクチャのすべてのピクセルの非局所的平均化より選択されるノイズ除去フィルタを使用することにより、ノイズ除去バージョン（７’；１１’、１２’）を取得するように構成された、請求項２９から３３のいずれか一項に記載のデコーダ（５０）。
35. 前記マッチング手順がテンプレートマッチングを含み、
    第１の参照ピクチャ（７）の前記参照マッチング領域（４）が、参照ピクチャ（７）の参照テンプレート領域を含み、
    前記ノイズ除去バージョン（７’）の前記参照マッチング領域（４’）が、前記ノイズ除去バージョン（７’）の参照テンプレート領域を含み、
    前記第２のピクチャ（６）が、前記現在のピクチャを含み、
    前記第２のピクチャ（６）の前記マッチング領域（３）が、前記現在のピクチャのテンプレート領域を含み、
    前記予測領域（５、５’）が、前記参照ピクチャ（７）および前記ノイズ除去バージョン（７’）のそれぞれのテンプレート領域（４；４’）に隣接している、請求項２９から３４のいずれか一項に記載のデコーダ（５０）。
36. 前記マッチング手順がバイラテラルマッチングを含み、
    前記第２のピクチャ（１２、１１）が、第２の取得された参照ピクチャ（１１、１２）または第２の取得された参照ピクチャ（１２、１１）のノイズ除去バージョン（１２’、１１’）を含み、
    前記デコーダ（５０）が、前記ブロック（１６）の前記復号中に、
    第２の参照ピクチャ（１２、１１）の第３の予測領域（１５、１４）または前記第２の参照ピクチャ（１２、１１）のノイズ除去バージョン（１２’、１１’）の第４の予測領域（１５’、１４’）を選択し、
    選択された第１の予測領域（１４、１５）および選択された第３の予測領域（１５、１４）または選択された第２の予測領域（１４’、１５’）および選択された第４の予測領域（１５’、１４’）に基づいて、第５の予測領域を導き出し、
    現在のフレーム（１３）の前記ブロック（１６）の復号のために前記第５の予測領域を選択する
    ように構成された、請求項２９から３４のいずれか一項に記載のデコーダ（５０）。

Images