JP7552988B2 - オプティカルフローによる動き補償のための精度精緻化 - Google Patents

Description

関連出願の相互参照
本出願は、２０１９年、６月２１日に出願された「Ｐｒｅｃｉｓｉｏｎ Ｒｅｆｉｎｅｍｅｎｔ ｆｏｒ Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ ｗｉｔｈ Ｏｐｔｉｃａｌ Ｆｌｏｗ」と題された米国仮特許出願第６２／８６４，８２５号からの、米国特許法１１９条（ｅ）下での利益を主張する非仮出願であり、この出願は参照によりその全体が本明細書に援用される。

ビデオコーディングシステムは、デジタルビデオ信号を圧縮して、そのような信号のストレージの必要性および／または伝送帯域幅を削減するために広く使用されている。ブロックベース、ウェーブレットベース、およびオブジェクトベースのシステムなどの様々なタイプのビデオコーディングシステムの中で、今日、ブロックベースのハイブリッドビデオコーディングシステムが最も広く使用され、配備されている。ブロックベースのビデオコーディングシステムの例には、ＭＰＥＧ－１／２／４パート２、Ｈ．２６４／ＭＰＥＧ－４パート１０ ＡＶＣ、ＶＣ－１、および高効率ビデオコーディング（ＨＥＶＣ）などの国際ビデオコーディング規格が含まれ、これは、ＩＴＵ－Ｔ／ＳＧ１６／Ｑ．６／ＶＣＥＧおよびＩＳＯ／ＩＥＣ／ＭＰＥＧのＪＣＴ－ＶＣ（ビデオコーディングに関する合同協力チーム）によって開発されたものである。

２０１７年１０月には、ＩＴＵ－ＴおよびＩＳＯ／ＩＥＣにより、ＨＥＶＣを超える機能を備えたビデオ圧縮に関する共同提案募集（ＣｆＰ）が発行された。２０１８年４月には、標準ダイナミックレンジカテゴリについての２２のＣｆＰ回答が受理され、第１０回ＪＶＥＴ会議で評価され、ＨＥＶＣに対する圧縮率の向上が約４０％であることが実証された。このような評価結果に基づいて、合同ビデオ専門家チーム（ＪＶＥＴ）は、バーサタイルビデオコーディング（ＶＶＣ）という新世代のビデオコーディング規格を開発するための新しいプロジェクトを立ち上げた。同月には、ＶＶＣ規格の参照実装を実証するために、ＶＶＣテストモデル（ＶＴＭ）と呼ばれる参照ソフトウェアコードベースが確立された。初期のＶＴＭ－１．０では、マルチタイプツリーベースのブロック分割構造がＶＴＭで使用されることを除いて、イントラ予測、インター予測、変換／逆変換、量子化／逆量子化、ならびにループ内フィルタを含むほとんどのコーディングモジュールは、既存のＨＥＶＣ設計に従う。一方、新しいコーディングツールの評価を容易にするために、ベンチマークセット（ＢＭＳ）と呼ばれる別の参照ソフトウェアベースも生成された。ＢＭＳコードベースでは、より高いコーディング効率および適度な実装の複雑さを提供する、Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｍｏｄｅｌ（ＪＥＭ）から継承された、コーディングツールのリストが、ＶＴＭの上に含まれ、ＶＶＣ規格化の過程で同様のコーディング技術を評価する際のベンチマークとして使用される。具体的には、ＢＭＳ－１．０に統合された９つのＪＥＭコーディングツールがあり、これには、６５の角度イントラ予測方向、修正された係数コーディング、高度な多重変換（ＡＭＴ）＋４×４非分離型二次変換（ＮＳＳＴ）、アフィン動きモデル、一般化された適応ループフィルタ（ＧＡＬＦ）、高度な時間的動きベクトル予測（ＡＴＭＶＰ）、適応型動きベクトル精度、復号化器側動きベクトル精緻化（ＤＭＶＲ）、および線形モデル（ＬＭ）クロマモードが含まれる。

本明細書で説明される実施形態は、ビデオの符号化および復号化（総称して「コーディング」）で使用される方法を含む。ブロックベースのビデオコーディングにおける動き補償された予測を精緻化するためのシステムおよび方法が説明されている。いくつかの実施形態によるビデオコーディング方法は、動き補償された予測を使用して、サンプルの現在のブロックにおける少なくとも第１のサンプル位置について初期の予測されたサンプル値を生成することと、少なくとも第１のサンプル位置に関連する動きベクトルの精緻化を判定することと、第１のサンプル位置で、サンプル値の空間的勾配を判定することと、空間的勾配と動きベクトルの精緻化とのスカラー積を計算することによって、サンプル差値を判定することと、サンプル差値を初期の予測されたサンプル値に追加して、精緻化されたサンプル値を生成することと、を含む。

いくつかの実施形態では、方法は、復号化器によって実行され、動きベクトルの精緻化を判定することは、ビットストリームから動きベクトルの精緻化を復号化することを含む。

いくつかの実施形態は、ビットストリームからの精緻化精度情報を復号化することをさらに含み、サンプル差値を判定することは、精度情報によって示される量によってスカラー積をスケーリングすることを含む。スカラー積をスケーリングすることは、精度情報によって示される量だけスカラー積をビットシフトすることを含み得る。

いくつかの実施形態では、動き補償された予測は、初期の精度を有する少なくとも１つの動きベクトルを使用して実行され、精緻化精度情報は、初期の精度と精緻化精度との間の差を表す精度差値を含む。

いくつかの実施形態では、スカラー積をスケーリングすることは、精度差値と初期の精度の合計に等しいビット数だけスカラー積を右シフトすることを含む。

いくつかの実施形態では、この方法は、符号化器によって実行され、動きベクトルの精緻化を判定することは、動きベクトルの精緻化を選択して、入力ビデオブロックに関する予測誤差を実質的に最小化することを含み、かつ方法は、ビットストリームでの動きベクトルの精緻化を符号化することをさらに含む。

いくつかの実施形態では、動きベクトルの精緻化は、インデックスとしてビットストリームで信号伝達される。いくつかの実施形態では、インデックスは、（０，－１）、（１，０）、（０，１）、および（－１，０）からなる群からの複数の動きベクトルの精緻化のうちの１つを識別し得る。いくつかの他の実施形態では、インデックスは、（０，－１）、（１，０）、（０，１）、（－１，０）、（－１，－１）、（１，－１）、（１，１）、および（－１，１）からなる群からの複数の動きベクトルの精緻化のうちの１つを識別し得る。

いくつかの実施形態では、動きベクトルの精緻化は、現在のブロック（または現在のサブブロック）内のすべてのサンプル位置に関連付けられている。いくつかの他の実施形態では、動きベクトルの精緻化は、サンプルごとに判定され、異なるサンプルに対して異なり得る。

いくつかの実施形態は、本明細書に記載の方法のいずれかを実行するように構成された少なくとも１つのプロセッサを含む。いくつかのそのような実施形態では、本明細書に記載の方法のいずれかを実行するように動作する命令を格納するコンピュータ可読媒体（例えば、非一時的媒体）が提供される。

いくつかの実施形態は、本明細書に開示される１つ以上の方法を使用して符号化されたビデオを記憶するコンピュータ可読媒体（例えば、非一時的媒体）を含む。

符号化器または復号化器システムは、本明細書に記載の方法を実行するための命令を格納するプロセッサおよび非一時的なコンピュータ可読媒体を含み得る。

また、本実施形態のうちの１つ以上は、上で説明される方法のいずれかに従ってビデオデータを符号化または復号化するための命令が記憶されたコンピュータ可読記憶媒体を提供する。また、本実施形態は、上で説明される方法に従って生成されたビットストリームが記憶されたコンピュータ可読記憶媒体（例えば、非一時的な媒体）を提供する。また、本実施形態は、上で説明される方法に従って生成されたビットストリームを送信するための方法および装置を提供する。また、本実施形態は、説明された方法のいずれかを実行するための命令を含むコンピュータプログラム製品を提供する。

１つ以上の開示された実施形態が実装され得る例示的な通信システムを示すシステム図である。 一実施形態による、図１Ａに示す通信システム内で使用され得る無線送受信ユニット（ＷＴＲＵ）の例を示すシステム図である。 本明細書に記載のいくつかの実施形態で使用されるシステムの機能ブロック図である。 ＶＶＣに使用される符号化器などのブロックベースのビデオ符号化器の機能ブロック図である。 ＶＶＣに使用される復号化器などのブロックベースのビデオ復号化器の機能ブロック図である。 動き補償された予測を示す。 ４パラメータのアフィン動きモデルを示す。 アフィンブロックのサブブロックレベルの動き導出を示す。 ６パラメータアフィンモード示し、Ｖ₀、Ｖ₁およびＶ₂は、制御点の動きベクトルであり、（ＭＶｘ，ＭＶｙ）は、位置（ｘ，ｙ）を中心とするサブブロックの動きベクトルである。 サブブロックの動きベクトルＶ_SBおよび画素の精緻化Δｖ（ｉ，ｊ）を示す。 追加の動きベクトルを信号伝達するための隣接位置の使用を示す。 符号化器と復号化器の両方で実行できるコーディング機能を含む、いくつかの実施形態で実行される符号化および復号化方法を示すフローチャートである。 通信システムの例を示す図である。

実施形態を実装するための例示のデバイスおよびネットワーク
図１Ａは、１つ以上の開示された実施形態が実装され得る例示的な通信システム１００を示す図である。通信システム１００は、音声、データ、ビデオ、メッセージング、ブロードキャストなどのコンテンツを複数の無線ユーザに提供するマルチアクセスシステムであり得る。通信システム１００は、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共有を通じてそのようなコンテンツにアクセスすることを可能にし得る。例えば、通信システム１００は、符号分割多重アクセス（ＣＤＭＡ）、時分割多重アクセス（ＴＤＭＡ）、周波数分割多重アクセス（ＦＤＭＡ）、直交ＦＤＭＡ（ＯＦＤＭＡ）、シングルキャリアＦＤＭＡ（ＳＣ－ＦＤＭＡ）、ゼロテールユニークワードＤＦＴ－スプレッドＯＦＤＭ（ＺＴ ＵＷ ＤＴＳ－ｓ ＯＦＤＭ）、ユニークワードＯＦＤＭ（ＵＷ－ＯＦＤＭ）、リソースブロックフィルタリングＯＦＤＭ、フィルタバンクマルチキャリア（ＦＢＭＣ）などの１つ以上のチャネルアクセス方式を採用し得る。

図１Ａに示すように、通信システム１００は、無線送受信ユニット（ＷＴＲＵ）１０２ａ、１０２ｂ、１０２ｃ、１０２ｄ、ＲＡＮ１０４／１１３、ＣＮ１０６／１１５、公衆交換電話網（ＰＳＴＮ）１０８、インターネット１１０、および他のネットワーク１１２を含み得るが、開示された実施形態は、任意の数のＷＴＲＵ、基地局、ネットワーク、および／またはネットワーク要素を想定することが理解されよう。ＷＴＲＵ １０２ａ、１０２ｂ、１０２ｃ、１０２ｄのそれぞれは、無線環境で動作および／または通信するように構成された任意の種類のデバイスであり得る。例として、ＷＴＲＵ １０２ａ、１０２ｂ、１０２ｃ、１０２ｄ（これらのいずれも「ステーション」および／または「ＳＴＡ」と称され得る）は、無線信号を送信および／または受信するように構成され得、ユーザ機器（ＵＥ）、モバイルステーション、固定もしくはモバイルサブスクライバーユニット、サブスクリプションベースのユニット、ページャー、携帯電話、パーソナルデジタルアシスタント（ＰＤＡ）、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、無線センサ、ホットスポットもしくはＭｉ－Ｆｉデバイス、モノのインターネット（ＩｏＴ）デバイス、時計もしくは他のウェアラブル、ヘッドマウントディスプレイ（ＨＭＤ）、車両、ドローン、医療機器およびアプリケーション（例えば、遠隔手術）、産業用デバイスおよびアプリケーション（例えば、産業用および／または自動処理チェーンのコンテキストで動作するロボットおよび／または他の無線デバイス）、家庭用電化製品デバイス、商用および／または産業用無線で動作するデバイスネットワークなどを含み得る。ＷＴＲＵ １０２ａ、１０２ｂ、１０２ｃ、および１０２ｄのいずれも、同義的にＵＥと称され得る。

通信システム１００はまた、基地局１１４ａおよび／または基地局１１４ｂを含み得る。基地局１１４ａ、１１４ｂのそれぞれは、ＣＮ１０６／１１５、インターネット１１０、および／または他のネットワーク１１２などの、１つ以上の通信ネットワークへのアクセスを容易にするために、ＷＴＲＵ １０２ａ、１０２ｂ、１０２ｃ、１０２ｄのうちの少なくとも１つと無線インターフェースするように構成された任意の種類のデバイスであり得る。例として、基地局１１４ａ、１１４ｂは、基地トランシーバ局（ＢＴＳ）、Ｎｏｄｅ－Ｂ、ｅＮｏｄｅ Ｂ、ホームＮｏｄｅ Ｂ、ホームｅＮｏｄｅ Ｂ、ｇＮＢ、ＮＲ ＮｏｄｅＢ、サイトコントローラ、アクセスポイント（ＡＰ）、無線ルータなどであり得る。基地局１１４ａ、１１４ｂは、それぞれ、単一の要素として示されているが、基地局１１４ａ、１１４ｂは、任意の数の相互接続された基地局および／またはネットワーク要素を含み得ることが理解されよう。

基地局１１４ａは、ＲＡＮ１０４／１１３の一部であり得、これはまた、基地局コントローラ（ＢＳＣ）、無線ネットワークコントローラ（ＲＮＣ）、リレーノード等などの他の基地局および／またはネットワーク要素（図示せず）を含み得る。基地局１１４ａおよび／または基地局１１４ｂは、セル（図示せず）と称され得る１つ以上のキャリア周波数で無線信号を送信および／または受信するように構成され得る。これらの周波数は、ライセンススペクトル、非ライセンススペクトル、またはライセンススペクトルと非ライセンススペクトルの組み合わせであり得る。セルは、比較的固定されているか、時間の経過とともに変化する可能性がある特定の地理的領域に無線サービスのカバレッジを提供し得る。セルは、さらにセルセクタに分割され得る。例えば、基地局１１４ａに関連するセルは、３つのセクタに分割され得る。したがって、一実施形態では、基地局１１４ａは、３つのトランシーバ、すなわち、セルの各セクタに１つを含み得る。一実施形態では、基地局１１４ａは、多入力多出力（ＭＩＭＯ）技術を採用し得、セルの各セクタに対して複数のトランシーバを利用し得る。例えば、ビームフォーミングが使用されて、所望の空間方向に信号を送信および／または受信し得る。

基地局１１４ａ、１１４ｂは、任意の好適な無線通信リンク（例えば、無線周波数（ＲＦ）、マイクロ波、センチメートル波、マイクロ波、赤外線（ＩＲ）、紫外線（ＵＶ）、可視光など）であり得るエアインターフェース１１６を介して、１つ以上のＷＴＲＵ １０２ａ、１０２ｂ、１０２ｃ、１０２ｄと通信し得る。エアインターフェース１１６は、任意の好適な無線アクセス技術（ＲＡＴ）を使用して確立され得る。

より具体的には、上記のように、通信システム１００は、多元接続システムであり得、ＣＤＭＡ、ＴＤＭＡ、ＦＤＭＡ、ＯＦＤＭＡ、ＳＣ－ＦＤＭＡなどのような１つ以上のチャネルアクセス方式を採用し得る。例えば、ＲＡＮ１０４／１１３の基地局１１４ａおよびＷＴＲＵ １０２ａ、１０２ｂ、１０２ｃは、ユニバーサルモバイルテレコミュニケーションシステム（ＵＭＴＳ）地上無線アクセス（ＵＴＲＡ）などの無線技術を実装し得、これは、広帯域ＣＤＭＡ（ＷＣＤＭＡ）を使用して、エアインターフェース１１５／１１６／１１７を確立し得る。ＷＣＤＭＡは、高速パケットアクセス（ＨＳＰＡ）および／または発展型ＨＳＰＡ（ＨＳＰＡ＋）などの通信プロトコルを含み得る。ＨＳＰＡは、高速ダウンリンク（ＤＬ）パケットアクセス（ＨＳＤＰＡ）および／または高速ＵＬパケットアクセス（ＨＳＵＰＡ）を含み得る。

一実施形態では、基地局１１４ａおよびＷＴＲＵ １０２ａ、１０２ｂ、１０２ｃは、発展型ＵＭＴＳ地上無線アクセス（Ｅ－ＵＴＲＡ）などの無線技術を実装し得、これは、ロングタームエボリューション（ＬＴＥ）および／またはＬＴＥ－アドバンスト（ＬＴＥ－Ａ）および／またはＬＴＥ－アドバンストプロ（ＬＴＥ－Ａ Ｐｒｏ）を使用してエアインターフェース１１６を確立し得る。

一実施形態では、基地局１１４ａおよびＷＴＲＵ １０２ａ、１０２ｂ、１０２ｃは、ＮＲ無線アクセスなどの無線技術を実装し得、これは、新しい無線（ＮＲ）を使用してエアインターフェース１１６を確立し得る。

一実施形態では、基地局１１４ａおよびＷＴＲＵ １０２ａ、１０２ｂ、１０２ｃは、複数の無線アクセス技術を実装し得る。例えば、基地局１１４ａおよびＷＴＲＵ １０２ａ、１０２ｂ、１０２ｃは、例えば、二重接続（ＤＣ）原理を使用して、ＬＴＥ無線アクセスおよびＮＲ無線アクセスを一緒に実装し得る。したがって、ＷＴＲＵ １０２ａ、１０２ｂ、１０２ｃによって利用されるエアインターフェースは、複数のタイプの無線アクセス技術および／または複数のタイプの基地局（例えば、ｅＮＢおよびｇＮＢ）との間で送信される送信によって特徴付けられ得る。

他の実施形態では、基地局１１４ａおよびＷＴＲＵ １０２ａ、１０２ｂ、１０２ｃは、ＩＥＥＥ８０２．１１（すなわち、無線フィデリティ（ＷｉＦｉ）、ＩＥＥＥ８０２．１６（すなわち、マイクロ波アクセスのための世界的相互運用性（ＷｉＭＡＸ））、ＣＤＭＡ２０００、ＣＤＭＡ２０００ １Ｘ、ＣＤＭＡ２０００ ＥＶ－ＤＯ、暫定規格２０００（ＩＳ－２０００）、暫定規格９５（ＩＳ－９５）、暫定規格８５６（ＩＳ－８５６）、グローバルシステムフォーモバイルコミュニケーションズ（ＧＳＭ）、ＧＳＭエボリューションの拡張データレート（ＥＤＧＥ）、ＧＳＭ ＥＤＧＥ（ＧＥＲＡＮ）などの無線技術を実装し得る。

図１Ａの基地局１１４ｂは、例えば、無線ルータ、ホームＮｏｄｅ Ｂ、ホームｅＮｏｄｅ Ｂ、またはアクセスポイントであり得、事業所、家庭、車両、キャンパス、産業施設、（例えば、ドローンが使用するための）空中回廊、道路などの局所領域における無線接続を容易にするために任意の好適なＲＡＴを利用し得る。一実施形態では、基地局１１４ｂおよびＷＴＲＵ １０２ｃ、１０２ｄは、無線ローカルエリアネットワーク（ＷＬＡＮ）を確立するために、ＩＥＥＥ８０２．１１などの無線技術を実装し得る。一実施形態では、基地局１１４ｂおよびＷＴＲＵ １０２ｃ、１０２ｄは、無線パーソナルエリアネットワーク（ＷＰＡＮ）を確立するために、ＩＥＥＥ８０２．１５などの無線技術を実装し得る。さらに別の実施形態では、基地局１１４ｂおよびＷＴＲＵ １０２ｃ、１０２ｄは、セルラーベースのＲＡＴ（例えば、ＷＣＤＭＡ、ＣＤＭＡ２０００、ＧＳＭ、ＬＴＥ、ＬＴＥ－Ａ、ＬＴＥ－Ａ Ｐｒｏ、ＮＲなど）を利用して、ピコセルまたはフェムトセルを確立し得る。図１Ａに示されるように、基地局１１４ｂは、インターネット１１０への直接接続を有し得る。したがって、基地局１１４ｂは、ＣＮ１０６／１１５を介してインターネット１１０にアクセスする必要がない場合がある。

ＲＡＮ１０４／１１３は、ＣＮ１０６／１１５と通信し得、ＣＮ１０６／１１５は、１つ以上のＷＴＲＵ １０２ａ、１０２ｂ、１０２ｃ、１０２ｄに音声、データ、アプリケーション、および／またはボイスオーバーインターネットプロトコル（ＶｏＩＰ）サービスを提供するように構成された任意の種類のネットワークであり得る。データは、異なるスループット要件、遅延要件、誤差許容要件、信頼性要件、データスループット要件、モビリティ要件など、様々なサービス品質（ＱｏＳ）要件を有し得る。ＣＮ１０６／１１５は、呼制御、課金サービス、モバイル位置ベースのサービス、プリペイド通話、インターネット接続、ビデオ配信などを提供し、および／またはユーザ認証などの高レベルのセキュリティ機能を実行し得る。図１Ａには示されていないが、ＲＡＮ１０４／１１３および／またはＣＮ１０６／１１５は、ＲＡＮ１０４／１１３と同じＲＡＴまたは異なるＲＡＴを使用する他のＲＡＮと直接または間接的に通信し得ることが理解されよう。例えば、ＮＲ無線技術を利用し得るＲＡＮ１０４／１１３に接続されることに加えて、ＣＮ１０６／１１５はまた、ＧＳＭ、ＵＭＴＳ、ＣＤＭＡ２０００、ＷｉＭＡＸ、Ｅ－ＵＴＲＡ、またはＷｉＦｉ無線テクノロジーを使用する別のＲＡＮ（図示せず）と通信し得る。

ＣＮ１０６／１１５はまた、ＷＴＲＵ １０２ａ、１０２ｂ、１０２ｃ、１０２ｄがＰＳＴＮ１０８、インターネット１１０、および／または他のネットワーク１１２にアクセスするためのゲートウェイとして機能し得る。ＰＳＴＮ１０８は、一般電話サービス（ＰＯＴＳ）を提供する回線交換電話網を含み得る。インターネット１１０は、伝送制御プロトコル（ＴＣＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、および／またはＴＣＰ／ＩＰインターネットプロトコルスイートのインターネットプロトコル（ＩＰ）などの共通の通信プロトコルを使用する相互接続されたコンピュータネットワークおよびデバイスのグローバルシステムを含み得る。ネットワーク１１２は、他のサービスプロバイダによって所有および／または運用される有線および／または無線通信ネットワークを含み得る。例えば、ネットワーク１１２は、１つ以上のＲＡＮに接続された別のＣＮを含み得、これは、ＲＡＮ１０４／１１３と同じＲＡＴまたは異なるＲＡＴを使用し得る。

通信システム１００内のＷＴＲＵ １０２ａ、１０２ｂ、１０２ｃ、１０２ｄの一部またはすべては、マルチモード機能を含み得る（例えば、ＷＴＲＵ １０２ａ、１０２ｂ、１０２ｃ、１０２ｄは、異なる無線リンクを介して異なる無線ネットワークと通信するための複数のトランシーバを含み得る）。例えば、図１Ａに示されるＷＴＲＵ １０２ｃは、セルラーベースの無線技術を採用し得る基地局１１４ａと、およびＩＥＥＥ８０２無線技術を採用し得る基地局１１４ｂとを通信するように構成され得る。

図１Ｂは、例示的なＷＴＲＵ １０２を示すシステム図である。図１Ｂに示されるように、ＷＴＲＵ １０２は、とりわけプロセッサ１１８、トランシーバ１２０、送信／受信要素１２２、スピーカ／マイクロフォン１２４、キーパッド１２６、ディスプレイ／タッチパッド１２８、非リムーバブルメモリ１３０、リムーバブルメモリ１３２、電源１３４、グローバルポジショニングシステム（ＧＰＳ）チップセット１３６、および／または他の周辺機器１３８を含み得る。ＷＴＲＵ １０２は、一実施形態と一致性を保ちながら、前述の要素の任意のサブコンビネーションを含み得ることが理解されよう。

プロセッサ１１８は、汎用プロセッサ、専用プロセッサ、従来のプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、複数のマイクロプロセッサ、ＤＳＰコアに関連する１つ以上のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）回路、その任意の他の種類の集積回路（ＩＣ）、ステートマシンなどであり得る。プロセッサ１１８は、信号符号化、データ処理、電力制御、入力／出力処理、および／またはＷＴＲＵ １０２が無線環境で動作することを可能にする他の任意の機能を実行し得る。プロセッサ１１８は、トランシーバ１２０に結合され得、トランシーバ１２０は、送信／受信要素１２２に結合され得る。図１Ｂは、プロセッサ１１８およびトランシーバ１２０を別個の構成要素として示しているが、プロセッサ１１８およびトランシーバ１２０は、電子パッケージまたはチップに一緒に集積され得ることが理解されよう。

送信／受信要素１２２は、エアインターフェース１１６を介して基地局（例えば、基地局１１４ａ）に信号を送信するか、または基地局から信号を受信するように構成され得る。例えば、一実施形態では、送信／受信要素１２２は、ＲＦ信号を送信および／または受信するように構成されたアンテナであり得る。一実施形態では、送信／受信要素１２２は、例えば、ＩＲ、ＵＶ、または可視光信号を送信および／または受信するように構成されたエミッタ／検出器であり得る。さらに別の実施形態では、送信／受信要素１２２は、ＲＦ信号および光信号の両方を送信および／または受信するように構成され得る。送信／受信要素１２２は、無線信号の任意の組み合わせを送信および／または受信するように構成され得ることが理解されよう。

送信／受信要素１２２は、単一の要素として図１Ｂに示されているが、ＷＴＲＵ １０２は、任意の数の送信／受信要素１２２を含み得る。より具体的には、ＷＴＲＵ １０２は、ＭＩＭＯ技術を採用し得る。したがって、一実施形態では、ＷＴＲＵ １０２は、エアインターフェース１１６を介して無線信号を送受信するための２つ以上の送信／受信要素１２２（例えば、複数のアンテナ）を含み得る。

トランシーバ１２０は、送信／受信要素１２２によって送信される信号を変調し、送信／受信要素１２２によって受信される信号を復調するように構成され得る。上記のように、ＷＴＲＵ １０２はマルチモード機能を有し得る。したがって、トランシーバ１２０は、ＷＴＲＵ １０２が、例えば、ＮＲおよびＩＥＥＥ８０２．１１などの複数のＲＡＴを介して通信することを可能にするための複数のトランシーバを含み得る。

ＷＴＲＵ １０２のプロセッサ１１８は、スピーカ／マイクロフォン１２４、キーパッド１２６、および／またはディスプレイ／タッチパッド１２８（例えば、液晶ディスプレイ（ＬＣＤ）ディスプレイユニットまたは有機発光ダイオード（ＯＬＥＤ）ディスプレイユニット）に結合され得、そしてそれらからユーザ入力データを受信し得る。プロセッサ１１８はまた、ユーザデータをスピーカ／マイクロフォン１２４、キーパッド１２６、および／またはディスプレイ／タッチパッド１２８に出力し得る。加えて、プロセッサ１１８は、非リムーバブルメモリ１３０および／またはリムーバブルメモリ１３２などの任意の種類の好適なメモリからの情報にアクセスし、データを記憶し得る。非リムーバブルメモリ１３０は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、ハードディスク、または任意の他の種類のメモリストレージデバイスを含み得る。リムーバブルメモリ１３２は、加入者識別モジュール（ＳＩＭ）カード、メモリスティック、セキュアデジタル（ＳＤ）メモリカードなどを含み得る。他の実施形態では、プロセッサ１１８は、サーバまたはホームコンピュータ（図示せず）など、ＷＴＲＵ １０２上に物理的に配置されていないメモリから情報にアクセスし、メモリにデータを記憶し得る。

プロセッサ１１８は、電源１３４から電力を受け取ることができ、ＷＴＲＵ １０２内の他の構成要素に電力を分配および／または制御するように構成され得る。電源１３４は、ＷＴＲＵ １０２に電力を供給するための任意の好適なデバイスであり得る。例えば、電源１３４は、１つ以上の乾電池（例えば、ニッケルカドミウム（ＮｉＣｄ）、ニッケル亜鉛（ＮｉＺｎ）、ニッケル金属水素化物（ＮｉＭＨ）、リチウムイオン（Ｌｉイオン）など）、太陽電池、燃料電池などを含み得る。

プロセッサ１１８はまた、ＧＰＳチップセット１３６に結合され得、これは、ＷＴＲＵ １０２の現在の位置に関する位置情報（例えば、経度および緯度）を提供するように構成され得る。ＧＰＳチップセット１３６からの情報に加えて、またはその代わりに、ＷＴＲＵ １０２は、基地局（例えば、基地局１１４ａ、１１４ｂ）からエアインターフェース１１６を介して位置情報を受信し得、および／または２つ以上の近くの基地局から受信される信号のタイミングに基づいてその位置を判定し得る。ＷＴＲＵ １０２は、一実施形態と一致性を保ちながら、任意の好適な位置判定方法によって位置情報を取得し得ることが理解されよう。

プロセッサ１１８は、追加の特徴、機能、および／または有線または無線接続を提供する１つ以上のソフトウェアおよび／またはハードウェアモジュールを含み得る他の周辺機器１３８にさらに結合され得る。例えば、周辺機器１３８は、加速度計、ｅコンパス、衛星トランシーバ、デジタルカメラ（写真および／またはビデオ用）、ユニバーサルシリアルバス（ＵＳＢ）ポート、振動装置、テレビトランシーバ、ハンズフリーヘッドセット、ブルートゥース（登録商標）モジュール、周波数変調（ＦＭ）無線ユニット、デジタル音楽プレーヤー、メディアプレーヤー、ビデオゲームプレーヤーモジュール、インターネットブラウザ、仮想現実および／または拡張現実（ＶＲ／ＡＲ）デバイス、アクティビティトラッカなどを含み得る。周辺機器１３８は、１つ以上のセンサを含み得、センサは、ジャイロスコープ、加速度計、ホール効果センサ、磁力計、方向センサ、近接センサ、温度センサ、時間センサ、地理的位置情報センサ、高度計、光センサ、タッチセンサ、磁力計、気圧計、ジェスチャセンサ、生体認証センサ、および／または湿度センサのうちの１つ以上であり得る。

ＷＴＲＵ １０２は、ＵＬ（例えば、送信用）およびダウンリンク（例えば、受信用）の双方の信号の一部またはすべて（例えば、特定のサブフレームに関連付けられる）の送信および受信が並列および／または同時に行われ得る全二重無線を含み得る。全二重無線は、ハードウェア（例えば、チョーク）またはプロセッサ（例えば、別個のプロセッサ（図示せず）またはプロセッサ１１８を介した）を介した信号処理のいずれかを介した自己干渉を低減および／または実質的に排除するための干渉管理ユニットを含み得る。一実施形態では、ＷＲＴＵ１０２は、信号の一部またはすべての送信および受信（例えば、ＵＬ（例えば、送信用）またはダウンリンク（例えば、受信用）のいずれかの特定のサブフレームに関連付けられる）のための半二重無線を含み得る。

ＷＴＲＵは、無線端末として図１Ａ～図１Ｂに記載されているが、特定の代表的な実施形態では、そのような端末が、通信ネットワークとの有線通信インターフェースを（例えば、一時的または恒久的に）使用し得ることが想定される。

代表的な実施形態では、他のネットワーク１１２は、ＷＬＡＮであり得る。

図１Ａ～図１Ｂの概観において、および対応する説明を考慮して、本明細書に記載の機能の１つ以上、またはすべては、１つ以上のエミュレーションデバイス（図示せず）によって実行され得る。エミュレーションデバイスは、本明細書に記載の機能のうちの１つ以上、またはすべてをエミュレートするように構成された１つ以上のデバイスであり得る。例えば、エミュレーションデバイスは、他のデバイスをテストするために、および／またはネットワークおよび／またはＷＴＲＵ機能をシミュレートするために使用され得る。

エミュレーションデバイスは、ラボ環境および／またはオペレータネットワーク環境で他のデバイスの１つ以上のテストを実装するように設計され得る。例えば、１つ以上のエミュレーションデバイスは、通信ネットワーク内の他のデバイスをテストするために、有線および／または無線通信ネットワークの一部として完全にまたは部分的に実装および／または展開されている間に、１つ以上またはすべての機能を実行し得る。１つ以上のエミュレーションデバイスは、有線および／または無線通信ネットワークの一部として一時的に実装／展開されている間に、１つ以上、またはすべての機能を実行し得る。エミュレーションデバイスは、テストの目的で別のデバイスに直接結合し得、および／または無線経由（ｏｖｅｒ－ｔｈｅ－ａｉｒ）無線通信を使用してテストを実行し得る。

１つ以上のエミュレーションデバイスは、有線および／または無線通信ネットワークの一部として実装／展開されていない間に、すべてを含む１つ以上の機能を実行し得る。例えば、エミュレーションデバイスは、１つ以上の構成要素のテストを実装するために、テストラボでのテストシナリオおよび／または展開されていない（例えば、テスト）有線および／または無線通信ネットワークで利用され得る。１つ以上のエミュレーションデバイスは、テスト機器であり得る。ＲＦ回路（例えば、１つ以上のアンテナを含み得る）を介した直接ＲＦ結合および／または無線通信は、データを送信および／または受信するためにエミュレーションデバイスによって使用され得る。

例示的なシステム。
いくつかの実施形態は、図１Ｃのシステムなどのシステムを使用して実施される。図１Ｃは、様々な態様および実施形態が実装されるシステムの例のブロック図を示す。システム１０００は、以下で説明される様々な構成要素を含むデバイスとして具現化することができ、本文献で説明される態様の１つ以上を実行するように構成されている。そのようなデバイスの例は、これらに限定されるものではないが、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受像機、パーソナルビデオ録画システム、コネクテッド家電、およびサーバなどの様々な電子デバイスを含む。システム１０００の要素は、単独でも組み合わせでも、単一の集積回路、複数のＩＣ、および／または個別の構成要素で具現化され得る。例えば、少なくとも１つの実施形態において、システム１０００の処理および符号化器／復号化器要素は、複数のＩＣおよび／または個別の構成要素にわたって分散している。様々な実施形態において、システム１０００は、１つ以上の他のシステムに、または他の電子デバイスに、例えば、通信バスを介して、または専用の入力および／もしくは出力ポートを通して、通信可能に結合される。様々な実施形態において、システム１０００は、本文献に記載の態様のうちの１つ以上を実装するように構成される。

システム１０００は、例えば、本文献に記載の様々な態様を実装するために、読み込まれた命令を実行するように構成された少なくとも１つのプロセッサ１０１０を含む。プロセッサ１０１０は、当技術分野で既知であるように、埋め込みメモリ、入出力インターフェース、および他の様々な回路を含み得る。システム１０００は、少なくとも１つのメモリ１０２０（例えば、揮発性メモリデバイス、および／または不揮発性メモリデバイス）を含む。システム１０００は、不揮発性メモリおよび／または揮発性メモリを含むことができるストレージデバイス１０４０を含み、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、プログラム可能な読み取り専用メモリ（ＰＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、フラッシュ、磁気ディスクドライブ、および／または光ディスクドライブを含むが、これらに限定されない。ストレージデバイス１０４０は、非限定的な例として、内部ストレージデバイス、付属のストレージデバイス（取り外し可能および取り外し不可能なストレージデバイスを含む）、ならびに／またはネットワークアクセス可能なストレージデバイスを含み得る。

システム１０００は、例えば、符号化されたビデオまたは復号化されたビデオを提供するためにデータを処理するように構成された符号化器／復号化器モジュール１０３０を含み、符号化器／復号化器モジュール１０３０は、独自のプロセッサおよびメモリを含み得る。符号化器／復号化器モジュール１０３０は、符号化機能および／または復号化機能を実行するデバイスに含まれ得るモジュールを表す。既知であるように、デバイスは、符号化および復号化モジュールの一方または両方を含み得る。さらに、符号化器／復号化器モジュール１０３０は、システム１０００の別個の要素として実装することができ、または、当業者には既知であるように、ハードウェアとソフトウェアとの組み合わせとして、プロセッサ１０１０内に組み込むことができる。

本文献に記載の様々な態様を実行するためにプロセッサ１０１０または符号化器／復号化器１０３０に読み込まれるプログラムコードは、ストレージデバイス１０４０に記憶され、続いて、プロセッサ１０１０による実行のためにメモリ１０２０に読み込まれ得る。様々な実施形態によれば、プロセッサ１０１０、メモリ１０２０、ストレージデバイス１０４０、および符号化器／復号化器モジュール１０３０のうちの１つ以上は、本文献に記載のプロセスの実行中、様々な項目のうちの１つ以上を記憶することができる。このような記憶される項目には、入力ビデオ、復号化されたビデオまたは復号化されたビデオの一部、ビットストリーム、マトリックス、変数、ならびに方程式、式、演算、および演算ロジックの処理からの中間結果または最終結果が含まれ得るが、これらに限定されない。

いくつかの実施形態において、プロセッサ１０１０および／または符号化器／復号化器モジュール１０３０の内部のメモリを使用して、命令を記憶し、符号化または復号化中に必要とされる処理のために、ワーキングメモリを提供する。しかしながら、他の実施形態において、処理デバイス（例えば、処理デバイスは、プロセッサ１０１０または符号化器／復号化器モジュール１０３０のいずれかであり得る）の外部のメモリは、これらの機能のうちの１つ以上に使用される。外部メモリは、メモリ１０２０および／またはストレージデバイス１０４０、例えば、ダイナミック揮発性メモリおよび／または不揮発性フラッシュメモリであり得る。いくつかの実施形態において、例えば、テレビのオペレーティングシステムを記憶するために外部不揮発性フラッシュメモリが使用される。少なくとも１つの実施形態では、ＲＡＭなどの高速外部ダイナミック揮発性メモリが、ＭＰＥＧ－２（ＭＰＥＧはＭｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐを指し、ＭＰＥＧ－２は、ＩＳＯ／ＩＥＣ １３８１８とも称され、１３８１８－１はＨ．２２２としても既知であり、１３８１８－２はＨ．２６２としても既知である）、ＨＥＶＣ（ＨＥＶＣはＨｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇを指し、Ｈ．２６５およびＭＰＥＧ－Ｈ Ｐａｒｔ２としても既知である）、またはＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇであり、ＪＶＥＴ、すなわちＪｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔｓ Ｔｅａｍによって開発された新標準規格）などのビデオコード化および復号化動作のためのワーキングメモリとして使用される。

システム１０００の要素への入力は、ブロック１１３０に示されるような様々な入力デバイスを通して提供され得る。このような入力デバイスは、（ｉ）例えば、放送局によって無線で送信されたＲＦ信号を受信する無線周波数（ＲＦ）部分、（ｉｉ）構成要素（ＣＯＭＰ）入力端子（またはＣＯＭＰ入力端子のセット）、（ｉｉｉ）ユニバーサルシリアルバス（ＵＳＢ）入力端子、および／または（ｉｖ）高品位マルチメディアインターフェース（ＨＤＭＩ）入力端子を含むが、これらに限定されない。図１Ｃに示されていない他の実施例には、コンポジットビデオが含まれる。

様々な実施形態において、ブロック１１３０の入力デバイスは、当技術分野で既知であるような関連するそれぞれの入力処理要素を有する。例えば、ＲＦ部は、（ｉ）所望の周波数を選択する（信号を選択する、またはある周波数帯域に信号を帯域制限する、とも称される）、（ｉｉ）選択された信号をダウンコンバートする、（ｉｉｉ）（例えば）ある特定の実施形態ではチャネルと称され得る信号周波数帯域を選択するために、より狭い周波数帯域に再び帯域制限する、（ｉｖ）ダウンコンバートされ、帯域制限された信号を復調する、（ｖ）誤り訂正を実行する、および（ｖｉ）逆多重化して、所望のデータパケットストリームを選択するのに好適な要素に関連付けられ得る。様々な実施形態のＲＦ部は、これらの機能、例えば、周波数セレクタ、信号セレクタ、帯域リミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、誤り訂正器、および逆多重化器を実行する１つ以上の要素を含む。ＲＦ部は、例えば、受信された信号をより低い周波数に（例えば、中間周波数またはベースバンドに近い周波数）、またはベースバンドにダウンコンバートすることを含む、様々なこれらの機能を実行するチューナを含むことができる。１つのセットトップボックスの実施形態において、ＲＦ部およびその関連付けられた入力処理要素は、有線（例えば、ケーブル）媒体経由で送信されたＲＦ信号を受信し、フィルタリングし、ダウンコンバートし、所望の周波数帯域に再びフィルタリングすることによって、周波数選択を実行する。様々な実施形態では、上記（および他の）要素の順番が並べ替えられ、これらの要素のうちのいくつかが取り除かれ、かつ／または同様もしくは異なる機能を実行する他の要素が追加される。要素を追加することは、既存の要素間に要素を挿入すること、例えば、増幅器およびアナログ－デジタル変換器を挿入することなどを含むことができる。様々な実施形態において、ＲＦ部は、アンテナを含む。

さらに、ＵＳＢおよび／またはＨＤＭＩ端子は、ＵＳＢおよび／またはＨＤＭＩ接続を介して、他の電子デバイスにシステム１０００を接続するためのそれぞれのインターフェースプロセッサを含み得る。入力処理の様々な態様、例えば、リードソロモン誤り訂正が、例えば、必要に応じて、別個の入力処理ＩＣ内、またはプロセッサ１０１０内に実装され得ることを理解されたい。同様に、ＵＳＢまたはＨＤＭＩインターフェース処理の態様は、必要に応じて、別個のインターフェースＩＣ内またはプロセッサ１０１０内に実装され得る。復調され、誤り訂正され、かつ逆多重化されたストリームは、例えば、プロセッサ１０１０と、出力デバイス上での表示用に、必要に応じてデータストリームを処理するためにメモリおよびストレージ要素と組み合わせて動作する符号化器／復号化器１０３０と、を含む様々な処理要素に提供される。

システム１０００の様々な要素は、一体型ハウジング内に提供され得、一体型ハウジング内で、様々な要素は、相互接続され、好適な接続構成１１４０、例えば、Ｉｎｔｅｒ－ＩＣ（Ｉ２Ｃ）バス、配線、およびプリント回路基板を含む、当技術分野で周知であるような内部バスを使用して、それらの間でデータを送信することができる。

システム１０００は、通信チャネル１０６０を介して他のデバイスとの通信を可能にする通信インターフェース１０５０を含む。通信インターフェース１０５０は、通信チャネル１０６０経由でデータを送受信するように構成されたトランシーバを含むことができるが、これに限定されない。通信インターフェース１０５０は、モデムまたはネットワークカードを含むことができるが、これらに限定されず、通信チャネル１０６０は、例えば、有線および／または無線媒体内に実装され得る。

データは、様々な実施形態において、Ｗｉ－Ｆｉネットワーク、例えば、ＩＥＥＥ８０２．１１（ＩＥＥＥは、電気電子技術者協会を指す）などの無線ネットワークを使用して、システム１０００にストリーミングされるか、または別様に提供される。これらの実施形態のＷｉ－Ｆｉ信号は、Ｗｉ－Ｆｉ通信に適合された通信チャネル１０６０および通信インターフェース１０５０を介して受信される。これらの実施形態の通信チャネル１０６０は、典型的には、ストリーミングアプリケーションおよび他のオーバーザトップ通信を可能にするインターネットを含む外部ネットワークへのアクセスを提供するアクセスポイントまたはルータに接続される。他の実施形態は、入力ブロック１１３０のＨＤＭＩ接続経由でデータを配信するセットトップボックスを使用して、ストリーミングされたデータをシステム１０００に提供する。さらに他の実施形態は、入力ブロック１１３０のＲＦ接続を使用して、ストリーミングされたデータをシステム１０００に提供する。上記のように、様々な実施形態は、非ストリーミング方式でデータを提供する。さらに、様々な実施形態は、Ｗｉ－Ｆｉ以外の無線ネットワーク、例えば、セルラーネットワークまたはブルートゥースネットワークを使用する。

システム１０００は、ディスプレイ１１００、スピーカ１１１０、および他の周辺デバイス１１２０を含む、様々な出力デバイスに出力信号を提供することができる。様々な実施形態のディスプレイ１１００は、例えば、タッチスクリーンディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、湾曲ディスプレイ、および／または折り畳み式ディスプレイのうちの１つ以上を含む。ディスプレイ１１００は、テレビ、タブレット、ラップトップ、携帯電話（モバイルフォン）、または他のデバイス用であり得る。ディスプレイ１１００はまた、他の構成要素（例えば、スマートフォンのように）と統合され得るか、または別個（例えば、ラップトップ用の外部モニタ）であり得る。他の周辺デバイス１１２０は、実施形態の様々な例において、スタンドアロンデジタルビデオディスク（もしくはデジタル多用途ディスク）（両用語ともＤＶＲ）、ディスクプレーヤ、ステレオシステム、および／または照明システムのうちの１つ以上を含む。様々な実施形態は、システム１０００の出力に基づく機能を提供する１つ以上の周辺デバイス１１２０を使用する。例えば、ディスクプレーヤは、システム１０００の出力を再生する機能を実行する。

様々な実施形態において、システム１０００と、ディスプレイ１１００、スピーカ１１１０、または他の周辺デバイス１１２０との間で、ＡＶ．Ｌｉｎｋ、コンシューマエレクトロニクス制御（ＣＥＣ）、またはユーザの介入の有無に関わらず、デバイス間制御を可能にする他の通信プロトコルなどの信号伝達を使用して、制御信号が通信される。出力デバイスは、それぞれのインターフェース１０７０、１０８０、および１０９０を通して専用接続を介してシステム１０００に通信可能に結合され得る。代替的に、出力デバイスは、通信インターフェース１０５０を介して、通信チャネル１０６０を使用してシステム１０００に接続され得る。ディスプレイ１１００およびスピーカ１１１０は、例えば、テレビなどの電子デバイス内のシステム１０００の他の構成要素と、単一のユニット内に統合され得る。様々な実施形態において、ディスプレイインタフェース１０７０は、例えば、タイミングコントローラ（Ｔ Ｃｏｎ）チップなどのディスプレイドライバを含む。

ディスプレイ１１００およびスピーカ１１１０は、代替的に、例えば、入力１１３０のＲＦ部が別個のセットトップボックスの一部である場合、他の構成要素のうちの１つ以上とは別個であり得る。ディスプレイ１１００およびスピーカ１１１０が外部構成要素である様々な実施形態において、例えば、ＨＤＭＩポート、ＵＳＢポート、またはＣＯＭＰ出力部を含む専用出力接続を介して、出力信号が提供され得る。

実施形態は、プロセッサ１０１０によって、またはハードウェアによって、またはハードウェアとソフトウェアとの組み合わせによって実装されるコンピュータソフトウェアによって、実行され得る。非限定的な例として、実施形態は、１つ以上の集積回路によって実装され得る。メモリ１０２０は、技術的環境に適切な任意のタイプのものであり得、非限定的な例として、光メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ、およびリムーバブルメモリなどの任意の適切なデータストレージ技術を使用して実装され得る。プロセッサ１０１０は、技術的環境に適切な任意のタイプのものであり得、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ、およびマルチコアアーキテクチャに基づくプロセッサのうちの１つ以上を包含し得る。

ブロックベースのビデオコーディング。
ＨＥＶＣと同様に、ＶＶＣはブロックベースのハイブリッドビデオコーディングフレームワークに基づいて構築される。図２Ａは、ブロックベースのハイブリッドビデオ符号化システム２００のブロック図を与える。この符号化器２００の変形が企図されるが、符号化器２００は、明確にするためにすべての予想される変形を説明することなく、以下に説明される。

符号化される前に、ビデオシーケンスは事前符号化処理（２０４）、例えば、入力色画像に色変換（例えば、ＲＧＢ４：４：４からＹＣｂＣｒ ４：２：０への変換）を適用すること、または、圧縮に対してより復元力のある信号分布を得るために、入力画像成分の再マッピングを実行することを経る場合がある（例えば、色成分のうちの１つのヒストグラム等化を使用して）。メタデータは、前処理に関連付けてビットストリームに添付することができる。

符号化される画像を含む入力ビデオ信号２０２は、分割され（２０６）、ブロックごとに処理される。いくつかのブロックは、コーディングユニット（ＣＵ）と称され得る。ＣＵが異なれば、サイズも異なり得る。ＶＴＭ－１．０では、ＣＵは最大１２８×１２８ピクセルにすることができる。ただし、クアッドツリーのみに基づいてブロックを分割するＨＥＶＣとは異なり、ＶＴＭ－１．０では、コーディングツリーユニット（ＣＴＵ）がＣＵに分割され、クアッド／バイナリ／ターナリーツリーに基づいて様々なローカル特性に適応する。追加的に、ＨＥＶＣの複数パーティションユニットタイプの概念が削除され、ＣＵ、予測ユニット（ＰＵ）、および変換ユニット（ＴＵ）の分離がＶＶＣ－１．０にもはや存在しなくなり、代わりに、各ＣＵは常に、追加のパーティションなしで予測と変換の両方の基本単位として使用される。マルチタイプツリー構造では、ＣＴＵは、最初にクアッドツリー構造によって分割される。次に、各クアッドツリーリーフノードをバイナリおよびターナリーツリー構造でさらに分割することができる。４分割、垂直２分割、水平２分割、垂直３分割、水平３分割の５つのスプリッティングタイプがある。

図２Ａの符号化器では、空間予測（２０８）および／または時間予測（２１０）を実行し得る。空間予測（または「イントラ予測」）は、同じビデオ画像／スライス内の既にコード化された隣接ブロックのサンプル（参照サンプルと称される）からのピクセルを使用して、現在のビデオブロックを予測する。空間予測は、ビデオ信号に固有の空間冗長性を低減する。時間的予測（「インター予測」または「動き補償された予測」とも称される）は、既にコード化されたビデオ画像から再構築されたピクセルを使用して、現在のビデオブロックを予測する。時間的予測は、ビデオ信号に固有の時間的冗長性を低減する。所与のＣＵの時間的予測信号は、現在のＣＵとその時間基準との間の動きの量および方向を示す１つ以上の動きベクトル（ＭＶ）によって信号伝達されることができる。また、複数の参照画像がサポートされている場合、参照画像インデックスは、追加で送信され得、これを使用して、参照画像ストア（２１２）内のどの参照画像から時間予測信号が来るかを識別する。

符号化器でのモード決定ブロック（２１４）は、例えば、レート歪み最適化方法に基づいて、最良の予測モードを選択する。この選択は、空間的および／または時間的予測が実行された後に行うことができる。イントラ／インター決定は、例えば、予測モードフラグによって示され得る。予測ブロックは、現在のビデオブロック（２１６）から差し引かれ、予測残差を生成する。予測残差は、変換（２１８）および量子化（２２０）を使用して相関が解除される。（いくつかのブロックでは、符号化器は、変換と量子化の両方をバイパスする場合があり、その場合、残差は変換または量子化プロセスを適用せずに直接コード化され得る。）量子化された残差係数は、逆量子化（２２２）および逆変換（２２４）されて、再構成された残差を形成し、それは次に予測ブロック（２２６）に戻されて、ＣＵの再構成された信号を形成する。非ブロック化／ＳＡＯ（サンプル適応オフセット）フィルタリングなどの、さらなるインループフィルタリングは、それが参照画像ストアに配置され（２１２）、将来のビデオブロックをコード化するために使用される前に、再構築されたＣＵに適用され得て（２２８）符号化アーティファクトを低減する。出力ビデオビットストリーム２３０を形成するために、コーディングモード（インターまたはイントラ）、予測モード情報、モーション情報、および量子化された残差係数は、すべてエントロピーコーディングユニット（１０８）に送信され、さらに圧縮およびパックされてビットストリームを形成する。

図２Ｂは、ブロックベースのビデオ復号化器２５０のブロック図を与える。復号化器２５０では、以下に説明されているように、ビットストリームが、復号化器要素によって復号化される。ビデオ復号化器２５０は、概して、図２Ａで説明したような符号化パスの逆の復号化パスを実行する。符号化器２００はまた、概して、ビデオデータの符号化の一部としてビデオ復号化を実行する。

特に、復号化器の入力は、ビデオ符号化器２００によって生成され得るビデオビットストリーム２５２を含む。ビデオビットストリーム２５２は、最初にアンパックされ、エントロピー復号化ユニット２５４でエントロピー復号化されて、変換係数、動きベクトル、および他のコード化情報を取得する。画像分割情報は、画像がどのように分割されているかを示す。したがって、復号化器は、復号化された画像分割情報に従って画像を分割し得る（２５６）。コーディングモードおよび予測情報は、空間予測ユニット２５８（イントラコード化されている場合）または時間予測ユニット２６０（インターコード化されている場合）のいずれかに送信されて、予測ブロックを形成する。残差変換係数は、逆量子化ユニット２６２および逆変換ユニット２６４に送られて、残差ブロックを再構築する。次に、予測ブロックおよび残差ブロックが２６６で一緒に加算されて、再構築ブロックを生成する。再構築されたブロックは、将来のビデオブロックの予測に使用されるため、参照画像ストア２７０に記憶される前に、ループ内フィルタリング２６８をさらに通過し得る。

復号化された画像２７２は、復号化後処理（２７４）、例えば、逆色変換（例えば、ＹＣｂＣｒ ４：２：０からＲＧＢ４：４：４への変換）または事前符号化処理（２０４）で行われる再マッピングプロセスの逆を行う逆再マッピングをさらに経ることができる。復号化後処理では、事前符号化処理で導出され、かつビットストリームで信号伝達されるメタデータを使用することができる。復号化され、処理されたビデオは、ディスプレイデバイス２７６に送信され得る。ディスプレイデバイス２７６は、復号化器２５０とは別個のデバイスであり得るか、または復号化器２５０およびディスプレイデバイス２７６は、同じデバイスの構成要素であり得る。

本開示に記載されている様々な方法および他の態様を使用して、ビデオ符号化器２００または復号化器２５０のモジュールを修正することができる。さらに、本明細書に開示されているシステムおよび方法は、ＶＶＣまたはＨＥＶＣに限定されず、例えば、既存かまたは将来開発されるかどうかにかかわらず、他の規格および推奨事項、ならびに任意のそのような規格および推奨事項（ＶＶＣおよびＨＥＶＣを含む）の拡張版に適用することができる。特に指示されていない限り、または技術的に除外されていない限り、本開示に説明される態様は、個別にまたは組み合わせて使用することができる。

インター予測。
図３Ａおよび図３Ｂは、ビデオブロックの動き予測の例を示す図である（例えば、インター予測モジュール２１０または２６０を使用する）。画像内のブロックレベルの動きの例を示す図３Ｂは、例えば、参照画像「Ｒｅｆ ｐｉｃ ０」、「Ｒｅｆ ｐｉｃ １」、および「Ｒｅｆ ｐｉｃ２」を含む例示的な復号化された画像バッファを示す図である。現在の画像のブロックＢ０、Ｂ１、およびＢ２は、それぞれ参照画像「Ｒｅｆ ｐｉｃ ０」、「Ｒｅｆ ｐｉｃ １」、および「Ｒｅｆ ｐｉｃ２」のブロックから予測し得る。動き予測は、隣接するビデオフレームからのビデオブロックを使用して、現在のビデオブロックを予測し得る。動き予測は、時間的相関を利用し得、および／またはビデオ信号に固有の時間的冗長性を取り除き得る。例えば、Ｈ．２６４／ＡＶＣおよびＨＥＶＣでは、時間的予測は、様々なサイズのビデオブロックで実行し得る（例えば、輝度成分の場合、時間的予測ブロックサイズは、Ｈ．２６４／ＡＶＣでは１６×１６から４×４に、およびＨＥＶＣでは６４×６４から４×４に変化し得る）。（ｍｖｘ，ｍｖｙ）の動きベクトルによれば、次の式で提供されるように時間的予測を実行され得る。
Ｐ（ｘ，ｙ）＝ｒｅｆ（ｘ－ｍｖｘ，ｙ－ｍｖｙ）
ここで、ｒｅｆ（ｘ，ｙ）は、参照画像での位置（ｘ，ｙ）におけるピクセル値であり得、Ｐ（ｘ，ｙ）は、予測されたブロックであり得る。ビデオコーディングシステムは、小数ピクセル精度でのインター予測をサポートし得る。動きベクトル（ｍｖｘ，ｍｖｙ）が小数ピクセル値を有する場合、１つ以上の補間フィルタを適用し得、小数ピクセル位置でのピクセル値を取得し得る。ブロックベースのビデオコーディングシステムは、マルチ仮説予測を使用して、時間的予測を改善し得、例えば、予測信号は、異なる参照画像からの多数の予測信号を組み合わせることによって形成され得る。例えば、Ｈ．２６４／ＡＶＣおよび／またはＨＥＶＣは、２つの予測信号を組み合わせることができる二重予測を使用する場合がある。二重予測は、それぞれが参照画像からの２つの予測信号を組み合わせて、次の方程式のような予測を形成する場合がある。

ここで、Ｐ₀（ｘ，ｙ）およびＰ₁（ｘ，ｙ）は、それぞれ第１と第２の予測ブロックであり得る。２つの予測ブロックは、２つの動きベクトル（ｍｖｘ₀，ｍｖｙ₀）および（ｍｖｘ₁，ｍｖｙ₁）をそれぞれ使用して、２つの参照画像ｒｅｆ₀（ｘ，ｙ）およびｒｅｆ₁（ｘ，ｙ）から動き補償された予測を実行することによって取得され得る。予測ブロックＰ（ｘ，ｙ）は、ソースビデオブロックから差し引かれ（例えば、２１６にて）、予測残差ブロックが形成され得る。予測残差ブロックは、変換され（例えば、変換ユニット２１８にて）、および／または量子化され得る（例えば、量子化ユニット２２０にて）。量子化された残差変換係数ブロックは、エントロピー符号化ユニット（例えば、エントロピー符号化ユニット２３２）に送られ、ビットレートを低減するためにエントロピー符号化され得る。エントロピー符号化された残差係数は、出力ビデオビットストリーム（例えば、ビットストリーム２３０）の一部を形成するためにパックされ得る。復号化器側では、同じ動き補償された予測プロセスを実行し得（例えば、インター予測モジュール２６０によって）、結果として生じる予測ブロックを、復号化された残差ブロックに追加し得る（例えば、２６６にて）。

アフィンモード。
ＨＥＶＣでは、並進動きモデルのみが動き補償された予測に適用される。現実の世界では、ズームイン／ズームアウト、回転、遠近的な動き、および他の不規則な動きなど、様々な種類の動きがある。ＶＴＭ－２．０では、アフィン動き補償された予測が適用される。アフィン動きモデルは、４パラメータまたは６パラメータのいずれかである。相互にコード化された各ブロックの第１のフラグは、並進動きモデルまたはアフィン動きモデルのどちらがインター予測に適用されるかを示すために信号伝達される。アフィン動きモデルの場合、第２のフラグが送信され、４パラメータモデルと６パラメータモデルのどちらが使用されているかが示される。

４つのパラメータを持つアフィン動きモデルには、水平方向と垂直方向の並進動き用の２つのパラメータ、両方向のズームモーション用の１つのパラメータ、および両方向の回転動き用の１つのパラメータという、パラメータがあり得る。水平ズームパラメータは垂直ズームパラメータと等しいため、単一のズームパラメータが使用される。水平回転パラメータは垂直回転パラメータと等しいため、単一の回転パラメータが使用される。４パラメータのアフィン動きモデルは、現在のブロックの左上隅と右上隅で定義された２つの制御点位置で２つの動きベクトルを使用してＶＴＭでコード化される。図４Ａに示されるように、ブロックのアフィン動きフィールドは、２つの制御点動きベクトル（Ｖ₀，Ｖ₁）によって記述される。制御点の動きに基づいて、アフィンコード化されたブロックの動きフィールド（ｖ_x，ｖ_y）は次のように記述される。

方程式（１）では、（ｖ_0x，ｖ_0y）は、図４Ａに示すように、左上隅の制御点の動きベクトルであり、（ｖ_1x，ｖ_1y）は、右上隅の制御点の動きベクトルであり、ｗは、ブロックの幅である。ＶＴＭ－２．０では、アフィンコード化ブロックの動きフィールドは、４×４サブブロックレベルで導出され、現在のブロック内の４×４サブブロック（図４Ｂ）ごとに（ｖ_x，ｖ_y）が導出され、対応する４×４サブブロックに適用される。（いくつかのコンテキストではブロックと称されるサンプルのセットは、他のコンテキストではサブブロックと称される場合があることに留意されたい。分かりやすくするために、様々な用語がコンテキストで使用され得る。）

４パラメータアフィンモデルのこれらの４つのパラメータは、反復的に推定できる。ステップｋでのＭＶペアを

とし、元の入力輝度信号をＩ（ｉ，ｊ）として、予測輝度信号をＩ′_k（ｉ，ｊ）として示す。空間的勾配ｇ_x（ｉ，ｊ）およびｇ_y（ｉ，ｊ）は、ソーベルフィルタを用いて導出され、それぞれ水平方向および垂直方向のＩ′_k（ｉ，ｊ）は、予測信号に適用される。方程式（１）の導関数は次のように表すことができる。

方程式（２）において、ステップｋで、（ａ，ｂ）は、デルタ並進パラメータであり、（ｃ，ｄ）は、デルタズームおよび回転パラメータである。制御点でのデルタＭＶは、方程式（３）および（４）に示すようにその座標を用いて導出することができる。例えば、（０，０）、（ｗ，０）は、それぞれ左上と右上の制御点の座標である。

オプティカルフロー方程式に基づいて、輝度の変化と空間的勾配および時間的動きとの関係は次のように定式化される。

方程式（２）に

を代入すると、パラメータ（ａ，ｂ，ｃ，ｄ）についての方程式が得られる。
Ｉ’_k（ｉ，ｊ）－Ｉ（ｉ，ｊ）＝（ｇ_x（ｉ，ｊ）＊ｉ＋ｇ_y（ｉ，ｊ）＊ｊ）＊ｃ＋（－ｇ_x（ｉ，ｊ）＊ｊ＋ｇ_y（ｉ，ｊ）＊ｉ）＊ｄ＋ｇ_x（ｉ，ｊ）＊ａ＋ｇ_y（ｉ， ｊ）＊ｂ （６）

ブロック内のすべてのサンプルは、方程式（６）を満たすため、パラメータセット（ａ，ｂ，ｃ，ｄ）は、最小二乗誤差法を使用して解くことができる。ステップ（ｋ＋１）での２つの制御点

におけるＭＶは、方程式（３）および（４）を使用して解くことができ、特定の精度（例えば、１／４ｐｅｌ）に丸められる。反復を使用すると、パラメータ（ａ，ｂ，ｃ，ｄ）がすべてゼロになるか、または反復時間が事前定義された制限に達すると収束するまで、２つの制御点のＭＶを精緻化することができる。

６つのパラメータを持つアフィン動きモデルには、水平方向と垂直方向の並進動き用の２つのパラメータ、ズーム動き用の１つのパラメータおよび水平方向の回転動き用の１つのパラメータ、さらにズーム動き用の１つのパラメータおよび垂直方向の回転動き用の１つのパラメータがあり得る。６パラメータのアフィン動きモデルは、３つの制御点で３つのＭＶを使用してコード化される。図５の例に示すように、６パラメータのアフィンコード化ブロックの３つの制御点は、ブロックの左上隅、右上隅、および左下隅に画定されている。左上の制御点での動きは、並進モーションに関連し、右上の制御点での動きは、水平方向の回転とズーム動きに関連し、左下の制御点での動きは、回転と垂直方向のズームモーションに関連する。６パラメータのアフィン動きモデルの場合、水平方向の回転とズームの動きは、垂直方向の動きと同じではない場合がある。各サブブロック（ｖ_x，ｖ_y）の動きベクトルは、次のように制御点で３つのＭＶを使用して導出され得る。

方程式（７）において、（ｖ_2x，ｖ_2y）は、左下の制御点の動きベクトル、（ｘ，ｙ）はサブブロックの中心位置、ならびにｗおよびｈはブロックの幅および高さである。

６パラメータのアフィンモデルの６つのパラメータは、４パラメータモデルで使用されるのと同様の方法で推定され得る。方程式（２）は、次のように方程式（８）に修正され得る。

方程式（８）において、ステップｋで、（ａ，ｂ）は、デルタ平行移動パラメータ、（ｃ，ｄ）は水平方向のデルタズームおよび回転パラメータ、（ｅ，ｆ）は、垂直方向のデルタズームおよび回転パラメータである。方程式（６）はそれに応じて変更され、方程式（９）が得られる。
Ｉ’_k（ｉ，ｊ）－Ｉ（ｉ，ｊ）＝（ｇ_x（ｉ，ｊ）＊ｉ）＊ｃ＋ｇ_x（ｉ，ｊ）＊ｊ）＊ｄ＋ｇ_y（ｉ，ｊ）＊ｉ）＊ｅ＋（ｇ_y（ｉ，ｊ）＊ｊ）＊ｆ＋ｇ_x（ｉ，ｊ）＊ａ＋ ｇ_y（ｉ，ｊ）＊ｂ （９）

パラメータセット（ａ，ｂ，ｃ，ｄ，ｅ，ｆ）は、ブロック内のすべてのサンプルを考慮することにより、最小二乗法を使用して解くことができる。左上の制御点

のＭＶは、方程式（３）で計算される。右上の制御点

のＭＶは、方程式（１０）で計算される。右上の制御点

のＭＶは、方程式（１１）で計算される。

アフィンモードのオプティカルフロー（ＰＲＯＦ）による予測の精緻化
動き補償のより細かい粒度を達成するために、Ｊｉａｎｃｏｎｇ（Ｄａｎｉｅｌ）Ｌｕｏ，Ｙｕｗｅｎ Ｈｅ，”ＣＥ２－ｒｅｌａｔｅｄ：Ｐｒｅｄｉｃｔｉｏｎ ｒｅｆｉｎｅｍｅｎｔ ｗｉｔｈ ｏｐｔｉｃａｌ ｆｌｏｗ ｆｏｒ ａｆｆｉｎｅ ｍｏｄｅ”，ＪＶＥＴ－Ｎ０２３６，Ｍａｒｃｈ ２０１９，Ｇｅｎｅｖａ，Ｓｗｉｔｚｅｒｌａｎｄに記載されているように、オプティカルフローによる、サブブロックベースのアフィン動き補償された予測を精緻化する方法が提案されている。サブブロックベースのアフィン動き補償が実行された後、オプティカルフロー方程式によって導出された差を追加することによって、各輝度予測サンプルが精緻化される。提案されたＰＲＯＦは、次のステップを含むものとして説明されている。

第１のステップでは、サブブロックベースのアフィン動き補償が実行されて、サブブロック予測Ｉ（ｉ，ｊ）を生成する。

第２のステップでは、サブブロック予測の空間的勾配ｇ_x（ｉ，ｊ）およびｇ_y（ｉ，ｊ）が、３タップフィルタ［－１，０，１］を使用して各サンプル位置で計算される。
ｇ_x（ｉ，ｊ）＝Ｉ（ｉ＋１，ｊ）－Ｉ（ｉ－１，ｊ）
ｇ_y（ｉ，ｊ）＝Ｉ（ｉ，ｊ＋１）－Ｉ（ｉ，ｊ－１）
サブブロック予測は、勾配計算のために各側で１ピクセルずつ拡張される。メモリ帯域幅と複雑さを軽減するために、拡張された境界上のピクセルは、参照画像の最も近い整数ピクセル位置からコピーされる。したがって、パディング領域の追加の補間は回避される。

第３のステップでは、オプティカルフロー方程式によって輝度予測の精緻化が計算される。
ΔＩ（ｉ，ｊ）＝ｇ_x（ｉ，ｊ）＊Δｖ_x（ｉ，ｊ）＋ｇ_y（ｉ，ｊ）＊Δｖ_y（ｉ，ｊ ） （１２）
ここで、Δｖ（ｉ，ｊ）は、ｂ ｖ（ｉ，ｊ）ｙで表されるサンプル位置（ｉ，ｊ）に対して計算されたピクセルＭＶと、図６に示されるように、ピクセル（ｉ，ｊ）が属するサブブロックのサブブロックＭＶとの間の差である。
アフィンモデルのパラメータとサブブロックの中心に対するピクセル位置はサブブロックごとに変更されないため、第１のサブブロックに対してΔｖ（ｉ，ｊ）を計算し、同じブロック内の他のサブブロックに再利用できる。ｘおよびｙをピクセル位置からサブブロックの中心までの水平および垂直オフセットとすると、Δｖ（ｘ，ｙ）は次の方程式で導出され得る。

４パラメータのアフィンモデルの場合、

６パラメータのアフィンモデルの場合、

ここで、（ｖ_0x，ｖ_0y）、（ｖ_1x，ｖ_1y）、（ｖ_2x，ｖ_2y）は左上、右上、左下の制御点の動きベクトルであり、ｗおよびｈはブロックの幅および高さである。

第４のステップでは、輝度予測の精緻化がサブブロック予測Ｉ（ｉ，ｊ）に追加される。最終的な予測Ｉ’は、次の方程式を使用して生成され得る。
Ｉ’（ｉ，ｊ）＝Ｉ（ｉ，ｊ）＋ΔＩ（ｉ，ｊ） （１３）

いくつかの実施形態で対処される問題
現在の動き補償プロセスは、通常、動きベクトルの精度によって制限される。例えば、復号化器側で示された動きベクトルは、サンプルレベル、サブブロックレベル、またはブロックレベルでの動き補償された予測に使用され、これにより、整数の参照サンプル位置と、分数位置にある補間フィルタが判定され得る。関連する動きベクトルの精度は、各サンプルでの動き補償された予測の精度の要因である。動きベクトルの小数部分に４つの追加ビットを使用すると、１／１６のＰＥＬ精度が達成され得る。ただし、この精度の制限により、潜在的な問題が発生する。１つの問題は、動き補償された予測が既に十分に正確である場合、余分なビットが信号伝達オーバーヘッドの無駄になることである。別の問題は、場合によっては、提供される追加ビットの数がまだ十分でない可能性があり、さらに高い精度が望ましい場合があることである。より効率的な精度の表現を提供するために、より柔軟で正確な方法は、動き補償された精度を改善するのに有益である可能性がある。

ＶＴＭ－５．０では、特定の精度の粒度が必要な場合、その精度以上の精度で対応する補間フィルタが事前に定義されているため、任意精度の使用を妨げる。例えば、復号化器が１／３２ＰＥＬの精度を達成する場合、これはＶＴＭ－５．０の１／１６ＰＥＬの精度よりも細かいが、１／３２ＰＥＬ精度以上（例えば、１／６４ＰＥＬ）の補間フィルタは所定の補間フィルタ（例えば、ビデオ標準仕様で定義されたフィルタ）であり得る。

いくつかの実施形態の概要。
本開示は、精度精緻化とともに使用するための柔軟な方式でオプティカルフローを用いた動き補償（ＭＣ）予測プロセスの予測精度を改善するためのシステムおよび方法を説明する。いくつかの実施形態では、動き補償が実行された後、オプティカルフロー方程式によって導出された差の値を加算することによって、各サンプルでの予測が精緻化される。このような精緻化は、オプティカルフローによる動き補償精度精緻化（ＭＣＰＲＯＦ）と称され得る。オプティカルフローは、ブロックレベル（ＣＵレベルまたはサブＣＵレベルなどの予測ユニットレベルであり得る）での動きベクトルの精緻化として信号伝達され得る。オプティカルフロー方程式によって導き出された差の値は、異なる精度を表す可能性があるため、より精緻化精度が達成され得る。本明細書で説明するいくつかの実施形態は、複雑さを大幅に増加させることなくピクセルレベルの粒度を達成でき、最悪の場合のメモリアクセス帯域幅を通常のブロックレベルの動き補償と同じに保つことができる。本明細書で説明される様々な実施形態は、任意のサブブロックベースのインター予測モードおよび／またはブロックベースのインター予測モードに適用され得る。本明細書に記載の実施形態は、単一予測と二重予測の両方に適用することができ、それらは、インターマージモードと非マージモードの両方に適用することができる。いくつかの実施形態の１つの潜在的な利点は、追加の補間フィルタを必要とせずに精度の精緻化を提供することである。

オプティカルフローによる動き補償の精度精緻化（ＭＣＰＲＯＦ）
動き補償のより精緻な精度を達成するために、いくつかの実施形態では、オプティカルフローを使用して動き補償された予測を精緻化するための方法が採用されている。動き補償プロセスが実行された後、各サンプルでの輝度または／および彩度の予測は、オプティカルフロー方程式によって導出された差を追加することによって精緻化される。ＭＣＰＲＯＦを使用した符号化方法の例は以下のとおりである。

例示的な方法では、動き補償プロセスを使用して、インター非マージモードの動き推定の後に、各サンプル位置（ｉ，ｊ）で予測Ｉ（ｉ，ｊ）を生成する。動き補償プロセスは、既存のインター予測プロセス（単一予測、二重予測、およびアフィン予測を含む）を使用して実行し得る。このステップで実行される１つ以上の動き補償プロセス（例えば、複数の動きベクトル候補が利用可能である）があり得る。複数の動き補償プロセスの場合、ＶＴＭ５．０で行われるように、複数の動き補償プロセスの１つを事前定義された基準（例えば、最小のレート歪みコストでの動き補償プロセス）に従って選択し得る。

１つまたは選択された動き補償プロセスは、精度精緻化を使用するかどうかを判定するために評価される。例えば、ＭＣプロセス後に提供される既存の精度（例えば、１／４ＰＥＬ）が十分に正確である場合、精度精緻化を進めないという判定が下される場合がある。そのような判定は、例えば、残差値が現在の動き補償精度で０に近い（例えば、所定の大きさの閾値未満）場合に行われ得る。

ただし、状況によっては、精度精緻化を進めることが判定される。この場合、精緻化の程度を伝えるために使用される精度差Ｎを判定し得る。例えば、実質的に最適な（または正確な）残差値が約９／１６ＰＥＬであるという判定は、動き補償プロセスを通してなされ得る。最適な精度に対応するには、１／１６ＰＥＬの動き補償精度が望ましい場合がある。ただし、現在の動き補償プロセスで１／４ＰＥＬの精度（例えば、既存の定義済み補間フィルタによって提供される）を使用する場合、現在の精度と所望の精度との間の精度差Ｎは２である。

いくつかの実施形態では、動き補償された予測の精緻化は、以下のようにオプティカルフローを使用して判定される。既存の動きベクトル（複数可）をＭＣＰ（ｉ，ｊ）とし、非圧縮の元の入力サンプル値をＯ（ｉ，ｊ）とし、ＭＣＰ（ｉ，ｊ）の水平空間的勾配をｇ_x（ｉ）とし、ＭＣＰ（ｉ，ｊ）の垂直空間的勾配をｇ_y（ｉ，ｊ）とした動き補償された予測を示す。追加の動きベクトルの精緻化（Δｍｖ_x，Δｍｖ_y）がオプティカルフローに使用される。動きベクトルの精緻化（Δｍｖ_x，Δｍｖ_y）は、方程式１４を実質的に満たすように選択され得る。
Ｏ（ｉ，ｊ）＝ＭＣＰ（ｉ，ｊ）＋ｇ_x（ｉ，ｊ）＊Δｍｖ_x＋ｇ_y（ｉ，ｊ）＊Δｍｖ _y （１４）

いくつかの実施形態では、動きベクトルの精緻化（Δｍｖ_x，Δｍｖ_y）は、方程式（１５）のように最小二乗法で推定される。

より精緻な精度（例えば、ビット深度に関して）を使用することが判定された場合、動きベクトルの精緻化値Δｍｖ（ｉ，ｊ）（すなわち、（Δｍｖ_x（ｉ，ｊ），Δｍｖ_y（ｉ，ｊ）））は、ビットストリームで信号伝達され得る。いくつかの実施形態では、関連する精度差Ｎもビットストリームで信号伝達され得る。信号伝達オーバーヘッドを節約するために、Ｎは、スライス／画像レベル、ＣＴＵレベル、またはＣＵ（または他のブロック）レベルなどの異なるレベルで信号伝達され得る。同様に、動きベクトルの精緻化値は、スライス／画像レベル、ＣＴＵレベル、ＣＵ（または他のブロック）レベル、またはサンプルレベルなどの異なるレベルで信号伝達され得る。動きベクトルの精緻化値がサンプルレベルで信号伝達されない場合、ブロックまたはサブブロック内の動きベクトルの精緻化値は、そのブロックまたはサブブロック内の各サンプルで同じであり得る。

いくつかの実施形態では、追加の動きベクトル精緻化値は、特定の隣接するサンプル位置の形式で信号伝達され得る。図７に示されるように、隣接位置は、動きベクトルの精緻化値を示すために使用され得、これは、４つの最も近い隣接位置または８つの最も近い隣接位置（例えば、１ピクセル距離）またはさらに隣接する位置（例えば、１ピクセル距離を超える）の１つによって表され得る。図７に示す例では、隣接するサンプル位置（ｉ，ｊ－１）が信号伝達される場合、それは、動きベクトルの精緻化値Δｍｖ（ｉ，ｊ）＝（０，－１）を信号伝達する効果があり、ここで、Δｍｖ_x（ｉ，ｊ）＝０、Δｍｖ_y（ｉ，ｊ）＝－１である。隣接するサンプル位置（ｉ－１，ｊ－１）が信号伝達される場合、それは、動きベクトルの精緻化値Δｍｖ（ｉ，ｊ）＝（－１，－１）を信号伝達する効果があり、ここで、Δｍｖ_x（ｉ，ｊ）＝－１、Δｍｖ_y（ｉ，ｊ）＝－１である。

いくつかの実施形態では、動きベクトルの精緻化値は、インデックス値の形式で信号伝達され得る。例えば、４つの最も近い隣接位置が使用される場合、対応する上、下、左、および右の隣接位置は、一例として０，１，２，３としてインデックス付けされる。インデックスは、可変長のコードワードで２値化され得る。例えば、８つの最も近い隣接位置が許可されている場合、４つの最も近い隣接位置のインデックスは、２つの対角線方向にある他の４つの隣接位置のインデックスよりも短いコードワードを使用してコード化され得る。

いくつかの実施形態では、関連する精度差Ｎは、現在の精度と所望の精度との間のビット深度差に等しい整数値であり得る。例えば、動き補償された予測プロセスの現在の精度が１／４ＰＥＬであり、必要な精度が１／１６ＰＥＬである場合、信号伝達される精度は、Ｎ＝２であり得る。いくつかの実施形態では、符号化器は、ＭＣＰＲＯＦが使用されているかどうかを示すフラグを信号伝達する。

オプティカルフローによる精度精緻化を使用した予測。
精度差Ｎおよび動きベクトルの精緻化値は、ブロックまたはサブブロックの予測の生成において、符号化器（例えば、モジュール２１０にて）または復号化器（例えば、モジュール２６０にて）によって使用され得る。ＭＣＰＲＯＦが使用される場合（例えば、有効化フラグがビットストリームで信号伝達される場合）、信号伝達されたΔｍｖ（ｉ，ｊ）およびＮの値が取得される。空間的勾配ｇ_x（ｉ，ｊ）およびｇ_y（ｉ，ｊ）は、各サンプル位置（ｉ，ｊ）のために計算される。空間的勾配の判定は、上記のように３タップフィルタを使用して、または他の技術を使用して実行し得る。

初期の動き補償された予測Ｉ（ｉ，ｊ）は、例えば、単一予測、二重予測、および／またはアフィン予測を使用して、現在のブロックに対して生成される。精度精緻化は、方程式１６に従って、動きベクトルの精緻化と空間的勾配とのスカラー積を使用して計算される。
ΔＩ（ｉ，ｊ）＝（ｇｘ（ｉ，ｊ）＊Δｍｖ_x（ｉ，ｊ）＋ｇ_y（ｉ，ｊ）＊Δｍｖ_y（ｉ，ｊ））≫（Ｎ＋ｅｘｉｓｔｉｎｇ ＭＣ ｐｒｅｃｉｓｉｏｎ） （１６）
ここで、Δｍｖ（ｉ，ｊ）は、信号伝達された動きベクトルの精緻化値（例えば、符号化器から受信された）、Ｎは、現在の精度と所望の精度の間の信号伝達されたビット深度の差、およびｇ（ｉ，ｊ）は、上述のように計算された空間的勾配である。

各サンプルでの動き補償された予測は、強度の変化（例えば、輝度または色度）を追加することによって精緻化される。最終的な予測Ｉ’は、次の方程式に従って生成され得る。
Ｉ’（ｉ，ｊ）＝Ｉ（ｉ，ｊ）＋ΔＩ（ｉ，ｊ） （１７）

上記の例示的な実施形態では、４つの隣接位置または８つの隣接位置が考慮されている。選択された各隣接位置は、精度の向上の方向を示すために使用され、隣接するサンプルの動き補償プロセスが完了するのを待つことに依存しない。

方法の例を図８に示す。ビデオ符号化器では、動き補償された予測に基づいて、サンプルの現在のブロック内の少なくとも最初のサンプル位置について、初期の予測されたサンプル値が取得される（８０２）。少なくとも第１のサンプル位置について、動きベクトルの精緻化が判定される（８０４）。動きベクトルの精緻化は、例えば、ストレージまたは送信のために、ビットストリームに符号化され得る（８０６）。

サンプル値の空間的勾配は、第１のサンプル位置で判定される（８０８）。サンプル差値は、空間的勾配と動きベクトルの精緻化とのスカラー積に基づいて判定される（８１０）。いくつかの実施形態では、サンプル差値の判定は、サンプル差値のスケーリング（例えば、ビットシフト）を含み得、スケーリングの量を示す精度情報は、ビットストリームに符号化され得る。初期の予測されたサンプル値は、サンプル差値に基づいて修正され（８１２）、例えば、サンプル差値を初期の予測されたサンプル値に追加して、精緻化されたサンプル値を生成する。

いくつかの実施形態では、動きベクトルの精緻化の判定（８０４）は、入力ビデオブロックに関する予測誤差を実質的に最小化するために動きベクトルの精緻化を選択することを含み得る。動きベクトルの精緻化がサンプルごとに選択される実施形態では、予測誤差は、精緻化されたサンプル値と入力ビデオブロックの対応するサンプル値との間の差（例えば、絶対差または二乗差）に基づくことができる。動きベクトルの精緻化がブロックごと（またはサブブロックごと）に基づいて選択される実施形態では、予測誤差は、精緻化されたサンプル値とブロック（またはサブブロック）内の複数のサンプル位置にわたる対応する入力ビデオブロックのサンプル値との間の差の合計（例えば、絶対差または二乗差の合計）に基づくことができる。

いくつかの実施形態では、符号化器は、予測残差を判定する際に８１２で生成された精緻化されたサンプル値を使用し得、その予測残差もビットストリームに符号化し得る。

ビデオ復号化器によって実行される方法では、復号化器は、動き補償された予測に基づいて、サンプルの現在のブロック内の少なくとも第１のサンプル位置についての初期の予測されたサンプル値を取得する（８１４）。動きベクトルの精緻化は、例えばビットストリームから動きベクトルの精緻化を復号化することによって、少なくとも第１のサンプル位置について判定される（８１６）。サンプル値の空間的勾配は、第１のサンプル位置で判定される（８１８）。サンプル差値は、空間的勾配と動きベクトルの精緻化とのスカラー積を計算することによって判定される（８２０）。いくつかの実施形態では、サンプル差値の判定は、ビットストリームから復号化された精度情報に基づいてサンプル差値をスケーリングすることをさらに含み得る。初期の予測されたサンプル値は、サンプル差値に基づいて修正される（８２２）。例えば、サンプル差値を初期の予測されたサンプル値に追加して、精緻化されたサンプル値を生成し得る。

いくつかの実施形態では、復号化器は、ビットストリームからの予測残差をさらに復号化し得、予測残差は、第１のサンプル位置で再構成されたサンプル値を判定する際に使用され得る。再構成されたサンプル値は、表示されるか、または表示のために別のディスプレイデバイスに通信され得る。

例示的な通信システム。
図９は、通信システムの一例を示す図である。通信システム９００は、符号化器９０２、通信ネットワーク９０４、および復号化器９０６を備え得る。符号化器９０２は、有線接続または無線接続であり得る接続９０８を介してネットワーク９０４と通信し得る。符号化器９０２は、図２Ａのブロックベースのビデオ符号化器と同様であり得る。符号化器９０２は、単層コーデックまたは多層コーデックを含み得る。復号化器９０６は、有線接続または無線接続であり得る接続９１０を介してネットワーク９０４と通信し得る。復号化器９０６は、図２Ｂのブロックベースのビデオ復号化器と同様であり得る。復号化器９０６は、単層コーデックまたは多層コーデックを含み得る。

符号化器９０２および／または復号化器９０６は、限定されるものではないが、デジタルテレビ、無線放送システム、ネットワーク要素／端末、コンテンツまたはウェブサーバなどのサーバ（ハイパーテキスト転送プロトコル（ＨＴＴＰ）サーバなど）、パーソナルデジタルアシスタント（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、デジタルカメラ、デジタル記録デバイス、ビデオゲームデバイス、ビデオゲームコンソール、携帯電話または衛星無線電話、デジタルメディアプレーヤなどの多種多様な有線通信デバイスおよび／または無線送信／受信ユニット（ＷＴＲＵ）に組み込まれ得る。

通信ネットワーク９０４は、好適なタイプの通信ネットワークであり得る。例えば、通信ネットワーク９０４は、例えば、音声、データ、ビデオ、メッセージング、ブロードキャストなどのコンテンツを複数の無線ユーザに提供するマルチアクセスシステムであり得る。通信ネットワーク９０４は、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共有を通じてそのようなコンテンツにアクセスすることを可能にし得る。例えば、通信ネットワーク９０４は、符号分割多重アクセス（ＣＤＭＡ）、時分割多重アクセス（ＴＤＭＡ）、周波数分割多重アクセス（ＦＤＭＡ）、直交ＦＤＭＡ（ＯＦＤＭＡ）、シングルキャリアＦＤＭＡ（ＳＣ－ＦＤＭＡ）などの１つ以上のチャネルアクセス方法を採用し得る。通信ネットワーク９０４は、複数の接続された通信ネットワークを含み得る。通信ネットワーク９０４は、インターネットおよび／または例えばセルラーネットワーク、ＷｉＦｉホットスポット、インターネットサービスプロバイダ（ＩＳＰ）ネットワークなどのような１つ以上のプライベート商用ネットワークを含み得る。

追加の実施形態。
いくつかの実施形態によるブロックベースのビデオコーディング方法は、復号化器において、サンプルの現在のブロックでのサンプル値の動き補償された予測を生成することと、ビットストリームから、精度差値と現在のブロックについての動きベクトルの精緻化を復号化することと、現在のブロック内の予測されたサンプルごとに、サンプルでの空間的勾配を判定することと、空間的勾配と動きベクトルの精緻化とのスカラー積を計算することと、精度差値で示される量でスカラー積をスケーリングして、サンプル差値を生成することと、予測されたサンプル値にサンプル差値を追加して、精緻化されたサンプル値を生成することと、を含む。

いくつかの実施形態では、現在のブロック内のサンプル値の動き補償された予測は、単一予測で生成される。

いくつかの実施形態では、現在のブロック内のサンプル値の動き補償された予測は、二重予測を用いて生成される。

いくつかの実施形態では、動きベクトルの精緻化は、インデックスとしてビットストリームで信号伝達される。インデックスは、（ｉ，ｊ）の形式の複数の動きベクトルの精緻化の１つを識別でき、ここで、ｉおよびｊは整数である。インデックスは、（０，－１）、（１，０）、（０，１）および（－１，０）からなる群から複数の動きベクトルの精緻化の１つを識別できる。インデックスは、（０，－１）、（１，０）、（０，１）、（－１，０）、（－１，－１）、（１，－１）、（１，１）および（－１，１）からなる群から複数の動きベクトルの精緻化の１つを識別できる。

いくつかの実施形態では、スカラー積のスケーリングは、スカラー積のビットシフトを含む。

いくつかの実施形態では、精度差値はＮであり、スカラー積のスケーリングは、信号伝達された精度差値Ｎと既存のＭＣ精度の合計に等しいビット数だけスカラー積を右シフトすることを含む。

いくつかの実施形態によるブロックベースのビデオコーディング方法は、符号化器で、入力ビデオブロックについて、サンプルの現在のブロックでのサンプル値の動き補償された予測を生成することと、精度差値を選択することと、サンプルでそれぞれの空間的勾配を判定することと、現在のブロックについての動きベクトルの精緻化を判定することであって、動きベクトルの精緻化が、（ｉ）空間的勾配と動きベクトルの精緻化とのスカラー積と、（ｉｉ）入力ビデオブロックと動き補償された予測との間の差との間の誤差を実質的に最小化するように選択されている、判定することと、ビットストリームで、現在のブロックの精度差値と動きベクトルの精緻化を信号伝達することと、を含む。

いくつかの実施形態では、現在のブロック内のサンプル値の動き補償された予測は、単一予測で生成される。

いくつかの実施形態では、現在のブロック内のサンプル値の動き補償された予測は、二重予測を用いて生成される。

いくつかの実施形態では、動きベクトルの精緻化は、インデックスとしてビットストリームで信号伝達される。インデックスは、（Ｉ，ｊ）の形式の複数の動きベクトルの精緻化の１つを識別でき、ここで、ｉおよびｊは整数である。インデックスは、（０，－１）、（１，０）、（０，１）および（－１，０）からなる群から複数の動きベクトルの精緻化の１つを識別できる。インデックスは、（０，－１）、（１，０）、（０，１）、（－１，０）、（－１，－１）、（１，－１）、（１，１）および（－１，１）からなる群から複数の動きベクトルの精緻化の１つを識別できる。

いくつかの実施形態では、動きベクトルの精緻化は、（ｉ）空間的勾配と動きベクトルの精緻化とのスカラー積と、（ｉｉ）入力ビデオブロックと動き補償された予測との間の差の間の二乗差の合計を実質的に最小化するように選択される。

いくつかの実施形態は、本明細書に記載の機能のいずれかを実行するように動作するプロセッサおよび非一時的なコンピュータ可読媒体を備える。

この開示では、ツール、特徴、実施形態、モデル、アプローチなどを含む多種多様な態様について説明する。これらの態様の多くは、特異的に説明されており、少なくとも個々の特性を示すために、限定的に聞こえ得るように説明されることがある。ただし、これは説明を明確にするためのものであり、これらの態様の開示または範囲を限定するものではない。実際、異なる態様のすべてを組み合わせ、かつ交換して、さらなる態様を提供することができる。さらに、これらの態様は、以前の出願で説明された態様と組み合わせ、かつ交換することもできる。

本出願で説明および企図される態様は、多くの異なるフォーマットで実装することができる。いくつかの実施形態が具体的に示されているが、他の実施形態が企図されており、特定の実施形態の考察は、実装の幅を制限するものではない。これらの態様のうちの少なくとも１つは、概して、ビデオ符号化および復号化に関し、少なくとも１つの他の態様は、概して、生成または符号化されたビットストリームを送信することに関する。これらおよび他の態様は、方法、装置、説明された方法のいずれかに従ってビデオデータを符号化または復号化するための命令を記憶したコンピュータ可読記憶媒体、および／または説明された方法のいずれかに従って生成されるビットストリームを記憶したコンピュータ可読記憶媒体として実装することができる。

本開示では、「再構築された」および「復号化された」という用語は同義的に使用され得、「ピクセル」および「サンプル」という用語は同義的に使用され得、「イメージ」、「画像」、および「フレーム」という用語は同義的に使用され得る。

様々な方法が、本明細書に記載されており、それらの方法の各々は、説明された方法を達成するための１つ以上のステップまたは行為を含む。本方法の正しい動作のために特定の順序のステップまたは行為が必要でない限り、特定のステップおよび／または行為の順序および／または使用は、修正され得るか、または組み合わされ得る。さらに、「第１の」、「第２の」などの用語は、例えば「第１の復号化」および「第２の復号化」など、要素、構成要素、ステップ、動作などを修正するために様々な実施形態において使用されることができる。そのような用語の使用は、特に必要な場合を除き、修正された動作の順序を意味するものではない。したがって、この例では、第１の復号化は、第２の復号化の前に実行される必要はなく、例えば、第２の復号化との重複期間の前、最中、または重複する期間に発生し得る。

例えば、本開示では、様々な数値が使用され得る。特定の値は、例示的な目的のためであり、記載された態様は、これらの特定の値に限定されるものではない。

本明細書に記載の実施形態は、プロセッサまたは他のハードウェアによって実装されるコンピュータソフトウェアによって、またはハードウェアとソフトウェアの組み合わせによって実行され得る。非限定的な例として、実施形態は、１つ以上の集積回路によって実装され得る。プロセッサは、技術的環境に適切な任意のタイプのものであり得、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ、およびマルチコアアーキテクチャに基づくプロセッサのうちの１つ以上を包含し得る。

様々な実装形態は、復号化を伴う。本出願で使用される「復号化」は、例えば、受信された符号化されたシーケンスで実行されるプロセスのすべてまたは一部を包含して、表示に好適な最終出力を生成することができる。様々な実施形態では、そのようなプロセスは、復号化器によって通常実行されるプロセスのうちの１つ以上、例えば、エントロピー復号化、逆量子化、逆変換、および差分復号化を含む。様々な実施形態では、かかるプロセスはまた、または代替的に、本出願に記載の様々な実装形態の復号化器によって実行されるプロセス、例えば、タイル化された（パックされた）画像から画像を抽出することと、使用するアップサンプルフィルタを判定することと、次いで画像をアップサンプリングすることと、画像を意図した向きにフリップバックすることと、を含む。

さらなる例として、一実施形態では、「復号化」は、エントロピー復号化のみを指し、別の実施形態では、「復号化」は、差分復号化のみを指し、別の実施形態では、「復号化」は、エントロピー復号化および差分復号化の組み合わせを指す。「復号化処理」という句が、具体的に動作のサブセットを指すことを意図しているか、または概してより広い復号化処理を指すことを意図しているかは、特定の説明の文脈に基づいて明確になり、当業者によって十分に理解されると考えられる。

様々な実装形態は、符号化を伴う。「復号化」に関する上記の考察と同様に、本出願で使用される「符号化」は、例えば、符号化されたビットストリームを生成するために入力ビデオシーケンスで実行されるプロセスのすべてまたは一部を包含することができる。様々な実施形態では、そのようなプロセスは、典型的には、符号化器によって実行される１つ以上のプロセス、例えば、分割、差分符号化、変換、量子化、およびエントロピー符号化を含む。様々な実施形態では、このようなプロセスはまた、または代替的に、本出願で説明される様々な実装形態の符号化器によって実行されるプロセスを含む。

さらなる例として、一実施形態では、「符号化」は、エントロピー符号化のみを指し、別の実施形態では、「符号化」は、差分符号化のみを指し、別の実施形態では、「符号化」は、差分符号化およびエントロピー符号化の組み合わせを指す。「符号化プロセス」という句が、具体的に動作のサブセットを指すことを意図しているか、または概してより広い符号化プロセスを指すことを意図しているかは、特定の説明の文脈に基づいて明確になり、当業者によって十分に理解されると考えられる。

図がフロー図として提示されている場合、それは、対応する装置のブロック図も提供することを理解されたい。同様に、図がブロック図として提示されている場合、それは、対応する方法／プロセスのフロー図も提供することを理解されたい。

様々な実施形態は、レート歪み最適化について言及する。特に、符号化プロセスの間、多くの場合に計算の複雑さの制約を考えて、レートと歪みとの間のバランスまたはトレードオフが、通常、考慮される。レート歪みの最適化は、通常、レートと歪みの加重和であるレート歪み関数を最小化するように定式化される。レート歪みの最適化問題を解決するには、様々なアプローチがある。例えば、アプローチは、考慮されるすべてのモードまたはコード化パラメータ値を含む、すべての符号化オプションの広範なテストに基づき得、コード化および復号化後の再構築された信号のコード化コストおよび関連する歪みの完全な評価を伴う。特に、再構築された信号ではなく、予測または予測残差信号に基づいて近似歪みを計算することによって、符号化の複雑さを軽減するために、より高速なアプローチを使用することもできる。可能な符号化オプションの一部にのみ近似歪みを使用し、他の符号化オプションに完全な歪みを使用することなどによって、これら２つのアプローチを組み合わせて使用することもできる。他のアプローチでは、可能な符号化オプションのサブセットのみを評価する。より一般的には、多くのアプローチが、最適化を実行するための様々な技術のうちのいずれかを採用するが、最適化は、必ずしもコード化コストおよび関連する歪みの両方の完全な評価ではない。

本明細書で説明された実装形態および態様は、例えば、方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号に実装され得る。単一の実装形態の文脈でのみ考察された（例えば、方法としてのみ考察された）としても、考察された特徴の実装形態はまた、他の形態（例えば、装置またはプログラム）で実装することもできる。装置は、例えば、適切なハードウェア、ソフトウェア、およびファームウェアで実装することができる。それらの方法は、例えば、プロセッサ内に実装することができ、このプロセッサは、例えば、コンピュータ、マイクロプロセッサ、集積回路、またはプログラマブルロジックデバイスを含む処理デバイス全般を指す。プロセッサは、通信デバイス、例えば、コンピュータ、携帯電話、ポータブル／パーソナルデジタルアシスタンス（「ＰＤＡ」）、およびエンドユーザ間の情報の通信を容易にする他のデバイスなども含む。

「１つの実施形態」もしくは「一実施形態」、または「１つの実装形態」もしくは「一実装形態」、ならびにそれらの他の変形への言及は、実施形態に関連して説明された特定の特徴、構造、特性などが、少なくとも１つの実施形態に含まれることを意味する。したがって、本出願全体にわたって様々な箇所においてみられる、「１つの実施形態では」もしくは「一実施形態では」または「１つの実装形態では」もしくは「一実装形態では」という句、ならびに任意の他の変形の出現は、必ずしもすべてが同じ実施形態を指しているわけではない。

さらに、本開示は、情報の様々な部分を「判定する」ことに言及する場合がある。情報の判定には、例えば、情報の評価、情報の計算、情報の予測、またはメモリからの情報の検索のうちの１つ以上が含まれ得る。

さらに、本出願は、情報の様々な部分に「アクセスする」ことに言及し得る。情報のアクセスには、例えば、情報の受信、（例えば、メモリからの）情報の検索、情報の記憶、情報の移動、情報のコピー、情報の計算、情報の判定、情報の予測、または情報の評価のうちの１つ以上が含まれ得る。

さらに、本出願は、情報の様々な部分を「受信すること」に言及し得る。受信することは、「アクセスすること」と同様に、広義の用語であることが意図されている。情報の受信には、例えば、情報へのアクセス、または（例えば、メモリからの）情報の検索のうちの１つ以上が含まれ得る。さらに、「受信すること」は、典型的には、何らかの方法で、例えば、情報の記憶、情報の処理、情報の送信、情報の移動、情報のコピー、情報の消去、情報の計算、情報の判定、情報の予測、または情報の評価などの動作中に伴う。

例えば、「Ａ／Ｂ」、「Ａおよび／またはＢ」、ならびに「ＡおよびＢのうちの少なくとも１つ」の場合、次の「／」、「および／または」、ならびに「のうちの少なくとも１つ」のいずれかの使用は、１番目に列記されたオプション（Ａ）のみの選択、または２番目に列記されたオプション（Ｂ）のみの選択、または両方のオプション（ＡおよびＢ）の選択を網羅することを意図していることが分かるはずである。さらなる例として、「Ａ、Ｂ、および／またはＣ」ならびに「Ａ、Ｂ、およびＣのうちの少なくとも１つ」の場合、そのような言い回しは、１番目に列記されたオプション（Ａ）のみの選択、または２番目に列記されたオプション（Ｂ）のみの選択、または３番目に列記されたオプション（Ｃ）のみの選択、または１番目および２番目に列記されたオプション（ＡおよびＢ）のみの選択、または１番目および３番目に列記されたオプション（ＡおよびＣ）のみの選択、または２番目および３番目に列記されたオプション（ＢおよびＣ）のみの選択、または３つすべてのオプション（ＡおよびＢおよびＣ）の選択、を網羅することを意図している。これは、リストされている多くのアイテムに拡張され得る。

また、本明細書で使用される場合、「信号伝達する」という単語は、とりわけ、対応する復号化器に何かを指示することを指す。例えば、特定の実施形態では、符号化器は、リファインメントのための複数のパラメータのうちの特定の１つを信号伝達する。このようにして、実施形態では、同じパラメータが、符号化器側および復号化器側の両方で使用される。したがって、例えば、符号化器は、特定のパラメータを復号化器に送信することができ（明示的な信号伝達）、その結果、復号化器は、同じ特定のパラメータを使用することができる。逆に、復号化器が既に特定のパラメータならびに他のパラメータを有する場合、信号伝達は、送信（暗黙的な信号伝達）を行わずに使用されて、復号化器が簡単に特定のパラメータを認識および選択することを可能にすることができる。いかなる実際の機能の送信も回避することによって、ビットの節約が、様々な実施形態で実現される。信号伝達は、様々な方法で達成できることが分かるはずである。例えば、１つ以上の構文要素、フラグなどが、様々な実施形態で、対応する復号化器に情報を信号伝達するために使用される。上記は、「信号伝達する」という単語の動詞形に関するものであるが、「信号伝達」という単語はまた、本明細書では、名詞として使用することもできる。

実装形態は、例えば、記憶または送信され得る情報を搬送するようにフォーマットされる様々な信号を生成することができる。情報は、例えば、方法を実行するための命令、または説明される実装形態のうちの１つにより生成されたデータを含むことができる。例えば、信号は、説明された実施形態のビットストリームを搬送するようにフォーマットされ得る。このような信号は、例えば、（例えば、スペクトルの無線周波数部分を使用する）、電磁波として、またはベースバンド信号としてフォーマットすることができる。フォーマットすることは、例えば、データストリームを符号化することと、搬送波を符号化データストリームで変調することと、を含むことができる。信号が搬送する情報は、例えば、アナログまたはデジタル情報であり得る。信号は、既知であるように、様々な異なる有線または無線リンクを介して送信することができる。信号は、プロセッサ可読媒体上に記憶することができる。

いくつかの実施形態について説明する。これらの実施形態の特徴は、様々な請求項のカテゴリおよびタイプにわたって、単独で、または任意の組み合わせで提供することができる。さらに、実施形態は、様々な請求項のカテゴリおよびタイプにわたって、単独でまたは任意の組み合わせで、以下の特徴、デバイス、または態様のうちの１つ以上を含むことができる。
・記載された実施形態のいずれかに従って生成された情報を伝達する構文を含むビットストリームまたは信号。
・記載された実施形態のいずれかに従って作成および／または送信および／または受信および／または復号化。
・記載された実施形態のいずれかに従って、方法、プロセス、装置、命令を記憶する媒体、データを記憶する媒体、または信号。
・記載された実施形態のうちのいずれかに従って、符号化または復号化方法を実行するＴＶ、セットトップボックス、携帯電話、タブレット、または他の電子デバイス。
・記載された実施形態のうちのいずれかに従って、復号化方法を実行し、かつ結果として得られるイメージを（例えば、モニタ、スクリーン、または他のタイプのディスプレイを使用して）表示するＴＶ、セットトップボックス、携帯電話、タブレット、または他の電子デバイス。
・記載された実施形態のうちのいずれかに従って、符号化されたイメージを含む信号を受信するためにチャネルを選択し（例えば、チューナを使用して）、かつ復号化を実行するＴＶ、セットトップボックス、携帯電話、タブレット、または他の電子デバイス。
・記載された実施形態のうちのいずれかに従って、符号化されたイメージを含む信号を無線で（例えば、アンテナを使用して）受信し、かつ復号化を実行するＴＶ、セットトップボックス、携帯電話、タブレット、または他の電子デバイス。

説明された実施形態のうちの１つ以上の様々なハードウェア要素は、それぞれのモジュールに関連して本明細書で説明される様々な機能を実行する（すなわち、行う、実施など）「モジュール」と称されることに留意されたい。本明細書で使用される場合、モジュールは、所与の実装に対して関連技術の当業者によって好適であると見なされるハードウェア（例えば、１つ以上のプロセッサ、１つ以上のマイクロプロセッサ、１つ以上のマイクロコントローラ、１つ以上のマイクロチップ、１つ以上の特定用途向け集積回路（ＡＳＩＣ）、１つ以上のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、１つ以上のメモリデバイス）を含む。記載された各モジュールはまた、それぞれのモジュールによって実行されると記載された１つ以上の機能を実行するために実行可能な命令を含み得、これらの命令は、ハードウェア（すなわち、ハードワイヤード）命令、ファームウェア命令、ソフトウェア命令などの形態を採り得るか、一般にＲＡＭ、ＲＯＭなどと称される任意の好適な非一時的なコンピュータ可読媒体（複数可）に格納され得ることに留意されたい。

特徴および要素が特定の組み合わせで上記に説明されているが、当業者は、各特徴または要素が単独で、または他の特徴および要素と任意の組み合わせで使用され得ることを理解するであろう。さらに、本明細書に記載の方法は、コンピュータまたはプロセッサによって実行するために、コンピュータ可読媒体に組み込まれたコンピュータプログラム、ソフトウェア、またはファームウェアに実装され得る。コンピュータ可読記憶媒体の例は、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスクおよび取り外し可能なディスクなどの磁気媒体、磁気光学媒体、ＣＤ－ＲＯＭディスクなどの光学媒体、ならびにデジタル多用途ディスク（ＤＶＤ）を含むが、これらに限定されるものではない。ソフトウェアに関連するプロセッサを使用して、ＷＴＲＵ、ＵＥ、端末、基地局、ＲＮＣ、または任意のホストコンピュータで使用するための無線周波数トランシーバを実装し得る。

Claims (24)

1. ビデオ符号化方法であって、
   サンプルの現在のブロックでの少なくとも第１のサンプル位置について、動き補償された予測に基づいて、初期の予測されたサンプル値を取得することと、
   少なくとも前記第１のサンプル位置に関連する動きベクトルの精緻化を判定することであって、前記動きベクトルの精緻化がインデックスとしてのビットストリームで符号化される、判定することと、
   前記第１のサンプル位置で、サンプル値の空間的勾配を判定することと、
   前記空間的勾配と前記動きベクトルの精緻化とのスカラー積に基づいてサンプル差値を判定することと、
   前記サンプル差値に基づいて前記初期の予測されたサンプル値を修正することと、を含む、方法。
2. ビデオ復号化方法であって、
   サンプルの現在のブロックでの少なくとも第１のサンプル位置について、動き補償された予測に基づいて、初期の予測されたサンプル値を取得することと、
   少なくとも前記第１のサンプル位置に関連する動きベクトルの精緻化を判定することであって、前記動きベクトルの精緻化がインデックスとしてのビットストリームで復号化される、判定することと、
   前記第１のサンプル位置で、サンプル値の空間的勾配を判定することと、
   前記空間的勾配と前記動きベクトルの精緻化とのスカラー積に基づいてサンプル差値を判定することと、
   前記サンプル差値に基づいて前記初期の予測されたサンプル値を修正することと、を含む、方法。
3. プロセッサを備えるビデオ符号化装置であって、前記プロセッサが、少なくとも、
   サンプルの現在のブロックでの少なくとも第１のサンプル位置について、動き補償された予測に基づいて、初期の予測されたサンプル値を取得することと、
   少なくとも前記第１のサンプル位置に関連する動きベクトルの精緻化を判定することであって、前記動きベクトルの精緻化がインデックスとしてのビットストリームで符号化される、判定することと、
   前記第１のサンプル位置で、サンプル値の空間的勾配を判定することと、
   前記空間的勾配と前記動きベクトルの精緻化とのスカラー積に基づいてサンプル差値を判定することと、
   前記サンプル差値に基づいて前記初期の予測されたサンプル値を修正することと、を含む、装置。
4. プロセッサを備えるビデオ復号化装置であって、前記プロセッサが、少なくとも、
   サンプルの現在のブロックでの少なくとも第１のサンプル位置について、動き補償された予測に基づいて、初期の予測されたサンプル値を取得することと、
   少なくとも前記第１のサンプル位置に関連する動きベクトルの精緻化を判定することであって、前記動きベクトルの精緻化がインデックスとしてのビットストリームで復号化される、判定することと、
   前記第１のサンプル位置で、サンプル値の空間的勾配を判定することと、
   前記空間的勾配と前記動きベクトルの精緻化とのスカラー積に基づいてサンプル差値を判定することと、
   前記サンプル差値に基づいて前記初期の予測されたサンプル値を修正することと、を含む、装置。
5. １つ以上のプロセッサに実行させる命令を備える、コンピュータ可読媒体であって、前記命令が、
   サンプルの現在のブロックでの少なくとも第１のサンプル位置について、動き補償された予測に基づいて、初期の予測されたサンプル値を取得することと、
   少なくとも前記第１のサンプル位置に関連する動きベクトルの精緻化を判定することであって、前記動きベクトルの精緻化がインデックスとしてのビットストリームで符号化される、判定することと、
   前記第１のサンプル位置で、サンプル値の空間的勾配を判定することと、
   前記空間的勾配と前記動きベクトルの精緻化とのスカラー積に基づいてサンプル差値を判定することと、
   前記サンプル差値に基づいて前記初期の予測されたサンプル値を修正することと、を含む、コンピュータ可読媒体。
6. １つ以上のプロセッサに実行させる命令を備える、コンピュータ可読媒体であって、前記命令が、
   サンプルの現在のブロックでの少なくとも第１のサンプル位置について、動き補償された予測に基づいて、初期の予測されたサンプル値を取得することと、
   少なくとも前記第１のサンプル位置に関連する動きベクトルの精緻化を判定することであって、前記動きベクトルの精緻化がインデックスとしてのビットストリームで復号化される、判定することと、
   前記第１のサンプル位置で、サンプル値の空間的勾配を判定することと、
   前記空間的勾配と前記動きベクトルの精緻化とのスカラー積に基づいてサンプル差値を判定することと、
   前記サンプル差値に基づいて前記初期の予測されたサンプル値を修正することと、を含む、コンピュータ可読媒体。
7. 前記ビットストリームからの精密化精度情報を復号化することをさらに含み、前記サンプル差値を判定することが、前記精密化精度情報によって示される量だけ前記スカラー積をスケーリングすることを含む、請求項２に記載の方法。
8. 前記スカラー積をスケーリングすることが、前記精密化精度情報によって示される量だけ前記スカラー積をビットシフトすることを含む、請求項７に記載の方法。
9. 前記動き補償された予測が、初期の精度を有する少なくとも１つの動きベクトルを使用して実行され、前記精密化精度情報が、前記初期の精度と前記精密化精度情報との間の差を表す精度差値を含む、請求項７または８に記載の方法。
10. 前記スカラー積をスケーリングすることが、前記精度差値と前記初期の精度の合計に等しいビット数だけ前記スカラー積を右シフトすることを含む、請求項９に記載の方法。
11. 動きベクトルの精緻化を判定することが、前記動きベクトルの精緻化を選択して、入力ビデオブロックに関する予測誤差を実質的に最小化することを含む、請求項１に記載の方法。
12. 前記インデックスが、（０，－１）、（１，０）、（０，１）、および（－１，０）からなる群からの複数の動きベクトルの精緻化のうちの１つを識別する、請求項１もしくは２に記載の方法。
13. 前記インデックスが、（０，－１）、（１，０）、（０，１）、（－１，０）、（－１，－１）、（１，－１）、（１，１）、および（－１，１）からなる群からの複数の動きベクトルの精緻化のうちの１つを識別する、請求項１もしくは２に記載の方法。
14. 前記動きベクトルの精緻化が前記現在のブロックでのすべてのサンプル位置に関連付けられている、請求項１もしくは２に記載の方法。
15. 前記ビットストリームで精密化精度情報を符号化することをさらに含み、前記サンプル差値を判定することが、前記精密化精度情報によって示される量だけ前記スカラー積をスケーリングすることを含む、請求項１に記載の方法。
16. 前記ビットストリームからの精密化精度情報を復号化することをさらに含み、前記サンプル差値を判定することが、前記精密化精度情報によって示される量だけ前記スカラー積をスケーリングすることを含む、請求項４に記載の装置。
17. 前記スカラー積をスケーリングすることが、前記精密化精度情報によって示される量だけ前記スカラー積をビットシフトすることを含む、請求項１６に記載の装置。
18. 前記動き補償された予測が、初期の精度を有する少なくとも１つの動きベクトルを使用して実行され、前記精密化精度情報が、前記初期の精度と前記精密化精度情報との間の差を表す精度差値を含む、請求項１６又は１７に記載の装置。
19. 前記スカラー積をスケーリングすることが、前記精度差値と前記初期の精度の合計に等しいビット数だけ前記スカラー積を右シフトすることを含む、請求項１８に記載の装置。
20. 動きベクトルの精緻化を判定することが、前記動きベクトルの精緻化を選択して、入力ビデオブロックに関する予測誤差を実質的に最小化することを含む、請求項３に記載の装置。
21. 前記インデックスが、（０，－１）、（１，０）、（０，１）、および（－１，０）からなる群からの複数の動きベクトルの精緻化のうちの１つを識別する、請求項３又は４に記載の装置。
22. 前記インデックスが、（０，－１）、（１，０）、（０，１）、（－１，０）、（－１，－１）、（１，－１）、（１，１）、および（－１，１）からなる群からの複数の動きベクトルの精緻化のうちの１つを識別する、請求項３又は４に記載の装置。
23. 前記動きベクトルの精緻化が前記現在のブロックでのすべてのサンプル位置に関連付けられている、請求項３又は４に記載の装置。
24. 前記ビットストリームで精密化精度情報を符号化することをさらに含み、前記サンプル差値を判定することが、前記精密化精度情報によって示される量だけ前記スカラー積をスケーリングすることを含む、請求項３又は４に記載の装置。

Images