[go: up one dir, main page]

JP2014511628A - 映像をコーディングするための方法 - Google Patents

映像をコーディングするための方法 Download PDF

Info

Publication number
JP2014511628A
JP2014511628A JP2013556183A JP2013556183A JP2014511628A JP 2014511628 A JP2014511628 A JP 2014511628A JP 2013556183 A JP2013556183 A JP 2013556183A JP 2013556183 A JP2013556183 A JP 2013556183A JP 2014511628 A JP2014511628 A JP 2014511628A
Authority
JP
Japan
Prior art keywords
tus
tree
rectangular
transformation
flag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013556183A
Other languages
English (en)
Other versions
JP2014511628A5 (ja
JP6037341B2 (ja
Inventor
コーエン、ロバート・エイ
ヴェトロ、アンソニー
スン、ハイファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JP2014511628A publication Critical patent/JP2014511628A/ja
Publication of JP2014511628A5 publication Critical patent/JP2014511628A5/ja
Application granted granted Critical
Publication of JP6037341B2 publication Critical patent/JP6037341B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/40Tree coding, e.g. quadtree, octree
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

ビットストリームが、コーディングされた映像と、変換木を生成するための分割フラグとを含む。このビットストリームは、コーディング単位(CU)を予測単位(PU)に分割したものである。変換木は、分割フラグに従って生成される。変換木内のノードは、CUに関連付けられた変換単位(TU)を表す。対応する分割フラグが設定されている場合にのみ、生成によって、各TUが分割される。複数のTUを含む各PUについて、複数のTUが、より大きなTUにマージされ、変換木は、分割及びマージに従って変更される。その後、各PUに含まれるデータを、変換木に従ってそのPUに関連付けられたTUを用いて復号化することができる。

Description

本発明は、包括的には、映像をコーディングすることに関し、より詳細には、映像を符号化及び復号化することに関連して、階層的な変換単位を用いて映像をコーディングするための方法に関する。
H.264/MPEG−4AVCとして現在開発中の高効率ビデオコーディング(HEVC:High Efficiency Video Coding)規格の場合、残差ブロックへのTUの適用は、非特許文献1に記載されているような木によって表される。
コーディング層
上記規格に定義されている階層的なコーディング層は、ビデオシーケンス層、映像層、スライス層、及び木ブロック層を含む。上位層は下位層を包含する。
木ブロック
提案された規格によれば、映像は、スライスに区画化され、各スライスは、ラスター走査において連続して順序付けされた一連の木ブロック(TB:Treeblock)に区画化される。映像及びTBは、H.264/AVC等のこれまでのビデオコーディング規格におけるフレーム及びマクロブロックにそれぞれ広義で類似している。TBの最大許容サイズは、64×64ピクセルのルーマ(輝度)及び彩度(色)のサンプルである。
コーディング単位
コーディング単位(CU:Coding Unit)は、イントラ予測及びインター予測に用いられる分割の基本単位である。イントラ予測は、単一の映像の空間領域において動作する一方、インター予測は、予測される映像と以前に復号化された映像のセットとの間の時間領域において動作する。CUは常に正方形であり、128×l28(LCU)ピクセル、64×64ピクセル、32×32ピクセル、16×16ピクセル、及び8×8ピクセルとすることができる。CUは、TBから開始して、サイズが等しい4つのブロックへの再帰的な分割を可能にする。このプロセスによって、TBと同じだけの大きさか、又は小さい場合で8×8ピクセルの大きさとすることができるCUブロックで構成されるコンテンツ適応コーディング木構造が得られる。
予測単位(PU)
予測単位(PU:Prediction Unit)は、予測プロセスに関する情報(データ)を保有するのに用いられる基本単位である。一般に、PUは、区画化を容易にするために、形状が正方形であることに制限されず、形状は、例えば、映像内の実際の物体の境界に一致する。各CUは、1つ又は複数のPUを含むことができる。
変換単位(TU)
図1に示すように、変換木100のルートノード101は、データブロック110に適用されるN×NのTU、すなわち「変換単位」(TU:Transform Unit)に対応する。TUは、変換プロセス及び量子化プロセスに用いられる基本単位である。提案された規格では、TUは、常に正方形であり、4×4ピクセルから32×32ピクセルまでのサイズを取ることができる。TUは、PUよりも大きくすることができず、CUのサイズを超えない。複数のTUを木構造(以下、変換木)に配列することができる。各CUは、1つ又は複数のTUを含むことができ、ここで、複数のTUは木構造に配列することができる。
この例示の変換木は、4つのレベル0〜3を有する四分木である。この変換木が一度分割される場合、4つのN/2×N/2のTUが適用される。これらのTUのそれぞれは、その後、あらかじめ規定された限度まで分割することができる。イントラコーディングされた映像の場合、変換木は、イントラ予測残差データの「予測単位」(PU)にわたって適用される。これらのPUは、現在、サイズ2N×2Nピクセル、2N×Nピクセル、N×2Nピクセル、又はN×Nピクセルの正方形又は長方形として定義されている。イントラコーディングされた映像の場合、正方形のTUは、全体がPU内に包含されなければならず、そのため、許容される最大TUサイズは、通常、2N×2Nピクセル又はN×Nピクセルである。この変換木構造内のa〜jのTUとa〜jのPUとの間の関係は、図1に示されている。
図2に示すように、提案されたHEVC規格について、非特許文献2に記載されているような新たなPU構造が提案されている。このSDIP方法を用いると、PUは、1ピクセル又は2ピクセルの幅、例えばN×2ピクセル、2×Nピクセル、N×1ピクセル、又は1×Nピクセルほどの小さな細片又は長方形201とすることができる。そのような狭いPUに区画化された、イントラコーディングされたブロック上に変換木を重ね合わせるとき、変換木は、TUのサイズが2×2又は1×1のみとなるレベルに分割される。TUのサイズは、PUのサイズよりも大きくすることはできない。大きくした場合、変換プロセス及び予測プロセスが複雑になる。これらの新たなPU構造を利用する従来技術のSDIP方法は、例えば、1×N及び2×NのTUとして規定される。長方形のTUのサイズに起因して、この従来技術は、HEVC規格の現在の暫定仕様書にある変換木構造と適合していない。SDIPは、上記規格において要求されている変換木を用いず、その代わり、TUサイズは、PUのサイズによって暗黙的に定められる。
「Video Compression Using Nested Quadtree Structures, Leaf Merging,and Improved Techniques for Motion Representation and Entropy Coding」(IEEE Transactions on Circuits and Systems for Video Technology,vol.20,no.12,pp.1676−1687,December 2010) Cao他「CE6.b1 Report on Short Distance Intra Prediction Method (SDIP)」(JCTVC−E278,March 2011)
したがって、依然として、上記提案された規格によって定義されたTUの木構造を維持しながら、正方形及び長方形のTUを分割して、長方形、及び場合によっては非常に狭い長方形のPUに対して適用する方法が必要とされている。
ビットストリームが、コーディングされた映像及び分割フラグ(split−flags)を含む。分割フラグは、変換木を生成するのに用いられる。実際には、このビットストリームは、コーディング単位(CU)を予測単位(PU)に区画化したものである。
変換木は、分割フラグに従って生成される。変換木内のノードは、CUに関連付けられた変換単位(TU)を表す。
対応する分割フラグが設定されている場合にのみ、生成によって、各TUが分割される。
複数のTUを含む各PUについて、複数のTUが、より大きなTUにマージされ、変換木は、分割及びマージに従って変更される。
その後、各PUに含まれるデータを、変換木に従ってそのPUに関連付けられたTUを用いて復号化することができる。
従来技術による変換単位のための木分割の図である。 従来技術による長方形の予測単位への分解の図である。 本発明の実施の形態によって用いられる一例示の復号化システムの流れ図である。 本発明による変換木生成の第1のステップの図である。 本発明による変換木生成の第2のステップの図である。
本発明の実施の形態は、階層的な変換単位(TU)を用いて映像をコーディングするための方法を提供する。コーディングは、符号化(encoding)及び復号化(decoding)を包含する。一般に、符号化及び復号化は、コーデック(コーダーデコーダー(CODer−DECoder))において実行される。コーデックは、デジタルデータストリーム又はデジタル信号を符号化及び/又は復号化することができるデバイス又はコンピュータープログラムである。例えば、コーダーは、ビットストリーム又は信号を圧縮、送信、記憶、又は暗号化のために符号化し、デコーダーは、符号化されたビットストリームを再生又は編集のために復号化する。
本方法は、依然として、高効率ビデオコーディング(HEVC)規格に定義された変換単位(TU)の階層的な変換木構造を維持しながら、正方形及び長方形のTUを、映像の長方形部分、及び場合によっては非常に狭い長方形部分に対して適用する。変換は、変換又は逆変換のいずれも指すことができる。好ましい実施の形態では、変換木は四分木(Q木)であるが、二分木(B木)及び八分木等、一般的にはN分木の他の木構造も可能である。
本方法への入力は、予測単位(PU)に区画化されたN×Nのコーディング単位(CU)である。本発明は、TUをPUに対して適用するのに用いられる変換木を生成する。
復号化システム
図3は、本発明の実施の形態によって用いられる一例示のデコーダー及び方法のシステム300を示している。すなわち、本方法のステップは、デコーダーによって実行され、このデコーダーは、当該技術分野において知られているように、ソフトウェア、ファームウェア、又はメモリ及び入出力インターフェースに接続されたプロセッサとすることができる。
本方法(又はデコーダー)への入力は、コーディングされた映像、例えば、画像又はビデオにおける画像のシーケンスのビットストリーム301である。このビットストリームは、パースされて(310)、変換木を生成するための分割フラグ311が得られる。これらの分割フラグは、変換木221の対応するノードのTUと、処理されるデータ312、例えばN×Nのデータブロックとに関連付けられる。このデータは、コーディング単位(CU)を予測単位(PU)に区画化したものを含む。
換言すれば、いずれのノードも、変換木内の所与の深さにおけるTUを表す。ほとんどの場合、リーフノードにおけるTUのみが実現される。しかしながら、コーデックは、変換木の階層における上位のノードにおけるTUを実施することができる。
分割フラグは、変換木321を生成する(320)のに用いられる。次に、PU内のデータは、変換木に従って復号化され、復号化されたデータ302が生成される。
生成ステップ320は、分割フラグ311が設定されている場合にのみ各TUを分割する(350)ことを含む。
複数のTUを含む各PUについて、これらの複数のTUは、より大きなTUにマージされる。例えば、16×8のPUは、2つの8×8のTUによって区画化することができる。これらの2つの8×8のTUは、1つの16×8のTUにマージすることができる。別の例では、64×64の正方形のPUが、16個の8×32のTUに区画化される。これらのTUのうちの4つが、32×32の正方形のTUにマージされ、他のTUは、8×32の長方形のまま残る。マージすることによって、多くの非常に小さなTU、例えば1×1のTUを有する従来技術(非特許文献2参照)の問題が解決される。次に、変換木321は、分割及びマージに従って変更される(370)。
分割、区画化、マージ、及び変更は、TUのサイズが所定の最小値380に等しくなるまで繰り返すことができる(385)。
変換木が生成された(320)後、各PUに含まれるデータ312は、そのPUに関連付けられたTUを用いて復号化することができる。
次に、様々な実施の形態を説明する。
実施の形態1:
図4は、入力されたCUのPU312への区画化312と、分割フラグに従ったPUの反復的な分割350(又は反復的でない分割)と、その後のマージとを示している。
ステップ1:変換木のルートノードは、N×NのPU312をカバーする最初のN×NのTUに対応する。図3に示すようにデコーダー300によって受信されたビットストリーム301は、このノードに関連付けられている分割フラグ311を含む。分割フラグが設定されていない場合(401)、対応するTUは分割されず、このノードのためのプロセスは完了する。分割フラグが設定されている場合(402)、N×NのTUが複数のTUに分割される(403)。生成されるTUの数は、木の構造に対応し、例えば、四分木の場合は4つである。分割によって生成されるTUの数は変更することができることに留意されたい。
次に、デコーダーは、PUが複数のTU(正:multiple TUs)を含むと判断する。例えば、長方形のPUは、複数のTU、例えば、それぞれサイズN/2×N/2の2つの正方形のTUを含む。この場合、そのPU内の複数のTUは、当該PUの寸法と整合したN×N/2のTU又はN/2×Nの長方形のTU405にマージされる(404)。長方形のPU及びTUは、長さに対応する長軸と、幅に対応する短軸とを含むことができる。正方形のTUをそれよりも長い長方形のTUにマージすることによって、従来技術(非特許文献2参照)のような長く狭い長方形が多くの小さな正方形のTUに分割される可能性がある問題が排除される。マージは、PU内のTUの数も削減する。
多くの小さなTUを有することは、通例、少数のより大きなTUを有することよりも効果的でなく、特に、これらのTUの寸法が小さい場合、又は複数のTUが類似のデータをカバーする場合に効果的ではない。
次に、変換木が変更される。第1のN/2×N/2のTU406と相応していた変換木の枝が、マージされた長方形のTUに対応するように再定義され、第2のマージされたTUに対応していた変換木の枝が除去される。
ステップ2:ステップ1において生成された各ノードについて、TUのサイズがあらかじめ規定された最小値に等しい場合、このプロセスは、そのノードについては終了する。残りの各ノードは、関連付けられた分割フラグが設定されているとき、又はそのノードのTUがPU内に完全に包含されているとは限らない場合に更に分割される。
一方、ステップ1とは異なり、ノードが分割される方法は、図5に示すように、PUの形状に依存する。なぜならば、PUは、任意の形状及びサイズを有することができるからである。この分割は、以下のステップ2a又はステップ2bにおいて説明するように実行される。ビットストリーム内に分割フラグを捜すのか、又はTUが2つ以上のPUをカバーするときに分割するのかの決定は、事前に行うことができる。すなわち、システムは、分割フラグが、ビットストリーム内に信号化されるように、又は分割フラグが、最小若しくは最大のTUサイズ、若しくはTUが複数のPUにまたがるか否か等の判定基準に基づいて推論されるように規定される。
暗黙的分割フラグ
代替的に、「暗黙的分割フラグ」をビットストリーム301からパースすることができる。暗黙的分割フラグが設定されていない場合、分割フラグが、その対応するノードについて信号化される。暗黙的分割フラグが設定されている場合、分割フラグは、このノードについて信号化されず、分割の決定は、あらかじめ規定された分割条件に基づいて行われる。これらのあらかじめ規定された分割条件は、TUが複数のPUにまたがるか否か又はTUのサイズ制限が満たされているか否か等の他の要因を含むことができる。この場合、暗黙的分割フラグは、分割フラグが含まれている場合には、この分割フラグの前に受信される。
例えば、暗黙的分割フラグは、各ノードの前、各変換木の前、各画像若しくは各ビデオフレームの前、又は各ビデオシーケンスの前に受信することができる。イントラPUの場合、TUは、複数のPUにまたがることが可能ではない。なぜならば、PUは、近接したPUのセットから予測され、そのため、それらの近接したPUは、現在のPUを予測するのに用いられるように完全に復号化、逆変換、及び再構成されなければならないからである。
別の例では、暗黙的フラグを設定することはできないが、あらかじめ規定されたメトリック又は条件が、分割フラグの存在を必要とすることなくノードを分割するか否かを決定するのに用いられる。
ステップ2a:このノードのTUが正方形である場合、このプロセスは、ステップ1に戻り、このノードを新たなルートノードとして扱い、例えばサイズN/4×N/4の4つの正方形のTUに分割する。
ステップ2b:このノードのTUが、長方形、例えばN/2×Nである場合、このノードは、N/4×NのTUに対応する2つのノードに分割される。同様に、N×N/2のTUが、N×N/4のTUに対応する2つのノードに分割される。次に、このプロセスは、これらのノードのそれぞれについてステップ2を繰り返し、長方形のTUが長軸の方向に沿って分割されることを確実にし、その結果、長方形のTUはより細くなる。
実施の形態2:
この実施の形態では、ステップ2bが、長方形のTUに関連付けられたノードが複数のノード、例えば4つのノード及び4つのTUに分割されるように変更される。例えば、N/2×NのTUが、4つのN/8×NのTUに分割される。より多くの数のTUへのこの分割は、PU内のデータが、PU内の部分が異なるごとに異なる場合に有益となり得る。この実施の形態は、1つの長方形のTUを4つの長方形のTUに分割するのに二分木の2つのレベルを必要とするのではなく、1つのTUを4つの長方形のTUに分割するのに1つの四分木レベルしか必要とせず、したがって、1つの分割フラグしか必要としない。この実施の形態は、あらかじめ規定することもできるし、暗黙的フラグが信号化された方法と同様に、「複数分割フラグ」としてビットストリーム内に信号化することもできる。
実施の形態3:
ここでは、ステップ1が、正方形のTUのサイズがあらかじめ規定された閾値よりも小さくなるまで、正方形のTUに関連付けられたノードが長方形になるようマージされないように変更される。例えば、閾値が4である場合、長方形の8×4のPUは、2つの4×4のTUによってカバーすることができる。一方、4×2のPUは、2つの2×2のTUによってカバーすることができない。この場合、実施の形態1が適用され、これらの2つのノードは、マージされて、4×2のPUをカバーするように4×2のTUを形成する。この実施の形態は、性能又は複雑度を考慮したことによって正方形のTUが好ましい場合に有用であり、長方形のTUは、正方形のTUがそれらの小さな寸法に起因して効果を失うときにのみ用いられる。
実施の形態4:
この実施の形態では、ステップ2bが、長方形のTUに関連付けられたノードを分割して、3つ以上の正方形又は長方形のTUを形成することができるように変更される。この場合、分割は、必ずしも、長方形の長い方の寸法と整合していない。例えば、16×4のTUは、4つの4×4のTU又は2つの8×4のTUに分割することができる。正方形のTUに分割するのか又は長方形のTUに分割するのかの選択は、暗黙的フラグの場合と同様に、ビットストリーム内のフラグによって明示的に示すこともできるし、符号化/復号化プロセスの一部としてあらかじめ規定することもできる。
この実施の形態は、通常、非常に大きな長方形のTU、例えば64×16に用いられ、その結果、8つの16×16のTUが2つの64×8のTUの代わりに用いられる。別の例は、64×16のTUを4つの32×8のTUに分割する。例えば、非常に長い水平のTUは、水平方向のリンギング等のアーティファクを生成する可能性があり、そのため、この実施の形態は、長方形のTUの最大長を低減することによってこれらのアーティファクトを低減する。この最大長も、ビットストリーム内に信号として含めることができる。同様に、最大幅を指定することができる。
実施の形態5:
この実施の形態では、ステップ1が、N×NのTUが長方形のTU、すなわちサイズN/2×N/2以外に直接分割されるように変更される。例えば、N×NのTUは、4つのN/4×NのTUに分割することができる。この実施の形態は、PUが正方形であり得る場合であっても、正方形のTUを複数の長方形のTUに直接分割することができるという点で実施の形態2と異なる。
この実施の形態は、PU内の特徴が水平又は垂直に配向しており、その結果、それらの特徴の方向と整合した水平又は垂直の長方形のTUが、PU内の配向したデータを分割する複数の正方形のTUよりも効果的であり得る場合に有用である。特徴は、色、エッジ、リッジ、コーナー、物体、及び他の関心のある点を含むことができる。上記で述べたように、この種の分割を行うか否かは、暗黙的分割フラグの場合と同様に、あらかじめ規定することもできるし、信号化することもできる。
実施の形態6:
この実施の形態では、ステップ1が、TUが複数のPUにまたがることができるように変更される。これは、PUがインター予測されるときに起こる可能性がある。例えば、インター予測されるPUは、同じCU内から復号化されたデータからではなく、以前に復号化された映像からのデータを用いて予測される。したがって、変換は、CU内の複数のPUにわたって適用される可能性がある。

Claims (20)

  1. 映像をコーディングするための方法であって、
    コーディングされた映像を含むビットストリームをパースして、変換木と、コーディング単位(CU)の予測単位(PU)への分割とを生成するための分割フラグを得る、パースするステップと、
    前記分割フラグに従って前記変換木を生成するステップであって、前記変換木内のノードは、前記CUに関連付けられた変換単位(TU)を表し、前記生成するステップは、
    前記分割フラグが設定されている場合にのみ、各TUを分割することと、
    複数のTUを含む各PUについて、前記複数のTUをより大きなTUにマージすることと、
    前記分割すること及び前記マージすることに従って前記変換木を変更することと、
    を更に含むステップと、
    前記変換木に従って前記PUに関連付けられた前記TUを用いて、各PUに含まれるデータを復号化するステップと、
    を含む、映像をコーディングするための方法。
  2. 正方形のTUが、複数の長方形のTUに分割される、請求項1に記載の方法。
  3. 各TUのサイズが所定の最小値に等しくなるまで、前記分割することと、前記マージすることと、前記変更することとを繰り返すこと、
    を更に含む、請求項1に記載の方法。
  4. 前記繰り返すことは、特定のノードの前記TUが前記関連付けられたPU内に完全に包含されているとは限らない場合に続けられる、請求項3に記載の方法。
  5. 前記ビットストリームは、暗黙的分割フラグを含み、前記暗黙的分割フラグが設定されていない場合、前記分割フラグは、前記変換木内の対応する前記ノードについて、前記ビットストリーム内に信号化されている、請求項1に記載の方法。
  6. 前記ビットストリームは、暗黙的分割フラグを含み、前記暗黙的分割フラグが設定され、かつ、あらかじめ規定された分割条件が満たされている場合にのみ、前記繰り返すことが実行される、請求項3に記載の方法。
  7. 長方形のTUを前記分割することは、前記長方形のTUの長軸の方向に沿っている、請求項1に記載の方法。
  8. 前記分割することは、3つ以上のTUを生成する、請求項1に記載の方法。
  9. 前記TUの最大長又は最大幅が削減される、請求項1に記載の方法。
  10. 前記PUは、任意の形状及びサイズを有する、請求項1に記載の方法。
  11. 前記分割することは、長方形のTUを生成する、請求項1に記載の方法。
  12. 水平の長方形のTU及び垂直の長方形のTUが、前記PU内の特徴の方向と整合される、請求項1に記載の方法。
  13. 前記PUは、ビデオデータの一部分を含む、請求項1に記載の方法。
  14. 前記PUは、予測プロセスから得られた残差データを含む、請求項1に記載の方法。
  15. 前記変換木はN分木である、請求項1に記載の方法。
  16. 長方形のTUの前記分割は、短軸の方向に沿っている、請求項1に記載の方法。
  17. 正方形又は長方形のTUが、より大きなTUにマージされる、請求項1に記載の方法。
  18. 前記N分木のNの値は、前記変換木のノードが異なるごとに異なる、請求項15に記載の方法。
  19. 前記TUは、複数のPUがインター予測される場合に、前記PUにまたがる、請求項1に記載の方法。
  20. 前記TUは、前記変換木のリーフノードによって表される、請求項1に記載の方法。
JP2013556183A 2011-05-05 2012-04-20 映像をデコーディングするための方法 Active JP6037341B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161482873P 2011-05-05 2011-05-05
US61/482,873 2011-05-05
US13/169,959 2011-06-27
US13/169,959 US8494290B2 (en) 2011-05-05 2011-06-27 Method for coding pictures using hierarchical transform units
PCT/JP2012/061296 WO2012150693A1 (en) 2011-05-05 2012-04-20 Residual quadtree structure for transform units in non-square prediction units

Publications (3)

Publication Number Publication Date
JP2014511628A true JP2014511628A (ja) 2014-05-15
JP2014511628A5 JP2014511628A5 (ja) 2014-07-03
JP6037341B2 JP6037341B2 (ja) 2016-12-07

Family

ID=47090285

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013556183A Active JP6037341B2 (ja) 2011-05-05 2012-04-20 映像をデコーディングするための方法

Country Status (6)

Country Link
US (1) US8494290B2 (ja)
EP (1) EP2705665B1 (ja)
JP (1) JP6037341B2 (ja)
CN (1) CN103503461B (ja)
TW (1) TWI504209B (ja)
WO (1) WO2012150693A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018037853A1 (ja) * 2016-08-26 2018-03-01 シャープ株式会社 画像復号装置及び画像符号化装置

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8750634B2 (en) * 2011-05-05 2014-06-10 Mitsubishi Electric Research Laboratories, Inc. Method for coding pictures using hierarchical transform units
US9807426B2 (en) * 2011-07-01 2017-10-31 Qualcomm Incorporated Applying non-square transforms to video data
US9787982B2 (en) * 2011-09-12 2017-10-10 Qualcomm Incorporated Non-square transform units and prediction units in video coding
US9800870B2 (en) * 2011-09-16 2017-10-24 Qualcomm Incorporated Line buffer reduction for short distance intra-prediction
US9699457B2 (en) * 2011-10-11 2017-07-04 Qualcomm Incorporated Most probable transform for intra prediction coding
MX382740B (es) * 2011-10-17 2025-03-13 Kt Corp Método y aparato para codificar/decodificar imágenes.
US9247254B2 (en) * 2011-10-27 2016-01-26 Qualcomm Incorporated Non-square transforms in intra-prediction video coding
US20130128971A1 (en) * 2011-11-23 2013-05-23 Qualcomm Incorporated Transforms in video coding
US9467701B2 (en) * 2012-04-05 2016-10-11 Qualcomm Incorporated Coded block flag coding
US9912944B2 (en) * 2012-04-16 2018-03-06 Qualcomm Incorporated Simplified non-square quadtree transforms for video coding
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US9762903B2 (en) * 2012-06-01 2017-09-12 Qualcomm Incorporated External pictures in video coding
US9749645B2 (en) * 2012-06-22 2017-08-29 Microsoft Technology Licensing, Llc Coded-block-flag coding and derivation
CN104737540B (zh) 2012-11-13 2018-05-22 英特尔公司 用于下一代视频的视频编解码器架构
KR20150056811A (ko) 2012-11-13 2015-05-27 인텔 코포레이션 차세대 비디오를 위한 콘텐츠 적응적 변환 코딩
KR20150058324A (ko) 2013-01-30 2015-05-28 인텔 코포레이션 차세대 비디오용 콘텐츠 적응적 엔트로피 코딩
US9544597B1 (en) 2013-02-11 2017-01-10 Google Inc. Hybrid transform in video encoding and decoding
US9967559B1 (en) 2013-02-11 2018-05-08 Google Llc Motion vector dependent spatial transformation in video coding
US9674530B1 (en) 2013-04-30 2017-06-06 Google Inc. Hybrid transforms in video coding
CN104811731A (zh) * 2014-01-03 2015-07-29 上海天荷电子信息有限公司 多层次子块匹配图像压缩方法
US10687079B2 (en) * 2014-03-13 2020-06-16 Qualcomm Incorporated Constrained depth intra mode coding for 3D video coding
WO2016054774A1 (en) * 2014-10-08 2016-04-14 Mediatek Singapore Pte. Ltd. A method for the co-existence of color-space transform and cross-component prediction
US9565451B1 (en) 2014-10-31 2017-02-07 Google Inc. Prediction dependent transform coding
WO2016090568A1 (en) * 2014-12-10 2016-06-16 Mediatek Singapore Pte. Ltd. Binary tree block partitioning structure
US10382795B2 (en) 2014-12-10 2019-08-13 Mediatek Singapore Pte. Ltd. Method of video coding using binary tree block partitioning
CN105141957B (zh) * 2015-07-31 2019-03-15 广东中星电子有限公司 图像和视频数据编解码的方法和设备
US9769499B2 (en) 2015-08-11 2017-09-19 Google Inc. Super-transform video coding
US10277905B2 (en) 2015-09-14 2019-04-30 Google Llc Transform selection for non-baseband signal coding
CN108353194B (zh) * 2015-10-15 2022-07-05 Lg 电子株式会社 编码和解码视频信号的方法和装置
US9807423B1 (en) 2015-11-24 2017-10-31 Google Inc. Hybrid transform scheme for video coding
WO2017088170A1 (en) * 2015-11-27 2017-06-01 Mediatek Inc. Entropy coding the binary tree block partitioning structure
CN108781299A (zh) * 2015-12-31 2018-11-09 联发科技股份有限公司 用于视频和图像编解码的预测二叉树结构的方法和装置
US20170244964A1 (en) * 2016-02-23 2017-08-24 Mediatek Inc. Method and Apparatus of Flexible Block Partition for Video Coding
EP4459994A3 (en) * 2016-09-20 2025-01-15 KT Corporation Method for decoding and method for encoding a video signal
CN117354516A (zh) 2016-10-04 2024-01-05 有限公司B1影像技术研究所 图像编码/解码方法、记录介质和传输比特流的方法
EP3306938A1 (en) * 2016-10-05 2018-04-11 Thomson Licensing Method and apparatus for binary-tree split mode coding
KR102354628B1 (ko) * 2017-03-31 2022-01-25 한국전자통신연구원 부호화 트리 유닛 및 부호화 유닛의 처리를 수행하는 영상 처리 방법, 그를 이용한 영상 복호화, 부호화 방법 및 그 장치
CN112601083A (zh) 2017-06-28 2021-04-02 华为技术有限公司 一种图像数据的编码、解码方法及装置
EP3649781B1 (en) * 2017-07-04 2024-01-17 Huawei Technologies Co., Ltd. Improvement on boundary forced partition
WO2019009314A1 (ja) * 2017-07-06 2019-01-10 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法
EP4468700A1 (en) * 2017-07-17 2024-11-27 Industry-University Cooperation Foundation Hanyang University Method and apparatus for encoding/decoding image
WO2019234612A1 (en) * 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Partition tree with four sub-blocks symmetric or asymmetric
US10567780B2 (en) 2018-06-14 2020-02-18 Telefonaktiebolaget Lm Ericsson (Publ) System and method for encoding 360° immersive video
US10623736B2 (en) * 2018-06-14 2020-04-14 Telefonaktiebolaget Lm Ericsson (Publ) Tile selection and bandwidth optimization for providing 360° immersive video
US10419738B1 (en) 2018-06-14 2019-09-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing 360° immersive video based on gaze vector information
TWI725456B (zh) 2018-06-21 2021-04-21 大陸商北京字節跳動網絡技術有限公司 交錯區塊的自動劃分
US10841662B2 (en) 2018-07-27 2020-11-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for inserting advertisement content in 360° immersive video
US10757389B2 (en) 2018-10-01 2020-08-25 Telefonaktiebolaget Lm Ericsson (Publ) Client optimization for providing quality control in 360° immersive video during pause
CN111277840B (zh) * 2018-12-04 2022-02-08 华为技术有限公司 变换方法、反变换方法以及视频编码器和视频解码器
CN111277828B (zh) * 2018-12-04 2022-07-12 华为技术有限公司 视频编解码方法、视频编码器和视频解码器
EP4485937A1 (en) 2019-03-22 2025-01-01 Huawei Technologies Co., Ltd. Transform unit partition method for video coding
US11122297B2 (en) 2019-05-03 2021-09-14 Google Llc Using border-aligned block functions for image compression

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11164305A (ja) * 1997-04-24 1999-06-18 Mitsubishi Electric Corp 動画像符号化方法、動画像符号化装置および動画像復号装置
JP2003250161A (ja) * 2001-12-19 2003-09-05 Matsushita Electric Ind Co Ltd 符号化装置及び復号化装置
JP2005012439A (ja) * 2003-06-18 2005-01-13 Nippon Hoso Kyokai <Nhk> 符号化装置、符号化方法および符号化プログラム
WO2006028088A1 (ja) * 2004-09-08 2006-03-16 Matsushita Electric Industrial Co., Ltd. 動画像符号化方法および動画像復号化方法
WO2010116869A1 (ja) * 2009-04-08 2010-10-14 シャープ株式会社 動画像符号化装置および動画像復号装置
WO2011021838A2 (en) * 2009-08-17 2011-02-24 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video
WO2011049119A1 (ja) * 2009-10-20 2011-04-28 シャープ株式会社 動画像符号化装置、動画像復号装置、動画像符号化・復号システム、動画像符号化方法および動画像復号方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4751742A (en) * 1985-05-07 1988-06-14 Avelex Priority coding of transform coefficients
US5315670A (en) * 1991-11-12 1994-05-24 General Electric Company Digital data compression system including zerotree coefficient coding
US5546477A (en) * 1993-03-30 1996-08-13 Klics, Inc. Data compression and decompression
EP0622741A3 (en) * 1993-03-30 1998-12-30 KLICS, Ltd. Device and method for data compression/decompression
US5602589A (en) * 1994-08-19 1997-02-11 Xerox Corporation Video image compression using weighted wavelet hierarchical vector quantization
US5748786A (en) * 1994-09-21 1998-05-05 Ricoh Company, Ltd. Apparatus for compression using reversible embedded wavelets
US5881176A (en) * 1994-09-21 1999-03-09 Ricoh Corporation Compression and decompression with wavelet style and binary style including quantization by device-dependent parser
TW388843B (en) * 1997-04-24 2000-05-01 Mitsubishi Electric Corp Moving image encoding method, moving image encoder and moving image decoder
KR20060109247A (ko) * 2005-04-13 2006-10-19 엘지전자 주식회사 베이스 레이어 픽처를 이용하는 영상신호의 엔코딩/디코딩방법 및 장치
JP4656912B2 (ja) * 2004-10-29 2011-03-23 三洋電機株式会社 画像符号化装置
EP2469859A3 (en) * 2005-04-13 2012-08-29 NTT DoCoMo, Inc. Image prediction on the basis of a frequency band analysis of the to be predicted image
KR101474756B1 (ko) * 2009-08-13 2014-12-19 삼성전자주식회사 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11164305A (ja) * 1997-04-24 1999-06-18 Mitsubishi Electric Corp 動画像符号化方法、動画像符号化装置および動画像復号装置
JP2003250161A (ja) * 2001-12-19 2003-09-05 Matsushita Electric Ind Co Ltd 符号化装置及び復号化装置
JP2005012439A (ja) * 2003-06-18 2005-01-13 Nippon Hoso Kyokai <Nhk> 符号化装置、符号化方法および符号化プログラム
WO2006028088A1 (ja) * 2004-09-08 2006-03-16 Matsushita Electric Industrial Co., Ltd. 動画像符号化方法および動画像復号化方法
WO2010116869A1 (ja) * 2009-04-08 2010-10-14 シャープ株式会社 動画像符号化装置および動画像復号装置
WO2011021838A2 (en) * 2009-08-17 2011-02-24 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video
WO2011049119A1 (ja) * 2009-10-20 2011-04-28 シャープ株式会社 動画像符号化装置、動画像復号装置、動画像符号化・復号システム、動画像符号化方法および動画像復号方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KEN MCCANN, WOO-JIN HAN, IL-KOO KIM: "Samsung's Response to the Call for Proposals on Video Compression Technology", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 1ST M, vol. [JCTVC-A124], JPN6014036696, 23 April 2010 (2010-04-23), pages 1 - 7, ISSN: 0002887730 *
XIAORAN CAO, ET AL.: "CE6.b1 Report on Short Distance Intra Prediction Method", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 5TH M, vol. [JCTVC-E278], JPN6014036697, 23 March 2011 (2011-03-23), pages 1 - 2, ISSN: 0002887731 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018037853A1 (ja) * 2016-08-26 2018-03-01 シャープ株式会社 画像復号装置及び画像符号化装置

Also Published As

Publication number Publication date
WO2012150693A1 (en) 2012-11-08
EP2705665A1 (en) 2014-03-12
TWI504209B (zh) 2015-10-11
CN103503461B (zh) 2016-11-09
CN103503461A (zh) 2014-01-08
JP6037341B2 (ja) 2016-12-07
EP2705665B1 (en) 2016-09-14
TW201309025A (zh) 2013-02-16
US20120281928A1 (en) 2012-11-08
US8494290B2 (en) 2013-07-23

Similar Documents

Publication Publication Date Title
JP6037341B2 (ja) 映像をデコーディングするための方法
KR102014618B1 (ko) 2진 트리 블록 분할을 사용한 비디오 코딩 방법
US8750634B2 (en) Method for coding pictures using hierarchical transform units
JP6590918B2 (ja) 画像を符号化する方法、画像を復号する方法、画像を符号化する装置、画像を復号する装置、及びプログラム
KR101538837B1 (ko) 변환 유닛 내의 다수 부호 비트 은폐
KR102114641B1 (ko) 현재 블록의 분할을 예측하여 비디오를 코딩하는 방법, 디코딩 방법 및 이에 상응하는 코딩 및 디코딩 장치 및 컴퓨터 프로그램
KR20160075705A (ko) 비디오 및 이미지 코딩에서의 해시 기반 블록 매칭
KR20190090865A (ko) 영상 처리 방법 및 이를 위한 장치
US11245897B2 (en) Methods and apparatuses for signaling partioning information for picture encoding and decoding
JP2015508617A (ja) 映像の符号化における係数の符号化
KR102586674B1 (ko) 경계 강제 파티션에 대한 개선
CN104270645A (zh) 用于并行视频编码和解码的方法、设备和系统
KR20110001885A (ko) 수퍼 매크로 블록 기반의 인트라 부호화 방법 및 장치
CN108353194A (zh) 编码和解码视频信号的方法和装置
CN106134192B (zh) 图像解码装置、图像解码方法及集成电路
TWI804999B (zh) 圖像編碼及解碼技術
CN113632479B (zh) 越界节点视频数据的处理方法及装置
US10893274B2 (en) Method for processing video signal on basis of arbitrary partition transform
US10785499B2 (en) Method and apparatus for processing video signal on basis of combination of pixel recursive coding and transform coding
TW202310633A (zh) 色度分離樹的低延遲視訊編解碼方法和裝置
JP2018064189A (ja) 符号化装置、復号装置及びプログラム
US20150078454A1 (en) Method and device for coding and decoding images
KR20130070618A (ko) 트리 구조를 이용한 부호화/복호화 방법 및 장치
CN120345248A (zh) 用信号表示用于图像和视频译码的低动态范围
HK1182243B (en) Multi-level significance maps for encoding and decoding

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140515

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141029

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150706

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150714

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20150904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160825

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161025

R150 Certificate of patent or registration of utility model

Ref document number: 6037341

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250