[go: up one dir, main page]

CN119729006A - 基于合并模式的帧间预测方法及装置 - Google Patents

基于合并模式的帧间预测方法及装置 Download PDF

Info

Publication number
CN119729006A
CN119729006A CN202411800826.6A CN202411800826A CN119729006A CN 119729006 A CN119729006 A CN 119729006A CN 202411800826 A CN202411800826 A CN 202411800826A CN 119729006 A CN119729006 A CN 119729006A
Authority
CN
China
Prior art keywords
control point
block
current block
affine
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202411800826.6A
Other languages
English (en)
Inventor
金起佰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of CN119729006A publication Critical patent/CN119729006A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/97—Matching pursuit coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/99—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals involving fractal coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种视频编码/解码方法及装置，其特征在于包括：构成当前块的合并候选列表，根据合并候选列表导出当前块的运动信息，利用运动信息执行当前块的帧间预测的步骤；合并候选列表包含空间合并候选、时间合并候选或组合合并候选中的至少一种，通过组合属于合并候选列表中的n个合并候选来导出组合合并候选，由于不仅利用空间/时间合并候选，而且还利用组合合并候选，因此具有能够提高运动信息的准确度的效果。

Description

基于合并模式的帧间预测方法及装置
本申请是申请日为2019年7月1日的PCT国际专利申请PCT/KR2019/007981进入中国国家阶段的中国专利申请号201980041821.0、发明名称为“基于合并模式的帧间预测方法及装置”的分案申请。
技术领域
本发明涉及一种帧间预测方法及装置。
背景技术
最近，在各种应用领域中，对像HD(High Definition，高清晰度)视频及UHD(UltraHigh Definition，特高清晰度)视频一样的高分辨率、高品质视频的需求日益增加，因此正在研究高效的视频压缩技术。
作为视频压缩技术，有根据当前图像之前或之后的图像来预测当前图像所包含的像素值的帧间预测技术、利用当前图像中的像素信息来预测当前图像所包含的像素值的帧内预测技术、对出现频率较高的值分配短码且对出现频率较低的值分配长码的熵编码技术等各种技术，可利用这些视频压缩技术有效地压缩视频数据来进行传输或储存。
发明内容
[发明要解决的问题]
本发明的目的在于提供一种帧间预测方法及装置。
本发明的目的在于提供一种构成合并候选列表的方法及装置。
本发明的目的在于提供一种子块单位的运动补偿方法及装置。
本发明的目的在于提供一种确定仿射候选的方法及装置。
本发明的目的在于提供一种与360视频的投影格式对应的帧间预测方法及装置。
[解决问题的手段]
本发明的视频编码/解码方法及装置可构成当前块的合并候选列表，根据所述合并候选列表导出所述当前块的运动信息，利用所述运动信息来执行当前块的帧间预测。
在本发明的视频编码/解码方法及装置中，所述合并候选列表可包含空间合并候选、时间合并候选或组合合并候选中的至少一种。
在本发明的视频编码/解码方法及装置中，可通过组合属于合并候选列表中的n个合并候选来导出所述组合合并候选。
在本发明的视频编码/解码方法及装置中，所述n个合并候选可为在所述合并候选列表中与0至(n－1)的索引对应的合并候选。
在本发明的视频编码/解码方法及装置中，所述组合合并候选的索引可大于所述时间合并候选的索引。
在本发明的视频编码/解码方法及装置中，所述n个合并候选包含第一合并候选与第二合并候选，可考虑所述第一合并候选的预测方向及所述第二合并候选的预测方向来导出所述组合合并候选的运动信息。
在本发明的视频编码/解码方法及装置中，可通过对所述第一合并候选的运动信息与所述第二合并候选的运动信息进行加权平均来导出所述组合合并候选的运动信息。
在本发明的视频编码/解码方法及装置中，所述加权平均的加权值可为[1∶1]、[1∶2]、[1∶3]或[2∶3]中的任一个。
本发明的视频编码/解码方法及装置可生成用以预测当前块的运动信息的候选列表，基于所述候选列表与候选索引来导出所述当前块的控制点向量，基于所述当前块的控制点向量来导出所述当前块的运动向量，利用所述运动向量对所述当前块执行帧间预测。
在本发明的视频编码/解码装置中，所述候选列表可包含多个仿射候选。
在本发明的视频编码/解码装置中，所述仿射候选可包含空间候选、时间候选或所构成的候选中的至少一种。
在本发明的视频编码/解码装置中，能够以所述当前块的子块为单位导出所述当前块的运动向量。
在本发明的视频编码/解码装置中，可考虑所述当前块的边界是否与编码树块的边界(CTU boundary)相接来确定所述空间候选。
在本发明的视频编码/解码装置中，可基于与所述当前块的各角部对应的控制点向量中的至少两个控制点向量的组合来确定所述所构成的候选。
本发明的视频编码/解码方法及装置在用于进行帧间预测的参考区域包含参考图像的边界或不连续的表面间的边界的情况下，可利用具有关联性的区域的数据来获得参考区域的所有像素或一部分像素。
[发明的效果]
根据本发明，不仅利用空间/时间合并候选，而且还利用组合合并候选，因此能够提高运动信息的准确度。
根据本发明，可通过基于仿射模型的帧间预测来提高视频的编码/解码性能。
根据本发明，可通过子块单位的帧间预测来提高预测的准确性。
根据本发明，可有效率地确定仿射候选，因此能够提高帧间预测的编码/解码效率。
根据本发明，可考虑关联性来设定参考区域，因此能够提高帧间预测的编码效率。
附图说明
图1是本发明的一实施例的视频编码装置的框图。
图2是本发明的一实施例的视频解码装置的框图。
图3是表示基于树的块形态的例示图。
图4是表示可从本发明的块分割部获得的各种块的形态的例示图。
图5表示本发明的一实施例的块分割过程。
图6作为应用本发明的一实施例，其是表示基于块单位的合并模式来执行帧间预测的方法的图。
图7作为应用本发明的一实施例，其是表示基于仿射模型的帧间预测方法的图。
图8作为应用本发明的一实施例，其是表示根据空间/时间相邻块的控制点向量来导出仿射候选的方法的图。
图9作为应用本发明的一实施例，其是表示基于空间/时间相邻块的运动向量的组合来导出所构成的候选的方法的图。
图10作为应用本发明的一实施例，其是表示导出基于子块的时间候选的运动信息的方法的图。
图11作为应用本发明的一实施例，其是表示ERP(Equi-Rectangular Projection，等距柱状投影)投影格式下的帧间预测方法的图。
图12至图15作为应用本发明的一实施例，其是表示CMP(CubeMap Projection，立方体贴图投影)投影格式下的帧间预测方法的图。
具体实施方式
本发明的视频编码/解码方法及装置可构成当前块的合并候选列表，根据所述合并候选列表导出所述当前块的运动信息，利用所述运动信息来执行当前块的帧间预测。
在本发明的视频编码/解码方法及装置中，所述合并候选列表可包含空间合并候选、时间合并候选或组合合并候选中的至少一种。
在本发明的视频编码/解码方法及装置中，可通过组合属于合并候选列表中的n个合并候选来导出所述组合合并候选。
在本发明的视频编码/解码方法及装置中，所述n个合并候选可为在所述合并候选列表中与0至(n－1)的索引对应的合并候选。
在本发明的视频编码/解码方法及装置中，所述组合合并候选的索引可大于所述时间合并候选的索引。
在本发明的视频编码/解码方法及装置中，所述n个合并候选包含第一合并候选与第二合并候选，可考虑所述第一合并候选的预测方向及所述第二合并候选的预测方向来导出所述组合合并候选的运动信息。
在本发明的视频编码/解码方法及装置中，可通过对所述第一合并候选的运动信息与所述第二合并候选的运动信息进行加权平均来导出所述组合合并候选的运动信息。
在本发明的视频编码/解码方法及装置中，所述加权平均的加权值可为[1∶1]、[1∶2]、[1∶3]或[2∶3]中的任一个。
本发明的视频编码/解码方法及装置可生成用以预测当前块的运动信息的候选列表，基于所述候选列表与候选索引来导出所述当前块的控制点向量，基于所述当前块的控制点向量来导出所述当前块的运动向量，利用所述运动向量来对所述当前块执行帧间预测。
在本发明的视频编码/解码装置中，所述候选列表可包含多个仿射候选。
在本发明的视频编码/解码装置中，所述仿射候选可包含空间候选、时间候选或所构成的候选中的至少一种。
在本发明的视频编码/解码装置中，能够以所述当前块的子块为单位导出所述当前块的运动向量。
在本发明的视频编码/解码装置中，可考虑所述当前块的边界是否与编码树块的边界(CTU boundary)相接来确定所述空间候选。
在本发明的视频编码/解码装置中，可基于与所述当前块的各角部对应的控制点向量中的至少两个控制点向量的组合来确定所述所构成的候选。
本发明的视频编码/解码方法及装置在用于进行帧间预测的参考区域包含参考图像的边界或不连续的表面间的边界的情况下，可利用具有关联性的区域的数据来获得参考区域的所有像素或一部分像素。
本发明可实施各种变更，且可具有多种实施例，将特定实施例示于图中并详细地进行说明。然而，应理解，这些特定实施例并非是将本发明限定于特定的实施方式，包含本发明的思想及技术范围内的所有变更、等同物或替代物。
第一、第二、A、B等术语可用于说明构成要素，但所述构成要素不应受所述术语的限定。所述术语仅用于将一个构成要素与其他构成要素区分开来。例如，可不脱离本发明的权利范围而将第一构成要素命名为第二构成要素，相似地，也可将第二构成要素命名为第一构成要素。所谓及/或的术语是指包含所记载的多个相关项目的组合或所记载的多个相关项目中的任一项目。
在描述为某个构成要素“连接”或“连结”在另一构成要素时，应理解为可直接连接或连结在所述另一构成要素，也可在所述构成要素与所述另一构成要素之间存在其他构成要素。相反地，在描述为某个构成要素“直接连接”或“直接连结”在另一构成要素时，应理解为所述构成要素与所述另一构成要素之间不存在其他构成要素。
本申请案中所使用的术语仅用于说明特定的实施例，并非意欲限定本发明。如果未在文中明确地表示其他含义，则单数的表达包含复数的表达。在本申请案中，“包含”或“具有”等术语应理解为用于表示存在说明书中所记载的特征、数字、步骤、动作、构成要素、零件或它们的组合，而并非预先排除一个或一个以上的其他特征、数字、步骤、动作、构成要素、零件或它们的组合的存在可能性或附加可能性。
如果无其他定义，则包含技术或科学术语在内的所有术语具有与本发明所属技术领域内的普通技术人员通常理解的含义相同的含义。通常使用的词典中所定义的术语应解释为与相关技术文献中的含义一致，如果未在本申请案中明确地定义，则不应解释为理想的含义或过度形式性的含义。
视频编码装置及解码装置可以是个人电脑(PC，Personal Computer)、笔记本电脑、个人数字助理(PDA，Personal Digital Assistant)、便携式多媒体播放器(PMP，Portable Multimedia Player)、便携式游戏机(PSP，Play Station Portable)、无线通信终端(Wireless Communication Terminal)、智能手机(Smart Phone)、TV(Television，电视)、虚拟现实设备(Virtual Reality，VR)、扩增现实设备(Augmented Reality，AR)、混合现实设备(Mixed Reality，MR)、头戴式设备(Head Mounted Display，HMD)、智能眼镜(Smart Glasses)等之类的使用者终端或应用服务器与服务伺服器等服务器终端，可包含如下等多种装置：具有用以与各种设备或有线无线通信网进行通信的通信调制解调器等通信装置；用以储存为了对视频编码或解码而进行帧内(Intra)或帧间(Inter)预测的各种程序及数据的存储器(Memory)；用于运行程序以进行运算及控制的处理器(Processor)。另外，通过视频编码装置编码成比特流的视频可实时或非实时地通过互联网、近距离无线通信网、无线区域网、无线宽带网、移动通信网等有线无线通信网(Network)等、或者通过线缆、通用串行总线(USB，Universal Serial Bus)等之类的各种通信接口传输到视频解码装置，并由视频解码装置解码以重建视频来播放。
另外，通过视频编码装置编码成比特流的视频也可通过可由电脑读取的记录介质从编码装置传输到解码装置。
所述视频编码装置与视频解码装置可分别为独立的装置，但可根据具体实现而构成为一个视频编码/解码装置。在此情况下，视频编码装置的一部分构成作为与视频解码装置的一部分构成实质上相同的技术要素，能够以至少包含相同的结构或至少执行相同的功能的方式实现。
因此，在以下对技术要素及它们的动作原理等进行详细说明时，省略对应的技术要素的重复说明。
并且，视频解码装置相当于将视频编码装置执行的视频编码方法应用到解码的计算装置，因此在以下说明中，以视频编码装置为中心进行说明。
计算装置可包含：存储器，储存实现视频编码方法及/或视频解码方法的程序或软件模块；以及处理器，连接在存储器以执行程序。并且，可分别将视频编码装置称为编码器、将视频解码装置称为解码器。
通常，视频可包含一连串的静止图像(Still Image)，这些静止图像能够以GOP(Group of Pictures，图像组)为单位进行划分，可将各静止图像称为图像(Picture)。此时，图像可表示逐行(Progressive)信号、隔行(Interlace)信号中的帧(Frame)、字段(Field)中的一种，在以帧为单位执行编码/解码的情况下，视频能够以“帧”来表示，在以字段为单位执行编码/解码的情况下，视频能够以“字段”来表示。在本发明中，以逐行信号为例进行说明，但也可应用于隔行信号。作为上位概念，可以有GOP、序列(Sequence)等单位，另外，各图像可被分割成片段、区块、块等之类的特定区域。另外，一个GOP可包含I图像、P图像、B图像等单位。I图像可指在不使用参考图像的状态下自行编码/解码的图像，P图像及B图像可指通过使用参考图像执行运动估计(Motion Estimation)及运动补偿(MotionCompensation)等过程来进行编码/解码的图像。通常，P图像可将I图像及P图像用作参考图像，B图像可将I图像及P图像用作参考图像，在这里，也可根据编码/解码设置来变更以上定义。
在这里，将进行编码/解码时参考的图像称为参考图像(Reference Picture)，将参考的块或像素称为参考块(Reference Block)、参考像素(Reference Pixel)。另外，参考数据(Reference Data)除了空间域(Spatial Domain)的像素值以外，还可以是频域(Frequency Domain)的系数值、在编码/解码过程中生成及确定的各种编码/解码信息。例如，在预测部中可以是帧内预测相关信息或运动相关信息，在变换部/反变换部中可以是变换相关信息，在量化部/反量化部中可以是量化相关信息，在编码部/解码部中可以是编码/解码相关信息(上下文信息)，在环内滤波部中可以是滤波相关信息等。
构成视频的最小单位可为像素(Pixel)，将表示一个像素所需的比特数称为比特深度(Bit Depth)。通常，比特深度可为8比特，而根据编码设置能够支持8比特以上的比特深度。
比特深度可根据颜色空间(Color Space)支持至少一个比特深度。另外，可根据视频的颜色格式(Color Format)而由至少一个颜色空间构成。可根据颜色格式由具有固定尺寸的一个以上的图像或具有不同尺寸的一个以上的图像构成。例如，在YCbCr4∶2∶0的情况下，可包含一个亮度成分(在本例中为Y)及两个色差成分(在本例中为Cb/Cr)，此时色差成分与亮度成分的构成比可为横纵1∶2。作为其他例，在4∶4∶4的情况下，可具有横纵相同的构成比。在如上所述的包含一个以上的颜色空间的情况下，可对图像执行各颜色空间上的分割。
在本发明中，以一部分颜色格式(在本例中为YCbCr)的一部分颜色空间(在本例中为Y)为基准进行说明，在基于颜色格式的其他颜色空间(在本例中为Cb、Cr)中也可相同或相似地应用(依赖于特定颜色空间的设置)。然而，也可在各颜色空间中保留一部分差异(独立于特定颜色空间的设置)。即，依赖于各颜色空间的设置可指与各成分的构成比(例如，根据4∶2∶0、4∶2∶2、4∶4∶4等来确定)成正比的设置或依赖性的设置，而独立于各颜色空间的设置可指与各成分的构成比无关或独立性地仅适用于相应颜色空间的设置。在本发明中，可根据编码/解码器而对一部分构成进行独立性的设置或依赖性的设置。
在视频编码过程中所需的设置信息或语法元素(Syntax Element)能够在视频、序列、图像、片段、区块、块等单位层级上确定，且能够以如VPS(Video Parameter Set，视频参数集)、SPS(Sequence Parameter Set，序列参数集)、PPS(Picture Parameter Set，图像参数集)、Slice Header(片段头部)、Tile Header(区块头部)、Block Header(块头部)等单位收录到比特流中并被传输到解码器，解码器可在相同层级的单位上进行解析(Parsing)而将从编码器传输的设置信息重建以用于视频解码过程。另外，能够以SEI(SupplementEnhancement Information，补充增强信息)或元数据(Metadata)等形式将相关信息传输到比特流中并进行解析来使用。各参数集具有固有的ID值，下位参数集可具有需要进行参考的上位参数集的ID值。例如，下位参数集可参考一个以上的上位参数集中的具有一致的ID值的上位参数集的信息。在如上所述的各种单位的示例中，当某个单位包含一个以上的其他单位时，可将相应的单位称为上位单位，将被包含的单位称为下位单位。
在所述单位生成的设置信息的情况下，各相应单位可包含独立的设置的内容、或包含依赖于之前、之后或上位单位等的设置的内容。在这里，可将依赖性的设置理解为用于遵照之前、之后、上位单位的设置的标志信息(例如，1比特标志为1时遵照，为0时不遵照)表示相应单位的设置信息。在本发明中，以独立的设置的示例为中心对设置信息进行说明，但还可包含增加到或替换成关于对当前单位的之前、之后的单位或上位单位的设置信息具有依赖性的关系的内容的示例。
图1是本发明的一实施例的视频编码装置的框图。图2是本发明的一实施例的视频解码装置的框图。
参照图1，视频编码装置可包含预测部、减法运算部、变换部、量化部、反量化部、反变换部、加法运算部、环内滤波部、存储器及/或编码部，可不包含以上构成中的一部分构成，可根据具体实施而选择性地包含一部分或所有构成，且可包含未图示的另外一部分构成。
参照图2，视频解码装置可包含解码部、预测部、反量化部、反变换部、加法运算部、环内滤波部及/或存储器，可不包含以上构成中的一部分构成，可根据具体实现而选择性地包含一部分或所有构成，且可包含未图示的另外一部分构成。
视频编码装置与视频解码装置可分别为单独的装置，但可根据具体实现而构成为一个视频编码/解码装置。在此情况下，视频编码装置的一部分构成作为与视频解码装置的一部分构成实质上相同的技术要素，能够以至少包含相同的结构或至少执行相同的功能的方式实现。
因此，在对以下的技术要素及它们的动作原理等进行详细说明时，省略对应的技术要素的重复说明。视频解码装置相当于将视频编码装置执行的视频编码方法应用到解码的计算装置，因此在以下的说明中，以视频编码装置为中心进行说明。可分别将视频编码装置称为编码器，将视频解码装置称为解码器。
预测部可包含执行帧内预测的帧内预测部、及执行帧间预测的帧间预测部。帧内预测可将与当前块邻接的块的像素构成为参考像素来确定帧内预测模式，并使用所述帧内预测模式生成预测块，帧间预测可利用一个以上的参考图像来确定当前块的运动信息，并使用所述运动信息执行运动补偿以生成预测块。可确定要对当前块(编码单位或预测单位)使用帧内预测或帧间预测中哪种方式后，确定与各预测方法对应的具体信息(例如，帧内预测模式、运动向量、参考图像等)。此时，可根据编码/解码设置来确定执行预测的处理单位、与确定预测方法及具体内容的处理单位。例如，预测方法、预测模式等是以预测单位(或编码单位)确定，预测的执行是以预测块单位(或编码单位、变换单位)执行。
减法运算部通过从当前块减去预测块来生成残差块(Residual Block)。即，减法运算部计算要编码的当前块的各像素的像素值与通过预测部生成的预测块的各像素的预测像素值之差来生成块形态的残差信号(Residual Signal)即残差块。
变换部可将属于空间域的信号变换成属于频域的信号，此时，将经由变换过程获得的信号称为变换系数(Transformed Coefficient)。例如，可将具有从减法运算部接收到的残差信号的残差块变换而获得具有变换系数的变换块，接收到的信号由编码设置决定，并不限定于残差信号。
变换部可使用如哈达玛变换(Hadamard Transform)、离散正弦变换(DST Based-Transform，Discrete Sine Transform)、离散余弦变换(DCT Based-Transform，DiscreteCosine Transform)等的变换方法来变换残差块，但并不限定于此，也可使用将这些变换方法改良及变形所得的各种变换方法。
变换可沿水平/垂直方向执行。例如，利用变换中的基本向量沿水平方向执行一维变换且沿垂直方向执行一维变换来执行二维变换，由此可将空间域的像素值变换成频域的像素值。
另外，变换部可将生成变换块所需的信息传输到编码部而对所述信息进行编码，将由此得到的信息收录到比特流而将所述比特流传输到解码器，解码器的解码部可对所述比特流的信息进行解析而用于反变换过程。
量化部可将接收到的信号量化，此时，将经由量化过程获得的信号称为量化系数(Quantized Coefficient)。例如，可将具有从变换部接收到的残差变换系数的残差块量化而获得具有量化系数的量化块，接收到的信号由编码设置决定，并不限定于残差变换系数。
量化部可使用如盲区均匀阈值量化(Dead Zone Uniform ThresholdQuantization)、量化加权值矩阵(Quantization Weighted Matrix)等的量化方法将变换的残差块量化，但并不限定于此，也可使用将这些量化方法改良及变形所得的各种量化方法。
量化部可将生成量化块所需的信息传输到编码部而对所述信息进行编码，将由此得到的信息收录到比特流而将所述比特流传输到解码器，解码器的解码部可对所述比特流的信息进行解析而用于反量化过程。
在上述示例中，以通过变换部与量化部来对残差块进行变换及量化为例进行了说明，但可将残差块变换成残差信号来生成具有变换系数的残差块而不执行量化过程，可不将残差块的残差信号变换成变换系数而仅执行量化过程，且也可均不执行变换及量化过程。可根据编码器设置来决定。
编码部可按照至少一种扫描顺序(例如，Z字形扫描、垂直扫描、水平扫描等)扫描所生成的残差块的量化系数、变换系数、或残差信号等而生成量化系数序列、变换系数序列、或信号序列，利用至少一种熵编码(Entropy Coding)方法进行编码。此时，所述扫描顺序的信息可根据编码设置(例如，编码模式、预测模式等)来确定，可暗示地确定或明示地生成相关信息。例如，可根据帧内预测模式选择多种扫描顺序中的一种。此时，扫描图案可设定为Z字形(Zig-Zag)、对角线、栅格(Raster)等各种图案中的一种。
另外，可生成包含从各构成部传输的编码信息的编码数据并输出到比特流，在这里，可通过复用器(MUX，Multiplexer)实现。此时，可使用如指数哥伦布(ExponentialGolomb)、上下文自适应变长编码(CAVLC，Context Adaptive Variable Length Coding)、上下文自适应二进制算术编码(CABAC，Context Adaptive Binary Arithmetic Coding)等的方法作为编码方法来进行编码，但并不限定于此，也可使用将这些编码方法改良及变形所得的各种编码方法。
在对所述残差块数据及在编码/解码过程中生成的信息等语法元素(Syntax)执行熵编码(在本例中，假设为CABAC)时，熵编码装置可包含二值化部(Binarizer)、上下文建模器(Context Modeler)、二进制算术编码部(Binary Arithmetic Coder)。此时，二进制算术编码部可包含常规编码部(Regular Coding Engine)及旁路编码部(Bypass CodingEngine)。此时，常规编码部可以是与上下文建模器有关地执行的过程，旁路编码部可以是与上下文建模器无关地执行的过程。
输入到所述熵编码装置的语法元素可能不是二进制值，因此在语法元素不为二进制值的情况下，二值化部可对语法元素进行二值化而输出由0或1构成的二进制串(BinString)。此时，二进制表示由0或1构成的比特，可通过二进制算术编码部编码。此时，可基于0与1的生成概率来选择常规编码部或旁路编码部中的一个，可根据编码/解码设置来确定。如果语法元素为0与1的频率相同的数据，则可使用旁路编码部，否则可使用常规编码部，可在通过上下文建模(或上下文信息更新)执行下一常规编码部时进行参考。
此时，上下文是关于二进制(Bin)的生成概率的信息，上下文建模是输入二值化结果即二进制而估计二进制算术编码所需的二进制的概率的过程。为了估计概率，可利用二进制的语法元素信息、二进制在二进制串中的位置即索引、块周边块中包含的二进制的概率等，且为了估计概率，可使用至少一个上下文表格。例如，用于一部分标志的信息可根据周边块是否使用标志的组合来使用多个上下文表格。
在对所述语法元素执行二值化时，可使用各种方法。例如，可分为固定长度二值化(Fixed Length Binarization)与可变长度二值化(Variable Length Binarization)，在可变长度二值化的情况下，可使用一元二值化(Unary Binarization，Trunacted UnaryBinarization)、Rice二值化(Truncated Rice Binarization)、K-th Exp-Golomb二值化、Truncated binary(截断二进制)二值化等。另外，可根据语法元素所具有的值的范围来执行有符号的二值化或无符号的二值化。在本发明中的针对语法元素的二值化过程不仅可执行上述示例所述的二值化，而且可执行除此之外的其他二值化方法。
反量化部及反变换部可反向执行所述变换部及量化部中的过程。例如，反量化部可将量化部生成的经量化的变换系数反量化，反变换部可将经反量化的变换系数反变换而生成重建的残差块。
加法运算部将预测块与重建的残差块相加来重建当前块。所重建的块可储存到存储器而用作参考数据(预测部及滤波部等)。
环内滤波部可包含去块滤波、像素自适应偏移(Sample Adaptive Offset，SAO)、自适应环路滤波(Adaptive Loop Filter，ALF)等中的至少一个后处理滤波过程。去块滤波可从所重建的视频中去除在块之间的边界发生的块失真。ALF可根据对所重建的视频与输入视频进行比较所得的值来执行滤波。详细而言，可在通过去块滤波对块进行滤波后，根据对所重建的视频与输入视频进行比较所得的值来执行滤波。或者，可在通过SAO对块进行滤波后，根据对所重建的视频与输入视频进行比较所得的值来执行滤波。
存储器可储存重建的块或图像。储存在存储器中的重建块或图像可提供给执行帧内预测或帧间预测的预测部。详细而言，可将在编码器中压缩的比特流的队列(Queue)形态的储存空间用作编码图像缓存区(Coded Picture Buffer，CPB)来进行处理，可将以图像单位储存解码的视频的空间用作解码图像缓冲区(Decoded Picture Buffer，DPB)来进行处理。在CPB中，可按照解码顺序储存解码单位，在编码器中对解码动作进行仿真(Emulation)，且储存在仿真过程中压缩的比特流，从CPB输出的比特流可经由解码过程而重建，重建的视频储存到DPB，在之后的视频编码及解码过程中参考储存在DPB的图像。
解码部可反向执行所述编码部中的过程。例如，可从比特流接收量化系数序列、变换系数序列或信号序列并对它们进行解码，可对包含解码信息的解码数据进行解析并传输到各构成部。
本发明的一实施例的视频编码装置及视频解码装置可包含块分割部。基本编码单位可指视频编码/解码过程中的预测、变换、量化等的基本(或起始)单位。此时，编码单位可根据颜色格式(在本例中为YCbCr)由一个亮度编码块及两个色差编码块构成，可根据颜色格式来确定各块的尺寸。在下文叙述的示例中，以块(在本例中为亮度成分)为基准进行说明。此时，以块为可在确定各单位后获得的单位为前提，假设可对其他种类的块应用相似的设置来进行说明。
可根据视频编码装置及解码装置的各构成部来设置块分割部，可通过这一过程确定块的尺寸及形态。此时，设置的块可根据构成部来不同地定义，在预测部中可为预测块，在变换部中可为变换块，在量化部中可为量化块等。并不限定于此，还可定义与其他构成部对应的块单位。可根据块所具有的横长及纵长来定义块的尺寸及形态。
在块分割部中，能够以M×N来表示块，可在范围内获得各块的最大值与最小值。例如，块的形态支持正方形，在将块的最大值设为256×256，将最小值设为8×8时，可获得2m×2m尺寸的块(在本例中，m为3至8的整数，例如8×8、16×16、32×32、64×64、128×128、256×256)、2m×2m尺寸的块(在本例中，m为4至128的整数)或m×m尺寸的块(在本例中，m为8至256的整数)。或者，块的形态支持正方形与长方形，在具有与上述示例相同的范围时，可获得2m×2n尺寸的块(在本例中，m及n为3至8的整数，在横纵比最大为2∶1时，例如为8×8、8×16、16×8、16×16、16×32、32×16、32×32、32×64、64×32、64×64、64×128、128×64、128×128、128×256、256×128、256×256，根据编码/解码设置，横纵比可无限制或可存在横纵比的最大值)。或者，可获得2m×2n尺寸的块(在本例中，m及n为4至128的整数)。或者，可获得m×n尺寸的块(在本例中，m及n为8至256的整数)。
在块分割部中，输入块可获得一个以上的块。例如，可直接输出所输入的块，或分割成两个以上的子块。此时，子块的个数可为2个、3个、4个等，可根据分割方式(分割类型)来确定。可基于分割前的块(在本例中为输入块)来获得所述子块的形态，可根据块分割设置而呈各种形态。
在本发明中，以基于树的分割方式为中心进行说明，但并不限定于此。
可根据编码/解码设置(例如，块的种类、分割方式、分割设置等)来确定能够获得的块。例如，编码块可获得2m×2n尺寸的块，预测块可获得2m×2n或m×n尺寸的块，变换块可获得2m×2n尺寸的块。可基于上述设置而生成块尺寸、范围等信息(例如，关于指数、倍数的信息等)。
可根据块的种类来确定所述范围(在本例中，根据最大值及最小值来确定)。另外，一部分块可以明示地生成块的范围信息，一部分块可以暗示地确定块的范围信息。例如，编码块、变换块可以明示地生成相关信息，预测块可以暗示地处理相关信息。
在明示的情况下，可生成至少一个范围信息。例如，在编码块的情况下，作为关于范围的信息，可生成最大值与最小值的信息。或者，可基于最大值与预设的最小值(例如，8)之差(例如，根据所述设置来生成，最大值与最小值的指数差值信息等)来生成。另外，可生成用于长方形形态的块的横长及纵长的多个范围的信息。
在暗示的情况下，可基于编码/解码设置(例如，块的种类、分割方式、分割设置等)来获得范围信息。例如，在预测块的情况下，可根据候选组(在本例中为M×N与m/2×n/2)来获得最大值与最小值信息，所述候选组可根据预测块的分割设置(例如，四叉树分割+分割深度0)从作为上位单位的编码块(例如，编码块的最大尺寸为M×N，最小尺寸为m×n)获得。
可根据上位单位来确定块分割部的初始(或起始)块的尺寸及形态。在编码块的情况下，基本编码块可为初始块，在预测块的情况下，编码块可为初始块，在变换块的情况下，编码块或预测块可为初始块，可根据编码/解码设置来确定。例如，在编码模式为帧内(Intra)的情况下，预测块可为变换块的上位单位，在编码模式为帧间(Inter)的情况下，预测块可为独立于变换块的单位。初始块作为分割的起始单位，可分割成小尺寸的块。如果确定出各块的最佳分割尺寸及形态，则可将相应的块可确定为下位单位的初始块。例如，在前者可为编码块，后者(下位单位)可为预测块或变换块。如上述示例，如果确定出下位单位的初始块，则可像上位单位一样执行查找最佳尺寸及形态的块的分割过程。
总而言之，块分割部可将基本编码单位(或最大编码单位)分割成至少一个编码单位(或下位编码单位)。另外，编码单位可分割成至少一个预测单位，且可分割成至少一个变换单位。编码单位可分割成至少一个编码块，编码块可分割成至少一个预测块，且可分割成至少一个变换块。预测单位可分割成至少一个预测块，变换单位可分割成至少一个变换块。
如上述示例，在通过模式确定过程来查找最佳尺寸及形态的块的情况下，会生成关于所述块的模式信息(例如，分割信息等)。模式信息可与块所属的构成部生成的信息(例如，预测相关信息、变换相关信息等)一并收录到比特流并传输到解码器，解码器可在相同层级的单位上进行解析而用于视频解码过程。
在下文叙述的示例中，对分割方式进行说明，以初始块为正方形形态为例进行说明，但在初始块为矩形形态的情况下，也可实现相似地应用。
图3是表示基于树的块形态的例示图。
a表示获得未执行分割的一个2N×2N的示例，b表示通过一部分分割标志(在本例中为二叉树的横向分割)获得两个2N×N的示例，c表示通过一部分分割标志(在本例中为二叉树的纵向分割)获得两个N×2N的示例，d表示通过一部分分割标志(在本例中为四叉树的四分割)获得4个N×N的示例。可根据分割中使用的树的种类来确定获得的块的形态。例如，在执行四叉树(Quad Tree)分割的情况下，能够获得的候选块可为a、d。在执行二叉树(Binary Tree)分割的情况下，能够获得的候选块可为a、b、c。四叉树支持一个分割标志，在所述标志为“0”时可获得a，在为“1”时可获得d。二叉树支持多个分割标志，其中一个可为表示是否进行分割的标志，其中一个可为表示是否横向/纵向分割的标志。四叉树可为基本的基于树的分割方式，除此之外，树分割方式(在本例中为二叉树)可包含在基于树的分割方式中。在允许执行另外的树分割的标志被暗示或明示地激活的情况下，可执行多个树分割。基于树的分割可为能够实现递归分割(Recursive Partition)的方式。即，所分割的块可再次设定为初始块而执行基于树的分割，可根据分割范围、分割允许深度等分割设置来确定。这种分割可为等级分割方式的一例。
图4是表示可在本发明的块分割部获得的各种块的形态的例示图。
参照图4，可根据分割设置、分割方式获得a至s的块，也可实现未图示的其他块形态。
作为一例(1)，基于树的分割可允许非对称分割。例如，在二叉树的情况下，可实现如b、c的块，或者可实现如b～g的块。在允许非对称分割的标志根据编码/解码设置而被明示或暗示地禁止的情况下，能够获得的候选块可为b或c，在允许非对称分割的标志被激活的情况下，能够获得的候选块可为b、d、e(在本例中为横向分割)，或者可为c、f、g(在本例中为纵向分割)。
在上述示例中，以非对称分割的左∶右或上∶下的长度比为1∶3或3∶1为例进行说明，但并不限定于此，也可根据编码设置而包含具有除此之外的比率的候选组(例如，1∶2、1∶4、2∶3、2∶5、3∶5等)。
其次，对二叉树分割(在本例中为1∶1、1∶3、3∶1的候选组)中生成的分割信息的各种示例进行说明。
例如，可在表示是否进行分割的标志、表示分割方向的标志中另外生成表示分割形态的标志。此时，分割形态可指对称分割或非对称分割。其中，在将非对称分割确定为分割形态的情况下，会生成表示分割比率的标志，可根据预设的候选组来分配索引。在候选组支持1∶3或3∶1的分割比率的情况下，可通过1比特标志来选择分割比率。
或者，可在表示是否进行分割的标志、表示分割方向的标志中另外生成表示分割比率的标志。在本例中，作为分割比率的候选组，可包含具有1∶1的对称比率的候选来构成。
在本发明中(允许非对称分割的标志被激活的情况)，假设二叉树分割中具有如上述示例的构成，如果无特别的说明，则二叉树是指对称二叉树。
作为一例(2)，基于树的分割可允许另外的树分割。例如，可执行三叉树(TernaryTree)、四叉树(Quad Type Tree)、八叉树(Octa Tree)等分割，由此可获得n个分割块(在本例中为3、4、8，n为整数)。三叉树所支持的块(在本例中为分割成多个块的情况)可为h～m，四叉树所支持的块可为n～p，八叉树所支持的块可为q。关于是否支持所述基于树的分割，可根据编码/解码设置来暗示地确定或明示地生成相关信息。另外，可根据编码/解码设置来单独使用、或与二叉树分割、四叉树分割等混合使用。
例如，在二叉树的情况下，可实现如b、c的块，在混合使用二叉树与三叉树的情况下(在本例中，假设为二叉树的使用范围与三叉树的使用范围的一部分重叠)，可实现如b、c、i、l的块。在除现有的树分割以外允许其他分割的标志根据编码/解码设置而被明示或暗示地禁止的情况下，能够获得的候选块可为b或c，在被激活的情况下，能够获得的候选块可为b、i或b、h、i、j(在本例中为横向分割)，或者可为c、l或c、k、l、m(在本例中为纵向分割)。
在上述示例中，假设三叉树分割的左∶中∶右或上∶中∶下的长度比为2∶1∶1、1∶2∶1或1∶1∶2来进行说明，但并不限定于此，也可根据编码设置而具有除此之外的比率。
其次，对三叉树分割(在本例中为1∶2∶1的候选)中生成的分割信息的示例进行说明。
例如，可在表示是否进行分割的标志、表示分割方向的标志中另外生成表示分割种类的标志。此时，分割种类可指二叉树分割或三叉树分割。
在本发明中，可根据分割方式来应用自适应编码/解码设置。
作为一例，可根据块的种类来确定分割方式。例如，编码块与变换块可使用四叉树分割方式，预测块可使用四叉树分割方式与二叉树(或三叉树等)分割方式。
作为一例，可根据块的尺寸来确定分割方式。例如，在块的最大值与最小值之间，可对一部分范围(例如，a×b～c×d，后者的尺寸更大的情况)执行四叉树分割，对一部分范围(例如，e×f～g×h)执行二叉树(或三叉树等)分割。此时，可明示地生成或暗示地确定与分割方式对应的范围信息，所述范围也可重叠。
作为一例，可根据块(或分割前的块)的形态来确定分割方式。例如，在块的形态为正方形的情况下，可进行四叉树分割及二叉树(或三叉树等)分割。或者，在块的形态为长方形的情况下，可进行基于二叉树(或三叉树等)的分割。
作为一例，可根据块的种类来确定分割设置。例如，在基于树的分割中，编码块与预测块可使用四叉树分割，变换块可使用二叉树分割。或者，在编码块的情况下，可将分割允许深度设为m，在预测块的情况下，可将分割允许深度设为n，在变换块的情况下，可将分割允许深度设为o，m、n及o可相同，也可不同。
作为一例，可根据块的尺寸来确定分割设置。例如，可对块的一部分范围(例如，a×b～c×d)进行四叉树分割，对一部分范围(例如，e×f～g×h，在本例中假设为c×d大于g×h)进行二叉树分割，对一部分范围(例如，i×j～k×l，在本例中假设为g×h大于等于k×l)进行三叉树分割。此时，所述范围可包含块的最大值与最小值之间的所有范围，所述范围可设定为彼此不重叠或重叠。例如，一部分范围的最小值可与一部分范围的最大值相同，或一部分范围的最小值可小于一部分范围的最大值。在具有重叠的范围的情况下，可优先进行最大值更大的分割方式，或可明示地生成关于使用哪种分割方式的信息。即，在具有优先顺序的分割方式中，可根据分割结果来确定是否执行排位靠后的分割方式，或可根据分割方式选择信息来确定使用哪种分割方式。
作为一例，可根据块的形态来确定分割设置。例如，在块的形态为正方形的情况下，可进行四叉树分割。或者，在块的形态为长方形的情况下，可进行二叉树分割或三叉树分割。
作为一例，可根据编码/解码信息(例如，片段类型、颜色成分、编码模式等)来确定分割设置。例如，在片段类型为I的情况下，可对一部分范围(例如，a×b～c×d)进行四叉树(或二叉树、三叉树)分割，在片段类型为P的情况下，可对一部分范围(例如，e×f～g×h)进行四叉树(或二叉树、三叉树)分割，在片段类型为B的情况下，可对一部分范围(例如，i×j～k×l)进行四叉树(或二叉树、三叉树)分割。另外，在片段类型为I的情况下，可将四叉树(或二叉树、三叉树分割)分割的分割允许深度设为m，在片段类型为P的情况下，可将分割允许深度设为n，在片段类型为B的情况下，可将分割允许深度设为o，m、n及o可相同，也可不同。一部分片段类型可具有与其他片段(例如，P及B片段)相同的设置。
作为其他示例，在颜色成分为亮度成分的情况下，可将四叉树(或二叉树、三叉树)分割的分割允许深度设为m，在颜色成分为色差成分的情况下，可将四叉树(或二叉树、三叉树)分割的分割允许深度设为n，m及n可相同，也可不同。另外，颜色成分为亮度成分的情况下的四叉树(或二叉树、三叉树)分割范围(例如，a×b～c×d)与颜色成分为色差成分的情况下的四叉树(或二叉树、三叉树)分割范围(例如，e×f～g×h)可相同，也可不同。
作为其他示例，在编码模式为帧内(Intra)的情况下，四叉树(或二叉树、三叉树)分割的分割允许深度可为m，在编码模式为帧间(Inter)的情况下，四叉树(或二叉树、三叉树)分割的分割允许深度可为n(在本例中，假设为n大于m)，m及n可相同，也可不同。另外，编码模式为帧内(Intra)的情况下的四叉树(或二叉树、三叉树)分割范围与编码模式为帧间(Inter)情况下的四叉树(或二叉树、三叉树)分割范围可相同，也可不同。
在上述示例的情况下，可明示地生成关于是否支持构成与编码/解码信息对应的自适应分割候选组的信息，或可暗示地确定。
通过上述示例，对根据编码/解码设置来确定分割方式与分割设置的情况进行了说明。上述示例表示与各要素对应的一部分情况，也可变更成其他情况。另外，也可根据多个要素的组合来确定分割方式与分割设置。例如，可根据块的种类、尺寸、形态、编码/解码信息等来确定分割方式与分割设置。
另外，在上述示例中，可暗示地确定与分割方式及分割设置等相关的要素、或明示地生成信息来确定是否允许像上述示例一样的自适应情况。
在所述分割设置中，分割深度是指以初始块为基准而在空间上进行分割的次数(在本例中，初始块的分割深度为0)，分割深度越深，则越可分割成小块。可根据分割方式来变更深度相关设置。例如，在执行基于树的分割的方式中，可根据树的种类来使用不同的深度，例如，二叉树的分割深度与三叉树的分割深度可使用同一个深度，四叉树的分割深度与二叉树的分割深度可使用不同的深度等。
在上述示例中，根据树的种类来使用不同的分割深度时，可将树的分割起始位置(在本例中为执行分割前的块)的分割深度设为0。可不基于各树的分割范围(在本例中为最大值)而以开始进行分割的位置为中心来计算分割深度。
图5表示本发明的一实施例的块分割过程。详细而言，图5中表示以基本编码块为起始而可根据一种以上的分割方法获得的块的尺寸及形态的示例。
在图中，粗实线表示基本编码块，粗虚线表示四叉树分割边界，双实线表示对称二叉树分割边界，实线表示三叉树分割边界，细虚线表示非对称二叉树分割边界。除粗实线以外，其余的线表示根据各分割方法划分的边界。以下进行说明的分割设置(例如，分割种类、分割信息、分割信息构成顺序等)并不仅仅限定于这一示例，可实现各种变形例。
为了便于说明，假设为以基本编码块(2N×2N，128×128)为基准而在左上块、右上块、左下块、右下块(N×R，64×64)中具有不同的块分割设置来进行说明。首先，假设为呈通过对初始块进行一次分割动作(分割深度0→1，即，分割深度增加1)而得到4个子块的状态，且作为四叉树的分割设置，最大编码块为128×128，最小编码块为8×8，最大分割深度为4，而这是各块的共通设置。
(1号，左上块，A0～A6)
在本例中支持单树方式的分割(在本例中为四叉树)，可根据如最大编码块、最小编码块、分割深度等的一个块分割设置来确定能够获得的块的尺寸及形态。在本例中，可通过分割来获得的块为一个(分别将横、纵分割成两个部分)，进行一次分割动作(以分割前的块4M×4N为基准，分割深度增加1)所需的分割信息为表示是否进行分割的标志(在本例中，如果为0则不分割，如果为1则分割)，能够获得的候选可为4M×4N及2M×2N。
(2号，右上块，A7～A11)
在本例中支持多叉树方式的分割(在本例中为四叉树、二叉树)，可通过多个块分割设置来确定能够获得的块的尺寸及形态。在本例中，假设为在二叉树的情况下，最大编码块为64×64，最小编码块的一侧长度为4，最大分割深度为4。
在本例中可通过分割来获得的块为两个以上(在本例中为2个或4个)，进行一次分割动作(四叉树分割深度增加1)所需的分割信息为表示是否进行分割的标志、表示分割种类的标志、表示分割形态的标志、表示分割方向的标志，能够获得的候选可为4M×4N、4M×2N、2M×4N、4M×N/4M×3N、4M×3N/4M×N、M×4N/3M×4N、3M×4N/M×4N。
在四叉树的分割范围与二叉树的分割范围重叠(即，可在当前步骤中进行四叉树分割及二叉树分割两者的范围)且当前块(未进行分割前的状态)为通过四叉树分割获得的块(通过四叉树分割而从父块＜分割深度比当前小1的情况＞获得的块)的情况下，分割信息可分为如下情况。即，在可通过多个分割方法来获得由各分割设置支持的块的情况下，可分为如下过程来产生分割信息。
(1)四叉树分割与二叉树分割重叠的情况
[表1]
a b c d e
QT 1
No Split 0 0
SBT hor 0 1 0 0
ABT hor 1/4 0 1 0 1 0
ABT hor 3/4 0 1 0 1 1
SBT ver 0 1 1 0
ABT ver 1/4 0 1 1 1 0
ABT ver 3/4 0 1 1 1 1
在上述表中，a是指表示是否进行四叉树分割的标志，如果为1，则执行四叉树分割(QT)。如果所述标志为0，则确认表示是否进行二叉树分割的标志即b。如果b为0，则不再对相应的块执行分割(No Split)，如果为1，则执行二叉树分割。
c是表示分割方向的标志，如果为0，则表示横向分割(hor)，如果为1，则表示纵向分割(ver)，d是表示分割形态的标志，如果为0，则表示对称分割(SBT，Symmetric BinaryTree)，如果为1，则表示非对称分割(ABT，Asymmetric Binary Tree)。只有当d为1时，确认非对称分割中的细分割比率的信息(1/4或3/4)，当为0时，在左块/右块或上块/下块中，左块及上块具有1/4的比率，右块及下块具有3/4的比率，当为1时，具有相反的比率。
(2)仅可进行二叉树分割的情况
在上表中，可利用除a以外的b至e的标志来表示分割信息。
在图5中，A7块是可在分割前的块(A7～A11)中进行四叉树分割的情况(即，虽可进行四叉树分割，但未进行四叉树分割而进行了二叉树分割的情况)，因此相当于生成(1)中的分割信息的情况。
相反地，A8至A11是已不在分割前的块(A8～A11)中进行四叉树分割而实现二叉树分割的情况(即，所述块＜A8～A11＞无法进行四叉树分割的情况)，相当于生成(2)中的分割信息的情况。
(3号，左下块，A12～A15)
在本例中支持多叉树方式的分割(在本例中为四叉树、二叉树、三叉树)，可根据多个块分割设置来确定能够获得的块的尺寸及形态。在本例中，假设为二叉树/三叉树情况下的最大编码块为64×64，最小编码块的一侧长度为4，最大分割深度为4。
在本例中，可通过分割来获得的块为两个以上(在本例中为2个、3个、4个)，进行一次分割动作所需的分割信息为表示是否进行分割的标志、表示分割种类的标志、表示分割方向的标志，能够获得的候选可为4M×4N、4M×2N、2M×4N、4M×N/4M×2N/4M×N、M×4N/2M×4N/M×4N。
在四叉树的分割范围与二叉树/三叉树的分割范围重叠且当前块为通过四叉树分割获得的块的情况下，分割信息可分为如下情况。
(1)四叉树分割与二叉树/三叉树分割重叠的情况
[表2]
a b c d
QT 1
No Split 0 0
BT hor 0 1 0 0
TT hor 0 1 0 1
Bt ver 0 1 1 0
TT ver 0 1 1 1
在上表中，a是表示是否进行四叉树分割的标志，如果为1，则执行四叉树分割。如果所述标志为0，则确认表示是否进行二叉树分割或三叉树分割的标志即b。如果b为0，则不再对相应的块执行分割，如果为1，则执行二叉树分割或三叉树分割。
c是表示分割方向的标志，如果为0，则表示横向分割，如果为1，则表示纵向分割，d是表示分割种类的标志，如果为0，则表示二叉树分割(BT)，如果为1，则表示三叉树分割(TT)。
(2)仅可进行二叉树/三叉树分割的情况
在上表中，可利用除a以外的b至d的标志来表示分割信息。
在图5中，A12、A15块是可在分割前的块(A12～A15)中实现四叉树分割的情况，因此相当于生成(1)中的分割信息的情况。
相反地，A13及A14是已不在分割前的块(A13、A14)中执行四叉树分割而实现三叉树分割的情况，相当于生成(2)中的分割信息的情况。
(4号，左下块，A16～A20)
在本例中支持多叉树方式的分割(在本例中为四叉树、二叉树、三叉树)，可根据多个块分割设置来确定能够获得的块的尺寸及形态。在本例中，假设为二叉树/三叉树情况下的最大编码块为64×64，最小编码块的一侧长度为4，最大分割深度为4。
在本例中，可通过分割来获得的块为两个以上(在本例中为2个、3个、4个)，进行一次分割动作所需的分割信息为表示是否进行分割的标志、表示分割种类的标志、表示分割形态的标志、表示分割方向的标志，能够获得的候选可为4M×4N、4M×2N、2M×4N、4M×N/4M×3N、4M×3N/4M×N、M×4N/3M×4N、3M×4N/M×4N、4M×N/4M×2N/4M×N、M×4N/2M×4N/M×4N。
在四叉树的分割范围与二叉树/三叉树的分割范围重叠且当前块为通过四叉树分割获得的块的情况下，分割信息可分为如下情况。
(1)四叉树分割与二叉树/三叉树分割重叠的情况
[表3]
a b c d e f
QT 1
No Split 0 0
TT hor 0 1 0 0
SBT hor 0 1 0 1 0
ABT hor 1/4 0 1 0 1 1 0
ABT hor 3/4 0 1 0 1 1 1
TT ver 0 1 1 0
SBT ver 0 1 1 1 0
ABT ver 1/4 0 1 1 1 1 0
ABT ver 3/4 0 1 1 1 1 1
在上表中，a是表示是否进行四叉树分割的标志，如果为1，则执行四叉树分割。如果所述标志为0，则确认表示是否进行二叉树分割的标志即b。如果b为0，则不再对相应的块执行分割，如果为1，则执行二叉树分割或三叉树分割。
c是表示分割方向的标志，如果为0，则表示横向分割，如果为1，则表示纵向分割，d是表示分割种类的标志，如果为0，则表示三叉分割，如果为1，则表示二叉树分割。当d为1时，确认关于分割形态的标志即e，当e为0时，执行对称分割，当e为1时，执行非对称分割。在e为1时，确认非对称分割中的关于细分割比率的信息，这与上述示例相同。
(2)仅可进行二叉树/三叉树分割的情况
在上表中，可利用除a以外的b至f的标志来表示分割信息。
在图5中，A20块是可在分割前的块(A16～A19)中进行四叉树分割的情况，因此相当于生成(1)中的分割信息的情况。
相反地，A16至A19是已不在分割前的块(A16～A19)中执行四叉树分割而实现二叉树分割的情况，相当于生成(2)中的分割信息的情况。
以下，对基于合并模式(merge mode)的帧间预测方法进行说明。在合并模式下，能够以一个块为单位导出运动信息。在这里，块可指通过所述块分割确定的编码块。另外，块作为叶子节点(leafnode)的编码块，可指无法再分割成更小的编码块的块。在所述合并模式下，能够以属于一个块的子块为单位导出运动信息。为此，一个块可进一步分割成多个子块。例如，可基于所述子块单位的合并模式来执行仿射运动建模(affine motionmodeling)。 当前块可选择性地利用块单位的合并模式或子块单位的合并模式中的任一种合并模式，为此可利用特定的标志。在这里，标志可为表示是否可应用子块单位的合并模式的信息。所述标志可基于特定的编码参数而在编码装置中被编码并传递、或从解码装置中导出。所述编码参数可指块的尺寸/形态、成分类型、分割类型、分割深度等。例如，在当前块的尺寸大于等于N×M的情况下，可传递所述标志，否则，所述标志可导出为已定义的值。在这里，N及M可为8、 16或其以上的整数。N及M可相同，也可不同。参照图6对块单位的合并模式进行说明，参照图7至图10对子块单位的合并模式进行说明。
图6作为应用本发明的一实施例，其是表示基于块单位的合并模式执行帧间预测的方法的图。
参照图6，可构成当前块的合并候选列表(S600)。
合并候选列表可包含当前块的空间合并候选或时间合并候选中的至少一种。
可根据当前块的空间相邻块的运动信息导出空间合并候选的运动信息。在这里，空间相邻块作为属于与当前块相同的图像中的块，可指与当前块邻接的块。空间相邻块可包含与当前块的左侧、上端、右上端、左下端或左上端中的至少一处邻接的块。左上端相邻块仅可在与左侧、上端、右上端及左下端邻接的块中的至少一个块无法使用的情况下利用。
可根据当前块的时间相邻块的运动信息导出时间合并候选的运动信息。时间相邻块作为属于与当前块不同的图像中的块，可定义为与当前块为相同位置的块。在这里，相同位置的块可指与当前块的右下端角部邻接的块(BR)、 包含当前块的中央样本的位置的块(CTR)或包含当前块的左上端样本的位置的块(TL)中的至少一个块。或者，相同位置的块也可指如下的块，即， 包含从当前块的左上端样本的位置按照特定的位移向量(disparityvector)偏移后的位置的块。在这里，可基于所述空间相邻块的运动向量中的任一运动向量来确定位移向量。或者，可基于所述空间相邻块的运动向量中的至少两个运动向量的组合来确定位移向量。所述组合可指最大值、最小值、 中间值、加权平均值等运算。例如，可根据左侧相邻块或上端相邻块的运动向量设置所述位移向量。或者，可根据左侧相邻块的运动向量与左下端相邻块的运动向量间的中间值或平均值设置位移向量。
可分别根据所述时间相邻块的运动向量及参考图像索引来导出时间合并候选的运动向量及参考图像索引。或者，可根据时间相邻块的运动向量来导出时间合并候选的运动向量，可与时间相邻块无关地根据解码装置中预设的默认值(例如，0)来设置时间合并候选的参考图像索引。
合并候选列表还可包含组合合并候选。可通过组合属于已生成的合并候选列表中的n个合并候选来导出组合合并候选。
在这里，n可为2、3、4或其以上的整数。作为组合对象的合并候选的个数(n)也可为编码/解码装置中预设的固定值，也可在编码装置中被编码而传递。能够以序列、图像、片段、区块、子区块(砖块，brick)或特定的块中的至少一种单位执行所述传递。作为组合对象的合并候选的个数(n)也可基于剩余合并候选的个数来可变地确定。在这里，剩余合并候选的个数可指能够包含在合并候选列表中的合并候选的最大个数与属于合并候选列表中的合并候选的当前个数间的差异。所述最大个数可为编码/解码装置中预设的个数、或在编码装置中被编码而传递。所述当前个数可指在追加组合合并候选前构成的合并候选的个数。例如，在剩余合并候选的个数为1的情况下，可利用两个合并候选，在剩余合并候选的个数大于1的情况下，可利用3个或其以上的合并候选。
所述n个合并候选的位置可为合并候选列表中预设的位置。例如，可对属于合并候选列表中的各合并候选分配索引(0至(k－1))。在这里，k可指属于合并候选列表中的合并候选的总数。此时，n个合并候选的位置可在合并候选列表中与索引0至索引(n－1)对应。或者，可考虑属于合并候选列表中的各合并候选的预测方向来确定所述n个合并候选。例如，可在属于合并候选列表中的合并候选中仅选择性地利用双向预测的合并候选，或仅选择性地利用单向预测的合并候选。
组合合并候选可利用空间合并候选及时间合并候选两者来导出，也可仅利用空间合并候选或时间合并候选中的任一种来导出。例如，可限制为仅利用空间合并候选来导出组合合并候选。在此情况下，作为组合对象的合并候选的个数可限制在属于已生成的合并候选列表中的空间合并候选的个数内。
所述组合合并候选可在合并候选列表中追加到空间/时间合并候选之后。即，组合合并候选的索引可大于空间/时间合并候选的索引。或者，所述组合合并候选也可在合并候选列表中追加到空间合并候选与时间合并候选之间。即，组合合并候选的索引可大于空间合并候选的索引，且小于时间合并候选的索引。或者，也可考虑组合合并候选的预测方向来可变地确定组合合并候选的位置。可根据组合合并候选的预测方向是否为双向预测来在合并候选列表中重新排列组合合并候选的位置。例如，在组合合并候选为双向预测的情况下，可分配小于空间合并候选或时间合并候选的索引，否则，可分配大于空间合并候选或时间合并候选的索引。
以下，为了便于说明，对基于两个合并候选来导出组合合并候选的方法进行说明。
可通过对第一合并候选与第二合并候选的运动信息进行加权平均来导出组合合并候选的运动信息。在这里，加权平均的加权值为[1∶1]、[1∶2]、[1∶3]、[2∶3]等，但并不限定于此。所述加权值可为编码/解码装置中已定义的加权值，也可从解码装置中导出。此时，可考虑当前图像与合并候选的参考图像间的距离或合并候选的预测方向中的至少一个来导出加权值。或者，可通过如下方式导出组合合并候选的运动信息：根据第一合并候选获得L0方向的运动信息，根据第二合并候选获得L1方向的运动信息，并将所述运动信息组合。可基于所述导出方法中的至少一种方法来导出组合合并候选的运动信息，如下所述，可考虑作为组合对象的合并候选的预测方向来导出。
在本说明书中，运动信息可包含预测方向标志、参考图像索引或运动向量中的至少一个。可分别对L0预测及L1预测定义所述运动信息。在这里，L0预测可指参照参考图像列表L0进行的预测，L1预测可指参照参考图像列表L1进行的预测。
1.第一合并候选与第二合并候选均为单向预测的情况
(实例1)在第一合并候选为L0预测且第二合并候选为L1预测的情况下，可根据第一合并候选的参考图像索引来导出组合合并候选的L0方向的参考图像索引。组合合并候选的L0方向的预测方向标志可导出为1。可根据第一合并候选的运动向量来导出组合合并候选的L0方向的运动向量。可根据第二合并候选的参考图像索引来导出组合合并候选的L1方向的参考图像索引。组合合并候选的L1方向的预测方向标志可导出为1。可根据第二合并候选的运动向量来导出组合合并候选的L1方向的运动向量。
(实例2)在第一合并候选为L1预测且第二合并候选为L0预测的情况下，可根据第二合并候选的参考图像索引来导出组合合并候选的L0方向的参考图像索引。组合合并候选的L0方向的预测方向标志可导出为1。可根据第二合并候选的运动向量来导出组合合并候选的L0方向的运动向量。可根据第一合并候选的参考图像索引来导出组合合并候选的L1方向的参考图像索引。组合合并候选的L1方向的预测方向标志可导出为1。可根据第一合并候选的运动向量来导出组合合并候选的L1方向的运动向量。
(实例3)在第一合并候选及第二合并候选为L0预测的情况下，可根据第一合并候选或第二合并候选中的任一合并候选的参考图像索引来导出组合合并候选的L0方向的参考图像索引。例如，可将第一合并候选及第二合并候选中的索引最小的合并候选的参考图像索引设定为组合合并候选的L0方向的参考图像索引。组合合并候选的L0方向的预测方向标志可导出为1。可根据第一合并候选的运动向量与第二合并候选的加权平均来导出组合合并候选的L0方向的运动向量。组合合并候选的L1方向的参考图像索引可导出为-1，L1方向的预测方向标志可导出为0，L1方向的运动信息可导出为0。
(实例4)在第一合并候选及第二合并候选为L1预测的情况下，组合合并候选的L0方向的参考图像索引可导出为-1，L0方向的预测方向标志可导出为0，L0方向的运动信息可导出为0。可根据第一合并候选或第二合并候选中的任一合并候选的参考图像索引来导出组合合并候选的L1方向的参考图像索引。例如，可将第一合并候选及第二合并候选中的索引最小的合并候选的参考图像索引设定为组合合并候选的L1方向的参考图像索引。组合合并候选的L1方向的预测方向标志可导出为1。可根据第一合并候选的运动向量与第二合并候选的加权平均来导出组合合并候选的L1方向的运动向量。
2.第一合并候选与第二合并候选均为双向预测的情况
(实例5)可根据第一合并候选或第二合并候选中的任一合并候选的参考图像索引来导出组合合并候选的L0方向的参考图像索引。例如，可将第一合并候选及第二合并候选中的索引最小的合并候选的参考图像索引设定为组合合并候选的L0方向的参考图像索引。组合合并候选的L0方向的预测方向标志可导出为1。可根据第一合并候选的运动向量与第二合并候选的加权平均来导出组合合并候选的L0方向的运动向量。可根据第一合并候选或第二合并候选中的任一合并候选的参考图像索引来导出组合合并候选的L1方向的参考图像索引。例如，可将第一合并候选及第二合并候选中的索引最小的合并候选的参考图像索引设定为组合合并候选的L1方向的参考图像索引。组合合并候选的L1方向的预测方向标志可导出为1。可根据第一合并候选的运动向量与第二合并候选的加权平均来导出组合合并候选的L1方向的运动向量。
3.第一合并候选为双向预测且第二合并候选为单向预测的情况
(实例6)在第二合并候选为L0预测的情况下，可根据第一合并候选或第二合并候选中的任一合并候选的参考图像索引来导出组合合并候选的L0方向的参考图像索引。例如，可将第一合并候选及第二合并候选中的索引最小的合并候选的参考图像索引设定为组合合并候选的L0方向的参考图像索引。组合合并候选的L0方向的预测方向标志可导出为1。可根据第一合并候选的运动向量与第二合并候选的加权平均来导出组合合并候选的L0方向的运动向量。可根据第一合并候选的参考图像索引来导出组合合并候选的L1方向的参考图像索引。组合合并候选的L1方向的预测方向标志可导出为1。可根据第一合并候选的运动向量来组合合并候选的L1方向的运动向量。
(实例7)在第二合并候选为L1预测的情况下，可根据第一合并候选的参考图像索引来导出组合合并候选的L0方向的参考图像索引。组合合并候选的L0方向的预测方向标志可导出为1。可根据第一合并候选的运动向量导出组合合并候选的L0方向的运动向量。可根据第一合并候选或第二合并候选中的任一合并候选的参考图像索引来导出组合合并候选的L1方向的参考图像索引。例如，可将第一合并候选及第二合并候选中的索引最小的合并候选的参考图像索引设定为组合合并候选的L1方向的参考图像索引。组合合并候选的L1方向的预测方向标志可导出为1。可根据第一合并候选的运动向量与第二合并候选的加权平均来导出组合合并候选的L1方向的运动向量。
参照图6，可根据合并候选列表导出当前块的运动信息(S610)。
具体而言，可传递当前块的合并索引(merge index)。合并索引可特定出属于合并候选列表中的多个合并候选中的某个合并候选。即，可提取具有与合并索引相同的索引的合并候选，利用所提取的合并候选的运动信息来导出当前块的运动信息。
参照图6，可利用所导出的运动信息来执行当前块的帧间预测(S620)。
具体而言，可基于当前块的参考图像索引而从参考图像列表中选择参考图像。可基于当前块的运动向量而在所述参考图像中特定出参考块。可利用特定出的参考块的重建像素来生成当前块的预测像素。可通过将所述当前块的预测像素与残差像素相加来重建当前块。在这里，可对通过比特流传递的残差系数执行反量化或反变换中的至少一个来导出残差像素。
图7作为应用本发明的一实施例，其是表示基于仿射模型的帧间预测方法的图。
参照图7，可生成用于预测当前块的运动信息的候选列表(S700)。
所述候选列表可包含一个或一个以上的基于仿射模型的候选(以下，称为仿射候选)。仿射候选(Affine Candidate)可指具有控制点向量(control point vector)的候选。控制点向量是指用于仿射模型的控制点的运动向量，可对块的角部位置(例如，左上端角部、右上端角部、左下端角部或右下端角部中的至少一处)定义所述控制点向量。
仿射候选可包含空间候选、时间候选或所构成的候选中的至少一种。在这里，可根据在空间上与当前块邻接的相邻块的向量导出空间候选，可根据在时间上与当前块邻接的相邻块的向量导出时间候选。在这里，所述相邻块可指基于仿射模型编码的块。所述向量可指运动向量，也可指控制点向量。
参照图8，详细地对基于空间/时间相邻块的向量来导出空间/时间候选的方法进行说明。
另一方面，可基于当前块的空间/时间相邻块的运动向量间的组合来导出所述所构成的候选，参照图9对这一情况进行详细说明。
所述多个仿射候选可基于特定的优先顺序而排列在所述候选列表。例如，多个仿射候选可按照空间候选、时间候选、所构成的候选的顺序排列在候选列表。或者，多个仿射候选也可按照时间候选、空间候选、所构成的候选的顺序排列在候选列表。然而，并不限定于此，时间候选也可排在所构成的候选之后。或者，也能够以如下方式排列：所构成的候选中的一部分排在空间候选之前，剩余部分排在空间候选之后。
所述候选列表还可包含基于子块的时间候选(temporal candidate)。可根据与当前块对应的并置块(collocated block)来导出所述时间候选的运动信息，参照图10对这一情况进行详细说明。
可基于所述候选列表与候选索引来导出当前块的控制点向量(S710)。
候选索引可指为了导出当前块的控制点向量而编码的索引。所述候选索引可特定出属于候选列表中的多个仿射候选中的某个仿射候选。可利用通过所述候选索引特定出的仿射候选的控制点向量来导出当前块的控制点向量。
例如，假设当前块的仿射模型的类型为四参数(4-parameter)仿射模型(即，确定为当前块使用两个控制点向量)。此时，在通过所述候选索引特定出的仿射候选具有3个控制点向量的情况下，可仅选择所述3个控制点向量中的两个控制点向量(例如，Idx＝0、1的控制点向量)，并将这两个控制点向量设定为当前块的控制点向量。或者，可将特定出的所述仿射候选的3个控制点向量设定为当前块的控制点向量。在此情况下，当前块的仿射模型的类型可更新为六参数(6-parameter)仿射模型。
相反地，假设当前块的仿射模型的类型为六参数仿射模型(即，确定为当前块使用3个控制点向量)。此时，在通过所述候选索引特定出的仿射候选具有两个控制点向量的情况下，可生成一个追加的控制点向量，并将所述仿射候选的两个控制点向量及追加的控制点向量设定为当前块的控制点向量。可基于仿射候选的两个控制点向量、当前/相邻块的尺寸或位置信息中的至少一个来导出所述追加的控制点向量。
或者，可将特定出的所述仿射候选的两个控制点向量设定为当前块的控制点向量。在此情况下，当前块的仿射模型的类型可更新成四参数仿射模型。
可基于当前块的控制点向量来导出当前块的运动向量(S720)。
能够以当前块的子块为单位来导出所述运动向量。为此，当前块可分割成多个N×M子块。在这里，N×M子块可呈长方形(N＞M或N＜M)或正方形(N＝M)的形态。所述N及M的值可为4、8、16、32或其以上。
例如，子块的尺寸/形态可为解码装置中已定义的固定尺寸/形态。例如，子块的尺寸/形态可为如4×4、8×8、16×16等的正方形、或如2×4、2×8、4×8、4×16等的长方形。或者，所述子块也可定义为宽与高之和为8、12、16或其以上的整数的块。或者，所述子块也可定义为宽与高的乘积为16、32、64或其以上的整数的块。
或者，也可基于所述块的属性而可变地导出子块的尺寸/形态。例如，在当前块的尺寸大于等于特定的阈值尺寸的情况下，能够以第一子块为单位(例如，8×8、16×16)分割当前块，否则，以第二子块为单位(例如，4×4)分割当前块。
或者，也可在编码装置中对关于子块尺寸/形态的信息进行编码并传递。所述信息表示子块尺寸或形态中的至少一种，可在序列、图像、区块组、区块、CTU中的至少一个层级上传递所述信息。
代表当前块的控制点可包含左上端位置及右上端位置。然而，并不限定于此，所述控制点还可包含左上端位置、右上端位置及左下端位置等三个部位、或包含其他多个部位。
在利用两个控制点的情况下，可利用与第一控制点对应的第一控制点向量、与第二控制点对应的第二控制点向量、子块的位置(x，y)或当前块的尺寸(宽或高)中的至少一个来导出当前块的各子块的运动向量。
在利用3个控制点的情况下，可利用与第一控制点对应的第一控制点向量、与第二控制点对应的第二控制点向量、与第三控制点对应的第三控制点向量、子块的位置(x，y)或当前块的尺寸(宽或高)中的至少一个来导出当前块的各子块的运动向量。此时，可利用第二控制点向量与第一控制点向量间的差分向量，可利用第三控制点向量与第一控制点向量间的差分向量。可分别对水平方向(x轴方向)及垂直方向(y轴方向)算出所述差分向量。
所述运动向量导出过程还可包括对基于控制点向量导出的运动向量进行特定的偏移的过程。偏移可指用以改善已导出的运动向量的向量。可基于偏移的大小或方向中的至少一者的信息来确定偏移。所述大小(Absolute)可为1、2、3或其以上的整数。所述方向可包含左侧、右侧、上端或下端中的至少一个方向。可在编码装置中对所述偏移的大小及/或方向信息进行编码并传递。或者，偏移的大小也可为解码装置中预设的固定值。
可利用所导出的所述运动向量来对当前块执行帧间预测(S730)。
具体而言，可利用当前块的运动向量来特定出参考块。可针对当前块的各子块分别特定出所述参考块。各子块的参考块可属于一个参考图像。即，属于当前块的子块可共享一个参考图像。或者，也可针对当前块的各子块单独地设置参考图像索引。
另一方面，所导出的所述运动向量可包含L0运动向量或L1运动向量中的至少一个运动向量。在所述运动向量包含L0运动向量及L1运动向量的情况下，解码装置也可将所述L0运动向量及L1运动向量中的任一运动向量设定为0来执行单向预测。
可考虑块的尺寸或预测模式中的至少一种来选择性地执行所述设置。在这里，块可指当前块或当前块的子块。所述预测模式可指跳过模式、合并模式、AMVP(AdvancedMotion Vector Prediction，高级运动向量预测)模式、基于仿射模型的预测模式、当前图像参考模式等。
例如，在当前块(或当前块的子块)的尺寸小于等于特定的阈值尺寸的情况下，可将L1运动向量设定为0来执行单向预测，否则，可利用L0运动向量及L1运动向量来执行双向预测。在这里，阈值尺寸可定义为宽与高中的至少一个为4、8或16的块尺寸。
或者，在当前块已通过第一预测模式编码的情况下，可将L1运动向量设定为0来执行单向预测，否则，可利用L0运动向量及L1运动向量来执行双向预测。
可将所特定出的所述参考块设定为当前块的预测块。可对所述预测块相加残差块来重建当前块。
图8作为应用本发明的一实施例，其是表示根据空间/时间相邻块的控制点向量来导出仿射候选的方法的图。
当前块800的宽与高分别为cbW、cbH，当前块的位置为(xCb，yCb)。空间相邻块810～850的宽与高分别为nbW、nbH，空间相邻块的位置为(xNb，yNb)。空间相邻块可包含当前块的左侧块810、左下端块840、右上端块830、上端块820或左上端块850中的至少一个。或者，所述空间相邻块还可包含与所述左上端块850的右侧邻接的块、或与下端邻接的块中的至少一个。
空间候选可具有n个控制点向量(cpMV)。在这里，n值可为1、2、3或其以上的整数。可基于关于能否以子块为单位来解码的信息、关于是否为基于仿射模型编码的块的信息、或关于仿射模型的类型(四参数或六参数)的信息中的至少一个信息来确定n值。
例如，根据所述信息，在相应的块能够以子块为单位解码或相应的块为基于仿射模型编码的块的情况下，所述块会具有两个控制点向量。否则，可能会不对所述块执行基于仿射模型的预测。
或者，根据所述信息，在相应的块为基于仿射模型编码的块且仿射模型的类型为六参数仿射模型的情况下，所述块可具有3个控制点向量。否则，所述块可能会不执行基于仿射模型的预测。
也可在编码装置中对所述信息进行编码并传递。或者，也可基于块的属性而从解码装置中导出所述信息的全部或一部分。在这里，块可指当前块，也可指当前块的空间/时间相邻块。所述属性可指尺寸、形态、位置、分割类型、帧间模式、残差系数的参数等。所述帧间模式作为解码装置中已定义的模式，可指合并模式、跳过模式、AMVP模式、仿射模型、帧内/帧间组合模式、当前图像参考模式等。或者，可基于所述块的属性而从解码装置中导出n值。
在本实施例中，n个控制点向量可表示为第一控制点向量(cpMV[0])、第二控制点向量(cpMV[1])、第三控制点向量(cpMV[2])、…、第n控制点向量(cpMV[n－1])。
作为一例，第一控制点向量(cpMV[0])、第二控制点向量(cpMV[1])、第三控制点向量(cpMV[2])及第四控制点向量(cpMV[3])可为分别与块的左上端样本、右上端样本、左下端样本及右下端样本的位置对应的向量。在这里，假设空间候选具有3个控制点向量，3个控制点向量可为从第一控制点向量至第n控制点向量中任意选择的控制点向量。然而，并不限定于此，空间候选可具有两个控制点向量，两个控制点向量可为从第一控制点向量至第n控制点向量中任意选择的控制点向量。
以下，对空间候选的控制点向量的导出方法进行说明。
1.当前块的边界不与CTU边界相接的情况
可基于空间相邻块的第一控制点向量、特定的差分值、当前块的位置信息(xCb，yCb)或空间相邻块的位置信息(xNb，yNb)中的至少一个来导出所述第一控制点向量。
所述差分值的个数可为1个、2个、3个或其以上。所述差分值的个数可考虑所述块的属性而可变地确定，也可为解码装置中预设的固定值。所述差分值可定义为多个控制点向量中的任一控制点向量与另一控制点向量间的差分值。例如，所述差分值可包含第二控制点向量与第一控制点向量间的第一差分值、第三控制点向量与第一控制点向量间的第二差分值、第四控制点向量与第三控制点向量间的第三差分值、或第四控制点向量与第二控制点向量间的第四差分值中的至少一个。
例如，可通过以下的数式1导出第一控制点向量。
[数式1]
cpMvLX[0][0]＝(mvScaleHor+dHorX*(xCb－xNb)+dHorY*(yCb－yNb))
cpMvLX[0][1]＝(mvScaleVer+dVerX*(xCb－xNb)+dVerY*(yCb－yNb))
在数式1中，变量mvScaleHor及mvScaleVer可指空间相邻块的第一控制点向量，也可指对第一控制点向量执行k左右的移位运算来导出的值。在这里，k可为1、2、3、4、5、6、7、8、9或其以上的整数。变量dHorX及dVerX分别对应于第二控制点向量与第一控制点向量间的第一差分值的x成分及y成分。变量dHorY及dVerY分别对应于第三控制点向量与第一控制点向量间的第二差分值的x成分及y成分。可通过以下的数式2导出所述变量。
[数式2]
mvScaleHor＝CpMvLX[xNb][yNb][0][0]＜＜7
mvScaleVer＝CpMvLX[xNb][yNb][0][1]＜＜7
dHorX＝(CpMvLX[xNb+nNbW－1][yNb][1][0]－CpMvLX[xNb][yNb][0][0])＜＜(7－log2NbW)
dVerX＝(CpMvLX[xNb+nNbW－1][yNb][1][1]－CpMvLX[xNb][yNb][0][1])＜＜(7－log2NbW)
dHorY＝(CpMvLX[xNb][yNb+nNbH－1][2][0]－CpMvLX[xNb][yNb][2][0])＜＜(7－log2NbH)
dVerY＝(CpMvLX[xNb][yNb+nNbH－1][2][1]－CpMvLX[xNb][yNb][2][1])＜＜(7－log2NbH)
可基于空间相邻块的第一控制点向量、特定的差分值、当前块的位置信息(xCb，yCb)、块尺寸(宽或高)或空间相邻块的位置信息(xNb，yNb)中的至少一个来导出第二控制点向量。在这里，块尺寸可指当前块及/或空间相邻块的尺寸。所述差分值与在第一控制点向量中所述的内容相同，在这里省略详细说明。然而，在导出第二控制点向量的过程中利用的差分值的范围及/或个数可与第一控制点向量不同。
例如，可通过以下的数式3导出第二控制点向量。
[数式3]
cpMvLX[1][0]＝(mvScaleHor+dHorX*(xCb+cbWidth－xNb)+dHorY*(yCb－yNb))
cpMvLX[1][1]＝(mvScaleVer+dVerX*(xCb+cbWidth－xNb)+dVerY*(yCb－yNb))
在数式3中，变量mvScaleHor、mvScaleVer、dHorX、dVerX、dHorY、dVerY与数式1相同，在这里省略详细说明。
可基于空间相邻块的第一控制点向量、特定的差分值、当前块的位置信息(xCb，yCb)、块尺寸(宽或高)或空间相邻块的位置信息(xNb，yNb)中的至少一个来导出第三控制点向量。在这里，块尺寸可指当前块及/或空间相邻块的尺寸。所述差分值与第一控制点向量中所述的内容相同，在这里省略详细说明。然而，在导出第三控制点向量的过程中利用的差分值的范围及/或个数可与第一控制点向量或第二控制点向量不同。
例如，可通过以下的数式4导出第三控制点向量。
[数式4]
cpMvLX[2][0]＝(mvScaleHor+dHorX*(xCb－xNb)+dHorY*(yCb+cbHeight－yNb))
cpMvLX[2][1]＝(mvScaleVer+dVerX*(xCb－xNb)+dVerY*(yCb+cbHeight－yNb))
在数式4中，变量mvScaleHor、mvScaleVer、dHorX、dVerX、dHorY、dVerY与数式1相同，在这里省略详细说明。另一方面，可通过上述过程导出空间候选的第n控制点向量。
2.当前块的边界与CTU边界相接的情况
可基于空间相邻块的运动向量(MV)、特定的差分值、当前块的位置信息(xCb，yCb)或空间相邻块的位置信息(xNb，yNb)中的至少一个来导出所述第一控制点向量。
所述运动向量可为位于空间相邻块的最下端的子块的运动向量。所述子块可为位于空间相邻块的最下端的多个子块中的位于最左侧、中央或最右侧的子块。或者，所述运动向量也可指子块的运动向量的平均值、最大值或最小值。
所述差分值的个数可为1个、2个、3个或其以上。所述差分值的个数可考虑所述块的属性而可变地确定，也可为解码装置中预设的固定值。所述差分值可定义为在空间相邻块中以子块为单位储存的多个运动向量中的任一运动向量与另一运动向量间的差分值。例如，所述差分值可指空间相邻块的右下端子块的运动向量与左下端子块的运动向量间的差分值。
例如，可通过以下的数式5导出第一控制点向量。
[数式5]
cpMvLX[0][0]＝(mvScaleHor+dHorX*(xCb－xNb)+dHorY*(yCb－yNb))
cpMvLX[0][1]＝(mvScaleVer+dVerX*(xCb－xNb)+dVerY*(yCb－yNb))
在数式5中，变量mvScaleHor及mvScaleVer可指所述空间相邻块的运动向量(MV)或对所述运动向量执行k左右的移位运算而导出的值。在这里，k可为1、2、3、4、5、6、7、8、9或其以上的整数。
所述变量dHorX及dVerX分别对应于特定的差分值的x成分及y成分。在这里，差分值是指空间相邻块中的右下端子块的运动向量与左下端子块的运动向量间的差分值。可基于所述变量dHorX及dVerX来导出变量dHorY及dVerY。可通过以下的数式6导出所述变量。
[数式6]
mvScaleHor＝MvLX[xNb][yNb+nNbH－1][0]＜＜7
mvScaleVer＝MvLX[xNb][yNb+nNbH－1][1]＜＜7
dHorX＝(MvLX[xNb+nNbW－1][yNb+nNbH－1][0]－MvLX[xNb][yNb+nNbH－1][0])＜＜(7－log2NbW)
dVerX＝(MvLX[xNb+nNbW－1][yNb+nNbH－1][1]－MvLX[xNb][yNb+nNbH－1][1])＜＜(7－log2NbW)
dHorY＝-dVerX
dVerY＝dHorX
可基于空间相邻块的运动向量(MV)、特定的差分值、当前块的位置信息(xCb，yCb)、块尺寸(宽或高)或空间相邻块的位置信息(xNb，yNb)中的至少一个来导出第二控制点向量。在这里，块尺寸可指当前块及/或空间相邻块的尺寸。所述运动向量及差分值与在第一控制点向量中所述的内容相同，在这里省略详细说明。然而，在导出第二控制点向量的过程中利用的运动向量的位置、差分值的范围及/或个数可与第一控制点向量不同。
例如，可通过以下的数式7导出第二控制点向量。
[数式7]
cpMvLX[1][0]＝(mvScaleHor+dHorX*(xCb+cbWidth－xNb)+dHorY*(yCb－yNb))
cpMvLX[1][1]＝(mvScaleVer+dVerX*(xCb+cbWidth－xNb)+dVerY*(yCb－yNb))
在数式7中，变量mvScaleHor、mvScaleVer、dHorX、dVerX、dHorY、dVerY与数式5相同，在这里省略详细说明。
可基于空间相邻块的运动向量(MV)、特定的差分值、当前块的位置信息(xCb，yCb)、块尺寸(宽或高)或空间相邻块的位置信息(xNb，yNb)中的至少一个来导出第三控制点向量。在这里，块尺寸可指当前块及/或空间相邻块的尺寸。所述运动向量及差分值与在第一控制点向量中所述的内容相同，在这里省略详细说明。然而，在导出第三控制点向量的过程中利用的运动向量的位置、差分值的范围及/或个数可与第一控制点向量或第二控制点向量不同。
例如，可通过以下的数式8导出第三控制点向量。
[数式8]
cpMvLX[2][0]＝(mvScaleHor+dHorX*(xCb－xNb)+dHorY*(yCb+cbHeight－yNb))
cpMvLX[2][1]＝(mvScaleVer+dVerX*(xCb－xNb)+dVerY*(yCb+cbHeight－yNb))
在数式8中，变量mvScaleHor、mvScaleVer、dHorX、dVerX、dHorY、dVerY与数式5相同，在这里省略详细说明。另一方面，可通过上述过程导出空间候选的第n控制点向量。
可对已定义的各空间相邻块执行导出所述仿射候选的过程。已定义的空间相邻块可包含当前块的左侧块、左下端块、右上端块、上端块或左上端块中的至少一个。
或者，也可按照所述空间相邻块的各组来执行导出所述仿射候选的过程。在这里，空间相邻块可分为包含左侧块及左下端块的第一组、与包含右上端块、上端块及左上端块的第二组。
例如，可根据属于第一组的空间相邻块导出一个仿射候选。可基于特定的优选顺序来执行所述导出直到发现可用的仿射候选为止。所述优选顺序可为左侧块→左下端块的顺序，也可为与其相反的顺序。可根据所述优选顺序来判断第一组内的相应的空间相邻块是否为通过基于仿射模型的预测而解码的块，将最先通过基于仿射模型的预测而解码的块选作仿射候选。
同样地，可根据属于第二组的空间相邻块导出一个仿射候选。可基于特定的优选顺序来执行所述导出直到发现可用的仿射候选为止。所述优选顺序可为右上端块→上端块→左上端块的顺序，也可为与其相反的顺序。可根据所述优选顺序来判断第二组内的相应的空间相邻块是否为通过基于仿射模型的预测而解码的块，将最先通过基于仿射模型的预测而解码的块选作仿射候选。
上述实施例也可相同/相似地应用于时间相邻块。在这里，时间相邻块属于与当前块不同的图像，但可为与当前块为相同位置的块。所谓相同位置的块可为包含当前块的左上端样本的位置、中央位置或与当前块的右下端样本邻接的样本的位置的块。
或者，时间相邻块可指从所述相同位置的块位移特定的位移向量的位置的块。在这里，可基于所述当前块的空间相邻块中的任一空间相邻块的运动向量来确定位移向量。
图9作为应用本发明的一实施例，其是表示基于空间/时间相邻块的运动向量的组合来导出所构成的候选的方法的图。
可基于与当前块的各角部对应的控制点向量(以下，称为控制点向量(cpMVCorner[n]))中的至少两个控制点向量的组合来导出本发明中的所构成的候选。在这里，n可为0、1、2、3。
可基于空间相邻块及/或时间相邻块的运动向量来导出所述控制点向量(cpMVCorner[n])。在这里，空间相邻块可包含与当前块的左上端样本邻接的第一相邻块(A、B或C)、与当前块的右上端样本邻接的第二相邻块(D或E)、或与当前块的左下端样本邻接的第三相邻块(F或G)中的至少一个相邻块。时间相邻块作为属于与当前块不同的图像的块，可指与当前块为相同位置的块(以下，称为第四相邻块(Col))。在这里，第四相邻块可指包含当前块的左上端样本、右上端样本或左下端样本的位置的块(H、I或J)、或与当前块的右下端样本的位置邻接的块。
第一相邻块可指当前块的左上端(A)、上端(B)或左侧(C)的相邻块。可根据特定的优选顺序来判断相邻块A、B、C的运动向量是否可用，利用可用的相邻块的运动向量来确定控制点向量。所述可用性判断可进行至发现具有可用的运动向量的相邻块为止。在这里，优选顺序可为A→B→C的顺序。然而，并不限定于此，也可为A→C→B、C→A→B、B→A→C的顺序。
第二相邻块可指当前块的上端(D)或右上端(E)的相邻块。同样地，可根据特定的优选顺序来判断相邻块D、E的运动向量是否可用，利用可用的相邻块的运动向量来确定控制点向量。所述可用性判断可执行至发现具有可用的运动向量的相邻块为止。在这里，优选顺序可为D→E的顺序，也可为E→D的顺序。
第三相邻块可指当前块的左侧(F)或左下端(G)的相邻块。同样地，可根据特定的优选顺序来判断相邻块的运动向量是否可用，利用可用的相邻块的运动向量来确定控制点向量。所述可用性判断可执行至发现具有可用的运动向量的相邻块为止。在这里，优选顺序可为G→F的顺序，也可为F→G的顺序。
例如，可根据第一相邻块的运动向量来设定第一控制点向量(cpMVCorner[0])，可根据第二相邻块的运动向量来设定第二控制点向量(cpMVCorner[1])，可根据第三相邻块的运动向量来设定第三控制点向量(cpMVCorner[2])。可根据第四相邻块的运动向量来设定第四控制点向量(cpMVCorner[3])。
或者，可利用第一相邻块或第四相邻块中的至少一个相邻块的运动向量来导出第一控制点向量，在这里，第四相邻块可为包含左上端样本的位置的块(H)。可利用第二相邻块或第四相邻块中的至少一个相邻块的运动向量来导出第二控制点向量。在这里，第四相邻块可为包含右上端样本的位置的块(I)。可利用第三相邻块或第四相邻块中的至少一个相邻块的运动向量来导出第三控制点向量。在这里，第四相邻块可为包含左下端样本的位置的块(J)。
或者，所述第一控制点向量至第四控制点向量中的任一控制点向量可基于另一控制点向量来导出。例如，可对第一控制点向量应用特定的偏移向量来导出第二控制点向量。偏移向量可为第三控制点向量与第一控制点向量间的差分向量，或者可通过对所述差分向量应用特定的尺度向量来导出所述偏移向量。可基于当前块及/或相邻块的宽或高中的至少一个来确定尺度向量。
可通过所述第一控制点向量至第四控制点向量中的至少两个控制点向量的组合来确定本发明的K个所构成的候选(ConstK)。K值可为1、2、3、4、5、6、7或其以上的整数。K值可基于从编码装置传递的信息来导出，也可为解码装置中预设的值。所述信息可包含如下信息，即，表示可包含在候选列表中的所构成的候选的最大个数的信息。
具体而言，可通过组合第一控制点向量至第三控制点向量来导出第一所构成的候选(Const1)。例如，第一所构成的候选(Const1)可具有如下述表4的控制点向量。另一方面，在第一相邻块的参考图像信息与第二相邻块及第三相邻块的参考图像信息相同的情况下，也可限制性地像表4一样构成控制点向量。在这里，参考图像信息可指表示所述参考图像在参考图像列表中的位置的参考图像索引，也可指表示输出顺序的POC(picture ordercount，图像顺序号)值。
[表4]
Idx 控制点向量
0 cpMvCorner[0]
1 cpMvCorner[1]
2 cpMvCorner[2]
可通过组合第一控制点向量、第二控制点向量及第四控制点向量来导出第二所构成的候选(Const2)。例如，第二所构成的候选(Const2)可具有如下述表5的控制点向量。另一方面，在第一相邻块的参考图像信息与第二相邻块及第四相邻块的参考图像信息相同的情况下，也可限制性地像表5一样构成控制点向量。在这里，参考图像信息如上所述。
[表5]
可通过组合第一控制点向量、第三控制点向量及第四控制点向量来导出第三所构成的候选(Const3)。例如，第三所构成的候选(Const3)可具有如下述表6的控制点向量。另一方面，在第一相邻块的参考图像信息与第三相邻块及第四相邻块的参考图像信息相同的情况下，也可限制性地像表6一样构成控制点向量。在这里，参考图像信息如上所述。
[表6]
可通过组合第二控制点向量、第三控制点向量及第四控制点向量来导出第四所构成的候选(Const4)。例如，第四所构成的候选(Const4)可具有如下述表7的控制点向量。另一方面，在第二相邻块的参考图像信息与第三相邻块及第四相邻块的参考图像信息相同的情况下，也可限制性地像表7一样构成。在这里，参考图像信息如上所述。
[表7]
可通过组合第一控制点向量及第二控制点向量来导出第五所构成的候选(Const5)。例如，第五所构成的候选(Const5)可具有如下述表8的控制点向量。另一方面，在第一相邻块的参考图像信息与第二相邻块的参考图像信息相同的情况下，也可限制性地像表8一样构成控制点向量。在这里，参考图像信息如上所述。
[表8]
Idx 控制点向量
1 cpMvCorner[0]
2 cpMvCorner[1]
可通过组合第一控制点向量及第三控制点向量来导出第六所构成的候选(Const6)。例如，第六所构成的候选(Const6)可具有如下述表9的控制点向量。另一方面，在第一相邻块的参考图像信息与第三相邻块的参考图像信息相同的情况下，也可限制性地像表9一样构成控制点向量。在这里，参考图像信息如上所述。
[表9]
Idx 控制点向量 控制点向量
1 cpMvCorner[0] cpMvCorner[0]
2 cpMvCorner[2] cpMvCorner[1]
在表9中，cpMvCorner[1]可为基于所述第一控制点向量及第三控制点向量而导出的第二控制点向量。可基于第一控制点向量、特定的差分值或当前/相邻块的尺寸中的至少一个来导出第二控制点向量。例如，可通过以下的数式9导出第二控制点向量。
[数式9]
cpMvCorner[1][0]＝(cpMvCorner[0][0]＜＜7)+((cpMvCorner[2][1]－cpMvCorner[0][1])＜＜(7+Log2(cbHeight/cbWidth)))
cpMvCorner[1][1]＝(cpMvCorner[0][1]＜＜7)+((cpMvCorner[2][0]－cpMvCorner[0][0])＜＜(7+Log2(cbHeight/cbWidth)))
在上述K个所构成的候选(ConstK)中，K值并不限定排列在候选列表中的所构成的候选的位置或优先顺序。
另外，所述第一所构成的候选至第六所构成的候选可全部包含在所述候选列表中，也可仅一部分包含在候选列表中。
例如，在确定为当前块利用3个控制点向量的情况下，仅可利用通过组合第一控制点向量至第四控制点向量中的3个控制点向量生成的所构成的候选。在确定为当前块利用两个控制点向量的情况下，可利用通过组合第一控制点向量至第四控制点向量中的至少两个控制点向量生成的所构成的候选、或利用仅通过组合第一控制点向量至第四控制点向量中的两个控制点向量生成的所构成的候选。
或者，也可以考虑可包含在候选列表中的仿射候选的最大个数而在候选列表中仅包含一部分所构成的候选。在这里，最大个数可基于编码装置传递的最大个数信息来确定，也可考虑所述当前块的属性而可变地确定。此时，所构成的候选(ConstK)的K值也可指插入到候选列表中的优先顺序。
另一方面，在属于所述所构成的候选中的两个控制点向量间的差值小于特定阈值的情况下，所述所构成的候选可能会无法插入到候选列表。所述两个控制点向量间的差值可分为水平方向的差值与垂直方向的差值。在这里，水平方向的差值可指第一控制点向量910与第二控制点向量920间的差值，垂直方向的差值可指第一控制点向量910与第三控制点向量930间的差值。所述阈值可指0或编码/解码装置中预设的大小的向量。
图10作为应用本发明的一实施例，其是表示导出基于子块的时间候选的运动信息的方法的图。
可根据并置块(collocated block)的运动信息来导出本发明的时间候选(temporal candidate)的运动信息。能够以子块为单位导出所述运动信息。
在这里，并置块作为属于与当前块1010不同的图像(即，并置图像)的块，也可为与当前块为相同位置的块1040、或从当前块的位置按照时间向量(temporal vector)位移的位置的块1030。可基于当前块的空间相邻块的运动向量来确定所述时间向量。空间相邻块可指与当前块的左侧、左下端、上端、右上端或左上端中的至少一处邻接的块。可仅利用编码/解码装置中预设的位置的相邻块来确定时间向量。例如，预设位置可为左侧1011或上端1012，也可为左侧1011及上端1012。在左侧存在多个相邻块的情况下，可利用多个相邻块中的位于最下端、最上端或中央中的任一位置的块。在上端存在多个相邻块的情况下，可利用多个相邻块中的位于最左侧、最右侧或中央中的任一位置的块。
在导出基于子块的时间候选时，所述当前块及/或并置块可分割成多个子块。
在这里，子块可具有编码/解码装置中预设的固定尺寸/形态。例如，所述子块可表示为N×M块，N及M的值为4、8或其以上的整数。所述子块可为正方形(N＝M)，也可为长方形(N＞M、N＜M)。可指尺寸。或者，编码装置可对关于所述子块的尺寸/形态的信息进行编码并传递，解码装置可基于传递的信息来确定子块的尺寸/形态。
或者，当前块及/或并置块也可基于特定的个数而分割成多个子块。在这里，个数可为编码/解码装置中预设的固定个数，或者也可考虑块尺寸/形态来可变地确定所述个数。或者，也可基于编码装置传递的个数信息来确定所述个数。
以下，对以子块为单位导出时间候选的运动信息的方法进行说明。可根据并置块的各子块储存的运动向量来设置时间候选的运动向量。时间候选的参考图像索引可设定为编码/解码装置中已定义的值(例如，0)。或者，也可根据并置块的参考图像索引或子块中的左上端子块的参考图像索引来设置所述时间候选的参考图像索引。或者，也可与运动向量同样地根据各子块储存的参考图像索引来设置时间候选的参考图像索引。
然而，在属于并置块的子块中存在不可用的子块的情况下，所述不可用的子块的运动向量可由并置块中的可用子块的运动向量代替。在这里，可用子块可指与不可用子块的左侧、右侧、上端或下端中的任一位置邻接的块。或者，可用子块可为编码/解码装置中预设的位置的块。例如，预设位置可为并置块中的右下端子块的位置、或包含并置块的中央位置(center position)的子块的位置。在存在所述可用子块的情况下，所述基于子块的时间候选可追加到候选列表。或者，在所述预设位置的子块可用的情况下，所述基于子块的时间候选可追加到候选列表。
图11作为应用本发明的一实施例，其是表示ERP投影格式下的帧间预测方法的图。
参照图11，在ERP投影格式下，会产生通过运动向量特定出的参考区域与参考图像的边界重叠的情况。
在此情况下，可扩大相应的参考图像的边界，将与所述边界邻接的数据沿水平方向填充到扩大的区域(参照A)。或者，可扩大相应的参考图像的边界，将与相反侧边界邻接的数据(与边界具有连续性或关联性的数据)填充到扩大的区域(参照B)。或者，不存在的区域的数据可利用与相反侧边界邻接的数据填充(参照C)。
A及B虽需要扩大参考图像的数据的过程，但可简化运算过程，C虽不会因扩大而另需存储器，但可能需要格外的运算过程。
在A及B的情况下，会产生当前图像的尺寸与(扩大的)参考图像的尺寸不同的情况。在获得预测像素的过程中，可包含考虑到这种尺寸差异而进行的特定的调整过程。
在仅对横长进行比较时，当前图像可具有0～(pic_width－1)的范围，参考图像(像右侧一样扩大)可具有-L_offset～(pic_width－1+R_offset)的范围或0～(pic_width－1+L_offset+R_offset)的范围。在前者的情况下，可直接按照将当前块的坐标与运动向量相加所获得的位置而在扩大的参考图像中获得预测像素。在后者的情况下，可在对所获得的位置进行调整后，在重新调整的位置获得预测像素。在这里，L_offest、R_offset可指沿左右方向扩大的长度。在本发明中，假设为像以往一样以当前图像或现有参考图像的范围为基准来计算坐标。
在C的情况下，可通过将当前块的坐标与运动向量相加来计算参考图像中的位置。可确认所算出的像素位置是否脱离参考图像的范围(＜0，0＞～＜pic_width－1，pic_height－1＞)。在所算出的像素位置不脱离参考图像的范围的情况下，可在所算出的像素位置获得预测像素。相反地，在所算出的像素位置脱离参考图像的范围的情况下，可在相应的边界内侧＜图像内部＞的相反侧位置(左侧时为右侧，右侧时为左侧)计算与所算出的所述位置对应的位置，在所算出的对应位置获得预测像素。
可基于上述实施例中的至少一个实施例来执行参考图像边界上的帧间预测。参考图像边界上的帧间预测方法可为编码/解码装置中预设的方法，也可基于特定出上述实施例中的某个实施例的选择信息及与所选择的方法相关的信息(数据处理方法、扩大尺寸信息等)来确定。同样适用于下文叙述的实施例。
图12及图15作为应用本发明的一实施例，其是表示CMP投影格式下的帧间预测方法的图。
参照图12，在CMP投影格式下，会因逐区域打包(region-wise packing)而在上方及下方的3×1表面(face)之间具有三维空间上的连续性。然而，上方的3×1表面与下方的3×1表面之间可以不具有三维空间上的连续性。
同样地，会产生通过运动向量特定出的参考区域与参考图像的边界重叠或与一部分表面边界重叠的情况。在A的情况下，虽表示在参考图像内部，但位于一部分表面边界(在三维空间上不具有相互连续性，因此关联性较低)，在B的情况下，参考区域位于参考图像的边界。
尤其是，在A的情况下，虽表示在参考图像内部，但由于参考区域包含不连续的表面边界，因此帧间预测的准确度会降低。
在A及B的情况下，可通过将当前块的坐标与运动向量相加来计算参考区域在参考图像中的位置。可确认相应的参考区域的至少一部分是否脱离参考图像的范围、或是否包含参考图像中的不连续的边界。
在参考区域脱离参考图像的范围的情况下，可确定在三维空间上具有连续性或关联性的位置，并根据确定出的位置来获得预测像素。
相反地，在参考区域不脱离参考图像的范围的情况下，可确认当前块的运动向量所指的参考区域内的至少一个像素是否属于两个以上的表面。在这里，可根据当前块的左上、右上、左下、右下等像素位置来执行确认过程。
在参考区域内的至少一个像素不属于两个以上的表面的情况下，可根据参考区域获得预测像素。否则，可确认是否为与当前块所属的表面具有连续性的表面。在参考区域A'的情况下，上端区域与当前块所属的表面具有连续性，下端区域与当前块所属的表面不具有连续性。
在具有所述连续性的情况下，可根据参考区域获得预测像素。否则，可根据在三维空间上具有连续性或关联性的区域获得预测像素。
所述帧间预测顺序为一例，可通过变更顺序、变更一部分构成等来实现各种变形。
在C及D的情况下，可扩大参考图像，所扩大的区域可沿水平/垂直方向填充与边界邻接的数据、或使用具有关联性的区域的数据来填充。D的情况与ERP中所述的内容一样，因此在这里省略详细说明。在C的情况下，参考区域与A相同地位于参考图像的内部，但包含关联性较低的表面边界。因此，不在参考图像的内部另外生成扩大区域的情况下，帧间预测的准确度会降低，参照图13对此进行详细说明。
在C及D的情况下，会产生因扩大参考图像而当前图像的尺寸与参考图像的尺寸不同的情况。此时，参考图像可具有(-L_offset，-U_offset)～(pic_width－1+R_offset，pic_height－1+D_offset)的范围。在这里，L_offset、R_offset、U_offset、D_offset可指在参考图像中朝左方向、右方向、上方向、下方向扩大的长度。所述offset可具有相同的值、或彼此不同的值。可明示地传递或暗示地确定根据参考图像扩大的长度。
例如，可以支持可由块分割部支持的长度中的一个长度，如2、4、8等。或者，也可基于最小编码块、最大编码块、最小预测块、最大预测块等来确定扩大长度。或者，也能够以区块、砖块等为单位来确定。
例如，可按照最大预测块的长度来扩大，在此情况下，可在所扩大的范围内获得所有块的预测块。如果产生即使扩大了参考图像，当前块的运动向量所指的区域仍脱离所扩大的参考图像的范围的情况，则可通过水平方向、垂直方向、对角线方向的填充等来获得与所脱离的范围对应的部分的预测像素。
参照图13，A至D可相当于以一个或一个以上的表面单位来扩大参考图像的情况。A及B是将具有连续性的表面联合起来扩大参考图像(或子参考图像)的示例。C及D是以表面单位单独地扩大参考图像的示例。所扩大的区域的数据处理与上述实施例相同/相似。在上述实施例中存在关于参考图像的一个范围，但本例中是将参考图像分成两个以上的部分来扩大各区域(称为子参考图像)，因此会产生重叠的范围。
在A及B的示例中，位于上侧的所扩大的子参考图像具有(-L_offset，-U_offset)～(pic_width－1+R_offset，pic_height/2-1+D_offset)的范围，位于下侧的所扩大的子参考图像具有(-L_offset，pic_height/2-U_offset)～(pic_width－1+R_offset，pic_height－1+D_offset)的范围。假设在各子参考图像中，所扩大的左、右、上、下的长度相同。然而，可与扩大单位完全相同地或不同地设置朝左方向、右方向、上方向、下方向扩大的长度。并且，也可根据扩大单位来个别地设置扩大长度。
此时，上侧子参考图像向下侧扩大的范围的坐标与下侧子参考图像内部的坐标相同，但上侧子参考图像的相应区域是在扩大后具有存在关联性的数据，而下侧子参考图像具有扩大前的原始数据。
总而言之，参考图像可具有(-L_offset，-U_offset)～(pic_width－1+R_offset，pic_height－1+D_offset)的范围。通常情况下应对各位置分配一个像素值，但由于具有考虑整体视频的特性来分成两个以上的区域而扩大的参考图像，因此一部分范围可能分配有两个以上的像素值。在此情况下，会被要求确定在分配有两个以上的像素值的位置将哪个像素值设定为预测像素值。
参照图14，在E的情况下，可确认哪个子参考图像中包含更多的区域后，使用包含更多的区域的子参考图像的数据来获得预测值。
在F的情况下，在包含当前块的子参考图像包含有预设的个数的像素或其以上的像素时、或包含特定宽度时，可使用相应的子参考图像的数据。否则，可像E一样使用包含更多的区域的区域的子参考图像的数据来进行处理。
G是均匀地包含在两个子参考图像的情况。此时，可对包含当前块的子参考图像赋予优先权来使用相应的子参考图像的数据。本例可包含作F及E的细节条件。
总而言之，在当前块的运动向量所指的区域为子参考图像间的边界时，可根据包含面积、是否与当前块为相同的子参考图像等来确定使用哪个子参考图像的数据。可通过编码/解码设置而根据以上条件中的所有条件或一部分条件来确定使用哪个子参考图像的数据来执行帧间预测。
在上述示例中，将参考图像分成两个部分来扩大各区域，但在本例中，对以表面单位生成更多子参考图像的情况进行说明。
在图15中，假设各表面单位为子参考图像。同样地，需要确定在分配有两个以上的像素值的位置将哪个像素值设为预测像素值。
参照图15，在H的情况下，可使用包含更多的区域的子参考图像的数据，或者可使用包含当前块的子参考图像的数据。
例如，如果按照预设的个数的像素或已定义的宽度以上来包含具有当前块的子参考图像，则可使用相应的子参考图像的数据。或者，在使用包含更多的区域的子参考图像的数据的情况下，可使用相应的子参考图像的数据。然而，如果包含的区域相同，则也可限制性地使用包含当前块的子参考图像的数据。
在I的情况下，可使用包含更多的区域的子参考图像的数据。本例以表面单位支持子参考图像，但表面设置具有上端3×1区域与下端3×1区域不连续的特性，因此可相较于具有不连续性的特性之侧的子参考图像而对具有连续性的特性之侧的子参考图像赋予优先权。
在J的情况下，可使用包含更多的区域的子参考图像数据。然而，本例虽是包含子参考图像的区域均匀的情况，但也像I一样包含当前块的子参考图像(3×2中右侧)并非为重叠的对象。并且，相应的子参考图像(在3×2中为上方左侧、中央)与包含当前块的子参考图像属于相同的3×1。此时，可对更靠近包含当前块的子参考图像的子参考图像赋予优先权。
总而言之，在当前块的运动向量所指的区域为子参考图像间的边界时，可根据包含面积、子参考图像的使用优先权等来确定使用哪个子参考图像的数据。
另一方面，参照图7至图10对基于仿射运动建模来执行帧间预测的方法进行了说明，所述方法可相同/相似地应用于360视频的编码/解码，省略详细说明。
本发明的方法能够以可通过各种电脑设备执行的程序命令形式实现，并记录在可由电脑读取的介质。可由电脑读取的介质可单独或组合包含程序命令、数据文件、数据结构等。记录在可由电脑读取的介质中的程序命令可以是针对本发明特别设计并构成的程序命令，也可以是电脑软件从业人员公知并使用的程序命令。
作为可由电脑读取的介质的示例，可包含以储存并执行程序命令的方式特别构成的如只读存储器(ROM)、随机存储器(RAM)、闪存(flash memory)等的硬件装置。作为程序命令的示例，不仅可包含如通过编译程序(compiler)制作的机器语言代码，而且可包含使用解释程序(interpreter)等来可通过电脑运行的高级语言代码。所述硬件装置能够以为了执行本发明的动作而通过至少一个软件模块进行动作的方式构成，反之亦相同。
另外，在上述方法或装置中，其构成或功能能够以全部或一部分结合的形态来实现，或者能够以分离的形态实现。
以上，参照本发明的优选实施例进行了说明，但应理解，本技术领域的技术人员可不脱离随附的权利要求书中所记载的本发明的思想及范围而对本发明进行各种修正及变更。
工业可利用性
本发明可用于对视频信号进行编码/解码。

Claims (19)

1.一种视频信号的解码方法，所述方法包括：
构建当前块的仿射候选列表，其中，所述仿射候选列表包括空间候选、时间候选或所构成的候选中的至少一个，所述仿射候选列表中包含的仿射候选的最大个数是根据从比特流中解析出的最大个数信息来确定的；
从所述比特流中解析仿射候选索引；
根据所述仿射候选列表和所述仿射候选索引确定所述当前块的控制点向量；
根据所述当前块的控制点向量确定所述当前块的运动向量；以及
根据所述当前块的运动向量，对所述当前块执行基于仿射模式的预测。
2.根据权利要求1所述的方法，所述方法还包括：
从所述比特流中解析关于仿射模式的类型的信息，其中，所述信息表明应用的是基于四参数的仿射模式还是基于六参数的仿射模式。
3.根据权利要求2所述的方法，其中，当应用所述基于四参数的仿射模式时，所述仿射候选列表中的一个仿射候选包括两个控制点向量；
根据所述仿射候选列表和所述仿射候选索引确定所述当前块的控制点向量，包括：
确定由所述仿射候选索引指示的两个控制点向量。
4.根据权利要求2所述的方法，其中，当应用所述基于六参数的仿射模式时，所述仿射候选列表中的一个仿射候选包括三个控制点向量；
根据所述仿射候选列表和所述仿射候选索引确定所述当前块的控制点向量，包括：
确定由所述仿射候选索引指示的三个控制点向量。
5.根据权利要求2所述的方法，其中，
根据至少两个控制点向量的组合确定所述构成的候选。
6.根据权利要求5所述的方法，其中，
当应用所述基于四参数的仿射模式时，根据两个控制点向量的组合确定所述构成的候选；或者
当应用所述基于六参数的仿射模式时，根据三个控制点向量的组合确定所述构成的候选。
7.根据权利要求3所述的方法，其中，所述两个控制点向量包括第一控制点向量和第二控制点向量；
所述根据所述当前块的控制点向量确定所述当前块的运动向量，包括：
根据所述第一控制点向量、所述第二控制点向量和所述当前块的大小确定所述当前块的运动向量。
8.根据权利要求4所述的方法，其中，所述三个控制点向量包括第一控制点向量、第二控制点向量和第三控制点向量；
所述根据所述当前块的控制点向量确定所述当前块的运动向量，包括：
根据所述第一控制点向量、所述第二控制点向量、所述第三控制点向量和所述当前块的大小确定所述当前块的运动向量。
9.一种视频信号的解码装置，包括：
处理器，配置为执行如权利要求1至8中任一项所述的方法。
10.一种视频信号的编码方法，所述方法包括：
构建当前块的仿射候选列表，其中，所述仿射候选列表包括空间候选、时间候选或所构成的候选中的至少一个，所述仿射候选列表中包含的仿射候选的最大个数是根据最大个数的相关信息来确定的；
根据所述仿射候选列表中的所述仿射候选确定所述当前块的控制点向量，其中，所述仿射候选由仿射候选索引指示；
根据所述当前块的控制点向量确定所述当前块的运动向量；
根据所述当前块的运动向量，对所述当前块执行基于仿射模式的预测；以及
将所述当前块的仿射候选索引编码到比特流中。
11.根据权利要求10所述的方法，所述方法还包括：
将关于仿射模式的类型的信息编码到所述比特流中，其中，所述信息表明应用的是基于四参数的仿射模式还是基于六参数的仿射模式。
12.根据权利要求11所述的方法，其中，当应用所述基于四参数的仿射模式时，所述仿射候选列表中的一个仿射候选包括两个控制点向量。
13.根据权利要求11所述的方法，其中，其中，当应用所述基于六参数的仿射模式时，所述仿射候选列表中的一个仿射候选包括三个控制点向量。
14.根据权利要求11所述的方法，其中，
根据至少两个控制点向量的组合确定所述构成的候选。
15.根据权利要求14所述的方法，其中，
当应用所述基于四参数的仿射模式时，根据两个控制点向量的组合确定所述构成的候选；或者
当应用所述基于六参数的仿射模式时，根据三个控制点向量的组合确定所述构成的候选。
16.根据权利要求12所述的方法，其中，所述两个控制点向量包括第一控制点向量和第二控制点向量；
所述根据所述当前块的控制点向量确定所述当前块的运动向量，包括：
根据所述第一控制点向量、所述第二控制点向量和所述当前块的大小确定所述当前块的运动向量。
17.根据权利要求13所述的方法，其中，所述三个控制点向量包括第一控制点向量、第二控制点向量和第三控制点向量；
所述根据所述当前块的控制点向量确定所述当前块的运动向量，包括：
根据所述第一控制点向量、所述第二控制点向量、所述第三控制点向量和所述当前块的大小确定所述当前块的运动向量。
18.一种视频信号的编码装置，包括：
处理器，配置为执行根据权利要求10至17中任一项所述的方法。
19.一种非暂时性计算机可读存储介质，其包括比特流，其中，所述比特流是根据权利要求10至17中任一项所述的方法生成的。
CN202411800826.6A 2018-06-30 2019-07-01 基于合并模式的帧间预测方法及装置 Pending CN119729006A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR20180076177 2018-06-30
KR10-2018-0076177 2018-06-30
KR10-2018-0085680 2018-07-24
KR20180085680 2018-07-24
PCT/KR2019/007981 WO2020005045A1 (ko) 2018-06-30 2019-07-01 머지 모드 기반의 인터 예측 방법 및 장치
CN201980041821.0A CN112740698A (zh) 2018-06-30 2019-07-01 基于合并模式的帧间预测方法及装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980041821.0A Division CN112740698A (zh) 2018-06-30 2019-07-01 基于合并模式的帧间预测方法及装置

Publications (1)

Publication Number Publication Date
CN119729006A true CN119729006A (zh) 2025-03-28

Family

ID=68987270

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201980041821.0A Pending CN112740698A (zh) 2018-06-30 2019-07-01 基于合并模式的帧间预测方法及装置
CN202411800826.6A Pending CN119729006A (zh) 2018-06-30 2019-07-01 基于合并模式的帧间预测方法及装置
CN202110258209.8A Active CN113163211B (zh) 2018-06-30 2019-07-01 基于合并模式的帧间预测方法及装置
CN202411801361.6A Active CN119767029B (zh) 2018-06-30 2019-07-01 基于合并模式的帧间预测方法及装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201980041821.0A Pending CN112740698A (zh) 2018-06-30 2019-07-01 基于合并模式的帧间预测方法及装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202110258209.8A Active CN113163211B (zh) 2018-06-30 2019-07-01 基于合并模式的帧间预测方法及装置
CN202411801361.6A Active CN119767029B (zh) 2018-06-30 2019-07-01 基于合并模式的帧间预测方法及装置

Country Status (16)

Country Link
US (5) US20210203978A1 (zh)
EP (1) EP3806472A1 (zh)
JP (4) JP7395518B2 (zh)
KR (3) KR20210018502A (zh)
CN (4) CN112740698A (zh)
AU (2) AU2019292471A1 (zh)
BR (1) BR112020025916A2 (zh)
CA (2) CA3238058A1 (zh)
CL (1) CL2020003275A1 (zh)
IL (4) IL313269B2 (zh)
MX (2) MX2020014114A (zh)
MY (1) MY210390A (zh)
PH (1) PH12020552273A1 (zh)
SG (1) SG11202013172XA (zh)
WO (1) WO2020005045A1 (zh)
ZA (1) ZA202100053B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200028856A (ko) 2018-09-07 2020-03-17 김기백 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치
JP7449279B2 (ja) 2018-09-21 2024-03-13 オッポ広東移動通信有限公司 ビデオ信号符号化／復号化方法及びそのための機器
MX2021003327A (es) 2018-09-21 2021-05-14 Guangdong Oppo Mobile Telecommunications Corp Ltd Metodo para codificar/decodificar una se?al de imagen y aparato para el mismo.
CN112930685A (zh) 2018-10-12 2021-06-08 Oppo广东移动通信有限公司 视频信号的编码方法和解码方法及其装置
WO2020117010A1 (ko) 2018-12-07 2020-06-11 삼성전자 주식회사 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치
CN116456082A (zh) 2018-12-25 2023-07-18 Oppo广东移动通信有限公司 编码预测方法、装置及计算机存储介质
US11632563B2 (en) * 2019-02-22 2023-04-18 Qualcomm Incorporated Motion vector derivation in video coding
GB2611323A (en) * 2021-09-29 2023-04-05 Canon Kk Video coding and decoding
CN119137934A (zh) * 2022-04-29 2024-12-13 联发科技股份有限公司 高效的几何分区模式视频编解码
US20240040142A1 (en) * 2022-07-26 2024-02-01 Tencent America LLC Method and apparatus for warp sample selection and grouping

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104025587A (zh) * 2011-12-28 2014-09-03 Jvc建伍株式会社 动图像编码装置、动图像编码方法及动图像编码程序，以及动图像解码装置、动图像解码方法及动图像解码程序
US20160065989A1 (en) * 2013-04-05 2016-03-03 Samsung Electronics Co., Ltd. Interlayer video encoding method and apparatus for using view synthesis prediction, and video decoding method and apparatus for using same
US20180098063A1 (en) * 2016-10-05 2018-04-05 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
CN108235009A (zh) * 2011-11-07 2018-06-29 英孚布瑞智有限私人贸易公司 导出运动信息的方法

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6870886B2 (en) * 1993-12-15 2005-03-22 Koninklijke Philips Electronics N.V. Method and apparatus for transcoding a digitally compressed high definition television bitstream to a standard definition television bitstream
CA2144253C (en) * 1994-04-01 1999-09-21 Bruce F. Naylor System and method of generating compressed video graphics images
ES2745044T3 (es) * 2002-04-19 2020-02-27 Panasonic Ip Corp America Método de cálculo de vectores de movimiento
US9300970B2 (en) * 2010-07-09 2016-03-29 Samsung Electronics Co., Ltd. Methods and apparatuses for encoding and decoding motion vector
KR20120009861A (ko) * 2010-07-22 2012-02-02 에스케이 텔레콤주식회사 확장된 스킵모드를 이용한 영상 부호화/복호화 방법 및 장치
US10778969B2 (en) * 2010-12-17 2020-09-15 Sun Patent Trust Image coding method and image decoding method
US9049455B2 (en) * 2010-12-28 2015-06-02 Panasonic Intellectual Property Corporation Of America Image coding method of coding a current picture with prediction using one or both of a first reference picture list including a first current reference picture for a current block and a second reference picture list including a second current reference picture for the current block
US10404998B2 (en) * 2011-02-22 2019-09-03 Sun Patent Trust Moving picture coding method, moving picture coding apparatus, moving picture decoding method, and moving picture decoding apparatus
US9866859B2 (en) * 2011-06-14 2018-01-09 Texas Instruments Incorporated Inter-prediction candidate index coding independent of inter-prediction candidate list construction in video coding
SG194746A1 (en) * 2011-05-31 2013-12-30 Kaba Gmbh Image encoding method, image encoding device, image decoding method, image decoding device, and image encoding/decoding device
JP2013021572A (ja) * 2011-07-12 2013-01-31 Jvc Kenwood Corp 画像符号化装置、画像符号化方法および画像符号化プログラム
US9083983B2 (en) * 2011-10-04 2015-07-14 Qualcomm Incorporated Motion vector predictor candidate clipping removal for video coding
RU2604330C2 (ru) * 2011-10-05 2016-12-10 Сан Пэтент Траст Способ кодирования изображений, устройство кодирования изображений, способ декодирования изображений, устройство декодирования изображений и устройство кодирования изображений
WO2013057877A1 (ja) * 2011-10-19 2013-04-25 パナソニック株式会社 画像符号化方法、画像符号化装置、画像復号方法、および、画像復号装置
KR101835625B1 (ko) * 2011-10-26 2018-04-19 인텔렉추얼디스커버리 주식회사 움직임 후보 리스트 생성 방법 및 그를 이용한 부호화 장치
JP5768662B2 (ja) * 2011-10-31 2015-08-26 富士通株式会社 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム
US9762904B2 (en) * 2011-12-22 2017-09-12 Qualcomm Incorporated Performing motion vector prediction for video coding
JP5846132B2 (ja) * 2012-01-18 2016-01-20 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
US9451277B2 (en) * 2012-02-08 2016-09-20 Qualcomm Incorporated Restriction of prediction units in B slices to uni-directional inter prediction
US9420286B2 (en) * 2012-06-15 2016-08-16 Qualcomm Incorporated Temporal motion vector prediction in HEVC and its extensions
EP3202143B8 (en) * 2014-11-18 2019-09-25 MediaTek Inc. Method of bi-prediction video coding based on motion vectors from uni-prediction and merge candidate
US11477477B2 (en) * 2015-01-26 2022-10-18 Qualcomm Incorporated Sub-prediction unit based advanced temporal motion vector prediction
KR102583501B1 (ko) * 2015-04-27 2023-09-27 엘지전자 주식회사 비디오 신호의 처리 방법 및 이를 위한 장치
EP4221202A1 (en) * 2015-06-05 2023-08-02 Dolby Laboratories Licensing Corporation Image encoding and decoding method and image decoding device
EP3357245A4 (en) * 2015-11-05 2019-03-13 MediaTek Inc. METHOD AND DEVICE OF INTERPRESSATION USING AN AVERAGE MOTION VECTOR FOR VIDEO CODING
WO2017086738A1 (ko) * 2015-11-19 2017-05-26 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
KR20180085714A (ko) * 2015-12-17 2018-07-27 삼성전자주식회사 머지 후보 리스트를 이용한 비디오 복호화 방법 및 비디오 복호화 장치
ES2692864B1 (es) * 2016-02-25 2019-10-21 Kt Corp Metodo y aparato para procesar senales de video
CN108886618A (zh) * 2016-03-24 2018-11-23 Lg 电子株式会社 视频编码系统中的帧间预测方法和装置
US11509930B2 (en) * 2016-07-12 2022-11-22 Electronics And Telecommunications Research Institute Image encoding/decoding method and recording medium therefor
CN116567216A (zh) * 2016-08-11 2023-08-08 Lx 半导体科技有限公司 图像编码/解码方法以及图像数据的发送方法
WO2018066990A1 (ko) * 2016-10-04 2018-04-12 김기백 영상 데이터 부호화/복호화 방법 및 장치
KR20190053238A (ko) * 2016-10-06 2019-05-17 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US10750190B2 (en) * 2016-10-11 2020-08-18 Lg Electronics Inc. Video decoding method and device in video coding system
US11206419B2 (en) * 2017-05-17 2021-12-21 Kt Corporation Method and device for video signal processing
WO2019050115A1 (ko) * 2017-09-05 2019-03-14 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US20190306502A1 (en) * 2018-04-02 2019-10-03 Qualcomm Incorporated System and method for improved adaptive loop filtering
US12348762B2 (en) * 2018-06-19 2025-07-01 Qualcomm Incorporated Signaling sub-prediction unit motion vector predictor
WO2020094049A1 (en) * 2018-11-06 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Extensions of inter prediction with geometric partitioning
US11190789B2 (en) * 2019-06-30 2021-11-30 Tencent America LLC Method and apparatus for video coding using inter-prediction mode signaling to dertermine motion vectors

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108235009A (zh) * 2011-11-07 2018-06-29 英孚布瑞智有限私人贸易公司 导出运动信息的方法
CN104025587A (zh) * 2011-12-28 2014-09-03 Jvc建伍株式会社 动图像编码装置、动图像编码方法及动图像编码程序，以及动图像解码装置、动图像解码方法及动图像解码程序
US20160065989A1 (en) * 2013-04-05 2016-03-03 Samsung Electronics Co., Ltd. Interlayer video encoding method and apparatus for using view synthesis prediction, and video decoding method and apparatus for using same
US20180098063A1 (en) * 2016-10-05 2018-04-05 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SRI NITCHITH AKULA: "Description of SDR, HDR and 360°video coding technology proposal considering mobile application scenario by Samsung, Huawei, GoPro, and HiSilicon", 《JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 10TH MEETING: SAN DIEGO, US, 10–20 APR. 2018》, 14 April 2018 (2018-04-14), pages 54 - 57 *

Also Published As

Publication number Publication date
AU2019292471A1 (en) 2021-01-28
US20250301166A1 (en) 2025-09-25
EP3806472A4 (en) 2021-04-14
CN119767029B (zh) 2026-01-06
CA3238058A1 (en) 2020-01-02
CN119767029A (zh) 2025-04-04
IL313269B1 (en) 2025-05-01
KR20240173367A (ko) 2024-12-11
JP7395518B2 (ja) 2023-12-11
IL279793B1 (en) 2024-08-01
US20250301168A1 (en) 2025-09-25
MY210390A (en) 2025-09-18
CN113163211B (zh) 2023-01-03
CA3105339A1 (en) 2020-01-02
MX2024007507A (es) 2024-07-09
CA3105339C (en) 2024-10-08
IL313269B2 (en) 2025-09-01
CN113163211A (zh) 2021-07-23
US20210203978A1 (en) 2021-07-01
JP2024023435A (ja) 2024-02-21
CL2020003275A1 (es) 2021-05-24
JP2021532626A (ja) 2021-11-25
KR20240170846A (ko) 2024-12-04
CN112740698A (zh) 2021-04-30
PH12020552273A1 (en) 2021-06-07
JP2025015815A (ja) 2025-01-30
MX2020014114A (es) 2021-05-31
AU2024219401A1 (en) 2024-09-26
WO2020005045A1 (ko) 2020-01-02
IL320001A (en) 2025-06-01
JP7594078B2 (ja) 2024-12-03
KR20210018502A (ko) 2021-02-17
IL279793B2 (en) 2024-12-01
SG11202013172XA (en) 2021-01-28
ZA202100053B (en) 2021-10-27
BR112020025916A2 (pt) 2021-03-16
IL320008A (en) 2025-06-01
EP3806472A1 (en) 2021-04-14
US20250301167A1 (en) 2025-09-25
IL313269A (en) 2024-08-01
IL279793A (en) 2021-03-01
AU2024219401B2 (en) 2025-12-18
US20250301169A1 (en) 2025-09-25
JP2025015814A (ja) 2025-01-30

Similar Documents

Publication Publication Date Title
CN119767029B (zh) 基于合并模式的帧间预测方法及装置
CN113966612B (zh) 屏幕内容编解码根据与运动信息之间的相互作用
TW202037170A (zh) 簡化的基於歷史的運動矢量預測
JP2022521979A (ja) デコーダ側動きベクトル改良に対する制約
JP7447097B2 (ja) 画像符号化／復号化方法及び装置
CN118044182A (zh) 用于视频处理的方法、设备和介质
JP7375224B2 (ja) 符号化・復号方法、装置及びそのデバイス
CN113382234A (zh) 视频信号编码/解码方法以及用于所述方法的设备
JPWO2014199634A1 (ja) 画像符号化装置及び画像符号化方法
RU2790325C2 (ru) Способ и устройство для межкадрового предсказания на основе режима слияния
KR20250109632A (ko) 매핑 모델 조정-오프셋을 이용하는 영상 부호화/복호화 방법, 장치 및 비트스트림 저장 매체
CN120500845A (zh) 图像编码/解码方法和设备及存储比特流的记录介质
CN120937365A (zh) 图像编码/解码的方法和装置以及用于存储比特流的记录介质
KR20190113611A (ko) 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination