HK1262962A1 - 用於解码图片的方法以及用於解码图片的电子设备 - Google Patents

Description

用于解码图片的方法以及用于解码图片的电子设备

本申请是2015年6月2日(申请日：2013年10月2日)向中国专利局递交并进入中国国家阶段的题为“发信号通知步进式时间子层访问样本的方法”的发明专利申请No.201380062970.8(PCT国际申请No.PCT/JP2013/005888)的分案申请。

技术领域

本公开大体上涉及电子设备。更具体地，本公开涉及发信号通知步进式时间子层访问样本的方法。

背景技术

为了满足消费者需求和提高便携性和便利性，电子设备已经变得越来越小并且功能越来越强大。消费者已经开始依赖电子设备，并开始期待越来越多的功能。电子设备的一些示例包括台式计算机、膝上型计算机、蜂窝电话、智能电话、媒体播放器、集成电路等。

一些电子设备用于处理和显示数字媒体。例如，便携电子设备现在允许消费者在几乎任何可能会在的位置消费数字媒体。此外，一些电子设备可以提供对数字媒体内容的下载或流传输以供消费者使用和享受。

数字媒体的日益普及已经出现了若干问题。例如，高效地表示用于存储、发送和重放的高质量数字媒体存在若干挑战。根据该讨论可以看出，更有效地表示数字媒体的系统和方法可能是有益的。

发明内容

本发明的一个实施例公开了一种用于解码图片的方法，包括：接收视听比特流；获得步进式时间子层访问(STSA)样本分组，其中，由样本组描述框中具有“stsa”的grouping_type来指示STSA样本分组。

附图说明

图1是示出了其中可以实现用于发信号通知步进式时间子层访问(STSA)样本分组的系统和方法的一个或更多个电子设备的示例的框图。

图2是示出了编码结构的两个示例的框图。

图3是示出了电子设备上的编码器的一种配置的框图。

图4是示出了用于发信号通知步进式时间子层访问(STSA)样本分组的方法的一种配置的流程图。

图5是示出了用于发信号通知步进式时间子层访问(STSA)样本分组的方法更具体的配置的流程图。

图6示出了电子设备上的解码器的一种配置的框图。

图7是示出了用于接收步进式时间子层访问(STSA)样本分组的方法的一种配置的流程图。

图8是示出了用于接收步进式时间子层访问(STSA)样本分组的方法更具体的配置的流程图。

图9示出了其中可以实现用于发信号通知步进式时间子层访问(STSA)样本分组的系统和方法的电子设备的一种配置的框图。

图10示出了其中可以实现用于接收步进式时间子层访问(STSA)样本分组的系统和方法的电子设备的一种配置的框图。

图11是示出了发送电子设备中可以利用的各种组件的框图。

图12是示出了接收电子设备中可以利用的各种组件的框图。

具体实施方式

描述了用于对图片进行解码的电子设备。电子设备包括处理器以及存储在与处理器电子通信的存储器中的指令。指令能够执行对步进式时间子层访问样本分组进行编码。指令还能够执行发送和/或存储STSA样本分组。

发送STAS样本分组可以包括在可记录存储介质中存储STSA样本分组。可记录存储介质可以是文件。对STSA样本分组的编码可以包括基于ISO基础媒体文件格式来对STSA样本分组进行编码。所述ISO基础媒体文件格式可以扩展以支持高效视频编码(HEVC)视频流。发送STSA样本分组可以包括在ISO基础媒体文件格式中发送STSA样本分组。

STSA样本分组可以指示STSA样本。所述STSA样本分组可以指示在相同时间层的下一个时间层切换点。所述下一个时间层切换点可以指示在相同时间层的一些样本到下一个时间层切换点。

STSA样本分组可以指示在更高时间层的下一个时间层切换点。所述下一个时间层切换点可以指示在更高时间层的一些样本到下一个时间层切换点。更高的时间层可以是具有一个比目前样本的时间标识符(ID)更大的时间ID的时间层。更高的时间层可以是具有比当前样本的时间ID更大的时间ID的时间ID的时间层。

STSA样本分组可以在样本组描述框(SGPD)中发送。SGPD可以包括下一个STSA上切换距离参数、下一个STSA样本距离参数和类型时间切换访问(TSA)标记中之一。所述上切换距离参数可以是next_stsa_upswitching_distance，下一个STSA样本距离参数可以是next_stsa_sample_distance，并且类型TSA标记可以是typeTSAFlag。所述类型TSA标记的值可以指示STSA样本分组中的样本是TSA样本或STSA样本。STSA图片可以向所述STSA图片所属的时间层提供时间层切换功能。

还描述了用于对图片进行解码的电子设备。所述电子设备包括处理器和存储在与处理器电子通信的存储器中的指令。所述指令能够执行接收比特流和可记录存储介质中之一。所述指令还可以执行获得步进式时间子层访问(STSA)样本分组。所述指令还可以执行对STSA样本分组进行解码。所述指令还可以执行基于STSA样本分组确定何时切换到新的时间层。

所述可记录存储介质可以是文件。接收STSA样本分组可以包括在ISO基础媒体文件中接收STSA样本分组。对STSA样本分组进行解码可以包括基于ISO基础媒体文件格式来对STSA样本分组进行解码。ISO基础媒体文件格式可以已经扩展以支持高效视频编码(HEVC)视频流。

STSA样本分组可以指示STSA样本。SRSA样本分组可以在相同时间层指示下一个时间层切换点。下一个时间层切换点可以在相同时间层指示一些样本到下一时间层切换点。

STSA样本分组可以在更高的时间层指示下一个时间层切换点。下一个时间层切换点可以在更高的时间层指示一些样本到下一个时间层切换点。更高的时间层可以是具有比当前样本的时间标识符(ID)更大的时间ID的时间层。更高的时间层可以是具有比当前样本的时间ID更大的时间ID的时间ID的时间层。

STSA样本分组可以在样本组描述框(SGPD)中发送。SGPD可以包括下一个STSA上切换距离参数、下一个STSA样本距离参数和类型时间切换访问(TSA)标记中之一。所述上切换距离参数可以是next_stsa_upswitching_distance，下一个STSA样本距离参数可以是next_stsa_sample_distance，并且类型TSA标记可以是typeTSAFlag。

类型TSA标记的值可以指示STSA样本分组中的样本是TSA样本或STSA样本。STSA图片可以向所述STSA图片所属的时间层提供时间层切换功能。

还描述了图片编码方法。对步进式时间子层访问(STSA)样本分组进行编码。发送STSA样本分组。

还描述了图片解码方法。接收比特流和/或可记录存储媒介。获得步进式时间子层访问(STSA)样本分组。对STSA样本分组进行解码。基于STSA样本分组来确定何时切换到新的时间层。

本文公开的系统和方法描述了发信号通知步进式时间子层访问(STSA)样本分组的方法。例如，本文中描述的一些配置包括使用对应的网络接入层(NAL)单元来发信号通知STSA样本分组的设备和方法。STSA样本分组可以包括一个或更多个STSA样本。

在一些已知配置中，例如Benjamin Bros等人的"High efficiency video coding(HEVC)text specification draft 8,"JCTVC-J1003_d7,Stockholm,July 2012(hereinafter"HEVC Draft 8")，描述了STSA图片。HEVC Draft 8还描述了对应于STSA图片的网络接入层(NAL)单元类型。在一些情况下，STSA图片可以称为渐进式时间层访问(GTLA)图片。

高效视频编码(HEVC)标准提供了提高的编码效率以及增强的稳健性。因此，ISO/IEC 14496-15,"Carriage of NAL unit structured video in the ISO Base MediaFile Format,"Stockholm,July 2012(hereinafter"ISO/IEC 14496-15")定义了在ISO基础媒体文件格式中NAL单元构成的视频的运输。另外，信息技术、视听对象编码、"Part 15:Carriage of NAL unit structured video in the ISO Base Media File Format,AMENDMENT 2:Carriage of high efficiency video coding(HEVC),"Stockholm,July2012，定义了高效视频编码(HEVC)视频流的运输。HEVC内容的存储使用现有的ISO基础媒体文件格式的能力，但是还定义了扩展以支持HEVC编解码器的特征。例如，ISO/IEC 14496-15提供了在ISO基础媒体文件格式中运输NAL单元构成的视频的方法。还描述了涉及HEVC运输的方法(参见"Part 15:Carriage of NAL unit structured video in the ISO BaseMedia File Format,AMENDMENT 2:Carriage of high efficiency video coding(HEVC)",Stockholm,July 2012)。

由ISO基础媒体文件格式支持的HEVC特征之一包括参数集。例如，视频参数集(VPS)机制、序列参数集(SPS)机制以及图片参数集(PPS)机制可以将很少变化信息的传输与编码数据块的传输去耦合。包含编码数据块的每个片可以引用包含其解码参数的PPS。继而，PPS可以引用包括序列等级解码参数信息的SPS。SPS可以引用包括全局解码参数信息的VPS，例如潜在可缩放和3DV扩展中的跨层或视图。此外，HEVC还可以支持适应性改变参数集(APS)，其中包括应当比PPS中的编码参数该变更频繁的解码参数。适应性改变参数集(APS)在需要时还可以由片(slice)引用。

为在ISO基础媒体文件格式中支持HEVC单元，还可以包括附加的工具，如样本分组。例如，时间可缩放性样本分组可以提供构造和分组机制来指示访问单元和时间可缩放性的不同分级等级的结合。如另一个示例，时间子层访问样本分组可以提供构造和分组机制以指示作为时间子层访问(TSA)样本的访问单元的识别。在一些情况下，时间层可以称为时间子层，或子层。类似地，时间子层访问(TSA)样本可以称为时间层访问(TLA)样本。

在一些配置中，还可以增加分布式时间子层访问(STSA)样本分组来提供构造和分组机制，以指示作为STSA样本的访问单元的识别。例如，STSA样本分组可以指示STSA样本。

在一些配置中，可以增加时间子层访问(TSA)类型样本分组来提供构造和分组机制，以指示作为TSA和STSA样本的访问单元的识别。例如，TSA类型样本分组可以指示TSA和STSA样本。样本分组中的其它信息可以区分TSA样本分组和STSA样本分组。下文中将对有关TSA样本组、STSA样本组以及TSA样本组的其它细节进行描述。

在一些配置中，可以在比特流中当前发信号通知时间子层访问(TSA)或子层图片。TLA图片将发信号通知瘦随机存取(Clean Random Access，简称CRA)图片和时间层切换点两者统一。CRA图片可以指示随机存取点(RAP)或者解码器可以从其开始解码而无需访问按照解码顺序在CRA图片之前的图片的点。在一些情况下，CRA图片可以包括帧内预测片(I-片)，其使用帧内预测进行解码。

如本文使用的，术语“时间层”是指具有相同时间标识符(temporal_id、tld或Temporalld)的全部图片或相同时间等级上的全部图片。下文中将结合图2对关于时间层的附加细节进行更详细的描述。

时间子层切换点是表示比特流中的点的图片，从该点有可能开始对比在切换点之前解码的时间层更大数目的时间层进行解码。换句话说，时间子层切换点可以指示具有比当前时间ID更高的时间ID的图片可以开始解码。在这种情况下，时间子层切换点是时间子层上切换点。因此，在解码顺序和显示顺序中，在切换点后没有图片，所述解码顺序和显示顺序使用在解码顺序和显示顺序中在切换点之前的任何图片。时间子层切换点可以使用ISO基础媒体文件格式来发信号。

在一种配置中，可以通过NAL单元类型运输使用ISO基础媒体文件格式来发信号通知STSA样本分组。在其它配置中，可以通过HEVC运输使用ISO基础媒体文件格式来发信号通知STSA样本分组。

在其它配置中，NAL单元类型可以指定包括在NAL单元中的原始字节序列有效载荷(RBSP)数据结构的类型。在一个示例中，使用等于0或在33-63范围内的NAL单元类型的NAL单元可以不影响在各种配置中指定的解码过程。应该注意的是：在一些配置中，NAL单元类型0和33-63可被用为由各种应用来确定。NAL单元类型0和33-63可被保留以供将来使用。在本文描述的一些配置中，解码器可以忽略使用NAL单元类型的保留值或未指定值的NAL单元的内容。

在下面的表1中包括根据本文描述的系统和方法可以实现的NAL单元类型代码和NAL单元类型类别的示例。应该注意的是：一些配置可以包括与以下描述的字段类似或不同的字段。

在一些配置中，表1中的NAL字段中的一些或全部可以是不同NAL单元类型的示例。在一些配置中，特定的NAL单元类型可以与和一个或更多个图片关联的不同的字段和语法结构相关联。下面包括对一个或更多个字段的进一步解释。应该注意，下面的表1包括针对以下图片的缩写：断开链路访问(BLA)、随机存取点(RAP)、标记为丢弃(TFD)以及即时解码刷新(IDR)图片。

NAL单元类型	NAL单元的内容	RBSP语法结构
			0	未指定	N/A
1，2	非TSA、非STSA跟踪图片的编码片	slice_layer_rbsp()
			3，4	TSA图片的编码片	slice_layer_rbsp()
5，6	STSA图片的编码片	slice_layer_rbsp()
			7，8，9	BLA图片的编码片	slice_layer_rbsp()
10，11	IDR图片的编码片	slice_layer_rbsp()
			12	CRA图片的编码片	slice_layer_rbsp()
13	DLP图片的编码片	slice_layer_rbsp()
			14	TFD图片的编码片	slice_layer_rbsp()
15…24	保留
			25	视频参数集	video_parameter_set_rbsp()
26	序列参数集	seq_parameter_set_rbsp
			27	图片参数集	pic_parameter_set_rbsp()
28	访问单元分界符	access_unit_delimiter_rbsp()
			29	序列末端	end_of_seq_rbsp()
30	比特流末端	end_of_bitstream_rbsp()
			31	填充数据	filler_data_rbsp()
32	补充增强信息(SEI)	sei_rbsp()
			33…47	保留	N/A
48…63	未指定	N/A

表1

表1组建为具有下述列：NAL单元类型(nal_unit_type)、NAL单元的内容和RBSP语法结构。NAL单元可以提供对之后的数据的类型的指示。例如，5或6的NAL单元类型可以指示之后是关于STSA图片的编码片的数据。

在表1中，语法可以包括片层原始字节序列有效载荷(RBSP)语法。此外或备选地，语法还可以包括补充增强信息(SEI)RBSP语法。SEI RBSP可以包括一个或多个SEI消息。每个SEI消息可以包括指定SEI有效载荷的类型(如payloadType)和大小(如payloadSize)的变量。得到的SEI有效载荷大小可以以字节来指定，并且等于SEI有效载荷中的RBSP字节的数量。

在表1中，当针对特定图片NAL单元类型的值等于5或6时，所述特定图片可以称为步进式时间子层访问(STSA)图片。在一些配置中，当nal_unit_type在3到6的范围内时(包括3和6，例如TSA或STSA图片的编码片)，时间ID可能不等于0。

STSA图片可以是编码图片，其中每个片具有等于STSA_R或STSA_N的nal_unit_type。STSA_R可以指示解码的STSA图片可以充当后面的解码图片的参考。STSA_N可以指示解码的STSA图片不能充当后面的解码图片的参考。STSA图片不能使用具有相同时间ID的图片作为用于帧内预测参考的STSA。在解码顺序中位于STSA图片后面的、具有与STSA图片相同的时间ID的图片，不能使用在解码顺序中位于STSA图片前面的、具有与STSA图片相同的时间ID的图片作为帧内预测参考。在STSA图片处，STSA图片能够从紧接的较低的子层上切换到包含STSA图片的子层。STSA图片必须具有大于0的时间ID。

应当注意的是，RefPicSetStCurrBefore、RefPicSetStCurrAfter和RefPicSetLtCurr包括可以用于当前图片的帧间预测和可以用于在解码顺序中位于当前图片后面的一个或多个图片的帧间预测的所有参考图片。

在当前图片是STSA图片时，RefPicSetStCurrBefore、RefPicSetStCurrAfter和RefPicSetLtCurr中可能不包括具有与当前图片的Temporal_id相同的Temporal_id的图片。在当前图片是在解码顺序中位于具有与当前图片的Temporal_id相同的Temporal_id的图片之后的图片时，RefPicSetStCurrBefore、RefPicSetStCurrAfter和RefPicSetLtCurr中可能不包括在解码顺序中位于STSA图片之前的、具有与当前图片的Temporal_id相同的Temporal_id的图片。

在一些配置中，本文中公开的系统和方法描述了STSA图片。STSA图片可以是每个片具有等于5或6的NAL单元类型的编码图片。

发信号通知步进式时间子层访问(STSA)样本分组可以提供比发信号通知时间层样本分组更好的优点。例如，STSA样本分组可以提供同样属于STSA样本分组的STSA样本的清晰标记和/或标志。这进而提供了样本中时间层切换点的简单的识别。下文中将会对附加的益处和优点进行描述。

在一些配置中，STSA样本分组可以在NAL单元的运输中发送。STSA样本分组可以是使用ISO基础媒体文件格式存储的一组图片。ISO基础媒体文件格式可以根据ISO/IEC14496-15来指定。还可以对ISO基础媒体文件格式进行扩展以支持HEVC的运输。

以ISO基础媒体文件格式发信号通知STSA样本分组的有益效果是：可以针对STSA样本分组定义附加的语法元素。例如，一个附加的语法元素可以提供了解下一个时间层切换点什么时候将会出现在相同时间层的能力。这可以有利于确定什么时候自适应地切换到新的时间层。

此外，STSA图片可以提供以步进方式提高视频的帧速率的能力。例如，电子设备102可以通过仅针对最低的时间层接收视频来开始。然后，基于其解码能力和/或当前CPU负载和/或可用带宽，在一段时间之后，电子设备102可以等待在下一个更高时间层的STSA图片。然后，从该点开始，电子设备102可以开始对最低时间子层和下一个更高的时间子层进行解码。当电子设备102遇到另一个STSA图片时(例如具有更高的时间层的STSA图片)，如果电子设备最近只上切换到正在解码的当前最高时间子层，则电子设备102可以决定等待并且不开始对该更高时间子层进行解码。在一些情况下，立即继续上切换或等待的决定可以基于下一个STSA图片在什么时候将要出现。该信息可以从附加语法元素中知晓，所述附加语法元素提供了了解下一个时间层切换点什么时候将会在相同的时间层出现的能力。

作为另一个示例，可以针对STSA样本分组来定义附加语法元素，所述STSA样本分组提供了了解下一个时间层上切换点(即针对更高的时间ID的STSA样本)什么时候将会在更高的时间层出现的能力。这可以有益于允许以步进方式选择期望的帧速率以及允许时间上切换。

在本文中描述的发信号通知STSA样本分组的一些系统和方法中，可以实现一个或多个指示符以在比特流中指示STSA样本分组和/或STSA图片。例如，在一个配置中，NAL单元可以用于在比特流中指示STSA图片。

现在参照附图对各种配置进行描述，其中相似的附图标记可以指示功能相似的要素。如这里在附图中总体描述和示意的系统和方法可以以多种不同配置布置和设计。因此，下文对附图所示的若干配置的更具体描述不是为了限制要求保护的范围，而仅仅是对系统和方法的表示。

图1是示出了其中可以实现发信号通知步进式时间子层访问(STSA)样本分组的系统和方法的一个或多个电子设备102a-b的框图。在本示例中，示出了电子设备A 102a和电子设备B 102b。然而应当注意的是，在一些配置中，描述的与电子设备A 102a和电子设备B102b有关的一个或多个特征和功能，可以结合到单一的电子设备中。

电子设备A 102a包括编码器104。电子设备A 102a中包括的每个要素(如编码器104和STSA样本分组模块108)可以通过硬件、软件或硬件与软件两者的结合来实现。

电子设备A 102a可以获得输入图片106。可以使用图像传感器在电子设备A102a上捕捉、从存储器中检索和/或从另一个电子设备处接收输入图片106。

编码器104可以包括STSA样本分组模块108和文件生成器153。如图1所示，STSA样本分组模块108和文件生成器153可以是编码器104的一部分。

在其它配置中，STSA样本分组模块108和/或文件生成器153可以与编码器304分开，并且/或者位于另一个电子设备102。例如，编码器104可以是HEVC编码器并且STSA样本分组模块108可以存在于位于电子设备A 102a中的文件生成器153中，与编码器104分开。在本示例中，STSA样本分组模块108可以使用来自HEVC编码器的信息来对STSA样本进行识别。在另一个示例中，STSA样本分组模块108可以分析由HEVC编码器产生的比特流10，并且识别来自比特流110的STSA图片和样本。

编码器104可以对输入图片106进行编码来产生编码数据，例如样本。例如，编码器104可以对一系列输入图片(如视频)进行编码以获得一系列样本。

如本文中使用的，术语“样本”可以作为ISO基础媒体文件格式标准中提供的来使用。由ISO基础媒体文件格式标准定义的“样本”可以指与单一时间戳相关联的所有信息。因此，在轨道内不会有两个样本共用相同的时间戳。由ISO基础媒体文件格式标准定义的“样本”还可以与由HEVC标准定义的“访问单元”相对应。例如，样本可以指在解码顺序中连续的并且包括恰好一个编码图片的NAL单元的集合。除了编码图片的编码片NAL单元以外，样本还可以包括不包含编码图片的片的NAL单元。样本的解码总是发生在解码图片中。样本分组可以包括一个或多个样本。样本分组可以是基于分组准则的轨道中每个样本称为一个样本分组一部分的分配。样本分组中的样本组不限于相邻的样本，并且可以包括非相邻的样本。

编码器104可以是高效视频编码(HEVC)编码器。在一些配置中，HEVC标准可以针对使用HEVC压缩的视频流来定义存储格式。该标准可以是ISO基础媒体文件格式的扩展。换句话说，编码器104可以基于已经扩展以支持HEVC视频流的ISO基础媒体文件格式来对输入图片106进行编码。

编码器104可以使用已知工具的使用(例如参数集、时间可伸缩性样本分组以及时间子层访问(TSA)样本分组)来执行HEVC编码。例如，时间可伸缩性样本分组可以提供构造和分组机制以指示访问单元与不同分级的时间可伸缩性等级的关联。时间层访问样本分组可以提供构造和分组机制以指示作为时间子层(TSA)样本的访问单元的识别。此外，在一些情况下，时间层访问(TLA)样本分组可以称为时间子层访问(TSA)样本分组。

表2示出了时间层样本组条目的一个示例。

表2

在表2中，时间层样本组条目可以针对时间层中的所有样本来定义时间层信息。可以使用非负整数对时间层进行编号。每个时间层可以与称为时间ID(例如temporal_id)的特定值相关联。与大于零的temporal_id值相关联的时间层可以参考具有较低的temporal_id值的所有时间层。换句话说，与特定temporal_id值相关联的时间层表示可以包括与等于或小于特定temporal_id值的temporal_id值相关联的所有时间层。

下面的列表1提供了可以与表2中示出的时间层样本分组条目结合使用的语法。

语法

列表1

在列表1中，temporalLayerId可以给予当前时间层的ID。针对是该样本组的成员的所有样本，视频编码层(VCL)NAL单元可以具有等于temporalLayerId的temporal_id(如ISO/IEC 23008-2中定义的)。针对由temporalLayerId标识的时间层的表示，tlprofile_space,tlprofile_idc,tlconstraint_flags,tllevel_idc以及tlprofile_compatibility_indications可以包括如ISO/IEC 23008-10中定义的编码。

针对由temporalLayerId标识的时间层的表示，tlMaxBitrate可以提供最大速率，超过任何一秒钟的窗口的每秒1000比特。针对由temporalLayerId标识的时间层的表示，tlAvgBitRate可以提供以每秒1000比特为单位的平均比特率。

tlConstantFrameRate等于1可以指示由temporalLayerId标识的时间层的表示具有恒定的帧速率。tlConstantFrameRate等于0可以指示由temporalLayerId标识的时间层的表示可能具有或可能不具有恒定的帧速率。针对由temporalLayerId标识的时间层的表示，tlAvgFrameRate可以提供以帧/(256秒)为单位的平均帧速率。

编码器104可以使用附加的工具(例如STSA时间可伸缩性样本分组)来执行HEVC编码。STSA样本可以提供构造和分组机制以指示作为STSA样本的访问单元的识别。例如，STSA样本分组可以指示STSA样本。

在一个配置中，HEVC视频轨道(即视频流)可以包括零或一个具有grouping_type为‘tlaw’的样本到组框的实例。样本到组框实例可以将样本的标记表示为STSA点。可以存在具有相同分组类型的样本组描述框的附带实例。下面的表3示出了步进式时间子层样本组条目的一个示例。

表3

在表3中，样本组可以用于对步进式时间子层访问(STSA)样本进行标记。下面的列表2提供了可以与表3中示出的步进式时间子层样本组条目一起使用的语法的一个示例。

语法

classTemporalLayerEntry()extendsVisualSampleGroupEntry(′tlaw′)

{

}

列表2

下面的列表3提供了可以与表3中示出的步进式时间子层样本组条目一起使用的语法的另一个示例。

语法

列表3

在列表3中，next_stsa_upswitching_distance可以指示具有等于temporal_id(tId)+1的temporal_id(tId)的时间层的样本数量，之后STSA样本将会在temporal_id等于tId+1的时间层出现。换句话说，next_stsa_upswitching_distance可以提供了解下一个时间层上切换点(即针对更高时间ID的STSA样本)在什么时候将会在更高的时间层出现的能力。这可以有益于以步进方式确定期望的帧速率并且有益于时间上切换。

在一些配置中，next_stsa_upswitching_distance值可以针对具有高于tId(即当前时间层的时间ID)的temporal_id的所有更高的时间层来类似地指示。此外，在本文中使用的一些情况下，时间层也可以称为时间子层。

next_stsa_point_distance可以指示具有等于tId(即该样本的temporal_id)的temporal_id的时间层的样本的数量，之后在具有等于tId的temporal_id的当前时间层处步进式时间子层访问(STSA)样本将会再次出现。换句话说，next_stsa_point_distance可以提供了解下一个时间子层切换点什么时候将会出现在相同时间层的能力。这可以有益于确定什么时候适应性地切换到新的时间层。应当注意的是，尽管上文的描述使用了组类型‘tlaw’，也可以使用一些其它名称以表示相同的目的。例如，可以使用‘tsaw’或‘abcd’或‘zhgf’。

在另一个配置中，HEVC视频轨道(即视频流)可以包括具有grouping_type为′tlas′的样本到组框的零或一个示例。该样本到组框示例可以将样本的标记表示为时间层访问点(或时间子层访问点)。也可以出现具有相同分组类型的样本组描述框的附带实例。下面的表格4示出了时间层样本组条目的一个示例。

表4

在表4中，样本组用于对时间子层访问(TSA)和步进式时间子层访问(STSA)样本进行标注。列表4提供了可以与表4中示出的时间层样本组条目一起使用的语法。

语法

列表4

在列表4中，typeTSAFlag等于1可以指示样本组是时间子层访问TSA样本。否则，typeTSAFlag等于0可以指示样本分组是步进式时间子层访问STSA样本。备选地，也可以与时间层样本组条目一起发信号通知具有预定义的值来区分TSA和STSA样本的一些其它标志和指示符。

返回到图1，比特流110中可以包括编码数据。编码器104可以基于输入图片106生成开销信令。应当注意的是，在一些配置中，编码器104中可以包括STSA样本分组模块108。

在一些配置中，STSA样本分组模块108可以发送或者与一个或多个电子设备共用STSA样本分组。在一个示例中，电子设备A 102a可以向电子设备B 102b发送一个或多个STSA样本分组。可以以ISO基础媒体文件格式来发送STSA样本分组。以ISO基础媒体文件格式来生成STSA样本分组的一个好处可以包括将STSA样本明显地标记和/或标志为属于特定的样本分组。

编码器104(以及例如STSA样本分组模块108)可以产生比特流110。比特流110可以包括基于输入图片106的编码数据。在一个示例中，比特流10可以包括基于输入图片106的编码图片。

在一些配置中，编码器104可以包括文件生成器153。编码数据可以作为文件151来存储并传输。例如，文件生成器153可以以文件格式来存储比特流110，例如ISO基础媒体文件格式。因此，如本文中描述的包括在比特流110中的信息可以存储并放入文件151。

在一些配置中，比特流110还可以包括开销数据，例如片首部信息、PPS信息、SPS信息、APS信息、VPS信息等等。比特流110还可以包括其它数据，本文中描述了其中的一些示例。由于对附加输入图片106进行了编码，比特流可以包括一个或多个STSA样本分组。此外或备选地，比特流110可以包括其它编码的数据。

可以向解码器112提供包括比特流信息的比特流110和/或文件151。在一个示例中，可以使用有线或无线连接向电子设备B 102b传输比特流110。在一些情况下，这可以通过网络完成，例如因特网、局域网(LAN)或者用于在设备之间通信的其它类型的网络。

可以类似地向电子设备102b传输文件151。此外，可以通过多种方式向电子设备102b提供文件151，例如，文件151可以从服务器复制、在存储介质上邮寄、以电子方式传输、在消息中发送等等。

如图1所示，解码器112可以与电子设备A 102a上的编码器104分开在电子设备B102b上实现。应当注意的是，在一些配置中，编码器104和解码器112可以在相同的电子设备上实现。例如，解码器112可以是假想参考解码器(HRD)。在编码器104和解码器112在相同电子设备上实现的实现中，例如，可以以多种形式使得比特流110可被用于解码器。例如，可以在总线上向解码器112提供比特流110，或者可被存储在存储器中供解码器112检索。解码器112可以用硬件、软件或二者的组合来实现。在一种配置中，解码器112可以是HEVC解码器。

在一些配置中，解码器112可以包括文件解析器155。例如，文件解析器155可以是ISO基础媒体文件格式解析器。文件解析器155可以接收文件151并且获得文件数据。一旦获得了文件数据，解码器112可以以与下文描述的接收比特流数据相同的方式来处理数据。

如图1所示，STSA样本分组接收模块120和文件解析器155可以是解码器112的一部分。在一些配置中，STSA样本分组接收模块120和文件解析器155可以与解码器112分开。例如，STSA样本分组接收模块120和/或文件解析器155可以位于与解码器112分开的电子设备102上。

解码器112可以获得(例如接收)比特流110和/或文件151。解码器112可以基于比特流110和/或文件151来生成一个或多个解码的图片114。

解码图片114可以包括一个或多个解码的图片，并且可以显示、回放、存储在存储器中和/或向其它设备传输等等。解码器112可以包括STSA样本分组接收器模块120。STSA样本分组接收器模块120可以使电子设备B 102b能够从比特流110中获得STSA样本分组。样本分组中的STSA样本可以帮助解码器112对解码图片114进行解码。STSA样本可以包括在用于对编码图片114进行解码的解码顺序中是连续的NAL单元的集合。

电子装置B 102b也可以在比特流110和/或文件151上执行一个或多个操作。在一个示例中，可以基于STSA样本分组是否存在来对比特流110和/或文件151执行操作或处理。在一些配置中，在电子设备B 102b上的解码器112或其它单元可以对比特流110和/或文件151执行操作。此外，也可以对比特流110和/或文件151执行其它操作。

在一些配置中，电子设备B 102b可以输出解码图片114。在一个示例中，解码图片114可以向其它设备传输或者传输回电子设备A 102a。在一个配置中，可以存储解码图片114或者相反将解码图片保持在电子设备B 102b上。在另一个配置中，电子设备B 102b可以显示解码图片114。在另一个配置中，基于对比特流110执行的操作，解码图片114可以包括具有不同特性的输入图片106的元素。在一些配置中，解码图片114可以以与输入图片106不同的分辨率、格式、特性或其它属性包括在图片和/或样本流中。

应当注意的是，电子设备102中包括的一个或多个单元或部件可以以硬件的方式实施。例如，这些单元或部件中的一个或多个可以作为芯片、电路或硬件组件等等来实施。还应当注意的是，可以使用硬件来实施本文描述的一个或多个功能或方法。例如，可以使用芯片集、应用专用集成电路(ASIC)、大规模集成电路(LSI)或集成电路等等来实现和/或实施本文描述的一个或多个方法。

图2是示出了编码结构的两个示例的框图。示例A 230a示出了当使用时间子层访问(TSA)图片228时的编码结构。在一些情况下，时间层访问图片可以称为时间子层访问(TSA)图片。示例B 230b示出了当使用一个或多个步进式时间子层访问(STSA)图片229a-b时的编码结构。

示例A 230a中的水平访问表示在编码结构中的图片的输出顺序222a。输出顺序可以从零开始并向上计数(例如，从左向右)，并且可以标识编码结构中的相应图片。通过示例的方式，示例A 230具有分别与图片0-16相对应的从0-16的输出顺序222a。

示例A 230a中，垂直访问表示时间层218(例如时间子层或子层)。每个时间层218a-n可以包括一个或更多个图片。同一时间层218上的每个图片可以具有相同的时间标识符。例如，时间层A 218a上的全部图片可以具有等于0的temporal_id，时间层B 218b上的全部图片可以具有等于1的temporal_id，时间层C18c上的全部图片可以具有等于2的temporal_id，时间层N 218n上的全部图片可以具有等于N-1的temporal_id等。

如示例A 230a中所示，存在多个时间层218a-n。例如，可以存在2个、3个、4个、8个、16个等等的时间层218。在HEVC基础特性的情况下，可以存在多达8个时间层。每个时间层218可以包括不同数量的图片。在一些配置中，以分层的形式组织时间层218。基层(例如，时间层A 218)之上的每个更高的时间层218，可以包括与先前较低的时间层218相比更多的图片。例如，时间层N 218n可以包括时间层C 218c包括的图片的两倍那么多的图片，并且时间层C 218c可以包括时间层B 218b包括的图片的两倍那么多的图片。具有更多数量的图片的更高时间层218可以向解码图片提供更高的帧速率。因此，在更高的时间层218可以解码更大数量的图片。

每个时间层218可以具有各种图片、片类型以及样本分组类型。例如，时间层A218a可以具有：具有帧内预测片(I-片)的图片和具有预测片(P-片)的图片。时间层C 218c可以具有带有双预测片(B-片)的图片。时间层B 218b可以具有带有P片的图片和带有B-片的图片。

在示例A230a中，示出了TSA图片228。例如，TSA图片228可以是在输出顺序222a中的第12个图片。TSA图片可以是瘦随机存取(CRA)图片和/或时间层切换点。

电子设备102可以使用由TSA图片228指示的时间层切换功能以在时间层218之间切换。例如，电子设备102可以使用时间层切换点来指示时间层A218a和时间层B 218b或时间层B之上的任何时间层(即时间层C、...、时间层N)之间的切换。因此，电子设备102可以在TSA图片228处开始对任何较高的时间层进行解码。

示例B 230b示出了当使用一个或多个步进式时间子层访问(STSA)图片299a-b时的编码结构。STSA图片229a-b可以在时间层219之间交错排列。换句话说，STSA图片229a-b可以位于不同的时间层上。例如，STSA图片229a可以在时间层B 219b上，并且STSA图片229b可以在时间层C 219c上。在图2的示例B 230b中，STSA229a和STSA 229b分别作为以输出顺序222b示出的图片4和10。

STSA图片229可以是与STSA样本组相关联的图片。例如，STSA图片229可以是与在解码顺序中连续的NAL单元的集合相关联的编码图片。

示例B 230b包括时间层291a-n以及类似于对应的时间层218a-n的输出顺序222b和结合图2的示例A 230a描述的输出顺序222a。例如，示例B 230b可以具有以0-16的输出顺序222b输出的图片。

每个时间层291a-n可以包括一个或多个图片。相同时间层219上的每个图片可以具有相同的时间标识符。例如，在时间层B 219b上的所有图片可以具有相同的temporal_id。可以以分层的方式来组织时间层219a-n，在所述方式中，基层以上的每个更高的时间层219(例如时间层A 219a)具有比更低的时间层219更多的图片。例如，时间层N 219n可以具有8个图片，而时间层B 218b可以具有2个图片。具有更大数量的图片的更高的时间层219可以向解码的图片提供更高的帧速率。

在示例B 230b中，示出了STSA图片229a-b。例如，STSA图片229a可以是输出顺序222b中的第4个图片。具有STSA样本分组的STSA图片编码结构可以提供属于STSA样本分组的STSA样本的清晰的标志或标记。例如，STSA图片229可以指示下一个时间层切换点将在什么时候出现在相同的时间层(例如时间层B 219b)。这可以有益于确定什么时候适应性切换到新的时间层。

在对来自时间层A 219a和时间层B 219b的图片进行解码期间，电子设备102可以接收STSA图片229b的指示。STSA图片229b可以向电子设备102指示步进式时间子层切换点。在这点，电子设备102可以开始接收时间层C 219c图片(或停止丢弃时间层C 219c图片)并且可以开始对时间层A 291a、时间层B 219b和时间层C 219c图片进行解码。通过这种方式，当电子装置102接收STSA图片229b时，电子装置102可以确定什么时候适应性切换到新的时间层219。

此外，STSA图片229可以指示下一个时间层上切换点(即针对例如时间层C 219c的更高的时间层ID、的STSA样本)什么时候将会出现在更高的时间层。这可以有益于允许以步进式方式选择期望的帧速率以及允许时间上切换。

例如，在多个时间层219中使用STSA图片229允许以步进方式选择期望的帧。例如，“F”赫兹(Hz)可以表示全帧速率。在该示例中，使用了所有的时间层219a-n，并且每个时间层219a-n可以表示不同的帧速率。时间层A 219a、时间层B 219b、时间层C 219c和时间层N219n可以分别具有0、1、2、3的时间ID。全帧速率使用全部的时间层219。换句话说，F Hz的全帧速率使用具有等于0、1、2、3的temporal_id的所有图片。通过示例的方式，这可以包括示例B 230b中示出的所有16个图片。

然而，在一些实例中，可以使用子流(即帧的子集或小于全帧速率)。例如，只使用0、1、2的temporal_id的子流可以使用由F/2Hz表示的全帧速率的一半。例如，这种方式可以包括示例B 230b中示出的时间层A219a至时间层C 219c中的所有图片，或者8个图片。

只使用0和1的temporal_id的子流可以使用由F/4Hz表示的全帧速率的四分之一。例如，这可以包括示例B 230b中示出的时间层A 219a至时间层B 219b中的所有图片，或者4个图片。

只使用0的temporal_id的子流可以使用由F/8Hz表示的全帧速率的八分之一。例如，这种方式可以仅包括示例B 230b中示出的时间层A 219a中的图片，或者2个图片。

在一些配置中，可用带宽可以确定电子设备102可以传输全帧速率(如F Hz)或部分帧速率(如F/2Hz、F/4Hz、F/8Hz)。因此，每个时间层219a-n和相应的时间标识符可以作为其自身的多播组来分别传输。

在一些配置中，最低的帧速率(如F/8Hz)作为多播组首先传输。此外，更高的帧速率(如F/4Hz、F/2Hz和F Hz)可以分别作为附加的多播组来传输。例如，电子设备102可以开始时接收包括只具有时间层A 219a图片(如temporal_id＝0)的多播组子流(F/8Hz)的比特流110。随后，比特流110可以开始附加地包括具有时间层A 219a和时间层B 219b图片(如temporal_id＝1和2)的多播组子流(F/4Hz)。然而，电子设备102不能立即开始对时间层B219b图片进行解码。相反，电子设备102必须丢弃时间层B 219b图片。

在接从时间层A 219a和时间层B 219b接收图片期间，电子设备102可以接收STSA图片229a的指示。例如，该指示可以是指示STSA图片229a的NAL单元类型或STSA的样本分组指示。STSA图片229a可以向电子设备102指示步进式时间子层切换点。在这点，电子设备102可以开始对时间层A 219a和时间层B 219b二者的图片进行解码。

电子设备102可以继续从附加的时间层219接收图片，例如时间层C 219c和时间层N 219n中的图片。伴随附加的时间层219，电子设备102可以接收附加的STSA图片229(如STSA图片229b)以指示附加的步进式时间子层切换点。因此，电子设备102可以使用STSA图片229作为时间子层切换点，切换至全帧速率F Hz。因此，以这种方式，STSA图片229允许以步进方式选择期望的帧速率。

图3是示出电子设备302上的编码器304和STSA样本分组模块308的一种配置的框图。电子设备302可以是上文结合图1描述的电子设备102的一个示例。例如，电子设备302和编码器304可以与图1的电子设备A 102a和编码器104相对应。如图3所示，STSA样本分组模块308可以与编码器304分开。在其它配置中，STSA样本分组模块308可以是编码器304的一部分。

示出为包括在电子设备302中的一个或更多个单元可以以硬件、软件或二者的组合来实现。电子设备302可以包括编码器304，所述编码器304可以以硬件、软件或二者的组合来实现。编码器304可以作为电路、集成电路、应用专用集成电路(ASIC)、与具有可执行指令的存储器进行电子通信的处理器、固件、现场可编程门阵列(FPGA)等，或其组合来实现。在一些配置中，编码器304可以是HEVC编码器。编码器304可以基于ISO基础媒体文件格式来进行编码。

电子设备302可以包括源334。源334可以向编码器304提供作为输入图片306的图片或图像数据(如视频)。源334的示例可以包括图像传感器、存储器、通信接口、网络接口、无线接收器、端口等。

可以向帧内预测模块和重构缓冲器340提供一个或更多个输入图片306。还可以向运动估计和运动补偿模块366以及减法模块346提供输入图片306。

帧内预测模块和重构缓冲器340可以基于一个或更多个输入图片306和重构数据380来生成帧内模式信息358和帧内信号342。运动估计和运动补偿模块366可以基于一个或更多个输入图片306和参考图片缓冲器396的参考图片缓冲器输出信号398来生成帧间模式信息368和帧间信号344。在一些配置中，参考图片缓冲器396可以包括来自参考图片缓冲器396中的一个或多个参考图片的数据。

编码器304可以根据模式在帧内信号342和帧间信号344之间进行选择。在帧内编码模式中，为了利用图片内的空间特性，可以使用帧内信号342。在帧间编码模式中，为了利用图片之间的时间特性，可以使用帧间信号344。在处于帧内编码模式期间，可以向减法模块346提供帧内信号342，并且可以向熵编码模块360提供帧内模式信息358。在处于帧间编码模式期间，可以向减法模块346提供帧间信号344，并且可以向熵编码模块360提供帧间模式信息368。

在减法模块346处，从输入图片306中减去帧内信号342或帧间信号344(取决与模式)，以产生预测残差348。可以向变换模块350提供预测残差348。变换模块350可以压缩预测残差348以产生变换的信号352，可以向量化模块354提供该变换的信号352。量化模块354对该变换的信号352进行量化，以产生变换且量化的系数(TQC)356。

可以向熵编码模块360和反量化模块370提供TQC 356。反量化模块370对TQC 356执行反量化以产生反量化的信号372，可以向反变换模块374提供该反量化的信号372。反变换模块374对反量化后的信号372进行解压缩，以产生解压缩的信号376，可以向重构模块378提供该解压缩的信号376。

重构模块378可以基于解压缩的信号376来产生重构数据380。例如，重构模块378可以对图片进行重构(修改)。可以向去块滤波器382提供重构数据380，并且向帧内预测模块和重构缓冲器340提供重构数据380。去块滤波器382可以基于重构数据380来产生滤波的信号384。

可以向采样自适应偏移(SAO)模块386提供滤波的信号384。SAO模块386可以产生向编码模块360提供的SAO信息388和向自适应环路滤波器(ALF)392提供的SAO信号390。ALF392产生向参考图片缓冲器396提供的ALF信号394。ALF信号394可以包括来自可用作参考图片的一个或更多个图片的数据。

熵编码模块360可以对TQC 356进行编码并且向NAL单元模块提供输出，以产生比特流A 310a或其它信号。此外，熵编码模块360可以使用上下文自适应可变长度编码(CAVLC)或上下文自适应二进制算术编码(CABAC)来对TQC 356进行编码。具体地，熵编码模块360可以基于帧内模式信息358、帧间模式信息368和SAO信息388中的一个或多个来对TQC356进行编码。

在一些配置中，NAL单元模块324可以生成NAL单元的集合。例如，NAL单元可以用于对编码图片(如STSA图片)进行解码。例如，NAL单元模块324可以将具有5和/或6类型值的NAL单元(如上文中表1所示)与STSA图片329相关联。

在一些配置中，比特流A 310a可以包括编码的图片数据。在一个示例中，在比特流A 310a从电子设备302发送或者作为比特流B 110b向其它电子设备102发送之前，比特流A310a向STSA样本分组模块308传递。

在视频压缩(例如HEVC)中涉及的量化是通过将范围值压缩到单一量化值而实现的有损压缩技术。量化参数(QP)是用于基于重构视频和压缩比例二者来执行量化的预定缩放参数。块类型是在HEVC中定义的、用于基于块的大小及其颜色信息来表示给定的块的特性。可以在熵编码之前确定QP、分辨率信息和块类型。例如，电子设备302(如编码器304)可以确定QP、分辨率信息和块类型，其可被提供给熵编码模块360。

熵编码模块360可以基于TQC 356的块来确定块的大小。例如，块的大小可以是沿TQC的块的一个维度上的TQC 356的数量。换句话说，TQC块中的TQC 356的数量可以等于块大小的平方。例如，块大小可确定为TQC块中的TQC 356的数量的平方根。分辨率可以定义为像素宽度乘以像素高度。分辨率信息可以包括针对图片宽度，针对图片高度，或者针对这二者的像素数目。块大小可以定义为沿TQC的2D块的一个维度的TQC 356的数量。

在一些配置中，电子设备302中包括STSA样本分组模块308。STSA样本分组模块308可以提供构造和分组机制以指示作为STSA样本的访问单元的识别。

NAL单元模块324可以向STSA样本分组模块308发送比特流A 310a或包含一个或多个图片的其它信号。STSA样本分组模块308可以处理STSA样本分组330和对应的STSA图片329。在这种情况下，帧内预测模块和重构缓冲器340、变换模块350、量化模块354、熵编码模块360、运动估计和运动补偿模块366已经对STSA图片329进行了编码，使得在解码顺序中连续的NAL单元集与STSA样本分组330中的STSA图片329相关联。

在一些配置中，STSA样本分组模块308可以生成与编码的输入图片306有关的NAL单元类型集。编码的输入图片306可以是编码的STSA图片329。

此外，STSA样本分组模块308可以修改或产生与比特流B 310b或文件(未示出)一起发送的NAL单元类型集，所述比特流B 310b或文件可以存储在电子设备302上或向其它电子设备102发送。STSA样本分组330还可以包括一个或多个样本。所述样本可以是STSA样本。STSA样本分组330中的每个样本可以包括对应的STSA图片329。

通过这种方式，可以向其它电子设备102提供STSA样本的清晰标志和/或标记。此外，STSA样本分组330可以提供允许在样本中简单的识别时间层切换点。

STSA样本分组模块308还可以包括用于生成与输入图片306相关联的一个或多个STSA样本分组330的各种模块或子模块。例如，STSA样本分组模块308可以包括用于使用与输入图片306相关联的STSA样本分组330来生成STSA图片329的ISO基础媒体文件格式模块326或其它模块。

ISO基础媒体文件格式模块326可以帮助STSA样本分组模块308对STSA样本分组330进行构造。ISO基础媒体文件格式模块326可以向其它模块提供ISO基础媒体文件格式信息。例如，ISO基础媒体文件格式模块326可以向NAL单元模块324提供ISO基础媒体文件格式化。

作为另一个示例，ISO基础媒体文件格式模块326可以向编码器304中的各种模块提供ISO基础媒体文件格式化，以允许ISO基础媒体文件格式化扩展到HEVC编码。通过这种方式，编码器304可以使用ISO基础媒体文件格式来发信号通知HEVC STSA样本。

在一些配置中，可以向其它电子设备102传输比特流B 310b或文件(未示出)。例如，可以向通信接口、网络接口、无线发射器、端口等提供比特流B 310b或文件351。例如，可以通过LAN、因特网、蜂窝电话基站等向其它电子设备102传输比特流B 310b或文件351。比特流B310b或文件351可以额外地或备选地存储在电子设备302上的存储器或其它组件中。

图4是示出了用于发信号通知步进式时间子层访问(STSA)样本分组的方法400的一种配置的流程图。电子设备302可以对STSA样本分组330进行编码402。STSA样本分组330可以对应于由电子设备302获得的输入图片306或输入图片306的流中的一个。

对STSA样本分组330进行编码402可以包括将输入图片306表示为数字数据。例如，对STSA样本分组330进行编码402可以包括生成表示输入图片306的特性(例如，颜色、亮度、空间位置等)的比特串。在一些情况下，输入图片306可以编码为STSA图片329。一个或多个编码的STSA图片329和/或STSA样本分组330可以包括在比特流310中，并且可以向包括解码器112的另一个电子设备102发送。

电子设备302可以发送404 STSA样本分组330。发送404 STSA样本分组330可以包括在电子设备102的组件之间传输数据(如比特流310或文件351)，或者在一个或更多个电子设备102之间传输比特流310或文件351。在文件351的情况下，STSA样本分组可以存储在文件351中，并且可以向电子设备102发送404文件351。

在一个示例中，电子设备302上的编码器304可以向电子设备102发送包括一个或多个STSA图片329和/或一个或多个样本分组330的比特流310。在一些配置中，可以向电子设备B 102b上的解码器112发送比特流310。例如，可以以ISO基础媒体文件格式对STSA样本分组330进行构造，并且可以在NAL单元运输中发送所述STA样本分组330。

图5是示出了发信号通知步进式时间子层访问(STSA)样本分组方法500的更具体配置的流程图。电子设备302可以获得502 STSA图片329。例如，输入图片306可以是STSA图片329。电子设备302可以基于STSA图片来确定504 NAL单元集。

电子设备302可以生成506包括NAL单元集和对应的STSA图片329的样本分组330。电子设备302可以基于(如使用)ISO基础媒体文件格式来对STSA样本分组330进行编码508，其中所述ISO基础媒体文件格式已经扩展以支持HEVC视频流。例如，电子设备302可以将输入图片306编码为与STSA样本分组330相对应的STSA图片329。如上文中有关图4的描述，电子设备302可以对STSA图片329进行编码508。

在一些配置中，STSA样本分组330还可以包括类型TSA标记。类型TSA标记可以指示样本分组330中的样本是TSA样本还是STSA样本。类型TSA标记可以是typeTSAFlag。例如，typeTSAFlag等于1可以指示样本分组是TSA样本。否则，typeTSAFlag等于0可以指示样本分组是STSA样本。

可以以ISO基础媒体文件格式对编码的STSA图片和/或对应的STSA样本分组330进行构造。例如，表2到表4提供了可以用于以ISO基础媒体文件格式对STSA样本分组330进行构造的ISO基础媒体文件格式语法的示例，例如使用样本组描述框(SGPD)。例如，表3示出了步进式时间子层样本组条目的示例。在表3中，样本组可以用于对STSA样本进行标记。

在一些配置中，STSA样本分组330可以以步进式的方式指示期望的帧速率，并且可以用于时间上切换。例如，STSA样本分组330可以提供附加语法，该附加语法可以提供了解下一个时间层上切换点(即针对更高时间ID的STSA样本)什么时候将会出现在更高的时间层的能力。在一些配置中，STSA样本分组330可以指示具有高于样本的时间层的时间ID的时间ID的所有更高的时间层。

在一些配置中，STSA样本分组330可以指示什么时候适应性切换到新的时间层。例如，STSA样本分组330可以提供附加的语法，该附加的语法提供了解下一个时间层切换点什么时候将会出现在相同的时间层的能力。

还可以对ISO基础媒体文件格式进行扩展以支持HEVC视频流。通过这种方式，在仍然合并HEVC的优点和功能的同时，STSA样本分组330可以以ISO基础媒体文件格式来格式化。

电子设备302可以发送510 STSA样本分组330。例如，可以在NAL单元运输中发送STSA样本分组330。NAL单元运输可以包括按照连续的解码顺序的NAL单元集并且包括一个编码的图片。例如，NAL单元运输可以包括编码的STSA图片329。

发送STSA样本分组330可以包括在电子设备102的组件之间传输数据(即比特流310或文件351)，或者包括在一个或多个电子设备102之间传输比特流310和/或文件351。此外，发送510 STSA样本分组330可以包括在一个或多个电子设备102之间传输数据的其它类似的方法。在发送文件351的情况下，在文件351中可以存储NAL单元中的STSA样本分组，并且可以向电子设备102发送510文件351。

图6是示出了电子设备602上的解码器612和STSA样本分组接收模块620的一种配置的框图。电子设备602和解码器612可以是结合图1描述的电子设备102和解码器112的一个示例。如图6所示，STSA样本分组接收模块620可以与解码器612分开。在其它配置中，STSA样本分组接收模块620可以是解码器612的一部分。

电子设备612可以接收比特流610。例如，STSA样本分组接收模块620可以接收比特流A 610a和/或文件651。应当注意的是，虽然图6涉及的是电子设备602从比特流610接收并处理数据，电子设备也可以从文件651接收并处理数据。例如，文件651可以包括以ISO基础媒体文件格式存储的比特流数据。

在一种配置中，比特流A 610a和/或文件651可以包括或伴随有一个或多个STSA样本分组630。STSA样本分组630可以包括对应的STSA图片629。STSA样本分组接收模块620可以提供构造和分组机制以(例如向解码器612)指示作为STSA样本的访问单元的识别。

在另一种配置中，电子设备602接收比特流A 610a和/或文件651，并且通过STSA样本分组接收模块620来发送比特流A 610a和/或文件651以产生比特流B 610b。STSA样本分组接收模块620可以获得STSA样本分组630。样本分组630可以包括编码的图片和由解码器612用来对编码的图片进行解码的NAL单元集。

STSA样本分组接收模块620可以对在电子设备602获得的标记的和/或标志的STSA样本进行识别。STSA样本分组630还可以允许样本中的时间层切换点的简单的识别。

STSA样本分组接收模块620可以包括用于接收STSA图片629的各种模块或子模块，以及/或者来自比特流610和/或文件651的样本分组630。例如，STSA样本分组接收模块620可以包括NAL单元模块624、ISO基础媒体文件格式模块626或其它模块，用来在通过解码器612的某些单元之前从比特流610和/或文件651接收样本分组630和/或STSA图片629。STSA样本分组接收模块620还可以包括由解码器612解码的STSA样本分组330和/或STSA图片629。

在一些配置中，NAL单元模块624可以帮助解码器612从比特流A 610a和/或文件651获得NAL单元类型。例如，NAL单元集可以与STSA图片629相关联。

在一个配置中，NAL单元模块624可以接收NAL单元集，并且向解码器612提供NAL单元类型。在一些实例中，NAL单元模块624可以向位于解码器612中的NAL单元模块624a提供NAL单元类型。例如，NAL单元模块624可以获得与接收的编码的STSA图片629有关的、具有5和/或6的类型值的NAL单元(如上文表1中所示)，并且向NAL单元模块624a提供NAL单元值。

NAL单元模块624还可以获得用于传输关于STSA样本分组630和/或STSA图片629的数据的NAL单元运输。例如，可以以ISO基础媒体文件格式对STSA样本分组630进行构造，并且在NAL单元的运输中的比特流610和/或文件651中接收所述STSA样本分组630。

ISO基础媒体文件格式模块626可以帮助STSA样本分组接收模块620获得STSA样本分组630。可以以ISO基础媒体文件格式对一个或多个接收的样本分组进行构造。

ISO基础媒体文件格式模块626还可以向其它模块提供ISO基础媒体文件格式信息。例如，ISO基础媒体文件格式模块626可以向NAL单元模块624提供ISO基础媒体文件格式化，以帮助NAL单元模块624获得NAL单元类型。作为另一个示例，ISO基础媒体文件格式模块626可以向解码器612中的各种模块提供ISO基础媒体文件格式化，以允许ISO基础媒体文件格式扩展到HEVC解码。通过这种方式，解码器612可以通过使用ISO基础媒体文件格式化来对HEVC STSA样本进行解码。

电子设备602中可以包括解码器612。例如，解码器612可以是HEVC解码器和/或ISO基础媒体文件格式解析器。例如，解码器612还可以基于ISO基础媒体文件格式对HEVC文件进行解码。解码器612和/或示出的包括在编码器612中的一个或多个单元可以以硬件、软件或硬件与软件两者的结合来实现。

解码器612可以从STSA样本分组接收模块620接收比特流B 610b(如包括在比特流B 610b中的一个或多个编码的图片)。应当了解的是，来自STSA样本分组接收模块620的比特流B 610b包括由电子设备602接收的作为比特流A 610a和/或文件651的图片数据。换句话说，比特流B 610b数据可以基于从比特流A 610a和/或文件651获得的数据。

在一些配置中，接收的比特流B 610b可以包括接收的开销信息，例如接收的片头、接收的PPS、接收的缓冲描述信息等等。包括在比特流B 610b中的编码的图片可以包括一个或多个编码的参考图片和/或一个或多个其它编码图片。

接收的符号(在比特流B 610b中包括的一个或更多个编码图片中)可以由熵解码模块668来进行熵解码，由此产生运动信息信号670和量化且缩放后的和/或变换后的系数672。

在动作补偿模块674处，运动信息信号670可以与来自帧存储器678的参考帧信号698的一部分进行结合，其可以产生帧间预测信号682。量化、去缩放后的和/或变换后的系数672可以由反模块662进行反量化、缩放和反变换，由此产生解码的残余信号684。解码的残余信号684可以添加到预测信号692以产生组合信号686。预测信号692可以是从由运动补偿模块674产生的帧间预测信号682或备选地由帧内预测模块688产生的帧内预测信号690中选择的信号。在一些配置中，这种信号选择可以基于比特流610和/或文件651(如由比特流610和/或文件651来控制)。

帧内预测信号690可以根据来自组合信号686的先前解码出的信息进行预测(如在当前帧中)。组合信号686也可以由去块滤波器694进行滤波。所得到的滤波后的信号696可以写入帧存储器678。所得到的滤波后的信号696可以包括解码图片。

帧存储器678可以包括与解码图片相对应的开销信息。例如，帧存储器678可以包括片头、参数信息、循环参数、缓冲器描述信息等。可以从编码器(例如，编码器104)发信号通知这些信息中的一条或更多条。帧存储器678可以提供解码图片618或者其它输出信号。

在一些配置中，解码器612可以包括NAL单元模块624b。NAL单元模块624b可以从位于STSA样本分组接收模块620中的NAL单元模块624接收NAL单元信息。NAL单元模块624b可以向熵解码模块668或解码器612中的另一组件提供NAL单元信息。来自NAL单元模块624b的NAL单元信息可以帮助解码器612对编码的图片进行解码。

图7是示出了用于接收步进式时间层访问(STSA)样本分组的方法700的一种配置的流程图。电子设备602可以接收702比特流610和/或可记录的存储媒介，例如文件651。接收702比特流610和/或文件651可以包括获得、读取或以其它方式访问比特流610。在一些配置中，比特流610和/或文件651可以是从相同电子设备或不同电子设备102上的编码器104接收的。例如，电子设备B 102b可以从电子设备A 102a上的编码器104接收比特流110和/或文件651。

在一些配置中，电子设备602可以包括接收比特流610和/或文件651的解码器612。比特流610和/或文件651可以包括基于一个或更多个输入图片106的编码数据。

电子设备602可以获得704STSA样本分组630。STSA样本分组630可以包括一个或多个样本。电子设备602可以从比特流610和/或文件651获得STSA样本分组630。换言之，比特流610和/或文件651可以包括STSA样本分组630。STSA样本分组630可以包括NAL单元集和对应的编码的STSA图片629。

电子设备602可以对STSA样本分组630进行解码706。例如，解码器612可以对比特流610和/或文件651的一部分进行解码706，以产生样本分组630。如上所述，STSA样本分组630可以提供属于STSA样本分组630的STSA样本的清晰标记和/或标志。通过这种方式，电子设备602可以容易地识别STSA样本中的时间层切换点。

电子设备602可以基于STSA样本分组630对当前图片进行解码708。例如，解码器612可以基于STSA样本分组630对比特流610和/或文件651的一部分进行解码708，以产生当前图片。在一些情况下，被解码的当前图片可以是STSA图片629。可以如上所述由解码器612对当前图片进行解码。

图8是示出了接收步进式时间层访问(STSA)样本分组的方法800的更具体的配置的流程图。电子设备602可以接收802比特流610和/或文件651。可以如上文结合图7所述那样接收比特流610和/或文件651。例如，电子设备B 102b可以从电子设备A 102a上的编码器104接收802比特流610和/或文件651。

电子设备602可以获得804STSA样本分组630。电子设备602可以从比特流610和/或文件651获得STSA样本分组630。换言之，比特流610和/或文件651可以包括STSA样本分组630。所述STSA样本分组630可以包括一个或多个样本。

在一些配置中，可以在例如NAL单元运输的ISO基础媒体文件格式中构造样本分组630。电子设备602可以接收NAL单元运输，并且获得样本分组630。表2到表4提供了ISO基础媒体文件格式语法的示例，当例如使用样本组描述框(SGPD)在ISO基础媒体文件格式中接收时，可以构造样本分组630。例如，表3示出了步进式时间子层样本组条目的示例。在表3中，可以使用样本分组来对STSA样本进行标记。

电子设备602可以从STSA样本分组630获得806NAL单元集和对应的编码的STSA图片629。NAL单元集和对应的编码的STSA图片629可以打包在样本分组630中。NAL单元集可以按照连续的解码顺序。

在一些配置中，电子设备602可以获得类型TSA标记。例如，STSA样本分组630还可以包括类型TSA标记。类型TSA标记可以指示STSA样本分组630中的样本是TSA样本还是STSA样本。类型TSA标记可以是typeTSAFlag。例如，typeTSAFlag等于1可以指示样本分组是TSA样本。否则，typeTSAFlag等于0可以指示样本分组是STSA样本。

电子设备602可以基于STSA样本分组630中的NAL单元集来对对应的编码的STSA图片629进行解码808。电子设备602还可以从STSA样本分组630接收对应于时间子层切换的指示。例如，STSA样本分组630可以指示以步进方式的期望的帧速率以及用于时间上切换。作为其它示例，STSA样本分组630可以提供附加的语法，所述语法可以提供了解下一个时间层上切换点(即针对更高的时间ID的STSA样本)什么时候将会出现在更高的时间层。在一些配置中，STSA样本分组630可以指示具有比样本的时间层的时间ID更高的时间ID的所有更高的时间层什么时候将会出现。在这些示例和配置中的每一个中，STSA样本分组630可以指示并且包括一个或多个STSA样本。

电子设备602可以基于STSA图片629对当前图片进行解码810。例如，解码器612基于STSA图片629对比特流610和/或文件651进行解码810，以产生当前图片。

在当前图片是STSA图片629时，RefPicSetStCurrBefore、RefPicSetStCurrAfter或RefPicSetLtCurr中可能不会包含具有与当前图片的Temporal_id相等的Temporal_id的图片。在当前图片在解码顺序中位于具有与当前图片的Temporal_id相等的Temporal_id的STSA图片629后面时，RefPicSetStCurrBefore、RefPicSetStCurrAfter或RefPicSetLtCurr中可能不会包含具有与当前图片的Temporal_id相等的Temporal_id的、在解码顺序中位于STSA图片前面的图片。

如上所述，STSA样本分组630和/或STSA图片629可以允许解码器612在对当前图片进行解码时存储并使用附加参考图片。使用STSA样本分组630可以提供属于STSA样本分组的STSA样本的清晰标记和/或标志。在这种方式中，电子设备602可以容易地识别样本中的时间层切换点。

图9是示出了其中可以实现发信号通知步进式时间子层访问(STSA)样本分组的系统和方法的电子设备902的一种配置的框图。电子设备902可以包括比特流910、文件951、编码装置935、发送装置937和存储装置957。编码装置935、发送装置937和存储装置957可被配置为：执行结合图4、图5和本文描述的其它附图中的一个或更多个图所描述的一个或更多个功能。下面的图11示出了图9的具体装置结构的一个示例。可以实施用于实现图1和图3的功能中的一个或更多个功能的其它各种结构。例如，可以由软件实现DSP。

图10是示出其中可以实现用于接收步进式时间子层访问(STSA)样本分组的系统和方法的电子设备1002的一种配置的框图。电子设备1002可以包括比特流1010、文件1051、接收装置1039和解码装置1041。接收装置1039和解码装置1041可被配置为执行结合图7、图8和本文所述的其它附图来描述的一个或更多个类似功能。下面的图12示出了图10的具体装置结构的一个示例。可以实现用于实现图1和图6的功能中的一个或更多个功能的其它各种结构。例如，可以通过软件实现DSP。

图11是示出可以在发送电子设备1102中使用的各种组件的框图。可以根据图11中示出的发送电子设备1102，实现本文描述的电子设备102、302、602、902和1002中的一个或更多个。

发送电子设备1102包括控制发送电子设备1102的操作的处理器1117。处理器1117可以称为计算机处理单元(CPU)。存储器1111向处理器1117提供指令1113a(例如，可执行指令)和数据1115a，所述存储器1111可以包括只读存储器(ROM)、随机存取存储器(RAM)或可以存储信息的任何类型的设备。存储器1111的一部分还可以包括非易失性随机存取存储器(NVRAM)。存储器1111可以与处理器1117进行电子通信。

指令1113b和数据1115b还可以驻留在处理器1117中。加载进处理器1117的指令1113b和/或数据1115b还可以包括来自存储器1111的、曾加载供处理器1117执行或处理的指令1113b和/或数据1115b。可以由处理器1117执行指令1113b以实现本文描述的方法400和500中的一个或更多个。

发送电子设备1102可以包括用于与其它电子设备(例如，接收电子设备)进行通信的一个或更多个通信接口1109。通信接口1109可以基于有线通信技术、无线通信技术或二者。通信接口1109的示例包括串行端口、并行端口、通用串行总线(USB)、以太网适配器、IEEE 1394总线接口、小型计算机系统接口(SCSI)总线接口、红外(IR)通信接口、蓝牙无线通信适配器、符合第三代合作伙伴计划(3GPP)规范的无线收发机等等。

发送电子设备1102可以包括一个或更多个输出设备1103和一个或更多个输入设备1101。输出设备1103的示例包括扬声器、打印机等。可以包括在发送电子设备1102中的一种类型的输出设备是显示设备1105。与本文公开的配置一起使用的显示设备1105可以利用任何适合的图像投影技术，例如阴极射线管(CRT)、液晶显示器(LCD)、发光二极管(LED)、气体等离子体、电致发光等等。可以提供显示控制器1107，用于将存储器1111中存储的数据转换为在显示设备1105上示出的文本、图形和/或活动图像(根据需要)。输入设备1101的示例包括键盘、鼠标、麦克风、遥控设备、按钮、操纵杆、轨迹球、触摸板、触摸屏、光笔等。

发送电子设备1102的各种组件通过总线系统1133耦合在一起，其中除了包括数据总线外，总线系统1133还可以包括电源总线、控制信号总线和状态信号总线。然而，为了清楚起见，在图11中各种总线示为总线系统1133。图11中示出的发送电子设备1102是功能模块图而不是具体组件的罗列。

图12是示出可以在接收电子设备1202中使用的各种组件的框图。可以根据图12中示出的接收电子设备1202，实现本文描述的电子设备102、302、602、902和1002中的一个或更多个。

接收电子设备1202包括控制接收电子设备1202的操作的处理器1217。处理器1217还可以称为CPU。存储器1211向处理器1217提供指令1213a(例如，可执行指令)和数据1215a，存储器1211可以包括只读存储器(ROM)和随机存取存储器(RAM)二者，或者可以包括可存储信息的任何类型的设备。一部分存储器1211还可以包括非易失性随机存取存储器(NVRAM)。存储器1211可以与处理器1217进行电子通信。

指令1213b和数据1215b还可以驻留在处理器1217中。加载进处理器1217的指令1213b和/或数据1215b还可以包括来自存储器1211的、曾被加载供处理器1217执行或处理的指令1213a和/或数据1215a。可以由处理器1217执行指令1213b以实现本文描述的方法700和800中的一种或更多种。

接收电子设备1202可以包括用于与其它电子设备(例如，发送电子设备)进行通信的一个或更多个通信接口1209。通信接口1209可以基于有线通信技术、无线通信技术或二者。通信接口1209的示例包括串行接口、并行接口、通用串行总线(USB)、以太网适配器、IEEE 1394总线接口、小型计算机接口(SCSI)总线接口、红外(IR)通信端口、蓝牙无线通信适配器、符合第三代合作伙伴计划(3GPP)规范的无线收发机等等。

接收电子设备1202可以包括一个或更多个输出设备1203和一个或更多个输入设备1201。输出设备1203的示例包括扬声器、打印机等。可以包括在接收电子设备1202中的一种类型的输出设备是显示设备1205。与本文公开的配置一起使用的显示设备1205可以使用任何合适的图像投影技术，例如阴极射线管(CRT)、液晶显示器(LCD)、发光二极管(LED)、气体等离子体、电致发光等等。可以提供显示器控制器1207以便(根据需要)将存储器1211中存储的数据转换为显示设备1205上示出的文字、图形和/或活动图像。输入设备1201的示例包括键盘、鼠标、麦克风、遥控设备、按钮、操纵杆、轨迹球、触摸屏、光笔等等。

接收电子设备1202的各种组件通过总线系统1233耦合在一起，除了包括数据总线之外，总线系统1233还可以包括电源总线、控制信号总线和状态信号总线。然而，为了清楚起见，各种总线在图12中被示为总线系统1233。图12中示出的接收电子设备1202是功能模块图而不是具体组件的罗列。

术语“计算机可读介质”指的是可以通过计算机或处理器访问的任何可用介质。如本文所使用的，术语“计算机可读介质”可以表示非瞬时性的和有形的计算机和/或处理器可读介质。作为示例而非用于限制，计算机可读介质或处理器可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储设备、或者能够用于以指令或数据结构的形式承载或存储所需的程序代码并且可被计算机或处理器访问的任何其它介质。如本文使用的，磁盘或光盘包括压缩盘(CD)、激光盘、光学盘、数字多功能盘(DVD)、软盘和蓝光(注册商标)盘，其中磁盘通常利用磁性再现数据，而光盘利用激光光学地再现数据。

应该注意的是，本文描述的一个或更多个方法可以用硬件实现和/或通过使用硬件来执行。例如，本文描述的一种或更多种方法可以在芯片组、ASIC、大规模集成电路(LSI)或集成电路等等中实施，和/或使用它们来实现。

本文描述的每个方法包括用于实现所描述的方法高的一个或更多个步骤或动作。方法步骤和/或动作可以彼此互换和/或组合成单个步骤，而不偏离权利要求的范围。换言之，除非正被描述的方法的正确操作要求步骤或动作的特定顺序，否则不偏离权利要求的范围的情况下可以对具体步骤和/或动作的顺序和/或使用进行修改。

应当理解的是，权利要求不限于上文示出的精确配置和组件。在不偏离权利要求的范围的情况下，可以对本文描述的系统、方法和装置的布置、操作和细节做出各种修改、改变和变型。

Claims (9)

1.一种用于解码图片的方法，包括：

接收视听比特流；

获得步进式时间子层访问STSA样本分组，

解码STSA样本分组；以及

基于STSA样本分组确定什么时候切换到新的时间层，

其中：

STSA样本分组在样本组描述框SGDP中发送，其中SGDP包括下一个STSA上切换距离参数和下一个STSA样本距离参数。

2.根据权利要求1所述的方法，

其中，所述SGDP包括类型时间切换访问TSA标记。

3.根据权利要求2所述的用于解码图片的方法，其中，类型TSA标记值指示STSA样本分组中的样本是TSA样本或STSA样本。

4.根据权利要求1所述的用于解码图片的方法，其中STSA图片向STSA图片所属的时间层提供时间层切换功能。

5.根据权利要求1所述的用于解码图片的方法，其中所述STSA样本分组包含在ISO基础媒体文件中。

6.根据前述权利要求中任一项所述的方法，其中，所述下一个STSA样本距离参数指示下一个时间层切换点什么时候将出现在同一时间层。

7.根据权利要求1所述的方法，其中，所述下一个STSA上切换距离参数指示下一个时间层上切换点什么时候将出现在更高的时间层。

8.根据权利要求1所述的方法，其中从比特流、从可记录存储介质或从文件获得步进式时间子层访问STSA样本分组。

9.一种用于解码图片的电子设备，包括：

处理器和存储在存储器中的指令，所述指令与处理器进行电子通信，在处理器上执行所述指令以执行方法1至8中任一个的步骤。