[go: up one dir, main page]

CN102907096A - 用于发送和接收分层编码视频的方法和设备 - Google Patents

用于发送和接收分层编码视频的方法和设备 Download PDF

Info

Publication number
CN102907096A
CN102907096A CN201180023568XA CN201180023568A CN102907096A CN 102907096 A CN102907096 A CN 102907096A CN 201180023568X A CN201180023568X A CN 201180023568XA CN 201180023568 A CN201180023568 A CN 201180023568A CN 102907096 A CN102907096 A CN 102907096A
Authority
CN
China
Prior art keywords
slice
layer
enhancement layer
bitstream
pictures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201180023568XA
Other languages
English (en)
Inventor
李昌炫
朴慜祐
赵大星
金大熙
崔雄一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN102907096A publication Critical patent/CN102907096A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

发送和接收分层编码视频，其中，单独对基本层的画面和至少一个增强层的画面进行编码，基于条带将所述基本层的编码画面和所述至少一个增强层的编码画面进行排列，通过将头添加到重新排列的画面来将排列的画面进行打包，并将包作为比特流来发送。

Description

用于发送和接收分层编码视频的方法和设备
技术领域
示例性实施例涉及一种视频编码方法和设备，更具体地讲，涉及一种用于按照分层视频编码方案对画面进行编码并对画面进行解码的方法和设备。
背景技术
数字视频信号需要处理大量的数据。为了在有限带宽或容量的传输介质中有效地发送大量的数字视频数据，视频压缩是必要的。已经开发了许多视频编码器和解码器(CODEC)技术，以对这种大量的视频数据进行压缩。
大多数的视频CODEC技术在逐个宏块的基础上处理视频信号。为了处理，每个宏块被划分为多个像素块。视频编码涉及运动估计、运动补偿、离散余弦变换(DCT)、量化、熵编码等。
无线网络技术、视频CODEC技术和流传输技术的发展已经显著地拓宽了视频点播(VoD)的应用范围。经常看到用户在任何地点任何时间通过智能电话以及互联网协议(IP)电视(IPTV)来享用服务。特别地，随着无线网络技术的发展，无线保真(Wi-Fi)已经很普遍。现在，无线吉比特联盟(WiGig)针对60GHz频带中的多吉比特速度无线通信处于标准化下。WiGig是无线个域网(WPAN)技术之一，可应用于短距离(例如，几米)内的需要几吉比特至几百吉比特的数据通信的领域。例如，WiGig可被用于诸如使用TV作为机顶盒(如膝上型计算机或游戏控制台)的显示器的应用，或者视频到智能电话的快速下载。WiGig可在机顶盒和TV之间相互作用。消费者想要在TV屏幕上查看各种多媒体源以得到从更宽的屏幕而被呈现的感觉。如果该服务被无线地容易地提供而不是通过电缆被提供，则该服务将更具吸引力。
为了在机顶盒和TV之间进行有效的无线相互作用，有一些问题要解决。与有线信道不同，无线信道的可用带宽根据信道环境而变化。另外，由于在机顶盒和TV之间实时发生数据发送和接收，因此除非发送器处理可变带宽，即，发送器在突然变窄的可用带宽中发送数量减少的数据，否则接收器经受数据接收延迟。因此，鉴于数据显示的实时特性没有处理给定的包，由此可能在TV屏幕上显示损坏的视频。为了避免这个问题，可采用分层编码。在分层编码中，视频被编码为具有时间、空间或信号噪声比(信噪比)可扩展性的多个层，从而处理各种实际的发送环境和终端。
发明内容
技术问题
根据分层编码方案，通过单个的编码操作产生一个包括多个层的源。使用单个源可同时支持不同尺寸和分辨率的视频数据，诸如用于数字多媒体广播(DMB)终端、智能电话、便携式多媒体播放器(PMP)和高清晰度TV(HDTV)的视频数据。另外，由于根据接收环境选择性地发送层，因此可在可变的网络环境中增强用户体验。例如，当接收环境的质量下降时，高分辨率层的画面被转换为低分辨率层的画面，以再现。因此，可克服视频中断。然而，传统的特定分层编码和解码方法在要求实时处理的应用中不支持低延迟。
技术方案
示例性实施例的一方面可解决以上问题和/或缺点并提供下面描述的优点。
一个或多个示例性实施例提供一种用于支持低延迟发送的分层视频编码方法和设备。
一个或多个示例性实施例还提供一种用于支持低延迟发送的分层视频解码方法和设备。
根据示例性实施例的一方面，提供一种发送分层编码视频的方法，其中，在分层编码视频中，画面被划分为多个条带，每个条带包括基本层和至少一个增强层，所述方法包括：对所述基本层的画面进行编码并对所述至少一个增强层的画面进行编码；基于条带将所述基本层的编码画面和所述至少一个增强层的编码画面进行排列；通过将头部添加到排列的所述基本层的编码画面和排列的所述至少一个增强层的编码画面，将排列的所述基本层的编码画面和所述至少一个增强层的编码画面进行打包；以及将打包的画面作为比特流发送。
根据另一示例性实施例的一方面，提供一种接收分层编码视频的方法，其中，在分层编码视频中，画面被划分为多个条带，每个条带包括基本层和至少一个增强层，所述方法包括：接收经过编码的比特流，经过编码的比特流包括基于条带排列的所述基本层的编码画面和所述至少一个增强层的编码画面；将接收到的比特流进行解包；基于条带对所述基本层的编码画面和所述至少一个增强层的编码画面进行解码；以及显示所述基本层的解码画面和所述至少一个增强层的解码画面。
根据另一示例性实施例的一方面，提供一种发送分层编码视频的设备，其中，在分层编码视频中，画面被划分为多个条带，每个条带包括基本层和至少一个增强层，所述设备包括：编码器，对所述基本层的画面和所述至少一个增强层的画面进行编码，并基于条带将所述基本层的编码画面和所述至少一个增强层的编码画面进行排列；以及发送器，通过将头部添加到排列的所述基本层的编码画面和排列的所述至少一个增强层的编码画面，将排列的所述基本层的编码画面和所述至少一个增强层的编码画面进行打包，并将打包的画面作为比特流发送。
根据另一示例性实施例的一方面，提供一种接收分层编码视频的设备，其中，在分层编码视频中，画面被划分为多个条带，每个条带包括基本层和至少一个增强层，所述设备包括：发送器，通过将头部添加到排列的所述基本层的编码画面和排列的所述至少一个增强层的编码画面，将排列的所述基本层的编码画面和所述至少一个增强层的编码画面进行打包，并将打包的画面作为比特流发送；解包器，将接收到的比特流进行解包；解码器，基于条带对所述基本层的编码画面和所述至少一个增强层的编码画面进行解码；以及显示单元，显示所述基本层的解码画面和所述至少一个增强层的解码画面。
附图说明
通过下面结合附图进行的详细描述，以上和其他方面将更加清楚，其中：
图1示出分层视频数据的示例；
图2是根据示例性实施例的分层编码设备的框图；
图3示出将分层编码方法应用于无线信道环境的示例；
图4是在WiGig标准中定义的功能框图；
图5是根据示例性实施例的用于使用分层编码方法对比特流进行编码并发送经过编码的比特流的系统的框图；
图6示出当在使用用于基本层CODEC的H.264先进视频编码(AVC)和用于增强层CODEC的分层编码方法的情况下比特流被分为3层且每个画面被划分为四个条带时从应用层输出的比特流；
图7示出在协议适应层(PAL)的基于条带排列的比特流；
图8是示出根据示例性实施例的数据发送操作的流程图；
图9是示出根据示例性实施例的数据接收操作的流程图。
贯穿附图，相同的附图标号将被理解为表示相同的元件、特征和结构。
具体实施方式
将避免对通常已知的功能和结构的详细描述，以不模糊本申请的主题。结合申请的功能来限定下面描述的术语。术语的含义可根据用户、操作者的意图、惯例等而变化。因此，应基于描述而不是说明书来限定术语。
对系统的部件的必要处理主要被划分为编码、发送、接收、解码和显示。如果从对预定单元的宏块进行编码到对宏块进行解码并显示宏块所花费的时间被定义为延迟，则执行每个处理所花费的时间应被最小化以减少延迟。通常，当数据图像被处理时，数据图像在画面级上以连续的过程被编码。由于通常存在一个访问类别，即，分配给电气和电子工程师协会(IEEE)802.11介质访问控制(MAC)和物理(PHY)层中的视频数据的单个队列，因此应在队列中积累多个层的视频数据，以发送编码的数据。因此，当数据被打包时，在延迟方面，基本层的比特流应与增强层的比特流适当地混合。
然而，在分层编码中，由于因上层与下层之间的相关性应在编码和解码期间连续处理数据，因此由于增强层数量而增加的延迟与像素级编码没有关系。这表示上层没有被编码，直到下层被完全编码为止。
可通过数据的并行处理来减少层编码的延迟。层之间的条带级编码使能够进行并行数据处理。除了层之间的条带级编码之外，还应在管道(pipeline)结构中执行数据发送和接收以及数据解码。
在被称为H.264可分级视频编码(SVC)的分层编码方案中，网络适配层(NAL)扩展头包括条带号、dependency_id和层号、3字节的quality_id。字段dependency_id和quality_id是分别指示空间分辨率或粗粒度可扩展性(CGS)和中粒度可扩展性(MGS)的参数。它们对访问单元内的NAL单元的解码顺序施加限制。由于该限制，尽管是基于条带级进行编码，但是数据还应以连续的方式被解码。由此导致的受损管道结构使得难以减少延迟。
因此，示例性实施例提供了一种用于在条带级对分层视频进行编码和解码的方法。
现在，将根据示例性实施例对按照分层视频处理技术的编码和解码方法给予描述。本示例性实施例可应用于例如由运动图像和电视工程师协会(SMPTE)提出的VC系列视频编码。除了VC系列视频编码之外，示例性实施例还可应用于任何的分层视频编码或处理技术。
图1示出分层视频数据的示例。
画面包括一个基本层和一个或多个增强层，并且每个层的帧被划分为两个或更多个条带，以并行处理。每个条带包括多个连续宏块。在图1示出的情况中，画面包括一个基本层(Base)和两个增强层(Enh1和Enh2)。在每个层中，帧被划分为四个条带(Slice#1至Slice#4)，以并行处理。
图2是根据示例性实施例的分层编码设备的框图。
参照图2，编码器210应支持层之间的条带级编码以保持并行处理的管道结构。打包器220根据在介质访问控制(MAC)端可用于视频数据的物理缓冲器的数量来将多个层的编码数据进行打包。也就是说，在打包器220中打包的比特流的数量等于在MAC端可用于视频数据的物理缓冲器的数量。发送器230发送打包的比特流。接收器240从发送器230接收打包的比特流。解包器250从接收到的数据提取视频数据并将视频数据进行解包。解码器260根据条带级编码数据的层来将条带级编码数据转换成层表示。为了减少延迟，解码器260基于条带来表示数据。基于条带的层表示指的是基于条带对基本层和增强层进行解码并根据最高层来表示解码的层。
由于示例性实施例允许条带级解码，因此当可用带宽根据信道环境而改变时，可提高接收器的服务质量。现在，将详细描述将示例性实施例的编码和解码方法应用于WiGig标准的示例性实施例。
图3示出将分层编码方法应用于无线信道环境的示例。
参照图3，如果由于良好的信道状态可用带宽足够用于发送层，则发送所有的三个层。例如，Slice#1和Slice条#4在三个层中被发送。另一方面，如果无线信道状态差，则仅有可用带宽允许的层被发送。因此，在图3中，Slice#2和Slice#3分别在两个层和一个层中被发送。
为了根据不同的信道状态而发送不同数量的层，应当考虑系统的包括执行分层编码方法的应用层、MAC层和协议适应层(PAL)的部件，其中，PAL介于MAC层和应用层之间并控制MAC层和应用层。
图4是在WiGig标准中定义的框图。WiGig是与现有的无线保真联盟(WFA)不同的独立的标准化组织，其寻求提供多吉比特无线服务。为了在分层编码方法中根据无线信道环境来发送比特流，PAL需要另外的功能。
图5是根据示例性实施例的用于在分层编码方法中对比特流进行编码并发送经过编码的比特流的系统的框图。
参照图5，在应用层，比特流在分层编码方法中被编码为基本层和增强层。基本层的编码的比特流和增强层的编码的比特流分别在两个缓冲器510和511中被缓冲。在PAL，基本层的比特流和增强层的比特流分别在基本层缓冲器520和增强层缓冲器521中被缓冲。
将比特流分为基本层和增强层的一个原因是由于针对基本层和增强层使用了不同的CODEC，因此可能难以将基本层的比特流和增强层的比特流一起进行打包。另一原因在于对基本层和增强层进行单独打包能够缩短用来根据无线通道的状态而丢弃增强层数据所需的时间。
当应用层将数据发送到PAL时，增强层的数据根据可用带宽被部分丢弃。为了此目的，MAC层560应估计可用带宽并将估计的可用带宽反馈给应用层。可通过将发送器发送的包的数量与接收器接收的包的数量进行比较并由此估计发送器和接收器之间的信道状态来估计可用带宽。许多其他的方法可被用于估计可用带宽，这在本申请的范围之外，因此在此将不进行详细描述。
应用层根据估计的可用带宽来确定将被发送到PAL的增强层数据，并在增强层缓冲器521中删除剩余的增强层数据。也就是说，应用层的视频CODEC通过将打包的包括“起始字节前缀”的比特流进行解析来检测将被丢弃的增强层比特流，并在缓冲器中删除检测到的增强层比特流。此操作之后，基本层比特流和增强层比特流分别在PAL的基本层缓冲器520和增强层缓冲器521中被缓冲。
如果在服务系统中两个或更多个队列被分配给MAC层中的视频数据，则一个队列被分配给基本层比特流，其它队列被分配给增强层比特流。为了将比特流存储在MAC层队列中，PAL打包器540通过将PAL头添加到比特流来构造包，MAC打包器550通过将MAC头添加到具有PAL头的包来对所述具有PAL头的包进行打包。
通常，一个队列被分配给MAC层中的每个服务流。如果仅一个队列被分配给服务系统的MAC层中的视频数据并由此被划分为用于基本层和增强层的两个队列，则PAL缓冲器530需要将基本层和增强层的单独排队的比特流进行组合。特别地，基本层比特流基于条带在增强层比特流之前，并且每个比特流通过将比特流的条带号和层号进行解析而在PAL缓冲器530中被缓冲。
当WiGig标准在PAL基于条带排列比特流时，不具有PAL的其他系统可在编码器中排列比特流，并随后将排列的比特流发送到MAC层。
图6示出当在使用用于基本层CODEC的H.264先进视频编码(AVC)和用于增强层CODEC的分层编码方法的情况下比特流被分为3层且每个画面被划分为四个条带时从应用层输出的比特流。
基本层比特流依次包含字节流起始代码前缀、网络适配层(NAL)头、被称为序列参数集(SPS)和画面参数集(PPS)的头信息以及按照该顺序的每个条带的基本层数据。
增强层比特流依次包含字节流起始代码前缀、后缀头、序列头(SH)、画面头(PH)以及按照该顺序的每个条带的增强层数据。分层编码包的头信息“后缀字节”与H.264的NAL字节作用类似。
根据估计的可用带宽丢弃增强层数据中的用于Slice#2的第二增强层的数据(Enh2 Slice#2)以及用于Slice#3的第一增强层和第二增强层的数据(Enh1 Slice#3和Enh2 Slice#3)，并且剩余的增强层数据被发送到PAL。PAL基于条带排列基本层数据和增强层数据，并将条带(slicewise)排列的基本层数据和增强层数据进行组合。
图7示出在PAL的基于条带排列的比特流。
参照图7，基本层的头信息、SPS和PPS以及第一条带数据(Slice#1)之后接着第一增强层的头信息SH和PH以及第一增强层的第一条带数据(Enh1Slice#1)，并且随后接着第二增强层的第一条带数据(Enh2 Slice#1)。在Enh2 Slice#1之后，依次排列第二条带的基本层数据和第一增强层数据(Slice#2和Enh1 Slice#2)、第三条带的基本层数据(Slice#3)、以及第四条带的基本层数据和第一与第二增强层数据(Slice#4、Enh1 Slice#4和Enh2 Slice#4)。虽然Enh1 Slice#2属于第一增强层，但是第二增强层的Enh2 Slice#1不需要参考第一增强层的Enh1 Slice#2，因此Enh2 Slice#1可在Enh1 Slice#2之前。
当接收到按照以上顺序排列的比特流时，接收器可基于条带对比特流进行解码，从而减少数据处理中的延迟。
图8是示出根据示例性实施例的数据发送操作的流程图。
参照图8，应用层对每个层中的多层画面进行编码(810)，并在步骤(820)基于条带排列各个层的编码的比特流。特别地，如果限定了三个层且一个画面被划分为四个条带，则第一条带的基本层数据之后接着第一条带的第一增强层数据、第一条带的第二增强层数据以及第二条带的基本层数据。以这种方式，排列至最后一个条带的第二增强层数据。
当从MAC层接收到关于信道状态的反馈信息时，应用层根据信道状态从排列的数据中丢弃一个条带或多个条带的增强层数据(830)，并将基本层数据和剩余的增强层数据发送到MAC层。
MAC层随后通过将MAC头添加到接收的数据中来将接收的数据进行打包，并将包发送到PHY层(840)。
图9是示出根据示例性实施例的数据接收操作的流程图。
参照图9，接收器从发送器接收以条带排列的数据(910)。接收器从接收到的数据提取头，分析头，并随后将接收到的数据进行解包(920)。接收器随后基于条带对解包的数据进行解码并显示解码的数据(930)。以这种方式，可直接显示基于条带解码的数据。因此，与层级解码相比，可减少延迟。
示例性实施例的编码和解码方法可应用于要求低延迟或小的缓冲器尺寸的分层编码应用。例如，针对并行处理系统中的m个增强层和被划分为n个条带的一个画面，如果对基本层编码和对增强层编码花费了相等的时间，则在管道结构中进行分层编码的情况下通过等式(1)来给出延迟。
Latencypro＝(1+m/n)*(tenc+tdec)....(1)
其中，tenc是编码花费的时间，tdec是解码花费的时间。
当如等式(1)中所述在管道结构中执行分层编码时，延迟被减少到如画面中的条带的数量的基本层的延迟，n增加。也就是说，延迟等于单层CODEC的延迟。
另一方面，在连续处理系统中进行分层编码的情况下，通过等式(2)来计算延迟。
Latencycon＝(1+m)*(tenc+tdec).....(2)
当如等式(2)中所述在连续处理系统中执行分层编码时，除了基本层的延迟之外，延迟还与增强层的数量m成比例的增加。
示例性实施例还可被实现为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是可存储数据的任何数据存储装置，所述数据其后可被计算机系统读取以执行在其上存储的计算机可读代码。
示例性实施例可被实现为用于执行编码和解码方法的编码和解码设备，所述编码和解码设备包括与设备的每个单元连接的总线、显示器、与总线连接的至少一个处理器、以及与总线连接的存储器，所述存储器存储命令、接收消息并产生消息，所述处理器执行命令并控制设备的操作。
计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光学数据存储装置。计算机可读记录介质还可被分布在联网的计算机系统中，从而以分布方式存储和执行计算机可读代码。在可选实施例中，示例性实施例还可被实现为计算机可读传输介质(诸如载波)，以通过网络进行传输。
虽然已经具体示出和描述了示例性实施例，但是本领域中的普通技术人员将理解，在不脱离由权利要求限定的本发明构思的精神和范围的情况下，这里可进行形式和细节上的各种改变。

Claims (20)

1.一种发送分层编码视频的方法，其中，在分层编码视频中，一个画面被划分为多个条带，每个条带包括基本层和至少一个增强层，所述方法包括：
单独对所述基本层的画面和所述至少一个增强层的画面进行编码；
基于条带将所述基本层的编码画面和所述至少一个增强层的编码画面进行排列；
通过将头添加到排列的画面来将排列的画面进行打包；以及
发送打包的画面。
2.如权利要求1所述的方法，还包括：
根据当前的信道状态来估计可用带宽；以及
从排列的画面中删除预定条带的所述至少一个增强层的预定数据。
3.如权利要求1所述的方法，其中，打包的步骤包括：根据在介质访问控制MAC层的缓冲器的数量来将排列的画面进行打包。
4.一种接收分层编码视频的方法，其中，在分层编码视频中，画面被划分为多个条带，每个条带包括基本层和至少一个增强层，所述方法包括：
接收编码的比特流；
将接收到的比特流进行解包；
基于条带对解包的比特流进行解码；以及
显示解码的比特流。
5.一种用于发送分层编码视频的设备，其中，在分层编码视频中，一个画面被划分为多个条带，每个条带包括基本层和至少一个增强层，所述设备包括：
编码器，单独对所述基本层的画面和所述至少一个增强层的画面进行编码，并基于条带将所述基本层的编码画面和所述至少一个增强层的编码画面进行排列；以及
发送器，通过将头添加到重新排列的画面来将排列的画面进行打包，并发送打包的画面。
6.如权利要求5所述的设备，其中，编码器按照条带顺序将所述基本层的编码画面和所述至少一个增强层的编码画面进行排列，从而在同一条带中，所述基本层的比特流之后接着所述至少一个增强层的比特流。
7.如权利要求6所述的设备，其中，编码器将比特流的数据中的条带号和层号进行解析。
8.如权利要求5所述的设备，还包括：估计器，根据当前的信道状态来估计可用带宽，
其中，编码器在排列的比特流中删除预定条带的所述至少一个增强层的预定数据。
9.如权利要求5所述的设备，其中，发送器根据在介质访问控制MAC层的缓冲器的数量来将排列的画面进行打包。
10.一种用于接收分层编码视频的设备，其中，在分层编码视频中，一个画面被划分为多个条带，每个条带包括基本层和至少一个增强层，所述设备包括：
接收器，接收编码的比特流；
解包器，将接收到的比特流进行解包；以及
解码器，基于条带对解包的比特流进行解码，并显示解码的比特流。
11.如权利要求1所述的方法或权利要求10所述的设备，其中，根据按照信道状态所估计的可用带宽，在接收的比特流中不存在预定条带的所述至少一个增强层的预定数据。
12.一种对分层视频进行编码的方法，其中，在分层视频中，一个画面被划分为多个条带，每个条带包括基本层和至少一个增强层，所述方法包括：
单独对所述基本层的画面和所述至少一个增强层的画面进行编码；
基于条带将所述基本层的编码画面和所述至少一个增强层的编码画面进行排列；以及
输出排列的画面。
13.如权利要求1或权利要求12所述的方法，其中，排列的步骤包括：按照条带顺序将所述基本层的编码画面和所述至少一个增强层的编码画面进行排列，从而在同一条带中，所述基本层的比特流之后接着所述至少一个增强层的比特流。
14.如权利要求13所述的方法，其中，所述排列还包括：将比特流的数据中的条带号和层号进行解析。
15.一种对分层编码视频进行解码的方法，其中，在分层编码视频中，一个画面被划分为多个条带，每个条带包括基本层和至少一个增强层，所述方法包括：
接收编码的比特流；以及
基于条带对接收到的比特流进行解码。
16.一种用于对分层视频进行编码的设备，其中，在分层视频中，一个画面被划分为多个条带，每个条带包括基本层和至少一个增强层，所述设备包括：
编码器，单独对所述基本层的画面和所述至少一个增强层的画面进行编码；以及
排列器，基于条带将所述基本层的编码画面和所述至少一个增强层的编码画面进行排列，并输出排列的画面。
17.如权利要求16所述的设备，其中，排列器按照条带顺序将所述基本层的编码画面和所述至少一个增强层的编码画面进行排列，从而在同一条带中，所述基本层的比特流之后接着所述至少一个增强层的比特流。
18.一种用于对分层编码视频进行解码的设备，其中，在分层编码视频中，一个画面被划分为多个条带，每个条带包括基本层和至少一个增强层，所述设备包括：
接收器，接收编码的比特流；以及
解码器，基于条带对接收到的比特流进行解码。
19.如权利要求4所述的方法或权利要求10或权利要求15或权利要求18所述的设备，其中，编码的比特流是按照条带顺序来排列的，从而在同一条带中，所述基本层的比特流之后接着所述至少一个增强层的比特流。
20.如权利要求4所述的方法或权利要求10或权利要求15或权利要求18所述的设备，其中，编码的比特流的数据包括条带号和层号。
CN201180023568XA 2010-05-10 2011-05-09 用于发送和接收分层编码视频的方法和设备 Pending CN102907096A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US33300610P 2010-05-10 2010-05-10
US61/333,006 2010-05-10
PCT/KR2011/003442 WO2011142569A2 (en) 2010-05-10 2011-05-09 Method and apparatus for transmitting and receiving layered coded video

Publications (1)

Publication Number Publication Date
CN102907096A true CN102907096A (zh) 2013-01-30

Family

ID=44901917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180023568XA Pending CN102907096A (zh) 2010-05-10 2011-05-09 用于发送和接收分层编码视频的方法和设备

Country Status (6)

Country Link
US (1) US20110274180A1 (zh)
EP (1) EP2567546A4 (zh)
JP (1) JP2013526795A (zh)
KR (1) KR20110124161A (zh)
CN (1) CN102907096A (zh)
WO (1) WO2011142569A2 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105432083A (zh) * 2013-04-15 2016-03-23 卢卡·罗萨托 混合向后兼容的信号编码和解码
CN107113695A (zh) * 2015-03-19 2017-08-29 松下知识产权经营株式会社 通信方法以及通信装置
CN108496369A (zh) * 2017-03-30 2018-09-04 深圳市大疆创新科技有限公司 视频传输、接收方法、系统、设备及无人飞行器
CN109068169A (zh) * 2018-08-06 2018-12-21 青岛海信传媒网络技术有限公司 一种视频播放方法及装置
WO2021237474A1 (zh) * 2020-05-26 2021-12-02 华为技术有限公司 视频传输方法、装置和系统
CN116962712A (zh) * 2023-09-20 2023-10-27 成都索贝数码科技股份有限公司 一种视频图像分层编码的增强层改进编码方法

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9049493B2 (en) * 2010-09-13 2015-06-02 Intel Corporation Techniques enabling video slice alignment for low-latecy video transmissions over mmWave communications
US8537738B2 (en) * 2010-11-18 2013-09-17 Nec Laboratories America, Inc. Method and a system of video multicast scheduling
US9892188B2 (en) * 2011-11-08 2018-02-13 Microsoft Technology Licensing, Llc Category-prefixed data batching of coded media data in multiple categories
US9578326B2 (en) 2012-04-04 2017-02-21 Qualcomm Incorporated Low-delay video buffering in video coding
US9344720B2 (en) * 2012-08-07 2016-05-17 Apple Inc. Entropy coding techniques and protocol to support parallel processing with low latency
WO2014051396A1 (ko) * 2012-09-27 2014-04-03 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
WO2014078596A1 (en) * 2012-11-14 2014-05-22 California Institute Of Technology Coding for real-time streaming under packet erasures
US10021388B2 (en) 2012-12-26 2018-07-10 Electronics And Telecommunications Research Institute Video encoding and decoding method and apparatus using the same
WO2014168893A1 (en) 2013-04-08 2014-10-16 General Instrument Corporation Signaling for addition or removal of layers in video coding
US10057582B2 (en) * 2014-05-21 2018-08-21 Arris Enterprises Llc Individual buffer management in transport of scalable video
MX372865B (es) 2014-05-21 2020-07-07 Andrew Wireless Systems Uk Ltd Señalización y selección para la mejora de capas en vídeo escalable.
US20160112707A1 (en) * 2014-10-15 2016-04-21 Intel Corporation Policy-based image encoding
KR20170093637A (ko) * 2016-02-05 2017-08-16 한국전자통신연구원 이종 네트워크 환경에서 미디어 전송 스트림 버퍼링 방법 및 이를 이용한 영상 수신 장치
WO2020226203A1 (ko) * 2019-05-08 2020-11-12 엘지전자 주식회사 병렬 데이터 스트림 전송 장치 및 수신 장치
KR102308982B1 (ko) * 2019-08-28 2021-10-05 중앙대학교 산학협력단 Uav 셀룰러 네트워크를 위한 스케일러블 시퀀스 생성, 검출 방법 및 그 장치
KR102897441B1 (ko) 2021-04-19 2025-12-09 삼성전자주식회사 서버 및 그 제어 방법
CN116074528B (zh) * 2021-10-29 2025-08-26 北京猿力未来科技有限公司 视频编码方法及装置、编码信息调度方法及装置
GB2635351A (en) * 2023-11-08 2025-05-14 V Nova Int Ltd Striping

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6658155B1 (en) * 1999-03-25 2003-12-02 Sony Corporation Encoding apparatus
CN101262604A (zh) * 2008-04-23 2008-09-10 哈尔滨工程大学 一种感兴趣区优先传输的可伸缩视频编码方法
CN101622878A (zh) * 2007-01-10 2010-01-06 汤姆逊许可公司 用于实现位深度可分级性的视频编码方法和视频解码方法

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5515377A (en) * 1993-09-02 1996-05-07 At&T Corp. Adaptive video encoder for two-layer encoding of video signals on ATM (asynchronous transfer mode) networks
CA2208950A1 (en) * 1996-07-03 1998-01-03 Xuemin Chen Rate control for stereoscopic digital video encoding
US6728775B1 (en) * 1997-03-17 2004-04-27 Microsoft Corporation Multiple multicasting of multimedia streams
JP4427827B2 (ja) * 1998-07-15 2010-03-10 ソニー株式会社 データ処理方法、データ処理装置及び記録媒体
US6317462B1 (en) * 1998-10-22 2001-11-13 Lucent Technologies Inc. Method and apparatus for transmitting MPEG video over the internet
US6490705B1 (en) * 1998-10-22 2002-12-03 Lucent Technologies Inc. Method and apparatus for receiving MPEG video over the internet
US6871006B1 (en) * 2000-06-30 2005-03-22 Emc Corporation Processing of MPEG encoded video for trick mode operation
US6816194B2 (en) * 2000-07-11 2004-11-09 Microsoft Corporation Systems and methods with error resilience in enhancement layer bitstream of scalable video coding
FI120125B (fi) * 2000-08-21 2009-06-30 Nokia Corp Kuvankoodaus
US7958532B2 (en) * 2001-06-18 2011-06-07 At&T Intellectual Property Ii, L.P. Method of transmitting layered video-coded information
US6959116B2 (en) * 2001-09-18 2005-10-25 Emc Corporation Largest magnitude indices selection for (run, level) encoding of a block coded picture
WO2003103289A1 (en) * 2002-05-29 2003-12-11 Pixonics, Inc. Maintaining a plurality of codebooks related to a video signal
US7406124B1 (en) * 2002-05-30 2008-07-29 Intervideo, Inc. Systems and methods for allocating bits to macroblocks within a picture depending on the motion activity of macroblocks as calculated by an L1 norm of the residual signals of the macroblocks
CN1324851C (zh) * 2002-06-11 2007-07-04 汤姆森许可贸易公司 适用于动态网络丢失条件的数据通信方法
US7010037B2 (en) * 2002-08-06 2006-03-07 Koninklijke Philips Electronics N.V. System and method for rate-distortion optimized data partitioning for video coding using backward adaptation
JP2004193992A (ja) * 2002-12-11 2004-07-08 Sony Corp 情報処理システム、情報処理装置および方法、記録媒体、並びにプログラム
US6973128B2 (en) * 2003-02-21 2005-12-06 Mitsubishi Electric Research Labs, Inc. Multi-path transmission of fine-granular scalability video streams
US7602851B2 (en) * 2003-07-18 2009-10-13 Microsoft Corporation Intelligent differential quantization of video coding
JP2005142654A (ja) * 2003-11-04 2005-06-02 Matsushita Electric Ind Co Ltd 映像送信装置および映像受信装置
US7762470B2 (en) * 2003-11-17 2010-07-27 Dpd Patent Trust Ltd. RFID token with multiple interface controller
US7447978B2 (en) * 2004-11-16 2008-11-04 Nokia Corporation Buffering packets of a media stream
KR100636229B1 (ko) * 2005-01-14 2006-10-19 학교법인 성균관대학 신축형 부호화를 위한 적응적 엔트로피 부호화 및 복호화방법과 그 장치
US20060233258A1 (en) * 2005-04-15 2006-10-19 Microsoft Corporation Scalable motion estimation
US8422546B2 (en) * 2005-05-25 2013-04-16 Microsoft Corporation Adaptive video encoding using a perceptual model
KR101045205B1 (ko) * 2005-07-12 2011-06-30 삼성전자주식회사 화상 데이터 부호화 및 복호화 장치 및 방법
EP1977612A2 (en) * 2006-01-09 2008-10-08 Nokia Corporation Error resilient mode decision in scalable video coding
EP1827023A1 (en) * 2006-02-27 2007-08-29 THOMSON Licensing Method and apparatus for packet loss detection and virtual packet generation at SVC decoders
US8693538B2 (en) * 2006-03-03 2014-04-08 Vidyo, Inc. System and method for providing error resilience, random access and rate control in scalable video communications
US20070230567A1 (en) * 2006-03-28 2007-10-04 Nokia Corporation Slice groups and data partitioning in scalable video coding
KR100834757B1 (ko) * 2006-03-28 2008-06-05 삼성전자주식회사 엔트로피 부호화 효율을 향상시키는 방법 및 그 방법을이용한 비디오 인코더 및 비디오 디코더
CN101432991B (zh) * 2006-04-29 2013-01-30 汤姆森特许公司 基于互连网协议的无线网络中利用错位播放的多播会话的无缝切换
CN101094057A (zh) * 2006-06-20 2007-12-26 国际商业机器公司 内容分发方法、装置及系统
US8493834B2 (en) * 2006-08-28 2013-07-23 Qualcomm Incorporated Content-adaptive multimedia coding and physical layer modulation
US8565314B2 (en) * 2006-10-12 2013-10-22 Qualcomm Incorporated Variable length coding table selection based on block type statistics for refinement coefficient coding
US8149748B2 (en) * 2006-11-14 2012-04-03 Raytheon Company Wireless data networking
KR100830965B1 (ko) * 2006-12-15 2008-05-20 주식회사 케이티 채널 적응적 인트라 업데이트를 이용한 영상부호화 장치 및방법
US8630355B2 (en) * 2006-12-22 2014-01-14 Qualcomm Incorporated Multimedia data reorganization between base layer and enhancement layer
WO2008086423A2 (en) * 2007-01-09 2008-07-17 Vidyo, Inc. Improved systems and methods for error resilience in video communication systems
US8204129B2 (en) * 2007-03-27 2012-06-19 Freescale Semiconductor, Inc. Simplified deblock filtering for reduced memory access and computational complexity
US8938009B2 (en) * 2007-10-12 2015-01-20 Qualcomm Incorporated Layered encoded bitstream structure
CN101159875B (zh) * 2007-10-15 2011-10-05 浙江大学 二重预测视频编解码方法和装置
KR101365597B1 (ko) * 2007-10-24 2014-02-20 삼성전자주식회사 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법
US8369415B2 (en) * 2008-03-06 2013-02-05 General Instrument Corporation Method and apparatus for decoding an enhanced video stream
US9288470B2 (en) * 2008-12-02 2016-03-15 Lg Electronics Inc. 3D image signal transmission method, 3D image display apparatus and signal processing method therein
US8665964B2 (en) * 2009-06-30 2014-03-04 Qualcomm Incorporated Video coding based on first order prediction and pre-defined second order prediction mode
US20110255597A1 (en) * 2010-04-18 2011-10-20 Tomonobu Mihara Method and System for Reducing Flicker Artifacts

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6658155B1 (en) * 1999-03-25 2003-12-02 Sony Corporation Encoding apparatus
CN101622878A (zh) * 2007-01-10 2010-01-06 汤姆逊许可公司 用于实现位深度可分级性的视频编码方法和视频解码方法
CN101262604A (zh) * 2008-04-23 2008-09-10 哈尔滨工程大学 一种感兴趣区优先传输的可伸缩视频编码方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105432083A (zh) * 2013-04-15 2016-03-23 卢卡·罗萨托 混合向后兼容的信号编码和解码
CN105432083B (zh) * 2013-04-15 2020-01-07 卢卡·罗萨托 混合向后兼容的信号编码和解码的方法和系统
CN107113695A (zh) * 2015-03-19 2017-08-29 松下知识产权经营株式会社 通信方法以及通信装置
CN108496369A (zh) * 2017-03-30 2018-09-04 深圳市大疆创新科技有限公司 视频传输、接收方法、系统、设备及无人飞行器
WO2018176303A1 (zh) * 2017-03-30 2018-10-04 深圳市大疆创新科技有限公司 视频传输、接收方法、系统、设备及无人飞行器
CN109068169A (zh) * 2018-08-06 2018-12-21 青岛海信传媒网络技术有限公司 一种视频播放方法及装置
WO2021237474A1 (zh) * 2020-05-26 2021-12-02 华为技术有限公司 视频传输方法、装置和系统
CN115462078A (zh) * 2020-05-26 2022-12-09 华为技术有限公司 视频传输方法、装置和系统
CN115462078B (zh) * 2020-05-26 2025-09-05 华为技术有限公司 视频传输方法、装置和系统
CN116962712A (zh) * 2023-09-20 2023-10-27 成都索贝数码科技股份有限公司 一种视频图像分层编码的增强层改进编码方法
CN116962712B (zh) * 2023-09-20 2023-12-12 成都索贝数码科技股份有限公司 一种视频图像分层编码的增强层改进编码方法

Also Published As

Publication number Publication date
WO2011142569A3 (en) 2012-03-15
EP2567546A4 (en) 2014-01-15
WO2011142569A2 (en) 2011-11-17
EP2567546A2 (en) 2013-03-13
US20110274180A1 (en) 2011-11-10
JP2013526795A (ja) 2013-06-24
KR20110124161A (ko) 2011-11-16

Similar Documents

Publication Publication Date Title
CN102907096A (zh) 用于发送和接收分层编码视频的方法和设备
CN102598617B (zh) 用于从移动设备向无线显示器传送内容的系统和方法
CN108702503B (zh) 用于提供视频比特流的方法及装置
KR101292490B1 (ko) Ｒｔｐ 패킷에 ｖｃ―１ 정보를 캡슐화하는 방법, 이를구현하기 위한 컴퓨터 판독가능 매체, ｒｔｐ 데이터구조체, 액세스 유닛 데이터 구조체, 소스 모듈, 디코더모듈, 소스 모듈 및 디코더 모듈을 포함하는 시스템, 및타겟 모듈
US9014277B2 (en) Adaptation of encoding and transmission parameters in pictures that follow scene changes
US20140301477A1 (en) Signaling dpb parameters in vps extension and dpb operation
EP2908535A1 (en) Content transmission device, content playback device, content distribution system, method for controlling content transmission device, method for controlling content playback device, control program, and recording medium
JP2006087125A (ja) ビデオフレームシーケンスを符号化する方法、符号化ビットストリーム、画像又は画像シーケンスを復号する方法、データの送信又は受信を含む使用、データを送信する方法、符号化及び／又は復号装置、コンピュータプログラム、システム、並びにコンピュータ読み取り可能な記憶媒体
CN101390399A (zh) 可伸缩视频编码中的图片的后向兼容聚合
US8964851B2 (en) Dual-mode compression of images and videos for reliable real-time transmission
CN117834914A (zh) 用于点云的自适应流式传输的方法和装置
US20130093853A1 (en) Information processing apparatus and information processing method
CN104756500A (zh) 向经编码视频的子层提供共同参数集
CN106416268A (zh) 复用分层编码内容的方法和装置
JP2017520940A5 (ja) レイヤードコード化コンテンツを多重化する方法および装置
CN102158693A (zh) 自适应解码嵌入式视频比特流的方法及接收系统
CN110474867A (zh) 一种多媒体数据的传输方法、系统及设备
JP2011511554A (ja) ビデオデータをストリーミングするための方法
CN103918258A (zh) 减少视频编码中的数据量
Nightingale et al. Video adaptation for consumer devices: opportunities and challenges offered by new standards
CN121056642A (zh) 重建已编码增强层图片的方法和设备
WO2013109126A1 (ko) 비디오 정보 전송 방법, 비디오 복호화 방법, 비디오 부호화기 및 비디오 복호화기
KR20250073435A (ko) 요구된 nal 유닛들의 시그널링
KR20200071666A (ko) 버퍼모델을 따르는 스트리밍을 위한 부가 정보 생성 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130130