[go: up one dir, main page]

CN1756359A - 速率自适应视频编码 - Google Patents

速率自适应视频编码 Download PDF

Info

Publication number
CN1756359A
CN1756359A CN200510103082.3A CN200510103082A CN1756359A CN 1756359 A CN1756359 A CN 1756359A CN 200510103082 A CN200510103082 A CN 200510103082A CN 1756359 A CN1756359 A CN 1756359A
Authority
CN
China
Prior art keywords
frame
buffer
encoded
stored
bit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200510103082.3A
Other languages
English (en)
Inventor
莱塞克·切普林斯基
索洛什·甘巴里
米罗斯瓦夫·博贝尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN1756359A publication Critical patent/CN1756359A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

速率自适应视频编码。一种用于对传输视频帧序列进行编码的方法，包括：在不同条件下对帧序列进行编码，以生成分别代表所述帧序列的多个编码比特流，来以不同的比特率进行传输；将所述各个编码比特流存储在相应的缓冲器中；以及从缓冲器中输出比特流，以进行传输，并且所述方法还包括：在多个缓冲器之间进行切换，以改变传输数据的比特率，其中参照存储在另一缓冲器中的帧对要存储在一个缓冲器中的至少一个帧进行编码。

Description

速率自适应视频编码
技术领域
本发明涉及视频解码。
背景技术
在通过不同种类的网络提供保证服务质量(QoS)的服务时存在的主要问题之一是带宽的变化。在视频流中的主要要求之一是根据网络拥塞状态来调整压缩视频的传输比特率(“Optimal Dynamic Rate Shaping forCompressed Video Streaming”，Minjung Kim and Yucel Altunbasak，ICN2001，LNCS 2094，pp.786-794)。应该动态地增大或减小编码视频数据的比特率，以应付信道速率的变化。这可以通过控制视频编码器的压缩参数来实现。然而，对于大多数的编码解码器，在编码处理过程中，编码视频数据的比特率是确定的，并且不能在以后改变。
将视频比特率改变为新速率的最直接的方法是使用代码转换器(“Video Transcoding Architectures and Techniques：An Overview”，Anthony Vetro，Charilaos Christopoulos，and Huifang sun，IEEESignal Processing Magazine，march 2003)。代码转换器首先对输入视频流进行解码和重构，并且随后通过使用不同的量化参数以不同的比特率对该重构视频流进行重新编码(参见图1)。解码和重新编码处理可能非常费时，并且对流式压缩视频产生很长时间的延迟。
在对编码视频数据进行分组传输的传输环境下，各个编码视频片段(其由多个连续块构成)的大小由于视频压缩的可变比特率属性而变化。因此，可以通过多个不同的分组来传送压缩的片段数据。考虑图2所示的缓冲器内容。假设在观察该系统时，正通过信道传送帧m的片段(m，gtx)，并且帧n的片段(n，gin)是最后一个片段，对该片段进行编码并输出给编码器缓冲器。因此，该缓冲器包含有从片段(m，gtx+1)到(n，gin)的数据以及片段(m，gtx)比特数据的一部分。由于对视频数据的传输的恒定端对端延迟限制，必须以指定的时间传送编码器缓冲器内部的帧/片段，以对视频进行解码和显示。
如果通过在线(实时)编码器来生成视频流，则根据网络反馈，可以通过调整编码器参数(例如量化器步长)或者在极端的情况下通过丢弃帧，在空闲时(on the fly)实现速率调整(“A performance study ofadaptive video coding algorithms for high speed networks”，S.Gupta，C.L.Williamson，Proceedings of Conference on Local ComputerNetworks(LCN’95)，October 95)。为了实现编码视频数据流的这种速率可变性，可以通过存储在多个独立的缓冲器中的不同量化器对视频数据进行量化来构成系统的实施，并且每一个缓冲器都存储有使用一个特定的量化器进行了量化的帧/片段(“Rate Control for Robust VideoTransmission over Burst-Error Wireless Channels”，Chi-Yuan Hsu，Antonio Ortega and Masoud Khansari，IEEE JOURNAL ON SELECTED AREASIN COMMUNICATIONS，VOL.17，NO.5，MAY 1999)。然后从适当的缓冲器中抽出当前正在传输的视频数据，参见图3。
另一种方法是使用双帧缓冲器(“Video Compression for LossyPacket Networks with Mode Switching and a Dual-Frame Buffer”，Athanasios Leontaris，and C.Cosman，IEEE Transactions on ImageProcessing，VOL.13，No.7，July 14)。双帧缓冲器的基本应用如下。当对帧n进行编码时，编码器和解码器均在存储器中保留两个参考帧。短期参考帧为帧n-1。长期参考帧为帧n-k，其中k可以是可变的，但是始终大于1。可以下述三种编码模式之一对各个宏块(MB)进行编码：帧内编码、使用短期缓冲器的帧间编码(帧间-ST-编码)、以及使用长期缓冲器的帧间编码(帧间-LT-编码)。在图4中示出了这种情况。需要对编码解码器进行的修改仅在于发送单个比特以指示使用短期帧或长期帧。这种方法可以用来在需要降低比特率时，通过跳过多个帧并使用长期帧作为预测器对下一帧进行编码来切换比特率(“Dual frame motioncompensation for a rate switching network”，Vijay Chellappa，PamelaC.Cosman and Geoffrey M.Voelker，In Proceedings of IEEE DataCompression Conference(DCC’2003)；WO 2004/064373 A2：“VideoEncoding Methods and Devices”，University of California，29/07/004)。
一种使信道带宽变化的影响最小的另选方法是控制编码帧间隔(“Real-time Encoding Frame Rate Control for H.263+Video over theInternet”，H.Song，J.Kim，and C.-C.Jay Kuo，Signal Processing：Image Communication，vo1.15，Sept.1999)。如果由于快速运动变化或信道带宽突然减小而使得空间质量低于可容忍级别，则应该降低时间质量来提高空间质量，以减少闪烁赝像。同时，仍然希望控制时间质量下降。相反，如果空间质量高于特定级别，则应该提高时间质量。根据该说明，可以如下表述编码帧速率控制算法：如果失真＞阈值，则增大帧速率间隔，否则减小帧速率间隔(参见图5)。
US 5485211和US 5416520涉及一种使用多个编码器输出缓冲器以及参照发送参考图像的不同编码的方法和装置。该输出缓冲器将最佳信息用于传输，并生成新的发送参考图像。
在流式视频应用中，服务器可以提供同一视频序列的多个备份和多种比特率。该服务器随后根据网络拥塞或客户端可用的带宽在这些比特流之间动态地进行切换。存在一些必须考虑比特流切换的情况。当可用信道带宽减小时，客户端必须从一个高速率比特流切换到另一低速率比特流(“向下切换”处理)，反之亦然。向上切换(从低速率到高速率)和向下切换(从高速率到低速率)处理都会引入漂移误差。这是因为一个比特流中的预测帧(例如，P图像)与另一比特流中的不同，并且在切换时会产生图像漂移。
在目前的视频编码标准中，仅在未来帧或区域不使用任何当前切换位置之前的信息(即，I帧)的位置处可以进行比特流之间的完美(没有不匹配)切换(“Adaptive Video Streaming：Pre-encoded MPEG-4 withBandwidth Scaling”，A.Balk，M.Gerla and M.Sanadidi，International Journal of Computer and TelecommunicationsNetworking，Volume 44，Issue 4，March 2004)(参见图6)。然而，I帧需要比运动补偿预测帧更多的比特是公知的。
为了对比特流切换中的图像漂移进行矫正，使用切换图像(SP)从一个比特流切换到另一比特流(“MPEG-4 Video Streaming withDrift-Compensated Bit-Stream Switching”，Yeh-Kai Chou，Li-ChauJian，and Chia-Wen Lin，Proceedings of the Third IEEE Pacific RimConference on Multimedia：Advances in Multimedia InformationProcessing，December 16-18，2002；“The SP-and SI-Frame Design forH.264/AVC”，Marta Karczwicz and Ragip Kurceren，IEEE Transactionon Circuits and Systems for Video Technology，VOL.13，No.7，July2003；and WO 02/054776 A1：“Switching between bit-streams in videotransmission”，NOKIA CORP.03/01/2002)。图7中示出了如何利用SP帧的示例。假设存在与以不同比特率进行了编码的相同序列相对应的2个比特流。在各个编码比特流中，应该将SP图像设置在希望从一个比特流切换到另一比特流(图7中的图像S1和S2)的位置。当从比特流1切换到比特流2时，将发送另一SP图像(图8中的图像S12)。
另一种方法是将视频序列压缩为单个可变比特流，可以对该比特流进行删节，以适应带宽变化。根据多个不同比特率、帧速率以及可能分辨率的层构成输出流来进行可变视频编码，以实现可变输出。所获得的视频层包括一个基层(BL)和多个增强层(EL)，所有这些层对于解码视频质量都具有不同的作用。增强层有助于提高直观质量，但是缺少增强层会导致较小的接收视频的质量下降。增强层还可以用作质量与压缩效率之间的平衡，以控制视频编码器的输出比特率。
在可变编码中的可用层的数量是有限的。因此，可以将切换结构用来使用多个可变比特流在较宽的比特率范围内显著提高可变视频编码的效率(EP 1 331 822 A2：“Seamless switching of scalable videobit-streams”，MICROSOFT CORP.14/01/2003)。每一个可变比特流都具有不同比特率的基层，并且可以在特定的比特率范围内最好地适应信道带宽变化。如果信道带宽超出范围，则将该可变比特流从一个比特流切换到具有更高编码效率的另一比特流(参见图8)。
在可用传输带宽突然变化时，视频编码面临的主要问题是如何在最小延迟并且没有质量下降的情况下适应新的条件。另一复杂因素在于通常将多个编码帧/片段存储在编码器缓冲器中等待发送。当比特率发生变化时，在缓冲器内部仍然存在一些以旧的比特率进行了编码的帧/片段。如果比特率降低，则传输这些旧的帧/片段将导致比特率调整中的附加延迟，并且因此对解码延迟和质量具有很大的负面影响。
上述技术并不适合于解决这种比特率的突然变化。I帧的插入不能解决视频延迟的问题，因为I帧携带有比预测帧更多的比特。通常以不同的帧速率对以不同比特率进行了编码的视频进行编码。因此，在需要将帧速率改变为使得所有缓冲器都包含相同的帧速率时，使用具有不同量化器步长的多个缓冲器不能解决该问题。在发送缓冲器中仍然排队有太多帧的情况下，在需要改变比特率时使用长期帧作为预测器可能导致图像漂移。
当使用切换图像(SP图像)时，仅在切换图像位置处可以改变比特率，因此，不能突然改变比特率。SP图像使用多个比特流，以在比特率之间进行切换。此外，预测所使用的切换点处的SP图像是以前的图像，并且没有使用长期预测，因此，在发送新的比特率帧之前必须冲掉缓冲器中的所有帧，从而导致更长时间的延迟。
对于可变视频编码还存在一些缺点。由于额外的语法开销，多层编码器的总比特率可能远大于单层。第二，在可变编码中，可用层的数量有限，这限制了用户的选择。第三，可变编码在解码器侧引入了额外的计算，这对于具有有限计算资源的用户终端是不希望的。
发明内容
在所附权利要求中阐述了本发明的多个方面。
根据第一方面，本发明提供了一种对传输帧序列进行编码的方法，包括：在不同条件下对帧序列进行编码，以生成多个编码比特流，每一个编码比特流都代表该帧序列，从而以不同的比特率进行传输；在相应的缓冲器中存储各个编码比特流；以及从缓冲器中输出比特流，以进行传输，该方法还包括：在缓冲器之间进行切换，来改变传输数据的比特率，该方法的特征在于：参照存储在一个缓冲器中的帧对存储在另一缓冲器中的至少一个帧进行编码。
更具体地，当使用缓冲器来进行传输时，参照正在进行发送的缓冲器中的帧对其它缓冲器的帧进行编码。参考帧在时间上领先于正在进行编码的帧，因此如果将传输切换到新的缓冲器，则已完全发送了参考帧，因此可以进行重构。
根据另一方面，本发明提供了一种对传输帧序列进行编码的方法，该方法使用多个缓冲器来存储以不同比特率进行发送的数据，该方法还包括：在缓冲器之间进行切换，以改变传输数据的比特率，其中当从第一缓冲器发送数据时，参照以前编码并存储在所述缓冲器中的帧对要存储在第一缓冲器中的数据进行编码，并且还参照以前编码并存储在所述第一缓冲器中的帧对要存储在另一缓冲器中的数据进行编码，并且当将传输切换到第二缓冲器时，参照以前编码并存储在所述第二缓冲器中的帧对要存储在第二缓冲器中的数据进行编码，并且还参照以前编码并存储在所述第二缓冲器中的帧对要存储在另一缓冲器中的数据进行编码。
根据另一方面，本发明提供了一种对传输帧序列进行编码的方法，该方法使用多个缓冲器来存储以不同比特率进行发送的数据，该方法包括：在缓冲器之间进行切换，以改变传输数据的比特率，其中参照具有最接近的比特率的缓冲器的帧对所述一个缓冲器的帧进行编码。
以下阐述了本发明实施例的某些特征。
使用单个视频编码解码器来压缩输入视频序列，并且以预设的比特率r1，并以默认的帧速率f1将该压缩数据存储在缓冲器中。该默认缓冲器(VB1)用于在将压缩数据发送给用户/客户端之前，对压缩数据进行排队(参见图10)。在对VB1进行编码时，使用不同的比特率和帧速率对其它虚拟缓冲器(VB2、VB3等)进行编码。在非默认虚拟缓冲器中的帧与VB1中的帧中的某些相对应，但是具有不同的质量。参照VB1中的以前的编码帧对该缓冲器中的编码帧进行压缩。在其它缓冲器的情况下，参照来自VB1的帧而不是来自相同缓冲器的以前帧对各个帧进行编码。非默认缓冲器(VB2、VB3等)可以具有不同的帧速率(f2、f3等)，因为它们的比特率(r2、r3等)不同。附加这些缓冲器的原因在于使得能够进行突然的比特率切换。当切换比特率时，仍然存在不能发送的根据旧比特率的VB1内部的一些帧/片段。这些剩余帧的发送在切换到低比特率的情况下使视频延迟增大，或者在切换到高比特率时不能立即提高图像质量。为了解决该问题，从具有该新的比特率的非默认缓冲器发送一些已编码的帧，而不是来自VB1的剩余帧。该非默认缓冲器(例如，VB2)变为新的默认缓冲器，并且从该缓冲器将压缩数据发送到客户端。此时，包括旧的默认缓冲器VB1在内的其它VB参照新的默认缓冲器(VB2)对它们的帧进行压缩。
附图说明
下面将参照附图说明本发明的实施例，附图中：
图1表示现有技术的编码解码器的方框图；
图2表示现有技术的编码解码器以及传输系统的方框图；
图3表示具有多个量化器和缓冲器的现有技术的编码器的方框图；
图4表示现有技术的对帧进行编码的方法；
图5表示现有技术的对帧进行编码的另一方法；
图6是现有技术的以不同比特率对帧进行编码的方法；
图7表示现有技术的使用切换图像对帧进行编码的方法；
图8表示现有技术的使用可变编码对帧进行编码的方法；
图9表示本发明实施例的对帧进行编码的方法；
图10是表示本发明实施例的系统的方框图；
图11表示本发明实施例的方法；
图12表示本发明实施例的方法；
图13表示本发明实施例的方法；
图14表示本发明实施例的方法；
图15表示本发明实施例的方法；
图16表示本发明实施例的方法；
图17表示本发明实施例的方法；
图18表示本发明实施例的方法；
图19表示本发明实施例的方法；以及
图20表示本发明实施例的方法。
具体实施方式
图10中示出了根据本发明实施例的系统。该系统包括编码器2和四个虚拟缓冲器(可以使用多于1个的任意数量的虚拟缓冲器)、服务器4、网络6、客户端8、以及解码器10。
使用标准视频编码解码器(例如，MPEG-4/H.264)，以初始目标比特率(BR1)对视频序列进行压缩，并将其存储在虚拟缓冲器(VB1)中。在填充VB1的同时，使用其它VB(例如，VB2、VB3等)以相对于BR1较低/较高的比特率存储该压缩视频数据。这些额外的虚拟缓冲器参照VB1的内容对视频数据进行压缩。在比特率切换点处，使用其它VB(例如，VB2，其中BR2＜BR1)之一以所切换的比特率(BRS)提供剩余的压缩视频。由于VB2是该切换点之后的新的默认缓冲器，所以其它缓冲器(VB4、VB1、VB3，参见图11)将参照在VB2内进行了编码的帧对它们的帧进行压缩。
通常在视频编码中，对于高比特率，以高帧速率(例如，25/30fps)对视频进行压缩，而对于低比特率，以低帧速率(例如，5/10fps)对视频进行压缩。如图12所示，由于VB1的比特率(r1)比VB2的比特率(r2)要大，从而以比VB2的帧速率(f2)高的帧速率(f1)对VB1进行编码。
图13中的情形仅表示两种不同的比特率以及一个切换事件。在“切换点”之前，VB1为默认缓冲器，因此，参照VB1中的以前帧，对切换点之前的所有帧进行编码。由于f2＜f1，所以用于对VB2的帧进行编码的参考帧在时间上比用于对VB1的帧进行编码的参考帧还要靠后。例如，如果f2＝25fps而f1＝5fps，则对于VB1中的每5个帧，在VB2中对1个帧进行了编码。在“切换点”处，VB2变为默认缓冲器。从该点开始，参照VB2中的以前帧对任意帧进行编码。仍然对VB1的帧进行编码，以对带宽增大，并且比特率可以从r2切换回r1时的情形作准备。
如图9所示，创建了具有不同比特率的4个缓冲器。对于高带宽，可以高帧速率对视频进行编码，而对于低带宽，可以使用低帧速率对视频进行编码。如图6所述，在切换点处，各个缓冲器使用相同的参考帧对帧进行编码。然后根据其缓冲器内的以前的编码帧对各个帧进行编码。
当出现切换点时，在默认缓冲器中仍然存在正在排队以发送到客户端的一些帧。因为现在比特率已发生了变化，并且这些帧内的比特不再代表正确的比特率，所以无法发送这些帧。例如：在图14中，在切换点处，已发送了帧D1-D6和帧D7的一部分，并且在VB1中排队有帧D8-D11和帧D7的剩余部分。此外，VB2包含帧E1和E2。发送E2，而不是发送D7的剩余部分和D8-D11。帧E1具有与帧D5相同的时间戳，并且因为解码器已接收到帧D6，所以在解码器处不需要E1。在解码器处，当对从帧D6接收的全部比特进行解码时，对帧E2的帧头(图像开始码)进行解码，由于没有对D7进行完全解码，则在解码器处不显示帧D7。由于参照帧D6对E2进行了解码，所以不需要帧D7。
如果在切换点处，仅发送了帧D1-D2和帧D3的一部分(参见图15)，则将发送E1而不是E2。在该切换点之后，参照以前发送的帧E1(或在前一示例中为E2)对帧E3进行编码。参照E3对下一个发送的帧E4简单地进行编码。
为了从低比特率切换回高比特率，以提高图像质量，并利用可用带宽，将高比特率和帧速率的帧存储在非默认虚拟缓冲器中(参见图6：VB1，在切换点之前)。在“切换点”处，已发送了来自VB2的帧E1和E2，并且已对帧E3进行了编码，但还没有完全发送。在切换点处，取消E3的发送。已对帧D1-D2进行了编码并存储在高比特率缓冲器VB1中。由于帧D5具有与帧E2相同的时间戳，并且仅发送了帧E3的一部分，则仅向客户端发送帧D6-D8。这是因为如果发送帧D9-D12，则帧D9-D12在解码器中将没有正确的参考帧。在切换点之后，参照以前发送的帧D8对下一帧D13进行编码，并且此后参照VB1中的相关的以前帧对各个帧进行编码。
在使用多个缓冲器之前，参照来自默认缓冲器(VB1)的帧对非默认缓冲器(例如，VB2、VB3等)内的各个编码帧进行压缩。如图17所示，在该算法中，参照来自具有最接近的比特率的缓冲器的帧对各个帧进行压缩。例如：VB3的比特率更接近于VB1和VB2中的后者，因此，参照来自VB2的帧而不是来自默认缓冲器VB1的帧对VB3的编码帧进行压缩。
网络带宽可以改变；因此，需要多个虚拟缓冲器来提供比特率的可用范围。为了减少在比特率切换之后使用的缓冲器的数量，可以进一步改变比特率，以利用可用带宽。如图19所示，在出现切换之前，默认缓冲器的比特率为128kbps，帧速率为25fps。非默认缓冲器VB2使用5fps的帧速率以32kbps进行编码，以准备在切换点处进行传输。然而，如果带宽仅下降为64kbps，则在切换之后，以该新的比特率64kbps而不是32kbps进行任何进一步的编码。还可以调整帧速率，以适应该带宽，例如，将图15中的VB2的帧速率从5fps增大为10fps。
为了在减小比特率时进一步减小抖动，可以根据来自默认的高比特率缓冲器VB1的一个帧来预测非默认的的比特率缓冲器(即，参见图19：VB2)中的一个以上的帧。如图18所示，仅根据VB1中的帧D5来预测来自VB2的帧E3和E4。在切换点处，由于已完全发送了帧D5-D6，所以可以在对帧E5和E6进行编码之前发送来自VB2的帧E3和E4。当在切换点处发送来自VB2的一个以上的预编码帧时，这可以减小抖动。
可以将以上示例中使用的算法仅用于实时流。然而，可以将类似的技术用于使用附加缓冲器的预编码流。例如，当从高比特率切换到的比特率时，将创建三个比特流，如图20所示。这些比特流来自VB1、VB2’、VB2。VB1存储高比特率的比特流，而VB2’和VB2存储低比特率的比特流。存储在VB2’和VB2中的帧具有相同编码速率(相同的比特率和帧速率)的相同时间戳，但是根据不同的编码参考帧对它们的帧进行编码。参照VB1中的以前帧对来自VB2’的帧进行编码，并根据VB2本身的缓冲器内的以前的编码帧对来自VB2的帧进行编码。如图18所示，在“切换点”处，首先发送来自VB2’的编码帧E9’，然后将来自VB2的后续帧(E10、E11等)发送给客户端。
解码器将两个帧存储在存储器中。将一个帧用作参考，以对下一接收帧进行解码。仅在切换点处使用第二个帧，以对第一个发送的切换帧进行解码。
在该说明书中，“帧”一词用于描述图像单元，包括滤波之后的图像单元，但是该词也应用于类似的术语，例如图像、场、图片或者图像、帧等的子单元或区域。像素和块或者像素组几个词在适当的情况下可以互换使用。在该说明书中，除了根据上下文很明显的以外，图像一词表示整个图像或者图像的区域。类似地，图像的区域可以表示整个图像。图像包括帧或场，并且涉及静态图像或图像序列形式的图像(例如电影或视频)，或者相关的图像组。
图像可以是灰度或彩色图像，或者另一类型的多谱图像，例如，IR、UV或其他电磁图像，或者声图像等。
在对软件/硬件进行适当修改的情况下，本发明例如可以在计算机系统中实现。例如，可以使用具有控制或处理装置(例如处理器或控制装置)、数据存储装置(包括图像存储装置，例如存储器、磁存储器、CD、DVD等)、数据输出装置(例如显示器或监视器、或者打印机)、数据输入装置(例如键盘)、图像输入装置(例如扫描仪)、以及这些组件与其他组件的任意组合的计算机等来实现本发明。可以软件和/或硬件的形式或者以具体的应用装置来实现本发明的多个方面，或者可以提供具体的应用模块，例如芯片。可以例如通过互联网从其他组件远程提供根据本发明实施例的装置中的系统的组成部分。在图6中示出了编码器，并且对应的解码器例如具有用于执行逆解码操作的对应组件。

Claims (21)

1、一种用于对传输视频帧序列进行编码的方法，包括：
在不同条件下对帧序列进行编码，以生成分别代表所述帧序列的多个编码比特流，来以不同的比特率进行传输；将所述各个编码比特流存储在相应的缓冲器中；以及从缓冲器中输出比特流，以进行传输，所述方法还包括：在多个缓冲器之间进行切换，以改变传输数据的比特率，所述方法的特征在于：参照存储在另一缓冲器中的帧对要存储在一个缓冲器中的至少一个帧进行编码。
2、根据权利要求1所述的方法，其中参照存储在另一缓冲器中的帧对要存储在所述一个缓冲器中的各个帧进行编码。
3、根据前述权利要求中的任意一个所述的方法，其中在使用另一缓冲器进行传输的同时，参照存储在所述另一缓冲器中的帧对帧进行编码。
4、根据上述权利要求中的任意一项所述的方法，其中参照下述缓冲器的帧对所述一个缓冲器中的帧进行编码，该缓冲器存储有以最接近于存储在所述一个缓冲器中的压缩视频数据的比特率的比特率压缩的视频数据，该缓冲器选自具有以更接近于存储在所述一个缓冲器中的压缩视频数据的比特率以及存储在该缓冲器中的压缩视频数据的比特率中的后者的比特率进行压缩的视频数据的缓冲器。
5、根据前述权利要求中的任意一项所述的方法，其中当从第一缓冲器发送数据时，参照以前编码并存储在所述缓冲器中的帧对要存储在所述第一缓冲器中的帧进行编码，并且还参照以前编码并存储在所述第一缓冲器中的帧对要存储在另一缓冲器中的帧进行编码，并且在将传输切换到第二缓冲器时，参照以前编码并存储在所述第二缓冲器中的帧对要存储在所述第二缓冲器中的帧进行编码，并且还参照以前编码并存储在所述第二缓冲器中的帧对要存储在另一缓冲器中的帧进行编码。
6、根据前述权利要求中的任意一项所述的方法，其中参照另一缓冲器的一个以上的帧对一缓冲器的相同帧进行编码。
7、根据前述权利要求中的任意一项所述的方法，其中参照另一缓冲器的不同帧对一缓冲器的不同帧进行编码。
8、根据前述权利要求中的任意一项所述的方法，包括：参照多个不同缓冲器中的不同帧对要存储在多个不同缓冲器的帧进行编码。
9、根据前述权利要求中的任意一项所述的方法，其中参照作为发送缓冲器的缓冲器的帧对帧进行编码。
10、根据前述权利要求中的任意一项所述的方法，其中通过使用不同的空间分辨率和/或不同的时间分辨率和/或不同的图像质量，以不同的比特率对所述帧序列进行编码，来生成不同的比特流。
11、根据权利要求10所述的方法，其中以多种不同的帧速率对所述帧序列进行编码。
12、根据前述权利要求中的任意一项所述的方法，还包括：改变编码比特流内的比特率以及相应缓冲器的比特率。
13、根据权利要求12所述的方法，包括：改变所述帧速率，以实现不同的比特率。
14、根据权利要求10到13中的任意一项所述的方法，其中所述比特率变化在切换点之后。
15、一种使用前述权利要求中的任意一项的方法获得的表示图像序列的编码比特流。
16、一种使用权利要求1到14中的任意一项所述的方法对已编码的图像或图像序列进行解码的方法。
17、根据权利要求16所述的方法，包括参照以第二比特率接收的数据，对以第一比特率接收的数据进行重构。
18、一种使用方法，其例如包括使用权利要求1到14中的任意一项所述的方法发送或接收编码数据。
19、一种用于对使用权利要求1到14中的任意一项所述的方法进行了编码的代表帧序列的数据进行发送的方法，包括：根据诸如适当比特率的状态的变化将发送从第一缓冲器切换第二缓冲器，其中已参照从所述第一缓冲器发送的帧数据对从第二缓冲器发送的帧数据进行了编码。
20、一种编码和/或解码装置，用于执行权利要求1到14、16或17中的任意一项所述的方法。
21、一种计算机程序、系统或计算机可读存储介质，用于执行权利要求1到14、16、17或19中的任意一项所述的方法。
CN200510103082.3A 2004-09-17 2005-09-19 速率自适应视频编码 Pending CN1756359A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP04255690A EP1638333A1 (en) 2004-09-17 2004-09-17 Rate adaptive video coding
EP04255690.2 2004-09-17

Publications (1)

Publication Number Publication Date
CN1756359A true CN1756359A (zh) 2006-04-05

Family

ID=34930667

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200510103082.3A Pending CN1756359A (zh) 2004-09-17 2005-09-19 速率自适应视频编码

Country Status (4)

Country Link
US (1) US20060088094A1 (zh)
EP (1) EP1638333A1 (zh)
JP (1) JP2006087125A (zh)
CN (1) CN1756359A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104641638A (zh) * 2012-06-28 2015-05-20 阿克西斯股份公司 使用虚拟帧内帧对视频内容进行编码的系统和方法
CN108989847A (zh) * 2011-08-30 2018-12-11 帝威视有限公司 用于编码和流处理视频的系统和方法
CN110800047A (zh) * 2017-04-26 2020-02-14 Dts公司 对帧组的比特率控制
US10798143B2 (en) 2011-08-30 2020-10-06 Divx, Llc Selection of resolutions for seamless resolution switching of multimedia content
US11638033B2 (en) 2011-01-05 2023-04-25 Divx, Llc Systems and methods for performing adaptive bitrate streaming
US11785066B2 (en) 2012-12-31 2023-10-10 Divx, Llc Systems, methods, and media for controlling delivery of content
US12244878B2 (en) 2011-09-01 2025-03-04 Divx, Llc Systems and methods for distributing content using a common set of encryption keys
US12407906B2 (en) 2013-05-30 2025-09-02 Divx, Llc Network video streaming with trick play based on separate trick play files
US12470781B2 (en) 2006-03-14 2025-11-11 Divx, Llc Federated digital rights management scheme including trusted systems

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8411697B2 (en) * 1999-11-12 2013-04-02 Telefonaktiebolaget Lm Ericsson (Publ) Method and arrangement for improving media transmission quality using robust representation of media frames
US7343291B2 (en) 2003-07-18 2008-03-11 Microsoft Corporation Multi-pass variable bitrate media encoding
GB2408871A (en) 2003-11-10 2005-06-08 Forbidden Technologies Plc Data and digital video data compression
JP4950206B2 (ja) * 2005-10-11 2012-06-13 ノキア コーポレイション 効率的なスケーラブルストリーム適応のためのシステム及び方法
US20070089145A1 (en) * 2005-10-18 2007-04-19 Sbc Knowledge Ventures, L.P. System and method of delivering video data
GB0600217D0 (en) * 2006-01-06 2006-02-15 Forbidden Technologies Plc A method of compressing video data and a media player for implementing the method
US8340179B2 (en) 2006-03-21 2012-12-25 Canon Kabushiki Kaisha Methods and devices for coding and decoding moving images, a telecommunication system comprising such a device and a program implementing such a method
FR2910773B1 (fr) * 2006-12-22 2009-03-20 Canon Kk Procede et dispositif de codage de donnees video.
US8619854B2 (en) * 2006-03-27 2013-12-31 Electronics And Telecommunications Research Institute Scalable video encoding and decoding method using switching pictures and apparatus thereof
US9432433B2 (en) * 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US7885189B2 (en) * 2006-09-20 2011-02-08 Rgb Networks, Inc. Methods and apparatus for rate estimation and predictive rate control
EP2086385B1 (en) 2006-11-16 2018-10-31 Stryker Corporation Wireless endoscopic camera
US20080152006A1 (en) * 2006-12-22 2008-06-26 Qualcomm Incorporated Reference frame placement in the enhancement layer
FR2916600B1 (fr) * 2007-05-24 2013-11-22 Canon Kk Procede et dispositif de transmission de donnees
US20090052551A1 (en) * 2007-08-23 2009-02-26 Shinji Kitamura Method and apparatus for coding moving image and imaging system
KR100928324B1 (ko) * 2007-10-02 2009-11-25 주식회사 아이브이넷 압축된 동영상을 복원하기 위한 프레임 버퍼 메모리 운영방법 및 이에 적합한 디코딩 장치
WO2009054907A2 (en) 2007-10-19 2009-04-30 Swarmcast, Inc. Media playback point seeking using data range requests
US8543720B2 (en) 2007-12-05 2013-09-24 Google Inc. Dynamic bit rate scaling
US8406296B2 (en) 2008-04-07 2013-03-26 Qualcomm Incorporated Video refresh adaptation algorithms responsive to error feedback
US8325800B2 (en) 2008-05-07 2012-12-04 Microsoft Corporation Encoding streaming media as a high bit rate layer, a low bit rate layer, and one or more intermediate bit rate layers
US8379851B2 (en) 2008-05-12 2013-02-19 Microsoft Corporation Optimized client side rate control and indexed file layout for streaming media
WO2009140208A2 (en) 2008-05-12 2009-11-19 Swarmcast, Inc. Live media delivery over a packet-based computer network
US8370887B2 (en) 2008-05-30 2013-02-05 Microsoft Corporation Media streaming with enhanced seek operation
WO2009155356A1 (en) 2008-06-18 2009-12-23 Onion Networks, KK Traffic and cost containment for internet access by adapting the coding rate when distributing- media content
US8352996B2 (en) 2008-06-27 2013-01-08 Microsoft Corporation Adaptive video switching for variable network conditions
CN102187667B (zh) * 2008-08-26 2014-07-23 Csir公司 从第一编码视频流切换到第二编码视频流的方法
WO2010035378A1 (ja) * 2008-09-29 2010-04-01 パナソニック株式会社 画像符号化装置、画像符号化方法及び撮像システム
US8265140B2 (en) 2008-09-30 2012-09-11 Microsoft Corporation Fine-grained client-side control of scalable media delivery
US8375140B2 (en) 2008-12-04 2013-02-12 Google Inc. Adaptive playback rate with look-ahead
US9025927B2 (en) * 2009-03-25 2015-05-05 Cyberlink Corp. Systems and methods of variable frame rate playback
US9948708B2 (en) 2009-06-01 2018-04-17 Google Llc Data retrieval based on bandwidth cost and delay
US20100333149A1 (en) * 2009-06-24 2010-12-30 Rgb Networks, Inc. Delivery of pre-statistically multiplexed streams in a vod system
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
KR101702562B1 (ko) 2010-06-18 2017-02-03 삼성전자 주식회사 멀티미디어 스트림 파일의 저장 파일 포맷, 저장 방법 및 이를 이용한 클라이언트 장치
WO2012042916A1 (ja) 2010-09-30 2012-04-05 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
CA2830036C (en) 2011-04-12 2019-03-05 Panasonic Corporation Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus and moving picture coding and decoding apparatus
EP4224861B1 (en) 2011-05-24 2025-10-08 Sun Patent Trust Image encoding method, image encoding apparatus, image decoding method, and image decoding apparatus
KR101896734B1 (ko) 2011-05-27 2018-09-07 선 페이턴트 트러스트 화상 부호화 방법, 화상 부호화 장치, 화상 복호 방법, 화상 복호 장치, 및, 화상 부호화 복호 장치
US9485518B2 (en) 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
PL2717579T3 (pl) 2011-05-31 2020-07-27 Sun Patent Trust Sposób dekodowania obrazu i urządzenie do dekodowania obrazu
SG194746A1 (en) 2011-05-31 2013-12-30 Kaba Gmbh Image encoding method, image encoding device, image decoding method, image decoding device, and image encoding/decoding device
JP5937594B2 (ja) 2011-06-30 2016-06-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像復号方法及び画像復号装置
US9232233B2 (en) * 2011-07-01 2016-01-05 Apple Inc. Adaptive configuration of reference frame buffer based on camera and background motion
EP2741499A4 (en) 2011-08-03 2014-12-10 Panasonic Ip Corp America VIDEO CODING METHOD, VIDEO CODING METHOD, VIDEO CODING DEVICE, VIDEO ENCODING DEVICE AND VIDEO ENCODING / DECODING DEVICE
US8751679B2 (en) * 2011-10-07 2014-06-10 Ericsson Television Inc. HTTP adaptive streaming server with automatic rate shaping
WO2013057877A1 (ja) 2011-10-19 2013-04-25 パナソニック株式会社 画像符号化方法、画像符号化装置、画像復号方法、および、画像復号装置
SI2811745T1 (sl) * 2012-01-30 2018-12-31 Samsung Electronics Co., Ltd Postopek in naprava za kodiranje in dekodiranje videa na podlagi hierarhičnih podatkov, ki vsebuje napovedovanje kvantizacijskega parametra
EP2661045A1 (en) * 2012-05-04 2013-11-06 Thomson Licensing Method and apparatus for providing a plurality of transcoded content streams
US9161153B2 (en) * 2012-06-15 2015-10-13 Industrial Technology Research Institute Method of handling CSI report and related communication device
US9609336B2 (en) * 2013-04-16 2017-03-28 Fastvdo Llc Adaptive coding, transmission and efficient display of multimedia (acted)
CN105659593B (zh) * 2013-10-25 2018-12-11 联发科技股份有限公司 依据传输同步事件来控制压缩图像的传输的方法与装置
CN104270649B (zh) * 2014-10-28 2019-01-22 中磊电子（苏州）有限公司 影像编码装置及影像编码方法
US10187680B2 (en) * 2014-11-11 2019-01-22 Cisco Technology, Inc. Adaptive bit rate system architectures using named domain networking
US10051294B2 (en) * 2015-03-31 2018-08-14 Avago Technologies General Ip (Singapore) Pte. Ltd. Compressed video buffering
US20170244894A1 (en) * 2016-02-22 2017-08-24 Seastar Labs, Inc. Method and Apparatus for Managing Latency of Remote Video Production
US11363282B1 (en) * 2016-09-07 2022-06-14 Quantum Radius Corporation System and method for low latency distributed image compression and composition
CN106454395B (zh) 2016-09-20 2018-10-12 北京百度网讯科技有限公司 在服务器中用于自适应提供多码率流媒体的方法及装置
US10484701B1 (en) * 2016-11-08 2019-11-19 Amazon Technologies, Inc. Rendition switch indicator
US11627307B2 (en) 2018-09-28 2023-04-11 Intel Corporation Transport controlled video coding
US11076158B2 (en) * 2019-09-09 2021-07-27 Facebook Technologies, Llc Systems and methods for reducing WiFi latency using transmit opportunity and duration
US11044477B2 (en) * 2019-12-16 2021-06-22 Intel Corporation Motion adaptive encoding of video

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4302775A (en) * 1978-12-15 1981-11-24 Compression Labs, Inc. Digital video compression system and methods utilizing scene adaptive coding with rate buffer feedback
US4485211A (en) * 1982-09-15 1984-11-27 The B. F. Goodrich Company Poly(glycidyl ether)block copolymers and process for their preparation
US5416520A (en) * 1993-11-30 1995-05-16 Intel Corporation Multiple encoder output buffer apparatus for differential coding of video information
JPH08163554A (ja) * 1994-12-02 1996-06-21 Electron & Telecommun Res Inst ビデオビット率制御方法
US6480541B1 (en) * 1996-11-27 2002-11-12 Realnetworks, Inc. Method and apparatus for providing scalable pre-compressed digital video with reduced quantization based artifacts
JP3844844B2 (ja) * 1997-06-06 2006-11-15 富士通株式会社 動画像符号化装置及び動画像符号化方法
US6366704B1 (en) * 1997-12-01 2002-04-02 Sharp Laboratories Of America, Inc. Method and apparatus for a delay-adaptive rate control scheme for the frame layer
US6167088A (en) * 1998-04-03 2000-12-26 Sarnoff Corporation Method and apparatus for performing adaptive encoding rate control of a video information stream including 3:2 pull-down video information
US6212232B1 (en) * 1998-06-18 2001-04-03 Compaq Computer Corporation Rate control and bit allocation for low bit rate video communication applications
US6661846B1 (en) * 1998-10-14 2003-12-09 Sony Corporation Adaptive clocking mechanism for digital video decoder
JP2001285868A (ja) * 2000-03-29 2001-10-12 Victor Co Of Japan Ltd 動画像符号列切替装置及び動画像符号列切替方法
KR100386583B1 (ko) * 2000-11-30 2003-06-02 엘지전자 주식회사 영상 변환 부호화 장치 및 방법
US20030169813A1 (en) * 2002-03-08 2003-09-11 Van Der Schaar Mihaela Method and apparatus to execute a smooth transition between FGS encoded structures
GB2395387B (en) * 2002-11-13 2005-02-16 Motorola Inc Video streaming device and method of control for switchable video streams
WO2006075901A1 (en) * 2005-01-14 2006-07-20 Sungkyunkwan University Methods of and apparatuses for adaptive entropy encoding and adaptive entropy decoding for scalable video encoding

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12470781B2 (en) 2006-03-14 2025-11-11 Divx, Llc Federated digital rights management scheme including trusted systems
US12262051B2 (en) 2011-01-05 2025-03-25 Divx, Llc Systems and methods for performing adaptive bitrate streaming
US12250404B2 (en) 2011-01-05 2025-03-11 Divx, Llc Systems and methods for performing adaptive bitrate streaming
US11638033B2 (en) 2011-01-05 2023-04-25 Divx, Llc Systems and methods for performing adaptive bitrate streaming
US11457054B2 (en) 2011-08-30 2022-09-27 Divx, Llc Selection of resolutions for seamless resolution switching of multimedia content
CN108989847A (zh) * 2011-08-30 2018-12-11 帝威视有限公司 用于编码和流处理视频的系统和方法
US10798143B2 (en) 2011-08-30 2020-10-06 Divx, Llc Selection of resolutions for seamless resolution switching of multimedia content
US10931982B2 (en) 2011-08-30 2021-02-23 Divx, Llc Systems and methods for encoding and streaming video encoded using a plurality of maximum bitrate levels
CN108989847B (zh) * 2011-08-30 2021-03-09 帝威视有限公司 用于编码和流处理视频的系统和方法
US11611785B2 (en) 2011-08-30 2023-03-21 Divx, Llc Systems and methods for encoding and streaming video encoded using a plurality of maximum bitrate levels
US12244878B2 (en) 2011-09-01 2025-03-04 Divx, Llc Systems and methods for distributing content using a common set of encryption keys
CN108965883B (zh) * 2012-06-28 2022-08-30 阿克西斯股份公司 使用虚拟帧内帧对视频内容进行编码的系统和方法
CN104641638A (zh) * 2012-06-28 2015-05-20 阿克西斯股份公司 使用虚拟帧内帧对视频内容进行编码的系统和方法
CN108965883A (zh) * 2012-06-28 2018-12-07 阿克西斯股份公司 使用虚拟帧内帧对视频内容进行编码的系统和方法
CN104641638B (zh) * 2012-06-28 2018-08-03 阿克西斯股份公司 使用虚拟帧内帧对视频内容进行编码的系统和方法
US10009630B2 (en) 2012-06-28 2018-06-26 Axis Ab System and method for encoding video content using virtual intra-frames
US9813732B2 (en) 2012-06-28 2017-11-07 Axis Ab System and method for encoding video content using virtual intra-frames
US11785066B2 (en) 2012-12-31 2023-10-10 Divx, Llc Systems, methods, and media for controlling delivery of content
US12177281B2 (en) 2012-12-31 2024-12-24 Divx, Llc Systems, methods, and media for controlling delivery of content
US12407906B2 (en) 2013-05-30 2025-09-02 Divx, Llc Network video streaming with trick play based on separate trick play files
CN110800047A (zh) * 2017-04-26 2020-02-14 Dts公司 对帧组的比特率控制

Also Published As

Publication number Publication date
EP1638333A1 (en) 2006-03-22
US20060088094A1 (en) 2006-04-27
JP2006087125A (ja) 2006-03-30

Similar Documents

Publication Publication Date Title
CN1756359A (zh) 速率自适应视频编码
CN101336549B (zh) 基于多层的可缩放视频编码方法及装置
KR100942395B1 (ko) 다층 비디오 설계를 위한 레이트 제어
CN1192629C (zh) 应用基层编码信息改进精确颗粒可定标图像的系统和方法
US8315307B2 (en) Method and apparatus for frame prediction in hybrid video compression to enable temporal scalability
EP3751848B1 (en) Seamless switching of scalable video bitstreams
US20110274180A1 (en) Method and apparatus for transmitting and receiving layered coded video
CN100344162C (zh) 视频点播服务器系统和方法
CN1951119A (zh) 能够针对dsl系统的进行快速信道改变的方法及设备
CN1491381A (zh) 用于缓冲流式化数据的方法和系统
CN1339224A (zh) 使用基层量化数据对增强层数据进行编码和解码的系统和方法
CN100440975C (zh) 提高压缩视频比特流中的平均图像刷新速率的方法和设备
CN101077011A (zh) 运用精细粒度可伸缩性技术进行数字视频实时代码转换的系统和方法
JP2007507927A (ja) アドバンスドデータパーティショニングと効率的な空間−時間−ｓｎｒスケーラビリティビデオコーディング及びストリーミングのためのファイン・グラニュラリティ・スケーラビリティとを結合したシステム及び方法
CN1729696A (zh) 使用前向纠错码的视频无漂移分数多描述信道编码的系统和方法
CN1943241A (zh) 用于接收视频数据的设备和方法
CN1848954A (zh) 能够最小化随机存取延迟的视频编码/解码装置及方法
US11838489B2 (en) Event-based trigger interval for signaling of RTCP viewport for immersive teleconferencing and telepresence for remote terminals
WO2013071460A1 (en) Reducing amount op data in video encoding
Wu et al. SMART: an efficient, scalable, and robust streaming video system
TWI416962B (zh) 在併合視訊壓縮中用於框架預測以致動暫時可擴充性之方法、裝置、及電腦可讀取媒體
WO2025215016A1 (en) Intra-coded picture refresh with reference picture resampling (rpr)
Qiao et al. Motion-JPEG2000 Stream Scaling for Multi-Resolution Video Transmission
Khamiss et al. Adaptive Rate Control for Low Rate Video Transmission over Wireless Network
Huang et al. Error-robust scalable extension of H. 264/AVC ubiquitous streaming using the adaptive packet interleaving mechanism

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20060405