[go: up one dir, main page]

CN1224263C - Mpeg－4视频数据的编码方法 - Google Patents

Mpeg－4视频数据的编码方法 Download PDF

Info

Publication number
CN1224263C
CN1224263C CNB028002555A CN02800255A CN1224263C CN 1224263 C CN1224263 C CN 1224263C CN B028002555 A CNB028002555 A CN B028002555A CN 02800255 A CN02800255 A CN 02800255A CN 1224263 C CN1224263 C CN 1224263C
Authority
CN
China
Prior art keywords
video
video data
data partition
packets
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CNB028002555A
Other languages
English (en)
Other versions
CN1457602A (zh
Inventor
P·根特里克
B·尼佐特
Y·拉曼津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NXP BV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1457602A publication Critical patent/CN1457602A/zh
Application granted granted Critical
Publication of CN1224263C publication Critical patent/CN1224263C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/007—Transform coding, e.g. discrete cosine transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种用于根据MPEG-4标准对由一个或多个比特流组成的视频数据进行编码的方法和装置。为了避免当将视频元素映射到系统元素中的任何问题，选择特定的对准/分段机制。根据这种机制，当利用对应于将包括在视频数据中的视频对象平面(VOP)分段为视频分组(VP)，以及将视频分组分段为数据分区(DP)的语法模式，对所述视频比特流进行编码时，视频数据分区被映射到一个或多个SL分组中(SL1、SL2、SL3、SL4...)，第一个视频数据分区(DP1)的开始总是被映射到SL分组的开始，并且传输第一个数据分区的最后一个SL分组包括分隔标记以及多达7个后续第二数据分区(DP2)比特，从而获得字节对准，下一SL分组开始于第二数据分区的下一比特。

Description

MPEG-4视频数据的编码方法
本发明涉及根据MPEG-4标准对由一个或多个比特流组成的视频数据进行编码的方法。本发明还涉及相应的编码装置以及由至少一个在这种编码装置输出端获得的视频比特流组成的编码MPEG-4信号。
在诸如因特网或UMTS无线电信道的有损耗网络上的音频-视频数据传输需要使用编码技术，编码技术在其比特的使用和强有力地防止传输误差两方面都是有效的。在此环境中设计的MPEG-4标准提供表示自然或合成源的音频-视频对象(AVO)的标准化方法，采用在自然和合成视频序列中发现的时间和空间冗余性。出于这种目的，对于在视频流中出现的三种视频对象面(VOP)类型(内部VOP或I VOP；预测VOP或P VOP；双向VOP或B VOP)，使用特定编码技术。通过除去视频信号中的冗余从而降低带宽要求的这些编码技术，在所述信号在传输层中被划分为分组时，变得对比特误差和传输层分组丢失相当敏感(例如，单个比特误差可使得不可能对信息进行解码，或者，由于传输层的分组丢失，后续分组中预测编码的运动信息可能变得不可解码)。另外，由于编码器的预测特性，发生在I或P VOP中的误差将趋向于传播到后继的P VOP和周围的B VOP。
容错是MPEG-4视频标准为了解决上述缺点而提供的无数选项之一：它提供一组允许根据它们的敏感度对编码数据按等级进行分类的工具(这种容错模式特别包括提高解码器定位误差的能力的功能性：它根据数据分区，通过将运动和宏块标题信息与结构信息分开而实现，这样，如果结构信息丢失，则允许借助于预先解码VOP的运动补偿利用运动信息来隐蔽这种误差)。为了利用这种特征的优点，传输层必须考虑由视频层提供的分级信息。
传统上，MPEG-4视频比特流由许多元素组成，例如视频对象(VO)、视频对象层(VOL)、视频对象面、VOP组(GOV)、视频分组(VP)、视频数据分区(VDP)等，同时MPEG-4系统操作以下实体：例如DecoderSpecificInfo(解码器特定信息)、接入单元(AU)、SL分组。为此，为了正常工作，如何将视频元素映射到系统元素中是关键重点。具体地说，这里描述了视频数据分区到系统的映射。视频数据分区以特定视频比特流语法模式对应于视频分组的段，该模式使它们具有容错能力；具体地说，每个视频分组有两个视频数据分区。但是，数据分区语法的一个缺点是它不是字节对准的，即视频分组的第一和第二数据分区之间的边界没有字节对准：它不是以8的倍数比特开始的。这种情况对有效的机器实现是未达最佳标准的的，并且当考虑网络传输时可能导致问题，因为网络协议传输字节(即8比特的分片)。
因此，本发明的第一个目的是提议一种避免这种缺点的方法。
为此，本发明涉及一种根据MPEG-4标准对由一个或多个比特流组成的视频数据进行编码的方法，其中选择了特定的对准/分段机制，根据这种机制，当利用对应于将包括在所述视频数据中的所述视频对象平面(VOP)分段为视频分组(VP)，以及将视频分组分段为数据分区(DP)的语法模式，对所述视频比特流进行编码时，视频数据分区被映射到一个或多个SL分组中，即使大的视频数据分区被分为多个SL分组，第一个视频数据分区的开始也总是被映射到SL分组的开始，并且传输第一个数据分区的最后一个SL分组包括分隔标记(DC标记或运动标记，取决于VOP类型)以及多达7个后续第二数据分区比特，以获得字节对准，下一SL分组开始于第二数据分区的下一比特。
本发明的另一目标是提议一种相应的编码装置。
为此，本发明涉及一种用于根据MPEG-4标准对由一个或多个比特流组成的视频数据进行编码的装置，所述装置包括特定的对准/分段机制，根据这种机制，当利用对应于将包括在所述视频数据中的所述视频对象平面(VOP)分段为视频分组(VP)，以及将视频分组分段为数据分区(DP)的语法模式，对所述视频比特流进行编码时，视频数据分区被映射到一个或多个同步层分组(SL分组)中，即使大的视频数据分区被分为多个SL分组，第一个视频数据分区的开始也总是被映射到一个SL分组的开始，并且传输第一数据分区的最后一个SL分组包括分隔标记以及多达7个后续第二数据分区比特，以获得字节对准，下一SL分组开始于第二数据分区的下一比特。
本发明还涉及一种由至少一个从编码装置的输出端上获得的视频比特流组成的编码MPEG-4信号，其中选择了特定的对准/分段机制，根据这种机制，当利用对应于将包括在所述视频数据中的所述视频对象平面(VOP)分段为视频分组(VP)，以及将视频分组分段为数据分区(DP)的语法模式，对所述视频比特流进行编码时，视频数据分区被映射到一个或多个同步层分组(SL分组)中，即使大的视频数据分区被分为多个SL分组，第一个视频数据分区的开始也总是被映射到一个SL分组的开始，并且传输第一数据分区的最后一个SL分组包括分隔标记以及多达7个后续第二数据分区比特，以获得字节对准，下一SL分组开始于第二数据分区的下一比特。
现在通过例示，参考附图对本发明进行描述，其中：
图1给出了多媒体终端的主处理层；
图2说明了依照本发明的对准/分段机制。
如上所述，MPEG-4标准提供表示自然或合成源的AVO的标准方法，从而将它们组合在一起以产生形成音频-视频场景的复合AVO(音频-视频场景一般由多个AVO组成，以分级方式组织)，从而对与AVO相关的数据进行多路复用和同步，并且影响在接收器端生成或重建的音频-视频场景。图1中说明了允许再现和显示这种音频视频场景的多媒体视听终端的主处理部分，其中终端是多层架构，由以下三层组成：复用转换(TransMux)层21、灵活复用(FlexMux)22以及接入单元层23。
复用转换层21由保护子层和复用子层组成(尽管在某些复用转换实例中，也许不可能分开标识这些子层，但是保护子层特别用于提供适合给定网络和存储媒体的误差保护和误差检测工具)。在MPEG-4的环境中未定义的层21，实际上是与网络或存储媒体的接口，并且允许提供与所请求的业务质量(QoS)相匹配的传输业务。在其输出端上可得到灵活复用流，即灵活复用分组序列(由信头和净荷组成的小数据实体)。
完全由MPEG-4规定的灵活复用层22由用于交织数据的灵活工具组成(将一个或多个基本数据流组合到一个灵活复用流中)，并且允许标识用于多路传输数据的不同信道。在所述层22的输出端上可得到SL分组流，即封装一个基本流的SL分组序列(SL分组或同步层分组＝由下一层23管理的最小数据实体，或同步层，所述实体包括可配置的信头和净荷，净荷自身由全部或部分接入单元组成)。
提供层23或同步层，以修改基本流数据用于通信。基本流作为SL分组流传送，并且这种分组表示法还提供定时和同步信息以及分段和随机访问信息。该层23之后是压缩层24，压缩层24从数据的编码格式将其恢复，并且允许执行必要的操作以对编码信号进行解码并且重建原始信息。然后根据解码信息的显示(以便被显示)和一些用户交互处理这些解码信息(合成、再现)。
根据图2所示的对准/分段机制的本发明，提议了以下解决方法。当利用对应于将VOP分段为视频分组，以及将这些视频分组分段为数据分区(DP1，DP2)的语法模式，对视频比特流进行编码时，视频数据分区应该被映射到一个或多个SL分组(SL1、SL2、SL3、SL4等)中，这些SL分组是字节对准的(在这些SL分组各自的第一比特之间，即SL分组的字节分界BB之间有8比特或8的倍数比特的距离)。具体地说，允许将大的视频数据分区分为多个SL分组，但是第一个视频数据分区DP1的开始必须总是被映射到SL分组的开始。
另外，因为如果第一个数据分区丢失，第二个数据分区是无用的，但是解码器需要标记M以安全地识别第一个数据分区DP1的结束，应该使用以下对准规则：传输第一个数据分区的最后一个SL分组必须包括分隔标记M(DC标记或运动标记，取决于VOP类型)以及多达7个后续第二个数据分区比特，从而获得字节对准。下一SL分组开始于第二个数据分区的下一比特。所述的特定对准/分段允许将视频元素映射到系统元素中，并且在这种情况下避免任何文件结构互换问题或任何网络问题。

Claims (1)

1.一种用于根据MPEG-4标准对由一个或多个比特流组成的视频数据进行编码的方法，其特征在于，当利用对应于将包括在所述视频数据中的视频对象平面分段为视频分组，以及将视频分组分段为数据分区的语法模式，对所述比特流进行编码时，视频数据分区被映射到一个或多个同步层分组中，即使大的视频数据分区被分为多个同步层分组，所述第一个视频数据分区的开始总是被映射到同步层分组的开始，并且传输所述第一个数据分区的最后一个同步层分组包括分隔标记以及多达7个后续的第二数据分区比特，以获得字节对准，下一同步层分组开始于所述第二数据分区的下一比特。
CNB028002555A 2001-02-27 2002-02-25 Mpeg－4视频数据的编码方法 Expired - Lifetime CN1224263C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP01400504.5 2001-02-27
EP01400504 2001-02-27

Publications (2)

Publication Number Publication Date
CN1457602A CN1457602A (zh) 2003-11-19
CN1224263C true CN1224263C (zh) 2005-10-19

Family

ID=8182636

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028002555A Expired - Lifetime CN1224263C (zh) 2001-02-27 2002-02-25 Mpeg－4视频数据的编码方法

Country Status (6)

Country Link
US (1) US6888895B2 (zh)
EP (1) EP1384381B1 (zh)
JP (1) JP2004519908A (zh)
KR (1) KR100841896B1 (zh)
CN (1) CN1224263C (zh)
WO (1) WO2002069643A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1309196A3 (en) * 2001-10-29 2005-07-20 Matsushita Electric Industrial Co., Ltd. File creating method and data reproduction method
US20040223547A1 (en) * 2003-05-07 2004-11-11 Sharp Laboratories Of America, Inc. System and method for MPEG-4 random access broadcast capability
JP4845335B2 (ja) * 2003-05-21 2011-12-28 キヤノン株式会社 データストリーム送信装置及びデータストリーム受信装置
JP2005175715A (ja) * 2003-12-09 2005-06-30 Canon Inc テレビ受信装置、ネットワーク端末及びネットワーク制御システム
CN101331733B (zh) * 2005-12-16 2011-12-07 杜比瑞典公司 用于使用后续数据帧中的数据来产生和解释具有一系列段的数据流的设备和方法
US7809018B2 (en) 2005-12-16 2010-10-05 Coding Technologies Ab Apparatus for generating and interpreting a data stream with segments having specified entry points
US8060651B2 (en) 2006-08-17 2011-11-15 Sharp Laboratories Of America, Inc. Systems and methods for adaptively packetizing data partitions for transport over a network
WO2011132937A2 (en) * 2010-04-20 2011-10-27 Samsung Electronics Co., Ltd. Interface apparatus and method for transmitting and receiving media data
US10219006B2 (en) * 2013-01-04 2019-02-26 Sony Corporation JCTVC-L0226: VPS and VPS_extension updates
US9648326B2 (en) * 2013-07-02 2017-05-09 Qualcomm Incorporated Optimizations on inter-layer prediction signalling for multi-layer video coding

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6768775B1 (en) * 1997-12-01 2004-07-27 Samsung Electronics Co., Ltd. Video CODEC method in error resilient mode and apparatus therefor
JP2002521882A (ja) * 1998-07-17 2002-07-16 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 符号化データを分離多重する装置
US6754277B1 (en) * 1998-10-06 2004-06-22 Texas Instruments Incorporated Error protection for compressed video
JP2000209580A (ja) * 1999-01-13 2000-07-28 Canon Inc 画像処理装置およびその方法
DE60031063T2 (de) * 1999-04-20 2007-05-03 Koninklijke Philips Electronics N.V. Vorverarbeitungsverfahren zum anpassen von mpeg-4 datenströmen an das internetnetzwerk
JP2001025010A (ja) * 1999-07-09 2001-01-26 Mitsubishi Electric Corp マルチメディア情報通信装置およびその方法
US20020018565A1 (en) * 2000-07-13 2002-02-14 Maximilian Luttrell Configurable encryption for access control of digital content

Also Published As

Publication number Publication date
KR20030005297A (ko) 2003-01-17
CN1457602A (zh) 2003-11-19
EP1384381A1 (en) 2004-01-28
KR100841896B1 (ko) 2008-06-26
US20020118749A1 (en) 2002-08-29
US6888895B2 (en) 2005-05-03
EP1384381B1 (en) 2017-09-20
JP2004519908A (ja) 2004-07-02
WO2002069643A1 (en) 2002-09-06

Similar Documents

Publication Publication Date Title
US11381621B2 (en) Device and method for processing data in multimedia system
US11146822B2 (en) Method and apparatus for decoding an enhanced video stream
EP2721814B1 (en) Method and apparatus for transmitting/receiving media contents in multimedia system
US8351514B2 (en) Method, protocol, and apparatus for transporting advanced video coding content
CN100399824C (zh) 用于jvt视频的通用适配层
WO1999004566A1 (fr) Procede et systeme de multiplexage d'un signal image, procede et systeme de demultiplexage d'un signal image, et support de transmission
CN102158697A (zh) 用于解码/编码视频信号的方法及装置
CN101238736A (zh) 在avs-m视频比特流中的随机访问
US8432937B2 (en) System and method for recovering the decoding order of layered media in packet-based communication
CN1224263C (zh) Mpeg－4视频数据的编码方法
US12489904B2 (en) Video coding in relation to subpictures
CN1386375A (zh) Mpeg－4编码器及这种编码器的输出编码信号
CN1147079C (zh) 用于将编码数据解复用的设备
KR20070094560A (ko) 비 스케일러블 디코더와 호환성 있는 스케일러블 비디오코딩/멀티플렉싱
US6154780A (en) Method and apparatus for transmission of a flexible and error resilient video bitstream
CN100449950C (zh) 鲁棒性信号编码
CN109600616B (zh) 一种基于h.264视频压缩标准的码流封装方法
US8165161B2 (en) Method and system for formatting encoded video data
US20210306443A1 (en) Signaling and identifying picture boundary in video payload format over ip network
CN113453006B (zh) 一种图片封装方法、设备以及存储介质
JP6614281B2 (ja) 受信装置および受信方法
JP6350638B2 (ja) 送信装置、送信方法、受信装置および受信方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: NXP CO., LTD.

Free format text: FORMER OWNER: ROYAL PHILIPS ELECTRONICS CO., LTD.

Effective date: 20071102

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20071102

Address after: Holland Ian Deho Finn

Patentee after: Koninkl Philips Electronics NV

Address before: Holland Ian Deho Finn

Patentee before: Koninklike Philips Electronics N. V.

ASS Succession or assignment of patent right

Owner name: CALLAHA XILE CO., LTD.

Free format text: FORMER OWNER: KONINKL PHILIPS ELECTRONICS NV

Effective date: 20120121

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20120121

Address after: American Delaware

Patentee after: NXP BV

Address before: Holland Ian Deho Finn

Patentee before: Koninkl Philips Electronics NV

CX01 Expiry of patent term

Granted publication date: 20051019

CX01 Expiry of patent term