[go: up one dir, main page]

CN1642221A - 复用方式转换装置 - Google Patents

复用方式转换装置 Download PDF

Info

Publication number
CN1642221A
CN1642221A CNA2005100047278A CN200510004727A CN1642221A CN 1642221 A CN1642221 A CN 1642221A CN A2005100047278 A CNA2005100047278 A CN A2005100047278A CN 200510004727 A CN200510004727 A CN 200510004727A CN 1642221 A CN1642221 A CN 1642221A
Authority
CN
China
Prior art keywords
data
missing
unit
sample
packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2005100047278A
Other languages
English (en)
Inventor
远间正真
松井义德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1642221A publication Critical patent/CN1642221A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2404—Monitoring of server processing errors or hardware failure
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16L—PIPES; JOINTS OR FITTINGS FOR PIPES; SUPPORTS FOR PIPES, CABLES OR PROTECTIVE TUBING; MEANS FOR THERMAL INSULATION IN GENERAL
    • F16L3/00—Supports for pipes, cables or protective tubing, e.g. hangers, holders, clamps, cleats, clips, brackets
    • F16L3/16—Supports for pipes, cables or protective tubing, e.g. hangers, holders, clamps, cleats, clips, brackets with special provision allowing movement of the pipe
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16F—SPRINGS; SHOCK-ABSORBERS; MEANS FOR DAMPING VIBRATION
    • F16F15/00—Suppression of vibrations in systems; Means or arrangements for avoiding or reducing out-of-balance forces, e.g. due to motion
    • F16F15/02—Suppression of vibrations of non-rotating, e.g. reciprocating systems; Suppression of vibrations of rotating systems by use of members not moving with the rotating systems
    • F16F15/04—Suppression of vibrations of non-rotating, e.g. reciprocating systems; Suppression of vibrations of rotating systems by use of members not moving with the rotating systems using elastic means
    • F16F15/08—Suppression of vibrations of non-rotating, e.g. reciprocating systems; Suppression of vibrations of rotating systems by use of members not moving with the rotating systems using elastic means with rubber springs ; with springs made of rubber and metal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23608—Remultiplexing multiplex streams, e.g. involving modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Time-Division Multiplex Systems (AREA)

Abstract

本发明提供一种复用方式转换装置，该复用方式转换装置的转换部(103)，包括丢包判断部(202)，判断TS包的丢包，在检测出丢包时，进行错误处理，并输出错误处理后的有效数据；以及Box制作部(206)，根据输入的AU数据和PES头中的显示时间，制作包含错误信息的moov和mdat。

Description

复用方式转换装置
技术领域
本发明涉及转换动态图像、声音等编码媒体数据的复用方式并输出的复用方式转换装置。
背景技术
近年来，处理动态图像和声音等编码多媒体数据的设备和服务，随着存储介质和通信网络的大容量化、或者传送技术的进步而普及开来。例如，在广播领域中，开始了数字编码后的媒体数据的广播，取代现有的模拟广播。现在的数字广播只是以固定接收为对象，但是在将来，也准备面向便携式电话等移动体的广播。另外，在通信领域中，开始面向第3代便携式电话的动态图像投递服务等在固定终端和便携式终端的两者中处理多媒体数据的环境也逐渐齐备。鉴于这些背景，可以预见在SD(Secure Digital，安全数字)卡等存储卡、或者DVD-RAM(Digital Versatile Disk-Rewritable，数字万能可写光盘)等光盘中，记录通过广播、因特网接收的内容数据，在设备之间共享内容数据这样的使用方法将得到普及。
在播放、存储或通过网络路经投递媒体数据时，再现媒体数据所需的报头信息和媒体数据被复用。复用按面向广播、DVD等存储设备和面向移动体进行复用时，分别将标准的复用方式规格化。首先，在数字广播和DVD中，使用在ISO/IEC JTC1/SC29/WG 11(InternationalStandardisation Organization/International EngineeringConsortium，国际标准化组织/国际工程联合会)中已标准化了的MPEG-2(Moving Picture Expert Group，活动态图像专家组)系统规格。另外，对于便携式终端，作为以第3代移动体通信系统的规格化为目的的国际标准化团体的3GPP(Third Generation PartnershipProject)，在定为基于无线的动态图像投递规格的TS26.234(Transparent end-to-end packet switched streaming service)中采用了由ISO/IEC JTC1/SC29/WG 11标准化了的MP4文件格式。
另外，作为动态图像的编码方式，MPEG-4 AVC(Advanced VideoCoding)已被标准化为现在普及了的MPEG-2 Visual和MPEG-4 Visual的后继规格，因此可以预想：今后将用MPEG-2系统规格和MP4文件格式(以下称为MP4)对MPEG-4 AVC的编码视频数据进行复用、播放、存储或投递。
以下，说明MPEG-2系统和MP4中的编码数据复用方法的概要。由于在MPEG-2系统和MP4中，作为处理编码数据时的基本单位使用存取单元(AU)，因此，首先说明AU的结构。所谓AU是包含与1幅图像相当的编码数据的单位，MPEG-4 AVC中的AU数据具有图1所示的结构。对于MPEG-4 AVC，除了图像解码所需的数据，AU数据中还可以包含不是解码所必需的被称为SEI(Supplemental EnhancementInformation，附加增强信息)的辅助信息和AU的界限信息等。这些数据全部存储于NAL(Network Adaptation Layer，网络适应层)单元中。并且，在MPEG-2系统中，被称为Access Unit Delimiter(存取单元分界符)的表示AU开始的NAL单元必须附加在AU的开头。NAL单元如图1(a)所示，由头和有效载荷构成，头的大小为1个字节，包含表示有效载荷中存储的数据的类型(以下称为NAL单元类型)的字段(field)等。NAL单元类型，根据切片(slice)和SEI等数据的种类来定义值，在取得存储于NAL单元中的数据的种类时，参考NAL单元类型。在AU中，如图1(b)和图1(c)所示，除了与1幅图像相当的切片数据，还存储报头信息和SEI等NAL单元，但是在NAL单元中不存在用于识别NAL单元数据的界限的信息，因此在存储AU时，可以在各NAL单元的开头附加界限信息。作为界限信息有如图1(b)所示附加0x000001的由3个字节表示的开始码前缀的方法(以下称为字节流格式)和如图1(c)所示附加NAL单元大小的方法(以下称为NAL大小格式)这两种。对于具有AU的开头NAL单元和特定的NAL单元类型值的NAL单元，规定在开始码前缀之前附加1个以上的zero_byte(值为0x00的1个字节)。在MPEG-2系统中使用字节流格式，在MPE4中使用NAL大小格式。
接下来，详细地说明切片和报头信息。切片分为IDR(Instantaneous Decoder Refresh，瞬时解码器刷新)切片和除此之外的切片两种。所谓IDR切片是画面内编码了的切片数据，后述的SPS(Sequence ParameterSet，序列参数集)等报头信息只能在IDR切片中进行切换。在图像中包含IDR切片时，同一图像内的其它的切片也全部是IDR切片，因此，以下将包含IDR切片的AU称为IDR AU。另外，将由IDR AU到下一个IDR AU的即将到的AU构成的单位称为序列，在对AU的切片数据解码时，只参考序列内的AU，因此能以序列单位进行随机存取。接着，报头信息有SPS和PPS(PictureParameter Set，图像参数集)两种。SPS是以序列单位固定的报头信息，PPS是能以图像单位切换的报头信息。SPS和PPS都可以具有多个，每个SPS或PPS用索引号区别。另外，1个NAL单元存储1个SPS或者PPS。各图像所参考的SPS和PPS的索引号如下这样取得。首先，图像所参考的PPS的索引号表示在切片数据的头部中。接着，为了在PPS中表示PPS所参考的SPS的索引号，对图像所参考的PPS进行分析，取得图像所参考的PPS的索引号。图像所参考的SPS和PPS在图像的切片数据解码时是必须的。
接下来，说明在播放中用MPEG-2系统对AU数据进行复用时的方法。在MPEG-2系统中，编码数据首先被复用为PES(PacketizedElementary Stream，打包基本流)包，然后PES包再复用为TS(Transport Stream，传输流)包。图2的(a)和(b)分别示出了PES包和TS包的结构。存取单元(AU)数据存储在PES包的有效载荷中。图2(a)的(1)~(3)表示向PES包的有效载荷存储AU数据的存储例，可以如(1)和(2)所示将1个以上的AU集中起来进行存储，也可以如(3)所示将AU数据分开来存储。并且，在有效载荷中还可以包含与AU数据不同的填充数据。PES包的头从开始码开始，该开始码由0x000001的用3个字节表示的开始码前缀、以及1个字节的流ID构成，总共4个字节。所谓流ID是表示PES包的有效载荷数据中所包含的编码数据的种类的识别号码，在MPEG-4 AVC中，能取0xE0～0xEF的任意值。在头中可以存储在有效载荷内开始的即将到的AU的解码时间、以及显示时间，但是不一定在所有的PES包中存储这些时间信息，也有不存储时间信息的PES包。在需要没有由PES包的头示出解码时间或显示时间的AU的时间信息时，对AU数据进行分析，取得与即将到的AU的解码时间或显示时间的差值。另外，PES包的开始位置，通过在TS包的有效载荷内搜索4个字节的开始码来进行检测。另一方面，PES包的数据，如图2的(b)所示，分割成TS包的有效载荷进行存储。TS包是大小为188字节的固定长度的包，由4个字节的头、适应字段、有效载荷数据构成。而且，适应字段只存在于设置了头内的特定的标志的情况下。头中包含被称为表示TS包传送的数据的种类的PID的识别号码、以及被称为continuity_counter的计数器。continuity_counter是4位的字段，在同一PID的TS包中按发送顺序逐一增加，达到最大值时进行循环。TS包的PID、与TS包传送的数据的种类的对应关系，由用另外的TS包发送的节目信息提供。因此，在接收TS包时，首先取得TS包的PID，根据PID的值分配包。例如，根据接收开始时取得的节目信息，表示MPEG-4 AVC的数据由PID为32的TS包传送时，通过取得PID为32的TS包，能取得MPEG-4 AVC的AU数据。在此，在接收的TS包的continuity_counter值产生间隔时，表示在传送路径中产生了丢包。另外，将AU数据从TS包中分离出来时，从TS包的有效载荷数据中分离PES包，再从分离的PES包中分离AU数据。
最后，说明MP4中的AU数据的复用方法。在MP4中，样本单位的报头信息和媒体数据由被称为Box的目标单位管理。在此，所谓样本是在MP4中处理媒体数据时的基本单位，1个样本相当于1个AU。对各样本以解码时间顺序，升序分配样本号，样本号按每个样本逐一增加。图3(a)表示Box的结构，由以下的字段构成。
size：包含了size字段的Box整体的大小
type：是Box的识别符，通常由4个字母文字表示。
字段长度为4个字节，在MP4文件内检索Box时，通过判断连续的4个字节部分的数据是否与type字段的识别符一致来进行。
version：Box的版本号
flags：对每个Box设置的标志信息
数据：存储报头信息和媒体信息。
而且，由于version和flags不是必需的，因此有的Box不存在这些字段。之后，在Box的参考中使用type字段的识别符，例如type为“moov”的Box称为moov。图3(b)表示MP4文件中的Box结构。MP4文件由ftyp、moov、mdat或者moof构成，ftyp配置在文件的开头。ftyp包括用于识别MP4文件的信息，在mdat中存储媒体数据。mdat所包含的各媒体数据被称为磁道(track)，各磁道由磁道ID识别。接着，在moov中存储与mdat的各磁道所包含的样本有关的报头信息。在moov内，如图4(a)所示，Box分层配置，在音频、视频等各媒体磁道中，报头信息分别存储于各自的trak中。在trak内Box也分层配置，样本的大小和解码时间、显示开始时间或者可随机存取的样本的信息等存储于stbl内的各Box中(图4(b))。可随机存取的样本被称为同步样本，同步样本的样本号的一览由stbl内的stss表示。上面，磁道内的所有样本的报头信息都存储在moov中，但是也可以对磁道进行分割而片段化，以片段(segment)单位存储报头信息。对于分割了磁道的单位，报头信息由moof表示，在图5的例子中，可以将mdat#1所存储的样本的报头信息存储在moof#1中。
在此，试着考虑将在便携式终端中接收到的广播数据从便携式电话添加到电子邮件中发送的情况。在3GPP中，规定在电子邮件中处理动态图像和声音等时，用MP4对媒体数据进行复用。因此，在电子邮件发送时，需要将复用方式从TS向MP4转换。以下，对在现有的复用方式转换装置中将对MPEG-4 AVC的编码数据进行了复用的TS包的包串转换为MP4文件时的动作进行说明(参考例如日本特开2003-114845号公报)。另外，在转换后的MP4中，片段是不使用的。图6是表示转换动作的流程图。在步骤101中，从被输入的TS包的有效载荷中检测PES包的开始位置，由此分离PES包的数据。接着，在步骤102中，从分离的PES包的有效载荷数据中检测AU的开始位置。反复进行步骤101和步骤102(循环A)，直到检测到AU的开始位置为止。在检测出的时刻，分离与1个AU相当的AU数据。在步骤103中，取得PES头所示的显示时间信息，在步骤104中，制作moov和mdat。反复进行步骤101～步骤104(循环B)的处理，直到最终TS包的处理结束，在处理了媒体数据的全部AU的时刻，结束循环B，在步骤105中，连接moov和mdat的数据，完成MP4文件的制作。图7是详细表示步骤104的处理的流程图。在步骤201中，分析AU数据，取得制作moov内的Box所需的报头信息。在步骤202中，将构成AU的NAL单元的存储形式从字节流格式转换为NAL大小格式。在步骤203中，根据在步骤201中取得的AU的报头信息，制作moov内的Box数据，在步骤204中制作mdat数据。另外，存储样本的大小以及解码时间信息等每个样本的报头信息的Box，在磁道内的全部AU的处理结束的时刻，结束制作。
在接收所广播的TS包时，因气候和接收条件而产生丢包。特别是，在便携式电话等移动体终端边移动边接收的情况下，有时频繁发生丢包。在TS包中，通过调查continuity_counter值是否未变得不连续，能检测出AU数据因丢包而缺失，但是在MP4中不能表示样本数据的缺失的情况。因此，再现MP4文件时，对数据缺失而不能正常解码的样本数据进行解码，结果是存在显示像质低的动态图像数据这样的第1个问题。
另外，在将复用方式从TS转换为MP4时，需要将NAL单元的存储形式从字节流格式转换为NAL大小格式。在字节流格式中，通过检测在NAL单元的开头附加的开始码来检测NAL的界限，但是在界限部分因丢包而丢失时，不能检测出界限，从而不能正确地分离NAL单元的数据。以前，没有规定在不能正确地分离NAL单元数据时，以NAL单元的数据作为MP4的样本进行存储的方法，因此存在不能确定存储在转换后的NAL单元中的数据这样的第2个问题。
发明内容
因此，本发明就是鉴于上述事情而完成的，目的在于提供复用方式转换装置，其能对用户防止显示不能正确解码的动态图像数据。
为了达成上述目的，本发明所涉及的复用方式转换装置，将用第1方式进行了包复用的编码媒体数据，用与第1方式不同的第2方式进行包复用并输出，其特征在于：包括丢包判断单元，判断在由上述第1方式进行了包复用的编码媒体数据中有无丢包；缺失信息生成单元，在由上述丢包判断单元判断出有丢包的情况下，根据上述编码媒体数据中的数据缺失的位置，生成关于数据缺失的缺失信息；以及复用单元，将由上述缺失信息生成单元生成的缺失信息存储在上述第2方式的包中，并且用上述第2方式对上述编码媒体数据进行包复用。
这样，在作为例如MP4的第2方式的文件中，不对样本数据进行解码，而是得到关于例如MPEG-2系统的TS即第1方式的TS包的数据因丢包而缺失的样本的信息，因此在比例如音频和视频的解码单元更上位的系统层中，能确定样本的解码或者显示动作。
上述复用方式转换装置还可以包括包分离单元，从用上述第1方式进行了包复用的编码媒体数据的包中分离头和有效载荷。
上述复用方式转换装置还包括帧分离单元，从由上述包分离单元分离的上述有效载荷中检测上述编码媒体数据的帧界限并分离帧；上述缺失信息生成单元，在由上述丢包判断单元判断为有丢包的情况下，根据上述编码媒体数据中的数据缺失的位置以帧单位生成关于数据缺失的缺失信息；上述复用单元将由上述缺失信息生成单元生成的上述帧单位的缺失信息存储在上述第2方式的包中也可以。在此，上述缺失信息生成单元，也可以将表示解码所需的数据未缺失的帧按解码顺序1幅以上的连续的区间的信息生成为上述缺失信息。
由此，在作为例如MP4的第2方式的文件中，在系统层中能确定样本能正确解码的区间，因此能防止因对数据缺失了的样本进行解码而输出散乱的显示图像造成的再现质量的降低。
上述复用方式转换装置还包括制作单元，制作用于登录能随机存取的帧的表；上述复用单元，在向上述表登录上述编码媒体数据的能随机存取的帧时，根据上述编码媒体数据中的数据缺失的位置，判断在上述帧中解码所需的数据是否缺失，如果在上述帧中解码所需的数据缺失，则也可以不将上述帧作为能随机存取的帧向上述表登录。
这样，由于在作为例如MP4的第2方式的文件中能保证同步样本能正确地解码，因此能防止随机存取时的再现质量的降低。
上述复用转换装置还包括转换单元，转换上述编码媒体数据的存储形式。在此，所谓存储形式使用比复用方式狭窄的意思，例如帧数据的存储方式等。
另外，上述帧由1个以上的子帧单位构成，上述转换单元，当在子帧单位的开头附加上述子帧的大小信息并转换上述存储形式时，也可以根据上述编码媒体数据中的数据缺失的位置，确定在上述第2方式的包中存储的子帧数据和子帧数据的大小。
这样，在数据因丢包缺失时，用作为例如MP4的第2方式的文件也能将MPEG-4 AVC的AU数据转换为NAL大小格式。
另外，上述帧由1幅以上的子帧单位构成，上述转换单元，也可以在上述编码媒体数据中的数据缺失的位置，在插入表示数据的缺失的子帧单位后，用上述第2方式对上述编码媒体数据进行包复用。
这样，在作为例如MP4的第2方式的文件中，通过检测插入了样本数据的用于通知丢包信息的NAL单元，在解码单元中也能确定AU数据的缺失位置，能进行适当的错误隐匿处理。
另外，上述缺失信息生成单元，也可以将表示预定单位的解码所需的数据是否缺失的信息生成为上述缺失信息。
这样，在作为例如MP4的第2方式的文件中，能在系统层中确定编码所需的例如SPS(Sequence Parameter Set)、PPS(PictureParameter Set)或者切片等数据缺失了的样本，因此能防止因对数据缺失了的样本进行解码而输出散乱的显示图像造成的再现质量的降低。
本发明的逆复用装置，对将编码媒体数据进行了包复用的复用数据进行解码，其特征在于包括：缺失信息抽取单元，从上述复用数据中抽取关于数据缺失的缺失信息；缺失信息分析单元，根据由上述缺失信息抽取单元抽取的上述缺失信息在上述编码媒体数据中确定解码的数据；以及解码单元，对由上述缺少信息分析单元确定为解码的上述数据进行解码。
这样，在作为例如MP4的复用数据中，参考表示样本的缺失信息的Box能确定样本的解码、显示动作，因此能防止因对数据缺失了的样本进行解码而输出散乱的显示图像造成再现质量的降低，并且在使用错误隐匿方法不同的解码显示单元时，也能得到相同的输出结果。
另外，上述逆复用装置还可以进包括缺失信息通知单元，根据由上述缺失信息抽取单元抽取的上述缺失信息将再现质量通知用户。
这样，在作为例如MP4的复用数据中，能将例如样本数据的缺失率(缺失数据/全部数据)等再现质量通知用户。
另外，本发明不仅能作为这样的复用方式转换装置和逆复用装置来实现，而且能作为复用方式转换方法和逆复用方法实现，该复用方式转换方法和逆复用方法将上述复用方式转换装置和逆复用装置包含的特征单元作为步骤来包含，还能作为使这些步骤在计算机中执行的程序实现。并且，不言而喻，这样的程序能通过CD-ROM等记录介质和因特网等传送介质进行投递。
从以上的说明可知，根据本发明的复用方式转换装置，通过表示不能正确解码的动态图像数据，能表示再现质量的降低。
附图说明
图1是表示MPEG-4 AVC中的AU的结构的图。
图2是表示PES包和TS包的结构的图。
图3是表示MP4的Box结构的图。
图4是表示MP4中的moov的分层结构的图。
图5是表示MP4中的moof的使用方法的图。
图6是表示现有的复用方式转换装置的动作的流程图。
图7是表示现有的复用方式转换装置中的MP4文件的制作动作的流程图。
图8是表示本发明的实施方式1所涉及的复用方式转换装置的整体结构的框图。
图9是表示本发明的实施方式1所涉及的复用方式转换装置中的转换部103的结构的框图。
图10表示本发明的实施方式1所涉及的复用方式转换装置的动作的流程图。
图11是表示本发明的实施方式1所涉及的复用方式转换装置中的Box数据确定部的结构的框图。
图12是表示本发明的实施方式1所涉及的复用方式转换装置中的Box制作部206的动作的流程图。
图13是表示在本发明的实施方式1所涉及的复用方式转换装置的Box制作部206，MP4的头部的制作动作的流程图。
图14是表示在本发明的实施方式1所涉及的复用方式转换装置中的Error Sample Box的制作动作的流程图。
图15是在本发明的实施方式1所涉及的复用方式转换装置中的Error Sample Box的制作动作的例子。
图16是表示在本发明的实施方式1所涉及的复用方式转换装置中的样本数据的确定方法的流程图。
图17是在本发明的实施方式1所涉及的复用方式转换装置中丢包未跨越NAL单元的情况下的样本数据转换例。
图18是在本发明的实施方式1所涉及的复用方式转换装置中丢包跨越NAL单元的情况下的样本数据转换例。
图19是在本发明的实施方式1所涉及的复用方式转换装置中丢包跨越AU界限的情况下的样本数据转换例。
图20是表示本发明的实施方式2所涉及的复用方式转换装置中的同步样本框的制作方法的流程图。
图21是本发明的实施方式2所涉及的复用方式转换装置中的同步样本框的制作例。
图22是表示本发明的实施方式3所涉及的复用方式转换装置中的Error Free End Sample Box的制作动作的流程图。
图23是本发明的实施方式3所涉及的复用方式转换装置中的Error Free End Sample Box的制作动作的例子。
图24是本发明的实施方式3所涉及的复用方式转换装置中的Error Free Sequence Box的制作动作的例子。
图25是表示本发明的实施方式4所涉及的逆复用装置的结构的框图。
图26是表示再现本发明的实施方式4所涉及的逆复用装置中的MP4文件时的动作的流程图。
图27是表示本发明的实施方式4所涉及的逆复用装置的动作的流程图。
图28是表示本发明的实施方式5所涉及的逆复用装置的动作的流程图。
图29是表示本发明的实施方式6的复用方式转换装置的使用例的图。
图30是关于存储介质的说明图，该存储介质用于存储用计算机系统实现上述各实施方式的复用方式转换装置中的复用方式转换方法以及逆复用中的逆复用方法的程序。
具体实施方式
以下，参考附图说明本发明的实施方式。
(实施方式1)
首先，参考图8～图19说明本发明的实施方式1所涉及的复用方式转换装置。在此，对输入MPEG-4 AVC的编码视频数据进行了复用的TS包，从TS包中分离AU数据，复用为MP4并输出。进行包复用的编码数据并不限于MPEG-4 AVC，也可以是用MPEG-4 Visual、H.263或者SMPTE(Society of Motion Picture and TelevisionEngineers)规格化中的VC-1等视频编码数据、或者MPEG-4 AVC、AMR等视频编码数据。另外，输入的TS包中并不只是传送视频的编码数据的TS包，还可以包含音频或节目信息。此时，首先取得包含节目信息的TS包，确定传送视频和音频的编码数据的TS包的PID。之后，根据PID的值分配视频和音频的TS包，并分别进行处理。
图8是表示复用方式转换装置的整体结构的图。本装置包括：数据I/O部101，输入TS包数据并存储在存储器102中，并且输出复用方式转换后的MP4文件；以及转换部103，从存储器102取得TS包数据并对AU数据和PES包的头进行分离、分析，将分析结果存储在存储器102中，用上述分析结果将上述分离了的AU数据转换为MP4，并将转换处理结果输出到存储器102。在此，存储器102存在输入输出数据的保存区域和临时存储转换结果、AU数据的工作区域，各区域的大小可变。另外，转换103在此为CPU，但是也可以是专用的硬件。以下，详细说明转换部103的动作。
图9是表示转换部103的结构的框图。转换部103包括TS有效载荷分离部201、丢包判断部202、PES分离分析部203、AU分离部204、PES头分析部205、Box制作部206、以及连接部207。TS有效载荷分离部201分离TS包的头和有效载荷，并输出到丢包判断部202。丢包判断部202对TS包的丢包进行判断，在检测出丢包时，进行错误处理，并将错误处理后的有效载荷输出到PES分离分析部。对丢包进行判断时，从TS头中取得continuity_counter值，与将要输入的TS包的continuity_counter值比较，在值不连续时，判断为包丢失。在此，continuity_counter的最大值为15，因此在即将到的TS包的continuity_counter值为15，当前TS包的continuity_counter值为0时，视为continuity_counter循环了，不判断为丢包。在检测出丢包时，作为丢包通知用的信息，NAL单元类型为25，将有效载荷为空的NAL单元以字节流格式形式插入当前TS包的有效载荷数据的开头。另外，插入的NAL单元的NAL单元类型，如果未将该NAL单元类型用做其它的目的，则可以取24～31的任意的值。在此，0和24～31的NAL单元类型，在AVC规格中，定义为应用程序(application)能任意地使用的区域。另外，作为丢包通知用的信息，可以插入不是在AVC流内出现的码图，也可以管理与流不同的丢包信息。接着，在PES分离分析部中，从插入了丢包通知用的NAL单元的TS包的有效载荷数据中，搜索MPEG-4 AVC中的PES包的开始码(0x000001E0～0x000001EF的值)，由此检测PES包的开始位置。在此，在PES包的头中存在表示PES包的大小的字段的情况下，也可以用该大小分离有效载荷。分离了PES包后，分离PES包的头和有效载荷，将头数据输出到PES头分析部205，并将有效载荷数据输出到AU分离部204。另外，PES包中的填充数据不包含在有效载荷数据中。在AU分离部204中，从PES包的有效载荷数据中检测AU的界限，并分离AU数据，将分离了的AU数据输出到Box制作部206。在此，在由丢包判断部插入丢包通知用的NAL单元时，输出到Box制作部206的AU数据中也包含丢包通知用NAL单元。在PES头分析部205中，判断在输入的PES头的数据中是否包含在PES有效载荷内开始的开头AU的显示时间，在包含时，将AU的显示时间输出到Box制作部206。接着，Box制作部206，根据输入的AU的数据和PES头中的显示时间，制作包含丢包信息的moov和mdat，并输出到连接部207。另外，Box制作部206除了moov、mdat之外，还可以制作moof和mfra。最后，连接部207，连接moov和mdat并作为MP4文件的数据输出。
图10是表示转换部103的动作的流程图。首先，在步骤301中，判断是否发生TS包的丢失，在检测出发生丢包时，在丢包检测位置插入丢包通知用的NAL单元。接下来，在步骤302中，分离PES包的头和有效载荷，在步骤303中，从分离了的PES包的有效载荷中检测AU的界限，分离AU数据。如图10的循环A所示，反复进行步骤301～步骤303的动作，直到能分离1个AU量的数据为止。分离了1个AU量的数据后，在步骤304中，对PES包的头进行分析，判断在PES有效载荷内是否包含开始的开头AU的显示时间，在包含时，取得AU的显示时间。另外，步骤304的处理也可以通过循环A内的处理进行。接着，在步骤305中，根据在循环A中分离出的AU数据和在步骤304中取得的显示时间信息，制作MP4文件内的Box数据。反复进行循环B的处理，直到输入的TS包所包含的全部AU数据的处理结束为止。在结束了全部AU数据的处理的时刻，完成moov和mdat，在步骤306中，连接moov和mdat并输出MP4文件。在此，循环B包含循环A、步骤304和步骤305的处理。另外，关于ftyp，在步骤305中制作，附加到moov并输出，或者在步骤306中附加到moov。另外，也可以输出使用了片段的MP4文件。此时，在步骤305中，在确定了1个片段量的moof和mdat的时刻，输出moof和mdat并跳出循环B，在步骤306中，依次连接输出的moof和mdat。另外，在使用片段时，可以将媒体磁道的全部样本的报头信息存储到moof，对于磁道的开头部分的样本，也可以将报头信息存储到moov。
详细说明Box制作部205的结构和动作。以下，在只记述NAL单元的情况下，指TS包的有效载荷所包含的NAL单元，不包含丢包通知用的NAL单元。图11是表示Box制作部205的结构的框图。Box制作部205由AU分析部301、错误信息生成部302、AU形式转换部303、以及Box数据确定部304构成。首先，AU分析部301对AU数据进行分析，取得是否是AU的显示时间或AU IDR等构成现有的MP4文件的Box的制作所需的信息，并将分析结果输出到Box数据确定部304。在此，在AU分析部301输出的分析结果中不包含AU的大小。另外，在构成现有的MP4文件的Box中，不包含表示错误信息(缺失信息)的Box或者在mdat内用于表示错误信息的识别信息。
以下，为了说明丢包，说明对AU的时间信息或AU数据进行解码时参考的SPS或PPS的数据缺失时的动作。对于不能从PES包的报头信息中取得解码时间或显示时间的AU，分析AU内的数据并取得时间信息。具体地讲，对被称为Picture Order Count的表示图像的显示顺序的参数、或者Picture Timing SEI、Buffering Period SEI等SEI进行分析。在表示这些时间信息的信息因丢包而缺失时，用预定的方法计算AU的解码时间或者显示时间。描述符的信息由具有SPS和与编码媒体数据不同的PID的TS包进行传送，用该描述符的信息表示帧速率是固定的时，也可以根据该帧速率确定解码时间或者显示时间。另外，所谓描述符是在MPEG-2系统规格所规定的编码媒体数据的辅助信息。接着，在MP4中，SPS和PPS存储在样本描述框(‘stsd’)内的样本项目或者参数设定用的磁道中。另外，使MPEG-4 AVC的编码数据的磁道中的样本、以及存储样本参考的SPS和PPS的样本项目或者参数设定的磁道的样本一对一地进行关联。因此，在对样本进行解码时参考的SPS或者PPS的数据缺失时，参考与即将到的样本相同的SPS或者PPS。另外，也可以使用预先设定的缺省的SPS或者PPS。
在错误信息生成部302中，从AU数据中检索丢包通知用的NAL单元，在检测出丢包通知用的NAL单元时，制作表示错误信息的Box的数据。进而，根据构成AU的NAL单元的数据中的丢包的有无，确定mdat中所存储的NAL单元数据，并确定AU数据的大小，与表示错误信息的Box的数据一起输出到Box数据确定部304，该AU数据由确定了在mdat中作为样本数据进行存储的NAL单元数据构成。对于AU形式转换部303，在错误信息生成部中，将确定了作为样本数据进行存储的AU内的NAL单元的数据从字节流格式转换为NAL大小格式，并将转换后的AU数据输出到Box数据确定部304。在此，输出到Box数据确定部304的转换后的AU数据成为MP4中的样本数据。
图12是表示Box制作部206的动作的流程图。首先，在步骤401中，从输入的AU数据中取得构成现有的MP4文件的Box的制作所需的信息。在步骤402中，通过从AU数据中检测丢包通知用的NAL单元，制作表示错误信息的Box的数据，进而，在步骤403中，确定在MP4文件内作为样本数据存储的NAL单元数据。在步骤404中，将在步骤403中确定了作为样本数据进行存储的NAL单元数据转换为NAL大小格式，制作由转换后的NAL单元数据构成的样本数据。接着，在步骤405中，制作在步骤402中制作的、包含表示错误信息的Box的moov的数据。在步骤406中，制作存储在步骤404中制作的样本数据的mdat数据。图13是表示步骤405的动作的流程图。在步骤404中，首先在步骤501中制作构成现有的MP4文件的Box，接着，在步骤502中制作存储错误信息的Box。
接着，说明在步骤402中制作表示错误信息的Box的数据时的程序。图14是表示步骤402的动作的流程图。在此，为了说明MP4文件中的Box数据制作方法，使用样本这样的用语，但是1个样本与1个AU是相同的。首先，在步骤601中，检索在AU数据中是否包含丢包通知用的NAL单元。在检索时，从AU的开头数据开始依次在字节排列(byte align)位置，通过调查字节流格式的开始码前缀(由0x000001形成的3个字节)检测NAL单元的开始位置。接着，取得检测出的NAL单元的NAL单元类型，如果NAL单元类型的值是预定的值，则判断为是丢包通知用的NAL单元。在调查了到AU的最终NAL单元为止的NAL单元类型之后，在步骤602中，判断在样本内是否检测出了丢包通知用NAL单元。在检测出了丢包通知用的NAL单元时，进行步骤603的处理，在未检测出时，结束Box数据的制作处理。在步骤603中，将该样本的样本号追加到表示包含错误的样本的一览中。以下，在图15中举具体例子说明从步骤601到步骤603的动作。图15(a)将AVC的编码数据中的样本数据按解码顺序排列，图中的序号表示样本号。在该例中，在样本号为7、9和15的样本中，在样本内的NAL单元数据中检测出了丢包通知用的NAL单元。对于样本号从1到15的样本，制作表示错误信息的Box时的程序如下。另外，表示错误信息的Box的名称为错误样本框(Error Sample Box)。首先，对于第1到第6样本，由于在步骤601中未检测出丢包通知用的NAL单元，因此在步骤602中，判断为在样本内不存在丢包通知用的NAL单元，不更新Error Sample Box的表数据就结束处理。对于第7样本，由于在步骤601中检测出丢包通知用的NAL单元，因此在步骤602中判断为更新Error Sample Box的表数据，在步骤603中进行更新处理。在步骤603中，为了表示第7样本包含丢包，追加表的项目并存储样本号7。对于后续样本也进行同样的处理，将样本号9和样本号15追加到表中。结果是，在Error Sample Box的表中，如图15(b)所示，7、9、15作为包含丢包的样本的号存储起来。图15(c)是Error Sample Box的语法例子，error_sample_number表示样本内的NAL单元数据因丢包而缺失的样本的样本号。Error SampleBox在moov中配置在trak内的stbl正下方，在moof中配置在磁道片段运行框(track fragment run box)(‘traf’)正下方，但是配置在其它Box的正下方也可以。在此，Error Sample Box，在媒体磁道中，只在数据缺失的样本存在时制作，但是，即使在数据缺失的样本不存在时，也可以制作项目为空的Error Sample Box。另外，在traf内配置时，error_sample_number，表示以traf内的开头样本的号为1，依次对样本进行计数时的号。例如，在表示traf内包含10个样本，第3和第5样本的数据因丢包而缺失时，制作error_sample_number为3和5的两个项目。或者，在磁道片段运行框(‘trun’)中，在作为表示各样本的报头信息的标志信息的字段的tr_flags中，也可以追加表示样本内的数据因丢包而缺失的标志。
另外，在上述中，设置成表示样本内的数据是否因丢包而缺失，但是也可以设置成在样本内的确定NAL单元中表示数据是否缺失。例如，在MPEG-4 AVC中，在切片或者SPS、PPS的NAL单元的数据中，表示数据是否缺失。这是因为如果切片和切片参考的参数设置一致，则能得到正确的解码结果的缘故。更具体地讲，对于参数设置的NAL单元，也可以表示对样本内的切片数据进行解码所需的SPS或者PPS的数据是否缺失。另外，作为如图15(d)所示的语法，也可以存储用于确定数据缺失了的NAL单元的信息。图中的error_nal_unit_number是用于确定数据缺失了的NAL单元的号，例如，在样本内的第2和第4 NAL单元缺失时，制作error_nal_unit_number为2和4的2个项目。在项目内，也可以表示NAL单元类型。另外，error_nal_unit_number也可以确定MPEG-4Visual中的视频包或者H.263中的切片。
另外，不只是丢包，在能取得位错误的信息时，也可以在样本数据中存储用于确定包含位错误的样本或者NAL单元。
接着，对于在步骤403和步骤404中，确定在MP4文件内作为样本数据存储的NAL单元数据，将NAL单元的存储形式转换为NAL大小格式时的动作，参考图16的流程图进行说明。首先，在步骤701中，确定在AU内的各NAL单元中有效的数据，并进行分离。在此，在检测出丢包通知用的NAL单元时，将在即将到的检测出NAL单元的开始位置的NAL单元中有效的数据，作为丢包通知用的NAL单元的即将到之前的数据。在丢包通知用的NAL单元以下，在检测出下一个NAL单元的开始位置为止的数据是无效的，但是，这是因为有时不能确定上述无效部分的数据所属的NAL单元，或者即使能确定，缺失的数据大小也是不清楚的，从而在解码时不能使用的缘故。如果丢包通知用的NAL单元未检测出，则NAL单元数据全部视为有效的数据。另外，在作为有效的数据而被分离的NAL单元数据中，不包含zero_byte和开始码前缀。接着，在步骤702中，取得在步骤701中分离了的有效的数据的大小。在步骤703中，根据在步骤702中取得的大小，将包含上述有效的数据的NAL单元数据转换为NAL大小格式。在此，在NAL大小格式中，表示NAL单元的大小的字段的大小在1到4字节之间是可变的，但是字段大小为预先给出的。接着，在步骤704中，判断该NAL单元的数据是否缺失，在缺失时，将错误通知用的NAL单元作为NAL大小格式插入。反复进行上述步骤701到步骤705的处理(循环A)，直到样本的最终NAL单元的处理结束为止。另外，样本的大小，在确定了样本的最终NAL单元的大小的时刻被确定。
另外，只在表示存储于moov或者moof内的错误信息的Box中表示样本的数据是否缺失，在存储于mdat中的样本数据中，也可以不插入丢包通知用的NAL单元。此时，不需要步骤704和步骤705。
另外，也可以存储全部的TS包的有效载荷所包含的NAL单元数据，而不丢弃在上述中为无效的数据。另外，在能确定因丢包而缺失的数据的大小时，也能插入以填充缺失部分为目的的特别的NAL单元(以后，称为丢包补充用的NAL单元)。在丢包补充用的NAL单元中，使用作为Unspecified区域且与丢包通知用不同的NAL单元类型。另外，也可以只在错误通知用的NAL单元中表示错误信息，而不制作Error Sample Box。
另外，在不提供丢包通知用的NAL单元，而在AU内的NAL单元数据中另外提供丢包信息时，在步骤701中，根据另外表示的信息确定在NAL单元中有效的数据。
图17～图19是表示确定有效的NAL单元数据，并转换为NAL大小格式时的具体例子。在各图中，SCP、Nal_len、ERR_NALU分别表示字节流格式中的开始码前缀、在NAL大小格式中表示NAL单元的大小的字段的大小、以及错误通知用的NAL单元。图17是因丢包而造成的NAL单元数据的缺失不跨越NAL单元的界限的例子。图17(a)表示转换前的AU数据。AU由NALU#1到NALU#4的4个NAL单元构成，在第3 NAL单元中发生了丢包。NALU#3本来由图中的表示接收1、丢失、以及接收2的区域的数据构成，但是由于丢失区域因丢包而缺失，因此在接收1部分的数据之后插入ERR_NALU。此时，判断为在NALU#3中有效的数据的数据只是接收1部分的数据，因此作为mdat的样本数据进行存储的数据只是接收1部分的数据。接收1部分的大小为size3_1，因此在将NALU#3的数据转换为NAL大小格式时，Nal_len字段值为size3_1。接着，在NALU#3之后，插入NAL大小格式的ERR_NALU。图17(b)表示转换后所输出的AU数据的结构。另外，在不插入错误通知用的NAL单元，而存储全部的TS包的有效载荷所包含的NAL单元数据时，AU的结构如图17(c)所示，NALU#3的大小为size3_1和size3_2(接收2部分的大小)的和。
图18是因丢包而造成的NAL单元数据的缺失跨越NAL单元的界限的例子。图18(a)表示转换前的AU数据。AU由NALU#1到NALU#4的4个NAL单元构成，从NALU#2的终端部分到NAL#3的开头部分，数据跨越NAL单元地缺失(图中表示丢失的区域的数据)。此时，在NALU#2中有效的数据为图中的接收1部分的数据。接着，对于NALU#3，由于不能检测出NAL单元开始位置，因此从ERROR_NALU之后到NALU#4的开始位置为止的数据是无效的，结果是，在样本数据中不存储NALU#3的数据。即，图中的接收2部分的数据是无效的。图18(b)表示转换后所输出的AU数据的结构。
图19是因丢包而造成的NAL单元数据的缺失跨越NAL单元的界限的例子。图19(a)表示转换前的AU数据。从AU#1到AU#3的3个AU数据分别由从NALU#1到NALU#4、从NALU#5到NALU#8、以及从NALU#9到NALU#12构成，但是从NALU#4的中间到NALU#9的开头部分，数据跨越AU#2地缺失(图中表示丢失的区域的数据)。在AU#1到AU#3中有效的数据如下所示。在AU#1中，从NALU#1到NALU#3的全部数据、以及在NALU#4中取得的nal4_size部分的数据是有效的。由于AU#2的数据全部丢失，因此不存在有效的数据。因此，在MP4文件中，存储AU#1的样本之后，存储存储AU#3的样本。此时，作为存储AU#1的样本的再现时间长度，存储AU#1和AU#2的再现时间长度的和。最后，在AU#3中，NALU#10到NALU#12的数据是有效的。在此，在能确定NALU#10不是AU#3中的开头NAL单元时，也可以在NALU#10的开头插入ERR_NALU。例如，在MPEG-2系统规格中，未规定在AU的开头插入被称为Access Unit Del imiter的AU界限判断用的NAL单元，因此如果NALU#10不是Access Unit Delimiter的NAL单元，则能判断为AU#3的开头NAL单元丢失。图19(b)表示转换后所输出的AU数据的结构。图19(c)表示在使用丢包补充用的NAL单元时所输出的AU数据的结构例子。AU#1和AU#3的输出数据与图19(b)相同，但是在该例中，也输出AU#2的数据。在AU#2的数据中只包含丢包补充用的NAL单元，丢包补充用的NAL单元的大小，可以根据是否是MPEG-4 AVC数据的编码位速率、以及固定帧速率的信息进行推断。这样，在通过插入丢包补充用的NAL单元，视频数据以固定位速率进行编码时，即使是在数据因丢包而缺失时，也能尽可能保持原来的固定位速率来存储MP4中的样本数据。另外，在流为固定帧速率时，通过制作由丢包补充用的NAL单元构成的样本，样本的再现时间长度变成恒定的，结果是能降低存储样本的再现时间长度的表的大小。
另外，也可以在AU的切片数据缺失时，以解码顺序或显示顺序存储与即将到的AU相同的数据，或者以切片等单位进行错误隐匿处理，由此再构成AU数据并记录。也可以另外示出表示再构成AU数据的信息。
另外，也可以用SEI消息(Supplemental EnhancementInformation，附加增强信息)存储关于丢包的信息。例如，可以使用用户数据存储用的SEI消息。
另外，也可以在错误通知用的NAL单元的有效载荷和ErrorSample Box中，存储因丢包而缺失的数据的比例、AU内的切片之中数据缺失了的切片的比例、或者位错误的发生频率等错误信息。并且，在错误通知用NAL单元的NAL单元类型、大小或者错误通知用NAL单元的有效载荷中描述错误信息时，也可以将表示描述的错误信息的种类等的Box存储在moov或者moof中。
另外，上述各动作，也可以在通过使用样本描述框(stsd)内的样本项目中的frme_count字段，将多个AU作为1个样本进行存储时应用。
另外，制作错误通知用的Box或者将错误通知用的NAL单元插入样本数据中的方法，也可以在将用RTP(Real-Time TransmissionProtocol，实时传送协议)包进行了复用的编码媒体数据转换为MP4文件时应用。在RTP包中，通过调查附加在RTP包的头中的序列号的连续性，能判断丢包。
在本实施方式中，在每磁道中都附加了Error Sample Box等错误信息，但是并不限于此。例如，也可以按MP4文件单位附加错误信号。此时，错误信息可以配置在moov正下方。另外，在使用片段时，也可以配置在最终片段的moof或者mfra内的Box等中。由此，在再现时，作为整个MP4文件，可以将例如样本数据的缺失率(缺失数据/全部数据)、以及整个再现时间长度之中音频和视频能同时再现的时间长度的比例等信息通知给用户。
另外，在以目录形式具有多个指定例如预定的再现区间的条目(item)，并依次再现该条目的播放目录中，也可以在每个条目中附加错误信息。所谓该播放目录是例如如果是音频数据，则以1首曲子为条目，按所选择的顺序记载由用户选择的曲子的目录。在此，各再现区间也可以是同一文件内的不同的区间，也可以是不同的文件或不同的文件的特定区间。此时，在再现时，只参考播放目录就能取得每个条目的例如样本数据的缺失率等的信息。
(实施方式2)
参考图20和图21说明本发明的实施方式2所涉及的复用方式转换装置。复用方式转换装置的结构与实施方式1所涉及的复用方式转换装置相同，在Box数据确定部304中，只是制作同步样本的表即stss时的动作不同，因此只说明stss的制作方法。
在实施方式1的复用方式转换装置中，不管样本内的数据是否缺失，都以IDR AU为同步样本。但是，存在这样的问题：同步样本在随机存取时变成开始解码的样本，因此，如果同步样本不能正常解码，则对于序列内的接下来的样本也得不到正常的解码结果。因此，在本实施方式的复用方式转换装置中，只以数据未缺失的IDR AU为同步样本，由此在根据同步样本开始解码时，至少在同步样本中，能得到未散乱的解码结果。
图20是表示在Box数据确定部304中制作stss时的动作的流程图。首先，在步骤801中，判断在样本数据内是否包含IDR切片的NAL单元。在此，用NAL单元类型识别是否是IDR切片的NAL单元。在不包含IDR切片的NAL单元的情况下，结束处理，在包含时，进行步骤802。在步骤802中，在样本数据内，根据在错误信息生成部302中取得的每个样本的错误信息，判断是否包含数据因丢包而缺失的NAL单元。在判断为样本数据缺失时，结束处理，在判断为未缺失时，在步骤803中，将该样本的样本号追加到表示同步样本的一览的stss表中。以上，反复进行步骤801～步骤803的处理，直到磁道内的最终样本为止，由此制作stss。另外，包含IDR切片的NAL单元，而不以全部的数据未缺失的样本为同步样本来确定同步样本，使得例如同步样本间的再现开始时间的差值尽量恒定，这样也可以。在包含IDR切片的AU中，如果在切片或者SPS、PPS的NAL单元中数据未缺失，则也可以作为同步样本。更具体地讲，也可以对样本内的切片数据进行解码所需的SPS或者PPS的数据，在该样本内，或者只在能从前面的样本中取得解码时刻的情况下，作为同步样本。
图21表示根据图20的流程图所示的动作制作stss时的具体例子。图21(a)是按样本号顺序排列样本，样本号为1、11、21和31的样本包含IDR切片的NAL单元，但是在第21样本中，样本数据内的数据缺失。此时，在步骤801中，将第1、11、21和31样本作为同步样本的候补，但是在步骤802中，确定不将第21样本作为同步样本，结果是，在步骤803中，将第1、11和31样本追加到stss表中(图21(b))。
另外，登录mfra的可随机存取的样本也能用同样的方法确定。
另外，能独立选择用上述方法制作stss和制作Error SampleBox，例如，也可以用上述方法制作stss，而不制作Error Sample Box。
(实施方式3)
参考图22～图24说明本发明的实施方式3所涉及的复用方式转换装置。复用方式转换装置的结构与实施方式1所涉及的复用方式转换装置相同，在错误信息生成部302中，只是通过图12的步骤402的动作制作表示样本的错误信息的Box时的动作不同，因此说明该部分的动作。在本复用方式转换装置中，在从同步样本开始编码时，制作表示是否能正确地对同步样本以后的第几样本为止进行解码的Box。再现在本复用方式转换装置中制作的MP4文件时，通过参考该Box确定了保证能正确解码的样本之后，能确定显示的样本。
图22是表示制作表示错误信息的Box时的动作的流程图。err_free_flag是在从序列开始的样本到该样本为止的样本中，表示未发生数据的缺失的标志，初始值为0。在步骤901中，判断在样本内是否包含IDR切片的NAL单元，包含时，在步骤902中将err_free_flag设定为1。在步骤903中判断err_free_flag是否为1，为1时，进行步骤904的处理，为0时，跳过以后的处理步骤，进行下一个样本的处理。在步骤904中，判断构成样本的NAL单元的数据是否缺失。另外，如果切片或者SPS、PPS的NAL单元数据未缺失，则在步骤904中，也可以判断数据未缺失。在存在数据缺失了的NAL单元时，在步骤905中，将即将到的样本的样本号追加到表示无错误区间的最终样本的一览的表。在此，所谓无错误区间是在以解码顺序配置的该区间的样本中保证不发生数据的缺失的区间。在随机存取时，从同步样本开始解码，另外，由于同步样本是包含IDR切片的NAL单元的样本，因此无错误区间的开始样本为同步样本。另外，在包含IDR切片的NAL单元的样本中数据缺失时，不定义对该样本的无错误区间。因此，跳过步骤905。以上，反复进行步骤901～步骤905的处理，直到磁道的最终样本的处理结束。在此，所谓保证不发生数据的缺失，是表示从TS包的continuity_counter值中不能检测出错误，不一定保证全然未发生数据的缺失。另外，也可以在根据continuity_counter以外的丢包信息能更正确地检测出丢包时，利用该信息检测错误。
另外，如果能表示无错误区间，则也可以使用表示无错误区间所包含的样本数等最终样本以外的信息。
图23表示通过图22的流程图所示的动作，来制作存储错误信息的Box时的具体例子。图23(a)表示分别由10个样本构成的连续的2个序列。序列#1从第1样本开始，第7和第9样本的数据缺失，序列#2从第11样本开始，第16样本的数据缺失。以下说明确定无错误区间时的程序。首先，在第1样本中，将err_free_flag设定为1。到第6样本为止，在步骤904中判断为样本数据未缺失，因此跳过步骤905和步骤906的处理，err_free_flag的值一直保持为1。接着，在第7样本中，在步骤904中判断为样本缺失，因此在步骤905中，在存储无错误区间的最终样本的表中追加项目，存储表示作为1个眼前样本的第6样本的样本号。到第10样本为止，err_free_flag的值一直为0。接着，在第11样本中，再次将err_free_flag设定为1，与序列#1同样，第15样本作为无错误区间的最终样本追加到表中。图23(b)表示同步样本表。图23(b)表示无错误区间的最终样本的表。图23(b)和图23(c)这2个表，示出了序列#1中的无错误区间是样本号从1到6的样本，序列#2中的无错误区间是样本号从11到15的样本。图23(d)是表示无错误区间的最终样本的一览的Box、即Error Free End Sample Box的语法例子，end_sample_number表示无错误区间的最终样本的样本号。Error Free End Sample Box，在moov中配置在trak内的stbl正下方，在moof中配置在磁道片段运行框(‘traf’)正下方，但是也可以配置在其它的Box的正下方。
在步骤901中，判断在样本内是否包含IDR切片的NAL单元，并设置err_free_flag，但是在不必将包含IDR切片的NAL单元的样本作为同步样本的情况下，不能用stss所示的同步样本一览和ErrorFree End Sample Box确定无错误区间。因此，在步骤901中，判断该样本是否是同步样本，如果是同步样本，则也可以设置err_free_flag。另外，也可以示出开头样本，而不是无错误区间的最终样本。例如，在图23(a)中，序列#1的第6到第10样本的数据完全一致时，使无错误区间的开头样本为6，由此可以表示为从第6样本到作为序列2的开头样本的第11样本为无错误区间。
在MP4中，作为可随机存取的样本，除了同步样本之外，还能指定Gradual Decoder Refresh点。所谓Gradual Decoder Refresh点是指这样的样本：在该样本中不能得到正确的解码结果，但是如果只解码以解码顺序指定了后续的样本的个数，则能得到正确的解码结果。或者，也可以是指为了在某个样本中得到正确的解码结果，在需要从前面的样本开始解码以解码顺序指定的个数时的解码开始样本。例如，在以解码顺序从第M样本开始解码时，在能得到正确的解码结果的是从第N(N＞M)样本开始的情况下，在MP4文件中，示出表示N和M的差值的信息。因此，作为无错误区间的开头样本，也可以使用与Gradual Decoder Refresh点相当的样本。
另外，也可以同时表示无错误区间的开头样本和最终样本，使得能不与同步样本相对应地确定无错误区间。
在上述中，表示了无错误区间的最终样本的一览，但是也可以表示数据缺失了的样本是否包含在序列内。以下，在图24中举例进行说明。图24(a)表示各自由10个样本构成的连续的6个序列。在此，对于序列#1、序列#3、序列#4和序列#6这4个序列，序列内的全部样本数据完全一致，在序列#2和序列#5中，包含数据缺失了的样本。图24(c)是在序列内的全部样本数据完全一致的序列中的开头样本的一览。图24(b)是以各序列的开头样本为同步样本时的同步样本的一览，通过参考图24(b)和图24(c)这2个表，在序列内产生了数据缺失的序列，是从样本号为11和41的同步样本开始的序列，未产生的序列是从样本号为1、21、31、51的同步样本开始的序列。另外，在不一定以包含IDR切片的NAL单元的样本为同步样本的情况下，也可以表示在连续的2个同步样本间的样本数据中是否产生缺失。图24(d)是Error Free Sequence Box的语法例子，该ErrorFree Sequence Box表示在序列内未产生数据缺失的序列的开头样本的一览。语法内的sequence_start_sample_number表示序列的开头样本的样本号。另外，即使在序列的开头样本号以外，根据序列中的缺失数据的比例等，作为表示再现序列时的再现图像的质量的参数，也可以表示Good、Medium、Bad等的指标。例如，能根据缺失数据的比例、画面内编码的AU的频率、内部宏块的比例等确定质量。而且，也可以存储用于表示在序列内能正确解码的样本的信息。具体地讲，通过表示样本间的参考关系，以及各样本的切片数据、SPS、或者PPS的NAL单元中数据是否缺失，知道在对样本进行解码时，参考目的地样本的数据是否缺失。Error Free Sequence Box，在moov中，配置在trak内的stbl正下方，在moof中配置在磁道片段运行框(‘traf’)正下方，但是也可以配置在其它的Box的正下方。
另外，在实施方式1～实施方式3中所说明的Error Sample Box、Error Free End Sample Box和Error Free Sequence Box的各Box也可以组合使用。例如，通过组合Error Sample Box和Error FreeEnd Sample Box，能在未包含在无错误区间中的样本中，确定哪个样本的数据缺失了，确定解码的样本。
另外，也可以根据能正确解码的样本或者数据缺失了的样本的比例等确定磁道的再现质量，将存储了表示再现质量的信息的Box配置在trak正下方。也可以在同时再现音频、视频或者文本数据的磁道时，将表示再现质量的Box配置在moov正下方。
另外，在上述各实施方式中，也可以分别实施从字节流格式转换为NAL大小格式的部分、和附加表示数据的缺失的信息的处理。例如，对于通过在NAL大小格式和RTP(Real Time Transmission Protocol，实时传输协议)等因特网的动态图像投递中使用的格式传送的NAL单元的数据，能附加数据缺失信息。
另外，在对MPEG-4 AVC的解码数据进行复用时，也能使用AU形式转换部303。例如，为了简化MPEG-4 AVC的解码处理，可以将解码数据的格式统一成字节流格式，但是，此时，在用TS和MP4等解码数据的存储形式不同的复用方式对从该解码部输出的解码数据进行复用时，能应用AU形式转换部303的处理。在此，由于解码时在流中不存在错误，因此能省略补偿数据缺失的处理。另外，在AU形式转换部303中，从字节流格式转换到NAL大小格式，但是，在将解码时的输出统一为NAL大小格式时，也可以从NAL大小格式转换到字节流格式。
(实施方式4)
参考图25～图27说明本发明的实施方式4所涉及的逆复用装置。本逆复用装置，输入由实施方式1～实施方式3所涉及的复用方式转换装置制成的MP4文件，分离AU数据，并进行解码、显示，但是，通过参考在Error Sample Box等中示出的错误信息，确定解码或者显示动作。因此，在序列内包含多个不能正确解码的样本时，根据文件格式级别的信息能确定跳到下一个序列等的动作，结果，能防止因对不能正确解码的样本进行解码、显示而降低再现质量。另外，通过根据文件格式级别的信息确定解码、显示动作，使用错误隐匿处理不同的解码部或显示部时，也能得到同一输出结果。另外，在输入到逆复用装置中的MP4文件中，表示样本中的数据缺失时，必须附加表示错误信息(缺失信息)的Box。以下，说明再现MPEG-4 AVC的磁道时的动作。再现的磁道并不限于MPEG-4 AVC，可以是H.263和MPEG-4Visual等视频编码数据或者MPEG-4 AAC和AMR等音频编码数据，也可以是同时再现视频和音频的磁道。
图25是表示逆复用装置的结构的框图。本装置由头分离部401、头存储器402、mdat存储器403、样本取得部404、错误信息分析部405、以及解码再现部406构成，以从外部输入的再现开始时间为触发，开始再现处理。在从文件开头开始时，再现开始时间为0，在从距开头10秒的位置开始时，为10秒。但是，在从同步样本开始解码、再现时，有时不存在具有与输入的再现开始时间一致的再现开始时间的同步样本，此时，在输入的再现开始时间的前或后，从靠再现开始时间最近的同步样本开始解码、再现。另外，也可以从表示为GradualDecoder Refresh点的样本开始再现，而不是同步样本。
头分离部401从MP4文件中分离包含moov和moof的头部、以及由mdat构成的数据部，并将头部的数据输出到头部存储器402，将mdat的数据输出到mdat存储器403。样本取得部404根据从外部输入的再现开始时间确定开始解码的同步样本。对于以下的样本，在取得关于同步样本的报头信息时，将该同步样本的样本号输出到错误信息分析部405。在错误信息分析部405中，从Error Sample Box、ErrorFree End Sample Box或Error Free Sequence Box中取得并分析从由样本取得部404输入的同步样本号开始的序列中的错误信息，在序列内确定了解码的样本后，将确定解码的样本的一览输出到样本取得部404。另外，错误信息分析部405将取得的缺失信息输出到解码显示部406的缺失信息通知部406c。另外，在能取得每个切片的NAL单元的缺失信息时，也可以输出在样本中表示解码的切片的信息。另外，也可以对每个预先确定了的个数的样本进行解码的样本的确定，而不是对每个样本都进行。样本取得部404对moov或者moof进行分析，取得由错误信息分析部确定进行解码的样本数据和显示时间，并输出到解码显示部406。在此，从头存储器402中取得moov或者moof，从mdat存储器403中取得样本的数据。另外，在解码时间和显示时间不同时，也可以同时将两者输出到解码显示部406。
最后，解码显示部406具有解码部406a、样本显示部406b和缺失信息通知部406c。解码部406a对样本数据进行解码。样本显示部406b根据显示时间显示解码后的样本数据。缺失信息通知部406c，根据缺失信息将例如样本数据的缺失率(缺失数据/全部数据)等信息通知给用户，进行是否再现MP4文件的询问。另外，缺失信息通知部406c接受用户根据样本数据的缺失率等信息来许可再现时的再现许可信号，然后将再现指示信号输出到样本取得部404。另外，在错误信息分析部405中，不确定解码的样本，而是将数据缺失的样本或无错误区间的信息等错误信息输出到解码显示部406，在解码显示部中，也可以根据由输入的错误信息或插入到样本数据中的错误通知用的NAL单元表示的信息，确定解码的样本或切片数据。此时，不将解码样本的一览输出到样本取得部404。
接着，说明在象上述那样构成的逆复用装置中再现MP4文件时的动作。图26是表示再现MP4文件时的动作的流程图。
缺失信息通知部406c，将由错误信息分析部405从报头信息(moov)中取得的MP4文件或磁道单位的缺失信息通知给用户，并且对用户进行是否再现MP4文件的询问(步骤1001)。接着，判断用户是否对询问指示了再现(步骤1002)。结果，如果指示了再现(在步骤1002中为是)，缺失信息通知部406c通过对样本取得部404输出再现指示信号，指示再现(步骤1004)。根据输入的再现开始时间开始再现，并进行解码、再现直到由最终样本或者用户指示再现结束为止(步骤1005)。另一方面，如果未指示再现(在步骤1002中为否)，将不再现MP4文件的意思通知给用户(步骤1003)。
接着，说明在步骤1005中再现样本时的程序。图27是表示步骤1005的动作的流程图。首先，在步骤1101中，根据输入的再现开始时间确定开始解码的同步样本。步骤1101的处理结束后，进行循环B的处理。循环B是反复进行步骤1102～步骤1106的处理的循环处理，解码时每检测出新的同步样本就反复进行。在步骤1102中，从Error Sample Box、Error Free End Sample Box或Error FreeSequence Box中取得在到下一个同步样本之间的样本中数据是否缺失等错误信息。在步骤1103中，根据在步骤1102中取得的错误信息，确定在该序列内解码的样本，将解码的样本的样本号的一览存储在表中。步骤1103结束后，在循环A的处理中，根据在步骤1103中制作的表，按顺序对确定解码的样本进行解码、显示。循环A由步骤1104～步骤1106的处理构成，反复进行循环A，直到再现时解码的最终样本的处理结束。在步骤1104中，对moov或者moof进行分析，取得样本数据和样本的显示时间。在步骤1105中，对在步骤1104中取得的样本数据进行解码，在步骤1106中，根据在步骤1104中取得的显示时间，显示在步骤1105中解码了的样本数据。
以下，在步骤1102中，参考Error Sample Box、Error Free EndSample Box和Error Free Sequence Box的各Box，按顺序说明确定解码的样本时的程序。
首先，参考Error Sample Box时，确定对表示数据缺失的样本不进行解码。在能取得切片的NAL单元的数据缺失信息时，也可以确定是否以样本内的切片NAL单元单位进行解码。在表示对样本内的切片NAL单元解码时所参考的切片NAL单元的数据是否缺失时，也可以只在参考对象的切片NAL单元的数据完全一致时，对该切片NAL单元的数据进行解码。例如，在构成各样本的切片NAL单元的编码类型周期变化时，如果周期是已知的，则能确定切片NAL单元参考的样本的数据。作为一个例子，编码类型的周期是15个样本，周期内的各样本中的切片NAL单元的编码类型，按解码顺序为IBBPBBPBBPBBPBB。在此，I表示由内部切片或者IDR切片构成的样本，B表示由双预测的切片构成的样本，P表示由单方向预测的切片构成的样本。此时，如果B样本参考按解码顺序位于即将到的B样本以外的2个样本，P样本参考按解码顺序位于即将到的B样本以外的样本，则能确定B样本和P样本的切片数据参考的样本。
接着，在确定参考Error Free End Sample Box进行解码的样本时，确定无错误区间未包含的样本不进行解码。
最后，在确定参考Error Free Sequence Box进行解码的样本时，在连续的2个同步样本间包含数据缺失了的样本时，只对最初的同步样本进行解码。
另外，在同时使用2个以上的Error Sample Box、Error FreeEnd Sample Box和Error Free Sequence Box时，也可以根据使用的Box来改变解码的样本的确定方法。例如，在同时使用Error SampleBox和Error Free End Sample Box时，对于无错误区间不包含的样本，也由Error Sample Box的信息表示能正确解码的样本。此时，也可以对无错误区间之外的样本进行解码。在同时使用Error SampleBox和Error Free Sequence Box时也一样。
另外，在本实施方式中，缺失信息通知部406c对用户进行是否再现MP4文件的询问，但是并不限于此。例如，缺失信息通知部406c，也可以不对用户进行是否再现MP4文件的询问，而只是将样本数据的缺失率等信息通知用户。另外，缺失信息通知部406c也可以以预定的阈值判断例如样本数据的缺失率等信息，在满足条件的情况下，将再现指示信号输出到样本取得部404。另外，缺失信息通知部406c，也可以用预定的阈值判断例如样本数据的缺失率等信息，在不满足条件的情况下，对用户进行是否再现MP4文件的询问。
另外，本复用装置也能再现现有的MP4文件。
(实施方式5)
参考图28说明本发明的实施方式5所涉及的逆复用装置。本逆复用装置，输入由实施方式1～实施方式3所涉及的复用方式装置制作的MP4文件，分离、解码、显示AU数据，但是通过参考在样本数据中插入的错误通知用的NAL单元所表示的错误信息，确定解码或显示动作。另外，在输入到逆复用装置中的MP4文件中，也可以不附加表示错误信息的Box。以下，说明再现MPEG-4 AVC的磁道时的动作，但再现的磁道并不限于MPEG-4 AVC，也可以是H.263、MPEG-4 Visual等视频编码数据，或者MPEG-4 AAC、AMR等音频编码数据，也可以是同时再现视频和音频的磁道的数据。
本逆复用装置的结构，与在图25所示的实施方式4的逆复用装置中除了错误信息分析部405之外的结构相同，因此省略说明。图28是表示本逆复用装置的动作的流程图。首先，在步骤1101中，根据输入的再现开始时间，确定开始解码的同步样本。步骤1101的处理结束后，进行循环A的处理。循环A是反复进行步骤1102～步骤1105的处理的循环处理，一直反复进行，直到再现时解码的最终样本的处理结束。在步骤1102中，取得解码的样本的数据。以下，步骤1103～步骤1105的处理为解码显示部406中的处理。在步骤1103中，在步骤1102中取得的样本数据中，确定错误通知用的NAL单元或者样本，表示为样本不能正确解码时，不进行样本的解码。接着，在步骤1104中，对在步骤1103中确定进行解码的切片NAL单元的数据进行解码，在步骤1105中，根据显示时间显示解码的样本数据。
(实施方式6)
在此，说明使用了上述实施方式1～实施方式5所示的复用方式转换装置和逆复用装置的系统。
图29是表示实现基于广播和通信的内容投递服务的系统的整体结构的框图。首先，叙述接收广播数据的情况。便携式电话ex105或者DVD记录机等盘记录机ex104，接收对数字化了的编码媒体数据进行了复用的TS包串。在便携式电话ex105中，由本发明的复用方式转换装置将接收的TS包串转换为MP4，然后记录在SD卡ex106中。记录的MP4文件能用具有本发明的逆复用装置的便携式电话ex105、盘记录机ex104或者未图示的个人计算机等进行视听。另外，还能将MP4文件添加到电子邮件中，从便携式电话ex105经由无线基站ex107，发送到具有本发明的逆复用装置的另外的便携式电话ex108，在便携式电话ex108中视听MP4文件。另外，也可以不添加邮件，而使用HTTP(Hyper Text Transport Protocol，超文本传输协议)和TCP(Transmission Control Protocol，传输控制协议)等协议，从便携式电话ex105下载或者伪流式投递到便携式电话ex108。
在盘记录机ex104中，也能由本发明的复用方式装置将接收到的TS包串转换为MP4，并记录到SD卡、DVD等光盘或者硬盘。另外，也可以将记录的MP4文件下载或者伪流式投递到便携式电话或未图示的个人计算机。另外，也可以将TS包串记录到SD卡，投递时转换为MP4。
在便携式电话ex105或者盘记录机ex104中从内容服务器ex102接收通过英特网投递的TS包串时，也可以与接收上述广播数据时一样，使用MP4文件。
(实施方式7)
通过将用于实现上述各实施方式所示的复用方式装置中的复用方式转换方法、和逆复用装置中的逆复用方法的程序记录到软盘等存储介质中，能在独立的计算机系统中简单地实施上述各实施方式所示的处理。
图30是用记录在软盘等存储介质中的程序，由计算机系统实施上述各实施方式的复用方式转换装置中的复用转换方法和逆复用装置中的逆复用方法时的说明图。
图30(b)表示从软盘的正面看到的外观、剖面结构和软盘，图30(a)示出了作为记录介质主体的软盘的物理格式的例子。软盘FD内置于壳F内，在该软盘的表面从外周向内周以同心圆状形成有多个磁道Tr，各磁道在角度方向分割成16个扇区Se。因此，在存储了上述程序的软盘中，在上述软盘FD上指定的区域中记录上述程序。
另外，图30(c)表示用于在软盘FD上进行上述程序的记录再现的结构。在软盘FD上记录实现复用方式装置中的复用方式转换方法、和逆复用装置中的逆复用方法的上述程序时，通过软盘驱动器从计算机系统Cs写入上述程序。另外，当在计算机系统中构筑由软盘内的程序实现上述各实施方式的复用方式装置中的复用方式转换方法和逆复用装置中的逆复用方法的上述各实施方式的复用方式装置中的复用方式转换方法和逆复用装置中的逆复用方法的情况下，通过软盘驱动器从软盘读出程序，并传送到计算机系统。
另外，在上述说明中，作为记录介质用软盘进行了说明，但是用光盘也能同样地进行。记录介质并不限于此，IC卡、ROM录音机等，只要是能记录程序的介质，就能同样地加以实施。
(工业可利用性)
本发明涉及的复用方式转换装置，能应用于所有将由TS发送的MPEG-4 AVC等编码数据转换为MP4并记录或发送的设备，对接收数据广播的便携式电话等特别有效。

Claims (17)

1.一种复用方式转换装置，将用第1方式进行了包复用的编码媒体数据，用与上述第1方式不同的第2方式进行包复用并输出，其特征在于，包括：
丢包判断单元，判断在用上述第1方式进行了包复用的编码媒体数据中有无丢包；
缺失信息生成单元，在由上述丢包判断单元判断出有丢包的情况下，根据上述编码媒体数据中的数据缺失的位置，生成关于数据缺失的缺失信息；以及
复用单元，将由上述缺失信息生成单元生成的缺失信息存储在上述第2方式的包中，并且用上述第2方式对上述编码媒体数据进行包复用。
2.如权利要求1所述的复用方式转换装置，其特征在于：
还包括包分离单元，从用上述第1方式进行了包复用的编码媒体数据的包中分离头和有效载荷。
3.如权利要求2所述的复用方式转换装置，其特征在于：
上述丢包判断单元根据由上述包分离单元分离的上述头来判断丢包的有无。
4.如权利要求2所述的复用方式转换装置，其特征在于：
还包括帧分离单元，从由上述包分离单元分离的上述有效载荷中检测上述编码媒体数据的帧界限并分离帧；
在由上述丢包判断单元判断为有丢包的情况下，上述缺失信息生成单元根据上述编码媒体数据中的数据缺失的位置，以帧单位生成关于数据缺失的缺失信息；
上述复用单元将由上述缺失信息生成单元生成的上述帧单位的缺失信息，存储在上述第2方式的包中。
5.如权利要求4所述的复用方式转换装置，其特征在于：
上述缺失信息生成单元生成将表示解码所需的数据未缺失的帧按解码顺序1幅以上连续的区间的信息，生成为上述缺失信息。
6.如权利要求5所述的复用方式转换装置，其特征在于：
上述缺失信息生成单元将上述区间的开头帧的信息，生成为表示上述区间的信息。
7.如权利要求5所述的复用方式转换装置，其特征在于：
上述缺失信息生成单元将上述区间的最终帧的信息，生成为表示上述区间的信息。
8.如权利要求4所述的复用方式转换装置，其特征在于：
上述复用方式转换装置还包括制作单元，制作用于登录能随机存取的帧的表；
上述复用单元，在向上述表登录上述编码媒体数据的能随机存取的帧时，根据上述编码媒体数据中的数据缺失的位置，判断在上述帧中解码所需的数据是否缺失，如果在上述帧中解码所需的数据缺失，则不将上述帧作为能随机存取的帧向上述表登录。
9.如权利要求4所述的复用方式转换装置，其特征在于：
上述复用方式转换装置还包括转换单元，转换上述编码媒体数据的存储形式。
10.如权利要求9所述的复用方式转换装置，其特征在于：
上述帧由1个以上的子帧单位构成，
上述转换单元，当在子帧单位的开头附加上述子帧的大小信息并转换上述存储形式时，根据上述编码媒体数据中的数据缺失的位置，确定在上述第2方式的包中存储的子帧数据和子帧数据的大小。
11.如权利要求9所述的复用方式转换装置，其特征在于：
上述帧由1个以上的子帧单位构成，
上述转换单元，在上述编码媒体数据中的数据缺失的位置，在插入表示数据的缺失的子帧单位后，用上述第2方式对上述编码媒体数据进行包复用。
12.如权利要求1所述的复用方式转换装置，其特征在于：
上述缺失信息生成单元将表示预定单位的编码所需的数据是否缺失的信息，生成为上述缺失信息。
13.一种逆复用装置，对将编码媒体数据进行了包复用的复用数据进行解码，其特征在于，包括：
缺失信息抽取单元，从上述复用数据中抽取关于数据缺失的缺失信息；
缺失信息分析单元，根据由上述缺失信息抽取单元抽取的上述缺失信息，确定在上述编码媒体数据之中解码的数据；以及
解码单元，对由上述缺失信息分析单元确定进行解码的上述数据进行解码。
14.如权利要求13所述的逆复用转换装置，其特征在于：
上述逆复用装置还包括缺失信息通知单元，根据由上述缺失信息抽取单元抽取的上述缺失信息，将再现质量通知给用户。
15.如权利要求14所述的逆复用转换装置，其特征在于：
上述缺失信息通知单元根据上述通知接受用户的指示。
16.一种复用方式转换方法，将用第1方式进行了包复用的编码媒体数据，用与上述第1方式不同的第2方式进行包复用并输出，其特征在于，包括以下步骤：
丢包判断步骤，判断在用上述第1方式进行了包复用的编码媒体数据中有无丢包；
缺失信息生成步骤，在上述丢包判断步骤中判断出有丢包的情况下，根据上述编码媒体数据中的数据缺失的位置，生成关于数据缺失的缺失信息；以及
复用步骤，将在上述缺失信息生成步骤中生成的缺失信息存储在上述第2方式的包中，并且用上述第2方式对上述编码媒体数据进行包复用。
17.一种程序，用于将用第1方式进行了包复用的编码媒体数据，用与上述第1方式不同的第2方式进行包复用并输出，其特征在于，使计算机执行以下步骤：
丢包判断步骤，判断在用上述第1方式进行了包复用的编码媒体数据中有无丢包；
缺失信息生成步骤，在上述丢包判断步骤中判断出有丢包的情况下，根据上述编码媒体数据中的数据缺失的位置，生成关于数据缺失的缺失信息；以及
复用步骤，将在上述缺失信息生成步骤中生成的缺失信息存储在上述第2方式的包中，并且用上述第2方式对上述编码媒体数据进行包复用。
CNA2005100047278A 2004-01-15 2005-01-17 复用方式转换装置 Pending CN1642221A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP007817/2004 2004-01-15
JP2004007817 2004-01-15

Publications (1)

Publication Number Publication Date
CN1642221A true CN1642221A (zh) 2005-07-20

Family

ID=34616884

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2005100047278A Pending CN1642221A (zh) 2004-01-15 2005-01-17 复用方式转换装置

Country Status (4)

Country Link
US (1) US7567584B2 (zh)
EP (2) EP1670254A1 (zh)
KR (1) KR101073777B1 (zh)
CN (1) CN1642221A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101283566B (zh) * 2005-10-13 2013-01-02 微软公司 用于vc-1的rtp净荷格式
CN102870424A (zh) * 2010-03-03 2013-01-09 三星电子株式会社 用于记录和播放媒体文件的设备和方法及其记录介质
CN103152607A (zh) * 2013-01-10 2013-06-12 上海思华科技股份有限公司 视频超快速粗编方法
CN104917986A (zh) * 2014-03-11 2015-09-16 株式会社理光 信息处理装置、信息处理系统以及信息处理方法
CN105847724A (zh) * 2016-04-12 2016-08-10 深圳市极酷威视科技有限公司 一种视频录制断电保护方法及装置
CN106576187A (zh) * 2014-08-04 2017-04-19 松下知识产权经营株式会社 发送方法、接收方法、发送装置以及接收装置
CN108141636A (zh) * 2015-10-07 2018-06-08 松下知识产权经营株式会社 接收装置以及接收方法
CN112954435A (zh) * 2015-10-07 2021-06-11 松下知识产权经营株式会社 接收装置以及接收方法
CN117041690A (zh) * 2023-08-03 2023-11-10 广州市奥威亚电子科技有限公司 mp4文件的切片方法及mp4文件的生成方法

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7483532B2 (en) * 2003-07-03 2009-01-27 Microsoft Corporation RTP payload format
JP4372031B2 (ja) * 2005-03-10 2009-11-25 株式会社東芝 信号処理装置及び信号処理方法
CN101167130B (zh) * 2005-03-22 2013-03-13 松下电器产业株式会社 流数据记录装置、流数据记录再现装置、流数据再现装置、流数据编辑装置、流记录方法、以及流再现方法
US7684566B2 (en) 2005-05-27 2010-03-23 Microsoft Corporation Encryption scheme for streamed multimedia content protected by rights management system
US7769880B2 (en) * 2005-07-07 2010-08-03 Microsoft Corporation Carrying protected content using a control protocol for streaming and a transport protocol
JP2009504001A (ja) * 2005-07-25 2009-01-29 トムソン ライセンシング リファレンスビデオフレーム及びノンリファレンスビデオフレームの検出及び隠蔽の方法及び装置
US8321690B2 (en) 2005-08-11 2012-11-27 Microsoft Corporation Protecting digital media of various content types
US8089987B2 (en) * 2006-06-29 2012-01-03 International Business Machines Corporation Synchronizing in-memory caches while being updated by a high rate data stream
US20100135646A1 (en) * 2007-04-04 2010-06-03 Gun Bang Storage/playback method and apparatus for mpeg-2 transport stream based on iso base media file format
US8010507B2 (en) * 2007-05-24 2011-08-30 Pado Metaware Ab Method and system for harmonization of variants of a sequential file
JP5587779B2 (ja) * 2007-09-19 2014-09-10 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン メディアデータコンテナとメタデータコンテナとを有するファイルを格納し読み取るための装置及び方法
JP4327873B2 (ja) * 2007-10-30 2009-09-09 株式会社東芝 放送受信装置、ｔｓパケット再生装置、放送受信方法及びプログラム
EP2329654B1 (en) * 2008-09-26 2014-08-06 Telegent Systems, Inc. Devices of digital video reception and output having error detection and concealment circuitry and techniques
US9130998B2 (en) * 2010-06-04 2015-09-08 Broadcom Corporation Utilizing an electronic program guide (EPG) for customized content service in a gateway
CN101651833B (zh) * 2009-09-10 2012-01-11 中兴通讯股份有限公司 一种i帧检索方法及装置
JP2011087103A (ja) * 2009-10-15 2011-04-28 Sony Corp コンテンツ再生システム、コンテンツ再生装置、プログラム、コンテンツ再生方法、およびコンテンツサーバを提供
KR101803970B1 (ko) * 2011-03-16 2017-12-28 삼성전자주식회사 컨텐트를 구성하는 장치 및 방법
CN104106247B (zh) 2012-01-31 2018-06-15 夏普株式会社 再现装置、生成装置及系统
KR101484843B1 (ko) 2013-04-19 2015-01-20 삼성전자주식회사 멀티미디어 전송 시스템에서 미디어 전송 패킷 전송 방법 및 장치
EP3148181B1 (en) * 2014-05-19 2020-01-01 Sony Corporation Information processing device, information generation device, information recording medium, information processing method, and program
CN111614976B (zh) * 2014-09-12 2022-05-24 松下知识产权经营株式会社 发送装置、接收装置、发送方法以及接收方法
GB2533775B (en) * 2014-12-23 2019-01-16 Imagination Tech Ltd In-band quality data
JP6868802B2 (ja) * 2015-08-03 2021-05-12 パナソニックＩｐマネジメント株式会社 送信方法、受信方法、送信装置及び受信装置
KR102350570B1 (ko) * 2016-01-11 2022-01-11 에스케이텔레콤 주식회사 영상프레임의 손실을 측정하기 위한 iptv 셋탑박스 및 그 동작방법
US9998573B2 (en) * 2016-08-02 2018-06-12 Qualcomm Incorporated Hardware-based packet processing circuitry
US9986269B1 (en) * 2017-03-03 2018-05-29 Akamai Technologies, Inc. Maintaining stream continuity counter in a stateless multiplexing system
CN110662084B (zh) * 2019-10-15 2021-07-09 北京齐尔布莱特科技有限公司 一种mp4文件流直播的方法、移动终端及存储介质
US11765316B2 (en) * 2020-10-05 2023-09-19 Microsoft Technology Licensing, Llc Fast in-place FMP4 to MP4 conversion
US12346291B2 (en) * 2021-11-03 2025-07-01 Vimeo.Com, Inc. On-the-fly/transparent fragmented ISOBMFF to progressive ISOBMFF transmultiplexing proxy
WO2023100781A1 (en) * 2021-12-03 2023-06-08 Sharp Kabushiki Kaisha Systems and methods for reducing latency in decoding of coded video data

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5610825A (en) * 1994-11-08 1997-03-11 Johnson; William J. Method and apparatus for the display of digitized analog signal loss
CA2168641C (en) * 1995-02-03 2000-03-28 Tetsuya Kitamura Image information encoding/decoding system
US5920572A (en) * 1995-06-30 1999-07-06 Divicom Inc. Transport stream decoder/demultiplexer for hierarchically organized audio-video streams
US5579317A (en) * 1995-08-15 1996-11-26 Lsi Logic Corporation Packet error propagation for MPEG transport demultiplexers
KR100203262B1 (ko) * 1996-06-11 1999-06-15 윤종용 픽춰단위 동기화를 위한 비디오디코더의 인터페이스장치
JPH10136353A (ja) 1996-10-30 1998-05-22 Sharp Corp 無線通信動画端末装置
WO1998021846A1 (de) * 1996-11-08 1998-05-22 Siemens Aktiengesellschaft Verfahren und anordnung zum multiplexen einer vielzahl digitaler datenströme zu einem digitalen gesamtdatenstrom sowie verfahren und anordnung zum demultiplexen eines digitalen gesamtdatenstroms zu einer vielzahl digitaler datenströme
JP3434653B2 (ja) * 1996-12-05 2003-08-11 富士通株式会社 マルチメディアデータ蓄積伝送方法及び装置
KR19980054368A (ko) * 1996-12-27 1998-09-25 구자홍 트랜스포트 디코더의 데이터 입출력장치
EP1988714B1 (en) * 1997-10-23 2010-03-03 Mitsubishi Denki Kabushiki Kaisha Image decoding apparatus
JP3965539B2 (ja) * 1998-04-23 2007-08-29 ソニー株式会社 デジタル画像復号装置及び方法、並びに記録媒体
FI105962B (fi) 1998-06-30 2000-10-31 Nokia Mobile Phones Ltd Virheiden ilmaisu multipleksattuja signaaleja vastaanotettaessa
US6700888B1 (en) * 1999-09-28 2004-03-02 Telefonaktiebolaget Lm Ericsson (Publ) Manipulating header fields for improved performance in packet communications
JP3449541B2 (ja) * 1999-12-22 2003-09-22 日本電気株式会社 データパケット転送網とデータパケット転送方法
US6678746B1 (en) * 2000-08-01 2004-01-13 Hewlett-Packard Development Company, L.P. Processing network packets
EP1340381A2 (en) * 2000-10-27 2003-09-03 Polycom Israel Ltd. Apparatus and method for improving the quality of video communication over a packet-based network
US7130316B2 (en) * 2001-04-11 2006-10-31 Ati Technologies, Inc. System for frame based audio synchronization and method thereof
CN1253809C (zh) * 2001-06-29 2006-04-26 松下电器产业株式会社 数据重放装置及数据重放方法
JP3931595B2 (ja) * 2001-07-10 2007-06-20 株式会社日立製作所 データ修正装置及びデータ修正方法
US20030044166A1 (en) * 2001-08-31 2003-03-06 Stmicroelectronics, Inc. System for multiplexing video data streams in a digital video recorder and method of operating the same
JP2003114845A (ja) 2001-10-03 2003-04-18 Hitachi Ltd メディア変換方法およびメディア変換装置
US7203487B2 (en) * 2002-04-22 2007-04-10 Intel Corporation Pre-notification of potential connection loss in wireless local area network

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101283566B (zh) * 2005-10-13 2013-01-02 微软公司 用于vc-1的rtp净荷格式
CN102870424A (zh) * 2010-03-03 2013-01-09 三星电子株式会社 用于记录和播放媒体文件的设备和方法及其记录介质
CN103152607A (zh) * 2013-01-10 2013-06-12 上海思华科技股份有限公司 视频超快速粗编方法
CN104917986A (zh) * 2014-03-11 2015-09-16 株式会社理光 信息处理装置、信息处理系统以及信息处理方法
CN106576187A (zh) * 2014-08-04 2017-04-19 松下知识产权经营株式会社 发送方法、接收方法、发送装置以及接收装置
CN106576187B (zh) * 2014-08-04 2020-10-16 松下知识产权经营株式会社 发送方法、接收方法、发送装置以及接收装置
CN108141636A (zh) * 2015-10-07 2018-06-08 松下知识产权经营株式会社 接收装置以及接收方法
CN112954435A (zh) * 2015-10-07 2021-06-11 松下知识产权经营株式会社 接收装置以及接收方法
CN112954435B (zh) * 2015-10-07 2023-02-03 松下知识产权经营株式会社 接收装置以及接收方法
CN105847724A (zh) * 2016-04-12 2016-08-10 深圳市极酷威视科技有限公司 一种视频录制断电保护方法及装置
CN105847724B (zh) * 2016-04-12 2018-12-07 深圳市极酷威视科技有限公司 一种视频录制断电保护方法及装置
CN117041690A (zh) * 2023-08-03 2023-11-10 广州市奥威亚电子科技有限公司 mp4文件的切片方法及mp4文件的生成方法

Also Published As

Publication number Publication date
US20050169303A1 (en) 2005-08-04
EP1555827A3 (en) 2005-10-05
EP1555827A2 (en) 2005-07-20
KR101073777B1 (ko) 2011-10-13
US7567584B2 (en) 2009-07-28
EP1670254A1 (en) 2006-06-14
KR20050075309A (ko) 2005-07-20

Similar Documents

Publication Publication Date Title
CN1642221A (zh) 复用方式转换装置
CN111656796B (zh) 动态条件性广告插入
KR101549760B1 (ko) 비디오 데이터를 스트리밍하기 위한 랜덤 액세스 포인트의 시그널링
CN110447234B (zh) 用于处理媒体数据及产生位流的方法、装置及存储媒体
CN1199475C (zh) 转换数据流的方法和装置
US9591361B2 (en) Streaming of multimedia data from multiple sources
CN1248505C (zh) 用于处理包括传输流的数据流的方法和装置
CA2872506C (en) Method and apparatus for transmitting and receiving multi-media services
US8483053B2 (en) Information processing device, information processing method, program, and data structure
KR101421390B1 (ko) 트릭 모드 비디오 표현물에 대한 비디오 샘플의 시그널링
CN109644282B (zh) 用于媒体数据流式处理的补充增强信息轨迹的系统级发信
CN1559119A (zh) 包括元数据和媒体数据的多媒体文件的流播
JP2005229587A (ja) 多重化方式変換装置
CN1820494A (zh) 基于逐步解码器刷新的流切换
TW201947938A (zh) 用於在一片段中之網路串流之媒體資料之發信丟失區段
JP2012083767A (ja) データ再生装置およびデータ再生方法
CN1623329A (zh) 视频图像信息分发装置以及接收装置
CN1863322A (zh) 再现设备和方法
CN1164051C (zh) 多路复用数据的方法和装置、多路复用数据的转发装置、多路复用数据的译码的方法和装置
CA3071560C (en) Transmission apparatus, transmission method, reception apparatus, and reception method
JP2006238003A (ja) 逆多重化装置
JP2004312713A (ja) データ送信装置
CN1695377A (zh) 传输数据结构以及发送该传输数据结构的方法与设备
HK40009764A (zh) 作为分隔符及可寻址资源标识符的区段类型
KR20120058373A (ko) Ｓｖｃ 서버를 이용한 ｈｔｔｐ 스트리밍 수신 비디오 전송 및 단말 재생 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Open date: 20050720