具体实施方式
以下,参照附图来说明本发明的实施方式。在以下的说明中,对于相同的部件赋予相同的符号,这些部件的名称以及功能也相同。因此,对关于这些部件的详细说明不进行重复。
<实施方式1>
(数字数据记录再生装置的结构)
图1是表示实施方式1的数字数据记录再生装置1000的结构的方框图。在图1中,为了便于说明,还显示了数字数据记录再生装置1000中并不包含的存储介质101。
数字数据记录再生装置1000具备作为工作模式的通常再生模式和再编码模式。通常再生模式是用于进行通过对被编码的流(数据)进行解码来再生(输出)的处理(以下,也称之为通常再生处理)的工作模式。即,通常再生模式是用于再生AV比特流的第一模式。
再编码模式是用于进行对被编码的流(数据)进行解码,并对被解码的数据再次进行编码的处理(以下,也称之为再编码处理)的工作模式。即,再编码模式是用于对AV比特流进行解码,并对通过该解码所获得的数据进行编码的第二模式。
在数字数据记录再生装置1000的工作模式为通常再生模式的情况下,进行通常再生处理。在数字数据记录再生装置1000的工作模式为再编码模式的情况下,进行再编码处理。
数字数据记录再生装置1000是HDD记录器等的AV再生装置。数字数据记录再生装置1000并不限定于HDD记录器,只要是具有通常再生模式以及再编码模式的装置,可以是任何类型的装置。
如图1所示,数字数据记录再生装置1000具备AV分离部102、输入视频比特流缓冲部103、输入音频比特流缓冲部104、视频解码部105、视频输出数据缓冲部106、音频解码部107、音频输出数据缓冲部108、视频输出部109、视频编码输入缓冲区部110、音频输出部111以及音频编码输入缓冲区部112。
数字数据记录再生装置1000还具备视频编码部113、编码视频比特流缓冲部114、音频编码部115、编码音频比特流缓冲部116和AV多路复用部117。
存储介质101是BD(Blu-ray Disc:蓝光盘)、DVD(DigitalVersatile Disc:数字多功能光盘)等。
另外,存储介质101也可以是HDD(Hard Disk Drive:硬盘驱动器)等。在此情况下,存储介质101还可以被包含在数字数据记录再生装置1000中。
存储介质101中存储有成为再编码的对象的AV比特流AVST1。AV比特流AVST1是被编码的流。该AV比特流AVST1是按照规定的编码形式,视频比特流VST1和音频比特流AST1被多路复用而成的流。该规定的编码形式例如是MPEG-2 TS。
另外,规定的编码形式并不限定于MPEG-2 TS,还可以是其它的编码形式。视频比特流VST1以及音频比特流AST1分别是被编码的流。
AV比特流AVST1由多个PES(Packetized ElementaryStream:打包基本流)包构成。PES包的帧头示出PTS(PresentationTime Stamp:显示时间标记)。PTS是进行同步处理时使用的同步信息。PTS是每经过规定时间时对值进行升计数的计数器。
即,视频比特流VST1以及音频比特流AST1分别由多个PES构成。即,视频比特流VST1以及音频比特流AST1分别包含多个PTS。
在以下的说明中,将视频比特流VST1中包含的PTS称为VPTS(视频同步信息)。另外,在以下的说明中,将音频比特流AST1中包含的PTS称为APTS(音频同步信息)。
即,VPTS以及APTS分别是每经过规定时间时对值进行升计数的计数器。另外,VPTS(视频同步信息)以及APTS(音频同步信息)分别是用于对视频数据和音频数据进行同步处理的信息。
视频比特流VST1是通过按照规定的动画编码形式对视频数据VD1进行编码而生成的流。该动画编码形式例如是MPEG2 TS。视频数据VD1是动画数据。即,作为第一视频比特流的视频比特流VST1包含VPTS(视频同步信息)。
另外,动画编码形式并不限定于MPEG2 TS,还可以是其它的编码形式。
音频比特流AST1是通过按照规定的语音编码形式对音频数据AD1进行编码而生成的流。该语音编码形式是AAC(AdvancedAudio Coding:高级音频编码)。音频数据AD1是语音数据。即,作为第一音频比特流的音频比特流AST1包括APTS(音频同步信息)。
另外,语音编码形式并不限定于AAC,还可以是其它的语音编码形式。
视频解码部105通过进行与视频比特流VST1的编码时使用的动画编码形式对应的解码处理,来对视频比特流VST1进行解码。该动画编码形式例如是MPEG2 TS。
音频解码部107通过进行与音频比特流AST1的编码时使用的语音编码形式对应的解码处理,来对音频比特流AST1进行解码。该语音编码形式例如是AAC。
视频编码部113通过与视频比特流VST1的编码时使用的动画编码形式不同的动画编码形式(以下,称之为动画再编码形式),来对解码完毕的视频数据进行编码。动画再编码形式例如是MPEG2 PS。
另外,动画再编码形式并不限定于MPEG2 PS,也可以是其它的编码形式(例如,H.264/AVC)。
在此,视频编码部113可以按照与视频比特流VST1的编码时使用的动画编码形式相同的动画编码形式,变更编码条件(例如,比特率),来进行编码处理。
音频编码部115,可以按照与音频比特流AST1的编码时使用的语音编码形式不同的语音编码形式(以下,称之为语音再编码形式),来对解码完毕的音频数据进行编码。语音再编码形式例如是MPEG2PS。
另外,语音再编码形式并不限定于MPEG2 PS,也可以是其它的编码形式(例如,AAC(Advanced Audio Coding))。
另外,音频编码部115可以按照与音频比特流AST1的编码时使用的音频编码形式相同的音频编码形式,变更编码条件(例如,比特率),来进行编码处理。
关于视频输出部109以及音频输出部111分别进行的处理,详情后述。在通常再生处理中,视频输出部109以及音频输出部111分别将处理完的数据输出到未图示的处理部。在通常再生处理中,形成从AV分离部102到视频输出部109以及音频输出部111为止的数据处理路径(以下,称之为通常再生路径)。
在再编码处理中,视频输出部109以及音频输出部111将分别处理完的数据输出到视频编码输入缓冲部110以及音频编码输入缓冲部112。在再编码处理中,形成从AV分离部102到AV多路复用部117为止的数据处理路径(以下,也称之为再编码处理路径)。
再编码处理路径包含通常再生路径。即,在通常再生处理以及再编码处理中,通常再生路径被共同。
输入视频比特流缓冲部103、输入音频比特流缓冲部104、视频输出数据缓冲部106、音频输出数据缓冲部108、视频编码输入缓冲区部110、音频编码输入缓冲区部112、编码视频比特流缓冲部114以及编码音频比特流缓冲部116分别是用于临时存储数据的缓冲器。
另外,关于AV分离部102以及AV多路复用部117的处理,见后述。
数字数据记录再生装置1000还具备视频同步信息提取部118、音频同步信息提取部119、AV同步控制部120和时钟生成部121。
关于视频同步信息提取部118、音频同步信息提取部119、AV同步控制部120以及时钟生成部121分别进行的处理,见后述。
(再编码处理中的AV数据通路(再编码处理路径)的说明)
以下,利用图1来说明再编码处理的流程。
在再编码处理中,首先,AV分离部102读出被存储在存储介质101中的AV比特流AVST1。AV分离部102从AV比特流AVST1中,提取视频比特流VST1和音频比特流AST1。
AV分离部102,将视频比特流VST1存储到输入视频比特流缓冲部103中,并将音频比特流AST1存储到输入音频比特流缓冲部104记中。
视频解码部105通过按照AV同步控制部120的后述控制来对输入视频比特流缓冲部103中存储的视频比特流VST1进行编码,从而取得视频数据VD1。视频数据VD1是解码完毕的视频数据。
并且,视频解码部105按照AV同步控制部120的后述控制来输出视频数据VD1,并将该视频数据VD1存储到视频输出数据缓冲部106中。
音频解码部107,与视频解码部105的处理并列地,通过按照后述的AV同步控制部120的控制来对被存储在输入音频比特流缓冲部104中的音频比特流AST1进行解码,从而取得音频数据AD1。音频数据AD1是解码完毕的音频数据。
并且,音频解码部107按照AV同步控制部120的后述控制来输出音频数据AD1,并将该音频数据AD1存储到音频输出数据缓冲部108中。
视频输出部109读出被存储在视频输出数据缓冲部106中的视频数据VD1之后输出该视频数据VD1,并将该视频数据VD1存储到视频编码输入缓冲区部110存中。即,视频数据VD1,通过视频输出部109,从视频输出数据缓冲部106被转送到视频编码输入缓冲区部110。
音频输出部111读放被存储在音频输出数据缓冲部108中的音频数据AD1之后输出该音频数据AD1,并将该音频数据AD1存储到音频编码输入缓冲部112中。即,音频数据AD1,通过音频输出部111,从音频输出数据缓冲部108被转送到音频编码输入缓冲部112。
视频编码部113通过对被存储在视频编码输入缓冲部110中的视频数据VD1进行编码,生成视频比特流VST2。即,视频编码部113通过对由视频输出部109输出的视频数据VD1进行编码,生成作为第二视频比特流的视频比特流VST2。
即,视频编码部113对通过解码所获得的视频数据VD1进行再编码。
并且,视频编码部113将视频比特流VST2存储到编码视频比特流缓冲部114。
音频编码部115通过对音频编码输入缓冲部112中存储的音频数据AD1进行编码,生成音频比特流AST2。即,音频编码部115通过对由音频输出部111输出的音频数据AD1进行编码,生成作为第二音频比特流的音频比特流AST2。
即,音频编码部115对通过解码所获得的音频数据AD1进行再编码。
并且,音频编码部115将频比特流AST2存储到编码音频比特流缓冲部116中。
AV多路复用部117通过对编码视频比特流缓冲部114中存储的视频比特流VST2、和编码音频比特流缓冲部116中存储的音频比特流AST2进行多路复用,来生成AV比特流AVST2。
AV多路复用部117例如按照MPEG-2等的形式进行多路复用。并且,AV多路复用部117将AV比特流AVST2存储到存储介质101中。
通过以上的再编码处理,AV比特流AVST1中包含的视频数据VD1以及音频数据AD1被再编码。
(AV同步的说明)
在以上的再编码处理中,说明了利用同步信息(PTS)进行的AV同步。
视频同步信息提取部118从输入视频比特流缓冲部103中存储的视频比特流VST1中,提取作为视频同步信息的VPTS,并将该VPTS发送到AV同步控制部120。
另外,音频同步信息提取部119从输入音频比特流缓冲部104中存储的音频比特流AST1中,提取作为音频同步信息的APTS,并将该APTS发送到AV同步控制部120。
时钟生成部121生成用于对视频数据和音频数据进行同步处理的AV同步用时钟AVCK,并将该AV同步用时钟AVCK发送到AV同步控制部120。AV同步用时钟AVCK是每经过规定时间时对值进行升计数的计数器。即,AV同步用时钟AVCK所示的值随着时间的经过而增加。AV同步用时钟AVCK具有数据再生(解码)时的STC(System Time Clock:系统时钟)的作用。
即,VPTS(视频同步信息)、APTS(音频同步信息)以及AV同步用时钟AVCK的分别表示AV同步控制部120进行控制时利用的值。
AV同步控制部120进行使视频数据VD1和音频数据AD1被同步处理的控制。具体是,AV同步控制部120利用VPTS(视频同步信息)、APTS(音频同步信息)以及AV同步用时钟AVCK,控制视频解码部105以及音频解码部107,以使视频解码部105输出视频数据VD1的输出定时、和音频解码部107输出音频数据AD1的输出定时成为同步。
更具体是,AV同步控制部120控制视频解码部105,以使控制视频解码部105在VPTS(视频同步信息)所示的值和AV同步用时钟AVCK所示的值相一致的定时,输出视频数据VD1。
另外,AV同步控制部120控制所述音频解码部107,以使音频解码部107在APTS(音频同步信息)所示的值和AV同步用时钟AVCK所示的值相一致的定时,输出音频数据AD1。
例如,在音频比特流AST1有异常,APTS的值是偏离AV同步用时钟AVCK的值的、大的值的情况下,AV同步控制部120使音频解码部107停止解码处理,直到AV同步用时钟AVCK的值增加到与APTS的值相一致为止。
另外,例如,在APTS的值是偏离AV同步用时钟AVCK值的、小值的情况下,AV同步控制部120通过控制音频解码部107,使音频解码部107不对全音频比特流AST1进行解码,而进行跳读(跳跃),从而使音频比特流AST1的APTS的值增加到AV同步用时钟AVCK的值。
在此,当视频比特流VST1的VPTS的值有异常的情况下,AV同步控制部120将对视频解码部105也进行与针对音频解码部107进行的所述控制相同的控制。
AV同步控制部120通过进行如上所述的控制,即使在再编码前的AV比特流有缺损而无法正常取得PTS的情况下,当正常的AV比特流被输入时,也能够使AV同步恢复。
(AV输出部的说明)
视频输出部109以及音频输出部111被兼用为再生用的输出部。时钟生成部121将由同一个时钟生成源生成的同一个时钟提供给视频输出部109以及音频输出部111。时钟生成源例如是水晶振荡器。
在以下的说明中,将从时钟生成部121提供给视频输出部109的时钟,记载为视频用时钟VCK。另外,在以下的说明中,将从时钟生成部121提供给音频输出部111的时钟,记载为音频用时钟ACK。
时钟生成部121生成作为与视频用时钟VCK以及音频用时钟ACK同步的时钟的所述AV同步用时钟AVCK。即,由时钟生成部121生成的所述AV同步用时钟AVCK是与视频用时钟VCK以及音频用时钟ACK同步的时钟。
视频输出部109按照(对应)视频用时钟VCK,读出被存储在视频输出数据缓冲部106中的视频数据VD1之后输出该视频数据VD1,并将该视频数据VD1存储在视频编码输入缓冲部110中。
音频输出部111按照(对应)音频用时钟ACK,读出被存储在音频输出数据缓冲部108中的音频数据AD1之后输出该音频数据AD1,并将该音频数据AD1存储音在频编码输入缓冲部112中。
在视频解码部105以及音频解码部107正常进行解码处理的情况下,视频数据VD1以及音频数据AD1被大致同时输出。即,在此情况下,视频数据VD1以及音频数据AD1被同步输出。
即,视频输出部109,在视频解码部105的解码处理被正常进行的情况下,输出解码完毕的数据(视频数据VD1),并将所述视频数据VD1存储在视频编码输入缓冲部110中。
相反,在视频解码部105的解码处理因AV同步控制部120的控制而停止的情况下,视频输出部109输出代替视频数据。代替视频数据例如是解码处理停止前的最终视频帧(最新的视频帧)的数据。
另外,音频输出部111,在音频解码部107的解码处理正常进行的情况下,输出解码完毕的数据(音频数据AD1),并将音频数据AD1存储在音频编码输入缓冲部112中。
相反,在音频输出部111的解码处理因AV同步控制部120的控制而停止的情况下,音频输出部111输出代替音频数据。代替音频数据例如是无音数据。
如上所述,从视频输出部109以及音频输出部111分别能始终输出数据。由此,如果是解码中的数据,就能保持AV同步的状态。因此,视频编码部113以及音频编码部115分别只通过对不考虑AV同步的情况下被提供的数据逐次进行编码,就能保持(对应于)AV同步。
(可实现快速编码处理的结构的说明)
在所述图1的数字数据记录再生装置1000的结构中,为了快速进行再编码,必须在构成再编码处理路径的各部分快速地进行数据处理。该各部分是指AV分离部102、视频解码部105、音频解码部107、视频输出部109、音频输出部111、视频编码部113、音频编码部115和AV多路复用部117。
另外,在所述各部分中,关于AV分离部102以及AV多路复用部117,对编码处理或解码处理进行比较,而无需进行复杂的演算处理,因此可排除在系统环节之外。
关于视频解码部105以及视频编码部113,由于需要对视频数据进行复杂的演算处理,因此可由快速运算装置或者运算专用电路来构成视频解码部105以及视频编码部113。
另外,关于音频解码部107以及音频编码部115,由于需要对音频数据进行复杂的演算处理,因此可由快速的运算装置或者运算专用电路构成音频解码部107以及音频编码部115。
由此,能够在保持AV同步的同时,根据视频解码部105、音频解码部107、音频解码部107以及音频编码部115的处理能力来进行快速的再编码处理。
另外,在进行再编码处理的情况下,由时钟生成部121生成的AV同步用时钟AVCK、视频用时钟VCK和音频用时钟ACK都是比通常再生处理中使用的时钟快(频率高)的时钟。
即,时钟生成部121在通常再生处理以及再编码处理中分别生成不同的时钟。即,在数字数据记录再生装置1000进行的处理从通常再生处理被切换成再编码处理的情况下,由时钟生成部121生成的时钟被切换成更快的时钟。
换言之,时钟生成部121,使在数字数据记录再生装置1000的工作模式为第二模式即再编码模式的情况下生成的AV同步用时钟AVCK的速度,成为比在数字数据记录再生装置1000的工作模式为第一模式即通常再生模式的情况下生成的AV同步用时钟AVCK的速度快的速度。
即,时钟生成部121,使在数字数据记录再生装置1000的工作模式为第二模式即再编码模式的情况下生成的AV同步用时钟AVCK的频率,成为在数字数据记录再生装置1000的工作模式为第一模式即通常再生模式的情况下生成的AV同步用时钟AVCK的频率高的频率。
由此,在再编码处理中,能使视频解码部105以及音频解码部107分别对对应的数据进行解码的速度比在通常再生处理中的解码处理速度快速化。其结果,在再编码处理中,能使视频输出部109以及音频输出部111分别输出对应的数据的速度,比通常再生处理的情况提高。因此,能使视频编码部113以及音频编码部115分别对对应的数据进行再编码的速度快速化。
另外,时钟生成部121还可以,使在数字数据记录再生装置1000的工作模式为再编码模式的情况下生成的AV同步用时钟AVCK的速度,成为比在该工作模式为通常再生模式的情况下生成的AV同步用时钟AVCK的速度慢的速度。由此,能降低进行再编码处理时的数字数据记录再生装置1000的消耗功率。
即,时钟生成部121根据数字数据记录再生装置1000的工作模式的种类,来变更AV同步用时钟AVCK的速度(频率)。
如上所述,在本实施方式的再编码处理中,使用比通常再生处理时使用的时钟更快速的时钟,来使视频输出部109以及音频输出部111分别进行动作。
因此,能够对视频数据和音频数据进行同步处理的同时,实现对流进行再编码的速度的快速化。即,能够对视频数据和音频数据进行同步处理的同时,变更对流进行再编码的速度。
另外,如上所述,在再编码处理时,也使用在通常再生处理中被使用的所述通常再生路径。即,在通常再生处理以及再编码处理中,共用通常再生路径。
因此,根据本实施方式的数字数据记录再生装置1000,相对于现有技术中公开的记录再生装置的结构而言,只通过略微的结构变更,就能够实现快速的再编码处理。
<实施方式2>
(数字数据记录再生装置的结构)
图2表示实施方式2的数字数据记录再生装置1000A的结构的方框图。另外,在图2中,为了便于说明,还显示了数字数据记录再生装置1000A中并不包含的存储介质101。
与图1的数字数据记录再生装置1000相比,数字数据记录再生装置1000A的不同点在于,取代视频解码部105、音频解码部107、视频编码部113、音频编码部115以及AV同步控制部120,具备视频解码部105A、音频解码部107A、视频编码部113A、音频编码部115A以及AV同步控制部120A,还具备代替视频数据生成部211以及代替音频数据生成部212,以及不具备视频输出部109、音频输出部111以及时钟生成部121。
数字数据记录再生装置1000A的其它结构与数字数据记录再生装置1000的相同,因此省略详述。
与视频解码部105相比,视频解码部105A的不同点在于,不受外部(例如,AV同步控制部120A)的控制。视频解码部105A的其它功能与视频解码部105的相同,因此省略详述。即,视频解码部105A具有进行与视频解码部105相同的解码处理的功能。
与音频解码部107相比,音频解码部107A的不同点在于,不受外部(例如,AV同步控制部120A)的控制。音频解码部107A的其它功能与音频解码部107状态,因此省略详述。即,音频解码部107A具有进行与音频解码部107相同的解码处理的功能。
与视频编码部113相比,视频编码部113A的不同点在于,被AV同步控制部12A控制。视频编码部113A的其它功能与视频编码部113的相同,因此省略详述。即,视频编码部113A进行与视频编码部113相同的编码处理。
与音频编码部115相比,音频编码部115A的不同点在于被AV同步控制部120A控制。音频编码部115A的其它功能与音频编码部115的相同,因此省略详述。即,音频编码部115A进行与音频编码部115相同的编码处理。
代替视频数据生成部211生成代替视频数据。该代替视频数据是代替视频数据VD1的视频数据。代替视频数据生成部211对视频解码部105A的状态始终进行监视,每当视频解码部105A的状态发生变化时,生成与视频解码部105A的最新状态相应的代替视频数据。
例如,在视频解码部105A的解码处理停止的情况下,代替视频数据生成部211生成表示该解码处理停止前的最终视频帧(最新的视频帧)的代替视频数据。
代替音频数据生成部212生成代替音频数据。该代替音频数据是代替音频数据AD1的音频数据。代替音频数据生成部212对音频解码部107A的状态始终进行监视,每当音频解码部107A的状态发生变化时,生成与音频解码部107A的最新状态相应的代替音频数据。
例如,在音频解码部107A的解码处理停止的情况下,代替音频数据生成部212生成作为代替音频数据的无音数据。
数字数据记录再生装置1000A与数字数据记录再生装置1000同样,具有作为工作模式的通常再生模式和再编码模式。
在以下的说明中,也将数字数据记录再生装置1000A的工作模式称为装置工作模式。
在装置工作模式是通常再生模式的情况下,进行通常再生处理A。在装置工作模式是再编码模式的情况下,进行再编码处理A。
再编码处理A中,在数字数据记录再生装置1000A中,形成从AV分离部102到AV多路复用部117为止的数据处理路径(以下,称之为再编码处理路径A)。
(再编码处理A中的AV数据通路(再编码处理路径A)的说明)
另外,在再编码处理A中,AV分离部102以及AV多路复用部117分别进行的处理与实施方式1中说明的处理相同,因此省略详述。以下仅作简述。
在再编码处理A中,首先,AV分离部102读出被存储在存储介质101中的AV比特流AVST1。AV分离部102从AV比特流AVST1中提取视频比特流VST1和音频比特流AST1。
AV分离部102将视频比特流VST1存储在输入视频比特流缓冲部103中,并将音频比特流AST1存储在输入音频比特流缓冲部104中。
视频解码部105A通过对输入视频比特流缓冲部103中存储的视频比特流VST1进行解码,来取得视频数据VD1。换言之,视频数据VD1是视频解码部105A通过进行解码所取得的视频数据即解码完毕视频数据。
并且,视频解码部105A输出视频数据VD1,并将该视频数据VD1存储在视频输出数据缓冲部106中。
音频解码部107A,与视频解码部105A的处理并列地,通过对被存储在输入音频比特流缓冲部104中的音频比特流AST1进行解码,来取得音频数据AD1。换言之,音频数据AD1是音频解码部107A通过进行解码所取得的音频数据即解码完毕音频数据。
并且,音频解码部107A输出音频数据AD1,并将该音频数据AD1存储在音频输出数据缓冲部108中。
在以下的说明中,将视频解码部105A输出通过所述解码处理所取得视频数据VD1的定时称为视频输出定时。另外,在以下的说明中,将音频解码部107A输出通过所述解码处理所取得的音频数据AD1的定时称为音频输出定时。
视频编码部113A按照AV同步控制部120A的后述控制,通过对视频输出数据缓冲部106中存储的视频数据VD1或者最新的代替视频数据进行编码,来生成视频比特流VST2。即,视频编码部113A进行对通过解码所获得的视频数据VD1进行再编码的处理,或者,对最新的代替视频数据进行编码的处理。
并且,视频编码部113A将视频比特流VST2存储在编码视频比特流缓冲部114中。
音频编码部115A按照AV同步控制部120A的后述控制,通过对音频输出数据缓冲部108中存储的音频数据AD1或最新的代替音频数据进行编码,来生成音频比特流AST2。即,音频编码部115A进行对已被进行一次编码的音频数据AD1进行再编码的处理,或者对最新的代替音频数据进行编码的处理。
并且,音频编码部115A将音频比特流AST2存储到编码音频比特流缓冲部116中。
AV多路复用部117通过对编码视频比特流缓冲部114中存储的视频比特流VST2、和编码音频比特流缓冲部116中存储的音频比特流AST2进行多路复用,来生成AV比特流AVST2。AV多路复用部117例如按照MPEG-2等形式进行多路复用。并且,AV多路复用部117将AV比特流AVST2存储在存储介质101中。
通过以上的再编码处理A,AV比特流AVST1中包含的视频数据VD1以及音频数据AD1被再编码。
(AV同步的说明)
在以上说明的再编码处理A中,说明了利用同步信息(PTS)进行的AV同步。
视频同步信息提取部118以及音频同步信息提取部119各自的处理与实施方式1中说明的处理相同,因此省略重述。以下仅作简述。
视频同步信息提取部118从视频比特流缓冲部103中存储的视频比特流VST1中,提取作为视频同步信息的VPTS,并将该VPTS发送到AV同步控制部120A。
另外,音频同步信息提取部119从输入音频比特流缓冲部104中存储的音频比特流AST1中,提取作为音频同步信息的APTS,并将该APTS发送到AV同步控制部120A。
AV同步控制部120A进行为了使视频数据和音频数据被同步处理的控制。具体是,AV同步控制部120A对VPTS(视频同步信息)和APTS(音频同步信息)进行比较。并且,AV同步控制部120A控制视频编码部113A以及音频编码部115A,以使视频编码部113A进行编码的定时和音频编码部115A进行编码的定时成为同步。
更具体是,AV同步控制部120A,根据该比较结果来控制视频编码部113A,以使视频编码部113A对解码完毕视频数据以及代替视频数据中的某一个进行编码,并根据该比较结果来控制音频编码部115A,以使音频编码部对解码完毕音频数据以及所述代替音频数据中的某一个进行编码。
即,VPTS(视频同步信息)以及APTS(音频同步信息)分别是用于控制视频编码部113A以及音频编码部115A的信息。VPTS(视频同步信息)以及APTS(音频同步信息)分别表示AV同步控制部120A进行控制时利用的值。
AV同步控制部120A,在接收到的VPTS所示的值和接收到的APTS所示的值相差大的情况下,向视频编码部113A或者音频编码部115A发出控制命令。
具体是,AV同步控制部120A对接收到的VPTS的值和接收到的APTS的值进行比较,在该VPTS的值和该APTS的值的差的绝对值为规定的同步阈值以上,且,VPTS的值比APTS的值小的情况下,向视频编码部113A发送视频编码控制命令。
在此,同步阈值是用于判断视频数据VD1和音频数据AD1是否在被同步处理的值。该VPTS的值和该APTS的值的差的绝对值为同步阈值以上的情况,既是视频数据VD1和音频数据AD1没有被同步处理的情况,换言之,是所述视频输出定时和所述音频输出定时相偏离的情况。
该视频编码控制命令是用于使视频编码部113A对由代替视频数据生成部211生成的最新的代替视频数据进行编码的命令。
另外,AV同步控制部120A对接收到的VPTS的值和接收到的APTS的值进行比较,在该VPTS的值和该APTS的值的差的绝对值为规定的同步阈值以上,且,APTS的值比VPTS的值小的情况下,向音频编码部115A发送音频编码控制命令。音频编码控制命令是用于使音频编码部115A对由代替音频数据生成部212生成的最新的代替音频数据进行编码的命令。
在以下的说明中,将VPTS的值和该APTS的值的差的绝对值,也称为判定用绝对值。
即,AV同步控制部120A,在判定用绝对值为同步阈值以上,且,VPTS(视频同步信息)所示的值比APTS(音频同步信息)所示的值小的情况下,控制视频编码部113A,以使所述视频编码部113A对代替视频数据进行编码。
另外,AV同步控制部120A,在判定用绝对值为同步阈值以上,且,APTS(音频同步信息)所示的值比VPTS(视频同步信息)所示的值小的情况下,控制音频编码部115A,以使所述音频编码部115A对代替音频数据进行编码。
即,AV同步控制部120A,在从VPTS(视频同步信息)所示的值和APTS(音频同步信息)所示的值获得的值满足规定条件的情况下,进行以下处理的某一个,即,通过控制视频编码部113A来使视频编码部113A对代替视频数据进行编码的处理,或者,通过控制音频编码部115A来使音频编码控制部115A对代替音频数据进行编码的处理。在此情况下,规定条件是指,VPTS(视频同步信息)所示的值和APTS(音频同步信息)所示的值的差的绝对值为规定的同步阈值以上的条件。
另外,AV同步控制部120A发送视频编码控制命令或者音频编码控制命令的条件并不限定于所述条件(利用判定用绝对值的条件)。例如,AV同步控制部120A还可以算出该VPTS的值和该APTS的值的比率,并根据该比率来发送视频编码控制命令或者音频编码控制命令。
视频编码部113A,在接收了视频编码控制命令的情况下,通过对由代替视频数据生成部211生成的最新的代替视频数据进行编码,来生成视频比特流VST2。
另外,视频编码部113A,在没有接收到视频编码控制命令的情况下,通过对视频输出数据缓冲部106中存储的视频数据VD1进行编码,来生成视频比特流VST2。
即,视频编码部113A,在接收了视频编码控制命令的情况下,将成为编码对象的视频数据从视频数据VD1切换成代替视频数据。
音频编码部115A,在接收了音频编码控制命令的情况下,通过对由代替音频数据生成部212生成的最新的代替音频数据进行编码,来生成音频比特流AST2。
另外,音频编码部115A,在没有接收到音频编码控制命令的情况下,通过对音频输出数据缓冲部108中存储的音频数据AD1进行编码,来生成音频比特流AST2。
即,音频编码部115A,在接收了音频编码控制命令的情况下,将成为编码对象的音频数据从音频数据AD1切换成代替音频数据。
在此,以具体例子进行说明。例如,设想出现了因视频比特流VST1中存在缺损而导致视频解码部105A的解码处理停止,视频同步信息提取部118不能取得作为视频同步信息的VPTS的状态。
另外,设想音频比特流AST1是正常的流。即,设想音频解码部107A正常接收了音频比特流AST1。另外,设想音频同步信息提取部119从音频比特流AST1中提取作为音频同步信息的APTS,并将该APTS发送到AV同步控制部120A。
在此情况下,VPTS的值不变化,只有APTS的值增加,VPTS的值和APTS的值的差的绝对值成为规定的同步阈值以上。即,VPTS的值比APTS的值小,APTS的值相对于VPTS的值发生了大的偏离。在此情况下,AV同步控制部120A向视频编码部113A发送视频编码控制命令。视频编码控制命令例如是用于补充编码数据的控制命令。
视频编码部113A,在接收到该视频编码控制命令的情况下,取得由代替视频数据生成部211生成的最新的代替视频数据,并对该代替视频数据进行编码。即,在此情况下,由于视频编码部113A不把视频输出数据缓冲部106中存储的视频数据VD1作为编码对象,因此不从视频输出数据缓冲部106中读出视频数据VD1。
在此情况下,代替视频数据例如是视频解码部105A的解码处理停止的时点的最终解码数据。另外,代替视频数据例如是解码处理停止前的最终视频帧(最新的视频帧)的数据。
另外,例如,设想出现了因音频比特流AST1中存在缺损而导致音频解码部107A的解码处理停止,音频同步信息提取部119不能取得作为音频同步信息的APTS的状态。
另外,设想视频比特流VST1是正常的流。即,设想视频解码部105A正常接收了视频比特流VST1。另外,视频同步信息提取部118从视频比特流VST1中提取作为视频同步信息的VPTS,并将该VPTS发送到AV同步控制部120A。
在此情况下,APTS的值不变化,只有VPTS的值增加,VPTS的值和APTS的值的差的绝对值成为规定的同步阈值以上。即,APTS的值比VPTS的值小,VPTS的值相对于APTS的值出现大的偏离。在此情况下,AV同步控制部120A向音频编码部115A发生音频编码控制命令。音频编码控制命令例如是用于对编码数据进行补充的控制命令。
音频编码部115A,在接收了该音频编码控制命令的情况下,取得由代替音频数据生成部212生成的最新的代替音频数据,并对该代替音频数据进行编码。即,在此情况下,由于音频编码部115A不把音频输出数据缓冲部108中存储的音频数据AD1作为编码对象,因此不从音频输出数据缓冲部108中读出音频数据AD1。代替音频数据例如是无音数据(0数据)。
(可实现快速再编码处理A的结构的说明)
在所述图2的数字数据记录再生装置1000A的结构中,为了快速进行再编码,必须在构成再编码处理路径A的各部分快速进行数据处理。该各部分是指AV分离部102、视频解码部105A、音频解码部107A、视频编码部113A、音频编码部115A,AV多路复用部117。
另外,所述各部中,关于AV分离部102以及AV多路复用部117,由于对编码处理和解码处理进行比较,而无需复杂的演算处理,因此可排除在系统环节之外。
关于视频解码部105A以及频编码部113A,由于需要对视频数据进行复杂的演算处理,因此可由运算处理器、快速运算装置或者运算专用电路来构成视频解码部105以及视频编码部113。
另外,关于音频解码部107A以及音频编码部115A,由于需要对音频数据进行复杂的演算处理,因此可由运算处理器、快速运算装置或者运算专用电路来构成音频解码部107A以及音频编码部115A
如上所述,在本实施方式的再编码处理A中,利用VPTS和APTS进行控制,以使视频数据VD1和音频数据AD1被同步处理。即,在本实施方式的再编码处理A中,与实施方式1的再编码处理不同,并不依赖时钟进行处理。即,视频解码部105A、音频解码部107A、视频编码部113A以及音频编码部115A可分别不同步地进行动作。
因此,根据本实施方式的数字数据记录再生装置1000A,能够实现最大限度发挥视频解码部105A、视频编码部113A、音频解码部107A、音频编码部115A各自的运算电路(运算处理器)的性能的快速再编码处理A。
另外,AV同步控制部120A可以根据装置工作模式的种类来变更视频解码部105A、视频编码部113A、音频解码部107A以及音频编码部115A各自的处理速度。
在以下的说明中,将视频解码部105A、视频编码部113A、音频解码部107A以及音频编码部115A的分别称为再编码关联部。
具体是,AV同步控制部120A例如控制各再编码关联部,以使在装置工作模式为再编码模式的情况下的各再编码关联部的处理速度,成为比在装置工作模式为通常再生模式的情况下的各再编码关联部的处理速度快的速度。
由此,能够使在装置工作模式为再编码模式的情况下的再编码处理A的速度,成为比在装置工作模式为通常再生模式的情况下的通常再生处理A的速度快的速度。即,可以变更对流进行再编码的速度。
另外,所述实施方式是用于实施本发明的一个例子,只要不超出本发明的主旨,可以进行种种变更。例如,关于存储介质,记录再编码后的比特流时,还可以使用与记录了再编码前的AV比特流的存储介质不同的其它存储介质。作为一个例子,可以对HDD中存储的AV比特流进行再编码,然后将通过该再编码所获得的AV比特流记录到Blu-ray盘中。
另外,在此说明了由视频同步信息提取部以及音频同步信息提取部进行AV同步信息的情况,此外也可以采用由AV分离部提取AV同步信息的结构。
另外,可以将成为再编码对象的AV比特流AVST1存储在存储介质101中,例如可通过广播波接收成为再编码对象的AV比特流AVST1。另外,成为再编码对象的AV比特流AVST1例如可以是通过互联网被分发的流。
(功能块图)
图3是表示数字数据记录再生装置2000的特征性第一功能结构的方框图。数字数据记录再生装置2000相当于图1的数字数据记录再生装置1000。即,图3是表示数字数据记录再生装置1000所具备的功能中的与本发明相关的主要功能的方框图。
数字数据记录再生装置2000对第一视频比特流以及第一音频比特流被多路复用的第一AV比特流进行处理,该第一视频比特流是视频数据被编码而生成的比特流,该第一音频比特流是音频数据被编码而生成的比特流。
第一视频比特流相当于视频比特流VST1。第一音频比特流相当于音频比特流AST1。第一AV比特流相当于AV比特流AVST1。
数字数据记录再生装置2000至少具有两种工作模式。两种工作模式分别是所述再编码模式以及通常再生模式。
第一视频比特流包含视频同步信息。视频同步信息相当于VPTS。第一音频比特流包含音频同步信息。音频同步信息相当于APTS。视频同步信息以及音频同步信息分别是用于对视频数据和音频数据进行同步处理的信息。
数字数据记录再生装置2000在功能方面,具备AV分离部2102、视频同步信息提取部2118、音频同步信息提取部2119、视频解码部2105、音频解码部2107、时钟生成部2121和AV同步控制部2120。
AV分离部2102从第一AV比特流中提取第一视频比特流和第一音频比特流。视频同步信息提取部2118从所述第一视频比特流中提取所述视频同步信息。音频同步信息提取部2119从所述第一音频比特流中提取所述音频同步信息。
视频解码部2105是用于通过对所述第一视频比特流进行解码来取得所述视频数据,并输出该视频数据的结构要素。音频解码部2107是用于通过对所述第一音频比特流进行解码来取得所述音频数据,并输出该音频数据的结构要素。
时钟生成部2121生成用于对所述视频数据和所述音频数据进行同步处理的AV同步用时钟。AV同步用时钟相当于AV同步用时钟AVCK。
AV同步控制部2120进行为了使所述视频数据和所述音频数据被同步处理的控制。
AV分离部2102、视频同步信息提取部2118、音频同步信息提取部2119、视频解码部2105、音频解码部2107、时钟生成部2121以及AV同步控制部2120分别相当于AV分离部102、视频同步信息提取部118、音频同步信息提取部119、视频解码部105、音频解码部107、时钟生成部121以及AV同步控制部120。
具体是,AV同步控制部2120利用所述视频同步信息、所述音频同步信息以及所述AV同步用时钟,控制所述视频解码部2105以及所述音频解码部2107,以使所述视频解码部2105输出所述视频数据的输出定时和所述音频解码部2107输出所述音频数据的输出定时成为同步。
数字数据记录再生装置2000在功能方面,还具备视频输出部2109、音频输出部2111、视频编码部2113、音频编码部2115和AV多路复用部2117。
视频输出部2109根据与所述AV同步用时钟同步的视频输出用时钟,输出所述视频数据。视频输出用时钟相当于视频用时钟VCK。
音频输出部2111根据与所述AV同步用时钟同步的音频输出用时钟,输出所述音频数据。音频输出用时钟相当于音频用时钟ACK。
视频编码部2113通过对由所述视频输出部2109输出的所述视频数据进行解码来生成第二视频比特流。第二视频比特流相当于视频比特流VST2。
音频编码部2115通过对由所述音频输出部2111输出的所述音频数据进行编码来生成第二音频比特流。第二音频比特流相当于音频比特流AST2。
AV多路复用部2117通过对所述第二视频比特流和所述第二音频比特流进行多路复用来生成第二AV比特流。第二AV比特流相当于AV比特流AVST2。
另外,时钟生成部2121还根据所述数字数据记录再生装置2000的工作模式的种类,来变更所述AV同步用时钟的速度。
另外,AV分离部2102、视频同步信息提取部2118、音频同步信息提取部2119、视频解码部2105、音频解码部2107、时钟生成部2121、AV同步控制部2120、视频输出部2109、音频输出部2111、视频编码部2113、音频编码部2115以及AV多路复用部2117的全部或者一部分可由LSI(Large Scale Integration:大规模集成电路)等硬件构成。
图4是表示数字数据记录再生装置3000的特征性第二功能结构的方框图。数字数据记录再生装置3000相当于图2的数字数据记录再生装置1000A。即,图4是表示数字数据记录再生装置1000A所具有的功能中的与本发明相关的主要功能的方框图。
数字数据记录再生装置3000对第一视频比特流以及第一音频比特流被多路复用的第一AV比特流进行处理,该第一视频比特流是视频数据被编码而生成的比特流,所述第一音频比特流是音频数据被编码而生成的比特流。
第一视频比特流相当于视频比特流VST1。第一音频比特流相当于音频比特流AST1。第一AV比特流相当于AV比特流AVST1。
所述第一视频比特流包含视频同步信息。视频同步信息相当于VPTS。所述第一音频比特流包含音频同步信息。音频同步信息相当于APTS。
数字数据记录再生装置3000在功能方面,具备AV分离部3102、视频同步信息提取部3118、音频同步信息提取部3119、视频解码部3105A、音频解码部3107A、AV同步控制部3120A、代替视频数据生成部3211、代替音频数据生成部3212、视频编码部3113A、音频编码部3115A和AV多路复用部3117。
AV分离部3102从所述第一AV比特流中提取所述第一视频比特流和所述第一音频比特流。视频同步信息提取部3118从所述第一视频比特流中提取所述视频同步信息。音频同步信息提取部3119从所述第一音频比特流中提取所述音频同步信息。
视频解码部3105A是用于通过对所述第一视频比特流进行解码来取得所述视频数据,并输出该视频数据的结构要素。音频解码部3107A是用于通过对所述第一音频比特流进行解码来取得所述音频数据,并输出该音频数据的结构要素。AV同步控制部3120A进行为了使所述视频数据和所述音频数据被同步处理的控制。
代替视频数据生成部3211生成代替视频数据,该代替视频数据代替由所述视频解码部3105A通过进行解码所取得的视频数据即解码完毕视频数据。代替音频数据生成部3212生成代替视频数据,该代替视频数据代替由所述音频解码部3107A通过进行解码所取得的音频数据即解码完毕音频数据。
视频编码部3113A通过对所述解码完毕视频数据或者所述代替视频数据进行编码来生成第二视频比特流。第二视频比特流相当于视频比特流VST2。
音频编码部3115A通过对所述解码完毕音频数据或者所述代替音频数据进行编码来生成第二音频比特流。第二音频比特流相当于音频比特流AST2。
AV多路复用部3117通过对所述第二视频比特流和所述第二音频比特流进行多路复用来生成第二AV比特流。第二AV比特流相当于AV比特流AVST2。
所述视频同步信息以及所述音频同步信息分别是用于控制所述视频编码部3113A以及所述音频编码部3115A的信息。
具体是,AV同步控制部3120A对所述视频同步信息和所述音频同步信息进行比较,(a)根据该比较结果来控制所述视频编码部3113A,以使所述视频编码部3113A对所述解码完毕视频数据以及所述代替视频数据中的某一个进行编码,并且,(b)根据该比较结果来对所述音频编码部3115A进行控制,以使所述音频编码部3115A对所述解码完毕音频数据以及所述代替音频数据中的某一个进行编码,从而使所述视频编码部3113A进行编码的定时和所述音频编码部3115A进行编码的定时成为同步。
AV分离部3102、视频同步信息提取部3118、音频同步信息提取部3119、视频解码部3105A、音频解码部3107A以及AV同步控制部3120A分别相当于AV分离部102、视频同步信息提取部118、音频同步信息提取部119、视频解码部105A、音频解码部107A以及AV同步控制部120A。
另外,代替视频数据生成部3211、代替音频数据生成部3212、视频编码部3113A、音频编码部3115A以及AV多路复用部3117分别相当于代替视频数据生成部211、代替音频数据生成部212、视频编码部113A、音频编码部115A以及AV多路复用部117。
另外,AV分离部3102、视频同步信息提取部3118、音频同步信息提取部3119、视频解码部3105A、音频解码部3107A、AV同步控制部3120A、代替视频数据生成部3211、代替音频数据生成部3212、视频编码部3113A、音频编码部3115A以及AV多路复用部3117的全部或者一部分可由LSI(Large Scale Integration:大规模集成电路)等硬件构成。
以上,关于本发明的数字数据记录再生装置1000以及数字数据记录再生装置1000A,根据实施方式进行了说明了,但本发明并不限定于这些实施方式。只要不超出本发明的主旨,本领域技术人员将其想象到的各种变形形态实施于本实施方式而获得的形态,或者对不同实施方式的结构要素进行组合而形成的形态,也属于本发明的范围内。
另外,构成所述数字数据记录再生装置1000以及数字数据记录再生装置1000A的多个结构要素的全部或者一部分可由硬件构成。另外,构成所述数字数据记录再生装置1000以及数字数据记录再生装置1000A的结构要素的全部或者一部分,也可以是由CPU(CentralProcessing Unit:中央处理器)等执行的程序模块。
另外,构成所述数字数据记录再生装置1000以及数字数据记录再生装置1000A的多个结构要素的全部或者一部分可由一个系统LSI(Large Scale Integration:大规模集成电路)构成。系统LSI是在一个芯片上对多个结构要素进行集成而制造成的超多功能LSI,具体是包括微处理器、ROM(Read Only Memory:只读存储器)以及RAM(Random Access Memory:随机存储器)等构成的计算机系统。
例如,图1中的AV分离部102、输入视频比特流缓冲部103、输入音频比特流缓冲部104、视频解码部105、视频输出数据缓冲部106、音频解码部107、音频输出数据缓冲部108、视频输出部109、视频编码输入缓冲区部110、音频输出部111、音频编码输入缓冲区部112、视频编码部113、编码视频比特流缓冲部114、音频编码部115、编码音频比特流缓冲部116以及AV多路复用部117可由一个系统LSI构成。
另外,还可以通过以数字数据记录再生装置1000或者数字数据记录再生装置1000A所具有的特征性构成部分的动作作为步骤的数字数据记录方法来实现本发明。另外,还可以通过使计算机执行所述数字数据记录方法中包含的各步骤的程序来实现本发明。另外,也可以通过存储所述程序的计算机可读取的存储介质来实现本发明。另外,可通过互联网等传送介质来传送该程序。
以上公开的实施方式其所有内容均表示一个例子,并不应理解为本发明限定于此。本发明的范围不是根据以上的说明,而以权利要求范围为准,即意味着与权利要求范围等同意义及其范围内的所有变更均属于本发明。
本发明能够在保持AV同步的同时,根据AV解码部以及AV解码部的处理能力来进行快速的再编码处理,因此能应用于可提高利用者的使用方便性的数字数据记录再生装置。
符号说明
101 存储介质
102、2102、3102 AV分离部
103 输入视频比特流缓冲部
104 输入音频比特流缓冲部
105、105A、2105、3105A 视频解码部
106 视频输出数据缓冲部
107、107A、2107、3107A 音频解码部
108 音频输出数据缓冲部
109、2109 视频输出部
110 视频编码输入缓冲部
111、2111 音频输出部
112 音频编码输入缓冲部
113、113A、2113、3113A 视频编码部
114 编码视频比特流缓冲部
115、115A、2115、3115A 音频编码部
116 编码音频比特流缓冲部
117、2117、3117 AV多路复用部
118、2118、3118 视频同步信息提取部
119、2119、3119 音频同步信息提取部
120、120A、2120、3120A AV同步控制部
121、2121 时钟生成部
211、3211 代替视频数据生成部
212、3212 代替音频数据生成部
1000、1000A、2000、3000 数字数据记录再生装置