发明内容
本发明的目的是提供一种即使由不同的控制部来控制处理声音等音响的音响处理部和处理动态图像的动态图像处理部,也能取得声音等音响和动态图像的同步的移动电话终端和移动电话终端的同步控制方法。
为了实现上述目的,本发明的移动电话终端,其中使用包含处理表示音响的音响信息的音响处理部和控制由所述音响处理部进行的音响处理的音响处理控制部的音响处理块来进行音响处理,其特征在于,包括:动态图像处理部,其处理表示动态图像的动态图像信息;动态图像处理控制部,其控制由所述动态图像处理部进行的动态图像处理;同步控制部,其进行计算所述音响处理块和所述动态图像处理控制部之间传送的信号的传送时间的传送时间计算处理,之后,根据所述传送时间补偿所述动态图像处理和所述音响处理之间的同步误差,进行使所述动态图像处理部进行的动态图像处理和所述音响处理部进行的音响处理同步的同步处理。
根据上述发明,由于通过计算音响处理块和动态图像处理控制部之间传送的信号的传送时间,并根据所计算的传送时间,补偿因音响处理块和动态图像处理控制部之间传送的信号的传送时间造成的动态图像处理和音响处理之间的同步误差,从而进行使动态图像处理部进行的动态图像处理和音响处理部进行的音响处理同步的同步处理,故能消除因音响处理块和动态图像处理控制部之间传送的信号的传送时间而产生的动态图像和声音的同步偏差。因此,即使将动态图像处理控制部和音响处理控制部做成不同的控制部,也能消除动态图像和声音的同步偏差。
另外,本发明的移动电话终端,其特征在于,还包括动态图像处理计数器,其以计数值表示由所述动态图像处理部进行的动态图像处理的进度;所述音响处理块还包括音响处理计数器,其以计数值表示由所述音响处理部进行的音响处理的进度;所述同步控制部,作为所述同步处理,经所述动态图像处理控制部取得所述音响处理计数器的计数值,根据所取得的音响处理计数器的计数值、取得该音响处理计数器的计数值时的所述动态图像处理计数器的计数值、所希望的定时中的所述动态图像处理计数器的计数值与由所述传送时间计算处理计算的传送时间,计算所述希望的定时中的音响处理计数器的计数值,经所述动态图像处理控制部控制所述动态图像处理部的处理速度,以使所计算的所述希望的定时中的音响处理计数器的计数值和所述希望的定时中的动态图像处理计数器的计数值的差减小。
根据上述发明,根据音响处理计数器的计数值和动态图像处理计数器的计数值,能够取得动态图像和音响的同步。
另外,本发明的移动电话终端,其特征在于,所述同步控制部间歇地进行所述传送时间计算处理和所述同步处理。
根据上述发明,由于间歇地进行传送时间计算处理和同步处理,所以即使在由音响处理控制部控制的音响处理部的音响处理速度和由动态图像处理控制部控制的动态图像处理部的动态图像处理速度不同的情况下,也能间歇地取得动态图像和音响的同步。
此外,本发明的移动电话终端,其特征在于,所述同步控制部,作为所述同步处理,经所述动态图像处理控制部向所述音响处理块传送指示所述音响处理的开始的音响处理开始信号,在从所述音响处理开始信号的传送开始经过了由所述传送时间计算处理计算的传送时间的定时中,向所述动态图像处理控制部传送指示所述动态图像处理的开始的动态图像处理开始指示信号。
根据上述发明,能够使音响处理的开始定时和动态图像处理的开始定时同步。
另外,本发明的移动电话终端最好包括所述音响处理块。
再有,在本发明的移动电话终端中,优选所述音响处理块还包括向外部输出所述音响处理部的输出的音响处理信号输出部,所述音响处理输出部通过无线或有线与外部的音响输出机器相连。
还有,在本发明的移动电话终端中,优选所述音响处理块包含在外部的音响处理终端中,所述动态图像处理控制部通过无线或有线与所述音响处理块相连。
此外,本发明的移动电话终端,其特征在于,所述音响处理块包含在经移动电话系统能与多个所述动态图像处理控制部连接的外部的音响处理终端中,所述同步控制部通过经所述动态图像处理控制部控制所述动态图像处理部,而相对所述音响处理进行所述动态图像处理的同步。
根据上述发明,能够在多个移动电话终端中再生与从外部的音响处理终端输出的音响同步的动态图像。
另外,本发明的移动电话终端,其中使用包含处理表示动态图像的动态图像处理部和控制由所述动态图像处理部进行的动态图像处理的动态图像处理控制部的动态图像处理块进行动态图像处理,其特征在于,包括:音响处理部,其处理表示音响的音响信息;音响处理控制部,其控制由所述音响处理部进行的音响处理;同步控制部,其进行计算所述动态图像处理块和所述音响处理控制部之间所传送的信号的传送时间的传送时间计算处理,之后,根据所述传送时间补偿所述动态图像处理和所述音响处理之间的同步误差,进行使所述动态图像处理部进行的动态图像处理和所述音响处理部进行的音响处理同步的同步处理。
根据上述发明,由于通过计算动态图像处理块和音响处理控制部之间所传送的信号的传送时间,并根据所计算的传送时间,来补偿因动态图像处理块和音响处理控制部之间传送的信号的传送时间造成的动态图像处理和音响处理之间的同步误差,从而同步动态图像处理部进行的动态图像处理和由音响处理部进行的音响处理的同步处理,故能够消除因音响处理块和动态图像处理控制部之间传送的信号的传送时间产生的动态图像和声音的同步偏差。因此,即使将动态图像处理控制部和音响处理控制部做成不同的控制部,也能够消除动态图像和声音的同步偏差。
本发明的移动电话终端,其特征在于,还包括以计数值表示由所述音响处理部进行的音响处理的进度的音响处理计数器;所述动态图像处理块还包括以计数值表示由所述动态图像处理部进行的动态图像处理的进度的动态图像处理计数器;所述同步控制部,作为所述同步处理,经所述音响处理控制部取得所述动态图像处理计数器的计数值,根据所取得的动态图像处理计数器的计数值、取得该动态图像处理计数器的计数值时的所述音响处理计数器的计数值、所希望的定时中的所述音响处理计数器的计数值和由所述传送时间计算处理计算的传送时间,计算所述希望的定时中的动态图像处理计数器的计数值,经所述音响处理控制部控制所述音响处理部的处理速度,以使所计算的所述希望的定时中的动态图像处理计数器的计数值和所述希望的定时中的音响处理计数器的计数值的差减小。
根据本发明,根据音响处理计数器的计数值和动态图像处理计数器的计数值,能取得动态图像和音响的同步。
本发明的移动电话终端,其特征在于,所述同步控制部间歇地进行所述传送时间计算处理和所述同步处理。
根据上述发明,由于间歇地进行传送时间计算处理和同步处理,所以即使在由音响处理控制部控制的音响处理部的音响处理速度和由动态图像处理控制部控制的动态图像处理部的动态图像处理速度不同的情况下,也能间歇地取得动态图像和音响的同步。
本发明的移动电话终端,其特征在于,作为所述同步处理,所述同步控制部经所述音响处理控制部向所述动态图像处理块传送指示所述动态图像处理的开始的动态图像处理开始信号,在从所述动态图像处理处理开始信号的传送开始经过了由所述传送时间计算处理计算的传送时间的定时中,向所述音响处理控制部传送指示所述音响处理的开始的音响处理开始指示信号。
根据上述发明,能够使音响处理的开始定时和动态图像处理的开始定时同步。
另外,本发明的移动电话终端最好包括所述动态图像处理块。
此外,本发明的移动电话终端,优选所述动态图像处理块还包括向外部输出所述动态图像处理部的输出的动态图像处理信号输出部;所述动态图像处理信号输出部通过无线或有线与外部的显示机器相连。
本发明的移动电话终端,优选所述动态图像处理块包含在外部的动态图像处理终端中,所述音响处理控制部通过无线或有线与所述动态图像处理块相连。
再有,本发明的移动电话终端,其特征在于,所述动态图像处理块包含在经由移动电话系统能与多个所述音响处理控制部相连的外部动态图像处理终端中,所述同步控制部通过经所述音响处理控制部控制所述音响处理部,从而相对所述动态图像处理进行所述音响处理的同步。
根据上述发明,能够在多个移动电话终端中再生与从外部的动态图像处理终端输出的动态图像同步的音响。
还有,本发明的移动电话终端的同步控制方法,是移动电话终端进行的同步控制方法,所述移动电话终端使用包含处理表示音响的音响信息的音响处理部和控制由所述音响处理部进行的音响处理的音响处理控制部的音响处理块进行音响处理,其中包括:处理表示动态图像的动态图像信息的动态图像处理部和控制由动态图像处理部进行的动态图像处理的动态图像处理控制部,其特征在于,包括:传送时间计算步骤,其计算所述音响处理块和所述动态图像处理控制部之间传送的信号的传送时间;和同步控制步骤,其根据在所述传送时间中计算步骤计算完的信号的传送时间,补偿所述动态图像处理和所述音响处理间的同步误差,从而进行使所述动态图像处理部进行的动态图像处理和所述音响处理部进行的音响处理同步的同步处理。
根据上述发明,能够消除因音响处理块和动态图像处理控制部之间传送的信号的传送时间造成的动态图像和声音的同步偏差。因此,即使将动态图像处理控制部和音响处理控制部做成不同的控制部,也能消除动态图像和声音的同步偏差。
另外,本发明的移动电话终端的同步控制方法,其特征在于,所述移动电话终端还包括以计数值表示由所述动态图像处理部进行的动态图像处理的进度的动态图像处理计数器;所述音响处理块还包括以计数值表示由所述音响处理部进行的音响处理的进度的音响处理计数器;作为所述同步处理,所述同步控制步骤经所述动态图像处理控制部取得所述音响处理计数器的计数值,根据所取得的音响处理计数器的计数值、取得该音响处理计数器的计数值时的所述动态图像处理计数器的计数值、所希望的定时中的所述动态图像处理计数器的计数值与由所述传送时间计算步骤计算的传送时间,计算所述希望的定时中的音响处理计数器的计数值,经所述动态图像处理控制部控制所述动态图像处理部的处理速度,以使所计算的所述希望的定时中的音响处理计数器的计数值和所述希望的定时中的动态图像处理计数器的计数值之差减小。
根据上述发明,根据音响处理计数器的计数值和动态图像处理计数器的计数值,能取得动态图像和音响的同步。
另外,本发明的移动电话终端的同步控制方法,其特征在于,间歇执行所述传送时间计算步骤和所述同步控制步骤。
根据上述发明,由于间歇地执行传送时间计算步骤和同步控制步骤,所以即使在由音响处理控制部控制的音响处理部的音响处理速度和由动态图像处理控制部控制的动态图像处理部的动态图像处理不同的情况下,也能间歇地取得动态图像和音响的同步。
再有,本发明的移动电话终端的同步控制方法,其特征在于,作为所述同步处理,所述同步控制步骤经所述动态图像处理控制部向所述音响处理块传送指示所述音响处理的开始的音响处理开始信号,在从所述音响处理开始信号的传送开始经过了由所述传送时间计算步骤计算的传送时间的定时中,向所述动态图像处理控制部传送指示所述动态图像处理的开始的动态图像处理开始指示信号。
根据上述发明,能使音响处理的开始定时和动态图像处理的开始定时同步。
此外,本发明的移动电话终端的同步控制方法,是一种移动电话终端进行的同步控制方法,所述移动电话终端使用包含处理表示动态图像的动态图像信息的动态图像处理部和控制由所述动态图像处理部进行的动态图像处理的动态图像处理控制部的动态图像处理块来进行动态图像处理,其中包括处理表示音响的音响信息的音响处理部和控制由音响处理部进行的音响处理的音响处理控制部,其特征在于,包括:传送时间计算步骤,其计算所述动态图像处理块和所述音响处理控制部之间传送的信号的传送时间;和同步控制步骤,其根据由所述传送时间步骤计算的信号的传送时间,补偿所述音响处理和所述动态图像处理间的同步误差,从而进行使所述音响处理部进行的音响处理和所述动态图像处理部进行的动态图像处理同步的同步处理。
根据上述发明,能消除由音响处理块和动态图像处理控制部之间传送的信号的传送时间造成的动态图像和声音的同步偏差。因此,即使将动态图像处理控制部和音响处理控制部作为不同的控制部,也能消除动态图像和声音的同步偏差。
本发明的移动电话终端的同步控制方法,其特征在于,所述移动电话终端还包括以计数值表示由所述音响处理部进行的音响处理的进度的音响处理计数器;所述动态图像处理块还包括以计数值表示由所述动态图像处理部进行的动态图像处理的进度的动态图像处理计数器;作为所述同步处理,所述同步控制步骤经所述音响处理控制部取得所述动态图像处理计数器的计数值,根据所取得的动态图像处理计数器的计数值、取得该动态图像处理计数器的计数值时的所述音响处理计数器的计数值、希望的定时中的所述音响处理计数器的计数值与由所述传送时间计算步骤计算的传送时间,计算所述希望的定时中的动态图像处理计数器的计数值,经所述音响处理控制部控制所述音响处理部的处理速度,以使所计算的所述希望的定时中的动态图像处理计数器的计数值和所述希望的定时中的音响处理计数器的计数值之差减小。
根据上述发明,能根据音响处理计数器的计数值和动态图像处理计数器的计数值,取得动态图像和音响的同步。
另外,本发明的移动电话终端的同步控制方法,其特征在于,间歇地执行所述传送时间计算步骤和所述同步控制步骤。
根据上述发明,由于间歇地执行传送时间计算步骤和同步控制步骤,故即使在由音响处理控制部控制的音响处理部的音响处理速度和由动态图像处理控制部控制的动态图像处理部的动态图像处理不同的情况下,也能间歇地取得动态图像和音响的同步。
进而,本发明的移动电话终端的同步控制方法,其特征在于,作为所述同步处理,所述同步控制步骤经所述音响处理控制部向所述动态图像处理块传送指示所述动态图像处理的开始的动态图像处理开始信号,在从所述动态图像处理开始信号的传送开始经过了由所述传送时间计算步骤计算的传送时间的定时中,向所述音响处理控制部传送指示所述音响处理的开始的音响开始指示信号。
根据上述发明,能够使音响处理的开始定时和动态图像处理的开始定时同步。
如上所述,在本发明中,提供了以下所述的效果。
第一效果,即使控制音响处理部的音响处理控制部与控制动态图像处理部的动态图像处理控制部不同,也能取得音响和动态图像的同步。由此,可以减轻各控制部的负载。
第二效果,即使在移动电话终端的外部配置音响处理块,也可成为音响和动态图像同步的状态。由此,若与其他移动电话终端共用配置在移动电话终端的外部的音响处理块,例如,作为音响处理块,可以使用音响效果好的音响系统或使用远距扬声器,从而可在多个移动电话终端中同时进行动态图像再生。
第三效果,即使在移动电话终端的外部配置动态图像处理块,也可成为音响和动态图像同步的状态。由此,若与其他移动电话终端共用配置在移动电话终端的外部的动态图像处理块,例如,由作为动态图像处理块的显示屏显示动态图像,从而可实现在多个移动电话终端中同时进行音响再生的电影院等功能。
具体实施方式
下面,参照附图,说明本发明的一实施例。
图1是表示本发明的一实施例的移动电话终端的框图。
在图1中,移动电话终端1包括:声音处理块2、声音输入部5、声音输出部6、收发天线(ANT)8、移动电话用无线部9、系统处理部10、动态图像处理块11、动态图像输入部14、动态图像输出部15和CPU间通信路径18。另外,在图1中,对于与图14相同的结构,添加同一符号。
移动电话终端1使用声音处理块2进行音响处理。
作为音响处理块的声音处理块2包括:声音处理计数器3、声音处理部4和声音处理用CPU7。
作为音响处理计数器的声音处理计数器3管理声音处理的进行状况。具体而言,声音处理计数器3以计数值表示由声音处理部4进行的声音处理的进度,并根据声音处理的处理速度来改变计数速度。下面,将声音处理计数器3的计数值称为“CountAOut值”。
作为音响处理部的声音处理部4处理作为表示声音等音响的音响信息的声音信息。
作为音响处理控制部的声音处理用CPU7,控制由声音处理部4进行的声音处理和声音处理计数器3的计数动作。
收发天线(ANT)8收发移动电话系统的无线信号。移动电话用无线部9进行移动电话系统的无线信号的调制解调。系统处理部10进行移动电话信号的处理。
动态图像处理块11包括同步控制部12、动态图像处理计数器13、动态图像处理部16和动态图像处理用CPU17。
动态图像处理计数器13管理动态图像处理的进行状况。具体而言,动态图像处理计数器13以计数值表示由动态图像处理部16进行的动态图像处理的进度,并根据动态图像处理的处理速度,来改变计数速度。下面,将动态图像处理计数器13的计数值称为“CountVOut值”。
动态图像处理部16处理表示动态图像的动态图像信息。
作为动态图像处理控制部的动态图像处理用CPU17,控制动态图像处理计数器13的计数动作和由动态图像处理部16进行的动态图像处理。
另外,动态图像处理用CPU17经CPU间通信路径18与声音处理用CPU7相连。
同步控制部12进行计算声音处理块2、具体为声音处理用CPU7与动态图像处理用CPU17之间传送的信号的传送时间的传送时间计算处理。另外,同步控制部12执行传送时间计算处理的技术包括同步控制部12控制动态图像处理用CPU17,而使动态图像处理用CPU17执行传送时间计算处理的技术。
另外,同步控制部12根据所计算的传送时间,进行使由动态图像处理部16进行的动态图像处理和由声音处理部4进行的声音处理同步的同步处理。此外,同步控制部12执行同步处理的技术包括同步控制部12控制动态图像处理用CPU17,而使动态图像处理用CPU17执行同步处理的技术。
下面,表示同步控制部12进行的同步处理的一例。
同步控制部12经动态图像处理用CPU17取得声音处理计数器3的计数值。
接着,同步控制部12根据所取得的声音处理计数器3的计数值、取得该声音处理计数器3的计数值时的动态图像处理计数器13的计数值、希望的定时中的动态图像处理计数器13的计数值和所计算的传送时间,计算所希望的定时中的声音处理计数器3的计数值。
接着,同步控制部12经动态图像处理用CPU17来控制动态图像处理部16的处理速度,以使所计算的希望定时中的声音处理计数器3的计数值和希望的定时中的动态图像处理计数器13的计数值之差减小。
下面,表示同步控制部12进行的同步处理的另一例。
同步控制部12经动态图像处理用CPU1,将指示声音处理的开始的声音处理开始信号(例如,声音再生请求信号或声音录音请求信号)传送到声音处理块、具体为声音处理用CPU7,在从音响处理开始信号的传送开始经过了先前计算的传送时间的定时中,将指示动态图像处理的开始的动态图像处理开始指示信号(例如,动态图像再生开始信号或动态图像录像开始信号)传送到动态图像处理用CPU117。
若声音处理用CPU7接收声音处理开始信号,则使声音处理部4执行对应于所接收的声音处理开始信号的声音处理。另外,若动态图像处理用CPU17接收动态图像处理开始指示信号,则使动态图像处理部16执行对应于所接收的动态图像处理开始指示信号的动态图像处理。
另外,在本实施例中,在同步控制部12控制动态图像处理用CPU17,以进行上述同步处理的情况下,由同步控制部12和动态图像处理用CPU17构成本发明的同步控制部。
接着,说明动作。
图2是用来说明图1所示的移动电话终端1的动作的流程图。下面,参照图2,说明图1所示的移动电话终端1的动作。
例如,若用户通过操作图中未示出的键,来指定带声音的动态图像的再生或记录(步骤S1),则同步控制部12控制动态图像处理用CPU17,开始动态图像处理计数器13的计数(CountVOut)来作为初始化动作。另外,同步控制部12控制动态图像处理用CPU17,将动态图像计数器13的计数值(CountVOut值)代入表示同步处理开始定时的TSync值中(步骤S2)。
另外,将TSync值存储在动态图像处理用CPU17内。另外,虽然通过步骤S2而开始动态图像处理计数器13的计数,但是在该时刻,动态图像处理部16不执行动态图像处理。
接着,同步控制部12计算声音处理块2(具体而言为声音处理用CPU7)与动态图像处理用CPU17之间传送的信号的传送时间(时间误差估计)(步骤S3)。
图3是用来说明图2所示的步骤S3的处理的时序图。
下面,参照图3,说明步骤S3的传送时间的计算处理(时间误差估计)。
动态图像处理块11内的动态图像处理用CPU17根据由同步控制部12进行的控制,将作为动态图像处理计数器13的计数值的CountVOut值代入到变量tv1中(步骤D1),与步骤D1大致同时地向声音处理块2、具体为声音处理用CPU7发送同步请求(步骤D2)。另外,将变量tv1作为自变量添加到步骤D2执行的同步请求中。
接收了步骤D2所执行的同步请求的声音处理块2、具体为声音处理用CPU7,将作为声音处理计数器3的计数值的CountAOut值代入到变量ta1中(步骤D3)。另外,也可省略步骤D3。
接收了步骤D2所执行的同步请求的声音处理块2、具体为声音处理用CPU7,向动态图像处理块11、具体为动态图像处理用CPU17发送同步响应(步骤D4)。也可将变量tv1和变量ta1作为自变量添加到步骤D4中执行的同步响应中。另外,在省略了步骤D3的情况下,也可仅将变量tv1作为自变量添加到步骤D4所执行的同步响应中。
接收了步骤D4所执行的同步响应的动态图像处理块11、具体为动态图像处理用CPU17,根据由同步控制部12进行的控制,将作为动态图像处理计数器13的计数值的CountVOut值代入到变量tv2(步骤D5),与步骤D5大致同时地向声音处理块2、具体为声音处理用CPU7发送同步确认(步骤D6)。另外,也可至少将变量tv2作为自变量添加到步骤D6执行的同步确认中。
接收了步骤D6所执行的同步确认的声音处理块2,将作为声音处理计数器3的计数值的CountAOut值代入到变量ta2中(步骤D9)。另外,也可省略步骤D9。
动态图像处理块11、具体为动态图像处理用CPU17,根据由同步控制部12进行的控制,估计动态图像处理块11和声音处理块2之间的通信时间误差。
在本实施例中,作为通信时间误差,估计动态图像处理用CPU17向声音处理块2(具体为声音处理用CPU7)发送信号后,到该信号输入到声音处理块2(具体为声音处理用CPU7)为止的时间与声音处理块2(具体为声音处理用CPU7)向动态图像处理用CPU17发送信号后,到其信号输入到动态图像处理用CPU17为止的时间。
具体而言,动态图像处理用CPU17根据同步控制部12的控制,根据Tva=(tv2-tv1)/2的式子算出通信时间误差Tva(步骤D7)。另外,同步控制部12也可进行通信时间误差Tva的计算。
该值Tva由表示从动态图像处理块11向声音处理块2的传送路径的估计传送速度与从声音处理块2向动态图像处理块11的传送路径的估计传送速度的比值的TVAratio,以Tva=f(tv2,tv1,TVAratio)的式子表示。例如,用Tva=(tv2-tv1)×TVAratio表示。
回到图2,动态图像处理用CPU17根据由同步控制部12进行的控制,经动态图像处理用CPU17向声音处理块2、具体为声音处理用CPU7传送指示声音处理的开始的声音处理开始信号(例如,声音再生请求信号或声音录音请求信号)(步骤S4)。
若声音处理用CPU7接收声音处理开始信号,则使声音处理部4执行对应于所接收的声音处理开始信号的声音处理(再生或录音),同时,将声音处理计数器3复位,使声音处理计数器3动作。
动态图像处理用CPU17在从音响处理开始信号的传送经过了先前所计算的传送时间(值Tva)的定时中(步骤S5),从同步控制部12接受指示动态图像处理的开始的动态图像处理开始指示信号(例如,动态图像再生开始信号或动态图像录像开始信号)。
若动态图像处理用CPU17接收动态图像处理开始指示信号,则使动态图像处理部18执行对应于所接收的动态图像处理开始指示信号的动态图像处理(再生或录像),同时,将动态图像计数器13复位,并使动态图像处理计数器13动作。
通过执行步骤S4到步骤S6,从而可以消除因动态图像处理块11和声音处理块之间传送的信号的传送时间引起的同步定时误差,在同一定时中开始动态图像处理和声音处理。另外,动态图像处理计数器13和声音处理计数器3在同一定时中开始计数动作。
由此,即使处理声音等的音响的声音处理部和处理动态图像的动态图像处理部由不同的控制部(例如CPU)进行控制,也能取得声音等音响和动态图像的同步。
接着,动态图像处理用CPU17根据由同步控制部12进行的控制,判断作为动态图像处理计数器13的计数值的CountVOut值与TSync值之差是否比再同步判断值TLimit大(步骤S7)。
在步骤S7中,若作为动态图像处理计数器13的计数值的CountVOut值与TSync值之差不比再同步判断值TLimit大,在动态图像处理用CPU17根据由同步控制部12进行的控制,再次执行步骤S7。
在步骤S7中,在作为动态图像处理计数器13的计数值的CountVOut值与TSync值之差比再同步判断值TLimit大的情况下,动态图像处理用CPU17根据由同步控制部12进行的控制,将作为动态图像处理计数器13的计数值的CountVOut值代入TSync值中(步骤S8),来估计作为声音处理计数器3的计数值的CountAOut值(步骤S9)。
图4是用来说明步骤S9的一例的时序图。而且,在图4中,对与图3相同的处理添加同一符号。下面,参照图4,说明步骤S9的一例。
动态图像处理用CPU17根据由同步控制部12进行的控制,将作为动态图像处理计数器13的计数值的CountVOut值代入变量tv1中(步骤D1),与步骤D1大致同时地向声音处理块2、具体为声音处理用CPU7发送同步请求(步骤D2)。另外,将变量tv1作为自变量添加到步骤D2执行的同步请求中。
接收了步骤D2中执行的同步请求的声音处理块2、具体为声音处理用CPU7,将作为声音处理计数器3的计数值的CountAOut值代入变量ta1中(步骤D3)。
接收了步骤D2所执行的同步请求的声音处理块2、具体为声音处理用CPU7,向动态图像处理块11、具体为动态图像处理用CPU17发送同步响应(步骤D4)。也可将变量tv1和变量ta1作为自变量添加到步骤D4所执行的同步响应中。
接收了步骤D4所执行的同步响应的动态图像处理块11、具体为动态图像处理用CPU17,根据由同步控制部12进行的控制,将作为动态图像处理计数器13的计数值的CountVout值代入变量tv2中(步骤D5),与步骤D5大致同时地向声音处理块2、具体为声音处理用CPU7发送同步确认(步骤D6)。另外,也可至少将变量tv2作为自变量添加到步骤D6所执行的同步确认中。
接收了步骤D6所执行的同步确认的声音处理块2将作为声音处理计数器3的计数值的CountAOut值代入到变量ta2中(步骤D9)。另外,也可省略步骤D9。
动态图像处理块11、具体为动态图像处理用CPU17,根据由同步控制部12进行的控制,估计动态图像处理块11和声音处理块2之间的通信时间误差(步骤D7)。具体而言,动态图像处理用CPU17根据同步控制部12的控制,根据Tva=(tv2-tv1)/2的式子算出通信时间误差Tva(步骤D7)。另外,同步控制部12也可执行通信时间误差Tva的计算。
接着,动态图像处理块11、具体为动态图像处理用CPU17根据由同步控制部12进行的控制,估计对应于所希望的定时中的作为动态图像处理计数器13的计数值的CountVOut值的声音处理计数器3的计数值CountAOut值(步骤D8)。另外,用来估计声音处理计数器3的计数值CountAOut值的估计公式例如使用下面所示的公式。
估计CountAOut=(CountVOut-tv2)+ta1+(tv2-tv1)/2。
而且,同步控制部12也可进行估计CountAOut的计算。
回到图2,动态图像处理用CPU17根据由同步控制部12进行的控制,判断所希望的定时中的作为声音处理计数器3的估计计数值的估计CountAOut值和所述希望的定时中的作为动态图像处理计数器13的计数值的CountVOut值是否不同(步骤S10)。
在步骤S10中,若所希望的定时中的作为声音处理计数器3的估计计数值的估计CountAOut值和所述希望的定时中的作为动态图像处理计数器13的计数值的CountVOut值没有不同,则动态图像处理用CPU17根据由同步控制部12进行的控制,判断为取得动态图像和声音的同步,而返回到步骤S7。
在步骤S10中,若所希望的定时中的作为声音处理计数器3的估计计数值的估计CountAOut值和所述希望的定时中的作为动态图像处理计数器13的计数值的CountVOut值不同,则动态图像处理用CPU17根据由同步控制部12进行的控制,判断为没有取得动态图像和声音的同步,并判断所希望的定时中的作为声音处理计数器3的估计计数值的估计CountAOut值是否比希望的定时中的作为动态图像处理计数器13的计数值的CountVOut值大(步骤S11)。
在步骤S11中,若所希望的定时中的作为声音处理计数器3的估计计数值的估计CountAOut值比所述希望的定时中的作为动态图像处理计数器13的计数值的CountVOut值大,则动态图像处理用CPU17根据由同步控制部12进行的控制,判断为动态图像处理比声音慢,进行从该估计CountAOut值减去该CountVOut值的时间份的加快动态图像处理的跳跃(skip)处理(步骤S12)。
在步骤S12中,加快动态图像处理的动作也可以是动态图像处理的高速动作(快进)。
动态图像处理用CPU17根据由同步控制部12进行的控制,在步骤S12终止时,返回到步骤S7。
在步骤S11中,若所希望的定时中的作为声音处理计数器3的估计计数值的估计CountAOut值不比所述希望的定时中的作为动态图像处理计数器13的计数值的CountVOut值大,则动态图像处理用CPU17根据由同步控制部12进行的控制,判断为动态图像处理比声音快,停止从该CountVOut值中减去该估计CountAOut值的时间份的动态图像处理(步骤S13)。
在步骤S13中,停止动态图像处理的动作也可以是动态图像处理的低速动作(放慢)。
动态图像处理用CPU17根据由同步控制部12进行的控制,在步骤S13终止时,返回到步骤S7。
另外,同步控制部12也可进行图2所示的动作。
在本实施例中,由于考虑因动态图像处理块11和声音处理块之间传送的信号的传送时间引起的定时误差来估计声音处理计数器的计数值,所以根据声音处理计数器3的计数值和动态图像处理计数器13的计数值,能够取得动态图像和音响的同步。
另外,根据本实施例,即使控制声音处理部4的声音处理用CPU和控制动态图像处理部16的动态图像处理用CPU17不同,也能取得声音和动态图像的同步。由此,例如,即使利用外部的音响处理块,也可以成为音响和动态图像同步的状态。
再有,本实施例由于间歇地执行步骤S8之后的动作,所以即使在由声音处理用CPU7控制的声音处理部4的声音处理速度和由动态图像处理用CPU17控制的动态图像处理部16的动态图像处理速度不同的情况下,也能间歇地取得动态图像和声音的同步。
图5是表示本发明的另一实施例的移动电话终端的框图。而且,在图5中,对于与图1有同一结构的部分添加同一符号。
在图5中,移动电话终端19经由向外部输出动态图像处理部16的输出的动态图像处理信号输出部19a,通过无线或有线与外部的显示机器20连接,由设置在显示机器20中的作为显示部的动态图像输出部21来显示动态图像。另外,图5所示的移动电话终端19的动作与图1所示的移动电话终端1相同。
图6是表示本发明的另一实施例的移动电话终端的框图。另外,在图6中,对于与图1相同结构的部分添加同一符号。
在图6中,移动电话终端22经由向外部输出声音处理部4的输出的音响信号输出部22a,通过无线或有线与外部的声音(音响)输出设备23连接,由设置在声音输出设备23中的扬声器等声音输出部24输出声音。另外,图6所示的移动电话终端22的动作与图1所示的移动电话终端1相同。
图7是表示本发明的另一实施例的移动电话终端的一使用形态的框图。
在图7中,移动电话终端25经由无法进行传送延迟保证的互联网27和移动电话网(移动电话系统)26,与进行声音处理的声音处理终端28相连。
图8是表示图7所示的移动电话终端25和声音处理终端28的一构成例的框图。而且,在图8中,对于与图1相同的结构添加同一符号。
移动电话终端25包括:收发天线(ANT)8、移动电话用无线部9、系统处理部10、动态图像输入部14、动态图像输出部15、动态图像处理块11和通信部29。
通信部29可以经移动电话网26和互联网27,与声音处理终端28相连而进行通信。另外,通信部29也可经电缆等,以有线与声音处理终端28相连而进行通信。
另外,声音处理终端28包括声音输入部5、声音输出部6、声音处理块2和通信部30。声音处理用CPU7经通信部30、互联网27、移动电话网26和通信部29而与动态图像处理用CPU17相连。此外,通信部29和通信部30也可经电缆等以有线相连。另外,图8所示的移动电话终端25的动作与图1所示的移动电话终端1相同。
在本实施例中,可以将承担声音处理的声音处理块配置在移动电话终端的外部。在配置于移动电话终端外部的声音处理块可通过无线或有线与多个移动电话终端连接的情况下,多个移动电话终端能共用声音处理块,所以例如,作为声音处理块(声音处理终端)通过使用音响效果好的音响系统,或使用远距扬声器,从而可在多个移动电话终端中进行动态图像的再生。
再有,在上述各实施例中,虽然表示了在动态图像处理块侧设置同步控制部的例子,但是,也可在声音处理块侧设置同步控制部
图9是表示本发明的另一实施例的移动电话终端的一使用形态的框图。在图9中,对于与图7相同的结构,添加同一符号。
在图9中,移动电话终端31经无法进行传送延迟保证的互联网27和移动电话网26,与进行动态图像处理的动态图像处理终端32相连。
图10是表示图9所示的移动电话终端31和动态图像处理终端32的一构成例的框图。另外,在图10中,对于与图1相同的结构添加同一符号。
在图10中,移动电话终端31包括:收发天线(ANT)8、移动电话用无线部9、系统处理部10、声音处理部5、声音输出部6、声音处理块33和通信部35。
移动电话终端31使用动态图像处理块36进行动态图像处理。
声音处理块33包括声音处理计数器3、声音处理部4、声音处理用CPU7、进行声音处理块33和动态图像处理终端32内的动态图像处理块36的同步控制的同步控制部34。
另外,动态图像处理终端32包括动态图像输入部14、动态图像输出部15、动态图像处理块36和通信部37。
动态图像处理块36包括动态图像处理部16、动态图像处理计数器13和动态图像处理用CPU17。
声音处理用CPU7和动态图像处理用CPU17经通信部35、移动电话网26、互联网27和通信部37相连。另外,通信部35和通信部37可以经电缆等以有线相连。
同步控制部34进行计算声音处理块33、具体为声音处理用CPU7和动态图像处理用CPU17之间传送的信号的传送时间的传送时间计算处理。另外,同步控制部34执行传送时间计算处理的技术包括同步控制部34控制声音处理用CPU7,使声音处理用CPU7执行传送时间计算处理的技术。
另外,同步控制部34根据所计算的传送时间,进行使由动态图像处理部16进行的动态图像处理和由声音处理部4进行的声音处理同步的同步处理。还有,同步控制部34执行同步处理的技术包括同步控制部34控制声音处理用CPU7,使声音处理用CPU7执行同步处理的技术。
下面,表示同步控制部34进行的同步处理的一例。
同步控制部34经声音处理用CPU7取得动态图像处理计数器13的计数值。
接着,同步控制部34根据所取得的动态图像处理计数器13的计数值、取得该动态图像处理计数器13的计数值时的声音处理计数器3的计数值、所希望的定时中的声音处理计数器3的计数值和所计算的传送时间来计算希望的定时中的动态图像处理计数器13的计数值。
接着,同步控制部34经声音处理用CPU7控制声音处理部4的处理速度,以使所计算的希望定时中的动态图像处理计数器13的计数值和希望的定时中的声音处理计数器3的计数值之差减小。
下面,表示同步控制部34进行的同步处理的另一例。
同步控制部34经声音处理用CPU7将指示动态图像处理的开始的动态图像处理开始指示信号(例如,动态图像再生开始信号或动态图像录像开始信号)向动态图像处理块36、具体为动态图像处理用CPU17传送,在从动态图像处理开始指示信号的传送开始经过了先前计算的传送时间的定时中,向声音处理用CPU7传送指示声音处理的开始的声音处理开始信号(例如,声音再生请求信号或声音录音请求信号)。
若动态图像处理用CPU17接收了动态图像处理开始指示信号,则使动态图像处理部16执行对应于所接收的动态图像处理开始指示信号的动态图像处理。另外,若声音处理用CPU7接收了声音处理开始信号,则使声音处理部4执行对应于所接收的声音处理开始信号的声音处理。
另外,在本实施例中,在同步控制部34控制声音处理用CPU7进行上述同步处理的情况下,由同步控制部34和声音处理用CPU7构成本发明的同步控制部。
下面,说明动作。
图11是说明图10所示的移动电话终端31的动作用的流程图。下面,参照图11,说明图10所示的移动电话终端31的动作。
例如,若用户通过操作未图示的键,来指定带声音的动态图像的再生或记录(步骤S101),则同步控制部34控制声音处理用CPU7,开始声音处理计数器3的计数(CountAOut)来作为初始化动作。另外,同步控制部34控制声音处理用CPU7,将声音处理计数器3的计数值(CountAOut值)代入表示同步处理开始定时的TSync值中(步骤S102)。
另外,将TSync值存储在声音处理用CPU7内。再有,虽然通过步骤S102来开始声音处理计数器3的计数,但是在该时刻,声音处理部4不执行声音处理。
接着,同步控制部34计算声音处理块33(具体为声音处理用CPU7)和动态图像处理块36(具体为动态图像处理用CPU17)之间传送的信号的传送时间(时间误差估计)(步骤S103)。
图12是说明图11所示的步骤S103的处理用的时序图。
下面,参照图12,说明步骤S3的传送时间的计算处理(时间误差估计)。
声音处理块33内的声音处理用CPU7根据由同步控制部34进行的控制,将作为声音处理计数器3的计数值的CountAOut值代入变量ta1中(步骤D10),并与步骤D10大致同时地向动态图像处理块36、具体为动态图像处理用CPU17发送同步请求(步骤D11)。另外,将变量ta1作为自变量添加到由步骤D11执行的同步请求中。
接收了步骤D1所执行的同步请求的动态图像处理块36、具体为动态图像处理用CPU17,将作为动态图像处理计数器13的计数值的CountVOut值代入变量tv1中(步骤D12)。另外,也可省略步骤D12。
接收了步骤D11所执行的同步请求的动态图像处理块36、具体为运动动态图像处理用CPU17向声音处理块33、具体为声音处理用CPU7发送同步响应(步骤D13)。也可将变量tv1和变量ta1作为自变量添加到步骤D13中执行的同步响应中。另外,在省略了步骤D12的情况下,也可仅将变量ta1作为自变量添加到步骤D13所执行的同步响应中。
接收了步骤D13所执行的同步响应的声音处理块33、具体为声音处理用CPU7,根据由同步控制部34进行的控制,将作为声音处理计数器3的计数值的CountAOut值代入到变量ta2中(步骤D14),与步骤D14大致同时地向动态图像处理块36、具体为动态图像处理用CPU17发送同步确认(步骤D15)。另外,也可至少将变量ta2作为自变量添加到步骤D15执行的同步确认中。
接收了步骤D15执行的同步确认的动态图像处理块36将作为动态图像处理计数器13的计数值的CountVOut值代入到变量tv2中(步骤D18)。另外,也可省略步骤D18。
声音处理块33、具体为声音处理用CPU7根据由同步控制部34进行的控制,估计动态图像处理块36和声音处理块33之间的通信时间误差。
在本实施例中,作为通信时间误差,估计动态图像处理块(具体为动态图像处理用CPU17)向声音处理块2(具体为声音处理用CPU7)发送信号后,到该信号被输入到声音处理块2(具体为声音处理用CPU7)为止的时间与声音处理块2(具体为声音处理用CPU7)向动态图像处理块(具体为动态图像处理用CPU17)发送信号后,到该信号被输入到动态图像处理块(具体为动态图像处理用CPU17)为止的时间。
具体而言,声音处理用CPU7根据同步控制部34的控制,根据Tav=(ta1-ta2)/2的式子算出通信时间误差Tav(步骤D16)。另外,同步控制部34也可进行通信时间误差Tav的计算。
而且,该值Tav由从声音处理块33向动态图像处理块36传送的传送路径的估计传送速度和从动态图像处理块36向声音处理块33传送的传送路径的估计传送速度的比值TAVratio,利用Tav=f(ta2,ta1,TAVratio)的式子表示。例如,由Tav=(ta2-ta1)×TAVratio表示。
回到图11,声音处理用CPU7根据由同步控制部34进行的控制,经声音处理用CPU7向动态图像处理块36、具体为动态图像处理CPU17传送指示动态图像处理的开始的动态图像处理开始指示信号(例如,动态图像再生开始信号或动态图像录像开始信号)(步骤S104)。
若动态图像处理用CPU17接收了动态图像处理开始指示信号,则使动态图像处理部18执行对应于所接收的动态图像处理开始指示信号的动态图像处理(再生或录像),同时,将动态图像处理计数器13复位,并使动态图像处理计数器13动作。
声音处理用CPU7在从动态图像处理开始指示信号的传送开始经过了先前计算的传送时间(值Tav)的定时中(步骤S105),从同步控制部34接收指示声音处理的开始的声音处理开始信号(例如,声音再生请求信号或声音录音请求信号)。
若声音处理用CPU7接收声音处理开始信号,则使声音处理部4执行对应于所接收的声音处理开始信号的声音处理(再生或录音),同时,将声音处理计数器3复位,并使声音处理计数器3动作。
通过执行步骤S104到步骤S106,从而可以消除因动态图像处理块36和声音处理块33之间传送的信号的传送时间引起的同步定时误差,在相同的定时中开始动态图像处理和声音处理。另外,动态图像处理计数器13和声音处理计数器3在相同定时中开始计数动作。
因此,即使处理声音等音响的声音处理部和处理动态图像的动态图像处理部由不同的控制部(例如,CPU)进行控制,也能取得声音等的音响和动态图像的同步。
接着,声音处理用CPU7根据由同步控制部34进行的控制,判断作为声音处理计数器3的计数值的CountAOut值与TSync值之差是否比再同步判断值TLimit大(步骤S107)。
在步骤S107中,若作为声音处理计数器3的计数值的CountAOut值与TSync值之差不比再同步判断值TLimit大,则声音处理用CPU17根据由同步控制部34进行的控制,重新执行步骤S107。
在步骤S107中,在作为声音处理计数器3的计数值的CountAOut值与TSync值之差比再同步判断值TLimit大的情况下,声音处理用CPU7根据由同步控制部34进行的控制,将作为声音处理计数器3的计数值的CountAOut值代入TSync值中(步骤S108),来估计作为动态图像处理计数器13的计数值的CountVOut值(步骤S109)。
图13是用来说明步骤S109的一例的时序图。另外,在图13中,对于与图12相同的处理添加同一符号。下面,参照图13,说明步骤S109的一例。
声音处理用CPU7根据由同步控制部34进行的控制,将作为声音处理计数器3的计数值的CountAOut值代入变量ta1中(步骤D10),与步骤D10大致同时地向动态图像处理块36、具体为动态图像处理用CPU17发送同步请求(步骤D11)。另外,将变量ta1作为自变量添加到步骤D11执行的同步请求中。
接收了步骤D11执行的同步请求的动态图像处理块36、具体为动态图像处理用CPU17,将作为动态图像处理计数器13的计数值的CountVOut值代入变量tv1中(步骤D12)。
接收了步骤D11所执行的同步请求的动态图像处理块36、具体为动态图像处理用CPU17,对声音处理块33、具体为声音处理用CPU7发送同步响应(步骤D13)。也可将变量tv1和变量ta1作为自变量添加到步骤D13所执行的同步响应中。
接收了步骤D13所执行的同步响应的声音处理块33、具体为声音处理用CPU7,根据由同步控制部34进行的控制,将作为声音处理计数器3的计数值的CountAOut代入到变量ta2中(步骤D14),与步骤D14大致同时地对动态图像处理块36、具体为动态图像处理用CPU17发送同步确认(步骤D15)。另外,至少将变量ta2作为自变量添加到步骤D15所执行的同步确认中。
接收了步骤D15所执行的同步确认的动态图像处理块36将作为动态图像处理计数器13的计数值的CountVOut值代入到变量tv2中(步骤D18)。另外,也可省略步骤D18。
声音处理块33、具体为声音处理用CPU7,根据由同步控制部34进行的控制,估计动态图像处理块36和声音处理块33之间的通信时间误差(步骤D16)。具体而言,声音处理用CPU7根据同步控制部34的控制,根据Tav=(ta2-ta1)/2的式子算出通信时间误差Tav(步骤D16)。另外,同步控制部34也可进行通信时间误差Tav的计算。
接着,声音处理块33、具体为声音处理用CPU7根据由同步控制部34进行的控制,估计对应于所希望的定时中的作为声音处理计数器3的计数值的CountAOut值的动态图像处理计数器13的计数值CountVOut值(步骤D17)。另外,用于估计动态图像处理计数器13的计数值CountVOut值的估计公式例如使用下面表示的公式。
估计CountVout=(CountAOut-ta2)+tv1+(ta2-ta1)/2。
另外,同步控制部34也可进行估计CountVOut的计算。
回到图11,声音处理用CPU7根据由同步控制部34进行的控制,判断所希望定时中的作为动态图像处理计数器13的估计计数值的估计CountVOut值与所述希望定时中的作为声音处理计数器3的计数值的CountAOut值是否不同(步骤S110)。
在步骤S110中,若所希望定时中的作为动态图像处理计数器13的估计计数值的估计CountVOut值与所述希望定时中的作为声音处理计数器3的计数值的CountAOut值没有不同,则声音处理用CPU7根据由同步控制部34进行的控制,判断为取得动态图像和声音的同步,而返回到步骤S107。
在步骤S110中,若所希望定时中的作为动态图像处理计数器13的估计计数值的估计CountVOut值与所述希望定时中的作为声音处理计数器3的计数值的CountAOut值不同,则声音处理用CPU7根据由同步控制部34进行的控制,判断为没有取得动态图像和声音的同步,而判断所希望的定时中的作为动态图像处理计数器13的估计计数值的估计CountVOut值是否比所希望的定时中的作为声音处理计数器3的计数值的CountAOut值大(步骤S111)。
在步骤S111中,若所希望的定时中的作为动态图像处理计数器13的估计计数值的估计CountVOut值比所希望的定时中的作为声音处理计数器3的计数值的CountAOut值大,则声音处理用CPU7根据由同步控制部34进行的控制,判断为声音处理比动态图像处理慢,进行从该估计CountVOut值中减去该CountAOut值的时间份的加快声音处理的跳跃处理(步骤S112)。
在步骤S112中,加快声音处理的动作也可以是声音处理的高速动作(快进)。
声音处理用CPU7根据由同步控制部34进行的控制,在步骤S112终止时,返回到步骤S107。
在步骤S111中,若所希望的定时中的作为动态图像处理计数器13的估计计数值的估计CountVOut值不比希望的定时中的作为声音处理计数器3的计数值的CountAOut值大,则声音处理用CPU7根据由同步控制部34进行的控制,判断为声音处理比动态图像处理快,而停止从该CountAOut值中减去该估计CountVOut值的时间份的声音处理(步骤S113)。
在步骤S113中,停止声音处理的动作也可由声音处理的低速动作(放慢)来进行。
声音处理用CPU7根据由同步控制部34进行的控制,在步骤S113终止时,返回到步骤S107。
另外,同步控制部34也可进行图11所示的动作。
在本实施例中,由于考虑因动态图像处理块36和声音处理块33之间传送的信号的传送时间引起的定时误差来估计动态图像处理计数器13的计数值,所以根据声音处理计数器3的计数值和动态图像处理计数器13的计数值,能够取得动态图像和音响的同步。
另外,根据本实施例,即使控制声音处理部4的声音处理用CPU与控制动态图像处理部16的动态图像处理用CPU17不同,也能取得声音和动态图像的同步。由此,例如即使利用外部的动态图像处理块,也可以成为音响和动态图像同步的状态。
此外,本实施例由于间歇地执行步骤S108之后的动作,所以即使在由声音处理用CPU7控制的声音处理部4的声音处理速度与由动态图像处理用CPU17控制的动态图像处理部16的动态图像处理速度不同的情况下,也能间歇地取得动态图像和声音的同步。
再有,在配置于移动电话终端的外部的动态图像处理块可与多个移动电话终端连接的情况下,由于多个移动电话终端能共用动态图像处理块,所以例如可以实现由作为动态图像处理块(动态图像处理终端)的显示屏幕显示动态图像,在多个移动电话终端中同时进行声音录音·再生的电影院等功能。
还有,在图10中,也可将动态图像处理终端32配置在移动电话终端31内。
进而,在将动态图像处理终端32配置于移动电话终端31内的情况下,也可将动态图像输出部15或声音输出部6设置在移动电话终端31的外部。另外,在将动态图像输出部15设置在移动电话终端31的外部的情况下,在移动电话终端31中还设置向外部输出动态图像处理部16的输出的动态图像处理信号输出部,该动态图像处理输出部也可通过无线或有线而与作为外部的显示机器的动态图像输出部15相连。
在上面说明的各实施例中,图示的结构仅仅是一例,本发明并不限定于其结构。