CN101437009B - 丢包隐藏的方法及其系统 - Google Patents

Abstract

本发明公开了一种丢包隐藏的方法及其系统，本发明方法包括步骤：根据信号的基音与相位的周期特性，在丢失信号的前帧和后帧中各取一段时域信号，进行时域到频域的变换，得到前帧频域系数和后帧频域系数；对所述前帧频域系数和所述后帧频域系数的幅度值进行插值，得到多个重构信号的频域系数的幅度值；在所述前帧或/和所述后帧中分别取与重构信号相位最相似的相位作为所述重构信号频域系数的相位值；根据所述重构信号的频域系数的幅度值和相位值进行频域到时域的变换，得到所述重构信号的时域信号，并将所述重构信号的时域信号进行叠加，恢复出丢失的信号。采用本发明，可提高重构信号周期的准确性和相位的匹配精度。

Description

丢包隐藏的方法及其系统 

技术领域

本发明涉及通信领域，尤其涉及一种丢包隐藏的方法及其系统。 

背景技术

IP网络最初是为传输包含较大的包且不需要实时可靠传送的数据流而设计的，而声音的传输需要实时可靠地传送较小的包。当一个语音包在传输过程中被丢弃时，通常没有时间重新传送丢弃的包。同样的，当一个语音包经过了一段较长的路由而在需要播放时不能及时到达，这个包已经失去了存在的意义了。因此在VoIP(Voice over IP，基于IP的语音呼叫)系统中，语音包不能及时到达或不能到达时，都被认为丢失了。 

网络丢包是网络传输中语音服务质量下降的最主要的原因。可以通过不同的机制被用来恢复或隐藏由于丢包引起的影响。如果没有有效的语音丢包恢复或隐藏技术，即使是设计、管理得最好的IP网络也不能提供长话级品质的通信。设计良好的丢包问题解决方案，能大大提高语音传输质量。 

现有的一种对丢失的语音帧进行隐藏的方案是：将丢失帧的前后帧语音信号转换到频域，然后对前后帧频域参数的幅度进行插值，再将插值之后的频域系数反变换到时域。下面结合图1具体说明，图1中的101波形图是时域语音信号，共有三帧，其中中间1帧丢失。现有的对丢失的语音帧进行丢包隐藏的方案采样如图2所示的步骤： 

步骤201、对丢失帧的前帧时域信号进行傅立叶变换，可用下面公式实现： 

$X(n1,k)=\underset{m=-\∞}{\overset{\∞}{\mathrm{\Σ}}}x\left(m\right)\·w(n1-m)\·e^{-j\frac{2\mathrm{\π}}{N}\mathrm{km}}......\left[1\right]$

式(1)中，x(m)是语音时域信号；N是帧长；w是在区间[0，N-1]之外为 零的分析窗(也称变换窗)，为了减小计算量，优选三角窗；n1是前帧信号结束样点的位置；X(n1，k)是前帧傅立叶变换之后的频域系数；k是离散的频率点，取值范围为0，1...N-1，和角频率对应的关系为： 

$\mathrm{\ω}=\frac{2\mathrm{\π}}{N}K.$

前帧时域信号傅立叶变换之后的频域系数X(n1，k)是复数值，可以用幅度和相位的形式表示： 

$X(n1,k)=A_{n1,k}{e}^{j{\mathrm{\θ}}_{n1,k}}......\left[2\right]$

式(2)中，A_n1，k是第k个频率点的幅度值，θ_n1，k是第k个频率点的相位。 

步骤202、对丢失帧的后帧时域信号进行傅立叶变换，类似的可以用下面公式实现： 

$X(n2,k)=\underset{m=-\∞}{\overset{\∞}{\mathrm{\Σ}}}x\left(m\right)\·w(n2-m)\·e^{-j\frac{2\mathrm{\π}}{N}\mathrm{km}}......\left[3\right]$

式(3)中，n2是后帧信号结束样点的位置。 

后帧时域信号傅立叶变换之后的频域系数X(n2，k)是复数值，可以用幅度和相位的形式表示： 

$X(n2,k)=A_{n2,k}{e}^{j{\mathrm{\θ}}_{n2,k}}......\left[4\right]$

步骤203，对前帧频域系数的幅度值和后帧频域系数的幅度值进行插值，得到重构信号，可以用下面公式实现： 

$A_{p,k}=A_{n1,k}+(A_{n2,k}-A_{n1,k})\·\frac{p}{\mathrm{PP}+1}......\left[5\right]$

式(5)中，A_p，k是插值之后重构信号的频域系数幅度值；p的范围为1，2...PP；PP是插值的数目(也即重构信号的数目)，可用下式计算： 

PP＝(lostNum+1)·N/S-1…………………………………[6] 

式(6)中，S是插值之后重构信号的频域系数对应到时域上的样点间隔(即窗移量)，通常取为N/2；式中lostNum是丢失帧的数目。 

步骤204、对插值之后重构信号的频域系数进行傅立叶反变换。可用下面公式实现： 

$y_p\left(n\right)=\frac{1}{N}\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}X(p,k)\·e^{j\frac{2\mathrm{\π}}{N}\mathrm{kn}}......\left[7\right]$

式(7)中，y_p(n)是反变换之后的信号；n的取值范围为0，1...N-1；X(p，k)是插值之后重构信号的频域系数，采用下式计算： 

$X(p,k)=A_{p,k}{e}^{j{\mathrm{\θ}}_{n1,k}}......\left[8\right]$

式(8)中，幅度取前后帧插值之后的频域幅度，相位取前帧的频域相位。 

步骤205、对傅立叶反变换之后得到的时域信号进行叠加，生成丢失的语音信号。在S＝N/2(窗移量为帧长的一半)时，丢失帧的语音信号可以用下面公式计算： 

$\hat{x}(n1+(p-1)*S+l)=\frac{S}{W0}(y_p(l+N/2)+y_{p+1}\left(l\right))......\left[9\right]$

式(9)中，p的取值范围为1，2...PP-1，l的取值范围为1，2...S。W0满足如下关系： 

$W0=\underset{n=-\∞}{\overset{\∞}{\mathrm{\Σ}}}w\left(n\right)......\left[10\right]$

在图1中，102波形是对丢失帧的前后帧进行傅立叶变换并进行插值的示意图，其中，前面的实线三角窗是对前帧时域信号加的分析窗，后面的实线三角窗是对后帧时域信号加的分析窗，三个虚线三角窗是插值之后生成的时域信号的相应位置。图1中的103波形是采用现有丢包隐藏方案生成的波形图。 

结合现有技术提供的丢包隐藏流程以及图1中的103波形图可以看出，由于窗移设置为帧长的一半，窗长为帧长，每个帧对应2个窗移，因而生成2个周期的重构信号，导致生成的语音信号的周期可能与实际信号不符；并且，由于傅立叶变换窗的位置设置没有考虑前后帧相位，导致重构后的信号相位与前后帧的相位不匹配。 

发明内容

本发明的实施例揭示了一种丢包隐藏的方法以及一种丢包隐藏处理系统，以提高重构信号周期的准确性和相位的匹配精度。 

本发明实施例揭示的丢包隐藏的方法，包括如下步骤： 

根据信号的基音与相位的周期特性，在丢失信号的前帧和后帧中各取一段时域信号，进行时域到频域的变换，得到前帧频域系数和后帧频域系数，其中，根据信号的基音与相位的周期特性，在丢失信号的前帧和后帧中各取一段时域信号，包括步骤：获取所述前帧或/和后帧的基音周期长度，以及所述前帧和后帧之间的相位差；根据获取到的所述基音周期长度确定在所述前帧和后帧所取的时域信号的长度，根据获取到的所述相位差确定在所述前帧和后帧所取的时域信号的位置； 

对所述前帧频域系数和所述后帧频域系数的幅度值进行插值，得到多个重构信号的频域系数的幅度值； 

在所述前帧或/和所述后帧中分别取与重构信号相位最相似的相位作为所述重构信号频域系数的相位值； 

根据所述重构信号的频域系数的幅度值和相位值进行频域到时域的变换，得到所述重构信号的时域信号，并将所述重构信号的时域信号进行叠加，恢复出丢失的信号。 

本发明实施例揭示的丢包隐藏处理系统，包括： 

时域/频域变换模块，用于根据信号的基音与相位的周期特性，在丢失信号的前帧和后帧中各取一段时域信号，进行时域到频域的变换，得到前帧频域系数和后帧频域系数，其中所述时域/频域变换模块，包括：相位差获取子模块，用于获取所述前帧和后帧的相位差；基音周期获取子模块，用于获取所述前帧或/和后帧的基音周期长度；长度确定子模块，用于根据获取到的所述基音周期长度确定在所述前帧和后帧所取的时域信号的长度；位置确定子模块，用于根据获取到的所述相位差确定在所述前帧和后帧所取的时域信号的位置； 

重构信号频域系数计算模块，用于对所述前帧频域系数和所述后帧频域系数的幅度值进行插值，得到多个重构信号的频域系数的幅度值； 

重构信号频域相位选取模块，用于在所述前帧或/和所述后帧中分别取与重 构信号相位最相似的相位作为所述重构信号频域系数的相位值； 

频域/时域变换模块，用于根据所述重构信号的频域系数的幅度值和相位值，进行频域到时域的变换，得到所述重构信号的时域信号； 

信号恢复模块，用于将所述重构信号的时域信号进行叠加，恢复出丢失的信号。 

本发明的上述实施例，通过在信号重构的过程中，根据信号的基音和相位的周期特性，对丢失信号的前帧和后帧进行时域到频域的变换，并根据变换得到的前帧频域系数和后帧频域系数进行插值，得到重构信号的频域系数的幅度值，选取与重构信号相位最相似的相位作为重构信号频域系数的相位值，根据重构信号的频域系数的幅度值和相位值进行频域到值域的变换，从而使重构信号的基音周期和相位与实际信号相匹配，进而提高了重构信号周期的准确性和相位的匹配精度。 

附图说明

图1为现有技术中语音数据帧重构的波形图示意图； 

图2为现有技术中语音数据帧重构的流程示意图； 

图3为本发明实施例一中语音数据帧重构的流程示意图； 

图4为本发明实施例一中语音数据帧重构的波形示意图； 

图5为本发明实施例二中语音数据帧重构的流程示意图； 

图6为本发明实施例二中语音数据帧重构的波形示意图； 

图7为本发明实施例丢包隐藏处理系统结构图之一； 

图8为本发明实施例丢包隐藏处理系统结构图之二。 

具体实施方式

下面结合附图对本发明实施例进行详细描述。 

在本发明提供的第一个实施例中，将傅立叶变换窗的窗移量设置为丢失帧的前帧信号和后帧信号基音周期的平均值，并根据前帧信号和后帧信号的相位差设置傅立叶变换窗的位置，从而提高重构信号的周期准确性和相位匹配精度。该实施例的实现流程如图3所示，相应的波形图如图4所示。 

参见图3，为本发明实施例一中语音数据帧重构的流程示意图，具体步骤包括： 

步骤301，分别计算丢失帧的前帧时域信号的基音周期和后帧时域信号的基音周期，将前帧时域信号的基音周期长度记为TP，将后帧时域信号的基音周记长度为TN。 

基音周期的计算方法目前有很多种，如自相关法，在此不详述。 

步骤302，根据前帧时域信号基音周期TP和后帧时域信号基音周期TN设置傅立叶变换窗的窗移S。可以将窗移S设置为TP或TN，还可以将窗移S设置为前帧时域信号和后帧时域信号基音周期的近似平均值。本实施例中，优选的，令S＝fix((TP+TN)/2)，式中fix表示取最接近的整数。 

步骤303，对丢失帧的前帧和后帧分别取一段信号进行傅立叶变换，所取信号的长度由所加的分析窗的窗长L决定。所加的分析窗可以是矩形窗或三角窗等，窗长设置为不小于2S，如2S、4S等等。优选的，分析窗采用三角窗，窗长L取S×2。令丢失帧的前帧时域信号结束位置为sPos，则 

前帧傅立叶变换窗的起始位置为： 

sPos-D-L................................[11] 

后帧傅立叶变换窗的起始位置为： 

sPos-D+S×pitchNum......................[12] 

式(11)、(12)中，D为前后帧时域信号的相位差。相位差的一种计算方法是： 

在前帧中取最后的TP个样点，TP为前帧的一个基音周期长度(在采样率一定的情况下，样点个数和基音周期存在一定比例关系，因此次处可用基音周期表示样点个数)，作为匹配窗； 

在后帧取起始的若干个样点作为模板，模板中的样点数小于匹配窗中的样点数； 

将模板在匹配窗范围内逐个样点进行滑动，并对每个位置上的对应样点进行匹配比较，在对应样点最相似的位置上，取与模板中的第1个样点对应的匹配窗中的样点到该匹配窗中最后一个样点的距离即为相位差D。匹配比较的算 法可以采用幅度差绝对值的和，即，取对应样点的幅度差绝对值之和，当该值最小时，则认为当前位置为前后帧相位最相似的位置。例如，相位差的计算过程可以为： 

在后帧中取3个样点B1～B3组成模板，在前帧中取最后5个样点(前帧时域信号的一个基音周期中有5个样点)A1～A5组成匹配窗。将模板在匹配窗范围内逐个样点进行滑动，并计算每个位置上模板与匹配窗中对应样点的幅度差绝对值之和。若位置2(即B1～B3分别对应A2～A4的位置)的模板与匹配窗中对应样点的幅度差绝对值之和最小，表明该位置上模板与匹配窗的相位最相似，因此，将位置2上与模块中的B1对应的匹配窗中的A2到A5的距离作为匹配窗与模板(即前帧与后帧时域信号基音周期)的相位差。 

上述计算相位差的方法中，也可以在后帧时域信号起始位置后移一个或多个TN再取样点作为模板，或者，从前帧时域信号结束位置前移一个或多个TP再取一个基音周期长度的样点作为匹配窗。 

式(12)中，pitchNum为重构信号的基音周期数目。如图4所示，区间AB1表示重构信号的长度，区间AB1所对应的重构信号的基音周期数即为pitchNum。区间AB1的长度为丢失帧的总长度与相位差D之和。令重构信号的基音周期为前后帧基音周期之和的近似平均值，则pitchNum的计算公式为： 

$\mathrm{pitchNum}=\frac{(D+N\×\mathrm{lostNum})\×2}{\mathrm{TP}+\mathrm{TN}}......\left[13\right]$

式(13)中，N是帧长，lostNum是丢失帧的数目。 

步骤304，对前帧频域系数的幅度值和后帧频域系数的幅度值进行插值，得到重构信号的频域系数幅度值。可以用下面公式实现： 

$A_{p,k}=A_{n1,k}+(A_{n2,k}-A_{n1,k})\·\frac{p}{\mathrm{PP}+1}......\left[14\right]$

公式(14)中，A_p，k是插值之后重构信号的频域系数幅度值；p的范围为1，2...PP；PP是插值的数目(即重构信号的数目)，可用下式计算： 

PP＝(lostNum+1)·N/S-1.......................[15] 

公式(15)中，S窗移量，lostNum是丢失帧的数目。 

步骤305，对插值之后重构信号的频域系数进行傅立叶反变换，生成重构信号，可用下面公式实现： 

$y_p\left(n\right)=\frac{1}{N}\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}X(p,k)\·e^{j\frac{2\mathrm{\π}}{N}\mathrm{kn}}......\left[16\right]$

公式(16)中，y_p(n)是反变换之后的信号；n的取值范围为0，1...N-1；X(p，k)是插值之后重构信号的频域系数，采用下式计算： 

$X(p,k)=A_{p,k}{e}^{j{\mathrm{\θ}}_{n1,k}}......\left[17\right]$

公式(17)中，频域系数的幅度值取步骤304中生成的幅度值，而相位取前帧时域信号傅立叶变换频域系数的相位，也可以取后帧时域信号傅立叶变换频域系数的相位，还可以将重构信号的频域系数分成前后两部分，对于前一部分重构信号的频域系数取前帧频域系数的相位，对于后一部分重构信号的频域系数取后帧频域系数的相位。 

步骤306，对重构信号进行叠加，生成丢失的语音信号。 

对重构信号进行叠加可采用公式(9)实现，其中的窗移S值为步骤302所设置的S值。 

图4给出了采用上述流程对丢失帧的信号进行重构的波形示意图。图4的波形401与图1中的波形101相同；波形402中第一个实线窗为对前帧时域信号所加的傅立叶变换窗，第二个实线窗为对后帧时域信号所加的傅立叶变换窗，虚线窗为进行信号重构时所加的变换窗；波形403为重构后的信号波形。 

可以看出，一方面，本实施例设置的窗移S＝(TP+TN)/2(该值也是重构信号的基音周期)，设置窗长为2S，使窗移尽可能与实际信号基音周期长度相接近，从而使重构信号的基音周期与实际信号周期相接近。另一方面，本实施例根据前帧和后帧时域信号基音周期的相位差设置前帧和后帧的傅立叶窗位置，使得在对前帧和后帧进行傅立叶变换后得到的频域系数与实际信号的相位相 接近，从而使重构信号的相位与实际信号相匹配，使基音周期不准确以及相位不同步的问题得到了较好的解决。 

为了使重构信号的基音周期呈渐变趋势，以更接近实际语音基音周期的规律，同时进一步提高重构信号与实际语音信号的相位匹配的精确性，本发明的第二个实施例基于图3所示的流程，给出了另一种解决方案，其实现流程可如图5所示，相应的波形图如图6所示。 

参见图5，为本发明实施例二中语音数据帧重构的流程示意图，具体步骤包括： 

步骤501、分别计算丢失帧的前帧时域信号的基音周期和后帧时域信号的基音周期，将前帧时域信号的基音周期长度记为TP，将后帧时域信号的基音周期长度记为TN。 

步骤502、设置重构信号的窗移S近似为前帧时域信号和后帧时域信号基音周期的平均值。优选的，令S＝fix((TP+TN)/2)，式中fix表示取最接近的整数。 

步骤503，计算填充丢失帧所需要的基音周期数目(即重构信号的基音周期数目)，并分别设置各个基音周期长度。 

如图6所示，区间AB2表示重构信号的长度，区间AB2所对应的重构信号的基音周期个数即为pitchNum。区间AB2的长度为丢失帧的总长度与相位差D之和。令重构信号的基音周期为前后帧信号基音周期之和的近似平均值，则pitchNum的计算公式为： 

$\mathrm{pitchNum}=\frac{(D+N*\mathrm{lostNum})*2}{\mathrm{TP}+\mathrm{TN}}......\left[18\right]$

式(18)中，N是帧长，lostNum是丢失帧的数目，D是前后帧的相位差。相位差D的计算方法同实施例一流程中步骤303所描述的相位差的计算方法。 

需要填充的各个基音周期长度按下式设置： 

pitchLen(k)＝TP+(TN-TP)/(pitchNum+1)*k.......[19] 

式(19)中，pitchLen(k)表示填充的第k个基音周期长度，k的范围为1，2...pitchNum。通过公式(19)可实现基音周期的渐变，即，重构信号的基音周期从前帧信号基音周期的近似值逐渐向后帧信号基音周期逼进(但不等于后帧基音周期)。 

从式(19)可以看出，通过增量值(TN-TP)/(pitchNum+1)*k实现基音周期渐变，除此之外，还可以设置其它增量值，实现基音周期的渐变， 

在设置需要填充的基音周期长度之后，还要对这些基音周期长度进行调整。实际需要填充的基音周期总长度为fillLen＝D+N×lostNum，如果上述设置的基音周期的总长度小于实际需要填充的基音周期总长度fillLen，则对上述设置的各个基音周期的长度逐个加一个增量值，如1，直到基音周期总和等于际需要填充的基音周期总长度fillLen；如果上述设置的基音周期的总长度大于实际需要填充的基音周期总长度fillLen，则对上述设置的基音周期的长度逐个减小一个增量值，如1，直到基音周期总长度等于实际需要填充的基音周期总长度fillLen。 

步骤504，对丢失帧的前帧时域信号和后帧时域信号分别取一段信号进行傅立叶变换，所取信号的长度由所加的分析窗的窗长L决定。优选的，分析窗采用三角窗，窗长L取为S×2。令丢失帧的前帧结束位置为sPos，则 

前帧傅立叶变换窗的起始位置为： 

sPos-D-L..............................[20] 

后帧傅立叶变换窗的起始位置为： 

sPos-D+S*pitchNum.....................[21] 

步骤505，对前帧频域系数的幅度值和后帧频域系数的幅度值进行插值，得到重构信号的频域幅度值。插值的方法同实施例一流程步骤304所描述的方法。 

步骤506，在前帧时域信号或后帧时域信号中确定与重构信号相位相同(或最相似)的位置，并根据该确定的位置计算各个重构信号的频域相位。可按如 下方式计算： 

重构信号共有pitchNum+1个(其中pitchNum为需要填充的基音周期数目，也即重构信号周期数)。由于前后帧傅立叶变换窗之间的基音周期数目为pitchNum+2(可通过前后帧傅立叶变换窗的起始位置相减得到)，因此对ptichLen补充两个基音周期：令ptichLen(0)为前帧时域信号的基音周期，令ptichLen(PitchNum+1)为后帧时域信号的基音周期。 

对于前半部分重构信号(即序号为k1＝1，2，...，fix((pitchNum+1)/2)的重构信号)的频域相位计算方式如下： 

(1)计算从第1个到第k1个重构信号的基音周期总和，即 

$\mathrm{pitchAll}=\underset{j=0}{\overset{k1-1}{\mathrm{\Σ}}}\mathrm{pitchLen}\left(j\right)......\left[22\right]$

(2)计算前帧中和第k1个重构信号相位相同(或最相似)的位置： 

sPos-D-L+S*k1-pitchAll........................[23] 

(3)计算前帧时域信号中起始位置为sPos-D-L+S*k1-ptichAll的长度为L的一段语音的傅立叶变换，并取该傅立叶变换频域系数的相位作为第k1个重构信号的相位。可以看出，此处计算前帧时域信号傅立叶变换时的起始位置为前帧傅立叶变换窗起始位置再移动一个增量距离，该增量距离即为S*k1-pitchAll。 

对于后半部分的重构信号(即序号为k2＝fix((pitchNum+1)/2+1，...，pitchNum+1)的频域相位按下列方式计算： 

(1)计算第k2个到最后1个重构信号的基音周期总和，即 

$\mathrm{pitchAll}=\underset{j=k2}{\overset{\mathrm{pitchNum}+1}{\mathrm{\Σ}}}\mathrm{pitchLen}\left(j\right)......\left[24\right]$

(2)计算后帧时域信号中和第k2个重构信号相位相同(或最相似)的位置： 

sPos-D+S×pitchNum-S×(pitchNum-k2)+pitchAll.......[25] 

(3)计算后帧时域信号中起始位置为sPos-D+S×pitchNum-S×(pitchNum-k2)+ptichAll的长度为L(L＝2S)的一段语音的傅立叶变换，并取该傅立叶变换频域系数的相位作为第k2个重构信号的频域相位。可以看出，此处计算后帧时域信号傅立叶变换时的起始位置为后帧傅立叶变换窗的起始位置再移动一个增量的距离，该增量距离即为pitchAll-S×(pitchNum-k2)。 

本步骤中，将重构信号近似均分为前后两部分，在具体实现中，也可以不采用近似均分的方式划分重构信号，如，前一部分的重构信号数量多于后一部分的重构信号数量。或者，在具体实现中，还可以不将重构信号划分为两部分，而是在前帧或后帧中通过计算查找与各重构信号相位向近似的相位。在前帧中计算查找与各重构信号相位近似的相位所采用的方法，与在前帧中计算查找与前半部分重构信号相位近似的相位的方法相同；在后帧中计算查找与各重构信号相位近似的相位所采用的方法，与在后帧中计算查找与后半部分重构信号相位近似的相位的方法相同。 

步骤507，对插值之后的重构信号的频域系数进行傅立叶反变换，生成重构信号的时域信号。在进行傅立叶反变换时，频域系数的幅度值取步骤505中生成的幅度值，而相位取步骤506中计算的相位。 

步骤508，对重构信号进行叠加，生成丢失的语音信号。 

对重构信号进行叠加可采用公式(9)实现，其中的窗移S值为步骤502所设置的S值。 

图6给出了采用上述流程对丢失帧的信号进行重构的波形示意图。图6的波形601与图1中的波形101相同；波形602为所加的傅立叶变换窗，其中第一个实线窗为对前帧信号所加的变换窗，第二个实线窗为对后帧信号所加的变换窗，虚线窗为进行信号重构时所加的变换窗；波形603为重构后的信号波形。 

可以看出，本实施例在前一个实施例的基础上，对重构信号的基音周期采取了渐变的设置，使重构信号的基音周期从前帧信号的基音周期逐渐逼进后帧 信号的基音周期。同时，对于每个重构信号都根据上述设置的重构信号基音周期，在前帧和后帧时域信号中寻找到相同(或最为相似)相位的位置，并以该位置为傅立叶变换窗起始位置进行傅立叶变换得到对应重构信号的频域相位，从而在对重构信号进行傅立叶反变换时采用该频域相位，使丢失帧信号和后帧信号拼接处实现了更精确的匹配，并且填充信号的基音周期是渐变的，更接近于实际信号。 

本发明实施例还提供了一种丢包隐藏处理系统，该系统的结构如图7所示。 

参见图7，为本发明实施例提供的丢包隐藏处理系统的结构示意图，该系统包括：时域/频域变换模块、重构信号频域系数计算模块、重构信号频域相位选取模块、频域/时域变换模块和信号恢复模块，其中 

时域/频域变换模块，用于根据信号的基音与相位的周期特性，在丢失信号的前帧和后帧中各取一段时域信号，进行时域到频域的变换，得到前帧频域系数和后帧频域系数；该时域/频域变换模块可以由傅立叶变换模块实现； 

重构信号频域系数计算模块，用于对时域/频域变换模块所计算出的前帧频域系数和后帧频域系数的幅度值进行插值，得到多个重构信号的频域系数的幅度值； 

重构信号频域相位选取模块，用于分别在前帧或/和后帧中分别取与重构信号相位最相似的相位作为重构信号频域系数的相位值； 

频域/时域变换模块，用于根据重构信号频域系数计算模块计算得到的重构信号的频域系数的幅度值，以及重构信号频域相位选取模块所选取的相位值，对重构信号进行频域到时域的变换，得到重构信号的时域信号；该频域/时域变换模块可以由傅立叶反变换模块实现； 

信号恢复模块，用于将频域/时域变换模块处理得到的重构信号的时域信号进行叠加，恢复出丢失的信号。 

上述系统的时域/频域变换模块，包括相位差获取子模块、基音周期获取子模块、长度确定子模块和位置确定子模块，其中， 

相位差获取子模块用于获取前帧和后帧的相位差； 

基音周期获取子模块用于获取前帧或/和后帧的基音周期长度； 

长度确定子模块用于根据获取到的基音周期长度确定在前帧和后帧所取的时域信号的长度，即傅立叶变换窗的长度；其长度为前帧的基音周期和后帧的基音周期之和的近似平均值的至少2倍，或为所述前帧的基音周期的至少2倍，或为所述后帧的基音周期的至少2倍； 

位置确定子模块用于根据获取到的相位差确定在前帧和后帧所取的时域信号的位置，即傅立叶变换窗的位置，其中，在前帧中所取的时域信号的起始位置为：从前帧时域信号结束位置前移上述相位差，再前移时域信号的长度所得到的位置；在后帧中所取的时域信号的起始位置为：从前帧时域信号结束位置前移上述相位差，再后移重构信号的总长度所得到的位置。 

上述系统的重构信号频域相位选取模块，可以有两种结构，一种是包括选取子模块，该子模块用于取前帧频域系数的相位或取后帧频域系数的相位，作为重构信号的频域系数的相位。另外一种结构是包括划分子模块和选取子模块，其中划分子模块用于将重构信号的频域系数分成前后两部分，选取子模块用于对于前一部分重构信号的频域系数取前帧频域系数的相位，对于后一部分重构信号的频域系数取后帧频域系数的相位。 

本发明实施例还提供了一种丢包隐藏处理系统，该系统的结构如图8所示。 

参见图8，为本发明实施例提供的丢包隐藏处理系统的结构示意图，该系统包括：时域/频域变换模块、重构信号频域系数计算模块、重构信号频域相位选取模块、重构信号基音周期设置模块、频域/时域变换模块和信号恢复模块，其中， 

时域/频域变换模块，用于根据信号的基音与相位的周期特性，在丢失信号的前帧和后帧中各取一段时域信号，进行时域到频域的变换，得到前帧频域系数和后帧频域系数；该时域/频域变换模块可以由傅立叶变换模块实现； 

重构信号基音周期设置模块，用于分别设置各个重构信号的基音周期，所 设置的各个重构信号从前向后其基音周期从前帧的基音周期逐步向后帧的基音周期逼近； 

重构信号频域系数计算模块，用于对时域/频域变换模块所计算出的前帧频域系数和后帧频域系数的幅度值进行插值，得到多个重构信号的频域系数的幅度值； 

重构信号频域相位选取模块，用于分别在前帧或/和后帧中分别取与重构信号相位最相似的相位作为重构信号频域系数的相位值； 

频域/时域变换模块，用于根据重构信号频域系数计算模块计算得到的重构信号的频域系数的幅度值，以及重构信号频域相位选取模块所选取的相位值，对重构信号进行频域到时域的变换，得到重构信号的时域信号；该频域/时域变换模块可以由傅立叶反变换模块实现； 

信号恢复模块，用于将频域/时域变换模块处理得到的重构信号的时域信号进行叠加，恢复出丢失的信号。 

上述系统的时域/频域变换模块，包括相位差获取子模块、基音周期获取子模块、长度确定子模块和位置确定子模块，其中， 

相位差获取子模块用于获取前帧和后帧的相位差； 

基音周期获取子模块用于获取前帧或/和后帧的基音周期长度； 

长度确定子模块用于根据获取到的基音周期长度确定在前帧和后帧所取的时域信号的长度，即傅立叶变换窗的长度；其长度为前帧的基音周期和后帧的基音周期之和的近似平均值的至少2倍，或为所述前帧的基音周期的至少2倍，或为所述后帧的基音周期的至少2倍； 

位置确定子模块用于根据获取到的相位差确定在前帧和后帧所取的时域信号的位置，即傅立叶变换窗的位置，其中，在前帧中所取的时域信号的起始位置为：从前帧时域信号结束位置前移上述相位差，再前移时域信号的长度所得到的位置；在后帧中所取的时域信号的起始位置为：从前帧时域信号结束位置前移上述相位差，再后移重构信号的总长度所得到的位置。 

上述系统的重构信号基音周期设置模块还包括第一调整子模块或/和第二调整子模块，其中， 

第一调整子模块用于在设置的重构信号的基音周期总长度小于实际需要重构的信号的基音周期总长度时，对设置的各个重构信号的基音周期长度进行调整以增加基音周期长度，直到两者的基音周期总长度相等；第二调整子模块用于在设置的重构信号的基音周期总长度大于实际需要重构的信号的基音周期总长度时，对设置的各个重构信号的基音周期长度进行调整以减小基音周期长度，直到两者的基音周期总长度相等。 

上述系统的重构信号频域相位选取模块可包括第一选取子模块，或者包括第二划分子模块和第二选取子模块。 

当重构信号频域相位选取模块包括第一选取子模块时，该选取子模块用于根据为重构信号设置的基音周期，在前帧时域信号中取与各重构信号的频域系数相位近似的位置，并计算该位置的前帧时域信号的频域相位，并将计算得到的频域相位作为相应重构信号的频域系数所对应的频域相位；或者，用于根据为重构信号设置的基音周期，在后帧时域信号中与取各重构信号的频域系数相位近似的位置，并计算该位置的后帧时域信号的频域相位，并将计算得到的频域相位作为相应重构信号的频域系数所对应的频域相位。 

在具体实现中，上述第一选取子模块在前帧中计算各重构信号的频域系数所对应的频域相位时，对于其中第k1个重构信号执行： 

计算重构信号中第1个到第k1个重构信号的基音周期总长度pitchAll1； 

以在前帧中所取的时域信号的起始位置为起点移动一个偏移量S×k1-pitchAll1(其中，S设置的窗移量，具体为前帧的基音周期和后帧的基音周期之和的近似平均值，或为前帧的基音周期，或为后帧的基音周期)，得到相位相似的位置，并且当该差值为正时向后移动该偏移量，当该差值为负时向前移动该偏移量； 

以该相位相似的位置为起始位置，对前帧时域信号进行时域到频域的变 换，并将得到的频域系数的相位作为第k1个重构信号的频域系数所对应的频域相位； 

上述第一选取子模块在后帧中计算各重构信号的频域系数所对应的频域相位时，对于其中第k2个重构信号执行： 

计算重构信号中第k2个到最后一个重构信号的基音周期总长度pitchAll2； 

以在所述后帧中所取的时域信号的起始位置为起点移动一个偏移量pitchAll2-S×(pitchNum-k2)(其中，S同上，为设置的窗移量；pitchNum为所述重构信号的周期数)，得到所述相位相似的位置，并且当该差值为正时向后移动该偏移量，当该差值为负时向前移动该偏移量； 

以该相位相似的位置为起始位置，对后帧时域信号进行时域到频域的变换，并将得到的频域系数的相位作为第k2个重构信号的频域系数所对应的频域相位。 

当重构信号频域相位选取模块包括第二划分子模块和第二选取子模块时，第二划分子模块用于将重构信号的频域系数分成前后两部分；第二选取子模块用于根据为重构信号设置的基音周期，取前帧时域信号中与前一部分各重构信号的频域系数相位近似的位置，并计算该位置的前帧时域信号的频域相位，并将计算得到的频域相位作为前一部分中相应重构信号的频域系数所对应的频域相位；根据为重构信号设置的基音周期，取后帧时域信号中与后一部分各重构信号的频域系数相位近似的位置，并计算该位置的后帧时域信号的频域相位，并将计算得到的频域相位作为后一部分中相应重构信号的频域系数所对应的频域相位。 

上述的第二选取子模块在计算前一部分重构信号的相似相位时的方法同第一选取子模块在前帧中选取与重构信号的相位相近似相位的计算方法，在计算后一部分重构信号的相似相位时的方法同第一选取子模块在后帧中选取与重构信号的相位近似相位的计算方法。 

综上所述，本发明的上述实施例，在信号重构过程中，一方面，通过设置 合适的窗移S＝(TP+TN)/2，使窗移尽可能与实际信号基音周期长度相接近，从而使重构信号的基音周期与实际信号周期相接近。另一方面，通过前帧和后帧时域信号基音周期的相位差设置前帧和后帧的傅立叶窗位置，使得在对前帧和后帧进行傅立叶变换后得到的频域系数与实际信号的相位相接近，从而使重构信号的相位与实际信号相匹配。在信号重构过程中，还可以分别设置重构信号的基音周期，使重构信号的基音周期呈渐变趋势，以更接近实际语音基音周期的规律，同时，在前帧和后帧中选取与重构信号相同(或最为相近)的相位，从而进一步提高重构信号与实际语音信号的相位匹配的精确性。综上，本发明实施例解决了现有技术中基音周期不准确以及相位不同步的问题。 

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。 

Claims (17)

1.一种丢包隐藏的方法，其特征在于，包括以下步骤：

根据信号的基音与相位的周期特性，在丢失信号的前帧和后帧中各取一段时域信号，进行时域到频域的变换，得到前帧频域系数和后帧频域系数，其中，根据信号的基音与相位的周期特性，在丢失信号的前帧和后帧中各取一段时域信号，包括步骤：获取所述前帧或/和后帧的基音周期长度，以及所述前帧和后帧之间的相位差；根据获取到的所述基音周期长度确定在所述前帧和后帧所取的时域信号的长度，根据获取到的所述相位差确定在所述前帧和后帧所取的时域信号的位置；

对所述前帧频域系数和所述后帧频域系数的幅度值进行插值，得到多个重构信号的频域系数的幅度值；

在所述前帧或/和所述后帧中分别取与重构信号相位最相似的相位作为所述重构信号频域系数的相位值；

根据所述重构信号的频域系数的幅度值和相位值进行频域到时域的变换，得到所述重构信号的时域信号，并将所述重构信号的时域信号进行叠加，恢复出丢失的信号。

2.如权利要求1所述的方法，其特征在于，根据获取到的所述基音周期长度确定在所述前帧和后帧所取的时域信号的长度为：

所述前帧的基音周期和所述后帧的基音周期之和的近似平均值的至少2倍，或所述前帧的基音周期的至少2倍，或所述后帧的基音周期的至少2倍。

3.如权利要求2所述的方法，其特征在于，所述前帧的基音周期和所述后帧的基音周期之和的近似平均值为与所述基音周期之和的平均值最接近的整数值。

4.如权利要求1所述的方法，其特征在于，根据获取到的所述相位差确定在所述前帧所取的时域信号的位置，具体为：从所述前帧时域信号结束位置前移所述相位差，再前移所述时域信号的长度，得到所述前帧中所取的时域信号的起始位置；

根据获取到的所述相位差确定在所述后帧所取的时域信号的位置，具体为：从所述前帧时域信号结束位置前移所述相位差，再后移所述重构信号的总长度，得到所述后帧中所取的时域信号的起始位置。

5.如权利要求1所述的方法，其特征在于，获取所述前帧和后帧的相位差，包括：

从所述前帧时域信号结束位置向前取一段连续样点，所取样点的数目为所述前帧的基音周期内的采样样点个数；从所述后帧时域信号起始位置向后取一段连续样点；

将所述后帧中的样点在所述前帧中的样点的范围内逐一滑动，并比较每个位置上所述前帧和后帧的对应样点的相似性；

将对应样点最相似的位置上的所述后帧中第一个样点到所述前帧中最后一个样点的距离设置为所述前帧和后帧的相位差。

6.如权利要求5所述的方法，其特征在于，比较每个位置上所述前帧和所述后帧的对应样点的相似性，具体为：计算每个位置上对应样点的幅度差绝对值之和并进行比较；所述对应样点最相似的位置为幅度差绝对值之和最小的位置。

7.如权利要求1所述的方法，其特征在于，在所述前帧或/和所述后帧中分别取与重构信号相位最相似的相位，具体为：

取所述前帧频域系数的相位或后帧频域系数的相位；

或者，将所述重构信号的频域系数分成前后两部分，对于前一部分重构信号的频域系数取所述前帧频域系数的相位，对于后一部分重构信号的频域系数取所述后帧频域系数的相位。

8.如权利要求1所述的方法，其特征在于，在将所述重构信号的频域系数变换为时域信号之前，还包括步骤：分别设置各个重构信号的基音周期，所设置的各个重构信号从前向后其基音周期从所述前帧的基音周期逐步向所述后帧的基音周期逼近；

在所述前帧中分别取与各重构信号相位最相似的相位，包括：

根据为重构信号设置的基音周期，在所述前帧时域信号中取与各重构信号的频域系数相位近似的位置，并计算该位置的前帧时域信号的频域相位，并将计算得到的频域相位作为相应重构信号的频域系数所对应的频域相位；

在所述后帧中分别取与各重构信号相位最相似的相位，包括：

根据为重构信号设置的基音周期，在所述后帧时域信号中取与各重构信号的频域系数相位近似的位置，并计算该位置的后帧时域信号的频域相位，并将计算得到的频域相位作为相应重构信号的频域系数所对应的频域相位；

在所述前帧和所述后帧中分别取与各重构信号相位最相似的相位，包括：

将所述重构信号的频域系数分成前后两部分；

根据为重构信号设置的基音周期，在所述前帧时域信号中取与前一部分各重构信号的频域系数相位近似的位置，并计算该位置的前帧时域信号的频域相位，并将计算得到的频域相位作为前一部分中相应重构信号的频域系数所对应的频域相位；

根据为重构信号设置的基音周期，在所述后帧时域信号中取与后一部分各重构信号的频域系数相位近似的位置，并计算该位置的后帧时域信号的频域相位，并将计算得到的频域相位作为后一部分中相应重构信号的频域系数所对应的频域相位。

9.如权利要求8所述的方法，其特征在于，在所述前帧时域信号中取与各重构信号的频域系数相位近似的位置，或者在所述前帧时域信号中取与前一部分各重构信号的频域系数相位近似的位置时，对于其中第k1个重构信号执行：

计算重构信号中第1个到第k1个重构信号的基音周期总长度pitchAll1；

以在所述前帧中所取的时域信号的起始位置为起点移动一个偏移量，得到所述相位相似的位置；所述偏移量为：S×k1-pitchAll1；其中，S为所述前帧的基音周期和所述后帧的基音周期之和的近似平均值，或为所述前帧的基音周期，或为所述后帧的基音周期，并且当所述差值为正时向后移动所述偏移量，当所述差值为负时向前移动所述偏移量；

以所述相位相似的位置为起始位置，对所述前帧时域信号进行时域到频域的变换，并将得到的频域系数的相位作为第k1个重构信号的频域系数所对应的频域相位；

在所述后帧时域信号中取与各重构信号的频域系数相位近似的位置，或者在所述后帧时域信号中取与后一部分各重构信号的频域系数相位近似的位置时，对于其中第k2个重构信号执行：

计算重构信号中第k2个到最后一个重构信号的基音周期总长度pitchAll2；

以在所述后帧中所取的时域信号的起始位置为起点移动一个偏移量，得到所述相位相似的位置；所述偏移量为：pitchAll2-S×(pitchNum-k2)；其中，S为所述前帧的基音周期和所述后帧的基音周期之和的近似平均值，或为所述前帧的基音周期，或为所述后帧的基音周期；pitchNum为所述重构信号的周期数，并且当所述差值为正时向后移动所述偏移量，当所述差值为负时向前移动所述偏移量；

以所述相位相似的位置为起始位置，对所述后帧时域信号进行时域到频域的变换，并将得到的频域系数的相位作为第k2个重构信号的频域系数所对应的频域相位。

10.如权利要求8所述的方法，其特征在于，分别设置各个重构信号的基音周期，还包括：

当设置的所述重构信号的基音周期总长度小于实际需要重构的信号的基音周期总长度时，则对设置的各个重构信号的基音周期长度进行调整以增加基音周期长度，直到两者的基音周期总长度相等；

当设置的所述重构信号的基音周期总长度大于实际需要重构的信号的基音周期总长度时，则对设置的各个重构信号的基音周期长度进行调整以减小基音周期长度，直到两者的基音周期总长度相等。

11.一种丢包隐藏处理系统，其特征在于，包括：

时域/频域变换模块，用于根据信号的基音与相位的周期特性，在丢失信号的前帧和后帧中各取一段时域信号，进行时域到频域的变换，得到前帧频域系数和后帧频域系数，其中所述时域/频域变换模块，包括：相位差获取子模块，用于获取所述前帧和后帧的相位差；基音周期获取子模块，用于获取所述前帧或/和后帧的基音周期长度；长度确定子模块，用于根据获取到的所述基音周期长度确定在所述前帧和后帧所取的时域信号的长度；位置确定子模块，用于根据获取到的所述相位差确定在所述前帧和后帧所取的时域信号的位置；

重构信号频域系数计算模块，用于对所述前帧频域系数和所述后帧频域系数的幅度值进行插值，得到多个重构信号的频域系数的幅度值；

重构信号频域相位选取模块，用于在所述前帧或/和所述后帧中分别取与重构信号相位最相似的相位作为所述重构信号频域系数的相位值；

频域/时域变换模块，用于根据所述重构信号的频域系数的幅度值和相位值，进行频域到时域的变换，得到所述重构信号的时域信号；

信号恢复模块，用于将所述重构信号的时域信号进行叠加，恢复出丢失的信号。

12.如权利要求11所述的系统，其特征在于，所述长度确定子模块确定的所述时域信号的长度为所述前帧的基音周期和所述后帧的基音周期之和的近似平均值的至少2倍，或为所述前帧的基音周期的至少2倍，或为所述后帧的基音周期的至少2倍。

13.如权利要求11所述的系统，其特征在于，所述位置确定子模块确定的在所述前帧中所取的时域信号的起始位置为：从所述前帧时域信号结束位置前移所述相位差，再前移所述时域信号的长度所得到的位置；

所述位置子模块确定的在所述后帧中所取的时域信号的起始位置为：从所述前帧时域信号结束位置前移所述相位差，再后移所述重构信号的总长度所得到的位置。

14.如权利要求11所述的系统，其特征在于，所述重构信号频域相位选取模块包括选取子模块，所述选取子模块用于取所述前帧频域系数的相位或取所述后帧频域系数的相位；

或者，所述重构信号频域相位选取模块包括划分子模块和选择子模块，其中：

所述划分子模块，用于将所述重构信号的频域系数分成前后两部分；

所述选取子模块，用于对于前一部分重构信号的频域系数取所述前帧频域系数的相位，对于后一部分重构信号的频域系数取所述后帧频域系数的相位。

15.如权利要求11所述的系统，其特征在于，还包括重构信号基音周期设置模块，所述重构信号基音周期设置模块用于分别设置各个重构信号的基音周期，所设置的各个重构信号从前向后其基音周期从所述前帧的基音周期逐步向所述后帧的基音周期逼近；

所述重构信号频域相位选取模块包括选取子模块，用于根据为重构信号设置的基音周期，在所述前帧时域信号中取与各重构信号的频域系数相位近似的位置，并计算该位置的前帧时域信号的频域相位，并将计算得到的频域相位作为相应重构信号的频域系数所对应的频域相位；或者，用于根据为重构信号设置的基音周期，在所述后帧时域信号中与取各重构信号的频域系数相位近似的位置，并计算该位置的后帧时域信号的频域相位，并将计算得到的频域相位作为相应重构信号的频域系数所对应的频域相位；

或者，所述重构信号频域相位选取模块包括划分子模块和选取子模块，其中：

所述划分子模块，用于将所述重构信号的频域系数分成前后两部分；

所述选取子模块，根据为重构信号设置的基音周期，在所述前帧时域信号中取与前一部分各重构信号的频域系数相位近似的位置，并计算该位置的前帧时域信号的频域相位，并将计算得到的频域相位作为前一部分中相应重构信号的频域系数所对应的频域相位；根据为重构信号设置的基音周期，在所述后帧时域信号中取与后一部分各重构信号的频域系数相位近似的位置，并计算该位置的后帧时域信号的频域相位，并将计算得到的频域相位作为后一部分中相应重构信号的频域系数所对应的频域相位。

16.如权利要求15所述的系统，其特征在于，所述重构信号基音周期设置模块，还包括第一调整子模块或/和第二调整子模块；

所述第一调整子模块，用于在设置的所述重构信号的基音周期总长度小于实际需要重构的信号的基音周期总长度时，对设置的各个重构信号的基音周期长度进行调整以增加基音周期长度，直到两者的基音周期总长度相等；

所述第二调整子模块，用于在设置的所述重构信号的基音周期总长度大于实际需要重构的信号的基音周期总长度时，对设置的各个重构信号的基音周期长度进行调整以减小基音周期长度，直到两者的基音周期总长度相等。

17.如权利要求11所述的系统，其特征在于，所述时域/频域变换模块为傅立叶变换模块，所述频域/时域变换模块为傅立叶反变换模块。

Images