TW201203223A - Audio packet loss concealment by transform interpolation - Google Patents

Description

201203223 六、發明說明： 【先前技術】 許多類型的系統使用音訊信號處理以產生 此等信號重製聲_立。參 彳〇號或自 通常，信號處理將音訊信號 位資料並編碼該資料以經由—網路傳輸。接著數 解碼該資料並將其轉換回類比信號以重製為聲波理 存在用於編碼或解碼音訊㈣之各種方式。（編碼並解 :-：號之-處理器或一處理模組一般係稱為一編碼解碼 幻。舉例而言’用於音訊及視訊會議之音訊處理使用音 訊編碼解碼器以壓縮高保真度音訊輸入，使得用於傳輸之 -所得信號保留最佳品質但需要最少數目的位元。依此方 式’具有該音訊編碼解碼器之會議裝備需要較小的儲存容 量’且該裝備用於傳輸該音訊信號之通信頻道需要較小的 頻寬。 名為「7 kHz audio-coding within 64 kbh/s」2ITU T(國 際電彳§聯盟電信標準領域）提議G 722 (1988)描述64千位元/ 私内7 kHz音訊編碼之一方法，該提議藉此以引用方式併 入。ISDN(整合服務數位網路）線具有以64千位元/秒傳輸 資料之能力。此方法基本上將通過使用一 ISDN線之一電 逢網路之音訊頻寬自3 kHz增加至7 kHz。所感知的音訊品 質得以改良。雖然此方法使高品質音訊可通過現有的電話 網路得到’但是其通常需要來自一電話公司之isdn服 務’該ISDN服務比一常規的窄頻帶電話服務更昂貴。

Low- 建議用於電信中之一最近的方法係名為「 15340 丨.d〇c 201203223 complexity coding at 24 and 32 kbit/s for hands-free operation in system with low frame loss」之 ITU-T提議 G.722.1 (2005)，該提議藉此以引用方式併入本文中。此提 議描述提供以比該G.722低很多之24千位元/秒或32千位元/ 秒之一位元速率操作之50 Hz至7 kHz之一音訊頻寬的一數 位寬頻編碼器演算法。在此資料速率下，具有使用常規的 類比電話線之一常規的數據機之一電話可傳輸寬頻音訊信 號。因此’只要兩端處的電話機可執行如G 722 1中所描述 的編碼/解碼’大部分現有的電話網路可支援寬頻對話。 一些常用音訊編碼解碼器使用變換編碼技術來編碼並解 碼經由一網路傳輸之音訊資料。舉例而言，ITU_T提議 G.719(P〇lyCom® SirenTM22)以及 G 722」c (p〇lyc〇m⑧

Sirenl4TM)(兩者以引用方式併入本文中）使用熟知的調變重 疊變換（MLT)編碼來壓縮該音訊以用於傳輸。如已知，該 凋變重疊變換（MLT)係用於各種類型的信號之變換編碼之 一餘弦調變過渡器組的一種形式。 般而5，重疊變換採用長度為L·之一音訊區塊並將 該區塊變換為Μ個係數’ |中條件為L>M。為使此產生作 用，L-M個樣本之連續區塊之間必須存在—重疊，使得可 使用經變換係數之連續區塊得到一合成信號。 對於一調變重疊變換（MLT)，該音訊區塊之該長度匕等 於係數之數目Μ ’ ®此該重疊係M。因此，用於直接(分 析）變換之MLT基函數係由下式給出： 153401.doc 201203223 LI 2 A 2JmJ...................................(!) 類 出： 似地，用於逆（合成）變換之MLT基函數係由下式給 Α/ + Γ k + —

'M .(2) 在此等方程式中，M係該區塊大小，頻率指數是自〇變化 至M_1 ’且時間指數《自〇變化至2M-1。最後， + 係所使用的理想重新建構窗。 自此等基函數如下判定MLT係數。直接變換矩陣巧係第 «列及第A：行中之項目為pa(n，k)i 一矩陣。類似地，逆變換 矩陣A係具有項目Ps(n，k)之n對於—輸人信號咖 之2M個輸入樣本之一區塊χ，藉由又=/)。\計算變換係數之 其對應的向量I ^繼而，對於經處理的變換係數之一向量 ?，經重新建構的2Μ個樣本向量7係由户給出。最後， 用Μ樣本重疊將該等經重新建構的>；向量彼此疊加以產生 用於輸出之經重新建構的信號3；(„)。 圖1展示一典型的音訊或視訊會議配置，其中用作為一 傳輸器之一第一終端機10Α將經壓縮的音訊信號發送至在 此背景中用作為一接收器之一第二終端機丨0Β。該傳輸器 10Α與該接收器10Β兩者具有執行變換編碼（諸如 G.722.1.C(Polycom® Sirenl4™)或 G.719(P〇lycom® Siren™22) 中所使用之變換編碼）之一音訊編碼解碼器丨6 β 該傳輸器10Α處之一麥克風12通常跨越2〇毫秒將源音訊 及電子取樣源音訊擷取於音訊區塊14中。此刻，該音訊編 153401.doc 201203223 碼解碼器16之變換將該等音訊區塊14轉換為若干頻域變換 係數組。每一變換係數具有一量值且可為正或負。接著使 用此項技術t已知的技術對此等係、數量化⑽、編碼，並 且經由一網路2〇(諸如網際網路）發送至該接收器。 在遺接收器10BS，-逆程序解碼並解量化⑽該等經 編碼的係數。最後，該接收器励處之該音訊編碼解碼器 1 6對该等係數執行一逆變換以將其等轉換回時域中，以產 生在該接收器之揚聲1113處最終重放之輸出音訊區塊14。 音訊封包損失係經由該等網路（諸如網際網路）進行視訊 會議及音訊會議中之—常見問題^已知，音訊封包代表 小的音訊片段。當該傳輸器1〇A經由該網際網路⑽將該等 變換係數之封包發送至該接收器10B時，一些封包可在傳 輸期間損失。在產生輸出音訊之後，該等損失封包將在該 揚聲器13輸出之聲音中產生靜音間隙。因此，該接收器 10B較佳地用已由已自該傳輸器1〇A接收的該等封包合成 之一些形式的音訊填充此等間隙。 如圖1中所示，該接收器10B具有偵測損失封包之一損失 封包偵測模組15。接著，當輸出音訊時，一音訊轉發器17 填充由此等損失封包導致的間隙。該音訊轉發器17所使用 之一現有技術藉由於時域中持續轉發在該封包損失之前發 送的最近音訊片段來簡單地填充此等間隙。雖然轉發音訊 以填充間隙之現有技術係有效，但是其可於所得音訊中產 生蜂鳴及機械假訊，且使用者易於發現此等假訊令人反 感。此外，若損失大於5%的封包，則當前技術產生逐漸 153401.doc 201203223 減少之易聽懂的音訊。 需要種以產生較佳的音訊品質且避免蜂鳴及機 械假λ之方式處置在經由網際網路進行會議時之損失音訊 封包的技術。 【發明内容】 本文所揭不的音訊處理技術可用於音訊或視訊會議。在 該等處理技術中，—終端機接收具有用於重新建構已經歷 變換編碼之-音訊信號的變換係數之音訊封包。當接收該 等封包時’祕端機判定是否存在任意丟失的封包並用來 自先刖及隨後的良好讯框之變換係數作為内插值以用於插 入作為β等丟失封包之係、數。為以内插值取代該等丢失係 數，舉例而言，該終端機用_第一權重來加權來自該先前 良好的λ框之第-係數，用—第二權重來加權來自該隨後 良好的訊框之第二係數，且將此等經加權的係數加總在一 起以插入於該等丟失封包中。該等權重可基於音訊頻率及/ 或所涉及之丟失封包的數目。自此内插，該終端機藉由逆 變換S亥專係數產生一輸出音訊信號。 前 每一態樣 述内谷並非意欲概述本發明之每一個彳能的實施例或 【實施方式】 圖2八展不-音訊處理配置’其中用作為一傳輸器之一第 一終端機100Α將經壓縮的音訊信號發送至在此背景中用作 為一接收态之一第二終端機1〇〇Β。該傳輸器1〇〇Α與該接 收器100Β兩者具有執行變換編碼（諸如G 722丨c(p〇丨⑧ 15340 丨.d〇c 201203223

Sirenl4™)4G.719(Polyc〇m@sirenTM22)中所使用之變換編 碼）之一音訊編碼解碼器丨10。對於當前討論，該傳輸器 100A及該接收器100B可為一音訊或視訊會議中之端點， 但是其等可為其他類型的音訊裝置。 在操作期間，該傳輸器100A處之一麥克風1〇2擷取源音 讯，且源音訊之電子取樣區塊或訊框通常跨越2〇毫秒。 (討論同時參考展示根據本發明之一損失封包處置技術3 〇 〇 之圖3中之流程圖）。此刻，音訊編碼解碼器丨丨〇之變換將 每一音訊區塊轉換為一組頻域變換係數。為此，該音訊編 碼解碼器110接收時域中之音訊資料（方塊3〇2)，採用一2〇 宅秒的音訊區塊或訊框（方塊3〇4),並將該區塊轉換為變換 係數（方塊306^每一變換係數具有一量值且可為正或負。 接著使用此項技術中已知的技術，用一量化器丨丨5量化 此等變換係數並編碼（方塊3〇8)，且該傳輸器1〇〇a經由一 網路125(諸如_IP(網際網路協定）網路、pSTN(公衆交換電 •同路）ISDN(整合服務數位網路）或類似物）將經編碼的 變換係數以封包發送至該接收器1〇〇B(方塊31〇)。該等封 包可使用任意適合的協定或標準。舉例而言，音訊資料可 遵循-内容表’且包括一音訊訊框之所有八位元組可作為 單凡附加至有效負載。舉例而言，ITU_T提議G.719及 G.722.1C(其等已併入本文中）指定該等音訊訊框之細節。 在該接收器100Β處，一介面12〇接收該等封包（方塊 3 12)。虽發送該等封包時，該傳輸器1〇〇Α產生包含於已發 送的每封包中之一序號。如已知，封包可經由該網路 153401.doc 201203223 125自該傳輸器100A通過不同路線至該接收器i〇〇b，且該 等封包可在不同時間到達該接收器i 0〇B。因此，該等封包 到達之順序可能隨機。 為處置此不同時間的到達（稱為「抖動」），該接收器 100B具有耦合至該接收器之介面12〇之一抖動緩衝器13〇。 通常，該抖動缓衝器130每次保持四個或四個以上封包。 因此，該接收器100B基於該等封包之序號將該抖動緩衝器 130中之該等封包重新排序（方塊314)。 雖然該等封包可不按順序到達該接收器1〇〇B，但是損失 封包處置器140適當地將該抖動緩衝器13〇中之該等封包重 新排序，且基於該序列偵測任意損失（丟失）的封包。當該 抖動緩衝器1 30中之該等封包之序號中存在間隙時，宣告 一損失封包。舉例而言，若該處置器14〇在該抖動緩衝器 130中發現序號〇〇5、006、〇〇7、011，則該處置器14〇可宣 告封包008、009、010損失。事實上，此等封包可能實際 上並未損失，而是該等封包僅可能係延遲到達。然而，由 於延時及緩衝器長度約束，該接收器丨〇〇B丟棄遲於某一臨 限值到達之任意封包。 在隨後的一逆程序中，該接收器丨〇〇B解碼並解量化該等 經編碼的變換係數（方塊316)。若該處置器14〇已偵測到損 失封包（決定318)，則該損失封包處置器14〇知道丟失封包 間隙之前及之後的良好封包。變換合成器j5〇使用此技術 導出或以内插值取代該等損失封包之丟失的變換係數因 此新變換係數可取代來自該等損失封包之丟失的係數（方 153401.doc 201203223 塊320)。（在當前實例中，該音訊編碼解碼器使用MLT編 碼’使得該等變換係數在本文可被稱為MLt係數）。在此 階段，該接收器100B處之音訊編碼解碼器！ 1〇對該等係數 執行一逆變換，且將其等轉換回時域中以對該接收器之揚 聲器產生輸出音訊（方塊322至方塊324)。 如在以上程序中可知，該損失封包處置器14〇將該基於 變換之編碼解碼器11 〇之損失封包作為變換係數之一損失 組處置，而非偵測損失封包及持續轉發已接收音訊之先前 片段來填充該間隙。該變換合成器150接著用自相鄰封包 導出之經合成的變換係數來替代來自該等損失封包之變換 係數的該損失組。接著，可使用該等係數之一逆變換而於 該接收器1GGB處產生並輸出不具有來自損失封包之音訊間 隙之一完整的音訊信號。 會議端點或終端機1 〇 〇 如 圖2B更詳細地示意性展示一 所示，該會議終端機100可為該Ip網路125上之一傳輸器與 接收器兩纟。亦如所丨’該會議終端冑1〇〇可具有視訊會 議能力以及音訊能力一般而言’該終端機⑽具有一麥 克風1〇2及一揚聲器104，且可具有各種其他輸入/輸出裝 置（諸如視訊相機106 '顯*器1〇8、鍵盤、滑鼠等）。此 外’該終端機100具有—處理器16G、記憶體162、轉換器 電子器件丨64及適合該特㈣路125之網路介面測24。 該音訊編碼解碼^1G提供根據料終端叙—適合協定 之基於標準的會議。此等標準可完全以儲存於記憶體162 中且在該處理器160、專用硬體上執行或使用其等之一組 153401.doc 201203223 合執行之軟體實施。 在一傳輸路徑中，M亦 轉換态電子器件I64將該麥克風102所 拾取之類Ί信號轉換為數位㈣，且在該終端機之處 / 操作之β亥音訊編碼解碼器110具有編碼該等數位 音訊信號之一編碼器2〇〇， 〇〇以經由一傳輸器介面122在該網 路12 5 (諸如網際網路）上值 斗七 )上得輸。右存在具有一視訊編碼器 1 7 0之視訊1編碼解箱| 31，日|丨—r- ^ ^ 則其可對視訊信號執行類似功 1Λ- 在接收路L中’ §玄終端機i 〇〇具有麵合至該音訊編碼 解碼器UG之、網路接收器介面124° -解碼器250解碼已 接收的信號，且轉換器電子器件164將該等數位信號轉換 為類比信號以輸出至該#聲器1G4。若存在具有—視訊解 碼益1 72之一視訊編碼解碼器，則其可對視訊信號執行類 似功能》 圖3 A至圖3 B簡要展示一變換編碼的編碼解碼器（諸如一 Siren編碼解碼器）之特徵。一特定音訊編碼解碼器之實際 細節取決於所使用的編碼解碼器之實施方案及類型。可在 ITU-T提議G_ 722.1 Annex C中找到Siren 14TM之已知細節， 且可在 ITU-T 提議 G.719(2008)之「Low-complexity,full-band audio coding for high-quality, conversational applications」中找到SirenTM22之已知細節，該兩者已以引 用的方式併入本文中。亦可在美國專利申請案第 11/550,629號第及11/550,682號中找到關於音訊信號之變換 編碼的額外細節，該等專利申請案係以引用的方式併入本 153401.doc •12- 201203223 圖3Α中圖解說明用於一變換編碼的編碼解碼器（例如， 一 Siren編碼解碼器）之一編碼器2〇〇。該編碼器200接收已 自一類比音訊信號轉換之一數位信號202。舉例而言，可 能已經以48 kHz或其他速率在約20毫秒區塊或訊框中取樣 此數位信號202。可為一離散餘弦變換（dct)之一變換2〇4 將來自時域之該數位信號202轉換為具有變換係數之一頻 域。舉例而言，該變換204可對每一音訊區塊或訊框產生 960個變換係數之一頻譜。該編碼器2〇〇在一正規化程序 206中發現該等係數之平均能量位準（規範）^接著，該編碼 器202用一快速點陣向量量化（FLVQ)演算法2〇8或類似物量 化s玄等係數以編碼一輸出信號2〖〇用於封裝及傳輸。 圖3B中圖解說明用於該變換編碼的編碼解碼器（例如， slren編碼解碼器）之一解碼器25〇。該解碼器25〇採用自一 網路接收之輸人信號252之傳人位元流，i自該傳入位元 流重新產生初始信號之一最佳估計。為此，該解碼器25〇 對孩輸入抬號252執行一點陣解碼（$FLVQ)254，且使用一 f量化程序256解量化該等經解碼的變換係數。而且，接 著可在各種頻帶中修正該等變換係數之能量位準。 此刻’該變換合成器258可料失封包㈣數作為内插 值。最後，-逆變換26〇作為一逆dct操作並將該信號自 頻域轉換回時域中以作為一輸出信號262傳輸。如可知， 該變換合成器258有助於填充可由該等丢失封包引起之任 意間隙。然而’該解碼器250之所有現有功能及演算法仍 153401.doc •13- 201203223 相同。 在對以上所提供的該終端機100及該音訊編碼解碼器n〇 有所瞭解情況下’討論現在轉向該音訊編碼解碼器1〇〇如 何藉由使用來自經由該網路接收之相鄰訊框、區塊或封包 組來對丟失封包用變換係數作為内插值。（在MLT係數方 面呈現隨後的討論，但是所揭示的内插程序可同等應用於 其他形式的變換編碼之其他變換係數）。 如圖5中利用圖表所展示，用於在損失封包中用變換係 數作為内插值之程序400涉及將一内插規則應用於（方塊 41〇)來自先前良好的訊框、區塊或封包組（即，無損失封 包）（方塊402)及來自隨後良好的訊框、區塊或封包組（方塊 404)之變換係數。因此，該内插規則（方塊41〇)判定一給定 組中損失之封包數目並因此從來自該等良好組之該等變換 係數取得（方塊402/方塊404)。接著，該程序400對該等損 失封包用新變換係數作為内插值以插入於該給定組中（方 塊412)。最後，該程序4〇〇執行一逆變換（方塊414)並合成 音訊組用於輸出（方塊41 6)。 圖5更詳細地利用圖表展示該内插程序之内插規則5〇〇。 如前所述’該内插規則500係依據一訊框、音訊區塊或封 包組中之損失封包之數目。實際訊框大小（位元/八位元組） 取決於所使用的變換編碼演算法、位元速率、訊框長度及 取樣速率。舉例而言，對於一 48千位元/秒位元速率、一 32 kHz取樣速率及一2〇毫秒訊框長度下之g.722.1 Annex C，該訊框大小將為960位元/120八位元組。對於G.719， I53401.doc 14 201203223 該訊框係20毫秒，該取樣速率係48 kHz，且該位元速率可 於任意20毫秒甙框邊界處在32千位元/秒與！ 28千位元/秒之 間變化。RFC 5404中指定G.719之有效負載格式。 一般而言，已損失之一給定封包可具有一或多個音訊訊 框（例如，20毫秒）、可僅包括一訊框之一部分、可具有一 或多個音訊頻道之一或多個訊框、可在一或多個不同位元 速率下具有一或多個訊框、且可具有熟習此項技術者已知 並與所使用的特定變換編碼演算法及有效負載格式相關之 其他複雜性。然而，用於對該等丟失封包以内插值取代丟 失變換係數之該内插規則5 〇 〇可調適於一給定實施方案中 之特定變換編碼及有效負載格式。 如所示’先前良好的訊框或組510之變換係數（此處展示 為MLT係數）被稱為，且隨後良好的訊框或組53〇之 MLT係數被稱為。若該音訊編碼解碼器使用 SirenTM22，則指數⑴處於自0至959的範圍。對該等丟失封 包之所内插之MLT係數540的絕對值之一般内插規則520係 基於應用於該先前及隨後MLT係數5 10/530之權重512/532 判定’如下所示： \MLTinterpolated = WeightA * \MLTa (ϊ)| + WeightB * \MLTb (/)| 在該一般内插規則中’以相等的概率將該丟失訊框或組 之該等所内插之MLT係數规7^,^,^)540之正負號522隨機設 定為正或負。此隨機可有助於自此等經重新建構封包產生 之音訊聽起來更自然且不太機械化。 在依此方式内插該等MLT係數540之後，該變換合成器 153401.doc 15 201203223 (150，圖2A)填充該等丟失封包之間隙，該接收器（1〇〇B) 處之該音訊編碼解碼器（11〇;圖2A)可接著完成其之合成 操作以重新建構輸出信號。舉例而言，該音訊編碼解碼器 (110)使用已知的技術以採用包含已接收之良好的MLT係數 以及在需要處填充的所内插之MLT係數之經處理的變換係 數之一向量？。該編碼解碼器（11〇)自此向量p重新建構由 少Ps?給出之一 2M樣本向量^；。最後，隨著處理繼續，該 合成器（150)採用該等經重新建構的^向量並將其等與1^取 樣重疊疊加以產生一經重新建構的信號y(n)用於在該接收 器（100B)處輸出。 隨著丟失封包之數目發生變化，該内插規則5〇〇對該先 刖MLT係數510及隨後MLT係數530應用不同權重5 12/5 32以 判疋s亥等所内插之MLT係數540。以下係用於基於丟失封 包之數目及其他參數判定兩個權重因數恥袖^及恥妙^之特 定規則。 1 ·單一損失封包 如圖7A中所圖表展示，該損失封包處置器（14〇 ;圖2A) 可偵測一主題訊框或封包組62〇中之一單一損失封包。若 損失一單一封包’該處置器（14〇)基於關於該丟失封包之音 訊頻率（例如，該丟失封包之前的音訊之當前頻率），將權 重因數（阶ζχ、阶用於以内插值取代該損失封包之丟 失的MLT係數。如以下圖表中所示，可相對於當前音訊之 一 1 kHz頻率判定先前訊框或組6i〇A中之對應封包之該權 重因數（阶切及隨後訊框或組610B中之對應封包之該權 15340丨.doc 201203223 重因數（阶妙ίβ) ’如下所示：

Weight A Weight B 小於1 kHz 0.75 0.0 大於1 kHz 0.5 0.5 2.兩個損失封包 如圖7Β中所圖表展+，+ ， 展不 该知失封包處置器（14〇)可偵測 一主通舌孔框或組622中之1¾ yf田·!〇 J· T之兩個知失封包。在此情況中，該

處置器（140)將權重因截·彳L 催里L|數（％妙l、恥衲is)用於用MLT係數作 為内插值以用於該先前却Λ , 尤別efl框或組610Α及隨後訊框或組 610Β之對應封包中之丟失封包，如下所示： 損 WeightA WeightB 第一（較舊）封包 0.9 0.0 最後的（較新）封包 —- 0.0 0.9 若母個封匕包括一音訊訊框（例如，毫秒），則圖π 之每-組曝至610Β及622將基本上包含若干封包(即若 干訊框），使得額外封包實際上不可能存在於如圖7Α中描 繪之該等組610Α至610Β及622中。 3 ·三至六個損失封包 如圖7C中所圖表展不’該損失封包處置器（⑽）可債測 :主題訊框或組624中之三個至六個損失封包(圖7c中展示 二個）。三個至六個丢矣扭台甘主_丄 失封了表不在一給定時間間隔中 知失之夕達25/。的封包。在此情況中，該處置器（⑷)將權 重因數⑽A、呢批）用於用MLT係數作為内插值以用於 153401.doc •17- 201203223 a玄先前訊框或細610a及隨後訊框或組61〇B之對應封包中 之丟失封包，如下所示： 損失封包 Weight A WeightB 弟一（杈售）封包 0.9 0.0 一或多個中間封包 0.4 0.4 最後的（較新）封包 0.0 0.9 圖7A至圖7C之該等圖表中之封包及訊框或組之配置係 意δ胃闡釋性》如前所述，—些編碼技術可使用包括一特定 長度（例如，20毫秒）的音訊之訊框。而且，一些技術可對 母一音訊訊框（例如，2〇毫秒）使用一封包。然而，取決於 實施方案，一給定封包可具有一或多個音訊訊框（例如， 2〇毫秒）之資訊或可具有一音訊訊框（例如，20毫秒）之唯— 的一部分之資訊。 為疋義用於以内插值取代丟失變換係數之權重因數，上 述參數使用頻率位準、在一訊框中丢失之封包數目及_丢 失封包在丢失封包之—給定組中的位ρ可使用此等内插 參數之任一者或任意組合定義該等權重因數。用於用變換 係數作為削f值之上文所揭示之料權重因數㈤咖、 琴U、頻率臨限值及内插參數係闡釋性。據信，在一\ 議期間’此等權重因數、臨限值及參數在填充來自丟失封 包之間隙時產生最佳的主觀音訊品質。然而，&等因數、 臨限值及參數可對於一特定實施方案而不同，可擴展至闊 釋性地呈現之範圍以外，且可取決於所使用的設備類型、 15340 丨.doc 201203223 所涉及的音訊類型（即，音樂、語音等）、所應用的變換編 碼類型及其他考量。 無淪如何，當對基於變換之音訊編碼解碼器隱蔽損失的 音讯封包時，所揭示的音訊處理技術產生比先前技術解決 方案品質更佳之聲音。特定言之，即使損失25%的封包， 該所揭示的技術仍可產生比當前技術更易聽懂之音訊。音 訊封包損失通常發生在視訊會議應用中，因此改良此等: 件期間之品質對改良總體視訊會議體驗係重要的。然而， 重要的是’隱蔽封包損失所採取之步驟無需操作用於隱蔽 該損失之終端機處之過多的處理或儲存資源。藉由對先前 及隨後良好的訊框中之變換係數應用加權，該等所揭示的 技術可減小所需要的處理及儲存資源。 雖然已在音訊或視訊會議方面進行描$，但是本發明之 教示在涉及包含串流音樂及話音之串流媒體之其他領域中 係有用。因此，本發明之教示可應用於除—音訊會議端點 及一視訊會議端點之外之其他音訊處理裝置包含一音訊 重放裝置、一個人音樂播放器、一電腦、一词服：、二 信裝置、一蜂巢式電話、一個人數位助理等。舉例而言， 專用的音訊或視訊會議端點可受益於該#所揭㈣技^ 同樣地’電腦或其他裝置可用於桌面會議中或·數位音 訊之傳輸及接收，且此等裝置亦可受益於該等所揭示的： 術。 本發明之該等技術可在電子電路、電腦硬體、韌體、軟 體或此等之任意組合中實施。舉例而言，該等所揭示的技 153401.doc 201203223 術可實施為用於導致一可程式化控制裝置執行該等所揭示 的技術之儲存於一程式儲存裝置上的指令。適用於有形I 體現程式指令及資訊之程式儲存裝置包含所有形式的非揮 發性圮憶體，舉例而言，包含半導體記憶體裝置（諸如可 擦除且可程式化唯讀記憶體（EPR〇M)、電可擦除且可程式 化唯讀記憶體（EEPROM)及快閃記憶體裝置）；磁碟（諸L 内部硬碟及抽換式磁碟）；磁光碟；及唯讀光碟（CD_ ROM)。前述之任一者可由特定應用積體電路（asic)(特定 應用積體電路）補充或併入其中。 對較佳及其他實施例之以上描述並非意欲限制或約束申 請人所設想之發明概念之範疇或適用性。作為揭示本文所 含有之該等發明概念的交換，該等申請人期望由隨附申請 專利範圍提供之所有專利權利。因此，意欲使隨附申請專 利範圍在最大程度上包含處於以下申請專利範圍或其相等 物之範疇内之所有修改及變更。 【圖式簡單說明】 圖1圖解說明具有一傳輸器及一接收器並使用根據先前 技術之損失封包技術之一會議配置。 圖2A圖解說明具有一傳輪器及一接收器並使用根據本發 明之損失封包技術之一會議配置。 圖2B更詳細地圖解說明—會議終端機。 圖3A至圖3B各自展示一變換編褐的編碼解碼器之一編 碼器及解碼器。 圖4係根據本發明之-編石馬、解碼及損失封包處置技術 153401.doc •20· 201203223 之一流程圖。 圖5利用圖表展示根據本發明之用於在損失封包中用變 換係數作為内插值之一程序。 圖6利用圖表展示内插程序之—内插規則。 圖7A至圖7C利用圖表展示用於 作為内插值之權重。 、已用變換係數 【主要元件符號說明】 10A 傳輸器/第一終端機 10B 接收器/第二終端機 12 麥克風 13 揚聲器 14 音區塊 15 損失封包偵測 16 編瑪解碼器 17 音訊轉發器 18 量化器 19 解量化器 20 網際網路 100A 傳輸器/第一終端機 100B 接收器/第二終端機 102 麥克風 104 揚聲器 106 視訊相機 108 顯示器 153401.doc -21· 201203223 110 編碼解碼器 115 量化器 120 介面 122 傳輸器介面 124 接收器介面 125 網際網路 130 抖動緩衝器 140 損失封包處置器 150 變換合成器 160 處理器 162 記憶體 164 類比轉數位轉換器 170 視訊編碼 175 視訊解碼器 200 編碼器 210 輸出信號 250 解碼器 510 先前良好的訊框 512 權重A 520 主題訊框 522 隨機正負號 530 隨後良好的訊框 532 權重B 540 所内插之調變重疊變換（MLT)係數 153401.doc -22- 201203223 610A 先前的訊框或組 610B 隨後的訊框或組 620 主題訊框或封包組 622 主題訊框或組 624 主題訊框或組 153401.doc -23-

Claims (1)

1. 201203223 七、申請專利範圍： 1. 一種音訊處理方法，其包括： 經由-網路在一音訊處理裝置處接收若干封包組，每 a具有㈣包之__或多者每—封包具有用於重新 . 建構已經歷變換編碼之-時域中之-音訊信號的一頻域 • 中的變換係數； 判定該等已接收組之一給定組中之一或多個丟失封 包； 對定序在該給定組之前的一第一組中之一或多個第一 封包之第一變換係數應用一第一權重； 對定序在該給定組之後的_第二組中之一或多個第二 封包之第二變換係數應用一第二權重； 一藉由加總該等第一經加權的變換係數與該等第二經加 權的變換係數而用變換係數作為内插值； 將該等所内插之變換係數插入於該一或多個丟失封勺 中；及 匕 藉由對該等變換係數執行一逆變換而對該音訊處理裝 置產生一輸出音訊信號。 2如印求項1之方法，其中該音訊處理裝置係選自由—音 汛會議端點、一視訊會議端點、一音訊重放裝置、—個 ‘曰樂播放器、一電腦、一伺服器、一電信裝置、—蜂 巢式電話及一個人數位助理組成之群組。 月长項1之方法，其中該網路包括一網際網路協定網 153401,doc 201203223 4. 如請求項1之方法，其中該等變換係數包括一調變 變換之係數。 & 5. 如請求項丨之方法，其中每一組具有一個封包，且其中 該一個封包包括一輸入音訊訊框。 6_如凊求項丨之方法，其中接收包括：解碼該等封包。 7·如請求項6之方法，其中接收包括：解量化該等已 的封包。 ” 8.如請求項丨之方法，其中判定該一或多個丟失 括：、對在一緩衝器中接收的封包定序及找到該定序 如請求们之方法’其中用該等變換係數作為内插值包 括.對經加總的該等第一經加權的變換係數及該等第二 、’生加權的變換係數指派一隨機的正號或負號。 莖绝二項1之方法’其中應用於該等第—變換係數及該 -變換係數之該第一權重及該第二權重係基於音訊 11. ，月长項1G之方法，其中若該等音訊頻率臨限值 以下’則該第-權重強調該等第一變換 權重解_調料第二變㈣數。 人％一 :长項11之方法’其中該臨限值係1 kHz。 13.:凊永項u之方法，其中該等第一變換係數係以75%加 /其令該等第二變換係數係以零加權。 14二請求項1〇之方法，其中若該等音訊頻率超過一臨限 ，則該第-權重及該第二權重同等強調該等第一變換 153401.doc 201203223 係數及該等第二變換係數。 15 16 17 18 19. 20. .如-月求項14之方法’其中該等第一變換係數與該等第二 變換係數兩者皆係以50%加權。 ·=請求項i之方法’其中應用於該等第—變換係數及該 等第-變換係數之該第_權重及該第二權重係基於該等 丟失封包之一數目。 .如請求们6之方法’其中若在該給定組中丢失該等封包 之一者，則 若關於該去失封包之—音訊頻率落於一臨限值以下， 則該第-權重強調該等第—變換係數且該第二 強調該等第二變換係數；及 右”亥音訊頻率超過該臨限值，則該第一權重及爷第二 權重同等強調該等第—變換係數及該等第二變換係數。一 如請求項16之方法，其中若在該給定組中丢失該等封包 .之兩者，則 π —催垔對該 J L4观网皤寻第一變法 '、，且對該兩個封包之後一者解除強調該等第 係數；及 J 肩第二權重對該前-個封包解除強調該等第二變換係 數&且對該後—個封包強調該等第：變換係數。 如叫求項18之方法，其中該等經強調的係數係以90%加 權二其令該等經解除強調的係數係以零加權。 如明求項16之方法，其中若在該給定組中丢失三 個以上封包，則 —4二 153401.doc 201203223 該第一權重對該 係數，且對該等封 換係數； :封包之一第—纟強調該等第—變換 包之一最後一者解除強調該等第一變 极牙》一惟 J吻寸坷岜之一或多個中簡 封包同等強調該等第一镂捩在 中門 ㈣係數及該等第二變換係數；及 该第二權重對該等封 了匕之s亥第一者解除強調 變換係數，且對該等封包之兮^ ^寺第一 換係數。 …最後-者強調該等第二變 21. 22. 23. 權月ί Γ Μ方法其中該等經強調的係數係以9°%加 5亥等經解除強調的係數係以零加權，且其中該 等經同等強調的係數係以40%加權。 Α 種程式儲存裝置，其具有儲存於其上之用於導致—可 程式化控制裝置執行如請求項1之-音訊處理方法之指 令0 一種音訊處理裝置，其包括： 一音訊輸出介面； 一網路介面’其與至少—網路通信並接收音訊封包 組’每—組具有該等封包之-或多者，每—封包具有— 頻域中之變換係數； 圯憶體，其與該網路介面通信並儲存該等已接收的 包； 一處理單元’其與該記憶體及該音訊輸出介面通信， 該處理單元經一音訊解碼器程式化，該音訊解碼器係經 組態以： 153401.doc -4- 201203223 判定該等已接收組之一給定組中之一或多個丟失封 包； 對來自定序於該給定組之前的一第一組之一或多個 第一封包之第一變換係數應用一第一權重； 對來自定序於該給定組之後的一第二組之一或多個 第二封包之第二變換係數應用一第二權重； 藉由加總該等第一經加權的變換係數及該等第二經 加權的變換係數而用變換係數作為内插值； 將該等所内插之變換係數插入於該一或多個丟失封 包中；及 對該等變換係數執行一逆變換以在一時域中產生該 音訊輸出介面之一輸出音訊信號。 24. 25. 26. 27. 如請求項23之裝置’其中該裝置包括一會議端點。 如凊求項23之裝置，其進一步包括可通信地耦合至該音 訊輸出介面之一揚聲器。 如請求項23之裝置，其進一步包括一音訊輸入介面及可 通信地耦合至該音訊輸入介面之一麥克風。 如請求項26之農置’其中該處理單元係與該音訊輸入介 面通信’且偏-音訊編碼器程式化，該音訊編碼器係 將一 音訊信號之時域樣本 數； 之σίΐ框變換為頻域變換係 量化該等變換係數；及 編媽該等經量化的變換係數。 153401.doc