WO2005099243A1

WO2005099243A1 - 音声通信方法及び装置

Info

Publication number: WO2005099243A1
Application number: PCT/JP2005/006904
Authority: WO
Inventors: Hiroaki Dei; Kazunori Ozawa; Tatsuya Nakazawa; Kazuhiro Koyama
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2004-04-09
Filing date: 2005-04-08
Publication date: 2005-10-20
Anticipated expiration: 2006-10-09
Also published as: KR20070001267A; JPWO2005099243A1; JP4367657B2; US20070223660A1; CN1947407A; EP1742455A1

Abstract

　音声通信装置２０１に複数の符号化部及び復号部を備え、利用可能な伝送帯域、またはユーザの音質要求や遅延要求に応じて符号化方式を切り替える。受信した音声符号化データは該データに付加された符号化方式識別子あるいは通信相手の音声通信装置２０１から通知される設定情報に基づき最適な復号部を選択して復号する。復号された音声データは音声データバッファ２１６に一旦格納されて再生される。この音声データバッファ２１６に格納される音声データ量は再生する音声が途切れないように制御される。

Description

明細書

音声通信方法及び装置

技術分野

[0001] 本発明は、ネットワークを経由して互いに音声を送受信するための音声通信方法及び装置に関する。

背景技術

[0002] 近年、ネットワークを経由してパケットにより音声データを送受信する、いわゆる Vol P (Voice over IP)と呼ばれる音声通信が普及してきている。このような音声通信では、音声 (音楽や各種の効果音等も含む)を所定の符号化方式を用いて符号化し、該符号化された音声データを送受信することで、広、伝送帯域を専有することなく音質劣化の少な、通信を可能にして、る。

[0003] 音声の符号化方式の代表例としては、 G. 711、 G. 729、 AMR-NB (Adaptive

Multi Rate - Narrow Band)、 AMR— WB (Adaptive Multi Rate - Wide Band )、 MPEG (Moving Picture Experts Group)—4 AAC (Advanced Audio Codec )等が知られている。これらの符号ィ匕方式で符号化された音声データ (以下、音声符号化データと称す）を、パケット交換方式を採用した IP (Internet Protocol)ネットヮークを利用して配信する手法が VoIPである（例えば特開 2004— 072242号公報参照；)。 VoIPは、今後、 PHS (Personal Handyphone System)や携帯電話網等の移動通信システムでも急速に普及することが予想されている。

[0004] なお、データの送受信にパケット交換方式のネットワークを利用する場合、受信側ではパケットの到着揺らぎ (ジッタ）が発生する。音声通信装置には、この揺らぎを吸収するために受信データを一時的に蓄積するノッファが必要になる。このバッファのサイズが大きければ、より大きな揺らぎにも対応できるが、音声を再生するまでに時間を要するため音声通信の遅延が拡大する。逆に、バッファサイズを小さくすると、遅延は少なくなるが揺らぎを十分に吸収できないため、再生した音声が途切れる問題が発生する。ノッファの制御方法としては、例えばバッファに蓄積されたパケットのデータ量が予め設定されたしきい値を一定時間以上下回った場合に復号処理を停止する方法 (特開 2002— 204258号公報参照）、あるいは受信側で復号処理の周期を調整する方法等が知られている (特開 2003— 087318号公報参照)。また、受信側力もの通知により送信側にてパケットの送信周期を調整する方法もある（特開 2003 249977号公報参照)。

[0005] 上述した VoIP技術を利用した音声通信では、符号化処理の速度である符号化ビットレートの変更が可能になるが、 1セッション毎に用いる符号ィ匕方式は固定であるため、利用者 (ユーザ)のニーズやネットワークの状態に応じて必ずしも最適な符号ィ匕方式が選択されるとは限らない。

[0006] 符号ィ匕方式を通信途中で選択可能にする手法として、例えば複数種類の音声符号化データを送信することで、受信側で最適な符号化方式を選択する方法が考えられる。しかしながら、このような方法は利用可能な伝送帯域に余裕のある伝送路でなければ採用することが困難である。

[0007] また、上述した特許文献に記載されたバッファの制御方法を音声通信に適用する場合、特開 2002— 204258号公報に記載された方法では、再生するデータ量よりも受信したデータ量が多い場合にバッファ力データが溢れることで音声が途切れるおそれがある。また、特開 2003— 087318号公報に記載された方法では、復号処理の周期を調整するために十分なバッファサイズを確保する必要があるため遅延が増加する問題がある。また、特開 2003— 249977号公報に記載された方法では、ベストエフオート型のネットワークや無線ネットワークのように不安定な伝送路を利用する場合に、通知されたメッセージ自体に揺らぎや欠落が発生する。また、揺らぎの変動が大きいと、これに追従してメッセージの通知や制御を行うのが困難である。

[0008] さらに、 VoIP技術を利用した音声通信では、音声通信を行う音声通信装置間で特性差がある場合に、音声の取り込みや再生周期に違いが生じるため、これも再生した音声が途切れる要因となる。

[0009] また、ネットワークによる伝送遅延に加えて符号化処理による遅延も発生するため、符号ィ匕方式によっては、符号ィ匕に必要なデータのサンプル数が多くなり、サンプル点の確保に要する時間が音声通信に対する遅延要求を満たさない場合がある。

[0010] また、音声通信の上りリンクと下りリンクとで利用可能な帯域や遅延等の通信環境が異なる場合、通信を行う音声通信装置どうしの通信環境を一致させるためには、処理能力の低い方に合わせて低ビットレートで音声符号ィ匕データを送受信しなくてはならないため、再生した音声の品質が劣化する問題がある。

[0011] さらに、遅延や音質に対するユーザの要求に柔軟に対応するために符号化方式を任意に切り替える場合、単純に切り替えるだけでは、その切り替え時に音声データが不連続となるため、再生した音声が途切れる等の音質劣化が生じる問題もある。発明の開示

[0012] そこで本発明の目的は、音声通信中であっても異なる符号化方式への切り替えを可能にして、音質の劣化や遅延の増加を抑制できる音声通信方法及び装置を提供することにある。

[0013] 上記目的を達成するため本発明では、音声通信装置に、複数種類の符号化方式に対応するために複数の符号化部及び復号部を備え、利用可能な伝送帯域、あるいは利用者が要求する音質や遅延に応じて符号化方式や標本化周波数を切り替えるようにする。

[0014] このようにすると、音声通信中であっても異なる符号化方式への切り替えが可能になるため、音質の劣化や遅延の増加を抑制できる。また、上りリンクと下りリンクとで音声通信装置の通信環境が異なる場合でも、送信する音声データの符号化方式と受信した音声符号化データの復号方式を、上りリンク及び下りリンクの通信環境に応じてそれぞれ最適に選択できるため、より品質の高い安定した音声通信を実現できる。

[0015] そして、符号ィ匕後の音声符号ィ匕データに対応する音声が同期するように、各符号化方式の処理開始タイミングや各符号化方式のフレーム長の違いを考慮して切り替えタイミングを調整すれば、符号化方式の切り替え時に音声が途切れることなく再生できる。

図面の簡単な説明

[0016] [図 1]音声通信システムの一構成例を示すブロック図である。

[図 2]本発明の音声通信装置の一構成例を示すブロック図である。

[図 3]図 2に示した第 1の符号ィ匕部及び第 2の符号ィ匕部による符号ィ匕処理のタイミングを示すタイミングチャートである。 [図 4]本発明の音声通信装置が備えるバッファ制御部の第 1の実施の形態の構成を示すブロック図である。

[図 5]本発明の音声通信装置が備えるバッファ制御部の第 2の実施の形態の構成を示すブロック図である。発明を実施するための最良の形態

[0017] 次に本発明について図面を参照して説明する。

[0018] (第 1の実施の形態）

図 1は音声通信システムの一構成例を示すブロック図であり、図 2は本発明の音声通信装置の一構成例を示すブロック図である。また、図 3は図 2に示した第 1の符号化部及び第 2の符号ィ匕部による符号ィ匕処理のタイミングを示すタイミングチャートであり、図 4は本発明の音声通信装置が備えるバッファ制御部の第 1の実施の形態の構成を示すブロック図である。なお、図 2に示す音声通信装置 201は、図 1に示した音声通信装置 101及び音声通信装置 103にそれぞれ適用可能な共通の構成例を示している。

[0019] 図 1に示すように、音声通信システムは、音声データを互いに送受信する 2つの音声通信装置 101及び音声通信装置 103が IP (Internet Protocol)網であるネットヮーク 102を介して互、に通信可能に接続される構成である。音声通信装置 101及び音声通信装置 103は互いに周知の呼接続処理を実行することで呼を確立して音声通信を行う。

[0020] ネットワーク 102には、音声通信装置 101及び音声通信装置 103に対して呼の確立に必要な情報（呼接続データ)を供給する呼接続サーバ装置 104が接続されていてもよい。その場合、音声通信装置 101及び音声通信装置 103は、先に呼接続サーバ装置 104から呼接続データを取得し、その後、取得した呼接続データを用いて呼を確立する。

[0021] 音声通信装置 101及び音声通信装置 103は、符号化された音声データや呼接続データをパケット交換方式で送受信する、例えば携帯電話機やパーソナルコンビュータ等の情報処理装置で実現可能である。また、呼接続サーバ装置 104は、音声通信装置 101及び音声通信装置 103に呼接続データを供給して、互いの呼 (通信)を確立させるサーバコンピュータ等の情報処理装置で実現可能である。音声通信装置

101及び音声通信装置 103として携帯電話機を用いる場合、これらは不図示の無線基地局装置を介してネットワーク 102へ接続される。

[0022] 図 2に示すように、音声通信装置 201は、音声取り込み部 205、標本化周波数変換部 206、設定'呼接続処理部 204、第 1の符号ィ匕部 207、第 2の符号ィ匕部 208、パケット化処理部 209、送信部 210、受信部 211、ペイロード抽出部 212、第 1の復号部 2 13、第 2の復号部 214、バッファ制御部 215、音声データバッファ 216及び音声再生部 217を有する構成である。上述したように、音声通信装置 201に情報処理装置を用いる場合、図 2に示す各構成要素は、 CPUを含む情報処理装置と LSIや論理回路等との組み合わせによって実現される。その場合、例えば音声取り込み部 205や音声再生部 217は LSI (A (Analog) /Ό (Digital)変翻、 DZA変翻)ゃトランジスタ回路等によって実現される。また、その他の構成要素は、該情報処理装置が備える CPUが所定のプログラムにしたがって以下に記載する各構成要素の処理を実行することで実現される。なお、音声通信装置 201は、図 2に示す各構成要素の機能を実現する LSIや論理回路等によって構成されてヽてもよヽ。

[0023] 音声取り込み部 205は、マイクロフォン等の音声入力部 202から入力された音声信号 (アナログ信号)を、設定 ·呼接続処理部 204が指定する標本化周波数や量子化ビット数、あるいは予め設定された標本化周波数や量子化ビット数に基づきデジタルデータ力成る音声データに変換する。

[0024] 第 1の符号化部 207及び第 2の符号化部 208は、音声取り込み部 205で AZD変換された音声データを、設定 ·呼接続処理部 204が指定する符号化方式や標本ィ匕周波数等の符号化情報、あるいは予め設定された符号ィ匕情報に基づいて符号ィ匕する。

[0025] 本実施形態では、第 1の符号化部 207が MPEG— 4 AAC方式を用いて音声データを符号化し、第 2の符号ィ匕部 208が AMR—WB方式を用いて音声データを符号ィ匕するものとして説明する。第 1の符号ィ匕部 207及び第 2の符号ィ匕部 208が用いる符号化方式は、これらに限定されるものではなぐどのような方式であってもよい。また、第 1の符号ィ匕部 207及び第 2の符号ィ匕部 208は、異なる種類の符号化方式を用いる必要はなぐ標本ィ匕周波数が異なれば同じ符号ィ匕方式を用いてもよい。本実施形態では、説明を簡単にするために 2つの符号ィ匕部を有する構成を示しているが、符号ィ匕部の数は 2つに限定されるものではなぐいくつであってもよい。なお、利用可能な伝送帯域に余裕のある伝送路を用いる場合、音声通信装置は複数の符号化部で符号ィ匕した音声符号ィ匕データをそれぞれ送信してもよい。

[0026] パケットィ匕処理部 209は、第 1の符号ィ匕部 207及び第 2の符号ィ匕部 208で符号ィ匕された音声符号ィ匕データの少なくとも一つに、設定 ·呼接続処理部 204が指定する符号化方式の識別子 (符号ィ匕方式識別子)、あるいは予め設定された符号ィ匕方式識別子を付与してパケット化する。この音声符号化データの符号化方式と符号化方式識別子とは互ヽに対応する関係にあるものとする。

[0027] 送信部 210は、パケットィ匕処理部 209で生成されたパケットを、宛先アドレスに応じて設定 ·呼接続処理部 204が指定するポート、あるいは予め設定されたポートを介してネットワーク 102へ送出する。例えば、音声符号化データを RTP (Rea卜 time Transport Protocol)にしたがってパケットィ匕して送信する場合、パケット化処理部 20 9は、付カ卩する RTPヘッダに含まれるペイロードの形式や SSRC (Synchronization source iaentiner)または CsRC (Contributing source iaentiner)を符ィ匕方式識別子に用いてパケット化する。 RTPについては、例えば H. Schulzrinne, S.

し asner, R. Frederick, V. Jacobson, RTP: A Transport Protocol for Real-Time Applications", RFC 1889, January 1996、インターネット〈URL:

http://www.ietf.org/rfc/rfcl889.txt〉や H. Schulzrinne, "RTP Pronle for Audio and Video Conferences with Minimal Control", RFC 1890, January 1996等に詳細に記載されている。

[0028] なお、パケット化処理部 209及び送信部 210は、少なくともその一方を複数の符号化部に対応して複数設けてもよい。その場合、例えば送信部 210は、対応するバケツト化処理部 209で生成されたパケットを、設定 ·呼接続処理部 204が指定する宛先ァドレス及びポート、あるいは予め設定された宛先アドレス及びポートを介してネットヮーク 102にそれぞれ送出すればよい。

[0029] 本実施形態の音声通信装置 201は、設定'呼接続処理部 204の制御により、周知の SIP (Session Initiation Protocol)や SDP (Session Description Protocol)を用ヽて通信相手の音声通信装置と通信に必要な情報を送受信する。その場合、 •通信相手のアドレス及び受信ポート番号、

•送信する音声符号化データの符号化方式、符号化設定 (オプション)、

•ペイロードタイプやペイロード ·フォーマット、

等の設定情報を通信相手へ通知できる。例えば、符号化方式が AMR— NBであり、 RTPのペイロードタイプが 97である場合、 SDPを用いると、 a=rtpmap : 97 AMR Z8000と記述した情報を送信することで、符号化方式と符号化方式識別子との対応関係を通知できる。このとき、符号ィ匕方式と符号ィ匕方式識別子との対応関係は、音声通信を行う音声通信装置どうしで予め決定しておいてもよい。但し、符号化方式によつては、ペイロードタイプが RFC1890で既に定められているものがある。例えば、 G . 729の音声符号ィ匕方式では「18」という数値が使用される。これにより符号化方式を特定できる。

[0030] 設定 ·呼接続処理部 204は、決定した符号ィ匕方式の処理を実行するように、音声取り込み部 205、標本化周波数変換部 206、第 1の符号ィ匕部 207、第 2の符号化部 20 8、パケット化処理部 209、及び送信部 210、受信部 211、ペイロード抽出部 212、第 1の復号部 213、第 2の復号部 214及び音声再生部 217に対して、それぞれ必要な指示を与える。

[0031] 本実施形態の音声通信装置 201は、利用者が所望の指示を入力するために不図示の入力手段を備えていてもよい。入力手段を介して音質や遅延時間等の要求が入力された場合、設定 ·呼接続処理部 204は、利用可能な伝送路帯域または入力手段を介して入力された利用者力の要求を基に最適な符号ィ匕方式や標本ィ匕周波数を選択する。そして、選択した符号ィ匕方式にしたがって処理を実行するように、音声取り込み部 205、標本化周波数変換部 206、第 1の符号化部 207、第 2の符号化部 208、パケット化処理部 209、送信部 210、受信部 211、ペイロード抽出部 212、第 1 の復号部 213、第 2の復号部 214及び音声再生部 217に対してそれぞれ必要な指示を与える。

[0032] 受信部 211は、設定 ·呼接続処理部 204が指定するポート、あるいは予め設定されたポートを用いて、ネットワーク 102を介して送信されたパケットを受信する。

[0033] ペイロード抽出部 212は、受信部 211で受信したパケットから音声符号ィ匕データ及び符号ィ匕方式識別子をそれぞれ抽出し、設定'呼接続処理部 204からの指示にした力て第 1の復号部 213または第 2の復号部 214へ抽出した音声符号ィ匕データを供給する。

[0034] 第 1の復号部 213及び第 2の復号部 214は、ペイロード抽出部 212から供給された音声符号化データを、設定'呼接続処理部 204が指定する復号方式、あるいは予め設定された復号方式にしたがって復号する。

[0035] 本実施形態では、第 1の復号部 213が MPEG— 4 AAC方式を用いて音声符号化データを復号し、第 2の復号部 214が AMR— WB方式を用いて音声符号ィ匕デ一タを復号するものとして説明する。上述した符号ィ匕部と同様に、第 1の復号部 213及び第 2の復号部 214が用いる復号方式は、これらに限定されるものではなぐどのような方式であってもよい。また、第 1の復号部 213及び第 2の復号部 214は、異なる復号方式を用いる必要はなぐ標本ィ匕周波数が異なれば同じ復号方式を用いてもょ、。本実施形態では、説明を簡単にするために 2つの復号部を有する構成を示している力復号部の数は 2つに限定されるものではなぐいくつであってもよい。

[0036] 設定，呼接続処理部 204は、通信相手の音声通信装置から通知された符号化方式とパケットに付加された符号ィ匕方式識別子との組み合わせ力も受信した音声符号化データの符号化方式を判断し、パケットから抽出した音声符号ィ匕データに対応する最適な復号部を選択してペイロード抽出部 212へ指示する。

[0037] したがって、本実施形態では、送信側の音声通信装置が有する符号化部で符号化された音声符号ィ匕データが、受信側の音声通信装置が備える該符号ィ匕方式に対応する復号部で再生されるため、通信途中で音声符号化データの符号化方式が切り替わっても正しく復号できる。

[0038] バッファ制御部 215は、第 1の復号部 213または第 2の復号部 214で復号された音声データを、音声データバッファ 216のサイズに合わせて縮小または伸張し、音声データバッファ 216へ格納する。

[0039] 音声再生部 217は、音声データバッファ 216に格納された音声データ（デジタルデータ）を順次読み出してアナログ信号力も成る音声信号に変換する。また、必要に応じて DZA変換された音声信号を電力増幅する。音声再生部 217によって DZA変換された音声信号はスピーカ等の音声出力部 203から出力される。

[0040] なお、受信部 211及びペイロード抽出部 212は、少なくともその一方を複数の復号部に対応して複数設けてもよい。その場合、設定'呼接続処理部 204を用いて通信相手の音声通信装置からセッション (またはポート番号)毎の符号化方式や設定情報を受け取る力、ある、はこれらを予め音声通信を行う音声通信装置間で決めておけば、ペイロード抽出部 212は、符号ィ匕方式識別子が無くても、受信したセッション (またはポート番号)を基に音声符号ィ匕データを適切な復号部へ渡すことができる。

[0041] 上述したように、本実施形態の音声通信装置 201では、例えば SDPにしたがって対応可能な符号化方式ゃ復号方式を通信相手の音声通信装置へ通知する。 SDP により対応可能な符号化方式ゃ復号方式を通知する場合、該符号化方式や復号方式は、 a = sendonly、 a=recvonly等の記述を列挙した情報で表される。この SDP を利用した通信では、送信側の符号化方式と受信側の復号方式とが異なって!/、てもよぐ通信を行う音声通信装置どうしが同一の符号ィ匕方式ゃ復号方式を備えていなくてもよい。すなわち、 SDPを利用すると、通信を行う音声通信装置どうしが同一の符号ィ匕方式と復号方式の組み合わせに対応していなくてもメッセージを送受信することができる。

[0042] 一方、 SIPを用いて呼接続処理を行う場合、図 1に示した音声通信装置 101及び音声通信装置 103は、呼接続サーバ 104から通信相手の音声通信装置のアドレスをそれぞれ取得し、 SDPを利用して対応する符号化方式の情報等を取得して音声通信を開始する。

[0043] SDPについては M. Handley, V. Jacobson, "SDP: Session Description

Protocol", RFC 2327, April 1998、インターネットく URL:

http：〃 www.ietf.org/rfc/rfc2327.txt〉等に詳細に記載されて!、る。また、 SIPにつ!/ヽては M. Handley, H. bchuiznnne, E. schooler, J. Rosenberg, SIP: session Initiation Protocol", RFC 2543, March 1999、インターネット〈URL:

http：〃 www.ietf.org/rfc/rfc2543.txt〉等に詳細に記載されている。 [0044] ところで、図 2に示した音声通信装置 201において、通話時に音声が途切れないように符号ィ匕方式を切り替えるためには、音声取り込み部 205で AZD変換された音声データを、第 1の符号ィ匕部 207及び第 2の符号ィ匕部 208でそれぞれ符号ィ匕する必要がある。

[0045] ここで、第 1の符号ィ匕部 207と第 2の符号ィ匕部 208の符号ィ匕方式や標本ィ匕周波数が異なる場合、本実施形態では、音声取り込み部 205で AZD変換された音声データを、標本ィ匕周波数変換部 206を用いてそれぞれの符号ィ匕方式に対応する標本ィ匕周波数の音声データに変換する。

[0046] 例えば、音声取り込み部 205が 32kHzで標本ィ匕を行い、第 1の符号ィ匕部 207が 32 kHzの標本ィ匕周波数で MPEG— 4 AAC方式を用いて音声データを符号ィ匕し、第 2の符号化部 208が 16kHzの標本化周波数で AMR— WB方式を用いて音声データを符号化する例を考える。この場合、標本ィ匕周波数変換部 206は、第 1の符号ィ匕部 207に対して標本ィ匕周波数を変えずに音声データを出力し、第 2の符号ィ匕部 208 に対して標本ィ匕周波数を 16kHzに変換 (ダウンサンプリング)して音声データを出力する。このようにすれば、 1つの音声取り込み部 205で取り込まれた音声データを、複数の符号ィ匕部でそれぞれの符号ィ匕方式にしたがって符号ィ匕できる。

[0047] 標本化周波数変換部 206は、各符号化部の符号化方式が同一であっても標本ィ匕周波数が異なって、れば同様の処理を行う。標本化周波数の変換方法にっヽては、周知のどのような技術を用いてもよいため、ここではその詳細な説明を省略する。

[0048] なお、音声データの符号ィヒ方式には、符号化効率を高めるために過去の音声データを利用して符号ィ匕を行う方式がある。そのような符号ィ匕方式では、音声入力から対応する音声符号ィ匕データが出力されるまでに遅れが生じる。例えば、 AMR— WB方式では符号ィ匕処理に 5ms前の音声データを用いるため、音声入力から対応する音声符号ィ匕データが出力されるまでに 5msの遅れが生じる。また、 MPEG— 4 AAC 方式では符号ィ匕処理で 2フレーム分の遅れが生じるため、標本ィ匕周波数が 32kHz の場合、音声入力から対応する音声符号ィ匕データが出力されるまでに 64msの遅れ力 S生じる。したがって、送信側で符号化方式を切り替える際には、符号化後の音声符号ィ匕データに対応する音声が同期するように、各符号化処理の開始点をそれぞれ調整する。具体的には、図 3に示すように、第 2の符号ィ匕部 208による AMR— WB方式の符号ィ匕開始点（t=0)に対して、第 1の符号ィ匕部 207が 59ms遅れて MPEG— 4 AAC方式の符号化処理を開始すれば、これらの音声符号化データから再生される音声が一致する。

[0049] さらに、 AMR— WB方式と MPEG— 4 AAC方式とで符号化単位であるフレームの長さが異なるため、本実施形態では、送信側で符号化方式を切り替える際に、符号ィ匕後の音声符号ィヒデータに対応する音声が同期するよう、各符号ィヒ方式のフレーム長の違いを考慮して切り替えタイミングを調整する。具体的には、図 3に示すように 8個の AMR— WB方式のフレーム（AMR出力符号化フレーム）に対して、 5個の MP EG— 4 AAC方式のフレーム (AAC出力符号ィ匕フレーム）が出力された時点で符号化方式を切り替えれば、これらの音声符号ィ匕データ力再生される音声が一致する。

[0050] 本実施形態の音声通信装置では、第 1の符号化部 207及び第 2の符号化部 208 が同時に符号ィ匕処理を開始する必要はないが、上述したように、各符号化部による符号化処理の開始 (再開）タイミングのずれ、あるいはフレーム長の違、を考慮して符号化方式を切り替える。一方、受信側の音声通信装置では、上記フレーム単位で各復号部が復号方式を切り替えることで音声を途切れることなく再生する。

[0051] また、本実施形態の音声通信装置では、設定'呼接続処理部 204が指定する符号化方式及び標本化周波数、または予め設定された符号ィ匕方式及び標本ィ匕周波数に基づき、符号化後の音声符号化データに対応する音声が同期するように、音声データのサンプル数を考慮して符号ィ匕方式を切り替えてもよい。例えば AMR—WB符号化方式では、 l [ms]当りのサンプル数が 16であり、 MPEG— 4 AAC符号化方式では、標本ィ匕周波数が 32kHzの場合、 l [ms]当りのサンプル数が 32となる。すなわち、このサンプル数の関係が維持されるタイミングで符号ィ匕方式を切り替えればよ!/ヽ

[0052] なお、標本ィ匕周波数が異なる同一の符号ィ匕方式へ切り替える場合も、同様の処理を行えば、符号ィ匕方式の切り替えによる音質劣化を抑制できる。

[0053] 次に、図 2に示した音声通信装置が備えるノッファ制御部の第 1の実施の形態について図 4を用いて説明する。

[0054] 図 4に示すように、本実施形態のバッファ制御部 215は、バッファ量監視部 401、変換パラメータ決定部 402及び標本ィ匕周波数変換部 403を有する構成である。

[0055] 上述したように、音声データバッファ 216に格納されるデータ量は、受信部 211で受信するパケットの到着揺らぎ、及び送信側の音声取り込み部 205による音声の取り込み周期と受信側の音声再生部 217による再生周期のずれによって増減する。

[0056] このパケットの到着揺らぎや取り込み周期と再生周期のずれに対応するために音声データバッファ 216が存在する力大きな到着揺らぎに対応するためには、大きなノッファサイズ及び音声データノッファ 216へ格納する目標とする音声データ量 (以下、標準量と称す)を大きく設定しなければならな、ために音声通信の遅延が増加する。

[0057] 本実施形態では、受信部 211で音声符号ィ匕データの到着間隔の揺らぎを計測し、この音声データバッファ 216に格納する音声データの標準量力、揺らぎの大きさに合わせることで大きくなり過ぎな、ように最適に設定する。

[0058] さらに、より小さいサイズの音声データバッファ 216で対応可能とするために、ノッファ制御部 215は復号された音声データを加ェして音声データバッファ 216へ格納する。また、ノッファ制御部 215は音声データバッファ 216に格納されたデータ量をバッファ量監視部 401で監視する。

[0059] 変換パラメータ決定部 402は、音声データバッファ 216内の音声データの残存量と

、設定 ·呼接続処理部 204が指定する符号ィ匕方式にしたがって変換後の標本ィ匕周波数を決定する。

[0060] 標本ィ匕周波数変換部 403は、バッファ制御部 215に入力される音声データの標本化周波数を、変換パラメータ決定部 401が決定した標本ィ匕周波数へ変換し、音声データバッファ 216へ出力する。例えば、符号ィ匕方式や標本ィ匕周波数が異なる音声データへの切り替えがなぐ音声データバッファ 216内のデータ量が減少傾向にある場合、標本ィ匕周波数変換部 403は、その割合に応じて標本ィ匕周波数が高くなるように周波数変換 (アップサンプリング)する。その場合、音声データのサンプル数が増えるため、音声データバッファ 216に格納される音声データの減少を補うことができる。逆に、音声データバッファ 216内のデータ量が増加傾向にある場合、標本化周波数変換部 403は標本ィ匕周波数が低くなるように周波数変換 (ダウンサンプリング)する。その場合、音声データのサンプル数が減るため、音声データバッファ 216に格納される音声データの増加を抑制できる。

[0061] なお、第 1の復号部 213から出力される音声データと第 2の復号部 214から出力される音声データとを途切れることなく切り替えるためには、これらの音声データを一つの音声データバッファ 216へ格納して再生する必要がある。

[0062] バッファ制御部 215は、復号方式を切り替える際、上述した音声データバッファ 216 内のデータ量を調整するために、標本化周波数を変換する処理に加えて、以下に記載する復号方式に応じた標本化周波数の変換処理も行う。

[0063] 具体的には、第 2の復号部 214から出力される AMR—WB方式で復号された音声データの標本ィ匕周波数（16kH)を、第 1の復号部 213から出力される MPEG— 4 A AC方式で復号された音声データの標本ィヒ周波数（32kHz)と一致するように周波数変換を行う。但し、標本化周波数が異なる場合、符号化処理ゃ復号処理が可能な音声信号の帯域も異なるため、異なる復号方式の音声データへ切り替えると、再生した音声の帯域の違いが聴感上で違和感となることがある。

[0064] MPEG— 4 AAC方式のように一定のサンプル周期毎に符号化処理を行う方式では、標本ィ匕周波数を高くすることで符号ィ匕処理による遅延が少なくなるが、符号化ビットレートが同一であってもネットワーク 102へ送出するパケット数が増加するため、（ RTP/) UDP (User Datagram Protocol) ZIPヘッダに要するオーバヘッド量が増加してしまう。したがって、利用可能な伝送帯域が低い伝送路においては、遅延が多くなるが、音質を維持するために標本ィ匕周波数を低くして少ないオーバヘッド量で送信する。また、利用可能な伝送帯域に余裕がある伝送路においては、オーバヘッド量が多くなるが、標本ィ匕周波数を高くして少ない遅延量で送信する手法も可能である。

[0065] し力しながら、このような手法でも再生する音声の帯域の違いによる違和感は無くすことができない。そのため、本実施形態の音声通信装置では、このような違和感を抑制するために、ァ)より低ヽ方の標本ィ匕周波数に揃うように標本ィ匕周波数を変換する。

ィ)各符号ィ匕部における符号語の割り当てを、最も低い標本化周波数の音声データの帯域までとする。

[0066] 特に、音楽ではなく音声のみを送信する場合は、第 1の符号化部 207及び第 2の符号ィ匕部 208における符号語の割り当て帯域制限が音質の向上につながる場合がある。本実施形態では、複数種類の符号化方式や標本化周波数の音声符号化データを受信した場合も、復号処理はいずれか 1つの音声符号ィ匕データに対して行えばよいため、復号処理に必要な演算量の増加を最小限に抑制できる。

[0067] ノッファ量監視部 401は、音声データバッファ 216に格納される音声データが無くなるおそれがあるとき、パディングデータ挿入部 404に指示して無音の音声データを音声データバッファ 216へ挿入することで補充する。または、音声データを再生している復号部に対して、該復号部の復号方式が備えるエラー隠蔽 (コンシールメント）処理による音声データの出力を指示し、これを音声データバッファ 216へ挿入する。このような処理を行うことで、音声データバッファ 216が空になることによる再生音声の途切れを防止できる。

[0068] さらに、ノッファ量監視部 401は、音声データバッファ 216に格納された音声データが溢れそうなとき、標本化周波数変化部 403に対して入力された音声データを廃棄するように指示し、再生音声の途切れを抑制する。その際、入力音声データの音量（電力）または振幅量の少なくともいずれか一方に基づいて無音と判定した音声データを廃棄すれば、再生音の劣化を最小限に抑制できる。

[0069] バッファ量監視部 401は、設定'呼接続処理部 204、音声再生部 217、第 1の復号部 213または第 2の復号部 214の少なくともいずれか 1つの指示にしたがって上記処理を実行してもよぐタイマー等を用いて所定の時間毎に上記処理を実行してもよい。音声再生部 217による指示とは、音声再生部 217で一定量の音声データを再生する毎にバッファ量監視部 401に音声データバッファ 216のデータ残存量を確認させる指示であり、監視結果に基づ、て前記の処理を実行させればょ、。

[0070] また、本実施形態の音声通信装置 201では、受信部 211の後段に受信バッファ 21 8を備え、該受信バッファ 218に受信した音声符号ィ匕データを一時的に格納してもよい。その場合、音声再生部 217は、一定量の音声データを再生する毎に、格納している音声符号ィ匕データの先頭データをペイロード抽出部 212へ出力するように受信ノッファ 218へ指示すればよい。その際、受信バッファ 218が空のときは、音声データを再生している復号部に対して、該復号部の復号方式が備えるエラー隠蔽処理による音声データの出力を指示する。この場合、音声再生部 217における音声再生が処理の起動トリガとなるため、音声データを消費した分だけ、それに続く音声符号ィ匕データが受信バッファ 218から出力される。したがって、音声データバッファ 216に格納すべき音声データの標準量を最小限に設定できるため、遅延が少ない音声通信が可能になる。

[0071] 本実施形態の音声通信装置のように音声データに対する符号化方式を切り替えるメリットとしては、音声通信中でも利用者が要求する音質や遅延時間、あるいは伝送路の利用可能な帯域に応じて、符号ィ匕方式を最適に切り替えることができることにある。

[0072] 本実施形態の場合、第 1の符号ィ匕部 207や第 1の復号部 213で採用する MPEG

4 AAC方式は、音声だけでなく音楽の伝送も可能な高品質な符号ィ匕方式である力符号化ゃ復号に要する処理時間が長くなる。一方、第 2の符号ィ匕部 208や第 2 の復号部 214で採用する AMR— WB方式は、音声に特ィ匕した符号ィ匕方式であるため、音楽のような広帯域の信号を伝送するには不向きである。しかしながら、 AMR- WB方式は、符号化ゃ復号に要する処理時間が短ぐかつ符号ィヒビットレートも低くて済むため、伝送帯域が制限される通信環境下であっても安定した音声通信を実現できる。

[0073] 本実施形態の音声通信装置は、音声データの符号化部や復号部を複数備えて!/、るため、送信用と受信用の符号ィ匕方式と復号方式が一致していなくても音声通信が可能になる。例えば、上りリンク (送信）と下りリンク (受信）とで帯域または伝送路の安定性が非対称の通信網を利用する場合でも音声通信が可能である。具体的には、上りリンクでは帯域が制限され、下りリンクでは帯域に余裕がある通信環境下の場合、第 2の符号ィ匕部 208を用いて AMR—WB方式で符号ィ匕した音声符号ィ匕データを上りリンクを介して送信し、 MPEG -4 AACで符号化された音声符号化データを下りリンクを介して受信し、第 1の復号部 213で復号して再生することが可能である。そのため、より品質の高い安定した音声通信を実現できる。

[0074] なお、符号化方式の切り替えは、上述した設定 ·呼接続処理部 204からの指示、あるいは予め設定しておく手法だけでなぐ例えばパケットの到着揺らぎやパケット損失率等のパケット到着状況を設定，呼接続処理部 204を用いて通信相手の音声通信装置へ通知し、該パケット到着状況に応じて送信側で符号化方式を切り替える方法でもよい。また、送信側の音声通信装置に対して符号化方式の変更を指示する方法でもよい。

[0075] (第 2の実施の形態）

次に本発明の音声通信装置の第 2の実施の形態について図面を用いて説明する

[0076] 図 5は本発明の音声通信装置が備えるバッファ制御部の第 2の実施の形態の構成を示すブロック図である。

[0077] 本実施形態の音声通信装置は、バッファ制御部 215の構成が第 1の実施の形態と異なっている。その他の構成や動作は第 1の実施の形態と同様であるため、その詳細な説明は省略する。

[0078] 図 5に示すように、第 2の実施の形態のバッファ制御部は、第 1の実施の形態で示した変換パラメータ決定部 402及び標本ィ匕周波数変換部 403に代えて、データ選択決定部 501を有する構成である。ノッファ量監視部 401及びパディングデータ挿入部 404については、第 1の実施の形態と同様であるため、その説明は省略する。

[0079] データ選択決定部 501は、ノッファ量監視部 401による音声データバッファ 216の監視結果にしたがって、音声データバッファ 216に格納されたデータ量が増加傾向にある場合は、その割合に合わせて第 1の復号部 213または第 2の復号部 214で復号された音声データを間引いて音声データバッファ 216へ格納する。その際、データ選択決定部 501は、音声データの音量を判定し、無音と判定した音声データを廃棄すれば再生音の劣化を最小限に抑制できる。

[0080] 本実施形態の音声通信装置は、音声データを間引くために第 1の実施の形態の音声通信装置に比べて再生音質が劣化するおそれがある。し力しながら、標本化周波数変換のような大きな演算量を要する処理を行わないため、大きな演算量を実行できない、例えば携帯電話機等を音声通信装置として用いる場合に容易に適用できる

Claims

請求の範囲

[1] 送信対象の音声データを、対応可能な複数種類の符号ィ匕方式を用いてそれぞれ符号化し、

該符号化された音声データである音声符号ィ匕データのうち、少なくとも一つの種類の音声符号化データを送信し、

前記音声符号化データを受信すると、該音声符号化データを、対応可能な複数種類の復号方式の中から該音声符号ィヒデータに適切な復号方式で復号し、

前記復号された音声データを音声データ用のバッファへ一時的に格納し、前記音声データ用のバッファから該音声データを順次読み出して再生する音声通信方法。

[2] 複数種類の符号化方式は、それぞれが異なる標本ィ匕周波数である請求項 1記載の音声通信方法。

[3] 送信する音声符号化データの符号化方式と、受信した音声符号化データを復号する復号方式に対応する符号化方式とが異なる種類である請求項 1記載の音声通信方法。

[4] 符号化後の音声符号化データに対応する音声が同期するように、各符号化方式の処理開始タイミングをそれぞれ移動させる請求項 1記載の音声通信方法。

[5] 符号化後の音声符号化データに対応する音声が同期するように、各符号化方式の音声データのサンプル数をそれぞれ設定する請求項 1記載の音声通信方法。

[6] 符号化後の音声符号化データに対応する音声が同期するように、符号化方式毎に異なる符号ィヒ単位であるフレームの長さに応じて、前記符号化方式の切り替えタイミングを調整する請求項 1記載の音声通信方法。

[7] 音声符号化データを、符号ィ匕方式毎に異なるフレーム単位で復号する請求項 1記載の音声通信方法。

[8] 送信対象の音声データの標本化周波数を、各符号化方式に対応する標本化周波数にそれぞれ変換する請求項 1記載の音声通信方法。

[9] 符号ィ匕方式毎に割り当てる符号語の帯域を、複数種類の符号化方式のうち、最も低い標本ィヒ周波数の音声データの帯域までとする請求項 1記載の音声通信方法。

[10] 音声符号化データに、該音声符号化データの符号化方式に対応する符号化方式識別子を付与して送信する請求項 1記載の音声通信方法。

[11] 利用可能な伝送路の帯域または入力手段を介して入力された利用者力の要求の少なくともいずれか一方を基に、送信する音声符号ィ匕データを選択する請求項 1 記載の音声通信方法。

[12] 復号した音声データの標本ィ匕周波数を、音声データ用のバッファに格納された音声データ量に応じて変換する請求項 1記載の音声通信方法。

[13] 音声データ用のバッファに格納する、音声データの目標量である標準量を、音声符号ィヒデータの到着揺らぎに合わせて設定する請求項 1記載の音声通信方法。

[14] 音声データ用のバッファに格納される音声データ量が該音声データ用のバッファのサイズを越える場合、無音と判定した音声データを廃棄する請求項 1記載の音声通信方法。

[15] 音声データ用のバッファに格納された音声データ量が無くなる場合、音声データを補充する請求項 1記載の音声通信方法。

[16] 受信した音声符号化データを一時的に受信バッファへ格納し、

所定量の音声データが再生される毎に前記受信バッファに格納されている先頭の音声符号ィ匕データを出力し、前記受信バッファが空になる場合は音声データを補充する請求項 1記載の音声通信方法。

[17] 補充する音声データは、無音の音声データである請求項 15記載の音声通信方法

[18] 補充する音声データは、前記復号方式が備えるエラー隠蔽復号データである請求項 15記載の音声通信方法。

[19] 補充する音声データは、無音の音声データである請求項 16記載の音声通信方法

[20] 補充する音声データは、前記復号方式が備えるエラー隠蔽復号データである請求項 16記載の音声通信方法。

[21] 受信した音声符号化データに付加される符号化方式を識別するための符号化方式識別子、呼接続処理により得られる符号化方式の情報、呼接続処理により得られる符号化に関する設定情報、または音声符号ィ匕データを受信するセッションのうち、少なくとも 1つの情報を基に受信した音声符号化データの復号方式を選択する請求項 1記載の音声通信方法。

[22] 受信した音声符号化データの到着揺らぎまたは損失率を含む受信データの到着状況を通信相手へ送信し、

前記到着状況を受信すると、該到着状況に応じて送信する音声符号化データの符号化方式または標本化周波数の少なくとも一方を切り替える請求項 1記載の音声通信方法。

[23] 送信対象となる音声から所定の標本化周波数でデジタル化された音声データを生成する音声取り込み部と、

前記音声データを対応可能な複数種類の符号化方式でそれぞれ符号化する複数の符号化部と、

前記符号化された音声データである音声符号ィ匕データのうち、少なくとも一つの種類の音声符号化データを送信する送信部と、

前記音声符号化データを受信すると、該音声符号化データを、対応可能な複数種類の復号方式の中から該音声符号ィヒデータに適切な復号方式で復号する、それぞれが異なる種類の復号方式で復号する複数の復号部と、

前記復号部で復号された音声データを一時的に格納する音声データバッファと、前記音声データバッファから該音声データを順次読み出して再生する音声再生部と、

前記符号化方式及び前記復号方式の切り替えを制御する設定，呼接続処理部と、を有する音声通信装置。

[24] 複数の符号化部は、

それぞれが異なる標本化周波数で符号化する請求項 23記載の音声通信装置。

[25] 送信部で送信する音声符号化データの符号化方式と、受信した音声符号化データを復号する復号方式に対応する符号化方式とが異なる種類である請求項 23記載の音声通信装置。

[26] 複数の符号化部は、符号化後の音声符号化データに対応する音声が同期するように、それぞれの処理開始タイミングを移動させる請求項 23記載の音声通信装置。

[27] 複数の符号化部は、

符号化後の音声符号化データに対応する音声が同期するように、それぞれの音声データのサンプル数を設定する請求項 23記載の音声通信装置。

[28] 複数の符号化部は、

符号化後の音声符号化データに対応する音声が同期するように、符号化方式毎に異なる符号ィヒ単位であるフレームの長さに応じて、前記符号化方式の切り替えタイミングを調整する請求項 22記載の音声通信装置。

[29] 複数の復号部は、

音声符号化データを、符号ィ匕方式毎に異なるフレーム単位で復号する請求項 23 記載の音声通信装置。

[30] 送信対象の音声データの標本化周波数を、符号化部の符号化方式に対応する標本ィ匕周波数にそれぞれ変換する標本ィ匕周波数変換部を有する請求項 23記載の音声通信装置。

[31] 複数の符号化部は、

符号ィ匕方式毎に割り当てる符号語の帯域を、複数種類の符号化方式のうち、最も低い標本ィ匕周波数の音声データの帯域までとする請求項 23記載の音声通信装置。

[32] 音声符号化データに、該音声符号化データの符号化方式に対応する符号化方式識別子を付与して送信するパケット化処理部を有する請求項 23記載の音声通信装置。

[33] 設定 ·呼接続処理部は、

利用可能な伝送路の帯域または入力手段を介して入力された利用者力の要求の少なくともいずれか一方を基に、送信する音声符号化データを送信部に選択させる請求項 23記載の音声通信装置。

[34] 復号した音声データの標本ィ匕周波数を、音声データバッファに格納された音声データ量に応じて変換するバッファ制御部を有する請求項 23記載の音声通信装置。

[35] バッファ制御部は、音声データバッファに格納する音声データの目標量である標準量を、音声符号ィ匕データの到着揺らぎに合わせて設定する請求項 34記載の音声通信装置。

[36] バッファ制御部は、

音声データバッファに格納される音声データ量が該音声データバッファのサイズを越える場合、無音と判定した音声データを廃棄する請求項 34記載の音声通信装置

[37] バッファ制御部は、

音声データバッファに格納された音声データ量が無くなる場合、音声データを補充する請求項 34記載の音声通信装置。

[38] 受信した音声符号ィ匕データが一時的に格納される受信バッファを有し、

音声再生部は、

所定量の音声データが再生される毎に前記受信バッファに格納されている先頭の音声符号ィ匕データを出力するように指示し、前記受信バッファが空になる場合は音声データを補充する請求項 23記載の音声通信装置。

[39] 補充する音声データは、無音の音声データである請求項 37記載の音声通信装置

[40] 補充する音声データは、前記復号方式が備えるエラー隠蔽復号データである請求項 37記載の音声通信装置。

[41] 補充する音声データは、無音の音声データである請求項 38記載の音声通信装置

[42] 補充する音声データは、前記復号方式が備えるエラー隠蔽復号データである請求項 38記載の音声通信装置。

[43] 設定 ·呼接続処理部は、

受信した音声符号化データに付加される符号化方式を識別するための符号化方式識別子、呼接続処理により得られる符号化方式の情報、呼接続処理により得られる符号化に関する設定情報、または音声符号ィ匕データを受信するセッションのうち、少なくとも 1つの情報を基に受信した音声符号化データの復号方式を選択する請求項 23記載の音声通信装置。

[44] 設定 ·呼接続処理部は、

受信した音声符号化データの到着揺らぎまたは損失率を含む受信データの到着状況を通信相手へ送信し、

前記到着状況を受信すると、該到着状況に応じて送信する音声符号化データの符号ィ匕方式または標本ィ匕周波数の少なくとも一方を切り替える請求項 23記載の音声通信装置。

[45] ネットワークを介して互いに通信可能に接続される請求項 23記載の音声通信装置を有する音声通信システム。

[46] 音声通信装置間の呼の確立に必要な情報を該音声通信装置にそれぞれ供給する

、ネットワークを介して前記音声通信装置と通信可能に接続される呼接続サーバ装置を有する請求項 45記載の音声通信システム。

[47] ネットワークを経由して互いに音声を送受信するコンピュータに実行させるためのプログラムであって、

所定の標本化周波数でデジタル化された送信対象の音声データを、対応可能な複数種類の符号ィ匕方式を用いてそれぞれ符号ィ匕し、

該符号化された音声データである音声符号ィ匕データのうち、少なくとも一つの種類の音声符号化データを送信部から送信させ、

前記復号された音声データを音声データ用のバッファへ一時的に格納し、前記音声データ用のバッファ力前記音声データを順次読み出して再生するための処理をコンピュータに実行させるためのプログラム。

[48] 複数種類の符号ィ匕方式は、それぞれが異なる標本ィ匕周波数である請求項 47記載のプログラム。

[49] 送信する音声符号化データの符号化方式と、受信した音声符号化データを復号する復号方式に対応する符号ィ匕方式とが異なる種類である請求項 47記載のプログラム

[50] 符号化後の音声符号化データに対応する音声が同期するように、各符号化方式の処理開始タイミングをそれぞれ移動させる請求項 47記載のプログラム。

[51] 符号化後の音声符号化データに対応する音声が同期するように、各符号化方式の音声データのサンプル数をそれぞれ設定する請求項 47記載のプログラム。

[52] 符号化後の音声符号化データに対応する音声が同期するように、符号化方式毎に異なる符号ィ匕単位であるフレームの長さに応じて、符号化方式の切り替えタイミングを調整する請求項 47記載のプログラム。

[53] 音声符号化データを、符号化方式毎に異なるフレーム単位で復号する請求項 47 記載のプログラム。

[54] 送信対象の音声データの標本化周波数を、各符号化方式に対応する標本化周波数にそれぞれ変換する請求項 47記載のプログラム。

[55] 符号ィ匕方式毎に割り当てる符号語の帯域を、複数種類の符号化方式のうち、最も低い標本ィ匕周波数の音声データの帯域までとする請求項 47記載のプログラム。

[56] 音声符号化データに、該音声符号化データの符号化方式に対応する符号化方式識別子を付与して送信部より送信させる請求項 47記載のプログラム。

[57] 利用可能な伝送路の帯域または入力手段を介して入力された利用者力の要求の少なくともいずれか一方を基に、送信する音声符号化データを選択する請求項 47 記載のプログラム。

[58] 復号した音声データの標本ィ匕周波数を、音声データ用のバッファに格納された音声データ量に応じて変換する請求項 47記載のプログラム。

[59] 音声データ用のバッファに格納する音声データの目標量である標準量を、音声符号ィ匕データの到着揺らぎに合わせて設定する請求項 47記載のプログラム。

[60] 音声データ用のバッファに格納される音声データ量が該音声データ用のバッファのサイズを越える場合、無音と判定した音声データを廃棄する請求項 47記載のプログラム。

[61] 音声データ用のバッファに格納された音声データ量が無くなる場合、音声データを補充する請求項 47記載のプログラム。

[62] 受信した音声符号化データを一時的に受信バッファへ格納し、

所定量の音声データが再生される毎に前記受信バッファに格納されている先頭の音声符号ィ匕データを出力し、前記受信バッファが空になる場合は音声データを補充する請求項 47記載のプログラム。

[63] 補充する音声データは、無音の音声データである請求項 61記載のプログラム。

[64] 補充する音声データは、前記復号方式が備えるエラー隠蔽復号データである請求項 61記載のプログラム。

[65] 補充する音声データは、無音の音声データである請求項 62記載のプログラム。

[66] 補充する音声データは、前記復号方式が備えるエラー隠蔽復号データである請求項 62記載のプログラム。

[67] 受信した音声符号化データに付加される符号化方式を識別するための符号化方式識別子、呼接続処理により得られる符号化方式の情報、呼接続処理により得られる符号化に関する設定情報、または音声符号ィ匕データを受信するセッションのうち、少なくとも 1つの情報を基に受信した音声符号化データの復号方式を選択する請求項 47記載のプログラム。

[68] 受信した音声符号化データの到着揺らぎまたは損失率を含む受信データの到着状況を通信相手へ送信部に送信させ、

前記到着状況を受信すると、該到着状況に応じて送信する音声符号化データの符号ィ匕方式または標本ィ匕周波数の少なくとも一方を切り替える請求項 47記載のプログラム。