[go: up one dir, main page]

JP2009049721A - 音声等提供方法、音声等送信装置、音声等受信装置、およびコンピュータプログラム - Google Patents

音声等提供方法、音声等送信装置、音声等受信装置、およびコンピュータプログラム Download PDF

Info

Publication number
JP2009049721A
JP2009049721A JP2007214179A JP2007214179A JP2009049721A JP 2009049721 A JP2009049721 A JP 2009049721A JP 2007214179 A JP2007214179 A JP 2007214179A JP 2007214179 A JP2007214179 A JP 2007214179A JP 2009049721 A JP2009049721 A JP 2009049721A
Authority
JP
Japan
Prior art keywords
packet
packets
sampling
voice
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007214179A
Other languages
English (en)
Inventor
Shinji Sogo
真司 十河
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2007214179A priority Critical patent/JP2009049721A/ja
Priority to US12/166,631 priority patent/US20090052352A1/en
Publication of JP2009049721A publication Critical patent/JP2009049721A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/167Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/10537Audio or video recording
    • G11B2020/10546Audio or video recording specifically adapted for audio data
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/1062Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/1075Data buffering arrangements, e.g. recording or playback buffers the usage of the buffer being restricted to a specific kind of data
    • G11B2020/10759Data buffering arrangements, e.g. recording or playback buffers the usage of the buffer being restricted to a specific kind of data content data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】パケット通信による音声または動画像の提供に際して、トラフィックを増加させることなく従来よりも音飛びを減少させる。
【解決手段】第一の装置は、第二の装置に対して音声を送信する際に、次のような処理を行う。アナログの音声信号Saをサンプリングし符号化する。各時刻のサンプリング値のうち、同一の時間帯に属する複数のサンプリング値を、2つのパケットPT1、PT2に振り分ける。そして、パケットPT1、PT2を第二の装置に宛てて送信する。
【選択図】図4

Description

本発明は、パケット通信による音声または動画像の提供の方法などに関する。
図17は従来の音声のパケット通信の例を説明するための図である。
従来、2台の装置同士が音声または動画像のデータをパケット通信でやりとりする場合は、図17に示すような手順で処理がなされる。
送信側の装置は、アナログの音声信号Sa’をサンプリングしてディジタル化する。そして、一定の周期(一般的には20ミリ秒)の期間分のサンプリング値を1つのパケットPT(PTa、PTb、…)にまとめて格納し、送信する。
受信側の装置は、パケットPTを受信すると、それをバッファに記憶し、時刻順に、パケットPTに格納されているサンプリング値に基づいて音声データをアナログ化し音声を再生する。
一部のパケットPTが欠損すると、受信側の装置は、そのパケットPTに対応する時間帯だけ音声を再生することができない。つまり、例えばパケットPTbが欠損すると、音飛びが発生してしまう。音飛びを含む音声は、それを含まない音声に比べて、聞き取りにくい。
そこで、特許文献1に記載される方法を用いることが考えられる。この方法によると、送信側の装置は、音声パケットを複製して二重化して受信側の装置に伝送する。受信側の装置は、一方の音声パケットが欠落しても、他方の音声パケットを用いることによって音声を再生する。これにより、音飛びが起きる可能性を減らすことができる。
そのほか、特許文献2には、次のような方法が記載されている。送信側の装置は、所定サンプル周期で入力される音声信号を複数ビットの符号化音声信号に変換する。1フレーム期間ごとに得られる複数の上記符号化音声信号のうち、上位複数ビットより第1パケットを作成し、下位複数ビットより第2パケットを作成する。上記第1のパケットと上記第2のパケットのそれぞれを、上記1フレーム期間に入力された音声信号の性質に応じて決定する少なくとも2段階の優先順位を付与して送出する。
特開2006−319463号公報 特開平2−143636号公報
ところが、特許文献1に記載される方法は、二重化に伴ってトラフィックが増加する。したがって、送信側および受信側の各装置に十分な能力(CPUの速度、バッファの容量、およびNICの通信速度など)が備わっていない場合または通信回線に十分な帯域がない場合は、却って音飛びを発生しやすくしてしまう。
特許文献2に記載される方法は、通信回線上で優先順位通りに処理されず、第1パケットつまり上位ビットからなるパケットが欠損してしまうと、音飛びが発生してしまう。
送信されてきたパケットに基づいて動画像の再生する場合も、音声の再生の場合と同様に、パケットの欠損によるコマ落ち(フレーム落ち)に関する問題がある。
本発明は、このような問題点に鑑み、パケット通信による音声または動画像の提供に際して、トラフィックを増加させることなく従来よりも音飛びを減少させることを、目的とする。
本発明に係る音声等提供方法は、第一の装置から第二の装置に対して音声または動画像を提供する音声等提供方法であって、前記第一の装置に、音声または動画像のアナログ信号をサンプリングすることによって得られた、各時刻のサンプリング値のうち、同一の時間帯に属する複数のサンプリング値を複数のパケットに振り分ける振分処理と、サンプリング値が振り分けられたパケットを前記第二の装置に宛てて送信する送信処理と、を実行させる、ことを特徴とする。
好ましくは、サンプリング値を時刻順に所定個数ずつ交互に振り分けるように前記振分処理を前記第一の装置に実行させる。
または、前記時間帯とは異なる第二の時間帯に属する一部の時刻のサンプリング値を、前記複数のパケットに含まれる一部のパケットに振り分け、かつ、当該第二の時間帯に属する残りの時刻のサンプリング値を、他のパケットに振り分ける、第二のパケット振分処理を、前記第一の装置に実行させる。
または、前記第二の装置に、前記第一の装置から送信されてきた各パケットに示される各サンプリング値に基づいて音声または動画像を再生する再生処理を実行させる。
または、前記第二の装置に、前記第一の装置から送信されてきたパケットを、所定の等差数列のいずれかの項の値と同一のシーケンス番号を有するものから優先的にバッファに記憶させる、パケット記憶処理を、実行させる。
本発明によると、パケット通信による音声または動画像の提供に際して、トラフィックを増加させることなく従来よりも音飛びを減少させることができる。
図1は通話システム1の全体的な構成の例を示す図、図2は端末装置2のハードウェア構成の例を示す図、図3は端末装置2の機能的構成の例を示す図である。
本発明に係る通話システム1は、互いに離れた場所にいるユーザ同士が通話を行うためのシステムであって、図1に示すように、複数の端末装置2(2A、2B、…)および通信回線3などによって構成される。通信回線3として、インターネット、LAN、公衆回線、または専用線などが用いられる。
端末装置2は、図2に示すように、CPU20a、RAM20b、ROM20c、ハードディスク20d、ディスプレイ20e、ネットワークインタフェースカード(NIC)20f、マイクロフォン20g、スピーカ20h、キーボード20i、およびトラックパッド20jなどによって構成されている。
ROM20cまたはハードディスク20dには、図3に示すようなサンプリング処理部201、サンプリング値記憶部202、パケット生成部203、パケット送信制御部204、通話パケット取得部211、受信パケット記憶部212、音声信号再構成部213、および音声再生処理部214などの機能を実現するためのプログラムおよびデータが記憶されている。これらのプログラムおよびデータは必要に応じてRAM20bにロードされ、CPU20aによってプログラムが実行される。これらの機能の一部または全部を回路のみによって実現してもよい。
端末装置2として、パーソナルコンピュータまたはPDA(Personal Digital Assistant)などが用いられる。また、通信のプロトコルとして、TCP/IPなどが用いられる。
次に、図3に示す端末装置2の各部の処理内容などについて詳細に説明する。
〔話し手の音声を相手に届けるための処理〕
図4はサンプリング値をパケットPTに振り分ける方法の例を説明するための図である。
サンプリング処理部201は、図4に示すように、マイクロフォン20gによって集音されたアナログの音声信号Saを、所定の周期Tmでサンプリングし符号化する。図中の丸数字1、2、…、の縦軸方向の値1つ1つがサンプリング値である。
サンプリング処理部201によって得られたサンプリング値は、サンプリング値記憶部202に一時的に記憶される。
パケット生成部203は、所定の時間Ta(例えば、20ミリ秒間)の音声のサンプリング値を用いて、次のようにパケットを生成する。なお、本願に添付する図には、説明の簡単のため、サンプリング周波数(サンプリングレート)を実際よりもかなり低くしてサンプリングを行う例を示している。
サンプリング値記憶部202に記憶されている時間Taのサンプリング値の中から、古い順に、奇数番目のサンプリング値を抽出する。そして、図4のパケットPT1のような、抽出したサンプリング値、送信先の装置の識別情報(IPアドレスまたはMACアドレスなど)、およびシーケンス番号(SN)などを格納したパケットPTを生成する。
さらに、サンプリング値記憶部202に記憶されている時間Taの残りのサンプリング値を古い順に抽出する。つまり、偶数番目のサンプリング値を抽出する。そして、奇数番目の場合と同様に、パケットPT2のような、抽出したサンプリング値、送信先の装置の識別情報(IPアドレスまたはMACアドレスなど)、およびシーケンス番号などを格納したパケットPTを生成する。
このように、パケット生成部203は、同一の区間に属するサンプリング値を、奇数番目のものと偶数番目のものとに分け、2つのパケットPTを生成する。
シーケンス番号として、両パケットPTが対であることが分かるように、規則的なシーケンス番号を割り振っておく。例えば、奇数番目のサンプリング値からなるパケットPTに「2n−1」(ただし、nは自然数。)というシーケンス番号を割り振った場合は、他方のパケットPTには「2n」というシーケンス番号を割り振る。
パケットPTの生成のために用いられたサンプリング値のデータは、サンプリング値記憶部202から削除される。
パケット送信制御部204は、パケット生成部203によって生成されたパケットPTを通話の相手の装置に宛てて送信するように、ネットワークインタフェースカード20fを制御する。その後、パケットPTは、通信回線3を介して相手側の装置に届けられる。
〔話し手の音声を聞き手のために再現する処理〕
図5は音声信号Sdの再構成の処理の流れの例を説明するフローチャート、図6は2つのパケットPTのサンプリング値を組み合わせる方法の例を説明するための図、図7は一方のパケットPTが欠損した場合の音声信号Sdの再構成の方法の例を説明するための図、図8は一方のパケットPTが欠損した場合の音声信号Sdの再構成の方法の変形例を説明するための図である。
通話パケット取得部211は、ネットワークインタフェースカード20fによって受信される種々のパケットの中から、話し手の装置から発信されたパケットPTを取得する。このパケットPTは、一時的に受信パケット記憶部212に記憶される。つまり、受信パケット記憶部212は、受信されたパケットのバッファの役割を果たす。
ただし、受信パケット記憶部212に同時に記憶させておくことができるパケットPTの個数には限りがある。後述するように、パケットPTは音声信号再構成部213によって使用されたら直ちに削除される。記憶後に所定の時間を経過しても使用されなかったパケットPTも、削除される。また、遅延して通話パケット取得部211によって取得されたパケットPTは、受信パケット記憶部212に記憶されることなく破棄される。
音声信号再構成部213は、受信パケット記憶部212に記憶されているパケットPTを組み立てることによって、ディジタルの音声信号Sdを再構成する。ここで、音声信号Sdの再構成の手順を、図5、図6、および図7を参照して説明する。
音声信号再構成部213は、原則として、パケットPTを古い順に(つまり、発信元から先に発信された順に、シーケンス番号の若い順に)使用して音声信号Sdを生成する。そこで、常時、音声信号Sdを再構成するために次に使用すべきパケットPTのシーケンス番号を管理している。図5において、音声信号再構成部213は、次に使用すべきパケットPTおよびそれと対をなすパケットPTを受信パケット記憶部212から呼び出すことを試みる(#501)。
それらのパケットPTを呼び出す順番になってから所定の時間Tb(音声の遅延が大きくならない程度の時間。例えば、200ミリ秒。)が経過するまでに両方のパケットPTを呼び出すことができたら(#502でYes)、両方を用いて、図6のように、音声信号Sdを再現する(#503)。すなわち、両パケットPTのうち、古いほうの1番目(丸数字1)に示されるサンプリング値、新しいほうの1番目(丸数字2)に示されるサンプリング値、古いほうの2番目(丸数字3)に示されるサンプリング値、新しいほうの2番目(丸数字4)に示されるサンプリング値、…、のように、両パケットPTのサンプリング値を古い順に交互に組み合わせることによって、音声信号Sdを再現する。
一方、時間Tbが経過するまでに片方のパケットPTしか呼び出すことができなかった場合は(#504でYes、#505でYes)、そのパケットPTのみを用いて、図7のように、音声信号Sdを再現する(#506)。すなわち、サンプリングの周期が図6の場合の2倍になるように、ディジタル音声信号を再現する。
なお、呼び出すことができなかったパケットPTのサンプリング値(図7の例では、偶数の丸数字に対応するサンプリング値)を、呼び出すことができたパケットPTのサンプリング値(図7の例では、奇数の丸数字に対応するサンプリング値)で補間してもよい。補間の値として、図8のように、呼び出すことができたパケットPTの連続するサンプリング値の単純平均を取ってもよい。または、最小二乗法によって補間してもよい。
または、時間Tbが経過するまでに一対のパケットPTを両方とも呼び出すことができなかった場合は(#504でYes、#505でNo)、それに対応する区間は無音とする(#507)。
そして、使用したパケットPTを受信パケット記憶部212から削除する(#508)。なお、一方または両方のパケットPTを呼び出すことができなかった場合において、それが時間Tbの経過後に通話パケット取得部211によって取得されたとしても、それは無効なものとして破棄される。
図3に戻って、音声再生処理部214は、音声信号再構成部213によって再構成された音声信号Sdを用いてアナログの音声信号を生成し、スピーカ20hに出力する。これにより、スピーカ20hから話し手の音声が再生される。
図9は送信側および受信側それぞれの端末装置2の全体的な処理の流れの例を説明するフローチャートである。
次に、2人のユーザUA、UBがそれぞれ端末装置2A、2Bを使用して通話を行う場合を例に、両端末装置2の全体的な処理の流れを、図9のフローチャートを参照して説明する。
端末装置2A、2Bの接続が確立された後、ユーザUAが端末装置2Aのマイクロフォン20gに向かって声を発すると、端末装置2Aは、その声を入力し(#11)、サンプリングを行う(#12)。サンプリング値を時間Taごとにグループ化し、さらに、図4に示すように、1つのグループ内のサンプリング値を奇数番目のものと偶数番目のものとに分けてそれぞれをパケット化する(#13)。これによって得られたパケットPTを端末装置2Bに宛てて送信する(#14)。ユーザUAが話している間、ステップ#11〜#14の処理が適宜実行される。
端末装置2Bは、端末装置2AからのパケットPTを次々に受信する(#21)。古い順に、図6に示すように、1対のパケットPTを用いて音声信号Sdを次々に再構成する(#22)。ただし、片方のパケットPTしか得られなかった場合は、図7に示すように、それを用いて音声信号Sdを再構成する。
そして、再構成した音声信号Sdを時間順に繋ぎ、アナログの音声信号を再現し音声をスピーカ20hから出力する(#23)。
ユーザUBが発した声の伝達は、上に説明した処理を端末装置2A、2Bで対称に(交代して)行うことによって実現される。
本実施形態によると、トラフィックを増加させることなく従来よりも音飛びを減少させることができる。
本実施形態では、二者通話の場合を例に説明したが、三者以上の通話の場合にも本発明を適用することができる。
本実施形態では、音声のやり取りを行う場合を例に説明したが、動画像のやり取りを行う場合にも、本発明を適用することができる。
本実施形態では、パーソナルコンピュータおよびTCP/IPなどによって構成される通話システム1を例に説明したが、携帯電話網またはPHSなどの通話システムにも本発明を適用することができる。
図10はサンプリング値をパケットPTに振り分ける方法の変形例を説明するための図である。
本実施形態では、図4で説明したように同一の時間帯のサンプリング値を2つのパケットPTに振り分けたが、3つ以上のパケットPTに振り分けてもよい。例えば、図10に示すように、4つのパケットPTに振り分けてもよい。
図11は1対のパケットPTが欠損した場合の音声信号Sdの例を示す図、図12はサンプリング値をパケットPTに振り分ける方法の変形例を説明するための図、図13は連続する2つのパケットPTが欠損した場合の音声信号Sdの例を示す図、図14はサンプリング値をパケットPTに振り分ける方法の変形例を説明するための図である。
図5および図6で説明した方法によると、話し手側の端末装置2は、対をなす2つのパケットPTを一斉に発信する。よって、同じ事象に起因して両方のパケットPTが欠損するおそれがある。そうすると、図11の時刻Jb〜時刻Jcの区間のように、無音の区間が生じ音飛びが生じてしまう。そこで、音飛びをさらに生じにくくするために、端末装置2を次のように構成すればよい。
話し手側の端末装置2のパケット生成部203は、次の(1)〜(3)の規則に基づいて、図12のようなパケットPTを生成する。
(1) 時間Ta/2の長さの時間帯ごとに1つのパケットPTを生成する。
(2) u番目(「u」は正の奇数。)のパケットPTには、(u−1)番目の時間帯の中の奇数番目のサンプリング値およびu番目の時間帯の中の奇数番目のサンプリング値を格納する。ただし、最初のパケットPTには、最初の時間帯のみの奇数番目のサンプリング値を格納する。
(3) v番目(「v」は正の偶数。)のパケットPTには、(v−1)番目の時間帯の中の偶数番目のサンプリング値およびv番目の時間帯の中の偶数番目のサンプリング値を格納する。ただし、最後のパケットPTには、最後の時間帯のみの奇数番目のサンプリング値を格納する。
パケット送信制御部204は、生成されたパケットPTを逐次、聞き手側の端末装置2に送信する。
一方、聞き手側の端末装置2の音声信号再構成部213は、n番目のパケットPTの後ろ半分のサンプリング値と(n+1)番目のパケットPTの前半分のサンプリング値とを1つずつ交互に組み合わせることによって、音声信号Sdを再構成する。
このように、話し手側の端末装置2が半周期(時間Ta/2)ごとにパケットPTを生成し送信することによって、同じ事象に起因して連続する2つのパケットPTが欠損するのを防止することができる。
また、万が一、連続する2つのパケットPTが聞き手側の端末装置2に届かなくても、図13に示すように、無音区間を、図11の場合のほぼ1/2に減らすことができる。
または、図14に示すように、時間Ta/4の長さの時間帯ごとに1つのパケットPTを生成しサンプリング値を格納させてもよい。
図15は従来のバッファのオーバフローの例を示す図、図16は本実施形態におけるバッファのオーバフローの例を示す図である。なお、図15および図16に示す各数字はシーケンス番号である。
バッファが一杯になっているにもかかわらず、バッファに格納すべきデータがさらに発生した場合は、従来は、その発生したデータをバッファに格納せずに破棄する。
従来のこの方法を受信パケット記憶部212に適用すると、受信パケット記憶部212に格納されているパケットPTを処理する速さよりも、通話パケット取得部211がパケットPTを取得する速さのほうが速ければ、図15(a)〜(c)に示すように、シーケンス番号が連続する複数のパケットPTが破棄されてしまう。しかし、そうすると、図11で説明したように、音飛びを生じてしまうことがある。
そこで、どのパケットPTを優先的にバッファに格納するかを決めておいてもよい。例えば、シーケンス番号が奇数であるパケットPTを優先すると決めておく。そして、シーケンス番号が奇数であるパケットPTが取得されたら、図16(a)および(c)のように、受信パケット記憶部212に格納されているパケットPTのうちのシーケンス番号が偶数であるものを1つ削除し、取得されたパケットPTを格納する。シーケンス番号が偶数であるパケットPTが取得された場合は、従来通り、図16(b)のように、それを削除する。
図16で説明した方法は、ゆらぎや遅延が発生しやすいIP網において、特に有効である。IP網でゆらぎが大きくなるとバッファオーバフローが発生しやすくなるが、バッファオーバフローが発生しても、上述の通り、音飛びを防止することができる。
または、優先順位を3段階以上設けてもよい。例えば、4の倍数のシーケンス番号を有するパケットPTを最優先し、(4の倍数−2)のシーケンス番号を有するパケットPTをその次に優先するようにしてもよい。それ以外の等差数列に基づいて優先順位を決めてもよい。
その他、通話システム1、端末装置2の全体または各部の構成、処理内容、処理順序、パケットの構成などは、本発明の趣旨に沿って適宜変更することができる。
上に述べた実施例には、以下に述べるような付記も開示されている。
(付記1)
第一の装置から第二の装置に対して音声または動画像を提供する音声等提供方法であって、
前記第一の装置に、
音声または動画像のアナログ信号をサンプリングすることによって得られた、各時刻のサンプリング値のうち、同一の時間帯に属する複数のサンプリング値を複数のパケットに振り分ける振分処理と、
サンプリング値が振り分けられたパケットを前記第二の装置に宛てて送信する送信処理と、を実行させる、
ことを特徴とする音声等提供方法。
(付記2)
サンプリング値を時刻順に所定個数ずつ交互に振り分けるように前記振分処理を前記第一の装置に実行させる、
付記1記載の音声等提供方法。
(付記3)
前記時間帯とは異なる第二の時間帯に属する一部の時刻のサンプリング値を、前記複数のパケットに含まれる一部のパケットに振り分け、かつ、当該第二の時間帯に属する残りの時刻のサンプリング値を、他のパケットに振り分ける、第二のパケット振分処理を、前記第一の装置に実行させる、
付記1または付記2記載の音声等提供方法。
(付記4)
前記第二の装置に、
前記第一の装置から送信されてきた各パケットに示される各サンプリング値に基づいて音声または動画像を再生する再生処理を実行させる、
付記1ないし付記3のいずれかに記載の音声等提供方法。
(付記5)
前記第二の装置に、
前記第一の装置から送信されてきたパケットを、所定の等差数列のいずれかの項の値と同一のシーケンス番号を有するものから優先的にバッファに記憶させる、パケット記憶処理を、実行させる、
付記4記載の音声等提供方法。
(付記6)
相手装置に対して音声または動画像を送信する音声等送信装置であって、
音声または動画像のアナログ信号をサンプリングすることによって得られた、各時刻のサンプリング値のうち、同一の時間帯に属する複数のサンプリング値をN個(N≧2)のパケットに振り分けるパケット振分手段と、
前記パケットを前記相手装置に宛てて送信する送信手段と、
を有することを特徴とする音声等送信装置。
(付記7)
音声または動画像のパケットを送信装置から受信する受信手段と、
前記パケットを、所定の等差数列のいずれかの項の値と同一のシーケンス番号を有するものから優先的に記憶するパケット記憶手段と、
前記パケット記憶手段に記憶されている前記各パケットに示される各サンプリング値に基づいて音声または動画像を再生する音声等再生手段と、
を有することを特徴とする音声等受信装置。
(付記8)
前記受信手段は、付記6に記載される音声等送信装置の特徴を有する前記送信装置から前記パケットを受信する、
付記7記載の音声等受信装置。
(付記9)
相手装置に対して音声または動画像を送信するコンピュータを制御するためのコンピュータプログラムであって、
前記コンピュータに、
音声または動画像のアナログ信号をサンプリングすることによって得られた、各時刻のサンプリング値のうち、同一の時間帯に属する複数のサンプリング値を、N個(N≧2)のパケットに振り分ける処理と、
前記パケットを前記相手装置に宛てて送信する処理と、
を実行させることを特徴とするコンピュータプログラム。
(付記10)
音声または動画像のパケットを送信装置から受信するコンピュータを制御するためのコンピュータプログラムであって、
前記送信装置から受信した前記パケットを、所定の等差数列のいずれかの項の値と同一のシーケンス番号を有するものから優先的にバッファに記憶させる処理と、
前記バッファに記憶されている前記各パケットに示される各サンプリング値に基づいて音声または動画像を再生する処理と、
を実行させることを特徴とするコンピュータプログラム。
通話システムの全体的な構成の例を示す図である。 端末装置のハードウェア構成の例を示す図である。 端末装置の機能的構成の例を示す図である。 サンプリング値をパケットに振り分ける方法の例を説明するための図である。 音声信号の再構成の処理の流れの例を説明するフローチャートである。 2つのパケットのサンプリング値を組み合わせる方法の例を説明するための図である。 一方のパケットが欠損した場合の音声信号の再構成の方法の例を説明するための図である。 一方のパケットが欠損した場合の音声信号の再構成の方法の変形例を説明するための図である。 送信側および受信側それぞれの端末装置の全体的な処理の流れの例を説明するフローチャートである。 サンプリング値をパケットに振り分ける方法の変形例を説明するための図である。 1対のパケットが欠損した場合の音声信号の例を示す図である。 サンプリング値をパケットに振り分ける方法の変形例を説明するための図である。 連続する2つのパケットが欠損した場合の音声信号の例を示す図である。 サンプリング値をパケットに振り分ける方法の変形例を説明するための図である。 従来のバッファのオーバフローの例を示す図である。 本実施形態におけるバッファのオーバフローの例を示す図である。 従来の音声のパケット通信の例を説明するための図である。
符号の説明
2 端末装置
2A 端末装置(第一の装置、音声等送信装置)
2B 端末装置(第二の装置、音声等受信装置)
203 パケット生成部(パケット振分手段)
204 パケット送信制御部(送信手段)
211 通話パケット取得部(受信手段)
212 受信パケット記憶部(パケット記憶手段、バッファ)
214 音声再生処理部(音声等再生手段)
PT パケット

Claims (8)

  1. 第一の装置から第二の装置に対して音声または動画像を提供する音声等提供方法であって、
    前記第一の装置に、
    音声または動画像のアナログ信号をサンプリングすることによって得られた、各時刻のサンプリング値のうち、同一の時間帯に属する複数のサンプリング値を複数のパケットに振り分ける振分処理と、
    サンプリング値が振り分けられたパケットを前記第二の装置に宛てて送信する送信処理と、を実行させる、
    ことを特徴とする音声等提供方法。
  2. サンプリング値を時刻順に所定個数ずつ交互に振り分けるように前記振分処理を前記第一の装置に実行させる、
    請求項1記載の音声等提供方法。
  3. 前記時間帯とは異なる第二の時間帯に属する一部の時刻のサンプリング値を、前記複数のパケットに含まれる一部のパケットに振り分け、かつ、当該第二の時間帯に属する残りの時刻のサンプリング値を、他のパケットに振り分ける、第二のパケット振分処理を、前記第一の装置に実行させる、
    請求項1または請求項2記載の音声等提供方法。
  4. 前記第二の装置に、
    前記第一の装置から送信されてきた各パケットに示される各サンプリング値に基づいて音声または動画像を再生する再生処理を実行させる、
    請求項1ないし請求項3のいずれかに記載の音声等提供方法。
  5. 前記第二の装置に、
    前記第一の装置から送信されてきたパケットを、所定の等差数列のいずれかの項の値と同一のシーケンス番号を有するものから優先的にバッファに記憶させる、パケット記憶処理を、実行させる、
    請求項4記載の音声等提供方法。
  6. 相手装置に対して音声または動画像を送信する音声等送信装置であって、
    音声または動画像のアナログ信号をサンプリングすることによって得られた、各時刻のサンプリング値のうち、同一の時間帯に属する複数のサンプリング値をN個(N≧2)のパケットに振り分けるパケット振分手段と、
    前記パケットを前記相手装置に宛てて送信する送信手段と、
    を有することを特徴とする音声等送信装置。
  7. 音声または動画像のパケットを送信装置から受信する受信手段と、
    前記パケットを、所定の等差数列のいずれかの項の値と同一のシーケンス番号を有するものから優先的に記憶するパケット記憶手段と、
    前記パケット記憶手段に記憶されている前記各パケットに示される各サンプリング値に基づいて音声または動画像を再生する音声等再生手段と、
    を有することを特徴とする音声等受信装置。
  8. 相手装置に対して音声または動画像を送信するコンピュータを制御するためのコンピュータプログラムであって、
    前記コンピュータに、
    音声または動画像のアナログ信号をサンプリングすることによって得られた、各時刻のサンプリング値のうち、同一の時間帯に属する複数のサンプリング値を、N個(N≧2)のパケットに振り分ける処理と、
    前記パケットを前記相手装置に宛てて送信する処理と、
    を実行させることを特徴とするコンピュータプログラム。
JP2007214179A 2007-08-20 2007-08-20 音声等提供方法、音声等送信装置、音声等受信装置、およびコンピュータプログラム Pending JP2009049721A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007214179A JP2009049721A (ja) 2007-08-20 2007-08-20 音声等提供方法、音声等送信装置、音声等受信装置、およびコンピュータプログラム
US12/166,631 US20090052352A1 (en) 2007-08-20 2008-07-02 Method for providing a sound or the like, apparatus for transmitting a sound or the like, and apparatus for receiving a sound or the like

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007214179A JP2009049721A (ja) 2007-08-20 2007-08-20 音声等提供方法、音声等送信装置、音声等受信装置、およびコンピュータプログラム

Publications (1)

Publication Number Publication Date
JP2009049721A true JP2009049721A (ja) 2009-03-05

Family

ID=40382044

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007214179A Pending JP2009049721A (ja) 2007-08-20 2007-08-20 音声等提供方法、音声等送信装置、音声等受信装置、およびコンピュータプログラム

Country Status (2)

Country Link
US (1) US20090052352A1 (ja)
JP (1) JP2009049721A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI898714B (zh) * 2024-07-09 2025-09-21 瑞昱半導體股份有限公司 聲音數據處理方法與系統

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002176442A (ja) * 2000-12-08 2002-06-21 Matsushita Electric Ind Co Ltd データ通信中継装置
JP2007194704A (ja) * 2006-01-17 2007-08-02 Matsushita Electric Ind Co Ltd データ通信端末装置及びデータ通信システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5406560A (en) * 1988-11-25 1995-04-11 Hitachi, Ltd. Speech packet communication system
US5130985A (en) * 1988-11-25 1992-07-14 Hitachi, Ltd. Speech packet communication system and method
FI106232B (fi) * 1998-05-19 2000-12-15 Nokia Networks Oy Audio/videosignaalin välitys pakettiverkossa vaihtuvalla bittinopeudella
US6775265B1 (en) * 1998-11-30 2004-08-10 Cisco Technology, Inc. Method and apparatus for minimizing delay induced by DTMF processing in packet telephony systems
US6885661B1 (en) * 1998-12-30 2005-04-26 Nortel Networks Limited Private branch exchange built using an ATM Network
US6445696B1 (en) * 2000-02-25 2002-09-03 Network Equipment Technologies, Inc. Efficient variable rate coding of voice over asynchronous transfer mode
JP2002271389A (ja) * 2001-03-07 2002-09-20 Hitachi Telecom Technol Ltd パケット処理装置およびパケット処理方法
US7113514B2 (en) * 2002-02-13 2006-09-26 Motorola, Inc. Apparatus and method for implementing a packet based teleconference bridge
US7333478B2 (en) * 2002-05-30 2008-02-19 Garth Wiebe Methods and apparatus for transporting digital audio-related signals
US20060221869A1 (en) * 2005-03-29 2006-10-05 Teck-Kuen Chua System and method for audio multicast
US20070064677A1 (en) * 2005-09-12 2007-03-22 Innomedia Pte Ltd. Packet media gateway with a secondary PSTN connection and method for time slot switching
WO2007083278A1 (en) * 2006-01-20 2007-07-26 Nokia Corporation Distributed (modular) internal architecture

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002176442A (ja) * 2000-12-08 2002-06-21 Matsushita Electric Ind Co Ltd データ通信中継装置
JP2007194704A (ja) * 2006-01-17 2007-08-02 Matsushita Electric Ind Co Ltd データ通信端末装置及びデータ通信システム

Also Published As

Publication number Publication date
US20090052352A1 (en) 2009-02-26

Similar Documents

Publication Publication Date Title
EP1708471B1 (en) System and method for audio multicast
US11356492B2 (en) Preventing audio dropout
US7822050B2 (en) Buffering, pausing and condensing a live phone call
US7830862B2 (en) System and method for modifying speech playout to compensate for transmission delay jitter in a voice over internet protocol (VoIP) network
JPS5915544B2 (ja) デイジタル信号多重伝送方式
JPH10500547A (ja) 音声通信装置
KR20080065236A (ko) 멀티미디어 회의 방법 및 신호
CN106063238B (zh) 电话会议中的在感知上连续的混合
CN103905928A (zh) 一种网络语音对讲方法、装置及系统
WO2014154065A2 (zh) 传输数据方法、媒体采集设备、视频会议终端及存储介质
CN110299144B (zh) 音频混音方法、服务器及客户端
CN109451329B (zh) 混音处理方法及装置
US7113514B2 (en) Apparatus and method for implementing a packet based teleconference bridge
EP2207311A1 (en) Voice communication device
US20110235632A1 (en) Method And Apparatus For Performing High-Quality Speech Communication Across Voice Over Internet Protocol (VoIP) Communications Networks
JP2009049721A (ja) 音声等提供方法、音声等送信装置、音声等受信装置、およびコンピュータプログラム
JP4130612B2 (ja) パケット処理装置
JP6289178B2 (ja) 通話会議システム
CN115883501A (zh) 一种多人即时通信方法、系统、介质及设备
JP5210788B2 (ja) 音声信号通信システム、音声合成装置、音声合成処理方法、音声合成処理プログラム、並びに該プログラムを格納した記録媒体
EP0650285A1 (en) Audio communication apparatus
JP2007194704A (ja) データ通信端末装置及びデータ通信システム
JP3172774B2 (ja) 音声の無音抑圧可変制御装置
JPS6268350A (ja) 音声パケツト通信方式
JP2005151104A (ja) VoIP端末

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100517

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120416

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121016