[go: up one dir, main page]

JP2012141685A - 送信装置、送信方法、及びプログラム - Google Patents

送信装置、送信方法、及びプログラム Download PDF

Info

Publication number
JP2012141685A
JP2012141685A JP2010292617A JP2010292617A JP2012141685A JP 2012141685 A JP2012141685 A JP 2012141685A JP 2010292617 A JP2010292617 A JP 2010292617A JP 2010292617 A JP2010292617 A JP 2010292617A JP 2012141685 A JP2012141685 A JP 2012141685A
Authority
JP
Japan
Prior art keywords
transmission
buffer
data
rate
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010292617A
Other languages
English (en)
Other versions
JP5664229B2 (ja
JP2012141685A5 (ja
Inventor
Yoshinobu Kure
嘉伸 久礼
Kazuhisa Hosaka
和寿 保坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010292617A priority Critical patent/JP5664229B2/ja
Priority to RU2011152176/08A priority patent/RU2011152176A/ru
Priority to US13/331,712 priority patent/US20120166670A1/en
Priority to CN2011104480610A priority patent/CN102572411A/zh
Priority to BRPI1107077-3A priority patent/BRPI1107077A2/pt
Publication of JP2012141685A publication Critical patent/JP2012141685A/ja
Publication of JP2012141685A5 publication Critical patent/JP2012141685A5/ja
Application granted granted Critical
Publication of JP5664229B2 publication Critical patent/JP5664229B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6373—Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Communication Control (AREA)

Abstract

【課題】データ伝送路の状況に拘らず、低遅延でデータを伝送する。
【解決手段】レート制御部１１５は、データを送信する際の送信レートを調整し、バッファ制御部１１２は、送信レートに基づいて、データを一時的に保存するための送信バッファ１１２aのサイズを変更し、送信バッファ１１２aに保存されているデータを読み出してRTP送信部１１３に出力する。そして、RTP送信部１１３は、送信レートで、バッファ制御部１１２により出力されるデータを送信する。本開示は、例えば動画像等を送信してリアルタイムに再生させる送信装置等に適用できる。
【選択図】図１

Description

本開示は、送信装置、送信方法、及びプログラムに関し、特に、例えば、ネットワーク等のデータ伝送路の状況に拘わらず、低遅延でデータを送信できるようにした送信装置、送信方法、及びプログラムに関する。
近年、例えば、遠隔地においてロボットアームを操作して患者を手術する遠隔手術が行われつつある。この遠隔手術では、手術の様子を撮像して得られる動画像を見ながら、執刀医がロボットアームを操作するため、数フレーム以下の低遅延（ほぼリアルタイム）で、動画像が伝送されることが望ましい。
そこで、インターネット等のデータ伝送路を経由して、動画像等を、数フレーム以下の低遅延で送信（伝送）するために、動画像を構成する各ピクチャの数ライン毎に、ウェーブレット変換による符号化（圧縮）を行う符号化技術が提案されている（例えば、引用文献１参照）。
この符号化技術では、送信装置において、ピクチャ内のデータ全ての入力を待つことなく符号化を開始し、その結果得られる符号化データを送信することができる。また、受信装置においても、送信装置からの符号化データ全てを受信する前に復号（伸張）を開始することができる。
このため、ネットワークに輻輳（トラフィックの混雑）が生じていない場合、ネットワークの輻輳に起因する遅延が生じないので、符号化データの伝送時間（送信装置からネットワークを介して受信装置に到達するまでに要する時間）は十分に短いものとなり、送信装置は、低遅延で動画像を送信できる。
しかしながら、ネットワークに輻輳が生じている場合、ネットワークの輻輳に起因する遅延が生じてしまうため、符号化データの伝送時間が長くなってしまい、送信装置は、低遅延で動画像を送信することができなくなる。
そこで、ネットワークの輻輳状況に拘らず、伝送時間を十分に短くするために、ネットワークの輻輳状況に応じて、単位時間当りにおける符号化データの送信量を表す送信レートを調整するようにしたレート制御処理が存在する。
このレート制御処理では、送信装置において、内蔵する送信バッファに符号化データを一時的に保存し、レート制御処理により調整される送信レートで受信装置に送信するようにしている。
特開２００７−３１１９２４号公報
送信装置において、送信レートが、単位時間当りにおける符号化データの生成量を表すデータ生成レートよりも高い場合、送信バッファに保存される符号化データの生成量よりも、送信バッファから出力されて送信される送信量の方が多くなる。
この場合、符号化データが送信バッファ内に滞在する時間は十分に短くなるため、低遅延で動画像を送信することができる。
しかしながら、送信装置において、送信レートが、符号化データのデータ生成レートよりも低い場合には、送信バッファから出力されて送信される送信量よりも、送信バッファに保存される符号化データの生成量の方が多くなってしまう。
この場合、符号化データが送信バッファ内に滞在する時間は長くなるため、低遅延で動画像を送信することができなくなることが生じ得る。
このように、ネットワークの輻輳に応じて送信レートを調整することにより、ネットワークの輻輳に起因する遅延を回避することはできるものの、送信レートによっては、低遅延で動画像を送信することができなくなってしまう。
本開示は、このような状況に鑑みてなされたものであり、ネットワーク等のデータ伝送路の状況に拘らず、低遅延によりデータを伝送できるようにするものである。
本開示の一側面の送信装置は、データを送信する際の送信レートを調整するレート調整部と、前記送信レートに基づいて、前記データを一時的に保存するためのバッファのサイズを変更する変更部と、前記バッファに保存されている前記データを読み出して送信部に出力する出力部と、前記出力部により出力される前記データを送信する前記送信部とを含む送信装置である。
前記変更部には、予め決められた送信バッファ時間にも基づいて、前記バッファのサイズを変更させ、前記出力部には、前記バッファに前記データを保存したときから前記送信バッファ時間以内に、前記データを読み出して前記送信部に出力させることができる。
前記出力部には、前記バッファのサイズが、前記バッファに保存済みの前記データのデータサイズ未満に変更された場合、前記データサイズが前記バッファのサイズ以下となるまで、前記バッファに保存済みの前記データを破棄させることができる。
前記出力部には、前記バッファのサイズが、前記データサイズ未満に変更された場合、前記データサイズが前記バッファのサイズ以下となるまで、前記バッファに保存済みの前記データを、予め決められた優先順序に従って破棄させることができる。
前記送信レートに基づいて、前記データを符号化して得られる符号化データを生成する際に用いる符号化パラメータを調整するパラメータ調整部と、前記データに対して、前記符号化パラメータに基づく符号化処理を行う符号化部とをさらに設けることができ、前記出力部には、前記バッファに保存されている前記符号化データを読み出して前記送信部に出力させることができる。
前記パラメータ調整部には、前記送信レートに基づいて、前記符号化パラメータとして、所定の時間における前記符号化データの生成量を表すデータ生成レートを調整させることができる。
前記レート調整部には、前記データを送信する際に用いるデータ伝送路の状況を表す伝送品質情報に基づいて、前記送信レートを調整させることができる。
前記レート調整部には、前記データの損失率、往復伝送遅延、ジッタ、S/N比(signal to noise ratio)、又はBER(Bit Error Rate)の少なくとも１つを含む前記伝送品質情報に基づいて、前記送信レートを調整させることができる。
本開示の一側面の送信方法は、データを送信する送信装置の送信方法であって、データを送信する際の送信レートを調整するレート調整ステップと、前記送信レートに基づいて、前記データを一時的に保存するためのバッファのサイズを変更する変更ステップと、前記バッファに保存されている前記データを読み出して出力する出力ステップと、前記出力ステップにより出力された前記データを送信する送信ステップとを含む送信方法である。
本開示の一側面のプログラムは、コンピュータを、データを送信する際の送信レートを調整するレート調整部と、前記送信レートに基づいて、前記データを一時的に保存するためのバッファのサイズを変更する変更部と、前記バッファに保存されている前記データを読み出して送信部に出力する出力部と、前記出力部により出力される前記データを送信する前記送信部として機能させるためのプログラムである。
本開示によれば、データを送信する際の送信レートが調整され、前記送信レートに基づいて、前記データを一時的に保存するためのバッファのサイズが変更され、前記バッファに保存されている前記データが読み出されて出力され、出力された前記データが送信される。
本開示によれば、ネットワーク等のデータ伝送路の状況に拘らず、低遅延でデータを伝送することが可能となる。
第１の実施の形態である第１の送受信システムの構成例を示すブロック図である。 主に、保存可能バッファサイズを変更するときの処理の一例を示す図である。 主に、保存可能バッファサイズを変更した際に、送信バッファ内のデータを破棄するときの一例を示す図である。 図１の送信装置が行う送信処理を説明するためのフローチャートである。 図４のステップＳ９における第１のレート制御処理の詳細を説明するためのフローチャートである。 図１の受信装置が行う受信処理を説明するためのフローチャートである。 保存可能バッファサイズを変更した際に、優先度に応じて送信バッファ内のデータを破棄するときの一例を示す図である。 第２の実施の形態であるNICの構成例を示すブロック図である。 図８のバッファ制御部が行う処理の一例を示す図である。 図８のNICが行う送信処理を説明するためのフローチャートである。 図１０のステップＳ７７における第２のレート制御処理の詳細を説明するためのフローチャートである。 図８のNICが行う受信処理を説明するためのフローチャートである。 第３の実施の形態である無線中継装置の構成例を示すブロック図である。 第４の実施の形態である第２の送受信システムの構成例を示すブロック図である。 図１４のバッファ制御部が行う処理の一例を示す図である。 図１４のバッファ制御部２１１及びレート制御部２１２が行う処理の一例を説明するための図である。 図１４の送信装置が行う送信処理を説明するためのフローチャートである。 図１４のステップＳ１３９における第３のレート制御処理の詳細を説明するためのフローチャートである。 コンピュータの構成例を示すブロック図である。
以下、発明を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（送信バッファの保存可能バッファサイズを調整して、低遅延データ伝送を行うときの一例）
２．第２の実施の形態（NICを用いて低遅延データ伝送を行うときの一例）
３．第３の実施の形態（無線中継装置において低遅延データ伝送を行うときの一例）
４．第４の実施の形態(送信バッファに保存されたデータを破棄することなく、低遅延データ伝送を行うときの一例)
＜１．第１の実施の形態＞
[送受信システム１００の構成例]
図１は、第１の実施の形態である送受信システム１００を示している。
この送受信システム１００は、送信装置１０１、受信装置１０２、及びインターネット等のネットワーク１０３から構成される。
なお、この送受信システム１００は、送信装置１０１の送信レートRに拘らず、後述する送信バッファ１１２aの送信バッファ時間を一定時間T（以下、送信バッファ時間Tともいう）に維持するように制御して、低遅延でデータを送信できるようにするものである。
ここで、送信バッファ時間Tとは、データが送信バッファ１１２aに保存されたときから出力されるまでに要する最大時間を表す。なお、送信バッファ時間Tは、ユーザや送信装置１０１を製造する企業等により予め決定され、送信バッファ時間Tが短い程に、より低遅延によるデータ伝送が可能となる。
また、送受信システム１００では、例えば、IETF(Internet Engineering Task Force) RFC(Request for Comments)3550に記載のRTP(Real time Transport Protocol)/RTCP(Real time Transport Control Protocol)を用いて、送信装置１０１から受信装置１０２に対してデータの送信や、ネットワーク状況等の収集が行なわれる。
以下において、第１の実施の形態では、送信装置１０１から受信装置１０２に対して、低遅延で画像データを送信する場合について説明するが、低遅延で送信されるデータは、画像データに限定されず、低遅延で送信すべきデータであれば、どのようなデータであってもよい。
[送信装置１０１の構成例]
送信装置１０１は、符号化部１１１、送信バッファ１１２aを内蔵するバッファ制御部１１２、RTP送信部１１３、RTCP部１１４、レート制御部１１５、制御部１１６、及び操作部１１７から構成される。
符号化部１１１は、外部から入力される画像データ（ビデオINに対応）を符号化する符号化処理を行う。なお、符号化処理としては、画像データに対して、例えばウェーブレット変換を用いた符号化を施して圧縮するウェーブレット符号化処理を採用することができる。このウェーブレット符号化処理は、ITU-T H.264や、上述の引用文献１等に詳細に記載されている。
ここで、ウェーブレット変換とは、画像データを空間周波数の高い成分（高域成分）と低い成分（低域成分）に分割する分析フィルタリングを、分割により得られる低域成分に対して再帰的に繰り返すことにより、画像データを、空間周波数成分毎の係数データに変換する処理をいう。
なお、符号化部１１１において、例えば、高域成分の係数データほど圧縮率を小さくし、低域成分の係数データほど圧縮率を大きくするようにすれば、画像データの画質劣化の少ない符号化処理が可能となる。
また、符号化部１１１は、符号化処理により得られる符号化データを、複数のRTPパケットにパケット化（変換）してバッファ制御部１１２に出力する。なお、RTPパケットとは、IETF RFC3550に記載のRTPに則った形式のパケットを表す。
さらに、符号化部１１１は、バッファ制御部１１２からの、送信バッファ１１２a内にRTPパケットを保存可能な残りサイズを表す残りバッファサイズbr（図２）と、レート制御部１１５からの送信レートRに基づいて、符号化処理に用いる符号化パラメータを調整する。そして、符号化部１１１は、調整後の符号化パラメータを用いて、上述の符号化処理を行うようにしている。
ここで、符号化パラメータとは、符号化処理におけるデータの圧縮率や、単位時間当たりにおける、RTPパケットの生成量を表すデータ生成レート等を含むものである。
バッファ制御部１１２は、符号化部１１１からのRTPパケットを、送信バッファ１１２aに供給して保存させ、FIFO(First In First Out)で出力させる。
また、バッファ制御部１１２は、送信バッファ１１２a内にRTPパケットを保存したときから送信バッファ時間T以内に出力するように、レート制御部１１５からの送信レートRに応じて、送信バッファ１１２aにRTPパケットを保存可能なデータサイズを表す保存可能バッファサイズBを変更する。なお、保存可能バッファサイズBの変更方法は、本開示により開示する技術のポイント部分であるため、図２及び図３を参照して詳述する。
さらに、バッファ制御部１１２は、レート制御部１１５からの送信レートRで、送信バッファ１１２a内のRTPパケットを、RTP送信部１１３に送信（出力）させる平滑化送信を行う。これにより、RTP送信部１１３では、レート制御部１１５により調整された送信レートRで、RTPパケットを送信することができるようになる。
なお、平滑化送信としては、例えば、ITU-T Y.1221に記載されたトークンバケットビヘイビアやリーキーバケットビヘイビアを用いた平滑化送信を採用することができる。
送信バッファ１１２aは、例えば、バッファ制御部１１２からの制御に従って、平滑化送信を行う。すなわち、送信バッファ１１２aは、RTPパケットを出力する際の出力レートを、レート制御部１１５からの送信レートRに合わせるように平滑化して送信するための平滑化バッファとして機能する。
送信バッファ１１２aは、バッファ制御部１１２により調整される保存可能バッファサイズBで、符号化部１１１からのRTPパケットを保存し、FIFOで出力する。なお、送信バッファ１１２aは、十分に大きな記憶容量を有しており、調整され得る最大の保存可能バッファサイズB以上の記憶容量とされる。
RTP送信部１１３は、RTPに従って、バッファ制御部１１２からのRTPパケットに対して、タイムスタンプとして、例えばRTPパケットを受信装置１０２に送信する際の送信時刻等を付加する。そして、RTP送信部１１３は、タイムスタンプを付加したRTPパケットを、レート制御部１１５から通知される送信レートRで、ネットワーク１０３を介して受信装置１０２に送信する。
RTP送信部１１３では、タイムスタンプを付加したRTPパケットを送信するようにしたので、受信装置１０２において、送信装置１０１から送信されてくるRTPパケットの時間的関係（例えば、送信順序等）を把握することができる。このため、受信装置１０２において、RTPパケットの遅延ゆらぎ（ジッタ）等の影響を受けずに同期をとって、正確に画像データを再生することができる。
ここで、RTPは、実時間（リアルタイム）によるRTPパケットの送信を保証するものではない。また、RTPパケットの送信における優先度、設定、管理などは、RTPが提供するトランスポートサービスの範疇ではない。
このため、RTPパケットには、RTPパケットを送信したときから所定時間内に受信装置１０２に到達しない伝送遅延や、RTPパケットにエラー（誤り）が生じるパケット損失が生じ得る。
受信装置１０２において、伝送遅延やパケット損失が生じたRTPパケットは破棄される。そして、受信装置１０２において、伝送遅延及びパケット損失のいずれも生じていないRTPパケットのみを対象として再生等の処理が行われる。
なお、伝送遅延やパケット損失が生じたRTPパケットを破棄するようにしたのは、RTPパケットとしての画像データ（動画像）によるリアルタイム再生を実現するためである。
ここで、RTPパケットによる伝送遅延やパケット損失は、ネットワーク１０３の輻輳により引き起こされることが多い。すなわち、例えば、送信装置１０１において、高品質な画像データのRTPパケットを送信しても、ネットワーク１０３の輻輳の程度によっては、RTPパケットに対して、無視できないほどの伝送遅延やパケット損失が生じ得る。
この場合、受信装置１０２において、RTPパケットに伝送遅延やパケット損失が生じたことに起因して、多くのRTPパケットが破棄されてしまうので、高品質な画像データを再生できないことが生じ得る。
そこで、後述するレート制御部１１５では、ネットワーク１０３の状況（例えば、輻輳の程度等）に応じて送信レートRを調整するようにして、RTPパケットに生じる伝送遅延やパケット損失を抑制するようにしている。これにより、受信装置１０２において、ネットワーク１０３の状況に拘らず、送信装置１０１からの画像データの画質等を維持したまま、画像データを再生することができるようになる。
また、RTP送信部１１３は、RTPパケットの送信状況等に基づいて、RTPパケットの伝送状態を表すRTPパケット伝送情報を生成してRTCP部１１４に供給する。
RTCP部１１４は、RTP送信部１１３からのRTPパケット伝送情報に基づいて、送信装置１０１と受信装置１０２との間のデータ伝送路（例えば、ネットワーク１０３）の状況を表す伝送品質情報を生成し、レート制御部１１５に供給する。
ここで、伝送品質情報には、データ伝送路の状況を判断するために必要な情報が含まれる。
すなわち、伝送品質情報は、例えば、往復伝送遅延（RTT(Round Trip Time)）、伝送ジッタ、パケット損失率、S/N比(signal to noise ratio)、又はBER(Bit Error Rate)等の少なくとも１つを含む。なお、無線通信により伝送が行われる場合には、無線通信における電波強度も含めるようにしてもよい。
また、RTCP部１１４は、RTCPに従って、ネットワーク１０３を介して受信装置１０２のRTCP部１２４と通信を行い、送信装置１０１と受信装置１０２との間のデータ伝送路における伝送品質情報を収集して、レート制御部１１５に供給する。
なお、伝送品質情報は、RTCP部１１４と、後述する受信装置１０２のRTCP部１２４との間で、IETF RFC 3550に記載のRTCP Receiver Report(RR)パケットやRTCP Sender Report(SR)パケットを送受信することにより収集される。
レート制御部１１５は、RTCP部１１４からの伝送品質情報に基づいて、送信装置１０１からRTPパケットを送信する際の送信レートRを調整し、符号化部１１１、バッファ制御部１１２、及びRTP送信部１１３に通知する。
なお、レート制御部１１５による送信レートRの調整は、例えば、IETF RFC3448に記載の「TCP Friendly Rate Control(TFRC):Protocol Specification」、いわゆるTFRCに従って行われる。
このように、レート制御部１１５は、ネットワーク１０３の状況に応じて送信レートRを調整するようにしているので、ネットワーク１０３の輻輳に起因する遅延を回避することが可能となる。
制御部１１６は、例えば、操作部１１７からの操作信号に基づいて、符号化部１１１、バッファ制御部１１２、RTP送信部１１３、RTCP部１１４、及びレート制御部１１５の各部を制御する。
操作部１１７は、ユーザにより操作される操作ボタン等であり、ユーザ操作に応じた操作信号を、制御部１１６に供給する。
[受信装置１０２の構成例]
受信装置１０２は、RTP受信部１２１、受信バッファ１２２、復号部１２３、RTCP部１２４、制御部１２５、及び操作部１２６から構成される。
RTP受信部１２１は、RTP送信部１１３からネットワーク１０３を介して送信されてくるRTPパケットを受信し、受信バッファ１２２に供給して保存させる。また、RTP受信部１２１は、RTPパケットの受信状況等に基づいて、RTPパケットの伝送状態を表すRTPパケット伝送情報を生成してRTCP部１２４に供給する。
受信バッファ１２２は、RTP受信部１２１からのRTPパケットを一時的に保存する。なお、受信バッファ１２２は、オーバーフローしない程度に十分に大きな記憶容量を有するものとする。
復号部１２３は、受信バッファ１２２からRTPパケットを読み出し、読み出したRTPパケットを組み立てることにより、復号対象とされる符号化データを生成する。そして、復号部１２３は、生成した符号化データに対して、符号化部１１１で行なわれる符号化処理に対応する復号処理を行い、その結果得られる画像データを図示せぬモニタ等に出力する。
ここで、復号処理としては、例えば、ウェーブレット変換の逆変換による復号により伸張する復号処理等が採用される。
RTCP部１２４は、RTP受信部１２１からのRTPパケット伝送情報に基づいて、伝送品質情報を生成し、ネットワーク１０３を介して送信装置１０１のRTCP部１１４に送信する。
制御部１２５は、例えば、操作部１２６からの操作信号に基づいて、RTP受信部１２１、受信バッファ１２２、及び復号部１２３、RTCP部１２４の各部を制御する。
操作部１２６は、ユーザにより操作される操作ボタン等であり、ユーザ操作に応じた操作信号を、制御部１２５に供給する。
[保存可能バッファサイズの調整方法]
次に、図２及び図３を参照して、主にバッファ制御部１１２が行う処理について説明する。
図２は、主に、バッファ制御部１１２が行う処理の一例を示している。
バッファ制御部１１２は、レート制御部１１５からの送信レートRと、予め決められた送信バッファ時間Tに基づいて、次式（１）を用いて、保存可能バッファサイズBを変更する。
B(bit) = R(bps) × T(sec) ・・・（１）
具体的には、例えば、現在の送信レートRをRnとし、現在の保存可能バッファサイズBをBn（=Rn×T）とした場合、レート制御部１１５は、送信レートRnを送信レートRn+1に調整したことに応じて、送信レートRn+1を、符号化部１１１、バッファ制御部１１２及びRTP送信部１１３に通知する。
このとき、バッファ制御部１１２は、レート制御部１１５から通知された送信レートRn+1と、送信バッファ時間Tに基づいて、式（１）を用いて、保存可能バッファサイズBn+1（=Rn+1×T）を算出する。そして、バッファ制御部１１２は、送信バッファ１１２aの保存可能バッファサイズBnを保存可能バッファサイズBn+1に変更する。
なお、符号化部１１１は、レート制御部１１５からの送信レートRと、バッファ制御部１１２からの残りバッファサイズbrに基づき、符号化パラメータとして、例えば、RTPパケットのデータ生成レートを調整し、調整後のデータ生成レートによる符号化処理を行うようにしている。
これにより、符号化部１１１からのRTPパケットにより、送信バッファ１１２aのバッファ内データサイズbiが、保存可能バッファサイズBよりも大きくなることを防止するようにしている。送信バッファ１１２aにおいて、バッファ内データサイズbiが、保存可能バッファサイズB以下である限り、低遅延データ伝送は保証される。
なお、符号化部１１１は、レート制御部１１５からの送信レートRと、バッファ制御部１１２からの残りバッファサイズbrに基づいて、データ生成レートを調整するようにした。しかしながら、符号化部１１１が、レート制御部１１５による送信レートRの調整が行われたことに対応して、迅速にデータ生成レートを調整できる場合には、レート制御部１１５からの送信レートRのみを用いて、データ生成レートを、レート制御部１１５からの送信レートRに調整するようにしてもよい。
また、符号化部１１１が、レート制御部１１５からの送信レートRと、バッファ制御部１１２からの残りバッファサイズbrに基づいて、データ生成レートを調整するようにしたが、レート制御部１１５が、データ生成レートを算出して符号化部１１１に通知するようにしてもよい。
すなわち、例えば、レート制御部１１５は、バッファ制御部１１２から残りバッファサイズbrを取得し、取得した残りバッファサイズbrと、算出した送信レートRに基づいて、データ生成レートを算出し、符号化部１１１に通知するようにしてもよい。
ところで、送信レートRnが送信レートRn+1に調整されたことに応じて、保存可能バッファサイズBnが、バッファ内データサイズbiよりも小さな保存可能バッファサイズBn+1に調整されることが生じ得る。
この場合、送信バッファ１１２a内のバッファ内データサイズbiが、保存可能バッファサイズB n+1よりも大きくなってしまい、低遅延データ伝送を行うことができなくなってしまう。
そこで、第１の実施の形態では、バッファ内データサイズbiが、保存可能バッファサイズBn+1よりも大きくなってしまった場合には、バッファ内データサイズbiが、保存可能バッファサイズBn+1以下となるまで、送信バッファ１１２a内のRTPパケットを破棄するようにして、低遅延データ伝送を保証するようにしている。
なお、符号化部１１１が、送信レートRに拘らず、固定のデータ生成レートで符号化処理を行う場合や、調整後の送信レートRn+1に応じて、迅速にデータ生成レートを調整できなかった場合等には、符号化部１１１から送信バッファ１１２aに対して多くのRTPパケットが出力されることが生じ得る。
この場合についても同様に、送信バッファ１１２a内のバッファ内データサイズbiが、保存可能バッファサイズB n+1よりも大きくなってしまう。しかしながら、第１の実施の形態では、上述のように、バッファ内データサイズbiが、保存可能バッファサイズBn+1以下となるまで、送信バッファ１１２a内のRTPパケットは破棄されるので、やはり、低遅延データ伝送は保証される。
[送信バッファ１１２a内のデータを破棄するときの一例]
次に、図３は、保存可能バッファサイズBnが、バッファ内データサイズbiよりも小さな保存可能バッファサイズBn+1に変更される場合には、送信バッファ１１２a内のRTPパケットを一部分だけ破棄するときの一例を示している。
バッファ制御部１１２は、例えば、レート制御部１１５から、送信レートRn+1(=Rn/2)が供給されたことに応じて、式（１）に基づいて、図３Aに示される現在の保存可能バッファサイズBnを、図３Bに示される保存可能バッファサイズBn+1（=Bn/2）に変更する。
この場合、送信バッファ１１２aのバッファ内データサイズbiは、変更後の保存可能バッファサイズBn+1よりも大きなものとなる。したがって、バッファ制御部１１２は、図３Bに示されるように、送信バッファ１１２a内のRTPパケットを一部分（斜線で示す）だけ破棄して、バッファ内データサイズbiが、保存可能バッファサイズBn+1以下となるように調整する。
なお、送信バッファ１１２a内のRTPパケットを破棄する場合、任意のRTPパケットを破棄するようにしてもよいし、破棄する際の優先度を付加するようにして、優先度の高い順にRTPパケットを破棄するようにしてもよい。
すなわち、例えば、ウェーブレット変換により得られる周波数成分毎の係数データを含むRTPパケットにおいて、高域成分の係数データを含むRTPパケットほど、高い優先度を付加するようにして、RTPパケットの破棄を行うようにしてもよい。優先度に応じてRTPパケットを破棄する方法については、図７を参照して詳述する。
[送信装置１０１の動作説明]
次に、図４のフローチャートを参照して、送信装置１０１が行う送信処理(以下、第１の送信処理という)について説明する。
ステップＳ１において、符号化部１１１は、外部からの画像データに対して、レート制御部１１５からの送信レートRと、バッファ制御部１１２からの残りバッファサイズbrに基づき算出したデータ生成レートで符号化処理を行う。
ステップＳ２において、符号化部１１１は、符号化処理により得られる符号化データを、複数のRTPパケットにパケット化（変換）する。そして、符号化部１１１は、パケット化により得られる複数のRTPパケットを、バッファ制御部１１２に出力する。
ステップＳ３において、バッファ制御部１１２は、符号化部１１１からのRTPパケットを、内蔵する送信バッファ１１２aに供給して保存させる。そして、バッファ制御部１１２は、レート制御部１１５から通知される送信レートRと同一の出力レートで、送信バッファ１１２aからRTP送信部１１３に対してRTPパケットを出力する。
ステップＳ４において、バッファ制御部１１２は、送信バッファ１１２aにおける保存可能バッファサイズBが、バッファ内データサイズbi以上であるか否かを判定する。
そして、ステップＳ４において、バッファ制御部１１２は、図３Bに示されるように、保存可能バッファサイズBがバッファ内データサイズbi以上ではない、すなわち、バッファ内データサイズbiが保存可能バッファサイズBよりも大きいと判定した場合、処理を、ステップＳ５に進める。
ステップＳ５では、バッファ制御部１１２は、バッファ内データサイズbiが、保存可能バッファサイズB以下となるまで、送信バッファ１１２a内のRTPパケットを破棄して、処理をステップＳ１に戻し、それ以降同様の処理が行なわれる。
なお、ステップＳ５では、RTPパケットに対して、破棄する際の優先度を付加するようにし、その優先度に応じてRTPパケットを破棄するようにしてもよい。なお、優先度に応じてRTPパケットを破棄する処理の詳細は、図７を参照して後述する。
また、ステップＳ４において、バッファ制御部１１２は、図３Aに示されるように、保存可能バッファサイズＢがバッファ内データサイズbi以上であると判定した場合、処理をステップＳ６に進める。
ステップＳ６において、RTP送信部１１３は、RTPパケットの送信状況等に基づいて、バッファ制御部１１２からのRTPパケットを送信可能であるか否かを判定し、送信可能であると判定するのを待って、処理をステップＳ７に進める。
ステップＳ７において、RTP送信部１１３は、RTPに従って、バッファ制御部１１２からのRTPパケットを、レート制御部１１５からの送信レートRで、ネットワーク１０３を介して受信装置１０２に送信する。
ステップＳ８において、RTCP部１１４は、RTCPに従って、ネットワーク１０３を介して受信装置１０２のRTCP部１２４と通信を行い、送信装置１０１と受信装置１０２との間のデータ伝送路における伝送品質情報を収集して、レート制御部１１５に供給する。
ステップＳ９において、符号化部１１１がデータ生成レートを、バッファ制御部１１２が保存可能バッファサイズBを、レート制御部１１５が送信レートRを調整する第１のレート制御処理が行なわれる。この第１のレート制御処理の詳細は、図５のフローチャートを参照して後述する。
ステップＳ１０において、制御部１１６は、操作部１１７からの操作信号等に基づいて、第１の送信処理を終了するか否かを判定し、第１の送信処理を終了しないと判定した場合、処理をステップＳ１に戻し、それ以降同様の処理が行なわれる。
また、ステップＳ１０において、制御部１１６は、第１の送信処理を終了すると判定した場合、第１の送信処理は終了される。
以上説明したように、第１の送信処理によれば、ネットワーク１０２の状況に応じて、送信レートRを調整するようにしたので、ネットワーク１０２の状況に拘らず、RTPパケットの伝送遅延やパケット損失を抑止することができる。よって、RTPパケットの伝送遅延やパケット損失に起因して、画像データの画質が劣化する事態を抑止することが可能となる。
また、第１の送信処理によれば、送信レートRの調整に応じて、保存可能バッファサイズBを変更するようにして、送信バッファ１１２aの送信バッファ時間を一定時間Tに維持するようにした。このため、ネットワーク１０２の状況に拘らず、画像データを低遅延で伝送することが可能となる。
[第１のパラメータ設定処理の詳細]
次に、図５のフローチャートを参照して、図４のステップＳ９における第１のレート制御処理の詳細を説明する。
ステップＳ３１において、レート制御部１１５は、RTCP部１１４からの伝送品質情報を取得する。ステップＳ３２において、レート制御部１１５は、RTCP部１１４からの伝送品質情報に基づいて、送信レートRを調整し、符号化部１１１、バッファ制御部１１２及びRTP送信部１１３に供給する。
ステップＳ３３において、バッファ制御部１１２は、レート制御部１１５からの送信レートRと、予め決められた送信バッファ時間Tに基づいて、内蔵する送信バッファ１１２aの保存可能バッファサイズBを算出して変更する。
また、バッファ制御部１１２は、算出した保存可能バッファイサイズBから、送信バッファ１１２a内のバッファ内データサイズbiを差し引いて得られる残りバッファサイズbrを、符号化部１１１に供給する。
ステップＳ３４において、符号化部１１１は、レート制御部１１５からの送信レートRと、バッファ制御部１１２からの残りバッファサイズbrに基づいて、図４のステップＳ１で行う符号化処理におけるデータ生成レートを算出する。
以上で第１のレート制御処理は終了され、図４のステップＳ９にリターンされ、ステップＳ１０に進められる。
[受信装置１０２の動作説明]
次に、図６のフローチャートを参照して、受信装置１０２が行う受信処理（以下、第１の受信処理という）について説明する。
ステップＳ５１において、RTP受信部１２１は、RTP送信部１１３からネットワーク１０３を介して送信されてくるRTPパケットを受信し、受信バッファ１２２に供給して保存させる。
ステップＳ５２において、復号部１２３は、受信バッファ１２２からRTPパケットを読み出し、読み出したRTPパケットを組み立てることにより、復号対象とされる符号化データを生成する。
そして、ステップＳ５３において、復号部１２３は、生成した符号化データに対して、符号化部１１１で行なわれる符号化処理に対応する復号処理を行い、その結果得られる画像データを図示せぬモニタ等に出力する。
ステップＳ５４において、RTCP部１２４は、RTCPに従って、ネットワーク１０３を介して受信装置１０２のRTCP部１１４と通信を行う。これにより、RTCP部１１４は、送信装置１０１と受信装置１０２との間のデータ伝送路における伝送品質情報を収集する。
ステップＳ５５において、制御部１２５は、操作部１２６からの操作信号等に基づいて、第１の受信処理を終了するか否かを判定し、第１の受信処理を終了しないと判定した場合、処理をステップＳ５１に戻し、それ以降同様の処理が行なわれる。
また、ステップＳ５５において、制御部１２５は、第１の受信処理を終了すると判定した場合、第１の受信処理は終了される。
以上説明したように、第１の受信処理によれば、送信装置１０１において送信レートRを調整するために用いる伝送品質情報をRTCPに従って送信装置１０１に供給するようにした。
このため、送信装置１０１では、受信装置１０２からの伝送品質情報に基づいて、送信レートRを調整できるようになるので、ネットワーク１０３等のデータ伝送路の状況に応じて生じる遅延を無視できる程度に小さくすることが可能となる。
[優先度に応じたRTPパケットの破棄]
次に、図７は、RTPパケットに優先度を付加するようにし、付加された優先度に応じた順序でRTPパケットを破棄する場合の一例を示している。
なお、図７において、RTPパケットL1は、画像データの高域成分（の係数データ）を符号化してパケット化したものを表す。また、RTPパケットL2は、画像データの低域成分を符号化してパケット化したものを表す。さらに、RTPパケットL3は、画像データの中域成分（高域成分と低域成分との間）を符号化してパケット化したものを表す。
バッファ制御部１１２は、例えば、レート制御部１１５から、送信レートRn+1(=2/3×Rn)が供給されたことに応じて、式（１）に基づいて、図７Aに示される現在の保存可能バッファサイズBnを、図７Bに示される保存可能バッファサイズBn+1（=2/3×Bn）に調整する。
この場合、図７Bに示されるように、送信バッファ１１２aのバッファ内データサイズbiは、調整後の保存可能バッファサイズBn+1よりも大きなものとなる。したがって、バッファ制御部１１２は、バッファ内データサイズbiが保存可能バッファサイズBn+1以下となるまで、送信バッファ１１２a内のデータのうち、例えば、高域成分のRTPパケットを優先的に破棄する。
具体的には、例えば、バッファ制御部１１２は、図７Bに示されるように、高域成分のRTPパケットL1を破棄して、バッファ内データサイズbiが、保存可能バッファサイズBn+1以下となるように調整する。
ここで、高域成分のRTPパケットから優先的に破棄するようにしたのは、画像データにおいて、低域成分ほど、画像データを、大まかな画像（例えば、画像内に表示された人物を、人物として大まかに認識できる程度の画像）として成立させるために重要な要素であることによる。
なお、高域成分は、画像データを、大まかな画像から詳細な画像（例えば、画像内に表示された人物を詳細に認識できる程度の画像）に高画質化するために必要とされる。また、RTPパケットの優先度としては、その他、例えば、IETF RFC 2474"Definition of the Differentiated Services Field(DS Field) in the IPv4 and IPv6 Headers"に記載のIPヘッダ内の「Tos(Type of Service)」や「DSCP(DiffServ Code Point)」、IEEE 802.1Qタグ内の「Cos(Class of Service)」に記載された優先度を用いるようにしてもよい。
ところで、第１の実施の形態では、低遅延でRTPパケットを送信する送信装置１０１について説明したが、例えば、送信装置１０１と受信装置１０２の機能をそれぞれ有する送受信装置に対して、本開示により開示した技術を適用することができる。
また、符号化部１１１及び復号部１２３それぞれの機能をいずれも有さない送受信装置として、例えば、NIC(Network Interface Card)や、無線LAN(Local Area Network)アクセスポイント等の無線中継装置を、低遅延データ伝送が可能な送受信装置として採用することができる。
次に、第２の実施の形態として、図８乃至図１２を参照して、低遅延データ伝送が可能なNICについて説明する。また、第３の実施の形態として、図１３を参照して、低遅延データ伝送が可能な無線中継装置について説明することとする。
＜２．第２の実施の形態＞
次に、図８は、パーソナルコンピュータ１４１（以下、PC１４１という）のカードスロットに挿入されて接続されるNIC１４２の一例を示している。
なお、PC１４１は、主に、符号化部１５１及び復号部１５２から構成されており、NIC１４２を介して、パケットの送受信を行う。
符号化部１５１は、図１の符号化部１１１と同様の処理を行う。すなわち、符号化部１５１は、NIC１４２からの送信レートR及び残りバッファサイズbrに基づいて、データ生成レートを算出する。
そして、符号化部１５１は、外部から入力される画像データ（ビデオIN）に対して、算出したデータ生成レートで符号化処理を行い、その結果得られる符号化データに対してパケット化を行う。符号化部１５１は、パケット化により得られるパケットを、NIC１４２に出力する。
復号部１５２は、図１の復号部１２３と同様の処理を行う。すなわち、復号部１５２は、NIC１４２からのパケットを組み立てて、符号化データを生成し、生成した符号化データに対して復号処理を行い、その結果得られる画像データを、図示せぬモニタ等に出力する。
NIC１４２は、受信部１６１、受信バッファ１６２、レート制御部１６３、送信バッファ１６４aを内蔵するバッファ制御部１６４、変調部１６５、及び送信部１６６から構成される。
受信部１６１は、外部から送信されてくるパケットを受信し、受信バッファ１６２に供給して保存させる。また、受信部１６１は、パケットの受信状況等に基づいて、伝送品質情報を生成してレート制御部１６３に供給する。
受信バッファ１６２は、受信部１６１からのパケットを一時的に保存して、パーソナルコンピュータ１４１の復号部１５２に出力する。
レート制御部１６３は、受信部１６１及び送信部１６６からの伝送品質情報に基づいて、NIC１４２の送信レートR及び変調方式を調整する。そして、レート制御部１６３は、調整した送信レートRを、バッファ制御部１６４及び送信部１６６に供給する。また、レート制御部１６３は、調整した変調方式を、変調部１６５に供給する。
バッファ制御部１６４は、図１のバッファ制御部１１２と同様の処理を行う。すなわち、バッファ制御部１６４は、図９に示されるように、レート制御部１６３からの送信レートRと、予め決められたバッファ送信時間Tに基づいて、次式（１）を用いて、保存可能バッファサイズBを変更する。
また、バッファ制御部１６４は、送信バッファ１６４aにおいて、保存可能バッファサイズBからバッファ内データサイズbiを減算して得られる残りバッファサイズbrを生成する。そして、バッファ制御部１６４は、図９に示されるように、生成した残りバッファサイズbrと、レート制御部１６３からの送信レートRとを、符号化部１５１に供給する。
さらに、バッファ制御部１６４は、図９に示されるように、符号化部１５１からのパケットを、内蔵する送信バッファ１６４aに供給して保存させる。
バッファ制御部１６４は、レート制御部１６３からの送信レートRで、送信部１６６からパケットを、変調部１６５に送信（出力）させる平滑化送信を行う。
送信バッファ１６４aは、図１の送信バッファ１１２aと同様の処理を行う。すなわち、例えば、送信バッファ１６４aは、バッファ制御部１６４からの制御に従って、平滑化送信を行う。すなわち、送信バッファ１６４aは、パケットを出力する際の出力レートを、レート制御部１６３からの送信レートRに合わせるように平滑化する平滑化バッファとして機能する。
送信バッファ１６４aは、バッファ制御部１６４により調整される保存可能バッファサイズBで、符号化部１５１からのパケットを保存し、FIFOで出力する。なお、送信バッファ１６４aは、十分に大きな記憶容量を有しており、調整され得る最大の保存可能バッファサイズB以上の記憶容量とされる。
変調部１６５は、バッファ制御部１６４からのパケットを、レート制御部１６３から通知された変調方式で変調し、変調後のパケットを送信部１６６に供給する。
送信部１６６は、変調部１６５からのパケットを、レート制御部１６３から通知される送信レートRで送信する。また、送信部１６６は、パケットの送信状況等に基づいて、伝送品質情報を生成し、レート制御部１６３に供給する。
[NIC１４２の動作説明]
次に、図１０のフローチャートを参照して、NIC１４２が行う送信処理（以下、第２の送信処理という）について説明する。
ステップＳ７１において、バッファ制御部１６４は、符号化部１５１からのパケットを取得する。
ステップＳ７２において、バッファ制御部１６４は、符号化部１５１からのパケットを、内蔵する送信バッファ１６４aに供給して保存させる。そして、バッファ制御部１６４は、レート制御部１６３から通知される送信レートRと同一の出力レートで、送信バッファ１６４aから変調部１６５に対してパケットを出力する。
ステップＳ７３において、バッファ制御部１６４は、送信バッファ１６４a内の保存可能バッファサイズBが、送信バッファ１６４a内のバッファ内データサイズbi以上であるか否かを判定する。
そして、ステップＳ７３において、バッファ制御部１６４は、保存可能バッファサイズBが、バッファ内データサイズbi以上ではないと判定した場合、処理を、ステップＳ７４に進める。
ステップＳ７４では、バッファ制御部１６４は、バッファ内データサイズbiが、保存可能バッファサイズB以下となるように、送信バッファ１６４a内のパケットを破棄し、処理をステップＳ７１に戻し、それ以降同様の処理が行なわれる。
なお、ステップＳ７４では、図７に示したように、パケットに対して、破棄する際の優先度を付加するようにし、その優先度に応じてパケットを破棄する順序を決めるようにしてもよい。
また、ステップＳ７３において、保存可能バッファサイズBがバッファ内データサイズbi以上であると判定された場合、処理はステップＳ７５に進められる。
ステップＳ７５において、変調部１６５は、バッファ制御部１６４からのパケットを、レート制御部１６３から通知される変調方式で変調し、変調後のパケットを送信部１６６に供給する。
ステップＳ７６において、送信部１６６は、変調部１６５からのパケットを、レート制御部１６３から通知される送信レートRで送信する。
ステップＳ７７において、レート制御部１６３が送信レートRを、バッファ制御部１６４が保存可能バッファサイズBを調整する第２のレート制御処理が行なわれる。この第２のレート制御処理の詳細は、図１１のフローチャートを参照して後述する。
ステップＳ７８において、NIC１４２の図示せぬ制御部は、パーソナルコンピュータ１４１からの制御信号等に基づいて、第２の送信処理を終了するか否かを判定し、第２の送信処理を終了しないと判定した場合、処理をステップＳ７１に戻し、それ以降同様の処理が行なわれる。
また、ステップＳ７９において、NIC１４２の図示せぬ制御部は、第２の送信処理を終了すると判定した場合、第２の送信処理は終了される。
以上説明したように、第２の送信処理によれば、パケットを送受信するためのデータ伝送路の状況に応じて、送信レートRを調整するようにしたので、データ伝送路の状況に拘らず、パケットの伝送遅延やパケット損失を抑止することができる。よって、パケットの伝送遅延やパケット損失に起因して、画像データの画質が劣化する事態を抑止することが可能となる。
また、第２の送信処理によれば、送信レートRの調整に応じて、保存可能バッファサイズBを変更するようにして、送信バッファ１６４aの送信バッファ時間を一定時間Tに維持するようにした。このため、データ伝送路の状況に拘らず、画像データを低遅延で伝送することが可能となる。
次に、図１１のフローチャートを参照して、図１０のステップＳ７７における第２のレート制御処理の詳細を説明する。
ステップＳ９１において、レート制御部１６３は、受信部１６１及び送信部１６６から伝送品質情報を取得する。なお、受信部１６１は、パケットの受信状況等に基づいて伝送品質情報を生成してレート制御部１６３に供給し、送信部１６６は、パケットの送信状況等に基づいて伝送品質情報を生成してレート制御部１６３に供給する。
ステップＳ９２において、レート制御部１６３は、受信部１６１及び送信部１６６からの伝送品質情報に基づいて、送信レートR及び変調方式を調整する。そして、レート制御部１６３は、調整後の送信レートRを、バッファ制御部１６４及び送信部１６６に供給し、調整後の変調方式を、変調部１６５に供給する。
ステップＳ９３において、バッファ制御部１６４は、レート制御部１６３からの送信レートRと、予め決められた送信バッファ時間Tに基づいて、式（１）を用いて、送信バッファ１６４aの保存可能バッファサイズBを算出して調整する。
ステップＳ９４において、バッファ制御部１６４は、算出した保存可能バッファイサイズBから、送信バッファ１６４a内のデータのバッファ内データサイズbiを差し引いて得られる残りバッファサイズbrを、符号化部１５１に通知する。また、バッファ制御部１６４は、レート制御部１６３からの送信レートRを、符号化部１５１に通知する。これにより、符号化部１５１は、バッファ制御部１６４から通知される送信レートR及び残りバッファサイズbrに基づいて、データ生成レートを算出し、算出したデータ生成レートで符号化処理を行う。
以上で第２のレート制御処理は終了され、図１０のステップＳ７７にリターンされ、ステップＳ７８に進められる。
次に、図１２のフローチャートを参照して、NIC１４２が行う受信処理（以下、第２の受信処理という）について説明する。
ステップＳ１１１において、受信部１６１は、外部から送信されてくるパケットを受信する。ステップＳ１１２において、受信部１６１は、受信したパケットを、受信バッファ１６２に供給して保存させる。
ステップＳ１１３において、受信バッファ１６２は、受信部１６１からのパケットを一時的に保存して、パーソナルコンピュータ１４１の復号部１５２に出力する。
ステップＳ１１４において、NIC１４２の図示せぬ制御部は、パーソナルコンピュータ１４１からの制御信号等に基づいて、第２の受信処理を終了するか否かを判定し、第２の受信処理を終了しないと判定した場合、処理をステップＳ１１１に戻し、それ以降同様の処理が行なわれる。
また、ステップＳ１１４において、NIC１４２の図示せぬ制御部は、第２の受信処理を終了すると判定した場合、第２の受信処理は終了される。
＜３．第３の実施の形態＞
次に、図１３は、低遅延データ伝送が可能な無線中継装置の一例を示している。
この無線中継装置１８１は、例えば、ネットワークとパーソナルコンピュータとの間で送受信される画像データ等を中継する無線LANアクセスポイントである。
無線中継装置１８１は、宛先解析部１９１、通常伝送デバイス１９２1乃至１９２N、及び低遅延伝送デバイス１９３から構成される。
宛先解析部１９１は、通常伝送デバイス１９２1乃至１９２N、及び低遅延伝送デバイス１９３それぞれからのパケットに含まれるヘッダに記載された宛先アドレス（例えば、MACアドレス）の解析を行う。
そして、宛先解析部１９１は、宛先アドレスの解析により得られるパケットの宛先（を表す情報）を、パケットの供給先（通常伝送デバイス１９２1乃至１９２N、又は低遅延伝送デバイス１９３のいずれか）に返送する。
通常伝送デバイス１９２1は、パケットを受信し、宛先解析部１８１に供給する。また、通常伝送デバイス１９２1は、宛先解析部１８１からの宛先に対して、受信したパケットを送信する。なお、通常伝送デバイス１９２2乃至１９２Nは、通常伝送デバイス１９２1と同様に構成されるため、それらの説明は省略する。
低遅延伝送デバイス１９３は、パケットを受信し、宛先解析部１８１に供給する。また、低遅延伝送デバイス１９３は、宛先解析部１８１からの宛先に対して、受信したパケットを送信する。なお、低遅延伝送デバイス１９３は、図８のNIC１４２と同様に構成されているため、宛先解析部１８１からの宛先に対して、低遅延でパケットを送信することができる。
＜４．第４の実施の形態＞
[送受信システム２００の構成例]
図１４は、第４の実施の形態である送受信システム２００の構成例を示している。
なお、この送受信システム２００は、第１の実施の形態である送受信システム１００と同様に構成されている部分については、同一の符号を付すようにしたので、それらの部分についての説明は、適宜省略する。
すなわち、この送受信システム２００は、図１の送信装置１０１に代えて送信装置２０１が設けられている他は、第１の実施の形態である送受信システム１００と同様に構成される。
そして、送信装置２０１は、バッファ制御部１１２、及びレート制御部１１５に代えて、送信バッファ２１１aを内蔵するバッファ制御部２１１、及びレート制御部２１２が設けられている他は、図１の送信装置１０１と同様に構成される。
ここで、この送受信システム２００は、図１５Aに示されるように、送信バッファ２１１aにおいて、保存可能バッファサイズBnよりも小さな追加可能バッファサイズBsn以下のデータサイズで、送信バッファ２１１aにデータ（RTPパケット）を保存させるようにするものである。
そして、送信レートRnから送信レートRn+1に調整されたことに応じて、図１５Bに示されるように、保存可能バッファサイズBnを、追加可能バッファサイズBsn以上の保存可能バッファサイズBn+1、すなわち、バッファ内データサイズbi以上の保存可能バッファサイズBn+1に変更するものである。
第４の実施の形態では、このようにして、保存可能バッファサイズBn+1が、バッファ内データサイズbiよりも小さいサイズとなる事態を防止して、送信バッファ２１１a内のデータを破棄することなく、低遅延データ伝送を実現するものである。
すなわち、第４の実施の形態では、送信バッファ２１１a内のデータが破棄されることを防止できる点が、第１の実施の形態とは大きく異なる。
なお、第４の実施の形態では、保存可能バッファサイズBn+1を、追加可能バッファサイズBsn以上とするために、送信レートRを調整する際に、一定の制約が課せられることとなる。
図１４において、バッファ制御部２１１は、保存可能バッファサイズBではなく、追加可能バッファサイズBsを超えない範囲内で、符号化部１１１からのRTPパケットを送信バッファ２１１aに保存して、FIFOで出力させる。
また、バッファ制御部２１１は、レート制御部２１２からの送信レートRに基づいて、保存可能バッファサイズB及び追加可能バッファサイズBsを変更する。なお、バッファ制御部２１１においては、送信バッファ２１１a内のRTPパケットを破棄することなく、送信バッファ２１１a内にRTPパケットを保存したときから送信バッファ時間T以内に出力できるように、保存可能バッファサイズB及び追加可能バッファサイズBsが変更される。
送信バッファ２１１aは、保存可能バッファサイズBよりも小さな追加可能バッファサイズBsの範囲内で、符号化部１１１から出力されるRTPパケットを保存し、FIFOでRTP送信部１１３に出力する。
レート制御部２１２は、RTCP部１１４からの伝送品質情報に基づき、一定の制約下で、送信レートRを調整し、符号化部１１１、RTP送信部１１３及びバッファ制御部２１１に通知する。
ここで、例えば、レート制御部２１２において、送信レートRを変更する際の制約として、送信レートRnを送信レートRn+1に変更したときのレート変更比率L(=Rn+1/Rn)が、予め決められたレート変更比率下限値Lmin以上であるという制約が課される。
また、例えば、レート制御部２１２において、送信レートRを調整（変更）する際の制約として、送信レートRを低くするように変更したときからレート変更最小間隔Ti(sec)だけ、送信レートRの変更が制限（禁止）される。
[バッファ制御部２１１及びレート制御部２１２の詳細]
次に、図１６は、バッファ制御部２１１及びレート制御部２１２が行う処理の詳細の一例を示している。
バッファ制御部２１１は、レート制御部２１２からの送信レートRと、予め決められた送信バッファ時間Tに基づいて、上述の式（１）を用いて保存可能バッファサイズBを変更する。
また、バッファ制御部２１１は、送信バッファ閾値時間を、予め決められた一定時間Ts（以下、送信バッファ閾値時間Tsともいう）に維持するように、送信バッファ閾値時間Tsと、レート制御部２１２からの送信レートRに応じて、次式（２）を用いて、追加可能バッファサイズBsを変更する。
Bs(bit) = R(bps) × Ts(sec) ・・・（２）
ここで、送信バッファ閾値時間Tsとは、追加可能バッファサイズBs以下のバッファ容量を満たす範囲内で、データが送信バッファ２１１aに保存されたときから出力されるまでに要する最大時間を表す。なお、送信バッファ閾値時間Tsは、送信バッファ時間Tよりも小さな値とされる。
レート制御部２１２は、RTCP部１１４からの伝送品質情報に基づいて、一定の制約下で、送信レートRを調整する。
すなわち、例えば、レート制御部２１２は、送信レートRnを送信レートRn+1に変更（調整）したときのレート変更比率L(=Rn+1/Rn)が、レート変更比率下限値Lmin以上となるという変更条件を満たす範囲内で、送信レートRn+1を決定する。ここで、レート変更比率下限値Lminは、送信バッファ時間T及び送信バッファ閾値時間Tsに基づいて、次式（３）により決定される。
Ts ≦ T×Lmin ・・・（３）
具体的には、例えば、レート制御部２１２は、図１のレート制御部１１５と同様にして、RTCP部１１４からの伝送品質情報に基づいて、送信レートRcを算出する。そして、レート制御部２１２は、送信レートRcが、上述の変更条件を満たす場合には、次式（４）に示されるように、送信レートRcをそのまま、変更後の送信レートRn+1に決定する。
Rc/Rn ≧ Lminの場合Rn+1 = Rc ・・・（４）
この場合、レート変更比率Lはレート変更比率下限値Lmin以上となり、変更条件を満たす。
また、レート制御部２１２は、上述の変更条件を満たさない場合には、次式（５）に示されるように、送信レートRcを、変更条件を満たすように修正した上で、変更後の送信レートRn+1に決定する。
Rc/Rn < Lminの場合Rn+1 = Lmin×Rn ・・・（５）
この場合、レート変更比率Lはレート変更比率下限値Lminとなり、変更条件を満たす。
なお、送信レートRが低くなるように調整された場合、図１５Bに示されるように、バッファ内データサイズbiが追加可能バッファサイズBsn+1よりも大きくなってしまうことが生じ得る。したがって、この場合、レート制御部２１２において、バッファ内データサイズbiが追加可能バッファサイズBsn+1以下となるまで、送信レートRの調整が制限される。
具体的には、例えば、レート制御部２１２は、送信レートRを低くするように調整した場合、送信レートRを調整したときから、次式（６）に示されるレート変更最小間隔Ti(sec)を経過するまでの間、送信レートRの調整を制限（禁止）する。
Ti = T - Ts ・・・（６）
ここで、レート変更最小間隔Tiは、送信レートRnが送信レートRn+1に変更されたときから、バッファ内データサイズbiが追加可能バッファサイズBsn+1以下となるまでに要する最大時間を表す。
なお、送信レートRが高くなるように調整された場合、バッファ内データサイズbiが追加可能バッファサイズBsn+1よりも大きくなることはないので、レート制御部２１２において、送信レートRの調整を制限する必要はない。
なお、第１の実施の形態では、符号化部１１１は、バッファ内データサイズbiが保存可能バッファサイズBよりも大きくなることを防止するように符号化パラメータを調整するようにした。この点について、第４の実施の形態では、符号化部１１１は、バッファ内データサイズbiが追加可能バッファサイズBsよりも大きくなることを防止するように符号化パラメータを調整する点が異なる。また、符号化部１１１は、上述の図１５Bにも示されるように、バッファ制御部２１１からの残りバッファサイズbr等に基づいて、バッファ内データサイズbiが追加可能バッファサイズBs以下となるまでは、RTPパケットをバッファ制御部２１１（送信バッファ２１１a）に出力しないものとする。
[送信装置２０１の動作説明]
次に、図１７のフローチャートを参照して、送信装置２０１が行う送信処理（以下、第３の送信処理という）について説明する。
ステップＳ１３１において、レート制御部２１２は、ユーザの設定操作等に応じて、送信バッファ時間T及び送信バッファ閾値時間Tsを設定する。また、レート制御部２１２は、設定された送信バッファ時間T及び送信バッファ閾値時間Tsに基づいて、式（３）を用いて、レート変更比率下限値Lminを設定する。
さらに、レート制御部２１２は、設定された送信バッファ時間T及び送信バッファ閾値時間Tsに基づいて、式（６）を用いて、レート変更最小間隔Tiを設定する。
ステップＳ１３２において、符号化部１１１は、外部からの画像データに対して、レート制御部２１２からの送信レートRに応じて算出したデータ生成レートで符号化処理を行う。
ステップＳ１３３において、符号化部１１１は、例えば、符号化処理により得られる符号化データを、複数のRTPパケットにパケット化（変換）するパケット化を行い、その結果得られる複数のRTPパケットを、バッファ制御部２１１に出力する。
ステップＳ１３４において、バッファ制御部２１１は、符号化部１１１からのRTPパケットを、内蔵する送信バッファ２１１aに供給して保存させる。そして、バッファ制御部２１１は、レート制御部２１２から通知される送信レートRと同一の出力レートで、送信バッファ２１１aからRTP送信部１１３に対してRTPパケットをFIFOで出力する。
ステップＳ１３５において、RTP送信部１１３は、RTPパケットの送信状況等に基づいて、バッファ制御部１１２からのRTPパケットを送信可能であるか否かを判定し、送信可能であると判定するのを待って、処理をステップＳ１３６に進める。
ステップＳ１３６において、RTP送信部１１３は、RTPに従って、バッファ制御部１１２からのRTPパケットを、レート制御部２１２により通知される送信レートRで、ネットワーク１０３を介して受信装置１０２に送信する。
ステップＳ１３７において、RTCP部１１４は、RTCPに従って、ネットワーク１０３を介して受信装置１０２のRTCP部１２４と通信を行い、送信装置１０１と受信装置１０２との間のデータ伝送路における伝送品質情報を収集して、レート制御部２１２に供給する。
ステップＳ１３８において、レート制御部２１２は、前回の送信レートRの変更からレート変更最小間隔Ti以上経過したか否かを判定し、レート変更最小間隔Ti以上経過していないと判定した場合、処理をステップＳ１３５に戻し、それ以降同様の処理を繰り返す。
また、ステップＳ１３８において、レート制御部２１２は、前回の送信レートRの変更からレート変更最小間隔Ti以上経過したと判定した場合、処理をステップＳ１３９に進める。
なお、前回の送信レートRの変更により、送信レートが高く設定された場合には、レート変更最小間隔Ti以上経過するのを待つ必要がないので、ステップＳ１３８の処理をスキップするようにしてもよい。
ステップＳ１３９において、符号化部１１１がデータ生成レートを、バッファ制御部２１１が保存可能バッファサイズB及び追加可能バッファサイズBsを、レート制御部２１２が送信レートRを調整する第３のレート制御処理が行なわれる。この第３のレート制御処理の詳細は、図１８のフローチャートを参照して詳述する。
ステップＳ１４０において、制御部１１６は、操作部１１７からの操作信号等に基づいて、第３の送信処理を終了するか否かを判定し、第３の送信処理を終了しないと判定した場合、処理をステップＳ１３２に戻し、それ以降同様の処理が行なわれる。
また、ステップＳ１４０において、制御部１１６は、操作部１１７からの操作信号等に基づいて、第３の送信処理を終了すると判定した場合、第３の送信処理は終了される。
以上説明したように、第３の送信処理によれば、送信装置２０１において、送信レートRが低くなるように変更された場合でも、送信バッファ２１１a内のデータを破棄することなく、低遅延データ伝送を行えるようにした。
このため、送信装置２０１により送信される画像データにおいて、送信バッファ２１１a内のデータが破棄されることにより、破棄されたデータ分だけ画質が劣化する事態を防止することが可能となる。
したがって、受信装置１０２においては、例えば、送信装置２０１からのRTPパケットを低遅延で受信できるとともに、受信したRTPパケットを組み立てて復号することにより得られる、比較的、高画質な画像データを再生できるようになる。
[第３のレート制御処理の詳細]
次に、図１８のフローチャートを参照して、図１７のステップＳ１３９における第３のレート制御処理の詳細について説明する。
ステップＳ１６１において、レート制御部２１２は、RTCP部１１４からの伝送品質情報を取得する。なお、RTCP部１１４は、RTCPに従ってネットワーク１０３を介して、受信装置１０２のRTCP部１２４と通信を行い、送信装置１０１と受信装置１０２との間のデータ伝送路における伝送品質情報を収集して、レート制御部２１２に供給する。
ステップＳ１６２において、レート制御部２１２は、RTCP部１１４からの伝送品質情報に基づいて、送信レートRcを算出する。
ステップＳ１６３において、レート制御部２１２は、変更前の送信レートRnと、算出した送信レートRcに基づいて、レート変更比率L（=Rc/Rn）がレート変更比率下限値Lmin以上であるという条件を満たしているか否かを判定する。
ステップＳ１６３において、レート制御部２１２は、レート変更比率Lがレート変更比率下限値Lmin以上であると判定した場合、処理をステップＳ１６４に進め、変更後の送信レートRn+1を送信レートRcとし、符号化部１１１、RTP送信部１１３、及びバッファ制御部２１１に供給する。
また、ステップＳ１６３において、レート制御部２１２は、レート変更比率Lがレート変更比率下限値Lmin以上ではない場合、処理をステップＳ１６５に進め、送信レートRn+1を送信レートLmin×Rnとし、符号化部１１１、RTP送信部１１３、及びバッファ制御部２１１に供給する。
ステップＳ１６６において、バッファ制御部２１１は、レート制御部２１２からの送信レートRと、送信バッファ時間Tに基づいて、式（１）を用いて、送信バッファ２１１aの保存可能バッファサイズBを算出して変更する。また、バッファ制御部２１１は、レート制御部２１２からの送信レートRと、送信バッファ閾値時間Tsに基づいて、式（２）を用いて、追加可能バッファサイズBsを算出して変更する。
さらに、バッファ制御部２１１は、算出した保存可能バッファイサイズBから、送信バッファ２１１a内のデータのバッファ内データサイズbiを差し引いて得られる残りバッファサイズbrを、符号化部１１１に供給する。
ステップＳ１６７において、符号化部１１１は、レート制御部２１２からの送信レートRと、バッファ制御部２１１からの残りバッファサイズbrに基づいて、データ生成レートを算出する。
以上で第３のレート制御処理は終了され、図１７のステップＳ１３９にリターンされ、ステップＳ１４０に進められる。
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。
[コンピュータの構成例]
図１９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
CPU（Central Processing Unit）３０１は、ROM（Read Only Memory）３０２、又は記憶部３０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）３０３には、CPU３０１が実行するプログラムやデータ等が適宜記憶される。これらのCPU３０１、ROM３０２、及びRAM３０３は、バス３０４により相互に接続されている。
CPU３０１にはまた、バス３０４を介して入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、キーボード、マウス、マイクロホン等よりなる入力部３０６、ディスプレイ、スピーカ等よりなる出力部３０７が接続されている。CPU３０１は、入力部３０６から入力される指令に対応して各種の処理を実行する。そして、CPU３０１は、処理の結果を出力部３０７に出力する。
入出力インタフェース３０５に接続されている記憶部３０８は、例えばハードディスクからなり、CPU３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
また、通信部３０９を介してプログラムを取得し、記憶部３０８に記憶してもよい。
入出力インタフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア３１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部３０８に転送され、記憶される。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録（記憶）する記録媒体は、図１９に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア３１１、又は、プログラムが一時的もしくは永続的に格納されるROM３０２や、記憶部３０８を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部３０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
なお、本開示の実施の形態は、上述した第１乃至第４の実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
１００ 送受信システム， １０１ 送信装置， １０２ 受信装置， １０３ ネットワーク， １１１ 符号化部， １１２ バッファ制御部， １１２a 送信バッファ， １１３ RTP送信部， １１４ RTCP部， １１５ レート制御部， １１６ 制御部， １１７ 操作部， １２１ RTP受信部， １２２ 受信バッファ， １２３ 復号部， １２４ RTCP部， １２５ 制御部， １２６ 操作部， １４１ PC， １４２ NIC， １５１ 符号化部， １５２ 復号部， １６１ 受信部， １６２ 受信バッファ， １６３ レート制御部， １６４ バッファ制御部， １６４a 送信バッファ， １６５ 変調部， １６６ 送信部， １８１ 無線中継装置， １９１ 宛先解析部， １９２1乃至１９２N 通常伝送デバイス， １９３ 低遅延伝送デバイス， ２００ 送受信システム， ２０１ 送信装置， ２１１ バッファ制御部， ２１１a 送信バッファ， ２１２ レート制御部

Claims (10)

  1. データを送信する際の送信レートを調整するレート調整部と、
    前記送信レートに基づいて、前記データを一時的に保存するためのバッファのサイズを変更する変更部と、
    前記バッファに保存されている前記データを読み出して送信部に出力する出力部と、
    前記出力部により出力される前記データを送信する前記送信部と
    を含む送信装置。
  2. 前記変更部は、予め決められた送信バッファ時間にも基づいて、前記バッファのサイズを変更し、
    前記出力部は、前記バッファに前記データを保存したときから前記送信バッファ時間以内に、前記データを読み出して前記送信部に出力する
    請求項１に記載の送信装置。
  3. 前記出力部は、前記バッファのサイズが、前記バッファに保存済みの前記データのデータサイズ未満に変更された場合、前記データサイズが前記バッファのサイズ以下となるまで、前記バッファに保存済みの前記データを破棄する
    請求項１又は２に記載の送信装置。
  4. 前記出力部は、前記バッファのサイズが、前記データサイズ未満に変更された場合、前記データサイズが前記バッファのサイズ以下となるまで、前記バッファに保存済みの前記データを、予め決められた優先順序に従って破棄する
    請求項３に記載の送信装置。
  5. 前記送信レートに基づいて、前記データを符号化して得られる符号化データを生成する際に用いる符号化パラメータを調整するパラメータ調整部と、
    前記データに対して、前記符号化パラメータに基づく符号化処理を行う符号化部と
    をさらに含み、
    前記出力部は、前記バッファに保存されている前記符号化データを読み出して前記送信部に出力する
    請求項１乃至４に記載の送信装置。
  6. 前記パラメータ調整部は、前記送信レートに基づいて、前記符号化パラメータとして、所定の時間における前記符号化データの生成量を表すデータ生成レートを調整する
    請求項５に記載の送信装置。
  7. 前記レート調整部は、前記データを送信する際に用いるデータ伝送路の状況を表す伝送品質情報に基づいて、前記送信レートを調整する
    請求項１乃至６に記載の送信装置。
  8. 前記レート調整部は、前記データの損失率、往復伝送遅延、ジッタ、S/N比(signal to noise ratio)、又はBER(Bit Error Rate)の少なくとも１つを含む前記伝送品質情報に基づいて、前記送信レートを調整する
    請求項７に記載の送信装置。
  9. データを送信する送信装置の送信方法において、
    データを送信する際の送信レートを調整するレート調整ステップと、
    前記送信レートに基づいて、前記データを一時的に保存するためのバッファのサイズを変更する変更ステップと、
    前記バッファに保存されている前記データを読み出して出力する出力ステップと、
    前記出力ステップにより出力された前記データを送信する送信ステップと
    を含む送信方法。
  10. コンピュータを、
    データを送信する際の送信レートを調整するレート調整部と、
    前記送信レートに基づいて、前記データを一時的に保存するためのバッファのサイズを変更する変更部と、
    前記バッファに保存されている前記データを読み出して送信部に出力する出力部と、
    前記出力部により出力される前記データを送信する前記送信部と
    して機能させるためのプログラム。
JP2010292617A 2010-12-28 2010-12-28 送信装置、送信方法、及びプログラム Expired - Fee Related JP5664229B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2010292617A JP5664229B2 (ja) 2010-12-28 2010-12-28 送信装置、送信方法、及びプログラム
RU2011152176/08A RU2011152176A (ru) 2010-12-28 2011-12-20 Устройство передачи, способ передачи и программа
US13/331,712 US20120166670A1 (en) 2010-12-28 2011-12-20 Transmitting apparatus, transmitting method, and program
CN2011104480610A CN102572411A (zh) 2010-12-28 2011-12-21 发送设备、发送方法和程序
BRPI1107077-3A BRPI1107077A2 (pt) 2010-12-28 2011-12-21 aparelho de transmissço, mÉtodo de transmissço para um aparelho de transmissço que transmite dados, e, programa

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010292617A JP5664229B2 (ja) 2010-12-28 2010-12-28 送信装置、送信方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP2012141685A true JP2012141685A (ja) 2012-07-26
JP2012141685A5 JP2012141685A5 (ja) 2014-02-20
JP5664229B2 JP5664229B2 (ja) 2015-02-04

Family

ID=46318424

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010292617A Expired - Fee Related JP5664229B2 (ja) 2010-12-28 2010-12-28 送信装置、送信方法、及びプログラム

Country Status (5)

Country Link
US (1) US20120166670A1 (ja)
JP (1) JP5664229B2 (ja)
CN (1) CN102572411A (ja)
BR (1) BRPI1107077A2 (ja)
RU (1) RU2011152176A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014120830A (ja) * 2012-12-14 2014-06-30 Sony Corp 情報処理装置およびその制御方法
JPWO2018135364A1 (ja) * 2017-01-18 2019-06-27 株式会社ソニー・インタラクティブエンタテインメント 通信装置、生成データサイズ制御方法及びプログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011234341A (ja) * 2010-04-09 2011-11-17 Sony Corp 受信装置およびカメラシステム
GB201321148D0 (en) 2013-11-29 2014-01-15 Bridgeworks Ltd Data transfer
US9961023B2 (en) * 2014-05-13 2018-05-01 Red Hat Israel, Ltd. Adjusting buffer size for network interface controller
CN106452663A (zh) * 2015-08-11 2017-02-22 阿里巴巴集团控股有限公司 基于rtp协议的网络通话数据传输方法及通信设备
JP6933815B2 (ja) * 2018-08-27 2021-09-08 日本電信電話株式会社 通信制御システム及び通信制御方法
JP2021052353A (ja) * 2019-09-26 2021-04-01 日本電気株式会社 送信側中継装置、システム、方法、及びプログラム
CN114051142B (zh) * 2022-01-13 2022-04-29 深圳市麦谷科技有限公司 硬件多路编码防抖方法、装置、智能终端及存储介质
US20250330819A1 (en) * 2022-06-02 2025-10-23 Beijing Xiaomi Mobile Software Co., Ltd. Method and device for determining size of buffer of data link layer l2

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9018A (en) * 1852-06-15 Machine for polishing daguerreotype-plates
JPS63191488A (ja) * 1987-02-04 1988-08-08 Toshiba Corp 画像伝送装置
JPH0730589A (ja) * 1993-07-06 1995-01-31 Canon Inc データ送信装置
JPH07170291A (ja) * 1993-12-15 1995-07-04 Sony Corp 送信装置
JPH10174185A (ja) * 1996-12-06 1998-06-26 Nippon Denki Ido Tsushin Kk データ伝送方式と移動通信システム
JP2000092064A (ja) * 1998-09-09 2000-03-31 Tokyo Electric Power Co Inc:The 通信システム及びこの通信システムに用いられる可変レート符号化装置
JP2004180158A (ja) * 2002-11-28 2004-06-24 Ntt Docomo Inc 基地局制御装置、データ伝送方法及びプログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5566208A (en) * 1994-03-17 1996-10-15 Philips Electronics North America Corp. Encoder buffer having an effective size which varies automatically with the channel bit-rate
US6188700B1 (en) * 1996-11-07 2001-02-13 Sony Corporation Method and apparatus for encoding MPEG signals using variable rate encoding and dynamically varying transmission buffers
EP1081979A1 (en) * 1999-08-31 2001-03-07 TELEFONAKTIEBOLAGET L M ERICSSON (publ) Subscriber station, network control means and method for carrying out inter-frequency measurements in a mobile communication system
JP2001346201A (ja) * 2000-03-27 2001-12-14 Sony Corp 画像符号化装置とその方法、画像復号化装置とその方法、画像記録装置、画像伝送装置
US7260826B2 (en) * 2000-05-31 2007-08-21 Microsoft Corporation Resource allocation in multi-stream IP network for optimized quality of service
US7646816B2 (en) * 2001-09-19 2010-01-12 Microsoft Corporation Generalized reference decoder for image or video processing
US20030074650A1 (en) * 2001-10-17 2003-04-17 Tankut Akgul Debugger operating system for embedded systems
CA2364091A1 (en) * 2001-11-29 2003-05-29 Catena Networks Canada Inc. System and method for compensating packet voice delay variations
WO2005029834A2 (en) * 2003-09-21 2005-03-31 Servision Ltd. A method for generating high quality, low delay video streaming
US7447235B2 (en) * 2003-10-08 2008-11-04 Digital Fountain, Inc. FEC-based reliability control protocols
US7421700B2 (en) * 2004-03-15 2008-09-02 Microsoft Corporation Interprocess buffer management using a buffer delay time
JP2005333434A (ja) * 2004-05-20 2005-12-02 Matsushita Electric Ind Co Ltd 無線モジュール
US7299332B1 (en) * 2004-06-25 2007-11-20 Emc Corporation System and method for managing sessions and allocating memory resources used for replication of data in a data storage environment
US7509465B1 (en) * 2004-06-25 2009-03-24 Emc Corporation System and method for managing memory or session resources used for movement of data being copied in a data storage environment
US7983160B2 (en) * 2004-09-08 2011-07-19 Sony Corporation Method and apparatus for transmitting a coded video signal
DE602005009755D1 (de) * 2005-04-11 2008-10-23 Ericsson Telefon Ab L M Technik zur steuerung von datenpaketübermittlungen von daten mit variabler bitrate
US20100312828A1 (en) * 2009-06-03 2010-12-09 Mobixell Networks Ltd. Server-controlled download of streaming media files
US8407190B2 (en) * 2009-06-30 2013-03-26 Commvault Systems, Inc. Performing data storage operations with a cloud environment, including containerized deduplication, data pruning, and data transfer
BR112012017687A2 (pt) * 2010-02-12 2016-04-05 Thomson Licensing método para reprodução de conteúdo sincronizado
US8830316B2 (en) * 2010-10-01 2014-09-09 Brimrose Technology Corporation Unattended spatial sensing
JP2012142701A (ja) * 2010-12-28 2012-07-26 Sony Corp 送信装置、送信方法、及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9018A (en) * 1852-06-15 Machine for polishing daguerreotype-plates
JPS63191488A (ja) * 1987-02-04 1988-08-08 Toshiba Corp 画像伝送装置
JPH0730589A (ja) * 1993-07-06 1995-01-31 Canon Inc データ送信装置
JPH07170291A (ja) * 1993-12-15 1995-07-04 Sony Corp 送信装置
JPH10174185A (ja) * 1996-12-06 1998-06-26 Nippon Denki Ido Tsushin Kk データ伝送方式と移動通信システム
JP2000092064A (ja) * 1998-09-09 2000-03-31 Tokyo Electric Power Co Inc:The 通信システム及びこの通信システムに用いられる可変レート符号化装置
JP2004180158A (ja) * 2002-11-28 2004-06-24 Ntt Docomo Inc 基地局制御装置、データ伝送方法及びプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014120830A (ja) * 2012-12-14 2014-06-30 Sony Corp 情報処理装置およびその制御方法
US10098080B2 (en) 2012-12-14 2018-10-09 Sony Corporation Device, method and computer readable medium
JPWO2018135364A1 (ja) * 2017-01-18 2019-06-27 株式会社ソニー・インタラクティブエンタテインメント 通信装置、生成データサイズ制御方法及びプログラム
US10855435B2 (en) 2017-01-18 2020-12-01 Sony Interactive Entertainment Inc. Communication apparatus, generated data size controlling method, and program

Also Published As

Publication number Publication date
JP5664229B2 (ja) 2015-02-04
CN102572411A (zh) 2012-07-11
RU2011152176A (ru) 2013-06-27
US20120166670A1 (en) 2012-06-28
BRPI1107077A2 (pt) 2013-04-24

Similar Documents

Publication Publication Date Title
JP5664229B2 (ja) 送信装置、送信方法、及びプログラム
JP2012142701A (ja) 送信装置、送信方法、及びプログラム
US7668170B2 (en) Adaptive packet transmission with explicit deadline adjustment
US20050213502A1 (en) Method and system for controlling operation of a network, such as a WLAN, related network and computer program product therefor
JP2004193992A (ja) 情報処理システム、情報処理装置および方法、記録媒体、並びにプログラム
US12250423B2 (en) Systems and methods for achieving optimal network bitrate
JP2012142701A5 (ja)
JP2012141685A5 (ja)
US20110123170A1 (en) Information processing apparatus and method
CN1929422B (zh) 通信处理设备和通信控制方法
JP4834013B2 (ja) 送信装置、送信プログラム、受信装置及び受信プログラム
Van Beek et al. Adaptive streaming of high-quality video over wireless LANs
JP2010028378A (ja) 通信装置及び通信方法
JP4061643B2 (ja) 情報処理システム、情報処理装置および方法、記録媒体、並びにプログラム
US7965639B2 (en) Dynamic adaptation of MAC-layer retransmission value
JP5428702B2 (ja) ストリーム通信システム、サーバ装置及びクライアント装置
Demircin et al. Bandwidth estimation and robust video streaming over 802.11 E wireless lans
CN101741752A (zh) 视频流传输的方法、装置和系统
JP2015050591A (ja) 情報処理装置、情報処理方法およびプログラム
JP5675164B2 (ja) 送信装置、送信方法、並びにプログラム
Wang et al. A cross-layer based bandwidth and queue adaptations for wireless multimedia networks
JP2005101873A (ja) ストリーム制御方法とその方法を利用可能な通信装置および端末
Dhamodaran et al. Analysis of optimum substream lengths for dual TCP/UDP streaming of HD H. 264 video over congested WLANs
WO2023037858A1 (ja) 映像伝送システム、送信装置、表示装置、映像伝送方法、及び、プログラム
Dhamodaran et al. Adaptive Queue Management Scheme for Flexible Dual TCP/UDP Streaming Protocol

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140106

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140729

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140731

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141124

LAPS Cancellation because of no payment of annual fees