JP2004289862A - Packet receiving apparatus and packet receiving method - Google Patents
Packet receiving apparatus and packet receiving method Download PDFInfo
- Publication number
- JP2004289862A JP2004289862A JP2004144151A JP2004144151A JP2004289862A JP 2004289862 A JP2004289862 A JP 2004289862A JP 2004144151 A JP2004144151 A JP 2004144151A JP 2004144151 A JP2004144151 A JP 2004144151A JP 2004289862 A JP2004289862 A JP 2004289862A
- Authority
- JP
- Japan
- Prior art keywords
- packet
- receiving
- error
- media
- media data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Detection And Prevention Of Errors In Transmission (AREA)
- Communication Control (AREA)
Abstract
Description
本発明は、パケット受信装置及びパケット受信方法に関する。 The present invention relates to a packet receiving device and a packet receiving method.
従来、SMIL(Synchronized Multimedia Integration Language)と呼ばれる技術がある。この技術は、テキスト、静止画、動画、音声を含むコンテンツを統合し、空間的および時間的配置を記述する方法としてW3C(World Wide Web Consortium)によって標準化されたものである。SMIL記述言語は、インターネットを通じて非常に普及しているハイパーテキスト記述言語HTML(Hypertext Markup Language)と似たものであるが、それと比較してコンテンツに時間情報を持つ利点を有している。 Conventionally, there is a technique called SMIL (Synchronized Multimedia Integration Language). This technology has been standardized by the World Wide Web Consortium (W3C) as a method of integrating contents including text, still images, moving images, and audio and describing spatial and temporal arrangement. The SMIL description language is similar to the Hypertext Markup Language (HTML), which is very popular throughout the Internet, but has the advantage of having time information in the content as compared to it.
ここで、図を用いてSMILによって記述されたサーバ上のコンテンツを、ネットワークを介してクライアントが再生する方法について説明する。 Here, a method for a client to reproduce content on a server described by SMIL via a network will be described with reference to the drawings.
図5はSMILを用いたコンテンツ配信を説明するための図である。 FIG. 5 is a diagram for explaining content distribution using SMIL.
この図において、ユーザーがネットワーク200を介してクライアント201からサーバ203へアクセスし、コンテンツが記述されたSMILファイルを取得すると、クライアント201がそのSMILファイルを解釈する。そして、そのファイルに記述されているテキスト、静止画、動画または音声等のメディアをサーバ202、204から取得する一方、同ファイルに記述されている時間情報に基づいてそれぞれのメディアを適切な時刻で再生する。なお、図5ではSMILファイルや動画データ等の各メディアファイルがそれぞれ個別のサーバ202、203、204に保存されているが、1つのサーバに保存されている場合もある。
In this figure, when a user accesses the server 203 from the
次に、SMILファイルや各メディアの伝送方法について説明する。 Next, a transmission method of the SMIL file and each medium will be described.
SMILファイル、静止画データ、テキストファイル等の各メディアファイルをサーバからクライアントへ伝送する場合、インターネットで広く普及しているHTMLと同様に信頼性のあるプロトコルであるTCP(Transmission Control Protocol)が一般的に用いられる。一方、音声データや動画データといった時間的に連続するデータについては、リアルタイム性を優先したRTP(Real-time Transport Protocol)およびUDP(User Datagram Protocol)というプロトコルを用いて伝送されることが多い。 When transmitting media files such as SMIL files, still image data, and text files from a server to a client, TCP (Transmission Control Protocol), which is a reliable protocol similar to HTML widely used on the Internet, is generally used. Used for On the other hand, data that is temporally continuous such as audio data and moving image data is often transmitted using protocols such as RTP (Real-time Transport Protocol) and UDP (User Datagram Protocol) that prioritize real-time properties.
TCPまたはRTP/UDPを伝送する下位プロトコルとして、IP(Internet Protocol)プロトコルが一般的に用いられている。 As a lower protocol for transmitting TCP or RTP / UDP, an IP (Internet Protocol) protocol is generally used.
以上のTCP、RTP、UDP、IPプロトコルは全てIETF(Internet Engineering Task Force)によって標準化されており、インターネットを中心に広く普及している。 The above TCP, RTP, UDP, and IP protocols are all standardized by the Internet Engineering Task Force (IETF), and are widely used mainly on the Internet.
次に、SMILファイルのコンテンツ記述方法について簡単に説明する。 Next, a content description method of the SMIL file will be briefly described.
図6はSMILで記述された文章の一例を示す図である。 FIG. 6 is a diagram illustrating an example of a sentence described in SMIL.
この図において、左端の数字1、2、…は説明のための行番号であり、右端は説明文である。なお、これらは実際のSMILファイルには記述されない。 In this figure, the numbers 1, 2, ... at the left end are line numbers for explanation, and the right end is an explanation. These are not described in the actual SMIL file.
数字1と数字15とで囲まれたテキストがSMIL文書であることを示す。SMIL文書の内容は、数字2から数字8で囲まれるヘッダ部分と、数字9から数字14で囲まれる本文とからなる。ヘッダ部分は時間情報と無関係なレイアウト情報等が記述される。本文には実際のメディア情報と再生に関する時間情報が記述される。数字11は動画を表示する制御文であり、数字12は静止画を表示する制御文であり、これらは数字10と数字13のように、<par>で囲まれるので、同時に再生することを表している。メディアの所在は"src"によって記述される。また、メディアの再生時間に関する指定は"begin"、"end"、"dur"等を用いて記述される。この場合、"begin"はメディア開始時刻、"end"はメディア終了時刻、"dur"はメディアの再生時間をそれぞれ指定している。
The text surrounded by the numerals 1 and 15 indicates that the text is a SMIL document. The contents of the SMIL document include a header portion surrounded by numerals 2 to 8, and a text surrounded by numerals 9 to 14. In the header part, layout information and the like irrelevant to the time information are described. In the text, actual media information and time information related to reproduction are described.
数字11の記述は、"a"という領域に、"src"で指定された動画データを3秒から20秒の間表示することを示している。数字12の記述は、"b"という領域に"src"で指定された静止画データを10秒間表示することを示している。
The description of the
再生開始・終了を数字11及び数字12の記述のように絶対時刻で指定する以外に、以下の例1、例2に示すようにシーケンス的に指定することも可能である。
In addition to specifying the reproduction start / end by the absolute time as described in the
例1
<seq>
<video id="video1" src="rtsp://example.com/video1.m4v" />
<video id="video2" src="rtsp://example.com/video2.m4v"…/>
</seq>
例2
<par>
<video id="video1" src="rtsp://example.com/video1.m4v" />
<video id="video2" src="rtsp://example.com/video2.m4v" begin="video1.end"…/>
</par>
例1、例2は共にビデオ1の再生が終了した後にビデオ2を再生するようにした記述である。なお、例1、例2では共に動画の場合であるが、動画と静止画でも同様である。
Example 1
<seq>
<video id = "video1" src = "rtsp: //example.com/video1.m4v"/>
<video id = "video2" src = "rtsp: //example.com/video2.m4v"… />
</ seq>
Example 2
<par>
<video id = "video1" src = "rtsp: //example.com/video1.m4v"/>
<video id = "video2" src = "rtsp: //example.com/video2.m4v" begin = "video1.end"… />
</ par>
Examples 1 and 2 are descriptions in which video 2 is reproduced after video 1 has been reproduced. It should be noted that both the examples 1 and 2 are for moving images, but the same applies to moving images and still images.
次に、上記例におけるクライアントとサーバとの間の実際の動作について説明する。 Next, an actual operation between the client and the server in the above example will be described.
図7はメディアを連続再生する場合のシーケンス図である。この図において、実線はリアルタイムデータの制御用に用いられるプロトコルであるRTSP(Real Time Streaming Protocol)のコマンドおよびレスポンス信号を表す。RTSPは信頼性のあるプロトコルであるTCP上を介して通信される。一方、実際のメディアデータは点線で表したように非信頼性であるがリアルタイム通信に適したRTPプロトコルが用いられる。また、データの終わりを表すコマンドもRTPを用いて伝送される。 FIG. 7 is a sequence diagram in the case of continuously playing back media. In this figure, solid lines represent RTSP (Real Time Streaming Protocol) command and response signals, which are protocols used for controlling real-time data. RTSP is communicated over TCP, a reliable protocol. On the other hand, the actual media data is unreliable as shown by the dotted line, but uses the RTP protocol suitable for real-time communication. A command indicating the end of data is also transmitted using RTP.
さて、クライアントは、SMIL文書中のvideo1を再生する記述を解釈し、サーバに対して再生を要求する(ステップ1)。サーバは、クライアントからの再生要求を受けると再生準備を開始し、その準備が整った時点でOKを返す(ステップ2)。OKを返した後、video1のデータの送信を開始する(ステップ3)。そして、video1のデータを全て送信し終えると、RTPプロトコルで規定されているRTCP BYEという制御信号をクライアントに送信し、video1のデータを全て送信したことを通知する(ステップ4)。 Now, the client interprets the description for reproducing video1 in the SMIL document, and requests the server for reproduction (step 1). The server starts reproduction preparation upon receiving a reproduction request from the client, and returns OK when the preparation is completed (step 2). After returning OK, transmission of video1 data is started (step 3). When the transmission of all the data of video1 is completed, a control signal called RTCP BYE defined by the RTP protocol is transmitted to the client to notify that all the data of video1 have been transmitted (step 4).
クライアントは、RTCP(RTP control protocol) BYEを受信すると、セッションを終了するためにRTSP TEARDOWNというコマンドを送信する(ステップ5)。サーバはTEARDOWNコマンドを受信するとセッションを終了し、その終了をクライアントに通知する(ステップ6)。クライアントはvideo1の再生が終了したので、続いてvideo2の再生動作に移行する。ステップ7からステップ12まではvideo1と同様のシーケンスによりvideo2の伝送を行う。
Upon receiving the RTCP (RTP control protocol) BYE, the client transmits a command called RTSP TEARDOWN to end the session (step 5). Upon receiving the TEARDOWN command, the server ends the session and notifies the client of the end (step 6). Since the playback of the video 1 has been completed, the client proceeds to the playback operation of the video 2. From step 7 to
しかしながら、この従来のパケット受信方法においては、次のような問題がある。 However, this conventional packet receiving method has the following problems.
すなわち、音声データや動画データのようなリアルタイムデータを、RTPを用いて無線回線などのビット誤りの発生しやすい回線を用いて伝送する場合、メディアデータの終了を表すRTCP BYEのパケットにビット誤りが生じると、図8のシーケンス図に示すようにクライアントの下位レイヤによって破棄されてしまう。このようになると、データの終わりがクライアントでは分からないので、データの送信が全て終了したとしても次のメディアの再生を開始することができなくなる。また、バースト誤りによるメディアの一時中断時には、セッションを終了してしまうことがある。 In other words, when transmitting real-time data such as audio data or moving image data using a line such as a radio line or the like in which a bit error is likely to occur using RTP, a bit error occurs in an RTCP BYE packet indicating the end of media data. When it occurs, it is discarded by the lower layer of the client as shown in the sequence diagram of FIG. In this case, since the end of the data cannot be recognized by the client, the reproduction of the next medium cannot be started even if all the data transmissions are completed. In addition, when the medium is temporarily suspended due to a burst error, the session may be terminated.
本発明は係る点に鑑みてなされたものであり、メディア終了通知パケットであるBYEパケットが伝送誤りによって受信できない場合であっても、次のメディアの再生を開始することができるとともに、バースト誤りによるメディアの一時中断時にはセッションを終了せずに待機できるパケット受信装置及びパケット受信方法を提供することを目的とする。 The present invention has been made in view of the above points, and even when a BYE packet, which is a media end notification packet, cannot be received due to a transmission error, reproduction of the next media can be started and a burst error can be generated. It is an object of the present invention to provide a packet receiving apparatus and a packet receiving method capable of waiting without terminating a session when media is temporarily suspended.
本発明のパケット受信装置は、サーバから送信されたパケットを受信するパケット受信手段と、前記パケット受信手段にて受信されたパケットの伝送誤りを検出する誤りパケット検出手段と、前記誤りパケット検出手段にて検出された誤りパケットを破棄するパケット破棄手段と、前記パケット受信手段にて伝送誤り無く受信されたパケットより音声データや動画データであるメディアデータを受信するメディア受信手段と、前記メディア受信手段が前記メディアデータの受信開始後、前記メディアデータの受信不能状態が所定時間継続した場合で、且つその間に前記誤りパケット検出手段にてパケットの誤りが検出されなければ、メディアデータの送信が終了したことを判定するデータ終了判定手段と、を具備する構成を採る。 The packet receiving device of the present invention includes a packet receiving unit that receives a packet transmitted from a server, an error packet detecting unit that detects a transmission error of the packet received by the packet receiving unit, and an error packet detecting unit. Packet discarding means for discarding the error packet detected by the packet receiving means, media receiving means for receiving media data which is audio data or moving image data from a packet received without transmission errors by the packet receiving means, and After the start of the reception of the media data, if the state in which the reception of the media data cannot be continued for a predetermined period of time, and if no error of the packet is detected by the error packet detecting means during that time, the transmission of the media data is completed. And a data end determining means for determining
この構成によれば、伝送誤り等によってメディアデータの終了を通知するパケットの損失が生じても、メディアデータの受信不能状態が所定時間継続した場合で、且つその間にパケットの誤りが検出されなければ、メディアデータの送信が終了したと判定するので、速やかに次のメディアデータの受信を再開することが可能となる。 According to this configuration, even if a packet for notifying the end of the media data is lost due to a transmission error or the like, if the unreceivable state of the media data continues for a predetermined time and no packet error is detected during that time, Since it is determined that the transmission of the media data has been completed, the reception of the next media data can be promptly resumed.
また、本発明のパケット受信装置は、上記パケット受信装置において、前記データ終了判定手段は、前記メディアデータの受信不能状態が所定時間継続した場合でも、その間に前記誤りパケット検出手段にてパケットの誤りが検出されれば、前記サーバからのメディアデータの送信が終了していないと判定する。 Further, in the packet receiving apparatus according to the present invention, in the packet receiving apparatus, even when the media data reception disabled state continues for a predetermined period of time, the error detection of the packet is performed by the error packet detecting unit. Is detected, it is determined that the transmission of the media data from the server has not been completed.
この構成によれば、伝送誤り等によるパケットの損失がある場合には、メディアデ−タの受信待ち状態を維持するので、バースト誤り等によってメディアデータの受信が一時的に中断した場合に、誤ってセッションを中断してしまう事態を低減させることが可能となる。 According to this configuration, when there is a packet loss due to a transmission error or the like, the reception wait state of the media data is maintained. Therefore, when the reception of the media data is temporarily interrupted due to a burst error or the like, an error occurs. Thus, it is possible to reduce a situation in which the session is interrupted.
また、本発明のパケット受信装置は、上記パケット受信装置において、前記パケット受信手段は、IPパケットを受信するIPパケット受信手段と、UDPパケットを受信するUDPパケット受信手段とを具備し、前記メディア受信手段は、前記UDPパケット受信手段より得られるRTPパケットにてメディア終了信号を受信する。 The packet receiving apparatus of the present invention is the packet receiving apparatus, wherein the packet receiving means includes an IP packet receiving means for receiving an IP packet, and a UDP packet receiving means for receiving a UDP packet. The means receives a media end signal in an RTP packet obtained from the UDP packet receiving means.
この構成によれば、RTPパケットを受信するメディア受信手段よりも下位に位置するIPレイヤ、UDPレイヤにおけるパケットの誤りを検出することによって、メディアデータの終了を通知するメディア終了信号であるBYEパケットの損失が生じても、サーバからのメディアデータの送信終了を判定することができる。 According to this configuration, by detecting a packet error in the IP layer and the UDP layer positioned lower than the media receiving unit that receives the RTP packet, the BYE packet of the media end signal for notifying the end of the media data is detected. Even if a loss occurs, it is possible to determine the end of media data transmission from the server.
本発明のコンテンツ受信再生装置は、上記パケット受信装置と、前記パケット受信装置のメディア受信手段にてメディア終了信号が受信されていない状態で、前記パケット受信装置のデータ終了判定手段からリアルタイムデータの終了が通知された場合に、サーバに対してセッション終了コマンドを送信する制御コマンド送信手段と、を具備する構成を採る。 The content reception / playback apparatus of the present invention is characterized in that the packet reception apparatus and the data reception determination means of the packet reception apparatus terminate real-time data in a state where the media reception signal is not received by the media reception means of the packet reception apparatus. And a control command transmitting means for transmitting a session end command to the server when the server is notified.
この構成によれば、伝送誤り等によってメディア終了信号を伝送するパケットの損失が生じても、メディアデータの送信が終了したと判定してサーバに対してセッション終了コマンドを送信するので、速やかに次のメディアデータの受信を再開することが可能となる。 According to this configuration, even if a packet for transmitting the media end signal is lost due to a transmission error or the like, it is determined that the transmission of the media data has been completed and the session end command is transmitted to the server. Of the media data can be resumed.
また、本発明のコンテンツ受信再生装置は、上記コンテンツ受信再生装置において、コンテンツ記述言語に応じてメディア受信手段にて受信されたメディアデータの再生及び表示を行う再生表示手段を具備する構成を採る。 Further, the content receiving / playing device of the present invention employs a configuration in which the content receiving / playing device includes a playback / display unit that plays and displays the media data received by the media receiving unit in accordance with the content description language.
この構成によれば、SMILやHTML等のコンテンツ記述言語に応じてコンテンツのメディアデータの再生・表示ができる。 According to this configuration, the media data of the content can be reproduced and displayed according to the content description language such as SMIL or HTML.
本発明の通信端末は、上記装置を具備する構成を採る。 The communication terminal of the present invention employs a configuration including the above device.
この構成によれば、SMILやHTML記述言語によるコンテンツのメディアデータの再生・表示ができる。さらに、伝送誤り等によってメディア終了信号を伝送するパケットの損失が生じても、メディアデータの送信が終了したと判定してサーバに対してセッション終了コマンドを送信するので、スムーズなコンテンツ再生を行うことができる。 According to this configuration, the media data of the content can be reproduced and displayed in the SMIL or HTML description language. Furthermore, even if a packet for transmitting the media end signal is lost due to a transmission error or the like, it is determined that the transmission of the media data has been completed, and a session end command is transmitted to the server. Can be.
本発明のパケット受信方法は、サーバより送られてくる音声データや動画データであるメディアデータの受信開始後、前記メディアデータの受信不能状態が所定時間継続した場合で、且つその間に前記メディアデータを受信するRTP受信手段よりも下位に位置するUDPレイヤ、IPレイヤにおいてパケット損失を検出できなければ、前記サーバからのメディアデータの送信が全て終了したことを判定してセッションを終了し、次のメディアデータ再生処理を実行し、前記メディアデータの受信不能状態が所定時間継続してもその間に前記UDPレイヤ、IPレイヤにおいてパケット損失を検出できれば、前記サーバからのメディアデータの送信が終了していないと判定する。 The packet receiving method according to the present invention is configured such that, after starting reception of media data that is audio data or moving image data sent from a server, when the unreceivable state of the media data continues for a predetermined time, and during that time, the media data is transmitted. If the packet loss cannot be detected in the UDP layer or the IP layer located lower than the receiving RTP receiving means, it is determined that all the media data transmission from the server has been completed, and the session is terminated. If the data reproduction process is executed and the packet loss can be detected in the UDP layer and the IP layer during the predetermined period of time in which the media data cannot be received, the transmission of the media data from the server is not completed. judge.
この方法によれば、RTPパケットを受信するメディア受信手段よりも下位に位置するIPレイヤ、UDPレイヤにおけるパケットの誤りを検出することによって、メディアデータの終了を通知するメディア終了信号であるBYEパケットの損失が生じても、サーバからのメディアデータの送信終了を判定することができる。 According to this method, by detecting a packet error in the IP layer and the UDP layer located lower than the media receiving unit that receives the RTP packet, the BYE packet of the media end signal for notifying the end of the media data is detected. Even if a loss occurs, it is possible to determine the end of media data transmission from the server.
また、伝送誤り等によるパケットの損失がある場合には、メディアデ−タの受信待ち状態を維持するので、バースト誤り等によってメディアデータの受信が一時的に中断した場合に、誤ってセッションを中断してしまう事態を低減させることが可能となる。 If there is a packet loss due to a transmission error or the like, the reception wait state of the media data is maintained. Therefore, when the reception of the media data is temporarily interrupted due to a burst error or the like, the session is erroneously interrupted. It is possible to reduce the situation that occurs.
本発明の記録媒体は、コンテンツ受信再生プログラムを格納し、コンピュータにより読み取り可能な記録媒体であって、前記コンテンツ受信再生プログラムは、サーバから送信されたパケットを受信するパケット受信手順と、前記パケット受信手順にて受信されたパケットの伝送誤りを検出する誤りパケット検出手順と、前記誤りパケット検出手順にて検出された誤りパケットを破棄するパケット破棄手順と、前記パケット受信手順にて伝送誤り無く受信されたパケットより音声データや動画データであるメディアデータを受信するメディア受信手順と、前記メディア受信手順が前記メディアデータの受信開始後、前記メディアデータの受信不能状態が所定時間継続した場合で、且つその間に前記誤りパケット検出手順にてパケットの誤りが検出されなければ、メディアデータの送信が終了したことを判定し、前記メディアデータの受信不能状態が所定時間継続した場合でも、その間に前記パケット検出手順にてパケットの誤りが検出されれば、前記サーバからのメディアデータの送信が終了していないと判定するデータ終了判定手順と、を具備する。 A recording medium according to the present invention is a computer-readable recording medium storing a content reception / reproduction program, wherein the content reception / reproduction program includes a packet reception procedure for receiving a packet transmitted from a server; An error packet detection procedure for detecting a transmission error of the packet received in the procedure, a packet discard procedure for discarding the error packet detected in the error packet detection procedure, A media receiving procedure for receiving media data that is audio data or moving picture data from the received packet, and the media receiving procedure starts receiving the media data after the media data receiving disabled state continues for a predetermined time, and In the error packet detection procedure, If not issued, it is determined that the transmission of the media data has been completed, and even if the unreceivable state of the media data has continued for a predetermined period of time, if a packet error is detected in the packet detection procedure during that time, the A data end determination procedure for determining that the transmission of media data from the server has not ended.
この記録媒体を、コンピュータを搭載してソフトウェア制御する構成のパケット受信装置に適用することにより、伝送誤り等によってメディアデータの終了を通知するパケットの損失が生じても、メディアデータの受信不能状態が所定時間継続した場合で、且つその間にパケットの誤りが検出されなければ、メディアデータの送信が終了したと判定するので、速やかに次のメディアデータの受信を再開することが可能となる。 By applying this recording medium to a packet receiving device having a configuration in which a computer is installed and which is controlled by software, even if a packet for notifying the end of the media data due to a transmission error or the like is lost, the media data cannot be received. If the packet continues for a predetermined period of time and if no packet error is detected during that time, it is determined that the transmission of the media data has been completed, so that the reception of the next media data can be resumed promptly.
また、伝送誤り等によるパケットの損失がある場合にはメディアデ−タの受信待ち状態を維持するので、バースト誤り等によってメディアデータの受信が一時的に中断した場合に、誤ってセッションを中断してしまう事態を低減させることが可能となる。 If there is a packet loss due to a transmission error or the like, the reception wait state of the media data is maintained. Therefore, when the reception of the media data is temporarily interrupted due to a burst error or the like, the session is erroneously interrupted. Can be reduced.
以上説明したように、本発明によれば、再生時間が指定されていないコンテンツを再生する場合であり、かつBYEパケットが正しく受信されなかった場合であっても、終了時間を適切に判定することができる。さらに、パケット損失による再生の中断が発生した場合であっても、パケット損失を監視して終了時刻判定に用いるので、誤ってメディアデータの終了と判断して再生を停止してしまい後続のデータを再生できなくなる事態を回避することができる。 As described above, according to the present invention, it is possible to appropriately determine the end time even when a content whose playback time is not specified is reproduced and a BYE packet is not correctly received. Can be. Furthermore, even if playback is interrupted due to packet loss, the packet loss is monitored and used to determine the end time. A situation in which reproduction cannot be performed can be avoided.
本発明の骨子は、RTPパケットの受信手段であるRTP受信手段より下位に位置するIPレイヤやUDPレイヤにおいてパケット損失を監視することによって、伝送損失等によりメディアデータの終了を表すBYEパケットの損失が生じた場合であっても、メディアデータの終了を判定するとともに、誤ってメディアの終了を判定してしまうことを防止することである。 The gist of the present invention is that the loss of a BYE packet indicating the end of media data due to a transmission loss or the like is monitored by monitoring a packet loss in an IP layer or a UDP layer located lower than the RTP receiving means that is an RTP packet receiving means. Even if it occurs, the end of the media data is determined, and the end of the media is prevented from being erroneously determined.
以下、本発明の実施の形態について、図面を参照して詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図1は、本発明の実施の形態に係るコンテンツ受信再生装置の構成を示すブロック図である。 FIG. 1 is a block diagram showing a configuration of a content reception / playback apparatus according to an embodiment of the present invention.
この図において、本実施の形態のコンテンツ受信再生装置は、アンテナ101と、送受信部102と、IPパケット送受信部103と、TCP送受信部104と、UDP受信部105と、RTP受信部106と、コンテンツ制御部107と、パケット損失監視部110と、終了時刻判定部111とを備えて構成される。コンテンツ制御部107は、再生表示部108と制御コマンド送受信部109とを有して構成される。
In the figure, the content receiving and reproducing apparatus according to the present embodiment includes an
送受信部102は、アンテナ101を介して受信したIPパケットに無線処理(ダウンコンバート、A/D変換等の処理)と復調処理を施し、復調したパケット信号をIPパケット送受信部103に入力する。また、IPパケット送受信部103から入力されたパケット信号に変調処理と無線処理を施し、無線処理後のIPパケットをアンテナ101から中空へ放出する。IPパケット送受信部103は、IPパケットの送受信を行うとともに、受信したIPパケットの誤りを検査し、誤りがあればそのIPパケットのIPヘッダをパケット損失監視部110に入力した後、パケットそのものを破棄する。一方、受信したIPパケットに誤りがなければそのIPパケットのIPヘッダを削除した後、TCPセグメントの場合はTCP送受信部104に、UDPセグメントの場合はUDP受信部105に入力する。
The transmission /
TCP送受信部104は、IPパケット送受信部103から入力されたTCPセグメントをコンテンツ制御部107の制御コマンド送受信部109に入力する。また、コンテンツ制御部107の制御コマンド送受信部109から入力された制御コマンドをTCPセグメントとしてIPパケット送受信部103に入力する。UDP受信部105は、IPパケット送受信部103から入力されたUDPセグメントに含まれる誤りを検査し、誤りがある場合にはそのUDPセグメントのヘッダをパケット損失監視部110に入力した後、セグメントそのものを破棄する。一方、誤りがない場合にはUDPセグメントをRTPパケットにしてRTP受信部106に入力する。RTP受信部106は、入力されたRTPパケットをコンテンツ制御部107の再生表示部108に入力するとともに、RTPパケットの受信状況を終了時刻判定部111に報告する。
The TCP transmission /
コンテンツ制御部107において、制御コマンド送受信部109は、図示せぬサーバからの制御コマンドを、TCP/IPパケットを用いて受信する。また、TCP/IPパケットを用いて図示せぬサーバへ制御コマンドを送信する。また、コンテンツの記述に応じて再生表示部108に対してメディアの再生開始や再生停止を指示する。再生表示部108は、制御コマンド送受信部109からの指示に従ってRTP受信部106より入力されたRTPパケットに含まれるメディアデータを再生・表示する。
In the
終了時刻判定部111は、RTP受信部106にてメディアの終了を表すBYEパケットが受信された場合に、メディアの終了と判定してそのBYEパケットを制御コマンド送受信部109に入力する。
When the
また、終了時刻判定部111は、RTP受信部106にてBYEパケットが受信されなくても、パケット損失監視部110からのパケット損失情報およびRTP受信部106からのRTPパケット受信状況情報を考慮して、パケット損失が生じてなくて、RTPパケットを受信しない状態が一定時間続いた場合は、サーバからのメディアデータの送信が終了したと判定して制御コマンド送受信部109にメディアの停止を指示する。この場合、RTP受信部106がRTPパケットを受信していなくても、パケット損失情報から下位レイヤのパケット損失が生じていれば、メディアデータの送信が終了したとは判定しない。
Further, even when the BYE packet is not received by the
すなわち、IPレイヤ又はUDPレイヤにおけるパケット損失が発生していれば、RTPパケットを一定時間受信していなくても、メディアデータの送信が終了としたとは判定しない。なお、RTP受信部106がRTPパケットを受信していなくても、下位レイヤのパケット損失が生じている場合とは、再生表示部108において再生が中断する場合が続いた場合である。
That is, if a packet loss has occurred in the IP layer or the UDP layer, it is not determined that the transmission of the media data has ended even if the RTP packet has not been received for a certain period of time. Note that, even if the
ここで、BYEパケットが誤りのため破棄されて、クライアントにメディアの終了時刻が通知されない場合の動作について説明する。 Here, the operation when the BYE packet is discarded due to an error and the end time of the media is not notified to the client will be described.
図2は、メディアの連続再生において、BYEパケットに伝送誤りが発生した場合の動作を示すシーケンス図である。なお、この図において、ステップ1からステップ3までは図7のシーケンス図と同様であるので、説明を省略する。 FIG. 2 is a sequence diagram showing an operation when a transmission error occurs in a BYE packet during continuous reproduction of media. In this figure, steps 1 to 3 are the same as the sequence diagram of FIG.
図2において、伝送誤りによってBYEパケットに誤りが発生すると、そのBYEパケットがクライアント側で破棄される(ステップ4)。この時点では既にサーバからメディアデータの送信が全て終了しているので、メディアデータが送信されることはないが、クライアント側ではメディアデータの送信が終了したかどうかは分からない。このため、クライアント側では一定時間メディアデータを受信できる状態を維持し、その間にメディアデータを受信できなければ、メディアデータの送信が終了したと判断してサーバに対してセッション切断を要求する(ステップ5)。 In FIG. 2, when an error occurs in a BYE packet due to a transmission error, the BYE packet is discarded on the client side (step 4). At this point, since the transmission of the media data has already been completed from the server, the media data is not transmitted, but the client does not know whether the transmission of the media data has been completed. For this reason, the client side maintains the state in which the media data can be received for a certain period of time, and if the media data cannot be received during that time, determines that the transmission of the media data has ended and requests the server to disconnect the session (step 5).
次に、無線回線上で頻繁に起こることが知られているバーストエラーが発生した場合の動作について説明する。なお、バーストエラーとは、伝送誤りがある一定期間集中して起こるような誤りのパターンのことである。 Next, an operation when a burst error, which is known to occur frequently on a wireless line, occurs. Note that a burst error is an error pattern in which transmission errors occur intensively for a certain period of time.
図3は、メディアの連続再生において、バースト誤りがメディアパケットに発生した場合の動作を示すシーケンス図である。本シーケンス図では、図2と同様に、ステップ3において、サーバから複数のパケットによってメディアデータをクライアントに送信する。 FIG. 3 is a sequence diagram showing an operation when a burst error occurs in a media packet in continuous reproduction of media. In this sequence diagram, as in FIG. 2, in step 3, media data is transmitted from the server to the client in a plurality of packets.
図3において、サーバからクライアントに向けてメディアデータを送信中に、バーストエラーが発生すると、連続するパケットに誤りが生じるため、IPレイヤとUDPレイヤにおいて誤りを検出し全て破棄する処理を行う。その結果、RTP受信部106はバーストエラーが発生している間全くメディアデータを受信することができなくなる。IPレイヤとUDPレイヤからはパケット損失情報が出力されるので、終了時刻判定部111はメディアデータの受信が終了しているとは判定しない。したがって、クライアントはメディアデータを受信できる状態をそのまま維持し、その後にバーストエラーが終了した時点でメディアデータの受信を再開する。
In FIG. 3, if a burst error occurs during transmission of media data from the server to the client, an error occurs in consecutive packets. Therefore, a process of detecting the error in the IP layer and the UDP layer and discarding all the errors is performed. As a result, the
このように、本実施の形態のコンテンツ受信再生装置によれば、再生時間が指定されていないコンテンツを再生する場合において、伝送誤り等によってメディアデータの終了を通知するBYEパケットの損失が生じても、メディアデータの受信不能状態が所定時間継続した場合で、且つその間にパケットの誤りが検出されなければ、メディアデータの送信が終了したと判定するので、速やかに次のメディアデータの受信を再開することが可能となる。 As described above, according to the content reception / playback apparatus of the present embodiment, when a content whose playback time is not specified is played back, even if a BYE packet for notifying the end of media data is lost due to a transmission error or the like, a loss occurs. If the unreceivable state of the media data continues for a predetermined time and if no packet error is detected during that time, it is determined that the transmission of the media data has been completed, so that the reception of the next media data is immediately resumed. It becomes possible.
また、伝送誤り等によるパケットの誤りが検出されれば、メディアデ−タの受信待ち状態を維持するので、バースト誤り等によってメディアデータの受信が一時的に中断した場合に、誤ってセッションを中断してしまって再生を停止してしまい、後続のデータを再生できなくなる事態を回避することが可能となる。 When a packet error due to a transmission error or the like is detected, the media data reception wait state is maintained. Therefore, when the reception of the media data is temporarily interrupted due to a burst error or the like, the session is erroneously interrupted. This makes it possible to avoid a situation in which the reproduction is stopped and the subsequent data cannot be reproduced.
なお、上記実施の形態では、コンテンツを受信して再生するコンテンツ受信再生装置について述べたが、コンテンツ制御部107を取り除いてコンテンツの受信のみを行うパケット受信装置としてもよい。図4にそのパケット受信装置の構成を示す。
In the above-described embodiment, the content receiving / reproducing apparatus that receives and reproduces content has been described. However, a packet receiving apparatus that removes the
また、上記実施の形態では、コンテンツの受信再生をハードウェア構成で行う場合について説明したが、これに限るものではなく、このコンテンツ受信再生をソフトウェアとして行うことも可能である。例えば、コンテンツ受信再生を行うプログラムをコンピュータで読み取り可能な記録媒体に格納し、このプログラムをコンピュータのRAM(Random Access Memory)に記録して、コンピュータをそのプログラムに従って動作させるようにしてもよい。 Further, in the above-described embodiment, a case has been described in which the content is received and played back with a hardware configuration. However, the present invention is not limited to this, and the content reception / playback can be performed as software. For example, a program for performing content reception and reproduction may be stored in a computer-readable recording medium, and the program may be recorded in a RAM (Random Access Memory) of the computer, and the computer may be operated according to the program.
このパケット受信プログラムは、例えば、サーバから送信されたパケットを受信するパケット受信手順と、パケット受信手順にて受信されたパケットの伝送誤りを検出する誤りパケット検出手順と、誤りパケット検出手順にて検出された誤りパケットを破棄するパケット破棄手順と、パケット受信手順にて伝送誤り無く受信されたパケットより音声データや動画データであるメディアデータを受信するメディア受信手順と、メディア受信手順がメディアデータの受信開始後、メディアデータの受信不能状態が所定時間継続した場合で、且つその間に誤りパケット検出手順にてパケットの誤りが検出されなければ、メディアデータの送信が終了したことを判定し、メディアデータの受信不能状態が所定時間継続した場合でも、その間に誤りパケット検出手順にてパケットの誤りが検出されれば、サーバからのメディアデータの送信が終了していないと判定するデータ終了判定手順と、を具備するものである。 The packet receiving program detects, for example, a packet receiving procedure for receiving a packet transmitted from a server, an error packet detecting procedure for detecting a transmission error of a packet received in the packet receiving procedure, and an error packet detecting procedure. A packet discarding procedure for discarding the erroneous packet received, a media receiving procedure for receiving media data that is audio data or video data from a packet received without a transmission error in the packet receiving procedure, and a media receiving procedure for receiving media data. After the start, if the unreceivable state of the media data continues for a predetermined time, and if no error of the packet is detected in the error packet detection procedure during that time, it is determined that the transmission of the media data is completed, and the transmission of the media data is determined. Even if the unreceivable state continues for a predetermined time, an error packet If DOO detection procedure error packet in is detected, it is to anda data end determining step determines that the transmission of the media data is not completed from the server.
ソフトウェアで制御する場合においても、上記実施の形態と同様の作用および効果を呈する。すなわち、伝送誤り等によってメディアデータの終了を通知するパケットの損失が生じても、メディアデータの受信不能状態が所定時間継続した場合で、且つその間にパケットの誤りが検出されなければ、メディアデータの送信が終了したと判定するので、速やかに次のメディアデータの受信を再開することが可能となる。また、伝送誤り等によるパケットの損失がある場合にはメディアデ−タの受信待ち状態を維持するので、バースト誤り等によってメディアデータの受信が一時的に中断した場合に、誤ってセッションを中断してしまう事態を低減させることが可能となる。 Even in the case of controlling by software, the same operation and effect as in the above embodiment are exhibited. That is, even if a loss of a packet notifying the end of the media data occurs due to a transmission error or the like, if the unreceivable state of the media data continues for a predetermined time, and if no packet error is detected during that time, the media data is lost. Since it is determined that the transmission has been completed, the reception of the next media data can be promptly resumed. If there is a packet loss due to a transmission error or the like, the reception wait state of the media data is maintained. Therefore, if the reception of the media data is temporarily interrupted due to a burst error or the like, the session is erroneously interrupted. Can be reduced.
コンテンツ受信再生を行うプログラムを記録する記録媒体としては、上記RAMなどの半導体記憶手段の他、磁気記憶手段、光記憶手段又は光磁気記憶手段であっても構わない。 A recording medium for recording a program for performing content reception and reproduction may be a magnetic storage unit, an optical storage unit, or a magneto-optical storage unit, in addition to the semiconductor storage unit such as the RAM.
また、上記実施の形態では、コンテンツ記述言語としてSMILを用いたが、他の記述言語としてHTMLを用いてもよい。また、コンテンツを記述せずに単にメディアを繰り返し再生する場合でもよい。 Further, in the above embodiment, SMIL is used as the content description language, but HTML may be used as another description language. Alternatively, the media may be simply reproduced repeatedly without describing the content.
また、上記実施の形態では、コンテンツに含まれる複数のメディアを連続再生する場合について説明したが、1つのメディアをライブ中継するようなコンテンツでもよい。ライブ中継の場合は、終了時刻が明示されないことが多いので、本発明に用いることによって、ライブ中継コンテンツであっても正しく再生を終了することができる。 Further, in the above-described embodiment, a case has been described where a plurality of media included in the content are continuously played back. However, the content may be such that one media is live-broadcasted. In the case of live broadcasting, the end time is often not specified, and therefore, by using the present invention, it is possible to correctly end reproduction even for live broadcasting content.
本発明は、音声データや動画データのようなリアルタイムデータを、RTPを用いて無線回線などのビット誤りの発生しやすい回線を用いて伝送するシステムのパケット受信装置及びパケット受信方法に用いるに好適である。 INDUSTRIAL APPLICABILITY The present invention is suitable for use in a packet receiving apparatus and a packet receiving method of a system for transmitting real-time data such as audio data or moving image data using a line where a bit error easily occurs, such as a wireless line, using RTP. is there.
101 アンテナ
102 送受信部
103 IPパケット送受信部
104 TCP送受信部
105 UDP受信部
106 RTP受信部
107 コンテンツ制御部
108 再生表示部
109 制御コマンド送受信部
110 パケット損失監視部
111 終了時刻判定部
Claims (8)
前記パケット受信手段にて受信されたパケットの伝送誤りを検出する誤りパケット検出手段と、
前記誤りパケット検出手段にて検出された誤りパケットを破棄するパケット破棄手段と、
前記パケット受信手段にて伝送誤り無く受信されたパケットより音声データや動画データであるメディアデータを受信するメディア受信手段と、
前記メディア受信手段が前記メディアデータの受信開始後、前記メディアデータの受信不能状態が所定時間継続した場合で、且つその間に前記誤りパケット検出手段にてパケットの誤りが検出されなければ、メディアデータの送信が終了したことを判定するデータ終了判定手段と、を具備することを特徴とするパケット受信装置。 A packet receiving means for receiving a packet transmitted from the server;
Error packet detecting means for detecting a transmission error of a packet received by the packet receiving means,
Packet discarding means for discarding the error packet detected by the error packet detecting means,
Media receiving means for receiving media data that is audio data or moving image data from a packet received without transmission errors in the packet receiving means,
After the media receiving means starts receiving the media data, if the unreceivable state of the media data continues for a predetermined time, and if no error of the packet is detected by the error packet detecting means during that time, the media data A packet receiving apparatus comprising: a data end determining unit that determines that transmission has ended.
前記パケット受信装置のメディア受信手段にてメディア終了信号が受信されていない状態で、前記パケット受信装置のデータ終了判定手段からリアルタイムデータの終了が通知された場合に、サーバに対してセッション終了コマンドを送信する制御コマンド送信手段と、を具備することを特徴とするコンテンツ受信再生装置。 A packet receiving apparatus according to any one of claims 1 to 3,
In a state where the media end signal is not received by the media receiving unit of the packet receiving device, when the end of the real-time data is notified from the data end determining unit of the packet receiving device, a session end command is sent to the server. And a control command transmitting means for transmitting.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004144151A JP2004289862A (en) | 2004-05-13 | 2004-05-13 | Packet receiving apparatus and packet receiving method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004144151A JP2004289862A (en) | 2004-05-13 | 2004-05-13 | Packet receiving apparatus and packet receiving method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001161398A Division JP3569241B2 (en) | 2001-05-29 | 2001-05-29 | Packet receiving apparatus and packet receiving method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004289862A true JP2004289862A (en) | 2004-10-14 |
Family
ID=33297038
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004144151A Pending JP2004289862A (en) | 2004-05-13 | 2004-05-13 | Packet receiving apparatus and packet receiving method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004289862A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116155472A (en) * | 2022-12-26 | 2023-05-23 | 北京旋极信息技术股份有限公司 | A kind of FC-2 layer communication link negotiation method, fiber channel node and system |
-
2004
- 2004-05-13 JP JP2004144151A patent/JP2004289862A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116155472A (en) * | 2022-12-26 | 2023-05-23 | 北京旋极信息技术股份有限公司 | A kind of FC-2 layer communication link negotiation method, fiber channel node and system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3569241B2 (en) | Packet receiving apparatus and packet receiving method | |
| JP3631439B2 (en) | Data transmission method and apparatus in untrusted network | |
| US8806048B2 (en) | Method and apparatus for transmitting and receiving streaming data based on real-time streaming protocol (RTSP) session | |
| CN1784674B (en) | Method and system for quick start of streaming media | |
| US6990512B1 (en) | Method and system for using live time shift technology to control a multimedia file | |
| US9363480B2 (en) | Obtaining replay of audio during a conference session | |
| US20060195884A1 (en) | Interactive multichannel data distribution system | |
| US20050172030A1 (en) | Transmission method combining downloading and streaming | |
| KR101164746B1 (en) | System and method for compensating consecutive palyback delay of video playback service based on real-time streaming protocol | |
| US8386632B2 (en) | Method, device, and system for controlling streaming media play | |
| JP5264349B2 (en) | Video receiving apparatus and video receiving method | |
| WO2010075725A1 (en) | Termiinal, system and method for inter-cutting information | |
| JP2004289862A (en) | Packet receiving apparatus and packet receiving method | |
| JP2004007172A (en) | Information distribution system, information distribution device and method, information terminal device and information processing method, recording medium, and program | |
| JP2005167891A (en) | Content server, content receiving apparatus, program, and storage medium | |
| KR20080062692A (en) | Stream recording method, device and system | |
| KR102654716B1 (en) | Method and Apparatus for playing back video in accordance with requested video playback time | |
| JP4635801B2 (en) | Information processing apparatus and information processing method | |
| KR100621313B1 (en) | Data buffering device and method | |
| JP2005328268A (en) | Client terminal, streaming server, and system and method for streaming switching | |
| JP2007135126A (en) | AV transmission equipment |