[go: up one dir, main page]

JP2013017031A - Image distribution device, reproduction device, and image communication system - Google Patents

Image distribution device, reproduction device, and image communication system Download PDF

Info

Publication number
JP2013017031A
JP2013017031A JP2011148323A JP2011148323A JP2013017031A JP 2013017031 A JP2013017031 A JP 2013017031A JP 2011148323 A JP2011148323 A JP 2011148323A JP 2011148323 A JP2011148323 A JP 2011148323A JP 2013017031 A JP2013017031 A JP 2013017031A
Authority
JP
Japan
Prior art keywords
packet
error correction
video
video data
fec
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011148323A
Other languages
Japanese (ja)
Inventor
Katsuhiko Kageyama
勝彦 影山
Ritsuko Kanazawa
律子 金澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Consumer Electronics Co Ltd
Original Assignee
Hitachi Consumer Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Consumer Electronics Co Ltd filed Critical Hitachi Consumer Electronics Co Ltd
Priority to JP2011148323A priority Critical patent/JP2013017031A/en
Publication of JP2013017031A publication Critical patent/JP2013017031A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Detection And Prevention Of Errors In Transmission (AREA)

Abstract

【課題】情報通信サーバが配信するコンテンツを受信して再生する際のパケットロストを低減した映像通信システムを提供すること。
【解決手段】映像データパケットを生成するパケット化処理部111と、所定数の映像データパケットのまとまり毎に、FECパケットを生成する誤り訂正処理部115と、映像データパケット及びFECパケットを送信するヘッダ処理部112とを含み、誤り訂正処理部115は、複数の異なる方式に対応するFECパケットを生成可能であり、ヘッダ処理部112は、映像データパケットのまとまり毎に、複数の異なるFEC復元方式すべてについてFECパケットが生成される度に、映像データパケット及び生成されたFECパケットの送信を開始し、生成されたFECパケットのうち再生装置によって指定されたFEC復元方式に係るFECパケットのみを送信することを特徴とする
【選択図】図2
The present invention provides a video communication system that reduces packet loss when receiving and reproducing content distributed by an information communication server.
A packetization processing unit for generating a video data packet, an error correction processing unit for generating an FEC packet for each set of a predetermined number of video data packets, and a header for transmitting the video data packet and the FEC packet. The error correction processing unit 115 can generate FEC packets corresponding to a plurality of different schemes, and the header processing unit 112 includes all of a plurality of different FEC restoration schemes for each group of video data packets. Each time an FEC packet is generated, transmission of the video data packet and the generated FEC packet is started, and only the FEC packet related to the FEC restoration method specified by the playback device is transmitted among the generated FEC packets. [Selection figure] Fig. 2

Description

本発明は、映像配信装置、再生装置及び映像通信システムに関し、特に、受信側におけるネットワーク環境の違いに対応した映像配信に関する。   The present invention relates to a video distribution device, a playback device, and a video communication system, and more particularly to a video distribution corresponding to a difference in network environment on the receiving side.

映像をリアルタイム生成する情報通信サーバとそれを受信し表示し、使用者からの入力を情報通信サーバへフィードバックする機能をもつ端末から構成される映像通信システムにおいて、通信に使用するプロトコルとしては、IP(Internet Protocol)上に構成される一対一でコネクションを確立するTCP(Transmission Control Protocol)を基にしたHTTP(HyperText Transfer Protocol)等の通信プロトコルもしくは、RTP(Real−time Transport Protocol)を利用することが考えられる。   In a video communication system composed of an information communication server that generates video in real time and a terminal that receives and displays the video and feeds back input from the user to the information communication server, a protocol used for communication is IP. Using a communication protocol such as HTTP (HyperText Transfer Protocol) based on TCP (Transmission Control Protocol) that establishes a one-to-one connection configured on (Internet Protocol), or RTP (Real-time Transport Protocol) Can be considered.

ここで、RTP通信は、相手に送信データが届かなくても再送しないので、ネットワーク上で転送データの一部が損失するパケットロストが発生した場合、映像や音声に乱れを生じることになり、そのための対処が必要になる。リアルタイムの応答が求められる映像通信の場合、ロストパケットをリアルタイムで復元しなくてはならないため、データパケットをデータ復元のための冗長パケットと一緒に送信することで、受信機がリアルタイムでエラー訂正できるFEC(Forward Error Correction)方法を用いてパケットを復元するのが一般的である。   Here, RTP communication does not retransmit even if the transmission data does not reach the other party, so if a packet loss occurs that causes a loss of part of the transfer data on the network, the video and audio will be disturbed. It is necessary to deal with. For video communications that require real-time response, lost packets must be restored in real time, so the receiver can correct errors in real time by sending data packets together with redundant packets for data restoration. In general, a packet is restored using an FEC (Forward Error Correction) method.

パケットロストは、ネットワーク上に流れるデータ量が多くなり、ネットワーク負荷が、ネットワーク通信路の帯域の許容範囲を超える、所謂帯域不足になることが原因で起きることが多い。この問題を解決するため、ネットワークに繋がる各エンドホストが、それぞれ対応するFECプロキシ及び品質測定手段を有して誤り訂正の修復状態を測定しつつ、双方向リアルタイム通信を行うエンドホスト間のセッション単位の品質状態を判定し、ネットワークのエリア単位の輻輳状態を把握し、パケットロストの原因であるネットワークの過収容による輻輳状態を解消し、ネットワーク全体でパケットロストを低減する技術が提案されている(例えば、特許文献1参照)。   The packet loss often occurs because the amount of data flowing on the network increases and the network load exceeds the allowable range of the bandwidth of the network communication path, that is, a so-called bandwidth shortage. In order to solve this problem, each end host connected to the network has a corresponding FEC proxy and quality measuring means, and measures the error correction repair state, and performs a session unit between end hosts that perform bidirectional real-time communication. A technology has been proposed that determines the quality state of the network, grasps the congestion state of each area of the network, eliminates the congestion state due to the over-capacity of the network that is the cause of packet loss, and reduces the packet loss in the entire network ( For example, see Patent Document 1).

また、冗長パケットの割合を増やすことにより、FECによるロストパケットの復元能力を高めることができるが、その分送信データ量が増えてネットワーク負荷が高くなり、ロストパケットの割合が増えてしまうことがある。そのようなことを回避するため、冗長性能を変化させた複数のFEC復元方法によりパケットを受信し、最適なFEC復元方法を適用する方法が開示されている(例えば、特許文献2参照)。   Also, by increasing the ratio of redundant packets, the ability to restore lost packets by FEC can be enhanced. However, the amount of transmission data increases, the network load increases, and the ratio of lost packets may increase. . In order to avoid such a situation, a method is disclosed in which a packet is received by a plurality of FEC restoration methods in which redundancy performance is changed, and an optimum FEC restoration method is applied (for example, refer to Patent Document 2).

特開2006−054561号公報JP 2006-045461 A 特開2010−161550号公報JP 2010-161550 A

上述したように、FECでは、誤り訂正の修復度は、データと共に送出する復元用の冗長パケット(以下FECパケットと称する)の量により決まる。すなわちFECパケットを多く送れば送るほどロストパケットの復元率は大きくなるが、その分、送信データ量が増え、ネットワークに負荷がかかり帯域不足を起こしやすくなる問題がある。   As described above, in FEC, the degree of error correction repair is determined by the amount of redundant packets for restoration (hereinafter referred to as FEC packets) that are transmitted together with data. In other words, the lost packet restoration rate increases as more FEC packets are sent, but there is a problem in that the amount of transmission data increases and the network is overloaded and bandwidth shortage is likely to occur.

そして、非業務用ネットワーク機器の場合、特許文献1のように受信機側から誤り訂正率を配信サーバに知らせることで、サーバにより経路を調整して輻輳状態を調整してもらえるのは、ローカルネットワークの入り口、即ちルータまでである。ローカルネットワーク内では一般的に経路調整などは出来ず、また外部のネットワークより許容帯域が小さいことが多いため、最終的にローカルの操作端末までRTPデータが届いた際には、パケットロストを起こしていることになる。そのため、操作端末においては自身のデータ受信能力や、ローカルネットワークの許容帯域に応じて、FECを使用したストリーミング品質保持の調整を行う方法を開発する必要がある。   In the case of a non-business network device, the local network can adjust the congestion state by adjusting the route by the server by informing the distribution server of the error correction rate from the receiver side as in Patent Document 1. Up to the entrance, i.e. to the router. In general, route adjustment is not possible within the local network, and the allowable bandwidth is often smaller than that of the external network. When RTP data finally arrives at the local operation terminal, packet loss occurs. Will be. Therefore, it is necessary for the operating terminal to develop a method for adjusting streaming quality maintenance using FEC according to its own data reception capability and the allowable bandwidth of the local network.

特許文献2に開示された技術は、ネットワークによるテレビ放送のような形態が想定されたものであり、サーバから配信された映像データを複数のクライアントが受信することが前提となっている。そのため、予めローカルネットワークの入口であるルータに複数のFEC方式、即ち冗長性の異なるFEC方式によるFECパケットが届いており、ローカルネットワーク内の各端末は、ルータから取得するFECパケットを選択することにより、FEC方式を変更する。   The technique disclosed in Patent Document 2 is assumed to be in the form of television broadcasting over a network, and is premised on a plurality of clients receiving video data distributed from a server. Therefore, a plurality of FEC schemes, that is, FEC packets based on FEC schemes having different redundancy, have already arrived at the router that is the entrance of the local network, and each terminal in the local network selects an FEC packet acquired from the router. Change the FEC method.

このような形態を、クライアントとサーバとが1対1でデータをやり取りする動画配信の形態に適用することも可能であるが、1のクライアントに映像を配信するために、複数のFEC方式によるFECパケットを配信することは非効率である。そのため、ローカルエリアネットワーク内に接続されたクライアントにおいて、最適なFEC方式を選択して受信する方法として、クライアントとサーバとが1対1でデータをやり取りする動画配信の形態に適した方法が求められる。   Such a form can be applied to a form of moving picture distribution in which a client and a server exchange data on a one-to-one basis. In order to deliver a video to a single client, FEC based on a plurality of FEC methods is used. Delivering packets is inefficient. Therefore, as a method for selecting and receiving an optimal FEC method in a client connected in a local area network, a method suitable for a moving image distribution form in which the client and the server exchange data on a one-to-one basis is required. .

本発明の目的は前記した課題に鑑み、情報通信サーバが配信するコンテンツを受信して再生する際のパケットロストを低減した映像通信システムを提供することにある。   In view of the above-described problems, an object of the present invention is to provide a video communication system in which packet loss is reduced when content distributed by an information communication server is received and reproduced.

上記の目的を達成するために、本発明の一態様は、映像を再生する再生装置からのネットワークを介した要求に応じて映像情報を配信する映像配信装置であって、前記要求に係る映像情報に基づき、前記映像情報をネットワークを介して送信するための映像データパケットを生成して記憶媒体に記憶させる映像データパケット生成部と、前記生成された映像データパケットに基づき、予め定められた所定数の前記映像データパケットのまとまり毎に、パケット伝送におけるエラーを訂正するためのエラー訂正パケットを生成して記憶媒体に記憶させるエラー訂正パケット生成部と、前記生成された映像データパケット及びエラー訂正パケットをネットワークを介して前記再生装置に送信するパケット送信部とを含み、前記エラー訂正パケット生成部は、複数の異なるエラー訂正方式夫々に対応するエラー訂正パケットを生成可能であり、前記パケット送信部は、予め定められた所定数の前記映像データパケットのまとまり毎に、前記複数の異なるエラー訂正方式すべてについて前記エラー訂正パケットが生成される度に、前記エラー訂正パケットが生成された前記映像データパケット及び前記生成されたエラー訂正パケットの送信を開始することを特徴とする。   In order to achieve the above object, one aspect of the present invention provides a video distribution device that distributes video information in response to a request from a playback device that plays back a video via a network, the video information relating to the request A video data packet generator for generating a video data packet for transmitting the video information via a network and storing the video data packet in a storage medium, and a predetermined number based on the generated video data packet An error correction packet generator for generating an error correction packet for correcting an error in packet transmission and storing it in a storage medium for each of the video data packets, and the generated video data packet and error correction packet A packet transmitter for transmitting to the playback device via a network, and the error correction packet The generator can generate an error correction packet corresponding to each of a plurality of different error correction methods, and the packet transmission unit can generate the plurality of different errors for each set of a predetermined number of the video data packets. Each time the error correction packet is generated for all the correction methods, transmission of the video data packet in which the error correction packet is generated and the generated error correction packet is started.

また、本発明の他の態様は、ネットワークを介して映像情報を受信して再生する再生装置であって、再生するべき映像情報に基づいて生成された複数の映像データパケット及びパケット伝送におけるエラーによって欠損した前記映像データパケットを復元するためのエラー訂正パケットを受信するパケット受信部と、前記受信されたエラー訂正パケットに基づき、パケット伝送におけるエラーによって欠損した前記映像データパケットを前記選択されたエラー訂正方式によって復元するパケット復元部と、前記受信された複数の映像データパケットに基づき、パケット伝送におけるエラーの発生割合であるエラー率を計算するエラー率計算部と、前記計算されたエラー率が予め定められた所定の閾値を超えている場合、前記エラー訂正方式の変更を前記映像配信装置に通知する方式変更通知部とを含むことを特徴とする。   According to another aspect of the present invention, there is provided a playback device that receives and plays back video information via a network, and includes a plurality of video data packets generated based on video information to be played back and errors in packet transmission. A packet receiver for receiving an error correction packet for restoring the lost video data packet; and the selected error correction based on the received error correction packet for the video data packet lost due to an error in packet transmission. A packet restoring unit for restoring by a method, an error rate calculating unit for calculating an error rate that is an error occurrence rate in packet transmission based on the plurality of received video data packets, and the calculated error rate is predetermined. If the specified threshold value is exceeded, the error correction method Characterized in that it comprises a mode change notifying unit for notifying the video distribution device further.

また、本発明の更に他の態様は、映像通信システムであって、上述した映像配信装置と、上述した再生装置とを含むことを特徴とする。   According to still another aspect of the present invention, there is provided a video communication system including the above-described video distribution device and the above-described playback device.

本発明により、複数のユーザがホームネットワーク上の機器を利用する場合に、簡単にレジューム再生できる機能を提供することが可能となる。   According to the present invention, when a plurality of users use devices on a home network, it is possible to provide a function that can be easily resumed.

本発明の実施形態に係る映像通信システムの運用形態を示す図である。It is a figure which shows the operation | use form of the video communication system which concerns on embodiment of this invention. 本発明の実施形態に係る情報通信サーバの機能構成を示す図である。It is a figure which shows the function structure of the information communication server which concerns on embodiment of this invention. 本発明の実施形態に係る操作端末の機能構成を示す図である。It is a figure which shows the function structure of the operating terminal which concerns on embodiment of this invention. 本発明の実施形態に係るFEC復元方式を示す図である。It is a figure which shows the FEC decompression | restoration system which concerns on embodiment of this invention. 本発明の実施形態に係るFEC復元方式を示す図である。It is a figure which shows the FEC decompression | restoration system which concerns on embodiment of this invention. 本発明の実施形態に係るFEC復元方式を示す図である。It is a figure which shows the FEC decompression | restoration system which concerns on embodiment of this invention. 本発明の実施形態に係る映像通信システムの動作を示すシーケンス図である。It is a sequence diagram which shows operation | movement of the video communication system which concerns on embodiment of this invention. 本発明の実施形態に係る情報通信サーバ2の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the information communication server 2 which concerns on embodiment of this invention. 本発明の実施形態及び比較例に係るパケット送信態様を示す図である。It is a figure which shows the packet transmission aspect which concerns on embodiment and comparative example of this invention. 本発明の実施形態に係る操作端末の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the operating terminal which concerns on embodiment of this invention.

以下、図面を参照して本発明の実施形態に係る映像通信システムについて説明する。図1は本実施形態に係るの映像通信システムの構成を示すブロック図である。図1に示すように、本実施形態に係る映像通信システムにおいては、情報通信サーバ2とサーバから配信された映像を受信、再生する再生装置としての機能を備える操作端末3が、ルータ41、43、44やスイッチ42などのネットワーク中継機器を経由して、映像データパケットやFECパケットを送受信している。   A video communication system according to an embodiment of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing a configuration of a video communication system according to the present embodiment. As shown in FIG. 1, in the video communication system according to the present embodiment, the information communication server 2 and the operation terminal 3 having a function as a playback device that receives and plays back video distributed from the server are routers 41, 43. , 44 and the switch 42 are used to transmit and receive video data packets and FEC packets.

ネットワーク1は、様々なネットワーク物理層(例えば光、有線、または無線ネットワークを含む)を使用して実現されるインターネットプロトコル通信ネットワークであり、ルータやスイッチ、ハブなど、データパケットを送信元から送信先へ正確に送り届けるための通信制御機器41〜44も含む。   The network 1 is an Internet protocol communication network realized by using various network physical layers (for example, including an optical, wired, or wireless network). Data packets such as routers, switches, and hubs are transmitted from a transmission source to a transmission destination. It also includes communication control devices 41 to 44 for accurately delivering to the device.

情報通信サーバ2は、映像データをRTP(Real−time Transport Protocol)プロトコルで配信することにより、映像送信サービスを行うためのサーバシステムである。CPUブレード6で生成された映像コンテンツもしくは、ストレージ7に蓄えられた映像コンテンツは、送信装置5で必要に応じて符号化されてデータ量の圧縮処理を施され、所定のデータパケットとされてFECパケットを伴って、ネットワーク1へ送信される。   The information communication server 2 is a server system for providing a video transmission service by distributing video data using an RTP (Real-time Transport Protocol) protocol. The video content generated by the CPU blade 6 or the video content stored in the storage 7 is encoded as necessary by the transmission device 5 and subjected to data amount compression processing, and is converted into a predetermined data packet to be FEC. A packet is transmitted to the network 1.

操作端末3は映像データを受信して、使用者のために映像を再生する映像受信・再生装置である。ユーザは操作端末3の画面に表示されたユーザインタフェースを参照しつつ、タッチパネルインタフェースで各種の機能についての指示を入力する。図1に示すように、操作端末3はローカルネットワーク4に接続され、ローカルネットワーク4はルータ44を経由して、外部のネットワーク1と接続されている。なお、操作端末3は必ずしも表示装置やスピーカを備えている必要は無く、外部の表示装置やスピーカに接続される受信装置(例えばセットトップボックス(STB))であってもよい。   The operation terminal 3 is a video reception / playback device that receives video data and plays back video for the user. While referring to the user interface displayed on the screen of the operation terminal 3, the user inputs instructions for various functions through the touch panel interface. As shown in FIG. 1, the operation terminal 3 is connected to a local network 4, and the local network 4 is connected to an external network 1 via a router 44. Note that the operation terminal 3 does not necessarily include a display device or a speaker, and may be a receiving device (for example, a set top box (STB)) connected to an external display device or a speaker.

次に、本実施形態に係る情報通信サーバ2及び操作端末3の機能構成について説明する。図2は、本実施形態に係る情報通信サーバ2の機能構成を示す図である。図2に示すように、情報通信サーバ2は送信装置5、CPU(Central Processing Unit)ブレード6、コンテンツストレージ7から構成される。送信装置5とCPUブレード6は対を成しており、送信装置5とCPUブレード6の対を増設することにより、複数の操作端末3に対応できるようになる。コンテンツストレージ7は複数の送信装置5から参照可能である。   Next, functional configurations of the information communication server 2 and the operation terminal 3 according to the present embodiment will be described. FIG. 2 is a diagram showing a functional configuration of the information communication server 2 according to the present embodiment. As shown in FIG. 2, the information communication server 2 includes a transmission device 5, a CPU (Central Processing Unit) blade 6, and a content storage 7. The transmission device 5 and the CPU blade 6 form a pair, and by adding a pair of the transmission device 5 and the CPU blade 6, it becomes possible to support a plurality of operation terminals 3. The content storage 7 can be referred to from a plurality of transmission devices 5.

情報通信サーバ2を構成する送信装置5は、制御部100、内部バス101、メモリ102、映像信号入力部103、音声信号入力部104、ファイバーチャネル接続部105、ファイバーチャネル接続インタフェース106、映像処理部107、映像エンコーダ108、音声処理部109、音声エンコーダ110、パケット化処理部111、ヘッダ処理部112、ネットワーク接続部113、ネットワークインタフェース114、誤り訂正処理部115を有している。   The transmission device 5 constituting the information communication server 2 includes a control unit 100, an internal bus 101, a memory 102, a video signal input unit 103, an audio signal input unit 104, a fiber channel connection unit 105, a fiber channel connection interface 106, and a video processing unit. 107, a video encoder 108, an audio processing unit 109, an audio encoder 110, a packetization processing unit 111, a header processing unit 112, a network connection unit 113, a network interface 114, and an error correction processing unit 115.

制御部100、メモリ102、ネットワーク接続部113、ファイバーチャネル接続部105、映像処理部107、映像エンコーダ108、音声処理部109、音声エンコーダ110、パケット化処理部111、ヘッダ処理部112、ネットワーク接続部113、誤り訂正処理部115は内部バス101を介して接続されており、相互に情報を通信することが可能である。   Control unit 100, memory 102, network connection unit 113, fiber channel connection unit 105, video processing unit 107, video encoder 108, audio processing unit 109, audio encoder 110, packetization processing unit 111, header processing unit 112, network connection unit The error correction processing unit 115 and the error correction processing unit 115 are connected via the internal bus 101 and can communicate information with each other.

ネットワーク接続部113は、ネットワークインタフェース114を介してネットワーク1に接続されている。ファイバーチャネル接続部105は、ファイバーチャネル接続インタフェース106を介して、ファイバーチャネル115に接続されている。ファイバーチャネルには、動画コンテンツが蓄積されているコンテンツストレージ7が接続されており、送信装置5はファイバーチャネル123を介して、自由にコンテンツを参照し、データを得ることができる。   The network connection unit 113 is connected to the network 1 via the network interface 114. The fiber channel connection unit 105 is connected to the fiber channel 115 via the fiber channel connection interface 106. A content storage 7 in which moving image content is stored is connected to the fiber channel, and the transmission device 5 can freely refer to the content via the fiber channel 123 and obtain data.

情報通信サーバ2を構成するCPUブレード6は、CPU116、メモリ117、通信部118、映像信号出力部119、音声信号出力部120、制御通信部121、内部バス122を有している。CPU116、メモリ117、通信部118、映像信号出力部119、音声信号出力部120、制御通信部121は内部バス122を介して接続されており、相互に情報を通信することが可能である。   The CPU blade 6 constituting the information communication server 2 includes a CPU 116, a memory 117, a communication unit 118, a video signal output unit 119, an audio signal output unit 120, a control communication unit 121, and an internal bus 122. The CPU 116, the memory 117, the communication unit 118, the video signal output unit 119, the audio signal output unit 120, and the control communication unit 121 are connected via an internal bus 122, and can communicate information with each other.

通信部118はネットワーク1と接続されており、操作端末3に対して映像データ以外の制御情報を相互通信し、随時フィードバックを得ることができる。通信プロトコルには比較的確実に通信可能な方式を用いることができる。たとえばTCP(Transmission Control Protocol)が考えられる。制御通信部121は、制御部100と接続されており、制御情報を相互通信可能である。   The communication unit 118 is connected to the network 1 and can mutually communicate control information other than video data to the operation terminal 3 to obtain feedback as needed. As a communication protocol, a method capable of relatively reliably communicating can be used. For example, TCP (Transmission Control Protocol) can be considered. The control communication unit 121 is connected to the control unit 100 and can communicate control information with each other.

CPUブレード6は、CPU116が、メモリ117にロードされたプログラムに従って演算を行うことにより、操作端末3上に表示するべき画面信号および音声信号を、メモリ117上に生成することが可能である。生成した画面信号および音声信号は、映像信号出力部119および音声信号出力部120から出力可能である。映像信号出力部119および音声信号出力部120はそれぞれ、映像信号入力部103と音声信号入力部104に接続されている。なお、画面信号及び音声信号を生成するための演算をCPU116に実行させるためのプログラムは、HDD(Hard Disk Drive)や光学ディスク等の図示していない記憶媒体に記憶されており、その記憶媒体からメモリ117にロードされる。   The CPU blade 6 can generate a screen signal and an audio signal to be displayed on the operation terminal 3 on the memory 117 by the CPU 116 performing calculations according to the program loaded in the memory 117. The generated screen signal and audio signal can be output from the video signal output unit 119 and the audio signal output unit 120. The video signal output unit 119 and the audio signal output unit 120 are connected to the video signal input unit 103 and the audio signal input unit 104, respectively. A program for causing the CPU 116 to execute an operation for generating a screen signal and an audio signal is stored in a storage medium (not shown) such as an HDD (Hard Disk Drive) or an optical disk. It is loaded into the memory 117.

送信装置5は、制御部100が各接続部、エンコーダおよび処理部を制御し、CPUブレード6から入力された画面情報をエンコードして、映像データとしてネットワーク1へ送る機能がある。エンコード処理の際は、メモリ102が、映像信号入力部103および音声信号入力部104から入力された映像信号、音声信号をバッファリングする。そして、映像については、映像処理部107が映像信号に対して画質調整などを行い、映像エンコーダ108がエンコードしてパケット化処理部111へ送る。音声については、音声処理部109が音声信号に対して音声調整などを行い、音声エンコーダ110がエンコードしてパケット化処理部111へ送る。   The transmission device 5 has a function in which the control unit 100 controls each connection unit, encoder, and processing unit, encodes screen information input from the CPU blade 6, and sends the encoded image information to the network 1 as video data. In the encoding process, the memory 102 buffers the video signal and the audio signal input from the video signal input unit 103 and the audio signal input unit 104. For the video, the video processing unit 107 performs image quality adjustment on the video signal, and the video encoder 108 encodes the video signal and sends it to the packetization processing unit 111. For voice, the voice processing unit 109 performs voice adjustment on the voice signal, and the voice encoder 110 encodes and sends the packet to the packetization processing unit 111.

パケット化処理部111は、エンコードされた映像と音声を、リップシンクなどのタイミングを考慮しつつ所定のフォーマットの多重化された映像データパケットに変換し、ヘッダ処理部112および誤り訂正処理部115へ送る。即ち、パケット化処理部111が、映像データパケット生成部として機能する。誤り訂正処理部115は、FECパケット生成のために、送られたパケットをメモリ102に必要数バッファリングしてFECパケットを生成し、生成したFECパケットをヘッダ処理部112へ送る。即ち、FECパケットとは、パケット伝送におけるエラーを訂正するためのエラー訂正パケットであり、誤り訂正処理部115が、エラー訂正パケット生成部として機能する。   The packetization processing unit 111 converts the encoded video and audio into multiplexed video data packets in a predetermined format in consideration of timing such as lip sync, and sends them to the header processing unit 112 and the error correction processing unit 115. send. That is, the packetization processing unit 111 functions as a video data packet generation unit. In order to generate an FEC packet, the error correction processing unit 115 buffers the necessary number of packets sent to the memory 102 to generate an FEC packet, and sends the generated FEC packet to the header processing unit 112. That is, the FEC packet is an error correction packet for correcting an error in packet transmission, and the error correction processing unit 115 functions as an error correction packet generation unit.

ヘッダ処理部112は、送られた映像データパケットとFECパケットのヘッダにそれぞれに対応するシーケンス番号を付加し、ネットワーク接続部113を経由してネットワーク1へ送信する。即ち、ヘッダ処理部112が、パケット送信部として機能する。誤り訂正処理部115はひとつの映像データパケットのストリームに対して、複数方式のFECパケットを同時に生成することができる。どのようなFEC方式が提供されるかは、CPUブレード6が管理し、把握している。   The header processing unit 112 adds sequence numbers corresponding to the headers of the transmitted video data packet and FEC packet, and transmits them to the network 1 via the network connection unit 113. That is, the header processing unit 112 functions as a packet transmission unit. The error correction processing unit 115 can simultaneously generate a plurality of FEC packets for one video data packet stream. The CPU blade 6 manages and grasps what FEC method is provided.

次に、本実施形態に係る操作端末3の機能構成について説明する。図3は、本実施形態に係る操作端末3の機能構成を示す図である。図3に示すように、操作端末3は、CPU10、RAM(Random Access Memory)11、ROM(Read−Only Memory)12、メモリカード13、メディア制御部14、DVDドライブ15、HDD(ハードディスクドライブ)16、タッチパネル17、デスクランブラ18、デマルチプレクサ19、ビデオ・オーディオデコーダ20、映像表示制御部21、表示装置22、グラフィック・オーディオエンジン23、オーディオ出力制御部24、スピーカ25、IP通信ポート26及びIPデータ処理部27を含む。   Next, a functional configuration of the operation terminal 3 according to the present embodiment will be described. FIG. 3 is a diagram illustrating a functional configuration of the operation terminal 3 according to the present embodiment. As shown in FIG. 3, the operation terminal 3 includes a CPU 10, a RAM (Random Access Memory) 11, a ROM (Read-Only Memory) 12, a memory card 13, a media control unit 14, a DVD drive 15, and an HDD (hard disk drive) 16. , Touch panel 17, descrambler 18, demultiplexer 19, video / audio decoder 20, video display control unit 21, display device 22, graphic / audio engine 23, audio output control unit 24, speaker 25, IP communication port 26 and IP data. A processing unit 27 is included.

CPU10は、操作端末3における情報処理や機器制御等を行う。RAM11は、CPU10が情報処理や危機制御等のための演算を行う際の作業領域となる記憶媒体であり、CPU10に演算を行わせるためのプログラムがロードされる。このような各種のプログラムは、ROM12、メモリカード13、DVDドライブ15及びHDD16等の不揮発性の記憶媒体に格納されている。メディア制御部14は、映像データの記録媒体への入出力を制御する   The CPU 10 performs information processing and device control in the operation terminal 3. The RAM 11 is a storage medium serving as a work area when the CPU 10 performs calculations for information processing, crisis control, and the like, and is loaded with a program for causing the CPU 10 to perform calculations. Such various programs are stored in a nonvolatile storage medium such as the ROM 12, the memory card 13, the DVD drive 15, and the HDD 16. The media control unit 14 controls input / output of video data to / from a recording medium.

タッチパネル17は、操作端末3の操作者であるユーザの操作を受け付ける。デスクランブラ18は、スクランブルされた信号を元に戻す。デマルチプレクサ19は、多重化された信号を分離する。ビデオ・オーディオデコーダ20は、符号化された映像データや音声データを復号する。映像表示制御部21は、液晶ディスプレイ等の表示装置22への映像表示を制御する。グラフィック・オーディオエンジン23は、Webページの画面や静止画等を表示する処理を制御するブラウザ・ソフトウェアである。オーディオ出力制御部24は、スピーカ25による音声出力を制御する。IP通信ポート26は、ネットワークを介したIPデータパケットを送受信する。IPデータ処理部27は、IP通信ポート26が受信したRTPパケットや他のHTTPプロトコルなどで受送信するHTML(HyperText Markup Language)映像データなどを振り分け、各々に応じた処理を行う。   The touch panel 17 receives an operation of a user who is an operator of the operation terminal 3. The descrambler 18 restores the scrambled signal. The demultiplexer 19 separates the multiplexed signal. The video / audio decoder 20 decodes the encoded video data and audio data. The video display control unit 21 controls video display on a display device 22 such as a liquid crystal display. The graphic / audio engine 23 is browser software that controls processing for displaying a Web page screen, a still image, and the like. The audio output control unit 24 controls audio output from the speaker 25. The IP communication port 26 transmits and receives IP data packets via the network. The IP data processing unit 27 distributes RTP packets received by the IP communication port 26, HTML (HyperText Markup Language) video data received and transmitted by other HTTP protocols, and the like, and performs processing corresponding to each.

なお、前述の通り、表示装置22やスピーカ25は必ずしも必要ではなく、映像表示制御部21やオーディオ出力制御部24からのデータを外部に出力する出力部(映像については例えばS端子、D端子、コンポーネント映像端子等、音声については例えば光デジタル端子、同軸デジタル端子等、映像・音声については例えばHDMI端子等)であってもよい。また、DVDドライブ15、HDD16等の不揮発性記憶媒体は、必ずしも全て必要でなく、必要なプログラム及びデータを保存するための記憶領域が確保されれば良い。また、各々の記憶装置を複数設けてもよい。   As described above, the display device 22 and the speaker 25 are not necessarily required, and an output unit that outputs data from the video display control unit 21 and the audio output control unit 24 to the outside (for example, an S terminal, a D terminal, The component video terminal or the like may be an optical digital terminal, a coaxial digital terminal, or the like for audio and the HDMI terminal or the like for video / audio. Also, all of the nonvolatile storage media such as the DVD drive 15 and the HDD 16 are not necessarily required, and a storage area for storing necessary programs and data may be secured. A plurality of each storage device may be provided.

操作端末3は、IPデータパケットを送受信するIP通信ポート26、IPデータ処理部27を備え、例えばTCP、UDP(User Datagram Protocol)、DHCP(Dynamic Host Configuration Protocol)、DNS(domain Name Server)、HTTP、RTP、RTSP(Real Time Streaming Protocol)、MLD(Multicast Listener Discovery)、IGMP(Internet Group Management Protocol)等の各種通信プロトコルとブラウザなどのアプリケーションを搭載しており、該IP通信ポート26でルータ44等を介して外部のネットワーク1に接続し、情報通信サーバ2の配信する映像データを受信することができる。   The operation terminal 3 includes an IP communication port 26 for transmitting and receiving IP data packets, and an IP data processing unit 27. For example, TCP, UDP (User Datagram Protocol), DHCP (Dynamic Host Configuration Protocol), DNS (domain Name Server), HTTP. Various communication protocols such as RTP, RTSP (Real Time Streaming Protocol), MLD (Multicast Listener Discovery), IGMP (Internet Group Management Protocol) and applications such as browsers are mounted on the IP communication port 26. Connected to the external network 1 via You can receive the image data to be distributed in the distribution server 2.

該IP通信ポート26で受信したRTPパケットは、IPデータ処理部27でFECによるデータ復元処理や、デスクランブラ18でデスクランブル処理を行ってTS(Transport Stream)データに変換され、デマルチプレクサ19を介してビデオ・オーディオデコーダ20で復号されて伸張され、映像表示制御部21とオーディオ出力制御部24を経て、表示装置22とスピーカ25において再生される。   The RTP packet received by the IP communication port 26 is converted into TS (Transport Stream) data by performing data restoration processing by FEC by the IP data processing unit 27 and descrambling processing by the descrambler 18, and is converted to TS (Transport Stream) data via the demultiplexer 19. The video / audio decoder 20 decodes and decompresses the video data, and the video data is reproduced on the display device 22 and the speaker 25 via the video display control unit 21 and the audio output control unit 24.

なお、図3に示す各構成のうち、例えばデスクランブラ18、デマルチプレクサ19、ビデオ・オーディオデコーダー20等は、ソフトウェアによって実現されることもある。その場合、夫々の機能を実現するためのソフトウェア・プログラムが、RAM11上にロードされ、CPU10がそれぞれのプログラムに従って演算を行うことにより、夫々の機能が実現される。   Of the components shown in FIG. 3, for example, the descrambler 18, the demultiplexer 19, the video / audio decoder 20, and the like may be realized by software. In that case, a software program for realizing each function is loaded onto the RAM 11, and the CPU 10 performs an operation according to each program, thereby realizing each function.

本実施形態においては、情報通信サーバ2が送出する映像データを操作端末3が受信して表示装置22に表示し、ユーザが表示されたメニュー等をタッチパネル17で選択する。操作端末3はCPU10において、CPUブレード6との通信によって得られた情報に基づき、提供されているFEC復元方法にどのようなものがあるか把握できる。CPUブレード6の指示に従ってFECパケット受信要求の準備を行い、映像データ及びFECパケットを受信し、パケット復元処理を行った後、TS(Transport Stream)信号に変換して再生させる。   In the present embodiment, the operation terminal 3 receives the video data transmitted from the information communication server 2 and displays it on the display device 22, and the user selects a menu or the like displayed on the touch panel 17. The operation terminal 3 can grasp in the CPU 10 what kind of FEC restoration method is provided based on information obtained by communication with the CPU blade 6. The FEC packet reception request is prepared in accordance with the instruction of the CPU blade 6, the video data and the FEC packet are received, the packet restoration process is performed, and then converted into a TS (Transport Stream) signal to be reproduced.

操作端末3は、図1に示す“A”のような映像データのデータパケットと、図1に示す“A1”、“A2”のようなFEC(Forward Error Correction)パケットを、異なるポートで受信することができる。即ち、データパケットとFECパケットは、物理的には同一のインタフェースで順番に受信されるが、情報通信における処理の概念としては並列して受信される。   The operation terminal 3 receives the video data data packet such as “A” shown in FIG. 1 and the FEC (Forward Error Correction) packets such as “A1” and “A2” shown in FIG. 1 at different ports. be able to. That is, the data packet and the FEC packet are received in order by the same physical interface, but are received in parallel as a concept of processing in information communication.

パケット復元のためのFEC復元方法は、例えば公開規格Pro−MPEGなどを基にして図4のように提供される。送受信される映像データパケットは、概念的に図4に示す“1、2、3、・・・M、M+1、M+2、・・・”のように、M行、N列の縦横のマトリクス状に配置され、連続するMパケット毎、即ち、マトリクス状に並べられたパケットの各行毎に、夫々のM個のパケットデータにおいて1つのパケットの欠損を復元するためのFECパケットが横方向FECパケットとして生成される。   An FEC restoration method for packet restoration is provided as shown in FIG. 4 based on the public standard Pro-MPEG, for example. Video data packets to be transmitted / received are conceptually arranged in a matrix of M rows and N columns vertically and horizontally like “1, 2, 3,... M, M + 1, M + 2,. An FEC packet is generated as a lateral FEC packet for restoring a missing packet in each M packet data for each consecutive M packet arranged, that is, for each row of packets arranged in a matrix. Is done.

また、図4に示すように、マトリクス状に並べられたパケットの各列毎に、夫々のN個のパケットデータにおいて1つのパケットの欠損を復元するためのFECパケットが縦方向FECパケットとして生成される。この縦横FECパケットは、対応するM個又はN個のデータをXOR(排他的論理和)演算して作り出した復元用のデータを有している。また、映像データパケットAのRTPヘッダには連続したシーケンス番号が入っている。従って、操作端末3においては、シーケンス番号に抜けが見つかることでパケットロスト発生を検知できる。なお、これらのFECパケットの生成処理は、送信装置5の誤り訂正処理部115によって実行される。   In addition, as shown in FIG. 4, for each column of packets arranged in a matrix, an FEC packet for restoring one packet loss in each N packet data is generated as a vertical FEC packet. The This vertical / horizontal FEC packet has data for restoration created by XOR (exclusive OR) of corresponding M or N data. The RTP header of the video data packet A contains a continuous sequence number. Therefore, the operation terminal 3 can detect occurrence of a packet lost by detecting a missing sequence number. These FEC packet generation processes are executed by the error correction processing unit 115 of the transmission device 5.

FECパケットのRTPヘッダには、そのFECパケットによるロストパケットの復元対象となるパケットのシーケンス番号、即ち、XOR演算の対象となったパケットのシーケンス番号を示すデータが入っており、操作端末3においては、パケットロストが起きた際に、どのFECパケットを用いて復元するかを判定することが出来る。   The RTP header of the FEC packet contains data indicating the sequence number of the packet that is the target of restoration of the lost packet by the FEC packet, that is, the sequence number of the packet that is the target of the XOR operation. When a packet loss occurs, it can be determined which FEC packet is used for restoration.

図5にFEC復元方法の違いとロストパケット復元の例を示す。例えば、縦方向のパケットは映像データパケットN個+FECパケット1個の計N+1個であり、映像データパケットの1つがパケットロストにより消失しても、受信した映像データパケットとFECパケットの計N個をXOR演算することにより、消失した1個のパケットを復元することが可能である。2個以上消失していた場合は消失した全パケットとも復元不可能である。   FIG. 5 shows an example of difference in FEC restoration method and lost packet restoration. For example, the total number of packets in the vertical direction is N + 1 (N video data packets + 1 FEC packet). Even if one of the video data packets is lost due to packet loss, a total of N received video data packets and FEC packets It is possible to restore one lost packet by performing an XOR operation. When two or more packets are lost, all lost packets cannot be recovered.

図5のようにパケットロストが5つ(図中の×印)起こっていた場合、もし横方向のFECパケットしか提供しないFEC方法であったとすると、復元できるのはM*(N−1)+1で示すパケット一つだけである。また、縦方向のFECパケットのみ提供する方法であった場合、パケットMは復元できるが他のパケットは復元不可能である。しかし、縦横両方のFECパケットを提供する方法であれば、図5に番号で示す通りの順番で全てのパケットを復元することが可能である。尚、図5に示す順番は一例である。   As shown in FIG. 5, when five packet losts (marked with x in the figure) have occurred, if the FEC method provides only the FEC packet in the horizontal direction, it is possible to restore M * (N−1) +1. Is only one packet. Further, in the case of providing only the vertical FEC packet, the packet M can be restored, but other packets cannot be restored. However, if the method provides both vertical and horizontal FEC packets, it is possible to restore all packets in the order indicated by the numbers in FIG. The order shown in FIG. 5 is an example.

ネットワークによるコンテンツ配信において、受信できるコンテンツの品質は利用する通信回線や受信機の性能により制限される。映像コンテンツは配信サーバによりネットワーク上にデータパケットとして送出され、ルータやスイッチ等の機器を経由して受信機まで届き、受信機内に取り込まれる。その際の1秒当たりのデータ転送容量はビットレートと呼ばれ、各々のコンテンツに固有の値である。この値が大きいほど映像の解像度や滑らかさ等の品質が高くなるが、表示のためのデータ受信に必要な利用帯域は大きくなる。   In content distribution over a network, the quality of content that can be received is limited by the performance of the communication line and receiver used. The video content is transmitted as a data packet by the distribution server as a data packet, reaches the receiver via a device such as a router or a switch, and is taken into the receiver. The data transfer capacity per second at that time is called a bit rate and is a value specific to each content. The larger this value, the higher the quality such as the resolution and smoothness of the video, but the use band necessary for receiving data for display becomes larger.

利用者の利用しているネットワークや受信機の利用可能な帯域が、受信しているコンテンツのビットレートの合計よりも大きければ、問題なくコンテンツの受信再生が可能だが、利用可能な帯域の方が小さい場合、データが受信機まで届かなかったり、受信機内部での再生処理が間に合わなかったりすることで、パケットロストが起こって映像が乱れ、酷い場合は表示不可能になることもある。   If the available bandwidth of the network or receiver used by the user is larger than the total bit rate of the received content, it is possible to receive and play content without problems, but the available bandwidth is better. If it is small, the data may not reach the receiver, or the reproduction process inside the receiver may not be in time, packet loss may occur, and the video may be distorted.

FECパケットは数を増やすほど復元率が上がるが、映像データ以外にFECパケットを受信することにより、全体としての必要帯域が大きくなり、却ってFECパケットを含めた全体のパケットロストが増してしまう問題がある。この問題について、図6のFEC復元方法とFECパケット数を示す表に基づき説明する。   As the number of FEC packets increases, the restoration rate increases. However, by receiving FEC packets in addition to video data, the required bandwidth as a whole increases, and the overall packet lost including FEC packets increases. is there. This problem will be described based on the FEC restoration method and the table showing the number of FEC packets in FIG.

図6のようにFEC復元方法が6つ用意されていた場合、例えばFEC復元方法Aでは、映像データパケット10個毎に縦方向FECパケット1個を受け取るようにしており、縦方向のコンテンツパケット10個に対して最大1個復元可能である。映像データ100個に対して10個のFECパケットを受け取るため、受信帯域としては10%増しとなる。   When six FEC restoration methods are prepared as shown in FIG. 6, for example, in the FEC restoration method A, one vertical FEC packet is received for every ten video data packets, and the vertical content packet 10 is received. A maximum of one can be restored. Since 10 FEC packets are received for 100 pieces of video data, the reception bandwidth is increased by 10%.

一方、FEC復元方法BからFにおいては、上述したとおりコンテンツパケットを復元できる可能性は大きくなるが、必要とする受信帯域は増加する。例えばFEC復元方法DやEの場合は、映像データ100個に対して25個のFECパケットを受け取るため、受信帯域が25%増となる。この場合、元々は例えば16Mbpsの映像データのストリームを17Mbpsの許容帯域を持つローカルネットワークで受信して、ごく稀にバースト等でパケット落ちする程度であったとしても、FEC復元方法DやEを採用したがゆえに25%増しの20Mbpsの帯域が必要になる。これでは許容帯域の17Mbpsを上回る帯域が必要となり、却って常時パケットロストが起こる可能性がある。そのため、使用しているローカルネットワークに最適な方法を取捨選択する仕組みが必要である。   On the other hand, in the FEC restoration methods B to F, the possibility that the content packet can be restored increases as described above, but the required reception band increases. For example, in the case of FEC restoration methods D and E, since 25 FEC packets are received for 100 pieces of video data, the reception band is increased by 25%. In this case, the FEC restoration methods D and E are used even if, for example, a video data stream of 16 Mbps is originally received by a local network having an allowable bandwidth of 17 Mbps and packets are dropped in a burst or the like in rare cases. Therefore, a bandwidth of 20 Mbps, an increase of 25%, is required. In this case, a bandwidth exceeding the allowable bandwidth of 17 Mbps is required, and there is a possibility that packet loss will always occur. Therefore, it is necessary to have a mechanism for selecting the best method for the local network being used.

図1では、ネットワーク1を介して情報通信サーバ2から映像データが格納されているデータパケットA、横方向FECパケットA1と縦方向FECパケットA2が配信されている。本例の場合、データパケットA、縦方向のFECパケットA1、横方向A2のFECパケットを各々別のポートに送信するため、操作端末3はそれぞれのポートでパケットを受信する必要がある。FECを使用しない場合は、データパケットAのみを受信すればよい。操作端末3は、通常の場合は、情報通信サーバ2から映像データを含むデータパケットAを常時受信し、再生している。   In FIG. 1, a data packet A, a horizontal FEC packet A1, and a vertical FEC packet A2 storing video data are distributed from the information communication server 2 via the network 1. In this example, since the data packet A, the FEC packet A1 in the vertical direction, and the FEC packet in the horizontal direction A2 are transmitted to different ports, the operation terminal 3 needs to receive the packets at the respective ports. If FEC is not used, only data packet A needs to be received. Normally, the operation terminal 3 always receives and reproduces the data packet A including the video data from the information communication server 2.

次に、本実施形態に係る映像通信システムの動作について説明する。図7は、本実施形態に係る映像通信システムの動作を示すシーケンス図である。例えば、ユーザが操作端末3を操作することにより、操作端末3が情報通信サーバ2から情報を受信して動作する場合、即ち、情報通信サーバ2との間で情報をやり取りする応答が必要な場合、情報通信サーバ2においては、使用者に待たせることが無いように、情報の送信を開始するまでの遅延を短くする必要がある。他方、使用者からの操作に対応する必要のない状態、例えば動画が表示されている状態においては特に遅延は問題にならない。   Next, the operation of the video communication system according to this embodiment will be described. FIG. 7 is a sequence diagram showing the operation of the video communication system according to the present embodiment. For example, when the operation terminal 3 operates by receiving information from the information communication server 2 when the user operates the operation terminal 3, that is, when a response for exchanging information with the information communication server 2 is required. In the information communication server 2, it is necessary to shorten the delay until the transmission of information is started so that the user does not wait. On the other hand, the delay is not a problem in a state where it is not necessary to respond to an operation from the user, for example, a state where a moving image is displayed.

そのため本実施形態に係る情報通信サーバ2は、動画の映像データ送信時のみFECを利用する。即ち、情報通信サーバ2においては、誤り訂正処理部115が、動画の映像データ送信時のみFECパケットを生成する。このようにすることで使用者へ遅延を意識させることなく情報を配信することが可能となる。また、本実施形態においては、操作端末3側において、動的にFEC方式を選択する。これにより、動画の品質を保障することが可能になる。   Therefore, the information communication server 2 according to the present embodiment uses the FEC only when moving image data is transmitted. That is, in the information communication server 2, the error correction processing unit 115 generates an FEC packet only when moving image data is transmitted. In this way, information can be distributed without making the user aware of the delay. In the present embodiment, the FEC method is dynamically selected on the operation terminal 3 side. This makes it possible to ensure the quality of the moving image.

図7に示すように、まず、操作端末3が、ユーザの操作に応じて情報通信サーバ2とネットワークを介して接続し、情報通信サーバ2から情報を取得することにより、メニュー画面のような比較的静的な画面を表示する(S701)。S701の処理においても、図2に示す送信装置5が上述したように機能し、メニュー画面を表示するための低ビットレートの映像データパケットを送信している。メニュー画面の映像データパケットとして、動画よりも低ビットレートの映像データパケットが送信される場合とは、情報通信サーバ2が動的ビットレートに対応しているエンコード方式を採用している場合である。   As shown in FIG. 7, first, the operation terminal 3 connects to the information communication server 2 via the network according to the user's operation and acquires information from the information communication server 2, so that a comparison like a menu screen is performed. A static screen is displayed (S701). Also in the processing of S701, the transmission device 5 shown in FIG. 2 functions as described above, and transmits a low bit rate video data packet for displaying a menu screen. The case where a video data packet having a bit rate lower than that of a moving image is transmitted as the video data packet of the menu screen is a case where the information communication server 2 adopts an encoding method corresponding to the dynamic bit rate. .

また、メニュー画面のようなユーザインタフェースとなる画面はユーザの操作への早い応答が求めらるため、低遅延である必要がある。そのため、メニュー画面の映像データパケットの送信に際して、誤り訂正処理部115はFECパケットの生成を行わない。そのため、メニュー画面の映像データパケットを送信する場合、ヘッダ処理部112は、生成された映像データパケットを順次ヘッダ処理して送信する。   In addition, a screen that is a user interface such as a menu screen is required to have a low delay because a quick response to a user operation is required. Therefore, the error correction processing unit 115 does not generate the FEC packet when transmitting the video data packet of the menu screen. Therefore, when transmitting the video data packet of the menu screen, the header processing unit 112 sequentially processes the generated video data packet for transmission.

ユーザが操作端末3を操作し、上記メニュー画面のような静的な画面と比較して、高ビットレートな動画を再生する機能を選択すると(S702)、操作端末3はユーザによる操作に応じた操作情報をCPUブレード6に送信する(S703)。CPUブレード6は、操作の内容を解析して操作端末3に配信する動画を判断し(S704)、送信装置5の制御部100に対して再生準備の命令を送る(S705)。送信装置5は、上記メニュー画面用の映像データのパケット化処理部111への入力を停止し、メモリ102にあらかじめ蓄積してあった動画再生待ち画面のエンコード済みデータをパケット化処理部111へ送る。   When the user operates the operation terminal 3 and selects a function for reproducing a moving image with a high bit rate compared to a static screen such as the menu screen (S702), the operation terminal 3 responds to the operation by the user. The operation information is transmitted to the CPU blade 6 (S703). The CPU blade 6 analyzes the content of the operation, determines a moving image to be distributed to the operation terminal 3 (S704), and sends a playback preparation command to the control unit 100 of the transmission device 5 (S705). The transmission device 5 stops the input of the video data for the menu screen to the packetization processing unit 111, and sends the encoded data of the moving image reproduction waiting screen previously stored in the memory 102 to the packetization processing unit 111. .

動画再生待ち画面のエンコード済みデータがパケット化処理部111に入力されることにより、動画再生待ち画面の映像データパケットがヘッダ処理部112を経て操作端末3に送信され、操作端末3には動画再生待ちの画面が表示される(S706)。   When the encoded data of the video playback standby screen is input to the packetization processing unit 111, the video data packet of the video playback standby screen is transmitted to the operation terminal 3 via the header processing unit 112, and the video playback is transmitted to the operation terminal 3. A waiting screen is displayed (S706).

次にCPUブレード6は、操作端末3に対して、FEC受信準備通知を送る(S707)。これにより、操作端末3においては、FECデータパケットを受信するためのソケットを開いてFEC受信の準備を始める。そしてCPUブレード6と送信装置5との間で、FEC付きの動画映像データを準備する(S708)。この際、動画映像データのソースはCPUブレード6が生成した画面データに限らず、コンテンツストレージ7から取得したものでもかまわない。処理詳細については後述する。FEC付きの動画映像データの準備ができると、再生待ち画面に代わって、FEC付きの動画映像データを操作端末3へ送る。これにより、情報通信サーバ2及び操作端末3夫々において、FEC付き動画コンテンツの再生処理が実行される(S709)。なお、S709においては、操作端末3が最適なFEC方式を判断する処理や、情報通信サーバ2が、送信するFECパケットを取捨選択する処理が含まれる。これについては後に詳述する。   Next, the CPU blade 6 sends an FEC reception preparation notification to the operation terminal 3 (S707). As a result, the operation terminal 3 opens a socket for receiving FEC data packets and starts preparation for FEC reception. Then, moving image data with FEC is prepared between the CPU blade 6 and the transmission device 5 (S708). At this time, the source of the moving image data is not limited to the screen data generated by the CPU blade 6 but may be acquired from the content storage 7. Details of the process will be described later. When the moving image data with FEC is prepared, the moving image data with FEC is sent to the operation terminal 3 instead of the reproduction waiting screen. Thereby, the reproduction processing of the moving image content with FEC is executed in each of the information communication server 2 and the operation terminal 3 (S709). Note that S709 includes a process in which the operation terminal 3 determines an optimum FEC method and a process in which the information communication server 2 selects an FEC packet to be transmitted. This will be described in detail later.

その後、ユーザが動画再生の停止操作を操作端末3上で行うと(S710)、上記と同様に操作情報がCPUブレード6へ通知される(S711)。CPUブレード6では、映像の再生処理を停止して(S712)、送信装置5に対しても再生停止命令を送る(S713)。操作端末3に対してはFEC送信を終了する通知を送る(S714)。これを受けて操作端末3ではFECパケットの受信を停止する。   Thereafter, when the user performs an operation to stop moving image reproduction on the operation terminal 3 (S710), the operation information is notified to the CPU blade 6 in the same manner as described above (S711). The CPU blade 6 stops the video playback process (S712) and sends a playback stop command to the transmission device 5 (S713). A notification to end the FEC transmission is sent to the operation terminal 3 (S714). In response to this, the operation terminal 3 stops receiving the FEC packet.

次に送信装置5では、再生停止命令受けたタイミングから一番近い時間の映像データの区切れ(Group of Picture)がパケット化処理部111に到達した時点で、ヘッダ処理部112が処理を停止して最後に送信したパケットのシーケンス番号を記憶する。また、制御部100は、映像処理部107、音声処理部109に入力するソースデータを、CPUブレード6が生成した静的画面のデータに切り替える(S715)。同時に、誤り訂正処理部115へのデータ送信は停止し、動画映像データに関するメモリ102上のバッファを破棄する(S716)。   Next, in the transmission device 5, the header processing unit 112 stops the processing when the video data segment (Group of Picture) of the time closest to the timing at which the playback stop command is received reaches the packetization processing unit 111. The sequence number of the last transmitted packet is stored. Further, the control unit 100 switches the source data input to the video processing unit 107 and the audio processing unit 109 to the static screen data generated by the CPU blade 6 (S715). At the same time, data transmission to the error correction processing unit 115 is stopped, and the buffer on the memory 102 related to the moving image data is discarded (S716).

その後、CPUブレード6が生成した画面は、エンコーダを経由してパケット処理部111によるパケット化処理及びヘッダ処理部112によるヘッダ処理を経て、操作端末3へ送信される(S717)。この際、ヘッダ処理部112は、記録していたパケットのシーケンス番号を利用して、シーケンス番号が不連続にならないようにする。これにより、情報通信サーバ2から送られてくる映像データのパケットはシーケンス番号が連続した一つのストリームの状態を保つので、操作端末3では特にタイミング調整を行う必要はない。   Thereafter, the screen generated by the CPU blade 6 is transmitted to the operation terminal 3 via the encoder through the packetization processing by the packet processing unit 111 and the header processing by the header processing unit 112 (S717). At this time, the header processing unit 112 uses the sequence number of the recorded packet so that the sequence number does not become discontinuous. As a result, the video data packet sent from the information communication server 2 maintains the state of one stream in which the sequence numbers are continuous, so that there is no need for timing adjustment in the operation terminal 3.

次に図8のフローチャートを用いて、FEC付き動画映像データ準備とその表示(S708、S709)の詳細について説明する。図8に示すように、まず、制御部100は、操作端末3から送信されたユーザの操作情報に基づき、CPUブレード6が生成した画面もしくは、コンテンツストレージ7に蓄積されたコンテンツのソースデータを映像処理部107及び音声処理部109へ夫々入力することにより、動画コンテンツの再生を開始する(S801)。   Next, details of preparation and display of moving image video data with FEC (S708, S709) will be described using the flowchart of FIG. As shown in FIG. 8, the control unit 100 first displays a screen generated by the CPU blade 6 or content source data stored in the content storage 7 based on user operation information transmitted from the operation terminal 3. The reproduction of the moving image content is started by inputting each to the processing unit 107 and the audio processing unit 109 (S801).

この時点で、パケット化処理部111には、操作端末3に再生待ち画面を表示させるための再生待ち画面の映像ソースが入力されている。制御部100は、パケット化処理部111への入力をステップS801でエンコーダーに入力された映像ソースに切り替えて、パケット化の処理を開始する(ステップS802)。このときすでにS706で再生待ち画面がヘッダ処理部112を経由してネットワーク1に送信中である。そのため、パケット化処理部111は、生成した映像データパケットをメモリ102上のバッファに一度格納する(ステップS803)。   At this time, the packetization processing unit 111 is input with the video source of the reproduction waiting screen for displaying the reproduction waiting screen on the operation terminal 3. The control unit 100 switches the input to the packetization processing unit 111 to the video source input to the encoder in step S801, and starts packetization processing (step S802). At this time, the reproduction waiting screen is already being transmitted to the network 1 via the header processing unit 112 in S706. Therefore, the packetization processing unit 111 once stores the generated video data packet in the buffer on the memory 102 (step S803).

メモリ102上のバッファに映像データパケットが格納されると、制御部100は、誤り訂正処理部115を制御し、FECパケットの生成処理を開始する(ステップS804)。このときFECパケットは図6に示すような複数種類のFEC方式に対応したFECパケットを夫々生成する。そのため、FECパケットの生成を開始すると、制御部100は、FECパケットの生成処理に必要な映像データパケットがバッファに蓄積されるまで待機し、図5のように縦、横夫々について、図6のように複数種類のFEC方式に対応するFECパケットが生成可能となる度にFECパケットを生成していく(S805/NO)。   When the video data packet is stored in the buffer on the memory 102, the control unit 100 controls the error correction processing unit 115 to start the generation process of the FEC packet (step S804). At this time, FEC packets corresponding to a plurality of types of FEC schemes as shown in FIG. 6 are generated. Therefore, when the generation of the FEC packet is started, the control unit 100 waits until the video data packet necessary for the FEC packet generation processing is accumulated in the buffer, and as shown in FIG. As described above, every time an FEC packet corresponding to a plurality of types of FEC methods can be generated, the FEC packet is generated (S805 / NO).

S804、S805において蓄積する映像データパケット数の基準は生成するFECの種類のうち、もっともFEC生成に必要な映像データパケット数が多いものに合わせる。例えば、図6の例の場合、制御部100は、FEC復元方式FによるFECパケットを生成可能な映像データパケット、即ち、横25×縦4のマトリクス状に配置される100個の映像データパケットがバッファに蓄積され、誤り訂正処理部115が、図6に示す複数のFEC方式夫々によるFECパケットを全て生成するまで待機する。   The standard of the number of video data packets stored in S804 and S805 is set to the number of video data packets required for FEC generation among the types of FEC to be generated. For example, in the case of the example of FIG. 6, the control unit 100 includes video data packets that can generate FEC packets according to the FEC restoration method F, that is, 100 video data packets arranged in a matrix of 25 × 4. The data is stored in the buffer, and the error correction processing unit 115 waits until all the FEC packets according to the plurality of FEC methods shown in FIG. 6 are generated.

そして、図6に示すような複数のFEC方式について、もっともFEC生成に必要な映像データパケット数が多いものに合わせてのFECパケットの生成が完了すると(S805/YES)、制御部100は、パケット化処理部111によって処理中の再生待ち画面の映像データの切れ目を検知して画面の切り替えが可能かを判断し、切れ目に至るまで待機する(S806/NO)。S806において、制御部100は、例えば、映像データのGOP(Group of Picure)を切り替えのポイントとする。   When the generation of the FEC packet for the plurality of FEC methods as shown in FIG. 6 corresponding to the largest number of video data packets necessary for FEC generation is completed (S805 / YES), the control unit 100 transmits the packet The conversion processing unit 111 detects a break in the video data of the screen waiting for reproduction being processed, determines whether the screen can be switched, and waits until the break is reached (NO in S806). In S806, for example, the control unit 100 sets a GOP (Group of Pictures) of video data as a switching point.

画面切り替えが可能なポイントに達すると(S806/YES)、制御部100は、パケット化処理部111を制御し、その時点で未送信のパケット化処理済みのパケットを全て送信したのち、再生待ち画面の映像ソースのパケット化処理を停止する(S807)。そして、ヘッダ処理部112に入力して操作端末2に送信させるデータパケットを、誤り訂正処理部115を経由した再生対象の動画の映像データパケット及びその映像データパケットに基づいて生成されたFECパケットに切り替える(S808)。   When the point at which screen switching is possible is reached (S806 / YES), the control unit 100 controls the packetization processing unit 111 to transmit all the packets that have not been transmitted at that point and then wait for playback. The packetization processing of the video source is stopped (S807). Then, the data packet input to the header processing unit 112 and transmitted to the operation terminal 2 is converted into the video data packet of the moving image to be reproduced via the error correction processing unit 115 and the FEC packet generated based on the video data packet. Switching (S808).

その後、制御部100の制御に従い、パケット化処理部111によって上述したようにパケット化された映像データパケット及び誤り訂正処理部115によって生成されたFECパケットがヘッダ処理部112へ送られ、ヘッダ処理を施されたパケットが操作端末3へ送られる(S809)。ここで、S809においては、生成されたFECパケットが全てヘッダ処理部112に入力されるのではなく、操作端末3によって選択されたFEC復元方式に係るFECパケットのみがヘッダ処理部112に入力され、ヘッダ処理されてネットワーク上に創出される。これにより、操作端末3が含まれるユーザ側のローカルエリアネットワークにおいては、余計なFECパケットをやり取りする必要がなくなり、ローカルエリアネットワークのネットワーク負荷を低減することができる。これについては後に詳述する。   Thereafter, in accordance with the control of the control unit 100, the video data packet packetized as described above by the packetization processing unit 111 and the FEC packet generated by the error correction processing unit 115 are sent to the header processing unit 112 to perform header processing. The applied packet is sent to the operation terminal 3 (S809). Here, in S809, not all the generated FEC packets are input to the header processing unit 112, but only the FEC packets related to the FEC restoration method selected by the operation terminal 3 are input to the header processing unit 112. The header is processed and created on the network. Thereby, in the local area network on the user side including the operation terminal 3, it is not necessary to exchange extra FEC packets, and the network load of the local area network can be reduced. This will be described in detail later.

ここで、S809における映像データパケット及びFECパケットの送信態様及び作用効果について、図9を参照して説明する。上述したように、S809においてヘッダ処理部112が映像データパケット及びFECデータパケットの送信を開始するタイミングにおいては、図6に示すような複数のFEC方式について、もっともFEC生成に必要な映像データパケット数が多いものに合わせてのFECパケットの生成が完了している。そのため、メモリ102に確保されているバッファ領域には、相当数の映像データパケット、横方向のFECパケット(以降、FECパケット1とする)及び縦方向のFECパケット(以降、FECパケット2とする)が格納されている。   Here, the transmission mode and operation effect of the video data packet and the FEC packet in S809 will be described with reference to FIG. As described above, at the timing when the header processing unit 112 starts transmitting the video data packet and the FEC data packet in S809, the number of video data packets most necessary for FEC generation for a plurality of FEC methods as shown in FIG. The generation of the FEC packet in accordance with the large number is completed. Therefore, the buffer area reserved in the memory 102 includes a considerable number of video data packets, horizontal FEC packets (hereinafter referred to as FEC packet 1), and vertical FEC packets (hereinafter referred to as FEC packet 2). Is stored.

即ち、図9(a)に示すように、映像データパケット、FECパケット1及びFECパケット2夫々のポートから送信されるパケットは既に用意されている。従って、ヘッダ処理部112が映像データパケット、FECパケット1及びFECパケット2に対して順次ヘッダ処理を行って送信することにより、操作端末3には、映像データパケット、FECパケット1及びFECパケット2が平行して到達する。そのため、パケットロストが発生したとしても、FECパケットが既に到達しているため、操作端末3はロストパケットの復元を即座に行うことができる。   That is, as shown in FIG. 9A, packets transmitted from the respective ports of the video data packet, the FEC packet 1 and the FEC packet 2 are already prepared. Accordingly, the header processing unit 112 sequentially performs header processing on the video data packet, the FEC packet 1 and the FEC packet 2 and transmits them, so that the video data packet, the FEC packet 1 and the FEC packet 2 are transmitted to the operation terminal 3. Reach in parallel. Therefore, even if a packet loss occurs, since the FEC packet has already arrived, the operation terminal 3 can immediately restore the lost packet.

図9(b)は、図8の動作のように、相当数のFECパケットの生成が完了してから映像データパケットの送信を開始する処理を行わず、生成されたパケットを順次送信すると共に、映像データパケットが順次生成されることにより生成が可能となったFECパケットを生成して、それも順次送信する場合の例を示す図である。図9(b)においては、5個のパケット毎に横方向のFECパケットが生成される場合を例としている。   In FIG. 9B, as in the operation of FIG. 8, the process of starting transmission of video data packets is not performed after the generation of a considerable number of FEC packets is completed, and the generated packets are sequentially transmitted. It is a figure which shows the example in the case of producing | generating the FEC packet which became possible by the video data packet being produced | generated sequentially, and also transmitting it sequentially. FIG. 9B shows an example in which a horizontal FEC packet is generated for every five packets.

図9(b)の場合、図に示すパケットが欠損した場合、そのパケットを復元するためには、最初のFECパケット1の到達を待つ必要がある。そのため、図9(b)に示す待ち時間の間、動画の再生が停止してしまう。図9(b)のような横方向のFECパケットをを待つ場合の待ち時間であれば、許容範囲にもなり得るが、縦方向のFECパケットを待つ場合、その待ち時間は更に長くなり、動画再生の品質が損なわれることとなる。   In the case of FIG. 9B, when the packet shown in FIG. 9 is lost, it is necessary to wait for the arrival of the first FEC packet 1 in order to restore the packet. Therefore, the reproduction of the moving image is stopped during the waiting time shown in FIG. The waiting time for waiting for the FEC packet in the horizontal direction as shown in FIG. 9B can be an allowable range, but when waiting for the FEC packet in the vertical direction, the waiting time becomes longer, and the moving image The quality of reproduction will be impaired.

これに対して、本実施形態に係る情報通信サーバ2は、図4のマトリクス状の配置のような予め定められた所定数の映像データパケットのまとまり毎に、複数の異なるFEC復元方式すべてについてFECパケットが生成される度に、映像データパケット及びFECパケットの送信を開始するため、図9(a)に示すように、映像データパケット、FECパケット1及びFECパケット2を並列して送信開始する。パケットロストが発生したとしても、操作端末3は、FECパケットの到達を待つ必要がなく、動画再生の品質を保つことができる。   On the other hand, the information communication server 2 according to the present embodiment uses the FEC for all of a plurality of different FEC restoration methods for each predetermined group of video data packets such as the matrix arrangement shown in FIG. In order to start transmission of the video data packet and the FEC packet every time a packet is generated, the video data packet, the FEC packet 1 and the FEC packet 2 are started to be transmitted in parallel as shown in FIG. Even if packet loss occurs, the operation terminal 3 does not have to wait for the arrival of the FEC packet, and can maintain the quality of moving image reproduction.

なお、図9(a)に示す態様においても、操作端末3へのパケットの到達タイミングとロストパケットの発生態様によっては、パケットの復元のためにFECパケットの到達を待つ必要が生じる可能性もある。これに対して、ヘッダ処理部112が、FECパケット1、FECパケット2を映像データパケットよりも優先して送信することにより、そのような可能性を排除することができる。更には、図4のマトリクス状の配置のような予め定められた所定数の映像データパケットのまとまり毎にパケットの送信を開始する際、先にFECパケットを全て送信した後に映像データパケットを送信するようにしても良い。これにより、操作端末3において映像データパケットが受信された映像データの再生が開始された際には、既にFECパケットは全て揃っており、復元のためにFECパケットの到達を待つ必要がない。   In the mode shown in FIG. 9A as well, depending on the arrival timing of the packet to the operation terminal 3 and the generation mode of the lost packet, it may be necessary to wait for the arrival of the FEC packet in order to restore the packet. . On the other hand, such a possibility can be eliminated by the header processing unit 112 transmitting the FEC packet 1 and the FEC packet 2 with priority over the video data packet. Furthermore, when transmission of a packet is started for each group of a predetermined number of predetermined video data packets as in the matrix arrangement of FIG. 4, the video data packets are transmitted after all the FEC packets are transmitted first. You may do it. Thereby, when the reproduction of the video data in which the video data packet is received is started in the operation terminal 3, all the FEC packets are already prepared, and there is no need to wait for the arrival of the FEC packet for restoration.

次に、操作端末3の動作について説明する。図10は、操作端末3において、情報通信サーバ2から映像データを受信再生する際、最適なFEC復元方法を適用して映像データのストリームを受信する処理を行うIPデータ処理部27における、データ修正処理の制御プログラムのフローチャートである。   Next, the operation of the operation terminal 3 will be described. FIG. 10 shows data correction in the IP data processing unit 27 that performs processing for receiving a stream of video data by applying an optimum FEC restoration method when receiving and reproducing video data from the information communication server 2 in the operation terminal 3. It is a flowchart of a process control program.

まず、操作端末3は、ユーザがタッチパネル17で、情報通信サーバ2から映像データを受信再生するための所定操作を行うことにより、映像データの受信処理を開始する(S1000)。すると、操作端末3は、情報通信サーバ2のCPUブレード6に対して、映像データ送信開始を依頼する。これにより、情報通信サーバ2において、映像データの送信処理が始まる。これにより、図7のS706のような再生待ち画面表示処理等が実行され、操作端末3において再生待ち画面が表示される。   First, the operation terminal 3 starts a video data reception process when the user performs a predetermined operation for receiving and reproducing video data from the information communication server 2 on the touch panel 17 (S1000). Then, the operation terminal 3 requests the CPU blade 6 of the information communication server 2 to start video data transmission. Thereby, in the information communication server 2, transmission processing of video data starts. Thereby, a reproduction waiting screen display process or the like as in S706 of FIG. 7 is executed, and the reproduction waiting screen is displayed on the operation terminal 3.

次に、IPデータ処理部27は、CPUブレード6に対して通信を行うことで、提供されるFECの方法とパラメータ、及びFECパケットのソースIPアドレスと配信ポート番号を得る(S1001)。この例では、図6に示したFEC復元方法A〜Fの6種類の復元方法が選択的に利用できることを示す情報が、情報通信サーバ2から送信される。そして、IPデータ処理部27は、映像データの受信のための手続きに進む。   Next, the IP data processing unit 27 communicates with the CPU blade 6 to obtain the provided FEC method and parameters, and the source IP address and distribution port number of the FEC packet (S1001). In this example, information indicating that the six types of restoration methods FEC restoration methods A to F shown in FIG. Then, the IP data processing unit 27 proceeds to a procedure for receiving video data.

最初に受信開始する際、IPデータ処理部27は、まずFECによるロストパケットを復元せずに受信処理を開始する。そして、パケットロストの発生状況を監視しながら、帯域増加の少ない順にFEC復元方法を順次試して、最適な方法を選ぶ。なお、本実施形態において、IPデータ処理部27は、サービスの種類や映像データのストリームのビットレート別に最適として利用したFEC復元方法の記録を蓄積し、次回同じサービスを利用する場合には、前回最も適していたと判定した方法を使用して映像データ受信を行う(S1002)。   When starting reception for the first time, the IP data processing unit 27 first starts reception processing without restoring a lost packet by FEC. Then, while monitoring the occurrence of packet loss, the FEC restoration methods are tried in order from the smallest bandwidth increase to select the optimum method. In the present embodiment, the IP data processing unit 27 accumulates the record of the FEC restoration method that is optimally used for each service type and the bit rate of the video data stream, and when the same service is used next time, The video data is received using the method determined to be most suitable (S1002).

次いで、IPデータ処理部27は、新規データパケットをIP通信ポート26から装置内に取り込むためのソケットを準備し、映像データのパケットが到着し始めるのを待つ。このとき、操作端末3が情報通信サーバ2とネットワークセッションを確立して映像データの再生を開始した直後であるため、上述した通り、FECによるロストパケットの復元処理を実行しない。そして、映像データのパケットがIP通信ポート26まで届き始めたら、これを取り込んでIPデータ処理部27でIPパケットの形態からTS形式のデータに変換してデコーダ14に送る。この処理により、ユーザ指定の映像データの再生表示が行われる(S1003)。即ち、IPデータ処理部27が、パケット受信部として機能する。   Next, the IP data processing unit 27 prepares a socket for taking a new data packet from the IP communication port 26 into the apparatus, and waits for a video data packet to start to arrive. At this time, immediately after the operation terminal 3 establishes a network session with the information communication server 2 and starts to reproduce the video data, the lost packet restoration processing by FEC is not executed as described above. When the video data packet starts to reach the IP communication port 26, the video data packet is captured and converted into the TS format data from the IP packet format by the IP data processing unit 27 and sent to the decoder 14. Through this process, the user-specified video data is reproduced and displayed (S1003). That is, the IP data processing unit 27 functions as a packet receiving unit.

映像データの再生を開始すると、IPデータ処理部27は、IP通信ポート26でパケットを取り込む際に、映像データのパケットのロスト数をカウントしパケットロスト率を計算する(S1004)。即ち、IPデータ処理部27が、エラー率計算部として機能する。そして、パケットロスト率が、所定の許容される率の閾値を超えているか否かを判定し(S1005)、超えている場合には(S1005/YES)、FECによるデータ復元を開始、又はそれまで使っていたFEC復元方法の変更を行う。   When the reproduction of the video data is started, the IP data processing unit 27 calculates the packet lost rate by counting the number of lost video data packets when the IP communication port 26 captures the packets (S1004). That is, the IP data processing unit 27 functions as an error rate calculation unit. Then, it is determined whether or not the packet lost rate exceeds a predetermined allowable rate threshold (S1005). If it exceeds (S1005 / YES), data restoration by FEC is started or until then. Change the FEC restoration method used.

ここで、S1005における閾値について説明する。上述したパケットロスト率の閾値は、動画の再生品質のポリシによって予め設定される。もっとも保守的なポリシとしては、閾値を0パケットとして、パケットロストが1つでも発生したらFECを適用する態様がある。このようなポリシは、主にローカルエリアネットワークの回線品質が高い場合に適用する。   Here, the threshold value in S1005 will be described. The above-described threshold for the packet lost rate is set in advance according to the reproduction quality policy of the moving image. As a most conservative policy, there is a mode in which the threshold value is set to 0 packet and FEC is applied when even one packet lost occurs. Such a policy is mainly applied when the line quality of the local area network is high.

一般的なローカルエリアネットワーク回線で、パケットロストが比較的多く発生する場合は、パケットロスト率の閾値を0パケットよりも高くする。このときの設定方法としては、パケットロスト率が映像の乱れにどの程度影響するか、予め目視により確認することにより許容可能な品質に対応するパケットロスト率を設定する。   When a relatively large amount of packet loss occurs on a general local area network line, the packet loss rate threshold is set higher than 0 packets. As a setting method at this time, a packet lost rate corresponding to an acceptable quality is set by visually confirming in advance how much the packet lost rate affects the image disturbance.

例えば、動画データには、敵的にデコードにとって重要な主フレームが挿入されている。その主フレームに対応する動画データについて頻繁にパケットロストが発生すると、画面が大きく崩れてしまう。従って、主フレームに対応するパケットがロストしないように閾値を設定することが好ましい。   For example, a main frame that is hostilely important for decoding is inserted in the moving image data. If packet loss frequently occurs for moving image data corresponding to the main frame, the screen will be greatly collapsed. Therefore, it is preferable to set the threshold value so that the packet corresponding to the main frame is not lost.

また、設定する閾値の上限としては、FECによって完全復元できるパケットロストの状態を想定して設定することが考えられる。図6の表によれば、もっとも復元率が低いFEC復元方式Aが復元可能なパケットロスト率の上限、即ち、10%未満が閾値である必要がある。これは100パケットのうち横方向に10パケットが連続でロストした場合に相当する。   As an upper limit of the threshold value to be set, it is conceivable to set it assuming a packet lost state that can be completely restored by FEC. According to the table of FIG. 6, the upper limit of the packet lost rate that can be restored by the FEC restoration method A having the lowest restoration rate, that is, less than 10% needs to be the threshold value. This corresponds to a case where 10 packets are continuously lost in the horizontal direction out of 100 packets.

IPデータ処理部27は、FEC復元方法の変更を行う場合、まず、それまでFECによる復元を行っていた場合には、そのFEC復元方法とパケットロスト率を一時記録する(S1006)。そして、前記ステップS1001で取得したFEC復元方法から、今まで使用していた方法に比べ最も帯域増加の少ない方法、即ち、現在選択されているエラー訂正方式の次にネットワーク負荷が高い方式を選択し適用する(S1007)。   When changing the FEC restoration method, the IP data processing unit 27 first temporarily records the FEC restoration method and the packet lost rate when restoration by FEC has been performed so far (S1006). Then, from the FEC restoration method acquired in step S1001, the method with the smallest increase in bandwidth compared to the method used so far, that is, the method with the next highest network load after the currently selected error correction method is selected. Apply (S1007).

S1007における、変更後のFEC復元方法を選択して適用する処理は、IPデータ処理部27がネットワークを介して情報通信サーバ2に変更後のFEC復元方法を通知する処理である。即ち、IPデータ処理部27が、方式変更通知部として機能する。これにより、情報通信サーバ2においては、制御部100が、通知されたFEC復元方法に基づいてヘッダ処理部112に入力するFECパケットを選択する。その結果、操作端末3によって選択されたFEC復元方法に応じたFECパケットが操作端末3に送信されることとなる。   The process of selecting and applying the changed FEC restoration method in S1007 is a process in which the IP data processing unit 27 notifies the information communication server 2 of the changed FEC restoration method via the network. That is, the IP data processing unit 27 functions as a method change notification unit. Thereby, in the information communication server 2, the control unit 100 selects an FEC packet to be input to the header processing unit 112 based on the notified FEC restoration method. As a result, an FEC packet corresponding to the FEC restoration method selected by the operation terminal 3 is transmitted to the operation terminal 3.

ここで、FEC復元パケットの選択ルールについて説明する。例えば、それまでFECによる復元をせずに映像データ受信していた場合、図6の6つの方法で最も帯域増加の少ないものは映像データの100個のパケットに対し10個のFECパケットを受け取る方法Aであるため、まずFEC復元方法Aを適用する。また、一般的にパケットロストは連続して起こることが多いため、本実施形態に係るIPデータ処理部27は、同じ帯域増加率であれば、Mの大きい方、すなわち縦方向のFECパケットの多い方を優先して採用する。例えば、FEC復元方法BとCではCを、FEC復元方法DとEではEを先に適用する。   Here, the selection rule of the FEC restoration packet will be described. For example, when video data is received without restoration by FEC until then, the method with the smallest increase in bandwidth among the six methods in FIG. 6 is a method of receiving 10 FEC packets for 100 packets of video data. First, FEC restoration method A is applied. In general, since packet loss often occurs continuously, the IP data processing unit 27 according to the present embodiment has a larger M, that is, more FEC packets in the vertical direction if the bandwidth increase rate is the same. Priority should be adopted. For example, C is applied to the FEC restoration methods B and C, and E is applied to the FEC restoration methods D and E first.

今まで受信していなかったFECパケットを新規に受信する手続きは、映像データパケット受信と同様、FECパケットをIP通信ポート26から装置内に取り込むためのソケットを準備し、FECパケットデータが到着し始めたら、該FECパケットを使って図4、図5において説明した方法でロストした映像データパケットの復元を開始する(S1008)。即ち、IPデータ処理部27が、パケット復元部として機能する。   The procedure for newly receiving an FEC packet that has not been received so far is the same as the reception of a video data packet, in which a socket for taking the FEC packet into the apparatus from the IP communication port 26 is prepared, and FEC packet data starts to arrive. Then, the restoration of the lost video data packet is started using the FEC packet by the method described with reference to FIGS. 4 and 5 (S1008). That is, the IP data processing unit 27 functions as a packet restoration unit.

FECによるデータ復元を行っている場合、IPデータ処理部27は、データ復元後のパケットロスト率を計算する(S1009)。すなわち、受信時にロストしていたパケット数から、復元できたパケット数を引いた値の統計をとり、S1006で記録しておいた以前の方法のロスト率と比較し(S1010)、前よりもパケットロスト率が増加するようであれば(S1010/YES)、ステップS1011に進んでFEC復元方法を以前のものに戻す。そして、IPデータ処理部27は、受信中の映像データについての最適なFEC復元方法として、選択中のFEC復元方法をFEC適用方法データベースに、サービス及び映像データのストリームのビットレートと共に記録する(S1013)。   When data restoration by FEC is performed, the IP data processing unit 27 calculates a packet lost rate after data restoration (S1009). That is, the statistics of the value obtained by subtracting the number of restored packets from the number of lost packets at the time of reception are taken and compared with the lost rate of the previous method recorded in S1006 (S1010), and the number of packets is more than before. If the lost rate increases (S1010 / YES), the process proceeds to step S1011 to return the FEC restoration method to the previous one. Then, the IP data processing unit 27 records the selected FEC restoration method in the FEC application method database together with the bit rate of the service and the stream of the video data as the optimum FEC restoration method for the received video data (S1013). ).

ステップS1010での比較結果が、以前より向上していた場合(S1010/NO)、IPデータ処理部27は、まだ試していないFEC復元方法があるかを判定する(S1012)。これは、現在の方法以上に復元率の大きい方法が有る可能性を判定することに相当する。復元率がさらに大きい方法が無い場合は(S1012/YES)、その方法を最適方法とし、S1013の処理を行う。   If the comparison result in step S1010 has improved compared to before (S1010 / NO), the IP data processing unit 27 determines whether there is an FEC restoration method that has not been tried yet (S1012). This corresponds to determining the possibility that there is a method with a higher restoration rate than the current method. If there is no method with a higher restoration rate (S1012 / YES), the method is set as the optimum method, and the process of S1013 is performed.

まだ試していないFEC復元方法がある場合(S1012/NO)、IPデータ処理部27は、ステップS1005に戻る。そして、現在適用している方法のパケットロスト率がしきい値の範囲であれば(S1005/NO)、ステップS1013に進み、IPデータ処理部27は、該方法を最適方法として記録する。閾値外であれば(S1005/YES)、IPデータ処理部27は、ステップS1006からS1010を繰り返す。   If there is an FEC restoration method that has not been tried yet (S1012 / NO), the IP data processing unit 27 returns to step S1005. If the packet lost rate of the currently applied method is within the threshold range (S1005 / NO), the process proceeds to step S1013, and the IP data processing unit 27 records the method as the optimum method. If it is outside the threshold (S1005 / YES), the IP data processing unit 27 repeats steps S1006 to S1010.

最適方法が定まると、IPデータ処理部27は、ユーザが情報通信サーバ2との接続を停止する操作を行うまで(S1014)、該方法を適用して映像データ受信処理を行う(S1014/NO)。接続を停止する場合(S1014/YES)、IPデータ処理部27は、データの復元とデコーダへの転送を中止し、CPUブレード6に接続停止通知を送信し、受信用のソケットを削除する処理を行う(S1015)。   When the optimum method is determined, the IP data processing unit 27 applies the method to perform video data reception processing (S1014 / NO) until the user performs an operation to stop the connection with the information communication server 2 (S1014). . When the connection is stopped (S1014 / YES), the IP data processing unit 27 stops the data restoration and the transfer to the decoder, transmits a connection stop notification to the CPU blade 6, and deletes the receiving socket. Perform (S1015).

なお、提供されている全てのFEC復元方法を使用しても、ステップS1005において、パケットロスト率が前記しきい値を超える場合、IPデータ処理部27は、最もパケットロスト率の少ないFEC復元方法を選択して処理する。この場合は受信状況が良好でないため、画像や音声が乱れる恐れがある旨を表示装置22に表示しても良い。これにより、ユーザは、受信中の映像データに低解像度のものや低ビットレートのものがある場合には、それらを選択するという判断を行うことができる。   Even if all the provided FEC restoration methods are used, if the packet lost rate exceeds the threshold in step S1005, the IP data processing unit 27 uses the FEC restoration method with the smallest packet lost rate. Select and process. In this case, since the reception status is not good, it may be displayed on the display device 22 that there is a possibility that the image or sound may be disturbed. As a result, the user can make a determination to select the low-resolution video data or the low-bit-rate video data being received.

本実施例においては、通常RTPでデータ送信する情報通信サーバ2は、FEC復元方法を複数用意しているので、操作端末3は、提供されたFEC復元方法を取捨選択し、常時最適な映像データ受信が行えるように調整することを特徴としている。以上のようにすることで、映像データをネットワークを介して受信して表示する場合に、ユーザのネットワークにおいて最適なFEC復元方法を合理的に採用して受信することができる。   In the present embodiment, the information communication server 2 that normally transmits data by RTP provides a plurality of FEC restoration methods. Therefore, the operation terminal 3 selects the provided FEC restoration methods and always selects the optimum video data. It is characterized by adjusting so that reception is possible. As described above, when video data is received and displayed via the network, it is possible to rationally adopt and receive the optimum FEC restoration method in the user network.

また、上述したように、本実施形態に係る情報通信サーバ2は、映像表示までの遅延が少ないことが求められる静的な画面から生成される映像の場合ではFECを用いないことで、遅延を減らし、かつビットレートが高くなるような動画映像では品質を保つために、動画再生の先頭に再生待ち画面を挿入して再生を待たせつつ複数の方式に対応したFECパケットを生成することで、複数の方式から成るFECを利用することが可能であり、ユーザによる操作に対する応答性能を向上すると共に、最適なFEC方法を選択させることができる。   Further, as described above, the information communication server 2 according to the present embodiment reduces the delay by not using the FEC in the case of a video generated from a static screen that is required to have a small delay until the video display. In order to maintain the quality of video images with a reduced bit rate and a high bit rate, insert a playback wait screen at the beginning of the video playback and wait for playback while generating FEC packets that support multiple formats. It is possible to use FECs composed of a plurality of methods, and it is possible to improve the response performance with respect to user operations and to select an optimal FEC method.

ここで、上述したように、本実施形態に係る映像通信システムにおいて、情報通信サーバ2は、複数の異なるFEC復元方法に対応したFECパケットを生成した上で、操作端末3により選択されたFEC復元方法に対応するFECパケットのみを選択して送出する。そして、上述したように、操作端末3は、映像データの再生開始当初は、FECによるロストパケットの復元を行わない。従って、情報通信サーバ2は、映像データの配信開始当初は、FECパケットを送出しない。   Here, as described above, in the video communication system according to the present embodiment, the information communication server 2 generates FEC packets corresponding to a plurality of different FEC restoration methods and then selects the FEC restoration selected by the operation terminal 3. Only FEC packets corresponding to the method are selected and transmitted. As described above, the operation terminal 3 does not restore the lost packet by FEC at the beginning of the reproduction of the video data. Accordingly, the information communication server 2 does not transmit the FEC packet at the beginning of the distribution of the video data.

これは、操作端末3が情報通信サーバ2に映像データの配信要求を行う度に、最初はFECパケットが不要であること、即ち、FEC復元方法をいずれも選択しないことを通知しても良いし、情報通信サーバ2において制御部100が、毎回の映像データの配信開始当初においては、FECパケットが不要であることを予め判断して、映像データパケットのみをヘッダ処理部112に入力するようにしても良い。   This may be notified that the FEC packet is not required at first, that is, no FEC restoration method is selected every time the operation terminal 3 makes a distribution request for video data to the information communication server 2. In the information communication server 2, the control unit 100 determines in advance that the FEC packet is unnecessary at the beginning of the distribution of the video data every time, and inputs only the video data packet to the header processing unit 112. Also good.

また、情報通信サーバ2において、操作端末3からFEC復元方法を変更する通知を受信した場合、FEC復元方法を変更するタイミングが問題となる。これについては、図4において説明したような、マトリクス状に配置された映像データパケットのまとまりを利用することが好ましい。上述したように、本実施形態において、情報通信サーバ2は、もっともFEC生成に必要な映像データパケット数が多いものに合わせてFECパケットを生成する。即ち、図6の例の場合、情報通信サーバ2は、映像データパケット100個毎にA〜FすべてのFEC復元方法によるFECパケットの生成する処理を繰り返す。   Further, when the information communication server 2 receives a notification for changing the FEC restoration method from the operation terminal 3, the timing for changing the FEC restoration method becomes a problem. For this, it is preferable to use a group of video data packets arranged in a matrix as described in FIG. As described above, in the present embodiment, the information communication server 2 generates FEC packets according to the number of video data packets that are most required for FEC generation. That is, in the case of the example in FIG. 6, the information communication server 2 repeats the process of generating the FEC packet by all the FEC restoration methods A to F for every 100 video data packets.

そして、FECパケットは図4に示すようにマトリクス状に配置された映像データパケットに対して適用して初めて意味があり、マトリクス状に配置された映像データパケットの途中でFEC方式を変更しても意味がない。従って、情報通信サーバ2が、操作端末3からの通知に応じてFEC復元方式を変更する、即ち、ヘッダ処理部112に入力するFECパケットの取捨選択を変更するタイミングは、図4に示すようなマトリクス状に配置された映像データパケットのまとまり毎のタイミングとすることが好ましい。   The FEC packet is meaningful only when applied to a video data packet arranged in a matrix as shown in FIG. 4, and even if the FEC method is changed in the middle of the video data packet arranged in a matrix. meaningless. Therefore, the timing at which the information communication server 2 changes the FEC restoration method according to the notification from the operation terminal 3, that is, changes the selection of the FEC packet input to the header processing unit 112 is as shown in FIG. The timing is preferably set for each group of video data packets arranged in a matrix.

尚、異なるFEC復元方式の全てについてFECパケットを生成するということが可能となるのは、図6に示すように、本実施形態において適用されるFEC復元方式が、マトリクス状にまとめられるパケットデータの数として、100個という同一の数を採用しているからである。そして、これにより、上述したように、FECパケットの取捨選択を変更するタイミング、即ち、FEC復元方式を変更するタイミングとして、マトリクス状に配置された映像データパケットのまとまり毎のタイミングを容易に用いることができる。従って、情報通信サーバ2において選択可能な複数のFEC復元方式は、マトリクス状にまとめられるパケットデータの数として、いずれも同一数を採用することが好ましい。   Note that it is possible to generate FEC packets for all of the different FEC restoration methods, as shown in FIG. 6, the FEC restoration method applied in this embodiment is a packet data grouped in a matrix. This is because the same number of 100 is adopted. Thus, as described above, the timing for changing the selection of the FEC packet, that is, the timing for changing the FEC restoration method, can easily use the timing for each group of video data packets arranged in a matrix. Can do. Accordingly, it is preferable that the plurality of FEC restoration methods that can be selected in the information communication server 2 adopt the same number as the number of packet data collected in a matrix.

他方、操作端末3においては、FEC復元方式の変更を通知した後、情報通信サーバ2から送信されるFECパケットが通知した復元方式に変更されたタイミングを判断する必要がある。これは、上述したように、FECパケットのヘッダ情報において復元対象の映像データパケットが指定されているため、IPデータ処理部27は、その情報を参照することにより判断することが可能である。   On the other hand, after notifying the change of the FEC restoration method, the operation terminal 3 needs to determine the timing when the FEC packet transmitted from the information communication server 2 is changed to the notified restoration method. As described above, since the video data packet to be restored is specified in the header information of the FEC packet, the IP data processing unit 27 can determine this by referring to the information.

この他、より容易にFEC復元方式の変更を判断する方法として、情報通信サーバ2が、FEC復元方式を変更するタイミング、即ち、ヘッダ処理部112に入力するFECパケットを変更するタイミングにおいて、FEC復元方式が変更されることを示す情報を挿入する態様が考えられる。FEC復元方式が変更されることを示す情報を挿入する態様としては、映像データもFECデータも含まない空のパケットデータを所定数連続して送出する態様や、FEC復元方式が変更された後、最初に送出されるパケットのヘッダ情報として、FEC復元方式が変更されたことや変更後のFEC復元方式を示す情報を挿入する態様が考えられる。これにより、操作端末3においては、連続して受信された空パケットや受信されたパケットのヘッダ情報を確認することにより、容易にFEC復元方式が変更されたことを判断することができる。   In addition, as a method for determining the change of the FEC restoration method more easily, FEC restoration is performed at the timing when the information communication server 2 changes the FEC restoration method, that is, the timing when the FEC packet input to the header processing unit 112 is changed. A mode of inserting information indicating that the method is changed is conceivable. As a mode of inserting information indicating that the FEC restoration method is changed, a mode in which a predetermined number of empty packet data including neither video data nor FEC data is continuously transmitted, or after the FEC restoration method is changed, As header information of a packet transmitted first, there can be considered a mode in which information indicating that the FEC restoration method has been changed or the FEC restoration method after the change is inserted. As a result, the operation terminal 3 can easily determine that the FEC restoration method has been changed by checking continuously received empty packets and header information of the received packets.

以上、本発明について詳細に説明したが、本発明は、ここに記載された映像通信システムの実施例に限定されるものではなく、他の映像通信システムにも広く適用できることは言うまでもない。   Although the present invention has been described in detail above, it is needless to say that the present invention is not limited to the embodiments of the video communication system described herein, and can be widely applied to other video communication systems.

1 ネットワーク
2 情報通信サーバ
3 操作端末
41、43、44 ルータ、
42 スイッチ
5 送信装置
6 CPUブレード
7 コンテンツストレージ
10 CPU
11 RAM
12 メモリ
13 メモリカード
14 メディア制御部
15 DVDドライブ
16 HDD
17 タッチパネル
18 デスクランブラ
19 デマルチプレクサ
20 ビデオ・オーディオデコーダ
21 映像表示制御部
22 表示装置
23 グラフィック・オーディオエンジン
24 オーディオ出力制御部
25 スピーカ
26 IP通信ポート
27 IPデータ処理部
100 制御部
101 バス
102 メモリ
103 映像信号入力部
104 音声信号入力部
105 ファイバーチャネル接続部
106 ファイバーチャネルI/F
107 映像処理部
108 映像エンコーダ
109 音声処理部
110 音声エンコーダ
111 パケット化処理部
112 ヘッダ処理部
113 ネットワーク接続部
114 ネットワークI/F
115 誤り訂正処理部
116 CPU
117 メモリ
118 通信部
119 映像信号出力部
120 音声信号出力部
121 制御通信部
1 network 2 information communication server 3 operation terminals 41, 43, 44 router,
42 Switch 5 Transmitter 6 CPU Blade 7 Content Storage 10 CPU
11 RAM
12 Memory 13 Memory Card 14 Media Control Unit 15 DVD Drive 16 HDD
17 Touch Panel 18 Descrambler 19 Demultiplexer 20 Video / Audio Decoder 21 Video Display Control Unit 22 Display Device 23 Graphic / Audio Engine 24 Audio Output Control Unit 25 Speaker 26 IP Communication Port 27 IP Data Processing Unit 100 Control Unit 101 Bus 102 Memory 103 Video signal input unit 104 Audio signal input unit 105 Fiber channel connection unit 106 Fiber channel I / F
107 video processing unit 108 video encoder 109 audio processing unit 110 audio encoder 111 packetization processing unit 112 header processing unit 113 network connection unit 114 network I / F
115 Error correction processing unit 116 CPU
117 Memory 118 Communication unit 119 Video signal output unit 120 Audio signal output unit 121 Control communication unit

Claims (15)

映像を再生する再生装置からのネットワークを介した要求に応じて映像情報を配信する映像配信装置であって、
前記要求に係る映像情報に基づき、前記映像情報をネットワークを介して送信するための映像データパケットを生成して記憶媒体に記憶させる映像データパケット生成部と、
前記生成された映像データパケットに基づき、予め定められた所定数の前記映像データパケットのまとまり毎に、パケット伝送におけるエラーを訂正するためのエラー訂正パケットを生成して記憶媒体に記憶させるエラー訂正パケット生成部と、
前記生成された映像データパケット及びエラー訂正パケットをネットワークを介して前記再生装置に送信するパケット送信部とを含み、
前記エラー訂正パケット生成部は、複数の異なるエラー訂正方式夫々に対応するエラー訂正パケットを生成可能であり、
前記パケット送信部は、予め定められた所定数の前記映像データパケットのまとまり毎に、前記複数の異なるエラー訂正方式すべてについて前記エラー訂正パケットが生成される度に、前記エラー訂正パケットが生成された前記映像データパケット及び前記生成されたエラー訂正パケットの送信を開始し、前記生成されたエラー訂正パケットのうち前記再生装置によって指定されたエラー訂正方式に係るエラー訂正パケットのみを送信することを特徴とする映像配信装置。
A video distribution device that distributes video information in response to a request from a playback device that plays back a video via a network,
A video data packet generator for generating a video data packet for transmitting the video information via a network and storing the video data packet in a storage medium based on the video information according to the request;
An error correction packet for generating an error correction packet for correcting an error in packet transmission and storing it in a storage medium for each set of a predetermined number of the video data packets based on the generated video data packet A generator,
A packet transmission unit that transmits the generated video data packet and error correction packet to the playback device via a network;
The error correction packet generation unit can generate an error correction packet corresponding to each of a plurality of different error correction methods,
The packet transmission unit generates the error correction packet every time the error correction packet is generated for all of the plurality of different error correction methods for each predetermined number of the video data packets. The transmission of the video data packet and the generated error correction packet is started, and only the error correction packet according to the error correction method designated by the playback device is transmitted among the generated error correction packets. Video distribution device.
前記パケット送信部は、前記再生装置によってエラー訂正方式が指定された場合、前記予め定められた所定数の前記映像データパケットのまとまりの切り替わりに応じて、前記生成されたエラー訂正パケットのうち送信するエラー訂正パケットを変更することを特徴とする請求項1に記載の映像配信装置。   When an error correction method is specified by the playback device, the packet transmission unit transmits among the generated error correction packets in response to switching of the predetermined number of the video data packets. The video distribution apparatus according to claim 1, wherein the error correction packet is changed. 前記パケット送信部は、前記再生装置による指定に応じて送信するエラー訂正パケットを変更する場合に、エラー訂正方式を変更することを示すパケットを送信することを特徴とする請求項1または2に記載の映像配信装置。   The said packet transmission part transmits the packet which shows changing an error correction system, when changing the error correction packet transmitted according to the designation | designated by the said reproducing | regenerating apparatus, It is characterized by the above-mentioned. Video distribution device. 前記パケット送信部は、前記再生装置による指定に応じて送信するエラー訂正パケットを変更する場合に、エラー訂正方式を変更することを示す情報を変更後に送信するパケットのヘッダ情報に挿入することを特徴とする請求項1または2に記載の映像配信装置。   The packet transmission unit, when changing an error correction packet to be transmitted according to designation by the playback device, inserts information indicating that the error correction method is changed into the header information of the packet to be transmitted after the change. The video distribution apparatus according to claim 1 or 2. 前記エラー訂正パケット生成部は、前記予め定められた所定数の前記映像データパケットのまとまり毎に、複数の異なる前記映像データパケットの組み合わせについて排他的論理和を計算することによって複数の異なるエラー訂正方式夫々に対応するエラー訂正パケットを生成することを特徴とする請求項1乃至4いずれか1項に記載の映像配信装置。   The error correction packet generator generates a plurality of different error correction methods by calculating an exclusive OR for a combination of a plurality of different video data packets for each predetermined group of the predetermined number of video data packets. The video distribution apparatus according to claim 1, wherein an error correction packet corresponding to each is generated. 前記エラー訂正パケット生成部は、前記再生装置に配信される映像がユーザインタフェースとなる画面の映像である場合、前記エラー訂正パケットを生成しないものであり、
前記パケット送信部は、前記ユーザインタフェースとなる画面の映像に基づいて映像データパケットが生成された場合、前記予め定められた所定数の前記映像データパケットのまとまりとは無関係に前記映像データパケットの送信を開始することを特徴とする請求項1乃至5いずれか1項に記載の映像配信装置。
The error correction packet generation unit does not generate the error correction packet when the video distributed to the playback device is a video of a screen serving as a user interface,
When the video data packet is generated based on the video of the screen serving as the user interface, the packet transmission unit transmits the video data packet regardless of the predetermined number of the predetermined groups of the video data packets. The video distribution device according to claim 1, wherein the video distribution device is started.
前記パケット送信部は、前記映像データパケットよりも前記エラー訂正パケットを優先して送信することを特徴とする請求項1乃至6いずれか1項に記載の映像配信装置。   The video distribution device according to claim 1, wherein the packet transmission unit transmits the error correction packet with priority over the video data packet. 前記パケット送信部は、予め定められた所定数の前記映像データパケットのまとまり毎に、前記指定されたエラー訂正方式に係るエラー訂正パケットをすべて送信した後に前記映像データパケットを送信することを特徴とする請求項7に記載の映像配信装置。   The packet transmission unit transmits the video data packet after transmitting all the error correction packets according to the specified error correction method for each predetermined number of the video data packets. The video distribution device according to claim 7. 複数の異なるエラー訂正方式夫々に対応するエラー訂正パケットを生成可能であって、選択された一のエラー訂正方式に係るエラー訂正パケットと共に映像情報に基づいて生成した映像データパケットを送信する映像配信装置から、ネットワークを介して映像情報を受信して再生する再生装置であって、
再生するべき映像情報に基づいて生成された複数の映像データパケット及びパケット伝送におけるエラーによって欠損した前記映像データパケットを復元するためのエラー訂正パケットを受信するパケット受信部と、
前記受信されたエラー訂正パケットに基づき、パケット伝送におけるエラーによって欠損した前記映像データパケットを前記選択されたエラー訂正方式によって復元するパケット復元部と、
前記受信された複数の映像データパケットに基づき、パケット伝送におけるエラーの発生割合であるエラー率を計算するエラー率計算部と、
前記計算されたエラー率が予め定められた所定の閾値を超えている場合、前記エラー訂正方式の変更を前記映像配信装置に通知する方式変更通知部とを含むことを特徴とする再生装置。
Video distribution apparatus capable of generating an error correction packet corresponding to each of a plurality of different error correction methods and transmitting a video data packet generated based on video information together with the error correction packet according to the selected one error correction method A playback device that receives and plays back video information via a network,
A packet receiver for receiving a plurality of video data packets generated based on video information to be reproduced and an error correction packet for restoring the video data packet lost due to an error in packet transmission;
Based on the received error correction packet, a packet restoration unit that restores the video data packet lost due to an error in packet transmission by the selected error correction method;
Based on the received video data packets, an error rate calculation unit that calculates an error rate that is an error occurrence rate in packet transmission;
A playback apparatus, comprising: a method change notification unit that notifies the video delivery device of a change in the error correction method when the calculated error rate exceeds a predetermined threshold value.
前記閾値は、前記複数の異なるエラー訂正方式において、所定数の前記映像データパケットに対して復元可能な欠損したパケット数の割合を示す復元率のうち最も低い値を上限として定められることを特徴とする請求項9に記載の再生装置。   The threshold value is determined by setting the lowest value among restoration rates indicating a ratio of the number of lost packets that can be restored to a predetermined number of the video data packets as an upper limit in the plurality of different error correction methods. The playback apparatus according to claim 9. 前記方式変更通知部は、前記計算されたエラー率が予め定められた所定の閾値を超えている場合、異なる複数のエラー訂正方式のうち、現在選択されているエラー訂正方式の次にネットワーク負荷が高いエラー訂正方式を選択して前記映像配信装置に通知する事を特徴とする請求項9または10に記載の再生装置。   When the calculated error rate exceeds a predetermined threshold value, the method change notification unit determines whether the network load is next to the currently selected error correction method among a plurality of different error correction methods. The playback apparatus according to claim 9 or 10, wherein a high error correction method is selected and notified to the video distribution apparatus. 前記映像配信装置は、予め定められた所定数の前記映像データパケットをデータが連続する順番に複数行に配置することによりマトリクス状に配置した上でその行方向及び列方向夫々について排他的論理和を計算することによって前記エラー訂正パケットを生成し、前記マトリクス状の配置態様を変更することによって複数の異なるエラー訂正方式を実現するものであり、
前記方式変更通知部は、現在選択されているエラー訂正方式の次にネットワーク負荷が高いエラー訂正方式が複数ある場合には、前記映像データパケットのマトリクス状の配置において、列数が多い方式優先的に選択して前記映像配信装置に通知する事を特徴とする請求項11に記載の再生装置。
The video distribution device arranges a predetermined number of the video data packets in a matrix by arranging them in a plurality of rows in the order in which the data continues, and then performs an exclusive OR operation in each of the row direction and the column direction. The error correction packet is generated by calculating and a plurality of different error correction methods are realized by changing the arrangement of the matrix.
When there are a plurality of error correction methods having the next highest network load after the currently selected error correction method, the method change notification unit prioritizes the method having the largest number of columns in the matrix arrangement of the video data packets. The reproduction apparatus according to claim 11, wherein the video distribution apparatus is selected and notified to the video distribution apparatus.
前記パケット復元部は、前記エラー訂正方式の変更が通知された後、エラー訂正方式を変更することを示すパケットが受信された場合に、前記エラー訂正方式を切り替えることを特徴とする請求項9乃至12いずれか1項に記載の再生装置。   The packet restoration unit switches the error correction method when a packet indicating that the error correction method is changed is received after the change of the error correction method is notified. 12. The playback apparatus according to any one of twelve. 前記パケット復元部は、前記エラー訂正方式の変更が通知された後、受信された前記映像データパケットまたは前記エラー訂正パケットのヘッダ情報にエラー訂正方式を変更することを示す情報が含まれていた場合に、前記エラー訂正方式を切り替えることを特徴とする請求項9乃至12いずれか1項に記載の再生装置。   When the packet restoration unit is notified of the change of the error correction method, and the header information of the received video data packet or the error correction packet includes information indicating that the error correction method is changed The playback apparatus according to claim 9, wherein the error correction method is switched. 請求項1乃至8いずれか1項に記載の映像配信装置と、請求項9乃至14いずれか1項に記載の再生装置とを含むことを特徴とする映像通信システム。   A video communication system, comprising: the video distribution device according to any one of claims 1 to 8; and the playback device according to any one of claims 9 to 14.
JP2011148323A 2011-07-04 2011-07-04 Image distribution device, reproduction device, and image communication system Withdrawn JP2013017031A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011148323A JP2013017031A (en) 2011-07-04 2011-07-04 Image distribution device, reproduction device, and image communication system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011148323A JP2013017031A (en) 2011-07-04 2011-07-04 Image distribution device, reproduction device, and image communication system

Publications (1)

Publication Number Publication Date
JP2013017031A true JP2013017031A (en) 2013-01-24

Family

ID=47689268

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011148323A Withdrawn JP2013017031A (en) 2011-07-04 2011-07-04 Image distribution device, reproduction device, and image communication system

Country Status (1)

Country Link
JP (1) JP2013017031A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018043031A (en) * 2017-11-20 2018-03-22 東芝ライフスタイル株式会社 Information reporting system for home appliances

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018043031A (en) * 2017-11-20 2018-03-22 東芝ライフスタイル株式会社 Information reporting system for home appliances

Similar Documents

Publication Publication Date Title
JP4405875B2 (en) Method and apparatus for generating data for error correction, generation program, and computer-readable recording medium storing the program
JP4670902B2 (en) Transmitting apparatus, transmitting method, and receiving apparatus
US9009340B2 (en) Dynamic QoS in a network distributing streamed content
US8527649B2 (en) Multi-stream bit rate adaptation
EP2675129B1 (en) Streaming media service processing method
JP2005159433A (en) Packet error correction apparatus and method
JP5322518B2 (en) Communication method
JP4211282B2 (en) Data storage method, data storage system, data recording control device, data recording command device, data receiving device, and information processing terminal
JP4172259B2 (en) Information processing apparatus and method, and computer program
JP2008311831A (en) Moving picture communication apparatus, moving picture communication system, and semiconductor integrated circuit for moving picture communication
JP5428734B2 (en) Network device, information processing apparatus, stream switching method, information processing method, program, and content distribution system
JP2009512265A (en) Video data transmission control system and method on network
JP2010161550A (en) Image content reception device and image content reception method
JP2018011365A (en) Method and apparatus for providing streaming service
KR101625663B1 (en) Method and Apparatus for Receiving Content
JP2009171294A (en) Video distribution system, video relay device, and video relay method
JP2002152301A (en) Data communication system, data receiving device, data communication method, and program storage medium
JP2008193500A (en) Data transmission device and data relay device
JP2013017031A (en) Image distribution device, reproduction device, and image communication system
JP3927486B2 (en) Streaming distribution apparatus, streaming distribution system, and streaming distribution method
JP2005348015A (en) Real-time streaming data receiver
JP5122327B2 (en) System for delivering media streams to mobile terminals
JP2009206998A (en) Communications device
JP7677424B2 (en) DATA RELAY DEVICE, DISTRIBUTION SYSTEM, DATA RELAY METHOD, AND PROGRAM
JP2004221756A (en) Information processing apparatus, information processing method, and computer program

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20141007