JP2005176068A - Video distribution system and method - Google Patents
Video distribution system and method Download PDFInfo
- Publication number
- JP2005176068A JP2005176068A JP2003415110A JP2003415110A JP2005176068A JP 2005176068 A JP2005176068 A JP 2005176068A JP 2003415110 A JP2003415110 A JP 2003415110A JP 2003415110 A JP2003415110 A JP 2003415110A JP 2005176068 A JP2005176068 A JP 2005176068A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- segments
- segment
- sub
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【課題】 複数の装置により分割した動画像データを配信するとき、高精細な画像であっても、画質低下を起こさずに動画像データの配信が行える動画配信システム提供する。
【解決手段】 本発明の動画像配信システムは、圧縮された動画像データを時間的及び空間的に分割して、受信装置に配信する動画配信システムであり、連続した複数のフレームの組として、時系列に、ソース動画像データを複数のセグメントに分割する画像データ分節手段と、前記セグメントを分割順に、順次、ネットワークに送信する出力手段と、ネットワークを介して入力されるセグメントを復号し、復号セグメントとして空間的に分割し、分割された復号サブセグメントを圧縮し、サブセグメントとしてネットワークへ出力する送信手段と、ネットワークを介して、複数の送信手段から入力される前記サブセグメントを、復号してセグメントとし、動画像データを合成する受信手段とを有するを有する。
【選択図】 図1PROBLEM TO BE SOLVED: To provide a moving image distribution system capable of distributing moving image data without causing a deterioration in image quality even when the moving image data divided by a plurality of devices is distributed even if it is a high definition image.
A moving image distribution system according to the present invention is a moving image distribution system that divides compressed moving image data temporally and spatially and distributes the data to a receiving device. As a set of a plurality of continuous frames, Image data segmenting means for dividing the source moving image data into a plurality of segments in time series, output means for sequentially transmitting the segments to the network in the order of division, and decoding the segments input via the network A transmission unit that spatially divides into segments, compresses the divided decoded sub-segments, and outputs the sub-segments to the network; and decodes the sub-segments input from a plurality of transmission units via the network And receiving means for synthesizing moving image data.
[Selection] Figure 1
Description
本発明は、ディジタル動画像の配信を行う動画像配信システム及びその方法に関する。 The present invention relates to a moving image distribution system and method for distributing digital moving images.
近年、パーソナルコンピュータの処理速度と、インターネットを含むインフラの整備とにより、動画像データをネットワークを介して各家庭に配信し、ユーザがパーソナルコンピュータにより視聴する、すなわちコンテンツとしての動画像データの配信が多く行われるようになってきた。
しかしながら、ネットワークを通じて動画像データを伝送する場合、ネットワークの通信状態の突発的な悪化により、送信されている動画像データの一部を喪失してしまいこの部分を受信できないことが起こる。
In recent years, due to the processing speed of personal computers and the development of infrastructure including the Internet, moving image data is distributed to each home via a network, and is viewed by a personal computer, that is, moving image data as content is distributed. Much has been done.
However, when moving image data is transmitted through a network, a part of the moving image data being transmitted may be lost due to sudden deterioration of the communication state of the network, and this portion may not be received.
このような場合においても、元の画像と遜色ない再生画像を得るための方法として,元の画像を空間方向に複数のデータブロックに分割してから伝送し、受信装置において受信後に、分割されたデータブロックを合成して、元の画像データを再生するものがある(例えば、特許文献1参照)。
また、同様の目的において、元の画像データをフレーム単位で間引くことにより、複数の独立した圧縮データストリームを生成・送信する方法も考えられる。(例えば、特許文献1参照2)
For the same purpose, a method of generating and transmitting a plurality of independent compressed data streams by thinning out original image data in units of frames can be considered. (For example, see
上述した特許文献1に記載されるデータ送信装置は、動画像データを空間的に複数のブロックに分割し、ブロック単位で送信するため、一部のデータが喪失されたとしても、ある程度の画質で再生することが可能である。
また、特許文献2に記載される動画像送信装置も、動画像データをフレーム単位で間引くことにより、時間軸方向に分割し、各々を独立した圧縮データストリームとして、ストリーム単位で送信するため、一部のデータが喪失されたとしても、ある程度の画質で再生することが可能である。
Since the data transmission device described in
In addition, the moving image transmission apparatus described in
しかしながら、特許文献1のデータ送信装置を複数用い、トランスコードを分散して行おうとしたとき、空間分割のみであると、処理する装置のうちの1台が何らかの原因により故障した場合、以後、画質が低下したままとなる欠点を有している。
一方、特許文献2に記載されるデータ送信装置を複数用い、トランスコードを分散して行おうとしたとき、時間分割のみであると、データの喪失があると時間のとぎれが発生する欠点を有している。
また、特許文献1及び2に記載されるデータ送信装置あっては、送信しようとする動画像データがHD(ハイビジョン)映像のように、非常にデータサイズが大きい場合、空間分割またはフレーム間引きによる時間方向の分割を用いると、分割数を上げる必要があるが、これは再生した再生画像の画質低下をもたらすこととなる。
However, when a plurality of data transmission devices of
On the other hand, when a plurality of data transmission devices described in
Further, in the data transmission devices described in
すなわち、上述したように、空間分割数を上げるほど映像圧縮効率が低下するため、同様の転送速度を満足させようとする場合、圧縮率を上げることとなり画質が低下し、また、フレーム間引きの間隔を広げた場合、一般的な動画圧縮方法で用いられるフレーム間予測が十分に行えず、再生画像の画質が低下する。
さらに、特許文献1及び2に記載されるデータ送信装置あっては、分割された動画像データを送信するため、複数の高価な配信サーバを設ける必要があり、動画像データ配信のためのネットワーク構築に多くの資金が必要となる。
That is, as described above, the video compression efficiency decreases as the number of space divisions increases. Therefore, when trying to satisfy the same transfer rate, the compression rate is increased, the image quality is reduced, and the frame thinning interval is increased. Is expanded, inter-frame prediction used in a general moving image compression method cannot be sufficiently performed, and the quality of a reproduced image is deteriorated.
Furthermore, in the data transmission devices described in
本発明は、このような事情に鑑みてなされたもので、複数の装置により分割した動画像データを配信するとき、高精細な画像であっても、高価な配信サーバを設けることなく、画質低下を起こさずに動画像データの配信が行える動画配信システム及びその方法を提供することを目的とする。 The present invention has been made in view of such circumstances, and when distributing moving image data divided by a plurality of devices, even if the image is high-definition, the image quality is reduced without providing an expensive distribution server. It is an object of the present invention to provide a moving image distribution system and a method thereof that can distribute moving image data without causing an error.
本発明の動画像配信システムは、圧縮された動画像データを時間的及び空間的に分割して、受信装置に配信する動画配信システムであり、連続した複数のフレームの組として、時系列に、ソース動画像データを複数のセグメントに分割する画像データ分節手段と、前記セグメントを分割順に、順次、ネットワークに送信する出力手段と、ネットワークを介して入力されるセグメントを復号し、復号セグメントとして空間的に分割し、分割された復号サブセグメントを圧縮し、サブセグメントとしてネットワークへ出力する送信手段と、ネットワークを介して、該複数の送信手段から入力される前記サブセグメントを、復号してセグメントとし、動画像データを合成する受信手段とを有することを特徴とする。 The moving image distribution system of the present invention is a moving image distribution system that divides compressed moving image data temporally and spatially and distributes it to a receiving device. Image data segmenting means for dividing the source moving image data into a plurality of segments, output means for sequentially transmitting the segments to the network in the order of division, and segments input via the network are decoded and spatially obtained as decoded segments A transmission unit that compresses the divided decoding sub-segment and outputs the sub-segment to the network; and the sub-segment input from the plurality of transmission units via the network is decoded into a segment; Receiving means for synthesizing moving image data.
本発明の動画像配信システムは、前記画像データ分節手段から出力される各セグメント毎に、複数の送信手段によって圧縮サブセグメントへの変換が行われることを特徴とする。 The moving image distribution system of the present invention is characterized in that each segment output from the image data segmenting means is converted into a compressed sub-segment by a plurality of transmitting means.
本発明の動画像配信システムは、前記画像データ分節手段が予め登録されている送信手段情報により、使用する送信手段と、セグメント及びサブセグメントの分割数とを演算し、使用する送信手段に分割したセグメントを送信するとともに、前記受信手段に対して、使用する送信手段及びセグメント及びサブセグメントの分割数を含む情報を送信することを特徴とする。 In the moving image distribution system of the present invention, the image data segmentation means calculates the transmission means to be used and the number of segment and sub-segment divisions based on the transmission means information registered in advance, and divides into the transmission means to be used. A segment is transmitted, and information including the transmission means to be used and the number of segments and sub-segments is transmitted to the receiving means.
本発明の動画像配信システムは、同一のセグメントを割り当てられた前記送信手段各々が、受信手段により指定された位置のサブセグメントを圧縮して、この圧縮サブセグメントを出力することを特徴とする。 The moving image distribution system of the present invention is characterized in that each of the transmission means assigned with the same segment compresses the sub-segment at the position designated by the reception means and outputs the compressed sub-segment.
本発明の動画像配信システムは、前記受信手段が、入力されるサブセグメントを復号して復号サブセグメントを出力する復号手段と、該復号サブセグメントを空間的に合成して復号セグメントを生成する空間的合成手段と、前記復号セグメントを分割順に時系列に接続して復号動画像データとして再生する動画像再生手段とを有することを特徴とする。 In the moving image distribution system of the present invention, the receiving unit decodes an input sub-segment and outputs a decoded sub-segment, and a space in which the decoded sub-segment is spatially synthesized to generate a decoded segment. And synthesizing means, and moving picture reproduction means for reproducing the decoded segments as decoded moving picture data by connecting the decoded segments in time series.
本発明の動画像配信方法は、圧縮された動画像データを時間的及び空間的に分割して、受信装置に配信する動画配信方法であり、連続した複数のフレームの組として、時系列に、ソース動画像データを複数のセグメントに分割する画像データ分節過程と、前記セグメントを分割順に、順次、ネットワークに送信する送信過程と、ネットワークを介して入力されるセグメントを復号し、復号セグメントとして空間的に分割し、分割された復号サブセグメントを圧縮し、サブセグメントとしてネットワークへ出力する空間分割過程と、ネットワークを介して、入力される前記複数のサブセグメントを、復号してセグメントとし、動画像データを合成する受信過程とを有することを特徴とする。 The moving image distribution method of the present invention is a moving image distribution method in which compressed moving image data is divided temporally and spatially and distributed to a receiving device. As a set of a plurality of continuous frames, in time series, An image data segmentation process that divides source video data into a plurality of segments, a transmission process that sequentially transmits the segments to the network in the order of division, and a segment that is input via the network is decoded and spatially obtained as a decoded segment. And dividing the decoded sub-segment, and outputting the sub-segment to the network as a sub-segment, and decoding the plurality of sub-segments input via the network into segments, and moving image data And a receiving process for synthesizing.
本発明の動画像配信方法は、前記空間分割過程において、前記セグメント毎に、複数の送信手段によって圧縮サブセグメントへの変換が行われることを特徴とする。 The moving image distribution method of the present invention is characterized in that, in the space division process, conversion into compressed sub-segments is performed for each segment by a plurality of transmission means.
本発明の動画像配信方法は、前記画像データ分節過程において、予め登録されている送信手段情報により、使用する送信手段と、セグメント及びサブセグメントの分割数とを演算し、使用する送信手段に分割したセグメントを送信するとともに、前記受信過程において、使用する送信手段及びセグメント及びサブセグメントの分割数を含む情報を送信することを特徴とする。 In the moving image distribution method of the present invention, in the image data segmentation process, the transmission means to be used and the number of segments and sub-segments are calculated based on the transmission means information registered in advance, and divided into the transmission means to be used. And transmitting information including the transmission means to be used and the number of segment and sub-segment divisions in the reception process.
本発明の動画像配信方法は、同一のセグメントを割り当てられた前記送信手段各々が、受信過程において指定された位置のサブセグメントを圧縮して、この圧縮サブセグメントを出力することを特徴とする。 The moving image distribution method of the present invention is characterized in that each of the transmission means assigned with the same segment compresses a sub-segment at a specified position in the reception process and outputs the compressed sub-segment.
本発明の動画像配信方法は、前記受信過程が、入力されるサブセグメントを復号して復号サブセグメントを出力する復号過程と、該復号サブセグメントを空間的に合成して復号セグメントを生成する空間的合成過程と、前記復号セグメントを分割順に時系列に接続して復号動画像データとして再生する動画像再生過程とを有することを特徴とする。 In the moving image distribution method of the present invention, the receiving process includes a decoding process of decoding an input subsegment and outputting a decoded subsegment, and a space for spatially synthesizing the decoded subsegment to generate a decoded segment. And a moving picture reproduction process of reproducing the decoded segments as decoded moving picture data by connecting the decoded segments in time series.
本発明の動画像配信システムによれば、圧縮したままでは空間分割が行えないため、送信手段により一旦復号した後に空間的に分割してサブセグメントとし、この非符号化状態のサブセグメントを再度圧縮(符号化)してサブセグメントを生成して、このサブセグメントを受信手段に送信している。
この結果、本発明の動画像配信システムは、時間軸方向による分節と、空間方向の分割を併用することができ、動画像データを、P2Pネットワークやワイヤレスネットワークなどの不安定なネットワーク環境でも、喪失したサブセグメントに対して、残ったサブセグメントを使用することで、ある程度の品質で復元することが可能なため、途切れることの無い動画像データの配信が行える。
According to the moving image distribution system of the present invention, since space division cannot be performed as it is compressed, it is once decoded by the transmission means and then spatially divided into sub-segments, and the non-encoded sub-segments are compressed again. A sub-segment is generated by (encoding), and this sub-segment is transmitted to the receiving means.
As a result, the moving image distribution system of the present invention can use both the segmentation in the time axis direction and the division in the spatial direction, and the moving image data is lost even in an unstable network environment such as a P2P network or a wireless network. By using the remaining sub-segments for the sub-segments, it is possible to restore with a certain level of quality, so that moving image data can be distributed without interruption.
また、本発明の動画像配信システムによれば、動画像データを時間軸方向において分節し、各セグメントの送信を複数の送信装置から行うことで、いずれかの送信装置の通信が一部途絶した場合でも素早く他の送信装置に切り替えることにより、セグメント単位において再生品質を回復でき、また、処理コストの高い高精細画像でも、既存の圧縮(符号化)された動画像データを、ユーザの要求する別の圧縮(符号化)フォーマットにリアルタイムでトランスコードしながら配信することができる。 Further, according to the moving image distribution system of the present invention, the moving image data is segmented in the time axis direction, and transmission of each segment is performed from a plurality of transmitting devices, so that communication of any transmitting device is partially interrupted. Even in this case, by quickly switching to another transmission device, the reproduction quality can be recovered in units of segments, and the user requests existing compressed (encoded) moving image data even for high-definition images with high processing costs. It can be delivered in real time while transcoding to another compression (encoding) format.
さらに、本発明の動画像配信システムによれば、高価なサーバを用いることなく、社内もしくは個人のPC(パーソナルコンピュータ)群を利用して、オンデマンドの動画データの配信を行う場合、時間軸方向(時系列)での分節をソースディストリビュータで行い、空間方向の分割を送信装置(上記社内もしくは個人のPC群)で行うことで、送信装置毎の負荷を低減することができ、効率のよい装置間のデータ転送を実現することとなり、送信装置が上り回線速度の低い通信環境(ADSLなど)にある場合でも、システム全体として高ビットレートな動画像データの配信を行うことが可能になる Furthermore, according to the moving image distribution system of the present invention, in the case of distributing on-demand moving image data using an in-house or individual PC (personal computer) group without using an expensive server, the time axis direction By performing segmentation in (time series) at the source distributor and dividing in the spatial direction by the transmission apparatus (in-house or personal PC group), the load on each transmission apparatus can be reduced, and an efficient apparatus Data transmission between the two systems is realized, and even when the transmission apparatus is in a communication environment with low uplink speed (such as ADSL), it is possible to distribute moving image data at a high bit rate as a whole system.
以下、本発明の一実施形態による動画像配信システムを図面を参照して説明する。図1は同実施形態の一構成例を示すブロック図である。
この図において、ソースディストリビュータ1は、ソースである圧縮されたディジタル動画像データ(以下、動画像データ)を、時系列に分節することで複数のセグメントに分割し、ネットワークIを介して、複数の送信装置2に送信する。ここでの分節は、符号化単位を元に、すなわちMPEGであればGOP単位を元に、所定の数のGOPとして行われる。
Hereinafter, a moving image distribution system according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a configuration example of the embodiment.
In this figure, a
ここで、ネットワークIは、公衆情報網,専用情報網及びインターネットなどから構成される情報通信網である。
送信装置2は、入力されるセグメントを復号し空間的に分割して、複数のサブセグメントを生成/符号化(圧縮)し、すなわち、サブセグメント単位でトランスコード処理を行い、他のフォーマットにより符号化された圧縮サブセグメントとしてネットワークIを介して送信装置3へ送信する。
受信装置3は、入力される圧縮サブセグメントを復号して、復号されたサブセグメントからセグメントを合成し、このセグメントを分節された順につなぎ合わせて、再生動画像データとして出力する。
Here, the network I is an information communication network including a public information network, a dedicated information network, and the Internet.
The
The receiving device 3 decodes the input compressed sub-segment, synthesizes the segments from the decoded sub-segments, joins the segments in the segmented order, and outputs them as reproduced moving image data.
本発明においては、上記動画像データにおける時系列な画像データ(フレームデータ)を、連続する複数のフレームを単位(GOP単位)として時系列に分割することにより、動画像をセグメントとして区分することを「分節」と表記する。
また、画像データをフレーム単位で間引き、複数のストリームに分割することを「フレーム間引きによる分割」と表記する。
例えば、動画像データがフレーム番号1,2,3,4,5,6,…の静止画像データから構成されているとすると、分節によって生成されたデータは「1,2,3」、「4,5,6」、…となり、一方、フレーム間引きによる分割により生成されたデータは「1,3,5」、「2,4,6」、「…」となる。
In the present invention, the time-series image data (frame data) in the moving image data is divided into time-series by using a plurality of continuous frames as a unit (GOP unit), thereby dividing the moving image into segments. Indicated as “segment”.
Further, thinning out image data in units of frames and dividing it into a plurality of streams is referred to as “division by frame thinning”.
For example, if the moving image data is composed of still image data of
次に、上記ソースディストリビュータ1の構成を、図を用いて説明する。図2は、図1のソースディストリビュータ1の一構成例を示すブロック図である。
入力部11は、受信装置1から要求された動画像データを、外部のデータベースから入力し、データ分節部12へ出力する。
データ分節部12は、上記動画像データを、分割制御部13からの分割制御信号により、図3に示すように、指定されるフレーム数からなるセグメントに分節し、これらセグメントを送信部14に出力する。
送信部14は、分割制御部13からの送信制御信号により、予め指定されているサーバ、もしくは家庭に設置されているパーソナルコンピュータ等により構成された送信装置2へ、各セグメントを送信する。ここで、送信部14は複数設けてもよい。
Next, the configuration of the
The
The
The
分割制御部13は、受信装置3からの動画像データを要求するコンテンツ要求信号が入力されると、予め登録されている送信装置2の装置情報により、使用する送信装置2と、セグメント及びサブセグメントの分割数とを演算し、データ分節部12にセグメントの分節する数を含む分割制御信号を出力する。
また、分割制御部13は、動画像データの送信に使用する送信装置と、時系列に分節されたセグメントが送信される送信装置2と、サブセグメントの分割数とを含む分割情報を、受信装置3に対して送信する。
When the content request signal for requesting moving image data from the receiving device 3 is input, the
Further, the
ここで、装置情報とは、送信装置2各々のデータ処理速度、データ転送速度(ネットワーク性能)、過去の使用履歴(過去に用いたときの安定性等)、使用可能状態か否かの利用状況を含んだ情報である。
分割制御部13は、使用可能な送信装置2から、受信装置3に送信する動画像データの容量に対応して、安定性、データ転送速度、データ処理速度の高い順に所定数選択し、この所定数により、セグメント及びサブセグメント各々の分割数を演算する。
また、分割制御部13はセグメントの上記分割数を、分割制御信号に含めデータ分節部12へ出力し、データ分節部12はこの分割数に対応して動画像データをセグメントに分節する。
Here, the device information refers to the data processing speed, data transfer speed (network performance), past usage history (stability when used in the past, etc.), and the usage status of whether or not the
The
Further, the
次に、送信装置2の構成を、図を用いて説明する。図4は、図1の送信装置2の一構成例を示すブロック図である。
デコーダ21は、入力されるセグメントを復号して、復号された復号セグメント及び添付された分割数を空間分割部22へ出力する。
空間分割部22は、入力される復号セグメントを、図3に示すように、添付されたサブセグメントの分割数に従い分割し、この分割された複数の復号サブセグメントをデータ選択部23に出力する。
Next, the configuration of the
The
As shown in FIG. 3, the
この分割は、空間的分割、すなわち領域的な分割であり、本発明の一例として、セグメントを構成する全フレーム各々が、画素列をブロック(領域)として、このブロックを横方向に所定の間隔をとりグループ化することで、各フレームを所定のグループからなる複数のサブセグメントを生成する。ここで、サブセグメントにおける各グループは、全てのフレームにおいて同一の位置のブロックから構成されている。
例えば、図5に示すように、各フレームにおいて横方向に1つおきにブロックを選択する(ブロック単位で相補的に間引く)ことで、フレーム毎に相補的なグループからなる2つのサブセグメントに分割する。
データ選択部23は、入力される複数の復号サブセグメントから、受信装置3からの指定信号の示す分割位置に対応した復号サブセグメントを選択し、選択された復号サブセグメントをエンコーダ24へ出力する。
This division is a spatial division, that is, a regional division. As an example of the present invention, each of all the frames constituting the segment has a pixel row as a block (region), and this block has a predetermined interval in the horizontal direction. By grouping each frame, a plurality of sub-segments each having a predetermined group are generated. Here, each group in the sub-segment is composed of blocks at the same position in all frames.
For example, as shown in FIG. 5, by selecting every other block in the horizontal direction in each frame (complementary thinning out in units of blocks), each frame is divided into two sub-segments consisting of complementary groups. To do.
The
エンコーダ24は、入力される復号サブセグメントを符号化し、ネットワークIを介して、再符号化された圧縮サブセグメントを受信装置3へ送信する。
このように、本実施形態の送信装置2は、デコーダ21により符号化されているフレームデータを、一旦復号して、復号された圧縮されていない復号セグメントとし、分割して復号サブセグメントとした後に、この復号サブセグメントを異なるフォーマットにより符号化することで、トランスコード処理を行っている。
The
As described above, the
次に、受信装置3の構成を、図を用いて説明する。図6は、図1の受信装置3の一構成例を示すブロック図である。
受信装置3はセグメント画像復元部31,動画像再生部32及び受信計画部33を有し、セグメント画像復号部31はデコーダ34及び合成部35から構成されている。
デコーダ34は、入力される圧縮サブセグメントを復号し、復号サブセグメントとして合成部35へ出力する。
合成部35は、受信計画部33に記憶されている送信した送信装置2と、復号セグメントにおける復号サブセグメントの位置との位置対応テーブルにより、図7に示すように、入力される復号サブセグメントを、対応する位置において組み合わせることで合成し、復号セグメントを生成する。
Next, the configuration of the receiving device 3 will be described with reference to the drawings. FIG. 6 is a block diagram illustrating a configuration example of the receiving device 3 in FIG.
The receiving device 3 includes a segment
The
As shown in FIG. 7, the combining
動画像再生部32は、受信計画部33に記憶されている送信した送信装置2と、セグメントの分節された順番との順番対応テーブルにより、図7に示すように、入力されるセグメントを、時系列順に並べて、動画像データを再生して出力する。
受信計画部33は、ユーザの入力する動画像データ(動画コンテンツ)の再生要求が入力されることにより、ソースディストビュータ1に対して、ユーザから要求された動画像データの送信要求を出力する。
As shown in FIG. 7, the moving
The
また、受信計画部33は、ソースディストリビュータ1から送信される、動画像データの配信に使用される送信装置2と、この送信装置2に送信されるセグメントの順番とのデー場に基づき、送信装置2とセグメントの順番との順番対応テーブルを生成する。
さらに、受信計画部33は、上記順番対応テーブルを参照して、同一のセグメントが送信される送信装置2を抽出し、これらの送信装置2によりグループを生成し、このグループ内において、送信装置2と、圧縮する復号サブセグメントの復号セグメントにおける位置との関係を示す位置対応テーブルを生成するとともに、各々の送信装置2に対して、圧縮する復号サブセグメントの復号セグメントにおける分割位置を示す指定信号を出力する。
Further, the
Further, the
次に、図1,図2,図4,図6,図8及び図9を参照し、一実施形態の動作例を説明する。図8及び図9は、図1の動画像配信システムの動作例を示すシーケンス図である。
受信計画部33は、ユーザから動画像データの再生要求が入力されることにより(ステップS1)、ソースディストリビュータ1に対して、要求される動画像データの配信、及び配信を行う送信装置2のリストを要求する送信要求を送信する(ステップS2)。
これにより、入力部11は、上記送信要求により要求された動画像データを、所定のデータベースから読み出し、装置情報に基づいて、この動画像データの送信に用いる送信装置2を選択する。
Next, an operation example of the embodiment will be described with reference to FIGS. 1, 2, 4, 6, 8, and 9. 8 and 9 are sequence diagrams showing an operation example of the moving image distribution system of FIG.
The
Thereby, the
また、分割制御部13は、選択された送信装置2の数に基づいて、動画像データを分割するセグメント数を設定する。
例えば、分割制御部13が利用可能な送信装置2から処理速度と転送速度とから、n台の送信装置2を選択し、かつ、各々の処理速度から各送信装置2において処理可能なデータ量から、動画像データをn/4個のセグメントに分節する必要があると判定すると、動画像データの分割するセグメントの数をn/4個とする。
これにより、分割制御部13は、n台に対してセグメント数がn/4であるため、1セグメントあたり4台の送信装置2を割り当てることを演算する(ステップS3)。
Further, the
For example,
Thereby, since the number of segments is n / 4 with respect to n units, the
そして、データ分節部12は、分割制御部13からの制御により、時系列に、図3に示すように、動画像データをn/4個のセグメントに分節する(ステップS4)。
データ分節部12が動画像データを時間軸上で分節して、複数の送信装置2に対して同一のセグメントを送信して配備し、各送信装置2でサブセグメントに分割して、送信装置2を切り替えて、順次サブセグメントを送信することで、動画像データの配信を行うため、送信装置2の故障やネットワーク脱退の影響を低減できることとなる。
Then, the
The
次に、送信部14各々は、分割制御部13から指定される送信装置2に対して、各セグメントをそれぞれ送信して配備する(ステップS5)。このとき、送信部14各々は、分割制御部13の制御により、同一のセグメントを4つの異なる送信装置2へ送信する。
また、分割制御部13は、セグメントを配備する送信装置2のリスト(送信装置リスト)と、時系列に分割される各々のセグメントの順番及び送信装置2の対応を示すデータ(計画書)とを、受信装置3に対して送信する(ステップS6)。このとき、ステップS5及びS6は、並列処理にて行われる。
Next, each
Further, the
そして、各送信装置2は所定のセグメントを受信し(ステップS7)、受信装置3は送信装置リスト及び計画書を受信し、順番対応テーブルを生成する(ステップS8)。
次に、受信計画部33は、上記送信装置リストにある送信装置2に対して、上記計画書の順番のデータに基づいて、順次、圧縮サブセグメントの送信を要求する(ステップS9)。
このとき、受信計画部33は、同一のセグメントを処理する送信装置2に対して、いずれの分割位置をサブセグメントとして出力するかを指定し、位置対応テーブルを生成する。
また、図6におけるデコーダ34を1つで生成する場合、ストリームデータ(サブセグメント)の受信を途切れなく円滑に行うため、前回要求した圧縮サブセグメントの受信が完了していなくとも、次の圧縮サブセグメントを要求するようなプリバッファリングの構成を、デコーダ34の前段に設けても良い。
さらに、セグメント画像復元部31を1つのみ設けて、このセグメント画像復元部31が、動画像データが分節された順に対応させて、順次、送信装置2から圧縮サブセグメントを受信するようにしてもよい。
Each transmitting
Next, the
At this time, the
In addition, when one
Furthermore, only one segment
そして、各送信装置2は受信装置3からの圧縮サブセグメントの要求を受信し(ステップS10)、デコーダ21は配備されたセグメントを復号して、復号セグメントとして、空間分割部22へ出力する(ステップS11)。
次に、空間分割部22は、添付されている分割数により、所定の間引き処理を行い、この分割数に対応した復号サブセグメントを生成する。
このとき、送信装置2は、ソースディストリビュータ1からセグメント全体の受信を完了していなくとも、受信装置3からのサブセグメント送信の要求が入力され次第、セグメントのうち復号可能な部分が入力されていれば、復号及び分割の処理を行う。
そして、データ選択部23は、受信装置3から指定された分割位置の復号サブセグメントを抽出し、この抽出された復号サブセグメントをエンコーダ24へ出力する(ステップS12)。
Each
Next, the
At this time, even if the
Then, the
これにより、エンコーダ24は、受信装置3から要求された形式(分割位置の指定信号に添付されている符号化フォーマット)に、入力される復号サブセグメントを符号化(圧縮)して、ユーザの希望する符号化形式の圧縮サブセグメントを作成し(ステップS13)、この圧縮サブセグメントを受信装置3に送信する(ステップS14)。
このとき、送信装置2は、復号セグメント全体が分割されていなくとも、受信装置3からのサブセグメント送信の要求が入力され次第、符号化された圧縮サブセグメントから順に受信装置3に対して送信する。
そして、デコーダ34は、入力される圧縮サブセグメントを復号し、復号サブセグメントとして出力する(ステップS15)。
As a result, the
At this time, even if the entire decoding segment is not divided, the
Then, the
次に、合成部35は、各デコーダ34から入力される復号サブセグメントを、受信計画部33に記憶されている位置対応テーブルを参照して、図7に示すように、対応する位置により復号サブセグメントを組み合わせて、復号セグメントを生成して出力する(ステップS16)。
このとき、空間方向に分割しているため、圧縮サブセグメントが送信中に喪失されたとしても、残りの圧縮サブセグメントの情報により、ある程度の品質でセグメントを再生することが可能である。
すなわち、合成部35、例えば、ある圧縮サブセグメントが喪失されたことを検出した場合、喪失した圧縮サブセグメントに隣接する両側の画素のデータ(画素の階調度など)の平均値を計算して、この平均値を喪失されたサブセグメントの画素のデータとする。
そして、動画像再生部32は、各セグメント画像復元部31から入力される復号セグメントを、受信計画部33に記憶されている順番対応テーブルを参照して、図7に示すように、時系列に分節された順番に、各復号セグメントを並べて復号された動画像データ(復元動画像)を再生して出力する(ステップS17)。
受信装置3は、上記復元動画像を図示しない表示装置に表示する(ステップS18)。
Next, the
At this time, since it is divided in the spatial direction, even if the compressed sub-segment is lost during transmission, it is possible to reproduce the segment with a certain quality by the information of the remaining compressed sub-segments.
That is, when detecting that a certain compression subsegment is lost, for example, the combining
Then, the moving
The receiving device 3 displays the restored moving image on a display device (not shown) (step S18).
なお、図1におけるソースディストリビュータ1,送信装置2及び受信装置3の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、各々の装置において対応するプログラムを実行することによりそれぞれの処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。 1 is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system. Each process may be performed by executing a corresponding program in each device. Here, the “computer system” includes an OS and hardware such as peripheral devices. The “computer system” includes a WWW system having a homepage providing environment (or display environment). The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Further, the “computer-readable recording medium” refers to a volatile memory (RAM) in a computer system that becomes a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. In addition, those holding programs for a certain period of time are also included.
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。 The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
1…ソースディストリビュータ
2…送信装置
3…受信装置
11…入力部
12…データ分節部
13…分割制御部
14…送信部
21,34…デコーダ
22…空間分割部
23…データ選択部
24…エンコーダ
31…セグメント画像復元部
32…動画像再生部
33…受信計画部
35…合成部
DESCRIPTION OF
Claims (10)
連続した複数のフレームの組として、時系列に、ソース動画像データを複数のセグメントに分割する画像データ分節手段と、
前記セグメントを分割順に、順次、ネットワークに送信する出力手段と、
ネットワークを介して入力されるセグメントを復号し、復号セグメントとして空間的に分割し、分割された復号サブセグメントを圧縮し、サブセグメントとしてネットワークへ出力する送信手段と、
ネットワークを介して、該複数の送信手段から入力される前記サブセグメントを、復号してセグメントとし、動画像データを合成する受信手段と
を有することを特徴とする動画像配信システム。 A moving image distribution system that divides compressed moving image data temporally and spatially and distributes it to a receiving device,
Image data segmenting means for dividing the source moving image data into a plurality of segments in a time series as a set of a plurality of continuous frames;
Output means for sequentially transmitting the segments to the network in the order of division;
Transmitting means for decoding a segment input via a network, spatially dividing the segment as a decoded segment, compressing the divided decoded sub-segment, and outputting the compressed sub-segment to the network;
A moving image distribution system comprising: a receiving unit that decodes the sub-segments input from the plurality of transmitting units via the network into segments and combines the moving image data.
入力されるサブセグメントを復号して復号サブセグメントを出力する復号手段と、
該復号サブセグメントを空間的に合成して復号セグメントを生成する空間的合成手段と、
前記復号セグメントを分割順に時系列に接続して復号動画像データとして再生する動画像再生手段と
を有することを特徴とする請求項1から請求項4のいずれかに記載の動画像配信システム。 The receiving means is
Decoding means for decoding the input sub-segment and outputting the decoded sub-segment;
Spatial synthesis means for spatially synthesizing the decoded sub-segments to generate decoded segments;
5. The moving image distribution system according to claim 1, further comprising: moving image reproducing means for reproducing the decoded segments as decoded moving image data in time series in the division order.
連続した複数のフレームの組として、時系列に、ソース動画像データを複数のセグメントに分割する画像データ分節過程と、
前記セグメントを分割順に、順次、ネットワークに送信する送信過程と、
ネットワークを介して入力されるセグメントを復号し、復号セグメントとして空間的に分割し、分割された復号サブセグメントを圧縮し、サブセグメントとしてネットワークへ出力する空間分割過程と、
ネットワークを介して、入力される前記複数のサブセグメントを、復号してセグメントとし、動画像データを合成する受信過程と
を有することを特徴とする動画像配信方法。 A moving image distribution method in which compressed moving image data is divided in time and space and distributed to a receiving device.
An image data segmentation process that divides source moving image data into a plurality of segments in a time series as a set of a plurality of continuous frames,
A transmission process of sequentially transmitting the segments to the network in the order of division;
A spatial division process of decoding a segment input via the network, spatially dividing the segment as a decoded segment, compressing the divided decoded sub-segment, and outputting to the network as a sub-segment;
A moving image distribution method comprising: a receiving step of decoding the plurality of sub-segments input via a network into segments and combining the moving image data.
入力されるサブセグメントを復号して復号サブセグメントを出力する復号過程と、
該復号サブセグメントを空間的に合成して復号セグメントを生成する空間的合成過程と、
前記復号セグメントを分割順に時系列に接続して復号動画像データとして再生する動画像再生過程と
を有することを特徴とする請求項6から請求項9のいずれかに記載の動画像配信方法。
The receiving process is
A decoding process of decoding an input subsegment and outputting a decoded subsegment;
A spatial synthesis process for spatially synthesizing the decoded sub-segments to generate a decoded segment;
10. The moving image distribution method according to claim 6, further comprising: a moving image reproduction process of reproducing the decoded segments as decoded moving image data by connecting the decoded segments in time series. 10.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003415110A JP2005176068A (en) | 2003-12-12 | 2003-12-12 | Video distribution system and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003415110A JP2005176068A (en) | 2003-12-12 | 2003-12-12 | Video distribution system and method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005176068A true JP2005176068A (en) | 2005-06-30 |
Family
ID=34734714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003415110A Withdrawn JP2005176068A (en) | 2003-12-12 | 2003-12-12 | Video distribution system and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2005176068A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008136044A (en) * | 2006-11-29 | 2008-06-12 | Fujifilm Corp | Video segmentation server and control method thereof |
| WO2015107925A1 (en) * | 2014-01-16 | 2015-07-23 | ソニー株式会社 | Data processing device and data processing method |
| JPWO2018088026A1 (en) * | 2016-11-11 | 2019-09-26 | ソニー株式会社 | Transmission device, transmission method, and content distribution system |
| KR102737788B1 (en) * | 2024-08-19 | 2024-12-03 | 주식회사 태영티에스 | Method, device and system for transmitting and receiving video data from crime prevention cctv on the road |
-
2003
- 2003-12-12 JP JP2003415110A patent/JP2005176068A/en not_active Withdrawn
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008136044A (en) * | 2006-11-29 | 2008-06-12 | Fujifilm Corp | Video segmentation server and control method thereof |
| WO2015107925A1 (en) * | 2014-01-16 | 2015-07-23 | ソニー株式会社 | Data processing device and data processing method |
| JPWO2015107925A1 (en) * | 2014-01-16 | 2017-03-23 | ソニー株式会社 | Data processing apparatus and data processing method |
| JP2019134485A (en) * | 2014-01-16 | 2019-08-08 | ソニー株式会社 | Data processing devices, data processing methods, transmission and reception systems, and transmission and reception methods |
| US10476711B2 (en) | 2014-01-16 | 2019-11-12 | Sony Corporation | Data processing devices and data processing methods |
| JPWO2018088026A1 (en) * | 2016-11-11 | 2019-09-26 | ソニー株式会社 | Transmission device, transmission method, and content distribution system |
| US11343550B2 (en) | 2016-11-11 | 2022-05-24 | Sony Corporation | Transmission device, transmission method, and content distribution system |
| KR102737788B1 (en) * | 2024-08-19 | 2024-12-03 | 주식회사 태영티에스 | Method, device and system for transmitting and receiving video data from crime prevention cctv on the road |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102027410B1 (en) | Transmission of reconstruction data in a tiered signal quality hierarchy | |
| JP6305279B2 (en) | Video compression device and video playback device | |
| US9020042B2 (en) | Audio/video speedup system and method in a server-client streaming architecture | |
| JPH09139940A (en) | Decoder for end-to-end stretchable video delivery system | |
| US11997302B2 (en) | Encoding device, decoding device, streaming system, and streaming method | |
| WO2001093591A1 (en) | Image processing apparatus and method, communication apparatus, communication system and method, and recorded medium | |
| KR20070078783A (en) | Encoding device, decoding device, encoding method, decoding method, program of encoding method, recording medium program, recording medium recording program of encoding method and recording medium recording program of decoding method | |
| US12267537B2 (en) | Reproducing video of dynamic bitrate with a plurality of channels | |
| KR101978922B1 (en) | FoV on the background frame streaming method of high quality 360 degree video data by separately transmitting the region of interest and the background frame | |
| US5999657A (en) | Recording and reproducing apparatus for digital image information | |
| US20190373213A1 (en) | Information processing device and method | |
| JP2014176017A (en) | Image reproduction apparatus, image distribution apparatus, image reproduction method, and image distribution method | |
| JP3462267B2 (en) | Information communication terminal equipment | |
| US20020080399A1 (en) | Data processing apparatus, data processing method, data processing program, and computer-readable memory storing codes of data processing program | |
| JP2005176068A (en) | Video distribution system and method | |
| US10298651B2 (en) | Encoding device, decoding device, computer program product, and streaming system | |
| CN1922880A (en) | Information distribution system and method, and its information distribution device, receiving terminal, and information relay device | |
| KR101603976B1 (en) | Method and apparatus for concatenating video files | |
| KR101246596B1 (en) | System, server and method for service image transmission | |
| JP2022031267A (en) | Streaming system and encoding program | |
| WO2020175176A1 (en) | Information processing device and method, and reproduction device and method | |
| KR101652095B1 (en) | Realtime remote monitoring and playing system using digital video recoder, and method thereof | |
| JPH10117346A (en) | Information supply device, information reproduction device, and information supply / reproduction system | |
| CN1339921A (en) | Multiway transmission device and method, image output device and method and its recording medium | |
| KR102430216B1 (en) | Video Processing Apparatus, Video Receiving Terminal And Operating Method Of Thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20070306 |