JP2012244566A - Receiving device, system, program and method for controlling video frame rate based on transmission bit rate - Google Patents
Receiving device, system, program and method for controlling video frame rate based on transmission bit rate Download PDFInfo
- Publication number
- JP2012244566A JP2012244566A JP2011115558A JP2011115558A JP2012244566A JP 2012244566 A JP2012244566 A JP 2012244566A JP 2011115558 A JP2011115558 A JP 2011115558A JP 2011115558 A JP2011115558 A JP 2011115558A JP 2012244566 A JP2012244566 A JP 2012244566A
- Authority
- JP
- Japan
- Prior art keywords
- rate
- transmission
- video
- transmission quality
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】映像コンテンツのストリーミングの伝送品質に応じて、できる限り主観的に高画質なストリーミング伝送を実現する受信装置等を提供する。
【解決手段】受信装置は、映像コンテンツのストリーミングにおける伝送品質を計測する伝送品質計測手段と、影響確率テーブルを用いて、現伝送品質と前伝送品質との差に応じた影響確率を導出する影響確率導出手段と、現ビットレートに対して影響確率を乗算した推定伝送ビットレートを算出する推定伝送ビットレート算出手段と、レート対応テーブルを用いて、推定伝送ビットレートに対応する映像フレームレートを導出するフレームレート導出手段と、送信装置へ、映像フレームレートの関連情報をフィードバックする映像フィードバック手段とを有する。送信装置は、受信装置へ送信すべき映像コンテンツのフレームレートを、受信装置から受信した映像フレームレートに変更する。
【選択図】図2The present invention provides a receiving apparatus that realizes streaming transmission with as high a subjective quality as possible according to the transmission quality of video content streaming.
An effect of deriving an influence probability according to a difference between a current transmission quality and a previous transmission quality using a transmission quality measuring means for measuring transmission quality in streaming video content and an influence probability table Using the probability deriving means, the estimated transmission bit rate calculating means for calculating the estimated transmission bit rate obtained by multiplying the current bit rate by the influence probability, and the rate correspondence table, the video frame rate corresponding to the estimated transmission bit rate is derived. And a video feedback means for feeding back related information of the video frame rate to the transmission apparatus. The transmitting device changes the frame rate of the video content to be transmitted to the receiving device to the video frame rate received from the receiving device.
[Selection] Figure 2
Description
本発明は、映像コンテンツの伝送における映像フレームレートを制御する技術に関する。 The present invention relates to a technique for controlling a video frame rate in transmission of video content.
従来、映像音声データのリアルタイム伝送システムについて、伝送路帯域を逐次計測し、その伝送路帯域に応じて映像音声データのビットレートを変更する技術がある(例えば特許文献1参照)。この技術によれば、具体的には、受信装置の受信バッファに蓄積された映像フレームのデータ量が、所定閾値に達するまでの時間間隔を、観測する。この時間間隔に基づいて、帯域(伝送レート)が推定される。データ量が所定閾値に達するまでの時間間隔が短い場合、伝送レートが高いと判定され、一方で、時間間隔が長い場合、伝送レートが低いと判定される。 2. Description of the Related Art Conventionally, for video / audio data real-time transmission systems, there is a technique of sequentially measuring a transmission path band and changing the bit rate of the video / audio data in accordance with the transmission path band (see, for example, Patent Document 1). Specifically, according to this technique, the time interval until the data amount of the video frame accumulated in the reception buffer of the reception device reaches a predetermined threshold is observed. Based on this time interval, the bandwidth (transmission rate) is estimated. When the time interval until the amount of data reaches the predetermined threshold is short, it is determined that the transmission rate is high. On the other hand, when the time interval is long, it is determined that the transmission rate is low.
また、映像データのストリームを受信することによって、非信頼性伝送路における映像品質を向上させる技術もある(例えば特許文献2参照)。この技術によれば、パケット単位で優先度が設定されている。具体的には、パケットロスが発生した場合、より優先度が高いパケット(映像復号の観点から重要なパケット)を再送信することによって、映像品質の劣化を回避する。映像フレームのIフレームを構成するパケットに、最高優先度を設定し、Iフレームに続く最初のPフレームを構成するパケットに、次に高い優先度を設定する。 There is also a technique for improving video quality in an unreliable transmission path by receiving a stream of video data (see, for example, Patent Document 2). According to this technique, priority is set in units of packets. Specifically, when packet loss occurs, the video quality deterioration is avoided by retransmitting a packet with higher priority (a packet important from the viewpoint of video decoding). The highest priority is set for the packet constituting the I frame of the video frame, and the second highest priority is set for the packet constituting the first P frame following the I frame.
前述した特許文献1に記載された技術によれば、有線伝送路(イーサネット(登録商標))における伝送品質の劣化に対しては、映像・音声の符号化ビットレートのみを変更することによって対応していた。しかしながら、パケットロスが多発する無線伝送路における伝送品質の劣化に対しては、符号化ビットレートのみの変更では対応できない。特に、符号化ビットレートの変更による主観的な映像品質(画質)の劣化が著しい。主観品質を要する映像コンテンツについては、符号化ビットレートだけでなく、フレームレートを制御することが好ましい。
According to the technique described in
特許文献2に記載された技術によれば、パケットロスが発生した場合、優先度の高いパケットを再送信することによって映像品質の劣化を回避する。しかしながら、ストリーミング伝送の場合、再送信されたパケットが受信装置に到着する頃には、再生時刻を過ぎてしまっている場合が多く、期待する効果が達成できないものと考えられる。
According to the technique described in
そこで、本発明は、映像コンテンツのストリーミングの伝送品質に応じて、できる限り主観的に高画質なストリーミング伝送を実現する受信装置、システム、プログラム及び方法を提供することを目的とする。 Accordingly, an object of the present invention is to provide a receiving apparatus, system, program, and method that realize streaming transmission with the highest subjective image quality according to the transmission quality of video content streaming.
本発明によれば、送信装置から、映像コンテンツを、ネットワークを介してストリーミングで受信する受信装置において、
伝送ビットレートに対する映像フレームレートを対応付けたレート対応テーブルと、
現伝送品質と前伝送品質との差に応じた、現伝送ビットレートに対する影響確率を対応付けた影響確率テーブルと、
送信装置から映像コンテンツをストリーミングで受信する際に、伝送品質を計測する伝送品質計測手段と、
影響確率テーブルを用いて、現伝送品質と前伝送品質との差に応じた影響確率を導出する影響確率導出手段と、
現ビットレートに対して影響確率を乗算した推定伝送ビットレートを算出する推定伝送ビットレート算出手段と、
レート対応テーブルを用いて、推定伝送ビットレートに対応する映像フレームレートを導出するフレームレート導出手段と、
送信装置へ、映像フレームレートの関連情報をフィードバックする映像フィードバック手段と
を有し、
送信装置が、受信装置へ送信すべき映像コンテンツのフレームレートを、受信装置から受信した映像フレームレートに変更するように機能させることを特徴とする。
According to the present invention, in a receiving device that receives streaming video content from a transmitting device via a network,
A rate correspondence table in which video frame rates are associated with transmission bit rates;
An impact probability table that correlates the impact probability to the current transmission bit rate according to the difference between the current transmission quality and the previous transmission quality;
Transmission quality measuring means for measuring transmission quality when receiving video content from a transmission device by streaming;
An impact probability derivation means for deriving an impact probability according to the difference between the current transmission quality and the previous transmission quality using the impact probability table;
An estimated transmission bit rate calculating means for calculating an estimated transmission bit rate obtained by multiplying the current bit rate by the influence probability;
Frame rate deriving means for deriving a video frame rate corresponding to the estimated transmission bit rate using the rate correspondence table;
Video feedback means for feeding back related information of the video frame rate to the transmission device;
The transmitting apparatus functions to change the frame rate of video content to be transmitted to the receiving apparatus to the video frame rate received from the receiving apparatus.
本発明の受信装置における他の実施形態によれば、
映像コンテンツを構成するI,P,Bフレーム種別に応じて、伝送品質に対するフレーム種別重み係数を対応付けたフレーム種別重み係数テーブルと、
フレーム種別重み係数テーブルを参照し、映像コンテンツの受信によって計測した伝送品質に、当該映像コンテンツを構成するフレーム種別に応じたフレーム種別重み係数を重み付けるフレーム種別重み付け手段と
を更に有することも好ましい。
According to another embodiment of the receiving apparatus of the present invention,
A frame type weighting factor table in which frame type weighting factors are associated with transmission quality according to I, P, and B frame types constituting video content;
It is preferable to further include a frame type weighting unit that refers to the frame type weighting coefficient table and weights the transmission quality measured by receiving the video content with a frame type weighting coefficient corresponding to the frame type constituting the video content.
本発明の受信装置における他の実施形態によれば、
受信装置は、映像コンテンツのフレーム内位置に応じて、伝送品質に対するフレーム内位置重み係数を対応付けたフレーム内位置重み係数テーブルと、
フレーム内位置重み係数テーブルを参照し、映像コンテンツの受信によって計測した伝送品質に、当該映像コンテンツのフレーム内位置に応じたフレーム内位置重み係数を重み付けるフレーム内位置重み付け手段と
を更に有することも好ましい。
According to another embodiment of the receiving apparatus of the present invention,
The receiving device includes an intra-frame position weight coefficient table in which an intra-frame position weight coefficient corresponding to transmission quality is associated according to an intra-frame position of video content;
It further includes intra-frame position weighting means for referencing the intra-frame position weighting coefficient table and weighting the transmission quality measured by receiving the video content with the intra-frame position weighting coefficient according to the intra-frame position of the video content. preferable.
本発明の受信装置における他の実施形態によれば、
伝送品質計測手段は、伝送品質を、GOP(Group Of Picture)単位で計測し、
現伝送品質と前伝送品質との差は、隣接するGOP毎に算出される
ことも好ましい。
According to another embodiment of the receiving apparatus of the present invention,
Transmission quality measuring means measures transmission quality in GOP (Group Of Picture) units,
It is also preferable that the difference between the current transmission quality and the previous transmission quality is calculated for each adjacent GOP.
本発明の受信装置における他の実施形態によれば、
レート対応テーブルは、主観的な映像品質に基づくMOS(Means Opinion Score)によって決定されたものであることも好ましい。
According to another embodiment of the receiving apparatus of the present invention,
It is also preferable that the rate correspondence table is determined by MOS (Means Opinion Score) based on subjective video quality.
本発明の受信装置における他の実施形態によれば、
映像フィードバック手段は、映像フレームレートの関連情報として、
・映像フレームレート自体、又は
・現映像フレームレートからの単位レート分の上げフラグ/下げフラグ
を送信装置へフィードバックすることも好ましい。
According to another embodiment of the receiving apparatus of the present invention,
The video feedback means, as related information of the video frame rate,
It is also preferable to feed back to the transmitting device the video frame rate itself, or the up flag / down flag for the unit rate from the current video frame rate.
本発明によれば、送信装置が、受信装置へ、映像コンテンツを、ネットワークを介してストリーミングで伝送するシステムにおいて、
受信装置は、
現伝送品質と前伝送品質との差に応じた、現伝送ビットレートに対する影響確率を対応付けた影響確率テーブルと、
送信装置から映像コンテンツをストリーミングで受信する際に、伝送品質を計測する伝送品質計測手段と、
影響確率テーブルを用いて、現伝送品質と前伝送品質との差に応じた影響確率を導出する影響確率導出手段と、
現ビットレートに対して影響確率を乗算した推定伝送ビットレートを算出する推定伝送ビットレート算出手段と、
送信装置へ、推定伝送ビットレートをフィードバックする推定伝送ビットレートフィードバック手段と
を有し、
送信装置は、
推定伝送ビットレートを、受信装置から受信する推定伝送ビットレート受信手段と、
伝送ビットレートに対する映像フレームレートを対応付けたレート対応テーブルと、
レート対応テーブルを用いて、受信装置から受信した推定伝送ビットレートに対応する映像フレームレートを導出するフレームレート導出手段と、
受信装置へ送信すべき映像コンテンツのフレームレートを、映像フレームレートに変更するフレームレート変更手段と
を有することを特徴とする。
According to the present invention, in a system in which a transmission device transmits video content to a reception device by streaming over a network,
The receiving device
An impact probability table that correlates the impact probability to the current transmission bit rate according to the difference between the current transmission quality and the previous transmission quality;
Transmission quality measuring means for measuring transmission quality when receiving video content from a transmission device by streaming;
An impact probability derivation means for deriving an impact probability according to the difference between the current transmission quality and the previous transmission quality using the impact probability table;
An estimated transmission bit rate calculating means for calculating an estimated transmission bit rate obtained by multiplying the current bit rate by the influence probability;
Estimated transmission bit rate feedback means for feeding back the estimated transmission bit rate to the transmission device;
The transmitter is
An estimated transmission bit rate receiving means for receiving the estimated transmission bit rate from the receiving device;
A rate correspondence table in which video frame rates are associated with transmission bit rates;
Frame rate deriving means for deriving a video frame rate corresponding to the estimated transmission bit rate received from the receiving device using the rate correspondence table;
And a frame rate changing means for changing the frame rate of the video content to be transmitted to the receiving device to the video frame rate.
本発明によれば、映像コンテンツを、ネットワークを介してストリーミングで伝送するシステムにおける映像フレームレート制御方法において、
受信装置は、
伝送ビットレートに対する映像フレームレートを対応付けたレート対応テーブルと、
現伝送品質と前伝送品質との差に応じた、現伝送ビットレートに対する影響確率を対応付けた影響確率テーブルと
を有し、
受信装置が、送信装置から映像コンテンツをストリーミングで受信する際に、伝送品質を計測する第1のステップと、
受信装置が、影響確率テーブルを用いて、現伝送品質と前伝送品質との差に応じた影響確率を導出する第2のステップと、
受信装置が、現ビットレートに対して影響確率を乗算した推定伝送ビットレートを算出する第3のステップと、
受信装置が、レート対応テーブルを用いて、推定伝送ビットレートに対応する映像フレームレートを導出する第4のステップと、
受信装置が、送信装置へ、映像フレームレートの関連情報をフィードバックする第5のステップと、
送信装置が、受信装置へ送信すべき映像コンテンツのフレームレートを、受信装置から受信した関連情報に基づく映像フレームレートに変更する第6のステップと
を有することを特徴とする。
According to the present invention, in a video frame rate control method in a system for transmitting video content by streaming over a network,
The receiving device
A rate correspondence table in which video frame rates are associated with transmission bit rates;
An impact probability table that correlates the impact probability with respect to the current transmission bit rate according to the difference between the current transmission quality and the previous transmission quality;
A first step of measuring transmission quality when the receiving device receives the video content from the transmitting device by streaming; and
A second step in which the receiving device derives an influence probability according to a difference between the current transmission quality and the previous transmission quality using the influence probability table;
A third step in which the receiving device calculates an estimated transmission bit rate obtained by multiplying the current bit rate by the influence probability;
A fourth step in which the receiving device derives a video frame rate corresponding to the estimated transmission bit rate using the rate correspondence table;
A fifth step in which the receiving device feeds back related information of the video frame rate to the transmitting device;
The transmission device includes a sixth step of changing the frame rate of the video content to be transmitted to the reception device to a video frame rate based on the related information received from the reception device.
本発明によれば、送信装置から、映像コンテンツを、ネットワークを介してストリーミングで受信する受信装置に搭載されたコンピュータを機能させるプログラムにおいて、
伝送ビットレートに対する映像フレームレートを対応付けたレート対応テーブルと、
現伝送品質と前伝送品質との差に応じた、現伝送ビットレートに対する影響確率を対応付けた影響確率テーブルと、
送信装置から映像コンテンツをストリーミングで受信する際に、伝送品質を計測する伝送品質計測手段と、
影響確率テーブルを用いて、現伝送品質と前伝送品質との差に応じた影響確率を導出する影響確率導出手段と、
現ビットレートに対して影響確率を乗算した推定伝送ビットレートを算出する推定伝送ビットレート算出手段と、
レート対応テーブルを用いて、推定伝送ビットレートに対応する映像フレームレートを導出するフレームレート導出手段と、
送信装置へ、映像フレームレートの関連情報をフィードバックする映像フィードバック手段と
してコンピュータを機能させ、
送信装置が、受信装置へ送信すべき映像コンテンツのフレームレートを、受信装置から受信した映像フレームレートに変更するように機能させることを特徴とする。
According to the present invention, in a program for causing a computer mounted on a receiving device that receives video content from a transmitting device via streaming via a network to function,
A rate correspondence table in which video frame rates are associated with transmission bit rates;
An impact probability table that correlates the impact probability to the current transmission bit rate according to the difference between the current transmission quality and the previous transmission quality;
Transmission quality measuring means for measuring transmission quality when receiving video content from a transmission device by streaming;
An impact probability derivation means for deriving an impact probability according to the difference between the current transmission quality and the previous transmission quality using the impact probability table;
An estimated transmission bit rate calculating means for calculating an estimated transmission bit rate obtained by multiplying the current bit rate by the influence probability;
Frame rate deriving means for deriving a video frame rate corresponding to the estimated transmission bit rate using the rate correspondence table;
Causing the computer to function as video feedback means for feeding back video frame rate related information to the transmission device;
The transmitting apparatus functions to change the frame rate of video content to be transmitted to the receiving apparatus to the video frame rate received from the receiving apparatus.
本発明の受信装置、システム、プログラム及び方法によれば、映像コンテンツのストリーミングの伝送品質から伝送ビットレートを算出し、その伝送ビットレートに基づいて映像フレームレートを制御することによって、できる限り主観的に高画質なストリーミング伝送を実現する。 According to the receiving apparatus, system, program and method of the present invention, the transmission bit rate is calculated from the transmission quality of the streaming of the video content, and the video frame rate is controlled based on the transmission bit rate, so that it is as subjective as possible. Realize high-quality streaming transmission.
以下では、本発明の実施の形態について、図面を用いて詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図1は、本発明におけるシステム構成図である。 FIG. 1 is a system configuration diagram according to the present invention.
図1のシステムによれば、携帯電話機やスマートフォンのような携帯端末2(送信装置)が、映像コンテンツを、ネットワークを介して映像受信サーバ1(受信装置)へ、ストリーミングで伝送している。近年、携帯端末のようなポータブル型機器でも、HD(High-Definition)クラスの映像を撮影することが可能となってきている。このような携帯端末は、撮影した映像コンテンツをリアルタイムに、映像受信サーバ1へストリーミングで伝送することができる。映像受信サーバとしては、例えばYouTube(登録商標)のような動画共有サイトであってもよい。以下では、送信装置が携帯端末であって、受信装置が映像受信サーバであるとして説明する。勿論、逆に、送信装置が映像受信サーバであって、受信装置が携帯端末であってもよい。
According to the system of FIG. 1, a mobile terminal 2 (transmission device) such as a mobile phone or a smartphone transmits video content to the video reception server 1 (reception device) via a network by streaming. In recent years, it has become possible to shoot HD (High-Definition) class video even in portable devices such as portable terminals. Such a portable terminal can transmit the captured video content to the
ネットワークは、イーサネット(登録商標)のような有線ネットワークであってもよいし、携帯電話通信網、WiMAX(Worldwide Interoperability for Microwave Access)(登録商標)や無線LANのような無線ネットワークであってもよい。特に、携帯端末の場合、ネットワークに無線区間を含むために、映像コンテンツの伝送品質も変化しやすい。本発明によれば、映像コンテンツの伝送品質が変化した場合であっても、受信装置が、送信装置へ、最適な映像フレームレートをフィードバックする。送信装置が、その映像フレームレートに変更した映像コンテンツを伝送することによって、できる限り主観的に高画質なストリーミング伝送を実現する。 The network may be a wired network such as Ethernet (registered trademark), or may be a wireless network such as a mobile phone communication network, WiMAX (Worldwide Interoperability for Microwave Access) (registered trademark), or a wireless LAN. . In particular, in the case of a mobile terminal, the transmission quality of video content is likely to change because the network includes a wireless section. According to the present invention, even when the transmission quality of video content changes, the receiving device feeds back an optimal video frame rate to the transmitting device. By transmitting the video content changed to the video frame rate by the transmission device, streaming transmission with as high a subjective quality as possible is realized.
尚、送信装置から送信される映像コンテンツは、RTP(Real-time Transport Protocol)によって、ストリーミングで伝送される。また、受信装置からフィードバックされる映像フレームレートの関連情報は、RTCP(RTP Control Protocol)によって伝送される。RTPは、データストリームをリアルタイムに配送するためのデータ転送プロトコルである。RTCPは、RTPと組み合わせて使う、データのフロー(送受信)制御用のセッションを制御するプロトコルである。 Note that the video content transmitted from the transmission device is transmitted by streaming using RTP (Real-time Transport Protocol). Also, the video frame rate related information fed back from the receiving device is transmitted by RTCP (RTP Control Protocol). RTP is a data transfer protocol for delivering data streams in real time. RTCP is a protocol for controlling a data flow (transmission / reception) control session used in combination with RTP.
図2は、本発明における送信装置−受信装置間のシーケンス図である。 FIG. 2 is a sequence diagram between the transmission apparatus and the reception apparatus in the present invention.
(S110)携帯端末(送信装置)2は、映像受信サーバ(受信装置)1へ、映像コンテンツをストリーミングで送信する。ここで、映像コンテンツは、無線環境に応じたデフォルトビットレートに基づくトレーニングデータであってもよい。トレーニングデータは、GOP(Group Of Pictures)単位で、例えば50GOP程度のものである。携帯端末2は、ネットワークの無線環境に応じて、以下のように異なるビットレートのトレーニングデータを送信することも好ましい。
携帯電話網(3G) :300kbps
WiMAX網 :1Mbps
無線LAN(WiFi):4Mbps
イーサネット(有線) :9Mbps
(S110) The mobile terminal (transmission device) 2 transmits the video content to the video reception server (reception device) 1 by streaming. Here, the video content may be training data based on a default bit rate corresponding to a wireless environment. The training data is, for example, about 50 GOP in GOP (Group Of Pictures) units. It is also preferable that the
Mobile phone network (3G): 300 kbps
WiMAX network: 1 Mbps
Wireless LAN (WiFi): 4 Mbps
Ethernet (wired): 9 Mbps
(S111)映像受信サーバ1は、携帯端末2から映像コンテンツをストリーミングで受信する際に、伝送品質を計測する。「伝送品質」としては、例えば遅延、ジッタ、パケットロス率であって、例えばGOP単位で計測される。勿論、トレーニングデータとしての映像コンテンツによって伝送品質を計測することが好ましいが、通常の映像コンテンツであってもよい。
(S111) The
図3は、映像コンテンツのストリーミングデータの構成図である。 FIG. 3 is a configuration diagram of streaming data of video content.
図3のストリーミングデータによれば、1秒間あたり複数のフレームによって構成され、フレームレート[frame per second]として表される。図3によれば、30fpsで構成されている。また、複数のフレームからGOP単位が構成される。GOPとは、MPEG方式について、圧縮及び再生・編集の単位となる映像信号の数フレームずつの組み合わせをいう。GOPは、1つのI(Intra)ピクチャフレームと、複数のP(Predictive)ピクチャフレーム及びB(Bidirectionally)ピクチャフレームとから構成される。そして、本発明によれば、GOP単位で「伝送品質」(遅延、パケットロス、ジッタ)を計測する。また、1つのフレームは、複数のRTPパケットから構成される。 According to the streaming data in FIG. 3, the streaming data includes a plurality of frames per second and is represented as a frame rate [frame per second]. According to FIG. 3, it is configured at 30 fps. A GOP unit is composed of a plurality of frames. GOP refers to a combination of several frames of a video signal, which is a unit of compression, reproduction / editing, for the MPEG system. The GOP is composed of one I (Intra) picture frame, and a plurality of P (Predictive) picture frames and B (Bidirectionally) picture frames. According to the present invention, “transmission quality” (delay, packet loss, jitter) is measured in GOP units. One frame is composed of a plurality of RTP packets.
(S112)映像受信サーバ1は、オプション的に、映像コンテンツを構成するI,P,Bフレーム種別に応じて、伝送品質に対するフレーム種別重み係数を対応付けた「フレーム種別重み係数テーブル」を有することも好ましい。
(S112) The
図4は、本発明におけるフレーム種別重み係数テーブルを表す説明図である。 FIG. 4 is an explanatory diagram showing a frame type weighting coefficient table in the present invention.
これは、優先度の高いIフレームにおける伝送品質を重要視する。図4によれば、Iフレームを構成するパケットの伝送品質(遅延、パケットロス、ジッタ)は、Pフレーム及びBフレームを構成するパケットの伝送品質よりも、2倍考慮されることを意味する。 This places importance on the transmission quality in I frames with high priority. According to FIG. 4, it means that the transmission quality (delay, packet loss, jitter) of the packets constituting the I frame is considered twice as much as the transmission quality of the packets constituting the P frame and the B frame.
そして、映像受信サーバ(受信装置)1は、フレーム種別重み係数テーブルを用いて、発生した伝送品質に重み付ける。
例えばIフレームで、遅延10msが発生した場合、10ms×2=20msの遅延が発生したとする。
例えばIフレームで、ジッタ値10msが発生した場合、10ms×2=20msのジッタ値が発生したとする。
例えばIフレームで、1個のパケットがロスした場合、2個のパケットがロスしたとする。
Then, the video receiving server (receiving device) 1 uses the frame type weighting coefficient table to weight the generated transmission quality.
For example, when a delay of 10 ms occurs in an I frame, a delay of 10 ms × 2 = 20 ms occurs.
For example, when a jitter value of 10 ms occurs in an I frame, a jitter value of 10 ms × 2 = 20 ms is generated.
For example, when one packet is lost in an I frame, two packets are lost.
(S113)また、映像受信サーバ(受信装置)1は、オプション的に、映像コンテンツのフレーム内位置に応じて、伝送品質に対するフレーム内位置重み係数を対応付けた「フレーム内位置重み係数テーブル」を有することも好ましい。 (S113) Also, the video receiving server (receiving device) 1 optionally has an “intra-frame position weighting coefficient table” in which the intra-frame position weighting coefficient is associated with the transmission quality according to the intra-frame position of the video content. It is also preferable to have it.
図5は、本発明におけるフレーム内位置重み係数テーブルを表す説明図である。 FIG. 5 is an explanatory diagram showing an intra-frame position weighting coefficient table in the present invention.
これは、優先度が高いフレーム内位置を構成するパケットにおける伝送品質を重要視する。即ち、フレーム内の画面中央位置に対応するパケットの伝送品質を重要視する。図5によれば、フレーム内の画面中央位置に対応するパケットの伝送品質は、フレーム内の画面外枠位置に対応するパケットの伝送品質よりも、2倍考慮されることを意味する。 This attaches importance to the transmission quality in the packet constituting the intra-frame position having a high priority. That is, the transmission quality of the packet corresponding to the center position of the screen in the frame is regarded as important. According to FIG. 5, it means that the transmission quality of the packet corresponding to the center position of the screen within the frame is considered twice as much as the transmission quality of the packet corresponding to the position of the outer frame frame within the frame.
そして、映像受信サーバ(受信装置)1は、フレーム内位置重み係数テーブルを用いて、発生した伝送品質に重み付ける。
例えば画面中央位置に対応するパケットで、遅延10msが発生した場合、10ms×2=20msの遅延が発生したとする。
例えば画面中央位置に対応するパケットで、ジッタ値10msが発生した場合、10ms×2=20msのジッタ値が発生したとする。
例えば画面中央位置に対応するパケットで、1個のパケットがロスした場合、2個のパケットがロスしたとする。
Then, the video receiving server (receiving device) 1 weights the generated transmission quality using the intra-frame position weighting coefficient table.
For example, when a delay of 10 ms occurs in a packet corresponding to the center position of the screen, it is assumed that a delay of 10 ms × 2 = 20 ms occurs.
For example, when a jitter value of 10 ms occurs in a packet corresponding to the center position of the screen, it is assumed that a jitter value of 10 ms × 2 = 20 ms occurs.
For example, when one packet is lost in a packet corresponding to the center position of the screen, two packets are lost.
このように、図4及び図5の両方を考慮した場合、例えばIフレームであって且つ画面中央位置を構成するパケットの伝送品質は、P又はBフレームであって且つ画面外枠位置を構成するパケットの伝送品質よりも、4倍考慮されることとなる。 As described above, when both FIG. 4 and FIG. 5 are considered, the transmission quality of a packet that is, for example, an I frame and configures the screen center position is a P or B frame and configures the screen outer frame position. Four times as much as the transmission quality of the packet is considered.
尚、本発明の実施形態として、映像ストリーミングデータのRTPパケット毎に、その拡張ヘッダに、フレーム種別(I,P,B)と、フレームの最初/最後とを表すフラグを含めることも好ましい。これによって、RTPパケットのみで、フレーム種別及びフレー内位置を特定することができる。 As an embodiment of the present invention, it is also preferable to include a flag indicating the frame type (I, P, B) and the start / end of the frame in the extension header for each RTP packet of video streaming data. As a result, the frame type and the in-frame position can be specified only by the RTP packet.
(S114)映像受信サーバ(受信装置)1は、現伝送品質と前伝送品質との差に応じた、現伝送ビットレートに対する影響確率を対応付けた「影響確率テーブル」を有する。 (S114) The video receiving server (receiving device) 1 has an “influence probability table” in which the influence probabilities for the current transmission bit rate are associated with each other according to the difference between the current transmission quality and the previous transmission quality.
図6は、本発明における影響確率テーブルを表す説明図である。 FIG. 6 is an explanatory diagram showing an influence probability table in the present invention.
図6によれば、伝送品質毎に、影響確率テーブルが設定されている。映像受信サーバ1は、影響確率テーブルを用いて、現伝送品質と前伝送品質との差に応じた影響確率α、β、γを導出する。
[1]遅延に基づく影響確率αは、現在の遅延量Dcと、前回の遅延量Dpとの差に応じて決定される。
[2]ジッタに基づく影響確率βは、現在のジッタJcと、前回のジッタJpとの差に応じて決定される。
[3]パケットロス率に基づく影響確率γは、現在のパケットロス率Lcと、前回のパケットロス率Lpとの差に応じて決定される。
According to FIG. 6, an influence probability table is set for each transmission quality. The
[1] The delay-based influence probability α is determined according to the difference between the current delay amount Dc and the previous delay amount Dp.
[2] The influence probability β based on jitter is determined according to the difference between the current jitter Jc and the previous jitter Jp.
[3] The influence probability γ based on the packet loss rate is determined according to the difference between the current packet loss rate Lc and the previous packet loss rate Lp.
(S115)映像受信サーバ1は、現ビットレートに対して影響確率を乗算した推定伝送ビットレートを算出する。
BRn=BRc×α×β×γ
BRn:推定伝送ビットレート
BRc:現伝送ビットレート
α:遅延に基づく影響確率
β:ジッタに基づく影響確率
γ:パケットロス率に基づく影響確率
(S115) The
BRn = BRc × α × β × γ
BRn: Estimated transmission bit rate
BRc: Current transmission bit rate
α: Effect probability based on delay
β: Influence probability based on jitter
γ: Impact probability based on packet loss rate
(S116)映像受信サーバ1は、伝送ビットレートに対する映像フレームレートを対応付けた「レート対応テーブル」を更に有する。
(S116) The
図7は、本発明におけるHD解像度のレート対応テーブルの説明図である。 FIG. 7 is an explanatory diagram of the HD resolution rate correspondence table in the present invention.
図7のレート対応テーブルは、伝送ビットレートに対する映像フレームレートが予め設定されている。これは、主観的な映像品質に基づくMOS(Means Opinion Score)によって決定されたものであることが好ましい。これによって、主観的な映像品質を、伝送ビットレートに応じて、できる限り向上させることができる。尚、伝送ビットレートと映像フレームレートとの対応関係は、最適にカスタマイズされることが好ましい。また、レート対応テーブルは、送信する映像の解像度に応じて個々に用意されるものであってもよい。 In the rate correspondence table of FIG. 7, the video frame rate with respect to the transmission bit rate is set in advance. This is preferably determined by MOS (Means Opinion Score) based on subjective video quality. Thereby, the subjective video quality can be improved as much as possible according to the transmission bit rate. Note that the correspondence between the transmission bit rate and the video frame rate is preferably customized optimally. The rate correspondence table may be prepared individually according to the resolution of the video to be transmitted.
(S117)映像受信サーバ1は、レート対応テーブルを用いて、推定伝送ビットレートに対応する映像フレームレートを導出する。
(S117) The
(S118)映像受信サーバ1は、携帯端末2へ、映像フレームレートの関連情報をフィードバックする。ここで、映像フレームレートの関連情報として、以下の2つがある。
・映像フレームレート自体
・現映像フレームレートからの単位レート分の上げフラグ/下げフラグ
(データ量を最小化することによって、制御信号であるフィードバック情報の
増加による伝送帯域の圧迫を回避する)
(S118) The
・ Video frame rate itself ・ Up / down flag for the unit rate from the current video frame rate (By minimizing the amount of data, avoiding compression of the transmission band due to an increase in feedback information as a control signal)
これによって、携帯端末2は、映像受信サーバ1へ送信すべき映像コンテンツのフレームレートを変更することができる。
Thereby, the
尚、図2の点線囲み部分によれば、推定伝送ビットレートを算出した(S115)後、その推定伝送ビットレートを、送信装置2へフィードバックするものであってもよい。この場合、フレームレートの導出(S118)は、送信装置2によって実行される。
2, after the estimated transmission bit rate is calculated (S115), the estimated transmission bit rate may be fed back to the
図8は、本発明におけるフレームレート制御部を含む映像受信サーバの機能構成図である。 FIG. 8 is a functional configuration diagram of a video receiving server including a frame rate control unit according to the present invention.
図8の映像受信サーバ1によれば、通信インタフェース101と、IPインタフェース102と、RTPインタフェース103と、RTCPインタフェース104と、フレームレート制御部11とを有する。通信インタフェース101を除くこれら機能構成部は、サーバに搭載されたコンピュータを機能させることによって実現される。
8 includes a
フレームレート制御部11は、伝送品質計測部111と、フレーム種別重み付け部112と、フレーム種別重み係数テーブル112tと、フレーム内位置重み付け部113と、フレーム内位置重み係数テーブル113tと、影響確率導出部114と、影響確率テーブル114tと、推定伝送ビットレート算出部115と、フレームレート導出部116と、レート対応テーブル116tと、フィードバック部117とを有する。
The frame
伝送品質計測部111は、送信装置から映像コンテンツをストリーミングで受信する際に、伝送品質を計測する(図2のS111と同様)。計測されて伝送品質は、フレーム種別重み付け部112へ出力される。
The transmission
フレーム種別重み係数テーブル112tは、映像コンテンツを構成するI,P,Bフレーム種別に対応付けた、伝送品質に対するフレーム種別重み係数を記憶する。 The frame type weighting coefficient table 112t stores a frame type weighting coefficient for transmission quality associated with the I, P, B frame types constituting the video content.
フレーム種別重み付け部112は、フレーム種別重み係数テーブル112tを参照し、映像コンテンツの受信によって計測した伝送品質に、当該映像コンテンツを構成するフレーム種別に応じたフレーム種別重み係数を重み付ける(図2のS112と同様)。
The frame
フレーム内位置重み係数テーブル113tは、映像コンテンツのフレーム内位置に対応付けて、伝送品質に対するフレーム内位置重み係数を記憶する。 The intra-frame position weight coefficient table 113t stores an intra-frame position weight coefficient for transmission quality in association with the intra-frame position of the video content.
フレーム内位置重み付け部113は、フレーム内位置重み係数テーブル113tを参照し、映像コンテンツの受信によって計測した伝送品質に、当該映像コンテンツのフレーム内位置に応じたフレーム内位置重み係数を重み付ける(図2のS113と同様)。
The intra-frame
影響確率テーブル114tは、現伝送品質と前伝送品質との差に対応付けて、現伝送ビットレートに対する影響確率を記憶する。 The influence probability table 114t stores the influence probability for the current transmission bit rate in association with the difference between the current transmission quality and the previous transmission quality.
影響確率導出部114は、影響確率テーブルを用いて、現伝送品質と前伝送品質との差に応じた影響確率を導出する(図2のS114と同様)。
The influence
推定伝送ビットレート算出部115は、現ビットレートに対して影響確率を乗算した推定伝送ビットレートを算出する(図2のS115と同様)。
The estimated transmission bit
レート対応テーブル116tは、伝送ビットレートに対する映像フレームレートを記憶する。 The rate correspondence table 116t stores a video frame rate with respect to a transmission bit rate.
フレームレート導出部116は、レート対応テーブルを用いて、推定伝送ビットレートに対応する映像フレームレートを導出する(図2のS116と同様)。
The frame
フィードバック部117は、送信装置へ、映像フレームレートの関連情報をフィードバックする(図2のS117と同様)。これによって、送信装置は、受信装置へ送信すべき映像コンテンツのフレームレートを、受信装置から受信した映像フレームレートに変更する。
The
図9は、本発明における受信装置の機能構成図である。 FIG. 9 is a functional configuration diagram of the receiving apparatus according to the present invention.
図8の受信装置1によれば、フレーム種別及びフレーム内位置を、フレームレート制御部11の外部から情報によって判別する。
I,P,Bのフレーム種別は、受信装置内の可変長復号部によって検出される。そのフレーム種別は、フレームレート制御部11へ入力される。
逆量子化部によってマクロブロックMB(Macro Brock)配置情報が抽出され、そのMB配置情報は、フレームレート制御部11へ入力される。フレームレート制御部11は、そのMB配置情報から、Iフレームのフレーム内位置を判別することができる。
画面内予測部よってMB配置情報が抽出され、そのMB配置情報は、フレームレート制御部11へ入力される。フレームレート制御部11は、そのMB配置情報から、P,Bフレームのフレーム内位置を判別することができる。
RTPパケットにフレームの最初フラグ/最後フラグが含まれている場合、フレーム内位置判定部によってフレーム内位置が抽出される。そのフレーム内位置情報は、フレームレート制御部11へ入力される。
According to the receiving
The frame types of I, P, and B are detected by a variable length decoding unit in the receiving device. The frame type is input to the frame
Macroblock MB (Macro Brock) arrangement information is extracted by the inverse quantization unit, and the MB arrangement information is input to the frame
MB arrangement information is extracted by the intra prediction unit, and the MB arrangement information is input to the frame
When the first flag / last flag of the frame is included in the RTP packet, the intra-frame position is extracted by the intra-frame position determination unit. The intra-frame position information is input to the frame
図10は、本発明における送信装置の機能構成図である。 FIG. 10 is a functional configuration diagram of the transmission apparatus according to the present invention.
図10の送信装置によれば、既存の映像送信装置と比較して、フィードバック受信部21と、フレームレート変更部22とを有する。フィードバック受信部21は、受信装置1からRTCPによってフィードバック情報としてのフレームレートを受信し、そのフレームレートを、フレームレート変更部22へ出力する。フレームレート変更部22は、送信すべき映像コンテンツのフレームレートを、受信装置1から受信したフレームレートに変更する。
10 includes the
また、図10の送信装置によれば、フィードバック受信部21が、受信装置1からフレームレートではなく、推定伝送ビットレートを受信する場合もある。この場合、フィードバック受信部21は、レート対応テーブル216tと、フレームレート導出部216とを有する。これら機能部は、図8の受信装置1内のものと全く同じものである。推定伝送ビットレートから、映像フレームレートを導出する。
Further, according to the transmission device of FIG. 10, the
以上、詳細に説明したように、本発明の受信装置、システム、プログラム及び方法によれば、映像コンテンツのストリーミングの伝送品質から伝送ビットレートを算出し、その伝送ビットレートに基づいて映像フレームレートを制御することによって、できる限り主観的に高画質なストリーミング伝送を実現する。 As described above in detail, according to the receiving apparatus, system, program, and method of the present invention, the transmission bit rate is calculated from the transmission quality of streaming video content, and the video frame rate is calculated based on the transmission bit rate. By controlling, streaming transmission with high image quality as subjectively as possible is realized.
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。 Various changes, modifications, and omissions of the above-described various embodiments of the present invention can be easily made by those skilled in the art. The above description is merely an example, and is not intended to be restrictive. The invention is limited only as defined in the following claims and the equivalents thereto.
1 映像受信サーバ、受信装置
101 通信インタフェース
102 IPインタフェース
103 RTPインタフェース
104 RTCPインタフェース
11 フレームレート制御部
111 伝送品質計測部
112 フレーム種別重み付け部
112t フレーム種別重み係数テーブル
113 フレーム内位置重み付け部
113t フレーム内位置重み係数テーブル
114 影響確率導出部
114t 影響確率テーブル
115 推定伝送ビットレート算出部
116 フレームレート導出部
116t レート対応テーブル
117 フィードバック部
2 携帯端末、送信装置
21 フィードバック受信部
216 フレームレート導出部
216t レート対応テーブル
22 フレームレート変更部
DESCRIPTION OF
Claims (9)
伝送ビットレートに対する映像フレームレートを対応付けたレート対応テーブルと、
現伝送品質と前伝送品質との差に応じた、現伝送ビットレートに対する影響確率を対応付けた影響確率テーブルと、
送信装置から映像コンテンツをストリーミングで受信する際に、伝送品質を計測する伝送品質計測手段と、
前記影響確率テーブルを用いて、現伝送品質と前伝送品質との差に応じた前記影響確率を導出する影響確率導出手段と、
現ビットレートに対して前記影響確率を乗算した推定伝送ビットレートを算出する推定伝送ビットレート算出手段と、
前記レート対応テーブルを用いて、前記推定伝送ビットレートに対応する映像フレームレートを導出するフレームレート導出手段と、
送信装置へ、前記映像フレームレートの関連情報をフィードバックする映像フィードバック手段と
を有し、
送信装置が、受信装置へ送信すべき映像コンテンツのフレームレートを、受信装置から受信した前記映像フレームレートに変更するように機能させることを特徴とする受信装置。 In a receiving apparatus that receives video content from a transmitting apparatus via streaming via a network,
A rate correspondence table in which video frame rates are associated with transmission bit rates;
An impact probability table that correlates the impact probability to the current transmission bit rate according to the difference between the current transmission quality and the previous transmission quality;
Transmission quality measuring means for measuring transmission quality when receiving video content from a transmission device by streaming;
An influence probability deriving means for deriving the influence probability according to the difference between the current transmission quality and the previous transmission quality using the influence probability table;
Estimated transmission bit rate calculating means for calculating an estimated transmission bit rate obtained by multiplying the current bit rate by the influence probability;
Frame rate deriving means for deriving a video frame rate corresponding to the estimated transmission bit rate using the rate correspondence table;
Video feedback means for feeding back the video frame rate related information to the transmission device;
A receiving apparatus, wherein the transmitting apparatus functions to change a frame rate of video content to be transmitted to the receiving apparatus to the video frame rate received from the receiving apparatus.
前記フレーム種別重み係数テーブルを参照し、前記映像コンテンツの受信によって計測した伝送品質に、当該映像コンテンツを構成するフレーム種別に応じたフレーム種別重み係数を重み付けるフレーム種別重み付け手段と
を更に有することを特徴とする請求項1に記載の受信装置。 A frame type weighting coefficient table that associates a frame type weighting coefficient with respect to the transmission quality in accordance with the I, P, and B frame types constituting the video content;
Frame type weighting means for referring to the frame type weighting coefficient table and weighting the transmission quality measured by receiving the video content with a frame type weighting coefficient corresponding to the frame type constituting the video content. The receiving device according to claim 1.
前記フレーム内位置重み係数テーブルを参照し、前記映像コンテンツの受信によって計測した伝送品質に、当該映像コンテンツのフレーム内位置に応じたフレーム内位置重み係数を重み付けるフレーム内位置重み付け手段と
を更に有する
ことを特徴とする請求項1又は2に記載の受信装置。 The receiving device, according to the position in the frame of the video content, an intra-frame position weight coefficient table in which an intra-frame position weight coefficient for the transmission quality is associated,
Intra-frame position weighting means for referencing the intra-frame position weighting coefficient table and weighting the transmission quality measured by receiving the video content with an intra-frame position weighting coefficient corresponding to the intra-frame position of the video content. The receiving apparatus according to claim 1, wherein the receiving apparatus is a receiver.
現伝送品質と前伝送品質との差は、隣接するGOP毎に算出される
ことを特徴とする請求項1から3のいずれか1項に記載の受信装置。 The transmission quality measuring means measures the transmission quality in GOP (Group Of Picture) units,
The receiving apparatus according to any one of claims 1 to 3, wherein the difference between the current transmission quality and the previous transmission quality is calculated for each adjacent GOP.
・映像フレームレート自体、又は
・現映像フレームレートからの単位レート分の上げフラグ/下げフラグ
を前記送信装置へフィードバックすることを特徴とする請求項1から5のいずれか1項に記載の受信装置。 The video feedback means, as related information of the video frame rate,
6. The receiving apparatus according to claim 1, wherein the video frame rate itself, or an up / down flag corresponding to a unit rate from the current video frame rate is fed back to the transmitting apparatus. .
前記受信装置は、
現伝送品質と前伝送品質との差に応じた、現伝送ビットレートに対する影響確率を対応付けた影響確率テーブルと、
送信装置から映像コンテンツをストリーミングで受信する際に、伝送品質を計測する伝送品質計測手段と、
前記影響確率テーブルを用いて、現伝送品質と前伝送品質との差に応じた前記影響確率を導出する影響確率導出手段と、
現ビットレートに対して前記影響確率を乗算した推定伝送ビットレートを算出する推定伝送ビットレート算出手段と、
送信装置へ、前記推定伝送ビットレートをフィードバックする推定伝送ビットレートフィードバック手段と
を有し、
前記送信装置は、
伝送ビットレートに対する映像フレームレートを対応付けたレート対応テーブルと、
前記レート対応テーブルを用いて、前記受信装置から受信した推定伝送ビットレートに対応する映像フレームレートを導出するフレームレート導出手段と、
受信装置へ送信すべき映像コンテンツのフレームレートを、前記映像フレームレートに変更するフレームレート変更手段と
を有する
ことを特徴とするシステム。 In a system in which a transmitting device transmits video content to a receiving device by streaming over a network,
The receiving device is:
An impact probability table that correlates the impact probability to the current transmission bit rate according to the difference between the current transmission quality and the previous transmission quality;
Transmission quality measuring means for measuring transmission quality when receiving video content from a transmission device by streaming;
An influence probability deriving means for deriving the influence probability according to the difference between the current transmission quality and the previous transmission quality using the influence probability table;
Estimated transmission bit rate calculating means for calculating an estimated transmission bit rate obtained by multiplying the current bit rate by the influence probability;
Estimated transmission bit rate feedback means for feeding back the estimated transmission bit rate to the transmission device;
The transmitter is
A rate correspondence table in which video frame rates are associated with transmission bit rates;
Frame rate deriving means for deriving a video frame rate corresponding to the estimated transmission bit rate received from the receiving device using the rate correspondence table;
And a frame rate changing means for changing the frame rate of the video content to be transmitted to the receiving device to the video frame rate.
受信装置は、
伝送ビットレートに対する映像フレームレートを対応付けたレート対応テーブルと、
現伝送品質と前伝送品質との差に応じた、現伝送ビットレートに対する影響確率を対応付けた影響確率テーブルと
を有し、
受信装置が、送信装置から映像コンテンツをストリーミングで受信する際に、伝送品質を計測する第1のステップと、
受信装置が、影響確率テーブルを用いて、現伝送品質と前伝送品質との差に応じた前記影響確率を導出する第2のステップと、
受信装置が、現ビットレートに対して前記影響確率を乗算した推定伝送ビットレートを算出する第3のステップと、
受信装置が、前記レート対応テーブルを用いて、前記推定伝送ビットレートに対応する映像フレームレートを導出する第4のステップと、
受信装置が、送信装置へ、前記映像フレームレートの関連情報をフィードバックする第5のステップと、
送信装置が、受信装置へ送信すべき映像コンテンツのフレームレートを、受信装置から受信した前記関連情報に基づく映像フレームレートに変更する第6のステップと
を有することを特徴とする映像フレームレート制御方法。 In a video frame rate control method in a system for transmitting video content by streaming over a network,
The receiving device
A rate correspondence table in which video frame rates are associated with transmission bit rates;
An impact probability table that correlates the impact probability with respect to the current transmission bit rate according to the difference between the current transmission quality and the previous transmission quality;
A first step of measuring transmission quality when the receiving device receives the video content from the transmitting device by streaming; and
A second step in which the receiving device derives the influence probability according to the difference between the current transmission quality and the previous transmission quality using the influence probability table;
A third step in which the receiving device calculates an estimated transmission bit rate obtained by multiplying the current bit rate by the influence probability;
A fourth step in which the receiving device derives a video frame rate corresponding to the estimated transmission bit rate using the rate correspondence table;
A fifth step in which the receiving device feeds back the related information of the video frame rate to the transmitting device;
A video frame rate control method, wherein the transmission device includes a sixth step of changing a frame rate of video content to be transmitted to the reception device to a video frame rate based on the related information received from the reception device. .
伝送ビットレートに対する映像フレームレートを対応付けたレート対応テーブルと、
現伝送品質と前伝送品質との差に応じた、現伝送ビットレートに対する影響確率を対応付けた影響確率テーブルと、
送信装置から映像コンテンツをストリーミングで受信する際に、伝送品質を計測する伝送品質計測手段と、
前記影響確率テーブルを用いて、現伝送品質と前伝送品質との差に応じた前記影響確率を導出する影響確率導出手段と、
現ビットレートに対して前記影響確率を乗算した推定伝送ビットレートを算出する推定伝送ビットレート算出手段と、
前記レート対応テーブルを用いて、前記推定伝送ビットレートに対応する映像フレームレートを導出するフレームレート導出手段と、
送信装置へ、前記映像フレームレートの関連情報をフィードバックする映像フィードバック手段と
してコンピュータを機能させ、
送信装置が、受信装置へ送信すべき映像コンテンツのフレームレートを、受信装置から受信した前記映像フレームレートに変更するように機能させることを特徴とする受信装置用のプログラム。 In a program for causing a computer mounted on a receiving device to receive video content from a transmitting device via streaming via a network,
A rate correspondence table in which video frame rates are associated with transmission bit rates;
An impact probability table that correlates the impact probability to the current transmission bit rate according to the difference between the current transmission quality and the previous transmission quality;
Transmission quality measuring means for measuring transmission quality when receiving video content from a transmission device by streaming;
An influence probability deriving means for deriving the influence probability according to the difference between the current transmission quality and the previous transmission quality using the influence probability table;
Estimated transmission bit rate calculating means for calculating an estimated transmission bit rate obtained by multiplying the current bit rate by the influence probability;
Frame rate deriving means for deriving a video frame rate corresponding to the estimated transmission bit rate using the rate correspondence table;
Causing the computer to function as video feedback means for feeding back the related information of the video frame rate to the transmission device;
A program for a receiving apparatus, wherein the transmitting apparatus functions to change a frame rate of video content to be transmitted to the receiving apparatus to the video frame rate received from the receiving apparatus.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011115558A JP5877960B2 (en) | 2011-05-24 | 2011-05-24 | Receiving apparatus, system, program and method for controlling video frame rate based on transmission bit rate |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011115558A JP5877960B2 (en) | 2011-05-24 | 2011-05-24 | Receiving apparatus, system, program and method for controlling video frame rate based on transmission bit rate |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012244566A true JP2012244566A (en) | 2012-12-10 |
| JP5877960B2 JP5877960B2 (en) | 2016-03-08 |
Family
ID=47465758
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011115558A Expired - Fee Related JP5877960B2 (en) | 2011-05-24 | 2011-05-24 | Receiving apparatus, system, program and method for controlling video frame rate based on transmission bit rate |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5877960B2 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017069797A (en) * | 2015-09-30 | 2017-04-06 | Kddi株式会社 | Inter-device communication system, information transmitter and information receiver |
| JP2017069795A (en) * | 2015-09-30 | 2017-04-06 | Kddi株式会社 | Inter-device communication system, information transmitter and information receiver |
| CN109819322A (en) * | 2019-03-15 | 2019-05-28 | 网易(杭州)网络有限公司 | Video transmission method, device, computer readable storage medium and electronic equipment |
| WO2022044164A1 (en) * | 2020-08-26 | 2022-03-03 | 日本電気株式会社 | Video quality estimating device, video quality estimating method, and video quality estimating system |
| JPWO2022102011A1 (en) * | 2020-11-11 | 2022-05-19 | ||
| CN117528157A (en) * | 2023-11-24 | 2024-02-06 | 北京字跳网络技术有限公司 | A video playback method, device, system, equipment and storage medium |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003244695A (en) * | 2002-02-14 | 2003-08-29 | Kddi Corp | Video information transmission system, device and program used therefor |
| JP2004193990A (en) * | 2002-12-11 | 2004-07-08 | Sony Corp | Information processing system, information processing apparatus and method, recording medium, and program |
| JP2006025064A (en) * | 2004-07-07 | 2006-01-26 | Nec Corp | High definition video transmission system, high definition video transmitter, and high definition video transmission method and program for use therein |
| JP2007019802A (en) * | 2005-07-07 | 2007-01-25 | Nippon Telegr & Teleph Corp <Ntt> | Video quality estimation apparatus and video quality estimation method |
| JP2009171023A (en) * | 2008-01-11 | 2009-07-30 | Nec Corp | Image quality evaluation apparatus, image quality evaluation method, program for image quality evaluation, and video reception terminal |
| JP2010063004A (en) * | 2008-09-05 | 2010-03-18 | Nec Corp | Video data transmission apparatus, video distribution system, video quality evaluation method and program |
| JP2011019068A (en) * | 2009-07-08 | 2011-01-27 | Nec Corp | Quality control device, quality control system, quality control method, and program |
-
2011
- 2011-05-24 JP JP2011115558A patent/JP5877960B2/en not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003244695A (en) * | 2002-02-14 | 2003-08-29 | Kddi Corp | Video information transmission system, device and program used therefor |
| JP2004193990A (en) * | 2002-12-11 | 2004-07-08 | Sony Corp | Information processing system, information processing apparatus and method, recording medium, and program |
| JP2006025064A (en) * | 2004-07-07 | 2006-01-26 | Nec Corp | High definition video transmission system, high definition video transmitter, and high definition video transmission method and program for use therein |
| JP2007019802A (en) * | 2005-07-07 | 2007-01-25 | Nippon Telegr & Teleph Corp <Ntt> | Video quality estimation apparatus and video quality estimation method |
| JP2009171023A (en) * | 2008-01-11 | 2009-07-30 | Nec Corp | Image quality evaluation apparatus, image quality evaluation method, program for image quality evaluation, and video reception terminal |
| JP2010063004A (en) * | 2008-09-05 | 2010-03-18 | Nec Corp | Video data transmission apparatus, video distribution system, video quality evaluation method and program |
| JP2011019068A (en) * | 2009-07-08 | 2011-01-27 | Nec Corp | Quality control device, quality control system, quality control method, and program |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017069797A (en) * | 2015-09-30 | 2017-04-06 | Kddi株式会社 | Inter-device communication system, information transmitter and information receiver |
| JP2017069795A (en) * | 2015-09-30 | 2017-04-06 | Kddi株式会社 | Inter-device communication system, information transmitter and information receiver |
| CN109819322A (en) * | 2019-03-15 | 2019-05-28 | 网易(杭州)网络有限公司 | Video transmission method, device, computer readable storage medium and electronic equipment |
| WO2022044164A1 (en) * | 2020-08-26 | 2022-03-03 | 日本電気株式会社 | Video quality estimating device, video quality estimating method, and video quality estimating system |
| JPWO2022044164A1 (en) * | 2020-08-26 | 2022-03-03 | ||
| JP7513101B2 (en) | 2020-08-26 | 2024-07-09 | 日本電気株式会社 | Video quality estimation device, video quality estimation method, and video quality estimation system |
| JP2024111280A (en) * | 2020-08-26 | 2024-08-16 | 日本電気株式会社 | Video quality estimation system and video quality estimation method |
| JP7790479B2 (en) | 2020-08-26 | 2025-12-23 | 日本電気株式会社 | Video quality estimation system and video quality estimation method |
| JPWO2022102011A1 (en) * | 2020-11-11 | 2022-05-19 | ||
| WO2022102011A1 (en) * | 2020-11-11 | 2022-05-19 | 日本電信電話株式会社 | Objective evaluation device, objective evaluation method, and objective evaluation program |
| JP7501662B2 (en) | 2020-11-11 | 2024-06-18 | 日本電信電話株式会社 | Objective evaluation device, objective evaluation method, and objective evaluation program |
| CN117528157A (en) * | 2023-11-24 | 2024-02-06 | 北京字跳网络技术有限公司 | A video playback method, device, system, equipment and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5877960B2 (en) | 2016-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10602139B2 (en) | Embedded multimedia systems with adaptive rate control for power efficient video streaming | |
| US10419502B2 (en) | Systems and methods for using client-side video buffer occupancy for enhanced quality of experience in a communication network | |
| US10193813B2 (en) | System and method for real-time traffic delivery | |
| CN109150876B (en) | QOS method, device and system for video wireless transmission | |
| JP5877960B2 (en) | Receiving apparatus, system, program and method for controlling video frame rate based on transmission bit rate | |
| US10944973B2 (en) | Estimation of video quality of experience on media servers | |
| WO2014149257A1 (en) | Video streaming with buffer occupancy prediction based quality adaptation | |
| JP2013526795A (en) | Method and apparatus for transmitting and receiving layer coding video | |
| CN103828324A (en) | On-demand adaptive bitrate management for streaming media over packet networks | |
| KR20060096044A (en) | Method and apparatus for transmitting and receiving media signal, transmitting and receiving method | |
| CN104754339B (en) | I framing control method, apparatus and system | |
| CN105450651A (en) | Monitoring video code stream dynamic route selection method and device | |
| US9258347B2 (en) | Encoding of a video frame for transmission to a plurality of clients | |
| EP2649794B1 (en) | Method and apparatus for managing content distribution over multiple terminal devices in collaborative media system | |
| US9674515B2 (en) | Endpoint information for network VQM | |
| AU2019201095A1 (en) | System and method for automatic encoder adjustment based on transport data | |
| CN109862400A (en) | A kind of flow-medium transmission method, device and its system | |
| JP5675164B2 (en) | Transmission device, transmission method, and program | |
| Futemma et al. | TFRC-based rate control scheme for real-time JPEG 2000 video transmission | |
| Chattopadhyay et al. | Adaptive rate control for H. 264 based video conferencing over a low bandwidth wired and wireless channel | |
| Bassey et al. | Mitigating The Effect of Packet Losses on Real-Time Video Streaming Using Psnr as Video Quality Assessment Metric | |
| Zhu et al. | Research on adaptive transmission of H. 264 video stream and QoS guarantee based on SIP |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140213 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141106 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150105 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150203 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150617 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150714 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160126 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160127 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5877960 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |