JP2013038688A - 動画符号化配信システム - Google Patents

Abstract

【課題】フレームスキップやフレームリピートの発生を事前に予測して予めフレーム補間を施しておくことができる動画符号化配信システムを得る。
【解決手段】デコーダボード６は、動画像符号化データを第１のクロックに合わせて復号する。グラフィックボード７は、復号された動画像データを第２のクロックに合わせて処理して、モニタ１１に表示させる動画像を生成する。フレームスキップ・リピート発生予測装置８は、第１のクロックと第２のクロックの位相差に基づいて、動画像データがフレームスキップ又はフレームリピートされるタイミングを予測する。フレーム補間装置９は、予測したタイミングで動画像データのフレームに補間処理を施す。
【選択図】図１

Description

本発明は、フレームスキップやフレームリピートの発生を事前に予測して予めフレーム補間を施しておくことができる動画符号化配信システムに関する。

動画符号化配信システムでは、動画像データを符号化装置が符号化して送信し、それを復号装置が受信してデコーダボードにより復号する。この復号された動画像データをグラフィックボードが処理して、モニタに表示させる。

しかし、動画像データにフレーム飛び（フレームスキップ）やフレーム繰り返し（フレームリピート）が発生して、モニタ表示した動画像に視覚的に悪印象を与えるカクツキが発生する場合があった。これは、デコーダボードとグラフィックボードの内部クロックの周期が異なるため、相互の同期が取れないことによる。これに対して、フレームスキップが発生した後に、それを検出してその欠落フレームを補間することで、フレームスキップによるカクツキの発生が与える視覚的な悪印象を軽減する方法が提案されている（例えば、特許文献１参照）。

特開平１０−２１５４５８号公報

しかし、従来の方法では、フレームスキップやフレームリピートの発生を事前に予測して予めフレーム補間を施しておくことはできない。このため、動画像をリアルタイムに配信する監視システムや会議システムなどにおいては、フレームスキップやフレームリピートによるカクツキの発生が与える視覚的な悪印象を軽減することができなかった。

本発明は、上述のような課題を解決するためになされたもので、その目的はフレームスキップやフレームリピートの発生を事前に予測して予めフレーム補間を施しておくことができる動画符号化配信システムを得るものである。

本発明に係る動画符号化配信システムは、動画像符号化データを第１のクロックに合わせて復号するデコーダボードと、復号された動画像データを第２のクロックに合わせて処理してモニタに表示させる動画像を生成するグラフィックボードと、前記第１のクロックと前記第２のクロックの位相差に基づいて前記動画像データがフレームスキップ又はフレームリピートされるタイミングを予測するフレームスキップ・リピート発生予測装置と、予測した前記タイミングで前記動画像データのフレームに補間処理を施すフレーム補間装置とを備えることを特徴とする。

本発明により、フレームスキップやフレームリピートの発生を事前に予測して予めフレーム補間を施しておくことができる。

本発明の実施の形態１に係る動画符号化配信システムを示す図である。 本発明の実施の形態１に係るフレームスキップ・リピート発生予測装置を示す図である。 フレームスキップが発生する場合のデコーダボードとグラフィックボードの出力フレームを示す図である。 フレームリピートが発生する場合のデコーダボードとグラフィックボードの出力フレームを示す図である。 フレームスキップに対する補間処理を説明するための図である。 フレームリピートに対する補間処理を説明するための図である。 本発明の実施の形態２に係る動画符号化配信システムを示す図である。

本発明の実施の形態に係る動画符号化配信システムについて図面を参照して説明する。同じ又は対応する構成要素には同じ符号を付し、説明の繰り返しを省略する場合がある。

実施の形態１．
図１は、本発明の実施の形態１に係る動画符号化配信システムを示す図である。符号化装置１内に、エンコーダボード２と送信装置３が設けられている。復号装置４内に受信装置５と、デコーダボード６と、グラフィックボード７と、フレームスキップ・リピート発生予測装置８と、フレーム補間装置９とが設けられている。

カメラ１０から入力した動画像データを符号化装置１のエンコーダボード２が符号化する。この符号化された動画像符号化データを送信装置３がネットワークに送信する。復号装置４の受信装置５は、送信された動画像符号化データを受信する。デコーダボード６は、動画像符号化データを第１のクロックに合わせて復号する。グラフィックボード７は、復号された動画像データを第２のクロックに合わせて処理して、モニタ１１に表示させる動画像を生成し出力する。

フレームスキップ・リピート発生予測装置８は、第１のクロックと第２のクロックの位相差に基づいて、動画像データがフレームスキップ又はフレームリピートされるタイミングを予測する。具体的には、フレームスキップ・リピート発生予測装置８は、第１のクロックと第２のクロックの位相が揃った時点を基準としてデコーダボード６とグラフィックボード７のそれぞれのフレーム出力の累積時間を比較することにより、動画像データがフレームスキップ又はフレームリピートされるタイミングを予測する。本発明の実施の形態１では、フレーム補間装置９は、復号装置４内のデコーダボード６の後段に設けられている。

フレーム補間装置９は、予測したタイミングで動画像データのフレームに補間処理を施す。具体的には、フレーム補間装置９は、フレームスキップの場合にはスキップ前後のフレーム又はスキップ前後の複数フレームに対して補間処理を施し、フレームリピートの場合にはリピートするフレーム又はリピートするフレームとその前後の複数フレームに対して補間処理を施す。

図２は、本発明の実施の形態１に係るフレームスキップ・リピート発生予測装置８を示す図である。フレームスキップ・リピート発生予測装置８は、判定装置１２と、第１の計算装置１３と、第２の計算装置１４とを有する。判定装置１２は、第１のクロックの周期Ｔ１と第２のクロックの周期Ｔ２を比較して、Ｔ１がＴ２より小さい場合にフレームスキップが発生し、Ｔ１がＴ２より大きい場合にフレームリピートが発生すると判定する。

第１の計算装置１３は、第１のクロックと第２のクロックの位相が揃った時点を基準として、ｎ番目のフレームスキップが発生するフレームの番号を、以下の数式１を満たす最小の整数Ｘとして計算する。
Ｘ≧Ｔ２×ｎ／（Ｔ２−Ｔ１） （１）

第２の計算装置１４は、第１のクロックと第２のクロックの位相が揃った時点を基準として、ｍ番目のフレームリピートが発生するフレームの番号を、以下の数式２を満たす最小の整数Ｙとして計算する。
Ｙ＞Ｔ２×（ｍ−１）／（Ｔ１−Ｔ２） （２）

ここで、数式（１）（２）により動画像データがフレームスキップ又はフレームリピートされるタイミングを予測する仕組みについて、フレームスキップが発生する場合とフレームリピートが発生する場合に分けて以下に説明する。

図３は、フレームスキップが発生する場合のデコーダボードとグラフィックボードの出力フレームを示す図である。デコーダボード６側の５フレーム目がフレームスキップになっている。デコーダボード６側の５フレーム目までの累積時間とグラフィックボード７側の４フレーム目までの累積時間との大小関係（Ｔ１×５＜Ｔ２×４）は、それ以前での大小関係（例えばＴ１×４＞Ｔ２×３）に比べて逆転している。この逆転がフレームスキップの発生を意味する。従って、第１のクロックと第２のクロックの位相が揃った時点を基準としてデコーダボード６とグラフィックボード７のそれぞれの出力フレームの累積時間を比較すれば、フレームスキップが発生するタイミングを予想することができる。

フレームスキップが発生するフレーム番号をＸとすると、以下の数式（３）が成立する。
Ｔ１×Ｘ≦Ｔ２×（Ｘ−ｎ） （３）
この数式（３）から上述の数式（１）が導かれる。なお、ガウス記号［ ］を用いて、数式（１）を以下の数式（４）のように表すこともできる。
Ｘ＝−［−Ｔ２×ｎ／（Ｔ２−Ｔ１）］ （４）

ここで、第１のクロックの周期Ｔ１を１０とし、第２のクロックの周期Ｔ２を１３とすると、Ｔ１がＴ２より小さいのでフレームスキップが発生する。この場合に数式（１）を計算すると、１，２，３番目（ｎ＝１，２，３）のフレームスキップが発生するフレーム番号Ｘはそれぞれ５，９，１３となる。

図４は、フレームリピートが発生する場合のデコーダボードとグラフィックボードの出力フレームを示す図である。デコーダボード６側の１フレーム目がフレームリピートになっており、続いて４フレーム目もフレームリピートになっている。１フレーム目のフレームリピートは自明とし、次の４フレーム目について考える。デコーダボード６側の４フレーム目までの累積時間とグラフィックボード７側の４フレーム目までの累積時間との大小関係（Ｔ１×４＞Ｔ２×５）は、それ以前での大小関係（例えばＴ１×３＜Ｔ２×４）に比べて逆転している。この逆転がフレームリピートの発生を意味する。従って、第１のクロックと第２のクロックの位相が揃った時点を基準としてデコーダボード６とグラフィックボード７のそれぞれの出力フレームの累積時間を比較すれば、フレームリピートが発生するタイミングを予想することができる。

フレームリピートが発生するフレーム番号をＹとすると、以下の数式（５）が成立する。
Ｔ１×Ｙ＞Ｔ２×（Ｙ＋ｍ−１） （５）
この数式（５）から上述の数式（２）が導かれる。なお、ガウス記号［ ］を用いて、数式（２）を以下の数式（６）のように表すこともできる。
Ｙ＝［１＋Ｔ２×（ｍ−１）／（Ｔ１−Ｔ２）］ （６）

ここで、第１のクロックの周期Ｔ１を１３とし、第２のクロックの周期Ｔ２を１０とすると、Ｔ１がＴ２より大きいのでフレームリピートが発生する。この場合に数式（２）を計算すると、２，３，４番目（ｎ＝２，３，４）のフレームリピートが発生するフレーム番号Ｙはそれぞれ４，７，１１となる。

図５は、フレームスキップに対する補間処理を説明するための図である。動画像データのフレームＤ２にフレームスキップが発生すると予測される場合、その前後のフレームＤ１，Ｄ３に対して補間処理を施す。この補間処理を行わないとモニタ表示にカクツキが発生するが、補間処理を行えばモニタ表示はカクツキが少なく、動きが滑らかになる。なお、スキップ前後の複数フレームに対して補間処理を施してもよい。

図６は、フレームリピートに対する補間処理を説明するための図である。動画像データのフレームＤ２にフレームリピートが発生すると予測される場合、リピートされるフレームＤ２´に対して補間処理を施す。この補間処理を行わないとモニタ表示にカクツキが発生するが、補間処理を行えばモニタ表示はカクツキが少なく、動きが滑らかになる。なお、リピートするフレームとその前後の複数フレームに対して補間処理を施してもよい。

以上説明したように、本発明の実施の形態１では、動画像データがフレームスキップ又はフレームリピートされるタイミングを事前に予測して予めフレーム補間を施しておく。これにより、動画像をリアルタイムに配信する監視システムや会議システムなどにおいてもフレームスキップやフレームリピートによるカクツキの発生が与える視覚的な悪印象を軽減することができる。

実施の形態２．
図７は、本発明の実施の形態２に係る動画符号化配信システムを示す図である。フレーム補間装置９が符号化装置１内のエンコーダボード２の前段に設けられている。復号装置４内のフレームスキップ・リピート発生予測装置８での予測した情報は、オンライン又はオフラインで符号化装置１内のフレーム補間装置９に送られる。フレームスキップ・リピート発生予測装置８の内部構成は、図２に示す実施の形態１の構成と同様である。その他の構成も実施の形態１と同様である。このように符号化装置１で予めフレーム補間を行う場合でも、実施の形態１と同様の効果を得ることができる。

なお、数式（１）（２）において復号装置４の内部にあるＦＩＦＯによる影響を考慮していない。ＦＩＦＯの影響を考慮する場合には、ＦＩＦＯの段数に応じて数式（１）（２）で求めた値を補正すればよい。

１ 符号化装置
２ エンコーダボード
４ 復号装置
６ デコーダボード
７ グラフィックボード
８ フレームスキップ・リピート発生予測装置
９ フレーム補間装置
１１ モニタ
１２ 判定装置
１３ 第１の計算装置
１４ 第２の計算装置

Claims (5)

1. 動画像符号化データを第１のクロックに合わせて復号するデコーダボードと、
   復号された動画像データを第２のクロックに合わせて処理してモニタに表示させる動画像を生成するグラフィックボードと、
   前記第１のクロックと前記第２のクロックの位相差に基づいて前記動画像データがフレームスキップ又はフレームリピートされるタイミングを予測するフレームスキップ・リピート発生予測装置と、
   予測した前記タイミングで前記動画像データのフレームに補間処理を施すフレーム補間装置とを備えることを特徴とする動画符号化配信システム。
2. 前記フレームスキップ・リピート発生予測装置は、前記第１のクロックと前記第２のクロックの位相が揃った時点を基準として前記デコーダボードと前記グラフィックボードのそれぞれのフレーム出力の累積時間を比較することにより、前記動画像データがフレームスキップ又はフレームリピートされるタイミングを予測することを特徴とする請求項１に記載の動画符号化配信システム。
3. 前記フレームスキップ・リピート発生予測装置は、
   前記第１のクロックの周期Ｔ１と前記第２のクロックの周期Ｔ２を比較して、Ｔ１がＴ２より小さい場合にフレームスキップが発生し、Ｔ１がＴ２より大きい場合にフレームリピートが発生すると判定する判定装置と、
   前記第１のクロックと前記第２のクロックの位相が揃った時点を基準として、ｎ番目のフレームスキップが発生するフレームの番号を、Ｘ≧Ｔ２×ｎ／（Ｔ２−Ｔ１）を満たす最小の整数Ｘとして計算する第１の計算装置と、
   前記第１のクロックと前記第２のクロックの位相が揃った時点を基準として、ｍ番目のフレームリピートが発生するフレームの番号を、Ｙ＞Ｔ２×（ｍ−１）／（Ｔ１−Ｔ２）を満たす最小の整数Ｙとして計算する第２の計算装置とを有することを特徴とする請求項１又は２に記載の動画符号化配信システム。
4. 前記フレーム補間装置は、フレームスキップの場合にはスキップ前後のフレーム又はスキップ前後の複数フレームに対して補間処理を施し、フレームリピートの場合にはリピートするフレーム又はリピートするフレームとその前後の複数フレームに対して補間処理を施すことを特徴とする請求項１〜３の何れか１項に記載の動画符号化配信システム。
5. 動画像データを符号化するエンコーダボードを有し、この符号化された動画像符号化データを送信する符号化装置を更に備え、
   前記デコーダボードと前記グラフィックボードは復号装置内に設けられ、
   前記フレーム補間装置は、前記符号化装置内の前記エンコーダボードの前段に設けられているか、又は、前記復号装置内の前記デコーダボードの後段に設けられていることを特徴とする請求項１〜４の何れか１項に記載の動画符号化配信システム。

Images