JP2008011191A - 映像符号化合成装置、映像符号化合成方法及び映像伝送システム - Google Patents

Abstract

【課題】縮小された映像の他、元の解像度を有する映像を容易に表示することが可能な映像符号化合成装置を提供する。
【解決手段】映像送信装置１０１において、映像前処理部１０８は間引き処理を行ってスライス映像を作成し、映像符号化部１０９はスライス映像を符号化する。映像合成装置１０２において、合成部１１３は、多画面合成モードである場合、スライス合成を行い、スライス合成データを出力する。多画面合成モードでない場合、スライス合成を行わず、スライスデータを出力する。映像受信装置１０３では、映像復号部１１６は、スライスデータを復号化する。多画面合成モードである場合、復号化された映像データをそのまま映像表示部１１５に出力し、多画面合成モードでない場合、補完処理を行い、復号化された映像データを映像表示部１１５に出力する。
【選択図】図１

Description

本発明は、入力された映像を符号化し、符号化された複数の映像データを合成する映像符号化合成装置、映像符号化合成方法及び映像伝送システムに関する。

図２１は従来の映像符号化合成装置の構成例を示す図である。映像符号化合成装置は、多地点制御装置１７０１及び複数のユーザ端末１７０２〜１７０６を有して構成される。ユーザ端末１７０２〜１７０６は、それぞれ映像入力部及び映像表示部を有する。図２２はユーザ端末の映像表示部の画面を示す図である。ユーザ端末１７０２の映像表示部の画面１８０１には、ユーザ端末１７０３〜１７０６の映像入力部にそれぞれ入力された映像（ユーザ２、ユーザ３、ユーザ４、ユーザ５）が表示される。

図２３はユーザ端末１７０２の映像入力部の構成を示す図である。なお、ユーザ端末１７０３〜１７０６の映像入力部の構成も同様である。ユーザ端末１７０２は、多地点制御装置１７０１に対し、符号化した映像データを合成可能な形式で出力するものであり、入力処理部１９０１、フレームメモリ１９０２、符号化部１９０３、バッファ１９０４、入力フレーム制御部１９０５、符号化制御部１９０６、データ量監視部１９０７及び送信部１９０８を有する。

入力処理部１９０１は、カメラ（図示せず）からの映像をデジタル映像信号に変換し、さらに全体の１／４に縮小する。フレームメモリ１９０２は、入力処理部１９０１で処理された映像データを蓄積する。符号化部１９０３は、フレームメモリ１９０２に蓄積された映像データを、一列分のマクロブロックラインを１つのビデオパケットとして符号化する。バッファ１９０４は、符号化部１９０３から出力された映像データを蓄積する。データ量監視部１９０７は、バッファ１９０４に蓄積されているデータを監視し、一定の閾値以下である場合、送信部１９０８により送信を行わせる。入力フレーム制御部１９０５は、データ量監視部１９０７の制御に従って、符号化されるフレームを選択する。符号化制御部１９０６は、データ量監視部１９０７の制御に従って、符号化の打ち切り処理を行う。

一方、多地点制御装置１７０１は、ユーザ端末１７０２から、１列分のマクロブロックラインを１つのビデオパケットとして符号化された映像データを受信し、映像データを構成する（特許文献１参照）。図２４は映像データの合成動作を示す図である。図２４（Ａ）は１列分のマクロブロックラインを１つのビデオパケット２００１として符号化された映像データを示す。図２４（Ｂ）は受信した複数の映像データから構成される合成画面２００２を示す。

特開２００５−２０４６６号公報

上記従来の映像符号化合成装置では、以下に掲げる問題点があった。即ち、ユーザ端末で入力された映像を縮小後に符号化して伝送する際、多地点制御装置が介在する場合、受信側のユーザ端末では、縮小された映像のみ表示可能であり、元の解像度の映像を表示することができなかった。また、各ユーザ端末で発生する符号量を考慮しておらず、ユーザ端末に入力される映像特性のばらつきが大きい場合、ユーザ端末間で画質が不均一になっていた。

また、従来例では、画像認識機能と組み合わせ、この画像認識の出力結果を符号化する際の符号量制御に反映させることで、例えば、人の顔領域を高画質に符号化することが実現可能である。しかし、この場合、画像認識の処理が終わった後に映像の符号化を行うので、映像が符号化されるまでの遅延時間が増大していた。

本発明は、上記事情に鑑みてなされたもので、縮小された映像の他、元の解像度を有する映像を容易に表示することが可能な映像符号化合成装置、映像符号化合成方法及び映像伝送システムを提供することを目的とする。

また、本発明は、入力される映像特性のばらつきが大きい場合でも、分割された映像間で画質を均一にすることが可能な映像符号化合成装置、映像符号化合成方法及び映像伝送システムを提供することを目的とする。

また、本発明は、映像が符号化されるまでの遅延時間を削減することが可能な映像符号化合成装置、映像符号化合成方法及び映像伝送システムを提供することを目的とする。

本発明の映像符号化合成装置は、入力された映像を符号化し、前記符号化された複数の映像データを合成する映像符号化合成装置であって、前記入力された映像を分割する分割部と、前記分割された映像を符号化する符号化部と、異なる映像を元に前記符号化された複数の映像データを、多画面表示となるように合成する合成部と、前記符号化された映像データを復号化する復号化部と、前記復号化された映像データを、一画面表示となるように元の映像データに復元する復元部と、前記合成されて復号化された映像データまたは前記復元された映像データを選択する選択部と、前記選択された映像データによる映像を画面に表示する表示部とを備えるものである。
これにより、縮小された映像の他、元の解像度を有する映像を容易に表示することが可能となる。

また、本発明は、上記の映像符号化合成装置であって、前記選択部は、前記多画面表示あるいは前記一画面表示の要求を入力する要求入力部を備え、さらに、前記入力された要求が前記一画面表示の要求である場合、前記合成部に対し、前記映像データの合成を実行しないように制御する合成制御部を備えたものとする。
これにより、ユーザからの要求に応じて、多画面合成表示と一画面表示とを速やかに切り替えることが可能となる。

また、本発明は、上記の映像符号化合成装置であって、前記分割されて符号化された映像データを、多画面表示となるように合成する場合、符号量が目標符号量になるように前記符号化部を制御する符号化制御部を備えるものとする。
これにより、映像送信装置間で符号量を調整することで、符号量の無駄がなくなり、平均的な画質を向上させることが可能となる。従って、入力された映像特性のばらつきが大きい場合でも、分割された映像間で画質を均一にすることができる。

また、本発明は、上記の映像符号化合成装置であって、前記映像に含まれる特定の対象物を検出する対象物検出部を備え、前記符号化部は、前記特定の対象物が検出された場合、符号化特性を変更するものとする。
これにより、映像が符号化されるまでの遅延時間を削減することが可能となる。

また、本発明は、上記の映像符号化合成装置であって、前記符号化部は、前記検出された特定の対象物の該当領域を前記映像から切り出して符号化するものとする。
これにより、検出された対象物の領域のみ高解像度である映像データを元に高画質に符号化することが可能となる。

また、本発明は、上記の映像符号化合成装置であって、前記符号化部は、前記特定の対象物の検出が終了していない場合、前記特定の対象物に対する過去の検出結果を基に、前記符号化特性を変更するものとする。
これにより、対象物の検出の終了を待つことなく、過去の情報から対象物の領域を高画質に符号化することが可能となる。

また、本発明は、上記の映像符号化合成装置であって、前記符号化部は、前記特定の対象物が検出されなかった場合、前記分割された映像の符号化を省略するものとする。
これにより、対象物が検出されなかった映像データは符号化されないので、ネットワークに送信されるデータ量を削減することが可能となる。

本発明の映像符号化合成方法は、入力された映像を符号化し、前記符号化された複数の映像データを合成する映像符号化合成方法であって、前記入力された映像を分割する分割ステップと、前記分割された映像を符号化する符号化ステップと、異なる映像を元に前記符号化された複数の映像データを、多画面表示となるように合成する合成ステップと、前記符号化された映像データを復号化する復号化ステップと、前記復号化された映像データを、一画面表示となるように元の映像データに復元する復元ステップと、前記合成されて復号化された映像データまたは前記復元された映像データを選択する選択ステップと、前記選択された映像データによる映像を画面に表示する表示ステップとを有するものである。

本発明の映像伝送システムは、映像送信装置、映像合成装置及び映像受信装置がネットワークを介して接続され、入力された映像を符号化し、前記符号化された複数の映像データを合成して表示する映像伝送システムであって、前記映像送信装置は、前記入力された映像を分割する分割部と、前記分割された映像を符号化する符号化部と、前記符号化された映像データを前記ネットワークに送信する第１の送信部とを備え、前記映像合成装置は、前記ネットワークから前記符号化された映像データを受信する第１の受信部と、異なる前記映像送信装置から入力され、前記符号化された複数の映像データを、多画面表示となるように合成する合成部と、前記合成された映像データを前記ネットワークに送信する第２の送信部とを備え、前記映像受信装置は、前記ネットワークから前記符号化された映像データを受信する第２の受信部と、前記符号化された映像データを復号化する復号化部と、前記復号化された映像データを、一画面表示となるように元の映像データに復元する復元部と、前記合成されて復号化された映像データまたは前記復元された映像データを選択する選択部と、前記選択された映像データによる映像を画面に表示する表示部とを備えるものである。

本発明によれば、縮小された映像の他、元の解像度を有する映像を容易に表示することが可能な映像符号化合成装置、映像符号化合成方法及び映像伝送システムを提供できる。また、入力される映像特性のばらつきが大きい場合でも、分割された映像間で画質を均一にすることが可能な映像符号化合成装置、映像符号化合成方法及び映像伝送システムを提供できる。また、映像が符号化されるまでの遅延時間を削減することが可能な映像符号化合成装置、映像符号化合成方法及び映像伝送システムを提供できる。

本実施形態の映像符号化合成装置は、例えば監視カメラの撮影画像を伝送する映像伝送システムなどに適用されるものである。この種の映像伝送システムは、複数のカメラ等から入力される映像を符号化し、符号化された映像データを１つの画面に合成して表示する機能などを備えている。以下に本実施形態に係る映像符号化合成装置及び映像伝送システムの構成及び動作の例を説明する。

（第１の実施形態）
図１は本発明の第１の実施形態に係る映像伝送システムの構成を示す図である。この映像伝送システムは、複数の映像送信装置１０１ａ〜１０１ｄ、映像合成装置１０２及び複数の映像受信装置１０３ａ〜１０３ｄが第１のネットワーク１０４及び第２のネットワーク１０５を介して接続された構成を有する。ここで、映像送信装置１０１ａ〜１０１ｄを映像送信装置１０１と総称する。同様に、映像受信装置１０３ａ〜１０３ｄを映像受信装置１０３と総称する。

映像送信装置１０１は、カメラ（図示せず）からの映像データを入力し、入力した映像データを符号化して第１のネットワーク１０４に伝送する。映像合成装置１０２は、第１のネットワーク１０４から、複数の映像送信装置１０１でそれぞれ符号化された映像データを受信し、多画面表示となるように、これらの映像データを合成して第２のネットワーク１０５に伝送する。映像受信装置１０３は、第２のネットワーク１０５から、符号化された映像データを受信し、受信した映像データを復号化して表示する。第１のネットワーク１０４は、ＬＡＮあるいはＰＣＩ等の装置内のバスからなり、映像送信装置１０１及び映像合成装置１０２を接続する。第２のネットワーク１０５は、ＬＡＮあるいはＰＣＩ等の装置内のバスを有して構成され、映像合成装置１０２及び映像受信装置１０３を接続する。

映像送信装置１０１は、映像入力部１０７、映像前処理部１０８、映像符号化部１０９、送受信部１１０及び符号化制御部１０６を有して構成される。映像入力部１０７は、カメラからの映像を入力する。映像前処理部１０８は、分割部の機能を有するもので、映像入力部１０７により取り込まれた映像データに対し、間引き処理を行ってスライス映像データを生成する。映像符号化部１０９は、符号化部の機能を有するもので、映像前処理部１０８により生成されたスライス映像データをスライス符号化する。送受信部１１０は、スライス符号化された映像データを第１のネットワーク１０４に送信する。符号化制御部１０６は、映像前処理部１０８によるスライス映像データの生成、及び映像符号化部１０９によるスライス符号化を制御する。

映像合成装置１０２は、送受信部１１４、合成部１１３、送受信部１１２及び合成制御部１１１を有して構成される。送受信部１１４は、第１のネットワーク１０４からスライス符号化された映像データを受信する。合成部１１３は、複数のスライス符号化された映像データを合成する。送受信部１１２は、このスライス合成された映像データを第２のネットワーク１０５に送信する。合成制御部１１１は、合成部１１３による合成を制御する。

映像受信装置１０３は、第２のネットワーク１０５からスライス合成された映像データを受信する送受信部１１７、このスライス合成された映像データを復号する映像復号部１１６、復号結果の画像を表示する映像表示部１１５、及びユーザからの要求を入力するユーザインタフェース（ＵＩ）１１８を有して構成される。ここで、映像復号部１１６は、復号化部及び復元部の機能を有しており、ユーザインタフェース１１８は、選択部及び要求入力部の機能を有している。また、映像表示部１１５は表示部の機能を有する。

なお、上記各部の機能は、それぞれに設けられた記憶媒体に格納された制御プログラムをプロセッサが実行することによって実現される。

上記構成を有する第１の実施形態の映像伝送システムの動作を示す。始めに、映像前処理部１０８の動作を示す。図２は第１の実施形態における間引き処理及びスライス映像作成処理を示す図である。

入力映像２０１は、画素レベルで見ると、入力映像２０２に示すように「１、２、…、ｙｘ」の画素からなる。映像前処理部１０８は、入力映像２０１の間引き処理を行う際、入力映像２０１を画素レベルで間引き、スライス映像２０３を４面生成する。スライス映像２０３は、画素レベルで見ると、スライス映像２０４に示すように例えば「１、３、５、…」の画素からなる。なお、本実施形態では、２画素おきに間引くことでスライス映像を４面生成する場合を示すが、間引き方法は特に限定されるものでなく、符号化制御部１０６によって任意の間引き方法に設定可能である。

図３は第１の実施形態の映像符号化部１０９におけるマクロブロックの取り扱いを示す図である。マクロブロックは、映像を符号化する際の単位であり、例えば１６ｘ１６画素からなる。マクロブロック（ＭＢ）には、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４などの国際標準規格等が用いられる。前述したように、映像前処理部１０８によって入力映像２０１から生成されたスライス映像２０３は、マクロブロックＭＢ（１）、ＭＢ（２）、…、ＭＢ（（ｋ＋１）ｎ）から構成される。映像符号化部１０９は、このマクロブロックを基本単位としてスライス符号化を行う。なお、スライス符号化の詳細については後述する。また、他のスライス映像も、同様にマクロブロックから構成される。

図４は第１の実施形態の合成部１１３におけるスライス合成動作を示す図である。合成部１１３は、映像送信装置１０１ａでスライス符号化されたスライス符号化済データ４０１、映像送信装置１０１ｂでスライス符号化されたスライス符号化済データ４０２、映像送信装置１０１ｃでスライス符号化されたスライス符号化済データ４０３、及び映像送信装置１０１ｄでスライス符号化されたスライス符号化済データ４０４を、スライス合成し、スライス合成データ４０５として出力する。

スライス符号化済データ４０１は、スライスデータ１−１、１−２、１−３、１−４からなる。同様に、スライス符号化済データ４０２は、スライスデータ２−１、２−２、２−３、２−４からなる。スライス符号化済データ４０３は、スライスデータ３−１、３−２、３−３、３−４からなる。スライス符号化済データ４０４は、スライスデータ４−１、４−２、４−３、４−４からなる。

スライス合成データ４０５は、各スライス符号化済データから取り出された、スライス符号化済データ４０１の左上のスライスデータ１−１、スライス符号化済データ４０２の右上のスライスデータ２−２、スライス符号化済データ４０３の左下のスライスデータ３−３、及びスライス符号化済データ４０４の右下のスライスデータ４−４が１画面分のスライスデータとして合成される。

例えば、符号化方式としてＨ．２６４に準拠したストリームフォーマットを用いることで、各々のスライスデータの先頭を容易に見つけることができる。また、図３に示すようにマクロブロックを構成することで、スライス符号化済データから取り出したスライスデータを単に結合するだけで、スライス合成データ４０５を合成することが可能である。

図５は第１の実施形態における映像前処理部１０８の動作処理手順を示すフローチャートである。映像前処理部１０８は、映像が入力されるまで待ち（ステップＳ１）、映像が入力されると、図２に示されるようなスライス画像を生成する（ステップＳ２）。この生成されたスライス画像を映像符号化部１０９に出力する（ステップＳ３）。この後、最終のスライス映像が映像符号化部１０９に出力されたか否かを判別し（ステップＳ４）。最終のスライス映像が出力された場合、ステップＳ１の処理に戻って映像入力待ちとなる。一方、最終のスライス映像が出力されていない場合、ステップＳ３の処理に戻る。

図６は第１の実施形態における映像符号化部１０９の動作処理手順を示すフローチャートである。映像符号化部１０９は、スライス映像が入力されるまで待ち（ステップＳ１１）、スライス映像が入力されると、スライス映像からマクロブロック（ＭＢ）を生成する（ステップＳ１２）。生成されたマクロブロックを用いてスライス符号化を行う（ステップＳ１３）。このスライス符号化の詳細については後述する。そして、スライス符号化されたスライスデータを送受信部１１０に出力する（ステップＳ１４）。この後、ステップＳ１１の処理に戻って、次のスライス映像の入力待ちになる。

図７は第１の実施形態のステップＳ１３において映像符号化部１０９で行われるスライス符号化動作を示す図である。まず、映像符号化部１０９は、ステップＳ１２で生成されたＭＢデータ、及び符号化制御部１０６から得られるＭＢ符号化特性を入力し（Ｔ６０１）、ＭＢデータの処理を開始する（Ｔ６０２）。マクロブロック毎に、フレームメモリに格納されている前後数フレーム内でマッチング処理を行って動きベクトルを検出し、動きベクトル情報に基づいて動き補償を行い、予測画像を生成する（Ｔ６０３）。

また、動き補償予測を行ったマクロブロックに対し、面内予測（イントラ予測）を行い、予測画像を生成する（Ｔ６０４）。Ｔ６０３、Ｔ６０４で生成された、それぞれの予測画像に対し、予測誤差を計算し、より誤差が少ない予測画像を選択する（Ｔ６０５）。選択された予測画像と入力されたスライス映像を比較し、予測差分信号を生成する（Ｔ６０６）。

予測差分信号に対し、２次元の周波数成分に分解するＤＣＴ変換を行った後、このＤＣＴ変換係数を、入力されたＭＢ符号化特性（例えば、量子化ステップ）を用いて、離散的な代表値に対応付け、量子化係数を出力する（Ｔ６０７）。

ここでは、ＭＢ符号化特性の一例として、量子化ステップを示す。量子化ステップを小さくすると、マクロブロックの発生符号量が大きくなる。逆に、量子化ステップを大きくすると、マクロブロックの発生符号量が小さくなる。Ｔ６０７で出力された量子化係数を用いて、エントロピー符号化を行い（Ｔ６０８）、スライスデータを出力する。

符号化制御部１０６は、エントロピー符号化の結果、発生した符合量のフィードバックを受けながら、目標とする基準値（例えば１秒間あたりの符号量）を満たせるようにＭＢ符号化特性を制御する。また、Ｔ６０７で出力された量子化係数を用いて、逆量子化及び逆ＤＣＴ変換を行い、予測差分信号を生成する（Ｔ６０９）。

そして、符号化制御部１０６は、上記Ｔ６０５で選択された、動き補償予測処理あるいはイントラ予測処理により生成される予測画像と、Ｔ６０９で生成される予測差分信号とを加算し、復号画像を生成する（Ｔ６１０）。生成された復号画像のマクロブロック境界に対し、ブロック境界が目立たないようにデブロッキングフィルタ処理を施し（Ｔ６１１）、デブロッキングフィルタ処理が施された復号画像をフレームメモリに格納する（Ｔ６１２）。

図８は第１の実施形態における合成部１１３の動作処理手順を示すフローチャートである。合成部１１３は、スライス符号化済データが入力されるまで待ち（ステップＳ２１）、スライス符号化済データが入力されると、入力されたスライスデータをメモリに保持する（ステップＳ２２）。そして、最終のスライスデータであるか否かを判別する。ここでは、４つ目のスライスデータであるか否かの判別が行われる。

最終のスライスデータでない場合、ステップＳ２１の処理に戻って次のスライスデータの入力を待つ。一方、最終のスライスデータである場合、多画面合成モードであるか否かを判別する（ステップＳ２４）。多画面合成モードであるか否かの判別は、映像受信装置１０３のユーザインタフェース（ＵＩ）１０８に入力されるユーザ要求により決定される。その決定されたモード情報は、映像受信装置１０３から映像合成装置１０２に通知される。

ステップＳ２４で多画面合成モードである場合、図４に示すように、スライス合成を行い（ステップＳ２５）、合成されたスライス合成データを送受信部１１２に出力する（ステップＳ２６）。この後、ステップＳ２１の処理に戻る。一方、ステップＳ２４で多画面合成モードでない場合、スライス合成を行わず、そのままステップＳ２６でスライスデータを送受信部１１２に出力する。

図９は第１の実施形態における映像復号部１１６の動作処理手順を示すフローチャートである。映像復号部１１６は、スライスデータが入力されるまで待ち（ステップＳ３１）、スライスデータが入力されると、スライスデータの復号化処理を行う（ステップＳ３２）。このスライスデータの復号化処理は、図７のスライス符号化処理とは逆の処理を実行することで実現される。

そして、最終のスライスデータであるか否かを判別する（ステップＳ３３）。最終のスライスデータでない場合、ステップＳ３１の処理に戻って次のスライスデータの入力を待つ。一方、最終のスライスデータである場合、多画面合成モードであるか否かを判別する（ステップＳ３４）。

多画面合成モードである場合、復号化された映像データをそのまま映像表示部１１５に出力する（ステップＳ３５）。この後、ステップＳ３１の処理に戻る。一方、ステップＳ３４で多画面合成モードでない場合、図２に示す映像前処理部１０８の間引き処理の逆の処理（補完処理）を行い（ステップＳ３６）、ステップＳ３５で、復号化された映像データを映像表示部１１５に出力する。

このように、第１の実施形態の映像符号化合成装置及び映像伝送システムによれば、映像前処理部１０８は間引き処理を行ってスライス映像を作成するとともに、各スライス映像をマクロブロックで構成し、映像符号化部１０９はスライス映像をスライス符号化し、合成部１１２はスライス符号化されたスライスデータを合成する。従って、複数のカメラからの映像データを容易に符号化して合成することができる。また、縮小された映像が合成された多画面表示と、元の解像度を有する映像の一画面表示とを容易に選択することが可能であり、ユーザからの要求に応じて、多画面合成表示と、カメラからの入力映像と同じ解像度を有する映像の一画面表示とを速やかに切り替えることができる。

（第２の実施形態）
図１０は本発明の第２の実施形態に係る映像伝送システムの構成を示す図である。前記第１の実施形態と同一の構成部分については、同一の符号を付することにより、その説明を適宜省略する。第２の実施形態では、前記第１の実施形態と異なり、送受信部１１０は、映像合成装置１０２から符号化制御情報（例えば目標符号量）を受信すると、符号化制御部１０６に出力する。また、合成部１１３には、後述する映像送信装置管理テーブル１００１及びスライス合成データ管理テーブル１００２が保持されている。その他の構成は、前記第１の実施形態と同様である。

上記構成を有する第２の実施形態の映像伝送システムの動作を示す。図１１は第２の実施形態における合成部１１３の動作処理手順を示すフローチャートである。

合成部１１３は、スライス符号化済データが入力されるまで待ち（ステップＳ４１）、スライス符号化済データが入力されると、入力されたスライスデータを保持する（ステップＳ４２）。さらに、受信したスライスデータの符号量を監視し、映像送信装置管理テーブル１００１及びスライス合成データ管理テーブル１００２を更新する（ステップＳ４３）。

図１２は第２の実施形態における映像送信装置管理テーブル１００１及びスライス合成データ管理テーブル１００２を示す図である。図１２（Ａ）に示す映像送信装置管理テーブル１００１は、映像送信装置１０１が発生する符号量の上限値、及び実際に発生した符号量を管理するテーブルである。図１２（Ｂ）に示すスライス合成データ管理テーブル１００２は、スライス合成データがどの映像送信装置から送られてきたスライスデータで構成されているか、また、そのスライスデータの合計符号量の上限値、及び実際に発生した符号量を管理するテーブルである。

ステップＳ４３では、映像送信装置管理テーブル１００１及びスライス合成データ管理テーブル１００２を用いて目標符号量を算出し、送受信部１１４に出力する。送受信部１１４は、第１のネットワーク１０４を介して、算出された目標符号量を映像送信装置１０１に送信する。映像送信装置１０１内の符号化制御部１０６は、受け取った目標符号量に近くなるようにＭＢ符号化特性を制御する。ここで、目標符号量の算出は、例えば次の（ａ）、（ｂ）、（ｃ）の手順で行われる。

（ａ）スライス合成データ管理テーブル１００２を検索し、目標符号量と発生符号量の差のもっとも大きなスライス合成データを選択する。
（ｂ）選択されたスライス合成データを構成する映像送信装置に関し、映像送信装置管理テーブル１００１を検索し、目標符号量と発生符号量の差のもっとも大きい映像送信装置ＭＡＸ、及び差の最も小さい映像送信装置ＭＩＮを選択する。
（ｃ）映像送信装置ＭＡＸの目標符号量と発生符号量の差に対し、例えば２分の１の値を求め、映像送信装置ＭＩＮの目標符号量に加算する。

このような手順で求められた、映像送信装置ＭＡＸの新しい目標符号量と映像送信装置ＭＩＮの新しい目標符号量が映像送信装置１０１に送信される。これ以降のステップＳ４４〜Ｓ４７の処理については、前記第１の実施形態におけるステップＳ２３〜Ｓ２６の処理と同様であるので、その説明を省略する。

このように、第２の実施形態の映像符号化合成装置及び映像伝送システムによれば、スライス合成データ管理テーブル１００２及び映像送信装置管理テーブル１００１を合成部１１３に保持させることで、映像送信装置１０１間で符号量の割り当てを変更することができる。従って、各スライス画像の画質、すなわち多画面表示時の子画面間の画質を均一にすることができる。

（第３の実施形態）
図１３は本発明の第３の実施形態に係る映像伝送システムの構成を示す図である。前記第１の実施形態と同一の構成部分については、同一の符号を付することにより、その説明を適宜省略する。第３の実施形態では、前記第１の実施形態と異なり、対象物検出部１１０１が新たに設けられている。

この対象検出部１１０１は、映像前処理部１０８からスライス映像を入力し、画像認識機能により特定の対象物を検出し、その検出結果を映像符号化部１０９に出力する。対象物の検出結果は、対象物が含まれるマクロブロックのＭＢ符号化特性を制御し、対象物領域の高画質化を実現するために使用される。

上記構成を有する第３の実施形態の映像伝送システムの動作を示す。図１４は第３の実施形態における符号化処理のタイミングを示す図である。図１４（Ａ）は従来のフレーム符号化による処理タイミングを示す。図１４（Ｂ）は本実施形態のスライス符号化による処理タイミングを示す。

従来のフレーム符号化による処理タイミング１２０１について示す。図１４（Ａ）の最上段には、タイミングステップを表す数字「１、２、３、…」が表されている。上段には、映像の入力タイミングが示され、中段には、対象物の検出タイミングが示され、下段には、フレーム符号化のタイミングが示されている。この場合、２つの映像データ入力に対し、対象物の検出が１回行われている。即ち、従来のフレーム符号化では、タイミング１で入力された映像に対し、タイミング２で対象物検出処理が行われる。また、対象物の検出結果を利用し、タイミング３で対象物の領域を高画質化するようにフレーム符号化が行われる。このように、映像が入力されてから符号化が完了するまで、３ステップの時間が必要となる。

一方、本実施形態のスライス符号化による処理タイミング１２０２について示す。図１４（Ｂ）の最上段には、同様に、タイミングステップを表す数字「１、２、３、…」が表されている。上段には、映像の入力タイミングが示され、中段には、対象物の検出タイミングが示され、下段には、フレーム符号化のタイミングが示されている。映像の入力タイミング及び対象物の検出タイミングについては変化がなく、下段のスライス符号化のタイミングだけが変化している。４つのスライス映像を生成する場合、スライス符号化は、対象物の検出タイミング２と同じタイミングで、開始されている。この場合、対象物検出処理ａが終了した後、この対象物の検出結果を利用し、４番目のスライス映像に対してのみ、対象物の領域を高画質化することが可能となる。

このように、本実施形態のスライス符号化による処理タイミングでは、映像が入力されてから符号化が完了するまでに２ステップが必要であり、従来のフレーム符号化による処理タイミングに比べ、１ステップ分遅延時間を削減できる。

図１５は第３の実施形態における対象物検出部１１０１の動作処理手順を示すフローチャートである。対象物検出部１１０は、スライス映像が入力されるまで待つ（ステップＳ５１）。スライス映像が入力されると、対象物の検出処理を行う（ステップＳ５２）。この対象物の検出処理方法には、例えば特開２００１−２２２７１９に開示されている方法などが用いられる。即ち、この対象物の検出処理方法では、対象画像からエッジ部を抽出してエッジ画像を生成し、エッジ画像の各画素位置において、テンプレートを用いて投票処理を行い、その投票結果に基づき、そのクラスタを評価し、対象画像に含まれる顔の位置及び大きさを求めることが行われる。ステップＳ５２で検出された対象物検出情報を映像符号化部１０９に出力する（ステップＳ３３）。この後、ステップＳ５１の処理に戻る。

図１６は第３の実施形態における映像符号化部１０９の動作処理手順を示すフローチャートである。映像符号化部１０９は、スライス映像が入力されるまで待つ（ステップＳ６１）。スライス映像が入力されると、対象物検出部１１０１から対象物検出情報が得られているか否かを判別する（ステップＳ６２）。対象物検出情報を得られていない場合、前記第１の実施形態のステップＳ１２〜Ｓ１４の処理と同様、ステップＳ６３〜Ｓ６５の処理を行う。

一方、対象物検出情報を得られている場合、スライス映像からマクロブロックを生成し（ステップ６６）、符号化制御部１０６から与えられるＭＢ符号化特性に対し、対象物検出情報に基づいて補正を加える（ステップＳ６７）。具体的に、対象物が検出された領域に含まれるマクロブロックの量子化ステップをより小さな値に変更する。この後、ステップＳ６８、Ｓ６９の処理では、ステップＳ６４、Ｓ６５と同様の処理を行う。

このように、第３の実施形態の映像符号化合成装置及び映像伝送システムによれば、対象物検出部１１０１を設けることで、映像が符号化されるまでの遅延時間を削減でき、さらに、対象物が検出された領域を高画質化することができる。

なお、ＭＢ符号化特性を補正する際、特定の量子化ステップ値（例えば、値４０）を使用し、映像送信部１０１及び映像受信部１０３間で特定の量子化ステップ値に関する情報を事前に交換しておいてもよい。これにより、付加的な情報を伝送することなく、映像ストリームにより対象物の検出結果を伝送することが可能となる。また、映像受信装置１０３の映像表示部１１５は、対象物の検出領域を知ることができ、該当する領域に枠を付ける等、強調表示を行うことができる。

また、上記実施形態では、最後のスライス映像のスライス符号化時に対象物検出情報を利用しているが、対象物検出処理時間に合わせて変更することも可能である。

また、上記実施形態では、スライス映像のスライス符号化を、スライス映像１、スライス映像２、スライス映像３、スライス映像４の順序で行っているが、映像送信装置毎にその順序を変更してもよい。例えば、図４に示すスライス合成の場合、合成されるスライスデータに対応するスライス映像を、最後にスライス符号化する。これにより、対象物検出の結果を利用して対象物領域の高画質化が行われているスライス映像のみ、スライス合成に用いることができる。

（第４の実施形態）
第４の実施形態における映像符号化合成装置及び映像伝送システムの構成は、前記第１の実施形態と同一である。図１７は本発明の第４の実施形態における映像前処理部１０８の動作処理手順を示すフローチャートである。第４の実施形態のステップＳ７１〜Ｓ７３の処理は、前記第１の実施形態のステップＳ１〜Ｓ３の処理と同一であるので、その説明を省略する。

ステップＳ７３で映像符号化部１０９にスライス映像を出力した後、映像前処理部１０８は、最終のスライス映像の１つ前であるか否かを判別する（ステップＳ７４）。最終のスライス映像の１つ前でない場合、ステップＳ７３の処理に戻る。一方、最終のスライス映像の１つ前である場合、スライス映像ではなく、カメラから入力されたフレーム映像を、映像符号化部１０９に出力する（ステップＳ７５）。この後、ステップＳ７１の処理に戻る。

図１８は第４の実施形態における映像符号化部１０９の動作処理手順を示すフローチャートである。映像符号化部１０９は、基本的に、前記第１の実施形態における図６及び前記第３の実施形態における図１６の処理と同様であるが、以下の処理において異なる。即ち、ステップＳ８１、Ｓ８２の処理は、図１６のステップＳ６１、Ｓ６２の処理と同じであり、ステップＳ８３〜Ｓ８５の処理は、図６のステップＳ１２〜Ｓ１４と同じであり、ステップＳ８７〜Ｓ９０は、図１６のステップＳ６６〜Ｓ６９の処理と同じである。

ステップＳ８２で対象物検出情報を得られている場合、この対象物検出情報を用いて、映像前処理部１０８から受け取ったフレーム映像から、対象物の検出領域の切り出しを行う（ステップＳ８６）。この対象物の検出領域の切り出しを行うことで、最後のスライス映像の代わりに、フレーム映像からの切り出し領域をスライス符号化する。

このように、第４の実施形態の映像符号化合成装置及び映像伝送システムによれば、ステップＳ７５でフレーム映像を出力し、ステップＳ８６で対象物の検出領域の切り出しを行うことで、最後のスライス映像の代わりに、切り出されたフレーム映像を符号化する。これにより、対象物の検出領域のみ、高解像度な映像データを元に高画質にスライス符号化することができる。

なお、対象物の検出領域が大きい場合、縮小処理を行ってからスライス符号化を行うことも可能である。また、フレーム映像を用いるのは、最後のスライス映像としているが、最後のスライス映像に限定することなく、対象物検出処理部の処理時間に合わせて変更することも可能である。

（第５の実施形態）
第５の実施形態における映像符号化合成装置及び映像伝送システムの構成は、前記第１の実施形態と同一である。図１９は本発明の第５の実施形態における映像符号化部１０９の動作処理手順を示すフローチャートである。第５の実施形態の処理は、基本的に、前記第３の実施形態における図１６の処理と同様であるが、ステップＳ１０３の処理において異なる。即ち、ステップＳ１０１、Ｓ１０２の処理は、図１６のステップＳ６１、Ｓ６２の処理と同じであり、ステップＳ１０４〜Ｓ１０７の処理は、図１６のステップＳ６６〜Ｓ６９の処理と同じである。

映像符号化部１０９は、ステップＳ１０２で対象物検出情報が得られない場合、対象物検出部１１０１に保持された過去の対象物検出情報を取り出す（ステップＳ１０３）。この取り出された過去の対象物検出情報を用いて、対象物検出部の処理が終了するまで対象物の存在確率の高い領域を高画質に符号化する。

このように、第５の実施形態の映像符号化合成装置及び映像伝送システムによれば、過去の対象物検出情報を保持することにより、対象物の存在確率の高い領域を高画質にスライス符号化することができる。

（第６の実施形態）
第６の実施形態における映像符号化合成装置及び映像伝送システムの構成は、前記第１の実施形態と同一である。図２０は本発明の第６の実施形態における映像符号化部１０９の動作処理手順を示すフローチャートである。第６の実施形態の処理は、基本的に、前記第３の実施形態における図１６の処理と同様であるが、後述する処理において異なる。即ち、ステップＳ１１１〜Ｓ１１５の処理は、図１６のステップＳ６１〜Ｓ６５の処理と同じであり、ステップＳ１１７〜Ｓ１２０の処理は、図１６のステップＳ６６〜Ｓ６９の処理と同じである。

映像符号化部１０９は、ステップＳ１１２で対象物検出情報が得られた場合、対象物の検出情報が含まれているか否かを判別する（ステップＳ１１６）。対象物の検出情報が含まれていない場合、ステップＳ１１１の処理に戻り、スライス符号化をスキップする。一方、対象物の検出情報が含まれている場合、ステップＳ１１７の処理に移行する。

このように、第６の実施形態の映像符号化合成装置及び映像伝送システムによれば、対象物検出情報に対象物の検出情報を含むか否かを判断し、対象物が存在しないスライス映像のスライス符号化をスキップすることで、ネットワーク上に送信されるスライスデータ量を削減することができる。

なお、本発明は上記の実施形態において示されたものに限定されるものではなく、明細書の記載、並びに周知の技術に基づいて、当業者が変更、応用することも本発明の予定するところであり、保護を求める範囲に含まれる。

例えば、ネットワークに有線ＬＡＮ、無線ＬＡＮ、公衆網などを用いることで、遠隔地の映像を符号化して伝送し、複数の映像を合成及び表示可能な映像伝送システムを構築することが可能である。また、上記実施形態では、スライス数が値４である場合を示したが、本発明は、この他、画素を間引き可能な値「９、１６、２５、…」などについても、同様に適用可能である。

また、上記実施形態では、スライス合成されるスライスデータについては、単純間引きによって得る例を示している。例えば、図４のスライス符号化済データ４０１では、スライスデータ１−２、１−３、１−４を単純間引きしてスライスデータ１−１を得ている。本発明はこの単純間引きに限らず、周辺画素値の平均値としても同様に適用可能である。例えば、図２の入力映像２０２において、画素１，２，ｘ＋１，ｘ＋２の画素値を加算して４で割った値からスライスデータを求めるようにしてもよい。一画面に戻す際には、逆の演算を行えばよい。

また、上記実施形態では、複数のカメラから入力される映像を対象としていたが、カメラに限らず、複数の記録媒体に記録された映像を入力する場合にも、本発明は同様に適用可能である。

本発明は、縮小された映像の他、元の解像度を有する映像を容易に表示することが可能となる効果、入力される映像特性のばらつきが大きい場合でも、分割された映像間で画質を均一にすることが可能となる効果、映像が符号化されるまでの遅延時間を削減することが可能となる効果を有し、入力された映像を符号化し、符号化された複数の映像データを合成する映像符号化合成装置、映像符号化合成方法及び映像伝送システム等に有用である。

本発明の第１の実施形態に係る映像伝送システムの構成を示す図 第１の実施形態における間引き処理及びスライス映像作成処理を示す図 第１の実施形態の映像符号化部におけるマクロブロックの取り扱いを示す図 第１の実施形態の合成部におけるスライス合成動作を示す図 第１の実施形態における映像前処理部の動作処理手順を示すフローチャート 第１の実施形態における映像符号化部の動作処理手順を示すフローチャート 第１の実施形態のステップＳ１３において映像符号化部で行われるスライス符号化動作を示す図 第１の実施形態における合成部の動作処理手順を示すフローチャート 第１の実施形態における映像復号部の動作処理手順を示すフローチャート 本発明の第２の実施形態に係る映像伝送システムの構成を示す図 第２の実施形態における合成部の動作処理手順を示すフローチャート 第２の実施形態における映像送信装置管理テーブル及びスライス合成データ管理テーブルを示す図 本発明の第３の実施形態に係る映像伝送システムの構成を示す図 第３の実施形態における符号化処理のタイミングを示す図 第３の実施形態における対象物検出部の動作処理手順を示すフローチャート 第３の実施形態における映像符号化部の動作処理手順を示すフローチャート 第４の実施形態における映像前処理部の動作処理手順を示すフローチャート 第４の実施形態における映像符号化部の動作処理手順を示すフローチャート 第５の実施形態における映像符号化部の動作処理手順を示すフローチャート 第６の実施形態における映像符号化部の動作処理手順を示すフローチャート 従来の映像符号化合成装置の構成例を示す図 従来例におけるユーザ端末の映像表示部の画面を示す図 従来例におけるユーザ端末の映像入力部の構成を示す図 従来例における映像データの合成動作を示す図

符号の説明

１０１ 映像送信装置
１０２ 映像合成装置
１０３ 映像受信装置
１０４ 第１のネットワーク
１０５ 第２のネットワーク
１０７ 映像入力部
１０８ 映像前処理部
１０９ 映像符号化部
１１０ 送受信部
１１１ 合成制御部
１１２、１１４ 送受信部
１１３ 合成部
１１５ 映像表示部
１１６ 映像復号部
１１７ 送受信部
１１８ ユーザインタフェース（ＵＩ）

Claims (9)

1. 入力された映像を符号化し、前記符号化された複数の映像データを合成する映像符号化合成装置であって、
   前記入力された映像を分割する分割部と、
   前記分割された映像を符号化する符号化部と、
   異なる映像を元に前記符号化された複数の映像データを、多画面表示となるように合成する合成部と、
   前記符号化された映像データを復号化する復号化部と、
   前記復号化された映像データを、一画面表示となるように元の映像データに復元する復元部と、
   前記合成されて復号化された映像データまたは前記復元された映像データを選択する選択部と、
   前記選択された映像データによる映像を画面に表示する表示部と
   を備える映像符号化合成装置。
2. 請求項１記載の映像符号化合成装置であって、
   前記選択部は、前記多画面表示あるいは前記一画面表示の要求を入力する要求入力部を備え、さらに、
   前記入力された要求が前記一画面表示の要求である場合、前記合成部に対し、前記映像データの合成を実行しないように制御する合成制御部を備えた映像符号化合成装置。
3. 請求項１記載の映像符号化合成装置であって、
   前記分割されて符号化された映像データを、多画面表示となるように合成する場合、符号量が目標符号量になるように前記符号化部を制御する符号化制御部を備える映像符号化合成装置。
4. 請求項１記載の映像符号化合成装置であって、
   前記映像に含まれる特定の対象物を検出する対象物検出部を備え、
   前記符号化部は、前記特定の対象物が検出された場合、符号化特性を変更する映像符号化合成装置。
5. 請求項４記載の映像符号化合成装置であって、
   前記符号化部は、前記検出された特定の対象物の該当領域を前記映像から切り出して符号化する映像符号化合成装置。
6. 請求項４記載の映像符号化合成装置であって、
   前記符号化部は、前記特定の対象物の検出が終了していない場合、前記特定の対象物に対する過去の検出結果を基に、前記符号化特性を変更する映像符号化合成装置。
7. 請求項４記載の映像符号化合成装置であって、
   前記符号化部は、前記特定の対象物が検出されなかった場合、前記分割された映像の符号化を省略する映像符号化合成装置。
8. 入力された映像を符号化し、前記符号化された複数の映像データを合成する映像符号化合成方法であって、
   前記入力された映像を分割する分割ステップと、
   前記分割された映像を符号化する符号化ステップと、
   異なる映像を元に前記符号化された複数の映像データを、多画面表示となるように合成する合成ステップと、
   前記符号化された映像データを復号化する復号化ステップと、
   前記復号化された映像データを、一画面表示となるように元の映像データに復元する復元ステップと、
   前記合成されて復号化された映像データまたは前記復元された映像データを選択する選択ステップと、
   前記選択された映像データによる映像を画面に表示する表示ステップと
   を有する映像符号化合成方法。
9. 映像送信装置、映像合成装置及び映像受信装置がネットワークを介して接続され、入力された映像を符号化し、前記符号化された複数の映像データを合成して表示する映像伝送システムであって、
   前記映像送信装置は、
   前記入力された映像を分割する分割部と、
   前記分割された映像を符号化する符号化部と、
   前記符号化された映像データを前記ネットワークに送信する第１の送信部とを備え、
   前記映像合成装置は、
   前記ネットワークから前記符号化された映像データを受信する第１の受信部と、
   異なる前記映像送信装置から入力され、前記符号化された複数の映像データを、多画面表示となるように合成する合成部と、
   前記合成された映像データを前記ネットワークに送信する第２の送信部とを備え、
   前記映像受信装置は、
   前記ネットワークから前記符号化された映像データを受信する第２の受信部と、
   前記符号化された映像データを復号化する復号化部と、
   前記復号化された映像データを、一画面表示となるように元の映像データに復元する復元部と、
   前記合成されて復号化された映像データまたは前記復元された映像データを選択する選択部と、
   前記選択された映像データによる映像を画面に表示する表示部とを備える映像伝送システム。

Images