JP2013009098A - 多拠点テレビ会議システム - Google Patents

Abstract

【課題】いずれの受信端末においても表示されない映像領域のエンコードを停止することで、表示される映像に影響を与えずに端末及び多拠点接続装置の負荷を減少させる。
【解決手段】遠隔通信端末装置１０は、映像データの受信可能解像度を中継装置３０に通知する能力通知部３０６と、映像データのエンコード領域の解像度を決定する解像度決定部３０３と、決定された解像度の映像データ領域を圧縮するエンコード部３０４と、を備え、中継装置３０は、各能力通知部より通知された各受信可能解像度に基づく解像度通知情報を、映像データ送信端末となる遠隔通信端末装置に通知する解像度通知部３１５を備え、解像度決定部は、解像度通知部より通知された解像度通知情報に基づいて、映像データ受信端末となる各遠隔通信端末装置の全てにおいて表示されない映像データの領域が非エンコード領域となるようにエンコード領域の解像度を決定する。
【選択図】図４

Description

本発明はテレビ会議システム等、遠隔地にネットワークで映像を配信するシステムに適用可能な端末、及び、多拠点接続装置に関する発明である。

遠隔会議システムでは、送信端末は圧縮（エンコード）技術を用いて冗長な情報を取り除いた状態で映像・音声をネットワークに送信し、受信端末は、伸張（デコード）技術を用いて受信した映像・音声を再生する。
複数の端末が相互に映像・音声を送受信する場合においては、各送信端末は圧縮した映像・音声を多拠点接続装置に対して送信し、多拠点接続装置は各送信端末から受信した映像・音声から、受信端末の能力に応じた映像を生成して転送する多拠点接続技術が考えられ、既に知られている。
遠隔会議システムでは、送信端末が送信する映像の解像度と、受信端末が受信した映像を表示する解像度が異なる場合、受信した映像を受信端末において表示可能となるように映像の解像度を変更する必要がある。多拠点接続の遠隔会議においては、解像度の変更は多拠点接続装置が行う方式が一般的である。
このように、受信側の処理能力を考慮して送信側のエンコードパラメータの動的な制御を行う技術が記載された文献として、特許文献１が挙げられる。特許文献１には、状況に応じて適切なフレームレートで動画データを伝送する目的で、フレーム受信率に応じてフレームレートを制御する機能を備えたビデオ会議システムについて開示されている。このビデオ会議システムにおいて、受信機は送信機にフレーム受信率の情報を送信し、送信機は伝達されたフレーム受信率に応じて送信フレームレートを制御することにより、ＣＰＵのリソースを無駄遣いすることなく適切なフレームレートで動画データを伝送する構成が開示されている。

従来の多拠点接続の遠隔会議システムにおいて、送信解像度と受信解像度のアスペクト比が異なる場合、映像の一部を切り取る処理が行われる。この処理は、送信端末が映像をエンコード処理した後に、多拠点接続装置がデコード処理をして映像の一部を切り取るという手順にて行われる。つまり、送信端末によりエンコードされた映像の一部は受信端末に転送されないまま破棄されることとなる。従って、送信端末のエンコード処理と多拠点接続装置のデコード処理の際に、ＣＰＵリソースが必要以上に消費されているという問題があった。この問題は、特許文献１においても解決されていない。
本発明は、上述の事情に鑑みてなされたものであり、ＴＶ会議システムにおいて、いずれの受信端末においても表示されない映像領域のエンコードを停止することで、表示される映像に影響を与えずに端末及び多拠点接続装置の負荷を低減させることを目的とする。

上記の課題を解決するために、請求項１に記載の発明は、データの送受信を行う複数の遠隔通信端末装置と、通信ネットワークを介して該各遠隔通信端末装置間の映像データを中継する中継装置と、を備えた多拠点テレビ会議システムであって、前記遠隔通信端末装置は、映像データの受信可能解像度を前記中継装置に通知する能力通知部と、送信する映像データのエンコード領域の解像度を決定する解像度決定部と、該解像度決定部により決定された解像度の映像データ領域を圧縮するエンコード部と、を備え、前記中継装置は、前記各能力通知部より通知された前記各受信可能解像度に基づく解像度通知情報を、映像データ送信端末となる前記遠隔通信端末装置に通知する解像度通知部を備え、前記解像度決定部は、前記解像度通知部より通知された前記解像度通知情報に基づいて、映像データ受信端末となる前記各遠隔通信端末装置の全てにおいて表示されない映像データの領域が非エンコード領域となるように前記エンコード領域の解像度を決定することを特徴とする。

本発明によれば、中継装置は映像データ送信端末となる遠隔通信端末装置に対して映像データ受信端末となる遠隔通信端末装置の解像度に関する情報を通知し、送信端末は通知された情報に基づいてどの受信端末でも表示されない映像データの領域を判断し、その領域がエンコードされないようにエンコード領域の解像度を決定することで、遠隔通信端末装置及び中継装置のエンコード、デコードに係る負荷を減少させているので、多拠点テレビ会議システム全体として負荷を軽減することができる。

本発明の一実施形態に係る多拠点テレビ会議システムの概略を示す図である。 本発明の一実施形態に係る遠隔通信端末装置のハードウェア構成図である。 本発明の一実施形態に係る中継装置のハードウェア構成図である。 本発明の一実施形態に係る多拠点テレビ会議システムの機能ブロック図である。 本発明の一実施形態に係る多拠点テレビ会議システムのシークエンスチャート図である。 解像度変更処理の一例を示す説明図である。 本発明の第二の実施形態に係る多拠点テレビ会議システムのシークエンスチャート図である。 従来の多拠点テレビ会議システムのシークエンスチャート図である。

本発明の実施の形態を説明する。本発明は、多拠点遠隔会議システムにおいて送信端末の送信する解像度（画面解像度）の設定に際して、以下の特徴を有する。
要するに、多拠点接続装置は送信端末に対して受信端末のアスペクト比の情報を通知し、送信端末は通知された情報に基づいてどの受信端末でも表示されない映像領域を判断し、その領域がエンコードされないように送信解像度を縮小することで、端末の負荷を減少させることが特徴になっている。
上記記載の本発明の特徴について、以下の図面を用いて詳細に解説する。

図１は、本発明の一実施形態に係る多拠点テレビ会議システムの概略を示す図である。一例として３拠点（拠点Ａ、Ｂ、およびＣ）の多拠点テレビ会議システムを示している。
多拠点テレビ会議システム１は、各遠隔通信端末装置（１０Ａ、１０Ｂ、１０Ｃ）と中継装置３０（多拠点接続装置；ＭＣＵ；Multipoint Control Unit）とから構成される。以下、各遠隔通信端末装置（１０Ａ、１０Ｂ、１０Ｃ）をまとめて、遠隔通信端末装置１０と記す。他の装置も同様に表記する。
各遠隔通信端末装置１０は、映像データストリーム等の通信を行う。映像データストリームは、圧縮された映像、あるいは圧縮された映像をネットワークで送信できるように分割(パケット化)したものである。
中継装置３０はインターネットやイントラネット等の通信ネットワーク２０にて接続され、各遠隔通信端末装置１０との各種データ（情報）の送受信を行う。また中継装置３０は、各遠隔通信端末装置１０の間で映像データストリームに基づき作成され、画像の再生に必須な基本データの中継を行う。
さらに、各遠隔通信端末装置１０は、各遠隔通信端末装置用のカメラ（１２Ａ、１２Ｂ、１２Ｃ）、各遠隔通信端末装置用のディスプレイ（１４Ａ、１４Ｂ、１４Ｃ）と接続している。
カメラ１２は、テレビ会議をしている際の映像を撮影する。各遠隔通信端末装置用のディスプレイ１４は、他拠点の映像を表示する。

図２は、本発明の一実施形態に係る遠隔通信端末装置１０のハードウェア構成図である。図２に示されているように、本実施形態の遠隔通信端末装置１０は、遠隔通信端末装置１０全体の動作を制御し、圧縮(エンコード)および伸張（デコード)処理を行うＣＰＵ(Central Processing Unit)１０１、遠隔通信端末装置用プログラムを記憶したＲＯＭ(Read Only Memory)１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ(Random Access Memory)１０３、映像データストリームや音声データ等の各種データを記憶するフラッシュメモリ１０４、ＣＰＵ１０１の制御にしたがってフラッシュメモリ１０４に対する各種データの読み出し又は書き込みを制御するＳＳＤ（Solid State Drive）１０５、フラッシュメモリ等の記録メディア１０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ１０７、遠隔通信端末装置１０を操作する操作ボタン１０８、遠隔通信端末装置１０の電源のＯＮ／ＯＦＦを切り換えるための電源スイッチ１０９、ネットワークを利用してデータ伝送をするためのネットワークＩ／Ｆ１１１、ＣＰＵ１０１の制御に従って外付けのカメラ１２で被写体を撮影し、映像データストリームを得て、映像データストリームの伝送を制御する撮像素子Ｉ／Ｆ１１３、音声を入力するマイク１１４、音声を出力するスピーカ１１５、ＣＰＵ１０１の制御に従ってマイク１１４及びスピーカ１１５との間で音声信号の入出力を処理する音声入出力Ｉ／Ｆ１１６、ＣＰＵ１０１の制御に従って外付けのディスプレイ１４に映像データストリームを伝送するディスプレイＩ／Ｆ１１７、及び上記各構成要素を図２に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン１１０を備えている。

なお、記録メディア１０６は、遠隔通信端末装置１０に対して着脱自在な構成となっている。また、ＣＰＵ１０１の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ１０４に限らず、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）等を用いてもよい。更に、カメラ１２としては、一例としてＣＯＭＳを使用する。ＣＯＭＳは、光を電荷に変換して被写体の画像（映像）を電子化する固体撮像素子であり、被写体を撮像するものであればＣＭＯＳに限らず、ＣＣＤ（Charge Coupled Device）等を用いてもよい。また、ディスプレイ１４は、被写体の画像や操作用アイコン等を表示する液晶や有機ＥＬにより構成されている。
更に、上記遠隔通信端末装置用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア１０６等の、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。

図３は、本発明の一実施形態に係る中継装置のハードウェア構成図である。中継装置３０は、中継装置３０全体の動作を制御するＣＰＵ２０１、中継装置３０を制御するための基本データ中継装置用プログラムを記憶したＲＯＭ２０２、ＣＰＵ２０１のワークエリアとして使用されるＲＡＭ２０３、各種データを記憶するＨＤ(Hard Disk)２０４、ＣＰＵ２０１の制御にしたがってＨＤ２０４に対するデータの読み出し又は書き込みを制御するＨＤＤ(Hard Disk Drive)２０５、フラッシュメモリ等の記録メディア２０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ２０７、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ１４、通信ネットワーク２０を利用してデータ伝送をするためのネットワークＩ／Ｆ２０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード２１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス２１２、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ(Compact Disc Read Only Memory)２１３に対するデータの読み出し又は書き込みを制御するＣＤ−ＲＯＭドライブ２１４、及び、上記各構成要素を図３に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン２１０を備えている。
なお、上述の中継装置用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア２０６やＣＤ−ＲＯＭ２１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。

図４は、本発明の一実施形態に係る多拠点テレビ会議システムの機能ブロック図である。
各遠隔通信端末装置１０は、受信部３０１、デコード部３０２、解像度決定部３０３、エンコード部３０４、送信部３０５、及び能力通知部３０６を備えている。
受信部３０１は、中継装置３０を介して他拠点の遠隔通信端末装置１０から送信された映像データを受信する。また、受信部３０１は、他拠点の遠隔通信端末装置１０のアスペクト比に関する情報を中継装置３０から受信する。デコード部３０２は、受信部３０１が受信した映像データを伸張する。解像度決定部３０３は、中継装置３０から通知された解像度通知情報に基づいて、受信側の拠点のいずれのディスプレイ１４にも表示されない映像データの領域がなくなるように、映像データのエンコード領域の解像度を決定して調整する。エンコード部３０４は、カメラ１２によって撮影された自拠点の映像データを圧縮する。このとき、解像度決定部３０３が決定した解像度の映像データ領域をエンコード領域として圧縮する。送信部３０５は、エンコード部３０４によって圧縮された映像データを中継装置３０に送信する。能力通知部３０６は、自機（遠隔通信端末装置１０）の受信能力（ディスプレイの解像度、利用可能ネットワーク帯域、画面のレイアウトなど）に関する情報を、送信部３０５を介して中継装置３０に送信する。
なお、各拠点Ａ〜Ｃが有するカメラ１２及びディスプレイ１４については、詳細な説明を省略する。

中継装置３０は、受信部３１１、デコード部３１２、合成部３１３、エンコード部３１４、送信部３１５、及び解像度通知部３１６を備えている。
受信部３１１は、各遠隔通信端末装置１０から送信された映像データ、及び受信能力に関する情報等を受信する。デコード部３１２は、受信部３１１によって受信された映像データを伸張する。合成部３１３は、受信端末となる各遠隔通信端末装置１０から通知された受信能力に合わせて解像度を調整した映像データの生成を行う。エンコード部３１４は、合成部３１３によって生成された映像データを再エンコードする。送信部３１５は、エンコード部３１４により再エンコードされた映像データ等を受信端末となる各遠隔通信端末装置１０に送信する。解像度通知部３１６は、受信端末としての遠隔通信端末装置１０の能力通知部３０６から通知されたディスプレイの解像度（受信可能解像度）からアスペクト比を求め、全ての受信端末において表示されない映像データ領域が発生しないアスペクト比（解像度通知情報）を送信端末となる遠隔通信端末装置１０の解像度決定部３０３に対して送信部３１５を介して通知する。

ここで、従来の多拠点会議システムを構成する遠隔通信端末装置は解像度決定部３０３を備えておらず、また中継装置は解像度通知部３１６を備えていないため、以下のような処理が行われていた。図８は、従来の多拠点テレビ会議システムのシークエンスチャート図である。この図には、各ステップにおける映像データの解像度の変化も合わせて記載している。なお、説明のため、従来の遠隔通信端末装置を符号１０−１にて示し、中継装置を符号３０−１にて示す。また、本発明に係る多拠点会議システムと同一の構成については同一の符号により説明する。
例として、遠隔通信端末装置１０−１Ａが解像度１２８０×７２０（アスペクト比１６：９）の映像データを送信し、遠隔通信端末装置１０−１Ｂが解像度１０２４×７６８（アスペクト比４：３）、遠隔通信端末装置１０−１Ｃが解像度６４０×４８０（アスペクト比４：３）で遠隔通信端末装置１０−１Ａの映像データを表示する構成を考える。送信端末を遠隔通信端末装置１０−１Ａとし、受信端末を遠隔通信端末装置１０−１Ｂおよび遠隔通信端末装置１０−１Ｃとする。

送信側の拠点Ａにあるカメラ１２Ａは、遠隔通信端末装置１０−１Ａに解像度１２８０×７２０の映像データを転送する（ステップＳ１０１）。
エンコード部３０４Ａは、カメラ１２Ａから転送された解像度１２８０×７２０の映像データをエンコードする（ステップＳ１０２）。送信部３０５Ａは、エンコード部３０４Ａによりエンコードされた映像データを中継装置３０−１に送信する（ステップＳ１０３）。送信された映像データは、中継装置３０−１の受信部３１１により受信される（ステップＳ１０４）。
一方、受信端末である遠隔通信端末装置１０−１Ｂ、１０−１Ｃの能力通知部３０６Ｂ、３０６Ｃは、送信部３０５Ｂ、３０５Ｃを介して、中継装置３０−１に対して受信能力としてディスプレイ１４Ｂ、１４Ｃの解像度を通知する（ステップＳ１０５）。具体的には、能力通知部３０６Ｂは、解像度１０２４×７６８で遠隔通信端末装置１０−１Ａからの映像データを表示することを通知する。また、能力通知部３０６Ｃは、解像度６４０×４８０で遠隔通信端末装置１０−１Ａからの映像データを表示することを通知する。

中継装置３０−１の受信部３１１は、各遠隔通信端末装置１０−１Ｂ、１０−１Ｃから送信された解像度の情報を受信する（ステップＳ１０６）。デコード部３１２は、遠隔通信端末装置１０−１Ａから受信した映像データ（解像度１２８０×７２０）をデコードする（ステップＳ１０７）。そして、合成部３１３は、デコードされた映像データの左右の領域（長手方向両端部、図８中斜線部分）を切り取り、解像度９６０×７２０（アスペクト比４：３）の映像データを生成する（ステップＳ１０８）。さらに、切り取り処理の行われた映像データを拡大又は縮小することにより、各遠隔通信端末装置１０−１Ｂ、１０−１Ｃにて表示可能な解像度の２つの映像データ（解像度１０２４×７６８、解像度６４０×４８０）を生成する（ステップＳ１０９）。エンコード部３１４は、合成部３１３において生成された２つの映像データをそれぞれエンコードする（ステップＳ１１０）。送信部３１５は、遠隔通信端末装置１０−１Ｂに対しては解像度１０２４×７６８の映像データを送信し、遠隔通信端末装置１０−１Ｃに対しては解像度６４０×４８０の映像データを送信する（ステップＳ１１１）。
遠隔通信端末装置１０−１Ｂ、１０−１Ｃの受信部３０１Ｂ、３０１Ｃは、中継装置３０−１から映像データを受信する（ステップＳ１１２）。デコード部３０２Ｂ、３０２Ｃは、受信部３０１Ｂ、３０１Ｃにて受信された映像データをデコードする（ステップＳ１１３）。デコードされた映像データは、ディスプレイ１４Ｂ、１４Ｃに表示されることとなる。

遠隔通信端末装置１０−１Ａは、解像度１２８０×７２０の映像データを送信しているが、受信端末では９６０×７２０分の映像データしか利用されていないため、遠隔通信端末装置１０−１Ａにおけるエンコード処理と、中継装置３０−１におけるデコード処理に過剰なリソースが使用されていることになる。
そこで、本発明においては、いずれの受信端末においても表示されない映像領域のエンコードを行わないようにすることで、受信端末に表示される映像に影響を与えることなく、送信端末及び中継装置の負荷を減少させる。

本発明に係る多拠点会議システムにおける各部の動作及びデータの処理について、図５に基づいて具体例により説明する。図５は、本発明の一実施形態に係る多拠点テレビ会議システムのシークエンスチャート図である。この図には、各ステップにおける映像データの解像度の変化も合わせて記載している。
例として、遠隔通信端末装置１０Ａが解像度１２８０×７２０（アスペクト比１６：９）の映像データを送信し、遠隔通信端末装置１０Ｂが解像度１０２４×７６８（アスペクト比４：３）、遠隔通信端末装置１０Ｃが解像度６４０×４８０（アスペクト比４：３）で遠隔通信端末装置１０Ａから送信された映像データを表示する構成を考える。送信端末を遠隔通信端末装置１０Ａとし、受信端末を遠隔通信端末装置１０Ｂおよび遠隔通信端末装置１０Ｃとする。
本発明に係る多拠点テレビ会議システムでは以下のような処理が行われる。

送信側の拠点Ａにあるカメラ１２Ａは、遠隔通信端末装置１０Ａに解像度１２８０×７２０の映像データを転送する（ステップＳ１）。
受信端末である遠隔通信端末装置１０Ｂ、１０Ｃの能力通知部３０６Ｂ、３０６Ｃは、送信部３０５Ｂ、３０５Ｃを介して、中継装置３０に対して受信能力としてディスプレイ１４Ｂ、１４Ｃの解像度を通知する（ステップＳ２）。具体的には、能力通知部３０６Ｂは、解像度１０２４×７６８で遠隔通信端末装置１０Ａからの映像データを表示することを通知する。また、能力通知部３０６Ｃは、解像度６４０×４８０で遠隔通信端末装置１０Ａからの映像データを表示することを通知する。
中継装置３０の受信部３１１は、各遠隔通信端末装置１０Ｂ、１０Ｃから送信された解像度の情報を受信する（ステップＳ３）。解像度通知部３１６は、受信した解像度の情報から各遠隔通信端末装置１０Ｂ、１０Ｃのアスペクト比を求め、求められたアスペクト比を、送信部３１５を介して遠隔通信端末装置１０Ａに「解像度通知情報」として通知する（ステップＳ４）。ここで、遠隔通信端末装置１０Ｂ、１０Ｃのアスペクト比はいずれも４：３であるので、すべての受信端末において、映像データがアスペクト比４：３で表示されることを通知する。なお、解像度通知部３１６から通知する解像度通知情報として、アスペクト比の代わりに各受信端末の解像度を用いてもよい。この場合、解像度決定部３０３は、各受信端末の解像度からエンコード領域の解像度を決定する。

遠隔通信端末装置１０Ａの受信部３０１Ａは、中継装置３０から送信された解像度通知情報を受信する（ステップＳ５）。解像度決定部３０３Ａは、送信部３０５Ａから送信する映像データのアスペクト比が、受信端末にて表示可能なアスペクト比と同一になるように、映像データの解像度の調整を行う（ステップＳ６）。具体的には、解像度決定部３０３Ａはエンコード部３０４Ａに対し、カメラ１２Ａから転送された解像度１２８０×７２０の映像データのうち、解像度９６０×７２０（アスペクト比４：３）分の映像データをエンコードするように命令する。例えば、左右端部の領域（長手方向両端部の領域）をエンコードしない非エンコード領域とし、この部分を除いた領域をエンコードするように命令する。このようにエンコード領域を決定することで、受信端末である遠隔通信端末装置１０Ｂ、１０Ｃの全てにおいて表示されない映像データ領域をエンコードする必要がなくなる。エンコード部３０４Ａは、解像度９６０×７２０の映像データ（エンコード領域）をエンコードする（ステップＳ７）。送信部３０５Ａは、エンコード部３０４Ａによりエンコードされた映像データを中継装置３０に送信する（ステップＳ８）。

中継装置３０の受信部３１１は、送信された映像データを受信する（ステップＳ９）。デコード部３１２は、受信した映像データ（解像度９６０×７２０）をデコードする（ステップＳ１０）。合成部３１３は、映像データを拡大又は縮小することにより、各遠隔通信端末装置１０Ｂ、１０Ｃにて表示可能な解像度の２つの映像データを生成する（ステップＳ１１）。具体的には、映像データを拡大することで解像度を１０２４×７６８に変更した映像データと、映像データを縮小することで解像度を６４０×４８０に変更した映像データを生成する。エンコード部３１４は、合成部３１３において生成された２種類の映像データをそれぞれエンコードする（ステップＳ１２）。送信部３１５は、遠隔通信端末装置１０Ｂに対しては解像度１０２４×７６８の映像データを送信し、遠隔通信端末装置１０Ｃに対しては解像度６４０×４８０の映像データを送信する（ステップＳ１３）。
遠隔通信端末装置１０Ｂ、１０Ｃの受信部３０１Ｂ、３０１Ｃは、中継装置３０から映像データを受信する（ステップＳ１４）。デコード部３０２Ｂ、３０２Ｃは、受信部３０１Ｂ、３０１Ｃによって受信された映像データをデコードする（ステップＳ１５）。デコードされた映像データは、ディスプレイ１４Ｂ、１４Ｃに表示されることとなる。

アスペクト比に合わせて解像度を変更する方法（上記ステップＳ６の処理に相当）について、図６に基づいて説明する。図６は、解像度変更処理の一例を示す説明図である。
ここでは、アスペクト比をＡｘ：Ａｙとし、変更前の映像データの解像度をＸ１×Ｙ１とし、変更後の映像データの解像度（エンコード領域）をＸ２×Ｙ２とする。
《図６（ａ）ケース１「Ａｘ×Ｙ１≧Ａｙ×Ｘ１」の場合》
変更前の解像度に対して送信すべき映像データが横長（又はアスペクト比同一）となる場合である。Ｘ２とＹ２を以下のように求める。
Ｘ２＝Ｘ１
Ｙ２＝Ｘ１×Ａｙ／Ａｘ
例えば、変更前の映像データの上下両端部を非エンコード領域とすることにより、所望のアスペクト比となる解像度の映像データを得ることができる。
《図６（ｂ）ケース２「Ａｘ×Ｙ１＜Ａｙ×Ｘ１」の場合》
変更前の解像度に対して送信すべき映像データが、横に短い場合である。Ｘ２とＹ２を以下のように求める。
Ｘ２＝Ｙ１×Ａｘ／Ａｙ
Ｙ２＝Ｙ１
例えば、変更前の映像データの左右両端部を非エンコード領域とすることにより、所望のアスペクト比となる解像度の映像データを得ることができる。
なお、図６に示した解像度変更処理は一例であって、他の方法を用いて所望の解像度の映像データを得るようにしても良い。また、非エンコード領域の設定方法は上記に限定されるものではなく、例えば映像データの一方の端部側に設定する等してもよい。

以上のように本実施形態においては、受信端末（遠隔通信端末装置）の受信可能解像度のアスペクト比に合わせて、送信端末（遠隔通信端末装置）においてエンコード領域の解像度を調整するので、受信端末側で表示される映像に影響を与えずにエンコードにかかる送信端末のＣＰＵ負荷を低減させることができる。また、いずれの受信端末においても表示されない映像領域のデータについて、送信端末にてエンコードを行わず、また中継装置においてデコードする必要がないため、エンコードにかかる送信端末のＣＰＵ負荷、及びデコードにかかる中継装置のＣＰＵ負荷を低減させることができる。

〔第二の実施形態〕
本発明の第二の実施形態について図７に基づいて説明する。図７は、本発明の第二の実施形態に係る多拠点テレビ会議システムのシークエンスチャート図である。第一の実施形態においては、受信端末のアスペクト比が単一の例であったが、受信端末側で異なるアスペクト比の映像データを受信する必要がある場合の処理例について説明する。なお、第一の実施形態と同一の処理については同一のステップ番号を付して、その説明を省略する。
第一の実施形態において、遠隔通信端末装置１０から中継装置３０への解像度の通知は、受信端末からのみ行っていた（図２、ステップＳ２参照）。本実施形態においては、全ての遠隔通信端末装置１０Ａ、１０Ｂ、１０Ｃから中継装置３０への解像度の通知（ステップＳ２、Ｓ２１）を行う点が異なっている。

例えば、遠隔通信端末装置１０Ａが解像度１２８０×７２０（アスペクト比１６：９）の映像データを送信し、遠隔通信端末装置１０Ｂが解像度１９２０×１２００（アスペクト比１６：１０）、遠隔通信端末装置１０Ｃが解像度６４０×４８０（アスペクト比４：３）で遠隔通信端末装置１０Ａから送信された映像データを表示する構成を考える。送信端末を遠隔通信端末装置１０Ａとし、受信端末を遠隔通信端末装置１０Ｂおよび遠隔通信端末装置１０Ｃとする。
ステップＳ１の処理後、ステップＳ２にて、遠隔通信端末装置１０Ｂ、１０Ｃの能力通知部３０６Ｂ、３０６Ｃは、送信部３０５Ｂ、３０５Ｃを介して、中継装置３０に対してディスプレイの解像度（受信可能解像度）を通知する。具体的には、能力通知部３０６Ｂは、中継装置３０に対して解像度１０２４×７６８で遠隔通信端末装置１０Ａからの映像データを表示することを通知する。また、能力通知部３０６Ｃは、中継装置３０に対して解像度６４０×４８０で遠隔通信端末装置１０Ａからの映像データを表示することを通知する。
また、遠隔通信端末装置１０Ａの能力通知部３０６Ａは、送信部３０５Ａを介して、中継装置３０に対して送信可能な映像データの解像度（送信解像度）を通知する（ステップＳ２１）。

解像度通知部３１６は、通知された送信解像度と全ての受信可能解像度の情報から各遠隔通信端末装置１０Ａ、１０Ｂ、１０Ｃのアスペクト比を求め、いずれの受信端末においても表示されない映像領域が存在するか否かを判断する（ステップＳ２２）。この例では、遠隔通信端末装置１０Ａ、１０Ｂ、１０Ｃのアスペクト比は、それぞれ１６：９（１．７７：１）、１６：１０（１．６：１）、４：３（１．３３：１）であり、遠隔通信端末装置１０Ａの横の比率が一番大きいため、遠隔通信端末装置１０Ｂ、１０Ｃのいずれにおいても表示されない映像データの領域が存在する（ステップＳ６、Ｓ７の映像データの変化参照）。従って、遠隔通信端末装置１０Ｂ、１０Ｃのいずれにおいても表示されない映像データの領域を除外できるように、次に大きい横の比率となるアスペクト比１６：１０を遠隔通信端末装置１０Ａに「解像度通知情報」として通知する（ステップＳ４）。
ステップＳ５からステップＳ１０までの処理を行った後、合成部３１３は、映像データを切り取り、拡大又は縮小することにより、各遠隔通信端末装置１０Ｂ、１０Ｃにて表示可能な解像度の２つの映像データを生成する（ステップＳ２３）。具体的には、映像データを拡大することで解像度を１９２０×１２００に変更した映像データを生成し、映像データの一部を切り取った後、縮小処理することで、解像度を６４０×４８０に変更した映像データを生成する。
以降、ステップＳ１２からステップＳ１５までの処理を行う。

解像度通知部３１６が、遠隔通信端末装置１０Ａに通知するアスペクト比を算出する方法（ステップＳ２２）について、一般化して説明する。
遠隔通信端末装置１０Ａ、１０Ｂ、１０Ｃの解像度を、それぞれＸａ×Ｙａ、Ｘｂ×Ｙｂ、Ｘｃ×Ｙｃとする。
まず、ｍａｘ｛Ｘａ／Ｙａ，Ｘｂ／Ｙｂ，Ｘｃ／Ｙｃ｝＝Ｘａ／Ｙａ のとき、言い換えれば、遠隔通信端末装置１０Ａの解像度の横の比率が一番大きい場合、解像度通知部３１６は、横の比率が次に大きい ｍａｘ｛Ｘｂ／Ｙｂ，Ｘｃ／Ｙｃ｝となるアスペクト比を選択する。
他方、ｍｉｎ｛Ｘａ／Ｙａ，Ｘｂ／Ｙｂ，Ｘｃ／Ｙｃ｝＝Ｘａ／Ｙａ のとき、言い換えれば、遠隔通信端末装置１０Ａの解像度の横の比率が一番小さい場合、解像度通知部３１６は、横の比率が次に小さい ｍｉｎ｛Ｘｂ／Ｙｂ，Ｘｃ／Ｙｃ｝となるアスペクト比を選択する。

このようにして求められたアスペクト比を解像度通知情報として遠隔通信端末装置１０Ａに通知することで、遠隔通信端末装置１０Ａでは、全ての遠隔通信端末装置に表示されない映像データ領域をエンコード対象から除外することができる。
従って、本変形実施形態においても、受信端末（遠隔通信端末装置）の受信可能解像度のアスペクト比に応じて、送信端末（遠隔通信端末装置）においてエンコード領域の解像度を調整するので、受信端末側で表示される映像に影響を与えずにエンコードにかかる送信端末のＣＰＵ負荷を低減させることができる。また、いずれの受信端末においても表示されない映像領域のデータについて、送信端末にてエンコードを行わず、また中継装置においてデコードする必要がないため、エンコードにかかる送信端末のＣＰＵ負荷、及びデコードにかかる中継装置のＣＰＵ負荷を低減させることができる。

〔変形実施形態〕
本発明の第二の実施形態の変形実施形態について図７に基づいて説明する。図７は、本発明の第二の実施形態に係る多拠点テレビ会議システムのシークエンスチャート図である。第二の実施形態においては、中継装置３０の解像度通知部３１６が各遠隔通信端末装置のアスペクト比からいずれの受信端末においても表示されない映像領域が存在するか否かを判断していたが（ステップＳ２２の処理）、この処理を送信端末側で行うようにしてもよい。
例えば、ステップＳ１〜Ｓ３（ステップＳ２１を除く）の処理後、解像度通知部３１６は、通知された全ての受信可能解像度の情報から各遠隔通信端末装置１０Ｂ、１０Ｃのアスペクト比を求める（ステップＳ２２’）。

解像度通知部３１６は、求められた全ての種類のアスペクト比を遠隔通信端末装置１０Ａに「解像度通知情報」として通知する（ステップＳ４’）。
遠隔通信端末装置１０Ａが解像度通知情報を受信（ステップＳ５）した後、解像度決定部３０３Ａは、解像度通知部３１６より通知された全てのアスペクト比と、送信可能な映像データの解像度（送信解像度）とから、遠隔通信端末装置１０Ｂ、１０Ｃのいずれにおいても表示されない映像データの領域が非エンコード領域となるようにエンコード領域の解像度を決定し、非エンコード領域を除外した領域をエンコードするようにエンコード部３０４Ａに対して命令する（ステップＳ６’）。
以降の処理は第二の実施形態と同一であるため、その説明を省略する。

以上のように、本変形実施形態においても、受信端末（遠隔通信端末装置）の受信可能解像度のアスペクト比に応じて、送信端末（遠隔通信端末装置）においてエンコード領域の解像度を調整するので、受信端末側で表示される映像に影響を与えずにエンコードにかかる送信端末のＣＰＵ負荷を低減させることができる。また、いずれの受信端末においても表示されない映像領域のデータについて、送信端末にてエンコードを行わず、また中継装置においてデコードする必要がないため、エンコードにかかる送信端末のＣＰＵ負荷、及びデコードにかかる中継装置のＣＰＵ負荷を低減させることができる。

１…多拠点テレビ会議システム、１０…遠隔通信端末装置、１２…カメラ、１４…ディスプレイ、２０…通信ネットワーク、
３０…中継装置、３０１…受信部、３０２…デコード部、３０３…解像度決定部、３０４…エンコード部、３０５…送信部、３０６…能力通知部、３１１…受信部、３１２…デコード部、３１３…合成部、３１４…エンコード部、３１５…送信部、３１６…解像度通知部

特許登録第３６５８０８７号

Claims (4)

1. データの送受信を行う複数の遠隔通信端末装置と、通信ネットワークを介して該各遠隔通信端末装置間の映像データを中継する中継装置と、を備えた多拠点テレビ会議システムであって、
   前記遠隔通信端末装置は、映像データの受信可能解像度を前記中継装置に通知する能力通知部と、送信する映像データのエンコード領域の解像度を決定する解像度決定部と、該解像度決定部により決定された解像度の映像データ領域を圧縮するエンコード部と、を備え、
   前記中継装置は、前記各能力通知部より通知された前記各受信可能解像度に基づく解像度通知情報を、映像データ送信端末となる前記遠隔通信端末装置に通知する解像度通知部を備え、
   前記解像度決定部は、前記解像度通知部より通知された前記解像度通知情報に基づいて、映像データ受信端末となる前記各遠隔通信端末装置の全てにおいて表示されない映像データの領域が非エンコード領域となるように前記エンコード領域の解像度を決定することを特徴とする多拠点テレビ会議システム。
2. 前記能力通知部から通知された前記各受信可能解像度のアスペクト比が互いに同一である場合に、前記解像度通知部は、映像データ受信端末となる前記遠隔通信端末装置の全ての受信可能解像度が同一のアスペクト比である旨を前記解像度決定部に通知することを特徴とする請求項１に記載の多拠点テレビ会議システム。
3. 前記能力通知部は、映像データの送信解像度を前記中継装置に通知し、
   前記解像度通知部は、前記能力通知部から通知された前記送信解像度と全ての前記各受信可能解像度から、映像データ受信端末となる前記遠隔通信端末装置のいずれにおいても表示されない映像データの領域が存在するか否かを判断し、前記遠隔通信端末装置のいずれにおいても表示されない映像データの領域が存在する場合に、該映像データの領域を除外可能となるアスペクト比を前記解像度決定部に通知することを特徴とする請求項１又は２に記載の多拠点テレビ会議システム。
4. 前記解像度通知部は、前記能力通知部から通知された前記各受信可能解像度のアスペクト比が互いに異なる場合に、全ての種類のアスペクト比を前記解像度決定部に通知し、
   前記解像度決定部は、前記解像度通知部より通知された全てのアスペクト比と送信可能解像度のアスペクト比とから、映像データ受信端末となる前記各遠隔通信端末装置のいずれにおいても表示されない領域が非エンコード領域となるように前記エンコード領域の解像度を決定することを特徴とする請求項１又は２に記載の多拠点テレビ会議システム。

Images