JP2013009098A

JP2013009098A - Multi-point television conference system

Info

Publication number: JP2013009098A
Application number: JP2011139549A
Authority: JP
Inventors: Yosuke Kawamura; 洋介川村
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2011-06-23
Filing date: 2011-06-23
Publication date: 2013-01-10

Abstract

【課題】いずれの受信端末においても表示されない映像領域のエンコードを停止することで、表示される映像に影響を与えずに端末及び多拠点接続装置の負荷を減少させる。
【解決手段】遠隔通信端末装置１０は、映像データの受信可能解像度を中継装置３０に通知する能力通知部３０６と、映像データのエンコード領域の解像度を決定する解像度決定部３０３と、決定された解像度の映像データ領域を圧縮するエンコード部３０４と、を備え、中継装置３０は、各能力通知部より通知された各受信可能解像度に基づく解像度通知情報を、映像データ送信端末となる遠隔通信端末装置に通知する解像度通知部３１５を備え、解像度決定部は、解像度通知部より通知された解像度通知情報に基づいて、映像データ受信端末となる各遠隔通信端末装置の全てにおいて表示されない映像データの領域が非エンコード領域となるようにエンコード領域の解像度を決定する。
【選択図】図４By stopping the encoding of a video area that is not displayed on any receiving terminal, the load on the terminal and the multi-site connection device is reduced without affecting the displayed video.
A remote communication terminal device 10 includes a capability notification unit 306 that notifies a relay device 30 of a receivable resolution of video data, a resolution determination unit 303 that determines a resolution of an encoding area of the video data, and a determined resolution. And the relay unit 30 sends resolution notification information based on each receivable resolution notified from each capability notification unit to a remote communication terminal device serving as a video data transmission terminal. A resolution notifying unit 315 for notification is provided, and the resolution determining unit is configured to display a region of video data that is not displayed in all of the remote communication terminal devices serving as video data receiving terminals based on the resolution notification information notified from the resolution notifying unit. The resolution of the encoding area is determined so as to be the encoding area.
[Selection] Figure 4

Description

本発明はテレビ会議システム等、遠隔地にネットワークで映像を配信するシステムに適用可能な端末、及び、多拠点接続装置に関する発明である。 The present invention relates to a terminal applicable to a system that distributes video over a network to a remote place such as a video conference system, and an invention related to a multi-site connection apparatus.

遠隔会議システムでは、送信端末は圧縮（エンコード）技術を用いて冗長な情報を取り除いた状態で映像・音声をネットワークに送信し、受信端末は、伸張（デコード）技術を用いて受信した映像・音声を再生する。
複数の端末が相互に映像・音声を送受信する場合においては、各送信端末は圧縮した映像・音声を多拠点接続装置に対して送信し、多拠点接続装置は各送信端末から受信した映像・音声から、受信端末の能力に応じた映像を生成して転送する多拠点接続技術が考えられ、既に知られている。
遠隔会議システムでは、送信端末が送信する映像の解像度と、受信端末が受信した映像を表示する解像度が異なる場合、受信した映像を受信端末において表示可能となるように映像の解像度を変更する必要がある。多拠点接続の遠隔会議においては、解像度の変更は多拠点接続装置が行う方式が一般的である。
このように、受信側の処理能力を考慮して送信側のエンコードパラメータの動的な制御を行う技術が記載された文献として、特許文献１が挙げられる。特許文献１には、状況に応じて適切なフレームレートで動画データを伝送する目的で、フレーム受信率に応じてフレームレートを制御する機能を備えたビデオ会議システムについて開示されている。このビデオ会議システムにおいて、受信機は送信機にフレーム受信率の情報を送信し、送信機は伝達されたフレーム受信率に応じて送信フレームレートを制御することにより、ＣＰＵのリソースを無駄遣いすることなく適切なフレームレートで動画データを伝送する構成が開示されている。 In a teleconferencing system, the transmitting terminal transmits video / audio to the network with redundant information removed using compression (encoding) technology, and the receiving terminal receives video / audio received using decompression (decoding) technology. Play.
When multiple terminals mutually transmit and receive video and audio, each transmitting terminal transmits the compressed video and audio to the multi-site connection device, and the multi-site connection device receives the video and audio received from each transmission terminal. Therefore, a multi-site connection technology for generating and transferring a video according to the capability of the receiving terminal is conceived and already known.
In the remote conference system, when the resolution of the video transmitted by the transmission terminal is different from the resolution for displaying the video received by the reception terminal, it is necessary to change the video resolution so that the received video can be displayed on the reception terminal. is there. In a multi-site connection remote conference, the resolution is generally changed by a multi-site connection device.
As described above, Patent Document 1 is cited as a document describing a technique for dynamically controlling the encoding parameter on the transmission side in consideration of the processing capability on the reception side. Patent Document 1 discloses a video conference system having a function of controlling a frame rate according to a frame reception rate for the purpose of transmitting moving image data at an appropriate frame rate according to a situation. In this video conference system, the receiver transmits frame reception rate information to the transmitter, and the transmitter controls the transmission frame rate in accordance with the transmitted frame reception rate, so that CPU resources are not wasted. A configuration for transmitting moving image data at an appropriate frame rate is disclosed.

従来の多拠点接続の遠隔会議システムにおいて、送信解像度と受信解像度のアスペクト比が異なる場合、映像の一部を切り取る処理が行われる。この処理は、送信端末が映像をエンコード処理した後に、多拠点接続装置がデコード処理をして映像の一部を切り取るという手順にて行われる。つまり、送信端末によりエンコードされた映像の一部は受信端末に転送されないまま破棄されることとなる。従って、送信端末のエンコード処理と多拠点接続装置のデコード処理の際に、ＣＰＵリソースが必要以上に消費されているという問題があった。この問題は、特許文献１においても解決されていない。
本発明は、上述の事情に鑑みてなされたものであり、ＴＶ会議システムにおいて、いずれの受信端末においても表示されない映像領域のエンコードを停止することで、表示される映像に影響を与えずに端末及び多拠点接続装置の負荷を低減させることを目的とする。 In the conventional multi-site connection remote conference system, when the aspect ratios of the transmission resolution and the reception resolution are different, a process of cutting out a part of the video is performed. This process is performed by a procedure in which after the transmitting terminal encodes the video, the multi-site connection apparatus performs a decoding process to cut out a part of the video. That is, a part of the video encoded by the transmitting terminal is discarded without being transferred to the receiving terminal. Therefore, there has been a problem that CPU resources are consumed more than necessary during the encoding process of the transmitting terminal and the decoding process of the multi-site connection apparatus. This problem is not solved even in Patent Document 1.
The present invention has been made in view of the above circumstances, and in a video conference system, by stopping the encoding of a video area that is not displayed on any receiving terminal, the terminal is not affected. And it aims at reducing the load of a multi-site connection apparatus.

上記の課題を解決するために、請求項１に記載の発明は、データの送受信を行う複数の遠隔通信端末装置と、通信ネットワークを介して該各遠隔通信端末装置間の映像データを中継する中継装置と、を備えた多拠点テレビ会議システムであって、前記遠隔通信端末装置は、映像データの受信可能解像度を前記中継装置に通知する能力通知部と、送信する映像データのエンコード領域の解像度を決定する解像度決定部と、該解像度決定部により決定された解像度の映像データ領域を圧縮するエンコード部と、を備え、前記中継装置は、前記各能力通知部より通知された前記各受信可能解像度に基づく解像度通知情報を、映像データ送信端末となる前記遠隔通信端末装置に通知する解像度通知部を備え、前記解像度決定部は、前記解像度通知部より通知された前記解像度通知情報に基づいて、映像データ受信端末となる前記各遠隔通信端末装置の全てにおいて表示されない映像データの領域が非エンコード領域となるように前記エンコード領域の解像度を決定することを特徴とする。 In order to solve the above-mentioned problem, the invention described in claim 1 is a relay that relays video data between a plurality of remote communication terminal devices that transmit and receive data and each remote communication terminal device via a communication network. The remote communication terminal device includes a capability notification unit for notifying the relay device of a receivable resolution of video data, and a resolution of an encoding area of the video data to be transmitted. A resolution determining unit for determining, and an encoding unit for compressing the video data area having the resolution determined by the resolution determining unit, wherein the relay device sets each receivable resolution notified from each capability notifying unit. A resolution notification unit for notifying the remote communication terminal device serving as a video data transmission terminal of resolution notification information based on the resolution notification unit. Based on the notified resolution notification information, the resolution of the encoding area is determined so that an area of video data that is not displayed in all the remote communication terminal devices that are video data receiving terminals becomes a non-encoding area. Features.

本発明によれば、中継装置は映像データ送信端末となる遠隔通信端末装置に対して映像データ受信端末となる遠隔通信端末装置の解像度に関する情報を通知し、送信端末は通知された情報に基づいてどの受信端末でも表示されない映像データの領域を判断し、その領域がエンコードされないようにエンコード領域の解像度を決定することで、遠隔通信端末装置及び中継装置のエンコード、デコードに係る負荷を減少させているので、多拠点テレビ会議システム全体として負荷を軽減することができる。 According to the present invention, the relay device notifies the remote communication terminal device serving as the video data transmission terminal of information relating to the resolution of the remote communication terminal device serving as the video data reception terminal, and the transmission terminal is based on the notified information. By determining the area of video data that is not displayed on any receiving terminal and determining the resolution of the encoding area so that the area is not encoded, the burden on encoding and decoding of the remote communication terminal device and relay device is reduced. Therefore, the load can be reduced as a whole multi-site video conference system.

本発明の一実施形態に係る多拠点テレビ会議システムの概略を示す図である。It is a figure which shows the outline of the multi-site video conference system concerning one Embodiment of this invention. 本発明の一実施形態に係る遠隔通信端末装置のハードウェア構成図である。It is a hardware block diagram of the remote communication terminal device which concerns on one Embodiment of this invention. 本発明の一実施形態に係る中継装置のハードウェア構成図である。It is a hardware block diagram of the relay apparatus which concerns on one Embodiment of this invention. 本発明の一実施形態に係る多拠点テレビ会議システムの機能ブロック図である。It is a functional block diagram of a multi-site video conference system according to an embodiment of the present invention. 本発明の一実施形態に係る多拠点テレビ会議システムのシークエンスチャート図である。It is a sequence chart figure of the multi-site video conference system concerning one embodiment of the present invention. 解像度変更処理の一例を示す説明図である。It is explanatory drawing which shows an example of a resolution change process. 本発明の第二の実施形態に係る多拠点テレビ会議システムのシークエンスチャート図である。It is a sequence chart figure of the multi-site video conference system according to the second embodiment of the present invention. 従来の多拠点テレビ会議システムのシークエンスチャート図である。It is a sequence chart figure of the conventional multi-site video conference system.

本発明の実施の形態を説明する。本発明は、多拠点遠隔会議システムにおいて送信端末の送信する解像度（画面解像度）の設定に際して、以下の特徴を有する。
要するに、多拠点接続装置は送信端末に対して受信端末のアスペクト比の情報を通知し、送信端末は通知された情報に基づいてどの受信端末でも表示されない映像領域を判断し、その領域がエンコードされないように送信解像度を縮小することで、端末の負荷を減少させることが特徴になっている。
上記記載の本発明の特徴について、以下の図面を用いて詳細に解説する。 An embodiment of the present invention will be described. The present invention has the following characteristics when setting the resolution (screen resolution) transmitted by a transmission terminal in a multi-site remote conference system.
In short, the multi-site connection apparatus notifies the transmitting terminal of the aspect ratio information of the receiving terminal, and the transmitting terminal determines a video area that is not displayed on any receiving terminal based on the notified information, and the area is not encoded. Thus, the load on the terminal is reduced by reducing the transmission resolution.
The features of the present invention described above will be described in detail with reference to the following drawings.

図１は、本発明の一実施形態に係る多拠点テレビ会議システムの概略を示す図である。一例として３拠点（拠点Ａ、Ｂ、およびＣ）の多拠点テレビ会議システムを示している。
多拠点テレビ会議システム１は、各遠隔通信端末装置（１０Ａ、１０Ｂ、１０Ｃ）と中継装置３０（多拠点接続装置；ＭＣＵ；Multipoint Control Unit）とから構成される。以下、各遠隔通信端末装置（１０Ａ、１０Ｂ、１０Ｃ）をまとめて、遠隔通信端末装置１０と記す。他の装置も同様に表記する。
各遠隔通信端末装置１０は、映像データストリーム等の通信を行う。映像データストリームは、圧縮された映像、あるいは圧縮された映像をネットワークで送信できるように分割(パケット化)したものである。
中継装置３０はインターネットやイントラネット等の通信ネットワーク２０にて接続され、各遠隔通信端末装置１０との各種データ（情報）の送受信を行う。また中継装置３０は、各遠隔通信端末装置１０の間で映像データストリームに基づき作成され、画像の再生に必須な基本データの中継を行う。
さらに、各遠隔通信端末装置１０は、各遠隔通信端末装置用のカメラ（１２Ａ、１２Ｂ、１２Ｃ）、各遠隔通信端末装置用のディスプレイ（１４Ａ、１４Ｂ、１４Ｃ）と接続している。
カメラ１２は、テレビ会議をしている際の映像を撮影する。各遠隔通信端末装置用のディスプレイ１４は、他拠点の映像を表示する。 FIG. 1 is a diagram showing an outline of a multi-site video conference system according to an embodiment of the present invention. As an example, a multi-site video conference system with three bases (bases A, B, and C) is shown.
The multi-site video conference system 1 includes remote communication terminal devices (10A, 10B, 10C) and a relay device 30 (multi-site connection device; MCU; Multipoint Control Unit). Hereinafter, the remote communication terminal devices (10A, 10B, 10C) are collectively referred to as a remote communication terminal device 10. Other devices are similarly indicated.
Each remote communication terminal apparatus 10 performs communication such as a video data stream. The video data stream is a compressed video or a compressed video that is divided (packetized) so that it can be transmitted over a network.
The relay device 30 is connected by a communication network 20 such as the Internet or an intranet, and transmits / receives various data (information) to / from each remote communication terminal device 10. The relay device 30 is created based on the video data stream between the remote communication terminal devices 10 and relays basic data essential for image reproduction.
Further, each remote communication terminal device 10 is connected to a camera (12A, 12B, 12C) for each remote communication terminal device and a display (14A, 14B, 14C) for each remote communication terminal device.
The camera 12 captures a video during a video conference. The display 14 for each remote communication terminal device displays an image of another base.

図２は、本発明の一実施形態に係る遠隔通信端末装置１０のハードウェア構成図である。図２に示されているように、本実施形態の遠隔通信端末装置１０は、遠隔通信端末装置１０全体の動作を制御し、圧縮(エンコード)および伸張（デコード)処理を行うＣＰＵ(Central Processing Unit)１０１、遠隔通信端末装置用プログラムを記憶したＲＯＭ(Read Only Memory)１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ(Random Access Memory)１０３、映像データストリームや音声データ等の各種データを記憶するフラッシュメモリ１０４、ＣＰＵ１０１の制御にしたがってフラッシュメモリ１０４に対する各種データの読み出し又は書き込みを制御するＳＳＤ（Solid State Drive）１０５、フラッシュメモリ等の記録メディア１０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ１０７、遠隔通信端末装置１０を操作する操作ボタン１０８、遠隔通信端末装置１０の電源のＯＮ／ＯＦＦを切り換えるための電源スイッチ１０９、ネットワークを利用してデータ伝送をするためのネットワークＩ／Ｆ１１１、ＣＰＵ１０１の制御に従って外付けのカメラ１２で被写体を撮影し、映像データストリームを得て、映像データストリームの伝送を制御する撮像素子Ｉ／Ｆ１１３、音声を入力するマイク１１４、音声を出力するスピーカ１１５、ＣＰＵ１０１の制御に従ってマイク１１４及びスピーカ１１５との間で音声信号の入出力を処理する音声入出力Ｉ／Ｆ１１６、ＣＰＵ１０１の制御に従って外付けのディスプレイ１４に映像データストリームを伝送するディスプレイＩ／Ｆ１１７、及び上記各構成要素を図２に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン１１０を備えている。 FIG. 2 is a hardware configuration diagram of the remote communication terminal device 10 according to an embodiment of the present invention. As shown in FIG. 2, the remote communication terminal device 10 of this embodiment controls the operation of the entire remote communication terminal device 10 and performs a CPU (Central Processing Unit) that performs compression (encoding) and expansion (decoding) processing. ) 101, ROM (Read Only Memory) 102 storing a program for a remote communication terminal device, RAM (Random Access Memory) 103 used as a work area of the CPU 101, flash for storing various data such as a video data stream and audio data An SSD (Solid State Drive) 105 that controls reading or writing of various data to the flash memory 104 according to the control of the memory 104 and the CPU 101, and a media drive that controls reading or writing (storage) of data to the recording medium 106 such as a flash memory 107, operating the remote communication terminal device 10 Operation button 108, power switch 109 for switching on / off the power of the remote communication terminal device 10, network I / F 111 for data transmission using the network, and external camera 12 according to the control of the CPU 101. An image sensor I / F 113 for capturing a subject, obtaining a video data stream, and controlling transmission of the video data stream, a microphone 114 for inputting sound, a speaker 115 for outputting sound, a microphone 114 and a speaker 115 according to the control of the CPU 101 FIG. 2 shows an audio input / output I / F 116 that processes audio signal input / output between them, a display I / F 117 that transmits a video data stream to an external display 14 under the control of the CPU 101, and the above-described components. To make an electrical connection And a Resubasu, a data bus, and the like bus line 110.

なお、記録メディア１０６は、遠隔通信端末装置１０に対して着脱自在な構成となっている。また、ＣＰＵ１０１の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ１０４に限らず、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）等を用いてもよい。更に、カメラ１２としては、一例としてＣＯＭＳを使用する。ＣＯＭＳは、光を電荷に変換して被写体の画像（映像）を電子化する固体撮像素子であり、被写体を撮像するものであればＣＭＯＳに限らず、ＣＣＤ（Charge Coupled Device）等を用いてもよい。また、ディスプレイ１４は、被写体の画像や操作用アイコン等を表示する液晶や有機ＥＬにより構成されている。
更に、上記遠隔通信端末装置用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア１０６等の、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。 The recording medium 106 is detachable from the remote communication terminal device 10. Further, as long as it is a non-volatile memory that reads or writes data according to the control of the CPU 101, not only the flash memory 104 but also an EEPROM (Electrically Erasable and Programmable ROM) or the like may be used. Further, as the camera 12, a COMS is used as an example. The COMS is a solid-state imaging device that converts light into electric charges and digitizes a subject image (video), and is not limited to a CMOS as long as it captures a subject, and a CCD (Charge Coupled Device) or the like may be used. Good. The display 14 is composed of a liquid crystal or organic EL that displays a subject image, an operation icon, and the like.
Furthermore, the remote communication terminal device program may be recorded in a computer-readable recording medium such as the recording medium 106 and distributed as a file in an installable or executable format.

図３は、本発明の一実施形態に係る中継装置のハードウェア構成図である。中継装置３０は、中継装置３０全体の動作を制御するＣＰＵ２０１、中継装置３０を制御するための基本データ中継装置用プログラムを記憶したＲＯＭ２０２、ＣＰＵ２０１のワークエリアとして使用されるＲＡＭ２０３、各種データを記憶するＨＤ(Hard Disk)２０４、ＣＰＵ２０１の制御にしたがってＨＤ２０４に対するデータの読み出し又は書き込みを制御するＨＤＤ(Hard Disk Drive)２０５、フラッシュメモリ等の記録メディア２０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ２０７、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ１４、通信ネットワーク２０を利用してデータ伝送をするためのネットワークＩ／Ｆ２０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード２１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス２１２、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ(Compact Disc Read Only Memory)２１３に対するデータの読み出し又は書き込みを制御するＣＤ−ＲＯＭドライブ２１４、及び、上記各構成要素を図３に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン２１０を備えている。
なお、上述の中継装置用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア２０６やＣＤ−ＲＯＭ２１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。 FIG. 3 is a hardware configuration diagram of the relay device according to the embodiment of the present invention. The relay device 30 stores a CPU 201 that controls the operation of the entire relay device 30, a ROM 202 that stores a basic data relay device program for controlling the relay device 30, a RAM 203 that is used as a work area for the CPU 201, and various data. An HD (Hard Disk) 204, an HDD (Hard Disk Drive) 205 that controls reading or writing of data to the HD 204 according to the control of the CPU 201, and a medium that controls reading or writing (storage) of data to a recording medium 206 such as a flash memory. Input of a drive 207, a display 14 for displaying various information such as a cursor, menu, window, characters, or images, a network I / F 209 for data transmission using the communication network 20, characters, numerical values, various instructions, etc. No A keyboard 211 having a plurality of keys, a mouse 212 for selecting and executing various instructions, selecting a processing target, moving a cursor, and the like, and a CD-ROM (Compact Disc Read Only Memory) as an example of a removable recording medium ) A CD-ROM drive 214 for controlling reading or writing of data with respect to 213, and a bus line 210 such as an address bus and a data bus for electrically connecting the above components as shown in FIG. It has.
Note that the above-described relay device program is a file in an installable or executable format, and may be recorded and distributed on a computer-readable recording medium such as the recording medium 206 or CD-ROM 213. Good.

図４は、本発明の一実施形態に係る多拠点テレビ会議システムの機能ブロック図である。
各遠隔通信端末装置１０は、受信部３０１、デコード部３０２、解像度決定部３０３、エンコード部３０４、送信部３０５、及び能力通知部３０６を備えている。
受信部３０１は、中継装置３０を介して他拠点の遠隔通信端末装置１０から送信された映像データを受信する。また、受信部３０１は、他拠点の遠隔通信端末装置１０のアスペクト比に関する情報を中継装置３０から受信する。デコード部３０２は、受信部３０１が受信した映像データを伸張する。解像度決定部３０３は、中継装置３０から通知された解像度通知情報に基づいて、受信側の拠点のいずれのディスプレイ１４にも表示されない映像データの領域がなくなるように、映像データのエンコード領域の解像度を決定して調整する。エンコード部３０４は、カメラ１２によって撮影された自拠点の映像データを圧縮する。このとき、解像度決定部３０３が決定した解像度の映像データ領域をエンコード領域として圧縮する。送信部３０５は、エンコード部３０４によって圧縮された映像データを中継装置３０に送信する。能力通知部３０６は、自機（遠隔通信端末装置１０）の受信能力（ディスプレイの解像度、利用可能ネットワーク帯域、画面のレイアウトなど）に関する情報を、送信部３０５を介して中継装置３０に送信する。
なお、各拠点Ａ〜Ｃが有するカメラ１２及びディスプレイ１４については、詳細な説明を省略する。 FIG. 4 is a functional block diagram of a multi-site video conference system according to an embodiment of the present invention.
Each remote communication terminal apparatus 10 includes a reception unit 301, a decoding unit 302, a resolution determination unit 303, an encoding unit 304, a transmission unit 305, and a capability notification unit 306.
The receiving unit 301 receives video data transmitted from the remote communication terminal device 10 at another base via the relay device 30. The receiving unit 301 receives information related to the aspect ratio of the remote communication terminal device 10 at another base from the relay device 30. The decoding unit 302 decompresses the video data received by the receiving unit 301. Based on the resolution notification information notified from the relay device 30, the resolution determination unit 303 sets the resolution of the encoding area of the video data so that there is no video data area that is not displayed on any display 14 at the receiving base. Decide and adjust. The encoding unit 304 compresses the video data of the local site taken by the camera 12. At this time, the video data area having the resolution determined by the resolution determination unit 303 is compressed as an encoding area. The transmission unit 305 transmits the video data compressed by the encoding unit 304 to the relay device 30. The capability notification unit 306 transmits information regarding the reception capability (display resolution, available network bandwidth, screen layout, etc.) of the own device (remote communication terminal device 10) to the relay device 30 via the transmission unit 305.
Detailed descriptions of the camera 12 and the display 14 included in each of the bases A to C are omitted.

中継装置３０は、受信部３１１、デコード部３１２、合成部３１３、エンコード部３１４、送信部３１５、及び解像度通知部３１６を備えている。
受信部３１１は、各遠隔通信端末装置１０から送信された映像データ、及び受信能力に関する情報等を受信する。デコード部３１２は、受信部３１１によって受信された映像データを伸張する。合成部３１３は、受信端末となる各遠隔通信端末装置１０から通知された受信能力に合わせて解像度を調整した映像データの生成を行う。エンコード部３１４は、合成部３１３によって生成された映像データを再エンコードする。送信部３１５は、エンコード部３１４により再エンコードされた映像データ等を受信端末となる各遠隔通信端末装置１０に送信する。解像度通知部３１６は、受信端末としての遠隔通信端末装置１０の能力通知部３０６から通知されたディスプレイの解像度（受信可能解像度）からアスペクト比を求め、全ての受信端末において表示されない映像データ領域が発生しないアスペクト比（解像度通知情報）を送信端末となる遠隔通信端末装置１０の解像度決定部３０３に対して送信部３１５を介して通知する。 The relay device 30 includes a receiving unit 311, a decoding unit 312, a combining unit 313, an encoding unit 314, a transmitting unit 315, and a resolution notification unit 316.
The receiving unit 311 receives video data transmitted from each remote communication terminal device 10, information regarding reception capability, and the like. The decoding unit 312 decompresses the video data received by the receiving unit 311. The synthesizer 313 generates video data in which the resolution is adjusted in accordance with the reception capability notified from each remote communication terminal device 10 serving as a reception terminal. The encoding unit 314 re-encodes the video data generated by the combining unit 313. The transmission unit 315 transmits the video data or the like re-encoded by the encoding unit 314 to each remote communication terminal device 10 serving as a reception terminal. The resolution notification unit 316 obtains the aspect ratio from the display resolution (receivable resolution) notified from the capability notification unit 306 of the remote communication terminal device 10 as a reception terminal, and a video data area that is not displayed on all reception terminals is generated. The aspect ratio (resolution notification information) not to be transmitted is notified via the transmission unit 315 to the resolution determination unit 303 of the remote communication terminal device 10 serving as the transmission terminal.

ここで、従来の多拠点会議システムを構成する遠隔通信端末装置は解像度決定部３０３を備えておらず、また中継装置は解像度通知部３１６を備えていないため、以下のような処理が行われていた。図８は、従来の多拠点テレビ会議システムのシークエンスチャート図である。この図には、各ステップにおける映像データの解像度の変化も合わせて記載している。なお、説明のため、従来の遠隔通信端末装置を符号１０−１にて示し、中継装置を符号３０−１にて示す。また、本発明に係る多拠点会議システムと同一の構成については同一の符号により説明する。
例として、遠隔通信端末装置１０−１Ａが解像度１２８０×７２０（アスペクト比１６：９）の映像データを送信し、遠隔通信端末装置１０−１Ｂが解像度１０２４×７６８（アスペクト比４：３）、遠隔通信端末装置１０−１Ｃが解像度６４０×４８０（アスペクト比４：３）で遠隔通信端末装置１０−１Ａの映像データを表示する構成を考える。送信端末を遠隔通信端末装置１０−１Ａとし、受信端末を遠隔通信端末装置１０−１Ｂおよび遠隔通信端末装置１０−１Ｃとする。 Here, since the remote communication terminal device constituting the conventional multi-site conference system does not include the resolution determination unit 303 and the relay device does not include the resolution notification unit 316, the following processing is performed. It was. FIG. 8 is a sequence chart diagram of a conventional multi-site video conference system. This figure also shows the change in the resolution of the video data at each step. For the sake of explanation, the conventional remote communication terminal device is denoted by reference numeral 10-1, and the relay device is denoted by reference numeral 30-1. The same components as those in the multi-site conference system according to the present invention will be described with the same reference numerals.
As an example, the remote communication terminal device 10-1A transmits video data with a resolution of 1280 × 720 (aspect ratio 16: 9), and the remote communication terminal device 10-1B has a resolution of 1024 × 768 (aspect ratio 4: 3) and is remote. Consider a configuration in which communication terminal apparatus 10-1C displays video data of remote communication terminal apparatus 10-1A at a resolution of 640 × 480 (aspect ratio 4: 3). The transmission terminal is the remote communication terminal apparatus 10-1A, and the reception terminals are the remote communication terminal apparatus 10-1B and the remote communication terminal apparatus 10-1C.

送信側の拠点Ａにあるカメラ１２Ａは、遠隔通信端末装置１０−１Ａに解像度１２８０×７２０の映像データを転送する（ステップＳ１０１）。
エンコード部３０４Ａは、カメラ１２Ａから転送された解像度１２８０×７２０の映像データをエンコードする（ステップＳ１０２）。送信部３０５Ａは、エンコード部３０４Ａによりエンコードされた映像データを中継装置３０−１に送信する（ステップＳ１０３）。送信された映像データは、中継装置３０−１の受信部３１１により受信される（ステップＳ１０４）。
一方、受信端末である遠隔通信端末装置１０−１Ｂ、１０−１Ｃの能力通知部３０６Ｂ、３０６Ｃは、送信部３０５Ｂ、３０５Ｃを介して、中継装置３０−１に対して受信能力としてディスプレイ１４Ｂ、１４Ｃの解像度を通知する（ステップＳ１０５）。具体的には、能力通知部３０６Ｂは、解像度１０２４×７６８で遠隔通信端末装置１０−１Ａからの映像データを表示することを通知する。また、能力通知部３０６Ｃは、解像度６４０×４８０で遠隔通信端末装置１０−１Ａからの映像データを表示することを通知する。 The camera 12A at the base A on the transmission side transfers video data with a resolution of 1280 × 720 to the remote communication terminal device 10-1A (step S101).
The encoding unit 304A encodes the video data with the resolution 1280 × 720 transferred from the camera 12A (step S102). The transmission unit 305A transmits the video data encoded by the encoding unit 304A to the relay device 30-1 (step S103). The transmitted video data is received by the receiving unit 311 of the relay device 30-1 (step S104).
On the other hand, the capability notification units 306B and 306C of the remote communication terminal devices 10-1B and 10-1C, which are reception terminals, display the display 14B and 14C as reception capabilities with respect to the relay device 30-1 via the transmission units 305B and 305C. The resolution is notified (step S105). Specifically, the capability notification unit 306B notifies that the video data from the remote communication terminal device 10-1A is displayed with a resolution of 1024 × 768. Further, the capability notification unit 306C notifies that the video data from the remote communication terminal device 10-1A is displayed with a resolution of 640 × 480.

中継装置３０−１の受信部３１１は、各遠隔通信端末装置１０−１Ｂ、１０−１Ｃから送信された解像度の情報を受信する（ステップＳ１０６）。デコード部３１２は、遠隔通信端末装置１０−１Ａから受信した映像データ（解像度１２８０×７２０）をデコードする（ステップＳ１０７）。そして、合成部３１３は、デコードされた映像データの左右の領域（長手方向両端部、図８中斜線部分）を切り取り、解像度９６０×７２０（アスペクト比４：３）の映像データを生成する（ステップＳ１０８）。さらに、切り取り処理の行われた映像データを拡大又は縮小することにより、各遠隔通信端末装置１０−１Ｂ、１０−１Ｃにて表示可能な解像度の２つの映像データ（解像度１０２４×７６８、解像度６４０×４８０）を生成する（ステップＳ１０９）。エンコード部３１４は、合成部３１３において生成された２つの映像データをそれぞれエンコードする（ステップＳ１１０）。送信部３１５は、遠隔通信端末装置１０−１Ｂに対しては解像度１０２４×７６８の映像データを送信し、遠隔通信端末装置１０−１Ｃに対しては解像度６４０×４８０の映像データを送信する（ステップＳ１１１）。
遠隔通信端末装置１０−１Ｂ、１０−１Ｃの受信部３０１Ｂ、３０１Ｃは、中継装置３０−１から映像データを受信する（ステップＳ１１２）。デコード部３０２Ｂ、３０２Ｃは、受信部３０１Ｂ、３０１Ｃにて受信された映像データをデコードする（ステップＳ１１３）。デコードされた映像データは、ディスプレイ１４Ｂ、１４Ｃに表示されることとなる。 The receiving unit 311 of the relay device 30-1 receives the resolution information transmitted from the remote communication terminal devices 10-1B and 10-1C (step S106). The decoding unit 312 decodes the video data (resolution 1280 × 720) received from the remote communication terminal device 10-1A (step S107). The synthesizing unit 313 cuts the left and right regions (both ends in the longitudinal direction, hatched portions in FIG. 8) of the decoded video data, and generates video data with a resolution of 960 × 720 (aspect ratio 4: 3) (step). S108). Furthermore, by expanding or reducing the cut-out video data, two video data having a resolution that can be displayed on each of the remote communication terminal devices 10-1B and 10-1C (resolution 1024 × 768, resolution 640 × 480) is generated (step S109). The encoding unit 314 encodes the two video data generated by the combining unit 313 (step S110). The transmission unit 315 transmits video data with a resolution of 1024 × 768 to the remote communication terminal device 10-1B, and transmits video data with a resolution of 640 × 480 to the remote communication terminal device 10-1C (step S1). S111).
The receiving units 301B and 301C of the remote communication terminal devices 10-1B and 10-1C receive video data from the relay device 30-1 (step S112). The decoding units 302B and 302C decode the video data received by the receiving units 301B and 301C (step S113). The decoded video data is displayed on the displays 14B and 14C.

遠隔通信端末装置１０−１Ａは、解像度１２８０×７２０の映像データを送信しているが、受信端末では９６０×７２０分の映像データしか利用されていないため、遠隔通信端末装置１０−１Ａにおけるエンコード処理と、中継装置３０−１におけるデコード処理に過剰なリソースが使用されていることになる。
そこで、本発明においては、いずれの受信端末においても表示されない映像領域のエンコードを行わないようにすることで、受信端末に表示される映像に影響を与えることなく、送信端末及び中継装置の負荷を減少させる。 The remote communication terminal apparatus 10-1A transmits video data with a resolution of 1280 × 720, but since only 960 × 720 video data is used at the receiving terminal, the encoding process in the remote communication terminal apparatus 10-1A is performed. Then, excessive resources are used for the decoding process in the relay device 30-1.
Therefore, in the present invention, by avoiding encoding of a video area that is not displayed on any receiving terminal, the load on the transmitting terminal and the relay device is reduced without affecting the video displayed on the receiving terminal. Decrease.

本発明に係る多拠点会議システムにおける各部の動作及びデータの処理について、図５に基づいて具体例により説明する。図５は、本発明の一実施形態に係る多拠点テレビ会議システムのシークエンスチャート図である。この図には、各ステップにおける映像データの解像度の変化も合わせて記載している。
例として、遠隔通信端末装置１０Ａが解像度１２８０×７２０（アスペクト比１６：９）の映像データを送信し、遠隔通信端末装置１０Ｂが解像度１０２４×７６８（アスペクト比４：３）、遠隔通信端末装置１０Ｃが解像度６４０×４８０（アスペクト比４：３）で遠隔通信端末装置１０Ａから送信された映像データを表示する構成を考える。送信端末を遠隔通信端末装置１０Ａとし、受信端末を遠隔通信端末装置１０Ｂおよび遠隔通信端末装置１０Ｃとする。
本発明に係る多拠点テレビ会議システムでは以下のような処理が行われる。 The operation of each unit and data processing in the multi-site conference system according to the present invention will be described with reference to FIG. FIG. 5 is a sequence chart of the multi-site video conference system according to the embodiment of the present invention. This figure also shows the change in the resolution of the video data at each step.
As an example, the remote communication terminal device 10A transmits video data with a resolution of 1280 × 720 (aspect ratio 16: 9), the remote communication terminal device 10B has a resolution of 1024 × 768 (aspect ratio 4: 3), and the remote communication terminal device 10C. Consider a configuration in which video data transmitted from the remote communication terminal device 10A is displayed with a resolution of 640 × 480 (aspect ratio 4: 3). The transmitting terminal is the remote communication terminal apparatus 10A, and the receiving terminals are the remote communication terminal apparatus 10B and the remote communication terminal apparatus 10C.
In the multi-site video conference system according to the present invention, the following processing is performed.

送信側の拠点Ａにあるカメラ１２Ａは、遠隔通信端末装置１０Ａに解像度１２８０×７２０の映像データを転送する（ステップＳ１）。
受信端末である遠隔通信端末装置１０Ｂ、１０Ｃの能力通知部３０６Ｂ、３０６Ｃは、送信部３０５Ｂ、３０５Ｃを介して、中継装置３０に対して受信能力としてディスプレイ１４Ｂ、１４Ｃの解像度を通知する（ステップＳ２）。具体的には、能力通知部３０６Ｂは、解像度１０２４×７６８で遠隔通信端末装置１０Ａからの映像データを表示することを通知する。また、能力通知部３０６Ｃは、解像度６４０×４８０で遠隔通信端末装置１０Ａからの映像データを表示することを通知する。
中継装置３０の受信部３１１は、各遠隔通信端末装置１０Ｂ、１０Ｃから送信された解像度の情報を受信する（ステップＳ３）。解像度通知部３１６は、受信した解像度の情報から各遠隔通信端末装置１０Ｂ、１０Ｃのアスペクト比を求め、求められたアスペクト比を、送信部３１５を介して遠隔通信端末装置１０Ａに「解像度通知情報」として通知する（ステップＳ４）。ここで、遠隔通信端末装置１０Ｂ、１０Ｃのアスペクト比はいずれも４：３であるので、すべての受信端末において、映像データがアスペクト比４：３で表示されることを通知する。なお、解像度通知部３１６から通知する解像度通知情報として、アスペクト比の代わりに各受信端末の解像度を用いてもよい。この場合、解像度決定部３０３は、各受信端末の解像度からエンコード領域の解像度を決定する。 The camera 12A at the base A on the transmission side transfers video data with a resolution of 1280 × 720 to the remote communication terminal device 10A (step S1).
The capability notification units 306B and 306C of the remote communication terminal devices 10B and 10C, which are receiving terminals, notify the resolution of the displays 14B and 14C as the reception capability to the relay device 30 via the transmission units 305B and 305C (step S2). ). Specifically, the capability notification unit 306B notifies that the video data from the remote communication terminal device 10A is displayed with a resolution of 1024 × 768. Further, the capability notification unit 306C notifies that the video data from the remote communication terminal device 10A is displayed with a resolution of 640 × 480.
The receiving unit 311 of the relay device 30 receives the resolution information transmitted from the remote communication terminal devices 10B and 10C (step S3). The resolution notification unit 316 obtains the aspect ratio of each of the remote communication terminal devices 10B and 10C from the received resolution information, and transmits the obtained aspect ratio to the remote communication terminal device 10A via the transmission unit 315 as “resolution notification information”. (Step S4). Here, since the aspect ratios of the remote communication terminal apparatuses 10B and 10C are all 4: 3, it is notified that video data is displayed with an aspect ratio of 4: 3 in all receiving terminals. Note that as the resolution notification information notified from the resolution notification unit 316, the resolution of each receiving terminal may be used instead of the aspect ratio. In this case, the resolution determination unit 303 determines the resolution of the encoding area from the resolution of each receiving terminal.

遠隔通信端末装置１０Ａの受信部３０１Ａは、中継装置３０から送信された解像度通知情報を受信する（ステップＳ５）。解像度決定部３０３Ａは、送信部３０５Ａから送信する映像データのアスペクト比が、受信端末にて表示可能なアスペクト比と同一になるように、映像データの解像度の調整を行う（ステップＳ６）。具体的には、解像度決定部３０３Ａはエンコード部３０４Ａに対し、カメラ１２Ａから転送された解像度１２８０×７２０の映像データのうち、解像度９６０×７２０（アスペクト比４：３）分の映像データをエンコードするように命令する。例えば、左右端部の領域（長手方向両端部の領域）をエンコードしない非エンコード領域とし、この部分を除いた領域をエンコードするように命令する。このようにエンコード領域を決定することで、受信端末である遠隔通信端末装置１０Ｂ、１０Ｃの全てにおいて表示されない映像データ領域をエンコードする必要がなくなる。エンコード部３０４Ａは、解像度９６０×７２０の映像データ（エンコード領域）をエンコードする（ステップＳ７）。送信部３０５Ａは、エンコード部３０４Ａによりエンコードされた映像データを中継装置３０に送信する（ステップＳ８）。 The receiving unit 301A of the remote communication terminal device 10A receives the resolution notification information transmitted from the relay device 30 (step S5). The resolution determination unit 303A adjusts the resolution of the video data so that the aspect ratio of the video data transmitted from the transmission unit 305A is the same as the aspect ratio that can be displayed on the receiving terminal (step S6). Specifically, the resolution determination unit 303A encodes video data for a resolution of 960 × 720 (aspect ratio 4: 3) out of video data of resolution 1280 × 720 transferred from the camera 12A to the encoding unit 304A. To order. For example, the left and right end regions (regions at both ends in the longitudinal direction) are set as non-encoding regions that are not encoded, and an instruction is given to encode the region excluding this portion. By determining the encoding area in this way, it is not necessary to encode the video data area that is not displayed in all of the remote communication terminal devices 10B and 10C that are receiving terminals. The encoding unit 304A encodes video data (encoding region) with a resolution of 960 × 720 (step S7). The transmission unit 305A transmits the video data encoded by the encoding unit 304A to the relay device 30 (step S8).

中継装置３０の受信部３１１は、送信された映像データを受信する（ステップＳ９）。デコード部３１２は、受信した映像データ（解像度９６０×７２０）をデコードする（ステップＳ１０）。合成部３１３は、映像データを拡大又は縮小することにより、各遠隔通信端末装置１０Ｂ、１０Ｃにて表示可能な解像度の２つの映像データを生成する（ステップＳ１１）。具体的には、映像データを拡大することで解像度を１０２４×７６８に変更した映像データと、映像データを縮小することで解像度を６４０×４８０に変更した映像データを生成する。エンコード部３１４は、合成部３１３において生成された２種類の映像データをそれぞれエンコードする（ステップＳ１２）。送信部３１５は、遠隔通信端末装置１０Ｂに対しては解像度１０２４×７６８の映像データを送信し、遠隔通信端末装置１０Ｃに対しては解像度６４０×４８０の映像データを送信する（ステップＳ１３）。
遠隔通信端末装置１０Ｂ、１０Ｃの受信部３０１Ｂ、３０１Ｃは、中継装置３０から映像データを受信する（ステップＳ１４）。デコード部３０２Ｂ、３０２Ｃは、受信部３０１Ｂ、３０１Ｃによって受信された映像データをデコードする（ステップＳ１５）。デコードされた映像データは、ディスプレイ１４Ｂ、１４Ｃに表示されることとなる。 The receiving unit 311 of the relay device 30 receives the transmitted video data (step S9). The decoding unit 312 decodes the received video data (resolution 960 × 720) (step S10). The composition unit 313 generates two pieces of video data having a resolution that can be displayed on each of the remote communication terminal devices 10B and 10C by enlarging or reducing the video data (step S11). Specifically, video data whose resolution has been changed to 1024 × 768 by expanding the video data and video data whose resolution has been changed to 640 × 480 by reducing the video data are generated. The encoding unit 314 encodes the two types of video data generated by the combining unit 313 (step S12). The transmission unit 315 transmits video data with a resolution of 1024 × 768 to the remote communication terminal device 10B, and transmits video data with a resolution of 640 × 480 to the remote communication terminal device 10C (step S13).
The receiving units 301B and 301C of the remote communication terminal devices 10B and 10C receive video data from the relay device 30 (step S14). The decoding units 302B and 302C decode the video data received by the receiving units 301B and 301C (step S15). The decoded video data is displayed on the displays 14B and 14C.

アスペクト比に合わせて解像度を変更する方法（上記ステップＳ６の処理に相当）について、図６に基づいて説明する。図６は、解像度変更処理の一例を示す説明図である。
ここでは、アスペクト比をＡｘ：Ａｙとし、変更前の映像データの解像度をＸ１×Ｙ１とし、変更後の映像データの解像度（エンコード領域）をＸ２×Ｙ２とする。
《図６（ａ）ケース１「Ａｘ×Ｙ１≧Ａｙ×Ｘ１」の場合》
変更前の解像度に対して送信すべき映像データが横長（又はアスペクト比同一）となる場合である。Ｘ２とＹ２を以下のように求める。
Ｘ２＝Ｘ１
Ｙ２＝Ｘ１×Ａｙ／Ａｘ
例えば、変更前の映像データの上下両端部を非エンコード領域とすることにより、所望のアスペクト比となる解像度の映像データを得ることができる。
《図６（ｂ）ケース２「Ａｘ×Ｙ１＜Ａｙ×Ｘ１」の場合》
変更前の解像度に対して送信すべき映像データが、横に短い場合である。Ｘ２とＹ２を以下のように求める。
Ｘ２＝Ｙ１×Ａｘ／Ａｙ
Ｙ２＝Ｙ１
例えば、変更前の映像データの左右両端部を非エンコード領域とすることにより、所望のアスペクト比となる解像度の映像データを得ることができる。
なお、図６に示した解像度変更処理は一例であって、他の方法を用いて所望の解像度の映像データを得るようにしても良い。また、非エンコード領域の設定方法は上記に限定されるものではなく、例えば映像データの一方の端部側に設定する等してもよい。 A method for changing the resolution in accordance with the aspect ratio (corresponding to the processing in step S6) will be described with reference to FIG. FIG. 6 is an explanatory diagram illustrating an example of the resolution changing process.
Here, the aspect ratio is Ax: Ay, the resolution of the video data before the change is X1 × Y1, and the resolution (encoding area) of the video data after the change is X2 × Y2.
<< FIG. 6 (a) Case 1 “Ax × Y1 ≧ Ay × X1” >>
This is a case where the video data to be transmitted with respect to the resolution before the change is horizontally long (or the same aspect ratio). X2 and Y2 are obtained as follows.
X2 = X1
Y2 = X1 × Ay / Ax
For example, by setting the upper and lower ends of the video data before the change as non-encoding areas, video data having a desired aspect ratio can be obtained.
<< FIG. 6 (b) Case 2 "Ax * Y1 <Ay * X1">>
This is a case where the video data to be transmitted with respect to the resolution before the change is short horizontally. X2 and Y2 are obtained as follows.
X2 = Y1 × Ax / Ay
Y2 = Y1
For example, by setting the left and right ends of the video data before the change as non-encoding areas, it is possible to obtain video data having a resolution with a desired aspect ratio.
Note that the resolution changing process shown in FIG. 6 is an example, and video data having a desired resolution may be obtained by using another method. Further, the method for setting the non-encoding area is not limited to the above. For example, it may be set on one end side of the video data.

以上のように本実施形態においては、受信端末（遠隔通信端末装置）の受信可能解像度のアスペクト比に合わせて、送信端末（遠隔通信端末装置）においてエンコード領域の解像度を調整するので、受信端末側で表示される映像に影響を与えずにエンコードにかかる送信端末のＣＰＵ負荷を低減させることができる。また、いずれの受信端末においても表示されない映像領域のデータについて、送信端末にてエンコードを行わず、また中継装置においてデコードする必要がないため、エンコードにかかる送信端末のＣＰＵ負荷、及びデコードにかかる中継装置のＣＰＵ負荷を低減させることができる。 As described above, in this embodiment, the resolution of the encoding area is adjusted in the transmission terminal (remote communication terminal apparatus) in accordance with the aspect ratio of the receivable resolution of the reception terminal (remote communication terminal apparatus). The CPU load on the transmitting terminal for encoding can be reduced without affecting the video displayed on Further, since data in a video area that is not displayed on any receiving terminal is not encoded at the transmitting terminal and does not need to be decoded at the relay device, the CPU load on the transmitting terminal for encoding and the relay for decoding The CPU load on the apparatus can be reduced.

〔第二の実施形態〕
本発明の第二の実施形態について図７に基づいて説明する。図７は、本発明の第二の実施形態に係る多拠点テレビ会議システムのシークエンスチャート図である。第一の実施形態においては、受信端末のアスペクト比が単一の例であったが、受信端末側で異なるアスペクト比の映像データを受信する必要がある場合の処理例について説明する。なお、第一の実施形態と同一の処理については同一のステップ番号を付して、その説明を省略する。
第一の実施形態において、遠隔通信端末装置１０から中継装置３０への解像度の通知は、受信端末からのみ行っていた（図２、ステップＳ２参照）。本実施形態においては、全ての遠隔通信端末装置１０Ａ、１０Ｂ、１０Ｃから中継装置３０への解像度の通知（ステップＳ２、Ｓ２１）を行う点が異なっている。 [Second Embodiment]
A second embodiment of the present invention will be described with reference to FIG. FIG. 7 is a sequence chart diagram of the multi-site video conference system according to the second embodiment of the present invention. In the first embodiment, the aspect ratio of the receiving terminal is a single example. However, an example of processing when it is necessary to receive video data having different aspect ratios on the receiving terminal side will be described. Note that the same steps as those in the first embodiment are denoted by the same step numbers, and description thereof is omitted.
In the first embodiment, the notification of the resolution from the remote communication terminal device 10 to the relay device 30 is performed only from the receiving terminal (see FIG. 2, step S2). The present embodiment is different in that resolution notification (steps S2 and S21) is performed from all the remote communication terminal devices 10A, 10B, and 10C to the relay device 30.

例えば、遠隔通信端末装置１０Ａが解像度１２８０×７２０（アスペクト比１６：９）の映像データを送信し、遠隔通信端末装置１０Ｂが解像度１９２０×１２００（アスペクト比１６：１０）、遠隔通信端末装置１０Ｃが解像度６４０×４８０（アスペクト比４：３）で遠隔通信端末装置１０Ａから送信された映像データを表示する構成を考える。送信端末を遠隔通信端末装置１０Ａとし、受信端末を遠隔通信端末装置１０Ｂおよび遠隔通信端末装置１０Ｃとする。
ステップＳ１の処理後、ステップＳ２にて、遠隔通信端末装置１０Ｂ、１０Ｃの能力通知部３０６Ｂ、３０６Ｃは、送信部３０５Ｂ、３０５Ｃを介して、中継装置３０に対してディスプレイの解像度（受信可能解像度）を通知する。具体的には、能力通知部３０６Ｂは、中継装置３０に対して解像度１０２４×７６８で遠隔通信端末装置１０Ａからの映像データを表示することを通知する。また、能力通知部３０６Ｃは、中継装置３０に対して解像度６４０×４８０で遠隔通信端末装置１０Ａからの映像データを表示することを通知する。
また、遠隔通信端末装置１０Ａの能力通知部３０６Ａは、送信部３０５Ａを介して、中継装置３０に対して送信可能な映像データの解像度（送信解像度）を通知する（ステップＳ２１）。 For example, the remote communication terminal apparatus 10A transmits video data with a resolution of 1280 × 720 (aspect ratio 16: 9), the remote communication terminal apparatus 10B has a resolution of 1920 × 1200 (aspect ratio 16:10), and the remote communication terminal apparatus 10C Consider a configuration in which video data transmitted from the remote communication terminal device 10A is displayed with a resolution of 640 × 480 (aspect ratio 4: 3). The transmitting terminal is the remote communication terminal apparatus 10A, and the receiving terminals are the remote communication terminal apparatus 10B and the remote communication terminal apparatus 10C.
After the processing of step S1, in step S2, the capability notification units 306B and 306C of the remote communication terminal devices 10B and 10C display the display resolution (receivable resolution) with respect to the relay device 30 via the transmission units 305B and 305C. To be notified. Specifically, the capability notification unit 306B notifies the relay device 30 that video data from the remote communication terminal device 10A is displayed with a resolution of 1024 × 768. The capability notification unit 306C notifies the relay device 30 that video data from the remote communication terminal device 10A is displayed with a resolution of 640 × 480.
Further, the capability notification unit 306A of the remote communication terminal device 10A notifies the resolution (transmission resolution) of video data that can be transmitted to the relay device 30 via the transmission unit 305A (step S21).

解像度通知部３１６は、通知された送信解像度と全ての受信可能解像度の情報から各遠隔通信端末装置１０Ａ、１０Ｂ、１０Ｃのアスペクト比を求め、いずれの受信端末においても表示されない映像領域が存在するか否かを判断する（ステップＳ２２）。この例では、遠隔通信端末装置１０Ａ、１０Ｂ、１０Ｃのアスペクト比は、それぞれ１６：９（１．７７：１）、１６：１０（１．６：１）、４：３（１．３３：１）であり、遠隔通信端末装置１０Ａの横の比率が一番大きいため、遠隔通信端末装置１０Ｂ、１０Ｃのいずれにおいても表示されない映像データの領域が存在する（ステップＳ６、Ｓ７の映像データの変化参照）。従って、遠隔通信端末装置１０Ｂ、１０Ｃのいずれにおいても表示されない映像データの領域を除外できるように、次に大きい横の比率となるアスペクト比１６：１０を遠隔通信端末装置１０Ａに「解像度通知情報」として通知する（ステップＳ４）。
ステップＳ５からステップＳ１０までの処理を行った後、合成部３１３は、映像データを切り取り、拡大又は縮小することにより、各遠隔通信端末装置１０Ｂ、１０Ｃにて表示可能な解像度の２つの映像データを生成する（ステップＳ２３）。具体的には、映像データを拡大することで解像度を１９２０×１２００に変更した映像データを生成し、映像データの一部を切り取った後、縮小処理することで、解像度を６４０×４８０に変更した映像データを生成する。
以降、ステップＳ１２からステップＳ１５までの処理を行う。 The resolution notification unit 316 obtains the aspect ratio of each of the remote communication terminal devices 10A, 10B, and 10C from the notified transmission resolution and information on all receivable resolutions, and whether there is a video area that is not displayed on any receiving terminal. It is determined whether or not (step S22). In this example, the aspect ratios of the remote communication terminal devices 10A, 10B, and 10C are 16: 9 (1.77: 1), 16:10 (1.6: 1), and 4: 3 (1.33: 1), respectively. ) And the horizontal ratio of the remote communication terminal device 10A is the largest, and therefore there is a region of video data that is not displayed in any of the remote communication terminal devices 10B and 10C (see the change of the video data in steps S6 and S7). ). Accordingly, in order to exclude the area of the video data that is not displayed in any of the remote communication terminal devices 10B and 10C, the “resolution notification information” is set to the remote communication terminal device 10A with an aspect ratio of 16:10 which is the next largest horizontal ratio. (Step S4).
After performing the processing from step S5 to step S10, the synthesizing unit 313 cuts out the video data and enlarges or reduces the video data to obtain two pieces of video data having a resolution that can be displayed on each remote communication terminal device 10B, 10C. Generate (step S23). Specifically, the video data is enlarged to generate video data with the resolution changed to 1920 × 1200, and after cutting out a part of the video data, the resolution is changed to 640 × 480 by reducing processing. Generate video data.
Thereafter, the processing from step S12 to step S15 is performed.

解像度通知部３１６が、遠隔通信端末装置１０Ａに通知するアスペクト比を算出する方法（ステップＳ２２）について、一般化して説明する。
遠隔通信端末装置１０Ａ、１０Ｂ、１０Ｃの解像度を、それぞれＸａ×Ｙａ、Ｘｂ×Ｙｂ、Ｘｃ×Ｙｃとする。
まず、ｍａｘ｛Ｘａ／Ｙａ，Ｘｂ／Ｙｂ，Ｘｃ／Ｙｃ｝＝Ｘａ／Ｙａのとき、言い換えれば、遠隔通信端末装置１０Ａの解像度の横の比率が一番大きい場合、解像度通知部３１６は、横の比率が次に大きいｍａｘ｛Ｘｂ／Ｙｂ，Ｘｃ／Ｙｃ｝となるアスペクト比を選択する。
他方、ｍｉｎ｛Ｘａ／Ｙａ，Ｘｂ／Ｙｂ，Ｘｃ／Ｙｃ｝＝Ｘａ／Ｙａのとき、言い換えれば、遠隔通信端末装置１０Ａの解像度の横の比率が一番小さい場合、解像度通知部３１６は、横の比率が次に小さいｍｉｎ｛Ｘｂ／Ｙｂ，Ｘｃ／Ｙｃ｝となるアスペクト比を選択する。 A method (step S22) for calculating the aspect ratio notified by the resolution notification unit 316 to the remote communication terminal device 10A will be generalized and described.
The resolutions of the remote communication terminal devices 10A, 10B, and 10C are Xa × Ya, Xb × Yb, and Xc × Yc, respectively.
First, when max {Xa / Ya, Xb / Yb, Xc / Yc} = Xa / Ya, in other words, when the horizontal ratio of the resolution of the remote communication terminal device 10A is the largest, the resolution notification unit 316 The aspect ratio is selected so that max {Xb / Yb, Xc / Yc} is the next largest ratio.
On the other hand, when min {Xa / Ya, Xb / Yb, Xc / Yc} = Xa / Ya, in other words, when the horizontal ratio of the resolution of the remote communication terminal device 10A is the smallest, the resolution notification unit 316 The aspect ratio is selected such that min {Xb / Yb, Xc / Yc} is the next smallest ratio.

このようにして求められたアスペクト比を解像度通知情報として遠隔通信端末装置１０Ａに通知することで、遠隔通信端末装置１０Ａでは、全ての遠隔通信端末装置に表示されない映像データ領域をエンコード対象から除外することができる。
従って、本変形実施形態においても、受信端末（遠隔通信端末装置）の受信可能解像度のアスペクト比に応じて、送信端末（遠隔通信端末装置）においてエンコード領域の解像度を調整するので、受信端末側で表示される映像に影響を与えずにエンコードにかかる送信端末のＣＰＵ負荷を低減させることができる。また、いずれの受信端末においても表示されない映像領域のデータについて、送信端末にてエンコードを行わず、また中継装置においてデコードする必要がないため、エンコードにかかる送信端末のＣＰＵ負荷、及びデコードにかかる中継装置のＣＰＵ負荷を低減させることができる。 By notifying the remote communication terminal device 10A of the aspect ratio thus obtained as resolution notification information, the remote communication terminal device 10A excludes all video data areas that are not displayed on the remote communication terminal device from encoding targets. be able to.
Therefore, also in this modified embodiment, the resolution of the encoding area is adjusted at the transmission terminal (remote communication terminal apparatus) according to the aspect ratio of the receivable resolution of the reception terminal (remote communication terminal apparatus). It is possible to reduce the CPU load on the transmitting terminal for encoding without affecting the displayed video. Further, since data in a video area that is not displayed on any receiving terminal is not encoded at the transmitting terminal and does not need to be decoded at the relay device, the CPU load on the transmitting terminal for encoding and the relay for decoding The CPU load on the apparatus can be reduced.

〔変形実施形態〕
本発明の第二の実施形態の変形実施形態について図７に基づいて説明する。図７は、本発明の第二の実施形態に係る多拠点テレビ会議システムのシークエンスチャート図である。第二の実施形態においては、中継装置３０の解像度通知部３１６が各遠隔通信端末装置のアスペクト比からいずれの受信端末においても表示されない映像領域が存在するか否かを判断していたが（ステップＳ２２の処理）、この処理を送信端末側で行うようにしてもよい。
例えば、ステップＳ１〜Ｓ３（ステップＳ２１を除く）の処理後、解像度通知部３１６は、通知された全ての受信可能解像度の情報から各遠隔通信端末装置１０Ｂ、１０Ｃのアスペクト比を求める（ステップＳ２２’）。 [Modified Embodiment]
A modified embodiment of the second embodiment of the present invention will be described with reference to FIG. FIG. 7 is a sequence chart diagram of the multi-site video conference system according to the second embodiment of the present invention. In the second embodiment, the resolution notification unit 316 of the relay device 30 determines whether or not there is a video region that is not displayed on any receiving terminal from the aspect ratio of each remote communication terminal device (step). The process of S22) may be performed on the transmission terminal side.
For example, after the processing in steps S1 to S3 (excluding step S21), the resolution notification unit 316 obtains the aspect ratio of each of the remote communication terminal devices 10B and 10C from the notified information of all receivable resolutions (step S22 ′). ).

解像度通知部３１６は、求められた全ての種類のアスペクト比を遠隔通信端末装置１０Ａに「解像度通知情報」として通知する（ステップＳ４’）。
遠隔通信端末装置１０Ａが解像度通知情報を受信（ステップＳ５）した後、解像度決定部３０３Ａは、解像度通知部３１６より通知された全てのアスペクト比と、送信可能な映像データの解像度（送信解像度）とから、遠隔通信端末装置１０Ｂ、１０Ｃのいずれにおいても表示されない映像データの領域が非エンコード領域となるようにエンコード領域の解像度を決定し、非エンコード領域を除外した領域をエンコードするようにエンコード部３０４Ａに対して命令する（ステップＳ６’）。
以降の処理は第二の実施形態と同一であるため、その説明を省略する。 The resolution notifying unit 316 notifies all the obtained aspect ratios as “resolution notification information” to the remote communication terminal device 10A (step S4 ′).
After the remote communication terminal device 10A receives the resolution notification information (step S5), the resolution determination unit 303A displays all the aspect ratios notified from the resolution notification unit 316 and the resolution (transmission resolution) of the video data that can be transmitted. Therefore, the encoding unit 304A determines the resolution of the encoding area so that the area of the video data that is not displayed in any of the remote communication terminal devices 10B and 10C becomes a non-encoding area, and encodes the area excluding the non-encoding area. (Step S6 ').
Since the subsequent processing is the same as that of the second embodiment, the description thereof is omitted.

以上のように、本変形実施形態においても、受信端末（遠隔通信端末装置）の受信可能解像度のアスペクト比に応じて、送信端末（遠隔通信端末装置）においてエンコード領域の解像度を調整するので、受信端末側で表示される映像に影響を与えずにエンコードにかかる送信端末のＣＰＵ負荷を低減させることができる。また、いずれの受信端末においても表示されない映像領域のデータについて、送信端末にてエンコードを行わず、また中継装置においてデコードする必要がないため、エンコードにかかる送信端末のＣＰＵ負荷、及びデコードにかかる中継装置のＣＰＵ負荷を低減させることができる。 As described above, also in this modified embodiment, the resolution of the encoding area is adjusted in the transmission terminal (remote communication terminal apparatus) according to the aspect ratio of the receivable resolution of the reception terminal (remote communication terminal apparatus). It is possible to reduce the CPU load on the transmitting terminal for encoding without affecting the video displayed on the terminal side. Further, since data in a video area that is not displayed on any receiving terminal is not encoded at the transmitting terminal and does not need to be decoded at the relay device, the CPU load on the transmitting terminal for encoding and the relay for decoding The CPU load on the apparatus can be reduced.

１…多拠点テレビ会議システム、１０…遠隔通信端末装置、１２…カメラ、１４…ディスプレイ、２０…通信ネットワーク、
３０…中継装置、３０１…受信部、３０２…デコード部、３０３…解像度決定部、３０４…エンコード部、３０５…送信部、３０６…能力通知部、３１１…受信部、３１２…デコード部、３１３…合成部、３１４…エンコード部、３１５…送信部、３１６…解像度通知部 DESCRIPTION OF SYMBOLS 1 ... Multi-site video conference system, 10 ... Remote communication terminal device, 12 ... Camera, 14 ... Display, 20 ... Communication network,
DESCRIPTION OF SYMBOLS 30 ... Relay apparatus 301 ... Reception part 302 ... Decoding part 303 ... Resolution determination part 304 ... Encoding part 305 ... Transmission part 306 ... Capability notification part 311 ... Reception part 312 ... Decoding part 313 ... Composition , 314 ... encoding unit, 315 ... transmission unit, 316 ... resolution notification unit

特許登録第３６５８０８７号Patent registration No. 3658087

Claims

A multi-site video conference system comprising a plurality of remote communication terminal devices that transmit and receive data, and a relay device that relays video data between the remote communication terminal devices via a communication network,
The remote communication terminal device is determined by the capability notifying unit for notifying the relay device of the receivable resolution of the video data, the resolution determining unit for determining the resolution of the encoding area of the video data to be transmitted, and the resolution determining unit. An encoding unit that compresses the video data area of resolution,
The relay device includes a resolution notification unit that notifies the remote communication terminal device serving as a video data transmission terminal of resolution notification information based on each receivable resolution notified from each capability notification unit,
The resolution determination unit, based on the resolution notification information notified from the resolution notification unit, causes a region of video data that is not displayed in all the remote communication terminal devices that are video data receiving terminals to be a non-encoding region. And determining a resolution of the encoding area.

When the aspect ratios of the receivable resolutions notified from the capability notification unit are the same, the resolution notification unit has the same receivable resolution of all the remote communication terminal devices that are video data receiving terminals. The multi-site video conference system according to claim 1, wherein the resolution determination unit is notified of an aspect ratio.

The capability notification unit notifies the relay device of the transmission resolution of video data,
The resolution notification unit has an area of video data that is not displayed on any of the remote communication terminal devices that are video data receiving terminals from the transmission resolution notified from the capability notification unit and all the receivable resolutions. Determining whether or not to do so, and when there is an area of video data that is not displayed on any of the remote communication terminal devices, notifies the resolution determination unit of an aspect ratio that can exclude the area of the video data The multi-site video conference system according to claim 1 or 2.

The resolution notification unit notifies the resolution determination unit of all types of aspect ratios when the aspect ratios of the receivable resolutions notified from the capability notification unit are different from each other,
The resolution determination unit performs non-encoding of an area that is not displayed on any of the remote communication terminal devices serving as video data receiving terminals, based on all aspect ratios notified from the resolution notification unit and the aspect ratios of transmittable resolutions. 3. The multi-site video conference system according to claim 1, wherein the resolution of the encoding area is determined so as to be an area.