JP2008228014A - 映像会議システム、会議映像処理方法、プログラム及び記録媒体 - Google Patents

Abstract

【課題】録画した過去の会議の映像を再生しながら議論を行うレビュー会議の内容を適切に理解する。
【解決手段】映像会議システムは、第１の映像情報を記憶する映像情報記憶部１１と、第１の映像情報を表示する第１の表示部１２と、第１の映像情報を表示している会議の場面を撮影した第２の映像情報を蓄積する映像情報蓄積部１５と、第１の映像情報の表示時点と第２の映像情報の撮影時点との同期を示す同期情報を作成して蓄積する同期情報管理部１６と、映像情報記憶部１１に記憶されている第１の映像情報と映像情報蓄積部１５に蓄積されている第２の映像情報とを、同期情報に基づいて同期させて表示する第２の表示部１７とを備えている。
【選択図】 図１

Description

本発明は、映像を用いて会議を行う映像会議システムに係り、特に過去に行われた会議等の様子を撮影した映像について議論を行うレビュー会議を開いたり、レビュー会議の内容を後から視聴したりするための映像会議システム、会議映像処理方法、プログラム及び記録媒体に関するものである。

従来より、映像会議システムが開発されており、その映像会議システムを用いることにより、遠く離れた２つ以上の会議室の間で映像・音声の送受信を行うことができ、その２つ以上の会議室にいる参加者たちで会議を行うことができた（例えば、特許文献１参照）。

特開２０００−１２２７６７号公報

一方、映像会議システムでは、会議の内容を録画しておき、その録画した過去の会議の映像を再生しながら議論等を行うこともある。また、このような議論等を行う会議（以下、レビュー会議とする）を撮影したり、撮影したレビュー会議の内容を後から視聴したりすることもある。
しかしながら、従来の映像会議システムでは、レビュー会議の内容を後から視聴したとしても、レビュー会議で議論している過去の会議の内容がよく分からない場合には、レビュー会議の内容を適切に理解することができないという問題点があった。

本発明は、上記問題点を解決するためになされたものであり、レビュー会議の内容のより適切な理解を可能とする映像会議システム、会議映像処理方法、プログラム及び記録媒体を提供することを目的とする。

本発明の映像会議システムは、第１の映像情報を記憶する映像情報記憶部と、この映像情報記憶部に記憶されている第１の映像情報を表示する表示部と、この表示部が第１の映像情報を表示している会議の場面を撮影した第２の映像情報を出力する撮影部と、前記第２の映像情報を蓄積する映像情報蓄積部と、前記第１の表示部による第１の映像情報の表示時点と前記第２の映像情報の撮影時点との同期を示す同期情報を作成して蓄積する同期情報管理部とを備えるものである。
また、本発明の映像会議システムの１構成例は、さらに、前記同期情報管理部によって前記同期情報が事前に作成されているときに、前記映像情報記憶部に記憶されている第１の映像情報と前記映像情報蓄積部に蓄積されている第２の映像情報とを、前記同期情報に基づいて同期させて前記表示部に表示させる合成手段を備えるものである。
また、本発明の映像会議システムの１構成例は、さらに、前記同期情報管理部によって前記同期情報が事前に作成されているときに、前記映像情報記憶部に記憶されている第１の映像情報と前記映像情報蓄積部に蓄積されている第２の映像情報とを、前記同期情報に基づいて同期させて前記表示部と異なる他の表示部に表示させる合成手段を備えるものである。
また、本発明の映像会議システムの１構成例において、前記第１の映像情報は、前記第２の映像情報が撮影された会議よりも前に行われた過去の会議の場面を撮影した映像情報である。

また、本発明の会議映像処理方法は、映像情報記憶部に記憶されている第１の映像情報を表示部に表示させる表示ステップと、前記表示部が第１の映像情報を表示している会議の場面を撮影した第２の映像情報を出力する撮影ステップと、前記第２の映像情報を蓄積する映像情報蓄積ステップと、前記第１の映像情報の表示時点と前記第２の映像情報の撮影時点との同期を示す同期情報を作成して同期情報管理部に蓄積する同期情報管理ステップとを、記憶装置に記憶されたプログラムに従ってコンピュータに実行させるようにしたものである。
また、本発明の会議映像処理方法の１構成例は、さらに、前記同期情報管理ステップによって前記同期情報が事前に作成されているときに、前記映像情報記憶ステップで記憶された第１の映像情報と前記映像情報蓄積ステップで蓄積された第２の映像情報とを、前記同期情報に基づいて同期させて前記表示部に表示させる合成ステップを、前記コンピュータに実行させるようにしたものである。
また、本発明の会議映像処理方法の１構成例は、さらに、前記同期情報管理ステップによって前記同期情報が事前に作成されているときに、前記映像情報記憶ステップで記憶された第１の映像情報と前記映像情報蓄積ステップで蓄積された第２の映像情報とを、前記同期情報に基づいて同期させて前記表示部と異なる他の表示部に表示させる合成ステップを、前記コンピュータに実行させるようにしたものである。
また、本発明の会議映像処理プログラムは、会議映像処理方法の各ステップをコンピュータに実行させるようにしたものである。
また、本発明の記録媒体は、会議映像処理プログラムを記録したものである。

本発明によれば、第１の表示部による第１の映像情報の表示時点と第２の映像情報の撮影時点との同期を示す同期情報を作成して蓄積する同期情報管理部を設けることにより、過去の会議等を撮影した第１の映像情報の表示時点とその過去の会議の映像を見ながら行われたレビュー会議を撮影した第２の映像情報の撮影時点とを同期させることができる。その結果、本発明によれば、第１の映像情報と第２の映像情報を同期させて表示することができるので、過去の会議を見ながら行われたレビュー会議の内容を、より適切に理解することができる。

以下、本発明の映像会議システムについて、実施の形態を用いて説明する。なお、以下の実施の形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。

［第１の実施の形態］
本発明の第１の実施の形態に係る映像会議システムについて、図面を参照しながら詳細に説明する。図１は、本発明の第１の実施の形態に係る映像会議システムの構成を示すブロック図である。本実施の形態の映像会議システムは、映像情報記憶部１１と、第１の表示部１２と、撮影部１３と、映像情報受付部１４と、映像情報蓄積部１５と、同期情報管理部１６と、第２の表示部１７と、表示デバイスであるディスプレイ１８，１９とを備える。

本実施の形態の映像会議システムは、過去に行われた会議の様子を撮影した第１の映像情報について議論等を行うレビュー会議を開くためのシステム、あるいはレビュー会議の内容を後から視聴するためのシステムである。
映像情報記憶部１１は、この第１の映像情報を記憶している。第１の映像情報が示す映像は、通信機能を有するテレビ会議システム等において撮影された映像でもよいし、通信機能を用いることなく会議の場面を単に撮影した映像であってもよい。通信機能を有するテレビ会議システム等において撮影された場合、第１の映像情報が示す映像は、通信回線を介して接続されている２つ以上の会議室の映像を含んでいてもよいし、そのいずれかの会議室の映像のみを含むものであってもよい。

ここで、第１の映像情報が示す会議は、２人以上の人が双方向で話をする状況を含むものとする。したがって、いわゆるビジネス上の会議のみでなく、主婦や友人が話をしている状況も会議に含まれるものとする。また、会議には、セミナーや講演等のように、説明者が情報受領者に対して情報を提供する形式も含まれるものとする。

第１の映像情報は、映像の任意の時間的位置（例えば、任意のフレーム）を指定することができるように構成されていることが好ましい。例えば第１の映像情報は、タイムコードを用いて映像の任意の時間的位置を指定することができるものでもよいし、映像の先頭からの経過時間を用いて映像の任意の時間的位置を指定することができるものでもよいし、その他のフレームＩＤ等を用いて映像の任意の時間的位置を指定することができるものでもよい。

また、第１の映像情報は、映像の時間的位置を示す情報を含んでいてもよいし、含んでいなくてもよい。映像の時間的位置を示す情報は、映像の時間的位置を指定することができるのであれば、例えば映像の相対的な時間的位置を示すものでもよいし、映像の絶対的な時間的位置を示すものであってもよい。本実施の形態では、第１の映像情報が、映像の時間的位置を示す情報としてタイムコードを含んでいるものとする。また、第１の映像情報は、音声情報を含んでいてもよいし、含んでいなくてもよい。また、第１の映像情報は、デジタルデータであってもよいし、アナログデータであってもよい。

映像情報記憶部１１は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。本実施の形態では、映像情報記憶部１１に第１の映像情報が記憶される過程は問わない。例えば、記録媒体を介して第１の映像情報が映像情報記憶部１１に記憶されるようになっていてもよいし、通信回線等を介して送信された第１の映像情報が映像情報記憶部１１に記憶されるようになっていてもよいし、あるいは入力デバイスを介して入力された第１の映像情報が映像情報記憶部１１に記憶されるようになっていてもよい。映像情報記憶部１１による記憶は、外部のストレージデバイス等から読み出した映像情報をＲＡＭ等に記憶する一時的な記憶でもよいし、長期的な記憶でもよい。

第１の表示部１２は、映像情報記憶部１１に記憶されている第１の映像情報を表示する。なお、第１の映像情報に音声情報が含まれている場合、第１の表示部１２は、第１の映像情報を表示すると共に、その音声情報を出力してもよい。また、第１の表示部１２は、例えばＣＲＴや液晶デイスプレイなどの表示デバイスや、スピーカを含んでいてもよいし、含まなくてもよい。本実施の形態では、第１の表示部１２は、外部の表示デバイスであるディスプレイ１８に第１の映像情報を表示するものとする。また、第１の表示部１２は、ハードウェアでもよいし、表示デバイスを駆動するドライバ等のソフトウェアであってもよい。

撮影部１３は、本実施の形態の映像会議システムを用いて開催されるレビュー会議の様子を撮影する。前述のとおり、このレビュー会議では、第１の表示部１２が第１の映像情報を表示する。撮影部１３は、映像を撮影するカメラであり、例えばＣＣＤやＣＭＯＳ等のイメージセンサを用いて映像を撮影する。なお、音声情報も取得する場合、撮影部１３は、例えばマイクを含んでいてもよい。

映像情報受付部１４は、撮影部１３から第２の映像情報を受け付ける。第２の映像情報は、撮影部１３がレビュー会議の様子を撮影した映像情報である。第２の映像情報は、映像の任意の時間的位置（例えば、任意のフレーム）を指定することができるように構成されていることが好ましい。例えば第２の映像情報は、タイムコードを用いて映像の任意の時間的位置を指定することができるものでもよいし、映像の先頭からの経過時間を用いて映像の任意の時間的位置を指定することができるものでもよいし、その他のフレームＩＤ等を用いて映像の任意の時間的位置を指定することができるものでもよい。

また、第２の映像情報は、映像の時間的位置を示す情報を含んでいてもよいし、含んでいなくてもよい。本実施の形態では、第２の映像情報が、映像の時間的位置を示す情報としてタイムコードを含んでいるものとする。また、第２の映像情報は、音声情報を含んでいてもよいし、含んでいなくてもよい。その音声情報は、撮影部１３のマイクで収音されたものでもよいし、その他の図示しないマイクによって収音されたものであってもよい。また、第２の映像情報は、デジタルデータであってもよいし、アナログデータであってもよい。

映像情報受付部１４による第２の映像情報の受け付けは、例えば有線もしくは無線の通信回線を介して送信された情報の受信でもよいし、光ディスクや磁気ディスク、半導体メモリなどの所定の記録媒体から読み出された情報の受信であってもよい。通信回線は、例えばインターネットやイントラネット、ＬＡＮなどでもよいし、ＩＥＥＥ１３９４のケーブルや映像情報を伝送する専用のケーブル等であってもよい。本実施の形態では、映像情報受付部１４は、撮影部１３が撮影した第２の映像情報を通信回線を介して受け付けるものとする。なお、映像情報受付部１４は、受け付けを行うためのデバイス（例えば、モデムやネットワークカードなど）を含んでいてもよいし、含んでいなくてもよい。また、映像情報受付部１４は、ハードウェアでもよいし、所定のデバイスを駆動するドライバ等のソフトウェアであってもよい。

映像情報蓄積部１５は、映像情報受付部１４が受け付けた第２の映像情報を所定の記録媒体に蓄積する。この記録媒体は、例えば半導体メモリや光ディスク、磁気ディスク等であり、映像情報蓄積部１５が内部に有していてもよいし、映像情報蓄積部１５の外部に存在してもよい。また、この記録媒体は、第２の映像情報を一時的に記憶するものでもよいし、長期的に記憶するものであってもよい。

同期情報管理部１６は、第１の表示部１２による第１の映像情報の表示時点と、その第１の映像情報が表示されているレビュー会議を撮影した第２の映像情報の撮影時点との同期を示す同期情報を作成して蓄積する。この同期情報によって、第２の映像情報中のある時間的位置の映像が撮影された時点において、レビュー会議で表示されていた第１の映像情報の時間的位置を知ることができる。

ここで、同期情報は、厳密な意味において第１の映像情報の表示時点と第２の映像情報の撮影時点との同期を示す情報でなくてもよい。同期情報は、例えば第１の映像情報の表示時点と第２の映像情報の蓄積時点との同期を示す情報であってもよい。その理由は、第２の映像情報の撮影時点と第２の映像情報の蓄積時点とはほぼ同時点であると考えられるからである。

同期情報管理部１６が同期情報を作成することは、新たな情報を作成することを意味してもよいし、所定のメモリやレジスタ等から情報を読み出したり取得したりすることによって同期情報を構成することを意味してもよい。同期情報管理部１６は、第１の表示部１２が表示する第１の映像情報の時間的位置を示す情報と、映像情報蓄積部１５が蓄積する第２の映像情報の時間的位置を示す情報とを受け取り、第１の映像情報の時間的位置を示す情報と第２の映像情報の時間的位置を示す情報とを用いて、同期情報を作成してもよい。

以下、同期情報の具体例について説明する。同期情報は、第１の映像情報及び第２の映像情報とは別個に構成される情報であってもよいし（具体例１）、第１の映像情報に含まれる情報であってもよいし（具体例２）、第２の映像情報に含まれる情報であってもよいし（具体例３）、第１の映像情報及び第２の映像情報に含まれる情報であってもよい（具体例４）。

（１）具体例１のように同期情報が第１の映像情報及び第２の映像情報と別個に構成される情報である場合は、同期情報は、例えば第１の映像情報における映像の時間的位置を示す情報と第２の映像情報における映像の時間的位置を示す情報とを対応付ける情報であればよい。具体的には、同期情報は、第１の映像情報のタイムコードと第２の映像情報のタイムコードとを対応付ける情報でもよいし、第１の映像情報の先頭からの時間と第２の映像情報の先頭からの時間とを対応付ける情報でもよいし、その他の情報であってもよい。

また、同期情報は、例えば第１の映像情報のフレームと第２の映像情報のフレームとを全てのフレームについて対応付ける情報であってもよい。この場合、第２の映像情報の撮影中に第１の映像情報が高速再生して表示された場合や低速再生して表示された場合にも、第１の映像情報と第２の映像情報とを適切に同期させることができる。また、同期情報は、第１の映像情報の特定の１つ以上のフレームと第２の映像情報の特定の１つ以上のフレームとを対応付ける情報であってもよい。この場合、特定のフレーム以外は第１の映像情報と第２の映像情報とが同じスピードで再生・録画されることを前提としているが、同期情報のデータ量を削減することができる。特定のフレームとしては、第１の映像情報と第２の映像情報のそれぞれの先頭フレームが考えられる。

本実施の形態では、この具体例１のように、同期情報管理部１６が、第１の映像情報のタイムコードと第２の映像情報のタイムコードとを対応付ける同期情報を作成するものとする。具体例１の場合、同期情報は、同期情報管理部１６、あるいはその他の構成要素が有する所定の記録媒体に蓄積される。この記録媒体は、例えば半導体メモリや光ディスク、磁気ディスク等である。また、この記録媒体は、同期情報を一時的に記憶するものでもよいし、長期的に記憶するものであってもよい。

（２）具体例２のように同期情報が第１の映像情報に含まれる場合、同期情報は、例えば第２の映像情報における映像の時間的位置を示す情報であり、この時間的位置を示す情報が第１の映像情報の対応するフレームに含まれていればよい。この場合は、第１の映像情報が再生されている際に、その同期情報が第１の映像情報に追記されることになる。具体例２の場合の同期情報も、第１の映像情報のフレームと第２の映像情報のフレームとを全てのフレームについて対応付ける情報であってもよいし、第１の映像情報の特定の１つ以上のフレームと第２の映像情報の特定の１つ以上のフレームとを対応付ける情報であってもよい。

（３）具体例３のように同期情報が第２の映像情報に含まれる場合、具体例２の場合とは逆に、同期情報は、例えば第１の映像情報における映像の時間的位置を示す情報であり、この時間的位置を示す情報が第２の映像情報の対応するフレームに含まれていればよい。この場合は、第２の映像情報が蓄積される際に、その同期情報が第２の映像情報の中に蓄積されることになる。具体例３の場合の同期情報も、第１の映像情報のフレームと第２の映像情報のフレームとを全てのフレームについて対応付ける情報であってもよいし、第１の映像情報の特定の１つ以上のフレームと第２の映像情報の特定の１つ以上のフレームとを対応付ける情報であってもよい。

（４）具体例４のように同期情報が第１の映像情報及び第２の映像情報に含まれる場合、同期情報は、それぞれ対応する第１の映像情報のフレームと第２の映像情報のフレームとに含まれていればよい。したがって、第１の映像情報及び第２の映像情報において、同じ同期情報を含むフレームが同期するフレームとなる。具体例４の場合の同期情報も、第１の映像情報のフレームと第２の映像情報のフレームとを全てのフレームについて対応付ける情報であってもよいし、第１の映像情報の特定の１つ以上のフレームと第２の映像情報の特定の１つ以上のフレームとを対応付ける情報であってもよい。

同期情報が第２の映像情報に含まれる場合には、同期情報管理部１６において同期情報を蓄積する機能と、映像情報蓄積部１５において第２の映像情報を蓄積する機能とを、一体の構成で実現してもよいし、別々の構成で実現してもよい。また、同期情報が第１の映像情報に含まれる場合、同期情報管理部１６は、映像情報記憶部１１に記憶されている第１の映像情報に同期情報を追記する。

合成手段となる第２の表示部１７は、映像情報記憶部１１に記憶されている第１の映像情報と映像情報蓄積部１５が蓄積している第２の映像情報とを、同期情報管理部１６が蓄積している同期情報に基づいて同期させて表示する。第２の表示部１７は、例えば１台の表示デバイスに第１の映像情報と第２の映像情報とを表示してもよいし、２台の表示デバイスに分けて第１の映像情報と第２の映像情報とを表示してもよい。１台の表示デバイスに第１の映像情報と第２の映像情報とを表示する場合には、第１の映像情報と第２の映像情報とを同じ大きさで並列に表示してもよいし、一方の映像の内部に他方の映像を小さく表示してもよく、２つの映像情報の表示方法は問わない。

なお、第１の映像情報と第２の映像情報の少なくとも一方に音声情報が含まれている場合、第２の表示部１７は、第１の映像情報と第２の映像情報とを表示すると共に、その音声情報を出力してもよい。また、第２の表示部１７は、例えばＣＲＴや液晶ディスプレイなどの表示デバイスや、スピーカを含んでいてもよいし、含まなくてもよい。本実施の形態では、第２の表示部１７は、外部の表示デバイスであるディスプレイ１９に第１の映像情報と第２の映像情報とを表示するものとする。ディスプレイ１９は、ディスプレイ１８と同一の会議室に配置されていてもよいし、第２の表示部１７と通信回線を介して接続されている遠隔地の会議室に配置されていてもよい。また、第２の表示部１７は、ハードウェアでもよいし、表示デバイスを駆動するドライバ等のソフトウェアであってもよい。

また、映像情報記憶部１１が第１の映像情報を蓄積する記録媒体と、映像情報蓄積部１５が第２の映像情報を蓄積する記録媒体とは、同一のものでもよいし、別のものであってもよい。同一の記録媒体を用いる場合には、第１の映像情報が記憶されている領域が映像情報記憶部１１となる。

次に、本実施の形態の映像会議システムの動作について図２のフローチャートを用いて説明する。なお、本実施の形態の映像会議システムの動作は、図２のフローチャートで示されるものに限定されず、本発明の要旨を変更しない範囲において変更可能であることは言うまでもない。

まず、第１の表示部１２は、第１の映像情報を表示しながら評論等を行うレビュー会議が開始されるかどうかを判断する（ステップＳ１０１）。例えば会議に参加するユーザによって第１の映像情報を表示する旨の指示が入力された場合に、第１の表示部１２は、レビュー会議が開始されると判断すればよい。そして、レビュー会議が開始される場合にはステップＳ１０２に進み、レビュー会議が開始されない場合あるいは既に行われたレビュー会議の内容を視聴する場合にはステップＳ１０３に進む。

レビュー会議が開始される場合、第１の表示部１２等は、第１の映像情報の表示や、第２の映像情報の蓄積、同期情報の作成・蓄積等を行い（ステップＳ１０２）、ステップＳ１０１に戻る。このステップＳ１０２の処理の詳細については、図３のフローチャートを用いて後述する。

一方、レビュー会議が開始されない場合あるいはレビュー会議の内容を視聴する場合、第２の表示部１７は、第１の映像情報及び第２の映像情報を表示するかどうかを判断する（ステップＳ１０３）。例えば会議に参加するユーザによって第１の映像情報と第２の映像情報とを表示する旨の指示が入力された場合に、第２の表示部１７は、第１の映像情報と第２の映像情報とを表示すると判断すればよい。そして、第１の映像情報と第２の映像情報とを表示する場合にはステップＳ１０４に進み、表示しない場合にはステップＳ１０１に戻る。

第１の映像情報と第２の映像情報とを表示する場合、第２の表示部１７は、同期情報を用いて第１の映像情報と第２の映像情報とを同期させながらディスプレイ１９に表示し（ステップＳ１０４）、ステップＳ１０１に戻る。このステップＳ１０４の処理の詳細については、図４のフローチャートを用いて後述する。
なお、図２のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。また、ステップＳ１０１の判断を第１の表示部１２が行う場合について説明したが、ステップＳ１０１の判断を他の構成要素によって行うようにしてもよい。

図３は、図２のフローチャートにおけるステップＳ１０２の処理の詳細を示すフローチャートである。
レビュー会議が開始される場合、第１の表示部１２は、第１の映像情報のフレームをカウントするためのカウンタｉを１に設定する（ステップＳ２０１）。続いて、第１の表示部１２は、映像情報記憶部１１に記憶されている第１の映像情報にｉ番目のフレームが存在するかどうかを判断する（ステップＳ２０２）。第１の表示部１２は、ｉ番目のフレームが存在する場合にはステップＳ２０３に進み、フレームが存在しない場合には図２のステップＳ１０１に戻る。

ｉ番目のフレームが存在する場合、第１の表示部１２は、第１の映像情報のｉ番目のフレームを映像情報記憶部１１から読み出す（ステップＳ２０３）。そして、第１の表示部１２は、その第１の映像情報のｉ番目のフレームをディスプレイ１８に表示する（ステップＳ２０４）。なお、第１の映像情報に音声情報が含まれる場合、第１の表示部１２は、その音声情報を出力する。

同期情報管理部１６は、第１の表示部１２が表示したｉ番目のフレームに対応するタイムコードを取得する（ステップＳ２０５）。そして、同期情報管理部１６は、取得したタイムコードを図示しない記録媒体において一時的に保持しておく。
映像情報受付部１４は、撮影部１３が撮影した第２の映像情報のフレームを受け付ける（ステップＳ２０６）。この第２の映像情報には、音声情報が含まれていてもよい。そして、映像情報蓄積部１５は、映像情報受付部１４が受け付けた第２の映像情報のフレームを所定の記録媒体に蓄積する（ステップＳ２０７）。

次に、同期情報管理部１６は、映像情報蓄積部１５が蓄積した第２の映像情報のフレームに対応するタイムコードを取得する（ステップＳ２０８）。そして、同期情報管理部１６は、取得したタイムコードを図示しない記録媒体において一時的に保持しておく。
続いて、同期情報管理部１６は、ステップＳ２０５において取得した第１の映像情報のタイムコードとステップＳ２０８において取得した第２の映像情報のタイムコードとを対応付ける同期情報を作成する（ステップＳ２０９）。同期情報管理部１６は、作成した同期情報を所定の記録媒体に蓄積する（ステップＳ２１０）。

第１の表示部１２は、カウンタｉを１だけ増やして（ステップＳ２１１）、ステップＳ２０２に戻る。
こうして、ｉ番目のフレームが存在しなくなるまで、ステップＳ２０３〜Ｓ２１１の処理が繰り返される。

図４は、図２のフローチャートにおけるステップＳ１０４の処理の詳細を示すフローチャートである。
第１の映像情報と第２の映像情報とを表示する場合、第２の表示部１７は、第２の映像情報のフレームをカウントするためのカウンタｊを１に設定する（ステップＳ３０１）。続いて、第２の表示部１７は、映像情報蓄積部１５が蓄積した第２の映像情報にｊ番目のフレームが存在するかどうかを判断する（ステップＳ３０２）。第２の表示部１７は、ｊ番目のフレームが存在する場合にはステップＳ３０３に進み、フレームが存在しない場合には図２のステップＳ１０１に戻る。

ｊ番目のフレームが存在する場合、第２の表示部１７は、映像情報蓄積部１５が蓄積した第２の映像情報のｊ番目のフレームを読み出す（ステップＳ３０３）。第２の表示部１７は、読み出したｊ番目のフレームに対応するタイムコードを取得する（ステップＳ３０４）。次に、第２の表示部１７は、同期情報管理部１６が蓄積した同期情報から、第２の映像情報のｊ番目のフレームのタイムコードに対応する第１の映像情報のタイムコードを取得する（ステップＳ３０５）。

第２の表示部１７は、ステップＳ３０５で取得した第１の映像情報のタイムコードを用いて、映像情報記憶部１１からこのタイムコードに対応する第１の映像情報のフレームを読み出す（ステップＳ３０６）。そして、第２の表示部１７は、ステップＳ３０３で読み出した第２の映像情報のフレームとステップＳ３０６で読み出した第１の映像情報のフレームとをディスプレイ１９に表示する（ステップＳ３０７）。

第２の表示部１７は、カウンタｊを１だけ増やして（ステップＳ３０８）、ステップＳ３０２に戻る。
こうして、ｊ番目のフレームが存在しなくなるまで、ステップＳ３０３〜Ｓ３０８の処理が繰り返される。

次に、本実施の形態の映像会議システムの動作について、具体例を用いて説明する。この具体例においては、映像情報記憶部１１に、図５のような第１の映像情報ＶＩＤＥＯ１が記憶されているものとする。また、この第１の映像情報ＶＩＤＥＯ１では、先頭のフレームが「１：００：００：００」、２番目のフレームが「１：００：００：０１」、３番目のフレームが「１：００：００：０２」といったように、先頭のフレームから順にタイムコードＴＣ１が割り当てられているものとする。なお、図５では、第１の映像情報ＶＩＤＥＯ１をこの映像情報が示す映像によって図形的に示している。

まず、レビュー会議において、第２の映像情報と同期情報とを蓄積する処理について説明する。ユーザは、映像会議システムに接続されている所定の入力デバイス（不図示）を操作して、会議を始める旨の指示を入力する。この入力に応じて、第１の表示部１２は、レビュー会議が開始されると判断する（図２ステップＳ１０１）。

レビュー会議が開始される場合、同期情報管理部１６は、レビュー会議で表示される第１の映像情報を識別する映像ＩＤと、レビュー会議で撮影される第２の映像情報を識別する映像ＩＤとを対応付けて、これらを同期情報の一部として蓄積する。第１の映像情報の映像ＩＤは「Ｖ００１」であり、第２の映像情報の映像ＩＤは「Ｖ００２」であったとする。その後、図３のステップＳ２０１〜Ｓ２０４の処理により、映像情報記憶部１１に記憶されている、映像ＩＤ「Ｖ００１」で識別される第１の映像情報の１番目のフレームが読み出されてディスプレイ１８に表示される。

第１の表示部１２は、タイムコードＴＣ１「１：００：００：００」を含む第１の映像情報の１番目のフレームを同期情報管理部１６に渡す。このようにして、同期情報管理部１６は、第１の映像情報の１番目のフレームから、そのフレームに対応するタイムコードＴＣ１を取得する（ステップＳ２０５）。

撮影部１３は、レビュー会議の様子を撮影し、撮影した第２の映像情報を映像情報受付部１４に渡す。映像情報受付部１４は、第２の映像情報のフレームを受け付け、映像情報蓄積部１５に渡す（ステップＳ２０６）。映像情報蓄積部１５は、第２の映像情報のフレームを、映像ＩＤ「Ｖ００２」で識別される第２の映像情報として所定の記録媒体に蓄積する（ステップＳ２０７）。また、映像情報蓄積部１５は、蓄積した第２の映像情報のフレームを同期情報管理部１６に渡す。このようにして、同期情報管理部１６は、この第２の映像情報のフレームから、そのフレームに対応するタイムコードＴＣ２を取得する（ステップＳ２０８）。このときのタイムコードＴＣ２は、「０：１５：００：００」であったとする。

同期情報管理部１６は、表示された第１の映像情報のタイムコードＴＣ１と撮影された第２の映像情報のタイムコードＴＣ２とを対応付ける同期情報を作成し（ステップＳ２０９）、所定の記録媒体に蓄積する（ステップＳ２１０）。このとき蓄積された情報は、図６に示す同期情報ＳＹＮにおけるタイムコードの１番目のレコードである。なお、図６に示すように、同期情報ＳＹＮの中には、第１の映像情報の映像ＩＤ「Ｖ００１」と第２の映像情報の映像ＩＤ「Ｖ００２」とが対応付けて登録されている。

このようにして、第１の映像情報のフレームがなくなるまで、第２の映像情報の蓄積と同期情報の蓄積とが繰り返して行われることになる（ステップＳ２０２〜Ｓ２１１）。その結果、映像情報蓄積部１５には、図７のような第２の映像情報ＶＩＤＥＯ２が蓄積される。この第２の映像情報ＶＩＤＥＯ２では、先頭のフレームが「００：１５：００：００」、２番目のフレームが「００：１５：００：０１」、３番目のフレームが「００：１５：００：０２」といったように、先頭のフレームから順にタイムコードＴＣ２が割り当てられている。また、同期情報管理部１６が蓄積した同期情報は、図６で示されるようになる。なお、図７では、第２の映像情報ＶＩＤＥＯ２をこの映像情報が示す映像によって図形的に示している。

次に、レビュー会議の内容を視聴する場合において、第１の映像情報と第２の映像情報とを表示する処理について説明する。ユーザは、映像会議システムに接続されている所定の入力デバイスを操作して、映像ＩＤ「Ｖ００２」に対応する第２の映像情報の表示を開始する旨の指示を入力する。この入力に応じて、第２の表示部１７は、第１の映像情報と第２の映像情報との表示を開始すると判断する（図２ステップＳ１０３）。第１の映像情報と第２の映像情報とを表示する場合、第２の表示部１７は、映像ＩＤ「Ｖ００２」に対応する、図７のような第２の映像情報ＶＩＤＥＯ２の１番目のフレームを読み出し（図４ステップＳ３０１〜Ｓ３０３）、この１番目のフレームに対応するタイムコードＴＣ２「００：１５：００：００」を取得する（ステップＳ３０４）。

第２の表示部１７は、図６で示される同期情報ＳＹＮを参照して、映像ＩＤ「Ｖ００２」の第２の映像情報のタイムコードＴＣ２「００：１５：００：００」をキーとして検索を行い、この第２の映像情報のタイムコードＴＣ２「００：ｌ５：００：００」に対応する映像ＩＤ「Ｖ００１」の第１の映像情報のタイムコードＴＣ１「１：００：００：００」を取得する（図４ステップＳ３０５）。そして、第２の表示部１７は、映像情報記憶部１１に記憶されている、図５のような第１の映像情報ＶＩＤＥＯ１からタイムコードＴＣ１「１：００：００：００」に対応するフレ−ムを読み出す（ステップＳ３０６）。そして、第２の表示部１７は、第２の映像情報の１番目のフレームとこのフレームに同期する第１の映像情報のフレームとをディスプレイ１９に表示する（ステップＳ３０７）。

図８に、ディスプレイ１９に表示された第１の映像情報のフレームＦ１と第２の映像情報のフレームＦ２の一例を示す。
このようにして、第２の映像情報のフレームがなくなるまで、互いに同期している第１の映像情報のフレームと第２の映像情報のフレームとの表示が繰り返し行われることになる（ステップＳ３０２〜３０８）。

以上のように、本実施の形態の映像会議システムによれば、過去の会議の映像の表示時点と、その過去の会議の映像を見ながら行われたレビュー会議の映像の撮影時点とを同期させることができ、両映像を同期させて表示することができる。その結果、本実施の形態によれば、過去の会議を見ながら行われたレビュー会議の内容を、より適切に理解することができる。

なお、図３のフローチャートでは、第１の映像情報のフレームがなくなるまで、第２の映像情報の蓄積と同期情報の蓄積とが繰り返される場合について示しているが、例えばユーザから第２の映像情報の蓄積を終了する指示が入力されたときに、第２の映像情報の蓄積と同期情報の蓄積とを終了するようにしてもよい。
また、図４のフローチャートでは、第２の映像情報のフレームがなくなるまで、第１の映像情報のフレームと第２の映像情報のフレームの表示が繰り返される場合について示しているが、例えばユーザから表示を終了する指示が入力されたときに、第１の映像情報のフレームと第２の映像情報のフレームの表示を終了するようにしてもよい。

また、本実施の形態では、音声の出力については説明しなかったが、前述のように、映像情報に音声情報が含まれる場合には、第１の表示部１２及び第２の表示部１７は、音声情報を出力してもよい。この場合、第２の表示部１７は、第１の映像情報の音声情報を出力してもよいし、第２の映像情報の音声情報を出力してもよく、第１の映像情報と第２の映像情報の両方の音声情報を出力してもよい。

［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。第１の実施の形態の具体例２で説明したように、同期情報は、第１の映像情報に含まれていてもよい。例えば、図９で示されるように、第１の映像情報の各フレームに同期情報ＳＹＮが含まれていてもよい。図９の例では、第１の映像情報ＶＩＤＥＯ１の先頭のフレームに、タイムコードＴＣ１「１：００：００：００」が含まれ、さらに映像ＩＤ「Ｖ００２」の映像のタイムコード「０：１５：００：００」と映像ＩＤ「Ｖ００３」の映像のタイムコード「０：３０：００：００」とが同期情報ＳＹＮとして含まれていることが分かる。

この同期情報ＳＹＮにより、第１の映像情報のタイムコード「１：００：００：００」のフレームに、映像ＩＤ「Ｖ００２」で識別される第２の映像情報のタイムコード「０：１５：００１００」のフレームと、映像ＩＤ「Ｖ００３」で識別される第２の映像情報のタイムコード「０：３０：００１００」のフレームとが同期していることが示される。図９の同期情報ＳＹＮは、例えば第１の映像情報がレビュー会議において表示される際に、第１の映像情報に追記されることになる。

また、図６に示した同期情報ＳＹＮでは、第１の映像情報と第２の映像情報とが１対１で対応していたが、図９に示したように、同期情報ＳＹＮは、１フレームの第１の映像情報に対して複数フレームの第２の映像情報を対応付ける情報であってもよい。そのような場合であっても、図９に示した同期情報ＳＹＮを用いることにより、第２の映像情報の任意のフレームに対応する第１の映像情報のフレームを特定することができる。１フレームの第１の映像情報に複数フレームの第２の映像情報が同期する状況としては、例えば第１の映像情報が２回以上表示され、その第１の映像情報が表示された２回以上のレビュー会議の場面がそれぞれ第２の映像情報として撮影される状況が考えられる。

［第３の実施の形態］
次に、本発明の第３の実施の形態について説明する。第１の実施の形態の具体例３で説明したように、同期情報は、第２の映像情報に含まれていてもよい。例えば、図１０で示されるように、第２の映像情報の各フレームに同期情報ＳＹＮが含まれていてもよい。図１０の例では、第２の映像情報ＶＩＤＥＯ２の先頭のフレームに、タイムコードＴＣ２「０：１５：００：００」が含まれ、さらに映像ＩＤ「Ｖ００１」の映像のタイムコード「１：００：００：００」が同期情報ＳＹＮとして含まれていることが分かる。

この同期情報ＳＹＮにより、第２の映像情報のタイムコード「０：１５：００：００」のフレ−ムと、映像ＩＤ「Ｖ００１」で識別される第１の映像情報のタイムコード「１：００：００：００」のフレームとが同期していることが示される。図１０の同期情報ＳＹＮは、例えば第２の映像情報が蓄積される際に、この蓄積される第２の映像情報に記録されることになる。

［第４の実施の形態］
次に、本発明の第４の実施の形態について説明する。第１の実施の形態の具体例４で説明したように、同期情報は、第１の映像情報と第２の映像情報の両方に含まれていてもよい。例えば、図１１、図１２で示されるように、第１の映像情報の各フレームと第２の映像情報の各フレームに同期情報ＳＹＮが含まれていてもよい。図１１の例では、第１の映像情報ＶＩＤＥＯ１の先頭のフレームに、タイムコードＴＣ１「１：００：００：００」が含まれ、さらに同期情報ＳＹＮとして「ｓｙｎ００１−００１」が含まれており、図１２の例では、第２の映像情報ＶＩＤＥＯ２の先頭のフレームに、タイムコードＴＣ２「０：１５：００：００」が含まれ、さらに同期情報ＳＹＮとして「ｓｙｎ００１−００１」が含まれていることが分かる。

図１１、図１２によれば、同一の同期情報ＳＹＮを含む第１の映像情報のフレームと第２の映像情報のフレームとが同期していることが示される。図１１の同期情報ＳＹＮは、例えば第１の映像情報がレビュー会議において表示される際に、第１の映像情報に追記され、図１２の同期情報ＳＹＮは、例えば第２の映像情報が蓄積される際に、この蓄積される第２の映像情報に記録されることになる。

なお、第１〜第４の実施の形態の映像会議システムは、撮影部１３及びディスプレイ１８，１９を含んでいなくてもよい。そのような場合には、映像会議システムは、システム外の撮影部１３によって撮影された第２の映像情報を受け付けることになり、またシステム外のディスプレイ１８，１９に第１の映像情報等を表示することになる。
また、第１〜第４の実施の形態では、映像情報記憶部１１に記憶されている第１の映像情報が、レビュー会議よりも前の過去の会議の様子を撮影した映像である場合について説明したが、これに限るものではない。第１の映像情報は、例えば評論等を行う対象となる映画やテレビ番組、あるいはその他の映像の情報であってもよい。
また、第１〜第４の実施の形態では、第２の表示部１７がディスプレイ１９に第１の映像情報と第２の映像情報とを表示するものとして説明したが、レビュー会議の内容を後から視聴する場合に、第２の表示部１７がディスプレイ１８に第１の映像情報と第２の映像情報とを表示するようにしてもよい。

また、第１〜第４の実施の形態の映像会議システムは、通信機能によって他の会議の様子も見ることが可能なものであってもよいし、図１で示されるレビュー会議の様子のみを撮影するものであってもよい。通信機能によって他の会議の様子も見ることが可能な場合、撮影情報受付部１４が受け付ける第２の映像情報は、通信回線を介して接続されている２つ以上の会議室の映像情報を含んでいてもよいし、そのいずれかの会議室の映像情報のみを含むものであってもよい。
また、第１〜第４の実施の形態において、図１に示した各構成要素または図２〜図４に示した各処理は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよいし、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。

また、第１〜第４の実施の形態においては、図１に示した各構成要素を専用のハードウェアにより実現してもよいし、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現してもよい。例えば、ハードディスクや半導体メモリ等の記憶装置に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部を有するコンピュータが実行することによって、図１の各構成要素を実現することができる。ＣＰＵは、このプログラムに従って図２〜図４で説明した処理を実行する。

なお、第１〜第４の実施の形態の映像会議システムを実現するソフトウェアは、以下のような会議映像処理プログラムである。つまり、この会議映像処理プログラムは、コンピュータを、第１の映像情報の表示時点と第２の映像情報の撮影時点との同期を示す同期情報を作成して蓄積する同期情報管理部として機能させるためのものである。

また、他の会議映像処理プログラムは、コンピュータを、映像情報記憶部で記憶されている第１の映像情報を表示する第１の表示部と、この第１の表示部が第１の映像情報を表示している会議の場面を撮影した第２の映像情報を受け付ける映像情報受付部と、この映像情報受付部が受け付けた第２の映像情報を蓄積する映像情報蓄積部と、第１の表示部による第１の映像情報の表示時点と、当該第１の映像情報が表示されている会議の場面の映像である第２の映像情報の撮影時点との同期を示す同期情報を作成して蓄積する同期情報管理部と、前記映像情報記億部に記憶されている第１の映像情報と前記映像情報蓄積部に蓄積されている第２の映像情報とを、前記同期情報管理部が蓄積した同期情報を用いて同期させて表示する第２の表示部として機能させるためのものである。

なお、上記の会議映像処理プログラムによって実現される機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を受け付ける受付部や情報を表示する表示部などにおけるモデムやインターフェースカードなどのハードウェアでしか実現できない機能は、会議映像処理プログラムが実現する機能には少なくとも含まれない。
また、会議映像処理プログラムを、図示しないサーバなどからダウンロードして実行するようにしてもよいし、例えばＣＤ−ＲＯＭなどの光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出して実行するようにしてもよい。

また、会議映像処理プログラムを実行するコンピュータは、単数でもよいし、複数であってもよい。すなわち、単数のコンピュータで集中処理を行ってもよいし、複数のコンピュータで分散処理を行ってもよい。
また、本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

本発明は、映像会議システムに適用することができる。本発明によれば、過去の会議の映像を見ながら行われたレビュー会議の内容をより適切に理解することができ、会議を撮影した映像情報に関する処理を行う映像会議システム等として有用である。

本発明の第１の実施の形態に係る映像会議システムの構成を示すブロック図である。 図１の映像会議システムの動作を示すフローチャートである。 図１の映像会議システムにおいて第２の映像情報と同期情報とを蓄積する動作を示すフローチャートである。 図１の映像会議システムにおいて第１の映像情報と第２の映像情報とを表示する動作を示すフローチャートである。 本発明の第１の実施の形態における第１の映像情報の一例を示す図である。 本発明の第１の実施の形態における同期情報の一例を示す図である。 本発明の第１の実施の形態における第２の映像情報の一例を示す図である。 本発明の第１の実施の形態において互いに同期して表示される第１の映像情報と第２の映像情報の一例を示す図である。 本発明の第２の実施の形態における第１の映像情報と同期情報の一例を示す図である。 本発明の第３の実施の形態における第２の映像情報と同期情報の一例を示す図である。 本発明の第４の実施の形態における第１の映像情報と同期情報の一例を示す図である。 本発明の第４の実施の形態における第２の映像情報と同期情報の一例を示す図である。

符号の説明

１１…映像情報記憶部、１２…第１の表示部、１３…撮影部、１４…映像情報受付部、１５…映像情報蓄積部、１６…同期情報管理部、１７…第２の表示部、１８，１９…ディスプレイ。

Claims (10)

1. 第１の映像情報を記憶する映像情報記憶部と、
   この映像情報記憶部に記憶されている第１の映像情報を表示する表示部と、
   この表示部が第１の映像情報を表示している会議の場面を撮影した第２の映像情報を出力する撮影部と、
   前記第２の映像情報を蓄積する映像情報蓄積部と、
   前記第１の表示部による第１の映像情報の表示時点と前記第２の映像情報の撮影時点との同期を示す同期情報を作成して蓄積する同期情報管理部とを備えたことを特徴とする映像会議システム。
2. 請求項１記載の映像会議システムにおいて、
   さらに、前記同期情報管理部によって前記同期情報が事前に作成されているときに、前記映像情報記憶部に記憶されている第１の映像情報と前記映像情報蓄積部に蓄積されている第２の映像情報とを、前記同期情報に基づいて同期させて前記表示部に表示させる合成手段を備えたことを特徴とする映像会議システム。
3. 請求項１記載の映像会議システムにおいて、
   さらに、前記同期情報管理部によって前記同期情報が事前に作成されているときに、前記映像情報記憶部に記憶されている第１の映像情報と前記映像情報蓄積部に蓄積されている第２の映像情報とを、前記同期情報に基づいて同期させて前記表示部と異なる他の表示部に表示させる合成手段を備えたことを特徴とする映像会議システム。
4. 請求項１乃至３のいずれか１項に記載の映像会議システムにおいて、
   前記第１の映像情報は、前記第２の映像情報が撮影された会議よりも前に行われた過去の会議の場面を撮影した映像情報であることを特徴とする映像会議システム。
5. 映像情報記憶部に記憶されている第１の映像情報を表示部に表示させる表示ステップと、
   前記表示部が第１の映像情報を表示している会議の場面を撮影した第２の映像情報を出力する撮影ステップと、
   前記第２の映像情報を蓄積する映像情報蓄積ステップと、
   前記第１の映像情報の表示時点と前記第２の映像情報の撮影時点との同期を示す同期情報を作成して同期情報管理部に蓄積する同期情報管理ステップとを、記憶装置に記憶されたプログラムに従ってコンピュータに実行させることを特徴とする会議映像処理方法。
6. 請求項５記載の会議映像処理方法において、
   さらに、前記同期情報管理ステップによって前記同期情報が事前に作成されているときに、前記映像情報記憶ステップで記憶された第１の映像情報と前記映像情報蓄積ステップで蓄積された第２の映像情報とを、前記同期情報に基づいて同期させて前記表示部に表示させる合成ステップを、前記コンピュータに実行させることを特徴とする会議映像処理方法。
7. 請求項５記載の会議映像処理方法において、
   さらに、前記同期情報管理ステップによって前記同期情報が事前に作成されているときに、前記映像情報記憶ステップで記憶された第１の映像情報と前記映像情報蓄積ステップで蓄積された第２の映像情報とを、前記同期情報に基づいて同期させて前記表示部と異なる他の表示部に表示させる合成ステップを、前記コンピュータに実行させることを特徴とする会議映像処理方法。
8. 請求項５乃至７のいずれか１項に記載の会議映像処理方法において、
   前記第１の映像情報は、前記第２の映像情報が撮影された会議よりも前に行われた過去の会議の場面を撮影した映像情報であることを特徴とする会議映像処理方法。
9. 請求項５乃至８のいずれか１項に記載の会議映像処理方法の各ステップをコンピュータに実行させることを特徴とする会議映像処理プログラム。
10. 請求項９記載の会議映像処理プログラムを記録したことを特徴とする記録媒体。

Images