JP2002109099A - 資料と映像・音声の記録システム、装置及びコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 会議等におけるプレゼンテーションで用いら
れる資料とこの資料を説明する映像・音声とを対応付け
て記録することにより、資料と映像・音声とを同期させ
て再生できるようにする。 【解決手段】 サーバ５は、発表者がＰＣ１を操作して
プレゼンテーションを開始すると、その操作情報を記録
する。発表者はマイク１３、カメラ１１により選択した
スライド（資料）を説明する。次に、聴講者のマイク２
３、カメラ２１等による質問開始操作を記録する。上記
記録した各操作情報をインデックス情報とし、各インデ
ックスと各プレゼンテーション情報や質疑応答の映像・
音声情報とを互いに関連付けてデータベース６に蓄積す
ると共に、インデックスファイルを作成し、閲覧者はイ
ンデックスファイルからインデックスを指定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、コンピュータを用
いた会議・講義・シンポジウム、セミナー等（以下、こ
れらを会議と呼ぶものとする）において、その会議で用
いられる資料と、それを説明する映像・音声とを関連さ
せて記録する場合等に用いて好適な資料と映像・音声の
記録システム、装置及びこの装置で用いられるコンピュ
ータ読み取り可能な記録媒体に関するものである。

【０００２】

【従来の技術】従来より、出席者のそれぞれがＰＣを用
いてネットワークを介して会議を行う会議システムが知
られている。このような会議システムにおいて、その会
議に参加しなかった人が後日会議の様子を知りたいと思
ったり、あるいは会議に参加した人が後日確認のために
会議の途中の状況を知りたいと思う場合がある。このよ
うな場合に備えて、会議システムにおいては、会議で行
われるプレゼンテーションで用いられた資料と映像・音
声とをサーバ等に蓄積保存しておき、必要な時に参照で
きる記録システムが設けられている。

【０００３】従来の記録システムにおいては、ＰＣ等を
用いて作成した資料を資料サーバに保存すると共に、カ
メラ・マイク等を用いて取得した映像や音声をビデオサ
ーバに保存するようにしている。従って、利用者はネッ
トワークを通じて資料サーバから保存された資料を取得
して参照することができると共に、ビデオサーバから映
像・音声を取得してＰＣ上で参照することができる。

【０００４】

【発明が解決しようとする課題】しかしながら、従来の
記録システムでは資料サーバとビデオサーバとが別々で
あるため、資料と映像・音声とを同期させて表示するこ
とができず、このため資料のみの参照、又は映像・音声
のみの参照しか行うことができなかった。また、両方を
同時に参照するシステムもあるが、後日の検索を容易に
するために会議中に資料と映像・音声とを対応付けるた
めの余分な操作を必要としたり、あるいは資料と映像・
音声とを組み合わせるために、会議終了後に保存したデ
ータの編集作業を必要とする等の問題があった。

【０００５】本発明は上記の問題を解決するためになさ
れたもので、資料と映像・音声とを関連させて記録でき
るようにすることを目的としている。

【０００６】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明による資料と映像・音声の記録システムに
おいては、利用者の選択操作に応じて選択された資料を
出力する資料出力手段と、前記資料と対応する映像・音
声を入力する第１の映像・音声入力手段と、入力操作に
基づいて映像・音声を入力する第２の映像・音声入力手
段と、前記選択操作と入力操作を検出する検出手段と、
前記検出された選択操作情報に基づいて前記選択された
資料と前記第１の映像・音声入力手段から入力された映
像・音声とを対応させて蓄積すると共に、前記検出され
た入力操作情報と対応させて前記第２の映像・音声入力
手段から入力された映像・音声を蓄積する蓄積手段と、
前記検出された選択操作情報及び入力操作情報をインデ
ックスとするインデックスファイルを作成して前記蓄積
手段に蓄積するファイル作成手段とを設けている。

【０００７】また、本発明による資料と映像・音声の記
録装置においては、利用者の選択操作に応じて選択され
た資料と、この資料と対応する第１の映像・音声と、入
力操作に基づく第２の映像・音声とを入力する入力手段
と、前記選択操作と入力操作を検出する検出手段と、前
記検出された選択操作情報に基づいて前記選択された資
料と前記第１の映像・音声入力手段から入力された映像
・音声とを対応させて蓄積すると共に、前記検出された
入力操作情報と対応させて前記第２の映像・音声入力手
段から入力された映像・音声を蓄積する蓄積手段と、前
記検出された選択操作情報及び入力操作情報をインデッ
クスとするインデックスファイルを作成して前記蓄積手
段に蓄積するファイル作成手段と、閲覧者の閲覧要求に
応じて前記インデックスファイルを前記閲覧者に提示す
る提示手段と、前記提示されたインデックスファイルに
基づいて前記閲覧者により選択されたインデックスから
前記蓄積手段を検索し、該当する資料及び／又は映像・
音声を前記閲覧者に送信する検索手段とを設けている。

【０００８】また本発明によるコンピュータ読み取り可
能な記録媒体においては、利用者の選択操作に応じて選
択された資料と、この資料と対応する第１の映像・音声
と、入力操作に基づく第２の映像・音声とを入力する入
力処理と、前記選択操作と入力操作を検出する検出処理
と、前記検出された選択操作情報に基づいて前記選択さ
れた資料と前記第１の映像・音声とを対応させて蓄積す
ると共に、前記検出された入力操作情報と対応させて前
記第２の映像・音声を蓄積する蓄積処理と、前記検出さ
れた選択操作情報及び入力操作情報をインデックスとす
るインデックスファイルを作成するファイル作成処理
と、閲覧者の閲覧要求に応じて前記インデックスファイ
ルを前記閲覧者に提示する提示処理と、前記提示された
インデックスファイルに基づいて前記閲覧者により選択
されたインデックスから前記蓄積された情報を検索し、
該当する資料及び／又は映像・音声を前記閲覧者に送信
する検索処理とを実行するためのプログラムを記録して
いる。

【０００９】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。まず、本実施の形態を概略的に説
明する。多くの会議等では複数のプレゼンテーションが
行われる。各プレゼンテーションは、予め用意した資料
（発表資料）に基づいて発表者が説明する発表部分と、
その後、参加者が質問し発表者が答える質疑応答部分か
ら構成される。また、発表部分では、一般に参加者の各
ＰＣ画面上に資料をスライドで表示しながら説明が行わ
れ、発表の進行と共にスライドの切り替えが行われる。

【００１０】資料は提示するスライド（ページ）の集ま
りであり、説明音声は話した言葉（発話）の流れであ
る。従って、図１に示すように、提示された各ページ
と、そのページに対してなされた発話とをインデックス
によって対応付け、資料と説明音声や映像とを組み合わ
せて記録することにより、再生時に同期して再生するこ
とができる。そのためには、蓄積した映像・音声等から
内容の区切りとなる個所（カット点）を抽出してインデ
ックスを付ける必要がある。しかしながら、映像や音声
を解析して内容に即したカット点を探すことは非常に困
難である。

【００１１】そこで、本実施の形態においては、プレゼ
ンテーションに用いる資料（発表資料）とそれに基づい
た進行に注目し、図２に示すようなプレゼンテーション
の構造モデルに基づいて、蓄積した映像・音声等から内
容の区切りとなる次のようなカット点を自動的に抽出し
てインデックスとするようにしている。 プレゼンテーションの始め スライドの切り替え時 質問の始め 尚、図２においては、各プレゼンテーションについて、
それぞれスライド１、２〜Ｎを切り替えて発表が行わ
れ、各発表に対してＮ回の質疑応答が行われることが示
されている。

【００１２】従って、本実施の形態によれば、資料と映
像・音声とを関連付けて記録することができるので、再
生時に、上記インデックスに基づいて参照したい部分を
検索し選択することにより、必要な部分のみを容易に参
照することができる。その際、資料と映像・音声とを同
期させて再生することができる。また、資料と映像・音
声の再生に必要となる資料と映像・音声との対応付けの
ために、会議中に特別な操作を必要とせず、また、会議
後の編集作業も不要となる。

【００１３】会議システムにおいては、各参加者に対し
てそれぞれＰＣが設置されており、プレゼンテーション
を行う者は、自分のＰＣを操作しスライドを切り替えて
資料を提示しながら発表を行うようにしている。その場
合、プレゼンテーションの開始やスライドの切り替え
は、例えばマウスをクリックする等の選択操作により行
われる。また、参加者が質問を始めるときは自分のＰＣ
を操作してマイク、カメラを動作させてから質問を開始
する。従って、上記プレゼンテーションの始め、ス
ライドの切り替え時、質問の始め等は、各ＰＣの操作
に基づいて後述する図５のサーバ５において自動的に検
出することができる。

【００１４】図３は上記カット点を検出するための手順
を示すフローチャートである。図３において、プレゼン
テーションの開始を検出して記録する（Ｓ１）。発表者
はスライドの内容を説明する（Ｓ２）。次に、スライド
が切り替えられたかを判断し（Ｓ３）、切り替えられた
ときスライド切り替え操作情報を記録して（Ｓ４）、Ｓ
２に戻る。スライド（ページ）が切り替えられなけれ
ば、質問があったかを判断し（Ｓ５）、質問があったら
質問開始操作を記録して（Ｓ６）、Ｓ２に戻る。質問が
なければ、全てのスライドについて説明が終了したかを
判断し（Ｓ７）、終了していなければ、Ｓ２に戻る。終
了すれば全てのプレゼンテーションが終了したかを判断
し、終了していなければＳ１に戻り、終了したら処理を
終了とする。

【００１５】図４は本発明の実施の形態による資料と映
像・音声の記録システムを含む会議システムを示すブロ
ック図である。図４において、プレゼンテーションの発
表者及びその他の会議参加者（ここでは、プレゼンテー
ションの聴講者）に対して、それぞれＰＣ１、２、３と
カメラ１１、２１、３１、スピーカ１２、２２、３２、
マイク１３、２３、３３等が設けられている。これらの
ＰＣ、カメラ、スピーカ、マイク等はインターネット等
のネットワーク４を介して会議システム全体を制御する
サーバ５に接続されている。尚、図示の会議システム
は、発表者、聴講者等の参加者が互いに離れた場所に居
て会議を行う遠隔地会議であってもよい。

【００１６】サーバ５は本発明による資料と映像・音声
の記録装置を構成するものであり、ＣＰＵによる処理部
５１とＲＯＭ、ＲＡＭ等のメモリを含む記憶部５２とか
らなる。処理部５１は、通信処理部５３、記録処理部５
４、インデックスファイル作成処理部５５、インデック
スファイル提示処理部５６、検索処理部５７から構成さ
れる。また、サーバ５はデータベース６を所有してい
る。

【００１７】上記構成において、発表者は予めプレゼン
テーション用の資料を作成して本発明による資料出力手
段としてのＰＣ１に蓄積しておく。発表者がＰＣ１を操
作してプレゼンテーションが開始されると、発表者はＰ
Ｃ１を操作してスライドを切り替えながらマイク１３を
用いて説明を行う。また、必要に応じてカメラ１１によ
る発表者等の撮影が行われる。これらのスライド画像、
マイク１３からの音声、カメラ１２からの映像等からな
るプレゼンテーション情報は制御情報と共にサーバ５に
送られる。尚、カメラ１１、マイク１３は第１の映像・
音声入力手段を構成する。

【００１８】サーバ５はプレゼンテーション情報を制御
情報に基づいてネットワーク４を介して各ＰＣ２、３に
配信する。従って、各聴講者のＰＣ画面上にプレゼンテ
ーションの資料が共通画面として表示されると共に、各
スピーカ２２、３２から説明の音声が出力される。

【００１９】また、会議中における発表者によるプレゼ
ンテーション開始の操作や各聴講者の質問開始の操作等
を含む様々の操作情報がサーバ５に送られる。サーバ５
はそれらの操作情報を検出して時間情報と共に記録する
ことにより、インデックス情報とすることができる。例
えば、プレゼンテーションが終了して質疑応答に移る
と、聴講者が例えばＰＣ２のマイク２３、カメラ２１
（第２の映像・音声入力手段）の動作開始を操作してか
ら質問を行う。その質問開始の操作がサーバ５に通知さ
れる。そして、データベース６には、上記インデックス
情報とプレゼンテーション情報、質疑応答情報とが互い
に関連付けられて蓄積される。

【００２０】インデックス情報としては、例えば次のよ
うなものが考えられる。 （１）プレゼンテーションの始まりや、発表者又は説明
する資料が切り替わる場合（発表者名、資料名、資料番
号等） （２）発表者がスライドを切り替える場合（スライドタ
イトル、スライド番号等） （３）質問があった場合（質問者名やその時に利用した
スライドのタイトル、番号等）

【００２１】これらのインデックス情報を時間情報と共
に記録しておき、インデックスとして設定する。このイ
ンデックスに基づいて資料と映像・音声とを対応させた
インデックスファイルを作成してデータベース６に蓄積
しておく。インデックスファイルには、例えばインデッ
クス毎にタイトル名、スライド番号（ページ番号）、説
明の映像や音声の時間情報等の情報が記載される。

【００２２】従ってその後、データベース６のインデッ
クスファイルを検索し、指定されたインデックスから閲
覧者が必要とする部分を選択することにより、参照する
時間を得て、資料と映像・音声との同期を行い、実際の
会議中の様子と同等の情報を得ることが可能となる。

【００２３】図５はデータベース６から蓄積情報を取り
出してＰＣで再生する動作を示すブロック図である。図
５において、閲覧者は例えばＰＣ２を用い、ネットワー
ク４を介してサーバ５に閲覧要求を行う。サーバ５はデ
ータベース６のインデックスファイルをもとにした選択
情報をＰＣ２の画面上に提示する。閲覧者は提示された
インデックスファイルから閲覧したい会議の部分のイン
デックスを選択する。サーバ５はデータベース６から選
択されたインデックスに対応するプレゼンテーション情
報、あるいは質疑応答情報を取り出し、ネットワーク４
を介してＰＣ２に送信する。

【００２４】閲覧者はＰＣ２の画面に表示された資料や
映像、スピーカ２２による音声により、会議の様子を知
ることができる。尚、画面には、スライド画像、カメラ
映像及び資料を必要に応じて画面内の別々のウインドに
表示するようにしてよい。

【００２５】尚、本実施の形態においては、本発明を会
議システムに適用した場合について説明したが、本発明
は会議システムだけでなく、資料とこの資料を説明する
映像・音声とを組み合わせて蓄積し、同期して再生する
ようなシステム全般に適用することができる。

【００２６】次に、本発明の実施の形態によるコンピュ
ータ読み取り可能な記録媒体について説明する。図３の
フローチャートによる処理を含む前述した動作に基づく
処理を、サーバ５におけるＣＰＵが実行するためのプロ
グラムを格納する記憶部５２内のＲＯＭ等のメモリは、
本発明によるコンピュータ読み取り可能な記録媒体を構
成する。

【００２７】この記録媒体としては、光磁気ディスク、
光ディスク、半導体メモリ、磁気記録媒体等を用いるこ
とができ、これらをＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、フ
ロッピー（登録商標）ディスク、メモリカード等に構成
して用いてよい。

【００２８】またこの記録媒体は、インターネット等の
ネットワークや電話回線等の通信回線を介してプログラ
ムが送信された場合のサーバやクライアントとなるコン
ピュータシステム内部のＲＡＭ等の揮発性メモリのよう
に、一定時間プログラムを保持するものも含まれる。

【００２９】また上記プログラムは、このプログラムを
記憶装置等に格納したコンピュータシステムから伝送媒
体を介して、あるいは伝送媒体中の伝送波により他のコ
ンピュータシステムに伝送されるものであってもよい。
上記伝送媒体とは、インターネット等のネットワーク
（通信網）や電話回線等の通信回線（通信線）のように
情報を伝送する機能を有する媒体をいうものとする。

【００３０】また、上記プログラムは、前述した機能の
一部を実現するためであってもよい。さらに、前述した
機能をコンピュータシステムに既に記録されているプロ
グラムとの組み合わせで実現できるもの、いわゆる差分
ファイル（差分プログラム）であってもよい。

【００３１】従って、この記録媒体を図４、図５のシス
テム又は装置とは異なるシステム又は装置において用
い、そのシステム又は装置のコンピュータがこの記録媒
体に格納されたプログラムを実行することによっても、
実施の形態で説明した機能及び効果と同等の機能及び効
果を得ることができ、本発明の目的を達成することがで
きる。

【００３２】

【発明の効果】以上説明したように本発明によれば、ネ
ットワークに接続されたＰＣ環境で会議等を行った場
合、蓄積された資料と映像、音声とを関連させて記録す
ることができる。その場合、会議中に余計な操作をする
必要もなく、また会議後に特別な編集作業も必要としな
い。

【００３３】また、再生時には、インデックスを指定す
るだけの簡単な操作で、資料と映像・音声とを同期させ
て参照することができる。これにより、一度の会議をそ
の場で見聞きするだけでなく、何度も見聞きすることが
できるので、会議自体の価値を高めることができるとい
う効果がある。

【００３４】さらに、会議システムのみならず資料と映
像・音声とを組み合わせたコンテンツにおいて、容易に
インデックスを設定することが可能であり、コンテンツ
の作成の省力化を測ることができる。

【図面の簡単な説明】

【図１】 資料のカット点に対応したインデックスを得
ることを説明する構成図である。

【図２】 プレゼンテーションの構造モデルを示す構成
図である。

【図３】 カット点抽出のための手順を示すフローチャ
ートである。

【図４】 本発明を適用し得る会議システムの実施の形
態を示すブロック図である。

【図５】 会議システムにおける会議情報の閲覧動作を
示すブロック図である。

【符号の説明】

１、２、３ ＰＣ ４ ネットワーク ５ サーバ ５１ 処理部 ５２ 記憶部 ５３ 通信処理部 ５４ 記録処理部 ５５ インデックスファイル作成処理部 ５６ インデックスファイル提示処理部 ５７ 検索処理部 ６ データベース

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/781 Ｈ０４Ｎ 7/15 ６１０ 5/85 5/781 ５１０Ｌ 7/15 ６１０ (72)発明者 横森 正利 東京都新宿区西新宿三丁目19番２号 東日 本電信電話株式会社内 Ｆターム(参考） 5B075 ND40 NK48 5C052 AA01 AA16 AC08 DD10 5C064 AA02 AC02 AC06 AC12 AC16

Claims (4)

【特許請求の範囲】
1. 【請求項１】 利用者の選択操作に応じて選択された資
   料を出力する資料出力手段と、 前記資料と対応する映像・音声を入力する第１の映像・
   音声入力手段と、 入力操作に基づいて映像・音声を入力する第２の映像・
   音声入力手段と、 前記選択操作と入力操作を検出する検出手段と、 前記検出された選択操作情報に基づいて前記選択された
   資料と前記第１の映像・音声入力手段から入力された映
   像・音声とを対応させて蓄積すると共に、前記検出され
   た入力操作情報と対応させて前記第２の映像・音声入力
   手段から入力された映像・音声を蓄積する蓄積手段と、 前記検出された選択操作情報及び入力操作情報をインデ
   ックスとするインデックスファイルを作成して前記蓄積
   手段に蓄積するファイル作成手段とを設けたことを特徴
   とする資料と映像・音声の記録システム。
2. 【請求項２】 閲覧者の閲覧要求に応じて前記インデッ
   クスファイルを前記閲覧者に提示する提示手段と、 前記提示されたインデックスファイルに基づいて前記閲
   覧者により選択されたインデックスから前記蓄積手段を
   検索し、該当する資料及び／又は映像・音声を前記閲覧
   者に送信する検索手段とを設けたことを特徴とする請求
   項１記載の資料と映像・音声の記録システム。
3. 【請求項３】 利用者の選択操作に応じて選択された資
   料と、この資料と対応する第１の映像・音声と、入力操
   作に基づく第２の映像・音声とを入力する入力手段と、 前記選択操作と入力操作を検出する検出手段と、 前記検出された選択操作情報に基づいて前記選択された
   資料と前記第１の映像・音声入力手段から入力された映
   像・音声とを対応させて蓄積すると共に、前記検出され
   た入力操作情報と対応させて前記第２の映像・音声入力
   手段から入力された映像・音声を蓄積する蓄積手段と、 前記検出された選択操作情報及び入力操作情報をインデ
   ックスとするインデックスファイルを作成して前記蓄積
   手段に蓄積するファイル作成手段と、 閲覧者の閲覧要求に応じて前記インデックスファイルを
   前記閲覧者に提示する提示手段と、 前記提示されたインデックスファイルに基づいて前記閲
   覧者により選択されたインデックスから前記蓄積手段を
   検索し、該当する資料及び／又は映像・音声を前記閲覧
   者に送信する検索手段とを設けたことを特徴とする資料
   と映像・音声の記録装置。
4. 【請求項４】 利用者の選択操作に応じて選択された資
   料と、この資料と対応する第１の映像・音声と、入力操
   作に基づく第２の映像・音声とを入力する入力処理と、 前記選択操作と入力操作を検出する検出処理と、 前記検出された選択操作情報に基づいて前記選択された
   資料と前記第１の映像・音声とを対応させて蓄積すると
   共に、前記検出された入力操作情報と対応させて前記第
   ２の映像・音声を蓄積する蓄積処理と、 前記検出された選択操作情報及び入力操作情報をインデ
   ックスとするインデックスファイルを作成するファイル
   作成処理と、 閲覧者の閲覧要求に応じて前記インデックスファイルを
   前記閲覧者に提示する提示処理と、 前記提示されたインデックスファイルに基づいて前記閲
   覧者により選択されたインデックスから前記蓄積された
   情報を検索し、該当する資料及び／又は映像・音声を前
   記閲覧者に送信する検索処理とを実行するためのプログ
   ラムを記録したコンピュータ読み取り可能な記録媒体。