JP2005020765A

JP2005020765A - 情報通信装置およびその制御方法

Info

Publication number: JP2005020765A
Application number: JP2004204761A
Authority: JP
Inventors: Yasuo Nakamura; 安夫中村
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2004-07-12
Filing date: 2004-07-12
Publication date: 2005-01-20

Abstract

【課題】ユーザの要求に応じた操作性の良いユーザインターフェイスを提供する。
【解決手段】ネットワークを介して記憶装置および他の情報通信装置と通信する情報通信装置であって、要求する画像がリアルタイム画像か過去の画像かを選択するための選択パネル、カメラ制御パネル、時刻指定パネルを表示し、前記選択パネルによりリアルタイム画像が選択された場合、前記カメラ制御パネルの指示に応じて取得した画像を映像表示領域に表示し、また、前記選択パネルにより過去の画像が選択された場合、前記時刻指定パネルより指定された時刻の画像を前記受信手段により受信し、前記映像表示領域に表示させることを特徴とする。
【選択図】図１０

Description

本発明は、ネットワーク上に接続された複数の映像通信装置から送信される映像を受信、表示する技術および映像格納装置に格納された映像を検索、表示する技術に関するものである。

テレビ会議システムや遠隔地の状況を監視する監視システム等では、ビデオカメラ等から取り込んだ映像をネットワークを介して、伝送・表示することが行なわれている。

一方、ビデオカメラから取り込んだ映像をディジタル化し、必要に応じてＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）やＭｏｔｉｏｎＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＣｏｄｉｎｇＥｘｐｅｒｔｓＧｒｏｕｐ）等の映像符号化方式により圧縮して、映像データベースに格納するシステムがある。
特開平０６−０５９６４６

しかしながら、遠隔地の映像を伝送・表示するシステムと、映像データベースに格納された映像を検索・表示するシステムとは、独立なシステムであり、ユーザにとって操作性の良いインターフェイスを提供することができなかった。

そこで、本発明は上述の課題を解決するためになされたもので、操作性の良いインターフェイスを提供することができる情報通信装置並およびその制御方法を提供することを目的とする。

上記課題を解決するために、本発明は、ネットワークを介して記憶装置および他の情報通信装置と通信する情報通信装置であって、画像データを受信する受信手段と、前記受信手段で受信した画像データを表示装置に表示させる表示制御手段を有し、前記表示制御手段は、要求する画像がリアルタイム画像か過去の画像かを選択するための選択パネル、カメラ制御パネル、時刻指定パネルを表示し、前記選択パネルによりリアルタイム画像が選択された場合、前記カメラ制御パネルの指示に応じて取得した画像を映像表示領域に表示し、また、前記選択パネルにより過去の画像が選択された場合、前記時刻指定パネルより指定された時刻の画像を前記受信手段により受信し、前記映像表示領域に表示させることを特徴とする情報通信装置を提供する。

上記課題を解決するために、本発明は、ネットワークを介して記憶装置および他の情報通信装置と通信する情報通信装置の制御方法であって、画像データを受信し、前記受信した画像データを表示装置に表示させ、要求する画像がリアルタイム画像か過去の画像かを選択するための選択パネル、カメラ制御パネル、時刻指定パネルを表示し、前記選択パネルによりリアルタイム画像が選択された場合、前記カメラ制御パネルの指示に応じて取得した画像を前記表示装置の映像表示領域に表示し、また、前記選択パネルにより過去の画像が選択された場合、前記時刻指定パネルより指定された時刻の画像を受信し、前記映像表示領域に表示させることを特徴とする情報通信装置の制御方法を提供する。

以上詳述したように、本発明によれば、要求する画像がリアルタイム画像か過去の画像かを選択するための選択パネル、カメラ制御パネル、時刻指定パネルを表示し、前記選択パネルによりリアルタイム画像が選択された場合、前記カメラ制御パネルの指示に応じて取得した画像を映像表示領域に表示し、また、前記選択パネルにより過去の画像が選択された場合、前記時刻指定パネルより指定された時刻の画像を前記受信手段により受信し、前記映像表示領域に表示させることで、ユーザとって操作性の良い情報通信装置およびその制御方法を提供することができる。

以下、図面を参照して本発明にかかる好適な一実施例を詳細に説明する。

図１は本実施例における映像通信システムのシステム構成図である。

図１において、１〜４はビデオカメラ、１１〜１６は映像通信装置、２０は映像格納装置である。ビデオカメラ１４はそれぞれ映像通信装置１１〜１４に接続されている。

３０は映像通信装置１１〜１６と映像格納装置２０とを接続するネットワークであり、ローカルエリアネットワーク（ＬＡＮ）および電話網、ＩＳＤＮ、専用線等の広域網（ＷＡＮ）が含まれる。

図２は本実施例における映像通信装置１１〜１６のブロック図である。

図２において、１はビデオカメラ、１００は内部バス、１１１はカメラ１のパン・チルト・ズーム等を制御するカメラ制御部、１１２はビデオカメラから取り込んだビデオ信号をＡ／Ｄ変換して映像通信装置内に取り込む映像入力制御部、１１３ディジタル映像情報を圧縮・伸長する映像符号化・復号化部、１１４は映像通信装置１１の全体の制御を司る主制御部、１１５は各種処理手順（プログラム）、通信データ、制御情報等を格納する主記憶部、１１６は高速にデータ書き込み／読み出しが可能な二次記憶装置、１１７はポインティングデバイス（マウス）等の操作部、１１８はビットマップディスプレイ等の表示部、１１９はネットワーク３０との通信制御を行なう通信制御部である。

図３は本実施例における映像格納装置２０のブロック図である。

図３において、２００は内部バス、２０３はディジタル映像情報を圧縮・伸長する映像符号化・復号化部（ＣＯＤＥＣ）、２０４は映像格納装置２０の全体の制御を司る主制御部、２０５は各種処理手順（プログラム）、通信データ、制御情報等を格納する主記憶部、２０６は高速にデータ書き込み／読み出しが可能な二次記憶装置、２０７はポインティングデバイス（マウス）等の操作部、２０８はビットマップディスプレイ等の表示部、２０９はネットワーク３０との通信制御を行なう通信制御部である。

図４、図６は本実施例における映像通信装置１１〜１６の動作を示すフローチャートである。

図７、図８は本実施例における映像格納装置２０の動作を示すフローチャートである。

図９は本実施例における映像通信装置１５〜１６の表示部１１８の全体映像を表示する画面例である。
図９において、９１０〜９６０はビデオカメラ１〜４が接続された映像通信装置１１〜１４から送信された映像を受信して表示する映像ウインドウ、９１１〜９６１は各映像ウインドウ９１０〜９６０に対する送信元の名前および映像を入力した時刻を表示するステータスである。

図１０は本実施例における映像通信装置１５〜１６の表示部１１８の個別映像を表示する画面例である。

図１０において、１０１０は指定された映像通信装置１１〜１４から送信された映像を受信して表示する映像ウインドウ、１０２０および１０３０はカメラ制御部１１１を介して、ビデオカメラ１〜４を制御するための操作を行うカメラ制御パネルであり、マウスによる各種グラフィカルユーザインタフェース（ＧＵＩ）のクリック操作により、カメラ制御部１１１に対して命令を発行し、カメラのパン・チルト（１０２０）・ズーム（１０３０）等を可能にする。

１０５０は時刻を入力するための時刻指定パネルであり、時刻入力フィールド１０５１に時刻を入力し、「設定」ボタン１０５２をクリックした時点で、映像格納装置２０に格納されている動画データにアクセスし、指定した時刻に対応するデータを検索する。

１０４０は、映像通信装置１１〜１４からの映像と映像格納装置２０に格納されている動画データの読み出しを切り替えるためのスイッチであり、「現在」ボタン１０４１をクリックすると映像通信装置１１〜１４の映像を動画表示ウィンドウ１０１０に表示する。また、「過去」ボタン１０４２をクリックすると映像格納装置２０に格納されている動画データを読み出し動画表示ウィンドウ１０１０に表示する。時刻指定パネル１０５０に時刻を入力し、「設定」ボタン１０５２をクリックした時点で、映像格納装置２０に蓄積されている動画データを検索し、表示する。

図１１は本実施例における映像通信システムで用いるデータフォーマットの一例を示す図であり、４１〜４５の各フィールドより成るヘッダ部とデータ部４６とから構成されている。

このヘッダ部４１〜４５には各種通信コマンド等を指定するパケット種別フィールド４１と、発信者の名前を書き込む発信者名フィールド４２と、受信者の名前を書き込む受信者名フィールド４３と、文字、静止画像、音声、動画等のメディアタイプを書き込むメディア種別フィールド４４と、その他の付加情報を書き込むその他フィールド４５とが含まれる。またデータフィールド４６に書き込まれる情報はディジタルデータとして扱うことのできるすべてのメディアが対象となる。

以上の構成から成る本実施例の映像通信装置１１での映像送信処理の詳細を図４に示すフローチャートに従って以下に説明する。尚、上述したように、映像通信装置１１は主制御部１１４の制御の下、主記憶部１１５に格納されたメール処理プログラムに従って以下の処理を実行するものである。

まず、ステップＳ４０１において、各種イベントが発生するのを待つ。イベントが発生した場合は、ステップＳ４０２に進み、イベント種別がカメラ操作指示かどうかを調べる。カメラ操作指示であった場合は、ステップＳ４０３に進み、カメラ制御部１１１を介して、ビデオカメラ１〜４に対するカメラ制御を行なう。

カメラ操作のコマンドとしては、
ｔｉｌｔ（θ）、ｐａｎ（φ）、ｚｏｏｍ（ｚ）・・・（１）
があり、これらのコマンドに従ってカメラのチルト（ｔｉｌｔ），パン（ｐａｎ），ズーム（ｚｏｏｍ）が制御されるものとする。

これらのコマンドは図１０におけるカメラ制御パネル１０２０、１０３０に割りつけられている。カメラ制御パネル１０２０の上／下方向ボタンを押下している間、角度θを増加／減少させてｔｉｌｔ（θ）コマンドを呼び出す。同様にカメラ制御パネル１０２０の左／右方向ボタンを押下している間、角度φを増加／減少させてｐａｎ（φ）コマンド呼び出す。またカメラ制御パネル１０３０のスクロールバーを操作している間は、ズーム倍率ｚを増加／減少させてｚｏｏｍ（ｚ）コマンド呼び出す。

なお、カメラ操作の指示は、自映像通信装置からと他映像通信装置からの場合がある。

ステップＳ４０２において、イベント種別がカメラ操作指示でない場合は、ステップＳ４０４に進み、カメラ入力があるか調べる。映像通信装置１１に接続されたビデオカメラ１が正常に動作している場合には、ステップＳ４０４に進み、映像入力制御部１１２によって取り込まれたビデオ信号をＡ／Ｄ変換する。

次にステップＳ４０６に進み、映像ＣＯＤＥＣ１１３により、ディジタル映像データを圧縮し、続いてステップＳ４０７に進み、後述する通信データフォーマットを作成した後、通信制御部１１９を介して、ネットワーク３０に送信する。この場合、通信データは図１１に示すフォーマットに従い、パケット種別フィールド４１には、「映像送信」を示すコードが書き込まれ、発信者名フィールド４２には映像通信装置１１の名前が、受信者名フィールド４３には他の映像通信装置１２〜１６または映像格納装置２０の名前が、メディア種別フィールド４４には「動画」を示すコードが、その他フィールド４５には映像を取り込んだ時刻が、データフィールド４６にはディジタル化された映像データが書き込まれる。

また、前述した受信者名にはネットワーク上の全ての装置を示す「ブロードキャストアドレス」を使用する。なお、必要に応じて、特定の複数の装置を示す「マルチキャストアドレス」や、特定の装置を示す「ユニキャストアドレス」を使用しても良い。

以上の処理により、映像通信装置１１〜１４から、ネットワーク３０上に映像情報がリアルタイムに送信されることになる。

次に、本実施例の映像通信装置１５での映像受信処理の詳細を図５に示すフローチャートに従って以下に説明する。

まず、ステップＳ５０１において、各種イベントが発生するのを待つ。イベントが発生した場合は、ステップＳ５０２に進み、イベント種別が映像受信かどうかを調べる。

図２における通信制御部１１９を介してネットワーク３０から図１１に示す通信データを受信した場合、パケット種別フィールド４１を調べ、「映像送信」を示すコードが識別された場合は、ステップＳ５０３に進み、図９の画面例に示すような全体映像表示処理を行ない、ステップＳ５０１に戻る。なお、受信者名フィールド４の名前が自映像通信装置を示していない場合には、その受信データは廃棄される。

また、ステップＳ５０２において、イベント種別が映像受信でない場合は、ステップＳ５０４に進み、特定の映像送信元が選択されたかどうか調べる。ここで特定の映像送信元を選択する操作は、図９の映像ウインドウ９１０〜９６０のうち任意の一つの映像ウインドウをクリックすることにより行なう。ステップＳ５０４において、特定の映像送信元が選択された場合は、ステップＳ５０５に進み、後述する映像検索処理を行ない、ステップＳ５０１に戻る。

次に、図６に示すフローチャートを参照して、本実施例の映像通信装置１５における映像表示処理の詳細を説明する。

図４のステップＳ５０２において、映像データを受信した場合は、以下の全体映像表示処理を行なう。まず、ステップＳ５０１において、受信した映像データのデータフィールド４６を読み出し、映像ＣＯＤＥＣ１１３により、ディジタル映像データを伸長する。続いて、ステップＳ６０２に進み、発信者名フィールド４２を読み出し、映像送信元を識別する。更に、ステップＳ６０３に進み、図９に示す表示画面の映像ウインドウ９１０〜９６０が空いているかどうか調べる。空いている場合は、ステップＳ６０４に進み、映像送信元に対応する映像ウインドウに受信した映像データを表示する。同時にその他フィールド４５から映像を取り込んだ時刻を読み出し、発信者名とともに時刻をステータス９１１〜９６１のいずれかの位置に表示する。

ネットワーク３０上に複数の映像送信元が存在する場合は、ステップＳ６０２で取得した発信者名に対応した映像ウインドウ受信した映像データを表示する。

一方、ネットワーク３０上に７台以上の映像送信元が存在する場合は、図９に示す表示画面の映像ウインドウが満杯のためステップＳ６０３において、ステップＳ６０４に進まずに、処理を終了する。

なお、この場合に映像ウインドウの数を増やした新たな画面を作成して、同時に表示する映像送信元の数を増やしても良い。

以上の処理により、映像通信装置１１〜１４から、ネットワーク３０上に送信された映像をリアルタイムに受信して表示することが出来る。

次に、図７に示すフローチャートを参照して、本実施例の映像通信装置１５における映像検索処理の詳細を説明する。

図４のステップＳ５０４において、特定の映像送信元が選択された場合は、以下の個別映像表示処理を行なう。

まず、ステップＳ７０１において、映像通信装置１５の表示部２０８に図１０に示す個別映像表示画面が生成されているかどうか調べる。個別映像表示画面が生成されていない場合は、ステップＳ７０２に進み、図１０に示す個別映像表示画面を生成する。次に、ステップＳ７０３において、図１０の「現在」ボタン１０４１が選択されたかどうか調べる。「現在」ボタン１０４１が選択された場合は、ステップＳ７０４に進み、カメラ制御パネル１０２０、１０３０でカメラ操作指示が行なわれたかどうか調べる。カメラ操作指示が行なわれた場合は、ステップＳ７０５に進み、カメラ操作指示に対応したカメラ制御を映像映像送信元に対して行なう。具体的には、図１１に示すフォーマットに従い、パケット種別フィールド４１には、「カメラ制御」を示すコードを書き込み、発信者名フィールド４２には自映像通信装置１５の名前を、受信者名フィールド４３には図６のステップＳ６０２で取得した発信者名の名前を、メディア種別フィールド４４には「制御データ」を示すコードが、その他フィールド４５にはカメラ制御コマンドを、データフィールド４６にはカメラ制御コマンドの付加情報を書き込んだ通信データを作成し、通信制御部１１９を介して、ネットワーク３０に送信する。

次にステップＳ７０６に進み、受信した映像を図１０の映像ウインドウ１０１０に拡大表示して処理を終了する。図９における全体映像ウインドウ９１０〜９６０に比べて、図１０の個別映像ウインドウ１０１０はサイズを大きくとれるため、拡大した映像の表示が可能である。

一方、ステップＳ７０７において、図１０の「過去」ボタン１０４２が選択されたことを検出した場合は、ステップＳ７０８に進み、以下に示す過去映像の検索・表示処理を行なう。ステップＳ７０８では、映像の入力された時刻設定操作が完了するのを待つ。図１０の時刻指定パネル１０５０の時刻入力フィールド１０５１に時刻が入力され、「設定」ボタン１０５２がクリックされたことを検出すると、ステップＳ７０９に進み、時刻入力フィールド１０５１に入力された時刻を読み出す。

続いて、ステップＳ７１０に進み、映像格納装置２０に対して、設定時刻に対応する映像データを要求する。具体的には、図１１に示すフォーマットに従い、パケット種別フィールド４１には、「映像データ要求」を示すコードを書き込み、発信者名フィールド４２には自映像通信装置１５の名前を、受信者名フィールド４３には映像格納装置２０の名前を、メディア種別フィールド４４には「制御データ」を示すコードを、その他フィールド４５には設定された時刻を書き込んだ通信データを作成し、通信制御部１１９を介して、ネットワーク３０に送信する。

次にステップＳ７１１に進み、通信制御部１１９を介してネットワーク３０から映像格納装置２０が送信した映像データを受信する。続くステップＳ７１２において、受信した映像データのデータフィールド４６を読み出し、映像ＣＯＤＥＣ１１３により、ディジタル映像データを伸長する。更に、ステップＳ７１３に進み、図１０に示す個別映像表示画面の映像ウインドウ１０１０に受信した映像データをウインドウサイズに合わせて拡大表示する。

以上の処理により、遠隔地のビデオカメラから取り込まれた映像を、現在のカメラの映像から過去の映像へさかのぼって、連続的に映像を検索・表示することが出来る。

次に、図８に示すフローチャートを参照して、本実施例の映像格納装置２０における映像格納処理の詳細を説明する。

まず、ステップＳ８０１において、各種イベントが発生するのを待つ。イベントが発生した場合は、ステップＳ８０２に進み、イベント種別が映像受信かどうかを調べる。図３における通信制御部２０９を介してネットワーク３０から図１１に示す通信データを受信した場合、パケット種別フィールド４１を調べ、「映像送信」を示すコードが識別された場合は、ステップＳ８０３に進み、以下の映像データ格納処理を行なう。ステップＳ８０３では、発信者名フィールド４２を読み出し、映像送信元を識別する。

次にその他フィールド４５を読み出し、映像を取り込んだ時刻情報を取得する。そしてデータフィールド４６に書き込まれた映像データを読み取り、時刻情報とともに、映像送信元に対応する二次記憶装置２０６内の領域に映像データを格納する。なお、受信者名フィールド４３の名前が自映像格納装置を示していない場合には、その受信データは廃棄される。

一方、ステップＳ８０２において、イベント種別が映像受信でない場合は、ステップＳ８０４に進み、映像通信装置１１〜１６から映像データが要求されているかどうか調べる。図３における通信制御部２０９を介してネットワーク３０からパケット種別フィールド４１に「映像データ要求」を示すコードを含む通信データを受信した場合は、ステップＳ８０５に進み、発信者名フィールド４２に書き込まれた要求元映像通信装置の名前およびその他フィールド４５に設定された時刻情報を取得する。続いて、ステップＳ８０６に進み、要求元映像通信装置の名前および設定時刻情報をキーとして検索して二次記憶装置２０６から所望の映像データを読み出す。続いてステップＳ８０７に進み、後述する通信データフォーマットを作成した後、通信制御部２０９を介して、ネットワーク３０に送信する。

この場合、通信データは図１１に示すフォーマットに従い、パケット種別フィールド４１には、「映像送信」を示すコードが書き込まれ、発信者名フィールド４２には映像格納装置２０の名前が、受信者名フィールド４３には要求元映像通信装置の名前が、メディア種別フィールド４４には「動画」を示すコードが、その他フィールド４５には時刻情報が、データフィールド４６には映像データが書き込まれる。

以上の処理により、映像通信装置１１〜１６から要求された過去の映像をネットワーク３０上に送信することが出来る。

なお、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用しても良い。また、映像通信装置の台数は６台に制限されるものではない。

また、本発明はシステムあるいは装置にプログラムを供給することによって達成される場合にも適用できることは言うまでもない。

本実施例における映像通信システムのシステム構成図である。本実施例における映像通信装置のブロック図である。本実施例における映像格納装置のブロック図である。本実施例における映像通信装置の映像送信処理の動作を示すフローチャートである。本実施例における映像通信装置の映像受信処理の動作を示すフローチャートである。本実施例における映像通信装置の映像表示処理の動作を示すフローチャートである。本実施例における映像格納装置の映像検索処理の動作を示すフローチャートである。本実施例における映像格納装置の映像格納処理の動作を示すフローチャートである。本実施例における映像通信装置の全体映像表示画面例を示す図である。本実施例における映像通信装置の個別映像表示画面例を示す図である。本実施例における通信データフォーマット例を示す図である。

符号の説明

１〜４ビデオカメラ
１１〜１６映像通信装置
２０映像格納装置
３０ネットワーク
１００、２００内部バス
１１１カメラ制御部
１１２映像入力制御部
１１３、２０３映像符号化・復号化部
１１４、２０４主制御部
１１５、２０５主記憶部
１１６、２０６二次記憶装置
１１７、２０７操作部
１１８、２０８表示部
１１９、２０９通信制御部

Claims

ネットワークを介して記憶装置および他の情報通信装置と通信する情報通信装置であって、
画像データを受信する受信手段と、
前記受信手段で受信した画像データを表示装置に表示させる表示制御手段を有し、
前記表示制御手段は、要求する画像がリアルタイム画像か過去の画像かを選択するための選択パネル、カメラ制御パネル、時刻指定パネルを表示し、前記選択パネルによりリアルタイム画像が選択された場合、前記カメラ制御パネルの指示に応じて取得した画像を映像表示領域に表示し、また、前記選択パネルにより過去の画像が選択された場合、前記時刻指定パネルより指定された時刻の画像を前記受信手段により受信し、前記映像表示領域に表示させることを特徴とする情報通信装置。
ネットワークを介して記憶装置および他の情報通信装置と通信する情報通信装置の制御方法であって、
画像データを受信し、
前記受信した画像データを表示装置に表示させ、
要求する画像がリアルタイム画像か過去の画像かを選択するための選択パネル、カメラ制御パネル、時刻指定パネルを表示し、前記選択パネルによりリアルタイム画像が選択された場合、前記カメラ制御パネルの指示に応じて取得した画像を前記表示装置の映像表示領域に表示し、また、前記選択パネルにより過去の画像が選択された場合、前記時刻指定パネルより指定された時刻の画像を受信し、前記映像表示領域に表示させることを特徴とする情報通信装置の制御方法。