JP4298030B2

JP4298030B2 - Imaging server, client, control method and system, and storage medium

Info

Publication number: JP4298030B2
Application number: JP37227098A
Authority: JP
Inventors: 智明河合; 憲司守田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1998-12-28
Filing date: 1998-12-28
Publication date: 2009-07-15
Anticipated expiration: 2018-12-28
Also published as: JP2000197031A

Description

【０００１】
【発明の属する技術分野】
本発明は撮像手段で撮像して得られた映像情報をインターネット等のネットワーク上に配送する撮像サーバ及びクライアント及び制御方法及びシステム及び記憶媒体に関するものである。
【０００２】
【従来の技術】
撮像手段の１つであるビデオカメラの映像を遠隔地の多地点から観察できるシステムがある。そして、本願出願人は、汎用のネットワーク上にカメラを撮像するサーバ（カメラサーバ）と、そのサーバに接続するクライアントを設け、クライアント側でカメラサーバのカメラ映像を観察するだけでなく、そのカメラのパン・チルト角度やズーム倍率等を遠隔操作可能にする技術をいくつか提案した。
【０００３】
この場合の汎用ネットワークは、たとえばＴＣＰ／ＩＰプロトコルを用いたネットワークの代表的なインターネットである。そして上記のサーバの構成は、パーソナルコンピュータ（以下、単にＰＣ）とそれに接続しコンピュータ制御可能なカメラを接続したものであり、その上にカメラサーバとなるプログラムを搭載することで実現した。また、クライアントではＷＷＷ（ＷｏｒｌｄＷｉｄｅＷｅｂ）ブラウザが動作させ、グラフィカルユーザインタフェースを介してカメラサーバのアングルを操作する。ただし、カメラサーバのカメラを遠隔操作できるのは、１つのクライアントのみであり、カメラサーバは接続している複数のクライアントに撮像した同じ映像を配送する。
【０００４】
【発明が解決しようとする課題】
このようなシステムにおいては、撮像しても良い範囲と、そうでない範囲を設けることが必要になる場合がある。理由は、パン・チルト角度およびズーム倍率を遠隔操作して、ある特定の角度（方向）におけるズーム倍率を非常に高くしてしまった場合に、プライバシー等の問題に繋がるからである。
【０００５】
このようなプライバシー保護のため、物理的なカメラの可動範囲よりも狭めてでも、カメラ操作可能な範囲に制限を設けることが必要である。この操作可能範囲（カメラが潜在的に変更可能な範囲ではない）は、単純に、パン・チルト角度あるいはズーム倍率に対して上限・下限を設定して範囲制限をかけるものであった。
【０００６】
つまり、
パン角度をθ（右にパンするほど値が大きいものとする）
チルト角度φ（上にパンするほど値が大きいものとする）
ズーム倍率ｚ（倍率が大きいほど値が大きいものとする）
とすると、操作可能な範囲は、たとえば次のように１つの領域に設定していた。θｍｉｎ≦θ≦θｍａｘ（θｍｉｎ：パン角度左端，θｍａｘ：パン角度右端）
φｍｉｎ≦φ≦φｍａｘ（φｍｉｎ：チルト角度下限，φｍａｘ：パン角度上限）
ｚｍｉｎ≦ｚ≦ｚｍａｘ（Ｚｍｉｎ：ズーム倍率下限，ｚｍａｘ：ズーム倍率上限）
しかし、現実には、撮像しても構わない範囲（領域）、或いは撮像しない範囲は離散的、つまり、とびとびに存在する場合があり、且つ、特定の範囲ではズーム倍率の上限は高くてもよいがそれ以外ではズーム倍率の上限は低く抑えたいといった要望には応えることができない。
【０００７】
また、このようなシステムでは、カメラサーバにおける操作可能範囲を設定する管理者と、カメラを操作するクライアント側の操作者（カメラ利用者）とが異なっているのが通常である。従って、仮に、管理者が複雑な操作範囲を設定してしまうと、クライアントの操作者にしてみれば、どの範囲（領域）でどのようにズーム倍率や可視範囲が制限されているのか、直感的にわかりづらくなってしまうという問題もある。
【０００８】
更に、管理者にとっても、よりわかりやすく、且つ、柔軟に操作可能範囲を設定し得ることが望まれていた。
【０００９】
【課題を解決するための手段】
本発明はかかる問題点に鑑みなされたものであり、撮像方向が変更可能な撮像手段でもって撮像できる範囲内に、点在する複数の撮像可能領域を設定しながらも、クライアントに何らの違和感を与えず、良好な操作環境を提供し得る撮像サーバ及びクライアント及び制御方法及びシステム及び記憶媒体を提供しようとするものである。
【００１０】
この課題を解決するため、たとえば本発明の撮像サーバは以下の構成を備える。すなわち、
撮像手段を有し、当該撮像手段により得られた映像情報をネットワークを介してクライアントに配送を行なう撮像サーバであって、
１つの撮像手段による撮像方向が変更可能な範囲内に映像情報の配送対象となる互いに異なる複数の撮影方向が変更可能な矩形領域を設定し、設定された矩形領域に関する情報および該矩形領域それぞれに対応する撮像手段名称に関する情報を記憶する記憶手段と、
前記クライアントから通知された撮像手段名称に対応する矩形領域に関する情報を前記記憶手段より読み出し、当該読出された矩形領域に関する情報に基づいて当該矩形領域を前記撮像手段の撮像方向が変更可能な範囲として設定し、当該撮像方向が変更可能な範囲内で前記撮像手段を制御する制御手段とを備える。
【００１１】
【発明の実施の形態】
以下、添付図面に従って本発明にかかる実施形態を詳細に説明する。
【００１２】
本実施形態の概要を簡単に説明すると、カメラサーバに接続された１つのカメラを、クライアント側から見たとき、それがあたかも複数のカメラであるかのように見せるものである。
【００１３】
図１は本実施例におけるシステムのブロック構成図である。
【００１４】
図中、１−１はカメラサーバ装置（以下、単にカメラサーバという）、１−２はカメラサーバ１−１からの映像を表示すると共にカメラを遠隔操作する表示操作端末（以下、クライアントという）であり、これらはネットワーク１−３によって接続されている。
【００１５】
さて、カメラサーバ１−１は、ビデオカメラ−１−１１からの映像を取り込みクライアント装置１−２への配送をおこなうとともに、クライアント１−２からのカメラ制御コマンドを受け付け、ビデオカメラ１−１１のズーム倍率および可動雲台１−１２を制御する（可動雲台１−１２を動作させることでパン角、チルト角が変更できることになる）。
【００１６】
なお、カメラサーバ１−１、クライアント１−２は、図示の場合には１台ずつ示しているものの、この数に制限はない。説明を簡単なものとするためである。以下の説明でもカメラサーバ、クライアントはそれぞれ１台であるものとして説明する。また、ネットワーク１−３に関しても、後で述べるカメラ制御信号、圧縮した映像信号を通すのに十分な帯域があるインターネットやイントラネット等のディジタルネットワークであればその種類は問わない。
【００１７】
ただし、実施形態でのネットワークプロトコルとしてＴＣＰ／ＩＰ（ＵＤＰ／ＩＰ）プロトコルを仮定し、以下アドレスといった場合にはＩＰアドレスを指すこととする。また、カメラサーバ１−１、クライアント１−２共にＩＰアドレスを割り当てられているものとする。
【００１８】
カメラサーバ１０１は、パーソナルコンピュータで構成し得るが、図示のように、ビデオカメラ１−１１、ビデオカメラの雲台のパン・チルト角度を制御する可動雲台装置１−１２、ビデオカメラ１−１１と可動雲台装置１−１２のズーム倍率、パン・チルト角度を制御するカメラ・雲台制御部１−１３、ビデオカメラ１−１１からの映像を取り込む映像入力部１−１５、取り込んだ映像データ圧縮する映像圧縮部１−１６、圧縮した映像データをネットワーク上に配送する通信制御部１−１４、ネットワーク１−３経由でのクライアント１−２からのコマンドを解釈し、カメラサーバ装置の各部を制御するコマンド解釈・実行部１−１７、各部のデータ受け渡しに用いる記憶装置１−１８から構成される。
【００１９】
なお映像入力部１−１５は、ビデオカメラ１−１１からのＮＴＳＣ映像信号を取り込みＡ／Ｄ変換後、ＭｏｔｉｏｎＪＥＰＧで圧縮して、通信制御部１−１４に渡す。ここでは映像の圧縮形式として、ＭｏｔｉｏｎＪＥＰＧ圧縮としたが、これに限らず如何なる圧縮形式でも良いのは勿論である。
【００２０】
次にカメラクライアント１−２について述べる。
【００２１】
このクライアントもサーバと同様、パーソナルコンピュータ等の汎用情報処理装置で構成し得るものであり、カメラサーバ１−１から配送されてきた圧縮映像データは、通信制御部１−２１を通じて受信され、映像伸長部１−２５で伸長され、映像表示部１−２６で表示される。また、カメラクライアント装置上のユーザインタフェースの操作によりカメラ制御や画像蓄積保存操作、等ができるようになっているものとする。これらの画面表示・操作の制御は表示制御部１−２４が行っている。
【００２２】
映像表示部１−２１には、ビットマップディスプレイが含まれており、図２のような画面（ユーザーインタフェース）を構成できる。実施形態における映像表示部１−２１としては、ウインドウシステムを用いた。このシステムとしては、米国マイクロソフト社のＷｉｎｄｏｗｓ９５、或いはＵＮＩＸのＸ−Ｗｉｎｄｏｗ等がある。
【００２３】
図２において、２−１は映像が表示される映像表示領域、２−２はカメラ操作のためのカメラ操作パネルであり、これはウインドウ形式で表示されるものである。カメラ操作パネル２−２中の２−２２，２−２３，２−２８はスクロールバーであって、それぞれ、カメラのパン角度、チルト角度、ズーム倍率を操作できるようになっている。スクロールバー２−２１はパン角操作用であって、バー中に表示されている矩形のツマミをマウス等のポインティングデバイスで左右に移動（一般にはドラッグ操作という）することでカメラサーバに対するパン角の指定コマンドを発行するために使用される。なお、「ツマミ」の表示位置は、パン角の操作制限領域内における現在の位置を示している。スクロールバー２−２３はチルト角操作用、スクロールバー２−２８はズーム倍率操作用であり、操作法及びそれぞれのツマミの位置の意味は、パン角用スクロールバー２−２１と同じである。
【００２４】
ただし、先に説明したように複数のクライアントのユーザは、同じカメラサーバの同じカメラからの映像を見ることができるので、結局の所、操作権を有するのは１つのクライアントのみである。従って、他のクライアントでは、スクロールバー２−２１、２−２３、２−２８は操作不能状態であることを示すような形態で表示する（たとえば薄く表示する等）。また、操作権の獲得の仕方であるが、図示の操作開始ボタン２−２１をマウス等で指示することで行なう。このボタンが指示されると、接続先のカメラサーバに操作権獲得要求を発行する。カメラサーバはこの要求を受けたとき、既に操作権を発行している他のクライアントが存在すれば要求に対して不可の通知を発行し、存在しなければ操作権を発行する。ただし、カメラサーバは、１つのクライアントに対して操作権を与えている時間を計時しており、所定時間経過したときに、操作権を無効にする通知を発行する。
【００２５】
説明を図２のユーザーインタフェースに戻す。図中、２−３０は、カメラ切替えボタンであり、このボタンを押すと２−３１のようなプルダウンメニューが表示される。なお、プルダウンメニュー２−３１の場合、カメラ１〜カメラ３の３通りのカメラが選択できるようになっている。このカメラ名は、実際のカメラ（実施形態におけるカメラサーバには物理的なカメラは１つだけである）ではなく、次に述べる「仮想的なカメラ」に対応しており、ここでのカメラ選択に対応して、「仮想的なカメラ」切替え（選択）を行う。また、ボタン２−３０には選択中の仮想カメラ名が表示されるものとする。更に、この選択できる「仮想的なカメラ」の一覧情報は、そのクライアントがカメラサーバに接続した際にサーバから送信してくるものである。
【００２６】
「仮想的なカメラ」について図９を用いて説明する。
【００２７】
枠９−３は、カメラサーバ１−１のカメラ１−１１が実際にに撮影することのできる全パン・チルト範囲における撮像できる範囲を示している（ただし、ズーム倍率は最低倍率における範囲である）。そして、斜線で示される領域が撮像を許可する領域を示している。換言すれば、斜線以外の領域はプライバシー等の問題で撮像してはいけない領域を示している。
【００２８】
カメラ１−１１は、そのパン角、チルト角を変更できるわけであるから、クライアントのユーザにしてみれば、１つのカメラは矩形範囲でそのアングルを変更できると考えるのは自然であろう。換言すれば、１つのカメラが図示の如く逆Ｌ字領域と、離散した領域で撮像できるようにしてしまうと、違和感を与える。そこで、この違和感を与えないようにするため、実施形態では、撮像できる領域をいくつかの矩形領域に分割し、それぞれの分割領域（図示では９−１１、９−１２，９−１３の３つ）に仮想的なカメラを割り当てた。この結果、ユーザにしてみれば、あたかも複数（図示では３つ）のカメラ（仮想的なカメラ）がカメラサーバ１−１に接続されているかのように見えるし、それぞれのカメラが矩形範囲内で自由にそのアングルを変更できるように見えるので、何らの違和感を与えないようにすることができる。図２のプルダウンメニュー２−３１で表示されるカメラ名はまさにこの仮想的なカメラを示している。
【００２９】
ここで、
パン角度をθ（右にパンするほど値が大きいものとする）
チルト角度φ（上にパンするほど値が大きいものとする）
ズーム倍率ｚ（倍率が大きいほど値が大きいものとする）
とすると、たとえばある特定の仮想カメラの操作可能な範囲は次のようにして設定できる。
【００３０】
θｍｉｎ≦θ≦θｍａｘ（θｍｉｎ：パン角度左端、θｍａｘ：パン角度右端）
φｍｉｎ≦φ≦φｍａｘ（φｍｉｎ：チルト角度下限，φｍａｘ：パン角度上限）
ｚｍｉｎ≦ｚ≦ｚｍａｘ（Ｚｍｉｎ：ズーム倍率下限，ｚｍａｘ：ズーム倍率上限）
たとえば、図９における矩形領域９−１１にあてはめた場合、この領域に対応する仮想的なカメラのパンチルト操作範囲は、その対角座標を（θｍｉｎ，φｍｉｎ），（θｍａｘ，φｍａｘ）となる。
【００３１】
もちろん、（θｍｉｎ，φｍｉｎ），（θｍａｘ，φｍａｘ）は物理的な全体の操作範囲内に収まっている。なお、実施形態では仮想カメラの数は３つとしているが、これに限らず、論理的にはいくつでも設定可能である。また、仮想カメラの操作範囲を示す領域は互いに重なっていてもかまわない。なお、すべての仮想的なカメラには、仮想カメラ識別のためのＩＤ番号が振られているものとする。内部的には、図１０に示すようなカメラ操作範囲テーブルが共有メモリ３−４３に保持しているものとする。また、１つのカメラサーバに接続される物理的なカメラは１つだけでなく、２つ、或いはそれ以上であってもよい。この場合には、１つの物理的なカメラと図１０に示すテーブルとを対応させることになる。つまり、図１０に示すテーブルは物理的なカメラの数だけ用意すればよい。
【００３２】
図３は、本実施例のプロセス構成図である。ここでプロセスとはＷｉｎｄｏｗｓＮＴやＵＮＩＸ等のマルチタスクオペレーティングシステムにおけるものを意味する。定常状態では、これらのすべてのプロセス３−１１，３−１２，３−２１，３−２２，３−３１が稼動しているものとする。
【００３３】
カメラサーバ１−１上でで動作する各プロセスは以下の通りである。
・カメラ制御サーバープロセス３−１１：操作権を有するクライアントプロセス３−３１が発行したカメラ制御命令を受け取り、カメラ制御部１−１３に命令を出力する制御を行なう。
・カメラ状態通知プロセス３−１２：カメラのパンチルト角度などの状態を検知してクライアントプロセス３−３１に通知する。
・映像サーバプロセス３−２１：カメラ映像の送信先を管理する
・映像獲得・送信プロセス３−２２：カメラ映像の取り込み・送信を行う。
【００３４】
なお、映像表示禁止フラグ３−４１、送信先リスト３−４２、カメラ制御範囲制限リスト３−４３、カメラ状態レジスタ３−４４は、プロセス間でデータの受け渡しに用いる共有メモリに設けられている。また、カメラ制御制限範囲レジスタ３−４５、制限権フラグ３−５１、カメラ番号リスト３−５２は、一時的にプロセスのデータを保存するためのレジスタである。
【００３５】
カメラサーバ１−１上のプロセス３−１１〜３−２２の動作の詳細はフローチャート図４，５，６に示し、カメラクライアント１−２上では、クライアントプロセス３−３１が動作しており、その動作の詳細は図７に示す。なお、これらのフローチャートに対応するプログラムは、サーバ或いはクライアントそれぞれが有する記憶装置（たとえばハードディスク装置等）に記憶されており、それが主記憶装置（メインＲＡＭ）にロードされ実行されることになる。
【００３６】
先ず、カメラサーバの各プロセスについて図４〜７のフローチャートを用いて説明する。
【００３７】
なお、パケットとしては図８のような形式のものが生成され、ネットワーク１−３に送信されることになる（厳密には、ＴＣＰ／ＩＰやＵＤＰ／ＩＰ等のパケットで用いられているフォーマットを使用する事になるが、図８では実施例の説明に必要なパケット情報のみ記述した）。
【００３８】
まず、図４のフローを用いてカメラ制御プロセス、カメラ状態通知プロセスについて説明する。
【００３９】
カメラ制御サーバプロセス３−１１が起動されると（ステップＳ４００）、カメラ状態通知プロセス３−１２を生成し（ステップＳ４０２）、クライアントプロセス３−３１からのカメラ制御接続要求（図８（１））を待つ（ステップＳ４０３）。クライアントプロセス３−３１から接続要求があると、接続受付処理（Ａｃｋを返す）を行い（ステップＳ４０４）、接続のあったクライアントプロセス３−３１から送信されてくるカメラ制御コマンド（図８（２）〜（４）を待つ（ステップＳ４０５）。なお、接続受付処理では、先に説明したように、カメラサーバが有する仮想的なカメラの一覧情報をクライアントに通知、つまり、転送する。また、このとき、タイマーセットして、ある一定時間（「制御持ち時間」と呼ぶ）が経つとカメラ制御接続を切断する（ステップＳ４０７）ようになっている。
【００４０】
カメラ制御コマンド（図８（２）〜（４））を受信すると、そのコマンドに応じてカメラ制御部１−１３を通じてビデオカメラ１−１１のズーム倍率、および可動雲台装置１−１２のパンチルト角度を制御する（ステップＳ４０９）。制御持ち時間が終わるまで、クライアントプロセス３−３１からカメラ制御コマンドを受付け、コマンド解釈部１−１７、カメラ雲台制御部１−１３２を通じて、コマンドに応じたカメラ制御を行う。なお、図５に制御コマンドに応じた処理の詳細を示した。ここでカメラ制御コマンドとしては、説明を簡単にするため、次の命令のいずれかであるものとした。
【００４１】
パン角度変更命令ＰＡＮ θ
チルト角度変更命令ＴＩＬ φ
ズーム倍率変更命令ＺＯＭ α
ただし、θ，φ，αは、それぞれ、パン角度、チルト角度、ズーム倍率をあらわすパラメータであり、このカメラ制御コマンドには、他にも逆光補正やオートフォーカス、マニュアルフォーカス値設定等、各種ありえるが、ここでは説明を省略する。
【００４２】
さらに、「仮想的なカメラ」切替えのための次の命令もある（図８（５））。
カメラ切替え命令ＳＥＬｎ
（ただし、ｎは仮想カメラの識別番号を示す）
カメラ切替え要求命令の時は、仮想カメラ識別番号に対応する操作範囲をカメラ制御範囲制限リスト３−４３から読み出し、カメラ制御制限範囲レジスタおよびカメラ状態レジスタ３−４４に設定し（ステップＳ５０２）、次の手順で計算したパン・チルト・ズームの値を、仮想的なカメラの初期位置として初期設定する（ステップＳ５０４）。仮想的なカメラの初期設定値は、パン・チルト角度に関しては制限範囲の中央の値とし、ズーム倍率に関しては制限範囲の最低倍率の値とする。ただし、あらかじめ制限範囲のパン・チルトズームを定めておき、その値にセットするのでも良い。
【００４３】
なお、仮想カメラ切替えの間、つまりカメラパン・チルト・ズーム変更中は、映像送信を許可しない領域を通過する可能性もあるので、この間の映像は送信しないよう、映像表示禁止フラグをＯＮにセットしておく（ステップＳ５０３，Ｓ５０５）。この映像挟持禁止フラグがＯＮ状態にあるときは、後述するように仮想カメラの識別番号として“−１”の情報を各クライアントに通知する。こうして、そして、指示された仮想カメラがステップ５０２で設定した状態（パン角、チルト角、ズーム倍率）になった場合に、映像表示禁止フラグをＯＦＦに設定しする。これによって、再び映像の配送処理が行なえるようになる。
【００４４】
一方、パン、チルト、ズーム要求命令の場合には、命令に含まれるパン角度、チルト角度、ズーム倍率がその仮想カメラの操作範囲内であるかどうかチェックし（ステップＳ５１１，Ｓ５２１）、値が範囲を超えている場合には、操作範囲の上限（値が大きすぎる場合）ないし下限（値が小さすぎる場合）の値に再設定して、カメラ制御を行う。
【００４５】
カメラ制御接続開始から一定時間が経過し、制御持ち時間が終了すると、接続切断処理（Ｓ４０７）を行い、このステップＳ４０７の処理の中でカメラ制御接続終了命令（図８（８））、つまり、カメラの操作権を無くす命令をクライアントプロセス３−３１に返送する。そして、再び接続要求が来るのを待つ（Ｓ４０３）。カメラ制御サーバープロセス３−１１は同様に実施された任意のクライアントプロセスからのカメラ制御接続要求を受け付け、カメラ操作を実現するが、図４からもわかるように同時に複数のクライアントプロセスとは接続できない。したがって、この接続はＴＣＰ／ＩＰのようなコネクション指向の接続がなされるものとする。
【００４６】
ステップＳ４０２で生成されたカメラ状態通知プロセス３−１２が動作中は、常時カメラ状態をチェックする。すなわちカメラのパン・チルト角度、ズーム倍率（＝ｐ，ｔ，ｚ）とする）をカメラ・雲台制御部１−１３に問い合わせる事で読み込み、カメラ状態レジスタ３−４４に書き込むと共に（ステップＳ４２２）、映像表示禁止フラグ３−４１の状態を見て（ステップＳ４２３）、フラグがＯＮであればカメラ状態を「カメラ切替え中」（仮想カメラ識別番号ｎ＝−１）として（ステップＳ４２４）、映像を送信しているクライアントプロセス１−２にカメラ状態（図８（９）の形式）を通知する（ステップＳ４２６）。
【００４７】
次に、図６のフローを用いて映像サーバプロセス、映像獲得・送信プロセスについて説明する。
【００４８】
映像サーバプロセス３−２１が起動されると（ステップＳ６００）、映像獲得・送信プロセス３−２２を生成し（ステップＳ６０２）、クライアントプロセス３−３１からのイベントを待つ（ステップＳ６０３）。ここで、イベントが映像表示開始要求コマンド（図８（７））であれば（ステップＳ６０４）、映像表示要求パケットに含まれているパケットの送信元アドレスを確認し、映像の送信先リスト３−４２に追加する。映像表示終了要求コマンドであれば（ステップＳ６０６）、同様に映像表示要求パケットに含まれているパケットの送信元アドレスを確認し、映像の送信先リスト３−４２から削除する。なお、映像送信先リスト３−４２には、リスト形式で映像送信先のアドレスが保持されている。
【００４９】
映像獲得・送信プロセス３−２２は、起動されると、次の操作を繰り返す。すなわち、カメラ映像のフレームとして取り込み（ステップＳ６２２）、圧縮を行い（ステップＳ６２３）、映像表示禁止フラグがＯＮでなければ（ステップＳ６２４）、この圧縮された映像データを、図８（１０）の形式にパケット化し、映像送信先リスト３−４２にある複数のアドレスに対して、送信する（ステップＳ６２５）。
【００５０】
次にクライアント側で動作するクライアントプロセス３−３１を図７のフローチャートに従って説明する。
【００５１】
まず、プロセス起動時に、初期化処理を行い（ステップＳ７０１）、接続するカメラサーバ装置１−１のアドレス（ＩＰアドレス、ここでは”ＡＤＤＲ＿Ｃ”とする）に対応するカメラサーバに映像表示開始要求を送信する（ステップＳ７０２）。このときのパケット形式は図８の（６）の通りである。
【００５２】
ここで、ＡＤＤＲ＿Ｃに対応するカメラサーバからＡｃｋが返ってこなければ（ステップＳ７０３）、アドレスが間違っている等、動作異常なので、クライアントプロセスを終了する（ステップＳ７０４）。
【００５３】
また、Ａｃｋが返ってくれば表示成功なので（ステップＳ７０３）、イベント、すなわちユーザのユーザインタフェースによる入力、或いは、カメラサーバ１−１からの各種パケットの受信を待つ（ステップＳ７０５）。
【００５４】
ここで、ユーザが操作開始ボタン２−２１を押すと（ステップＳ７０６）、自分が既にカメラ制御を開始している状態かどうかを操作権フラグ３−５１（クライアントが有するＲＡＭに確保された変数）で確認し（ステップＳ７０７）、既に制御中ならステップＳ６０５に戻る。操作中でなければ、カメラ制御接続要求（図８（１））をカメラ制御サーバプロセスに対して発行し（ステップＳ７０８）、許可（Ａｃｋ）を待つ（ステップＳ７０９）。ここでＡｃｋが返ってくれば、カメラ制御サーバプロセスに対して接続が成立し、クライアント装置の記憶部１−２９にある操作権フラグ３−５１をＯＮにし（ステップＳ７１１）、カメラ操作パネル２−２（撮像方向変更ボタンやスクロールバー）の操作を有効にする。なお、カメラ制御サーバプロセスは、カメラ制御接続要求待ちステップＳ４０３のときにしか、接続要求を受けつけない。
【００５５】
また、接続成立して「制御待ち時間」が終了するとカメラ制御サーバプロセスより、カメラ制御接続終了要求（図８（８））が返ってくるが、これを受け取ると（ステップＳ７１４）操作権フラグ３−５１をＯＦＦにして（ステップＳ７１５）、カメラ操作パネル２−２の操作を無効にする（ステップＳ７１６）。
【００５６】
カメラ操作パネル２−２の操作が有効になっている間は、カメラ操作パネル２−２の操作に対応したカメラ制御命令が生成され、カメラサーバプロセス１−２に発行される（ステップＳ７１７〜Ｓ７１８）。なお、カメラ操作パネル２−２のカメラ切替えプルダウンメニュー２−３１からカメラを選択した場合には、カメラ切替えの命令（図８（５））が発行される（ステップＳ７１９〜Ｓ７２０）。なお、命令の生成過程に関しては、ここでは省略する。
【００５７】
メニューなどの操作によって発行されるクライアントプロセス終了要求（ステップＳ７２６）に対しては、映像表示終了要求（図８（８））を発行し（ステップＳ７２８）、クライアントプロセスを終了する（ステップＳ６２８）。
【００５８】
パケットが到着した場合には（ステップＳ７２１）、それが映像データ（図８（１０））の場合（ステップＳ７２２）、映像データ中の圧縮映像データを読み出し、伸長処理を行った後、この映像フレームデータを用いて、２−１の映像表示パネルの表示映像を更新する（ステップＳ７２３）。
【００５９】
到着パケットがカメラ状態通知（図８（９））の場合には（ステップＳ７２４）、パンチルト角度およびズーム倍率を操作するスクロールバー２−２１，２−２３，２−２８のノッチ（ツマミ部分）の表示位置を、パケットに含まれているパラメータを用いて、対応する位置に変更する。また、２−３０のカメラ切替えプルダウンボタンには仮想カメラ識別番号に対応したカメラ名を表示する。（これは、他のクライアントプロセスがカメラを遠隔操作している場合に、その情報を更新していることになる）。なお、仮想カメラ識別番号とカメラ名の対応付けは、カメラ状態通知プロセス３−１２から対応関係を通知されたものを用いる。ただし、仮想カメラ識別番号が−１の時（カメラが仮想カメラの撮影可能な範囲に移動中の場合である）は、仮想カメラ切替え動作中であるとし、映像表示パネル２−１にカメラ切替え中である旨表示する。
【００６０】
以上の結果、実施形態によれば、カメラサーバが有する物理的な１つのカメラが、クライアントから見ればあたかも複数のカメラ（仮想的なカメラ）であるかのように見え、しかも、個々の仮想的カメラの少なくともパン角、チルト角は矩形範囲内であれば自由に変更可能であるので、そこにはプライバシーの問題で撮像が制限されている領域があることすら知らずに済み、しかも、何らの違和感も与えないようにすることができる。
【００６１】
なお、先にも説明したが、１つのカメラサーバに物理的なカメラを複数のカメラを設けることも可能である。この場合も、各物理的なカメラそれぞれに複数の仮想カメラを設定すればよい。このとき、カメラサーバは各物理的なカメラにつき、独立してクライアントに操作権を与えるようにする。
【００６２】
また、カメラサーバの管理者の場合、カメラサーバを直接操作してカメラ制御制限リストを編集しても良いが、クライアントと同様に接続し、そこで管理者であることをカメラサーバに通知し（たとえばＩＤとか、パスワード等で通知する）、ｆｔｐ等のプロトコルで制限リストのファイルをカメラサーバに転送するようにすればよい。
【００６３】
或いは、管理者である場合には、物理的なカメラが有するパン角、チルト角の変更可能な範囲枠を画面に表示し、その中でマウス等のポインティングデバイスでもって矩形をいくつも設定することで、それぞれの矩形領域に仮想カメラとその仮想カメラの移動可能なパン角、チルト角を設定するようにしてもよい。ズーム倍率はたとえば設定した各矩形領域につき、キーボードやマウス等で上限値、下限値を設定すればよい。勿論、このためには、カメラサーバ側には管理者がログインした場合に、上記の操作を管理者に提供するためのプログラムを動作させれば良いだけである。
【００６４】
次に、複数の制御制限領域（複数の仮想カメラ）を持つカメラサーバ装置や、とくに制限することを設定していないカメラサーバ装置が、混在してネットワークにそれぞれ接続されている状況を図１１を用いて説明する。
【００６５】
カメラサーバが複数存在する状況では、カメラクライアントを利用するユーザに、カメラサーバのリストを呈示して（たとえば図１２のような一覧を表示させ）、その中から自分が見たいカメラ・サーバをマウス等のポインティングデバイスで選択することができるようにすることが望まれる。
【００６６】
ユーザによりカメラ・サーバが選択されると、カメラクライアントは図７のステップＳ７０２にあるように、映像表示開始要求を送信する。本発明を利用すれば、他のカメラサーバ装置と同様に、複数の制御制限領域を別々の独立したカメラとして扱うことができるようになる。例えば、図１１のユーザ・インタフェースにおいて、カメラ１〜カメラ３は、同一のカメラサーバの各々の制御制限領域が対応する。カメラ４，カメラ５は、それぞれ別のカメラサーバである。
【００６７】
本実施例のように、
１）カメラサーバ装置に、複数のカメラ制御制限範囲すなわち、パン・チルト角度およびズーム倍率の範囲を制限した領域（「制御制限領域」と呼ぶ）を管理する手段を設け、
２）それぞれの制限領域は、パン左端角度、パン右端角度、チルト下限角度、パン上限角度、ズーム下限倍率、ズーム上限倍率を設定することで、制御範囲制限を行い、
３）クライアントプロセスからは、各々の制御制限領域はそれぞれ別々な独立した仮想的なカメラであるかのように見せ、
４）クライアントプロセスからは、複数の制御制限領域を切り替える場合に、複数のカメラ切替えであるかのように扱う、
ことにより、プライバシーの問題に対してより現実的で柔軟なカメラ制御制限範囲設定を可能にする。つまり、一つ一つのカメラ制御範囲制限領域は単純な設定になっており、複数の仮想的なカメラという概念で、このような制御制限範囲領域を複数の設定できるため、カメラ制御範囲を設定する者は、異なるカメラとして制御制限範囲を設定すればよく、クライアントプロセスからも、制御制限範囲の異なる別々なカメラとして見えるので、制限範囲の把握がやりやすくなる。
【００６８】
なお、上記実施形態では、カメラサーバには撮像手段及びネットワークに接続するための手段といったハードウェアを必要とするものの、そのベースはパーソナルコンピュータ等の汎用情報処理装置で実現できる。また、クライアントは撮像手段がないだけで、基本的なハードウェアはカメラサーバと同じ、パーソナルコンピュータ等の汎用情報処理装置で構築できる。
【００６９】
要は、必要とするハードウェアを活用して装置をカメラサーバ或いはクライアントとして動作させるプログラムを備えていれば良いことになる。従って、本願発明は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されるものである。
【００７０】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００７１】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００７２】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７３】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７４】
また、本実施形態における撮像手段としてはカメラを例に挙げたが、これに限定される、フラットベットスキャナ等であっても良い。
【００７５】
【発明の効果】
以上説明したように本発明によれば、撮像方向が変更可能な撮像手段でもって撮像できる範囲内に、点在する複数の撮像可能領域を設定しながらも、クライアントに何らの違和感を与えず、良好な操作環境を提供することが可能になる。
【図面の簡単な説明】
【図１】実施形態におけるカメラシステムのブロック構成図である。
【図２】実施形態におけるクライアント側のユーザーインタフェースを示す図である。
【図３】実施形態におけるシステムにおける動作シーケンスを示す図である。
【図４】実施形態におけるカメラサーバの動作を示すフローチャートである。
【図５】実施形態におけるカメラサーバの動作を示すフローチャートである。
【図６】実施形態におけるカメラサーバの動作を示すフローチャートである。
【図７】実施形態におけるクライアントの動作を示すフローチャートである。
【図８】実施形態における各コマンドのフォーマットを示す図である。
【図９】実施形態における撮影可能領域の設定例を示す図である。
【図１０】実施形態におけるカメラ制御制限リストの構造を示す図である。
【図１１】実施形態における変形例のシステム構成を示す図である。
【図１２】図１１のシステムにおけるカメラリストを示す図である。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging server, a client, a control method, a system, and a storage medium that deliver video information obtained by imaging using an imaging unit to a network such as the Internet.
[0002]
[Prior art]
There is a system capable of observing images from a video camera, which is one of imaging means, from multiple points in a remote place. The applicant of the present invention provides a server (camera server) for imaging a camera on a general-purpose network and a client connected to the server, and not only observes the camera video of the camera server on the client side, but also Several technologies that enable remote control of pan / tilt angle and zoom magnification were proposed.
[0003]
The general-purpose network in this case is a typical Internet such as a network using the TCP / IP protocol. The configuration of the server is realized by connecting a personal computer (hereinafter simply referred to as a PC) and a camera that can be controlled by a computer and mounting a program serving as a camera server thereon. In addition, a WWW (World Wide Web) browser is operated on the client, and the angle of the camera server is operated via a graphical user interface. However, only one client can remotely control the camera of the camera server, and the camera server delivers the same image captured to a plurality of connected clients.
[0004]
[Problems to be solved by the invention]
In such a system, it may be necessary to provide a range where imaging may be performed and a range where imaging is not possible. The reason is that, when the pan / tilt angle and zoom magnification are remotely controlled to increase the zoom magnification at a specific angle (direction) to a very high level, it leads to problems such as privacy.
[0005]
In order to protect such privacy, it is necessary to limit the range in which the camera can be operated even if it is narrower than the movable range of the physical camera. This operable range (which is not a range in which the camera can potentially be changed) is simply to set an upper limit and a lower limit on the pan / tilt angle or zoom magnification to limit the range.
[0006]
That means
Pan angle θ (assuming that panning to the right increases the value)
Tilt angle φ (assuming that the value increases with panning up)
Zoom magnification z (the larger the magnification, the larger the value)
Then, the operable range is set to one area as follows, for example. θmin ≦ θ ≦ θmax (θmin: left end of pan angle, θmax: right end of pan angle)
φmin ≦ φ ≦ φmax (φmin: tilt angle lower limit, φmax: pan angle upper limit)
zmin ≦ z ≦ zmax (Zmin: zoom magnification lower limit, zmax: zoom magnification upper limit)
However, in reality, the range (area) that may be imaged or the range that is not imaged may be discrete, that is, there may be discretely, and the upper limit of the zoom magnification may be high in a specific range. However, other than that, it is impossible to meet the demand to keep the upper limit of the zoom magnification low.
[0007]
In such a system, the administrator who sets the operable range in the camera server is usually different from the client-side operator (camera user) who operates the camera. Therefore, if the administrator sets a complicated operation range, it is intuitive for the client operator to determine in which range (area) the zoom magnification and the visible range are limited. There is also a problem that it becomes difficult to understand.
[0008]
Furthermore, it has been desired for the administrator to set the operable range more easily and flexibly.
[0009]
[Means for Solving the Problems]
The present invention has been made in view of such problems, and while setting a plurality of scattered imageable areas within a range that can be imaged by an imaging means whose imaging direction can be changed, the client feels something strange. The present invention is intended to provide an imaging server, a client, a control method, a system, and a storage medium that can provide a favorable operation environment without giving the information.
[0010]
In order to solve this problem, for example, the imaging server of the present invention has the following configuration. That is,
It has imaging means and distributes the video information obtained by the imaging means to the client via the network. Send An imaging server to perform,
Within the range in which the imaging direction by one imaging means can be changed Delivery of video information Target Different from each other Multiple shooting Change direction Possible Rectangle Set the area and set Rectangle region Information about the rectangular area Corresponding to each Shooting Name of image means Related Storage means for storing information to be performed;
From the client Notified Corresponding to the selected imaging means About rectangular area Read information from the storage means, Issued The About rectangular area information The rectangular region based on Imaging direction of the imaging means Changed Possible Na range As Set the imaging direction Changed Possible Na Control means for controlling the imaging means within a range.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings.
[0012]
The outline of this embodiment will be briefly described. When one camera connected to the camera server is viewed from the client side, it looks as if it is a plurality of cameras.
[0013]
FIG. 1 is a block diagram of a system in this embodiment.
[0014]
In the figure, 1-1 is a camera server device (hereinafter simply referred to as a camera server), and 1-2 is a display operation terminal (hereinafter referred to as a client) that displays images from the camera server 1-1 and remotely controls the camera. Yes, these are connected by the network 1-3.
[0015]
Now, the camera server 1-1 captures the video from the video camera 1-11, delivers it to the client apparatus 1-2, accepts the camera control command from the client 1-2, and receives the video camera 1-11. The zoom magnification and the movable head 1-12 are controlled (the pan angle and the tilt angle can be changed by operating the movable head 1-12).
[0016]
In addition, although the camera server 1-1 and the client 1-2 are shown one by one in the figure, this number is not limited. This is to make the explanation simple. In the following description, it is assumed that there is one camera server and one client. The network 1-3 may be of any type as long as it is a digital network such as the Internet or an intranet having a sufficient bandwidth for passing a camera control signal and a compressed video signal described later.
[0017]
However, a TCP / IP (UDP / IP) protocol is assumed as a network protocol in the embodiment, and the following address indicates an IP address. Assume that both the camera server 1-1 and the client 1-2 are assigned IP addresses.
[0018]
Although the camera server 101 can be composed of a personal computer, as shown in the figure, a video camera 1-11, a movable camera platform device 1-12 for controlling the pan / tilt angle of the camera platform, and a video camera 1-11. And a camera / head control unit 1-13 for controlling the zoom magnification and pan / tilt angle of the movable head device 1-12, a video input unit 1-15 for capturing video from the video camera 1-11, and captured video data A video compression unit 1-16 for compression, a communication control unit 1-14 for delivering compressed video data over the network, and a command from the client 1-2 via the network 1-3 are interpreted. It comprises a command interpretation / execution unit 1-17 to be controlled and a storage device 1-18 used for data transfer of each unit.
[0019]
The video input unit 1-15 takes in the NTSC video signal from the video camera 1-11, performs A / D conversion, compresses it with MotionJEPG, and passes it to the communication control unit 1-14. Here, MotionJEPG compression is used as the video compression format, but it is of course possible to use any compression format.
[0020]
Next, the camera client 1-2 will be described.
[0021]
Similarly to the server, this client can also be configured by a general-purpose information processing device such as a personal computer. The compressed video data delivered from the camera server 1-1 is received through the communication control unit 1-21, and video decompression is performed. The image is expanded by the unit 1-25 and displayed on the video display unit 1-26. Further, it is assumed that camera control, image storage / storing operation, and the like can be performed by operating a user interface on the camera client device. The display control unit 1-24 controls the screen display / operation.
[0022]
The video display unit 1-21 includes a bitmap display, and a screen (user interface) as shown in FIG. 2 can be configured. A window system is used as the video display unit 1-21 in the embodiment. As this system, there is Windows 95 of Microsoft Corporation in the United States or X-Windows of UNIX.
[0023]
In FIG. 2, reference numeral 2-1 denotes a video display area in which video is displayed, and 2-2 denotes a camera operation panel for camera operation, which is displayed in a window format. Reference numerals 2-22, 2-23, and 2-28 in the camera operation panel 2-2 are scroll bars, which can operate the pan angle, tilt angle, and zoom magnification of the camera, respectively. The scroll bar 2-21 is for pan angle operation. By moving a rectangular knob displayed in the bar to the left and right with a pointing device such as a mouse (generally called drag operation), the pan angle of the camera server is adjusted. Used to issue a specified command. The display position of “knob” indicates the current position in the pan angle operation restricted area. The scroll bar 2-23 is for tilt angle operation, the scroll bar 2-28 is for zoom magnification operation, and the operation method and the meaning of the position of each knob are the same as the pan angle scroll bar 2-21.
[0024]
However, as described above, users of a plurality of clients can view images from the same camera of the same camera server, so that only one client has an operation right after all. Therefore, in other clients, the scroll bars 2-21, 2-23, and 2-28 are displayed in a form indicating that they cannot be operated (for example, displayed lightly). The operation right is acquired by instructing the illustrated operation start button 2-21 with a mouse or the like. When this button is instructed, an operation right acquisition request is issued to the connected camera server. Upon receipt of this request, the camera server issues a notification of impossibility to the request if there is another client that has already issued the operation right, and issues the operation right if there is no other. However, the camera server counts the time during which the operation right is given to one client, and issues a notification to invalidate the operation right when a predetermined time has elapsed.
[0025]
Returning the description to the user interface of FIG. In the figure, reference numeral 2-30 denotes a camera switching button, and when this button is pressed, a pull-down menu such as 2-31 is displayed. In the case of the pull-down menu 2-31, three types of cameras, camera 1 to camera 3, can be selected. This camera name does not correspond to an actual camera (the camera server in the embodiment has only one physical camera), but corresponds to the “virtual camera” described below. The “virtual camera” is switched (selected) correspondingly. In addition, the name of the currently selected virtual camera is displayed on the button 2-30. Further, the selectable “virtual camera” list information is transmitted from the server when the client connects to the camera server.
[0026]
The “virtual camera” will be described with reference to FIG.
[0027]
A frame 9-3 indicates a range that can be imaged in the entire pan / tilt range that the camera 1-11 of the camera server 1-1 can actually shoot (however, the zoom magnification is the range at the minimum magnification). ). A region indicated by hatching indicates a region where imaging is permitted. In other words, the area other than the hatched area indicates an area that should not be imaged due to privacy or other problems.
[0028]
Since the camera 1-11 can change its pan angle and tilt angle, it seems natural for a client user to think that one camera can change its angle within a rectangular range. In other words, if one camera can capture images in an inverted L-shaped region and a discrete region as shown in the drawing, a sense of incongruity is given. Therefore, in order to prevent this uncomfortable feeling, in the embodiment, the imageable area is divided into several rectangular areas, and each of the divided areas (in the figure, 9-11, 9-12, 9-13) is divided. ) Assigned a virtual camera. As a result, for the user, it looks as if multiple (three in the figure) cameras (virtual cameras) are connected to the camera server 1-1, and each camera is within a rectangular range. Since it seems that the angle can be freely changed, it is possible to prevent any discomfort. The camera name displayed in the pull-down menu 2-31 in FIG. 2 indicates exactly this virtual camera.
[0029]
here,
Pan angle θ (assuming that panning to the right increases the value)
Tilt angle φ (assuming that the value increases with panning up)
Zoom magnification z (the larger the magnification, the larger the value)
Then, for example, the operable range of a specific virtual camera can be set as follows.
[0030]
θmin ≦ θ ≦ θmax (θmin: left end of pan angle, θmax: right end of pan angle)
φmin ≦ φ ≦ φmax (φmin: tilt angle lower limit, φmax: pan angle upper limit)
zmin ≦ z ≦ zmax (Zmin: zoom magnification lower limit, zmax: zoom magnification upper limit)
For example, when applied to the rectangular region 9-11 in FIG. 9, the virtual camera pan / tilt operation range corresponding to this region has the diagonal coordinates (θmin, φmin), (θmax, φmax).
[0031]
Of course, (θmin, φmin) and (θmax, φmax) are within the entire physical operation range. In the embodiment, the number of virtual cameras is three. However, the number is not limited to this, and any number of virtual cameras can be set logically. The areas indicating the operation range of the virtual camera may overlap each other. It is assumed that ID numbers for virtual camera identification are assigned to all virtual cameras. Internally, it is assumed that a camera operation range table as shown in FIG. 10 is held in the shared memory 3-43. Further, the number of physical cameras connected to one camera server is not limited to one, but may be two or more. In this case, one physical camera is associated with the table shown in FIG. That is, the number of tables shown in FIG.
[0032]
FIG. 3 is a process block diagram of the present embodiment. Here, the process means a process in a multitasking operating system such as Windows NT or UNIX. In the steady state, all these processes 3-11, 3-12, 3-21, 3-22, and 3-31 are assumed to be operating.
[0033]
Each process operating on the camera server 1-1 is as follows.
Camera control server process 3-11: Controls to receive a camera control command issued by the client process 3-31 having the operation right and output the command to the camera control unit 1-13.
Camera state notification process 3-12: Detects the camera's pan / tilt angle state and notifies the client process 3-31 of the detected state.
Video server process 3-21: Manages camera video transmission destinations
Image acquisition / transmission process 3-22: Capture / transmission of camera video.
[0034]
The video display prohibition flag 3-41, the transmission destination list 3-42, the camera control range restriction list 3-43, and the camera state register 3-44 are provided in a shared memory used for data transfer between processes. A camera control restriction range register 3-45, a restriction right flag 3-51, and a camera number list 3-52 are registers for temporarily storing process data.
[0035]
Details of the operations of the processes 3-11 to 3-22 on the camera server 1-1 are shown in flowcharts 4, 5, and 6. On the camera client 1-2, the client process 3-31 is operating. Details of the operation are shown in FIG. A program corresponding to these flowcharts is stored in a storage device (for example, a hard disk device or the like) included in each server or client, and is loaded into a main storage device (main RAM) and executed.
[0036]
First, each process of the camera server will be described with reference to the flowcharts of FIGS.
[0037]
As a packet, a packet having the format shown in FIG. 8 is generated and transmitted to the network 1-3 (strictly, the format used in the packet such as TCP / IP or UDP / IP is used. Although only the packet information necessary for explaining the embodiment is described in FIG.
[0038]
First, a camera control process and a camera state notification process will be described with reference to the flow of FIG.
[0039]
When the camera control server process 3-11 is activated (step S400), a camera state notification process 3-12 is generated (step S402), and a camera control connection request from the client process 3-31 ((1) in FIG. 8). (Step S403). When there is a connection request from the client process 3-31, connection acceptance processing (returns Ack) is performed (step S404), and a camera control command (FIG. 8 (2)) transmitted from the connected client process 3-31. In step S405, as described above, the virtual camera list information held by the camera server is notified to the client, that is, transferred, at this time. The camera control connection is disconnected after a certain time (referred to as “time with control”) after the timer is set (step S407).
[0040]
When a camera control command (FIGS. 8 (2) to (4)) is received, the zoom magnification of the video camera 1-11 and the pan / tilt angle of the movable pan head device 1-12 are transmitted through the camera control unit 1-13 in accordance with the command. Is controlled (step S409). The camera control command is received from the client process 3-31 until the time with control is over, and camera control corresponding to the command is performed through the command interpretation unit 1-17 and the camera platform control unit 1-132. FIG. 5 shows details of processing according to the control command. Here, in order to simplify the description, the camera control command is assumed to be one of the following commands.
[0041]
Pan angle change command PAN θ
Tilt angle change command TIL φ
Zoom magnification change command ZOM α
However, θ, φ, and α are parameters representing pan angle, tilt angle, and zoom magnification, respectively, and various other camera control commands such as backlight correction, autofocus, and manual focus value setting can be used. The description is omitted here.
[0042]
Further, there is the next command for switching the “virtual camera” (FIG. 8 (5)).
Camera switching command SEL n
(Where n is the virtual camera identification number)
In the case of the camera switching request command, the operation range corresponding to the virtual camera identification number is read from the camera control range restriction list 3-43 and set in the camera control restriction range register and the camera status register 3-44 (step S502). The pan / tilt / zoom values calculated in the above procedure are initially set as the initial position of the virtual camera (step S504). The initial setting value of the virtual camera is the center value of the limit range for the pan / tilt angle, and the minimum magnification value of the limit range for the zoom magnification. However, the pan / tilt zoom of the limit range may be determined in advance and set to that value.
[0043]
During virtual camera switching, that is, while changing the camera pan / tilt / zoom, there is a possibility of passing through the area where video transmission is not permitted. (Steps S503 and S505). When the video sandwiching prohibition flag is in the ON state, information “−1” is notified to each client as an identification number of the virtual camera as will be described later. Thus, when the instructed virtual camera becomes the state set in step 502 (pan angle, tilt angle, zoom magnification), the video display prohibition flag is set to OFF. As a result, the video delivery process can be performed again.
[0044]
On the other hand, in the case of a pan / tilt / zoom request command, it is checked whether the pan angle, tilt angle, and zoom magnification included in the command are within the operation range of the virtual camera (steps S511 and S521). If the value exceeds the upper limit (if the value is too large) or lower limit (if the value is too small), the camera control is performed.
[0045]
When a certain time has elapsed from the start of the camera control connection and the control time is over, a connection disconnection process (S407) is performed, and a camera control connection end command (FIG. 8 (8)) in the process of step S407, that is, An instruction for erasing the camera operation right is returned to the client process 3-31. Then, it waits for a connection request again (S403). The camera control server process 3-11 accepts a camera control connection request from any client process that has been implemented in the same manner, and realizes a camera operation, but cannot connect to a plurality of client processes at the same time as can be seen from FIG. Therefore, this connection is a connection-oriented connection such as TCP / IP.
[0046]
While the camera state notification process 3-12 generated in step S402 is operating, the camera state is always checked. That is, the camera pan / tilt angle and zoom magnification (= p, t, z) are read by making an inquiry to the camera / head control unit 1-13 and written to the camera status register 3-44 (step S422). Looking at the state of the video display prohibition flag 3-41 (step S423), if the flag is ON, the camera state is set to “camera switching” (virtual camera identification number n = −1) (step S424), and the video is displayed. The camera state (format in FIG. 8 (9)) is notified to the transmitting client process 1-2 (step S426).
[0047]
Next, the video server process and the video acquisition / transmission process will be described using the flow of FIG.
[0048]
When the video server process 3-21 is activated (step S600), a video acquisition / transmission process 3-22 is generated (step S602), and an event from the client process 3-31 is awaited (step S603). If the event is a video display start request command (FIG. 8 (7)) (step S604), the source address of the packet included in the video display request packet is confirmed, and the video destination list 3- 42. If it is a video display end request command (step S606), the transmission source address of the packet included in the video display request packet is similarly confirmed and deleted from the video transmission destination list 3-42. The video transmission destination list 3-42 holds video transmission destination addresses in a list format.
[0049]
When activated, the video acquisition / transmission process 3-22 repeats the following operation. That is, it is captured as a frame of a camera video (step S622), compressed (step S623), and if the video display prohibition flag is not ON (step S624), the compressed video data is converted into the format shown in FIG. And transmitted to a plurality of addresses in the video transmission destination list 3-42 (step S625).
[0050]
Next, the client process 3-31 operating on the client side will be described with reference to the flowchart of FIG.
[0051]
First, when the process is started, initialization processing is performed (step S701), and a video display start request is transmitted to the camera server corresponding to the address (IP address, “ADDR_C” here) of the camera server device 1-1 to be connected. (Step S702). The packet format at this time is as shown in (6) of FIG.
[0052]
If Ack is not returned from the camera server corresponding to ADDR_C (step S703), the client process is terminated (step S704) because of an abnormal operation such as an incorrect address.
[0053]
If Ack is returned, the display is successful (step S703), and an event, that is, input by the user interface of the user or reception of various packets from the camera server 1-1 is awaited (step S705).
[0054]
Here, when the user presses the operation start button 2-21 (step S706), an operation right flag 3-51 (a variable secured in the RAM of the client) is used to indicate whether or not the user has already started camera control. (Step S707), and if already in control, the process returns to Step S605. If not in operation, a camera control connection request ((1) in FIG. 8) is issued to the camera control server process (step S708) and waits for permission (Ack) (step S709). If Ack is returned here, connection to the camera control server process is established, the operation right flag 3-51 in the storage unit 1-29 of the client device is turned on (step S711), and the camera operation panel 2- Enable the operation of 2 (imaging direction change button or scroll bar). Note that the camera control server process accepts a connection request only at the camera control connection request waiting step S403.
[0055]
When the connection is established and the “control wait time” ends, a camera control connection end request (FIG. 8 (8)) is returned from the camera control server process. When this is received (step S714), the operation right flag 3 -51 is turned OFF (step S715), and the operation of the camera operation panel 2-2 is invalidated (step S716).
[0056]
While the operation of the camera operation panel 2-2 is valid, a camera control command corresponding to the operation of the camera operation panel 2-2 is generated and issued to the camera server process 1-2 (steps S717 to S718). ). If a camera is selected from the camera switching pull-down menu 2-31 on the camera operation panel 2-2, a camera switching command (FIG. 8 (5)) is issued (steps S719 to S720). The instruction generation process is omitted here.
[0057]
In response to a client process termination request (step S726) issued by an operation such as a menu, a video display termination request (FIG. 8 (8)) is issued (step S728), and the client process is terminated (step S628).
[0058]
If the packet has arrived (step S721), if it is video data (FIG. 8 (10)) (step S722), the compressed video data in the video data is read and decompressed, and then the video frame The display image on the image display panel 2-1 is updated using the data (step S723).
[0059]
When the arrival packet is a camera state notification (FIG. 8 (9)) (step S724), the notches (knob portions) of the scroll bars 2-21, 23, and 2-28 for operating the pan / tilt angle and the zoom magnification. The display position is changed to the corresponding position using the parameter included in the packet. The camera name corresponding to the virtual camera identification number is displayed on the 2-30 camera switching pull-down button. (This means that if another client process remotely controls the camera, that information is updated). The correspondence between the virtual camera identification number and the camera name is notified from the camera state notification process 3-12. However, when the virtual camera identification number is −1 (when the camera is moving to a range where the virtual camera can shoot), it is assumed that the virtual camera switching operation is being performed and the camera is being switched to the video display panel 2-1. Is displayed.
[0060]
As a result of the above, according to the embodiment, one physical camera included in the camera server looks as if it is a plurality of cameras (virtual cameras) when viewed from the client. Since at least the pan and tilt angles of the camera can be changed freely within the rectangular range, there is no need to know that there is an area where imaging is restricted due to privacy issues, and there is no sense of incongruity. Can also be avoided.
[0061]
As described above, a single camera server can be provided with a plurality of physical cameras. In this case as well, a plurality of virtual cameras may be set for each physical camera. At this time, the camera server each For each physical camera, the operation right is given to the client independently.
[0062]
In the case of a camera server administrator, the camera control restriction list may be edited by directly operating the camera server. However, the camera server is connected in the same manner as the client, and notifies the camera server that the user is an administrator (for example, The file of the restriction list may be transferred to the camera server using a protocol such as ftp).
[0063]
Or, if you are an administrator, display a range frame that allows you to change the pan angle and tilt angle of a physical camera, and set several rectangles with a pointing device such as a mouse. Thus, the virtual camera and the movable pan angle and tilt angle of the virtual camera may be set in each rectangular area. For example, an upper limit value and a lower limit value may be set for each set rectangular area with a keyboard, a mouse, or the like. Of course, for this purpose, it is only necessary to run a program for providing the above operation to the administrator when the administrator logs in to the camera server side.
[0064]
Next, FIG. 11 shows a situation in which a camera server device having a plurality of control restricted areas (a plurality of virtual cameras) and a camera server device not specifically set to be restricted are connected to the network in a mixed manner. It explains using.
[0065]
In a situation where there are a plurality of camera servers, a list of camera servers is presented to the user who uses the camera client (for example, a list as shown in FIG. 12 is displayed), and the camera server that he / she wants to see is displayed as a mouse. It is desirable to be able to select with a pointing device such as.
[0066]
When the camera server is selected by the user, the camera client transmits a video display start request as shown in step S702 of FIG. If the present invention is used, a plurality of control restricted areas can be handled as separate independent cameras as in other camera server apparatuses. For example, in the user interface of FIG. 11, cameras 1 to 3 correspond to the respective control restriction areas of the same camera server. The cameras 4 and 5 are different camera servers.
[0067]
Like this example,
1) The camera server device is provided with means for managing a plurality of camera control restriction ranges, that is, areas where the pan / tilt angle and zoom magnification ranges are restricted (referred to as “control restriction areas”),
2) Each restriction area limits the control range by setting the pan left end angle, pan right end angle, tilt lower limit angle, pan upper limit angle, zoom lower limit magnification, zoom upper limit magnification,
3) From the client process, each control restriction area appears to be a separate independent virtual camera,
4) From the client process, when switching between multiple control restricted areas, treat as if switching between multiple cameras.
Thus, a more realistic and flexible camera control limit range can be set with respect to the privacy problem. In other words, each camera control range restriction area is simply set, and the concept of multiple virtual cameras allows you to set multiple such control restriction range areas. The person only needs to set the control limit range as a different camera, and since it appears as a separate camera with a different control limit range from the client process, it becomes easy to grasp the limit range.
[0068]
In the above embodiment, although the camera server requires hardware such as an imaging unit and a unit for connecting to a network, the base can be realized by a general-purpose information processing apparatus such as a personal computer. Further, the client has no imaging means, and the basic hardware can be constructed by a general-purpose information processing device such as a personal computer, the same as the camera server.
[0069]
In short, it is only necessary to have a program for operating the apparatus as a camera server or a client by utilizing necessary hardware. Therefore, according to the present invention, a storage medium recording software program codes for realizing the functions of the above-described embodiments is supplied to a system or apparatus, and the computer (or CPU or MPU) of the system or apparatus stores the storage medium in the storage medium. This can also be achieved by reading and executing the programmed program code.
[0070]
In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention.
[0071]
As a storage medium for supplying the program code, for example, a floppy disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a magnetic tape, a nonvolatile memory card, a ROM, or the like can be used.
[0072]
Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an OS (operating system) operating on the computer based on the instruction of the program code. It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the actual processing and the processing is included.
[0073]
Further, after the program code read from the storage medium is written into a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, the function expansion is performed based on the instruction of the program code. It goes without saying that the CPU or the like provided in the board or the function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing.
[0074]
Further, although the camera is taken as an example of the imaging means in the present embodiment, a flatbed scanner or the like that is limited thereto may be used.
[0075]
【The invention's effect】
As described above, according to the present invention, while setting a plurality of scattered imageable areas within the range that can be imaged by the imaging means whose imaging direction can be changed, the client is not given any sense of incongruity, It becomes possible to provide a favorable operating environment.
[Brief description of the drawings]
FIG. 1 is a block diagram of a camera system according to an embodiment.
FIG. 2 is a diagram showing a client-side user interface in the embodiment.
FIG. 3 is a diagram illustrating an operation sequence in the system according to the embodiment.
FIG. 4 is a flowchart showing the operation of the camera server in the embodiment.
FIG. 5 is a flowchart showing the operation of the camera server in the embodiment.
FIG. 6 is a flowchart showing the operation of the camera server in the embodiment.
FIG. 7 is a flowchart illustrating an operation of a client in the embodiment.
FIG. 8 is a diagram illustrating a format of each command in the embodiment.
FIG. 9 is a diagram illustrating a setting example of a shootable area in the embodiment.
FIG. 10 is a diagram illustrating a structure of a camera control restriction list in the embodiment.
FIG. 11 is a diagram showing a system configuration of a modified example in the embodiment.
12 is a diagram showing a camera list in the system of FIG.

Claims

An image pickup means, the image information obtained by the image pickup means an imaging server for sending distribution to the client via the network,
Set one plurality of different photographing directions can be changed rectangular area to be shipping video information the extent possible changes imaging direction of the imaging means, respectively the information and the rectangular regions for setting rectangular area storage means for storing information about the the corresponding IMAGING unit name,
Read from the storage means the information about the rectangular area corresponding to the notified imaging means name from the client, that can change the rectangular region based on those said read out information about the rectangular area imaging direction of the imaging means An imaging server comprising: a control unit that is set as a range and controls the imaging unit within a range in which the imaging direction can be changed .

The storage means includes an identification number as information relating to the imaging means name and a range of pan angle and tilt angle of the imaging means as information relating to the rectangular area corresponding to each of the plurality of different rectangular areas. The imaging server according to claim 1, wherein information to be stored is stored.

Wherein the storage means further imaging server of claim second term information indicating a change range of the zoom magnification that corresponds to each of the plurality of rectangular regions, characterized in that it is stored.

The control means includes means for prohibiting delivery of video information obtained by the imaging means while the imaging direction of the imaging means is being changed in order to switch virtual imaging means. The imaging server described in 1.

A client connected to the imaging server according to claim 1,
Notification means for notifying the imaging server of information specifying the imaging means name;
Display means for displaying video delivered from the imaging server;
A client comprising: an imaging direction change instructing unit that changes an imaging direction of an imaging unit corresponding to an imaging unit name notified by the notifying unit and instructs the server of the change result.

The client according to claim 5 , wherein the information regarding the imageable area is downloaded from the imaging server.

It has an imaging unit, an imaging system consisting of client receiving the image information of the image information obtained by the imaging unit from the imaging server and the imaging server for sending distribution over a network,
The imaging server is
Set one plurality of different photographing directions can be changed rectangular area to be shipping video information the extent possible changes imaging direction of the imaging means, respectively the information and the rectangular regions for setting rectangular area storage means for storing information about the the corresponding imaging device name,
Information relating to the rectangular area corresponding to the imaging means name notified from the client is read from the storage means, and the rectangular area is set as a range in which the imaging direction of the imaging means can be changed based on the read information relating to the rectangular area. Control means for setting and controlling the imaging means within a range in which the imaging direction can be changed ,
The client
A notification unit that notifies information specifying the previous SL an imaging unit name on the imaging server,
Display means for displaying video delivered from the imaging server;
Change the imaging direction of the imaging means corresponding to the notified imaging means name by prior Symbol notification means, Zoshi stem the change result Taking characterized in that it comprises an imaging direction change instructing means for instructing said server .

An image pickup means, the image information obtained by the imaging means A control method for an imaging server performing feed distribution to the client via the network,
Set one plurality of different imaging directions modifiable rectangular area to be shipping video information the extent possible modifications imaging direction of the imaging means, respectively the information and the rectangular regions for setting rectangular area a storage step of storing information about the the corresponding IMAGING unit name to memorize means,
Information relating to the rectangular area corresponding to the imaging means name notified from the client is read from the storage means, and the rectangular area is set as a range in which the imaging direction of the imaging means can be changed based on the read information relating to the rectangular area. set, the control method of Zosa over bar shooting, characterized in that it comprises a control step of controlling said image pickup means within the imaging direction can be changed.

By executing Mase read the computer to have a capturing means, there in a computer-readable storage medium which stores a program to function as an imaging server for sending distribution to the client via the network the image information obtained by said image pickup means And
In the computer,
Set one plurality of different photographing directions can be changed rectangular area to be shipping video information the extent possible changes imaging direction of the imaging means, respectively the information and the rectangular regions for setting rectangular area a storage procedure for storing information about the the corresponding IMAGING unit name in the storage means,
Information relating to the rectangular area corresponding to the imaging means name notified from the client is read from the storage means, and the rectangular area is defined as a range in which the imaging direction of the imaging means can be changed based on the read information relating to the rectangular area. A control procedure for setting and controlling the imaging means within a range in which the imaging direction can be changed ;
A computer-readable storage medium storing a program for executing the program .