WO2012035927A1

WO2012035927A1 - 遠隔映像監視システム

Info

Publication number: WO2012035927A1
Application number: PCT/JP2011/068757
Authority: WO
Inventors: 攻吉野
Original assignee: Hitachi Kokusai Electric Inc
Current assignee: Kokusai Denki Electric Inc
Priority date: 2010-09-14
Filing date: 2011-08-19
Publication date: 2012-03-22
Anticipated expiration: 2013-03-14
Also published as: JP2012065010A

Abstract

　従来は、検出した不審物体等の強調表示をカメラ映像に透過表示させた際に視認性が十分でなく、１つの表示画面に複数の映像をタイル状に並べて表示した際にカメラの実際の（地理的な）位置関係が分かり難く、さらに、使用するカメラに距離画像撮影可能なカメラを用いた場合にはそれらの映像或いは不審物体を検出する際に設定する検知領域を効果的に表示できないという問題があった。　本発明は、距離に応じて右眼用画像と左眼用画像の水平差距離を調整し、右眼用画像を表示するときは液晶シャッター眼鏡の左眼を閉じ、左眼用画像を表示するときは液晶シャッター眼鏡の右眼を閉じるように液晶シャッター眼鏡に赤外線信号を照射する。

Description

遠隔映像監視システム

　本発明はＣＣＴＶ（Closed Circuit Tel-Vision）システムに関わり、特に、パソコン（ＰＣ：Personal Computer）等のコンピュータを使用した監視端末の操作画面を３Ｄ（３次元）化するシステムに関する。

　従来、ＣＣＴＶシステム運用者は、パソコン等のコンピュータを使用したＣＣＴＶ操作画面では、遠隔に設置されたカメラからの映像、及びカメラの向き等を制御するためのＧＵＩ（Graphical User Interface）を、２次元（２Ｄ）的に表示し使用していた。
　本発明に関連する技術として、例えば、特許文献１には、モニタカメラの使用が不可能な状況、即ち、視覚の得られない現場においても、３次元立体処理されたコンピュータグラィックス画像を視覚によりリアルタイムに確認しながら、土木作業や建設作業を行うことが記載されている。
　また例えば、特許文献２や特許文献３には、本発明に関連する他の技術として、カメラで撮像した監視対象の映像モニタ表示に、３次元リアルタイムシミュレーションによる監視対象のグラフィック表示を併用し、前記監視対象のグラフィック表示による画像と、前記監視対象の映像モニタ表示による画像が同一の態様で表示されるように構成したことを特徴とするモニタ画像処理方法が記載されている。
　また、特許文献４には、操作部２のＭＰＵ２３は、記憶手段２５の３次元表示処理部２５ａａの手順にしたがって表示手段２１にカメラ１の方位を３次元で表わすカメラ画像を表示する遠隔操作カメラが記載されている。

特許第３８０９５４２号公報特開２００３－２７１９９３号公報特開平９－９１１０号公報特開２００３－１５８６６２号公報

　近年の３Ｄ液晶テレビ等の３Ｄ化普及を受けて、将来的にＣＣＴＶ操作画面を立体視化する要望が見込まれている。しかしながら、遠隔映像監視システムの基本性能としては、映像の解像度や同時表示数が重要であり、それらを犠牲にして、全ての映像を３Ｄ撮影可能な監視カメラで撮影して立体視を提供することは、あまり現実的ではない。一方で、従来の遠隔映像監視システムは、それらを操作、閲覧、或いは初期設定する上で、取り扱いが難しい部分が多々あり、改良が望まれていた。例えば、その１つとして、カメラ制御ＧＵＩ、各種アラーム、或いは画像処理で検出した不審物体等の強調表示を、カメラ映像に透過表示させた際に、それらが元のカメラ映像に溶け込んでしまい、視認性が十分でないという問題があった。また、１つの表示画面に複数のカメラからの映像をタイル状に並べて表示した際に、カメラの実際の（地理的な）位置関係が分かり難いといった問題があった。またさらに、使用するカメラの一部に距離画像撮影可能なカメラを用いた場合、それらの映像或いは不審物体を検出する際に設定する検知領域を効果的に（立体視可能に）表示することができないという問題があった。
　本発明は、３Ｄ表示装置に、右目用画像と左目用画像を表示し、両眼視差或いは輻輳を利用してＣＣＴＶ操作画面の立体視（３Ｄ）を可能とし、操作性を向上させることを目的とする。

　上記の目的を達成するために、本発明の遠隔映像監視システムは、監視視野内を撮像する複数のカメラと、前記複数のカメラが撮像した画像を符号化してネットワークに出力するエンコーダと、前記エンコーダの出力画像を前記ネットワークを介して受信し、受信した前記画像を表示するモニタを有する操作端末とを備えた遠隔映像監視システムであって、前記操作端末は、前記モニタに前記受信した前記画像を３次元表示するソフトウェア手段と、液晶シャッター眼鏡に赤外線信号を送信する赤外線通信端末を有し、前記ソフトウェア手段は、右眼用画像を表示するときは液晶シャッター眼鏡の左眼を閉じ、左眼用画像を表示するときは液晶シャッター眼鏡の右眼を閉じるように液晶シャッター眼鏡に赤外線信号を送信するものである。
　また、上記発明の遠隔映像監視システムにおいて、前記ソフトウェア手段は、距離に応じて右眼用画像と左眼用画像の水平差距離を調整して前記モニタに画像を表示することを特徴とする。

　本発明によれば、ＣＣＴＶ操作画面を３Ｄ化し立体的に見ることができ、運用者等にＣＣＴＶ操作画面の奥行感／臨場感を提供できる。またＣＣＴＶシステム等における人が立ち入ることのできない災害現場や事故現場等の監視では、ＣＣＴＶ操作画面に表示される画像に、奥行が表現できるので、災害現場や事故現場等での距離感も提供することでき、運用者等はより迅速な対応或いは処置の指示等を行うことが可能となる。

本発明の遠隔映像監視システムの一実施例の構成を示すブロック図である。液晶シャッター方式の立体視の原理を説明するための図である。本発明の遠隔映像監視システムの一実施例の構成を示すブロック図である。本発明における操作端末４０の操作画面の一実施例を示す図である。本発明における操作端末４０の画像処理部４３の一実施例の構成を示すブロック図である。

　本発明では、立体視（３Ｄ）の方式としてはさまざまものがあるが、液晶シャッター方式の場合で説明する。
　ＣＣＴＶ操作画面用のディスプレイに「右目用画像」「左目用画像」を交互に映し、右目用画像のときは、運用者の３Ｄ眼鏡の左目を液晶シャッターで閉じることで、右目だけに右目用の画像を表示させ、左目用画像のときは、左目だけに左目用の画像を表示させる。
　ＣＣＴＶ操作画面ソフトウェアでは、右目用画像と左目用画像を作り、右目用画像と左目用画像を左右にずらして表示させる。右目用画像と左目用画像の差が大きいほど、立体的（近く）に見えるため、この差の値は調整可能とする。
　また、３Ｄ眼鏡の液晶シャッターと右目用画像／左目用画像の表示は同期させる必要がある。液晶ディスプレイ側には赤外線等の発信器を使用し、３Ｄ眼鏡にて同期信号を受信し、同期させる。
　以上のことより、ＣＣＴＶ操作画面にて表示される右目用画像／左目用画像を液晶シャッター眼鏡を掛けて見ることにより、立体視（３Ｄ）化が可能となる。

　以下、本発明の一実施例を図１と図２によって説明する。図１は、本発明の実施例１に係る遠隔映像監視システムの構成を示すブロック図である。１はＣＣＴＶカメラ、２はエンコーダ、３はＩＰネットワーク、４はＣＣＴＶ操作画面を備える操作端末、５は赤外線等発信器、６は赤外線等の同期信号、７は液晶シャッター眼鏡である。ＣＣＴＶカメラ１及びエンコーダ２は、夫々複数備えられることもある。本発明の遠隔映像監視システムは、ＣＣＴＶカメラ１、エンコーダ２、及び操作端末４で構成される。

　図１において、操作端末４は、ハードウェアとしては、一般的なパソコンであるが、ＣＣＴＶ操作画面ソフトウェアが導入されている。ＣＣＴＶ操作画面ソフトウェアは、右目用画像と左目用画像を作り、交互に表示させる機能を有する。右目用画像と左目用画像の表示は、液晶シャッター眼鏡７と同期させる必要がある。このため、赤外線等発信器５は、赤外線等による同期信号６を発信する。液晶シャッター眼鏡７では、赤外線等発信器５から発信された同期信号６を受信し、ＣＣＴＶ操作画面４で表示された右目用画像と左目用画像の表示と同期させる（液晶シャッター眼鏡７の赤外線受信部及びシャッター機構は、公知の技術であり、図示しない。）。

　図２は、液晶シャッター方式の立体視の原理を説明するための図である。図１と同一のものには同一の符号をつけ説明を省く。２１は操作端末４のＣＣＴＶ操作画面、２２は液晶シャッター眼鏡７を装着した視聴者、２３は視聴者２２の右眼、２４は視聴者２２の左眼、２５は右眼用画像、２６は左眼用画像、２７は右眼用画像２５と左眼用画像２６の間の距離、２８は視聴者２２が立体で見える場所である。
　図２において、ＣＣＴＶ操作画面２１には、右目用画像２５と左目用画像２６を作り、時間的に交互に表示させ（例えば、１フィールド毎、或いは１フレーム毎）、視聴者２２が液晶シャッター眼鏡７で右目用画像２５が表示されているときには左目を閉じ、左目用画像２６が表示されているのときには右目を閉じることで、右目用画像２５と左目用画像２６のクロスした点２８において、立体的に画像をみることができるものである。
　右目用画像２５と左目用画像２６の水平距離２７が広がるほど画像が近くに見える。

　図３及び図４によって、本発明の実施例２を説明する。図３は、本発明の実施例２に係る遠隔映像監視システムの構成を示すブロック図である。１－１～１－４はＣＣＴＶカメラ、２－１～２－４はエンコーダ、４０は操作端末である。他の構成は、図１と同様であるので説明を省略する。また、操作端末４０において、４１は少なくとも１２０ＫＨｚのフレームレートで操作画面４０１を表示可能な液晶ディスプレー、４２は操作手段としてのマウス、４３は画像処理部、４４はＩＰネットワーク３を介して、エンコーダ２－１～２－４と通信する通信部、４５はＣＣＴＶ操作画面ソフトソフトウェアを実行するためのＣＰＵ及びメモリ等からなるソフトソフトウェア実行手段である。

　図４は、本実施例２における操作端末４０の操作画面の一実施例を示す図である。本例では、ＣＣＴＶ操作画面４１は４等分され、夫々の画面領域４１－１～４１－４に４台のＣＣＴＶカメラ１－１～１－４からの映像１１－１～１１－４がそれぞれ表示される。またマウス４２のポインタ４２ａも表示され、ポインタ４２ａを含んでいる画面領域４１－３は自動的に選択状態となり、その画面領域４１－３にはカメラ操作ボタン４６ａ～４６ｈが表示される。
　カメラ操作ボタン４６ａ～４６ｈは、選択状態の領域（長方形）の４隅及び上下左右に夫々配置され、マウス４２で押されたときにそのボタンに対応する方向にカメラの撮影方向を変化させる。また、ＣＣＴＶカメラ１－１の付近に設置されエンコーダ２－１に接続されたセンサー９－１（図示せず）が反応し、通信部４４がその信号を受信したことによって、該当する画面領域４１－１に、「アラーム発生」というアラーム表示４７が表示される。
　このアラーム表示４７をマウス４２で押すと、アラームの詳細が表示される。

　実施例２の特徴として、ＣＣＴＶカメラ１－１～１－４の映像１１－１～１１－４は、立体視化せず、ポインタ４２ａ、カメラ操作ボタン４６ａ～４６ｈ、アラーム表示４７等のＧＵＩ部品のみ、立体視化を行う、つまり右目用画像と左目用画像とで異なる映像を用意するものである。

　図５は、本実施例２における操作端末４０の画像処理部４３の一実施例の構成を示すブロック図である。画像処理部４３は、フレームバッファ４３１ａ，４３１ｂと、グラフィックコントローラ４３２と、ＨＤＭＩインタフェース４３３とを有する。
　フレームバッファ４３１ａ，４３１ｂは、次に表示すべき右目用画像と左目用画像をそれぞれ保持するメモリである。ＨＤＭＩインタフェース４３３は、フレームバッファ４３１ａ，４３１ｂから右目用画像及び左目用画像を交互に読み出して液晶ディスプレー４１に向けて出力する。好ましくは、ＨＤＭＩ　ｖｅｒ．１．４に規定された３Ｄ映像信号のフォーマットで出力する。
　グラフィックコントローラ４３２は、複数のレイヤ映像及びテクスチャ画像（以下、映像等という）を格納するメモリ５１と、ＣＣＴＶ操作画面ソフトウェア等から出力される映像１１－１～１１－４等を高速に取り込んで、メモリ５１等に転送するビットブリット部５２と、ビットブリット（Bitlit）部５２に取り込まれた映像を縮小して任意のレイヤに書き込むスケーリング・フィルタ部５３と、複数のレイヤの映像等からＡＮＤ，ＯＲ、透過等の合成処理を行いフレームバッファ４３１ａ，４３１ｂに書き出すマルチレイヤ合成部５４と、テクスチャオブジェクトを任意の奥行きの平面に描画（テクスチャマッピング）する３Ｄ描画部５５とを備える。また、より好ましくは、テクスチャオブジェクトとして任意の奥行きの平面に描画するテクスチャマッピング部（図示しない）や、ＭＰＥＧハードウェアデコータ５６や、線や面の描画を行う２Ｄ描画部（図示しない）を備える。

　次に本実施例２におけるＣＣＴＶ操作画面ソフトウェア４５の特徴的な動作を説明する。
　本例ではメモリ５１はレイヤ３つ分を保持可能とし、第１レイヤは非立体視の映像等に、第２レイヤは立体視における右目用画像に、第３レイヤは立体視における左目用画像に夫々用いる。そしてマルチレイヤ合成部５４は、第１レイヤと第２レイヤを合成してフレームバッファ４３１ａに書き込み、第１レイヤと第３レイヤを合成してフレームバッファ４３１ｂに書き込む動作をする。
　ＣＣＴＶ操作画面ソフトウェア４５は、映像１１－１～１１－４を画像処理部４３のグラフィックコントローラ４３２に出力すると共にそれらの画面上での表示位置情報及び縮小率を指定する。表示位置情報は、画面上の上下左右のほか、奥ゆき方向の位置（Ｚ値）を含み、立体視をしない場合はＺ値に０を指定する。グラフィックコントローラ４３２は、Ｚ値に０が指定されて出力された映像１１－１～１１－４を、指定された表示位置及び縮小率でもって第１レイヤに書き込む。

　ＣＣＴＶ操作画面ソフトウェア４５は、ＧＵＩ部品が液晶ディスプレー４１から飛び出して見えるようにするため、ＧＵＩ部品の画像データ（テクスチャ）及びＺ値が０でない表示位置情報をグラフィックコントローラ４３２に出力する。このときの画像データとしては、輪郭が明瞭なものを用い、Ｚ値としては、手前側を負とすると、複数のＧＵＩ部品（例えば、ポインタ４２ａと、ポインタ４２ａで操作可能な全ＧＵＩ部品）に共通の負の値を用いる。
　グラフィックコントローラ４３２は、ＧＵＩ部品の画像データを、第２レイヤと第３レイヤとに、Ｚ値から一意に決まる左右方向ズレ量を与えて描画する。
　このように、固定のズレ量を与えるだけなので、視覚で感じられる奥ゆき（飛び出し）量が、画面の中央部と辺縁部で若干異なるが、特に問題にはならない。

　本実施例２によれば、一般的なグラフィックコントローラを用いても処理量を大きく増加させること無く、ＧＵＩ部品の立体視を行うことができ、それら部品の視認性を向上させることができる。また液晶シャッター眼鏡を装着していない人にとっても、ＣＣＴＶカメラの映像が２重に見えることは無く、監視業務に影響がない。

　本実施例３では、実施例２に加えて、液晶ディスプレー４１を４分割又はそれ以上（９、１６、…）に分割して、複数のカメラからの映像をタイル状に並べて表示する際に、各映像に異なる奥行き量を与えて立体視可能に表示するものである。
　各映像に異なる奥行き量としては、ＣＣＴＶ操作端末４０が設置されている場所から、各カメラ１－１～１－４の実際の（地理的な）位置までの距離に応じた量を与えれば、距離が遠いほど映像が視覚的にも遠くに（奥行きがあるように）見せることが出来る。また、映像を取得してからの経過時間に応じた量を与えれば、時間が経つほど映像が遠ざかっていくように見せることが出来る。また映像に与えられる各種のランク（重要度、アラーム発生頻度等）に応じた量を与えれば、注目すべき映像ほど手前に見せる事ができる。

　上述の実施例１～実施例３によれば、ＣＣＴＶ操作画面を３Ｄ化し立体的に見ることができ、運用者等にＣＣＴＶ操作画面の奥行感／臨場感を提供できる。またＣＣＴＶシステム等における人が立ち入ることのできない災害現場・事故現場等の監視では、ＣＣＴＶ操作画面に表示される画像に、奥行が表現できるので、災害現場・事故現場等の監視において、災害現場・事故現場等までの距離感も提供することでき、運用者等はより迅速な対応・処置の指示等を行うことが可能となる。

　本発明は、人が、３次元表示装置に表示される画像を、何らかの操作等を伴って（インタラクティブに）閲覧するシステムに適用でき、（ビデオ・オン・デマンドが利用可能な）家庭用テレビ、テレビ会議システム、工業用画像検査装置等にも利用できる。

　１、１－１～１－４：ＣＣＴＶカメラ、　２、２－１～２－４：エンコーダ、　３：ＩＰネットワーク、　４：操作端末、　５：赤外線等発信器、　６：赤外線等の同期信号、
　７：液晶シャッター眼鏡（３Ｄ眼鏡）、　１１－１～１１－４：映像、　２１：ＣＣＴＶ操作画面、　２２：視聴者、　２３：右眼、　２４：左眼、　２５：右眼用画像、　２６：左眼用画像、　２７：右眼用画像と左眼用画像の間の距離、　２８：視聴者が立体で見える場所、　４０：操作端末、　４１：液晶ディスプレー、　４１－１～４１－４：画面領域、　４２：マウス、　４２ａ：ポインタ、　４３：画像処理部、　４４：通信部、
　４５：ソフトソフトウェア実行手段、　４６ａ～４６ｈ：カメラ操作ボタン、　４７：アラーム表示、　４３１ａ，４３１ｂ：フレームバッファ、　４３２：グラフィックコントローラ、　４３３：ＨＤＭＩインタフェース。

Claims

　監視視野内を撮像する複数のカメラと、前記複数のカメラが撮像した画像を符号化してネットワークに出力するエンコーダと、前記エンコーダの出力画像を前記ネットワークを介して受信し、受信した前記画像を表示するモニタを有する操作端末とを備えた遠隔映像監視システムであって、
　前記操作端末は、前記モニタに前記受信した前記画像を３次元表示するソフトウェア手段と、液晶シャッター眼鏡に赤外線信号を送信する赤外線通信端末を有し、
　前記ソフトウェア手段は、右眼用画像を表示するときは液晶シャッター眼鏡の左眼を閉じ、左眼用画像を表示するときは液晶シャッター眼鏡の右眼を閉じるように液晶シャッター眼鏡に赤外線信号を送信することを特徴とする遠隔映像監視システム。