JP2006033810A

JP2006033810A - 多重センサパノラマネットワークカメラ

Info

Publication number: JP2006033810A
Application number: JP2005169533A
Authority: JP
Inventors: Michael Kaplinsky; カプリンスキーマイケル
Original assignee: Arecont Vision LLC
Current assignee: Arecont Vision LLC
Priority date: 2004-07-14
Filing date: 2005-06-09
Publication date: 2006-02-02
Anticipated expiration: 2025-06-09
Also published as: JP4763351B2

Abstract

【課題】広い視野角を提供する多重センサネットワークカメラの実現。
【解決手段】本発明のカメラは、単一の筐体に取り付けられた、個別の光学系を有する多重イメージセンサ101と、１個以上の画像プロセッサ102と、圧縮ユニット103と、ネットワークインターフェース104とを備える。イメージセンサは非平行な面に配置され、累積してパノラマ的な視野を提供する。すべてのセンサからのイメージストリームは同一の画像圧縮及びネットワークハードウエアを共有する。好適な実施例では、すべてのセンサからの画像は、画像間引きにより実現される適当な帯域低減を伴って、パケット挟み込み（インターリーブ）を介して同時にネットワーク上に送信される。すべてのセンサからの間引かれた画像の同時送信、全解像度ウインドウ又は１個以上のセンサの全画像も送信され、内容の選択は動きの検出又はユーザ設定のいずれかに基づいて行われる。
【選択図】図１

Description

本発明の主題は、３６０度までの視野角を提供する多重センサネットワークカメラである。本発明で開示されたカメラは、単一の筐体に取り付けられた、個別の光学系を有する多重イメージセンサと、１個以上の画像プロセッサと、圧縮ユニットと、ネットワークインターフェースとを備える。好適な実施例では、イメージセンサが非平行な面に配置され、累積してパノラマ的な視野を提供する。好適な実施例では、すべてのセンサから発生されたイメージストリームは同一の画像圧縮及びネットワークハードウエアを共有し、低コストの構成を提供する。好適な実施例では、すべてのセンサからの画像は、画像間引きにより実現される適当な帯域低減を伴って、パケット挟み込み（インターリーブ）を介して同時にネットワーク上に送信される。本発明の実施例の１つでは、すべてのセンサからの間引かれた画像の同時送信、全解像度ウインドウ又は１個以上のセンサの全画像も送信され、内容の選択は動きの検出又はユーザ設定のいずれかに基づいて行われる。

本発明の好適な実施例は、ネットワークインターフェースの受信側に、コンピュータモニタに接続されたコンピュータを有する。このコンピュータは、画像の綴じ(stitching)を実行することにより複合パノラマ画像を生成するように構成された画像処理及び捕捉(acquisition)ソフトウエアを動作させる。この綴じは、パノラマカメラの異なるセンサにより撮影された画像から重なる画像を除去し及び複合パノラマ画像を合成するように構成されている。

図１は、多重センサパノラマネットワークカメラの主要素を示すブロック図である。本発明の主題は、個別の光学系を有する２個以上のイメージセンサ（１０１）と、１個以上の画像プロセッサと、画像をカメラ外に送信するネットワークインターフェース（１０４）とを備える多重センサネットワークカメラであり、そして多重センサネットワークカメラは、一時的画像記憶のための１つ以上のメモリを備えてもよい。イメージセンサは、カメラの累積視野を増加させるように非平行な面に配置される。画像プロセッサは、イメージセンサの制御、カラー処理及び画像圧縮を提供し、すべてのイメージセンサに共通の少なくとも１つの画像処理モジュール（１０３）を含む。このすべてのイメージセンサに共通の画像処理モジュールは、カメラから出力されるデータストリームの選択／多重化(multiplexing)を提供し、画像圧縮エンジンも備える。

図２及び図３は、多重センサパノラマネットワークカメラ内のイメージセンサの配置の例を示す。本発明の好適な実施例では、３個以上のイメージセンサ（２０５）が、カメラ位置を中心とする少なくとも１つの円周に沿って、累積して３６０度の視野を提供するように配置されている（２０１及び２０２）。本発明の他の実施例では、２個以上のイメージセンサ（２０４）が、カメラ位置を中心とする少なくとも円周に沿って、累積して１８０度の視野を提供するように配置されている（２０３）。本発明の更に他の実施例では、カメラを中心とする少なくとも１８０度の半円を完全にカバーする視野を累積して提供するように、センサはカメラの内側に取り付けられている（３０１から３０４）。図示の各場合においては、イメージセンサはそれぞれ横に隣接しており、異なる角度において所望の視野を合わせてカバーする。

本発明の好適な実施例では、カメラは１つの画像処理／多重化モジュールを含み、このモジュールは、多重センサからの画像を時間挟み込み（インターリーブ）で間引き又は圧縮して、ネットワークインターフェース又はボード上の画像メモリバッファ内のバッファに画像を提供する。本発明の好適な実施例では、カメラはいくつかのセンサからの間引いた画像と他のセンサからの全解像度画像の画像をネットワークインターフェースに送信し、画像処理モジュールは、圧縮する前に１個以上のイメージセンサからの画像を間引き、他の１個以上のイメージセンサからの全解像度の画像又は画像の部分／ウインドウを圧縮する。

本発明の好適な実施例では、イメージセンサは高解像度のＣＭＯＳイメージセンサである。本発明の他の例では、多重画像処理ユニットが画像圧縮を実行し、各画像圧縮ユニットはカメラにおいて１個のイメージセンサからの画像を圧縮するように構成される。後者の例では、すべてのイメージセンサに共通の画像プロセッサが、圧縮された画像ストリームのカメラのネットワークインターフェースへの選択／多重化の機能を実行するように設けられる。

本発明の１つの実施例では、画像処理ユニットは動き検出と追跡(tracking)機能を備えており、画像処理ユニットは１個のイメージセンサの視野内に存在し、他のイメージセンサの視野内に入る移動目標を特定できる。この実施例では、カメラは、間引いていない選択された移動目標を中心とする画像ウインドウをネットワークインターフェースに送信し、カメラ内のいくつかの又はすべてのセンサからの間引かれた又は間引かれていない画像を時間挟み込みの方法で送信する。時間挟み込みは、フレームごと又はパケットごとに行われる。本発明の更に別の実施例では、ネットワークインターフェースを介してカメラ外に送信される画像ストリームの選択は、ユーザにより実行され、この選択はネットワークインターフェースを介してカメラに通信される。

本発明の好適な実施例のブロック図が図４に示される。本発明の好適な実施例では、多重センサパノラマネットワークカメラは、多重イメージセンサ（４０３）、画像バッファメモリ（４２０及び４２１）、ネットワークインターフェース（４２２及び４０７）及び低コストのマイクロプロセッサの制御の下で動作するＡＳＩＣ又はフィールドプログラマブルゲートアレイ（ＦＰＧＡｓ）（４０４）とを備える。ＡＳＩＣ又はＦＰＧＡｓは、まとまって並列である画像処理パイプラインの形で、画像プリプロセッサ（４０１）及びポストプロセッサ（４０２）を実現する。パイプラインは、画像の画素における時間律速動作を実行する。画像の画素の流れはパイプラインのステージの順番に動作され、各パイプラインステージは、他のパイプラインステージのすべて又は大部分と並列に動作する。マイクロプロセッサは、画像処理パイプラインの動作を制御し、ネットワーク初期化動作を実行し、自動露光、ホワイトバランス、画像ストリーム多重化及びプロトコルレベルのネットワークインターフェース演算に関係する（フレームごとに１回実行される）相対的に遅い動作を制御すると共にカメラに対するユーザインターフェースを構成するレジスタ空間を維持する。

本発明の好適な実施例では、各イメージセンサの出力は、イメージセンサに関係する画像プリプロセッサで処理される。本発明の好適な実施例では、画像プリプロセッサは、二次元処理のための多重ラインメモリバッファ（４０８）と、画素あたり１色のBayer（バイエル）画素アレイを画素あたり３色のストリームにする画像補間ブロック（４０９）と、ハイパスフィルタ及びローパスフィルタを画像に適用することにより画像鮮鋭化及び低照明の信号対雑音（Ｓ／Ｎ）比の改善を行うブロック（４１０）と、３×３のカラー補正マトリクスによりＲＧＢ画素成分の乗算を行うカラー補正ブロック（４１１）と、ＲＧＢからＹＵＶへの変換ブロック（４１２及び４１４）と、ルックアップテーブルとして実現されるガンマ補正ブロック（４１６）と、自動露光（ＡＥ）及び自動ホワイトバランス（ＡＷＢ）アルゴリズムに必要な画像の明るさ統計及びカラー統計を収集する自動露光（ＡＥ）測定エンジン（４１８）及び自動ホワイトバランス（ＡＷＢ）測定エンジン（４１９）と、少なくとも２個のフレームバッファ（４２０及び４２１）と、処理済み及び到来するフレームのピンポンバッファリングの組み立てのための関係するメモリアクセスコントローラ（４１７）とを備える画像処理パイプラインとして実現される。

本発明の好適な実施例では、画像プリプロセッサの出力を記憶する画像バッファは、単一の画像多重化器（マルチプレクサ:multiplexer)及び間引きブロック（４２９）に接続される。このブロックは交互に画像ポストプロセッサ（４０２）に接続される。

本発明の他の例では、すべてのイメージセンサは、単一の画像プリプロセッサに交互に接続される単一の画像ストリームマルチプレクサ及び間引き器に接続され、そして画像プリプロセッサは単一のポストプロセッサに接続される。この実施例は、資源の共有により、本発明を低コストで構成するのを可能にするが、一般的に前述の好適な実施例より全体の画像処理及び送信帯域を低下させる。

本発明の好適な実施例では、ポストプロセッサ（４０２）は、パイプライン化されたＪＰＥＧ画像圧縮及びネットワークパケット発生モジュールを備える。

本発明の好適な実施例では、パイプライン化されたＪＰＥＧ画像圧縮及びネットワークパケット発生モジュールを備える。

本発明の好適な実施例では、ＪＰＥＧ圧縮のパイプライン化した構成は、ＭＣＵフォーメーション及びバッファリングを実行するブロック（４２８）と、ファワードディスクリート余弦（コサイン）変換(Forward Discrete Cosine Transform :FDCT)（４２７）と、ジグザグ走査及び量子化（４２６）と、エントロピィコード化（４２５）とを実行するブロックを含む。本発明の好適な実施例では、二次元ＦＤＣＴは、ＦＤＣＴは分離した変換が可能であるということを利用して、一次元のＦＤＣＴ変換を通過する２つの経路として実現される。

本発明の更に別の例では、ＪＰＥＧ２０００又はＭＰＥＧのようなより効果的な画像圧縮で、基本となるＪＰＥＧ構成を置き換えることができる。

本発明の好適な実施例では、（ＲＦＣ７８３に記載されているTrivial File Transfer Protocol）ＴＦＴＰの変形バージョンが画像送信の主モードとして構成されており、ＴＦＴＰプロトコルヘッダは、マイクロプロセッサ（４０５）により送信パケットバッファ（４２２）に形成及び記録され、ＴＦＴＰのデータフィールド、すなわち画像データは対応するチェックサムと一緒に画像処理パイプライン（４２３）の出力ステージにより形成される。

本発明の好適な実施例では、画像圧縮に引き続いて、画像ストリームが３つのネットワークパケットバッファの１つに記憶される。これらのバッファは、１つのバッファがＭＡＣ(Media Access Control)イーサネット（登録商標）インターフェース（４０７）に現在送られているパケットを含み、１つのバッファは次に送られるパッケトを含み、１つのバッファは画像圧縮モジュールからの圧縮されたデータの記憶ができる。この三重にバッファされた配置は、送信可能なパッケトが常時存在することを保証し、これにより利用可能なネットワークの帯域幅を最大限に利用することを可能にし、ネットワークエラーの発生における再送信を容易にする。

本発明の好適な実施例では、画像処理パイプライン及びイーサネット（登録商標）ＭＡＣ及びＰＨＹハードウエアとインターフェースされたマイクロプロセッサは、所定数のネットワークプロトコルをサポートするのにも使用される。好適な実施例では、構成の全体的な複雑さを低減するため、ＵＤＰ、ＴＦＴＰ、ＡＲＰ、ＩＰ、及びＩＣＭＰプロトコルを構成する最小のプロトコルの組がサポートされている。

本発明の他の実施例では、ＴＣＰ／ＩＰ及びＤＨＣＰプロトコルもサポートされている。

好適な実施例では、本発明は、ネットワークインターフェースの受信側に、コンピュータモニタに接続されたコンピュータ（１０６）を有する。このコンピュータは、画像の綴じ(stitching)を実行することにより複合パノラマ画像を生成するように構成された画像処理及び捕捉(acquisition)ソフトウエアを動作させる。この綴じは、パノラマカメラの異なるセンサにより撮影された画像から重なる画像を除去し及び複合パノラマ画像を合成するように構成されている。本発明の好適な実施例では、パノラマカメラの個別のセンサからの画像は、間引き（解像度低下）モードで、ネットワーク上に送信される。多重センサパノラマカメラから得られた多重画像のコンピュータ又は他のモニター上に表示される単一の複合画像としての可視化は図５に示される。

本発明の好適な実施例では、パノラマネットワークカメラは、間引き画像及び全解像度画像の両方及び画像の一部（ウインドウ）を出力するように構成されている。好適な実施例では、コンピュータソフトウエアは、全解像度画像又は部分画像をモニタに表示するようにも構成され、これによりパノラマ画像の瞬時の電子的なズーム及び検査が可能になる。

図６は、完全に領域をカバーする多重カメラ監視システムにおけるパノラマカメラの可能な取り付け配置を示す。この実施例では、カメラに取り付けられるすべてのイメージセンサは、高解像度のＣＭＯＳイメージセンサである。

図１は、パノラマネットワークカメラシステムのブロック図を示す。図２は、多重センサパノラマネットワークカメラシステムのヘッド設計を示す。図３は、パノラマネットワークカメラの断面を示す。図４は、多重センサパノラマネットワークカメラのブロック図を示す。図５は、多重センサパノラマネットワークカメラからの画像の送信及び可視化を示す。図６は、監視下の領域を完全にカバーする多重センサカメラ監視システムにおけるパノラマカメラの取り付け配置を示す。

Claims

焦点面が互いにある角度で配置された２個以上のイメージセンサと、前記イメージセンサにより発生された画像データストリームのカメラ外への送信のためのネットワークインターフェースと、前記画像データストリームの前記ネットワークインターフェースへの多重化手段とを備える多重センサネットワークカメラ。
前記イメージセンサのそれぞれは、個別の光学系又はレンズを有する請求項１に記載の多重センサネットワークカメラ。
前記イメージセンサは、前記カメラの位置を中心とした少なくとも１つの円周に沿って累積して３６０度の視野を提供するように非平行に配置されている請求項１に記載の多重センサネットワークカメラ。
前記イメージセンサは、前記カメラの位置を中心とした少なくとも１８０度の半円を完全にカバーするように、累積した視野を提供するように配置されている請求項１に記載の多重センサネットワークカメラ。
前記ネットワークインターフェースは、イーサネット（登録商標）ネットワークインターフェース(Ethernet（登録商標） network interface)である請求項１に記載の多重センサネットワークカメラ。
前記ネットワークインターフェースは、ＴＣＰ、ＵＤＰ、ＴＦＴＰ、ＩＰの標準ネットワークプロトコルの１つ以上をサポートしている請求項１に記載の多重センサネットワークカメラ。
前記画像データストリームの多重化は、時間挟み込みにより実行され、前記イメージセンサの１つからのデータストリームのある部分の送信は、他のイメージセンサからのデータストリームのある部分の送信に続いて行われる請求項１に記載の多重センサネットワークカメラ。
前記画像データストリームの多重化手段は、カメラ外に送信される画像データストリームの選択が外部入力から制御可能であるように構成されている請求項１に記載の多重センサネットワークカメラ。
前記イメージセンサは、１００万画素を超える解像度のＣＭＯＳイメージセンサである請求項１に記載の多重センサネットワークカメラ。
焦点面が互いにある角度で配置された２個以上のイメージセンサと、前記イメージセンサにより発生された画像データストリームのカメラ外への送信のためのネットワークインターフェースと、前記画像データストリームの前記ネットワークインターフェースへの多重化手段と、前記イメージセンサからの画像を間引き及び圧縮するように設けられた１つ以上の画像プロセッサとを備える多重センサネットワークカメラ。
前記イメージセンサからの前記イメージデータストリームは、最終的に画像圧縮を実行するように設けられた単一画像プロセッサに多重化される請求項１０に記載の多重センサネットワークカメラ。
前記画像プロセッサは、画像プリプロセッサを更に備え、前記画像プリプロセッサは、前記イメージセンサの制御及びカラー処理を実行する請求項１０に記載の多重センサネットワークカメラ。
前記イメージセンサのそれぞれからの前記イメージデータストリームは、最初に個別の画像プリプロセッサにより処理され、次にすべての前記イメージセンサに共通な画像ポストプロセッサに多重化される請求項１０に記載の多重センサネットワークカメラ。
前記イメージセンサは、画像処理パイプラインを構成する論理回路を備え、前記画像処理パイプラインは、画像の異なる部分に対する処理を並列に実行して、ある画像処理動作から次の動作へ画像情報を受け渡す請求項１０に記載の多重センサネットワークカメラ。
前記データストリーム及び前記画像プロセッサの多重化手段は、いくつかの前記イメージセンサからの画像及びいくつかの残りのイメージセンサからの画像の全解像度の画像又は部分画像を前記ネットワークインターフェース上に送信するように構成されている請求項１０に記載の多重センサネットワークカメラ。
前記画像圧縮は、個別の余弦（コサイン）変換に基づくアルゴリズムを使用する請求項１０に記載の多重センサネットワークカメラ。
前記画像圧縮は、ウェーブレット変換に基づくアルゴリズムを使用する請求項１０に記載の多重センサネットワークカメラ。
前記画像圧縮はＭＰＥＧである請求項１０に記載の多重センサネットワークカメラ。
前記イメージプロセッサは、前記イメージセンサの視野内の物体の動きを検出する請求項１０に記載の多重センサネットワークカメラ。
前記イメージプロセッサ及び前記イメージセンサからのデータストリームを多重化する手段は、もし前記イメージセンサの視野内に移動物体が検出されるならば全解像度の画像を、もし前記イメージセンサの視野内に移動物体が検出されないならば間引いた画像を、前記ネットワークインターフェースに供給する請求項１０に記載の多重センサネットワークカメラ。
前記イメージセンサのそれぞれは、前に位置する個別の光学系又はレンズを有する請求項１０に記載の多重センサネットワークカメラ。
前記イメージセンサは、前記カメラの位置を中心とした少なくとも１つの円周に沿って累積して３６０度の視野を提供するように非平行に配置されている請求項１０に記載の多重センサネットワークカメラ。
前記イメージセンサは、前記カメラの位置を中心とした少なくとも１８０度の半円を完全にカバーするように、累積した視野を提供するように配置されている請求項１０に記載の多重センサネットワークカメラ。
前記ネットワークインターフェースは、イーサネット（登録商標）ネットワークインターフェース(Ethernet（登録商標） network interface)である請求項１０に記載の多重センサネットワークカメラ。
前記ネットワークインターフェースは、ＴＣＰ、ＵＤＰ、ＴＦＴＰ、ＩＰの標準ネットワークプロトコルの１つ以上をサポートしている請求項１０に記載の多重センサネットワークカメラ。
前記画像データストリームの多重化は、時間挟み込みにより実行され、前記イメージセンサの１つからのデータストリームのある部分の送信は、他のイメージセンサからのデータストリームのある部分の送信に続いて行われる請求項１０に記載の多重センサネットワークカメラ。
前記画像データストリームの多重化手段は、カメラ外に送信される画像データストリームの選択が外部入力から制御可能であるように構成されている請求項１０に記載の多重センサネットワークカメラ。
焦点面が互いにある角度で配置された２個以上のイメージセンサと、前記イメージセンサにより発生された画像データストリームのカメラ外への送信のためのネットワークインターフェースと、前記画像データストリームの前記ネットワークインターフェースへの多重化手段とを備える多重センサネットワークカメラと、
前記画像を受け、ソフトウエアが動作するコンピュータシステムとを備え、
前記ソフトウエアは、前記カメラの前記イメージセンサから受け取った画像を１つの複合画像に結び付けるように構成されているカメラシステム。
前記画像の結び付けは、異なる画像に共通な重なりを除去し、前記多重センサネットワークカメラから受け取った多重画像から複合パノラマ画像を組み立てる請求項２８に記載のカメラシステム。