JP2006165664A - 画像送受信システム - Google Patents

Abstract

【課題】限られた通信帯域で、撮影画角画像と広角画像の２つのストリームを送受信するのに適した画像送受信システムを提供すること。
【解決手段】第１の範囲の画像を撮影し符号化して送信する第１の画像送信手段と、前記第１の範囲を含むより広い第２の範囲の画像を撮影し符号化して送信する第２の画像送信手段とを持つカメラ部と、前記カメラから送信される画像を受信する受信手段と、受信した画像を複合化し表示する画像表示手段とを持つビューワ部と、から構成される画像送受信システムにおいて、前記第１の画像は、前記第２の画像の範囲に該当する画像データを削除する範囲削除手段によって、画像データの一部が削除された状態で送信が行われ、前記ビューワは、前記範囲削除手段によってデータが削除された第１の画像の該当範囲に合わせて前記第２の画像を縮小して合成する合成手段を持つことを特徴とする。
【選択図】図１

Description

本発明は、ネットワークに接続されたカメラの画像を遠隔地から監視したり撮影することが可能なネットワークカメラにおける画像データの伝送方式に関するものである。

従来、ネットワークに接続されたカメラを遠隔地から操作し撮影する場合、カメラが設置されている場所が離れていて被写体の周囲の状況を直接見ることができないため、リモート制御によるパンニング操作などで被写体を探したり追尾することが困難であった。これを解決するために、撮影のための画像画角に加えて、その周囲の画像を見るための広角画像を同時配信するようなカメラも実現されている（例えば、特許文献１，２参照）。

特開２０００−０３２３１９号公報（第５頁、図１） 特開２０００−３４１５７４号公報（第５頁、図３）

撮影画角画像と広角画像の２つのストリームを配信するネットワークカメラから構成されるシステムにおいては、２つのストリームを同時に配信した場合、ネットワーク上を流れるデータ量が増加するので、限られた通信帯域で伝送するのが困難になってしまうという課題がある。

しかしながら、上記従来例では、広角の画像とズームの画像で、同じエリアに相当する部分も各々送信しているため、冗長度が高く、通信量の増加を招いているという問題がある。

本発明は上記技術的課題に鑑みてなされたもので、その目的は、送受信するデータの冗長度を減らすことにより、限られた通信帯域で、撮影画角画像と広角画像の２つのストリームを送受信するのに適した画像送受信システムを提供することである。

上記目的を達成するために、請求項１の画像送受信システムでは、カメラ部は、広角画像のデータうち、撮影画像の画角相当のエリア内のデータを削除する手段を持ち、画像の一部が削除された状態で送信を行い、ビューワ側では、受信した広角画像のうち、データが削除されたエリアに合致するよう、撮影画像のデータを縮小して合成し、表示する手段を持つ構成とした。

請求項２の画像送受信システムでは、広角画像の座標系で、撮影画像の画角に相当する座標を送信する手段を持つ構成とした。

請求項３の画像送受信システムでは、範囲削除手段の構成を、画像中にはあり得ない数値で範囲内を塗り潰すものとし、ビューワ側では、画像中にはあり得ない数値の範囲を検出する範囲検出し、検出された範囲に撮影画像を縮小して合成する構成とした。

請求項４の画像送受信システムでは、範囲削除手段の構成を、符号化する際の処理単位毎に、周囲の処理ブロック或は前フレームのブロックのデータを参照してコピーするものとし、符号化の際に動きベクトルで表現される構成とした。

請求項５の画像送受信システムでは、合成手段による合成の際、合成される境界線に沿って枠を合成して表示する枠合成手段を持つ構成とした。

請求項６の画像送受信システムでは、枠合成手段の構成を、範囲削除時に該当範囲内を枠の色で塗り潰し、合成時には、範囲内の周囲の枠幅を除いた部分に、撮影画像の縮小データを合成する構成とした。

本発明によれば、広角画像データのうち、撮影画像の画角相当分のデータを削除してから転送を行うため、データの冗長度が減り、撮影画角画像と広角画像の２つのストリームを送受信するの効率の良い画像送受信システムが実現される。

以下、図に基づいて本発明に係るネットワークカメラとビューワで構成されるシステムの実施形態を説明する。

＜実施の形態１＞
図１及び図２は本発明の実施の形態１に係る画像送受信システムの概略構成を示すブロック図である。図１はカメラ部の概略構成、図２はビューワ部の概略構成である。

先ず、図１のカメラ部について説明する。

レンズ群１００は、被写体像を光学的にＣＣＤ（光電変換素子）１０１へ投影するために複数枚のレンズで構成されている。ＣＣＤ１０１は、レンズ群１０２によって投影された撮影画像をするための素子であり、１９２０×１０８０ドットの画素数を持っている。ＣＣＤ１０１でアナログ電気信号に変換された画像は、ＣＤＳ１０２で相関二重サンプリングによるノイズ除去処理が行われ、Ａ／Ｄ変換回路１０３でデジタル信号に変換される。ＴＧ１０５は、ＣＣＤ１０１、ＣＤＳ１０２、ＡＤＣ１０３の処理タイミングを制御する信号を発生し、データの転送や電子シャッターを制御するタイミングジェネレーターである。

画像処理部１１０は、Ａ／Ｄ変換回路１０３より出力されたデジタル信号に対し、ガンマ変換、色空間変換、又、ホワイトバランス等の画像処理を行い、ＹＵＶ（４：２：２）フォーマットで１９２０×１０８０ドットのデジタル画像出力を行う。

画像処理部１１０で出力された画像は、画像切り出し部１２１と拡大処理部１２２から構成される拡大画像作成部１２０及び範囲削除処理部１３１とカメラ縮小処理部１３２で構成される広角画像作成部１３０の２つに渡される。

画像切り出し部１２１では６４０×４８０以下の矩形画像を切り出し、拡大処理部１２２で６４０×４８０に拡大される（デジタルズーム処理）。

範囲削除処理部１３１では、画像処理部１１０から送られてきた１９２０×１０８０画像のうち、画像切り出し部１２１で切り出した矩形画像と同じ範囲の画像を削除する。画像の削除は、範囲内の全ての画素を同じ色で塗り潰すことによって行う。その後、カメラ縮小処理部１３２で縦、横各々１／３の６４０×３６０のサイズに縮小される。

拡大画像作成部１２０及び広角画像作成部１３０で作成された各々の画像は、画像圧縮処理部１４０で圧縮処理部で圧縮処理が行われる。ここでの圧縮処理には、ＪＰＥＧ符号化が用いられる。範囲削除処理部１３１で同じ色で塗り潰すことによって削除された範囲は、直流成分のみで交流成分が無くなるため、この画像圧縮処理部１４０でのＪＰＥＧ圧縮処理による圧縮効率が高い。

画像圧縮処理部１４０で圧縮された広角画像及び拡大画像は、ネットワークインターフェース１５０を通じてビューワ部（図２）へ送信される。

ネットワークインターフェース１５０を通じた通信では、ビューワ部と、カメラ部との間のコマンド等の送受信も行われる。

又、拡大画像の切り出し位置と、拡大率がカメラ制御部１６０からネットワークインターフェース１５０を通じてビューワ部へ送信される。

次に、図２のビューワ部について説明する。

ネットワークインターフェース２００を通じてカメラ部から送信されてきた画像は、画像記憶手段２１０と、画像伸張処理手段２２０に送られる。

画像記憶手段２１０では、送られてきた画像のうち拡大画像のみを受け取り、連続して送られてくるＪＰＥＧ画像からＭｏｔｉｏｎＪＰＥＧフォーマットのデータを作成し保存する。

画像伸張処理部２２０では、送信されたＪＰＥＧ画像データを伸張し、拡大画像は拡大画像表示部２３０とビューワ縮小処理部２４０へ、は画像合成処理部２５０へ送る。

ビューワ縮小処理部２４０では、拡大画像を図１の拡大処理１２２の逆数で縮小して元のサイズに戻し、更に図１のカメラ縮小処理部１３２と同じ縮小率（縦、横１／３）で縮小し、送信された広角画像と同じサイズに合わせた後、画像合成処理部２５０へ送る。

画像合成処理部２５０では、広角画像の中の、カメラ部の範囲削除処理部１３１で削除された位置に、ビューワ縮小処理部２４０で拡大画像を縮小した画像を合成し、広角画像表示部２６０へ送る。この合成処理の際、合成される境界沿ってに枠を合成する。これは、広角画像中の拡大画像が占める位置を示すとともに、合成される境界が不自然になるのを隠す意味も持つ。枠の合成手段は、カメラ部の範囲削除処理部１３１で塗り潰す色を枠の色とし、合成処理の際に枠幅を残して合成することで実現しても良い。

拡大画像表示部２３０と広角画像表示部２６０へ送られた画像は、各々表示形式に変換され、表示器２７０へ送られて表示される。

ビューワ制御部２８０は、ネットワークインターフェース２００を通してカメラ部から送られてくる拡大画像の切り出し位置と、拡大率を元に、ビューワ縮小処理部２４０の縮小率、画像合成処理部２５０の合成位置の設定を行う。

又、ビューワ制御部２８０は、操作部２９０からパン、チルト、ズーム等の操作が指示されると、ネットワークインターフェース２００を通じてカメラ部にコマンドを送信する。

図３及び図４は図１及び図２の構成のカメラ部及びビューワ部で処理される画像データの処理例を示す図である。

図３はカメラ部の処理例を表し、画像処理部１１０から出力される１９２０×１０８０の画像が（ａ）、範囲削除処理部１３１によって画像の一部が削除された出力が（ｂ）、カメラ縮小処理部１３２によって６４０×３６０に縮小された画像が（ｃ）、拡大処理部１２２によって（ａ）の一部が６４０×４８０に拡大された画像が（ｄ）である。

図４はビューワ部の処理例を表し、画像伸張処理部２２０で伸張された広角画像及び拡大画像が（ｅ）と（ｆ）、画像合成処理２５１の出力が（ｇ），（ｆ）と（ｇ）が組み合わされて表示器２８０で表示される画像の例が（ｈ）である。

図５はカメラ部がビューワ部からパン、チルト、ズームのコマンドを受け取ったときの処理を示すフローチャートである。

カメラ部がコマンドを受け取ると、先ずズーム操作かどうか判定し（ステップＳ５００）、ズーム操作であれば拡大処理部１２２の設定を変更し（ステップＳ５１０）、パン、チルト、ズームの何れの場合にも、拡大画像の枠の位置を計算し（ステップＳ５２０）、範囲削除処理部１３１、画像切り出し部１２１の設定を変更する（ステップＳ５３０）。その後、枠の位置、拡大率をビューワ部に送信する（ステップＳ５４０）。

図６はカメラ部からビューワ部に枠の位置及び拡大率が送信されてきたときの処理を示すフローチャートである。

カメラ部の拡大率が変更されていた場合は（ステップＳ６００）、それに対応するようビューワ縮小処理部の設定を変更（ステップＳ６１０）した後、枠の位置の情報に合わせて画像合成処理２５１の設定を変更する（ステップＳ６２０）。

＜実施の形態２＞
実施の形態１では、合成位置を知らせるための情報を、カメラ制御部１６０からビューワ制御部２８０へネットワークインターフェース１５０，２００を通じて画像と別に明示的に送信していたが、本実施の形態では画像データだけ送信し、合成位置を知らせるための情報を別途送信する必要がないことを特徴とする。

本実施の形態を表す図は、図２以外は実施の形態１と共通のため図示しない。又、図７は実施の形態１の図２を変更した図である。

本実施の形態では、図１の範囲削除処理１３１での削除処理は、画像中にはあり得ない数値で範囲内を塗り潰すよう構成される。この画像中にはあり得ない数値とは、例えばＣＣＩＲ６０１で規定されている数値である輝度値が１６〜２３５、色差値が１６〜２４０の範囲を外れる数値であり、例えば輝度値、式差値共に０等といった数値である。

図７のビューワ部のブロック図では、実施の形態１の図２と比較して、合成位置検出部７００が追加されている。この合成位置検出部７００では、画像伸張処理部２２０から受け取った画像を検査し、画像中にはあり得ない数値を探し出し、合成位置の座標範囲を検出し、ビューワ制御部２００に送る。ビューワ制御部では、合成位置の座標範囲から縮小率も計算し、実施の形態１の図６同様な処理で、ビューワ縮小処理部２５０、画像合成処理部２５１の設定を行う。

以上の動作により、本実施の形態では、画像データだけ送信し、合成位置を知らせるための情報を別途送信する必要がないことを特徴とする。

＜実施の形態３＞
実施の形態１，２では、画像圧縮処理部１４０、画像伸張処理部２２０で画像データの圧縮に使われているのはＪＰＥＧであった。本実施の形態では、この画像の圧縮にＭＰＥＧ２又はＭＰＥＧ４等の形式を用いる。

本実施の形態の範囲削除手段１３１は、圧縮時にＭＰＥＧ２又はＭＰＥＧ４等の形式で動きベクトルとして表せるデータとすることで、圧縮時のデータ量の削減を図る。

図８は範囲削除手段１３１の実行例を示す図である。

格子状に並んでいるのは、ＭＰＥＧ２又はＭＰＥＧ４等の処理単位であるマクロブロックを示している。図中、網掛けになっている部分が削除範囲で、マクロブロックの８０１をコピーして８０２、その８０２をコピーして８０３，８１０をコピーして８１１というように、直前のマクロブロックをコピーしている。この結果、画像圧縮処理部１４０による圧縮時に、同一画面内の前方参照という形で動きベクトル化されるので、データ量が削減できる。この例では、画面内参照による動きベクトルとしたが、フレーム間でコピーを行い、フレーム間参照による動きベクトルとしても良い。

又、圧縮の形式はＪＰＥＧ、ＭＰＥＧ２、ＭＰＥＧ４に限るものではなく、その他の圧縮形式であっても、削除範囲のデータを捨てて、よりデータ転送量の少ない表現によって範囲削除手段１３１を構成することにより、本発明の実現は可能である。

＜その他の実施形態＞
上記の実施の形態で説明したカメラ部は、１組のレンズ、ＣＣＤから成る入力部からの画像をデジタル的に切り出し、拡大を行い撮影画像を作成する例を示したが、本発明はこれに限定されるものではなく、画角の異なる２組のレンズ、ＣＣＤから成る２眼の入力部各々から広角画像及び撮影画像を作成する、或は、レンズは共通で入力された光信号を光学的にプリズムやハーフミラー等を用いて２つに分岐させ、別々のＣＣＤを用いて広角画像及び撮影画像を作成するといった構成のカメラに適用することも可能である。

又、カメラとビューワ間のネットワーク接続の手段については、無線、有線といった限定無しに、画像を送受信できるものであれば手段は問わない。

又、上記の実施の形態のビューワでの表示は、広角画像と撮影画像を並べて同時に行っているが、本発明はこれに限定されるものではなく、広角画像と撮影画像を交互に切り替える、或は一方の画像の一部に子画面としてもう一方の画面を重ね合わせる、いわゆるピクチャーインピクチャーといった表示を行う装置に対しても適用可能である。

又、上記の実施の形態のビューワは、専用の画像合成ハードウェア等を備えた装置として説明したが、本発明においては、ビューワとしてネットワークに接続されたＰＣのアプリケーションとして実行しても良い。

本発明の実施の形態１に係る画像送受信システムのカメラ部の概略構成を示すブロック図である。 本発明の実施の形態１に係る画像送受信システムのビューワ部の概略構成を示すブロック図である。 本発明の実施の形態１に係る画像送受信システムのカメラ部における画像データの処理例を示す図である。 本発明の実施の形態１に係る画像送受信システムのビューワ部における画像データの処理例を示す図である。 本発明の実施の形態１に係る画像送受信システムのカメラ部のＰＴＺ処理を示すフローチャート図である。 本発明の実施の形態１に係る画像送受信システムのビューワ部の合成位置変更処理を示すフローチャート図である。 本発明の実施の形態２に係る画像送受信システムのビューワ部の概略構成を示すブロック図である。 本発明の実施の形態３に係る画像送受信システムのカメラ部の範囲削除処理の様子を示す図である。

符号の説明

１３０ 広角画像作成部
１３１ 範囲削除処理部
１２０ 拡大画像作成部
１２１ 画像切り出し部
１４０ 画像圧縮処理部
１５０ ネットワークインターフェース
２００ ネットワークインターフェース
２１０ 画像記憶手段
２２０ 画像伸張処理部
２５０ 画像合成処理部
７００ 合成位置検出部

Claims (6)

1. 第１の範囲の画像を撮影し符号化して送信する第１の画像送信手段と、前記第１の範囲を含むより広い第２の範囲の画像を撮影し符号化して送信する第２の画像送信手段とを持つカメラ部と、前記カメラから送信される画像を受信する受信手段と、受信した画像を複合化し表示する画像表示手段とを持つビューワ部と、から構成される画像送受信システムにおいて、
   前記第１の画像は、前記第２の画像の範囲に該当する画像データを削除する範囲削除手段によって、画像データの一部が削除された状態で送信が行われ、前記ビューワは、前記範囲削除手段によってデータが削除された第１の画像の該当範囲に合わせて前記第２の画像を縮小して合成する合成手段を持つことを特徴とする画像送受信システム。
2. 前記カメラ部は、前記範囲削除手段による削除範囲及び縮小率を特定するためのデータを送信する情報送信手段を持つことを特徴とする請求項１記載の画像送受信システム。
3. 前記範囲削除手段は、画像中にはあり得ない数値で範囲内を塗り潰すよう構成され、前記ビューワは、画像中にはあり得ない数値の範囲を検出する範囲検出手段を持ち、前記合成手段は、前記範囲検出手段によって検出された範囲に前記第２の画像を縮小して合成することを特徴とする請求項１記載の画像送受信システム。
4. 前記範囲削除手段は、前記第１の範囲の画像を符号化する際の処理単位毎に、周囲の処理ブロック或は前フレームのブロックのデータを参照してコピーするよう構成し、符号化の際に動きベクトルで表現されることを特徴とする請求項１記載の画像送受信システム。
5. 前記合成手段による合成の際、合成される境界線に沿って枠を合成して表示する枠合成手段を持つことを特徴とする請求項１記載の画像送受信システム。
6. 前記枠合成手段は、前記範囲削除手段時に該当範囲内を枠の色で塗り潰し、前記合成手段で、範囲内の周囲の枠幅を除いた部分に、前記第２の画像の縮小データを合成する様構成されることを特徴とする請求項５記載の画像送受信システム。

Images