JP6280011B2 - 領域リクエストに基づいたデータ低減処理を行う画像送受信システム及び方法 - Google Patents

Description

本発明は、動画像や静止画像といった画像の情報を、無線ネットワーク等の伝送路を介して伝送する技術に関する。

現在、カメラ付き携帯端末や通信機能付きデジタルカメラ、さらにはリモートカメラ等の普及により、様々な場面で動画像や静止画像といった画像を、無線等の通信手段を介して取得し利用する機会が増えている。また、被災現場対応型のロボットや、会議や展示会を中継可能なロボットについても種々の形式のものが提案されている。これらのロボットはカメラを備えており、撮影した画像の情報を無線ＬＡＮ（Local Area Network）等を介して視聴者に提供することができる。

一般に、遠隔操作されるロボットやリモートカメラから画像を伝送する場合、無線ＬＡＮ等の無線伝送路が使用される場合が多い。ここで、安全な操作や詳細な観察を行うことを目的として、広い視野に対応する画像範囲と高い画像品質とがともに必要とされる場面も少なくない。しかしながら、無線伝送路では伝送レートの上限がそれほど高くないので、結局、広い視野及び高い画像品質の一方又は両方を犠牲にせざるを得ないことも多い。

この問題に対し、例えば特許文献１では、遠隔操作ロボットから映像データを伝送する際、移動方向や移動速度といった移動状態に応じて画面中における重要領域を決定し、当該重要領域以外の領域についてデータの圧縮率を上げることによって、伝送データ量を削減する技術を提案している。

さらに、特許文献２では、映像復号装置から改善要求データとして送信される、画質を改善させたい領域についての集計結果において、得票数が多い領域ほど量子化パラメータ値を小さく設定した符号化パラメータを生成して、符号化処理を制御する技術が提案されている。

特開２００９−１１８０７２号公報 特開２０１４−５７１２８号公報

しかしながら、特許文献１及び２に記載されたような従来技術では、画像を見る者によって要求された又は所望された画像範囲や画質を有する画像を提供することが、尚、困難である場合が生じる。

例えば、特許文献１に記載の技術では、ロボットの移動状態を参照してロボットの操作上で重要な領域を検出し、それ以外の領域についての画質を下げることによって伝送データ量を低減している。しかしながら、ロボットから取得された画像を見るのはロボットの操作者1名とは限らない。例えば、操作者の他に多数の観察者（画像を見る者）が存在し、各自が自身専用のスマートフォン又はウェアラブル端末を携帯又は装着し、ロボットから送信された動画像や静止画像といった画像における異なる領域を観察する状況も大いに想定される。

この状況において、特許文献１に記載の技術を適用することを考えると、操作者を含む複数の観察者の見る画像領域についての単純な和を求めたとしても、各自の希望に合致した適切な重要領域を決めた上で伝送データ量の低減を図ることは明らかに困難である。

一方、特許文献２に記載の技術は、１つの画像を複数の視聴者（観察者）に送信することを想定している。しかしながら、ここでの送信は不特定多数に向けた放送である。そのため、全ての視聴者からの画質改善要求は平等に取り扱われ、高画質で符号化される領域は、結局多数決によって決定される。

従って、特許文献２に記載の技術を例えば遠隔操作ロボットに適用したとすると、例えばロボットの進行方向と直交する方向にある特定の対象を見ることを希望する視聴者が多数を占める状況では、ロボット操縦者が進行方向の画像を十分に見ることができなかったり、観察希望の少ない対象を見たい視聴者が当該対象を観察することができなかったりする弊害が生じ得る。

そこで、本発明は、撮影される画像の少なくとも一部の領域に対するリクエストに対応した形で、撮影した画像の情報を、画像を伝送する伝送路における伝送レートの制限内で確実に伝送させることが可能なシステム及び方法を提供することを目的とする。

本発明によれば、撮影した画像の情報を送信可能な画像送信システムと、当該画像の情報を受信可能な画像受信システムとを備えた画像送受信システムであって、
本画像受信システムは、
撮影される画像の少なくとも一部の領域に対するリクエストである１つ又は複数の領域リクエストを生成する領域リクエスト管理手段と、
当該領域リクエストを画像送信システム宛てに送信する第１の通信制御手段と
を有し、
本画像送信システムは、
１つ又は複数の撮影部と、
当該画像の情報の送信におけるビットレートを計測するビットレート計測手段と、
受信された当該領域リクエストにおいてリクエストされた領域以外の画像部分のデータをより低率で通過させるマスクであって、計測された当該ビットレートに基づいて、ビットレートが所定値又は所定範囲内となるようにマスク値をスケーリングしたマスクを生成するマスク生成手段と、
撮影部から出力された画像信号に基づいて生成された画像情報に対し、生成されたマスクを用いて画像データ量を低減させるマスク処理を行うマスク処理手段と、
マスク処理された画像情報に基づいて生成された画像データを画像受信システム宛てに送信する第２の通信制御手段と
を有し、
本画像受信システムは、
撮影された画像の少なくとも一部を表示する１つ又は複数の表示部と、
受信された当該画像データに基づいて生成された撮影画像情報を、当該領域リクエストに応じて当該表示部に分配又は出力する撮影画像分配手段と
を更に有する画像送受信システムが提供される。

この本発明の画像送受信システムの一実施形態として、
画像送信システムは、撮影部の撮影位置及び撮影向きの一方又は両方を変更する駆動部を更に有し、
画像受信システムは、１つ又は複数の表示部のうちの少なくとも１つを視認しつつ実施可能な操作であって駆動部の駆動を制御するための操作を受け付け、当該操作に基づいて、画像送信システム宛てに送信する操作制御信号を生成する操作制御部を更に有し、
領域リクエスト管理手段は、駆動部の操作に係る撮影される画像内での視野領域の取得をリクエストする視野領域リクエストを生成し、
マスク生成手段は、受信された当該視野領域リクエストによってリクエストされた視野領域の画像部分のデータをより高率で又は最も高い優先度をもって通過させるマスクを生成することも好ましい。

また、本発明の画像送受信システムの他の実施形態として、
領域リクエスト管理手段は、生成する領域リクエストに対し、マスクの生成において採用される優先度を示す優先度情報を付与し、
マスク生成手段は、付与された優先度に基づいて、受信された当該領域リクエストをマスクの生成において採用するか否かを決定し、または、より高い優先度の付与された領域リクエストによってリクエストされた領域の画像部分のデータをより高率で通過させるマスクを生成することも好ましい。

さらに、本発明の画像送受信システムの更なる他の実施形態として、
画像送信システムは、撮影部の撮影位置及び撮影向きの一方又は両方を変更する駆動部を更に有し、
画像受信システムは、１つ又は複数の表示部のうちの少なくとも１つを視認しつつ実施可能な操作であって駆動部の駆動を制御するための操作を受け付け、当該操作に基づいて、画像送信システム宛てに送信する操作制御信号を生成する操作制御部を更に有し、
マスク生成手段は、受信された当該領域リクエストに基づいて、所定の度合い以上にリクエストが重畳した領域であるリクエスト重畳領域の画像部分のデータをより高率で通過させるマスクを生成し、
撮影画像分配手段は、生成された撮影画像情報のうち少なくとも当該リクエスト重畳領域の画像部分の情報を、駆動部の操作の際に視認される表示部に配信又は出力することも好ましい。

また、本発明の画像送受信システムの更なる他の実施形態として、
画像送信システムは、撮影部の撮影位置及び撮影向きの一方又は両方を変更する駆動部を更に有し、
画像受信システムは、１つ又は複数の表示部のうちの少なくとも１つを視認しつつ実施可能な操作であって駆動部の駆動を制御するための操作を受け付け、当該操作に基づいて、画像送信システム宛てに送信する操作制御信号を生成する操作制御部を更に有し、
撮影画像分配手段は、領域リクエスト管理手段で生成された当該領域リクエストに基づいて、所定の度合い以上にリクエストが重畳した領域であるリクエスト重畳領域の画像部分を決定し、生成された撮影画像情報のうち少なくとも当該画像部分が区別、明示又は強調された情報を、駆動部の操作の際に視認される表示部に配信又は出力することも好ましい。

本発明によれば、また、撮影した画像の情報を送信可能な画像送信システムと、当該画像の情報を受信可能な画像受信システムとを備えた画像送受信システムであって、
本画像受信システムは、
撮影される画像の少なくとも一部の領域に対するリクエストである１つ又は複数の領域リクエストを生成する領域リクエスト管理手段と、
当該領域リクエストを画像送信システム宛てに送信する第１の通信制御手段と
を有し、
本画像送信システムは、
１つ又は複数の撮影部と、
当該撮影部の撮影位置及び撮影向きの一方又は両方を変更する駆動部と、
受信された当該領域リクエストに基づいて、リクエストされた領域以外の画像部分のデータをより低率で通過させるマスクを生成するマスク生成手段と、
当該撮影部から出力された画像信号に基づいて生成された画像情報に対し、生成されたマスクを用いて画像データ量を低減させるマスク処理を行うマスク処理手段と、
マスク処理された画像情報に基づいて生成された画像データを画像受信システム宛てに送信する第２の通信制御手段と
を有し、
本画像受信システムは、
撮影された画像の少なくとも一部を表示する１つ又は複数の表示部と、
１つ又は複数の表示部のうちの少なくとも１つを視認しつつ実施可能な操作であって当該駆動部の駆動を制御するための操作を受け付け、当該操作に基づいて、画像送信システム宛てに送信する操作制御信号を生成する操作制御部と、
受信された当該画像データに基づいて生成された撮影画像情報を、当該領域リクエストに応じて当該表示部に分配又は出力する撮影画像分配手段であって、領域リクエスト管理手段で生成された当該領域リクエストに基づいて、所定の度合い以上にリクエストが重畳した領域であるリクエスト重畳領域の画像部分を決定し、生成された撮影画像情報のうち少なくとも当該画像部分が区別、明示又は強調された情報を、当該駆動部の操作の際に視認される表示部に配信又は出力する撮影画像分配手段と
を更に有する画像送受信システムが提供される。

また、本発明の画像送受信システムの更なる他の実施形態として、マスク処理手段は、当該画像情報に対し、マスク処理として、生成されたマスクのマスク値に応じた、空間方向の低域濾波処理、時間方向の低域濾波処理及び減色処理のうちの１つ又は複数の組合せを行うことも好ましい。

さらに、本発明の画像送受信システムとして、画像送信システムは、駆動可能なロボットであり、画像受信システムは、このロボットの駆動を制御可能な遠隔操縦端末を含むことも好ましい。また、画像送信システムは、ネットワークに接続された複数台の撮影部としてのカメラを含むカメラシステムであり、画像受信システムは、複数台の表示部としてのモニタディスプレイを含むモニタシステムであることも好ましい。

本発明によれば、また、撮影した画像の情報を送信可能な画像送信システムと、当該画像の情報を受信可能な画像受信システムとを備えた画像送受信システムにおける画像の送受信方法であって、
画像受信システムが、撮影される画像の少なくとも一部の領域に対するリクエストである１つ又は複数の領域リクエストを生成し、当該領域リクエストを画像送信システム宛てに送信する第１のステップと、
画像送信システムが、当該画像の情報の送信におけるビットレートを計測し、受信された当該領域リクエストにおいてリクエストされた領域以外の画像部分のデータをより低率で通過させるマスクであって、計測された当該ビットレートに基づいて、ビットレートが所定値又は所定範囲内となるようにマスク値をスケーリングしたマスクを生成する第２のステップと、
画像送信システムが、当該システム内に設けられた１つ又は複数の撮影部から出力された画像信号に基づいて生成された画像情報に対し、生成されたマスクを用いて画像データ量を低減させるマスク処理を行う第３のステップと、
画像送信システムが、マスク処理された画像情報に基づいて生成された画像データを画像受信システム宛てに送信する第４のステップと、
画像受信システムが、受信された当該画像データに基づいて生成された撮影画像情報を、当該領域リクエストに応じて、当該システム内に設けられた表示部に分配又は出力する第５のステップと
を有する画像送受信方法が提供される。

本発明の画像送受信システム及び方法によれば、撮影される画像の少なくとも一部の領域に対するリクエストに対応した形で、撮影した画像の情報を、画像を伝送する伝送路における伝送レートの制限内で確実に伝送させることができる。

本発明による画像送受信システムの一実施形態を示す概略図、及び本発明による画像送信システム及び画像受信システムの一実施形態における機能構成を示す機能ブロック図である。 領域リクエストに基づいてマスク値を決定する方法の一実施形態を示すマスクの模式図である。 領域リクエストに基づいてマスク値を決定する方法の他の実施形態を示すマスクの模式図である。 本発明による画像送受信方法におけるマスク生成及びマスク処理の一実施形態を示すフローチャートである。 本発明による画像送受信システムの他の実施形態を示す模式図である。

以下、本発明の実施形態について、図面を用いて詳細に説明する。

［画像送受信システム］
図１は、本発明による画像送受信システムの一実施形態を示す概略図、及び本発明による画像送信システム及び画像受信システムの一実施形態における機能構成を示す機能ブロック図である。

図１に示した実施形態の画像送受信システムは、
（ａ）撮影した画像の情報を、無線ネットワークを介して送信可能な画像送信システムとしての撮影ロボット１と、
（ｂ）撮影された当該画像の情報を、当該無線ネットワークを介して受信可能な画像受信システム２と
を備えている。ここで、画像受信システム２は、
（ｂ１）画像分配装置２０と、
（ｂ２）画像分配装置２０と無線通信接続可能である複数の端末２１と、
（ｂ３）画像分配装置２０と無線通信接続可能である１つの操縦端末２２と
を備えている。

撮影ロボット（画像送信システム）１と画像分配装置２０（画像受信システム２）との通信接続を担う伝送路である無線ネットワークは、例えばＷｉ−Ｆｉ（登録商標）等の無線ＬＡＮ(Local Area Network)とすることができる。変更態様として、無線ネットワークは、ＬＴＥ(Long Term Evolution)、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）又は３Ｇ（3rd Generation）等の無線系アクセスネットワークを介し、インターネットを経由して撮影ロボット１と画像分配装置２０とを通信接続させるものであってもよい。

いずれにしても、無線ネットワークは、伝送レート（通信速度）に上限を有する伝送データ量の限定された伝送路である。本実施形態では、撮影ロボット１から複数のカメラ１０１によって撮影された動画像データを、通常の符号化処理を行うだけで単純に伝送させた場合、当該伝送レートの上限が障害となって、リアルタイム性の確保された良好な映像を画像受信システム２に提供することが困難な状況にあるとする。

また、端末２１及び操縦端末２２は、スマートフォン、タブレット型コンピュータ、ウェアラブル端末、ノート型コンピュータ又はパーソナルコンピュータ（ＰＣ）といったユーザインタフェース装置とすることができる。端末２１（操縦端末２２）は、撮影ロボット１で撮影された画像の情報の少なくとも一部を、画像分配装置２０を介して取得し、表示部２０１（表示部２０３）に表示させることができる。また、入力インタフェース２０２（入力インタフェース２０４）を用いて、後述する領域リクエストを生成するための情報を入力することが可能である。表示部２０１（表示部２０３）及び入力インタフェース２０２（入力インタフェース２０４）は、例えばタッチパネル・ディスプレイであってもよい。

さらに、操縦端末２２は、操作制御部２２１を有し、撮影ロボット１の駆動部１０２の駆動を制御することができる。具体的には、撮影ロボット１の位置、向き、移動速度及び進行方向、並びにカメラの向き、高さ、撮影開始、撮影調整、及び撮影終了等のうち少なくとも１つを指示する制御信号を、画像分配装置２０を介して撮影ロボット１に送信することができる。ここで、制御信号は、入力インタフェース２０４を介して行われたコマンド入力操作を受けて操作制御部２２１で生成される。また、操縦端末２２の表示部２０３には、デフォルトとして撮影ロボット１における進行方向のロボット視野範囲の画像が表示されることも好ましい。

また、端末２１及び操縦端末２２と画像分配装置２０との通信も、例えばＷｉ−Ｆｉ（登録商標）等の無線ＬＡＮを介した無線通信とすることができる。また、Bluetooth（登録商標）等の近距離無線通信とすることも可能である。但し、当然に、端末２１及び操縦端末２２と画像分配装置２０との間を有線で接続して通信することも可能である。尚、端末２１及び操縦端末２２の台数には、本方式上での制限は存在しない。

以上に説明した画像送信システムと画像受信システムとを備えた本実施形態の画像送受信システムは、１つの画像における複数の注視される領域を、無線ネットワークを介して同時に伝送して画像を見る者（観察者又は視聴者）に分配することができる複数注視領域同時伝送視聴システムとなっている。具体的には、
画像受信システム２（画像分配装置２０）は、
（ａ）撮影される画像の少なくとも一部の領域に対するリクエストである１つ又は複数の「領域リクエスト」を生成して、撮影ロボット（画像送信システム）１宛てに送信し、
撮影ロボット（画像送信システム）１は、
（ｂ）１つ又は複数の撮影部であるカメラ１０１を有し、
（ｃ）受信された「領域リクエスト」に基づいて、リクエストされた領域以外の画像部分のデータをより低率（より低い通過率）で通過させる「マスク」を生成し、
（ｄ）撮影部から出力された画像信号に基づいて生成された画像情報に対し、生成された「マスク」を用いて画像データ量を低減させるマスク処理を行い、
（ｅ）マスク処理された画像情報に基づいて生成された画像データを画像受信システム宛てに送信する。

ここで、「領域リクエスト」は、撮影される画像の少なくとも一部の領域の位置及び大きさ等を指定し、当該領域の取得を要求するリクエスト情報である。例えば、撮影される画像を小領域に区分し、そのうちの希望する又は必要とする小領域を指定して、要求するリクエスト領域としてもよい。

次いで、画像受信システム２は、
（ｆ）撮影された画像の少なくとも一部を表示する１つ又は複数の表示部２０１及び２０３を有し、
（ｇ）受信された画像データに基づいて生成された撮影画像情報を、「領域リクエスト」に応じて表示部２０１及び２０３に分配又は出力する。

例えば、端末２１及び操縦端末２２の各々のユーザは、画像における見ることを要求する領域（例えば興味のある領域や観察すべき領域）を指定する入力操作を行い、この入力情報を受信した画像分配装置２０が当該入力情報に応じて「領域リクエスト」を生成する。ここで、撮影ロボット１で生成される「マスク」は、この個々の画像領域に対する要求（リクエスト）を一括して画像情報に反映させることを可能にするのである。その結果、１つのマスク処理によって、個々の「領域リクエスト」の内容が反映された１つの画像データを生成し、この画像データを、無線ネットワークを介して伝送させることにより、当該ネットワークにおける伝送レートの制限に対応することが非常に容易となる。

即ち、本画像送受信システムによれば、撮影される画像の少なくとも一部の領域に対する「領域リクエスト」に対応した形で、撮影した画像の情報を、画像を伝送する伝送路における伝送レートの制限内で確実に伝送させることが可能となるのである。

また、「領域リクエスト」に応じた伝送レートの調整は、「マスク」を使用して一括して実施することができるので、例えばマスク処理の後の符号化処理は、既存の無線通信で使用されてきた回路を使用して実行することができる。

さらに、「マスク」さえ適切に生成すれば、確実且つ良好な画像データの伝送を実施することができるので、「マスク」を生成するアルゴリズムを工夫することによって、様々な利用環境及び用途に好適な画像データの送受信を実現することが可能となる。

因みに、後に詳細に説明を行うが、「マスク」生成アルゴリズムの１つの実施例についての概略を、ここで簡単に説明する。最初に、撮影ロボット１の操縦に必要な視野を画像画面中に設定し、当該視野の一部または全部を含む領域リクエストを最優先で受け付ける。次に、優先順位（優先度）が付与された端末２１からの「領域リクエスト」を当該優先順位順に受け付け、さらに、残る「領域リクエスト」を先着順に受け付ける。次いで、画像情報を通過させる小領域の総和が上限に達した時点で、それ以降の「領域リクエスト」を拒絶する。

ここで、受理済みの「領域リクエスト」が取り下げられ、通過可能な画像領域の総面積に余裕が生じた場合、この余裕の範囲内で新たな「領域リクエスト」を受け付ける。また、ロボット１の操縦に必要な視野は、「領域リクエスト」の有無にかかわらず画像情報を通過させる領域としてもよい。優先順位の付与されていない「領域リクエスト」を選定する場合、単純に先着順とするのではなく、重畳する小領域を共有する「領域リクエスト」を優先して選んでもよい。

［画像送信システム：撮影ロボット］
次いで、同じく図１に示した機能ブロック図を用いて、撮影ロボット１の機能構成を説明する。

図１によれば、撮影ロボット１は、１つ又は複数のカメラ１０１と、駆動部１０２と、第２通信インタフェース１０３と、センサ部１０４と、プロセッサ・メモリとを有する。ここで、プロセッサ・メモリは、撮影ロボット１のコンピュータを機能させるプログラムを実行することによって、画像送信機能を実現させる。

さらに、プロセッサ・メモリは、機能構成部として、リクエスト領域重畳判定部１１１ａを含むマスク生成部１１１と、マスク処理部１１２と、ビットレート計測部１１３ａを含む符号化部１１３と、画像合成部１１４と、速度・向き判定部１１５と、第２通信制御部１１６とを有する。尚、図１における撮影ロボット１の各機能構成部を矢印で接続した処理の流れは、本発明による画像送受信方法の一実施形態としても理解される。

１つ又は複数のカメラ１０１は、例えば、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ等の固体撮像素子を備えた可視光、近赤外線又は赤外線対応の撮影部である。

駆動部１０２は、カメラ１０１における撮影位置及び撮影向きの一方又は両方を変更することができる可動機構である。ここで、撮影ロボット１自体を移動、回転及び／又は変形させて当該変更を実現してもよく、カメラ１０１の位置、向きや高さ等を変化させて当該変更を実現してもよい。

第２通信インタフェース１０３は、撮影ロボット１と画像分配装置２０との通信接続を担う無線ネットワークに接続され、マスク処理を施された画像データを送信したり、「領域リクエスト」情報や駆動部１０２に対する制御信号を受信したりするインタフェースである。

同じく図１によれば、マスク生成部１１１は、受信された「領域リクエスト」に基づいて、リクエストされた領域以外の画像部分のデータをより低率で通過させる「マスク」を生成する。この際、下記のような実施形態（ａ）〜（ｅ）の１つ又は複数をもって適切な「マスク」を生成することも好ましい。即ち、マスク生成部１１１は、
（ａ）受信された「視野領域リクエスト」によってリクエストされた視野領域の画像部分のデータをより高率（より高い通過率）で又は最も高い優先度をもって通過させる「マスク」を生成することも好ましい。
ここで、「視野領域リクエスト」は、操縦端末２２のユーザが、撮影ロボット１の操縦の際に必要となる、例えば進行方向の視認領域である視野に相当する画像領域の取得を要求する際に生成されるリクエストである。

また、マスク生成部１１１は、
（ｂ）付与された優先度に基づいて、受信された「領域リクエスト」を「マスク」の生成において採用するか否かを決定し、または、より高い優先度の付与された「領域リクエスト」によってリクエストされた領域の画像部分のデータをより高率で通過させる「マスク」を生成することも好ましい。
ここで、「領域リクエスト」の優先度は、端末２１及び操縦端末２２の個々に予め割り当てられた優先順位とすることができる。または、撮影画像の中心位置により近い領域をリクエストする「領域リクエスト」の優先度をより高い値にする、といったように、リクエストされる領域の相対位置や大きさに基づいて優先度の値を決定することも可能である。このように、複数の端末からの「領域リクエスト」が競合した場合でも、優先度を利用して調停を行い、データ量を低減するマスク処理対象とすべき画像中の領域を適切に決定することができる。

さらに、マスク生成部１１１は、
（ｃ）受信された「領域リクエスト」に基づいて、所定の度合い以上にリクエストが重畳した領域であるリクエスト重畳領域の画像部分のデータをより高率で通過させる「マスク」を生成することも好ましい。
ここで、リクエスト重畳領域は、マスク生成部１１１内のリクエスト領域重畳判定部１１１ａで決定される。例えば、１０個の「領域リクエスト」を受け付けた際に、これらの「領域リクエスト」の要求した領域のうち、５個以上が重畳した領域をリクエスト重畳領域とすることができる。

また、マスク生成部１１１は、
（ｄ）後述するビットレート計測部１１３ａで計測されたビットレートに基づいて、ビットレートが所定値又は所定範囲内となるように、生成する「マスク」におけるマスク値をスケーリングすることも好ましい。
尚、この実施形態の変更態様として、マスク生成部１１１は画像情報を通過させる領域（マスク値がゼロでない領域）である通過領域の全体の面積が所定の面積閾値以下となるようにマスク値をスケーリングすることも好ましい。また、さらに、高解像度のまま画像情報を通過させる領域（マスク値が１である領域）の全体の面積が所定の面積閾値以下となるようにマスク値をスケーリングすることも好ましい。

さらに、マスク生成部１１１は、
（ｅ）撮影ロボット１の移動速度や進行方向の情報に基づいて、操縦に必要となる画像領域を決定し、当該画像領域を他の「領域リクエスト」の要求する領域よりも優先して「マスク」のマスク値に反映させることも好ましい。

ここで、操縦に必要となる画像領域は、例えば、ロボット１の進行方向の視野範囲に相当する領域とすることができる。このうち、視野範囲に相当する領域の面積は、ロボット１の移動速度が高いほど小さくなるように調整されることも好ましい。これにより、操縦のためにまさに必要となる画像情報だけが高解像度で伝送され、効率良く表示可能となる。このように、本実施形態（ｅ）によれば、例えば、撮影ロボット１の進行方向を中心とする視野領域を無条件に送信対象の領域とするか、又は当該視野領域を含むリクエストされた領域を優先的に送信対象の領域として採用することも可能となる。

また、実施形態（ｅ）において、移動速度や進行方向の情報は、センサ部１０４からの検出データを入力した速度・向き判定部１１５で生成され、マスク生成部１１１に出力されてよい。ここで、速度・向き判定部１１５は、センサ部１０４からの検出データ以外にも、例えばロボットの駆動輪の回転方向及び速度や向きの情報を取得して移動速度や進行方向の情報を決定してもよい。

また、センサ部１０４は、加速度センサ、地磁気センサ及びジャイロセンサのうちの少なくとも１つを有し、撮影ロボット１の移動速度（加速度）、ロボットの向いた方位及び仰角、並びに向きの変換量等の計測値を検出データとして出力することができる。さらに、図示していないが、センサ部１０４は、ＧＰＳ（Global Positioning System）センサを備えていて、撮影ロボット１の位置情報（緯度及び経度）や位置の変化（移動速度ベクトル量）を出力してもよい。

図２は、領域リクエストに基づいてマスク値を決定する方法の一実施形態を示すマスクの模式図である。ここで、同図に示した実施形態では、領域リクエストに優先度は付与されていない。

図２（Ａ）及び（Ｂ）に示すように、マスクは、典型例として、縦横方向にそれぞれ均等な高さ及び幅を有する小領域がメッシュ状に並び、各小領域に対して０から１までの値をとるマスク値が付与されたものとして表される。ここで、マスク値１は、この値の付与された小領域が、画像情報に対するマスク処理においてデータ量の低減を被らない小領域であることを示す。また、マスク値０は、この値の付与された小領域が、画像情報に対するマスク処理においてデータ量がゼロ又は所定の最小量まで低減させられる小領域であることを示す。

尚、マスクにおける小領域への区分けは、図２（Ａ）及び（Ｂ）に示すような直線によるものに限定されるものではなく、例えば、曲線をもって小領域に区分けしてもよい。小領域の形状も種々のものが採用可能である。また、マスク値は、０及び１の２値とすることもでき、例えば０〜１の間のｎ個の離散値をとるｎ値としてもよい。さらには、０〜１の間の実数値とすることも可能である。いずれにしてもマスク値は、画像中の各小領域の重要度（伝送すべき程度）に対応しており、マスク値がより大きい小領域の画像情報ほどより高率で（より高い通過率で）通過させるように設定される。

図２（Ａ）及び（Ｂ）に、簡単のため、３つのリクエスト領域に基づいてマスク値を決定した一例を示す。ここで、リクエスト領域とは、領域リクエストによって要求されている領域である。この実施例では、リクエスト領域を構成する小領域の全面積（全小領域数）が上限面積閾値Thsである１５以内であれば、これらのリクエスト領域にマスク値１を付与する設定となっている。図２（Ａ）では、３つのリクエスト領域の面積の総和、即ち３つのリクエスト領域に属する小領域数は１５であり、上限面積閾値Ths以下となっている。従って、３つのリクエスト領域の全てを受け入れ、マスク値を１として対応する画像情報を全てそのまま通過させる。

一方、図２（Ｂ）では、３つのリクエスト領域の面積の総和（全小領域数）は１８であり、上限面積閾値Thsを超えている。このため、
（ａ）互いに重畳する小領域を有する２つのリクエスト領域については、それらに属する小領域の全てを通過させ、
（ｂ）残りの１つのリクエスト領域については、属する小領域のうちの２／３のみ（同図では６つの小領域のうちの４つのみ）を通過させる。または、このリクエスト領域に属する全ての小領域の各々に対して通過率２／３に相当するマスク値を付与してもよい。

尚、図２（Ａ）及び（Ｂ）にいずれにおいても、リクエスト領域外の小領域に対するマスク値はゼロとしてもよいが、ゼロに近い値を付与することもできる。リクエスト領域外の小領域に小さい値のマスク値を付与することによって、最終的に、画像を見る者（観察者、視聴者）は要求又は希望した領域の画像以外の画像（映像）も低解像度ながら見ることができ、例えば、リクエスト領域を変更する際の手掛かりとして利用することができる。

以上説明したように、互いに重畳する領域部分を有するリクエスト領域を優先して通過領域に採用することによって、要求又は希望の集中する画像領域について、できるだけ優先して又はより高率で伝送し、要求又は希望元の端末に、所望の映像又は画像をより確実に提供することが可能となる。

図３は、領域リクエストに基づいてマスク値を決定する方法の他の実施形態を示すマスクの模式図である。

図３によれば、２つのリクエスト領域について、これらの領域に属する小領域のマスク値は１とし、当該小領域に係る画像情報は全て通過させる。さらに、これらの２つのリクエスト領域を取り囲む小領域を低通過率領域とし、この低通過率領域のマスク値を０と１との間の値、例えば０.３に設定する。即ち、この低通過率領域に係る画像情報は、より低い通過率で通過させる。さらに、残りの小領域ではマスク値をゼロとする。

このようにマスク値を設定して、要求又は希望のある画像領域だけでなく、その周辺領域の画像情報を通過させることによってし、伝送データ量は低減しつつ、要求又は希望元のユーザにとって役立ち得る画像情報をより有効に提示することができる。例えば、見たい対象物の周辺の様子も低解像度ながら視認することができたり、見たい対象物が移動する際、その移動方向を容易に識別することができたりするのである。

図１に戻って、画像合成部１１４は、カメラ１０１が複数ある場合に、それらからの出力である複数の画像信号を合成し、単一の画像に相当する画像情報を生成する。この際、画像信号の間に実空間に対応する画像領域について重畳する部分がある場合、当該部分を重畳させて両者を連結することにより画像情報を合成することも好ましい。また、いずれの画像信号においてもある実空間に対応する画像領域をカバーしていない場合、当該画像領域を単色で表現しつつ画像情報を合成することも可能である。

マスク処理部１１２は、カメラ１０１から出力された画像信号に基づいて生成された画像情報に対し、生成されたマスクを用いて画像データ量を低減させるマスク処理を行う。具体的にマスク処理としては、画像合成部１１４から入力した画像情報に対し、マスク生成部１１１から取得したマスクの小領域毎に、当該小領域のマスク値に応じた、（ａ）空間方向の低域濾波処理、（ｂ）時間方向の低域濾波処理、及び（ｃ）減色処理のうちの１つ又は複数の組合せを行うことも好ましい。また、上述した低域濾波処理の代わりに減色またはフレーム間引きを行ってもよく、減色処理として固定色で塗りつぶすことも可能である。さらに、マスク値が１の場合、当該小領域の画像情報には何ら加工せずそのまま通過させることも好ましい。

符号化部１１３は、マスク処理部１１２から入力した、マスク処理された画像情報に対し、符号化処理を行い、画像分配装置２０に送信すべき画像データを生成する。符号化部１１３としては、従来汎用されてきた回路及びアルゴリズムを利用することができる。例えば、符号化アルゴリズムとして、広く普及しているＭＰＥＧ４やＨ.２６４等を採用することができる。

また、符号化部１１３は、ビットレート計測部１１３ａを有することも好ましい。ビットレート計測部１１３ａは、第２通信制御部１１６による画像データの送信におけるビットレートを計測し、計測されたビットレート情報をマスク生成部１１１に出力する。マスク生成部１１１は、入力されたビットレート情報をフィードバック情報として用い、当該ビットレート計測値に基づいて、生成するマスクにおけるマスク値のスケーリングを行い、画像データ伝送におけるビットレートを調整する。

第２通信制御部１１６は、マスク処理された画像情報を符号化処理して生成した画像データを、無線ネットワークを介して画像分配装置２０宛てに送信する。この際、例えば複数のカメラ１０１から出力された複数の画像信号に基づいた画像データであって、例えば複数の端末から要求された複数のリクエスト領域を反映した画像データを、例えば単一画面に表示される１つの画像に相当する１本の画像データとして無線ネットワークに流すことが可能となる。ここで、この画像データは、マスク処理によって画像データ量を適切に調整されているので、無線ネットワークにおける伝送レートの制限内で確実に伝送可能となるのである。

［画像送受信方法：マスク生成及びマスク処理］
図４は、本発明による画像送受信方法におけるマスク生成及びマスク処理の一実施形態を示すフローチャートである。尚、本実施形態では、マスク値は、上述した実施形態での０〜１の値とは異なり、０，１，２,・・・といった非負の整数値をとる。

（Ｓ４０１）受け付けた領域リクエストのリストをクリア（消去）する。
（Ｓ４０２）マスクにおける全小領域のマスク値をクリア（ゼロ化）する。
（Ｓ４０３〜Ｓ４０６）所定時間、端末２１及び２２からの（画像分配装置２０を介した）通知を受け付けるループに入る。

（Ｓ４０４）通知の種類を判定する。ここで、通知が領域リクエストであると判定した場合、当該領域リクエストをリストに追加する（ステップＳ４０５ａ）。また、通知が領域リクエストの取下げ通知であると判定した場合、該当する領域リクエストをリストから削除する（ステップＳ４０５ｂ）。さらに、通知が、領域リクエストでも領域リクエスト取下げ通知でもないその他の通知であると判定した場合、領域リクエストのリストについて何も行わない。

（Ｓ４０７）所定時間経過後、リスト内の領域リクエストの要求するリクエスト領域と進行方向の視野領域との重畳の有無、該当する領域リクエストの優先度（優先順位）、及び該当する領域リクエストの到着順位をキーとして、リスト内の領域リクエストをソートする。
（Ｓ４０８）リストの先頭から領域リクエストを取り出し、マスクについて、当該領域リクエストに係るリクエスト領域に属する小領域にマスク値１を加算する。例えば、既にマスク値として１が付与されていた場合、このマスク値を２とする。尚、取り出した領域リクエストは、リストの先頭から外される。従って、次にこのステップの処理を行う場合、当初この領域リクエストの次にリストされていた領域リクエストが、先頭のリクエストとして取り出されることになる。

（Ｓ４０９）マスク値が１以上である小領域の総面積（総数）が、上限面積閾値Ths以上であるか否かを判定する。ここで、上限面積閾値Ths以上ではないとの判定を行った場合、ステップＳ４０８に戻り、次の領域リクエストをリストから取り出して処理を行う。尚、リスト内の領域リクエストが全て取り出されている場合、ステップＳ４１０に移行し、マスク値全体のスケーリング処理に入る。

（Ｓ４１０）一方、ステップＳ４０９で上限面積閾値Ths以上であるとの判定を行った場合、マスク値全体をスケーリングするスケーリング処理を行う。典型的なスケーリング処理として、全てのマスク値に０．９等の係数を乗ずる処理が挙げられる。
このように、特定のマスク値を有する小領域の総面積の調整だけでは符号化処理後の伝送レートを的確に制御することは不可能であるが、ビットレートの実測値を利用したスケーリング処理を行うことによって当該制御が可能となる。

（Ｓ４１１）生成したマスクを用いてマスク処理、即ち画像データ量低減処理を行う。
次いで、マスク処理した画像情報に対し、符号化処理が行われる。

（Ｓ４１２）符号化処理後の画像データのビットレートが上限レート閾値以下であるか否かを判定する。ここで、上限レート閾値以下ではないとの判定を行った場合、ステップＳ４１０に戻って再度スケーリング処理を行い、ビットレートを低下させる処置を実施する。

（Ｓ４１３）一方、ステップＳ４１２で上限レート閾値以下であるとの判定を行った場合、次いで、生成した画像データにおけるリクエスト重畳領域を決定する。
ここで、リクエスト重畳領域は、所定の度合い以上にリクエストが重畳した画像領域であり、本実施形態の場合、マスク値が所定閾値以上、例えば５以上の小領域からなる画像領域とすることができる。

（Ｓ４１４）リクエスト重畳領域の位置や面積等の情報である重畳領域情報を、生成した画像データに付与する。
これにより、当該画像データを受信した画像分配装置２０は、合わせて重畳領域情報を取得し、取得した画像データにおけるリクエスト重畳領域を認識することができる。ここで、画像分配装置２０は、例えばこのリクエスト重畳領域を区別、明示又は強調して、操縦端末２２に提供することも可能となる。

以上により、本実施形態におけるマスク生成・マスク処理１回分が終了する。

ここで、上記のステップＳ４１３及びＳ４１４におけるリクエスト重畳領域に係る処理は、マスク生成部１１１のリクエスト領域重畳判定部１１１ａ（図１）が実施してもよい。リクエスト領域重畳判定部１１１ａは、言い換えれば希望集中領域判定手段として捉えられ、操縦端末２２を使用するロボット１の操縦者に対し、他の端末２１の観察者（視聴者）の大勢が画像のどの領域を見たがっているかを示唆し、例えば、当該操縦者が次にロボット１を移動させる方向を決めるための参考情報を提供する機能を果たす。

尚、このような希望集中領域判定機能は、後に詳細に説明するように、画像分配装置２０における撮影画像分配部２１２のリクエスト領域重畳判定部２１２ａが担当することも可能である。この場合、上述したように、マスク値が所定閾値以上の領域全体の輪郭を抽出するのではなく、画像を表示する際、リクエスト重畳領域を区別、明示又は強調した画像を操縦端末２２に提供する形となる。また、当然に、希望集中領域判定機能をリクエスト領域重畳判定部１１１ａ（画像送信システム）にもリクエスト領域重畳判定部２１２ａ（画像受信システム）にも付与し、上記の両方の作用効果を奏させることも可能である。

［画像受信システム：画像分配装置及び端末］
次いで、同じく図１に示した機能ブロック図を用いて、画像分配装置２０、端末２１及び操縦端末２２の機能構成を説明する。

図１によれば、画像分配装置２０は、第１通信インタフェース２０５と、第３通信インタフェース２０６と、プロセッサ・メモリとを有する。ここで、プロセッサ・メモリは、画像分配装置２のコンピュータを機能させるプログラムを実行することによって、画像受信機能を実現させる。

さらに、プロセッサ・メモリは、機能構成部として、領域リクエスト管理部２１１と、リクエスト領域重畳判定部２１２ａを含む撮影画像分配部２１２と、第１通信制御部２１３と、第３通信制御部２１４とを有する。尚、図１における画像分配装置２の各機能構成部を矢印で接続した処理の流れは、本発明による画像送受信方法の一実施形態としても理解される。

同じく図１によれば、端末２１は、表示部２０１と、入力インタフェース２０２とを有する。また、操縦端末２２は、表示部２０３と、入力インタフェース２０４と、機能構成部としての操作制御部２２１とを有する。

第１通信インタフェース２０５は、画像分配装置２０と撮影ロボット１との通信接続を担う無線ネットワークに接続され、「領域リクエスト」情報や駆動部１０２に対する制御信号を送信したりマスク処理を施された画像データを受信したりするインタフェースである。また、第１通信制御部２１３は、これらの情報の送受信を制御する。

第３通信インタフェース２０６は、画像分配装置２０と端末２１及び操縦端末２２との間の情報の送受信を担うインタフェースである。例えば、端末２１及び操縦端末２２から領域リクエストを生成するための情報や、駆動部１０２に対する制御信号を受信し、一方、端末２１及び操縦端末２２の各々へ、領域リクエストに応じた画像データを配信する。また、第３通信制御部２１４は、これらの情報の送受信を制御する。

領域リクエスト管理部２１１は、撮影される画像の少なくとも一部の領域の取得をリクエストする１つ又は複数の領域リクエストを生成する。領域リクエストは、端末２１及び操縦端末２２の各々からの要求に応じて生成される。また、領域リクエスト管理部２１１は、駆動部１０２の操作に係る撮影される画像内での視野領域の取得をリクエストする視野領域リクエストを生成することも好ましい。

さらに、領域リクエスト管理部２１１は、生成する領域リクエストに対し、マスクの生成において採用される優先度を示す優先度情報を付与することも好ましい。ここで、この優先度情報は、領域リクエストとともに撮影ロボット１に送信され、撮影ロボット１のマスク生成部１１１において、領域リクエストを反映したマスクの生成に利用される。

撮影画像分配部２１２は、受信された画像データに基づいて生成された撮影画像情報を、領域リクエストに応じて端末２１及び端末２２の各々に分配又は出力し、対応する表示部２０１及び２０３の各々に表示させる。ここで、撮影画像情報は、分配又は出力先の端末による領域リクエストを含む画像データを、受信された元の画像データから切り取ったものとすることができる。または、領域リクエストに応じた画像部分の切り取りを行わずに、受信された元の画像データそのものを撮影画像情報とすることも可能である。

具体的には、分配方法の実施形態として、
（ａ）撮影画像分配部２１２は、入力した画像データを複製し、同一のデータを端末２１及び２２に配布する。この場合、各端末は、自らが送信を要求したリクエスト領域を認識しているので、配布された映像データの中から当該リクエスト領域のみを抽出し、表示部２０１及び２０３に表示することができる。または、
（ｂ）撮影画像分配部２１２は、入力した画像データにひとまず復号化処理を施して、復号した画像データの中から各端末が要求したリクエスト領域を抽出し、抽出された各画像データを再度符号化した上で、各端末に配布する。

また、撮影画像分配部２１２は、生成された撮影画像情報のうち少なくともリクエスト重畳領域の画像部分の情報を、操縦端末２２に配信又は出力し、駆動部１０２の操作の際に視認される表示部２０３に表示させることも好ましい。

さらに、撮影画像分配部２１２は、領域リクエスト管理部２１１で生成された領域リクエストに基づいて、所定の度合い以上にリクエストが重畳した領域であるリクエスト重畳領域の画像部分を決定し、生成された撮影画像情報のうち少なくとも当該画像部分が区別、明示又は強調された情報を、操縦端末２２に配信又は出力し、駆動部１０２の操作の際に視認される表示部２０３に表示させることも好ましい。

ここで、リクエスト重畳領域の画像部分の決定は、撮影画像分配部２１２内のリクエスト領域重畳判定部２１２ａで行われてもよい。この場合、リクエスト領域重畳判定部２１２ａは、言い換えれば希望集中領域判定手段として捉えられ、操縦端末２２を使用するロボット１の操縦者に対し、他の端末２１の観察者（視聴者）の大勢が画像のどの領域を見たがっているかを示唆し、例えば、当該操縦者が次にロボット１を移動させる方向を決めるための参考情報を提供する機能を果たす。具体的には、リクエスト重畳領域を区別、明示又は強調した画像データを操縦端末２２に提供し、当該画像データを表示部２０３に表示させることができる。表示された画像データでは、例えばリクエスト領域における画像の明度が高くなったり点滅するように変動したり、またはリクエスト領域の位置や範囲を示すポインタや枠が表示されたりしてもよい。

操縦端末２２の操作制御部２２１は、表示部２０３を視認しつつ実施可能な操作であって駆動部１０２の駆動を制御するための操作を受け付け、受け付けた操作に基づいて、撮影ロボット１宛てに送信する操作制御信号を生成する。

［画像送受信システムの他の実施形態］
図５は、本発明による画像送受信システムの他の実施形態を示す模式図である。

図５によれば、本実施形態の画像送受信システムにおける画像送信システム６は、ネットワークに接続された複数台の撮影部としてのリモートカメラ６１と、画像処理送信装置６４とを含むカメラシステムである。また、画像受信システム７は、画像分配装置７１と、複数台の表示部としてのモニタディスプレイとを含むモニタシステムである。ここで、モニタディスプレイは、リモートカメラ６１を操縦する端末７３及び操縦端末７４の備えているディスプレイとすることができる。端末７３及び操縦端末７４は、例えばＡＰ７２を介して、又はその他のネットワーク手段によって、画像分配装置７１と通信接続可能となっている。

複数のリモートカメラ６１は、それぞれ無線ネットワークを介しアクセスポイント（ＡＰ）６２経由で、画像処理送信装置６４と通信接続可能となっている。ここで、リモートカメラ６１の少なくとも１つは、有線路を介して画像処理送信装置６４と接続されてもよく、または、インターネット上に設置された、撮影信号処理用のサーバ６３を経由して、画像処理送信装置６４と通信接続可能となっていてもよい。また、リモートカメラ６１の少なくとも１つは、所定の地点に固定されて設置されていてもよく、または、自動車や交通機関等の移動手段に設置されて移動可能となっていてもよい。

画像処理送信装置６４は、図１に示した撮影ロボット１のうちカメラ１０１及び駆動部１０２を除く機能部を全て備えており、一方、画像分配装置７１は、図１に示した画像分配装置２０の有する機能部を全て備えている。また、両装置は、撮影ロボット１及び画像分配装置２０と同様に、画像データを伝送するための無線ネットワークを介して通信接続可能となっている。

このような実施形態の画像送受信システムにおいても、端末７３及び７４による領域リクエストに対応した形で、リモートカメラ６１で撮影された画像の情報を、画像データを伝送する無線ネットワークにおける伝送レートの制限内で確実に伝送させることができるのである。尚、本発明の画像送受信システムの取り得る実施形態は、以上に説明したものに限定されるものではない。１つ以上のカメラによって撮影された画像を、無線ネットワークを介して伝送し、１つ以上の表示部に表示させるシステムならば、本発明の技術を適用することが可能である。

以上詳細に説明したように、本発明によれば、撮影される画像の少なくとも一部の領域に対する領域リクエストを反映したマスクを利用することにより、当該領域リクエストに対応した形で、撮影した画像の情報を、画像を伝送する伝送路における伝送レートの制限内で確実に伝送させることができる。例えば、Ｗｉ−Ｆｉ（登録商標）等の無線ＬＡＮにおけるデータ転送レートの上限を守りつつ、例えば遠隔操作ロボットによる撮影画像の中の特定の複数領域をそれぞれ、互いに異なる複数のスマートフォンで同時に視聴し、安定した所望の映像を享受することが可能になる。

さらに、本発明によれば、画角の広いカメラを使用し、４Ｋや８Ｋといった高解像度の規格で撮影を行った上で、観察者（視聴者）が必要とする部分だけの、又は当該部分を主とする映像信号を生成することによって、伝送レートの上限の低い伝送路においても、当該映像信号を送ることが可能になる。さらに、本発明の実施形態によっては、受信側の複数のスマートフォンからの映像伝送要求が競合する場合でも、カメラを搭載した担体の操縦に必要となる、進行方向の動画像を優先的に送信することも可能になる。

また、本発明の構成及び方法は、テレビ会議システム、展示会等案内システム、災害地等探索・調査システム、高放射線領域探索・調査システム、特定区域又は広域用の監視システム等、撮影画像を見るニーズの存在する様々な系にも適用可能である。

以上に述べた本発明の種々の実施形態において、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１ 撮影ロボット（画像送信システム）
１０１ カメラ（撮影部）
１０２ 駆動部
１０３ 第２通信インタフェース
１０４ センサ部
１１１ マスク生成部
１１１ａ リクエスト領域重畳判定部
１１２ マスク処理部
１１３ 符号化部
１１３ａ ビットレート計測部
１１４ 画像合成部
１１５ 速度・向き判定部
１１６ 第２通信制御部
２ 画像受信システム
２０、７１ 画像分配装置
２０１、２０３ 表示部
２０２、２０４ 入力インタフェース
２０５ 第１通信インタフェース
２０６ 第３通信インタフェース
２１、７３ 端末
２１１ 領域リクエスト管理部
２１２ 撮影画像分配部
２１２ａ リクエスト領域重畳判定部
２１３ 第１通信制御部
２１４ 第３通信制御部
２２、７４ 操縦端末
２２１ 操作制御部
６ 画像送信システム
６１ リモートカメラ
６２、７２ アクセスポイント（ＡＰ）
６３ サーバ
６４ 画像処理送信装置

Claims (10)

1. 撮影した画像の情報を送信可能な画像送信システムと、当該画像の情報を受信可能な画像受信システムとを備えた画像送受信システムであって、
   前記画像受信システムは、
   撮影される画像の少なくとも一部の領域に対するリクエストである１つ又は複数の領域リクエストを生成する領域リクエスト管理手段と、
   当該領域リクエストを前記画像送信システム宛てに送信する第１の通信制御手段と
   を有し、
   前記画像送信システムは、
   １つ又は複数の撮影部と、
   当該画像の情報の送信におけるビットレートを計測するビットレート計測手段と、
   受信された当該領域リクエストにおいてリクエストされた領域以外の画像部分のデータをより低率で通過させるマスクであって、計測された当該ビットレートに基づいて、ビットレートが所定値又は所定範囲内となるようにマスク値をスケーリングしたマスクを生成するマスク生成手段と、
   当該撮影部から出力された画像信号に基づいて生成された画像情報に対し、生成されたマスクを用いて画像データ量を低減させるマスク処理を行うマスク処理手段と、
   マスク処理された画像情報に基づいて生成された画像データを前記画像受信システム宛てに送信する第２の通信制御手段と
   を有し、
   前記画像受信システムは、
   撮影された画像の少なくとも一部を表示する１つ又は複数の表示部と、
   受信された当該画像データに基づいて生成された撮影画像情報を、当該領域リクエストに応じて当該表示部に分配又は出力する撮影画像分配手段と
   を更に有することを特徴とする画像送受信システム。
2. 前記画像送信システムは、当該撮影部の撮影位置及び撮影向きの一方又は両方を変更する駆動部を更に有し、
   前記画像受信システムは、前記１つ又は複数の表示部のうちの少なくとも１つを視認しつつ実施可能な操作であって当該駆動部の駆動を制御するための操作を受け付け、当該操作に基づいて、前記画像送信システム宛てに送信する操作制御信号を生成する操作制御部を更に有し、
   前記領域リクエスト管理手段は、当該駆動部の操作に係る撮影される画像内での視野領域の取得をリクエストする視野領域リクエストを生成し、
   前記マスク生成手段は、受信された当該視野領域リクエストによってリクエストされた視野領域の画像部分のデータをより高率で又は最も高い優先度をもって通過させるマスクを生成する
   ことを特徴とする請求項１に記載の画像送受信システム。
3. 前記領域リクエスト管理手段は、生成する領域リクエストに対し、前記マスクの生成において採用される優先度を示す優先度情報を付与し、
   前記マスク生成手段は、付与された優先度に基づいて、受信された当該領域リクエストを前記マスクの生成において採用するか否かを決定し、または、より高い優先度の付与された領域リクエストによってリクエストされた領域の画像部分のデータをより高率で通過させるマスクを生成する
   ことを特徴とする請求項１又は２に記載の画像送受信システム。
4. 前記画像送信システムは、当該撮影部の撮影位置及び撮影向きの一方又は両方を変更する駆動部を更に有し、
   前記画像受信システムは、前記１つ又は複数の表示部のうちの少なくとも１つを視認しつつ実施可能な操作であって当該駆動部の駆動を制御するための操作を受け付け、当該操作に基づいて、前記画像送信システム宛てに送信する操作制御信号を生成する操作制御部を更に有し、
   前記マスク生成手段は、受信された当該領域リクエストに基づいて、所定の度合い以上にリクエストが重畳した領域であるリクエスト重畳領域の画像部分のデータをより高率で通過させるマスクを生成し、
   前記撮影画像分配手段は、生成された撮影画像情報のうち少なくとも当該リクエスト重畳領域の画像部分の情報を、当該駆動部の操作の際に視認される表示部に配信又は出力する
   ことを特徴とする請求項１から３のいずれか１項に記載の画像送受信システム。
5. 前記画像送信システムは、当該撮影部の撮影位置及び撮影向きの一方又は両方を変更する駆動部を更に有し、
   前記画像受信システムは、前記１つ又は複数の表示部のうちの少なくとも１つを視認しつつ実施可能な操作であって当該駆動部の駆動を制御するための操作を受け付け、当該操作に基づいて、前記画像送信システム宛てに送信する操作制御信号を生成する操作制御部を更に有し、
   前記撮影画像分配手段は、前記領域リクエスト管理手段で生成された当該領域リクエストに基づいて、所定の度合い以上にリクエストが重畳した領域であるリクエスト重畳領域の画像部分を決定し、生成された撮影画像情報のうち少なくとも当該画像部分が区別、明示又は強調された情報を、当該駆動部の操作の際に視認される表示部に配信又は出力する
   ことを特徴とする請求項１から４のいずれか１項に記載の画像送受信システム。
6. 前記マスク処理手段は、当該画像情報に対し、当該マスク処理として、生成されたマスクのマスク値に応じた、空間方向の低域濾波処理、時間方向の低域濾波処理及び減色処理のうちの１つ又は複数の組合せを行うことを特徴とする請求項１から５のいずれか１項に記載の画像送受信システム。
7. 前記画像送信システムは、駆動可能なロボットであり、前記画像受信システムは、該ロボットの駆動を制御可能な遠隔操縦端末を含むことを特徴とする請求項１から６のいずれか１項に記載の画像送受信システム。
8. 前記画像送信システムは、ネットワークに接続された複数台の撮影部としてのカメラを含むカメラシステムであり、前記画像受信システムは、複数台の表示部としてのモニタディスプレイを含むモニタシステムであることを特徴とする請求項１から６のいずれか１項に記載の画像送受信システム。
9. 撮影した画像の情報を送信可能な画像送信システムと、当該画像の情報を受信可能な画像受信システムとを備えた画像送受信システムであって、
   前記画像受信システムは、
   撮影される画像の少なくとも一部の領域に対するリクエストである１つ又は複数の領域リクエストを生成する領域リクエスト管理手段と、
   当該領域リクエストを前記画像送信システム宛てに送信する第１の通信制御手段と
   を有し、
   前記画像送信システムは、
   １つ又は複数の撮影部と、
   当該撮影部の撮影位置及び撮影向きの一方又は両方を変更する駆動部と、
   受信された当該領域リクエストに基づいて、リクエストされた領域以外の画像部分のデータをより低率で通過させるマスクを生成するマスク生成手段と、
   当該撮影部から出力された画像信号に基づいて生成された画像情報に対し、生成されたマスクを用いて画像データ量を低減させるマスク処理を行うマスク処理手段と、
   マスク処理された画像情報に基づいて生成された画像データを前記画像受信システム宛てに送信する第２の通信制御手段と
   を有し、
   前記画像受信システムは、
   撮影された画像の少なくとも一部を表示する１つ又は複数の表示部と、
   前記１つ又は複数の表示部のうちの少なくとも１つを視認しつつ実施可能な操作であって当該駆動部の駆動を制御するための操作を受け付け、当該操作に基づいて、前記画像送信システム宛てに送信する操作制御信号を生成する操作制御部と、
   受信された当該画像データに基づいて生成された撮影画像情報を、当該領域リクエストに応じて当該表示部に分配又は出力する撮影画像分配手段であって、前記領域リクエスト管理手段で生成された当該領域リクエストに基づいて、所定の度合い以上にリクエストが重畳した領域であるリクエスト重畳領域の画像部分を決定し、生成された撮影画像情報のうち少なくとも当該画像部分が区別、明示又は強調された情報を、当該駆動部の操作の際に視認される表示部に配信又は出力する撮影画像分配手段と
   を更に有することを特徴とする画像送受信システム。
10. 撮影した画像の情報を送信可能な画像送信システムと、当該画像の情報を受信可能な画像受信システムとを備えた画像送受信システムにおける画像の送受信方法であって、
    前記画像受信システムが、撮影される画像の少なくとも一部の領域に対するリクエストである１つ又は複数の領域リクエストを生成し、当該領域リクエストを前記画像送信システム宛てに送信する第１のステップと、
    前記画像送信システムが、当該画像の情報の送信におけるビットレートを計測し、受信された当該領域リクエストにおいてリクエストされた領域以外の画像部分のデータをより低率で通過させるマスクであって、計測された当該ビットレートに基づいて、ビットレートが所定値又は所定範囲内となるようにマスク値をスケーリングしたマスクを生成する第２のステップと、
    前記画像送信システムが、当該システム内に設けられた１つ又は複数の撮影部から出力された画像信号に基づいて生成された画像情報に対し、生成されたマスクを用いて画像データ量を低減させるマスク処理を行う第３のステップと、
    前記画像送信システムが、マスク処理された画像情報に基づいて生成された画像データを前記画像受信システム宛てに送信する第４のステップと、
    前記画像受信システムが、受信された当該画像データに基づいて生成された撮影画像情報を、当該領域リクエストに応じて、当該システム内に設けられた表示部に分配又は出力する第５のステップと
    を有することを特徴とする画像送受信方法。

Images