JP2018129577A - 撮影システム、その制御方法、及びプログラム - Google Patents

Abstract

【課題】撮影装置を備えた無人航空機に振動が発生した場合であっても、適切な画像を提供することを目的とする。【解決手段】第一の撮影装置を備える無人航空機と該第一の撮影装置とは異なる第二の撮影装置とを有する撮影システムであって、当該撮影システムは前記第一の撮影装置および前記第二の撮影装置で撮影した画像データを取得する。そして無人航空機の振動に関するデータを受信し、前記第一の撮影装置および前記第二の撮影装置で撮影された画像データを送信するための制御を行う。この画像データを送信するための制御は、受信した振動に関するデータに応じて、前記第一の撮影装置および前記第二の撮影装置で撮影された画像データのうち、いずれか一方の画像データを送信するように制御を行うことを特徴とする。【選択図】図６

Description

本発明は、無人航空機で撮影された画像データを処理する撮影システム、その制御方法、及びプログラムに関する。

従来から、撮影装置で撮影された画像をリアルタイムに送信するシステムが知られている。当該画像は、例えば、テレビ放送の映像や地図データの作成のために用いられる。また、近年、撮影装置を備えた無人航空機で撮影することにより、従来のシステムよりも自由度の高い映像を提供可能な中継システムが検討されている。

例えば、特許文献１には、無人航空機により上空から撮影された画像をテレビニュース等の報道に使用する中継システムが開示されている。

特開２０１６−２２５９８３号公報

ところで、無人航空機は、上空を飛行しながら撮影を行うため、風や気圧の変化等の外的影響を受けやすい。しかしながら、特許文献１には、当該外的影響の対策に関しては何ら検討されていない。そのため、無人航空機は、振動の影響を受けることにより、撮影した画像の画質が低下するおそれがあった。特に、テレビ中継等のリアルタイムで画像を提供する場合には、視聴者に適切な映像を提供できないおそれがあった。

そこで、本発明は、撮影装置を備えた無人航空機に振動が発生した場合であっても、適切な画像を提供することを目的とする。

本発明は、第一の撮影装置を備える無人航空機と、該第一の撮影装置とは異なる第二の撮影装置と、を有する撮影システムであって、前記第一の撮影装置および前記第二の撮影装置で撮影した画像データを取得する取得手段と、前記無人航空機の振動に関するデータを受信する受信手段と、前記第一の撮影装置および前記第二の撮影装置で撮影された画像データを送信するための制御を行う制御手段と、を備え、前記制御手段は、前記受信手段で受信した振動に関するデータに応じて、前記第一の撮影装置および前記第二の撮影装置で撮影された画像データのうち、いずれか一方の画像データを送信するように制御することを特徴とする。

本発明によれば、無人航空機を用いた画像の撮影中に揺れが生じた場合であっても、適切な画像を提供可能な効果を奏する。

本発明の実施形態における、撮影システムのシステム構成の一例を示す図である。 無人航空機１０１のハードウェア構成の一例を示す図である。 ネットワークカメラ１０３のハードウェア構成の一例を示す図である。 制御用コンピュータ１０５のハードウェア構成の一例を示す図である。 撮影システムの機能構成の一例を示す図である。 第１の実施形態における、無人航空機の制御処理の一例を示すフローチャートである。 角速度センサから出力された各種データの一例を示す図である。 第２の実施形態における、無人航空機の制御処理の一例を示すフローチャートである。

以下、図面を参照して、本発明の実施形態を詳細に説明する。まず、第１の実施形態について説明する。図１は本実施形態における撮影システムのシステム構成の一例を示す図である。

本実施形態の撮影システムは、無人航空機１０１、操作端末１０２、ネットワークカメラ１０３、中継装置１０４、制御用コンピュータ１０５、および操作卓１０６を備える。そして、それらがネットワーク１１０や無線ＬＡＮ（移動体通信網を含む）１２０を介して通信接続可能に接続されている。尚、図１のシステム構成は一例であり、用途や目的に応じて様々な構成例がある。

無人航空機１０１は、操作端末１０２により遠隔操縦が可能な無人の航空機である。無人航空機１０１は、操作端末１０２からの指示に応じて、複数の回転翼を動作させて飛行する。無人航空機１０１は、この回転翼の回転数を増減させることで無人航空機１０１の前進・後退・旋回・ホバリング等を行う。無人航空機１０１は、例えば、ドローンである。

また、無人航空機１０１は、操作端末１０２や制御用コンピュータ１０５等と無線および有線で通信することが可能である。尚、本実施形態では、無人航空機１０１は、操作端末１０２や制御用コンピュータ１０５等と有線および無線のどちらの方式で通信してもよい。

操作端末１０２は、無人航空機１０１を操縦するための送信機（遠隔操作端末）である。本実施形態では、無人航空機１０１を操縦可能な操作端末として、プロポと呼ばれるプロポーショナル・システム（比例制御システム）を例に説明を行うが、操作端末１０２は、いわゆるスマートフォンやタブレット端末といった携帯端末であってもよい。当該プロポは、操作を受け付けることによりプロポが有する操作部の移動量に比例して、無人航空機１０１の回転翼の回転数を制御することができる。尚、無人航空機１０１の制御方法として、操作端末１０２による手動の制御でなくとも、あらかじめ飛行経路等を設定することで無人航空機１０１の自動制御を行い飛行してもよい。

ネットワークカメラ１０３は、無線ＬＡＮや電話回線を介して制御用コンピュータ１０５と通信可能に接続されたカメラであり、所定の場所に設置された固定カメラを示す。ここで言うネットワークカメラ１０３は、例えばビルの屋上などに設置されるカメラであり、お天気カメラとして利用されるカメラを含む。また、ネットワークカメラ１０３は、建物の出入り口や街中に設置され監視カメラを含む。ネットワークカメラ１０３は、カメラの向きを移動させ、撮影方向を変更させることが可能である。カメラの向きを移動させる動作とは、カメラのレンズの向きを左右に動かすパン、カメラのレンズの向きを上下に動かすチルト、そして、カメラのレンズを望遠にしたり広角にしたりするズームの機能を有している。これらのカメラの制御は遠隔地から操作（ＰＴＺ制御）できるようになっている。尚、本実施形態のネットワークカメラ１０３は、一例として固定されたカメラを例に説明を行うが、これに限定されず、無人航空機１０１とは異なる他の無人航空機に搭載されたカメラであってもよい。

中継装置１０４は、ネットワークカメラ１０３や無人航空機１０１に対して電源を供給したり、操作卓１０６からの制御信号を伝えたりする機能を有する。

制御用コンピュータ１０５（情報処理装置）や操作卓１０６は、ネットワークカメラ１０３が設置された場所と物理的に距離が離れた遠隔地に設置されていてもよい。例えば、制御用コンピュータ１０５（情報処理装置）や操作卓１０６は、同一の敷地内等の物理的な距離はそれほど離れていない近距離に設置されていてもよい。また、複数の無人航空機１０１やネットワークカメラ１０３をまとめて管理する集中管理センターに設定することも可能である。

制御用コンピュータ１０５は、複数の無人航空機１０１やネットワークカメラ１０３を制御するための操作卓１０６の制御回線を接続する機器である。

操作卓１０６は、無人航空機１０１やネットワークカメラ１０３を制御するための指示を受け付ける機器である。

ネットワーク１１０および無線ＬＡＮ１２０は、本撮影システムの各機器を接続するネットワークである。本撮影システムの各機器は、ネットワークで接続されていても無線ＬＡＮで接続されていても、移動体通信網で接続されていても実施可能なものである。

図２は、無人航空機１０１のハードウェア構成を示す図である。尚、図２に示す無人航空機１０１のハードウェア構成は一例であり、用途や目的に応じて様々な構成例がある。

フライトコントローラ２００は無人航空機１０１の飛行制御を行うためのマイクロコントローラであり、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、周辺バスインタフェース２０４（以下、周辺バスＩ／Ｆ２０４という。）を備えている。

ＣＰＵ２０１は、システムバスに接続される各デバイスを統括的に制御する。また、ＲＯＭ２０２あるいは周辺バスＩ／Ｆ３０４に接続される外部メモリ２８０には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラムが記憶されている。

また外部メモリ２８０（記憶手段）には、無人航空機１０１の実行する機能を実現するために必要な各種プログラム等が記憶されている。ＲＡＭ２０３（記憶手段）は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。

ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＡＭ２０３にロードして、プログラムを実行することで各種動作を実現するものである。

周辺バスＩ／Ｆ２０４は、各種周辺デバイスと接続するためのインタフェースである。周辺バスＩ／Ｆ２０４には、ＰＭＵ２１０、ＳＩＭアダプタ２２０、無線ＬＡＮ用ＢＢユニット２３０、移動体通信用ＢＢユニット２４０、ＧＰＳユニット２５０、センサ２６０、ＧＣＵ２７０、外部メモリ２８０が接続されている。

ＰＭＵ２１０はパワーマネジメントユニットであり、無人航空機１０１が備えるバッテリからＥＳＣ２１１への電源供給を制御することができる。ＥＳＣ２１１は、エレクトロニックスピードコントローラであり、ＥＳＣ２１１に接続されるモータ２１２の回転数を制御することができる。ＥＳＣ２１１によってモータ２１２を回転させることで、モータ２１２に接続されるプロペラ２１３（回転翼）を回転させる。

尚、ＥＳＣ２１１、モータ２１２、プロペラ２１３のセットは、プロペラ２１３の数に応じて複数備えられている。例えば、クアッドコプターであれば、プロペラ２１３の数は４枚であるので、このセットが４つ必要となる。

ＳＩＭアダプタ２２０は、ＳＩＭカード２２１を挿入するためのカードアダプタである。ＳＩＭカード２２１の種類は特に問わない。移動体通信網を提供する通信事業者に応じたＳＩＭカード２２１であればよい。

無線ＬＡＮ用ＢＢユニット２３０は、無線ＬＡＮを介して通信を行うためのベースバンドユニットである。無線ＬＡＮ用ＢＢユニット２３０は、送信したいデータや信号からベースバンド信号を生成して変復調回路へ送出することができる。更に、受信したベースバンド信号から元のデータや信号を得ることができる。

また、無線ＬＡＮ用ＲＦユニット２３１は、無線ＬＡＮを介して通信を行うためのＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）ユニットである。無線ＬＡＮ用ＲＦユニット２３１は、無線ＬＡＮ用ＢＢユニット２３０から送出されたベースバンド信号を無線ＬＡＮの周波数帯に変調してアンテナから送信することができる。更に、無線ＬＡＮの周波数帯の信号を受信すると、これをベースバンド信号に復調することができる。

移動体通信用ＢＢユニット２４０は、移動体通信網を介して通信を行うためのベースバンドユニットである。移動体通信用ＢＢユニット２４０は、送信したいデータや信号からベースバンド信号を生成して変復調回路へ送出することができる。更に、受信したベースバンド信号から元のデータや信号を得ることができる。

また、移動体通信用ＲＦユニット２４１は、移動体通信網を介して通信を行うためのＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）ユニットである。移動体通信用ＲＦユニット２４１は、移動体通信用ＢＢユニット２４０から送出されたベースバンド信号を移動体通信網の周波数帯に変調してアンテナから送信することができる。更に、移動体通信網の周波数帯の信号を受信すると、これをベースバンド信号に復調することができる。

ＧＰＳユニット２５０は、グローバルポジショニングシステムにより、無人航空機１０１の現在位置を取得することの可能な受信機である。ＧＰＳユニット２５０は、ＧＰＳ衛星からの信号を受信し、現在位置を推定することができる。

センサ２６０は、無人航空機１０１の傾き、向き、速度や周りの環境を計測するためのセンサである。無人航空機１０１はセンサ２６０として、ジャイロセンサ、加速度センサ、気圧センサ、磁気センサ、超音波センサ等を備えている。これらのセンサから取得したデータに基づいて、ＣＰＵ２０１が無人航空機１０１の姿勢や移動を制御する。

ＧＣＵ２７０はジンバルコントロールユニットであり、カメラ２７１とジンバル２７２の動作を制御するためのユニットである。無人航空機１０１が飛行することにより機体に振動が発生したり、機体が不安定になったりするため、カメラ２７１で撮影した際にブレが発生しないよう、ジンバル２７２によって無人航空機１０１の振動を吸収し水平を維持する。また、ジンバル２７２によってカメラ２７１の遠隔操作を行うことも可能である。

本発明の無人航空機１０１が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ２８０に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ２８０に格納されている。

図３は、ネットワークカメラ１０３のハードウェアの構成を示す構成図である。

ＣＰＵ３０１は、システムバス３０４に接続される各デバイスやコントローラを統括的に制御する。

また、ＲＯＭ３０２あるいは外部メモリ３０５には、ＣＰＵ３０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）が記憶されている。また、画像処理サーバ１０８の実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。ＲＡＭ３０３は、ＣＰＵ３０１の主メモリ、ワークエリア等として機能する。ＣＰＵ３０１は、処理の実行に際して必要なプログラム等をＲＡＭ３０３にロードして、プログラムを実行することで各種動作を実現するものである。

メモリコントローラ（ＭＣ）３０６は、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ、画像データ等を記憶するハードディスク（ＨＤ）へのアクセスを制御する。また、ＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）やスマートメディア（登録商標）等の外部メモリ３０５へのアクセスを制御する。

カメラ部３０７は、画像処理部３０８と接続されており、監視対象に対して向けられたレンズを透過して得られた光をＣＣＤやＣＭＯＳ等の受光セルによって光電変換を行った後、ＲＧＢ信号や補色信号を画像処理部３０８に対して出力する。

画像処理部３０８は、ＲＧＢ信号や捕色信号に基づいて、ホワイトバランス調整、ガンマ処理、シャープネス処理を行う。更に、ＹＣ信号処理を施して輝度信号Ｙとクロマ信号（以下、ＹＣ信号）を生成する。そしてＹＣ信号を所定の圧縮形式（例えばＪＰＥＧフォーマット、あるいはＭｏｔｉｏｎＪＰＥＧフォーマット等）で圧縮し、この圧縮されたデータは、画像データとして外部メモリ３０５へ一時保管される。

通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）３０９は、ネットワークを介して、外部機器と接続・通信するものである。通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）３０９は、ネットワークでの通信制御処理を実行しており、外部メモリ３０５に記憶された画像データは、通信Ｉ／Ｆコントローラ３０９によって外部機器へ送信される。

図４は、制御用コンピュータ１０５（以下、情報処理装置１０５）のハードウェア構成の一例を示す図である。

ＣＰＵ４０１は、システムバス４０４に接続される各デバイスやコントローラを統括的に制御する。

また、ＲＯＭ４０２あるいは外部メモリ４１１（記憶手段）には、ＣＰＵ４０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）が記憶される。また、情報処理装置１０５の実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。ＲＡＭ４０３は、ＣＰＵ４０１の主メモリ、ワークエリア等として機能する。

ＣＰＵ４０１は、処理の実行に際して必要なプログラム等をＲＡＭ４０３にロードして、プログラムを実行することで各種動作を実現するものである。

また、入力コントローラ（入力Ｃ）４０５は、キーボード等の文字入力手段、不図示の
マウス等のポインティングデバイス、マイク等の音声取得手段、カメラ等の映像取得手段
等の入力デバイス４０９からの入力を制御する。

ビデオコントローラ（ＶＣ）４０６は、ディスプレイ４１０等の表示器への表示を制御
する。表示器の種類はＣＲＴや、液晶ディスプレイを想定するが、これに限らない。

メモリコントローラ（ＭＣ）４０７は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク（ＨＤ）へのアクセスを制御する。また、フレキシブルディスク（ＦＤ）或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ４１１へのアクセスを制御する。

通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）４０８は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。

尚、ＣＰＵ４０１は、例えばＲＡＭ４０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ４１０上での表示を可能としている。

また、ＣＰＵ４０１は、ディスプレイ４１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。

本発明の情報処理装置１０５が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ４１１に記録されており、必要に応じてＲＡＭ４０３にロードされることによりＣＰＵ４０１によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ４１１に格納されている。

図５は、撮影システムの機能構成の一例を示す図である。尚、図５に示す無人航空機１０１及びネットワークカメラ１０３の機能構成は一例であり、用途や目的に応じて様々な構成例がある。

無人航空機１０１は、機能部として、飛行制御部５１１、無線ＬＡＮ通信制御部５１２、移動体通信制御部５１３、ＧＰＳ制御部５１４、センサ制御部５１５、撮影制御部５１６、画像データ送信部５１７を備える。

飛行制御部５１１は、無人航空機１０１の飛行を制御するための機能部である。飛行制御部５１１は、無人航空機１０１が備える複数の回転翼を、操作端末１０２や中継装置１０４や情報処理装置１０５（制御用コンピュータ１０５）からの指示に応じて回転させ、前進・後退・旋回・ホバリング等の駆動制御を行う。

無線ＬＡＮ通信制御部５１２は、操作端末１０２との間で無線ＬＡＮを介した通信を行うための機能部である。

移動体通信制御部５１３は、操作端末１０２との間で移動体通信網を介した通信を行うための機能部である。移動体通信制御部５１３は、移動体通信用ＢＢユニット２４０及び移動体通信用ＲＦユニット２４１を制御し、移動体通信網の周波数帯に変調して信号を送信、また移動体通信網の周波数帯の信号を受信するとこれを復調する。

ＧＰＳ制御部５１４は、無人航空機１０１の現在位置を取得するための機能部である。ＧＰＳ制御部５１４は、ＧＰＳユニット２５０を制御してＧＰＳ衛星からの信号を受信し、無人航空機１０１の現在位置を推定する。

センサ制御部５１５は、センサ２６０で検出した情報を取得するための機能部である。無人航空機１０１が備える、ジャイロセンサ、加速度センサ、気圧センサ、磁気センサ、超音波センサ等の各種センサが検出した情報を常時取得し、飛行制御部５１１の飛行制御に用いる。また、放送用電波で送信する画像を撮影するカメラの切り替え判断に、ジャイロセンサから取得した無人航空機１０１の揺れを示す情報を用いる。

撮影制御部５１６は、ＧＣＵ２７０を介してカメラ２７１に撮影動作を行わせ、画像データを得るための機能部である。操作端末１０２からの指示に応じてカメラ２７１で撮影を行い、生成された画像データを外部メモリ２８０等の記憶媒体に記憶する。または、生成された画像データを操作端末１０２や中継装置１０４や情報処理装置１０５に送信してもよい。

また、撮影制御部５１６は、操作端末１０２などからの指示に応じて、ＧＣＵ２７０を介してジンバル２７２の動作制御を行い、カメラ２７１の撮影方向を制御することも可能である。

またネットワークカメラ１０３は機能部として、撮影制御部５２１、通信制御部５２２、画像データ送信部５２３を備える。

撮影制御部５２１は、ＣＰＵ３０１によりカメラ部３０７に撮影動作を行わせ、画像データを得るための機能部である。指示に応じてカメラ部３０７で撮影を行い、生成された画像データを外部メモリ３０５等に記憶する。また、受け付けたズームイン動作、及びズームアウト動作の指示に応じてレンズのズーム動作を行い、受け付けたパン動作の指示に応じてネットワークカメラ１０３を右回転、又は左回転させるパン動作を行う。

通信制御部５２２は、ネットワークに通信可能に接続されている各装置（情報処理装置１０５）と通信を行う機能部である。または、撮影制御部５２１の機能により生成された画像データを操作端末１０２や中継装置１０４や情報処理装置１０５に送信してもよい。

画像データ送信部５２３は、テレビ局等が用いる放送用電波を用いて画像データを送信する機能部である。

情報処理装置１０５は、データ送信指示部５３１、無人航空機検知部５３２、ネットワークカメラ制御部５３３、無人航空機制御部５３４、無人航空機情報受信部５３５を備える。

データ送信指示部５３１は、放送用電波を用いて画像データを送信するための指示を、各撮影装置を備える機器に送信するための機能部である。この指示が送信されることにより、無人航空機１０１が備えるカメラ２７１で得られた画像データを放送で用いるのか、ネットワークカメラ１０３が備えるカメラ部３０７で得られた画像データを放送で用いるのかを切り替えることが可能となる。

無人航空機検知部５３２は、無人航空機から位置を取得することにより、無人航空機が飛行している（または存在している）位置情報を取得する機能を有する。

ネットワークカメラ制御部５３３は、ユーザから受け付けた命令に従ってネットワークカメラを制御する機能部である。

無人航空機制御部５３４は、ユーザから受け付けた命令に従うか、もしくはあらかじめの設定により無人航空機１０１を制御する機能部である。

無人航空機情報受信部５３５は、無人航空機１０１が備えるセンサ制御部５１５の機能により取得、または出力される情報を受信する機能部である。

次に、図６を用いて第１の実施形態についての説明を行う。本発明の第１の実施形態は、画像を撮影し放送用電波で送信中の無人航空機１０１の揺れを情報処理装置１０５が取得した場合に、放送用電波で送信する画像をネットワークカメラ１０３等の揺れの発生しにくい固定カメラの画像に切り替える発明である。

ステップＳ６０１では、情報処理装置１０５のＣＰＵ４０１は、ユーザからの画像の撮影開始操作を受け付ける。

ステップＳ６０２では、ネットワークカメラ１０３のＣＰＵ３０１は、ユーザから、もしくは情報処理装置１０５からの画像の撮影開始指示を受け付ける。

ステップＳ６０３では、ネットワークカメラ１０３のＣＰＵ３０１は、画像の撮影を開始する。

ステップＳ６０４では、無人航空機１０１のＣＰＵ２０１は、ユーザもしくは情報処理装置１０５の機能により、飛行開始指示を受け付けたか否かを判定する。飛行開始指示を受け付けたと判定した場合はステップＳ６０５に処理を進める。そうでない場合は飛行開始指示を受け付けるまでステップＳ６０４の処理を繰り返す。

ステップＳ６０５では、無人航空機１０１のＣＰＵ２０１は、ステップＳ６０４で飛行開始指示を受け付け、飛行制御部５１１の機能により無人航空機１０１の飛行を開始する。飛行を開始すると無人航空機１０１の位置情報を情報処理装置１０５に送信する。位置情報は１秒単位など所定の時間ごとに送信するとよい。

ステップＳ６０６では、情報処理装置１０５のＣＰＵ４０１は、無人航空機検知部５３２の機能により、無人航空機１０１の位置情報を受信する。

ステップＳ６０７では、情報処理装置１０５のＣＰＵ４０１は、無人航空機１０１が飛行中か否かを判定する。飛行中か否かは、ステップＳ６０６で受信した位置情報の変動や高度情報の取得により判定するとよい。無人航空機１０１が飛行中であると判定した場合はステップＳ６１０に処理を進める。そうでない場合は飛行中であると判定するまでステップＳ６０７の処理を繰り返す。

ステップＳ６０８では、無人航空機１０１のＣＰＵ２０１は、操作端末１０２からの指示、または情報処理装置１０５の指示により撮影開始指示を受け付ける。尚、撮影開始指示はステップＳ６０５で飛行を開始する前に受け付けてもよい。

ステップＳ６０９では、無人航空機１０１のＣＰＵ２０１は、撮影制御部５１６の機能によりカメラ２７１で撮影を開始する。

ステップＳ６１０では、情報処理装置１０５のＣＰＵ４０１は、ステップＳ６０６で受信した無人航空機１０１の位置情報をネットワークカメラ１０３に送信する。

ステップＳ６１１では、ネットワークカメラ１０３のＣＰＵ３０１は、通信制御部５２２の機能により情報処理装置１０５から無人航空機１０１の位置情報を受信する。

ステップＳ６１２では、ネットワークカメラ１０３のＣＰＵ３０１は、ステップＳ６１１で受信した位置情報をもとに無人航空機の位置に向かってパン・チルト・ズーム動作を行い（ＰＴＺ制御）、撮影方向を決定する。

ステップＳ６１３では、情報処理装置１０５のＣＰＵ４０１は、データ送信指示部５３１の機能により、画像データの送信指示を無人航空機１０１に送信する。

ステップＳ６１４では、無人航空機１０１のＣＰＵ２０１は、情報処理装置１０５からデータ送信指示を受信する。

ステップＳ６１５では、無人航空機１０１のＣＰＵ２０１は、撮影制御部５１６の機能により撮影した画像データを、画像データ送信部５１７の機能により放送用の電波で送信する。放送用の電波で送信された画像データは各家庭のテレビにリアルタイムで映し出される。

ステップＳ６１６では、無人航空機１０１のＣＰＵ２０１は、センサ制御部５１５の機能により、ジャイロセンサを用いて角速度情報を取得し、取得した角速度情報を情報処理装置１０５に送信する。

ステップＳ６１７では、情報処理装置１０５のＣＰＵ４０１は、無人航空機情報受信部５３５の機能により、角速度情報を受信する。

図７は、ジャイロセンサで出力した出力電圧（角速度情報）の一例を示す図である。図７における角速度情報（ａ）と角速度情報（ｂ）はともに、ジャイロセンサで検知した出力電圧を縦軸で表し、横軸は出力電圧を受信した時間の経過を表している。角速度情報（ａ）と角速度情報（ｂ）の図は、無人航空機１０１の機体の揺れを示す出力電圧が所定の範囲で変動している様子を示す。本実施形態では、基準電圧は２．０ボルトとして、所定の範囲はプラスマイナス０．５ボルトの範囲（以下、Ｖ１）としているが、この値は一例であり、任意に設定可能である。角速度情報（ａ）は、基準電圧に対する電圧の変動量が比較的小さく、出力電圧がＶ１の範囲にある状態を示す。出力電圧がＶ１の範囲にある場合には、無人航空機１０１の揺れにより、撮影された画像データの画質が実質的に影響を受けない範囲である。図７における角速度情報（ｂ）は、基準電圧に対する電圧の変動量が比較的大きく、出力電圧がＶ１の範囲外にある状態を示す。つまり、無人航空機１０１の揺れにより、撮影された画像データの画質が影響を受ける場合である。角速度情報（ｂ）におけるＴ１とＴ２の範囲は、出力電圧が下がりＶ１の範囲を下回った（１．５ボルト以下）時間を示す。Ｔ１の場合は、無人航空機１０１で撮影された画像データの送信を中止させ、ネットワークカメラ１０３で撮影された画像データを送信することで適切な画像データを送信し続けることが可能となる。Ｔ１以降の時間、つまり出力電圧がＶ１の範囲に戻った場合は、送信する画像データをネットワークカメラ１０３で撮影した画像データから無人航空機１０１で撮影した画像データに戻してもよい。また、短時間に何度も画像データが切り替わると逆に受信者が画像データを見づらいといった問題が生じるため、出力電圧がＶ１の範囲を下回った時間が短いＴ２のような場合には、無人航空機１０１で撮影した画像データの送信をあえて継続させてもよい。電圧の変動は正確に検知するために、なるべく短い周期で角速度情報を取得することが好ましい。尚、本実施形態において、角速度情報を用いて無人航空機１０１の揺れを検知しているが、無人航空機１０１の揺れが検知可能な情報であれば、他の情報を用いてもよい。他の情報の一例として、無人航空機１０１は、ジャイロセンサ以外の、加速度センサ、気圧センサ、磁気センサ、超音波センサ等の各種センサにより検出した揺れを示す情報を用いてもよい。

ステップＳ６１８では、情報処理装置１０５のＣＰＵ４０１は、ステップＳ６１７で受信した角速度情報をもとに、無人航空機１０１の機体が所定値と同一、または所定値以上揺れているか否かを判定する。所定値と同一、または所定値以上揺れていると判定した場合はステップＳ６１９に処理を進める。そうでない場合は所定値と同一、または所定値以上の揺れを検知するまでステップＳ６１８の処理を繰り返す。このステップＳ６１８で無人航空機１０１の揺れを検知することにより、無人航空機１０１で適切な画像データが取得できるか否かを判定する。所定値と同一、または所定値以上の揺れを検知した場合は適切な画像データが取得できないため画像データを取得する撮影装置を切り替えるべく次のステップＳ６１９以下の処理を進める。

ステップＳ６１９では、無人航空機１０１のＣＰＵ２０１は、放送用電波で画像データを送信する処理を中止する指示を無人航空機１０１に送信する。

ステップＳ６２０では、無人航空機１０１のＣＰＵ２０１は、情報処理装置１０５から画像データの送信中止指示を受信する。

ステップＳ６２１では、無人航空機１０１のＣＰＵ２０１は、画像データの送信を中止する。

ステップＳ６２２では、情報処理装置１０５のＣＰＵ４０１は、データ送信指示部５３１の機能により、画像データの送信指示をネットワークカメラ１０３に送信する。

ステップＳ６２３では、ネットワークカメラ１０３のＣＰＵ３０１は、情報処理装置１０５からデータ送信指示を受信する。

ステップＳ６２４では、ネットワークカメラ１０３のＣＰＵ３０１は、カメラ部３０７で取得した画像データを画像データ送信部５２３の機能により放送用の電波で送信する。

上述した本実施形態によれば、無人航空機１０１が備えるカメラ２７１と、ネットワークカメラ１０３とでそれぞれ画像データを取得し、情報処理装置１０５は無人航空機１０１から振動に関するデータを受信する。そして無人航空機１０１から受信した振動に関するデータに応じて、情報処理装置１０５は無人航空機１０１が備えるカメラ２７１で取得した画像データとネットワークカメラ１０３で取得した画像データのいずれか一方を送信するように制御する。これにより、揺れのない適切な映像を提供可能とする。以上で、第１の実施形態の説明を終了する。

次に、第２の実施形態について説明する。第１の実施形態では、無人航空機１０１の振動のデータに応じて、画像データを送信する撮影装置を無人航空機１０１とは異なる撮影装置に切り替える処理について説明した。第２の実施形態では、撮影装置を切り替える指示を受け付けた際に、それぞれの撮影装置が同じ領域、または同じ範囲を撮影していないと画像データを送信する撮影装置を切り替えない処理について説明を行う。

ステップＳ８０１では、無人航空機１０１のＣＰＵ２０１は、撮影制御部５１６の機能により撮影を開始する。

ステップＳ８０２では、ネットワークカメラ１０３のＣＰＵ３０１は、撮影制御部５２１の機能により撮影を開始する。

ステップＳ８０３では、無人航空機１０１のＣＰＵ２０１は、操作端末１０２を介したユーザからの指示、またはあらかじめの設定により飛行の目的地を設定する。

ステップＳ８０４では、無人航空機１０１のＣＰＵ２０１は、ステップＳ８０３で設定した目的地に向かって飛行制御部５１１の機能により飛行する。

ステップＳ８０５では、無人航空機１０１のＣＰＵ２０１は、ステップＳ８０３で設定した目的地情報及び位置情報を情報処理装置１０５に送信する。

ステップＳ８０６では、情報処理装置１０５のＣＰＵ４０１は、無人航空機検知部５３２、及び無人航空機情報受信部５３５の機能により、目的地情報及び位置情報を受信する。

ステップＳ８０７では、情報処理装置１０５のＣＰＵ４０１は、ステップＳ８０６で受信した目的地情報及び位置情報をネットワークカメラ１０３に送信する。

ステップＳ８０８では、ネットワークカメラ１０３のＣＰＵ３０１は、通信制御部５２２の機能により目的地情報及び位置情報を受信する。

ステップＳ８０９では、ネットワークカメラ１０３のＣＰＵ３０１は、撮影制御部５２１の機能により、パン・チルト・ズーム（ＰＴＺ制御）、及びレンズのフォーカスの動作を行う。

ステップＳ８１０では、情報処理装置１０５のＣＰＵ４０１は、データ送信指示部５３１の機能により、画像データの送信指示を無人航空機１０１に送信する。

ステップＳ８１１では、無人航空機１０１のＣＰＵ２０１は、データ送信指示を受信する。

ステップＳ８１２では、情報処理装置１０５のＣＰＵ４０１は、カメラの切り替え指示を受け付けたか否かを判定する。ここでいうカメラの切り替え指示とは、放送用電波を用いて画像データを送信する撮影装置の切り替え指示を示す。カメラの切り替え指示を受け付けたと判定した場合はステップＳ８１４に処理を進める。そうでない場合は切り替え指示を受け付けるまでステップＳ８１２の処理を繰り返す。

ステップＳ８１３では、ネットワークカメラ１０３のＣＰＵ３０１は、通信制御部５２２の機能によりステップＳ８０９で行ったパン・チルト・ズーム、及びレンズのフォーカスの動作についての動作情報を情報処理装置１０５に送信する。

ステップＳ８１４では、情報処理装置１０５のＣＰＵ４０１は、ネットワークカメラ１０３からパン・チルト・ズーム、及びレンズのフォーカスの動作についての制御情報を受信する。

ステップＳ８１５では、無人航空機１０１のＣＰＵ２０１は、ステップＳ８１１で受信したデータ送信指示により撮影した画像データを放送用の電波で送信する。

ステップＳ８１６では、無人航空機１０１のＣＰＵ２０１は、撮影制御部５１６で撮影している撮影情報を情報処理装置１０５に送信する。撮影情報は、無人航空機１０１がどこを撮影しているかがわかる情報であればどの情報であってもよく、位置情報等でもよい。

ステップＳ８１７では、情報処理装置１０５のＣＰＵ４０１は、無人航空機１０１から撮影情報を受信する。

ステップＳ８１８では、情報処理装置１０５のＣＰＵ４０１は、ステップＳ８１４で受信したパン・チルト・ズーム、及びレンズのフォーカスの動作についての制御情報と、ステップＳ８１７で受信した撮影情報を用いる。そしてそれぞれの撮影装置がどこを撮影しているのかを判定する。そして、情報を受信した撮影装置が同一の領域や範囲、もしくは位置、もしくは被写体を映しているか否かを判定する。同一の領域や範囲、もしくは位置、もしくは被写体を撮影していると判定した場合はステップＳ８１９に処理を進める。そうでない場合は同一の領域、もしくは位置、もしくは被写体を撮影していると判定するまでステップＳ８１８の処理を繰り返す。

ステップＳ８１９では、情報処理装置１０５のＣＰＵ４０１は、データ送信指示部５３１の機能によりネットワークカメラ１０３に画像データの送信指示を送信する。

ステップＳ８２０では、ネットワークカメラ１０３のＣＰＵ３０１は、画像データの送信指示を受信する。

ステップＳ８２１では、ネットワークカメラ１０３のＣＰＵ３０１は、画像データ送信部５２３の機能により画像データを放送用電波で送信する。

ステップＳ８２２では、情報処理装置１０５のＣＰＵ４０１は、画像データの送信を中止する指示を無人航空機１０１に送信する。

ステップＳ８２３では、無人航空機１０１のＣＰＵ２０１は、画像データの送信中止指示を受信する。

ステップＳ８２４では、無人航空機１０１のＣＰＵ２０１は、画像データの送信を中止する。

第２の実施形態によれば、情報処理装置１０５は、無人航空機１０１の位置情報とネットワークカメラ１０３の撮影方向に関する情報を取得する。そして取得したそれぞれのカメラの位置関係から、無人航空機のカメラ２７１とネットワークカメラ１０３とが撮影する画像データが同一の領域や範囲、位置、及び被写体を撮影しているものか否かを判定する。そしてそれぞれの撮影装置で取得される画像データが同一の領域や範囲、位置、及び被写体を撮影しているものである場合に画像データを送信する撮影装置を切り替える。これにより送信する画像データが突然異なる場所や被写体を撮影した画像データに変更されるという問題が低減され、より適切な画像データを送信することが可能となる。以上により、第２の実施形態の説明を終了する。

このように、本発明によれば、無人航空機を用いた画像の撮影中に揺れが生じた場合であっても、適切な画像を提供する効果を奏する。

本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。

尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。

したがって、本発明の機能処理をコンピュータで実現（実行可能と）するために、前記ンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページか_ら暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。

尚、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１ 無人航空機
１０２ 操作端末
１０３ ネットワークカメラ
１０４ 中継装置
１０５ 情報処理装置

Claims (7)

1. 第一の撮影装置を備える無人航空機と、該第一の撮影装置とは異なる第二の撮影装置と、を有する撮影システムであって、
   前記第一の撮影装置および前記第二の撮影装置で撮影した画像データを取得する取得手段と、
   前記無人航空機の振動に関するデータを受信する受信手段と、
   前記第一の撮影装置および前記第二の撮影装置で撮影された画像データを送信するための制御を行う制御手段と、を備え、
   前記制御手段は、前記受信手段で受信した振動に関するデータに応じて、前記第一の撮影装置および前記第二の撮影装置で撮影された画像データのうち、いずれか一方の画像データを送信するように制御することを特徴とする撮影システム。
2. 前記制御手段は、前記受信手段で受信した前記無人航空機の振動に関するデータが、所定の値と同じ、または所定の値より大きい場合に、前記第二の撮影装置で撮影された画像データを送信するよう制御する請求項１に記載の撮影システム。
3. 前記取得手段は、前記無人航空機が飛行する位置情報をさらに取得し、
   前記撮影システムは、前記無人航空機の位置情報に応じて前記第二の撮影装置の撮影方向を決定する決定手段
   をさらに備えることを特徴とする請求項１または２に記載の撮影システム。
4. 前記取得手段は、前記無人航空機が飛行する位置情報と、前記決定手段で決定した撮影方向の制御情報をさらに取得し、
   前記制御手段は、前記取得手段で取得した前記位置情報と前記制御情報とを用いて、前記第一の撮影装置で撮影する範囲と前記第二の制御装置で撮影する範囲が異なる場合には、前記画像データを送信する撮影装置を変更しないよう制御することを特徴とする請求項３に記載の撮影システム。
5. 前記第二の撮影装置は、前記無人航空機とは異なる他の無人航空機に設置されていることを特徴とする請求項１から４のいずれか１項に記載の撮影システム。
6. 第一の撮影装置を備える無人航空機と、該第一の撮影装置とは異なる第二の撮影装置と、を有する撮影システムの制御方法であって、
   前記第一の撮影装置および前記第二の撮影装置で撮影した画像データを取得する取得ステップと、
   前記無人航空機の振動に関するデータを受信する受信ステップと、
   前記第一の撮影装置および前記第二の撮影装置で撮影された画像データを送信するための制御を行う制御ステップと、
   を備え、
   前記制御ステップは、前記受信ステップで受信した振動に関するデータに応じて、前記第一の撮影装置および前記第二の撮影装置で撮影された画像データのうち、いずれか一方の画像データを送信するように制御することを特徴とする撮影システムの制御方法。
7. 第一の撮影装置を備える無人航空機と、該第一の撮影装置とは異なる第二の撮影装置と、を有する撮影システムとして機能させるプログラムであって、
   前記撮影システムを、
   前記第一の撮影装置および前記第二の撮影装置で撮影した画像データを取得する取得手段と、
   前記無人航空機の振動に関するデータを受信する受信手段と、
   前記第一の撮影装置および前記第二の撮影装置で撮影された画像データを送信するための制御を行う制御手段、
   として機能させ、
   前記制御手段は、前記受信手段で受信した振動に関するデータに応じて、前記第一の撮影装置および前記第二の撮影装置で撮影された画像データのうち、いずれか一方の画像データを送信するように制御するプログラム。
   
   
   
   
   
   

Images