JP2019006154A

JP2019006154A - 飛行体、飛行制御システム、飛行制御方法、プログラム及び記録媒体

Info

Publication number: JP2019006154A
Application number: JP2017120639A
Authority: JP
Inventors: 磊顧; Lei Gu
Original assignee: SZ DJI Technology Co Ltd
Current assignee: SZ DJI Technology Co Ltd
Priority date: 2017-06-20
Filing date: 2017-06-20
Publication date: 2019-01-17
Anticipated expiration: 2037-06-20
Also published as: JP6912281B2

Abstract

【課題】追跡対象の自動追跡に失敗した場合であっても、容易に追跡を続行可能にする。【解決手段】所定の追跡対象を撮像する撮像装置と、追跡対象を含む周囲の音を収音する収音装置と、追跡対象の追跡に関する処理を実行する制御部と、を有し、制御部は、撮像装置により撮像した撮像画像を用いて追跡対象を追跡し、収音装置により取得した音情報により追跡対象に該当する音源方向を推定し、音源方向の推定結果に基づいて撮像装置による撮影方向を調整する。【選択図】図８

Description

本開示は、所定の対象を追跡可能な飛行体、飛行制御システム、飛行体を制御するための飛行制御方法、プログラム及び記録媒体に関する。

撮像装置を搭載し、空中を飛行しながら被写体を撮像する空中撮影が可能な飛行体（例えばＵＡＶ：Unmanned Aerial Vehicle）が知られている。この種の空中撮影に利用可能な飛行体において、主要な被写体となる人や乗り物等の所定の対象を目標として自動的に追跡する機能を持つものがある。

飛行体が追跡動作を行っている際に、追跡対象の被写体の向きや距離、位置などの変化が大きい場合、追跡対象が他の被写体に隠れて遮断される場合など、追跡対象を見失って自動追跡に失敗してしまうことがある。このように追跡動作が中断した場合、飛行体を制御するための端末をユーザが操作して追跡対象を再度設定し直すことなどにより、追跡を再開する。

自動追跡機能を有する飛行体の例として、例えば特許文献１には、俯瞰することができない状況においても目標物の追跡が可能な自律飛行移動体が開示されている。この従来例の自律飛行移動体は、ターゲットを認識できなくなった場合に、地図情報に基づいて認識できなくなった位置付近の経路を探索し、探索された経路に基づいてターゲットの追跡を実行するものである。

特開２０１７−０６８２９８号公報

従来の追跡機能を有する飛行体では、追跡動作中に追跡対象を見失った場合、ユーザが飛行体を制御するための端末を用いて追跡対象を再度設定する等の操作が必要となる。追跡対象の再設定操作を行う際には、ユーザが端末操作と同時に飛行体の機体の状態を確認することができないため、追跡対象の設定と飛行体の操縦との同時操作は困難である。このように、従来の飛行体では、追跡対象の自動追跡に失敗した場合、追跡を続行するための操作性に課題がある。

一態様において、所定の追跡対象を撮像する撮像装置と、追跡対象を含む周囲の音を収音する収音装置と、追跡対象の追跡に関する処理を実行する制御部と、を有する飛行体であって、制御部は、撮像装置により撮像した撮像画像を用いて追跡対象を追跡し、収音装置により取得した音情報により追跡対象に該当する音源方向を推定し、音源方向の推定結果に基づいて撮像装置による撮影方向を調整する、飛行体である。

制御部は、追跡対象の追跡において、撮像画像における追跡対象に関する画像の特徴値を算出し、画像の特徴値を比較して追跡対象を探索してよい。

制御部は、追跡対象の追跡を失敗した場合に、追跡対象が発する音情報を取得して音源方向を推定し、音源方向に応じて撮影方向を調整してよい。

制御部は、音情報における追跡対象に関する音の特徴値を算出し、音の特徴値によって追跡対象の音源方向を推定し、音源方向に応じて追跡対象を追跡してよい。

制御部は、追跡対象の追跡において、推定した音源方向に応じて撮像画像における追跡対象を探索する領域を限定してよい。

制御部は、音源方向の推定において、収音装置により取得した音情報から追跡対象の音成分を抽出し、追跡対象の音成分について音源方向の推定処理を行ってよい。

制御部は、撮影方向の調整において、飛行体の回転翼機構と、撮像装置を支持する支持機構との少なくとも一方の動きを制御してよい。

一態様において、飛行体と、飛行体と通信を行う端末と、を有する飛行制御システムであって、飛行体は、所定の追跡対象を撮像する撮像装置と、追跡対象を含む周囲の音を収音する収音装置と、追跡対象の候補情報を端末に送信する通信部と、追跡対象の追跡に関する処理を実行するものであって、撮像装置により撮像した撮像画像を用いて追跡対象を追跡し、収音装置により取得した音情報により追跡対象に該当する音源方向を推定し、音源方向の推定結果に基づいて撮像装置による撮影方向を調整する、制御部と、を有し、端末は、追跡対象の候補情報を受信する通信部と、追跡対象の候補を表示する表示部と、追跡対象の設定に関する入力を行う操作部と、を有する、飛行制御システムである。

端末の表示部は、追跡対象の追跡を失敗した場合に、追跡失敗表示を行ってよい。

一態様において、所定の追跡対象を追跡する飛行体を制御するための飛行制御方法であって、追跡対象を撮像装置により撮像するステップと、追跡対象を含む周囲の音を収音装置により収音するステップと、撮像した撮像画像を用いて追跡対象を追跡するステップと、収音した音情報により追跡対象に該当する音源方向を推定するステップと、音源方向の推定結果に基づいて撮像装置による撮影方向を調整するステップと、を有する、飛行制御方法である。

追跡対象を追跡するステップは、撮像画像における追跡対象に関する画像の特徴値を算出し、画像の特徴値を比較して追跡対象を探索するステップを含んでよい。

音源方向を推定するステップは、追跡対象の追跡を失敗した場合に、追跡対象が発する音情報を取得して音源方向を推定するステップを含み、撮影方向を調整するステップは、推定した音源方向に応じて撮影方向を調整するステップを含んでよい。

音情報における追跡対象に関する音の特徴値を算出するステップを有し、追跡対象を追跡するステップは、音の特徴値によって追跡対象の音源方向を推定し、音源方向に応じて追跡対象を追跡するステップを含んでよい。

追跡対象を追跡するステップは、推定した音源方向に応じて撮像画像における追跡対象を探索する領域を限定するステップを含んでよい。

追跡対象を追跡するステップは、収音装置により取得した音情報から追跡対象の音成分を抽出し、追跡対象の音成分について音源方向の推定処理を行うステップを含んでよい。

撮影方向を調整するステップは、飛行体の回転翼機構と、撮像装置を支持する支持機構との少なくとも一方の動きを制御するステップを含んでよい。

飛行制御方法において、追跡対象の候補情報を飛行体と通信を行う端末に送信するステップと、追跡対象の候補情報を端末により受信するステップと、追跡対象の候補を表示部により表示するステップと、追跡対象の設定に関する入力を行うステップと、を有してよい。

飛行制御方法において、追跡対象の追跡を失敗した場合に、表示部により追跡失敗表示を行うステップ、を有してよい。

一態様において、プログラムは、所定の追跡対象を追跡する飛行体を制御するコンピュータに、追跡対象を撮像装置により撮像するステップと、追跡対象を含む周囲の音を収音装置により収音するステップと、撮像した撮像画像を用いて追跡対象を追跡するステップと、収音した音情報により追跡対象に該当する音源方向を推定するステップと、音源方向の推定結果に基づいて撮像装置による撮影方向を調整するステップと、を実行させるための、プログラムである。

一態様において、記録媒体は、所定の追跡対象を追跡する飛行体を制御するコンピュータに、追跡対象を撮像装置により撮像するステップと、追跡対象を含む周囲の音を収音装置により収音するステップと、撮像した撮像画像を用いて追跡対象を追跡するステップと、収音した音情報により追跡対象に該当する音源方向を推定するステップと、音源方向の推定結果に基づいて撮像装置による撮影方向を調整するステップと、を実行させるためのプログラムを記録したコンピュータ読み取り可能な、記録媒体である。

なお、上記の発明の概要は、本開示の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

実施形態における飛行制御システムの構成例を示す模式図である。無人飛行体の外観の一例を示す図である。無人飛行体のハードウェア構成の一例を示すブロック図である。端末のハードウェア構成の一例を示すブロック図である。無人飛行体により追跡対象を追跡する第１の実施形態の様子を模式的に示す図である。実施形態における追跡動作の初期設定に関する処理手順の一例を示すフローチャートである。実施形態における追跡動作の初期設定を行うための初期設定画面の一例を示す図である。第１の実施形態における自動追跡動作の処理手順の一例を示すフローチャートである。実施形態における追跡失敗時の処理手順の一例を示すシーケンス図である。実施形態における追跡失敗を通知する通知画面の一例を示す図である。実施形態における追跡対象の再設定時の確認画面の一例を示す図である。無人飛行体により追跡対象を追跡する第２の実施形態の様子を模式的に示す図である。第２の実施形態における自動追跡動作の処理手順の一例を示すフローチャートである。

以下、発明の実施の形態を通じて本開示を説明するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものではない。実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須とは限らない。

特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイル又はレコードに表示される通りであれば異議を唱えない。但し、それ以外の場合、一切の著作権を留保する。

本開示に係る飛行制御方法は、飛行体の飛行を制御するための情報処理装置における各種の処理（ステップ）が規定されたものである。飛行体は、空中を移動する航空機（例えばドローン、ヘリコプター）を含む。飛行体は、無人飛行体（ＵＡＶ：Unmanned Aerial Vehicle）であってもよい。飛行体は、空中撮影、物の運搬、或いは農薬、肥料、水等の散布作業等の飛行を伴う各種作業を行うためにあらかじめ設定された飛行経路に沿って飛行する。飛行体は、自動追跡動作を行う際、設定された追跡対象を追跡しながら飛行する。

本開示に係る情報処理装置は、コンピュータであって、例えば飛行体自体に情報処理装置が含まれてよい。本開示に係る情報処理装置は、飛行体の移動を含む各種処理の遠隔制御を指示するための送信機、又は送信機との間で情報やデータの入出力が可能に接続された端末装置、若しくは飛行体との間で情報やデータの入出力が可能に接続された端末装置など、各種の端末（プラットフォーム）を含む。端末は、例えばＰＣ、タブレット端末、携帯端末などであってよい。

本開示に係るプログラムは、情報処理装置に各種の処理（ステップ）を実行させるためのプログラムである。

本開示に係る記録媒体は、プログラム（つまり、情報処理装置に各種の処理（ステップ）を実行させるためのプログラム）が記録されたものである。

本開示に係る飛行制御システムは、移動体の一例としての飛行体と、飛行体の動作又は処理を遠隔で制御するための端末（プラットフォーム）とを含む構成である。本開示に係る飛行制御システムは、飛行体単体で追跡対象を追跡して飛行する構成であってよい。

以下に示す本開示に係る各実施形態において、飛行体として、無人飛行体（ＵＡＶ）を例示する。本明細書に添付する図面では、無人飛行体を「ＵＡＶ」と表記する。以下に示す各実施形態において、飛行体は、追跡対象を設定し、追跡対象に追従して位置を移動させながら飛行する。

以下に示す各実施形態において、情報処理装置は、飛行体において、追跡対象の特徴値として、画像情報、音情報などを含む特徴値情報を生成、取得、変更が可能である。情報処理装置は、飛行体において、飛行開始位置、飛行終了位置、飛行経路上の所定位置、飛行高度、飛行速度などのうち、少なくとも一つを含む飛行位置の情報を生成、取得、変更が可能である。端末に情報処理装置が含まれる場合、情報処理装置は飛行体と通信可能であり、追跡対象の特徴値情報、飛行体の飛行位置の情報を飛行体に伝送可能である。ここにいう「通信」とは、データ通信全般を含む広い概念であり、ケーブルなどにより有線接続する場合だけでなく、無線通信によって接続する場合も含まれる。また、情報処理装置が飛行体と直接通信する場合だけでなく、送信機又は記憶媒体を介して間接的に通信を行う場合も含まれる。

図１は、実施形態における飛行制御システム１０の構成例を示す模式図である。飛行制御システム１０は、無人飛行体１００及び端末５０を含む。無人飛行体１００及び端末５０は、有線通信又は無線通信（例えば無線ＬＡＮ（Local Area Network）、又はＢｌｕｅｔｏｏｔｈ（登録商標））を用いて、互いに通信することが可能である。端末５０は、例えば端末５０を使用する人物（以下、「ユーザ」という）の両手で把持された状態で使用される。端末５０は、例えば送信機、タブレット端末、携帯端末、ＰＣなどであってよい。端末５０は、送信機にタブレット端末又は携帯端末が装着され互いに通信可能に設けられた構成であってよい。

図２は、無人飛行体１００の外観の一例を示す図である。無人飛行体１００は、撮像部の一例としての撮像装置２２０を備えて移動する移動体の一例である。移動体とは、無人飛行体１００の他、空中を移動する他の航空機、地上を移動する車両、水上を移動する船舶等を含む概念である。ここで、図２に示すように、地面と平行であって移動方向ＳＴＶ０に沿う方向にロール軸（図２のｘ軸参照）が定義されたとする。この場合、地面と平行であってロール軸に垂直な方向にピッチ軸（図２のｙ軸参照）が定められ、更に、地面に垂直であってロール軸及びピッチ軸に垂直な方向にヨー軸（図２のｚ軸）が定められる。

無人飛行体１００は、ＵＡＶ本体１０２と、回転翼機構２１０と、撮像装置２２０と、ジンバル２３０と、収音装置１８０とを含む構成である。無人飛行体１００は、例えば端末５０から送信される遠隔制御の指示を基に移動することができる。無人飛行体１００の移動は、飛行を意味し、少なくとも上昇、降下、左旋回、右旋回、左水平移動、右水平移動の飛行が含まれる。

無人飛行体１００は、複数の回転翼機構（プロペラ）２１０を備える。無人飛行体１００は、例えば４つの回転翼機構２１０を備える。無人飛行体１００は、これら回転翼機構２１０の回転を制御することにより無人飛行体１００を移動させる。ただし、回転翼の数は、４つに限定されない。また、無人飛行体１００は、回転翼を有さない固定翼機でよい。

撮像装置２２０は、所望の撮像範囲に含まれる被写体（例えば人物、車両など）を撮像するカメラである。撮像装置２２０は、支持機構の一例であるジンバル２３０に取り付けられ、ジンバル２３０の動きによって撮像範囲が調節される。

収音装置１８０は、被写体を含む撮像範囲の周辺の音を収音するマイクロホンである。収音装置１８０は、複数のマイクロホンを有するマイクアレイでよい。

次に、無人飛行体１００の構成例について説明する。

図３は、無人飛行体１００のハードウェア構成の一例を示すブロック図である。無人飛行体１００は、制御部１１０と、通信インタフェース１５０と、メモリ１６０と、ストレージ１７０と、収音装置１８０と、バッテリ１９０と、回転翼機構２１０と、撮像装置２２０と、ジンバル２３０と、ＧＰＳ受信機２４０と、慣性計測装置２５０と、磁気コンパス２６０と、気圧高度計２７０と、超音波センサ２８０とを含む構成である。

制御部１１０は、プロセッサ、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成される。制御部１１０は、無人飛行体１００の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。制御部１１０は、無人飛行体１００において飛行の制御に関する処理を実行する機能を有する。

制御部１１０は、メモリ１６０又はストレージ１７０に格納されたプログラムに従って無人飛行体１００の飛行を制御する。また、制御部１１０は、通信インタフェース１５０を介して遠隔の端末５０から受信した命令に従って、無人飛行体１００の移動（つまり、飛行）を制御する。

制御部１１０は、回転翼機構２１０を制御することで、無人飛行体１００の飛行を制御する。つまり、制御部１１０は、回転翼機構２１０を制御することにより、無人飛行体１００の緯度、経度、及び高度を含む位置、並びに向きを制御する。制御部１１０は、ＧＰＳ受信機２４０、慣性計測装置２５０、磁気コンパス２６０、気圧高度計２７０、超音波センサ２８０のうちの少なくとも一つにより取得される位置情報に基づき、回転翼機構２１０を制御する。

制御部１１０は、例えば撮像装置２２０の撮像方向を示す情報として、ジンバル２３０から撮像装置２２０の姿勢の状態を示す姿勢情報を取得する。撮像装置２２０の姿勢の状態を示す情報は、ジンバル２３０のピッチ軸及びヨー軸の基準回転角度からの回転角度を示す。制御部１１０は、無人飛行体１００の向きを示す情報を取得する。

制御部１１０は、撮像装置２２０及びジンバル２３０を制御する。制御部１１０は、撮像装置２２０の撮像方向又は画角を変更することによって、撮像装置２２０の撮像範囲を制御する。制御部１１０は、ジンバル２３０の回転機構を制御することで、ジンバル２３０に支持されている撮像装置２２０の撮像範囲を制御する。

制御部１１０は、撮像装置２２０により撮像された被写体の画像データ（以下、「撮像画像」と称する場合がある）を取得する。

制御部１１０は、収音装置１８０により収音された被写体及び周辺の音情報を取得する。

通信インタフェース１５０は、通信部の一例であり、端末５０と通信する。通信インタフェース１５０は、端末５０からの追跡対象、飛行経路等に関する各種の情報を受信する。通信インタフェース１５０は、端末５０からの制御部１１０に対する各種の命令を受信する。

メモリ１６０は、記憶部の一例である。メモリ１６０は、制御部１１０が回転翼機構２１０、撮像装置２２０、ジンバル２３０、ＧＰＳ受信機２４０、慣性計測装置２５０、磁気コンパス２６０、気圧高度計２７０、超音波センサ２８０、通信インタフェース１５０、ストレージ１７０、及び収音装置１８０を制御するのに必要なプログラム等を格納する。メモリ１６０は、制御部１１０の処理時に使用される各種の情報やデータを保存する。メモリ１６０は、コンピュータ読み取り可能な記録媒体でよく、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、及びＵＳＢメモリ等のフラッシュメモリの少なくとも１つを含んでよい。メモリ１６０は、無人飛行体１００の内部に設けられてよいし、無人飛行体１００から取り外し可能に設けられてよい。メモリ１６０には、追跡対象の特徴値情報などを含む追跡情報を保存してよい。

ストレージ１７０は、記憶部の一例である。ストレージ１７０は、各種データ、情報を蓄積し、保持する。ストレージ１７０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、ＵＳＢメモリ、等でよい。ストレージ１７０は、無人飛行体１００の内部に設けられてよいし、無人飛行体１００から取り外し可能に設けられてよい。

収音装置１８０は、複数のマイクロホンが列状に配置されたマイクアレイを含む。収音装置１８０は、例えば、２つ以上のマイクロホンと、各マイクロホンにて収音した音信号を処理する信号処理回路とを含んでよい。収音装置１８０は、追跡対象の音源方向の推定のために、追跡対象を含む周囲の音を収音し、複数のマイクロホンにてそれぞれ収音した追跡対象を含む被写体の音信号の情報を取得する。

バッテリ１９０は、無人飛行体１００の各部の駆動源としての機能を有し、無人飛行体１００の各部に必要な電源を供給する。

回転翼機構２１０は、複数の回転翼と、複数の回転翼を回転させる複数の駆動モータとを有する。回転翼機構２１０は、回転翼を回転させることにより、特定の方向の気流を生じさせ、無人飛行体１００の飛行（上昇、下降、水平移動、旋回、傾斜等）を制御する。

撮像装置２２０は、所望の撮像範囲の被写体を撮像して撮像画像のデータを生成する。撮像画像は動画であってもよく、静止画であってよい。撮像装置２２０の撮像により得られた画像データは、撮像装置２２０が有するメモリ又はメモリ１６０、ストレージ１７０などに格納される。

ジンバル２３０は、撮像装置２２０を支持する支持機構の一例であり、少なくとも１つの軸を中心に撮像装置２２０を回転可能に支持する。ジンバル２３０は、ヨー軸、ピッチ軸、及びロール軸を中心に撮像装置２２０を回転可能に支持してよい。ジンバル２３０は、ヨー軸、ピッチ軸、及びロール軸の少なくとも１つを中心に撮像装置２２０を回転させることで、撮像装置２２０の撮像方向を変更してよい。

ＧＰＳ受信機２４０は、複数の航法衛星（つまり、ＧＰＳ衛星）から発信された時刻及び各ＧＰＳ衛星の位置（座標）を示す複数の信号を受信する。ＧＰＳ受信機２４０は、受信された複数の信号に基づいて、ＧＰＳ受信機２４０の位置（つまり、無人飛行体１００の位置）を算出する。ＧＰＳ受信機２４０は、無人飛行体１００の位置情報を制御部１１０に出力する。なお、ＧＰＳ受信機２４０の位置情報の算出は、ＧＰＳ受信機２４０の代わりに制御部１１０により行われてよい。この場合、制御部１１０には、ＧＰＳ受信機２４０が受信した複数の信号に含まれる時刻及び各ＧＰＳ衛星の位置を示す情報が入力される。

慣性計測装置（ＩＭＵ：Inertial Measurement Unit）２５０は、無人飛行体１００の姿勢を検出し、検出結果を制御部１１０に出力する。慣性計測装置２５０は、無人飛行体１００の姿勢として、無人飛行体１００の前後、左右、及び上下の３軸方向の加速度と、ピッチ軸、ロール軸、及びヨー軸の３軸方向の角速度とを検出する。

磁気コンパス２６０は、無人飛行体１００の機首の方位を検出し、検出結果を制御部１１０に出力する。気圧高度計２７０は、無人飛行体１００が飛行する高度を検出し、検出結果を制御部１１０に出力する。超音波センサ２８０は、超音波を照射し、地面や物体により反射された超音波を検出し、検出結果を制御部１１０に出力する。検出結果は、例えば無人飛行体１００から地面までの距離（つまり、高度）を示す。検出結果は、例えば無人飛行体１００から物体までの距離を示してよい。

次に、無人飛行体１００の制御部１１０の機能の一例について説明する。
制御部１１０は、撮像装置２２０により撮像された撮像画像の画像データ中の被写体において、所定の追跡対象の追跡に関する処理を行う追跡部１１１と、収音装置１８０により取得された音情報のデータ（音データ）に基づいて所定の音源方向の推定に関する処理を行う音源方向推定部１１２とを含む。

追跡部１１１は、設定された追跡対象を追跡するよう無人飛行体１００を移動させ、追跡対象を撮像装置２２０にて撮像可能なように、回転翼機構２１０、撮像装置２２０及びジンバル２３０を制御する。追跡部１１１は、撮像装置２２０にて取得した撮像画像を用いて追跡対象を追跡する。追跡部１１１は、撮像装置２２０にて撮像した撮像画像において追跡対象の特徴値の算出、比較、更新を行い、追跡対象を探索する。追跡部１１１は、動画像の撮像画像において、以前のフレームの追跡対象の特徴値と現在のフレームの特徴値とを比較し、特徴値が一致する追跡対象を探索する。

音源方向推定部１１２は、収音装置１８０にて取得した音データから、追跡対象が発する音と環境音とを分離し、各マイクロホンにて取得した追跡対象の音の位相情報を取得し、追跡対象に該当する音源の方向を推定する。

追跡部１１１は、推定された音源方向に基づいて、撮像装置２２０及びジンバル２３０を制御し、例えば音源方向に応じて追跡対象に向かうように撮像装置２２０の撮影方向を調整する。

次に、端末５０の構成例について説明する。

図４は、端末５０のハードウェア構成の一例を示すブロック図である。端末５０は、処理部５１と、メモリ５２と、無線通信部５３と、表示部５４と、操作部５５と、インタフェース部５６と、ストレージ５７と、バッテリ５８とを含む構成である。端末５０は、無人飛行体１００を遠隔制御するための指示を送信する操作端末の機能を持つ情報処理装置の一例である。端末５０は、無人飛行体１００の飛行に関する各種の情報やデータの入出力を行う設定端末の機能を持つ情報処理装置の一例である。なお、端末５０は、送信機とタブレット端末又は携帯端末とが互いに接続された別体の構成であってよい。

処理部５１は、プロセッサ（例えばＣＰＵ、ＭＰＵ又はＤＳＰ）を用いて構成される。処理部５１は、端末５０の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。

処理部５１は、無線通信部５３を介して、無人飛行体１００からのデータや情報を取得してよい。処理部５１は、インタフェース部５６を介して、他の装置からのデータや情報を取得してよい。処理部５１は、操作部５５を介して入力されたデータや情報を取得してよい。処理部５１は、メモリ５２に保持されたデータや情報を取得してよい。処理部５１は、データや情報を表示部５４に送り、このデータや情報に基づく表示情報を表示部５４に表示させてよい。処理部５１は、データや情報をストレージ５７に送り、このデータや情報を格納してよい。処理部５１は、ストレージ５７に格納されたデータや情報を取得してよい。

処理部５１は、操作部５５の操作入力に基づき、例えば追跡対象を含む画像領域の設定など、追跡対象の設定に関する設定入力を行ってよい。

処理部５１は、操作部５５の操作入力に基づき、無人飛行体１００の移動を遠隔制御するための操作信号を生成してよい。処理部５１は、生成した操作信号を移動制御用の命令として、無線通信部５３を介して無人飛行体１００に送信し、無人飛行体１００を遠隔制御してよい。

処理部５１は、表示部５４に表示する設定画面、操作画面、通知画面、確認画面のうちの少なくとも一つの表示画面を生成してよい。

メモリ５２は、記憶部の一例である。メモリ５２は、例えば、処理部５１の動作を規定するプログラムや設定値のデータが格納されたＲＯＭ（Read Only Memory）と、処理部５１の処理時に使用される各種の情報やデータを一時的に保存するＲＡＭ（Random Access Memory）とを有する。メモリ５２のＲＯＭに格納されたプログラムや設定値のデータは、所定の記録媒体（例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ）にコピーされてよい。

無線通信部５３は、通信部の一例であり、アンテナを介して、各種の無線通信方式により、無人飛行体１００との間で通信し、情報やデータの送受信を行う。無線通信方式は、例えば、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離無線通信、又は公衆無線回線を介した通信を含んでよい。無線通信部５３は、他の装置との間で通信を行って情報やデータを送受信してよい。

表示部５４は、例えばＬＣＤ（Liquid Crystal Display）又は有機ＥＬ（ElectroLuminescence）ディスプレイを用いて構成され、表示画面において、処理部５１から出力された各種の情報やデータを表示する。表示部５４は、設定画面、操作画面、通知画面、確認画面のうちの少なくとも一つの表示画面を表示してよい。表示部５４は、例えばＬＥＤ（Light Emission Diode）を用いた表示ランプを有してよい。表示ランプは、例えば、無人飛行体１００と端末５０との無線の接続状態、無人飛行体１００の起動状態、無人飛行体１００又は端末５０のバッテリの容量の残量のうち、少なくとも一つを表示してよい。

操作部５５は、端末５０を保持するユーザにより入力される操作指示、又はデータや情報を受け付ける。操作部５５は、ジョイスティック、ボタン、キー、タッチパネル、マイクロホン、等を含んでよい。操作部５５は、例えば、ユーザによる無人飛行体１００の移動を遠隔で制御（例えば、無人飛行体１００の前後移動、左右移動、上下移動、向き変更）するための操作において使用される。操作部５５は、例えば、追跡対象に関する設定入力をする操作において使用される。操作部５５は、例えば、追跡対象の確認、追跡開始の指示などの操作において使用される。

インタフェース部５６は、端末５０と他の装置との間の情報やデータの入出力を行う。インタフェース部５６は、例えば端末５０に設けられたＵＳＢポート（不図示）でよい。インタフェース部５６は、ＵＳＢポート以外のインタフェースでもよい。

ストレージ５７は、記憶部の一例である。ストレージ５７は、各種データ、情報を蓄積し、保持する。ストレージ５７は、フラッシュメモリ、ＳＳＤ（Solid State Drive）、メモリカード、ＵＳＢメモリ、等でよい。ストレージ５７は、端末５０の本体から取り外し可能に設けられてよい。

バッテリ５８は、端末５０の各部の駆動源としての機能を有し、端末５０の各部に必要な電源を供給する。

次に、無人飛行体１００による追跡動作について説明する。

（第１の実施形態）
図５は、無人飛行体により追跡対象を追跡する第１の実施形態の様子を模式的に示す図である。第１の実施形態では、人物を追跡対象として追跡して撮像する例を示す。無人飛行体１００は、撮像装置２２０によって人物４１０を被写体として撮像し、撮像画像中の人物を追跡対象に設定する。無人飛行体１００は、設定した追跡対象を継続して撮像するように、ジンバル２３０によって撮像装置２２０を回転させ、撮影方向を調整する。このとき、ジンバル２３０は、例えば、ヨー軸を中心とした水平方向Ｄｈ、ピッチ軸を中心とした垂直方向Ｄｖに、それぞれ撮像装置２２０を回転させる。無人飛行体１００は、追跡対象の人物４１０の移動に応じて、回転翼機構２１０を制御し、無人飛行体１００の位置を追従させる。

例えば、追跡対象が大きく移動して撮像装置２２０の画角から外れるなど、撮像した画像データにおいて追跡対象を探索できず、追跡に失敗した場合、無人飛行体１００は、収音装置１８０によって撮像領域周辺の音を収音し、追跡対象に該当する音源方向ＳＤを推定する。このとき、追跡対象の人物４１０は、追跡失敗を認識した場合に無人飛行体１００に対して呼びかけるなど、無人飛行体１００に向けて音声を発する。無人飛行体１００は、追跡対象が発する音を取得し、音源方向ＳＤを推定することによって、追跡対象の方向を検知する。無人飛行体１００は、推定した音源方向ＳＤに基づき、ジンバル２３０を制御して撮像装置２２０の撮影方向を音源方向ＳＤに向かうように、すなわち追跡対象の人物４１０に向かうように調整する。

図６は、実施形態における追跡動作の初期設定に関する処理手順の一例を示すフローチャートである。図７は、実施形態における追跡動作の初期設定を行うための初期設定画面の一例を示す図である。

無人飛行体１００は、追跡動作の初期設定において、追跡対象を設定する。本例では、端末５０を用いて追跡対象の設定を行う手順を示す。端末５０は、ユーザによる撮像画像中の追跡対象範囲の操作指示を入力し、追跡対象範囲を設定する（Ｓ１１）。このとき、端末５０は、表示部５４において、図７に示す一例のように、複数領域に分割した撮像画像３１０を有する設定画面３００を表示する。ユーザが撮像画像３１０において追跡対象ＴＧ１を含む領域をタッチ操作等により指定すると、追跡対象範囲３２１を示す画像領域枠が表示され、ユーザが確認後に設定ボタン（ＳＥＴ）３２２をタッチ操作すると、端末５０は、該当する画像領域を追跡対象範囲として設定する。端末５０は、追跡対象範囲情報を無人飛行体１００に送信し、無人飛行体１００は、追跡対象範囲情報を受信入力して撮像画像における追跡対象範囲を設定する。

無人飛行体１００は、撮像画像中の追跡対象範囲の画像データにおいて、追跡対象の画像の特徴値を算出する（Ｓ１２）。追跡対象の画像データから算出する特徴値は、例えば、画像特徴量の一例であるＳＩＦＴ（Scale-Invariant Feature Transform）を用いてよい。追跡対象の画像特徴量は、ＳＩＦＴの他に、ＳＵＲＦ（Speeded Up Robust Features）、ＧＬＯＨ（Gradient Location and Orientation Histogram）、ＦＡＳＴ（Features from Accelerated Segment Test）などを用いてよい。追跡対象の特徴値は、追跡対象のみの画像の特徴値を算出してよいし、追跡対象を含む所定領域の画像の特徴値を算出してよい。なお、端末５０において追跡対象の特徴値を算出して無人飛行体１００に送信し、無人飛行体１００が特徴値を取得してよい。

図８は、第１の実施形態における自動追跡動作の処理手順の一例を示すフローチャートである。自動追跡動作の処理は、無人飛行体１００における制御部１１０の追跡部１１１及び音源方向推定部１１２によって主に実行してよい。無人飛行体１００の制御部１１０は、撮像装置２２０によって所定の撮像領域を撮影し、撮像画像を取得する（Ｓ２１）。制御部１１０は、撮像画像から追跡対象に対応する画像を抽出する（Ｓ２２）。このとき、制御部１１０は、設定された追跡対象範囲に基づいて追跡対象を含む領域の画像を抽出する。そして、制御部１１０は、抽出した所定領域の画像において追跡対象を探索する（Ｓ２３）。制御部１１０は、追跡対象の探索処理において、画像の特徴値の比較を行い、抽出した所定領域の画像の特徴値と以前に算出した追跡対象の特徴値とを比較し、一致するかどうか判定する。制御部１１０は、追跡対象の探索処理において、現在撮像した撮像画像における追跡対象の画像領域を用いて、追跡対象の特徴値を更新してよい。なお、制御部１１０は、撮像画像の全領域から追跡対象の特徴値と一致する領域を抽出して探索してよい。

制御部１１０は、追跡対象の特徴値が一致するか否かによって、追跡に失敗したかどうか判定する（Ｓ２４）。追跡に成功した場合（Ｓ２４：Ｎｏ）、制御部１１０は、撮像画像における追跡対象の探索処理を繰り返し実行する（Ｓ２１〜Ｓ２４）。

追跡に失敗した場合（Ｓ２４：Ｙｅｓ）、制御部１１０は、収音装置１８０によって収音した音声信号を受信し、撮像領域周辺の音データを取得する（Ｓ２５）。制御部１１０は、取得した音データについて、複数の音源の音データを分離する（Ｓ２６）。制御部１１０は、音源分離処理において、例えば、ＢＳＳ（Blind Source Separation、ブラインド信号源分離）を用いて複数の音源からの音データを分離してよい。制御部１１０は、音源分離処理により、ノイズ等の環境音と、追跡対象に該当する被写体が発する音とを分離する。本例では、追跡対象の人物４１０が発した音声データを環境音から分離する。制御部１１０は、分離した複数の音データについて、追跡対象の音成分を主成分として抽出する（Ｓ２７）。制御部１１０は、主成分の音データに関して、追跡対象の特徴値として音の特徴値を算出する。追跡対象の音データから算出する特徴値は、例えば、周波数特性、指向性の有無、エンベロープなどを用いてよい。

制御部１１０は、追跡対象に対応する主成分の音データについて、例えば音の特徴値によって、音源方向を推定する（Ｓ２８）。制御部１１０は、音源方向の推定処理において、例えば、収音装置１８０のマイクアレイによって各マイクロホンにて取得した音データの位相情報を用いて、音源からの音の到来方向を推定する。音源方向の推定処理は、例えば、ビームフォーミング法などの遅延和アレイによって音響ビームを形成して空間的にスキャンさせることで音源位置を推定する方法、ＣＳＰ（Cross-power Spectrum Phase analysis）法などの複数のマイクロホンにおける到来時間差を求めて遅延時間を算出することで音源定位を推定する方法、などを用いてよい。

制御部１１０は、音源方向の推定結果に基づき、追跡対象の方向を検知し、撮像装置２２０による撮影方向を調整する（Ｓ２９）。このとき、制御部１１０は、撮像装置２２０とジンバル２３０の少なくとも一方の動きを制御し、追跡対象に向かうように撮像装置２２０の撮影方向を調整する。制御部１１０は、回転翼機構２１０を制御して無人飛行体１００を移動、回転させ、撮影方向を調整してよい。そして、制御部１１０は、撮像画像における追跡対象の探索処理を繰り返し実行する（Ｓ２１〜Ｓ２４）。

図９は、実施形態における追跡失敗時の処理手順の一例を示すシーケンス図である。図１０は、実施形態における追跡失敗を通知する通知画面の一例を示す図である。図１１は、実施形態における追跡対象の再設定時の確認画面の一例を示す図である。

追跡対象の追跡に失敗した場合、無人飛行体１００及び端末５０は、ユーザへの通知、再設定した追跡対象の確認などの処理を行ってよい。無人飛行体１００は、自動追跡動作中に、追跡対象の探索に失敗したことを判定すると（Ｓ３１）、端末５０に対して、追跡状態情報の一例である追跡失敗を示す情報を送信する（Ｓ３２）。端末５０は、追跡失敗を示す追跡状態情報を受信すると、追跡状態表示の一例として、追跡失敗の状況をユーザに通知する追跡失敗表示を行う（Ｓ３３）。このとき、端末５０は、表示部５４において、図１０に示す一例のように、追跡失敗を通知する通知画面３３０を表示する。通知画面３３０には、撮像画像３１０において追跡失敗表示（ＭＩＳＳＥＤ）３２３が表示され、ユーザが視認可能である。端末５０は、通知画面３３０の表示の他に、アラーム音等の音による通知、ＬＥＤ発光等の光による通知などを行ってよい。

無人飛行体１００は、図８に示した手順（Ｓ２５〜Ｓ２９）のように、音源方向の推定、撮影方向の調整の処理を実行し、追跡対象の再探索を行う（Ｓ３４）。無人飛行体１００は、追跡対象の探索において、推定した音源方向に応じて撮像画像における追跡対象を探索する領域を限定し、追跡対象の候補を抽出してよい。無人飛行体１００は、再探索により抽出した追跡対象の候補を示す情報を、追跡対象候補情報として端末５０に送信する（Ｓ３５）。端末５０は、追跡対象候補情報を受信すると、追跡対象の確認のために追跡対象候補をユーザに示す追跡対象候補表示を行う（Ｓ３６）。このとき、端末５０は、表示部５４において、図１１に示す一例のように、追跡対象候補の確認を行う確認画面３５０を表示する。確認画面３５０には、撮像画像３１０において追跡対象ＴＧ１を囲む追跡対象枠３２４が表示され、追跡対象確認表示（ＴＡＲＧＥＴ？）３２５が表示される。ユーザが追跡対象の確認後に確認ボタン（ＯＫ）３２６をタッチ操作すると、端末５０は、ユーザによる確認指示を入力し（Ｓ３７）、確認応答を無人飛行体１００に送信する（Ｓ３８）。

無人飛行体１００は、端末５０からの確認応答を受信すると、該当する追跡対象を含む領域を新たな追跡対象範囲として設定し、追跡対象の特徴値を算出して更新する（Ｓ３９）。無人飛行体１００は、その後、自動追跡動作を継続する（Ｓ４０）。

上述した第１の実施形態では、無人飛行体は、追跡対象に該当する音源方向を推定し、音源方向推定結果を利用して、追跡動作の補正を行う。実施形態において、無人飛行体は、追跡対象の追跡に失敗した場合に、追跡対象が発する音情報を取得して音源方向を推定し、音源方向に応じて撮影方向を調整する。これにより、追跡対象に該当する音源方向に撮像装置を向けて、追跡対象を再度追跡可能なように継続して撮像でき、追跡結果を補正することができる。また、追跡動作時のロバスト性を向上できる。この場合、追跡対象を再設定する操作が不要になり、操作性を向上できる。

無人飛行体は、初期設定において追跡対象を設定する場合、又は追跡失敗後に再度追跡対象を設定する場合、端末に追跡対象候補を表示し、ユーザによる確認後の指示操作を入力する。これにより、ユーザが追跡対象を正確かつ容易に確認して設定でき、操作性を向上できる。

（第２の実施形態）
図１２は、無人飛行体により追跡対象を追跡する第２の実施形態の様子を模式的に示す図である。第２の実施形態では、車両等の移動体を追跡対象として追跡して撮像する例を示す。無人飛行体１００は、撮像装置２２０によって車両４２０を被写体として撮像し、撮像画像中の車両を追跡対象に設定する。無人飛行体１００は、設定した追跡対象を継続して撮像するように、ジンバル２３０によって撮像装置２２０を回転させ、撮影方向を調整する。このとき、ジンバル２３０は、例えば、ヨー軸を中心とした水平方向Ｄｈ、ピッチ軸を中心とした垂直方向Ｄｖに、それぞれ撮像装置２２０を回転させる。無人飛行体１００は、追跡対象の車両４２０の移動に応じて、回転翼機構２１０を制御し、無人飛行体１００の位置を追従させる。

無人飛行体１００は、追跡対象を追跡する際に、収音装置１８０によって撮像領域周辺の音を収音し、追跡対象に該当する音源方向ＳＤを推定する。車両等の移動体は、移動の際にエンジン音、モータ音、タイヤ音、風切音など、各種の音を発生している。無人飛行体１００は、移動体が発する音を取得し、音源方向ＳＤを推定することによって、追跡対象の方向を検知する。無人飛行体１００は、推定した音源方向ＳＤに基づき、ジンバル２３０を制御して撮像装置２２０の撮影方向を音源方向ＳＤに向かうように、すなわち追跡対象の車両４２０に向かうように調整する。

無人飛行体１００は、追跡動作の初期設定を行う際、図６に示した追跡対象の特徴値算出手順（Ｓ１２）において、追跡対象に関する画像の特徴値と音の特徴値を算出する。画像の特徴値は、例えば画像特徴量の一例であるＳＩＦＴを用いてよい。音の特徴値は、例えば周波数特性などを用いてよい。

図１３は、第２の実施形態における自動追跡動作の処理手順の一例を示すフローチャートである。自動追跡動作の処理は、無人飛行体１００における制御部１１０の追跡部１１１及び音源方向推定部１１２によって主に実行してよい。無人飛行体１００の制御部１１０は、撮像装置２２０によって所定の撮像領域を撮影し、撮像画像を取得する（Ｓ５１）。制御部１１０は、撮像画像から追跡対象に対応する画像を抽出する（Ｓ５２）。このとき、制御部１１０は、設定された追跡対象範囲に基づいて追跡対象を含む領域の画像を抽出する。

また、制御部１１０は、収音装置１８０によって収音した音声信号を受信し、撮像領域周辺の音データを取得する（Ｓ６１）。制御部１１０は、取得した音データについて、複数の音源の音データを分離する（Ｓ６２）。制御部１１０は、音源分離処理により、ノイズ等の環境音と、追跡対象に該当する被写体が発する音とを分離する。本例では、追跡対象の車両４２０が発した走行音等の音データを環境音から分離する。制御部１１０は、分離した複数の音データについて、追跡対象の音成分を主成分として抽出する（Ｓ６３）。制御部１１０は、主成分の音データに関して、追跡対象の特徴値として音の特徴値を算出する。制御部１１０は、追跡対象に対応する主成分の音データについて、例えば音の特徴値によって、音源方向を推定する（Ｓ６４）。制御部１１０は、音源方向の推定処理において、例えば、収音装置１８０のマイクアレイによって各マイクロホンにて取得した音データの位相情報を用いて、音源からの音の到来方向を推定する。

制御部１１０は、抽出した所定領域の画像において追跡対象を探索する（Ｓ５３）。制御部１１０は、追跡対象の探索処理において、画像の特徴値の比較を行い、抽出した所定領域の画像の特徴値と以前に算出した追跡対象の特徴値とを比較し、一致するかどうか判定する。このとき、制御部１１０は、音源方向の推定結果を用いて、撮像画像中の追跡対象を探索する領域を、音源方向に基づいて限定する。制御部１１０は、追跡対象の探索処理において、現在撮像した撮像画像における追跡対象の画像領域を用いて、追跡対象の画像の特徴値を更新してよい。なお、制御部１１０は、撮像画像の全領域から追跡対象の特徴値と一致する領域を抽出して探索してよい。制御部１１０は、追跡対象の探索処理において、現在取得した追跡対象の音データを用いて、追跡対象の音の特徴値を更新してよい。なお、制御部１１０は、撮像画像の全領域から音源方向に対応する所定領域を抽出して探索してよい。

制御部１１０は、追跡対象の特徴値が一致するか否かによって、追跡対象の同一性を判定する。制御部１１０は、追跡対象の特徴値の判定結果と音源方向の推定結果に基づき、撮影方向の調整が必要かどうか判定する（Ｓ５４）。撮影方向の調整が必要である場合（Ｓ５４：Ｙｅｓ）、制御部１１０は、音源方向の推定結果に基づき、追跡対象の方向を検知し、撮像装置２２０による撮影方向を調整する（Ｓ５５）。このとき、制御部１１０は、撮像装置２２０とジンバル２３０の少なくとも一方の動きを制御し、追跡対象に向かうように撮像装置２２０の撮影方向を調整する。制御部１１０は、回転翼機構２１０を制御して無人飛行体１００を移動、回転させ、撮影方向を調整してよい。そして、制御部１１０は、撮像画像における追跡対象の探索処理を繰り返し実行する（Ｓ５１〜Ｓ５４、Ｓ６１〜Ｓ６４）。

上述した第２の実施形態では、無人飛行体は、追跡対象に該当する音源方向を推定し、音源方向推定結果を利用して、追跡対象を探索する。実施形態において、音源方向に応じて撮像画像における追跡対象を探索する領域を限定し、追跡対象の特徴値の算出、比較に関する画像処理を行う。これにより、追跡に関する処理量を削減できる。また、追跡動作時のロバスト性を向上できる。撮像画像中に追跡対象候補が複数存在する場合、音源方向によって正確に追跡対象を特定できる。また、音源方向推定結果を用いて撮影方向の調整し、追跡動作の補正を行うことができる。実施形態によれば、追跡対象の音源方向に応じて、追跡対象を見失うことなく撮像し、撮像画像中の追跡対象を的確に探索でき、追跡動作を継続できる。この場合、追跡対象を再設定する操作が不要になり、操作性を向上できる。

本実施形態によれば、飛行体において撮像画像を用いて追跡対象を追跡する際に、追跡対象に該当する音源方向を推定し、推定した音源方向に基づいて撮像装置による撮影方向を調整できる。これにより、追跡対象に撮像装置を向けるようにでき、追跡結果を補正することができる。したがって、追跡対象を再設定する操作が不要になり、操作性を向上できる。

本実施形態によれば、追跡対象の追跡を失敗した場合に、追跡対象が発する音情報を取得して音源方向を推定し、音源方向に応じて撮影方向を調整することができる。これにより、追跡対象の追跡を失敗した場合であっても追跡対象に撮像装置を向けるように撮影方向を調整し、追跡結果を補正することができる。

本実施形態によれば、撮像画像を用いて追跡対象を追跡する際に、追跡対象が発する音情報を取得して音源方向を推定し、音源方向に応じて撮像画像における追跡対象を探索する領域を限定できる。これにより、追跡結果を補正でき、追跡に関する処理量を削減でき、追跡動作時のロバスト性を向上できる。

以上、本開示について実施形態を用いて説明したが、本開示に係る発明の技術的範囲は上述した実施形態に記載の範囲には限定されない。上述した実施形態に、多様な変更又は改良を加えることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載からも明らかである。

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「先ず」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０飛行制御システム
５０端末
５１処理部
５２メモリ
５３無線通信部
５４表示部
５５操作部
５６インタフェース部
５７ストレージ
５８バッテリ
１００無人飛行体（ＵＡＶ）
１０２ＵＡＶ本体
１１０制御部
１１１追跡部
１１２音源方向推定部
１５０通信インタフェース
１６０メモリ
１７０ストレージ
１８０収音装置
１９０バッテリ
２１０回転翼機構
２２０撮像装置
２３０ジンバル
２４０ＧＰＳ受信機
２５０慣性計測装置
２６０磁気コンパス
２７０気圧高度計
２８０超音波センサ

Claims

所定の追跡対象を撮像する撮像装置と、
前記追跡対象を含む周囲の音を収音する収音装置と、
前記追跡対象の追跡に関する処理を実行する制御部と、を有する飛行体であって、
前記制御部は、
前記撮像装置により撮像した撮像画像を用いて前記追跡対象を追跡し、
前記収音装置により取得した音情報により前記追跡対象に該当する音源方向を推定し、
前記音源方向の推定結果に基づいて前記撮像装置による撮影方向を調整する、
飛行体。
前記制御部は、
前記追跡対象の追跡において、
前記撮像画像における前記追跡対象に関する画像の特徴値を算出し、前記画像の特徴値を比較して前記追跡対象を探索する、
請求項１に記載の飛行体。
前記制御部は、
前記追跡対象の追跡を失敗した場合に、前記追跡対象が発する音情報を取得して音源方向を推定し、前記音源方向に応じて前記撮影方向を調整する、
請求項１又は２に記載の飛行体。
前記制御部は、
前記音情報における前記追跡対象に関する音の特徴値を算出し、
前記音の特徴値によって前記追跡対象の音源方向を推定し、前記音源方向に応じて前記追跡対象を追跡する、
請求項１又は２に記載の飛行体。
前記制御部は、
前記追跡対象の追跡において、
前記推定した音源方向に応じて前記撮像画像における前記追跡対象を探索する領域を限定する、
請求項１〜４のいずれか一項に記載の飛行体。
前記制御部は、
前記音源方向の推定において、
前記収音装置により取得した音情報から前記追跡対象の音成分を抽出し、前記追跡対象の音成分について音源方向の推定処理を行う、
請求項１〜５のいずれか一項に記載の飛行体。
前記制御部は、
前記撮影方向の調整において、
前記飛行体の回転翼機構と、前記撮像装置を支持する支持機構との少なくとも一方の動きを制御する、
請求項１〜６のいずれか一項に記載の飛行体。
飛行体と、前記飛行体と通信を行う端末と、を有する飛行制御システムであって、
前記飛行体は、
所定の追跡対象を撮像する撮像装置と、
前記追跡対象を含む周囲の音を収音する収音装置と、
前記追跡対象の候補情報を前記端末に送信する通信部と、
前記追跡対象の追跡に関する処理を実行するものであって、前記撮像装置により撮像した撮像画像を用いて前記追跡対象を追跡し、前記収音装置により取得した音情報により前記追跡対象に該当する音源方向を推定し、前記音源方向の推定結果に基づいて前記撮像装置による撮影方向を調整する、制御部と、を有し、
前記端末は、
前記追跡対象の候補情報を受信する通信部と、
前記追跡対象の候補を表示する表示部と、
前記追跡対象の設定に関する入力を行う操作部と、を有する、
飛行制御システム。
前記端末の表示部は、
前記追跡対象の追跡を失敗した場合に、追跡失敗表示を行う、
請求項８に記載の飛行制御システム。
所定の追跡対象を追跡する飛行体を制御するための飛行制御方法であって、
前記追跡対象を撮像装置により撮像するステップと、
前記追跡対象を含む周囲の音を収音装置により収音するステップと、
前記撮像した撮像画像を用いて前記追跡対象を追跡するステップと、
前記収音した音情報により前記追跡対象に該当する音源方向を推定するステップと、
前記音源方向の推定結果に基づいて前記撮像装置による撮影方向を調整するステップと、を有する、
飛行制御方法。
前記追跡対象を追跡するステップは、
前記撮像画像における前記追跡対象に関する画像の特徴値を算出し、前記画像の特徴値を比較して前記追跡対象を探索する、
請求項１０に記載の飛行制御方法。
前記音源方向を推定するステップは、
前記追跡対象の追跡を失敗した場合に、前記追跡対象が発する音情報を取得して音源方向を推定し、
前記撮影方向を調整するステップは、
前記推定した音源方向に応じて前記撮影方向を調整する、
請求項１０又は１１に記載の飛行制御方法。
前記音情報における前記追跡対象に関する音の特徴値を算出するステップを有し、
前記追跡対象を追跡するステップは、
前記音の特徴値によって前記追跡対象の音源方向を推定し、前記音源方向に応じて前記追跡対象を追跡する、
請求項１０又は１１に記載の飛行制御方法。
前記追跡対象を追跡するステップは、
前記推定した音源方向に応じて前記撮像画像における前記追跡対象を探索する領域を限定する、
請求項１０〜１３のいずれか一項に記載の飛行制御方法。
前記追跡対象を追跡するステップは、
前記収音装置により取得した音情報から前記追跡対象の音成分を抽出し、前記追跡対象の音成分について音源方向の推定処理を行う、
請求項１０〜１４のいずれか一項に記載の飛行制御方法。
前記撮影方向を調整するステップは、
前記飛行体の回転翼機構と、前記撮像装置を支持する支持機構との少なくとも一方の動きを制御する、
請求項１０〜１５のいずれか一項に記載の飛行制御方法。
前記追跡対象の候補情報を前記飛行体と通信を行う端末に送信するステップと、
前記追跡対象の候補情報を前記端末により受信するステップと、
前記追跡対象の候補を表示部により表示するステップと、
前記追跡対象の設定に関する入力を行うステップと、を有する、
請求項１０に記載の飛行制御方法。
前記追跡対象の追跡を失敗した場合に、前記表示部により追跡失敗表示を行うステップ、を有する、
請求項１７に記載の飛行制御方法。
所定の追跡対象を追跡する飛行体を制御するコンピュータに、
前記追跡対象を撮像装置により撮像するステップと、
前記追跡対象を含む周囲の音を収音装置により収音するステップと、
前記撮像した撮像画像を用いて前記追跡対象を追跡するステップと、
前記収音した音情報により前記追跡対象に該当する音源方向を推定するステップと、
前記音源方向の推定結果に基づいて前記撮像装置による撮影方向を調整するステップと、を実行させるための、
プログラム。
所定の追跡対象を追跡する飛行体を制御するコンピュータに、
前記追跡対象を撮像装置により撮像するステップと、
前記追跡対象を含む周囲の音を収音装置により収音するステップと、
前記撮像した撮像画像を用いて前記追跡対象を追跡するステップと、
前記収音した音情報により前記追跡対象に該当する音源方向を推定するステップと、
前記音源方向の推定結果に基づいて前記撮像装置による撮影方向を調整するステップと、を実行させるためのプログラムを記録したコンピュータ読み取り可能な、
記録媒体。