JP2017163265A - 操縦支援システム、情報処理装置およびプログラム - Google Patents

Abstract

【課題】無人飛行体の安全な飛行を支援するシステムを提供する。【解決手段】飛行体操縦支援システム１０００は、全方位撮像装置を搭載した無人飛行体２０と、操縦支援画像を生成する情報処理装置１０と、操縦支援画像を表示する表示手段１２と、操縦支援画像の視野の変更を指定するための視野変更手段３０２とを有する。無人飛行体は、全方位撮像装置が撮影した撮影画像を情報処理装置に送信する撮影画像送信部２０２と、撮影画像の撮影時の機体の姿勢を示すセンサ情報を情報処理装置に送信するセンサ情報送信部２０４とを有する。情報処理装置は、無人飛行体から受信した撮影画像に基づいて全天球画像を仮想球面に貼り付けた球面画像を生成する球面画像生成部１０２と、球面画像から指定された任意の視野に対応する画像領域を切り出し、該画像領域を投影変換してなる平面画像に基づいて操縦支援画像を生成する操縦支援画像生成部１０８とを有する。【選択図】図３

Description

本発明は、操縦支援システム、情報処理装置およびプログラムに関する。

近年、高度成長期に建設されたトンネル・橋梁などの公共インフラの老朽化が進んでおり、それが原因で各地で悲惨な崩落事故も発生していることから、早急な対策が迫られているが、近年の人手不足や財政難の影響で、思うように点検作業が進んでいない。

この点につき、近年、カメラを搭載した無人飛行体を利用して公共インフラの点検を行うことが検討されている。この場合、点検者は、直接目視できない場所を飛行する無人飛行体から送信される映像に頼って、無人飛行体の操縦と目的箇所の点検を同時的に行うことになる

ここで、機体の操縦性や点検効率の観点からすれば、カメラの撮影方向を自在に変更する駆動機構が無人飛行体に搭載されていることが好ましいが、一方で、駆動機構の搭載は、電力消費やペイロード（搭載重量）の増大を招くため、飛行の安全性や長時間化の観点からは好ましくない。

一方、全方位カメラで取得した映像を加工して、ユーザが指定した任意の注視点に対応する範囲の平面画像として見せる技術が知られている（例えば、特許文献１）。

本発明は、上記問題に鑑みてなされたものであり、無人飛行体の安全な飛行を支援するための飛行体操縦支援システムを提供することを目的とする。

本発明者は、無人飛行体の安全な飛行を支援するための飛行体操縦支援システムにつき鋭意検討した結果、以下の構成に想到し、本発明に至ったのである。

すなわち、本発明によれば、全方位撮像装置を搭載した無人飛行体と、前記無人飛行体の操縦を支援する操縦支援画像を生成する情報処理装置と、前記操縦支援画像を表示する表示手段と、前記操縦支援画像の視野の変更を指定するための視野変更手段と、を含む操縦支援システムであって、前記無人飛行体は、前記全方位撮像装置が撮影した撮影画像を前記情報処理装置に送信する撮影画像送信部と、前記撮影画像の撮影時の機体の姿勢を示すセンサ情報を前記情報処理装置に送信するセンサ情報送信部と、を含み、前記情報処理装置は、前記無人飛行体から受信した前記撮影画像に基づいて全天球画像を生成し、全天球画像を仮想球面に貼り付けて球面画像を生成する球面画像生成部と、前記球面画像から、前記視野変更手段が指定する任意の視野に対応する画像領域を切り出し、該画像領域を投影変換してなる平面画像に基づいて前記操縦支援画像を生成する操縦支援画像生成部とを含む操縦支援システムが提供される。

上述したように、本発明によれば、無人飛行体の安全な飛行を支援するための飛行体操縦支援システムが提供される。

本実施形態の飛行体操縦支援システムのシステム構成図。 本実施形態の無人飛行体と操縦装置を示す図。 本実施形態の飛行体操縦支援システムの機能ブロック図。 球面画像生成部が実行する処理を説明するための図。 球面画像生成部が実行する処理を説明するための図。 本実施形態の情報処理装置が実行する処理のフローチャート。 本実施形態の情報処理装置が実行する処理のフローチャート。 本実施形態の効果を説明するための図。 本実施形態の飛行体操縦支援システムのハードウェア構成図。

以下、本発明を、実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜、その説明を省略するものとする。

図１は、本発明の実施形態である飛行体操縦支援システム１０００のシステム構成を示す。図１に示すように、本実施形態の飛行体操縦支援システム１０００は、無人飛行体２０と、無人飛行体２０を無線操縦するための操縦装置３０と、情報処理装置１０と、ディスプレイ１２とを含んで構成されている。

本実施形態の無人飛行体２０は、無線操縦で自律飛行する飛行体であり、好ましくは、マルチコプターである。図１に示すように、無人飛行体２０は、全方位３６０度を動画撮影することができる全方位撮像装置２２を搭載しており、全方位撮像装置２２が撮影した画像を情報処理装置１０に無線でリアルタイム送信する。以下、全方位撮像装置２２を“全天球カメラ２２”という。

本実施形態の情報処理装置１０は、無人飛行体２０からリアルタイム送信される全天球カメラ２２の撮影画像に基づいて所定の画像処理を実行するコンピュータであり、無人飛行体２０の遠隔操縦を支援するための画像（以下、操縦支援画像という）をリアルタイムに生成する役割を担う。情報処理装置１０は、生成した操縦支援画像を表示手段１２に出力し、表示手段１２がこれを表示する。なお、情報処理装置１０とディスプレイ１２の接続方式は有線または無線のいずれであってもよい。以下、表示手段１２を“ディスプレイ１２”という。

操縦装置３０は、無人飛行体２０を無線で遠隔操縦するための既知の操縦機能に加えて、ディスプレイ１２に表示される操縦支援画像操縦の視野の変更を指定するための操作信号を情報処理装置１０に送信する機能を備える。なお、操作信号の送信方式は有線または無線のいずれであってもよい。

ここで、無人飛行体２０および操縦装置３０の詳細構成を図２に基づいて説明する。

図２（ａ）は、無人飛行体２０の正面図と側面図を併せて示す。本実施形態において、無人飛行体２０は、マイクロコンピュータ（図示せず）を搭載しており、マイクロコンピュータが機体の自律飛行制御と情報処理装置１０に対するデータ送信を行う。

また、無人飛行体２０は、安定飛行を実現するための各種センサを搭載する。無人飛行体２０のマイクロコンピュータは、各種センサ情報を情報処理装置１０に無線でリアルタイム送信する。ここいうセンサとは、例えば、３軸ジャイロセンサ、３軸加速度センサ、３軸地磁気センサであり、無人飛行体２０は、少なくとも、３軸ジャイロセンサを搭載し、３軸（x,y,z）の角速度を機体の姿勢を示すセンサ情報として取得・送信するように構成されている。

さらに、無人飛行体２０は、先述したように、全方位３６０度を動画撮影することができる全天球カメラ２２を搭載する。本実施形態における全天球カメラ２２は、２つの魚眼レンズを含む撮像光学系を有し、各魚眼レンズは、１８０度を超える画角を有している。全天球カメラ２２は、一方の撮像光学系によって無人飛行体２０の前方１８０度超の範囲を撮影して第１の魚眼画像を取得し、他方の撮像光学系によって無人飛行体２０の後方１８０度超の範囲を撮影して第２の魚眼画像を取得するように構成されており、無人飛行体２０のマイクロコンピュータは、全天球カメラ２２が取得した２つの撮影画像（第１の魚眼画像および第２の魚眼画像）を情報処理装置１０に無線でリアルタイム送信する。

図２（ｂ）は、操縦装置３０を示す。操縦装置３０は、無人飛行体２０の動き（前後、左右、上下、旋回）を遠隔操作するための操作レバー３３などの既知の操作用インターフェースに加えて、ディスプレイ１２に表示される操縦支援画像の視野を指定する操作を受け付けるインターフェースとして、６つのボタンからなるボタン群３２を備えている。ここで、ボタン群３２は、視野を左右に移動させるパン操作を受け付ける２つのパンボタン（右、左）、視野を上下に移動させるチルト操作を受け付ける２つのチルトボタン（上、下）、視野の拡大・縮小を受け付けるためのズームインボタンおよびズームアウトボタンからなる。

本システムでは、ユーザは、無人飛行体２０から送信される全天球カメラ２２の撮影画像に基づいてリアルタイムに生成される操縦支援画像をディスプレイ１２上で確認しながら、操縦装置３０の操作レバー３３で無人飛行体２０の飛行を遠隔操作する。ここで、本システムでは、ユーザが、必要に応じて、操縦装置３０のボタン群３２を介して、視野を上下左右に移動したり（パン、チルト）、視野の拡大・縮小を行ったり（ズームイン、ズームアウト）することにより、無人飛行体２０の進行方向前方の視野に対応する画像だけでなく、ユーザが任意に指定する任意の視野に対応する画像をリアルタイムに視認することができるようになっている。

これにより、ユーザは、時々刻々と変化する全方位の状況を目視で確認しながら無人飛行体２０を操縦することが可能になり、障害物が多い挟所においても、無人飛行体２０を安全に飛行させることが可能になる。

ただし、無人飛行体２０の進行方向前方以外の視野を自由に見ることができる（よそ見ができる）ということは、一方で、ユーザが無人飛行体２０の進行方向を見失う原因にもなる。この点つき、本システムでは、ユーザが無人飛行体２０の進行方向を見失わない工夫がなされており、その詳しい内容については後述する。

以上、本実施形態の飛行体操縦支援システム１０００を構成する各装置の構成について説明してきたが、続いて、本システムを構成する各装置の機能構成を図３に示す機能ブロック図に基づいて説明する。

無人飛行体２０は、撮影画像送信部２０２とセンサ情報送信部２０４を含んで構成される。

撮影画像送信部２０２は、全天球カメラ２２が撮影した画像（２つの魚眼画像）を情報処理装置１０に無線でリアルタイム送信する手段である。

センサ情報送信部２０４は、少なくとも３軸ジャイロセンサのセンサ出力であるを３軸（x,y,z）の角速度を機体の姿勢を示すセンサ情報として情報処理装置１０に無線でリアルタイム送信する手段である。

なお、本実施形態では、無人飛行体２０に搭載されるマイクロコンピュータが所定のプログラムを実行することにより、無人飛行体２０が上述した各手段として機能する。

操縦装置３０は、視野変更手段３０２と飛行制御手段３０４を含んで構成される。

飛行制御手段３０４は、無人飛行体２０の動き（前後、左右、上下、旋回）を遠隔制御するための既知の手段である。

視野変更手段３０２は、ボタン群３２を介した操作に応じて、操縦支援画像の視野の変更を指定するための操作信号を情報処理装置１０に送信する手段である。

情報処理装置１０は、球面画像生成部１０２、進行方向特定部１０４、進行方向描画部１０６および操縦支援画像生成部１０８を含んで構成される。

球面画像生成部１０２は、無人飛行体２０から受信した撮影画像に基づいて全天球画像を生成し、全天球画像を仮想的な球面に貼り付けて球面画像を生成する手段である。

進行方向特定部１０４は、無人飛行体２０から受信したセンサ情報（３軸（x,y,z）の角速度）に基づいて無人飛行体２０の現在の姿勢を求め、求めた現在の姿勢から無人飛行体２０の現在の進行方向を特定する手段である。

進行方向描画部１０６は、球面画像生成部１０２が生成した球面画像における進行方向の位置に所定の印を描画する手段である。

操縦支援画像生成部１０８は、進行方向描画部１０６が所定の印を描画した球面画像から、操縦装置３０（視野変更手段３０２）から送信される操作信号によて指定される任意の視野に対応する画像領域を切り出し、切り出した画像領域を投影変換してなる平面画像に基づいて操縦支援画像を生成する手段である。

なお、本実施形態では、情報処理装置１０に搭載されるプロセッサが所定のプログラムを実行することにより、情報処理装置１０が上述した各手段として機能する。

以上、本システムを構成する各装置の機能構成について説明してきたが、続いて、情報処理装置１０の上述した各手段が実行する具体的な処理の内容を説明する。

まず最初に、球面画像生成部１０２が実行する処理を説明する。

本実施形態において、球面画像生成部１０２は、無人飛行体２０から受信した２つの魚眼画像に基づいて、下記（１）〜（３）の手順で球面画像を生成する。
（１）無人飛行体２０から受信した２つの魚眼画像を読み出す。図４（ａ）は、その２つの魚眼画像を例示する。
（２）それぞれの魚眼画像に対して、カメラレンズごとの特性に応じたカメラ補正行列を用いた写像により、歪み補正を施した後、歪み補正後の２つの画像をスティッチング(貼りあわせ)し、これに天地補正を施して、１枚の全天球画像を生成する。図４（ｂ）は、生成された全天球画像を例示する。
（３）既知のテクスチャマッピングの手法を用いて、生成された全天球画像を仮想球体の内面に貼り付けた３次元モデルを球面画像として生成する。図４（ｃ）は、生成された球面画像を例示する。

続いて、操縦支援画像生成部１０８が実行する処理を説明する。

操縦支援画像生成部１０８は、球面画像生成部１０２が生成した球面画像から、操縦装置３０の視野変更手段３０２によって指定された視野に対応する画像領域ｒを切り出し、切り出した画像領域ｒに対して、仮想球体の中心を投影中心（原点）とする透視投影変換を行って平面画像Ｒを生成する。図５は、球面画像から画像領域ｒが切り出され、平面画像Ｒに透視投影変換される流れを概念的に示す。なお、本実施形態では、透視投影変換のパラメータ（視線方向、視野角、投影範囲（zNear，zFar）、アスペクト比）のうち、「視線方向」が操縦装置３０のボタン群３２の４つのボタン（パンとチルト）を介した入力によって変更されることで、視野が指定される。

以上、球面画像生成部１０２と操縦支援画像生成部１０８が実行する処理について説明してきたが、続いて、情報処理装置１０の上述した各手段が協働して実行する処理を図６に示すフローチャートに基づいて説明する。

まず、ステップ１０１で、図５の球面画像からの画像の切り出し位置の初期状態を示す向きと傾き（角速度）を設定する。ここで、本実施形態では、操縦支援画像生成部１０８は、球面画像からの現在の画像切り出し位置を示す向きと傾きをそれぞれ実部および虚部とするクォータニオン（四元数）を保持しており、ステップ１０１では、クォータニオンの４つの要素を０に設定する。

続くステップ１０２では、パースペクティブの値を初期値に設定する。

以降、後述するステップ１０３〜１１３の処理を繰り返し実行する。

まず、ステップ１０３では、「パン」ボタンまたは「チルト」ボタンが押されているか否かを判断する。その結果、いずれのボタンも押されていない場合は（ステップ１０３、Ｎｏ）、処理はステップ１０７に進む。

一方、「パン」ボタンまたは「チルト」ボタンが押されている場合は（ステップ１０３、Ｙｅｓ）、続くステップ１０４で、押されているボタン（パン（左）、パン（右）、チルト（上）、チルト（下））に対応する変数「角度」を更新する。例えば、押されたボタンが「パン（右）」であれば、ボタンが押された時間を角速度に変換して、相当する回転を右側へ与えるように変数「角度」を更新する。仮に、100ms毎にステップ１０３〜１１３が繰り返されるとすると、ボタンが押された時間１秒につきπ/６角速度を変化させるルールの下では、ステップ１０４で、押されたボタンに対応する方向（左右上下）へπ/60（＝π/6×0.1）の回転を与えるように変数「角度」を更新する。

続くステップ１０５で、更新後の角度に基づいて新たなクォータニオンを生成する。ここで、クォータニオンは、角速度とx,y,z軸が決まれば一義的に求まり、画像は平面なのでzは常に0となる。

続くステップ１０６では、現在の画像切り出し位置を示すクォータニオンに、先のステップ１０５で生成したクォータニオンを掛けて、現在の画像切り出し位置を示すクォータニオンを更新する。

続くステップ１０７では、「ズームイン」ボタンが押されているか否かを判断する。その結果、「ズームイン」ボタンが押されていない場合は（ステップ１０７、Ｎｏ）、処理はステップ１０８に進む。

一方、「ズームイン」ボタンが押されていた場合は（ステップ１０７、Ｙｅｓ）、続くステップ１０８で、パースペクティブを「zNear」側に増分値を足し込む。

続くステップ１０９では、「ズームアウト」ボタンが押されているか否かを判断する。その結果、「ズームアウト」ボタンが押されていない場合は（ステップ１０９、Ｎｏ）、処理はステップ１１１に進む。

一方、「ズームアウト」ボタンが押されている場合は（ステップ１０９、Ｙｅｓ）、続くステップ１１０で、パースペクティブを「zFar」側に増分値を足し込む。

続くステップ１１１では、先出の進行方向特定部１０４と進行方向描画部１０６が協働して「進行方向描画処理」を実行する。ここで、「進行方向描画処理」の詳細内容を図７に示すフローチャートに基づいて説明する。

まず、ステップ２０１では、無人飛行体２０の初期の姿勢状態を示す向きと傾き（角速度）を設定する。ここで、操縦支援画像生成部１０８は、飛行体の姿勢状態を示す向きおよび傾きをそれぞれ実部および虚部とするクォータニオン（四元数）を保持しており、ステップ２０１では、クォータニオンの４つの要素を０に設定する。

続くステップ２０２では、進行方向特定部１０４が、無人飛行体２０から受信したセンサ情報の中から最新の角速度（３軸）を取得し、続くステップ２０３で、角速度の時間積分によって飛行体の現在の姿勢角を求め、続くステップ２０４で、飛行体の現在の姿勢状態を示すクォータニオンを更新する。これにより、無人飛行体２０の最新の進行方向が特定される。

続くステップ２０５では、進行方向描画部１０６が、無人飛行体２０の現在の姿勢状態を示すクォータニオンが示す無人飛行体２０の現在の進行方向の位置が現在の画像内に含まれるか否かを判断する。その結果、無人飛行体２０の現在の進行方向の位置が現在の画像内に含まれていない場合は（ステップ２０５、Ｎｏ）、「進行方向描画処理」を終了する。

一方、無人飛行体２０の現在の姿勢状態を示すクォータニオンが示す位置が現在の画像内に含まれている場合は（ステップ２０５、Ｙｅｓ）、処理はステップ２０６に進む。続くステップ２０６では、進行方向描画部１０６が、メモリ上（フレームバッファ）の画像内の無人飛行体２０の現在の進行方向の位置にアイコンを描画して、「進行方向描画処理」を終了する。なお、ステップ２０６で描画するアイコンは、進行方向を表す印としてユーザに認識されるものであればよく、その具体的な態様は任意である。

上述したように、初期状態では、カメラのレンズ正面方向＝無人飛行体２０の進行方向となる。そして、飛行開始後は、無人飛行体２０の最新の姿勢角に基づいて無人飛行体２０のその時点の進行方向を特定することができる。その結果、最初の初期値座標から画像のx,y方向にどのくらい移動したかを把握することができ、その時点における画像の正面にあたる画像の位置を球面画像上の座標で把握することができる。これにより、向きが変更（パン・チルト）された球面画像における、無人飛行体２０の進行方向の座標を把握することができ、球面画像からユーザが指定した視野に対応する画像を切り抜いたときに、進行方向の位置にあたる画像を切り抜いたかどうかがわかる。これに合わせ、画像の重ね合わせを行い、進行方向がわかるようにする。

再び、図６に戻って説明を続ける。

ステップ１１１の「進行方向描画処理」を経た後、続くステップ１１２では、パースペクティブおよび現在の画像切り出し位置を用いて写像し、メモリ上（フレームバッファ）の画像を更新する。その後、ステップ１１３で次の画像を引き取って、再び、ステップ１０３に戻る。以降、上述したステップ１０３〜１１３の処理を繰り返す。

ここで、上述したステップ１０３〜１１３の処理が繰り返されることによる効果を図８を例にとって説明する。

図８は、ユーザがディスプレイ１２に表示される操作支援画像を見ながら操縦装置３０を操作している状態を示す。図８（ａ）が示す状態では、操作支援画像の正面に無人飛行体２０の進行方向を示す「○」アイコンが表示されており、このとき、ユーザは、操作支援画像の正面に表示される画像が無人飛行体２０の進行方向前方の画像であることを認識した上で無人飛行体２０を操縦することができる。

続いて、操作支援画像の右側に映り込んだ対象Ｘに気づいたユーザが、対象Ｘをよく観察しようとして、操縦装置３０の「パン（右）ボタン」を押すと、図８（ｂ）が示すように、操作支援画像の正面に対象Ｘが映り込んだ画像が表示されるとともに、無人飛行体２０の進行方向を示す「○」アイコンが操作支援画像の左側に移動する。このように、本実施形態によれば、ユーザは、無人飛行体２０の進行方向を確認しながら、進行方向とは別の任意の方向を観察することが可能になる。

以上、説明したように、本実施形態によれば、電力消費やペイロードの増大を招く駆動機構を無人飛行体に搭載することなく、無人飛行体の動きとは独立して、自由に映像の視点を移動したり、ズームしたりすることができるようになるので、本システムを公共インフラの点検作業に応用した場合には、飛行の安全化・長時間化と作業効率の向上が同時に実現される。

加えて、本実施形態では、ユーザが進行方向前方以外に視野を変更した場合でも、操作支援画像上に無人飛行体の進行方向が示されるので、ユーザは、無人飛行体２０の進行方向を見失って混乱するといったことが起こらず、無人飛行体２０を安全に飛行させることができる。

以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、種々の設計変更が可能である。

例えば、上述した実施形態では、視野変更手段３０２と飛行制御手段３０４を一体化した操縦装置３０について説明したが、視野変更手段３０２と飛行制御手段３０４を別個の装置としてもよく、この場合、視野変更手段３０２をジョイスティックなどで構成してもよい。また、視野変更手段３０２と飛行制御手段３０４の機能を有するアプリケーションをタブレット端末やスマートフォンにインストールしたものを操縦装置３０として用いてもよい。

また、上述した実施形態では、表示手段１２として、フラットバネルディスプレイを例示したが、表示手段１２は、ヘッドマウントディスプレイであってもよい。

また、上述した実施形態では、２つの撮像光学系からなる全方位撮像装置を例示したが、３以上の撮像光学系からなる全方位撮像装置を採用してもよい。

最後に、本実施形態の情報処理装置１００と無人飛行体２０のハードウェア構成を図９に示すハードウェア構成図に基づいて説明する。

図９（ａ）に示すように、本実施形態の情報処理装置１００は、装置全体の動作を制御するプロセッサ１３と、ブートプログラムやファームウェアプログラムなどを保存するＲＯＭ１４と、プログラムの実行空間を提供するＲＡＭ１５と、情報処理装置１００を上述した各手段として機能させるためのプログラムやオペレーティングシステム（ＯＳ）等を保存するための補助記憶装置１６と、ディスプレイ１２に画像を出力するための画像出力インタフェース１７と、無人飛行体２０および操縦装置３０との間の無線接続を確立するための無線通信インターフェース１８とを備えている。

一方、無人飛行体２０に搭載されるマイクロコンピュータは、図９（ｂ）に示すように、無人飛行体２０全体の動作を制御するプロセッサ２３と、ブートプログラムやファームウェアプログラムなどを保存するＲＯＭ２４と、プログラムの実行空間を提供するＲＡＭ２５と、無人飛行体２０を上述した各手段として機能させるためのプログラム等を保存するための補助記憶装置２６と、各種センサ２１（３軸ジャイロセンサ、３軸加速度センサ、３軸地磁気センサ等）を接続するためのセンサ・インターフェース２７と、全天球カメラ２２を接続するためのカメラ・インターフェース２８と、情報処理装置１００および操縦装置３０との間の無線接続を確立するための無線通信インターフェース２９とを備えている。

なお、上述した実施形態の各機能は、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などで記述された装置実行可能なプログラムにより実現でき、本実施形態のプログラムは、ハードディスク装置、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭなどの装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。

以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、当業者が推考しうるその他の実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１０…情報処理装置
１２…表示手段（ディスプレイ）
１３…プロセッサ
１４…ＲＯＭ
１５…ＲＡＭ
１６…補助記憶装置
１７…画像出力インタフェース
１８…無線通信インターフェース
２０…無人飛行体
２１…各種センサ
２２…全方位撮像装置（全天球カメラ）
２３…プロセッサ
２４…ＲＯＭ
２５…ＲＡＭ
２６…補助記憶装置
２７…センサ・インターフェース
２８…カメラ・インターフェース
２９…無線通信インターフェース
３０…操縦装置
３２…ボタン群
３３…操作レバー
１００…情報処理装置
１０２…球面画像生成部
１０４…進行方向特定部
１０６…進行方向描画部
１０８…操縦支援画像生成部
２０２…撮影画像送信部
２０４…センサ情報送信部
３０２…視野変更手段
３０４…飛行制御手段
１０００…飛行体操縦支援システム

特開２００５−５６２９５号公報

Claims (6)

1. 全方位撮像装置を搭載した無人飛行体と、
   前記無人飛行体の操縦を支援する操縦支援画像を生成する情報処理装置と、
   前記操縦支援画像を表示する表示手段と、
   前記操縦支援画像の視野の変更を指定するための視野変更手段と、
   を含む操縦支援システムであって、
   前記無人飛行体は、
   前記全方位撮像装置が撮影した撮影画像を前記情報処理装置に送信する撮影画像送信部と、
   前記撮影画像の撮影時の機体の姿勢を示すセンサ情報を前記情報処理装置に送信するセンサ情報送信部と、
   を含み、
   前記情報処理装置は、
   前記無人飛行体から受信した前記撮影画像に基づいて全天球画像を生成し、全天球画像を仮想球面に貼り付けて球面画像を生成する球面画像生成部と、
   前記球面画像から、前記視野変更手段が指定する任意の視野に対応する画像領域を切り出し、該画像領域を投影変換してなる平面画像に基づいて前記操縦支援画像を生成する操縦支援画像生成部と、
   を含む、
   操縦支援システム。
2. 前記情報処理装置は、
   前記センサ情報に基づいて前記無人飛行体の姿勢を求め、該姿勢から該無人飛行体の進行方向を特定する進行方向特定部と、
   前記球面画像における前記進行方向の位置に所定の印を描画する進行方向描画部と、
   を含み、
   前記操縦支援画像生成部は、
   前記所定の印が描画された前記球面画像から、前記視野変更手段が指定する任意の視野に対応する画像領域を切り出し、該画像領域を投影変換してなる平面画像に基づいて前記操縦支援画像を生成する、
   請求項１に記載の操縦支援システム。
3. 無人飛行体の操縦を支援する操縦支援画像を生成する情報処理装置であって、
   全方位撮像装置を搭載した無人飛行体から受信した撮影画像に基づいて全天球画像を生成し、全天球画像を仮想球面に貼り付けて球面画像を生成する球面画像生成部と、
   前記球面画像から、指定された任意の視野に対応する画像領域を切り出し、該画像領域を投影変換してなる平面画像に基づいて前記操縦支援画像を生成する操縦支援画像生成部と、
   を含む、
   情報処理装置。
4. 前記無人飛行体から受信した機体の姿勢を示すセンサ情報に基づいて該無人飛行体の姿勢を求め、該姿勢から該無人飛行体の進行方向を特定する進行方向特定部と、
   前記球面画像における前記進行方向の位置に所定の印を描画する進行方向描画部と、
   を含み、
   前記操縦支援画像生成部は、
   前記所定の印が描画された前記球面画像から、指定された任意の視野に対応する画像領域を切り出し、該画像領域を投影変換してなる平面画像に基づいて前記操縦支援画像を生成する、
   請求項３に記載の情報処理装置。
5. コンピュータを、
   全方位撮像装置を搭載した無人飛行体から受信した撮影画像に基づいて全天球画像を生成し、全天球画像を仮想球面に貼り付けて球面画像を生成する球面画像生成手段、
   前記球面画像から、指定された任意の視野に対応する画像領域を切り出し、該画像領域を投影変換してなる平面画像に基づいて無人飛行体の操縦を支援する操縦支援画像を生成する操縦支援画像生成手段、
   として機能させるためのプログラム。
6. 前記コンピュータを、さらに、
   前記無人飛行体から受信した機体の姿勢を示すセンサ情報に基づいて該無人飛行体の姿勢を求め、該姿勢から該無人飛行体の進行方向を特定する進行方向特定手段、
   前記球面画像における前記進行方向の位置に所定の印を描画する進行方向描画手段、
   として機能させるプログラムであって、
   前記操縦支援画像生成手段は、
   前記所定の印が描画された前記球面画像から、指定された任意の視野に対応する画像領域を切り出し、該画像領域を投影変換してなる平面画像に基づいて前記操縦支援画像を生成する、
   請求項５に記載のプログラム。