JP7333565B1 - 飛行体および飛行体の制御方法 - Google Patents
飛行体および飛行体の制御方法 Download PDFInfo
- Publication number
- JP7333565B1 JP7333565B1 JP2022126369A JP2022126369A JP7333565B1 JP 7333565 B1 JP7333565 B1 JP 7333565B1 JP 2022126369 A JP2022126369 A JP 2022126369A JP 2022126369 A JP2022126369 A JP 2022126369A JP 7333565 B1 JP7333565 B1 JP 7333565B1
- Authority
- JP
- Japan
- Prior art keywords
- gnss
- function
- positioning function
- flying object
- aircraft
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Navigation (AREA)
- Traffic Control Systems (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
Abstract
【解決手段】飛行体UAVの位置情報に基づいて自律飛行する飛行体UAVの制御方法であって、飛行体UAVは、RTK-GNSS測位機能と、センサ測位機能と、測域機能と、方位取得機能と、これらの情報に基づいて飛行体の飛行を制御する飛行制御機能と、を有する制御部Cを備えており、RTK-GNSS測位機能およびセンサ測位機能による飛行体UAVの位置の把握を制御部Cが常時実施し、RTK-GNSS測位機能がFIX解を得た場合には、制御部Cは前記RTK-GNSS測位機能から得られる飛行体UAVの位置情報に基づいて飛行体の飛行を制御し、RTK-GNSS測位機能がFIX解を得られない場合には、制御部Cはセンサ測位機能から得られる制御部Cの位置情報に基づいて飛行体の飛行を制御する。
【選択図】図1
Description
第1発明の飛行体の制御方法は、 飛行体の位置情報に基づいて所定の飛行ルートに沿って自律飛行する飛行体の制御方法であって、飛行体は、GNSS衛星信号に基づいてRTK-GNSS測位により飛行体の位置を推定するRTK-GNSS測位機能と、飛行体に搭載された光学センサによる測位により飛行体の位置を推定するセンサ測位機能と、飛行体に搭載された光学センサにより周囲の物体との距離を測定する測域機能と、飛行体に搭載された磁気方位センサよって飛行体の機首方向を推定する方位取得機能と、前記RTK-GNSS測位機能または前記センサ測位機能により得られた飛行体の位置情報と、前記測域機能により得られた距離情報と、前記方位取得機能により得られた機首方向情報と、に基づいて飛行体の飛行を制御する飛行制御機能と、を有する制御部を備えており、前記RTK-GNSS測位機能および前記センサ測位機能は、いずれもNMEAフォーマットにより前記飛行制御機能に対して飛行体の位置情報を提供する機能を有しており、前記RTK-GNSS測位機能がFIX解を得た場合には、前記制御部の飛行制御機能は前記RTK-GNSS測位機能から得られる飛行体の位置情報に基づいて飛行体の飛行を制御し、前記RTK-GNSS測位機能がFIX解を得られない場合には、前記制御部の飛行制御機能は前記センサ測位機能から得られる飛行体の位置情報に基づいて飛行体の飛行を制御し、前記RTK-GNSS測位機能がFIX解を得られるGNSS環境から前記RTK-GNSS測位機能がFIX解を得られない非GNSS環境に移行する際には、前記制御部の飛行制御機能は、前記センサ測位機能における測定原点として前記RTK-GNSS測位機能がFIX解を得られない状況となる直前に前記RTK-GNSS測位機能で取得された位置を適用して、前記RTK-GNSS測位機能がFIX解を得られなくなったタイミングで前記センサ測位機能から得られる飛行体の位置情報に基づいて飛行体の飛行を制御する状態に短時間で移行し、前記GNSS測位機能がFIX解を得られない非GNSS環境から前記GNSS測位機能がFIX解を得られるGNSS環境に移行する際には、前記制御部の飛行制御機能は、前記GNSS測位機能がFIX解を得られる状況となる直前に前記センサ測位機能が推定した絶対座標系における飛行体の位置と前記GNSS測位機能で推定された飛行体の絶対座標系における位置との差を一定の時間をかけて解消するように前記センサ測位機能が推定した絶対座標系における飛行体の位置を調整することを特徴とする。
第2発明の飛行体の制御方法は、第1発明において、前記光学センサが、飛行体の前後方向、左右方向および上下方向をそれぞれ撮影する6つのIMUステレオカメラを備えており、前記センサ測位機能は、Visual Odometryにより、6つのIMUステレオカメラの情報に基づいてそれぞれ飛行体の位置を推定し、推定した複数の飛行体の位置の中央値に基づいて飛行体の位置を推定することを特徴とする。
第3発明の飛行体の制御方法は、第2発明において、前記制御部は、飛行体の位置推定に使用するIMUステレオカメラの信号を飛行体の飛行シーンにあわせて変更するカメラ選択機能を有しており、該カメラ選択機能は、GNSS環境においては、前後方向および左右方向を撮影するIMUステレオカメラの情報に基づいて得られる飛行体の位置に基づいて飛行体の位置を推定し、非GNSS環境においては、6つの飛行体の位置の推定において、上下を撮影するIMUステレオカメラの情報に基づいて得られる飛行体の位置の重みを大きくして飛行体の位置を推定することを特徴とする。
<飛行体>
第4発明の飛行体は、機体と、該機体に設けられた推進ロータと、GNSS衛星信号を受信するGNSS受信機と、前記機体の周囲の状況を測定する光学センサと、前記GNSS受信機が受信するGNSS衛星信号および/または前記光学センサが取得する情報に基づいて、前記推進ロータの作動を制御して前記機体の自律飛行を制御する制御部と、を備え、該制御部は、前記GNSS受信機が受信するGNSS衛星信号に基づいてRTK-GNSS測位により前記機体の位置を推定するRTK-GNSS測位機能と、前記機体に搭載された光学センサによる測位により該機体の位置を推定するセンサ測位機能と、前記機体に搭載された光学センサにより周囲の物体との距離を測定する測域機能と、前記機体に搭載された磁気方位センサよって飛行体の機首方向を推定する方位取得機能と、前記RTK-GNSS測位機能または前記センサ測位機能により得られた前記機体の位置情報と、前記測域機能により得られた距離情報と、前記方位取得機能により得られた機首方向情報と、に基づいて該機体の飛行を制御する飛行制御機能と、を備えており、前記RTK-GNSS測位機能および前記センサ測位機能は、いずれもNMEAフォーマットにより前記飛行制御機能に対して飛行体の位置情報を提供する機能を有しており、前記制御部は、前記RTK-GNSS測位機能および前記センサ測位機能による前記機体の位置の把握を常時実施し、前記RTK-GNSS測位機能がFIX解を得た場合には、前記制御部は前記RTK-GNSS測位機能から得られる前記機体の位置情報に基づいて前記機体の飛行を制御し、前記RTK-GNSS測位機能がFIX解を得られない場合には、前記制御部は前記センサ測位機能から得られる前記機体の位置情報に基づいて前記機体の飛行を制御する機能を有しており、前記制御部の飛行制御機能は、前記RTK-GNSS測位機能がFIX解を得られるGNSS環境から前記RTK-GNSS測位機能がFIX解を得られない非GNSS環境に移行する際には、前記RTK-GNSS測位機能がFIX解を得られなくなったタイミングで、前記センサ測位機能から得られる前記機体の位置情報に基づいて該機体の飛行を制御する状態に移行する機能と、前記GNSS測位機能がFIX解を得られない非GNSS環境から前記GNSS測位機能がFIX解を得られるGNSS環境に移行する際には、前記GNSS測位機能がFIX解を得られる状況となる直前に前記センサ測位機能が推定した絶対座標系における飛行体の位置と前記GNSS測位機能で推定された飛行体の絶対座標系における位置との差を一定の時間をかけて解消するように前記センサ測位機能が推定した絶対座標系における飛行体の位置を調整する機能と、を有していることを特徴とする。
第5発明の飛行体の制御方法は、第4発明において、前記光学センサが、飛行体の前後方向、左右方向および上下方向をそれぞれ撮影する6つのIMUステレオカメラを備えており、前記センサ測位機能は、Visual Odometryにより、6つのIMUステレオカメラの情報に基づいてそれぞれ飛行体の位置を推定し、推定した複数の飛行体の位置の中央値に基づいて飛行体の位置を推定することを特徴とする。
第6発明の飛行体の制御方法は、第5発明において、前記制御部は、飛行体の位置推定に使用するIMUステレオカメラの信号を飛行体の飛行シーンにあわせて変更するカメラ選択機能を有しており、該カメラ選択機能は、GNSS環境においては、前後方向および左右方向を撮影するIMUステレオカメラの情報に基づいて得られる飛行体の位置に基づいて飛行体の位置を推定し、非GNSS環境においては、6つの飛行体の位置の推定において、上下を撮影するIMUステレオカメラの情報に基づいて得られる飛行体の位置の重みを大きくして飛行体の位置を推定する機能を有していることを特徴とする。
第1発明によれば、GNSS環境ではRTK-GNSS測位機能により飛行体の正確な位置を推定でき、非GNSS環境では光学センサの信号に基づいてセンサ測位機能が飛行体の位置を推定できるので、制御部の飛行制御機能はGNSS環境でも非GNSS環境でも飛行体を自律飛行させることができる。また、制御部は、常にRTK-GNSS測位機能とセンサ測位機能によってそれぞれ飛行体の位置を推定しており、しかも、RTK-GNSS測位機能がFIX解を得られるか否かで使用する位置情報を変更するので、GNSS環境と非GNSS環境との間を飛行体が移動してもシームレスに飛行体の自律飛行を維持することができる。また、RTK-GNSS測位機能の位置情報による制御からセンサ測位機能の位置情報による制御への切り換えを短時間で行うので、飛行体の位置制御の精度低下を防ぐことができる。さらに、飛行体の位置制御の精度低下を防ぐことができる。そして、センサ測位機能の位置情報による制御からRTK-GNSS測位機能の位置情報による制御からへの切り換えは一定の時間をかけて行うので、センサ測位機能の位置情報による制御からRTK-GNSS測位機能の位置情報による制御に切り換わった際に、飛行体の異常移動の発生を抑制できる。
第2発明によれば、簡便かつリアルタイムに計測エラーを除去することができるので、センサ測位機能による飛行体UAVの位置推定のロバスト性を向上させることができる。
第3発明によれば、センサ測位機能により得られる飛行体の位置を推定する精度を高めることができる。
<飛行体>
第4発明によれば、GNSS環境ではRTK-GNSS測位機能により飛行体の正確な位置を推定でき、非GNSS環境では光学センサの信号に基づいてセンサ測位機能が飛行体の位置を推定できるので、制御部の飛行制御機能はGNSS環境でも非GNSS環境でも飛行体を自律飛行させることができる。また、制御部は、常にRTK-GNSS測位機能とセンサ測位機能によってそれぞれ飛行体の位置を推定しており、しかも、RTK-GNSS測位機能がFIX解を得られるか否かで使用する位置情報を変更するので、GNSS環境と非GNSS環境との間を飛行体が移動してもシームレスに飛行体の自律飛行を維持することができる。また、RTK-GNSS測位機能の位置情報による制御からセンサ測位機能の位置情報による制御への切り換えを短時間で行うので、飛行体の位置制御の精度低下を防ぐことができる。さらに、飛行体の位置制御の精度低下を防ぐことができる。そして、センサ測位機能の位置情報による制御からRTK-GNSS測位機能の位置情報による制御からへの切り換えは一定の時間をかけて行うので、センサ測位機能の位置情報による制御からRTK-GNSS測位機能の位置情報による制御に切り換わった際に、飛行体の異常移動の発生を抑制できる。
第5発明によれば、センサ測位機能による飛行体UAVの位置推定のロバスト性を向上させることができる。
第6発明によれば、センサ測位機能により得られる飛行体の位置を推定する精度を高めることができる。
本発明の飛行体の制御方法は、飛行体UAVの位置情報に基づいて自律飛行する飛行体の制御方法であって、GNSS環境と非GNSS環境との間を移動する場合でも、スムースな移動を可能としたことに特徴を有している。
まず、本実施形態の飛行体の制御方法について説明する前に、本実施形態の飛行体UAVについて説明する。
以下の説明では、本実施形態の飛行体UAVの基本構成以外は、自律飛行の制御に必要な機器を説明し、自律飛行の制御にとくに必要のない機器(例えば点検用機器など)については適宜説明を割愛する。
図3示すように、飛行体UAVは機体Bを備えている。この機体Bは、機体本体BBと、機体本体BBの下方に設けられた飛行体UAVを地上に載置するための脚部BLと、を備えている。機体本体BBには、推進ロータRや制御部C、点検用の機器、これらの機器に電力を供給するバッテリなどが設けられている。
図3に示すように、機体Bには、機体本体BBから側方に伸びた3本のアームBAが設けられており、各アームBAにはそれぞれ推進ロータRが設けられている。この各推進ロータRは、プロペラPとプロペラPを回転させるモータとをそれぞれ備えており、アームBAに対する姿勢を調整する姿勢調整機構RTを介してアームBAに取り付けられている。
また、推進ロータRは必ずしも姿勢調整機構RTを介してアームBAに取り付けなくてもよく、推進ロータRはアームBAに固定されていてもよい。
飛行体UAVの機体本体BBには、飛行体UAVの作動を制御するための制御部Cが設けられている。制御部Cは、フライトコントローラFCと、コンパニオンコンピュータCCと、GNSS受信機GRと、IMUステレオカメラICと、磁気方位センサMSと、記憶部MRと、を有している(図2参照)。
記憶部MRは、飛行体UAVの自律飛行や点検等の作業に必要な情報が記憶されたものである。例えば、記憶部MRには、飛行体UAVが自律飛行する飛行ルートに関する情報や、構造物等の点検を行う場合には点検を実施する対象物や点検する位置などに関する情報、ジンバルの角度、カメラの撮影情報等が記憶されている。なお、自律飛行する飛行ルートや点検を実施する対象物や位置などの情報は、WGS84座標系の情報として記憶部MRに記憶されているが、必ずしもWGS84座標系の情報に限られない。例えば、PZ座標系や、平面直交座標系の情報でもよい。
フライトコントローラFCは、飛行体UAVの飛行を制御する機能を有するものである。このフライトコントローラFCは、コンパニオンコンピュータCCから供給される情報に基づいて、飛行体UAVの姿勢や移動方向、移動速度などを制御するものである。つまり、フライトコントローラFCは、各推進ロータRのモータの回転数や姿勢調整機構を制御して、飛行体UAVの姿勢や移動方向、移動速度などを制御して、飛行体UAVがあらかじめ定められている所定の飛行ルート(図1(B)参照)に沿って移動するように制御するものである。
コンパニオンコンピュータCCは、フライトコントローラFCに対して飛行制御に必要な情報を提供する機能を有している。具体的には、コンパニオンコンピュータCCは、GNSS受信機GRやIMUステレオカメラIC、磁気方位センサMSからの情報と、記憶部MRに記憶されている飛行体UAVが自律飛行するルートや点検を実施する対象物や位置などの情報と、に基づいて、フライトコントローラFCが飛行体UAVの姿勢や移動方向、移動速度を調整する情報を作成し提供する機能を有している。そして、コンパニオンコンピュータCCは、RTK-GNSS測位機能とセンサ測位機能とに基づいて飛行体UAVの位置を把握する機能と、RTK-GNSS測位機能とセンサ測位機能のいずれの機能に基づいて飛行体UAVの飛行を制御する情報を作成するかを決定する機能(切り換え機能)も有している。また、コンパニオンコンピュータCCは、飛行体UAVと周囲の物体との距離を測定する測域機能と、飛行体UAVの機首方向を推定する方位取得機能も有している。
GNSS受信機GRは、GNSS衛星STから送信されるGNSS衛星信号を受信する機能を有するものであり、複数のGNSS衛星から発信される複数のGNSS衛星信号を受信する機能を有している。また、GNSS受信機GRは、基準局BSから送信される情報、つまり、基準局BSが受信した複数のGNSS衛星信号に関する情報を受信する機能を有している。そして、GNSS受信機GRは、受信した信号をコンパニオンコンピュータCCに供給する機能を有している。
IMUステレオカメラICは、ステレオカメラにInertial Measurement Unit(慣性計測装置:IMU)搭載されたが搭載されたものである。本実施形態の飛行体UAVでは、IMUステレオカメラICを6つ備えている(図2参照)。つまり、本実施形態の飛行体UAVは、飛行体UAVの前後左右と上下にそれぞれIMUステレオカメラICが設けられている。
磁気方位センサMSは、例えば、MRセンサやMIセンサ等の地球の磁力を検出するセンサである。この磁気方位センサMSは、地球の磁力の向きを検出することによって飛行体UAVの向き(機首の向き)を検出するために設けられるものである。この磁気方位センサMSは、検出した地球の磁力の向きに関する情報をコンパニオンコンピュータCCに供給する機能も有している。コンパニオンコンピュータCCは方位取得機能を備えており、方位取得機能は、検出した地球の磁力の向きに関する情報に基づいて飛行体UAVの機首方向、つまり、WGS84座標系等における機首の向きを推定し、機首方向情報を作成する。例えば、飛行体UAVの機首の向きと磁気方位センサMSのx軸とが一致するように磁気方位センサMSを飛行体UAVの機体Bに設置しておけば、磁気方位センサMSが検出する磁力からWGS84座標系等における機首の向きを推定することができる。
上述したように、コンパニオンコンピュータCCは、上述した種々の機能を実行するものである。つまり、RTK-GNSS測位機能と、センサ測位機能と、切り換え機能と、測域機能と、方位取得機能と、を実行する機能を有している(図2参照)。測域機能および方位取得機能は上述した機能を有している。以下では、RTK-GNSS測位機能と、センサ測位機能と、切り換え機能と、を詳細に説明する。
RTK-GNSS測位機能は、GNSS受信機GRが受信したGNSS衛星信号に基づいて飛行体UAVの現在位置、つまり、WGS84座標系上における飛行体UAVの位置を算出する機能を有している。また、RTK-GNSS測位機能は、受信したGNSS衛星信号に基づいて、測位解を算出する機能を有している。この測位解は、FIX解やFLOAT解、DGPS解、単独測位解であり、コンパニオンコンピュータCCは、得られた測位解がFIX解である場合に、算出されたWGS84座標系上における飛行体UAVの位置をNMEAフォーマットの情報として作成する機能を有している。以下では、NMEAフォーマットの飛行体UAVの位置情報を、単に飛行体UAVの位置情報という場合がある。
センサ測位機能は、IMUステレオカメラICのステレオカメラによって得られた画像やIMUが測定した加速度などに基づいて、Visual Odometryを用いて飛行体UAVの移動距離や移動方向、移動速度、つまり、移動ベクトルを算出する機能である。例えば、図1(B)に示すように、ある位置P3(元位置)から位置P4(現在位置)まで飛行体UAVが移動した場合、位置P3においてステレオカメラによって得られた画像と位置P4においてステレオカメラによって得られた画像と、を比較することによって、センサ測位機能は、位置P3から位置P4までの移動ベクトルを算出する。そして、センサ測位機能は、算出された移動ベクトルの情報に基づいて、元位置の座標を基準とする局所座標系における飛行体UAVの現在位置の座標を算出する。局所座標系における飛行体UAVの現在位置の座標は、元位置の座標に移動ベクトルを加算することによって得られる情報から作成することができる。また、センサ測位機能は、局所座標系における飛行体UAVの位置情報を公知の方法によってWGS84座標系における飛行体UAVの位置情報に変換し、このWGS84座標系における飛行体UAVの位置情報に基づいてNMEAフォーマットの情報を作成する機能を有している。以下では、NMEAフォーマットの飛行体UAVの位置情報を、単に飛行体UAVの位置情報という場合がある。
コンパニオンコンピュータCCは、飛行体UAVが飛行している環境に応じて、RTK-GNSS測位機能により得られる飛行体UAVの位置情報に基づく位置制御と、センサ測位機能により得られる飛行体UAVの位置情報に基づく位置制御と、を切り換える機能を有している。具体的には、GNSS環境ではRTK-GNSS測位機能により得られる飛行体UAVの位置情報に基づいて位置制御を行い、非GNSS環境ではセンサ測位機能により得られる飛行体UAVの位置情報に基づいて位置制御を行う。切り換え機能は、GNSS環境から非GNSS環境への移行、および、非GNSS環境からGNSS環境への移行、の際に、位置制御を行う情報を、RTK-GNSS測位機能により得られる飛行体UAVの位置情報とセンサ測位機能により得られる飛行体UAVの位置情報との間で切り換える機能を有している。
まず、コンパニオンコンピュータCCは、RTK-GNSS測位機能による測位解の算出と、センサ測位機能により得られるWGS84座標系における飛行体UAVの位置情報の作成と、を常時実施している。
また、GNSS環境から非GNSS環境への移行する場合には、切り換え機能は、フライトコントローラFCに供給する飛行体UAVの位置情報を、RTK-GNSS測位機能の飛行体UAVの位置情報からセンサ測位機能の飛行体UAVの位置情報に切り換える。この際には、RTK-GNSS測位機能がFIX解を得られなくなったタイミングで飛行体UAVの位置情報をセンサ測位機能の飛行体UAVの位置情報に切り換える機能を切り換え機能は有している。つまり、GNSS環境の間は、切り換え機能はRTK-GNSS測位機能に基づく飛行体UAVの位置情報をフライトコントローラFCに供給するが、RTK-GNSS測位機能がFIX解を得られない状況になると、切り換え機能は短時間(例えば、1秒以内)でセンサ測位機能に基づく飛行体UAVの位置情報をフライトコントローラFCに供給するように切り換える。すると、切り換えの際におけるRTK-GNSS測位機能による飛行体UAVの位置情報とセンサ測位機能による飛行体UAVの位置情報との差が小さくなる。よって、情報が切り替わったことによる飛行体UAVの姿勢や位置などの急激な変化を防ぐことができるので、フライトコントローラFCによる飛行体UAVの位置制御の精度低下を防ぐことができる。
本実施形態の飛行体UAVが上記のごとき構成を有していれば、飛行体UAVは、GNSS環境と非GNSS環境との間をスムースに移動しながら、構造物等の検査を実施することができる。なお、以下では、橋梁BRの下を通過する飛行ルートを飛行する場合を代表として説明する。
図4に示すように、飛行体UAVがGNSS環境から飛行する場合には、まず、コンパニオンコンピュータCCは、RTK-GNSS測位機能によって飛行体UAVの現在位置を取得する。つまり、RTK-GNSS測位機能がFIX解を得ると、コンパニオンコンピュータCCは、RTK-GNSS測位機能が算出するWGS84座標系における位置を飛行体UAVの現在位置と判断する。また、コンパニオンコンピュータCCは、磁気方位センサMSからの信号に基づいて方位取得機能が飛行体UAVの向きを推定する。飛行体UAVの現在位置および向きが得られると、コンパニオンコンピュータCCは、RTK-GNSS測位機能の飛行体UAVの位置情報と、飛行体UAVの向きの情報と、記憶部MRに記憶されている飛行ルートの情報と、をフライトコントローラFCに供給する。すると、その情報に基づいて、フライトコントローラFCは、飛行体UAVが所定の飛行ルートに沿って移動するように、各推進ロータRのモータの回転数や姿勢調整機構を制御する。なお、コンパニオンコンピュータCCは、飛行体UAVが飛行している間は、測域機能によって飛行体UAVと周囲の物体との距離を測定している。
やがて、飛行体UAVが橋梁BR(図1参照)の下に進入しようとすると、GNSS衛星信号の受信状態が変化して、FIX解が得られない状態になる。すると、図4に示すように、コンパニオンコンピュータCCの切り換え機能は、RTK-GNSS測位機能の飛行体UAVの位置情報に代えて、センサ測位機能の飛行体UAVの位置情報をフライトコントローラFCに供給するようになる。例えば、短時間(例えば1秒以内)に、コンパニオンコンピュータCCの切り換え機能は、RTK-GNSS測位機能の飛行体UAVの位置情報をセンサ測位機能の飛行体UAVの位置情報にフライトコントローラFCに供給するようになる。つまり、タイムラグがほとんどない状態でフライトコントローラFCに供給する飛行体UAVの位置情報を変更できる。しかも、センサ測位機能の飛行体UAVの情報をフライトコントローラFCに供給するようになった際には、センサ測位機能は、最後にFIX解が得られたときのRTK-GNSS測位機能が算出した飛行体UAVの位置(基準位置)の位置情報に基づいて飛行体UAVの現在位置の位置情報を算出する。すると、基準位置と現在位置とのズレも小さくできるので、飛行制御の安定性を維持できる
飛行体UAVが橋梁BRの下などの非GNSS環境に進入すると、RTK-GNSS測位機能はFIX解が得られない。したがって、図1に示すように、橋梁の下などを飛行体UAVが移動する間は、コンパニオンコンピュータCCはセンサ測位機能の飛行体UAVの位置情報をフライトコントローラFCに供給し、飛行ルートに沿って飛行体UAVが移動するように制御する。この場合でも、センサ測位機能は、6つのIMUステレオカメラICの情報に基づいたVisual Odometryによって飛行体UAVの位置を算出するので、算出される飛行体UAVの位置の精度を高くできる。ここで、非GNSS環境においては、前後左右方向より上下方向の撮影範囲に画像特徴が豊富となるため、カメラ選択機能は、上下カメラの推定結果の重みを大きくすることで,Visual Odometryによる位置推定精度を向上させる。なお、非GNSS環境においても、RTK-GNSS測位機能は測位解の算出を常時実施する。
飛行体UAVが橋梁BRの下から脱出すると、GNSS衛星信号の受信状態が変化して、FIX解が得られる状態になる。この状態では、現在の飛行体UAVの位置と切り換わる直前の飛行体UAVの位置との間に大きな差が生じている可能性がある。つまり、センサ測位機能の累積誤差に起因する位置の差が生じる可能性がある。その状態でRTK-GNSS測位機能の飛行体UAVの位置情報を用いて飛行体UAVが飛行ルートに沿って移動するように制御すると、急激な位置変更による飛行体UAVの異常移動が発生する可能性がある。
磁気方位センサには、IST8310(CUAV NEOv2)を使用した。
図8(B)はモーションキャプチャで得られた飛行軌跡、つまり、実測データの飛行軌跡であるが、図8(A)に示す衛星画像上にフライトコントローラで推定された飛行軌跡をプロットしたものと一致している。つまり、本発明の飛行制御方法によって、GNSS環境と非GNSS環境において、フライトコントローラで自己位置と軌道のデータがシームレスに推定されていることが確認できた。
B 機体
BB 機体本体
BA アーム
R ロータ
RT 姿勢調整機構
C 制御部
CC コンパニオンコンピュータ
FC フライトコントローラ
GR GNSS受信機
IC IMUステレオカメラ
MS 磁気方位センサ
MR 記憶部
Claims (6)
- 飛行体の位置情報に基づいて所定の飛行ルートに沿って自律飛行する飛行体の制御方法であって、
飛行体は、
GNSS衛星信号に基づいてRTK-GNSS測位により飛行体の位置を推定するRTK-GNSS測位機能と、
飛行体に搭載された光学センサによる測位により飛行体の位置を推定するセンサ測位機能と、
飛行体に搭載された光学センサにより周囲の物体との距離を測定する測域機能と、
飛行体に搭載された磁気方位センサよって飛行体の機首方向を推定する方位取得機能と、前記RTK-GNSS測位機能または前記センサ測位機能により得られた飛行体の位置情報と、前記測域機能により得られた距離情報と、前記方位取得機能により得られた機首方向情報と、に基づいて飛行体の飛行を制御する飛行制御機能と、
を有する制御部を備えており、
前記RTK-GNSS測位機能および前記センサ測位機能は、
いずれもNMEAフォーマットにより前記飛行制御機能に対して飛行体の位置情報を提供する機能を有しており、
前記RTK-GNSS測位機能がFIX解を得た場合には、前記制御部の飛行制御機能は前記RTK-GNSS測位機能から得られる飛行体の位置情報に基づいて飛行体の飛行を制御し、
前記RTK-GNSS測位機能がFIX解を得られない場合には、前記制御部の飛行制御機能は前記センサ測位機能から得られる飛行体の位置情報に基づいて飛行体の飛行を制御し、
前記RTK-GNSS測位機能がFIX解を得られるGNSS環境から前記RTK-GNSS測位機能がFIX解を得られない非GNSS環境に移行する際には、前記制御部の飛行制御機能は、前記センサ測位機能における測定原点として前記RTK-GNSS測位機能がFIX解を得られない状況となる直前に前記RTK-GNSS測位機能で取得された位置を適用して、前記RTK-GNSS測位機能がFIX解を得られなくなったタイミングで前記センサ測位機能から得られる飛行体の位置情報に基づいて飛行体の飛行を制御する状態に短時間で移行し、
前記GNSS測位機能がFIX解を得られない非GNSS環境から前記GNSS測位機能がFIX解を得られるGNSS環境に移行する際には、前記制御部の飛行制御機能は、前記GNSS測位機能がFIX解を得られる状況となる直前に前記センサ測位機能が推定した絶対座標系における飛行体の位置と前記GNSS測位機能で推定された飛行体の絶対座標系における位置との差を一定の時間をかけて解消するように前記センサ測位機能が推定した絶対座標系における飛行体の位置を調整する
ことを特徴とする飛行体の制御方法。 - 前記光学センサが、
飛行体の前後方向、左右方向および上下方向をそれぞれ撮影する6つのIMUステレオカメラを備えており、
前記センサ測位機能は、
Visual Odometryにより、6つのIMUステレオカメラの情報に基づいてそれぞれ飛行体の位置を推定し、推定した複数の飛行体の位置の中央値に基づいて飛行体の位置を推定する
ことを特徴とする請求項1記載の飛行体の制御方法。 - 前記制御部は、
飛行体の位置推定に使用するIMUステレオカメラの信号を飛行体の飛行シーンにあわせて変更するカメラ選択機能を有しており、
該カメラ選択機能は、
GNSS環境においては、前後方向および左右方向を撮影するIMUステレオカメラの情報に基づいて得られる飛行体の位置に基づいて飛行体の位置を推定し、
非GNSS環境においては、6つの飛行体の位置の推定において、上下を撮影するIMUステレオカメラの情報に基づいて得られる飛行体の位置の重みを大きくして飛行体の位置を推定する
ことを特徴とする請求項2記載の飛行体の制御方法。 - 機体と、
該機体に設けられた推進ロータと、
GNSS衛星信号を受信するGNSS受信機と、
前記機体の周囲の状況を測定する光学センサと、
前記GNSS受信機が受信するGNSS衛星信号および/または前記光学センサが取得する情報に基づいて、前記推進ロータの作動を制御して前記機体の自律飛行を制御する制御部と、を備え、
該制御部は、
前記GNSS受信機が受信するGNSS衛星信号に基づいてRTK-GNSS測位により前記機体の位置を推定するRTK-GNSS測位機能と、
前記機体に搭載された光学センサによる測位により該機体の位置を推定するセンサ測位機能と、
前記機体に搭載された光学センサにより周囲の物体との距離を測定する測域機能と、
前記機体に搭載された磁気方位センサよって飛行体の機首方向を推定する方位取得機能と、
前記RTK-GNSS測位機能または前記センサ測位機能により得られた前記機体の位置情報と、前記測域機能により得られた距離情報と、前記方位取得機能により得られた機首方向情報と、に基づいて該機体の飛行を制御する飛行制御機能と、を備えており、
前記RTK-GNSS測位機能および前記センサ測位機能は、
いずれもNMEAフォーマットにより前記飛行制御機能に対して飛行体の位置情報を提供する機能を有しており、
前記制御部は、
前記RTK-GNSS測位機能および前記センサ測位機能による前記機体の位置の把握を常時実施し、
前記RTK-GNSS測位機能がFIX解を得た場合には、前記制御部は前記RTK-GNSS測位機能から得られる前記機体の位置情報に基づいて前記機体の飛行を制御し、
前記RTK-GNSS測位機能がFIX解を得られない場合には、前記制御部は前記センサ測位機能から得られる前記機体の位置情報に基づいて前記機体の飛行を制御する機能を有しており、
前記制御部の飛行制御機能は、
前記RTK-GNSS測位機能がFIX解を得られるGNSS環境から前記RTK-GNSS測位機能がFIX解を得られない非GNSS環境に移行する際には、前記RTK-GNSS測位機能がFIX解を得られなくなったタイミングで、前記センサ測位機能から得られる前記機体の位置情報に基づいて該機体の飛行を制御する状態に移行する機能と、
前記GNSS測位機能がFIX解を得られない非GNSS環境から前記GNSS測位機能がFIX解を得られるGNSS環境に移行する際には、前記GNSS測位機能がFIX解を得られる状況となる直前に前記センサ測位機能が推定した絶対座標系における飛行体の位置と前記GNSS測位機能で推定された飛行体の絶対座標系における位置との差を一定の時間をかけて解消するように前記センサ測位機能が推定した絶対座標系における飛行体の位置を調整する機能と、を有している
ことを特徴とする飛行体。 - 前記光学センサが、
飛行体の前後方向、左右方向および上下方向をそれぞれ撮影する6つのIMUステレオカメラを備えており、
前記センサ測位機能は、
Visual Odometryにより、6つのIMUステレオカメラの情報に基づいてそれぞれ飛行体の位置を推定し、推定した複数の飛行体の位置の中央値に基づいて飛行体の位置を推定する
ことを特徴とする請求項4記載の飛行体。 - 前記制御部は、
飛行体の位置推定に使用するIMUステレオカメラの信号を飛行体の飛行シーンにあわせて変更するカメラ選択機能を有しており、
該カメラ選択機能は、
GNSS環境においては、前後方向および左右方向を撮影するIMUステレオカメラの情報に基づいて得られる飛行体の位置に基づいて飛行体の位置を推定し、
非GNSS環境においては、6つの飛行体の位置の推定において、上下を撮影するIMUステレオカメラの情報に基づいて得られる飛行体の位置の重みを大きくして飛行体の位置を推定する機能を有している
ことを特徴とする請求項5記載の飛行体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022126369A JP7333565B1 (ja) | 2022-08-08 | 2022-08-08 | 飛行体および飛行体の制御方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022126369A JP7333565B1 (ja) | 2022-08-08 | 2022-08-08 | 飛行体および飛行体の制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP7333565B1 true JP7333565B1 (ja) | 2023-08-25 |
| JP2024022918A JP2024022918A (ja) | 2024-02-21 |
Family
ID=87654356
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022126369A Active JP7333565B1 (ja) | 2022-08-08 | 2022-08-08 | 飛行体および飛行体の制御方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7333565B1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI882420B (zh) * | 2023-08-29 | 2025-05-01 | 台達電子工業股份有限公司 | 用於橋梁檢測的無人飛行裝置及方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004117079A (ja) | 2002-09-25 | 2004-04-15 | Kawasaki Heavy Ind Ltd | 飛行体の位置及び姿勢の推測方法、推測装置並びに仮想視界生成システム |
| JP2020112557A (ja) | 2014-10-17 | 2020-07-27 | ソニー株式会社 | 装置、方法及びプログラム |
| JP2020118641A (ja) | 2019-01-28 | 2020-08-06 | 一般財団法人電力中央研究所 | マルチコプター |
| JP2020201984A (ja) | 2017-03-27 | 2020-12-17 | Kddi株式会社 | 制御装置、プログラム、及び制御方法 |
| JP2021135580A (ja) | 2020-02-25 | 2021-09-13 | 三菱重工業株式会社 | 位置推定装置、制御装置、産業用車両、物流支援システム、位置推定方法およびプログラム |
| JP2021135942A (ja) | 2020-02-28 | 2021-09-13 | ソフトバンク株式会社 | 制御装置、プログラム、及びシステム |
| JP2021182721A (ja) | 2020-05-20 | 2021-11-25 | 東芝テック株式会社 | 撮影装置及びプログラム |
-
2022
- 2022-08-08 JP JP2022126369A patent/JP7333565B1/ja active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004117079A (ja) | 2002-09-25 | 2004-04-15 | Kawasaki Heavy Ind Ltd | 飛行体の位置及び姿勢の推測方法、推測装置並びに仮想視界生成システム |
| JP2020112557A (ja) | 2014-10-17 | 2020-07-27 | ソニー株式会社 | 装置、方法及びプログラム |
| JP2020201984A (ja) | 2017-03-27 | 2020-12-17 | Kddi株式会社 | 制御装置、プログラム、及び制御方法 |
| JP2020118641A (ja) | 2019-01-28 | 2020-08-06 | 一般財団法人電力中央研究所 | マルチコプター |
| JP2021135580A (ja) | 2020-02-25 | 2021-09-13 | 三菱重工業株式会社 | 位置推定装置、制御装置、産業用車両、物流支援システム、位置推定方法およびプログラム |
| JP2021135942A (ja) | 2020-02-28 | 2021-09-13 | ソフトバンク株式会社 | 制御装置、プログラム、及びシステム |
| JP2021182721A (ja) | 2020-05-20 | 2021-11-25 | 東芝テック株式会社 | 撮影装置及びプログラム |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI882420B (zh) * | 2023-08-29 | 2025-05-01 | 台達電子工業股份有限公司 | 用於橋梁檢測的無人飛行裝置及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2024022918A (ja) | 2024-02-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3158417B1 (en) | Sensor fusion using inertial and image sensors | |
| US11099030B2 (en) | Attitude estimation apparatus, attitude estimation method, and observation system | |
| US20080195316A1 (en) | System and method for motion estimation using vision sensors | |
| KR101160454B1 (ko) | 무인항공기의 자세 제어를 이용한 3d 공간정보구축 방법 | |
| EP3734394A1 (en) | Sensor fusion using inertial and image sensors | |
| JP6934116B1 (ja) | 航空機の飛行制御を行う制御装置、及び制御方法 | |
| KR100556103B1 (ko) | 자동촬영시스템을 이용한 항공촬영방법 | |
| CN105184776A (zh) | 目标跟踪方法 | |
| JP5610870B2 (ja) | 無人走行車両の誘導装置及び無人走行車両の誘導方法 | |
| EP2118713A2 (en) | Precision approach control | |
| JP2008304260A (ja) | 画像処理装置 | |
| CN102591353A (zh) | 飞行体的飞行控制系统 | |
| US11287261B2 (en) | Method and apparatus for controlling unmanned aerial vehicle | |
| JP6138326B1 (ja) | 移動体、移動体の制御方法、移動体を制御するプログラム、制御システム、及び情報処理装置 | |
| RU195749U1 (ru) | Интеллектуальная система технического зрения беспилотного летательного аппарата для решения задач навигации, построения трехмерной карты окружающего пространства и препятствий и автономного патрулирования | |
| CN111102981A (zh) | 一种基于ukf的高精度卫星相对导航方法 | |
| JP7123774B2 (ja) | 飛行装置制御システム | |
| JP2020071580A (ja) | 情報処理装置、飛行制御方法及び飛行制御システム | |
| JP2017182692A (ja) | 自律移動ロボット | |
| KR20150041898A (ko) | Gps/ins 위치 정보 보정 장치 및 방법 | |
| JP5998881B2 (ja) | 追尾装置および追尾方法 | |
| JP7333565B1 (ja) | 飛行体および飛行体の制御方法 | |
| JP2023070120A (ja) | 自律飛行制御方法、自律飛行制御装置および自律飛行制御システム | |
| JP2019191888A (ja) | 無人飛行体、無人飛行方法及び無人飛行プログラム | |
| Pfingsthorn et al. | Full 3D navigation correction using low frequency visual tracking with a stereo camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221031 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20221031 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230105 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230306 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230502 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230720 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230804 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7333565 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |