JP6026695B1 - 制御装置、移動体、制御方法及びプログラム - Google Patents

Abstract

【課題】変位部が変位した場合の本体部の姿勢の変化に基づいて、本体部の姿勢を速やかに制御することが要求される場合がある。【解決手段】制御装置は、本体部に対して変位可能に保持される変位部の変位先の位置を示す第１情報を取得する第１取得部と、第１情報に基づいて、前記変位部が前記変位先の位置に変位した後の前記本体部の姿勢を予測する予測部と、予測部が予測した前記本体部の姿勢に基づいて、前記本体部の姿勢を制御する制御部とを備える。【選択図】図６

Description

本発明は、制御装置、移動体、制御方法及びプログラムに関する。

特許文献１には、カメラシステムが開示されている。カメラシステムは、外部ユニットと、本体ユニットとを備える。カメラの電源をＯＮにすると、本体ユニットと外部ユニットとの間でユニット情報の交換が行われる。ユニット情報は、機種番号、ユニット種別、製造元種別、ファームウェアバージョン番号及び本体側ファームウェア有り無しの情報からなる。
特許文献１ 特開２０１１−２３９３０１号公報

本体部に対して変位可能に保持される変位部が変位すると、本体部及び変位部の重心位置が変化する場合がある。これにより、本体部の姿勢が変化する場合がある。この本体部の姿勢の変化に基づいて本体部の姿勢を速やかに制御することが要求される場合がある。

一態様において、制御装置は、本体部に対して変位可能に保持される変位部の変位先の位置を示す第１情報を取得する第１取得部と、第１情報に基づいて、変位部が変位先の位置に変位した後の本体部の姿勢を予測する予測部と、予測部が予測した本体部の姿勢に基づいて、本体部の姿勢を制御する制御部とを備える。

予測部は、変位部の質量及び第１情報に基づいて、変位部が変位先の位置に変位した後の本体部の姿勢を予測してよい。

制御部は、予測部が予測した本体部の姿勢に基づいて、変位部が変位先の位置に変位することにより生じる本体部の姿勢の変化が抑制されるように、本体部の姿勢を制御してよい。

予測部は、変位部が変位前の位置から変位先の位置まで変位するまでの期間内の複数のタイミングのそれぞれにおける変位部の位置を予測し、予測した複数の位置のそれぞれについて本体部の姿勢を予測し、制御部は、複数のタイミングのそれぞれにおいて、それぞれのタイミングにおける変位部の位置について予測部が予測した本体部の姿勢に基づいて、本体部の姿勢を制御してよい。

制御部は、本体部の姿勢の目標値と、本体部の姿勢を取得するためのセンサによる本体部の姿勢の検出値と、予測部が予測した本体部の姿勢とに基づいて、本体部の姿勢を制御してよい。

変位部は、可動レンズを含んでよい。

第１情報は、可動レンズを含むレンズ系の焦点距離に対応する可動レンズの変位先の位置を示す情報を含んでよい。

第１情報は、可動レンズを含むレンズ系のフォーカス位置に対応する可動レンズの変位先の位置を示す情報を含んでよい。

可動レンズの複数の位置に対応づけて、レンズ系を含むレンズ装置の重心位置を格納する格納部をさらに備え、予測部は、第１情報が示す可動レンズの変位先の位置に対応づけて格納部が格納している重心位置と、レンズ装置の質量とに基づいて、第１情報が示す可動レンズの変位先の位置に可動レンズが変位した後の本体部の姿勢を予測してよい。

可動レンズは、本体部に着脱可能な交換レンズが有するレンズ系に含まれ、制御装置は、本体部に装着されている交換レンズから、交換レンズの焦点距離及びフォーカス位置の少なくとも一方に対応する交換レンズの重心位置及び交換レンズの質量を示す第２情報を取得する第２取得部を備えてよい。

変位部は、撮像装置であってよい。

撮像装置は、本体部に対して向きが可変に設けられ、変位部の変位は、撮像装置の向きの変化であってよい。

撮像装置は、本体部に着脱可能であり、制御装置は、本体部に装着されている撮像装置から、撮像装置の重心位置及び撮像装置の質量を示す第２情報を取得する第２取得部を備えてよい。

一態様において、移動体は、上記の制御装置と本体部とを備える。

一態様において、制御方法は、本体部に対して変位可能に保持される変位部の変位先の位置を示す第１情報を取得する段階と、第１情報に基づいて、変位部が変位先の位置に変位した後の本体部の姿勢を予測する段階と、予測する段階で予測された本体部の姿勢に基づいて、本体部の姿勢を制御する段階とを備える。

一態様において、プログラムは、上記制御方法をコンピュータに実行させる。

上記の発明の概要は、本発明の特徴の全てを列挙したものではない。これらの特徴群のサブコンビネーションも発明となりうる。

システムの構成の一例を示す図である。 ＵＡＶ１００の機能ブロックの一例を示す。 レンズ装置１６０がテレ端の状態にある場合の一例を示す。 メモリ１６３に格納されるレンズ情報の一例を示す。 重心情報の一例を示す。 ＵＡＶ１００におけるＵＡＶ１００の姿勢制御に関するブロック線図の一例を示す。 ＵＡＶ１００の姿勢を制御する制御フローの一例を示すフローチャートである。 ＵＡＶ制御部１０４が第１情報を受信してから第２情報をＰＩＤ制御に出力するまでの制御フローの一例を示すフローチャートである。 撮像装置１９０の向きが変化した場合の一例を示す。 メモリ１４６に格納される撮像部情報の一例を示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイルまたはレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。

図１は、システムの構成の一例を示す図である。システムは、無人航空機（ＵＡＶ）１００を備える。ＵＡＶ１００は、ＵＡＶ本体１０１、ジンバル１１０、及び撮像装置１９０を備える。ＵＡＶ本体１０１は、回転翼１０８ａ及び回転翼１０８ｂを含む複数の回転翼を有する。ＵＡＶ本体１０１が有する複数の回転翼を、回転翼１０８と総称する場合がある。撮像装置１９０は、撮像部１４０及びレンズ装置１６０を備える。ＵＡＶ１００は、対象物を備えて移動する移動体の一例である。移動体とは、ＵＡＶの他、空中を移動する他の航空機、地上を移動する車両、水上を移動する船舶等を含む概念である。

ＵＡＶ１００は、回転翼１０８の回転を制御することで飛行する。ＵＡＶ１００は、例えば、４つの回転翼１０８を用いて飛行する。回転翼１０８の数は、４つには限定されない。ＵＡＶ１００は、回転翼１０８を有さない固定翼機でもよい。

ジンバル１１０は、ジンバル１１０に対する撮像装置１９０の姿勢を変更可能に撮像部１４０及びレンズ装置１６０を支持する。ジンバル１１０は、少なくとも１つの軸を中心に撮像装置１９０を回転可能に支持してよい。例えば、ジンバル１１０は、撮像装置１９０を、ピッチ軸、ロール軸、及びヨー軸のそれぞれを中心に回転可能に支持する。ジンバル１１０は、撮像部１４０を保持してもよし、レンズ装置１６０を保持してもよい。

撮像部１４０は、レンズ装置１６０を介して結像された光学像の画像データを生成して記録する。レンズ装置１６０は、いわゆる交換レンズである。レンズ装置１６０は、撮像部１４０に対して着脱可能である。

図２は、ＵＡＶ１００の機能ブロックの一例を示す。ＵＡＶ１００は、ＵＡＶ本体１０１、ジンバル１１０及び撮像装置１９０を備える。ＵＡＶ本体１０１は、通信インタフェース１０２、ＵＡＶ制御部１０４、センサ１２０、メモリ１０６、ドライバ１０７、検出部１０５、モータ１０９及び回転翼１０８を有する。

ドライバ１０７及びモータ１０９は、ＵＡＶ１００を移動させる駆動部として機能する。ドライバ１０７は、モータ１０９を駆動する。モータ１０９は、回転翼１０８を駆動する。モータ１０９は、複数の回転翼１０８のそれぞれに１つ設けられる。ドライバ１０７は、モータ１０９のそれぞれの駆動軸の回転速度を制御する。回転速度は、例えば単位時間あたりの回転数である。回転翼１０８は、対応するモータ１０９の駆動軸の回転によって回転される。ＵＡＶ１００は、回転翼１０８が回転することで飛行する。

通信インタフェース１０２は、外部の送信機と通信する。通信インタフェース１０２は、遠隔の送信機から各種の命令を受信する。ＵＡＶ制御部１０４は、送信機から受信した命令に従って、ＵＡＶ１００の飛行を制御する。ＵＡＶ制御部１０４は、ジンバル１１０、撮像部１４０、及びレンズ装置１６０を制御する。

ＵＡＶ制御部１０４は、ＣＰＵ又はＭＰＵなどのマイクロプロセッサ、ＭＣＵなどのマイクロコントローラなどにより構成されてよい。メモリ１０６は、ＵＡＶ制御部１０４がジンバル１１０、撮像部１４０、及びレンズ装置１６０を制御するのに必要なプログラムなどを格納する。メモリ１０６は、コンピュータが可読な記録媒体でよく、ＳＲＡＭ、ＤＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びＵＳＢメモリなどのフラッシュメモリの少なくとも１つを含んでよい。メモリ１０６は、ＵＡＶ１００の筐体に設けられてよい。メモリ１０６は、ＵＡＶ１００の筐体から取り外し可能に設けられてよい。ＵＡＶ制御部１０４は、ＵＡＶ１００を制御装置として機能させてよい。この場合、ＵＡＶ１００の姿勢を調整するためのプログラムがメモリ１０６から読み出されて実行される。ＵＡＶ制御部１０４は、ＵＡＶ１００を制御装置として機能させてよい。

検出部１０５は、ＵＡＶ１００の状況、又はＵＡＶ１００の周囲の状況を検出する。検出部１０５は、例えば、ＵＡＶ１００の緯度、経度、及び高度を含む位置、及びＵＡＶ１００の機首の向きに対応する方位を検出する。検出部１０５は、ＵＡＶ１００の周囲を撮像するセンシング用の撮像装置を含んでよい。

ＵＡＶ制御部１０４は、確認部１８８を含む。確認部１８８は、ＵＡＶ１００の飛行前のイニシャライズを実行する。確認部１８８は、ドライバ１０７、モータ１０９、回転翼１０８、及び検出部１０５の動作確認を実行する。確認部１８８は、ＵＡＶ１００の飛行前に、ドライバ１０７、モータ１０９、回転翼１０８、及び検出部１０５の動作確認を実行してよい。確認部１８８は、ＵＡＶ１００の状況を検出する各種センサの動作確認を実行してよい。イニシャライズが実行される期間は、ＵＡＶ１００に電源が投入されてからＵＡＶ１００が移動し始めるまでの間の期間の一例である。

センサ１２０は、ＵＡＶ本体１０１の姿勢を取得するためのセンサである。センサ１２０は、ジンバル１１０の姿勢を検出してよい。センサ１２０は、ジャイロセンサであってよい。センサ１２０による姿勢の検出値は、ＵＡＶ制御部１０４に出力される。ＵＡＶ制御部１０４は、センサ１２０による姿勢の検出値に基づいて、ＵＡＶ本体１０１及びジンバル１１０を制御する。

ジンバル１１０は、少なくとも１つの軸を中心に撮像装置１９０を回転可能に支持する。ジンバル１１０は、ヨー軸、ピッチ軸、及びロール軸を中心に撮像装置１９０を回転可能に支持してよい。ＵＡＶ制御部１０４は、ジンバル１１０に対する動作命令を出力する。動作命令は、ヨー角の目標値、ピッチ角の目標値、ロール角の目標値を含む。ヨー角は、ヨー軸まわりの撮像装置１９０の回転角度である。ピッチ角は、ピッチ軸まわりの撮像装置１９０の回転角度である。ロール角は、ロール軸まわりの撮像装置１９０の回転角度である。ジンバル１１０は、ＵＡＶ制御部１０４から取得した動作命令に従って、ヨー軸、ピッチ軸、及びロール軸の少なくとも１つを中心に撮像装置１９０を回転させる。ジンバル１１０は、ヨー角、ピッチ角及びロール角をそれぞれの目標値に制御する。これにより、撮像装置１９０の向きが制御される。

撮像部１４０は、撮像制御部１４２、撮像素子１４４及びメモリ１４６を有する。撮像制御部１４２は、ＣＰＵ又はＭＰＵなどのマイクロプロセッサ、ＭＣＵなどのマイクロコントローラなどにより構成されてよい。撮像制御部１４２は、ＵＡＶ制御部１０４からの撮像部１４０及びレンズ装置１６０の動作命令に応じて、撮像部１４０及びレンズ装置１６０を制御する。メモリ１４６は、コンピュータが可読な記録媒体でよく、ＳＲＡＭ、ＤＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びＵＳＢメモリなどのフラッシュメモリの少なくとも１つを含んでよい。メモリ１４６は、撮像部１４０の筐体の内部に設けられてよい。撮像部１４０の筐体から取り外し可能に設けられてよい。

撮像素子１４４は、撮像部１４０の筐体の内部に保持され、レンズ装置１６０を介して結像された光学像の画像データを生成して、撮像制御部１４２に出力する。撮像制御部１４２は、撮像素子１４４から出力された画像データをメモリ１４６に格納する。撮像制御部１４２は、画像データを、ＵＡＶ制御部１０４を介してメモリ１０６に出力して格納してもよい。

レンズ装置１６０は、レンズ制御部１６２、メモリ１６３、レンズ１６４、レンズ１６６、及びレンズ１６８を有する。レンズ１６４、レンズ１６６、及びレンズ１６８は、レンズ系を形成する。レンズ１６４、レンズ１６６、及びレンズ１６８は、レンズ装置１６０の鏡筒の内部に配置される。レンズ１６４、レンズ１６６、及びレンズ１６８の一部又は全部は、光軸に沿って変位可能に保持されてよい。光軸に沿って変位可能なレンズは、可動レンズの一例である。レンズ制御部１６２は、撮像制御部１４２からの命令に従って、レンズ１６４、レンズ１６６、及びレンズ１６８の少なくとも一つを光軸に沿って移動させる。レンズ装置１６０が有するレンズにより結像された像は、撮像部１４０により撮像される。

本実施形態では、ＵＡＶ１００が、ＵＡＶ制御部１０４、撮像制御部１４２、及びレンズ制御部１６２を備える例について説明する。しかし、ＵＡＶ制御部１０４、撮像制御部１４２、及びレンズ制御部１６２のうちの２つ又は３つで実行される処理をいずれか１つの制御部が実行してよい。ＵＡＶ制御部１０４、撮像制御部１４２、及びレンズ制御部１６２で実行される処理を１つの制御部で実行してもよい。

ＵＡＶ制御部１０４において、第１取得部１７０は、ＵＡＶ本体１０１に対して変位可能に保持される変位部の変位先の位置を示す第１情報を取得する。レンズ装置１６０が有する可動レンズは、変位部の一例である。撮像装置１９０は、変位部の一例である。ＵＡＶ本体１０１は、本体部の一例である。

予測部１３０は、第１情報に基づいて、変位部が変位先の位置に変位した後のＵＡＶ本体１０１の姿勢を予測する。制御部１８０は、予測部１３０が予測したＵＡＶ本体１０１の姿勢に基づいて、ＵＡＶ本体１０１の姿勢を制御する。

予測部１３０は、第１情報及び変位部の質量に基づいて、変位部が変位先の位置に変位した後のＵＡＶ本体１０１の姿勢を予測する。制御部１８０は、予測部１３０が予測したＵＡＶ本体１０１の姿勢に基づいて、変位部が変位先の位置に変位することにより生じるＵＡＶ本体１０１の姿勢の変化が抑制されるように、ＵＡＶ本体１０１の姿勢を制御する。

予測部１３０は、変位部が変位前の位置から変位先の位置まで変位するまでの期間内の複数のタイミングのそれぞれにおける変位部の位置を予測する。予測部１３０は、予測した複数の位置のそれぞれについてＵＡＶ本体１０１の姿勢を予測する。制御部１８０は、複数のタイミングのそれぞれにおいて、それぞれのタイミングにおける変位部の位置について予測部１３０が予測したＵＡＶ本体１０１の姿勢に基づいて、ＵＡＶ本体１０１の姿勢を制御する。

制御部１８０は、ＵＡＶ本体１０１の姿勢の目標値と、センサによるＵＡＶ本体１０１の姿勢の検出値と、予測部１３０が予測したＵＡＶ本体１０１の姿勢とに基づいて、ＵＡＶ本体１０１の姿勢を制御する。制御部１８０は、予測部１３０が予測したＵＡＶ本体１０１の姿勢に基づくフィードフォワード制御を行う。

変位部が可動レンズを含む場合、第１情報は、可動レンズを含むレンズ系の焦点距離に対応する可動レンズの変位先の位置を示す情報を含んでよい。第１情報は、焦点距離の変更先を示す情報であってよい。第１情報は、可動レンズを含むレンズ系のフォーカス位置に対応する可動レンズの変位先の位置を示す情報を含んでよい。第１情報は、フォーカス位置の変更先を示す情報であってよい。

メモリ１０６は、可動レンズの複数の位置に対応づけて、レンズ系を含むレンズ装置の重心位置を格納する。予測部１３０は、第１情報が示す可動レンズの変位先の位置に対応づけてメモリ１０６が格納している重心位置と、レンズ装置の質量とに基づいて、第１情報が示す可動レンズの変位先の位置に可動レンズが変位した後のＵＡＶ本体１０１の姿勢を予測する。

可動レンズが、ＵＡＶ本体１０１に着脱可能な交換レンズが有するレンズ系に含まれる場合、第２取得部１７２は、ＵＡＶ本体１０１に装着されている交換レンズから、交換レンズの焦点距離及びフォーカス位置の少なくとも一方に対応する交換レンズの重心位置及び交換レンズの質量を示す第２情報を取得してよい。第２取得部１７２は、ＵＡＶ１００の飛行前のイニシャライズを実行している期間に、第２情報を取得してよい。

撮像装置１９０がＵＡＶ本体１０１に対して向きが可変に設けられる場合、撮像装置１９０は変位部の一例である。変位部の変位は、撮像装置の向きの変化に対応する。

撮像装置１９０は、ＵＡＶ本体１０１に着脱可能であってよい。この場合、第２取得部１７２は、ＵＡＶ本体１０１に装着されている撮像装置１９０から、撮像装置１９０の重心位置及び撮像装置の質量を示す第２情報を取得してよい。第２取得部１７２は、ＵＡＶ１００の飛行前のイニシャライズを実行している期間に、第２情報を取得してよい。

図３は、レンズ装置１６０がテレ端の状態にある場合の一例を示す。図３が示すレンズ装置１６０の状態は、図１が示すレンズ装置１６０の状態とは異なる。例えば、図１はレンズ装置１６０がワイド端の状態を示す。この点を除いて、図３が示すＵＡＶ１００の状態は、図１が示す状態と同じである。

レンズ装置１６０の焦点距離は、レンズ装置１６０が有する可動レンズを変位させることで調整される。レンズ装置１６０のフォーカス位置は、レンズ装置１６０が有する可動レンズを変位させることで調整される。可動レンズが変位することで、レンズ装置１６０の重心位置が変化する。レンズ装置１６０の重心位置は、可動レンズの変位の他に、可動レンズを保持する可動鏡筒やレンズ枠の変位によって変化する。レンズ装置１６０の重心位置が変化することによって、ＵＡＶ１００の重心位置が変化する。

Ｇ１は、ＵＡＶ１００が図１の状態にある場合のＵＡＶ１００の重心位置を示す。Ｇ２は、ＵＡＶ１００が図３の状態にある場合のＵＡＶ１００の重心位置を示す。ＵＡＶ１００が図１に示される状態から、レンズ装置１６０をテレ端の状態に変化させた場合、レンズ装置１６０の重心位置の変化によって、ＵＡＶ１００の重心位置はＧ１の位置からＧ２の位置に変化する。そのため、レンズ装置１６０をテレ端の状態にした場合においても、ＵＡＶ１００の姿勢が変化しないようにするためには、例えば回転翼１０８ａの回転速度を低下させ、回転翼１０８ｂの回転速度を上昇させる必要がある。

制御部１８０は、センサ１２０によるＵＡＶ１００の姿勢の検出値を用いるフィードバック制御により、ＵＡＶ１００の姿勢を制御する。例えば、制御部１８０は、ＰＩＤ制御により、ＵＡＶ１００の姿勢を制御する。これにより、例えばＵＡＶ１００の姿勢の変化が生じると、ＵＡＶ１００の姿勢の変化をキャンセルするように回転翼１０８の回転速度を増減させる。

制御部１８０は、フィードバック制御に加えて、レンズ装置１６０の可動レンズの変位に基づくフィードフォワード制御により、ＵＡＶ１００の姿勢を制御する。具体的には、予測部１３０は、可動レンズの変位により生じるレンズ装置１６０の重心位置の変化量と、レンズ装置１６０の質量とを用いて、ＵＡＶ１００の姿勢の変化を予測する。制御部１８０は、予測されたＵＡＶ１００の姿勢の変化に応じたフィードフォワード補償値を、レンズ装置１６０の可動レンズの変位に同期して、ＰＩＤ制御の入力に加算する。これにより、レンズ装置１６０の重心位置の変化分を事前に計算して回転翼１０８の回転速度を速やかに制御することができる。そのため、フィードフォワード制御を用いずにフィードバック制御のみを用いる場合に比べて、レンズ装置１６０の重心位置の変化に起因して生じるＵＡＶ１００の揺れを抑制することができる。

図４は、メモリ１６３に格納されるレンズ情報の一例を示す。レンズ情報は、レンズ種別ＩＤ、質量情報、及び重心情報を含む。レンズ種別ＩＤは、例えばレンズの型番である。質量情報は、レンズ装置１６０の質量を示す情報である。重心情報は、レンズ装置１６０の重心位置を示す情報である。

図５は、重心情報の一例を示す。重心情報は、レンズ位置及びレンズ位置に対応する重心位置を含む。レンズ装置１６０が１つの可動レンズを有する場合、レンズ位置は、当該１つの可動レンズの位置を示す。重心位置は、対応するレンズ位置に可動レンズがある場合のレンズ装置１６０の重心位置を示す。レンズ装置１６０が２以上の可動レンズを有する場合、レンズ位置は、当該２以上の可動レンズのそれぞれの位置を示す。重心位置は、対応するレンズ位置が示す各可動レンズの位置にそれぞれの可動レンズがある場合のレンズ装置１６０の重心位置を示す。このように、重心情報は、複数のレンズ位置にそれぞれレンズ装置１６０の重心位置を対応づける。

重心位置は、予め定められた基準位置を原点とした場合のレンズ装置１６０の重心位置の座標であってよい。基準位置は、例えば、撮像部１４０の撮像素子１４４の位置であってよい。基準位置は、レンズ装置１６０の光軸上に設けられてよい。重心位置は、光軸に沿って測定される、撮像素子１４４からの距離であってよい。レンズ装置１６０が交換レンズである場合、基準位置は、レンズ装置１６０をマウントする撮像部１４０のマウント面内に設けられてよい。

ＵＡＶ制御部１０４において、第２取得部１７２は、メモリ１６３に格納されているレンズ情報を、レンズ制御部１６２及び撮像制御部１４２を通じて取得する。例えば、第２取得部１７２は、取得したレンズ情報をメモリ１０６に格納する。メモリ１０６に格納されたレンズ情報は、予測部１３０及び制御部１８０の処理に用いられる。

図６は、ＵＡＶ１００におけるＵＡＶ１００の姿勢制御に関するブロック線図の一例を示す。ブロック線図は、加え合わせ点２００、伝達要素２１０、伝達要素２２０、伝達要素２３０、加え合わせ点２０２、伝達要素２４０、作用素２５０、伝達要素２６０、伝達要素２７０、伝達要素２８０、及び加え合わせ点２０４を含む。

図６のブロック線図において、制御対象は、伝達要素２３０で表されるＵＡＶ１００である。制御量は、ＵＡＶ１００の姿勢角の角速度又はＵＡＶ１００の姿勢角である。ＵＡＶ１００の姿勢角の角速度は、伝達要素２４０で表されるセンサ１２０により検出される。センサ１２０による検出値の状態変数は、積分要素である作用素２５０によって姿勢角の状態変数に変換される。

Ｒは、ＵＡＶ１００の姿勢角の目標値の状態変数を表す。加え合わせ点２００は、目標値の状態変数の加算を行う。加え合わせ点２００は、作用素２５０の出力の状態変数の減算を行う。伝達要素２１０は、制御部１８０のＰＩＤ制御を表す。具体的には、伝達要素２１０は、制御部１８０が誤差信号に基づいて、ドライバ１０７に対する駆動信号を生成する動作を表す。伝達要素２２０は、ドライバ１０７が駆動信号に基づいてモータ１０９の駆動電流を生成する動作を表す伝達要素である。伝達要素２３０は、モータ１０９が駆動電流により駆動されて回転翼１０８が回転して、ＵＡＶ１００の姿勢角の角速度が変化する現象を表す。加え合わせ点２０２は、ＵＡＶ１００の姿勢角の角速度の状態変数に、回転翼１０８以外の作用で生じる姿勢角の角速度の状態変数を加算する。伝達要素２１０、伝達要素２２０、伝達要素２３０、加え合わせ点２０２、伝達要素２４０、作用素２５０、加え合わせ点２００により、フィードバック制御系を形成する。

伝達要素２６０は、レンズ制御部１６２が可動レンズを変位させる第１情報を出力する動作を表す。第１情報に応じて可動レンズが変位すると、レンズ装置１６０の重心位置が変化する。レンズ装置１６０の重心位置の変化により、ＵＡＶ１００の姿勢角の角速度が変化する。伝達要素２７０は、第１情報の出力により、レンズ装置１６０の重心位置が変化して、ＵＡＶ１００の姿勢角の角速度が変化する現象を表す。加え合わせ点２０４は、姿勢角の角速度の変化量の状態変数の加算を行う。加え合わせ点２０４は、外乱による姿勢角の角速度の変化量を表す状態変数の加算を行う。外乱としては、風等によるＵＡＶ１００の姿勢角の変化を例示できる。加え合わせ点２０４が出力する状態変数は、加え合わせ点２０２において、伝達要素２３０が出力するＵＡＶ１００の姿勢角の角速度の状態変数に加算される。

伝達要素２８０は、予測部１３０が第１情報に基づいてＵＡＶ１００の姿勢角の変化量の予測値を生成する動作を表す。加え合わせ点２００は、予測部１３０が生成した予測値を示す状態変数の加算を行う。このように、伝達要素２８０により生成される予測値の状態変数は、フィードフォワード補償値として制御ループの入力に加算される。

図７は、ＵＡＶ１００の姿勢を制御する制御フローの一例を示すフローチャートである。Ｓ３１０において、レンズ制御部１６２は、可動レンズに対し第１情報を出力する。第１情報は、レンズ装置１６０の可動レンズを変位させることを示す情報である。

例えば、レンズ制御部１６２は、レンズ装置１６０の焦点距離を変更する命令を撮像制御部１４２から取得すると、レンズ装置１６０が有する１以上の可動レンズの変位先の位置である将来位置と、変位タイミングとを決定する。可動レンズの将来位置は、焦点距離により定まる。変位タイミングは、可動レンズが変位を開始する時刻であってよい。例えば、レンズ制御部１６２は、３０ｍｓ後に可動レンズの変位を開始することを決定する。変位タイミングは、可動レンズが変位を終了する時刻であってよい。第１情報は、可動レンズの将来位置と、変位タイミングとを示す情報を含む。第１情報は、撮像制御部１４２を通じてＵＡＶ制御部１０４にも出力される。

Ｓ３２０において、第１情報に基づいて、可動レンズが変位する。Ｓ３３０において、制御部１８０は、可動レンズが変位するタイミングで第２情報をＰＩＤ制御に出力する。第２情報は、フィードフォワード補償値を示す情報である。Ｓ３３０における処理の一例は、図８に関連して説明する。

Ｓ３４０において、センサ１２０がジンバル１１０の角速度を検出することにより、ＵＡＶ１００の姿勢角の角速度を検出する。Ｓ３５０において、ドライバ１０７が、回転翼１０８の回転速度を制御する。例えば、制御部１８０のＰＩＤ制御には、ＵＡＶ１００の姿勢角の目標値とフィードフォワード補償値との加算値と、センサ１２０によるＵＡＶ１００の姿勢角の検出値との誤差信号が入力される。制御部１８０のＰＩＤ制御において、誤差信号に基づいてドライバ１０７の駆動信号が生成される。ドライバ１０７が駆動信号に従ってモータ１０９を駆動することにより、回転翼１０８の回転速度が制御される。

図８は、ＵＡＶ制御部１０４が第１情報の受信から第２情報をＰＩＤ制御に出力するまでの制御フローの一例を示すフローチャートである。Ｓ４００において、第１取得部１７０は、第１情報を受信する。Ｓ４１０において、第１取得部１７０は、レンズ装置１６０の可動レンズの現在位置、将来位置、変位速度、変位開始時刻及びＵＡＶ１００の姿勢角を取得する。第１取得部１７０は、可動レンズの現在位置及び変位速度をレンズ制御部１６２から取得する。

Ｓ４１０において、予測部１３０は、可動レンズの停止時刻を算出する。停止時刻は、可動レンズの変位が終了する時刻である。予測部１３０は、レンズ装置１６０の可動レンズの現在位置、将来位置及び変位速度に基づいて、可動レンズの停止時刻を算出する。

Ｓ４３０において、予測部１３０は、現在時刻が可動レンズの停止時刻に一致する又は現在時刻が可動レンズの停止時刻を過ぎたかを判断する。現在時刻が可動レンズの停止時刻に一致する又は現在時刻が可動レンズの停止時刻を過ぎた場合は、制御フローを終了する。現在時刻が可動レンズの停止時刻より前である場合は、Ｓ４４０に処理を進める。

Ｓ４４０において、予測部１３０は、主制御ループのフレーム時間を取得する。主制御ループは、例えば、図６に示すフィードバックループである。フレーム時間は、フィードバックループにおける制御周期である。

Ｓ４５０において、予測部１３０は、可動レンズの変位開始時刻と停止時刻との間の各フレームにおいて、ＵＡＶ１００の姿勢角の変化量の予測値を生成する。例えば、変位開始時刻から変位終了時刻までの期間が１０ｍｓであり、フレーム時間が１ｍｓである場合、予測部１３０は、１０フレームの各フレームにおいて、ＵＡＶ１００の姿勢角の変化量の予測値を生成する。各フレームにおけるＵＡＶ１００の姿勢角の変化量の予測値は、各フレームにおけるフィードフォワード補償値の一例である。

予測部１３０は、各フレームにおける姿勢角の変化量を、レンズ装置１６０の現在の重心位置からの重心位置の変化量及びレンズ装置１６０の質量に基づいて、予測する。予測部１３０は、レンズ装置１６０の質量を図４に示すレンズ情報から特定する。予測部１３０は、レンズ装置１６０の重心位置の変化量を、図５に示す重心情報を用いて特定する。例えば、予測部１３０は、現在の可動レンズの位置に基づいて、レンズ装置１６０の現在の重心位置を特定する。予測部１３０は、各フレームにおける可動レンズの位置に基づいて、各フレームにおけるレンズ装置１６０の重心位置を特定する。予測部１３０は、各フレームにおけるレンズ装置１６０の重心位置と、レンズ装置１６０の現在の重心位置とに基づいて、各フレームにおける重心位置の変化量を特定する。

Ｓ４６０において、制御部１８０は、現在時刻が可動レンズの変位開始時刻より前であるか否かを判断する。現在時刻が可動レンズの変位開始時刻より前である場合、現在時刻が可動レンズの変位開始時刻に一致する又は現在時刻が可動レンズの変位開始時刻を超えるまで、Ｓ４６０の判断を繰り返す。現在時刻が可動レンズの変位開始時刻に一致する又は現在時刻が可動レンズの変位開始時刻を超えた場合、Ｓ４７０に処理を進める。

Ｓ４７０において、制御部１８０は、予測部１３０がＳ４５０で予測した各フレームにおける姿勢角の変化量の予測値の出力を開始する。例えば、制御部１８０は、予測部１３０が予測した各フレームにおける姿勢角の変化量の予測値を、対応するフレームにおいてＰＩＤ制御へ出力する。姿勢角の変化量の予測値の出力を開始するフレームは、変位開始時刻に対応するフレームでなくてよい。姿勢角の変化量の予測値の出力を開始するフレームは、変位開始時刻に対応するフレームより後のフレームであってよい。フィードバックループにおけるフレームとの対応関係が保たれていれば、変位開始時刻に対応するフレームより後のフレームから、姿勢角の変化量の予測値の出力を開始してよい。制御部１８０は、変位停止時刻に対応するフレームにおいて姿勢角の変化量の予測値を出力すると、制御フローを終了する。

図９は、撮像装置１９０の向きが変化した状態の一例を示す。図９が示す撮像装置１９０の状態は、図１が示す撮像装置１９０の状態とは異なる。例えば、図９は、撮像装置１９０のピッチ角が変化した状態にある。この点を除いて、図９が示すＵＡＶ１００の状態は、図１が示す状態と同じである。

Ｇ３は、ＵＡＶ１００が図９の状態にある場合のＵＡＶ１００の重心位置を示す。ＵＡＶ１００が図１に示される状態から、撮像装置１９０のピッチ角を図９の状態に変化させた場合、ＵＡＶ１００の重心位置はＧ１の位置からＧ３の位置に変化する。そのため、ＵＡＶ１００の姿勢が変化しないようにするためには、例えば回転翼１０８ａの回転速度を上昇させ、回転翼１０８ｂの回転速度を低下させる必要がある。

制御部１８０は、レンズ装置１６０の重心位置が変化した場合と同様に、撮像装置１９０の向きの変化に基づくフィードフォワード制御により、ＵＡＶ１００の姿勢を制御する。具体的には、予測部１３０は、撮像部１４０の向きの変化により生じる撮像部１４０及びレンズ装置１６０の重心位置の変化量と、撮像部１４０の質量と、レンズ装置１６０の質量とを用いて、ＵＡＶ１００の姿勢の変化を予測する。このように、予測部１３０は、撮像装置１９０の向きの変化により生じる撮像装置１９０の重心位置の変化量と、撮像装置１９０の質量とを用いて、ＵＡＶ１００の姿勢の変化量を予測する。ＵＡＶ１００の姿勢の変化量の予測値は、フィードフォワード補償値として生成される。

制御部１８０は、生成したフィードフォワード補償値を、撮像装置１９０の向きの変化に同期して、ＰＩＤ制御の入力に加算する。これにより、撮像装置１９０の重心位置の変化分を事前に計算して回転翼１０８の回転速度を速やかに制御することができる。そのため、フィードフォワード制御を用いずにフィードバック制御のみを用いる場合に比べて、ＵＡＶ１００の揺れを抑制することができる。

図９に関連して、ピッチ角の変化により生じる撮像装置１９０の重心位置の変化を説明した。ピッチ角の変化だけでなく、ヨー角の変化によっても撮像装置１９０の重心位置が変化する。したがって、撮像装置１９０の重心位置は、ピッチ角及びヨー角の組み合わせによって変化する。本実施形態では、ロール角の変化によっては変化しないとする。撮像装置１９０の重心位置がロール軸上にある場合は、ロール角の変化によっては撮像装置１９０の重心位置は変化しない。

図１０は、メモリ１４６に格納される撮像部情報の一例を示す。撮像部情報は、撮像部種別ＩＤ、質量情報、及び重心位置情報を含む。撮像部種別ＩＤは、例えば撮像部１４０の型番である。質量情報は、撮像部１４０の質量を示す情報である。重心位置情報は、撮像部１４０の重心位置を示す情報である。

重心位置は、予め定められた基準位置を原点として表される座標であってよい。基準位置は、例えば、ジンバル１１０が撮像部１４０を把持する把持位置であってよい。基準位置は、ピッチ軸上に設けられてよい。

ＵＡＶ制御部１０４において、第２取得部１７２は、メモリ１４６に格納される撮像部情報を、撮像制御部１４２を通じて取得する。例えば、第２取得部１７２は、取得した撮像部情報をメモリ１０６に格納する。メモリ１０６に格納された撮像部情報は、予測部１３０及び制御部１８０の処理に用いられる。

予測部１３０及び制御部１８０は、図４及び図５に示すレンズ情報及び図１０に示す撮像部情報に基づいて、レンズ装置１６０の可動レンズの位置、ピッチ角、及びヨー角の組み合わせにおける撮像装置１９０の重心位置を算出できる。予測部１３０及び制御部１８０は、図４に示すレンズ情報及び図１０に示す撮像部情報に基づいて、撮像装置１９０の質量を算出できる。予測部１３０及び制御部１８０は、レンズ装置１６０の可動レンズの位置及び撮像装置１９０の向きの少なくとも一方を変化させる場合における、重心位置の変化を算出できる。これにより、予測部１３０及び制御部１８０は、レンズ装置１６０の可動レンズの位置及び撮像装置１９０の向きの少なくとも一方を変化させる場合において予測される重心位置の変化を算出できる。予測部１３０及び制御部１８０は、算出した撮像装置１９０の重心位置の変化及び撮像装置１９０の質量に基づいて、ＵＡＶ１００の姿勢角の変化又は姿勢角の角速度の変化を予測できる。

撮像装置１９０の向きの変化に対応する制御系は、図６に示す制御系に、撮像装置１９０の向きの変化に関する状態変数及び伝達要素を加えることで実現できる。

撮像装置１９０の向きの変化に対応する制御フローは、図７及び図８に示す制御フローにおけるレンズの変位に関する制御に加えて、撮像装置１９０の向きの変化に関する制御を加えることで実現できる。例えば、図７に示す制御フローにおいては、第１情報として、可動レンズの変位及び撮像装置１９０の変向を示す情報を適用すればよい。図８に示す制御フローにおいては、可動レンズの位置及び変位速度に加えて、撮像装置１９０の向き及び変向速度に関する制御を適用すればよい。

上記の実施形態において、レンズ装置１６０は、交換レンズである。しかし、レンズ装置１６０は、撮像部１４０と一体的に設けられてよい。この形態において、レンズ装置１６０及び撮像部１４０を含む撮像装置１９０は、ジンバル１１０に着脱可能であってよい。

レンズ装置１６０が撮像部１４０と一体的に設けられる形態において、レンズ装置１６０及び撮像部１４０を含む撮像装置１９０は、ジンバル１１０に着脱可能でなくてよい。撮像装置１９０は、ジンバル１１０に固定されていてよい。

上記の実施形態における可動レンズ及び撮像装置１９０は、変位部の一例である。レンズ装置１６０が可動レンズを有しない場合、又は、可動レンズの変位によるＵＡＶ１００の重心位置の変化量が予め定められた値より小さい場合、撮像装置１９０のみが変位部である形態を採用できる。撮像装置１９０の向きが固定である場合、又は、撮像装置１９０の向きの変化によるＵＡＶ１００の重心位置の変化量が予め定められた値より小さい場合、レンズ装置１６０のみが変位部である形態を採用できる。

変位部は、可動レンズ及び撮像装置１９０以外の部材であってよい。例えば、変位部は、可動アーム等の部材であってよい。変位部は、ＵＡＶ１００に取り付けられた部材に限られない。変位部は、ＵＡＶ１００が把持した部材を含んでよい。ＵＡＶ１００が能動的に変位させることができる部材であれば、どのような部材も変位部とみなすことができる。

上記の実施形態に示される複数の段階の少なくとも１つの段階は、ハードウェア、又は関連するハードウェアに命令するプログラムによって実装されてよい。プログラムは、コンピュータが可読な記録媒体に格納されてよい。記録媒体は、ＲＯＭ、磁気ディスク、及び光ディスクの少なくとも１つを含んでよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。「垂直」との記載は、「交わる」状態であってもよい。

１００ ＵＡＶ
１０１ ＵＡＶ本体
１０２ 通信インタフェース
１０４ ＵＡＶ制御部
１０５ 検出部
１０６ メモリ
１０７ ドライバ
１０８ 回転翼
１０９ モータ
１１０ ジンバル
１２０ センサ
１３０ 予測部
１４０ 撮像部
１４２ 撮像制御部
１４４ 撮像素子
１４６ メモリ
１６０ レンズ装置
１６２ レンズ制御部
１６３ メモリ
１６４、１６６、１６８ レンズ
１７０ 第１取得部
１７２ 第２取得部
１８０ 制御部
１８８ 確認部
１９０ 撮像装置
２００、２０２、２０４ 加え合わせ点
２１０、２２０、２３０、２４０、２６０、２７０、２８０ 伝達要素
２５０ 作用素

Claims (19)

1. 本体部に対して変位可能に保持される変位部の変位先の位置を示す第１情報を取得する第１取得部と、
   前記変位部の質量及び前記第１情報に基づいて、前記変位部が前記変位先の位置に変位した後の前記本体部の姿勢を予測する予測部と、
   前記予測部が予測した前記本体部の姿勢に基づいて、前記本体部の姿勢を制御する制御部と
   を備える制御装置。
2. 前記制御部は、前記予測部が予測した前記本体部の姿勢に基づいて、前記変位部が前記変位先の位置に変位することにより生じる前記本体部の姿勢の変化が抑制されるように、前記本体部の姿勢を制御する
   請求項１に記載の制御装置。
3. 本体部に対して変位可能に保持される変位部の変位先の位置を示す第１情報を取得する第１取得部と、
   前記第１情報に基づいて、前記変位部が前記変位先の位置に変位した後の前記本体部の姿勢を予測する予測部と、
   前記予測部が予測した前記本体部の姿勢に基づいて、前記本体部の姿勢を制御する制御部と
   を備え、
   前記予測部は、前記変位部が変位前の位置から前記変位先の位置まで変位するまでの期間内の複数のタイミングのそれぞれにおける前記変位部の位置を予測し、予測した複数の前記位置のそれぞれについて前記本体部の姿勢を予測し、
   前記制御部は、前記複数のタイミングのそれぞれにおいて、それぞれのタイミングにおける前記変位部の位置について前記予測部が予測した前記本体部の姿勢に基づいて、前記本体部の姿勢を制御する
   制御装置。
4. 本体部に対して変位可能に保持される変位部の変位先の位置を示す第１情報を取得する第１取得部と、
   前記第１情報に基づいて、前記変位部が前記変位先の位置に変位した後の前記本体部の姿勢を予測する予測部と、
   前記本体部の姿勢の目標値と、前記本体部の姿勢を取得するためのセンサによる前記本体部の姿勢の検出値と、前記予測部が予測した前記本体部の姿勢とに基づいて、前記本体部の姿勢を制御する制御部と
   を備える制御装置。
5. 本体部に対して変位可能に保持される変位部の変位先の位置を示す第１情報を取得する第１取得部と、
   前記第１情報に基づいて、前記変位部が前記変位先の位置に変位した後の前記本体部の姿勢を予測する予測部と、
   前記予測部が予測した前記本体部の姿勢に基づいて、前記本体部の姿勢を制御する制御部と
   を備え、
   前記変位部は、可動レンズを含む
   制御装置。
6. 前記第１情報は、前記可動レンズを含むレンズ系の焦点距離に対応する前記可動レンズの変位先の位置を示す情報を含む
   請求項５に記載の制御装置。
7. 前記第１情報は、前記可動レンズを含むレンズ系のフォーカス位置に対応する前記可動レンズの変位先の位置を示す情報を含む
   請求項５又は６に記載の制御装置。
8. 前記可動レンズの複数の位置に対応づけて、前記レンズ系を含むレンズ装置の重心位置を格納する格納部
   をさらに備え、
   前記予測部は、前記第１情報が示す前記可動レンズの変位先の位置に対応づけて前記格納部が格納している前記重心位置と、前記レンズ装置の質量とに基づいて、前記第１情報が示す前記可動レンズの変位先の位置に前記可動レンズが変位した後の前記本体部の姿勢を予測する
   請求項６又は７に記載の制御装置。
9. 前記可動レンズは、前記本体部に着脱可能な交換レンズが有するレンズ系に含まれ、
   前記制御装置は、
   前記本体部に装着されている前記交換レンズから、前記交換レンズの焦点距離及びフォーカス位置の少なくとも一方に対応する前記交換レンズの重心位置及び前記交換レンズの質量を示す第２情報を取得する第２取得部
   を備える請求項５から８のいずれか一項に記載の制御装置。
10. 本体部に対して変位可能に保持される撮像装置の変位先の位置を示す第１情報を取得する第１取得部と、
    前記第１情報に基づいて、前記撮像装置が前記変位先の位置に変位した後の前記本体部の姿勢を予測する予測部と、
    前記予測部が予測した前記本体部の姿勢に基づいて、前記本体部の姿勢を制御する制御部と
    を備える制御装置。
11. 前記撮像装置は、前記本体部に対して向きが可変に設けられ、
    前記撮像装置の変位は、前記撮像装置の向きの変化である
    請求項１０に記載の制御装置。
12. 前記撮像装置は、前記本体部に着脱可能であり、
    前記制御装置は、
    前記本体部に装着されている前記撮像装置から、前記撮像装置の重心位置及び前記撮像装置の質量を示す第２情報を取得する第２取得部
    を備える請求項１０又は１１に記載の制御装置。
13. 請求項１から１２のいずれか一項に記載の制御装置と
    前記本体部と
    を備える移動体。
14. 本体部に対して変位可能に保持される変位部の変位先の位置を示す第１情報を取得する段階と、
    前記変位部の質量及び前記第１情報に基づいて、前記変位部が前記変位先の位置に変位した後の前記本体部の姿勢を予測する段階と、
    前記予測する段階で予測された前記本体部の姿勢に基づいて、前記本体部の姿勢を制御する段階と
    を備える制御方法。
15. 本体部に対して変位可能に保持される変位部の変位先の位置を示す第１情報を取得する段階と、
    前記第１情報に基づいて、前記変位部が前記変位先の位置に変位した後の前記本体部の姿勢を予測する段階と、
    前記予測する段階で予測された前記本体部の姿勢に基づいて、前記本体部の姿勢を制御する段階と
    を備え、
    前記予測する段階は、前記変位部が変位前の位置から前記変位先の位置まで変位するまでの期間内の複数のタイミングのそれぞれにおける前記変位部の位置を予測し、予測した複数の前記位置のそれぞれについて前記本体部の姿勢を予測し、
    前記制御する段階は、前記複数のタイミングのそれぞれにおいて、それぞれのタイミングにおける前記変位部の位置について前記予測する段階で予測された前記本体部の姿勢に基づいて、前記本体部の姿勢を制御する
    制御方法。
16. 本体部に対して変位可能に保持される変位部の変位先の位置を示す第１情報を取得する段階と、
    前記第１情報に基づいて、前記変位部が前記変位先の位置に変位した後の前記本体部の姿勢を予測する段階と、
    前記本体部の姿勢の目標値と、前記本体部の姿勢を取得するためのセンサによる前記本体部の姿勢の検出値と、前記予測する段階で予測された前記本体部の姿勢とに基づいて、前記本体部の姿勢を制御する段階と
    を備える制御方法。
17. 本体部に対して変位可能に保持される変位部の変位先の位置を示す第１情報を取得する段階と、
    前記第１情報に基づいて、前記変位部が前記変位先の位置に変位した後の前記本体部の姿勢を予測する段階と、
    前記予測する段階で予測された前記本体部の姿勢に基づいて、前記本体部の姿勢を制御する段階と
    を備え、
    前記変位部は、可動レンズを含む
    制御方法。
18. 本体部に対して変位可能に保持される撮像装置の変位先の位置を示す第１情報を取得する段階と、
    前記第１情報に基づいて、前記撮像装置が前記変位先の位置に変位した後の前記本体部の姿勢を予測する段階と、
    前記予測する段階で予測された前記本体部の姿勢に基づいて、前記本体部の姿勢を制御する段階と
    を備える制御方法。
19. 請求項１４から１８のいずれか一項に記載の制御方法をコンピュータに実行させるためのプログラム。

Images