JP2019055769A - 航空機システムにおいて障害物を検出するためのシステム及び方法 - Google Patents

Abstract

【課題】静止障害物及び／又は移動障害物を検出し、静止障害物及び／又は移動障害物の周りで自動的にナビゲートするためのシステム、方法、及び装置を提供する。【解決手段】自動化された検出及び回避システムは、航空機の物理的状態の高い忠実度の知識をパイロットに提供し、予測モデルに基づいて予期された状態における任意の偏差をパイロットに通知する。自動化された検出及び回避システムは、プロセッサ及びプロセッサに動作可能に接続されたセンサペイロード１６２を含み、航空機に隣接する第１の空域内の協働しない障害物を検出し得る。センサペイロードは、第１の空域を径方向に走査するレーダー４１２と第１の空域内の第２の空域を走査するカメラを備え得る。【選択図】図１ａ

Description

本発明は、飛行制御システム、方法、及び装置の分野に関し、特に、静止障害物及び／又は移動障害物を検出し、静止障害物及び／又は移動障害物の周りで自動的にナビゲートするためのシステム、方法、及び装置に関する。

無人航空輸送体（「UAV」）技術を含む航空機の技術は、諜報、監視、偵察、及びペイロード搬送を含むミッションプロファイルのための貴重なツールである。運航では、航空機が、航空機の空域内で大きい及び小さいの両方の障害物と遭遇し得る。それらの障害物は、固定されているかもしれないし移動しているかもしれず、それらの位置は予め知られていない。航空機内での障害物の検出及び回避の従来の形態は、航空機が別の航空機などの障害物との衝突コースにないことを確認するために、航空機の外側を見るという極めて重要な作業を行うパイロットに依存している。全地球測位システム（「GPS」）を含む、航空機が障害物と衝突することを妨げるための既存の技術は、概して、不十分なものである。何故ならば、多くの障害物はGPSデバイスを介して認識（又は素早く認識）できないからであり、高度又は地形に応じて、GPSの精度性能は環境にわたり広く変動するからである。

しかし、民間航空機産業は、航空機衝突防止装置（「TCAS」）を衝突回避の標準として採用した。それは、協働する航空機が互いの位置を特定し衝突を回避することを可能にする。理解され得るように、協働する航空機は、協働するセンサを用いて協働することができる航空機を指す。例えば、協働する航空機は、モードＳ又はモードＣのトランスポンダ、ADS-BなどのTCAS（TCAS II又はより早い世代）が装備され、又は代替的に、ADS-Bなどの他のエミッション及びスクイッターメッセージを使用し得る。TCASは、UAVに対する障害物を検出及び回避する問題に対する解決策を提供するが、TCASは、各UAVと障害物がトランスポンダを含むならば、この目的を達成することができるのみである。言い換えると、協働する目標（target）は、無線を介して（例えば、ADS-B又は他の方法を使用して）他の航空機に、その位置及び機首方位（例えば、GPS位置及び速度ベクトル）を送信し、一方で、協働しない障害物は、他者（多回転翼航空機、一般の航空機、鳥など）に位置及び機首方位の情報を送信しない。更に、協働しない障害物を検出及び回避するように設計された現在の飛行制御システムは、邪魔な障害物を追跡するために高価なレーダーアレイを利用し、概して、大きなスケールの航空機においてのみ使用される。

したがって、協働しないUAV、航空機、及び障害物を検出及び回避し、一方で、適切な価格で大きい及び小さいの両方の航空機にとって利用可能なシステムが必要である。更に、高価ではなく再度の承認を必要とせずに、新しい性能の素早い導入を可能にし、安全性を高め、機能を普及させる、オープンアーキテクチャシステムが必要である。本明細書で開示されるものなどの、航空機の衝突コースにある協働しない障害物を検出及び回避するシステムは、これらの必要性に対処し、新しい性能が最小の費用又は承認の負担を伴って素早く導入されることを可能にする。

本発明は、飛行制御システム、方法、及び装置を対象とし、特に、静止障害物及び／又は移動障害物を検出し、静止障害物及び／又は移動障害物の周りで自動的にナビゲートするためのシステム、方法、及び技術を対象とし、更に特に、障害物を検出し、障害物の周りで自動的にナビゲートするためのセンサ及び輸送体システム、方法、並びに技術を対象とする。説明されることとなるように、自動化された検出及び回避システムは、様々な用途で様々なオペレータに重要な利益を提供するために、協働しない障害物を検出及び回避する。例示的なやり方で、非限定的に、自動化された検出及び回避システムは、より小さい自律した航空機において採用され得る。その場合、TCAS規制又は代替例として大きな航空機の空対空レーダーアレイに対するコンプライアンスは、さもなければ検出されない協働しない障害物を検出するために、経済的ではなく、可能ではなく、若しくは望ましくない。

第１の態様によれば、航空機において使用される障害物検出システムは、航空機に隣接する第１の空域内の協働しない障害物を検出するためのセンサペイロードであって、第１の解像度を有するレーダー情報を生成するために第１の空域を径方向に走査するレーダー、及び第１の解像度より高い第２の解像度で光情報を生成するために前記第１の空域内の第２の空域を撮像するカメラを備える、センサペイロード、並びに、センサペイロードに動作可能に接続されたプロセッサであって、レーダー情報及び光情報に応じて、協働しない障害物の位置を決定し、協働しない障害物を特定するように構成されている、プロセッサを備える。

特定の態様では、カメラが、パン及びチルトするように構成されている。

特定の態様では、カメラが、長波長赤外線センサを含む。

特定の態様では、カメラが、可視近赤外線電気光学（EO）センサを含む。

特定の態様では、光情報が、熱的断面積と光学的断面積のうちの少なくとも一方を含む。

特定の態様では、レーダー情報が、レーダー反射断面積を含む。

特定の態様では、プロセッサが、第１の空域のデジタル表現を複数のラジアルセクターへ分割するように構成されている。

特定の態様では、第２の空域が、前記複数のラジアルセクターのうちの１つの範囲内に位置付けられている。

特定の態様では、レーダー情報が、第１の空域内の協働しない障害物の二次元（２Ｄ）位置を含み、光情報が、第２の空域内の協働しない障害物の方位角位置を含む。

特定の態様では、レーダーが、機械的に回転する航海用レーダーである。

特定の態様では、レーダー情報が、第１の空域の二次元（２Ｄ）ラジアルマップを含む。

特定の態様では、２Ｄラジアルマップが、複数のラジアルセクターへ分割されている。

特定の態様では、プロセッサが、協働しない障害物に関連付けられた前記複数のラジアルセクターから、協働しない障害物に関連付けられたラジアルセクターを特定し、カメラに前記ラジアルセクターを走査させるように指示命令するように構成されている。

特定の態様では、プロセッサが、少なくとも部分的にレーダー情報及び光情報に基づいて、協働しない障害物の予測された飛行経路を生成するように構成されている。

特定の態様では、プロセッサが、少なくとも部分的に予測された飛行経路に基づいて、協働しない障害物との衝突を回避するための障害物回避ナビゲーション経路を生成するように構成されている。

特定の態様では、プロセッサが、障害物回避ナビゲーション経路に従うように１以上の飛行コントローラを作動させるために１以上のコマンドを生成するように構成されている。

特定の態様では、航空機が、パイロットと航空機との間のインターフェースを提供するために、プロセッサに動作可能に接続されたヒューマンマシンインターフェースを更に備える。

特定の態様では、ヒューマンマシンインターフェースが、パイロットがプロセッサを制御し又はプロセッサと通信することを可能にするように構成されている。

特定の態様では、ヒューマンマシンインターフェースが、センサペイロードの１以上のパラメータを表示するように構成されている。

特定の態様では、ヒューマンマシンインターフェースが、タッチスクリーンディスプレイを含む。

特定の態様では、ヒューマンマシンインターフェースが、音声ベースのシステムを介してプロセッサとパイロットとの間でコマンドを通信するように構成されている。

特定の態様では、第１の空域が、航空機の周りの３６０度の視界を提供する。

特定の態様では、３６０度の視界が、航空機によって規定される飛行のラインと平行な平面内に存在する。

第２の態様によれば、航空機の運航中に協働しない障害物を検出及び回避するための方法は、第１の解像度を有するレーダー情報を生成するために、レーダーシステムを使用して第１の空域を走査すること、第１の解像度より高い第２の解像度で光情報を生成するために、カメラを使用して前記第１の空域内にある第２の空域を撮像すること、少なくとも部分的にレーダー情報及び光情報に基づいて、協働しない障害物を追跡すること、少なくとも部分的にレーダー情報及び光情報に基づいて、予測された飛行経路を生成すること、協働しない障害物を回避するための障害物回避ナビゲーション経路を生成すること、及び航空機の飛行制御システムに障害物回避ナビゲーション経路を通信することを含む。

特定の態様では、航空機が、生成された障害物回避ナビゲーション経路を自律的に実行するように構成されている。

特定の態様では、カメラが、パン及びチルトするように構成されている。

特定の態様では、カメラが、長波長赤外線センサを含む。

特定の態様では、該方法が、プロセッサを使用して第１の空域を複数のラジアルセクターへ分割するステップを更に含む。

特定の態様では、第２の空域が、前記複数のラジアルセクターのうちの１つである。

特定の態様では、該方法が、カメラを使用して第２の空域内の協働しない障害物の方位角位置を決定するステップを更に含む。

特定の態様では、レーダーが、機械的に回転する航海用レーダーである。

特定の態様では、レーダー情報が、第１の空域の二次元（２Ｄ）ラジアルマップを含む。

特定の態様では、２Ｄラジアルマップが、複数のラジアルセクターへ分割されている。

特定の態様では、該方法が、プロセッサを介して、協働しない障害物に関連付けられた前記複数のラジアルセクターから、協働しない障害物に関連付けられたラジアルセクターを特定するステップを更に含む。

特定の態様では、該方法が、プロセッサを介して、少なくとも部分的にセンサペイロードから受信したデータに基づいて、協働しない障害物の予測された飛行経路を生成するステップを更に含む。

第３の態様によれば、航空機に隣接する空域内の協働しない障害物を検出するセンサペイロードは、協働しない障害物の位置を提供するために空域を径方向に走査するレーダー、その位置における協働しない障害物の熱痕跡を検出する第１のセンサ、その位置における協働しない障害物を撮像する第２のセンサ、並びに、レーダー、第１のセンサ、及び第２のセンサに動作可能に接続されたプロセッサを備え、該プロセッサは、レーダーからのデータを使用して協働しない障害物の位置を決定し、第１のセンサからの熱痕跡と第２のセンサからの画像を使用して協働しない障害物を分類するように構成されている。

特定の態様では、カメラが、長波長赤外線センサを含む。

特定の態様では、カメラが、可視近赤外線電気光学（EO）センサを含む。

特定の態様では、レーダーが、機械的に回転する航海用レーダーである。

本発明の一実施形態は、航空機において使用される障害物検出システムを含み、障害物検出システムは、航空機に隣接し得る第１の空域内の協働しない障害物を検出するセンサペイロードであって、第１の解像度を有するレーダー情報を生成するために第１の空域を径方向に走査するレーダー、及び第１の解像度より高くなり得る第２の解像度で光情報を生成するために前記第１の空域内の第２の空域を撮像するカメラを備える、センサペイロード、並びに、センサペイロードに動作可能に接続されたプロセッサであって、レーダー情報及び光情報に応じて、協働しない障害物の位置を決定し、協働しない障害物を特定するように構成され得る、プロセッサを含み得る。カメラは、パン及びチルトするように構成され得る。カメラは、長波長赤外線センサを含み得る。カメラは、可視近赤外線電気光学（EO）センサを含み得る。光情報は、熱的断面積と光学的断面積のうちの少なくとも一方を含み得る。レーダー情報は、レーダー反射断面積を含み得る。レーダー情報は、第１の空域内の協働しない障害物の二次元（２Ｄ）位置を含み、光情報は、第２の空域内の協働しない障害物の方位角位置を含み得る。プロセッサは、少なくとも部分的にレーダー情報及び光情報に基づいて、協働しない障害物の予測された飛行経路を生成するように構成され得る。プロセッサは、少なくとも部分的に予測された飛行経路に基づいて、協働しない障害物との衝突を回避するための障害物回避ナビゲーション経路を生成するように構成され得る。第１の空域は、航空機の周りの３６０度の視界を提供し得る。３６０度の視界は、航空機によって規定される飛行のラインと平行な平面内に存在し得る。

本発明の別の一実施態様は、航空機の運航中に協働しない障害物を検出及び回避するための方法を含み、該方法は、第１の解像度を有するレーダー情報を生成するために、レーダーシステムを使用して第１の空域を走査すること、第１の解像度より高くなり得る第２の解像度で光情報を生成するために、カメラを使用して前記第１の空域内にあり得る第２の空域を撮像すること、少なくとも部分的にレーダー情報及び光情報に基づいて、協働しない障害物を追跡すること、少なくとも部分的にレーダー情報及び光情報に基づいて、予測された飛行経路を生成すること、協働しない障害物を回避するための障害物回避ナビゲーション経路を生成すること、及び航空機の飛行制御システムに障害物回避ナビゲーション経路を通信することを含む。航空機は、生成された障害物回避ナビゲーション経路を自律的に実行するように構成され得る。カメラは、パン及びチルトするように構成された長波長赤外線センサを含み得る。該方法は、カメラを使用して第２の空域内の協働しない障害物の方位角位置を決定することも含み得る。レーダーは、機械的に回転する航海用レーダーであり得る。レーダー情報は、第１の空域の二次元（２Ｄ）ラジアルマップを含み得る。該方法は、プロセッサを介して、少なくとも部分的にセンサペイロードから受信したデータに基づいて、協働しない障害物の予測された飛行経路を生成することも含み得る。

本発明の別の一実施形態は、航空機に隣接する空域内の協働しない障害物を検出するセンサペイロードを含み、該センサペイロードは、協働しない障害物の位置を提供するために空域を径方向に走査するレーダー、その位置における協働しない障害物の熱痕跡を検出する第１のセンサ、その位置における協働しない障害物を撮像する第２のセンサ、並びに、レーダー、第１のセンサ、及び第２のセンサに動作可能に接続されたプロセッサを含み、該プロセッサは、レーダーからのデータを使用して協働しない障害物の位置を決定し、第１のセンサからの熱痕跡と第２のセンサからの画像を使用して協働しない障害物を分類するように構成され得る。 カメラは、長波長赤外線センサを含み得る。カメラは、可視近赤外線電気光学（EO）センサを含み得る。

本発明のこれらの及び他の利点は、以下の詳細な説明及び添付の図面を参照することによって確実に理解され得る。

例示的な飛行乗務員自動化のブロック図を示す。 図１ａのサブシステムの間の情報データの例示的な流れを示す。 例示的なコアプラットフォームのブロック図を示す。 例示的なコアプラットフォームアーキテクチャの図を示す。 経路アプリケーションを示す第１の例示的なヒューマンマシンインターフェースを示す。 手順チェックリスト及び航空機健全性警告画面を示す第２の例示的なヒューマンマシンインターフェースを示す。 障害物検出ホーム画面を示す第３の例示的なヒューマンマシンインターフェースを示す。 障害物検出ホーム画面を示す第３の例示的なヒューマンマシンインターフェースを示す。 障害物検出ホーム画面を示す第３の例示的なヒューマンマシンインターフェースを示す。 知覚システムを有する例示的な航空機状態モニタリングシステムのブロック図を示す。 例示的な第１の作動システムを示す。 例示的な第１の作動システムを示す。 例示的な第２の作動システムを示す。 例示的なレーダー及びその結果としてのレーダービームを示す。 レーダービームに対する例示的な赤外線カメラ及びその結果としての赤外線ビームを示す。 障害物センサペイロードを収容するペイロードポッドを有する例示的な固定翼航空機を示す。 レーダー及び赤外線カメラによって生成された例示的なハイブリッド視界の図を示す。 レーダー及び赤外線カメラによって生成された例示的なハイブリッド視界の図を示す。 レーダー及び赤外線カメラによって生成された例示的なハイブリッド視界の図を示す。

本発明の好適な実施形態が、添付の図面を参照しながら以下で説明され得る。以下の説明では、よく知られている機能又は構造は詳細に説明されない。何故ならば、それらは、本発明を不必要な詳細において曖昧にし得るからである。本開示に対して、以下の用語と定義が適用される。

本明細書で使用される際に、「回路」及び「電気回路」という用語は、物理的電子部品（すなわち、ハードウェア）、並びに、ハードウェアを構成し、ハードウェアによって実行され、且つ／又はさもなければハードウェアに関連し得る、任意のソフトウェア及び／又はファームウェア（「コード」）を指す。本明細書で使用される際に、例えば、特定のプロセッサ及びメモリは、コードの１以上のラインの第１の組を実行するときに第１の「回路」を備え、コードの１以上のラインの第２の組を実行するときに第２の「回路」を備え得る。

本明細書で使用される際に、「及び／又は」は、「及び／又は」によって接合されるリスト内の項目の任意の１以上を意味する。一実施例として、「ｘ及び／又はｙ」は、３つの要素の組｛（ｘ）、（ｙ）、（ｘ、ｙ）｝のうちの任意の要素を意味する。言い換えると、「ｘ及び／又はｙ」は、「ｘとｙのうちの一方又は両方」を意味する。別の一実施例として、「ｘ、ｙ、及び／又はｚ」は、７つの要素の組｛（ｘ）、（ｙ）、（ｚ）、（ｘ、ｙ）、（ｘ、ｚ）、（ｙ、ｚ）、（ｘ、ｙ、ｚ）｝のうちの任意の要素を意味する。言い換えると、「ｘ、ｙ、及び／又はｙ」は、「ｘ、ｙ、及びｚのうちの１以上」を意味する。

本明細書で使用される際に、「例示的な」という用語は、非限定的な実施例、事例、又は例示として働くことを意味する。本明細書で使用される際に、「例えば（e.g.）」及び「例えば（for example）」という用語は、１以上の非限定的な実施例、事例、又は例示のリストを強調している。

本明細書で使用される際に、「約」及び「近似的に」という用語は、値（又は値の範囲）を修正又は説明するために使用されるときに、その値又は値の範囲に適切に近いことを意味する。したがって、本明細書で説明される実施形態は、挙げられた値及び値の範囲にのみ限定されるのではなく、むしろ適切に働き得る偏差を含むべきである。

本明細書で使用される際に、（例えば、ユーザが構成可能な設定、工場での調整などによって）機能の実行が不可能であるか又は有効でないか否かに関わりなく、回路又はデバイスが機能を実行するために必要なハードウェア及び（もし必要ならば）コードを備えるときは何時でも、回路又はデバイスは、機能を実行するために「動作可能」である。

本明細書で使用される際に、「航空輸送体」及び「航空機」という用語は、従来の滑走路を使用する航空機及び垂直離着陸（「VTOL」）航空機の両方、並びに、有人及び無人航空輸送体（「UAV」）の両方も含む、飛行できる機械を指すが、それらに限定されるものではない。VTOL航空機は、固定翼航空機（例えば、ハリアージェット）、回転翼飛行機（例えば、ヘリコプター）、及び／又はローターが傾く／翼が傾く航空機を含み得る。

本明細書で使用される際に、「通信する」及び「通信している」という用語は、（１）ソースから目的地へデータを送信する又はさもなければ搬送すること、及び／又は（２）目的地に搬送されるべきデータを、通信媒体、システム、チャネル、ネットワーク、デバイス、ワイヤー、ケーブル、ファイバー、回路、及び／又はリンクに送達することを指す。

本明細書で使用される際に、「データベース」という用語は、データ又はデータの組織化された本体が表現されるやり方に関わりなく、関連するデータの組織化された本体を意味する。例えば、関連するデータの組織化された本体は、表、マップ、グリッド、パケット、データグラム、フレーム、ファイル、Ｅメール、メッセージ、文書、レポート、リスト、又は任意の他の形態で表されるデータのうちの１以上の形態を採り得る。

本明細書で使用される際に、「プロセッサ」という用語は、ハードウェアに実装されていてもソフトウェアに明白に具現化されていても又はそれらの両方でも、それがプログラム可能であってもそうではなくても、プロセッサデバイス、装置、プログラム、回路、構成要素、システム、及びサブシステムを意味する。本明細書で使用される際に、「プロセッサ」という用語は、１以上のコンピュータデバイス、配線回路、信号修正デバイス及びシステム、システムを制御するためのデバイス及び機械、中央処理装置、プログラマブルデバイス及びシステム、フィールドプログラマブルゲートアレイ、特定用途向け集積回路、チップ上のシステム、離散した要素及び／又は回路を備えたシステム、状態機械、仮想機械、データプロセッサ、処理設備、並びにそれらの任意の組み合わせを含むが、それらに限定されるものではない。例えば、プロセッサは、任意の種類の汎用マイクロプロセッサ又はマイクロコントローラ、デジタル信号処理（DSP）プロセッサ、特定用途向け集積回路（ASIC）であり得る。プロセッサは、メモリデバイスに接続され又はメモリデバイスと統合され得る。

本明細書で使用される際に、「メモリデバイス」という用語は、プロセッサによって使用されるために情報を記憶するコンピュータハードウェア又は回路を意味する。メモリデバイスは、例えば、リードオンリーメモリ（ROM）、ランダムアクセスメモリ（RAM）、キャッシュメモリ、コンパクトディスクリードオンリーメモリ（CDROM）、電気光学メモリ、磁気光学メモリ、プログラマブルリードオンリーメモリ（PROM）、消去可能プログラマブルリードオンリーメモリ（EPROM）、電気的消去可能プログラマブルリードオンリーメモリ（EEPROM）、コンピュータ可読媒体などの、任意の適切な種類のコンピュータメモリ又は任意の他の種類の電子記憶媒体であり得る。

航空機の運航中に自動的に障害物を検出及び回避するように構成された自動化された検出及び回避システムが本明細書で開示される。検出及び回避システムは、パイロット、自動操縦、又は別の自動化された飛行制御システムで構成された航空機を含む、事実上あらゆる航空機内で具現化され得る。例えば、自動化された検出及び回避システムは、より小さい自律した航空機において採用され得る。その場合、TCAS規制又は代替例として大きな航空機の空対空レーダーアレイに対するコンプライアンスは、さもなければ検出されない協働しない障害物を検出するために、経済的ではなく、可能ではなく、若しくは望ましくない。

自動化された検出及び回避システムは、概して、飛行乗務員自動化システムに関連して説明されることとなる。飛行乗務員自動化システムは、パイロットの補助者（若しくは副操縦士）又はフライトエンジニアとして機能するように構成されている。例示的な飛行乗務員自動化システムは、2017年3月21日に出願された「Aircrew Automation System and Method」という名称のJessica E. Dudaらによって共同所有されている米国特許出願第15 / 464,786号（以下、「786出願」という）によって開示されている。

786出願によって説明されるように、飛行乗務員自動化システムは、離陸から着陸まで航空機を操縦するように構成され、必要なフライト及び飛行計画の作業、チェックリスト、フライトの正しいフェーズにおける手順を自動的に実行する一方で、不測の事態を検出し、それらに対応し得る。それと同時に、パイロット（例えば、人間のパイロット又は別のオペレータ）は、飛行乗務員自動化システムに動作可能に接続された直感で理解可能なヒューマンマシンインターフェースを介して継続的に情報を与えられ得る。すなわち、飛行乗務員自動化システムは、パイロットにリアルタイムの情報及び／又はフィードバックを提供し得る。例えば、飛行乗務員自動化システムは、遂行されている手順に対する航空機の状態を示し得る。飛行乗務員自動化システムは、もし望ましければ、ロボットのアクチュエータを介して航空機を制御するように構成され得る。

侵襲的であり、多大な設置の技術的知識を必要とし、航空機に特有の既存のロボット自動操縦及びパイロット補助システムとは異なり、飛行乗務員自動化システムは、素早い非侵襲的な設置を可能にするシステムアーキテクチャ及び知識獲得システムを採用し得る。それらは、航空機の幅広い使用を容易にし、飛行乗務員自動化システムが様々な航空機での使用のために素早く適合することを可能にする。更に、飛行乗務員自動化システムのデータ収集、知覚システム、及びセンサペイロードシステムは、既存のロボット自動操縦の場合と同様に、GPS、加速度計、姿勢、及び機首方位に限定されるものではない。実際、飛行乗務員自動化システムは、既存のデータ収集及び知覚システムの能力を超えて、スタンドアローンセンサ、機器画像データ捕捉（例えば、温度、高度、レーダー、フラップ角など）の両方を採用すること、及びパイロットの入力を測定し、検出し、又はさもなければ受信することによって、航空機の性能をより優れて捕捉する。更に、飛行乗務員自動化システムのコアプラットフォームと第１及び第２の飛行制御作動システムの設計とは、様々な航空機に及ぶ携帯性を可能にする。したがって、既存のロボット自動操縦又はパイロット補助システムとは異なり、飛行乗務員自動化システムは、航空機に対する侵襲的な修正なしに、一時的に設置され航空機から航空機へと確実に移動され得る。飛行乗務員自動化システムは、そのモジュール式の設計を介して、航空機が進化するにつれて時代遅れのものとなる単一点の解決策の設計の可能性を更に低減させる。

飛行乗務員自動化システムのサブシステムの組み合わせは、航空機の物理的状態の高い忠実度の知識をパイロットに提供し、例えば、予測モデルに基づいて予期された状態における任意の偏差をパイロットに通知する。この状態認識は、パイロットにとって有用な情報に直接的に変換され得る。それらの情報は、緊急事態の発生に対する警告、燃料状態の計算、氷結状態の通知、障害物との差し迫った衝突の警告、検出された協働しない障害物の通知などである。例えば、飛行乗務員自動化システムは、デジタルフライトエンジニアとしても働き、チェックリスト、機器、エンジンの状態、対気速度、フライトレジームなどをモニタリングすることによって、パイロットに忠告し得る。

このライドアロング方式の飛行乗務員自動化システムは、既存の航空機内に非侵襲的に設置され、航空機の状態を視覚的に及び他のセンサを介して認識し、航空機の状態ベクトル及び航空機の他の情報を導き出し、予期された航空機の状態からの任意の偏差をパイロット又は航空交通管制塔に通信する。飛行乗務員自動化システムは、（例えば、知覚システムを介して）非侵襲的に設置され得るが、代替的に侵襲的であり得る。例えば、飛行乗務員自動化システムは、例えば、航空機状態モニタリングシステムを介して、（例えば、機器パネルの裏側から）操縦室の機器パネルと電気的に接続され得る。代替的に、飛行乗務員自動化システムは、航空機の製造中に統合され恒久的に設置され得る。作動システムと併せて、飛行乗務員自動化システムは、更に、航空機を制御し、航空機を自律的にナビゲートし得る。したがって、飛行乗務員自動化システムの様々なシステム及びサブシステムは、侵襲的であり、非侵襲的であり、又はそれらの組み合わせであり得る。

システムレベルのアーキテクチャ飛行活動の実行に関連する責務と作業負荷を共有するために、飛行乗務員自動化システム１００は、航空機のメーカー、モデル、又は種類に関わりなく、フライトの期間にわたりパイロットが通常実行するであろう作業を実行することができなければならない。一態様による飛行乗務員自動化システム１００の例示的なシステムアーキテクチャが、図１ａから図１ｃに示されている。図１ａで示されているように、プロセッサ制御中央サブシステムは、コアプラットフォーム１０２として機能して、１以上のインターフェースを介して１以上の他のサブシステムと接続する。サブシステムは、有線及び／又は無線の通信プロトコル及びハードウェアを使用して、ソフトウェア及び／又はハードウェアのインターフェース１５６を介して互いに通信し得る。図１ｂは、様々なサブシステムの間の情報（例えば、データ）の例示的な流れを示している。

飛行乗務員自動化システム１００の複数のサブシステムの各々は、モジュール式であり得る。それによって、全体の飛行乗務員自動化システム１００は、実質的に、別の航空機に素早く移すことができる。例えば、様々なサブシステムは、１以上のソフトウェア及び／又はハードウェア１５６を使用して、コアプラットフォーム１０２を介して互いと着脱可能且つ通信可能に接続され得る。しかし、特定の態様では、飛行乗務員自動化システム１００又はその部分が、代替的に、航空機システムに統合され、それによって、飛行機内のセンサ及びインジケータを直接的に採用し得る。例えば、飛行乗務員自動化システム１００又はその部分は、その設計及び製造中に航空機に統合され得る。

例えば、複数のサブシステムは、知覚システム１０６、作動システム１０８、ヒューマンマシンインターフェース（「HMI」）システム１０４、飛行制御システム１１６、及び障害物センサペイロード１６２を含み得る。それらの各々は、コアプラットフォーム１０２と動作可能に接続され得る。特定の態様では、知覚システム１０６に対する必要性が、別の航空機状態モニタリングシステムの使用を介して、軽減され又は除かれ得る。例えば、飛行乗務員自動化システム１００は、機器パネルと（例えば、通信可能又は通電可能に）接続され、又はさもなければ航空機又はその既存のシステムと統合され得る。しかし、予期され得るように、そのような統合は、航空機又はその配線にある程度の修正を要求するようである。

飛行乗務員自動化システム１００及び／又はコアプラットフォーム１０２は、知識獲得システム１１４及び通信システム１２２も備え、又はそれらと動作可能に接続され得る。モジュール式の構成は、オペレータが、不必要なシステム若しくはモジュールを除去／無効にすること又は更なるシステム若しくはモジュールを追加／設置することを更に可能にする。例えば、飛行乗務員自動化システム１００が、HMIシステム１０４を介してのみパイロットに情報を提供するように（すなわち、航空機を制御する能力なしに）構成されたときに、作動システム１０８は、重量、費用、及び／又は電力消費を低減させるために除去され又は無効にされ得る。したがって、その構成に応じて、飛行乗務員自動化システム１００は、本発明の精神及び範囲から逸脱することなしに、より少ない又は更なるモジュール、構成要素、又はシステムを伴って構成され得る。

動作では、飛行制御システム１１６が、別のサブシステム（例えば、航空機状態モニタリングシステム１１２、知覚システム１０６、障害物センサペイロード１６２など）からの情報データに基づいて航空機の状態を導き出し、別のサブシステム（例えば、作動システム１０８、飛行制御システム１１６など）に、航空機の安定性を維持するやり方で（例えば、動的に）動作させる。実際、飛行制御システム１１６は、コアプラットフォーム１０２から輸送体モードコマンド及び構成データを受信し得る一方で、コアプラットフォーム１０２に飛行制御システム１１６によって生成されたステータス及びコマンド情報を送信する。例えば、コアプラットフォーム１０２は、少なくとも部分的に飛行状況データに基づいて、航空機の飛行制御システム１１６に１以上のコマンドを通信するように構成され得る。それらの飛行状況データは、航空機状態モニタリングシステム１１２、知覚システム１０６、障害物センサペイロード１６２、及び／又はそれらの組み合わせから取得され得る。

飛行制御システム１１６は、固定翼航空機及び回転翼航空機で採用されるものなどの、既存の飛行制御デバイス若しくはシステムを含み、又はそれらと通信し得る。通信システム１２２は、飛行乗務員自動化システム１００が、例えば、ネットワークを介して、（遠隔の又は距離が離れたデバイスを含む）他のデバイスと通信することを可能にする。通信システム１２２は、コアプラットフォーム１０２から通信コマンド及び構成データを受信し得る一方で、通信システム１２２によって生成されたステータス及び応答情報をコアプラットフォーム１０２に送信する。

コアプラットフォーム１０２図２は、例示的なコアプラットフォーム１０２のアーキテクチャの図を示している。輸送体にとらわれない飛行乗務員自動化システム１００を有効にするために、コアプラットフォーム１０２は、初期移行及び設定フェーズを通じて特定の航空機又は構成に特有に作られ得るミドルウェアを提供し、又はさもなければミドルウェアを補助し／ミドルウェアとして働くためのプロセッサベースのコンピュータシステムであり得る。言い換えると、ミッション制御システム１１０は、一組の操作アプリケーション２０２にサービスを提供し、一組のハードウェアインターフェース２０４又はHMIシステム１０４のうちの１以上に出力信号を提供する、オペレーティングシステム２０６を提供し得る一方で、それらのアプリケーションを有効にするために必要なデータを収集及び記録する。

コアプラットフォーム１０２は、第１の自律したエージェント及び決定器として働き、それは、知覚システム１０６、航空機状態モニタリングシステム１１２、障害物センサペイロード１６２、及びその獲得された知識ベースを有するHMIシステム１０４、からの入力を総合的に取り扱って、全体の航空機システムの状態を決定する。コアプラットフォーム１０２は、様々なセンサスイートからの入力を処理し、結果としての情報を現在の航空機の状態の理解へ纏め上げる。結果としての情報は、飛行乗務員自動化システム１００のパイロットの意思、システム健全性の理解、及び適切な航空機の手順の理解を含む航空機特有のファイルに対して比較され得る。何故ならば、それらは、飛行乗務員自動化システム１００の状態予測に関係するからである。結果としての状態知識及び関連する推奨が、HMIシステム１０４を介して人間のパイロットにパスされ、又は特定の態様で、飛行制御システム１１６及び／又は作動システム１０８にパスされて、自律した動作を可能にすることができる。例えば、コアプラットフォーム１０２は、航空機との衝突経路上にある検出された協働しない障害物を反映した情報を、飛行制御システム（例えば、航空機の既存の飛行制御システムであり得る、飛行制御システム１１６）に通信し得る。その障害物は、障害物センサペイロード１６２によって検出され得る。そして、コアプラットフォーム１０２によって生成される障害物回避ナビゲーション経路を初期化する。

コアプラットフォーム１０２は、例えば、性能再評価能力を提供するために、及び飛行中の再設定を避けるロバスト性を提供するために、飛行データ記録器も含み得る。飛行乗務員自動化システム１００は、後の解析のために所与のフライトの記録を更に生成し得る。その記録は、詳細な訓練及び運航の飛行報告を提供することができるパイロット訓練を容易にするために使用され得る。記録は、例えば、飛行操縦質保証解析、保守解析などに関連して使用され得る。

示されているように、コアプラットフォーム１０２は、ミッション制御システム１１０と飛行コントローラ１１８を備え得る。それらの各々は、１以上のソフトウェア及び／又はハードウェアインターフェース１５６を介して互いにそして他のサブシステムと通信するように構成され得る。１以上のソフトウェア及び／又はハードウェアインターフェース１５６は、ハードウェア（例えば、恒久的な若しくは着脱可能なコネクタ）及びソフトウェアの組み合わせであり得る。コアプラットフォーム１０２は、傾向解析（予測的な警告）及び機械学習ルーチンのための任意のモジュールのみならず、航空機、協働する障害物、協働しない障害物、及び手順の状態を追跡する、メモリデバイスに記憶された様々なソフトウェアプロセスをホストすることができる。特定の態様では、飛行乗務員自動化システム１００及び／又はコアプラットフォーム１０２が、リソース対立を解決することにおいて物理的なデバイス構成又はユーザの介入の必要なしに、飛行乗務員自動化システム１００内のサブシステムのハードウェア構成要素の発見を容易にする、（例えば、インターフェースとしての）コンピュータバス及び仕様を採用し得る。そのような構成は、「プラグ及びプレイ」と称され得る。したがって、ユーザは、実質的な修正又は統合の労力を要することなしに、コアプラットフォーム１０２を介して、飛行乗務員自動化システム１００に（例えば、モジュールとして）システム又はサブシステムを確実に追加し、又は飛行乗務員自動化システム１００からそれらを確実に除去し得る。

コアプラットフォーム１０２からの出力は、HMIシステム１０４にメッセージを提供するために使用され得る。例えば、メッセージは、チェックリストの進捗、不測の出来事の開始、警告の発生、協働しない障害物の位置、潜在的な障害物回避ナビゲーション経路などを示し得る。ハードウェア及び様々なコンピュータは、高耐久化もされ、知覚コンピュータなどの他のデバイスを有するハウジングを共有し得る。以下で説明されるように、コアプラットフォーム１０２は、全地球測位システム（「GPS」）／慣性ナビゲーションシステム（「INS」）システム１５４、障害物センサペイロード１６２、及び電力管理システム（例えば、28VDC電力）と動作可能に接続され得る。

ミッション制御システム１１０は、概して、ミッション管理器１３２、標準インターフェース１３０（例えば、STANAGインターフェース）、状態認識管理器１５８、及び他の動作構成要素１２０（例えば、ハードウェア及びソフトウェアコントローラ並びに／又はインターフェース）を備える。それらの各々は、１以上のデータバス１２４を介して互いと通信するように接続されている。例えば、動作構成要素１２０のうちの１つは、経路管理器１６０であり得る。経路管理器１６０は、障害物センサペイロード１６２からのデータを使用して協働しない障害物と協働する障害物の両方を追跡して、前記協働しない障害物と協働する障害物の各々の予測された飛行経路を生成し得る。少なくとも部分的に予測された飛行経路に基づいて、経路管理器１６０は、協働しない及び／又は協働する障害物との衝突を回避する又はさもなければ軽減するための、航空機のための障害物回避ナビゲーション経路を生成し得る。障害物回避ナビゲーション経路を生成することにおいて、経路管理器１６０は、地形及び任意の航空機の制約も考慮し得る。任意の航空機の制約は、航空機の構成（例えば、多回転翼航空機と固定翼航空機）によって決定され得る。例えば、多回転翼航空機は、水平方向飛行からホバリング飛行へより素早く移行することができる。他の航空機の制約は、所与の航空機のための操作説明文書内で規定され得る。

コアプラットフォーム１０２のオープンアーキテクチャは、データバス１２４を介してシステムから受信された更なるデータの組み込みを可能にする。特定の態様では、ミッション制御システム１１０が、飛行状況データを収集するために、輸送体システムインターフェースを介して航空機の１以上の操縦室の機器と接続され得る。他の態様では、ミッション制御システム１１０が、航空機状態モニタリングシステム１１２を介して航空機状態インターフェースを通じて飛行状況データを収集し得る。航空機状態モニタリングシステム１１２は、航空機、知覚システム１０６、及び／又は障害物センサペイロード１６２との直接的な接続を介して、飛行状況データを収集又は生成し得る。

示されているように、ミッション制御システム１１０は、第２の作動システム１０８ｂ（例えば、自律した動作が望ましいとき）、知覚システム１０６、障害物センサペイロード１６２、及びHMIシステム１０４と動作可能に接続され得る。HMIシステム１０４は、ヒューマンマシンインターフェース１２６（例えば、パイロットからの入力を伝達しパイロットへ情報を表示する、ソフトウェア及び／又はハードウェア）及び地上局１２８を含む。ミッション制御システム１１０は、ミッション管理器１３２を介して飛行コントローラ１１８と通信し得る。

例えば、飛行コントローラ１１８は、自動操縦管理器１３４及び輸送体管理器１３６を含み得る。輸送体管理器１３６は、概して、ナビゲーションに対して責任を有し、航空機の位置と状態を決定することに対して責任を有し得る。輸送体管理器１３６は、状態予測モジュール１４２と接続され得る。状態予測モジュール１４２は、知覚モジュール１３８を介して知覚システム１０６から、障害物センサペイロード１６２から、ナビゲーションモジュール１４０を介してGPS／INSシステム１５４から、受信した情報を使用して航空機の予測された状態を決定する。

自動操縦管理器１３４は、概して、例えば、輸送体管理器１３６及びミッション制御システム１１０から受信した情報に基づいて、航空機の飛行を制御することに対して責任を有し得る。とりわけ、自動操縦管理器１３４は、飛行制御システム１５２を制御する。飛行制御システム１５２は、飛行乗務員自動化作動モジュール１４４及び航空機作動モジュール１４６と同様に、新しい又は既存であり得る（そして、飛行コントローラ１５０を備える）。飛行乗務員自動化作動モジュール１４４は、第１の作動システム１０８ａを制御し得る。一方で、航空機作動モジュール１４６は、航空機制御装置１４８（例えば、様々な飛行翼面及びアクチュエータ）を制御し得る。自動操縦管理器１３４は、障害物回避ナビゲーション経路を含む１以上の経路を経路管理器１６０から受信し、実施するように構成され得る。

特定の態様では、飛行コントローラ１１８の構成要素が、飛行制御システム１１６の特定の構成要素と重なり得る。例えば、（例えば、冗長性が望ましくなく、非侵襲的な統合が可能である）特定の態様では、コアプラットフォーム１０２が、特定の既存の航空機のソフトウェア及び／又はハードウェアを利用し、それによって、特定の飛行コントローラ１１８の構成要素及び／又はGPS／INSシステム１５４などの更なるハードウェアに対する必要性を除去し得る。

オープンアーキテクチャコアプラットフォーム１０２は、飛行乗務員自動化システム１００の中央サブシステム又はインターフェースとして働き、オープンアーキテクチャ内の残りのサブシステムを（例えば、個別のアプリケーションとして）接続し制御する。例えば、残りのサブシステムは、（任意の飛行計画機能を含む）飛行制御システム１１６、HMIシステム１０４、作動システム１０８（例えば、所望の場合に自律した動作を提供する第１及び第２の作動システム）、知覚システム１０６、知識獲得システム１１４、障害物センサペイロード１６２、及び他のサブシステム２３６を含む。したがって、他の飛行乗務員自動化システム１００のハードウェアの制御は、ハードウェアの特定のピースに特有の分離したアプリケーションを介して提供され得る。それらのアプリケーションは、新しいシステムの素早い統合又は他の外部の飛行計画支援技術を有効にする。

コアプラットフォーム１０２のアーキテクチャは、新しい航空機に移す又は新しい飛行計画フィーチャ／機能を組み込むときに、素早い携帯性及び拡張性を可能にする。したがって、アプリケーションは、飛行乗務員自動化システム１００が、その航空機にとって特有の又はさもなければ必要とされる情報を獲得すること又は新しい機能を提供することを可能にする。例えば、移行及び設定は、コアプラットフォーム１０２又は他のサブシステム内で動作する個別のアプリケーションによって取り扱われ得る。そして、個別のアプリケーションは、航空機特有の機能だけでなく、飛行乗務員自動化システム１００の機能の増大するライブラリを表す。それは、飛行計画、航空機、又は乗務員の要求に応じて交換され得る。特定の態様では、移行プロセスが、（手順編集器などの）飛行乗務員自動化システム１００の外部のソフトウェアアプリケーションによって支援され得る。

航空機データ構造２０８オペレーティングシステム２０６は、ミドルウェアとして動作し、操作アプリケーション２０２、ハードウェアインターフェース２０４、及び知識獲得システム１１４などの他のサブシステムを相互接続する。オペレーティングシステム２０６は、航空機データ構造２０８を採用し得る。航空機データ構造２０８は、知識データベース２１０、手順データベース２１２、及び状態データベース２１４を含み得る。

航空機データ構造２０８は、コアプラットフォーム１０２が、航空機のシステム、それらの構成、及び安全な運航を維持するために必要な手順、並びにその航空機の認定されたパイロットが有することを期待され得る全ての他の知識及び技術、の完全な理解を展開することを可能にすることによって、輸送体にとらわれない飛行乗務員自動化システム１００を容易にする。航空機データ構造２０８は、（以下で説明される）知識獲得システム１１４によってデータを追加され得る。知識獲得システム１１４は、現在操縦されている航空機についての必要な情報（例えば、飛行制御モデル、操作手順、航空機システムなど）、内部状態センサ、及び他のサブシステム又はセンサ（例えば、障害物センサペイロード１６２）から受信したデータを含む。

航空機データ構造２０８は、知識獲得フェーズの間（例えば、初期設定の間）にデータを追加され特定の航空機に対して調整され得る。それによって、航空機データ構造２０８は、航空機を操縦するために必要な全ての情報を含む。例えば、新しい航空機へ移行するときに、知識獲得システム１１４は、（例えば、操縦室の機器などのコントローラ／リードアウトの）レイアウト、性能パラメータ、及び航空機の他の特性を決定するために、予め規定された作業を実行し得る。予め規定された作業は、例えば、以下のものを含む。すなわち、（１）どのシステムが搭載されているか、及びその構成、作動制限などについての情報を、飛行乗務員自動化システム１００に知らせる、航空機システムモデルの生成、（２）チェックリストの成文化を更に含む、通常及び通常ではない状況にある航空機を操縦するやり方を、飛行乗務員自動化システム１００に知らせる、手順成文化、（３）航空機を飛行させるやり方、及びどの航空機の構成に対してどの性能が予期されるかを、飛行乗務員自動化システム１００に知らせる、空力モデル、並びに（４）ミッション動作についての情報である。

コアプラットフォーム１０２は、この情報を一組の内部状態センサからのデータと組み合わせることができる。コアプラットフォーム１０２は、冗長性及びシステムのロバスト性も改良し、それによって、飛行乗務員自動化システム１００が、航空機の状態とシステムのステータスの非常に精度の高い予測を生成し、予期された挙動からの逸脱を特定することを可能にする。運航中に、データ構造は、とりわけ、飛行乗務員自動化システム１００の、知覚システム１０６、障害物センサペイロード１６２、HMIシステム１０４、更には、飛行乗務員自動化システム１００の内部状態感知、によって集められたリアルタイムのデータを用いて動的に更新される。一旦、所与の航空機のための航空機データ構造２０８にデータが追加されると、その後、航空機データ構造２０８は、航空機ライブラリ内に保持され、飛行乗務員自動化システム１００が利用可能な同じメーカー及びモデルの全ての他の航空機に対して使用され得る。航空機データ構造２０８は、更なるデータが、飛行乗務員自動化システム１００によって生成され且つ／又は収集されると更に精緻化され得る。

操作アプリケーション２０２コアプラットフォーム１０２は、飛行乗務員自動化システム１００に複数の操作アプリケーション２０２を提供し得る。そのような操作アプリケーション２０２の実施例は、通常運航アプリケーション２１６、異常検出アプリケーション２１８、不測作動アプリケーション２２０、諜報、監視、及び偵察（「ISR」）アプリケーション２２２（例えば、ISR軌道）、傾向認識アプリケーション２３８、又は、航空機燃料補給アプリケーション３１６及び／又はセンサペイロードモニタリングアプリケーション３３６などの、他の飛行計画に特有の作業アプリケーション２２４を含み得るが、それらに限定されるものではない。

通常運航アプリケーション２１６は、飛行乗務員自動化システム１００が、不測の事態を予測することなしに、離陸から着陸まで所定の飛行計画を飛行することを可能にする。通常運航アプリケーション２１６は、特定の飛行フェーズによって必要とされるように、通常の飛行活動の継続的な実行に特有のものである。所定の飛行計画は、天候、航空交通制御コマンド、航空交通などの予期せぬ妨害によって飛行中に修正され得る。例えば、所定の飛行計画は、少なくとも部分的に障害物センサペイロード１６２からのセンサデータに基づいて、経路管理器１６０からの障害物回避ナビゲーション経路又は他の経路で置き換えられ得る。

異常検出アプリケーション２１８は、異常な状況の存在を検出するために、及び不測の事態が生じたか否かを特定するために、航空機の状態、クラスター、及び分類センサ入力をモニタする機械学習技術を採用する。異常検出アプリケーション２１８は、特定の航空機のための操作説明文書内で規定される一組の閾値（例えば、決して所定の対気速度、エンジン温度を超えないなど）に対して感知された状態を比較するように構成されている。異常検出アプリケーション２１８は、障害物センサペイロード１６２から受信した情報などの、飛行乗務員自動化システム１００に利用可能な更なる情報に対しても感知された状態を比較し、所定の又は動的に決定された閾値（例えば、警告閾値など）を満たしたことに応じて、警告又は他のメッセージを生成し得る。

不測の状態の場合には、不測作動アプリケーション２２０が、航空機の安全な運航を維持し又は安全に飛行を迂回させるために、不測作動アプリケーション２２０によって特定された、必要な所定のチェックリスト、手順、及び活動を実行する。知られ得るように、予期された性能からの逸脱が観察されたならば、パイロットは、異常状態を警告され、それによって、潜在的な間違いを軽減又は回避することができる。航空機が特定の操作上の間違い（例えば、パイロットが揺れを引き起こした）に敏感であるならば、飛行乗務員自動化システム１００は、そのようなイベントを特定し軽減することができる。異常が検出されたならば、不測作動アプリケーション２２０は、HMIシステム１０４を介してパイロットに情報を与えパイロットと相互作用し、究極的には、その異常に対応するために必要な（１以上の）手順を実行する。最後に、ISRアプリケーション２２２及び他の飛行計画に特有の活動アプリケーション２２４は、ミッションに関する操作を実行するために、指示命令、アルゴリズム、又は情報を提供し得る。

傾向認識アプリケーション２３８は、例えば、知識獲得システム１１４に基づいて、機械学習を使用して発展した傾向解析を提供する。特定の態様では、傾向認識アプリケーション２３８は、異常検出アプリケーション２１８にデータを供給し、又はさもなければ異常検出アプリケーション２１８をトリガする。例えば、傾向認識アプリケーション２３８が、望ましくない傾向を検出したならば（例えば、航空機との衝突コース上で協働しない障害物が検出されたときに）、その傾向は、異常であるとしてフラグを立てられ、異常検出アプリケーション２１８に報告される。

ハードウェアインターフェース２０４操作アプリケーション２０２に関する様々な情報は、例えば、第１の作動インターフェース２２６、第２の作動インターフェース２２８、航空機状態インターフェース２３０、HMIインターフェース２３２、及び他のインターフェース２３４を介して、コアプラットフォーム１０２、第１の作動システム１０８ａ、第２の作動システム１０８ｂ、知覚システム１０６、障害物センサペイロード１６２、航空機状態モニタリングシステム１１２、HMIシステム１０４、及び他のサブシステム２３６の間で通信される。

ヒューマン／マシンインターフェース（HMI）システム１０４HMIシステム１０４は、パイロット（例えば、人間のパイロット、搭乗しているか又は遠隔であるかに関わらず）のための制御及び通信インターフェースを提供する。HMIシステム１０４は、パイロットが飛行乗務員自動化システム１００に指示命令することを可能にする、飛行計画管理器として動作するように構成可能である。HMIシステム１０４は、グラスコックピット、無人航空輸送体（「UAV」）地上局、及び電子飛行バッグ（「EFB」）の要素を組み合わせて、パイロットと飛行乗務員自動化システム１００との間の効果的で、効率的で、待ち時間許容性が高い通信を可能にすることができる。一般的に言うと、EFBは、飛行乗務員が、従来は紙を参照することによって実現されていた様々な機能を実行することを可能にする、電子情報管理デバイスである。HMIシステム１０４は、ヒューマンマシンインターフェース１２６を含み得る。それは、タッチスクリーングラフィカルユーザインターフェース（「GUI」）及び／又は音声認識システムに基づき得る。ヒューマンマシンインターフェース１２６は、例えば、タブレットコンピュータ、ラップトップコンピュータ、スマートフォン、又はそれらの組み合わせを採用し得る。ヒューマンマシンインターフェース１２６は、パイロットの好みに応じて、パイロットの近くに（例えば、チェックリストとして操縦かんに、しばしば、膝のストラップに）固定され得る。ヒューマンマシンインターフェース１２６は、操縦室に着脱可能に連結され、又は特定の態様では、操縦室内の統合されたディスプレイ（例えば、既存のディスプレイ）を採用し得る。

図３ａは、単一スクリーンタッチインターフェース及び音声認識システムを有する例示的なヒューマンマシンインターフェース１２６を示している。HMIシステム１０４は、パイロットと飛行乗務員自動化システム１００との間の通信の第１のチャネルとして働き、パイロットが、飛行乗務員自動化システム１００に作業を命令し、飛行乗務員自動化システム１００からのフィードバック又は指示命令を受信し、パイロットと飛行乗務員自動化システム１００との間の作業の割り振りを変更し、どの操作アプリケーション２０２が、飛行乗務員自動化システム１００に対して現在有効にされているかを選択することを可能にする。図１ｂで示されているように、HMIシステム１０４は、コアプラットフォーム１０２を介して飛行乗務員自動化システム１００のサブシステムからステータス情報を受信し得る一方で、HMIシステム１０４によって生成された１以上のモードコマンド又はパイロットによる入力を、コアプラットフォーム１０２に送信する。パイロットは、遠隔であるか（例えば、地上又は別の航空機内にいる）又は搭乗している（すなわち、その航空機内にいる）かもしれない。したがって、特定の態様では、HMIシステム１０４が、通信システム１２２を介してネットワークにわたり遠隔で支援され得る。

ヒューマンマシンインターフェース１２６図３ａから図３ｅで示されているように、ヒューマンマシンインターフェース１２６は、タブレットベースのGUI及び音声認識インターフェースを採用して、音声通信を可能にし得る。ヒューマンマシンインターフェース１２６の目的は、パイロットが人間のフライトエンジニア又は副操縦士と相互作用するやり方と類似したやり方で、パイロットが、コアプラットフォーム１０２の知識ベースと相互作用することを可能にすることである。

ヒューマンマシンインターフェース１２６は、飛行乗務員自動化システム１００の現在の状態（その現在の設定及び責任）を表示することができる。更に、どの操作アプリケーション２０２が現在インストールされているか、どの操作アプリケーションが動作しているが、それらがアクティブならば、操作アプリケーション２０２がどの作業を行っているかを表示することができる。ヒューマンマシンインターフェース１２６のGUIディスプレイは、パイロットの眼鏡に関わらず視認できるように、互換性のあるナイトビジョンゴーグルでもあってもよい。音声認識システムは、チェックリストを通じて動作し、操縦室で通信するときに、人間の飛行乗務員によって使用されるのと同じ種類の言語通信を再現するように使用され得る。特定の態様では、音声認識が、システムがコマンドを認識することに失敗するか又は動作の不適切なモードへ変更される可能性を最小化するために、パイロットチームによって使用されるのと同じ成文化された通信の標準に制限され得る。音声認識システムは、音声訓練プロトコルを通じて所与のパイロットの音声を学習し／認識するように構成され得る。例えば、パイロットは、音声認識システムがパイロットの方言で訓練されることができるように、所定のスクリプトを発声し得る。

ヒューマンマシンインターフェース１２６は、飛行乗務員自動化ステータスアプリケーション３０２を介した全体の飛行乗務員自動化システム１００、知覚ステータスアプリケーション３０４を介した知覚システム１０６、センサペイロードモニタリングアプリケーション３３６を介した障害物センサペイロード１６２、（適用可能ならば）自動操縦ステータスアプリケーション３０６を介した自動操縦、GPSステータスアプリケーション３０８を介したGPS／INSシステム１５４、及び任意の他のアプリケーション又はシステムステータス情報３１０を含む、様々な動作のステータス及び／又は詳細を提供し得る。ヒューマンマシンインターフェース１２６のディスプレイは、パイロットによってカスタマイズされ得る。例えば、パイロットは、特定のディスプレイアイコン及び／又は操作アプリケーション２０２を追加、認識、又は除去したいかもしれない。それらは、選択及びドラッグ操作を通じて又は飛行乗務員自動化システム設定アプリケーション３１２を通じて実現され得る。ヒューマンマシンインターフェース１２６は、更に、パイロットに航空機の動作ステータスに関する情報を知らせ、及びパイロットに指示命令又は助言を提供することができる。

示されているように、ヒューマンマシンインターフェース１２６は、経路タブ３２８、手順タブ３３０、較正タブ３３２、及びアプリケーションタブ３３４などの、様々な選択可能タブをツールバーに提供し得る。例えば、パイロットがアプリケーションタブ３３４を選択したときに、ヒューマンマシンインターフェース１２６は、例えば、通常運航アプリケーション２１６、不測操作アプリケーション２２０、飛行乗務員自動化設定アプリケーション３１２、ゲージアプリケーション３１４、センサペイロードモニタリングアプリケーション３３６、及び航空機燃料補給アプリケーション３１６を含む、飛行乗務員自動化システム１００（例えば、コアプラットフォーム１０２）にインストールされた様々な操作アプリケーション２０２を表示し得る。しかし、更なるミッションアプリケーションが含まれ、飛行乗務員自動化システム１００による所望のミッション動作の性能を促進し得る。

飛行乗務員自動化設定アプリケーション３１２を選択することは、パイロットが、飛行乗務員自動化システム１００の設定を変更し、再割り振りし、又はさもなければ編集することを可能にし、且つ／又は、操作アプリケーション２０２をインストールすることを可能にする。ゲージアプリケーション３１４を選択することは、ヒューマンマシンインターフェース１２６に、例えば、位置、方向、速度、高度、ピッチ、ヨーなどを含む、航空機の様々な運航状態を表示させる。知覚システム１０６、障害物センサペイロード１６２、又は別のセンサから集められ得る、航空機の様々な運航状態は、（例えば、パイロットの好みの設定に従って）英数字として又は視覚的な目盛り盤として表示され得る。航空機燃料再補給アプリケーション３１６のアイコンを選択することは、飛行乗務員自動化システム１００に、空中での燃料再補給動作を容易にし又は調整するための所定のプロトコルを実行させる。例えば、航空機燃料再補給アプリケーション３１６を選択するや否や、飛行乗務員自動化システムは、別の航空機と連携して、燃料再補給を容易にし、それをするために必要なチェックリスト（例えば、航空機の位置付け、対気速度を確保すること、燃料ハッチの開閉など）を実行し得る。

パイロットが経路タブ３２８を選択したときに、ヒューマンマシンインターフェース１２６は、その様々なウェイポイント３２０に対して飛行経路に沿った航空機の現在の位置を表すアイコン３２２を有する、エリアマップ３２６を表示し得る。アイコン３２２を選択すること（例えば、軽く叩く、クリックするなど）は、ディスプレイ上のダイアログウィンドウ３２４に、航空機の様々な運航状態（例えば、識別、高度、速度、機首方位など）を提供させる。エリアマップ３２６は、マップ制御ウィンドウ３１８を使用して、保存、エクスポート、回転、又はパンされ得る。エリアマップ３２６は、静止画像又はデータセット（若しくはデータベース）として、（例えば、通信システム１２２を介して）保存又はエクスポートされ得る。パイロットが較正タブ３３２を選択したときに、ヒューマンマシンインターフェース１２６は、航空機の較正を表示し、それによって、パイロットは、その較正を改訂することが更に可能にされ得る。エリアマップ３２６は、元々の経路３５２ａ、及び、適用可能であるならば、障害物３４４を避けるための障害物回避ナビゲーション経路３５２ｂ（又は他の逸脱）を含む、経路管理器１６０によって生成された１以上の経路３５２を表示するように構成され得る。

HMIシステム１０４は、チェックリスト確認及びコアプラットフォーム１０２からの健全性警告及び航空機の状態（例えば、燃料消費及び予測された残りの範囲）の予測、更には、故障予測及び逸脱警告（例えば、「左エンジンの排気温度が通常より５度高く且つ上昇している」及び「協働しないものとの切迫した衝突が検出された」）を含む、直感で理解できるディスプレイ及びインターフェースを提供し得る。したがって、図３ｂで示されているように、パイロットが手順タブ３３０を選択したときに、パイロットは、チェックリストの項目をリビュー及びモニタすることができ、更に、任意の健全性警告をリビューすることができる。実際に、HMIシステム１０４の機能は、チェックリストのモニタリング及び／又は実行を容易にし、知覚システム１０６がそれらの完了を知覚したときに項目を完了したとマーキングし、例えば、パイロット操作ハンドブック（「POH」）から以前にインポートした情報に基づいて、項目が完了していないときに、パイロットに対する警告を提供する。飛行乗務員自動化システム１００は、システムの健全性もモニタし、POH及び他の知識源に基づいて予測されたものと現在のシステム状態を比較し、不測の事態に対する適切な対応を誘導する。特定の態様では、パイロット又はコアプラットフォーム１０２の何れかが、チェックリストの作業が実行される際にそれらを確認することができ、HMIシステム１０４は、必要に応じて、自動的に進んでチェックリストを修正する。HMIシステム１０４は、航空機が飛行計画を通して進む際に、注目されていないチェックリスト項目、通常の範囲の外側の値を表示している機器、又は予測されたイベントに対して、パイロットの注意を促す視覚的及び聴覚的警告を与え得る。その飛行計画は、（例えば）一連のウェイポイントとして入力され得る。例えば、示されているように、作業のリストは、その作業が完了したか、完了されるところか、又は完了される必要があるか（例えば、完了を含む「チェックマーク」アイコン、「進行中」アイコン、及び「完了されるべき」アイコン）を示す、横付けされたインジケータを提供され得る。同様に、健全性危険のリストは、範囲の外側の１以上の運航状態を示す１以上の対応するアイコンを伴って提供され得る。例えば、燃料が少ないというインジケータは、燃料が少ないならば少ない燃料のアイコンに横付けされて提供され得る。

センサペイロードモニタリングアプリケーション３３６を選択することは、ヒューマンマシンインターフェース１２６に、図３ｃで示されている例示的な障害物検出ホーム画面３３８などの、障害物検出ホーム画面３３８を表示させる。障害物検出ホーム画面３３８は、とりわけ、利用可能なセンサステータスウィンドウ３３８ａ、検出／回避警告ウィンドウ３３８ｂ、及び障害物位置ウィンドウ３３８ｃを含む、複数のステータス／警告ウィンドウを表示し得る。

利用可能なセンサステータスウィンドウ３３８ａは、とりわけ、障害物センサペイロード１６２に接続された様々な利用可能なセンサのリストを表示し得る。ステータス（例えば、動作、不具合、保守期限、必要な較正など）は、そのそれぞれのセンサ名及び／又はアイコンに隣接して提供され得る。検出／回避警告ウィンドウ３３８ｂは、少なくとも部分的に障害物センサペイロード１６２からのデータに基づいて、１以上の警告を表示し得る。警告は、任意の検出される障害物の存在及び位置を含む、航空機の視界内の任意の障害物（例えば、協働する障害物及び協働しない障害物）に関する情報を提供し得る。警告は、互いに対するそれらの相対的な重要性に従って自動的に組織化され得る。その目的のために、各警告の種類は、警告が階層構造に基づいて挙げられ且つ分類されるように、重み付け（又はランク）が割り当てられ得る。例えば、切迫した脅威（例えば、所定の距離３４２ａ内の障害物などの、切迫した衝突の脅威）が、先ず挙げられ、その後に、中間的な脅威（例えば、所定の距離３４２ａを超えているが、第２の所定の距離３４２ｂ内の障害物）が挙げられ、及び最後に、一般的なステータス警告（例えば、航空機の視界内の障害物）が挙げられ得る。特定の態様では、切迫した脅威が第１の色（例えば、赤、可能性としては聴覚的な音が伴う）、中間の脅威が第２の色（例えば、黄色）、及び一般的なステータス警告は第３の色（例えば、緑、黒など）であるように、それらの警告が色で識別され得る。障害物位置３３８ｃは、検出／回避ウィンドウ３３８ｂによって提供される警告（及び他の情報）のグラフィカル表現３４０を提供し得る。オペレータは、ヒューマンマシンインターフェース１２６を介して、グラフィカル表現３４０を選択して、障害物位置ウィンドウ３３８ｃ及び／又はグラフィカル表現３４０を拡大することができる。それらの一実施例は、図３ｄで示されている。

図３ｄを参照すると、障害物位置ウィンドウ３３８ｃは、グラフィカル表現３４０を詳細に表示するために拡大され得る。例えば、グラフィカル表現３４０は、航空機３４６の視界３４２ｃ内で（例えば、障害物センサペイロード１６２によって）検出された全ての障害物３４４を示し得る。例えば、障害物３４４は、協働する障害物（例えば、協働する航空機）又は協働しない障害物（例えば、協働しない航空機及び鳥などの他の飛行物体）であり得る。少なくとも航空機３４６に対する障害物の（垂直／高度及び水平距離に関する）近さに基づいて、視界３４２ｃ内の障害物３４４の各々は、切迫した脅威の障害物３４４ａ、中間的な脅威の障害物３４４ｂ、及び／又は脅威でない障害物３４４ｃのうちの１つとして示され得る。例えば、切迫した脅威の障害物３４４ａは、障害物３４４が航空機３４６の所定の距離３４２ａ内にあるならば特定され得る。一方で、中間的な脅威の障害物３４４ｂは、障害物が航空機３４６の所定の距離３４２ａを超えているが、第２の所定の距離３４２ｂ内にあるならば特定され得る。視界３４２ｃ内にあるが、第２の所定の距離３４２ｂ内にない（又は航空機３４６から十分に離れた高度にある）障害物は、脅威でない障害物３４４ｃとして特定される。図３ｄのグラフィカル表現３４０が、概して、二次元（例えば、Ｘ軸及びＹ軸によって規定されたＸＹ平面）に関する近さによって示されているが、グラフィカル表現３４０は、航空機３４６の近くで検出された障害物３４４をより優れて示すために、三次元の描写（Ｘ軸、Ｙ軸、及びＺ軸）を象徴するように示され得る。それらのうちの一実施例が、図３ｅで示されている。二次元と三次元の視野の間の切り替えを行うために、オペレータは、（例えば、切り替えのために軽く叩いて）２Ｄ／３Ｄアイコン３４８を選択し得る。三次元の視野で見るときに、オペレータは、パン／回転アイコン３５０を使用して、グラフィカル表現３４０を更にパン及び／又は回転させることができる。或いは、オペレータが所望の視野を獲得するまで、軽く叩いてドラッグする動きを通じて、グラフィカル表現３４０を単に拡大させることができる。特定の態様では、任意の見えない場所（すなわち、センサによってモニタされていない空域）が、影を付けて示され得る。そして、空域の影を付けられた領域内に潜在的な障害物が存在し得ることをオペレータに示す。

近傍に加えて、グラフィカル表現３４０は、障害物３４４の様々な動作状態を提供し得る。例えば、グラフィカル表現３４０は、各検出された障害物３４４に対して、とりわけ、識別（例えば、もし分かるならばテールナンバー）、高度、速度、機首方位、ステータス（例えば、協働する又は協働しない）などを表示し得る。動作状態は、所与の障害物３４４による航空機３４６に対する脅威ステータスを決定することにおいて１つの要因としても使用され得る。例えば、コアプラットフォーム１０２は、（少なくとも部分的に障害物センサペイロード１６２からのデータに基づいて）現在の位置に基づいて脅威でない障害物３４４ｃであるはずの障害物３４４が、所定の時間（例えば、短い時間、例えば、１から１０分、又は約１分）内における脅威でない障害物３４４ｃの速度及び／又は機首方位に基づいて、切迫した脅威の障害物３４４ａ（又は中間的な脅威の障害物３４４ｂ）になり得ると決定し得る。その場合に、コアプラットフォーム１０２は、航空機３４６に対する障害物３４４の現在の位置の近さに関わりなく、必要に応じて、障害物３４４を脅威でない障害物３４４ｃから切迫した脅威の障害物３４４ａ（又は中間的な脅威の障害物３４４ｂ）へ格上げし得る。

作業の割り振りHMIシステム１０４は、パイロットが、もしそうであるならば、飛行乗務員自動化システム１００によって実行され得る活動を制限することを可能にすることができる。HMIシステム１０４は、パイロットと飛行乗務員自動化システム１００との間の作業の割り振り、それらの責任、及びそれらの２つの間の情報の通信を規定し、それによって、パイロットの共同チームメイトとして機能することができる。したがって、飛行乗務員自動化システム１００は、構成に応じて、純粋に補助的な役割（すなわち、航空機への任意の制御なしに）、完全に自律した役割（すなわち、パイロットの介入なしに飛行制御装置を制御する）、又は飛行コントローラを制御する能力を用いて補助的な役割において動作し得る。HMIシステム１０４は、パイロットが移行フェーズを通して進むことを可能にするように更に設計され得る。その場合、パイロットは、飛行乗務員自動化システム１００が責任を有する運航の態様を特定する。例えば、HMIシステム１０４は、リスト上の所与の作業に対して飛行乗務員自動化システム１００が責任を有するか又はパイロットが責任を有するかをパイロットが選択し得る、作業のリストを表示し得る。作業のリストは、手順編集器からHMIシステム１０４に提供され得る。手順編集器は、以下で説明される。一旦、航空機のデータ構造２０８が、パイロットがより優れて飛行乗務員自動化システム１００を信頼するように、データを追加され精緻化されると、パイロットは、飛行乗務員自動化システム１００が、更なる作業を実行することを可能にし、パイロットを第１のモードから監視役モード（すなわち、完全に自律した役割）へ移行させ得る。この監視役モードでは、パイロットの相互作用が高い目標ベースのレベルにあり得る。すなわち、HMIシステム１０４は、これらの作業を支援するとともに、トラブルシューティングのためにオペレータの洞察を他のレベルで可能にする。上述したように、特定の態様では、全ての作業が、パイロットによって実行され得る。つまり、飛行乗務員自動化システム１００は、補助的な役割を演じるだけである。

モード認識任意の自動化システムを採用するときのリスクは、パイロットの部分にモードの混乱が生じる可能性があるということである（例えば、自動化システムが作業を取り扱うことと信じて、パイロットが作業を見落とす場合である）。HMIシステム１０４は、先ず正しい機能を生成すること、及び飛行乗務員自動化システム１００とパイロットとの間の上述の作業割り振り、によってそのようなモードの混乱を避ける。実際、HMIシステム１０４は、パイロットがヒューマンマシンインターフェース１２６を介して飛行乗務員自動化システム１００に直接的に命令しそれを構成することを可能にし、モード認識を保証するために、飛行乗務員自動化システム１００がどのような作業を行っているかをパイロットが理解するために必要な情報を表示する。言い換えると、モード認識は、概して、システムのモードがオペレータによって予期された動作モードと合致する状態を指す。ヒューマンマシンインターフェース１２６は、飛行乗務員自動化システム１００が動作しているモードにパイロットが常に気付いていることを保証するために必要な情報を表示し得る。更に、HMIシステム１０４は、個別のミッションアプリケーション（例えば、操作アプリケーション２０２）に対するヒューマンインターフェースとして働く。

航空機状態モニタリングシステム１１２航空機状態モニタリングシステム１１２は、リアルタイムの航空機の状態を収集し、決定し、又はさもなければ知覚する。上述されたように、航空機状態モニタリングシステム１１２は、とりわけ、航空機及び／又は知覚システム１０６に対する（例えば、航空機に統合され又はさもなければ配線で接続された）直接的な接続を通じて、リアルタイムの航空機の状態を知覚し得る。航空機状態モニタリングシステム１１２は、航空機に隣接した空域内の任意の障害物３４４を反映した情報を取得するために、直接的であるか又はコアプラットフォーム１０２を介してかに関わらず、障害物センサペイロード１６２に更に接続され得る。

知覚システム１０６が使用されるときに、航空機状態モニタリングシステム１１２は、専用コントローラ（例えば、プロセッサ）を含み、又は知覚システム１０６のコントローラ４０２を共有する。例えば、知覚システム１０６は、操縦室の機器によって表示された飛行状況情報を読み又は理解するために、視覚システム、音響システム、及び識別アルゴリズムの組み合わせを採用し得る。例えば、例示的な操縦室の機器は、高度計、対気速度インジケータ、垂直速度インジケータ、１以上のコンパスシステム（例えば、磁気コンパス）、１以上のジャイロスコープシステム（例えば、姿勢インジケータ、機首方位インジケータ、旋回計）、１以上のフライトディレクターシステム、１以上のナビゲーションシステム（例えば、超短波全方向式範囲（「VOR」）、無指向性無線標識（「NDB」））などを含む。知覚システム１０６は、画素密度、グレアロバスト性、及び冗長性を最大化するために機器パネル上で訓練を積んだ、プロセッサ及び１以上の光センサ（例えば、３つ以上の軽量機械ビジョンカメラ）を含み得る。１以上の光センサは、イーサネットなどの配線接続によって知覚コンピュータに接続され得る。１以上の光センサは、見通し線を用いて機器パネルに設置されるべきであり、それによって、パイロットに対する妨害を軽減する。

知覚システム１０６及び／又は航空機状態モニタリングシステム１１２によって知覚された飛行状況データは、符号化され、リアルタイムでコアプラットフォーム１０２に提供され得る。コアプラットフォーム１０２のオープンアーキテクチャは、データバス１２４を介して受信された更なるデータの組み込みが、知覚システム１０６又は障害物センサペイロード１６２によって生成された飛行状況データを拡張することを可能にする。例えば、図１ｂで示されているように、航空機状態モニタリングシステム１１２及び／又は知覚システム１０６は、コアプラットフォーム１０２からコマンド及び構成データを受信し得る一方で、知覚システム１０６によって集められた又はさもなければ航空機状態モニタリングシステム１１２によって収集されたステータス及び飛行状況情報（例えば、飛行状況データ）を、コアプラットフォーム１０２に送信する。

図４は、とりわけ、（飛行制御システム１１６などの他のサブシステムと接続された）コアプラットフォーム１０２、GPS／INSシステム１５４、及び障害物センサペイロード１６２、に動作可能に接続された例示的な知覚システム１０６を示している。知覚システム１０６は、視覚的に且つ／又は音響的に、とりわけ、操縦室の機器をモニタして、操縦室のレイアウトから航空機の状態を導き出すために使用され得る飛行状況データを生成する。操縦室のレイアウトは、基本的なアナログ航空機の機器から、高度に統合されたグラスコックピットアビオニクススイートまでの範囲に及び得る。対気速度及び高度などの物理的状態情報を導き出すことに加えて、知覚システム１０６は、燃料ゲージ及びラジオなどの航空機システムに特有の機器もモニタし、作動システム１０８のステータス及び位置付けについての二次的なフィードバックを提供し得る。

示されているように、知覚システム１０６は、データベース４０４及び複数のセンサに動作可能に接続された知覚コントローラ４０２を備え得る。複数のセンサには、（視覚システムのために使用される）カメラ４１０、（音響システムのために使用される）マイクロフォン４０８、及び／又は他のセンサ４０６（例えば、温度センサ、位置センサ、慣性センサなど）などが含まれ得る。例えば、知覚コントローラ４０２は、複数のセンサ、データベース４０４、並びにGPS／INSシステム１５４及び障害物センサペイロード１６２などの外部構成要素、から受信した情報及び受信した操作された情報に基づいて、コアプラットフォーム１０２に飛行状況データを供給する（又はさもなければ指示命令する）ように構成されたプロセッサであり得る。

視覚システム知覚システム１０６は、単眼又は複眼のシステムを採用し、潜在的にモーションキャプチャマーカーを含み、操縦室の機器に表示されたものを読むことによって、航空機の状態を継続的にモニタし得る。特定の態様では、２つの有利な地点からの光景についての情報を比較することによって、３Ｄ情報が、２つのパネル内の障害物の相対的な位置を精査することによって抽出され得る。機器（例えば、グラスゲージ、物理的な汽圧計など）及びスイッチ、更には、様々な照明条件並びに操縦室のレイアウト及びサイズにおけるそれらの位置を正確にモニタするために、視覚システムが使用され得る。複眼システム及び／又はマーカーを使用することは、任意のロボット構成要素とパイロットとの間の衝突を避けるための感知も提供する。

視覚システムは、一連の高精細ステレオカメラ及び／又はリーダー（LIDAR）レーザースキャナを採用し得る。該システムは、全ての飛行機器からのデータを認識することができ、航空機特有のシステムの状態（例えば、残りの燃料）を表示するスイッチ、ノブ、及びゲージの状態を導き出すことができる。パイロットの活動からもたらされる微小な変更を検出するために、十分な解像度で、パネルの状態を認識することもできる。知覚システム１０６のコンピュータ「読み出し」機器（ゲージ、照明、風補正角度パネル、第１の飛行ディスプレイ又はグラスコックピット内の多機能ディスプレイの個別の要素）、並びに、スロットルレバー、トリム設定、スイッチ、及びブレーカーなどの機械的なアイテム上の機械視覚アルゴリズムは、コアプラットフォーム１０２にリアルタイムの操縦室状態の更新を提供する。

知覚システム１０６は、基本的アナログ航空機機器から高度に統合された「グラスコックピット」アビオニクススイートまでに及ぶ操縦室レイアウトから、航空機の状態を導き出すことができるだろう。視覚システムを通じて、航空機からのデータフィードに対する要求は除去され、それは、航空機にわたる携帯性を許容／増加させる。しかし、可能なときは、飛行乗務員自動化システム１００が、（例えば、データポートを通じて）航空機のデータフィードに接続もされ得る。更に、コアプラットフォーム１０２に対して説明されたアプリケーションアプローチを使用して、異なる操縦室レイアウトが、異なる基本的な操作アプリケーション２０２を使用して対処され理解され得る。例えば、飛行乗務員自動化システム１００は、グラフィカルダイヤル（例えば、アナログ「汽圧」計若しくはそのデジタル表現）であるか又はグラスコックピットであるかに関わらず、機器上に表示された値を導き出すために、ゲージアプリケーション３１４を採用し得る。このアプローチは、飛行乗務員自動化システム１００が、とりわけ、操縦室内で表示された天候レーダー、交通ディスプレイ、及び地形マップをモニタする操作アプリケーションを実行することも可能にする。

飛行乗務員自動化システム１００を携帯可能にするために、新しい操縦室のレイアウトを素早く学習し、機器の位置及び縮尺又は単位における微妙な差異を成文化するプロセスは、知覚システム１０６の設計によって対処される。例えば、最初の知識獲得フェーズの間に、機器及びスイッチの位置及び縮尺は、符号化され特定の航空機に対して検証され、グラフィカルダイヤルゲージであるか、CRTディスプレイであるか、LCDであるかなどに関わらず、グラフィカルダイヤル（ラウンドダイヤル）の位置又は数字（グラスコックピット）の抽出に対するリアルタイムの作業を低減させる。操縦室機器の区分的に平坦な構造は、知覚システム１０６が、（例えば、ホモグラフィ法を使用して）画像を解析し、最初の知識獲得フェーズの間に生成された予めマッピングされたデータに対して、それを登録することを可能にする。したがって、有効な画像が登録され、以前に注釈を付けられたモデルに対して比較され、それによって、データの解釈を大幅に単純化することができる。

作動システム１０８所望なときは、作動システム１０８が、コアプラットフォーム１０２を介して命令された活動を実行して、航空機の飛行及び全体の運航をガイドする。飛行乗務員自動化システム１００の作動システム１０８は、コアプラットフォーム１０２によって命令された活動を実行して、パイロットによって実行された活動と干渉することなしに、航空機の飛行及び全体の運航をガイドする。図１ｂで示されたように、例えば、作動システム１０８は、コアプラットフォーム１０２から作動コマンドと構成データを受信し得る一方で、作動システム１０８によって生成されたステータス及び応答情報を、コアプラットフォーム１０２に送信する。

有人航空機の操縦室は、人間が届く範囲の枠内に設計され、したがって、全ての操縦室の制御装置は、同程度のサイズのロボット／機械マニピュレータによって到達可能である。しかし、高いＧと振動する環境内で、緊急の操作のために必要とされる素早い実行を伴って、全ての単一の潜在的な操縦室における全ての単一のスイッチ、ノブ、レバー、及びボタンを作動することができるマニピュレータは、高価で重く飛行乗務員自動化システム１００に対して所望されるものよりも侵襲的であるだろう。

航空機にわたる携帯性をより効果的に獲得するために、飛行乗務員自動化システム１００は、第２の飛行制御装置（例えば、スイッチ、ノブ、ロッカー、フューズなど）の作動から、第１の飛行制御装置（スティック／操縦かん、スティック、サイドスティック又は集合、ラダーペダル、ブレーキ、及びスロットル）の作動を分離し得る。このアプローチは、航空機が進化するに従って時代遅れになる単一点の解決策を設計する可能性を低減させる。したがって、飛行乗務員自動化システム１００は、第１の作動システム１０８ａ及び第２の作動システム１０８ｂを採用して、操縦室内のアクチュエータを物理的に制御し得る。より具体的には、第１の作動システム１０８ａは、第１の飛行制御装置を作動し得る。一方、第２の作動システム１０８ｂは、パイロットによるそれらの制御装置の使用を曖昧にすることなしに、第２の飛行制御装置を作動し得る。第１の作動システム１０８ａ及び第２の作動システム１０８ｂは、運航の間に、今日の操縦室に存在する全ての標準的な制御装置を集合的に作動させるように構成されている。

以下で説明されるように、第１の作動システム１０８ａは、第１の飛行制御装置（スティック／操縦かん、スティック、サイドスティック又は集合、ラダーペダル、ブレーキ、及びスロットル）を作動することに集中し、一方、第２の作動システム１０８ｂは、第２の飛行制御装置（例えば、スイッチ、ノブ、ロッカー、フューズなど）などの、第１の作動システム１０８ａによって容易にアクセスされない制御を作動することに集中する。

第１の作動システム１０８ａ第１の作動システム１０８ａは、航空機を安全に操作するために必要な一組の制御装置に集中する。図５ａ及び図５ｂで示されているように、第１の作動システム１０８ａは、第１の飛行制御装置（操縦かん、スティック、サイドスティック又は集合、ラダーペダル、ブレーキ、及びスロットル）並びに他の容易に制御装置に届く、関節アーム５０２（例えば、ロボット突出物又は「アーム」）及びスティック／操縦かんのアクチュエータ５１０を有するフレーム５１６を含む。該アクチュエータは、直線的（直線）、回転（円）、又は振動アクチュエータのうちの１以上であり得る。それらは、電気、空気圧、及び／又は液圧の技術のうちの１以上を通じて駆動され得る。

フレーム５１６は、標準的な航空機の座席内にフィットするようにサイズ決定され形作られ得る。その目的のために、フレーム５１６の到達範囲は、平均的な人間の「座席」の到達範囲とほぼ同じサイズ又はそれよりも小さくなるべきである。作動システム１０８は、軽量の金属、金属合金、及び／又は複合材料を使用して製造され得る。

スティック／操縦かんのアクチュエータ５１０スティック／操縦かんのアクチュエータ５１０は、スティック／操縦かんのグリッパー５１２を使用して、航空機の既存のスティック／操縦かん５１４に連結し係合し得る。スティック／操縦かんのグリッパー５１２は、ユニバーサルであり、様々な形態のスティック／操縦かん及び／又は制御ホイールと係合し得るように、サイズ決定され形作られ得る。スティック／操縦かんのアクチュエータ５１０は、スティック／操縦かん５１４を前方、後方、左、右、及びそれらの間の位置に移動させるように構成され得る。スティック／操縦かんのグリッパー５１２は、スティック／操縦かん５１４上に位置付けられたボタン及び／又はスイッチを作動するための１以上のアクチュエータを更に備え得る。

関節アーム５０２アクチュエータ制御された関節アーム５０２は、副操縦士のアームによって通常占められる空間を占めるようにサイズ決定され、形作られ、構成され、それによって、航空機にわたる携帯性を保証し得る。多数の自由度（「DOF」）における動きを可能にするために、関節アーム５０２は、複数のヒンジ又は旋回ジョイント５０６を使用して接合された（直線的な、湾曲した、又は角度を付けられたのうちの何れであってもよい）複数のアームセグメントを備え得る。関節アーム５０２は、その遠位端にグリッパー５０４を備え得る。グリッパー５０４は、多数のDOFの連結を介して、関節アーム５０２に連結され得る。関節アーム５０２のベースは、回転可能であり、可動なベース５０８を介してフレーム５１６と摺動可能に連結され得る。例えば、関節アーム５０２は、上側ベース５０８ａに連結され得る。上側ベース５０８ａは、フレーム５１６に固定され得る下側ベース５０８ｂと摺動可能に連結されている。上側ベース５０８ａは、例えば、レール及びボールベアリングの組み合わせを使用して、下側ベース５０８ｂに対して摺動し得る。特定の態様では、上側ベース５０８ａが、Ｘ軸とＹ軸の両方に沿って下側ベース５０８ｂに対して摺動し得る。

関節アーム５０２は、関節アーム５０２の正確な位置付けを保証するために、その自由度の各々に対してエンコーダ（例えば、ツイン１８ビットエンコーダ）が装備され得る。内部クラッチが、各ヒンジ又は旋回ジョイント５０６において設けられ得る。それによって、関節アーム５０２は、関節アーム５０２を損傷することなしに、所望ならばパイロットによって取り押さえられ得る。そのような場合に、飛行乗務員自動化システム１００は、エンコーダを使用して関節アーム５０２の位置又は場所を決定し得る。

グリッパー５０４は、例えば、スロットルレバーなどに連結し又はさもなければ係合するように構成され得る。グリッパー５０４は、飛行乗務員自動化システム１００が、飛行制御アクチュエータがどのように掴まれているかを推定し、それを正確に連結するためにその動きを調整することを可能にするように、力及び圧力の検出を提供もし得る。一旦、動きが実行されると、同じフィードバックが使用されて、所望のスイッチ構成が実現されたか否かを判定し得る。特定の態様では、関節アーム５０２が、電子デバイス（例えば、自動誘導装置）にフィットし得る。電子デバイスは、関節アーム５０２が障害物を見つけヒットすることを可能にする。

第２の作動システム１０８ｂ概して、航空機のメーカー及び種類に関わらず、同じ近傍に配置されている第１の飛行制御装置とは異なり、第２の飛行制御装置（例えば、アビオニクス、スイッチ、ノブ、ロッカー、トグル、カバーされたスイッチ、フューズなど）の位置は、航空機毎に一貫しておらず又は空間的に含まれない。

第２の作動システム１０８ｂは、第１の作動システム１０８ａによって容易にアクセスされない制御装置を作動することに集中する。例えば、あるスイッチは、キャプテンの頭のすぐ上の頭上パネルにさえあり得る。それは、（殊に、乱流の飛行状態において）ロボットアームを用いてそれらを操作することを潜在的に難しくしている。したがって、あるアクチュエータは、上述の第１の作動システム１０８ａに割り振られ得る。一方で、他のアクチュエータは、独立した第２の作動システム１０８ｂに割り振られ得る。

第２の作動システム１０８ｂは、興味の対象のパネルに直接的に取り付けられたＸＹプロッター又は構台システムの形態で設けられ、それが動作している特定のパネルに対して較正され得る。第２の作動システム１０８ｂは、好適には、ユニバーサルであり再びサイズ決定可能である。例示的なＸＹプロッターが、図５ｃで示されている。ＸＹプロッターは、プロッターのレール５２０として働く四角いフレーム、興味の対象の制御装置を操作することができる多数のインターフェース（例えば、スイッチアクチュエータ５３２及びノブアクチュエータ５３０）を有する回転可能なマルチツール５２８、及びＹ軸の組のレール５２２及びＸ軸の組のレール５２４に沿ってフレーム内でこのマルチツール５２６を移動させる制御システムを備え得る。

使用されたときに、プロッターは、その位置へマルチツール５２８移動させ、正しいマニピュレータインターフェースを選択し、興味の対象の第２の飛行制御装置を操作する。例えば、マルチツール５２８は、スイッチアクチュエータ５３２を使用してバイナリスイッチ及び／又はカバーされたスイッチを反転させることができ、及びノブアクチュエータ５３０を使用してノブをねじることができる。スイッチアクチュエータ５３２及び／又はノブアクチュエータ５３０は、回転可能なスイッチアーム５３４などの関節又は回転部材を介して、マルチツール５２８に連結され得る。

使用されていないときに、マルチツール５２６は、パネルの妨害を妨げるためにホーム位置へ戻り得る（例えば、自動的に遠隔の隅へナビゲートする）。マルチツール５２６には、センサ（例えば、近接センサ）が装備され得る。それによって、マルチツール５２６は、パイロットの手を検出したときにそこから出るように移動することができる。新しい航空機にプロッターを初期設定する間に、第２の飛行制御パネルの場所、種類、及び位置が符号化され得る。一旦、特定の第２の飛行制御パネルが符号化されると、その構成が航空機データ構造２０８に保存され、飛行乗務員自動化システム１００が、同じ航空機又は同じ種類の航空機内に設置されるときに、その構成がロードされ得る。特定の態様では、更なるアクチュエータが設けられて、例えば、フットペダル（例えば、ブレーキ及び／又はラダーパネル）などの、操縦室のフットウェル内に位置付けられたコントローラを作動し得る。

障害物センサペイロード１６２障害物センサペイロード１６２は、航空機の外部の障害物を特定しモニタするために複数のセンサを採用し得る。一実施態様では、障害物センサペイロード１６２が、コアプラットフォーム１０２と直接的に接続され得る。或いは、航空機状態モニタリングシステム１１２、飛行制御システム１１６、又は既存の航空機システムなどの、別のシステムを介して接続され得る。障害物センサペイロード１６２又はその構成要素は、航空機の他のシステム又は飛行乗務員自動化システム１００と無線で通信するように更に構成され得る。例えば、図１ｂで示されているように、障害物センサペイロード１６２は、コアプラットフォーム１０２からコマンド及び構成データを受信し得る一方で、障害物センサペイロード１６２によって集められた任意の協働する及び協働しない障害物に関する障害物情報を、コアプラットフォーム１０２に送信する。

上述されたように、障害物センサペイロード１６２は、コアプラットフォーム１０２と動作可能に接続されて、飛行乗務員自動化システム１００の経路管理器１６０が、例えば、少なくとも部分的に障害物情報に基づいて、障害物センサペイロード１６２によって検出された１以上の障害物を回避するための障害物回避ナビゲーション経路を生成し得る。更に、障害物センサペイロード１６２は、航空機状態モニタリングシステム１１２に収集された障害物情報を通信して、（例えば、ヒューマンマシンインターフェース１２６を介して）オペレータに潜在的な衝突、障害物の位置、又は障害物の他のパラメータを警告し得る。一態様では、障害物センサペイロード１６２が、ラダーセンサ４１２とカメラ（例えば、赤外線センサ、可視近赤外線EOセンサ４１６、又は他の光センサ４１８、を有するカメラである赤外線カメラ４１４）の両方を採用して、航空機に隣接する空域をモニタし、その視界内の、その軌跡に沿ったなどの、協働する及び協働しない障害物を検出し得る。

障害物センサペイロード１６２は、協働する及び協働しない目標物の両方を追跡するために、マルチプルセンシングモダリティを単一のパッケージへ統合し、最新の回避アルゴリズムを実施し、オープンアーキテクチャを規定し、それによって、将来のセンシングモダリティ又は回避アルゴリズムが容易に統合され得る。障害物センサペイロード１６２は、電磁スペクトルにわたるマルチプルセンシングモダリティを利用して、空域内の協働しない目標物に関する関連情報を決定する。障害物センサペイロード１６２は、物体（例えば、金属物体）に対して空域を走査するレーダーセンサ４１２、熱痕跡に対して空域を走査する長波長赤外線（熱）センサ４１４、及び物体を特定し分類する助けとするために空域を走査する可視近赤外線電気光学（EO）センサ４１６を含む、協働しない場合の感知のための複数のセンサを採用する。

障害物センサペイロード１６２は、全ての形態の航空機に適用可能な外部知覚のための別の一組の「情報源（eyes and ears）」としてパイロットを補助し得る。一実施態様では、例えば、障害物センサペイロード１６２が、（航空機と共に空中にあるか又は地上にあるかに関わらず）物理的なパイロットに更なる状況の認識を提供する。別の一実施態様では、障害物センサペイロード１６２が、物理的なパイロットの入力を超えて延在し、フライバイワイヤーシステムとの直接的な統合を可能にすることとなり、リンクシナリオの喪失時に航空機の制御を引き継ぐことを可能にする。したがって、障害物センサペイロード１６２は、飛行乗務員自動化システム１００との関連において先ず説明され、障害物センサペイロード１６２は、事実上あらゆる航空機（例えば、群２〜３の無人航空機システム）に対するアドオンシステムとして設けられて、検出及び回避を実行し得る。それは、航空機が、領空域で飛行することを可能にする。

レーダーセンサ４１２図６ａは、例示的なレーダーセンサ４１２及びその結果としてのレーダービーム６００ａを示している。レーダーセンサ４１２は、３６０度の視界を提供するために機械的に回転し得る。例えば、レーダーセンサ４１２は、アクティブ電子走査アレイ、パッシブ電子走査アレイ、メタマテリアル電子走査アレイレーダー、天候レーダー、又は航海用レーダーであり得る。小さい航空機と共に使用されることを容易にするために、レーダーセンサ４１２は、好適には、コンパクトであり、軽量であり、低コストである。適切なレーダーセンサ４１２は、Furuno DRS4D-NXT ソリッドステートドップラーレーダーなどの、航海用レーダーを含み、これは１６ポンドであり約２４インチ（Ｌ）×２４インチ（Ｗ）×９インチ（Ｈ）である。Furuno DRS4D-NXT レーダーは、２°（Ｖ）×２５°（Ｈ）で、２４、３６、及び４８RPMの調整可能なアンテナ回転速度、並びに３６マイルまでの範囲の視界を提供する。

レーダーセンサ４１２は、協働する及び協働しない障害物の両方に対して、航空機に隣接した空域（例えば、航空機７００の周りの円形の空域）をモニタするように構成され得る。示されているように、固定された位置にあるときは、レーダーセンサ４１２は、Ｙ°における比較的狭い水平ビーム幅（Ｗ_Ｈｏｒｚ）を提供するが、Ｚ°における広い垂直ビーム幅（Ｗ_Ｖｅｒｔ）を提供する。それは、レーダーでモニタされる空域のラジアルコーンをもたらす。具体的には、航海用レーダーの仕様に応じて、レーダーセンサ４１２は、２°（Ｈ）（例えば、Ｙ°＝３６０°のうちの２°）×２５°（例えば、Ｚ°＝３６０°のうちの２５°）の視界を提供し得る。理解され得るように、レーダーセンサ４１２からのレーダービーム６００ａのビーム寸法は、レーダーセンサ４１２から障害物までの距離の関数（例えば、線形関数）として増加する。具体的には、図６ａを参照すると、距離Ｙ６０４におけるレーダービーム６００ａの断面寸法は、距離Ｘ６０２における断面寸法よりも大きいだろう。例えば、２°（Ｈ）×２５°（Ｖ）の視界を想定すると、レーダーセンサ４１２から６マイル（すなわち、距離Ｘ＝６マイル）における断面寸法は、ボクセルで、2,200フィート（Ｈ）×14,000フィート（Ｖ）であり、一方、３６マイル（すなわち、距離Ｙ＝３６マイル）におけるビーム寸法は、13,000フィート（Ｈ）×84,000フィート（Ｖ）であり得る。垂直（Ｖ）幅に対する水平（Ｈ）幅に関するビーム寸法の比は、距離に沿って実質的に一定であることに留意されたい。

より大きな範囲を提供するために、レーダーセンサ４１２は、機械的に回転するベース構造を使用して回転するように構成され得る。例えば、機械的に回転するベース構造が、駆動シャフトを介してレーダーセンサ４１２に連結されて、航空機の周りのラジアルパターンにおける空域を走査するために、機械的に回転するレーダーシステムを提供し得る。レーダーセンサ４１２を回転させることは、（ＸＹ平面内の）完全な３６０°の航空機の周りの範囲、及び（ＸＺ平面内の）２５°の方位角の視界を提供する。レーダーセンサ４１２は、分毎の回転数で２０から８０（RPM）、特に、４０から６０RPM、更に特に、４８RPM（例えば、０．８Hz）などの、所定の回転速度で連続的に回転され得る。レーダーセンサ４１２は、他の技術と比較して低い解像度という問題を有するが、レーダーセンサ４１２の重要な利点は、その範囲と比較的低いコストである。

レーダー装備を保護するために、レーダーセンサ４１２は、ドーム又は他の構造体内に収容され得る。ドームの幾何学的な形状は、空中を通過して移動する際の抵抗を軽減させるために、空力的に作られ得る。好適には、ドームが、電波を透過する材料から製造され、且つ、汚染物質（例えば、氷、霙、埃、デブリなど）が、レーダーアンテナの表面などのレーダー装備の上に直接的に積み重ねられることを妨げる。レーダーのパラボラアンテナを回転／スピンさせる場合にも、ドームは、アンテナをデブリ及び風による回転の不規則性から保護する。動作では、レーダーセンサ４１２は、コアプラットフォーム１０２との通信のために、収集されたレーダーデータを、障害物センサペイロード１６２にとって利用可能な他のセンサによって収集されたデータ（又はデータソース）と組み合わせ得る。

カメラ／光センサ上述のように、障害物センサペイロード１６２は、熱痕跡に対して空域を走査する赤外線カメラ４１４、及び、物体を特定し分類する助けとするために空域を走査する可視近赤外線電気光学（EO）センサ４１６などの、パン及びチルトするように構成された１以上の光センサ（例えば、カメラ）を更に採用する。したがって、赤外線カメラ４１４が、先ず説明されることとなる一方で、他の光センサ４１８が、同様に、赤外線カメラ４１４に加えて又は赤外線カメラ４１４の代わりに使用され得る。他の光センサ４１８には、とりわけ、紫外線、可視光線、近赤外線、短波長赤外線、中波長赤外線、長波長赤外線（LWIR）、ボロメーター、電気光学カメラ、LIDSR、LED投影、立体照明、マルチビュー復元などが含まれる。

図６ｂは、レーダービーム６００ａに対する例示的な赤外線カメラ４１４及びその結果としての赤外線ビーム６００ｂを示している。赤外線カメラ４１４は、長波長赤外線（LWIR）カメラであり得る。赤外線カメラ４１４の利点は、その熱撮像機能である。小さい航空機と共に使用されることを容易にするために、レーダーセンサ４１２のように、赤外線カメラ４１４は、好適には、コンパクトであり、軽量であり、低コストである。適切な赤外線カメラ４１４は、FLIR model M-612L Thermal Night Vision Systemを含み、これは、９ポンドであり約７インチ（Ｌ）×７インチ（Ｗ）×１２インチ（Ｈ）である。FLIRモデルM-612Lは、640×480 VOx Microbolometer センサ、５０ｍｍ焦点距離、１２°（Ｈ）×９°（Ｖ）（NTSC）の視界、及びズーム機能を提供する。

レーダーセンサ４１２のように、赤外線カメラ４１４は、協働する及び協働しない障害物の両方に対して航空機の周りの空域をモニタするように構成され得るが、解像度はより高く、範囲はより短い。示されているように、固定された位置にあるとき、赤外線カメラ４１４は、Ｚ°における垂直ビーム幅（Ｗ_Ｖｅｒｔ）よりも広いＹ°における水平ビーム幅（Ｗ_Ｈｏｒｚ）を提供する。具体的には、赤外線カメラの仕様に応じて、赤外線カメラ４１４は、１２°（Ｈ）（例えば、Ｙ°＝３６０°のうちの１２°）×９°（Ｖ）（例えば、Ｚ°＝３６０°のうちの９°）の視界を提供するが、２４°×１８°、２５°×２０°などの他の視界も利用可能である。例えば、１２°（Ｈ）×９°（Ｖ）の視界に基づいて、６マイル（例えば、距離Ｘ＝６マイル）における赤外線ビーム６００ｂの断面寸法は、7,000フィート（Ｈ）×5,200フィート（Ｖ）であり得る。赤外線ビーム６００ｂの断面寸法は、赤外線カメラ４１４からの距離の関数として直線的に増加するが、解像度は距離によって減少する。しかし、赤外線カメラ４１４は、レーダーセンサ４１２よりも大幅に高い解像度を提供する。例えば、６マイルにおいて、赤外線カメラ４１４は、ピクセル毎に１１フィート×１１フィートのピクセル範囲を提供することができる。それは、同じ距離でのレーダーセンサ４１２よりも近似的に５００倍高い解像度をもたらす。

距離Ｘ６０２におけるレーダービーム６００ａと比較して、距離Ｘ６０２における赤外線カメラ４１４の赤外線ビーム６００ｂは、垂直軸（Ｚ軸）に沿って近似的に半分のサイズである。垂直軸に沿った、より狭い視界を埋め合わせるために、赤外線カメラ４１４は、パン及びチルトするように構成され得る。例えば、赤外線カメラ４１４は、垂直方向の視界を拡張するために、チルトアップ及びダウン（例えば、＋／−９０°）するように構成され得る一方で、水平方向の視界を拡張するために、パンレフト（左側）及びパンライト（右側）するようにも構成され得る。赤外線カメラ４１４は、連続的に又は階段（例えば、段階的にロックするステップ）状にパンし得る。各ステップは、ラジアルセクターである。特定の態様では、赤外線カメラ４１４が、レーダーセンサ４１２の不特定なボクセル（例えば、２５°×２°）をカバーするために、連続的にパンレフト／ライト及びチルトアップ／ダウンし得る。実際、赤外線カメラ４１４は、米連邦航空局（FAA）によって決定された視界に等しいか又はそれより大きい測定可能な視界を提供し得る。したがって、赤外線カメラ４１４が、短い範囲及びより狭い視界を被る（例えば、３６０°のカバーを提供することを難しくする）一方で、赤外線カメラ４１４の利点は、その高い解像度である。

レーダーセンサ４１２のように、赤外線カメラ４１４（又は場合に応じて別のカメラの種類）は、カメラ装備を保護するためにドーム又は他の構造物内に収容され得る。ドーム又は他の構造物は、赤外線カメラ４１４の動作を容易にするために、光学的に透明な部分を含み得る。レーダーセンサ４１２及び赤外線カメラ４１４は、ドーム（例えば、単一のペイロードポッド）を共有し、又は分離したドーム内に位置付けられ得る。分離したドームは、航空機上で同一の場所に配置されるか又は個別に位置付けられ得る。動作では、赤外線カメラ４１４は、コアプラットフォーム１０２との通信のために、収集された赤外線データを、障害物センサペイロード１６２にとって利用可能な他のセンサによって収集されたデータ（又はデータソース）と組み合わせ得る。

例示的なやり方で、障害物センサペイロード１６２が装備された航空機は、（１）レーダーセンサ４１２を介して第１の解像度で既知の距離及び速度の協働しない障害物を検出し、（２）カメラ（例えば、赤外線カメラ４１４、可視近赤外線EOセンサ４１６、又は他の光センサ４１８）を介して第２の解像度（すなわち、より高い解像度）で協働しない障害物を撮像し得る。プロセッサが、障害物センサペイロード１６２に統合されているか又はコアプラットフォーム１０２の部分としてかに関わらず、レーダーセンサ４１２からの情報をカメラと組み合わせて、協働しない障害物を特定し得る。例えば、プロセッサは、レーダーセンサ４１２からのレーダー反射断面積を、可視近赤外線EOセンサ４１６からの光学的断面積、及び、赤外線カメラ４１４からの熱的断面積と組み合せることができる。

当業者に理解可能なように、レーダー反射断面積は、概して、（例えば、障害物センサペイロード１６２において）レーダーセンサ４１２の方向にレーダー信号を反射する、目標物（すなわち、協働しない障害物）の能力の尺度を指す。言い換えると、レーダー反射断面積は、目標物によってインターセプトされた電力密度に対する、（目標物からの）レーダーの方向におけるステラジアン（単位立体角）毎の後方錯乱電力の比率の尺度を提供する。それに対応して、光学的断面積は、協働しない障害物からソースに反射して戻された光束の最大量を表す値を指す一方で、熱的断面積は、協働しない障害物の描写である赤外線カメラ４１４からのサーモグラフィ測定データを反映する。特定の態様では、障害物センサペイロード１６２が、不完全な情報を用いて協働しない障害物を特定するように構成され得る。例えば、レーダーセンサ４１２が協働しない障害物を検出しさえするならば、障害物センサペイロード１６２に接続されたプロセッサは、大きな円筒状の回避ゾーンを生成するように航空機に指示命令することができる。一方、カメラからの情報は、回避ゾーンを小さい球状の回避ゾーンに限定するように使用され得る。

図７は、胴体７０２、１以上の翼パネル７０４（又は他の飛行面）、尾部７０６、ペイロードポッド７０８、及び１以上のプロパルサー７１０（例えば、ジェットエンジン、エンジン又はモータによって軸方向に駆動される１以上のプロペラなど）、を有する例示的な航空機７００の斜視図を示している。障害物センサペイロード１６２は、センサの種類に応じて、航空機に外的又は内的に連結され得る。例えば、障害物センサペイロード１６２は、航空機７００のペイロードポッド７０８の範囲内に構成され得る。図７の航空機７００は固定翼航空機として示されているが、従属的な開示は、特定の航空機の構成に限定されるものではなく、多回転翼VTOL航空機を含む、実質的にあらゆる航空機の構成に適用され得る。

ペイロードポッド７０８は、とりわけ、障害物センサペイロード１６２又はその部分を収容し得る。ペイロードポッド７０８は、ジンバルシステムを介して胴体７０２（又は別の構造的な構成要素）と回転可能且つ旋回可能に連結され得る。例えば、ペイロードポッド７０８は、胴体７０２の前方の端に連結され得る。それによって、ペイロードポッド７０８が、航空機７００の飛行経路又は軌跡に沿った障害物をモニタするために、より容易に前方に方向付けられ得る。障害物センサペイロード１６２は、非侵襲的なやり方で航空機７００に連結され、容易に除去することができ／別の航空機に再び配置することができる。代替的に、障害物センサペイロード１６２は、航空機７００の製造中に設置され得る。したがって、障害物センサペイロード１６２は、航空機７００に恒久的に取り付けられ又は統合されてもよい。１以上のプロパルサー７１０は、例えば、胴体７０２上に（例えば、示されているようにプッシャー構成）、翼パネル７０４上に、又は航空機７００の何れかの場所に位置付けられ得る。航空機７００は、単一のプロパルサー７１０を有するように示されているが、更なるプロパルサー７１０が設けられ得ることが理解されるべきである。例えば、１以上のプロパルサー７１０が、各翼パネル７０４上に設けられ得る。

図８ａから図８ｃは、航空機７００に相対するレーダーセンサ４１２及び赤外線カメラ４１４によって生成された例示的なハイブリッド視界の図を示している。示されているように、障害物センサペイロード１６２、レーダーセンサ４１２、及び赤外線カメラ４１４が併せて使用されて、ハイブリッド視界の範囲内の協働しない障害物３４４を、より効果的に検出及び追跡することができる。理解され得るように、ハイブリッド視界は、レーダーセンサ４１２の３６０°の長い範囲の走査能力と赤外線カメラ４１４の能力の両方から利益を得て、協働しない障害物３４４を精度よく検出する。

図８ａは、ハイブリッド視界を表す二次元（２Ｄ）のラジアルマップ８００の上面図を示している。一態様では、レーダーセンサ４１２が、方位角解像度なしに、航空機７００に隣接する空域の二次元（２D）ラジアルマップ８００を生成するように構成され得る。２Dラジアルマップ８００は、航空機７００の周りの円形の空域であり得る（すなわち、航空機７００は、２Dラジアルマップ８００の中心に位置付けられている）。２Dラジアルマップ８００のサイズは、レーダーセンサ４１２の範囲によって決定され得る。例えば、レーダーセンサ４１２が、３６マイル（距離Ｙ６０４＝３６マイル）の有効範囲を有しているならば、航空機の周りの円形の空域は、３６マイルの半径を有し得る。動作では、レーダーセンサ４１２が、２Ｄラジアルマップ８００の範囲内の障害物３４４を特定するように構成され得る。障害物３４４がレーダーセンサ４１２によって検出されたならば、赤外線カメラ４１４が、障害物３４４に向けられて、障害物３４４のより高い解像度の観察（例えば、画像）を提供し得る。赤外線カメラ４１４に動作可能に接続されたプロセッサは、その後、より高い解像度の障害物３４４の画像を、形状／画像の既知のデータベース（例えば、参照表）と比較し得る。例えば、特に監視の場合には、形状／画像のデータベースが、障害物３４４の種類及び／又は脅威レベルを分類することにおいて助けとなり得る。そのような技術は、もし要求されるならば、多数の障害物３４４が検出されて、どれがより危険であり優先度を付けられるべきか及び避けられる／反撃されるべきかを決定する場合に、障害物の脅威レベルを重み付けすることにおいても使用され得る（例えば、鳥は飛行機よりも危険度が低い）。

図８ｂは、ハイブリッド視界の側面図を示している。レーダーセンサ４１２が、ラジアルマップ８００の半径の範囲内で障害物３４４を検出したならば、赤外線カメラ４１４が、障害物３４４の方向に向けられて、一旦、障害物３４４が赤外線カメラ４１４の範囲内に（例えば、赤外線カメラ４１４の有効範囲であり得る、距離Ｘ６０２の範囲内に）あるならば、より高い解像度のモニタリングを提供し得る。図８ｂで示されているように、赤外線カメラ４１４は、チルトアップ及びダウンして、（例えば、垂直視界の範囲内で）障害物３４４の方位角位置を決定及び追跡し得る。例えば、赤外線カメラ４１４が、２５°の方位角の視界を提供するならば、赤外線カメラ４１４は、（飛行のラインに対して）１２．５°チルトアップし、１２．５°チルトダウンし得る。

図８ｃは、複数のラジアルセクター８０２へ区分けされた２Ｄラジアルマップ８００の上面図を示している。ハイブリッド視界の空域の範囲内で障害物３４４を位置特定するために、２Ｄラジアルマップ８００は、所定の数のラジアルセクター８０２（すなわち、Ｎ個のラジアルセクター）に分割され得る。例えば、各ラジアルセクター８０２は、２つの直線的な側部（すなわち、円形２Ｄラジアルマップの半径と同じ長さである）、及び直線的な（又は湾曲した）端部として表され得る。ラジアルセクター８０２の所定の数は、例えば、障害物センサペイロード１６２のセンサ（例えば、赤外線カメラ４１４）の動作パラメータによって決定され得る。例えば、上述の実施例では、赤外線カメラ４１４が、水平方向において１２°の視界を提供し、したがって、３６０°は３０個のラジアルセクターに分割され得る（すなわち、Ｎ＝３６０°／水平方向の視界＝３６０°／１２°＝３０）。したがって、赤外線カメラ４１４は、３６０度の２Ｄラジアルマップ８００の範囲内のＮ個の位置の間でパンするように構成され得る。より具体的には、赤外線カメラ４１４が、障害物３４４の方位角の正確な位置を決定するために、特定のラジアルセクター８０２を走査するだけで十分である。

上述されたように、レーダーセンサ４１２は、優れた有効範囲を提供し、したがって、２Ｄラジアルマップ８００の範囲内で距離が離れた障害物３４４をより素早く特定することができる。しかし、赤外線カメラ４１４は、より高い精度及び解像度を提供するが、より制限された有効範囲及び視界を有する。したがって、レーダーセンサ４１２は、２Ｄラジアルマップ８００のラジアルセクター８０２の範囲内の障害物３４４を位置特定するために使用され、障害物３４４が位置特定されたラジアルセクター８０２に、赤外線カメラ４１４を向けるように使用され得る。例えば、レーダーセンサ４１２が、第１のラジアルセクター８０２ａの範囲内（例えば、第１の所定の距離３４２ａの範囲内）で、切迫した脅威の障害物３４４ａを検出したならば、赤外線カメラ４１４は、その現在の位置から第１のラジアルセクター８０２ａへパンして、切迫した脅威の障害物３４４ａの更なる解析及び観察を実行し得る。同様に、レーダーセンサ４１２によって提供される拡張した有効範囲を前提として、レーダーセンサ４１２は、赤外線カメラ４１４の有効範囲の外側（例えば、第１の所定の距離３４２ａと第２の所定の距離３４２ｂとの間）にあり得る中間的な脅威の障害物３４４ｂを検出し得る。例えば、中間的な脅威の障害物３４４ｂが、第２のラジアルセクター８０２ｂの範囲内で検出されたならば、赤外線カメラ４１４は、一旦、中間的な脅威の障害物３４４ｂが赤外線カメラ４１４の有効範囲内に入ってきたならば、その位置から第２のラジアルセクター８０２ｂへパンして、中間的な脅威の障害物３４４ｂの更なる解析及び観察を実行し得る。

レーダーセンサ４１２からのレーダーデータと赤外線カメラ４１４からのカメラデータとの間で、障害物センサペイロード１６２は、とりわけ、各障害物３４４の（三次元における）現在の位置、軌跡、及び物理的特性（例えば、サイズ及び形状）を反映したデータを提供することができる。更に、障害物センサペイロード１６２は、識別（例えば、もし分かれば、テールナンバー）、ステータス（例えば、協働する又は協働しない）などを決定し得る。各障害物３４４の位置及び様々な動作状態は、その後、パイロット又は飛行乗務員自動化システム１００による適切な活動のために、コアプラットフォーム１０２及び／又は飛行制御システム１１６に通信され得る。図３ｃから図３ｅを参照しながら上述されたように、障害物センサペイロード１６２及び任意の障害物３４４は、センサペイロードモニタリングアプリケーション３３６を介して、ヒューマンインターフェース１０４によってモニタされ得る。センサペイロードモニタリングアプリケーション３３６は、レーダーセンサ４１２及び赤外線カメラ４１４によって収集された全ての情報にアクセスするのみならず、前記センサの健全性をモニタするように構成され得る。センサペイロードモニタリングアプリケーション３３６は、航空交通を追跡し、パイロットに表示されるべき予測された将来の経路を生成するようにも構成され得る。例えば、様々なラジアル方位角距離障害物測定値に基づいて、経路管理器１６０は、障害物センサペイロード１６２によって検出された１以上の障害物を避けるための障害物回避ナビゲーション経路を生成し得る。センサペイロードモニタリングアプリケーション３３６は、飛行制御システム１１６によって実行されるべく生成された障害物回避ナビゲーション経路を選択するように、パイロットに促すようにも構成され得る。

知識獲得システム１１４知識獲得システム１１４は、飛行乗務員自動化システム１００が航空機特有の情報を決定することを可能にするために必要な知識ベースを集め且つ／又は生成する。これは、航空機性能特性、制限、チェックリスト、（危機手順を含む）手順、及び航空機内の不測の出来事を規定する基準、の知識を含む。そのデータは、（例えば、マニュアル、パイロットブリーフィング、パイロット操作ハンドブックからの）符号化されたデータと（例えば、センサを介して）飛行中に獲得されたデータとの組み合わせから導き出され得る。それらのデータは、オフライン機械学習及び傾向解析を支援する。符号化されるべきデータは、両方とも手順の範囲内及び手順の間にある、手順のコンテンツと作業の流れを表す.xml（又は.xmlx）内にロードされ得る。

例えば、図１ｂで示されたように、知識獲得システム１１４は、コアプラットフォーム１０２から作動コマンドを受信し得る一方で、知識獲得システム１１４によって生成された構成データ並びにステータス及び応答情報をコアプラットフォーム１０２に送信する。知識獲得システム１１４の動作は、概して、例えば、航空機システムモデリング、手順成文化、及び空力モデリングを含む、３つの手順へ分割され得る。航空機システムモデリングのプロセスは、利用可能な搭載システム及び搭載システムが如何にして構成されるか、作動制限など、についての情報を飛行乗務員自動化システム１００に提供する。手順成文化のプロセスは、通常の状況及び通常ではない状況にある航空機の運航についての情報を、飛行乗務員自動化システム１００に提供する。例えば、手順成文化は、チェックリストの成文化を含み得る。最後に、空力モデリングプロセスは、航空機を飛行させること、及び、所与の航空機の種類及び構成に対してどのような性能が予期されるか、についての情報を飛行乗務員自動化システム１００に提供する。

知識獲得フェーズの間に、その下で状況が異常又は不測の出来事であると考えられるところの状態も、規定されなければならない。エンジンの過速度又は対気速度制限の超過などの、これらの状態は、しばしば離散的であるだろう。機械学習を使用して、飛行乗務員自動化システム１００は、パイロットによって操縦される一連のインフライト飛行を観察することによって、その空力及び制御モデルを精緻化することができる。この情報は、飛行動力学的データ、動作制限、手順、航空機システム、及びレイアウト、更には、他の関連するデータを含む。書かれている情報に加えて、飛行乗務員自動化システム１００は、より熟練したパイロットの過去のイベント及び経験に基づいても、情報を成文化し得る。機械学習は、知識獲得プロセスが、効率的に且つ素早く実行されることを可能にする。

飛行乗務員自動化システム１００の知覚システム１０６と作動システム１０８を使用して、飛行機の操縦室又は本物のようなシミュレータ内の機器及び制御装置は、パイロットが通常の飛行プロファイルの動きを経験する際にモニタされる。パイロットの活動を観察することは、飛行乗務員自動化システム１００が、パイロットから直接的に学習し、所与の動作に対する滑らかな熟練の制御を模倣することを可能にする。このプロセスは、運航が、所与の状況で行われるべき事において高度に構造化されるという事実から利益を受ける。その後、機械学習は、如何にして何かが実行されるべきかの成文化を可能にする。

航空機データ構造２０８の集合は、拡張マークアップ言語（「XML」）を使用して実現され得る。より具体的には、一組のフィールドとデータツリーを備えたXMLデータ構造が採用され得る。それらは、集合化されたときに、コアプラットフォーム１０２が、航空機を構成し操縦することを可能にする。特定の態様では、飛行乗務員自動化システム１００が、人間がデータを効率的に且つ正確に入力することを可能にする飛行文書及び／又はソフトウェアツールの自然言語解釈を採用し得る。

特定の態様では、一組の飛行機にとらわれない特徴が、生成されコード化され得る。例えば、着陸装置の後退、複数エンジン航空機のエンジン不具合時手順、ストール回復のような手順は、多くの種類の航空機にわたり類似しており、特定の機体に対して最小の修正のみが必要となる。更に、（決して超えられない速度などの）基本的機体制限は、特定の番号として入力するだけでよく、公称時間内に飛行マニュアルから入力することができる。

手順編集器航空機の特定の情報は、例えば、航空機の運航の直接的なモニタリングを通じるのみならず、書かれた文書（例えば、パイロット操作ハンドブック、保守マニュアルなど）を使用して、移行期間の間に集められ得る。この知識獲得プロセスのアウトプットは、コアプラットフォーム１０２に関して上述された航空機データ構造２０８である。操作手順、利用可能なシステム及びそれらの設計、操縦室レイアウト、及び航空機の安全な運航にとって必要な全ての他の情報が、この航空機データ構造２０８内に含まれ得る。特定の態様において、飛行乗務員自動化ソフトウェア開発キットは、ソフトウェア／飛行制御技術者が、一日毎に航空機サブシステム（例えば、電気的又は液圧的な）を特定し、コード化し、ユニットテストすることを可能にし得る。飛行乗務員自動化ソフトウェア開発キットは、飛行マニュアル手順をMatlab State Flow及びSimulinkと互換性がある状態機械へ変換するためのツールを提供することができる。それらのツールは、その後、コアプラットフォーム１０２内に含まれるようにそれらの手順をＣ言語でオートコード化することができる。飛行乗務員自動化ソフトウェア開発キットは、コアプラットフォーム１０２に対する試験のためのインターフェースのみならず、ユニットレベルのためのテストコードも生成し得る。例えば、手順編集器は、リスト上の所与の作業に対して飛行乗務員自動化システム１００が責任を有するか又はパイロットが責任を有するかを、パイロットが選択し得る、作業のリストを提供し得る。

飛行制御の知識獲得飛行制御の知識獲得における第１のステップは、アテナ渦格子（「AVL」）法を使用して、パイロットによる飛行中に使用され精緻化される無次元安定導関数の形態にある数学モデルを生成する。一旦、第１の飛行制御機構が較正されると、システムIDトレーナーアプリケーションが使用されて、具体的な安定性導関数を特定するように設計された一連の飛行操縦を実行し得る。データは、コントローラにおいて使用されるための更新された安定性導関数へ自動的に処理される。コントローラは、自動チューナーを採用し得る。同じ更新された安定性導関数が、６‐DOFシミュレーション内で検証ステップとして使用される。検証ステップは、コントローラが飛行の前に適切に実行する。飛行制御の知識獲得を実行する更なる利益は、それが、大量の公式手順知識の精緻化と組み込みを可能にすることである。手順は、個別のステップをレイアウトするが、そのようなステップが如何にして実行されるべきかについての細かい詳細（例えば、ステップの間でどのぐらい待つのか又はどれぐらい鋭くスロットルを増加させるのか）は、欠いているかもしれない。

航空機飛行性能特性の逆行分析搭載されたデータ獲得ユニットを通じて測定され得る飛行性能特性は、概して、航空機及びアビオニクスの製造者によって所有されると考えられる。この情報は、飛行シミュレーション、航空機健全性モニタリング、航空機開発、及びその他多くのために利用され得る。現在、搭載型のデータ獲得を利用したがっている第三者は、その所有的性質によって制限されている。この制限は、スタンドアローン式の航空機のセンサスイートを使用して、部分的にのみ克服されてきた。これらの民間が利用可能なセンサスイートは、操縦室の機器及びパイロットの入力を通じて利用可能なデータの断片のみを測定する。しかし、飛行乗務員自動化システム１００は、航空機飛行性能特性を決定するために様々なセンサを利用するので、それは、航空輸送体性能特性を効果的に逆行分析する。飛行乗務員自動化システム１００は、スタンドアローン式のセンサ、操縦室の機器の画像を介したデータ取得、及び入力制御装置の組み合わせを通じて、航空機情報を収集する。

実施例本開示の態様は、以下の例示的な飛行計画を通じて示され得る。それは、如何にして、飛行乗務員自動化システム１００が、パイロットと相互作用し得るか、飛行計画を実行し得るか、運航作業を実行し得るか、システム係合及び離陸中の不測の出来事に対応するか、飛行計画従事、及び異常検出とその取扱いを示している。しかし、本教示は、この実施例で使用されるものに限定されるべきではない。

システム係合及び離陸パイロットは、航空機の左の座席の入り、シートベルトを締め、ヒューマンマシンインターフェース１２６を快適なように彼の側部に位置付け、飛行乗務員自動化システム１００アプリケーションを起動する。アプリケーションが起動し、一連の電源オン診断並びに機械的インターフェース電源オン及び較正を実行する。テストが成功したことを確定し、且つ、パイロットに飛行乗務員自動化システム１００を係合するか確認することを尋ねる確認のメッセージが、ヒューマンインターフェース１２６上に表示され得る。パイロットは、アプリケーションタブ３３４を介して、その日の飛行計画を選択する。飛行乗務員自動化システム１００は、チェックリストモニタリングのために使用され得る。パイロットは、エンジン開始を選択し、飛行乗務員自動化システム１００は、一連のエンジン開始動作を開始し、実際に開始する前の最後の確認を尋ね得る。一方、パイロットは、離陸許可を得るために管制塔を呼び出し、訓練エリアへの飛行計画を受け取る。

エンジンの開始が完了したときに、飛行乗務員自動化システム１００は、（音響的にか又はヒューマンマシンインターフェース１２６を介してかの何れかで）パイロットに成功を報告し、例えば、「タクシングの準備ができた」と報告し得る。パイロットは、タクシングの許可を要求し、飛行乗務員自動化システム１００は、それを聞くや否や、タクシングの許可を文字にして、それをパイロットの確認のために表示する。その後、パイロットは、アプリケーション上の「許可を経たタクシング」ボタンを叩き、飛行乗務員自動化システム１００は、割り当てられた滑走路へタクシングし、その間に、パイロットは、交通をモニタする。滑走路の際にあるとき、パイロットは、飛行乗務員自動化システム１００に口頭で命令して、（チェックリストを介した）離陸前チェックを実行し、システムは、全ての必要なチェックを完了し、飛行制御などの極めて重要な項目を手動で二重チェックするようにパイロットに促す。例えば、飛行乗務員自動化システム１００は、人間のオペレータのチェックリストの実行をモニタし、「チェックリスト完了」と出力するか又は飛行計画若しくはエラーを特定し得る。

更なる離陸許可を受け取るや否や、パイロットは、その後、飛行乗務員自動化システム１００に命令して、航空機がラインアップし、待ち、その後、究極的には離陸するように誘導する。飛行乗務員自動化システム１００は、第１の作動システム１０８ａを介してスロットルを前方へ押し、知覚システム１０６を介してエンジンと操縦室のインジケータを視覚的にチェックし、HMIシステム１０４を介して速度を指示命令し、現在の重量、バランス、及び密度高度にとって適切な速度で回転する。パイロットは、彼の手をスティック／操縦かん５１４に保持して、飛行乗務員自動化システム１００の入力を確認し、彼のマッスルメモリを保有する。飛行乗務員自動化システム１００は、現在の状態に従って航空機の性能を確認し、予期されたクライム速度からの任意の逸脱を報告する。パイロットの作業負荷は、クライム中に飛行乗務員自動化システム１００によって低減され、混んでいる空域における交通を目で確認するために、より多くのハンズアップタイム（すなわち、目が機器ではなく前方に向いている）を可能にする。飛行乗務員自動化システム１００は、所与のチェックリスト、航空機、又は場所に対する熟練のパイロットの助言も提供し得る。例えば、特定の空港では、飛行乗務員自動化システム１００が、人間のオペレータに、「この滑走路からの急な離陸角度」などの、空港特有の助言を指示命令し得る。

飛行計画従事クライムの上端で、飛行乗務員自動化システム１００は、航空機を水平にし、姿勢及び推力の設定を調節し、一方で、飛行計画の第１のウェイポイントへ機首を向ける。巡航中に、飛行乗務員自動化システム１００は、操縦室の全てのディスプレイを視覚的にモニタし続け、絶えずエンジンと航空機の性能を予期された値と比較し、任意の逸脱をパイロットに警告する。

航空機は、訓練エリアに到着し、その日の飛行計画を開始する。しかし、飛行計画中に航空機は積乱雲に入り、その場合、計器気象状態（「IMC」）の条件は氷点下の温度である。パイロットは、ヒューマンマシンインターフェース１２６上のインターネットリレーチャット（「IRC」）を介して、地上からの許可を要求してその許可を受け取り、その天候から上に抜けるために24,000フィートまでクライムする。特定の態様では、飛行乗務員自動化システム１００が、地上からの許可を要求する。

異常の検出とその取扱い一定の時間後に、飛行乗務員自動化システム１００は、その所与のクライムを検出し得る。示されている対気速度は、これらのピッチ及び推力の設定に対してモデル化されたその対気速度からゆっくりと逸脱し、予期された値よりも低いものを示している。これは、ピトーヒータが故障し、ピトー管が氷結したことを示している。パイロットは、航空機を飛行した時間が１００時間未満であり、このモデルのピトーヒータが信頼できないものであると知られていることに気付いていない。パイロットは、未だ、対気速度のインジケータが、公称値よりも下がっていることに気付かなかった。

しかし、飛行乗務員自動化システム１００は、対気速度データが、残りの飛行データ及びその内部飛行動力学モデルに対して異例なものであると認識し、実際、パイロットに「対気速度インジケータ故障」を警告する。パイロットは、対気速度情報が現在信頼できないことを認識し、彼は、航空機がインジケータが示すよりも速く飛んでいるか又は遅く飛んでいるかに関して確証を持てない。

以前の異常のデータベースを利用して、飛行乗務員自動化システム１００は、一連の手続き型のオプションを提示し、そのエリアに対しての最小安全高度（例えば、8,000フィート）をハイライトする。パイロットは、最も保守的なオプションを選択する。それは、より低い高度（例えば、10,000フィート）への翼レベル、ピッチ、及び下降推力をもたらす。飛行乗務員自動化システム１００は、推力を弱め、わずかに下へピッチし、下降を開始する。15,000フィートを通って下降する間に、ピトー管は再び回復する。一旦、10,000フィートで安定すると、飛行乗務員自動化システム１００は、航空機を直線的に水平に保持する一方で、パイロットは、飛行計画に戻る前の状況を評価する。

その日の飛行計画の完了に際して、飛行乗務員自動化システム１００は、自動着陸手順を実行し得る。例えば、飛行乗務員自動化システム１００は、所定のウェイポイントまで航空機をナビゲートし得る。そこでは、航空機が、その初期的な下降を開始し得る。その下降中に、飛行乗務員自動化システム１００は、飛行状態をモニタし、滑走路を位置特定し得る。最終アプローチの際に、飛行乗務員自動化システム１００は、航空機をゆっくりと下げ、究極的には航空機を着陸させ得る。飛行乗務員自動化システム１００が、着陸が実行可能でない（例えば、妨害又は受け入れ不可能な飛行状態）と判定したならば、飛行乗務員自動化システム１００は、失われたアプローチルーチン又は他の不測ルーチンを開始し得る。例えば、飛行乗務員自動化システム１００は、同じ場所で着陸を再度試みるか又は航空機を代替的な着陸場所へナビゲートし得る。代替的な着陸場所で航空機を着陸させるための例示的なシステムが、「Autonomous Cargo Delivery System」という名称の共同所有されている米国特許公報第2015／0323932号によって開示されている。

飛行乗務員自動化システム１００及びその派生技術は、広い範囲の航空機及び飛行シミュレータにわたり適用され得る。航空機飛行試験から導き出された飛行性能特性は、パイロットを訓練するために使用される飛行シミュレータの忠実度を改良することができる。実際の航空機性能データにアクセスする飛行シミュレータを提供することは、飛行シミュレータのオペレータにとって大きな価値がある。飛行乗務員自動化システム１００の別の１つの利点は、空力性能及び飛行取り扱いの質に影響を及ぼし得るセンサ及びアンテナの追加（例えば、航空機の開発）などの、特殊な飛行計画のために航空機が修正されたときの飛行性能特性を合成する能力である。更に、飛行乗務員自動化システム１００によって取得されたデータは、保守の必要性を感知する故障予測技術を使用して、航空機健全性モニタリングのために使用され得る。

飛行乗務員自動化システム１００は、人件費における大幅な節約を提供する一方で、民間航空機運航の安全性及び利便性を更に高める。例えば、飛行乗務員自動化システム１００は、この高度なパイロット支援技術の費用節約のみならず、安全性及び効率を高めるために長距離航空貨物運搬機に適用されてもよい。更に、例えば、究極の状態機械は、飛行中のパイロットのための訓練ツールとして又は安全システムとして働き、従来、単一パイロットの航空機であったもののために第２の組の目を提供する。ヒューマンマシンインターフェース１２６の部分は、たとえ複数の乗務員の操作であっても、全ての操縦される運航をストリームライン化する。
上述の特許及び特許公開は、それらの全体を参照することによって本明細書に組み込まれる。部品、特徴などの特定の配置を参照しながら、様々な実施形態が説明されてきたが、これらは、全ての可能な配置又は特徴を網羅することを意図するものではなく、実際、多くの他の実施形態、修正例、及び変形例が、当業者に究明可能であろう。したがって、本発明は、特に上述されていなくとも実施可能であることが理解されるべきである。

Claims (15)

1. 航空機（３４６、７００）内で使用される障害物検出システムであって、
   前記航空機（３４６、７００）に隣接する第１の空域内の協働しない障害物（３４４）を検出するセンサ（４０６）ペイロードであって、第１の解像度を有するレーダー情報を生成するために前記第１の空域を径方向に走査するレーダー、及び前記第１の解像度より高い第２の解像度で光情報を生成するために前記第１の空域内の第２の空域を撮像するカメラ（４１０）を備える、センサ（４０６）ペイロード、並びに
   前記センサ（４０６）ペイロードに動作可能に接続されたプロセッサであって、前記レーダー情報及び前記光情報に応じて、前記協働しない障害物（３４４）の位置を決定し、前記協働しない障害物（３４４）を特定するように構成されている、プロセッサを備える、障害物検出システム。
2. 前記カメラ（４１０）が、パン及びチルトするように構成されている、請求項１に記載の障害物検出システム。
3. 前記カメラ（４１０）が、長波長赤外線センサ（４０６）を含む、請求項２に記載の障害物検出システム。
4. 前記カメラ（４１０）が、可視近赤外線電気光学（EO）センサ（４０６）を含む、請求項２又は３に記載の障害物検出システム。
5. 前記光情報が、熱的断面積と光学的断面積のうちの少なくとも一方を含む、請求項２から４のいずれか一項に記載の障害物検出システム。
6. 前記レーダー情報が、前記第１の空域内の前記協働しない障害物（３４４）の二次元（２Ｄ）位置を含み、前記光情報が、前記第２の空域内の前記協働しない障害物（３４４）の方位角位置を含む、請求項１から５のいずれか一項に記載の障害物検出システム。
7. 前記プロセッサが、少なくとも部分的に前記レーダー情報及び前記光情報に基づいて、前記協働しない障害物（３４４）の予測された飛行経路を生成するように構成されている、請求項１から６のいずれか一項に記載の障害物検出システム。
8. 前記第１の空域が、前記航空機（３４６、７００）の周りの３６０度の視界を提供する、請求項１から７のいずれか一項に記載の障害物検出システム。
9. 前記３６０度の視界が、前記航空機（３４６、７００）によって規定される飛行のラインと平行な平面内に存在する、請求項８に記載の障害物検出システム。
10. 航空機（３４６、７００）の運航中に協働しない障害物（３４４）を検出及び回避するための方法であって、
    第１の解像度を有するレーダー情報を生成するために、レーダーシステムを使用して第１の空域を走査すること、
    前記第１の解像度より高い第２の解像度で光情報を生成するために、カメラ（４１０）を使用して前記第１の空域内にある第２の空域を撮像すること、
    少なくとも部分的に前記レーダー情報及び前記光情報に基づいて、前記協働しない障害物（３４４）を追跡すること、
    少なくとも部分的に前記レーダー情報及び前記光情報に基づいて、予測された飛行経路を生成すること、
    前記協働しない障害物（３４４）を回避するための障害物回避ナビゲーション経路を生成すること、及び
    前記航空機（３４６、７００）の飛行制御システムに前記障害物回避ナビゲーション経路を通信することを含む、方法。
11. 前記航空機（３４６、７００）が、前記生成された障害物回避ナビゲーション経路を自律的に実行するように構成されている、請求項１０に記載の方法。
12. 前記カメラ（４１０）が、パン及びチルトするように構成された長波長赤外線センサ（４０６）を含む、請求項１０に記載の方法。
13. 前記カメラ（４１０）を使用して前記第２の空域内の前記協働しない障害物（３４４）の方位角位置を決定するステップを更に含む、請求項１０に記載の方法。
14. 前記レーダーが、機械的に回転する航海用レーダーである、請求項１０に記載の方法。
15. プロセッサを介して、少なくとも部分的にセンサ（４０６）ペイロードから受信したデータに基づいて、前記協働しない障害物（３４４）の予測された飛行経路を生成するステップを更に含む、請求項１０に記載の方法。

Images