JP2018503200A - 水体におけるオブジェクトを識別し、追跡し、かつ／あるいは、標的にするために一連の画像を処理する方法およびシステム - Google Patents

Abstract

空中追跡システムは、興味のオブジェクトを追跡するためにセンサを使用する。興味のオブジェクトを追跡するためには、オブジェクトが、理想的には、センサの視野の中央に保持されるように、センサが操縦される必要がある。光学センサの自動操縦は、興味のオブジェクトについてトラックを生成する必要がある。水上でボートを追跡するとき、画像処理に対する現在のアプローチは、興味のオブジェクトにおいて複数の検出を生成し得る。本開示の実施例は、興味のオブジェクトに関連するトラックをグループ化することにより、そして、トラックのクラスタの中で最も可能性が高いオブジェクトの場所を見積ることによって、トラックの多様性の問題を解決する。見積りされた場所に基づいて、本開示の実施例は、オブジェクトについて単一トラックを出力する。単一トラックは、センサの狙いを興味領域に向けて維持するように、自動操縦システムによって使用される。

Description

空中追跡システム（ａｉｒｂｏｒｎｅ ｔｒａｃｋｉｎｇ ｓｙｓｙｔｅｍ）は、興味のオブジェクトを追跡するためにセンサ（例えば、光学センサ）を使用する。興味のオブジェクトを追跡するためには、オブジェクトが、理想的には、センサの視野の中央に保持されるように、センサが操縦される必要がある。光学センサの自動操縦は、興味のオブジェクトについてトラック（ｔｒａｃｋ）を生成する必要がある。トラックは、一連の画像における基準（ｒｅｆｅｒｅｎｃｅ）であり、各画像におけるオブジェクトの場所を示している。操縦アルゴリズムは、オブジェクトがセンサの視野の中央に保持されるように、センサを継続的に操縦する。オブジェクトを追跡する従来技術の方法は、しばしば、興味のオブジェクトについて複数の方向を生成し、そして、トラックの多様性（つまり、同一の興味のオブジェクトとおそらく関連するものと特定される複数のトラック）を生じてしまう。現在のシステムは、各トラックが別個の興味のオブジェクトについて関連するものと仮定している。トラックの多様性は、追跡システムが複数のトラックに対して同時に操縦され得ないので、センサの操縦に影響する。このことは、しばしば、追跡システムが、興味のオブジェクトに対する正しい基準を失うことになってしまう。

本開示の実施例は、一連の画像を処理するための、方法、システム、および、そこに具現化されたプログラムコードを伴う、コンピュータで読取り可能な媒体、を含んでいる。

一つの実施例は、一つまたはそれ以上のプロセッサによって実行される、方法であり、一連の画像のうち一つの画像において少なくとも一つの検出を特定するステップ、を含む。この実施例において、それぞれの検出は、水体（ｂｏｄｙ ｏｆ ｗａｔｅｒ）におけるオブジェクト、または、水体におけるオブジェクトによって生じた航跡（ｗａｋｅ）の少なくとも一部、のうち少なくとも一つである。本方法は、また、少なくとも一つの検出を一式のトラックのうち単一トラックと関連付けするステップであり、一式のトラックはメモリの中に保管されているステップ、も含む。加えて、本方法は、一式のトラックのいずれのトラックとも関連付けされていない少なくとも一つの検出それぞれについて少なくとも一つの新たなトラックを作成するステップ、を含む。本方法は、さらに、一連の画像のうち画像における各ピクセルを、ピクセル値の範囲に基づいて、オブジェクトクラスまたは水クラスのいずれかとして分類するステップ、を含む。オブジェクトクラスとして分類された各ピクセルについて、本方法は、さらに、一連の画像のうち画像における各ピクセルを、少なくとも一つのボート−航跡クラスタ（ｂｏａｔ−ｗａｋｅ ｃｌｕｓｔｅｒ）へとグループ化するステップであり、各ボート−航跡クラスタは、相互に隣接しているオブジェクトクラスに属しているピクセルを含んでいる、ステップ、を含む。本方法は、少なくとも一つのボート−航跡クラスタそれぞれを一式のトラックに係るサブジェクトトラックと関連付けするステップ、および、共通のボート−航跡クラスタと関連付けされている一式のトラックに係るトラックをクラスタ化するステップ、を含む。本方法は、また、トラックの各クラスタに固有グローバルトラック識別子を割り当てるステップ、および、同一の固有グローバルトラック識別子を有しているトラックに係る各クラスタの代表トラックを選択するステップ、も含む。この実施例において、選択された代表トラックは、トラックのランク付けされたリストにおいて第１ランクであって、トラックのランクは、実際のオブジェクトを示す特徴に基づいている。

本方法は、また、一つの画像から次の画像へ一式のトラックに係るトラックを伝搬する（ｐｒｏｐａｇａｔｉｎｇ）ステップ、も含む。ここで、各トラックは、おそらく、水体におけるオブジェクト、または、水体におけるオブジェクトによって生成された航跡の一部である。

別の実施例において、少なくとも一つの検出を一式のトラックのうち単一トラックと関連付けするステップは、境界ボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）のオーバーラップに基づいて、新たな検出を伝搬されたトラックに対して関連付けするステップを含み、多くても一つの検出が一つのトラックに対して関連付けされ、かつ、多くても一つのトラックが一つの検出に対して関連付けされる。

境界ボックスは、少なくとも一つの検出に対する基準である。特に、境界ボックスは、少なくとも一つの検出に属するとみなされる少なくとも全てのピクセルを含む領域に係る上と下の行（ｒｏｗ）および左と右の列（ｃｏｌｕｍｎ）によって定められる。

別の実施例は、一連の画像を処理するためのシステムであり、本システムは、データストレージデバイスと通信する一つまたはそれ以上のプロセッサを含む。一つまたはそれ以上のプロセッサは、一連の画像のうち一つの画像において少なくとも一つの検出を特定し、それぞれの検出は、水体におけるオブジェクト、または、水体におけるオブジェクトによって生じた航跡の少なくとも一部、のうち少なくとも一つであり；少なくとも一つの検出を一式のトラックのうち単一トラックと関連付けし、一式のトラックはメモリの中に保管されており；一式のトラックのいずれのトラックとも関連付けされていない少なくとも一つの検出それぞれについて少なくとも一つの新たなトラックを作成し；一連の画像のうち画像における各ピクセルを、ピクセル値の範囲に基づいて、オブジェクトクラスまたは水クラスのいずれかとして分類し；オブジェクトクラスとして分類された各ピクセルについて、一連の画像のうち画像における各ピクセルを、少なくとも一つのボート−航跡クラスタへとグループ化し、各ボート−航跡クラスタは、相互に隣接しているオブジェクトクラスに属しているピクセルを含んでおり；少なくとも一つのボート−航跡クラスタそれぞれを一式のトラックに係るサブジェクトトラックと関連付けし；共通のボート−航跡クラスタと関連付けされている一式のトラックに係るトラックをクラスタ化し；トラックの各クラスタに固有グローバルトラック識別子を割り当て；同一の固有グローバルトラック識別子を有しているトラックに係る各クラスタの代表トラックを選択し、選択された代表トラックはトラックのランク付けされたリストにおいて第１ランクであって、トラックのランクは、実際のオブジェクトを示す特徴に基づいている；ように構成されている。

一つまたはそれ以上のプロセッサは、さらに、一つの画像から次の画像へ一式のトラックに係るトラックを伝搬する、ように構成されており、ここで、各トラックは、おそらく、水体におけるオブジェクト、または、水体におけるオブジェクトによって生成された航跡の一部である。

一つまたはそれ以上のプロセッサは、また、さらに、境界ボックスのオーバーラップに基づいて、新たな検出を伝搬されたトラックに対して関連付けする、ように構成されており、多くても一つの検出が一つのトラックに対して関連付けされ、かつ、多くても一つのトラックが一つの検出に対して関連付けされる。

さらに別の実施例は、一連の画像を処理するための、媒体上に具現化されたコンピュータで読取り可能なプログラムコードを有する有形のコンピュータで読取り可能な媒体である。コンピュータで読取り可能なコードはインストラクションを含み、インストラクションがプロセッサによって実行されると、プロセッサは、一連の画像のうち一つの画像において少なくとも一つの検出を特定し、それぞれの検出は、水体におけるオブジェクト、または、水体におけるオブジェクトによって生じた航跡の少なくとも一部、のうち少なくとも一つであり；少なくとも一つの検出を一式のトラックのうち単一トラックと関連付けし、一式のトラックはメモリの中に保管されており；一式のトラックのいずれのトラックとも関連付けされていない少なくとも一つの検出それぞれについて少なくとも一つの新たなトラックを作成し；一連の画像のうち画像における各ピクセルを、ピクセル値の範囲に基づいて、オブジェクトクラスまたは水クラスのいずれかとして分類し；オブジェクトクラスとして分類された各ピクセルについて、一連の画像のうち画像における各ピクセルを、少なくとも一つのボート−航跡クラスタへとグループ化し、各ボート−航跡クラスタは、相互に隣接しているオブジェクトクラスに属しているピクセルを含んでおり；少なくとも一つのボート−航跡クラスタそれぞれを一式のトラックに係るサブジェクトトラックと関連付けし；共通のボート−航跡クラスタと関連付けされている一式のトラックに係るトラックをクラスタ化し；トラックの各クラスタに固有グローバルトラック識別子を割り当て；同一の固有グローバルトラック識別子を有しているトラックに係る各クラスタの代表トラックを選択する。選択された代表トラックはトラックのランク付けされたリストにおいて第１ランクであって、トラックのランクは、実際のオブジェクトを示す特徴に基づいている。

有形のコンピュータで読取り可能な媒体は、インストラクションを含むコンピュータで読取り可能なコードを、さらに、含み得る。インストラクションがプロセッサによって実行されると、プロセッサは、一つの画像から次の画像へ一式のトラックに係るトラックを伝搬する。ここで、各トラックは、おそらく、水体におけるオブジェクト、または、水体におけるオブジェクトによって生成された航跡の一部である。

加えて、有形のコンピュータで読取り可能な媒体は、インストラクションを含むコンピュータで読取り可能なコードを、含み得る。インストラクションがプロセッサによって実行されると、プロセッサは、境界ボックスのオーバーラップに基づいて、新たな検出を伝搬されたトラックに対して関連付けし、多くても一つの検出が一つのトラックに対して関連付けされ、かつ、多くても一つのトラックが一つの検出に対して関連付けされる。

前出のものは、添付の図面において説明されるように、本開示の実施例に係る以降のより特定的な説明から明らかであろう。図面では、異なるビュー全体を通じて、類似の参照記号は同一のパーツを参照している。図面は、必ずしも縮尺どおりであることを要せず、代わりに、本開示の実施例の説明に強調がなされている。
図１は、トラックの多様性がどのようにセンサの操縦に影響するかを説明するトラックのプロットである。 図２は、本開示の実施例に従った、画像処理のためのシステムの機能ブロックダイヤグラムである。 図３は、本開示の実施例に従った、航跡処理（ｗａｋｅ ｐｒｏｃｅｓｓｉｎｇ）システムの機能ブロックダイヤグラムである。 図４は、画像分割（ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ）に先立つ、シーンの画像フレームを示している。 図５は、画像分割モジュールがピクセルのクラスタを特定した、画像フレームを示している。 図６は、本開示の実施例に従った、航跡−ボートクラスタとピクセルを共有しているトラックを描いている。 図７は、本開示の実施例に従った、画像においてオブジェクトを検出するためのシステムを模式的に図示している。

本開示の実施例に係る説明が以降に続く。

空中追跡システムは、興味のオブジェクトを追跡するためにセンサ（例えば、光学センサ）を使用する。興味のオブジェクトを追跡するためには、オブジェクトが、理想的には、センサの視野の中央に保持されるように、センサが操縦される必要がある。光学センサの自動操縦は、興味のオブジェクトについてトラックを生成する必要がある。トラックは、一連の画像における基準であり、各画像におけるオブジェクトの場所を示している。トラックは、それぞれ特定の画像においてオブジェクトを含んでいる境界ボックスに係る上と下の行（ｒｏｗ）および左と右の列（ｃｏｌｕｍｎ）によって与えられる。操縦アルゴリズムは、オブジェクトがセンサの視野の中央に保持されるように、センサを継続的に操縦する。操縦オペレーションの成功は、興味のオブジェクトについてトラックを保持するアルゴリズムの能力に依存している。オブジェクトの場所を示すトラックが間違っている場合に、センサは、シーン（ｓｃｅｎｅ）の間違った部分に狙いを向けられ、そして、最終的にはオブジェクトが見失われてしまう。センサの視野が残っているからである。

水の上でボートを追跡するとき、画像処理に対する現在のアプローチは、興味のオブジェクトについて複数の検出を生成し得る。これは、白波（ｗｈｉｔｅｃａｐｓ）と航跡（ｗａｋｅ）の存在、および、興味のオブジェクトの動作によって生成される航跡としぶき（ｓｐｌａｓｈｉｎｇ）による、興味のオブジェクトの外観における継続的な変化によって引き起こされるものである。このことは、間違った検出を引き起こし得るものであって、結果として複数のトラックを生じているが、実際には、同一の興味のオブジェクトに関連するものである。このことは、自動操縦システムのパフォーマンスに否定的に影響する。特に、トラックの多様性は、追跡システムが複数のトラックに対して同時に操縦され得ないので、センサの操縦に影響する。このことは、しばしば、追跡システムが、興味のオブジェクトに対する正しい基準を失うことになってしまう。

図１は、トラックの多様性がどのようにセンサの操縦に影響するかを説明するトラックのプロットである。この例において、追跡システムは、第１画像フレームの処理に基づいて、第１トラック１０５、トラック１（Ｔｒａｃｋ１）、を開始している。後続の画像フレームにおいて、追跡システムは、第２トラック１１０、トラック２、システムが明確なオブジェクトであると信じるもの、を生成している。しかしながら、実際には、第１トラック１０５と第２トラック１１０の両方が、同一のオブジェクトに関連するものである。

同一の検出について一つ以上のトラックが競合する場合、これらの検出は、近接スコア（ｐｒｏｘｉｍｉｔｙ ｓｃｏｒｅ）に基づいてトラックのうち一つと関連付けされる。この例において、新たな検出が、トラック２ １１０に対して関連付けされている。こうした特定の画像の中には単一の検出が存在するので、トラック１ １０５と関連付けされる検出は無い。このように、追跡システムは、トラック１ １０５によってトラックされてきたオブジェクトがシーンを離れたものと推測し、そして、トラック１ １０５は終結される。このことが生じたときに、操縦アルゴリズムは、トラック１ １０５がもはや存在しないので、オブジェクトに対する基準を喪失し、そして、追跡システムは、トラック２ １１０が同一のオブジェクトについてのトラックであることを認識しない。オペレータは、オブジェクトをカバーし、そして、興味のオブジェクトに対応する新たなトラックを関連付けするために、ついには、センサを手動で操縦することによって、興味のオブジェクトを再び獲得する必要がある。

本開示の実施例は、興味のオブジェクトに関連するトラックをグループ化することにより、そして、トラックのクラスタの中で最も可能性が高いオブジェクトの場所を見積ることによって、トラックの多様性の問題を解決する。見積りされた場所に基づいて、本開示の実施例は、オブジェクトについて単一トラックを出力する。単一トラックは、センサの狙いを興味領域に向けて維持するように、自動操縦システムによって使用される。

図２は、本開示の実施例に従った、画像処理のためのシステム２００の機能ブロックダイヤグラムである。システム２００のエレメント／モジュールは、例えば、少なくとも一つのプロセッサ（例えば、図７のプロセッサ７０４）によって実行され得る。システム２００は、画像フレーム２０１を受け取る。画像フレーム２０１は、シーンの画像である。一つの例において、シーンは、水体（ｂｏｄｙ ｏｆ ｗａｔｅｒ）におけるオブジェクトを含んでよい。画像フレーム２０１は、例えば、無人航空機または有人飛行機に搭載された空中光学センサを含んでよい。センサは、一連の画像フレームからなるデータのビデオストリームを収集する、赤外線（ＩＲ）または電気光学（ＥＯ）センサであってよい。センサは、ボートまたは他の興味のオブジェクトが存在する水体に対して狙いを向けられている。オブジェクト検出モジュール２１０は、画像フレームにおいてオブジェクト検出を実行する。特に、オブジェクト検出モジュール２１０は。画像フレーム２０１を処理し、そして、画像フレームの中に含まれるシーンにおけるオブジェクトを検出する。シーンの中のオブジェクトは、背景とは区別されるオブジェクトの特性に基づいて検出される。例えば、オブジェクトが水体において存在するというシナリオにおいて、オブジェクトは、水体とは区別される特徴を有している（例えば、ボートに属しているピクセルの輝度は、水に属しているピクセルの輝度より高い）。

オブジェクト検出モジュール２１０は、画像フレームにおけるオブジェクトを検出するために、あらゆる既知または未知の方法を利用することができる。例えば、オブジェクト検出モジュール２１０は、ピクセル輝度のコントラストに基づいてオブジェクトを特定するアルゴリズムを利用することができる。そうしたアルゴリズムは、オブジェクトが背景（例えば、水体）よりも明るいか又は暗いか、いずれかで現れることを仮定することによって、シーンにおけるオブジェクトを特定する。他のアルゴリズムは、オブジェクトの構造的な特性に基づいて、オブジェクトを特定する。例えば、オブジェクトのエッジは、一般的に、例えば、水体（つまり、背景）における航跡または白波よりも、多くの多様性を有している。これらのアルゴリズムは、各ピクセルについて大きさ（ｍａｇｎｉｔｕｄｅ）と方向（ｏｒｉｅｎｔａｔｉｏｎ）の値を抽出し、かつ、隣接するピクセルの方向に基づいて、各ピクセルについてスコアを計算するために、画像を処理する。より高いスコアは、ピクセルを取り囲んでいる領域が複数の方向を伴うエッジを含んでいることの指標、たいていは人造オブジェクトの存在の指標、であり、そして、検出が生成される。

オブジェクトが検出され、そして、トラックが開始された後で、外観ベーストラッカー２２０は、外観（ａｐｐｅａｒｎｃｅ）に基づく追跡を実行する。外観ベース追跡は、検出された各オブジェクトについて、画像チップ（ｉｍａｇｅ ｃｈｉｐ）またはテンプレートをメモリの中に保持している。画像チップは、興味のオブジェクトに属するとみなされるピクセルを含むオリジナル画像の一部である。テンプレートは、処理され、そして、興味のオブジェクトに関する情報を含んでいる、画像の一部である。例えば、テンプレートは、エッジ画像の２次元フーリエ変換であってよく、または、興味のオブジェクトを含んでいるとみなされる画像領域のピクセル輝度のヒストグラムであってよい。

トラックは、後で説明されるように、トラックに対する検出関連性モジュール２３０によって関連付けされていない検出に対応する画像チップまたはテンプレートを用いて開始される。トラッカー２２０は、次に、以前の画像フレームからの画像チップまたはテンプレートを、現在の画像フレームまたは現在の画像フレームの処理されたバージョン（例えば、ピクセル輝度ヒストグラムマップ）と相関させることによって、現在の画像フレームの中のオブジェクトを見つける。トラッカー２２０は、現在のフレームにおけるトラックの場所を出力する。

トラックに対する検出関連性モジュール２３０は、トラックに対する検出の関連付けを実行する。トラックに対する検出関連性モジュール２３０は、外観ベーストラッカー２２０から一式のトラック、および、オブジェクト検出モジュール２１０から一式のオブジェクト検出を受け取る。トラックに対する検出関連性モジュール２３０は、全体のトラックをループし、そして、境界ボックスが各トラックの境界ボックスとオーバーラップしている検出を見つける。一つ以上の検出がトラックとオーバーラップする場合、サイズがトラックのサイズと最もよく一致する検出が選択される。この選択プロセスは、単一トラックに対して多くても一つの検出が関連付けされ、かつ、単一の検出に対して多くても一つのトラックが関連付けされることを確保する。このプロセスの最後においては、相互に関連付けされた検出とトラックが存在し、どの検出に対しても関連付けされないトラックが存在し、そして、どのトラックに対しても関連付けされない検出が存在する。トラックに対する検出関連性モジュール２３０は、関連付けされていない検出、及び／又は、新たな検出を含み得るか、もしくは含まないトラック、を含むデータを出力する。

トラック作成、促進、および削除モジュール２４０は、関連付けされていない検出、及び／又は、新たな検出を含み得るか、もしくは含まないトラック、を含むデータを受け取る。トラック作成、促進、および削除モジュール２４０は、関連付けされていない検出それぞれについて新たな一時的なトラックを作成する。モジュール２４０は、各トラックと関連付けされた検出の数量の集計（ｔａｌｌｙ）を保持し、そして、いくつかの状況において、トラックのステータスを「一時的（”Ｔｅｎｔａｔｉｖｅ”）」から「固定（”Ｆｉｒｍ”）」へ促進するために、その数量を使用する。「固定」のステータスを有しているトラックは、トラックが現実のオブジェクトによって生成されている高い可能性を有していることを意味している。反対に、「一時的」のステータスは、トラックが現実のオブジェクトによって生成されているか、または、偽の検出の結果であるか否かに関して、より高いレベルの不確実性が存在することを示している。トラックと関連付けされた検出の数量が既定の閾値を超えた場合、モジュール２４０は、トラックが現実のオブジェクトによって生成されたものであり、かつ、偽のオブジェクト検出によるものではないことを推測する。現実のオブジェクトは一貫して検出を生じさせるが、一方で、白波、航跡、および照明アーチファクトによって誘発される偽の検出は一時的なもので、かつ、時間が経つと消えるものなので、モジュール２４０は、そうした推測をすることができる。モジュール２４０は、閾値の時間期間を超えて、トラックと関連付けされたオブジェクトの検出が存在しない場合に、トラックを削除する。

モジュール２４０は、全てのトラック、「一時的」と「固定」両方、を出力し、そして、同一のオブジェクトにおいて複数のトラックを含んでよい。いくつかのトラックは、ボートの複数の部分によって生成され得る。フロントまたはバックエンド、コックピット、または、力強いエッジといった明確な特徴を表わすあらゆる他の部分、といったものである。他のトラックは、航跡のトラッキング部分であり得る。航跡処理モジュール２５０は、オブジェクトごとに一つのトラックだけがレポートされるように、同一のオブジェクトに属しているトラックを特定することを任されている。

航跡処理モジュール２５０は、トラック作成、促進、および削除モジュール２４０からのトラックと、画像フレームを受け取る。航跡処理モジュール２５０は、トラックの多様性を取り除くようにトラックを処理する。特に、航跡処理モジュールは、全てが同一のオブジェクトと関連付けされている複数のトラックを特定し、そして、これらのトラックが単一のオブジェクトを表わしていることを示すために、複数のトラックを同一のグローバルトラックＩＤに対して割り当てる。航跡処理モジュール２５０は、グローバルトラックＩＤを、センサ制御モジュール２６０およびトラックデータベース２７０に対して出力する。

センサ制御モジュール２６０は、グローバルトラックＩＤがオペレータによって選択された特定のトラックについて、センサの狙いを向ける。例えば、本開示の実施例がグローバルトラックＩＤを持つトラックを生成した後で、オペレータは、興味のオブジェクトとなるように、特定のグローバルトラックＩＤを選択することができる。グローバルトラックＩＤが選択されたとき、センサ制御モジュール２６０は、興味のオブジェクトがいつでも視野の中央にあるように、センサ角度を継続的に調整する。これにより、システムは、オブジェクトの連続的なトラックを維持することができる。

図３は、航跡処理システム３００（図２における航跡処理モジュール２５０に対応するもの）の機能ブロックダイヤグラムである。航跡処理システム３００は、画像分割モジュール３１０、グローバル割り当てモジュール３２０、およびグローバルトラック選択モジュール３３０を含む。画像分割モジュール３１０は、画像フレーム３０１（例えば、図２の画像／ビデオフレーム２０１）を受け取る。一つの例において、画像フレーム３０１は、グレーレベル（ｇｒａｙ ｌｅｖｅｌ）ピクセル輝度のＮ×Ｍマトリクスのフォーマットにおいて受け取られる。

画像分割モジュール３１０は、画像を２つの個別の領域に分割するためのあらゆる既知または未知の画像処理ステップを実行する。水に属するピクセル、および、ボートとボートによって生成された航跡に属するピクセルである。第１ステップにおいて、画像分割モジュール３１０は、輝度画像（ｉｎｔｅｎｓｉｔｙ ｉｍａｇｅ）に対して低次の２次元多項式をフィッティングすることにより、そして、オリジナル画像からこれらの値を引き算することによって、現在の画像において輝度修正（ｉｎｔｅｎｓｉｔｙ ｃｏｒｒｅｃｔｉｏｎ）を実行する。画像分割プロセスは、次に、画像分割レベルを計算する。特に、計算は、画像フレーム３０１においてキャプチャされたシーンの背景の部分であるとしてピクセルを特定するピクセル輝度値の範囲を生じる。例えば、水体におけるオブジェクトを含んでいるシーンにおいて、水体は背景として考えられる。従って、背景に決定された範囲の外側に居るあらゆるピクセル輝度は、可能性のあるオブジェクトとして考えられる。計算された画像分割レベルに基づいて、画像分割モジュール３１０は、画像分割を実行する。別の言葉で言えば、画像分割モジュール３１０は、各ピクセルに、ピクセルが水に属すること−ピクセル輝度値が決定された範囲の中に居る場合−、もしくは、ピクセルがボート又はボートによって生成された航跡に属すること、ピクセル輝度値が決定された範囲の外に居る場合、を示すラベルを割り当てる。

図４は、画像分割に先立つ、シーンの画像フレーム４０１を示している。画像フレーム４０１ｂは、画像分割後のシーンを示している。見て分かるように、背景の部分であると判断される全てのピクセルは黒色であり、一方で、オブジェクトの部分であると考えられる全てのピクセルは白色である。

図３に戻って参照すると、画像分割モジュール３１０は、次に、画像フレーム３０１におけるノイズ効果を低減するために、膨張と収縮（ｄｉｌａｔｅ ａｎｄ ｅｒｏｄｅ）機能を適用する。画像分割モジュール３１０は、あらゆる既知または未知の膨張と収縮機能を使用し得る。画像分割モジュール３１０は、次に、オブジェクトを示すピクセル輝度を有すると考えられるピクセルのクラスタを特定する。例えば、ピクセルのクラスタは、相互に隣接しており、かつ、オブジェクトを示すピクセル輝度値を有する、そうしたピクセルである。図５は、画像分割モジュールがピクセルのクラスタを特定した、画像フレーム５０１を示している。この図におけるクラスタ７（Ｃｌｕｓｔｅｒ７）は、画像フレームの中央におけるボートのピクセルと航跡ピクセル（下、左、中央、および右）を組み合せている。他のクラスタは、光の反射における変動と水体における白波によって生じた可能性が最も高い。

画像分割モジュール３１０は、クラスタのリストを出力する。リストにおける各クラスタは、以下の情報を含んでいる。ｉ）クラスタＩＤ、および、ｉｉ）例えば、画像座標系における（ｘ、ｙ）位置情報を伴うピクセルのリスト、である。

グローバル割り当てモジュール３２０は、画像分割モジュール３１０からクラスタのリスト、および、トラック作成、促進、および削除モジュール２４０から、存在する場合に、以前のグローバルトラックＩＤを伴うトラックのリストを受け取る。リストにおける各トラックは、以下の情報を含んでいる。ｉ）トラックＩＤ、ｉｉ）グローバルトラックＩＤ、およびｉｉｉ）トラックと関連付けされたオブジェクト検出の画像座標系における境界リミット、である。

上記の情報の受け取りに応じて、グローバル割り当てモジュール３２０は、トラックのリストのトラック間（ｔｒａｃｋ−ｔｏ−ｔｒａｃｋ）接続性を計算する。これを達成するために、モジュールは、全体のトラックをループし、そして、各トラックとピクセルを共有している全ての航跡−ボートのクラスタを見つける。グローバル割り当てモジュール３２０は、次に、同一の航跡−ボートのクラスタと相互にピクセルを共有しているトラックを見つける。例えば、トラック１が、ピクセルを航跡−ボートのクラスタ５および７と共有し、かつ、トラック３が、ピクセルを航跡−ボートのクラスタ７と共有している場合には、トラック１とトラック３は、互いに接続されていると言える（両方が、ピクセルを航跡−ボートのクラスタ７と共有しているからである）。このことは、図６において説明されており、画像フレーム６０１は、トラック１（Ｔｒａｃｋ１）とトラック３（Ｔｒａｃｋ３）を示しており、両方がピクセルを航跡−ボートのクラスタ７と共有している。そうした特定に基づいて、グローバル割り当てモジュール３２０は、トラック１とトラック３を含むトラッククラスタを形成する。トラッククラスタを形成することは、両方のトラックに共通のグローバルトラックＩＤが割り当てられることを意味するものである。例えば、「４」のグローバルトラックＩＤが、この実施例において選択される。

図３に戻って参照すると、グローバル割り当てモジュール３２０は、次に、トラックのリスト、それぞれが新たに割り当てられたグローバルトラックＩＤを伴うもの、をグローバルトラック選択モジュール３３０に対して出力する。グローバルトラック選択モジュール３３０は、次に、全体のグローバルトラックＩＤをループし、そして、各グローバルトラックＩＤについて、各グローバルトラックＩＤと関連付けされたトラックのセットのうち単一トラックを選択する。グローバルトラック選択モジュール３３０は、最も長く存在したトラックは、現実のオブジェクトであることがより確からしいと推測する。偽の検出は短命であり、かつ、時間が経つと消滅するからである。このように、同一のグローバルトラックＩＤを持つ全てのトラックから、モジュール３３０は、最も早い開始時間を有するものを選択し、そして、図２のセンサ制御モジュール２６０に対して、そのトラックを出力する。上述のように、センサ制御モジュール２６０は、グローバルトラックＩＤがオペレータによって選択された特定のトラックについて、センサの狙いを向ける。

図７は、本開示の実施例に従った、画像７０２においてオブジェクトを検出するためのシステム７００を模式的に示している。システム７００は、画像７０２を処理するためのプロセッサ７０４を含んでいる。プロセッサ７０４は、画像７０２とシステム７００に関する様々な情報を保管している。ストレージデバイス７２０は、複数のストレージデバイスを含み得る。ストレージデバイス７２０は、例えば、長期間ストレージ（例えば、ハードドライブ、テープストレージデバイス、フラッシュメモリ）、短期間ストレージ(例えば、ランダムアクセスメモリ、グラフィクスメモリ）、及び／又は、あらゆる他のタイプのコンピュータで読取り可能なストレージを含み得る。

ここにおいて説明されるモジュールおよびデバイスは、例えば、コンピュータで実行可能なインストラクションを実行するためにプロセッサ７０４を利用し、かつ／あるいは、コンピュータで実行可能なインストラクションを実行するためにプロセッサを含んでいる（例えば、暗号処理装置、フィールドプログラマブルゲートアレイ処理装置）。システム７００は、例えば、従来技術において知られた他のモジュール、デバイス、及び／又はプロセッサ、及び／又は、多種多様な説明されたモジュール、デバイス、及び／又はプロセッサ、を含み得ることが理解されるべきである。

入力デバイス７１６は、ユーザ（図示なし）、及び／又は、別のコンピューティングシステム（図示なし）から、システム７００に関する情報（例えば、ユーザからのインストラクション、別のコンピューティングシステムからのインストラクション）を受け取る。入力デバイス７１６は、例えば、キーボード、スキャナ、または、マウスを含み得る。出力デバイス７１２は、システム７００に関する情報を出力する（例えば。プリンタ（図示なし）に対する情報、オーディオスピーカー（図示なし）に対する情報）。

任意的なディスプレイデバイス７０８は、システム７００に関する情報を表示する（例えば、ステータス情報、コンフィグレーション情報）。プロセッサ７０４は、システム７００のためにオペレーティングシステム、及び／又は、あらゆる他のコンピュータで実行可能なインストラクションを実行する（例えば、画像７０２におけるオブジェクトを検出するために画像７０２を処理する）。

図８は、一つの実施例に従って、プロセッサ８０４において実施される典型的なモジュールを模式的に示している。一つの実施例において、プロセッサ８０４は、図２および図３に係る方法を実施するために、図７のプロセッサ７０４として使用される。プロセッサ８０４は、入力モジュール８０８、画像処理モジュール８１２、および、航跡処理モジュール８１６を含んでいる。入力モジュール８０８は、画像８０２における各ピクセルの大きさと方向の値を受け取り、そして、その値を画像処理モジュール８１２に対して提供する。画像処理モジュール８１２は、例えば、図２に係るステップを実行する。航跡処理モジュール８１６は、例えば、図３に係るステップを実行する。

上述のシステムおよび方法は、デジタル電子回路において、コンピュータハードウェア、ファームウェア、及び／又は、ソフトウェアにおいて実施され得る。実施は、コンピュータプログラムプロダクトとしてものであり得る（つまり、情報キャリアにおいて有形的に具現化されたコンピュータプログラム）。実施は、データ処理装置による実行のため、または、データ処理装置のオペレーションをコントロールするために、例えば、マシンで読取り可能なストレージデバイス、及び／又は、伝播される信号におけるものであってよい。実施は、例えば、プログラム可能なプロセッサ、コンピュータ、及び／又は、複数のコンピュータであってよい。

コンピュータプログラムは、コンパイル及び／又はインタープリタ言語を含む、あらゆる他の適切な形式のプログラミング言語において書かれ得るものであり、そして、コンピュータプログラムは、スタンドアロンプログラムとして、または、サブルーチン、エレメント、及び／又は、コンピューティング環境における使用のために適切なあらゆる他のユニットとしての形式を含む、あらゆる適切な形式において展開され得るものである。コンピュータプログラムは、一つのコンピュータ上で、または、一つのサイトにおける複数のコンピュータ上で実行されるように展開され得る。

方法ステップは、入力データの操作および出力の生成により本発明の機能を実施するようにコンピュータプログラムを実行する、一つまたはそれ以上のプログラマブルなプロセッサによって実行され得る。方法ステップは、また、装置としても実行され得るものであり、そして、特定用途論理回路としても実施され得る。回路は、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）及び／又はＡＳＩＣ（特定用途向け集積回路）であってよい。モジュール、サブルーチン、およびソフトウェアエージェントは、機能を実施するコンピュータプログラム、プロセッサ、特定回路、ソフトウェア、及び／又は、ハードウェアの部分を参照し得る。

コンピュータプログラムの実行のために適切なプロセッサは、例として、汎用目的および特定目的両方のマイクロプロセッサ、および、あらゆる種類のデジタルコンピュータに係るあらゆる一つまたはそれ以上のプロセッサを含む。一般的に、プロセッサは、読出し専用メモリまたはランダムアクセスメモリ、もしくは、両方から、インストラクションとデータを受け取る。コンピュータの主要なエレメントは、インストラクションを実行するためのプロセッサ、および、インストラクションとデータを保管するための一つまたはそれ以上のメモリデバイスである。一般的に、コンピュータは、データを保管するための一つまたはそれ以上の大容量記憶装置（例えば、磁気、光磁気ディスク、または光ディスク）を含んでよい（そして、データを受け取り、かつ／あるいは、データを転送するために動作可能に接続されてよい）。

データ転送とインストラクションは、また、通信ネットワークにわたり生じ得るものである。コンピュータプログラムのインストラクションとデータを具現化するための適切な情報キャリア（ｃａｒｒｉｅｒ）は、全ての形式の不揮発性メモリを含み、例として、半導体メモリデバイスを含んでいる。情報キャリアは、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリデバイス、磁気ディスク、内蔵ハードディスク、リムーバブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、及び／又は、ＤＶＤ−ＲＯＭディスク、であってよい。プロセッサとメモリは、特定用途論理回路によって補完され、及び／又は、その中に組み込まれてよい。

ユーザとのインタラクション（ｉｎｔｅｒａｃｔｉｏｎ）を提供するために、上記の技術は、ディスプレイ装置を有するコンピュータにおいて実施され得る。ディスプレイ装置は、例えば、ブラウン管（ＣＲＴ）、及び／又は、液晶ディスプレイ（ＬＣＤ）モニタであってよい。ユーザとのインタラクションは、例えば、ユーザに対する情報の表示、および、それによってユーザがコンピュータに対して入力を提供する（例えば、ユーザインターフェイスエレメントと相互作用する）キーボードとポインティングデバイス（例えば、マウスまたはトラックボール）であってよい。ユーザとのインタラクションを提供するために他の種類のデバイスが使用されてよい。他のデバイスは、例えば、センサフィードバックのあらゆる形式においてユーザに対して提供されるフィードバックであってよい（例えば、視覚フィードバック、聴覚フィードバック、または、触覚フィードバック）。ユーザからの入力は、例えば、音響、会話、及び／又は、触覚入力を含む、あらゆる他の適切な形式において受け取られてよい。

上記の技術は、バックエンド（ｂａｃｋ−ｅｎｄ）コンポーネントを含む分散コンピューティングシステムにおいて実施されてよい。バックエンドコンポーネントは、例えば、データサーバー、ミドルウェアコンポーネント、及び／又は、アプリケーションサーバー、であってよい。上記の技術は、フロントエンド（ｆｒｏｎｔ−ｅｎｄ）コンポーネントを含む分散コンピューティングシステムにおいて実施されてよい。フロントエンドコンポーネントは、例えば、グラフィカルユーザーインターフェイス、それを通じてユーザが実施例と相互作用することができるＷｅｂブラウザ、及び／又は、通信装置のための他のグラフィカルユーザーインターフェイス、を有しているクライアントコンピュータであってよい。システムのコンポーネントは、デジタルデータ通信のあらゆる他の適切な形式またはメディア（例えば、通信ネットワーク）によって相互接続されてよい。通信ネットワークのレイアウトは、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネット、有線ネットワーク、及び／又は、無線ネットワークを含む。

システムは、クライアントとサーバーを含んでよい。クライアントとサーバーは、一般的には相互に離れており、そして、典型的には通信ネットワークを通じて相互作用する。クライアントとサーバーの関係は、それぞれのコンピュータにおいて実行され、かつ、相互にクライアント−サーバー（ｃｌｉｅｎｔ−ｓｅｒｖｅｒ）関係を有しているコンピュータプログラムのせいで発生するものである。

パケットベース（ｐａｃｋｅｔ−ｂａｓｅｄ）ネットワークは、例えば、インターネット、キャリアインターネットプロトコル（ＩＰ）ネットワーク（例えば、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、キャンパスエリアネットワーク（ＣＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、ホームエリアネットワーク（ＨＡＮ））、プライベートＩＰネットワーク、ＩＰ構内交換機（ＩＰＢＸ）、無線ネットワーク（例えば、ラジオアクセスネットワーク（ＲＡＮ）、８０２．１１ネットワーク、８０２．１６ネットワーク、汎用パケット無線サービス（ＧＰＲＳ）ネットワーク、ＨｉｐｅｒＬＡＮ）、及び／又は、他のパケットベースネットワーク、を含んでよい。回路ベース（ｃｉｒｃｕｉｔ−ｂａｓｅｄ）ネットワークは、例えば、公衆交換電話網（ＰＳＴＮ）、構内交換機（ＰＢＸ）、無線ネットワーク（例えば、ＲＡＮ、ブルートゥース（登録商標）、符号分割多元接続（ＣＤＭＡ）ネットワーク、時分割多元接続（ＴＤＭＡ）ネットワーク、汎欧州デジタル移動電話方式（ＧＳＭ（登録商標））ネットワーク）、及び／又は、他の回路ベースネットワークを含んでよい。

コンピューティングデバイスは、例えば、コンピュータ、ブラウザデバイスを伴うコンピュータ、電話、ＩＰ電話、モバイルデバイス（例えば、携帯電話、パーソナルデジタルアシスタント（ＰＤＡ）デバイス、ラップトップコンピュータ、電子メールデバイス）、及び／又は、他の通信装置を含んでよい。ブラウザデバイスは、例えば、ワールドワイドウェブ（例えば、Ｍｉｃｏｒｏｓｏｆｔ社から利用可能なＭｉｃｒｏｓｏｆｔ Ｉｎｔｅｒｎｅｔ Ｅｘｐｌｏｒｅｒ、Ｍｏｚｉｌｌａ社から利用可能なＭｏｚｉｌｌａ Ｆｉｒｅｆｏｘ）を伴うコンピュータ（例えば、デスクトップコンピュータ、ラップトップコンピュータ）を含む。モバイルコンピューティングデバイスは、例えば、Ｂｌａｃｋｂｅｒｒｙデバイス、またはＡｐｐｌｅ ｉＰａｄ（登録商標）デバイスを含む。

有する（ｃｏｍｐｒｉｓｅ）、含む（ｉｎｃｌｕｄｅ）、及び／又は、それぞれに係る複数の形式は、オープンエンド（ｏｐｅｎ ｅｎｄｅｄ）であり、かつ、リストされたパーツを含み、そして、リストされていない追加のパーツを含んでよい。かつ／あるいは、オープンエンドであって、リストされたパーツのうち一つまたはそれ以上、および、リストされたパーツの組み合せを含む。

当業者であれば、発明の精神または不可欠な特性から逸脱することなく、他の特定の形式において本発明が具現化され得ることが理解されよう。上述の実施例は、従って、本発明をここにおいて説明されたものに限定するより、むしろ、あらゆる面において、説明的なものであると考えられるべきである。本発明の範囲は、このように、上記の説明によるものより、むしろ、添付の請求項によって示されるものである。そして、請求項に係る均等の意味および範囲内で生じる全ての変形が、従って、包含されているものと意図されている。

ここにおいて引用された全ての特許、出願公開、および参考に係る教示は、その全体が、ここおいて参照により包含されているものである。

本開示は、実施例に関連して特定的に示され、かつ、説明されてきたが、添付の請求項によって包含される本開示の範囲から逸脱することなく、形式および詳細における種々な変形がなされ得ることが、当業者によって理解されよう。

Claims (12)

1. 水体におけるオブジェクトを識別し、追跡し、かつ／あるいは、標的にするための、一つまたはそれ以上のプロセッサによって実行される、一連の画像を処理する方法であって、
   一連の画像のうち一つの画像において少なくとも一つの検出を特定するステップであり、それぞれの検出は、水体におけるオブジェクト、または、前記水体におけるオブジェクトによって生じた航跡の少なくとも一部、のうち少なくとも一つである、ステップと、
   前記少なくとも一つの検出を一式のトラックのうち単一トラックと関連付けするステップであり、前記一式のトラックはメモリの中に保管されている、ステップと、
   前記一式のトラックのいずれのトラックとも関連付けされていない前記少なくとも一つの検出それぞれについて少なくとも一つの新たなトラックを作成するステップと、
   前記一連の画像のうち前記画像における各ピクセルを、ピクセル値の範囲に基づいて、オブジェクトクラスまたは水クラスのいずれかとして分類するステップと、
   オブジェクトクラスとして分類された各ピクセルについて、前記一連の画像のうち前記画像における各ピクセルを、少なくとも一つのボート−航跡クラスタへとグループ化するステップであり、各ボート−航跡クラスタは、相互に隣接しているオブジェクトクラスに属しているピクセルを含んでいる、ステップと、
   前記少なくとも一つのボート−航跡クラスタそれぞれを前記一式のトラックに係るサブジェクトトラックと関連付けするステップと、
   共通のボート−航跡クラスタと関連付けされている前記一式のトラックに係るトラックをクラスタ化するステップと、
   トラックの各クラスタに固有グローバルトラック識別子を割り当てるステップと、
   同一の固有グローバルトラック識別子を有しているトラックに係る各クラスタの代表トラックを選択するステップであり、前記選択された代表トラックは、トラックのランク付けされたリストにおいて第１ランクであって、トラックの前記ランクは、実際のオブジェクトを示す特徴に基づいている、ステップと、
   を含む、方法。
2. 前記方法は、さらに、
   一つの画像から次の画像へ一式のトラックに係るトラックを伝搬するステップであり、各トラックは、おそらく、水体におけるオブジェクト、または、水体におけるオブジェクトによって生成された航跡の一部である、ステップ、
   を含む、請求項１に記載の方法。
3. 前記少なくとも一つの検出を一式のトラックのうち単一トラックと関連付けするステップは、境界ボックスのオーバーラップに基づいて、新たな検出を伝搬されたトラックに対して関連付けするステップを含み、多くても一つの検出が一つのトラックに対して関連付けされ、かつ、多くても一つのトラックが一つの検出に対して関連付けされる、
   請求項１に記載の方法。
4. 境界ボックスは、前記少なくとも一つの検出に対する基準であり、前記境界ボックスは、前記少なくとも一つの検出に属するとみなされる少なくとも全てのピクセルを含む領域に係る上と下の行および左と右の列によって定められている、
   請求項３に記載の方法。
5. 水体におけるオブジェクトを識別し、追跡し、かつ／あるいは、標的にするように、一連の画像を処理するためのシステムであって、
   データストレージデバイスと通信する一つまたはそれ以上のプロセッサ、を含み、
   前記一つまたはそれ以上のプロセッサは、
   一連の画像のうち一つの画像において少なくとも一つの検出を特定し、それぞれの検出は、水体におけるオブジェクト、または、前記水体におけるオブジェクトによって生じた航跡の少なくとも一部、のうち少なくとも一つであり、
   前記少なくとも一つの検出を一式のトラックのうち単一トラックと関連付けし、前記一式のトラックはメモリの中に保管されており、
   前記一式のトラックのいずれのトラックとも関連付けされていない前記少なくとも一つの検出それぞれについて少なくとも一つの新たなトラックを作成し、
   前記一連の画像のうち前記画像における各ピクセルを、ピクセル値の範囲に基づいて、オブジェクトクラスまたは水クラスのいずれかとして分類し、
   オブジェクトクラスとして分類された各ピクセルについて、前記一連の画像のうち前記画像における各ピクセルを、少なくとも一つのボート−航跡クラスタへとグループ化し、各ボート−航跡クラスタは、相互に隣接しているオブジェクトクラスに属しているピクセルを含んでおり、
   前記少なくとも一つのボート−航跡クラスタそれぞれを前記一式のトラックに係るサブジェクトトラックと関連付けし、
   共通のボート−航跡クラスタと関連付けされている前記一式のトラックに係るトラックをクラスタ化し、
   トラックの各クラスタに固有グローバルトラック識別子を割り当て、
   同一の固有グローバルトラック識別子を有しているトラックに係る各クラスタの代表トラックを選択し、前記選択された代表トラックは、トラックのランク付けされたリストにおいて第１ランクであって、トラックの前記ランクは、実際のオブジェクトを示す特徴に基づいている、
   ように構成されている、システム。
6. 前記一つまたはそれ以上のプロセッサは、さらに、
   一つの画像から次の画像へ一式のトラックに係るトラックを伝搬し、各トラックは、おそらく、水体におけるオブジェクト、または、水体におけるオブジェクトによって生成された航跡の一部である、
   ように構成されている、請求項５に記載のシステム。
7. 前記一つまたはそれ以上のプロセッサは、さらに、
   境界ボックスのオーバーラップに基づいて、新たな検出を伝搬されたトラックに対して関連付けし、多くても一つの検出が一つのトラックに対して関連付けされ、かつ、多くても一つのトラックが一つの検出に対して関連付けされる、
   ように構成されている、請求項５に記載のシステム。
8. 境界ボックスは、前記少なくとも一つの検出に対する基準であり、前記境界ボックスは、前記少なくとも一つの検出に属するとみなされる少なくとも全てのピクセルを含む領域に係る上と下の行および左と右の列によって定められている、
   請求項７に記載のシステム。
9. 水体におけるオブジェクトを識別し、追跡し、かつ／あるいは、標的にするように、一連の画像を処理するための、媒体上に具現化されたコンピュータで読取り可能なプログラムコードを有する有形のコンピュータで読取り可能な媒体であって、
   コンピュータで読取り可能なコードはインストラクションを含み、インストラクションがプロセッサによって実行されると、前記プロセッサは、
   一連の画像のうち一つの画像において少なくとも一つの検出を特定し、それぞれの検出は、水体におけるオブジェクト、または、前記水体におけるオブジェクトによって生じた航跡の少なくとも一部、のうち少なくとも一つであり、
   前記少なくとも一つの検出を一式のトラックのうち単一トラックと関連付けし、前記一式のトラックはメモリの中に保管されており、
   前記一式のトラックのいずれのトラックとも関連付けされていない前記少なくとも一つの検出それぞれについて少なくとも一つの新たなトラックを作成し、
   前記一連の画像のうち前記画像における各ピクセルを、ピクセル値の範囲に基づいて、オブジェクトクラスまたは水クラスのいずれかとして分類し、
   オブジェクトクラスとして分類された各ピクセルについて、前記一連の画像のうち前記画像における各ピクセルを、少なくとも一つのボート−航跡クラスタへとグループ化し、各ボート−航跡クラスタは、相互に隣接しているオブジェクトクラスに属しているピクセルを含んでおり、
   前記少なくとも一つのボート−航跡クラスタそれぞれを前記一式のトラックに係るサブジェクトトラックと関連付けし、
   共通のボート−航跡クラスタと関連付けされている前記一式のトラックに係るトラックをクラスタ化し、
   トラックの各クラスタに固有グローバルトラック識別子を割り当て、
   同一の固有グローバルトラック識別子を有しているトラックに係る各クラスタの代表トラックを選択し、前記選択された代表トラックは、トラックのランク付けされたリストにおいて第１ランクであって、トラックの前記ランクは、実際のオブジェクトを示す特徴に基づいている、
   有形のコンピュータで読取り可能な媒体。
10. コンピュータで読取り可能なコードは、さらに、インストラクションを含み、インストラクションがプロセッサによって実行されると、前記プロセッサは、
    一つの画像から次の画像へ一式のトラックに係るトラックを伝搬し、各トラックは、おそらく、水体におけるオブジェクト、または、水体におけるオブジェクトによって生成された航跡の一部である、
    請求項９に記載の有形のコンピュータで読取り可能な媒体。
11. コンピュータで読取り可能なコードは、さらに、インストラクションを含み、インストラクションがプロセッサによって実行されると、前記プロセッサは、
    境界ボックスのオーバーラップに基づいて、新たな検出を伝搬されたトラックに対して関連付けし、多くても一つの検出が一つのトラックに対して関連付けされ、かつ、多くても一つのトラックが一つの検出に対して関連付けされる、
    請求項９に記載の有形のコンピュータで読取り可能な媒体。
12. 境界ボックスは、前記少なくとも一つの検出に対する基準であり、前記境界ボックスは、前記少なくとも一つの検出に属するとみなされる少なくとも全てのピクセルを含む領域に係る上と下の行および左と右の列によって定められている、
    請求項９に記載の有形のコンピュータで読取り可能な媒体。

Images