JP2010541050A - インペインティング及び誤り算出の構成を備えた地球空間モデリング・システム及び関連した方法 - Google Patents

Abstract

地球空間モデリング・システム（３０）は、地球空間モデル・データ記憶装置（３１）及びプロセッサ（３２）を含み得る。プロセッサ（３２）は、地球空間モデル・データ記憶装置（３１）と協調して、地球空間モデル・データ・セット内の複数の局所化誤り領域を識別し、地球空間モデル・データ・セットの全体誤り値を算出し、局所化誤り領域のうちの少なくとも１つのインペインティングを行い、全体誤り値を再算出し、全体誤り値が誤り閾値未満の場合、インペインティングを停止することができる。

Description

本発明は、データ・モデリングの分野に関し、特に、地球空間モデリング・システムなどのモデリング・システム及び関連した方法に関する。

地域のトポグラフィカル・モデルを多くのアプリケーションに使用することができる。例えば、トポグラフィカル・モデルは、フライト・シミュレータにおいて、かつ、軍事ミッションの計画のために使用することができる。更に、人工的に造られた構造体（例えば、都市）のトポグラフィカル・モデルは、例えば、セルラ・アンテナの配置、都市計画、防災及び災害分析や、地図作成などのアプリケーションにおいて非常に有用であり得る。

トポグラフィカル・モデルを作成する種々のタイプ及び手法が現在、使用されている。一般的なトポグラフィカル・モデルの１つに、ディジタル標高マップ（ＤＥＭ）がある。ＤＥＭは、コンピュータによって自動的に生成することができる地域のサンプリングされたマトリクス表現である。ＤＥＭでは、座標点を高さ値に対応させる。ＤＥＭは通常、種々の標高（例えば、谷、山等）間の遷移が一般に、１つの場所から別の場所まで平滑である地形のモデリングに使用される。すなわち、ＤＥＭは通常、地形を複数の曲面としてモデリングし、それらの間の不連続があれば、それはよって、「平滑化される」。よって、通常のＤＥＭでは、地形上に存在している卓越した物体はない。

特に効果的な３Ｄサイト・モデリング・プロダクトには、本出願の譲受人であるハリス社によるリアルサイト（登録商標）がある。リアルサイト（登録商標）は、関心の地域の重なる画像を位置合わせし、ステレオ・ビュー手法及びナディア・ビュー手法を使用して高分解能ＤＥＭを抽出するために使用することができる。リアルサイト（登録商標）は、高精度のテクスチャ及び構造境界を有する、都市を含む地域の３次元（３Ｄ）トポグラフィカル・モデルを作成するための半自動処理を提供する。更に、リアルサイト（登録商標）モデルは、地球空間的に高精度である。すなわち、モデル内の何れかの特定の点の位置は、地域内の実際の場所に、非常に高い精度で対応する。リアルサイト（登録商標）モデルを生成するために使用されるデータは、例えば、航空写真及び衛星写真、光電、赤外線、光検出及び測距（ＬＩＤＡＲ）を含み得る。

ハリス社による同様な別のシステムには、ライトサイト（登録商標）がある。ライトサイト（登録商標）モデルは、ＬＩＤＡＲ及びＩＦＳＡＲの画像からの地面、群葉、及び都市のディジタル標高モデル（ＤＥＭ）の自動抽出を提供する。ライトサイト（商標）は、建物及び地形の、地球空間的に高精度であり、高分解能の手頃な３Ｄモデルを生成するために使用することが可能である。

本願の譲受人に、やはり譲渡されており、その内容全体を本明細書及び特許請求の範囲に援用するＲａｈｍｅｓらによる米国特許６６５４６９０号明細書には、位置に対する標高のランダムに離間したデータに基づいて、地形及び建物を含む領域のトポグラフィカル・モデルを作成するための自動化手法が開示されている。上記方法は、所定の位置グリッドに準拠した、位置に対する標高のグリッド・データを生成するよう、ランダムに離間したデータを処理する工程と、地形データと建物データを識別するようグリッド・データを処理する工程と、建物データのポリゴン抽出を行って、地形及び建物を含む領域のトポグラフィカル・モデルを作成する工程とを含む。

多くの場合、地域空間モデル又は他のモデルを生成されるために使用されるデータにおけるボイド又は間隙が存在する。ボイドは否定的に、結果として生じるモデルの品質に影響を及ぼし、よって、可能な場合、データを処理する間に、前述のボイドを補償することが望ましい。種々の補間手法は一般に、データ・フィールドにおいて欠落しているデータを充填するために使用される。前述の手法の１つには、信号が帯域制限されていることを前提としたサイン補間がある。前述の手法は、通信及びオーディオ信号によく適しているが、３Ｄデータ・モデルにはあまりよく適していないことがあり得る。別の手法は、多項式補間である。前述の手法は、時には、実現することが困難である、計算量オーバヘッドが、所望の精度をもたらすために必要であり得る高次多項式の場合に、過剰な負荷になり得る。

更なる補間手法の１つは、スプライン補間である。前述の手法は、比較的高い再構成精度をもたらし得るが、モデル全体にわたって大局的なスプラインを解くうえでの困難性が理由で、かつ、所要の行列がうまく調節されていないことがあり得る３Ｄデータ・モデルにおいて実現することに問題があり得る。前述の従来の手法の更なる欠点の１つには、エッジのコンテンツがぼやける傾向があるという点であり、これは、３Ｄトポグラフィカル・モデルでは重要な問題であり得る。

画像内の領域において充填するための別の手法は、Ｃｒｉｍｉｎｉｓｉらによる米国特許６９８７５２０号明細書に開示されている。前述の特許明細書には、画像内の宛先領域を置換するために適切な充填材料を識別し、前述の材料を使用して宛先領域を充填する典型ベースの充填システムが開示されている。このことは、画像内の宛先領域を充填するために必要な手作業の編集の量を軽減するか、又は最小にするために行われる。画像データのタイルを宛先領域又は特定の他のソースの近くから「借りて」、上記領域を充填するための新たな画像データを生成する。宛先領域は、ユーザ入力（例えば、ユーザによる画像領域の選択）により、又は、他の手段（例えば、置換する対象の色又は特徴の規定）によって指定することができる。更に、宛先領域が例えばタイルによって充填される順序は、一種の等光線駆動画像サンプリング処理を使用して複合テクスチャ及び線形構造の連続性を強調するよう構成することができる。

ＤＥＭなどの地球空間モデルに関しては、ボイド等による誤り補正及び認識に対処するために種々の手法が試行されている。前述の手法の１つには、「Ｄｉｇｉｔａｌ Ｅｌｅｖａｔｉｏｎ Ｍｏｄｅｌ Ｅｒｒｏｒ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｖｉｓｕａｌｉｚａｔｉｏｎ， ４ｔｈ ＩＳＰＲＳ Ｗｏｒｋｓｈｏｐ ｏｎ Ｄｙｎａｍｉｃ ＆ Ｍｕｌｔｉｄｉｍｅｎｓｉｏｎａｌ ＧＩＳ （Ｐｏｎｔｙｐｒｉｄｄ， Ｗａｌｅｓ，ＵＫ，２００５）、 Ｃ．Ｇｏｌｄ， Ｅｄ．， ｐｐ． ４２−４６」と題する、Ｇｏｕｓｉｅによる論文に記載されている。前述の論文には、ＤＥＭにおける誤りを可視化するための２つの手法が提示されている。１つの手法は、二乗平均平方根誤差（ＲＭＳＥ）に始まり、次いで、閾値を超える誤りを含む、ＤＥＭ内の領域を強調する。第２の手法は、局所曲線を計算し、ＤＥＭにおけるずれを表示する。可視化手法は、３次元であり、動的であり、何れの角度でも何れの部分も検査するよう表面を回転させるという選択肢を観察者に与える。

別の例は、「Ｆｉｌｌｉｎｇ ＳＲＴＭ Ｖｏｉｄｓ： Ｔｈｅ Ｄｅｌｔａ Ｓｕｒｆａｃｅ Ｆｉｌｌ Ｍｅｔｈｏｄ、 Ｐｈｏｔｏｇｒａｍｍｅｔｒｉｃ Ｅｎｇｉｎｅｅｒｉｎｇ ＆ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ、 Ｍａｒｃｈ ２００６、 ｐｐ． ２１３−２１６」と題する、Ｇｒｏｈｍａｎらによる論文に記載されている。前述の論文は、充填（Ｆｉｌｌ）及びフェザーリング（Ｆｅａｔｈｅｒ）（Ｆ＆Ｆ）手法などの従来の手法に対する改善をもたらすことを意図している、ＳＲＴＭディジタル標高データにおけるボイドを充填するための手法を開示している。Ｆ＆Ｆ手法では、ボイドは、ボイド特有の周囲バイアスを除去して、利用可能な最も高精度のディジタル標高ソース（「充填」）で置換される。次いで、界面がＳＲＴＭにフェザーリングされ、何れかの急峻な変動を緩和するために、遷移が平滑化される。２つの表面が、互いに非常に近く、トポグラフィック分散が最小のバイアスのみで離間している場合に最適に作用する。デルタ表面充填（ＤＳＦ）処理は、ボイド界面で求められるＳＲＴＭ値に調節される充填ソース・ポストでボイドを置換する。前述の処理により、充填が含む有用なデータをなお確保しながら元のＳＲＴＭ表面をより厳密に充填がエミュレートすることになる。

特定のアプリケーションにおいて前述の従来技術の手法がもたらし得る利点にかかわらず、地球空間や他のモデルのデータにおける誤り検出及び補正の更なる進展が、望ましいことがあり得る。

前述の背景に鑑みて、本発明の目的は、よって、拡充された誤り検出及び補正の構成を備える地球空間モデリング・システム及び関連した方法を提供することである。

前述並びに他の目的、構成、及び効果は、地球空間モデル・データ記憶装置及びプロセッサを含み得る地球空間モデリング・システムによってもたらされる。プロセッサは、地球空間モデル・データ記憶装置と協調して、地球空間モデル・データ・セット内の複数の局所化誤り領域を識別し、地球空間モデル・データ・セットの全体誤り値を算出し、局所化誤り領域のうちの少なくとも１つのインペインティングを行い、全体誤り値を再算出することができる。全体誤り値が誤り閾値未満の場合、インペインティングを停止することができる。

特に、プロセッサは更に、局所化誤り領域それぞれに関連付けられた局所化誤り値それぞれを求め、そのそれぞれの局所化誤り領域に基づいたインペインティングのために局所化誤り領域を優先順位付けし得る。例として、プロセッサは、最高局所化誤り値から最低局所化誤り値まで局所化誤り領域を優先順位付けすることができる。更に、プロセッサは、局所化誤り値が誤り閾値未満になるまで、最高局所化誤り値の局所化領域に、反復的にインペインティングを行うことができ、全体誤り値が誤り閾値未満でない場合、プロセッサは、次に高い局所化誤り値の局所化誤り領域に、反復的にインペインティングを行うことができる。

地球空間モデリング・システムは、ディスプレイを更に含み得る。そういうものとして、プロセッサは、地球空間モデル・データ記憶装置及びディスプレイと協調して、局所化誤り領域を示す、誤りを示す境界とともに、地球空間モデル・データ・セットを表示することができる。例として、誤りを示す境界は、有色の透明な幾何形状を含み得る。更に、局所化誤り値それぞれは、局所化平均二乗平方根誤り（ＲＭＳＥ）値を含み得、全体誤り値は、全体平均二乗平方根誤り（ＲＭＳＥ）値を含み得る。

インペインティングは、少なくとも１つの局所化誤り領域の外側から少なくとも１つの局所化誤り領域に輪郭データを反復的に伝播させる工程を含み得る。例として、これは、少なくとも１つの流体乱流モデリング等式に基づいて、かつ、典型的なインペインティングに基づいて行うことができる。

地球空間モデリング手法の局面は、地球空間モデル・データ・セット内の複数の局所化誤り領域を識別する工程、及び局所化誤り領域に基づいて地球空間モデル・データ・セットの全体誤り値を算出する工程を含み得る。上記手法は、反復的に、局所化誤り領域の少なくとも１つのインペインティングを行う工程、全体誤り値を再算出する工程、及び全体誤り値が誤り閾値未満である場合にインペインティングを停止する工程を更に含み得る。

コンピュータ読み取り可能な媒体は、地球空間モデル・データ・セット内の複数の局所化誤り領域を識別する工程と、局所化誤り領域に基づいて地球空間モデル・データ・セットの全体誤り値を算出する工程とを含む工程をコンピュータに行わせるためのコンピュータ実行可能な命令を有し得る。上記工程は更に、反復的に、局所化誤り領域の少なくとも１つのインペインティングを行う工程、全体誤り値を再算出する工程、及び全体誤り値が誤り閾値未満である場合にインペインティングを停止する工程を更に含み得る。

例示的な一実施例による、地球空間モデリング・システムを示す概略ブロック図である。 ディジタル標高モデル（ＤＥＭ）、並びに、図１のシステムが誤り検出及び補正を行う対応する誤りＤＥＭを示す図である。 ディジタル標高モデル（ＤＥＭ）、並びに、図１のシステムが誤り検出及び補正を行う対応する誤りＤＥＭを示す図である。 図３の誤りＤＭのスクリーン・プリント、及び局所化誤り領域の相対誤りを識別する関連付けられたテーブルを示す図である。 図２のＤＥＭの不規則三角形網ＴＩＮ表現を示す図である。 図２のＤＥＭの不規則三角形網ＴＩＮ表現を示す図である。 図５ＡのＴＩＮの一部分を更に詳細に示す図である。 図５ＢのＴＩＮの一部分を更に詳細に示す図である。 地球空間モデル・データにおける局所化誤り領域の識別及びインペインティングを行うための地球空間モデリング方法を示すフロー図である。 地球空間モデル・データにおける局所化誤り領域の識別及びインペインティングを行うための地球空間モデリング方法を示すフロー図である。 ユーザ選択可能な建物形状オプションを提供する、図１のシステムの別の実施例を示す概略ブロック図である。 図９のシステムによって表示される一連の建物形状を示す図である。 ユーザ選択可能な建物形状オプションを提供するための別の地球空間モデリング方法を示すフロー図である。 ユーザ選択可能な建物形状オプションを提供するための別の地球空間モデリング方法を示すフロー図である。 ユーザ選択された建物領域及び求められた高さ値に基づいて建物形状を生成するための、図１のシステムの更に別の代替的な実施例を示す概略ブロック図である。 生成された建物形状によって置換する対象の建物境界領域を備えたＤＥＭのスクリーン・プリントである。 完全に自動の生成後の図１４のＤＥＭのスクリーン・プリントと、図１３のシステムによる手作業／自動手法によるタッチアップ後の図１４のＤＥＭのスクリーン・プリントとの比較を示す図である。 完全に自動のバージョン、及びタッチアップされたバージョンそれぞれの図１５のＤＥＭの３Ｄディスプレイ表示を示す図である。 完全に自動のバージョン、及びタッチアップされたバージョンそれぞれの図１５のＤＥＭの３Ｄディスプレイ表示を示す図である。 ユーザ選択された建物領域及び求められた高さ値に基づいて建物形状を生成するための地球空間モデリング方法の、別の代替的な実施例を示すフロー図である。

次に、本発明を、添付図面を参照して以下に更に詳細に説明する。添付図面には、本発明の好ましい実施例を示す。しかし、本発明は、別々の多くの形態で実施することができ、本明細書及び特許請求の範囲記載の実施例に限定されるものと解されるべきでない。むしろ、前述の実施例は、この開示が十分かつ完全であり、当業者に本発明の範囲を完全に伝えるように記載する。同じ数字は全体を通して同じ構成要素を表し、プライム表記を使用して、別の実施例における同様な構成要素を示す。

まず、図１乃至図７を参照すれば、地球空間モデリング・システム３０は例証的には、地球空間モデル・データ記憶装置３１と、プロセッサ３２とを含み、（任意的には、）ディスプレイ３３を含む。地球空間モデル・データ記憶装置３１は、例えば、ディジタル標高モデル（ＤＥＭ）、ディジタル表面モデル（ＤＳＭ）、及び／又は不規則三角形網（ＴＴＩＮ）データなどの地球空間モデル・データを記憶する。一般的には、前述のモデル・データは、当業者によって認識されるように、上記リアルサイト（商標）及びライトサイト（商標）サイト・モデリング・プロダクトなどのシステムを使用して、ＬＩＤＡＲ、合成開口レーダー（ＳＡＲ）、写真、光電、赤外線等などの「未処理」データ・キャプチャから生成される。地球空間モデル・データ・セットは、別のソースによって生成し、後述する更なる処理動作のためにプロセッサ３２に供給し得るか、又は、プロセッサは、別の実施例において地球空間モデル・データ・セットを生成することができる。

背景として、通常の従来技術手法では、例えば、ディジタル標高モデル（ＤＥＭ）から３Ｄサイト・モデルを自動的に生成する場合、雑音のあるデータ、オクルージョン、境界条件（部分的にカットオフされている等）、アルゴリズムの制約等などの要因が理由で、手作業の（すなわち、人間の操作者による）タッチアップに対する必要性が存在している。しかし、非常に大きいものであり得るサイト・モデルの手作業によるタッチアップは、非常に時間がかかる。更に、大きなモデルにおける編集を必要とする領域の位置特定は、長たらしく、困難であり得る。

手作業のサイト・モデル作成においても、同様な課題に直面する。手作業の編集は、制作プロセスにおいて比較的長く、費用が高くつく工程であり、モデラー（すなわち、ユーザ又は操作者）として、多くの場合、３Ｄでモデルをレンダリングし、問題領域を位置特定し、前述の領域が２Ｄ空間においてどこと相関しているかを見出し、次いで、２Ｄ画像空間において補正を行わなければならない。特に、手作業のモデル生成も、自動化モデルの手作業のタッチアップも、通常、ポリゴンを生成するために画像に依存する。ポリゴンの高さは、画像におけるキューに基づいた算出、又は別の画像へのポリゴンの再配置によって得られる。固定する対象の領域の位置特定は通常、モデラー（すなわち、「目」）によって完全に行われ、それが詳細まで注意することに依存する。すなわち、このことは、ユーザの誤りの可能性をもたらす。

そういうものとして、自動化処理においても手作業処理においても、モデルにおいて前述の問題領域を位置特定することができ、次いで、操作者の労力がほとんどないか、又は上記労力が削減された状態で補正するために、比較的高速かつ効果的な手法を有することにより、かなりの量の時間及び費用を節減し得る。したがって、一局面によれば、システム３０は、拡充された誤り検出及び補正の処理を効果的に行うことができる。

特に、ブロック７０から始め、プロセッサ３２は効果的には、ブロック７１で、地球空間モデル・データ・セット内の複数の局所化誤り領域を識別するための地球空間モデル・データ記憶装置３１と協調し、ブロック７２で、ＤＥＭ４０’の全体誤り値を算出する。誤りを含む例示的なＤＥＭ４０は図２に示す。ＤＥＭの別の誤り表示４０’は図３に示し、誤りＤＥＭ内の特定の局所化誤り領域４１’を図４に示す。すなわち、プロセッサ３０は効果的には、局所化誤り領域４１’を求めるために、比較的低い誤り値を有する領域と、比較的高い誤り値を有するＤＥＭ４０内の領域を分離する。例として、ＤＥＭ４０内の局所化誤り領域４１’の誤り値、及び全体ＤＥＭ誤り値は、当業者によって認識されるように、全体誤り、局所平均二乗平方根誤り（ＲＭＳＥ）、最大誤り、平均二乗誤り（ＭＳＥ）、全体ＤＥＭに対するＭＳＥ、全体ＤＥＭに対するＲＭＳＥ等を含む。

プロセッサ３２は、ブロック７３で、更に、局所化誤り領域４１’の１つ又は複数のインペインティングを行って、その欠けているか、隠れた等の部分を修復又はその他のやり方で補正する。例として、これは、インペインティング・アルゴリズムなどの種々の手法を使用して行うことができ、特に、ナビエ・ストークス方程式等などの流体流モデリング・アルゴリズムを使用して行うことができる。

別の手法は、当業者によって認識されるように、損なわれたか、又は無効にされたデータに対する最善の一致をもたらすための、ＤＥＭ４０内（又は別のデータ・セット内）からのパッチの「カッティング」及び「ペースティング」を伴う。インペインティングは、やはり当業者によって認識されるように、一部の実施例では、反復的に行うことができる。使用することができる例示的なインペインティング手法に関する更なる詳細を、本願の譲受人に譲渡され、その内容全体を本明細書及び特許請求の範囲に援用する、本出願と同時係属中の米国特許出願１１／４５８８１１号明細書及び１１／８５８２４７号明細書に記載している。

インペイントを行う対象の局所化誤り領域４１’は種々のやり方で選択することができる。図８に示す例示的な実施例によれば、局所化誤り領域４１’は、そのそれぞれの誤り値に基づいたインペインティングのために優先順位付けされる（ブロック８０’）。すなわち、局所化誤り領域４１’の誤りを算出すると、前述の領域は、それに基づいたインペインティングのために優先順位付けされる。例えば、誤りは、最大誤り、相対誤り等によってソートすることができ、領域４１’は、当業者によって認識されるように、最高誤り値から最低誤り値までの時点において一度に１つのインペインティングを行うために選択される。しかし、他の実施例では、インペインティングが行われる対象の領域４１’の順序は、別の順序で選択することが可能であるか、又は２つ以上の領域を一度にペインティングすることが可能である。

ブロック７４乃至７５で、全体誤り値が誤り閾値未満であるかを判定するために、プロセッサ３２は、局所化誤り領域４１’のインペインティング後の、ＤＥＭ４０’の全体誤り値を再算出する。肯定の場合、プロセッサ３２は、ブロック７６で、現在の局所化誤り領域４１’のインペインティングを停止し、よって、図７に示す方法を完了する。さもなければ、プロセッサ３２は、全体誤り値が誤り閾値未満にされるまで、現在の局所化誤り領域４１’又は別の領域４１’のインペインティングに戻る。

最高誤り値から最低誤り値まで一度に１つ、局所化誤り領域のインペインティングが行われる一例示的実施例では、全体誤り値の再算出により、全体誤り値が誤り閾値未満でない場合、プロセッサ３２は、ブロック８１’で、インペインティングされる局所化誤り領域の誤り値が誤り閾値（全体閾値と同じ閾値であっても、全体閾値と異なる閾値であってもよい）未満であるか否かを判定する。否定の場合、プロセッサ３２は、更なるインペインティング動作のために、この同じ局所化誤り領域４１’に戻る。さもなければ、ブロック８２’で、プロセッサ３２は、次の局所化誤り領域４１’（すなわち、インペインティングが行われる対象の行内の、次に高い誤り値を有する領域）に移動する。

上記は、図４に示す例を参照して更に理解されるであろう。ここで、１．７２０１８ｍＲＭＳＥ（最高）乃至１．５８８６７ｍＲＭＳＥ（最低）の誤り値を有する識別された誤り領域４１’は７つ存在しており、誤りＤＥＭ４０’の全体誤り値は１．８１０４３ｍである。この例について選択された誤り閾値は１．６ｍであるが、他の誤り閾値を他の実施例において適宜、使用することができる。よって、プロセッサ３２はまず、インペインティングのために、１．７２０１８ｍＲＭＳＥ誤り値を備えた局所化誤り領域４１’を選択し、次いで、ＤＥＭ４１’のその誤り値が１．６ｍＲＭＳＥ未満になるか、又は全体誤り値が１．６ｍＲＭＳＥ未満になるまでこの領域のインペインティングを行う。前者が後者よりも先に生じた場合、プロセッサ３２は、誤りＤＥＭ４０’の全体誤り値が１．６ｍＲＭＳＥ未満になるまで、１．６７６４７ｍＲＭＳＥ等の次の誤り領域４１’のインペインティングを進める。

図５ＡのＴＩＮ４０Ａ（境界なし）及び図５ＢのＴＩＮ４０Ｂ（境界あり）にみられるように、ブロック８３’で、システム３０の別の特に効果的な特徴は、一度、局所化誤り領域４１’が選択されると、プロセッサ３２は任意的には、ディスプレイ３３上に、間違った建物４５や他の物体／領域を識別する境界４８を示す誤りとともに地球空間モデル・データ・セットを表示することができるということである。これにより、どの建物４５等が、地球空間モデル・データ・セット内の問題位置であるかをユーザがより厳密に可視化することが可能になる。例証された例では、誤りを示す境界４６は幾何形状である。更に、前述の形状は、表示子が関連付けられた物体を、それを通してなお見ることを可能にするよう透明又は半透明である。例証された例では、幾何形状は、略矩形の建物に対する、望ましい視覚的コントラストをもたらす円筒又は半円筒形状（すなわち、部分円筒）である。しかし、他の形状／表示子も使用することができる。表示子４６は、特定の実施例では、誤りの重大度を示すために色（例えば、最高誤り値乃至最小誤り値を示すための赤色・オレンジ色・黄色・白色）を付けることもできる。

前述のシステム３０及び方法の特定の効果は、自動化モデルの問題領域の位置特定及び優先順位付けをもたらすというものである。一部の実施例では、前述の手法は、地球空間モデル・データ・セット内の問題領域についての手作業の（すなわち、ユーザ）のサーチの必要なしで完全に自動化され得る。更に、結果は、どの領域を最初にアドレス指定するかによって優先順位付けすることが有用であり得る。

次に図９乃至図１２を参照して説明する別の局面によれば、地球空間モデル・データ・セットの局所化誤り領域４１’内の建物４５をユーザがより容易に置換することを助力するためのシステム３０’及び関連した方法を次に説明する。ブロック１１０に始まり、プロセッサ３２’は、モデル・データ記憶装置３１’及びディスプレイ３３’と協調して、ブロック１１１で、個別の建物４５に対応する１つ又は複数のデータ点群を含む地球空間モデル・データを表示する。当業者が認識するように、マウス、ジョイスティック、キーボード等であり得る、ユーザ入力装置３４’での、ユーザによる手作業の選択、又はプロセッサ３２’による点の群の自動選択などの処理のために、特定の建物データ点の群を選択することができる。

例示的な１つの自動化された実施例では、キューを、ブロック１２０’で、（すなわち、誤り算出に基づいて）上記局所化誤り領域４１’の誤り値の優先順位付けを使用して構成して、補正することが必要な建物のキューを生成することができ、プロセッサ３２’は、（例えば、最高誤り値から最低誤り値までの）キュー内の順序でこれを処理することができる。誤りの算出は、例えば、上記のように、上記手法（例えば、ＲＭＳＥ等）を使用して行うことができる。更に、前述の誤り算出は、効果的には、当業者によって認識されるように、２Ｄ又は３Ｄのデータ・セットに対して行うことができる。あるいは、誤りを示す境界／形状４６を表示すると、ユーザは、所望の、補正する対象の建物データ点の群を（ユーザ入力装置３４’により、）手作業で選択することができる。当業者によって認識されるように、他の適切な選択手法も使用することができる。

本明細書及び特許請求の範囲で使用する「３Ｄ」は、真の３次元モデル・データ、及び、いわゆる２ １／２Ｄモデル・データ又は２．５Ｄモデル・データを包含することを意味する。より具体的には、多くのＤＥＭＳや他の地球空間モデル・データ・セットは、元のデータ・キャプチャに必ずしも存在していない、レンダリングされた建物の壁等を含み、よって、シーンを見る際に人間の眼に見えるものとしての完全に正確な３Ｄ画像をもたらさないので、時には、「２．５Ｄ」と呼ばれる。しかし、説明を明瞭にするために、「３Ｄ」は本明細書及び特許請求の範囲記載の両方のケースを包含することを意味する。

選択された建物データ点の群について、プロセッサ３２’は次いで、効果的には、ブロック１１２で、別々の複数のユーザ選択可能な建物形状１００ａ乃至１００ｄ（図１０）を表示する。すなわち、プロセッサ３２’は、複数の考えられる建物形状をユーザに提示するので、ユーザは、選択された点の群に最もうまく適合する形状をすばやく選択することが可能である。特に、ユーザ選択可能な複数の別々の建物形状１００ａ乃至１００ｄは、それらに関連付けられたそれぞれの別々の特徴詳細レベルを有する。

一般に、ユーザは、建物４５毎の、許容可能な誤りと、視覚的な相似との間のトレードオフに基づいて選択する対象の建物形状１００ａ乃至１００ｄを決定する。これは、当業者によって認識されるように、特定の地球空間モデル・データ・セットの特定の誤りパラメータに依存する。所望の建物形状がユ―ザにより、（すなわち、ユーザ入力装置３４’により、）選択されると、プロセッサ３２’は次いで、効果的には、ブロック１１３で、選択された建物形状で、特定の建物データ点の群を置換することができ、データ・セットを更新し（、モデル・データ記憶装置３１’に変更を保存し）、図１１（ブロック１１４）に示す方法を終える。

例証された例では、最小の、又は最低の特徴詳細レベルを（有し、かつ、相応に、それに関連付けられた最高の誤り値を）有する形状は、略矩形の建物、又は「バウンディング」・ボックス１００ａである。一方、形状１００ｄは、最高の特徴詳細レベル（すなわち、最低の誤り値）を有する。これは、建物データ点の群の１対１の一致であるからである。すなわち、形状１００ｄは、元のデータ・セットに存在する詳細全てを含む。形状１００ｂ及び１００ｃは、図１０にみられるように、形状１００ａ及び１００ｄそれぞれ最高レベルと最低レベルとの間で異なる詳細レベルを有する。

複数のユーザ選択可能な建物形状１００ａ乃至１００ｄは概念的には、モデル内でレンダリングされる実際の建物４５の真の、又は「実際の」形状をより正確に反映するために特定の形状をユ―ザがすばやく選択することが可能な考えられる建物形状の「ツールボックス」として概念的にみなすことができる。
前述の形状１００ａ乃至１００ｄのツールボックスを、上記建物のインペインティングの代わりに使用することができる。すなわち、上記手法を使用すれば、プロセッサ３２’は、それに関連付けられた誤り値に基づいて、順番に補正する対象の建物データ点群を選択し、地球空間モデル・データ・セットが誤り閾値を下回るまで（か、又は、局所化誤り閾値が誤り閾値を下回るまで）、間違ったデータ点群を置換するために建物毎のそれぞれの建物形状をユーザに提示することができる。当然、他の実施形態では、所望の場合、ユーザは、誤り閾値を使用することなく、所望の、建物点の群を手作業で置換することができるに過ぎない。

更に、複数のレベルの建物形状又はツールボックスが、ユーザに提示され得る。例えば、ユーザには、４つの建物形状１００ａ乃至１００ｄの第１の組が提示され得、選択された形状に基づいて、プロセッサ３２’は、第１の選択された形状等により近い詳細レベル（又は誤り値）の別の４つの形状の組を供給することができる。よって、ユーザは、最も望ましい一致を得るために複数の形状レベルを「ドリルダウン」することが可能である。更に、連続したレベルの潜在的な形状それぞれにより、プロセッサ３２’は、（屋根ピッチ等などの）更なる詳細又は特徴を形状に加えることが可能である。このことは効果的には、処理時間の節減に有用であり得る。プロセッサ３２’は、大きな幅の考えられる誤り値に沿って複数の形状を生成しなくよいが、むしろ、ユーザに関心のあるより狭い関心誤り範囲にすばやく注力し、当業者によって認識されるように、この範囲内の建物形状のみを生成することが可能である。

システム３０’及び関連した方法の特定の効果は、建物のボックス１００ａから元のポイント・クラウド１００ｄまでに及ぶ、画面上でユーザに向けて提示される比較的完全な範囲の自動的に生成されたオプション（すなわち、ユーザ選択可能な建物形状）を含む問題解決が自動的にもたらされるということである。更に、前述の手法は効果的には、ユーザが、カスタム化された解決策をユーザ要件に基づいて「オンザフライで」生成することを可能にし得る。

更に図１３乃至図１７に移れば、２Ｄ画像空間に変換することを要するのでなく、ユーザが３Ｄモデルに対して手作業の誤り補正を比較的すばやくかつ容易に行う別の効果的な地球空間モデリング・システム３０”及び関連した方法の局面を次に説明する。例として、その誤り値が誤り閾値を下回る点まで局所化誤り領域のインペインティングを行うことができないか、又は、適切な建物形状をユーザに向けて提示することが可能でない場合、ユーザが、建物などの間違った物体を「手作業で」補正することが可能であるように、以下の手法を上記手法と組合せて使用することができる。本明細書では、「建物」に対する参照は、高層建物構造のみならず、広い範囲の人工構造（例えば、家、スタジアム、アリーナ、貯蔵タンク、橋等）を含むことを意味しているが、「建物」は、全体を通して、参照を明瞭にし、単純にするために使用している。

より具体的には、ブロック１７０に始まり、本実施例では、プロセッサ３２”は、ブロック１７１で、ディスプレイ上に３Ｄ地球空間モデル・データ・セットを表示するためのディスプレイ３３”、ユーザ入力装置３４”、地球空間モデル・データ記憶装置３１と協調する。更に、建物の境界１４１が、ユーザ入力装置３４”に応じて、ＤＥＭ１４０におけるユーザ選択された建物領域周りに表示され（ブロック１７２）、選択された建物領域内の高さ値のヒストグラムが生成される（ブロック１７３）。前述の例では、ＤＥＭ１４０は、誤り補正がまだ行われていないという点で「未処理」である。

プロセッサ３２”は次いで、効果的には、ブロック１７４で、高さ値のヒストグラムに基づいて建物の高さを求めることができる。例として、建物の高さはピーク・ヒストグラム値に基づき得る。より具体的には、建物の高さは、所定の組の統計基準を満たす、（ヒストグラムの最小値から始めて）第１の高さのクラスタ、又は顕著な高さのクラスタの中心として選ぶことができる。前述の手法は効果的には、当業者によって認識されるように、例えば、建物のエッジ付近のデータ収集点について、雑音のあるエッジ・ポストから、誤りの受けやすさがより低い建物の高さを選択することができる。

建物の高さが求められると、次いで、ブロック１７５で、ユーザ選択された建物領域１４１及び求められた建物の高さに基づいて建物形状が生成され、ユ―ザ選択された建物領域内のデータ点は、ブロック１７６で、建物形状に基づいて置換され、よって例証された手法が完了する（ブロック１７７）。すなわち、プロセッサ３２”は、ユーザ選択された建物領域１４１及び求められた建物の高さの輪郭を有する新たな建物形状をレンダリングする。

図１５では、ライトサイト（登録商標）自動化建物ベクトル処理によって元の入力を処理した後のＤＥＭ１４０’をまず示す（図の左側）。ＤＥＭ１４０’は、低い建物、境界条件／誤り、オクルージョン、及び雑音を伴う領域を含む。

比較として、上記手法を使用したＤＥＭ１４０”の手作業でタッチアップされたバージョンを図１５の右側に示す。前述の補正されたＤＥＭ１４０”は、所要の処理（すなわち、ＣＰＵ）時間を上回る、（訓練された操作者により、）示された誤り補正動作を行うために約２分間のユーザ時間を要している。しかし、このＣＰＵ処理時間は、完全自動化の誤り補正に必要な処理時間と比較して比較的小さい。図１６Ａ及び図１６Ｂは、図１５の手作業で補正されたＤＥＭ１４０”及び自動的に補正されたＤＥＭ１４０’の対応するシミュレートされた３Ｄ表示１４０Ａ’及び１４０Ｂ’である。シミュレートされた表示にみられるように、手作業のタッチアップは、（すなわち、存在している建物１４５Ａ‘に加えて）完全に自動化されたＤＥＭ１４０’に含まれていない建物１４５Ｂ’の生成をもたらす。

特定の地球空間モデル・データ・セットの特定の誤り／精度要件及び特定の実現形態に応じて、誤り補正に対する完全に自動化された手法を単に使用することが許容可能であり得る。このことは、基本的な未補正のＤＥＭ１４０に対してかなりの向上をもたらすからである。しかし、更なる精度が必要な場合、上記３Ｄの手作業の誤り補正手法（処理の残りは実際に自動化され得るが、ユーザ選択された建物領域１４１を描くためにユーザの関与がある程度必要であるので、本明細書及び特許請求の範囲では「手作業」として表す）を効果的に、完全に自動化された誤り補正の代わりに、又は完全に自動化された誤り補正の補足として使用することができる。上記手作業の手法は、通常の現在の手作業のモデル編集ツール（対応する２Ｄ表示への変換又は再配置、建物の高さ値のユーザの推測等を必要とし、これは、ユーザにとって非常に時間がかかり得る）よりも、費やされる時間がずっと少ない。

よって、システム３０”及び関連した方法は効果的には、更なる品質管理オプションとして、ＤＥＭ等に直接描くことを可能にし得る。前述の手法は、手作業で描かれた建物の高さを得るためにユーザの関与を必要としない。すなわち、プロセッサ３２”は効果的には、ユーザ選択された建物領域１４１に基づいて自動的にユーザのためにこれを行う。そういうものとして、従来技術の画像ベースの多くの誤り補正手法のような、２Ｄ画像への時間がかかる再配置を行わなくてよい。更に、表示された３Ｄ ＤＥＭや他の３Ｄデータ・モデル上で直接、問題領域を補正することができるので、更なる衛星又は航空の参照画像は必要でなく、このことは更なる時間及び費用の節減をもたらす。

前述のシステム及び方法の他の効果には、３Ｄモデリング生成の品質管理段階における時間及び費用の節減、特定のモデル要件の組に対して、自動化された３Ｄモデルの生成を、より検証可能にし、より柔軟にすること、見逃された問題領域を伴う最終プロダクトを送出する可能性を潜在的に低減させること、及び生成されたモデルの作業し直しを低減させることがある。

上記地球空間モデル手法の局面は、当業者によって認識されるように、上記工程をコンピュータに行わせるためのコンピュータ実行可能な命令を有するコンピュータ読み取り可能な媒体に実施することもできる。

Claims (10)

1. 地球空間モデリング・システムであって、
   地球空間モデル・データ記憶装置と、
   前記地球空間モデル・データ記憶装置と協調して、
   地球空間モデル・データ・セット内の複数の局所化誤り領域を識別し、
   前記地球空間モデル・データ・セットの全体誤り値を算出し、
   前記局所化誤り領域のうちの少なくとも１つのインペインティングを行い、前記全体誤り値を再算出し、前記全体誤り値が誤り閾値未満の場合、インペインティングを停止するためのプロセッサと
   を含む地球空間モデリング・システム。
2. 請求項１記載の地球空間モデリング・システムであって、前記プロセッサは更に、局所化誤り領域それぞれに関連付けられた局所化誤り値それぞれを算出し、そのそれぞれの局所化誤り領域に基づいたインペインティングのために前記局所化誤り領域を優先順位付けする地球空間モデリング・システム。
3. 請求項２記載の地球空間モデリング・システムであって、前記プロセッサは、最高の局所化誤り値から最低の局所化誤り値まで前記局所化誤り領域を優先順位付ける地球空間モデリング・システム。
4. 請求項３記載の地球空間モデリング・システムであって、前記局所化誤り値が前記誤り閾値未満になるまで、前記最高の局所化誤り値の前記局所化領域のインペインティングを反復して行い、前記全体誤り値が前記誤り閾値未満でない場合、前記プロセッサは、次に高い局所化誤り値の前記局所化誤り領域のインペインティングを行う地球空間モデリング・システム。
5. 請求項１記載の地球空間モデリング・システムであって、ディスプレイを更に備え、前記プロセッサは、前記地球空間モデル・データ記憶装置及び前記ディスプレイと協調して、前記局所化誤り領域を示す、誤りを示す境界とともに前記地球空間モデル・データを表示する地球空間モデリング・システム。
6. 請求項１記載の地球空間モデリング・システムであって、局所化誤り値それぞれは、局所化平均二乗平方根誤り（ＲＭＳＥ）値を含み、前記全体誤り値は、全体平均二乗平方根誤り（ＲＭＳＥ）値を含む地球空間モデリング・システム。
7. 地球空間モデリング方法であって、
   地球空間モデル・データ・セット内の複数の局所化誤り領域を識別する工程と、
   前記地球空間モデル・データ・セットの全体誤り値を算出する工程と、
   前記局所化誤り領域の少なくとも１つのインペインティングを行い、前記全体誤り値を再算出し、前記全体誤り値が誤り閾値未満の場合にインペインティングを停止する工程と
   を含む、地球モデリング方法。
8. 請求項７記載の地球空間モデリング方法であって、
   局所化誤り領域それぞれに関連付けられたそれぞれの局所化誤り値を算出する工程と、
   そのそれぞれの局所化誤り領域に基づいたインペインティングのために前記局所化誤り領域を優先順位付ける工程とを更に含む地球空間モデリング方法。
9. 請求項７記載の地球空間モデリング方法であって、優先順位付ける工程は、最高の局所化誤り値から最低の局所化誤り値まで前記局所化誤り領域を優先順位付ける工程を含む地球空間モデリング方法。
10. 請求項８記載の地球空間モデリング方法であって、インペインティングを行う工程は、前記局所化誤り値が前記誤り閾値未満になるまで、反復的に、最高局所化誤り値の前記局所化領域のインペインティングを行う工程と、前記全体誤り値が前記誤り閾値未満でない場合、反復的に、次に高い局所化誤り値の前記局所化誤り領域のインペインティングを行う工程とを含む地球空間モデリング方法。

Images