[go: up one dir, main page]

JP2010518458A - 事例/偏微分式ベースの空白領域への埋め込み技術および関連する精度評価 - Google Patents

事例/偏微分式ベースの空白領域への埋め込み技術および関連する精度評価 Download PDF

Info

Publication number
JP2010518458A
JP2010518458A JP2009549679A JP2009549679A JP2010518458A JP 2010518458 A JP2010518458 A JP 2010518458A JP 2009549679 A JP2009549679 A JP 2009549679A JP 2009549679 A JP2009549679 A JP 2009549679A JP 2010518458 A JP2010518458 A JP 2010518458A
Authority
JP
Japan
Prior art keywords
blank
data
geospatial
algorithm
case
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009549679A
Other languages
English (en)
Inventor
オニール スミス,アンソニー
ケリー,パトリック
ヤテス,ハーラン
ラムズ,マーク
アレン,ジョセフ
ベリスフォード,キャサリーン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harris Corp
Original Assignee
Harris Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harris Corp filed Critical Harris Corp
Publication of JP2010518458A publication Critical patent/JP2010518458A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Other Investigation Or Analysis Of Materials By Electrical Means (AREA)
  • Instructional Devices (AREA)

Abstract

地理空間モデリングシステム(20)は、地理空間データ記憶装置(21)、およびプロセッサ(22)を有する。プロセッサは、偏微分式アルゴリズム、および事例アルゴリズムを使用して、地理空間モデルデータの少なくとも一つの空白に対して、選択的にデータを修復するために、前記地理空間データ記憶装置と協同する。

Description

本発明は地形学の分野に関する。より詳細には、地形モデルを生成するシステム、および関連した方法に関する。
地理的領域の地形モデルが、多くの応用に用いられている。例えば、地形モデルは、フライトシミュレータ、および軍事任務を計画するために用いられ得る。さらにまた、例えば、人工的な構造(例えば都市)の地形モデルは、セルラー・アンテナの配置、都市計画、災害対応、および、分析のような応用、および、地図作成において極めて有用である。
地形モデルを作成する多機種の方法が、現在用いられている。一つの典型的な地形モデルは、デジタル標高マップ(DEM:Digital Elevation Map)である。DEMは、コンピュータによって自動化された方法で生成されるサンプリングされた地理的領域の行列表現である。DEMにおいて、座標点は、高さの値と一致するよう作成される。DEMは、通常は、異なる標高(例えば谷、山、その他)の間のあるところから次のところまでの変化が概ね滑らかであるような地形をモデル化するために使われる。DEMは通常は、複数の湾曲面として地形をモデル化する。すなわち、いかなる不連続の間も滑らかにされる。このように、典型的なDEMでは、独立した対象は、地形に存在しないとされる。
1つの特に有用な3D位置モデリングの製品としては、本願の移転における権利取得者であるハリス社のRealSite(登録商標)がある。RealSite(登録商標)は、ステレオおよび天低視野技術を用いて、関心地理的領域の重なっている画像を位置合わせし、高解像度のDEMを抽出する。RealSite(登録商標)は半自動化された方法を地理的領域の(正確なテクスチャおよび構造境界を有する都市を含む)三次元(3D)地形モデルを作成するために提供される。さらに、RealSite(登録商標)モデルは、地理空間的に正確である。すなわち、モデルの内の与えられたいかなる地点の位置は、非常に高い精度で実際の地理的領域の位置に対応する。RealSite(登録商標)モデルを生成するために使用するデータとしては、航空および衛星写真、電気光学、赤外線、および、明るい検出、および、ライダー(LIDAR:Light Detection and Ranging)が含まれ得る。
ハリス社からの他の類似したシステムとしては、LiteSite(登録商標)がある。LiteSite(登録商標)モデルによって、LIDAR、および、IFSAR画像から大地、葉群、および都市デジタル標高モデル(DEM)を自動的に抽出することができる。LiteSite(登録商標)は、入手可能で地理空間的に精密な、建物および地形の高解像度の三次元モデルを生成するために用いられ得る。
米国特許第6,654,690号明細書 Rahmesらによる特許文献1は、同様に本願の権利者に移転され、参照によって完全に本願明細書に組み入れられる。この出願は、位置と標高によってランダムに間隔を置かれたデータに基づき、地形および建物を含む地形モデルを生成する自動化された方法を開示している。この方法は、予め定められた位置グリッドに一致した、ランダムに間隔を置かれた標高と位置のグリッドデータを生成するステップ、建築物データと地形データを区別するためにグリッドデータを処理するステップ、および地形と建築物を含む地形モデルを生成するために建築物データのポリゴン抽出を実行するステップを含む。上述のアプローチは、正確で、かつ、現実的な文化的な(例えば建築物)詳細特徴を有する都市の優れた3Dモデルを提供するが、一部の応用においては、(文化的特徴が関心対象でない限り)文化的特徴を排除した、関心対象の地形領域を生成することが求められている。なお、地形データから文化的特徴が特定され、抽出されるならば、結果として生じるDEMに空白として置かれてもよい。さらに、一部の状況においては関心領域から文化的特徴に注目することが望ましい場合がある。葉群等が文化的特徴の部分を不明確にすることがあり、葉群等が抽出される場合には、文化的特徴の空白に同じ空白となる。 米国特許第6,987,520号明細書 Criminisiその他による特許文献2には、画像内の領域の埋め込みのための他のアプローチが開示されている。この特許は、画像の貼り付け先の領域を塗り替えるため、適切な埋め込み素材を特定する、事例ベース(exemplar−based)の埋め込みシステムを開示している。これによって、画像の貼り付け先の領域を埋め込むことを必要とする手動による編集の量が軽減され、また最小化される。領域に埋め込むために新規な画像データを生成するために、画像データのタイルが、貼り付け先の領域(destination region)の付近または他の一部のソースからコピーされる(borrowed)。貼り付け先の領域は、ユーザー入力(例えばユーザによる画像領域の選択)によって、または他の手段(例えば置き換えられる色または特徴の指定)によって示されてもよい。加えて、貼り付け先の領域が事例のタイル(example tile)によって埋め込まれる順番は、一種の等光線に適合(isophote-driven)した画像サンプリング方法を使用して、線形構造の連続性、および複合テクスチャを強調するように構成される。
通常、さまざまな補間技術が、データフィールドの欠測値の埋め込みのために用いられる。そのような技術として、sinc補間がある。この場合、信号の帯域は制限されていると仮定する。このアプローチは通信、およびオーディオ信号の非常に適しているが、それは3Dデータモデルに対しては適していないことが多い。他のアプローチは、多項式補間である。このアプローチは、所望の精度を提供するために必要な多元の多項式で負荷が往々にしてかかり、計算オーバーヘッドが発生し得るため、インプリメントするのが困難である。
他の1つの補間アプローチは、スプライン補間である。しかしながら、このアプローチは比較的高い復元精度を提供するが、3Dデータモデルを中でインプリメントするために問題を含んでいる。なぜなら、このアプローチは全てのモデルの上のグローバルなスプラインを解く際に困難性があり、かつ必要なマトリックスの条件が悪いためである。更に、この種の従来の技術の欠点は、エッジ・コンテンツをぼやけさせる傾向があるということである。そして、これは3D地形モデルの重要な課題となっている。
この種の従来技術なアプローチは、特定の応用においてよい効果を提供しているが、地理空間モデルデータの空白の埋め込みのための更なる発展が望まれている。
上述の背景から、本発明の目的は、地理空間モデリングシステムおよびこれに関連した方法を提供することである。これによって、地理空間モデルおよび関連する方法の中の空白を好適に埋め込むことができる。
上記および他の目的、特徴並びに効果は、地理空間モデリングシステム(geospatial modeling system)によって与えられる。本システムは、地理空間モデリングシステムであって、地理空間データ記憶装置と、偏微分式アルゴリズム、および事例アルゴリズムを使用して、地理空間モデルデータの少なくとも一つの空白(void)に対して、選択的にデータを修復するために、前記地理空間データ記憶装置と協同するプロセッサとを有してもよい。より具体的には、前記プロセッサは、更に、前記少なくとも一つの空白のために、前記少なくとも一つの空白の外周の長さに基づいて、空白複雑度予測器メトリックを決定し、前記空白複雑度予測器メトリックに基づいて、前記偏微分式アルゴリズム、および前記事例アルゴリズム間を選択してもよい。
実施例として、前記空白複雑度予測器メトリックがデータ周波数閾値より大きいかどうかに基づいて、前記プロセッサが、前記偏微分式アルゴリズム、および前記事例アルゴリズム間を選択してもよい。より詳細には、空白複雑度予測器が、データ周波数閾値より大きい場合、プロセッサは偏微分式アルゴリズムを選び、それ以外の場合には、事例アルゴリズムを選んでもよい。さらにまた、空白複雑度予測器がデータ周波数閾値より小さいときが終わるまで、プロセッサは、最初に反復的に事例アルゴリズムを選び使用してもよく、その後、偏微分式アルゴリズムを選び、反復的に使用する。前記プロセッサが、前記地理空間モデルデータのサイズに基づいて、前記偏微分式アルゴリズム、および前記事例アルゴリズム間を選択してもよい。
例えば、地理空間モデルデータは、標高データを有してもよい。更に、プロセッサは、修復するために、少なくとも一つの空白の外側から少なくとも一つの空白に、一定の標高等高線の線の方向に沿って少なくとも一つの空白の外側から標高等高線データを伝播させることによって、偏微分式アルゴリズムを使用してもよい。より詳細には、プロセッサは、少なくとも一つの空白の外側から少なくとも一つの空白に、標高等高線データを反復的に伝播させてもよい。選択的に修復することは、少なくとも一つの空白に関連づけられた停止の値が、エラー閾値より小さい間は、少なくとも一つの空白に反復的にデータを修復することを含んでもよい。プロセッサは、入力として、地理空間モデル地形データおよび地理空間モデル文化的特徴データを含む地理空間モデルデータを受信し、かつ地理空間モデル文化的特徴データを抽出し、処理してもよい。実施例として、偏微分式アルゴリズムは、少なくとも一つの乱流流体流れモデルアルゴリズム(turbulent fluid flow modeling algorithm)を含んでもよい。また、地理空間モデルデータは、デジタル標高モデル(DEM:Digital Elevation Model)
を有してもよい。
地理空間モデリング方法の態様は、地理空間モデル周波数領域データを提供するステップと、偏微分式アルゴリズムおよび事例アルゴリズムを使用して、地理空間モデルデータの少なくとも一つの空白に、選択的にデータを修復するステップとを含んでもよい。また、コンピュータ可読媒体も提供される。これは、偏微分式アルゴリズム、および、事例アルゴリズムを使用して、地理空間モデルデータの少なくとも一つの空白に対して、選択的にデータを修復する少なくとも一つのステップをコンピュータが実行するためのコンピュータ実行可能な命令を有してもよい。
本発明における地理空間モデリングシステムのブロック図である。 本発明における地理空間モデル地形データの内での空白修復のための地理空間モデリング方法の態様のフローチャートである。 本発明における空白修復の前後のDEMの地理空間モデル地形データの天低視野を示す図である。 本発明における空白修復の前後のDEMの地理空間モデル地形データの天低視野を示す図である。 より詳細に図3Aおよび図3Bにおいて使用する修復技術の地理空間モデル地形データの空白の一連のクローズアップを示す図である。 より詳細に図3Aおよび図3Bにおいて使用する修復技術の地理空間モデル地形データの空白の一連のクローズアップを示す図である。 より詳細に図3Aおよび図3Bにおいて使用する修復技術の地理空間モデル地形データの空白の一連のクローズアップを示す図である。 より詳細に図3Aおよび図3Bにおいて使用する修復技術の地理空間モデル地形データの空白の一連のクローズアップを示す図である。 本発明における地理空間モデル文化的特徴データの内で空白修復のための他の地理空間モデリング方法の態様を示すフローチャートである。 図5の方法における空白修復の前後のDEMの地理空間モデル文化的特徴データの図である。 より詳細に図6において使用する修復技術の地理空間モデル文化的特徴データの空白の一連のクローズアップを示す図である。 より詳細に図6において使用する修復技術の地理空間モデル文化的特徴データの空白の一連のクローズアップを示す図である。 より詳細に図6において使用する修復技術の地理空間モデル文化的特徴データの空白の一連のクローズアップを示す図である。 より詳細に図6において使用する修復技術の地理空間モデル文化的特徴データの空白の一連のクローズアップを示す図である。 地理空間モデル周波数領域データ内で空白修復のための本発明における他の地理空間モデリングシステムの概略を示すブロック図である。 地理空間モデル周波数領域データ内で空白修復のための他の地理空間モデリング方法に係る本発明の態様のフローチャートである。 空白を有するSARからのアメリカの連邦議会議事堂のK−スペース周波数領域を示す図である。 図10の周波数領域データと対応する時空白画像である。 図9に示される方法による空白修復の後における、図10のKスペース周波数領域データの表現である。 図12の周波数領域の空間領域に対応する画像である。 他の態様における他の地理空間モデリングシステムの概略ブロック図である。 図14のシステムによって使われる事例修復テクニックの地理空間モデルデータの空白の一連のクローズアップである。 図14のシステムによって使われる事例修復テクニックの地理空間モデルデータの空白の一連のクローズアップである。 図14のシステムによって使われる事例修復テクニックの地理空間モデルデータの空白の一連のクローズアップである。 図14のシステムによって使われる事例修復テクニックの地理空間モデルデータの空白の一連のクローズアップである。 場面の光学的ビューを示す図である。 図15A−15Dにおいて例示される事例アプローチを使用した空白修復の前後の同じ場面のDEMフォーマットの一連の対応する天低視野の図である。 図15A−15Dにおいて例示される事例アプローチを使用した空白修復の前後の同じ場面のDEMフォーマットの一連の対応する天低視野の図である。 図15A−15Dにおいて例示される事例アプローチを使用した空白修復の前後の同じ場面のDEMフォーマットの一連の対応する天低視野の図である。 図15A−15Dにおいて例示される事例アプローチを使用した空白修復の前後の同じ場面のDEMフォーマットの一連の対応する天低視野の図である。 地理空間モデルデータのクローズアップ図である。 偏微分式を使用した修復した後の地理空間モデルデータのクローズアップビューである。 事例修復アプローチを使用した修復した後の地理空間モデルデータのクローズアップビューである。 図14のシステムによって定まる、低いおよび高い空白複雑度予測器メトリックを有する地理空間モデルデータの空白の略図である。 図14のシステムによって定まる、低いおよび高い空白複雑度予測器メトリックを有する地理空間モデルデータの空白の略図である。 参照または真実データを用いた、図14のシステムによって実行された予測誤差概念解析およびキャリブレーション操作の図である。 参照または真実データを用いない、図14のシステムによって実行された予測誤差概念解析およびキャリブレーション操作の図である。 デンバー(コロラド)のInvescoフィールドの画像である。 本発明において、図14のシステムによって偏微分式ベースおよび事例ベースの両者を使用した空白修復方法の一連のDEMビューである。 本発明において、図14のシステムによって偏微分式ベースおよび事例ベースの両者を使用した空白修復方法の一連のDEMビューである。 本発明において、図14のシステムによって偏微分式ベースおよび事例ベースの両者を使用した空白修復方法の一連のDEMビューである。 本発明において、図14のシステムによって偏微分式ベースおよび事例ベースの両者を使用した空白修復方法の一連のDEMビューである。 本発明において、図14のシステムによって空白修復方法の一連のDEMビューである。 本発明における偏微分式ベースおよび事例ベースの両者を使用した空白修復方法の態様のフローチャートである。
本発明に関して、現在添付の図面を参照しながら以下により詳細に説明する。そして、本発明の好ましい実施例が示される。なお、本発明は多くの別の形式で実施されてもよく、本願明細書において記載される実施例に限定されると解釈されてはならない。むしろ、この開示は、これらの実施例を完全に提供し、当業者に本発明の範囲を完全に伝えることが目的である。同じ番号は、同じ要素を示す。ダッシュ(prime)の表示は、別の実施例の類似した構成要素を示すために用いられる。
まず図1を参照する。地理空間モデリングシステム20は、たとえば、地理空間データ記憶装置21、および、プロセッサ22(例えばPC、Macまたは他の計算ワークステーションの中央処理装置(CPU))を有する。更に以下に説明するように、表示装置23が地理空間モデリング・データを示すためのプロセッサ22に接続されてもよい。
加えて、図2から図4において、地理空間モデル地形データの一つ以上の空白に対するデータの修復のためのアプローチが示されている。本願明細書において述べられる一部の実施例の技術は、例えば他の形式のデータ(例えば指紋データ、画像データ、その他)の修復のために用いられてもよい点に留意する必要がある。ブロック30から開始し、一つ以上のデータ収集が、3Dの標高と位置情報を取得するために、関心地理的領域に対して実行される。データ・キャプチャは、さまざまな技術(例えばステレオ光学画像、ライダー(LIDAR:Light Detecting And Ranging)、(インターフェロメトリックSAR(IFSAR:Interferometric Synthetic Aperture Radar)等)使用して実行されてもよい。データは、当業者に周知のように、通常、飛行機、衛星、その他によって関心地理的領域の天低視野からキャプチャされる。なお、付加的な3Dの詳細を地理空間モデルに付け加えるために、関心地理的領域の斜めの画像が、付加的にまたは、上述の画像に代えて使われてもよい。
図の例では、ブロック31で、関心地理的領域の3Dデータを提供するために、単一反射面データ収集が実行される。コレクションから提供される「生の」データは、通常は地形、葉群および/または文化的特徴(例えば建物)を含む。ブロック32において、プロセッサ22は、生データを使用して、当業者にとって公知であるさまざまなアプローチによって、収集装置の既知の位置等に基づき、標高と位置情報の地理空間モデル(すなわちDEM)を生成する。言うまでもないが、他の実施例において、DEMは、他のコンピュータによって生成されてもよい。そして、プロセッサ22による処理のため、地理空間データ記憶装置21に保存されてもよい。DEMデータは非常に正確な画像詳細を提供するために、例えば、約30メートルを超える比較的高い解像度を有してもよい。但し、必要に応じて、より低い解像度が一部の実施例のために使われてもよい。いくつかの実施例では、1メートルまたはそれ以上の解像度が達成されてもよい。
多くの例において、地理空間モデルからデータの上述のタイプの1つを切り離すかまたは抽出することが望ましい。例えば、ブロック33で、場合によっては、地形および/または葉群だけを残すために、DEMから文化的特徴を取り除くことが望ましい場合がある。特に、当業者に周知のように、抽出過程には、DEMリサンプリング、空白埋め込み、DEM減算、および、空白伸長の一連の処理が含まれる。しかしながら、文化的特徴を抽出することは、通常DEMの中で穴または空白を残すこととなる。DEM40aが図3Aおよび3Bに示されるように、空白41aが地形42aに現れ、建物が抽出される。
特徴が地理空間モデルから抽出されるときに、文化的特徴または他のデータが抽出された所でこれらの空白が発生するため、比較的直接に埋め込みが行われる(ブロック34)空白が決定される。しかしながら、一部の実施例においては、データ抽出以外で空白が生じ得る。収集装置のブラインドスポット、地理的領域または関心領域の上の雲が挙げられる。本願明細書において記載されているアプローチは、また、同様にこの種の空白を修正するために用いてもよい。
一般的に言って、ブロック35で、空白41aは、与えられた空白の外側から与えられた空白に等高線データを伝播させることによって修復される。より詳細には、図4Aから図4Dに示すように、プロセッサ22は、与えられた空白の外側から一定の標高等高線の線の方向に沿って与えられた空白の外側からその空白に標高等高線データを伝播させることによって修復を行う。より詳細には、図4Cに示すように、一定の標高等高線の線は、空白境界に沿って与えられた地点で等光線[数1]および勾配[数2]方向に基づいてもよい
Figure 2010518458
Figure 2010518458
当業者に周知のように、修復することは非線形補間テクニックである。そして、本実施例は、抽出された建物によってつくられる空白周辺の領域のデータを伝播させ、空白を「満たす(fill埋め込む)」ために用いられる。
より詳細には、以下の式(1)によって表されるように、プロセッサ22は等しい等高線(iso-contour)の方向に沿って空白の外側から標高情報を伝播させる。
Figure 2010518458
Figure 2010518458
式(1)において[数4]は、離散的なラプラシアン変換である。等しい等高線方向Nは、当業者に周知のように、DEM勾配の90度回転をすることによって取得される。上述の伝播を実行するための修復の式は、以下の式(2)となる。
Figure 2010518458
上述の伝播は、図4Dに示すように「縮小(shrink)」することを一定回数繰返し、空白を所望のサイズにすることによって実行される。空白の開始の境界は図4Dの43aに示される。1つの繰返しからの伝播の量が示されている。ブロック36で所望の数の繰返しが実行されたあと、ブロック37で、最終的な地理空間モデル地形データ40bが表示装置23に表示されてもよい。このようにして方法(ブロック38)が終了する。本実施例では、伝播の4000の繰返しが、地理空間モデル地形データの空白41aを修復するために行われた。なお、別の実施例においては、関連する必要な精度、および計算オーバーヘッドによって、これよりも多いかまたは少ない回数の繰返しが実行されてもよい。
一般的に言って、上述のアプローチは基本的にDEMを非圧縮性流体として処理する。そして、これは流体力学技術が空白の埋め込みのために用いられることができることを示している。すなわち、DEMが非圧縮性流体であると考えられる場合、3Dモデルの空白に直接に接する境界が、どのように自然に空白に流れ込み、空白を満たすかを推定することに、上述した偏微分式が使われる。
このアプローチは、好適に建物または他の文化的特徴が取り除かれた裸の地球を自立的に復元することができる。しかも、連続標高等高線をさらに保持する。さらに、非線形補間テクニックによる修復は、空白境界を囲んでいる領域から、データの正確な伝播を可能とする。更に、DEMは、定常状態が達成されるまで、都合よく反復的に実行できる。そして、地理空間データとスピードを左右する、正確さと速度との間の所望のトレードオフを考慮して制御できる。したがって、当業者に周知のように、処理のオーバーヘッド負荷が不当に拡大することもない。
上述のアプローチは、地形の以外の他の特徴を再構築するために同じように用いてもよい。より詳細には、これは、葉群、その他のものによって生じる文化的特徴(例えば建築)の一部をおおい隠す空白を修復するために用いてもよい。加えて、図5−図7において、ブロック33で、プロセッサ22は、DEMから葉群(すなわちツリー)データを抽出することによって生じる地理空間モデル文化的特徴データ50aの一つ以上の空白51aに対するデータを修復するために、地理空間データ記憶装置21と協同してもよい。実施例として、葉群の摘出は、データの色勾配と同様に、当業者に周知のように、(色データが提供される場合)データの色に基づいて実行されてもよい。もちろん、他の適切な葉群の摘出技術が用いられてもよい。もう一度繰り返せば、空白51aは、抽出される葉群の位置に基づいて決定されてもよい。
上述のように、ブロック35’−36’において、プロセッサ22は、空白の外側から一定の標高等高線の線の方向に沿って空白の中へ、データ部52a、62aの空白51aの外側から標高等高線データを反復的に伝播させることによって修復を行う。そして、最終的な「修復された」データ部52b、62bが生成され、建築エッジ55b’、65b’は完全で連続的である。修復方法は、図7A乃至7Dにおいて更に例示されている。ここで、空白71のまわりのデータ部72aの境界領域からの標高情報は(視覚的に異なるシェーディングによって表されている)、以下の式(3)の関係に基づき空白(図7Aおよび図7B)に伝播させられる。
Figure 2010518458
Figure 2010518458
Figure 2010518458
式(3)において、[数7]は、DEM勾配である。[数8]は、修復されたデータセクション72b(図7Cおよび図7D)を生成する等高線方向(iso-contour direction)である。
ここで再度、上述の式(2)が、使われてもよい。このアプローチによって、都合よく文化的特徴(例えば建物)の高解像度DEMの自立的な作成が行える。さらに、特定された修復領域の建築標高の整合性、および、エッジの鋭さを維持することができる。
さらに、図8乃至図13に移る。空白修復に対する地理空間モデル周波数領域データのためのさらにもう一つのシステム20”が記載されている。ここで再度、システム20”は、地理空間データ記憶装置21”、プロセッサ22”、および、プロセッサに接続された表示装置23”を有する。なお、これらは上述の構成要素と類似していてもよい。なお、本実施例において、地理空間データ記憶装置21”は、プロセッサ22”による処理のための地理空間モデル周波数領域データを保存する。実施例として、ブロック80−81において、周波数領域データは、例えば、当業者に周知のように、SAR、SONARまたは振動反射収集装置を使用してキャプチャされてもよい。図10乃至図13に関連して後述する実施例は、SAR周波数領域データに基づく。
より詳細には、図10において例示される周波数領域データ・マップ100は、SARスキャンからのアメリカの連邦議会議事堂の建造物の位相/振幅データ101のKスペース表現である。本実施例のために、位相/振幅データの特定のバンド102は、存在しない周波数データの効果を表すために、位相マップから取り除かれている。より詳細には、この種の欠測値バンド102は、他のRFエミッタに対する干渉を回避するための特定の周波数のノッチング、ハードウェアの性能不全から結果として生ずるパルス・ドロップアウト、RF干渉、等から生じたものである。本実施例では、図解の目的のために手動でバンド102が取り除かれており、ノッチング、ハードウェアの不良などの結果ではない点に留意する必要がある。したがって、欠測値バンド102は、空白の周波数領域のデータ表現とみなされてもよい。図11に示すように、空間領域に変換すれば、これらの空白の結果はSARデータ110aのボケや歪んだ空間領域の表現となる。すなわち、当業者に周知のように、空白は、高い相乗的雑音比(MNR:multiplicative noise ratio)を有するぼやけた空間領域画像に結果としてなる。
しかしながら、上述の修復技術は、地理的周波数領域データのこの種の空白を修復するためにも都合よく用いられ得る。より詳細には、ブロック82で、プロセッサ22” は地理空間データ記憶装置21”と協同して、空白の外側から等高線データを空白に伝播させることに基づき、欠測値バンド102(すなわち空白)に対してデータを修復する。より詳細には、伝播は、空白の外側から空白に一定の等高線の線の方向に沿って生ずる。なお、上述の実施例に記載の標高等高線データに基づくよりはむしろ、この場合には、等高線データは空白を囲んでいるデータの位相、および振幅値に対応する。更に、当業者に周知のように、所望の数の繰返し(ブロック83)によって伝播は好ましくは反復的に実行されるか、または、安定状態に達するまで実行される。
もう一度説明すると、このアプローチは、乱れた(すなわち流体)フローとして空白を囲んでいるデータに存在するスペクトルシグネチャ(spectral signature)をモデル化することによって関心地理的領域の周波数領域の表現から消失している周波数のデータを再構築することに基づくものである。すなわち、個々の既知の周波数は渦フローの分子とみなされる。そして、これは全体の乱気流領域内部の小さい乱気流領域である。したがって、周波数領域データの既知の「渦」は、欠測値を補間するためにモデル化され得る。
一般的に言って、プロセッサ22”は、一つ以上の乱流流体流れをモデル化する式に基づいて修復を実行する。実施例として、Navier−Stokes流体力学方程式/関係を一部分修正したものが、Kスペースに対して使われてもよい。より詳細には、ストリーム関数は、以下の式(4)のように1つではなく2つの構成要素を有する。
Figure 2010518458
Figure 2010518458
ここで、式(4)において、関数A、R、および、Qは、4回時間微分可能であり、そしてzは数10である。このように、画像強度に関する派生式に注目する以下の式(5)が導ける。
Figure 2010518458
また、当業者に周知のように、類似したNavier−Stokesアプローチが、上述の地形/文化的特徴空白の修復の操作に使われてもよい。反復的な伝播が上述のアプローチを使用して完了すると、図12に示すように、欠測値バンド102aはもはや存在せず(または実質的に縮小し)、Kスペースマップ100bは「修復される」。これが空間領域に変換されると(ブロック84)、図13に示される議事堂110bの空間領域画像の歪みは少なくなっている。なお、図12の画像は上述の通りに修復技術を使用して実際に修復されてはいない点に留意する必要がある。なにも空白のない連邦議会議事堂の実際のKスペース表現からの画像である。しかしながら、当業者に周知のように、上述のアプローチを使用することは、図13の画像110bに近い近似値を提供すると理論づけられる。一旦修復が完了すると、地理空間モデルの空間領域データは、ブロック85で、必要に応じて、表示装置23”に表示されてもよく、および/または、地理空間データ記憶装置21”、その他に保存されてもよい。このようにして、実施例の方法が終了する(ブロック86)。
次に、図14に記載されている地理空間モデリングシステム20’’’の有利な態様においては、偏微分式ベース、および事例ベースのアプローチを使用して、修復を好適に実行できる。更に以下述べるように、プロセッサ22’’’は偏微分式、および、事例修復アルゴリズムに基づいて空白に対してデータを選択的に修復する。なお、プロセッサ22’’’が、修復のために、どのような異なるアルゴリズムを選択するかを説明する前に、プロセッサ22’’’ によって使われ得る事例ベースの修復アプローチに関して以下にまず説明する。
一般的に言って、事例修復は、パッチベースのテクスチャ合成アプローチである。これは、場面の高い勾配に対して優先させる方式である。事例修復は、小さいものから最も大きいものの順番に、空白の領域を満たす。これは、入力DEMの「最適合致(best fit)」であるデータに対して系統的に検索することによってなされる。満たされる空白のサイズ、および平滑性に基づく限界を有するパラメトリックのアプローチとは異なり、事例方法は、場面において高い周波数データを含んでいる大きい空白を取り除くために、非常に適している。
図15A乃至図15Dをここで参照する。事例アルゴリズムは、等光線に基づく(isophote-driven)画像サンプリングプロセスである。領域Ωの修復に使われるいくつかのステップが存在する。
Figure 2010518458
境界[数12]は、内側に進み、かつ等高線[数12]は埋め込みの先頭(fill front)である。目的は、欠測値の領域Ω(すなわち空白)に埋め込むデータを、いずれかのところから取得することである。ソース領域Φは、埋め込みデータ(fill data)が取得される領域として選択される。ソース領域Φは、画像内の別の位置から、または一部の実施例では他の画像(例えば場面の二重の画像)から来てもよい点に留意する必要がある。
事例ベースの修復の繰返しを実行するために、地点pがまず特定される。図示の実施例では、正方形のテンプレート(すなわちパッチ)は、地点pに関して取得される。ここで、パッチは、[数13]で示される。
Figure 2010518458
Figure 2010518458
Figure 2010518458
ここで、[数15]を中心とするパッチ[数14]を見つけるために統計的アプローチが使用される。これは、当業者に周知のように、[数13]の中で既に埋め込まれている部分と最も類似しているものである。既に埋め込まれているテンプレート[数14]を探すためのサーチ領域は、場合によって異なる点に留意すべきである。
テンプレートベースの事例修復の潜在的な欠点は、線形特徴を扱うその能力である。Criminisiらによる、「Criminisi, et. al in a presentation entitled
"Object Removal by Exemplar-based Inpainting," June 2003 Madison, WI
Proc. IEEE Computer Vision and Pattern Recognition」には、パッチの優先順位を割り当てるスキームが開示されている。パッチの埋め込みの順番は、重要である。
Figure 2010518458
Figure 2010518458
Criminisiらは、幾つかの[数17]におけるpを中心とするパッチ[数16]が与えられた場合、その優先順位P(p)は、二つの項の結果によって定義される。すなわち、P(p)=C(p)D(p)である。ここで、C(p)は、信頼(confidence)項であり、D(p)は、データ項である。これらは、以下のように定義される。
Figure 2010518458
Figure 2010518458
ここで、[数20]は、[数16]の領域を意味する。αは、標準化係数である(例えば典型的な灰色の画像の値は255である)。
Figure 2010518458
そして、nは、その地点pにおける[数12]に対して直角の単位ベクトルである。
目標領域Ωの境界上の各々のピクセルの異なったパッチについて、優先権が、あらゆる境界パッチのために計算される。初期化の間、関数は
Figure 2010518458
および
Figure 2010518458
となる。信頼項C(p)は、地点pを囲む信頼できる情報(すなわちピクセル)の量の尺度と考えることができる。ゴールは、まず、既に埋め込まれたピクセルにより多くのパッチのピクセルを埋め込み、すでに埋め込まれたピクセルに対して付加的な優先を与えることである。D(p)の項は、各々の繰返しにおける、先頭の[数12]に当たっている等光線の強さの関数である。この項は、先頭に沿って最初に埋め込まれる線形特徴を含むパッチを有利に扱う(encourage)。したがって、このアルゴリズムは、同時に、構造的、および、高周波コンテンツを扱うパッチベースの充填技術を後押しする。
上述の事例ベースのアプローチは、地理空間モデル作成を実行するためにプロセッサ22’’’を使用してインプリメントされてもよい。図16A乃至図16Eに示される実施例に示すように、事例修復テクニックは、高い周波数データを繰り返すために用いてもよい。本実施例では、建物161を含む場面160の天低光学画像視野が、参考のために図16Aに示されている。そして、建物163を含んでいる場面の対応するDEM162が図16Bに示される。図16Cにおいて、4つの建築のコーナー、および、交差を含むサンプル空白の領域164が、取り除かれる。空白の領域164は上述の事例修復テクニックを使用して再構築され、かつ、結果は図16Dに示される。修復DEM162の陰影をつけられた出力図は、図16Eに示される。空白の領域164は本実施例では手動で取り除かれるが、それは収集した地理空間データ(例えばLIDARデータ、その他)から比較的問題を含む、無くなった領域をシミュレートする。なお、図16D、および、16Eに示すように、プロセッサによって22’’’にインプリメントされた事例修復アプローチは、高周波の建築物のエッジを再構築し、かつDEM162を完了することが可能である。このことは、好適に自動化された位置モデルを生成する能力を強化する。
偏微分式ベースのアルゴリズムまたは事例ベースのアルゴリズムのいずれかを選択し修復するかに関する自動化された選択すなわちスイッチングプロセスが図22に記載されており、ブロック220から始まる。同時に、これらの2つのアプローチ(偏微分式ベースと事例ベース)のそれぞれの欠点を緩和するとともに、選択アプローチは両方のアプローチの利点に拡大するように設計されている。すなわち、選択アプローチは、空白の修復に与えられた条件に対して最高の結果を提供する修復アプローチを選択する。
一般的に言って、それが適切な結果をもたらす場合、偏微分式ベース修復方式が好まれる。その理由は、このアプローチが通常はより高速であるということである。DEMの全体にわたって考えられるパッチ候補の比較統計解析を検索することより、満足なレベルの収束がより早い(すなわち、事例修復より早い)ということである。また、事例埋め込みにおいて可能な候補は、小さいDEMサイズまたは非常に大きい空白範囲においては制限されるケースがある。かくして、地理空間モデルデータのサイズがサイズ閾値(ブロック221)より小さい場合、プロセッサ22’’’は、偏微分式ベースのアルゴリズムを選ぶことになる。すなわち、例えば、地理空間モデルデータのサイズが比較的小さい場合は、事例修復ソース領域の十分な選択ができないのである。偏微分式ベースまたはパラメトリック修復は、比較的事例ベースの修復のこの欠点に影響されない傾向がある。なぜなら、それはその境界領域からのみデータを必要とし、したがって、その他の状態に依存せず、入力のより遠くにあるデータが満足できる結果をもたらすからである。さらに、多くの状況において偏微分式ベースの修復の出力プロダクトは、拡散した構成要素がスムーズであるために、非常に美学的によい結果が得られる。
しかしながら、パラメトリック修復アルゴリズムの拡散項の存在は、生成フローにおいて事例修復を付け加える必要性を示す重要な理由である。偏微分式ベースの修復方法は、空白にされた関心領域に、境界からデータを滑らかに伝播させる。したがって、このアプローチは、高い周波数データ(例えば岩が多い/山の多い地形、建築エッジ、その他)に適用することは、望ましくない。このため、事例ベースのテクスチャ複製アプローチは、課題をよりよくモデル化する。さらに、現実の世界において、高い周波数データは、同じ地理的位置の中で他の領域において繰り返される傾向がある。例示的なサーチ領域アプローチは、この関係を十分に利用し、かつ無くなった空白の領域を接合するために、このデータを使用する。これは、図17A乃至図17Cに示される。図17Aは、その中の空白171を有するDEM170の交差を示している。17Bは、偏微分式ベースアプローチの修復を施した後のDEM171を示す。図17Cは、事例ベースのアプローチの修復を施した後のDEM171を示す。1つの例示的実施形態に従って、修復アルゴリズム選択プロセスは、事例修復を入力DEMの各々の空白領域に修復を適用し、最も小さいものから最も大きいものに(なお他の順番が使われてもよい)適用する。それは自動的に検出されたものである。各々の空白のためのこのステップの目的は、全ての高い周波数データが地点に埋め込まれるまで行うことである。そして、残りの空白境界はデータ周波数閾値以下のデータから成る(ブロック223乃至225)。あるいは、事例ベースのアルゴリズムがデフォルトの各々の空白のための修復アルゴリズムとして使われ、これは空白複雑度予測器メトリックが、データ周波数閾値より小さくなるまで適用される。このときになると、プロセッサ22’’’は、修復のための偏微分式ベースのアルゴリズムに切り替えるかまたはこれを選択する。
各々の事例パッチベース埋め込みにおいて、どのパッチが(一つの境界地点の周辺から)次のパッチとして埋め込まれるかの決定は、ツーパート(two-part)スキームに基づいてもよい。決定に用いられる優先スキームの部分は、追加的な計算をすることなく、高周波数成分がいつ取り除かれたかを、データ優先権と呼ぶ。当業者に周知のように、この値を閾値で判断することによって、各々の境界点で、事例修復は、適切な停止時間まで使用される。これは、大きな線形構造が領域に流れ込まなかったときである。
事例修復から偏微分式ベースの修復にスイッチするために利用される条件は、適切なパッチ候補の不足である。一般的に言って、プロセッサ22’’’は、事例ソースが埋め込み領域候補のエラーレベルに基づいて、事例ベースのアルゴリズムの代わりに偏微分式ベースのアルゴリズムを選ぶことを決定する。より詳細には、比較において、誤差スコア関数が、サーチ領域の各々の予想される候補のために計算されてもよい。この値のために閾値がセットされる。最高の候補がこれを満たさない場合(すなわち最も低いスコアを有するもの)、選択は、修復方法にスイッチされる。すなわち、事例ベースのアルゴリズムの代わり偏微分式ベースの修復アルゴリズムを選ぶ。このことによって、事例ベースの修復において発生する望ましくないケースを回避する。すなわち、悪いパッチ選択が処理の初期になされ、作成され、総合的な誤差を計算してしまうことを避けるのである。このことは、また、上述したように、限られたデータ/大多数空白サーチ領域という状況を回避することができる。この時点で、元の空間領域の残りの埋め込まれていない部分は、既に記載されているパラメトリック偏微分式ベースの修復技術の利点を利用するべき状況に置かれる。境界データを乱す高周波入力がないため、残留するセクションの値は、偏微分式アプローチを使用して、境界から流れ込む。したがってシステム20は、方法を単独で使用するきに潜在的に発生する永ティブナ結果を低下させつつ、両者の方法の有利な点を享受することができる。反復的な修復オペレーションは、与えられた空白の停止値がエラー閾値を下回るまで継続される。すなわち、ブロック226で修復停止メトリックに基づき、図22(227ブロック)において方法が終わる。修復停止メトリックに関する更なる詳細は出願中のアメリカ特許出願11/858,270号明細書に提示されている。そして、この出願は現在の本願権利者に移転され、かつ、参照によって完全に本願明細書においてここに組み込まれる。一部の実施例においてプロセッサ22’’’は、複数回2つの修復アルゴリズムの間でスイッチを繰り返してもよい。しかも、事例修復は、最初またはデフォルトとして必ずしも常に使用されなければならないわけではない。
加えて、図18乃至図20には、例示空白複雑度予測器メトリック決定プロセスが示されており、以下説明する。空白の埋め込みの値(例えば、再構築した裸の地面)は、どれだけ、その埋め込む値が、空白領域の真実(すなわち参照)データを予測または近接しているかに依存する空白の埋め込みの精度の計算は、真実データを必要としない技術が用いられる空白領域の埋め込みの場合は、不可能である。しかしながら、空白の埋め込に関連づけられた誤差は、与えられた技術が真実データを利用できる空白によってどのように機能するかという従来の知識に基づいて推定してもよい。
より詳細には、空白の埋め込みの誤差を推定するモデルを造るためには、空白複雑度予測器メトリックが空白周辺部(外周)の特徴に基づいてまず定義されなければならない。これらのメトリックは、空白の複雑度の種々の指標を含むことができる。図18A、および図18Bに示すように、空白複雑度予測器メトリックの1つの実施例は、空白を囲んでいるデータの周波数の測定値である。
上述したように空白を埋め込む技術を使用したトレーニングデータセットが特定できる。そして、同じ領域に真実データを埋め込んだセットも特定でき、作成できる。好ましくは選ばれるトレーニングデータセットは、種々の空白の複雑度の状況を提供する。当業者に周知のように、適切な真実データは望ましくは領域のための空白のないデータセットか埋め込まれたデータセット、または、手動で検証され/編集されたもののいずれかである。
埋め込み予測(境界(bounded))誤差概念解析、およびキャリブレーション/訓練の例が図19に示されている。訓練フェーズは、各々の空白のための空白複雑度予測器メトリックに合うよう、データが集められる。予測器は、埋め込みの精度に関していずれが最高の予測器であるかを決定するために、図19に示すように、真実データを用いてキャリブレートされ、統計学的に相関していてもよい。キャリブレートされた予測器は、図20に示すように、埋め込む真実データ無しに、領域精度を推定するために用いられる。これは、あるセルに真実のデータ無しで、埋め込み予測(境界)誤差概念を適用することを表している。
事例、および偏微分式ベースの両技術を用いた上述の修復方法のシミュレーションされた結果は、図21A乃至図21Fに示されている。図21A−図21Fにおいて示されるデータセットはデンバー(コロラド)である。より詳細には、Invescoフィールド、および、周囲の領域である。1.84平方キロメートル、1mの領域によって間隔LIDAR地点を示す。元の入力シーン210、および211が図21A(画像形式で)、および対応するDEM212およびスタジアム213が図21Bに示されている。空白領域214は、欠けているか妥協された地理空間モデルデータ(図21C)をシミュレーションするために加えられている。通常のケースでよくあるように、空白214は、存在する様々な形の領域を含むのに選ばれる(例えばスタジアム213、丘陵、橋、など)。
各々の空間領域に対して、空白複雑度予測器メトリックが、上述のように、選ばれる与えられたデータ周波数閾値を下回るまで、事例修復は空間領域を埋め込むために用いられる。この時点までの中間の出力が、図21Dに示される。この時点で、空間領域の比較的高い周波数部分の全ては、修復されている。なお、実質的に裸の地面(すなわち平坦な地形)を含んでいるそれらの空白214は、事例ベースの修復は適用されていない。なぜなら、それぞれの境界でいかなる高い周波数データもないからである。この時点で、システムは、空白への周囲の境界点からのデータの残留している空白への「流れ」を採用する偏微分式アプローチを用いた修復を完了する。結果は、図2IE、および、21F(に示される図21Fは、図21EのDEMの陰影レリーフである)。
1つの例示的な注入に従って、プロセッサ22’’’は、LIDARまたはIFSAR地点(通常、数100万)のリストを読んでもよい。競争的フィルタ(competitive filter)は、LIDAR地点の番号の付かないリストを取り込み、与えられた解像度で等しく間隔を置かれたDEMを生成するために用いられる。あるいは、光学画像は、当業者に周知のように、DEMを作成するために相関を取られてもよい。それから、建物、および、ツリーは、地面から別のDEMに抽出されてもよく、かつ、必要に応じて、他のひとつから更に切り離されてもよい。残りの地面データは、伝播されるエッジ形状を有する完全な裸の地球DEMを完了するために、上述のアプローチを使用して埋め込まれた結果として生じる欠測値の全てを有する。それから、フィルタリングが、LIDARが戻る雑音を取り除くために実行されてもよい。
線追跡アルゴリズム、つづいてマルチステージ一般化アルゴリズムが3Dコード地点を適用するために用いてもよい。これは、屋根の特徴に、ポリゴン頂点として使われる。建物の側は、それから屋根から空白が埋め込まれた裸の地面へまっすぐに押し出されてもよい。方法のこのステージの精度は、修復方法の空白埋め込みの精度に依存している。建築屋根、および側からの頂点は、地面と同様に、ポリゴンにマップされてもよく、かつ、地理空間座標に投入されてもよい。テクスチャは、それらの対応するポリゴンに自動的に適用されてもよい。
当業者に周知のように、データ収集、および、処理から生じている空白領域を経験することは、共通に見られる。これらの空白領域は、通常はさまざまなサイズ、長さに現れ、かつ、地理空間モデルを生成するために用いる入力DEMの全体にわたって存在する。このように、各々のこれらの欠落した領域(例えば、欠落した建築物の断片、裸の地球セクション)で周波数の高低の混合がしばしば見られる。したがって、都合よく偏微分式ベースの、および、事例ベースのアルゴリズムを結合している上述の修復技術は、自立的に別の種類のデータ(高低の周波数の両方)の埋め込みを扱うことが可能な埋め込み方法を提供する。
これらの方法の組合せは、いつ切り替えをするべきかというテストに関して、余分な計算を必要としない(事例アプローチのデータ優先権を使用する)。上述の如く、各々のアルゴリズムがその欠点を緩和するとともに利点を最大にする状況において用いられる。このように、アプローチは、別の生成への適用のためにも用いられ得る。すなわち、自動的な文化および植物の抽出のあと、裸の地球を修復し、データ収集の間に作られた欠損した領域を修復することにも利用できる。

Claims (10)

  1. 地理空間モデリングシステムであって:
    地理空間データ記憶装置と;
    偏微分式アルゴリズム、および事例アルゴリズムを使用して、地理空間モデルデータの少なくとも一つの空白に対して、選択的にデータを修復するために、前記地理空間データ記憶装置と協同するプロセッサと;
    を有する地理空間モデリングシステム。
  2. 前記プロセッサは、更に、前記少なくとも一つの空白のために、前記少なくとも一つの空白の外周の長さに基づいて、空白複雑度予測器メトリックを決定し、前記空白複雑度予測器メトリックに基づいて、前記偏微分式アルゴリズム、および前記事例アルゴリズムの間を選択する、
    請求項1記載の地理空間モデリングシステム。
  3. 前記空白複雑度予測器メトリックがデータ周波数閾値より大きいかどうかに基づいて、前記プロセッサが、前記偏微分式アルゴリズム、および前記事例アルゴリズム間を選択する、
    請求項2記載の地理空間モデリングシステム。
  4. 前記プロセッサが、前記地理空間モデルデータのサイズに基づいて、前記偏微分式アルゴリズム、および前記事例アルゴリズム間を選択する、
    請求項1記載の地理空間モデリングシステム。
  5. 前記プロセッサが、事例候補のソース埋め込み領域のエラーレベルに基づき、前記偏微分式アルゴリズム、および事例アルゴリズム間を選択する、
    請求項1記載の地理空間モデリングシステム。
  6. 地理空間モデリング方法であって:
    地理空間モデルデータを提供するステップと;
    偏微分式アルゴリズム、および、事例アルゴリズムを使用している前記地理空間モデルデータの少なくとも一つの空白に対して選択的にデータを修復するステップと;
    を有する地理空間モデリング方法。
  7. 前記少なくとも一つの空白の周辺部に基づく前記少なくとも一つの空白のための空白複雑度予測器メトリックを特定するステップ;
    前記空白複雑度予測器メトリックに基づいて、前記偏微分式アルゴリズム、および前記事例アルゴリズム間を選択するステップ;
    を更に有する請求項6記載の地理空間モデリング方法。
  8. 前記偏微分式アルゴリズム、および前記事例アルゴリズム間を選択するステップは、前記空白複雑度予測器メトリックがデータ周波数閾値より大きいかどうかに基づく、
    請求項7記載の地理空間モデリング方法。
  9. 選択するステップは、前記空白複雑度予測器が前記データ周波数閾値より大きい場合、前記事例アルゴリズムを選択し、かつ、他の場合には、前記偏微分式アルゴリズムを選択するステップ、
    を有する請求項8記載の地理空間モデリング方法。
  10. 選択するステップが、前記地理空間モデルデータのサイズに基づいて、前記偏微分式アルゴリズム、および前記事例アルゴリズム間を選択するステップ、
    を有する請求項7記載の地理空間モデリング方法。
JP2009549679A 2007-02-12 2008-02-12 事例/偏微分式ベースの空白領域への埋め込み技術および関連する精度評価 Pending JP2010518458A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US88943007P 2007-02-12 2007-02-12
US12/022,283 US7881913B2 (en) 2007-02-12 2008-01-30 Exemplar/PDE-based technique to fill null regions and corresponding accuracy assessment
PCT/US2008/053639 WO2008100879A1 (en) 2007-02-12 2008-02-12 Exemplar/pde-based technique to fill null regions and corresponding accuracy assessment

Publications (1)

Publication Number Publication Date
JP2010518458A true JP2010518458A (ja) 2010-05-27

Family

ID=39358157

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009549679A Pending JP2010518458A (ja) 2007-02-12 2008-02-12 事例/偏微分式ベースの空白領域への埋め込み技術および関連する精度評価

Country Status (7)

Country Link
US (1) US7881913B2 (ja)
EP (2) EP2118854B1 (ja)
JP (1) JP2010518458A (ja)
AT (1) ATE513282T1 (ja)
CA (1) CA2678491A1 (ja)
TW (1) TW200849139A (ja)
WO (1) WO2008100879A1 (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9230601B2 (en) 2005-07-01 2016-01-05 Invention Science Fund I, Llc Media markup system for content alteration in derivative works
US20070266049A1 (en) * 2005-07-01 2007-11-15 Searete Llc, A Limited Liability Corportion Of The State Of Delaware Implementation of media content alteration
US9092928B2 (en) 2005-07-01 2015-07-28 The Invention Science Fund I, Llc Implementing group content substitution in media works
US9065979B2 (en) 2005-07-01 2015-06-23 The Invention Science Fund I, Llc Promotional placement in media works
US8910033B2 (en) 2005-07-01 2014-12-09 The Invention Science Fund I, Llc Implementing group content substitution in media works
US20080013859A1 (en) * 2005-07-01 2008-01-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Implementation of media content alteration
US20080052104A1 (en) * 2005-07-01 2008-02-28 Searete Llc Group content substitution in media works
US9583141B2 (en) 2005-07-01 2017-02-28 Invention Science Fund I, Llc Implementing audio substitution options in media works
US9426387B2 (en) 2005-07-01 2016-08-23 Invention Science Fund I, Llc Image anonymization
US7881913B2 (en) * 2007-02-12 2011-02-01 Harris Corporation Exemplar/PDE-based technique to fill null regions and corresponding accuracy assessment
US9215512B2 (en) 2007-04-27 2015-12-15 Invention Science Fund I, Llc Implementation of media content alteration
CA2634344A1 (en) * 2007-06-06 2008-12-06 Black Coral Inc. Broker mediated geospatial information service including relative ranking data
US20080307003A1 (en) * 2007-06-06 2008-12-11 Black Coral Inc. Broker mediated geospatial information service
US7917346B2 (en) * 2008-02-19 2011-03-29 Harris Corporation Geospatial modeling system providing simulated tree trunks and branches for groups of tree crown vegetation points and related methods
JP5253232B2 (ja) * 2009-02-27 2013-07-31 三菱スペース・ソフトウエア株式会社 標高情報補間装置、標高情報補間プログラム及び標高情報補間方法
US20100232654A1 (en) * 2009-03-11 2010-09-16 Harris Corporation Method for reconstructing iris scans through novel inpainting techniques and mosaicing of partial collections
US8306288B2 (en) * 2009-08-19 2012-11-06 Harris Corporation Automatic identification of fingerprint inpainting target areas
US20110044513A1 (en) * 2009-08-19 2011-02-24 Harris Corporation Method for n-wise registration and mosaicing of partial prints
US8922558B2 (en) * 2009-09-25 2014-12-30 Landmark Graphics Corporation Drawing graphical objects in a 3D subsurface environment
KR101142739B1 (ko) * 2009-10-29 2012-05-03 삼성전자주식회사 검색 영역을 제한한 이미지 복원 장치 및 방법
WO2012012943A1 (en) * 2010-07-28 2012-02-02 Shenzhen Institute Of Advanced Technology Chinese Academy Of Sciences Method for reconstruction of urban scenes
US20120092357A1 (en) * 2010-10-14 2012-04-19 Microsoft Corporation Region-Based Image Manipulation
FR2969802A1 (fr) 2010-12-23 2012-06-29 Thales Sa Procede de determination d'erreur de localisation dans une image georeferencee et dispositif associe
US9152303B2 (en) 2012-03-01 2015-10-06 Harris Corporation Systems and methods for efficient video analysis
US20130231897A1 (en) * 2012-03-01 2013-09-05 Harris Corporation Systems and methods for efficient analysis of topographical models
US9135338B2 (en) 2012-03-01 2015-09-15 Harris Corporation Systems and methods for efficient feature based image and video analysis
US9311518B2 (en) 2012-03-01 2016-04-12 Harris Corporation Systems and methods for efficient comparative non-spatial image data analysis
US10429527B2 (en) * 2016-02-26 2019-10-01 Harris Corporation Seismic modeling system providing seismic survey data inpainting based upon suspect region boundary comparisons and related methods
US10215866B2 (en) 2016-02-26 2019-02-26 Harris Corporation Seismic modeling system providing seismic survey data frequency domain inpainting and related methods
US11143769B2 (en) 2016-02-26 2021-10-12 Harris Corporation Seismic modeling system providing seismic survey data spatial domain exemplar inpainting and related methods
KR101781942B1 (ko) * 2016-03-08 2017-10-23 숭실대학교산학협력단 홀 채움 방법, 이를 수행하기 위한 기록매체 및 장치
US10521694B2 (en) * 2016-09-09 2019-12-31 The Chinese University Of Hong Kong 3D building extraction apparatus, method and system
US10535119B2 (en) 2017-08-11 2020-01-14 Intermap Technologies Inc. Method and apparatus for enhancing 3D model resolution
US10325349B2 (en) * 2017-08-11 2019-06-18 Intermap Technologies Inc. Method and apparatus for enhancing 3D model resolution
US10593024B2 (en) 2018-04-04 2020-03-17 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Image inpainting on arbitrary surfaces
US11532093B2 (en) 2019-10-10 2022-12-20 Intermap Technologies, Inc. First floor height estimation from optical images
US11551366B2 (en) 2021-03-05 2023-01-10 Intermap Technologies, Inc. System and methods for correcting terrain elevations under forest canopy
US12056888B2 (en) 2021-09-07 2024-08-06 Intermap Technologies, Inc. Methods and apparatuses for calculating building heights from mono imagery
CN114022634B (zh) * 2021-11-26 2024-12-03 中国地质大学(武汉) 多尺度差分曲面dem数据空洞填补方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004170632A (ja) * 2002-11-19 2004-06-17 Hitachi Ltd 3次元海底地形データ作成装置

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6654690B2 (en) * 2001-04-05 2003-11-25 Harris Corporation Automated method for making a topographical model and related system
US20030225513A1 (en) * 2002-04-12 2003-12-04 Nikhil Gagvani Method and apparatus for providing multi-level blended display of arbitrary shaped textures in a geo-spatial context
US6987520B2 (en) * 2003-02-24 2006-01-17 Microsoft Corporation Image region filling by exemplar-based inpainting
US7567731B2 (en) * 2004-07-15 2009-07-28 Harris Corporation Method and system for simultaneously registering multi-dimensional topographical points
US7304645B2 (en) * 2004-07-15 2007-12-04 Harris Corporation System and method for improving signal to noise ratio in 3-D point data scenes under heavy obscuration
US7298891B2 (en) * 2004-07-15 2007-11-20 Harris Corporation Bare earth digital elevation model extraction for three-dimensional registration from topographical points
US7142984B2 (en) 2005-02-08 2006-11-28 Harris Corporation Method and apparatus for enhancing a digital elevation model (DEM) for topographical modeling
US7191066B1 (en) * 2005-02-08 2007-03-13 Harris Corp Method and apparatus for distinguishing foliage from buildings for topographical modeling
US7391899B2 (en) * 2005-03-31 2008-06-24 Harris Corporation System and method for three dimensional change detection and measurement of a scene using change analysis
US7528938B2 (en) * 2006-01-10 2009-05-05 Harris Corporation Geospatial image change detecting system and associated methods
US7630797B2 (en) * 2006-01-10 2009-12-08 Harris Corporation Accuracy enhancing system for geospatial collection value of an image sensor aboard an airborne platform and associated methods
US7603208B2 (en) * 2006-01-10 2009-10-13 Harris Corporation Geospatial image change detecting system with environmental enhancement and associated methods
US20070198586A1 (en) * 2006-02-22 2007-08-23 Hardy Mark D Methods and apparatus for providing a configurable geospatial data provisioning framework
US7760913B2 (en) * 2006-07-20 2010-07-20 Harris Corporation Geospatial modeling system providing non-linear in painting for voids in geospatial model frequency domain data and related methods
US7616828B2 (en) * 2006-07-20 2009-11-10 Harris Corporation Geospatial modeling system providing geospatial model data target point filtering based upon radial line segments and related methods
US7752018B2 (en) * 2006-07-20 2010-07-06 Harris Corporation Geospatial modeling system providing building roof type identification features and related methods
US7764810B2 (en) * 2006-07-20 2010-07-27 Harris Corporation Geospatial modeling system providing non-linear inpainting for voids in geospatial model terrain data and related methods
US7750902B2 (en) * 2006-07-20 2010-07-06 Harris Corporation Geospatial modeling system providing non-linear inpainting for voids in geospatial model cultural feature data and related methods
US7376513B2 (en) * 2006-08-09 2008-05-20 Harris Corporation Geospatial modeling system for separating foliage data from building data based upon noise filtering operations and related methods
US7487046B2 (en) * 2006-08-09 2009-02-03 Harris Corporation Geospatial modeling system for performing filtering operations based upon a sum of differences of a given and neighboring location points and related methods
US7292941B1 (en) * 2006-08-09 2007-11-06 Harris Corporation Geospatial modeling system for separating foliage data from building data based upon loose and strict tolerance noise filtering operations and related methods
US7539605B2 (en) * 2006-09-12 2009-05-26 Harris Corporation Geospatial modeling system providing simulated tree trunks for groups of tree crown vegitation points and related methods
US7881913B2 (en) * 2007-02-12 2011-02-01 Harris Corporation Exemplar/PDE-based technique to fill null regions and corresponding accuracy assessment
US7778808B2 (en) * 2007-04-24 2010-08-17 Harris Corporation Geospatial modeling system providing data thinning of geospatial data points and related methods
US8156157B2 (en) * 2007-09-20 2012-04-10 Harris Corporation Geospatial modeling system providing windowed geospatial model data inpainting and related methods
US20090083012A1 (en) * 2007-09-20 2009-03-26 Harris Corporation Geospatial modeling system providing wavelet decomposition and inpainting features and related methods
US8050896B2 (en) * 2007-09-20 2011-11-01 Harris Corporation Geospatial modeling system providing inpainting with stopping metric and related methods
US7949203B2 (en) * 2007-09-20 2011-05-24 Harris Corporation Geospatial modeling system providing void inpainting based upon selectable inpainting functions and related methods
US20090089018A1 (en) * 2007-09-28 2009-04-02 Harris Corporation Geospatial modeling system providing building generation based upon user input on 3d model and related methods
US8471854B2 (en) * 2007-09-28 2013-06-25 Harris Corporation Geospatial modeling system providing user-selectable building shape options and related methods
US8099264B2 (en) * 2007-09-28 2012-01-17 Harris Corporation Geospatial modeling system providing inpainting and error calculation features and related methods

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004170632A (ja) * 2002-11-19 2004-06-17 Hitachi Ltd 3次元海底地形データ作成装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6012053748; 古舘守通,渡辺孝志,阿部英志,横山隆三: '数値標高モデルの生成に用いる補間手法の性能評価' GIS-理論と応用 Vol. 8,No. 1, 2000, p29-38, 地理情報システム学会 *

Also Published As

Publication number Publication date
ATE513282T1 (de) 2011-07-15
EP2118854B1 (en) 2011-06-15
US7881913B2 (en) 2011-02-01
TW200849139A (en) 2008-12-16
EP2118854A1 (en) 2009-11-18
EP2385499A1 (en) 2011-11-09
CA2678491A1 (en) 2008-08-21
US20080319723A1 (en) 2008-12-25
WO2008100879A1 (en) 2008-08-21

Similar Documents

Publication Publication Date Title
JP2010518458A (ja) 事例/偏微分式ベースの空白領域への埋め込み技術および関連する精度評価
Chen et al. Automatic building information model reconstruction in high-density urban areas: Augmenting multi-source data with architectural knowledge
Chen et al. A methodology for automated segmentation and reconstruction of urban 3-D buildings from ALS point clouds
US7764810B2 (en) Geospatial modeling system providing non-linear inpainting for voids in geospatial model terrain data and related methods
US7760913B2 (en) Geospatial modeling system providing non-linear in painting for voids in geospatial model frequency domain data and related methods
US7983474B2 (en) Geospatial modeling system and related method using multiple sources of geographic information
US7142984B2 (en) Method and apparatus for enhancing a digital elevation model (DEM) for topographical modeling
US8239175B2 (en) Geospatial modeling system providing poisson-based geospatial data set merging and related methods
EP2070043B1 (en) Geospatial modeling system providing non-linear inpainting for voids in geospatial model cultural feature data and related methods
US20120179432A1 (en) Geospatial modeling system providing poisson-based void inpainting and related methods
US8099264B2 (en) Geospatial modeling system providing inpainting and error calculation features and related methods
Hu et al. Building modeling from LiDAR and aerial imagery
CN117333648A (zh) 一种gis三维地形与数字信息模型融合的方法及系统
Zhou et al. Study on 3D highway digital model for driving simulators
Ragia et al. Precise photorealistic visualization for restoration of historic buildings based on tacheometry data
Goebbels et al. Quality enhancement techniques for building models derived from sparse point clouds
Chowdhury et al. Gaussian Splatting for Automated Video-to-3D Building Energy Modeling
Leroux et al. Instance Segmentation on 3D City Meshes for Building Extraction
Cichocinski et al. The comparison of spatial interpolation methods in application to the construction of digital terrain models
JPH07220118A (ja) 地形表示装置
Mower Concurrent Drainage Network Rendering for Automated Pen‐and‐ink Style Landscape Illustration
Rahmes et al. Autonomous selection of PDE inpainting techniques vs. exemplar inpainting techniques for void fill of high resolution digital surface models
Fua Consistent modeling of terrain and drainage using deformable models

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120508

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121016

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130312