JP7738795B1 - 地理空間情報処理装置および地理空間情報処理方法 - Google Patents

Abstract

【課題】従来よりもコストを抑えながら精確なデジタル地図の作成および更新を実現するのに貢献する。
【解決手段】本発明に係る地理空間情報処理システム１０によれば、地理空間情報処理装置７０は、データ管理サーバ５０からドライブレコーダによる記録データを取得し、この記録データに基づいて、当該記録データに含まれる撮影画像データのそれぞれのフレーム内の道路上の適宜の箇所の実世界座標空間における３次元座標値を導出するとともに、その３次元座標値を表す位置情報を当該フレーム内の道路上の適宜の箇所に関連付ける。併せて、地理空間情報処理装置７０は、フレーム内の道路の実際の幅員Ｗｔを推定するとともに、その推定結果を当該フレーム内の道路に関連付け、さらに、フレーム内の道路の表面の状態を判定するとともに、その判定結果を当該フレーム内の道路に関連付ける。
【選択図】図１

Description

本発明は、地理空間情報処理装置および地理空間情報処理方法に関し、特に、デジタル地図の作成および更新に適用可能な、地理空間情報処理装置および地理空間情報処理方法に関する。

近年、自動運転技術や高度なナビゲーションシステムの発展に伴い、デジタル地図の一種である３次元地図の需要が増大している。この３次元地図の作成手法として、たとえば非特許文献１に開示されているように、ＬｉＤＡＲ（Light Detection and Ranging）を用いる手法があり、とりわけＬｉＤＡＲを搭載した専用車両を用いる手法がある。

"令和４年度 特許出願技術動向調査報告書 －ＬｉＤＡＲ－"，特許庁，令和５年３月，ｐ．１－７

しかしながら、ＬｉＤＡＲを用いる手法では、相応のコストが掛かり、デジタル地図の領域が広いほど、コストが膨らむ。

そこで、本発明は、従来よりもコストを抑えながら精確なデジタル地図の作成および更新を実現するのに大きく貢献する、新規な地理空間情報処理装置および地理空間情報処理方法を提供することを、目的とする。

この目的を達成するために、本発明は、地理空間情報処理装置に係る第１の発明と、地理空間情報処理方法に係る第２の発明とを含む。

このうちの地理空間情報処理装置に係る第１の発明は、画像データ入力受付手段と、測位データ入力受付手段と、３次元点群再構成手段と、空間整合手段と、第１関連付け手段とを備える。画像データ入力受付手段は、道路上を移動するカメラにより当該道路上を含む地理空間を第１周期で順次撮影して得られた画像データの入力を受け付ける。そして、測位データ入力受付手段は、カメラと一緒に道路上を移動する測位衛星受信機により第１周期とは異なる第２周期で順次測位して得られた測位データの入力を受け付ける。３次元点群再構成手段は、画像データ入力受付手段により受け付けられた画像データに基づいて、当該画像データを成す複数のフレームのそれぞれが得られたときのカメラの位置を推定するとともに、当該カメラの推定位置と関連付けた状態で、当該カメラにより撮影された地理空間の３次元モデルを３次元点群により再構成（復元）する。空間整合手段は、３次元再構成手段により再構成された３次元点群再構成空間を、測位データ入力受付手段により受け付けられた測位データによって表される第２周期ごとの測位位置を指標として、カメラの推定位置と併せて、実世界座標空間に整合させる。そして、第１関連付け手段は、空間整合手段による整合後の３次元点群再構成空間における３次元点群のうち、画像データを成す複数のフレームのそれぞれにおける道路上の２次元特徴点に対応する３次元点の、実世界座標空間における位置を表す位置情報を、当該２次元特徴点に関連付ける。ここで、空間整合手段は、３次元点群再構成空間を実世界座標空間に整合させるに際して、所定期間分の測位位置のうちの最初の測位位置である第１測位位置と、当該所定期間分の測位位置と並行して得られた画像データに基づく当該所定期間分のカメラの推定位置のうちの最初のカメラの推定位置である第１推定位置とが、互いに対応するものとみなす。併せて、空間整合手段は、所定期間分の測位位置のうちの最後の測位位置である第２測位位置と、当該所定期間分のカメラの推定位置のうちの最後のカメラの推定位置である第２推定位置とが、互いに対応するものとみなす。さらに、空間整合手段は、所定期間分の測位位置のうちの第１測位位置および第２測位位置以外の任意の測位位置である第３測位位置と、当該所定期間分のカメラの推定位置のうちの第１推定位置および第２推定位置以外のいずれかのカメラの推定位置である第３推定位置とが、互いに対応するものとみなす。その上で、空間整合手段は、３次元点群再構成空間を実世界座標空間に整合させる。このとき、第１測位位置および第２測位位置のそれぞれに対する第３測位位置の空間的関係と、第１推定位置および第２推定位置のそれぞれに対する第３推定位置の空間的関係とが、互いに共通するように、当該第３推定位置が定められる。

なお、本第１の発明においては、車線境界検出手段と、車線幅員推定手段とが、さらに備えられてもよい。車線境界検出手段は、複数のフレームのそれぞれにおける道路上の車線の境界を検出する。そして、車線幅員推定手段は、車線境界検出手段により検出された車線の境界上にある２次元特徴点に関連付けられた位置情報に基づいて、当該車線の幅員 を推定する。

この場合、さらに、第２関連付け手段が備えられてもよい。この第２関連付け手段は、車線幅員推定手段による推定結果を、当該推定結果に係る２次元特徴点に関連付ける。

また、本第１の発明においては、路面状態判定手段と、第３関連付け手段とが、さらに備えられてもよい。路面状態判定手段は、複数のフレームのそれぞれにおける道路の表面の状態を判定する。そして、第３関連付け手段は、路面状態判定手段による判定結果を、当該判定結果に係る道路上の２次元特徴点に関連付ける。

本発明のうちの地理空間情報処理方法に係る第２の発明は、コンピュータによる地理空間情報処理方法であって、当該コンピュータのプロセッサは、画像データ入力受付ステップと、測位データ入力受付ステップと、３次元点群再構成ステップと、空間整合ステップと、第１関連付けステップとを実行する。画像データ入力受付ステップにおいて、プロセッサは、道路上を移動するカメラにより当該道路上を含む地理空間を第１周期で順次撮影して得られた画像データの入力を受け付ける。そして、測位データ入力受付ステップにおいて、プロセッサは、カメラと一緒に道路上を移動する測位衛星受信機により第１周期とは異なる第２周期で順次測位して得られた測位データの入力を受け付ける。続く３次元点群再構成ステップにおいて、プロセッサは、画像データ入力受付ステップにより受け付けられた画像データに基づいて、当該画像データを成す複数のフレームのそれぞれが得られたときのカメラの位置を推定するとともに、当該カメラの推定位置と関連付けた状態で、当該カメラにより撮影された地理空間の３次元モデルを３次元点群により再構成する。さらに、空間整合ステップにおいて、プロセッサは、３次元再構成ステップにより再構成された３次元再構成空間を、測位データ入力受付ステップにより受け付けられた測位データによって表される第２周期ごとの測位位置を指標として、カメラの推定位置と併せて、実世界座標空間に整合させる。そして、第１関連付けステップにおいて、プロセッサは、空間整合ステップによる整合後の３次元点群再構成空間における３次元点群のうち、画像データを成す複数のフレームのそれぞれにおける道路上の２次元特徴点に対応する３次元点の実世界座標空間における位置情報を、当該２次元特徴点に関連付ける。ここで、空間整合ステップにおいては、３次元点群再構成空間を実世界座標空間に整合させるに際して、所定期間分の測位位置のうちの最初の測位位置である第１測位位置と、当該所定期間分の測位位置と並行して得られた画像データに基づく当該所定期間分のカメラの推定位置のうちの最初のカメラの推定位置である第１推定位置とが、互いに対応するものとみなす。併せて、空間整合ステップのおいては、所定期間分の測位位置のうちの最後の測位位置である第２測位位置と、所定期間分のカメラの推定位置のうちの最後のカメラの推定位置である第２推定位置とが、互いに対応するものとみなす。さらに、空間整合ステップにおいては、所定期間分の測位位置のうちの第１測位位置および第２測位位置以外の任意の測位位置である第３測位位置と、当該所定期間分のカメラの推定位置のうちの第１推定位置および第２推定位置以外のいずれかのカメラの推定位置である第３推定位置とが、互いに対応するものとみなす。その上で、空間整合ステップにおいては、３次元点群再構成空間を実世界座標空間に整合させる。このとき、第１測位位置および第２測位位置のそれぞれに対する第３測位位置の空間的関係と、第１推定位置および第２推定位置のそれぞれに対する第３推定位置の空間的関係とが、互いに共通するように、当該第３推定位置が定められる。

このような本発明は、従来よりもコストを抑えながら精確なデジタル地図の作成および更新を実現するのに大きく貢献する。この効果は、デジタル地図の領域が広いほど顕著である。

本発明の一実施例に係る地理空間情報処理システムの全体の構成を示す図である。 同実施例におけるドライブレコーダによる撮影画像の一例を示す図である。 同実施例における地理空間情報処理装置の電気的な構成を示すブロック図である。 同実施例における地理空間情報処理装置による一連の処理の流れを示すフロー図である。 同実施例における３次元点群再構成空間とカメラの推定位置とを可視化した一例を示す図である。 同実施例におけるプロクラステス解析を用いた相似変換による整合結果の一例を示す図である。 同実施例における測位位置を基準とする補正に用いられる補正空間の一例を示す図である。 同実施例における測位位置を基準とする補正結果の一例を示す図である。 同実施例におけるＯＳＭ道路の基本的な構成を示す図である。 同実施例における道路マッチングの要領を説明するための図である。 同実施例におけるＯＳＭ道路の形状の高解像度化の要領を説明するための図である。 同実施例におけるＯＳＭ道路の形状の高解像度化の要領を説明するための別の図である。 同実施例におけるＯＳＭ道路を基準とする追加補正の要領を説明するための図である。 同実施例におけるＯＳＭ道路位置を基準とする補正に用いられる補正空間の一例を示す図である。 同実施例におけるＯＳＭ道路を基準とする追加補正結果の一例を示す図である。 同実施例におけるカメラのレンズ歪み補正後の撮影画像の一例を示す図である。 同実施例における物体検出モデルによる道路検出結果の一例を示す図である。 同実施例におけるセグメンテーションモデルによるセグメンテーション結果の一例を示す図である。 同実施例における画像言語埋め込みモデルによる路面状態判定結果の一例を示す図である。 図４におけるＳ５の詳細を示すフロー図である。 図４におけるＳ７の詳細を示すフロー図である。 図４におけるＳ９の詳細を示すフロー図である。 図４におけるＳ１１の詳細を示すフロー図である。 図４におけるＳ１３の残りの部分の詳細を示すフロー図である。 図４におけるＳ１５の詳細を示すフロー図である。

本発明の一実施例について、図１に示される地理空間情報処理システム１０を例に挙げて説明する。

図１に示されるように、本実施例に係る地理空間情報処理システム１０は、データ管理サーバ３０と、地図データベース５０と、地理空間情報処理装置７０とを備え、これらは、ネットワーク９０を介して相互に通信可能に接続される。なお、ネットワーク９０は、たとえばインターネットであるが、ＬＡＮやＷＡＮであってもよく、あるいは、ＬＡＮやＷＡＮを含んでもよい。

データ管理サーバ３０は、不図示のデータベースを有し、このデータベースには、多数のドライブレコーダによる記録データが保存される。ドライブレコーダによる記録データには、当該ドライブレコーダが備えるカメラによる撮影画像データ（動画データ）と、当該ドライブレコーダに内蔵された測位衛星受信機、いわゆるＧＰＳ受信機、による測位データとが含まれる。また、測位データには、測位位置を表す測位位置データと、測位日時を表す測位日時データ（タイムスタンプ）とが含まれる。なお、撮影画像データには、撮影時刻を表すデータは含まれていない。

地図データベース５０は、デジタル地図のデータベースであり、たとえばオープンストリートマップ（以下、「ＯＳＭ」と称する。）のデータベースである。ＯＳＭについては、公知であるので、その詳細な説明は、省略する。

そして、地理空間情報処理装置７０は、データ管理サーバ３０に保存されているドライブレコーダによる記録データのうちの任意のデータを、当該データ管理サーバ３０から取得する。前述したように、ドライブレコーダによる記録データには、当該ドライブレコーダが備えるカメラによる撮影画像データと、当該ドライブレコーダに内蔵された測位衛星受信機による測位データとが含まれる。特に、撮影画像データは、複数のフレームを含む。そして、ドライブレコーダが搭載された車両（動体）が道路上を走行しているときのフレームには、たとえば図２に示される如く道路（の画像）が含まれる。

地理空間情報処理装置７０は、撮影画像データを成すそれぞれのフレームに含まれる道路上の適宜の箇所、厳密には後述する２次元特徴点１３２（図１８参照）の、実世界座標空間（ＷＧＳ８４）における３次元座標値を導出するとともに、導出された３次元座標値を表す位置情報を、当該２次元特徴点１３２に関連付ける。併せて、地理空間情報処理装置７０は、それぞれのフレームにおける道路上の２次元特徴点１３２を利用して、当該道路の実際の（実世界座標空間における）幅員Ｗｔを推定し、その推定結果を、当該推定結果に係る２次元特徴点１３２に対応する後述の３次元点１０２（図５参照）に関連付ける。さらに、地理空間情報処理装置７０は、それぞれのフレームにおける道路の表面の状態、とりわけ路面の種類（アスファルトやコンクリートなど）を判定し、その判定結果を、当該判定結果に係る道路上の２次元特徴点１３２に対応する３次元点１０２に関連付ける。

このような地理空間情報処理装置７０は、たとえば図３に示されるようなパーソナルコンピュータ（以下、「ＰＣ」と称する。）によって構成される。すなわち、地理空間情報処理装置７０としてのＰＣは、制御部７２と、入出力インタフェース（Ｉ／Ｆ）部７４と、入力装置７６と、表示装置７８と、補助記憶部８０と、通信部８２とを有する。なお、地理空間情報処理装置７０としてのＰＣは、他にも種々の要素を有するが、図４においては、本発明に直接的に関係しない要素の図示は省略してある。

制御部７２は、地理空間情報処理装置７０としてのＰＣ全体の制御を担う制御手段であり、この制御部７２は、制御実行手段としてのＣＰＵ７２ａを有する。併せて、制御部７２は、ＣＰＵ７２ａが直接的にアクセス可能な主記憶部７２ｂを有する。主記憶部７２ｂは、たとえばＲＯＭおよびＲＡＭを含む。このうちのＲＯＭには、ＢＩＯＳを含むファームウェアが記憶されている。一方、ＲＡＭは、ＣＰＵ７２ａがファームウェアやオペレーティングシステム、後述する地理空間情報処理ソフトウェア８０ａなどの各種ソフトウェアに含まれる種々のプログラムに基づく処理を実行する際の作業領域およびバッファ領域を構成する。

入出力インタフェース部７４は、制御部７２、とりわけＣＰＵ７２ａと、入力装置７６などの各要素との橋渡しを担う要素であり、たとえばチップセットを含む。このため、入出力インタフェース部７４には、制御部７２が接続されるとともに、入力装置７６などの各要素が接続される。

入力装置７６は、不図示の操作者による操作を受け付ける操作受付手段である。この入力装置７６は、たとえばキーボードおよびマウスを含む。

表示装置７８は、種々の情報を表示する表示手段である。この表示手段は、たとえば液晶ディスプレイや有機ＥＬディスプレイなどのフラットパネルディスプレイであるが、これに限らない。

補助記憶部８０は、補助記憶手段であり、たとえばハードディスクドライブを有する。この補助記憶部８０には、オペレーティングシステムが記憶されるとともに、各種ソフトウェアが記憶され、とりわけＰＣを地理空間情報処理装置７０として機能させるための地理空間情報処理ソフトウェア８０ａというアプリケーションソフトウェアが記憶される。なお、補助記憶部８０は、ハードディスクドライブに代えて、または、これに加えて、フラッシュメモリなどの書き換え可能な不揮発性メモリを有してもよい。

そして、通信部８２は、前述のネットワーク９０との接続を担う通信接続手段である。この通信部８２とネットワーク９０との接続は、有線であってもよいし、無線であってもよい。

さて前述したように、地理空間情報処理装置７０は、撮影画像データを成すそれぞれのフレームに含まれる道路上の２次元特徴点１３２の実世界座標空間における３次元座標値を導出するとともに、導出された３次元座標値を表す位置情報を、当該２次元特徴点１３２に関連付ける。併せて、地理空間情報処理装置７０は、それぞれのフレームにおける道路上の２次元特徴点１３２を利用して、当該道路の実際の幅員Ｗｔを推定し、その推定結果を、当該推定結果に係る２次元特徴点１３２に対応する後述の３次元点１０２に関連付ける。さらに、地理空間情報処理装置７０は、それぞれのフレームにおける道路の表面の状態を判定し、その判定結果を、当該判定結果に係る道路上の２次元特徴点１３２に対応する３次元点１０２に関連付ける。この地理空間情報処理装置７０による一連の処理の流れを、図４に示す。なお、図４において、「Ｓ」から始まる符号は、各処理ステップを特定するための符号であり、以下の説明では、各処理ステップを当該符号で表現する。

この図４に示されるように、地理空間情報処理装置７０（厳密にはＣＰＵ７２ａ）は、まずＳ１において、データ管理サーバ３０から任意のドライブレコーダによる記録データを取得する。前述したように、ドライブレコーダによる記録データには、当該ドライブレコーダが備えるカメラによる撮影画像データと、当該ドライブレコーダに内蔵された測位衛星受信機による測位データとが含まれる。ここで、撮影画像データのフレームレートは、たとえば７ｆｐｓである。言い換えれば、撮影画像データのフレーム更新周期は、１／７秒間である。一方、測位データは、所定の周期で取得され、たとえば３秒間周期で取得される。すなわち、撮影画像データのフレーム更新周期（第１周期）は、測位データの更新周期（第２周期）よりも短く、つまり当該測位データの更新周期とは異なる。また、これら両更新周期は、互いに非同期である。

Ｓ１の実行後、地理空間情報処理装置７０は、続くＳ３において、当該Ｓ１で取得された記録データに含まれる撮影画像データに基づいて、この撮影画像データによって表される地理空間の３次元モデルを図６に示される如く３次元点群１００により再構成する。この再構成は、たとえば公知のＳｆＭ（Structure from Motion）により行われ、詳しくはたとえば公知のＣＯＬＭＡＰにより行われる。このため、前述の地理空間情報処理ソフトウェア４０ａｂには、ＣＯＬＭＡＰが含まれる。また、この再構成に際しては、カメラのレンズによる歪みが補正され、その上で、当該再構成が行われる。さらに、再構成においては、それぞれのフレームが得られたときのカメラの位置が推定されるとともに、その推定結果であるカメラ推定位置Ｐｃ［ｊ］（ｊ；フレーム番号）が、再構成された３次元点群１００の空間である３次元点群再構成空間と関連付けられる。なお、カメラの位置の推定と併せて、カメラの姿勢（パン・チルト・ロール）およびパラメータも推定されるが、当該カメラの姿勢およびパラメータは、本実施例においては特段には利用されない。

ちなみに、図５は、図２によって示されるのと同じ地理空間についての３次元点群再構成空間とカメラ推定位置Ｐｃ［ｊ］とを可視化した一例である。この図５に示されるように、３次元点群１００は、多数の３次元点１０２によって構成される。また、図５においては、カメラ推定位置Ｐｃ［ｊ］が３次元点群１００に重ねて示されることで、当該カメラ推定位置Ｐｃ［ｊ］が３次元点群再構成空間と関連付けられていることが表現されている。なお、図５は、飽くまでも３次元点群再構成空間とカメラ推定位置Ｐｃ［ｊ］とが可視化された図の一例であり、実際には、それぞれの３次元点１０２の３次元座標値とカメラ推定位置Ｐｃ［ｊ］の３次元座標値とがＳｆＭによる処理結果として得られる。

図４を改めて参照して、Ｓ３の実行後、地理空間情報処理装置７０は、続くＳ５において、当該Ｓ３で再構成された３次元点群再構成空間を実世界座標空間に整合させる。このとき併せて、カメラ推定位置Ｐｃ［ｊ］も実世界座標空間に整合される。この整合は、たとえばプロクラステス解析を用いた相似変換により行われる。その要領について、図６を参照して説明する。

なお、図６は、プロクラステス解析を用いた相似変換による整合結果の一例を示す図であり、詳しくは測位位置データによって表される測位位置Ｐｇ［ｋ］（ｋ；測位順）を青色の丸印でＯＳＭ上に記す（プロットする）とともに、整合後のカメラ推定位置Ｐｃ［ｊ］を赤色の丸印で当該ＯＳＭ上に記した図である。また、図６によって示される地理空間は、図２（および図５）に示される地理空間とは異なる。さらに、図６においては、１分間分の測位位置Ｐｇ［ｋ］が記されており、つまり計２１個の測位位置Ｐｇ［ｋ］が記されている。併せて、図６においては、測位位置Ｐｇ［ｋ］と並行して得られた撮影画像データに基づく１分間分（厳密には１分間弱分）のカメラ推定位置Ｐｃ［ｊ］が記されており、詳しくは計４２０個のカメラ推定位置Ｐｃ［ｊ］が記されている。また、図６においては、その右下端にある測位位置Ｐｇ［ｋ］が、最初の測位位置Ｐｇ［１］であり、左上端にある測位位置Ｐｇ［ｋ］が、最後の測位位置Ｐｇ［Ｋ］（＝Ｐｇ［２１］）である。すなわち、ドライブレコーダを搭載した車両が最初の測位位置Ｐｇ［１］から最後の測位位置Ｐｇ［Ｋ］に向かって移動したことが、測位位置Ｐｇ［ｋ］の軌跡によって表されている。そして、図６における右下端にあるカメラ推定位置Ｐｃ［ｊ］が、最初のカメラ推定位置Ｐｃ［１］であり、図６における左上端にあるカメラ推定位置Ｐｃ［ｊ］が、最後のカメラ推定位置Ｐｃ［Ｊ］（＝Ｐｃ［４２０］）である。

このプロクラステス解析を用いた相似変換は、それぞれの測位位置Ｐｇ［ｋ］を指標として行われる。そのために、全てのカメラ推定位置Ｐｃ［ｊ］の中からそれぞれの測位位置Ｐｇ［ｋ］に対応する対応カメラ推定位置Ｐｃｇ［ｋ］が特定される。

具体的には、最初の測位位置Ｐｇ［１］（第１測位位置）と最初のカメラ推定位置Ｐｃ［１］（第１推定位置）とが互いに対応するとともに、最後の測位位置Ｐｇ［Ｋ］（第２測位位置）と最後のカメラ推定位置Ｐｃ［Ｊ］（第２推定位置）とが互いに対応するものとみなされる。すなわち、最初のカメラ推定位置Ｐｃ［１］が最初の測位位置Ｐｇ［１］に対応する対応カメラ推定位置Ｐｃｇ［１］であると特定されるとともに、最後のカメラ推定位置Ｐｃ［Ｊ］が最後の測位位置Ｐｇ［Ｋ］に対応する対応カメラ推定位置Ｐｃｇ［Ｋ］（＝Ｐｃｇ［２１］）であると特定される。

そして、最初の測位位置Ｐｇ［１］および最後の測位位置Ｐｇ［ｋ］以外のそれぞれの測位位置Ｐｇ［ｋ］（第３測位位置）に対応する対応カメラ推定位置Ｐｃｇ［ｋ］（第３推定位置）については、測位位置Ｐｇ［ｋ］の移動進捗度合いと、カメラ推定位置Ｐｃ［ｊ］の移動進捗度合いとが、互いに同じである、という発想に基づいて特定される。詳しくは、最初の測位位置Ｐｇ［１］および最後の測位位置Ｐｇ［Ｋ］のそれぞれに対する任意の測位位置Ｐｇ［ｋ］の空間的関係と、当該任意の測位位置Ｐｇ［ｋ］に対応する対応カメラ推定位置Ｐｃｇ［ｋ］の最初のカメラ推定位置Ｐｃ［１］および最後のカメラ推定位置Ｐｃ［Ｊ］のそれぞれに対する空間的関係とが、互いに共通する、という発想に基づいて、当該任意の測位位置Ｐｇ［ｋ］に対応する対応カメラ推定位置Ｐｃｇ［ｋ］が特定される。

そのために、次の式１に基づいて、最初のカメラ推定位置Ｐｃ［１］から任意の測位位置Ｐｇ［ｋ］に対応する対応カメラ推定位置Ｐｃｇ［ｋ］までの経路長Ｌｃｇ［ｋ］が求められる。ここで、Ｌｇ［ｋ］は、最初の測位位置Ｐｇ［１］から任意の測位位置Ｐｇ［ｋ］までの経路長である。そして、Ｌｇ＿ＡＬＬは、最初の測位位置Ｐｇ［１］から最後の測位位置Ｐｇ［Ｋ］までの全経路長である。また、Ｌｃ＿ＡＬＬは、最初のカメラ推定位置Ｐｃ［１］から最後のカメラ推定位置Ｐｃ［Ｊ］までの全経路長である。

《式１》
Ｌｃｇ[ｋ]=（Ｌｇ［ｋ］／Ｌｇ＿ＡＬＬ）・Ｌｃ＿ＡＬＬ

そして、最初のカメラ推定位置Ｐｃ［１］から式１に基づく経路長Ｌｃｇ［ｋ］を経た位置Ｐｔに該当するカメラ推定位置Ｐｃ［ｊ］が、任意の測位位置Ｐｇ［ｋ］に対応する対応カメラ推定位置Ｐｃｇ［ｋ］として特定される。なお、位置Ｐｔに該当するカメラ推定位置Ｐｃ［ｊ］が存在しない場合には、当該位置Ｐｔに最も近いカメラ推定位置Ｐｃ［ｊ］が、任意の測位位置Ｐｇ［ｋ］に対応する対応カメラ推定位置Ｐｃｇ［ｋ］として特定される。

その上で、それぞれの対応カメラ推定位置Ｐｃｇ［ｋ］が当該対応カメラ推定位置Ｐｃｇ［ｋ］に対応する測位位置Ｐｇ［ｋ］と一致するように、プロクラステス解析を用いた相似変換が行われる。これにより、３次元点群再構成空間が、カメラ推定位置Ｐｃ［ｊ］と併せて、並進、回転およびスケーリングされて、実世界座標空間に整合される。

なお、プロクラステス解析を用いた相似変換による整合に際して、測位位置Ｐｇ［ｋ］およびカメラ推定位置Ｐｃ［ｊ］それぞれのばらつきを補正するための前処理が行われてもよい。この前処理は、たとえば公知のカルマンフィルタにより行うことができる。このような前処理が行われることで、整合精度の向上が図られる。

ここで、プロクラステス解析を用いた相似変換による整合後のそれぞれの対応カメラ推定位置Ｐｃｇ[ｋ]は、つまり実世界座標空間におけるそれぞれの対応カメラ推定位置Ｐｃｇ［ｋ］は、当該それぞれの対応カメラ推定位置Ｐｃｇ[ｋ]に対応する測位位置Ｐｇ［ｋ］と同様、緯度および経度により規定される。なお、実世界座標空間においては、垂直（鉛直）軸がＹ軸であり、２つの水平軸がＸ軸およびＺ軸である。すなわち、実世界座標空間のＸＺ平面における座標値は、緯度および経度により規定される。

一方、実世界座標空間のＹ軸方向における座標値は、たとえば標高により規定されるが、整合後の３次元点群１００を成すそれぞれの３次元点１０２の高さ位置を表すＹ値については、とりわけＹ軸方向における２つの３次元点１０２および１０２の相互間距離については、何らかの規準がなければ、これを定量的に（何メートルであるのかを）求めることができない。これは、測位衛星受信機による測位データに高さ方向に関する情報が含まれていないことによる。

そこで、地理空間情報処理装置７０は、整合後の各対応カメラ推定位置Ｐｃｇ［ｋ］間の距離と、当該各対応カメラ推定位置Ｐｃｇ［ｋ］間の測地線（Geodesic）距離との、相互比率に基づいて、規準としてのスケールファクタＳｆを導出する。

具体的には、地理空間情報処理装置７０は、整合後の連続する２つの対応カメラ推定位置Ｐｃｇ［ｋ］およびＰｃｇ［ｋ＋１］間の最短距離ΔＬｃｇ[ｋ]を求める。併せて、地理空間情報処理装置７０は、実世界座標空間における当該２つの対応カメラ推定位置Ｐｃｇ［ｋ］およびＰｃｇ［ｋ＋１］間の測地線距離ΔＬａ［ｋ］を求める。そして、地理空間情報処理装置７０は、測地線距離ΔＬａ［ｋ］に対する最短距離ΔＬｃｇ［ｋ］の比率Ｒ［ｋ］（＝ΔＬｃｇ［ｋ］／ΔＬａ［ｋ］）を求める。そして、地理空間情報処理装置７０は、全ての区間における比率Ｒ［ｋ］の平均を、スケールファクタＳｆとし、つまり次の式２に基づいて、スケールファクタＳｆを導出する。

《式２》
Ｓｆ＝（ΣＲ［ｋ］）／（Ｋ－１） ｗｈｅｒｅ ｋ＝１～Ｋ－１

実世界座標空間のＹ軸方向においては、とりわけ２つの３次元点１０２および１０２の相互間距離に、このスケールファクタＳｆが乗ぜられることで、当該相互化距離が定量的に求められる。

前述したように、図６は、プロクラステス解析を用いた相似変換による整合結果の一例を示す図であり、詳しくは測位位置Ｐｇ［ｋ］を青色の丸印でＯＳＭ上に記すとともに、整合後のカメラ推定位置Ｐｃ［ｊ］を赤色の丸印で当該ＯＳＭ上に記した図である。そして、図６においては、それぞれの測位位置Ｐｇ［ｋ］に対応する対応カメラ推定位置Ｐｃｇ［ｋ］が緑色の丸印で記されている。

ここで、整合後の対応カメラ推定位置Ｐｃｇ［ｋ］（図６における緑色の丸印）と測位位置Ｐｇ［ｋ］（図６における青色の丸印）とは、互いに一致していることが理想である。しかしながら、図６に示される例においては、整合後の対応カメラ推定位置Ｐｃｇ［ｋ］と測位位置Ｐｇ［ｋ］とが局所的に一致しておらず、つまり両者間に多少のズレがある。このズレは、カメラパスやシーン特性などに起因するものである。また、このズレは、整合後の３次元点群再構成空間全体において、生じているものと考えられる。

そこで、改めて図４を参照して、地理空間情報処理装置７０は、Ｓ５に続くＳ７において、測位位置Ｐｇ［ｋ］を基準とする３次元点群再構成空間全体の補正を行う。

具体的には、地理空間情報処理装置７０は、整合後のそれぞれの対応カメラ推定位置Ｐｃｇ［ｋ］の測位位置Ｐｇ［ｋ］に対する誤差ベクトル（補正オフセット）Ｖｇ［ｋ］を算出する。この誤差ベクトルＶｇ［ｋ］は、緯度についての誤差ベクトルＶｇ＿ＬＡＴ［ｋ］と、経度についての誤差ベクトルＶｇ＿ＬＯＮ［ｋ］とを含む。

そして、地理空間情報処理装置７０は、整合後の対応カメラ推定位置Ｐｃｇ［ｋ］を制御点とし、誤差ベクトルＶｇ［ｋ］を補間値とする、放射基底関数（ＲＢＦ）補間により、図７に示されるような補正空間（第１補正空間）を生成する。なお、図７において、赤色の丸印は、整合後の対応カメラ推定位置Ｐｃｇ［ｋ］を表し、換言すればＳ７による補正前の対応カメラ推定位置Ｐｃｇ［ｋ］を表す。そして、図７における緑色の丸印は、Ｓ７による補正後の対応カメラ推定位置Ｐｃｇ’［ｋ］を表し、換言すれば当該Ｓ７による補正の目標とする対応カメラ推定位置Ｐｃｇ’［ｋ］を表す。また、図７に示される補正空間の横軸は、経度を表し、当該補正空間の縦軸は、経度を表し、当該補正空間の色は、補正の程度（強さ）を表す。

その上で、地理空間情報処理装置７０は、図７に示される補正空間を整合後の３次元点群再構成空間に適用することで、当該３次元点群再構成空間全体を補正する。これにより、補正前のそれぞれの対応カメラ推定位置Ｐｃｇ［ｋ］が目標とする対応カメラ推定位置Ｐｃｇ’［ｋ］に補正され、これに伴い、３次元点群再構成空間全体が補正される。

図８は、Ｓ７による補正結果の一例を示し、つまり測位位置Ｐｇ［ｋ］を基準とする補正結果の一例を示す。なお、図８は、図６におけるＯＳＭ上の道路（以下、「ＯＳＭ道路」と称する。）の一部と、当該ＯＳＭ上に記したカメラ推定位置Ｐｃ［ｊ］（赤色の丸印）および測位位置Ｐｇ［ｋ］（青色の丸印）とを、抽出して示すとともに、これに、測位位置Ｐｇ［ｋ］を基準とする（つまり図７に示される補正空間による）補正後のカメラ推定位置Ｐｃ’［ｊ］をオレンジ色の丸印で記した図である。

この図８に示されるように、測位位置Ｐｇ［ｋ］を基準とする補正が行われることで、当該補正後のカメラ推定位置Ｐｃ’［ｊ］が測位位置Ｐｇ［ｋ］の軌跡に倣うようになる。また、図８からは分からないが、それぞれの対応カメラ推定位置Ｐｃｇ’［ｋ］が測位位置Ｐｇ［ｋ］と一致するようになる。これと併せて、３次元点群再構成空間全体が補正される。

ところで、測位位置Ｐｇ［ｋ］については、状況によっては誤差が生ずる場合がある。たとえば、図８においては、破線の矩形枠１１０により囲まれた領域内の測位位置Ｐｇ［ｋ］について、誤差が生じている（測位位置Ｐｇ［ｋ］が若干ＯＳＭ道路の中央寄りにある）ことが認められる。このような場合は、測位位置Ｐｇ［ｋ］を基準とする補正後のカメラ推定位置Ｐｃ’［ｊ］を含む３次元点群再構成空間全体について、さらなる補正をすることが、詳しくはＯＳＭ道路を基準とする追加補正をすることが、適当であるものと考えられる。

そこで、改めて図４を参照して、地理空間情報処理装置７０は、Ｓ７に続くＳ９において、ＯＳＭ道路を基準とする３次元点群再構成空間全体の追加補正を行う。

そのために、地理空間情報処理装置７０は、追加補正に必要なＯＳＭ道路に関する情報、言わばＯＳＭ道路情報を、地図データベース５０から取得する。この地図データベース５０からのＯＳＭ道路情報の取得は、Ｏｖｅｒｐａｓｓ＿ＡＰＩを用いて行われる。

ここで言う追加補正に必要なＯＳＭ道路に関するＯＳＭ道路情報とは、当該追加補正の対象となるいずれかのカメラ推定位置Ｐｃ’［ｊ］を含むＯＳＭ道路に関するＯＳＭ道路情報、あるいは、当該カメラ推定位置Ｐｃ’［ｊ］の近傍にある、詳しくは当該カメラ推定位置Ｐｃ’［ｊ］を中心とする所定の検索半径Ｒｓ内にある、ＯＳＭ道路に関するＯＳＭ道路情報を指す。なお、検索半径Ｒｃは、たとえば１０ｍであるが、これに限らない。

そして、地理空間情報処理装置７０は、地図データベース５０から取得されたＯＳＭ道路情報によって表されるＯＳＭ道路の中から、それぞれのカメラ推定位置Ｐｃ’［ｊ］にマッチするＯＳＭ道路を特定し、詳しくは当該ＯＳＭ道路のＯＳＭ＿ＩＤを特定し、言わば道路マッチングを行う。たとえば、いずれかのカメラ推定位置Ｐｃ’［ｊ］がいずれかのＯＳＭ道路に含まれる場合は、そのカメラ推定位置Ｐｃ’［ｊ］は、当該カメラ推定位置Ｐｃ’［ｊ］を含むＯＳＭ道路とマッチする、と判定される。一方、いずれのＯＳＭ道路にも含まれないカメラ推定位置Ｐｃ’［ｊ］については、当該カメラ推定位置Ｐｃ’［ｊ］からの最短距離ＤＳと、当該カメラ推定位置Ｐｃ’［ｊ］の移動方向ＤＲｃとの関係とに基づいて、道路マッチングが行われる。

具体的には、ＯＳＭ道路は、図９に示されるように、２つのノード１２０および１２０と、これら２つのノード１２０および１２０を結ぶ直線状のエッジ１２２とによって、規定されている。そして、いずれかのカメラ推定位置Ｐｃ’［ｊ］がいずれかのＯＳＭ道路上（エッジ１２２上）に存在する場合に、そのＯＳＭ道路が当該カメラ推定位置Ｐｃ’［ｊ］とマッチする、と判定される。

一方、いずれのＯＳＭ道路上にも存在しないカメラ推定位置Ｐｃ’［ｊ］については、当該カメラ推定位置Ｐｃ’［ｊ］から（地図データベース５０から取得されたＯＳＭ道路情報によって表される）それぞれのＯＳＭ道路までの最短距離ＤＳに応じた距離スコアＳｄｓと、当該カメラ推定位置Ｐｃ’［ｊ］の移動方向ＤＲｃとそれぞれのＯＳＭ道路の向きＤＲｓとの関係に応じた方向スコアＳｄｒとに基づいて、当該カメラ推定位置Ｐｃ’［ｊ］にマッチするＯＳＭ道路が特定される。

ここで言う最短距離ＤＳは、図１０に示されるように、カメラ推定位置Ｐｃ’［ｊ］の軌跡に対して直角な方向における当該カメラ推定位置Ｐｃ’［ｊ］からＯＳＭ道路までの距離（直交距離）である。そして、距離スコアＳｄｓは、次の式３に基づいて算出される。すなわち、距離スコアＳｄｓは、最短距離ＤＳを前述の検索半径Ｒｓによって正規化した値である。

《式３》
Ｓｄｓ＝ＤＳ／Ｒｓ

また、方向スコアＳｄｒは、次の式４に基づいて算出される。この式４におけるθｄｒは、カメラ推定位置Ｐｃ’［ｊ］の移動方向ＤＲｃとそれぞれのＯＳＭ道路の向きＤＲｓとが互いに成す角度であり、言わば誤差角度である。すなわち、方向スコアＳｄｒは、誤差角度θｄｒを９０°という所定の角度で正規化した値である。

《式４》
Ｓｄｒ＝θｄｒ／９０°

なお、方向スコアＳｄｒについては、誤差角度θｄｒを１８０°という角度で正規化した値とすることも考えられるが、道路マッチングの誤判定を抑制するには、当該誤差角度θｄｒを９０°という角度で正規化する方が、換言すれば９０°という角度を最大誤差として扱う方が、適当である。また、方向スコアＳｄｒについては、ＯＳＭ道路が一方通行の道路であるのか、それとも双方向通行の道路であるのかが、加味される。

すなわちたとえば、ＯＳＭ道路が一方通行の道路である場合には、そのＯＳＭ道路情報に“oneway”というタグが付される。この“oneway”というタグが付されたＯＳＭ道路情報によって表されるＯＳＭ道路については、つまり一方通行のＯＳＭ道路については、前述の式４に基づいて方向スコアＳｄｒが算出される。

これに対して、“oneway”というタグが付されていないＯＳＭ道路情報によって表されるＯＳＭ道路については、つまり双方向通行のＯＳＭ道路については、式４に基づいて方向スコアＳｄｒが算出されるとともに、次の式５に基づいて方向スコアＳｄｒが算出される。

《式５》
Ｓｄｒ＝（１８０°－θｄｒ）／９０°

そして、式４に基づく方向スコアＳｄｒと、式５に基づく方向スコアＳｄｒとのうちの小さい方の値が、道路マッチングに用いられる。

このようにして距離スコアＳｄｓと方向スコアＳｄｒとが算出された上で、地理空間情報処理装置７０は、当該距離スコアＳｄｓと方向スコアＳｄｒとの合計である合計スコアＳａが最も小さいＯＳＭ道路を、カメラ推定位置Ｐｃ’［ｊ］とマッチするものとして特定する。

具体例を挙げて説明すると、或るカメラ推定位置Ｐｃ’［ｊ］の移動方向が北方向であり、この或るカメラ推定位置Ｐｃ’［ｊ］がＡという実際の（マッチするべき）ＯＳＭ道路から東側へ９ｍ離れている、とする。ここで、ＯＳＭ道路Ａは、北向きの一方通行の道路である、とする。そして、ＯＳＭ道路Ａとは別のＢというＯＳＭ道路が存在し、このＯＳＭ道路Ｂは、南東向きの一方通行の道路であり、ここで言う或るカメラ推定位置から西側へ１ｍ離れている、とする。この場合、ＯＳＭ道路Ａについての距離スコアＳｄｓは、０．９（＝９ｍ／１０ｍ）であり、方向スコアＳｄｒは、０．０（＝０°／９０°）であり、合計スコアＳａは、０．９（＝０．９＋０．０）である。一方、ＯＳＭ道路Ｂについての距離スコアＳｄｓは、０．１（＝１ｍ／１０ｍ）であり、方向スコアＳｄｒは、１．５（＝１３５°／９０°）であり、合計スコアＳａは、１．６（＝０．１＋１．５）である。したがって、ここで言う或るカメラ推定位置Ｐｃ’［ｊ］は、合計スコアＳａが小さいＯＳＭ道路Ａとマッチするものとして特定される。

このようにしてそれぞれのカメラ推定位置Ｐｃ’［ｊ］とマッチするＯＳＭ道路が特定された上で、地理空間情報処理装置７０は、当該ＯＳＭ道路の形状を高解像度化する（滑らかにする）ための処理を行う。

すなわち、図９を参照しながら説明したように、ＯＳＭ道路は、２つのノード１２０および１２０と、これら２つのノード１２０および１２０を結ぶ直線状のエッジ１２２とによって、規定されている。したがって特に、カーブの区間では、図１１に示されるように、ＯＳＭ道路の解像度が低く、ゆえに、当該ＯＳＭ道路の形状（道路スプライン）が実際の道路の形状から乖離する傾向にある。

そこで、地理空間情報処理装置７０は、ＯＳＭ道路の形状を高解像度化するための処理を行う。この処理は、公知の３次エルミートスプライン補間により行われる。これにより、ＯＳＭ道路の形状が図１２に示される如く高解像度化される。

その上で、地理空間情報処理装置７０は、図１３に示されるように、高解像度化されたＯＳＭ道路におけるそれぞれのカメラ推定位置Ｐｃ’［ｊ］に対応する位置Ｐｓ［ｊ］を特定する。なお、高解像度化されたＯＳＭ道路におけるそれぞれのカメラ推定位置Ｐｃ’［ｊ］に最も近い位置が、対応位置Ｐｓ［ｊ］として特定される。

そして、地理空間情報処理装置７０は、それぞれのカメラ推定位置Ｐｃ’［ｊ］の対応位置Ｐｓ［ｊ］に対する誤差ベクトル（補正オフセット）Ｖｓ［ｊ］を算出する。この誤差ベクトルＶｓ［ｊ］は、緯度についての誤差ベクトルＶｓ＿ＬＡＴ［ｊ］と、経度についての誤差ベクトルＶｓ＿ＬＯＮ［ｊ］とを含む。

さらに、地理空間情報処理装置７０は、それぞれのカメラ推定位置Ｐｃ’［ｊ］を制御点とし、誤差ベクトルＶｓ［ｊ］を補間値とする、放射基底関数補間により、図１４に示されるような補正空間（第２補正空間）を生成する。なお、図１４において、赤色の丸印は、Ｓ９による追加補正前のカメラ推定位置Ｐｃ’［ｊ］を表し、換言すればＳ７による補正後のカメラ推定位置Ｐｃ’［ｊ］を表す。そして、図１４における緑色の丸印は、Ｓ９による追加補正後のカメラ推定位置Ｐｃ”［ｊ］を表し、換言すれば当該Ｓ９による追加補正の目標とするカメラ推定位置Ｐｃ”［ｊ］を表す。また、図１４に示される補正空間の横軸は、経度を表し、当該補正空間の縦軸は、経度を表し、当該補正空間の色は、追加補正の程度を表す。

地理空間情報処理装置７０は、この図１４に示される補正空間をＳ７による補正後の３次元点群再構成空間に適用することで、当該３次元点群再構成空間全体を追加補正する。これにより、追加補正前のそれぞれのカメラ推定位置Ｐｃ’［ｊ］が目標とするカメラ推定位置Ｐｃ”［ｊ］に補正され、これに伴い、３次元点群再構成空間全体が補正される。

図１５は、Ｓ９による追加補正結果の一例を示し、つまりＯＳＭ道路を基準とする追加補正結果の一例を示す。この図１５においては、図６および図８と同様、測位位置Ｐｇ［ｋ］を青色の丸印で記すとともに、補正後のカメラ推定位置Ｐｃ’［ｊ］をオレンジ色の丸印で記しており、さらに、追加補正後のカメラ推定位置Ｐｃ”［ｊ］をピンク色の丸印で記してある。

この図１５に示されるように、ＯＳＭ道路を基準とする追加補正が行われることで、当該追加補正後のカメラ推定位置Ｐｃ”［ｊ］がＯＳＭ道路に精確に倣うようになる。特に、破線の矩形枠１１０により囲まれた領域内のカメラ推定位置Ｐｃ”［ｊ］についても、ＯＳＭ道路に精確に倣うようになる。そして、図１５からは分からないが、３次元点群再構成空間全体が追加補正される。

改めて図４を参照して、地理空間情報処理装置７０は、Ｓ９に続くＳ１１において、撮影画像データを成すそれぞれのフレームに含まれる道路上の２次元特徴点１３２に、当該２次元特徴点１３２の実世界座標空間における３次元座標値を表す位置情報を関連付けるための処理を行う。

このＳ１１の処理においては、前述のＳｆＭによりカメラのレンズ歪みが補正された後の撮影画像データが用いられる。たとえば図１６は、図２（および図５）によって示されるのと同じ地理空間の撮影画像データに対してＳｆＭによるレンズ歪み補正が施された後の撮影画像データの、厳密には或るフレームの、一例を示す。

地理空間情報処理装置７０は、ＳｆＭによるレンズ歪みが施された後のフレームについて、換言すればそれぞれのフレームごとに、物体検出モデルによる道路検出を行う。ここで言う物体検出モデルとしては、たとえば公知のＧｒｏｕｎｄｉｎｇＤＩＮＯが用いられる。このため、前述の地理空間情報処理ソフトウェア４０ａｂには、ＧｒｏｕｎｄｉｎｇＤＩＮＯがセットアップされる。なお、この道路検出のためのＧｒｏｕｎｄｉｎｇＤＩＮＯのプロンプトは、たとえば“building.”である。そして、パラメータとしてのボックス閾値は、たとえば０．３に設定され、テキスト閾値は、たとえば０．２５に設定される。

このＧｒｏｕｎｄｉｎｇＤＩＮＯによる道路検出が行われることで、たとえば図１７に示されるように、検出された道路にバウンディングボックス１２５が付される。なお、図１７に示される地理空間は、図２（および図５、図１６）によって示される地理空間と同じである。また、図１７に示されるフレームにおいては、その左上隅を原点とし、横軸をＸ軸とし、縦軸をＹ軸とする、２次元座標が設定される。このことは、図１６などの他の図面に示されるフレームにおいても、同様である。

このＧｒｏｕｎｄｉｎｇＤＩＮＯによる道路検出が行われた後、地理空間情報処理装置７０は、それぞれのフレームごとに、セグメンテーションモデルにより道路領域を区分するためのセグメンテーションを行う。ここで言うセグメンテーションモデルとしては、たとえば公知のＳＡＭ２が用いられる。このため、前述の地理空間情報処理ソフトウェア４０ａｂには、ＳＡＭ２がセットアップされる。また、ＳＡＭ２には、ＧｒｏｕｎｄｉｎｇＤＩＮＯによる道路検出結果を表すバウンディングボックス１２５がそのままプロンプトとして入力される。これにより、バウンディングボックス１２５内の道路領域が他の領域と区分され、図１８に示されるように、当該道路領域にマスク１３０が掛けられる。

このＳＡＭ２によるセグメンテーションの後、地理空間情報処理装置７０は、当該セグメンテーションにより区分された道路領域（マスク１３０）内にある２次元特徴点１３２を抽出する。すなわち、前述のＳｆＭによる３次元点群１００の再構成においては、それぞれのフレームから２次元特徴点が検出され、この２次元特徴点のフレーム上における２次元座標値やカメラ推定位置Ｐｃ［ｊ］などに基づいて、当該３次元点群１００が再構成される。そして、３次元点群１００の再構成に供された２次元特徴点は、当該２次元特徴点対応する３次元点１０２と関連付けられる。地理空間情報処理装置７０は、それぞれのフレームの２次元特徴点のうち、ＳＡＭ２によるセグメンテーションにより区分された道路領域内にある２次元特徴点１３２を抽出する。なお、図１８は、道路領域内にある２次元特徴点１３２を示す図の一例でもある。

さらに、地理空間情報処理装置７０は、抽出された２次元特徴点１３２に対応する、つまり道路領域内にある２次元特徴点１３２に対応する、３次元点１０２を特定する。そして、地理空間情報処理装置７０は、特定された３次元点１０２のうち、実世界座標空間のＹ軸方向におけるｚ－スコアが所定値を超えるものを、外れ値として後続の処理から除外する。この手法は、公知のＰｙｔｈｏｎ（登録商標）ライブラリの１つであるＳｃｉＰｙを用いた標準的なフィルタリング手法（ｚ－スコアフィルタリング手法）である。なお、ここで言う所定値は、たとえば±２であり、つまり約９７％という信頼範囲に相当する値であるが、これに限らない。

そして、地理空間情報処理装置７０は、外れ値を除外した後の３次元点１０２の３次元座標値を表す位置情報を、当該３次元点１０２に対応する２次元特徴点に関連付ける。これをもって、地理空間情報処理装置７０は、図４におけるＳ１１を終了する。

Ｓ１１に続くＳ１３において、地理空間情報処理装置７０は、それぞれのフレームにおける道路領域内にある２次元特徴点１３２を利用して、当該道路の実際の幅員Ｗｔを推定するとともに、その推定結果を、当該推定結果に係る２次元特徴点１３２に対応する３次元点１０２に関連付けるための処理を行う。

このＳ１３の処理において、地理空間情報処理装置７０は、まず、それぞれのフレームごとに、車線境界検出モデルによる車線境界検出を行う。ここで言う車線境界検出モデルとしては、たとえば公知のＣＬＲｅｒＮＥＴが用いられる。このため、前述の地理空間情報処理ソフトウェア４０ａｂには、ＣＬＲｅｒＮＥＴがセットアップされる。

続いて、地理空間情報処理装置７０は、ここでも兼用される図１８に示されるように、ＣＬＲｅｒＮＥＴにより検出された車線境界１３４に近い位置にある２次元特徴点１３２ａを、当該車線境界１３４ごとにグループ化する。なお、それぞれの２次元特徴点１３２が車線境界１３４に近い位置にあるかどうかは、フレーム上における当該２次元特徴点１３２と車線境界１３４との相互間距離に基づいて判定される。

さらに、地理空間情報処理装置７０は、各グループ間で、同一水平線（同一スキャンライン）１３６上にある、換言すればフレームにおけるＹ値が互いに同じである、２次元特徴点１３２ａをペアリングする。なお、ここで言う同一水平線上にあるかどうかについては、つまりフレームにおけるＹ値が互いに同じであるかどうかについては、適当なマージンが設けられるのが望ましい。

その上で、地理空間情報処理装置７０は、ペアリングされた２次元特徴点１３２ａに対応する３次元点１０２の相互間距離を算出し、この算出された相互間距離を、車線幅員Ｗｔとして推定する。

そして、地理空間情報処理装置７０は、推定された車線幅員Ｗｔを、当該車線幅員Ｗｔの推定に係る３次元点１０２に関連付ける。これをもって、地理空間情報処理装置７０は、図４におけるＳ１３を終了する。なお、Ｓ１３においては、所定数（たとえば５～１０）のフレームにわたって推定された車線幅員Ｗｔの平均値が、当該Ｓ１３における最終的な推定結果とされてもよく、いわゆるスライディングウィンドウ法により最終的な車線幅員Ｗｔが推定されてもよい。

Ｓ１３に続くＳ１５において、地理空間情報処理装置７０は、それぞれのフレームにおける道路の表面の状態を判定するとともに、その判定結果を、当該判定結果に係る道路上の２次元特徴点１３２に対応する３次元点１０２に関連付けるための処理を行う。

このＳ１５の処理において、地理空間情報処理装置７０は、まず、前述のＳ１１の処理と同様、それぞれのフレームごとに、物体検出モデルによる、つまりたとえばＧｒｏｕｎｄｉｎｇＤＩＮＯによる、道路検出を行う。これにより、図１９に示されるように、検出された道路にバウンディングボックス１４０が付される。

このＧｒｏｕｎｄｉｎｇＤＩＮＯによる道路検出が行われた後、地理空間情報処理装置７０は、当該ＧｒｏｕｎｄｉｎｇＤＩＮＯにより検出されたフレーム上の道路について、つまりバウンディングボックス１４０が付された部分について、画像言語埋め込みモデルによる路面状態判定を行う。なお、画像言語埋め込みモデルとしては、たとえば公知のＣＬＩＰが用いられる。このＣＬＩＰには、たとえば次のようなプロンプトが入力される。

asphalt: "a paved road with an asphalt surface“
concrete: "a paved road with a concrete surface“
gravel: "an unpaved surface covered with gravel“
dirt: "an unpaved road with a dirt or mud surface“
grass: "an unpaved offroad surface covered with grass or foliage“
other: "an image with a foreground object or structure, or background“

これにより、それぞれのフレームにおける道路の表面の状態、とりわけ路面の種類が次判定され、図１９に示されるように、その判定結果を可視化した判定結果表示情報１４２が当該フレームに配される。なお、図１９においては、判定結果表示情報１４２がバウンディングボックス１４０内に配されるが、この判定結果表示情報１４２が配される位置は、これに限らない。また、同フレームには、たとえばその左上隅近傍の位置には、判定の確度を可視化した判定確度表示情報１４４が配される。

そして、地理空間情報処理装置７０は、ＣＬＩＰによる路面状態（路面種類）の判定結果を表す判定結果情報を、当該判定結果に係る道路上の２次元特徴点１３２に対応する３次元点１０２に関連付ける。これをもって、地理空間情報処理装置７０は、図４におけるＳ１５を終了する。

なお、図２０は、図４におけるＳ５の詳細を示すフロー図である。この図２０に示されるように、地理空間情報処理装置７０は、まず、Ｓ１０１において、カメラ推定位置Ｐｃ［ｊ］のうち、それぞれの測位位置Ｐｇ［ｋ］に対応する対応カメラ推定位置Ｐｃｇ［ｋ］を特定する。そして、地理空間情報処理装置７０は、続くＳ１０３において、プロクラステス解析を用いた相似変換を行う。これにより、３次元点群再構成空間が実世界座標空間に整合される。さらに、地理空間情報処理装置７０は、続くＳ１０５において、スケールファクタＳｆを導出する。これをもって、地理空間情報処理装置７０は、図４におけるＳ５を終了する。

また、図２１は、図４におけるＳ７の詳細を示すフロー図である。この図２１に示されるように、地理空間情報処理装置７０は、まず、Ｓ２０１において、プロクラステス解析を用いた相似変換による整合後の対応カメラ推定位置Ｐｃｇ［ｋ］の測位位置Ｐｇ［ｋ］に対する誤差ベクトルＶｇ［ｋ］を算出する。そして、地理空間情報処理装置７０は、続くＳ２０３において、整合後の対応カメラ推定位置Ｐｃｇ［ｋ］を制御点とし、誤差ベクトルＶｇ［ｋ］を補間値とする、放射基底関数補間により、図７に示されるような補正空間を生成する。さらに、地理空間情報処理装置７０は、続くＳ２０５において、Ｓ２０３で生成された補正空間を整合後の３次元点群再構成空間に適用することで、当該３次元点群再構成空間全体を補正する。これをもって、地理空間情報処理装置７０は、図４におけるＳ７を終了する。

そして、図２２は、図４におけるＳ９の詳細を示すフロー図である。この図２２に示されるように、地理空間情報処理装置７０は、まず、Ｓ３０１において、追加補正に必要なＯＳＭ道路に関するＯＳＭ道路情報を地図データベース５０から取得する。そして、地理空間情報処理装置７０は、続くＳ３０３において、それぞれのカメラ推定位置Ｐｃ’［ｊ］にマッチするＯＳＭ道路を特定し、つまり当該ＯＳＭ道路のＯＳＭ＿ＩＤを特定する。さらに、地理空間情報処理装置７０は、続くＳ３０５において、Ｓ３０３で特定されたＯＳＭ道路の形状を公知の３次エルミートスプライン補間により高解像度化する。そして、地理空間情報処理装置７０は、続くＳ３０７において、Ｓ３０５で高解像度化されたＯＳＭ道路におけるそれぞれのカメラ推定位置Ｐｃ’［ｊ］に対応する位置Ｐｓを特定する。

そして、Ｓ３０７に続くＳ３０９において、地理空間情報処理装置７０は、当該Ｓ３０７で特定された対応位置Ｐｓ［ｊ］に対するそれぞれのカメラ推定位置Ｐｃ’［ｊ］の誤差ベクトルＶｓ［ｊ］を算出する。その上で、地理空間情報処理装置７０は、続くＳ３１１において、それぞれのカメラ推定位置Ｐｃ’［ｊ］を制御点とし、誤差ベクトルＶｓ［ｊ］を補間値とする、放射基底関数補間により、図１４に示されるような補正空間を生成する。そして、地理空間情報処理装置７０は、続くＳ３１３において、Ｓ３１１で生成された補正空間を前述のＳ７（Ｓ２０５）による補正後の３次元点群再構成空間に適用することで、当該３次元点群再構成空間全体を追加補正する。これをもって、地理空間情報処理装置７０は、図４におけるＳ９を終了する。

さらに、図２３は、図４におけるＳ１１の詳細を示すフロー図である。この図２３に示されるように、地理空間情報処理装置７０は、まず、Ｓ４０１において、撮影画像データのそれぞれのフレームごとに、物体検出モデルによる、たとえばＧｒｏｕｎｄｉｎｇＤＩＮＯによる、道路検出を行う。

そして、地理空間情報処理装置７０は、続くＳ４０３において、Ｓ４０１における検出結果に対して、セグメンテーションモデルにより、たとえばＳＡＭ２により、道路領域を区分するためのセグメンテーションを行う。

このＳ４０３の後、地理空間情報処理装置７０は、続くＳ４０５において、当該Ｓ４０３におけるセグメンテーションにより区分された道路領域（マスク１３０）内にある２次元特徴点１３２を抽出する。

そして、地理空間情報処理装置７０は、Ｓ４０５に続くＳ４０７において、当該Ｓ４０５で抽出されたそれぞれの２次元特徴点１３２に対応する、つまり道路領域内にある２次元特徴点１３２に対応する、３次元点１０２を特定する。

さらに、地理空間情報処理装置７０は、Ｓ４０７に続くＳ４０９において、当該Ｓ４０７で特定され３次元点１０２のうち、実世界座標空間のＹ軸方向におけるｚ－スコアが所定値を超えるものを、外れ値として後続の処理から除外する。

その上で、地理空間情報処理装置７０は、Ｓ４０９に続くＳ４１１において、当該Ｓ４０９で外れ値が除外された後の３次元点１０２の３次元座標値を表す位置情報を、当該３次元点１０２に対応する２次元特徴点に関連付ける。これはすなわち、フレーム内の道路上の適宜の箇所の実世界座標空間における３次元座標値が、当該フレーム内の道路上の適宜の箇所に関連付けられることを意味する。これをもって、地理空間情報処理装置７０は、図４におけるＳ１１を終了する。

また、図２４は、図４におけるＳ１３の詳細を示すフロー図である。この図２４に示されるように、地理空間情報処理装置７０は、まず、Ｓ５０１において、撮影画像データのそれぞれのフレームごとに、車線境界検出モデルにより、たとえばＣＬＲｅｒＮＥＴにより、車線境界検出を行う。

そして、地理空間情報処理装置７０は、続くＳ５０３において、Ｓ５０１で検出された車線境界１３４に近い位置にある２次元特徴点１３２ａを、当該車線境界１３４ごとにグループ化する。

このＳ５０３の後、地理空間情報処理装置７０は、続くＳ５０５において、当該Ｓ５０３によりグループ化された各グループ間で、同一水平線上にある、換言すればフレームにおけるＹ値が互いに同じである、２次元特徴点１３２ａをペアリングする。

そして、地理空間情報処理装置７０は、Ｓ５０５に続くＳ５０７において、当該Ｓ５０５でペアリングされた２次元特徴点１３２ａに対応する３次元点１０２の相互間距離を算出し、この算出された相互間距離を、車線幅員Ｗｔとして推定する。

その上で、地理空間情報処理装置７０は、Ｓ５０７に続くＳ５０９において、当該Ｓ５０７で推定された車線幅員Ｗｔを、当該車線幅員Ｗｔの推定に係る３次元点１０２に関連付ける。これはすなわち、フレーム内の道路の実際の車線幅員Ｗｔの推定結果が、当該フレーム内の道路に関連付けられることを意味する。これをもって、地理空間情報処理装置７０は、図４におけるＳ１３を終了する。

さらに、図２５は、図４におけるＳ１５の詳細を示すフロー図である。この図２５に示されるように、地理空間情報処理装置７０は、まず、Ｓ６０１において、撮影画像データのそれぞれのフレームごとに、物体検出モデルによる、たとえばＧｒｏｕｎｄｉｎｇＤＩＮＯによる、道路検出を行う。このＳ６０１の処理は、前述のＳ１１におけるＳ４０１の処理と同様である。

そして、地理空間情報処理装置７０は、続くＳ６０３において、Ｓ６０１における検出結果について、つまりバウンディングボックス１２５が付された部分について、画像言語埋め込みモデルによる、たとえばＣＬＩＰによる、路面状態判定を行う。

このＳ６０３の後、地理空間情報処理装置７０は、続くＳ６０５において、当該Ｓ６０３によりグループ化された各グループ間で、同一水平線上にある、換言すればフレームにおけるＹ値が互いに同じである、２次元特徴点１３２ａをペアリングする。

そして、地理空間情報処理装置７０は、Ｓ５０５に続くＳ５０７において、当該Ｓ５０５による判定結果を、当該判定結果に係る３次元点１０２に関連付ける。これはすなわち、フレーム内の道路の表面の状態の判定結果が、当該フレーム内の道路に関連付けられることを意味する。これをもって、地理空間情報処理装置７０は、図４におけるＳ１５を終了する。

以上のように、本実施例によれば、ドライブレコーダによる記録データに基づいて、当該記録データに含まれる撮影画像データのそれぞれのフレーム内の道路上の適宜の箇所の実世界座標空間における３次元座標値が導出されるとともに、導出された３次元座標値を表す位置情報が当該道路上の適宜の箇所に関連付けられる。すなわち、それぞれのフレーム内の道路上の適宜の箇所に、その箇所の実世界座標空間における３次元座標値が関連付けられる。これは要するに、ドライブレコーダに内蔵されている測位衛星受信機による測位に比べて遥かに高い解像度で、フレーム内の道路上の各箇所の実世界座標空間における位置情報が得られることを意味する。このことは、従来よりもコストを抑えながら精確なデジタル地図の作成および更新を実現するのに大きく貢献する。そして、この効果は、デジタル地図の領域が広いほど顕著である。

また、本実施例によれば、ドライブレコーダによる記録データに基づいて、当該記録データに含まれる撮影画像データのそれぞれのフレーム内の道路の実際の幅員Ｗｔが推定されるとともに、その推定結果が、フレーム内の道路に関連付けられる。このこともまた、従来よりもコストを抑えながら精確なデジタル地図の作成および更新を実現するのに大きく貢献する。そして、この効果は、デジタル地図の領域が広いほど顕著である。

さらに、本実施例によれば、ドライブレコーダによる記録データに基づいて、当該記録データに含まれる撮影画像データのそれぞれのフレーム内の道路の表面の状態が判定されるとともに、その判定結果が、フレーム内の道路に関連付けられる。このこともまた、従来よりもコストを抑えながら精確なデジタル地図の作成および更新を実現するのに大きく貢献する。そして、この効果は、デジタル地図の領域が広いほど顕著である。

なお、本実施例において、図４におけるＳ１を実行する地理空間情報処理装置７０は、厳密にはＣＰＵ７２ａは、本発明に係る画像データ入力受付手段の一例であるとともに、本発明に係る測位データ入力受付手段の一例でもある。また、図４におけるＳ３を実行するＣＰＵ７２ａは、本発明に係る３次元点群再構成手段の一例であり、図４におけるＳ５を実行するＣＰＵ７２ａは、本発明に係る空間整合手段の一例である。さらに、図４におけるＳ１１を実行するＣＰＵ７２ａは、本発明に係る第１関連付け手段の一例である。そして、図４におけるＳ１３を実行するＣＰＵ７２ａは、とりわけ図２４におけるＳ５０７を実行するＣＰＵ７２ａは、本発明に係る車線幅員推定手段の一例である。加えて、図２４におけるＳ５０１を実行するＣＰＵ７２ａは、本発明に係る車線境界検出手段の一例であり、図２４におけるＳ５０９を実行するＣＰＵ７２ａは、本発明に係る第２関連付け手段の一例である。さらに加えて、図４におけるＳ１５を実行するＣＰＵ７２ａは、とりわけ図２５におけるＳ６０３を実行するＣＰＵ７２ａは、本発明に係る路面状態判定手段の一例である。そして、図２５におけるＳ６０５を実行するＣＰＵ７２ａは、本発明に係る第３関連付け手段の一例である。

本実施例は、飽くまでも本発明の具体例であり、本発明の範囲を限定するものではない。本実施例以外の種々の局面においても、本発明を適用することができる。

たとえば、地理空間情報処理装置７０は、ＰＣによって構成されることとされたが、これに限らない。ＰＣ以外の装置によって、とりわけ専用の装置によって、地理空間情報処理装置７０が構成されてもよい。

また、ドライブレコーダによる記録データは、データ管理サーバ３０から取得されることとされたが、これに限らない。たとえば、ドライブレコーダから直接的に当該ドライブレコーダによる記録データが取得されてもよい。

さらに、地図データベース５０として、ＯＳＭ以外のデジタル地図のデータベース、とりわけオープンプラットフォーム型（ユーザ生成型）のデジタル地図のデータベースが、採用されてもよい。

そして、本発明は、デジタル地図の作成および更新のみならず、メタバースやゲームなどの当該デジタル地図以外の分野へも適用可能である。

また、本発明は、地理空間情報処理装置という装置の形態に限らず、地理空間情報処理方法という方法の形態によっても、提供することができる。

１０ … 地理空間情報処理システム
３０ … データ管理サーバ
５０ … 地図データベース
７０ … 地理空間情報処理装置
７２ … 制御部
７２ａ … ＣＰＵ
７２ｂ … 主記憶部
８０ … 補助記憶部
８０ａ … 地理空間情報処理ソフトウェア
１００ … ３次元点群
１０２ … ３次元点
１２ … 制御部
１２ａ … ＡＰＰ
１２ｂ … 主記憶部
Ｐｃ［ｊ］ … カメラ推定位置
Ｐｃ’［ｊ］ … 補正後のカメラ推定位置
Ｐｃ”［ｊ］ … 追加補正後のカメラ推定位置
Ｐｃｇ［ｋ］ … 対応カメラ推定位置
Ｐｃｇ’［ｋ］ … 補正後の対応カメラ推定位置
Ｐｇ［ｋ］ … 測位位置
Ｐｓ［ｊ］ … 対応位置

Claims (5)

1. 道路上を移動するカメラにより当該道路上を含む地理空間を第１周期で順次撮影して得られた複数のフレームから成る画像データの入力を受け付ける画像データ入力受付手段と、
   前記カメラと一緒に前記道路上を移動する測位衛星受信機により前記第１周期とは異なる第２周期で順次測位して得られた測位データの入力を受け付ける測位データ入力受付手段と、
   前記画像データに基づいて、前記複数のフレームのそれぞれが得られたときの前記カメラの位置を推定するとともに、当該カメラの推定位置と関連付けた状態で前記地理空間の３次元モデルを３次元点群により再構成する３次元点群再構成手段と、
   前記３次元点群再構成手段により再構成された３次元点群再構成空間を前記測位データによって表される前記第２周期ごとの測位位置を指標として前記カメラの推定位置と併せて実世界座標空間に整合させる空間整合手段と、
   前記空間整合手段による整合後の３次元点群再構成空間における前記３次元点群のうち、前記複数のフレームのそれぞれにおける前記道路上の２次元特徴点に対応する３次元点の、前記実世界座標空間における位置を表す位置情報を、当該２次元特徴点に関連付ける第１関連付け手段とを備え、
   前記空間整合手段は、所定期間分の前記測位位置のうちの最初の当該測位位置である第１測位位置と、当該所定期間分の測位位置と並行して得られた前記画像データに基づく当該所定期間分の前記カメラの推定位置のうちの最初の当該カメラの推定位置である第１推定位置とが、互いに対応するとともに、当該所定期間分の測位位置のうちの最後の当該測位位置である第２測位位置と、当該所定期間分のカメラの推定位置のうちの最後の当該カメラの推定位置である第２推定位置とが、互いに対応し、さらに、当該所定期間分の測位位置のうちの当該第１測位位置および当該第２測位位置以外の任意の当該測位位置である第３測位位置と、当該所定期間分のカメラの推定位置のうちの当該第１推定位置および当該第２推定位置以外のいずれかの当該カメラの推定位置である第３推定位置とが、互いに対応するものとみなして、前記３次元点群再構成空間を前記実世界座標空間に整合させ、
   前記第１測位位置および前記第２測位位置のそれぞれに対する前記第３測位位置の空間的関係と、前記第１推定位置および前記第２推定位置のそれぞれに対する前記第３推定位置の空間的関係とが、互いに共通するように、当該第３推定位置が定められる、地理空間情報処理装置。
2. 前記複数のフレームのそれぞれにおける前記道路上の車線の境界を検出する車線境界検出手段と、
   前記車線境界検出手段により検出された前記車線の境界上にある前記２次元特徴点に関連付けられた前記位置情報に基づいて当該車線の幅員を推定する車線幅員推定手段とをさらに備える、請求項１に記載の地理空間情報処理装置。
3. 前記車線幅員推定手段による推定結果を当該推定結果に係る前記２次元特徴点に対応する前記３次元点に関連付ける第２関連付け手段をさらに備える、請求項２に記載の地理空間情報処理装置。
4. 前記複数のフレームのそれぞれにおける前記道路の表面の状態を判定する路面状態判定手段と、
   前記路面状態判定手段による判定結果を当該判定結果に係る前記道路上の前記２次元特徴点に対応する前記３次元点に関連付ける第３関連付け手段とをさらに備える、請求項１に記載の地理空間情報処理装置。
5. コンピュータによる地理空間情報処理方法であって、
   前記コンピュータのプロセッサは、
   道路上を移動するカメラにより当該道路上を含む地理空間を第１周期で順次撮影して得られた複数のフレームから成る画像データの入力を受け付ける画像データ入力受付ステップと、
   前記カメラと一緒に前記道路上を移動する測位衛星受信機により前記第１周期とは異なる第２周期で順次測位して得られた測位データの入力を受け付ける測位データ入力受付ステップと、
   前記画像データに基づいて、前記複数のフレームのそれぞれが得られたときの前記カメラの位置を推定するとともに、当該カメラの推定位置と関連付けた状態で前記地理空間の３次元モデルを３次元点群により再構成する３次元点群再構成ステップと、
   前記３次元点群再構成ステップにより再構成された３次元点群再構成空間を前記測位データによって表される前記第２周期ごとの測位位置を指標として前記カメラの推定位置と併せて実世界座標空間に整合させる空間整合ステップと、
   前記空間整合ステップによる整合後の３次元点群再構成空間における前記３次元点群のうち、前記複数のフレームのそれぞれにおける前記道路上の２次元特徴点に対応する３次元点の前記実世界座標空間における位置情報を当該２次元特徴点に関連付ける第１関連付けステップとを実行し、
   前記空間整合ステップにおいては、所定期間分の前記測位位置のうちの最初の当該測位位置である第１測位位置と、当該所定期間分の測位位置と並行して得られた前記画像データに基づく当該所定期間分の前記カメラの推定位置のうちの最初の当該カメラの推定位置である第１推定位置とが、互いに対応するとともに、当該所定期間分の測位位置のうちの最後の当該測位位置である第２測位位置と、当該所定期間分のカメラの推定位置のうちの最後の当該カメラの推定位置である第２推定位置とが、互いに対応し、さらに、当該所定期間分の測位位置のうちの当該第１測位位置および当該第２測位位置以外の任意の当該測位位置である第３測位位置と、当該所定期間分のカメラの推定位置のうちの当該第１推定位置および当該第２推定位置以外のいずれかの当該カメラの推定位置である第３推定位置とが、互いに対応するものとみなして、前記３次元点群再構成空間を前記実世界座標空間に整合させ、
   前記第１測位位置および前記第２測位位置のそれぞれに対する前記第３測位位置の空間的関係と、前記第１推定位置および前記第２推定位置のそれぞれに対する前記第３推定位置の空間的関係とが、互いに共通するように、当該第３推定位置が定められる、地理空間情報処理方法。