JP2009003415A - 地図データ更新方法および装置 - Google Patents

Abstract

【課題】最新の地理情報を提供できるよう、迅速に地図データを更新する方法及び装置を提供する。
【解決手段】地図上の各地点が、地理データと、前記地点でキャプチャされた少なくとも１つのシーンイメージとに関連付けられることを特徴とする地図データ更新方法および装置であって、各地点において、地点の位置を表すビデオデータと地理データとを収集するステップと、所定の基準に基づいて地点を表すシーンイメージから固有領域を抽出し、固有領域と地点とを関連付けるステップと、地点の位置に基づいて、ビデオデータから、地点でキャプチャされた少なくとも１つのイメージを抽出するステップと、固有領域と抽出イメージとを照合して照合結果を生成するステップと、照合結果により地図データを更新する必要があることが示された場合に、固有領域と一致したイメージを使用して、シーンイメージを更新イメージとして更新するステップとを備える。
【選択図】図１

Description

本発明は、地理情報処理技術に関し、特に、ユーザに最新の地理情報を提供するために迅速に地図データを更新する方法および装置に関する。

近年、地図は、人々の日常生活において欠かせないものとなっている。地図は、目的地に着くためにはどのルートをたどればよいかを教えてくれるだけでなく、目的地に関連するその他の情報も旅行者に伝えてくれる。

また、電子地図などの新タイプの地図の中には、従来型の地図に記載される位置情報や事業所名に加えて、目的地へのルートに沿ったシーンや目的地周辺のシーンをユーザに提供するものもある。

電子地図については、例えば特許文献１（ＵＳＰ６６４０１８７）において、地理情報データベースを生成するための典型的な方法が開示されている。この方法によれば、センサーが車両に搭載され、車両が道路上を移動する間にセンサーによって取得された地理情報が収集される。そして、収集された地理情報を元に電子地図が生成される。

電子地図の使い勝手をよくするための方策として、写真などの添付情報を地理情報に関連付けて、「合成地図」と呼ばれる新たな地図を構築することが提案されている。この方策とは、ユーザが地図上の任意の地点をクリックすると、その地点でキャプチャされたシーンイメージが実況表示されるというものである。これにより、ユーザはその地点が期待通りの場所かどうかを判断することができる。例えば、ある地点の周辺にレストランがあるかどうかを知りたい場合には、ユーザがその地点をクリックすると、そこでキャプチャされたシーンイメージが直ちに画面に表示される。これにより、ユーザは実際にその場所に行かなくても周辺環境を知ることができる。

特許文献２（ＵＳＰ６２３３５２３）には、位置データ等のデータを収集してリンクする方法が開示されている。この方法では、車両が道路上を移動する間に、車両に搭載された衛星位置測定装置が１つまたは複数の車載カメラを使用して道路沿いの建物を撮影し、現在位置を提供および記録する。構築されるデータベースには、各建物の郵便用住所に関連するデータとその写真とが関連付けて格納される。地図の使用中にユーザは、目的地を決定した後にその周辺の写真を取得することができる。

さらに、特許文献３（ＷＯ２００５１１１９６３０ Ａ２）では、車両の移動中に車載カメラを使用して様々な地点の写真を撮影する地図データ生成システムが開示されている。地図を構築する際には、電子地図上の各地点に関する地理情報とそのイメージデータとを関連付けることで、ユーザに提供される情報がエンリッチ（充実化）される。
米国特許第６６４０１８７号 米国特許第６２３３５２３号 ＰＣＴ国際公開公報ＷＯ ２００５／１１１９６３０ Ａ２ 米国特許第６７１１２９３号 Ｉｍａｇｅ Ｍｏｓａｉｃｉｎｇ ｆｏｒ Ｔｅｌｅ−Ｒｅａｌｉｔｙ Ａｐｐｌｉｃａｔｉｏｎ（遠隔現実アプリケーションのためのイメージモザイキング）、Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＣＲＬ−９４−２，Ｄｉｇｉｔａｌ Ｅｑｕｉｐｍｅｎｔ Ｃｏｒｐｏｒａｔｉｏｎ Ｃａｍｂｒｉｄｇｅ Ｒｅｓｅａｒｃｈ Ｌａｂ Ｃ．Ｈａｒｒｉｓ，Ｍ．Ｓｔｅｐｈｅｎｓ，Ａ Ｃｏｍｂｉｎｅｄ Ｃｏｒｎｅｒ ａｎｄ Ｅｄｇｅ Ｄｅｔｅｃｔｏｒ（コーナーおよび端部の複合検出器），Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ４ｔｈ Ａｌｖｅｙ Ｖｉｓｉｏｎ ｃｏｎｆｅｒｅｎｃｅ，１９９８： １８９−１９２

上記の方式では、従来型の地図よりも情報タイプが多く、提供されるマルチメディア情報もユーザにとって有益である。しかし、街路等の都市施設や事業所名は時間が経過するにつれて急速に変わる。その上、経営者が変わると事業所名も変更されることがあるので、地図に示される建物を現地で見つけられない可能性がある。例えば、地図上に「湖南料理専門のレストラン」と明記された地点に到着しても、オーナーが変わって広東料理の店になっているかもしれない。このような目にあったユーザは腹を立てるに違いない。こうした問題を回避するためには、地図をタイムリーに更新することが重要となる。既存の地図更新方法は手動入力に依存しているが、これでは電子地図の迅速な更新は不可能である。

さらに、従来の合成地図は、１つの地点とその地点でキャプチャされたシーンイメージとを関連付けるだけなので、ユーザに個別化された情報を提供することができず、探索動作の精度も低い。

（発明の目的）
本発明は上記の問題を鑑みて提案されるものである。本発明の目的は、ユーザに最新の地理情報を提供できるよう、迅速に地図データを更新する方法および装置を提供することである。

本発明の１つの態様によれば、地図上の各地点が、地理データと、前記地点でキャプチャされた少なくとも１つのシーンイメージとに関連付けられることを特徴とする地図データの更新方法であって、各地点において、前記地点の位置を表すビデオデータと地理データとを収集するステップと、所定の基準に基づいて前記地点を表すシーンイメージから固有領域を抽出し、前記固有領域と前記地点とを関連付けるステップと、前記地点の位置に基づいて、前記ビデオデータから、前記地点でキャプチャされた少なくとも１つのイメージを抽出するステップと、前記固有領域と前記抽出イメージとを照合して照合結果を生成するステップと、前記照合結果により地図データを更新する必要があることが示された場合に、前記固有領域と一致したイメージを使用して、前記シーンイメージを更新イメージとして更新するステップとを備える地図データの更新方法が提供される。

本解決法によれば、合成地図上の地点のシーンイメージから抽出された各地点を表す固有領域が関連付けられることに加えて、全体的なシーンイメージではなく固有領域が、ビデオデータから抽出されたイメージと照合される。そのため、地図データの更新が迅速化され、同時に照合動作の精度も向上する。

本方法は、前記地点と前記更新イメージに含まれる前記固有領域とを関連付けるステップと、前記照合結果により地図データを更新する必要があることが示された場合に、前記地点と、前記シーンイメージに含まれる前記固有領域との関連付けを取り消すステップをさらに備えるのが望ましい。

上記の解決法によれば、各地点が地理データおよびシーンイメージの両方と関連付けられる合成地図において、各地点がさらにシーンイメージから抽出された固有領域とも関連付けられるので、合成地図を精細化することができる。したがって、より正確な情報をユーザに提供することが可能となる。

本方法は、ビデオデータを、各街路に対応するビデオセグメントに分割するステップをさらに備えるのが望ましい。

当該解決法によれば、更新地図データにおいて更新を街路ごとに個別に実行できるので、街路の管理容易性が向上する。

本方法は、前記固有領域が前記シーンイメージと一致しない地点を計数するステップをさらに備え、前記更新ステップは、前記計数結果が所定のしきい値を上回る場合に実行されるのが望ましい。

当該解決法によれば、地図データが頻繁に更新されるので、不便さと資源の無駄遣いを回避することができる。

所定の基準に基づいて前記地点を表す前記シーンイメージから固有領域を抽出する前記ステップは、光学文字認識（ＯＣＲ）技術を使用して前記シーンイメージに含まれる文字情報を局所化するステップと、前記シーンイメージ内の前記文字情報によって占有される領域を前記固有領域として抽出するステップとを備えるのが望ましい。

当該解決法によれば、シーンイメージに含まれる文字情報は概して代表的な情報であり、ユーザにとって認識／記憶しやすいので、文字情報によって占有される領域が固有領域として使用されることにより、ユーザの地図利用における使い勝手が向上する。

所定の基準に基づいて前記地点を表す前記シーンイメージから固有領域を抽出する前記ステップは、外部ロケーションから前記地点のイメージを取り込むステップと、特徴照合技術を使用して、前記取り込みイメージから前記固有領域の特徴を特定するステップと、前記特徴を使用して前記シーンイメージから前記固有領域を抽出するステップとを備えるのが望ましい。

当該解決法によれば、シーンイメージ内に文字が記載されていない場合や、文字によって特定の地点を表すことが不可能な場合にも、地図の使用における利便性を向上させることができる。

前記照合ステップは、前記固有領域および前記抽出イメージの局所的特徴を検出するステップと、前記固有領域の前記局所的特徴と前記抽出イメージの前記局所的特徴とを照合して照合結果を出力するステップとを備えるのが望ましい。

当該解決法によれば、局所的特徴を使用して照合結果を取得することによりイメージ全体を照合するときのような膨大な計算量は不要になるので、低めの装置パフォーマンスで地図データの更新を迅速化することができる。

前記照合ステップは、一致した局所的特徴に関して平行四辺形の指標を計算するステップと、前記平行四辺形の指標が所定の値に満たない場合に、前記照合結果を補正するステップとをさらに備えるのが望ましい。

当該解決法によれば、ビデオデータをキャプチャする際の障害物による照合エラーを回避できるので、照合動作の精度が向上する。

本発明の他の態様によれば、地図上の各地点が、地理データと、前記地点でキャプチャされた少なくとも１つのシーンイメージと、前記シーンイメージに含まれる固有領域とに関連付けられることを特徴とする地図データの更新方法であって、各地点において、前記地点の位置を表すビデオデータと地理データとを収集するステップと、前記ビデオデータから、前記地点でキャプチャされた少なくとも１つのイメージを抽出するステップと、前記固有領域と一致したイメージを使用して前記シーンイメージを更新イメージとして更新し、前記地点と更新イメージに含まれる前記固有領域とを関連付けると共に、照合結果により地図データを更新する必要があることが示された場合に、前記地点と前記シーンイメージに含まれる前記固有領域との関連付けを取り消すステップとを備える地図データの更新方法が提供される。

この解決法においては、合成地図上の地点のシーンイメージから抽出された各地点を表す固有領域が関連付けられることに加えて、全体的なシーンイメージではなく固有領域が、ビデオデータから抽出されたイメージと照合される。そのため、地図データの更新が迅速化され、同時に照合動作の精度も向上する。

本発明のさらに他の態様によれば、地図上の各地点が、地理データと、前記地点でキャプチャされた少なくとも１つのシーンイメージとに関連付けられることを特徴とする地図データの更新装置であって、各地点において、前記地点の位置を表すビデオデータと地理データとを収集するデータ収集手段と、所定の基準に基づいて前記地点を表すシーンイメージから固有領域を抽出し、前記固有領域と前記地点とを関連付ける固有領域関連付け手段と、前記ビデオデータから、前記地点でキャプチャされた少なくとも１つのイメージを抽出するイメージ抽出手段と、前記固有領域と前記抽出イメージとを照合して照合結果を生成するイメージ比較手段と、前記照合結果により地図データを更新する必要があることが示された場合に、前記固有領域と一致したイメージを使用して、前記シーンイメージを更新イメージとして更新する出力手段とを備える地図データの更新装置が提供される。

この解決法においては、合成地図上の地点のシーンイメージから抽出された各地点を表す固有領域が関連付けられることに加えて、全体的なシーンイメージではなく固有領域が、ビデオデータから抽出されたイメージと照合される。そのため、地図データの更新が迅速化され、同時に照合動作の精度も向上する。

前記出力手段は、前記地点と前記更新イメージに含まれる前記固有領域とを関連付け、前記照合結果により地図データを更新する必要があることが示された場合に、前記地点と、前記シーンイメージに含まれる前記固有領域との関連付けを取り消すのが望ましい。

上記の解決法によれば、各地点が地理データおよびシーンイメージの両方と関連付けられる合成地図において、各地点がさらにシーンイメージから抽出された固有領域とも関連付けられるので、合成地図を精細化することができる。したがって、より正確な情報をユーザに提供することが可能となる。

本装置は、ビデオデータを、各街路に対応するビデオセグメントに分割する分割手段をさらに備えるのが望ましい。

当該解決法によれば、更新地図データにおいて更新を街路ごとに個別に実行できるので、街路の管理容易性が向上する。

前記出力手段は、前記固有領域が前記シーンイメージと一致しない地点を計数する計数手段と、前記計数結果が所定のしきい値を上回る場合に前記シーンイメージを更新する更新手段とを備えるのが望ましい。

当該解決法によれば、地図データが頻繁に更新されるので、不便さと資源の無駄遣いを回避することができる。

前記固有領域関連付け手段は、ＯＣＲ技術を使用して前記シーンイメージに含まれる文字情報を局所化する局所化手段と、前記シーンイメージ内の前記文字情報によって占有される領域を前記固有領域として抽出する抽出手段と、前記固有領域と前記地点とを関連付ける関連付け手段とを備えるのが望ましい。

当該解決法によれば、シーンイメージに含まれる文字情報は概して代表的な情報であり、ユーザにとって認識／記憶しやすいので、文字情報によって占有される領域が固有領域として使用されることにより、ユーザの地図利用における使い勝手が向上する。

前記固有領域関連付け手段は、外部ロケーションから前記地点のイメージを取り込む取り込み手段と、特徴照合技術を使用して、前記取り込みイメージから前記固有領域の特徴を特定する局所化手段と、前記シーンイメージから前記固有領域を抽出する抽出手段と、前記固有領域と前記地点とを関連付ける関連付け手段とを備えるのが望ましい。

当該解決法によれば、シーンイメージ内に文字が記載されていない場合や、文字によって特定の地点を表すことが不可能な場合にも、地図の使用における利便性を向上させることができる。

前記イメージ比較手段は、前記固有領域および前記抽出イメージの局所的特徴を検出する局所特徴検出手段と、前記固有領域の前記局所的特徴と前記抽出イメージの前記局所的特徴とを照合して照合結果を出力する照合手段とを備えるのが望ましい。

当該解決法によれば、局所的特徴を使用して照合結果を取得することによりイメージ全体を照合するときのような膨大な計算量は不要になるので、低めの装置パフォーマンスで地図データの更新を迅速化することができる。

前記イメージ比較手段は、一致した局所的特徴に関して平行四辺形の指標を計算し、前記平行四辺形の指標が所定の値に満たない場合に、前記照合結果を補正する検証手段をさらに備えるのが望ましい。

当該解決法によれば、ビデオデータをキャプチャする際の障害物による照合エラーが回避できるので、照合動作の精度が向上する。

本発明のさらに他の態様によれば、地図上の各地点が、地理データと、前記地点でキャプチャされた少なくとも１つのシーンイメージと、前記シーンイメージに含まれる固有領域とに関連付けられることを特徴とする地図データの更新装置であって、各地点において、前記地点の位置を表すビデオデータと地理データとを収集するデータ収集手段と、前記地点でキャプチャされた少なくとも１つのイメージを前記ビデオデータから抽出するイメージ抽出手段と、前記固有領域と前記抽出イメージとを照合して照合結果を生成するイメージ比較手段と、前記固有領域と一致したイメージを使用して前記シーンイメージを更新イメージとして更新し、前記地点と更新イメージに含まれる前記固有領域とを関連付けると共に、照合結果により地図データを更新する必要があることが示された場合に、前記地点と前記シーンイメージに含まれる前記固有領域との関連付けを取り消す出力手段とを備える地図データの更新装置が提供される。

本発明によれば、地図データが迅速に更新されるので、ユーザに最新の詳細地理情報が提供される

次に、上記の図を参照して本発明の好適な実施例を説明する。これらの図では、同じ要素は同じ記号もしくは番号によって示す。この説明においては、本発明の主題が曖昧になるのを避けるため、既知の機能および構成の詳細については説明を省略する。

図１は、本発明の実施例による地図データ更新装置の略ブロック図である。本発明の一実施例による装置は、第１地図記憶装置１０、データ収集部２０、固有領域関連付け部３０、分割部４０、ビデオデータ記憶装置５０、第２地図記憶装置６０、イメージ抽出部７０、イメージ比較部８０、および出力部９０を備える。

図１に示すように、第１地図記憶装置１０は、地点名やこれらの地点でキャプチャされたシーンイメージ等の地点情報で構成される合成地図を記憶する。各地点は対応するイメージと関連付けられる。この関連付けは、例えば、地点１とイメージ１、地点２とイメージ２、地点ｍとイメージｍ（ｍは自然数）というように行われる。

図１では１つの地点は１つのイメージにのみ関連付けられているが、１つの地点に複数のイメージを関連付けて、より具体的な地理情報と関連施設情報がユーザに提供されるようにすることもできる。

図２は、図１に示すデータ収集部２０の概略図である。図２に示すように、車両に搭載されるデータ収集部２０は、車両の移動中に緯度・経度等の位置データを収集し、その位置データをポータブルコンピュータ２３に記憶する位置決定手段２１を備える。

データ収集部２０は、車両の移動中に道路の両側のビデオイメージをリアルタイムで収集するための２つのカメラ２２Ａ、２２Ｂをさらに備える。ビデオイメージは、位置決定手段によって同時に収集される位置データに対応付けられ、ポータブルコンピュータ２３に記憶される。

図３に示すように、位置決定手段２１とカメラ２２Ａ、２２Ｂは車両が道路を所定の速度で移動する間に位置データとビデオデータを同時に収集し、これらのデータはハードディスクやＣＤ等の記憶装置（図示せず）に対応付けて記憶される。

ポータブルコンピュータ２３は、出発地点から最終地点に到着するまでの車両の移動中に、ルート上の各地点の位置データとその地点でキャプチャされたビデオデータとを記憶する。このとき、１つの地点は複数のイメージと関連付けられる。

図１に示すように、分割部４０は、データ収集部２０の記憶装置からルートのビデオデータを読み取り、読み取ったビデオデータを、隣接する２つの交差点間の各街路に対応するビデオセグメント（例えば、ｓｅｇ−１、ｓｅｇ−２、．．．．．．ｓｅｇ−ｎ）に分割し、ビデオデータ記憶装置５０にそれを記憶する。ここで、ｎは自然数である。

本発明の他の実施例によれば、例えば特定の地点等のより精細な単位を使用して、ビデオデータをこれらの地点に対応するビデオセグメントｓｅｇ−１，ｓｅｇ−２，．．．，ｓｅｇ−ｐに分割し、これらのセグメントをビデオデータ記憶装置５０に記憶することができる。ここで、ｐは自然数である。

そのため、１つの街路と、その街路沿いの各地点の位置データと、その地点でキャプチャされたビデオデータとの間に関連付けが確立される。そのため、更新時には、地図データを街路ごとに更新することができる。

ここで再び図１を参照すると、固有領域関連付け部３０は、各地点に関連付けられたシーンイメージから、店の看板や会社名の銘板等の当該地点を表す固有領域を抽出して、当該固有領域と、シーンイメージ内の位置と、シーンイメージと、地点とを関連付けて第２地図記憶装置６０に記憶する。本発明の他の実施例によれば、信号を始めとするあらゆる標識を固有領域として使用できるので、様々な基準に従って自由に標識を抽出することができる。

図４は、図１に示す地図データ更新装置における固有領域関連付け部の例示的ブロック図である。図４に示すように、固有領域関連付け部３０は、シーンイメージに含まれる文字情報を局所化および認識するために、ＯＣＲ技術を使用して合成地図内のシーンイメージを処理する局所化・認識手段３１と、局所化・認識手段３１によって提供された位置に基づいて、シーンイメージから抽出された文字情報によって占有される領域を固有領域として抽出する抽出手段３２と、抽出した固有領域と、シーンイメージにおける固有領域の位置と、シーンイメージと、その地点とを関連付ける関連付け手段３３を備える。

上記ではシーンイメージの文字を固有領域として使用した例を説明したが、本発明はシーンイメージ内に文字がない場合にも適用できる。図５は、図１に示す地図データ更新装置における固有領域関連付け部のもう１つの例示的ブロック図である。

図５に示すように、固有領域関連付け部３０’は、あらかじめ構築されたデータベースやインターネットから、既知の地点名を使用してその地点の複数のシーンイメージを取り込む取り込み手段３４を備える。

続いて、局所化手段３５が、取り込んだイメージに対して特徴抽出を実行し、そのイメージのテクスチャ記述を取得した上で、各イメージ間の対応関係を確定し、その中から最も一致度の高い特徴を決定する。例えば、何らかの特徴を含むあるイメージの一部を他のイメージと照合し、最も一致度の高い特徴を照合元のイメージから検出することが可能である。

イメージ間の対応関係については、非特許文献１（Ｉｍａｇｅ Ｍｏｓａｉｃｉｎｇ ｆｏｒ Ｔｅｌｅ−Ｒｅａｌｉｔｙ Ａｐｐｌｉｃａｔｉｏｎ（遠隔現実アプリケーションのためのイメージモザイキング）、Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＣＲＬ−９４−２，Ｄｉｇｉｔａｌ Ｅｑｕｉｐｍｅｎｔ Ｃｏｒｐｏｒａｔｉｏｎ Ｃａｍｂｒｉｄｇｅ Ｒｅｓｅａｒｃｈ Ｌａｂ）で開示された「２つの異なる視野角もしくは視点からキャプチャした同一平面のイメージは、８パラメータによる変換によって関連付けることができる」という事実を踏まえると、ある特徴を含む領域内の各平面は、ＨＯＵＧＨ変換によって検出でき、検出された平面は互いに関連付けることが可能だと考えられる。そのため、同じ地点の各イメージが共通の特徴を含む場合は、その特徴を含む領域をその地点の特徴領域として決定することができる。

その後、抽出手段３２が、特徴領域に含まれる特徴を使用して、対応する領域を固有領域としてシーンイメージから抽出する。

次に、関連付け手段３３が、抽出した固有領域と、シーンイメージにおける固有領域の位置と、シーンイメージと、その地点とを関連付ける。

図１に示すように、固有領域関連付け処理により得られた合成地図上では、地点１とイメージ１と固有領域１との間、地点２とイメージ２と固有領域２との間、．．．．、地点ｍとイメージｍと固有領域ｍとの間に、それぞれ関連付けが確立されている。

図１では、１つのシーンイメージ内の固有領域は１つのみであるが、シーンイメージ内に複数の固有領域が存在する場合には、複数の固有領域をその地点に関連付けることができる。これにより、ユーザにより正確で詳細な情報を提供することが可能になる。

イメージ抽出部７０は、第２地図記憶装置６０に記憶される各地点の位置データに基づいて、ビデオデータ記憶装置５０に記憶される複数のビデオセグメントのうちその位置データに最も近いビデオセグメントを特定し、特定したビデオセグメントを個々のイメージに分割する。

イメージ比較部８０は、第２地図記憶装置６０から地点の固有領域を読み取り、それをイメージ抽出部７０によって抽出されたイメージと順次比較して、固有領域と一致するイメージの有無を判定する。

図６は、図１に示す地図データ更新装置におけるイメージ比較部の詳細ブロック図である。図６に示すように、イメージ比較部８０は、局所的特徴検出手段８１と特徴照合手段８２と検証手段８３とを備える。

局所的特徴検出手段８１は、例えば、特許文献４（ＵＳ６７１１２９３）に記録されるＳＩＦＴ局所的特徴検出アルゴリズムや、非特許文献２（Ｃ．Ｈａｒｒｉｓ，Ｍ．Ｓｔｅｐｈｅｎｓ，Ａ Ｃｏｍｂｉｎｅｄ Ｃｏｒｎｅｒ ａｎｄ Ｅｄｇｅ Ｄｅｔｅｃｔｏｒ（コーナーおよび端部の複合検出器），Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ４^ｔｈ Ａｌｖｅｙ Ｖｉｓｉｏｎ ｃｏｎｆｅｒｅｎｃｅ，１９９８： １８９−１９２）に記載されるＨａｒｒｉｓのコーナー検出アルゴリズムを使用して、固有領域と抽出イメージに対して局所的特徴検出を実行し、それぞれに含まれる局所的特徴を取得する。

ＳＩＦＴ局所的特徴検出アルゴリズムの場合には、端部とテクスチャの特徴は、いわゆる小領域記述子に含まれる。特徴照合手段８２は、ユークリッド距離により、２つの記述子の間の類似性を表す。特徴照合手段８２は、端部とテクスチャの特徴に加えて、色の類似性を使用して固有領域と抽出イメージ間の類似性を判定することができる。一例を挙げると、固有領域と抽出イメージについてそれぞれの色ヒストグラムが計算され、固有領域と抽出イメージとの間の類似性が、固有領域の色ヒストグラムと抽出イメージの色ヒストグラム間のＬ１規準によって表される。特徴照合手段８２は、固有領域と抽出イメージ間の類似性が事前定義された類似性しきい値を上回る場合には、抽出イメージから最も類似性の高いイメージを更新候補イメージとして選択する。

固有領域と抽出イメージとを照合する代わりに、局所的特徴照合を使用することで、照合の精度と速度を同時に向上させることができる。

さらに、データ収集部２０が街路沿いのイメージデータを収集する際には、バスの側面や街路両側に立つ木などのイメージによる干渉が必然的に生じる。そのため、照合精度をさらに高めるには、検証手段８３が選択された更新イメージ候補を検証する必要がある。この目的のため、検証手段８３は例えば平行四辺形の指標等の方法を使用して、更新イメージ候補を検証する。終点（ｘ_１１，ｙ_１１）、（ｘ_２１，ｙ_２１）を有する線分と終点（ｘ_１２，ｙ_１２）、（ｘ_２２，ｙ_２２）を有する線分を例にとると、これらの線分間の平行四辺形の指標は式（１）で表現される。

ここで、

である。

更新イメージ候補は、平行四辺形の指標ｐが事前定義された値を上回る場合に、固有領域に最も近いイメージとされる。

固有領域の照合プロセスでは、局所的特徴検出に長い時間がかかる。通常、隣接するイメージには重複する部分がかなり含まれるので、検出された局所的特徴を記憶装置にキャッシュしておき、その次のイメージと照合することで、照合プロセスを迅速化することが可能である。

また、地図全体または地図の指定部分に存在する各地点に対して上記の動作を実行することで、地図上のこれらの地点のシーンイメージが古いかどうかを判定することができる。

図７は、図１に示す地図データ更新装置における出力部の詳細ブロック図である。出力部９０は、地図全体または地図の指定部分に存在する各地点について、例えば全地点における一致する地点と一致しない地点のパーセンテージとして照合結果を計数して出力する計数手段９１と、全地点における一致しない地点のパーセンテージが事前定義されたしきい値を上回る場合に、操作者の注意を喚起し、地図または指定部分の更新が必要であることを知らせるアラーム手段９２と、操作者が更新の必要性を確認した場合は、元の地図上のその地点のシーンイメージを検証済みの更新イメージ候補に差し替える更新手段９３とを備える。

更新手段９３は、さらに、各地点の新しいシーンイメージ内の固有領域と更新された地図上の地点とを関連付けると共に、その地点と古いシーンイメージ内の固有領域との関連付けを取り消す。これにより、地点と、その地点でキャプチャされたシーンイメージと、固有領域とが更新された地図上で互いに関連付けられて、ユーザに最新の詳細地理情報が提供される。

上記では、地点と、その地点でキャプチャされたシーンイメージのみとが関連付けられた従来の合成地図について説明してきたが、本発明は、上記のプロセスによって更新された地図、すなわち、地点と、その地点でキャプチャされたシーンイメージと、固有領域とが関連付けられた地図にも適用できる。この場合の実装は、固有領域関連付け部３０での動作が省略される点において上記の実施例とは異なる。残りのプロセスは上記の実施例と同じなので、ここでは詳細な説明は省略する。

次に、本発明による地図データ更新方法について、図８を参照して説明する。図８は、本発明の実施例による地図データ更新方法の詳細フローチャートである

ステップＳ１１０において、車両に搭載されたデータ収集部２０は車両が移動する間に、位置決定手段２１とカメラ２２Ａ、２２Ｂとを使用して位置データとビデオデータとを収集し、そのデータを対応する記憶装置に記憶する。

ステップＳ１２０において、そのルートに関連するビデオデータが記憶装置から読み取られ、そのビデオデータが、例えば隣接する２つの交差点間の各街路に対応するビデオセグメント（例えば、ｓｅｇ−１、ｓｅｇ−２、．．．．．．ｓｅｇ−ｎ）に分割され、ビデオデータ記憶装置５０にそれが記憶される。ここで、ｎは自然数である。

上述したように、特定の地点といったようなより精細な単位を使用して、ビデオデータをこれらの地点に対応するビデオセグメントｓｅｇ−１，ｓｅｇ−２，．．．，ｓｅｇ−ｐに分割し、これらのセグメントをビデオデータ記憶装置５０に記憶することができる。ここで、ｐは自然数である。

ステップＳ１３０において、各地点に関連付けられたシーンイメージから、店の看板や会社名の銘板、前記地点の特徴イメージ等の当該地点を表す固有領域が抽出され、当該固有領域と、シーンイメージ内の位置と、シーンイメージと、地点とが関連付けられて第２地図記憶装置６０に記憶される。

上述したように、固有領域関連付け処理により得られた合成地図上では、地点１とイメージ１と固有領域１との間、地点２とイメージ２と固有領域２との間、．．．．、地点ｍとイメージｍと固有領域ｍとの間に、それぞれ関連付けが確立されている。図１では、１つのシーンイメージ内の固有領域は１つのみであるが、シーンイメージ内に複数の固有領域が存在する場合には、複数の固有領域をその地点に関連付けることができる。

ステップＳ１４０において、第２地図記憶装置６０に記憶される各地点の位置データに基づいて、ビデオデータ記憶装置５０に記憶される複数のビデオセグメントのうちその位置データに最も近いビデオセグメントが特定され、個々のイメージに分解される。

ステップＳ１５０において、第２地図記憶装置６０から１つの地点の固有領域が読み取られ、ステップＳ１４０で抽出されたイメージとの順次比較により、その固有領域と一致するイメージの有無が判定され、照合結果が出力される。

上述したように、固有領域と抽出イメージに対して、事前定義されたアルゴリズムを使用して局所的特徴検出が実行され、局所的特徴が取得される。続いて、局所的特徴に基づいて固有領域と抽出イメージとが照合され、固有領域と一致したイメージが更新イメージ候補として選択される。最後に、平行四辺形の指標によって更新イメージ候補が検証され、検証済みの照合結果が出力される。

ステップＳ１６０において、現在の地点が最新の地点かどうかが判定される。現在の地点が地図上または地図の指定部分における最後の地点ではない場合は、ステップＳ１８０において次の地点が地図から取得される。第２地図記憶装置６０からその地点の固有領域が取得され、地点と固有領域に基づいてステップＳ１４０とＳ１５０の処理が繰り返される。

ステップＳ１６０の応答が「Ｙｅｓ」の場合、すなわち、地図上または地図の指定部分におけるすべての地点が照合済みの場合には、ステップＳ１７０で照合結果が、例えば全地点における一致する地点と一致しない地点のパーセンテージとして計数される。

全地点における一致しない地点のパーセンテージが事前定義されたしきい値を上回る場合には、ステップＳ１９０において、地図上または地図の指定部分の更新が必要なことを知らせるためのアラームが操作者に送られる。操作者が更新の必要性を確認した場合は、元の地図上の当該地点のシーンイメージが検証済みの更新イメージ候補に差し替えられる。さらに各地点の新しいシーンイメージ内の固有領域と更新された地図上の地点とが関連付けられると共に、当該地点と古いシーンイメージ内の固有領域との関連付けが取り消される。

本発明は、上記のプロセスによって更新された地図、すなわち、地点と、その地点でキャプチャされたシーンイメージと、固有領域とが関連付けられた地図にも適用できる。この場合の実装は、ステップＳ１３０の動作が省略される点において上記の実施例とは異なる。残りのプロセスは上記の実施例と同じなので、ここでは詳細に説明しない。

第１地図記憶装置１０、ビデオデータ記憶装置５０、および第２地図記憶装置６０はそれぞれ独立した装置として説明されているが、これらの記憶装置は同じ物理記憶媒体内の異なる記憶領域として構成することも可能なことは、当業者に理解されるであろう。

以上好ましい実施の形態と実施例をあげて本発明を説明したが、本発明は必ずしも、上記実施の形態及び実施例に限定されるものでなく、その技術的思想の範囲内において様々に変形して実施することができる。

本発明の上記の利点と特徴は、詳細な説明と図面を併せて参照することにより、明らかとなるであろう。

本発明の実施例による地図データ更新装置の略ブロック図である。 図１に示すデータ収集部の概略図である。 図１に示すデータ収集プロセスの概略図である。 図１に示す地図データ更新装置における固有領域関連付け部の例示的ブロック図である。 図１に示す地図データ更新装置における固有領域関連付け部のもう１つの例示的ブロック図である。 図１に示す地図データ更新装置におけるイメージ比較部の詳細ブロック図である。 図１に示す地図データ更新装置における出力部の詳細ブロック図である。 本発明の実施例による地図データ更新方法の詳細フローチャートである。

符号の説明

１０：第１地図記憶装置
２０：データ収集部
３０：固有領域関連付け部
３１：局所化・認識手段
３２：抽出手段
３３：関連付け手段
３４：取り込み手段
３５：局所化手段
４０：分割部
５０：ビデオデータ記憶装置
６０：第２地図記憶装置
７０：イメージ抽出部
８０：イメージ比較部
８１：局所的特徴検出手段
８２：特徴照合手段
８３：検証手段
９０：出力部
９１：計数手段
９２：アラーム手段
９３：更新手段

Claims (26)

1. 地図上の各地点が、地理データと、前記地点でキャプチャされた少なくとも１つのシーンイメージとに関連付けられる地図データの更新方法であって、
   各地点において、前記地点の位置を表すビデオデータと地理データとを収集するステップと、
   所定の基準に基づいて前記地点を表すシーンイメージから固有領域を抽出し、前記固有領域と前記地点とを関連付けるステップと、
   前記地点の位置に基づいて、前記ビデオデータから、前記地点でキャプチャされた少なくとも１つのイメージを抽出するステップと、
   前記固有領域と前記抽出イメージとを照合して照合結果を生成するステップと、
   前記照合結果により地図データを更新する必要があることが示された場合に、前記固有領域と一致したイメージを使用して、前記シーンイメージを更新イメージとして更新するステップと
   を有することを特徴とする地図データの更新方法。
2. 前記地点と前記更新イメージに含まれる前記固有領域とを関連付けるステップと、前記照合結果により地図データを更新する必要があることが示された場合に、前記地点と、前記シーンイメージに含まれる前記固有領域との関連付けを取り消すステップをさらに有することを特徴とする請求項１に記載の地図データの更新方法。
3. 前記ビデオデータを、各街路に対応するビデオセグメントに分割するステップをさらに有することを特徴とする請求項１に記載の地図データの更新方法。
4. 前記固有領域が前記シーンイメージと一致しない地点を計数するステップをさらに有し、
   前記更新ステップは、前記計数結果が所定の閾値を上回る場合に実行されることを特徴とする請求項１に記載の地図データの更新方法。
5. 所定の基準に基づいて前記地点を表す前記シーンイメージから固有領域を抽出する前記ステップが、
   光学文字認識技術を使用することにより前記シーンイメージに含まれる文字情報を局所化するステップと、
   前記シーンイメージ内の前記文字情報によって占有される領域を前記固有領域として抽出するステップとを有することを特徴とする請求項１に記載の地図データの更新方法。
6. 所定の基準に基づいて前記地点を表す前記シーンイメージから固有領域を抽出する前記ステップが、
   外部ロケーションから前記地点のイメージを取り込むステップと、
   特徴照合技術を使用して、前記取り込みイメージから前記固有領域の特徴を特定するステップと、
   前記特徴を使用して前記シーンイメージから前記固有領域を抽出するステップとを有することを特徴とする請求項１に記載の地図データの更新方法。
7. 前記照合ステップが、
   前記固有領域および前記抽出イメージの局所的特徴を検出するステップと、
   前記固有領域の前記局所的特徴と前記抽出イメージの前記局所的特徴とを照合して照合結果を出力するステップとを有することを特徴とする請求項１に記載の地図データの更新方法。
8. 前記照合ステップが、
   一致した局所的特徴に関して平行四辺形の指標を計算するステップと、
   前記平行四辺形の指標が所定の値に満たない場合に、前記照合結果を補正するステップとをさらに含むことを特徴とする請求項７に記載の地図データの更新方法。
9. 地図上の各地点が、地理データと、前記地点でキャプチャされた少なくとも１つのシーンイメージと、前記シーンイメージに含まれる固有領域とに関連付けられる地図データの更新方法であって、
   各地点において、前記地点の位置を表すビデオデータと地理データとを収集するステップと、
   前記ビデオデータから、前記地点でキャプチャされた少なくとも１つのイメージを抽出するステップと、
   前記固有領域と一致したイメージを使用して前記シーンイメージを更新イメージとして更新し、前記地点と更新イメージに含まれる前記固有領域とを関連付けると共に、照合結果により地図データを更新する必要があることが示された場合に、前記地点と前記シーンイメージに含まれる前記固有領域との関連付けを取り消すステップとを
   を有することを特徴とする地図データの更新方法。
10. 前記ビデオデータを、各街路に対応するビデオセグメントに分割するステップをさらに有することを特徴とする請求項９に記載の地図データの更新方法。
11. 前記固有領域が前記シーンイメージと一致しない地点を計数するステップをさらに有し、
    前記更新ステップは、前記計数結果が所定の閾値を上回る場合に実行されることを特徴とする請求項９に記載の地図データの更新方法。
12. 前記照合ステップが、
    前記固有領域および前記抽出イメージの局所的特徴を検出するステップと、
    前記固有領域の前記局所的特徴と前記抽出イメージの前記局所的特徴とを照合して照合結果を出力するステップとを有することを特徴とする請求項９に記載の地図データの更新方法。
13. 前記照合ステップが、
    一致した局所的特徴に関して平行四辺形の指標を計算するステップと、
    前記平行四辺形の指標が所定の値に満たない場合に、前記照合結果を補正するステップとをさらに含むことを特徴とする請求項１２に記載の地図データの更新方法。
14. 地図上の各地点が、地理データと、前記地点でキャプチャされた少なくとも１つのシーンイメージとに関連付けられる地図データの更新装置であって、
    各地点において、前記地点の位置を表すビデオデータと地理データとを収集するデータ収集手段と、
    所定の基準に基づいて前記地点を表すシーンイメージから固有領域を抽出し、前記固有領域と前記地点とを関連付ける固有領域関連付け手段と、
    前記ビデオデータから、前記地点でキャプチャされた少なくとも１つのイメージを抽出するイメージ抽出手段と、
    前記固有領域と前記抽出イメージとを照合して照合結果を生成するイメージ比較手段と、
    前記照合結果により地図データを更新する必要があることが示された場合に、前記固有領域と一致したイメージを使用して、前記シーンイメージを更新イメージとして更新する出力手段と
    を含むことを特徴とする地図データの更新装置。
15. 前記出力手段は、前記地点と前記更新イメージに含まれる前記固有領域とを関連付け、前記照合結果により地図データを更新する必要があることが示された場合に、前記地点と、前記シーンイメージに含まれる前記固有領域との関連付けを取り消すことを特徴とする請求項１４に記載の地図データの更新装置。
16. 前記ビデオデータを、各街路に対応するビデオセグメントに分割する分割手段をさらに含むことを特徴とする請求項１４に記載の地図データの更新装置。
17. 前記出力手段は、
    前記固有領域が前記シーンイメージと一致しない地点を計数する計数手段と、
    前記計数結果が所定のしきい値を上回る場合に前記シーンイメージを更新する更新手段とを含むことを特徴とする請求項１４に記載の地図データの更新装置。
18. 前記固有領域関連付け手段は、
    光学文字認識技術を使用することにより前記シーンイメージに含まれる文字情報を局所化する局所化手段と、
    前記シーンイメージ内の前記文字情報によって占有される領域を前記固有領域として抽出する抽出手段と、
    前記固有領域と前記地点とを関連付ける関連付け手段とを含むことを特徴とする請求項１４に記載の地図データの更新装置。
19. 前記固有領域関連付け手段は、
    外部ロケーションから前記地点のイメージを取り込む取り込み手段と、
    特徴照合技術を使用して、前記取り込みイメージから前記固有領域の特徴を特定する局所化手段と、
    前記シーンイメージから前記固有領域を抽出する抽出手段と、
    前記固有領域と前記地点とを関連付ける関連付け手段とを含むことを特徴とする請求項１４に記載の地図データの更新装置。
20. 前記イメージ比較手段は、
    前記固有領域および前記抽出イメージの局所的特徴を検出する局所特徴検出手段と、
    前記固有領域の前記局所的特徴と前記抽出イメージの前記局所的特徴とを照合して照合結果を出力する照合手段とを含むことを特徴とする請求項１４に記載の地図データの更新装置。
21. 前記イメージ比較手段は、
    一致した局所的特徴に関して平行四辺形の指標を計算し、前記平行四辺形の指標が所定の値に満たない場合に、前記照合結果を補正する検証手段をさらに含むことを特徴とする請求項２０に記載の地図データの更新装置。
22. 地図上の各地点が、地理データと、前記地点でキャプチャされた少なくとも１つのシーンイメージと、前記シーンイメージに含まれる固有領域とに関連付けられる地図データの更新装置であって、
    各地点において、前記地点の位置を表すビデオデータと地理データとを収集するデータ収集手段と、
    前記地点でキャプチャされた少なくとも１つのイメージを前記ビデオデータから抽出するイメージ抽出手段と、
    前記固有領域と前記抽出イメージとを照合して照合結果を生成するイメージ比較手段と、
    前記固有領域と一致したイメージを使用して前記シーンイメージを更新イメージとして更新し、前記地点と更新イメージに含まれる前記固有領域とを関連付けると共に、照合結果により地図データを更新する必要があることが示された場合に、前記地点と前記シーンイメージに含まれる前記固有領域との関連付けを取り消す出力手段と
    を含むことを特徴とする地図データの更新装置。
23. 前記ビデオデータを、各街路に対応するビデオセグメントに分割する分割手段をさらに含むことを特徴とする請求項２２に記載の地図データの更新装置。
24. 前記出力手段は、
    前記固有領域が前記シーンイメージと一致しない地点を計数する計数手段と、
    前記計数結果が所定のしきい値を上回る場合に前記シーンイメージを更新する更新手段とを含むことを特徴とする請求項２２に記載の地図データの更新装置。
25. 前記イメージ比較手段は、
    前記固有領域および前記抽出イメージの局所的特徴を検出する局所特徴検出手段と、
    前記固有領域の前記局所的特徴と前記抽出イメージの前記局所的特徴とを照合して照合結果を出力する照合手段とを含むことを特徴とする請求項２２に記載の地図データの更新装置。
26. 前記イメージ比較手段は、
    一致した局所的特徴に関して平行四辺形の指標を計算し、前記平行四辺形の指標が所定の値に満たない場合に、前記照合結果を補正する検証手段をさらに含むことを特徴とする請求項２５に記載の地図データの更新装置。

Images