JP2010044630A - 建築物関連情報提供システム - Google Patents

Abstract

【課題】照合の精度が悪い場合でも正確な情報を得ることができる建築物関連情報提供システムを提供する。
【解決手段】カメラ付携帯端末３０の画像取得手段１０２の撮影画像を、情報提供依頼送信手段１０３により、ネットワーク１０１経由で情報提供サーバー５００に送信し、画像合致度による絞込み手段１１３により、前記受信画像の特徴量と複合型建築物関連情報データベース２１５内の各建築物の画像特徴量との合致度を基準として建築物の候補を絞り込み、文字列合致度による絞込み評価手段２２３により、前記受信画像中の文字列と前記データベース２１５内の各建築物の特定の領域の画像に含まれる文字列との合致度を基準として建築物の候補を絞り込み、前記２つの絞込み手段の絞り込み結果を総合して最終的な建築物の候補を選び、それを提供情報送信手段２１４によりカメラ付携帯端末３０に送信する。
【選択図】図１

Description

本発明は、外界の建築物の画像の情報に基づいて、外界建築物に関する情報をリアルタイムで提供するシステムに係り、店舗に関する案内や、店舗周辺の地図情報を提供することで現在のオペレータがいる位置の案内などを可能とするものであり、特に建物の看板の画像を扱う建築物関連情報提供システムに関するものである。

従来、カメラ付携帯電話で撮像した物体の画像を対象に、既存のデータベースに蓄積された認識対象物の画像の特徴量と照合し、その結果に基づいて関連情報を表示するもしくは情報の所在を提示するシステム／サービスが提案されてきた。これらには、例えば非特許文献１に記載の「みるら」のようなサービスがある。画像間の特徴量の照合方式には様々なものがあり、その中には建物の看板の画像を認識する技術も提案されている（非特許文献２）。

このようなシステムの概要的な動作を図面により説明する。

図４は従来技術のシステムのブロック図である。図４のシステムは、カメラ付携帯端末３０と情報提供サーバー５０を備え、これらの間ではネットワーク１０１を介して情報の授受が行われる。情報提供サーバー５０の建築物関連情報データベース１１５の各レコードには、前もって対象とする各建築物の画像特徴量と関連情報が格納されている必要がある。建築物の画像特徴量とは、建築物を特定するための建築物の特定領域の画像から抽出した特徴量であり、特定領域とは本例では建物の看板の領域とする。

図５が建築物関連情報データベース１１５の内容の例である。この中で建築物番号が１のレコードの外観の模式図を示したのが図６であり、中央の建築物２０が該当する「神奈川第九ビル」である。この建築物２０には１つの看板２１が設置されており、登録されているのはこの「横須賀商会」の看板２１を前もって撮影した図７の画像から抽出した特徴量とする。

特徴量は一般に図５にあるようなベクトルで表され、これを特徴ベクトルと呼ぶ。建築物関連情報データベース１１５にはこの他に各建築物の関連情報が記録されており、本例では建築物を中心とする周辺地図がＷｅｂ上に置かれたアドレスを表すＵＲＬが記録されている。

次に、実際にカメラ付携帯端末３０を用いて関連情報を取得し表示する処理の流れを説明する。操作者はカメラ付携帯端末３０の画像取得手段１０２を用いて被写体１０を撮影する。その画像の例を図８（ａ）とする。次に、カメラ付携帯端末３０は情報提供依頼送信手段１０３を用いて前記撮影された画像をネットワーク１０１経由で情報提供サーバー５０の中の画像受信手段１１１に送る。画像受信手段１１１に送られた画像はその後画像合致度算出手段１１２にて画像特徴量が抽出され、その特徴量は建築物関連情報データベース１１５中の各レコードの画像特徴量と照合される。

すべてのレコードの合致度が画像合致度による絞込み手段１１３に送られ、そこでもっとも合致度の高いレコードが選ばれ、そのレコードの情報が提供情報送信手段１１４に送られ、ここで建築物関連情報データベース１１５中の該当するレコードの関連情報（本例では地図のＵＲＬ）を提供情報送信手段１１４が検索し、それがネットワーク１０１経由でカメラ付携帯端末３０の情報受信手段１０４に送られる。その後、このＵＲＬは情報表示手段１０５に送られ、情報表示手段１０５はこのＵＲＬでＷｅｂにアクセスし、得られた地図の画像を表示する（例を図９に示す）。

また、携帯端末に搭載のＧＰＳ機能を利用して地図情報と連動させて現在位置や目的地までの道順等をナビゲーションする技術も発明されている。例としては、屋外での業務のための発明があり（特許文献１）、これは携帯端末に地図情報のデータベース機能とＧＰＳを搭載し、ＧＰＳで取得した位置情報に基づいて周辺地図上に現在位置を表示して目的地までの道筋を表示することができる。
"特徴量抽出技術（みるら）"、２００８年４月１５日検索、インターネットＵＲＬ＜ｈｔｔｐ：／／ｃａｐｇ．ｃ４ｔ．ｊｐ／ｐｒｏｄｕｃｔｓ／ｃａｓｅ／ｍｉｌｕｌａ／ｉｎｄｅｘ．ｈｔｍｌ＞ 山口高康、高畑実、本郷節之、"モバイルカメラでの看板の撮影をトリガにした情報検索"、信学技報、電子情報通信学会技術研究報告（ＰＲＭＵ）、２００３年１２月１１日、Ｖｏｌ．１０３，Ｎｏ．５１５、ｐｐ．１９−２４ 特開平７−２８８８４号公報 特開２００６−５９１２４号公報

上述の従来手法には以下のような課題があった。

ＧＰＳ・位置情報サービスおよびＥＺナビウォーク等では、ＧＰＳが正常に機能することがサービスの前提となっているが、ＧＰＳはどのような場所でも正常に機能する保障はなく、たとえば高いビルの近辺では位置情報を計測できないことがあることが知られている。

また、非特許文献１の「みるら」で実現されているサービスは、カメラ付携帯端末から送られてきた画像の特徴量を、データベースに格納された認識対象物の画像の特徴量と照合し、合致度のもっとも高い認識対象物を選んでそれに結び付けられたデータベース上の情報を端末に送る形態である。このような形態のシステムにおいては、画像間の照合の精度が問題となる。画像間の照合技術はどのようなものであってもある程度の割合の誤りは避けられず、その場合には携帯端末には認識失敗の通知か、もしくは正解とは異なる認識対象物の関連情報が提供されてしまう。このような認識の失敗の原因としては、携帯端末による撮影の際の手ぶれやボケ、携帯端末で撮影された画像中における対象物の位置や大きさが想定の範囲内から大きく外れてしまう場合、対象物に影がかかる場合など、さまざまな要因がある。

図８の（ｂ）はその一例であり、これは情報提供を依頼するために携帯端末で撮影した時に看板の下部に水平方向に電線の細い影がかかった画像であり、建築物関連情報データベース１１５に画像特徴量を登録するのに用いた図７の画像と比較すると、この細い影が大きく異なる。

このような場合、たとえば画像特徴量が正しいカテゴリである「神奈川第九ビル」よりも他のカテゴリ（例えば「ＤＦＦビル」）に偶然近くなることが生じやすく、そのような場合には、画像合致度による絞込み手段１１３の処理結果において合致度のもっとも高い第１の候補が「ＤＦＦビル」、次に合致度の高い第２の候補が「神奈川第九ビル」となり、誤って「ＤＦＦビル」の情報がカメラ付携帯端末３０に送られてしまうことになる。

本発明は上記課題を解決するものであり、その目的は、照合の精度が悪い場合でも正確な情報を得ることができる建築物関連情報提供システムを提供することにある。

本発明は、建築物を撮影した画像から、該建築物に関連した情報を提供する、カメラ付携帯端末および情報提供サーバーを備えた建築物関連情報提供システムであって、
前記カメラ付携帯端末は、建物の特定の領域をカメラで撮影する画像取得手段と、前記撮影された画像をネットワーク経由で前記情報提供サーバーに送信してその建物に関連する情報の提供を依頼する情報提供依頼送信手段と、前記依頼の結果として前記情報提供サーバーからネットワーク経由で送られてきた建物に関連した情報を受信する情報受信手段と、前記受信した情報を表示する情報表示手段とを有し、
前記情報提供サーバーは、外界に存在する建築物の集合の各々について、特定の領域の画像の特徴量および該画像に含まれる文字列および該当する建築物の関連情報を関連付けて蓄積する複合型建築物関連情報データベースと、前記カメラ付携帯端末からネットワーク経由で送信されてきた画像を受信する画像受信手段と、前記受信された画像の特徴量を抽出し、その特徴量と前記複合型建築物関連情報データベースに格納された各建築物の画像特徴量との合致度を算出する画像合致度算出手段と、前記画像合致度算出手段で算出された合致度を基準として建築物の候補を絞り込む画像合致度による絞込み手段と、前記画像受信手段により受信された画像中に含まれる文字列を抽出する景観中文字認識手段と、前記抽出された文字列と前記複合型建築物関連情報データベースに格納された各建築物の特定の領域の画像に含まれる文字列との合致度を算出する文字列合致度算出手段と、前記文字列合致度算出手段で算出された合致度を基準として建築物の候補を絞り込む文字列合致度による絞込み評価手段と、前記画像合致度による絞込み手段の絞り込み結果と文字列合致度による絞込み評価手段の絞り込み結果を総合して最終的な建築物の候補を選び、その建築物の関連情報をネットワーク経由で前記カメラ付携帯端末に送信する提供情報送信手段とを有することを特徴としている。

本発明によれば、建築物の特定領域の画像全体の照合に失敗した場合でも、画像に含まれる文字列を抽出し、その文字列の照合結果と総合することで正しい結果を得ることが可能となり、情報提供の誤りの少ないサービスを提供することが可能となる。

以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。

図１は本発明の建築物関連情報提供システムの一実施形態例の構成を示すブロック図である。図１において図４と同一部分は同一符号をもって示している。

本実施形態例のシステムは、カメラ付携帯端末３０と情報提供サーバー５００を備え、これらの間ではネットワーク１０１を介して情報の授受が行われる。

カメラ付携帯端末３０は、被写体１０の建物の特定の領域をカメラで撮影する画像取得手段１０２と、前記撮影された画像をネットワーク１０１を介して情報提供サーバー５００に送信してその建物に関連する情報の提供を依頼する情報提供依頼送信手段１０３と、前記依頼の結果としてネットワーク１０１を介して情報提供サーバー５００から送られてきた建物に関連した情報を受信する情報受信手段１０４と、前記受信した情報を表示する情報表示手段１０５とを有している。

情報提供サーバー５００は、外界に存在する建築物の集合の各々について、特定の領域の画像の特徴量および該画像に含まれる文字列および該当する建築物の関連情報を関連付けて蓄積する複合型建築物関連情報データベース２１５と、前記カメラ付携帯端末３０からネットワーク１０１を介して送信されてきた画像を受信する画像受信手段２１１と、前記受信された画像の特徴量を抽出し、その特徴量と前記複合型建築物関連情報データベース２１５に格納された各建築物の画像特徴量との合致度を算出する画像合致度算出手段１１２と、前記画像合致度算出手段１１２で算出された合致度を基準として建築物の候補を絞り込む画像合致度による絞込み手段１１３と、前記画像受信手段２１１により受信された画像中に含まれる文字列を抽出する景観中文字認識手段２２１と、前記抽出された文字列と前記複合型建築物関連情報データベース２１５に格納された各建築物の特定の領域の画像に含まれる文字列との合致度を算出する文字列合致度算出手段２２２と、前記文字列合致度算出手段２２２で算出された合致度を基準として建築物の候補を絞り込む文字列合致度による絞込み評価手段２２３と、前記画像合致度による絞込み手段１１３の絞り込み結果と文字列合致度による絞込み評価手段２２３の絞り込み結果を総合して最終的な建築物の候補を選び、その建築物の関連情報をネットワーク１０１を介して前記カメラ付携帯端末３０に送信する提供情報送信手段２１４とを有する。

尚情報提供サーバー５００の前記各手段の機能は、例えばコンピュータによって達成される。

情報提供サーバー５００の複合型建築物関連情報データベース２１５は従来技術の図４で述べた建築物関連情報データベース１１５に対応しており、異なるのは、各建築物について、特定の領域（本実施例では看板）に含まれる文字列を更にレコードに記録している点であり、他はすべて同じである。図２は複合型建築物関連情報データベース２１５の内容の一例を示しており、たとえば、建築物番号が１のレコードの「神奈川第九ビル」を例にとって説明する。この建物の外観の模式図を示した図６（中央の建築物２０が該当する「神奈川第九ビル」）からわかるように、この建築物２０の看板２１には「横須賀商会」という文字列が書かれており、これが図２のレコードの文字列の欄に記録されている。また、前記従来技術の図４における説明と同様、「横須賀商会」の看板２１を前もって撮影した図７の画像から抽出した画像特徴量が「神奈川第九ビル」のレコードの画像特徴量に記録されているとする。

また複合型建築物関連情報データベース２１５には、従来技術の図５の建築物関連情報データベース１１５と同様に各建築物の関連情報が記録されており、本実施例では建築物を中心とする周辺地図がＷｅｂ上に置かれたアドレスを表すＵＲＬが記録されている。

次に、図３に示すフローチャートを参照しながら、実際にカメラ付携帯端末３０を用いて関連情報を取得し表示する処理の流れを説明する。まずステップＳ１において、操作者はカメラ付携帯端末３０の画像取得手段１０２を用いて被写体１０を撮影する。ここでは前記従来技術の図４での説明と同様に「神奈川第九ビル」の看板（図６の建築物２０の看板２１）を撮影し、図８（ｂ）の画像が撮影されたとする。次に、この画像は情報提供依頼送信手段１０３に送られ、該送信手段１０３は、画像をネットワーク１０１経由で情報提供サーバー５００の中の画像受信手段２１１に送信する（ステップＳ２）。

画像受信手段２１１が前記画像を受信する（ステップＳ３）と、その画像は、まず画像合致度算出手段１１２にて画像特徴量が抽出され（ステップＳ４）、その特徴量は複合型建築物関連情報データベース２１５中の各レコードの画像特徴量と照合され、その結果はすべて画像合致度による絞込み手段１１３に送られる（ステップＳ５）。

次にステップＳ６において、画像合致度による絞込み手段１１３は、前記従来技術の図４の説明と同様に、前記照合結果のうちもっとも合致度の高いレコードを選び出す。この場合図４で説明したように、図８（ｂ）の画像特徴量は下部の電線の細い影によって、例えば図２の「ＤＦＦビル」の画像特徴量に近くなるため、画像合致度による絞込み手段１１３の処理結果は、第１の候補が「ＤＦＦビル」、第２の候補が「神奈川第九ビル」となる。画像合致度による絞込み手段１１３はこの結果を提供情報送信手段２１４に送る。

次に、景観中文字認識手段２２１の処理に移る（ステップＳ７）。ここでは画像に含まれる文字列が抽出される。画像中から含まれる文字列を抽出する技術としては、例えば“景観中文字列認識方式および装置”（特許文献２）がある。本実施例における処理対象である図８（ｂ）では、影は文字列には触れていないので、この影による抽出の失敗はない。ただし文字認識では通常１００％正確な処理を行うことはできず、この例では、５文字目の認識が誤まったとし、「横須賀商合」と出力されたとする。

この結果は文字列合致度算出手段２２２に送られる。文字列合致度算出手段２２２は、ステップＳ８において、景観中文字認識手段２２１からの文字列と複合型建築物関連情報データベース２１５の各レコードの文字列とを照合し、一致する文字数を計測して各レコードの評価値とする。例えば、前記「横須賀商合」と図２の第１のレコードの「横須賀商会」との照合では一致文字数は４と算出され、第２のレコードの「ＤＦＦビル」との照合では一致文字数は０と算出される。この評価値の算出はすべてのレコードについて行われ、その結果はすべて文字列合致度による絞込み評価手段２２３に送られる。

文字列合致度による絞込み評価手段２２３は、ステップＳ９において、前記文字列の照合結果に基づく評価値の高い順に上位から複数の候補を絞り込む。この処理結果として、例えば第１の候補が「神奈川第九ビル」、第２の候補が「横須賀ビル」であったとする。文字列合致度による絞込み評価手段２２３はこの結果を提供情報送信手段２１４に送る。

以上の処理により、提供情報送信手段２１４は、画像合致度による絞込み手段１１３から、第１の候補が「ＤＦＦビル」、第２の候補が「神奈川第九ビル」という絞込み結果を受け取り、文字列合致度による絞込み評価手段２２３から、第１の候補が「神奈川第九ビル」、第２の候補が「横須賀ビル」という絞込み結果を受け取ったことになる。

次にステップＳ１０において、提供情報送信手段２１４は、これらの結果に含まれる建築物の候補を１つの集合にまとめる。上記の例では、{「ＤＦＦビル」、「神奈川第九ビル」、「神奈川第九ビル」、「横須賀ビル」}となる。そして、この集合に含まれる各候補の各々の個数を算出し（この場合には「神奈川第九ビル」が２個、「ＤＦＦビル」と「横須賀ビル」が各々１個づつ）、もっとも含まれる個数が大きい候補を処理結果（最終的な建築物の候補）として選ぶ。この場合は２個含まれる「神奈川第九ビル」が正しく選ばれる。

そして、提供情報送信手段２１４はステップＳ１１において、複合型建築物関連情報データベース２１５中の「神奈川第九ビル」に該当するレコードの関連情報（本例では地図のＵＲＬ）を検索し、それをネットワーク１０１経由でカメラ付携帯端末３０の情報受信手段１０４に送る。

そしてステップＳ１２において、情報受信手段１０４が前記関連情報（ＵＲＬ）を受信し、その後このＵＲＬは情報表示手段１０５に送られる。

次に、情報表示手段１０５はステップＳ１３において、前記ＵＲＬでＷｅｂにアクセスし、従来技術の説明と同様に得られた地図の画像を、例えば図９に示すように表示する。

本発明の一実施形態例による建築物関連情報提供システムの構成を示すブロック図である。 本発明の一実施形態例における複合型建築物関連情報データベースの構成例を示す説明図である。 本発明の一実施形態例における図１のシステムの処理の流れを示すフローチャートである。 従来のシステム構成を示すブロック図である。 従来の図４のシステムにおける建築物関連情報データベースの構成例を示す説明図である。 撮影対象の被写体の例を示す模式図である。 被写体の特定領域を撮影した画像の説明図である。 被写体の特定領域を撮影した画像の例を示す説明図である。 建築物の関連情報の一例としての建築物の地図の説明図である。

符号の説明

１０…被写体、２０…被写体である建築物、２１…被写体である建築物の看板、３０…カメラ付携帯端末、１０１…ネットワーク、１０２…画像取得手段、１０３…情報提供依頼送信手段、１０４…情報受信手段、１０５…情報表示手段、１１２…画像合致度算出手段、１１３…画像合致度による絞込み手段、２１１…画像受信手段、２１４…提供情報送信手段、２１５…複合型建築物関連情報データベース、２２１…景観中文字認識手段、２２２…文字列合致度算出手段、２２３…文字列合致度による絞込み評価手段、５００…情報提供サーバー。

Claims (1)

1. 建築物を撮影した画像から、該建築物に関連した情報を提供する、カメラ付携帯端末および情報提供サーバーを備えた建築物関連情報提供システムであって、
   前記カメラ付携帯端末は、
   建物の特定の領域をカメラで撮影する画像取得手段と、
   前記撮影された画像をネットワーク経由で前記情報提供サーバーに送信してその建物に関連する情報の提供を依頼する情報提供依頼送信手段と、
   前記依頼の結果として前記情報提供サーバーからネットワーク経由で送られてきた建物に関連した情報を受信する情報受信手段と、
   前記受信した情報を表示する情報表示手段とを有し、
   前記情報提供サーバーは、
   外界に存在する建築物の集合の各々について、特定の領域の画像の特徴量および該画像に含まれる文字列および該当する建築物の関連情報を関連付けて蓄積する複合型建築物関連情報データベースと、
   前記カメラ付携帯端末からネットワーク経由で送信されてきた画像を受信する画像受信手段と、
   前記受信された画像の特徴量を抽出し、その特徴量と前記複合型建築物関連情報データベースに格納された各建築物の画像特徴量との合致度を算出する画像合致度算出手段と、
   前記画像合致度算出手段で算出された合致度を基準として建築物の候補を絞り込む画像合致度による絞込み手段と、
   前記画像受信手段により受信された画像中に含まれる文字列を抽出する景観中文字認識手段と、
   前記抽出された文字列と前記複合型建築物関連情報データベースに格納された各建築物の特定の領域の画像に含まれる文字列との合致度を算出する文字列合致度算出手段と、
   前記文字列合致度算出手段で算出された合致度を基準として建築物の候補を絞り込む文字列合致度による絞込み評価手段と、
   前記画像合致度による絞込み手段の絞り込み結果と文字列合致度による絞込み評価手段の絞り込み結果を総合して最終的な建築物の候補を選び、その建築物の関連情報をネットワーク経由で前記カメラ付携帯端末に送信する提供情報送信手段とを有することを特徴とする建築物関連情報提供システム。

Images