JP5682060B2 - 画像合成装置、画像合成プログラム、及び画像合成システム - Google Patents

Description

本願発明は、現実の空間を撮像した実空間画像に、仮想の画像を重畳して表示する装置、プログラム、及びシステムである。より具体的には、実空間画像に空間モデルに基づいて作成される仮想空間画像を重畳して表示するものであり、実空間画像の遠近感に合わせて仮想空間画像も遠近表示する画像合成装置、画像合成プログラム、及び画像合成システムに関するものである。

道路には、そのネットワーク性や公共性という特性から、多くの地下埋設物が存在している。道路下の地下埋設物としては、上下水道やガスが代表的であり、近年では電線の地中化も盛んに行われ、さらに情報ＢＯＸと呼ばれる光ファイバーケーブルも広く埋設されているところである。図８は、道路下の埋設状況を模式的に示した説明図であり、道路左側に光ファイバーケーブルＡが、道路右側に下水管Ｂが、埋設された状況を示すものである。この図では、光ファイバーケーブルＡと下水管Ｂの平面配置が破線で示され、仮想断面図で断面配置が示されているが、もちろん実際にこのように見ることはできない。

図１０は、道路で現地調査を実施している状況を示した説明図である。この図に示すように、日常において地下埋設物を目視で確認することができない。そのため、どの位置にどのような地下埋設物が存在しているのか、現地で把握することは容易ではない。道路の改良工事や新たな埋設物設置工事など道路を掘削する場合、あらかじめ地下埋設物の位置や種類を確認する必要があるが、現地での目視調査では把握できないので、設計時の資料や管理図面などを収集して調べなければならない。その調査の結果判明した地下埋設物の位置情報（通常は平面座標系で与えられる情報）を基に、現地にて測量を行い、鋲や白線等によるマーカーで明示することになる。図１０は、道路上に地下埋設物の平面配置を白線Ｃで示した説明図である。

道路下の地下埋設物と同様、建築物の壁面内に収められた配線・配管類についても、現地で目視することはできないので、設計図面などを参考に現地測量を行い、壁面にマーカーで示すことになる。

これら埋設物とは異なり、現実には存在しないために現地で目視することはできないものもある。例示すれば、土地の境界や村市町村界、未施工の道路やマンションなど計画段階の構造物、土砂災害警戒区域や地すべり指定地などの危険区域、といった人の概念上作られたもの（以下、「概念物」という。）が挙げられる。このような概念物についても、現地での確認が必要となる状況は少なくなく、この場合、先に説明した埋設物と同様、概念物の位置を示す情報（やはり、通常は平面座標系で与えられる情報）に基づいて現地測量を行い、杭や白線等によるマーカーで明示することになる。

このように埋設物や概念物など実際には目視できないもの（以下、「不可視物」という。）を現地で確認するためには、その不可視物に関する資料を収集し、さらに現地で測量する必要がある。不可視物を現地で確認するために費やす労力は、実際に目視できるもの（以下、「可視物」という。）に比べると極めて大きい。

一方、昨今では実空間上で仮想空間を体感する技術が、実用化に向けて開発されている。これは、現実の空間にデジタル情報を仮想画像として重ねて表現する技術で、現実世界を拡げるという意味から「拡張現実（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ；ＡＲ）」と呼ばれている。拡張現実は、人の頭部に装着するディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ； ＨＭＤ）で体感するものから始まり、現在では携帯電話をはじめとするモニタ付き携帯型コンピュータで表示させるものが主流になりつつある。

拡張現実に関するハードウェアやソフトウェアは、実用化に向けて着実に進歩しているが、この技術を応用する方法についてはそれほど多く提案されていないのが現状であり、この意味では拡張現実は発展の途上にある技術といえる。拡張現実を応用した技術の提案は今後増加するものと考えられ、特許文献１もそのうちのひとつである。

特開２０１０−２３８０９６

特許文献１は、カメラ付きの端末機で実空間を撮影しながら連続的に表示（ライブビュー）し、カメラの位置やカメラの方向に応じて仮想画像（この文献では「拡張現実感情報」）を取得し、実空間の撮影画像に重畳表示するものである。そして、カメラを移動させると、その移動速度に追随して適確に仮想画像を表示させることを目的とし、カメラの移動量に閾値を設け、その閾値と移動量とを照らし合わせて仮想画像を変更するか否かを判断するものである。

特許文献１では、カメラの位置やカメラの方向を計測する方法として、カメラ付き端末機に各種のセンサを搭載することとしている。このように拡張現実を実現するにあたってセンサを用いることは一般的となりつつあり、センサによる計測精度を上げる技術、計測時間を短縮する技術、センサ自体を小型化する技術など、センサに関する技術も大きく進歩している。このセンサには、カメラの位置（座標）を計測するものと、カメラの姿勢を計測するものに大きく分けられ、前者ではＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）が代表的であり、後者では地磁気センサなどが例示できる。

前記したように、埋設物や概念物など実際には目視できない「不可視物」を現地で確認する場合、その不可視物に関する資料を収集する必要があり、さらに現地で測量する必要があり、多くの労力や時間を必要としていた。また、不可視物を現地で表現するには、鋲や杭あるいは白線などのマーカーで表示することとなり、その労力に加え美観的にも好ましものではなかった。

このような問題を解決するため、特許文献１で示されるように拡張現実を用いることも考えられる。すなわち、現地にてカメラ付き端末機で撮影し、埋設物や概念物を仮想画像化したものを実際の画像に表示させることが考えられる。しかしながら、特許文献１で表示する仮想画像はタグであり、タグに示される情報によって現実以上のものを感得するものである。このような手段では、現地でどこに埋設物が存在しているのか、ということは直感的に認識することはできない。

さらに特許文献１を含め現状の拡張現実では、仮想画像を実空間の画像と重ね合わせる際の位置精度に問題がある。ＧＰＳや磁気センサによる計測技術は向上しているものの、その精度はまだ十分ではなく、かつ誤って表示したものを補正する技術も確立されていない。特に、道路下に埋設物がある状態で掘削を行う場合、拡張現実によって表示した仮想画像（ここでは地下埋設物）の表示位置精度が十分でないと、地下埋設物に損傷を与える事故などを引き起こすおそれがある。

本願発明の課題は、前記した問題を解決することであり、資料収集や現地測量などの労力を必要とすることなく、現地にて埋設物や概念物など不可視物を直感的に確認することである。また、実空間の画像と重ね合わせる際、仮想画像の表示位置精度を適切なものとすることも、本願発明の課題の一つである。より具体的には、これらの問題を解決する画像合成装置、画像合成プログラム、及び画像合成システムを提供することが、本願発明の課題である。

本願発明の画像合成装置は、現実の空間を撮像した実空間画像に、空間情報を有する空間モデルに基づいて作成される仮想空間画像を、重畳して表示画面に表示する画像合成装置であって、前記実空間画像を取得する画像取得手段と、画像取得手段の位置及び姿勢を計測する計測手段と、前記空間モデルを記憶する記憶手段と、前記計測手段による計測値と前記空間モデルとに基づいて演算処理を行い、前記表示画面で遠近表示された透視図となるように前記仮想空間画像を作成する画像作成手段と、遠近表示された前記実空間画像と、遠近表示された前記仮想空間画像と、を前記表示画面に重畳して表示させる表示手段と、を備えたものである。

本願発明の画像合成装置は、空間モデルが、目視可能な可視物の空間情報と、目視できない不可視物の空間情報と、を含み、画像作成手段は、前記可視物の仮想空間画像と前記不可視物の仮想空間画像を作成し、さらに、前記可視物の仮想空間画像と、前記不可視物の仮想空間画像と、を選択して表示又は非表示させる表示制御手段を備えたものとすることもできる。

本願発明の画像合成装置は、同一の目視可能な可視物についての仮想空間画像と実空間画像との表示位置が、表示画面上で一致しない場合に、前記仮想空間画像と前記実空間画像の表示位置が前記表示画面上で一致又は略一致するように、前記仮想空間画像を移動させる表示位置調整手段を、備えたものとすることもできる。

この場合、表示位置調整手段が、実空間画像のうちの画像の特徴部に基づいて形状特徴部を自動抽出するとともに、この形状特徴部と照合する照合部分を可視物の仮想空間画像から自動検出し、形状特徴部と照合部分の表示画像上の位置が一致又は略一致するように、仮想空間画像の表示位置を自動的に調整することもできる。

本願発明の画像合成装置は、表示手段が、仮想空間画像に関する図又は／及び属性情報を表示するものであり、表示制御手段が、前記図又は／及び属性情報を、表示又は非表示させるものとすることもできる。

本願発明の画像合成プログラムは、現実の空間を撮像した実空間画像に、空間モデルに基づいて作成される仮想空間画像を、重畳して表示画面に表示させる画像合成プログラムであって、目視可能な可視物の空間情報と目視できない不可視物の空間情報とを含む空間モデルを記憶した記憶手段から、この空間モデルを取得するモデル読み込み機能と、計測により得た画像取得手段の位置及び姿勢を取得する計測値読み込み機能と、前記画像取得手段の位置及び姿勢と前記空間モデルとに基づいて、前記表示画面で遠近表示された透視図となるように、前記可視物の仮想空間画像と前記不可視物の仮想空間画像とを作成する画像作成機能と、遠近表示された前記実空間画像と、遠近表示された前記仮想空間画像と、を前記表示画面に重畳して表示させる表示機能と、前記可視物の仮想空間画像と、前記不可視物の仮想空間画像と、を選択して表示又は非表示させる表示制御機能と、同一の可視物についての前記仮想空間画像と前記実空間画像との表示位置が、表示画面上で一致しない場合に、前記仮想空間画像と前記実空間画像の表示位置が前記表示画面上で一致又は略一致するように、前記仮想空間画像を移動させる表示位置調整機能と、をコンピュータに実行させるものである。

本願発明の画像合成プログラムは、表示位置調整機能が、実空間画像のうちの画像の特徴部に基づいて、形状特徴部を抽出する特徴部抽出機能と、前記形状特徴部と照合する照合部分を、可視物の仮想空間画像から検出する照合部分検出機能と、前記形状特徴部と前記照合部分の表示画像上の位置が一致又は略一致するように、仮想空間画像の表示位置を調整する位置調整機能と、を備えたものとすることもできる。

本願発明の画像合成プログラムは、表示機能が、仮想空間画像に関する図又は／及び属性情報を表示するものであり、表示制御機能が、前記図又は／及び属性情報を、表示又は非表示させるものとすることもできる。

本願発明の画像合成システムは、現実の空間を撮像した実空間画像に、空間モデルに基づいて作成される仮想空間画像を、重畳して表示画面に表示する画像合成システムであって、サーバと、このサーバと無線又は有線の通信回線で接続される１又は２以上の端末機と、で構成され、前記サーバは、目視可能な可視物の空間情報と目視できない不可視物の空間情報とを含む空間モデルを記憶する記憶手段と、前記端末機の表示画面で遠近表示された透視図となるように前記仮想空間画像を作成する画像作成手段と、通信手段と、を備え、前記端末機は、前記実空間画像を取得する画像取得手段と、この画像取得手段の位置及び姿勢を計測する計測手段と、前記実空間画像及び前記仮想空間画像を表示画面に表示させる表示手段と、前記可視物の仮想空間画像と前記不可視物の仮想空間画像とを選択して表示又は非表示させる表示制御手段と、通信手段と、を備え、前記端末機のユーザが前記サーバに要求すると、当該端末機の計測手段による計測値がサーバに伝送され、前記サーバは、前記端末機のユーザの求めに応じて、当該端末機の計測値と前記空間モデルとに基づき、前記可視物の仮想空間画像と前記不可視物の仮想空間画像とを作成するとともに、これらの仮想空間画像を当該端末機に伝送し、前記仮想空間画像を受信した端末機の表示画面では、遠近表示された前記実空間画像と遠近表示された前記仮想空間画像とが重畳して表示され、同一の可視物についての仮想空間画像と実空間画像との表示位置が、前記表示画面上で一致しない場合に、前記端末機が備える表示位置調整手段によって、前記仮想空間画像と前記実空間画像の表示位置が表示画面上で一致又は略一致するように、前記仮想空間画像を移動させ得るものである。

本願発明の画像合成システムは、現実の空間を撮像した実空間画像に、空間モデルに基づいて作成される仮想空間画像を、重畳して表示画面に表示する画像合成システムであって、サーバと、このサーバと無線又は有線の通信回線で接続される１又は２以上の端末機と、で構成され、前記サーバは、目視可能な可視物の空間情報と目視できない不可視物の空間情報とを含む空間モデルを記憶する記憶手段と、前記端末機の表示画面で遠近表示された透視図となるように前記仮想空間画像を作成する画像作成手段と、通信手段と、を備え、前記端末機は、前記実空間画像を取得する画像取得手段と、この画像取得手段の位置及び姿勢を計測する計測手段と、前記実空間画像及び前記仮想空間画像を表示画面に表示させる表示手段と、前記可視物の仮想空間画像と前記不可視物の仮想空間画像とを選択して表示又は非表示させる表示制御手段と、通信手段と、を備え、前記端末機のユーザが前記サーバに要求すると、当該端末機の計測手段による計測値と、当該端末の画像取得手段による実空間画像と、がサーバに伝送され、前記サーバは、前記端末機のユーザの求めに応じて、当該端末機の計測値と前記空間モデルとに基づき、前記可視物の仮想空間画像と前記不可視物の仮想空間画像とを作成し、さらに前記サーバは、同一の可視物についての前記仮想空間画像と前記実空間画像との表示位置が前記表示画面上で一致しない場合に、実空間画像のうちの画像の特徴部に基づいて形状特徴部を自動抽出するとともに、この形状特徴部と照合する照合部分を可視物の仮想空間画像から自動検出し、形状特徴部と照合部分の表示画像上の位置が一致又は略一致するように、仮想空間画像の表示位置を自動的に調整したうえで、可視物の仮想空間画像と不可視物の仮想空間画像とを前記端末機に伝送し、仮想空間画像を受信した端末機の表示画面では、遠近表示された前記実空間画像と遠近表示された前記仮想空間画像とが重畳して表示されるものとすることもできる。

本願発明の画像合成システムは、表示手段が、仮想空間画像に関する図又は／及び属性情報を表示するものであり、表示制御手段が、前記図又は／及び属性情報を、表示又は非表示させるものとすることもできる。

本願発明の画像合成装置、画像合成プログラム、及び画像合成システムには、次のような効果がある。
（１）資料収集や現地測量などの労力を要することなく、現地で不可視物を容易に確認することができる。
（２）また、現地で不可視物を表示するためのマーカーを必要としないので、現地の美観を保つことができる。
（３）実空間画像の画像に合わせた遠近感で仮想空間画像を表示するので、極めて直感的に不可視物を把握することができる。
（４）同一の可視物で仮想空間画像と実空間画像の表示位置を合わせることで、不可視物の仮想空間画像の表示位置精度も向上するので、例えば道路下を掘削する場合でも地下埋設物を損傷させることがない。
（５）仮想空間画像に関する図面や属性情報を表示することで、不可視物の存在する位置のほか、例えば地下埋設物の種類や所有者など有用な情報も確認できるので好適である。

道路を端末機で撮影している状況を示す説明図。 （ａ）は端末機のモニタ側を示す図、（ｂ）は端末機の背面側（カメラ側）を示す図。 （ａ）は用地境界を線として作成した場合の仮想空間画像を示す図、（ｂ）は用地境界を面として作成した場合の仮想空間画像を示す図。 下水管３Ｖに関する平面図が表示されたモニタを示す図。 カメラで撮影した実空間画像と仮想空間画像（センターラインと下水管）を重畳表示したモニタを示す図。 形成要素を指定してモニタ上の仮想空間画像を移動させる方法を説明するための説明図。 仮想空間画像を回転移動させる方法を説明するための説明図。 道路下の埋設状況を模式的に示した説明図。 道路で現地調査を実施している状況を示した説明図。 道路上に地下埋設物の平面配置を白線で示した説明図。

（実施形態）
本願発明の画像合成装置、画像合成プログラム、及び画像合成システムの一実施形態を図に基づいて以下説明する。

（全体概要）
図１は道路を端末機１で撮影している状況を示す説明図であり、図２（ａ）は端末機１のモニタ側を示す図であり、（ｂ）は端末機１の背面側（カメラ側）を示す図である。図１に示すように、センターライン２が敷設された道路の下には下水管３が埋設されており、いま端末機１の使用者（以下、「ユーザ」という。）が歩道上から目の前の光景を撮影している。図２（ａ）（ｂ）に示すように、端末機１にはカメラ１ａ（画像取得手段）が内蔵されており、端末機１の表面にはモニタ１ｂ（表示画面）が設けられている。なお便宜上、図１では下水管３を破線で表示しているが、もちろんユーザに下水管３は見えていない。

図２（ａ）に示すように、ユーザが撮影したモニタ１ｂには実際の空間に存在するもの（以下、「実在物」という。）、すなわち車道、歩道、電柱、建物などを撮影した画像（以下、実在物の画像を「実空間画像」という。）が表示されており、車道のセンターライン２も実空間画像（センターライン２Ｒ）として表示されている。もちろん実在物には、ここで例示した車道、歩道、電柱、建物、車道のセンターライン２に限られず、電柱に掛けてある電線類や、構造物内の鉄筋など、実際の空間に存在するあらゆるものが含まれることはいうまでもない。また、後に説明する空間モデルに基づいて作成された仮想上のモデル（以下、「仮想空間モデル」という。）を画像化したもの（以下、仮想空間モデルの画像を「仮想空間画像」という。）も、モニタ１ｂに表示される。図２（ａ）では、下水管３の仮想空間モデルを画像化した仮想空間画像（下水管３Ｖ）を表示している。なお便宜上、センターラインを実在物として表現する場合は「センターライン２」と数字のみの記号で表し、センターラインを実空間画像として表現する場合は「センターライン２Ｒ」とＲを添えた記号で表し、後に説明するようにセンターラインを仮想空間画像として表現する場合は「センターライン３Ｖ」とＶを添えた記号で表すこととする。同様に、下水管を実在物として表現する場合は「下水管３」と表し、下水管を仮想空間画像として表現する場合は「下水管３Ｖ」と表す。

（端末機）
図２（ａ）に示す端末機１について説明する。端末機１は少なくとも、カメラ１ａ（画像取得手段）と、図示しないセンサ（計測手段）と、モニタ１ｂ（表示画面）と、電子計算機（以下、「コンピュータ」という。）を備えている。この端末機１は、人が携帯しやすい小型のものが望ましく、カメラとセンサを内蔵する市販の携帯電話機や携帯型コンピュータを利用することができるが、その他デジタルカメラを改造したもの、あるいは専用に作成されたものを用いることもできる。

端末機１のカメラ１ａで撮影される画像はモニタ１ｂで表示されるが、カメラ１ａを向けた方向の光景が常に表示され、カメラ１ａの動きにも追随して表示される、いわゆるライブビューで表示される。もちろんシャッターを操作することで静止画として取得することもできる。

端末機１のセンサは、カメラ１ａ位置情報を計測する位置計測センサと、カメラ１ａの姿勢を計測する姿勢計測センサの、大きく２種類に分けられる。

位置計測センサは、カメラ１ａの位置座標を取得するもので、ここでいう位置座標とは３次元座標（Ｘ，Ｙ，Ｚ）のこと（もちろん、緯度と経度と標高でもよい）を意味する。位置計測センサとしてはＧＰＳが代表的であるが、その他、無線ＬＡＮのアクセスポイントを利用する測位方法（Ｐｌａｃｅ Ｅｎｇｉｎｅなど）、ＬＥＤの高速点滅を信号として伝送する可視光通信を利用した測位方法、室内にＧＰＳを配置して測位するＩＭＥＳ（Ｉｎｄｏｏｒ Ｍｅｓｓａｇｉｎｇ Ｓｙｓｔｅｍ）、ＱＲコードやビジュアル・マーカー（ＡＲＴｏｏｌＫｉｔなどで利用されるマーカー）やＲＦＩＤタグなどから位置情報を取得する測位方法、赤外線通信を利用した測位方法など、公知の測位技術を利用することができる。もちろん、屋外用としてＧＰＳを、屋内用として無線ＬＡＮ方式を併用するなど、種々の測位方法を組み合わせて利用することもできる。

姿勢計測センサは、カメラ１ａの姿勢を取得するもので、ここでいう姿勢とはカメラ１ａの向いている方向であり傾きのことを意味する。より具体的には、水平面の左右軸をＸ軸、水平面の前後軸をＹ軸、鉛直軸をＺ軸とすると、Ｘ軸回りの回転ω（ピッチ）、Ｙ軸回りの回転φ（ロール）、Ｚ軸回りの回転κ（ヨー）が姿勢を決定する要素である。姿勢計測センサとしては、Ｚ軸回りの回転κつまり方位を計測する地磁気センサ（電子コンパス）や、Ｘ軸回りの回転ωやＹ軸回りの回転φを計測する加速度センサが代表的であるが、その他ジャイロセンサなど公知の技術を利用することもできる。電子コンパスと加速度センサの両方を内蔵した、いわゆる６軸センサ内蔵の携帯電話端末も市販されているので、このような端末機を利用すると好適である。

（仮想空間画像）
仮想空間画像について説明する。先にも説明したように仮想空間画像とは、空間モデルを演算処理することで作成される仮想空間モデルを、さらに画像化したものである。

空間モデルとは、地物を地球上の特定の位置、特定の形状や大きさで表現するための空間情報の集合を意味する。なお、ここでいう空間情報とは、座標や緯度経度など地物の位置を表現するための情報のことであり、２次元座標（Ｘ，Ｙ）や３次元座標（Ｘ，Ｙ，Ｚ）が例示できる。さらに、ここでいう地物とは、空間情報によって表現することのできる物という程度の意味であり、実存する物（実在物）に限定されものではない。例えば、 土地の境界や村市町村界、未施工の道路やマンションなど計画中の構造物、土砂災害警戒区域や地すべり指定地などの危険区域、といった人の概念上作られたもの（概念物）も、空間情報によって特定の位置や特定の形状・大きさを表現することができればすべて地物である。

また、実在物は、図１のセンターライン２のように実際に目視できる可視物と、下水管３のように実際には目視できない不可視物とに分けることができるが、可視物、不可視物のいずれも空間情報によって特定の位置や特定の形状・大きさを表現することができるので地物である。すなわち空間モデルは、実在物（可視物と不可視物）や概念物といった地物に関する空間情報の集合である。

空間モデルの一例として、地表面（地物）をモデル化した「数値標高モデル」を挙げることができる。数値標高モデルとは、３次元の点群データにより構成されたモデルであり、ＤＥＭ（Ｄｉｇｉｔａｌ Ｅｌｅｖａｔｉｏｎ Ｍｏｄｅｌ）やＤＳＭ（Ｄｉｇｉｔａｌ Ｓｕｒｆａｃｅ Ｍｏｄｅｌ）などが知られている。もちろん、空間モデルとしては、３次元の点群データに基づくものに限らず、２次元の点群データから成る平面メッシュのようなものでもよいし、線分を表すための２点の平面座標や、線分を定義する１点の平面座標と方向と長さといった空間情報の集合であってもよい。

空間モデルは、データベースとしてコンピュータの記憶領域などに記憶される（記憶手段）。この空間モデルのデータベースから必要な空間情報を取得して、所定の演算処理を行い、地物の特定の位置、特定の形状や大きさを求める。ここで求められたものが仮想空間モデルである。なお、前記したとおり地物には実在物（可視物と不可視物）が含まれ、すなわち実在物が仮想空間モデルとして作成される場合があるが、計算によって求めたという意味で「仮想」という語を用いており、たとえ実在物であっても空間モデルから作成されたものは仮想空間モデルと呼ぶ。

仮想空間モデルから、端末機１のモニタ１ｂに表示するための画像、すなわち仮想空間画像が作成される。カメラ１ａで撮影している場所の仮想空間画像をモニタ１ｂ上に表示すれば、目視だけでは得られない情報も同時に取得することができるので極めて有益である。このとき仮想空間画像は、モニタ１ｂ上でも実際に存在している位置に表示されることが望ましい。例えば、実際には下水管３は道路左側に埋設されているにもかかわらず、モニタ１ｂ上では下水管３Ｖ（仮想空間画像）が車道の右側に表示されたのでは、却って混乱することとなる。

さらに図２（ａ）に示すように、モニタ１ｂに表示される実空間画像は、実際に見た状態、すなわち遠近感を表現した状態で表示されている（以下、遠近感を表現した状態での表示を、「遠近表示」という。）ため、仮想空間画像も遠近表示としなければ誤解を招くおそれがある。仮に、図２（ａ）で下水管３Ｖのみモニタ１ｂの縦枠と平行に表示したとすると、下水管３Ｖは道路から外れて埋設されたと誤認されることになる。なおこれまでも、実際に撮影した「もの」に関連する情報を、モニタ１ｂ上でその「もの」が表示されている付近にタグで表示することは行われてきたが、タグなど「点」の情報とは異なり、「線」や「面」の地物を実空間画像に表示する場合は、単に位置を合わせるだけでなく、その表示方法にも工夫しなければならない。

そこで本願発明では、仮想空間画像についても、実際に撮影すれば表示されるであろう状態でモニタ１ｂに表示することとしている。つまり図２（ａ）に示す下水管３Ｖ（仮想空間画像）の場合で説明すれば、モニタ１ｂに表示される実空間画像の中において、実際に埋設されている平面位置に下水管３Ｖを表示するとともに、実空間画像のように（例えば車道や歩道のように）遠近表示するものである。

このとき、仮想モデルは実空間における空間情報（座標）しか持たないので、このままではモニタ１ｂ上のどの位置（どの画素）に表示すべきかが不明である。そのため、例えばモニタ１ｂ上で任意の座標系を設定し、仮想空間モデルが持つ実空間座標をモニタ１ｂの任意座標系に変換するなど、仮想空間モデルをモニタ１ｂ上のどの位置にどのような形状で表現すべきか定める必要がある。

また、仮想空間画像を遠近表示させるためには、実空間画像における遠近の状態を把握する必要があり、この遠近状態で設定されるモニタ１ｂ上の任意座標系と実空間での座標系との幾何学的関係を求める必要がある。実空間画像における遠近の状態は、一般に遠近法を使って把握することができる。この遠近法とは、絵画だけでなく設計図やカメラなど平面に表示する様々な分野で利用されている技術であり、近年ではコンピュータグラフィックス（ＣＧ）でも多用されている。実空間に存在する３次元のものを、２次元の平面上に立体的に（立体感を感得できるように）表現する手法が遠近法であり、この遠近法によって表現されたものは「透視図」と呼ばれる。例えば図２（ａ）の実空間画像は、一つの消失点に向けてあらゆる線が収束しているように遠近表示された透視図である。

実空間画像で表現された地物は実在物であるから当然実空間の座標を持っており、これら実在物の実空間座標がモニタ１ｂ上でどのように表示されているかを把握することによって、モニタ１ｂ上の任意座標系を定めることができる。これについては、カメラ１ａの実空間座標、カメラ１ａの姿勢、カメラ１ａの仕様（画角や焦点距離など）から光学的に求めることができる。なお、カメラ１ａの実空間座標は位置計測センサで計測した３次元座標（Ｘ，Ｙ，Ｚ）を用いることができるし、カメラ１ａの姿勢は姿勢計測センサで計測した値（ω，φ，κ）を用いることができる。

実空間画像で表現された実在物の実空間座標に基づいてモニタ１ｂ上の任意座標系を定めると、実空間座標をこの任意座標系で表すことができ、同様に、空間情報を持つ仮想空間モデルもモニタ１ｂ上の任意座標系で表すことができる。このように、仮想空間モデルをモニタ１ｂ上の任意座標系に配置し、モニタ１ｂに表示するために作成されたものが仮想空間画像である。なお仮想空間画像は、実際には、コンピュータで処理するためのデータで、モニタ１ｂ上における配置情報（どの画素に対応するか）や輝度情報（ＲＧＢなど）などのデータから成るものであるが、便宜上、モニタ１ｂで表示された結果目視できる状態となったものを仮想空間画像と呼ぶ。

（モニタでの表示）
モニタ１ｂ上の任意座標系で配置された実空間画像は遠近表示された透視図の状態となっているので、同じく、仮想空間モデルをモニタ１ｂ上の任意座標系に配置した仮想空間画像も遠近表示された透視図となる。これら遠近表示された実空間画像と遠近表示された仮想空間画像をモニタ１ｂに重畳して表示させると、図２（ａ）に示すように、仮想空間画像（下水管３Ｖ）と車道や歩道との位置関係が直感的に把握できるので極めて有益である。

ユーザが、端末機１の「表示ボタン」を操作するなど、仮想空間画像を表示する旨を端末機１に伝達すると、センサ（位置計測センサ、姿勢計測センサ）による計測値や空間モデルを基に仮想空間画像が作成され、この仮想空間画像がモニタ１ｂに表示される。仮想空間画像の作成は端末機１が行ってもよいし、端末機１と通信可能なサーバを設け、このサーバで仮想空間画像を作成させ端末機１に配信させてもよい。モニタ１ｂに表示された仮想空間画像は、次の操作（例えば、次の「表示ボタン」操作）があるまで同じものが表示される。なお、仮想空間画像のモニタ１ｂ表示は、ユーザの操作によるタイミングに限らず、センサが計測値を取得したタイミングで随時自動的に行うようにしてもよい。

仮想空間画像は、図２（ａ）のような実在物を基に作成された下水管３Ｖに限らず、図３（ａ）に示すように、用地境界線４Ｖのように概念物を基に作成することもできる。また、用地境界線に任意の幅（高さ）を持たせることにより、用地境界線を面として、すなわち図３（ｂ）に示す用地境界面５Ｖとして表示させることもできる。あるいは、空間モデルが道路の断面図を作成することのできる空間情報を備えていれば、図８に示すように道路の一部をあたかも掘削したかのように表示することもできる。このように、実空間画像の遠近表示に合わせた透視図として作成された仮想空間画像を、実空間画像と重畳して表示することができれば、現地にて端末機１をかざすだけで、用地測量を実施することなく用地境界を目視で確認できて、また実際に掘削することなく道路下を目視で確認することができるので、極めて有益である。

空間モデルは、不可視物や概念物に限らず、可視物についての空間情報を有する場合もある。可視物は、カメラ１ａで撮影され、実空間画像としてモニタ１ｂに表示されるので、空間モデルがこの可視物に関する空間情報を持つ場合、同一の可視物について実空間画像と仮想空間画像の両方がモニタ１ｂに表示されることとなる。例えば、ある建物を撮影すると、この建物の実空間画像が表示されるが、さらにこの建物の仮想空間画像が重ねて表示されると、その表示は煩雑で分かりにくい。そこで、面（あるいは面を組み合わせた）形状の仮想空間画像については、種々の表示方法を選択できるようにすると好適である。例えば、仮想空間画像にテクスチャを貼り付けて実空間画像にオーバーレイ表示する方法、仮想空間画像を半透明など透過させて表示する方法、面の外郭線のみで表示する方法、あるいは格子線からなるメッシュで表示する方法、などが挙げられる。

また、モニタ１ｂ上で実空間画像と重畳表示される仮想空間画像については、選択的に表示させることもできる。具体的には、ユーザが端末機１を操作することで、仮想空間画像の表示状態を選択すれば実空間画像と仮想空間画像がモニタ１ｂ上で重畳表示され、仮想空間画像の非表示状態を選択すればモニタ１ｂ上では実空間画像のみが表示されることとなる。つまり、ユーザの必要に応じて仮想空間画像を表示／非表示とすることができるわけである。

さらに、仮想空間画像を地物ごとに識別できるようにしておけば、地物単位で表示／非表示とすることができる。例えば、モニタ１ｂに建物（可視物）の実空間画像が表示され、さらにその建物の仮想空間画像と用地境界線の仮想空間画像が表示された状態から、建物の仮想空間画像のみを選択して非表示とすれば、用地境界線という有用な情報は残しつつ建物の把握も容易となる。

なお、一般に空間モデルは地理的に広範囲で構築されているので、モニタ１ｂで表示する範囲を大きく超えて地物の空間情報を有している。そのため、カメラ１ａの実空間座標、カメラ１ａの姿勢、カメラ１ａの仕様を基に、モニタ１ｂ上の任意座標系を光学的に求める際に、同時に空間モデルのうち仮想空間画像として作成される範囲（つまり描画範囲）が抽出される。もちろんこれは地物単位で抽出することを意味するものではなく、地物の一部がモニタ１ｂに収まらない場合にこの地物のうちどこまでを描画すべきかを抽出するものである。

地物あるいは場所（位置）と関連付いた他の情報（データ）をデータベースとして備えておけば、モニタ１ｂに表示される範囲（実空間における範囲）に関連する諸情報を表示することができる。この諸情報としては、例えば下水管３の詳細図や縦断図といった図面、用地の所有者や連絡先などの属性情報、などが挙げられる。図４は、下水管３Ｖに関する平面図６が表示されたモニタ１ｂを示す図である。この図に示すように、仮想空間画像（下水管３Ｖや用地境界線４Ｖなど）に関する図面や属性情報は、実空間画像や仮想空間画像にオーバーレイ表示とすることもできるし、あるいは別ウィンドウとして表示することもできるし、画面を分割して表示することもできる。また、仮想空間画像に関する図面や属性情報は、モニタ１ｂ上で表示させるか又は非表示とするかを選択できることが望ましい。

（仮想空間画像の表示位置調整）
前記したように、仮想空間画像は、空間情報やカメラ１ａに関する計測値などに基づいて空間演算処理を行い、モニタ１ｂ上での表示位置が決定される。しかしながら、位置計測センサや姿勢計測センサの計測精度によって、あるいは空間モデルが備える空間情報の位置精度によっては、モニタ１ｂ上の正しい位置に表示されないこともある。不可視物や概念物からなる仮想空間画像だけがモニタ１ｂに表示されただけでは、その表示位置が正しいか否かは直ちに判断できないが、可視物からなる仮想空間画像をモニタ１ｂに表示することにより、すなわち同一の可視物について実空間画像と仮想空間画像を同時に表示させることにより、仮想空間画像の表示位置の妥当性を判断することができる。

図５は、カメラ１ａで撮影した実空間画像と、仮想空間画像であるセンターライン２Ｖと下水管３Ｖを、重畳表示したモニタ１ｂを示す図である。この図に示すように、可視物であるセンターライン２の実空間画像（センターライン２Ｒ）と仮想空間画像（センターライン２Ｖ）を同時に表示させると、両者の「ずれ」からセンターライン２Ｖの表示位置が正しくないことが直ちに理解できる。

仮想空間画像がモニタ１ｂ上の正しい位置で表示されていないと、地下埋設物や用地境界の正しい位置を把握できない結果となるので、仮想空間画像を正しい位置に調整できる手段を設けることが望ましい。この表示位置調整機能としては、ユーザ操作によって調整する手段と、自動的に調整される手段の二つの手段が挙げられる。以下この二つの手段について、センターライン２に関する実空間画像（センターライン２Ｒ）と仮想空間画像（センターライン２Ｖ）の位置合わせを例に説明しているが、モニタ１ｂに表示されたものであればセンターライン２に限らず他のあらゆる地物で位置合わせを行うことができることはいうまでもない。

ユーザ操作によって調整する手段は、ユーザが画面を確認しながら仮想空間画像を正しい位置に表示させる方法であり、実空間画像を移動させる方法と、仮想空間画像を移動させる方法がある。

実空間画像を移動させる方法とは、モニタ１ｂに仮想空間画像を表示させた状態で、ユーザが画面を確認しながら、端末機１を移動させるものである。図５に示すように、実空間画像に対して仮想空間画像が平行移動したように「ずれ」が生じている場合は、端末機１もその姿勢のまま左右上下に移動させる（ユーザ自身が移動してもよい）。図６に示すように、実空間画像に対して仮想空間画像が回転移動したように「ずれ」が生じている場合は、端末機１をその位置のまま姿勢を変えていく。なおここでいう姿勢とは、前記したように３軸回りの回転（ω，φ，κ）のことを意味し、図６の平面内で回転（ロール）させてもよいし、図６内の横軸回りに回転（ピッチ）させてもよいし、図６内の縦軸回りに回転（ヨー）させてもよい。このように端末機１を左右上下に移動させ、又は端末機１の姿勢を変更し、あるいは必要に応じてこれらを組み合わせながら、実空間画像の表示位置を仮想空間画像の表示位置に合わせ、仮想空間画像を正しい位置に表示させる。

実空間画像を移動させる方法に対して仮想空間画像を移動させる方法とは、モニタ１ｂに仮想空間画像を表示させた状態で、ユーザが画面を確認しながら、モニタ１ｂ上で仮想空間画像を移動させるものであり、仮想空間画像を移動させるには種々の方法が挙げられる。なお、仮想空間画像の移動とは、新たな条件で再計算することで仮想空間画像を作成し、これを再表示することである。

仮想空間画像を移動させる第１の方法は、モニタ１ｂ上の仮想空間画像を指やタッチペン等で指定し、そのままドラッグで所定位置まで移動させるものである。例えば、図５では可視物であるセンターライン２について実空間画像（センターライン２Ｒ）と仮想空間画像（センターライン２Ｖ）が重畳表示されており、両者の「ずれ」から仮想空間画像が正しく表示されていないことが分かる。そこでタッチペンなどを用いて、センターライン２Ｖを指定し、そのままドラッグによりセンターライン２Ｒの位置までセンターライン２Ｖを移動させる。実空間画像であるセンターライン２Ｒと仮想空間画像であるセンターライン２Ｖの表示位置が重なれば、仮想空間画像は正しい位置で表示されたと考えることができる。なお、ドラッグに代えてキーボードの矢印キーを利用して仮想空間画像を移動させることもできる。

仮想空間画像を移動させる第２の方法は、モニタ１ｂ上の仮想空間画像を形成する点、線、面などの要素（以下、「形成要素」という。）と、これに相当する実空間画像の形成要素を指定するものである。例えば図７で説明すると、タッチペンなどを用いてセンターライン２Ｖの形成要素である２点（Ｐｖ１とＰｖ２）を指定し、さらにセンターライン２Ｒの形成要素である２点（Ｐｒ１とＰｒ２）を指定する。このとき、Ｐｖ１とＰｒ１が対応し、Ｐｖ２とＰｒ２が対応していることが認識されるよう、まずはＰｖ１、Ｐｒ１の順で指定し、次にＰｖ２、Ｐｒ２の順で指定する。これによって、仮想空間画像が再計算され、モニタ１ｂ上の正しい位置に仮想空間画像が表示される。なお、指定する形成要素は、点に限らず線や面でも構わないし、３点以上の形成要素を指定することもできる。

仮想空間画像を移動させる第３の方法は、端末機１の移動や回転によってモニタ１ｂ上の仮想空間画像を移動させるものである。この場合、実空間画像をライブビューの状態から、一旦静止画の状態にする必要がある。例えば図６で説明すると、端末機１の所定操作（例えば、モニタ１ｂ上のボタン操作）を行うことで、実空間画像を静止画状態とし、その状態で、端末機１を左右上下に移動させ、あるいは端末機１の姿勢を変更する（必要に応じてこれらを組み合わせる）。端末機１を左右上下に移動させる方法や、端末機１の姿勢を変更する方法は、前記した「実空間画像を移動させる方法」と同様である。この端末機１の移動量や変更した傾きの量を、端末機１のセンサが計測し、この計測値に基づいて再計算により仮想空間画像が作成され、この仮想空間画像がモニタ１ｂに表示される。この場合、端末機１の移動や姿勢変更を行った後に、ユーザが操作（例えば、モニタ１ｂ上の「再描画ボタン」操作）することで仮想空間画像を移動させてもよいし、端末機１の移動や姿勢変更に伴いセンサが計測値を取得したタイミングで随時自動的に仮想空間画像を移動させてもよい。この一連の操作を、仮想空間画像が正しい位置に表示されるまで（実空間画像と仮想空間画像の表示位置が合うまで）実施し、実空間画像における仮想空間画像の正しい位置が確認できれば、実空間画像の静止画状態を解除する。

なお、上記した仮想空間画像を移動させる方法（第１〜第３）は、それぞれ単独で用いることもできるし、２以上を組み合わせて用いることもできる。また、仮想空間画像を移動させる方法（第１〜第３）では、移動させる仮想空間画像（例えばセンターライン２Ｖ）に連動して、その他の仮想空間画像（例えば下水管３Ｖ）も移動する。これによって、モニタ１ｂ上の仮想空間画像はすべて正しい位置で表示されると考えることができる。

一方、自動的に調整される手段は、コンピュータによって処理される方法である。この場合、コンピュータが実空間画像から画像認識により特徴部を抽出し、さらにこの特徴部の形状や画像に基づいて特徴部の部分的な特徴（形状上の特徴部分や、画像上の特徴部分）を形状特徴部として抽出し、この形状特徴部を基準として仮想空間画像（可視物）を対象にマッチング処理（パターンマッチングなど）を行い、マッチング処理で検出された仮想空間画像と実空間画像の特徴部の位置が合うように、仮想空間画像全体をモニタ１ｂに表示する。図５に基づいて具体的に説明する。モニタ１ｂに表示された実空間画像から画像認識によりセンターライン２Ｒを抽出する。この画像認識は、画像上の輝度（あるいは色相や彩度や明度）の相違から自動判別する手法など、公知の技術を用いて行うことができる。次に、センターライン２Ｒの外縁（エッジ）からなる形状、あるいはセンターライン２Ｒ全体を表示する画像（輝度やＲＧＢなど）を基に形状特徴部を抽出し、この基準となるセンターライン２Ｒの形状特徴部に照合するもの（センターライン２Ｖ）を、モニタ１ｂ上に表示された仮想空間画像（可視物）の中から検出する。なおここで行う照合判断は、完全に一致する場合に限らず、所定の条件（閾値）を満足する場合も含まれる。そしてセンターライン２Ｒとセンターライン２Ｖとのモニタ１ｂ上の表示位置の相違から移動量を計算し、この移動量に基づいて仮想空間画像を正しい位置（センターライン２Ｒとセンターライン２Ｖが重なる位置）に再表示させる。もちろんこのときも、計算された移動量に基づいて表示位置を変更するのは、センターライン２Ｖに限らずモニタ１ｂ上のすべて仮想空間画像が対象となる。

以上説明したように、同一の可視物について実空間画像と仮想空間画像を重畳表示させると、仮想空間画像の表示位置の正誤を判断することができるとともに、その位置を調整することができる。なお、ユーザ操作によって仮想空間画像を正しい表示位置に調整する場合、表示位置調整中は可視物の仮想空間画像を表示しておく必要があるが、表示位置調整後にはその可視物の仮想空間画像を非表示とし（表示制御手段）、その可視物を視認しやすくすることもできる。また、仮想空間画像が正しい表示位置に調整された状態で、実空間画像をライブビューの状態から静止画の状態とすることもできる。これにより、手ぶれ等による画面の見づらさを解消することができる。

（画像合成装置）
本願発明の画像合成装置は、これまで説明した技術を備えたものであり、具体的には、カメラ１ａ（画像取得手段）とモニタ１ｂ（表示画面）と計測手段（ＧＰＳや６軸センサなど）を有する端末機１と、空間モデルとこれを記憶する記憶手段と、空間モデルの空間情報から仮想空間モデルを作成しさらに仮想空間画像を作成する画像作成手段と、仮想空間画像をモニタ１ｂ上の実空間画像に重畳表示する表示手段を備えている。また、仮想空間画像をモニタ１ｂ上で表示とするか非表示とするかを選択する表示制御手段を備えることもできるし、仮想空間画像を正しい位置に表示させる表示位置調整手段（ユーザ操作による調整や、自動調整）を備えることもできる。さらに、表示手段によってモニタ１ｂ上に表示された仮想空間画像に関連する図面や属性情報を表示させることもできるし、表示制御手段によってこれら図面や属性情報の表示／非表示を選択させることもできる。なお、これらの手段が全て収められた端末機１を本願発明の画像合成装置とすることもできるが、記憶手段や画像作成手段については、端末機１とは異なる筺体に収容してもよい。

（画像合成プログラム）
本願発明の画像合成プログラムは、これまで説明した技術をコンピュータに実行させるものであり、具体的には、空間モデルのデータベースから所定の空間情報を検索して読み込むモデル読み込み機能と、ＧＰＳや６軸センサなど計測手段が計測した値を読み込む計測値読み込み機能と、空間情報や計測値から仮想空間モデルを作成しさらに仮想空間画像を作成する画像作成機能と、仮想空間画像をモニタ１ｂ上の実空間画像に重畳表示させる表示機能を備えている。また、仮想空間画像をモニタ１ｂ上で表示とするか非表示とするかを選択する表示制御機能を備えることもできるし、仮想空間画像を正しい位置に表示させる表示位置調整機能（ユーザ操作による調整や、自動調整）を備えることもできる。

表示位置調整機能を自動調整とした場合には、実空間画像から特徴部を抽出するとともにこの特徴部から形状特徴部を抽出する特徴部抽出機能と、この形状特徴部を基準として可視物の仮想空間画像を対象にマッチング処理を行って照合部分を検出する照合部分検出機能と、形状特徴部と照合部分の表示画像上の位置が一致（又は略一致）するように、仮想空間画像の表示位置を調整する位置調整機能と、を備える。

さらに、表示機能によってモニタ１ｂ上に表示された仮想空間画像に関連する図面や属性情報を検索して表示させることもできるし、表示制御機能によってこれら図面や属性情報の表示／非表示を選択させることもできる。

なお、ここで説明した機能全てを１つのプログラムとして構成する必要はなく（もちろん１つのプログラムでもよい）、機能を選択してホストコンピュータとクライアントコンピュータに分散配置するなどの形式をとってもよい。

（画像合成システム）
本願発明の画像合成システムは、これまで説明した技術を備えたものであり、具体的には、１又は２以上の端末機１とサーバを備えたものである。全ての端末機１はサーバと通信可能に接続されており、その通信回線は有線又は無線が用いられる。

端末機１には、カメラ１ａ（画像取得手段）と、モニタ１ｂ（表示画面）と、ＧＰＳや６軸センサなどの計測手段と、仮想空間画像をモニタ１ｂに表示させる表示手段と、仮想空間画像の表示／非表示を行う表示制御手段が備えられており、さらにサーバと通信を行うための通信手段が備えられている。

一方、サーバには、データベースとしての空間モデルとこれを記憶する記憶手段と、画像作成手段と、端末機１と通信を行うための通信手段が備えられている。なお、記憶手段と画像作成手段は、同一のサーバに備えられる必要はなく（もちろん１つのサーバでもよい）、記憶手段はデータベースサーバに備えることとし、画像作成手段はアプリケーションサーバに備えることとするなど、それぞれ別のサーバに備えるようにしてもよい。また、空間モデルを記憶する記憶手段（他の記憶手段でもよい）に、仮想空間画像に関する図又は／及び属性情報を記憶させることもできる。

仮想空間画像の表示位置を調整する表示位置調整手段は、端末機１に備えることもできるし、サーバに備えることもできるが、ユーザ操作によって調整する場合は端末機１に備え、自動的に調整する場合はサーバに備えることが望ましい。

本願発明の画像合成システムによって、仮想空間画像がモニタ１ｂに重畳表示されるまでの流れについて説明する。
（１）ユーザが端末機１のカメラ１ａによって目の前の光景（実空間）を撮影する。この場合の撮影とは、カメラ１ａを所定の方向にかざしてモニタ１ｂにライブビューを表示させる行為のことであり、必ずしもシャッターを操作することに限られない。
（２）ユーザが撮影すると、これと同時に計測手段によってカメラ１ａの位置と姿勢が計測される。
（３）ユーザが、端末機１の通信手段を利用してサーバに仮想空間画像の表示を要求する。この要求手段は、端末機１のキーボードを操作するなど公知の技術を利用できる。
（４）ユーザの要求により、端末機１からサーバに必要な情報が通信回線を介して伝送される。必要な情報とは、要求情報（仮想空間画像を要求する旨）、計測手段で計測されたカメラ１ａの位置座標や姿勢（計測値）、が含まれる。必要に応じて、仮想空間画像に関する図又は／及び属性情報を伝送してほしい旨の要求情報も送られる。
（５）端末機１から必要な情報が送られたサーバでは、計測値やカメラ仕様（画角や焦点距離など）に基づいて、当該ユーザの端末機１に表示する描画範囲を計算する。このとき、カメラ仕様については、直接端末機１から伝送させてもよいし、サーバで種々のカメラ仕様を記憶しておき、当該端末機の機種（機種情報は伝送させる）に応じたカメラ仕様を読み込んでもよい。
（６）またサーバでは、空間モデルのデータベースから描画範囲内にある空間情報を検索し、これについて仮想空間モデルを作成する。さらにこの仮想空間モデルを基に、遠近法によって遠近表示される透視図である仮想空間画像を作成する。この一連の処理は、計測値と空間モデルの空間情報に基づいて、画像作成機能によって実行される。
（７）サーバで作成された仮想空間画像は、サーバの通信手段によって端末機１に伝送され、これを端末機１の通信手段で受信すると、表示手段によってモニタ１ｂに仮想空間画像を表示する。
（８）表示位置調整手段が端末機１に備えられた場合は、端末機１のモニタ１ｂに表示された後に、ユーザが画面を確認しながら操作を行い、仮想空間画像が正しい表示位置となるよう調整する。一方、表示制御機能がサーバに備えられ、かつこれを自動調整によるものとした場合には、端末機１から実空間画像を伝送させ、この実空間画像からプログラム（特徴部抽出機能）によって特徴部と形状特徴部を抽出するとともに、プログラム（照合部分検出機能）によって仮想空間画像の中から照合部分を検出し、さらにプログラム（位置調整機能）によって仮想空間画像の表示位置を調整し、表示位置が調整された仮想空間画像が端末機１に伝送されてモニタ１ｂに表示される。

本願発明の画像合成システムは、道路下の地下埋設物管理、建築物の壁面内に収容された配線・配管類の管理、土地の境界や村市町村界の現地確認、未施工の道路やマンションなど計画中の構造物についての住民説明、土砂災害警戒区域や地すべり指定地などの危険区域の現地確認で利用することができるほか、カーナビゲーション、広告、ゲームなど多岐の用途にわたって応用することができる。

１ 端末機
１ａ カメラ
１ｂ モニタ
２ センターライン
２Ｒ （実空間画像の）センターライン
２Ｖ （仮想空間画像の）センターライン
３ 下水管
３Ｖ （仮想空間画像の）下水管
４Ｖ （仮想空間画像の）用地境界線
５Ｖ （仮想空間画像の）用地境界面
６ 下水管に関する平面図
Ａ 光ファイバーケーブル
Ｂ 下水管
Ｃ （地下埋設物の平面配置を示す）白線

Claims (10)

1. 現実の空間を撮像した実空間画像に、空間情報を有する空間モデルに基づいて作成される仮想空間画像を、重畳して表示画面に表示する画像合成装置であって、
   前記実空間画像を取得する画像取得手段と、
   前記画像取得手段の位置及び姿勢を計測する計測手段と、
   目視可能な可視物の空間情報と、目視できない不可視物の空間情報と、を含む前記空間モデルを記憶する記憶手段と、
   前記計測手段による計測値と前記空間モデルとに基づいて演算処理を行い、前記表示画面で遠近表示された透視図となるように、前記可視物の仮想空間画像と前記不可視物の仮想空間画像を作成する画像作成手段と、
   遠近表示された前記実空間画像と、遠近表示された前記仮想空間画像と、を前記表示画面に重畳して表示させる表示手段と、
   前記可視物の仮想空間画像と、前記不可視物の仮想空間画像と、を選択して表示又は非表示させる表示制御手段と、を備えたことを特徴とする画像合成装置。
2. 請求項１記載の画像合成装置において、
   同一の目視可能な可視物についての仮想空間画像と実空間画像との表示位置が、表示画面上で一致しない場合に、前記仮想空間画像と前記実空間画像の表示位置が前記表示画面上で一致又は略一致するように、前記仮想空間画像を移動させる表示位置調整手段を、備えたことを特徴とする画像合成装置。
3. 請求項２記載の画像合成装置において、
   表示位置調整手段が、実空間画像のうちの画像の特徴部に基づいて形状特徴部を自動抽出するとともに、この形状特徴部と照合する照合部分を可視物の仮想空間画像から自動検出し、形状特徴部と照合部分の表示画像上の位置が一致又は略一致するように、仮想空間画像の表示位置を自動的に調整することを特徴とする画像合成装置。
4. 請求項１乃至請求項３のいずれかに記載の画像合成装置において、
   表示手段が、仮想空間画像に関する図又は／及び属性情報を表示するものであり、
   表示制御手段が、前記図又は／及び属性情報を、表示又は非表示させるものであることを特徴とする画像合成装置。
5. 現実の空間を撮像した実空間画像に、空間モデルに基づいて作成される仮想空間画像を、重畳して表示画面に表示させる画像合成プログラムであって、
   目視可能な可視物の空間情報と目視できない不可視物の空間情報とを含む空間モデルを記憶した記憶手段から、この空間モデルを取得するモデル読み込み機能と、
   計測により得た画像取得手段の位置及び姿勢を取得する計測値読み込み機能と、
   前記画像取得手段の位置及び姿勢と前記空間モデルとに基づいて、前記表示画面で遠近表示された透視図となるように、前記可視物の仮想空間画像と前記不可視物の仮想空間画像とを作成する画像作成機能と、
   遠近表示された前記実空間画像と、遠近表示された前記仮想空間画像と、を前記表示画面に重畳して表示させる表示機能と、
   前記可視物の仮想空間画像と、前記不可視物の仮想空間画像と、を選択して表示又は非表示させる表示制御機能と、
   同一の可視物についての前記仮想空間画像と前記実空間画像との表示位置が、表示画面上で一致しない場合に、前記仮想空間画像と前記実空間画像の表示位置が前記で一致又は略一致するように、前記仮想空間画像を移動させる表示位置調整機能と、をコンピュータに実行させることを特徴とする画像合成プログラム。
6. 請求項５記載の画像合成プログラムにおいて、
   表示位置調整機能が、
   実空間画像のうちの画像の特徴部に基づいて、形状特徴部を抽出する特徴部抽出機能と、
   前記形状特徴部と照合する照合部分を、可視物の仮想空間画像から検出する照合部分検出機能と、
   前記形状特徴部と前記照合部分の表示画像上の位置が一致又は略一致するように、仮想空間画像の表示位置を調整する位置調整機能と、を備えたことを特徴とする画像合成プログラム。
7. 請求項５又は請求項６記載の画像合成プログラムにおいて、
   表示機能が、仮想空間画像に関する図又は／及び属性情報を表示するものであり、
   表示制御機能が、前記図又は／及び属性情報を、表示又は非表示させるものであることを特徴とする画像合成プログラム。
8. 現実の空間を撮像した実空間画像に、空間モデルに基づいて作成される仮想空間画像を、重畳して表示画面に表示する画像合成システムであって、
   サーバと、このサーバと無線又は有線の通信回線で接続される１又は２以上の端末機と、で構成され、
   前記サーバは、目視可能な可視物の空間情報と目視できない不可視物の空間情報とを含む空間モデルを記憶する記憶手段と、前記端末機の表示画面で遠近表示された透視図となるように前記仮想空間画像を作成する画像作成手段と、通信手段と、を備え、
   前記端末機は、前記実空間画像を取得する画像取得手段と、この画像取得手段の位置及び姿勢を計測する計測手段と、前記実空間画像及び前記仮想空間画像を表示画面に表示させる表示手段と、前記可視物の仮想空間画像と前記不可視物の仮想空間画像とを選択して表示又は非表示させる表示制御手段と、通信手段と、を備え、
   前記端末機のユーザが前記サーバに要求すると、当該端末機の計測手段による計測値がサーバに伝送され、
   前記サーバは、前記端末機のユーザの求めに応じて、当該端末機の計測値と前記空間モデルとに基づき、前記可視物の仮想空間画像と前記不可視物の仮想空間画像とを作成するとともに、これらの仮想空間画像を当該端末機に伝送し、
   前記仮想空間画像を受信した端末機の表示画面では、遠近表示された前記実空間画像と遠近表示された前記仮想空間画像とが重畳して表示され、
   同一の可視物についての仮想空間画像と実空間画像との表示位置が、前記表示画面上で一致しない場合に、前記端末機が備える表示位置調整手段によって、前記仮想空間画像と前記実空間画像の表示位置が表示画面上で一致又は略一致するように、前記仮想空間画像を移動させ得ることを特徴とする画像合成システム。
9. 現実の空間を撮像した実空間画像に、空間モデルに基づいて作成される仮想空間画像を、重畳して表示画面に表示する画像合成システムであって、
   サーバと、このサーバと無線又は有線の通信回線で接続される１又は２以上の端末機と、で構成され、
   前記サーバは、目視可能な可視物の空間情報と目視できない不可視物の空間情報とを含む空間モデルを記憶する記憶手段と、前記端末機の表示画面で遠近表示された透視図となるように前記仮想空間画像を作成する画像作成手段と、通信手段と、を備え、
   前記端末機は、前記実空間画像を取得する画像取得手段と、この画像取得手段の位置及び姿勢を計測する計測手段と、前記実空間画像及び前記仮想空間画像を表示画面に表示させる表示手段と、前記可視物の仮想空間画像と前記不可視物の仮想空間画像とを選択して表示又は非表示させる表示制御手段と、通信手段と、を備え、
   前記端末機のユーザが前記サーバに要求すると、当該端末機の計測手段による計測値と、当該端末の画像取得手段による実空間画像と、がサーバに伝送され、
   前記サーバは、前記端末機のユーザの求めに応じて、当該端末機の計測値と前記空間モデルとに基づき、前記可視物の仮想空間画像と前記不可視物の仮想空間画像とを作成し、
   さらに前記サーバは、同一の可視物についての前記仮想空間画像と前記実空間画像との表示位置が前記表示画面上で一致しない場合に、実空間画像のうちの画像の特徴部に基づいて形状特徴部を自動抽出するとともに、この形状特徴部と照合する照合部分を可視物の仮想空間画像から自動検出し、形状特徴部と照合部分の表示画像上の位置が一致又は略一致するように、仮想空間画像の表示位置を自動的に調整したうえで、可視物の仮想空間画像と不可視物の仮想空間画像とを前記端末機に伝送し、
   仮想空間画像を受信した端末機の表示画面では、遠近表示された前記実空間画像と遠近表示された前記仮想空間画像とが重畳して表示されることを特徴とする画像合成システム。
10. 請求項８又は請求項９記載の画像合成システムにおいて、
    表示手段が、仮想空間画像に関する図又は／及び属性情報を表示するものであり、
    表示制御手段が、前記図又は／及び属性情報を、表示又は非表示させるものであることを特徴とする画像合成システム。

Images