JP2009015730A - 立体メジャー表示機能付き画像表示システム及び立体メジャー表示機能付き画像表示のプログラム - Google Patents

Abstract

【課題】 道路、河川、水路、管路内の３６０度の全周囲画像上で瞬時に、かつ容易に幅、高さ、奥行きを判断できる立体メジャーを周囲画像に表示する立体メジャー表示機能付き画像表示装置を得る。
【解決手段】 立体メジャー表示機能付き画像表示装置は、３６０度の全周囲画像を記憶したデータベース１０と、カメラ高さ等を記憶したデータベース１１と、全周囲画像情報取出部１３と、平面画像生成部１５と、全周画像位置算出部１６と、立体メジャー出力部１７と、立体メジャー生成部１８と、表示制御部１９と、表示部２０等を備えて、任意地点における指定方向の全周囲画像（３６０度）上に立体メジャーを重ね表示する。
【選択図】 図１

Description

本発明は、移動体等から得られた全周囲画像データを利用したカメラパラメータ画像に立体メジャーを表示する画像表示システムに関する。

一般に、写真画像から道路幅を計測する場合は、写真上の道幅をメジャーで計測し、この計測値を写真の尺度で乗算して求める。

また、道路というのは交差点があったり、道幅も一様ではないし、このため必要と思われる個所の写真を複数撮影して、それぞれの写真の道幅を計測していた。

一方、道路図面を作成する際には、現場での複数箇所の測定を行い、この測定結果に基づいて図面を作成する。

しかしながら、現場での測定には非常に時間がかかると共に経費がかかる。このため、特許文献１は、全方位カメラを用いて広範囲画像を撮影し、得られた画像を演算処理して、道路状況に応じた現場のイラスト図をより容易かつ正確に自動作成している。
特願２００５−３２７２２０号公報また、写真内に写っている地物の高さ幅等を計測する方法として、２枚もしくは、それ以上の写真を用いて三角測量で計測する写真計測システムがある。写真計測は、フイルム面やＣＣＤ面に投影された像と被写体との間の幾何学的関係から被写体の位置や形状に関する情報を取得する技術であり、被写体とレンズ中心、フイルム面やＣＣＤ面上の像の３点が同一線上にあるという共線条件を用いる。ただし、１台のカメラで撮影した写真から被写体の奥行きを含む３次元情報を取得することは、特殊な条件を与えないかぎり不可能である。そこで、異なる２箇所の位置から撮影した２枚１組の写真からステレオモデルを構成し、被写体を計測する手法もある。

しかしながら、写真画像から道路の幅、奥行き、電線の高さ等を計測するには手作業であるから時間もかかる。これを自動的に行なう一つの手法としてステレオ写真で測量する場合は以下の問題がある。

測量を行なうためには、撮影した画像間の相対位置関係や絶対位置関係を予め決定する前処理（相互標定・絶対標定）が必要である。

また、相互標定・絶対標定に置き換わる方法として、データ取得時に位置と姿勢とを精密に計測する方法（直接定位）があるが、高価な計測装置（ＧＰＳ/ＩＭＵ）が必要になる。

また、極力１枚の画像を用いて簡易に計測を行なうことが出来ることが必要である。さらに、電線の高さ等を計測しにくい。

また、ステレオ写真の計測によって道路幅、電柱の高さ等を自動計測させたとしても、写真画像上から道幅、道路の奥行き、地物の高さ等が容易にかつ瞬時に把握できなければ意味がない。

一方、近年は特許文献１に示すように３６０度の全周囲画像を撮影可能なカメラで計測するものもある。

しかしながら、特許文献１は交差点における全周囲画像を撮影し、この全周囲画像において交差点形状を線で描画するもので、道路幅、奥行き、高さ等を計測するものではない。

本発明は以上の課題を解決するためになされたもので、道路、河川、水路、管路内の画像（このましくは全周囲画像）上で瞬時に、かつ容易に幅、高さ、奥行きを判断できる立体メジャー表示機能付き画像表示装置を得ることを目的とする。

本発明は、撮影地点の全周囲画像を、指定の撮影方向および画角で撮影したように生成したカメラパラメータ指定表示画像を画面に表示させ、このカメラ指定表示画像上に立体メジャーを表示する立体メジャー表示機能付き画像表示システムである。

左右の側面及び底面をメッシュで分割して構成し、当該立体メジャーの底面幅、側面の高さ、長さが定義された立体メジャーを記憶した三次元空間メモリと、
前記立体メジャー記憶手段の前記立体メジャーの内部を、任意の方向で見たときの部分を、前記カメラパラメータ指定表示画像上に重ねて三次元的に表示する立体メジャー重ね画像表示手段とを備えたことを要旨とする。

本発明は、撮影地点の全周囲画像を、指定の撮影方向および画角で撮影したように生成したカメラパラメータ指定表示画像を画面に表示させ、このカメラ指定表示画像上に立体メジャーを表示する立体メジャー表示機能付き画像表示のプログラムである。

コンピュータが、
左右の側面及び底面をメッシュで分割して構成し、当該立体メジャーの底面幅、側面の高さ、長さが定義された立体メジャーを記憶した三次元空間メモリを備え、
前記コンピュータに、
前記立体メジャー記憶手段の前記立体メジャーの内部を、任意の方向で見たときの部分を、前記カメラパラメータ指定表示画像上に重ねて三次元的に表示する立体メジャー重ね画像表示手段
としての機能を実行させるための立体メジャー表示機能付き画像表示のプログラムであることを要旨とする。

以上のように本発明によれば、道路画像、河川画像等の３６０度の周囲画像に対して、立体メジャーを重ね表示するので、これから進む予定の道路幅又は河川幅で自分の移動体が通過できるかが一目で分かる。

また、立体メジャーは、2点のポイントを指定して生成されるので、道路幅及び進行方向に応じた形状の立体メジャーを生成できる。

さらに、360度の全周囲画像に立体メジャーを生成しているので、進行方向と逆方向の幅、高さ、奥行きを見たいときには、直ちにこの逆方向の立体メジャーが表示される。

立体メジャーを表示させる画像は、道路、航路、トンネル等でもよいが、本実施の形態では道路として説明する。

＜実施の形態１＞
図１は実施の形態１の立体メジャー表示機能付き画像表示装置の概略構成図である。

図１に示すように、立体メジャー表示機能付き画像表示装置は、３６０度の全周囲画像とその属性情報を記憶したデータベース１０と、全周囲画像情報取出部１３と、指定位置読込部１４と、平面画像生成部１５と、全周画像位置算出部１６と、立体メジャー出力部１７と、立体メジャー生成部１８と、表示制御部１９と、表示部２０と、更新・更新停止指示部２１等を備えて、図２に示すように、任意地点における全周囲画像（３６０度）に対してカメラ画角の画像を取り出し、この画像上に立体メジャーをＣＧ合成表示する。

前述のデータベース１０は、車輌に全方位撮影機能付きカメラを搭載して撮影した全周囲画像（３６０度画像：パノラマ画像ともいう）ファイルと、各画像ファイルの画像ファイル属性情報等からなる。

画像ファイル属性情報は例えば次のものが含まれる。

・ 画像取得座標（各フレームの緯度経度）
・ 画像取得方位（画像中心の方位）
・ カメラ高さ
全周囲画像情報取出部１３は、指定位置読込部１４からの画像取得座標に該当する全周囲画像及びこの画像に関連する関連情報を取り出してメモリ１１、１２に記憶する。

指定位置読込部１４は、図３に示すように画面に地図（画像取得座標）が表示されているとき、この地図上の任意の点（▲点）が指定されると、この座標を全周囲画像読出部１３に出力する。

また、画面の地図から任意の点を指定するのではなく、撮影ポイントの名称、座標等を直接入力するようにしてもよい。

メモリ１２には、指定位置の全周囲画像が記憶され、メモリ１１には、画像取得座標（フレームの緯度経度）、画像取得方位（画像中心の方位）、カメラ高さ等が記憶される。

平面画像生成部１５は、メモリ１２の全周囲画像（正距投影図（縦が鉛直角、横が水平角に線形に投影される図法））を三次元空間メモリ２２の球面に貼り付け、この球面の中心（撮影中心）からユーザが指定するカメラパラメータ（カメラの向き・焦点距離（画角））で撮影した画像を表示制御部１９に出力する。この画像をカメラパラメータ指定表示画像という。

また、平面画像生成部１５は、後述する立体メジャーをカメラパラメータ指定表示画像にＣＧ合成して表示制御部１９に出力する。この画像を単に合成画像と称する。

さらに、平面画像生成部１５は、球面の中心から立体メジャーの直線Ｗｉを基準にして、この直線Ｗｉから立体メジャーの内部を指定されたカメラの向き、画角で見たときの立体メジャーの部分をＣＧ合成する。

全周囲画像位置算出部１６は、表示部２０のカメラパラメータ指定表示画像において、マウスによってカーソル位置が指定されると、このカーソルの画像上の位置を初めのポイントｈ１として読み込み、このポイントｈ１に対応する全周囲画像の位置ｐ１を求め、この位置Ｈｐ（Ｘ、Ｙ、Ｚ）をメモリ１９に記憶する。また、ポイントｈ１の指定があって、マウスによってカーソルが移動させられて次の位置が指定されると、次のポイントｈ２の確定と判断し、このポイントｈ２に対応する全周囲画像の位置ｐ２を求めてメモリ１９に記憶する。

立体メジャー生成部１８は、図８に示す立体メジャーを表示部２０のカメラパラメータ指定表示画像に重畳表示させるために、この立体メジャーの一メッシュあたりのメッシュ幅ＤＷ、立体メジャー長さLM、立体メジャーの高さHM、立体メッシュの底面の一メッシュあたりの幅DW、立体メッシュの底面の一メッシュあたりの長さDL、立体メッシュの側面の一メッシュあたりの高さDHが入力されると、これらのデータを内部に取り込む。

そして、メモリ１９に全周囲画像の位置ｐ１、ｐ２（以下拘束点ｐ１、ｐ２という）の拘束点ｐ１とｐ２とを結ぶ直線Ｗｉを生成し、この直線Ｗｉを含む鉛直面Ｐを対称面になるようにした立体メジャーをメモリ２０に生成する。

メモリ２０は、メモリ２２と同様な３次元空間メモリであり、例えば図４（ａ）に示すように、３軸の座標系を有し、拘束点ｐ１を原点に定め、拘束点ｐ２を３軸の座標系に定義し、このｐ１とｐ２とを結ぶ直線ｗｉを含む鉛直面Ｐを対称面になるようにした立体メジャーを生成する。

更新・更新停止指示部２１は、カメラパラメータ指定表示画像上のポイントｈ１（カーソル）が指定され（マウスクリック）、ポイントｈ２が確定とされ（マウスクリック）ないで、カーソルが移動されている間は、次のポイント未確定とし、立体メジャー生成部１８に対して立体メジャー更新指示を出力する。

また、ポイントｈ２が確定とされたときは、立体メジャー生成部１８に対して立体メジャーの生成を停止させる。

すなわち、立体メジャー生成部１８は、カーソルの動きによって変更される拘束点ｐ２の変更にしたがってメモリ２２の立体メジャーを生成しなおす。この動作により、立体メジャーを回転させることができる。すなわち、図４（ｂ）に示すように、拘束点ｐ２を結ぶＸ軸に対しての角度βが回転角度となり、この角度βが鉛直面Ｐを生成していく方向となる。

立体メジャー出力部１７は、メモリ２２の立体メジャーを読み込み、これを平面画像生成部１５に出力する。これを受けて平面画像生成部はカメラパラメータ指定表示画像上に立体メジャーを重ね表示させる。

上記のように構成された立体メジャー表示機能付き画像表示装置について図５のフローチャートを用いて以下に説明する。立体メジャーは、実撮影画像内に重畳表示される仮想的なメッシュである。

典型的な立体メジャーの例を下に示す。立体メジャーは仮想道路面に幅WM,長さLMの矩形の底面を持ち、その矩形の両側に鉛直の長さLM高さHMの矩形側面が立っている構造を有する。立体メジャーは、目安として一メッシュあたりの横方向DW, 一メッシュあたりの長さ方向DL, 一メッシュあたりの鉛直方向DHのメッシュ線を有する。なお、WM,HM,LMは必ずしもDW,DH, DL の整数倍でなくともよい。

全周囲画像取込部１３は、オペレータによって指定された位置（地図上の位置又は名称）を読み込み、この位置に対応する全周囲画像（画像ファイル）及び画像ファイルの画像ファイル属性情報を読み込む（Ｓ１）。

また、オペレータは、画面のサブ画面（図示せず）に、長さLMと、高さHMと、一メッシュあたりの横方向DWと、 一メッシュあたりの長さ方向DLと、 一メッシュあたりの鉛直方向DHの初期パレメータを入力する。この初期パレメータは図１の立体メジャー生成部１８によって読み込まれてメモリ（図示せず）に保存される（Ｓ２）。

前述のステップＳ１の処理によって、平面画像生成部１５が三次元空間メモリ２２の球面に全周囲画像を貼り付け、撮影中心からのオペレータが指定するカメラ方向の画像を取り出して表示制御部１９に出力する。この画像は画像メモリに書き込まれて画面に表示される。

次に、オペレータは、１点目の拘束点ｐ１を設置する。この拘束点ｐ１の設置は、オペレータが道路の１つの端をカメラパラメータ指定表示画像が表示されている画面２０上でポイントｈ１として指定する。例えば、電線など、道路に沿った測定したい対象物の下（例えば電柱の下など）に設置するのが好ましい。

このポイントｈ１を全周囲画像位置算出部１６が読み込み、全周囲画像上の拘束点ｐ１を算出（図５においては１点目の拘束点の設置）する（Ｓ３）。

カメラパラメータ指定表示画像上の座標ｈ１からｐ１の３次元座標を算出するには、まずｈ１を全周囲画像上の画像座標に変換し、これより鉛直角および水平角に算出し、この鉛直角および水平角の方向が道路面と交わる点を求め、これをｐ１としている。

例えば、
(1)道路面からカメラまでの高さ（Hc）を既知とし、カメラが鉛直に設置されているものとする。カメラから下方Hcの水平面を仮想道路面とすると、全周囲画像上で道路面上の地物までの鉛直角θvおよび水平角θhを測定すれば、図６に示すようにカメラからの距離Ｌを次の式で計算することができる。

Ｌ=Hc×tan(θv) （式1）
また、地物までの水平角と合わせて道路面上の地物のカメラからの相対位置(X,Y,Z)は次の式で計算できる。

(X,Y,Z)=(L・cos(θh), L・sin(θh),-Hc) （式2）
なお、画像サイズ(col,row)の全周囲画像上の左下原点の画像座標(x,y)から鉛直角θvおよび水平角θhを次の式で計算することができる。

θv=y×(180/row)
θh=-x×(360/col)+180 （式3）
これらの式によって、拘束点ｐ１（X1,Y1,Z1）が決定する。

なお、カメラパラメータ指定表示画像上の座標ｈ１から全周囲画像上の画像座標(x,y)に変換する方法については後述する。

この拘束点の算出については実施形態２の図１３を参照されたし。そしてこの拘束点ｐ１はメモリ１９に記憶する。

次に、オペレータは、２点目の拘束点ｐ２を設置する。この拘束点ｐ２の設置は、オペレータが道路の他の端をポイントｈ２と指定（図５においては、２点目の拘束点の設置）する（Ｓ４）。

このポイントｈ２のピクセル座標を全周囲画像位置算出部１６が読み込み、これを上記の式によって全周囲画像上の位置を求める処理をポイントｈ２に施して拘束点ｐ２（確定後）を決定し、拘束点ｐ２をメモリ１９に記憶する。

前述の拘束点ｐ２は、拘束点ｐ２の確定かどうかを判断し（Ｓ５）、確定とされたときに、移動したカーソルの位置（ｈ２ｉ：ｉ＝ピクセル座標）を読み込み、その位置に対応するの拘束点ｐ２を算出している。

上記の正距円筒図法で展開された全周囲画像上で座標を計測することにより可能であるが、全周囲画像から、あるカメラの撮影条件で撮影したと同じように再現されるカメラパラメータ指定表示画像上で行っても良い。

本実施の形態ではカメラパラメータ指定表示画像上にポイントｈ１とポイントｈ２とを指定して拘束点ｐ１、ｐ２を決定し、この拘束点を基準として立体メジャーをカメラパラメータ指定表示画像上に表示している。

すなわち、図７に示すように、左下原点の画像座標(x’,y’)は全周囲画像上の画像座標(x,y)に指定されたカメラパラメータで決まる手続きFで変換できる。

前述のカメラパラメータは、撮影視点から視線方向中心の水平角・鉛直角・画角（横・縦）画面上の描画矩形の大きさなどである。

(x,y)=F(x’,y’) (式4)
一方、立体メジャー生成部１８は、拘束点ｐ１、ｐ２が決定すると、立体メジャーを図４（ｂ）に示すようにメモリ２０上に生成し、同時に平面画像生成部が全周囲画像と立体メジャーを合成して画面に描画（図５においては立体メジャーの描画）する（Ｓ６）。

（立体メジャーの生成処理）
拘束点は仮想道路面上にあるものとし、拘束点ｐ１、ｐ２を結ぶ直線ｗｉを含む鉛直面Pを対称面になるように生成する。すなわち、メモリ２０の３次元空間座標の原点にＰ１を定義し、Ｘ−Ｙ座標面に定義されたｐ２を直線Ｗｉで結び、初期パラメータの、長さLMと、高さHMと、一メッシュあたりの横方向DWと、 一メッシュあたりの長さ方向DLと、 一メッシュあたりの鉛直方向DHに基づく立体メジャーを、Ｘ軸に対する角度βで回転させた前述の直線Ｗｉを含む鉛直面Pを対称面になるように３軸で定義された３次元空間座標系に定義する（図４（ｂ）参照）。

全周囲画像からカメラパラメータ指定表示画像の生成、およびカメラパラメータ指定表示画像上の座標(x’,y’)から、それに対応する全周囲画像上の座標(x,y)への座標変換手続きF(x’,y’)は、OpenGLなどのCG合成用ライブラリを組み合わせて実現できる（全周囲画像位置算出部）。

立体メジャー出力部１７がこの３次元空間座標系での立体メジャーのＷｉを中心にして球面の中心に定義する（平面画像生成部１５のメモリ２２）。

そして、平面画像生成部１５は、球面の中心メモリ２２に定義された立体メジャーのＷｉの中央から立体メジャーの内部をカメラパラメータ指定表示画像上に重ねてみたときの画像を表示制御部１９を介して画面に表示させる（図２参照）。

また、DL、DW、DH、HM、LM、２点目の拘束点は、変更が可能である（Ｓ７、Ｓ８、Ｓ９、Ｓ１０、Ｓ１１、Ｓ１２）。

また、立体メジャーの高さＨＭを算出して画面に表示する（Ｓ１３）。これによって、電線までの高さが一目でわかる（図９参照）。

＜実施の形態２＞
本実施の形態の立体メジャー表示機能は図１０に示すように、地図表示手段と撮影位置表示手段と撮影画像表示手段と経路探索連動手段と画像検索手段と画像計測手段とを有する表示システムに実装してもよい。

地理表示手段１０１は、記憶装置１０６に格納された地図データ１０８を読み込み、スクロール・縮尺切り替え・表示項目切り替え・表示色切替などを行いながら、地図を表示する。

撮影位置表示手段１０２は、地理表示手段１０１によって表示した地図に、記憶装置１０６に格納された切り出し画像データｆ４（全周囲画像の画像ファイル、画像ファイルの付属情報（画像取得座標・画像取得方位・画像取得リンクＩＤ・取得リンク内での順番・画像取得カメラ情報（カメラ高等））・リンクのグラフ構造（各ノードに接続するリンクのＩＤのリストを含む）から、図３に示すように画像の撮影位置を描画する。ユーザはこの描画位置をマウスクリック等で指定し、所望の撮影地点の撮影画像を表示させる。

前述の切り出し画像データとは、例えば行政区域で撮影された多数の撮影地点の３６０度の全周囲画像群のうちで、任意のエリア内の全周囲画像を切り出したものを称し、これらは一定時間間隔で間引きされている。

撮影画像表示手段１０３は、撮影位置のひとつをマウス操作等で指定したとき、その撮影位置に最も近い画像の切り出し画像データの画像ファイル付属情報の画像取得座標を用いて検索し、その最も近い画像ファイルを読み出して表示する。例えば、撮影中心から任意のカメラパラメータ（カメラの向き・焦点距離（画角））で撮影した画像をＣＧ処理等の手段によって合成して表示する。

経路探索連動手段１０４は、地図データ１０８に含まれる道路ネットワークを用い、指定された起点座標から終着点座標までの経路を探索し、地理表示手段１０１によって表示した地図に経路を表示する。

前述の道路ネットワークとは、例えば走行軌跡パターン、道路の形状、幅等を含む。画像検索手段１０５は、撮影されている対象物の画像を検索する。

そして、画像計測手段１１０は、図１１に示すように、道路面上長さ計測手段と、道路面上連続線計測手段と、高さ計測手段と、実施の形態１の立体メジャー表示手段とを有する。

道路面上長さ計測手段は、道路面上長さ計測は、道路幅など道路面上の長さを計測する機能である。

図１２は実施の形態２の道路面上長さ計測機能の概略構成図である。図１と同様な部分については説明を省略する。図１３は道路面上長さ計測手段の動作を説明するフローチャートである。

図１２に示すように、道路面上長さ計測機能は、水平メジャー出力部２５を備えている。水平メジャー出力部２５は、メモリ１９の三次元位置を読み込み、これらを繋げた線を平面画像生成部１５に出力してカメラパラメータ指定表示画像上に重ね表示させる。

図１３に示すように、まず、全周囲画像情報取出部１３がメモリ１１の画像ファイルと、メモリ１２のその属性を読み込み、カメラパラメータ指定表示を行う（Ｓ２０）。

次に、全周囲画像位置算出部１６がカメラパラメータ指定画像上において、オペレータが測定したい地物の端の一点目の画像座標の測定と三次元座標の計算を行う（Ｓ２１）。

具体的には、まずカメラパラメータ指定表示画像上で、指定位置をマウスクリックし、画像座標(x’,y’)を計測し、(式4)で全周囲画像座標(x,y)に変換する。さらに(式3)で水平方位・鉛直方位を計算し、(式２)で三次元座標（X,Y,Z）を求める（Ｓ２１ａ〜Ｓ２１ｄ）。

次に、マウスの移動に伴って全周囲画像位置算出部１６がマウス位置に対応する三次元座標を前述のＳ２１ａ〜Ｓ２１ｄの処理の手続きで計算しながら（Ｓ２２）、メモリ１９に記憶する。水平メジャー出力部２５は、メモリ１９に３次元座標が記憶される毎に、この２点を両端とする水平メジャー（図１４ａ）を重畳表示（図１４ｂ）する（Ｓ２３）。次に確定かどうかを判断する（Ｓ２４）。ステップＳ２４で確定でないときは処理をステップＳ２２に戻す。

また、確定と判定したときは次の処理に移す。具体的には確定したい位置においてマウスをクリックする。

次に、確定とされたときは、２点間の確定された長さが画面表示され（図１４ａ）、必要がある場合は、計測した地物の識別情報（名前・コード等）とともにファイルに出力される（Ｓ２５）。

また、その際、目盛りや計測長を示す文字を同時に表示しても良い（図１４ａ）。

（道路面上連続線計測手段）
図１５は道路面上連続計測機能の概略構成図である。図１５において図１と同様な符号の個所は説明を省略する。

図１６は道路面上連続線計測手段の動作を説明するフローチャートである。

連続的な折れ線として上記計測点を構成すれば、交差点形状や横断歩道・停止線などの道路面上の施設を簡易的に図面化することが可能である。

道路面上連続線計測機能は、道路上の地物（横断歩道・センターライン・交差点形状）などを連続線分として測定する機能である。

２点以上の計測を行うこと、水平メジャーの代わりに連続線分を重畳表示すること、および出力として各点の座標列をファイル等に出力することを除けば、上記実施の形態２と同じである。出力される座標列は、それぞれ独立したIDを持ち、必要があれば地理座標（緯度経度等）に変換して出力する。

図１５に示すように、地図データ作成部２６と連続線表示部２８とを備えている。地図データ作成部２６は、確定とされたとき、入力された番号、記号等の識別コードにメモリ１９に記憶された三次元座標を対応させてメモリ２７に記憶し、必要に応じて出力する。

連続線表示部２８は、メモリ１９に三次元座標が記憶される毎に、この座標を読み込み、これらを繋げた線を平面画像生成部１５に出力してカメラパラメータ指定表示画像に重ね表示させる。

以下に図１６のフローチャートを用いて説明する。

まず、全周囲画像情報取出部１３がメモリ１１の画像ファイルと、メモリ１２のその属性を読み込み、カメラパラメータ指定表示を行う（Ｓ３０）。

次に、全周囲画像位置算出部１６がカメラパラメータ指定画像上において、オペレータが測定したい地物の端の一点目（Ｎ＝１）の画像座標の測定と三次元座標の計算を行う（Ｓ３１）。

具体的には、まずカメラパラメータ指定表示画像上で、指定位置をマウスクリックし、画像座標(x’,y’)を計測し、(式4)で全周囲画像座標(x,y)に変換する。さらに(式3)で水平方位・鉛直方位を計算し、(式２)で三次元座標（X,Y,Z）を求める。

次に、マウスの移動に伴って全周囲画像位置算出部１６がマウス位置に対応する三次元座標を前述のＳ２１ａ〜Ｓ２１ｄの処理の手続きで計算しながら、メモリ１９に記憶する。

次に、２点目（Ｎ＝２）が指定されると、ステップＳ３１と同様に、三次元座標の計算を行なう（Ｓ３２）
このとき、連続線表示部２８がメモリ１９の三次元座標を読み込み、この三次元座標同士を繋げた線にして表示させる（Ｓ３３）。

次に、マウスがクリックされたかどうかで確定かどうかを判定する（Ｓ３４）。ステップＳ３４において、確定と判定しないときは処理をステップＳ３２に戻す。

また、ステップＳ３４において、確定と判定したときは、現在位置（Ｎ+１）を２番目の位置確定とする（Ｓ３５）。

次に、新たに点が追加されたかどうかを判断し、追加された場合は処理をステップＳ３２に戻す（Ｓ３５）。

また、ステップＳ３５において、点追加ではないと判定したときは、地図データ作成部２６がメモリ１９の三次元座標の組みを記号、番号等に対応させてメモリ２７に保存する。

すなわち、カメラパラメータ指定表示画像の任意の領域をカーソルでなぞっていくだけで、その領域の形が抽出できると共に、三次元座標を抽出できるので、写真から地図を自動生成できる。

（高さ計測処理）
図１７に示すように、道路面上に設置されている地物（電柱など）は、下端位置の鉛直角・水平角を測定することによって、根元位置の相対位置を決定できる。上端位置の鉛直角と合わせて測定すれば、対象の地物の高さを決定することができる。下端位置の鉛直角をθv1, 上端位置の鉛直角をθv2とすれば、高さHは次の式で計算出来る。

H=Hc+L×tan(θv2-π/2) （式5）
高さの計測は、電柱のように鉛直に設置された地物の高さを計測するものである。

まず、地物の下端が道路面上にある場合は、図１８のフローチャートに示すように、
メモリ１１の画像ファイルと、メモリ１２のその属性を読み込み、カメラパラメータ指定表示を行う（Ｓ４０）。

次に、カメラパラメータ指定画像上において、測定したい電柱の下点目の画像座標の測定と三次元座標の計算を行う（Ｓ４１）。

具体的には、まずカメラパラメータ指定表示画像上で、指定位置をマウスクリックし、画像座標(x’,y’)を計測し、(式4)で全周囲画像座標(x,y)に変換する。さらに(式3)で水平方位・鉛直方位を計算し、(式２)で三次元座標（X,Y,Z）を求める。

次に、 マウスを移動させながら、マウス位置に対応する電柱の上端の三次元座標を前述の式３、式４、式２で計算し（Ｓ４２）、下端と上端を両端とする鉛直メジャーを重畳表示（図１３）する（Ｓ４３）。次に確定かどうかを判断する（Ｓ４４）。ステップＳ４４で確定でないときは処理をステップＳ４２に戻す。

また、確定と判定したときは次の処理に移す。具体的には確定したい位置においてマウスをクリックする。

次に、確定とされたときは、確定された鉛直メジャーの寸法さが画面表示され、必要がある場合は、計測した地物の識別情報（名前・コード等）とともにファイルに出力される（Ｓ４５）。 また、その際、目盛りや計測長を示す文字を同時に表示しても良い。

前述の上端、下端の三次元座標は、同じX座標およびY座標を持つものとする。またZ座標は、マウス位置の示す３次元方位方向で、水平座標の距離が下端点と同じになる位置の高さを指定する。すなわち、マウス位置の水平方位および鉛直方位をθhm, θvm, 下端位置の三次元座標を(X1,Y1,Z1)とすると、上端位置の三次元座標(X2,Y2,Z2)は、
X2 = X1
Y2 = Y1
Z1 = -z×S
S = (X1×x+Y1×y)/(x×x+y×y)
(x,y,z) = (sin(θvm)×cos(θhm), sin(θvm)×sin(θhm), -cos(θvm)) (式8)
として求められる。

なお、上記実施の形態では、立体メジャーは左右の側面、底面としたが、上面を有する立体メジャーであってもよいし、また、それぞれの面が球面であってもよい。

立体メジャー表示機能付き画像表示装置の概略構成図である。 立体メジャーの重畳画面を説明する説明図である。 本実施の形態のカメラパラメータ指定表示画像の取り出しを説明する説明図である。 立体メジャーの生成を説明する説明図である。 立体メジャー表示機能付き画像表示装置の動作を説明するフローチャートである。 本実施の形態の周囲画像における位置の算出を説明する説明図である。 本実施の形態の周囲画像とカメラパラメータ指定表示画像との位置の算出を説明する説明図である。 立体メジャーのパラメータを説明する説明図である。 立体メジャーの概念を説明する説明図である。 実施の形態２の画像表示システムの概略構成図である。 画像計測手段の概略構成図である。 道路面上長さ計測機能の概略構成図である。 道路面上長さ計測手段の動作を説明するフローチャートである。 水平メジャーの表示を説明する説明図である。 地図データ生成機能の概略構成図である。 地図データ生成機能を説明するフローチャートである。 道路面上に地物の下端があるときの高さ算出を説明する説明図である。 道路面上に地物の下端があるときの高さ算出を説明するフローチャートである。

符号の説明

図１は実施の形態１の立体メジャー表示機能付き画像表示装置の概略構成図である。

１０ データベース１０
１３ 全周囲画像情報取出部
１４ 指定位置読込部
１５ 平面画像生成部
１６ 全周画像位置算出部
１７ 立体メジャー出力部
１８ 立体メジャー生成部

Claims (16)

1. 撮影地点の全周囲画像を、指定の撮影方向および画角で撮影したように生成したカメラパラメータ指定表示画像を画面に表示させ、このカメラ指定表示画像上に立体メジャーを表示する立体メジャー表示機能付き画像表示システムであって、
   左右の側面及び底面をメッシュで分割して構成し、当該立体メジャーの底面幅、側面の高さ、長さが定義された立体メジャーを記憶した三次元空間メモリと、
   前記立体メジャー記憶手段の前記立体メジャーの内部を、任意の方向で見たときの部分を、前記カメラパラメータ指定表示画像上に重ねて三次元的に表示する立体メジャー重ね画像表示手段と
   を有することを特徴とする立体メジャー表示機能付き画像表示システム。
2. 前記立体メジャー重ね画像表示手段は、
   前記カメラパラメータ指定表示画像上の第１のポイント、第２のポイントが指定されたとき、この第１のポイントと第２のポイントを結ぶ直線を、前記立体メジャーの底面の中央の横幅とし、この横幅の直線の角度を前記任意の方向として、その直線を含む鉛直面Pを前記任意の方向で対称面になるような前記高さ及び長さの前記立体メジャーを前記三次元空間メモリに生成する立体メジャー生成手段と、
   前記三次元空間メモリの立体メジャーの前記直線を基準とし、該基準の直線から前記立体メジャーを前記撮影方向の画角で前記球面に投影したときの前記部分を前記カメラパラメータ指定表示画像上に重ね表示させる平面画像生成手段と
   を有することを特徴とする請求項１記載の立体メジャー表示機能付き画像表示システム。
3. 立体メジャー重ね画像表示手段は、
   前記２点のポイントの内で、第１のポイントに対しての第２のポイントが確定されるまで、この第２のポイントの変更を受け付け、該変更毎に、この変更された第２のポイントの位置までを前記直線として更新し、該更新した直線で前記立体メジャーの底面の中央の横幅を決定することを特徴とする請求項１又は２記載の立体メジャー表示機能付き画像表示システム。
4. 前記全周囲画像、該全周囲画像の撮影地点のカメラ高さを記憶した記憶手段とを備え、
   前記指定されたポイントの前記全周囲画像の三次元座標を、
   前記カメラ高さと、前記ポイントまでの距離と水平角度とに基づいて求めることを特徴とする請求項１、２又は３記載の立体メジャー表示機能付き画像表示システム。
5. 前記平面画像生成手段は、
   前記撮影地点の全周囲画像を球面に貼り付け、その球の中心から指定の撮影方向および画角で前記球面を内部から撮影したように生成した前記カメラパラメータ指定表示画像を前記画面に表示する一方、
   前記立体メジャー記憶手段の前記立体メジャーの内部を、前記中心から任意の方向で見たときの部分を、前記カメラパラメータ指定表示画像上に重ねて三次元的に表示することを特徴とする請求項１、２、３又は４記載の立体メジャー表示機能付き画像表示システム。
6. 前記立体メジャーのメッシュの幅、高さ又は奥行きのいずれかあるいは全てに寸法を表示する手段とを有することを特徴とする請求項1、２、３、４又は５記載の立体メジャー表示機能付き画像表示システム。
7. 前記立体メジャーの横幅、高さ又は長さあるいは全てに寸法を表示する手段とを有することを特徴とする請求項1、２、３、４、５又は６記載の立体メジャー表示機能付き画像表示システム。
8. 前記カメラパラメータ指定表示画像上において前記第１のポイント、第２のポイントが指定されたとき、両方のポイント間を結ぶ直線の長さを寸法表示する手段と
   を有することを特徴とする請求項1、２、３、４、５、６又は７記載の立体メジャー表示機能付き画像表示システム。
9. 撮影地点の全周囲画像を、指定の撮影方向および画角で撮影したように生成したカメラパラメータ指定表示画像を画面に表示させ、このカメラ指定表示画像上に立体メジャーを表示する立体メジャー表示機能付き画像表示のプログラムであって、
   コンピュータが、
   左右の側面及び底面をメッシュで分割して構成し、当該立体メジャーの底面幅、側面の高さ、長さが定義された立体メジャーを記憶した三次元空間メモリを備え、
   前記コンピュータに、
   前記立体メジャー記憶手段の前記立体メジャーの内部を、任意の方向で見たときの部分を、前記カメラパラメータ指定表示画像上に重ねて三次元的に表示する立体メジャー重ね画像表示手段
   としての機能を実行させるための立体メジャー表示機能付き画像表示のプログラム。
10. 前記コンピュータに、
    前記立体メジャー重ね画像表示手段を、
    前記カメラパラメータ指定表示画像上の第１のポイント、第２のポイントが指定されたとき、この第１のポイントと第２のポイントを結ぶ直線を、前記立体メジャーの底面の中央の横幅とし、この横幅の直線の角度を前記任意の方向として、その直線を含む鉛直面Pを前記任意の方向で対称面になるような前記高さ及び長さの前記立体メジャーを前記三次元空間メモリに生成する立体メジャー生成手段、
    前記三次元空間メモリの立体メジャーの前記直線を基準とし、該基準の直線から前記立体メジャーを前記撮影方向の画角で前記球面に投影したときの前記部分を前記カメラパラメータ指定表示画像上に重ね表示させる平面画像生成手段
    としての機能を実行させるための請求項９記載の立体メジャー表示機能付き画像表示のプログラム。
11. 前記コンピュータに、
    前記立体メジャー重ね画像表示手段を、
    前記２点のポイントの内で、第１のポイントに対しての第２のポイントが確定されるまで、この第２のポイントの変更を受け付け、該変更毎に、この変更された第２のポイントの位置までを前記直線として更新し、該更新した直線で前記立体メジャーの底面の中央の横幅を決定する
    機能を実行させるための請求項８、９又は１０記載の立体メジャー表示機能付き画像表示のプログラム。
12. 前記全周囲画像、該全周囲画像の撮影地点のカメラ高さを記憶した記憶手段とを備え、
    前記コンピュータに、
    前記指定されたポイントの前記全周囲画像の三次元座標を、
    前記カメラ高さと、前記ポイントまでの距離と水平角度とに基づいて求めさせる機能を実行させるための請求項８、９、１０又は１１記載の立体メジャー表示機能付き画像表示のプログラム。
13. 前記平面画像生成手段は、
    前記撮影地点の全周囲画像を球面に貼り付け、その球の中心から指定の撮影方向および画角で前記球面を内部から撮影したように生成した前記カメラパラメータ指定表示画像を前記画面に表示する一方、
    前記立体メジャー記憶手段の前記立体メジャーの内部を、前記中心から任意の方向で見たときの部分を、前記カメラパラメータ指定表示画像上に重ねて三次元的に表示する機能を実行することを特徴とする請求項９、１０、１１又は１２記載の立体メジャー表示機能付き画像表示のプログラム。
14. 前記コンピュータに、
    前記立体メジャーのメッシュの幅、高さ又は奥行きのいずれかあるいは全てに寸法を表示する手段
    としての機能を実行させるための請求項９、１０、１１、１２又は１３記載の立体メジャー表示機能付き画像表示のプログラム。
15. 前記コンピュータに、
    前記立体メジャーの横幅、高さ又は長さあるいは全てに寸法を表示する手段としての機能を実行させるための請求項９、１０、１１、１２、１３又は１４記載の立体メジャー表示機能付き画像表示のプログラム。
16. 前記コンピュータに、
    前記カメラパラメータ指定表示画像上において前記第１のポイント、第２のポイントが指定されたとき両方のポイント間を結ぶ直線の長さを寸法表示する手段
    としての機能を実行させるための請求項９、１０、１１、１２、１３、１４又は１５記載の立体メジャー表示機能付き画像表示のプログラム。