JP2013090230A - 画像取得装置 - Google Patents

Abstract

【課題】単独のカメラにてリアル画像と光スペクトル画像とを取得可能な画像取得装置を提供する。
【解決手段】光学特性変更部１５と、対物レンズ４７を含み、該対物レンズからの光を前記光学特性変更部へと導く光学系４５と、前記光学特性変更部を介した光を受光する撮像素子５２とを具備し、前記光学特性変更部は複数の分割部を有すると共に分割部の１つを選択的に光路に配置させる構成であり、前記分割部は前記光学系からの光から特定の波長を選択する第１領域と、前記光学系からの光の光学特性を変更させない第２領域とを有する。
【選択図】図４

Description

本発明は、測定対象物の光スペクトル特性、更にハイパースペクトル画像を取得する画像取得装置に関するものである。

測定対象物を写真測量する等して、測定対象物の３次元データを取得するのと同時に測定対象物の画像を取得し、画像付の３次元データを取得することが行われている。

従来の３次元測定装置で得られる画像付の３次元データは、地図データ等に用いられており、使用者の視認性を高める等の効果が得られている。

一方、得られるデータは測定対象物の３次元位置データであり、得られる情報としては測定対象物の３次元位置である。

測定対象物について測定を行う場合、より多くの情報が得られることが望まれ、測定対象物の位置情報のみならず、測定対象物の性状についての情報が得られることが望ましく主に地理情報システム（ＧＩＳ）で利用される。

例えば、農作物の発育状態についての情報が得られれば、農作業について適切な判断、適切な処置が可能となり、或は地表に露出した鉱物の種類等が判断できれば、適切な土木工法の選択が可能となる等である。

特開２０１１−８９８９５号公報 特開２００６−１０３７６号公報

本発明は斯かる実情に鑑み、光スペクトル特性、特にハイパースペクトル画像を取得可能な画像取得装置を提供するものである。

本発明は、光学特性変更部と、対物レンズを含み、該対物レンズからの光を前記光学特性変更部へと導く光学系と、前記光学特性変更部を介した光を受光する撮像素子とを具備し、前記光学特性変更部は複数の分割部を有すると共に分割部の１つを選択的に光路に配置させる構成であり、前記分割部は前記光学系からの光から特定の波長を選択する第１領域と、前記光学系からの光の光学特性を変更させない第２領域とを有する画像取得装置に係るものである。

又本発明は、撮像制御装置を更に具備し、１つの分割部の前記第２領域を介して撮像された画像と、他の分割部の前記第２領域を介して撮像された画像との画像マッチングに基づき、前記１つの分割部の前記第１領域を介して撮像された画像と、前記他の分割部の前記第１領域を介して撮像された画像とを合成して光スペクトル合成画像を作成する画像取得装置に係るものである。

又本発明は、光路に配置された絞りを更に具備し、該絞りは絞り孔を有し、前記絞りを移動させることで前記光学特性変更部により選択される波長が変化する画像取得装置に係るものである。

又本発明は、前記光学特性変更部は、前記第１領域及び前記第２領域共に光学特性を変更させない更に他の分割部を更に具備する画像取得装置に係るものである。

又本発明は、前記撮像制御装置は複数の分割部の前記第２領域を介して撮像された画像と、前記更に他の分割部を介して撮像された静止画像との画像マッチングに基づき、複数の分割部の前記第１領域を介して撮像された画像と、前記静止画像とを合成してハイパースペクトル画像を作成する画像取得装置に係るものである。

更に又本発明は、地心座標の測定を行うＧＰＳ装置を更に具備し、前記撮像制御装置は第１地点で前記更に他の分割部を介して静止画像を取得すると共に、第１地点の静止画像から複数の特徴点を抽出し、第１地点から第２地点に移動中に前記更に他の分割部を介して時系列に連続するフレーム画像で構成される動画像を取得し、更に第１地点から第２地点に移動中の動画像により動画像トラッキングを行うと共に、第２地点で前記更に他の分割部を介して静止画像を取得し、第２地点の静止画像に前記特徴点を特定し、該特徴点に基づき第１地点の静止画像と第２地点の静止画像とをステレオマッチングすると共に、前記ＧＰＳ装置により測定された第１地点及び第２地点の地心座標系の位置に基づき３次元モデルを形成し、又前記撮像制御装置は前記光スペクトル合成画像と前記３次元モデルとを合成し、３次元位置データと光スペクトル情報を有する４次元モデルを作成する画像取得装置に係るものである。

本発明によれば、光学特性変更部と、対物レンズを含み、該対物レンズからの光を前記光学特性変更部へと導く光学系と、前記光学特性変更部を介した光を受光する撮像素子とを具備し、前記光学特性変更部は複数の分割部を有すると共に分割部の１つを選択的に光路に配置させる構成であり、前記分割部は前記光学系からの光から特定の波長を選択する第１領域と、前記光学系からの光の光学特性を変更させない第２領域とを有するので、前記光学特性変更部により１つのカメラで光学特性を変更させないリアル画像と、光学特性を変更させた光スペクトル画像の両方を同時に取得することができ、構造の簡易化及びコストの低減を図ることができる。

又本発明によれば、撮像制御装置を更に具備し、１つの分割部の前記第２領域を介して撮像された画像と、他の分割部の前記第２領域を介して撮像された画像との画像マッチングに基づき、前記１つの分割部の前記第１領域を介して撮像された画像と、前記他の分割部の前記第１領域を介して撮像された画像とを合成して光スペクトル合成画像を作成するので、前記第２領域を介して撮像された画像間のマッチング条件をそのまま前記第１領域を介して撮像された画像に適用できる。

又本発明によれば、光路に配置された絞りを更に具備し、該絞りは絞り孔を有し、前記絞りを移動させることで前記光学特性変更部により選択される波長が変化するので、該光学特性変更部を交換することなく所定の波長範囲に於ける光スペクトルを取得することができる。

又本発明によれば、前記光学特性変更部は、前記第１領域及び前記第２領域共に光学特性を変更させない更に他の分割部を更に具備するので、光学特性を変更させないリアル画像のみの取得が可能となり、画像取得装置を移動させる際に容易に動画像トラッキングを行うことができる。

又本発明によれば、前記撮像制御装置は複数の分割部の前記第２領域を介して撮像された画像と、前記更に他の分割部を介して撮像された静止画像との画像マッチングに基づき、複数の分割部の前記第１領域を介して撮像された画像と、前記静止画像とを合成してハイパースペクトル画像を作成するので、ハイパースペクトル画像を１つのカメラにて容易に取得することができる。

更に又本発明によれば、地心座標の測定を行うＧＰＳ装置を更に具備し、前記撮像制御装置は第１地点で前記更に他の分割部を介して静止画像を取得すると共に、第１地点の静止画像から複数の特徴点を抽出し、第１地点から第２地点に移動中に前記更に他の分割部を介して時系列に連続するフレーム画像で構成される動画像を取得し、更に第１地点から第２地点に移動中の動画像により動画像トラッキングを行うと共に、第２地点で前記更に他の分割部を介して静止画像を取得し、第２地点の静止画像に前記特徴点を特定し、該特徴点に基づき第１地点の静止画像と第２地点の静止画像とをステレオマッチングすると共に、前記ＧＰＳ装置により測定された第１地点及び第２地点の地心座標系の位置に基づき３次元モデルを形成し、又前記撮像制御装置は前記光スペクトル合成画像と前記３次元モデルとを合成し、３次元位置データと光スペクトル情報を有する４次元モデルを作成するので、４次元モデルが１つのカメラにて容易に取得可能となり、測定対象物の任意の３次元位置データと光スペクトル情報を簡単に得ることができるという優れた効果を発揮する。

本発明に係る撮像装置が搭載された小型飛行体を示す概略図である。 本発明の第１の実施例に係る撮像装置のカメラ部及び撮像制御装置の概略構成図である。 第１の実施例に係る特性の異なる複数の透過干渉膜を備えた干渉フィルタの正面図である。 本発明の実施例に用いられる透過型の干渉フィルタを有するカメラの光学系を示す説明図であり、（Ａ）は絞り孔が光軸と一致した状態を示し、（Ｂ）は絞り孔が光軸と離反した状態を示している。 入射角と透過するピーク波長の関係を示すグラフである。 干渉フィルタへの入射角に対応する波長透過特性を示すグラフである。 本実施例に於いて、ハイパースペクトル画像を取得する状態を示す説明図である。 ホバリング状態で画像を複数取得した場合の画像間の状態を示す説明図である。 本発明の第１の実施例の作用を説明するフローチャートである。 図９中のＳＴＥＰ：０３〜ＳＴＥＰ：０６の詳細を説明するフローチャートである。 本発明の第２の実施例に用いられるカメラで、反射式の干渉フィルタを有する光学系を示す説明図であり、（Ａ）は絞り孔が光軸と一致した状態を示し、（Ｂ）は絞り孔が光軸と離反した状態を示している。 第２の実施例に於ける特性の異なる複数の反射干渉膜を備えた干渉フィルタの正面図である。 本発明の第２の実施例に用いられるカメラの変更例で、反射式の干渉フィルタを有する光学系を示す説明図であり、（Ａ）は絞り孔が光軸と一致した状態を示し、（Ｂ）は絞り孔が光軸と離反した状態を示している。 本発明の第３の実施例に係る撮像装置のカメラ部及び撮像制御装置の概略構成図である。

以下、図面を参照しつつ本発明の実施例を説明する。

本発明の実施例に係る画像取得装置は、小型無人飛行体、例えば遠隔操作可能な小型ヘリコプタ或は自律飛行可能な小型ヘリコプタに搭載される。

図１は、本実施例に係る画像取得装置を搭載した小型飛行体１を示している。

図１中、２は地上に設置される基地制御装置である。該基地制御装置２は前記飛行体１とデータ通信が可能であり、該飛行体１の制御、飛行計画の設定、変更、前記飛行体１が収集した情報を保存、管理する。

前記飛行体１は、例えば自律飛行する小型飛行体としてのヘリコプタである。該ヘリコプタ１は前記基地制御装置２から遠隔操作で操縦され、或は前記基地制御装置２から前記ヘリコプタ１の制御装置（図示せず）に飛行計画が設定され、該制御装置が航行手段（後述）を制御し、飛行計画に従って自律飛行する。又、制御装置は航行手段を制御し、前記ヘリコプタ１を所定の速度、所定の高度での飛行に制御すると共に、所定位置でホバリング（静止飛行状態）に制御することが可能である。

前記ヘリコプタ１は、機体３、該機体３に設けられた所要数のプロペラ、例えば前後左右、計４組のプロペラ４，５，６，７を有し、該プロペラ４，５，６，７をそれぞれ個別にモータ（図示せず）に連結され、又該モータは独立して駆動が制御される様になっている。尚、前記プロペラ４，５，６，７及び前記モータ等は飛行体の航行手段を構成する。

前記機体３には、前記ヘリコプタ１の基準位置（例えば前記機体３の中心）を測定するＧＰＳ装置９が設けられている。

前記ヘリコプタ１の機体３には、撮像装置１１が搭載されている。該撮像装置１１は光軸１２を有し、該光軸１２は下方に延出し、前記撮像装置１１は前記ヘリコプタ１の下方を撮像する様になっている。

次に、図２により、本発明の第１の実施例に係る前記撮像装置１１の概略構成を説明する。

該撮像装置１１は、カメラ部１３及び撮像制御装置２１を有し、該撮像制御装置２１は前記カメラ部１３が撮像した画像データ及び前記ＧＰＳ装置９からの位置情報に基づき測定対象物の写真測量を行い、或は前記画像データと前記カメラ部１３が取得した光スペクトル画像データの合成等の処理を行う。

先ず、該カメラ部１３について説明する。

該カメラ部１３は、カメラ１４と、後述する光学特性変更部である干渉フィルタ１５と、該干渉フィルタ１５の切替え手段としてのモータ１６とを具備している。前記カメラ１４は前記光軸１２上に設けられ、測定対象物のありのままの画像（リアル画像）と、光スペクトル画像を取得可能となっている。

尚、前記カメラ１４は測定箇所の画像を撮像し、デジタルの画像データを出力するものであり、静止画像を所定時間間隔で撮像できると共に、画像を連続的に撮像する動画像を撮像できる様になっている。

又、前記カメラ１４は、撮像素子１７として、画素（ピクセル）の集合体であるＣＣＤ、或はＣＭＯＳセンサを有しており、前記撮像素子１７の中心（受光面の座標中心）を前記光軸１２が垂直に通過する様に該光軸１２と前記撮像素子１７との関係が設定されている。従って、前記撮像素子１７の各画素は該撮像素子１７上の位置（座標）が特定でき、更に各画素の画角（前記光軸１２に対する角度）が分る様になっている。

又、前記カメラ１４は、前記光軸１２上に設けられ一部に干渉膜が形成された干渉フィルタ１５を有し、該干渉フィルタ１５は回転可能に支持され、前記モータ１６によって回転可能となっている。前記干渉フィルタ１５は光学特性の異なる複数の分割部を有し、又各分割部は前記干渉膜が形成された領域を有すると共に、光学特性を有していない領域を有する。前記モータ１６により前記干渉フィルタ１５が回転されることで分割部が選択される。選択された分割部は前記カメラ１４の光軸と合致し、光は選択された分割部を通過し、更に通過する分割部に応じて所定波長の光と全波長の光とが前記撮像素子１７に同時に受光され、前記カメラ１４によって所定波長の光スペクトル画像とリアル画像とが同時に取得される様になっている。

次に、図３に於いて、前記干渉フィルタ１５の詳細について説明する。

該干渉フィルタ１５は、透過型の干渉フィルタであり、図３で示す様に形状が円板であり、透過面が円周方向に所要角度に等分（図示では６等分）され、前記分割部は分割透過面６０ａ〜６０ｆとして形成されている。

前記分割透過面６０ａ〜６０ｆの内、複数の分割部である分割透過面６０ａ〜６０ｅには、同心円状に第２領域、第１領域、第２領域がそれぞれ形成されている。前記第１領域には各分割透過面６０ａ〜６０ｅ毎に選択波長λ１〜λ５の選択波長特性の異なる透過干渉膜が形成され、更に他の分割部である分割透過面６０ｆは第１領域、第２領域（６０ｆ′，６０ｆ′′）共に光学特性を有さず、全ての波長を透過させる様になっている。

例えば、第１領域に於いて、分割透過面６０ａには選択波長λ１が４００ｎｍ〜４５０ｎｍ、分割透過面６０ｂには選択波長λ２が４５０ｎｍ〜５２５ｎｍ、分割透過面６０ｃには選択波長λ３が５２５ｎｍ〜６５０ｎｍ、分割透過面６０ｄには選択波長λ４が６５０ｎｍ〜７５０ｎｍ、分割透過面６０ｅには選択波長λ５が７５０ｎｍ〜８７０ｎｍの透過干渉膜がそれぞれ形成される。

又、前記分割透過面６０ａ〜６０ｅは、前記第１領域の外周側の外周部６０ａ′〜６０ｅ′と内周側の内周部６０ａ′′〜６０ｅ′′が前記第２領域となっており、これら第２領域は全ての波長を通過させる。前記干渉フィルタ１５上に結像される結像５８は、前記第２領域、前記第１領域、前記第２領域に掛渡り、前記結像５８の外周側の一部が前記外周部６０ａ′〜６０ｅ′，６０ｆ′にオーバラップし、内周側の一部が前記内周部６０ａ′′〜６０ｅ′′，６０ｆ′′にオーバラップする様になっている。

前記干渉フィルタ１５を用いる場合、前記分割透過面６０ｆを選択し、該分割透過面６０ｆに光軸を合致させた場合は、波長選択されることなく全透過され、リアル画像データのみが取得される。又、前記分割透過面６０ａ〜６０ｅのいずれかが選択された場合、例えば分割透過面６０ｅが選択された場合、前記結像５８の内、分割透過面６０ｅの透過干渉膜を透過する第１領域部５８ａは波長選択され、前記外周部６０ｅ′及び前記内周部６０ｅ′′を透過する第２領域部５８ｂ，５８ｃは全透過され、前記第１領域部５８ａで得られる光スペクトル画像データと、前記第２領域部５８ｂ，５８ｃであるリアル画像データとが一体となった混合画像データが取得される。

尚、得たい光スペクトルの波長範囲が、４００ｎｍ〜８７０ｎｍに及ぶ時は、前記分割透過面６０ａから前記分割透過面６０ｅ迄、順次分割透過面を切替え、切替えられた分割透過面６０毎に光スペクトル画像が取得される様になっている。

而して、前記干渉フィルタ１５の回転により、４００ｎｍ〜８７０ｎｍ迄の範囲で波長が選択され、選択した波長毎に前記撮像素子１７で画像が取得され、４００ｎｍ〜８７０ｎｍの範囲に於ける所定の光スペクトルを取得することができる。

尚、得たい光スペクトルの波長に合わせて分割数を決定し、更に得たい光スペクトルの波長が限られている場合は、該当する選択波長特性を有する分割透過面を選択して光スペクトルを取得すればよい。

又、上記干渉フィルタ１５は円板とし、回転可能としたが、長矩形形状とし、干渉フィルタ１５を長手方向に分割して、分割透過面を形成し、前記干渉フィルタ１５を長手方向にスライドさせ、分割透過面の切替えを行ってもよい。

次に、前記撮像制御装置２１について説明する。

該撮像制御装置２１は、演算制御部（ＣＰＵ）２２、画像データ記録部２３、カメラコントローラ２４、カメラ制御部２５、フィルタコントローラ２６、スペクトルデータ記憶部２７、画像合成部２８、画像処理部２９、特徴抽出部３１、マッチング部３２、測定部３３、モデル画像形成部３４、表示部３５、記憶部３６を具備している。

前記カメラ制御部２５は、前記カメラ１４、前記干渉フィルタ１５、絞り５５を同期制御するものである。尚、該絞り５５については後述する。前記フィルタコントローラ２６は前記カメラ制御部２５からの指令信号に基づき前記モータ１６を駆動し、光束が前記干渉フィルタ１５の所定の分割透過面を透過する様、該干渉フィルタ１５を回転し、位置決めする。

又、前記カメラコントローラ２４は前記カメラ制御部２５からの指令信号に基づき、前記撮像素子１７から発せられる信号を取得する。光束が前記干渉フィルタ１５の前記分割透過面６０ａ〜６０ｅを透過する場合には、透過する第１領域部５８ａと第２領域部５８ｂ，５８ｃに応じて、取得された混合画像データをリアル画像データと、所定波長の光スペクトル画像データとに分離する。分離されたリアル画像データは撮像時間に関連付けて前記画像データ記録部２３に格納され、光スペクトル画像データは撮像時間に関連付けて前記スペクトルデータ記憶部２７に格納される。

又、光束が前記干渉フィルタ１５の前記分割透過面６０ｆを透過する場合には、第１領域、第２領域共に全透過面であるので、リアル画像のみからなる静止画像データが取得される。取得された静止画像データは、撮像時間に関連付けて前記画像データ記録部２３に格納される。

前記画像合成部２８は、前記画像データ記録部２３に格納された第２領域のリアル画像データに基づき、前記スペクトルデータ記憶部２７に格納された光スペクトル画像データを合成し、更に光スペクトル合成画像と前記静止画像を合成し、１つの画像の全ピクセル（画素）にスペクトル情報を有するハイパースペクトル画像を作成するものである。

前記画像処理部２９は前記特徴抽出部３１、前記マッチング部３２を具備し、１フレームの画像データから特徴点（パスポイント）を少なくとも５以上抽出し、時間的に異なる画像データ、或は異なる撮像位置から取得した画像データについて前記特徴点に基づき画像のトラッキング或はマッチングを行うものである。

尚、画像トラッキング、画像マッチングについては、ＳＳＤＡ法（Ｓｅｑｕｅｎｔｉａｌ Ｓｉｍｉｌａｒｉｔｙ Ｄｅｔｅｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ）、正規化相互相関法、最小２乗マッチング法等が用いられる。

前記測定部３３は、異なる撮像位置から前記カメラ１４で取得した２つの画像データ及び撮像位置の位置データに基づき写真測量を実行するものである。

前記モデル画像形成部３４は、前記ハイパースペクトル画像に前記測定部３３で測定した各画素の３次元データを関連付け、３次元データ＋光スペクトル画像データの４次元データを有するモデル画像を形成する。

前記記憶部３６には、カメラ制御に必要なプログラム、モータ制御に必要なプログラム、画像データと光スペクトル画像データの合成に必要なプログラム、画像トラッキングする為のプログラム、画像処理に必要なプログラム、測定に必要なプログラム、モデル画像を形成する為に必要なプログラム、前記表示部３５を制御する為のプログラム等の各種プログラムが格納されている。尚、前記記憶部３６の一部に前記画像データ記録部２３、前記スペクトルデータ記憶部２７を形成してもよい。

次に、本実施例で使用されるカメラ１４の一例について、図４〜図６を参照して説明する。尚、以下に説明するカメラ１４は、前記干渉フィルタ１５の分割透過面６０ａ〜６０ｅで得られる光スペクトル間を更に細分化した光スペクトルが得られる様に構成されている。

図４は、該カメラ１４の光学系４５と、該光学系４５の光路に設けられた干渉フィルタ１５を示している。

図４中、４６は該光学系４５の光軸を示し、該光軸４６上に対物レンズ４７、第１リレーレンズ４８、第２リレーレンズ４９、第３リレーレンズ５０、結像レンズ５１、撮像素子５２が配設されている。又、図４中、５３は前記対物レンズ４７によって結像された像を示し、又ｆは前記第２リレーレンズ４９の焦点距離を示している。

前記第１リレーレンズ４８の前記第２リレーレンズ４９側に絞り５５が配設され、前記対物レンズ４７、前記第１リレーレンズ４８、前記第２リレーレンズ４９、前記第３リレーレンズ５０、前記結像レンズ５１、前記撮像素子５２、前記絞り５５により前記光学系４５が構成されている。

該絞り５５は、図中紙面に対して垂直な方向に延びるスリット状の絞り孔５５ａを有している。又、該絞り５５は前記第２リレーレンズ４９の物側焦点位置又は略物側焦点位置に配設され、該絞り５５は前記光軸４６に対して垂直な方向（前記絞り孔５５ａと直交する方向）に移動可能に支持され、前記絞り５５はリニアモータ等の位置変位手段により適宜位置が変更される様になっている。

ここで、前記絞り５５、前記第２リレーレンズ４９はテレセントリック光学系５６を構成する。前記第１リレーレンズ４８を透過した光束は、前記テレセントリック光学系５６によって平行な多数の光束（主光線５７）に分割される。

該主光線５７の集光位置（前記第２リレーレンズ４９による結像位置、或は略結像位置）には、選択波長特性の異なる複数の透過型干渉膜が形成された透過式の干渉フィルタ１５が配設される。該干渉フィルタ１５は、回転軸５９を中心として回転可能に支持され、更にモータ等の回転手段により回転可能となっている。又、前記干渉フィルタ１５は波長選択フィルタとして機能し、前記干渉フィルタ１５の干渉膜を透過した特定波長の光線が、前記第３リレーレンズ５０及び前記結像レンズ５１によって前記撮像素子５２上に結像される。結像された像は、特定波長に形成され２次元の像となる。

前記干渉フィルタ１５は、該干渉フィルタ１５に入射する光線の入射角によって選択波長特性が変化する性質を有する。図５は、入射角と透過するピーク波長の関係（ピーク波長の入射角依存性）を示しており、入射角を変化させることでピーク波長が変化していることが分る。

又、図４（Ａ）は、前記絞り５５の前記絞り孔５５ａが前記光軸４６上に位置しており、この場合前記主光線５７は前記光軸４６と平行となる。次に、図４（Ｂ）に示す様に前記絞り５５を移動させた場合、例えば図示の様に、上方に移動させると、前記主光線５７は前記光軸４６に対して傾斜する。即ち、前記干渉フィルタ１５に対する入射角が変化する。従って、前記絞り５５を移動させることで前記干渉フィルタ１５を透過する波長を変化させることが可能となる。

例えば、図５を参照すれば、前記干渉フィルタ１５に対する入射角を０゜〜５０゜に変化させると、透過波長のピークは６００ｎｍ〜５２０ｎｍに変化する。即ち、前記干渉フィルタ１５は、６００ｎｍ〜５２０ｎｍの波長選択範囲Ｗを有することになる。図６は、前記干渉フィルタ１５への入射角に対応する波長透過特性を示しており、該干渉フィルタ１５の角度を０°，１０°，２０°，３０°，４０°と変化させた場合に得られる光スペクトルの一例を示している。

図４では、前記干渉フィルタ１５を前記光軸４６に対して傾斜させているが、図５に示される様に入射角依存性は入射角が１０゜を超えた辺りからリニアとなる。従って、予め前記干渉フィルタ１５を傾斜させておくことで、前記絞り５５の変位に対する選択波長の変化が効果的に得られる。

従って、前記絞り５５を変位させる度に、前記撮像素子１７より画像を取得し、又例えば図４の波長透過特性を有する干渉フィルタ１５の分割透過面を前記主光線５７の光路に配置することで、６００ｎｍ〜５２０ｎｍの波長範囲での光スペクトルを取得することができる。又、６００ｎｍ〜５２０ｎｍを超える波長範囲での光スペクトルを取得する場合は、前記主光線５７の光路に異なる波長選択範囲Ｗ′を有する分割透過面が配置される様前記干渉フィルタ１５を回転させればよい。上記の様に、該干渉フィルタ１５に前記絞り５５を組合わせることで、前記干渉フィルタ１５自体で得られる光スペクトルを更に細分化した光スペクトルを得ることができる。

以下、本実施例に於ける作動を図７、図８を参照して説明する。尚、以下では、カメラ１４として、前記干渉フィルタ１５を有する前記光学系４５が用いられ、且つ前記カメラ１４が飛行体であるヘリコプタ１に搭載された場合について説明している。

ホバリング状態で画像を取得している状態では、前記カメラ１４の姿勢は常に変動しており、完全に静止しているとは言えない。従って、各波長毎に取得した画像には、多少のズレがある。この為、前記スペクトルデータ記憶部２７に格納された光スペクトル画像をそのまま合成すると、誤差が生じ、或はぼやける等の問題が生じる。

図８は、ホバリング状態で、選択した波長がλ１，λ２，λ３，λ４の光スペクトル画像を取得している状態を示しており、図８（Ａ）のＳ１は、撮像装置１１が完全に静止している状態、Ｓ２はホバリング状態で撮像装置１１が変動している状態を示している。又図８（Ｂ）は、前記撮像装置１１が変動している状態で取得したλ１，λ２，λ３，λ４の光スペクトル画像を、時間的な経過に合わせて展開した図である。尚、図中、黒丸は前記第２領域である外周部６０ａ′〜６０ｅ′及び内周部６０ａ′′〜６０ｅ′′の透過領域を透過した像（リアル画像）から抽出した特徴点である。図８（Ａ）、図８（Ｂ）から分る様に、画像をそのまま合成すると、各画像間で特徴点は合致せず、誤差が生じ、或はぼやけることが分る。

従って、ホバリング状態で各波長毎に取得した光スペクトル画像を合成できる様に前記第２領域で特徴点をマッチング（相対的な位置合せ）する必要がある。

本実施例では、前記干渉フィルタ１５の回転により、前記主光線５７を前記分割透過面６０ｆに透過させることでリアル画像のみからなる静止画像が取得できると共に、前記主光線５７を前記分割透過面６０ａ〜６０ｅに透過させることで光スペクトル画像が得られ、更に前記主光線５７を前記外周部６０ａ′〜６０ｅ′及び内周部６０ａ′′〜６０ｅ′′の透過領域を透過したリアル画像も得られるので、これらが一体化された混合画像データを取得できる様になっている。

先ず、前記ヘリコプタ１をＯ1 地点でホバリングさせ静止させた後、前記干渉フィルタ１５を回転させ、分割透過面６０ｆを選択する。その後、前記カメラ１４により前記分割透過面６０ｆを介してＯ1 地点で静止画像（左画像４２）を取得し、又前記ＧＰＳ装置９でＯ1 地点の位置の測定が行われる。取得された静止画像は前記画像データ記録部２３に格納され、更に前記画像処理部２９により前記静止画像の第２領域部５８ｂ，５８ｃ部分の画像データから、特徴点が少なくとも５以上(好ましくは多数)抽出される。

Ｏ1 地点で静止画像を取得した後には、Ｏ1 地点で前記干渉フィルタ１５を回転させ、分割透過面６０ａ〜６０ｅを順次切替える。又、各分割透過面で前記絞り５５の位置を所定時間間隔毎に変位させ、該絞り５５の位置変更毎に混合画像を取得し、前記第１領域部５８ａを透過した部分について、各分割透過面毎にλ１〜λｎの光スペクトル画像を取得する。

例えば、前記分割透過面６０ａを選択した場合には、λａ１〜λａｎの光スペクトル画像が取得され、前記分割透過面６０ｂを選択した場合には、λｂ１〜λｂｎの光スペクトル画像が取得され、前記分割透過面６０ｃを選択した場合には、λｃ１〜λｃｎの光スペクトル画像が取得され、前記分割透過面６０ｄを選択した場合には、λｄ１〜λｄｎの光スペクトル画像が取得され、前記分割透過面６０ｅを選択した場合には、λｅ１〜λｅｎの光スペクトル画像が取得される。

上記した全ての光スペクトル画像を取得することで、全波長に於ける光スペクトル画像が取得される。光スペクトル画像の取得中、前記第２領域部５８ｂ，５８ｃで得られたリアル画像より、少なくとも５の特徴点が抽出されており、該特徴点を基に時間的に隣接するリアル画像間のトラッキングが行われる。又、リアル画像の取得後、次のリアル画像を取得する迄に、両リアル画像間で光軸の傾き等が生じた場合は、両リアル画像間で特徴点に基づき座標変換が実行され、画像マッチングが行われる。

尚、混合画像から分離されたリアル画像は撮像範囲が狭くなっているが、該リアル画像は静止状態に於ける撮像画像であるので、画像間の変位量は小さく、狭い範囲のリアル画像でのトラッキングが可能となっている。

更に、混合画像から分離したリアル画像と光スペクトル画像は位置関係が常に一定であるので、リアル画像間で得られた条件はそのまま光スペクトル画像間のマッチングに適用することができる。

而して、Ｏ1 地点の全波長に於ける光スペクトル画像を取得し、全リアル画像間でのトラッキングが終了すると、リアル画像のトラッキング情報を基に全ての各光スペクトル画像を誤差なく位置合せ及び合成することができる。

又、光スペクトル合成画像とＯ1 地点の静止画像の前記第１領域部５８ａとを合成し、ハイパースペクトル画像を作成する。

Ｏ1 地点からＯ2 地点へ移動を開始する際には、先ず前記干渉フィルタ１５を回転し、前記分割透過面６０ｆに切替える。前記干渉フィルタ１５の切替え後、始めにＯ1 地点で取得した静止画像から、少なくとも５の特徴点を抽出し、Ｏ1 地点からＯ2 地点への移動を開始する。Ｏ1 地点からＯ2 地点への移動中、前記カメラ１４により前記分割透過面６０ｆを介して動画像（フレーム画像）が取得されており、抽出した特徴点を基に各フレーム画像のトラッキングを行う。前記分割透過面６０ｆは全領域でリアル画像を取得できるので、大きな変位にも対応して画像トラッキングが可能である。

Ｏ2 地点に到達すると、前記カメラ１４により前記分割透過面６０ｆを介してＯ2 地点での静止画像（右画像４３）を取得し、前記ＧＰＳ装置９により、Ｏ2 地点の位置測定が行われる。次に、前記画像処理部２９により、Ｏ2 地点での静止画像に前記特徴点を少なくとも５つ特定し、該特徴点に基づきＯ1 地点での静止画像とＯ2 地点での静止画像についてマッチングを行う。更に前記測定部３３により、Ｏ1 地点で取得した静止画像と、Ｏ2 地点で取得した静止画像、及び前記ＧＰＳ装置９で測定したＯ1 地点、Ｏ2 地点の位置データにより写真測量を行い、各画素毎の３次元データを取得する。

最後に、Ｏ1 地点で得た３次元データと、Ｏ1 地点で得たハイパースペクトル画像とを合成し、スペクトルデータを含む４次元画像を作成する。

尚、上記ではＯ1 地点でハイパースペクトル画像を取得しているが、Ｏ2 地点に於いても、Ｏ1 地点と同様の処理が行われることでハイパースペクトル画像を取得することができる。従って、Ｏ2 地点でハイパースペクトル画像を取得してもよい。

従って、作物の発育状態を光スペクトルから、或は作物の３次元データから大きさを認識することが可能である。或は、地表の状態を露出した物質の種類の情報も合わせて取得することができる。

上記した写真測量、光スペクトル画像、ハイパースペクトル画像の取得合成等について、図９、図１０を参照して更に説明する。

ＳＴＥＰ：０１ 前記ヘリコプタ１をＯ1 地点でホバリングを開始し、前記干渉フィルタ１５を回転させて前記分割透過面６０ｆを選択した後、Ｏ1 地点で前記カメラ１４により左画像４２を取得する。又、前記ＧＰＳ装置９によるヘリコプタ１の位置（即ちＯ1 地点）の測定が行われる。

ＳＴＥＰ：０２ 取得した左画像４２をエッジ処理或はコーナ抽出処理をする等して特徴点を抽出する。

ＳＴＥＰ：０３ その後、前記主光線５７が前記分割透過面６０ａ〜６０ｅの所定の領域を透過する様前記干渉フィルタ１５を間欠回転させ、更に各分割透過面毎に前記絞り５５の位置を変更させ、各絞り５５の位置毎に前記画像カメラ１４により光スペクトル画像とリアル画像とを有する混合画像を取得する。又、取得した混合画像より光スペクトル画像とリアル画像を分離させ、分離させたリアル画像により同位置での画像トラッキング（以下、同位置トラッキング）が実行され、同位置トラッキングの結果に基づき各光スペクトル画像間での画像位置補正が実行される。

Ｏ1 地点での光スペクトル画像の取得、画像位置補正について、ＳＴＥＰ：２１〜ＳＴＥＰ：２７により説明する。

ＳＴＥＰ：２１ スペクトル測定が開始されると、所定波長領域（λ１〜λｎ）の光スペクトル画像部を有する混合画像が、各波長毎に所定の時間間隔で取得される。

ＳＴＥＰ：２２ 取得された混合画像は、前記カメラコントローラ２４により光スペクトル画像部とリアル画像部とに分離され、光スペクトル画像部が時系列に前記スペクトルデータ記憶部２７に格納されると共に、リアル画像部が時系列に前記画像データ記録部２３に格納される。

ＳＴＥＰ：２３ 画像トラッキング（同位置トラッキング）は、分離された光スペクトル画像部（λ１）と同時に取得されたリアル画像部（第１リアル画像）から少なくとも５の特徴点を抽出し、時間的に隣接する次の光スペクトル画像部（λ２）と同期したリアル画像部（第２リアル画像）に特徴点を特定する。

ＳＴＥＰ：２４ 得られた第１リアル画像部の特徴点と第２リアル画像部の特徴点とに基づき第１リアル画像部と第２リアル画像部間のマッチング、第１リアル画像部と第２リアル画像部との間の座標変換が実行される。

ＳＴＥＰ：２５ リアル画像部と光スペクトル画像部とは同時に取得されるので、リアル画像部に対応する光スペクトル画像部との位置関係は常に一定であり、前記リアル画像部をマッチングした条件、座標変換の条件が時間的に隣接する前記光スペクトル画像部に適用される。

ＳＴＥＰ：２６ 全ての波長の光スペクトル画像部が取得されているかどうかが判断され、取得されていない場合は、ＳＴＥＰ：２１に戻り、引続き光スペクトル画像部の取得、同位置トラッキングが行われる。

ＳＴＥＰ：２７ 所定波長領域（λ１〜λｎ）の全ての波長についての光スペクトル画像部が取得されると、全ての光スペクトル画像部をリアル画像部によるトラッキングで得た条件で合成することでＯ1 地点での所定波長領域（λ１〜λｎ）の光スペクトルを有する第１光スペクトル合成画像を取得することができる。更に、該第１光スペクトル合成画像と前記静止画像とを合成することでハイパースペクトル画像を取得することができる。

ＳＴＥＰ：０４〜ＳＴＥＰ：０６ Ｏ1 地点での前記静止画像とハイパースペクトル画像が取得されると、前記ヘリコプタ１がＯ2 地点に移動する。移動の際には、先ず前記干渉フィルタ１５が回転されて前記分割透過面６０ｆが選択される。移動中には前記カメラ１４により動画像が取得され、画像トラッキング（移動トラッキング）が実行される。移動トラッキングは前記左画像４２で抽出した特徴点に基づき実行しても、或はホバリング状態で同位置トラッキングで最終的に得られる特徴点を用いて移動中の画像トラッキングを行ってもよい。

ＳＴＥＰ：０７ 前記ヘリコプタ１がＯ2 地点に到達し、移動トラッキングが終了されると、ホバリングが開始され、静止画像である右画像４３が取得される。

ＳＴＥＰ：０８ ホバリング状態で、前記干渉フィルタ１５を回転させて前記分割透過面６０ａ〜６０ｅを選択し、更に前記絞り５５を変位させ、該絞り５５の各位置毎に前記カメラ１４により混合画像を取得する。又、取得した混合画像より光スペクトル画像部とリアル画像部を分離させ、分離させたリアル画像部により同位置での画像トラッキング（以下、同位置トラッキング）が実行され、同位置トラッキングの結果に基づき各光スペクトル画像部間での画像位置補正が実行される。

前記ＳＴＥＰ：２１〜ＳＴＥＰ：２７が実行され、Ｏ2 地点で所定波長領域（λ１〜λｎ）の全ての波長についての光スペクトル画像部が取得され、得られた全ての光スペクトル画像部を合成してＯ2 地点での所定波長領域（λ１〜λｎ）の光スペクトルを有する第２光スペクトル合成画像が取得され、更に、該第２光スペクトル合成画像と前記右画像４３とを合成することでハイパースペクトル画像が取得される。

ＳＴＥＰ：０９、ＳＴＥＰ：１０、ＳＴＥＰ：１１ 画像トラッキングにより前記右画像４３中に特定された特徴点と、前記左画像４２中に特定された特徴点とに基づき、マッチングが行われ、又左画像４２又は右画像４３のいずれかを基準とする座標変換（相互標定）が行われ、更にＧＰＳ装置９の地心座標への座標変換（絶対標定）が行われる。

ＳＴＥＰ：１２、ＳＴＥＰ：１３ 絶対標定の結果を基に左画像４２と右画像４３とのステレオマッチングが行われ、３次元位置データを有する地形の３次元モデルが得られる。

ＳＴＥＰ：１４ 上記した様に、混合画像と静止画像とは同軸で撮像され、１：１に対応しているので、光スペクトルが得られる位置での３次元位置データが得られ、光スペクトル画像と前記３次元モデルとを合成することで、地形の３次元位置データと光スペクトル情報を有する４次元モデルが作成できる。

上述の様に、本実施例では、前記カメラ１４に円板状の前記干渉フィルタ１５を設け、該干渉フィルタ１５に円周方向に所要角度に分割された分割透過面を形成し、該分割透過面の１つを全波長が透過する全透過面とし、１つのカメラでリアル画像部と光スペクトル画像部の両方を取得することができる様にしたので、リアル画像に基づき光スペクトル画像の位置合せを実行でき、画像取得装置が飛行体１等の動体に設けられた場合でも精度の高い光スペクトル合成画像、又ハイパースペクトル画像を取得することができる。更に、リアル画像を取得するカメラの他に光スペクトル画像を取得するスペクトルカメラを別途設ける必要がなく、構造の簡易化及びコストの低減を図ることができる。

又、前記絞り５５を設けることで、分割透過面の一以上の光スペクトルを得ることができる。

又、異なる選択波長特性の干渉膜が形成された分割透過面の一部に、前記主光線５７が全透過する第２領域を形成したので、光スペクトル画像部とリアル画像部とを同時に取得することができ、各画像間で経時的にズレを生じてもリアル画像部をマッチングさせることで容易に光スペクトル画像部の合成を行うことができる。

更に、前記分割透過面６０ｆを前記主光線５７が全透過する全透過面としているので、リアル画像のみを広範囲に取得することが可能となり、動画トラッキング等多数の特徴点抽出を必要とする処理であっても本実施例に於ける撮像装置１１を適用することができる。

尚、前記光学系４５では、前記絞り５５の位置を変更することで前記干渉フィルタ１５に対する入射角を変位させ、所定範囲に於ける波長の変更を可能としているが、取得したい光スペクトルの波長が決っており、且つ種類も少ない場合には、前記絞り５５を省略してもよい。

図１１、図１２は、本発明の第２の実施例に於ける光学系４５′を示している。

図３で示した前記光学系４５では透過式の干渉フィルタ１５を用いたが、図１１で示される様に、光学特性変更部である反射式の干渉フィルタ６１を用いて光学系４５′を構成することもできる。前記干渉フィルタ６１は反射鏡に反射式の干渉膜を形成したものであり、回転軸５９を中心として回転可能に支持され、更にモータ等の回転手段により回転可能となっている。前記光学系４５′では、前記干渉フィルタ６１が主光線５７を反射することで波長が選択される。

尚、図１１中、図４中で示したものと同等のものには同符号を付してあり、その説明を省略する。

上記第２の実施例でも、図１１（Ｂ）に示される様に、前記絞り５５を移動させることで、前記干渉フィルタ６１への主光線５７の入射角が変化し、所定の波長選択範囲Ｗ内での特定波長が選択反射される。

又、図１２に示される様に、前記干渉フィルタ６１は円板状であり、反射面には円周方向に所要角度に等分（図示では６等分）され、分割部は分割反射面６３ａ〜６３ｆとして形成されている。

前記干渉フィルタ６１では、前記分割反射面６３ａ〜６３ｆの内、複数の分割部である分割反射面６３ａ〜６３ｅには、同心円状に第２領域、第１領域、第２領域がそれぞれ形成され、前記第１領域には各分割反射面６３ａ〜６３ｅ毎に選択波長λ１〜λ５の選択波長特性の異なる第１領域である反射干渉膜が形成され、更に他の分割部である分割反射面６３ｆは、第１領域、第２領域（６３ｆ′，６３ｆ′′）共に光学特性を有さず全ての波長を反射する様になっている。

又、各分割反射面６３ａ〜６３ｅは、前記第１領域の外周側の外周部６３ａ′〜６３ｅ′と内周側の内周部６３ａ′′〜６３ｅ′′が前記第２領域となっており、これら第２領域は全ての波長を反射させる。前記干渉フィルタ６１上に結像される結像５８は、前記第２領域、前記第１領域、前記第２領域に掛渡り、前記結像５８の外周側の一部が前記外周部６３ａ′〜６３ｅ′，６３ｆ′にオーバラップし、内周側の一部が前記内周部６３ａ′′〜６３ｅ′′，６３ｆ′′にオーバラップする。

前記干渉フィルタ６１で反射された光束は、結像レンズ５１を経て撮像素子５２に結像される様になっている。前記干渉フィルタ６１を用いる場合、前記分割反射面６３ｆを選択し、該分割反射面６３ｆに前記光軸４６を合致させた場合は、波長選択されることなく全反射され、リアル画像データのみの静止画像データが取得される。又、前記分割反射面６３ａ〜６３ｅのいずれかが選択された場合、例えば分割反射面６３ｅが選択された場合、分割反射面６３ｅの第１領域部５８ａで反射され波長選択されると共に、前記結像５８の内、第２領域部５８ｂ，５８ｃとで部分的に全反射され、混合画像データが取得される様になっている。

上記の様に、干渉フィルタとして反射式の干渉フィルタ６１を用いることで、光学系４５′をコンパクトにすることができる。

図１３は、図１１で示した光学系４５′の変更例を示している。

図１３で示す変更例では、反射式の干渉フィルタ６２を用いており、該干渉フィルタ６２は干渉フィルタ６１と同様の構成となっている。

光軸４６上に対物レンズ４７、第１リレーレンズ４８、絞り５５が配置され、前記光軸４６と平行で所定量離反した光軸上に第２リレーレンズ４９が配設され、該第２リレーレンズ４９に対向して前記干渉フィルタ６２が設けられている。該干渉フィルタ６２で反射された光束は、反射鏡６４によって偏向され、偏向された光束は結像レンズ５１を経て撮像素子５２に結像される。

該変更例では、第１リレーレンズ４８、絞り５５が前記第２リレーレンズ４９の光軸４６とはずれた位置にあるので、テレセントリック光学系５６によって分割された主光線５７は前記干渉フィルタ６２に傾斜して入射する。更に、図１３（Ｂ）に示される様に、前記絞り５５を前記光軸４６より離反する様に移動させれば、前記主光線５７の入射角は更に大きくなる。従って、前記絞り５５を移動させることで選択波長を変更することができる。

上記変更例では、反射式の前記干渉フィルタ６２を使用しているので、光学系４５′′のコンパクト化が図れると共に、第３リレーレンズ５０を前記第２リレーレンズ４９が兼用している為、部品点数が削減でき、コストの低減を図ることができる。

次に、図１４に於いて、本発明の第３の実施例について説明する。

図１４は、第３の実施例に於ける撮像装置１１の概略構成を示しており、第３の実施例では、カメラ１４で撮像された混合画像データが、カメラコントローラ２４により光スペクトル画像データとリアル画像データとに分離されることなく画像データ記録部２３に格納される様になっている。

該画像データ記録部２３に格納された混合画像データは、リアル画像部分、即ち第２領域部５８ｂ，５８ｃ（図３参照）より少なくとも３の特徴点が抽出され、該特徴点を基に時間的に隣接する混合画像データをマッチングさせる。

混合画像データは、光スペクトル画像データとリアル画像データとが一体となった画像データであり、混合画像データ内の光スペクトル画像データとリアル画像データとの位置関係は常に一定であるので、特徴点を基に混合画像データをマッチングさせた結果、自動的に光スペクトル画像部分もマッチングされる。

最後に、マッチングさせた混合画像データより、画像分離部３０によりリアル画像部を分離させることで、所定波長領域（λ１〜λｎ）の光スペクトルを有する光スペクトル合成画像が取得される。

上述の様に、第３の実施例では、混合画像データに於けるリアル画像部分の特徴点抽出、マッチング処理が光スペクトル画像データの合成処理を兼ねるので、処理工程を減少させ、処理負担の低減を図ることができる。

１ ヘリコプタ
２ 基地制御装置
３ 機体
９ ＧＰＳ装置
１１ 撮像装置
１２ 光軸
１３ カメラ部
１４ カメラ
１５ 干渉フィルタ
２１ 撮像制御装置
２２ 演算制御部
２８ 画像合成部
２９ 画像処理部
３３ 測定部
３４ モデル画像形成部
３５ 表示部
３６ 記憶部
４５ 光学系
４７ 対物レンズ
４８ 第１リレーレンズ
４９ 第２リレーレンズ
５０ 第３リレーレンズ
５１ 結像レンズ
５２ 撮像素子
５５ 絞り
５６ テレセントリック光学系
５７ 主光線
５８ 結像
６０ 分割透過面
６１ 干渉フィルタ
６２ 干渉フィルタ
６３ 分割反射面
６４ 反射鏡

Claims (6)

1. 光学特性変更部と、対物レンズを含み、該対物レンズからの光を前記光学特性変更部へと導く光学系と、前記光学特性変更部を介した光を受光する撮像素子とを具備し、前記光学特性変更部は複数の分割部を有すると共に分割部の１つを選択的に光路に配置させる構成であり、前記分割部は前記光学系からの光から特定の波長を選択する第１領域と、前記光学系からの光の光学特性を変更させない第２領域とを有することを特徴とする画像取得装置。
2. 撮像制御装置を更に具備し、１つの分割部の前記第２領域を介して撮像された画像と、他の分割部の前記第２領域を介して撮像された画像との画像マッチングに基づき、前記１つの分割部の前記第１領域を介して撮像された画像と、前記他の分割部の前記第１領域を介して撮像された画像とを合成して光スペクトル合成画像を作成する請求項１の画像取得装置。
3. 光路に配置された絞りを更に具備し、該絞りは絞り孔を有し、前記絞りを移動させることで前記光学特性変更部により選択される波長が変化する請求項１又は請求項２の画像取得装置。
4. 前記光学特性変更部は、前記第１領域及び前記第２領域共に光学特性を変更させない更に他の分割部を更に具備する請求項１〜請求項３のうちいずれかの画像取得装置。
5. 前記撮像制御装置は複数の分割部の前記第２領域を介して撮像された画像と、前記更に他の分割部を介して撮像された静止画像との画像マッチングに基づき、複数の分割部の前記第１領域を介して撮像された画像と、前記静止画像とを合成してハイパースペクトル画像を作成する請求項４の画像取得装置。
6. 地心座標の測定を行うＧＰＳ装置を更に具備し、前記撮像制御装置は第１地点で前記更に他の分割部を介して静止画像を取得すると共に、第１地点の静止画像から複数の特徴点を抽出し、第１地点から第２地点に移動中に前記更に他の分割部を介して時系列に連続するフレーム画像で構成される動画像を取得し、更に第１地点から第２地点に移動中の動画像により動画像トラッキングを行うと共に、第２地点で前記更に他の分割部を介して静止画像を取得し、第２地点の静止画像に前記特徴点を特定し、該特徴点に基づき第１地点の静止画像と第２地点の静止画像とをステレオマッチングすると共に、前記ＧＰＳ装置により測定された第１地点及び第２地点の地心座標系の位置に基づき３次元モデルを形成し、又前記撮像制御装置は前記光スペクトル合成画像と前記３次元モデルとを合成し、３次元位置データと光スペクトル情報を有する４次元モデルを作成する請求項５の画像取得装置。