JP2005043084A

JP2005043084A - 撮影画像合成システム、撮影画像合成方法、プログラム、及び記録媒体

Info

Publication number: JP2005043084A
Application number: JP2003200283A
Authority: JP
Inventors: Kazuo Matsufuji; 和夫松藤; Akira Takakura; 章高倉; Toshiki Hara; 豪紀原; Yoko Hanada; 陽子花田
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 2003-07-23
Filing date: 2003-07-23
Publication date: 2005-02-17

Abstract

【課題】奥行きのある対象物の３次元形状ＣＧデータを、効率的に制作できる撮影画像合成システムを提供する。
【解決手段】撮影画像合成システム１において、形状結合処理装置３は、撮影パラメータを３次元形状入力装置５に設定する。３次元形状入力装置５は、レーザ光の焦点距離（被写界深度の範囲）をずらして計測対象物１１の複数の撮影データを取得する。形状結合処理装置３は、３次元形状入力装置５が取得した複数の撮影データを受け取り、結合して高精度な１つの結合データを作成する。この結合データにより、奥行きのある計測対象物１１の３次元形状画像を効率的に制作する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、実物体の３次元形状を非接触で計測する３次元形状計測システムにに関するものである。
【０００２】
【従来の技術】
近年、コンピュータハードウェアの性能は急速に向上してきている。特にグラフィックスハードウェアやネットワークの情報転送速度はめざましい進歩を遂げており、汎用ＰＣでさえも高性能なハードウェアを搭載し、高速通信が進んできている。また、３次元入力装置を用いた実体物から３次元情報（形状や色）をデータ化し、コンピュータに取り込む技術も進歩してきている。
【０００３】
以上のことから、ネットワーク経由で３次元コンピュータグラフィックス（以下３ＤＣＧ）コンテンツを配信するサービスの需要が高まりつつある。従来の３ＤＣＧ制作方法（３ＤＣＧ制作アプリケーションで制作）では、３ＤＣＧコンテンツの制作コストが高くなるため、制作コストを低減する３次元形状入力装置が導入されるようになった。
【０００４】
例えば、レーザ光を用いた光切断方式の３次元形状入力装置が知られている。即ち、この方式は、レーザ光をスリット状にして対象物をスキャンし、その反射光をＣＣＤカメラで受光する。三角測量法の原理で、レーザ発光部から対象物までの方向と距離とを検出することで、対象物の３次元形状を計測する（特許文献１参照）。
【０００５】
また、複数の照射手段を設け、互いに異なる方向から対象物に照射し、収差による影響の低減、および計測精度を向上させる３次元形状計測装置がある（特許文献２参照）。
【０００６】
【特許文献１】
特開２０００−１３１０３１号公報
【特許文献２】
特開２０００−３２９５３１号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、レーザ光を用いた３次元形状入力装置において、１度に撮影できる奥行き方向の範囲（以下、被写界深度と記す）は限られている。このため、奥行き方向に距離がある対象物は、１度の撮影で全ての計測を行うことができない。
【０００８】
従来は、焦点距離（被写界深度の範囲）をずらしながら、対象物を複数回計測し、計測結果の位置関係を手動修正した後、結合（合成）していた。このため、対象物の撮影と、結合処理を繰り返し行う必要があり、３次元形状ＣＧデータの制作コストが高くなる原因となっていた。
【０００９】
本発明は、このような問題に鑑みてなされたもので、その目的とするところは、奥行きのある対象物の３次元形状ＣＧデータを、効率的に制作できる撮影画像合成システムを提供することにある。
【００１０】
【課題を解決するための手段】
前述した目的を達成するために第１の発明は、対象物の３次元形状を撮影する形状入力装置と、前記形状入力装置が撮影する複数の撮影データを読み取る読取手段と、前記複数の撮影データを結合し、結合データを作成する結合データ作成手段と、前記結合データを記憶する記憶手段とを、具備し、前記形状入力装置は、焦点距離をずらして前記対象物を複数回撮影し、前記対象物の撮影データを得ることを特徴とする撮影画像合成システムである。
【００１１】
形状入力装置は、焦点距離をずらして対象物を撮影すると、焦点の合う奥行き方向の距離範囲である被写界深度もずれ、撮影される前記対象物の領域が変わる。
【００１２】
前記結合データ作成手段は、前記複数の撮影データを、重み付け法、最小二乗法、ロバスト推定法等を用いて結合し、結合データを作成する。即ち、被写界深度を変えて得られた複数の撮影データを、最適な手法で結合して高精度な３次元形状を得る。
【００１３】
重み付け法は、例えば、焦点距離の近い撮影データに重みをより大きくつけて、撮影データを結合する。
【００１４】
最小二乗法は、撮影データと結合データとの差の２乗和が最小となるようなパラメータを決定する手法であり、撮影データの誤差が正規分布を示す時の最尤推定法である。
【００１５】
ロバスト推定法は、例外値をある程度含む撮影データであっても、例外値の影響を受けにくい推定法である。
【００１６】
前記結合データ作成手段は、前記複数の撮影データを、焦点距離が近い撮影データほど優先して結合する。焦点距離が近いほど測定精度が高いので、焦点距離が近い撮影データを優先して結合する結合手法である。
【００１７】
形状入力装置は、レーザ光を用いた光切断方式の３次元形状入力装置である。レーザ照射機から照射されたレーザ光を、円筒形レンズでスリット状にし、ガルバノミラーで方向を変え、対象物に照射する。対象物をスキャンして反射光をＣＣＤ等の画像撮影装置で取り込み、三角測量法の原理で、レーザ発光部から対象物までの距離と方向を検出して、対象物の３次元形状を計測する。
【００１８】
撮影データとは、レーザ光をガルバノミラーで走査し、１回のスキャンで例えば６４０点×４８０点の計測を行い、各点ごとに対象物の奥行き情報（距離情報）を測定したデータである。本実施の形態では、同一視点からレーザ光の焦点距離を変えて、計測対象物の複数の撮影データを得る。
【００１９】
結合データとは、得られた複数の撮影データの重複する領域に、前述のいずれかの結合データ作成手段を施して得られる、高精度な対象物の３次元形状データである。
【００２０】
第１の発明の撮影画像合成システムは、対象物の３次元形状を撮影する形状入力装置の複数の撮影データを読み取り、複数の撮影データを結合して結合データを作成する。形状入力装置は、同一視点からレーザ光の焦点距離を変えて対象物を複数回撮影し、撮影データを得る。結合データ作成手段は、重み付けの方法、最小二乗法を利用する方法、ロバスト推定法、レーザ強度が弱い撮影データを優先させる方法等がある。
【００２１】
第２の発明は、形状入力装置が対象物の３次元形状を撮影して得る、複数の撮影データを読み取る読取工程と、前記複数の撮影データを結合し、結合データを作成する結合データ作成工程と、前記結合データを記憶する記憶工程とを、具備し、前記形状入力装置は、焦点距離をずらして前記対象物を複数回撮影し、前記対象物の撮影データを得ることを特徴とする撮影画像合成方法である。
【００２２】
第２の発明の撮影画像合成方法は、形状入力装置が対象物の３次元形状を撮影して得る、複数の撮影データを読み取り、複数の撮影データを結合して結合データを作成する方法である。形状入力装置は、同一視点からレーザ光の焦点距離をずらして対象物を複数回撮影し、対象物の撮影データを得る。
【００２３】
第３の発明は、コンピュータを、請求項１から請求項３記載のいずれかの撮影画像合成システムとして機能させるためのプログラムである。
【００２４】
第３の発明のプログラムは、請求項１から請求項３記載の撮影画像合成システムを機能させるものであり、このプログラムをネットワークを介して流通させることもできる。
【００２５】
第４の発明は、コンピュータを、請求項１から請求項３記載のいずれかの撮影画像合成システムとして機能させるためのプログラムを記録した記録媒体である。
【００２６】
第４の発明の記録媒体は、請求項１から請求項３記載の撮影画像合成システムを機能させるプログラムを記憶しており、この記録媒体を流通させることもでき、またこのプログラムをネットワークを介して流通させることもできる。
【００２７】
【発明の実施の形態】
以下、図面に基づいて本発明の実施の形態を詳細に説明する。図１は、本発明の実施の形態に係る撮影画像合成システム１の構成を示す図である。
【００２８】
（１．構成）
撮影画像合成システム１は、計測対象物１１の３次元形状を、非接触で測定するシステムであり、形状結合処理装置３と、３次元形状入力装置５とで構成される。
【００２９】
（１−１．形状結合処理装置３の構造）
形状結合処理装置３は、図１に示すように、ＣＰＵ（中央処理装置）等の制御部１５と、ハードディスク等の記憶部１３と、ディスプレイ等の表示装置７と、キーボードやマウスなどの入力装置９等で構成される。
【００３０】
操作者は、入力装置９から撮影パラメータの入力を行う。撮影パラメータとは、計測対象物１１までの距離、撮影に使われるレーザ強度、画像撮影時の輝度などである。尚、幾つかのパターンの撮影パラメータを記憶部１３に登録し、それを選択するようにしても良い。
【００３１】
表示装置７は、ＣＲＴや液晶ディスプレイ等の機器であり、撮影パラメータの設定項目や、計測された３次元コンピュータグラフィックスデータ（ポリゴン化された形状情報、及びテクスチャ情報）を表示する。
【００３２】
記憶部１３は、ハードディスクやＣＤ−ＲＯＭ等の機器である。図３に記憶部１３の内容を示す。記憶部１３には、３次元形状入力装置５で測定された計測対象物１１の撮影データ２９、及び色情報３９を登録する。また、撮影データ２９を結合した結合データ３１を登録する。また、結合データ３１に色情報３９をつけて作成される３ＤＣＧデータ４１を登録する。
【００３３】
制御部１５は、入力装置９から入力される撮影パラメータを、３次元形状入力装置５に設定し、撮影処理の管理を行う。また、３次元形状入力装置５から、計測対象物１１の奥行き情報、及び色情報３９を読み込み、加工処理と結合処理を施して表示装置７に出力する。制御部１５の詳細構造を図２に示す。
【００３４】
制御部１５は、コンピュータのＣＰＵ等であり、処理機能により図２のような構造に分けられる。即ち制御部１５は、その機能により、３次元形状入力装置管理部２３と、撮影データ処理部２５と、撮影処理管理部２１と、結合処理部２７とで構成される。図２により、処理の流れとともに、制御部１５の各機能を説明する。
【００３５】
撮影処理管理部２１は、入力装置９から入力（ステップ４０１）された撮影パラメータを、３次元形状入力装置管理部２３に送り、更に形状入力装置管理部２３に対し撮影実行の命令を行う（ステップ４０２）。
【００３６】
３次元形状入力装置管理部２３は、撮影パラメータを３次元形状入力装置５に設定し、撮影処理を実行させる（ステップ４０３）。また、３次元形状入力装置５からの、計測対象物１１の奥行き情報（撮影データ２９）と色情報３９を取得し（ステップ４０４）、撮影データ処理部２５に送る（ステップ４０５）。
【００３７】
撮影データ処理部２５は、３次元形状入力装置管理部２３から計測対象物１１の奥行き情報（撮影データ２９）と色情報３９を読み込み、修正及び変換した後、撮影処理管理部２１に送る（ステップ４０６）。
【００３８】
撮影処理管理部２１は、撮影データ処理部２５から計測対象物１１の奥行き情報（撮影データ２９）と色情報３９を読み込み、結合処理部２７に送る（ステップ４０７）。
【００３９】
結合処理部２７は、焦点距離（被写界深度の範囲）の異なる奥行き情報（撮影データ２９）、及び色情報３９を撮影処理管理部２１から読み込み、結合して結合データ３１、３ＤＣＧデータ４１を作成し、撮影処理管理部２１に送る（ステップ４０８）。
【００４０】
撮影処理管理部２１は、奥行き情報（撮影データ２９）、色情報３９、結合データ３１、３ＤＣＧデータ４１を記憶部１３に登録する（ステップ４０９）。また、撮影処理管理部２１は、３ＤＣＧデータ４１を記憶部１３から読み出して（ステップ４１０）、表示装置７に３次元画像として表示させる（ステップ４１１）。
【００４１】
（１−２．３次元形状入力装置５の構造）
３次元形状入力装置５は、レーザ光による光切断方式を採用しており、レーザ照射装置１７と画像撮影装置１９とを備える。レーザ照射装置１７は、３次元形状入力装置管理部２３により設定された撮影パラメータを基に、計測対象物１１に対してレーザ光を照射する。図４に３次元形状入力装置５の構成を示す。
【００４２】
レーザ照射装置１７は、レーザ照射機３３と、円筒型レンズ３５と、ガルバノミラー３７とで構成される。レーザ照射機３３から照射されるレーザ光を、円筒型レンズ３５でスリット状にし、さらにガルバノミラー３７で方向を変えて計測対象物１１に照射する。計測対象物１１で反射されたレーザ光を、ＣＣＤ等の画像撮影装置１９が受光する。レーザ光は、一般照明光と比べて輝度が高いため、入力された画像内のレーザ照射部分を読み取ることができる。
【００４３】
レーザ照射機３３とガルバノミラー３７の位置関係、及びガルバノミラー３７の角度と受光データから、三角測量法を用いて計測対象物１１の奥行き情報（距離情報）を得る。ガルバノミラー３７の角度を変え、計測対象物１１を１回走査することで、画像撮影装置１９は例えば６４０点×４８０点の奥行き情報を取得する。
【００４４】
また、レーザを照射していないときの計測対象物１１の色を収集することで、色情報３９を取得し、奥行き情報と合わせて、計測対象物１１の３次元形状を復元する。
【００４５】
尚、３次元形状入力装置５は、計測対象物１１が前後方向に奥行きを持つ場合、被写界深度の範囲に計測対象物１１が入らないならば、１度の撮影で計測対象物１１の撮影データを得ることはできない。この場合、レーザ光の焦点距離（即ち被写界深度の範囲）を重複領域があるようにずらしながら、計測対象物１１を何回かに分けて撮影する。撮影データ２９のうち、焦点距離の近いデータのほうが、測定精度は高い。
【００４６】
図５、及び図６に、被写界深度５７内外の位置の違いによる、計測対象物の撮影画像５９の例を示す。図５は、３次元形状入力装置５に向かって前後方向に並んだ計測対象物５１、５３、５５を示す。レーザ照射装置１７の被写界深度５７が、図５に示す深さに設定されているとすると、計測対象物５３のみが、焦点の合う距離範囲にある。
【００４７】
３次元形状入力装置５の画像撮影装置１９で撮影された撮影画像５９は、図６に示される。即ち、焦点の合う（被写界深度５７の範囲にある）計測対象物５３は、鮮明な画像が得られるが、計測対象物５１、５５は、ピントのずれた画像になる。このとき、焦点の合う計測対象物５３は、奥行き情報（距離情報）が得られるが、ピントの合わない範囲（即ち被写界深度５７外）の画像の奥行き情報は得られず、ＮＯＶＡＬＵＥ値が入る。
【００４８】
画像撮影装置１９は、撮影後の計測対象物１１の奥行き情報と色情報３９を、３次元形状入力装置管理部２３に送る。
【００４９】
（２．フローチャート）
次に、図７に本実施の形態における撮影画像合成システム１のフローチャートを示す。計測対象物６１の３次元形状データを取得する図を図１０に示す。また、図１１に、レーザ光の焦点距離（被写界深度の範囲）をずらして計測対象物６１を撮影した複数の撮影画像２８を示す。図１２は、図１１のそれぞれの画像の撮影データ２９（ａ）、（ｂ）、（ｃ）及び、結合データ３１（ｄ）を示す。
【００５０】
図７のフローチャートにおいて、まず計測対象物６１の撮影準備として、操作者は計測対象物６１の設置、及び照明の調整などを行う。また、制御部１５は、入力された撮影パラメータ（計測対象物６１までの距離、レーザ強度、撮影時の輝度など）を、３次元形状入力装置５に設定する（ステップ１０１）。
【００５１】
次に、３次元形状入力装置５は、制御部１５が設定する撮影パラメータに従い、計測対象物６１までの距離、即ち焦点距離（被写界深度の範囲）を変更しつつ且つ、被写界深度の重複部分が存在するように、同一視点から計測対象物６１を複数回撮影し撮影データ２９（計測対象物６１の奥行き情報）を得る（ステップ１０２）。
【００５２】
例えば図１０のように計測対象物６１は、前後方向に距離があるので、３次元形状入力装置５の焦点距離（被写界深度の範囲）を、被写界深度６３、６５、６７の３段階にずらして撮影する。それぞれの被写界深度６３、６５、６７の時の撮影画像２８を、図１１の（ａ）、（ｂ）、（ｃ）に示す。
【００５３】
図１１の、被写界深度の範囲（即ち焦点の合う範囲）にある計測対象物６１の領域は、それぞれ領域６９、７５、８１に示される。斜線領域７１、７３、７７、７９は、被写界深度の範囲外、即ち焦点のずれた領域を示す。
【００５４】
また、３次元形状入力装置５は、制御部１５の指示によりレーザ光を照射しないで計測対象物６１の色情報３９を収集し、撮影データ２９とともに形状結合処理装置３（制御部１５）に送る。
【００５５】
形状結合処理装置３の３次元形状入力装置管理部２３は、撮影データ２９と色情報３９を撮影データ処理部２５に送る。撮影データ処理部２５では、撮影データ２９を、格子状（６４０×４８０）のデータ配列に変換する。即ち図１１の撮影画像２８（ａ）は図１２の撮影データ２９（ａ）に、図１１の撮影画像２８（ｂ）は図１２の撮影データ２９（ｂ）に、図１１の撮影画像２８（ｃ）は図１２の撮影データ２９（ｃ）に、変換する。尚、図１２の＊印は、その配列に奥行き情報があることを示す。
【００５６】
図１１撮影画像２８（ａ）の領域６９は、図１２撮影データ２９（ａ）の領域８３と領域８５で示される。図１１撮影画像２８（ａ）の斜線領域７１は、図１２撮影データ２９（ａ）の領域８７に対応しており、被写界深度外（焦点が合っていない）の領域であるため、奥行き情報は得られず初期値であるＮＯＶＡＬＵＥ値が入ることを示す。図１１撮影画像２８（ｂ）、図１１撮影画像２８（ｃ）についても同様に、図１２撮影データ２９（ｂ）、図１２撮影データ２９（ｃ）のデータを得る。
【００５７】
尚、図１０のように、被写界深度の範囲をずらして計測対象物６１を撮影するとき、重複して撮影する領域がある。即ち重複して撮影データの得られる領域は、図１２撮影データ２９（ａ）の領域８５と図１２撮影データ２９（ｂ）の領域９１、図１２撮影データ２９（ｂ）の領域９５と図１２撮影データ２９（ｃ）の領域１０１である。
【００５８】
撮影データ処理部２５は、上記のように変換された撮影データ２９を、撮影処理管理部２１に送る。撮影処理管理部２１は、この撮影データ２９を結合処理部２７に送り、結合処理部２７では、撮影データ２９の結合処理を行い結合データ３１を作成する（ステップ１０３）。また結合データ３１と色情報３９を３ＤＣＧデータ４１に変換する。結合処理方法については後述する。
【００５９】
撮影処理管理部２１は、結合処理部２７から、作成された３ＤＣＧデータ４１を読み出し、記憶部１３に登録する（ステップ１０４）。尚、記憶部１３には、撮影データ２９、結合データ３１、色情報３９を登録してもよい。
【００６０】
（３．撮影データ２９のデータ結合方法）
結合処理部２７における撮影データ２９のデータ結合処理について説明する。結合方法にはいくつかの手段が考えられ、ここでは２種類のデータ結合処理のフローチャートを図８、図９に示す。ただしフローチャート内で利用される結合方法は、記載された手法だけとは限らない。
【００６１】
撮影データ２９は、格子状の奥行き情報群として撮影データ２９配列Ｆ_ｉ（ｘ、ｙ）、１≦ｉ≦ｎ（ｎ：撮影回数）に格納される。例えばｘ＝６４０、ｙ＝４８０の格子状の２次元配列であるとすると、配列（６４０、４８０）の座標ごとに奥行き情報が格納されている。
【００６２】
尚、奥行き情報のない座標には、ＮＯＶＡＬＵＥ値が格納されている。例えば図１２の撮影データ２９Ｆ_１（ｘ、ｙ）では、計測対象物１１の奥行き情報のある領域８３、８５には奥行き情報が格納されている（図中の＊印は奥行き情報が格納されていることを示す）が、その他の領域には奥行き情報がなくＮＯＶＡＬＵＥ値が格納されている。例えば領域８７は、計測対象物６１のピントが合っていない部分なので、奥行き情報は得られずＮＯＶＡＬＵＥ値が格納されている。
【００６３】
また、全撮影データ２９の結合結果を結合データ３１配列Ｓ（ｘ、ｙ）に格納する。初期値として結合データ３１配列Ｓ（ｘ、ｙ）の全座標に、ＮＯＶＡＬＵＥ値を格納する。
【００６４】
（３−１．撮影データ２９の第１のデータ結合方法）
撮影データ２９の、第１のデータ結合方法のフローチャートを図８に示す。また、第１のデータ結合方法を図１２を用いて説明する。まず初期設定として、図１２（ｄ）の結合データ３１配列Ｓ（ｘ、ｙ）の全座標に、ＮＯＶＡＬＵＥ値を格納する。
【００６５】
結合処理部２７は、撮影処理管理部２１から取得した全撮影データ２９の配列Ｆ_１（ｘ、ｙ）〜Ｆ_ｎ（ｘ、ｙ）から、同一座標（ｘ、ｙ）の奥行き情報をｎ個抽出する（ステップ２０１）。
【００６６】
抽出したｎ個のデータから、奥行き情報が格納されている（即ちＮＯＶＡＬＵＥ値ではない）座標を抽出する。ここではｍ個（０≦ｍ≦ｎ）が抽出されたとする（ステップ２０２）。例えば図１２（ａ）、（ｂ）、（ｃ）において、同じ座標（ａ）の領域８５と、（ｂ）の領域９１には奥行き情報が格納されているが、（ｃ）では領域９９にあたり、ＮＯＶＡＬＵＥ値が格納されている。即ち図１２の例では、撮影データ２９のｎ＝３（個）のうち、（ａ）の領域８５にあたる座標では、奥行き情報の格納されているデータは、ｍ＝２（個）である。
【００６７】
次に結合処理部２７は、抽出したｍ個の奥行き情報を結合する。結合方法には、
（ａ）重み付け
（ｂ）最小二乗法
（ｃ）ロバスト推定法
等の方法を行い（ステップ２０３）、結合データ３１配列Ｓ（ｘ、ｙ）の座標（ｘ、ｙ）に結合した値を代入する（ステップ２０４）。
【００６８】
（ａ）重み付けは、奥行き情報Ｆ_１（ｘ、ｙ）〜Ｆ_ｎ（ｘ、ｙ）に、それぞれ適切な重みを付け、式（１）を用いて算出する。
【００６９】
【数１】

【００７０】
ただし、重みαは式（２）のとおりとする。
【００７１】
【数２】

【００７２】
（ｂ）最小二乗法は、測定値（撮影データ２９）とモデル関数から得られる理論値（結合データ３１）の差の２乗和が最小となるようなモデル関数のパラメータを決定する手法のことで、式（３）が最小となるようなＳ（ｘ，ｙ）の値を求める。
【００７３】
【数３】

【００７４】
最小二乗法は、撮影データ２９の誤差が正規分布を示す時、最尤推定法といえる。
【００７５】
（ｃ）ロバスト推定法は、例外値をある程度含むデータ群であっても、比較的安定に代表値を推定できる方法である。式（４）は、ロバスト推定法の１つである、Ｍ−ｅｓｔｉｍａｔｏｒの評価関数である。式（４）が最小値をとるよう、Ｓ（ｘ，ｙ）の値を求める。
【００７６】
【数４】

【００７７】
尚、式（４）のρ関数は、
ρ（ｔ）＝ｔ^２／（σ＋ｔ^２） ……（５）
と表される。ｔは代表値との誤差であり、ρ（ｔ）は、ｔ＝０で唯一最小値を持つ正規関数である。即ち、代表値から離れた値は、代表値算出には殆ど影響力がなくなる。
【００７８】
以上のように、１座標ずつ、複数の撮影データ２９の結合処理を行い結合データ３１を算出して配列Ｓ（ｘ、ｙ）の対応する座標に代入する。例えばｘ＝６４０、ｙ＝４８０ならば、６４０×４８０個の座標に同様の結合処理を行い（ステップ２０５のＮＯ、ステップ２０６）、結合処理を終了する。
【００７９】
図１２を用いて説明すると、レーザ光の焦点距離（即ち被写界深度の範囲）の異なる、それぞれの撮影データ２９配列Ｆ_１（ｘ、ｙ）、Ｆ_２（ｘ、ｙ）、Ｆ_３（ｘ、ｙ）について結合処理を行い、奥行き情報のある部分、即ち領域８５と領域９１、領域９５と領域１０１のデータについて、同じ座標（ｘ、ｙ）同士で結合処理を行う。
【００８０】
例えば図１２において（ａ）の領域８５にあたるｘ＝５００、ｙ＝３００の座標で、Ｆ_１（５００、３００）＝３２０、Ｆ_２（５００、３００）＝３１４、Ｆ_３（５００、３００）＝ＮＯＶＡＬＵＥとすると、奥行き情報のある撮影データ２９のみを抽出、即ちＦ_３（５００、３００）＝ＮＯＶＡＬＵＥは除外して、上記の何らかの結合方法を用い、結合データ３１配列Ｓ（５００、３００）を算出する。全ての座標について結合処理を行い、結合データ３１を作成する。計測対象物６１の、被写界深度の異なる複数の撮影データ２９を結合処理し、精度の高い３ＤＣＧデータとして結合データ３１配列Ｓ（ｘ、ｙ）を得る。
【００８１】
（３−２．撮影データ２９の第２のデータ結合方法）
撮影データ２９の、第２のデータ結合方法のフローチャートを図９に示す。また、第２のデータ結合方法を、図１２を用いて説明する。
【００８２】
第２のデータ結合方法では、まず撮影データ２９配列Ｆ_１（ｘ、ｙ）〜Ｆ_ｎ（ｘ、ｙ）を、焦点距離の近い順に並べ替える。即ち撮影データ２９配列Ｆ_１（ｘ、ｙ）のデータが、最も焦点距離の近い撮影データであり、最も撮影精度が高い撮影データである。第２の結合方法は、配列Ｆ_１（ｘ、ｙ）を最も優先順位を高く設定し、順にＦ_２（ｘ、ｙ）、Ｆ_３（ｘ、ｙ）・・と、焦点距離が長くなるほど優先順位を落として結合し、結合データ３１を作成する。
【００８３】
まず、結合データ３１配列Ｓ（ｘ、ｙ）を初期化する。即ち結合データ３１配列Ｓ（ｘ、ｙ）の全座標に、ＮＯＶＡＬＵＥ値を格納する（ステップ３０１）。全撮影回数をｎ回とし、ｉ＝１を設定する。
【００８４】
次に、結合処理部２７は、ｉ番目の撮影データ２９配列Ｆ_ｉ（ｘ、ｙ）を取得する（ステップ３０２）。ｉ＝１のとき、撮影データ２９配列Ｆ_１（ｘ、ｙ）を取得する。
【００８５】
次に、結合データ３１配列Ｓの座標（ｘ、ｙ）の値を、ＤａｔａＳに読み込み（ステップ３０３）、ＤａｔａＳに奥行き情報が格納されていなければ（ステップ３０４のＮＯ）、撮影データ２９配列Ｆ_ｉの座標（ｘ、ｙ）の値をＤａｔａＦに読み込む（ステップ３０５）。ＤａｔａＳに奥行き情報が格納されている場合、即ち結合データ３１配列Ｓ（ｘ、ｙ）にデータが格納されていれば（ステップ３０４のＹＥＳ）、ステップ３０８に進む。
【００８６】
ＤａｔａＦに奥行き情報があれば（ステップ３０６のＹＥＳ）、結合データ３１配列Ｓ（ｘ、ｙ）にＤａｔａＦを代入し（ステップ３０７）、ステップ３０８に進む。ＤａｔａＦに奥行き情報がない場合、即ち撮影データ２９配列Ｆ_ｉ（ｘ、ｙ）がＮＯＶＡＬＵＥ値であるとき（ステップ３０６のＮＯ）、ステップ３０８に進む。
【００８７】
ステップ３０８では、全座標（ｘ、ｙ）の、結合データ３１配列Ｓ（ｘ、ｙ）の格納値調査が終了していない場合（ステップ３０８のＮＯ）、結合データ３１配列Ｓ（ｘ、ｙ）の次の座標に移動して（ステップ３０９）、ステップ３０３に戻る。例えば、結合データ３１配列Ｓ（１００、１００）の次の座標Ｓ（１００、１０１）の格納値の調査に移る。
【００８８】
ステップ３０８で、全座標（ｘ、ｙ）の、結合データ３１配列Ｓ（ｘ、ｙ）の格納値調査が終了した場合で（ステップ３０８のＹＥＳ）、かつ最後の撮影データ２９配列Ｆ_ｎ（ｘ、ｙ）であった場合は（ステップ３１０のＹＥＳ）、結合処理は終了する。未処理の撮影データ２９がある場合は（ステップ３１０のＮＯ）、次の撮影データ２９配列Ｆ_ｉ＋１（ｘ、ｙ）へ移動し（ステップ３１１）、ステップ３０２に戻る。
【００８９】
図１２は、上記図９のフローチャートに従い、全撮影データ２９の配列Ｆ_１（ｘ、ｙ）〜Ｆ_３（ｘ、ｙ）を結合処理して結合データ３１配列Ｓ（ｘ、ｙ）を求める図である。撮影データ２９配列Ｆ_１（ｘ、ｙ）が、最も焦点距離が近い撮影データである。
【００９０】
撮影データ２９配列Ｆ_１（ｘ、ｙ）の奥行き情報のある領域８３と領域８５が、まず優先されて結合データ３１配列Ｓ（ｘ、ｙ）に格納される。
【００９１】
次に、撮影データ２９配列Ｆ_２（ｘ、ｙ）の奥行き情報のある領域９１、領域９３、領域９５のうち、対応する結合データ３１配列Ｓ（ｘ、ｙ）の座標に奥行き情報のない領域、即ち領域９３、領域９５の奥行き情報が結合データ３１配列Ｓ（ｘ、ｙ）に結合される。
【００９２】
次に、撮影データ２９配列Ｆ_３（ｘ、ｙ）の奥行き情報のある領域１０１、領域１０３のうち、対応する結合データ３１配列Ｓ（ｘ、ｙ）の座標に奥行き情報のない領域、即ち領域１０３の奥行き情報が結合データ３１配列Ｓ（ｘ、ｙ）に結合される。
【００９３】
このようにして、図９のフローチャートに従うと、焦点距離の近い撮影データ２９から順に優先されて、結合データ３１配列Ｓ（ｘ、ｙ）が作成される。従って、図１２（ｄ）の、結合データ３１配列Ｓ（ｘ、ｙ）は、図１２（ａ）、（ｂ）、（ｃ）の撮影データ２９配列の同じ座標に奥行き情報がある場合には、焦点距離のより近い撮影データ２９を選択し、結合データ３１配列Ｓ（ｘ、ｙ）の奥行き情報として格納する。
【００９４】
従って、焦点距離の近い撮影データ２９ほど撮影精度が高いので、誤差の影響を抑えながら、複数の撮影データ２９を高精度な１つの結合データ３１にまとめることができる。
【００９５】
（４．効果など）
撮影データ２９の結合方法は、上記説明した方法等から最適な方法を選択することができる。例えば、撮影データ２９の枚数が少ない場合には、第１の結合方法では（ａ）重み付けを行う方法等を選択し、逆に撮影データ２９が多い場合には統計的処理である（ｂ）最小二乗法や（ｃ）ロバスト推定法を選択してもよい。尚、撮影データ２９の結合方法は、上記説明した方法に限らない。
【００９６】
また、複数の結合方法で結合データ３１を作成し、表示装置７に計測対象物１１の３ＤＣＧ画像をそれぞれの結合方法の結果として表示し、作成された３次元形状を比較して、結合方法を検討してもよい。
【００９７】
また、レーザ光の焦点距離をずらす方法と、被写界深度を広く、或いは浅く変える方法を組み合わせて計測対象物１１を複数回撮影して結合データを作成し、３次元画像を得るようにしてもよい。
【００９８】
本実施の形態によれば、奥行きのある計測対象物１１に対し、レーザ光の焦点距離（被写界深度の範囲）を変えて複数回撮影し、撮影データの焦点の合っている領域を結合して１つの結合データを作成するので、高精度な３次元画像を効率的に制作できる。
【００９９】
また、本実施の形態によれば、奥行きのある計測対象物の結合データ作成処理を手動で行う工程を削除できるので、高精度な３次元画像の制作効率を上げ、制作コストを低減する効果がある。
【０１００】
尚、本発明の技術的範囲は、前述した実施の形態に限られるものではない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１０１】
【発明の効果】
以上、詳細に説明したように本発明によれば、奥行きのある対象物の３次元形状ＣＧデータを、効率的に制作できる撮影画像合成システムを提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る撮影画像合成システム１の構成を示す図
【図２】制御部１５の構成を示す図
【図３】記憶部１３を示す図
【図４】３次元形状入力装置５の構成を示す図
【図５】被写界深度５７を示す図
【図６】被写界深度５７内外の違いによる撮影画像５９を示す図
【図７】撮影画像合成システム１のフローチャート
【図８】第１のデータ結合処理を示すフローチャート
【図９】第２のデータ結合処理を示すフローチャート
【図１０】３次元形状入力装置５による計測を示す図
【図１１】被写界深度を変えて撮影した画像を示す図
【図１２】被写界深度を変えて撮影した撮影データ、及び結合データを示す図
【符号の説明】
１・・・撮影誤差低減システム
３・・・形状結合処理装置
５・・・３次元形状入力装置
７・・・表示装置
９・・・入力装置
１１、５１、５３、５５、６１・・・計測対象物
１３・・・記憶部
１５・・・制御部
１７・・・レーザ照射装置
１９・・・画像撮影装置
２１・・・撮影処理管理部
２３・・・３次元形状入力装置管理部
２５・・・撮影データ処理部
２７・・・結合処理部
２８、５９・・・撮影画像
２９・・・撮影データ
３１・・・結合データ
３３・・・結合照射機
３５・・・円筒型レンズ
３７・・・ガルバノミラー
３９・・・色情報
４１・・・３ＤＣＧデータ
５７、６３、６５、６７・・・被写界深度
６９、７５、８１・・・被写界深度の合った領域
７１、７３、７７、７９・・・被写界深度外（焦点の合っていない）の領域
８３、８５、９１、９３、９５、１０１、１０３、１０５、１０７・・・奥行きデータ
８７、８９、９７、９９・・・ＮＯＶＡＬＵＥデータ

Claims

対象物の３次元形状を撮影する形状入力装置と、
前記形状入力装置が撮影する複数の撮影データを読み取る読取手段と、
前記複数の撮影データを結合し、結合データを作成する結合データ作成手段と、
前記結合データを記憶する記憶手段と、
を、具備し、
前記形状入力装置は、焦点距離をずらして前記対象物を複数回撮影し、前記対象物の撮影データを得ることを特徴とする撮影画像合成システム。
前記結合データ作成手段は、
前記複数の撮影データを、重み付け法、最小二乗法、ロバスト推定法等を用いて結合し、結合データを作成することを特徴とする請求項１記載の撮影画像合成システム。
前記結合データ作成手段は、
前記複数の撮影データを、焦点距離が近い撮影データほど優先して結合することを特徴とする請求項１記載の撮影画像合成システム。
形状入力装置が対象物の３次元形状を撮影して得る、複数の撮影データを読み取る読取工程と、
前記複数の撮影データを結合し、結合データを作成する結合データ作成工程と、
前記結合データを記憶する記憶工程と、
を、具備し、
前記形状入力装置は、焦点距離をずらして前記対象物を複数回撮影し、前記対象物の撮影データを得ることを特徴とする撮影画像合成方法。
前記結合データ作成工程は、
前記複数の撮影データを、重み付け法、最小二乗法、ロバスト推定法等を用いて結合し、結合データを作成することを特徴とする請求項４記載の撮影画像合成方法。
前記結合データ作成工程は、
前記複数の撮影データを、焦点距離が近い撮影データほど優先して結合することを特徴とする請求項４記載の撮影画像合成方法。
コンピュータを、請求項１から請求項３記載のいずれかの撮影画像合成システムとして機能させるためのプログラム。
コンピュータを、請求項１から請求項３記載のいずれかの撮影画像合成システムとして機能させるためのプログラムを記録した記録媒体。