WO2022050279A1 - 三次元計測装置 - Google Patents

Abstract

三次元計測装置は、参照光を走査しながら対象物に投光する投光部と、対象物で反射した参照光を受光する受光部と、受光部のうちの所定区画毎に測距レンジに応じた参照光の走査時刻範囲を設定する時刻範囲設定部と、設定された走査時刻範囲の受光部の情報に基づいた三角測量によって対象物Ｗの三次元情報を算出する三次元情報算出部と、を備える。

Description

三次元計測装置

　本発明は、三次元計測技術に関し、特に光走査式の三次元計測装置に関する。

　構造化照明を使用した三角測量に基づく測距方法として、光切断法、位相シフト法、空間コード法等の光投影法が提案されている。光切断法は、対象物を走査しながら帯状のスリット光を対象物に投光し、投光位置とは異なる撮像位置から対象物を撮像し、スリット光の投射角度と、撮像面へのスリット光の入射角度と、投光位置と撮像位置との間の基線長と、に基づいた三角測量によって対象物までの距離を算出する。スリット光の投射角度は例えばスキャナへの指令値や撮像面上に現れるスリット光の輝線の検出時刻から求められ、スリット光の入射角度は例えば撮像面上のスリット光の入射位置から求められる。光切断法は、精度が良いと言われているが、位相シフト法や空間コード法等に比べると、一回の計測で必要な画像の枚数が多くなるため、計測時間が掛かるという問題がある。

　近年、一般的なフレームベースのイメージセンサとは異なる発想に基づいたイベントベースのイメージセンサが提案されている。フレームベースのイメージセンサは所定時間シャッタを開閉して露光することでフレーム画像を所定周期で出力するのに対し、イベントベースのイメージセンサは、各画素を独立して非同期に時々刻々と監視し、イベント（例えば所定以上の輝度変化）を検知したときに、イベントのあった画素の位置、時刻、及び極性（例えば明るくなったのか（正極性）又は暗くなったのか（負極性））等をイベント情報として出力する。イベントベースのイメージセンサは、フレームベースのイメージセンサに比べてダイナミックレンジが広い上、イベント情報しか出力しないため高速という特徴を有している。従って、イベントベースのイメージセンサを用いることで光切断法の高速化が可能になると考えられている。

　しかし、イベントベースのイメージセンサから発生するイベントは、スリット光の走査に起因したものだけであるのが理想だが、実際のシーンを撮影していると必ずしも理想的なイベントだけが発生するわけではなく、スリット光の走査以外の要因によるノイズイベントが発生することがある。例えば光切断法による測距にはスリット光の多重反射の問題が付きまとう。イメージセンサの或る画素に注目すると、本来はその画素に写る対象物の特定部位に向けて照射されたスリット光の一次反射光のみを受光したい訳であるが、別の部位に向けて照射されたスリット光の一次反射光がその特定部位で二次反射してその画素に入射することがある。この現象が発生すると、その画素はその特定部位で直接反射（単反射）したスリット光を撮像したのか、多重反射したスリット光を撮像したのかを判別できないため、正しい距離を計測できなくなる。多重反射光は複数回反射した光であるため、どの反射面の反射率も１００％でない限り、単反射光よりも弱くなる。従って、フレームベースのイメージセンサでは輝度情報を用いて多重反射した参照光の影響を軽減することが行われているが、イベントベースのイメージセンサでは輝度情報を出力しないため同様の方法を採用できない。また、ノイズは、物体上で多重反射した参照光に起因したノイズだけではなく、光学系やイメージセンサに起因したノイズ（例えばフレア、ゴースト、収差等）もある。本願に関連する技術としては、例えば後述の文献が公知である。

　特許文献１には、スリット光で物体を走査しながら二つのイメージセンサで画
像を同期して撮像し、夫々のイメージセンサの各画素について最大輝度を検出したフレーム番号を記憶し、そのフレーム番号に基づいて画素の対応付けを行い、対応付けられた画素に基づいて距離を算出する三次元入力装置が開示されている。

　特許文献２には、光切断法に基づく三次元距離計測において、スキャンの開始とセンサのフレーム数のカウント開始を同時にした場合、何フレーム目でスリット光が検出されたかを知ることにより、スキャナの振り角度が決定され、センサから物体までの距離が決まることが記載されている。

　特許文献３には、光ビームで被測定物を走査する形状測定装置において、基準面又は被測定物の表面から反射したビームスポット光を光電変換し、基準面を走査した場合に光電変換された電気信号の立ち上がりタイミングと、被測定物を走査した場合に光電変換された電気信号の立ち上がりタイミングとの時間差に基づいて被測定物の表面形状を決定することが記載されている。

　特許文献４には、基板を搬送しながら基板の上面の検査領域に走査光を照射し、基板や基板上の電子部品で反射した走査光を受光し、基板の上面で反射した場合の受光面上の受光位置と、電子部品の上面で反射した場合の受光面上の受光位置との差から電子部品の高さを求める三次元画像認識装置において、反射光の受光面への入射を所定の入射幅で設定された透光開口部のみに限定することで、多重反射や透過反射の影響を軽減することが記載されている。

　特許文献５には、光沢のある部材を含む部材間の隅肉溶接部にスリット光を照射する隅肉溶接センシング装置において、スリット光の像とその二次反射光の像が離れるような角度に光源とカメラの角度を設定することが記載されている。

　特許文献６には、光切断法に基づく輪郭形状測定装置において、被写界深度を極度に小さくし、２回以上の反射点からの画像を１回反射点からの画像と同程度に撮像しないようにし、多重反射による誤測定を抑制することが記載されている。

　特許文献７には、パターン光投影法を用いた距離計測装置において、エピポーララインと略平行な方向のラインパターンが投影された対象物を撮像し、撮像された画像からラインの方向を算出し、算出したラインの方向とエピポーラライン方向との角度差に基づいて多重反射光領域を検出することが記載されている。

　特許文献８には、イベントベースイメージ処理装置において、予め定めたイベントが複数の画素の各々で発生したか否かを検出し、検出に応じてイベント信号を出力し、イベント信号に対応する少なくとも一つの画素とイベント信号が出力された時間をマッピングさせることでタイムスタンプ情報を生成し、タイムスタンプ情報に基づいて光流を生成することが記載されている。

　特許文献９には、シーンを三次元再構成する方法において、第一センサから各画素について第一連続イベントを受取り、第二センサから各画素について第二連続イベントを受取り、費用関数の最小化に応じて第一連続イベント中の第一イベントを第二連続イベント中の第二イベントにマッチングさせることが記載されている。

　特許文献１０には、スリット光とカメラを一体として対象物の長さ方向に沿って移動させることにより、所定ピッチ毎の断面データを求め、各断面データから対象物を三次元計測する三次元計測方法及びその装置において、スリット光と直角に交わる幅の狭いウインドがイメージセンサ上に設定され、ウインド内における輝度が最大となる輝度データ及びその時のＹ軸方向の座標データを検出することが記載されている。

　特許文献１１には、パターン認識の結果に基づき、注目物体に相当するＲＯＩ（region of interest）を設定し、注目物体を追跡することにより、イベントのデータ量が膨大になってイベント処理のレイテンシが長時間になるのを抑制することが記載されている。

　特許文献１２には、イベント検出センサとストラクチャード・ライト方式の技術を用いて被写体までの距離を測定する測距システムにおいて、イメージセンサとストラクチャライトの同期を取る方法、特にパターン光の切り替えに同期してイメージセンサをリセットすることが記載されている。

特開２０００－０８８５３９号公報 特開２００６－３３３４９３号公報 特開２００３－３２９４１９号公報 特開２０１３－１４８３５３号公報 特開平１１－３３７２５号公報 特開２００１－２２７９２３号公報 特開２０１２－１４１９６４号公報 特開２０１４－００２７４４号公報 特開２０１８－５１６３９５号公報 特開平７－２６０４４４号公報 特開２０２０－１３６９５８号公報 特開２０２１－０３２７６３号公報

　本発明は、従来の問題点に鑑み、光走査による測距を行う際に多重反射した参照光等のノイズの影響を軽減することを目的とする。

　本開示の一態様は、参照光を走査しながら対象物に投光する投光部と、対象物で反射した参照光を受光する受光部と、受光部のうちの所定区画毎に測距レンジに応じた参照光の走査時刻範囲を設定する時刻範囲設定部と、設定された走査時刻範囲の受光部の情報に基づいた三角測量によって対象物の三次元情報を算出する三次元情報算出部と、を備える、三次元計測装置を提供する。
　本開示の他の態様は、参照光を走査しながら対象物に投光する投光部と、対象物で反射した参照光を受光し、関心領域内の情報のみを出力する機能を備え、参照光の走査に応じて関心領域を移動させる受光部と、関心領域の受光部の情報に基づいた三角測量によって対象物の三次元情報を算出する三次元情報算出部と、を備える、三次元計測装置を提供する。

　本開示の一態様によれば、対象物の特定部位で直接反射する参照光は測距レンジに応じた参照光の走査時刻範囲で必ず受光されるため、設定された走査時刻範囲以外の受光部の情報を除外して測距することで多重反射した参照光等に起因するノイズの影響を軽減できる。なお、測距レンジとは、要求される仕様に応じて予め定めた測距可能範囲のことを意味する。
　本開示の他の態様によれば、関心領域以外の受光部の情報を除外して測距することで多重反射した参照光等に起因するノイズの影響を軽減できる。また、受光部は関心領域のみの情報を出力するため、参照光の走査時刻範囲のみによって受光部の情報を制限する場合に比べ、ノイズの過多による受光部のレイテンシの悪化が改善される。

ステレオ法の計測原理を示すステレオカメラの平面図である。 光切断法の計測原理を示す光切断システムの平面図である。 第一実施形態の三次元計測装置のブロック図である。 走査時刻範囲の設定方法を示す三次元計測装置の平面図である。 多重反射した参照光等のノイズの影響が軽減される様子を示す三次元計測装置の平面図である。 走査時刻範囲の設定区画の一例を示す受光面の平面図である。 走査時刻範囲の設定区画の一例を示す受光面の平面図である。 走査時刻範囲の設定区画の一例を示す受光面の平面図である。 第一実施形態の三次元計測装置のフローチャートである。 第一実施形態の関心領域を示す三次元計測装置の平面図である。 第二実施形態の関心領域を示す三次元計測装置の平面図である。 第二実施形態の三次元計測装置のブロック図である。 関心領域の設定の一例を示す画像図である。 関心領域の設定の変形例を示す画像図である。

　以下、添付図面を参照して本開示の実施形態を詳細に説明する。各図面において、同一又は類似の構成要素には同一又は類似の符号が付与されている。また、以下に記載する実施形態は請求の範囲に記載される発明の技術的範囲及び用語の意義を限定するものではない。

　本実施形態の三次元計測装置の計測原理について説明する。理解を容易にするため、先ずステレオ法及び光切断法の計測原理について説明する。図１はステレオ法の計測原理を示すステレオカメラ１の平面図である。ステレオカメラ１は例えば２台のカメラに相当する左受光部２と右受光部３を備えている。左受光部２と右受光部３は例えば等位平行化して配置される。つまり、両受光部を基線長Ｂだけ離し、両受光部の光軸を平行に配置し、両光軸に直交する面内に左受光面４と右受光面５を配置し、各受光面のｘ方向及びｙ方向を同一方向に配向する。各受光面は、例えば複数の画素を二次元配列したイメージセンサであるが、複数の画素を一次元配列（例えばｘ方向にのみ配列）したラインセンサ等でもよい。

　ここで、対象空間に存在する対象物の点Ｐの像を写す左受光面４の画素の位置をｘ_lとし右受光面５の画素の位置をｘ_rとすると、左受光部２と右受光部３の間の視差はＤ＝ｘ_l－ｘ_rとなる。三次元空間を表すＸＹＺ座標系の原点を右焦点に置き、両受光部の焦点距離を夫々ｆとし、両受光面の画素間ピッチを夫々１とすると、対象物の点Ｐまでの距離Ｚ（点Ｐまでの深度。以下同じ）は下記式から求められることになる。

　基線長Ｂと焦点距離ｆはステレオカメラ１の設計で決まる定数であるため、左受光面４の点Ｐの像に対応する右受光面５の点Ｐの像をパターンマッチング等の画像処理で検出できれば、視差Ｄが求まり、対象物の点Ｐまでの距離Ｚが求まることが分かる。

　光切断システムは、例えばステレオカメラ１の左受光部２を投光部に置換えたものになる。図２は光切断法の計測原理を示す光切断システム６の平面図である。光切断システム６は例えばプロジェクタに相当する投光部７を備えている。投光部７は帯状のスリット光を走査しながら対象物に投光し、右受光部３は対象物から反射したスリット光を受光する。ここで、投光起点（回転中心）がステレオカメラ１における左焦点の位置にあり、ステレオカメラ１における左光軸からの投射角度をθとすると、投光部７の仮想的な左受光面４の画素の位置ｘ_lは下記式から求められることになる。

　また、投光部７がＸＺ平面に垂直なＹ軸回りに投光起点から帯状のスリット光を等角速度ωで回転照射し、スリット光が時刻ｔ₀で左光軸を通過し、時刻ｔのときに投射角度θで対象物の点Ｐに投光されたとすると、投射角度θは下記式から求められる。

　従って、スリット光の点Ｐでの反射光を右受光面５の画素の位置ｘ_rで受光したとすると、下記の式で示すように式２、式３を式１に代入すれば、対象物の点Ｐまでの距離Ｚが求められることになる。

　基線長Ｂ、焦点距離ｆ、角速度ω、及び時刻ｔ₀は光切断システム６の設計で決まる定数であるため、スリット光の像を写す右受光面５の画素の位置ｘ_rと、そのスリット光の像を検出した時刻ｔとを求めれば、対象物の点Ｐまでの距離Ｚを求められることが分かる。

　本実施形態の三次元計測装置はこのような光切断法の構成及び計測原理を利用する。但し、上記の構成及び計測原理は一例であり、システム構成、レイアウト等の設計に応じて適宜設計変更できることに留意されたい。例えば投光部７及び右受光部３を等位平行化せずレイアウトしてもよいし、また、左受光部２を投光部７に置換えるのではなく、左受光部２及び右受光部３に加えて投光部７を用意し、ステレオ法と光切断法を組み合わせたシステム構成を採用してもよい。さらに、帯状のスリット光ではなく、ビーム状のスポット光やブロックチェック状のパターン光を対象物に投光する投光部７を採用してもよい。このような設計変更に応じて三次元情報の算出方法も変わることに留意されたい。

　以下、第一実施形態の三次元計測装置の構成について説明する。図３は第一実施形態の三次元計測装置８のブロック図である。三次元計測装置８は、参照光を走査しながら対象物Ｗに投光する投光部７と、対象物Ｗで反射した参照光を受光する受光部３と、を備えている。投光部７は例えばプロジェクタに相当し、受光部３は例えばカメラに相当する。投光部７と受光部３の時刻は同期されているものとする。

　投光部７は、例えばスリット光、スポット光、パターン光等の参照光を対象物Ｗに投光する。投光部７は所定の投射角度間隔を保って複数の参照光を投光してもよい。三次元計測装置８の計測時間は対象物Ｗを参照光で走査するのに掛かる時間で決まるため、走査速度を高速化して計測時間を短縮するのが一般的であるが、受光部３の応答速度が制約条件になる。従って、複数の参照光を投光することにより、受光部３の応答速度の制約下で高速化した走査速度を維持しつつ計測時間を短縮可能である。

　受光部３は、例えば複数の画素を二次元配列したイメージセンサを備えているが、複数の画素を一次元配列したラインセンサを備えていてもよい。受光部３のイメージセンサは例えばイベントベースのセンサである。イベントベースのイメージセンサの場合、受光部３は、各画素を独立して非同期に時々刻々と監視し、所定以上のイベント（例えば所定以上の輝度変化）を検知したときに、イベントのあった画素の位置、時刻、極性（例えば明るくなったのか又は暗くなったのか）等を含むイベント情報を出力する。或いは、受光部３のイメージセンサは一般的なフレームベースのイメージセンサでもよい。フレームベースのイメージセンサの場合、受光部３は所定時間シャッタを開閉して露光することでフレーム画像を所定周期で出力する。フレーム画像は、例えばフレーム番号、各画素の輝度情報等を含んでいる。

　また三次元計測装置８は、受光部３の情報に基づいた三角測量によって対象物Ｗの三次元情報を算出する三次元情報算出部９を備えている。受光部３のセンサがイベントベースのセンサの場合、イベント（例えば所定以上の輝度変化）のあった画素が参照光の像を捉えているため、三次元情報算出部９は受光部３から出力されたイベント情報（例えば輝度変化のあった画素の位置、時刻、及び極性）に基づいて測距を行う。スリット光のスリット幅やスポット光のスポット径が複数の画素サイズに相当する場合もあるため、画素が明るくなり始めたときの時刻と暗くなり終わったときの時刻との間の中間時刻を求めて測距を行ってもよい。一方、受光部３のセンサがフレームベースのセンサの場合、三次元情報算出部９は、受光部３から出力された複数のフレーム画像から最大輝度になった画素の位置及びフレーム番号（時刻に相当）を検出し、これら検出情報に基づいて測距を行う。

　三次元計測装置８は、参照光の多重反射等に起因するノイズの影響を軽減するため、受光部３（の受光面を構成する複数の画素）のうちの所定区画毎に測距レンジに応じた参照光の走査時刻範囲を設定する時刻範囲設定部１０をさらに備えている。三次元情報算出部９は、設定された走査時刻範囲以外の受光部３の情報を除外し、設定された走査時刻範囲の受光部３の情報に基づいて測距を行うことで多重反射した参照光等に起因するノイズによる誤った測距を抑制する。

　この走査時刻範囲の設定方法について詳述する。図４Ａは走査時刻範囲の設定方法を示す三次元計測装置８の平面図である。図中の測距レンジは、要求される仕様に応じて予め定めた測距可能範囲である。例えば１０００ｍｍ～２０００ｍｍを測距できるように三次元計測装置８の被写界深度等を設計した場合は、測距レンジは１０００ｍｍ～２０００ｍｍとなる。受光部３の画素１１に入る光は必ず視線Ｖを通って入射するので、入射した光が参照光の単反射光であり、かつ、単反射した対象物Ｗの点Ｐが測距レンジの範囲にあるのであれば、視線Ｖと測距レンジとの交差線分ＱＲを参照光が走査する走査時刻範囲に必ず受光される。従って、画素１１の視線Ｖと測距レンジとの交差線分ＱＲを参照光が走査する走査時刻範囲を幾何学的に計算することで走査時刻範囲を設定するとよい。

　或いは、測距レンジが１０００ｍｍ～２０００ｍｍであれば、例えば平板を１０００ｍｍの距離に配置した状態でスリット光を走査してスリット光の像が各画素を通過する時刻を記録し、さらに平板を２０００ｍｍの距離に配置した状態でスリット光を走査してスリット光の像が各画素を通過する時刻を記録し、得られた２つの時刻を走査時刻範囲の最大値と最小値としてもよい。測定バラツキも発生し得るため、実用上は複数回測定して平均を採ったり、多少マージンを乗せたりして走査時刻範囲を設定するとよい。このように設定した走査時刻範囲の受光部３の情報に基づいて測距を行うことで、多重反射した参照光等に起因するノイズによる誤った測距を抑制できるようになる。

　図４Ｂは多重反射した参照光の影響が軽減される様子を示す三次元計測装置８の平面図である。対象物Ｗの或る面Ｓで一次反射した参照光が対象物Ｗの点Ｐで二次反射して画素１１に入射する場合、設定された走査時刻範囲以外でその画素１１に入射する可能性が高くなる。従って、設定された走査時刻範囲以外の受光部３の情報を除外して測距を行うことで多重反射した参照光による誤った測距を抑制できることになる。

　この走査時刻範囲は、受光部３を構成する複数の画素のうちの一画素を一区画として画素毎に設定してもよいが、設定メモリの節約や計測時間の短縮を目的として、受光部３を構成する複数の画素のうちの近傍の画素群を纏めて一区画として区画毎に設定してもよい。図５Ａ～図５Ｃは走査時刻範囲の設定区画の一例を示す受光面５の平面図である。三次元計測装置８の組立誤差やレンズ歪み等を無視できるとすると、図５Ａに示すように平板をスリット光でｘ方向に走査した場合にスリット光の像Ｉが受光面５のｙ軸と平行に結像されるときは、スリット光の像Ｉを同時に捉える一列又は複数列の画素群を一区画として纏めて走査時刻範囲（例えば０．２ｓ～０．４ｓ）を設定してもよい。また、図５Ｂに示すように平板をブロックチェック状のパターン光でｘ方向に走査した場合にパターン光の像Ｉが受光面５のｙ軸と平行に結像されるときは、パターン光の像Ｉを同時に捉える二列又は複数列の画素群を一区画として纏めて走査時刻範囲（例えば０．１５ｓ～０．４ｓ）を設定してもよい。

　さらに、図５Ｃに示すように平板をスポット光でｘ方向及びｙ方向に走査した場合にスポット光の像Ｉが受光面５の４近傍の画素群に結像されるときは、スポット光の像Ｉを同時に捉える４近傍の画素群を一区画として纏めて走査時刻範囲（例えば０．２ｓ～０．４ｓ）を設定してもよい。このように設定される走査時刻範囲は、イベントベースのイメージセンサの場合には走査開始から経過した走査時刻範囲でよいが、フレームベースのイメージセンサの場合には走査開始から経過したフレーム番号範囲でもよい。

　図３を再び参照すると、投光部７が複数のスリット光を投光する場合、三次元計測装置８は設定された走査時刻範囲に応じて投射角度間隔を設定する投射角度間隔設定部１２を備えていてもよい。投射角度間隔は、例えば図４Ａ及び図４Ｂに示すように設定された走査時刻範囲にスリット光が走査する走査角度φよりも広い角度間隔に設定される。この走査角度φよりも狭い投射角度間隔を保って複数のスリット光を投光すると、その走査角度φの走査時刻範囲を設定された区画の各画素はその走査時刻範囲に複数のスリット光を受光することになるため、どのスリット光を受光したのかを識別する方法が必要になる。しかし、複数のスリット光の投射角度間隔を走査角度φよりも広い角度間隔に設定することで、その区画内の各画素はその走査時刻範囲に一つのスリット光しか受光しなくなるため、スリット光を識別する必要がなくなる。図５Ｂに示すようなブロックチェック状のパターン光を複数投光する場合も、投射角度間隔を同様に設定するとよい。

　また、受光部３がイベントベースのイメージセンサを備えるか又はフレームベースのイメージセンサを備えるかに拘わらず、受光部３のイメージセンサは関心領域内の情報のみを出力する機能を備えているとよい。関心領域とは、公知のregion of interest（ＲＯＩ）でよいが、本書における「関心領域」とは、必ずしも一般的なＲＯＩに限定されるものではないことに留意されたい。例えばフレームベースのイメージセンサの場合は、関心領域内の撮像画像のみを出力し、イベントベースのイメージセンサの場合は、関心領域内で発生したイベント情報のみを出力する。受光部３が関心領域内の情報のみを出力する機能を備える場合、三次元計測装置８は、参照光の走査に応じて関心領域を移動する関心領域移動部１４を備えているとよい。受光部３は、関心領域移動部１４からの入力信号（例えば移動指令）に基づき、関心領域を移動する。例えば関心領域は、計測中のある時刻ｔを含む走査時刻範囲が設定された区画（画素又は画素群）を含むように、時間の経過とともに移動する。この走査時刻範囲が設定された区画（画素又は画素群）と関心領域は完全に一致している必要はない。これにより、関心領域がイベントの発生や最大輝度の出力を取りこぼさなくなる。このような関心領域により、イベントが発生する画素や最大輝度を出力する画素を限定できるため、受光部３から出力されるデータ量を削減できる。その後、三次元情報算出部９は、関心領域で制限されたイベント情報に基づいて測距を行うか、又は制限された関心領域の中から最大輝度になった画素の位置及びフレーム番号を検出して測距を行うため、計測時間を大幅に短縮できる。また、多重反射した参照光等に起因したノイズも関心領域によって制限されるため、ノイズによる誤った測距も抑制できる。

　図３を再び参照すると、三次元情報算出部９によって算出された三次元情報は三次元計測装置８の外部に出力される。三次元情報は、例えば、いわゆる画像処理装置の他、ロボット制御装置や車両制御装置等の外部装置１３によって利用される。外部装置１３は、多重反射した参照光等に起因したノイズの影響を軽減した三次元情報に基づき画像処理を行い、例えば位置制御、速度制御、加速度制御等を行うことが可能になる。

　以上の三次元情報算出部９、時刻範囲設定部１０、投射角度間隔設定部１２、及び関心領域移動部１４は、例えばＡＳＩＣ（application specific integrated circuit）、ＦＰＧＡ（field-programmable gate array）等の集積回路で実装してもよいし、又はＣＰＵ（central processing unit）、ＭＰＵ（micro processing unit）等のプロセッサで実行されるプログラムとして実装してもよい。

　以下、三次元計測装置８の動作について説明する。図６は三次元計測装置８の動作を示すフローチャートである。ステップＳ１では時刻範囲設定部１０が受光部３を構成する複数の画素のうちの所定区画毎に測距レンジに応じた参照光の走査時刻範囲を設定する。この際、幾何学的に参照光の走査時刻範囲を算出する場合は、例えばタッチパネルディスプレイ、キーボード等のユーザインタフェース部（図示せず）を介して測距レンジをユーザが入力してもよいし、又はメモリに予め記憶した測距レンジを用いてもよい。複数の参照光を投光する場合は、ステップＳ２において投射角度間隔設定部１２が設定された走査時刻範囲に応じて投射角度間隔を設定する。

　ステップＳ３において参照光の投光及び走査を開始すると、ステップＳ４において三次元情報算出部９が設定された走査時刻範囲の受光部３の情報に基づいた三角測量によって対象物の三次元情報を算出する。受光部３のイメージセンサがイベントベースのイメージセンサの場合は、設定された走査時刻範囲でイベントのあった画素の位置、時刻、及び極性に基づいて対象物の三次元情報を算出する。受光部３のイメージセンサがフレームベースのイメージセンサの場合は、設定されたフレーム番号範囲の複数のフレーム画像から最大輝度になった画素の位置及びフレーム番号を検出し、検出された画素の位置及びフレーム番号に基づいて対象物の三次元情報を算出する。ステップＳ５において三次元情報を外部に出力すると、処理が終了する。

　なお、このフローチャートでは、ステップＳ１～Ｓ５が一連の処理として記載されているが、ステップＳ１とステップＳ２の処理は三次元計測装置の設置時、校正時等に行い、ステップＳ３～ステップＳ５の処理は計測時に行ってもよい。また、ステップＳ２とステップＳ５は必ずしも必須のステップでないことに留意されたい。

　第一実施形態の三次元計測装置８によれば、対象物Ｗの特定部位で直接反射する参照光は測距レンジに応じた走査時刻範囲で必ず受光されるため、設定された走査時刻範囲以外の受光部３の情報を除外して測距することで多重反射した参照光等のノイズの影響を軽減できる。

　以下、第二実施形態の三次元計測装置８について説明する。第一実施形態の三次元計測装置８と同一の構成及び動作については、説明を省略することに留意されたい。図７Ａは第一実施形態の関心領域を示す三次元計測装置８の平面図であり、図７Ｂは第二実施形態の関心領域を示す三次元計測装置８の平面図である。第一実施形態と第二実施形態のいずれの三次元計測装置８においても、参照光Ｌが測距範囲全体の投射角度範囲θｍａｘを走査速度ωで走査する間、関心領域は参照光Ｌの走査に応じて（追従して）移動方向ｄへ移動する。しかし、第一実施形態と第二実施形態の三次元計測装置８は、次の点で相違する。

　図７Ａに示すように第一実施形態の三次元計測装置８では、一つの画素１１に着目し、画素１１に結像する参照光Ｌの時刻は、測距レンジの最遠側の点Ｒに照射した時刻ｔ１と、測距レンジの最近側の点Ｑに照射した時刻ｔ２との間の参照光Ｌの走査時刻範囲（つまり測距レンジに応じた参照光Ｌの走査時刻範囲）にあるはずであるという推測の下、関心領域は、計測中のある時刻を含む走査時刻範囲が設定された区画を含むように、時間の経過とともに移動する。

　対照的に、図７Ｂに示すように第二実施形態の三次元計測装置８では、一つの時刻ｔに着目し、計測中のある時刻ｔに照射された参照光Ｌの像は、測距レンジの最近側の点Ｑで反射した場合の結像点（例えば画素１１）と、測距レンジの最遠側の点Ｒで反射した場合の結像点（例えば画素１５）との間の結像範囲（つまり測距レンジに応じた参照光Ｌの結像範囲）にあるはずであるという推測の下、関心領域は、計測中のある時刻ｔにおいて測距レンジに応じた参照光Ｌの結像範囲（例えば画素１１から画素１５までの画素群）を含むように、時間の経過とともに移動する。

　図８は第二実施形態の三次元計測装置８のブロック図である。第一実施形態と第二実施形態のいずれの三次元計測装置８においても、関心領域は参照光の走査に同期して移動するが、第一実施形態では、関心領域移動部１４が、測距レンジに応じた参照光Ｌの走査時刻範囲が設定された区画（例えば画素１１又は画素１１の近傍の画素群）を含むように、関心領域を移動する移動指令を受光部３に送出するのに対し、第二実施形態では、三次元計測装置８が関心領域を事前に設定する関心領域設定部１６を備え、関心領域設定部１６は、計測中のある時刻ｔにおいて測距レンジに応じた参照光の結像範囲を含むように関心領域を設定し、受光部３自体が、投光部７からの入力信号（例えばトリガ信号）に基づき、設定された関心領域を移動させる。関心領域設定部１６は、関心領域の初期位置、サイズ（幅及び高さ）、移動方向、及び移動速度のうちの少なくとも一つを設定し、受光部３は、設定されたサイズの関心領域を初期位置に配置し、初期位置から所定方向に所定速度（例えば等速度）で移動させる。受光部３は、参照光Ｌの投射角度が所定角度になったときに入力信号（例えばトリガ信号）を入力し、関心領域を移動させるとよい。また、受光部３は、関心領域を移動させるに当たり、イメージセンサ（受光面５）のクロック信号に同期させて関心領域を移動させるとよい。

　図９Ａは関心領域の設定の一例を示す画像図である。関心領域の初期位置ｐ_０、サイズ（幅ｗ及び高さｈ）、移動方向ｄ、及び移動速度ｖは、三次元計測装置８の設計情報に基づき設定される。三次元計測装置８の設計情報とは、例えば投光部７と受光部３の配置（例えば各々の位置及び姿勢）、測距レンジ、参照光Ｌの走査方向、参照光Ｌの走査速度、参照光Ｌの投射角度範囲、イメージセンサのクロック周波数等を含む。

　関心領域設定部１６は、関心領域を設定するに当たり、先ず参照光Ｌの結像範囲ｉを求める。関心領域設定部１６は、タッチパネルディスプレイ、マウス等のユーザインタフェース部（図示せず）等を介して、三次元計測装置８の設計情報（投光部７と受光部３の配置（各々の位置及び姿勢）、測距レンジ等）を入力して、当該設計情報に基づき、幾何学的に参照光Ｌの結像範囲ｉを算出する機能を備えてもよいし、又は、実際に参照光Ｌを走査させて参照光Ｌの結像範囲ｉを算出する機能を備えてもよい。後者の場合、例えば図７Ｂを参照して説明すると、測距レンジの最近側に平板を配置し、参照光Ｌを走査させ、参照光Ｌを結像した結像点（例えば画素１１）の位置と時刻を記録し、また、測距レンジの最遠側に平板を配置し、参照光Ｌを走査させ、参照光Ｌを結像した結像点（例えば画素１５）の位置と時刻を記録しておく。測距レンジに応じた参照光Ｌの結像範囲ｉは、受光面５の端部側に向かうにつれて大きくなり、参照光Ｌの走査を通して一定ではないため、関心領域設定部１６は、時刻毎に、測距レンジの最近側における参照光Ｌの結像点（例えば画素１１）から測距レンジの最遠側における参照光Ｌの結像点（例えば画素１５）までの画素数を計算し、測距範囲全体を通じた当該画素数の最大値を参照光Ｌの結像範囲ｉとして算出するとよい。

　関心領域設定部１６は、参照光Ｌの結像範囲ｉに基づき、関心領域の幅ｗを設定する。関心領域の幅ｗとは、参照光Ｌの走査方向における関心領域のサイズである。関心領域の幅ｗの初期値は、参照光Ｌの結像範囲ｉ（例えば測距範囲全体を通じた画素１１から画素１５までの画素数の最大値）それ自体でもよいが、参照光Ｌの走査速度が等角速度であっても受光面５に結像する参照光Ｌの走査速度は一定にならないため、関心領域の幅ｗに余裕を持たせておくとよい。例えば関心領域設定部１６は、参照光Ｌの結像範囲ｉに所定のマージンｍを加えたサイズを関心領域の幅ｗとして設定するとよい。関心領域の幅のマージンｍは予め定めた定数でよい。

　関心領域設定部１６は、受光面５のサイズに基づき、関心領域の高さｈを設定する。関心領域の高さｈとは、参照光Ｌの走査方向と直交する方向における関心領域のサイズである。関心領域の高さｈの初期値は、参照光Ｌの走査方向と直交する方向の受光面５の画素数でよいが、関心領域設定部１６は、ユーザインタフェース部等を介して、参照光Ｌの走査方向と直交する方向の受光面５の画素数以下の任意の数値で、関心領域の高さｈを指定され、設定してもよい。例えば受光面５における既知の領域に写る対象物の三次元形状を計測する場合は、関心領域の高さｈを対象物が存在する領域にのみ制限でき、ノイズの影響を軽減できることになる。

　関心領域設定部１６は、参照光Ｌの走査方向に基づき、関心領域の移動方向ｄを設定する。関心領域設定部１６は、ユーザインタフェース部等を介して、関心領域の移動方向ｄを任意に指定され、設定してもよいし、又は、参照光Ｌを走査させて参照光Ｌの結像範囲ｉを算出する前述の機能を実行する際に、参照光Ｌの走査方向を求めておき、参照光Ｌの走査方向を関心領域の移動方向ｄとして自動的に設定してもよい。図９Ａの例では、参照光（スリット光）が受光面５に横向きに写るように配置され、関心領域の移動方向ｄは上方向又は下方向に設定される。一方、参照光（スリット光）が受光面５に縦向きに写るように配置される場合は、関心領域の移動方向ｄは左方向又は右方向に設定される。

　関心領域設定部１６は、受光面５と同じ平面上に固定された直交座標系（例えばカメラ座標系等（図示するｘｙ座標系））の座標値で、関心領域の初期位置ｐ_０を設定する。例えば関心領域が矩形の場合は、関心領域の初期位置ｐ_０は矩形の左上角部の座標値でよい。関心領域設定部１６は、参照光Ｌの走査方向（又は関心領域の移動方向ｄ）と関心領域のサイズ（幅及び高さ）とに基づき、関心領域の初期位置ｐ_０を自動的に設定してもよい。例えば図９Ａの例では、参照光Ｌ（スリット光）が受光面５に横向きに写るように配置され、参照光Ｌが受光面５の上方向又は下方向へ走査するため、関心領域設定部１６は、受光面５の最下位又は最上位にある画素行を中央線とした関心領域の左上角部の位置を関心領域の初期位置ｐ_０として自動的に設定するとよい。また、参照光Ｌ（スリット光）が受光面５に縦向きに写るように配置され、参照光Ｌが受光面５の右方向又は左方向へ走査する場合は、受光面５の最左位又は最右位にある画素行を中央線とした関心領域の左上角部の位置を関心領域の初期位置ｐ_０として設定するとよい。或いは、関心領域設定部１６は、ユーザインタフェース部等を介して、関心領域の初期位置ｐ_０を任意に指定され、設定してもよい。例えば参照光Ｌ（スリット光）が受光面５に対して横向きに写るように配置され、参照光Ｌが受光面５の下方向へ走査し、受光面５の既知の領域に写る対象物の三次元形状を計測する場合、関心領域の初期位置ｐ_０をワークが存在する領域の最上位にある画素行を中心線とした関心領域の左上角部の位置を関心領域の初期位置ｐ_０として自動的に設定するとよい。これにより、関心領域の走査を対象物が存在する領域に制限でき、ノイズの影響を軽減できる。

　関心領域設定部１６は、参照光Ｌの走査速度ωに基づき、関心領域の移動速度ｖを設定する。関心領域をイメージセンサのクロック信号に同期させて移動させる場合は、関心領域設定部１６は、移動速度ｖに基づいて、参照光Ｌが受光面５を１画素分移動する時間がイメージセンサの動作クロックのうちの何クロック分に相当するかを求め、受光部３は、参照光Ｌが受光面５を１画素分移動するのに必要なクロック数毎に関心領域を１画素移動させるとよい。例えば、測距範囲全体を参照光Ｌが走査するのに掛かる時間ｔは、投射角度範囲／走査速度（ｔ＝θｍａｘ／ω）であるため、走査方向の受光面５の画素数をｎとすると、参照光Ｌの像が受光面５を１画素分移動するのに掛かる時間ΔｔはΔｔ≒ｔ／ｎとなる。つまり、イメージセンサのクロック周波数をＦとすると、参照光Ｌが受光面５を１画素分移動するのに要するクロック数ｃはｃ＝Ｆ／ｖとなる。そして、受光部３は、参照光Ｌが受光面５を１画素分移動するのに必要なクロック数ｃ毎に関心領域を１画素移動させる。このように関心領域をイメージセンサのクロック信号に同期させて移動させることにより、受光部３が外部信号をトリガ信号として入力する場合に比べ、より簡単な構成で関心領域を移動させることが可能になる。

　受光部３は、投光部７からの入力信号（例えばトリガ信号）に基づき、設定されたサイズ（幅ｗ及び高さｈ）の関心領域を初期位置ｐ_０に配置し、移動方向ｄへ移動速度ｖで移動させる。関心領域は、初期位置ｐ_０から位置ｐ_１へと、時間の経過とともに移動する。三次元情報算出部１０は、関心領域の受光部３の情報（イベント情報又は輝度画像）に基づいた三角測量によって対象物の三次元情報を算出する。三次元情報算出部１０は、関心領域以外の受光部３の情報を除外して測距することで多重反射した参照光等に起因するノイズの影響を軽減できる。

　図９Ｂは関心領域の設定の変形例を示す画像図である。投光部７が所定の投射角度間隔を保って複数の参照光Ｌ１、Ｌ２を投光する場合、関心領域設定部１６は、投射角度間隔に基づき、複数の関心領域１、２の初期位置ｐ_１０、ｐ_２０を別個に設定するとよい。複数の関心領域１、２の初期位置ｐ_１０、ｐ_２０以外の設定（サイズ（幅ｗ及び高さｈ）、移動方向ｄ、移動速度ｖ等）は互いに同一でよい。受光部３は、参照光Ｌ１、Ｌ２の投射角度がそれぞれ所定角度になったときに投光部７から入力信号（例えばトリガ信号）を入力し、設定されたサイズ（幅ｗ及び高さｈ）の関心領域１、２をそれぞれ初期位置ｐ_１０、ｐ_２０に配置し、移動方向ｄへ移動速度ｖで移動させる。そして、受光部３は、限定されないが、第一実施形態で説明した参照光の走査時刻範囲が設定された区画と、当該関心領域との論理積（ＡＮＤ）領域の情報（イベント情報又は輝度画像）のみを出力するとよい。三次元情報算出部９は、当該情報に基づいた三角測量によって対象物の三次元情報を算出する。

　また、関心領域設定部１６は、図示しないが、三次元計測装置８の供給者側で設定する供給者側関心領域と、三次元計測装置８の利用者側で設定する利用者側関心領域と、を設定する機能を備えていてもよい。関心領域設定部１６は、ユーザインタフェース部等を介して、供給者側関心領域と利用者側関心領域を指定され、設定する。この場合、関心領域設定部１６は、前述の参照光の走査時刻範囲が設定された区画に加え、供給者側関心領域と利用者側関心領域の論理積（ＡＮＤ）領域を関心領域として設定してもよい。

　第二実施形態の三次元計測装置８によれば、関心領域以外の受光部３の情報を除外して測距することで多重反射した参照光等に起因するノイズの影響を軽減できる。また、受光部３（即ち、イメージセンサ）は関心領域のみの情報（イベント情報又は輝度情報）を出力するため、参照光の走査時刻範囲のみによってイメージセンサから出力した情報を制限する場合に比べ、ノイズの過多によるイメージセンサの処理時間の悪化が改善される。特にイベントベースのイメージセンサは、イベント情報のみを出力するため、そもそも低レイテンシであるが、関心領域のみのイベント情報を出力することにより、イベントの過多によるイメージセンサのレイテンシ（遅延時間）の悪化が改善され、イベントベースのイメージセンサのメリットを享受ないし維持できることになる。

　なお、前述のプロセッサ、集積回路等で実行されるプログラムは、コンピュータ読取り可能な非一時的記録媒体、例えばＣＤ－ＲＯＭ等に記録して提供してもよいし、或いは有線又は無線を介してＷＡＮ（wide area network）又はＬＡＮ（local area network）上のサーバ装置から配信して提供してもよいことに留意されたい。

　本明細書において種々の実施形態について説明したが、本発明は、前述の実施形態に限定されるものではなく、請求の範囲に記載された範囲内において種々の変更を行えることを認識されたい。

　１　ステレオカメラ
　２　左受光部
　３　右受光部（受光部）
　４　左受光面
　５　右受光面（受光面）
　６　光切断システム
　７　投光部
　８　三次元計測装置
　９　三次元情報算出部
　１０　時刻範囲設定部
　１１　画素
　１２　投射角度間隔設定部
　１３　外部装置
　１４　関心領域移動部
　Ｂ　基線長
　Ｄ　視差
　ｆ　焦点距離
　Ｉ　参照光の像
　Ｌ　参照光
　Ｐ　対象物の点
　Ｑ　測距レンジの最近側の結像点
　Ｒ　測距レンジの最遠側の結像点
　ＱＲ　画素の視線と測距レンジとの交差線分
　Ｓ　対象物の面
　Ｖ　視線
　Ｗ　対象物
　Ｚ　対象物の点Ｐまでの距離
　θ　投射角度
　θｍａｘ　投射角度範囲
　φ　走査角度
　ω　走査速度
　ｉ　参照光の結像範囲
　ｐ０、ｐ１０、ｐ２０　関心領域の初期位置
　ｗ　関心領域の幅
　ｍ　関心領域の幅のマージン
　ｈ　関心領域の高さ
　ｄ　関心領域の移動方向
　ｖ　関心領域の移動速度
　Ｆ　イメージセンサのクロック周波数

Claims (18)

1. 　参照光を走査しながら対象物に投光する投光部と、
   　前記対象物で反射した前記参照光を受光する受光部と、
   　前記受光部のうちの所定区画毎に測距レンジに応じた前記参照光の走査時刻範囲を設定する時刻範囲設定部と、
   　設定された前記走査時刻範囲の前記受光部の情報に基づいた三角測量によって前記対象物の三次元情報を算出する三次元情報算出部と、
   　を備える、三次元計測装置。
2. 　前記受光部は、複数の画素を有し、前記画素毎にイベントを監視し、少なくとも前記イベントのあった前記画素の位置、時刻、及び極性を前記情報として出力する、請求項１に記載の三次元計測装置。
3. 　前記投光部は所定の投射角度間隔を保って複数の前記参照光を投光する、請求項１又は２に記載の三次元計測装置。
4. 　前記走査時刻範囲は、前記受光部の画素の視線と前記測距レンジとの交差線分を前記参照光が走査する走査時刻範囲である、請求項１から３のいずれか一項に記載の三次元計測装置。
5. 　前記走査時刻範囲は、前記受光部のうちの一画素を一区画として画素毎に設定される、又は前記受光部のうちの近傍の画素群を一区画として区画毎に設定される、請求項１から４のいずれか一項に記載の三次元計測装置。
6. 　設定された前記走査時刻範囲に応じて前記投射角度間隔を設定する投射角度間隔設定部をさらに備える、請求項３に記載の三次元計測装置。
7. 　前記受光部は複数の画素のうちの関心領域内の前記情報のみを出力する機能を備え、前記関心領域は、計測中のある時刻を含む前記走査時刻範囲が設定された前記区画を含むように、時間の経過とともに移動する、請求項１から６のいずれか一項に記載の三次元計測装置。
8. 　前記受光部は複数の画素のうちの関心領域内の前記情報のみを出力する機能を備え、前記関心領域は、計測中のある時刻において前記測距レンジに応じた前記参照光の結像範囲を含むように、時間の経過とともに移動する、請求項１から６のいずれか一項に記載の三次元計測装置。
9. 　参照光を走査しながら対象物に投光する投光部と、
   　前記対象物で反射した前記参照光を受光し、関心領域内の情報のみを出力する機能を備え、前記参照光の走査に応じて前記関心領域を移動させる受光部と、
   　前記関心領域の前記受光部の情報に基づいた三角測量によって前記対象物の三次元情報を算出する三次元情報算出部と、
   　を備える、三次元計測装置。
10. 　前記受光部は、複数の画素を有し、前記画素毎にイベントを監視し、少なくとも前記イベントのあった前記画素の位置、時刻、及び極性を前記情報として出力する、請求項９に記載の三次元計測装置。
11. 　前記関心領域は、計測中のある時刻において測距レンジに応じた前記参照光の結像範囲を含むように、時間の経過とともに移動する、請求項９又は１０に記載の三次元計測装置。
12. 　前記関心領域の初期位置、サイズ、移動方向、及び移動速度のうちの少なくとも一つを設定する関心領域設定部を備える、請求項９から１１のいずれか一項に記載の三次元計測装置。
13. 　前記関心領域のサイズは、測距レンジに応じた前記参照光の結像範囲に基づき設定される、請求項９から１２のいずれか一項に記載の三次元計測装置。
14. 　前記関心領域の移動方向は、前記参照光の走査方向に基づき設定される、請求項９から１３のいずれか一項に記載の三次元計測装置。
15. 　前記関心領域の移動速度は、前記参照光の走査速度に基づき設定される、請求項９から１４のいずれか一項に記載の三次元計測装置。
16. 　前記受光部は、入力信号に基づき、設定されたサイズの前記関心領域を初期位置から所定方向に所定速度で移動させる、請求項９から１５のいずれか一項に記載の三次元計測装置。
17. 　前記受光部は、前記参照光の投射角度が所定角度になったときに前記入力信号を入力する、請求項１６に記載の三次元計測装置。
18. 　前記受光部は、前記関心領域を前記受光部のクロック信号に同期させて移動させる、請求項９から１７のいずれか一項に記載の三次元計測装置。

Images