JP2019190910A - 画像データ生成装置 - Google Patents

Abstract

【課題】画像データ生成装置の解像度を、撮像素子の寸法増大や、受光量低下を克服しつつ、増大する。【解決手段】撮像範囲６は撮像素子４００の各画素Ｇの画角に対応付けて撮像区画６１に分割される。各撮像区画６１をサブ区画６２ａ〜６２ｄに分割される。発光素子制御部２１は、照射光Ｌｏを各振分け期間に同一のサブ区画群Ｕａ〜Ｕｄのサブ区画６２ａ〜６２ｄに振り分ける。反射光検出部２２は、各振分け期間の反射光を検出する。フレームデータ生成部２５は、各振分け期間ごとの反射光の検出値に基づいて全体のフレームデータを生成する。【選択図】図１

Description

本発明は、アクティブ型の画像データ生成装置に関する。

アクティブ型の画像データ生成装置は、発光素子と、撮像素子とを備え、発光素子から照射光を撮像範囲に向けて出射し、撮像範囲に存在する撮像対象物からの反射光を撮像素子装置の各画素ごとに検出している（例：特許文献１）。

アクティブ型の画像データ生成装置の解像度を増大するための一般的な対処方法は、撮像素子の画素数を増大することである。

特開２０１７−１９８４７７号公報

撮像素子の画素数を増大するために、２つの方法が考えられる。第１の方法は、画素寸法は変更することなく、撮像素子の寸法を増大することである。第２の方法は、撮像素子の寸法は変更することなく、画素寸法を減少させることである。

第１の方法は、撮像素子の寸法が増大することにより１枚のウェハから製造できる撮像素子の個数が減少し、撮像素子のコストが増大するという問題がある。第２の方法は、各画素の受光量が減少し、Ｓ／Ｎ比が低下するという問題がある。

本発明の目的は、コストの増大や、Ｓ／Ｎ比の低下の問題を克服しつつ、解像度を増大することができる画像データ生成装置を提供することである。

本発明の画像データ生成装置は、
照射光を生成する発光装置と、
複数の画素を有し、前記照射光が照射される撮像範囲からの反射光を各画素ごとに検出する撮像素子と、
前記撮像範囲を、前記撮像素子の各画素に対応付けて複数の撮像区画に分割し、さらに各撮像区画を複数のサブ区画に分割し、各撮像区画における相対位置が複数の前記撮像区画間で同一となる前記サブ区画同士をサブ区画群としたときに、前記照射光を、同一のサブ区画群のサブ区画に回折により振り分ける回折光学装置と、
前記回折光学装置で振り分けられる前記照射光が、各振分け期間で同一のサブ区画群の前記サブ区画に振り分けられるように制御する振分け制御部と、
各サブ区画群の前記サブ区画への前記照射光の各振分け期間に各画素に入射した前記反射光を検出する反射光検出部と、
前記反射光検出部が各振分け期間ごとに検出した前記反射光の検出値に基づいて前記撮像範囲のフレームデータを生成するフレームデータ生成部と、
を備えることを特徴とする。

本発明の画像データ生成装置によれば、撮像素子の各画素に対応付けられる撮像範囲の撮像区画が複数のサブ区画に分割され、照射光は、各振分け期間に、撮像範囲の全体でなく、撮像範囲のうちの各サブ区間のサブ区画のみを照射する。これにより、撮像素子の各画素に入射する反射光は、撮像区画ではなく、撮像区画より細分化されたサブ区画からの反射光となる。この結果、コストの増大や、Ｓ／Ｎ比の低下の問題を克服しつつ、解像度を増大することができる。

本発明の画像データ生成装置において、
記憶部を備え、
前記フレームデータ生成部は、
前記反射光検出部が各振分け期間ごとに検出した前記検出値に基づいて生成されるデータを各サブ区画群ごとのサブフレームデータとして前記記憶部に記憶させるとともに、
前記記憶部が記憶している各サブ区間群ごとのサブフレームデータを合成して、前記フレームデータを生成することを特徴とすることが好ましい。

この構成によれば、各振分け期間ごとに検出した各サブ区間群ごとのサブフレームデータを合成して、円滑にフレームデータを生成することができる。

本発明の画像データ生成装置において、
前記発光装置は、各々が各サブ区画群ごとに前記照射光を生成する複数の発光素子を含み、
前記回折光学装置は、各発光素子ごとに１つずつ配設されて、各発光素子からの前記照射光を該発光素子に対応する前記サブ区画群の各サブ区画に回折する複数の回折光学素子を含み、
前記振分け制御部は、各振分け期間に、該振分け期間の前記サブ区画群に対応する前記発光素子を点灯することが好ましい。

この構成によれば、各サブ区画群への照射光の振分け期間では、該サブ区画群に対応する発光素子を点灯するだけで、該サブ区画群のサブ区画に照射光を振り分けることができる。この結果、振分け制御を簡単化することができる。

本発明の画像データ生成装置において、
前記振分け制御部は、前記発光装置の全部の発光素子を消灯する消灯期間を設定し、
前記反射光検出部は、前記消灯期間に前記撮像素子が各画素ごとに検出した検出値を各画素における背景光の検出値として判断し、各振分け期間における前記撮像素子の検出値から前記背景光の検出値を引いた差分を前記反射光の検出値とすることが好ましい。

この構成によれば、各画素への入射光に、反射光が含まれていない消灯期間を設定する。消灯期間における画素への入射光は、反射光を含まない入射光としての背景光となる。こうして、点灯期間の入射光の検出値と、消灯期間に検出した背景光検出値との差分を反射光とすることにより、背景光のようなノイズの影響を低減することができる。

本発明の画像データ生成装置において、
前記撮像範囲の前記撮像区画は、複数の撮像区画群に分けられ、
同一の撮像区画群では、各撮像区画は、同一の個数の前記サブ区画に設定され、
同一の撮像区画群では、各撮像区画における複数の前記サブ区画は、前記撮像区画間で同一の相対位置に設定され、
前記振分け制御部は、各撮像区画群の各サブ区画群ごとに、別々の振分け期間を割り当てて、各振分け期間では、同一の前記撮像区画群の各撮像区画において、前記撮像区画間で同一の相対位置の前記サブ区画に前記照射光を振り分けることが好ましい。

この構成によれば、撮像範囲を複数の撮像区画群に分けて、各撮像区画群ごとに適切な解像度を設定することができる。

本発明の画像データ生成装置において、前記撮像範囲において、中心部の前記撮像区画群は、周辺部の前記撮像区画群よりも、各撮像区画のサブ区画の個数が多いことが好ましい。

この構成によれば、撮像範囲の中心部の解像度を周辺部の解像度より高めることができる。

画像データ生成装置の概略構成図。 撮像素子の構成図。 回折光学装置を外した状態での画像データ生成装置の正面図。 画像データ生成装置の側面図。 回折光学装置を発光装置側から見た図。 回折光学装置の４つの回折光学素子のうち１番目の回折光学素子が有効になっている時の仮想スクリーンの照射パターンを示す図。 回折光学装置の４つの回折光学素子のうち２番目の回折光学素子が有効になっている時の仮想スクリーンの照射パターンを示す図。 回折光学装置の４つの回折光学素子のうち３番目の回折光学素子が有効になっている時の仮想スクリーンの照射パターンを示す図。 回折光学装置の４つの回折光学素子のうち４番目の回折光学素子が有効になっている時の仮想スクリーンの照射パターンを示す図。 画像データ生成装置の詳細なブロック図。 回折光学装置を装備していないときの仮想スクリーンにおける照射パターンと画像との関係図。 回折光学装置を装備しているときの仮想スクリーンにおける照射パターンと画像との関係図。 仮想スクリーンに対する照射光の照射に関する対比図。 照射光の各振分け期間に撮像範囲に生成する別の照射パターンを仮想スクリーン上に示す図。 消灯期間無しでサブフレームを生成するときの生成順でサブフレームの生成期間を示す図。 消灯期間付きでサブフレームを生成するときの生成順でサブフレームの生成期間を示す図。 照射光の各振分け期間に撮像範囲に生成するその他の照射パターンを仮想スクリーン上に示す図。

図１は、画像データ生成装置１の概略構成図である。画像データ生成装置１は、アクティブ型であり、発光装置２、撮像装置４及び制御装置５を備え、画像データを生成し、出力する。

発光装置２は、制御装置５からの制御信号により点灯及び消灯を制御され、照射光Ｌｏを生成する。照射光Ｌｏは、発光装置２の光出射部に装着された回折光学装置１０により照射パターンを調整されてから、撮像範囲６に向けて出射される。

撮像装置４は、入射光Ｌｉの入射部にレンズ４ａを装着されている。レンズ４ａから撮像装置４に入射した入射光Ｌｉは、撮像素子４００の各画素Ｇ（図２）に入射する。入射光Ｌｉは、照射光Ｌｏが撮像範囲６内の撮像対象物７で反射した反射光Ｌｒの他に、通常、背景光Ｌｎを含む。

制御装置５は、ソフトウェアを実行する汎用的な構造を有し、ＣＰＵ、ＲＡＭ、ＲＯＭ、及びその他のメモリ（例：フラッシュメモリ）を備えている。制御装置５は、発光素子制御部２１、反射光検出部２２、記憶部２４及びフレームデータ生成部２５を有している。制御装置５は、その他、ＲＡＭやＲＯＭ等のメモリを有している。発光素子制御部２１、反射光検出部２２、記憶部２４及びフレームデータ生成部２５は、制御装置５のＣＰＵが、ＲＯＭから読み出したプログラムの実行に伴い、制御装置５の機能として生成される。

図２は、撮像装置４が備える撮像素子４００の構成図である。撮像素子４００は、主要構成要素として、画素配列部４０１、行制御部４０６、列制御部４０７及び主制御部４０８を備えている。

図２の画素配列部４０１は、正面視で図示されており、平面上に均一な分布として例えば縦方向及び横方向に共に等間隔（ただし、縦方向の等間隔と横方向の等間隔とは必ずしも等しくない）の格子配列で分布した複数の画素Ｇを有している。各画素Ｇは、画素配列部４０１における区画として形状、寸法及び面積が同一に設定されている。

画素配列部４０１における画素Ｇを特定するために、各画素Ｇを行番号ｎと列番号ｍとで表現する。画素Ｇ（ｎ，ｍ）とは、画素配列部４０１の正面視において上からｎ番目で、左からｍ番目の画素Ｇを指すものとする。画素配列部４０１は、例えば１２６×１２６個の画素Ｇから成る。以降、個々の画素Ｇを特に区別する必要がないときは、画素Ｇ（ｎ，ｍ）を「画素Ｇ」と総称し、（ｎ，ｍ）は省略する。なお、図２では、画素配列部４０１の画素Ｇの個数は、図示の簡略化のため、の実際の製品としての画素配列部４０１の個数より少なくなっている。

行制御部４０６は、行制御ライン４０９に制御信号を印加し、画素配列部４０１の画素Ｇを行ごとに制御できるようになっている。列制御部４０７は、列制御ライン４１０に制御信号を印加し、画素配列部４０１の画素Ｇを列ごとに制御できるようになっている。主制御部４０８は、制御装置５（図１）からの制御信号に基づいて行制御部４０６及び列制御部４０７を制御する。

図３Ａは回折光学装置１０を外した状態での画像データ生成装置１の正面図、図３Ｂは画像データ生成装置１の右側面図、図３Ｃは回折光学装置１０を本体１５側から見た図である。

制御装置５は、回折光学装置１０が前面側に配備された本体１５を備える。発光装置２、撮像装置４及び制御装置５（図１）は、本体１５に内蔵されている。発光装置２は、縦横２×２の配列で発光素子２ａ〜２ｄを有する。

図３Ｂにおいて、回折光学装置１０は、発光装置２の前面に正対して配備される。回折光学装置１０は、縦横２×２の回折光学素子（ＤＯＥ：Diffractive Optical Element）１１ａ〜１１ｄを有する。回折光学素子１１ａ〜１１ｄは、発光装置２の出射側においてそれぞれ発光素子２ａ〜２ｄに正対して配設されている。

図３Ｃにおいて、回折光学素子１１ａ〜１１ｄは、それぞれ異なるハッチングで図示されている。これらの異なるハッチングは、回折光学素子１１ａ〜１１ｄが生成する照射パターン（回折パターンでもある。）が異なることを示している。図３Ａ以降、ハッチングの同一の部位は、同一のサブ区画群又は同一の撮像区画群に属することを意味し、同一の照射パターン時に照射光Ｌｏが照射される。

図４Ａ〜図４Ｄは、それぞれ回折光学素子１１ａ〜１１ｄが有効になっている期間に仮想スクリーン６０上に生成される照射光パターンを示す図である。仮想スクリーン６０は、画像データ生成装置１が生成する照射パターンを説明する便宜上、想定したものであり、画像データ生成装置１の実際の使用時には存在しない。なお、回折光学素子１１ａ〜１１ｄが有効になっている期間とは、それぞれ回折光学素子１１ａ〜１１ｄが正対している発光素子２ａ〜２ｄが点灯している期間を意味する。また、仮想スクリーン６０上に生成される照射光Ｌｏの照射パターンは、撮像範囲６に投影されて、撮像範囲６における照射光Ｌｏの照射パターンになる。

図４Ａ〜図４Ｄにおいて、仮想スクリーン６０は、縦横に複数の撮像区画６１に分割されている。撮像区画６１の個数は、撮像素子４００の画素Ｇの個数と同一である。また、各撮像区画６１は、撮像素子４００の対応する各画素Ｇの画角に対応付けられている。すなわち、各撮像区画６１から撮像素子４００に向かう入射光Ｌｉは、各撮像区画６１に対応する撮像素子４００の画素Ｇに入射する。

各撮像区画６１は、複数（この例では４個）のサブ区画６２ａ〜６２ｄに分割されている。仮想スクリーン６０上では、サブ区画６２ａ〜６２ｄの形状（例：正方形）及び面積は同一に設定されている。仮想スクリーン６０の上下左右は、撮像範囲６の上下左右に対応している。

サブ区画６２ａは撮像区画６１の左上を占めている。サブ区画６２ｂは撮像区画６１の右上を占めている。サブ区画６２ｃは撮像区画６１の左下を示している。サブ区画６２ｄは撮像区画６１の右下を占めている。各撮像区画６１における相対位置（例：左上や右下等）が複数の撮像区画間で同一となるサブ区画同士はサブ区画群Ｕａ〜Ｕｄを構成する。なお、以下、サブ区画６２ａ〜６２ｄを特に区別しないときは、それらを「サブ区画６２」で総称する。

図４Ａ〜図４Ｄにおいて、ハッチングのパターンは、各振分け期間の照射パターンでもある。図４Ａ〜図４Ｄの照射パターンは、それぞれ発光素子２ａ〜２ｄの点灯期間に生成される。各発光素子２ａ〜２ｄの点灯期間は、他の３つの発光素子の消灯期間となる。

発光素子制御部２１〜フレームデータ生成部２５の作用について、概略的に説明する。なお、詳細な作用は、図５において説明する。

発光素子制御部２１は、振分け制御部として、回折光学素子１１で振り分けられる発光装置２からの照射光Ｌｏが、各振分け期間（後述の図８の各サブフレーム期間）で同一のサブ区画群Ｕａ〜Ｕｄのサブ区画６２ａ〜６２ｄ（図４Ａ〜図４Ｄ）に振り分けられるように制御する。

反射光検出部２２は、各サブ区画群Ｕａ〜Ｕｄのサブ区画６２ａ〜６２ｄへの照射光Ｌｏの各振分け期間に各画素Ｇに入射した反射光Ｌｒを検出する。フレームデータ生成部２５は、反射光検出部２２が各振分け期間ごとに検出した反射光Ｌｒの検出値に基づいて撮像範囲６のフレームデータを生成する。

フレームデータ生成部２５は、詳細には、フレームデータを次のようにして、生成する。第１段階として、反射光検出部２２が各振分け期間ごとに検出した検出値に基づいて生成されるデータを各サブ区画群Ｕａ〜Ｕｄごとのサブフレームデータとして記憶部２４に記憶させる。そして、第２段階として、記憶部２４が記憶している各サブ区画群Ｕａ〜Ｕｄごとのサブフレームデータを合成することにより、フレームデータを生成する。

図５は、画像データ生成装置１の詳細なブロック図である。図１の撮像対象物７は、ここでは、図５では、別の符号の撮像対象物６８で示す。

制御装置５は、フレーム生成部５０１、発光素子生成部５０２、タイミング生成部５０３、受光素子制御部５０４、画像生成部５０５、画像記憶部５０６及び画像合成部５０７を備える。図２の発光素子制御部２１〜フレームデータ生成部２５と、図５のフレーム生成部５０１〜画像合成部５０７との対応関係は次のとおりである。

発光素子制御部２１は、発光素子生成部５０２に対応する。反射光検出部２２は、画像生成部５０５に対応する。記憶部２４は、画像記憶部５０６に対応する。フレームデータ生成部２５は、画像合成部５０７に対応する。

タイミング生成部５０３は、制御装置５内の各部を同期動作させるためのタイミング信号を生成し、各部へ送信する。フレーム生成部５０１は、タイミング信号を基に、動作フレーム信号を生成し、発光素子生成部５０２、受光素子制御部５０４及び画像生成部５０５へ送信する。ここで生成される動作フレーム情報は、フレームデータを必要があるサブ画像（サブフレーム）分だけ生成されるものであり、例えば照射パターンを４種類設定して、発光装置２を動作させる場合は、最低４個のサブフレームが必要となる。なお、フレームを編成するサブフレームについては、図９Ａ等で後述する。

発光素子生成部５０２は、タイミング信号及び動作フレーム信号を受け、動作フレーム信号によって決められる制御信号をタイミング信号を基に同期し、発光装置２へ送信する。ここでの制御信号とは、照射パターンを決定する信号であり、ｌａが変調光の場合は、その変調信号等である。

受光素子制御部５０４は、タイミング信号及び動作フレーム信号を受け、動作フレーム信号によって決められる制御信号をタイミング信号を基に同期し、撮像装置４へ送信する。ここでの制御信号とは、露光時間を決定する信号、ＣＤＳ動作信号、リセット信号及び読出し信号等である。

画像生成部５０５は、タイミング信号及び動作フレーム信号を受け、動作フレーム信号によって決定される方法で、撮像装置４から送信されるセンサー出力をタイミング信号に同期し受信し、サブフレームデータとして生成する。画像生成部５０５は、生成したサブフレームデータを動作フレーム情報とともに、記憶部２４としての画像記憶部５０６へ保存する。また、フレームデータとは、画像記憶部５０６に記憶した各サブ区画群Ｕａ〜Ｕｄごとのサブフレームデータを合成して、撮像範囲６の各サブ区画６２ａ〜６２ｄごとの撮像対象物６８に係るデータである。

ここで動作フレーム信号によって画像生成方法を決定するのは、動作フレームによって発光装置２への制御信号、撮像装置４への制御信号が異なる場合があるためである。この画像データ生成装置１をＴＯＦセンサー（ＴＯＦ方式測距装置）に転用するときは、実施形態のフレームの画像を生成するときとは異なる専用の制御信号が生成される。ＴＯＦセンサー等のセンサー出力から生成した画像を用いて処理を行い所望のサブフレームデータを得るときの処理も、この画像生成部５０５において行われる。その場合は、画像記憶部５０６から画像を読出したり保存したりしながら、各サブ区画６２ａ〜６２ｄごとに処理を行う。

画像記憶部５０６は、画像生成部５０５で生成されたサブフレームデータをフレーム情報と一緒に保存するためのものであり、制御装置５を実現するためのＩＣのオンチップメモリを用いてもよいし、ＤＤＲメモリのようなメモリＩＣを用いてもよい。また、サブフレームデータをフレーム情報と一緒に記憶する場合、保存されているサブフレームデータと、そのサブフレームデータがどのサブフレームのデータなのか判別できればよい。したがって、あらかじめ記憶部のアドレスにフレームを割り振っておき、そのアドレスに対象となるサブフレームデータを保存することで、アドレスから判別できるようにしてもよい。そして、その保存形態は問わない。

画像合成部５０７は、画像記憶部５０６よりサブフレームデータを読出し、高解像度画像とするために各照射パターンのサブフレームデータを合成して、フレームデータを生成する処理を行う機能をもつ。ここで、画像合成部５０７は必ずしも高解像度化した合成画像を出力するものではなく、合成前の画像を出力してもよい。例えば、４つの照射パターンを設けた場合は、４つの画像を合成した後に画像を出力してもよいし、２つの画像づつ合成した形で出力してもよい。

４つの画像合成した後に画像出力する形態では、４つの画像全てを撮像した後に初めて１画像が出力されるため、フレームレートが低下してしまう。これに対し、２つの画像ずつの合成、又は合成前の画像を高解像度化した場合の画素番号とデータを対応付けて出力することができる。これにより、データ受信側で送られたサブフレームデータの画素番号を判別することができ、フレームレートの低下を防ぐことができる。ここでの合成処理とは、出力先のデータ受信装置が複数枚の画像を一枚の画像と認識できる形態へのデータ変換処理を示しており、受信装置のデータ形態によって異なるものである。

これら一連の制御装置５における処理は、市販の組み込みＣＰＵやＦＰＧＡ等を用いることによって実現が簡便に可能である。

図６Ａ及び図６Ｂは、仮想スクリーン６０における照射パターンと画像７３との関係を示している。なお、画像７３は、フレームデータ生成部２５が出力するフレームデータに基づいて生成される。図６Ａ及び図６Ｂは、回折光学装置１０を装備していないとき及びいるときの照射パターンと画像７３との関係を示している。

図６Ａでは、仮想スクリーン６０の各撮像区画６１には、一様の照射光Ｌｏが照射される（図６Ａの左図）。したがって、仮想スクリーン６０を撮像することにより生成される画像７３は、撮像範囲６の撮像区画６１ごとの解像度になる。

これに対し、図６Ｂでは、発光素子２ａ〜２ｄが、それぞれ点灯期間において順番に点灯する。点灯期間は、振分け期間に相当する。なお、各振分け期間は、後述のサブフレームのフレームレートに対応付けられる。

画像データ生成装置１では、図６Ｂの左列に図示しているように、撮像素子４００は、第１段階として各振分け期間の照射パターンごとに仮想スクリーン６０を撮像し、画像生成部５０５は、図６Ｂの中列のように、サブ画像７４を生成する。サブ画像７４における情報は、各サブ区画６２ａ〜６２ｄごとの情報としてのサブ情報Ｊｇとなる。

次に、第２段階として、画像合成部５０７は、画像記憶部５０６からサブフレームデータを各振分け期間のサブ画像７４を合成して、画像７３のフレームデータを生成する。こうして生成される画像７３における情報は、各サブ区画６２ａ〜６２ｄごとにサブ情報Ｊｇから構成される。この結果、撮像素子４００の解像度は、各画素への反射光Ｌｒの受光量を低減することなく、画素Ｇの総数を２×２倍した解像度となる。

図７は、仮想スクリーン６０に対する照射光Ｌｏの照射に関する対比図である。上及び下の仮想スクリーン６０は、それぞれ従来の画像データ生成装置及び回折光学装置１０による照射光Ｌｏの照射状態を示している。従来の画像データ生成装置では、仮想スクリーン６０の全面が同時に照射光Ｌｏで照射されるのに対し、回折光学装置１０では、仮想スクリーン６０は、各振分け期間において各サブ区画群Ｕａ〜Ｕｄごとに設定された照射パターンの照射光Ｌｏで４回に分けて照射される。

この結果、撮像素子４００の画素Ｇの画素数及び１つの画素Ｇ当たりの面積は同一であるにもかかわらず、実施的にサブ区画群Ｕａ〜Ｕｄの個数だけ解像度の増大した画像を生成することができる。

図８は、照射光Ｌｏの各振分け期間に撮像範囲６に生成する別の照射パターンを仮想スクリーン６０上に示している。前述の図４Ａ〜図４Ｄでは、各振分け期間を別々の図において示したが、図８では、１つの図に４つの振分け期間の照射パターンをまとめて示している。ハッチングが同一のサブ区画６５は、それぞれ同一のサブ区画群Ｕａ〜Ｕｄに属していて、それぞれ発光素子２ａ〜２ｄから照射光Ｌｏにより照射される。

図８の４つの照射パターンを回折により生成する回折光学素子１１ａ〜１１ｄは、図４Ａ〜図４ｂの照射パターンを回折により生成する回折光学素子１１ａ〜１１ｄとは異なる。すなわち、図４Ａ〜図４Ｄでは、回折光学素子１１ａ〜１１ｄが仮想スクリーン６０のサブ区画６２ａ〜６２ｄの全面を照射している。これに対し、図８では、仮想スクリーン６０のサブ区画６２ａ〜６２ｄは、中心部のみが円形のスポットの照射光Ｌｏで照射される。

各サブ区画６２ａ〜６２ｄの全面に各振分け期間に照射光Ｌｏを照射しなくても、一部のみの照射でも、各サブ区画６２ａ〜６２ｄごとに十分な精度で測定することができる。

図９Ａ及び図９Ｂは種々のサブフレームの生成期間を示し、図９Ａ及び図９Ｂは、それぞれ消灯期間無し及び消灯期間有りでサブフレームを生成するときの生成順を示す図である。

サブフレームａ〜ｄの生成期間は、それぞれ発光素子２ａ〜２ｄが点灯する振分け期間に対応する。サブフレームｅの生成期間では、発光素子２ａ〜２ｄの全部が消灯する。したがって、サブフレームｅの生成期間では、撮像対象物６８の反射光Ｌｒは生成されない。すなわち、撮像素子４００の各画素Ｇに入射する入射光Ｌｉは、背景光Ｌｎのみであると判断することができる。

反射光検出部２２は、消灯期間としてのサブフレームｅの生成期間に撮像素子４００が各画素Ｇごとに検出した検出値を各画素Ｇにおける背景光Ｌｎの検出値として判断する。そして、各振分け期間における撮像素子４００の検出値から背景光Ｌｎの検出値を引いた差分を反射光Ｌｒの検出値とする。

図１０は、照射光Ｌｏの各振分け期間に撮像範囲６に生成するその他の照射パターンを仮想スクリーン６０上に示している。図８のときと同様に、１つの図に複数（ここでは３個）の振分け期間の照射パターンをまとめて示している。

仮想スクリーン６０の撮像区画６１は、中心部の撮像区画群Ｗａの撮像区画６１と、撮像区画群Ｗａを取り囲む周辺部の撮像区画群Ｗｂの撮像区画６１とに分けられる。撮像区画群Ｗａの各撮像区画６１は、上下にサブ区画６５ａとサブ区画６５ｂとに分割される。撮像区画群Ｗｂの各撮像区画６１は、サブ区画に分割されない。したがって、撮像区画群Ｗａの撮像区画６１のサブ区画の個数は、撮像区画群Ｗｂの撮像区画６１の個数より多くなっている。

図１０の照射パターンを生成するために、画像データ生成装置１は、発光装置２に３つの発光素子を備え、回折光学素子１１に３つの回折光学素子とを備える。発光装置２の３つの発光素子と回折光学素子１１の３つの回折光学素子とは、図３Ｂの場合と同様に、正対関係になる。発光素子制御部２１は、照射光Ｌｏの３つの振分け期間に別々の発光素子を点灯し、図１０の各照射パターンを生成する。

図１０の照射パターンを採用すれば、撮像範囲６の中心部の解像度を撮像範囲６の周辺部の解像度より高めることができる。

以下、実施形態の種々の変形例について説明する。

実施形態では、各撮像区画６１は、４つ又は２つのサブ区画６２（図４Ａ及び図１０等）に分割されているが、その他の複数の個数でもよい。また、一部の撮像区画６１については、分割されていなくてもよい。

実施形態では、各照射パターンごとに、発光装置２は発光素子２ａ〜２ｄを有し、回折光学装置１０は、複数の回折光学素子１１ａ〜１１ｄを有している。回折光学素子には、印加電圧や印加温度を制御して、回折パターン（照射パターンでもある。）を種々変化するものがある。この場合には、発光装置２が装備する発光素子の個数及び回折光学装置１０が備える回折光学素子の個数をそれぞれ１つずつにすることができる。

また、回折光学装置１０の本体１５側に機械的シャッタを各回折光学素子１１ａ〜１１ｄごとに配設して、発光装置２の発光素子２ａは１つのみとすることもできる。その場合、照射光Ｌｏの照射パターンに対応する回折光学素子１１ａ〜１１ｄうちの１つのみのシャッタが開かれ、他の３つのシャッタが閉じられるように、各振分け期間に制御される。

画像データ生成装置１は、ＴＯＦ方式等の測距可能な距離画像生成装置として使用される場合も想定される。その場合、フレームデータ生成部２５から出力されるサブフレーム又はサブフレームを合成したフレームが各サブ区画６２ａ〜６２ｄごとに含むサブ情報Ｊｇは、距離情報して、距離画像（立体画像又は３Ｄ画像とも言う。）の表示や、画像処理を行うことにより測定対象物の特定やトラッキング等に利用することができる。

実施形態では、発光素子２ａ〜２ｄは、例えばレーザ光源となっている。発光素子２ａ〜２ｄとして、ＬＥＤ（Light Emitting Diode）を使用することもできる。

実施形態では、照射光Ｌｏは、可視光又は赤外光になっている。本発明の照射光は、可視光及び赤外光以外の光とすることも可能である。

１・・・画像データ生成装置、２・・・発光装置、２ａ〜２ｄ・・・発光素子、４・・・撮像装置、５・・・制御装置、６・・・撮像範囲、７，６８・・・撮像対象物、１０・・・回折光学装置、１１・・・回折光学素子、２１・・・発光素子制御部、２２・・・反射光検出部、２４・・・記憶部、２５・・・フレームデータ生成部、６１・・・撮像区画、６２，６５・・・サブ区画、７３・・・画像、７４・・・サブ画像、４００・・・撮像素子。

Claims (6)

1. 照射光を生成する発光装置と、
   複数の画素を有し、前記照射光が照射される撮像範囲からの反射光を各画素ごとに検出する撮像素子と、
   前記撮像範囲を、前記撮像素子の各画素に対応付けて複数の撮像区画に分割し、さらに各撮像区画を複数のサブ区画に分割し、各撮像区画における相対位置が複数の前記撮像区画間で同一となる前記サブ区画同士をサブ区画群としたときに、前記照射光を、同一のサブ区画群のサブ区画に回折により振り分ける回折光学装置と、
   前記回折光学装置で振り分けられる前記照射光が、各振分け期間で同一のサブ区画群の前記サブ区画に振り分けられるように制御する振分け制御部と、
   各サブ区画群の前記サブ区画への前記照射光の各振分け期間に各画素に入射した前記反射光を検出する反射光検出部と、
   前記反射光検出部が各振分け期間ごとに検出した前記反射光の検出値に基づいて前記撮像範囲のフレームデータを生成するフレームデータ生成部と、
   を備えることを特徴とする画像データ生成装置。
2. 請求項１に記載の画像データ生成装置において、
   記憶部を備え、
   前記フレームデータ生成部は、
   前記反射光検出部が各振分け期間ごとに検出した前記検出値に基づいて生成されるデータを各サブ区画群ごとのサブフレームデータとして前記記憶部に記憶させるとともに、
   前記記憶部が記憶している各サブ区間群ごとのサブフレームデータを合成して、前記フレームデータを生成することを特徴とする画像データ生成装置。
3. 請求項１又は２に記載の画像データ生成装置において、
   前記発光装置は、各々が各サブ区画群ごとに前記照射光を生成する複数の発光素子を含み、
   前記回折光学装置は、各発光素子ごとに１つずつ配設されて、各発光素子からの前記照射光を該発光素子に対応する前記サブ区画群の各サブ区画に回折する複数の回折光学素子を含み、
   前記振分け制御部は、各振分け期間に、該振分け期間の前記サブ区画群に対応する前記発光素子を点灯することを特徴とする画像データ生成装置。
4. 請求項１〜３のいずれか１項に記載の画像データ生成装置において、
   前記振分け制御部は、前記発光装置の全部の発光素子を消灯する消灯期間を設定し、
   前記反射光検出部は、前記消灯期間に前記撮像素子が各画素ごとに検出した検出値を各画素における背景光の検出値として判断し、各振分け期間における前記撮像素子の検出値から前記背景光の検出値を引いた差分を前記反射光の検出値とすることを特徴とする画像データ生成装置。
5. 請求項１〜４のいずれか１項に記載の画像データ生成装置において、
   前記撮像範囲の前記撮像区画は、複数の撮像区画群に分けられ、
   同一の撮像区画群では、各撮像区画は、同一の個数の前記サブ区画に設定され、
   同一の撮像区画群では、各撮像区画における複数の前記サブ区画は、前記撮像区画間で同一の相対位置に設定され、
   前記振分け制御部は、各撮像区画群の各サブ区画群ごとに、別々の振分け期間を割り当てて、各振分け期間では、同一の前記撮像区画群の各撮像区画において、前記撮像区画間で同一の相対位置の前記サブ区画に前記照射光を振り分けることを特徴とする画像データ生成装置。
6. 請求項５に記載の画像データ生成装置において、
   前記撮像範囲において、中心部の前記撮像区画群は、周辺部の前記撮像区画群よりも、各撮像区画のサブ区画の個数が多いことを特徴とする画像データ生成装置。