[go: up one dir, main page]

JP2018185179A - 測距装置、監視装置、3次元計測装置、移動体、ロボット及び測距方法 - Google Patents

測距装置、監視装置、3次元計測装置、移動体、ロボット及び測距方法 Download PDF

Info

Publication number
JP2018185179A
JP2018185179A JP2017085819A JP2017085819A JP2018185179A JP 2018185179 A JP2018185179 A JP 2018185179A JP 2017085819 A JP2017085819 A JP 2017085819A JP 2017085819 A JP2017085819 A JP 2017085819A JP 2018185179 A JP2018185179 A JP 2018185179A
Authority
JP
Japan
Prior art keywords
distance
charge
light
period
distance measuring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2017085819A
Other languages
English (en)
Inventor
周 高橋
Shu Takahashi
周 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2017085819A priority Critical patent/JP2018185179A/ja
Publication of JP2018185179A publication Critical patent/JP2018185179A/ja
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

【課題】 フレームレートの低下を抑制しつつ所望の距離範囲において距離分解能を向上させることができる測距装置を提供する。
【解決手段】 距離センサ20(測距装置)は、光源21と、該光源21から射出され物体で反射された光を受光して光電変換するイメージセンサ29(撮像素子)と、光源21の発光開始タイミングに対するイメージセンサ29の露光期間を制御し、イメージセンサ29に露光期間に光電変換により生じた電気信号(受光信号)を複数の位相信号に振り分けて取得させる同期制御部204と、複数の位相信号に基づいて、露光期間に対応する距離範囲に存在する物体までの距離を算出する画像処理部203と、を備える測距装置である。
【選択図】図8

Description

本発明は、測距装置、監視装置、3次元計測装置、移動体、ロボット及び測距方法に関する。
近年、物体までの距離を測定するための測距技術の開発が盛んに行われている。
例えば、特許文献1及び非特許文献1には、光源から射出され物体で反射された光を撮像素子で受光し、光源の発光タイミングと撮像素子の受光タイミングとの時間差に基づいて物体までの距離を求める、いわゆるTOF(Time of Flight)演算方式を用いた測距技術が開示されている。
しかしながら、特許文献1及び非特許文献1に開示されている測距技術では、フレームレートの低下を抑制しつつ所望の距離範囲において距離分解能を向上させることに関して改善の余地があった。
本発明は、光源と、前記光源から射出され物体で反射された光を受光して光電変換する受光領域と、前記光電変換により生じた電荷を蓄積するための複数の電荷蓄積領域から成る電荷蓄積領域群と、前記電荷を排出するための電荷排出領域とを有する撮像素子と、前記電荷の送り先を前記電荷排出領域と前記電荷蓄積領域群との間で切り替えることにより、前記光源の発光開始タイミングに対して前記電荷蓄積領域群へ前記電荷を送る期間を制御し、前記期間内の異なる複数の時間帯それぞれに生じた前記電荷を前記複数の電荷蓄積領域のいずれかへ送る制御部と、前記複数の電荷蓄積領域の電荷蓄積量に基づいて、前記期間に対応する距離範囲に存在する前記物体までの距離を算出する演算部と、を備える測距装置である。
本発明によれば、フレームレートの低下を抑制しつつ所望の距離範囲において距離分解能を向上させることができる。
本発明の一実施形態に係る距離センサを搭載した走行体の外観図である。 走行管理装置の構成を説明するためのブロック図である。 距離センサの構成を説明するための図である。 投光系を説明するための図である。 発光制御信号を説明するための図である。 光源駆動信号を説明するための図である。 受光系を説明するための図である。 距離センサにおける信号の流れを示す図である。 音声・警報発生装置の構成を説明するためのブロック図である。 イメージセンサの画素構造の一例を示す図である。 光源の発光期間と撮像素子の露光期間(電荷蓄積期間)を示すタイミング図である。 露光期間に対応する距離範囲のイメージ図である。 Tdの算出方法を説明するための図である。 複数の距離範囲に対応する複数のスライス画像を取得するフレーム構成例を示す図である。 複数のスライス画像を取得する際の発光制御信号、TXD信号を示すタイミング図(その1)である。 複数のスライス画像と複数の露光期間の対応関係を示す図である。 複数のスライス画像を取得する際の発光制御信号、TXD信号を示すタイミング図(その2)である。 複数のスライス画像を取得する際の発光制御信号、TXD信号を示すタイミング図(その3)である。
以下、本発明の一実施形態を図面に基づいて説明する。図1には、一実施形態の測距装置としての距離センサ20を搭載した走行体1の外観が示されている。この走行体1は、荷物を目的地に無人搬送するものである。なお、本明細書では、XYZ3次元直交座標系において、路面に直交する方向をZ軸方向、走行体1の前進方向を+X方向として説明する。
ここでは、距離センサ20は、一例として、走行体1の前部に取り付けられ、走行体1の+X側(前方)の3次元情報を求める。なお、距離センサ20による測定可能な領域を測定領域ともいう。
走行体1の内部には、一例として図2に示されるように、表示装置30、位置制御装置40、メモリ50、及び音声・警報発生装置60などが備えられている。これらは、データの伝送が可能なバス70を介して電気的に接続されている。
ここでは、距離センサ20と、表示装置30と、位置制御装置40と、メモリ50と、音声・警報発生装置60とによって、走行管理装置10が構成されている。すなわち、走行管理装置10は、走行体1に搭載されている。また、走行管理装置10は、走行体1のメインコントローラ80と電気的に接続されている。
距離センサ20は、一例として図3に示されるように、投光系201、受光系202、画像処理部203、同期制御部204などを有している。そして、これらは、筐体内に収納されている。この筐体は、投光系201から投光される光、及び物体で反射され、受光系202に向かう光が通過するための窓を有し、該窓にはガラスが取り付けられている。
投光系201は、受光系202の−Z側に配置されている。この投光系201は、一例として図4に示されるように、光源21及び光源駆動部25などを有している。
光源21は、光源駆動部25によって点灯及び消灯される。ここでは、光源21としてLED(発光ダイオード)が用いられているが、これに限らず、例えば半導体レーザ(端面発光レーザや面発光レーザ)等の他の光源を用いても良い。光源21は、+X方向に光を射出するように配置されている。なお、以下では、光源駆動部25で生成され、光源21を駆動するための信号を「光源駆動信号」と呼ぶ。
光源駆動部25は、同期制御部204からの発光制御信号(例えばパルス幅T、パルス周期Tのパルス信号、図5参照)に基づいて、光源駆動信号(図6参照)を生成する。この光源駆動信号は、光源21に送出される。
これにより、光源21からは、同期制御部204から指示されたパルス幅、パルス周期のパルス光が射出される。なお、光源21から射出されるパルス光は、デューティ(duty)が50%以下となるように、同期制御部204において設定されている。また、以下では、光源21から射出されるパルス光を「投光波」や「投光パルス」とも呼ぶ。
走行体1のメインコントローラ80は、走行体1を走行させる際に、位置制御の開始要求を位置制御装置40に送出する。そして、走行体1のメインコントローラ80は、走行体1が目的位置に到達すると、位置制御の終了要求を位置制御装置40に送出する。
位置制御装置40は、位置制御の開始要求、及び位置制御の終了要求を受け取ると、画像処理部203に送出する。
距離センサ20から射出され物体で反射された光の一部は、距離センサ20に戻ってくる。以下では、便宜上、物体で反射され距離センサ20に戻ってくる光を「物体からの反射光」もしくは「反射光」ともいう。
受光系202は、物体からの反射光を検出する。受光系202は、一例として図7に示されるように、結像光学系28及びイメージセンサ29などを有している。
結像光学系28は、物体からの反射光の光路上に配置され、該光を集光する。ここでは、結像光学系28は1枚のレンズで構成されているが、2枚のレンズで構成されても良いし、3枚以上のレンズで構成されても良いし、ミラー光学系を用いても良い。
イメージセンサ29は、結像光学系28を介して物体からの反射光を受光する。ここでは、イメージセンサ29として、複数の受光部(例えばPD:フォトダイオード)が2次元配列されたエリアイメージセンサが用いられている。以下では、イメージセンサ29で受光される物体からの反射光を「受光波」や「受光パルス」とも呼ぶ。イメージセンサ29の「受光部」は「画素」とも呼ばれる。
イメージセンサ29は、複数の画素で受光した光を画素毎に光電変換し、その電気信号(受光信号)を時間的に分割し、時間毎の複数の信号(位相信号)に振り分ける。
詳述すると、イメージセンサ29は、受光部毎に電荷蓄積領域としてのFD1、FD2、FD3(図10参照)を有しており、図8に示されるTXD信号がハイ(high)のときは電荷の蓄積を行わず、TXD信号がロー(low)のときに電荷の蓄積を行う。「FD」は、フローティングディフュージョンの略語である。
より詳細には、TXD信号がハイからローになったときにTX1信号がローからハイになり、TX1信号がハイからローになったときにTX2信号がローからハイになり、TX2信号がハイからローになったときにTX3信号がローからハイになり、TX3信号がハイからローになったときにTXD信号がローからハイになる(図11参照)。
TX1信号がハイの期間中、受光部で光電変換により生じた信号電荷がFD1に蓄積される。
TX2信号がハイの期間中、受光部で光電変換により生じた信号電荷がFD2に蓄積される。
TX3信号がハイの期間中、受光部で光電変換により生じた信号電荷がFD3に蓄積される。
TXD信号がローからハイになったときに、FD1、FD2、FD3に蓄積された信号電荷の読み出し、リセットが行われる。
以上の説明から分かるように、TX1信号、TX2信号、TX3信号は、受光信号を時間的に3つに分割して取得するための信号である。
同期制御部204は、図8に示されるように、画像処理部203から測定開始信号を受信すると、各回の測定毎に、発光制御信号を光源駆動部25に出力するとともにTXD信号、TX1信号、TX2信号、TX3信号をイメージセンサ29に順次出力する。また、同期制御部204は、画像処理部203から測定終了信号を受信すると、上記各信号の出力を停止する。
画像処理部203は、イメージセンサ29で読み出された画素毎の複数の位相信号に基づいて(後に説明する関係式を用いて)、光源21の発光タイミング(投光波の出力タイミング)とイメージセンサ29の当該画素の受光タイミング(受光波の入力タイミング)との時間差を求め、該時間差から物体までの距離を算出して物体の3次元情報を示す距離画像(デプスマップ)を生成し、位置制御装置40に出力する。
詳述すると、画像処理部203は、後述するように測距レンジを分割して得られる複数の距離範囲に対応する複数の距離画像を統合して測距レンジ全域の距離画像を生成する。
なお、ここでは、画像処理部203が距離センサ20の構成要素とされているが、これに代えて、例えばPC等の外部機器に画像処理部203の機能を担わせても良い。
図2に戻り、位置制御装置40は、画像処理部203から距離画像を受け取ると、該距離画像を表示装置30に表示する。また、位置制御装置40は、距離画像に基づいて、走行体1の位置が所定の位置となるように、位置制御を行う。
音声・警報発生装置60は、一例として図9に示されるように、音声合成装置61、警報信号生成装置62及びスピーカ63などを有している。
音声合成装置61は、複数の音声データを有しており、位置制御装置40から危険有りの情報を受け取ると、対応する音声データを選択し、スピーカ63に出力する。
警報信号生成装置62は、位置制御装置40から危険有りの情報を受け取ると、対応する警報信号を生成し、スピーカ63に出力する。
次に、イメージセンサ29の画素構造の一例について説明する。図10は、イメージセンサ29の1画素を平面視したときの断面図である。イメージセンサ29は、図10に示されるように、画素毎に、受光信号を時間的に振り分けるための3つのゲート構造と受光信号の振り分け期間(電荷蓄積期間)を制御するための1つのゲート構造を有している。
なお、ここでは、電荷蓄積領域としてFDを用いた画素構造とされているが、電荷蓄積領域としてコンデンサを用いた画素構造とすることも可能である。
詳述すると、イメージセンサ29の各画素において、受光領域を形成し光電変換を行うPD(フォトダイオード)は、転送ゲートTG1、TG2、TG3をそれぞれ介して電荷蓄積領域としてのFD1、FD2、FD3に接続されているとともに、ドレインゲートDGを介してドレイン領域DR(電荷排出領域)に接続されている。
FD1は、ドレインゲートDG1を介してドレイン領域DR1に接続されている。FD2は、ドレインゲートDG2を介してドレイン領域DR2に接続されている。FD3は、ドレインゲートDG3を介してドレイン領域DR3に接続されている。
ここで、TXD信号は、ドレインゲートDG、DG1、DG2、DG3をオンオフ(開閉)する信号である。TX1信号は、転送ゲートTG1をオンオフ(開閉)する信号である。TX2信号は、転送ゲートTG2をオンオフ(開閉)する信号である。TX3信号は、転送ゲートTG3をオンオフ(開閉)する信号である。なお、各ゲートにおいて「オン」は「開」を意味し、「オフ」は「閉」を意味する。
TXD信号がハイの期間(各ドレインゲートがオンの期間)かつTX1信号、TX2信号、TX3信号がローの期間において、PDで光電変換により生じた電荷は、ドレインゲートDGを介してドレイン領域DRに排出される。
TXD信号がローの期間(各ドレインゲートがオフの期間)において、TX1信号がハイの期間(転送ゲートTG1がオンの期間)にPDで光電変換により生じた電荷は、転送ゲートTG1を介してFD1に転送、蓄積され、TX2信号がハイの期間(転送ゲートTG2がオンの期間)にPDで光源変換により生じた電荷は、転送ゲートTG2を介してFD2に転送、蓄積され、TX3信号がハイの期間(転送ゲートTG3がオンの期間)にPDで光電変換により生じた電荷は、転送ゲートTG3を介してFD3に転送、蓄積される。
そして、TXD信号がローからハイになったとき(各ドレインゲートがオフからオンになったとき)、FD1の電圧が読み出された後FD1に蓄積された電荷がドレインゲートDG1を介してドレイン領域DR1に排出され、FD2の電圧が読み出された後FD2に蓄積された電荷がドレインゲートDG2を介してドレイン領域DR2に排出され、FD3の電圧が読み出された後FD3に蓄積された電荷がドレインゲートDG3を介してドレイン領域DR3に排出される。すなわち、各FDの電圧が読み出された後、該FDの蓄積電荷量がリセットされる。
図11には、光源の発光期間とイメージセンサ29の露光期間(電荷蓄積期間)の関係を示すタイミング図が示されている。なお、実際には回路的な遅延があるため、TXD信号に対して回路的な遅延分の調整を行う必要があるが、ここでは回路的遅延がないものとして説明する。
イメージセンサ29は、受光部(画素)の受光領域上以外に遮光層が形成されており、受光領域にのみに光が入射するようになっている。上述したように、受光部に入射した光は、光電変換によって電荷(信号電荷)に変換され、その電荷はドレインゲートDGや転送ゲートTG1〜TG3におけるバイアス制御によって、ドレイン領域DRに排出されたり、FD1〜FD3に振り分けられる。
ここで、図11に示されるタイミング図は、イメージセンサ29の全画素に対して同時に印加されるバイアス(TXD信号、TX1信号、TX2信号、TX3信号)のタイミングを示している。
TXD信号は、いわゆるグローバルシャッタの機能を有しており、光源21の発光開始タイミング(発光制御信号の立ち上りタイミング)に対する露光期間(電荷蓄積期間)を制御するための制御信号である。以下では、発光制御信号の立ち上りタイミングからTXD信号の立ち下がりタイミングまでの時間を「遅延時間Tdelay」と呼ぶ(図11参照)。
TXD信号がハイの期間は、受光信号の電荷が常にドレイン領域DRに掃き出されている状態であり、リセットが継続されている状態である。つまり、TXD信号がハイの期間は、イメージセンサ29における非露光期間である。
そして、TXD信号がハイからローになった瞬間から受光部に(もしくはTX1信号〜TX3信号の条件によってはFD1〜FD3に)電荷の蓄積が開始される。つまり、TXD信号がローの期間がイメージセンサ29における露光期間(電荷蓄積期間)となる。
以上の説明からわかるように、イメージセンサ29の全画素は、グローバルシャッタにより、露光期間が一致する(露光が同時に開始され、同時に終了される)。
換言すると、イメージセンサ29の全画素は、グローバルシャッタにより、電荷蓄積期間が一致する(電荷蓄積を同時に開始し、同時に終了する)。
次に、TXD信号がローで、TX1信号、TX2信号、TX3信号がそれぞれハイになる期間について説明する。
TX1信号、TX2信号、TX3信号それぞれのハイの期間の長さは、発光制御信号のパルス幅Twに等しく設定されている。このとき、イメージセンサ29の各画素(各受光部)の露光期間は、3Twとなる。露光期間中に各受光部で発生した電荷は、TX1信号、TX2信号、TX3信号がそれぞれハイの期間に、対応するFD1、FD2、FD3へ転送される。
ここで、以上の動作(発光・受光)を所定回数繰り返し行った後のFD1、FD2、FD3の蓄積電荷量をそれぞれA1、A2、A3とする。
以下では、背景光成分が全く無い状態を仮定して説明する。この仮定においてA1、A2、A3を混合して得られる輝度情報には、発光タイミングからの遅れ時間をtとしたときに、次の(1)式で表される範囲の反射光だけが反映される。
Tdelay−Tw<t<Tdelay+3Tw・・・(1)
遅れ時間tは、距離センサ20から物体までの距離に依存するTOF(タイム・オブ・フライト)によって決まる量であり、光速cを用いて距離dに換算すると、次の(2)式のように表される(光の往復を考慮)。
(Tdelay−Tw)×c/2<d<(Tdelay+3Tw)×c/2・・・(2)
これによって、距離d1(=(Tdelay−Tw)×c/2)より近い距離範囲にある物体及び距離d2(=(Tdelay+3Tw)×c/2)より遠い距離範囲にある物体がイメージセンサ29の撮影画像に写りこまないため、例えば霧が発生しているようなシーンにおいて、通常は手前の霧によって見えない奥側の状態をクリアに(鮮明に)観測することが可能になる。
この原理が、非特許文献1で述べられているGated Imagingの基本原理である。
上記(2)式のようにTdelayとTwで制御可能な露光期間に対応する距離範囲にのみ存在するものだけを撮影して得られる距離画像を「スライス画像」と呼ぶこととする。
ここで、従来のGated Imagingによれば、距離d1と距離d2の差を判別することはできないが、本実施形態では、蓄積電荷量A1、A2、A3を用いて、以下のようにして、距離分解能がより細かい距離情報を得ることを可能にしている。
Case1:A1>A3の場合、taは次の(3)式により求められる。
ta=Tdelay+A2/(A1+A2)×Tw・・・(3)
このとき、Tdelayが下限値となる。
Case2:A1<A3の場合、taは次の(4)式により求められる。
ta=Tdelay+{1+A3/(A2+A3)}×Tw・・・(4)
ここで、taが距離センサ20を用いて計測されるTOFであり、taと光速cを用いて被写体までの距離を求めることができる。
ただし、Case1における下限値はTdelayであり、計測誤差の無い理想条件で考えた場合に、Gated Imagingの範囲であるTdelay−Tw<t<Tdelayに相当する距離範囲に存在する物体は全てTdelayに相当する距離となるか、または十分なS/Nが得られずに正確な計測ができていない状態になる。
同様に、Case2における上限値はTdelay+2Twであり、計測誤差の無い理想条件で考えた場合に、Tdelay+2Tw<t<Tdelay+3Twの範囲に相当する距離に存在する物体は全てTdelay+2Twの距離となるか、または十分なS/Nが得られずに正確な計測ができていない状態になる。
このような距離範囲については、Tdelay以下またはTdelay+2Tw以上の判定がなされるだけでも有意義であり、また回避策としては複数のGated Imaging範囲で撮像した情報を合成することにより回避することが可能である。
また、以上では理想的に背景光成分が全く存在しないケースについて説明してきたが、上記Case1、2において、Case1では蓄積電荷量A3が、Case2では蓄積電荷量A1が背景光による電荷量に一致するので、これらを差し引くことにより、背景光が存在する環境下においても、その影響を除去した撮影、演算が可能である。
以下に具体例を示す。
図11のタイミング図において、Tdelay=150ns、Tw=50nsとしたとき、撮影されるスライス画像に写る最短距離は(Tdelay−Tw)/2×c=15mとなり、最長距離は(Tdelay+3Tw)/2×c=45mとなる。
従来のGated Imagingであれば、15m〜45mの距離範囲にある物体を撮影しているということしか分からない。
これに対して本実施形態によれば、更にTdelay/2×c〜(Tdelay+2Tw)/2×cの距離範囲にある物体までの距離を測定することができる。この例においては、22.5m〜37.5mの距離範囲にある物体までの距離を測定可能となる。また、15m〜22.5mの距離範囲にある物体については、22.5mより近い距離にある物体であること、37.5m〜45mmの距離範囲にある物体については、37.5mより遠い距離にある物体であることとして検出する(図12参照)。
図12は、この例(Tdelay=150ns、Tw=50ns)のスライス画像に含まれる距離範囲のイメージ図である。
以下に、距離センサ20によってスライス画像内の物体の距離が測定可能になる理由を、図13を参照して説明する。図13は、上記Case1に該当する場合を示している。
図13では、ta=Tdelay+Td[sec]になっている。
Tdelayは、Gated Imagingの設定によって決まる値である。
Tdは、投光系201から光が投光されてから、Gated Imagingの距離範囲にある物体で反射された光が受光系202に戻ってくるまでの時間taと、Tdelayとの差分である。
従来のGated Imaging技術では、このTdを検出することができなかった。
これに対し、本実施形態では、反射光の信号をTX1信号、TX2信号、TX3信号によって時間的に分割して検出することで、Tdを導出することが可能になっている。ここでは、上述のCase1(A1>A3の場合)を例にとって説明する。
Tdは、図13に示されるように、反射光の信号のパルス(パルス幅がTw)と、TX2信号のパルスが重なる時間に等しい。よって、Tdを、TX1信号、TX2信号の蓄積電荷量A1、A2の比から導出することが可能であり、次の(5)式により算出することができる。
Td=A2/(A1+A2)×Tw(=Q2/(Q1+Q2)×Tw)・・・(5)
こうすることで、従来のGated Imagingでは測定できていない、1枚のスライス画像内に写る物体毎の距離を測定することを可能にし、視界不良な条件下において遠方まで(例えば数百mまで)をクリアに(鮮明に)、かつ高速撮像(例えば30fps以上)で距離分解能が細かい距離画像を得ることを可能にしている。
一方、従来のGated Imaging手法の場合、距離分解能の細かい距離画像を取得するには多数回の撮影により得られた距離画像を合成処理する必要があり、高速撮像ができない。
ところで、測距レンジを複数の距離範囲に分割して、該複数の距離範囲に対応する複数のスライス画像を取得すれば、同一の測距レンジをカバーするのに1つのスライス画像を取得する場合よりも各スライス画像の距離範囲を狭くすることができる。各スライス画像の距離範囲が狭いほど該距離範囲により適した条件で撮影することができる。
図14には、複数の距離範囲に対応する複数のスライス画像を取得する場合の概念図が示されている。図15には、複数のスライス画像を取得する際の発光制御信号、TXD信号のタイミング図(図14においてX=Y=Z=1の場合)が示されている。図16には、複数のスライス画像と複数の露光期間の対応関係が示されている。
ここでは、複数のスライス画像として、近距離範囲のスライス画像である近距離側スライス画像、中距離範囲のスライス画像である中距離側スライス画像、遠距離範囲のスライス画像である遠距離側スライス画像の3段階のGated Imagingを行う場合を例に挙げている。
図14〜図16に示されるように、近距離側スライス画像取得フレーム、中距離側スライス画像取得フレーム、遠距離側スライス画像取得フレームが連続的に設定されており、これら3つのフレームから成るフレーム群が繰り返し実行される。このフレーム群における3つのフレームの順序は適宜変更可能である。
近距離側スライス画像取得フレームでは、発光期間Tw1の開始時から遅延時間Tdelay1後に露光期間Ta1が設定され、露光期間Ta1後にブランク期間Tb1が設定されている。
中距離側スライス画像取得フレームでは、発光期間Tw2の開始時から遅延時間Tdelay2後に露光期間Ta2が設定され、露光期間Ta2後にブランク期間Tb2が設定されている。
遠距離側スライス画像取得フレームでは、発光期間Tw3の開始時から遅延時間Tdelay3後に露光期間Ta3が設定され、露光期間Ta3後にブランク期間Tb3が設定されている。
ここでは、一例として、Tw1=Tw2=Tw3、Ta1=Ta2=Ta3であり、発光制御信号のパルス周期も一定である。
なお、露光期間をフレーム間で異ならせることで、露光期間に対応する距離範囲の長さをフレーム間で異ならせることもできる。
ここで、図15及び図16に示されるように、Tdelay1<Tdelay2<Tdelay3とするのが好適である。この場合、距離センサ20の測距レンジを大きくすることができる。
測距レンジを複数の距離範囲に分割して測定する場合(複数のスライス画像を取得する場合)、遅延時間Tdelayと露光期間により距離範囲が決まるため、遅延時間と露光期間を所望の値に設定した後、これらの設定値に応じてブランク期間を設定することが好ましい。
なお、各FDの電圧を読み出す期間や該FDをリセットする期間は、図14に示されるように各距離範囲の最後のフレーム(X回目のフレーム、Y回目のフレーム、Z回目のフレーム)の後に設けられても良いし、図15に示されるように各距離範囲のブランク期間内に設けられても良い。
さらに、取得した複数のスライス画像を合成することで、距離範囲毎に適した条件で撮影した距離画像を統合した測距レンジ全域の距離画像が得られ、近距離側で信号量(電荷量)の飽和が発生せず、かつ遠距離側でも十分な明るさの距離画像を得ることが可能となる。
各スライス画像の距離範囲は、時刻Tdelay〜時刻(Tdelay+露光期間)のTOFに相当する距離範囲となる。
特に、中距離撮影時や遠距離撮影時に、投光波を1パルスのみ受光するだけでは信号量(電荷量)が小さくなる場合には、発光・受光を複数回行って位相信号を蓄積した後、位相信号の読み出し、リセットを行うことが好ましい。
すなわち、距離センサ20からの距離の2乗に反比例して信号光強度が低下するため、例えば図17に示されるように、遠距離側を撮影するときほど発光・受光の回数を増やすこと(図14においてX≦Y≦Zの関係)が望ましい。
なお、近距離撮影時に、発光・受光を複数回行っても良い。
図17では、一例として、近距離側スライス画像取得フレームで発光、受光が1回ずつとされ、中距離側スライス画像取得フレームで発光・受光の繰り返し回数が2回とされ、遠距離側スライス画像取得フレームで発光・受光の繰り返し回数が3回とされている。
そして、図17において、近距離側スライス画像取得フレームでは、1回の発光・受光の後のブランク期間Tb1に複数の位相信号の読み出し、リセットが行われる。
中距離側スライス画像取得フレームでは、2回の発光・受光の後のブランク期間Tb2に複数の位相信号の読み出し、リセットが行われる。
遠距離側スライス画像取得フレームでは、3回の発光・受光の後のブランク期間Tb3に複数の位相信号の読み出し、リセットが行われる。
図17の例は、図14においてX=1、Y=2、Z=3の場合の例である。図17では、Tw1<Tw2<Tw3、Tdelay1<Tdelay2<Tdelay3、Ta1=Ta2=Ta3である。
なお、露光期間をフレーム間で異ならせることで、露光期間に対応する距離範囲の長さをフレーム間で異ならせることもできる。
ここでも、近距離側スライス画像取得フレーム、中距離側スライス画像取得フレーム、遠距離側スライス画像取得フレームから成るフレーム群が繰り返し実行されるが、該フレーム群における3つのフレームの順序は適宜変更可能である。発光制御信号のパルス周期は、フレーム間で、同じにしても良いし異ならせても良い。
また、ここで、TX1信号〜TXN信号によって時間的にN個に分割して取得された位相信号を用いて距離演算を行うにあたって、原理的に光源の発光時間(発光制御信号のパルス幅)が短いほど距離分解能が高くなることが知られている。
しかし、光源の発光時間を短くしていくと、光波形の立ち上がり/立ち下がりが追いつかず、投光パルスの出力値が低下したり、イメージセンサの振分けのコントラストが低下する影響が生じて、実質的にS/Nが低下することが知られている。
また、上記の通りS/Nは遠距離撮像時ほど厳しい条件となるため、近距離撮影時はパルス幅を短くし、遠距離撮影時はパルス幅を長くすることが好ましい。そこで、例えば図18に示されるように、Tw1<Tw2<Tw3とすることが好ましい。
図18の例は、図14においてX=Y=Z=1の場合の例である。図18では、Tdelay1<Tdelay2<Tdelay3、Ta1=Ta2=Ta3であり、発光制御信号のパルス周期は一定である。
なお、露光期間をフレーム間で異ならせることで、露光期間に対応する距離範囲の長さをフレーム間で異ならせることもできる。
ここで、図16には、近距離側スライス画像と中距離側スライス画像の距離範囲が一部重複し、中距離側スライス画像と遠距離側スライス画像の距離範囲が一部重複する例が示されているが、必ずしも重複させる必要はない。
ただし、重複範囲が生じるように撮影することで、例えば近距離側スライス画像のみに写っている物体、近距離側スライス画像及び中距離側スライス画像の両方に写っている物体、中距離側スライス画像のみに写っている物体として、近距離側スライス画像及び中距離側スライス画像に対してGated Imagingの情報だけを使って、物体までの距離情報を3つの距離レベルに分割することが可能になる。なお、重複範囲を設定しない場合は、スライス画像が2枚であれば2つの距離レベルにしか分割できない。
なお、距離範囲の近距離側の端は遅延時間Tdelayで決まり、距離範囲の長さ(距離範囲の近距離側の端から遠距離側の端までの距離)は露光期間で決まる。そこで、各距離範囲に対応する遅延時間と露光期間により、隣接する2つの距離範囲の重複範囲(0を含む)を調整することができる。
ところで、非特許文献1で述べられている「Active Gated Imaging技術」によって、雨雪や霧などの視界不良時でも遠方までクリアな撮像が可能になってきている。
すなわち、従来のGated Imagingにより、測距レンジを複数の距離範囲にスライスして(分割して)複数のスライス画像を取得することで、複数の距離範囲の距離情報を得ることができる。
しかし、各距離範囲の距離情報は、あくまで距離範囲毎の距離情報であって、距離範囲内の任意の位置の距離情報ではない。
そこで、測距レンジのスライス数(スライス画像の数)を増やせば、距離分解能を高めることが可能である。
しかし、スライス数を増やすことは撮影回数を増やすことにつながるため、全体の画像(全てのスライス画像)を取得するのに要する撮影時間が長くなる。
つまり、従来のGated Imagingでは、距離分解能とフレームレートがトレードオフの関係にある。
以上説明した本実施形態の距離センサ20(測距装置)は、第1の観点からすると、光源21と、該光源21から射出され物体で反射された光を受光して光電変換するイメージセンサ29(撮像素子)と、光源21の発光開始タイミングに対するイメージセンサ29の露光期間を制御し、イメージセンサ29に露光期間に光電変換により生じた電気信号(受光信号)を複数の位相信号に振り分けて取得させる同期制御部204(制御部)と、複数の位相信号に基づいて、露光期間に対応する距離範囲に存在する物体までの距離を算出する画像処理部203(演算部)と、を備える測距装置である。
また、本実施形態の距離センサ20(測距装置)は、第2の観点からすると、光源21と該光源21から射出され物体で反射された光を受光して光電変換する受光領域と、光電変換により生じた電荷を蓄積するための複数の電荷蓄積領域(例えばFD)から成る電荷蓄積領域群と、電荷を排出するための電荷排出領域(例えばドレイン領域)とを有するイメージセンサ29(撮像素子)と、電荷の送り先を電荷排出領域と電荷蓄積領域群との間で切り替えることにより、光源21の発光開始タイミングに対して電荷蓄積領域群へ電荷を送る露光期間(期間)を制御し、露光期間内の異なる複数の時間帯それぞれに生じた電荷を複数の電荷蓄積領域のいずれかへ送る同期制御部204(制御部)と、複数の電荷蓄積領域の電荷蓄積量に基づいて、露光期間に対応する距離範囲に存在する物体までの距離を算出する距離演算部203と、を備える測距装置である。
本実施形態の距離センサ20では、露光期間に得られた受光信号の電荷を複数の時間成分に分割して検出するので、露光期間に対応する距離範囲に存在する物体までの距離を測定することができる。
すなわち、所望の距離範囲に存在する(スライス画像に写る)物体毎の距離を測定することができる。
結果として、本実施形態の距離センサ20によれば、フレームレートの低下を抑制しつつ所望の距離範囲において距離分解能を向上させることができる。
一方、特許文献1では、一般的な間接TOF法において、背景光除去のためのドレイン構造を設けた画素構造及びその駆動タイミングに関するものであって、Gated Imagingのように距離毎のスライス画像を取得するものではなく、近距離ほど高輝度で遠方ほど低輝度な画像しか得られない。
また、非特許文献1では、Gated Imagingによって距離範囲毎に適した露光タイミングで撮影されたスライス画像が得られるので、近距離側から遠距離側までのクリアな画像を取得できるが、各スライス画像については、所定の距離範囲に存在するという距離情報のみしか得ることができず、1つのスライス画像内に写っている物体毎の距離情報は得られない。例えば、Gated Imaging条件が5m〜15mのスライス画像を取得したときに、その画像に写っている、5mの距離の物体と15mの距離の物体とで距離の区別がつかない。そこで、所望の距離範囲における距離分解能を向上させるために該距離範囲をスライスして(分割して)複数のスライス画像を取得すると、撮影回数が増加しフレームレートの低下を抑制することができない。
すなわち、特許文献1や非特許文献1では、フレームレートの低下を抑制しつつ所望の距離範囲において距離分解能を向上させることに関して改善の余地があった。
また、同期制御部204は、制御信号(TXD信号)を用いて発光開始タイミングから露光期間の開始タイミングまでの時間である遅延時間Tdelayを制御し、画像処理部203は、遅延時間と各位相信号の取得期間(上記各時間帯)の長さTwと各位相信号の信号量(各電荷蓄積領域の電荷蓄積量)を用いて距離を算出することが好ましい。この場合、所望の距離範囲において高精度な測距を確実に行うことができる。
また、同期制御部204は、制御信号を用いて複数(n個)の位相信号の取得期間(上記時間帯)を制御し、露光期間の長さは、複数の位相信号の取得期間(上記時間帯)の長さTwを合算した長さであることが好ましい。この場合、限られた露光期間において複数の位相信号を効率良く取得することができる。
また、光源21の発光期間Twと該発光期間に対応する露光期間の組をそれぞれが少なくとも1組含む、時間的に隣接する2つのフレーム間で、発光開始タイミングから露光期間の開始タイミングまでの時間(遅延時間)を異ならせても良い。この場合、時間的に隣接する2つのフレームにおいて異なる2つの距離範囲に存在する物体までの距離を測定することができる。さらに、この場合、距離範囲毎に適した条件で測定を行うことができるので、各距離範囲に存在する物体までの距離を精度良く算出することができる。
具体的には、視界良好な条件下のみならず視界不良な条件下においても遠方まで(例えば数百mまで)をクリアに、かつ高速撮像(例えば30fps以上)で距離分解能が細かい距離画像を得ることが可能である。
また、時間的に隣接する2つのフレームの露光期間に対応する距離範囲は、一部重複していても良い。
また、上記組の数が、時間的に隣接する2つのフレーム間で異なっていても良い。この場合、距離範囲毎に好適な条件で測定を行うことができる。
また、時間的に隣接する2つのフレームのうち遅延時間が短い方のフレームは、遅延時間が長い方のフレームよりも上記組の数が少ないことが好ましい。
換言すると、物体までの距離を距離範囲毎に測定する際、同期制御部204は、複数の距離範囲のうち近距離側の距離範囲ほど光源21の発光及びイメージセンサ29の受光の繰り返し回数を少なくすることが好ましい。
この場合、近距離側での電荷の飽和を抑制し、かつ遠距離側での測距精度の向上を図ることができる。
また、時間的に隣接する2つのフレームのうち遅延時間が短い方のフレームは、遅延時間が長い方のフレームよりも光源21の発光期間の長さ(発光時間)が短いことが好ましい。
換言すると、物体までの距離を距離範囲毎に測定する際、同期制御部204は、複数の距離範囲のうち近距離側の距離範囲ほど光源21の発光時間(発光制御信号のパルス幅)を短くすることが好ましい。この場合、近距離側での電荷の飽和を抑制し、かつ遠距離側での測距精度の向上を図ることができる。
また、イメージセンサ29は、2次元アレイ状に配置された複数の受光部を含むことが好ましい。この場合、2次元の距離画像を生成することができる。
なお、イメージセンサ29は、単一の受光部を含んでいても良いし、1次元アレイ状に配置された複数の受光部を含んでいても良い。
また、距離センサ20を有する走行体1(移動体)によれば、所望の距離範囲の任意の位置に存在する物体に対して走行体1を安全に走行させることができる。
また、本実施形態の測距方法は、第1の観点からすると、光源21から射出され物体で反射された光をイメージセンサ29(撮像素子)で受光して光電変換し、物体までの距離を測定する測距方法であって、光源21の発光開始タイミングに対するイメージセンサ29の露光期間を制御し、イメージセンサ29に露光期間に光電変換により生じた電気信号を複数の位相信号に分けて取得させる工程と、複数の位相信号に基づいて、露光期間に対応する距離範囲に存在する物体までの距離を算出する工程と、を含む測距方法である。
また、本実施形態の測距方法は、第2の観点からすると、光源21と、複数の電荷蓄積領域(例えばFD)から成る電荷蓄積領域群及び電荷排出領域(例えばドレイン領域)を有するイメージセンサ29(撮像素子)とを用いる測距方法であって、光源21から射出され物体で反射された光をイメージセンサ29で受光し光電変換により生じた電荷を電荷排出領域に送る工程と、該電荷を電荷蓄積領域群に送る工程と、を含み、電荷蓄積領域群に送る工程では、露光期間(所定期間)内の異なる複数の時間帯それぞれに生じた電荷を複数の電荷蓄積領域のいずれかへ送り、複数の電荷蓄積領域の電荷蓄積量に基づいて、露光期間に対応する距離範囲に存在する物体までの距離を算出する工程を更に含む測距方法である。
この場合、フレームレートの低下を抑制しつつ所望の距離範囲において距離分解能を向上させることができる。
なお、上記実施形態では、投光系が非走査型であるが、光偏向器(例えばポリゴンミラー、ガルバノミラー、MEMSミラー等)を含む走査型であっても良い。この場合、例えば、一方向に配列された複数の発光部(ライン光源)からそれぞれ射出された複数の光を、発光部の配列方向に非平行な方向(例えば垂直な方向)に走査して、複数の発光部に対応して該配列方向に平行に配列された複数の受光部(ラインイメージセンサ)で受光し、距離画像を生成しても良い。また、単一の発光部からの光を光偏向手段で2次元走査して、物体からの反射光をエリアイメージセンサで受光し、距離画像を生成しても良い。
また、上記実施形態では、本発明の測距装置の一例である距離センサ20を走行体1に用いられる場合について説明したが、これに限定されるものではない。例えば、距離センサ20を、走行体1以外の移動体(例えば乗用車、船舶、航空機等)、監視装置、物体の3次元形状を計測する3次元計測装置、距離センサ20が自身の位置を確認しながら自律的に移動するロボット等に用いても良い。
そこで、距離センサ20を有する監視装置によれば、所望の距離範囲の任意の位置に存在する物体の高品質なモニタ画像を得ることができる。
また、距離センサ20を有する3次元計測装置によれば、所望の距離範囲の任意の位置に存在する物体の3次元情報を精度良く計測することができる。
また、距離センサ20を有するロボットによれば、所望の距離範囲の任意の位置に存在する物体に対する適切な自律移動(接近動作や離間動作や平行移動)を可能とすることができる。
また、受光部として、PDの代わりに、例えばAPD(アバランシェフォトダイオード)、フォトトランジスタ等を用いても良い。
また、受光信号の時間的な分割数は、上記実施形態で説明した数に限らず、要は、複数であれば良い。
また、イメージセンサが画素毎に有する、受光信号を時間的に振り分けるためのゲート構造の数(電荷蓄積領域の数)や、受光信号の振り分け期間(電荷蓄積期間)を制御するためのゲート構造の数(電荷排出領域の数)は、上記実施形態で説明した数に限らず、適宜変更可能である。
また、上記実施形態では、単一のLED(発光部)をパルス発光させ、物体からの反射光をエリアイメージセンサで受光する場合について説明したが、これに限定されるものではない。
例えば、2次元配列された複数の発光部を順次パルス点灯させ、各発光部から射出され物体で反射された光を単一の受光部で順次受光しても良い。
例えば、2次元配列された複数の発光部を同時にパルス発光させ、複数の発光部から射出され物体で反射された複数の光を2次元配列された複数の受光部でそれぞれ同時に受光しても良い。
また、例えば、物体の3次元情報(距離画像)ではなく、単にある物体までの距離を測定する場合には、投光系の発光部及び受光系の受光部は、いずれも単数であっても良い。
また、上記実施形態において、画像処理部203での処理の一部を位置制御装置40が行っても良いし、位置制御装置40での処理の一部を画像処理部203が行っても良い。
また、上記実施形態では、走行管理装置10が1つの距離センサ20を備える場合について説明したが、これに限定されるものではない。走行体の大きさ、測定領域などに応じて、複数の距離センサ20を備えても良い。
また、上記実施形態では、距離センサ20が走行体の進行方向を監視する走行管理装置10に用いられる場合について説明したが、これに限定されるものではない。例えば、走行体の後方や側面を監視する装置に用いられても良い。
以上の説明から分かるように、本発明の測距装置及び測距方法は、TOF(タイム オブ フライト)を利用した測距技術全般に広く適用することが可能である。
すなわち、本発明の測距装置及び測距方法は、物体の2次元情報の取得や、物体の有無の検出にも用いることができる。
また、上記実施形態の説明で用いた数値、形状等は、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
以下に、発明者が上記実施形態を発案するに至った思考プロセスについて説明する。
TOFセンシングにおいて、背景光の蓄積量が多いと、そのショットノイズによるS/Nの劣化と、ダイナミックレンジが低下する(電荷蓄積部の容量に上限があるのでそこに背景光成分が溜まると信号成分を溜められる容量が低下する)悪影響が生じる。そこで、画素毎のドレイン構造によって背景光を除去可能なTOFセンサ構造と駆動タイミングを提供する必要がある。
非特許文献1は、Gated Imagingの概略と効果確認結果が記載された論文である。Gated Imagingを用いることによって、測距レンジにおける所望の距離範囲に対して適正な露光条件で撮影が可能になり、近距離側から遠距離側まで鮮明な画像センシングが可能になる。また、霧などが発生している場合においても、所望の距離範囲にある物体だけを撮影することが可能になるので、手前の霧が画像に写り込むことがなく、遠方までのクリアな画像センシングが可能になる。
しかし、Gated Imagingを用いる場合に、距離分解能を向上させるために測距レンジの分割数(距離範囲の数)を徒に増やすと、撮影回数の増加(フレームレートの低下)を招くことが懸念される。
また、従来のアクティブ型センサは、近距離側の物体ほど高輝度になるため、遠距離側の物体を撮影しようとすると近距離側の物体の露光がオーバーになり、飽和やブルーミングが生じやすく、クリアな画像センシングができないケースが生じる。
そこで、発明者は、近距離側から遠距離側までをクリアに(鮮明に)高速で撮影可能であり、かつ高距離分解能を実現できる画像センシングを実現すべく、上記実施形態を発案した。
1…走行体(移動体)、20…距離センサ(測距装置)、21…光源、29…イメージセンサ(撮像素子)、203…画像処理部(演算部)、204…同期制御部(制御部)。
特許5110520号公報 論文『Active Gated Imaging for Automotive Safety Applications』 BrightWay Vision社(SPIE IS&T /Vol.9407 94070F-18)

Claims (15)

  1. 光源と、
    前記光源から射出され物体で反射された光を受光して光電変換する受光領域と、前記光電変換により生じた電荷を蓄積するための複数の電荷蓄積領域から成る電荷蓄積領域群と、前記電荷を排出するための電荷排出領域とを有する撮像素子と、
    前記電荷の送り先を前記電荷排出領域と前記電荷蓄積領域群との間で切り替えることにより、前記光源の発光開始タイミングに対して前記電荷蓄積領域群へ前記電荷を送る期間を制御し、前記期間内の異なる複数の時間帯それぞれに生じた前記電荷を前記複数の電荷蓄積領域のいずれかへ送る制御部と、
    前記複数の電荷蓄積領域の電荷蓄積量に基づいて、前記期間に対応する距離範囲に存在する前記物体までの距離を算出する演算部と、を備える測距装置。
  2. 前記制御部は、制御信号を用いて前記発光開始タイミングから前記期間の開始タイミングまでの時間である遅延時間を制御し、
    前記演算部は、前記遅延時間と、前記時間帯の長さと、前記電荷蓄積量とを用いて前記距離を算出することを特徴とする請求項1に記載の測距装置。
  3. 前記制御部は、複数の制御信号を用いて前記複数の時間帯を制御し、
    前記期間の長さは、前記複数の時間帯の長さを合算した長さであることを特徴とする請求項1又は2に記載の測距装置。
  4. 前記光源の発光期間と該発光期間に対応する前記期間の組をそれぞれが少なくとも1組含む、時間的に隣接する2つのフレーム間で、前記発光開始タイミングから前記期間の開始タイミングまでの時間が異なることを特徴とする請求項1〜3のいずれか一項に記載の測距装置。
  5. 前記2つのフレームの前記期間に対応する前記距離範囲は、一部重複していることを特徴とする請求項4に記載の測距装置。
  6. 前記2つのフレーム間で前記組の数が異なることを特徴とする請求項4又は5に記載の測距装置。
  7. 前記2つのフレームのうち前記時間が短い方のフレームは、前記時間が長い方のフレームよりも前記組の数が少ないことを特徴とする請求項4〜6のいずれか一項に記載の測距装置。
  8. 前記2つのフレームのうち前記時間が短い方のフレームは、前記時間が長い方のフレームよりも前記発光期間の長さが短いことを特徴とする請求項4〜7のいずれか一項に記載の測距装置。
  9. 前記撮像素子は、2次元アレイ状に配置された複数の受光部を含むことを特徴とする請求項1〜8のいずれか一項に記載の測距装置。
  10. 前記撮像素子は、単一の受光部を含むことを特徴とする請求項1〜8のいずれか一項に記載の測距装置。
  11. 請求項1〜10のいずれか一項に記載の測距装置を有する監視装置。
  12. 請求項1〜10のいずれか一項に記載の測距装置を有する3次元計測装置。
  13. 請求項1〜10のいずれか一項に記載の測距装置を有する移動体。
  14. 請求項1〜10のいずれか一項に記載の測距装置を有するロボット。
  15. 光源と、複数の電荷蓄積領域から成る電荷蓄積領域群及び電荷排出領域を有する撮像素子とを用いる測距方法であって、
    前記光源から射出され物体で反射された光を前記撮像素子で受光し光電変換により生じた電荷を前記電荷排出領域に送る工程と、
    前記電荷を前記電荷蓄積領域群に送る工程と、を含み、
    前記電荷蓄積領域群に送る工程では、所定期間内の異なる複数の時間帯それぞれに生じた前記電荷を前記複数の電荷蓄積領域のいずれかへ送り、
    前記複数の電荷蓄積領域の電荷蓄積量に基づいて、前記所定期間に対応する距離範囲に存在する前記物体までの距離を算出する工程を更に含む測距方法。
JP2017085819A 2017-04-25 2017-04-25 測距装置、監視装置、3次元計測装置、移動体、ロボット及び測距方法 Withdrawn JP2018185179A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017085819A JP2018185179A (ja) 2017-04-25 2017-04-25 測距装置、監視装置、3次元計測装置、移動体、ロボット及び測距方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017085819A JP2018185179A (ja) 2017-04-25 2017-04-25 測距装置、監視装置、3次元計測装置、移動体、ロボット及び測距方法

Publications (1)

Publication Number Publication Date
JP2018185179A true JP2018185179A (ja) 2018-11-22

Family

ID=64355845

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017085819A Withdrawn JP2018185179A (ja) 2017-04-25 2017-04-25 測距装置、監視装置、3次元計測装置、移動体、ロボット及び測距方法

Country Status (1)

Country Link
JP (1) JP2018185179A (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020178920A1 (ja) * 2019-03-01 2020-09-10 株式会社ブルックマンテクノロジ 距離画像撮像装置および距離画像撮像装置による距離画像撮像方法
CN112180388A (zh) * 2019-07-05 2021-01-05 日立乐金光科技株式会社 三维距离测定装置
CN112799081A (zh) * 2019-11-14 2021-05-14 日立乐金光科技株式会社 测距装置
CN114096886A (zh) * 2019-06-25 2022-02-25 国立大学法人静冈大学 距离图像测量装置
CN114175618A (zh) * 2019-08-01 2022-03-11 布鲁克曼科技株式会社 距离图像摄像装置以及距离图像摄像方法
CN114341672A (zh) * 2019-10-01 2022-04-12 松下知识产权经营株式会社 测距装置及控制方法
CN115219988A (zh) * 2021-04-19 2022-10-21 日立乐金光科技株式会社 测距装置及其控制方法
JP2022551427A (ja) * 2019-09-25 2022-12-09 ゼノマティクス・ナムローゼ・フエンノートシャップ シーンまでの距離を決定するための方法および装置
WO2023286542A1 (ja) * 2021-07-16 2023-01-19 ヌヴォトンテクノロジージャパン株式会社 物体検知装置および物体検知方法
CN116476059A (zh) * 2023-04-23 2023-07-25 中国兵器科学研究院 一种面向复杂场景任务的空间机械臂抓取感知方法
WO2024111239A1 (ja) * 2022-11-22 2024-05-30 株式会社デンソー 制御装置、光学検出システム、制御方法、制御プログラム
WO2024204561A1 (ja) * 2023-03-30 2024-10-03 ヌヴォトンテクノロジージャパン株式会社 物体検知装置、物体検知システム及び物体検知方法
WO2025239237A1 (ja) * 2024-05-14 2025-11-20 ヌヴォトンテクノロジージャパン株式会社 測距装置および測距方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006300616A (ja) * 2005-04-18 2006-11-02 Matsushita Electric Works Ltd 空間情報検出システム
JP2006322834A (ja) * 2005-05-19 2006-11-30 Nikon Corp 距離測定装置、及び距離測定方法
WO2010098454A1 (ja) * 2009-02-27 2010-09-02 パナソニック電工株式会社 距離測定装置
WO2011033971A1 (ja) * 2009-09-15 2011-03-24 本田技研工業株式会社 測距装置、測距方法、及びプログラム
JP2013076645A (ja) * 2011-09-30 2013-04-25 Stanley Electric Co Ltd 距離画像生成装置および距離画像生成方法
JP5585903B2 (ja) * 2008-07-30 2014-09-10 国立大学法人静岡大学 距離画像センサ、及び撮像信号を飛行時間法により生成する方法
WO2014207983A1 (ja) * 2013-06-27 2014-12-31 パナソニックIpマネジメント株式会社 距離測定装置
WO2016075885A1 (ja) * 2014-11-11 2016-05-19 パナソニックIpマネジメント株式会社 距離検出装置及び距離検出方法
JP2016206135A (ja) * 2015-04-28 2016-12-08 浜松ホトニクス株式会社 距離測定装置
WO2016208214A1 (ja) * 2015-06-24 2016-12-29 株式会社村田製作所 距離センサ
WO2017022219A1 (ja) * 2015-08-04 2017-02-09 パナソニックIpマネジメント株式会社 固体撮像装置の駆動方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006300616A (ja) * 2005-04-18 2006-11-02 Matsushita Electric Works Ltd 空間情報検出システム
JP2006322834A (ja) * 2005-05-19 2006-11-30 Nikon Corp 距離測定装置、及び距離測定方法
JP5585903B2 (ja) * 2008-07-30 2014-09-10 国立大学法人静岡大学 距離画像センサ、及び撮像信号を飛行時間法により生成する方法
WO2010098454A1 (ja) * 2009-02-27 2010-09-02 パナソニック電工株式会社 距離測定装置
WO2011033971A1 (ja) * 2009-09-15 2011-03-24 本田技研工業株式会社 測距装置、測距方法、及びプログラム
JP2013076645A (ja) * 2011-09-30 2013-04-25 Stanley Electric Co Ltd 距離画像生成装置および距離画像生成方法
WO2014207983A1 (ja) * 2013-06-27 2014-12-31 パナソニックIpマネジメント株式会社 距離測定装置
WO2016075885A1 (ja) * 2014-11-11 2016-05-19 パナソニックIpマネジメント株式会社 距離検出装置及び距離検出方法
JP2016206135A (ja) * 2015-04-28 2016-12-08 浜松ホトニクス株式会社 距離測定装置
WO2016208214A1 (ja) * 2015-06-24 2016-12-29 株式会社村田製作所 距離センサ
WO2017022219A1 (ja) * 2015-08-04 2017-02-09 パナソニックIpマネジメント株式会社 固体撮像装置の駆動方法

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11336854B2 (en) 2019-03-01 2022-05-17 Brookman Technology, Inc. Distance image capturing apparatus and distance image capturing method using distance image capturing apparatus
JP6825164B1 (ja) * 2019-03-01 2021-02-03 株式会社ブルックマンテクノロジ 距離画像撮像装置および距離画像撮像装置による距離画像撮像方法
CN113544544A (zh) * 2019-03-01 2021-10-22 布鲁克曼科技株式会社 距离图像拍摄装置以及由距离图像拍摄装置实施的距离图像拍摄方法
WO2020178920A1 (ja) * 2019-03-01 2020-09-10 株式会社ブルックマンテクノロジ 距離画像撮像装置および距離画像撮像装置による距離画像撮像方法
US12429585B2 (en) 2019-06-25 2025-09-30 National University Corporation Shizuoka University Distance image measuring device
CN114096886A (zh) * 2019-06-25 2022-02-25 国立大学法人静冈大学 距离图像测量装置
CN112180388A (zh) * 2019-07-05 2021-01-05 日立乐金光科技株式会社 三维距离测定装置
JP2021012091A (ja) * 2019-07-05 2021-02-04 株式会社日立エルジーデータストレージ 3次元距離測定装置
JP7257275B2 (ja) 2019-07-05 2023-04-13 株式会社日立エルジーデータストレージ 3次元距離測定装置
US11982750B2 (en) 2019-08-01 2024-05-14 Toppan Inc. Distance-image capturing apparatus and distance-image capturing method
EP4009073A4 (en) * 2019-08-01 2023-07-12 Brookman Technology, Inc. REMOTE IMAGE CAPTURE APPARATUS AND REMOTE IMAGE CAPTURE METHOD
CN114175618A (zh) * 2019-08-01 2022-03-11 布鲁克曼科技株式会社 距离图像摄像装置以及距离图像摄像方法
JP2022551427A (ja) * 2019-09-25 2022-12-09 ゼノマティクス・ナムローゼ・フエンノートシャップ シーンまでの距離を決定するための方法および装置
CN114341672A (zh) * 2019-10-01 2022-04-12 松下知识产权经营株式会社 测距装置及控制方法
CN112799081B (zh) * 2019-11-14 2024-05-14 日立乐金光科技株式会社 测距装置
CN112799081A (zh) * 2019-11-14 2021-05-14 日立乐金光科技株式会社 测距装置
CN115219988A (zh) * 2021-04-19 2022-10-21 日立乐金光科技株式会社 测距装置及其控制方法
JP7220835B1 (ja) * 2021-07-16 2023-02-10 ヌヴォトンテクノロジージャパン株式会社 物体検知装置および物体検知方法
US20240142628A1 (en) * 2021-07-16 2024-05-02 Nuvoton Technology Corporation Japan Object detection device and object detection method
WO2023286542A1 (ja) * 2021-07-16 2023-01-19 ヌヴォトンテクノロジージャパン株式会社 物体検知装置および物体検知方法
EP4372419A4 (en) * 2021-07-16 2024-11-13 Nuvoton Technology Corporation Japan OBJECT DETECTION DEVICE AND OBJECT DETECTION METHOD
US12529796B2 (en) 2021-07-16 2026-01-20 Nuvoton Technology Corporation Japan Object detection device and object detection method
WO2024111239A1 (ja) * 2022-11-22 2024-05-30 株式会社デンソー 制御装置、光学検出システム、制御方法、制御プログラム
WO2024204561A1 (ja) * 2023-03-30 2024-10-03 ヌヴォトンテクノロジージャパン株式会社 物体検知装置、物体検知システム及び物体検知方法
CN116476059A (zh) * 2023-04-23 2023-07-25 中国兵器科学研究院 一种面向复杂场景任务的空间机械臂抓取感知方法
WO2025239237A1 (ja) * 2024-05-14 2025-11-20 ヌヴォトンテクノロジージャパン株式会社 測距装置および測距方法

Similar Documents

Publication Publication Date Title
JP2018185179A (ja) 測距装置、監視装置、3次元計測装置、移動体、ロボット及び測距方法
KR102878641B1 (ko) Lidar 측정을 위한 처리 시스템
TWI780462B (zh) 距離影像攝像裝置及距離影像攝像方法
EP3789792B1 (en) Method for subtracting background light from an exposure value of a pixel in an imaging array, and pixel for use in same
EP3865911B1 (en) Sensor fusion system, synchronization control device, and synchronization control method
JP6922187B2 (ja) 測距装置、監視カメラ、3次元計測装置、移動体、ロボット及び光源駆動条件設定方法
US10764518B2 (en) Pixel structure
EP3550330B1 (en) Distance measuring device
US20210118926A1 (en) Distance-measuring imaging device, distance measuring method of distance-measuring imaging device, and solid-state imaging device
KR102559910B1 (ko) 차량 주변 환경을 특성화하기 위한 시스템
JP6665873B2 (ja) 光検出器
KR20180073571A (ko) 물체까지의 거리를 결정하기 위한 시스템 및 방법
KR20200096828A (ko) 물체까지의 거리를 결정하기 위한 시스템 및 방법
EP2815251A1 (en) Time of flight camera with stripe illumination
JP6894775B2 (ja) 測距システム及びその制御方法
JP2018077143A (ja) 測距装置、移動体、ロボット、3次元計測装置、監視カメラ及び測距方法
JP2010190675A (ja) 距離画像センサシステムおよび距離画像生成方法
JP2018066609A (ja) 測距装置、監視カメラ、3次元計測装置、移動体、ロボット及び測距方法
US20230078063A1 (en) Distance measurement device and distance measurement system
US20230204727A1 (en) Distance measurement device and distance measurement method
US20240192375A1 (en) Guided flash lidar
JP2024015607A (ja) 測距装置
Villa et al. 3d spad camera for advanced driver assistance
US20260036696A1 (en) Sensor fusion system, synchronization control apparatus, and synchronization control method
Bronzi et al. 3D Sensor for indirect ranging with pulsed laser source

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200213

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200701

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220405

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20220708