JP2016040520A - 物体検出装置 - Google Patents
物体検出装置 Download PDFInfo
- Publication number
- JP2016040520A JP2016040520A JP2013002979A JP2013002979A JP2016040520A JP 2016040520 A JP2016040520 A JP 2016040520A JP 2013002979 A JP2013002979 A JP 2013002979A JP 2013002979 A JP2013002979 A JP 2013002979A JP 2016040520 A JP2016040520 A JP 2016040520A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- region
- object detection
- pixel
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
- G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
- G06F3/0321—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Geophysics And Detection Of Objects (AREA)
Abstract
【課題】目標領域上における検出対象物体を円滑に検出可能な物体検出装置を提供する。
【解決手段】物体検出装置1は、目標領域にドットパターンのレーザ光を投射する投射光学系100と、目標領域をCMOSイメージセンサ240により撮像する受光光学系200と、3次元距離情報を取得する距離取得部21bと、CMOSイメージセンサ240上の各画素の輝度値に基づき3次元距離情報を補正する画像処理部21dと、補正された3次元距離情報に基づいて検出対象物体を検出する物体検出部21cとを備える。画像処理部21は、物体が物体検出装置1に対して接近した位置にあるために不正確であると判定される3次元距離情報を、輝度値に基づく値に補正する。
【選択図】図2
【解決手段】物体検出装置1は、目標領域にドットパターンのレーザ光を投射する投射光学系100と、目標領域をCMOSイメージセンサ240により撮像する受光光学系200と、3次元距離情報を取得する距離取得部21bと、CMOSイメージセンサ240上の各画素の輝度値に基づき3次元距離情報を補正する画像処理部21dと、補正された3次元距離情報に基づいて検出対象物体を検出する物体検出部21cとを備える。画像処理部21は、物体が物体検出装置1に対して接近した位置にあるために不正確であると判定される3次元距離情報を、輝度値に基づく値に補正する。
【選択図】図2
Description
本発明は、目標領域内の物体を検出する物体検出装置に関する。
従来、光を用いた物体検出装置が種々の分野で開発されている。いわゆる距離画像センサを用いた物体検出装置では、2次元平面上の平面的な画像のみならず、検出対象物体の奥行き方向の形状や動きを検出することができる。この場合、距離画像センサでは、レーザ光源やLED(Light Emitting Diode)から、予め決められた波長帯域の光が目標領域に投射され、CMOSイメージセンサ等の撮像素子により目標領域が撮像される。
かかる距離画像センサとして、所定のドットパターンを持つレーザ光を目標領域に照射するタイプのものが知られている(たとえば、非特許文献1)。かかる距離画像センサでは、基準面にレーザ光を照射したときのドットパターンが撮像素子により撮像され、撮像されたドットパターンが基準ドットパターンとして保持される。そして、基準ドットパターンと、実測時に撮像された実測ドットパターンとが比較され、距離情報が取得される。具体的には、基準ドットパターン上に設定された参照領域の実測ドットパターン上における位置に基づいて、三角測量法により、当該参照領域に対する距離情報が取得される。
第19回日本ロボット学会学術講演会(2001年9月18−20日)予稿集、P1279−1280
上記距離画像センサでは、一般、前後方向の所定の範囲において、距離の検出が可能である。検出対象物体がこの範囲から外れた位置にあると、検出対象物体に対する距離情報を取得することができない。また、検出対象物体が距離画像センサに近づいた位置にあるような場合、検出対象物体上において、ドットパターンのドットがかなり大きくなり、ドットの境界が不明確となる。こうなると、上記手法では、距離情報の取得が不可能である。
上記課題に鑑み、本発明は、目標領域上における検出対象物体を円滑に検出可能な物体検出装置を提供することを目的とする。
本発明の第1の態様は、物体検出装置に関する。本態様に係る物体検出装置は、目標領域にドットパターンの光を投射する投射部と、前記目標領域をイメージセンサにより撮像する撮像部と、前記撮像部により撮像された撮像画像上のドットの位置に基づいて、前記目標領域上の各位置に対する距離情報を取得する距離取得部と、物体が前記投射部と前記撮像部に対して接近した位置にあるために不正確であると判定される前記距離情報を所定の値に補正する距離補正部と、前記距離補正部により補正された前記距離情報に基づいて検出対象物体を検出する物体検出部と、を備える。
本発明の第2の態様は、物体検出装置に関する。本態様に係る物体検出装置は、目標領域に光を投射する投射部と、前記目標領域をイメージセンサにより撮像する撮像部と、前記イメージセンサにおける各画素の輝度値を取得し、取得した輝度値に基づいて撮像画像
上の高輝度領域を特定し、特定した前記高輝度領域から検出対象物体に対応する領域を抽出する物体抽出部と、を備える。
上の高輝度領域を特定し、特定した前記高輝度領域から検出対象物体に対応する領域を抽出する物体抽出部と、を備える。
本発明によれば、目標領域上における検出対象物体を円滑に検出可能な物体検出装置を提供することができる。
本発明の効果ないし意義は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下に示す実施の形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施の形態により何ら制限されるものではない。
以下、本発明の実施の形態につき図面を参照して説明する。
以下に示す実施の形態において、レーザ駆動回路22および投射光学系100は、請求項に記載の「投射部」に相当する。撮像信号処理回路23および受光光学系200は、請求項に記載の「撮像部」に相当する。距離取得部21bは、請求項に記載の「距離取得部」に相当する。物体検出部21cは、請求項に記載の「物体検出部」に相当する。距離情報補正部21dは、請求項に記載の「距離補正部」に相当する。画像処理部21eは、請求項に記載の「物体抽出部」に相当する。CMOSイメージセンサ240は、請求項に記載の「イメージセンサ」に相当する。ただし、上記請求項と本実施の形態との対応の記載はあくまで一例であって、請求項に係る発明を本実施の形態に限定するものではない。
(1)実施例1
本実施例は、請求項1に記載の構成の一例を示すものである。
本実施例は、請求項1に記載の構成の一例を示すものである。
図1に本実施例に係る物体検出装置1の概略構成を示す。図1に示すように、物体検出装置1は、テレビ2に内蔵されている。テレビ2は、内部に情報処理部3を備えており、情報処理部3からの信号によって制御される。
物体検出装置1は、目標領域全体に、可視光の波長帯よりも長い波長の光を投射し、その反射光をCMOSイメージセンサにて受光することにより、目標領域に存在する物体各部までの距離(以下、「3次元距離情報」という)を取得する。物体検出装置1は、取得した3次元距離情報に基づき目標領域における物体を検出するとともに、3次元距離情報の変化から、目標領域における物体の動きを検出する。そして、物体検出装置1は、物体の動きに応じた信号を、テレビ2内の配線を介してテレビ2の情報処理部3に送信する。情報処理部3は、物体検出装置1から受信した物体の動きに応じた信号に基づき、テレビ2を制御する。
たとえば、ユーザがテレビ2を見ながら所定の動き(ジェスチャ)をすると、物体検出装置1からユーザのジェスチャに応じた信号がテレビ2の情報処理部3に送信される。そして、情報処理部3により、あらかじめジェスチャに応じた信号に対応付けられたチャンネル切り替えやボリュームのUP/Down等のテレビ2の機能が実行される。
なお、テレビ2のほか、ゲーム機、パーソナルコンピュータ等に物体検出装置1が内蔵されていても良い。たとえば、ゲーム機に物体検出装置1が内蔵される場合、ゲーム機の情報処理部により、あらかじめジェスチャに応じた信号に対応付けられたゲーム機の機能が実行される。たとえば、ユーザのジェスチャに応じて、テレビ画面上のキャラクタが操作され、ゲームの対戦状況が変化する。
図2は、物体検出装置1とテレビ2の情報処理部3の構成を示す図である。
物体検出装置1は、光学部の構成として、投射光学系100と受光光学系200とを備えている。投射光学系100と受光光学系200は、X軸方向に並ぶように、物体検出装置1に配置される。
投射光学系100は、レーザ光源110と、コリメータレンズ120と、ミラー130と、回折光学素子(DOE:Diffractive Optical Element)140を備えている。また
、受光光学系200は、アパーチャ210と、撮像レンズ220と、フィルタ230と、CMOSイメージセンサ240とを備えている。この他、物体検出装置1は、回路部の構成として、CPU(Central Processing Unit)21と、レーザ駆動回路22と、撮像信
号処理回路23と、入出力回路24と、メモリ25を備えている。
、受光光学系200は、アパーチャ210と、撮像レンズ220と、フィルタ230と、CMOSイメージセンサ240とを備えている。この他、物体検出装置1は、回路部の構成として、CPU(Central Processing Unit)21と、レーザ駆動回路22と、撮像信
号処理回路23と、入出力回路24と、メモリ25を備えている。
レーザ光源110は、受光光学系200から離れる方向(X軸負方向)に、可視光の波長帯域よりも長い波長(たとえば、830nm程度)のレーザ光を出力する。コリメータレンズ120は、レーザ光源110から出射されたレーザ光を略平行光に変換する。
ミラー130は、コリメータレンズ120側から入射されたレーザ光をDOE140に向かう方向(Z軸正方向)に反射する。
DOE140は、入射面に回折パターンを有する。この回折パターンによる回折作用により、DOE140に入射したレーザ光は、所定のドットパターンのレーザ光に変換されて、目標領域に照射される。
DOE140の回折パターンは、たとえば、ステップ型の回折格子が所定のパターンで形成された構造とされる。回折格子は、コリメータレンズ120により略平行光とされたレーザ光をドットパターンのレーザ光に変換するよう、パターンとピッチが調整されている。DOE140は、ミラー130から入射されたレーザ光を、放射状に広がるドットパターンのレーザ光として、目標領域に照射する。
目標領域から反射されたレーザ光は、アパーチャ210を介して撮像レンズ220に入射する。
アパーチャ210は、撮像レンズ220のFナンバーに合うように、外部からの光を制限する。撮像レンズ220は、アパーチャ210を介して入射された光をCMOSイメージセンサ240上に集光する。フィルタ230は、レーザ光源110の出射波長(たとえば830nm程度)を含む波長帯域の光を透過し、可視光の波長帯域の光をカットするバンドパスフィルタである。
CMOSイメージセンサ240は、レーザ光源110から出射されるレーザ光の波長帯域の光に対し、撮像画像を出力可能に構成されている。CMOSイメージセンサ240は、撮像レンズ220にて集光された光を受光して、画素毎に、受光量に応じた信号(電荷)を撮像信号処理回路23に出力する。ここで、CMOSイメージセンサ240は、各画素における受光から高レスポンスでその画素の信号(電荷)を撮像信号処理回路23に出力できるよう、信号の出力速度が高速化されている。
本実施例において、CMOSイメージセンサ240の撮像有効領域(センサとして信号を出力する領域)は、たとえば、VGA(横640画素×縦480画素)のサイズである。CMOSイメージセンサ240の撮像有効領域は、XGA(横1024画素×縦768画素)のサイズや、SXGA(横1280画素×縦1024画素)のサイズ等、他のサイズであっても良い。
CPU21は、メモリ25に格納された制御プログラムに従って各部を制御する。かかる制御プログラムによって、CPU21には、レーザ制御部21aと、距離取得部21bと、物体検出部21cと、距離情報補正部21dの機能が付与される。
レーザ制御部21aは、レーザ駆動回路22を制御する。距離取得部21bは、CMOSイメージセンサ240によって撮像された撮像画像に基づいて、後述のように3次元距離情報を生成する。
物体検出部21cは、距離取得部21bによって取得される3次元距離情報から画像中の物体の形状を抽出し、さらに、抽出した物体形状の動きを検出する。そして、物体検出部21cは、検出した物体の動きが所定の動きパターンに合致しているかを判定し、所定の動きパターンに応じた信号をテレビ2の情報処理部3に送信する。
距離情報補正部21dは、CMOSイメージセンサ240の各画素の輝度値に基づき3次元距離情報を補正する。距離情報補正部21dは、CMOSイメージセンサ240の各画素の輝度値に基づき、撮像画像上の高輝度領域を特定する。そして、距離情報補正部21dは、高輝度領域に対応する画素の輝度値を当該高輝度領域に当て嵌めた輝度画像を生成し、生成した輝度画像を、距離取得部21bによって生成された距離画像に重畳して、距離画像を補正する。かかる距離情報補正部21dの機能については、追って、図6および図7を参照して説明する。
レーザ駆動回路22は、CPU21からの制御信号に応じてレーザ光源110を駆動する。
撮像信号処理回路23は、CPU21からの制御を受けてCMOSイメージセンサ240を駆動し、所定の撮像間隔で、CMOSイメージセンサ240により生成された各画素の信号(電荷)をライン毎に順次取り込む。そして、取り込んだ信号を順次CPU21に
出力する。CPU21は、撮像信号処理回路23から供給される信号(撮像信号)をもとに、物体検出装置1から検出対象物体の各部までの距離を、距離取得部21bによる処理によって算出する。
出力する。CPU21は、撮像信号処理回路23から供給される信号(撮像信号)をもとに、物体検出装置1から検出対象物体の各部までの距離を、距離取得部21bによる処理によって算出する。
入出力回路24は、テレビ2の情報処理部3とのデータ通信を制御する。
メモリ25は、CPU21により実行される制御プログラムの他、3次元距離情報を取得する際に参照される参照テンプレートと、物体検出の際に参照される物体形状テンプレートを保持している。この他、メモリ25は、CPU21における処理の際のワーク領域としても用いられる。
情報処理部3は、CPU31と、入出力回路32と、メモリ33を備えている。なお、情報処理装置3には、図2に示す構成の他、テレビ2を制御するための構成が配されるが、便宜上、これら周辺回路の構成は図示省略されている。
CPU31は、メモリ33に格納された制御プログラムに従って各部を制御する。かかる制御プログラムによって、CPU31には、物体検出部21cからの信号に応じて、テレビ2の機能を制御するための機能制御部31aの機能が付与される。機能制御部31aは、物体検出部21cによる検出結果に基づき、上記のように、テレビ2の機能を制御する。
入出力回路32は、物体検出装置1とのデータ通信を制御する。
投射光学系100と受光光学系200は、投射光学系100の投射中心と受光光学系200の撮像中心がX軸に平行な直線上に並ぶように、X軸方向に所定の距離をもって並んで設置される。投射光学系100と受光光学系200の設置間隔は、物体検出装置1と目標領域の基準面との距離に応じて、設定される。
次に、物体検出装置1による3次元距離情報の取得方法について説明する。
図3(a)は、目標領域に対するレーザ光の照射状態を模式的に示す図、図3(b)は、CMOSイメージセンサ240におけるレーザ光の受光状態を模式的に示す図である。なお、図3(b)には、便宜上、目標領域に平坦な面(スクリーン)とスクリーンの前に人物が存在するときの受光状態が示されている。
図3(a)に示すように、投射光学系100からは、ドットパターンを持ったレーザ光(以下、このパターンを持つレーザ光の全体を「DP光」という)が、目標領域に照射される。図3(a)には、DP光の光束領域が実線の枠によって示されている。DP光の光束中には、DOE140による回折作用により生成されるドット領域(以下、単に「ドット」という)が、DOE140による回折作用によるドットパターンに従って点在している。ドットは、レーザ光源110からのレーザ光がDOE140によって分岐されることにより生成される。
目標領域に平坦な面(スクリーン)と人物が存在すると、DP光は、図3(b)のように、CMOSイメージセンサ240上に分布する。図3(a)に示す目標領域上におけるDt0の光は、CMOSイメージセンサ240上では、図3(b)に示すDt0’の位置に入射する。スクリーンの前の人物の像は、CMOSイメージセンサ240上では、上下左右が反転して撮像される。
図4(a)〜(c)は、上記距離検出手法に用いられる参照パターンの設定方法を説明
する図である。
する図である。
図4(a)に示すように、投射光学系100から所定の距離Lsの位置に、Z軸方向に垂直な平坦な反射平面RSが配置される。出射されたDP光は、反射平面RSによって反射され、受光光学系200のCMOSイメージセンサ240に入射する。これにより、CMOSイメージセンサ240から、撮像有効領域内の画素毎に、電気信号が出力される。出力された画素毎の電気信号の値(画素値)は、図2のメモリ25上に展開される。
以下、反射平面RSからの反射によって得られた全画素値からなる画像を「基準画像」と称し、反射平面RSを「基準面」と称する。
図4(b)に示すように、基準画像上に、「参照パターン領域」が設定される。なお、図4(b)には、CMOSイメージセンサ240の背面側から受光面をZ軸正方向に透視した状態が図示されている。図5(a)、(b)においても、これと同様である。
こうして設定された参照パターン領域に対して、所定の大きさを有する複数のセグメント領域が設定される。セグメント領域は、たとえば、図4(c)に示すように、隣り合うセグメント領域が参照パターン領域に対してX軸方向およびY軸方向に1画素間隔で並ぶように設定される。すなわち、あるセグメント領域は、このセグメント領域のX軸方向およびY軸方向に隣り合うセグメント領域に対して、それぞれ、X軸方向およびY軸方向に1画素ずれた位置に設定される。このとき、各セグメント領域には、固有のパターンでドットが点在する。セグメント領域内のドットのパターンは、後述する探索範囲L0において、セグメント領域毎に異なっている。
こうして、CMOSイメージセンサ240上における参照パターン領域の位置に関する情報と、参照パターン領域に含まれる全画素の画素値(参照パターン)と、参照パターン領域に対して設定されるセグメント領域の情報が、参照テンプレートとして図2のメモリ25に記憶される。
図2のCPU21は、投射光学系100から検出対象物体の各部までの距離を算出する際に、参照テンプレートを参照する。CPU21は、距離を算出する際に、参照テンプレートから得られる各セグメント領域内のドットパターンのずれ量に基づいて、物体の各部までの距離を算出する。
たとえば、図4(a)に示すように距離Lsよりも近い位置に物体がある場合、参照パターン上の所定のセグメント領域Snに対応するDP光(DPn)は、物体によって反射され、セグメント領域Snとは異なる領域Sn’に入射する。投射光学系100と受光光学系200はX軸方向に隣り合っているため、セグメント領域Snに対する領域Sn’の変位方向はX軸に平行となる。図4(a)の場合、物体が距離Lsよりも近い位置にあるため、領域Sn’は、セグメント領域Snに対してX軸正方向に変位する。物体が距離Lsよりも遠い位置にあれば、領域Sn’は、セグメント領域Snに対してX軸負方向に変位する。
セグメント領域Snに対する領域Sn’の変位方向と変位量(図4(a)に示す画素ずれ量D)をもとに、投射光学系100からDP光(DPn)が照射された物体の部分までの距離Lrが、距離Lsを用いて、三角測量法に基づき算出される。同様にして、他のセグメント領域に対応する物体の部分について、投射光学系100からの距離が算出される。かかる算出手法の詳細は、たとえば、上記非特許文献1(第19回日本ロボット学会学術講演会(2001年9月18−20日)予稿集、P1279−1280)に示されている。
かかる距離算出では、参照テンプレートのセグメント領域Snが、実測時においてどの位置に変位したかが検出される。この検出は、実測時にCMOSイメージセンサ240上に照射されたDP光から得られたドットパターンと、セグメント領域Snに含まれるドットパターンとを照合することによって行われる。実測時のCMOSイメージセンサ240の撮像有効領域は、基準画像取得時と同様に、たとえば、VGA(横640画素×縦480画素)のサイズである。
図5(a)〜(c)は、かかる距離検出の手法を説明する図である。図5(a)は、CMOSイメージセンサ240上における基準画像に設定された参照パターン領域を示す図であり、図5(b)は、実測時のCMOSイメージセンサ240上の撮像画像(実測画像)を示す図であり、図5(c)は、撮像画像に含まれるDP光のドットパターンと、参照テンプレートのセグメント領域に含まれるドットパターンとの照合方法を説明する図である。なお、便宜上、図5(a)、(b)には、一部のセグメント領域のみが示されており、図5(c)には、各セグメント領域の大きさが、横9画素×縦9画素で示されている。
図5(a)のセグメント領域Siの実測時における変位位置を探索する場合、図5(b)に示すように、実測時の撮像画像上において、セグメント領域Siと同じ位置にある領域Si0を中心にX軸方向に+α画素および−α画素の範囲が探索範囲L0に設定される。探索時には、セグメント領域Siが探索範囲L0において1画素ずつX軸方向に送られ、各送り位置において、セグメント領域Siのドットパターンと撮像画像上のドットパターンとが比較される。以下、撮像画像上の各送り位置に対応する領域を、「比較領域」と称する。探索範囲L0には、セグメント領域Siと同じサイズの比較領域が1画素おきに設定される。探索範囲L0は、取得しようとする距離の範囲に応じて設定される。取得しようとする距離の範囲が広い程、探索範囲L0は広くなる。
こうして設定された探索範囲L0において、セグメント領域SiをX軸方向に1画素ずつ送りながら、各送り位置において、セグメント領域Siのドットパターンと、各送り位置の比較領域のドットパターンとのマッチング度合いが求められる。このようにセグメント領域Siを探索範囲L0内においてX軸方向にのみ送るのは、図4(a)を参照して説明したように、通常、セグメント領域内のドットは、実測時において、X軸方向に変位するためである。
上記マッチング度合いの検出時には、セグメント領域Siの各画素の画素値と、比較領域の対応する画素の画素値との差分が求められる。そして、求めた差分を比較領域内の全ての画素について加算した値Rsadが、類似度を示す値として取得される。
たとえば、図5(c)のように、一つのセグメント領域中に、n列×m行の画素が含まれている場合、セグメント領域のi列、j行の画素の画素値T(i,j)と、比較領域のi列、j行の画素の画素値I(i,j)との差分が求められる。そして、セグメント領域の全ての画素について差分が求められ、その差分の総和により、図5(c)に示す式の値Rsadが求められる。値Rsadが小さい程、セグメント領域と比較領域との間の類似度が高い。
こうして、セグメント領域Siについて、探索範囲L0内の全ての比較領域に対して値Rsadが求められる。そして、求めた値Rsadが最小の比較領域が、セグメント領域Siの移動後の領域として検出される。このとき、たとえば、値Rsadの最小値と、値Rsadの2番目に小さい値との差分が所定の閾値よりも小さい場合、値Rsadが最小の比較領域はセグメント領域Siの移動後の領域とされず、セグメント領域Siに対する探索がエラーとされる。この場合、セグメント領域Siに対する距離値は取得されない。
図5(b)の例では、セグメント領域Siに含まれるドットは、撮像画像(実測画像)上において、比較領域Cjの位置に移動している。したがって、この場合、比較領域Cjに対する値Rsadが最小となり、比較領域Cjがセグメント領域Siの移動後の領域として検出される。そして、比較領域Cjと、セグメント領域Siと同じ位置にある領域Si0との間の、X軸方向における画素ずれ量が取得される。この画素ずれ量は、図4(a)に示す画素ずれ量Dに相当する。その後、この画素ずれ量Dをもとに、上記のように三角測量法に基づいて、セグメント領域Siに対する距離情報が取得される。
物体検出装置1は、上記のようにして取得された各セグメント領域に対応する検出対象物体までの距離を白から黒の階調で表現された画素値に割り当てた画像を、メモリ25に記憶する。以下、各セグメント領域に対応する距離を画素値で表現した画像を「距離画像」と称する。上記のように、本実施例において、セグメント領域は、基準画像の参照パターン領域に対して、1画素刻みで設定されるため、距離画像は、基準画像と略同様のVGAサイズの解像度(略640×略480)を有する。
本実施例において、距離画像の各画素位置の距離は、256階調で表現され、近距離ほど白(画素値256)に近く、遠距離ほど黒(画素値0)に近い階調が割り当てられる。また、セグメント領域の探索がエラーとなった場合は、黒(画素値0)の階調が割り当てられる。物体検出装置1は、所定の時間おきに、当該距離画像を取得する。本実施例では、物体検出装置1は、1秒間に30枚の距離画像を生成する。
このように距離画像が生成される場合、図5(b)の探索範囲L0に対応する距離範囲から外れた位置に物体が存在しても、この物体に対する距離値は得られない。したがって、距離画像において、探索範囲L0に対応する距離範囲から外れた位置に物体が存在する領域には、エラー値(画素値0)が設定される。しかしながら、この物体が、手等の検出対象物体である場合、テレビ2に対するコマンドであるユーザからのジェスチャが検出されないことになってしまう。したがって、探索範囲L0に対応する距離範囲から外れた位置に物体が存在する場合にも、極力、この物体に対する距離値が距離画像に反映されるようにするのが望ましい。
そこで、本実施例では、物体が、探索範囲L0に対応する距離範囲よりも物体検出装置1に接近した位置にある場合、距離情報補正部21dによって、この物体に対する所定の値が距離画像に重畳され、距離画像が補正される。
以下、この補正処理を含め、距離取得部21bによる距離情報の取得処理から、物体検出部21cによる物体検出処理までの流れについて、図6(a)〜図8(b)を参照して説明する。
図6(a)は、距離画像の生成処理を示すフローチャートである。図6(a)の処理は、図2に示すCPU21の機能のうち、主として距離取得部21bの機能により実行される。
CPU21は、CMOSイメージセンサ240から画像を取得するタイミングが到来すると(S101:YES)、CMOSイメージセンサ240から撮像画像を取得し(S102)、上述のように、取得した撮像画像に基づき距離情報を取得する(S103)。さらに、CPU21は、取得した距離情報に対応する距離値を各画素位置に設定して距離画像を生成する(S104)。そして、CPU21は、作成した距離画像に、輝度値に基づく輝度画像を合成する(S105)。
図6(b)は、輝度画像の生成処理を示すフローチャートである。図6(b)の処理は、図2に示すCPU21の機能のうち、主として距離情報補正部21dの機能により実行される。
CPU21は、図6(a)のS102において取得した撮像画像に対して平滑化処理を行う(S201)。この平滑化処理として、画像フィルタ処理として用いられる平滑化フィルタ処理(移動平均フィルタ、ガウシアンフィルタ、等)が用いられる。かかる平滑化処理により、撮像画像上の各画素の輝度値が、平らに滑らかにされる。
次に、CPU21は、輝度値が平滑化された撮像画像上において、輝度値が予め決められた閾値以上の画素領域(以下、「高輝度領域」という)を特定する(S202)。そして、CPU21は、高輝度領域中の各画素の輝度値の階調を、S104で作成した距離画像の階調に対応するよう調整し、調整した輝度値を高輝度領域の各画素に設定して、輝度画像を生成する(S203)。すなわち、CPU21は、S202において平滑化された各画素の輝度値の階調を、輝度値を距離値として扱えるように補正し、補正後の階調の輝度値を用いて、輝度画像を生成する。この場合、たとえば、輝度値の階調を補正するための補正テーブルが予めメモリ25に保持される。CPU21は、この補正テーブルを参照して、高輝度領域中の各画素の輝度値の階調を距離画像の階調に対応するよう調整し、調整した輝度値を高輝度領域の各画素に設定して、輝度画像を生成する。
なお、このように、撮像画像から輝度値が閾値以上の画素領域(高輝度領域)を特定する構成(S203)は、請求項3に記載の構成の一例である。また、高輝度領域の各画素に、輝度値に基づく値を設定して輝度画像を生成する処理(S202、S203)は、請求項2に記載の構成の一例である。
物体が、図5(b)の探索範囲L0に対応する距離範囲よりも物体検出装置1に接近した位置にある場合、この物体には高い光量で光が照射される。このため、撮像画像上の当該物体に対応する領域の輝度は、他の領域よりも高くなる。CPU21は、この現象に基づき、撮像画像上において、輝度が閾値以上となる画素領域(高輝度領域)を、物体が存在する領域として特定する。
図6(a)のS105に戻り、CPU21は、S203において生成した高輝度領域の輝度画像を、S104で生成した距離画像に合成する。具体的には、距離画像上の高輝度領域に対応する領域の各画素の距離値を、S203で生成した各画素の輝度値に置き換える。こうして、輝度画像が合成された距離画像(以下、「合成画像」と称する)が生成される。
このように、距離画像上の高輝度領域に対応する領域の各画素の距離値を、輝度画像の輝度値に対応する値に置き換える処理(S105)は、請求項2、5に記載の構成の一例である。
上記のように、本実施例では、物体が物体検出装置1に近づく程、距離値が大きくなる。他方、撮像画像上における輝度値も、物体が物体検出装置1に近づく程、大きくなる。また、合成画像の生成の際に、輝度値の階調は、輝度値を距離値として扱えるように補正される。このように、距離値と輝度値には、互いに相関関係があり、また、輝度画像において輝度値が距離値に対応するよう調整されるため、距離画像上の物体が存在する領域に輝度画像の輝度値を設定したとしても、設定された輝度値は、当該領域に物体が存在することを検出するための距離値として用い得るものとなる。このような観点から、本実施例では、距離画像上の高輝度領域に対応する領域に、輝度値に基づく値が設定される。ここで、高輝度領域を特定するための閾値(図6(b)のS202)は、図5(b)の探索範
囲L0に対応する測距可能範囲よりも物体検出装置1側に物体が存在する場合に、撮像画像上において、当該物体に対応する領域を高輝度領域として特定可能となるように設定される。
囲L0に対応する測距可能範囲よりも物体検出装置1側に物体が存在する場合に、撮像画像上において、当該物体に対応する領域を高輝度領域として特定可能となるように設定される。
なお、S105では、距離画像上の高輝度領域に対応する領域の各画素の距離値がエラーを示す値(ゼロ)でない場合も、当該領域の各画素の距離値が、S203で生成された各画素の輝度値に置き換えられる。上述のように、距離値はマッチング処理によって取得されるため、距離値の取得がエラーとなるべき画素に誤って距離値が設定されることが起こり得る。したがって、このように、距離画像上の高輝度領域に対応する領域に既に距離値が設定されている場合にも、当該距離値を輝度値に置き換える処理を実行することにより、誤った距離値が、より適正な値に更新されるとの効果が奏され得る。なお、この処理に代えて、既に距離値が設定されている画素には輝度値が設定されないようにされても良い。
CPU21は、以上の処理を、距離取得動作が終了するまで実行する(S106)。距離取得動作が終了していない場合(S106:NO)、CPU21は、S101に戻って、次の画像取得タイミングの到来を待つ。そして、次の画像取得タイミングが到来すると(S101:YES)、S102以降の処理を実行して、距離画像に輝度画像が合成された合成画像を生成する(S102〜S105)。
図7(a)〜(d)は、図6(a)、(b)の処理による合成画像の生成例を示す図である。なお、図7(a)〜(d)では、便宜上、右手HRと左手HLのみが図示され、人の胴体や顔等の図示は省略されている。
たとえば、図7(a)に示すように、図5(b)の探索範囲L0に対応する測距可能範囲W2内に左手HLが存在し、測距可能範囲W2よりも物体検出装置1に近い測距不能範囲W1に右手HRが存在する場合、CMOSイメージセンサ240によって撮像された撮像画像は、図7(b)に示すように、右手HRの画像と左手HLの画像を含むこととなる。ここで、右手HRは左手HLよりも物体検出装置1に近づいているため、図7(b)に示すように、撮像画像において、右手HRの画像は左手HLの画像よりも大きく、また、右手HRの輝度は左手HLの輝度よりも高い。
しかし、この場合、左手HLのみが測距可能範囲W2に含まれるため、図7(c)に示すように、図6(a)のS104にて生成される距離画像には、左手HLの領域に距離値が設定され、その他の領域は、通常、エラーとなる。この場合、エラーの領域には、図7(a)の測距不能範囲W3に対応する領域の他、測距不能範囲W1に位置付けられた右手HRの領域も含まれる。
この場合、測距不能範囲W1に位置付けられた右手HRの領域は、各画素の輝度値が高いため、図6(b)の処理により、高輝度領域として特定され、輝度画像が生成される。このため、図6(a)のS105において距離画像に輝度画像が合成された合成画像には、図7(d)に示すように、右手HRの領域が含まれるようになり、この右手HRの領域の各画素には、上記のように、階調が補正された輝度値が設定される。こうして、左手HLよりも前に存在する右手HRが、合成画像に取り込まれるようになる。
なお、図6(a)のS104にて生成される距離画像において、右手HRの領域に誤った距離値が設定されることも起こり得る。この場合も、距離画像上の右手HRの領域の距離値が輝度値に置き換えられるため、誤った距離値が、より適正な値(輝度値)に更新される。
図2に示す物体検出部21cは、こうして生成された合成画像に基づいて、検出対象物体を抽出する。
図8(a)は、検出対象物体の検出処理を示す図である。図8(a)の処理は、図2に示すCPU21の機能のうち、主として物体検出部21cの機能により実行される。図8(b)は、検出対象物体の検出例を示す図である。この例では、右手HRを前方(Z軸負方向)に突き出した状態で、人Hが物体検出装置1に向き合った状態が示されている。ここで、右手HRは、測距可能範囲W2よりも物体検出装置1に接近した位置にあり、人Hの左手HLと胴体等が測距可能範囲W2にある。
図6(a)のS105において合成画像が取得されると(S301:YES)、CPU21は、輝度画像が合成される前の距離画像(図6(a)のS104にて生成された距離画像)における最高階調の距離値(最も物体検出装置1に接近することを表す距離値)から所定の値ΔDを減じた値を距離閾値Dshに設定する(S302)。この処理により、図8(b)の例では、左手HLの距離値の階調から所定の値ΔDを減じた値が距離閾値Dshに設定される。
次に、CPU21は、合成画像から、距離閾値Dshよりも距離値(階調値)が高い領域を、対象領域として区分する(S303)。そして、CPU21は、輪郭抽出エンジンを実行し、区分した対象領域の輪郭と、メモリ25に保持された物体形状抽出テンプレートとを比較して、物体形状抽出テンプレートに保持された輪郭に対応する輪郭の対象領域を、検出対象物体に対応する領域として抽出する(S304)。図8(b)の例では、S303の処理により、合成画像から、右手HRと左手HLに対応する領域が、それぞれ、対象領域として区分される。また、物体形状抽出テンプレートに保持された検出対象物体が右手である場合、S304の処理により、区分された2つの対象領域のうち右手HRに対する対象領域が、検出対象物体に対応する領域として抽出される。
なお、S304において検出対象物体が抽出されない場合、当該合成画像に対する検出対象物体の抽出は、エラーとされる。
こうして、検出対象物体の抽出処理が終了すると、CPU21は、物体検出動作が終了したか否かを判定する(S305)。物体検出動作が終了していない場合(S305:NO)、CPU21は、S301に戻り、次の合成画像が取得されるのを待つ。そして、次の合成画像が取得されると(S301:YES)、CPU21は、S302以降の処理を実行し、当該合成画像から検出対象物体を抽出する(S302〜S304)。
なお、S304において抽出された検出対象物体の領域は、さらに、物体検出部21cにおいて、検出対象物体の動き検出のために用いられる。そして、検出された動きから、所定のジェスチャが取得されると、テレビ2側において、ジェスチャに応じた制御が実行される。
<実施例1の効果>
以上、本実施例によれば、測距可能範囲W2よりも物体検出装置1に接近した位置に検出対象物体が存在する場合、検出対象物体に対応する領域の輝度画像が距離画像に合成されて合成画像が生成される。すなわち、距離画像において適正に距離値が取得されなかった領域のうち、検出対象物体に対応する領域に、輝度値に基づく値が設定されて合成画像が生成される。そして、生成された合成画像に基づいて、検出対象物体の抽出処理が行われる。したがって、本実施例によれば、測距可能範囲W2よりも物体検出装置1に接近した位置に検出対象物体が存在する場合にも、輝度画像が合成された合成画像により、検出対象物体を円滑に抽出することができる。よって、検出対象物体の動きに基づくテレビ2
の制御を適正に行うことができる。
以上、本実施例によれば、測距可能範囲W2よりも物体検出装置1に接近した位置に検出対象物体が存在する場合、検出対象物体に対応する領域の輝度画像が距離画像に合成されて合成画像が生成される。すなわち、距離画像において適正に距離値が取得されなかった領域のうち、検出対象物体に対応する領域に、輝度値に基づく値が設定されて合成画像が生成される。そして、生成された合成画像に基づいて、検出対象物体の抽出処理が行われる。したがって、本実施例によれば、測距可能範囲W2よりも物体検出装置1に接近した位置に検出対象物体が存在する場合にも、輝度画像が合成された合成画像により、検出対象物体を円滑に抽出することができる。よって、検出対象物体の動きに基づくテレビ2
の制御を適正に行うことができる。
<実施例1の変更例1>
図6(b)の輝度画像の生成処理では、平滑化された撮像画像上において、輝度値が閾値以上となる画素の領域が、高輝度領域として特定された(S202)。これに代えて、本変更例に係る図9(a)の輝度画像の生成処理では、撮像画像上において、注目画素を中心として所定の判定領域が設定され、設定された判定領域内に含まれる各画素の輝度値を合計した値が所定の閾値以上である場合に、当該注目画素が高輝度領域(白とび領域)に含まれる画素とされる(S211)。
図6(b)の輝度画像の生成処理では、平滑化された撮像画像上において、輝度値が閾値以上となる画素の領域が、高輝度領域として特定された(S202)。これに代えて、本変更例に係る図9(a)の輝度画像の生成処理では、撮像画像上において、注目画素を中心として所定の判定領域が設定され、設定された判定領域内に含まれる各画素の輝度値を合計した値が所定の閾値以上である場合に、当該注目画素が高輝度領域(白とび領域)に含まれる画素とされる(S211)。
図9(b)は、S211の処理を説明する図である。図9(b)には、物体検出装置1に接近した位置にある物体にDP光が照射された場合のCMOSイメージセンサ240の受光状態が模式的に示されている。すなわち、物体が物体検出装置1に接近した位置にあるため、ドットが重なり合った状態でDP光が物体に照射され、このため、CMOSイメージセンサ240上においても、ドットが互いに重なり合った状態となっている。
S211の処理では、撮像画像上の一つの画素が注目画素とされ、この注目画素を中心に、所定の広さの領域(ここでは、縦5画素、横5画素の領域)が判定領域に設定される。そして、判定領域に含まれる全ての画素の輝度値が加算され、この加算値が、所定の閾値以上である場合に、当該注目画素が高輝度領域(白とび領域)に含まれると判定される。この処理が、撮像画像上の全画素を注目画素として行われる。そして、高輝度領域(白とび領域)に含まれると判定された画素に対して、上記実施例1と同様、当該画素の輝度値を距離値に対応する階調に補正した値が設定される(S203)。
こうして、高輝度領域(白とび領域)が特定され、高輝度領域に輝度値が設定された輝度画像が生成される。輝度画像を距離画像に合成する処理は、図6(a)の処理と同様である。
なお、このように、注目画素を中心に所定の広さを有する判定領域について、各画素の輝度値を加算し、この加算値と所定の閾値とを比較することにより、高輝度領域を特定する構成は、請求項4に記載の構成の一例である。
本変更例によれば、物体が物体検出装置1に接近した位置にあるために輝度が高くなっている画素領域を、より正確に検出することができる。すなわち、上記実施例1によれば、各画素の輝度値と閾値とを比較して、当該画素が高輝度領域に含まれるかが判定された。しかし、この処理では、物体が測距可能範囲W2にある場合に、一つのドットが一つの画素に落ちると、当該画素の輝度が閾値を超えて、当該画素が高輝度領域に含まれると判定されることが起こり得る。これに対し、本変更例によれば、注目画素とともにその周囲の画素の輝度値も含めて、注目画素が高輝度領域に含まれるかが判定されるため、物体が測距可能範囲W2にある場合に、一つのドットが一つの画素に落ちても、誤って当該画素が、物体が接近した位置にあるために高輝度となった画素領域(高輝度領域)に含まれると判定されることを防止することができる。よって、本変更例によれば、物体が物体検出装置1に接近した位置にあるために輝度が高くなっている画素領域を、より正確に検出することができる。
<実施例1の変更例2>
上記実施例1では、輝度に基づいて、近距離にある物体に対応する画素領域(高輝度領域)が特定されたが、本変更例では、距離画像の距離値に基づいて、近距離にある物体に対応する画素領域が特定される。
上記実施例1では、輝度に基づいて、近距離にある物体に対応する画素領域(高輝度領域)が特定されたが、本変更例では、距離画像の距離値に基づいて、近距離にある物体に対応する画素領域が特定される。
図10(a)は、本変更例に係る距離画像の補正処理を示すフローチャートである。この処理は、図6(a)のS105において実行される。また、図10(b)は、図6(a)のS105において生成された距離画像の一例を模式的に示す図である。図10(b)において、各画素に記載された数字は、その画素の距離値である。
図6(a)のS104において距離画像が生成されると、CPU21は、距離画像に注目画素を設定し(S401)、さらに、この注目画素を中心に所定の広さの単位領域(ここでは、縦9画素、横9画素の領域)を設定する(S402)。次に、CPU21は、単位領域内において、同じ距離値を持つ画素をグルーピングし、同じ距離値のグループの数をカウントする(S403)。図10(b)の例では、単位領域内に、距離値が0、1、2、3、5の画素が含まれているため、カウントされるグループの数は5である。そして、CPU21は、カウントしたグループ数が所定の閾値Csh以上であるかを判定する(S404)。
グループ数が閾値Csh以上であれば(S404:YES)、注目画素は、近距離にある物体に対応する領域に含まれると判定され、注目画素の距離値が、上記実施例1と同様、当該画素の輝度値を距離値に対応する階調に補正した値に置き換えられる(S405)。一方、グループ数が閾値Csh未満であれば(S404:NO)、注目画素は、近距離にある物体に対応する領域に含まれないと判定され、注目画素の距離値がそのまま維持される。
以上の処理が、距離画像上の全画素を注目画素として行われる(S405)。距離画像上の全画素に対してS401〜S405の処理が行われると(S406:YES)、距離画像上の、近距離に存在する物体に対応する領域に輝度値が設定された合成画像が生成される。しかる後、CPU21は、図6のS106に処理を進める。
なお、このように、距離画像上の各画素の距離値に基づいて、距離値を輝度値に置き換える構成は、請求項6に記載の構成の一例である。
本変更例によれば、測距可能範囲W2よりも物体検出装置1に接近した位置にある物体に対応する領域を、適正に特定することができる。すなわち、物体が存在しない領域に対しては、上記マッチング処理では距離値が取得されず、この領域に対する距離値は一様にエラー(距離値=0)となり易い。これに対して、物体が測距可能範囲W2よりも物体検出装置1に接近した位置にある場合、この物体に対応する領域に対しては、一様な距離値が得られず、エラーを示す距離値や、種々の誤った距離値が得られる傾向にある。したがって、上記のように、単位領域に含まれる画素について距離値の種類の数を求め、この数が所定の閾値Csh以上である否かを判定することにより、測距可能範囲W2よりも物体検出装置1に接近した位置にある物体に対応する画素領域を、適正に特定することができる。なお、閾値Cshは、物体が存在する領域を特定可能なように設定される。
(2)実施例2
上記実施例1では、図5(a)〜(c)に示すマッチング処理により各画素の距離値が取得され、取得された距離値に対して、輝度値に基づく補正処理が行われた。しかしながら、距離値を取得することなく、輝度値のみにより、物体検出を行うことも可能である。本実施例は、輝度値のみにより物体検出を行う場合の構成例を示すものである。
上記実施例1では、図5(a)〜(c)に示すマッチング処理により各画素の距離値が取得され、取得された距離値に対して、輝度値に基づく補正処理が行われた。しかしながら、距離値を取得することなく、輝度値のみにより、物体検出を行うことも可能である。本実施例は、輝度値のみにより物体検出を行う場合の構成例を示すものである。
なお、本実施例は、請求項7に記載の構成の一例を示すものである。
図11は、本実施例に係る物体検出装置1の構成を示す図である。本実施例では、上記実施例1の構成から、CPU21の機能が変更されている。すなわち、CPU21から距
離取得部21b、物体検出部21cおよび距離情報補正部21dの機能が削除され、代わりに、画像処理部21eの機能が、CPU21に追加されている。また、本実施例では、距離値の取得処理が行われないため、メモリ25には、参照テンプレートが保持されない。図11に示すその他の構成は、図2と同様である。
離取得部21b、物体検出部21cおよび距離情報補正部21dの機能が削除され、代わりに、画像処理部21eの機能が、CPU21に追加されている。また、本実施例では、距離値の取得処理が行われないため、メモリ25には、参照テンプレートが保持されない。図11に示すその他の構成は、図2と同様である。
画像処理部21eは、撮像画像の各画素の輝度に基づき、物体に対応する領域を特定し、さらに、特定した領域から、検出対象物体に対応する領域を抽出する。さらに、画像処理部21eは、抽出した検出対象物体の領域に基づいて、検出対象物体の動きを検出し、検出した動きが所定の動きパターンに合致しているかを判定し、所定の動きパターンに応じた信号をテレビ2側のCPU31(機能制御部31a)に送信する。
図12(a)は、本実施例における物体抽出処理を示すフローチャートである。図12(a)の処理は、主としてCPU21の画像処理部21eの機能によって行われる。
画像を取得するタイミングが到来すると(S501:YES)、CPU21は、CMOSイメージセンサ240から撮像画像を取得し(S502)、さらに、取得した撮像画像に対して平滑化処理を行う(S503)。この平滑化処理は、上記実施例1と同様、画像フィルタ処理として用いられる平滑化フィルタ処理(移動平均フィルタ、ガウシアンフィルタ、等)である。かかる平滑化処理により、撮像画像上の各画素の輝度値が、平らに滑らかにされる。
次に、CPU21は、輝度値が平滑化された撮像画像上において、輝度値が予め決められた閾値Bsh以上の画素領域を、物体抽出の対象となり得る領域(以下、「対象領域」という)として区分する(S504)。そして、CPU21は、輪郭抽出エンジンを実行し、区分した対象領域の輪郭と、メモリ25に保持された物体形状抽出テンプレートとを比較して、物体形状抽出テンプレートに保持された輪郭に対応する輪郭の対象領域を、検出対象物体に対応する領域として抽出する(S505)。
なお、このように、画素値が閾値以上の画素領域を対象領域として区分する構成は、請求項8に記載の構成の一例である。ここで、本実施例における対象領域は、請求項7に記載の「高輝度領域」に対応する。
図12(b)は、検出対象物体の検出例を示す図である。この例では、右手HRを前方(Z軸負方向)に突き出した状態で、人Hが物体検出装置1に向き合った状態が示されている。図12(b)には、便宜上、CMOSイメージセンサ240により物体に対して取得され得る輝度のスケールが付記されている。図12(b)に示す例では、右手HRと左手HLに対して取得される輝度Br、Blは、それぞれ、閾値Bshよりも高く、人Hの胴体に対して取得される輝度は、閾値Bshよりも低くなっている。
この例では、図12(c)に示すように、S504の処理により、撮像画像から、右手HRと左手HLに対応する領域が、それぞれ、対象領域として区分される。また、物体形状抽出テンプレートに保持された検出対象物体が右手である場合、S505の処理により、区分された2つの対象領域のうち右手HRに対する対象領域が、検出対象物体に対応する領域として抽出される。
なお、S505において検出対象物体に対応する領域が抽出されない場合、当該撮像画像に対する検出対象物体の抽出は、エラーとされる。
こうして、検出対象物体の抽出処理が完了すると、CPU21は、物体検出動作が終了したか否かを判定する(S506)。物体検出動作が終了していない場合(S506:N
O)、CPU21は、S501に戻り、次の撮像画像が取得されるのを待つ。そして、次の撮像画像が取得されると(S501:YES)、CPU21は、S502以降の処理を実行し、当該撮像画像から検出対象物体を抽出する(S502〜S505)。
O)、CPU21は、S501に戻り、次の撮像画像が取得されるのを待つ。そして、次の撮像画像が取得されると(S501:YES)、CPU21は、S502以降の処理を実行し、当該撮像画像から検出対象物体を抽出する(S502〜S505)。
なお、S505において抽出された検出対象物体の領域は、さらに、画像処理部21eの機能において、検出対象物体の動き検出のために用いられる。そして、検出された動きから所定のジェスチャが取得されると、テレビ2側において、ジェスチャに応じた制御が行われる。
<実施例2の効果>
本実施例によれば、測距を行うことなく、輝度に対する処理のみにより、検出対象物体を検出することができる。したがって、上記実施例1に比べ、物体抽出のための処理負荷を軽減でき、比較的簡素な処理により迅速に、検出対象物体を検出することができる。
本実施例によれば、測距を行うことなく、輝度に対する処理のみにより、検出対象物体を検出することができる。したがって、上記実施例1に比べ、物体抽出のための処理負荷を軽減でき、比較的簡素な処理により迅速に、検出対象物体を検出することができる。
<実施例2の変更例>
上記図12(a)の処理では、閾値Bshが1種類であるため、検出対象物体の位置が閾値Bshに対応する距離よりも物体検出装置1から離れている場合には、検出対象物体を適正に検出できないことが起こり得る。たとえば、図13(a)に示す位置に人Hが位置付けられた場合、右手HRと左手HLに対して取得される輝度Br、Blは、それぞれ、閾値Bshよりも低くなる。このため、この場合には、図12(a)のS504において、右手HRと左手HLに対応する領域が、撮像画像上において区分されないこととなる。
上記図12(a)の処理では、閾値Bshが1種類であるため、検出対象物体の位置が閾値Bshに対応する距離よりも物体検出装置1から離れている場合には、検出対象物体を適正に検出できないことが起こり得る。たとえば、図13(a)に示す位置に人Hが位置付けられた場合、右手HRと左手HLに対して取得される輝度Br、Blは、それぞれ、閾値Bshよりも低くなる。このため、この場合には、図12(a)のS504において、右手HRと左手HLに対応する領域が、撮像画像上において区分されないこととなる。
本変更例は、このような問題を解消することを目的とするものである。本変更例では、図13(b)に示すように、露光時間テーブルにより、撮像の際に複数の露光時間(T1〜Tk)が設定され、それぞれの露光時間に応じた撮像画像が取得される。図11のCMOSイメージセンサ240と撮像信号処理回路23は、複数の露光時間が設定可能に構成される。
このように、CMOSイメージセンサ240と撮像信号処理回路23において露光時間が調整可能な構成は、請求項10の構成の一例である。
撮像信号処理回路23は、CPU21から指定された露光時間において、CMOSイメージセンサ240が各画素の電荷をチャージするよう、CMOSイメージセンサ240を駆動する。露光時間が長いほど、各画素に長く光が照射されるため、各画素の輝度は高くなり、露光時間が短いほど、各画素の輝度は低くなる。こうして取得されたそれぞれの撮像画像に対して、図12(a)のS503〜S505の処理が行われる。これにより、何れかの撮像画像から検出対象物体が抽出され、抽出された検出対象物体を用いて、テレビ2の制御が行われる。
図14(a)は、本実施例における物体抽出処理を示すフローチャートである。図14(a)の処理は、主としてCPU21の画像処理部21eの機能によって行われる。
画像を取得するタイミングが到来すると(S601:YES)、CPU21は、露光時間T1〜Tkでそれぞれ撮像された撮像画像I1〜IkをCMOSイメージセンサ240から取得し、メモリ25に保持させる(S602)。図13(b)に示すように、露光時間T1は最も時間が短く、露光時間Tkは最も時間が長い。したがって、撮像画像I1は、最も短い露光時間T1で撮像された撮像画像であり、撮像画像Ikが、最も長い露光時間Tkで撮像された撮像画像である。
次に、CPU21は、変数iに1を設定し(S603)、撮像画像Iiについて、検出対象物体の抽出処理を実行する(S604)。ここでは、変数iが1であるため、露光時間が最も短い撮像画像I1について、検出対象物体の抽出処理が行われる。S604では、撮像画像Iiに対し、図12(a)のS503〜S505と同様の処理が行われる。すなわち、CPU21は、撮像画像Iiから、輝度が閾値Bsh以上の対象領域を区分し、区分した対象領域から検出対象物体に対応する領域の抽出を行う。こうして、検出対象物体の抽出処理を実行した後、CPU21は、撮像画像Iiから検出対象物体に対応する領域が抽出されたか否かを判定する(S605)。
このように、露光時間を変化させることにより、撮像画像の各画素の輝度値を閾値Bshに対して相対的に変化させて、対象領域を区分する構成は、請求項9に記載の構成の一例である。
撮像画像Iiから検出対象物体に対応する領域が抽出されない場合(S605:NO)、CPU21は、変数IがKに到達したかを判定する(S606)。変数IがKに到達していない場合(S606:NO)、CPU21は、変数iに1を加算し(S607)、S604に戻って、次の撮像画像Iiについて、検出対象物体の抽出処理を実行する。ここでは、変数iが2であるため、露光時間が2番目に短い撮像画像I2について、検出対象物体の抽出処理が行われる。
こうして、CPU21は、S604〜607の処理を繰り返し、露光時間が短い撮像画像から順に、検出対象物体に対応する領域の抽出を試行する。そして、何れかの露光時間の撮像画像について、検出対象物体に対応する領域が抽出されると(S605:YES)、CPU21は、当該露光時間よりも長い露光時間の撮像画像に対する処理を中止し、物体検出動作が終了したか否かを判定する(S608)。物体検出動作が終了していない場合(S608:NO)、CPU21は、S601に戻って、次の画像取得タイミングを待つ。
このように、露光時間が短い撮像画像から順に検出対象物体の抽出を試行し、検出対象物体を抽出可能な撮像画像(物体抽出に適する露光時間の撮像画像)から検出対象物体を抽出する構成は、請求項10、11に記載の構成の一例である。また、所定の露光時間の撮像画像から検出対象物体に対応する領域が抽出されると、当該露光時間よりも長い露光時間の撮像画像に対する処理を中止する構成は、請求項12に記載の構成の一例である。さらに、露光時間が短い撮像画像から順に、検出対象物体に対応する領域の抽出を行う構成は、請求項13に記載の構成の一例である。
撮像画像I1〜Ikの何れについても検出対象物体が抽出できなかった場合(S606:YES)、CPU21は、当該画像取得タイミングにおける検出対象物体の抽出を、エラーとし、次の画像取得タイミングを待つ(S608→S601)。また、S608において、物体検出動作が終了したと判定すると(S608:YES)、CPU21は、処理を終了する。
図15(a)は、図14の処理フローチャートによる物体検出動作を模式的に示す図である。ここでは、人Hが、図13(a)と同じ状態で同じ位置に居ることが想定されている。
図14の処理フローチャートでは、露光時間が短い撮像画像から順に物体抽出が行われるため、最初に物体抽出が行われる撮像画像I1は、他の撮像画像I2〜Ikよりも、輝度が低い。したがって、撮像画像I1では、たとえば、人Hが、図15(a)の上側の破線の位置に居るのと等価の状態となる。この場合、右手HRと左手HLに対して取得され
る輝度は、何れも、閾値Bsh以上とならない。このため、撮像画像I1については、検出対象物体である右手HRは抽出されない。
る輝度は、何れも、閾値Bsh以上とならない。このため、撮像画像I1については、検出対象物体である右手HRは抽出されない。
その後、処理が進み、撮像画像の露光時間が次第に長くなると、人Hに対して取得される輝度が次第に高くなるため、恰も、人Hが次第に物体検出装置1に近づくのと等価の状態となる。これにより、図15(a)の下側の破線に示すように、所定の露光時間Tmの撮像画像Imにおいて、右手HRの輝度が閾値Bsh以上となり、当該撮像画像Imから検出対象物体である右手HRが抽出される。
また、図15(b)のように、人Hが物体検出装置1に接近した位置に居る場合、上記実施例1の処理では、右手HRと左手HLの輝度Br、Blのみならず、人Hの胴体等の輝度もまた、閾値Bsh以上となるため、検出対象物体である右手HRを適正に検出するのが困難である。これに対し、本変更例では、図15(b)の下側の破線に示すように、比較的短い露光時間Tnの撮像画像Inにおいて、右手HRの輝度が閾値Bsh以上となり、当該撮像画像Inから検出対象物体である右手HRが抽出される。なお、図15(b)の上側の破線は、最初に物体抽出が行われる撮像画像I1において、人Hの各部に対し取得される輝度値を輝度値のスケールに対応づけて模式的に示したものである。また、図15(b)の下側の破線は、露光時間Tnにより取得された撮像画像Inにおいて、人Hの各部に対し取得される輝度値を輝度値のスケールに対応づけて模式的に示したものである。
このように、本変更例によれば、前後方向に広い範囲において検出対象物体を検出することができる。よって、検出対象物体の検出精度を高めることができる。
また、本変更例によれば、所定の露光時間の撮像画像から検出対象物体に対応する領域が取得されると、当該露光時間よりも長い露光時間の撮像画像に対する処理が中止されるため、CPU21における処理負荷を軽減することができる。
なお、本変更例では、露光時間を変化させることにより、撮像画像の各画素の輝度値を閾値Bshに対して相対的に変化させた。これに代えて、露光時間は一定とし、閾値Bshを変化させることにより、撮像画像の各画素の輝度値を閾値Bshに対して相対的に変化させても良い。たとえば、図13(a)の例では、閾値Bshを高輝度側から低輝度側へと段階的に変化させる。そうすると、右手HRの輝度Brよりやや低い状態に閾値Bshを変化させたタイミングで、右手HRに対応する領域が対象領域として取得される。これにより、撮像画像から、検出対象物体である右手HRの領域を抽出することができる。
なお、このように、露光時間は一定とし、閾値Bshを変化させることにより、撮像画像の各画素の輝度値を閾値Bshに対して相対的に変化させる構成もまた、請求項9に記載の構成の一例である。
ただし、このように閾値Bshを変化させる構成では、以下のように、検出対象物体が物体検出装置1に接近した位置に存在する場合に、検出対象物体を適正に検出できないことが起こり得る。すなわち、露光時間が1種類である場合、通常、露光時間は、図15(b)に示す右手HRの位置よりも物体検出装置1から離れた位置に検出対象物体が存在する場合に適するように設定される。このため、図15(b)のように右手HRが物体検出装置1に接近した位置に存在する場合には、このように設定された露光時間では、右手HRに対する輝度が高まり過ぎて、いわゆるハレーションの現象が起こり、撮像画像において、右手HRの輪郭が不明瞭な状態となってしまう。この場合、右手HRの輝度Brよりもやや低い状態に閾値Bshを変化させると、右手HRに対応する領域が対象領域として撮像画像から区分されるものの、区分された対象領域の輪郭は、正規の右手HRの輪郭か
ら大きく崩れたものとなる。このため、右手HRを適正に検出するのが困難となる。
ら大きく崩れたものとなる。このため、右手HRを適正に検出するのが困難となる。
これに対し、上記変更例のように、露光時間を変化させる場合には、物体の近さに適する露光時間にて対象領域が区分されるため、区分された対象領域の輪郭が、ハレーション等によって大きく崩れることが抑制される。たとえば、図15(b)の例では、短い露光時間の撮像画像から対象領域が区分されるため、区分された対象領域の輪郭がハレーション等により大きく崩れることがない。
このように、物体検出装置1に接近した位置においても検出対象物体を適正に検出するためには、露光時間を固定して閾値Bshを変化させるよりも、上記変更例のように、露光時間の方を変化させて、撮像画像の各画素の輝度値を閾値Bshに対して相対的に変化させるのが好ましい。
また、上記変更例では、露光時間が短い撮像画像から順に検出対象物体の抽出処理が行われた。これに限らず、他の順序で検出対象物体の抽出処理が行われても良く、たとえば、露光時間が長い撮像画像から順に検出対象物体の抽出処理が行われても良い。ただし、露光時間が短いほど、物体検出装置1に接近した検出対象物体を撮像画像から抽出し易くなるため、上記のように検出対象物体が右手HRである場合等、検出対象物体が、通常、物体検出装置1側に付き出されて物体検出装置1に接近するような場合には、露光時間が短い撮像画像から順に検出対象物体の抽出処理を行った方が、迅速に検出対象物体を抽出することができる。
なお、図13(b)には、露光時間の種類がk個とされたが、露光時間の種類の数、露光時間の間隔、および、露光時間の最小値から最大値までの幅は、CPU21の処理負荷と、検出対象物体を検出可能な距離範囲とを勘案して、適宜設定され得るものである。
また、上記変更例では、露光時間が短いものから順に、撮像画像に対する検出対象物体の抽出処理が行われたが、撮像画像I1〜Ikのうち複数または全てについて、物体の抽出処理が並行して行われても良い。
また、上記変更例では、まず、全ての露光時間T1〜Tkについて撮像画像I1〜Ikを取得し、次に、露光時間が短い撮像画像から順に、物体の抽出処理が行われた。これに代えて、たとえば、露光時間T1について、撮像画像I1の取得から物体の抽出処理を行い、これにより、検出対象物体が抽出できなければ、露光時間T2について、撮像画像I2の取得から物体の抽出処理を行うといったように、撮像画像の取得から物体の抽出までの処理を、露光時間毎に、一連の処理により行っても良い。
また、上記変更例では、画像取得タイミングが到来する毎に、露光時間を変化させてk個の撮像画像I1〜Ikが取得され、物体の抽出処理が行われた。これに代えて、たとえば、最初の画像取得タイミングでは、露光時間を変化させて撮像画像I1〜Ikを取得して物体の抽出処理を行い、この処理において検出対象物体が抽出されれば、検出対象物体が検出された撮像画像に対応する露光時間を、その後の処理において用いるようにしても良い。たとえば、検出対象物体が抽出された撮像画像の露光時間がT3であれば、その後の画像取得タイミングにおいては、露光時間T3のみで撮像画像を取得して物体の抽出処理を行うようにしても良い。
図16は、この場合の処理例を示すフローチャートである。
画像取得タイミングが到来すると(S701:YES)、CPU21は、既に露光時間T0が設定されているかを判定する(S702)。露光時間T0が設定されていない場合
(S702:NO)、CPU21は、上記変更例と同様、露光時間を変化させて、検出対象物体を抽出する(S707)。S707では、たとえば、図14のS602〜S607と同様の処理が行われる。S707の処理により検出対象物体に対応する領域が抽出されると(S708:YES)、CPU21は、露光時間T0に、検出対象物体が抽出された撮像画像に対応する露光時間を設定する(S709)。その後、CPU21は、物体検出動作が終了したかを判定し(S706)、終了していなければ(S706:NO)、S701に戻って、次の撮像タイミングを待つ。
(S702:NO)、CPU21は、上記変更例と同様、露光時間を変化させて、検出対象物体を抽出する(S707)。S707では、たとえば、図14のS602〜S607と同様の処理が行われる。S707の処理により検出対象物体に対応する領域が抽出されると(S708:YES)、CPU21は、露光時間T0に、検出対象物体が抽出された撮像画像に対応する露光時間を設定する(S709)。その後、CPU21は、物体検出動作が終了したかを判定し(S706)、終了していなければ(S706:NO)、S701に戻って、次の撮像タイミングを待つ。
S702において露光時間T0が設定されていると判定されると(S702:YES)、CPU21は、当該露光時間T0で撮像画像を取得し(S703)、取得した撮像画像について、検出対象物体の抽出処理を行う(S704)。これにより、当該撮像画像から検出対象物体の領域が抽出されると(S705:YES)、CPU21は、物体検出動作が終了したかを判定し(S706)、終了していなければ(S706:NO)、S701に戻って、次の撮像タイミングを待つ。他方、当該撮像画像から検出対象物体の領域が抽出されなければ(S705:NO)、CPU21は、S707に処理を進め、露光時間を変化させて、検出対象物体を抽出する。
その後、S707の処理により検出対象物体に対応する領域が抽出されると(S708:YES)、CPU21は、露光時間T0を、検出対象物体が抽出された撮像画像に対応する露光時間に更新する(S709)。これにより、その後の撮像画像取得処理は、更新された露光時間T0によって行われる。
この構成例によれば、画像取得タイミングが到来する毎に、露光時間を変化させてk個の撮像画像I1〜Ikが取得されないため、CPU21の処理負担を軽減でき、且つ、処理の迅速化を図ることができる。また、検出対象物体が前後に移動した場合等、露光時間T0によって検出対象物体に対応する領域が抽出できない場合には、再度、露光時間を変えながら、物体の抽出処理が行われるため、円滑に検出対象物体に対応する領域を抽出することができる。さらに、この処理により検出対象物体に対応する領域が所定の露光時間の撮像画像から抽出された場合には、当該露光時間が露光時間T0に再設定されるため、更新された露光時間T0により、その後の処理を円滑に進めることができる。
なお、図16のS702〜S704のように、検出対象物体が検出された露光時間T0を、その後の撮像画像の取得において、物体抽出に適する露光時間として用いる構成もまた、請求項10に記載の構成の一例である。
また、上記実施例2およびその変更例では、図12のS503、S504における処理により、撮像領域から対象領域が区分された。これに代えて、図9(b)で説明した実施例1の変更例1に係る処理により、撮像画像から対象領域が区分されても良い。
また、上記実施例2およびその変更例では、投射光学系100からドットパターンのレーザ光が目標領域に投射された。しかしながら、上記実施例2およびその変更例では、必ずしも、ドットパターンのレーザ光が目標領域に投射されなくとも良く、たとえば、光がドットパターンに変換されることなく、目標領域に均一に広がるように、光が目標領域に投射されても良い。上記実施例2およびその変更例では、ドットパターンによる距離検出は行われないため、輝度による物体検出が可能なように目標領域に光が投射されれば良い。
<その他の変更例>
以上、本発明の実施例および変更例について説明したが、本発明は、上記実施例および変更例に何ら制限されるものではなく、本発明の構成例も他に種々の変更が可能である。
以上、本発明の実施例および変更例について説明したが、本発明は、上記実施例および変更例に何ら制限されるものではなく、本発明の構成例も他に種々の変更が可能である。
たとえば、上記実施例1では、距離画像に輝度画像を合成する場合に、輝度値の階調を距離値に対応する階調に補正した上で、高輝度領域の各画素の輝度値を、距離画像に適用した。これに代えて、高輝度領域の各画素の輝度値を、そのまま、距離画像に適用しても良い。
また、上記実施例1では、物体までの距離が長いほど階調が低くなるように距離画像が生成されたが、物体までの距離が長いほど階調が高くなるように距離画像が生成されても良い。この場合、輝度値は、輝度が高いほど階調が低くなるよう階調が変換されて、距離画像に合成される。
また、図6(b)、図12(a)の処理フローチャートでは、撮像画像を平滑化した後、高輝度領域または対象領域を特定する処理が行われたが、平滑化処理を行わずに、撮像画像をそのまま用いて、高輝度領域または対象領域を特定する処理が行われても良い。
また、上記実施例1では、三角測量法を用いて距離情報が求められたが、距離情報の取得方法はこれに限られるものではなく、たとえば、図4(a)を参照して説明した画素ずれ量Dをそのまま距離情報として取得しても良い。
また、上記実施例1では、基準画像に設定されたセグメント領域を、実測画像上において探索するようにしたが、実測画像上に設定された領域のドットパターンに対応するセグメント領域を、基準画像上で探索するようにしても良い。
また、上記実施例1では、図5(b)に示すように、実測時の撮像画像上において、セグメント領域Siと同じ位置にある領域Si0を中心にX軸方向に+α画素および−α画素の範囲が探索範囲L0に設定されたが、探索範囲L0は、必ずしも、領域Si0を中心にX軸正負の方向に対称に設定されなくともよく、領域Si0を中心にX軸正負の方向に非対称に探索範囲L0が設定されても良い。
また、上記実施の形態では、受光素子として、CMOSイメージセンサ240を用いたが、これに替えて、CCDイメージセンサを用いることもできる。また、上記実施の形態では、光源として、レーザ光源110を用いたが、これに替えて、LED等の他の光源を用いることもできる。さらに、投射光学系100および受光光学系200の構成も、適宜変更可能である。
この他、本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。
1 … 物体検出装置
21b … 距離取得部
21c … 物体検出部
21d … 距離情報補正部(距離補正部)
21e … 画像処理部(物体抽出部)
22 … レーザ駆動回路(投射部)
23 … 撮像信号処理回路(撮像部)
100 … 投射光学系(投射部)
200 … 受光光学系(撮像部)
240 … CMOSイメージセンサ(イメージセンサ)
21b … 距離取得部
21c … 物体検出部
21d … 距離情報補正部(距離補正部)
21e … 画像処理部(物体抽出部)
22 … レーザ駆動回路(投射部)
23 … 撮像信号処理回路(撮像部)
100 … 投射光学系(投射部)
200 … 受光光学系(撮像部)
240 … CMOSイメージセンサ(イメージセンサ)
Claims (13)
- 目標領域にドットパターンの光を投射する投射部と、
前記目標領域をイメージセンサにより撮像する撮像部と、
前記撮像部により撮像された撮像画像上のドットの位置に基づいて、前記目標領域上の各位置に対する距離情報を取得する距離取得部と、
物体が前記投射部と前記撮像部に対して接近した位置にあるために不正確であると判定される前記距離情報を所定の値に補正する距離補正部と、
前記距離補正部により補正された前記距離情報に基づいて検出対象物体を検出する物体検出部と、を備える、
ことを特徴とする物体検出装置。 - 請求項1に記載の物体検出装置において、
前記距離補正部は、前記イメージセンサにおける各画素の輝度値を取得し、取得した輝度値に基づいて前記撮像画像上の高輝度領域を特定し、特定した前記高輝度領域に対応する前記距離情報を所定の値に補正する、
ことを特徴とする物体検出装置。 - 請求項2に記載の物体検出装置において、
前記距離補正部は、前記イメージセンサにおける各画素の輝度値と所定の閾値とを比較することにより、前記高輝度領域を特定する、
ことを特徴とする物体検出装置。 - 請求項2に記載の物体検出装置において、
前記距離補正部は、複数の画素を含む所定の画素領域について、各画素の輝度値を加算し、前記各画素の輝度値の加算値と所定の閾値とを比較することにより、前記高輝度領域を特定する、
ことを特徴とする物体検出装置。 - 請求項2ないし4の何れか一項に記載の物体検出装置において、
前記距離補正部は、前記高輝度領域に対応する前記距離情報を、前記高輝度領域に対応する前記イメージセンサ上の画素の輝度値に基づく値に置き換える、
ことを特徴とする物体検出装置。 - 請求項2に記載の物体検出装置において、
前記距離補正部は、前記距離取得部により取得された距離情報に基づいて、測距可能範囲よりも接近した位置に存在する物体に対応する物体領域を特定し、特定した前記物体領域に対する距離情報として、当該物体領域に対応するイメージセンサ上の画素の輝度値に基づく値を適用する、
ことを特徴とする物体検出装置。 - 目標領域に光を投射する投射部と、
前記目標領域をイメージセンサにより撮像する撮像部と、
前記イメージセンサにおける各画素の輝度値を取得し、取得した輝度値に基づいて撮像画像上の高輝度領域を特定し、特定した前記高輝度領域から検出対象物体に対応する領域を抽出する物体抽出部と、を備える、
ことを特徴とする物体検出装置。 - 請求項7に記載の物体検出装置において、
前記物体抽出部は、前記各画素の輝度値と所定の閾値とを比較することにより、前記高
輝度領域を特定する、
ことを特徴とする物体検出装置。 - 請求項8に記載の物体検出装置において、
前記物体抽出部は、前記各画素の輝度値を前記閾値に対して相対的に変化させて、前記高輝度領域を特定する、
ことを特徴とする物体検出装置。 - 請求項9に記載の物体検出装置において、
前記撮像部は、撮像時の露光時間を変化させることが可能に構成され、
前記物体抽出部は、物体抽出に適する露光時間の撮像画像から、前記検出対象物体に対応する領域を抽出する、
ことを特徴とする物体検出装置。 - 請求項10に記載の物体検出装置において、
前記撮像部は、露光時間を変化させながら撮像画像を取得し、
前記物体抽出部は、取得された各撮像画像について前記高輝度領域を特定し、特定した前記高輝度領域から前記検出対象物体に対応する領域を抽出する抽出処理を実行する、
ことを特徴とする物体検出装置。 - 請求項11に記載の物体検出装置において、
前記物体抽出部は、前記検出対象物体に対応する領域が抽出されるまで、露光時間が異なる前記撮像画像に対し、所定の順序で、前記抽出処理を実行する、
ことを特徴とする物体検出装置。 - 請求項12に記載の物体検出装置において、
前記物体抽出部は、露光時間が短い撮像画像から順に、前記抽出処理を実行する、
ことを特徴とする物体検出装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013002979A JP2016040520A (ja) | 2013-01-10 | 2013-01-10 | 物体検出装置 |
| PCT/JP2013/007621 WO2014108976A1 (ja) | 2013-01-10 | 2013-12-26 | 物体検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013002979A JP2016040520A (ja) | 2013-01-10 | 2013-01-10 | 物体検出装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016040520A true JP2016040520A (ja) | 2016-03-24 |
Family
ID=51166654
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013002979A Pending JP2016040520A (ja) | 2013-01-10 | 2013-01-10 | 物体検出装置 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2016040520A (ja) |
| WO (1) | WO2014108976A1 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018077839A (ja) * | 2016-11-10 | 2018-05-17 | メタル インダストリーズ リサーチ アンド ディベロップメント センター | 深度値に基づいたジェスチャ操作方法および深度値に基づいたジェスチャ操作システム |
| JPWO2017183114A1 (ja) * | 2016-04-19 | 2019-02-28 | 株式会社日立エルジーデータストレージ | 距離画像生成装置および距離画像生成方法 |
| KR20190029901A (ko) * | 2017-09-13 | 2019-03-21 | 네이버랩스 주식회사 | 영상센서 방식 라이다의 측정거리 향상을 위한 광 집속 시스템 |
| CN113597534A (zh) * | 2019-03-26 | 2021-11-02 | 松下知识产权经营株式会社 | 测距成像系统、测距成像方法和程序 |
| JP2022504377A (ja) * | 2018-10-12 | 2022-01-13 | テラダイン、 インコーポレイテッド | 溶接パス生成のためのシステム及び方法 |
| US11415827B2 (en) | 2018-12-28 | 2022-08-16 | Japan Display Inc. | Display device and electronic apparatus incorporating display device |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7268721B2 (ja) * | 2019-02-26 | 2023-05-08 | 株式会社ソシオネクスト | 情報処理装置および情報処理方法 |
| WO2021060397A1 (ja) * | 2019-09-26 | 2021-04-01 | 株式会社小糸製作所 | ゲーティングカメラ、自動車、車両用灯具、画像処理装置、画像処理方法 |
| JP7589086B2 (ja) * | 2021-03-29 | 2024-11-25 | 京セラ株式会社 | 情報処理装置、車両、路側機、および情報処理方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5594469A (en) * | 1995-02-21 | 1997-01-14 | Mitsubishi Electric Information Technology Center America Inc. | Hand gesture machine control system |
| JP3868621B2 (ja) * | 1998-03-17 | 2007-01-17 | 株式会社東芝 | 画像取得装置、画像取得方法、及び記録媒体 |
| JP3625390B2 (ja) * | 1999-02-01 | 2005-03-02 | 株式会社東芝 | 画像取得装置および方法 |
| JP3637226B2 (ja) * | 1999-02-01 | 2005-04-13 | 株式会社東芝 | 動き検出方法、動き検出装置及び記録媒体 |
| JP2004317126A (ja) * | 2003-04-10 | 2004-11-11 | Renesas Technology Corp | はんだ印刷装置 |
| JP4422580B2 (ja) * | 2004-08-24 | 2010-02-24 | 住友大阪セメント株式会社 | 動き検出装置 |
-
2013
- 2013-01-10 JP JP2013002979A patent/JP2016040520A/ja active Pending
- 2013-12-26 WO PCT/JP2013/007621 patent/WO2014108976A1/ja not_active Ceased
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2017183114A1 (ja) * | 2016-04-19 | 2019-02-28 | 株式会社日立エルジーデータストレージ | 距離画像生成装置および距離画像生成方法 |
| US10928518B2 (en) | 2016-04-19 | 2021-02-23 | Hitachi-Lg Data Storage, Inc. | Range image generation apparatus and range image generation method |
| JP2018077839A (ja) * | 2016-11-10 | 2018-05-17 | メタル インダストリーズ リサーチ アンド ディベロップメント センター | 深度値に基づいたジェスチャ操作方法および深度値に基づいたジェスチャ操作システム |
| US10824240B2 (en) | 2016-11-10 | 2020-11-03 | Metal Industries Research & Development Centre | Gesture operation method based on depth values and system thereof |
| KR20190029901A (ko) * | 2017-09-13 | 2019-03-21 | 네이버랩스 주식회사 | 영상센서 방식 라이다의 측정거리 향상을 위한 광 집속 시스템 |
| KR102087081B1 (ko) * | 2017-09-13 | 2020-03-10 | 네이버랩스 주식회사 | 영상센서 방식 라이다의 측정거리 향상을 위한 광 집속 시스템 |
| JP2022504377A (ja) * | 2018-10-12 | 2022-01-13 | テラダイン、 インコーポレイテッド | 溶接パス生成のためのシステム及び方法 |
| JP7439073B2 (ja) | 2018-10-12 | 2024-02-27 | テラダイン、 インコーポレイテッド | 溶接パス生成のためのシステム及び方法 |
| US11415827B2 (en) | 2018-12-28 | 2022-08-16 | Japan Display Inc. | Display device and electronic apparatus incorporating display device |
| CN113597534A (zh) * | 2019-03-26 | 2021-11-02 | 松下知识产权经营株式会社 | 测距成像系统、测距成像方法和程序 |
| CN113597534B (zh) * | 2019-03-26 | 2023-07-25 | 松下知识产权经营株式会社 | 测距成像系统、测距成像方法和程序 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2014108976A1 (ja) | 2014-07-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2016040520A (ja) | 物体検出装置 | |
| US10309770B2 (en) | Three-dimensional sensor system and three-dimensional data acquisition method | |
| JP5911934B2 (ja) | 輪郭線計測装置およびロボットシステム | |
| EP2568253B1 (en) | Structured-light measuring method and system | |
| JP5214062B1 (ja) | 情報取得装置および物体検出装置 | |
| KR101394809B1 (ko) | 물체의 입체 이미지를 위한 향상된 깊이 정밀도를 획득하기 위한 방법 및 시스템 | |
| JP6187640B2 (ja) | 画像合成方法及び装置 | |
| JP2009529824A (ja) | 3次元映像獲得用cmosステレオカメラ | |
| US20130156278A1 (en) | Optical flow accelerator for motion recognition and method thereof | |
| KR20140075163A (ko) | 구조광 방식을 활용한 패턴 프로젝팅 방법 및 장치 | |
| US20160275359A1 (en) | Information processing apparatus, information processing method, and computer readable medium storing a program | |
| JP2019215811A (ja) | 投影システム、画像処理装置および投影方法 | |
| JP2016024052A (ja) | 3次元計測システム、3次元計測方法及びプログラム | |
| JP2014137762A (ja) | 物体検出装置 | |
| US10742963B2 (en) | Image capturing apparatus, control method for the same, and computer readable medium | |
| JP6009206B2 (ja) | 3次元計測装置 | |
| JP5138115B2 (ja) | 情報取得装置及びその情報取得装置を有する物体検出装置 | |
| JP2006058091A (ja) | 3次元画像測定装置および方法 | |
| US11398045B2 (en) | Three-dimensional imaging device and three-dimensional imaging condition adjusting method | |
| JP2011095131A (ja) | 画像処理方法 | |
| CN106323190B (zh) | 可定制深度测量范围的深度测量方法及深度图像的系统 | |
| JPWO2012026180A1 (ja) | 情報取得装置および物体検出装置 | |
| JP2015179077A (ja) | 視差演算システム、情報処理装置、情報処理方法及びプログラム | |
| WO2022254854A1 (ja) | 3次元計測装置 | |
| JP2014132219A (ja) | 情報取得装置および物体検出装置 |