JP2010164440A - Distance image processing device and photographing device - Google Patents
Distance image processing device and photographing device Download PDFInfo
- Publication number
- JP2010164440A JP2010164440A JP2009007243A JP2009007243A JP2010164440A JP 2010164440 A JP2010164440 A JP 2010164440A JP 2009007243 A JP2009007243 A JP 2009007243A JP 2009007243 A JP2009007243 A JP 2009007243A JP 2010164440 A JP2010164440 A JP 2010164440A
- Authority
- JP
- Japan
- Prior art keywords
- candidate
- distance image
- distance
- pixel
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
【課題】距離画像内で、位置を限定することなく、所望の抽出条件に適合する対象物を特定、抽出する。
【解決手段】距離画像内で、距離値を用いて検出対象となる対象物の候補を抽出する。距離画像内で、近接する距離値が所定以上連続する画素群を対象物候補として抽出する。抽出した対象物候補は、さらにパターンマッチング、速度制限などを用い、絞り込む。得られた対象物候補の中から抽出条件に適合するものを対象物として抽出する。また、抽出条件として、先に抽出したものと同じものを抽出するよう構成してもよい。
【選択図】 図１An object that matches a desired extraction condition is specified and extracted from a range image without limiting the position.
An object candidate to be detected is extracted from a distance image using a distance value. In the distance image, a pixel group in which adjacent distance values are continuous for a predetermined distance or more is extracted as an object candidate. The extracted object candidates are further narrowed down using pattern matching, speed limitation, and the like. Among the obtained object candidates, those that match the extraction conditions are extracted as objects. Moreover, you may comprise so that the same thing as what was extracted previously may be extracted as extraction conditions.
[Selection] Figure 1
Description
本発明は、距離画像処理技術に関するもので、特に、距離画像内の物体認識技術に関する。 The present invention relates to a distance image processing technique, and more particularly to an object recognition technique in a distance image.
撮影領域内の各物体までの距離を測定可能なセンサを用いて、物体までの距離の値を各画素の値とした距離画像を生成する技術がある。距離画像は、距離値が画素値であるため、センサと物体との位置関係や光学的な条件の変化による影響を受けないという特性がある。このような距離画像を使用し、距離値が所定の閾値以下となる領域を抽出することにより、撮影領域内で最も近距離にある物体を特定する技術がある（例えば、特許文献１参照）。 There is a technique for generating a distance image using a sensor that can measure the distance to each object in the imaging region and the value of the distance to the object as the value of each pixel. Since the distance value is a pixel value, the distance image has a characteristic that it is not affected by a change in the positional relationship between the sensor and the object or optical conditions. There is a technique for identifying an object at the shortest distance in a photographing region by using such a distance image and extracting a region having a distance value equal to or smaller than a predetermined threshold (see, for example, Patent Document 1).
特許文献１に開示されている技術によれば、検出対象となる物体が常に最も近距離にあることがわかっている場合、物体とその周囲とのコントラストが低い状況であったり、背景に煩雑な動きがあるような場合であっても、容易に抽出できる。しかしながら、撮影領域内の最前にある物体しか特定できず、利用範囲が限られる。 According to the technique disclosed in Patent Document 1, when it is known that the object to be detected is always at the shortest distance, the contrast between the object and its surroundings is low, or the background is complicated. Even if there is a movement, it can be easily extracted. However, only the foremost object in the imaging area can be specified, and the range of use is limited.
本発明は、上記事情に鑑みてなされたもので、距離画像内で所望の対象物を撮影領域内の位置の限定なく特定する技術を提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a technique for specifying a desired object in a distance image without limitation of a position in an imaging region.
本発明は、距離画像内で距離値を用いて検出対象となる対象物の候補を抽出し、当該抽出した対象物候補の中から、条件に適合するものを対象物として抽出する。 According to the present invention, a candidate for an object to be detected is extracted using a distance value in a distance image, and an object that satisfies a condition is extracted as an object from the extracted object candidates.
具体的には、各画素の画素値が撮影領域内の物体とセンサとの距離値である距離画像から所望の対象物に該当する画素群を抽出する距離画像処理装置であって、前記距離画像内において、予め設定された抽出条件に適合する画素群を決定する判定手段と、前記判定手段で決定された画素群を特定する情報から制御情報を生成し、当該制御情報を出力する抽出手段と、を備えることを特徴とする距離画像処理装置を提供する。 Specifically, the distance image processing apparatus extracts a pixel group corresponding to a desired object from a distance image in which the pixel value of each pixel is a distance value between an object and a sensor in the imaging region, and the distance image A determination unit that determines a pixel group that conforms to a preset extraction condition, and an extraction unit that generates control information from information that identifies the pixel group determined by the determination unit and outputs the control information. A distance image processing apparatus is provided.
本発明によれば、距離画像内で所望の対象物を撮影領域内の位置の限定なく特定することができる。 According to the present invention, it is possible to specify a desired object in the distance image without limitation of the position in the imaging region.
＜＜第一の実施形態＞＞
以下、本発明を適用する第一の実施形態について説明する。以下、本発明の実施形態を説明するための全図において、同一機能を有するものは同一符号を付し、その繰り返しの説明は省略する。
<< First Embodiment >>
Hereinafter, a first embodiment to which the present invention is applied will be described. Hereinafter, in all the drawings for explaining the embodiments of the present invention, those having the same function are denoted by the same reference numerals, and repeated explanation thereof is omitted.
本実施形態の距離画像処理装置を有する撮影装置（カメラ）２０の基本構成について説明する。図１は、本実施形態の撮影装置２０の機能ブロック図である。本図に示すように、本実施形態の撮影装置２０は、距離画像センサ１００と、距離画像処理装置２００と、距離画像記憶部３００と、を備える。 A basic configuration of the photographing apparatus (camera) 20 having the distance image processing apparatus of the present embodiment will be described. FIG. 1 is a functional block diagram of the photographing apparatus 20 of the present embodiment. As shown in the drawing, the photographing apparatus 20 of the present embodiment includes a distance image sensor 100, a distance image processing apparatus 200, and a distance image storage unit 300.
距離画像センサ１００は、光飛行時間計測法を用いて物体１０までの距離を測定する光飛行型距離センサであり、撮影対象空間に変調した光を照射する光源１１０と、光源１１０から照射され、撮影対象空間内の物体１０で反射した反射光を含む入射光を受光する撮像素子１２０と、光源１１０および撮像素子１２０の動作を制御する制御部１３０と、距離画像生成部１４０と、を備える。 The distance image sensor 100 is an optical flight type distance sensor that measures the distance to the object 10 using the optical time-of-flight measurement method. The distance image sensor 100 is irradiated from the light source 110 that irradiates modulated light to the imaging target space, An image sensor 120 that receives incident light including reflected light reflected by the object 10 in the imaging target space, a control unit 130 that controls the operation of the light source 110 and the image sensor 120, and a distance image generation unit 140 are provided.
光源１１０は、例えば、正弦波もしくは矩形波などで高速に変調させた赤外光もしくは可視光を照射し、ＬＥＤ等の高速変調が可能なデバイスが用いられる。照射は、制御部１３０からの同期信号に従って行われる。 As the light source 110, for example, a device capable of high-speed modulation such as an LED, which irradiates infrared light or visible light modulated at high speed with a sine wave or a rectangular wave is used. Irradiation is performed according to a synchronization signal from the control unit 130.
撮像素子１２０は、入射光を受光して電荷に変換する複数の光電変換素子（画素）と、この光電変換素子毎に設けられた複数の電荷蓄積部と、光源１１０の変調に同期して光電変換素子により変換された電荷を複数の電荷蓄積部に振り分ける電荷振分部と、を備える。各動作（受光、変換、振分け）は、制御部１３０からの同期信号に従って行われる。 The image sensor 120 receives a plurality of photoelectric conversion elements (pixels) that receive incident light and converts them into charges, a plurality of charge storage units provided for each photoelectric conversion element, and a photoelectric sensor in synchronization with the modulation of the light source 110. A charge distribution unit that distributes the charge converted by the conversion element to a plurality of charge storage units. Each operation (light reception, conversion, distribution) is performed according to a synchronization signal from the control unit 130.
距離画像生成部１４０は、各電荷蓄積部に振り分けられた電荷量から画素値が距離値である距離画像を生成する。本実施形態では、距離画像生成部１４０は、振り分けられた電荷量から光源１１０から照射された変調光と撮像素子１２０で受光した入射光との位相差に基づき、各画素について、距離画像センサ１００と対象物１０との間の距離である距離値を算出し、距離画像記憶部３００に距離画像として格納する。距離画像記憶部３００では、各画素に対応づけられたアドレスにそれぞれの画素の距離値が格納される。 The distance image generation unit 140 generates a distance image whose pixel value is a distance value from the amount of charge distributed to each charge storage unit. In the present embodiment, the distance image generation unit 140 uses the distance image sensor 100 for each pixel based on the phase difference between the modulated light emitted from the light source 110 and the incident light received by the image sensor 120 based on the distributed charge amount. A distance value that is a distance between the object 10 and the object 10 is calculated and stored in the distance image storage unit 300 as a distance image. In the distance image storage unit 300, the distance value of each pixel is stored at an address associated with each pixel.
本実施形態では、距離画像生成部１４０は、所定の時間間隔で連続的に距離画像を生成するものとする。距離画像生成部１４０で生成され、距離画像記憶部３００に格納された距離画像は、距離値を輝度値とした濃淡画像として表示装置（不図示）等に表示するよう構成してもよい。このとき表示される距離画像の一例を図２に示す。 In the present embodiment, it is assumed that the distance image generation unit 140 generates distance images continuously at predetermined time intervals. The distance image generated by the distance image generation unit 140 and stored in the distance image storage unit 300 may be configured to be displayed on a display device (not shown) or the like as a grayscale image having the distance value as a luminance value. An example of the distance image displayed at this time is shown in FIG.
なお、距離画像センサ１００は、ＣＰＵと、距離画像メモリと、プログラムを格納するＲＯＭと、処理途中の各種データを記憶するＲＡＭとを備える。制御部１３０および距離画像生成部１４０は、ＣＰＵがＲＯＭに格納されたプログラムをＲＡＭにロードし、実行することにより実現される。 The distance image sensor 100 includes a CPU, a distance image memory, a ROM that stores a program, and a RAM that stores various data being processed. The control unit 130 and the distance image generation unit 140 are realized by the CPU loading a program stored in the ROM into the RAM and executing it.
距離画像処理装置２００は、距離画像記憶部３００に格納された距離画像において、当該距離画像の撮影対象領域に存在する物体に対応する画素群（対象物候補）の中から、所望の画素群（対象物）を特定し、特定した画素群に応じて予め定められた制御情報を出力する。これを実現するため、距離画像処理装置２００は、距離画像内に予め定められた条件に適合する対象物が存在するか否かを判定する判定部２１０と、判定部２１０により存在するものと判定された場合、当該対象物を構成する画素群を特定可能な情報であって、予め定められた情報を制御情報として出力する抽出部２２０とを備える。 In the distance image stored in the distance image storage unit 300, the distance image processing apparatus 200 selects a desired pixel group (target object candidate) from among pixel groups (target object candidates) corresponding to objects existing in the shooting target area of the distance image. (Object) is specified, and control information predetermined according to the specified pixel group is output. In order to realize this, the distance image processing apparatus 200 determines whether there is an object that meets a predetermined condition in the distance image, and the determination unit 210 determines that the object exists. In this case, the information processing apparatus includes an extraction unit 220 that is information that can specify a pixel group that constitutes the target object and outputs predetermined information as control information.
距離画像処理装置２００は、ＣＰＵとメモリと記憶装置とを備えた情報処理装置で実現される。判定部２１０および抽出部２２０は、記憶装置に予め格納されたプログラムを、ＣＰＵがメモリにロードして実行することにより実現される。また、判定部２１０および抽出部２２０が処理を行うために必要なデータと、これらの機能の処理により得られたデータとは、記憶装置に格納される。なお、距離画像処理装置２００のＣＰＵ、メモリ、記憶装置は、独立に備えていてもよいし、それぞれ、距離画像センサ１００のＣＰＵ、ＲＡＭ、ＲＯＭと兼用されてもよい。 The distance image processing apparatus 200 is realized by an information processing apparatus including a CPU, a memory, and a storage device. The determination unit 210 and the extraction unit 220 are realized by the CPU loading a program stored in advance in the storage device into the memory and executing it. Further, data necessary for the determination unit 210 and the extraction unit 220 to perform processing and data obtained by processing of these functions are stored in a storage device. Note that the CPU, memory, and storage device of the distance image processing apparatus 200 may be provided independently, or may be shared with the CPU, RAM, and ROM of the distance image sensor 100, respectively.
判定部２１０は、上記判定を行うため、予め、距離画像内において、対象物候補となる画素群を特定する。そして、対象物候補の中から、与えられた条件に適合するものを選択する。このため、距離画像内に対象物候補が有るか否かを判別し、ある場合、対象物候補として抽出する候補抽出部２１１と、候補抽出部２１１が対象物が有りと判別した場合、その中に対象物が有るか否かを判別する対象物決定部２１２とを備える。 In order to make the above determination, the determination unit 210 specifies a pixel group that is a candidate object in advance in the distance image. Then, a candidate that matches the given condition is selected from the candidate objects. For this reason, it is determined whether or not there is an object candidate in the distance image. If there is a candidate object, the candidate extraction unit 211 that extracts the object candidate and the candidate extraction unit 211 determine that the object exists, And an object determining unit 212 for determining whether or not there is an object.
候補抽出部２１１は、距離画像記憶部３００に格納された距離画像を走査し、対象物候補となる画素群の有無を判別し、抽出する候補抽出処理を行う。具体的には、所定範囲の距離値を有する画素で、互いに隣接する画素群を１の対象物候補と判定する。候補抽出処理の詳細は後述する。そして、候補抽出部２１１は、対象物候補と判定された画素群を特定可能な情報を決定、算出し、記憶装置内の候補テーブル２３０に格納する。例えば、図２に示す距離画像の場合、図３（ａ）に示すように、Ａ、Ｂ、Ｃ、Ｄ、Ｅの５つの画素群が対象物候補として抽出される。なお、候補抽出部２１１は、該当する画素群がない場合、候補抽出部２１１は、対象物候補無しとの判別結果を出力する。 The candidate extraction unit 211 scans the distance image stored in the distance image storage unit 300, determines the presence / absence of a pixel group that is an object candidate, and performs candidate extraction processing for extraction. Specifically, a pixel group adjacent to each other with pixels having a distance value within a predetermined range is determined as one object candidate. Details of the candidate extraction process will be described later. Then, the candidate extraction unit 211 determines and calculates information that can identify the pixel group determined as the object candidate, and stores the information in the candidate table 230 in the storage device. For example, in the case of the distance image shown in FIG. 2, as shown in FIG. 3A, five pixel groups A, B, C, D, and E are extracted as object candidates. If there is no corresponding pixel group, the candidate extraction unit 211 outputs a determination result that there is no candidate object.
対象物決定部２１２は、候補抽出部２１１が対象物候補有りと判別した場合、すなわち、候補テーブル２３０にデータが格納されている場合、各対象物候補について、予め定められている条件を満たすか否かを判別し、条件を満たすデータがあれば、当該データを対象物と決定する対象物決定処理を行う。条件に合致するデータがない場合は、対象物無しとの判別結果を出力する。なお、予め定められている条件とは、例えば、所定以上のサイズ（画素数）のもの、所定範囲のサイズ（画素数）のもの、所定の距離のもの、最も距離が近いもの、などで、予め操作者等により設定され、記憶装置の条件格納部２４０に格納される。また、決定される対象物は複数であってもよい。例えば、条件が最もサイズの大きいものの場合、図３（ａ）の距離画像では、Ｂの机が選択され決定される。 When the candidate extracting unit 211 determines that there is a candidate object, that is, when data is stored in the candidate table 230, the target determining unit 212 determines whether a predetermined condition is satisfied for each target candidate If there is data satisfying the condition, an object determination process for determining the data as an object is performed. If there is no data that matches the conditions, a determination result that there is no object is output. The predetermined conditions are, for example, those having a predetermined size (number of pixels), those having a predetermined range size (number of pixels), those having a predetermined distance, those having the closest distance, etc. It is set in advance by an operator or the like and stored in the condition storage unit 240 of the storage device. A plurality of objects may be determined. For example, when the condition is the largest, the desk of B is selected and determined in the distance image of FIG.
ここで、候補テーブル２３０に格納される情報について説明する。図４は、本実施形態の候補テーブル２３０に格納される情報の一例である。本図に示すように、本実施形態では、対象物候補と判定される毎に付与される各対象物候補を識別可能な情報（ＩＤ）２３１と、画素群の重心の座標（ｘｗ、ｙｗ、ｚｗ）２３２と、画素群の面積（画素数）２３３とが格納される。なお、画素群の重心の座標２３２は、画素群を構成する各画素の画素位置をｘ、ｙの値とし、距離値（画素値）をｚの値とする各画素の座標に基づいて決定する。各画素の画素位置（ｘ、ｙ）は、図２の左下を原点とする座標系で決定される。 Here, information stored in the candidate table 230 will be described. FIG. 4 is an example of information stored in the candidate table 230 of the present embodiment. As shown in the figure, in the present embodiment, information (ID) 231 that can identify each target candidate given each time it is determined as a target candidate, and coordinates (xw, yw, zw) 232 and the area (number of pixels) 233 of the pixel group are stored. The coordinates 232 of the center of gravity of the pixel group are determined based on the coordinates of each pixel having the pixel position of each pixel constituting the pixel group as the x and y values and the distance value (pixel value) as the z value. . The pixel position (x, y) of each pixel is determined by a coordinate system with the lower left in FIG. 2 as the origin.
また、候補テーブル２３０は、対象物フラグ２３４格納欄をさらに備え、対象物決定部２１２が対象物と決定した対象物候補の当該格納欄には、対象物であることを示す情報である対象物フラグ２３４が格納される。 The candidate table 230 further includes an object flag 234 storage field, and the object which is information indicating that the object is stored in the storage field of the object candidate determined by the object determining unit 212 as the object. A flag 234 is stored.
なお、対象物候補を特定可能な情報は、上記情報に限られない。例えば、各対象物の画素群の形状を特定可能な形状データ、位相データ等であってもよい。 In addition, the information which can specify a target object candidate is not restricted to the said information. For example, it may be shape data, phase data, or the like that can specify the shape of the pixel group of each object.
抽出部２２０は、対象物決定部２１２が決定した対象物について、予め定められた情報を制御情報として生成し、出力する抽出処理を行う。具体的には、抽出部２２０は、対象物フラグ２３４が格納されているデータについて、制御情報を生成するために必要な情報を候補テーブル２３０から抽出し、制御情報を生成する。 The extraction unit 220 performs an extraction process for generating and outputting predetermined information as control information for the object determined by the object determination unit 212. Specifically, the extraction unit 220 extracts information necessary for generating control information from the candidate table 230 for the data in which the object flag 234 is stored, and generates control information.
制御情報は、制御情報を用いる機器（制御機器）または制御の目的に応じて定められる。例えば、制御機器での処理が、検出対象の物体が所定以下の距離まで近づいた場合、警報を発するといったものの場合、抽出部２２０は、候補テーブル２３０の、対象物の重心座標２３２のｚｗ値を出力する。制御機器では、この情報を基に、受け取るｚｗ値が閾値以下となった場合警報を発する。 The control information is determined according to a device (control device) that uses the control information or a purpose of control. For example, when the processing in the control device is such that an alarm is issued when the object to be detected approaches a predetermined distance or less, the extraction unit 220 uses the zw value of the center of gravity coordinates 232 of the target in the candidate table 230. Output. Based on this information, the control device issues an alarm when the received zw value falls below a threshold value.
例えば、制御機器が表示装置（不図示）であって、距離画像上で、対象物を特定した表示を行う場合、抽出部２２０は、対象物を構成する画素群の位置および形状を特定可能な情報（マスクパターン）を制御情報として出力する。この場合、候補テーブル２３０に、候補テーブルに対象物候補を構成する画素群の位置および形状を特定可能な情報を保持するよう構成する。このとき、抽出部２２０で、距離画像記憶部に記憶されている距離画像に対し、このマスクパターンを用い、対象物を構成する画素群以外の画素の画素値を全て０とするマスク処理を施した表示画像データを生成し、表示装置に出力するよう構成してもよい。この場合の表示画像の一例を図３（ｂ）に示す。 For example, when the control device is a display device (not shown) and performs display in which a target object is specified on a distance image, the extraction unit 220 can specify the position and shape of a pixel group constituting the target object. Information (mask pattern) is output as control information. In this case, the candidate table 230 is configured to hold information that can specify the position and shape of the pixel group constituting the candidate object in the candidate table. At this time, the extraction unit 220 performs a mask process on the distance image stored in the distance image storage unit by using this mask pattern and setting all pixel values of pixels other than the pixel group constituting the object to 0. The display image data may be generated and output to a display device. An example of the display image in this case is shown in FIG.
以下、上記構成を有する本実施形態の距離画像処理装置２００による、対象物を特定し、抽出する処理の流れを説明する。図５は、本実施形態の距離画像処理装置２００を構成する各機能による対象物抽出処理の処理フローである。本実施形態の対象物抽出処理は、距離画像センサ１００において、距離画像生成部１４０が、１画像分のデータを距離画像記憶部３００に格納したことをトリガとして開始される。なお、本処理の開始は、操作装置（不図示）からの指示によるものであってもよい。 Hereinafter, a flow of processing for identifying and extracting an object by the distance image processing apparatus 200 of the present embodiment having the above-described configuration will be described. FIG. 5 is a processing flow of an object extraction process by each function constituting the distance image processing apparatus 200 of the present embodiment. The object extraction process of the present embodiment is triggered by the distance image generation unit 140 storing data for one image in the distance image storage unit 300 in the distance image sensor 100. The start of this process may be based on an instruction from an operating device (not shown).
距離画像記憶部３００に距離画像データが格納されると、候補抽出部２１１は、距離画像を走査し、対象物候補となる画素群の有無を判別し、抽出する候補抽出処理を行う（ステップＳ３０１）。候補抽出処理で、対象物無しと判別された場合（ステップＳ３０２）、処理を終了する。 When the distance image data is stored in the distance image storage unit 300, the candidate extraction unit 211 scans the distance image, determines the presence / absence of a pixel group that is an object candidate, and performs candidate extraction processing for extraction (step S301). ). If it is determined in the candidate extraction process that there is no object (step S302), the process ends.
一方、候補抽出処理で対象物有りと判別された場合（ステップＳ３０２）、対象物決定部２１２は、候補抽出部２１１が対象物候補として抽出した画素群の中から、対象物の条件に合致するものがあるか否かを判別し、対象物を決定する対象物決定処理を行う（ステップＳ３０３）。対象物決定処理において検知対象無しと判別された場合（ステップＳ３０４）、処理を終了する。 On the other hand, when it is determined that there is an object in the candidate extraction process (step S302), the object determining unit 212 matches the condition of the object from the pixel group extracted as the object candidate by the candidate extracting unit 211. It is determined whether or not there is an object, and an object determination process for determining an object is performed (step S303). When it is determined that there is no detection target in the object determination process (step S304), the process is terminated.
対象物決定処理において、対象物有りと判別され、対象物が決定された場合（ステップＳ３０４）、抽出部２２０は、制御情報を生成して出力する抽出処理を行い（ステップＳ３０５）、対象物抽出処理を終了する。なお、上述したように、本実施形態の距離画像センサ１００の距離画像生成部１４０は、所定の時間間隔で連続的に距離画像を生成する。従って、距離画像生成部１４０で距離画像を生成する毎に、本実施形態の距離画像処理装置２００は、上記対象物抽出処理を実行する。 In the object determination process, when it is determined that the object is present and the object is determined (step S304), the extraction unit 220 performs an extraction process that generates and outputs control information (step S305), and extracts the object. The process ends. As described above, the distance image generation unit 140 of the distance image sensor 100 according to the present embodiment continuously generates a distance image at a predetermined time interval. Therefore, every time the distance image generation unit 140 generates a distance image, the distance image processing apparatus 200 according to the present embodiment executes the object extraction process.
次に、ステップＳ３０１の候補抽出部２１１による候補抽出処理の詳細について説明する。候補抽出部２１１は、近接する距離値を有し、互いに隣接した画素群を抽出する。以下、図２に示すように、距離画像を構成する平面上の互いに直交する２方向をｘ、ｙ方向として説明する。 Next, details of candidate extraction processing by the candidate extraction unit 211 in step S301 will be described. The candidate extraction unit 211 extracts adjacent pixel groups having adjacent distance values. Hereinafter, as shown in FIG. 2, two directions orthogonal to each other on a plane constituting the distance image are described as x and y directions.
図６は、本実施形態の候補抽出部２１１の候補抽出処理の処理フローである。また、図７は、本実施形態の候補抽出処理を説明するための図である。 FIG. 6 is a processing flow of candidate extraction processing of the candidate extraction unit 211 of this embodiment. FIG. 7 is a diagram for explaining candidate extraction processing according to the present embodiment.
候補抽出部２１１は、まず、距離画像記憶部３００に格納された距離画像において、所定範囲の距離値（距離範囲Δ）毎に、当該距離範囲の出現頻度を検出するとともに、検出した出現頻度が所定以上の距離範囲の数を特定する（ステップＳ４０１）。検出した出現頻度が所定以上の距離範囲全てについて、以下の処理を行う。ここで、検出した距離範囲の数をｍ個とし、検出した各距離範囲を適当な順に並べた場合の、ｎ番目の距離範囲の中央値をｒｎ（ｎは１からｍまでの整数）とする。 First, the candidate extraction unit 211 detects the appearance frequency of the distance range for each distance value (distance range Δ) in the distance image stored in the distance image storage unit 300, and the detected appearance frequency is The number of distance ranges greater than or equal to a predetermined value is specified (step S401). The following processing is performed for all distance ranges in which the detected appearance frequency is greater than or equal to a predetermined value. Here, when the number of detected distance ranges is m, and the detected distance ranges are arranged in an appropriate order, the median value of the nth distance range is rn (n is an integer from 1 to m). .
カウンタｎに１を代入する（ステップＳ４０２）。ｎ番目の距離範囲の中央値ｒｎを用いて、距離画像を当該距離範囲でマスキングする（ステップＳ４０３）。ここでは、図７（ａ）に示すように、当該距離範囲（ｒｎ±Δ／２）の距離値を有する画素の画素値を１、他の距離値を有する画素の画素値を０とするマスキング画像を生成する。 1 is assigned to the counter n (step S402). Using the median value rn of the nth distance range, the distance image is masked with the distance range (step S403). Here, as shown in FIG. 7A, the pixel value of a pixel having a distance value in the distance range (rn ± Δ / 2) is 1 and the pixel value of a pixel having another distance value is 0. Generate an image.
次に、候補抽出部２１１は、マスキング画像に関し、画素値が１である画素の周囲の画素（例えば、当該画素を含む３×３の画素）の画素値の合計を、当該画素の画素値とする第二の距離画像を生成し、保持する（ステップＳ４０４）。具体的には、図７（ｂ）に示すように、マスキング画像に対し、１画素ずつ、当該画素の画素値が１であるか否かを判別し、画素値が１であれば、当該画素の周囲の画素の画素値の加算結果を当該画素の画素値とする。第二の距離画像の一例を図７（ｃ）に示す。 Next, regarding the masking image, the candidate extraction unit 211 calculates the sum of pixel values of pixels around the pixel having a pixel value of 1 (for example, a 3 × 3 pixel including the pixel) as the pixel value of the pixel. A second distance image to be generated is generated and held (step S404). Specifically, as shown in FIG. 7B, it is determined whether or not the pixel value of the pixel is 1 for each pixel with respect to the masking image. The addition result of the pixel values of the surrounding pixels is taken as the pixel value of the pixel. An example of the second distance image is shown in FIG.
次に、候補抽出部２１１は、第二の距離画像において、条件を満たす画素があるか否かを判別する（ステップＳ４０５）。ここでは、予め設定した値以上の画素値を有する画素があるか否かを判別する。なければ、ステップＳ４０８へ移行する。一方、有る場合は、候補抽出部２１１は、対象物が存在するものとして、第二の距離画像において、図７（ｃ）の太枠で示すように、予め設定した値以上の画素値を有する画素群の中で互いに隣接するものを１の対象物候補と特定し（ステップＳ４０６）、特定した対象物候補の情報を候補テーブル２３０に格納する（ステップＳ４０７）。このとき、画素群の重心の予め設定した値以上の画素値を有する画素群で互いに隣接するものを１の対象物候補とし、１の対象物候補とした画素群の第二の距離画像上の画素数を面積２３３、当該面積の重心のｚ、ｙ座標および距離値ｒｎをそれぞれ重心の座標（ｘｗ、ｙｗ、ｚｗ）２３２として格納する。 Next, the candidate extraction unit 211 determines whether or not there is a pixel that satisfies the condition in the second distance image (step S405). Here, it is determined whether or not there is a pixel having a pixel value equal to or greater than a preset value. If not, the process proceeds to step S408. On the other hand, if there is, the candidate extraction unit 211 assumes that the object exists, and has a pixel value that is equal to or greater than a preset value in the second distance image, as indicated by the thick frame in FIG. 7C. Those adjacent to each other in the pixel group are identified as one object candidate (step S406), and information on the identified object candidate is stored in the candidate table 230 (step S407). At this time, a pixel group having a pixel value equal to or larger than a preset value of the center of gravity of the pixel group is set as one object candidate on the second distance image of the pixel group set as one object candidate. The number of pixels is stored as the area 233, and the z, y coordinates and distance value rn of the center of gravity of the area are stored as the coordinates (xw, yw, zw) 232 of the center of gravity.
その後、ｎがステップＳ４０１で検出した距離範囲の数ｍに等しいか否かを判別し（ステップＳ４０８）、等しくなければ、ｎを１インクリメントし（ステップＳ４０９）、ステップＳ４０２へ戻る。ステップＳ４０８で等しければ、候補テーブル２３０内のデータの有無を確認し（ステップＳ４１０）、データが格納されていなければ、対象物候補無しを意味する信号を出力し（ステップＳ４１１）、処理を終了する。なお、上記候補抽出処理で、対象物候補と判別する際に用いられる、出現頻度の閾値、距離値の範囲Δ等、処理に用いられる各種のデータは、予め定められ、記憶装置内に格納される。 Thereafter, it is determined whether or not n is equal to the number m of the distance ranges detected in step S401 (step S408). If not, n is incremented by 1 (step S409), and the process returns to step S402. If equal in step S408, the presence / absence of data in the candidate table 230 is confirmed (step S410). If no data is stored, a signal indicating that there is no target candidate is output (step S411), and the process is terminated. . It should be noted that various data used for the processing, such as the threshold of appearance frequency and the range Δ of the distance value, used when discriminating from the candidate object in the candidate extraction processing are determined in advance and stored in the storage device. The
なお、上記候補抽出処理では、候補抽出部２１１は、出現頻度を検出する際の距離範囲Δを固定しているが、これに限られない。例えば、距離値毎に出現頻度を検出し、出現頻度の高い距離値近傍では距離範囲Δを小さく設定し、頻度の低い距離値近傍では距離範囲Δを大きく設定するよう構成してもよい。このように構成することで、処理時間の延長なく抽出の精度を高めることができる。 In the candidate extraction process, the candidate extraction unit 211 fixes the distance range Δ when detecting the appearance frequency, but is not limited thereto. For example, the appearance frequency may be detected for each distance value, and the distance range Δ may be set small near the distance value having a high appearance frequency, and the distance range Δ may be set large near the distance value having a low frequency. With this configuration, the extraction accuracy can be increased without extending the processing time.
また、上記候補抽出処理では、互いに隣接する画素群を対象物候補として判別している。しかし、ステップＳ４０６において、予め設定した値以上の画素値を有する画素群、すなわち、略等距離にある画素群であって、離れているものであっても、他の対象物候補である画素群に分断されたと判断されるものであれば、１の対象物候補と特定するよう構成してもよい。具体的な処理は以下のとおりである。 In the candidate extraction process, adjacent pixel groups are determined as object candidates. However, in step S406, a pixel group having a pixel value greater than or equal to a preset value, that is, a pixel group that is substantially equidistant and is distant from the pixel group that is another object candidate. If it is determined that the object is divided into two, it may be configured to be identified as one object candidate. The specific processing is as follows.
まず、上記候補抽出処理を、距離値ｒｎが小さいものから順に処理を行うよう構成する。そして、ステップＳ４０６において、隣接しない場合であっても、既に抽出されて候補テーブル２３０に格納された対象物候補の中に、その重心のｘ、ｙ座標が、離れた複数の画素群の間となるものがあれば、それら複数の画素群は、候補テーブル２３０内の該当する対象物候補により分断されたものと判断し、１の対象物候補として抽出する。この場合、対象物候補の大きさ、重心のｘ、ｙ座標の決定には、それら複数の画素群の間の画素も含めて決定する。なお、候補テーブル２３０内の対象物候補に、その重心が、それら複数の画素群の間となるものがない場合は、それらの画素群を１の対象物候補としない。 First, the candidate extraction processing is configured to perform processing in order from the smallest distance value rn. In step S406, the x and y coordinates of the centroid of the object candidates already extracted and stored in the candidate table 230 are between the plurality of distant pixel groups even if they are not adjacent to each other. If there is such a pixel group, the plurality of pixel groups are determined to be divided by the corresponding target object candidate in the candidate table 230, and are extracted as one target object candidate. In this case, the size of the object candidate and the x and y coordinates of the center of gravity are determined including the pixels between the plurality of pixel groups. If there is no object candidate in the candidate table 230 whose center of gravity is between the plurality of pixel groups, those pixel groups are not regarded as one object candidate.
以上説明したように、本実施形態によれば、複数の対象物候補が存在する可能性のある領域を撮影して得た距離画像において、複数の対象物候補をそれぞれ抽出することができる。そして、抽出された各対象物候補の中から条件に合致する対象物を抽出する。従って、距離画像から対象物を抽出するにあたり、条件に制約を設ける必要がなく、所望の条件で対象物を抽出することができる。このため、本実施形態によれば、対象物である物体が複数存在する領域において、最も大きい物体等、意図した物体を抽出して認識できる。 As described above, according to the present embodiment, a plurality of object candidates can be extracted from a distance image obtained by photographing an area where a plurality of object candidates may exist. Then, an object that satisfies the condition is extracted from the extracted object candidates. Therefore, when extracting the object from the distance image, it is not necessary to place restrictions on the conditions, and the object can be extracted under desired conditions. For this reason, according to the present embodiment, an intended object such as the largest object can be extracted and recognized in an area where a plurality of objects as target objects exist.
なお、本実施形態では、前述したように、距離画像センサ１００に光飛行時間（ＴＯＦ：Ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）型距離センサを用いる。上記実施形態では、撮像素子１２０で取得した信号から距離値を算出し、距離画像を生成している。しかし、本センサによれば、撮像素子１２０で取得した信号から輝度値を算出し、２次元の通常画像を得ることも可能である。これを利用し、距離画像生成部１４０が各電荷蓄積部に振り分けられた電荷量から距離画像と通常画像とを交互に生成するよう構成してもよい。このように構成することで、画素にずれのない距離画像と通常画像とを得ることができる。これを利用し、例えば、抽出部２２０からの制御情報を用い、通常画像上でマスク処理を行い、表示装置に表示するよう構成してもよい。 In the present embodiment, as described above, a time-of-flight (TOF) type distance sensor is used for the distance image sensor 100. In the above embodiment, the distance value is calculated from the signal acquired by the image sensor 120, and the distance image is generated. However, according to this sensor, it is also possible to obtain a two-dimensional normal image by calculating a luminance value from a signal acquired by the image sensor 120. Using this, the distance image generation unit 140 may be configured to alternately generate a distance image and a normal image from the amount of charge distributed to each charge storage unit. With this configuration, it is possible to obtain a distance image and a normal image with no pixel shift. Using this, for example, the control information from the extraction unit 220 may be used to perform mask processing on the normal image and display it on the display device.
例えば、通常画像ではコントラストの低い画像しか得られないような環境であっても、本実施形態の距離画像処理を組み合わせることにより、所望の対象物を、容易に検出し特定表示することができる。 For example, even in an environment where only a low-contrast image can be obtained with a normal image, a desired object can be easily detected and specified by combining the distance image processing of this embodiment.
＜＜第二の実施形態＞＞
本発明を適用する第二の実施形態について説明する。本実施形態では、距離画像から対象物候補を抽出するにあたり、パターンマッチング技術を用いる。これを実現する本実施形態の撮影装置２０Ａは、基本的に第一の実施形態と同様の構成を有する。以下、第一の実施形態と異なる構成に主眼をおいて説明する。
<< Second Embodiment >>
A second embodiment to which the present invention is applied will be described. In the present embodiment, a pattern matching technique is used to extract the candidate object from the distance image. The photographing apparatus 20A of the present embodiment that realizes this has basically the same configuration as that of the first embodiment. Hereinafter, a description will be given focusing on the configuration different from the first embodiment.
図８は、本実施形態の撮影装置２０Ａの機能ブロック図である。ここでは、第一の実施形態と同一の機能を有するものには同一の符号を付し、その説明は省略する。本図に示すように、本実施形態の撮影装置２０Ａは、距離画像センサ１００と、距離画像処理装置２００Ａと、距離画像記憶部３００とを備える。 FIG. 8 is a functional block diagram of the photographing apparatus 20A of the present embodiment. Here, components having the same functions as those of the first embodiment are denoted by the same reference numerals, and description thereof is omitted. As shown in the figure, the photographing apparatus 20A of the present embodiment includes a distance image sensor 100, a distance image processing apparatus 200A, and a distance image storage unit 300.
本実施形態においても、距離画像センサ１００は、所定の時間間隔で連続的に距離画像を生成し、距離画像記憶部３００に格納する。また、距離画像処理装置２００Ａは、距離画像記憶部３００に格納された距離画像を処理し、所定の条件に適合する対象物を抽出する。 Also in this embodiment, the distance image sensor 100 continuously generates distance images at predetermined time intervals and stores them in the distance image storage unit 300. In addition, the distance image processing device 200A processes the distance image stored in the distance image storage unit 300 and extracts an object that meets a predetermined condition.
本実施形態の距離画像処理装置２００Ａは、上述のように、対象物候補を抽出するにあたり、パターンマッチングを行う。これを実現するため、本実施形態の距離画像処理装置２００Ａは、第一の実施形態の構成に加え、パターンマッチングにおいて基準となるパターン（基準パターン）を記憶するパターン記憶部２５０をさらに備える。また、本実施形態の判定部２１０Ａの候補抽出部２１１Ａは、第一の実施形態の構成に加え、抽出した対象物候補に対し、パターンマッチング処理を行うパターンマッチング部２１３をさらに備える。 As described above, the distance image processing apparatus 200A according to the present embodiment performs pattern matching when extracting the candidate object. In order to realize this, the distance image processing apparatus 200A of the present embodiment further includes a pattern storage unit 250 that stores a reference pattern (reference pattern) in pattern matching in addition to the configuration of the first embodiment. In addition to the configuration of the first embodiment, the candidate extraction unit 211A of the determination unit 210A of the present embodiment further includes a pattern matching unit 213 that performs pattern matching processing on the extracted target candidates.
パターン記憶部２５０には、検知対象物となる可能性のある種々の物体の種々の角度からの投影像がパターンとして格納される。 In the pattern storage unit 250, projection images from various angles of various objects that may become detection objects are stored as patterns.
以上の構成を有する本実施形態の距離画像処理装置２００Ａにおける対象物抽出処理は、基本的に図５に示す第一の実施形態の処理フローと同様である。以下、第一の実施形態と異なる、候補抽出部２１１Ａによる、候補抽出処理について説明する。 The object extraction process in the distance image processing apparatus 200A of the present embodiment having the above configuration is basically the same as the process flow of the first embodiment shown in FIG. Hereinafter, candidate extraction processing by the candidate extraction unit 211A, which is different from the first embodiment, will be described.
図９は、本実施形態の候補抽出処理の処理フローである。距離画像生成部１４０が１画像分のデータを距離画像記憶部３００に格納すると、本実施形態の候補抽出部２１１Ａは、第一の実施形態の候補抽出部２１１と同様の手法で、対象物候補となる画素群を特定する（ステップＳ７０１〜ステップＳ７０６）。このとき、画素群の形状を特定可能なデータを形状データを抽出する。候補抽出部２１１Ａが対象物の形状データを抽出すると、パターンマッチング部２１３は、パターン記憶部２５０に格納されている基準パターンを用いてパターンマッチングを行い（ステップＳ７０７）、各対象物候補について、合致度を判定する。候補抽出部２１１Ａは、合致した対象物候補（所定の合致度以上の対象物候補）がある場合（ステップＳ７０８）、第一の実施形態と同様に当該対象物候補を特定する情報を候補テーブル２３０に格納する（ステップＳ７０９）。以上の処理を、各距離範囲で実施する（ステップＳ７１０、Ｓ７１１）。そして、全距離範囲での処理を終えると、候補テーブル２３０内のデータの有無を確認し（ステップＳ７１２）、データが格納されていなければ、対象物候補無しを意味する信号を出力し（ステップＳ７１３）、処理を終了する。 FIG. 9 is a processing flow of candidate extraction processing of this embodiment. When the distance image generation unit 140 stores data for one image in the distance image storage unit 300, the candidate extraction unit 211A of the present embodiment uses the same method as the candidate extraction unit 211 of the first embodiment, and candidate objects Are specified (steps S701 to S706). At this time, shape data is extracted from data that can specify the shape of the pixel group. When the candidate extraction unit 211A extracts the shape data of the target object, the pattern matching unit 213 performs pattern matching using the reference pattern stored in the pattern storage unit 250 (step S707), and matches each target candidate. Determine the degree. When there is a matched target candidate (a target candidate with a predetermined matching degree or more) (step S708), the candidate extraction unit 211A sets information for specifying the target candidate as in the candidate table 230 as in the first embodiment. (Step S709). The above processing is performed in each distance range (steps S710 and S711). When the processing is completed for the entire distance range, the presence / absence of data in the candidate table 230 is confirmed (step S712). If no data is stored, a signal indicating that there is no target candidate is output (step S713). ), The process is terminated.
なお、パターンマッチング部２１３は、パターンマッチングにおいて、対象物候補の画素群について、図１０に示す手法を用いて大きさを算出し、大きさを考慮して基準パターンとの合致を判断する。すなわち、実際の物体の長さａと、距離画像内での長さｘ（画素数：ｐｉｘｅｌ数）および距離値ｚとの関係は、ａ＝ｚ・ｘ／ｆで表される。本式を用い、実際の大きさを算出し、パターン記憶部２５０に格納されているデータとの合致度を判別する。合致度が所定の割合以上の場合、合致したものと判断し、対象物とする。 In the pattern matching, the pattern matching unit 213 calculates the size of the pixel group of the candidate object using the method illustrated in FIG. 10 and determines the match with the reference pattern in consideration of the size. That is, the relationship between the actual object length a, the length x (number of pixels: the number of pixels) in the distance image, and the distance value z is expressed as a = z · x / f. Using this equation, the actual size is calculated, and the degree of coincidence with the data stored in the pattern storage unit 250 is determined. If the degree of match is greater than or equal to a predetermined percentage, it is determined that the match has been made, and the object is determined.
なお、本実施形態の対象物決定部２１２により対象物決定処理および抽出部２２０による対象物抽出処理は、第一の実施形態と同様である。 Note that the object determination processing by the object determination unit 212 of this embodiment and the object extraction processing by the extraction unit 220 are the same as in the first embodiment.
以上説明したように、本実施形態によれば、候補抽出部２１１Ａにおいて、対象物として抽出する時点で、パターンマッチングを用いる。このため、より高い精度で対象物候補を抽出することができる。精度良く抽出された対象物候補の中から対象物を特定、抽出するため、より高い精度で所望の対象を検出することができる。 As described above, according to the present embodiment, pattern matching is used at the time of extraction as a target in the candidate extraction unit 211A. For this reason, an object candidate can be extracted with higher accuracy. Since the target is specified and extracted from the target candidates extracted with high accuracy, a desired target can be detected with higher accuracy.
なお、本実施形態においても、第一の実施形態と同様に、距離画像センサ１００において、距離画像と通常画像とを交互に生成するよう構成してもよい。 In the present embodiment, as in the first embodiment, the distance image sensor 100 may be configured to alternately generate the distance image and the normal image.
＜＜第三の実施形態＞＞
本発明を適用する第三の実施形態について説明する。本実施形態では、距離画像から対象物候補を抽出するにあたり、対象物候補それぞれの速度（実空間での位置の変化量）を算出し、得られた速度により、対象物候補として取り上げるか否かの判定を行う。これを実現する本実施形態の撮影装置２０Ｂは、基本的に第二の実施形態と同様の構成を有する。以下、第二の実施形態と異なる構成に主眼をおいて説明する。
<< Third Embodiment >>
A third embodiment to which the present invention is applied will be described. In the present embodiment, when extracting a candidate object from a distance image, the speed of each target object (the amount of change in position in real space) is calculated, and whether or not the candidate object is picked up as an object candidate based on the obtained speed. Judgment is made. The photographing apparatus 20B of the present embodiment that realizes this has basically the same configuration as that of the second embodiment. Hereinafter, a description will be given focusing on the configuration different from the second embodiment.
物体の種類毎に、実空間での移動速度の範囲はおおよそ定まっている。例えば、物体が人間であれば、その移動速度は、０〜３５ｋｍ／時間程度、移動物体が自動車であれば、０〜１５０ｋｍ／時間程度である。本実施形態ではこれを利用する。すなわち、パターンマッチングで形状を特定した対象物候補の画素群それぞれについて実空間上での速度を算出し、速度が予め定められた範囲内である画素群のみを対象物候補として、上記第二の実施形態同様に候補テーブル２３０に格納する。 The range of moving speed in real space is roughly determined for each type of object. For example, if the object is a human, the moving speed is about 0 to 35 km / hour, and if the moving object is an automobile, the moving speed is about 0 to 150 km / hour. This is used in the present embodiment. That is, the speed in the real space is calculated for each pixel group of the candidate object whose shape is specified by pattern matching, and only the pixel group whose speed is within a predetermined range is used as the candidate object. As in the embodiment, the candidate table 230 is stored.
図１１は、本実施形態の撮影装置２０Ｂの機能ブロック図である。ここでは、第二の実施形態と同一の機能を有するものには同一の符号を付し、その説明は省略する。本図に示すように、本実施形態の撮影装置２０Ｂは、距離画像センサ１００と、距離画像処理装置２００Ｂと、距離画像記憶部３００とを備える。 FIG. 11 is a functional block diagram of the photographing apparatus 20B of the present embodiment. Here, components having the same functions as those of the second embodiment are denoted by the same reference numerals, and description thereof is omitted. As shown in the figure, the imaging device 20B of the present embodiment includes a distance image sensor 100, a distance image processing device 200B, and a distance image storage unit 300.
本実施形態においても、距離画像センサ１００は、所定の時間間隔で連続的に距離画像を生成し、距離画像記憶部３００に格納する。また、距離画像処理装置２００Ｂは、距離画像記憶部３００に格納された距離画像を処理し、所定の条件に適合する対象物を抽出する。 Also in this embodiment, the distance image sensor 100 continuously generates distance images at predetermined time intervals and stores them in the distance image storage unit 300. Further, the distance image processing device 200B processes the distance image stored in the distance image storage unit 300, and extracts an object that meets a predetermined condition.
上述のように、本実施形態では、対象物候補として抽出した画素群の、速度を算出する。これを実現するため、本実施形態の距離画像処理装置２００Ｂは、第二の実施形態の構成に加え、直近の対象物抽出処理で生成された候補テーブルの中で、対象物候補を特定する情報を格納する前候補テーブル２６０を備える。また、判定部２１０Ｂの候補抽出部２１１Ｂは、第二の実施形態の候補抽出部２１１Ａの構成に加え、前候補テーブル２６０と候補テーブル２３０Ｂとの各対象物候補の中で、同一の対象物候補同士を関連付ける候補リンク部２１４と、候補テーブル２３０Ｂ内の各対象物候補の速度を算出する速度算出部２１５と、を備える。さらに、判定部２１０Ｂの対象物決定部２１２Ｂは、上記各実施形態の対象物決定処理の後に、対象物と決定した画素群の情報を前候補テーブル２６０に上書きする。 As described above, in this embodiment, the speed of the pixel group extracted as the object candidate is calculated. In order to realize this, the distance image processing device 200B according to the present embodiment, in addition to the configuration of the second embodiment, information for specifying a target candidate in the candidate table generated by the latest target object extraction process. Is stored in the previous candidate table 260. In addition to the configuration of the candidate extraction unit 211A of the second embodiment, the candidate extraction unit 211B of the determination unit 210B includes the same target candidate among the target candidates of the previous candidate table 260 and the candidate table 230B. A candidate link unit 214 for associating each other, and a speed calculation unit 215 for calculating the speed of each target object candidate in the candidate table 230B. Furthermore, the object determination unit 212B of the determination unit 210B overwrites the previous candidate table 260 with information on the pixel group determined to be the object after the object determination process of each of the above embodiments.
図１２は、本実施形態の候補テーブル２３０Ｂに格納されるデータを説明するための図である。本図に示すように、本実施形態の候補テーブル２３０Ｂには、上記各実施形態の候補テーブル２３０と同様のデータに加え、リンク情報２３５と、速度２３７と、が格納される。 FIG. 12 is a diagram for explaining data stored in the candidate table 230B of the present embodiment. As shown in this figure, the candidate table 230B of this embodiment stores link information 235 and speed 237 in addition to the same data as the candidate table 230 of each of the above embodiments.
リンク情報２３５は、生成した候補テーブル２３０Ｂ内の各対象物候補について、前候補テーブル２６０内のいずれの対象物候補に該当するかを示す情報で、候補リンク部２１４により生成される。速度２３７は、速度算出部２１５により算出された各対象物候補の速度である。 The link information 235 is information indicating which target candidate in the previous candidate table 260 corresponds to each target candidate in the generated candidate table 230B, and is generated by the candidate link unit 214. The speed 237 is the speed of each object candidate calculated by the speed calculation unit 215.
候補リンク部２１４は、候補テーブル２３０Ｂが新たに生成されると、対象物候補毎に、重心座標２３２と、面積２３３とを抽出し、前候補テーブル２６０内の各データと比較する。重心座標２３２と面積２３３とが予め定めた範囲内で合致するデータがあれば、同じ対象物候補を示す情報と判断し、新たに生成された対象物候補テーブル２３０Ｂのリンク情報２３５に、前物候補テーブル２６０の識別情報２３１を格納する。 When the candidate table 230 </ b> B is newly generated, the candidate link unit 214 extracts the barycentric coordinates 232 and the area 233 for each target candidate, and compares them with each data in the previous candidate table 260. If there is data in which the center-of-gravity coordinates 232 and the area 233 match within a predetermined range, it is determined as information indicating the same object candidate, and the link information 235 of the newly generated object candidate table 230B includes the previous object. The identification information 231 of the candidate table 260 is stored.
速度算出部２１５は、リンク情報２３５を基に、前候補テーブル２６０と候補テーブル２３０Ｂとから同じ対象物候補の重心座標を抽出し、当該対象物候補の速度を算出し、候補テーブル２３０Ｂに速度２３７として格納する。例えば、距離画像のフレームレートをＦ（ｆｐｓ）として、１フレームの間に重心座標２３２が距離Ｄだけ移動した場合、その速度Ｖは、Ｖ＝ＦＤで算出される。 Based on the link information 235, the speed calculation unit 215 extracts the centroid coordinates of the same object candidate from the previous candidate table 260 and the candidate table 230B, calculates the speed of the object candidate, and stores the speed 237 in the candidate table 230B. Store as. For example, when the frame rate of the distance image is F (fps) and the barycentric coordinate 232 moves by a distance D during one frame, the velocity V is calculated as V = FD.
また、本実施形態のパターン記憶部２５０Ｂには、基準パターンに加え、各基準パターン毎の速度範囲が格納される。本実施形態のパターンマッチング部２１３Ｂは、パターンマッチングを行う際、速度も条件に加え、合致の有無を判断する。 In addition to the reference pattern, the pattern storage unit 250B of the present embodiment stores a speed range for each reference pattern. When performing pattern matching, the pattern matching unit 213B according to the present embodiment determines whether or not there is a match in addition to the speed.
以上の構成を有する本実施形態の距離画像処理装置２００Ｂにおける対象物抽出処理は、基本的に図５に示す第一の実施形態の処理フローと同様である。以下、第一の実施形態と異なる、候補抽出部２１１Ｂによる、候補抽出処理について説明する。なお、本実施形態では、前候補テーブル２６０が作成されるまで、距離画像が生成される毎に上記第一の実施形態または第二の実施形態の手法で、対象物抽出処理を行う。 The object extraction process in the distance image processing apparatus 200B of the present embodiment having the above configuration is basically the same as the process flow of the first embodiment shown in FIG. Hereinafter, candidate extraction processing by the candidate extraction unit 211B, which is different from the first embodiment, will be described. In the present embodiment, the object extraction process is performed by the method of the first embodiment or the second embodiment every time a distance image is generated until the previous candidate table 260 is created.
図１３は、本実施形態の候補抽出処理の処理フローである。距離画像生成部１４０が１画像分のデータを距離画像記憶部３００に格納すると、本実施形態の候補抽出部２１１Ｂは、第一の実施形態と同様の手法で、対象物候補となる画素群を特定し、対象物候補テーブル２３０Ｂに格納する（ステップＳ１１０１〜Ｓ１１０８）。このとき、各対象物候補について、第二の実施形態と同様、パターンマッチング可能な形状データも合わせて抽出し、関連付けて保持する。 FIG. 13 is a processing flow of candidate extraction processing of the present embodiment. When the distance image generation unit 140 stores data for one image in the distance image storage unit 300, the candidate extraction unit 211B of the present embodiment uses the same method as in the first embodiment to select a pixel group that is a candidate for the object. It is specified and stored in the target object candidate table 230B (steps S1101 to S1108). At this time, for each candidate object, similarly to the second embodiment, shape data capable of pattern matching is also extracted and stored in association with each other.
次に、候補テーブル２３０Ｂ内のデータの有無を確認し（ステップＳ１１１０）、データが格納されていれば、候補リンク部２１５は、前候補テーブル２６０を参照し、今回作成した対象物候補テーブル２３０Ｂ内の各対象物候補と前候補テーブル２６０内の各対象物候補とを対応付け、結果をリンク情報２３５として格納する（ステップＳ１１１１）。 Next, the presence / absence of data in the candidate table 230B is confirmed (step S1110). If the data is stored, the candidate link unit 215 refers to the previous candidate table 260, and in the object candidate table 230B created this time. Are associated with each candidate object in the previous candidate table 260, and the result is stored as link information 235 (step S1111).
次に、速度算出部２１６は、各対象物候補の速度を算出し、対象物候補テーブル２３０Ｂに格納する（ステップＳ１１１２）。次に、パターンマッチング部２１３Ｂは、パターン記憶部２５０Ｂに格納されている基準パターンを用いて第二の実施形態と同様の手法でパターンマッチングを行う（ステップＳ１１１３）。パターンマッチング部２１３Ｂは、さらに、パターンマッチングで合致したものについて、このとき、形状のみでなく、速度も含め、その合致度を判定する（ステップＳ１１１４）。 Next, the speed calculation unit 216 calculates the speed of each target object and stores it in the target object table 230B (step S1112). Next, the pattern matching unit 213B performs pattern matching using the reference pattern stored in the pattern storage unit 250B in the same manner as in the second embodiment (step S1113). The pattern matching unit 213B further determines the degree of matching of not only the shape but also the speed of those that have been matched by pattern matching (step S1114).
そして、候補抽出部２１１Ｂは、合致した対象物候補（所定以上の合致度の対象物候補）が有る場合（ステップＳ１１１５）、対象物候補有りとし、当該対象物候補以外をステップＳ１１０６で作成した候補テーブル２３０Ｂから削除し、候補テーブル２３０Ｂを完成させ（ステップＳ１１１６）、処理を終了する。一方、ステップＳ１１１５において、合致する対象物候補がない場合およびステップＳ１１１０で候補テーブル２３０Ｂにデータが格納されていない場合は、本実施形態においても、対象物候補無しを意味する信号を出力し（ステップＳ１１１３）、処理を終了する。 Then, when there is a matched target candidate (a target candidate having a matching degree equal to or higher than a predetermined level) (step S1115), the candidate extraction unit 211B determines that there is a target candidate and creates candidates other than the target candidate in step S1106. It deletes from table 230B, completes candidate table 230B (step S1116), and ends the process. On the other hand, if there is no matching target candidate in step S1115 and if no data is stored in the candidate table 230B in step S1110, a signal indicating no target candidate is output also in this embodiment (step S1115). S1113), the process is terminated.
なお、本実施形態の対象物決定部２１２Ｂは、上記各実施形態同様の手順で対象物の有無を判別後、対象物有りと判別した場合、対象物と決定するとともに、当該対象物を特定する情報で、前候補テーブル２６０のデータを更新する。ここで、前候補テーブル２６０に格納されるデータは、候補テーブル２３０ＢのＩＤ２３１と重心座標２３２と面積２３３とである。 Note that the object determination unit 212B of the present embodiment determines the object and identifies the object when it is determined that there is an object after determining the presence or absence of the object in the same procedure as each of the above embodiments. The data of the previous candidate table 260 is updated with the information. Here, the data stored in the previous candidate table 260 is the ID 231, the barycentric coordinates 232, and the area 233 of the candidate table 230 </ b> B.
以降、本実施形態の抽出部２２０による対象物抽出処理は、第一の実施形態と同様である。 Henceforth, the object extraction process by the extraction part 220 of this embodiment is the same as that of 1st embodiment.
以上説明したように、本実施形態によれば、候補抽出部２１１Ｂにおいて、対象物として抽出する時点でパターンマッチングを行い、さらに、速度を用いて対象物候補を絞っている。このため、より高い精度で対象物を抽出することができる。精度良く抽出された対象物候補の中から対象物を特定、抽出するため、より高い精度で所望の対象を検出することができる。 As described above, according to the present embodiment, the candidate extraction unit 211B performs pattern matching at the time of extraction as an object, and further narrows down object candidates using speed. For this reason, an object can be extracted with higher accuracy. Since the target is specified and extracted from the target candidates extracted with high accuracy, a desired target can be detected with higher accuracy.
なお、本実施形態においても、第一の実施形態と同様に、距離画像センサ１００において、距離画像と通常画像とを交互に生成するよう構成してもよい。 In the present embodiment, as in the first embodiment, the distance image sensor 100 may be configured to alternately generate the distance image and the normal image.
＜＜第四の実施形態＞＞
本発明を適用する第四の実施形態について説明する。本実施形態では、上記各実施形態と同様に、距離画像から所望の条件に合致する対象物を抽出する。ただし、本実施形態では、１回特定の対象物を抽出すると、その後は、当該対象物を抽出し続ける。これを実現する本実施形態の撮影装置２０Ｃは、基本的に上記各実施形態と同様の構成を有する。以下、本実施形態について、第一の実施形態と異なる構成に主眼をおいて説明する。
<< Fourth Embodiment >>
A fourth embodiment to which the present invention is applied will be described. In the present embodiment, as in the above embodiments, an object that matches a desired condition is extracted from the distance image. However, in this embodiment, once a specific target object is extracted, the target object is continuously extracted thereafter. The photographing apparatus 20C of the present embodiment that realizes this has basically the same configuration as each of the above embodiments. Hereinafter, the present embodiment will be described focusing on the configuration different from the first embodiment.
図１４は、本実施形態の撮影装置２０Ｃの機能ブロック図である。ここでは、第一の実施形態と同一の機能を有するものには同一の符号を付し、その説明は省略する。本図に示すように、本実施形態の撮影装置２０Ｃは、距離画像センサ１００と、距離画像処理装置２００Ｃと、距離画像記憶部３００とを備える。 FIG. 14 is a functional block diagram of the photographing apparatus 20C of the present embodiment. Here, components having the same functions as those of the first embodiment are denoted by the same reference numerals, and description thereof is omitted. As shown in the figure, the photographing apparatus 20C of the present embodiment includes a distance image sensor 100, a distance image processing apparatus 200C, and a distance image storage unit 300.
本実施形態においても、距離画像センサ１００は、所定の時間間隔で連続的に距離画像を生成する。また、本実施形態の候補抽出部２１１は、上記各実施形態のいずれかと同様の構成を有し、各距離画像から、対象物候補を特定し、候補テーブル２３０に格納する。 Also in the present embodiment, the distance image sensor 100 continuously generates a distance image at a predetermined time interval. In addition, the candidate extraction unit 211 of the present embodiment has the same configuration as that of any of the above-described embodiments, specifies an object candidate from each distance image, and stores it in the candidate table 230.
本実施形態では、前回取得した距離画像で特定された対象物を、その後も追尾する。これを実現するため、距離画像処理装置２００Ｃは、前回対象物と判別された画素群を特定する情報を格納する対象物情報格納部２７０を備える。また、距離画像処理装置２００Ｃの判定部２１０Ｃは、上記各実施形態の対象物決定処理とは異なる処理を行う対象物決定部２１２Ｃを備える。なお、本実施形態の候補抽出部２１１は、上記各実施形態のいずれの候補抽出部であってもよい。以下、第一の実施形態の候補抽出部２１１を候補抽出部とする場合を例にあげて本実施形態を説明する。 In this embodiment, the object specified by the distance image acquired last time is also tracked thereafter. In order to realize this, the distance image processing apparatus 200 </ b> C includes an object information storage unit 270 that stores information for specifying a pixel group determined to be the previous object. In addition, the determination unit 210C of the distance image processing device 200C includes an object determination unit 212C that performs processing different from the object determination processing of each of the above embodiments. In addition, the candidate extraction part 211 of this embodiment may be any candidate extraction part of each said embodiment. Hereinafter, the present embodiment will be described by taking as an example the case where the candidate extraction unit 211 of the first embodiment is a candidate extraction unit.
以上の構成を有する本実施形態の距離画像処理装置２００Ｃにおける対象物抽出処理は基本的に図５に示す第一の実施形態の処理フローと同様である。以下、第一の実施形態と異なる、対象物決定部２１２Ｃによる対象物決定処理について説明する。図１５は、本実施形態の対象物決定部２１２Ｃによる、対象物決定処理の処理フローである。対象物判定部２１２Ｃは、候補抽出部２１１により対象物候補がありと判別された場合、すなわち、候補テーブル２３０に対象物候補が格納されている場合、対象物決定処理を行う。 The object extraction process in the distance image processing apparatus 200C of the present embodiment having the above configuration is basically the same as the process flow of the first embodiment shown in FIG. Hereinafter, an object determination process by the object determination unit 212C, which is different from the first embodiment, will be described. FIG. 15 is a process flow of the object determination process by the object determination unit 212C of the present embodiment. The object determination unit 212C performs an object determination process when the candidate extraction unit 211 determines that there is an object candidate, that is, when an object candidate is stored in the candidate table 230.
まず、対象物決定部２１２Ｃは、対象物情報格納部２７０にデータが格納されているか否かを判別する（ステップＳ１３０１）。データが格納されていない場合、第一の実施形態と同様に、候補テーブル２３０内の各データについて、条件格納部２４０に格納されている条件に合致するものがあるか否かを判別する（ステップＳ１３０２）。無い場合、対象物無しとの判別結果を出力し（ステップＳ１３０３）、処理を終了する。一方、有る場合、候補テーブル２３０内の合致したデータに対象物フラグ２３４を立て（ステップＳ１３０４）、処理を終了する。さらに、本実施形態では、ステップＳ１３０４において、候補テーブル対象物情報格納部２７０に、合致したデータの重心２３２、面積２３３等、当該データを特定可能な情報を格納する。 First, the object determination unit 212C determines whether data is stored in the object information storage unit 270 (step S1301). If no data is stored, as in the first embodiment, it is determined whether or not each data in the candidate table 230 matches the condition stored in the condition storage unit 240 (step) S1302). If there is no object, a determination result that there is no object is output (step S1303), and the process ends. On the other hand, if there is, the object flag 234 is set to the matched data in the candidate table 230 (step S1304), and the process is terminated. Furthermore, in this embodiment, in step S1304, information that can identify the data, such as the centroid 232 and area 233 of the matched data, is stored in the candidate table object information storage unit 270.
ステップＳ１３０１で、対象物情報格納部２７０にデータが格納されている場合、候補テーブル２３０内の各データについて、対象物情報格納部２７０内のデータに所定の範囲で合致するものが有るか否かを判別する（ステップＳ１３０５）。合致するものがない場合は、ステップＳ１３０３へ処理を進め、合致するものがある場合は、ステップＳ１３０４に進む。 If data is stored in the object information storage unit 270 in step S1301, whether or not each data in the candidate table 230 matches the data in the object information storage unit 270 within a predetermined range. Is discriminated (step S1305). If there is no match, the process proceeds to step S1303. If there is a match, the process proceeds to step S1304.
なお、対象物情報格納部２７０に格納されているデータと、候補テーブル２３０内のデータとの合致度を判定する際の許容範囲は、検知対象となる物体の速度や動きなどを考慮して定められ、予め記憶装置に格納される。 The allowable range for determining the degree of coincidence between the data stored in the object information storage unit 270 and the data in the candidate table 230 is determined in consideration of the speed and movement of the object to be detected. And stored in the storage device in advance.
以上説明したように、本実施形態によれば、距離画像を用い、前回の対象物抽出処理で特定された対象物を、次の対象物抽出処理においても対象物として特定する。従って、同一の対象物を追尾し続けることができる。例えば、ゲームやコンピュータのインタフェース（入力装置）として用いる場合、前方を他の対象物が横切るような場合であっても、正確に対象物を追尾することができ、誤認識の頻度が減少する。すなわち、本実施形態によれば、上記各実施形態で得られる効果に加え、連続的に同一の対象物を精度良く検知することができる。 As described above, according to the present embodiment, the distance image is used to identify the target specified in the previous target extraction process as the target in the next target extraction process. Accordingly, it is possible to continue tracking the same object. For example, when used as an interface (input device) for a game or a computer, even if another object crosses the front, the object can be accurately tracked, and the frequency of erroneous recognition is reduced. That is, according to the present embodiment, in addition to the effects obtained in the above embodiments, the same object can be continuously detected with high accuracy.
＜＜第五の実施形態＞＞
本発明を適用する第五の実施形態について説明する。本実施形態では、距離画像において対象物を特定するために、同一エリアを略同時刻に撮影した画像であって、距離画像以外の画像から得た情報を用いる。すなわち、対象物として特定する物体に、予め他の物体と区別可能な特徴を付加する。そして、特徴を示す領域（特徴点）を、距離画像以外の画像から特定し、当該領域（特徴点）を含む対象物候補を対象物として決定する。これを実現する本実施形態の撮影装置２０Ｄは、基本的に第一の実施形態と同様の構成を有する。以下、第一の実施形態と異なる構成に主眼をおいて本実施形態を説明する。
<< Fifth Embodiment >>
A fifth embodiment to which the present invention is applied will be described. In the present embodiment, in order to specify the object in the distance image, information obtained from images other than the distance image, which are images obtained by capturing the same area at approximately the same time, is used. That is, a feature that can be distinguished from other objects is added to the object specified as the target object in advance. Then, a region (feature point) indicating a feature is specified from an image other than the distance image, and a target candidate including the region (feature point) is determined as a target. The photographing apparatus 20D of the present embodiment that realizes this has basically the same configuration as that of the first embodiment. Hereinafter, the present embodiment will be described with a focus on a configuration different from the first embodiment.
図１６は、本実施形態の撮影装置２０Ｄの機能ブロック図である。ここでは、上記各実施形態と同一の機能を有するものには同一の符号を付し、その説明は省略する。本図に示すように、本実施形態の撮影装置２０Ｄは、距離画像センサ１００Ｄと、距離画像処理装置２００Ｄと、距離画像記憶部３００と、反射率像記憶部４００とを備える。 FIG. 16 is a functional block diagram of the photographing apparatus 20D of the present embodiment. Here, components having the same functions as those in the above embodiments are given the same reference numerals, and descriptions thereof are omitted. As shown in the figure, the imaging device 20D of the present embodiment includes a distance image sensor 100D, a distance image processing device 200D, a distance image storage unit 300, and a reflectance image storage unit 400.
本実施形態の距離画像センサ１００Ｄの撮像素子１２０は、上述のように、画素ごとに複数の電荷蓄積部を備える。例えば、４つの電荷蓄積部を備え、光源１１から照射された光の周期の１／４時間毎に順に各電荷蓄積部で受光するものとする。それぞれの電荷蓄積部に蓄積された電荷量をＣ１、Ｃ２、Ｃ３、Ｃ４とすると、距離値を算出する基となる位相差φは、以下の式（１）で表される。
φ＝ｔａｎ−１（（Ｃ１−Ｃ３）／（Ｃ２−Ｃ４）） （１）
また、一般的な画像データ（通常画像）として用いる電荷量平均Ａは、以下の式（２）で表される。
Ａ＝（Ｃ１＋Ｃ２＋Ｃ３＋Ｃ４）／４ （２）
さらに、物体で反射した変調光成分の振幅量Ｂは、以下の式（３）で表される。
Ｂ＝（（Ｃ１−Ｃ３）２＋（Ｃ２−Ｃ４）２）１／２／２ （３）
As described above, the image sensor 120 of the distance image sensor 100D of the present embodiment includes a plurality of charge storage units for each pixel. For example, it is assumed that four charge storage units are provided, and each charge storage unit sequentially receives light every ¼ hour of the period of light emitted from the light source 11. When the charge amounts accumulated in the respective charge accumulation units are C1, C2, C3, and C4, the phase difference φ that is a basis for calculating the distance value is expressed by the following equation (1).
φ = tan −1 ((C1-C3) / (C2-C4)) (1)
The charge amount average A used as general image data (normal image) is represented by the following formula (2).
A = (C1 + C2 + C3 + C4) / 4 (2)
Further, the amplitude amount B of the modulated light component reflected by the object is expressed by the following equation (3).
B = ((C1-C3) 2 + (C2-C4) 2) 1/2 / 2 (3)
本実施形態の距離画像センサ１００Ｄは、上記式（３）で算出される振幅量Ｂを用い、各画素ごとの反射率からなる画像を生成する反射率像生成部１５０をさらに備える。反射率像生成部１５０が生成した反射率像は、反射率像記憶部４００に格納される。 The distance image sensor 100D of the present embodiment further includes a reflectance image generation unit 150 that generates an image composed of the reflectance for each pixel using the amplitude amount B calculated by the above equation (3). The reflectance image generated by the reflectance image generation unit 150 is stored in the reflectance image storage unit 400.
本実施形態の候補抽出部２１１Ｄは、上記各実施形態同様の手法を用い、対象物候補の有無を判別し、対象物候補が有る場合、当該対象物候補を特定可能な情報を候補テーブル２３０Ｄに格納する。ただし、本実施形態では、パターンマッチング時に用いた、各対象物候補の形状を特定可能な情報、すなわち、各対象物候補を構成する画素を特定可能な情報をさらに格納する。 The candidate extraction unit 211D of the present embodiment uses the same method as the above embodiments, determines the presence or absence of an object candidate, and if there is an object candidate, information that can identify the object candidate is stored in the candidate table 230D. Store. However, in the present embodiment, information that can be used to specify the shape of each object candidate, that is, information that can specify the pixels constituting each object candidate, that is used during pattern matching is further stored.
本実施形態の対象物決定部２１２Ｄは、候補抽出部２１１Ｄが対象物候補有りと判別した場合、すなわち、候補テーブル２３０Ｄにデータが格納されている場合、反射率像記憶部４００を参照し、反射率像の、各対象物候補を構成する画素群に対応する画素群の中に、反射率が異なる領域（画素群）である特徴点があるか否かを判別する。そして、反射率が異なる画素群を有する対象物候補があれば、当該対象物候補を対象物とし、候補テーブル２３０Ｄにおいて、対象物フラグ２３４を立てる。 The object determining unit 212D of this embodiment refers to the reflectance image storage unit 400 when the candidate extracting unit 211D determines that there is an object candidate, that is, when data is stored in the candidate table 230D, and reflects the reflection. It is determined whether or not there is a feature point that is a region (pixel group) having a different reflectance in the pixel group corresponding to the pixel group constituting each target object in the rate image. If there is an object candidate having a pixel group with a different reflectance, the object candidate is set as an object, and the object flag 234 is set in the candidate table 230D.
なお、対象物候補を構成する画素群内での反射率が異なる画素群の有無は、例えば、対象物候補を構成する画素群の中の所定の割合以下の隣り合う画素群であって、当該画素群の平均反射率が、対象物を構成する他の画素群の平均反射率と所定以上異なるような画素群がある場合、有りと判別し、その他の場合は無しと判別する。判断の基準となる割合、差異は、予め定められて記憶装置に格納される。 The presence / absence of a pixel group having a different reflectance in the pixel group constituting the object candidate is, for example, an adjacent pixel group having a predetermined ratio or less in the pixel group constituting the object candidate, If there is a pixel group in which the average reflectance of the pixel group differs from the average reflectance of other pixel groups constituting the object by a predetermined amount or more, it is determined to be present, and in other cases, it is determined to be absent. The ratio and difference used as a criterion for determination are determined in advance and stored in the storage device.
なお、反射率が異なる画素群の形状が予め定められていてもよい。すなわち、対象物候補を構成する画素群内で、対象物候補を構成する画素群の所定の割合以下の画素群であって、予め定められた形状の画素群の平均反射率が、対象物候補を構成する他の画素群の平均反射率と所定以上異なるような画素群がある場合、有りと判別するよう構成してもよい。 Note that the shapes of pixel groups having different reflectivities may be determined in advance. In other words, within the pixel group constituting the object candidate, the average reflectance of the pixel group having a predetermined shape that is equal to or less than a predetermined ratio of the pixel group constituting the object candidate is the object candidate. If there is a pixel group that differs from the average reflectance of other pixel groups constituting the pixel by a predetermined amount or more, it may be determined that the pixel group is present.
また、本実施形態においても、第四の実施形態と同様に、対象物を１回特定した後、当該対象物を構成する画素群および当該画素群の中の反射率が異なる領域を特定可能な情報を別途保持し、以後の対象物決定処理では、保持するこれらの情報を用いて対象物を特定するよう構成してもよい。 Also in this embodiment, as in the fourth embodiment, after specifying the target object once, it is possible to specify a pixel group constituting the target object and a region having a different reflectance in the pixel group. Information may be stored separately, and in the subsequent object determination process, the object may be specified using the stored information.
以上説明したように、本実施形態によれば、検知対象が特別な反射率を示す部分を有する場合、高い精度で抽出することができる。例えば、大勢の人がいる中で、特別な反射率を示すバッジをつけている人物だけを抽出することができる。 As described above, according to the present embodiment, when the detection target has a portion exhibiting a special reflectance, it can be extracted with high accuracy. For example, it is possible to extract only a person wearing a badge indicating a special reflectivity among many people.
また、対象物として特定する物体に、他の物体と区別可能な特徴として光学タグを付与するよう構成してもよい。この場合、距離画像センサ１００Ｄは、上記式（２）を用い、通常画像を生成する。すなわち、上記反射率像生成部１５０の代わりに、通常画像生成部（不図示）を備え、通常画像を生成し、記憶部に記憶する。そして、対象物決定部２１２Ｄは、例えば、周知の光学タグ追跡手法を用い、通常画像上で光学タグを追跡し、光学タグ領域の座標を保持する（例えば、特許文献２参照）。
このとき、対象物決定部２１２Ｄは、候補抽出部２１１Ｄが対象物候補有りと判別した場合、すなわち、候補テーブル２３０Ｄにデータが格納されている場合、光学タグとして保持された領域が、各対象物候補を構成する画素群に対応する画素群の中にあるか否かを判別する。そして、光学タグ領域を画素群の中に有する対象物候補があれば、当該対象物候補を対象物とし、候補テーブル２３０Ｄにおいて、対象物フラグ２３４を立てる。 At this time, the object determination unit 212D determines that the candidate extraction unit 211D determines that there is an object candidate, that is, if data is stored in the candidate table 230D, the area held as the optical tag is set to each object. It is determined whether or not the pixel group corresponds to the pixel group constituting the candidate. If there is an object candidate having the optical tag area in the pixel group, the object candidate is set as an object, and the object flag 234 is set in the candidate table 230D.
なお、光学タグを用いる場合、上記手順に限られない。例えば、対象物決定部２１２Ｄが、通常画像上で、光学タグ領域を特定後、候補抽出部２１１Ｄが、当該領域を含む周辺領域で、距離値が近接する画素が所定以上連続する領域を検出し、対象物とするよう構成してもよい。 In addition, when using an optical tag, it is not restricted to the said procedure. For example, after the object determination unit 212D specifies the optical tag region on the normal image, the candidate extraction unit 211D detects a region in which the pixels having close distance values continue in a predetermined region in the peripheral region including the region. The object may be configured.
さらに、複数の物体を対象物とする場合、それぞれに、異なるＩＤを表す光学タグを付与し、それぞれ、別個に追跡可能なように構成してもよい。なお、各ＩＤは、例えば、光学タグに用いる光源の輝度の変化により「０」と「１」とを表すマンチェスタ符号などにより構成される。ＩＤを区別するため、ＩＤを構成するビット数以上のフレーム分の画像を最低限追跡する。 Further, when a plurality of objects are used as objects, an optical tag representing a different ID may be assigned to each of the objects so that each can be tracked separately. Each ID is constituted by, for example, a Manchester code representing “0” and “1” by a change in luminance of a light source used for the optical tag. In order to distinguish the IDs, an image corresponding to a frame equal to or more than the number of bits constituting the ID is traced at a minimum.
以上説明したように、本実施形態の距離画像センサ１００によれば、略同時刻に、略同一エリアの距離画像、反射率像および通常画像を得ることができる。本実施形態では、本実施形態の距離画像センサのこの特徴を利用し、反射率像および／または通常画像を用いて距離画像からは得られない対象物の特徴点を抽出し、それを用いて距離画像内の対象物を特定する。従って、距離画像上で対象物をより正確に特定することができ、誤認識を減らすことができる。 As described above, according to the distance image sensor 100 of the present embodiment, a distance image, a reflectance image, and a normal image in substantially the same area can be obtained at substantially the same time. In the present embodiment, using this feature of the distance image sensor of the present embodiment, a feature point of an object that cannot be obtained from the distance image is extracted using a reflectance image and / or a normal image, and then used. Identify the object in the distance image. Therefore, the object can be specified more accurately on the distance image, and erroneous recognition can be reduced.
１０：物体、１００：距離画像センサ、１００Ｄ：距離画像センサ、１１０：光源、１２０：撮像素子、１３０：制御部、１４０：距離画像生成部、１５０：反射率像生成部、２０：撮影装置、２０Ａ：撮影装置、２０Ｂ：撮影装置、２０Ｃ：撮影装置、２０Ｄ：撮影装置、２００：距離画像処理装置、２００Ａ：距離画像処理装置、２００Ｂ：距離画像処理装置、２００Ｃ：距離画像処理装置、２００Ｄ：距離画像処理装置、２１０：判定部、２１０Ａ：判定部、２１０Ｂ：判定部、２１０Ｃ：判定部、２１１：候補抽出部、２１１Ａ：候補抽出部、２１１Ｂ：候補抽出部、２１１Ｄ：候補抽出部、２１２：対象物決定部、２１２Ｃ：対象物決定部、２１２Ｄ：対象物決定部、２１３：パターンマッチング部、２１４：候補リンク部、２１５：速度算出部、２２０：抽出部、２３０：候補テーブル、２３０Ｂ：候補テーブル、２３０Ｄ：候補テーブル、２３１：識別情報、２３２：重心座標、２３３：面積、２３４：対象物フラグ、２３５：リンク情報、２３７：速度、２４０：条件格納部、２５０：パターン記憶部、２６０：前候補テーブル、２７０：対象物情報格納部、３００：距離画像記憶部、４００：反射率像記憶部 10: Object, 100: Distance image sensor, 100D: Distance image sensor, 110: Light source, 120: Image sensor, 130: Control unit, 140: Distance image generation unit, 150: Reflectance image generation unit, 20: Imaging device, 20A: photographing device, 20B: photographing device, 20C: photographing device, 20D: photographing device, 200: distance image processing device, 200A: distance image processing device, 200B: distance image processing device, 200C: distance image processing device, 200D: Distance image processing apparatus 210: determination unit 210A: determination unit 210B: determination unit 210C: determination unit 211: candidate extraction unit 211A: candidate extraction unit 211B: candidate extraction unit 211D: candidate extraction unit 212 : Object determination unit, 212C: object determination unit, 212D: object determination unit, 213: pattern matching unit, 214: candidate link unit, 21 : Speed calculation unit, 220: extraction unit, 230: candidate table, 230B: candidate table, 230D: candidate table, 231: identification information, 232: barycentric coordinates, 233: area, 234: object flag, 235: link information, 237: Speed, 240: Condition storage unit, 250: Pattern storage unit, 260: Previous candidate table, 270: Object information storage unit, 300: Distance image storage unit, 400: Reflectance image storage unit
Claims (8)
前記距離画像内において、予め設定された抽出条件に適合する画素群を決定する判定手段と、
前記判定手段で決定された画素群を特定する情報から制御情報を生成し、当該制御情報を出力する抽出手段と、を備えること
を特徴とする距離画像処理装置。 A distance image processing apparatus that extracts a pixel group corresponding to a desired object from a distance image in which a pixel value of each pixel is a distance value between an object and a sensor in an imaging region,
In the distance image, a determination unit that determines a pixel group that meets a preset extraction condition;
A distance image processing apparatus comprising: extraction means for generating control information from information specifying the pixel group determined by the determination means and outputting the control information.
前記判定手段は、
前記距離画像内において、近接する距離値を有し互いに隣接する画素群を対象物候補を構成する画素群として抽出する候補抽出手段と、
前記候補抽出手段が抽出した対象物候補の画素群から、前記抽出条件に適合する１以上の画素群を決定する対象物決定手段と、を備えること
を特徴とする距離画像処理装置。 The range image processing apparatus according to claim 1,
The determination means includes
In the distance image, candidate extraction means for extracting adjacent pixel groups having adjacent distance values as a pixel group constituting a candidate object;
A distance image processing apparatus comprising: an object determination unit that determines one or more pixel groups that meet the extraction condition from a pixel group of object candidates extracted by the candidate extraction unit.
前記候補抽出手段は、前記対象物候補の１以上の画素群それぞれについて、予め記憶されたパターンを用いてパターンマッチング処理を行い、所定以上の合致度を有する前記対象物候補の画素群のみを抽出するパターンマッチング手段をさらに備えること
を特徴とする距離画像処理装置。 The range image processing apparatus according to claim 2,
The candidate extraction unit performs pattern matching processing on each of one or more pixel groups of the target object candidate using a pre-stored pattern, and extracts only the target object pixel group having a predetermined degree of match or higher. A distance image processing apparatus further comprising pattern matching means.
前記候補抽出手段は、前記対象物候補の画素群それぞれについて、前記対象物候補の速度を算出する速度算出手段をさらに備え、
前記パターンマッチング手段は、前記パターンマッチング処理を行う際、前記所定以上の合致度を有する対象物候補の画素群の中で、前記パターンに対応づけて予め記憶されている許容速度内の速度を有する画素群を抽出すること
を特徴とする距離画像処理装置。 The range image processing apparatus according to claim 3,
The candidate extraction means further comprises speed calculation means for calculating the speed of the target object candidate for each pixel group of the target object candidate,
When performing the pattern matching process, the pattern matching unit has a speed within a permissible speed stored in advance in association with the pattern among the target object pixel groups having the degree of match equal to or higher than the predetermined value. A distance image processing apparatus characterized by extracting a pixel group.
前記対象物決定手段が前記画素群を決定する毎に当該決定した画素群を特定する最新の情報を保持する対象物情報保持手段をさらに備え、
前記抽出条件は、前記対象物情報保持手段に保持されている情報で特定される前記画素群との所定以上の合致度であること
を特徴とする距離画像処理装置。 The range image processing apparatus according to any one of claims 2 to 4,
Each time the object determining means determines the pixel group, the object determining means further comprises object information holding means for holding the latest information for specifying the determined pixel group,
The distance image processing device according to claim 1, wherein the extraction condition is a predetermined degree of coincidence with the pixel group specified by the information held in the object information holding unit.
前記抽出条件は、前記距離画像と略同時刻に略同一の撮影領域から得た当該撮影領域内の反射率を画素値とする反射率像から抽出された特徴点を含むものであること
を特徴とする距離画像処理装置。 The range image processing apparatus according to any one of claims 2 to 4,
The extraction condition includes a feature point extracted from a reflectance image having a pixel value as a reflectance in the photographing region obtained from substantially the same photographing region at substantially the same time as the distance image. Distance image processing device.
前記抽出条件は、前記距離画像と略同時刻に略同一の撮影領域から得た当該撮影領域内の輝度値を画素値とする通常画像から抽出された特徴点を含むものであること
を特徴とする距離画像処理装置。 The range image processing apparatus according to any one of claims 2 to 4,
The extraction condition includes a feature point extracted from a normal image whose pixel value is a luminance value in the shooting area obtained from a shooting area substantially the same as the distance image at approximately the same time. Image processing device.
前記発光源から照射され、撮影領域内の物体で反射した反射光を受光して電荷に変換し蓄積する電荷蓄積部を各画素毎に有する撮像素子と、
前記電荷蓄積部に蓄積された電荷を各画素毎に読み出し、前記物体からの距離を画素値とする距離画像を生成する距離画像生成手段と、
前記距離画像生成手段で生成した距離画像を処理する請求項１から７いずれか１項記載の距離画像処理装置と、を備えること
を特徴とする撮影装置。 A light source that illuminates the shooting area;
An image sensor that has a charge storage unit for each pixel that receives reflected light that is irradiated from the light source and reflected by an object in the imaging region, converts the light into charges, and stores the charges.
A distance image generating means for reading out the charge accumulated in the charge accumulation unit for each pixel and generating a distance image having a distance from the object as a pixel value;
A distance image processing apparatus according to any one of claims 1 to 7, which processes a distance image generated by the distance image generation means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009007243A JP2010164440A (en) | 2009-01-16 | 2009-01-16 | Distance image processing device and photographing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009007243A JP2010164440A (en) | 2009-01-16 | 2009-01-16 | Distance image processing device and photographing device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010164440A true JP2010164440A (en) | 2010-07-29 |
Family
ID=42580721
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009007243A Pending JP2010164440A (en) | 2009-01-16 | 2009-01-16 | Distance image processing device and photographing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010164440A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014083721A1 (en) * | 2012-11-27 | 2014-06-05 | 株式会社ソニー・コンピュータエンタテインメント | Information processing device and information processing method |
| JP2015175752A (en) * | 2014-03-17 | 2015-10-05 | スタンレー電気株式会社 | Distance image generation device, object detection device, and object detection method |
| JP2015175751A (en) * | 2014-03-17 | 2015-10-05 | スタンレー電気株式会社 | Distance image generating device, object detecting device, and object detecting method |
| JP2016213744A (en) * | 2015-05-12 | 2016-12-15 | キヤノン株式会社 | SUBJECT TRACKING DEVICE, OPTICAL DEVICE, IMAGING DEVICE, SUBJECT TRACKING DEVICE CONTROL METHOD, PROGRAM |
| JP2019152616A (en) * | 2018-03-06 | 2019-09-12 | オムロン株式会社 | Optical distance measuring sensor |
| JPWO2023013777A1 (en) * | 2021-08-05 | 2023-02-09 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004185363A (en) * | 2002-12-04 | 2004-07-02 | Ishikawajima Harima Heavy Ind Co Ltd | Object identification method using area sensor |
| JP2006209318A (en) * | 2005-01-26 | 2006-08-10 | East Japan Railway Co | Number detection device and method |
| JP2007114831A (en) * | 2005-10-18 | 2007-05-10 | Omron Corp | Object detection device |
| JP2007538318A (en) * | 2004-05-14 | 2007-12-27 | 本田技研工業株式会社 | Sign-based human-machine interaction |
| JP2008026030A (en) * | 2006-07-18 | 2008-02-07 | Denso Corp | Vehicle obstacle detector and vehicle control system |
-
2009
- 2009-01-16 JP JP2009007243A patent/JP2010164440A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004185363A (en) * | 2002-12-04 | 2004-07-02 | Ishikawajima Harima Heavy Ind Co Ltd | Object identification method using area sensor |
| JP2007538318A (en) * | 2004-05-14 | 2007-12-27 | 本田技研工業株式会社 | Sign-based human-machine interaction |
| JP2006209318A (en) * | 2005-01-26 | 2006-08-10 | East Japan Railway Co | Number detection device and method |
| JP2007114831A (en) * | 2005-10-18 | 2007-05-10 | Omron Corp | Object detection device |
| JP2008026030A (en) * | 2006-07-18 | 2008-02-07 | Denso Corp | Vehicle obstacle detector and vehicle control system |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014083721A1 (en) * | 2012-11-27 | 2014-06-05 | 株式会社ソニー・コンピュータエンタテインメント | Information processing device and information processing method |
| US9460337B2 (en) | 2012-11-27 | 2016-10-04 | Sony Corporation | Information processor and information processing method |
| JP2015175752A (en) * | 2014-03-17 | 2015-10-05 | スタンレー電気株式会社 | Distance image generation device, object detection device, and object detection method |
| JP2015175751A (en) * | 2014-03-17 | 2015-10-05 | スタンレー電気株式会社 | Distance image generating device, object detecting device, and object detecting method |
| JP2016213744A (en) * | 2015-05-12 | 2016-12-15 | キヤノン株式会社 | SUBJECT TRACKING DEVICE, OPTICAL DEVICE, IMAGING DEVICE, SUBJECT TRACKING DEVICE CONTROL METHOD, PROGRAM |
| JP2019152616A (en) * | 2018-03-06 | 2019-09-12 | オムロン株式会社 | Optical distance measuring sensor |
| CN110231629A (en) * | 2018-03-06 | 2019-09-13 | 欧姆龙株式会社 | Ligh-ranging sensor |
| JPWO2023013777A1 (en) * | 2021-08-05 | 2023-02-09 | ||
| WO2023013777A1 (en) * | 2021-08-05 | 2023-02-09 | 株式会社小糸製作所 | Gated camera, vehicular sensing system, and vehicular lamp |
| JP7804684B2 (en) | 2021-08-05 | 2026-01-22 | 株式会社小糸製作所 | Gating cameras, vehicle sensing systems, vehicle lighting fixtures |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7004017B2 (en) | Object tracking system, object tracking method, program | |
| CN108156450B (en) | Method, calibration device, calibration system, and machine-readable storage medium for calibrating a camera | |
| EP2755115A1 (en) | Method for detecting motion of input body and input device using same | |
| JP6621836B2 (en) | Depth mapping of objects in the volume using intensity variation of light pattern | |
| US8897499B2 (en) | Position detection system, position detection method, program, object determination system and object determination method | |
| US9661470B1 (en) | Methods and systems for locating an actor within an environment | |
| EP3283938B1 (en) | Gesture interface | |
| JP2013101045A (en) | Recognition device and recognition method of three-dimensional position posture of article | |
| KR102188480B1 (en) | Apparatus for tracking position based optical position tracking system and method thereof | |
| KR101892168B1 (en) | Enhancement of depth map representation using reflectivity map representation | |
| CN108921098B (en) | Human motion analysis method, device, equipment and storage medium | |
| JP2019128722A (en) | Information processing device, information processing system, and program | |
| JP2011185664A (en) | Object detector | |
| JP2010164440A (en) | Distance image processing device and photographing device | |
| CN111487320A (en) | 3D Ultrasound Imaging Method and System Based on 3D Optical Imaging Sensor | |
| JP2011211687A (en) | Method and device for correlating data | |
| JP3637226B2 (en) | Motion detection method, motion detection device, and recording medium | |
| CN106289263A (en) | Indoor navigation method and device | |
| JP5874252B2 (en) | Method and apparatus for measuring relative position with object | |
| CN110132129B (en) | Augmented reality-based inspection system and method | |
| US10509513B2 (en) | Systems and methods for user input device tracking in a spatial operating environment | |
| EP3373114B1 (en) | Tracking system and method using a depth aware camera | |
| CN110232701A (en) | Use the pedestrian tracking of depth transducer network | |
| JP7187655B1 (en) | OBJECT TRACKING METHOD, PROGRAM, SYSTEM AND RECORDING MEDIUM | |
| KR101247316B1 (en) | Security system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120321 |
|
| A02 | Decision of refusal |
Effective date: 20121002 Free format text: JAPANESE INTERMEDIATE CODE: A02 |