[go: up one dir, main page]

WO2024162409A1 - 三次元計測装置 - Google Patents

三次元計測装置 Download PDF

Info

Publication number
WO2024162409A1
WO2024162409A1 PCT/JP2024/003160 JP2024003160W WO2024162409A1 WO 2024162409 A1 WO2024162409 A1 WO 2024162409A1 JP 2024003160 W JP2024003160 W JP 2024003160W WO 2024162409 A1 WO2024162409 A1 WO 2024162409A1
Authority
WO
WIPO (PCT)
Prior art keywords
stripe
pattern
event data
dimensional
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2024/003160
Other languages
English (en)
French (fr)
Inventor
槙人 井上
勇介 三谷
将隆 辻本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Wave Inc
Original Assignee
Denso Wave Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2023013803A external-priority patent/JP2024109168A/ja
Priority claimed from JP2023027011A external-priority patent/JP2024120305A/ja
Application filed by Denso Wave Inc filed Critical Denso Wave Inc
Priority to EP24750358.4A priority Critical patent/EP4660576A1/en
Publication of WO2024162409A1 publication Critical patent/WO2024162409A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object

Definitions

  • This disclosure relates to a three-dimensional measuring device that measures the three-dimensional shape of a measurement object.
  • phase shift method is a technique that projects multiple stripe pattern images with shifted phases, and performs three-dimensional measurements on the measurement object onto which the multiple stripe pattern images are projected.
  • a three-dimensional measuring device disclosed in the following Patent Document 1 for generating an image of a measurement object faster in a technology for performing three-dimensional measurement using the phase shift method.
  • a sine wave pattern is adopted as the predetermined stripe pattern used in the phase shift method.
  • an event camera is adopted that outputs event data including two-dimensional point data that identifies the position of a pixel that has undergone a luminance change when light is received.
  • a captured image of the measurement object onto which the stripe pattern is projected is generated from the event data.
  • the event camera has the characteristic of not outputting pixel information without luminance change output by conventional cameras, that is, redundant data.
  • the event data does not include the luminance information used in the phase shift method. Therefore, luminance information (i.e., stripe pattern information) is obtained based on the time difference between the occurrence time of event data of a positive luminance change (i.e., positive polarity event data) output for each pixel when light is projected and the occurrence time of event data of a negative luminance change (i.e., negative polarity event data) output when the light is turned off. This makes it possible to measure the three-dimensional shape of an object using event data.
  • luminance information i.e., stripe pattern information
  • a pattern used in the light-section method is projected onto the object to be measured, in which the luminance changes so that it increases at a constant rate from the left side to the right side, and the luminance does not change in the vertical direction.
  • the three-dimensional shape of the object to be measured is then measured by the light-section method using the event data output when the pattern is imaged. Specifically, the position of a pixel identified from the event data output during the same time period is treated as the position of a pixel irradiated with a line-shaped light in the light-section method, making three-dimensional measurement by the light-section method possible.
  • the present disclosure has been made to solve the above-mentioned problems, and its purpose is to provide an apparatus that can suppress an increase in the measurement processing time of a three-dimensional shape in accordance with an increase in pixels in the direction in which the luminance changes in a pattern for the light-section method.
  • a three-dimensional measuring apparatus includes: a projection unit that projects a predetermined stripe pattern onto a measurement target area; an imaging unit that images a measurement object disposed in the measurement object area onto which the predetermined stripe pattern is projected; a measurement unit that measures a three-dimensional shape of the measurement object imaged by the imaging unit; A control unit that controls the projection unit; Equipped with the predetermined stripe pattern includes a plurality of stripe regions arranged along a first direction, and in each of the plurality of stripe regions, a luminance changes at a predetermined rate in the first direction and a luminance does not change in a second direction perpendicular to the first direction; the imaging unit includes an imaging element that outputs event data including two-dimensional point data that identifies a position of a pixel that has experienced a luminance change upon receiving light; The measurement unit measures the three-dimensional shape of the measurement object by a light-section method based on positions of a plurality of pixels identified from the event data output during the same time period within
  • the three-dimensional shape is measured by scanning the measurement target area using the bright line.
  • the scanning time of the bright line corresponds to the imaging time. Therefore, the greater the number of stripe areas in the specified stripe pattern projected onto the measurement target area, the shorter the imaging time, i.e., the processing time required for measuring the three-dimensional shape. Therefore, it is possible to suppress an increase in the measurement processing time of the three-dimensional shape in accordance with an increase in the number of pixels in the direction in which the brightness changes in the specified stripe pattern.
  • FIG. 1 is a block diagram showing a schematic configuration of a three-dimensional measuring apparatus according to a first embodiment.
  • 3A to 3C are diagrams illustrating stripe patterns used in the light-section method according to the first embodiment.
  • 2B is a diagram for explaining the relationship between the light emission time for projecting the stripe pattern of FIG. 2A and the position of a pixel in the left-right direction.
  • FIG. FIG. 2B shows the state of the stripe pattern of FIG. 2A 10 ⁇ s after it is projected onto a plane.
  • FIG. 2B shows the state of the stripe pattern of FIG. 2A 20 ⁇ s after it is projected onto a plane.
  • FIG. 2B shows the state of the stripe pattern of FIG. 2A 30 ⁇ s after it is projected onto a plane.
  • FIG. 2B is a diagram showing the state 10 ⁇ s after the stripe pattern of FIG. 2A is projected onto a measurement object having a spherical surface.
  • FIG. 2B is a diagram showing the state 20 ⁇ s after the stripe pattern of FIG. 2A is projected onto a measurement object having a spherical surface.
  • FIG. 2B is a diagram showing the state 30 ⁇ s after the stripe pattern of FIG. 2A is projected onto a measurement object having a spherical surface.
  • FIG. 10A and 10B are diagrams illustrating stripe patterns for a light-section method according to a modified example of the first embodiment.
  • 6B is a diagram for explaining the relationship between the light emission time for projecting the stripe pattern of FIG. 6A and the position of a pixel in the left-right direction.
  • FIG. 13A and 13B are diagrams for explaining a state in which a measurement target having a transparent plate on a blackboard is measured in the second embodiment.
  • 13 is a diagram for explaining a triangular wave stripe pattern.
  • 13A and 13B are diagrams for explaining event waveforms generated when only a blackboard is imaged;
  • 11A and 11B are diagrams for explaining event waveforms generated when capturing an image of only a transparent plate.
  • 11A and 11B are diagrams for explaining event waveforms that are generated when imaging an object to be measured that includes a transparent board placed on a blackboard.
  • 13A and 13B are diagrams for explaining a portion of an event waveform used in three-dimensional measurement when the presence of a transparent plate is not taken into consideration, and measurement results using the portion of the event waveform.
  • 13A to 13C are diagrams for explaining a first stripe pattern of two types of stripe patterns in a third embodiment.
  • FIG. 13A and 13B are diagrams for explaining a second stripe pattern of the two types of stripe patterns in the third embodiment.
  • 10B is a diagram for explaining a first event waveform generated when capturing an image of the first stripe pattern shown in FIG. 10A and a measurement result using the first event waveform.
  • 10C is a diagram for explaining a second event waveform generated when capturing an image of the second stripe pattern shown in FIG. 10B and a measurement result using the second event waveform.
  • FIG. 13 is a diagram for explaining a composite waveform obtained by combining a first event waveform and an inverted second event waveform.
  • FIG. 13 is a diagram showing a light emission time in a stripe region with stripe number 1 in the fourth embodiment.
  • FIG. 13 is a diagram showing the light emission time in a stripe region with stripe number 2 in the fourth embodiment.
  • FIG. 13 is a diagram showing the light emission time in a stripe region with stripe number 3 in the fourth embodiment.
  • FIG. 13 is a diagram showing the light emission time in a stripe region with stripe number 4 in the fourth embodiment.
  • This figure explains the event waveforms generated when measuring a measurement object having a transparent plate placed on a blackboard, and the relationship between the stripe number identified by one event waveform due to the shape of the blackboard and the stripe number identified by the other event waveform due to the shape of the transparent plate.
  • 13 is a diagram for explaining that one negative polarity event data is output when the stripe number of the blackboard and the stripe number of the transparent board are the same.
  • FIG. 13 is a diagram for explaining that two negative polarity event data are output when the stripe numbers of the blackboard and the transparent board are different.
  • FIG. 13A to 13C are diagrams for explaining two types of stripe number specifying patterns in the fifth embodiment.
  • FIG. 13 is a diagram for explaining a predetermined ratio in a stripe pattern.
  • 1 is a flowchart showing an example of schematic processing of the three-dimensional measuring apparatus according to the first to fifth embodiments. 1 is a diagram for explaining a state in which a stripe pattern for a general phase shift method is projected onto a measurement object.
  • FIG. FIG. 1 is a diagram for explaining three-dimensional measurement by a phase shift method.
  • FIG. 23 is a diagram for explaining the relationship between pixels and light projection time for one of a plurality of stripe regions of a predetermined stripe pattern projected from a projection unit in the sixth embodiment.
  • FIG. 21B is a diagram for explaining stripe pattern information obtained for each pixel when an image is captured of a surface onto which the stripe area of FIG. 21A is projected.
  • FIG. 11 is a diagram for explaining a state in which two phase values are calculated for one light projection time.
  • FIG. 13 is a diagram for explaining the relationship between pixels and light projection time for one of a plurality of stripe regions of a predetermined stripe pattern projected from a projection unit in the seventh embodiment.
  • FIG. 20 is a flowchart showing an example of schematic processing of the three-dimensional measuring apparatus according to the sixth and seventh embodiments.
  • FIG. 1 is a hardware configuration diagram of a three-dimensional measuring apparatus according to an embodiment of the present disclosure.
  • the three-dimensional measuring device 10 is a device that measures the three-dimensional shape of a measurement object R0.
  • the three-dimensional measuring device 10 includes a control unit 11, a projection unit 20, an imaging unit 30, and a measurement unit 40.
  • the control unit 11 is responsible for overall control.
  • the projection unit 20 projects a predetermined stripe pattern onto the measurement object R0.
  • the imaging unit 30 captures the measurement object R0 onto which the predetermined stripe pattern is projected.
  • the measurement unit 40 measures the three-dimensional shape of the measurement object R0 from the captured image.
  • the three-dimensional measuring device 10 may be attached to a robot hand, for example, to measure the three-dimensional shape of the measurement object R0, such as a workpiece, which moves relatively to the hand at high speed.
  • the relative movement refers to the relative movement between the movement of the three-dimensional measuring device 10 attached to the robot hand and the movement of the measurement object R0.
  • the relative movement is the movement of the measurement object R0.
  • the three-dimensional measuring device 10 has a processor 101 and a memory 103 as a hardware configuration.
  • the three-dimensional measuring device 10 may have a microcomputer.
  • the microcomputer may have a CPU (Central Processing Unit), a system bus, an input/output interface, a ROM (Read Only Memory), a RAM (Random Access Memory), a non-volatile memory, etc.
  • the memory 103 pre-stores a program related to control of the projection unit 20 and a program for executing control processing using the three-dimensional measurement results by the measurement unit 40.
  • the functions of the control unit 11 and the measurement unit 40 may be realized by the above hardware configuration.
  • the projection unit 20 is a so-called DLP (registered trademark) projector.
  • the projection unit 20 is controlled by the control unit 11 to project a predetermined stripe pattern, which will be described later, by reflecting light from a light source with a DMD (Digital Micromirror Device) element.
  • the DMD element has fine mirrors corresponding to each pixel of the image projected on the screen, and the fine mirrors are arranged in an array.
  • the DMD element changes the angle of each mirror to switch the light emitted to the screen in microsecond units (i.e., turn it ON/OFF). For this reason, each mirror is switched from reflection OFF to reflection ON to switch to a light-projecting state, and from reflection ON to reflection OFF to switch to an off state.
  • the projection unit 20 projects a predetermined stripe pattern by controlling the ON/OFF reflection of incident light by the DMD, which is an array of multiple mirrors, for each mirror by the control unit 11. For this reason, the control unit 11 changes the gradation (i.e. brightness) of the reflected light depending on the ratio of the time each mirror is turned on to the time it is turned off. This makes it possible to display gradations based on the image data of the image to be projected.
  • the projection unit 20 has mirrors that correspond to k ⁇ l pixels (e.g., 1140 ⁇ 912) with the upper left coordinate being (1, 1) and the lower right coordinate being (k, l).
  • the emission state can be specified according to the emission time.
  • R (red), G (green), and B (blue) colors are prepared as light incident on the DMD element.
  • an R-color emission state in which R is reflected by a mirror and emits light, a G-color emission state in which G is reflected by a mirror and emits light, and a B-color emission state in which B is reflected by a mirror are repeated in a short, predetermined cycle.
  • a color image can be projected by individually adjusting the emission time of each emission state. For this reason, the control unit 11 sets the reflection ON/OFF timing within the unit time for each mirror according to a predetermined stripe pattern described later.
  • the imaging unit 30 is a so-called event camera.
  • the imaging unit 30 has an imaging element that outputs event data (specifically, two-dimensional point data, time, and polarity of brightness change) including two-dimensional point data that identifies the position of a pixel that has undergone a brightness change when light is received.
  • the imaging unit 30 generates an image from the event data output from the imaging element. For this reason, the imaging unit 30 outputs positive polarity (i.e., positive brightness change) event data for each pixel in the captured image when the pixel receives light and changes in brightness to become brighter, and outputs negative polarity (i.e., negative brightness change) event data when the pixel disappears and changes in brightness to become darker.
  • positive polarity i.e., positive brightness change
  • negative polarity i.e., negative brightness change
  • the two-dimensional point data of multiple event data output within a certain period of time are plotted as points on a specified plane to generate image data of the measurement target R0.
  • the imaging unit 30 outputs the image data or event data (i.e., two-dimensional point data, time, and polarity of brightness change) generated in this way to the measurement unit 40.
  • the measurement unit 40 is controlled by the control unit 11.
  • the measurement unit 40 measures the three-dimensional shape of the measurement object R0 by the light section method based on an image captured by the imaging unit 30 of the measurement object R0 on which a predetermined stripe pattern is projected from the projection unit 20.
  • the projection unit 20 projects a predetermined stripe pattern for the light-section method (hereinafter, also referred to as stripe pattern P0).
  • the stripe pattern P0 includes a plurality of stripe regions arranged along a first direction. In each of the plurality of stripe regions, the luminance changes at a predetermined rate in the first direction, and the luminance does not change in a second direction perpendicular to the first direction.
  • the stripe pattern P0 is projected such that the four stripe regions Pa to Pd illustrated in FIG. 2A are arranged along the left-right direction (i.e., the first direction) by a sawtooth wave-like projection illustrated in FIG. 2B.
  • the luminance changes so as to increase at a constant rate from the left to the right in the left-right direction (i.e., the first direction), and does not change in the up-down direction (i.e., the second direction).
  • the stripe pattern P0 illustrated in FIG. 2A is projected by making the light-emitting time longer for the pixels on the right side of each stripe region.
  • the imaging unit 30 captures the surface onto which this stripe pattern P0 is projected.
  • the imaging unit 30 captures bright lines connecting the vertical positions of multiple pixels identified from the negative polarity event data output during the same time period.
  • the bright lines are vertical lines for each stripe area Pa-Pd, and move from left to right within each stripe area Pa-Pd within a unit of time. The movement of the bright lines is captured as a video.
  • timing of the end of light emission is set earlier the closer to the left end of the stripe area, in order to make it darker closer to the left end, and the timing of the end of light emission is set later the closer to the right end of the stripe area, in order to make it brighter closer to the right end, and the timing of the end of light emission is set to be approximately the same in the vertical direction.
  • bright lines Sa-Sd which are vertical lines near the left end of each stripe region Pa-Pd, are captured as shown in FIG. 3A.
  • bright lines Sa-Sd that have moved to the right are captured as shown in FIG. 3B.
  • bright lines Sa-Sd that have moved even further to the right are captured as shown in FIG. 3C.
  • the bright line captured in the image (i.e., a line connecting the positions of multiple pixels in the vertical direction among the multiple pixels identified from the negative polarity event data) can be used as a line-shaped laser light used in the light-section method.
  • the bright lines Sb and Sc are imaged, deformed according to the shape of the measurement object R0.
  • the bright lines Sb and Sc move to the right relative to the measurement object R0, respectively, and are imaged after the movement of the bright lines Sb and Sc, which are deformed according to the shape of the measurement object R0 at the positions of the bright lines Sb and Sc.
  • the stripe regions Pb and Pc 20 ⁇ s and 30 ⁇ s after the start of imaging as shown in FIG. 4B and FIG.
  • the bright lines Sb and Sc move further to the right relative to the measurement object R0, and are imaged after the movement of the bright lines Sb and Sc, which are deformed according to the shape of the measurement object R0 at the positions of the bright lines Sb and Sc.
  • the bright lines Sa and Sd do not overlap with the measurement object R0, so they move to the right as vertical lines, respectively, and are imaged.
  • the measurement unit 40 can measure the three-dimensional shape of the measurement object R0 by the light-section method based on the positions of the multiple pixels identified from the bright lines Sa to Sd captured when the measurement object R0 is imaged within the above unit time, i.e., the negative polarity event data output during the same time period.
  • the stripe pattern P0 projected by the projection unit 20 onto the measurement object R0 includes stripe regions Pa to Pd.
  • the luminance changes at a predetermined rate in the left-right direction (i.e., the first direction) and does not change in the up-down direction (i.e., the second direction perpendicular to the first direction).
  • the imaging unit 30 includes an imaging element that outputs event data including two-dimensional point data that identifies the positions of pixels that have experienced a luminance change when light is received.
  • the measurement unit 40 uses a light-section method to measure the three-dimensional shape of the measurement object R0 based on the positions of multiple pixels identified from negative polarity event data output during the same time period within the unit time in which the measurement object R0 is imaged.
  • a stripe pattern consisting of only one stripe area whose luminance changes at a constant rate in the left-right direction is projected so that the light emission time gradually increases from the left end to the right end. Therefore, when the stripe pattern is projected onto a plane and imaged, the output timing of negative polarity event data becomes slower toward the right end (see, for example, dashed line Lb in FIG. 5).
  • the imaging time e.g., corresponding to symbol Tb in FIG. 5
  • the imaging time for imaging the stripe pattern is proportional to the number of pixels.
  • the output timing of negative polarity event data is simultaneous for all four stripe areas (see, for example, solid line La in FIG. 5). Therefore, the imaging time for imaging stripe pattern P0 (e.g., corresponding to symbol Ta in FIG. 5) can be shortened to 1/4 of the imaging time for the stripe pattern consisting of only one stripe area.
  • the predetermined stripe pattern for the light-section method projected from the projection unit 20 is not limited to a sawtooth wave as exemplified in Figs. 2A and 2B.
  • it may be any other pattern including a plurality of stripe regions in which the luminance changes at a predetermined rate in a first direction and the luminance does not change in a second direction perpendicular to the first direction, such as a triangular wave (e.g., an isosceles triangle waveform) as exemplified in Figs. 6A and 6B, and the plurality of stripe regions are arranged along the first direction.
  • a triangular wave e.g., an isosceles triangle waveform
  • a three-dimensional measuring device according to a second embodiment of the present disclosure will be described with reference to the drawings.
  • This embodiment differs from the first embodiment in that a non-transparent body and a transparent body are distinguished from each other and three-dimensional measurement is performed by the light-section method. Therefore, the same reference numerals are used for the components that are substantially the same as those in the first embodiment, and the description thereof will be omitted.
  • two event data may be output for that one pixel.
  • the event data e.g., negative polarity event data
  • the event data (e.g., negative polarity event data) output first for each pixel will be a mixture of event data about the non-transparent body and event data about the transparent body. This may hinder accurate three-dimensional measurement.
  • a triangular wave stripe pattern P0 i.e., a stripe pattern in which the rate of luminance change between adjacent stripe areas is reversed in terms of light and dark
  • a measurement object R0 that has a transparent plate R2 on a blackboard R1
  • the three-dimensional shape of the measurement object R0 is measured by the light-section method as described above.
  • the blackboard R1 corresponds to an example of a non-transparent body
  • the transparent plate R2 corresponds to an example of a transparent body.
  • a two-dimensional waveform (hereinafter also referred to as the event waveform) is generated as illustrated in FIG. 8B, with the vertical axis representing the output timing of negative polarity event data output during the image capture and the horizontal axis representing the pixel position in the left-right direction (i.e., the first direction).
  • the event waveform is generated as illustrated in FIG. 8C.
  • the event waveform is generated as illustrated in FIG. 8D. Note that in FIGS. 8A to 8D and FIG. 9 described below, the event waveform generated due to the shape of the blackboard R1 is shown by a solid line, and the event waveform generated due to the shape of the transparent board R2 is shown by a dashed line.
  • three-dimensional measurement is performed using the negative polarity event data that is output first at each pixel. That is, three-dimensional measurement is performed using the part of the event waveform related to the black board R1 and the part of the event waveform related to the transparent board R2, which are shown by the thick lines in the graph in the upper part of Figure 9. Therefore, while the black board R1 and the transparent board R2 should be measured as in Figure 7, in reality, as shown in the lower part of Figure 9, only a part of the black board R1 and a part of the transparent board R2 are measured, and the measurement results for the other parts may be missing.
  • the measurement unit 40 in this embodiment assumes a case in which a transparent body is measuring a measurement object R0 that is placed above a non-transparent body.
  • the measurement unit 40 uses the event waveforms generated as described above to measure the three-dimensional shape of the measurement object R0 by the light-section method based on the positions of multiple pixels identified from the event data output during the same time period.
  • the measurement unit 40 generates a two-dimensional event waveform with the output timing of negative polarity event data output during imaging as the vertical axis and the position of the pixel in the left-right direction (i.e., the first direction) as the horizontal axis.
  • this event waveform two negative polarity event data are output for pixels imaging a non-transparent body and a transparent body. Therefore, as illustrated in FIG. 8D, one event waveform caused by the shape of the non-transparent body (see, for example, the solid line waveform in FIG. 8D) and the other event waveform caused by the shape of the transparent body (see, for example, the dashed line waveform in FIG. 8D) are included in the event waveform.
  • the non-transparent body and the transparent body are separated, one event waveform and the other event waveform can be easily separated. Therefore, by using one event waveform and the other event waveform separated from the event waveform generated as described above, it is possible to distinguish between the non-transparent body and the transparent body and perform three-dimensional measurement.
  • the sensitivity of the image sensor is relatively low in a bright state just before the negative polarity event data is output because the voltage is high. Therefore, the generation of noise is suppressed. In this way, by using the output timing of negative polarity event data, it is possible to improve the measurement accuracy of three-dimensional measurements compared to using the output timing of positive polarity event data.
  • a three-dimensional measuring device according to a third embodiment of the present disclosure will be described with reference to the drawings.
  • This embodiment differs from the second embodiment in that it distinguishes between non-transparent and transparent objects by projecting two types of stripe patterns and performs three-dimensional measurement by the light-section method. Therefore, components that are substantially the same as those in the second embodiment are given the same reference numerals and their description will be omitted.
  • event data that should not be output may appear as noise and interfere with accurate three-dimensional measurement. This may be caused by further negative polarity event data being output for the same pixel after the first negative polarity event data has been output.
  • the projection unit 20 first projects the first stripe pattern P1 as a predetermined stripe pattern, and then projects the second stripe pattern P2 in which the predetermined ratio of light and dark in the first stripe pattern P1 is reversed.
  • the projection unit 20 projects the first stripe pattern P1 as shown in FIG. 10A, and then projects the second stripe pattern P2 as shown in FIG. 10B.
  • the stripe regions P2a to P2h of the second stripe pattern P2 are the left-right inversions of the stripe regions P1a to P1h of the first stripe pattern P1, respectively, and the rate of change in brightness in the left-right direction (i.e., the first direction) is reversed in terms of light and dark.
  • the measurement unit 40 obtains a two-dimensional first event waveform W1 with the vertical axis representing the output timing of the negative polarity event data that is first output when the first stripe pattern P1 is captured, and the horizontal axis representing the position of the pixel in the first direction.
  • the measurement unit 40 obtains a two-dimensional second event waveform W2 with the vertical axis representing the output timing of the negative polarity event data that is first output when the second stripe pattern P2 is captured, and the horizontal axis representing the position of the pixel in the first direction.
  • the measurement unit 40 uses a composite waveform W that combines the first event waveform W1 and the inverted second event waveform W2 to measure the three-dimensional shape of the measurement object R0 by the light section method, based on the positions of multiple pixels identified from the event data output during the same time period.
  • a first event waveform W1 when imaging the first stripe pattern P1 shown in Figure 10A is generated as shown in the upper part of Figure 11A.
  • This first event waveform W1 is generated according to the shape of a portion of the blackboard R1 and the shape of a portion of the transparent plate R2 as shown in the lower part of Figure 11A.
  • the second event waveform W2 when the second stripe pattern P2 shown in FIG. 10B is imaged is generated as shown in the upper part of FIG. 11B.
  • This second event waveform W2 is generated according to the shape of the remaining part of the blackboard R1 and the shape of the remaining part of the transparent board R2 as shown in the lower part of FIG. 11B.
  • the first event waveform W1 and the second event waveform W2 are each generated based on the output timing of the first negative polarity event data. This suppresses the effects of the noise mentioned above. Furthermore, since the predetermined ratio of light and dark in the first stripe pattern P1 is reversed in the second stripe pattern P2, the light and dark (i.e., the relationship between the light emission times) between the blackboard R1 and the transparent board R2 at the same pixel positions is inverted. Therefore, the negative polarity event data that is output second when the first stripe pattern P1 is projected is output first when the second stripe pattern P2 is projected.
  • a composite waveform W0 is generated by combining a first event waveform W1 generated when the first stripe pattern P1 is projected with an inverted waveform of a second event waveform W2 generated when the second stripe pattern P2 is projected.
  • the composite waveform W0 includes one event waveform caused by the shape of a non-transparent body and the other event waveform caused by the shape of a transparent body.
  • the composite waveform W0 shown in FIG. 12 is substantially the same as the event waveform shown in FIG. 8D.
  • a three-dimensional measuring device according to a fourth embodiment of the present disclosure will be described with reference to the drawings.
  • This embodiment is mainly different from the second embodiment in that the third embodiment performs three-dimensional measurement by the light-section method while identifying the stripe numbers of non-transparent bodies and transparent bodies, respectively. Therefore, the same reference numerals are used for the components that are substantially the same as those of the second embodiment, and the description thereof will be omitted.
  • the projection unit 20 When capturing an image of a stripe pattern consisting of multiple stripe regions, it is necessary to identify for each pixel which stripe region is being captured. Specifically, in order to identify the stripe number that identifies the stripe region, the projection unit 20 further projects a stripe number identifying pattern onto the measurement object R0 onto which the stripe pattern has been projected. The measurement unit 40 performs stripe number identification processing to identify the stripe number based on the output timing of negative polarity event data that is output when capturing an image of the measurement object R0 onto which the stripe number identifying pattern has been projected.
  • a stripe number identification pattern for a stripe pattern having four stripe areas, stripe numbers 1 to 4 from the left, will be described.
  • the light emission time ends 1 ms from the start of projection, as illustrated in FIG. 13A.
  • the light emission time ends 2 ms from the start of projection, as illustrated in FIG. 13B.
  • the light emission time ends 3 ms from the start of projection, as illustrated in FIG. 13C.
  • the light emission time continues until the end of projection, as illustrated in FIG. 13D.
  • the stripe number of the pixel from which the first negative polarity event data is output 1 ms from the start of projection of the stripe number identification pattern can be identified as 1.
  • the stripe number of the pixel from which the first negative polarity event data is output 2 ms from the start of projection can be identified as 2.
  • the light emission time corresponding to each stripe area can be changed as appropriate depending on the measurement object R0 or the measurement environment, etc.
  • the unit of the light emission time corresponding to each stripe area of the stripe number identifying pattern is different from the unit of the light emission time of the stripe pattern.
  • the unit of the light emission time corresponding to each stripe area is 1 ms. That is, the stripe number identifying pattern changes every 1 ms. In this case, the stripe number identifying pattern is stable, so the stripe number can be identified more reliably.
  • the unit of the light emission time corresponding to each stripe area of the stripe number identifying pattern may be the same as the unit of the light emission time of the stripe pattern.
  • the unit of the light emission time corresponding to each stripe area may be 10 ⁇ s. That is, the stripe number identifying pattern may change every 10 ⁇ s. In this case, the stripe number can be identified quickly.
  • stripe numbers are identified assuming that two negative polarity event data are output at different times for each pixel when the stripe number identification pattern is imaged.
  • a triangular wave stripe pattern consisting of four stripes (i.e., four stripe regions) is projected.
  • the generated event waveform includes one event waveform caused by the shape of the blackboard R1 (e.g., see the solid line waveform in FIG. 14) and the other event waveform caused by the shape of the transparent plate R2 (e.g., see the dashed line waveform in FIG. 14).
  • the stripe number identification pattern described above e.g., see FIGS. 13A to 13D
  • the stripe number of the blackboard R1 and the stripe number of the transparent board R2 are the same, 1.
  • a luminance change occurs 1 ms after the start of projection of the stripe number identifying pattern.
  • the first negative polarity event data is output 1 ms after positive polarity event data is generated.
  • one stripe number is identified for that pixel. Therefore, an incorrect stripe number will not be identified for either the blackboard R1 or the transparent board R2.
  • the stripe number of the blackboard R1 is 1 and the stripe number of the transparent board R2 is 2.
  • the first luminance change occurs 1 ms after the start of projection, and the first negative polarity event data is output.
  • the second luminance change occurs 2 ms after the start of projection, and the second negative polarity event data is output.
  • the two stripe numbers 1 and 2 are identified as candidates.
  • it is not specified which of the two stripe numbers is the stripe number of the blackboard R1 or the stripe number of the transparent board R2.
  • the stripe number of the blackboard R1 and the stripe number of the transparent board R2 are identified based on the three-dimensional shape of the measurement object R0 that is assumed in advance. Note that information regarding the three-dimensional shape of the measurement object R0 can be stored in advance in a memory unit of the control unit 11, etc.
  • the stripe number identification process identifies stripe numbers on the assumption that two negative polarity event data may be output at different times for each pixel when the stripe number identification pattern is imaged. This prevents the identification of an incorrect stripe number, as the stripe number is not identified based only on the output timing of the negative polarity event data that is output first. Then, for pixels where two stripe numbers are identified due to a non-transparent body and a transparent body, the stripe number of the non-transparent body and the stripe number of the transparent body are respectively identified based on the three-dimensional shape of the measurement object assumed in advance. This prevents the stripe numbers of non-transparent and transparent bodies from being confused.
  • a three-dimensional measuring device according to a fifth embodiment of the present disclosure will be described with reference to the drawings.
  • This embodiment is mainly different from the fourth embodiment in that two types of stripe number specifying patterns are projected, the stripe numbers of non-transparent bodies and the stripe numbers of transparent bodies are accurately specified, and non-transparent bodies and transparent bodies are distinguished from each other to perform three-dimensional measurement by the light-section method. Therefore, the same reference numerals are used for components that are substantially the same as those in the fourth embodiment, and their description will be omitted.
  • event data of the same polarity is output consecutively from the same pixel after the first negative polarity event data is output, event data that should not be output may appear as noise, which may hinder accurate identification of the stripe number.
  • the projection unit 20 further projects a first stripe number identifying pattern PP1 and a second stripe number identifying pattern PP2 for identifying the stripe number that identifies the stripe region.
  • the first stripe number identifying pattern PP1 the brightness changes in predetermined steps in the left-right direction (i.e., the first direction) so that it is different for each stripe region, but the brightness does not change in the up-down direction (i.e., the second direction).
  • the predetermined steps in the first stripe number identifying pattern PP1 are reversed in terms of light and dark.
  • the light emission time of the first stripe number identifying pattern PP1 is controlled as shown in Figures 13A to 13D.
  • the second stripe number identifying pattern PP2 is projected as shown on the right side of Figure 16.
  • the first stripe number identifying pattern PP1 is projected so that the stripe areas PP1a, PP1b, and PP1c become darker in that order
  • the second stripe number identifying pattern PP2 is projected so that the stripe areas PP2d corresponding to stripe area PP1d, PP2c corresponding to stripe area PP1c, and PP2b corresponding to stripe area PP1b become darker in that order.
  • the stripe number is identified based on the output timing of the negative polarity event data that is first output when the measurement object R0 onto which the first stripe number identification pattern PP1 is projected is imaged, and the output timing of the negative polarity event data that is first output when the measurement object R0 onto which the second stripe number identification pattern PP2 is projected is imaged.
  • a stripe number is identified from the output timing of negative polarity event data when the first stripe number identifying pattern PP1 is projected, and a stripe number is identified from the output timing of negative polarity event data when the second stripe number identifying pattern PP2 is projected.
  • the stripe numbers are identified in the order 1, 2, 3, 4 from the left.
  • the stripe numbers are identified in the order 4, 3, 2, 1 from the right. Then, if the stripe numbers identified by the two stripe number identifying patterns match, that stripe number is identified as the stripe number of the pixel.
  • the two stripe numbers identified by the two stripe number identifying patterns are different, then the measurement target R0 having a transparent body on a non-transparent body is being measured.
  • the two stripe numbers are identified as candidates. For example, in the above-mentioned pixel G2, stripe number 1 is identified when the first stripe number identifying pattern PP1 is projected, and stripe number 2 is identified when the second stripe number identifying pattern PP2 is projected. This is because the order of stripe numbers when the first stripe number identifying pattern PP1 is projected and the order of stripe numbers when the second stripe number identifying pattern PP2 is projected are reversed in the left-right direction.
  • the stripe number of the non-transparent body and the stripe number of the transparent body are respectively identified based on the three-dimensional shape of the measurement object R0 assumed in advance, as described above.
  • the stripe number is identified based on the output timing of the negative polarity event data that is output first when the first stripe number identifying pattern PP1 is imaged, and the output timing of the negative polarity event data that is output first when the second stripe number identifying pattern PP2 is imaged.
  • the second stripe number identifying pattern PP2 has the same predetermined steps of light and dark as the first stripe number identifying pattern PP1. Therefore, the negative polarity event data that is output second when the first stripe number identifying pattern PP1 is projected is output first when the second stripe number identifying pattern PP2 is projected. This makes it possible to suppress the effects of noise while also suppressing the confusion of stripe numbers between non-transparent and transparent objects.
  • the number of stripe regions constituting the above-mentioned stripe pattern P0 is not limited to four, but may be two or three, or may be five or more.
  • the number of stripe regions constituting the above-mentioned first stripe pattern P1 and second stripe pattern P2 is not limited to eight, but may be two to seven, or may be nine or more. Note that the first stripe number identifying pattern PP1 and the second stripe number identifying pattern PP2 have the same number of stripe regions.
  • the three-dimensional measuring device 10 is not limited to being attached to the hand of a robot and moving to measure the three-dimensional shape of a measurement object that moves relative to the robot.
  • the three-dimensional measuring device 10 may be fixed and measure the three-dimensional shape of a measurement object that moves on a conveyor line.
  • the projection unit 20, the imaging unit 30, and the measurement unit 40 may be separate entities.
  • the measurement unit 40 may be an information processing terminal capable of wireless or wired communication with the projection unit 20 and the imaging unit 30.
  • three-dimensional measurement of the measurement object R0 is performed using the output timing of negative polarity event data.
  • this is not limited to the above, and as long as the luminance change of the predetermined stripe pattern projected from the projection unit 20 can be appropriately adjusted, three-dimensional measurement of the measurement object R0 may be performed using the output timing of positive polarity event data.
  • the stripe pattern projected from the projection unit 20 is not limited to being generated as illustrated in FIG. 2A, 2B, 6A, 6B, etc.
  • the stripe pattern may be any pattern as long as it includes a plurality of stripe regions in which the luminance changes at a predetermined rate in a first direction and the luminance does not change in a second direction perpendicular to the first direction, and the plurality of stripe regions are arranged along the first direction.
  • the predetermined rate may be different for each stripe region if it is set in advance. Specifically, the predetermined rate is set so that the light emission time is set for all pixels in each stripe region and two or more pixels do not have the same light emission time.
  • the predetermined rate may be set so that the light emission time increases linearly in the first period, increases logarithmically in the next period, and decreases linearly in the last period.
  • the predetermined rate may be set so that the light emission time decreases linearly.
  • the three-dimensional measuring device 10 may also perform processing as shown in the flowchart of FIG. 18. Specifically, the three-dimensional measuring device 10 projects a pattern including a plurality of striped regions (step S201). The three-dimensional measuring device 10 captures an image of the object onto which the striped pattern is projected (step S203). The three-dimensional measuring device 10 acquires event data output from the image sensor during the same time period (step S205). The three-dimensional measuring device 10 identifies the positions of a plurality of pixels from the event data (step S207). The three-dimensional measuring device 10 measures the three-dimensional shape of the object based on the positions of the plurality of pixels by a light-section method (step S209).
  • the phase shift method is a technique for projecting a plurality of stripe pattern images with shifted phases, and performing three-dimensional measurement of the measurement object onto which the plurality of stripe pattern images are projected. In this three-dimensional measurement, a phase value corresponding to a distorted value according to the surface shape of the measurement object is obtained.
  • This disclosure has been made to solve the above-mentioned problems, and its purpose is to provide a device that can perform three-dimensional measurements with a single projection of a stripe pattern.
  • a three-dimensional measuring apparatus includes: A projection unit (20) that projects a predetermined stripe pattern onto a measurement target area; an imaging unit (30) for imaging a measurement object placed in the measurement object area onto which the predetermined stripe pattern is projected; a measurement unit (40) that measures a three-dimensional shape of the measurement object by using a phase value ⁇ obtained for each pixel from an image captured by the imaging unit; A control unit (11) that controls the projection unit; A three-dimensional measuring device (10) comprising: the projection unit projects the predetermined stripe pattern such that the time from ON to OFF of the reflection in a unit time changes in a predetermined sine wave pattern along a predetermined pattern direction by controlling ON and OFF of reflection of incident light by a DMD (Digital Micromirror Device) having a plurality of mirrors arranged in an array by the control unit for each of the plurality of mirrors; the imaging unit includes an imaging element that outputs event data including two-dimensional point data that identifies a position of a pixel that has experienced
  • the stripe pattern information Is corresponds to the time difference between the output timing of two event data generated by the ON/OFF of reflection.
  • the specified stripe pattern is projected so that the time from ON to OFF of reflection changes in a specified sine wave pattern along a specified pattern direction.
  • the amplitude ⁇ and offset value ⁇ in the above formula are the same as the amplitude and offset value of the specified sine wave pattern and are known. Therefore, the phase value ⁇ can be obtained from the stripe pattern information Is obtained by one projection of the specified stripe pattern. Therefore, a three-dimensional measuring device capable of three-dimensional measurement by one projection of the specified stripe pattern can be realized.
  • the measurement unit may also determine the phase value ⁇ for each pixel based on the calculated stripe pattern information Is and the polarity of the first event data (event data output first) and the second event data (event data output later).
  • the number of phase values ⁇ that can be determined in one stripe region of a specified stripe pattern can be doubled. This makes it possible to halve the number of stripe regions that occupy a specified stripe pattern, and halve the processing time required to identify the stripe regions. As a result, the processing time for three-dimensional measurement can be shortened.
  • the three-dimensional measuring device 10 is a device that measures the three-dimensional shape of a measurement object R0.
  • the three-dimensional measuring device 10 includes a control unit 11, a projection unit 20, an imaging unit 30, and a measurement unit 40.
  • the control unit 11 is responsible for overall control.
  • the projection unit 20 projects a predetermined stripe pattern onto the measurement object R0.
  • the imaging unit 30 captures the measurement object R0 onto which the predetermined stripe pattern is projected.
  • the measurement unit 40 measures the three-dimensional shape of the measurement object R0 from the captured image.
  • the three-dimensional measuring device 10 configured in this manner may be attached to the hand of a robot, for example, to measure the three-dimensional shape of the measurement object R0, such as a workpiece, which moves relatively to the hand at high speed.
  • the relative movement refers to the relative movement between the movement of the three-dimensional measuring device 10 attached to the hand of the robot and the movement of the measurement object R0.
  • the relative movement is the movement of the measurement object R0.
  • FIG. 19 shows a simplified version of a typical stripe pattern with up to 13 stripes. More specifically, a typical stripe pattern is represented as a sine wave pattern, so the light and dark parts of the stripe pattern have the same width. However, for convenience, FIG. 19 shows the dark parts with a smaller width as lines. Also, the number of stripes is abbreviated to 13, although in the embodiment it is 13 or more.
  • the three-dimensional measuring device 10 includes a processor 101 and a memory 103 as a hardware configuration.
  • the three-dimensional measuring device 10 may include a microcomputer.
  • the microcomputer may include a CPU, a system bus, an input/output interface, ROM, RAM, non-volatile memory, etc.
  • the memory 103 pre-stores programs related to control of the projection unit 20 and programs for executing control processing using the three-dimensional measurement results by the measurement unit 40.
  • the functions of the control unit 11 and the measurement unit 40 may be realized by the above hardware configuration.
  • the projection unit 20 is a so-called DLP projector.
  • the projection unit 20 is controlled by the control unit 11 to project a predetermined stripe pattern, which will be described later, by reflecting light from a light source with a DMD element.
  • the DMD element has fine mirrors corresponding to each pixel of an image projected on a screen, and the fine mirrors are arranged in an array.
  • the DMD element changes the angle of each mirror to switch the light emitted to the screen in microsecond units (i.e., turn it ON/OFF). For this reason, each mirror is switched from reflection OFF to reflection ON to be switched to a light-projecting state, and from reflection ON to reflection OFF to be switched to an extinguished state.
  • the projection unit 20 projects a predetermined stripe pattern such that the ON/OFF reflection of incident light by the DMD, which has multiple mirrors arranged in an array, is controlled by the control unit 11 for each mirror, so that the time from reflection ON to OFF during a unit time changes in a predetermined sine wave pattern along a predetermined pattern direction.
  • the control unit 11 changes the gradation (i.e. brightness) of the reflected light depending on the ratio of the time each mirror is turned on to the time it is turned off. This makes it possible to display gradations based on the image data of the image to be projected.
  • the projection unit 20 is equipped with a mirror corresponding to k ⁇ l pixels (e.g., 1140 ⁇ 912). Also, for example, consider a case where R (red), G (green), and B (blue) colors are prepared as light incident on the DMD element.
  • the R light emission state in which R light is emitted by reflecting off the mirror, the G light emission state in which G light is emitted by reflecting off the mirror, and the B light emission state in which B light is emitted by reflecting off the mirror are repeated in a predetermined short cycle.
  • the control unit 11 sets the reflection ON/OFF timing within a unit time for each mirror according to a predetermined stripe pattern, which will be described later.
  • the imaging unit 30 is a so-called event camera.
  • the imaging unit 30 has an imaging element that outputs event data (specifically, two-dimensional point data, time, and polarity of brightness change) including two-dimensional point data that identifies the position of a pixel that has undergone a brightness change when light is received.
  • the imaging unit 30 generates an image from the event data output from the imaging element. For this reason, in the imaging unit 30, when a brightness change occurs in which the pixel becomes brighter due to receiving light, event data of positive polarity (i.e., positive brightness change) is output for each pixel in the captured image, and when the light disappears, a brightness change occurs in which the pixel becomes darker, and event data of negative polarity (i.e., negative brightness change) is output.
  • event data specifically, two-dimensional point data, time, and polarity of brightness change
  • negative polarity i.e., negative brightness change
  • the two-dimensional point data of multiple event data output within a certain period of time are each plotted as a point on a specified plane to generate image data of the measurement object R0.
  • the imaging unit 30 outputs the image data or event data (i.e., two-dimensional point data, time, and polarity of brightness change) generated in this way to the measurement unit 40.
  • the projection unit 20 and the image capture unit 30 are positioned at a specified distance from the three-dimensional measurement device 10 so that the projection range of a predetermined stripe pattern projected from the projection unit 20 coincides with the entirety or a predetermined part of the imaging field of view of the image capture unit 30.
  • the measurement unit 40 is controlled by the control unit 11.
  • the measurement unit 40 measures the three-dimensional shape of the measurement object R0 by using the phase value ⁇ obtained for each pixel from the captured image captured by the imaging unit 30 of the measurement object R0 in a state in which a predetermined stripe pattern is projected from the projection unit 20.
  • phase shift method a phase value ⁇ corresponding to a distorted value according to the surface shape of a measurement object R0 is obtained based on a grating image (i.e., a stripe image) that is an image of the measurement object R0 onto which a predetermined stripe pattern is projected.
  • a sine wave pattern specified from the brightness value I(x, y, n) of the following formula (1) is adopted. That is, when the number of phase shifts is N, the brightness value I(x, y, n) of N phase-shifted grating images (i.e., stripe images) is expressed by formula (1).
  • I (x, y, n) a (x, y) cos ⁇ (x, y) + 2 ⁇ n/N ⁇ + b (x, y) ...
  • point (x, y) is one point (i.e., one pixel) in the grid image.
  • a(x, y) is the luminance amplitude.
  • b(x, y) indicates background luminance.
  • the distance to point (x, y) is measured according to the phase value ⁇ (x, y) calculated from the luminance values I(x, y, n) of N grid images.
  • the specified stripe pattern for the phase shift method is configured so that the phases of the sine wave pattern consisting of only R, the sine wave pattern consisting of only G, and the sine wave pattern consisting of only B are shifted by 2 ⁇ /3.
  • the measurement unit 40 uses the above formula (1) to determine the phase value ⁇ (x, y).
  • the measurement unit 40 measures the distance to point (x, y) according to the phase value ⁇ (x, y) thus determined.
  • the measuring unit 40 determines the phase value ⁇ of point Q1 and information on which stripe the point Q1 is on (i.e., the stripe number) from the N captured images of the imaging unit 30 in a state in which a predetermined stripe pattern is shifted and projected by the projection unit 20 N times. From the phase value ⁇ and stripe number thus determined, the angle ⁇ p1 at the projection unit 20 and the angle ⁇ c1 at the imaging unit 30 are determined. Since the distance between the projection unit 20 and the imaging unit 30 (i.e., the parallax Dp) is known, the distance to point Q1 can be determined by triangulation.
  • the distance to point Q2 in FIG. 20 can be determined by triangulation based on the angle ⁇ p2 at the projection unit 20 and the angle ⁇ c2 at the imaging unit 30, which are determined from the phase value ⁇ of point Q2 determined from the N captured images and the stripe number. By performing this calculation over the entire measurement area, three-dimensional measurement can be performed.
  • an event camera is used as the imaging unit for accurately imaging the measurement object R0, which moves relatively at high speed.
  • event data corresponding to pixels where a luminance change has occurred is output.
  • the luminance values required for the phase shift method for example, the above-mentioned I(x, y, 0), I(x, y, 1), I(x, y, 2)
  • a predetermined stripe pattern i.e., a stripe pattern in which the same stripe areas are repeatedly arranged along the predetermined pattern direction
  • the measurement unit 40 measures the three-dimensional shape of the measurement object R0 by determining, for each pixel, a phase value ⁇ that corresponds to a value distorted according to the surface shape of the measurement object R0 based on the time length of light projection or extinguishing in a three-dimensional measurement process.
  • the measurement unit 40 calculates, for each pixel, the time difference between the output timing of positive polarity event data that is output first from the imaging element during a unit time and the output timing of negative polarity event data that is output thereafter, as stripe pattern information Is.
  • the measurement unit 40 obtains the phase value ⁇ for each pixel based on the following formula (3) which is derived from the following formula (2) including the amplitude ⁇ and offset value ⁇ .
  • Is(x,y) ⁇ cos ⁇ (x,y)+ ⁇ ...(2)
  • ⁇ (x, y) arccos ⁇ [Is (x, y) - ⁇ ]/ ⁇ ... (3)
  • the stripe pattern information Is corresponds to the time difference between the output timing of two event data caused by the ON/OFF of reflection.
  • the specified stripe pattern is projected so that the time from ON to OFF of reflection changes in a specified sine wave pattern along a specified pattern direction.
  • the amplitude ⁇ and offset value ⁇ in the above formula are the same as the amplitude and offset value of a specified sine wave pattern during projection for the following reasons.
  • the horizontal axis indicates the pixel position in the stripe area
  • the vertical axis indicates the time from reflection ON to reflection OFF (i.e., light projection time: ON time) Io.
  • the horizontal axis indicates the pixel position in the stripe area
  • the vertical axis indicates the time from reflection ON to reflection OFF (i.e., light projection time: ON time) Io.
  • a half-cycle sine wave pattern i.e., a cosine curve from 0 deg to 180 deg
  • ⁇ i.e., pixel
  • the amplitude ⁇ and offset value ⁇ of the waveform pattern obtained by capturing an image of the range where the above-mentioned projection pattern is projected using an event camera are the same as those of the above-mentioned projection pattern.
  • the amplitude and offset value change between the projection side and the image capture side due to light attenuation and the like in the brightness standard (i.e., processing based on brightness).
  • the time standard i.e., processing based on the time length of light projection or extinguishing
  • the amplitude and offset value of the projection pattern on the projection side and the amplitude and offset value of the waveform pattern on the image capture side are the same.
  • the horizontal axis indicates the same pixel position as in FIG. 21A
  • the vertical axis indicates the stripe pattern information Is, which is the time difference between the output timing of the positive polarity event data output first and the output timing of the negative polarity event data output later.
  • the amplitude ⁇ and offset value ⁇ in the above equations (2) and (3) are the same as the amplitude and offset value of a specified sine wave pattern at the time of projection and are known, so they can be found from information about the specified sine wave pattern. In this way, the amplitude ⁇ and offset value ⁇ can be treated as known. Therefore, the phase value ⁇ can be found for each pixel from the stripe pattern information Is obtained from a single projection, rather than multiple projections as in the phase shift method. Therefore, it is possible to realize a three-dimensional measuring device 10 that can perform three-dimensional measurement with a single projection of a specified stripe pattern while utilizing event data. As a result, the time required for three-dimensional measurement processing can be shortened.
  • the time difference between the output timing of negative polarity event data that is output first from the imaging element during a unit time and the output timing of positive polarity event data that is output thereafter may be calculated as stripe pattern information Is.
  • a three-dimensional measuring apparatus according to a seventh embodiment of the present disclosure will be described with reference to the drawings.
  • This embodiment differs from the sixth embodiment in that the phase value ⁇ is calculated by also using the polarity of the event data. Therefore, the same reference numerals are used for components that are substantially the same as those in the sixth embodiment, and the description thereof will be omitted.
  • a half-cycle sine wave pattern i.e., a cosine curve from 0 deg to 180 deg
  • ⁇ is used for each stripe region so that one phase value ⁇ can be determined from one light projection time.
  • a one-cycle sine wave pattern is used, two phase values ⁇ (see, for example, symbols ⁇ 1 and ⁇ 2 in FIG. 22) will be calculated for one light projection time.
  • the polarity of the event data is also used to reduce the number of stripe regions (i.e., the number of stripes) that occupy a given stripe pattern. Specifically, one cycle of a sine wave pattern (i.e., a cosine curve from 0 deg to 360 deg) is used for each stripe region.
  • a sine wave pattern i.e., a cosine curve from 0 deg to 360 deg
  • the specified stripe pattern in this embodiment changes for each stripe region as shown in FIG. 23. Specifically, for each stripe region, in the region of the cosine curve between 0 degrees and 180 degrees, the time from reflection ON to reflection OFF (i.e., light projection time: ON time) changes, and in the region of the cosine curve between 180 degrees and 360 degrees, the time from reflection OFF to reflection ON (i.e., light off time: OFF time) changes.
  • the measurement unit 40 in this embodiment determines the phase value ⁇ for each pixel based on the calculated stripe pattern information Is and the polarity of the event data that is output first and the event data that is output later. That is, in this embodiment, a stripe area generated by one period of a sine wave pattern can be used. Therefore, in this embodiment, compared to a case where the polarity of the event data is not taken into consideration (for example, in the case of the sixth embodiment above), the number of phase values ⁇ determined in one stripe area can be doubled. This makes it possible to halve the number of stripes (i.e., the number of stripe areas), and halve the processing time for identifying the stripe areas. As a result, the processing time for three-dimensional measurement can be shortened.
  • the present disclosure is not limited to the above-described embodiment, and may be configured as follows, for example.
  • the three-dimensional measuring device 10 is not limited to being attached to the hand of a robot and moving to measure the three-dimensional shape of a measurement object that moves relatively.
  • the three-dimensional measuring device 10 may be fixed and measure the three-dimensional shape of a measurement object that moves on a conveyor line.
  • the projection unit 20, the imaging unit 30, and the measurement unit 40 may be separate entities.
  • the measurement unit 40 may be an information processing terminal capable of wireless or wired communication with the projection unit 20 and the imaging unit 30.
  • the three-dimensional measuring device 10 may also perform processing as shown in the flowchart of FIG. 24. Specifically, the three-dimensional measuring device 10 projects a stripe pattern in which the time from ON to OFF of the reflection of incident light changes like a sine wave in the pattern direction (step S301). The three-dimensional measuring device 10 captures an image of the object onto which the stripe pattern is projected (step S303). The three-dimensional measuring device 10 acquires event data output from the image sensor (step S305). The three-dimensional measuring device 10 calculates the time difference between the output of the event data output first and the output of the event data output later as stripe pattern information (step S307).
  • the three-dimensional measuring device 10 calculates a phase value based on the amplitude and offset value of the sine wave and the calculated stripe pattern information (step S309).
  • the three-dimensional measuring device 10 measures the three-dimensional shape of the object based on the phase value (step S311).

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

三次元計測装置は、計測対象領域に対して所定の縞パターンを投影する投影部と、前記所定の縞パターンが投影された前記計測対象領域に配置された計測対象物を撮像する撮像部と、前記撮像部により撮像される前記計測対象物の三次元形状を計測する計測部と、前記投影部を制御する制御部と、を備える。前記所定の縞パターンは、第１の方向に沿って配置される複数の縞領域を含み、前記複数の縞領域の各々では、前記第１の方向において輝度が所定の割合で変化し前記第１の方向に直交する第２の方向において輝度が変化しない。前記撮像部は、受光した際に輝度変化のあった画素の位置が特定される二次元点データを含むイベントデータを出力する撮像素子を備える。前記計測部は、前記撮像部が撮像を行う単位時間内にて同時間帯に出力される前記イベントデータから特定される複数の画素の位置に基づいて前記計測対象物の三次元形状を光切断法により計測する。

Description

三次元計測装置
　本開示は、計測対象物の三次元形状を計測する三次元計測装置に関する。
　従来、計測対象物の三次元形状等を計測する三次元計測装置として、例えば、位相シフト法を利用した装置が知られている。位相シフト法は、位相をずらした複数の縞パターン画像を投影することでこの複数の縞パターン画像を投影した計測対象物に関して三次元計測を行う手法である。
　このように位相シフト法を利用して三次元計測を行う技術に関して、より高速に計測対象物の画像を生成するため、下記特許文献１に開示される三次元計測装置が知られている。この三次元計測装置では、位相シフト法に用いられる所定の縞パターンとしてサイン波パターンが採用される。また、受光した際に輝度変化のあった画素の位置が特定される二次元点データを含むイベントデータを出力するイベントカメラが採用される。イベントデータから縞パターンが投影された計測対象物の撮像画像が生成される。イベントカメラは、従来のカメラが出力する輝度変化のない画素情報、つまり冗長なデータを出力しないといった特徴がある。そのため、データ通信量の軽減及び画像処理の軽量化等が実現されることで、より高速に計測対象物の形状に関する情報を取得することができる。その一方で、イベントデータには位相シフト法に利用する輝度情報が含まれない。そのため、各画素について投光時に出力されるプラスの輝度変化のイベントデータ（即ち正極性のイベントデータ）の発生時間と消灯時に出力されるマイナスの輝度変化のイベントデータ（即ち負極性のイベントデータ）の発生時間との時間差に基づいて輝度情報（即ち縞パターン情報）が求められる。これにより、イベントデータを利用した計測対象物の三次元形状の計測を可能としている。
特開２０２１－０６７６４４号公報
　また、上記特許文献１に開示される三次元計測装置では、計測対象物に対して輝度が左側から右側にかけて一定の割合で増加するように変化し上下方向において輝度が変化しない光切断法に用いられるパターンが投影される。そして、そのパターンの撮像時に出力されるイベントデータを利用した光切断法により計測対象物の三次元形状が計測される。具体的には、同時間帯に出力されるイベントデータから特定される画素の位置が、光切断法でのライン状の光が照射された画素の位置として取り扱われることで、光切断法による三次元計測を可能としている。
　しかしながら、上述のように光切断法に用いられるパターンを投影する計測手法では、投影領域の左端から右端にかけて輝度を変化させる必要がある。そのため、左右方向の画素が多くなるほど、撮像時間、すなわち、三次元計測処理に要する処理時間が長くなり得る。
　本開示は、上述した課題を解決するためになされたものであり、その目的とするところは、光切断法のためのパターンにおける輝度が変化する方向の画素の増加に応じて三次元形状の計測処理時間が増加することを抑制可能な装置を提供することにある。
　本開示の一実施形態に係る三次元計測装置は、
　計測対象領域に対して所定の縞パターンを投影する投影部と、
　前記所定の縞パターンが投影された前記計測対象領域に配置された計測対象物を撮像する撮像部と、
　前記撮像部により撮像される前記計測対象物の三次元形状を計測する計測部と、
　前記投影部を制御する制御部と、
　を備え、
　前記所定の縞パターンは、第１の方向に沿って配置される複数の縞領域を含み、前記複数の縞領域の各々では、前記第１の方向において輝度が所定の割合で変化し前記第１の方向に直交する第２の方向において輝度が変化せず、
　前記撮像部は、受光した際に輝度変化のあった画素の位置が特定される二次元点データを含むイベントデータを出力する撮像素子を備え、
　前記計測部は、前記撮像部が撮像を行う単位時間内にて同時間帯に出力される前記イベントデータから特定される複数の画素の位置に基づいて前記計測対象物の三次元形状を光切断法により計測する。
　これにより、同時間帯に出力されるイベントデータから特定される複数の画素の位置のうち、上記第２の方向の複数の画素を繋げた輝線が縞領域ごとに得られる。光切断法では、輝線を用いて計測対象領域を走査することで三次元形状が測定される。当該輝線の走査時間が撮像時間に相当する。そのため、計測対象領域に投影される所定の縞パターンでの縞領域の数が多くなるほど、撮像時間、すなわち、三次元形状の計測処理に要する処理時間を短縮することができる。したがって、所定の縞パターンにおける輝度が変化する方向の画素の増加に応じて三次元形状の計測処理時間が増加することを抑制することができる。
第１実施形態に係る三次元計測装置の概略構成を示すブロック図である。 第１実施形態に係る光切断法に用いられる縞パターンを例示する図である。 図２Ａの縞パターンを投影するための発光時間と左右方向の画素の位置との関係を説明するための図である。 平面に対して図２Ａの縞パターンが投影されてから１０μｓ後の状態を示す図である。 平面に対して図２Ａの縞パターンが投影されてから２０μｓ後の状態を示す図である。 平面に対して図２Ａの縞パターンが投影されてから３０μｓ後の状態を示す図である。 球面を有する計測対象物に対して図２Ａの縞パターンが投影されてから１０μｓ後の状態を示す図である。 球面を有する計測対象物に対して図２Ａの縞パターンが投影されてから２０μｓ後の状態を示す図である。 球面を有する計測対象物に対して図２Ａの縞パターンが投影されてから３０μｓ後の状態を示す図である。 左右方向の複数の画素における、４つの縞領域からなる縞パターンを撮像した際の負極性のイベントデータの出力タイミングと、１つの縞領域からなる縞パターンを撮像した際の負極性のイベントデータの出力タイミングと、の比較結果を示す図である。 第１実施形態の変形例に係る光切断法用の縞パターンを例示する図である。 図６Ａの縞パターンを投影するための発光時間と左右方向の画素の位置との関係を説明するための図である。 第２実施形態において黒板の上に透明板を備える計測対象物を計測する状態を説明するための図である。 三角波の縞パターンを説明するための図である。 黒板のみを撮像する場合に生成されるイベント波形を説明するための図である。 透明板のみを撮像する場合に生成されるイベント波形を説明するための図である。 黒板の上に透明板を備える計測対象物を撮像する場合に生成されるイベント波形を説明するための図である。 透明板の存在を考慮しない場合に三次元計測に利用されるイベント波形の部分と、当該イベント波形の部分を利用した計測結果と、を説明するための図である。 第３実施形態における２種類の縞パターンのうちの第１縞パターンを説明するための図である。 第３実施形態における２種類の縞パターンのうちの第２縞パターンを説明するための図である。 図１０Ａに示す第１縞パターンの撮像時に生成される第１イベント波形と、第１イベント波形を利用した計測結果と、を説明するための図である。 図１０Ｂに示す第２縞パターンの撮像時に生成される第２イベント波形と、第２イベント波形を利用した計測結果と、を説明するための図である。 第１イベント波形と反転した第２イベント波形とを合成した合成波形を説明するための図である。 第４実施形態における縞番号が１の縞領域での発光時間を示す図である。 第４実施形態における縞番号が２の縞領域での発光時間を示す図である。 第４実施形態における縞番号が３の縞領域での発光時間を示す図である。 第４実施形態における縞番号が４の縞領域での発光時間を示す図である。 黒板の上に透明板を備える計測対象物を計測した際に生成されるイベント波形と、黒板の形状に起因する一方のイベント波形で特定される縞番号と透明板の形状に起因する他方のイベント波形で特定される縞番号との関係と、を説明するための図である。 黒板の縞番号と透明板の縞番号が同じである場合に１つの負極性のイベントデータが出力されることを説明するための図である。 黒板の縞番号と透明板の縞番号が異なる場合に２つの負極性のイベントデータが出力されることを説明するための図である。 第５実施形態における２種類の縞番号特定用パターンを説明するための図である。 縞パターンでの所定の割合を説明するための図である。 第１～第５実施形態に係る三次元計測装置の概略的な処理の例を示すフローチャートである。 一般的な位相シフト法用の縞パターンが計測対象物に投影された状態を説明するための図である。 位相シフト法による三次元測定を説明するための図である。 第６実施形態において投影部から投影される所定の縞パターンの複数の縞領域の１つについて画素と投光時間との関係を説明するための図である。 図２１Ａの縞領域が投影された面を撮像した際に画素ごとに得られる縞パターン情報を説明するための図である。 １つの投光時間に対して２つの位相値が算出される状態を説明するための図である。 第７実施形態において投影部から投影される所定の縞パターンの複数の縞領域の１つについて画素と投光時間との関係を説明するための図である。 第６及び第７実施形態に係る三次元計測装置の概略的な処理の例を示すフローチャートである。 本開示の一実施形態に係る三次元計測装置のハードウェア構成図である。
＜第１実施形態＞
　以下、本開示の第１実施形態に係る三次元計測装置について、図面を参照して説明する。本実施形態に係る三次元計測装置１０は、計測対象物Ｒ０の三次元形状を計測する装置である。三次元計測装置１０は、図１に示すように、制御部１１と、投影部２０と、撮像部３０と、計測部４０と、を備える。制御部１１は、全体制御を司る。投影部２０は、計測対象物Ｒ０に対して所定の縞パターンを投影する。撮像部３０は、所定の縞パターンが投影された計測対象物Ｒ０を撮像する。計測部４０は、この撮像画像から計測対象物Ｒ０の三次元形状を計測する。このように構成される三次元計測装置１０は、例えば、ロボットのハンドに組み付けられることで、ハンドに対して高速に相対移動することになるワーク等の計測対象物Ｒ０の三次元形状を計測してよい。ここで、相対移動とは、ロボットのハンドに組付けられた三次元計測装置１０の移動と計測対象物Ｒ０の移動との間での相対的な移動を指している。三次元計測装置１０の位置が固定されている場合には、相対移動は計測対象物Ｒ０の移動となる。
　三次元計測装置１０は、図２５に示されるように、ハードウェア構成として、プロセッサ１０１及びメモリ１０３を備える。例えば、三次元計測装置１０は、マイクロコンピュータを備えてよい。マイクロコンピュータは、ＣＰＵ（Central　Processing　Unit）、システムバス、入出力インタフェース、ＲＯＭ（Read　Only　Memory）、ＲＡＭ（Random　Access　Memory）、不揮発性メモリなどを備えてよい。メモリ１０３には、ロボット制御に関するプログラムに加えて、投影部２０の制御に関するプログラム及び計測部４０による三次元計測結果を利用した制御処理を実行するためのプログラム等が予め格納されている。上記ハードウェア構成により、制御部１１及び計測部４０の機能が実現されてよい。
　投影部２０は、いわゆるＤＬＰ（登録商標）プロジェクタである。投影部２０は、制御部１１により制御されて、光源からの光をＤＭＤ（Digital　Micromirror　Device）素子にて反射することで後述する所定の縞パターンを投影する。ＤＭＤ素子は、スクリーンに投影された画像の各画素に対応する微細なミラーを備え、当該微細なミラーは、アレイ状に配置されている。ＤＭＤ素子は、各ミラーの角度を変化させてスクリーンへ出射する光を、マイクロ秒単位で切り替える（即ちＯＮ／ＯＦＦする）。このため、各ミラーは、反射ＯＦＦから反射ＯＮに切り替えられることで投光状態に切り替えられ、反射ＯＮから反射ＯＦＦに切り替えられることで消灯状態に切り替えられる。すなわち、投影部２０は、複数のミラーをアレイ状に配置したＤＭＤによる入射光の反射のＯＮ／ＯＦＦがミラーごとに制御部１１によって制御されることで、所定の縞パターンを投影する。このため、制御部１１は、各ミラーをＯＮにしている時間とＯＦＦにしている時間の比率によって、反射される光の階調（即ち明るさ）を変化させる。これにより、投影する画像の画像データに基づいた階調表示が可能になる。本実施形態では、投影部２０は、左上の座標を（１、１）、右下の座標を（ｋ、ｌ）とするｋ×ｌ画素（例えば、１１４０×９１２）に対応するミラーを備えている。
　このような構成では、発光状態ごとに確保される単位時間内に１回発光される単パルス発光の発光時間（即ち、反射ＯＮから反射ＯＦＦまでの時間）が長くなるほどその発光状態が明るくなるため、発光時間に応じて発光状態を特定することができる。例えば、ＤＭＤ素子に入射する光として、Ｒ色（赤色）、Ｇ色（緑色）、Ｂ色（青色）が用意される場合を考える。この場合には、Ｒ色がミラーにて反射することで発光するＲ色発光状態とＧ色がミラーにて反射することで発光するＧ色発光状態とＢ色がミラーにて反射することで発光するＢ色発光状態とが短時間の所定の周期で繰り返される。それぞれの発光状態の発光時間が個別に調整されることで、カラー画像が投影可能となる。このため、制御部１１は、単位時間中での反射のＯＮ／ＯＦＦタイミングを、後述する所定の縞パターンに応じてミラーごとに設定する。
　撮像部３０は、いわゆるイベントカメラである。撮像部３０は、受光した際に輝度変化のあった画素の位置が特定される二次元点データを含めたイベントデータ（具体的には、二次元点データ、時間、輝度変化の極性）を出力する撮像素子を備える。撮像部３０は、当該撮像素子から出力されるイベントデータから撮像画像を生成する。このため、撮像部３０では、撮像画像での各画素について、光を受光することで明るくなる輝度変化が生じると正極性（即ちプラス輝度変化）のイベントデータが出力され、その光が消えることで暗くなる輝度変化が生じて負極性（即ちマイナス輝度変化）のイベントデータが出力される。一定期間内に出力される複数のイベントデータの二次元点データをそれぞれ点として所定の平面にプロットすることで計測対象物Ｒ０を撮像した画像データが生成される。撮像部３０は、このように生成された画像データ又はイベントデータ（即ち二次元点データ、時間、輝度変化の極性）を計測部４０に出力する。
　計測部４０は、制御部１１により制御される。計測部４０は、投影部２０から予め決められた所定の縞パターンが投影されている状態の計測対象物Ｒ０を撮像部３０により撮像した撮像画像に基づいて、光切断法によりその計測対象物Ｒ０の三次元形状を計測する。
　このため、投影部２０は、光切断法用の所定の縞パターン（以下、縞パターンＰ０ともいう）を投影する。本実施形態における縞パターンＰ０は、第１の方向に沿って配置される複数の縞領域を含む。複数の縞領域の各々では、第１の方向において輝度が所定の割合で変化しこの第１の方向に直交する第２の方向において輝度が変化しない。具体的には、縞パターンＰ０は、図２Ｂに例示するノコギリ波のような投影により、図２Ａに例示する４つの縞領域Ｐａ～Ｐｄが左右方向（即ち第１の方向）に沿って配置されるように投影される。各縞領域Ｐａ～Ｐｄでは、輝度が、左右方向（即ち第１の方向）において左側から右側にかけて一定の割合で増加するように変化し、上下方向（即ち第２の方向）において変化しない。図２Ｂからわかるように、各縞領域について右側の画素ほど発光時間を長くすることで、図２Ａに示す縞パターンＰ０が投影される。
　撮像部３０は、このような縞パターンＰ０が投影された面を撮像する。撮像部３０では、同時間帯に出力される負極性のイベントデータから特定される複数の画素のうち上下方向の画素の位置を繋げた輝線が撮像される。当該輝線は、縞領域Ｐａ～Ｐｄごとの上下方向のラインであり、単位時間内で各縞領域Ｐａ～Ｐｄ内を左側から右側にそれぞれ移動する。当該輝線の移動が動画として撮像される。これは、縞領域の左端に近いほど暗くするために発光終了のタイミングが左端に近いほど早く設定され、縞領域の右端に近いほど明るくするために発光終了のタイミングが右端に近いほど遅く設定され、上下方向では発光終了のタイミングがほぼ同じに設定されるからである。
　具体的には、例えば、投影部２０が平面に対して縞パターンＰ０の投影を開始してから１０μｓ後の状態では、図３Ａに示すように、各縞領域Ｐａ～Ｐｄの左端近傍にて上下方向のラインである輝線Ｓａ～Ｓｄがそれぞれ撮像される。その後、例えば、投影開始から２０μｓ後の状態では、図３Ｂに示すように、右側に移動した輝線Ｓａ～Ｓｄが撮像される。投影開始から３０μｓ後の状態では、図３Ｃに示すように、さらに右側に移動した輝線Ｓａ～Ｓｄが撮像される。
　このような上下方向のラインであって撮像される輝線（即ち、負極性のイベントデータから特定される複数の画素のうちの上下方向の複数の画素の位置を繋げた線）は、光切断法にて用いられるライン状のレーザ光として利用することができる。
　以下、球面を有する計測対象物Ｒ０に対して上述した縞パターンＰ０を投影した場合に撮像部３０にて撮像される各輝線Ｓａ～Ｓｄを例として考える。その計測対象物Ｒ０の光切断法による三次元形状計測について、図４Ａ～４Ｃを参照して説明する。なお、図４Ａ～４Ｃでは、便宜上、計測対象物Ｒ０を二点鎖線にて図示している。
　計測対象物Ｒ０に対する縞パターンＰ０の撮像開始直後の縞領域Ｐｂ，Ｐｃでは、計測対象物Ｒ０の形状に応じて変形した輝線Ｓｂ，Ｓｃが撮像される。そして、撮像開始から１０μｓ後の縞領域Ｐｂ，Ｐｃでは、図４Ａに示すように、計測対象物Ｒ０に対してそれぞれ右側に移動し、その移動後の輝線Ｓｂ，Ｓｃの位置における計測対象物Ｒ０の形状に応じて変形した輝線Ｓｂ，Ｓｃが撮像される。その後、撮像開始から２０μｓ後及び３０μｓ後の縞領域Ｐｂ，Ｐｃでは、図４Ｂ及び図４Ｃに示すように、計測対象物Ｒ０に対してさらに右側に移動し、その移動後の輝線Ｓｂ，Ｓｃの位置における計測対象物Ｒ０の形状に応じて変形した輝線Ｓｂ，Ｓｃが撮像される。その一方で、縞領域Ｐａ，Ｐｄでは、図４Ａ～４Ｃからわかるように、輝線Ｓａ，Ｓｄは、計測対象物Ｒ０に重ならないために、それぞれ上下方向のラインのまま右側に移動し、撮像される。
　このため、計測部４０は、上記単位時間内にて計測対象物Ｒ０を撮像した際に撮像される各輝線Ｓａ～Ｓｄ、すなわち、同時間帯に出力される負極性のイベントデータから特定される複数の画素の位置に基づいて、その計測対象物Ｒ０の三次元形状を光切断法により計測することができる。
　以上説明したように、本実施形態に係る三次元計測装置１０では、投影部２０が計測対象物Ｒ０に対して投影する縞パターンＰ０は、縞領域Ｐａ～Ｐｄを含む。縞領域Ｐａ～Ｐｄの各々では、左右方向（即ち第１の方向）において輝度が所定の割合で変化し上下方向（即ち第１の方向に直交する第２の方向）において輝度が変化しない。撮像部３０は、受光した際に輝度変化のあった画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備える。計測部４０は、計測対象物Ｒ０が撮像される単位時間内にて同時間帯に出力される負極性のイベントデータから特定される複数の画素の位置に基づいて計測対象物Ｒ０の三次元形状を光切断法により計測する。
　これにより、同時間帯に出力される負極性のイベントデータから特定される複数の画素のうち上下方向の画素の位置を繋げた輝線Ｓａ～Ｓｄが縞領域Ｐａ～Ｐｄごとに得られる。そのため、投影部２０から投影される縞パターンＰ０での縞領域の数が多くなるほど、その縞パターンＰ０を撮像するための撮像時間を短縮することができる。
　例えば、左右方向に輝度が一定の割合で変化する１つの縞領域のみからなる縞パターンは、左端から右端まで徐々に発光時間が長くなるように投影される。このため、その縞パターンを平面に投影して撮像した場合の負極性のイベントデータの出力タイミングは、右端ほど遅くなる（例えば、図５の破線Ｌｂ参照）。その縞パターンを撮像するための撮像時間（例えば、図５の符号Ｔｂに相当）は、画素数に比例する。その一方で、本実施形態のように４つの縞領域Ｐａ～Ｐｄからなる縞パターンＰ０を撮像した場合の負極性のイベントデータの出力タイミングは、４つの縞領域で同時である（例えば、図５の実線Ｌａ参照）。そのため、縞パターンＰ０を撮像するための撮像時間（例えば、図５の符号Ｔａに相当）を、上記１つの縞領域のみからなる縞パターンの撮像時間の１／４に短縮することができる。
　このように、所定の縞パターンを撮像するための撮像時間、すなわち、三次元計測処理に要する処理時間を短縮することができる。即ち、所定の縞パターンにおける輝度が変化する方向の画素の増加に応じて三次元形状の計測処理時間が増加することを抑制することができる。
　なお、投影部２０から投影される光切断法用の所定の縞パターンは、図２Ａ及び２Ｂに例示するようなノコギリ波に限らない。例えば、図６Ａ及び６Ｂに例示するような三角波（例えば二等辺三角形状の波形）など、第１の方向において輝度が所定の割合で変化しこの第１の方向に直交する第２の方向において輝度が変化しない複数の縞領域を含み、複数の縞領域が第１の方向に沿って配置されるその他のパターンであってもよい。
＜第２実施形態＞
　次に、本開示の第２実施形態に係る三次元計測装置について、図面を参照して説明する。本実施形態は、非透明体及び透明体を区別して光切断法により三次元計測が行われる点で、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
　撮像部３０では、１つの画素に対して非透明体からの光と透明体からの光とが受光されることで、その１つの画素について２つのイベントデータ（例えば負極性のイベントデータ）が出力される場合がある。このような場合、各画素において最初に出力されるイベントデータ（例えば負極性のイベントデータ）として非透明体についてのイベントデータと透明体についてのイベントデータが混在する。そのせいで、正確な三次元計測が妨げられる場合がある。
　例えば、図７に示すように、黒板Ｒ１の上に透明板Ｒ２を備える計測対象物Ｒ０に対して、図８Ａに示すような三角波の縞パターン（即ち、隣り合う縞領域の輝度変化の割合が明暗について逆にした縞パターン）Ｐ０を投影した状態で、上述したように計測対象物Ｒ０の三次元形状を光切断法により計測する場合を想定する。なお、黒板Ｒ１は、非透明体の一例に相当し、透明板Ｒ２は、透明体の一例に相当する。
　黒板Ｒ１のみが撮像される場合、その撮像時に出力される負極性のイベントデータの出力タイミングを縦軸とし左右方向（即ち第１の方向）の画素の位置を横軸とする二次元における波形（以下、イベント波形ともいう）は、図８Ｂに例示するように生成される。また、透明板Ｒ２のみが撮像される場合、イベント波形は、図８Ｃに例示するように生成される。また、黒板Ｒ１の上に透明板Ｒ２を備える計測対象物Ｒ０を撮像した際に生成されるイベント波形は、図８Ｄのように生成される。なお、図８Ａ～８Ｄ及び後述する図９では、黒板Ｒ１の形状に起因して生成されるイベント波形を実線にて示し、透明板Ｒ２の形状に起因して生成されるイベント波形を破線にて示している。
　透明板Ｒ２の存在を考慮しない場合、各画素において最初に出力される負極性のイベントデータを利用して三次元計測が行われる。即ち、図９の上段のグラフにて太線で示す黒板Ｒ１に関するイベント波形の部分と透明板Ｒ２に関するイベント波形の部分とを利用して三次元計測が行われる。そのため、図７のように黒板Ｒ１及び透明板Ｒ２が計測されるべきだが、実際は、図９の下段に示すように、黒板Ｒ１の一部と透明板Ｒ２の一部とのみが計測され、他の部分についての計測結果が欠損し得る。
　このため、本実施形態における計測部４０は、透明体が非透明体の上にある計測対象物Ｒ０を計測している場合を想定する。計測部４０は、上述のように生成されるイベント波形を利用して、同時間帯に出力されるイベントデータから特定される複数の画素の位置に基づいて計測対象物Ｒ０の三次元形状を光切断法により計測する。
　具体的には、計測部４０は、撮像時に出力される負極性のイベントデータの出力タイミングを縦軸とし左右方向（即ち第１の方向）の画素の位置を横軸とする二次元におけるイベント波形を生成する。このイベント波形では、非透明体及び透明体を撮像している画素について２つの負極性のイベントデータが出力される。そのため、図８Ｄに例示するように、非透明体の形状に起因する一方のイベント波形（例えば図８Ｄの実線波形参照）と透明体の形状に起因する他方のイベント波形（例えば図８Ｄの破線波形参照）とがイベント波形に含まれる。非透明体と透明体とは離れているため、一方のイベント波形と他方のイベント波形とを容易に分離することができる。このため、上述のように生成されたイベント波形から分離される一方のイベント波形と他方のイベント波形とを利用することで、非透明体と透明体とを区別して三次元計測を行うことができる。特に、一般的に、撮像素子は、負極性のイベントデータが出力される直前の明るい状態では、電圧が高い状態であるために、感度が比較的低い。そのため、ノイズの発生が抑制される。このように、負極性のイベントデータの出力タイミングを利用することで、正極性のイベントデータの出力タイミングを利用する場合と比較して、三次元計測に関する計測精度を向上させることができる。
＜第３実施形態＞
　次に、本開示の第３実施形態に係る三次元計測装置について、図面を参照して説明する。本実施形態は、２種類の縞パターンを投影することで非透明体及び透明体を区別して光切断法により三次元計測を行う点で、上記第２実施形態と主に異なる。したがって、第２実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
　上記第２実施形態のように、１度の撮像で各画素にて出力される２つの負極性のイベントデータを利用する場合、本来出力すべきでないイベントデータがノイズとして生じて、正確な三次元計測を妨げる場合がある。これは、同じ画素について、最初の負極性のイベントデータが出力された後に、さらに負極性のイベントデータが出力されることが原因であり得る。
　このため、本実施形態では、投影部２０は、最初に第１縞パターンＰ１を所定の縞パターンとして投影した後に、第１縞パターンＰ１での所定の割合が明暗について逆である第２縞パターンＰ２を投影する。例えば、投影部２０は、図１０Ａに示すような第１縞パターンＰ１を投影した後に、図１０Ｂに示すような第２縞パターンＰ２を投影する。図１０Ａ及び１０Ｂに示すように、第２縞パターンＰ２の縞領域Ｐ２ａ～Ｐ２ｈは、第１縞パターンＰ１の縞領域Ｐ１ａ～Ｐ１ｈの左右をそれぞれ反転したものであり、その左右方向（即ち第１の方向）での輝度の変化割合が明暗について逆である。
　そして、計測部４０は、第１縞パターンＰ１の撮像時に最初に出力される負極性のイベントデータの出力タイミングを縦軸とし第１の方向の画素の位置を横軸とする　二次元における第１イベント波形Ｗ１を求める。続いて、計測部４０は、第２縞パターンＰ２の撮像時に最初に出力される負極性のイベントデータの出力タイミングを縦軸とし第１の方向の画素の位置を横軸とする二次元における第２イベント波形Ｗ２を求める。計測部４０は、第１イベント波形Ｗ１と反転した第２イベント波形Ｗ２とを合成した合成波形Ｗを利用して、同時間帯に出力されるイベントデータから特定される複数の画素の位置に基づいて計測対象物Ｒ０の三次元形状を光切断法により計測する。
　具体的には、例えば、図７に示すような黒板Ｒ１の上に透明板Ｒ２を備える計測対象物Ｒ０の三次元形状を計測する場合、図１０Ａに示す第１縞パターンＰ１の撮像時の第１イベント波形Ｗ１は、図１１Ａの上段に示すように生成される。この第１イベント波形Ｗ１は、図１１Ａの下段に示すように、黒板Ｒ１の一部の形状と透明板Ｒ２の一部の形状とに応じて生成される。
　その後、図１０Ｂに示す第２縞パターンＰ２の撮像時の第２イベント波形Ｗ２は、図１１Ｂの上段に示すように生成される。この第２イベント波形Ｗ２は、図１１Ｂの下段に示すように、上記黒板Ｒ１の一部以外の残部の形状と上記透明板Ｒ２の一部以外の残部の形状とに応じて生成される。
　第１イベント波形Ｗ１及び第２イベント波形Ｗ２は、それぞれ最初の負極性のイベントデータの出力タイミングに基づいて生成される。そのため、上述したノイズの影響が抑制される。また、第２縞パターンＰ２は、第１縞パターンＰ１での所定の割合が明暗について逆であるため、同じ画素の位置での黒板Ｒ１と透明板Ｒ２との明暗（即ち発光時間の大小関係）が反転する。そのため、第１縞パターンＰ１の投影時に２番目に出力される負極性のイベントデータが、第２縞パターンＰ２の投影時には最初に出力される。
　このため、図１２に示すように、第１縞パターンＰ１の投影時に生成された第１イベント波形Ｗ１と第２縞パターンＰ２の投影時に生成された第２イベント波形Ｗ２を反転した波形とを合成することで、合成波形Ｗ０が生成される。合成波形Ｗ０は、非透明体の形状に起因する一方のイベント波形と透明体の形状に起因する他方のイベント波形とを含む。これにより、上述のように合成されたイベント波形から分離される一方のイベント波形と他方のイベント波形とを利用することで、ノイズの影響を抑制しつつ非透明体と透明体とを区別して三次元計測を行うことができる。なお、ノイズが発生しない場合には、図１２にて示す合成波形Ｗ０は、図８Ｄにて示すイベント波形と実質的に同じである。
＜第４実施形態＞
　次に、本開示の第４実施形態に係る三次元計測装置について、図面を参照して説明する。本実施形態は、非透明体の縞番号と透明体の縞番号とをそれぞれ特定しつつ非透明体及び透明体を区別して光切断法により三次元計測する点で、上記第２実施形態と主に異なる。したがって、第２実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
　複数の縞領域からなる縞パターンを撮像する場合、どの縞領域を撮像しているか画素ごとに特定する必要がある。具体的には、縞領域を識別する縞番号を特定するため、投影部２０は、上記縞パターンを投影した計測対象物Ｒ０に対して、さらに、縞番号特定用パターンを投影する。計測部４０は、縞番号特定用パターンが投影された計測対象物Ｒ０の撮像時に出力される負極性のイベントデータの出力タイミングに基づいて、縞番号を特定するための縞番号特定処理を行う。
　具体的には、例えば、左から縞番号１～４の４つの縞領域がある縞パターン用の縞番号特定用パターンについて説明する。縞番号１の縞領域では、図１３Ａに例示するように、投影開始から１ｍｓで発光時間が終了する。縞番号２の縞領域では、図１３Ｂに例示するように、投影開始から２ｍｓで発光時間が終了する。縞番号３の縞領域では、図１３Ｃに例示するように、投影開始から３ｍｓで発光時間が終了する。縞番号４の縞領域では、図１３Ｄに例示するように、投影終了まで発光時間が継続する。これにより、計測部４０にて行われる縞番号特定処理では、例えば、縞番号特定用パターンの投影開始から１ｍｓ後に最初の負極性のイベントデータが出力される画素についての縞番号は、１であると特定できる。同様に、投影開始から２ｍｓ後に最初に負極性のイベントデータが出力される画素についての縞番号は、２であると特定することができる。なお、各縞領域に対応する発光時間は、計測対象物Ｒ０又は計測環境等に応じて、適宜変更することができる。また、縞番号特定用パターンの各縞領域に対応する発光時間の単位は、縞パターンの発光時間の単位と異なる。上記では、各縞領域に対応する発光時間の単位は、１ｍｓである。即ち、縞番号特定用パターンは、１ｍｓ毎に変化する。この場合、縞番号特定用パターンが安定するため、縞番号をより確実に特定することができる。他方で、縞番号特定用パターンの各縞領域に対応する発光時間の単位は、縞パターンの発光時間の単位と同じであってもよい。例えば、各縞領域に対応する発光時間の単位は、１０μｓであってもよい。即ち、縞番号特定用パターンは、１０μｓ毎に変化してもよい。この場合、縞番号の特定を高速に行うことができる。
　ここで、投影された縞番号特定用パターンの撮像時に、上述のように各画素において最初に出力される負極性のイベントデータの出力タイミングに基づいて縞番号を特定する構成を想定する。当該構成では、非透明体及び透明体を要因として２つの負極性のイベントデータが異なるタイミングで出力され得る。それにより、誤った縞番号が特定される可能性がある。
　このため、本実施形態における縞番号特定処理では、縞番号特定用パターンの撮像時に各画素について２つの負極性のイベントデータが異なるタイミングで出力される場合を想定して縞番号を特定する。
　例えば、黒板Ｒ１の上に透明板Ｒ２を備える計測対象物Ｒ０の計測時に、４縞（即ち４つの縞領域）からなる三角波の縞パターンが投影される。生成されるイベント波形は、黒板Ｒ１の形状に起因する一方のイベント波形（例えば、図１４の実線波形参照）と、透明板Ｒ２の形状に起因する他方のイベント波形（例えば、図１４の破線波形参照）とを含む。この場合に、上述した縞番号特定用パターン（例えば、図１３Ａ～１３Ｄ参照）が投影されると想定する。
　この場合、図１４からわかるように、画素Ｇ１では、黒板Ｒ１の縞番号と透明板Ｒ２の縞番号が同じ１である。図１５Ａに示すように、縞番号特定用パターンの投影開始から１ｍｓ後に輝度変化が生じる。即ち、正極性のイベントデータが発生してから１ｍｓ後に最初の負極性のイベントデータが出力される。このように、縞番号特定用パターンの撮像時に負極性のイベントデータが１つ出力される場合には、その画素について１つの縞番号が特定される。そのため、黒板Ｒ１及び透明板Ｒ２のいずれかについて誤った縞番号が特定されることもない。
　その一方で、画素Ｇ２では、黒板Ｒ１の縞番号が１であり、透明板Ｒ２の縞番号が２である。図１５Ｂに示すように、投影開始から１ｍｓ後に１回目の輝度変化が生じたことで１回目の負極性のイベントデータが出力される。その後、投影開始から２ｍｓ後に２回目の輝度変化が生じたことで２回目の負極性のイベントデータが出力される。このように、縞番号特定用パターンの撮像時に１つの画素について２つの負極性のイベントデータが異なるタイミングで出力される場合には、２つの縞番号１、２が候補として特定される。しかし、２つの縞番号のいずれが黒板Ｒ１の縞番号又は透明板Ｒ２の縞番号であるかまでは特定されない。このように、２つの縞番号が候補として特定される場合には、予め想定される計測対象物Ｒ０の三次元形状に基づいて、黒板Ｒ１の縞番号と透明板Ｒ２の縞番号とがそれぞれ特定される。なお、計測対象物Ｒ０の三次元形状に関する情報は、予め、制御部１１の記憶部等に記憶することができる。
　すなわち、黒板Ｒ１の縞番号が１であり透明板Ｒ２の縞番号が２である場合の計測結果と、黒板Ｒ１の縞番号が２であり透明板Ｒ２の縞番号が１である場合の計測結果のいずれが、予め想定される計測対象物Ｒ０の三次元形状に近いかが判定される。上述した例であれば、黒板Ｒ１の縞番号が１であり透明板Ｒ２の縞番号が２である場合の計測結果が、計測対象物Ｒ０の三次元形状により近くなると判定されて、黒板Ｒ１の縞番号が１、透明板Ｒ２の縞番号が２と特定される。
　このように、縞番号特定処理では、縞番号特定用パターンの撮像時に各画素について２つの負極性のイベントデータが異なるタイミングで出力される場合があると想定して縞番号を特定する。これにより、最初に出力される負極性のイベントデータの出力タイミングのみに基づいて縞番号を特定しないため、誤った縞番号が特定されることを抑制することができる。そして、非透明体及び透明体を要因として２つの縞番号が特定される画素については、予め想定される計測対象物の三次元形状に基づいて、非透明体の縞番号と透明体の縞番号とをそれぞれ特定する。これにより、非透明体と透明体との縞番号を取り違えることを抑制することができる。
＜第５実施形態＞
　次に、本開示の第５実施形態に係る三次元計測装置について、図面を参照して説明する。本実施形態は、２種類の縞番号特定用パターンを投影し、非透明体の縞番号と透明体の縞番号とをそれぞれ正確に特定し、非透明体及び透明体を区別して光切断法により三次元計測する点で、上記第４実施形態と主に異なる。したがって、第４実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
　上記第４実施形態のように、１度の撮像で画素ごとに出力される２つの負極性のイベントデータを利用する場合、最初の負極性のイベントデータが出力された後に同じ画素で同じ極性のイベントデータが連続して出力される場合等の理由で、本来出力すべきでないイベントデータがノイズとして生じて、正確な縞番号の特定の妨げになる場合がある。
　このため、本実施形態では、投影部２０は、さらに、縞領域を識別する縞番号を特定するための第１縞番号特定用パターンＰＰ１と第２縞番号特定用パターンＰＰ２とを投影する。第１縞番号特定用パターンＰＰ１では、左右方向（即ち第１の方向）において輝度が縞領域の各々で異なるように所定の段階で変化し上下方向（即ち第２の方向）において輝度が変化しない。そして、第２縞番号特定用パターンＰＰ２では、第１縞番号特定用パターンＰＰ１での所定の段階が明暗について逆である。
　例えば、第１縞番号特定用パターンＰＰ１では、図１３Ａ～１３Ｄのように発光時間が制御される。第１縞番号特定用パターンＰＰ１が図１６の左側のように投影される場合には、第２縞番号特定用パターンＰＰ２は、図１６の右側のように投影される。すなわち、第１縞番号特定用パターンＰＰ１が、縞領域ＰＰ１ａ、縞領域ＰＰ１ｂ、縞領域ＰＰ１ｃの順で暗くなるように投影される場合には、第２縞番号特定用パターンＰＰ２が、縞領域ＰＰ１ｄに対応する縞領域ＰＰ２ｄ、縞領域ＰＰ１ｃに対応する縞領域ＰＰ２ｃ、縞領域ＰＰ１ｂに対応する縞領域ＰＰ２ｂの順で暗くなるように投影される。
　計測部４０にてなされる縞番号特定処理では、第１縞番号特定用パターンＰＰ１を投影した計測対象物Ｒ０の撮像時に最初に出力される負極性のイベントデータの出力タイミングと、第２縞番号特定用パターンＰＰ２を投影した計測対象物Ｒ０の撮像時に最初に出力される負極性のイベントデータの出力タイミングと、に基づいて縞番号を特定する。
　具体的には、各画素について、第１縞番号特定用パターンＰＰ１の投影時の負極性のイベントデータの出力タイミングから特定される縞番号と、第２縞番号特定用パターンＰＰ２の投影時の負極性のイベントデータの出力タイミングから特定される縞番号とを、それぞれ特定する。第１縞番号特定用パターンＰＰ１の投影時では、左側から１、２、３、４の順で縞番号が特定される。第２縞番号特定用パターンＰＰ２の投影時では、右側から４、３、２、１の順で縞番号が特定される。そして、２つの縞番号特定用パターンについてそれぞれ特定される縞番号が一致する場合には、その縞番号が当該画素の縞番号として特定される。
　その一方で、２つの縞番号特定用パターンについてそれぞれ特定される縞番号が異なる場合には、非透明体の上に透明体を備える計測対象物Ｒ０を計測していることになる。この場合は、上記第４実施形態と同様に、それら２つの縞番号を候補として特定する。例えば、上述した画素Ｇ２では、第１縞番号特定用パターンＰＰ１の投影時に縞番号１が特定されて、第２縞番号特定用パターンＰＰ２の投影時に縞番号２が特定される。これは、第１縞番号特定用パターンＰＰ１の投影時の縞番号の順と第２縞番号特定用パターンＰＰ２の投影時の縞番号の順が、左右方向について逆になるからである。
　このように、２つの縞番号が候補として特定される場合には、上述したように、予め想定される計測対象物Ｒ０の三次元形状に基づいて、非透明体の縞番号と透明体の縞番号とをそれぞれ特定する。
　第１縞番号特定用パターンＰＰ１の撮像時に最初に出力される負極性のイベントデータの出力タイミングと、第２縞番号特定用パターンＰＰ２の撮像時に最初に出力される負極性のイベントデータの出力タイミングとに基づいて、縞番号を特定する。そのため、縞番号の特定に関して上述したノイズの影響が抑制される。そして、第２縞番号特定用パターンＰＰ２は、第１縞番号特定用パターンＰＰ１での所定の段階が明暗について逆である。そのため、第１縞番号特定用パターンＰＰ１の投影時に２番目に出力される負極性のイベントデータが、第２縞番号特定用パターンＰＰ２の投影時には最初に出力されることになる。このため、ノイズの影響を抑制しつつ非透明体と透明体との縞番号を取り違えることを抑制することができる。
　なお、本開示は上記各実施形態等に限定されるものではなく、例えば、以下のような構成であってもよい。
（１）上述した縞パターンＰ０を構成する縞領域の数は、４つに限らず、２つ又は３つであってもよいし、５つ以上であってもよい。同様に、上述した第１縞パターンＰ１及び第２縞パターンＰ２を構成する縞領域の数は、８つに限らず、２つ～７つであってもよいし、９つ以上であってもよい。なお、第１縞番号特定用パターンＰＰ１及び第２縞番号特定用パターンＰＰ２は、同数の縞領域を有する。
（２）三次元計測装置１０は、ロボットのハンドに組み付けられた状態で移動して、相対移動する計測対象物の三次元形状を計測することに限らない。例えば、三次元計測装置１０は、固定されて、搬送ライン上を移動する計測対象物の三次元形状を計測してもよい。
（３）三次元計測装置１０は、投影部２０及び撮像部３０と計測部４０とが別体であってもよい。例えば、計測部４０が、投影部２０及び撮像部３０と無線通信又は有線通信が可能な情報処理端末であってもよい。
（４）上記各実施形態では、負極性のイベントデータの出力タイミングを利用して計測対象物Ｒ０の三次元計測行われる。しかし、これに限らず、投影部２０から投影される所定の縞パターンの輝度変化を適切に調整することができれば、正極性のイベントデータの出力タイミングを利用して計測対象物Ｒ０の三次元計測が行われてもよい。
（５）上記各実施形態において投影部２０から投影される縞パターンは、図２Ａ、２Ｂ、及び図６Ａ、６Ｂ等に例示するように生成されることに限らない。例えば、当該縞パターンは、第１の方向において輝度が所定の割合で変化しこの第１の方向に直交する第２の方向において輝度が変化しない複数の縞領域を含み、複数の縞領域が第１の方向に沿って配置されれば、どのようなパターンであってもよい。また、上記所定の割合は、予め設定されていれば、縞領域ごとに異なってもよい。具体的には、上記所定の割合は、各縞領域において、全ての画素で発光時間が設定されて、かつ、２以上の画素で同じ発光時間とならないように設定される。例えば、図１７に例示するように、縞番号１（即ち１周期目）では、発光時間が、最初の期間で直線的に増加して次の期間で対数的に増加して最後の期間で直線的に減少するように、上記所定の割合が設定されてよい。また、縞番号２（即ち２周期目）では、発光時間が直線的に減少するように、上記所定の割合が設定されてよい。
　また、三次元計測装置１０は、図１８のフローチャートが示すような処理を行ってもよい。具体的には、三次元計測装置１０は、複数の縞領域を含むパターンを投影する（ステップＳ２０１）。三次元計測装置１０は、縞パターンが投影された物体を撮像する（ステップＳ２０３）。三次元計測装置１０は、撮像素子から同時間帯に出力されるイベントデータを取得する（ステップＳ２０５）。三次元計測装置１０は、イベントデータから複数の画素の位置を特定する（ステップＳ２０７）。三次元計測装置１０は、複数の画素の位置に基づいて物体の三次元形状を光切断法により計測する（ステップＳ２０９）。
＜第６実施形態＞
　従来、計測対象物の三次元形状等を計測する三次元計測装置として、例えば、位相シフト法を利用した装置が知られている。位相シフト法は、位相をずらした複数の縞パターン画像を投影することでこの複数の縞パターン画像を投影した計測対象物に関して三次元計測を行う手法である。当該三次元計測では、計測対象物の表面形状に応じてゆがんだ値に相当する位相値が求められる。
　ところで、上述のような位相シフト法を利用して画素ごとに位相値を求める場合、位相解析のために少なくとも３種類以上の縞パターンを投影する必要がある。具体的には、所定の順番で３パターン以上の縞パターンが投影される。そのため、イベントカメラから出力されるイベントデータを利用できたとしても、縞パターンの数だけ三次元計測処理に時間がかかってしまう。
　本開示は、上述した課題を解決するためになされたものであり、その目的とするところは、縞パターンの１度の投影で三次元計測可能な装置を提供することにある。
　本開示の一実施形態に係る三次元計測装置は、
　計測対象領域に対して所定の縞パターンを投影する投影部（２０）と、
　前記所定の縞パターンが投影された前記計測対象領域に配置された計測対象物を撮像する撮像部（３０）と、
　前記撮像部の撮像画像から画素ごとに求められる位相値θを利用して前記計測対象物の三次元形状を計測する計測部（４０）と、
　前記投影部を制御する制御部（１１）と、
　を備える三次元計測装置（１０）であって、
　前記投影部は、複数のミラーをアレイ状に配置したＤＭＤ（Digital　Micromirror　Device）による入射光の反射のＯＮ及びＯＦＦが前記複数のミラーの各々について前記制御部によって制御されることで、単位時間中での前記反射のＯＮからＯＦＦまでの時間が所定のパターン方向に沿って所定のサイン波パターンで変化するように、前記所定の縞パターンを投影し、
　前記撮像部は、受光した際に輝度変化のあった画素の位置が特定される二次元点データを含むイベントデータを出力する撮像素子を備えて、前記撮像素子から出力されるイベントデータから前記撮像画像を生成し、
　前記撮像素子は、明るくなる輝度変化の場合に正極性のイベントデータを出力し、暗くなる輝度変化の場合に負極性のイベントデータを出力し、
　前記計測部は、前記撮像素子から前記単位時間中に出力される第１のイベントデータの出力タイミングと第２のイベントデータの出力タイミングとの時間差を縞パターン情報Ｉｓとして画素ごとに算出し、振幅をα、オフセット値をβとする下記の式に基づいて前記位相値θを画素ごとに求め、
　Ｉｓ＝αｃｏｓθ＋β
　前記第１のイベントデータは、前記第２のイベントデータよりも先に出力され、
　前記振幅α及び前記オフセット値βは、前記所定のサイン波パターンに関する情報から求められる。
　縞パターン情報Ｉｓは、反射のＯＮ／ＯＦＦによって生じる２つのイベントデータの出力タイミングの時間差に相当する。所定の縞パターンは、反射のＯＮからＯＦＦまでの時間が所定のパターン方向に沿って所定のサイン波パターンで変化するように投影される。ここで、上記式の振幅α及びオフセット値βは、上記所定のサイン波パターンの振幅及びオフセット値と同じであって既知である。そのため、所定の縞パターンの１度の投影で得られる縞パターン情報Ｉｓから位相値θを求めることができる。したがって、所定の縞パターンの１度の投影で三次元計測可能な三次元計測装置を実現することができる。
　また、計測部は、算出された縞パターン情報Ｉｓと第１のイベントデータ（先に出力されるイベントデータ）及び第２のイベントデータ（後に出力されるイベントデータ）の極性とに基づいて位相値θを画素ごとに求めてよい。
　このため、イベントデータの極性を考慮しない場合と比較して、所定の縞パターンの１つの縞領域で求められる位相値θの個数を倍増することができる。これにより、所定の縞パターンに占める縞領域の数を半減することができ、縞領域を特定するための処理時間が半分になる。その結果、三次元計測の処理時間を短縮することができる。
　以下、本開示の第６実施形態に係る三次元計測装置について、図面を参照して説明する。本実施形態に係る三次元計測装置１０は、計測対象物Ｒ０の三次元形状を計測する装置である。三次元計測装置１０は、図１及び図１９に示すように、制御部１１と、投影部２０と、撮像部３０と、計測部４０と、を備える。制御部１１は、全体制御を司る。投影部２０は、計測対象物Ｒ０に対して所定の縞パターンを投影する。撮像部３０は、所定の縞パターンが投影された計測対象物Ｒ０を撮像する。計測部４０は、この撮像画像から計測対象物Ｒ０の三次元形状を計測する。このように構成される三次元計測装置１０は、例えば、ロボットのハンドに組み付けられることで、ハンドに対して高速に相対移動することになるワーク等の計測対象物Ｒ０の三次元形状を計測してよい。ここで、相対移動とは、ロボットのハンドに組付けられた三次元計測装置１０の移動と計測対象物Ｒ０の移動との間での相対的な移動を指している。三次元計測装置１０の位置が固定されている場合には、相対移動は計測対象物Ｒ０の移動となる。
　なお、図１９では、便宜上、１３縞目まである一般的な縞パターンを簡略化して図示している。より具体的には、一般的な縞パターンはサイン波パターンで表わされるので、縞パターンの明色部分と暗色部分は同様の幅となる。しかし、図１９では、便宜上、暗色部分の幅を小さくして線で表わしている。かつ、縞の数も実施形態では１３以上であるが、１３に省略している。
　三次元計測装置１０は、図２５に示されるように、ハードウェア構成として、プロセッサ１０１及びメモリ１０３を備える。例えば、三次元計測装置１０は、マイクロコンピュータを備えてよい。マイクロコンピュータは、ＣＰＵ、システムバス、入出力インタフェース、ＲＯＭ，ＲＡＭ、不揮発性メモリなどを備えてよい。メモリ１０３には、ロボット制御に関するプログラムに加えて、投影部２０の制御に関するプログラム及び計測部４０による三次元計測結果を利用した制御処理を実行するためのプログラム等が予め格納されている。上記ハードウェア構成により、制御部１１及び計測部４０の機能が実現されてよい。
　投影部２０は、いわゆるＤＬＰプロジェクタである。投影部２０は、制御部１１により制御されて、光源からの光をＤＭＤ素子にて反射することで後述する所定の縞パターンを投影する。ＤＭＤ素子は、スクリーンに投影された画像の各画素に対応する微細なミラーを備え、当該微細なミラーは、アレイ状に配置されている。ＤＭＤ素子は、各ミラーの角度を変化させてスクリーンへ出射する光を、マイクロ秒単位で切り替える（即ちＯＮ／ＯＦＦする）。このため、各ミラーは、反射ＯＦＦから反射ＯＮに切り替えられることで投光状態に切り替えられ、反射ＯＮから反射ＯＦＦに切り替えられることで消灯状態に切り替えられる。すなわち、投影部２０は、複数のミラーをアレイ状に配置したＤＭＤによる入射光の反射のＯＮ／ＯＦＦがミラーごとに制御部１１によって制御されることで、単位時間中での反射のＯＮからＯＦＦまでの時間が所定のパターン方向に沿って所定のサイン波パターンで変化するように、所定の縞パターンを投影する。このため、制御部１１は、各ミラーをＯＮにしている時間とＯＦＦにしている時間の比率によって、反射される光の階調（即ち明るさ）を変化させる。これにより、投影する画像の画像データに基づいた階調表示が可能になる。
　このような構成では、発光状態ごとに確保される単位時間内に１回発光される単パルス発光の発光時間（即ち、反射ＯＮから反射ＯＦＦまでの時間）が長くなるほどその発光状態が明るくなるため、発光時間に応じて発光状態を特定することができる。図１９での画素について左上の座標を（１、１）、右下の座標を（ｋ、ｌ）とした場合、投影部２０は、ｋ×ｌ画素（例えば、１１４０×９１２）に対応するミラーを備えている。また、例えば、ＤＭＤ素子に入射する光として、Ｒ色（赤色）、Ｇ色（緑色）、Ｂ色（青色）が用意される場合を考える。この場合には、Ｒ色がミラーにて反射することで発光するＲ色発光状態とＧ色がミラーにて反射することで発光するＧ色発光状態とＢ色がミラーにて反射することで発光するＢ色発光状態とが短時間の所定の周期で繰り返される。それぞれの発光状態の発光時間が個別に調整されることで、カラー画像が投影可能となる。このため、制御部１１は、単位時間中での反射のＯＮ／ＯＦＦタイミングを、後述する所定の縞パターンに応じてミラーごとに設定する。
　撮像部３０は、いわゆるイベントカメラである。撮像部３０は、受光した際に輝度変化のあった画素の位置が特定される二次元点データを含めたイベントデータ（具体的には、二次元点データ、時間、輝度変化の極性）を出力する撮像素子を備える。撮像部３０は、当該撮像素子から出力されるイベントデータから撮像画像を生成する。このため、撮像部３０では、撮像画像での各画素について、光を受光することで明るくなる輝度変化が生じると正極性（即ちプラス輝度変化）のイベントデータが出力され、その光が消えることで暗くなる輝度変化が生じて負極性（即ちマイナス輝度変化）のイベントデータが出力される。一定期間内に出力される複数のイベントデータの二次元点データをそれぞれ点として所定の平面にプロットすることで計測対象物Ｒ０を撮像した画像データが生成される。撮像部３０は、このように生成された画像データ又はイベントデータ（即ち二次元点データ、時間、輝度変化の極性）を計測部４０に出力する。本実施形態では、三次元計測装置１０から規定距離離れた位置にて、投影部２０から投影される所定の縞パターンの投影範囲と撮像部３０の撮像視野の全体又は予め決められた一部とが一致するように、投影部２０と撮像部３０とが配置されている。
　計測部４０は、制御部１１により制御される。計測部４０は、投影部２０から予め決められた所定の縞パターンが投影されている状態の計測対象物Ｒ０を撮像部３０により撮像した撮像画像から画素ごとに求められる位相値θを利用して、その計測対象物Ｒ０の三次元形状を計測する。
　ここで、まず、一般的な位相シフト法について説明する。一般的に、位相シフト法では、予め決められた縞パターンが投影された計測対象物Ｒ０の撮像画像である格子画像（即ち縞画像）に基づいて、その計測対象物Ｒ０の表面形状に応じてゆがんだ値に相当する位相値θが求められる。そして、位相シフト法では、下記の式（１）の輝度値Ｉ（ｘ，ｙ，ｎ）から特定されるサイン波パターンが採用される。すなわち、位相シフト回数をＮとしたとき、Ｎ枚の位相シフトされた格子画像（即ち縞画像）の輝度値Ｉ（ｘ，ｙ，ｎ）が式（１）によって表される。
　Ｉ（ｘ，ｙ，ｎ）＝ａ（ｘ，ｙ）ｃｏｓ｛θ（ｘ，ｙ）＋２πｎ／Ｎ｝＋ｂ（ｘ，ｙ）　　・・・（１）
　ここで、点（ｘ，ｙ）は、格子画像内の１点（即ち１画素）である。ａ（ｘ，ｙ）は、輝度振幅である。ｂ（ｘ，ｙ）は、背景輝度を示す。θ（ｘ，ｙ）は、ｎ＝０の格子の位相値を示す。Ｎ個の格子画像の輝度値Ｉ（ｘ，ｙ，ｎ）から求めた位相値θ（ｘ，ｙ）に応じて点（ｘ，ｙ）までの距離が測定される。
　具体的には、例えば、上述したＲ色発光状態、Ｇ色発光状態、Ｂ色発光状態により形成される１周期で３つの格子画像が得られる場合を考える。この場合には、Ｎ＝３として、Ｒ色発光状態での輝度値Ｉ（ｘ，ｙ，０）とＧ色発光状態での輝度値Ｉ（ｘ，ｙ，１）とＢ色発光状態での輝度値Ｉ（ｘ，ｙ，２）とが、撮像画像から求められる。この場合には、位相シフト法用の所定の縞パターンは、Ｒ色のみで構成されるサイン波パターンとＧ色のみで構成されるサイン波パターンとＢ色のみで構成されるサイン波パターンの位相がそれぞれ２π／３ずれるように構成される。
　このため、計測部４０は、上記撮像画像における点（ｘ，ｙ）での輝度値Ｉ（ｘ，ｙ，０）、輝度値Ｉ（ｘ，ｙ，１）、輝度値Ｉ（ｘ，ｙ，２）が得られている場合には、上記式（１）を利用して位相値θ（ｘ，ｙ）を求める。計測部４０は、このように求めた位相値θ（ｘ，ｙ）に応じて点（ｘ，ｙ）までの距離を測定する。このようにして撮像した計測対象物Ｒ０の各点（ｘ，ｙ）の距離がそれぞれ測定されることで、その計測対象物Ｒ０の三次元形状を計測することができる。
　例えば、三次元計測装置１０から図２０の点Ｑ１までの距離を求める場合、計測部４０は、投影部２０より所定の縞パターンをＮ回シフトして投影した状態での撮像部３０のＮ枚の撮影画像から、点Ｑ１の位相値θとその点Ｑ１が何縞目かという情報（即ち縞番号）とを求める。このように求めた位相値θ及び縞番号から投影部２０での角度θｐ１と撮像部３０での角度θｃ１とが求められる。投影部２０と撮像部３０との距離（即ち視差Ｄｐ）は既知であるため、三角測量により点Ｑ１の距離を求めることができる。同様に、図２０の点Ｑ２の距離は、Ｎ枚の撮影画像から求めた点Ｑ２の位相値θ及び縞番号から求められる投影部２０での角度θｐ２と撮像部３０での角度θｃ２とに基づいて、三角測量により求めることができる。この計算を計測エリア全体で行うことにより、三次元計測を行うことができる。
　次に、本実施形態において計測対象物Ｒ０の三次元形状を計測する際に、計測部４０にて行われる三次元計測処理について、図面を参照して詳述する。本実施形態では、高速に相対移動する計測対象物Ｒ０を精度良く撮像するための撮像部として、イベントカメラを採用している。このような構成では、輝度変化があった画素に対応するイベントデータが出力される。しかし、そのイベントデータには輝度値が含まれないため、位相シフト法に必要な輝度値（例えば、上述したＩ（ｘ，ｙ，０）、Ｉ（ｘ，ｙ，１）、Ｉ（ｘ，ｙ，２））を直接取得できない。
　このため、本実施形態では、計測対象物Ｒ０に対して上記所定のサイン波パターンで変化する所定の縞パターン（即ち、同じ縞領域が上記所定のパターン方向に沿って繰り返し配置される縞パターン）が投影される。さらに、計測部４０は、三次元計測処理にて、計測対象物Ｒ０の表面形状に応じてゆがんだ値に相当する位相値θを投光又は消灯の時間長に基づき画素ごとに求めることで、その計測対象物Ｒ０の三次元形状を計測する。
　具体的には、計測部４０は、撮像素子から単位時間中に先に出力される正極性のイベントデータの出力タイミングとその後に出力される負極性のイベントデータとの出力タイミングの時間差を縞パターン情報Ｉｓとして画素ごとに算出する。計測部４０は、振幅α、オフセット値βを含む下記の式（２）から導き出される下記の式（３）に基づいて位相値θを画素ごとに求める。
　Ｉｓ（ｘ，ｙ）＝αｃｏｓθ（ｘ，ｙ）＋β　・・・（２）
　θ（ｘ，ｙ）＝ａｒｃｃｏｓ｛［Ｉｓ（ｘ，ｙ）－β］／α｝　・・・（３）
　縞パターン情報Ｉｓは、反射のＯＮ／ＯＦＦによって生じる２つのイベントデータの出力タイミングの時間差に相当する。所定の縞パターンは、反射のＯＮからＯＦＦまでの時間が所定のパターン方向に沿って所定のサイン波パターンで変化するように投影される。
　本実施形態では、上記式の振幅α及びオフセット値βは、以下の理由により、投影時の所定のサイン波パターンの振幅及びオフセット値と同じ値になる。例えば、所定の縞パターンを構成する複数の縞領域の１つが、図２１Ａに示すような投影パターンで作成される場合を想定する。なお、図２１Ａでは、横軸が上記縞領域での画素位置を示し、縦軸が反射ＯＮから反射ＯＦＦまでの時間（即ち投光時間：ＯＮ時間）Ｉｏを示している。本実施形態では、１つの投光時間から１つの位相値θ（即ち画素）を特定できるようにするため、図２１Ａからわかるように、各縞領域について、半周期のサイン波パターン（即ち０ｄｅｇ～１８０ｄｅｇのコサインカーブ）が採用されている。
　上述のような投影パターンが投影された範囲をイベントカメラで撮像することで得られる波形パターンは、図２１Ｂからわかるように、振幅α及びオフセット値βが上記投影パターンの振幅及びオフセット値と同じになる。従来の位相シフト法にて採用される輝度基準（即ち輝度に基づく処理）では光の減衰等のせいで投影側と撮像側との間で振幅及びオフセット値が変化する。しかし、本実施形態のような時間基準（即ち投光又は消灯の時間長に基づく処理）では投影側と撮像側との間で遅延等が実質的には生じない。そのため、投影側の投影パターンの振幅及びオフセット値と撮像側の波形パターンの振幅及びオフセット値が同じになる。なお、図２１Ｂでは、横軸が図２１Ａと同じ画素位置を示し、縦軸が先に出力される正極性のイベントデータの出力タイミングと後に出力される負極性のイベントデータとの出力タイミングの時間差である縞パターン情報Ｉｓを示している。
　上記式（２）（３）の振幅α及びオフセット値βは、投影時の所定のサイン波パターンの振幅及びオフセット値と同じであって既知であるので、当該所定のサイン波パターンに関する情報から求めることができる。このように、振幅α及びオフセット値βを既知として取り扱うことができる。そのため、位相シフト法のような複数回の投影ではなく１度の投影で得られる縞パターン情報Ｉｓから位相値θを画素ごとに求めることができる。したがって、イベントデータを利用しつつ所定の縞パターンの１度の投影で三次元計測可能な三次元計測装置１０を実現することができる。その結果、三次元計測処理の時間を短縮することができる。
　なお、計測部４０にてなされる三次元計測処理では、撮像素子から単位時間中に先に出力される負極性のイベントデータの出力タイミングとその後に出力される正極性のイベントデータとの出力タイミングの時間差が縞パターン情報Ｉｓとして算出されてもよい。
＜第７実施形態＞
　次に、本開示の第７実施形態に係る三次元計測装置について、図面を参照して説明する。本実施形態は、イベントデータの極性をも利用して位相値θを求める点が、上記第６実施形態と主に異なる。したがって、第６実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
　上述した第６実施形態では、１つの投光時間から１つの位相値θを特定できるようにするため、各縞領域について、半周期のサイン波パターン（即ち０ｄｅｇ～１８０ｄｅｇのコサインカーブ）が採用されている。これは、図２２からわかるように、１周期のサイン波パターンを採用すると、１つの投光時間に対して２つの位相値θ（例えば図２２の符号θ１，θ２参照）が算出されてしまうからである。
　これに対して、本実施形態では、所定の縞パターンに占める上記縞領域の数（即ち縞数）を減らすため、イベントデータの極性をも利用する。具体的には、各縞領域について、１周期のサイン波パターン（即ち０ｄｅｇ～３６０ｄｅｇのコサインカーブ）が採用されている。
　このため、本実施形態における所定の縞パターンは、各縞領域について、図２３に示すように変化する。具体的には、各縞領域について、コサインカーブの０ｄｅｇ以上１８０ｄｅｇ未満の領域では、反射ＯＮから反射ＯＦＦまでの時間（即ち投光時間：ＯＮ時間）が変化し、コサインカーブの１８０ｄｅｇ以上～３６０ｄｅｇ未満の領域では、反射ＯＦＦから反射ＯＮまでの時間（即ち消灯時間：ＯＦＦ時間）が変化する。
　これにより、上記縞領域のうち０ｄｅｇ以上１８０ｄｅｇ未満の領域（以下、ＯＮ時間基準領域ともいう）での撮像により、先に正極性のイベントデータが出力された後に負極性のイベントデータが出力される。そのため、正極性のイベントデータの出力タイミングと負極性のイベントデータの出力タイミングとの時間差が縞パターン情報Ｉｓとして算出される。また、上記縞領域のうち１８０ｄｅｇ以上３６０ｄｅｇ未満の領域（以下、ＯＦＦ時間基準領域ともいう）での撮像により、先に負極性のイベントデータが出力された後に正極性のイベントデータが出力される。そのため、負極性のイベントデータの出力タイミングと正極性のイベントデータの出力タイミングとの時間差が縞パターン情報Ｉｓとして算出される。
　このため、２つのイベントデータの出力タイミングの時間差が同じ縞パターン情報が算出されても、先に出力されるイベントデータの極性又は後に出力されるイベントデータの極性（あるいはその両方）によって、求める位相値θがＯＮ時間基準領域及びＯＦＦ時間基準領域のいずれに属しているか判断することができる。すなわち、イベントデータの極性を利用することで、１周期のサイン波パターンで生成される縞領域を採用することができる。
　このように、本実施形態における計測部４０は、三次元計測処理にて、算出された縞パターン情報Ｉｓと先に出力されるイベントデータ及び後に出力されるイベントデータの極性とに基づいて位相値θを画素ごとに求める。即ち、本実施形態では、１周期のサイン波パターンで生成される縞領域を採用できる。このため、本実施形態では、イベントデータの極性を考慮しない場合（例えば上記第６実施形態の場合）と比較して、１つの縞領域で求められる位相値θの個数を倍増することができる。これにより、縞数（即ち縞領域の数）を半減することができ、縞領域を特定するための処理時間が半分になる。その結果、三次元計測の処理時間を短縮することができる。
　なお、本開示は上記実施形態に限定されるものではなく、例えば、以下のような構成であってもよい。
（１）三次元計測装置１０は、ロボットのハンドに組み付けられた状態で移動して、相対移動する計測対象物の三次元形状を計測することに限らない。例えば、三次元計測装置１０は、固定されて、搬送ライン上を移動する計測対象物の三次元形状を計測してもよい。
（２）三次元計測装置１０は、投影部２０及び撮像部３０と計測部４０とが別体であってもよい。例えば、計測部４０が、投影部２０及び撮像部３０と無線通信又は有線通信が可能な情報処理端末であってもよい。
　また、三次元計測装置１０は、図２４のフローチャートが示すような処理を行ってもよい。具体的には、三次元計測装置１０は、入射光の反射のＯＮからＯＦＦまでの時間がパターン方向にサイン波のように変化する縞パターンを投影する（ステップＳ３０１）。三次元計測装置１０は、縞パターンが投影された物体を撮像する（ステップＳ３０３）。三次元計測装置１０は、撮像素子から出力されるイベントデータを取得する（ステップＳ３０５）。三次元計測装置１０は、先に出力されるイベントデータと後に出力されるイベントデータとの出力の時間差を縞パターン情報として算出する（ステップＳ３０７）。三次元計測装置１０は、サイン波の振幅及びオフセット値と、算出される縞パターン情報と、に基づいて位相値を算出する（ステップＳ３０９）。三次元計測装置１０は、位相値に基づいて物体の三次元形状を計測する（ステップＳ３１１）。

Claims (7)

  1. 　計測対象領域に対して所定の縞パターンを投影する投影部と、
    　前記所定の縞パターンが投影された前記計測対象領域に配置された計測対象物を撮像する撮像部と、
    　前記撮像部により撮像される前記計測対象物の三次元形状を計測する計測部と、
    　前記投影部を制御する制御部と、
    　を備える三次元計測装置であって、
    　前記所定の縞パターンは、第１の方向に沿って配置される複数の縞領域を含み、前記複数の縞領域の各々では、前記第１の方向において輝度が所定の割合で変化し前記第１の方向に直交する第２の方向において輝度が変化せず、
    　前記撮像部は、受光した際に輝度変化のあった画素の位置が特定される二次元点データを含むイベントデータを出力する撮像素子を備え、
    　前記計測部は、前記撮像部が撮像を行う単位時間内にて同時間帯に出力される前記イベントデータから特定される複数の画素の位置に基づいて前記計測対象物の三次元形状を光切断法により計測する、
    　三次元計測装置。
  2. 　前記計測部は、前記所定の縞パターンの撮像時に出力される前記イベントデータの出力タイミングを縦軸とし前記第１の方向の画素の位置を横軸とする二次元におけるイベント波形を利用して、同時間帯に出力される前記イベントデータから特定される複数の画素の位置に基づいて前記計測対象物の三次元形状を光切断法により計測する、
    　請求項１に記載の三次元計測装置。
  3. 　前記撮像素子は、明るくなる輝度変化の場合に正極性のイベントデータを出力し、暗くなる輝度変化の場合に負極性のイベントデータを出力し、
    　前記計測部は、前記所定の縞パターンの撮像時に出力される前記負極性のイベントデータの出力タイミングを縦軸とし前記第１の方向の画素の位置を横軸とする二次元におけるイベント波形を利用して、同時間帯に出力される前記イベントデータから特定される複数の画素の位置に基づいて前記計測対象物の三次元形状を光切断法により計測する、
    　請求項１に記載の三次元計測装置。
  4. 　前記投影部は、第１縞パターンを前記所定の縞パターンとして投影した後に前記第１縞パターンでの前記所定の割合が明暗について逆である第２縞パターンを前記所定の縞パターンとして投影し、
    　前記計測部は、
    　　前記第１縞パターンの撮像時に最初に出力される前記イベントデータの出力タイミングを縦軸とし前記第１の方向の画素の位置を横軸とする二次元における第１イベント波形を算出し、
    　　前記第２縞パターンの撮像時に最初に出力される前記イベントデータの出力タイミングを縦軸とし前記第１の方向の画素の位置を横軸とする二次元における第２イベント波形を算出し、
    　　前記第１イベント波形と反転した前記第２イベント波形とを合成した合成波形を利用して、同時間帯に出力される前記イベントデータから特定される複数の画素の位置に基づいて前記計測対象物の三次元形状を光切断法により計測する、
    　請求項１に記載の三次元計測装置。
  5. 　前記撮像素子は、明るくなる輝度変化の場合に正極性のイベントデータを出力し、暗くなる輝度変化の場合に負極性のイベントデータを出力し、
    　前記投影部は、第１縞パターンを前記所定の縞パターンとして投影した後に前記第１縞パターンでの前記所定の割合が明暗について逆である第２縞パターンを前記所定の縞パターンとして投影し、
    　前記計測部は、
    　　前記第１縞パターンの撮像時に最初に出力される前記負極性のイベントデータの出力タイミングを縦軸とし前記第１の方向の画素の位置を横軸とする二次元における第１イベント波形を算出し、
    　　前記第２縞パターンの撮像時に最初に出力される前記負極性のイベントデータの出力タイミングを縦軸とし前記第１の方向の画素の位置を横軸とする二次元における第２イベント波形を算出し、
    　　前記第１イベント波形と反転した前記第２イベント波形とを合成した合成波形を利用して、同時間帯に出力される前記イベントデータから特定される複数の画素の位置に基づいて前記計測対象物の三次元形状を光切断法により計測する、
    　請求項１に記載の三次元計測装置。
  6. 　前記投影部は、さらに、前記複数の縞領域を識別する縞番号を特定するための縞番号特定用パターンを投影し、
    　前記計測部は、前記縞番号特定用パターンの撮像時に出力される前記イベントデータの出力タイミングに基づいて前記縞番号を特定し、
    　前記計測部は、２つの前記縞番号が特定される画素について、予め想定される前記計測対象物の三次元形状に基づいて、前記計測対象物が含む非透明体についての前記縞番号と前記計測対象物が含む透明体についての前記縞番号とをそれぞれ特定する
    　請求項２～５のいずれか一項に記載の三次元計測装置。
  7. 　前記投影部は、さらに、前記複数の縞領域を識別する縞番号を特定するための第１縞番号特定用パターンと第２縞番号特定用パターンとを投影し、
    　前記第１縞番号特定用パターンでは、前記第１の方向において輝度が前記複数の縞領域の各々で異なるように所定の段階で変化し前記第２の方向において輝度が変化せず、
    　前記第２縞番号特定用パターンでは、前記第１縞番号特定用パターンでの前記所定の段階が明暗について逆であり、
    　前記計測部は、前記第１縞番号特定用パターンの撮像時に最初に出力される前記イベントデータの出力タイミングと前記第２縞番号特定用パターンの撮像時に最初に出力される前記イベントデータの出力タイミングとに基づいて前記縞番号を特定し、
    　前記計測部は、２つの前記縞番号が特定される画素について、予め想定される三次元形状に基づいて、前記計測対象物が含む非透明体についての前記縞番号と前記計測対象物が含む透明体についての前記縞番号とをそれぞれ特定する
    　請求項２～５のいずれか一項に記載の三次元計測装置。
     
PCT/JP2024/003160 2023-02-01 2024-01-31 三次元計測装置 Ceased WO2024162409A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP24750358.4A EP4660576A1 (en) 2023-02-01 2024-01-31 Three-dimensional measurement device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2023013803A JP2024109168A (ja) 2023-02-01 2023-02-01 三次元計測装置
JP2023-013803 2023-02-01
JP2023-027011 2023-02-24
JP2023027011A JP2024120305A (ja) 2023-02-24 2023-02-24 三次元計測装置

Publications (1)

Publication Number Publication Date
WO2024162409A1 true WO2024162409A1 (ja) 2024-08-08

Family

ID=92146971

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/003160 Ceased WO2024162409A1 (ja) 2023-02-01 2024-01-31 三次元計測装置

Country Status (2)

Country Link
EP (1) EP4660576A1 (ja)
WO (1) WO2024162409A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109458928A (zh) * 2018-10-29 2019-03-12 西安知微传感技术有限公司 基于扫描振镜和事件相机激光线扫描3d检测方法及系统
JP2021067644A (ja) 2019-10-28 2021-04-30 株式会社デンソーウェーブ 三次元計測装置
WO2022050279A1 (ja) * 2020-09-07 2022-03-10 ファナック株式会社 三次元計測装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109458928A (zh) * 2018-10-29 2019-03-12 西安知微传感技术有限公司 基于扫描振镜和事件相机激光线扫描3d检测方法及系统
JP2021067644A (ja) 2019-10-28 2021-04-30 株式会社デンソーウェーブ 三次元計測装置
WO2021085419A1 (ja) * 2019-10-28 2021-05-06 株式会社デンソーウェーブ 三次元計測装置
WO2022050279A1 (ja) * 2020-09-07 2022-03-10 ファナック株式会社 三次元計測装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4660576A1

Also Published As

Publication number Publication date
EP4660576A1 (en) 2025-12-10

Similar Documents

Publication Publication Date Title
CN114424020B (zh) 三维测量装置
JP5576726B2 (ja) 三次元計測装置、三次元計測方法、及びプログラム
JP6587158B2 (ja) 投影システム
JP3509652B2 (ja) プロジェクタ装置
JP5401940B2 (ja) 投写光学系のズーム比測定方法、そのズーム比測定方法を用いた投写画像の補正方法及びその補正方法を実行するプロジェクタ
US10776898B2 (en) Projection system, image processing device and projection method
JP7270702B2 (ja) 深度感知システムおよび方法
JPWO2017212509A1 (ja) 投影システム
WO2022050279A1 (ja) 三次元計測装置
WO2017212509A1 (ja) 投影システム
WO2025094644A1 (ja) 三次元計測装置
JP7401024B2 (ja) 三次元計測装置
WO2024162409A1 (ja) 三次元計測装置
JP2011021970A (ja) 三次元形状測定装置および三次元形状測定方法
JP2024120305A (ja) 三次元計測装置
JP2024109168A (ja) 三次元計測装置
WO2024157677A1 (ja) 三次元計測装置
JP2024129318A (ja) 三次元計測装置
WO2024154528A1 (ja) 三次元計測装置
JP2025078413A (ja) 三次元計測装置
JP2008170282A (ja) 形状測定装置
JP7741393B2 (ja) 三次元計測装置
JP2025133557A (ja) 計測装置、及び積層造形装置
JP2025121175A (ja) 三次元計測装置
JP7448824B2 (ja) 三次元計測システムおよび三次元計測方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24750358

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 2024750358

Country of ref document: EP