[go: up one dir, main page]

WO2018146825A1 - 状態判定装置、学習装置、状態判定方法及びプログラム - Google Patents

状態判定装置、学習装置、状態判定方法及びプログラム Download PDF

Info

Publication number
WO2018146825A1
WO2018146825A1 PCT/JP2017/010048 JP2017010048W WO2018146825A1 WO 2018146825 A1 WO2018146825 A1 WO 2018146825A1 JP 2017010048 W JP2017010048 W JP 2017010048W WO 2018146825 A1 WO2018146825 A1 WO 2018146825A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning
electrodes
state
state determination
capacitance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2017/010048
Other languages
English (en)
French (fr)
Inventor
安藤　丹一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to EP17895776.7A priority Critical patent/EP3581971A4/en
Priority to CN201780082623.XA priority patent/CN110268285A/zh
Priority to US16/478,875 priority patent/US20190380621A1/en
Publication of WO2018146825A1 publication Critical patent/WO2018146825A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V3/00—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation
    • G01V3/08—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation operating with magnetic or electric fields produced or modified by objects or geological structures or by detecting devices
    • G01V3/088—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation operating with magnetic or electric fields produced or modified by objects or geological structures or by detecting devices operating with electric fields
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N3/00—Arrangements or adaptations of other passenger fittings, not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B7/00—Measuring arrangements characterised by the use of electric or magnetic techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B7/00—Measuring arrangements characterised by the use of electric or magnetic techniques
    • G01B7/30—Measuring arrangements characterised by the use of electric or magnetic techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V3/00—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation
    • G01V3/08—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation operating with magnetic or electric fields produced or modified by objects or geological structures or by detecting devices
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2207/00—Indexing scheme relating to methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F2207/38—Indexing scheme relating to groups G06F7/38 - G06F7/575
    • G06F2207/48—Indexing scheme relating to groups G06F7/48 - G06F7/575
    • G06F2207/4802—Special implementations
    • G06F2207/4818—Threshold devices
    • G06F2207/4824—Neural networks

Definitions

  • the present invention relates to a state determination device, a learning device, a state determination method, and a program thereof.
  • the electrostatic capacity sensor may be able to determine even an insulator or a transparent object, and is used for determining a wide variety of objects.
  • Patent Document 1 includes a detection electrode that detects a capacitance between a human body seated on a seat and the headrest, and determines the position of the headtop and the horizontal center position so that the position of the headrest is appropriately set. A headrest position adjusting device to be adjusted is described.
  • a capacitance sensor may determine the presence or absence of an object and the approach based on a change in capacitance between electrode pairs. However, there are cases where the state of the object cannot be determined in detail only by changing the capacitance between the electrode pairs.
  • planar conductors facing each other are used as electrode pairs, it can be determined whether or not an object exists between the electrode pairs, and it can be determined which side of the electrode pair the object is closer to.
  • the object exists between the electrode pairs, it is difficult to determine the position of the object with respect to the extending direction of the planar conductor.
  • an object of one embodiment of the present invention is to provide a state determination device and the like that can determine the state of an object in more detail as compared with a case where a change in capacitance between a single electrode pair is used.
  • a state determination device is a state determination device that determines a state of an object around a plurality of electrodes, a selection unit that selects a plurality of electrode pairs from a plurality of electrodes, and a selection A capacitance pattern measuring unit that measures a capacitance pattern for a plurality of electrode pairs selected by the unit, and a neural network that has been learned to determine the state of the object from the capacitance pattern.
  • a single electrode pair is obtained.
  • the state of the object can be determined in more detail as compared with the case where the change in capacitance between the two is used.
  • the state determination device further includes an arrangement acquisition unit that acquires the arrangement of the plurality of electrodes.
  • the neural network may determine the state of the object from the arrangement of the plurality of electrodes acquired by the arrangement acquisition unit in addition to the capacitance pattern measured by the capacitance pattern measurement unit.
  • the state of the object can be determined in more detail by determining the state of the object from the capacitance pattern and the arrangement of the plurality of electrodes.
  • the state determination device surrounds at least a part of the plurality of electrodes and the voltage application unit that applies a predetermined voltage to each of the plurality of electrode pairs selected by the selection unit among the plurality of electrodes.
  • a guard electrode arranged as described above.
  • the voltage application unit may apply the reference potential to one of the electrode pair selected by the selection unit among the plurality of electrodes and the guard electrode.
  • the electric field is shielded by the guard electrode, and the capacitance pattern on only one side of the two surfaces of the electrode can be measured. It is possible to limit the range for determining the state of the object.
  • the state determination device may further include an environment measurement unit that measures environment data related to the environment when the capacitance pattern measurement unit measures the capacitance patterns of the plurality of electrode pairs.
  • the neural network may determine the state of the object from the environment data measured by the environment measurement unit in addition to the capacitance pattern measured by the capacitance pattern measurement unit.
  • the state determination considering the environmental dependence of the capacitance pattern is performed, and the state determination caused by the change in the measurement environment is performed.
  • the error can be reduced.
  • the environmental data measured by the environmental measurement unit may include at least one of humidity and electromagnetic noise.
  • the state determination is performed in consideration of the dependency of the humidity and electromagnetic noise particularly affecting the capacitance pattern, and the error in the state determination caused by the change in humidity and the strength of the electromagnetic noise is reduced. can do.
  • the neural network may determine at least one of the presence / absence of an object, the position of the object, the angle of the object, the type of the object, the material of the object, and the distribution of the object.
  • the state of the object can be determined in more detail by determining at least one of the presence / absence of the object, the position of the object, the angle of the object, the type of the object, the material of the object, and the distribution of the object. Can do.
  • the plurality of electrodes may be provided on the robot hand.
  • the robot hand it is possible to determine the state of an object that is gripped or operated by the robot hand, and to support a more precise operation by the robot hand. For example, when gripping an object, an operation of bringing a plurality of fingers of a robot hand evenly close to the object can be performed.
  • the plurality of electrodes may be provided on the sheet.
  • details such as the physique and posture can be determined for the state of the person sitting on the seat. For example, it is possible to determine whether or not the driver is awake by determining the state of the driver of the automobile seated on the seat of the automobile.
  • a learning device for learning a neural network may be further provided.
  • the learning device includes a learning control unit that performs control so that learning of a neural network is performed using learning data including capacitance patterns for a plurality of electrode pairs selected from a plurality of electrodes.
  • a neural network that can determine the state of the object is obtained as a learning result, and the capacitance between a single electrode pair can be determined.
  • the state of the object can be determined in more detail as compared with the case of using the change.
  • the learning data may include data related to the arrangement of a plurality of electrodes.
  • the learning result of the neural network which can determine the state of the object in more detail by fixing the plurality of electrodes more flexibly with respect to the object without fixing the arrangement of the plurality of electrodes. can get.
  • the learning data may include environment data related to the environment when measuring the capacitance pattern.
  • the learning of the neural network is performed by learning data including the capacitance pattern related to the object and the environment data, and the measurement environment changes, the environment dependency of the capacitance pattern is considered. A state determination is performed, and a learning result that can reduce an error in the state determination is obtained.
  • the learning device may learn the neural network from the learning data and the teacher data, and the teacher data may include an image or a moving image indicating the state of the object.
  • a state determination method is a state determination method for determining a state of an object around a plurality of electrodes, the first step of selecting a plurality of electrode pairs from the plurality of electrodes, The second step of measuring the capacitance pattern for the plurality of electrode pairs selected in the first step, and the state of the object is determined by the learned neural network from the capacitance pattern measured in the second step. And a third step.
  • the capacitance change between the single electrode pairs can be determined in more detail as compared with the case of using.
  • a program for determining a state includes: selecting a plurality of electrode pairs from a plurality of electrodes using a computer included in a state determination device that determines a state of an object around the plurality of electrodes , A capacitance pattern measurement unit that measures a capacitance pattern for a plurality of electrode pairs selected by the selection unit, and a neural network that has been learned to determine the state of an object from the capacitance pattern Including that.
  • the capacitance change between the single electrode pairs can be determined in more detail as compared with the case of using.
  • a state determination device and the like that can determine the state of an object in more detail than when using a change in capacitance between a single electrode pair is provided.
  • FIG. 1 is a diagram showing an overall concept of a state determination system 1 according to the first embodiment of the present invention.
  • the state determination system 1 includes an electrode connection unit 20, a selection unit 30, a capacitance pattern measurement unit 50, a capacitance pattern learning unit 60, a capacitance pattern recognition unit 70, A recognition result output unit 80, and the electrodes 11a, 11b, 11c, 11d, 11e, and 11f of the electrode group 10 via the electrode connection unit 20 (hereinafter referred to as “electrode 11” when it is not necessary to distinguish the electrodes). Connected).
  • the configuration of the present system is not limited to the illustrated configuration, and for example, the state determination system 1 may be configured to include the electrode group 10.
  • any of a plurality of units may be physically or logically integrated, or each unit may be physically or logically divided into two or more elements.
  • the electrode 11 can be a conductor such as metal having a predetermined area. If there are two electrodes (electrode pair), the capacitance between them can be measured by connecting the electrode pair to a measurement circuit.
  • a transparent member may be used as the electrode 11, and in this case, the touch panel can be configured by providing the transparent electrode 11 on the surface of the display device.
  • the selection unit 30 selects any two electrodes from the plurality of electrodes 11 included in the electrode group 10.
  • the selection unit 30 can sequentially select a plurality of electrode pairs by sequentially selecting an arbitrary electrode pair. For example, the selection unit 30 can sequentially select three electrode pairs, that is, a pair of electrodes 11a and 11b, a pair of electrodes 11c and 11d, and a pair of electrodes 11e and 11f as electrode pairs.
  • the selection of the electrode pair by the selection unit 30 may be in accordance with an electrode pair list stored in advance in the storage unit of the state determination system 1 or may be in accordance with an input by a user of the state determination system 1. It may be performed randomly.
  • the capacitance pattern measurement unit 50 is configured to determine the capacitance pattern for the plurality of electrode pairs selected by the selection unit 30 based on the capacitance measured for each of the plurality of electrode pairs selected by the selection unit 30. Measure.
  • the capacitance pattern refers to a series of capacitance values measured for a plurality of electrode pairs. Specifically, as shown in FIG. 1, a case where six electrodes 11a to 11f are provided as the electrode group 10 will be described. For example, when the selection unit 30 sequentially selects three pairs of electrodes 11a and 11b, a pair of electrodes 11c and 11d, and a pair of electrodes 11e and 11f as electrode pairs from the six electrodes 11a to 11f.
  • Capacitances Cab, Ccd, and Cef can be sequentially measured for each of the electrode pairs selected by the selection unit 30.
  • a capacitance pattern is measured based on a series of capacitances (Cab, Ccd, Cef) measured for the three electrode pairs.
  • the capacitance may be measured by measuring a voltage when a predetermined charge is charged.
  • the capacitance may be measured by configuring an LC transmission circuit and measuring the frequency.
  • the capacitance changes depending on the dielectric constant of the object depending on whether the object is near the electrode 11 or not. For this reason, when an object approaches one of the electrode pairs, the capacitance measured for the electrode pair changes according to the dielectric constant of the object.
  • the capacitance patterns of the plurality of electrode pairs it becomes possible to determine whether or not an object exists around the plurality of electrodes 11, and the presence state of the object is determined based on the determination result. Can be detected.
  • a capacitance pattern is regarded as data similar to an image, and if an image captures the state of an object with light, the capacitance pattern captures the state of the object with capacitance.
  • the capacitance pattern measurement unit 150 can measure the capacitance between the electrode pairs. For example, when an AC voltage is applied to the electrode pair selected by the selection unit 30, the capacitance pattern measurement unit 50 compares the frequency of the voltage measured between the electrode pairs with the frequency of the applied voltage. Capacitance can be measured.
  • the electrostatic capacitance pattern measured by the electrostatic capacitance pattern measuring unit 50 is, for example, when the object is not near the plurality of electrodes 11, the influence of air near the electrodes 11 is measured as the electrostatic capacitance pattern. On the other hand, when there is an object, a capacitance pattern affected by the object is measured.
  • the capacitance pattern learning unit 60 acquires the ability to recognize a capacitance pattern by performing machine learning using the capacitance pattern measured by the capacitance pattern measurement unit 50 as learning data.
  • the capacitance patterns measured for the same object at a predetermined position with respect to the plurality of electrodes 11 are substantially the same pattern. At this time, if the object moves a little in either direction, the capacitance pattern changes slightly. Therefore, the ability to determine the position of an object is learned and the position of the object is detected by changing the position of the same object and using a capacitance pattern configured based on a large number of measured data as learning data. Can do.
  • the patterns are almost the same in the case of the same posture.
  • the capacitance pattern changes slightly. Therefore, learning the ability to determine the posture of an object by detecting the posture of the object by changing the posture of the same object and using a capacitance pattern configured based on a large number of measured data as learning data Can do.
  • the pattern to be measured changes according to the movement.
  • the neural network constituting the capacitance pattern learning unit 60 learns the capacitance pattern and acquires a predetermined recognition ability.
  • the capacitance pattern learning unit 60 is configured to reconstruct a learned neural network by copying or converting the learned neural network so that the acquired capacity can be used by the capacitance pattern recognition unit 70. Information is created and passed to the capacitance pattern recognition unit 70.
  • the capacitance pattern recognition unit 70 recognizes the capacitance pattern by using the ability obtained as a result of learning by the capacitance pattern learning unit 60, so that the presence state of an object in the vicinity of the plurality of electrodes 11 is detected. Determine.
  • the capacitance pattern recognition unit 70 receives information for reconfiguring the learned neural network from the capacitance pattern learning unit 60, and reconfigures the learned neural network. Thereby, the electrostatic capacitance pattern recognition part 70 comes to be able to determine the presence state of an object. That is, the state of the object is determined by inputting and calculating the capacitance pattern measured by the capacitance pattern measurement unit 50 to the learned neural network.
  • the classification of the presence state of the object For example, it is possible to determine the classification of the presence state of the object, the presence / absence of the object, the position of the object, the type of the object, the posture of the object, the material of the object, the distribution of the object, and the like.
  • various capabilities such as the ability to identify the above changes, the ability to classify changes, and the ability to predict changes, such as the ability to identify the presence of objects that cause a difference in capacitance patterns, are acquired. can do.
  • the recognition result output unit 80 outputs the result determined by inputting the capacitance pattern to the capacitance pattern recognition unit 70. For example, when the presence / absence is determined, if an identifier (ID) to be identified can be determined, it may be output. In addition, when it is determined whether or not a specific target exists and the presence or absence of the specific target is detected, information indicating that “the target has been detected” may be output. Further, the identified state may be visualized. For example, an image showing the shape of the object may be displayed so that the object can be seen and understood. The posture of the object may be recognized by reflecting the posture of the identified object on the image. The motion may be visualized by reflecting the identified motion in the image.
  • FIG. 2A and FIG. 2B are diagrams illustrating an arrangement example of the plurality of electrodes 11.
  • FIG. 2A shows an example in which the electrodes 11 are arranged in a vertical and horizontal matrix.
  • the selection unit 30 may select N ⁇ MC 2 electrode pairs.
  • the selection unit 30 may include a switch matrix capable of selecting and switching an arbitrary electrode among the plurality of electrodes 11 arranged in a matrix.
  • two adjacent electrodes 11 such as electrodes that are adjacent vertically or horizontally are combined, they are strongly influenced by the dielectric constant of an object near these electrodes.
  • the two electrodes 11 at the distant positions are selected, they are affected by a wide range of objects.
  • the capacitance pattern configured by the series of capacitance data reflects the presence state of an object in the vicinity of the rectangular area where the plurality of electrodes 11 are arranged.
  • all combinations (300 sets in this case) for selecting two electrodes from the plurality of electrodes 11 may be used, or a part of the combinations may be used.
  • FIG. 2B is an example in which a first electrode group 10a and a second electrode group 10b configured by a plurality of electrodes 11 arranged in a matrix are arranged to face each other.
  • the selection unit 30 can select an electrode pair from the first electrode group, can select an electrode pair from the second electrode group, or spans the first electrode group and the second electrode group. An electrode pair can also be selected.
  • the combination of an electrode pair does not necessarily need to use, and arbitrary combinations can be selected.
  • the number of electrodes is only an example, and an arbitrary number of electrodes can be used.
  • the shape and size of the electrode 11 may be arbitrary, and the installation position of the electrode may be arbitrary.
  • a plurality of electrodes 11 can be installed in a passenger compartment of an automobile so as to surround an occupant. Thereby, the presence state of the object in the enclosed space such as the passenger compartment can be determined, and the three-dimensional shape and state can be easily determined.
  • the position and size of the electrode 11 can be set according to the shape of the space to be determined and the state of the object. As in the case of the robot hand described later, the position and posture of the electrode 11 may be changed using a moving means.
  • FIG. 3 is a diagram illustrating an example of a specific system configuration of the state determination system 1 according to the first embodiment.
  • the state determination system 1 includes a state determination device 100, a learning device 200, a learning data creation device 300, and a learning database device 400 connected to the electrode group 10 via a network N. It is configured to be connectable to.
  • the state determination apparatus 100 substantially includes the electrode connection unit 20 illustrated in FIG. 1, the selection unit 30, the capacitance pattern measurement unit 50, the capacitance pattern recognition unit 70, and the recognition result output unit 80. Based on the capacitance patterns of the plurality of electrodes 11 included in the electrode group 10, the state of the object around the plurality of electrodes 11 is determined.
  • the learning device 200 substantially includes the capacitance pattern learning unit 60 shown in FIG.
  • the learning device 200 learns a neural network by performing machine learning using learning data including a capacitance pattern accumulated in the learning database device 400, and determines the states of objects around a plurality of electrodes. Gain the ability to recognize from capacitance patterns.
  • the ability acquired in the learning device 200 is passed to the state determination device 100 directly or via the learning database device 400.
  • the learning data creation device 300 creates necessary learning data and teacher data according to the type of ability to be acquired, and stores it in the learning database device 400.
  • the learning data creation device 300 creates the learning data
  • the electrostatic capacity pattern of the plurality of electrodes 11 included in the electrode group 10 and the electrostatic capacitance are generated via the state determination device 100.
  • a capacitance pattern when acquiring the ability to classify the presence state of an object, a capacitance pattern can be measured with a predetermined variation for each of the plurality of presence states of the object, and this can be used as learning data.
  • data obtained by measuring and recording capacitance patterns with respect to the presence states of a plurality of objects as learning data targets is used as learning data.
  • the teacher data information for identifying the presence state of the object is recorded as teacher data in association with the learning data for each capacitance pattern.
  • the teacher data may be associated as data different from the learning data, or the teacher data may be included in the learning data. If it is only necessary to classify an object into a plurality of groups, it is not necessary to include teacher data.
  • time-series data of capacitance patterns is required. For example, learning data including teacher data indicating the content of changes is created.
  • learning to predict the presence state of an object may be performed using time-series data of a capacitance pattern including teacher data regarding the contents of the presence state. it can.
  • Learning data can be automatically generated by a learning data generation program installed in the learning data creation device 300. For example, since learning by deep learning requires a lot of data, the number of work steps can be greatly reduced by automating a series of operations from acquisition of a capacitance pattern to registration in the learning database device 400. .
  • the robot is instructed to move an object close to the periphery of the plurality of electrodes 11 and change the position and orientation of the object, and electrostatic capacity patterns in various positions, orientations, and directions can be obtained. By acquiring the information in association with the position, posture, and direction, it is possible to automatically generate learning data and teacher data without any human work.
  • the learning data creation device 300 may generate learning data by manual operation. Moreover, you may combine the arbitrary information which may be relevant to learning as learning data or teacher data.
  • the learning data may include information related to electrode arrangement.
  • the state determination device 100 or the learning device 200 may have the function of the learning data creation device 300.
  • the data output from the state determination device 100 or the learning device 200 can be used as learning data or teacher data by accumulating in the learning database device 400 or inputting or using the data in the learning device 200.
  • the learning database device 400 has a function of recording data and programs related to learning, such as learning data and learning programs created by the learning data creation device 300, and settings thereof.
  • the learning data and teacher data created by the learning data creation device 300 are transferred to the learning database device 400 and recorded as information related to the learning data.
  • FIG. 4 is a block diagram illustrating a configuration of the state determination device 100 according to the present embodiment.
  • the electrode connection unit 120, the selection unit 130, the capacitance pattern measurement unit 150, and the neural network output unit 180 are the electrode connection unit 20, the selection unit 30, and the capacitance pattern measurement of FIG. Since it has functions corresponding to the unit 50 and the recognition result output unit 80, description thereof will be omitted.
  • the learning result input unit 171, the control unit 172, the neural network setting unit 173, the neural network input unit 174, and the neural network 175 have a function corresponding to the capacitance pattern recognition unit 70 in FIG. 1.
  • the learning result input unit 171 receives information on the ability acquired as a result of learning in the learning device 200 and inputs the information to the state determination device 100.
  • data necessary for reconstructing the learned neural network output from the learning device 200 is input.
  • the control unit 172 controls processing in each configuration of the state determination device 100. For example, in response to an instruction from the learning data creation device 300, the control unit 172 converts the capacitance pattern acquired from the electrode group 10 into the communication unit 190. To the learning data creation device 300. In addition, the control unit 172 passes data necessary for reconstructing the learned neural network input from the learning result input unit 171 to the neural network setting unit 173.
  • the neural network setting unit 173 reconfigures the neural network 175 based on this data. Thereby, the neural network 175 can reproduce the ability acquired as a result of learning in the learning device 200.
  • the neural network input unit 174 acquires a capacitance pattern from the capacitance pattern measurement unit 15 and inputs it to the neural network 175.
  • the neural network 175 performs an operation on the input capacitance pattern and outputs a calculation result.
  • This calculation result corresponds to the determination result of the presence state of the object around the plurality of electrodes 11, that is, the recognition result of the object, and the recognition result is output from the neural network output unit 180.
  • any learning module capable of machine learning may be used instead of the neural network.
  • the type of the object may be determined, and an ID assigned to the type of the object may be output.
  • the neural network output unit 180 classifies the presence state of an object around the plurality of electrodes 11, the presence or absence of an object, the position of the object, the type of the object, the posture of the object, the material of the object, It is possible to output a state such as an object distribution.
  • the output recognition results are not limited to these.
  • changes in the presence state of objects, classification of changes, prediction of changes, and the like can be output.
  • the type of object means, for example, when there are a plurality of types of objects (for example, apple and pear) having similar shapes, weights, and sizes.
  • the neural network output unit 180 may generate an image or a moving image from the determined presence state of the object, visualize the presence state of the object, and present it to the user.
  • FIG. 5 is a block diagram showing a configuration of the learning device 200 in the present embodiment.
  • the learning device 200 includes a neural network 210, a learning control unit 220, a learning result extraction unit 230, a learning result output unit 240, and a communication unit 250, which are connected via a network (including an internal bus and the like). Can be connected to each other.
  • a network including an internal bus and the like.
  • the neural network 210 has a function as a neural network, and can acquire a predetermined ability by learning.
  • the learning apparatus 200 acquires a predetermined ability by causing the neural network 210 to learn using learning data and teacher data recorded in the learning database apparatus 400.
  • the neural network 210 may be one in which a capacitance pattern vector is input to the input layer, and a vector representing the presence state of the object is output from the output layer. Note that a learning module capable of machine learning may be used instead of the neural network.
  • the learning control unit 220 controls the machine learning in the learning device 200 by executing a learning program.
  • the learning control unit 220 executes learning in accordance with a predetermined learning request received from the user by executing the learning program, and performs learning for causing the neural network 210 to acquire predetermined ability using the learning data.
  • the neural network 210 can acquire a predetermined ability by performing learning using a learning program using a deep learning technique.
  • a convolutional neural network (CNN) that may be used for image recognition in order to learn a static state of an object may be used.
  • a recurrent neural network (RNN) may be used to learn the dynamic state of an object.
  • the learning result extraction unit 230 extracts the result learned by the neural network 210.
  • the learning result output unit 240 outputs the learning result to the outside via the communication unit 250.
  • the learning device 200 can acquire the ability to determine the presence state of an object.
  • the learning device 200 may be implemented by executing a predetermined program on a general computer. At this time, since the amount of learning processing is large, it is preferable to use a computer including a CPU that operates at high speed. If GPU is used, it is possible to speed up repetitive arithmetic processing. By using a server device in which a blade computer is rack-mounted, processing can be parallelized and throughput can be increased. When accepting requests from a plurality of clients, the degree of parallelism can be increased by multiplexing server devices.
  • FIG. 6 is a block diagram showing an example of the hardware configuration of each device constituting the state determination system 1.
  • each device such as the state determination device 100, the learning device 200, the learning data creation device 300, and the learning database device 400 includes a CPU 610, a memory such as a ROM 620 and a RAM 630, and a storage device 640 that stores various types of information.
  • a general-purpose or dedicated computer including an input / output unit 650, a communication unit 660, and a network or bus connecting them can be applied.
  • the CPU 610 can implement the above-described functional blocks by the CPU 610 executing a predetermined program stored in the memory or the storage device 640.
  • the program can be installed or loaded on a computer constituting each device by downloading it through various recording media such as an optical disk such as a CD-ROM, a magnetic disk, and a semiconductor memory, or via a communication network. .
  • FIG. 7 is a flowchart of learning data creation processing in the learning data creation device 300 according to the present embodiment.
  • the learning data creation process is a process that is performed prior to the object recognition process being executed by the state determination device 100.
  • the learning data creation device 300 creates teacher data including information regarding the presence state of objects around the plurality of electrodes 11 (S10). Information relating to the arrangement of the plurality of electrodes 11 may be included in the teacher data.
  • the information regarding the presence state of the object may be input by the user through an input unit (not shown) of the learning data creation device 300.
  • the user inputs, for example, numerical values representing the position, angle, type, material, and distribution of the object as information regarding the presence state of the object.
  • the learning data creation device 300 may construct a vector representing information related to the presence state of the object from the input numerical value and include it in the teacher data.
  • the information regarding the arrangement of the electrodes 11 may be input by the user through the input unit of the learning data creation device 300.
  • the user may input the size, position, angle, and material of the electrode, and the learning data creation apparatus 300 may construct a vector representing information related to electrode arrangement from these numerical values and include it in the teacher data.
  • positioning of an electrode is previously provided with respect to the electrode group 10, you may refer to the information.
  • the teacher data may include an image or a video as information regarding the presence state of the object.
  • an image or a video By showing the existence state of an object with an image or a movie, the user does not need to digitize the existence state of the object, the existence state of the object can be objectively indicated, and a highly objective neural network can be learned. A learning result of a more versatile neural network can be obtained.
  • the user, the robot, or the state determination device 100 places the individual electrodes 11 in the teacher data arrangement in accordance with an instruction from the learning data creation device 300 ( S11).
  • the electrode 11 By disposing the electrode 11 more flexibly with respect to the object without fixing the arrangement of the electrode 11, learning data reflecting the presence state of the object in more detail can be generated. If a plurality of electrodes 11 are fixed, the step of arranging the individual electrodes 11 in the teacher data can be omitted.
  • the learning data creation device 300 sets the presence state of the object to a presence state based on information related to the presence state of the object included in the teacher data (S12). Next, the learning data creation device 300 refers to the electrode pair list and selects an electrode pair from the electrode group 10 (S13). For example, the learning data creation device 300 applies a predetermined voltage to the selected electrode pair, measures the capacitance (S14), and records the measured capacitance in the capacitance pattern vector (S15). .
  • the capacitance pattern vector is a vector that includes the measured capacitance value as an element.
  • the learning data creation device 300 determines whether or not a combination of unselected electrode pairs remains among the electrode pairs included in the electrode pair list (S16). When the combination of the electrode pair which is not selected remains (S16: Yes), it returns to step S13, a new electrode pair is selected, the capacitance is measured for the new electrode pair, and the capacitance Append to pattern vector. When the combination of the unselected electrode pairs is not left in the electrode pair list (S16: No), teacher data is given to the obtained capacitance pattern (S17). Thereafter, the learning data creation device 300 associates the obtained capacitance pattern with the teacher data and records it in the learning database device 400 (S18).
  • the learning data creation device 300 determines whether or not to measure the capacitance pattern for other existence states of the object (S19). When the capacitance pattern is measured for another existence state of the object (S19: Yes), the learning data creation device 300 returns to step S10 and performs the above-described processing again for the other object. On the other hand, when the capacitance pattern is not measured for the other existence state of the object (S19: No), the learning data creation device 300 determines whether there is another electrode arrangement of the electrode group 10 (S20). When there is another electrode arrangement of the electrode group 10 (S20: Yes), the learning data creation device 300 performs the process described above again for the other electrode arrangement. On the other hand, when there is no other electrode arrangement of the electrode group 10 (S20: No), the learning data creation process by the learning data creation device 300 ends.
  • learning data including a capacitance pattern related to an object measured with respect to the electrode group 10 and teacher data including information related to the presence state of the object are generated in association with each other. Can do.
  • the learning device 200 learns by using learning data including a capacitance pattern and teacher data, thereby comparing the presence state of an object as compared with a case where a change in capacitance between a single electrode pair is used. Gain the ability to make more detailed decisions.
  • FIG. 8 is a flowchart of the learning process in the learning apparatus 200 according to the present embodiment.
  • the learning device 200 accesses the learning database device 400 (S30), and specifies learning data used for learning (S31).
  • the learning device 200 sequentially reads the electrostatic capacitance patterns included in the designated learning data, and learns the neural network 210 (S32).
  • the learning of the neural network 210 may be learning executed by, for example, an error back propagation method.
  • the learning device 200 extracts the result learned by the neural network 210 by the learning result extraction unit 230, and outputs the learning result to the learning database device 400 or any external storage device by the learning result output unit 240 via the communication unit 250. (S33).
  • the learning device 200 determines whether or not to perform another learning (S34).
  • S34 determines whether or not to perform another learning.
  • S34: Yes different learning data is designated and the neural network learning is executed again.
  • S34: No the learning process ends.
  • FIG. 9 is a flowchart of object recognition processing in the state determination apparatus 100 according to the present embodiment.
  • the object recognition process is typically a process performed after learning of the neural network by the learning device 200.
  • the state determination device 100 accesses the learning database device 400, inputs the learning result output from the learning device 200 by the learning result input unit 171, and configures the neural network 175 by the neural network setting unit 173 (S40). ). Thereby, the neural network 175 can reproduce the ability acquired as a result of learning in the learning device 200.
  • the state determination device 100 selects a plurality of electrode pairs from the plurality of electrodes 11 and measures a capacitance pattern for the object. Then, the neural network input unit 174 inputs the capacitance pattern to the neural network 175 (S42). In response to this input, the neural network 175 performs an operation (S43), and the neural network output unit 180 outputs the operation result.
  • the state determination apparatus 100 determines the presence state of the object from the output calculation result, that is, generates an object recognition result (S44), and outputs the object recognition result (S45).
  • the output recognition result includes, for example, presence / absence of an object, position, type, posture, material, distribution, and the like, but is not limited thereto.
  • the state determination apparatus 100 determines whether or not to end the object recognition process (S46). If the object recognition operation is not ended (S46: No), the state determination apparatus 100 updates the capacitance pattern and uses the neural network 175. The object recognition process is executed again. When the object recognition operation is terminated (S46: Yes), the object recognition process is terminated.
  • a plurality of electrode pairs are selected from the plurality of electrodes 11 included in the electrode group 10 to measure a capacitance pattern, By determining the presence state of an object based on a capacitance pattern, it is possible to determine the presence state of an object in more detail than when using a change in capacitance between a single electrode pair. .
  • FIG. 10 is a diagram illustrating a state in which the electrode 11 is provided on the robot hand 700.
  • a plurality of electrodes 11 and guard electrodes 12 are provided in the robot hand 700.
  • the state determination device 100 measures the capacitance pattern of the plurality of electrodes 11 provided in the robot hand 700, and determines the presence state of the object OB that is gripped or operated by the robot hand 700.
  • the robot hand 700 typically includes an articulated arm part and a multi-limbed articulated hand part provided at the tip of the arm part.
  • the aspect which provides a some electrode in the robot hand 700 is an illustration, Comprising: The installation location of a some electrode is not restricted to the robot hand 700, and is arbitrary.
  • the electrode 11 is composed of a planar conductor and is provided on the palm side of the robot hand 700.
  • the electrodes 11 are provided in a matrix in each fingertip, between the second and third joints of each finger, and the palm.
  • the guard electrode 12 is disposed so as to surround at least a part of the plurality of electrodes 11 and is configured by a planar conductor.
  • the guard electrode 12 is provided on the palm side of the robot hand 700.
  • the guard electrode 12 is provided so as to surround the electrode 11 at each fingertip, between the second joint and the third joint of each finger, and at the palm. ing.
  • positioning of the electrode 11 and the guard electrode 12 shown to the figure is an illustration, and arrangement
  • an object OB is arranged.
  • the object OB is an arbitrary object and may be a liquid or a gas.
  • the object OB may be a living body such as a human body or a non-living body such as a tool.
  • the object OB may be any of a conductor, a semiconductor, and an insulator, and may be a transparent object or an opaque object.
  • the state of the object that is gripped or operated by the robot hand 700 is determined.
  • a more precise operation by the robot hand 700 can be supported. For example, when an object is gripped by the robot hand 700, a plurality of fingers of the robot hand 700 can be operated to approach the object evenly.
  • FIG. 11 is a functional block diagram of the state determination apparatus 100 according to the second embodiment.
  • the state determination device 100 is connected to the electrode 11 and the guard electrode 12, and includes a selection unit 130, a voltage application unit 140, a capacitance pattern measurement unit 150, a neural network 175, an arrangement acquisition unit 161, and an environment measurement unit 162.
  • the state determination device 100 corresponds to an input unit (keyboard, mouse, etc.), an output unit (liquid crystal display device, etc.), a calculation unit (CPU, GPU, etc.) corresponding to a hardware processor, and a memory as physical configurations.
  • Storage unit (HDD, SSD, semiconductor memory, etc.).
  • the functional blocks shown in the figure represent functions that are exhibited using the physical configuration of the state determination device 100, and do not necessarily correspond to the physical configuration on a one-to-one basis.
  • the electrode 11 and the guard electrode 12 are provided in the robot hand 700, and all the electrodes 11 and the guard electrodes 12 are provided to be movable and rotatable.
  • the selection unit 130 and the capacitance pattern measurement unit 150 have the same functions as those described with reference to FIG.
  • the voltage application unit 140 applies a predetermined voltage to the plurality of electrode pairs selected by the selection unit 130.
  • the voltage application unit 140 applies a reference potential to one of the electrode pair selected by the selection unit 130 and the guard electrode 12.
  • the reference potential may be a ground potential, but may be any potential not limited thereto.
  • the voltage application unit 140 may apply a DC voltage or an AC voltage to the electrode pair selected by the selection unit 130.
  • the electric field is shielded by the guard electrode 12, and a capacitance pattern only on one side of the two surfaces of the electrode 11 is measured.
  • the range for determining the state of the object OB can be limited. Thereby, for example, the state of the object OB placed on the palm side of the robot hand 700 can be determined without being affected by the influence of the robot hand 700 itself or the object placed on the back side of the robot hand 700. it can.
  • a part of the electrode 11 may function as the guard electrode 12 by applying a reference potential to a part of the electrode 11.
  • the arrangement acquisition unit 161 acquires the arrangement of the plurality of electrodes 11. Since the plurality of electrodes 11 according to the present embodiment are provided in the robot hand 700, the arrangement acquisition unit 161 acquires the angles of the joints included in the robot hand 700 and arranges the plurality of electrodes 11 on the robot hand 700. May be calculated.
  • the neural network 175 uses the capacitance pattern measured by the capacitance pattern measurement unit 150 and the arrangement of the plurality of electrodes 11 acquired by the arrangement acquisition unit 161 as input data, and the presence of an object around the robot hand 700 exists. It is a learned neural network so that the state can be determined.
  • the environment measurement unit 162 measures environment data related to the environment when the capacitance pattern measurement unit 150 measures the capacitance patterns of the plurality of electrodes 11.
  • the environmental data is a physical quantity characterizing the environment where the plurality of electrodes 11 are placed.
  • the environmental data includes, in particular, data relating to the environment that causes the capacitance variation.
  • the environmental data includes at least one of humidity and electromagnetic noise. The change in humidity and the intensity of electromagnetic noise cause a change in dielectric constant and a change in the electrical state of the electric circuit constituting the capacitance pattern measurement unit 150, which contributes to fluctuations in the measured capacitance.
  • the neural network 175 may determine the state of the object using the capacitance pattern measured by the capacitance pattern measurement unit 150 and the environment data measured by the environment measurement unit 18 as input data. The determination result is output by a neural network output unit 180 (not shown in FIG. 11).
  • the environment measurement unit 162 may continuously measure the environment data while the state determination device 100 executes the state determination process. By measuring the environmental data, it is possible to perform state determination in consideration of the environmental dependence of the capacitance pattern, and it is possible to reduce state determination errors caused by changes in the measurement environment.
  • the environment measuring unit 162 measures humidity and electromagnetic noise as environment data. As a result, it is possible to perform state determination in consideration of the dependency of the humidity and electromagnetic noise that particularly affect the capacitance pattern, and reduce errors in state determination caused by changes in humidity and the strength of electromagnetic noise. be able to.
  • the neural network 175 of the state determination device 100 As the neural network 175 of the state determination device 100, a learned neural network learned by the learning device 200 so as to have the ability to determine the presence state of an object is used. As in the first embodiment, the learning method can be learned using the learning data created by the learning data creation device 300 and stored in the learning database device 400.
  • the robot hand 700 is set in a predetermined arrangement, and the plurality of electrodes 11 and the guard electrodes 12 are set in a predetermined arrangement.
  • the learning data creation device 300 creates the learning data by configuring the capacitance pattern measured by the selected plurality of electrode pairs, and stores the learning data in the learning database device 400 in association with the teacher data.
  • the electrode arrangement to be set may be in accordance with an electrode arrangement list stored in advance in the storage unit of the learning data creation device 300, or in accordance with an input by the user of the learning data creation device 300. Alternatively, it may be performed randomly.
  • the learning data creation apparatus 300 may include the arrangement of the plurality of electrodes 11 acquired by the arrangement acquisition unit 161 and the environment data measured by the environment measurement unit 162 in the learning data or teacher data.
  • the learning device 200 can obtain a learned neural network having a predetermined ability by performing machine learning using the learning data and the teacher data accumulated in the learning data creation device 300. For example, by performing machine learning using learning data including environmental data, even if the measurement environment of the capacitance pattern changes, state determination is performed in consideration of the environmental dependency of the capacitance pattern, and state determination is performed. A learning result that can reduce the error is obtained.
  • FIG. 12 is a diagram illustrating a state in which the plurality of electrodes 11 are provided on the sheet 800 in the third embodiment.
  • the third embodiment is different from the state determination system according to the second embodiment in that a plurality of electrodes 11 are provided on the sheet 800 and the guard electrode 12 is not provided.
  • the state determination system which concerns on 3rd Embodiment has the structure similar to the state determination system which concerns on 2nd Embodiment.
  • a plurality of electrodes 11 are provided on the sheet 800, a capacitance pattern is measured, and the presence state of an object is determined by a learned neural network, so that the state of a person sitting on the sheet 800 can be determined such as physique and posture. Details can be determined. For example, it is possible to determine whether or not the driver is in an awake state (whether or not the driver is asleep) by determining the state of the driver of the vehicle sitting on the seat of the vehicle. If it is determined that the driver is not in an awake state, an accident can be prevented by generating a warning sound or the like.
  • a plurality of electrodes 11 can be installed on a machine tool or the like to determine the approach of a person or an object, and can be used as a contact prevention sensor. Further, for example, a plurality of electrodes 11 can be installed on a windshield of an automobile and used as a raindrop sensor that determines the state of raindrops due to rain. In this case, it is desirable that the plurality of electrodes 11 be formed of transparent electrodes. Further, for example, a plurality of electrodes 11 can be installed on the front panel or bottom surface of an automobile and used as a road surface sensor that determines the state of the road surface.
  • a plurality of electrodes 11 are installed on the door handle of an automobile, a hand approaching the door is determined, whether or not the hand movement is intended to perform or release the door lock, Execution and cancellation can be performed.
  • a plurality of electrodes 11 can be installed around the bus entrance / exit and around the cargo bed exit of the bus to judge the state of passengers and luggage.
  • a plurality of electrodes 11 can be installed inside a car, a hand gesture state can be determined, and commands such as operation of audio equipment, opening and closing of doors and trunks, and opening and closing of power windows can be performed.
  • a plurality of electrodes 11 can be installed outside the automobile, and a tool used for illegal acts such as vehicle theft or an action associated with illegal acts can be determined and used as a security sensor.
  • Appendix 1 Comprising at least one memory and at least one hardware processor connected to the memory;
  • the hardware processor is Select multiple electrode pairs from multiple electrodes, Measure the capacitance pattern for multiple selected electrode pairs,
  • the state of the object is determined from the measured capacitance pattern by a learned neural network. State determination device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Mechanical Engineering (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Geophysics (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Environmental & Geological Engineering (AREA)
  • Electromagnetism (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Transportation (AREA)
  • Hospice & Palliative Care (AREA)

Abstract

単一の電極ペア間の静電容量の変化を利用する場合に比較して、物体の状態をより詳細に判定し得る状態判定装置を提供する。複数の電極（１１）の周辺にある物体の状態を判定する状態判定装置は、複数の電極（１１）のうちから複数の電極ペアを選択する選択部（３０）と、複数の電極ペアについての静電容量パターンを計測する静電容量パターン計測部（５０）と、前記静電容量パターンから物体の状態を判定するよう学習済みのニューラルネットワークと、を備える。

Description

状態判定装置、学習装置、状態判定方法及びプログラム 関連出願の相互参照
　本出願は、２０１７年２月１３日に出願された日本出願番号２０１７－０２４１６９号に基づくもので、ここにその記載を援用する。
　本発明は、状態判定装置、学習装置、状態判定方法及びそのプログラムに関する。
　従来、物体と電極の距離に応じて電極の静電容量が変化することを利用した静電容量センサを用いて、物体の有無や接近を判定する技術が知られている。静電容量センサは、絶縁体や透明な物体等であっても判定可能な場合があり、幅広い種類の物体を判定するために用いられている。
　特許文献１には、座席に着座した人体とヘッドレストとの間の静電容量を検知する検知電極を備え、頭部の頭頂部位置及び水平方向中心位置を判定して、ヘッドレストの位置を適正に調整するヘッドレスト位置調整装置が記載されている。
特開２００９－５０４６２号公報
　静電容量センサは、電極ペア間の静電容量の変化に基づいて、物体の有無や接近を判定する場合がある。しかしながら、電極ペア間の静電容量の変化だけでは、物体の状態を詳細に判定できない場合がある。
　例えば、互いに向かい合う平面導体を電極ペアとする場合、物体が電極ペアの間に存在するか否かを判定したり、物体が電極ペアのどちら側に近いかを判定したりすることができる。だが、物体が電極ペアの間に存在する場合に、平面導体の延在方向に関する物体の位置を判定することは困難となる。
　そこで、本発明の一態様は、単一の電極ペア間の静電容量の変化を利用する場合に比較して、物体の状態をより詳細に判定し得る状態判定装置等を提供することを目的とする。
　本発明の一態様に係る状態判定装置は、複数の電極の周辺にある物体の状態を判定する状態判定装置であって、複数の電極のうちから複数の電極ペアを選択する選択部と、選択部により選択された複数の電極ペアについての静電容量パターンを計測する静電容量パターン計測部と、静電容量パターンから物体の状態を判定するよう学習済みのニューラルネットワークと、を備える。
　この態様によれば、複数の電極のうちから複数通りの電極ペアを選択して静電容量パターンを計測し、複数の電極の周辺にある物体の状態を判定することにより、単一の電極ペア間の静電容量の変化を利用する場合に比較して、物体の状態をより詳細に判定することができる。
　上記態様において、状態判定装置は、複数の電極の配置を取得する配置取得部をさらに備える。このとき、ニューラルネットワークは、静電容量パターン計測部により計測された静電容量パターンに加え、配置取得部により取得された複数の電極の配置から物体の状態を判定してもよい。
　この態様によれば、静電容量パターン及び複数の電極の配置から物体の状態を判定することで、物体の状態をより詳細に判定することができる。
　上記態様において、状態判定装置は、複数の電極のうち選択部により選択された複数の電極ペアの各々に対して、所定の電圧を印加する電圧印加部と、複数の電極の少なくとも一部を囲むように配置されるガード電極と、をさらに備えてもよい。電圧印加部は、複数の電極のうち選択部により選択された電極ペアの一方と、ガード電極と、に基準電位を印加してもよい。
　この態様によれば、電極ペアの一方とガード電極に基準電位を印加することで、ガード電極によって電界が遮蔽され、電極の２つの面のうち片面側のみの静電容量パターンを計測することができ、物体の状態を判定する範囲を制限することができる。
　上記態様において、状態判定装置は、静電容量パターン計測部により複数の電極ペアの静電容量パターンを計測する際の環境に関する環境データを測定する環境測定部をさらに備えてもよい。このとき、ニューラルネットワークは、静電容量パターン計測部により計測された静電容量パターンに加え、環境測定部により測定された環境データから物体の状態を判定してもよい。
　この態様によれば、静電容量パターン及び環境データから物体の状態を判定することで、静電容量パターンの環境依存性を考慮した状態判定が行われ、測定環境の変化に起因する状態判定の誤差を低減することができる。
　上記態様において、環境測定部により測定される環境データは、湿度及び電磁ノイズのうち少なくともいずれかを含んでもよい。
　この態様によれば、静電容量パターンに対して特に影響を及ぼす湿度及び電磁ノイズの依存性を考慮した状態判定が行われ、湿度の変化及び電磁ノイズの強弱に起因する状態判定の誤差を低減することができる。
　上記態様において、ニューラルネットワークは、物体の有無、物体の位置、物体の角度、物体の種類、物体の材質及び物体の分布のうち少なくともいずれかを判定してもよい。
　この態様によれば、物体の有無、物体の位置、物体の角度、物体の種類、物体の材質及び物体の分布のうち少なくともいずれかを判定することで、物体の状態をより詳細に判定することができる。
　上記態様において、複数の電極は、ロボットハンドに設けられていてもよい。
　この態様によれば、ロボットハンドによって把持されたり操作されたりする物体の状態を判定することができ、ロボットハンドによるより精密な動作を支援することができる。例えば、物体を把持する場合に、ロボットハンドの複数の指を物体に対して均等に近付ける動作ができる。
　上記態様において、複数の電極は、シートに設けられていてもよい。
　この態様によれば、シートに着座する者の状態について、体格や姿勢等の詳細を判定することができる。例えば、自動車のシートに着座する自動車の運転手の状態を判定することで、運転手が覚醒状態にあるか否かを判断することができる。
　上記態様において、ニューラルネットワークの学習を行うための学習装置をさらに備えてもよい。学習装置は、複数の電極のうちから選択された複数の電極ペアについての静電容量パターンを含む学習データによりニューラルネットワークの学習を行うよう制御する学習制御部を備える。
　この態様によれば、物体に関する静電容量パターンを含む学習データにより学習を行うことで、学習結果として、物体の状態を判定できるニューラルネットワークが得られ、単一の電極ペア間の静電容量の変化を利用する場合に比較して、物体の状態をより詳細に判定することができる。
　上記態様において、学習データは、複数の電極の配置に関するデータを含んでもよい。
　この態様によれば、複数の電極の配置を固定せず、複数の電極を物体に対してより柔軟に配置することで、物体の状態をより詳細に判定することができるニューラルネットワークの学習結果が得られる。
　上記態様において、学習データは、静電容量パターンを計測する際の環境に関する環境データを含んでもよい。
　この態様によれば、物体に関する静電容量パターン及び環境データを含む学習データによりニューラルネットワークの学習が行われ、測定環境が変化する場合であっても、静電容量パターンの環境依存性を考慮した状態判定を行い、状態判定の誤差を低減することができる学習結果が得られる。
　上記態様において、学習装置は、学習データ及び教師データにより、ニューラルネットワークの学習を行い、教師データは、物体の状態を示す画像又は動画を含んでもよい。
　この態様によれば、ユーザが物体の状態を数値化する必要が無くなり、物体の状態を客観的に示した画像又は動画を教師データに用いてニューラルネットワークの学習が行われ、客観性が高くより汎用性の高いニューラルネットワークの学習結果が得られる。
　本発明の一態様に係る状態判定方法は、複数の電極の周辺にある物体の状態を判定する状態判定方法であって、複数の電極のうちから複数の電極ペアを選択する第１ステップと、第１ステップにおいて選択された複数の電極ペアについての静電容量パターンを計測する第２ステップと、第２ステップにおいて計測された静電容量パターンから物体の状態を、学習済みのニューラルネットワークにより判定する第３ステップと、を含む。
　この態様によれば、複数の電極のうちから複数通りの電極ペアを選択して静電容量パターンを計測し、物体の状態を判定することにより、単一の電極ペア間の静電容量の変化を利用する場合に比較して、物体の状態をより詳細に判定することができる。
　本発明の一態様に係る状態判定のためのプログラムは、複数の電極の周辺にある物体の状態を判定する状態判定装置が備えるコンピュータを、複数の電極のうちから複数の電極ペアを選択する選択部、選択部により選択された複数の電極ペアについての静電容量パターンを計測する静電容量パターン計測部、及び静電容量パターンから物体の状態を判定するよう学習済みのニューラルネットワーク、として機能させることを含む。
　この態様によれば、複数の電極のうちから複数通りの電極ペアを選択して静電容量パターンを計測し、物体の状態を判定することにより、単一の電極ペア間の静電容量の変化を利用する場合に比較して、物体の状態をより詳細に判定することができる。
　本発明の一態様によれば、単一の電極ペア間の静電容量の変化を利用する場合に比較して、物体の状態をより詳細に判定し得る状態判定装置等が提供される。
第１実施形態に係る状態判定システムの全体概念を示す図である。 複数の電極の配置例を示す図である。 複数の電極の配置例を示す図である。 第１実施形態に係る状態判定システムの具体的なシステム構成の一例を示す図である。 第１実施形態に係る状態判定装置の構成を示すブロック図である。 第１実施形態に係る学習装置の構成を示すブロック図である。 第１実施形態に係る状態判定システムを構成する各装置のハードウェア構成の一例を示すブロック図である。 第１実施形態に係る学習データ作成装置における学習データ作成処理のフローチャートである。 第１実施形態に係る学習装置における学習処理のフローチャートである。 第１実施形態に係る状態判定装置における物体の認識処理のフローチャートである。 第２実施形態において、複数の電極がロボットハンドに設けられている様子を示す図である。 第２実施形態に係る状態判定装置の機能ブロック図である。 第３実施形態において、複数の電極がシートに設けられている様子を示す図である。
　添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。本明細書では、まず第１実施形態について説明した後、具体的な実施例として、主に、状態判定装置の複数の電極がロボットハンドに設けられた場合に関する第２実施形態と、状態判定装置の複数の電極がシートに設けられた場合に関する第３実施形態と、について説明する。しかしながら、本発明の実施形態に係る状態判定装置の複数の電極は、ロボットハンドやシート以外に設けられてもよいものであり、本発明の構成は、以下に説明する実施形態の構成に限定されるものではない。
［第１実施形態］
　図１は、本発明の第１実施形態に係る状態判定システム１の全体概念を示す図である。同図に示すとおり、状態判定システム１は、電極接続部２０と、選択部３０と、静電容量パターン計測部５０と、静電容量パターン学習部６０と、静電容量パターン認識部７０と、認識結果出力部８０とを備え、電極接続部２０を介して電極群１０の各電極１１ａ、１１ｂ、１１ｃ、１１ｄ、１１ｅ、１１ｆ（以下、各電極を区別する必要のないときには単に「電極１１」という。）と接続されている。なお、本システムの構成は図示のものに限定されず、例えば、状態判定システム１が電極群１０を含むものとして構成してもよい。また、各部のうち任意の複数の部を物理的ないし論理的に一体のものとして構成してもよいし、各部を物理的ないし論理的に２以上の要素に分けて構成してもよい。
　電極１１は、所定の面積を持つ金属などの導体を用いることができる。電極が２つ（電極ペア）あれば、電極ペアを計測回路に接続することにより、その間の静電容量を計測できる。電極１１として透明の部材を用いてもよく、この場合、表示デバイスの表面に透明の電極１１を備えることによって、タッチパネルを構成できる。
　選択部３０は、電極群１０に含まれる複数の電極１１のうちから任意の２つの電極を選択する。選択部３０は任意の電極ペアを順次選択することで、複数の電極ペアを順次選択することができる。例えば、選択部３０は、電極ペアとして、電極１１ａと１１ｂのペア、電極１１ｃと１１ｄのペア、電極１１ｅと１１ｆのペアという３つの電極ペアを順次選択することができる。選択部３０による電極ペアの選択は、状態判定システム１の記憶部に予め記憶された電極ペアリストに従ったものであってもよいし、状態判定システム１のユーザによる入力に従うものであってもよいし、ランダムに行われるものであってもよい。
　静電容量パターン計測部５０は、選択部３０によって選択された複数の電極ペアの各々について計測された静電容量に基づいて、選択部３０により選択された複数の電極ペアについての静電容量パターンを計測する。静電容量パターンとは、複数の電極ペアについて計測される一連の静電容量の値をいう。具体的に、図１に示すように、電極群１０として６つの電極１１ａ～１１ｆを備える場合について説明する。例えば、選択部３０が、６つの電極１１ａ～１１ｆのうちから、電極ペアとして、電極１１ａと１１ｂのペア、電極１１ｃと１１ｄのペア、電極１１ｅと１１ｆのペアの３組を順次選択するとき、選択部３０により選択された電極ペアのそれぞれに対して静電容量Ｃab、Ｃcd、Ｃefを順次計測することができる。この３組の電極ペアに対して計測される一連の静電容量（Ｃab，Ｃcd，Ｃef）に基づいて、静電容量パターンを計測する。
　静電容量の計測方法は任意の手法を採用可能である。例えば、所定の電荷をチャージしたときの電圧を計測することによって、静電容量を計測してもよい。あるいは、ＬＣ発信回路を構成して、周波数を計測することで、静電容量を計測してもよい。電極１１付近に物体が有る場合と無い場合とでは、物体の誘電率に応じて静電容量が変化する。そのため、いずれかの電極ペアに物体が近づくと、当該電極ペアに対して計測される静電容量が、物体の誘電率に応じて変化する。そこで、複数の電極ペアの静電容量パターンを計測することによって、複数の電極１１周辺に物体が存在するか否かを判定することができるようになり、判定結果に基づいて物体の存在状態を検出できるようになる。
　静電容量パターンは、画像に類似するデータと捉えられ、画像が物体の状態を光によって捉えたものであるならば、静電容量パターンは、物体の状態を静電容量によって捉えるものである。選択部３０により選択された電極ペアに対して、静電容量パターン計測部１５０は、電極ペア間の静電容量を計測することができる。例えば、選択部３０により選択された電極ペアに対して交流電圧を印加した場合、静電容量パターン計測部５０は、電極ペア間において計測される電圧の周波数を印加電圧の周波数と比較することで、静電容量を計測することができる。
　静電容量パターン計測部５０において計測される静電容量パターンは、例えば、物体が複数の電極１１付近に無い場合には、電極１１付近にある空気の影響が静電容量パターンとして計測される。これに対して、物体がある場合には、物体の影響を受けた静電容量パターンが計測される。
　静電容量パターン学習部６０は、静電容量パターン計測部５０によって計測された静電容量パターンを学習データとして機械学習を行うことで、静電容量パターンを認識する能力を獲得する。
　例えば、複数の電極１１に対して所定の位置にある、同じ物体に対して計測される静電容量パターンは、ほぼ同じパターンになる。このとき、物体がいずれかの方向に少し移動すると、静電容量パターンは少し変化する。したがって、同じ物体の位置を変えて、多数計測したデータに基づいて構成された静電容量パターンを学習データとすることで、物体の位置を判定する能力を学習し、物体の位置を検出することができる。
　複数の電極１１に対して所定の位置にある、同じ物体の姿勢を変えて計測すると、同じ姿勢の場合にはほぼ同じパターンになる。物体の姿勢が少し変化すると、静電容量パターンは少し変化する。したがって、同じ物体の姿勢を変えて、多数計測したデータに基づいて構成された静電容量パターンを学習データとすることによって、物体の姿勢を判定する能力を学習し、物体の姿勢を検出することができる。
　複数の電極１１に対して、物体が移動すると、移動に応じて計測されるパターンが変化する。移動前の静電容量パターンと移動後の静電容量パターンを組み合わせて学習を行うことによって、物体が移動したか否かを判定する能力を獲得し、物体の移動を検出することができる。
　静電容量パターン学習部６０による学習が完了すると、静電容量パターン学習部６０を構成するニューラルネットワークが静電容量パターンを学習して所定の認識能力を獲得した状態になる。静電容量パターン学習部６０は、獲得した能力を静電容量パターン認識部７０が利用できるように、学習済みのニューラルネットワークを複製又は変換等して、学習済みのニューラルネットワークを再構成するための情報を作成し、静電容量パターン認識部７０に渡す。
　静電容量パターン認識部７０は、静電容量パターン学習部６０による学習の結果得られた能力を利用して静電容量パターンを認識することによって、複数の電極１１の付近にある物体の存在状態を判定する。静電容量パターン認識部７０は、静電容量パターン学習部６０から学習済みのニューラルネットワークを再構成するための情報を受け取り、学習済みのニューラルネットワークを再構成する。これにより、静電容量パターン認識部７０は、物体の存在状態を判定できるようになる。すなわち、学習済みのニューラルネットワークに静電容量パターン計測部５０により計測された静電容量パターンを入力して演算することで、物体の状態を判定する。例えば、物体の存在状態の分類、物体の存在有無、物体の位置、物体の種類、物体の姿勢、物体の材質、物体の分布等の状態を判定することができる。これら以外にも、例えば上記の変化を識別する能力や、変化を分類する能力、変化を予測する能力など、静電容量パターンに差を引き起こすような物体の存在状態を識別するさまざまな能力を獲得することができる。
　認識結果出力部８０は、静電容量パターン認識部７０に静電容量パターンを入力することにより判定された結果を出力する。例えば、存在の有無を判定する場合に、識別対象の識別子（ＩＤ）が判定できた場合には、それを出力してもよい。また、特定の対象が存在するか否かを判定し、特定の対象の有無を検出する場合には、「対象が検出された」旨の情報を出力してもよい。さらに、識別した状態を可視化してもよい。例えば、物体の形状を示す画像を表示することで、どのような物体であるかが見てわかるようしてもよい。識別した物体の姿勢を画像に反映することで、物体の姿勢が見てわかるようしてもよい。識別した動きを画像に反映することで、動きを可視化してもよい。
　図２Ａ及び図２Ｂは、複数の電極１１の配置例を示す図である。図２Ａは、電極１１を縦横のマトリクス状に配置した例である。例えば、電極１１がＮ×Ｍ個のマトリクス状に並んでいる場合、選択部３０は、N×MＣ2通りの電極ペアを選択することとしてよい。このとき、選択部３０は、マトリクス状に並んだ複数の電極１１のうち任意の電極を選択し切り替えることのできるスイッチマトリクスを含んでもよい。縦または横に隣り合った電極など、近くにある２つの電極１１を組み合わせた場合には、それらの電極付近にある物体の誘電率の影響を強く受ける。他方、離れた位置にある２つの電極１１が選択されると、広い範囲の物体の影響を受ける。
　したがって、特定の１つの電極１１ｉと組み合わせる電極を変えて複数の電極ペアの静電容量を計測すると、その特定の電極１１ｉの周辺付近の空間について、より詳しく物体の存在に関する情報が得ることができる。また、別の特定の１つの電極１１ｊを用いると、別の空間についてより詳しく物体の存在に関する情報が得られる。さらに別の電極１１ｋ、１１ｍ、・・・というように、特定の電極を順次用いて複数の電極ペアの静電容量を計測することによって、段階的により詳しく物体の存在に関する情報を得ることができるようになる。
　例えば、図２Ａに図示した５×５のマトリクスに配置した電極から２つの電極を選択する組み合わせは、３００種類ある。これらの電極の組み合わせを用いて静電容量を計測すると、３００組の静電容量データが得られる。これら一連の静電容量データによって構成される静電容量パターンは、複数の電極１１が配置された矩形領域付近にある物体の存在状態を反映している。なお、静電容量パターンを構成するとき、複数の電極１１の中から２つの電極を選択する全ての組み合わせ（ここでは３００組）を用いてもよいし、組み合わせの一部を用いてもよい。
　図２Ｂは、マトリクス状に並んだ複数の電極１１で構成される第１電極群１０ａと第２電極群１０ｂとを対向して配置した例である。選択部３０は、第１電極群のうちから電極ペアを選択することもできるし、第２電極群のうちから電極ペアを選択することもできるし、第１電極群と第２電極群にまたがる電極ペアを選択することもできる。
　図２Ａの配置では、電極平面に比較的近い空間にある物体の存在状態を判定できる。これに対して、図２Ｂのように、対向して２群の電極を配置した場合は、２群の電極群で挟まれる空間にある物体の存在状態を判定できる。例えば、第１群と第２群のそれぞれから、いずれかの電極を選択して組み合わせることによって、電極平面から離れた位置にある物体の影響を計測しやすくなる。
　なお、図２Ａ及び図２Ｂの例に限らず、電極ペアの組み合わせは必ずしも全て用いる必要はなく、任意の組み合わせを選択できる。また、電極数は一例にすぎず、任意数の電極を用いることができる。電極１１の形状と大きさは任意でよく、電極の設置位置も任意でよい。例えば、自動車の車室内に、乗員を取り囲むように複数の電極１１を設置することができる。これにより、車室内等の囲まれた空間にある物体の存在状態を判定でき、立体的な形状や状態を判定しやすくなる。また、判定したい空間の形状と、物体の状態に応じて電極１１の位置と大きさを設定できる。後述のロボットハンドの事例のように、移動手段を用いて、電極１１の位置や姿勢を変えてもよい。
　図３は、第１実施形態に係る状態判定システム１の具体的なシステム構成の一例を示す図である。同図に示すとおり、状態判定システム１は、電極群１０に接続された状態判定装置１００と、学習装置２００と、学習データ作成装置３００と、学習データベース装置４００とが、ネットワークＮを介して相互に接続可能に構成される。
　状態判定装置１００は、図１に示した電極接続部２０と、選択部３０と静電容量パターン計測部５０と、静電容量パターン認識部７０と、認識結果出力部８０とを実質的に含み、電極群１０に含まれる複数の電極１１の静電容量パターンに基づいて、複数の電極１１の周辺にある物体の状態を判定する。
　学習装置２００は、図１に示した静電容量パターン学習部６０を実質的に含む。学習装置２００は、学習データベース装置４００に蓄積された静電容量パターンを含む学習データを用いて機械学習を行うことでニューラルネットワークの学習を行い、複数の電極の周辺にある物体の状態を、静電容量パターンから認識する能力を獲得する。学習装置２００において獲得された能力は、直接又は学習データベース装置４００を介して状態判定装置１００に渡される。
　学習データ作成装置３００は、獲得しようとする能力の種類に応じて必要となる学習データや教師データを作成し、学習データベース装置４００に蓄積する。図３に示すシステム構成においては、学習データ作成装置３００が学習データを作成する際、状態判定装置１００を介して、電極群１０に含まれる複数の電極１１の静電容量パターンと、当該静電容量パターンが得られたときの電極１１周辺の物体の存在状態とを取得し、例えば、静電容量パターンに基づいて学習データを作成し、そのときの物体の存在状態に基づいて教師データを作成する。
　例えば、物体の存在状態を分類する能力を獲得しようとする場合、物体の複数の存在状態それぞれに対して所定のバリエーションで静電容量パターンを計測し、これを学習データとすることができる。すなわち、学習データの対象となる複数の物体の存在状態に対する静電容量パターンをそれぞれ計測して記録したデータが、学習データとして用いられる。教師データについては、それぞれの静電容量パターンに対して、物体の存在状態を識別するための情報を教師データとして学習データに関連づけて記録する。このとき、教師データを学習データと別のデータとして関連付けてもよいし、学習データに教師データを含ませるものとしてもよい。物体を、単に複数のグループに分類できればよい場合、教師データを含まなくてもよい。
　物体の存在状態の変化を分類する能力を獲得しようとする場合、静電容量パターンの時系列のデータが必要となるため、例えば、変化の内容を示す教師データを含む学習データを作成する。物体の存在状態を予測する能力を獲得しようとする場合、例えば、存在状態の内容に関する教師データを含む静電容量パターンの時系列データを用いて、物体の存在状態を予測する学習を行うことができる。
　学習データ作成装置３００に実装される学習データ生成プログラムにより、学習データを自動生成することができる。例えばディープラーニングによる学習には多くのデータを必要とするため、静電容量パターンの取得から学習データベース装置４００への登録までの一連の作業を自動化することで、作業工数を大きく削減することができる。例えば、複数の電極１１の周辺に物体を近づけて、当該物体の位置や姿勢を変更する動作をロボットに指令して、さまざまな位置や姿勢と方向における静電容量パターンを、そのときの物体の位置、姿勢及び方向と対応付けて取得するようにすることで、人が作業を行わずに学習データと教師データを自動的に生成することができる。学習データ作成装置３００は、マニュアル操作により学習データを生成してもよい。また、学習データや教師データとして、学習に関連し得る任意の情報を組み合わせてもよい。
　なお、電極１１と物体の位置関係に応じて静電容量パターンが計測されるため、電極１１の配置は学習結果に影響を与え得る。そのため、学習データは電極の配置に関する情報を含むものとしてもよい。また、学習データ作成装置３００の有する機能を、状態判定装置１００又は学習装置２００が備えるものとしてもよい。この場合、状態判定装置１００又は学習装置２００から出力されるデータを学習データベース装置４００に蓄積したり、学習装置２００に入力ないし利用したりすることで、学習データや教師データとして用いることができる。
　学習データベース装置４００は、学習データ作成装置３００が作成した学習データや学習プログラムなど学習に関連するデータやプログラム、その設定等を記録する機能を備える。学習データ作成装置３００が作成した学習データや教師データは、学習データベース装置４００に渡され、学習データに関する情報として記録される。
　図４は、本実施形態における状態判定装置１００の構成を示すブロック図である。同図に示す構成のうち、電極接続部１２０、選択部１３０、静電容量パターン計測部１５０及びニューラルネットワーク出力部１８０は、それぞれ図１の電極接続部２０、選択部３０、静電容量パターン計測部５０及び認識結果出力部８０に相当する機能を有するものであるので、説明を省略する。学習結果入力部１７１と、制御部１７２と、ニューラルネットワーク設定部１７３と、ニューラルネットワーク入力部１７４と、ニューラルネットワーク１７５とが、図１の静電容量パターン認識部７０に相当する機能を有する。
　学習結果入力部１７１は、学習装置２００における学習の結果として獲得された能力に関する情報を受け付けて、状態判定装置１００に入力する。ここでは、学習装置２００から出力された学習済みのニューラルネットワークを再構成するために必要なデータが入力される。制御部１７２は、状態判定装置１００の各構成における処理を制御するものであり、例えば、学習データ作成装置３００からの指示を受けて、電極群１０から取得した静電容量パターンを、通信部１９０を介して学習データ作成装置３００に出力する。また、制御部１７２は、学習結果入力部１７１から入力された学習済みのニューラルネットワークを再構成するために必要なデータを、ニューラルネットワーク設定部１７３に渡す。ニューラルネットワーク設定部１７３は、このデータに基づいて、ニューラルネットワーク１７５を再構成する。これにより、ニューラルネットワーク１７５は、学習装置２００における学習の結果として獲得された能力を再現することができるようになる。
　ニューラルネットワーク入力部１７４は、静電容量パターン計測部１５から静電容量パターンを取得し、ニューラルネットワーク１７５に入力する。ニューラルネットワーク１７５は、入力された静電容量パターンに対して演算を行い、演算結果を出力する。この演算結果は、複数の電極１１の周辺にある物体の存在状態の判定結果、すなわち物体の認識結果に相当するものであり、この認識結果をニューラルネットワーク出力部１８０から出力する。なお、ニューラルネットワークに換えて、機械学習可能な任意の学習モジュールを用いてもよい。ニューラルネットワーク１７５の演算結果として、物体の種類を判定し、物体の種類に割り振られたＩＤを出力することとしてもよい。
　ニューラルネットワーク出力部１８０は、物体の認識結果として、例えば、複数の電極１１の周辺における物体の存在状態の分類、物体の存在有無、物体の位置、物体の種類、物体の姿勢、物体の材質、物体の分布等の状態を出力することができる。出力される認識結果はこれらに限られず、他にも例えば、物体の存在状態の変化、変化の分類、変化の予測などを出力することができる。なお、物体の種類とは、例えば、形、重さ及び大きさが類似した複数種類の物体（例えば林檎と梨）が存在する場合に、その種類の別をいう。また、ニューラルネットワーク出力部１８０は、判定した物体の存在状態から画像や動画を生成し、物体の存在状態を可視化してユーザに提示してもよい。
　図５は、本実施形態における学習装置２００の構成を示すブロック図である。同図に示すとおり、学習装置２００は、ニューラルネットワーク２１０、学習制御部２２０、学習結果抽出部２３０、学習結果出力部２４０及び通信部２５０を含み、これらがネットワーク（内部バス等を含む）を介して相互に接続され得る。
　ニューラルネットワーク２１０は、ニューラルネットワークとしての機能を有し、学習により所定の能力を獲得することができる。学習装置２００は学習データベース装置４００に記録された学習データや教師データを用いてニューラルネットワーク２１０を学習させることによって、所定の能力を獲得する。ニューラルネットワーク２１０は、入力層に対し静電容量パターンベクトルが入力され、出力層から物体の存在状態を表すベクトルが出力されるものであってよい。なお、ニューラルネットワークに換えて、機械学習可能な学習モジュールを用いてもよい。
　学習制御部２２０は、学習プログラムを実行して学習装置２００における機械学習を制御する。学習制御部２２０は、学習プログラムが実行されることにより、ユーザから受け付けた所定の学習依頼に応じて学習を実行し、学習データを用いてニューラルネットワーク２１０に所定の能力を獲得させる学習を行うよう制御する。例えばディープラーニング技術を用いた学習プログラムを使用して学習を実行することで、ニューラルネットワーク２１０に所定の能力を獲得させることができる。ニューラルネットワーク２１０としては、物体の静的な状態を学習するために、画像認識に用いられる場合がある畳み込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ）を用いてもよい。また、物体の動的な状態を学習するために、再帰型ニューラルネットワーク（Recurrent Neural Network：ＲＮＮ）を用いてもよい。
　学習結果抽出部２３０は、ニューラルネットワーク２１０が学習した結果を抽出する。学習結果出力部２４０は、通信部２５０を介して、学習結果を外部に出力する。本実施形態においては、例えば、学習の結果、学習装置２００は、物体の存在状態を判定する能力を獲得できる。
　学習装置２００は、一般的なコンピュータ上で所定のプログラムを実行させることによって実装してもよい。このとき、学習処理の処理量が多いので、高速で動作するＣＰＵを備えたコンピュータを用いるとよい。ＧＰＵを用いると、繰り返し演算処理を高速化できる。ブレードコンピュータをラックマウントしたサーバ装置を用いることで、処理を並列化してスループットを上げることができる。複数の依頼者からの依頼を受け付ける場合、サーバ装置を多重化して並列度を上げることができる。
　図６は、状態判定システム１を構成する各装置のハードウェア構成の一例を示すブロック図である。状態判定装置１００、学習装置２００、学習データ作成装置３００、学習データベース装置４００などの各装置は、同図に示すように、ＣＰＵ６１０、ＲＯＭ６２０やＲＡＭ６３０等のメモリ、各種の情報を記憶する記憶装置６４０、入出力部６５０、通信部６６０及びこれらを結ぶネットワークないしバスを備える汎用又は専用のコンピュータを適用することができる。各装置は、例えば、ＣＰＵ６１０が、メモリ又は記憶装置６４０に記憶された所定のプログラムを実行することにより、上述した機能ブロックを実現し得る。プログラムは、ＣＤ－ＲＯＭ等の光学ディスク、磁気ディスク、半導体メモリなどの各種の記録媒体を通じて、又は通信ネットワークなどを介してダウンロードすることにより、各装置を構成するコンピュータにインストール又はロードすることができる。
　次に、図７乃至図９を参照して本実施形態に係るシステムの処理フローについて説明する。
　図７は、本実施形態に係る学習データ作成装置３００における学習データ作成処理のフローチャートである。学習データ作成処理は、状態判定装置１００によって物体の認識処理が実行されるのに先立って行われる処理である。はじめに、学習データ作成装置３００は、複数の電極１１周辺にある物体の存在状態に関する情報を含む教師データを作成する（Ｓ１０）。教師データには、複数の電極１１の配置に関する情報を含めてもよい。ここで、物体の存在状態に関する情報は、ユーザによって学習データ作成装置３００の入力部（不図示）により入力されたものであってよい。ユーザは、物体の存在状態に関する情報として、例えば、物体の位置、角度、種類、材質及び分布を表す数値を入力する。学習データ作成装置３００は、入力された数値から物体の存在状態に関する情報を表すベクトルを構成して教師データに含めてよい。また、電極１１の配置に関する情報は、ユーザによって学習データ作成装置３００の入力部により入力されたものであってよい。ユーザは、例えば、電極の大きさや位置、角度、材質を入力し、学習データ作成装置３００は、それらの数値から電極の配置に関する情報を表すベクトルを構成して教師データに含めてよい。また、電極群１０に対して予め電極の配置に関する情報が付与されている場合には、その情報を参照してもよい。
　教師データは、物体の存在状態に関する情報として画像又は動画を含んでもよい。物体の存在状態を画像又は動画により示すことで、ユーザが物体の存在状態を数値化する必要が無くなり、物体の存在状態を客観的に示すことができ、客観性の高いニューラルネットワークの学習が行え、より汎用性の高いニューラルネットワークの学習結果が得られる。
　複数の電極１１が移動可能又は回転可能に設けられている場合、学習データ作成装置３００の指示に応じて、ユーザ、ロボット又は状態判定装置１００は、個々の電極１１を教師データの配置にする（Ｓ１１）。電極１１の配置を固定せず、電極１１を物体に対してより柔軟に配置することで、物体の存在状態をより詳細に反映した学習データを生成し得る。なお、複数の電極１１が固定されて設けられている場合、個々の電極１１を教師データの配置にするステップは省略可能である。
　学習データ作成装置３００は、物体の存在状態を、教師データに含まれる物体の存在状態に関する情報に基づいた存在状態に設定する（Ｓ１２）。次に、学習データ作成装置３００は、電極ペアリストを参照して、電極群１０から電極ペアを選択する（Ｓ１３）。学習データ作成装置３００は、例えば、選択された電極ペアに所定の電圧を印加して、静電容量を計測し（Ｓ１４）、計測した静電容量を静電容量パターンベクトルに記録する（Ｓ１５）。静電容量パターンベクトルは、計測された静電容量の値を要素に含むベクトルである。
　学習データ作成装置３００は、電極ペアリストに含まれる電極ペアのうち、選択されていない電極ペアの組み合わせが残されているか否かを判断する（Ｓ１６）。選択されていない電極ペアの組み合わせが残されている場合（Ｓ１６：Ｙｅｓ）、ステップＳ１３に戻り、新たな電極ペアを選択して、新たな電極ペアについて静電容量の計測を行い、静電容量パターンベクトルに追加する。選択されていない電極ペアの組み合わせが電極ペアリストに残されていない場合（Ｓ１６：Ｎｏ）、得られた静電容量パターンに教師データを付与する（Ｓ１７）。その後、学習データ作成装置３００は、得られた静電容量パターンを教師データと関連付けて、学習データベース装置４００に記録する（Ｓ１８）。
　学習データ作成装置３００は、物体の他の存在状態について静電容量パターンを計測するか否かを判断する（Ｓ１９）。物体の他の存在状態について静電容量パターンを計測する場合（Ｓ１９：Ｙｅｓ）、学習データ作成装置３００は、ステップＳ１０に戻り、上述した処理を他の物体について再び実行する。一方、物体の他の存在状態について静電容量パターンを計測しない場合（Ｓ１９：Ｎｏ）、学習データ作成装置３００は、電極群１０の他の電極配置があるか否かを判断する（Ｓ２０）。電極群１０の他の電極配置がある場合（Ｓ２０：Ｙｅｓ）、学習データ作成装置３００は、以上説明した処理を当該他の電極配置について再び実行する。一方、電極群１０の他の電極配置が無い場合（Ｓ２０：Ｎｏ）、学習データ作成装置３００による学習データ作成処理が終了する。
　本実施形態に係る学習データ作成装置３００によれば、電極群１０に関して計測された物体に関する静電容量パターンを含む学習データと、物体の存在状態に関する情報を含む教師データとを関連付けて作成することができる。学習装置２００は、静電容量パターンを含む学習データと教師データを用いて学習することにより、単一の電極ペア間の静電容量の変化を利用する場合に比較して、物体の存在状態をより詳細に判定する能力を獲得できるようになる。
　図８は、本実施形態に係る学習装置２００における学習処理のフローチャートである。ここでは、学習データ作成装置３００による学習データ作成処理が行われた後に学習処理が実行されるものとして説明するが、これに限られず、例えば、学習データ作成装置３００による学習データ作成処理と並行して学習処理を実行してもよい。はじめに、学習装置２００は、学習データベース装置４００にアクセスし（Ｓ３０）、学習に用いる学習データを指定する（Ｓ３１）。学習装置２００は、指定した学習データに含まれる静電容量パターンを順次読み込み、ニューラルネットワーク２１０の学習を行う（Ｓ３２）。ニューラルネットワーク２１０の学習は、例えば誤差逆伝播法により実行される学習であってよい。学習装置２００は、学習結果抽出部２３０によってニューラルネットワーク２１０が学習した結果を抽出し、学習結果出力部２４０によって、通信部２５０を介して学習結果を学習データベース装置４００又は任意の外部記憶装置に出力する（Ｓ３３）。
　最後に、学習装置２００は、さらに別の学習を行うか否かを判断する（Ｓ３４）。別の学習を行う場合（Ｓ３４：Ｙｅｓ）、異なる学習データを指定して、ニューラルネットワークの学習を再び実行する。別の学習を行わない場合（Ｓ３４：Ｎｏ）、学習処理は終了する。
　図９は、本実施形態に係る状態判定装置１００における物体の認識処理のフローチャートである。物体の認識処理は、典型的には、学習装置２００によってニューラルネットワークの学習が行われた後に行われる処理である。はじめに、状態判定装置１００は、学習データベース装置４００にアクセスして、学習装置２００により出力された学習結果を学習結果入力部１７１により入力し、ニューラルネットワーク設定部１７３によってニューラルネットワーク１７５を構成する（Ｓ４０）。これにより、ニューラルネットワーク１７５は、学習装置２００における学習の結果として獲得された能力を再現することができるようになる。
　複数の電極１１の周辺に認識しようとする物体があるときに、状態判定装置１００は、複数の電極１１のうちから複数通りの電極ペアを選択して、当該物体についての静電容量パターンを計測し（Ｓ４１）、ニューラルネットワーク入力部１７４が、ニューラルネットワーク１７５に静電容量パターンを入力する（Ｓ４２）。この入力に対して、ニューラルネットワーク１７５は、演算を行い（Ｓ４３）、ニューラルネットワーク出力部１８０は、演算結果を出力する。状態判定装置１００は、出力された演算結果から、物体の存在状態を判定し、すなわち物体の認識結果を生成し（Ｓ４４）、物体の認識結果を出力する（Ｓ４５）。出力される認識結果は、例えば、物体の存在の有無、位置、種類、姿勢、材質、分布などであるが、これらに限られない。
　状態判定装置１００は、物体の認識処理を終了するか否かを判断し（Ｓ４６）、物体の認識動作を終了しない場合（Ｓ４６：Ｎｏ）、静電容量パターンを更新して、ニューラルネットワーク１７５による物体の認識処理を再び実行する。物体の認識動作を終了する場合（Ｓ４６：Ｙｅｓ）、物体の認識処理を終了する。
　以上詳述したとおり、本実施形態に係る状態判定装置１００によれば、電極群１０に含まれる複数の電極１１のうちから複数通りの電極ペアを選択して静電容量パターンを計測し、静電容量パターンに基づいて物体の存在状態を判定することにより、単一の電極ペア間の静電容量の変化を利用する場合に比較して、物体の存在状態をより詳細に判定することができる。
［第２実施形態］
　次に、第２実施形態として、状態判定システム１をロボットハンドに適用した実施形態について説明する。
　図１０は、電極１１がロボットハンド７００に設けられている様子を示す図である。同図に示すとおり、本実施形態では、複数の電極１１及びガード電極１２がロボットハンド７００に設けられる。後述するように、状態判定装置１００が、ロボットハンド７００に設けられた複数の電極１１について静電容量パターンを計測し、ロボットハンド７００によって把持されたり操作されたりする物体ＯＢの存在状態を判定する。ここで、ロボットハンド７００は、典型的には、多関節のアーム部分と、アーム部分の先端に設けられた多肢多関節のハンド部分とから構成される。なお、複数の電極をロボットハンド７００に設ける態様は、例示であって、複数の電極の設置個所はロボットハンド７００に限られず任意である。
　電極１１は、平面導体で構成され、ロボットハンド７００の手のひら側に設けられる。本例では、電極１１は、各指先と、各指の第２関節と第３関節の間と、手のひらと、にそれぞれマトリクス状に並んで設けられている。ガード電極１２は、複数の電極１１の少なくとも一部を囲むように配置され、平面導体で構成される。ガード電極１２は、ロボットハンド７００の手のひら側に設けられ、本例では、各指先と、各指の第２関節と第３関節の間と、手のひらと、にそれぞれ電極１１を囲むように設けられている。なお、同図に示した電極１１及びガード電極１２の配置は例示であり、電極１１及びガード電極１２の配置は任意である。電極１１が小さいほど、より小さい領域に関する物体ＯＢの状態を判定でき電極１１が大きいほど、より大きい領域に関する物体ＯＢの状態を判定できる。
　ロボットハンド７００の前方には、物体ＯＢが配置されている。物体ＯＢは、任意の物体であり、液体や気体であってもよい。物体ＯＢは、人体等の生物であってもよいし、工具等の非生物であってもよい。また、物体ＯＢは、導電体、半導体及び絶縁体のいずれであってもよいし、透明物体でも不透明物体でもよい。
　複数の電極１１をロボットハンド７００に設けて、複数の電極１１の静電容量パターンから物体ＯＢの状態を判定することで、ロボットハンド７００によって把持されたり操作されたりする物体の状態を判定することができ、ロボットハンド７００によるより精密な動作を支援することができる。例えば、ロボットハンド７００によって物体を把持する場合に、ロボットハンド７００の複数の指を物体に対して均等に近付けるよう動作させることができる。
　図１１は、第２実施形態に係る状態判定装置１００の機能ブロック図である。状態判定装置１００は、電極１１及びガード電極１２に接続され、選択部１３０、電圧印加部１４０、静電容量パターン計測部１５０、ニューラルネットワーク１７５、配置取得部１６１及び環境測定部１６２を備える。なお、状態判定装置１００は、物理的な構成として、入力部（キーボードやマウス等）、出力部（液晶ディスプレイデバイス等）、ハードウェアプロセッサに相当する演算部（ＣＰＵやＧＰＵ等）、メモリに相当する記憶部（ＨＤＤ、ＳＳＤや半導体メモリ等）を備える。同図に示す機能ブロックは、状態判定装置１００の備える物理的構成を用いて発揮される機能を表すものであり、必ずしも物理的な構成と一対一に対応するものではない。
　本実施形態において、電極１１及びガード電極１２は、ロボットハンド７００に設けられ、全ての電極１１及びガード電極１２が移動可能かつ回転可能に設けられる。選択部１３０及び静電容量パターン計測部１５０は、図４を用いて説明したものと同様の機能を有する。
　電圧印加部１４０は、選択部１３０により選択された複数の電極ペアに対して、所定の電圧を印加する。電圧印加部１４０は、選択部１３０により選択された電極ペアの一方と、ガード電極１２と、に基準電位を印加する。ここで、基準電位はグラウンド電位であってよいが、それに限られない任意の電位であってもよい。電圧印加部１４０は、選択部１３０により選択された電極ペアに対して、直流電圧を印加してもよいし、交流電圧を印加してもよい。
　電圧印加部１４０により電極ペアの一方とガード電極１２に基準電位を印加することで、ガード電極１２によって電界が遮蔽され、電極１１の２つの面のうち片面側のみの静電容量パターンを計測することができ、物体ＯＢの状態を判定する範囲を制限することができる。これにより、例えば、ロボットハンド７００自体の影響や、ロボットハンド７００の手の甲側に置かれた物体の影響を受けることなく、ロボットハンド７００の手のひら側に置かれた物体ＯＢの状態を判定することができる。なお、電極１１の一部に基準電位を印加することで、電極１１の一部をガード電極１２として機能させてもよい。
　配置取得部１６１は、複数の電極１１の配置を取得する。本実施形態に係る複数の電極１１は、ロボットハンド７００に設けられるため、配置取得部１６１は、ロボットハンド７００に含まれる各関節の角度を取得し、ロボットハンド７００上の複数の電極１１の配置を算出してもよい。ニューラルネットワーク１７５は、静電容量パターン計測部１５０により計測された静電容量パターン及び配置取得部１６１により取得された複数の電極１１の配置を入力データとして、ロボットハンド７００の周辺にある物体の存在状態を判定することができるように学習済みのニューラルネットワークである。
　環境測定部１６２は、静電容量パターン計測部１５０により複数の電極１１の静電容量パターンを計測する際の環境に関する環境データを測定する。ここで、環境データとは、複数の電極１１の置かれる環境を特徴付ける物理量である。環境データは、特に、静電容量の変動をもたらすような環境に関するデータを含む。本実施形態において、環境データは、湿度及び電磁ノイズのうち少なくともいずれかを含む。湿度の変化及び電磁ノイズの強弱は、誘電率の変化や静電容量パターン計測部１５０を構成する電気回路の電気的状態の変化をもたらし、計測される静電容量が変動する一因となる。ニューラルネットワーク１７５は、静電容量パターン計測部１５０により計測された静電容量パターン及び環境測定部１８により測定された環境データを入力データとして、物体の状態を判定してもよい。判定結果は、ニューラルネットワーク出力部１８０（図１１には不図示）で出力される。
　環境測定部１６２は、状態判定装置１００によって状態判定処理を実行する間、継続して環境データを測定してもよい。環境データを測定することで、静電容量パターンの環境依存性を考慮した状態判定を行うことができ、測定環境の変化に起因する状態判定の誤差を低減することができる。
　本実施形態では、環境測定部１６２は、環境データとして湿度及び電磁ノイズを測定する。これにより、静電容量パターンに対して特に影響を及ぼす湿度及び電磁ノイズの依存性を考慮した状態判定を行うことができ、湿度の変化及び電磁ノイズの強弱に起因する状態判定の誤差を低減することができる。
　状態判定装置１００のニューラルネットワーク１７５には、学習装置２００において、物体の存在状態を判定する能力を備えるように学習された、学習済みのニューラルネットワークが用いられる。学習の手法は、第１実施形態と同様に、学習データ作成装置３００で作成し、学習データベース装置４００に蓄積された学習データを用いて学習を行うことができる。
　具体的な一例としては、ロボットハンド７００に対して所定の状態に用意された物体ＯＢについて、ロボットハンド７００を所定の配置に設定し、複数の電極１１及びガード電極１２を所定の配置に設定した上で、学習データ作成装置３００は、選択された複数の電極ペアによって計測される静電容量パターンを構成して学習データを作成し、教師データと関連付けて学習データベース装置４００に格納する。設定される電極の配置は、学習データ作成装置３００の記憶部に予め記憶された電極の配置リストに従ったものであってもよいし、学習データ作成装置３００のユーザによる入力に従うものであってもよいし、ランダムに行われるものであってもよい。学習データ作成装置３００は、配置取得部１６１により取得された複数の電極１１の配置や、環境測定部１６２により測定された環境データを、学習データ又は教師データに含めてもよい。
　学習装置２００は、学習データ作成装置３００に蓄積された学習データ及び教師データを用いて機械学習を行うことによって、所定の能力を備えた学習済みのニューラルネットワークを得ることができる。例えば、環境データを含む学習データによって機械学習を行うことで、静電容量パターンの計測環境が変化する場合であっても、静電容量パターンの環境依存性を考慮した状態判定を行い、状態判定の誤差を低減することのできる学習結果が得られる。
［第３実施形態］
　次に、第３実施形態として、状態判定システム１を自動車等のシートに適用した実施形態について説明する。
　図１２は、第３実施形態において、複数の電極１１がシート８００に設けられている様子を示す図である。第３実施形態においては、複数の電極１１がシート８００に設けられており、ガード電極１２を有さない点で、第２実施形態に係る状態判定システムと相違する。その他の構成について、第３実施形態に係る状態判定システムは、第２実施形態に係る状態判定システムと同様の構成を有する。
　複数の電極１１をシート８００に設けて、静電容量パターンを計測し、学習済みのニューラルネットワークにより物体の存在状態を判定することで、シート８００に着座する者の状態について、体格や姿勢等の詳細を判定することができる。例えば、自動車のシートに着座する自動車の運転手の状態を判定することで、運転手が覚醒状態にあるか否か（運転手が居眠りをしているか否か）を判断することができる。運転手が覚醒状態に無いと判断された場合には、警告音を発生させる等して、事故を防止することができる。
　本発明は、以上説明した第１実施形態、第２実施形態及び第３実施形態と異なる構成によって実施してもよい。例えば、複数の電極１１を工作機械等に設置して、人や物の接近等を判定し、接触防止センサとして用いることができる。また、例えば、複数の電極１１を自動車のフロントガラスに設置して、降雨による雨滴の状態を判定する雨滴センサとして用いることができる。この場合、複数の電極１１は透明電極で構成することが望ましい。また、例えば、複数の電極１１を自動車のフロントパネルや底面に設置して、路面の状態を判定する路面センサとして用いることができる。また、例えば、複数の電極１１を自動車のドアハンドルに設置して、ドアに近づく手を判定し、ドアロックの実行又は解除を意図した手の動きであるか否かを判断し、ドアロックの実行及び解除を行うことができる。また、例えば、複数の電極１１をバスの乗降口周辺やトラックの荷台出口周辺に設置して、乗降客や荷物の状態の判定をすることができる。また、例えば、複数の電極１１を自動車の内部に設置して、手のジェスチャー状態を判定し、オーディオ機器の操作、ドアやトランクの開閉及びパワーウィンドウの開閉といった指令を行うことができる。また、例えば、複数の電極１１を自動車の外部に設置して、車両盗難等の違法行為に用いられる道具や違法行為に伴う動作を判定し、防犯センサとして用いることができる。
　以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
　また、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
　（付記１）
　少なくとも１つのメモリと、前記メモリと接続された少なくとも１つのハードウェアプロセッサとを備え、
　前記ハードウェアプロセッサが、
　複数の電極のうちから複数の電極ペアを選択し、
　選択された複数の電極ペアについての静電容量パターンを計測し、
　計測された静電容量パターンから物体の状態を、学習済みのニューラルネットワークにより判定する、
　状態判定装置。
　（付記２）
　複数の電極の周辺にある物体の状態を判定する状態判定方法であって、
　少なくとも１つのハードウェアプロセッサによって、複数の電極のうちから複数の電極ペアを選択し、
　前記ハードウェアプロセッサによって、選択された複数の電極ペアについての静電容量パターンを計測し、
　前記ハードウェアプロセッサによって、計測された静電容量パターンから物体の状態を、学習済みのニューラルネットワークにより判定する、
　状態判定方法。
 

Claims (14)

  1. 　複数の電極の周辺にある物体の状態を判定する状態判定装置であって、
    　前記複数の電極のうちから複数の電極ペアを選択する選択部と、
    　前記選択部により選択された複数の電極ペアについての静電容量パターンを計測する静電容量パターン計測部と、
    　前記静電容量パターンから前記物体の状態を判定するよう学習済みのニューラルネットワークと、
    　を備える状態判定装置。
  2. 　前記状態判定装置は、前記複数の電極の配置を取得する配置取得部をさらに備え、
    　前記ニューラルネットワークは、前記配置取得部により取得された前記複数の電極の配置をさらに含むデータから前記物体の状態を判定する、
    　請求項１に記載の状態判定装置。
  3. 　前記状態判定装置は、
    　前記複数の電極のうち前記選択部により選択された複数の電極ペアの各々に対して、所定の電圧を印加する電圧印加部と、
    　前記複数の電極の少なくとも一部を囲むように配置されるガード電極と、をさらに備え、
    　前記電圧印加部は、前記複数の電極のうち前記選択部により選択された電極ペアの一方と、前記ガード電極と、に基準電位を印加する、
    　請求項１又は２に記載の状態判定装置。
  4. 　前記状態判定装置は、前記静電容量パターン計測部により前記複数の電極ペアの静電容量パターンを計測する際の環境に関する環境データを測定する環境測定部をさらに備え、
    　前記ニューラルネットワークは、前記環境測定部により測定された環境データをさらに含むデータから前記物体の状態を判定する、
    　請求項１から３のいずれか１項に記載の状態判定装置。
  5. 　前記環境測定部により測定される環境データは、湿度及び電磁ノイズのうち少なくともいずれかを含む、
    　請求項４に記載の状態判定装置。
  6. 　前記ニューラルネットワークは、前記物体の有無、前記物体の位置、前記物体の角度、前記物体の種類、前記物体の材質及び前記物体の分布のうち少なくともいずれかを判定する、
    　請求項１から５のいずれか１項に記載の状態判定装置。
  7. 　前記複数の電極は、ロボットハンドに設けられている、
    　請求項１から６のいずれか１項に記載の状態判定装置。
  8. 　前記複数の電極は、シートに設けられている、
    　請求項１から６のいずれか１項に記載の状態判定装置。
  9. 　請求項１から８のいずれか１項に記載の状態判定装置において使用されるニューラルネットワークの学習を行うための学習装置であって、
    　前記学習装置は、
    　前記複数の電極のうちから選択された複数の電極ペアについての静電容量パターンを含む学習データにより前記ニューラルネットワークの学習を行うよう制御する学習制御部、
    　を備える学習装置。
  10. 　前記学習データは、前記複数の電極の配置に関するデータを含む、
    　請求項９に記載の学習装置。
  11. 　前記学習データは、前記静電容量パターンを計測する際の環境に関する環境データを含む、
    　請求項９又は１０に記載の学習装置。
  12. 　前記学習制御部は、前記学習データ及び教師データにより、前記ニューラルネットワークの学習を行い、
    　前記教師データは、前記物体の状態を示す画像又は動画を含む、
    　請求項９から１１のいずれか１項に記載の学習装置。
  13. 　複数の電極の周辺にある物体の状態を判定する状態判定方法であって、
    　前記複数の電極のうちから複数の電極ペアを選択する第１ステップと、
    　前記第１ステップにおいて選択された複数の電極ペアについての静電容量パターンを計測する第２ステップと、
    　前記第２ステップにおいて計測された静電容量パターンから前記物体の状態を、学習済みのニューラルネットワークにより判定する第３ステップと、
    　を含む状態判定方法。
  14. 　複数の電極の周辺にある物体の状態を判定する状態判定装置が備えるコンピュータを、
    　前記複数の電極のうちから複数の電極ペアを選択する選択部、
    　前記選択部により選択された複数の電極ペアについての静電容量パターンを計測する静電容量パターン計測部、及び
    　前記静電容量パターンから前記物体の状態を判定するよう学習済みのニューラルネットワーク、
    　として機能させるためのプログラム。
     
PCT/JP2017/010048 2017-02-13 2017-03-13 状態判定装置、学習装置、状態判定方法及びプログラム Ceased WO2018146825A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP17895776.7A EP3581971A4 (en) 2017-02-13 2017-03-13 STATE DETERMINATION DEVICE, LEARNING DEVICE, STATE DETERMINATION METHOD AND PROGRAM
CN201780082623.XA CN110268285A (zh) 2017-02-13 2017-03-13 状态判定装置、学习装置、状态判定方法以及程序
US16/478,875 US20190380621A1 (en) 2017-02-13 2017-03-13 State determination device, learning device, state determination method, and program for the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017024169A JP6642474B2 (ja) 2017-02-13 2017-02-13 状態判定装置、学習装置、状態判定方法及びプログラム
JP2017-024169 2017-02-13

Publications (1)

Publication Number Publication Date
WO2018146825A1 true WO2018146825A1 (ja) 2018-08-16

Family

ID=63108125

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/010048 Ceased WO2018146825A1 (ja) 2017-02-13 2017-03-13 状態判定装置、学習装置、状態判定方法及びプログラム

Country Status (5)

Country Link
US (1) US20190380621A1 (ja)
EP (1) EP3581971A4 (ja)
JP (1) JP6642474B2 (ja)
CN (1) CN110268285A (ja)
WO (1) WO2018146825A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7153322B2 (ja) * 2018-09-28 2022-10-14 学校法人福岡大学 ロボットセンサ
US11106315B2 (en) * 2018-11-29 2021-08-31 International Business Machines Corporation Touch screen device facilitating estimation of entity orientation and identity
JP7458641B2 (ja) * 2019-01-25 2024-04-01 国立大学法人 東京大学 生体組織の電極配置推定方法
DE112019007955T5 (de) * 2019-12-10 2022-09-22 Brainlab Ag Verfahren und vorrichtung zur bestimmung einer internen organverschiebung
JP2025129667A (ja) * 2024-02-26 2025-09-05 本田技研工業株式会社 物体検知システム、物体検知方法、及びプログラム

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6158768A (en) * 1998-02-20 2000-12-12 Trw Vehicle Safety Systems Inc. /Trw Inc. Apparatus and method for discerning certain occupant characteristics using a plurality of capacitive sensors
JP2003232866A (ja) * 2001-11-02 2003-08-22 Elesys North America Inc エアバッグの制御に関する乗客検出のための湿潤シートからの防護
JP2006145488A (ja) * 2004-11-24 2006-06-08 Mitsubishi Electric Corp 物体検出装置
JP2007280352A (ja) * 2006-03-17 2007-10-25 Toyota Motor Corp 視線方向判定装置
WO2008032661A1 (en) * 2006-09-12 2008-03-20 National Institute Of Advanced Industrial Science And Technology Distribution value measuring method and measuring system using distribution value sensor therefore
JP2008130865A (ja) * 2006-11-22 2008-06-05 Fuji Mach Mfg Co Ltd 部品吸着姿勢判別方法及び部品吸着姿勢判別システム
JP2009050462A (ja) 2007-08-27 2009-03-12 Fujikura Ltd ヘッドレスト位置調整装置およびヘッドレスト位置調整方法
JP2010054350A (ja) * 2008-08-28 2010-03-11 Fujikura Ltd 乗員姿勢検知装置および乗員姿勢検知方法
JP2011122834A (ja) * 2009-12-08 2011-06-23 Honda Elesys Co Ltd 乗員検知システム
JP2011252881A (ja) * 2010-06-04 2011-12-15 Alps Electric Co Ltd センサモジュールおよび移動開閉体
JP2013091114A (ja) * 2011-10-05 2013-05-16 Kyokko Denki Kk インタラクション操作システム
JP2015069541A (ja) * 2013-09-30 2015-04-13 アルプス電気株式会社 静電容量式入力装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5166679A (en) * 1991-06-06 1992-11-24 The United States Of America As Represented By The Administrator Of The National Aeronautics & Space Administration Driven shielding capacitive proximity sensor
US6552550B2 (en) * 2000-09-29 2003-04-22 Intelligent Mechatronic Systems, Inc. Vehicle occupant proximity sensor
US7088113B2 (en) * 2002-07-08 2006-08-08 Intelligent Mechatronic Systems Inc. Integrated occupant sensory system
FR2863704B1 (fr) * 2003-12-15 2006-08-25 Faurecia Sieges Automobile Procede et systeme de traitement de signaux de mesure pour caracteriser l'etat d'occupation d'un siege de vehicule automobile
JP4229071B2 (ja) * 2005-01-24 2009-02-25 株式会社デンソー 静電容量式センサおよび乗員検知システム
US7791476B2 (en) * 2006-02-21 2010-09-07 Elesys North America, Inc. Occupant sensor and method for seat belt or other monitoring
US10154819B2 (en) * 2006-04-20 2018-12-18 Jack S. Emery Systems and methods for impedance analysis of conductive medium
US8026731B1 (en) * 2006-04-20 2011-09-27 Jack Scott Emery Method and apparatus for constructing images from measurements of impedance
US11105759B2 (en) * 2006-04-20 2021-08-31 Jack S. Emery Impedance analysis of conductive medium
EP2036780A1 (en) * 2007-09-12 2009-03-18 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Method and system for detecting an occupant in a vehicle seat
JP5432207B2 (ja) * 2011-04-19 2014-03-05 東海ゴム工業株式会社 静電容量型センサ装置
JP2013121369A (ja) * 2011-12-09 2013-06-20 Sony Corp 入力装置及び校正方法
CN107009374A (zh) * 2012-03-08 2017-08-04 品质制造有限公司 触敏机器人抓手
US9605952B2 (en) * 2012-03-08 2017-03-28 Quality Manufacturing Inc. Touch sensitive robotic gripper
US20200110482A1 (en) * 2016-11-14 2020-04-09 The Regents Of The University Of Colorado, A Body Corporate Method and apparatus for battery-free identification token for touch sensing devices
EP3779872A4 (en) * 2018-04-05 2021-05-19 Koito Manufacturing Co., Ltd. OPERATION PROCESSING DEVICE, OBJECT IDENTIFICATION SYSTEM, LEARNING PROCESS, AUTOMOTIVE AND VEHICLE LIGHTING DEVICE

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6158768A (en) * 1998-02-20 2000-12-12 Trw Vehicle Safety Systems Inc. /Trw Inc. Apparatus and method for discerning certain occupant characteristics using a plurality of capacitive sensors
JP2003232866A (ja) * 2001-11-02 2003-08-22 Elesys North America Inc エアバッグの制御に関する乗客検出のための湿潤シートからの防護
JP2006145488A (ja) * 2004-11-24 2006-06-08 Mitsubishi Electric Corp 物体検出装置
JP2007280352A (ja) * 2006-03-17 2007-10-25 Toyota Motor Corp 視線方向判定装置
WO2008032661A1 (en) * 2006-09-12 2008-03-20 National Institute Of Advanced Industrial Science And Technology Distribution value measuring method and measuring system using distribution value sensor therefore
JP2008130865A (ja) * 2006-11-22 2008-06-05 Fuji Mach Mfg Co Ltd 部品吸着姿勢判別方法及び部品吸着姿勢判別システム
JP2009050462A (ja) 2007-08-27 2009-03-12 Fujikura Ltd ヘッドレスト位置調整装置およびヘッドレスト位置調整方法
JP2010054350A (ja) * 2008-08-28 2010-03-11 Fujikura Ltd 乗員姿勢検知装置および乗員姿勢検知方法
JP2011122834A (ja) * 2009-12-08 2011-06-23 Honda Elesys Co Ltd 乗員検知システム
JP2011252881A (ja) * 2010-06-04 2011-12-15 Alps Electric Co Ltd センサモジュールおよび移動開閉体
JP2013091114A (ja) * 2011-10-05 2013-05-16 Kyokko Denki Kk インタラクション操作システム
JP2015069541A (ja) * 2013-09-30 2015-04-13 アルプス電気株式会社 静電容量式入力装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3581971A4

Also Published As

Publication number Publication date
CN110268285A (zh) 2019-09-20
US20190380621A1 (en) 2019-12-19
JP2018132329A (ja) 2018-08-23
EP3581971A4 (en) 2020-06-17
JP6642474B2 (ja) 2020-02-05
EP3581971A1 (en) 2019-12-18

Similar Documents

Publication Publication Date Title
US20220300107A1 (en) Gesture Detection
JP6642474B2 (ja) 状態判定装置、学習装置、状態判定方法及びプログラム
Sun et al. Retracted: Gesture recognition algorithm based on multi‐scale feature fusion in RGB‐D images
CN111189577B (zh) 传感器标定及数据测量方法、装置、设备、存储介质
CN105026203B (zh) 用于对机动车的显示装置进行同步的方法
JP6969254B2 (ja) 画像処理装置及びプログラム
JP2019040465A (ja) 行動認識装置，学習装置，並びに方法およびプログラム
Ni et al. Neurally-inspired hyperdimensional classification for efficient and robust biosignal processing
CN107729372A (zh) 一种异常指示方法及移动终端
EP3521983A1 (en) Classifying contacts or associations with a touch sensitive device
CN115578720A (zh) 人体动作识别的方法、装置、存储介质和车辆
CN113419621A (zh) 异常行为检测、页面、手势处理方法、装置及电子设备
Shao et al. Haptic recognition of texture surfaces using semi-supervised feature learning based on sparse representation
US12063347B2 (en) System for evaluating built-in video recording device for vehicle
CN108885490A (zh) 多模态开关阵列
JP2018131110A (ja) 推定装置、推定方法、及び推定プログラム
EP4501684A1 (en) Determination system, information processing apparatus, determination method, and program
CN117992333B (zh) 车辆的人机交互系统的测评方法、装置和测评系统
Singh et al. distratto: Impaired driving detection using textile sensors
Wang et al. Accelerometer-based gesture recognition using dynamic time warping and sparse representation
Aydin et al. Contact classification for human–robot interaction with densely connected convolutional neural network and convolutional block attention module
JP2008287514A (ja) 設計分析装置
US20210148770A1 (en) Multi-modal sensing transducers
WO2016138535A1 (en) Multitouch frame matching with distance fields
JP2020192015A (ja) 情報処理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17895776

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2017895776

Country of ref document: EP