[go: up one dir, main page]

WO2022163364A1 - 指タッピング計測処理端末、システム、方法およびコンピュータプログラム - Google Patents

指タッピング計測処理端末、システム、方法およびコンピュータプログラム Download PDF

Info

Publication number
WO2022163364A1
WO2022163364A1 PCT/JP2022/000928 JP2022000928W WO2022163364A1 WO 2022163364 A1 WO2022163364 A1 WO 2022163364A1 JP 2022000928 W JP2022000928 W JP 2022000928W WO 2022163364 A1 WO2022163364 A1 WO 2022163364A1
Authority
WO
WIPO (PCT)
Prior art keywords
finger
tapping
terminal
fingers
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/000928
Other languages
English (en)
French (fr)
Inventor
治 川前
義憲 岡田
寛彦 水口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Priority to CN202280011739.5A priority Critical patent/CN116806131A/zh
Priority to US18/262,079 priority patent/US12204720B2/en
Publication of WO2022163364A1 publication Critical patent/WO2022163364A1/ja
Anticipated expiration legal-status Critical
Priority to US18/987,082 priority patent/US12481399B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Instruments for taking body samples for diagnostic purposes; Other methods or instruments for diagnosis, e.g. for vaccination diagnosis, sex determination or ovulation-period determination; Throat striking implements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1101—Detecting tremor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064—Evaluating the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7278—Artificial waveform generation or derivation, e.g. synthesizing signals from measured signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient; User input means
    • A61B5/742—Details of notification to user or communication with user or patient; User input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient; User input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0223—Operational features of calibration, e.g. protocols for calibrating sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0247—Pressure sensors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection

Definitions

  • the present invention relates to a finger tapping measurement processing terminal, a finger tapping measurement processing system, a method, and a computer program that measure finger tapping motion and process the measurement results.
  • Alzheimer's disease patients Due to the aging society, the number of Alzheimer's disease patients is increasing year by year, and if it can be detected early, it will be possible to delay the progression of the disease with medication. Because it is difficult to distinguish between symptoms associated with aging, such as forgetfulness, and illness, many people see a doctor only after they become severe.
  • Patent Document 1 discloses motor function measurement in which motion data is calculated based on the relative distance between a pair of a transmitter coil and a receiver coil attached to a movable part of a living body.
  • a motor function evaluation system is disclosed that includes a device and an evaluation device that evaluates the motor function of a living body based on the motor function data received from the motor function measuring device. That is, in Patent Document 1, a magnetic sensor attached to the fingertip converts the change in the magnetic force that fluctuates due to the tapping motion of two fingers into an electric signal, measures and quantifies the movement, and characterizes the finger movement. It has been shown that the state of brain function can be known by capturing the feature quantity that indicates .
  • Patent Document 1 can measure and evaluate the finger tapping motion using a magnetic sensor.
  • a magnetic sensor can measure and evaluate the finger tapping motion using a magnetic sensor.
  • an expensive dedicated device is required to evaluate and analyze the measurement information detected by the magnetic sensor.
  • the present invention has been made in view of the above-mentioned circumstances, and is widely used without installing special dedicated equipment and without requiring an expensive dedicated device for evaluating and analyzing measurement information.
  • a finger tapping measurement processing terminal a system, a method, and a computer program capable of measuring and processing finger tapping motion in a simple form, at low cost and with good usability by utilizing a terminal such as a smartphone or a tablet.
  • the present invention provides a finger tapping measurement processing terminal that measures finger tapping motion and processes the measurement results, a touch panel provided on one side of the terminal, capable of displaying information related to finger tapping movements, and being tapped by one of two fingers of the same hand of the user holding the terminal; a finger detection unit that detects movement of the one finger tapping the touch panel; The other of the two fingers holding the other surface of the terminal located on the side opposite to the touch panel and the one finger tapping the touch panel based on the detection information obtained by the finger detection unit.
  • a processing unit that performs processing for measuring the distance between two fingers during finger tapping exercise between characterized by having
  • the finger tapping movement can be measured and processed simply by tapping the touch panel of the terminal with a finger, so a special dedicated instrument is installed.
  • the finger tapping motion can be easily measured and processed without the need for an expensive dedicated evaluation analysis device.
  • a distance measuring sensor that is already mounted as a permanent component in an existing terminal such as a smartphone or tablet as a finger detection unit
  • the arithmetic circuit of the existing terminal is used, or the terminal is used as application software, for example.
  • a processing unit can be realized by newly incorporating it into , it will be possible to measure and process finger tapping movements in a simple form, at low cost, and with ease of use, using terminals such as smartphones and tablets that are widely used.
  • the finger detection unit can detect the movement of the finger using a camera, a distance measuring sensor, or the like.
  • the finger detectors may be provided on both sides of the terminal corresponding to the fingers of both hands of the user holding the terminal on both sides, or may be provided on one side of the terminal as common to the fingers of both hands of the user. may be provided in Note that when a camera is used as the finger detection unit and the position of the tapping finger is detected from the image captured by the camera, it may be difficult to accurately detect the position of the finger due to the shooting angle and shooting distance.
  • the target distance between two fingers which is the reference of the open position of the finger tapping movement, is obtained in advance as a reference value from the image captured by the camera, and the position detection data is calibrated based on this reference value.
  • the finger detection unit may define the open position reference for the finger opening and closing of the finger tapping motion using a target length jig having a length corresponding to the target distance between two fingers.
  • a target length jig preferably has transparency that does not interfere with detection by the finger detection unit.
  • the target length jig if the target length jig is held between the surface of the touch panel and the tapping finger, the finger may be deformed in the pinched state. Help is preferred.
  • the processing unit calculates and analyzes a feature amount leading to brain function evaluation of the user based on the measurement result of the distance between two fingers. Furthermore, the processing unit may evaluate the user's brain function and cognitive function from the calculated feature amount (for example, by comparing with data of healthy subjects). Such an evaluation is effective as an early stage screening to discriminate dementia, and of course helps detect dementia. It has a wide range of applications, such as being applicable to training games.
  • the touch panel is preferably a touch panel display that has a touch panel that senses the position of a finger touching its surface and displays information.
  • the finger detection unit can detect the contact of the tapping finger as the closed position of the finger tapping movement by detecting the touch of the finger.
  • the other finger holding the other surface of the terminal is fixed in contact with the other surface of the terminal by the fixing portion.
  • the fixing part may be provided on the terminal side, or may be provided as a mounting tool separate from the terminal.
  • the finger tapping measurement processing terminal configured as described above is a head-mounted information processing device that is worn on the head of the user using the terminal and has a display unit that visually displays real space information and virtual space information to the user.
  • a finger tapping measurement processing system may be configured together, and in this case, it is preferable that the finger tapping measurement processing terminal and the head-mounted information processing device are capable of communicating with each other via communication means.
  • the head-mounted information processing device can receive, for example, information displayed on the display of the finger tapping measurement processing terminal and display the received information on the display unit.
  • the processing unit of the finger tapping measurement processing terminal can perform processing for calculating and analyzing a feature amount leading to brain function evaluation of the user based on the measured distance between two fingers.
  • a remotely located server device receives the measurement result of the distance between two fingers from the processing unit of the finger tapping measurement processing terminal via communication means, and based on the received measurement result of the distance between two fingers Then, the arithmetic processing unit calculates and analyzes the feature amount that leads to the user's brain function evaluation.
  • the processing result of the arithmetic processing unit may be stored in the storage unit of the server device, and the data stored in the storage unit is communicated to the finger tapping measurement processing terminal and the head-mounted information processing device via communication means. good too.
  • the present invention also provides a method and computer program for measuring finger tapping motion and processing the measurement results.
  • the finger tapping movement can be measured and processed simply by tapping the touch panel of the terminal with a finger.
  • the finger tapping motion can be easily measured and processed without the need for an expensive dedicated evaluation analysis device.
  • FIG. 1 is a perspective view schematically showing the appearance of a finger tapping measurement processing terminal according to an embodiment of the present invention having a finger detection section on one side;
  • FIG. 2 is an enlarged sectional view of part of the finger tapping measurement processing terminal of FIG. 1;
  • FIG. 10 is a diagram illustrating acquisition of a target distance between two fingers in the case of measuring using a camera in the finger tapping measurement processing terminal of FIG. 1; It is a figure explaining acquisition of the target distance between two fingers using a target length jig.
  • FIG. 10 is a diagram for briefly explaining acquisition of a target distance between two fingers using a target length jig;
  • FIG. 10 is a diagram illustrating an operation of acquiring a target distance between two fingers using a finger tapping measurement processing terminal having two displays;
  • FIG. 10 is a diagram showing a measurement method when the finger tapping measurement processing terminal of FIG. 1 uses a range sensor to measure.
  • 1 is a perspective view schematically showing the appearance of a finger tapping measurement processing terminal having finger detection units on both sides
  • FIG. 9 is a block diagram showing a configuration example of a finger tapping measurement processing terminal shown in FIGS. 1 and 8;
  • FIG. 9 is a flow chart showing an example of the operation of the finger tapping measurement processing terminal shown in FIGS. 1 and 8;
  • FIG. (a) is a diagram showing an example of measurement data of a finger tapping measurement processing terminal according to an embodiment of the present invention;
  • (b) is another example of measurement data of a finger tapping measurement processing terminal according to this embodiment;
  • FIG. 4 is a diagram showing an example
  • 1 is a perspective view schematically showing the appearance of a finger tapping measurement processing system according to an embodiment of the present invention
  • FIG. 13 is a block diagram showing a configuration example of a head-mounted information processing device that constitutes the finger tapping measurement processing system of FIG. 12;
  • FIG. 12 is a diagram showing an example
  • a finger tapping measurement processing terminal configured as a terminal capable of measuring and processing finger tapping movements using a touch panel, and as shown in FIG.
  • a usage pattern (which will be described later) in which the server 1203 is connected to the server 1203 via a network is conceivable, but any usage pattern may be used.
  • the finger tapping measurement processing terminal is configured as a small terminal such as a smart phone in the present embodiment, it may be in the form of a thin tablet computer, a personal computer, or the like.
  • a finger tapping measurement processing terminal that is capable of measuring and processing finger tapping motions by itself is provided with a touch panel. It may be embodied as a system or method that allows finger tapping motion to be measured and processed, or such finger tapping motion to be measured and processed by a computer (e.g., having a display on one side). It may be configured as a computer program or a computer program product in which such a computer program is stored.
  • FIG. It has a sensor 102 and a touch panel 103 .
  • Camera 101 and ranging sensor 102 are provided at the edge of one side (left side in FIG. 1) of terminal 100.
  • Camera 101 captures surrounding objects and scenery
  • ranging sensor 102 captures images of people, objects, and the like. It is a sensor that can capture the shape of an object as a three-dimensional object, and can measure the distance and angle to the object.
  • the touch panel 103 detects a touched position (perceives the position of a finger touching its surface), and constitutes a touch panel display 103A.
  • the touch panel display 103A is provided on one side (surface) of the finger tapping measurement processing terminal 100, and is capable of displaying information related to finger tapping motion.
  • the touch panel 103 is tapped with one of two fingers (index finger) of the same hand.
  • the finger tapping measurement processing terminal 100 is held by the user's left hand 111 on one side (the left side in FIG. 1) and by the user's right hand 121 on the opposite side (the right side in FIG. 1).
  • the thumb 112 of the user's left hand supports the other side of the finger tapping measurement processing terminal 100 (the side located on the side opposite to the touch panel 103 ), and the forefinger 113 of the user's left hand is used to open or touch the touch panel 103 . It performs an opening and closing motion, that is, a tapping motion.
  • the thumb 122 of the user's right hand supports the back side of the information processing terminal 100, and the forefinger 123 of the user's right hand opens and closes in contact with the touch panel 103.
  • a tapping motion 124 is performed. Note that, in FIG. 1 , as the left and right index fingers 113 and 123 that open and close, index fingers 115 and 125 indicate the open index fingers, and index fingers 116 and 126 indicate the closed index fingers in contact with the touch panel 103 . showing.
  • a finger detection unit 800 that detects the movement (opening/closing operation) of the index fingers 113 and 123 tapping the touch panel 103, specifically, detects the movement positions of the index fingers 113 and 123.
  • the camera 101 can capture the positions of the index fingers 113 and 123 from the captured images, and calibrate based on a pre-captured predetermined position image (an image of the index fingers opened at a target distance to be described later).
  • a pre-captured predetermined position image an image of the index fingers opened at a target distance to be described later.
  • Distance sensor 102 as finger detection unit 800, can detect the distance and angle to index fingers 113 and 123, respectively, and can accurately measure index fingers 113 and 123 during tapping and drooping finger tapping measurement processing terminal 100. Allows measurement of each distance to the surface over time.
  • the distance between the forefinger 113 during the tapping exercise and the left thumb 112 resting on the back surface of the finger tapping measurement processing terminal 100 (holding the back surface) is reduced.
  • the distance between two fingers can be measured.
  • the distance between the index finger 123 during the tapping exercise and the right thumb 122 resting on the back surface of the finger tapping measurement processing terminal 100 is The distance between two fingers can be measured.
  • the finger tapping measurement processing terminal 100 it is possible to analyze and evaluate the feature amount that leads to the evaluation of the user's brain function by the arithmetic function in the finger tapping measurement processing terminal 100. It is possible to realize a convenient examination with less burden on the user for early detection of dementia such as dementia, Parkinson's disease, developmental coordination disorder (inability to skip or jump rope, etc.). Furthermore, in addition to detecting signs of dementia, it is possible to quantify and detect and recognize the fine motor function of the fingers as a "rule" that indicates the health condition of the brain based on the analyzed and evaluated feature values. It can be used as training for functional improvement and as a rehabilitation menu. For example, there is a training/rehabilitation menu that encourages the user to open and close his/her fingertips in time with the sound and evaluates the skillfulness of the fingertips.
  • the distance between the index finger and the surface of the finger tapping measurement processing terminal 100 is measured and the distance between the tapping movements between the index finger and the thumb is measured over time.
  • the tapping movement between two fingers such as the middle finger and the thumb may also be performed, and it is possible to measure the tapping movement even if a plurality of fingers are opened and closed, and the same action and effect can be obtained. It goes without saying that you will get it.
  • the case where the index finger is used to perform the tapping exercise will be mainly described, but the same applies to other fingers than the index finger.
  • FIG. 2 shows a partial cross section of the finger tapping measurement processing terminal 100 shown in FIG. 2, the same parts as in FIG. 1 are given the same reference numerals as in FIG. 1, and the description thereof is omitted.
  • FIG. 2 shows a cross section of the peripheral portion of the left hand holding the finger tapping measurement processing terminal 100, and the same applies to the cross section of the peripheral portion of the right hand holding the finger tapping measurement processing terminal 100.
  • the finger tapping measurement processing terminal 100 has a touch panel 103, a display unit 201, and a pressure sensor 202 on the front side forming a display, and has a pressure sensor 203 on the back side. It further has an acceleration sensor 204 and a fixing jig 205 on the edge on the same side.
  • the display unit section 201 is composed of a liquid crystal or the like, and displays display contents via the highly transparent touch panel 103 .
  • the pressure sensors 202 and 203 sense the contact pressure (pressure) when the tapping index finger 113 (123) touches the surface of the touch panel 103, and the acceleration sensor 204 measures the speed per unit time. It is a sensor that detects acceleration, which is a change, and can capture movement, vibration, impact, etc. It also has a sensor that detects not only acceleration but also speed and direction of rotation.
  • the fixing jig 205 is a jig for fixing the thumb 112 (142) that holds and supports the finger tapping measurement processing terminal 100, and fixes the thumb 112 (142) in contact with the rear surface of the terminal 100. .
  • the touch panel 103 can detect the position and contact area touched by the forefinger 113 (123), and can grasp the displacement of the contact position.
  • the pressure-sensitive sensor 202 can detect the contact pressure, which is the contact strength when the index finger 113 (123) touches, and can reflect it as one of the feature values calculated from the finger tapping motion.
  • the pressure sensor 203 detects the contact pressure of the thumb 112 (142) that supports and holds the finger tapping measurement processing terminal 100 and touches the terminal 100. It can be confirmed whether or not it is firmly in contact and is in a sufficient holding state.
  • the fixing jig 205 can firmly support and hold the thumb 112 (142) at a predetermined position on the terminal 100 without wobbling.
  • the acceleration sensor 204 can also measure the strength of the force when the fingers return by detecting the magnitude and direction of vibration when the fingers close.
  • FIG. 3 is a cross-sectional view showing a state in which the index fingers 113 and 123 performing the tapping exercise are photographed by the camera 101.
  • the target length jig 401 is used to set the forefinger 113 to a target interval distance (target distance between two fingers) from the surface of the finger tapping measurement processing terminal 100, and the camera 101 opens the index finger 113 to the target interval distance.
  • FIGS. 11A and 11B are diagrams for explaining photographing of the index finger 113 in a bent state.
  • FIG. FIG. 5 is a diagram for explaining correction when the finger 113 (115) is depressed (deformed) by the contact surface between the target length jig 401 and the index finger 113 (115) in the state shown in FIG.
  • FIG. 6 shows that when the terminal 100 has two screens, the two screens are used to set the index fingers 113 and 123 apart from the surface of the finger tapping measurement processing terminal 100 by the target distance, and the camera 101 detects the target distance.
  • 12A and 12B are diagrams for explaining photographing of index fingers 113 and 123 in a state of being opened wide.
  • FIG. 3 4, 5 and 6 the same parts as in FIGS. 1 and 2 are assigned the same reference numerals as in FIGS. 1 and 2, and descriptions thereof are omitted.
  • a camera 101 arranged on one side (the edge on the left side in FIG. 3) of the finger tapping measurement processing terminal 100 photographs the index finger 113 of the left hand 111 that is near the camera 101 and performs the tapping exercise.
  • a finger tapping motion measurement analysis processing unit 903 as a processing unit described later in FIG. (Distance from the surface of terminal 100 . . . , therefore, distance between two fingers) 311 is analyzed and calculated.
  • the camera 101 photographs the index finger 123 of the right hand 121 which is far from the camera 101 and is performing the tapping exercise. The distance 321 is analyzed and calculated.
  • the angle of view of the camera 101 and the distance measurement sensor 102 can be changed by changing the lens position. may be changed so that it is reflected close to the surface.
  • the index finger 113 of the left hand 111 closer to the camera 101 is larger than the index finger 123 farther from the camera 101 in the image captured by the camera 101 .
  • the distance of the opening/closing movement will also appear to be long.
  • a predetermined target is set from the surface of the terminal 100 in advance.
  • the index fingers 113 and 123 are set in a state of being opened by a distance, the index fingers 113 and 123 in the set state are photographed by the camera 101, and a finger detection unit 800 including the camera 101 detects the index fingers 113 and 123 and the terminal on the photographed image.
  • the target distance between the surface of 100 is identified and recognized, and the target distance (target distance between two fingers) on the identified and recognized image is used as a length standard (a standard that serves as a reference for the open position of the finger tapping movement). value).
  • the finger detection unit 800 detects the photographed index fingers 113 and 123.
  • the finger tapping movement measurement analysis processing unit 903 can accurately measure the distance between the index fingers 113 and 123 and the surface of the terminal 100. It can be calculated and measured. Note that there is an optimum distance between two fingers for evaluation of brain function by finger tapping exercise, and this is taken in advance as a predetermined target distance in the present embodiment.
  • a predetermined target distance between the index finger 113 (115) and the surface of the terminal 100 is set as the length (length corresponding to the target distance between two fingers). ) is sandwiched between the open index finger 115 and the surface of the terminal 100 , and the open index finger 115 is photographed by the camera 101 . Therefore, the target distance between the index finger 115 and the surface of the terminal 100 is captured as a length reference on the captured image, and when the index finger 113 performing the tapping motion is captured, the captured index finger 113 and the terminal 100 , can be calibrated based on a captured length reference, and the distance between the index finger 113 and the surface of the terminal 100 can be measured over time with high accuracy.
  • the distance between the index finger 113 and the thumb 112 can be measured over time with high accuracy.
  • FIG. 4 the case of the open index finger 115 of the left hand 111 has been described, but it goes without saying that the open index finger 125 of the right hand 121 can be similarly calibrated.
  • the finger detection unit 800 uses the target length jig 401 to define the open position reference for the finger tapping movement, but the target length jig 401 does not interfere with the shooting operation of the camera by shielding ( It is formed of a material having a level of transparency that does not interfere with detection by the finger detection unit 800 .
  • the camera 101 can capture the movement of the index finger through the target length jig 401 . Movement of the index finger 123 of the right hand can be prevented from interfering with photographing.
  • the index finger 115 pressing the target length jig 401 in the open state as shown in FIG.
  • the original bulge on the contact surface 501 with the target length jig 401 becomes flat (deformed state) by the pressing force, and the distance between the index finger 115 and the surface of the terminal 100 is increased by the dent (deformation amount) 502 .
  • An error will occur in the distance. Therefore, in this embodiment, the length of the target length jig 401 is increased by the recess 502 in order to achieve the predetermined target distance 503 when the index finger 113 is open.
  • the finger detection unit 800 detects the amount of deformation of the finger that deforms while holding the target length jig 401 between the surface of the display and the tapping finger. calibrate the location data based on
  • the index finger 113 of the left hand 111 is opened on the fixed display screen 601 so that it looks like the index finger 115 in the open state. Then, the index finger 115 is brought to the position of the target height so as to align while looking at the reference "the position of the target height when the index finger is opened" indicated by the display content 603 on the display screen 602 to be opened and closed. Therefore, the index finger 115 can be set to match the position of the target height distance 604 from the surface of the terminal 100 . In this state, if the index finger 115 is photographed by the camera 101, the target distance between the index finger 115 and the surface of the terminal 100 can be captured as a length reference on the photographed image.
  • the index finger 125 is set as a target while looking at the reference "the position of the target height when the index finger is opened" indicated by the display content 605 on the display screen 602 that opens and closes.
  • the index finger 125 can be set to match the position of the target height distance 606 from the surface of the terminal 100 .
  • the target distance between the index finger 125 and the surface of the terminal 100 can be captured as a length reference on the photographed image. Therefore, when the index finger performing the tapping motion is photographed, the distance between the photographed index finger and the surface of the terminal 100 can be calibrated based on the preloaded length reference.
  • the distance between the index finger and the surface of the terminal 100 can be measured with high accuracy over time, and the thickness of the terminal 100 is added to the measured distance between the index finger and the surface of the terminal 100 to obtain the distance between the index finger and the thumb. It is possible to measure the distance between two fingers with high accuracy over time.
  • FIG. 7 is a cross-sectional view showing a state in which the distance and angle of index fingers 113 and 123 performing the tapping motion are detected by distance measuring sensor 102.
  • the same parts as those in FIGS. 1, 2, 3, 4, 5 and 6 are the same as those in FIGS. Reference numerals are attached and explanations thereof are omitted.
  • distance measuring sensor 102 arranged on one side (right edge) of terminal 100 measures distance Llc to index finger 113 of left hand 111 near distance measuring sensor 102 and performing a tapping motion, and Detect the angle ⁇ l.
  • Distance Lla between index finger 113 and the surface of terminal 100 can be calculated from detected distance Llc and angle ⁇ l by Llc ⁇ sin ⁇ l. The distance Lla between can be measured over time.
  • the distance sensor 102 detects the distance Lrc and the angle ⁇ r to the index finger 123 of the right hand 121, which is located away from the distance sensor 102 and is performing the tapping motion. .
  • Distance Lra between index finger 123 and the surface of terminal 100 can be calculated by Lrc ⁇ sin ⁇ r from detected distance Lrc and angle ⁇ r. The distance Lra between can be measured over time. Furthermore, by adding the thickness of the terminal 100 to the measured distance between the index finger and the surface of the terminal 100, the distance between the index finger and the thumb can be measured over time with high accuracy. Further, by detecting the position where the forefingers 113 and 123 contact the touch panel 103 and combining the detection of the distance to the finger by the distance measuring sensor 102, the elapsed time from when the forefingers 113 and 123 are separated from the touch panel 103 to when they come back into contact with the touch panel 103 is detected.
  • finger detection unit 800 can detect the position of the tapping finger based on the distance and angle detected by ranging sensor 102, and can detect finger tapping based on the position detection information.
  • the motion measurement analysis processing unit 903 can measure the distance between two fingers.
  • FIG. 8 shows a finger tapping measurement processing terminal 100 having a camera 101 and a ranging sensor 102 on one side of the terminal 100 and a camera 801 and a ranging sensor 802 on the opposite side.
  • 1, 2, 3, 4, 5, 6 and 7 are the same as those in FIGS. 1, 2, 3, 4, 5 and 6 , are denoted by the same reference numerals as in FIG. 7, and the description thereof is omitted.
  • the camera 101 and the distance measuring sensor 102 are provided only on one side of the terminal 100 as shown in FIG. and the surface of the terminal 100 can be measured relatively easily and accurately. It may be difficult to measure the distance between relatively easily and accurately.
  • the camera 801 and the ranging sensor 802 near the right hand 121 , the distance between the index finger 123 of the right hand 121 and the surface of the terminal 100 can be measured relatively easily and accurately. In other words, the distance between the index finger of the left hand and the right hand and the surface of the terminal can be accurately measured by a nearby camera or distance measuring sensor.
  • the finger detection unit 800 can detect movements of the tapping fingers of both hands of the user holding the terminal 100 on both sides, and the finger tapping motion measurement analysis processing unit 903 can It is possible to perform processing for measuring the distance between two fingers for each of the two hands.
  • the operation of each of the camera 101 and the distance measuring sensor 102 when the camera 101 and the distance measuring sensor 102 are provided on one side or two upper and lower (or left and right) sides of the terminal 100 has been described.
  • the camera 101 and the distance measuring sensor 102 may simultaneously photograph and detect the movement of the finger during tapping.
  • the camera 101 and the distance measurement sensor 102 that are out of position can be detected. It is possible to measure the movement of the fingers while complementing each other, and it is possible to obtain the effect that the positions where the left and right fingers are moving can be accurately measured without leaking.
  • the camera 101 and the distance measuring sensor 102 are used together to improve the accuracy even during normal measurement.
  • FIG. 9 shows a block diagram of the configuration of finger tapping measurement processing terminal 100 according to the present embodiment.
  • terminal 100 includes first and second cameras 101 and 801, first and second ranging sensors 102 and 802, first and second pressure sensors 202 and 203, acceleration sensor 204, gyro Sensor 901, geomagnetic sensor 902, finger tapping motion measurement analysis processing unit 903, control unit 904, memory unit 910 consisting of program 911 and information data 916, touch panel 103, display unit unit 201, microphone 931, speaker 932, vibration generation unit 933 , a communication unit 934 , and a transmitting/receiving antenna 935 .
  • the first and second cameras 101, 801, the first and second ranging sensors 102, 802, the first and second pressure sensors 202, 203, and the touch panel 103 tap the display.
  • a finger detection unit 800 for detecting finger movement is configured.
  • the first camera 101 is installed on one side along the vertical direction (or horizontal direction) of the terminal 100, and the second camera 801 is installed on the other side along the vertical direction (or horizontal direction) of the terminal 100. Then, the user's finger is mainly used to photograph the forward field of view.
  • the first camera 101 photographs the index fingers 113 and 123 of the left and right hands performing the tapping exercise.
  • the first camera 101 photographs the left index finger 113 performing the tapping exercise
  • the second camera 801 photographs the left index finger 123 performing the tapping exercise
  • the terminal 100 Capture images inside.
  • the first and second ranging sensors 102, 802 are sensors that can capture the shape of objects such as people and objects as a three-dimensional object.
  • a LiDAR Light Detection and Ranging
  • a TOF Time Of Flight
  • Examples include a millimeter wave radar that detects the distance to an existing object and the state of the object. 1 and 7, first distance measuring sensor 102 captures left and right index fingers 113 and 123 performing a tapping motion, and detects the distance to index fingers 113 and 123 and the angle thereof. In the case of FIG.
  • the first distance measuring sensor 102 detects the distance and angle of the left index finger 113 performing the tapping motion
  • the second distance measuring sensor 802 detects the distance and angle of the right index finger performing the tapping motion. 123 distance and angle can be detected and captured in the terminal 100 .
  • the first and second pressure-sensitive sensors 202 and 203 are sensors that detect pressure (contact pressure) generated by contact.
  • the first pressure-sensitive sensor 202 is provided on the surface side of the terminal 100 and below the touch panel 103 and the display unit section 201, and detects the contact pressure when the finger that opens and closes touches the surface of the terminal 100, and opens and closes the terminal. It is possible to determine whether the finger is closed up to the surface of the terminal, and to measure the strength of contact when the opening and closing finger closes and comes into contact with the surface of the terminal.
  • the second pressure-sensitive sensor 202 is provided on the back surface of the terminal 100, detects the contact pressure from the thumb that is in contact with the back surface of the terminal, and determines whether the thumb firmly holds the terminal 100. It is possible to measure the strength of holding by the thumb. Also, by combining the pressures of the first pressure-sensitive sensor 202 and the second pressure-sensitive sensor 203, the strength of the pressure when the fingers are closed can be obtained.
  • the acceleration sensor 204 is a sensor that detects acceleration, which is a change in speed per unit time, and can detect movement, vibration, impact, and the like.
  • the acceleration sensor 204 provided in the terminal 100 detects the magnitude and direction of the vibration when the fingers are closed, so that the strength of the force when the finger returns and the strength of the force when the finger touches can also be measured. can be done.
  • the gyro sensor 901 is a sensor that detects an angular velocity in a rotating direction, and can detect vertical, horizontal, and oblique posture states. Therefore, the movement of terminal 100 can be detected using acceleration sensor 204 and gyro sensor 901 mounted on terminal 100 .
  • a geomagnetic sensor 902 is a sensor that detects the magnetic force of the earth, and detects the direction in which the terminal 100 is facing. As a geomagnetic sensor, it is possible to detect the movement of the terminal 100 by using a three-axis type that detects geomagnetism in the vertical direction as well as in the front-back direction and the left-right direction, and by capturing changes in the geomagnetism in response to the movement of the terminal 100. . Based on these, it may be detected and determined whether or not the display screen of the terminal 100 is arranged so that the display screen can be seen.
  • a finger tapping motion measurement analysis processing unit 903 detects finger motion information captured by the first and second cameras 101 and 801 and finger motion information detected by the first and second distance measuring sensors 102 and 802. , the position of the finger performing the tapping motion is analyzed, and the process of measuring the two-finger distance between the tapping finger (for example, the index finger) and the stationary fixed finger (for example, the thumb) is performed. In addition, the finger tapping motion measurement analysis processing unit 903 calculates the distance, velocity, acceleration, jerk, tap interval, and phase difference based on the measured two-finger distance information that is temporally displaced by the tapping motion. For each item, a process of calculating and analyzing the feature amount indicating the feature of the finger movement is also performed.
  • the calculated and analyzed feature values are connected to the evaluation of the user's brain function, and the state of the brain can be known. (Inability to skip or jump rope, etc.)
  • the calculated and analyzed feature amount makes it possible to quantify and detect and recognize the fine motor function of the fingers as a "rule" that indicates the health condition of the brain.
  • the maximum swing width and total moving distance of the finger are calculated, and how the magnitude of the finger movement changes is evaluated.
  • the speed item of the feature value the maximum speed, opening speed, closing speed, etc. are calculated, and how fast the finger moves is evaluated.
  • the maximum amplitude of acceleration, the force at which the finger starts to open, the force at which it finishes opening, the force at which it finishes closing, the force at which it starts to close, the finger contact time, etc. are calculated, and the force of finger movement is evaluated.
  • the tap interval item of the feature quantity the number of taps, the tap cycle, etc. are calculated, and the timing of tapping and its variation are evaluated.
  • both-hand dislocation, both-hand similarity, etc. are calculated, and cooperation between both hands is evaluated.
  • the control unit 904 is configured by a CPU or the like, and executes programs 911 such as an operating system (OS) 912 stored in a memory unit 910 and various operation control applications 913 and 914 to control the terminal. While performing operation control processing of the entire 100, it controls activation operations of various applications.
  • OS operating system
  • the memory unit 910 is composed of a flash memory or the like, and stores programs 911 such as an operating system 912 and operation control applications 913 and 914 for various processes such as image, sound, document, display, and measurement.
  • the memory unit 910 also stores information data 916 such as base data 917 required for basic operations by an operating system 912 and the like, and file data 918 and 919 used by various applications 913 and 914 and the like.
  • an image processing application is activated, an image is captured by a camera, and the captured file data is stored.
  • the processing in the finger tapping motion measurement analysis processing unit 903 is stored as one application A, and when the application A is started, the measurement of the distance between two fingers and the calculation analysis of the feature value associated with the finger tapping motion are processed. good too.
  • an external server device having high computational performance and large capacity may receive the distance between two fingers measured from the information processing terminal, and calculate and analyze the feature amount.
  • the display unit 201 is composed of a liquid crystal panel or the like, and in addition to displaying images and videos, it also displays notification information to the user such as remaining battery capacity, various alarms, and time, icons of applications to be started on the display screen, and the like. is doing. Especially in this embodiment, the processing result processed by the finger tapping motion measurement analysis processing unit 903 can be displayed.
  • the touch panel 103 is made of highly transparent material and detects the position and area touched by the finger on the screen. It can be determined that the surface has been touched. In addition, it is possible to perform an input operation by touching the touch panel 103 while looking at the icon or the like displayed on the display unit section 201 .
  • the touch panel 103 is an input means of a touch pad system such as a capacitive type, and can detect an approach or contact operation (touch operation) by a finger, a touch pen, or the like as an operation input, and set and input information that the user wants to input.
  • an application or file icon on the display screen can be easily selected and specified by touch operation.
  • the touch panel 103 senses the contact of the tapping finger, and thus the finger detection unit 800 can detect it as the open/closed position of the finger tapping motion.
  • the microphone 931 is for collecting sounds from the outside and the user's own voice
  • the speaker 932 is for outputting sounds to the outside to inform the user of notification information, music, and other sounds. Further, the instruction regarding the finger tap measurement may be given to the user by voice through a speaker.
  • the vibration generating section 933 generates vibration under the control of the control section 904, and converts notification information to the user transmitted from the information processing terminal 100 into vibration.
  • the vibration generation unit 933 can apply vibration generated to a finger or the like holding the information processing terminal 100 to reliably transmit the notification to the user.
  • the communication unit 934 is a communication interface that performs wireless communication with a server device or the like in another location by short-range wireless communication, wireless LAN, or base station communication. and transmit and receive measurement data and analytically calculated feature values.
  • the short-range wireless communication is performed using, for example, an electronic tag, but is not limited to this. ), IrDA (Infrared Data Association, registered trademark), Zigbee (registered trademark), HomeRF (Home Radio Frequency, registered trademark), or wireless LAN such as Wi-Fi (registered trademark) good.
  • base station communication long-distance wireless communication such as W-CDMA (Wideband Code Division Multiple Access) or GSM (Global System for Mobile Communications) may be used.
  • the communication unit 934 may use other methods such as communication using optical communication sound waves as means for wireless communication. In that case, instead of the transmitting/receiving antenna 935, a light emitting/receiving section and a sound wave output/sound wave input section are used.
  • Such components shown in FIG. 9 allow measurement of the two-finger separation distance between a finger (eg, index finger) during a tapping motion and a finger (eg, thumb) on the back of terminal 100, and further, It is possible to calculate and analyze a feature quantity representing the feature of finger movement from the measured two-finger distance information. Then, it is possible to measure the tapping motion between two fingers in a simple form and with good usability using a widely spread and inexpensive information processing terminal without wearing a special instrument. Further, based on the measured information, (for example, by the finger tapping motion measurement analysis processing unit 903 or by a device other than the terminal 100), the feature amount that leads to the evaluation of the brain function of the user is analyzed and evaluated.
  • FIG. 10 is an example of a flowchart for explaining the operation of finger tapping measurement processing terminal 100 according to the present embodiment.
  • the configuration of FIG. 8 is used. Therefore, the movement of the finger performing the tapping motion is photographed by the camera 101, 801 to measure the distance between the two fingers, or the distance sensor 102, 802 is used to measure the position of the finger. is detected to measure the distance between two fingers (S1001).
  • the finger When photographing the finger movement of the tapping exercise with the camera 101, 801, before photographing the finger performing the tapping exercise, the finger is set to a predetermined target distance on the terminal 100 (S1002), In this state, the finger is photographed by the cameras 101 and 108, and the distance reference of the photographed image during the finger tapping motion is acquired from the photographed image. In addition, the user recognizes the setting state of the fingers opened to a predetermined target distance. Therefore, it is possible for the user to be conscious of opening at the target distance when performing the tapping exercise (S1003). After pre-shooting by the camera, the user starts a tapping motion for measurement (or is prompted by a computer program to perform a tapping motion) (S1004).
  • the finger tapping exercise there are a two-hands simultaneous mode in which both hands perform finger tapping exercise simultaneously and a two-hands alternate mode in which both hands alternately perform finger tapping exercise, and the user performs finger tapping exercise in each mode (tapping step S1005).
  • the first and second cameras 101 and 801 and the first and second ranging sensors 102 and 802 detect the movement of the tapping finger, and the finger tapping movement measurement analysis processing unit 903
  • the position of the finger performing the tapping motion is determined from finger movement information captured by the first and second cameras 101 and 801 and finger movement information detected by the first and second distance measuring sensors 102 and 802.
  • the two-finger distance between the tapping finger and the fixed finger is measured (finger detection step and processing step S1006).
  • the finger detection step and processing step S1006 the processing in steps S1002 and S1003 described above is reflected, and the finger detection unit 800 and finger tapping motion measurement analysis processing unit 903 described with reference to FIGS. An action/process is performed.
  • the finger tapping motion measurement analysis processing unit 903 calculates the distance and speed based on the measured two-finger distance information that is temporally displaced by the tapping motion. , acceleration, tap interval, and phase difference are calculated and analyzed (S1008).
  • the calculated and analyzed feature amount is displayed in a table or graph on the display unit 201 in an easy-to-understand manner, or is uttered by voice from the speaker 932 to notify the user (S1009).
  • the process ends (S1010). If remeasurement is required, the process returns to step S1004, and if measurement analysis is to be performed again, the process returns to step S1001.
  • FIG. 11(a) is a diagram showing the results of measurement in a two-handed simultaneous mode in which both hands are tapped simultaneously
  • FIG. FIG. 10 is a diagram showing the results of
  • the vertical axis on the left side indicates the distance between the finger (for example, the index finger) during the tapping motion and the terminal surface
  • the vertical axis on the right side indicates the distance between the finger (for example, the index finger) during the tapping motion and the terminal surface.
  • the figure shows the inter-finger distance between a finger (for example, the thumb) fixed to the base, and the movement of the index finger of the left hand on the top and the index finger of the right hand on the bottom.
  • both-hands simultaneous mode as shown in FIG.
  • the index finger of the left hand and the index finger of the right hand move in the same direction over time.
  • the left index finger and the right index finger move in opposite directions over time, for example, at time 1101, the left index finger opens and the right index finger closes.
  • the waveform is a sampling waveform that connects the values of each observation point.
  • the angle of view of the camera does not include the surface of the display and the timing of contact with the display cannot be accurately measured, the waveform can be obtained based on the timing of contact with the touch panel.
  • FIG. 12 shows an embodiment of a finger tapping measurement processing system composed of a finger tapping measurement processing terminal 100, a head-mounted information processing device 1201, and a server device 1203.
  • FIG. 12 shows an embodiment of a finger tapping measurement processing system composed of a finger tapping measurement processing terminal 100, a head-mounted information processing device 1201, and a server device 1203.
  • a display processing unit (display unit) 1235 (see FIG. 13 to be described later) is mounted on the head of the user using the finger tapping measurement processing terminal 100 and displays real space information and virtual space information to the user so that the user can see it. ) and the finger tapping measurement processing terminal 100 transmit and receive various types of information via communication means such as wireless communication and an external network. Therefore, the head-mounted information processing device 1201 uses, as various types of transmission/reception information, information displayed on the display screen (display) 1202 of the finger tapping measurement processing terminal 100 and information on the movement of the finger captured by the camera 101 (801) during the tapping exercise.
  • Information and the like can be received from the finger tapping measurement processing terminal 100, and the received information on the display screen 1202, finger movement information, and the like can be displayed on the display processing unit 1235 as virtual space information.
  • the display screen 1202 of the terminal 100 and the fingers during the tapping motion are viewed from the user as shown in FIG. is obstructed by the terminal 100 and is difficult to see, it is displayed by the display processing unit 1235 of the head-mounted information processing device 1201 and can be clearly viewed.
  • instruction information such as operation explanations regarding finger tapping measurement and operation start/end is transmitted and received between the two, various instructions are issued from the head-mounted information processing device 1201 to the terminal 100,
  • the operation instructions from the terminal 100 can be confirmed by display or voice on the mount information processing device 1201 .
  • the finger tapping measurement processing terminal 100 has display screens on both the front and back sides, that is, when there is a display screen on the back side as well, the user can easily see the display screen on the back side, and the head-mounted An operation guide or the like may be displayed on the display screen on the back without using the information processing device 1201 .
  • the head-mounted information processing device 1201 is equipped with a range-finding sensor and a camera, and can detect the positions of the left and right index fingers and thumbs, the head-mounted information processing device 1201 alone can measure the motion of the finger tap motion. It is possible.
  • data may be transmitted and received via wireless communication between the server device 1203 installed outside and the finger tapping measurement processing terminal 100, and data storage management may be performed by the large-capacity server device 1203.
  • the server device 1203 with high computational performance and large capacity may receive the distance between two fingers as measurement data from the finger tapping measurement processing terminal 100, and calculate and analyze the feature amount leading to brain function evaluation of the user. As a result, calculation and analysis of various feature amounts can be performed at high speed and high accuracy, and a large amount of calculated and analyzed feature amount information can be stored and managed.
  • FIG. 13 is a block diagram showing a configuration example of the head-mounted information processing device 1201.
  • the head-mounted information processing device 1201 includes a camera 1211, a right-eye line-of-sight detection unit 1212, a left-eye line-of-sight detection unit 1213, an acceleration sensor 1214, a gyro sensor 1215, a geomagnetic sensor 1216, a distance measurement sensor 1217, a control unit 1218, and a program 1225.
  • an operation input unit 1234 a display processing unit 1235, an ambient sound microphone 1236, an utterance sound microphone 1237, a headphone 1238, a vibration generation unit 1239, a communication unit 1240, and a transmission/reception antenna 1241.
  • these components are interconnected via a bus 1250 , except for the transmit/receive antenna 1241 .
  • a right-eye line-of-sight detection unit 1212 and a left-eye line-of-sight detection unit 1213 detect the lines of sight of the right and left eyes, respectively.
  • a well-known technology that is generally used as eye tracking processing may be used. is captured by an infrared camera, the position of the reflected light (corneal reflection) produced by infrared LED irradiation on the cornea is used as a reference point, and the line of sight is detected based on the position of the pupil with respect to the position of the corneal reflection. .
  • the operation input unit 1234 is input means such as a keyboard, key buttons, touch keys, etc., and is used to set and input information that the user wants to input.
  • the operation input unit 1234 may be provided in a position or form in which the user can easily perform an input operation within the head-mounted information processing apparatus 1201, or may be separated from the main body of the head-mounted information processing apparatus 1201 and connected by wire or wirelessly. may be in the form of Alternatively, the input operation screen may be displayed on the display screen of the display processing unit 1235, and the input operation information may be captured based on the position on the input operation screen to which the line of sight is detected by the right-eye line-of-sight detection unit 1212 and the left-eye line-of-sight detection unit 1213.
  • a pointer may be displayed on the input operation screen and input operation information may be acquired by operating the pointer using the operation input unit 1234 .
  • the user may utter a voice indicating the input operation, and the voice microphone 1237 may collect the sound to capture the input operation information.
  • the display processing unit 1235 includes, for example, a projection unit that projects various types of information such as playback information by a startup application and notification information to the user, and various types of projected information. It consists of a transparent half-mirror that forms and displays information in front of your eyes.
  • a display such as a liquid crystal panel that displays various information together with the real space object in front of the eye photographed by the camera 1211 . Accordingly, the user visually views and views image information from other sources in addition to the image in the visual field in front of the user.
  • the ambient sound microphone 1236 and the utterance sound microphone 1237 each collect sounds from the outside and the user's own utterances.
  • a headphone 1238 is worn on the user's ear to hear the user's voice, and can notify the user of notification information by voice.
  • the display screen 1202 of the finger tapping measurement processing terminal 100 can be displayed by the head mounted information processing device 1201. is displayed as virtual space information by the display processing unit 1235, and information such as an operation explanation for finger tapping measurement can be clearly visually recognized.
  • instruction information such as operation start and end regarding finger tapping measurement can be transmitted and received between the two, and various instructions can be issued from the head-mounted information processing device 1201 .
  • the present invention is not limited to the above-described embodiments, and can include various modifications.
  • the above-described embodiments have been described in detail in order to explain the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the described configurations.
  • part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.
  • each of the above configurations, functions, processing units, processing means, etc. may be realized in hardware, for example, by designing a part or all of them with an integrated circuit.
  • each of the above configurations, functions, etc. may be realized by software by a processor interpreting and executing a program for realizing each function.
  • Information such as programs, tables, and files that implement each function can be stored in a recording device such as a memory, a hard disk, an SSD (Solid State Drive), or a recording medium such as an IC card, SD card, or DVD.
  • control lines and information lines indicate what is considered necessary for explanation, and not all control lines and information lines are necessarily indicated on the product. In practice, it may be considered that almost all configurations are interconnected.
  • the terminal is held with two fingers of both hands. Measurement can also be easily performed without
  • finger tapping measurement processing terminal 101 801, 1211 camera 102, 802, 1217 range sensor 103 touch panel 103A display 111 left hand 112, 122 thumb 113, 123 index finger 201: display unit section 202, 203 pressure sensor 205 fixture 401 Target length jig 800 Finger detection unit 903 Finger tapping motion measurement analysis processing unit (processing unit) 934, 1240 communication unit 1201 head-mounted information processing device 1203 server device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Neurology (AREA)
  • Physiology (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Neurosurgery (AREA)
  • Child & Adolescent Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Signal Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

特別な専用の器具を装着することなく、また、計測情報を評価解析するための高価な専用の装置を必要とすることなく、広く普及しているスマートフォンやタブレットのような端末を活用して簡便な形態で安価に使い勝手良く指タッピング運動を計測処理できる指タッピング計測処理端末、システム、方法およびコンピュータプログラムを提供する。　指タッピング運動を計測してその計測結果を処理する指タッピング計測処理端末１００は、端末の一方の面に設けられ、指タッピング運動に関連する情報を表示可能であるとともに、端末を保持するユーザの同じ手の２本の指の一方によりタッピングされるタッチパネル１０３と、タッチパネル１０３をタッピングする一方の指の動きを検出する指検出部１０１，１０２と、指検出部で得られた検出情報に基づき、タッチパネルと反対側に位置される端末の他方の面を保持する２本の指の他方と、タッチパネルをタッピングする一方の指との間の指タッピング運動時の二指間距離を計測する処理を行なう処理部とを有する。

Description

指タッピング計測処理端末、システム、方法およびコンピュータプログラム
　本発明は、指タッピング運動を計測してその計測結果を処理する指タッピング計測処理端末、指タッピング計測処理システム、方法およびコンピュータプログラムに関する。
　高齢化社会の進行により、アルツハイマー型認知症の患者は年々増加しており、早期発見ができれば、投薬で病気の進行を遅らせることができる。物忘れなどの加齢に伴う症状と、病気との区別がつきにくいこともあり、重症化して初めて病院を受診するケースも多い。
　このような状況において、アルツハイマー型認知症の早期発見に向けたスクリーニング検査としては、従来、血液検査、嗅覚テストや、医師の問診をタブレット端末上で再現した検査などが行なわれているが、採血時の痛みや検査時間の長さなど、被検者の負担が大きいという問題があった。一方、被検者の負担が少ない検査として、ボタン押しやタブレット端末を用いた片手の手指運動計測による認知機能評価も行なわれているが、十分な検査精度が得られないという難点があった。高精度で被検者の負担が少なく簡易なスクリーニング検査を行なうことができれば、アルツハイマー型認知症の早期発見につながり、患者のクオリティオブライフの改善、医療費や介護費の削減にも貢献できる。
　これに対して、近年、両手の親指と人差し指とによる二指の開閉運動（指タッピング運動）からアルツハイマー型認知症特有の運動パターンを抽出できることが明らかになり、手指の運動計測および一般的な問診による認知症検査と高い相関があることが確認されている。これらは、指タッピング運動計測によって、アルツハイマー型認知症における脳の委縮に起因する両手指のリズム運動機能の低下を捉えた結果であると言われている。また、手指は第二の脳であるといわれ、脳の中でも多くの領域が手指の働きに関係しており、手指の動きは、アルツハイマー型認知症に限らず、脳血管性やレビー小体型等の認知症、パーキンソン病、発達性協調運動障害(スキップや縄跳びができない等)等とも関係していると言われている。すなわち、指のタッピング運動から脳の状態を知ることが可能となる。更には、指のタッピング運動を脳の健康状態を示す「ものさし」として活用することで手指の巧緻運動機能を定量化できるため、ヘルスケア分野、リハビリ分野、生活支援分野など、様々な分野でも利用できる。
　そして、指タッピング運動を精度良く計測評価する方法として、例えば、特許文献１には、生体の可動部分に取り付けた発信コイルと受信コイルのペアの相対距離に基づいて運動データを算出する運動機能測定装置と、運動機能測定装置から受信した運動データに基づいて生体の運動機能を評価する評価装置と、を備える運動機能評価システムが開示されている。すなわち、この特許文献１には、指先に装着した磁気センサにより、２本の指によるタッピング運動で変動する磁力の変化を電気信号に変換し、その動きを計測、定量化して指の動きの特徴を示す特徴量を捉えることにより、脳機能の状態を知ることが示されている。
特開２０１６－４９１２３号公報
　前記特許文献１に開示される運動機能評価システムは、磁気センサを用いて指タッピング運動を計測評価することができるが、指に磁気センサを装着して指タッピング運動を計測する必要があり、また、磁気センサで検出した計測情報を評価解析する高価な専用の装置を必要とし、安価に指タッピング運動を計測評価することが難しいという課題があった。
　本発明は、前記事情に鑑みてなされたものであり、特別な専用の器具を装着することなく、また、計測情報を評価解析するための高価な専用の装置を必要とすることなく、広く普及しているスマートフォンやタブレットのような端末を活用して簡便な形態で安価に使い勝手良く指タッピング運動を計測処理できる指タッピング計測処理端末、システム、方法およびコンピュータプログラムを提供することを目的とする。
　前記課題を解決するために、本発明は、指タッピング運動を計測してその計測結果を処理する指タッピング計測処理端末であって、
　前記端末の一方の面に設けられ、指タッピング運動に関連する情報を表示可能であるとともに、前記端末を保持するユーザの同じ手の２本の指の一方によりタッピングされるタッチパネルと、
　前記タッチパネルをタッピングする前記一方の指の動きを検出する指検出部と、
　前記指検出部で得られた検出情報に基づき、前記タッチパネルと反対側に位置される前記端末の他方の面を保持する前記２本の指の他方と、前記タッチパネルをタッピングする前記一方の指との間の指タッピング運動時の二指間距離を計測する処理を行なう処理部と、
　を有することを特徴とする。
　上記構成によれば、タッチパネルを伴う端末に設けられた指検出部および処理部の存在により、端末のタッチパネルを指でタッピングするだけで指タッピング運動を計測処理できるため、特別な専用の器具を装着することなく、また、高価な専用の評価解析装置を必要とすることなく、指タッピング運動を容易に計測処理できる。特に、スマートフォンやタブレットのような既存の端末に常設部品として既に実装されている例えば測距センサなどを指検出部として利用するとともに、既存の端末の演算回路を利用して或いは例えばアプリケーションソフトとして端末に新たに取り込むことにより処理部を実現できれば、広く普及しているスマートフォンやタブレットのような端末を活用して簡便な形態で安価に使い勝手良く指タッピング運動を計測処理することもできる。
　なお、上記構成において、指検出部は、カメラや測距センサ等を利用して指の動きを検出することができる。指検出部は、端末の両側を保持するユーザの両手のそれぞれの指に対応して端末の両側にそれぞれ設けられてもよく、あるいは、ユーザの両手のそれぞれの指に共通のものとして端末の片側に設けられてもよい。なお、指検出部としてカメラを使用し、カメラで撮影された画像からタッピングする指の位置を検出する場合には、撮影角度や撮影距離に起因して指の正確な位置を捉え難い場合があるため、カメラで撮影された画像から指タッピング運動の指開閉の開位置の基準となる二指間目標距離を基準値として予め取得しておき、この基準値に基づいて位置検出データを較正することが好ましい。その場合、指検出部は、二指間目標距離に対応する長さを有する目標長治具を用いて指タッピング運動の指開閉の開位置の基準を規定してもよい。また、そのような目標長治具は、指検出部による検出を妨げない透明性を有することが好ましい。また、目標長治具を用いるに際して、タッチパネルの表面とタッピングする指との間で目標長治具を挟持する場合には、指が挟持状態で変形し得るため、その変形量も位置検出データの較正に役立てることが好ましい。
　また、上記構成において、処理部は、二指間距離の計測結果に基づいてユーザの脳機能評価につながる特徴量を算出解析することが好ましい。さらには、処理部は、算出した特徴量からユーザな脳機能、認知機能の評価を（例えば、健常者のデータとの比較により）行なってもよい。そのような評価は、認知症を判別する初期段階のスクリーニングとして有効となり、認知症の検出の助けとなることは勿論のこと、例えば車の運転における判断力の判定にも寄与でき、また、脳トレ的なゲームに応用できるなど、その適用範囲が広範にわたる。
　また、上記構成において、タッチパネルは、その表面に接触する指の位置を感知するタッチパネルを有して情報を表示するタッチパネルディスプレイであることが好ましい。このようなタッチパネルディスプレイを用いれば、指検出部は、タッピングする指の接触をタッチパネルが感知することによりそれを指タッピング運動の指開閉の閉位置として検出することができる。
　また、上記構成において、端末の他方の面を保持する他方の指は、固定部によって端末の他方の面に対して接触された状態で固定されることが好ましい。この場合、固定部は、端末側に設けられてもよく、あるいは、端末とは別体の装着具として設けられてもよい。
　また、上記構成の指タッピング計測処理端末は、該端末を使用するユーザの頭部に装着されるとともに現実空間情報や仮想空間情報をユーザに視認可能に表示する表示部を有するヘッドマウント情報処理装置と共に指タッピング計測処理システムを構成してもよく、その場合、指タッピング計測処理端末とヘッドマウント情報処理装置とが通信手段を介して互いに通信可能であることが好ましい。通信手段を用いることにより、ヘッドマウント情報処理装置は、例えば、指タッピング計測処理端末のディスプレイに表示される情報を受信し、受信した情報を表示部に表示することもできる。また、この場合も先と同様に、指タッピング計測処理端末の処理部は、計測された前記二指間距離に基づいてユーザの脳機能評価につながる特徴量を算出解析する処理を行なえることが望ましいが、そのような算出解析を遠隔的に設けられたサーバ装置に行なわせることも可能である。具体的には、例えば、そのようなサーバ装置は、通信手段を介して指タッピング計測処理端末の処理部から二指間距離の計測結果を受信し、受信した二指間距離の計測結果に基づいてユーザの脳機能評価につながる特徴量を演算処理部で算出解析する。演算処理部の処理結果はサーバ装置の記憶部に記憶されてもよく、また、記憶部に記憶されたデータは、通信手段を介して指タッピング計測処理端末およびヘッドマウント情報処理装置に通信されてもよい。
　また、本発明は、前述の指タッピング計測処理端末および指タッピング計測処理システムに加えて、指タッピング運動を計測してその計測結果を処理する方法およびコンピュータプログラムも提供する。
　本発明によれば、タッチパネルを伴う端末に設けられた指検出部および処理部の存在により、端末のタッチパネルを指でタッピングするだけで指タッピング運動を計測処理できるため、特別な専用の器具を装着することなく、また、高価な専用の評価解析装置を必要とすることなく、指タッピング運動を容易に計測処理できる。
片側に指検出部を有する本発明の一実施の形態に係る指タッピング計測処理端末を外観模式的に示す斜視図である。 図１の指タッピング計測処理端末の一部の拡大断面図である。 図１の指タッピング計測処理端末でカメラを用いて計測する場合における二指間目標距離の取得を説明する図である。 目標長治具を用いた二指間目標距離の取得を説明する図である。 目標長治具を用いた二指間目標距離の取得を捕捉的に説明する図である。 ２つのディスプレイを有する指タッピング計測処理端末を用いて二指間目標距離を取得する動作を説明する図である。 図１の指タッピング計測処理端末で測距センサを用いて計測する場合の計測手法を示す図である。 両側に指検出部を有する指タッピング計測処理端末を外観模式的に示す斜視図である。 図１および図８に示される指タッピング計測処理端末の構成例を示すブロック図である。 図１および図８に示される指タッピング計測処理端末の動作の一例を示すフローチャートである。 （ａ）は、本発明の一実施の形態に係る指タッピング計測処理端末の計測データの一例を示す図、（ｂ）は、本実施の形態に係る指タッピング計測処理端末の計測データの他の例を示す図である。 本発明の一実施の形態に係る指タッピング計測処理システムを外観模式的に示す斜視図である。 図１２の指タッピング計測処理システムを構成するヘッドマウント情報処理装置の構成例を示すブロック図である。
　以下、図面を参照しながら本発明の実施の形態について説明する。　
　なお、以下に示される本発明の一実施の形態に係る指タッピング計測処理端末は、タッチパネルを利用して指タッピング運動を計測処理できる端末として構成され、図１２に示されるように、通信手段（ネットワーク）を介してサーバ１２０３に接続される使用形態（これについては後述する）も考えられるが、どのような使用形態をとっても構わない。また、指タッピング計測処理端末は、本実施の形態では、スマートフォンのような小型端末として構成されるが、タブレット型の薄型コンピュータや、パーソナルコンピュータ等のような形態を成していても構わない。
　また、以下の実施の形態では、それ自体がタッチパネルを備えることによりそれ単体で指タッピング運動を計測処理できる指タッピング計測処理端末が示されるが、本発明は、別体のディスプレイとの協働により指タッピング運動を計測処理できるようにするシステムまたは方法として具現化されてもよく、あるいは、そのような指タッピング運動の計測処理をコンピュータによって行なえるようにする（例えば、ディスプレイを一方の面に有する端末を用いて指タッピング運動を計測できるようにするとともにその計測結果をディスプレイ上で表示可能にする）コンピュータプログラムまたはそのようなコンピュータプログラムが格納されたコンピュータプログラムプロダクトとして構成されていても構わない。
　本発明の具体的な実施の形態が図１に示されており、この図示の情報処理端末としての指タッピング計測処理端末（以下、単に端末と称する場合もある）１００は、カメラ１０１、測距センサ１０２、および、タッチパネル１０３を有している。カメラ１０１および測距センサ１０２は、端末１００の片側（図１の左側）の縁部に設けられており、カメラ１０１は周囲の物体や景色を撮影し、測距センサ１０２は、人や物などの対象物の形状を立体として捉えることができるセンサであって、対象物までの距離や角度を測定することができる。また、タッチパネル１０３は、タッチされた位置を検出する（その表面に接触する指の位置を感知する）ものであり、タッチパネルディスプレイ１０３Ａを構成する。なお、このタッチパネルディスプレイ１０３Ａは、指タッピング計測処理端末１００の一方の面（表面）に設けられ、指タッピング運動に関連する情報を表示できるようになっており、後述するように端末を保持するユーザの同じ手の２本の指の一方（人差し指）によってタッチパネル１０３がタッピングされる。
　指タッピング計測処理端末１００は、その一辺（図１の左側の一辺）がユーザの左手１１１で保持され、対向する他の一辺（図１の右側の一辺）がユーザの右手１２１で保持される。ユーザの左手の親指１１２は指タッピング計測処理端末１００の他方の面（タッチパネル１０３と反対の側に位置される面）である裏面側を支え、ユーザの左手の人差し指１１３は、開いたり、タッチパネル１０３に接触する形で閉じたりする開閉運動、すなわち、タッピング運動を行なう。指タッピング計測処理端末１００の他の一辺でも同様に、ユーザの右手の親指１２２は情報処理端末１００の裏面側を支え、ユーザの右手の人差し指１２３は、開いたり、タッチパネル１０３に接触する形で閉じたりする開閉運動、すなわち、タッピング運動１２４を行なう。なお、図１では、開いたり閉じたりする左右の人差し指１１３，１２３として、開いた状態の人差し指を人差し指１１５，１２５で示し、タッチパネル１０３に接触する形で閉じた状態の人差し指を人差し指１１６，１２６で示している。
　このような状態で、タッチパネル１０３をタッピングする人差し指１１３，１２３の動きを（開閉動作）を検出する、具体的には人差し指１１３，１２３の動作位置を検出する指検出部８００（図９参照）として、カメラ１０１は、撮影された画像から人差し指１１３，１２３の位置を捉えることができ、予め撮影しておいた所定位置画像（後述する目標間隔距離で人差し指が開いた画像）をもとに較正することにより、精度良くタッピング運動中の人差し指１１３，１２３と垂下の指タッピング計測処理端末１００の表面（タッチパネル１０３の表面）との間の各距離の経時的な計測を可能にする。また、測距センサ１０２は、指検出部８００として、人差し指１１３，１２３までの距離およびその角度を各々検出でき、高精度でタッピング運動中の人差し指１１３，１２３と垂下の指タッピング計測処理端末１００の表面との間の各距離の経時的な計測を可能にする。
　よって、指タッピング計測処理端末１００の厚さを加味することにより、タッピング運動中の人差し指１１３と指タッピング計測処理端末１００の裏面に静止している（裏面を保持する）左手親指１１２との間の二指間隔距離を計測することができる。また、右手の場合も同様に、指タッピング計測処理端末１００の厚さを加味して、タッピング運動中の人差し指１２３と指タッピング計測処理端末１００の裏面に静止している右手親指１２２との間の二指間隔距離を計測することができる。これにより、特別な器具を装着することなく広く普及して安価な情報処理端末を用いて、簡便な形態で使い勝手良く二指間のタッピング運動を計測できる。また、計測された情報をもとに、指タッピング計測処理端末１００内の演算機能によりユーザの脳機能評価につながる特徴量を解析評価することが可能となり、アルツハイマー型、脳血管性、レビー小体型等の認知症や、パーキンソン病、発達性協調運動障害(スキップや縄跳びができない等)等の早期発見に向けたユーザ負担の少ない利便性の良い検査を実現できる。更には、認知症等の予兆検知検査だけでなく、解析評価した特徴量をもとにして、脳の健康状態を示す「ものさし」として手指の巧緻運動機能を定量化して検知認識できることから、脳機能改善のトレーニングやリハビリメニューとして利用することが可能である。例えば、音に合わせて指先の開閉を促してその巧緻性を評価するようなトレーニング・リハビリメニューが挙げられる。
　なお、前述の例では、人差し指と指タッピング計測処理端末１００の表面との間の間隔距離を計測して人差し指と親指との二指間のタッピング運動間隔距離を経時的に計測する場合を説明したが、例えば、中指と親指の二指など、他の二指間のタッピング運動の場合でもよく、また、複数の指を開閉させてもタッピング運動の計測は可能であり、同様の作用、効果が得られることは言うまでもない。また、以下の説明でも、人差し指でタッピング運動を行なう場合を主に説明するが、人差し指以外でも同様である。
　図２は、図１に示した指タッピング計測処理端末１００の一部分の断面を示している。なお、図２において、図１と同一の部分については、図１と同一の符号を付してその説明を省略する。
　図２は、指タッピング計測処理端末１００を掴んでいる左手の周辺部分の断面を示しているが、指タッピング計測処理端末１００を掴んでいる右手の周辺部分の断面も同様である。図２において、指タッピング計測処理端末１００は、タッチパネル１０３、表示ユニット部２０１、感圧センサ２０２をディスプレイを成す表面側に有し、感圧センサ２０３を裏面側に有し、また、カメラ１０１と同じ側の縁部に加速度センサ２０４、固定治具２０５をさらに有している。表示ユニット部２０１は、液晶などで構成され、透明性の高いタッチパネル１０３を介して表示内容を表示するものである。また、感圧センサ２０２，２０３は、タッピングする人差し指１１３（１２３）がタッチパネル１０３の表面に接触する際の接触圧（押圧）を感知するものであり、加速度センサ２０４は、単位時間当たりの速度の変化である加速度を検出するセンサであり、動き・振動・衝撃などを捉えることができる。また、加速度のみならず、速度や回転の方向を検出するセンサも備える。固定治具２０５は、指タッピング計測処理端末１００を保持して支える親指１１２（１４２）を固定する治具であり、端末１００の裏面に対して親指１１２（１４２）を接触させた状態で固定する。
　タッチパネル１０３は、人指し指１１３（１２３）が触れた位置や接触面積を検出し、接触の位置ずれなども把握できる。感圧センサ２０２は、人指し指１１３（１２３）が触れたときの接触の強さである接触圧を検出し、指タッピング運動から算出される特徴量の一つとして反映することができる。また、感圧センサ２０３は、指タッピング計測処理端末１００を支えて保持している親指１１２（１４２）が端末１００に触れている接触圧を検出し、親指１１２（１４２）が端末１００の裏面にしっかり接して充分な保持状態になっているかどうかを確認できる。また、固定治具２０５は、親指１１２（１４２）を所定の位置でぐらつくことなくしっかりと端末１００に対して支えて保持することができる。加速度センサ２０４は、指が閉じたときの振動の大きさおよび方向を検出することで、指が戻るときの力の強さも測ることができる。
　次に、図３、図４、図５、図６を用いて、タッピング運動を行なう人差し指１１３，１２３の位置をカメラ１０１により捉え、人差し指１１３，１２３と垂下の指タッピング計測処理端末１００の表面との間の各距離を計測する場合について更に詳しく説明する。　
　図３は、カメラ１０１でタッピング運動を行う人差し指１１３，１２３を撮影するときの状態を示した断面図である。図４は、目標長治具４０１を用いて、指タッピング計測処理端末１００の表面から人差し指１１３を目標間隔距離（二指間目標距離）だけ開いた状態に設定し、カメラ１０１で目標間隔距離に開いた状態の人差し指１１３を撮影することを説明する図である。図５は、図４に示された状態で生じた目標長治具４０１と人差し指１１３（１１５）との接触面により指１１３（１１５）がへこむ（変形する）際の補正について説明する図である。図６は、端末１００が２画面を有する場合、２画面を用いて、人差し指１１３，１２３を指タッピング計測処理端末１００の表面から目標間隔距離だけ開いた状態に設定し、カメラ１０１で目標間隔距離に開いた状態の人差し指１１３，１２３を撮影することを説明する図である。なお、図３、図４、図５、図６において、図１および図２と同一の部分については、図１および図２と同一の符号を付してその説明を省略する。
　図３において、指タッピング計測処理端末１００の一辺（図３の左側の縁部）に配置されたカメラ１０１は、カメラ１０１の近くにあってタッピング運動を行なう左手１１１の人差し指１１３を撮影し、撮影した人差し指１１３の画像（すなわち、指検出部８００で得られる検出情報または位置検出データ）から、図９で後述する処理部としての指タッピング運動計測解析処理部９０３が、人差し指１１３の開閉で動く距離（端末１００の表面からの距離・・・したがって、二指間距離）３１１を解析して算出する。また、カメラ１０１は、カメラ１０１から遠くにあってタッピング運動を行なう右手１２１の人差し指１２３を撮影し、撮影した人差し指１２３の画像から、指タッピング運動計測解析処理部９０３が、人差し指１２３の開閉で動く距離３２１を解析して算出する。ここで、カメラ１０１および測距センサ１０２は、指の接触を検知するためにディスプレイの表面まで計測する必要があるため、レンズ位置を変えたりすることで、カメラ１０１や測距センサ１０２の画角を表面近くまで映るように変えても良い。
　ところで、カメラ１０１で撮影された画像上の人差し指１１３，１２３の位置や大きさだけでは正確にタッピング運動で動く人差し指１１３，１２３の距離３１１，３２１を捉え難い。例えば、左右の人差し指１１３，１２３が同じ距離の開閉運動を行なっても、カメラ１０１で撮影された画像上では、カメラ１０１に近い左手１１１の人差し指１１３の方がカメラ１０１から遠い人差し指１２３よりも大きく映り、開閉運動の距離も長く見えることになり、このままでは正確に左右の人差し指１１３，１２３で行なう開閉運動の距離を計測し難い。したがって、本実施の形態では、人差し指１１３，１２３を撮影して人差し指１１３，１２３と指タッピング計測処理端末１００の表面との間の距離を計測する前に、予め、端末１００の表面から所定の目標距離だけ開いた状態に人差し指１１３，１２３を設定し、設定した状態の人差し指１１３，１２３をカメラ１０１で撮影し、カメラ１０１を含む指検出部８００が、撮影した画像上で人差し指１１３，１２３と端末１００の表面との間の目標距離を識別認識しておき、識別認識した画像上の目標距離（二指間目標距離）を長さ基準（指タッピング運動の指開閉の開位置の基準となる基準値）として取り込んでおく。そして、タッピング運動を行なう人差し指１１３，１２３を撮影して人差し指１１３，１２３と指タッピング計測処理端末１００の表面との間の距離を計測する際には、指検出部８００が、撮影した人差し指１１３，１２３の画像に対し、予め取り込んでおいた長さ基準をもとに較正することによって、指タッピング運動計測解析処理部９０３が、人差し指１１３，１２３と端末１００の表面との間の距離を精度良く算出して計測することができる。なお、指タッピング運動による脳機能の評価には最適な二指間の距離があり、これを本実施の形態では所定の目標距離として予め取り込むものである。
　較正の具体的な例としては、図４に示されるように、人差し指１１３（１１５）と端末１００の表面との間の所定の目標距離を長さとする（二指間目標距離に対応する長さを有する）目標長治具４０１を、開いた状態の人差し指１１５と端末１００の表面との間で挟持させ、開いた状態の人差し指１１５をカメラ１０１で撮影するものである。よって、撮影した画像上で人差し指１１５と端末１００の表面との間の目標距離を長さ基準として取り込んでおき、タッピング運動を行なう人差し指１１３を撮影した際には、撮影された人差し指１１３と端末１００の表面との間の距離を、取り込んでおいた長さ基準をもとに較正し、人差し指１１３と端末１００の表面との距離を経時的に高精度で計測することができる。そして、計測した人差し指１１３と端末１００の表面との間の距離に端末１００の厚さを加味し、人差し指１１３と親指１１２との二指間の距離を高精度に経時的に計測することができる。なお、図４では、左手１１１の開いた状態の人差し指１１５の場合を説明したが、右手１２１の開いた状態の人差し指１２５の場合でも同様して較正できることは言うまでもない。
　このようにして、指検出部８００は、目標長治具４０１を用いて指タッピング運動の指開閉の開位置の基準を規定するが、目標長治具４０１は、カメラによる撮影動作を遮蔽で妨げない（指検出部８００による検出を妨げない）レベルの透明性を有する材質で形成される。これにより、目標長治具４０１があっても、カメラ１０１は、目標長治具４０１を透過して人差し指の動きを撮影することができ、特に左手用に設定した目標長治具４０１がカメラ１０１から遠くの右手の人差し指１２３の動き撮影を妨げるようなことを避けることができる。
　また、目標長治具４０１を用いて人差し指１１３と端末１００の表面との間の目標距離を計測する際、開いた状態で目標長治具４０１を押圧している人差し指１１５は、図５に示されるように、目標長治具４０１との接触面５０１で本来あるふくらみが押圧力により凹んだ平坦状態（変形状態）となり、凹み分（変形量分）５０２だけ、人差し指１１５と端末１００の表面との間の距離に誤差が生じることとなる。したがって、本実施の形態では、人差し指１１３が開いた状態にあるときに所定の目標距離５０３を達成するために、目標長治具４０１の長さを、凹み分５０２だけ増やした長さにしておく。これにより、正確に較正用の長さ基準を取り込むことができ、よって、より一層高精度に人差し指と端末表面との間の距離を経時的に計測することができる。すなわち、本実施の形態において、指検出部８００は、ディスプレイの表面とタッピングする指との間で目標長治具４０１を挟持した状態で変形する指の変形量を検出し、その変形量検出値に基づいて位置検出データを較正する。
　更に他の較正の具体的な例としては、図６に示されるように、端末１００が固定の表示画面６０１と開閉する表示画面６０２との２画面を有する場合、開閉する表示画面６０２は開いた状態で、左手１１１の人差し指１１３を、固定の表示画面６０１の上で開いて、開いた状態の人差し指１１５のようにする。そして、開閉する表示画面６０２上の表示内容６０３で示されている「人差し指を開いたときの目標高の位置」という基準を見ながら合わせるように、人差し指１１５を目標高の位置に持っていく。よって、人差し指１１５を端末１００の表面から目標高の距離６０４の位置に合わせて設定することができる。この状態で、カメラ１０１により人差し指１１５を撮影すれば、撮影した画像上で人差し指１１５と端末１００の表面との間の目標距離を長さ基準として取り込んでおくことができる。また、右手１２１の人差し指１２３の場合も同様に、開閉する表示画面６０２上の表示内容６０５で示されている「人差し指を開いたときの目標高の位置」という基準を見ながら、人差し指１２５を目標高の位置に持っていき、人差し指１２５を端末１００の表面から目標高の距離６０６の位置に合わせて設定することができる。この状態で、カメラ１０１により人差し指１２５を撮影すれば、撮影した画像上で人差し指１２５と端末１００の表面との間の目標距離を長さ基準として取り込んでおくことができる。したがって、タッピング運動を行なう人差し指を撮影した際には、撮影された人差し指と端末１００の表面との間の距離を、予め取り込んでおいた長さ基準をもとに較正することができ、その結果、人差し指と端末１００の表面との間の距離を経時的に高精度に計測でき、更に、計測した人差し指と端末１００の表面との間距離に端末１００の厚さを加味して、人差し指と親指との二指間の距離を高精度に経時的に計測することができる。
　次に、図７を用いて、測距センサ１０２によりタッピング運動を行なう人差し指１１３，１２３の位置を捉え、人差し指１１３，１２３と垂下の指タッピング計測処理端末１００の表面との間の各距離を計測する場合について更に詳しく説明する。図７は、測距センサ１０２によってタッピング運動を行なう人差し指１１３，１２３の距離およびその角度を検出するときの状態を示す断面図である。なお、図７において、図１、図２、図３、図４、図５、図６と同一の部分については、図１、図２、図３、図４、図５、図６と同一の符号を付してその説明を省略する。
　図７において、端末１００の一辺（右側の縁部）に配置された測距センサ１０２は、測距センサ１０２の近くにあってタッピング運動を行なっている左手１１１の人差し指１１３までの距離Ｌｌｃとその角度θｌとを検出する。人差し指１１３と端末１００の表面との間の距離Ｌｌａは、検出された距離Ｌｌｃと角度θｌとから、Ｌｌｃ×sinθｌで算出でき、よって、タッピング運動を行なっている人差し指１１３と端末１００の表面との間の距離Ｌｌａを経時的に計測することができる。また、右手１２１の人差し指１２３も同様に、測距センサ１０２は、測距センサ１０２から離れた位置にあってタッピング運動を行なっている右手１２１の人差し指１２３までの距離Ｌｒｃとその角度θｒを検出する。人差し指１２３と端末１００の表面との間の距離Ｌｒａは、検出された距離Ｌｒｃと角度θｒとから、Ｌｒｃ×sinθｒで算出でき、よって、タッピング運動を行なっている人差し指１２３と端末１００の表面との間の距離Ｌｒａを経時的に計測することができる。更に、計測した人差し指と端末１００の表面との距離に端末１００の厚さを加味し、人差し指と親指との二指間の距離を経時的に高精度に計測することができる。また、人指し指１１３，１２３がタッチパネル１０３に接触した位置を検知して、測距センサ１０２による指までの距離の検出と組み合わせることにより、タッチパネル１０３から離れてから、再び戻って接触するまでの時間経過と、その間の人指し指１１３，１２３の動きの軌跡を高精度に計測することが可能となる。このように、本実施の形態において、指検出部８００は、測距センサ１０２で検出された距離および角度に基づいてタッピングする指の位置を検出でき、また、その位置検出情報に基づいて指タッピング運動計測解析処理部９０３が二指間距離を計測できる。
　次に、カメラ１０１および測距センサ１０２を端末１００の対向辺に各一個ずつ設けた（指検出部を端末１００の両側に設けた）場合について図８を参照して説明する。　
　図８は、端末１００の一辺側にカメラ１０１および測距センサ１０２を設け、対向する他の一辺側にもカメラ８０１および測距センサ８０２を設けた、指タッピング計測処理端末１００を示している。なお、図８において、図１、図２、図３、図４、図５、図６、図７と同一の部分については、図１、図２、図３、図４、図５、図６、図７と同一の符号を付してその説明を省略する。
　前述した図１のように、端末１００の一辺側だけにカメラ１０１および測距センサ１０２を設ける場合には、左手１１１がカメラ１０１や測距センサ１０２の近くに位置するため、左手１１１の人差し指１１３と端末１００の表面との間の距離を比較的容易に精度良く計測し易いが、右手１２１はカメラ１０１や測距センサ１０２から遠くに位置するため、右手１２１の人差し指１２３と端末１００の表面との間の距離を比較的容易に精度良く計測することが難しい場合がある。これに対し、図８に示されるように、右手１２１の近くの他の一辺側にもカメラ８０１および測距センサ８０２を新たに追加することにより、右手１２１の近くのカメラ８０１および測距センサ８０２により右手１２１の人差し指１２３と端末１００の表面との間の距離を比較的容易に精度良く計測することができる。すなわち、左手も右手もそれぞれ近くのカメラや測距センサにより人差し指と端末表面との間の距離を精度良く計測でき、相手の人差し指で計測を妨げられるようなこともなく、人差し指と端末表面との間の距離を一層精度良く計測することが可能となる。すなわち、図８によれば、指検出部８００は、端末１００をその両側で保持するユーザの両手のそれぞれのタッピングする指の動きを検出でき、また、指タッピング運動計測解析処理部９０３は、ユーザの両手のそれぞれに関して二指間距離を計測する処理を行なうことができる。
　また、図１および図８では、端末１００の一辺または上下（または左右）の二辺にカメラ１０１および測距センサ１０２を設けた場合の、カメラ１０１および測距センサ１０２のそれぞれの動作について説明したが、カメラ１０１と測距センサ１０２とで同時にタッピング運動中の指の動きを撮影および検出してもよい。これにより、例えば、カメラ１０１や測距センサ１０２から見て、２本の指が重なったりまたは一方の指が見えなくなるという状況に対して、ずれて位置しているカメラ１０１および測距センサ１０２が相互に補完しながら指の動きを計測することができ、左右の指の動いている位置を漏らすことなく的確に計測できるという効果が得られる。勿論、通常の計測時でもカメラ１０１と測距センサ１０２とを併用して精度を高めることは言うまでもない。
　図９には、本実施の形態に係る指タッピング計測処理端末１００の構成のブロック図が示されている。図９において、端末１００は、第１および第２のカメラ１０１，８０１、第１および第２の測距センサ１０２，８０２、第１および第２の感圧センサ２０２，２０３、加速度センサ２０４、ジャイロセンサ９０１、地磁気センサ９０２、指タッピング運動計測解析処理部９０３、制御部９０４、プログラム９１１と情報データ９１６とからなるメモリ部９１０、タッチパネル１０３、表示ユニット部２０１、マイク９３１、スピーカ９３２、振動発生部９３３、通信部９３４、送受信アンテナ９３５を有しており、これらの構成要素は送受信アンテナ９３５を除きそれぞれバス９５０を介して相互に接続されている。この場合、第１および第２のカメラ１０１，８０１、第１および第２の測距センサ１０２，８０２、第１および第２の感圧センサ２０２，２０３、並びに、タッチパネル１０３は、ディスプレイをタッピングする指の動きを検出する指検出部８００を構成する。
　第１のカメラ１０１は、端末１００の上下方向（または左右方向）に沿う一辺側に設置され、第２のカメラ８０１は、端末１００の上下方向（または左右方向）に沿う他の一辺側に設置され、ユーザの指を主体に前方の視界視野状態を撮影する。図１および図３の場合には、第１のカメラ１０１によりタッピング運動を行なっている左手および右手の人差し指１１３，１２３を撮影する。図８の場合には、第１のカメラ１０１によりタッピング運動を行なっている左手の人差し指１１３を撮影し、第２のカメラ８０１によりタッピング運動を行なっている左手の人差し指１２３を撮影して、端末１００内に撮影画像を取り込む。
　第１および第２の測距センサ１０２，８０２は、人や物などの対象物の形状を立体として捉えることができるセンサである。そのようなセンサとしては、赤外線などのレーザ光を対象物に照射し、はね返ってくる散乱光を測定して遠距離にある対象物までの距離やその対象物の状態を分析検出するＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）、被写体に照射したパルス光の反射時間を画素ごとに計測して測距を行なうＴＯＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）センサ、ミリ波の電波を発射しその反射波を捉まえて反射している対象物までの距離や対象物の状態を検出するミリ波レーダーなどを挙げることができる。図１および図７の場合には、第１の測距センサ１０２によりタッピング運動を行なっている左手および右手の人差し指１１３，１２３を捉え、各人差し指１１３，１２３までの距離およびその角度を検出する。図８の場合には、第１の測距センサ１０２によりタッピング運動を行なっている左手の人差し指１１３の距離および角度を検出し、第２の測距センサ８０２によりタッピング運動を行なっている右手の人差し指１２３の距離および角度を検出し、端末１００内に取り込むことができる。
　第１および第２の感圧センサ２０２，２０３は、接触して生じる圧力（接触圧）を検知するセンサである。第１の感圧センサ２０２は、端末１００の表面側でタッチパネル１０３および表示ユニット部２０１の下側に設けられ、開閉する指が端末１００の表面に接触したときの接触圧を検知し、開閉する指が端末表面まで閉じたことを判別できるとともに、開閉する指が閉じて端末表面に当接する際の接触の強さを計測することができる。一方、第２の感圧センサ２０２は、端末１００の裏面に設けられ、該端末裏面に当接される親指からの接触圧を検知し、親指がしっかりと端末１００を保持しているかどうかを判別できるとともに、親指による保持の強さを計測することができる。また、第１の感圧センサ２０２と第２の感圧センサ２０３の圧力を合わせて、指が閉じた時の圧力の強さを求めることができる。
　加速度センサ２０４は、単位時間当たりの速度の変化である加速度を検出するセンサであり、動き・振動・衝撃などを捉えることができる。端末１００内に設けられた加速度センサ２０４により、指が閉じた時の振動の大きさおよび方向を検知することで、指が戻るときの力の強さや指が触れるときの力の強さも測ることができる。また、ジャイロセンサ９０１は、回転方向の角速度を検出するセンサであり、縦・横・斜めの姿勢の状態を捉えることができる。よって、端末１００に搭載されている加速度センサ２０４およびジャイロセンサ９０１を用いて、端末１００の動きを検出することができる。地磁気センサ９０２は、地球の磁力を検出するセンサであり、端末１００の向いている方向を検出するものである。地磁気センサとして、前後方向および左右方向に加えて上下方向の地磁気も検出する３軸タイプを用い、端末１００の動きに対する地磁気変化を捉まえることにより、端末１００の動きを検出することも可能である。これらにより、端末１００の表示画面が見えるような配置状態かを検出判別してもよい。
　指タッピング運動計測解析処理部９０３は、第１および第２のカメラ１０１，８０１で撮影された指の動き情報や第１および第２の測距センサ１０２，８０２で検出された指の動き情報から、タッピング運動を行なっている指の位置を分析し、タッピング運動中の指（例えば人差し指）と静止固定の指（例えば親指）との二指間隔距離を計測する処理を行なう。また、指タッピング運動計測解析処理部９０３は、タッピング運動により時間的に変位している計測された二指間距離情報をもとに、距離、速度、加速度、躍度、タップインターバル、位相差という各項目で指の動きの特徴を示す特徴量を算出解析する処理も行なう。算出解析された特徴量は、ユーザの脳機能評価につながるもので脳の状態を知ることができ、アルツハイマー型、脳血管性、レビー小体型等の認知症や、パーキンソン病、発達性協調運動障害(スキップや縄跳びができない等)等の早期発見に向けた検査を可能にする。また、算出解析された特徴量は、脳の健康状態を示す「ものさし」として手指の巧緻運動機能を定量化して検知認識することを可能にする。特徴量の距離の項目では、指の最大振れ幅や総移動距離などを算出し、指の動きの大きさがどのように変化したかを評価する。特徴量の速度の項目では、最大速度、開く速度、閉じる速度などを算出し、指がどれだけ速く動いたかを評価する。特徴量の加速度の項目では、加速度の最大振幅、開き始める勢い、開き終える勢い、閉じ終える勢い、閉じ始める勢い、指接触時間などを算出し、指の動きの勢いを評価する。特徴量のタップインターバルの項目では、タップ回数、タップ周期などを算出し、タッピングのタイミングとそのばらつきを評価する。特徴量の位相差の項目では、両手ずれ、両手類似度などを算出し、両手間の連携を評価する。
　制御部９０４は、ＣＰＵ等によって構成され、メモリ部９１０に記憶格納されているオペレーティングシステム（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ：ＯＳ）９１２や各種の動作制御用アプリ９１３，９１４などのプログラム９１１を実行することによって、端末１００全体の動作制御処理を行なうとともに、各種のアプリの起動動作を制御している。
　メモリ部９１０は、フラッシュメモリなどで構成され、オペレーティングシステム９１２や、画像、音声、文書、表示、計測等の各種処理の動作制御用アプリ９１３，９１４などのプログラム９１１を記憶している。また、メモリ部９１０は、オペレーティングシステム９１２などによる基本動作に必要なベースデータ９１７や、各種アプリ９１３，９１４などで使用されるファイルデータ９１８，９１９などの情報データ９１６を格納している。例えば、画像処理アプリが起動してカメラで撮影が行なわれ、撮影されたファイルデータを保存格納したりする。なお、指タッピング運動計測解析処理部９０３での処理を一つのアプリＡとして記憶しておき、アプリＡの起動によって指タッピング運動に伴う二指間距離の計測や特徴量の算出解析を処理してもよい。また、演算性能が高く大容量の外部のサーバ装置などで、情報処理端末から計測された二指間距離を受信し、特徴量の算出解析を行ってもよい。
　表示ユニット部２０１は、液晶パネルなどにより構成され、画像や映像の表示とともに、バッテリー容量の残量、各種アラーム、時刻などユーザへの通知情報や、表示画面内に起動するアプリのアイコンなどを表示している。特に本実施の形態では、指タッピング運動計測解析処理部９０３により処理された処理結果を表示できる。
　タッチパネル１０３は、透明性の高い材質で構成され、指で触れた画面上の位置や面積を検出するもので、情報処理端末１００の表面に設けられ、開閉している人差し指が閉じて端末１００の表面にタッチしたことを判別できる。また、表示ユニット部２０１で表示されたアイコン等を見ながらタッチパネル１０３に触れて入力操作を行なうことができる。例えば、タッチパネル１０３は、静電容量式などのタッチパッド方式の入力手段であり、指やタッチペンなどによる接近又は接触操作（タッチ操作）を操作入力として検出でき、ユーザが入力したい情報を設定入力したり、表示画面上にあるアプリやファイルのアイコンをタッチ操作により容易に選択指定することもできるものである。そして、本実施の形態において、指検出部８００は、タッピングする指の接触をこのようなタッチパネル１０３が感知することによりそれを指タッピング運動の指開閉の閉位置として検出できる。
　マイク９３１は、外部からの音声やユーザ自身の発声を集音するものであり、スピーカ９３２は、外部に対し音声を出力しユーザに通知情報や音楽などの音声を知らしめるものである。また、スピーカにて指タップ計測に関する指示を音声でユーザに伝えても良い。
　振動発生部９３３は、制御部９０４からの制御によって振動を発生させるもので、情報処理端末１００で発信されたユーザへの通知情報を振動に変換する。振動発生部９３３は、情報処理端末１００を保持している指などに発生させた振動を与え、ユーザへの通知を確実に伝えることができる。
　通信部９３４は、近距離無線通信、無線ＬＡＮ或いは基地局通信により、別の場所にあるサーバ装置等と無線通信を行なう通信インタフェースであり、無線通信に際しては送受信アンテナ９３５を介して、サーバ装置等と計測データや解析算出した特徴量などの送受信を行なう。なお、近距離無線通信としては、例えば電子タグを用いて行なわれるが、これに限定されず、他の情報端末の近くにある場合に少なくとも無線通信可能であるものであれば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ　Ｄａｔａ　Ａｓｓｏｃｉａｔｉｏｎ、登録商標）、Ｚｉｇｂｅｅ（登録商標）、ＨｏｍｅＲＦ（Ｈｏｍｅ　Ｒａｄｉｏ　Ｆｒｅｑｕｅｎｃｙ、登録商標）、または、Ｗｉ－Ｆｉ（登録商標）などの無線ＬＡＮを用いて行なわれるようにしてもよい。また、基地局通信としては、Ｗ－ＣＤＭＡ（Ｗｉｄｅｂａｎｄ　Ｃｏｄｅ　Ｄｉｖｉｓｉｏｎ　Ｍｕｌｔｉｐｌｅ　Ａｃｃｅｓｓ）やＧＳＭ（登録商標）（Ｇｌｏｂａｌ　Ｓｙｓｔｅｍ　ｆｏｒ　Ｍｏｂｉｌｅ　ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）などの遠距離の無線通信を用いればよい。なお、超広帯域無線システム（Ｕｌｔｒａ　Ｗｉｄｅ　Ｂａｎｄ：ＵＷＢ）を使用して端末間の位置関係や向きを検出することも可能である。図示しないが、通信部９３４は無線通信の手段として光通信音波による通信等、他の方法を使用してもよい。その場合、送受信アンテナ９３５の代わりにそれぞれ光発光／受光部、音波出力／音波入力部を用いる。
　図９に示されるこのような構成要素により、タッピング運動中の指（例えば人差し指）と端末１００の裏面の指（例えば親指）との間の二指間隔距離を計測することが可能となり、更に、計測した二指間隔距離情報から指の動きの特徴を表わす特徴量を算出解析することができる。そして、特別な器具を装着することなく広く普及して安価な情報処理端末を用いて、簡便な形態で使い勝手良く二指間のタッピング運動を計測できる。また、計測された情報をもとに、（例えば指タッピング運動計測解析処理部９０３により、または、端末１００以外の装置により）ユーザの脳機能評価につながる特徴量を解析評価し、アルツハイマー型、脳血管性、レビー小体型等の認知症や、パーキンソン病、発達性協調運動障害(スキップや縄跳びができない等)等の早期発見に向けたユーザ負担の少ない利便性のよい検査を実現できる。更には、認知症等の予兆検知検査だけでなく、解析評価した特徴量をもとにして、脳の健康状態を示す「ものさし」として手指の巧緻運動機能を定量化して検知認識できることから、脳機能改善のトレーニングやリハビリメニューとして利用することが可能である。
　次に、本実施の形態に係る指タッピング計測処理端末１００の動作について図１０を参照しながら更に説明する。　
　図１０は、本実施の形態に係る指タッピング計測処理端末１００末の動作を説明するフローチャートの例である。ここでは、図８の構成を前提としており、したがって、タッピング運動している指の動きをカメラ１０１，８０１で撮影して二指間距離を計測するか或いは測距センサ１０２，８０２で指の位置を検出して二指間距離を計測するかどうかが決定される（Ｓ１００１）。カメラ１０１，８０１でタッピング運動の指の動きを撮影する場合には、タッピング運動を行なう指の撮影の前に、端末１００上で指を所定の目標距離に開いた状態に設定し（Ｓ１００２）、この状態で指をカメラ１０１，１０８で撮影し、撮影した画像から指タッピング運動中の撮影画像の距離基準を取得する。また、ユーザは所定の目標距離に開いた指の設定状態を認識する。よって、ユーザにとってタッピング運動を行なう際に目標距離で開くように意識付けすることが可能となる（Ｓ１００３）。カメラによる事前撮影の後、ユーザは計測のためのタッピング運動に入る（あるいは、コンピュータプログラムによりタッピング動作を促される）（Ｓ１００４）。一方、測距センサ１０２，８０２で指の位置を検出する場合には、検出前に予め、二指間距離計測のために指を所定の目標距離に開いた状態に設定する必要はなく、そのままユーザは計測のためのタッピング運動に入る（Ｓ１００４）。なお、測距センサ１０２、８０２による検出の場合でも、指を所定目標間隔距離に開いた状態に設定することにより、ユーザにとってタッピング運動を行なう際に目標距離で開くように意識付けすることが可能となる。もちろん、測距センサを用いる場合にも、Ｓ１００２，１００３のようなステップで較正しても良い。
　指タッピング運動としては、両手同時に指タッピング運動を行なう両手同時モードと、両手交互に指タッピング運動を行なう両手交互モードとがあり、ユーザは各モードで指タッピング運動を実行する（タッピングステップＳ１００５）。このとき、第１および第２のカメラ１０１，８０１や第１および第２の測距センサ１０２，８０２は、タッピングする指の動きを検出し、また、指タッピング運動計測解析処理部９０３は、第１および第２のカメラ１０１，８０１で撮影された指の動き情報や第１および第２の測距センサ１０２，８０２で検出された指の動き情報から、タッピング運動を行なっている指の位置を分析し、タッピング運動中の指と固定している指との二指間隔距離を計測する（指検出ステップおよび処理ステップＳ１００６）。この指検出ステップおよび処理ステップＳ１００６では、前述したステップＳ１００２，１００３での処理が反映され、また、図１～図９に関連して説明した指検出部８００及び指タッピング運動計測解析処理部９０３の動作／処理が行なわれる。その後、再計測が必要ない場合には（Ｓ１００７）、指タッピング運動計測解析処理部９０３は、タッピング運動により時間的に変位している計測された二指間距離情報をもとに、距離、速度、加速度、タップインターバル、位相差という各項目で指の動きの特徴を示す特徴量を算出解析する（Ｓ１００８）。更に、算出解析した特徴量を表示ユニット部２０１で表やグラフで分かりやすく表示したり、スピーカ９３２から音声で発声したりして、ユーザに通知する（Ｓ１００９）。もう一度計測解析しない場合には処理が終了する（Ｓ１０１０）。なお、再計測が必要な場合にはステップＳ１００４に戻り、もう一度計測解析する場合はステップＳ１００１に戻る。以上の動作により、指タッピング運動中の二指間距離を正確に計測し、計測結果をもとに、ユーザの脳機能評価につながる特徴量を算出解析することができる。
　図１１（ａ）は、両手同時に指タッピング運動を行なう両手同時モードで計測された結果を示す図であり、また、図１１（ｂ）は、両手交互に指タッピング運動を行なう両手交互モードで計測された結果を示す図である。両図とも、左側の縦軸は、タッピング運動中の指（例えば人差し指）と端末表面との間の距離を示しており、右側の縦軸は、タッピング運動中の指（例えば人差し指）と端末裏面に固定された指（例えば親指）との間の二指間距離を示しており、また、上側に左手、下側に右手の人差し指の動きを示している。両手同時モードでは、図１１（ａ）に示されるように、左手の人差し指および右手の人差し指は時間経過とともに同じ方向に動いているが、両手交互モードでは、図１１（ｂ）に示されるように、左手の人差し指および右手の人差し指は時間経過とともに逆方向に、例えば時間１１０１で見れば左人差し指は開き右人差し指は閉じているように動いていることが分かる。なお、カメラ１０１（８０１）で人差し指の動きを撮影して二指間距離を計測する場合には、カメラ１０１（８０１）のフレームレート単位(６０ｆｐｓ等)での測定になるため、図１１で示した波形はそれぞれの観測点の値をつないだサンプリング波形となる。ここで、カメラの画角がディスプレイの表面まで含まれず、ディスプレイへの接触のタイミングが正確に計測できない場合には、タッチパネルに接触したタイミングを基に波形を求めることができる。
　次に、指タッピング計測処理端末１００とヘッドマウント情報処理装置１２０１とからなる指タッピング計測処理システムについて、図１２を参照して説明する。　
　図１２は、指タッピング計測処理端末１００、ヘッドマウント報処理装置１２０１、サーバ装置１２０３により構成される指タッピング計測処理システムの一実施例を示している。
　図１２において、指タッピング計測処理端末１００を使用するユーザの頭部に装着されるとともに現実空間情報や仮想空間情報をユーザに視認可能に表示する表示処理部（表示部）１２３５（後述する図１３参照）を有するヘッドマウント情報処理装置１２０１、および、指タッピング計測処理端末１００は、無線通信や外部ネットワークなどの通信手段を介して各種の情報の送受信を行なう。よって、ヘッドマウント情報処理装置１２０１は、各種の送受信情報として、指タッピング計測処理端末１００の表示画面（ディスプレイ）１２０２に表示される情報やカメラ１０１（８０１）で撮影されタッピング運動中の指の動き情報などを指タッピング計測処理端末１００から受信し、受信した表示画面１２０２上の情報や指の動き情報などを仮想空間情報として表示処理部１２３５に表示できる。これにより、指タッピング運動計測時には、両手の親指および人差し指による端末１００の把持状態に起因して、図１２に示されるように、ユーザから見て、端末１００の表示画面１２０２やタッピング運動中の指を端末１００によって遮られるような状態になって見にくいが、ヘッドマウント情報処理装置１２０１の表示処理部１２３５で表示して明確に目視することが可能となる。また、各種の情報の送受信として、指タッピング計測に関する操作説明や操作の開始・終了などの指示情報を両者間で送受信し、ヘッドマウント情報処理装置１２０１から端末１００に各種の指示を出したり、ヘッドマウント情報処理装置１２０１にて端末１００からの操作説明を表示や音声で確認することができる。なお、指タッピング計測処理端末１００が裏表両面に表示画面を有しているとき、すなわち、裏面にも表示画面がある場合には、ユーザは裏面の表示画面を容易に見ることができ、ヘッドマウント情報処理装置１２０１を使わずに、裏面の表示画面に操作ガイド等を表示してもよい。また、ヘッドマウント情報処理装置１２０１に測距センサやカメラが備わっていて、左右の人差し指と親指の位置がそれぞれ検出できる場合、ヘッドマウント情報処理装置１２０１だけでも指タップ運動の動作を計測することが可能である。
　また、外部に設置されたサーバ装置１２０３と指タッピング計測処理端末１００との間で無線通信を介してデータの送受信を行ない、大容量のサーバ装置１２０３でデータ保存管理を行なってもよく、また、演算性能が高く大容量のサーバ装置１２０３で、指タッピング計測処理端末１００から計測データである二指間距離を受信し、ユーザの脳機能評価につながる特徴量の算出解析を行なってもよい。これにより、各種の特徴量の算出解析を高速高精度で行なうことができ、また、算出解析した大量の特徴量情報を保存管理することが可能となる。
　図１３は、ヘッドマウント情報処理装置１２０１の構成例を示すブロック図である。図１３において、ヘッドマウント情報処理装置１２０１は、カメラ１２１１、右目視線検出部１２１２、左目視線検出部１２１３、加速度センサ１２１４、ジャイロセンサ１２１５、地磁気センサ１２１６、測距センサ１２１７、制御部１２１８、プログラム１２２５と情報データ１２２６からなるメモリ部１２２０、操作入力部１２３４、表示処理部１２３５、外周音マイク１２３６、発声音マイク１２３７、ヘッドフォン１２３８、振動発生部１２３９、通信部１２４０、送受信アンテナ１２４１を有しており、これらの各構成要素は送受信アンテナ１２４１を除きそれぞれバス１２５０を介して相互に接続されている。
　右目視線検出部１２１２および左目視線検出部１２１３はそれぞれ、右目および左目の視線を検出する。なお、視線を検出する処理は、アイトラッキング処理として一般的に用いられている周知技術を利用すればよく、例えば、角膜反射を利用した方法では、赤外線ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）を顔に照射して赤外線カメラで撮影し、赤外線ＬＥＤ照射でできた反射光の角膜上の位置（角膜反射）を基準点とし、角膜反射の位置に対する瞳孔の位置に基づいて視線を検出する技術が知られている。
　操作入力部１２３４は、例えばキーボードやキーボタン、タッチキー等による入力手段であり、ユーザが入力したい情報を設定入力するものである。操作入力部１２３４は、ヘッドマウント情報処理装置１２０１内でユーザが入力操作を行ない易い位置や形態に設ければよく、或いは、ヘッドマウント情報処理装置１２０１の本体から分離して有線や無線で接続された形態でもよい。また、表示処理部１２３５の表示画面内に入力操作画面を表示させ、右目視線検出部１２１２および左目視線検出部１２１３により検出した視線が向いている入力操作画面上の位置により入力操作情報を取り込んでもよく、また、ポインタを入力操作画面上に表示させて操作入力部１２３４によりポインタを操作して入力操作情報を取り込んでもよい。また、ユーザが入力操作を示す音声を発声し、発声音マイク１２３７で集音して入力操作情報を取り込んでもよい。
　表示処理部１２３５は、光学透過型のヘッドマウント情報処理装置の場合には、例えば、起動アプリによる再生情報やユーザへの通知情報などの各種の情報を投影する投影部と、投影された各種の情報を目の前で結像表示させる透明なハーフミラーとからなっている。また、ビデオ透過型のヘッドマウント情報処理装置の場合には、カメラ１２１１で撮影された目の前の現実空間物体と各種の情報とを合わせて表示する液晶パネル等のディスプレイから構成される。これにより、ユーザは、目の前の視界視野内の画像に加え、他からの画像情報を合わせて視認視聴するものである。
　外周音マイク１２３６および発声音マイク１２３７はそれぞれ、外部からの音声やユーザ自身の発声を集音するものである。ヘッドフォン１２３８はユーザの耳部に装着されてユーザへの音声を聞き取るものであり、ユーザへの通知情報を音声で知らしめることができる。
　以上のような図１３の構成要素によれば、指タッピング計測処理端末１００からヘッドマウント情報処理装置１２０１への無線送受信により、ヘッドマウント情報処理装置１２０１で指タッピング計測処理端末１００の表示画面１２０２上の情報を表示処理部１２３５にて仮想空間情報として表示し、指タッピング計測の操作説明等の情報を明確に視認することができる。また、指タッピング計測に関する操作開始や終了などの指示情報も両者間で送受信でき、ヘッドマウント情報処理装置１２０１から各種の指示を出すこともできる。
　なお、本発明は、上記した実施形態に限定されるものではなく、様々な変形例を含むことができる。例えば、上記した実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウエアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
　また、前述した実施の形態では、両手の２つの指で端末を保持する形態について説明したが、端末をユーザの膝の上に置いて使用すれば、両手を使用して、親指で端末を保持することなく容易に計測を行なうこともできる。
　１００　指タッピング計測処理端末
　１０１，８０１，１２１１　カメラ
　１０２，８０２，１２１７　測距センサ
　１０３　タッチパネル
　１０３Ａ　ディスプレイ
　１１１　左手
　１１２，１２２　親指
　１１３，１２３　人差し指
　２０１：表示ユニット部
　２０２，２０３　感圧センサ
　２０５　固定治具
　４０１　目標長治具
　８００　指検出部
　９０３　指タッピング運動計測解析処理部（処理部）
　９３４，１２４０　通信部
　１２０１　ヘッドマウント情報処理装置
　１２０３　サーバ装置

Claims (34)

  1. 　指タッピング運動を計測してその計測結果を処理する指タッピング計測処理端末であって、
    　前記端末の一方の面に設けられ、指タッピング運動に関連する情報を表示可能であるとともに、前記端末を保持するユーザの同じ手の２本の指の一方によりタッピングされるタッチパネルと、
    　前記タッチパネルをタッピングする前記一方の指の動きを検出する指検出部と、
    　前記指検出部で得られた検出情報に基づき、前記タッチパネルと反対側に位置される前記端末の他方の面を保持する前記２本の指の他方と、前記タッチパネルをタッピングする前記一方の指との間の指タッピング運動時の二指間距離を計測する処理を行なう処理部と、
    　を有することを特徴とする指タッピング計測処理端末。
  2. 　前記指検出部は、前記端末をその両側で保持するユーザの両手のそれぞれのタッピングする前記一方の指の動きを検出し、前記処理部は、ユーザの両手のそれぞれに関して前記二指間距離を計測する処理を行なうことを特徴とする請求項１に記載の指タッピング計測処理端末。
  3. 　前記指検出部が前記端末の前記両側にそれぞれ設けられることを特徴とする請求項２に記載の指タッピング計測処理端末。
  4. 　前記指検出部は、タッピングする前記一方の指を撮影するカメラを有するとともに、前記カメラで撮影された画像から前記一方の指の位置を検出し、その位置検出データに基づいて前記処理部が前記二指間距離を計測することを特徴とする請求項１から３のいずれか一項に記載の指タッピング計測処理端末。
  5. 　前記指検出部は、前記カメラで撮影された画像から、指タッピング運動の指開閉の開位置の基準となる二指間目標距離を基準値として取得するとともに、この基準値に基づいて前記位置検出データを較正することを特徴とする請求項４に記載の指タッピング計測処理端末。
  6. 　前記指検出部は、前記二指間目標距離に対応する長さを有する目標長治具を用いて指タッピング運動の指開閉の開位置の基準を規定することを特徴とする請求項５に記載の指タッピング計測処理端末。
  7. 　前記目標長治具は、前記指検出部による検出を妨げない透明性を有することを特徴とする請求項６に記載の指タッピング計測処理端末。
  8. 　前記指検出部は、前記タッチパネルの表面とタッピングする前記一方の指との間で前記目標長治具を挟持した状態で変形する前記一方の指の変形量を検出し、その変形量検出値に基づいて前記位置検出データを較正することを特徴とする請求項６または７に記載の指タッピング計測処理端末。
  9. 　前記指検出部は、タッピングする前記一方の指までの距離およびその角度を検出する測距センサを有するとともに、前記測距センサで検出された前記距離および前記角度に基づいて前記一方の指の位置を検出し、その位置検出情報に基づいて前記処理部が前記二指間距離を計測することを特徴とする請求項１から８のいずれか一項に記載の指タッピング計測処理端末。
  10. 　前記タッチパネルは、その表面に情報表示が可能なタッチパネルディスプレイであり、
    　前記指検出部は、タッピングする前記一方の指の接触を前記タッチパネルが感知することによりそれを指タッピング運動の指開閉の閉位置として検出することを特徴とする請求項１から９のいずれか一項に記載の指タッピング計測処理端末。
  11. 　前記端末の前記他方の面に対して前記他方の指を接触させた状態で固定するための固定部を更に有することを特徴とする請求項１から１０のいずれか一項に記載の指タッピング計測処理端末。
  12. 　前記タッチパネルは、タッピングする前記一方の指が前記タッチパネルの表面に接触する際の接触圧を感知する感圧センサを有することを特徴とする請求項１から１１のいずれか一項に記載の指タッピング計測処理端末。
  13. 　前記処理部は、計測された前記二指間距離に基づいてユーザの脳機能評価につながる特徴量を算出解析する処理を行なうことを特徴とする請求項１から１２のいずれか一項に記載の指タッピング計測処理端末。
  14. 　前記タッチパネルは、前記処理部により処理された処理結果を表示することを特徴とする請求項１から１３のいずれか一項に記載の指タッピング計測処理端末。
  15. 　指タッピング運動を計測してその計測結果を処理する指タッピング計測処理端末と、前記指タッピング計測処理端末を使用するユーザの頭部に装着されるとともに現実空間情報や仮想空間情報をユーザに視認可能に表示する表示部を有するヘッドマウント情報処理装置とを有し、前記指タッピング計測処理端末と前記ヘッドマウント情報処理装置とが通信手段を介して互いに通信可能な指タッピング計測処理システムであって、
    　前記指タッピング計測処理端末は、該端末の一方の面に設けられ、指タッピング運動に関連する情報を表示可能であるとともに、前記端末を保持するユーザの同じ手の２本の指の一方によりタッピングされるタッチパネルと、該タッチパネルをタッピングする前記一方の指の動きを検出する指検出部と、前記指検出部で得られた検出情報に基づき、前記タッチパネルと反対側に位置される前記端末の他方の面を保持する前記２本の指の他方と、前記タッチパネルをタッピングする前記一方の指との間の指タッピング運動時の二指間距離を計測する処理を行なう処理部とを有し、
    　前記ヘッドマウント情報処理装置は、前記指タッピング計測処理の情報を前記通信手段を介して受信し、受信した情報を前記表示部に表示する、
    　ことを特徴とする指タッピング計測処理システム。
  16. 　前記ヘッドマウント情報処理装置は、前記通信手段を介して、指タッピング運動の計測に関する操作説明を前記指タッピング計測処理端末から受信するとともに、操作の開始および終了を含む指示情報を前記指タッピング計測処理端末に送信することを特徴とする請求項１５に記載の指タッピング計測処理システム。
  17. 　前記指タッピング計測処理端末の前記処理部は、計測された前記二指間距離に基づいてユーザの脳機能評価につながる特徴量を算出解析する処理を行なうことを特徴とする請求項１５または１６に記載の指タッピング計測処理システム。
  18. 　前記通信手段を介して前記指タッピング計測処理端末の前記処理部から前記二指間距離の計測結果を受信可能なサーバ装置を更に有し、
    　前記サーバ装置は、受信した前記二指間距離の計測結果に基づいてユーザの脳機能評価につながる特徴量を算出解析する処理を行なう演算処理部と、該演算処理部の処理結果を記憶する記憶部とを有し、前記記憶部に記憶されるデータを前記通信手段を介して前記指タッピング計測処理端末および前記ヘッドマウント情報処理装置に通信可能であることを特徴とする請求項１５に記載の指タッピング計測処理システム。
  19. 　指タッピング運動を計測してその計測結果を処理する指タッピング計測処理方法であって、
    　端末の一方の面に設けられて指タッピング運動に関連する情報を表示可能なタッチパネルを、前記端末を保持するユーザの同じ手の２本の指の一方によりタッピングするタッピングステップと、
    　前記タッチパネルをタッピングする前記一方の指の動きを検出する指検出ステップと、
    　前記指検出ステップで得られた検出情報に基づき、前記タッチパネルと反対側に位置される前記端末の他方の面を保持する前記２本の指の他方と、前記タッチパネルをタッピングする前記一方の指との間の指タッピング運動時の二指間距離を計測する処理を行なう処理ステップと、
    　を含むことを特徴とする指タッピング計測処理方法。
  20. 　前記指検出ステップは、前記端末をその両側で保持するユーザの両手のそれぞれのタッピングする前記一方の指の動きを検出し、前記処理ステップは、ユーザの両手のそれぞれに関して前記二指間距離を計測する処理を行なうことを特徴とする請求項１９に記載の指タッピング計測処理方法。
  21. 　前記指検出ステップは、タッピングする前記一方の指を撮影するカメラの画像から前記一方の指の位置を検出し、その位置検出データに基づいて前記処理ステップが前記二指間距離を計測することを特徴とする請求項１９または２０に記載の指タッピング計測処理ステップ。
  22. 　前記指検出ステップは、前記カメラで撮影された画像から、指タッピング運動の指開閉の開位置の基準となる二指間目標距離を基準値として取得するとともに、この基準値に基づいて前記位置検出データを較正することを特徴とする請求項２１に記載の指タッピング計測処理方法。
  23. 　前記指検出ステップは、タッピングする前記一方の指までの距離およびその角度を検出する測距センサからの検出データに基づいて前記一方の指の位置を検出し、その位置検出情報に基づいて前記処理ステップが前記二指間距離を計測することを特徴とする請求項１９から２２のいずれか一項に記載の指タッピング計測処理方法。
  24. 　前記タッチパネルは、その表面に情報を表示するタッチパネルディスプレイであり、
    　前記指検出ステップは、タッピングする前記一方の指の接触を前記タッチパネルが感知することによりそれを指タッピング運動の指開閉の閉位置として検出することを特徴とする請求項１９から２３のいずれか一項に記載の指タッピング計測処理方法。
  25. 　前記処理ステップは、計測された前記二指間距離に基づいてユーザの脳機能評価につながる特徴量を算出解析する処理を行なうことを特徴とする請求項１９から２４のいずれか一項に記載の指タッピング計測処理方法。
  26. 　前記タッチパネルは、前記処理ステップにより処理された処理結果を表示することを特徴とする請求項１９から２５のいずれか一項に記載の指タッピング計測処理方法。
  27. 　タッチパネルを一方の面に有する端末を用いて指タッピング運動を計測できるようにするとともにその計測結果をディスプレイ上で表示可能にするコンピュータプログラムであって、
    　前記端末を使用するユーザに、前記端末を保持する同じ手の２本の指の一方により、前記タッチパネルをタッピングさせるタッピングステップと、
    　前記タッチパネルをタッピングする前記一方の指の動きを検出する指検出ステップと、
    　前記指検出ステップで得られた検出情報に基づき、前記タッチパネルと反対側に位置される前記端末の他方の面を保持する前記２本の指の他方と、前記タッチパネルをタッピングする前記一方の指との間の指タッピング運動時の二指間距離を計測する処理を行なう処理ステップと、
    　をコンピュータに実行させることを特徴とするコンピュータプログラム。
  28. 　前記指検出ステップは、前記端末をその両側で保持するユーザの両手のそれぞれのタッピングする前記一方の指の動きを検出し、前記処理ステップは、ユーザの両手のそれぞれに関して前記二指間距離を計測する処理を行なうことを特徴とする請求項２７に記載のコンピュータプログラム。
  29. 　前記指検出ステップは、タッピングする前記一方の指を撮影するカメラの画像から前記一方の指の位置を検出し、その位置検出データに基づいて前記処理ステップが前記二指間距離を計測することを特徴とする請求項２７または２８に記載のコンピュータプログラム。
  30. 　前記指検出ステップは、前記カメラで撮影された画像から、指タッピング運動の指開閉の開位置の基準となる二指間目標距離を基準値として取得するとともに、この基準値に基づいて前記位置検出データを較正することを特徴とする請求項２９に記載のコンピュータプログラム。
  31. 　前記指検出ステップは、タッピングする前記一方の指までの距離およびその角度を検出する測距センサからの検出データに基づいて前記一方の指の位置を検出し、その位置検出情報に基づいて前記処理ステップが前記二指間距離を計測することを特徴とする請求項２７から３０のいずれか一項に記載のコンピュータプログラム。
  32. 　前記タッチパネルは、その表面に情報を表示するタッチパネルディスプレイであり、
    　前記指検出ステップは、タッピングする前記一方の指の接触を前記タッチパネルが感知することによりそれを指タッピング運動の指開閉の閉位置として検出することを特徴とする請求項２７から３１のいずれか一項に記載のコンピュータプログラム。
  33. 　前記処理ステップは、計測された前記二指間距離に基づいてユーザの脳機能評価につながる特徴量を算出解析する処理を行なうことを特徴とする請求項２７から３２のいずれか一項に記載のコンピュータプログラム。
  34. 　前記処理ステップにより処理された処理結果を前記ディスプレイに表示させることを特徴とする請求項２７から３３のいずれか一項に記載のコンピュータプログラム。
PCT/JP2022/000928 2021-01-26 2022-01-13 指タッピング計測処理端末、システム、方法およびコンピュータプログラム Ceased WO2022163364A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280011739.5A CN116806131A (zh) 2021-01-26 2022-01-13 手指敲击测量处理终端、系统、方法和计算机程序
US18/262,079 US12204720B2 (en) 2021-01-26 2022-01-13 Finger tapping measurement processing terminal, system, method, and computer program
US18/987,082 US12481399B2 (en) 2021-01-26 2024-12-19 Finger tapping measurement processing terminal, system, method, and computer program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-010265 2021-01-26
JP2021010265A JP7618452B2 (ja) 2021-01-26 2021-01-26 指タッピング計測処理端末、システム、方法およびコンピュータプログラム

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US18/262,079 A-371-Of-International US12204720B2 (en) 2021-01-26 2022-01-13 Finger tapping measurement processing terminal, system, method, and computer program
US18/987,082 Continuation US12481399B2 (en) 2021-01-26 2024-12-19 Finger tapping measurement processing terminal, system, method, and computer program

Publications (1)

Publication Number Publication Date
WO2022163364A1 true WO2022163364A1 (ja) 2022-08-04

Family

ID=82653339

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/000928 Ceased WO2022163364A1 (ja) 2021-01-26 2022-01-13 指タッピング計測処理端末、システム、方法およびコンピュータプログラム

Country Status (4)

Country Link
US (2) US12204720B2 (ja)
JP (1) JP7618452B2 (ja)
CN (1) CN116806131A (ja)
WO (1) WO2022163364A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3142819A1 (fr) 2022-12-02 2024-06-07 Faurecia Interieur Industrie Dispositif électronique et procédé d’estimation d’une pression exercée par un doigt d’un utilisateur sur une surface tactile, pavé tactile, écran tactile, véhicule et programme d’ordinateur associés

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010099263A (ja) * 2008-10-23 2010-05-06 Hitachi Computer Peripherals Co Ltd 指タップ力の推定方法
JP2016058061A (ja) * 2014-09-08 2016-04-21 井上　文彦 電子機器
WO2017212719A1 (ja) * 2016-06-06 2017-12-14 マクセル株式会社 手指運動練習メニュー生成システム、方法、及びプログラム
WO2018062173A1 (ja) * 2016-09-29 2018-04-05 マクセル株式会社 タスク実行順序決定システムおよびタスク実行方法
JP2018186961A (ja) * 2017-04-28 2018-11-29 株式会社コロプラ ゲームプログラム、方法、および、情報処理装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US20120113028A1 (en) * 2010-06-28 2012-05-10 Cleankeys Inc. Method for detecting and locating keypress-events on touch- and vibration-sensitive flat surfaces
JP5330933B2 (ja) * 2009-08-27 2013-10-30 日立コンシューマエレクトロニクス株式会社 運動機能評価システム、運動機能評価方法およびプログラム
US8384683B2 (en) * 2010-04-23 2013-02-26 Tong Luo Method for user input from the back panel of a handheld computerized device
JP5558902B2 (ja) * 2010-04-28 2014-07-23 日立コンシューマエレクトロニクス株式会社 運動機能解析装置
JP5816834B2 (ja) * 2011-03-22 2015-11-18 パナソニックＩｐマネジメント株式会社 入力装置、および入力方法
US9658767B2 (en) * 2011-10-17 2017-05-23 Sony Corporation Information processing device
JP2013117885A (ja) * 2011-12-02 2013-06-13 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム及び情報処理方法
JP6271858B2 (ja) * 2012-07-04 2018-01-31 キヤノン株式会社 表示装置及びその制御方法
JP5939303B2 (ja) * 2012-08-30 2016-06-22 富士通株式会社 表示装置，プログラム
JP5370600B1 (ja) * 2013-02-01 2013-12-18 禪 定井 携帯電子端末保持具
DE102013007250A1 (de) * 2013-04-26 2014-10-30 Inodyn Newmedia Gmbh Verfahren zur Gestensteuerung
JP5780438B2 (ja) * 2013-05-21 2015-09-16 カシオ計算機株式会社 電子機器、位置指定方法及びプログラム
US20150196232A1 (en) * 2014-01-15 2015-07-16 Apptromics LLC System and method for testing motor and cognitive performance of a human subject with a mobile device
US9367169B2 (en) * 2014-03-31 2016-06-14 Stmicroelectronics Asia Pacific Pte Ltd Method, circuit, and system for hover and gesture detection with a touch screen
JP6194294B2 (ja) 2014-08-28 2017-09-06 日立マクセル株式会社 運動機能評価システム、および、運動機能測定装置
US10015402B2 (en) 2014-09-08 2018-07-03 Nintendo Co., Ltd. Electronic apparatus
US9671828B2 (en) * 2014-09-19 2017-06-06 Lg Electronics Inc. Mobile terminal with dual touch sensors located on different sides of terminal body and method of controlling the same
KR20160076857A (ko) * 2014-12-23 2016-07-01 엘지전자 주식회사 이동 단말기 및 그의 컨텐츠 제어방법
CN106502324B (zh) * 2016-10-21 2019-09-10 昆山龙腾光电有限公司 移动智能终端
CN111274998B (zh) * 2020-02-17 2023-04-28 上海交通大学 帕金森病手指敲击动作识别方法及系统、存储介质及终端
US20240062875A1 (en) * 2020-12-17 2024-02-22 Maxell, Ltd. Head mounted display and blood sugar level management method employed in same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010099263A (ja) * 2008-10-23 2010-05-06 Hitachi Computer Peripherals Co Ltd 指タップ力の推定方法
JP2016058061A (ja) * 2014-09-08 2016-04-21 井上　文彦 電子機器
WO2017212719A1 (ja) * 2016-06-06 2017-12-14 マクセル株式会社 手指運動練習メニュー生成システム、方法、及びプログラム
WO2018062173A1 (ja) * 2016-09-29 2018-04-05 マクセル株式会社 タスク実行順序決定システムおよびタスク実行方法
JP2018186961A (ja) * 2017-04-28 2018-11-29 株式会社コロプラ ゲームプログラム、方法、および、情報処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3142819A1 (fr) 2022-12-02 2024-06-07 Faurecia Interieur Industrie Dispositif électronique et procédé d’estimation d’une pression exercée par un doigt d’un utilisateur sur une surface tactile, pavé tactile, écran tactile, véhicule et programme d’ordinateur associés

Also Published As

Publication number Publication date
JP2022114116A (ja) 2022-08-05
JP7618452B2 (ja) 2025-01-21
US12204720B2 (en) 2025-01-21
US12481399B2 (en) 2025-11-25
US20250190073A1 (en) 2025-06-12
CN116806131A (zh) 2023-09-26
US20240111380A1 (en) 2024-04-04

Similar Documents

Publication Publication Date Title
CN105824431B (zh) 信息输入装置与方法
US9613262B2 (en) Object detection and tracking for providing a virtual device experience
US8421634B2 (en) Sensing mechanical energy to appropriate the body for data input
CN104254816B (zh) 数据输入装置
Kim et al. The gesture watch: A wireless contact-free gesture based wrist interface
US11017257B2 (en) Information processing device, information processing method, and program
WO2021073743A1 (en) Determining user input based on hand gestures and eye tracking
RU2601152C2 (ru) Устройство, способ и компьютерная программа для обеспечения предоставления информации пользователю
US12067157B2 (en) Drift cancelation for portable object detection and tracking
US12481399B2 (en) Finger tapping measurement processing terminal, system, method, and computer program
JP7610720B2 (ja) 手指の動きを計測処理する計測処理端末、方法およびコンピュータプログラム
CN111796990A (zh) 资源显示方法、装置、终端及存储介质
US20160202788A1 (en) Multi-on-body action detection based on ultrasound
WO2024049463A1 (en) Virtual keyboard
JP7727084B2 (ja) 情報処理装置および情報処理システム
WO2017051721A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20180239487A1 (en) Information processing device, information processing method, and program
WO2025033165A1 (ja) 情報処理装置、入力装置、情報処理システム、及び、情報処理方法
WO2023095321A1 (ja) 情報処理装置、情報処理システム、及び情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22745589

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18262079

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202280011739.5

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22745589

Country of ref document: EP

Kind code of ref document: A1