[go: up one dir, main page]

WO2024029400A1 - 触力覚提示装置の振動体の制御装置、及び触力覚提示装置 - Google Patents

触力覚提示装置の振動体の制御装置、及び触力覚提示装置 Download PDF

Info

Publication number
WO2024029400A1
WO2024029400A1 PCT/JP2023/027175 JP2023027175W WO2024029400A1 WO 2024029400 A1 WO2024029400 A1 WO 2024029400A1 JP 2023027175 W JP2023027175 W JP 2023027175W WO 2024029400 A1 WO2024029400 A1 WO 2024029400A1
Authority
WO
WIPO (PCT)
Prior art keywords
mode
physical
user
variables
cpu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/027175
Other languages
English (en)
French (fr)
Inventor
則雄 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Murata Manufacturing Co Ltd
Original Assignee
Murata Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Murata Manufacturing Co Ltd filed Critical Murata Manufacturing Co Ltd
Priority to JP2024538951A priority Critical patent/JP7782701B2/ja
Publication of WO2024029400A1 publication Critical patent/WO2024029400A1/ja
Priority to US19/042,763 priority patent/US20250181039A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H1/00—Apparatus for passive exercising; Vibrating apparatus; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39241—Force and vibration control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40619—Haptic, combination of tactile and proprioceptive sensing

Definitions

  • the present invention relates to a control device for a vibrating body of a tactile sensation presentation device, and a tactile sensation presentation device.
  • the tactile sensation presentation device described in Patent Document 1 includes a housing, a vibrating body, and a control device.
  • the vibrating body is located inside the housing.
  • the housing is used by being held in the user's hand, for example.
  • the control device controls the vibration pattern of the vibrating body to a specific pattern. Thereby, the tactile sensation presentation device presents various tactile sensations to the user who is touching the housing.
  • a possible situation in which a tactile sensation presentation device as described in Patent Document 1 is used is, for example, a situation in which the tactile sensation presentation device is used as an auxiliary device when performing rehabilitation to improve a user's motor function. .
  • the tactile sensation presentation device is used as an auxiliary device when performing rehabilitation to improve a user's motor function.
  • one aspect of the present disclosure includes a storage device and an execution device, and controls a vibrating body of a tactile sensation presentation device, and the storage device has multiple vibration modes for rehabilitation.
  • model data that defines a learning model that outputs vibration mode data indicating the type of the vibration mode of the tactile force sensation output by the tactile force sensation presentation device by inputting physical variables indicating the physical state of the user;
  • the model data is learned data by machine learning, and the execution device performs an acquisition process of acquiring a plurality of body variables of the user, and a plurality of body variables acquired in the acquisition process.
  • the present invention is a control device for a vibrating body of a tactile sensation presentation device that performs driving processing for driving.
  • one aspect of the present disclosure includes a vibrating body, a control device that has a storage device and an execution device, and controls the vibrating body, and the storage device vibration mode data indicating a plurality of vibration modes for the tactile sense, and model data defining a learning model that receives a physical variable indicating the physical condition of the user and outputs a mode variable indicating the type of the vibration mode of the tactile sense.
  • the model data is learned data by machine learning, and the execution device performs an acquisition process of acquiring the plurality of body variables of the user, and a plurality of body variables acquired in the acquisition process.
  • a mode selection process that selects a specific mode that is a specific mode from among the plurality of vibration modes based on the mode variable that is input; and a drive that drives the vibrating body in the specific mode selected in the mode selection process.
  • This is a tactile sensation presentation device that performs processing.
  • FIG. 1 is a schematic diagram showing a tactile sensation presentation device.
  • FIG. 2 is a schematic diagram showing a learning model.
  • FIG. 3 is a flowchart showing a series of processing by the control program.
  • FIG. 4 is a schematic diagram showing the learning system.
  • FIG. 5 is a flowchart showing a series of processing by the learning program.
  • the tactile sensation presentation device 10 includes a vibrating body 20, an input/output device 30, and a control device 40.
  • the vibrating body 20 is housed inside the casing of the tactile sensation presentation device 10. Further, the vibrating body 20 includes a voice coil motor, a weight corresponding to each voice coil motor, and a cubic case that accommodates these. The force generated when current flows through the coil of the voice coil motor causes the weight to vibrate. When the weight vibrates, the case vibrates due to the vibration of the weight. Therefore, the vibrating body 20 vibrates in the direction along the axis perpendicular to the surface of the case by controlling the current flowing through the coil of the voice coil motor. More specifically, the vibrating body 20 is a vibrating body as described in, for example, Japanese Unexamined Patent Publication No. 2005-190465.
  • the input/output device 30 is a device for the user to input body variables BV.
  • the input/output device 30 is configured by, for example, a touch display. Therefore, the input/output device 30 can also provide information to the user through images.
  • the input/output device 30 is operated by a user. A plurality of body variables BV indicating body information are input to the input/output device 30 by a user's operation.
  • two or more of the plurality of physical variables BV are variables that indicate the presence or absence of each physical disability among predetermined physical disabilities.
  • n of the physical variables BV are variables that indicate the presence or absence of each physical disability. If the person has the first type of physical disability, the physical variable BV is input as 1. Similarly, if the person has the second type of physical disability, the physical variable BV is input as 1. On the other hand, if the person does not have the relevant type of physical disability, the physical variable BV is input as 0.
  • Two or more of the plurality of physical variables BV are variables indicating predetermined degrees of each physical disability. For example, when there are n predetermined types of physical disabilities, n of the physical variables BV are variables indicating the degree of each physical disability. For example, the greater the degree of the relevant type of physical disability, the closer the physical variable BV is to 1, and the lower the degree of the relevant type of physical disability, the closer the physical variable BV is to 0. In addition, in this embodiment, when a person does not have a corresponding type of physical disability, the physical variable BV is 0.
  • One of the plurality of physical variables BV is a variable indicating the user's age. Furthermore, one of the plurality of physical variables BV is a variable indicating a location to be rehabilitated. Furthermore, one of the plurality of body variables BV is a variable indicating the user's height. One of the plurality of body variables BV is a variable indicating the user's weight.
  • the control device 40 controls the vibrating body 20.
  • the control device 40 controls the vibration pattern of the vibrating body 20 to a specific vibration pattern according to the tactile sensation desired to be presented.
  • the vibration pattern is, for example, a vibration pattern represented by a nonlinear waveform.
  • the tactile sensation presentation device 10 presents the user with a tactile sensation or a force sensation.
  • the tactile force sensation includes an illusionary tactile force sensation.
  • Illusionary tactile force sensations include illusionary tactile sensation and illusionary force sensation.
  • the tactile illusion is an illusion in which the user's brain feels as if he or she is touching an uneven surface when the vibration of the vibrating body 20 is presented to the user.
  • the illusion of force is an illusion in which the user's brain feels as if it is being given a force when the vibration of the vibrating body 20 is presented to the user.
  • the control device 40 includes a CPU 41 as an execution device, a peripheral circuit 42, a ROM 43, a storage device 44, and a bus 45.
  • the bus 45 connects the CPU 41, the peripheral circuit 42, the ROM 43, and the storage device 44 so that they can communicate with each other.
  • the peripheral circuit 42 includes a circuit that generates a clock signal that defines internal operations, a power supply circuit, a reset circuit, and the like.
  • the ROM 43 stores in advance various programs for the CPU 41 to execute various controls. In particular, the ROM 43 stores a control program P1 that performs control based on a learning model LM, which will be described later.
  • the CPU 41 controls the vibrating body 20 by executing various programs stored in the ROM 43.
  • the storage device 44 stores vibration mode data VMD indicating a plurality of vibration modes VM for rehabilitation.
  • Vibration mode VM is a mode for presenting a tactile sensation according to the type of rehabilitation or a combination thereof.
  • the storage device 44 stores data indicating the vibration pattern of the vibrating body 20 for realizing each vibration mode VM.
  • the data stored in the storage device 44 determines the tactile sensation presented by the tactile sensation presentation device 10.
  • the storage device 44 stores model data MD that is data that defines the learning model LM.
  • the learning model LM includes, for example, a neural network NN and a softmax function SF that normalizes the output of the neural network NN.
  • the neural network NN has an input layer IL, a middle layer ML, and an output layer OL.
  • the input layer IL has multiple nodes. The number of nodes is equal to the number of variables of the plurality of body variables BV indicating the user's physical condition.
  • the neural network NN has an activation function in the middle layer ML. The activation function is, for example, a hyperbolic tangent.
  • the output layer OL outputs the matching probability of each vibration mode VM.
  • the softmax function SF is a function for setting the sum of the matching probabilities of each vibration mode VM output to the output layer OL to "1". Therefore, the fitness probability of each vibration mode VM output to the output layer OL is normalized by the softmax function SF and output from the learning model LM.
  • the learning model LM configured in this way, multidimensional input variables are input to the input layer IL, and the sum of values multiplied by weights corresponding to each transmission path is input to the activation function. The output value of the activation function is then input to the next layer. By repeating such calculations, the conformity probability of each vibration mode VM is outputted from the output layer OL. Then, the conformity probability of each vibration mode VM is normalized by the softmax function SF and finally output. Note that in FIG. 2, transmission paths connecting nodes in adjacent layers are omitted.
  • the model data MD is data indicating the learning model LM. Therefore, the model data MD includes data regarding weights corresponding to each transmission path that have been updated through learning.
  • the CPU 41 executes a series of processes for controlling the vibrating body 20 by executing the control program P1 stored in the ROM 43. Thereby, the CPU 41 performs an acquisition process of acquiring a plurality of body variables BV of the user, a mode selection process of selecting a specific mode SM which is a specific mode from a plurality of vibration modes VM, and a vibrating body in the specific mode SM. 20 is executed.
  • the CPU 41 executes the control program P1 stored in the ROM 43 when the tactile sensation presentation device 10 is turned on.
  • the power of the tactile sensation presentation device 10 is turned on by operating the input/output device 30, for example, when the power of the tactile sensation presentation device 10 is in the OFF state.
  • the control program P1 is a program that causes the CPU 41 to execute an acquisition process, a mode selection process, and a drive process.
  • step S11 the CPU 41 performs request processing. Specifically, in the request processing, the CPU 41 outputs image data to the input/output device 30 so that the user can select the body variable BV indicating the body information of the requesting user. That is, the input/output device 30 displays icons indicating input fields for each physical variable BV on the touch display.
  • the CPU 41 outputs, for a plurality of predetermined physical disabilities, the name of each physical disability and the option of presence or absence corresponding to the name of each physical disability.
  • the user's input result here is treated as a physical variable BV indicating the presence or absence of a physical disability of the user.
  • the CPU 41 outputs an input field for information indicating the degree of disability corresponding to the name of each physical disability, and options for information to be input into the input field. Examples of options are three levels: strong, medium, and weak. Note that if "none" is selected from among the options indicating the presence or absence of a physical disability, the CPU 41 does not output the input field and options for information indicating the degree of disability.
  • the user's input result here is treated as a physical variable BV indicating the degree of the user's physical disability.
  • the physical disability is "none” it is assumed that 0 has been input as the physical variable BV indicating the degree of the user's physical disability.
  • the CPU 41 outputs an input field for inputting the user's age and options to be input into the input field. Examples of choices are integers from 10 to 100.
  • the user's input result here is treated as a physical variable BV indicating the user's age.
  • the CPU 41 outputs an input field for selecting a location to be rehabilitated, and options to be input into the input field. Examples of options are body parts such as right arm, left arm, right foot, and left leg.
  • the user's input result here is treated as a physical variable BV indicating the location of rehabilitation.
  • each of the above selection fields may be displayed simultaneously on one screen on the input/output device 30, or each time an option is selected, the next option may be displayed. Thereafter, the CPU 41 advances the process to step S12.
  • step S12 the CPU 41 determines whether or not the body variable BV has been input. Specifically, in the request process of step S11, the CPU 41 determines whether any option has been selected for all items. If options have been selected for all items, the CPU 41 determines that the physical variable BV has been input from the input/output device 30. On the other hand, if no option is selected for any item, the CPU 41 determines that input of the physical variables BV from the input/output device 30 has not been completed.
  • step S12 If the user input from the input/output device 30 has not been completed (S12: NO), the CPU 41 returns the process to step S11. On the other hand, if the user inputs from the input/output device 30 (S12: YES), the CPU 41 advances the process to step S13.
  • step S13 the CPU 41 performs an acquisition process.
  • the CPU 41 acquires the body variable BV. Specifically, each physical variable BV corresponding to the option input to the input/output device 30 is acquired. Thereafter, the CPU 41 advances the process to step S14.
  • step S14 the CPU 41 performs mode selection processing.
  • the CPU 41 inputs the body variable BV acquired in the acquisition process to the learning model LM as an input variable. Then, the CPU 41 selects the specific mode SM from the vibration modes VM based on the mode variable MV output from the learning model LM. Specifically, the CPU 41 obtains the matching probability of each vibration mode VM output by the learning model LM as a mode variable MV that is an output variable. Then, among the conformity probabilities for each vibration mode VM, the vibration mode VM corresponding to the highest conformity probability is selected as the specific mode SM. Thereafter, the CPU 41 advances the process to step S15.
  • step S15 the CPU 41 performs drive processing.
  • the CPU 41 drives the vibrating body 20 in the specific mode SM selected in the mode selection process.
  • the user performs rehabilitation while using the tactile sensation presentation device 10 as an auxiliary device. That is, the user performs an exercise operation associated with rehabilitation while receiving the presentation of the tactile force sensation from the tactile force sensation presentation device 10.
  • the CPU 41 ends the series of processes.
  • the learning system 60 includes the above-described tactile force presentation device 10, a measuring device 70, and a setting device 80. In the learning system 60, each device is communicably connected.
  • the measurement device 70 is a device that measures an activation parameter indicating the activation state of a user who is presented with a tactile sensation from the tactile sensation presentation device 10. For example, the measuring device 70 measures the activation state of the user's brain. Specifically, the measuring device 70 is a brain measuring instrument using near-infrared spectroscopy.
  • the measuring device 70 measures the activity parameters of each part of the brain. For example, the measuring device 70 measures blood flow at each location in the brain as an activity parameter. Note that the higher the blood flow, the higher the degree of brain activation. The measuring device 70 measures activation parameters at locations corresponding to each body part in the primary motor cortex of the brain. Then, the measuring device 70 transmits the activation parameters of each part of the brain to the setting device 80.
  • the setting device 80 is a device for updating model data MD indicating the learning model LM. Further, the setting device 80 controls the vibrating body 20 of the tactile sensation presentation device 10 via the control device 40 .
  • the setting device 80 includes a CPU 81, a peripheral circuit 82, a ROM 83, a storage device 84, and a bus 85.
  • the bus 85 connects the CPU 81, the peripheral circuit 82, the ROM 83, and the storage device 84 so that they can communicate with each other.
  • the peripheral circuit 82 includes a circuit that generates a clock signal that defines internal operations, a power supply circuit, a reset circuit, and the like.
  • the ROM 83 stores in advance various programs for the CPU 81 to execute various controls.
  • the ROM 83 stores a learning program P2 for learning the learning model LM.
  • the CPU 81 causes the learning model LM to learn by executing the learning program P2 stored in the ROM 83.
  • the storage device 84 stores model data MD that defines the learning model LM.
  • the CPU 81 executes a series of processes for learning the learning model LM by executing the learning program P2 stored in the ROM 83. Thereby, the CPU 81 executes a test drive process, a parameter acquisition process, and a correct label determination process, which will be described later, as a training data generation process. Further, the CPU 81 executes a model calculation process and a model update process as a model data update process.
  • the CPU 81 executes the learning program stored in the ROM 83 when the haptic presentation device 10 is turned on with the haptic presentation device 10, the measuring device 70, and the setting device 80 connected.
  • Execute P2 is a program that causes the CPU 81 to execute the training data generation process and the model data update process.
  • step S21 to step S23 the CPU 81 starts the learning program P2, it first executes the processes of steps S21 to S23.
  • the processing from step S21 to step S23 is similar to step S11 to step S13 in the control program P1 described above.
  • step S24 the CPU 81 advances the process to step S24.
  • step S24 the CPU 81 starts test drive processing.
  • the CPU 81 drives the vibrating body 20 in a plurality of vibration modes VM in a predetermined order and for a predetermined period. Further, in the test driving process, the CPU 81 starts measuring the active state of the user's brain using the measuring device 70 . Note that during execution of this test driving process, it is preferable that the user performs rehabilitation while using the tactile force sensation presentation device 10 as an auxiliary device. Thereafter, the CPU 81 advances the process to step S25.
  • step S25 the CPU 81 executes parameter acquisition processing.
  • the CPU 81 acquires each activation parameter when the vibrating body 20 is driven in each vibration mode VM measured by the measuring device 70.
  • the CPU 81 advances the process to step S26.
  • step S26 the CPU 81 executes correct label determination processing.
  • the CPU 81 determines the correct mode CM to be selected as the specific mode SM from among the plurality of vibration modes VM, based on the activation parameters in each vibration mode VM in the parameter acquisition process. Then, the CPU 81 obtains the correct answer mode CM as a correct answer label.
  • the CPU 81 outputs the activity parameters of each part of the brain during the period when the vibrating body 20 is being driven in the first vibration mode VM. At this time, the CPU 81 may output the value of the activity parameter itself, or may output the value of the activity parameter for each part of the brain in the form of an image visually representing the value of the activity parameter. Then, the CPU 81 outputs the activation parameters of each part of the brain for all of the second and subsequent vibration modes VM.
  • Medical professionals such as doctors and physical therapists can receive the activity parameters for each vibration mode VM output as described above and the state of the user when receiving the tactile sensation in each vibration mode VM. See. The medical worker comprehensively judges these and specifies the vibration mode VM that is considered to be the most effective as the correct mode CM. Then, the medical worker inputs the correct answer mode CM via the input/output device 30 of the haptic presentation device 10. In this way, the CPU 81 determines the correct answer mode CM as the correct answer label for the plurality of body variables BV acquired in the acquisition process, and generates one set of training data. . Thereafter, the process advances to step S27.
  • step S27 the CPU 81 determines whether the number of training data is equal to or greater than a predetermined number. If the number of training data is less than the specified number (S27: NO), the CPU 81 repeats the processes from step S21 to step S26 for a different user or a different rehabilitation target location. On the other hand, if the number of training data is equal to or greater than the specified number (S27: YES), the CPU 81 advances the process to step S28.
  • step S28 the CPU 81 executes model calculation processing.
  • the CPU 81 inputs data of a plurality of body variables BV acquired in the acquisition process among the training data to the input layer IL of the learning model LM as input data, and calculates each vibration mode VM. Calculate the matching probability. Thereafter, the CPU 81 advances the process to step S29.
  • step S29 the CPU 81 executes model update processing.
  • the CPU 81 adjusts the weights in the neural network NN so that the proportion of mismatch between the correct label and the matching probability of each vibration mode VM calculated in the model calculation process is reduced.
  • the CPU 81 calculates the total matching probability of each vibration mode VM as "1" in one set of training data. Next, the CPU 81 compares the vibration mode VM with the highest matching probability and the vibration mode VM indicated by the correct answer label. Next, if they match, the CPU 81 determines that the result of the model calculation process on the training data matches the correct label. The CPU 81 repeats this process for a plurality of pieces of training data. Then, the CPU 81 calculates the ratio of the number of times it is determined that they match among the total number of training data sets as a match probability. After that, the CPU 81 advances the process to step S30.
  • step S30 the CPU 81 determines whether the probability of matching the correct label with the matching probability of each vibration mode VM calculated in the model calculation process is greater than or equal to a predetermined probability. If the matching probability is less than the specified probability (S30: NO), the CPU 81 repeats the processes of step S28 and step S29. On the other hand, if the matching probability is greater than or equal to the specified probability (S30: YES), the CPU 81 determines that learning has been completed. Then, the CPU 81 updates the model data MD that defines the learning model LM as learned data. After that, the CPU 81 ends the series of processing.
  • a user who is a patient inputs a plurality of physical variables BV indicating the user's own physical condition when using the tactile force presentation device 10.
  • the tactile force presentation device 10 selects a specific mode SM from among the plurality of vibration modes VM based on the output of the learning model LM when the input body variable BV is input to the learning model LM.
  • the haptic sensation presentation device 10 selects the specific mode SM from the plurality of vibration modes VM based on the mode variable MV output by the learning model LM. Therefore, the tactile sensation presentation device 10 can drive the vibrating body 20 in the vibration mode VM that presents an appropriate tactile sensation in accordance with the user's physical variable BV. In other words, by inputting the physical variables BV that the user knows, the user can undergo rehabilitation while receiving an appropriate tactile sense from among the tactile senses that can be presented by the tactile sense presentation device 10. I can do it.
  • the number of combinations of multiple body variables BV can be extremely large. Therefore, it would be very time-consuming to make the vibration mode VM correspond to each combined pattern based on a predetermined rule. Furthermore, the correspondence between the magnitude of the body variable BV and the optimal vibration mode VM is not always a simple relationship, and it may be difficult to find a clear regularity between the two.
  • the specific mode SM is selected using the learning model LM defined by the model data MD that has been learned by machine learning. Therefore, even if not all combinations can be covered, a vibration mode VM that exhibits a tactile sensation that can be expected to be appropriate based on the experience of medical personnel can be selected as the specific mode SM.
  • two or more of the plurality of physical variables BV are variables indicating whether or not the user has a physical disability. Therefore, an appropriate tactile sensation can be presented depending on whether the user has a physical disability or not.
  • two or more of the plurality of physical variables BV are variables indicating the degree of physical disability of the user. Therefore, an appropriate tactile sensation can be presented depending on the degree of the user's physical disability.
  • the correct label is the activation state of the user's body when the vibrating body 20 is driven in a plurality of vibration modes VM, specifically, the region of the brain. selected by a healthcare professional based on the individual's activation status. Therefore, it is possible to reflect the experiences of medical professionals, which are difficult to express into mathematical expressions and maps, in the learning model LM. Therefore, even if the medical worker does not directly select the vibration mode VM each time, the user can use the tactile force sensation presentation device 10 in the vibration mode VM that is expected to be most effective.
  • the points corresponding to each body part in the primary motor cortex of the brain may be activated.
  • the activation parameters of each part of the user's brain are measured when the medical worker selects the correct label. Therefore, even if the user's body does not appear to move, for example, by referring to the activity parameter, it is possible to obtain a correct label that is effective in activating the brain.
  • the configuration of the vibrating body 20 is not limited to the configuration of the above embodiment.
  • the vibrating body 20 may use vibration by a motor or may include a piezo element.
  • the number of vibrating bodies 20 may be plural.
  • the vibration mode VM may include information on whether or not the plurality of vibrating bodies 20 vibrate and the order in which they vibrate. Thereby, the types of vibration modes VM can be made more diverse.
  • control device 40 is not limited to one that includes a CPU and a ROM and executes software processing.
  • a dedicated hardware circuit for example, ASIC, etc.
  • the control device 40 may have any of the following configurations (a) to (c).
  • a dedicated hardware circuit is provided to execute all of the above processing.
  • Only one of the plurality of physical variables BV may be a variable indicating whether or not the user has a physical disability. Further, for example, only one of the plurality of physical variables BV may be a variable indicating the degree of the user's physical disability. For example, when presenting a tactile sensation to a user with a specific physical disability, if the physical variable BV for one predetermined type of physical disability can be obtained in this way, then the variables for other types of physical disability can be obtained. You don't have to.
  • the body variable BV may be a variable indicating any state as long as it indicates the user's physical information.
  • the plurality of physical variables BV may not include a variable indicating the presence or absence of a physical disability of the user, and the plurality of physical variables BV may include a variable indicating the degree of the user's physical disability. You don't have to.
  • the plurality of physical variables BV may not include a variable indicating a location targeted for rehabilitation. In this case, for example, if the user has only one physical disability, the location to be rehabilitated corresponding to the physical disability may be estimated. Furthermore, the plurality of body variables BV may include information other than that exemplified in the above embodiment. For example, the plurality of physical variables BV may include a variable indicating the user's blood pressure.
  • the learning model LM is not limited to the one learned by the learning method of the above embodiment.
  • the model data MD may be data that has been learned by machine learning.
  • the learning method of the learning model LM is not limited to supervised learning, and the learning model LM may be defined by model data MD that has been trained by reinforcement learning.
  • the control program P1 may be executed using a learning model LM learned by other machine learning.
  • the method of determining the correct answer label is not limited to the example of the above embodiment.
  • the vibration mode VM with the highest brain activity parameter may be used as the correct label.
  • the configuration of the learning model LM is not limited to the example of the above embodiment.
  • the neural network NN may have a plurality of middle layers ML.
  • the vibration mode VM may be only a mode that presents a tactile sensation, or may be only a mode that presents a force sensation.
  • characters may be input by user operation without outputting options. The request processing may be changed as appropriate depending on the input/output device 30.
  • the measuring device 70 is not limited to a brain measuring instrument using near-infrared spectroscopy.
  • the measuring device 70 may be a measuring instrument using functional nuclear magnetic resonance imaging (functional MRI).
  • the measuring device 70 may be a measuring instrument using electroencephalography (EEG).
  • the measuring device 70 does not need to be a device that measures the activation state of the user's brain.
  • it may be a device that measures the activation state of a specific part of the user's body that is not the brain. Specifically, if the user's rehabilitation target is the right leg, the device may measure the activation state of the right leg.
  • the setting device 80 may control the vibrating body 20 without using the control device 40.
  • the storage device 84 of the setting device 80 stores data indicating a plurality of vibration modes VM.
  • the CPU 81 may drive the vibrating body 20 using the data.
  • ⁇ Additional note 1> comprising a storage device and an execution device, the vibrating body of the tactile sensation presentation device being controlled;
  • the storage device outputs a plurality of vibration modes for rehabilitation and a mode variable indicating the type of the vibration mode of the tactile sensation outputted by the tactile sensation presentation device by inputting a physical variable indicating the physical condition of the user.
  • the execution device includes: an acquisition process of acquiring the plurality of body variables of the user; a mode selection process that selects a specific mode that is a specific mode from among the plurality of vibration modes based on the mode variable whose input is the plurality of body variables acquired in the acquisition process; A control device for a vibrating body of a tactile force sensation presentation device, which performs a driving process for driving the vibrating body in the specific mode selected in the mode selection process.
  • One of the plurality of physical variables is a variable indicating whether or not the user has a physical disability.
  • One of the plurality of physical variables is a variable indicating the degree of the physical disability of the user.
  • Two or more of the plurality of physical variables are variables each indicating the presence or absence of each physical disability of the user with respect to a plurality of predetermined physical disabilities. Any one of ⁇ Appendix 1> to ⁇ Appendix 3> A control device for a vibrating body of a tactile sensation presentation device according to.
  • Two or more of the plurality of physical variables include variables each indicating the degree of each physical disability of the user with respect to the plurality of physical disabilities. Control device.
  • the tactile sensation presentation device has a plurality of the vibrating bodies,
  • the vibration mode includes information on whether or not the plurality of vibrating bodies vibrate and the order in which they vibrate. .
  • ⁇ Additional note 7> comprising a vibrating body, and a control device having a storage device and an execution device and controlling the vibrating body,
  • the storage device defines a learning model that receives as input vibration mode data indicating a plurality of vibration modes for rehabilitation and a physical variable indicating a physical condition of the user and outputs a mode variable indicating the type of the vibration mode of the tactile sense.
  • the execution device includes: an acquisition process of acquiring the plurality of body variables of the user; a mode selection process that selects a specific mode that is a specific mode from among the plurality of vibration modes based on the mode variable whose input is the plurality of body variables acquired in the acquisition process; A tactile force sensation presentation device that executes a driving process of driving the vibrating body in the specific mode selected in the mode selection process.

Landscapes

  • Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Rehabilitation Tools (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

制御装置（４０）は、実行装置としてのＣＰＵ（４１）と、記憶装置（４４）と、を備えている。記憶装置（４４）は、リハビリテーション用の複数の振動モードを示す振動モードデータ（ＶＭＤ）を記憶している。記憶装置（４４）は、ユーザの身体情報を示す身体変数を入力として触力覚提示装置（１０）が出力する触力覚の振動モードの種類を示すモード変数を出力する学習モデルを規定するモデルデータ（ＭＤ）を記憶している。モデルデータ（ＭＤ）は、機械学習による学習済みデータである。取得処理では、ＣＰＵ（４１）は、ユーザの複数の身体変数を取得する。モード選択処理では、ＣＰＵ（４１）は、モード取得処理で取得した複数の身体変数を入力とするモード変数に基づき、特定モードを選択する。駆動処理では、ＣＰＵ（４１）は、特定モードで振動体（２０）を駆動させる。

Description

触力覚提示装置の振動体の制御装置、及び触力覚提示装置
　本発明は、触力覚提示装置の振動体の制御装置、及び触力覚提示装置に関する。
　特許文献１に記載の触力覚提示装置は、筐体と、振動体と、制御装置と、を備えている。振動体は、筐体の内部に位置している。筐体は、例えば使用者の手に握られて使用される。制御装置は、振動体の振動パターンを特定のパターンに制御する。これにより、触力覚提示装置は、様々な触力覚を筐体に触れているユーザに提示する。
特開２００５－１９０４６５号公報
　特許文献１に記載のような触力覚提示装置を使用するシチュエーションとして、例えばユーザの運動機能の改善のためのリハビリテーションを行う際に、触力覚提示装置を補助器具として使用するシチュエーションが考えられる。しかし、このような場合に、運動機能の改善効果を高めるためには、どのような触力覚をユーザに提示すべきか不明である。
　上記課題を解決するため、本開示の一態様は、記憶装置と、実行装置と、を備え、触力覚提示装置の振動体を制御対象とし、前記記憶装置は、リハビリテーション用の複数の振動モードを示す振動モードデータと、ユーザの身体状態を示す身体変数を入力として前記触力覚提示装置が出力する触力覚の前記振動モードの種類を示すモード変数を出力する学習モデルを規定するモデルデータと、を記憶しており、前記モデルデータは、機械学習による学習済みデータであり、前記実行装置は、前記ユーザの複数の前記身体変数を取得する取得処理と、前記取得処理で取得した複数の前記身体変数を入力とする前記モード変数に基づき、複数の前記振動モードのうち特定のモードである特定モードを選択するモード選択処理と、前記モード選択処理で選択した前記特定モードで前記振動体を駆動させる駆動処理と、を実行する触力覚提示装置の振動体の制御装置である。
　上記課題を解決するために、本開示の一態様は、振動体と、記憶装置及び実行装置を有して、前記振動体を制御対象とする制御装置と、を備え、前記記憶装置は、リハビリテーション用の複数の振動モードを示す振動モードデータと、ユーザの身体状態を示す身体変数を入力として触力覚の前記振動モードの種類を示すモード変数を出力する学習モデルを規定するモデルデータと、を記憶しており、前記モデルデータは、機械学習による学習済みデータであり、前記実行装置は、前記ユーザの複数の前記身体変数を取得する取得処理と、前記取得処理で取得した複数の前記身体変数を入力とする前記モード変数に基づき、複数の前記振動モードのうち特定のモードである特定モードを選択するモード選択処理と、前記モード選択処理で選択した前記特定モードで前記振動体を駆動させる駆動処理と、を実行する触力覚提示装置である。
　上記各構成によれば、ユーザの身体状態に併せて、適切な触力覚を提示する振動モードを選択できる。つまり、ユーザの身体状態に併せて、適切な触力覚を提示できる。
　ユーザの身体状態に併せて、適切な触力覚を提示できる。
図１は、触力覚提示装置を示す概略図である。 図２は、学習モデルを示す概略図である。 図３は、制御プログラムによる一連の処理を示すフローチャートである。 図４は、学習システムを示す概略図である。 図５は、学習プログラムによる一連の処理を示すフローチャートである。
　（一実施形態）
　以下、触力覚提示装置の制御装置の一実施形態について図面を参照して説明する。先ず、触力覚提示装置について説明する。
　＜触力覚提示装置＞
　図１に示すように、触力覚提示装置１０は、振動体２０と、入出力装置３０と、制御装置４０と、を備えている。
　振動体２０は、図示は省略するが、触力覚提示装置１０の筐体の内部に収容されている。また、振動体２０は、ボイスコイルモータと、各ボイスコイルモータに対応した錘と、これらを収容する立方体状のケースと、を備えている。ボイスコイルモータのコイルに電流が流れることに伴い発生する力により、錘が振動する。錘が振動すると、ケースが錘の振動によって振動する。そのため、振動体２０は、ボイスコイルモータのコイルに流す電流を制御することにより、ケースの面に直交する軸に沿う方向に振動する。振動体２０は、より詳細には、例えば、特開２００５－１９０４６５号公報に記載されているような振動体である。
　入出力装置３０は、ユーザが身体変数ＢＶを入力するための装置である。入出力装置３０は、例えば、タッチディスプレイによって構成されている。したがって、入出力装置３０は、画像を通じて情報をユーザに提供することもできる。入出力装置３０は、ユーザに操作される。ユーザの操作によって入出力装置３０には、身体情報を示す身体変数ＢＶが複数入力される。
　詳細には、複数の身体変数ＢＶのうちの２つ以上は、予め定められた身体障がいのうち、各身体障がいの有無を示す変数である。例えば、予め定められた身体障がいの種類がｎ個である場合、身体変数ＢＶのうちのｎ個は、各身体障がいの有無を示す変数となっている。１つ目の種類の身体障がいを有する場合、その身体変数ＢＶは１として入力される。同様に、２つ目の種類の身体障がいを有する場合、その身体変数ＢＶは１として入力される。一方で、該当する種類の身体障がいを有しない場合、その身体変数ＢＶは０として入力される。
　複数の身体変数ＢＶのうちの２つ以上は、予め定められた各身体障がいの程度を示す変数である。例えば、予め定められた身体障がいの種類がｎ個である場合、身体変数ＢＶのうちのｎ個は、各身体障がいの程度を示す変数となっている。例えば、該当する種類の身体障がいの程度が大きいほど身体変数ＢＶは１に近づき、該当する種類の身体障がいの程度が小さいほど身体変数ＢＶは０に近づく。なお、本実施形態では、該当する種類の身体障がいを有しない場合には、身体変数ＢＶは０となる。
　複数の身体変数ＢＶのうちの１つは、ユーザの年齢を示す変数である。また、複数の身体変数ＢＶのうちの１つは、リハビリテーションの対象となる箇所を示す変数である。さらに、複数の身体変数ＢＶのうちの１つは、ユーザの身長を示す変数である。そして、複数の身体変数ＢＶのうちの１つは、ユーザの体重を示す変数である。
　制御装置４０は、振動体２０を制御対象とする。制御装置４０は、振動体２０の振動パターンを、提示したい触力覚に応じた特定の振動パターンに制御する。なお、振動パターンは、例えば、非線形波形で示される振動のパターンである。これにより、触力覚提示装置１０は、ユーザに触覚又は力覚を提示する。なお、触力覚は、錯触力覚を含む。錯触力覚は、錯触覚と、錯力覚と、である。錯触覚とは、振動体２０の振動がユーザに提示されることによって、ユーザの脳が凹凸を触っているかのように感じる錯覚である。また、錯力覚とは、振動体２０の振動がユーザに提示されることによって、ユーザの脳が力を与えられているかのように感じる錯覚である。
　制御装置４０は、実行装置としてのＣＰＵ４１、周辺回路４２、ＲＯＭ４３、記憶装置４４、及びバス４５を備えている。バス４５は、ＣＰＵ４１、周辺回路４２、ＲＯＭ４３、及び記憶装置４４を互いに通信可能に接続している。周辺回路４２は、内部の動作を規定するクロック信号を生成する回路、電源回路、リセット回路等を含む。ＲＯＭ４３は、ＣＰＵ４１が各種の制御を実行するための各種のプログラムを予め記憶している。特に、ＲＯＭ４３は、後述する学習モデルＬＭに基づいた制御を行う制御プログラムＰ１を記憶している。ＣＰＵ４１は、ＲＯＭ４３に記憶された各種のプログラムを実行することにより、振動体２０を制御する。
　記憶装置４４は、リハビリテーション用の複数の振動モードＶＭを示す振動モードデータＶＭＤを記憶している。振動モードＶＭは、リハビリテーションの種類やその組み合わせに応じた触力覚を提示するためのモードである。
　また、記憶装置４４は、各振動モードＶＭを実現するための振動体２０の振動パターンを示すデータを記憶している。記憶装置４４に記憶されている当該データによって、触力覚提示装置１０が提示する触力覚が定まる。
　記憶装置４４は、学習モデルＬＭを規定するデータであるモデルデータＭＤを記憶している。図２に示すように、学習モデルＬＭは、例えば、ニューラルネットワークＮＮと、ニューラルネットワークＮＮの出力を規格化するソフトマックス関数ＳＦと、によって構成されている。
　ニューラルネットワークＮＮは、入力層ＩＬと、中間層ＭＬと、出力層ＯＬと、を有している。入力層ＩＬは、複数のノードを有している。ノードの数は、ユーザの身体状態を示す複数の身体変数ＢＶの変数の数と等しい。また、ニューラルネットワークＮＮは、中間層ＭＬにおける活性化関数を有している。活性化関数は、例えば、ハイパボリックタンジェントである。出力層ＯＬは、各振動モードＶＭの適合確率を出力する。
　また、ソフトマックス関数ＳＦは、出力層ＯＬに出力される各振動モードＶＭの適合確率の和を「１」とするための関数である。そのため、出力層ＯＬに出力された各振動モードＶＭの適合確率は、ソフトマックス関数ＳＦによって規格化されて、学習モデルＬＭから出力される。
　このように構成された学習モデルＬＭでは、多次元の入力変数を入力層ＩＬに入力することにより、各伝送路に応じた重みを乗じた値の和を活性化関数に入力する。そして活性化関数の出力値を次の層に入力する。このような演算を繰り返すことで、出力層ＯＬから、各振動モードＶＭの適合確率を、それぞれ出力する。そして、各振動モードＶＭの適合確率を、ソフトマックス関数ＳＦによって規格化して、最終的に出力する。なお、図２では、隣り合う層のノードを繋ぐ伝送路を省略している。
　そして、モデルデータＭＤは、学習モデルＬＭを示すデータである。そのため、モデルデータＭＤは、学習されたことによって更新された各伝送路に応じた重みに関するデータを含んでいる。
　＜学習モデルに基づく制御＞
　図１に示すように、ＣＰＵ４１は、ＲＯＭ４３に記憶された制御プログラムＰ１を実行することにより、振動体２０を制御するための一連の処理を実行する。これにより、ＣＰＵ４１は、ユーザの複数の身体変数ＢＶを取得する取得処理と、複数の振動モードＶＭのうちの特定のモードである特定モードＳＭを選択するモード選択処理と、特定モードＳＭで振動体２０を駆動させる駆動処理と、を実行する。
　ＣＰＵ４１は、触力覚提示装置１０の電源がオン状態となったときに、ＲＯＭ４３に記憶されている制御プログラムＰ１を実行する。触力覚提示装置１０の電源は、例えば、触力覚提示装置１０の電源がオフ状態であるときに、入出力装置３０が操作されることでオン状態となる。つまり、制御プログラムＰ１は、取得処理と、モード選択処理と、駆動処理と、をＣＰＵ４１に実行させるプログラムである。
　図３に示すように、ＣＰＵ４１は、制御プログラムＰ１を開始すると、先ず、ステップＳ１１の処理を実行する。ステップＳ１１では、ＣＰＵ４１は、要求処理を行う。具体的には要求処理では、ＣＰＵ４１は、要求するユーザの身体情報を示す身体変数ＢＶを、ユーザが選択可能となるように、画像データを入出力装置３０へ出力する。すなわち、入出力装置３０は、タッチディスプレイ上に、各身体変数ＢＶの入力欄を示すアイコンを表示する。
　より具体的には、要求処理では、ＣＰＵ４１は、予め定められた複数の身体障がいについて、各身体障がいの名称と、各身体障がいの名称に対応した有り及び無しの選択肢と、を出力する。ここでのユーザの入力結果は、ユーザの身体障がいの有無を示す身体変数ＢＶとして取り扱われる。
　また、要求処理では、ＣＰＵ４１は、各身体障がいの名称に対応した障がいの程度を示す情報の入力欄と、当該入力欄に入力するべき情報の選択肢を出力する。選択肢の例は、強、中、弱といった３段階である。なお、上記の身体障がいの有無を示す選択肢のうちから「無し」が選択された場合には、ＣＰＵ４１は、障がいの程度を示す情報の入力欄及び選択肢を出力しない。ここでのユーザの入力結果は、ユーザの身体障がいの程度を示す身体変数ＢＶとして取り扱われる。また、身体障がいが「無し」の場合には、ユーザの身体障がいの程度を示す身体変数ＢＶは、０が入力されたものとみなす。
　さらに、要求処理では、ＣＰＵ４１は、ユーザの年齢を入力する入力欄と、当該入力欄に入力するべき選択肢を出力する。選択肢の例は、１０～１００の整数である。ここでのユーザの入力結果は、ユーザの年齢を示す身体変数ＢＶとして取り扱われる。そして、ＣＰＵ４１は、リハビリテーションの対象となる箇所を選択する入力欄と、当該入力欄に入力するべき選択肢を出力する。選択肢の例は、右腕、左腕、右足、左脚といった身体の箇所である。ここでのユーザの入力結果は、リハビリテーションの箇所を示す身体変数ＢＶとして取り扱われる。
　なお、上記の各選択欄は、入出力装置３０上の１つの画面上に同時に表示されてもよいし、選択肢が選択される毎に、次の選択肢が表示されてもよい。その後、ＣＰＵ４１は、処理をステップＳ１２へ進める。
　ステップＳ１２では、ＣＰＵ４１は、身体変数ＢＶの入力がされたか否かを判定する。具体的には、ＣＰＵ４１は、ステップＳ１１の要求処理において、すべての項目においていずれかの選択肢が選択されたか否かを判定する。すべての項目について選択肢が選択されている場合、ＣＰＵ４１は、入出力装置３０から身体変数ＢＶの入力がされたと判定する。一方で、いずれかの項目について選択肢が選択されていない場合、ＣＰＵ４１は、入出力装置３０から身体変数ＢＶの入力が完了されていないと判定する。
　入出力装置３０からユーザの入力が完了されていない場合（Ｓ１２：ＮＯ）、ＣＰＵ４１は、ステップＳ１１へと処理を戻す。一方で、入出力装置３０からユーザの入力がされた場合（Ｓ１２：ＹＥＳ）、ＣＰＵ４１は、処理をステップＳ１３へ進める。
　ステップＳ１３では、ＣＰＵ４１は、取得処理を行う。取得処理では、ＣＰＵ４１は、身体変数ＢＶを取得する。具体的には、入出力装置３０に入力された選択肢に対応した各身体変数ＢＶを取得する。その後、ＣＰＵ４１は、処理をステップＳ１４へ進める。
　ステップＳ１４では、ＣＰＵ４１は、モード選択処理を行う。モード選択処理では、ＣＰＵ４１は、学習モデルＬＭに、取得処理で取得した身体変数ＢＶを入力変数として入力する。そして、ＣＰＵ４１は、学習モデルＬＭから出力されるモード変数ＭＶに基づいて、振動モードＶＭのうちから、特定モードＳＭを選択する。具体的には、ＣＰＵ４１は、出力変数であるモード変数ＭＶとして、学習モデルＬＭが出力する各振動モードＶＭの適合確率を取得する。そして、振動モードＶＭ毎の適合確率のうち、最も高い値となった適合確率に対応する振動モードＶＭを特定モードＳＭとして選択する。その後、ＣＰＵ４１は、処理をステップＳ１５へ進める。
　ステップＳ１５では、ＣＰＵ４１は、駆動処理を行う。駆動処理では、ＣＰＵ４１は、モード選択処理で選択された特定モードＳＭで振動体２０を駆動させる。なお、このように、特定モードＳＭで触力覚提示装置１０が駆動している状態で、ユーザは、当該触力覚提示装置１０を補助器具として使用しつつリハビリテーションを行う。つまり、ユーザは、触力覚提示装置１０からの触力覚の提示を受けつつ、リハビリテーションに伴う運動操作を行う。そして、ＣＰＵ４１は、一定時間、駆動処理をした後、一連の処理を終了する。
　＜学習システム＞
　＜学習モデルの学習方法＞
　次に、学習モデルＬＭの学習方法について説明する。まず、学習モデルＬＭを規定するモデルデータＭＤを生成する学習システム６０について説明する。
　図４に示すように、学習システム６０は、上述の触力覚提示装置１０と、測定装置７０と、設定装置８０と、を備えている。学習システム６０において、各装置は通信可能に接続されている。
　測定装置７０は、触力覚提示装置１０から触力覚を提示されたユーザの活性状態を示す活性パラメータを測定する装置である。例えば、測定装置７０は、ユーザの脳の活性状態を測定する。具体的には、測定装置７０は、近赤外分光法を用いた脳計測器である。
　測定装置７０は、脳の各箇所の活性パラメータを測定する。例えば、測定装置７０は、脳の各箇所での血流量を活性パラメータとして測定する。なお、血流量が多いほど脳の活性化の程度は高い。測定装置７０は、脳のうちの一次運動野における身体の各部位に対応した箇所の活性パラメータを測定する。そして、測定装置７０は、脳の各箇所の活性パラメータを、設定装置８０へ送信する。
　設定装置８０は、学習モデルＬＭを示すモデルデータＭＤを更新するための装置である。また、設定装置８０は、制御装置４０を介して、触力覚提示装置１０の振動体２０を制御対象とする。設定装置８０は、ＣＰＵ８１、周辺回路８２、ＲＯＭ８３、記憶装置８４、及びバス８５を備えている。バス８５は、ＣＰＵ８１、周辺回路８２、ＲＯＭ８３、及び記憶装置８４を互いに通信可能に接続している。周辺回路８２は、内部の動作を規定するクロック信号を生成する回路、電源回路、リセット回路等を含む。ＲＯＭ８３は、ＣＰＵ８１が各種の制御を実行するための各種のプログラムを予め記憶している。特に、ＲＯＭ８３は、学習モデルＬＭを学習する学習プログラムＰ２を記憶している。ＣＰＵ８１は、ＲＯＭ８３に記憶された学習プログラムＰ２を実行することにより、学習モデルＬＭを学習させる。また、記憶装置８４は、学習モデルＬＭを規定するモデルデータＭＤを記憶している。
　ＣＰＵ８１は、ＲＯＭ８３に記憶された学習プログラムＰ２を実行することにより、学習モデルＬＭを学習させるための一連の処理を実行する。これにより、ＣＰＵ８１は、訓練データ生成工程として、後述する試験駆動処理と、パラメータ取得処理と、正解ラベル決定処理と、を実行する。また、ＣＰＵ８１は、モデルデータ更新工程として、モデル算出処理と、モデル更新処理と、を実行する。
　ＣＰＵ８１は、触力覚提示装置１０と測定装置７０と設定装置８０とが接続された状態で、触力覚提示装置１０の電源がオン状態となったときに、ＲＯＭ８３に記憶されている学習プログラムＰ２を実行する。つまり、学習プログラムＰ２は、訓練データ生成工程の処理と、モデルデータ更新工程の処理と、をＣＰＵ８１に実行させるプログラムである。
　図５に示すように、ＣＰＵ８１は、学習プログラムＰ２を開始すると、先ず、ステップＳ２１～ステップＳ２３の処理を実行する。ステップＳ２１～ステップＳ２３の処理は、上述した制御プログラムＰ１におけるステップＳ１１～ステップＳ１３と同様である。ステップＳ２３の後、ＣＰＵ８１は、処理をステップＳ２４へ進める。
　ステップＳ２４では、ＣＰＵ８１は、試験駆動処理を開始する。試験駆動処理では、ＣＰＵ８１は、予め定められた順番で、且つ予め定められた期間だけ、複数の振動モードＶＭで振動体２０を駆動させる。また、試験駆動処理では、ＣＰＵ８１は、測定装置７０によるユーザの脳の活性状態の測定を開始する。なお、この試験駆動処理の実行中には、ユーザが、触力覚提示装置１０を補助器具として使用しつつリハビリテーションを行っていることが好ましい。その後、ＣＰＵ８１は、処理をステップＳ２５へ進める。
　ステップＳ２５では、ＣＰＵ８１は、パラメータ取得処理を実行する。パラメータ取得処理では、ＣＰＵ８１は、測定装置７０が測定した各振動モードＶＭで振動体２０を駆動させたときの各活性パラメータを取得する。そして、試験駆動処理が終了した後、ＣＰＵ８１は、処理をステップＳ２６へ進める。
　ステップＳ２６では、ＣＰＵ８１は、正解ラベル決定処理を実行する。正解ラベル決定処理では、ＣＰＵ８１は、パラメータ取得処理における各振動モードＶＭでの活性パラメータに基づいて、複数の振動モードＶＭの中から特定モードＳＭとして選択すべき正解モードＣＭを決定する。そして、ＣＰＵ８１は、正解モードＣＭを正解ラベルとして取得する。
　具体的には、先ず、ＣＰＵ８１は、１つ目の振動モードＶＭで振動体２０を駆動している期間中での、脳の各部位の活性パラメータを出力する。このときＣＰＵ８１は、活性パラメータの値そのものを出力してもよいし、脳の部位毎の活性パラメータの値を視覚的に表した画像のかたちで出力してもよい。そして、ＣＰＵ８１は、２つ目の以降のすべての振動モードＶＭについて、それぞれ脳の各部位の活性パラメータを出力する。
　医師及び理学療法士などの医療従事者は、上記のようにして出力された振動モードＶＭ毎の活性パラメータと、各振動モードＶＭでの触力覚の提示を受けているときのユーザの様子などを参照する。医療従事者は、これらを総合的に判断して、最も効果が高いと思われる振動モードＶＭを、正解モードＣＭとして特定する。そして、医療従事者は、触力覚提示装置１０の入出力装置３０を介して、正解モードＣＭを入力する。このようにして、ＣＰＵ８１は、取得処理で取得した複数の身体変数ＢＶに対して、当該複数の身体変数ＢＶでの正解ラベルとしての正解モードＣＭを決定して、１組の訓練データを生成する。その後、処理をステップＳ２７へ進める。
　ステップＳ２７では、ＣＰＵ８１は、訓練データの数が、予め定められた規定数以上となっているか否かを判定する。訓練データの数が規定数未満である場合（Ｓ２７：ＮＯ）、ＣＰＵ８１は、異なるユーザ又は異なるリハビリテーションの対象となる箇所に対して、ステップＳ２１からステップＳ２６の処理を繰り返す。一方で、訓練データの数が規定数以上である場合（Ｓ２７：ＹＥＳ）、ＣＰＵ８１は、処理をステップＳ２８へ進める。
　ステップＳ２８では、ＣＰＵ８１は、モデル算出処理を実行する。モデル算出処理では、ＣＰＵ８１は、各訓練データについて、訓練データのうち取得処理で取得した複数の身体変数ＢＶのデータを、入力データとして学習モデルＬＭの入力層ＩＬに入力して各振動モードＶＭの適合確率を算出する。その後、ＣＰＵ８１は、処理をステップＳ２９へ進める。
　ステップＳ２９では、ＣＰＵ８１は、モデル更新処理を実行する。モデル更新処理では、ＣＰＵ８１は、モデル算出処理において算出された各振動モードＶＭの適合確率と、正解ラベルと、が一致しない割合が小さくなるように、ニューラルネットワークＮＮにおける重みを調整する。
　具体的には、ＣＰＵ８１は、１組の訓練データにおいて、各振動モードＶＭの適合確率の総計が「１」として算出される。次に、ＣＰＵ８１は、最も大きい適合確率となる振動モードＶＭと、正解ラベルが示す振動モードＶＭと、を照らし合わせる。次に、ＣＰＵ８１は、これらが一致する場合、当該訓練データにおけるモデル算出処理の結果は、正解ラベルと一致していると判定する。ＣＰＵ８１は、これを複数の訓練データの分だけ繰り返す。そして、ＣＰＵ８１は、訓練データの組の総数のうち、一致していると判定した回数の割合を一致確率として算出する。その後、ＣＰＵ８１は、処理をステップＳ３０へ進める。
　ステップＳ３０では、ＣＰＵ８１は、モデル算出処理において算出された各振動モードＶＭの適合確率と正解ラベルとが一致する一致確率が、予め定められた規定確率以上であるか否かを判定する。一致確率が規定確率未満の場合（Ｓ３０：ＮＯ）、ＣＰＵ８１は、ステップＳ２８及びステップＳ２９の処理を繰り返す。一方で、一致確率が規定確率以上の場合（Ｓ３０：ＹＥＳ）、ＣＰＵ８１は、学習が完了したと判定する。そして、ＣＰＵ８１は、学習モデルＬＭを規定するモデルデータＭＤを、学習済みデータとして更新する。その後、ＣＰＵ８１は、一連の処理を終了する。
　＜実施形態の作用＞
　上記実施形態によれば、例えば患者であるユーザは、触力覚提示装置１０を使用する際に、ユーザ自身の身体状態を示す身体変数ＢＶを複数入力する。触力覚提示装置１０は、入力された身体変数ＢＶを学習モデルＬＭに入力したときの学習モデルＬＭの出力に基づいて、複数の振動モードＶＭのうちから特定モードＳＭを選択する。
　＜実施形態の効果＞
　（１）上記実施形態によれば、触力覚提示装置１０は、モード選択処理において、学習モデルＬＭの出力するモード変数ＭＶに基づいて、複数の振動モードＶＭから特定モードＳＭを選択する。そのため、触力覚提示装置１０は、ユーザの身体変数ＢＶに併せて、適切な触力覚を提示する振動モードＶＭで振動体２０を駆動させることができる。つまり、ユーザは、自身が把握している身体変数ＢＶを入力することで、触力覚提示装置１０が提示可能な触力覚の中から適切な触力覚の提示を受けつつリハビリテーションを行うことができる。
　特に、上記実施形態において、複数の身体変数ＢＶの組み合わせの数は、非常に膨大な数になり得る。そのため、仮に、予め定められたルールに基づいて、組み合わせたパターンごとに、振動モードＶＭを対応させることは、非常に手間がかかる。さらに、身体変数ＢＶの大小と最適な振動モードＶＭとの対応関係が単純な関係になっているとは限らず、両者の間に明確な規則性を見出すのが難しいこともある。この点、上記実施形態によれば、機械学習によって学習済みのモデルデータＭＤが規定する学習モデルＬＭを用いて、特定モードＳＭを選択している。そのため、すべての組み合わせを網羅できなくても、医療従事者の経験に基づいて適切と見込める触力覚を示す振動モードＶＭを、特定モードＳＭとして選択できる。
　（２）上記実施形態によれば、複数の身体変数ＢＶのうちの２つ以上は、ユーザの身体障がいの有無を示す変数である。そのため、ユーザの身体障がいの有無に併せて、適切な触力覚を提示できる。
　（３）上記実施形態によれば、複数の身体変数ＢＶのうちの２つ以上は、ユーザの身体障がいの程度を示す変数である。そのため、ユーザの身体障がいの程度に併せて、適切な触力覚を提示できる。
　（４）上記実施形態の学習モデルＬＭの学習方法によれば、正解ラベルは、複数の振動モードＶＭで振動体２０が駆動されたときのユーザの身体の活性状態、具体的には脳の部位毎の活性状態に基づいて、医療従事者によって選択されたものである。そのため、数式化及びマップ化などが困難な医療従事者の経験を、学習モデルＬＭに反映させることができる。したがって、医療従事者がその都度直接に振動モードＶＭを選ばなくても、ユーザは、最も効果が期待できる振動モードＶＭで、触力覚提示装置１０を使用できる。
　（５）触力覚がユーザに提示されたとき、ユーザの身体のうち例えば腕や脚は外観上動かない場合であっても、脳のうちの一次運動野における身体の各部位に対応した箇所は活性化することがある。上記実施形態の学習モデルＬＭの学習方法によれば、医療従事者の正解ラベルの選択に際して、ユーザの脳の各部位の活性パラメータを測定する。そのため、例えば、ユーザの身体が外観上動かないような場合であっても、活性パラメータを参照することで、脳の活性化という点で効果的な正解ラベルを取得できる。
　（その他の実施形態）
　上記実施形態は以下のように変更して実施することができる。上記実施形態及び以下の変更例は、技術的に矛盾しない範囲で組み合わせて実施することができる。
　・上記実施形態において、振動体２０の構成は、上記実施形態の構成に限られない。例えば、振動体２０は、モータによる振動を用いたものであってもよいし、ピエゾ素子を有するものであってもよい。
　・振動体２０の数は、複数であってもよい。この場合、振動モードＶＭは、複数の振動体２０に対する振動の有無及び振動する順番の情報を含んでいてもよい。これにより、振動モードＶＭの種類をより多様にできる。
　・上記実施形態において、制御装置４０としては、ＣＰＵとＲＯＭとを備えて、ソフトウェア処理を実行するものに限らない。たとえば、上記実施形態においてソフトウェア処理されたものの少なくとも一部を、ハードウェア処理する専用のハードウェア回路（たとえばＡＳＩＣ等）を備えてもよい。すなわち、制御装置４０は、以下の（ａ）～（ｃ）のいずれかの構成であればよい。（ａ）上記処理の全てを、プログラムに従って実行する処理装置と、プログラムを記憶するＲＯＭ等のプログラム格納装置とを備える。（ｂ）上記処理の一部をプログラムに従って実行する処理装置およびプログラム格納装置と、残りの処理を実行する専用のハードウェア回路とを備える。（ｃ）上記処理の全てを実行する専用のハードウェア回路を備える。ここで、処理装置およびプログラム格納装置を備えたソフトウェア実行装置や、専用のハードウェア回路は複数であってもよい。この点、設定装置８０についても同様である。
　・複数の身体変数ＢＶの１つのみが、ユーザの身体障がいの有無を示す変数であってもよい。また例えば、複数の身体変数ＢＶの１つのみが、ユーザの身体障がいの程度を示す変数であってもよい。例えば、特定の身体障がいを有するユーザに対して触力覚を提示する場合、このように、予め定められた１種類の身体障がいに対する身体変数ＢＶについて取得できれば、他の種類の身体障がいに対する変数はなくてもよい。
　・身体変数ＢＶは、ユーザの身体情報を示す変数であれば、どのような状態を示す変数であってもよい。例えば、複数の身体変数ＢＶには、ユーザの身体障がいの有無を示す変数が含まれていなくてもよいし、複数の身体変数ＢＶには、ユーザの身体障がいの程度を示す変数が含まれていなくてもよい。
　また例えば、複数の身体変数ＢＶには、リハビリテーションの対象となる箇所を示す変数が含まれていなくてもよい。この場合、例えば、ユーザの有する身体障がいが１つのみである場合、当該身体障がいに対応したリハビリテーションの対象となる箇所を推定してもよい。さらに、複数の身体変数ＢＶは、上記実施形態で例示した以外の情報を含んでいてもよい。例えば、複数の身体変数ＢＶは、ユーザの血圧を示す変数を含んでいてもよい。
　・学習モデルＬＭは、上記実施形態の学習方法によって学習されたものに限られない。モデルデータＭＤは、機械学習によって学習済みデータであればよい。例えば、学習モデルＬＭの学習方法は教師あり学習に限られず、学習モデルＬＭは、強化学習によって学習済みのモデルデータＭＤによって規定されるものであってもよい。他の機械学習によって学習された学習モデルＬＭを用いて、制御プログラムＰ１が実行されてもよい。
　・学習モデルＬＭの学習方法において、正解ラベルの定め方は、上記実施形態の例に限られない。例えば、脳の活性パラメータが最も高くなった振動モードＶＭを、正解ラベルとしてもよい。
　・学習モデルＬＭの構成は、上記実施形態の例に限られない。例えば、図２では、ニューラルネットワークＮＮの中間層ＭＬを１つのみ図示したが、ニューラルネットワークＮＮは、複数の中間層ＭＬを有していてもよい。
　・振動モードＶＭは、触覚を提示するモードのみであってもよいし、力覚を提示するモードのみであってもよい。
　・要求処理は、選択肢を出力せずに、ユーザによる操作で文字が入力されるようにしてもよい。要求処理は、入出力装置３０に併せて適宜変更すればよい。
　・ステップＳ１２の処理では、入出力装置３０に入力完了ボタンが表示されている場合には、当該入力完了ボタンが押されたことで、入力が完了されたと判定してもよい。
　・測定装置７０は、近赤外分光法を用いた脳計測器に限られない。例えば、測定装置７０は、機能的核磁気共鳴画像（ｆｕｎｃｔｉｏｎａｌ　ＭＲＩ）を用いた計測器であってもよい。また例えば、測定装置７０は、脳波検査（ＥＥＧ）を用いた計測器であってもよい。
　・測定装置７０は、ユーザの脳の活性状態を測定する装置でなくてもよい。例えば、ユーザの身体の脳ではない特定の部位の活性状態を測定する装置であってもよい。具体的には、ユーザのリハビリテーションの対象となる箇所が右脚の場合、右脚の活性状態を測定する装置であってもよい。
　・設定装置８０は、制御装置４０を介さずに、振動体２０を制御してもよい。例えば、設定装置８０の記憶装置８４が、複数の振動モードＶＭを示すデータを記憶しているとする。この場合、試験駆動処理では、ＣＰＵ８１は、当該データを用いて振動体２０を駆動してもよい。
　上記実施形態及び変更例から把握できる技術的思想を以下に追記する。
　＜付記１＞
　記憶装置と、実行装置と、を備え、触力覚提示装置の振動体を制御対象とし、
　前記記憶装置は、リハビリテーション用の複数の振動モードと、ユーザの身体状態を示す身体変数を入力として前記触力覚提示装置が出力する触力覚の前記振動モードの種類を示すモード変数を出力する学習モデルを規定するモデルデータと、を記憶しており、
　前記モデルデータは、機械学習による学習済みデータであり、
　前記実行装置は、
　前記ユーザの複数の前記身体変数を取得する取得処理と、
　前記取得処理で取得した複数の前記身体変数を入力とする前記モード変数に基づき、複数の前記振動モードのうち特定のモードである特定モードを選択するモード選択処理と、
　前記モード選択処理で選択した前記特定モードで前記振動体を駆動させる駆動処理と、を実行する
　触力覚提示装置の振動体の制御装置。
　＜付記２＞
　複数の前記身体変数のうちの１つは、前記ユーザの身体障がいの有無を示す変数である
　＜付記１＞に記載の触力覚提示装置の振動体の制御装置。
　＜付記３＞
　複数の前記身体変数のうちの１つは、前記ユーザの前記身体障がいの程度を示す変数である
　＜付記２＞に記載の触力覚提示装置の振動体の制御装置。
　＜付記４＞
　複数の前記身体変数のうちの２つ以上は、予め定められた複数の身体障がいについて前記ユーザの各身体障がいの有無をそれぞれ示す変数である
　＜付記１＞～＜付記３＞のいずれか１つに記載の触力覚提示装置の振動体の制御装置。
　＜付記５＞
　複数の前記身体変数のうちの２つ以上は、複数の前記身体障がいについての前記ユーザの各身体障がいの程度をそれぞれ示す変数を含む
　＜付記４＞に記載の触力覚提示装置の振動体の制御装置。
　＜付記６＞
　前記触力覚提示装置は、複数の前記振動体を有しており、
　前記振動モードは、複数の前記振動体に対する振動の有無及び振動する順番の情報を含む
　＜付記１＞～＜付記５＞のいずれか１つに記載の触力覚提示装置の振動体の制御装置。
　＜付記７＞
　振動体と、記憶装置及び実行装置を有して、前記振動体を制御対象とする制御装置と、を備え、
　前記記憶装置は、リハビリテーション用の複数の振動モードを示す振動モードデータと、ユーザの身体状態を示す身体変数を入力として触力覚の前記振動モードの種類を示すモード変数を出力する学習モデルを規定するモデルデータと、を記憶しており、
　前記モデルデータは、機械学習による学習済みデータであり、
　前記実行装置は、
　前記ユーザの複数の前記身体変数を取得する取得処理と、
　前記取得処理で取得した複数の前記身体変数を入力とする前記モード変数に基づき、複数の前記振動モードのうち特定のモードである特定モードを選択するモード選択処理と、
　前記モード選択処理で選択した前記特定モードで前記振動体を駆動させる駆動処理と、を実行する
　触力覚提示装置。
　１０…触力覚提示装置
　２０…振動体
　３０…入出力装置
　４０…制御装置
　４１…ＣＰＵ
　４２…周辺回路
　４３…ＲＯＭ
　４４…記憶装置
　４５…バス
　６０…学習システム
　７０…測定装置
　８０…設定装置
　ＢＶ…身体変数
　ＣＭ…正解モード
　ＩＬ…入力層
　ＬＭ…学習モデル
　ＭＤ…モデルデータ
　ＭＬ…中間層
　ＭＶ…モード変数
　ＮＮ…ニューラルネットワーク
　ＯＬ…出力層
　Ｐ１…制御プログラム
　Ｐ２…学習プログラム
　ＳＦ…ソフトマックス関数
　ＳＭ…特定モード
　ＶＭ…振動モード
　ＶＭＤ…振動モードデータ

Claims (7)

  1. 　記憶装置と、実行装置と、を備え、触力覚提示装置の振動体を制御対象とし、
    　前記記憶装置は、リハビリテーション用の複数の振動モードを示す振動モードデータと、ユーザの身体状態を示す身体変数を入力として前記触力覚提示装置が出力する触力覚の前記振動モードの種類を示すモード変数を出力する学習モデルを規定するモデルデータと、を記憶しており、
    　前記モデルデータは、機械学習による学習済みデータであり、
    　前記実行装置は、
    　前記ユーザの複数の前記身体変数を取得する取得処理と、
    　前記取得処理で取得した複数の前記身体変数を入力とする前記モード変数に基づき、複数の前記振動モードのうち特定のモードである特定モードを選択するモード選択処理と、
    　前記モード選択処理で選択した前記特定モードで前記振動体を駆動させる駆動処理と、を実行する
    　触力覚提示装置の振動体の制御装置。
  2. 　複数の前記身体変数のうちの１つは、前記ユーザの身体障がいの有無を示す変数である
    　請求項１に記載の触力覚提示装置の振動体の制御装置。
  3. 　複数の前記身体変数のうちの１つは、前記ユーザの前記身体障がいの程度を示す変数である
    　請求項２に記載の触力覚提示装置の振動体の制御装置。
  4. 　複数の前記身体変数のうちの２つ以上は、予め定められた複数の身体障がいについて前記ユーザの各身体障がいの有無をそれぞれ示す変数である
    　請求項１～請求項３のいずれか１項に記載の触力覚提示装置の振動体の制御装置。
  5. 　複数の前記身体変数のうちの２つ以上は、複数の前記身体障がいについての前記ユーザの各身体障がいの程度をそれぞれ示す変数を含む
    　請求項４に記載の触力覚提示装置の振動体の制御装置。
  6. 　前記触力覚提示装置は、複数の前記振動体を有しており、
    　前記振動モードは、複数の前記振動体に対する振動の有無及び振動する順番の情報を含む
    　請求項１～請求項５のいずれか１項に記載の触力覚提示装置の振動体の制御装置。
  7. 　振動体と、記憶装置及び実行装置を有して、前記振動体を制御対象とする制御装置と、を備え、
    　前記記憶装置は、リハビリテーション用の複数の振動モードを示す振動モードデータと、ユーザの身体状態を示す身体変数を入力として触力覚の前記振動モードの種類を示すモード変数を出力する学習モデルを規定するモデルデータと、を記憶しており、
    　前記モデルデータは、機械学習による学習済みデータであり、
    　前記実行装置は、
    　前記ユーザの複数の前記身体変数を取得する取得処理と、
    　前記取得処理で取得した複数の前記身体変数を入力とする前記モード変数に基づき、複数の前記振動モードのうち特定のモードである特定モードを選択するモード選択処理と、
    　前記モード選択処理で選択した前記特定モードで前記振動体を駆動させる駆動処理と、を実行する
    　触力覚提示装置。
PCT/JP2023/027175 2022-08-01 2023-07-25 触力覚提示装置の振動体の制御装置、及び触力覚提示装置 Ceased WO2024029400A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2024538951A JP7782701B2 (ja) 2022-08-01 2023-07-25 触力覚提示装置の振動体の制御装置、及び触力覚提示装置
US19/042,763 US20250181039A1 (en) 2022-08-01 2025-01-31 Control unit for vibrator of haptic device and haptic device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-122719 2022-08-01
JP2022122719 2022-08-01

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US19/042,763 Continuation US20250181039A1 (en) 2022-08-01 2025-01-31 Control unit for vibrator of haptic device and haptic device

Publications (1)

Publication Number Publication Date
WO2024029400A1 true WO2024029400A1 (ja) 2024-02-08

Family

ID=89849003

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/027175 Ceased WO2024029400A1 (ja) 2022-08-01 2023-07-25 触力覚提示装置の振動体の制御装置、及び触力覚提示装置

Country Status (3)

Country Link
US (1) US20250181039A1 (ja)
JP (1) JP7782701B2 (ja)
WO (1) WO2024029400A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015019477A1 (ja) * 2013-08-08 2015-02-12 株式会社日立製作所 リハビリシステム及びその制御方法
WO2019189306A1 (ja) * 2018-03-30 2019-10-03 三井化学株式会社 外部刺激付与システム、外部刺激条件決定システム、外部刺激条件決定支援サーバ、およびデータ構造
JP2021007481A (ja) * 2019-06-28 2021-01-28 トヨタ自動車株式会社 学習装置、歩行訓練装置、システム、方法、プログラム、及び学習済みモデル
WO2021075017A1 (ja) * 2019-10-17 2021-04-22 日本電気株式会社 情報処理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019144629A (ja) * 2018-02-16 2019-08-29 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015019477A1 (ja) * 2013-08-08 2015-02-12 株式会社日立製作所 リハビリシステム及びその制御方法
WO2019189306A1 (ja) * 2018-03-30 2019-10-03 三井化学株式会社 外部刺激付与システム、外部刺激条件決定システム、外部刺激条件決定支援サーバ、およびデータ構造
JP2021007481A (ja) * 2019-06-28 2021-01-28 トヨタ自動車株式会社 学習装置、歩行訓練装置、システム、方法、プログラム、及び学習済みモデル
WO2021075017A1 (ja) * 2019-10-17 2021-04-22 日本電気株式会社 情報処理方法

Also Published As

Publication number Publication date
JPWO2024029400A1 (ja) 2024-02-08
US20250181039A1 (en) 2025-06-05
JP7782701B2 (ja) 2025-12-09

Similar Documents

Publication Publication Date Title
Kim A SWOT analysis of the field of virtual reality rehabilitation and therapy
US6692258B1 (en) Patient simulator
US20090088659A1 (en) Biological Sensing With Haptic Feedback
JP2021027917A (ja) 情報処理装置、情報処理システム、および機械学習装置
US6747672B1 (en) Virtual patient hot spots
Rajanna et al. KinoHaptics: An automated, wearable, Haptic assisted, physio-therapeutic system for post-surgery rehabilitation and self-care
Kimmel et al. Bodywork as systemic and inter-enactive competence: participatory process management in Feldenkrais® Method and Zen Shiatsu
WO2018194082A1 (ja) 運動器具、制御装置、およびプログラム
Andrade et al. Dynamic player modelling in serious games applied to rehabilitation robotics
US6972775B1 (en) Morphing patient features using an offset
Guevara et al. Intelligent models for movement detection and physical evolution of patients with hip surgery
KR20140113125A (ko) 개인 맞춤형 운동 관리 방법 및 시스템
WO2024029400A1 (ja) 触力覚提示装置の振動体の制御装置、及び触力覚提示装置
Figueiredo et al. Towards Adaptive Virtual Reality for Stroke Recovery: A Personalized Approach to Rehabilitation
WO2021075017A1 (ja) 情報処理方法
KR20210062342A (ko) 인지중재 프로그램 제공 방법 및 그 장치
Ferche et al. CHALLENGES AND ISSUES FOR SUCCESSFULLY APPLYING VIRTUAL REALITY IN MEDICAL REHABILITATION.
US20250181044A1 (en) Control unit for vibrator of haptic device and haptic device
KR20040051264A (ko) 햅틱인터페이스 장치를 기반으로 하는 가상현실재활시스템 및 방법
KR20240078420A (ko) 개인건강기록 기반 발달장애 관리 시스템 및 방법
US20250169771A1 (en) Control device for vibrator of haptic sensation presentation device, and haptic sensation presentation device
KR20230053838A (ko) 발달장애를 가진 피훈련자 맞춤형 운동프로그램 컨텐츠 제공 방법
US11875888B2 (en) Rehabilitation assistance device, rehabilitation assistance method, and non-transient storage medium storing rehabilitation assistance program
KR20240112818A (ko) 그래픽 사용자 인터페이스 엘리먼트의 알고리즘 렌더링을 위한 시스템 및 방법
Sobota et al. XR Technologies-Based Experimental Therapy System for Visual Enhancement of Patient's Brain Associations

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23849955

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024538951

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23849955

Country of ref document: EP

Kind code of ref document: A1