WO2024219321A1 - 行動制御システム - Google Patents
行動制御システム Download PDFInfo
- Publication number
- WO2024219321A1 WO2024219321A1 PCT/JP2024/014728 JP2024014728W WO2024219321A1 WO 2024219321 A1 WO2024219321 A1 WO 2024219321A1 JP 2024014728 W JP2024014728 W JP 2024014728W WO 2024219321 A1 WO2024219321 A1 WO 2024219321A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- user
- robot
- emotion
- behavior
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
- A01M29/00—Scaring or repelling devices, e.g. bird-scaring apparatus
- A01M29/16—Scaring or repelling devices, e.g. bird-scaring apparatus using sound waves
- A01M29/18—Scaring or repelling devices, e.g. bird-scaring apparatus using sound waves using ultrasonic signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H7/00—Devices for suction-kneading massage; Devices for massaging the skin by rubbing or brushing not otherwise provided for
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H11/00—Self-movable toy figures
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H13/00—Toy figures with self-moving parts, with or without movement of the toy as a whole
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H3/00—Dolls
- A63H3/02—Dolls made of fabrics or stuffed
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H5/00—Musical or noise- producing devices for additional toy effects other than acoustical
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62J—CYCLE SADDLES OR SEATS; AUXILIARY DEVICES OR ACCESSORIES SPECIALLY ADAPTED TO CYCLES AND NOT OTHERWISE PROVIDED FOR, e.g. ARTICLE CARRIERS OR CYCLE PROTECTORS
- B62J45/00—Electrical equipment arrangements specially adapted for use as accessories on cycles, not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62K—CYCLES; CYCLE FRAMES; CYCLE STEERING DEVICES; RIDER-OPERATED TERMINAL CONTROLS SPECIALLY ADAPTED FOR CYCLES; CYCLE AXLE SUSPENSIONS; CYCLE SIDE-CARS, FORECARS, OR THE LIKE
- B62K25/00—Axle suspensions
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
Definitions
- This disclosure relates to a behavior control system.
- Patent Publication No. 6053847 discloses a technology for determining the appropriate behavior of a robot in response to the user's state.
- the conventional technology of Patent Publication No. 6053847 recognizes the user's reaction when the robot performs a specific action, and if the robot is unable to determine the robot's behavior in response to the recognized user's reaction, it updates the robot's behavior by receiving information about the behavior appropriate to the recognized user's state from a server.
- a behavior control system includes a user state recognition unit that recognizes a user state including the user's behavior, an emotion determination unit that determines at least one of the user's emotion and the robot's emotion, and a behavior determination unit that determines the robot's behavior corresponding to the user's state and the user's emotion, or the robot's behavior corresponding to the user's state and the robot's emotion, based on a dialogue function that allows the user to dialogue with the robot, the robot being mounted on a conversational scheduler, and the behavior determination unit sets a user's behavior schedule based on the dialogue between the user and the robot.
- a behavior control system includes a user state recognition unit that recognizes a user state including a user's behavior, an emotion determination unit that determines the user's emotion or the robot's emotion, and a behavior determination unit that determines the robot's behavior corresponding to the user state and the user's emotion or the robot's emotion based on a dialogue function that allows the user and the robot to dialogue, the robot being mounted on a ticket guidance system, and the behavior determination unit autonomously guides the user through events while conversing with the user while observing the user's preferences, situation, and reactions.
- a behavior control system includes a user state recognition unit that recognizes a user state including a user's behavior, an emotion determination unit that determines the user's emotion or the robot's emotion, and a behavior determination unit that determines the robot's behavior corresponding to the user state and the user's emotion or the robot's emotion based on a sentence generation model having a dialogue function that allows the user and the robot to dialogue, and the behavior determination unit determines a walking method to be suggested to the user based on the dialogue result with the user by the sentence generation model.
- a behavior control system includes a user state recognition unit that recognizes a user state including a user's behavior, an emotion determination unit that determines the user's emotion or the robot's emotion, and a behavior determination unit that determines the robot's behavior corresponding to the user state and the user's emotion or the robot's emotion based on a sentence generation model having a dialogue function that allows the user and the robot to converse, and the behavior determination unit presents the user with information about the status or handling of clothing based on the dialogue between the user and the robot.
- a behavior control system includes a user state recognition unit that recognizes a user state including a user's behavior, an emotion determination unit that determines the user's emotion or the robot's emotion, and a behavior determination unit that determines the robot's behavior corresponding to the user state and the user's emotion or the robot's emotion based on a sentence generation model having a dialogue function that allows the user and the robot to converse, and the behavior determination unit determines the processing content of the intercom based on the user's emotion or the robot's emotion.
- the behavior decision unit may change at least one of the operation settings of the intercom, the content of the response to the user, and the content of the response to the visitor based on the user's emotion or the robot's emotion.
- the robot may be mounted on a stuffed toy, or connected wirelessly or by wire to a control target device mounted on the stuffed toy.
- a behavior control system includes a user state recognition unit that recognizes a user state including a user's behavior, an emotion determination unit that determines the user's emotion or the robot's emotion, and a behavior determination unit that determines the robot's behavior corresponding to the user state and the user's emotion or the robot's emotion based on a sentence generation model having a dialogue function that allows the user and the robot to converse with each other, and the behavior determination unit is capable of adjusting at least one of the temperature and elasticity of the mattress.
- the behavior decision unit is capable of individually adjusting the temperature for each part of the mattress.
- the behavior decision unit is capable of individually adjusting the elasticity of each part of the mattress.
- an eighth aspect of the present disclosure may be the sixth or seventh aspect, in which the action decision unit is capable of individually adjusting the elasticity of each part of the mattress.
- the temperature and elasticity are maintained according to the user's state.
- the ninth aspect of the present disclosure may be any one of the sixth to eighth aspects, in which the temperature and elasticity are maintained according to the user's state.
- the robot is mounted on a stuffed toy or is connected wirelessly or by wire to a control target device mounted on the stuffed toy.
- the tenth aspect of the present disclosure is any one of the sixth to ninth aspects, in which the robot is mounted on a stuffed toy or is connected wirelessly or by wire to a control target device mounted on the stuffed toy.
- a behavior control system includes: a user state recognition unit that recognizes a user state including a user's behavior; an emotion determining unit for determining an emotion of a user or an emotion of a robot; a behavior determination unit that determines a behavior of the robot corresponding to the user state and the user's emotion or the robot's emotion based on a dialogue function that allows a user and a robot to dialogue with each other,
- the robot is mounted on a massage chair,
- the behavior determining unit changes at least one setting of the massage chair's massage strength, massage course, massage time, and massage area based on the user's emotion or the robot's emotion.
- the massage chair is connected wirelessly or by wire to a control target device mounted on the stuffed toy.
- a behavior control system includes a user state recognition unit that recognizes a user state including a user's behavior, an emotion determination unit that determines the user's emotion or the robot's emotion, and a behavior determination unit that determines the robot's behavior corresponding to the user state and the user's emotion or the robot's emotion based on a sentence generation model having a dialogue function that allows the user and the robot to converse, and the behavior determination unit determines the processing content of the head mounted display based on the user's emotion or the robot's emotion.
- the behavior decision unit may change at least one of the operation time, image quality, sound quality, and content played on the head mounted display based on the user's emotion or the robot's emotion.
- the behavior decision unit may change at least one of the operation time, image quality, sound quality, and content played on the head mounted display to content more favorable to the user's health condition compared to before the threshold was exceeded.
- the robot may be mounted on a stuffed toy, or connected wirelessly or by wire to a control target device mounted on the stuffed toy.
- a behavior control system includes a user state recognition unit that recognizes a user state including a user's behavior, an emotion determination unit that determines the user's emotion or the robot's emotion, and a behavior determination unit that determines the robot's behavior corresponding to the user state and the user's emotion or the robot's emotion based on a sentence generation model having a dialogue function that allows the user and the robot to converse, and the behavior determination unit suggests parameters to be set in the AI bath device to the user.
- a behavior control system includes a user state recognition unit that recognizes a user state including a user's behavior, an emotion determination unit that determines the user's emotion or the robot's emotion, and a behavior determination unit that determines the robot's behavior corresponding to the user state and the user's emotion or the robot's emotion based on a sentence generation model having a dialogue function that allows the user and the robot to converse, and the behavior determination unit determines the behavior of the user using fitness equipment to speak content corresponding to the user state.
- the user state recognition unit recognizes the user's conversational preferences as the user state, and the behavior decision unit decides on a behavior of speaking content according to the user's conversational preferences.
- the user state recognition unit recognizes the user's facial expression as the user state, and the behavior decision unit decides on a behavior of speaking content corresponding to the user's facial expression.
- a seventeenth aspect of the present disclosure may be the fifteenth or sixteenth aspect, in which the user state recognition unit recognizes the user's facial expression as the user state, and the action determination unit determines an action to speak content corresponding to the user's facial expression.
- the user state recognition unit recognizes the user's heart rate as the user state, and the action decision unit decides on an action to speak content corresponding to the user's heart rate.
- an 18th aspect of the present disclosure may be any one of the 15th to 17th aspects, in which the user state recognition unit recognizes the user's heart rate as the user state, and the action decision unit decides on an action to speak content corresponding to the user's heart rate.
- the user state recognition unit recognizes the user's movement speed as the user state, and the action decision unit decides on an action to speak content corresponding to the user's movement speed.
- a 19th aspect of the present disclosure may be any one of the 15th to 18th aspects, in which the user state recognition unit recognizes the user's movement speed as the user state, and the action determination unit determines an action to speak content corresponding to the user's movement speed.
- the robot is mounted on a stuffed toy or is connected wirelessly or by wire to a control target device mounted on the stuffed toy.
- a twentieth aspect of the present disclosure may be any one of the fifteenth to nineteenth aspects, in which the robot is mounted on a stuffed toy or is connected wirelessly or by wire to a control target device mounted on the stuffed toy.
- a behavior control system includes a user state recognition unit that recognizes a user state including a user's behavior, an emotion determination unit that determines the user's emotion or the robot's emotion, and a behavior determination unit that determines the robot's behavior corresponding to the user state and the user's emotion or the robot's emotion based on a sentence generation model having a dialogue function that allows the user and the robot to converse, and the behavior determination unit determines the control of an actuator provided on a motorcycle as the robot's behavior.
- a behavior control system includes a user state recognition unit that recognizes a user state including a user's behavior, an emotion determination unit that determines the user's emotion or the robot's emotion, and a behavior determination unit that determines the robot's behavior corresponding to the user state and the user's emotion or the robot's emotion based on a sentence generation model having a dialogue function that allows the user and the robot to converse, and the behavior determination unit determines whether to generate ultrasonic waves for repelling insects around a fixture based on the dialogue result with the user by the sentence generation model, or determines the content of a response to a visitor based on the dialogue result with the user by the sentence generation model.
- a behavior control system includes a user state recognition unit that recognizes a user state including a user's behavior, an emotion determination unit that determines the user's emotion or the robot's emotion, and a behavior determination unit that determines the robot's behavior corresponding to the user state and the user's emotion or the robot's emotion based on a sentence generation model having a dialogue function that allows the user and the robot to converse, and the behavior determination unit causes the robot to output the contents of a menu based on the user's emotion or the robot's emotion.
- the behavior control system includes an acquisition unit that acquires information related to temperature, humidity, or season, and the behavior decision unit uses the information related to temperature, humidity, or season to control the robot to change the content of the menu to be output.
- the behavior control system includes an acquisition unit that acquires information about ingredients, and the behavior decision unit uses the information about the ingredients to be used to control the robot to change the content of the menu to be output.
- the behavior control system includes an acquisition unit that acquires information regarding the refrigerator's inventory, and the behavior decision unit uses the information regarding the refrigerator's inventory to control the robot to change the content of the menu to be output.
- the behavior control system includes an acquisition unit that acquires information related to the user's physical condition, and the behavior decision unit uses the information related to the user's physical condition to control the robot to change the content of the menu to be output.
- the behavior decision unit uses the user's menu history data to control the robot to change the content of the menu to be output.
- the robot is mounted on a stuffed toy, or is connected wirelessly or by wire to a control target device mounted on the stuffed toy.
- a behavior control system includes a user state recognition unit that recognizes a user state including a user's behavior, an emotion determination unit that determines the user's emotion or the robot's emotion, and a behavior determination unit that determines the robot's behavior corresponding to the user state and the user's emotion or the robot's emotion based on a sentence generation model having a dialogue function that allows the user and the robot to converse, and the behavior determination unit determines the robot's response action to a user who has measured the numerical value of their body composition based on the sentence generation model.
- a behavior control system includes a user state recognition unit that recognizes a user state including a user's behavior, an emotion determination unit that determines the user's emotion or the robot's emotion, and a behavior determination unit that determines the robot's behavior corresponding to the user state and the user's emotion or the robot's emotion based on a sentence generation model having a dialogue function that allows the user and the robot to converse, and the behavior determination unit identifies news that the user prefers, delivers the identified news, and determines the behavior of the robot to be to add a comment to the delivered news.
- a behavior control system includes a user state recognition unit that recognizes a user state including a user's behavior, an emotion determination unit that determines the user's emotion or the robot's emotion, and a behavior determination unit that determines the robot's behavior corresponding to the user state and the user's emotion or the robot's emotion based on a sentence generation model having a dialogue function that allows the user and the robot to converse, and the behavior determination unit gives advice to improve the driving technique by having a conversation with the driver based on at least one of the driver's preferences, driving situation, and reaction.
- a behavior control system includes a user state recognition unit that recognizes a user state including a user's behavior, an emotion determination unit that determines the user's emotion or the robot's emotion, and a behavior determination unit that determines the robot's behavior corresponding to the user state and the user's emotion or the robot's emotion based on a sentence generation model having a dialogue function that allows the user and the robot to converse, and the behavior determination unit determines, as the robot's behavior, to provide topics that facilitate smooth interaction between participants of a social gathering as users.
- FIG. 1 illustrates a schematic diagram of an example of a system 5 according to the present embodiment.
- 2 shows a schematic functional configuration of the robot 100.
- 10 shows an example of an operation flow of the robot 100.
- 1 illustrates an example of a hardware configuration of a computer 1200.
- 4 shows an emotion map 400 onto which multiple emotions are mapped.
- 9 shows an emotion map 900 onto which multiple emotions are mapped.
- 13A is an external view of a stuffed animal according to another embodiment
- FIG. 13B is a diagram showing the internal structure of the stuffed animal.
- FIG. 13 is a rear front view of a stuffed animal according to another embodiment.
- the system 5 includes a robot 100, a robot 101, a robot 102, and a server 300.
- a user 10a, a user 10b, a user 10c, and a user 10d are users of the robot 100.
- a user 11a, a user 11b, and a user 11c are users of the robot 101.
- a user 12a and a user 12b are users of the robot 102.
- the user 10a, the user 10b, the user 10c, and the user 10d may be collectively referred to as the user 10.
- the user 11a, the user 11b, and the user 11c may be collectively referred to as the user 11.
- the user 12a and the user 12b may be collectively referred to as the user 12.
- the robot 101 and the robot 102 have substantially the same functions as the robot 100. Therefore, the system 5 will be described mainly with reference to the functions of the robot 100.
- the robot 100 converses with the user 10 and provides images to the user 10.
- the robot 100 cooperates with a server 300 or the like with which it can communicate via the communication network 20 to converse with the user 10 and provide images, etc. to the user 10.
- the robot 100 not only learns appropriate conversation by itself, but also cooperates with the server 300 to learn how to have a more appropriate conversation with the user 10.
- the robot 100 also records captured image data of the user 10 in the server 300, and requests the image data, etc. from the server 300 as necessary and provides it to the user 10.
- the robot 100 also has an emotion value that represents the type of emotion it feels.
- the robot 100 has emotion values that represent the strength of each of the emotions: “happiness,” “anger,” “sorrow,” “pleasure,” “discomfort,” “relief,” “anxiety,” “sorrow,” “excitement,” “worry,” “relief,” “fulfillment,” “emptiness,” and “neutral.”
- the robot 100 converses with the user 10 when its excitement emotion value is high, for example, it speaks at a fast speed. In this way, the robot 100 can express its emotions through its actions.
- the robot 100 may be configured to determine the behavior of the robot 100 that corresponds to the emotions of the user 10 by matching a sentence generation model using AI (Artificial Intelligence) with an emotion engine. Specifically, the robot 100 may be configured to recognize the behavior of the user 10, determine the emotions of the user 10 regarding the user's behavior, and determine the behavior of the robot 100 that corresponds to the determined emotion.
- AI Artificial Intelligence
- the robot 100 when the robot 100 recognizes the behavior of the user 10, it automatically generates the behavioral content that the robot 100 should take in response to the behavior of the user 10, using a preset sentence generation model.
- the sentence generation model may be interpreted as an algorithm and calculation for automatic dialogue processing using text.
- the sentence generation model is publicly known, as disclosed in, for example, JP 2018-081444 A and chatGPT (Internet search ⁇ URL: https://openai.com/blog/chatgpt>), and therefore a detailed description thereof will be omitted.
- Such a sentence generation model is configured using a large language model (LLM: Large Language Model).
- the robot 100 also has a function of recognizing the behavior of the user 10.
- the robot 100 recognizes the behavior of the user 10 by analyzing the facial image of the user 10 acquired by the camera function and the voice of the user 10 acquired by the microphone function.
- the robot 100 determines the behavior to be performed by the robot 100 based on the recognized behavior of the user 10, etc.
- the robot 100 stores rules that define the actions that the robot 100 will take based on the emotions of the user 10, the emotions of the robot 100, and the actions of the user 10, and performs various actions according to the rules.
- the robot 100 has reaction rules for determining the behavior of the robot 100 based on the emotions of the user 10, the emotions of the robot 100, and the behavior of the user 10.
- the reaction rules define the behavior of the robot 100 as “laughing” when the behavior of the user 10 is “laughing”.
- the reaction rules also define the behavior of the robot 100 as "apologizing” when the behavior of the user 10 is “angry”.
- the reaction rules also define the behavior of the robot 100 as "answering” when the behavior of the user 10 is "asking a question”.
- the reaction rules also define the behavior of the robot 100 as "calling out” when the behavior of the user 10 is "sad”.
- the robot 100 When the robot 100 recognizes the behavior of the user 10 as “angry” based on the reaction rules, it selects the behavior of "apologizing” defined in the reaction rules as the behavior to be executed by the robot 100. For example, when the robot 100 selects the behavior of "apologizing”, it performs the motion of "apologizing” and outputs a voice expressing the words "apologize”.
- the robot 100 When the robot 100 recognizes based on the reaction rules that the current emotion of the robot 100 is "normal” and that the user 10 is alone and seems lonely, the robot 100 increases the emotion value of "sadness" of the robot 100.
- the robot 100 also selects the action of "calling out” defined in the reaction rules as the action to be performed toward the user 10. For example, when the robot 100 selects the action of "calling out", it converts the words “What's wrong?", which express concern, into a concerned voice and outputs it.
- the robot 100 also transmits to the server 300 user reaction information indicating that this action has elicited a positive reaction from the user 10.
- the user reaction information includes, for example, the user action of "getting angry,” the robot 100 action of "apologizing,” the fact that the user 10's reaction was positive, and the attributes of the user 10.
- the server 300 stores the user reaction information received from the robot 100.
- the server 300 receives and stores user reaction information not only from the robot 100, but also from each of the robots 101 and 102.
- the server 300 then analyzes the user reaction information from the robots 100, 101, and 102, and updates the reaction rules.
- the robot 100 receives the updated reaction rules from the server 300 by inquiring about the updated reaction rules from the server 300.
- the robot 100 incorporates the updated reaction rules into the reaction rules stored in the robot 100. This allows the robot 100 to incorporate the reaction rules acquired by the robots 101, 102, etc. into its own reaction rules.
- FIG. 2 shows a schematic functional configuration of the robot 100.
- the robot 100 has a sensor unit 200, a sensor module unit 210, a storage unit 220, a user state recognition unit 230, an emotion determination unit 232, a behavior recognition unit 234, a behavior determination unit 236, a memory control unit 238, a behavior control unit 250, a control target 252, and a communication processing unit 280.
- the controlled object 252 includes a display device, a speaker, LEDs in the eyes, and motors for driving the arms, hands, legs, etc.
- the posture and gestures of the robot 100 are controlled by controlling the motors of the arms, hands, legs, etc. Some of the emotions of the robot 100 can be expressed by controlling these motors.
- the facial expressions of the robot 100 can also be expressed by controlling the light emission state of the LEDs in the eyes of the robot 100.
- the posture, gestures, and facial expressions of the robot 100 are examples of the attitude of the robot 100.
- the sensor unit 200 includes a microphone 201, a 3D depth sensor 202, a 2D camera 203, and a distance sensor 204.
- the microphone 201 continuously detects sound and outputs sound data.
- the microphone 201 may be provided on the head of the robot 100 and may have a function of performing binaural recording.
- the 3D depth sensor 202 detects the contour of an object by continuously irradiating an infrared pattern and analyzing the infrared pattern from infrared images continuously captured by the infrared camera.
- the 2D camera 203 is an example of an image sensor. The 2D camera 203 captures images using visible light and generates visible light video information.
- the distance sensor 204 detects the distance to an object by irradiating, for example, a laser or ultrasonic waves.
- the sensor unit 200 may also include a clock, a gyro sensor, a touch sensor, a sensor for motor feedback, etc.
- the components other than the control target 252 and the sensor unit 200 are examples of components of the behavior control system of the robot 100.
- the behavior control system of the robot 100 controls the control target 252.
- the storage unit 220 includes reaction rules 221 and history data 222.
- the history data 222 includes the user 10's past emotional values and behavioral history. The emotional values and behavioral history are recorded for each user 10, for example, by being associated with the user 10's identification information.
- At least a part of the storage unit 220 is implemented by a storage medium such as a memory. It may include a person DB that stores the face image of the user 10, the attribute information of the user 10, and the like.
- the functions of the components of the robot 100 shown in FIG. 2, excluding the control target 252, the sensor unit 200, and the storage unit 220 can be realized by the CPU operating based on a program. For example, the functions of these components can be implemented as the operation of the CPU by the operating system (OS) and a program that operates on the OS.
- OS operating system
- the sensor module unit 210 includes a voice emotion recognition unit 211, a speech understanding unit 212, a facial expression recognition unit 213, and a face recognition unit 214.
- Information detected by the sensor unit 200 is input to the sensor module unit 210.
- the sensor module unit 210 analyzes the information detected by the sensor unit 200 and outputs the analysis result to the user state recognition unit 230.
- the voice emotion recognition unit 211 of the sensor module unit 210 analyzes the voice of the user 10 detected by the microphone 201 and recognizes the emotions of the user 10. For example, the voice emotion recognition unit 211 extracts features such as frequency components of the voice and recognizes the emotions of the user 10 based on the extracted features.
- the speech understanding unit 212 analyzes the voice of the user 10 detected by the microphone 201 and outputs text information representing the content of the user 10's utterance.
- the facial expression recognition unit 213 recognizes the facial expression and emotions of the user 10 from the image of the user 10 captured by the 2D camera 203. For example, the facial expression recognition unit 213 recognizes the facial expression and emotions of the user 10 based on the shape, positional relationship, etc. of the eyes and mouth.
- the face recognition unit 214 recognizes the face of the user 10.
- the face recognition unit 214 recognizes the user 10 by matching a face image stored in a person DB (not shown) with a face image of the user 10 captured by the 2D camera 203.
- the user state recognition unit 230 recognizes the state of the user 10 based on the information analyzed by the sensor module unit 210. For example, it mainly performs processing related to perception using the analysis results of the sensor module unit 210. For example, it generates perceptual information such as "Daddy is alone” or "There is a 90% chance that Daddy is not smiling.” It then performs processing to understand the meaning of the generated perceptual information. For example, it generates semantic information such as "Daddy is alone and looks lonely.”
- the emotion determination unit 232 determines an emotion value indicating the emotion of the user 10 based on the information analyzed by the sensor module unit 210 and the state of the user 10 recognized by the user state recognition unit 230. For example, the information analyzed by the sensor module unit 210 and the recognized state of the user 10 are input to a pre-trained neural network to obtain an emotion value indicating the emotion of the user 10.
- the emotion value indicating the emotion of user 10 is a value indicating the positive or negative emotion of the user.
- the user's emotion is a cheerful emotion accompanied by a sense of pleasure or comfort, such as “joy,” “pleasure,” “comfort,” “relief,” “excitement,” “relief,” and “fulfillment,” it will show a positive value, and the more cheerful the emotion, the larger the value.
- the user's emotion is an unpleasant emotion, such as “anger,” “sorrow,” “discomfort,” “anxiety,” “sorrow,” “worry,” and “emptiness,” it will show a negative value, and the more unpleasant the emotion, the larger the absolute value of the negative value will be.
- the user's emotion is none of the above (“normal), it will show a value of 0.
- the emotion determination unit 232 determines an emotion value indicating the emotion of the robot 100 based on the information analyzed by the sensor module unit 210 and the state of the user 10 recognized by the user state recognition unit 230 .
- the emotion value of the robot 100 includes emotion values for each of a plurality of emotion categories, and is, for example, a value (0 to 5) indicating the strength of each of "happiness,””anger,””sorrow,” and "pleasure.”
- the emotion determination unit 232 determines an emotion value indicating the emotion of the robot 100 according to rules for updating the emotion value of the robot 100 that are determined in association with the information analyzed by the sensor module unit 210 and the state of the user 10 recognized by the user state recognition unit 230.
- the emotion determination unit 232 increases the emotion value of "sadness" of the robot 100. Also, if the user state recognition unit 230 recognizes that the user 10 is smiling, the emotion determination unit 232 increases the emotion value of "happy" of the robot 100.
- the emotion determination unit 232 may further consider the state of the robot 100 when determining the emotion value indicating the emotion of the robot 100. For example, when the battery level of the robot 100 is low or when the surrounding environment of the robot 100 is completely dark, the emotion value of "sadness" of the robot 100 may be increased. Furthermore, when the user 10 continues to talk to the robot 100 despite the battery level being low, the emotion value of "anger" may be increased.
- the behavior recognition unit 234 recognizes the behavior of the user 10 based on the information analyzed by the sensor module unit 210 and the state of the user 10 recognized by the user state recognition unit 230. For example, the information analyzed by the sensor module unit 210 and the recognized state of the user 10 are input into a pre-trained neural network, the probability of each of a number of predetermined behavioral categories (e.g., "laughing,” “anger,” “asking a question,” “sad”) is obtained, and the behavioral category with the highest probability is recognized as the behavior of the user 10.
- a number of predetermined behavioral categories e.g., "laughing,” “anger,” “asking a question,” “sad”
- the robot 100 acquires the contents of the user 10's speech after identifying the user 10.
- the robot 100 obtains the necessary consent in accordance with laws and regulations from the user 10, and the behavior control system of the robot 100 according to this embodiment takes into consideration the protection of the personal information and privacy of the user 10.
- the behavior determination unit 236 determines an action corresponding to the action of the user 10 recognized by the behavior recognition unit 234 based on the current emotion value of the user 10 determined by the emotion determination unit 232, the history data 222 of past emotion values determined by the emotion determination unit 232 before the current emotion value of the user 10 was determined, and the emotion value of the robot 100.
- the behavior determination unit 236 uses one most recent emotion value included in the history data 222 as the past emotion value of the user 10, but the disclosed technology is not limited to this aspect.
- the behavior determination unit 236 may use the most recent multiple emotion values as the past emotion value of the user 10, or may use an emotion value from a unit period ago, such as one day ago.
- the behavior determination unit 236 may determine an action corresponding to the action of the user 10 by further considering not only the current emotion value of the robot 100 but also the history of the past emotion values of the robot 100.
- the behavior determined by the behavior determination unit 236 includes gestures performed by the robot 100 or the contents of speech uttered by the robot 100.
- the behavior decision unit 236 decides the behavior of the robot 100 as the behavior corresponding to the behavior of the user 10, based on a combination of the past and current emotion values of the user 10, the emotion value of the robot 100, the behavior of the user 10, and the reaction rules 221. For example, when the past emotion value of the user 10 is a positive value and the current emotion value is a negative value, the behavior decision unit 236 decides the behavior for changing the emotion value of the user 10 to a positive value as the behavior corresponding to the behavior of the user 10.
- the reaction rules 221 define the behavior of the robot 100 according to a combination of the past and current emotion values of the user 10, the emotion value of the robot 100, and the behavior of the user 10. For example, when the past emotion value of the user 10 is a positive value and the current emotion value is a negative value, and the behavior of the user 10 is sad, a combination of gestures and speech content when asking a question to encourage the user 10 with gestures is defined as the behavior of the robot 100.
- the reaction rule 221 defines behaviors of the robot 100 for patterns of the emotion values of the robot 100 (1296 patterns, which are the fourth power of six values of "joy”, “anger”, “sorrow”, and “pleasure”, from “0” to "5"), combination patterns of the past emotion values and the current emotion values of the user 10, and all combinations of the behavior patterns of the user 10. That is, for each pattern of the emotion values of the robot 100, behaviors of the robot 100 are defined according to the behavior patterns of the user 10 for each of a plurality of combinations of the past emotion values and the current emotion values of the user 10, such as negative values and negative values, negative values and positive values, positive values and negative values, positive values and positive values, negative values and normal values, and normal values and normal values.
- the behavior determining unit 236 may transition to an operation mode in which the behavior of the robot 100 is determined using the history data 222.
- the reaction rules 221 may prescribe at least one of a gesture and a statement as the behavior of the robot 100 for each of the patterns (1296 patterns) of the emotion value of the robot 100.
- the reaction rules 221 may prescribe at least one of a gesture and a statement as the behavior of the robot 100 for each group of patterns of the emotion value of the robot 100.
- the strength of each gesture included in the behavior of the robot 100 defined in the reaction rules 221 is determined in advance.
- the strength of each utterance included in the behavior of the robot 100 defined in the reaction rules 221 is determined in advance.
- the memory control unit 238 determines whether or not to store data including the behavior of the user 10 in the history data 222 based on the predetermined behavior strength for the behavior determined by the behavior determination unit 236 and the emotion value of the robot 100 determined by the emotion determination unit 232. Specifically, when a total intensity value, which is the sum of the emotional values for each of the multiple emotional classifications of the robot 100, the predetermined intensity for the gestures included in the behavior determined by the behavior determination unit 236, and the predetermined intensity for the speech content included in the behavior determined by the behavior determination unit 236, is equal to or greater than a threshold value, it is decided to store data including the behavior of the user 10 in the history data 222.
- the memory control unit 238 decides to store data including the behavior of the user 10 in the history data 222, it stores in the history data 222 the behavior determined by the behavior determination unit 236, the information analyzed by the sensor module unit 210 from the present time up to a certain period of time ago (e.g., all surrounding information such as data on the sound, images, smells, etc. of the scene), and the state of the user 10 recognized by the user state recognition unit 230 (e.g., the facial expression, emotions, etc. of the user 10).
- a certain period of time ago e.g., all surrounding information such as data on the sound, images, smells, etc. of the scene
- the state of the user 10 recognized by the user state recognition unit 230 e.g., the facial expression, emotions, etc. of the user 10
- the behavior control unit 250 controls the control target 252 based on the behavior determined by the behavior determination unit 236. For example, when the behavior determination unit 236 determines an behavior that includes speaking, the behavior control unit 250 outputs sound from a speaker included in the control target 252. At this time, the behavior control unit 250 may determine the speaking speed of the sound based on the emotion value of the robot 100. For example, the behavior control unit 250 determines a faster speaking speed as the emotion value of the robot 100 increases. In this way, the behavior control unit 250 determines the execution form of the behavior determined by the behavior determination unit 236 based on the emotion value determined by the emotion determination unit 232.
- the behavior control unit 250 may recognize a change in the user 10's emotions in response to the execution of the behavior determined by the behavior determination unit 236.
- the change in emotions may be recognized based on the voice or facial expression of the user 10.
- the change in emotions may be recognized based on the detection of an impact by a touch sensor included in the sensor unit 200. If an impact is detected by the touch sensor included in the sensor unit 200, the user 10's emotions may be recognized as having worsened, and if the detection result of the touch sensor included in the sensor unit 200 indicates that the user 10 is smiling or happy, the user 10's emotions may be recognized as having improved.
- Information indicating the user 10's reaction is output to the communication processing unit 280.
- the emotion determination unit 232 further changes the emotion value of the robot 100 based on the user's reaction to the execution of the behavior. Specifically, the emotion determination unit 232 increases the emotion value of "happiness" of the robot 100 when the user's reaction to the behavior determined by the behavior determination unit 236 being performed on the user in the execution form determined by the behavior control unit 250 is not bad. In addition, the emotion determination unit 232 increases the emotion value of "sadness" of the robot 100 when the user's reaction to the behavior determined by the behavior determination unit 236 being performed on the user in the execution form determined by the behavior control unit 250 is bad.
- the behavior control unit 250 expresses the emotion of the robot 100 based on the determined emotion value of the robot 100. For example, when the behavior control unit 250 increases the emotion value of "happiness" of the robot 100, it controls the control object 252 to make the robot 100 perform a happy gesture. Furthermore, when the behavior control unit 250 increases the emotion value of "sadness" of the robot 100, it controls the control object 252 to make the robot 100 assume a droopy posture.
- the communication processing unit 280 is responsible for communication with the server 300. As described above, the communication processing unit 280 transmits user reaction information to the server 300. In addition, the communication processing unit 280 receives updated reaction rules from the server 300. When the communication processing unit 280 receives updated reaction rules from the server 300, it updates the reaction rules 221.
- the server 300 communicates between the robots 100, 101, and 102 and the server 300, receives user reaction information sent from the robot 100, and updates the reaction rules based on the reaction rules that include actions that have generated positive reactions.
- FIG. 3 shows an example of an outline of an operation flow relating to an operation for determining an action in the robot 100.
- the operation flow shown in FIG. 3 is executed repeatedly. At this time, it is assumed that information analyzed by the sensor module unit 210 is input. Note that "S" in the operation flow indicates the step that is executed.
- step S100 the user state recognition unit 230 recognizes the state of the user 10 based on the information analyzed by the sensor module unit 210.
- step S102 the emotion determination unit 232 determines an emotion value indicating the emotion of the user 10 based on the information analyzed by the sensor module unit 210 and the state of the user 10 recognized by the user state recognition unit 230.
- step S103 the emotion determination unit 232 determines an emotion value indicating the emotion of the robot 100 based on the information analyzed by the sensor module unit 210 and the state of the user 10 recognized by the user state recognition unit 230.
- the emotion determination unit 232 adds the determined emotion value of the user 10 to the history data 222.
- step S104 the behavior recognition unit 234 recognizes the behavior classification of the user 10 based on the information analyzed by the sensor module unit 210 and the state of the user 10 recognized by the user state recognition unit 230.
- step S106 the behavior decision unit 236 decides the behavior of the robot 100 based on a combination of the current emotion value of the user 10 determined in step S102 and the past emotion values included in the history data 222, the emotion value of the robot 100, the behavior of the user 10 recognized by the behavior recognition unit 234, and the reaction rules 221.
- step S108 the behavior control unit 250 controls the control target 252 based on the behavior determined by the behavior determination unit 236.
- step S110 the memory control unit 238 calculates a total intensity value based on the predetermined action intensity for the action determined by the action determination unit 236 and the emotion value of the robot 100 determined by the emotion determination unit 232.
- step S112 the storage control unit 238 determines whether the total intensity value is equal to or greater than the threshold value. If the total intensity value is less than the threshold value, the process ends without storing data including the user's 10's behavior in the history data 222. On the other hand, if the total intensity value is equal to or greater than the threshold value, the process proceeds to step S114.
- step S114 the behavior determined by the behavior determination unit 236, the information analyzed by the sensor module unit 210 from the present time up to a certain period of time ago, and the state of the user 10 recognized by the user state recognition unit 230 are stored in the history data 222.
- an emotion value indicating the emotion of the robot 100 is determined based on the user state, and whether or not to store data including the behavior of the user 10 in the history data 222 is determined based on the emotion value of the robot 100.
- the robot 100 can present to the user 10 all kinds of peripheral information, such as the state of the user 10 10 years ago (e.g., the facial expression, emotions, etc. of the user 10), as well as data on the sound, image, smell, etc. of the location.
- the robot 100 it is possible to cause the robot 100 to perform an appropriate action in response to the action of the user 10.
- the user's actions were classified and actions including the robot's facial expressions and appearance were determined.
- the robot 100 determines the current emotional value of the user 10 and performs an action on the user 10 based on the past emotional value and the current emotional value. Therefore, for example, if the user 10 who was cheerful yesterday is depressed today, the robot 100 can utter such a thing as "You were cheerful yesterday, but what's wrong with you today?" The robot 100 can also utter with gestures.
- the robot 100 can utter such a thing as "You were depressed yesterday, but you seem cheerful today, don't you?" For example, if the user 10 who was cheerful yesterday is more cheerful today than yesterday, the robot 100 can utter such a thing as "You're more cheerful today than yesterday. Has something better happened than yesterday?" Furthermore, for example, when the user 10 continues to have an emotion value of 0 or more and the emotion value fluctuation range is within a certain range, the robot 100 can say something like, "You've been feeling stable lately, which is nice.”
- the robot 100 can ask the user 10, "Did you finish the homework I told you about yesterday?" and, if the user 10 responds, "I did it," make a positive utterance such as "Great! and perform a positive gesture such as clapping or a thumbs up. Also, for example, when the user 10 says, "The presentation you gave the day before yesterday went well," the robot 100 can make a positive utterance such as "You did a great job! and perform the above-mentioned positive gesture. In this way, the robot 100 can be expected to make the user 10 feel a sense of closeness to the robot 100 by performing actions based on the state history of the user 10.
- the robot 100 recognizes the user 10 using a facial image of the user 10, but the disclosed technology is not limited to this aspect.
- the robot 100 may recognize the user 10 using a voice emitted by the user 10, an email address of the user 10, an SNS ID of the user 10, or an ID card with a built-in wireless IC tag that the user 10 possesses.
- the robot 100 is an example of an electronic device equipped with a behavior control system.
- the application of the behavior control system is not limited to the robot 100, and the behavior control system can be applied to various electronic devices.
- the functions of the server 300 may be implemented by one or more computers. At least some of the functions of the server 300 may be implemented by a virtual machine. Furthermore, at least some of the functions of the server 300 may be implemented in the cloud.
- FIG. 4 shows a schematic diagram of an example of a hardware configuration of a computer 1200 functioning as the robot 100 and the server 300.
- a program installed on the computer 1200 can cause the computer 1200 to function as one or more "parts" of an apparatus according to the present embodiment, or to execute operations or one or more "parts” associated with an apparatus according to the present embodiment, and/or to execute a process or steps of a process according to the present embodiment.
- Such a program can be executed by the CPU 1212 to cause the computer 1200 to execute specific operations associated with some or all of the blocks of the flowcharts and block diagrams described herein.
- the computer 1200 includes a CPU 1212, a RAM 1214, and a graphics controller 1216, which are connected to each other by a host controller 1210.
- the computer 1200 also includes input/output units such as a communication interface 1222, a storage device 1224, a DVD drive 1226, and an IC card drive, which are connected to the host controller 1210 via an input/output controller 1220.
- the DVD drive 1226 may be a DVD-ROM drive, a DVD-RAM drive, or the like.
- the storage device 1224 may be a hard disk drive, a solid state drive, or the like.
- the computer 1200 also includes a ROM 1230 and a legacy input/output unit such as a keyboard, which are connected to the input/output controller 1220 via an input/output chip 1240.
- the CPU 1212 operates according to the programs stored in the ROM 1230 and the RAM 1214, thereby controlling each unit.
- the graphics controller 1216 acquires image data generated by the CPU 1212 into a frame buffer or the like provided in the RAM 1214 or into itself, and causes the image data to be displayed on the display device 1218.
- the communication interface 1222 communicates with other electronic devices via a network.
- the storage device 1224 stores programs and data used by the CPU 1212 in the computer 1200.
- the DVD drive 1226 reads programs or data from a DVD-ROM 1227 or the like, and provides the programs or data to the storage device 1224.
- the IC card drive reads programs and data from an IC card and/or writes programs and data to an IC card.
- ROM 1230 stores therein a boot program or the like to be executed by computer 1200 upon activation, and/or a program that depends on the hardware of computer 1200.
- I/O chip 1240 may also connect various I/O units to I/O controller 1220 via USB ports, parallel ports, serial ports, keyboard ports, mouse ports, etc.
- the programs are provided by a computer-readable storage medium such as a DVD-ROM 1227 or an IC card.
- the programs are read from the computer-readable storage medium, installed in the storage device 1224, RAM 1214, or ROM 1230, which are also examples of computer-readable storage media, and executed by the CPU 1212.
- the information processing described in these programs is read by the computer 1200, and brings about cooperation between the programs and the various types of hardware resources described above.
- An apparatus or method may be configured by realizing the operation or processing of information according to the use of the computer 1200.
- CPU 1212 may execute a communication program loaded into RAM 1214 and instruct communication interface 1222 to perform communication processing based on the processing described in the communication program.
- communication interface 1222 reads transmission data stored in a transmission buffer area provided in RAM 1214, storage device 1224, DVD-ROM 1227, or a recording medium such as an IC card, and transmits the read transmission data to the network, or writes received data received from the network to a reception buffer area or the like provided on the recording medium.
- the CPU 1212 may also cause all or a necessary portion of a file or database stored in an external recording medium such as the storage device 1224, DVD drive 1226 (DVD-ROM 1227), IC card, etc. to be read into the RAM 1214, and perform various types of processing on the data on the RAM 1214. The CPU 1212 may then write back the processed data to the external recording medium.
- an external recording medium such as the storage device 1224, DVD drive 1226 (DVD-ROM 1227), IC card, etc.
- CPU 1212 may perform various types of processing on data read from RAM 1214, including various types of operations, information processing, conditional judgment, conditional branching, unconditional branching, information search/replacement, etc., as described throughout this disclosure and specified by the instruction sequence of the program, and write back the results to RAM 1214.
- CPU 1212 may also search for information in a file, database, etc. in the recording medium.
- CPU 1212 may search for an entry whose attribute value of the first attribute matches a specified condition from among the multiple entries, read the attribute value of the second attribute stored in the entry, and thereby obtain the attribute value of the second attribute associated with the first attribute that satisfies a predetermined condition.
- the above-described programs or software modules may be stored in a computer-readable storage medium on the computer 1200 or in the vicinity of the computer 1200.
- a recording medium such as a hard disk or RAM provided in a server system connected to a dedicated communication network or the Internet can be used as a computer-readable storage medium, thereby providing the programs to the computer 1200 via the network.
- the blocks in the flowcharts and block diagrams in this embodiment may represent stages of a process in which an operation is performed or "parts" of a device responsible for performing the operation. Particular stages and “parts" may be implemented by dedicated circuitry, programmable circuitry provided with computer-readable instructions stored on a computer-readable storage medium, and/or a processor provided with computer-readable instructions stored on a computer-readable storage medium.
- the dedicated circuitry may include digital and/or analog hardware circuitry and may include integrated circuits (ICs) and/or discrete circuits.
- the programmable circuitry may include reconfigurable hardware circuitry including AND, OR, XOR, NAND, NOR, and other logical operations, flip-flops, registers, and memory elements, such as, for example, field programmable gate arrays (FPGAs) and programmable logic arrays (PLAs).
- FPGAs field programmable gate arrays
- PDAs programmable logic arrays
- a computer-readable storage medium may include any tangible device capable of storing instructions that are executed by a suitable device, such that a computer-readable storage medium having instructions stored thereon comprises an article of manufacture that includes instructions that can be executed to create means for performing the operations specified in the flowchart or block diagram.
- Examples of computer-readable storage media may include electronic storage media, magnetic storage media, optical storage media, electromagnetic storage media, semiconductor storage media, and the like.
- Computer-readable storage media may include floppy disks, diskettes, hard disks, random access memories (RAMs), read-only memories (ROMs), erasable programmable read-only memories (EPROMs or flash memories), electrically erasable programmable read-only memories (EEPROMs), static random access memories (SRAMs), compact disk read-only memories (CD-ROMs), digital versatile disks (DVDs), Blu-ray disks, memory sticks, integrated circuit cards, and the like.
- RAMs random access memories
- ROMs read-only memories
- EPROMs or flash memories erasable programmable read-only memories
- EEPROMs electrically erasable programmable read-only memories
- SRAMs static random access memories
- CD-ROMs compact disk read-only memories
- DVDs digital versatile disks
- Blu-ray disks memory sticks, integrated circuit cards, and the like.
- the computer readable instructions may include either assembler instructions, instruction set architecture (ISA) instructions, machine instructions, machine-dependent instructions, microcode, firmware instructions, state setting data, or source or object code written in any combination of one or more programming languages, including object-oriented programming languages such as Smalltalk, JAVA (registered trademark), C++, etc., and conventional procedural programming languages such as the "C" programming language or similar programming languages.
- ISA instruction set architecture
- machine instructions machine-dependent instructions
- microcode firmware instructions
- state setting data or source or object code written in any combination of one or more programming languages, including object-oriented programming languages such as Smalltalk, JAVA (registered trademark), C++, etc., and conventional procedural programming languages such as the "C" programming language or similar programming languages.
- the computer-readable instructions may be provided to a processor of a general-purpose computer, special-purpose computer, or other programmable data processing apparatus, or to a programmable circuit, either locally or over a local area network (LAN), a wide area network (WAN) such as the Internet, so that the processor of the general-purpose computer, special-purpose computer, or other programmable data processing apparatus, or to a programmable circuit, executes the computer-readable instructions to generate means for performing the operations specified in the flowcharts or block diagrams.
- processors include computer processors, processing units, microprocessors, digital signal processors, controllers, microcontrollers, etc.
- the robot 100 may be applied to a robot mounted on a device such as an electric appliance, a computer, an automobile, a motorcycle, a toy, etc., or the robot 100 may control a device such as an electric appliance, a computer, an automobile, a motorcycle, a toy, etc.
- the robot 100 may also be mounted on a stuffed toy or a doll, or may be applied to a control device connected wirelessly or by wire to a control target device (a speaker or a camera) mounted on a stuffed toy or a doll, etc.
- the robot 100 may be applied to the control of an interactive scheduler.
- the robot 100 may be configured to include, as the control target 252, a display panel for notifying the user of the schedule, a speaker, an LED, and a bell used in an alarm clock, for example.
- the robot 100 executes the process of setting the user's action plan (schedule) according to the user's preferences, user's situation, and user's reactions through the following steps 1 to 5-2.
- Step 1 The robot 100 acquires the state of the user 10, the emotional value of the user 10, the emotional value of the robot 100, and the history data 222. Specifically, the robot 100 performs the same processing as steps S100 to S103 described above to acquire the state of the user 10, the emotional value of the user 10, the emotional value of the robot 100, and the history data 222.
- Step 2 The robot 100 acquires the preferences of the user 10 regarding places, sports, hobbies, etc. Specifically, the behavior decision unit 236 decides that the behavior of the robot 100 will be to speak questions to the user 10 about favorite places, favorite sports, favorite hobbies, etc., and the behavior control unit 250 controls the control target 252 to speak questions to the user 10 about favorite places, favorite sports, favorite hobbies, etc.
- the user state recognition unit 230 recognizes the preferences of the user 10 about places, sports, hobbies, etc., based on information analyzed by the sensor module unit 210 (e.g., the user's answers).
- the behavior control unit 250 is not limited to making utterances that directly ask the user 10 about a favorite place, a favorite sport, or a favorite hobby. For example, the behavior control unit 250 may make utterances that indirectly ask the user 10 about a favorite place, a favorite sport, or a favorite hobby.
- the robot 100 determines a behavior schedule to be proposed to the user 10.
- the behavior decision unit 236 acquires the contents of the user 10's preferences by adding a predetermined fixed sentence to the text representing the user 10's preferences regarding places, sports, hobbies, etc., the user 10's emotions, the robot 100's emotions, and the contents stored in the history data 222, and inputting the text into the sentence generation model. For example, fixed sentences such as "Where is your recommended place?", "What is your recommended sport?", "What is your recommended dish?”, "What is your recommended music?”, "What is your recommended movie?”, and "Where is your recommended travel destination?” may be added and input into the sentence generation model to acquire the contents of the user 10's recommendations.
- Step 4 The robot 100 proposes the action plan determined in step 3 to the user 10 and obtains a response from the user 10. Specifically, the behavior decision unit 236 decides on an utterance proposing an action plan to the user 10 as the behavior of the robot 100, and the behavior control unit 250 controls the control target 252 to make an utterance proposing an action plan to the user 10. For example, when the robot 100 recognizes that the user 10 likes mountain climbing, it proposes "Shall we go to Mt. Fuji on New Year's Day next year to see the first sunrise?" and acquires the reaction of the user 10. Also, for example, when the robot 100 recognizes that the user 10 likes baseball, it proposes "Shall we go to see a baseball game this weekend?" and acquires the reaction of the user 10.
- the robot 100 when the robot 100 recognizes that the user 10 likes a particular actor A, it proposes "Shall we go see a movie starring actor A tonight?" and acquires the reaction of the user 10.
- the user state recognition unit 230 recognizes the state of the user 10 based on the information analyzed by the sensor module unit 210, and the emotion determination unit 232 determines an emotion value indicating the emotion of the user 10 based on the information analyzed by the sensor module unit 210 and the state of the user 10 recognized by the user state recognition unit 230.
- the behavior determination unit 236 judges whether the reaction of the user 10 is positive or not based on the state of the user 10 recognized by the user state recognition unit 230 and the emotion value indicating the emotion of the user 10, and determines, as the behavior of the robot 100, whether to execute a process of setting a proposed behavior schedule for the user 10 or to propose a different behavior schedule to the user 10.
- Step 5-1 If the reaction of the user 10 is positive, the robot 100 executes a process of setting the proposed action schedule. Specifically, when it is determined that the robot 100 is to execute a process of setting a proposed action plan for the user 10, the action control unit 250 controls the display panel, speaker, LED, bell, etc., which are the control objects 252, so as to execute the setting of the proposed action plan for the user 10.
- the robot 100 may change the notification mode when notifying the user 10 of the planned action, depending on the state and emotion of the user 10. Specifically, the robot 100 may change the volume of the alarm sound output from the speaker or the type of notification sound, or may change the color of the lit or blinking LED.
- Step 5-2 If the reaction of the user 10 is not positive, the robot 100 determines another action plan to propose to the user 10. Specifically, when it is determined that another action plan should be proposed to the user 10 as the action of the robot 100, the action decision unit 236 adds fixed sentences such as "Any other places you would recommend?", "Any other sports you would recommend?", “Any other dishes you would recommend?”, “Any other music you would recommend?”, “Any other movies you would recommend?”, and "Any other travel destinations you would recommend?” to the text representing the preferences of the user 10 regarding places, sports, hobbies, etc., the feelings of the user 10, the feelings of the robot 100, and the contents stored in the history data 222, and inputs them into the sentence generation model to obtain the recommended contents regarding the action plan. Then, the process returns to step 4, and the above steps 4 to 5-2 are repeated until it is determined to execute the process of setting the action plan proposed to the user 10.
- the robot 100 can execute a process of setting an action plan according to the preferences of the user 10, the situation of the user 10, and the reaction of the user 10.
- the emotion determination unit 232 may determine the user's emotion according to a specific mapping. Specifically, the emotion determination unit 232 may determine the user's emotion according to an emotion map (see FIG. 5), which is a specific mapping.
- emotion map 400 is a diagram showing an emotion map 400 on which multiple emotions are mapped.
- emotions are arranged in concentric circles radiating from the center. The closer to the center of the concentric circles, the more primitive emotions are arranged.
- Emotions that represent states and actions arising from a state of mind are arranged on the outer sides of the concentric circles. Emotions are a concept that includes emotions and mental states.
- emotions that are generally generated from reactions that occur in the brain are arranged.
- emotions that are generally induced by situational judgment are arranged on the upper and lower sides of the concentric circles.
- emotions of "pleasure” are arranged, and on the lower side, emotions of "discomfort” are arranged.
- emotion map 400 multiple emotions are mapped based on the structure in which emotions are generated, and emotions that tend to occur simultaneously are mapped close to each other.
- the frequency of the determination of the reaction action of the robot 100 may be set to at least the same timing as the detection frequency of the emotion engine (100 msec), or may be set to an earlier timing.
- the detection frequency of the emotion engine may be interpreted as the sampling rate.
- the robot 100 By detecting emotions in about 100 msec and immediately performing a corresponding reaction (e.g., a backchannel), unnatural backchannels can be avoided, and a natural dialogue that reads the atmosphere can be realized.
- the robot 100 performs a reaction (such as a backchannel) according to the directionality and the degree (strength) of the mandala in the emotion map 400.
- the detection frequency (sampling rate) of the emotion engine is not limited to 100 ms, and may be changed according to the situation (e.g., when playing sports), the age of the user, etc.
- the directionality of emotions and the strength of their intensity may be preset in reference to the emotion map 400, and the movement of the interjections and the strength of the interjections may be set. For example, if the robot 100 feels a sense of stability or security, the robot 100 may nod and continue listening. If the robot 100 feels anxious, confused, or suspicious, the robot 100 may tilt its head or stop shaking its head.
- emotion map 400 These emotions are distributed in the three o'clock direction on emotion map 400, and usually fluctuate between relief and anxiety. In the right half of emotion map 400, situational awareness takes precedence over internal sensations, resulting in a sense of calm.
- the filler "ah” may be inserted before the line, and if the robot 100 feels hurt after receiving harsh words, the filler "ugh! may be inserted before the line. Also, a physical reaction such as the robot 100 crouching down while saying "ugh! may be included. These emotions are distributed around 9 o'clock on the emotion map 400.
- the robot 100 When the robot 100 feels an internal sense (reaction) of satisfaction, but also feels a favorable impression in its situational awareness, the robot 100 may nod deeply while looking at the other person, or may say "uh-huh.” In this way, the robot 100 may generate a behavior that shows a balanced favorable impression toward the other person, that is, tolerance and psychology toward the other person.
- Such emotions are distributed around 12 o'clock on the emotion map 400.
- the robot 100 may shake its head when it feels disgust, or turn the eye LEDs red and glare at the other person when it feels ashamed.
- These types of emotions are distributed around the 6 o'clock position on the emotion map 400.
- emotion map 400 represents what is going on inside one's mind, while the outside of emotion map 400 represents behavior, so the further out on emotion map 400 you go, the more visible the emotions become (the more they are expressed in behavior).
- the robot 100 When listening to someone with a sense of relief, which is distributed around the 3 o'clock area of the emotion map 400, the robot 100 may lightly nod its head and say “hmm,” but when it comes to love, which is distributed around 12 o'clock, it may nod vigorously, nodding its head deeply.
- the emotion determination unit 232 inputs the information analyzed by the sensor module unit 210 and the recognized state of the user 10 into a pre-trained neural network, obtains emotion values indicating each emotion shown in the emotion map 400, and determines the emotion of the user 10.
- This neural network is pre-trained based on multiple learning data that are combinations of the information analyzed by the sensor module unit 210 and the recognized state of the user 10, and emotion values indicating each emotion shown in the emotion map 400. Furthermore, this neural network is trained so that emotions that are located close to each other have similar values, as in the emotion map 900 shown in Figure 6.
- Figure 6 shows an example in which multiple emotions, "peace of mind,” “calm,” and “reassuring,” have similar emotion values.
- the emotion determination unit 232 may determine the emotion of the robot 100 according to a specific mapping. Specifically, the emotion determination unit 232 inputs the information analyzed by the sensor module unit 210, the state of the user 10 recognized by the user state recognition unit 230, and the state of the robot 100 into a pre-trained neural network, obtains emotion values indicating each emotion shown in the emotion map 400, and determines the emotion of the robot 100. This neural network is pre-trained based on multiple learning data that are combinations of the information analyzed by the sensor module unit 210, the recognized state of the user 10, and the state of the robot 100, and emotion values indicating each emotion shown in the emotion map 400.
- the neural network is trained based on learning data that indicates that when the robot 100 is recognized as being stroked by the user 10 from the output of a touch sensor (not shown), the emotional value becomes "happy” at “3," and that when the robot 100 is recognized as being hit by the user 10 from the output of an acceleration sensor (not shown), the emotional value becomes “anger” at “3.” Furthermore, this neural network is trained so that emotions that are located close to each other have similar values, as in the emotion map 900 shown in FIG. 6.
- the behavior decision unit 236 generates the robot's behavior by adding fixed sentences to the text representing the user's behavior, the user's emotions, and the robot's emotions, and inputting the results into a sentence generation model with a dialogue function.
- the behavior determination unit 236 obtains text representing the state of the robot 100 from the emotion of the robot 100 determined by the emotion determination unit 232, using an emotion table such as that shown in Table 1.
- an index number is assigned to each emotion value for each type of emotion, and text representing the state of the robot 100 is stored for each index number.
- the emotion of the robot 100 determined by the emotion determination unit 232 corresponds to index number "2"
- the text "very happy state” is obtained. Note that if the emotions of the robot 100 correspond to multiple index numbers, multiple pieces of text representing the state of the robot 100 are obtained.
- an emotion table as shown in Table 2 is prepared for the emotions of the user 10.
- the emotion of the robot 100 is index number "2”
- the emotion of the user 10 is index number "3”
- the following is input into the sentence generation model: "The robot is in a very happy state. The user is in a normal happy state. The user spoke to me, “I like climbing Mt. Fuji.” How would you, as the robot, reply?", and the robot's behavior content is obtained.
- the behavior decision unit 236 decides on the robot's behavior from this behavior content.
- the behavior decision unit 236 decides the behavior of the robot 100 in response to the state of the robot 100's emotion, which is predetermined for each type of emotion of the robot 100 and for each strength of the emotion, and the behavior of the user 10.
- the speech content of the robot 100 when conversing with the user 10 can be branched according to the state of the robot 100's emotion.
- the robot 100 can change its behavior according to an index number according to the emotion of the robot, the user gets the impression that the robot has a heart, which encourages the user to take actions such as talking to the robot.
- the behavior decision unit 236 may also generate the robot's behavior content by adding not only text representing the user's behavior, the user's emotions, and the robot's emotions, but also text representing the contents of the history data 222, adding a fixed sentence for asking about the robot's behavior corresponding to the user's behavior, and inputting the result into a sentence generation model with a dialogue function.
- This allows the robot 100 to change its behavior according to the history data representing the user's emotions and behavior, so that the user has the impression that the robot has a personality, and is encouraged to take actions such as talking to the robot.
- the history data may also further include the robot's emotions and actions.
- the emotion determination unit 232 may also determine the emotion of the robot 100 based on the behavioral content of the robot 100 generated by the sentence generation model. Specifically, the emotion determination unit 232 inputs the behavioral content of the robot 100 generated by the sentence generation model into a pre-trained neural network, obtains emotion values indicating each emotion shown in the emotion map 400, and integrates the obtained emotion values indicating each emotion with the emotion values indicating each emotion of the current robot 100 to update the emotion of the robot 100. For example, the emotion values indicating each emotion obtained and the emotion values indicating each emotion of the current robot 100 are averaged and integrated.
- This neural network is pre-trained based on multiple learning data that are combinations of texts indicating the behavioral content of the robot 100 generated by the sentence generation model and emotion values indicating each emotion shown in the emotion map 400.
- the speech content of the robot 100 "That's great. You're lucky,” is obtained as the behavioral content of the robot 100 generated by the sentence generation model, then when the text representing this speech content is input to the neural network, a high emotion value for the emotion "happy” is obtained, and the emotion of the robot 100 is updated so that the emotion value of the emotion "happy" becomes higher.
- the robot 100 may be mounted on a stuffed toy, or may be applied to a control device connected wirelessly or by wire to a controlled device (speaker or camera) mounted on the stuffed toy.
- a controlled device speaker or camera mounted on the stuffed toy.
- the robot 100 may be applied to a cohabitant (specifically, the stuffed toy 100N shown in Figures 7 and 8) that spends daily life with a user 10, and engages in dialogue with the user 10 based on information about the user's daily life, and provides information tailored to the user's hobbies and tastes.
- a cohabitant specifically, the stuffed toy 100N shown in Figures 7 and 8
- the control part of the robot 100 is applied to a smartphone 50 will be described.
- the plush toy 100N which is equipped with the function of an input/output device for the robot 100, has a detachable smartphone 50 that functions as the control part for the robot 100, and the input/output device is connected to the housed smartphone 50 inside the plush toy 100N.
- the plush toy 100N has the shape of a bear covered with soft fabric
- FIG. 7B in the space 52 formed inside, the microphone 201 (see FIG. 2) of the sensor unit 200 is arranged in the part corresponding to the ear 54, the 2D camera 203 (see FIG. 2) of the sensor unit 200 is arranged in the part corresponding to the eye 56, and the speaker 60 constituting a part of the control target 252 (see FIG. 2) is arranged in the part corresponding to the mouth 58 as input/output devices.
- the smartphone 50 has the functions of a sensor module unit 210, a storage unit 220, a user state recognition unit 230, an emotion determination unit 232, a behavior recognition unit 234, a behavior determination unit 236, a memory control unit 238, a behavior control unit 250, and a communication processing unit 280, as shown in FIG. 2.
- a zipper 62 is attached to a part of the stuffed animal 100N (e.g., the back), and opening the zipper 62 allows communication between the outside and the space 52.
- a non-contact type power receiving plate 66 is also connected to the USB hub 64.
- a power receiving coil 66A is built into the power receiving plate 66.
- the power receiving plate 66 is an example of a wireless power receiving unit that receives wireless power.
- the power receiving plate 66 is located near the base 68 of both feet of the stuffed toy 100N, and is closest to the mounting base 70 when the stuffed toy 100N is placed on the mounting base 70.
- the mounting base 70 is an example of an external wireless power transmission unit.
- the stuffed animal 100N placed on this mounting base 70 can be viewed as an ornament in its natural state.
- this base portion is made thinner than the surface thickness of other parts of the stuffed animal 100N, so that it is held closer to the mounting base 70.
- the mounting base 70 is equipped with a charging pad 72.
- the charging pad 72 incorporates a power transmission coil 72A, which sends a signal to search for the power receiving coil 66A on the power receiving plate 66.
- a current flows through the power transmission coil 72A, generating a magnetic field, and the power receiving coil 66A reacts to the magnetic field, starting electromagnetic induction.
- a current flows through the power receiving coil 66A, and power is stored in the battery (not shown) of the smartphone 50 via the USB hub 64.
- the smartphone 50 is automatically charged, so there is no need to remove the smartphone 50 from the space 52 of the stuffed toy 100N to charge it.
- the smartphone 50 is housed in the space 52 of the stuffed toy 100N and connected by wire (USB connection), but this is not limited to this.
- a control device with a wireless function e.g., "Bluetooth (registered trademark)" may be housed in the space 52 of the stuffed toy 100N and the control device may be connected to the USB hub 64.
- the smartphone 50 and the control device communicate wirelessly without placing the smartphone 50 in the space 52, and the external smartphone 50 connects to each input/output device via the control device, thereby giving the robot 100 the same functions as those shown in FIG. 1.
- the control device housed in the space 52 of the stuffed toy 100N may be connected to the external smartphone 50 by wire.
- a teddy bear 100N is exemplified, but it may be another animal, a doll, or the shape of a specific character. It may also be dressable.
- the material of the outer skin is not limited to cloth, and may be other materials such as soft vinyl, although a soft material is preferable.
- an existing smartphone 50 is placed inside the stuffed toy 100N, and the camera 203, microphone 201, speaker 60, etc. are extended from the smartphone 50 at appropriate positions via a USB connection.
- the smartphone 50 and the power receiving plate 66 are connected via USB, and the power receiving plate 66 is positioned as far outward as possible when viewed from the inside of the stuffed animal 100N.
- the smartphone 50 When trying to use wireless charging for the smartphone 50, the smartphone 50 must be placed as far out as possible when viewed from the inside of the stuffed toy 100N, which makes the stuffed toy 100N feel rough when touched from the outside.
- the smartphone 50 is placed as close to the center of the stuffed animal 100N as possible, and the wireless charging function (receiving plate 66) is placed as far outside as possible when viewed from the inside of the stuffed animal 100N.
- the camera 203, microphone 201, speaker 60, and smartphone 50 receive wireless power via the receiving plate 66.
- the robot 100 may be applied to a robot mounted on a device such as an electric appliance, a computer, an automobile, a motorcycle, or a toy, or the robot 100 may control a device such as an electric appliance, a computer, an automobile, a motorcycle, or a toy.
- the robot 100 may also be mounted on a stuffed toy, or may be applied to a control device connected wirelessly or by wire to a control target device (speaker or camera) mounted on the stuffed toy.
- the other embodiment is configured as follows.
- the robot 100 may be applied to the control of an event guidance system.
- This event guidance system has a function (event guidance function) of informing the user 10 of an event.
- the event guidance system converses with the user 10 while observing the preferences, situation, and reaction of the user 10. Then, the event guidance system autonomously informs the user 10 of the event.
- the event guidance includes, for example, informing the user 10 of a specific event.
- the event guidance includes a case where the user 10 is guided to purchase a ticket for the event, and a case where the user is encouraged to purchase a ticket for the event.
- a method for purchasing tickets is displayed on the display device 1218 of the robot 100.
- the ticket purchase method includes the ticket release date, the ticket release location, and the ticket purchase method (which may include the payment method).
- the ticket release date, the ticket release location, and the ticket purchase method may be announced by voice from the speaker of the robot 100.
- Event-related information may include, for example, past publications and merchandise from people involved in the event (organizers, co-organizers, sponsors, performers, artists, etc.) and information sources on the Internet. Event-related information may include, for example, transportation to the event location and information on travel methods.
- information regarding ticket issuance for an event may be stored in, for example, the storage device 1224, and the information regarding ticket issuance may be transmitted to the ticket issuing device.
- the robot 100 when the robot 100 is near the ticket issuing device, the robot 100 transmits information regarding ticket issuance to the ticket issuing device.
- the ticket issuing device then automatically issues the ticket upon receiving the information regarding ticket issuance. This eliminates the need for the user 10 to operate the ticket issuing device.
- the robot 100 may have a ticket function unit.
- This ticket function unit is a part that functions as a ticket for an event that the event information system has notified the user 10 about. For example, the fact that the user 10 has completed registration to participate in the event or payment of the fee is stored in the storage device 1224 or the like.
- the ticket function unit then wirelessly communicates with a check-in terminal (ticket inspection device) at the event venue, thereby confirming that the user 10 is a legitimate entrant and allowing the user 10 to enter the event venue.
- event includes movies, plays, music concerts, lectures, expositions, exhibitions, trade shows, various consultations, product fairs, and merchandise sales events. These events include both paid and free events.
- the robot 100 as a ticket information system has various functional units for executing the above operations.
- the robot 100 performs an event information function.
- the robot 100 executes the process of selecting an event to inform the user 10 about based on the preferences, situation, and reaction of the user 10, in the following steps 1 to 5-2.
- Step 1 The robot 100 acquires the state of the user 10, the emotional value of the user 10, the emotional value of the robot 100, and the history data 222. Specifically, the robot 100 performs the same processing as steps S100 to S103 described above to acquire the state of the user 10, the emotional value of the user 10, the emotional value of the robot 100, and the history data 222.
- Step 2 The robot 100 acquires the user's 10 preferences regarding types of events. Specifically, the behavior decision unit 236 decides that an utterance asking the user 10 about their preference regarding the type of event is the behavior of the robot 100, and the behavior control unit 250 controls the control target 252 to make an utterance asking the user 10 about their preference regarding the type of event.
- the user state recognition unit 230 recognizes the preference regarding the type of event for the user 10 based on the information analyzed by the sensor module unit 210 (e.g., the user's answer).
- Step 3 The robot 100 determines a specific example of an event to be proposed to the user 10. Specifically, the behavior decision unit 236 adds a fixed sentence such as "What type of event do you recommend to the user at this time?" to the text representing the user's 10 preference regarding the type of event, the user's 10 emotion, the robot's 100 emotion, and the content stored in the history data 222, and inputs the fixed sentence into the sentence generation model to obtain the recommended content regarding the type of event. At this time, by considering not only the user's 10 preference regarding the type of event, but also the user's 10 emotion and the history data 222, it is possible to propose a specific example of an event suitable for the user 10.
- a fixed sentence such as "What type of event do you recommend to the user at this time?"
- the emotion of the robot 100 it is possible to make the user 10 feel that the robot 100 has emotion. More specifically, for example, in the case of movies, it is possible to consider whether the genre of the user 10 is foreign movies or Japanese movies, and whether the genre is mystery, suspense, horror, action, science fiction, adventure, fantasy, comedy, documentary, anime, etc.
- Step 4 The robot 100 proposes specific examples of the events determined in step 3 to the user 10 and obtains a response from the user 10.
- the behavior determination unit 236 determines, as the behavior of the robot 100, an utterance proposing a specific example of an event to the user 10, and the behavior control unit 250 controls the control target 252 to make an utterance proposing a specific example of an event to the user 10.
- the user state recognition unit 230 recognizes the state of the user 10 based on the information analyzed by the sensor module unit 210, and the emotion determination unit 232 determines an emotion value indicating the emotion of the user 10 based on the information analyzed by the sensor module unit 210 and the state of the user 10 recognized by the user state recognition unit 230.
- the behavior determination unit 236 determines whether the reaction of the user 10 is positive or not based on the state of the user 10 recognized by the user state recognition unit 230 and the emotion value indicating the emotion of the user 10, and determines, as the behavior of the robot 100, whether to execute a process of informing the user 10 of the specific example of the event proposed to the user 10, or to propose a different specific example of an event to the user 10.
- Step 5-1 If the reaction of the user 10 is positive, the robot 100 executes a process of introducing specific examples of the proposed event to the user 10. Specifically, when it is determined that the robot 100 should execute a process of introducing specific examples of the proposed event to the user 10 as its behavior, the behavior control unit 250 controls various functional units, which are the control targets 252, so as to propose the specific examples to the user 10. More specifically, the display device 1218 displays the name of the event to be introduced, the location and date/time of the event (including screenings and performances), the direction to participate, the fee, etc.
- Step 5-2 If the reaction of the user 10 is not positive, the robot 100 determines a specific example of another event to propose to the user 10. Specifically, when it is determined that the action of the robot 100 is to suggest a specific example of another event to the user 10, the action decision unit 236 adds a fixed sentence, "Are there any other types of events that you would recommend to the user?" to the text representing the preferences for the types of events of the user 10, the emotions of the user 10, the emotions of the robot 100, and the contents stored in the history data 222, inputs the added fixed sentence into the sentence generation model, and acquires the recommended contents regarding the types of events. Then, the process returns to step 4, and the above steps 4 to 5-2 are repeated until it is determined to execute the process of presenting the specific example of the proposed event to the user 10.
- the robot 100 can execute a process to provide specific examples of events in accordance with the preferences, situation, and reaction of the user 10.
- a user state recognition unit that recognizes a user state including a user's behavior; an emotion determining unit for determining an emotion of a user or an emotion of a robot; a behavior determination unit that determines a behavior of the robot corresponding to the user state and the user's emotion or the robot's emotion based on a dialogue function that allows a user and a robot to dialogue with each other,
- the robot is mounted on a ticket guide system,
- the behavior determination unit autonomously guides the user to an event while having a conversation with the user and observing the user's preferences, situation, and reaction. Behavioral control system.
- Appendix 2 2.
- the behavior control system wherein the behavior determination unit presents to the user a method for purchasing tickets to the event.
- (Appendix 3) 2.
- the behavior control system according to claim 1 wherein the behavior determination unit stores information regarding ticket issuance in a ticket issuing device for the event.
- (Appendix 4) 2.
- the behavior decision unit informs the user of event-related information related to the event that has been notified to the user.
- (Appendix 6) The behavior control system described in Appendix 1, wherein the robot is mounted on a stuffed toy or is connected wirelessly or via a wire to a control target device mounted on the stuffed toy.
- the robot 100 may be applied to a robot mounted on a device such as an electric appliance, a computer, an automobile, a motorcycle, a toy, or the like, or the robot 100 may control a device such as an electric appliance, a computer, an automobile, a motorcycle, a toy, or the like.
- the robot 100 may also be mounted on a stuffed toy, or may be applied to a control device connected wirelessly or by wire to a control target device (speaker or camera) mounted on the stuffed toy.
- the other embodiment is configured as follows.
- the robot 100 may be applied to a walking aid (AI walking aid).
- a walking aid is a device that supports a user, such as an elderly person or a patient with a disability, when walking.
- Examples of walking aids include walkers such as walkers, walking sticks, and clutches.
- the robot 100 executes the process of determining the walking method to be proposed to the user according to the user's preferences, the user's situation, and the user's reaction through the following steps 1 to 5-2.
- the walking method (way of walking) here includes, for example, the walking pace, pacing, distance, stride length, how to raise the feet, hand swing width, etc.
- Step 1 The robot 100 acquires the state of the user 10, the emotional value of the user 10, the emotional value of the robot 100, and the history data 222. Specifically, the robot 100 performs the same processing as steps S100 to S103 described above to acquire the state of the user 10, the emotional value of the user 10, the emotional value of the robot 100, and the history data 222.
- Step 2 The robot 100 acquires the user's 10 preferences regarding walking pace and pacing. Specifically, the behavior decision unit 236 decides, as the behavior of the robot 100, an utterance asking the user 10 about preferences regarding walking pace and pacing, and the behavior control unit 250 controls the control object 252 to make an utterance asking the user 10 about preferences regarding walking pace and pacing.
- the user state recognition unit 230 recognizes the preferences of the user 10 regarding walking pace and pacing based on the information analyzed by the sensor module unit 210 (e.g., the user's answer).
- Step 3 The robot 100 determines a walking method to be proposed to the user 10. Specifically, the behavior decision unit 236 adds a fixed sentence such as "What walking pace and pacing is recommended to the user at this time?" to the text representing the user's 10 preference regarding the walking pace and pacing, the user's 10 emotion, the robot's 100 emotion, and the content stored in the history data 222, and inputs the added fixed sentence into the sentence generation model to obtain the recommended content regarding the walking pace and pacing.
- a reinforcement method suitable for the user 10 it is possible to make the user 10 feel that the robot 100 has emotions.
- Step 4 The robot 100 proposes the walking method determined in step 3 to the user 10 and obtains a response from the user 10.
- the behavior determination unit 236 determines an utterance suggesting a walking method to the user 10 as the behavior of the robot 100
- the behavior control unit 250 controls the control target 252 to make an utterance suggesting a walking method to the user 10.
- the user state recognition unit 230 recognizes the state of the user 10 based on the information analyzed by the sensor module unit 210
- the emotion determination unit 232 determines an emotion value indicating the emotion of the user 10 based on the information analyzed by the sensor module unit 210 and the state of the user 10 recognized by the user state recognition unit 230.
- the behavior decision unit 236 judges whether the reaction of the user 10 is positive or not based on the state of the user 10 recognized by the user state recognition unit 230 and the emotion value indicating the emotion of the user 10, and decides, as the behavior of the robot 100, whether to execute a process to support the walking method proposed to the user 10, or to propose a different walking method to the user 10.
- Step 5-1 If the reaction of the user 10 is positive, the robot 100 executes a process to support the proposed walking method. Specifically, when it is determined that the robot 100 should execute a process to assist the user 10 in walking in a manner proposed to the user 10, the behavior control unit 250 makes a speech to the user 10 regarding points to note and techniques for the walking method proposed to the user 10.
- Step 5-2 If the reaction of the user 10 is not positive, the robot 100 determines another walking method to propose to the user 10. Specifically, when it is determined that the behavior of the robot 100 is to propose a different walking method to the user 10, the behavior decision unit 236 adds a fixed sentence such as "Are there any other walking paces or pacings recommended for the user?" to the text representing the preferences for the user 10 regarding walking pace and pacing, the emotions of the user 10, the emotions of the robot 100, and the contents stored in the history data 222, inputs the added fixed sentence into the sentence generation model, and acquires the recommended contents regarding walking pace and pacing. Then, the process returns to step 4, and the processes of steps 4 to 5-2 are repeated until it is determined to execute the process of supporting the walking method proposed to the user 10.
- a fixed sentence such as "Are there any other walking paces or pacings recommended for the user?"
- the robot 100 can execute a process to determine the walking method to be suggested to the user based on the user's preferences, the user's situation, and the user's reactions.
- a user state recognition unit that recognizes a user state including a user's behavior; an emotion determining unit for determining an emotion of a user or an emotion of a robot; a behavior determination unit that determines a behavior of the robot corresponding to the user state and the user's emotion or the robot's emotion based on a sentence generation model having an interaction function that allows a user and a robot to interact with each other; the behavior determination unit determines a walking method to be proposed to the user based on a dialogue result between the user and the sentence generation model; Behavioral control system.
- Appendix 2 A user state recognition unit that recognizes a user state including a user's behavior; an emotion determining unit for determining an emotion of a user or an emotion of a robot; a behavior determination unit that determines a behavior of the robot corresponding to the user state and the user's emotion or the robot's emotion based on a sentence generation model having an interaction function that allows a user and a robot to interact with each other; the behavior determination unit determines a walking
- the behavior control system determines a walking method to be suggested to the user based on a dialogue result between the user and the sentence generation model and the user's emotions.
- Appendix 3 3.
- the robot 100 may be applied to a robot mounted on a device such as an electric appliance, a computer, an automobile, a motorcycle, a toy, etc., or the robot 100 may control a device such as an electric appliance, a computer, an automobile, a motorcycle, a toy, etc.
- the robot 100 may also be mounted on a stuffed toy, or the robot 100 may control a control target device (e.g., a speaker or a camera) mounted on the stuffed toy.
- the robot 100 controls the control target device, for example, the robot 100 is connected to the control target device wirelessly or by wire.
- the robot 100 may be mounted on a storage device that stores clothes, and the robot 100 may control a control target device (e.g., a speaker or a camera) mounted on the storage device.
- a control target device e.g., a speaker or a camera
- the robot 100 controls the control target device, for example, the robot 100 is connected to the control target device wirelessly or via a wire.
- storage devices include a chest of drawers, a closet, and a clothing case.
- the robot 100 executes a process of presenting information to the user about the status or handling of the clothes based on a dialogue with the user through steps 1 to 5 below. Specifically, the robot 100 executes a process of presenting information to the user about the status or handling of the clothes based on the user's preferences, user's situation, and user's reaction through steps 1 to 5 below. In other words, the robot 100 presents information to the user about the status or handling of the clothes while having a conversation with the user while observing their preferences, situation, and reaction.
- Step 1 The robot 100 acquires the state of the user 10, the emotional value of the user 10, the emotional value of the robot 100, and the history data 222. Specifically, the robot 100 performs the same processing as steps S100 to S103 described above to acquire the state of the user 10, the emotional value of the user 10, the emotional value of the robot 100, and the history data 222.
- the robot 100 may obtain information about the clothes stored in the storage container (hereinafter referred to as clothing information) using a detection unit (e.g., a sensor including a camera) provided in the storage container.
- the clothing information may include the presence or absence of clothes, the type of clothes, the location where the clothes are stored, and the condition of the clothes (e.g., whether the clothes are folded, the number of times the clothes have been taken in and out, etc.).
- Step 2 The robot 100 acquires the user's 10 preferences regarding clothing.
- the behavior decision unit 236 decides, as the behavior of the robot 100, an utterance to ask the user 10 about his/her preferences regarding clothing, and the behavior control unit 250 controls the control target 252 to make an utterance to ask the user 10 about his/her preferences regarding clothing.
- the user state recognition unit 230 recognizes the user 10's preferences regarding clothing based on information (e.g., the user's answer) analyzed by the sensor module unit 210. Examples of preferences regarding clothing include preferences regarding types of clothing (e.g., formal, casual, etc.), preferences regarding clothing, how to wear clothing, how to store clothing, frequency of cleaning clothing, etc.
- Step 3 The robot 100 determines the content to be presented to the user 10. Specifically, the behavior decision unit 236 adds a fixed sentence, "What is the recommended presentation content for the user at this time?" to the text representing the user's 10 preference regarding clothing, the user's 10 emotion, the robot's 100 emotion, and the content stored in the history data 222, and inputs the fixed sentence into the sentence generation model to obtain the recommended presentation content regarding the state or handling of clothing. At this time, by considering not only the user's 10 preference regarding clothing but also the user's 10 emotion and the history data 222, it is possible to present the presentation content suitable for the user 10. Furthermore, by considering the emotion of the robot 100, it is possible to make the user 10 feel that the robot 100 has emotion.
- the robot 100 may determine the presentation content taking the clothing information into consideration.
- the presentation content include content regarding the state of clothing and content regarding the handling of clothing.
- Examples of the content regarding the state of clothing include content indicating whether the clothing is in a messy state or not, and whether the clothing needs to be cleaned or not.
- Examples of the content related to handling of clothes include content encouraging the user 10 to put away the scattered clothes in a storage device, content encouraging the user 10 to clean the clothes, etc.
- a state in which clothes are scattered corresponds to, for example, a state in which clothes are taken out of a storage device and left in the room in which the storage device is installed.
- Step 4 The robot 100 presents the presentation content determined in step 3 to the user 10 and obtains a reaction from the user 10.
- the behavior determination unit 236 determines an utterance to present the presentation content to the user 10 as the behavior of the robot 100, and the behavior control unit 250 controls the control target 252 to make an utterance to present the presentation content to the user 10.
- the user state recognition unit 230 recognizes the state of the user 10 based on the information analyzed by the sensor module unit 210, and the emotion determination unit 232 determines an emotion value indicating the emotion of the user 10 based on the information analyzed by the sensor module unit 210 and the state of the user 10 recognized by the user state recognition unit 230.
- the behavior determining unit 236 determines whether the reaction of the user 10 is positive or not based on the state of the user 10 recognized by the user state recognizing unit 230 and an emotion value indicating the emotion of the user 10 .
- Step 5 If the reaction of the user 10 is not positive, the robot 100 determines another presentation content to be presented to the user 10. Specifically, when it is determined that the behavior of the robot 100 is to present different suggested content to the user 10, the behavior decision unit 236 adds a fixed sentence "Is there any other suggested content recommended for the user?" to the text representing the clothing preferences, the emotions of the user 10, the emotions of the robot 100, and the content stored in the history data 222, inputs the result into the sentence generation model, and obtains the suggested content related to the condition or care of the clothing. Then, the process returns to step 4, where the suggested content is presented to the user 10, and the processes of steps 4 to 5 are repeated until it is determined that the reaction of the user 10 is positive.
- the robot 100 can execute a process to present information about the condition or care of the clothing in accordance with the user's preferences, the user's situation, and the user's reaction.
- a user state recognition unit that recognizes a user state including a user's behavior; an emotion determining unit for determining an emotion of a user or an emotion of a robot; a behavior determination unit that determines a behavior of the robot corresponding to the user state and the user's emotion or the robot's emotion based on a sentence generation model having an interaction function that allows a user and a robot to interact with each other;
- the behavior determination unit presents the user with information on the status or handling of the clothing based on a dialogue between the user and the robot.
- Behavioral control system
- (Appendix 2) the behavior determining unit presents to the user, based on a dialogue between the user and the robot, a need for cleaning the clothes as the situation.
- the behavior control system according to claim 1. (Appendix 3) The behavior control system according to claim 1, wherein the robot is mounted on a container that stores clothes, or controls a control target device mounted on a container that stores clothes. (Appendix 4) 2. The behavior control system according to claim 1, wherein the robot is mounted on a stuffed toy or controls a control target device mounted on the stuffed toy.
- the robot 100 may be applied to a robot mounted on a device such as an electric appliance, a computer, an automobile, a motorcycle, a toy, or the like, or the robot 100 may control a device such as an electric appliance, a computer, an automobile, a motorcycle, a toy, or the like.
- the robot 100 may also be mounted on a stuffed toy, or may be applied to a control device connected wirelessly or by wire to a control target device (speaker or camera) mounted on the stuffed toy.
- the other embodiments are configured as follows.
- the robot 100 may be applied to control an intercom.
- the intercom controlled by the robot 100 comprises a parent unit installed, for example, indoors, and a child unit installed, for example, at the gate or entrance.
- the parent unit comprises a response button, monitor, microphone, speaker, etc.
- the child unit comprises a call button, camera, microphone, speaker, etc.
- the parent unit and child unit are connected wirelessly or by wire.
- the robot 100 and the parent unit, and the robot 100 and the child unit are also connected wirelessly or by wire.
- the parent unit when a visitor presses the call button on the sub-unit, the parent unit notifies the visitor that a call has been made. At this time, the robot 100 may also notify the visitor that a call has been made by speaking, for example, "A customer has come.”
- the robot 100 performs the following steps 1 to 5-2 to determine the intercom processing content according to the user's preferences, the user's situation, and the user's reaction.
- Step 1 The robot 100 acquires the state of the user 10, the emotional value of the user 10, the emotional value of the robot 100, and the history data 222. Specifically, the robot 100 performs the same processing as steps S100 to S103 described above to acquire the state of the user 10, the emotional value of the user 10, the emotional value of the robot 100, and the history data 222.
- Step 2 The robot 100 acquires the preferences of the user 10 regarding the intercom.
- the "preferences of the user 10 regarding the intercom” are information regarding the operation of the intercom.
- the information may be information about the operation settings of the intercom, such as the volume of the speaker of the master unit or slave unit, the ring tone of the intercom, the color and light intensity of an LED (Light Emitting Diode) indicator, and the brightness and contrast of the monitor.
- the information may be information about the operation settings of the intercom, such as the volume of the speaker of the master unit or slave unit, the ring tone of the intercom, the color and light intensity of an LED (Light Emitting Diode) indicator, and the brightness and contrast of the monitor.
- LED Light Emitting Diode
- the information may also be information regarding the content of the response to the user, such as the attitude of the robot 100 when speaking to the user through the parent unit (e.g., asking the user to speak slowly and in a bright tone) or the content of the conversation when the robot 100 speaks to the user through the parent unit (e.g., asking the user to be considerate of his/her health).
- the attitude of the robot 100 when speaking to the user through the parent unit e.g., asking the user to speak slowly and in a bright tone
- the content of the conversation when the robot 100 speaks to the user through the parent unit e.g., asking the user to be considerate of his/her health
- the information may also be information regarding the content of the response to visitors, such as the attitude of the robot 100 when speaking to visitors through the sub-unit (for example, please speak slowly and in a bright tone to friendly visitors, and speak quickly and in a polite tone to unwanted visitors such as sales visitors, etc.), or the content of the conversation when the robot 100 speaks to visitors through the sub-unit (for example, please say hello to friendly visitors, and please turn away unwanted visitors such as sales visitors, etc.).
- the behavior decision unit 236 decides that an utterance asking the user 10 about their preferences regarding the intercom is the behavior of the robot 100, and the behavior control unit 250 controls the control target 252 to make an utterance asking the user 10 about their preferences regarding the intercom.
- the user state recognition unit 230 recognizes the preferences regarding the intercom for the user 10 based on the information analyzed by the sensor module unit 210 (e.g., the user's response).
- the robot 100 determines the intercom processing content to be proposed to the user 10.
- the intercom processing content may be any type of content, such as an item related to the operation settings of the intercom, an item related to the content of responses to the user, an item related to the content of responses to visitors, or the like.
- attitude refers to a feature consistently expressed in the manner of speech and the size of gestures by the robot 100, and may be any item, such as a cheerful attitude, a gloomy attitude, a lively attitude, a calm attitude, etc. Also, a combination of multiple attitudes may be set.
- the robot 100 changes the words used during conversation, the emotions contained in the voice, the volume of the voice, the speed of speech, the size of gestures, etc. Specifically, the behavior decision unit 236 adds a fixed sentence such as "What attitude would you recommend to the user at this time?" to the text representing the user's 10 preferences regarding attitude, the user's 10 emotions, the robot's 100 emotions, and the contents stored in the history data 222, and inputs the added fixed sentence into the sentence generation model to obtain the contents of the recommendation regarding the attitude.
- a fixed sentence such as "What attitude would you recommend to the user at this time?"
- Step 4 The robot 100 proposes the attitude determined in step 3 to the user 10 and acquires a reaction from the user 10. Specifically, the behavior determination unit 236 determines an utterance proposing an attitude to the user 10 as the behavior of the robot 100, and the behavior control unit 250 controls the control target 252 to make an utterance proposing an attitude to the user 10.
- the utterance proposing an attitude is, for example, an utterance such as "I'll respond cheerfully and energetically, is that okay?"
- the user state recognition unit 230 recognizes the state of the user 10 based on the information analyzed by the sensor module unit 210, and the emotion determination unit 232 determines an emotion value indicating the emotion of the user 10 based on the information analyzed by the sensor module unit 210 and the state of the user 10 recognized by the user state recognition unit 230.
- the behavior decision unit 236 judges whether the reaction of the user 10 is positive or not based on the state of the user 10 recognized by the user state recognition unit 230 and the emotion value indicating the emotion of the user 10, and decides, as the behavior of the robot 100, whether to execute processing based on the attitude proposed to the user 10, or to propose a different attitude to the user 10.
- Step 5-1 If the user 10's reaction is positive, the robot 100 executes the process according to the proposed attitude. Specifically, when it is determined that the robot 100 should execute the process according to the attitude proposed to the user 10 as its behavior, the behavior control unit 250 controls the intercom, which is the control object 252, so as to execute the process according to the attitude proposed to the user 10 (for example, conversation in a bright and cheerful attitude).
- Step 5-2 If the reaction of the user 10 is not positive, the robot 100 decides on a different attitude to propose to the user 10. Specifically, when it is decided to propose a different attitude to the user 10 as the behavior of the robot 100, the behavior decision unit 236 adds a fixed sentence, "Are there any other attitudes you would recommend to the user?" to the text representing the user 10's preferences regarding attitudes, the user 10's emotions, the robot 100's emotions, and the contents stored in the history data 222, and inputs this into the sentence generation model to obtain the recommended contents regarding the attitude. Then, the process returns to step 4 above, and the processes of steps 4 to 5-2 above are repeated until it is decided to execute processing based on the attitude proposed to the user 10.
- the robot 100 can execute a process to determine the intercom processing content according to the user's preferences, the user's situation, and the user's reaction.
- a user state recognition unit that recognizes a user state including a user's behavior; an emotion determining unit for determining an emotion of a user or an emotion of a robot; a behavior determination unit that determines a behavior of the robot corresponding to the user state and the user's emotion or the robot's emotion based on a sentence generation model having an interaction function that allows a user and a robot to interact with each other;
- the behavior control system wherein the behavior determining unit determines processing content of the intercom based on the user's emotion or the robot's emotion.
- (Appendix 2) The behavior control system according to claim 1, wherein the behavior determination unit changes at least one of the operation settings of the intercom, the content of the response to the user, and the content of the response to a visitor based on the user's emotion or the robot's emotion.
- (Appendix 3) The behavior control system according to claim 1 or 2, wherein the robot is mounted on a stuffed toy or is connected wirelessly or by wire to a control target device mounted on the stuffed toy.
- the robot 100 may be applied to a robot mounted on a device such as an electric appliance, a computer, an automobile, a motorcycle, a toy, or the like, or the robot 100 may control a device such as an electric appliance, a computer, an automobile, a motorcycle, a toy, or the like.
- the robot 100 may also be mounted on a stuffed toy, or may be applied to a control device connected wirelessly or by wire to a control target device (speaker or camera) mounted on the stuffed toy.
- the other embodiments are configured as follows.
- the robot 100 may be applied to mattress control.
- the mattress controlled by the robot 100 comprises a mattress body, a temperature adjustment mechanism capable of adjusting the temperature of the mattress body, and a hardness adjustment mechanism capable of adjusting the hardness of the mattress body.
- the mattress body is the bedding on which the user lies.
- Various types of mattress body can be used, such as a bonnell coil mattress, pocket coil mattress, urethane mattress, and latex mattress.
- the mattress body may be one on which one user lies, or one on which multiple users can lie simultaneously.
- the temperature adjustment mechanism is a sheet-like heater that is laid on the surface of the mattress body. This heater is placed over almost the entire surface of the mattress body, and can adjust (heat) the temperature of each of the multiple parts individually. For example, if the size of the mattress body is such that two users can lie down on it at the same time, the heater can be designed to be able to adjust the temperature of the left and right sides of the mattress body individually.
- the heater can also be capable of individually adjusting the temperature of the upper, lower, and center (i.e., between the upper and lower) parts of the mattress body, regardless of the number of users lying on the mattress body.
- the upper part of the mattress body is, for example, where the head of a lying user is placed.
- the lower part of the mattress body is, for example, where the legs of a lying user are placed.
- the center of the mattress body is, for example, where the waist and abdomen of a lying user are placed.
- the temperature adjustment mechanism may also include a cooling device, such as a water-cooled type.
- the temperature adjustment mechanism may also be an air conditioner for the room in which the mattress body is installed.
- an air chamber may be provided in the mattress body, and conditioned air may be introduced into the air chamber via a duct.
- the mattress body can be heated or cooled by the conditioned air introduced into the air chamber.
- an air outlet may be provided in the air chamber, and conditioned air may be discharged toward the user lying on the mattress body.
- the hardness adjustment mechanism is used in combination with the mattress body.
- the hardness adjustment mechanism is, for example, a flexible, bag-shaped sealed container and an air moving device.
- the air moving device can supply air to the inside of the sealed container and suck air from the inside of the sealed container.
- the configuration of the hardness adjustment mechanism can be changed as appropriate depending on the type of mattress body.
- the mattress body is a bonnell coil mattress or a pocket coil mattress
- the coils are sealed inside an airtight container. Supplying air to the airtight container in this state increases the internal pressure, making it possible to increase the hardness of the mattress body.
- sucking air out of the airtight container also compresses the coils, making it possible to increase the hardness of the mattress body.
- the mattress body is a urethane mattress
- the urethane is sealed inside a sealed container.
- the internal pressure increases and the hardness of the mattress body increases.
- the mattress body is compressed and the hardness increases.
- the principle of increasing the hardness of the mattress body differs depending on whether air is supplied or sucked out, so an environment can be provided that suits the preferences of the user lying down.
- the robot 100 performs the process of adjusting the temperature and hardness of the mattress body according to the user's preferences, the user's situation, and the user's reaction through the following steps 1 to 5-2.
- Step 1 The robot 100 acquires the state of the user 10, the emotional value of the user 10, the emotional value of the robot 100, and the history data 222. Specifically, the robot 100 performs the same processing as steps S100 to S103 described above to acquire the state of the user 10, the emotional value of the user 10, the emotional value of the robot 100, and the history data 222.
- Step 2 The robot 100 acquires the user's 10 preferences regarding the temperature and hardness of the mattress body.
- the behavior determining unit 236 determines an utterance to ask the user 10 about preferences regarding the temperature and hardness of the mattress body as the behavior of the robot 100, and the behavior control unit 250 controls the control target 252 to make an utterance to ask the user 10 about preferences regarding the temperature and hardness of the mattress body.
- the user state recognizing unit 230 recognizes the preferences of the user 10 regarding the temperature and hardness of the mattress body based on the information analyzed by the sensor module unit 210 (e.g., the user's response).
- Step 3 The robot 100 determines the temperature and hardness of the mattress body to be recommended to the user 10. Specifically, the behavior decision unit 236 adds a fixed sentence such as "What temperature and hardness of the mattress body would you recommend to the user at this time?" to the text representing the user's 10 preference regarding the temperature and hardness of the mattress body, the user's 10 emotion, the robot's 100 emotion, and the content stored in the history data 222, and inputs the added fixed sentence into the sentence generation model to obtain the content of the recommendation regarding the temperature and hardness of the mattress body.
- a fixed sentence such as "What temperature and hardness of the mattress body would you recommend to the user at this time?"
- Step 4 The robot 100 suggests the temperature and hardness of the mattress body determined in step 3 to the user 10 and obtains a response from the user 10.
- the behavior determination unit 236 determines an utterance suggesting the temperature and hardness of the mattress body to the user 10 as the behavior of the robot 100
- the behavior control unit 250 controls the control target 252 to make an utterance suggesting the temperature and hardness of the mattress body to the user 10.
- the user state recognition unit 230 recognizes the state of the user 10 based on the information analyzed by the sensor module unit 210
- the emotion determination unit 232 determines an emotion value indicating the emotion of the user 10 based on the information analyzed by the sensor module unit 210 and the state of the user 10 recognized by the user state recognition unit 230.
- the behavior decision unit 236 judges whether the reaction of the user 10 is positive or not based on the state of the user 10 recognized by the user state recognition unit 230 and the emotion value indicating the emotion of the user 10, and decides, as the behavior of the robot 100, whether to execute a process of adjusting the temperature and hardness of the mattress body to the temperature and hardness proposed to the user 10, or to propose a different temperature and hardness to the user 10.
- Step 5-1 If the reaction of the user 10 is positive, the robot 100 executes a process of adjusting the temperature and hardness of the mattress body to the suggested temperature and hardness. Specifically, when it is determined that the robot 100 is to perform a process of adjusting the temperature and hardness of the mattress body to the temperature and hardness proposed to the user 10, the behavior control unit 250 controls the temperature adjustment mechanism and hardness adjustment mechanism, which are the control objects 252, so as to adjust the temperature and hardness of the mattress body to the temperature and hardness proposed to the user 10.
- Step 5-2 If the user's 10 reaction is not positive, the robot 100 determines another temperature and hardness to suggest to the user 10. Specifically, when it is determined that a different temperature and hardness should be proposed to the user 10 as the behavior of the robot 100, the behavior decision unit 236 adds a fixed sentence such as "Are there any other temperatures and hardness of the mattress body that you would recommend to the user?" to the text representing the preferences of the user 10 regarding the temperature and hardness of the mattress body, the emotions of the user 10, the emotions of the robot 100, and the contents stored in the history data 222, and inputs the added fixed sentence into the sentence generation model to obtain the recommended contents regarding the temperature and hardness of the mattress body. Then, the process returns to step 4, and the above steps 4 to 5-2 are repeated until it is determined to execute the process of adjusting the temperature and hardness of the mattress body to the temperature and hardness proposed to the user 10.
- a fixed sentence such as "Are there any other temperatures and hardness of the mattress body that you would recommend to the user?"
- the robot 100 can perform a process to adjust the temperature and hardness of the mattress body according to the user's preferences, the user's situation, and the user's reaction.
- the robot 100 may be equipped with a sensor that detects the user's sleeping state as the user state.
- the sensor may be a sensor that detects whether the user is asleep from the user's body movements, or a sensor that detects whether the user is asleep from the user's heart rate, pulse rate, etc.
- Such a sensor may be equipped in a wearable device worn by the user.
- the robot 100 maintains the temperature and hardness of the mattress body as being comfortable for the user. Alternatively, the temperature and hardness of the mattress body may be changed depending on the depth of sleep.
- the mattress may be equipped with either a temperature adjustment mechanism or a hardness adjustment mechanism, rather than both.
- the robot 100 adjusts either the temperature or the hardness of the mattress body.
- a user state recognition unit that recognizes a user state including a user's behavior; an emotion determining unit for determining an emotion of a user or an emotion of a robot; a behavior determination unit that determines a behavior of the robot corresponding to the user state and the user's emotion or the robot's emotion based on a sentence generation model having an interaction function that allows a user and a robot to interact with each other;
- the behavior determining unit is capable of adjusting at least one of the temperature and elasticity of the mattress.
- Behavioral control system (Appendix 2) The behavior control system of claim 1, wherein the behavior decision unit is capable of individually adjusting the temperature for each portion of the mattress.
- the robot 100 may be applied to a robot mounted on a device such as an electric appliance, a computer, an automobile, a motorcycle, a toy, or the like, or the robot 100 may control a device such as an electric appliance, a computer, an automobile, a motorcycle, a toy, or the like.
- the robot 100 may be mounted on a stuffed toy, or may be applied to a control device connected wirelessly or by wire to a control target device (speaker or camera) mounted on the stuffed toy.
- a device on which the robot 100 is mounted may be mounted on a stuffed toy, or the robot 100 may be connected to a control device connected wirelessly or by wire to a control target device (speaker or camera) mounted on the stuffed toy.
- the other embodiment is configured as follows.
- the robot 100 may be applied to a massage chair.
- the massage chair robot 100 is equipped with a chair body with a reclining function that holds the user's body, and a massage mechanism that massages various parts of the user's body, such as the shoulders, neck, back, waist, legs, and arms, while held in the chair body.
- the robot 100 executes the process of changing at least one of the settings of the massage chair's massage strength, massage course, massage time, and massage area according to the user's preference, user's situation, and user's reaction through the following steps 1 to 5-2.
- Step 1 The robot 100 acquires the state of the user 10, the emotional value of the user 10, the emotional value of the robot 100, and the history data 222. Specifically, the robot 100 performs the same processing as steps S100 to S103 described above to acquire the state of the user 10, the emotional value of the user 10, the emotional value of the robot 100, and the history data 222.
- Step 2 The robot 100 acquires the user's 10 preferences regarding massage. Specifically, the behavior decision unit 236 decides that the behavior of the robot 100 is to utter a question to the user 10 about his/her preference regarding massage, and the behavior control unit 250 controls the control target 252 to make an utterance to ask the user 10 about his/her preference regarding massage.
- the user state recognition unit 230 recognizes the user 10's preference regarding massage based on information (e.g., the user's answer) analyzed by the sensor module unit 210. For example, the robot 100 utters questions such as "Which part of your body is stiff?" and "Do you prefer a strong massage or a weak massage?" to the user 10. Then, the robot 100 recognizes the user 10's preference regarding massage based on answers from the user 10 such as "My shoulders are stiff today" and “My calves are tired today.”
- Step 3 The robot 100 determines the massage strength (strength), massage time, massage area, and massage course (hereinafter referred to as massage course, etc.) to be recommended to the user 10.
- the behavior decision unit 236 adds a fixed sentence such as "What massage would you recommend to the user at this time?" to the text representing the massage preferences of the user 10, the emotions of the user 10, the emotions of the robot 100, and the contents stored in the history data 222, and inputs the fixed sentence into the sentence generation model to obtain the recommended massage contents.
- a massage course or the like suitable for the emotions of the user 10 at that time.
- the robot 100 by considering the emotions of the robot 100, it is possible to make the user 10 feel that the robot 100 has emotions. For example, even if the user 10 requests a shoulder massage course, if the robot 100 determines that it would be better to cheer up the user 10, it performs control such that it further proposes adding a whole body course.
- Step 4 The robot 100 proposes the massage course or the like determined in step 3 to the user 10 and obtains a response from the user 10.
- the behavior decision unit 236 decides that the behavior of the robot 100 will be an utterance proposing the selected massage course, etc. to the user 10, and the behavior control unit 250 controls the control object 252 and makes an utterance proposing the selected massage course, etc. to the user 10.
- the user state recognition unit 230 recognizes the state of the user 10 based on the information analyzed by the sensor module unit 210, and the emotion determination unit 232 determines an emotion value indicating the emotion of the user 10 based on the information analyzed by the sensor module unit 210 and the state of the user 10 recognized by the user state recognition unit 230.
- the behavior decision unit 236 judges whether the reaction of the user 10 is positive or not based on the state of the user 10 recognized by the user state recognition unit 230 and the emotion value indicating the emotion of the user 10, and decides, as the behavior of the robot 100, whether to confirm the massage course proposed to the user 10 or to propose a different massage course, etc. to the user 10.
- Step 5-1 If the reaction of the user 10 is positive, the robot 100 executes a process of making the massage chair carry out the proposed massage course. Specifically, when it is determined that the action of the robot 100 is to execute a massage course or the like proposed to the user 10, the action control unit 250 controls the massage chair, which is the control object 252, so that the massage course or the like proposed to the user 10 is executed.
- Step 5-2 If the reaction of the user 10 is not positive, the robot 100 determines another massage course or the like to be proposed to the user 10. Specifically, when it is determined that the action of the robot 100 is to propose a different massage course or the like to the user 10, the action decision unit 236 adds a fixed sentence such as "Are there any other massages you would recommend to the user?" to the text representing the massage preferences of the user 10, the feelings of the user 10, the feelings of the robot 100, and the contents stored in the history data 222, inputs the added fixed sentence into the sentence generation model, and obtains the recommended contents regarding massage. Then, the process returns to step 4, and the processes of steps 4 to 5-2 are repeated until it is determined to execute the massage course or the like proposed to the user 10.
- a fixed sentence such as "Are there any other massages you would recommend to the user?"
- the robot 100 can select a massage course, etc. to be performed in the massage chair according to the user's preferences, the user's situation, and the user's reaction, and execute a process to control the massage chair so that the selected massage course, etc. is performed.
- the behavior decision unit 236 may control the massage chair by changing various settings such as the massage strength (strength), massage time, massage area, etc. of the massage chair based on the emotions of the user 10 or the emotions of the robot 100.
- a user state recognition unit that recognizes a user state including a user's behavior; an emotion determining unit for determining an emotion of a user or an emotion of a robot; a behavior determination unit that determines a behavior of the robot corresponding to the user state and the user's emotion or the robot's emotion based on a dialogue function that allows a user and a robot to dialogue with each other,
- the robot is mounted on a massage chair,
- the behavior determination unit changes at least one setting of the massage chair's massage strength, massage course, massage time, and massage part based on the user's emotion or the robot's emotion.
- Behavioral control system (Appendix 2) 2. The behavior control system according to claim 1, wherein the massage chair is connected wirelessly or by wire to a control target device mounted on a stuffed toy.
- the robot 100 may be applied to a robot mounted on a device such as an electric appliance, a computer, an automobile, a motorcycle, a toy, or the like, or the robot 100 may control a device such as an electric appliance, a computer, an automobile, a motorcycle, a toy, or the like.
- the robot 100 may also be mounted on a stuffed toy, or may be applied to a control device connected wirelessly or by wire to a control target device (speaker or camera) mounted on the stuffed toy.
- the other embodiments are configured as follows.
- the robot 100 may be applied to the control of a head-mounted display.
- the head-mounted display controlled by the robot 100 includes a display, a speaker, a content playback unit, and the like.
- the robot 100 and the head-mounted display are connected wirelessly or by wire.
- the robot 100 performs the process of determining the processing content of the head-mounted display according to the user's preferences, the user's situation, and the user's reaction, through the following steps 1 to 5-2.
- Step 1 The robot 100 acquires the state of the user 10, the emotional value of the user 10, the emotional value of the robot 100, and the history data 222. Specifically, the robot 100 performs the same processing as steps S100 to S103 described above to acquire the state of the user 10, the emotional value of the user 10, the emotional value of the robot 100, and the history data 222.
- Step 2 The robot 100 acquires the preferences of the user 10 regarding the head mounted display.
- the "preferences of the user 10 regarding the head mounted display” are, for example, information regarding image quality, sound quality, and content to be played on the head mounted display.
- the behavior decision unit 236 decides that an utterance asking the user 10 about preferences regarding the head mounted display will be the behavior of the robot 100, and the behavior control unit 250 controls the control target 252 to make an utterance asking the user 10 about preferences regarding the head mounted display.
- the user state recognition unit 230 recognizes the preferences of the user 10 regarding the head mounted display based on the information analyzed by the sensor module unit 210 (e.g., the user's response).
- the robot 100 determines the processing content of the head mounted display to be proposed to the user 10.
- the processing content of the head mounted display is, for example, processing to change at least one of the operation time, image quality, sound quality, and content to be reproduced on the head mounted display.
- the operation time of the head mounted display is the time until the power supply of the head mounted display is forcibly turned off.
- the operation time may be the time from when the power supply of the head mounted display is turned on until the power supply is turned off, or may be the time from when the continuous use time of the head mounted display by the user exceeds a set threshold until the power supply is turned off.
- the image quality of the head mounted display refers to, for example, characteristics of the display such as brightness and contrast, etc.
- the sound quality of the head mounted display refers to, for example, characteristics such as the volume and frequency characteristics of the reproduced sound, etc.
- the behavior decision unit 236 adds a fixed sentence such as "What image quality would you recommend to the user at this time?" to the text representing the user 10's preference regarding image quality, the user 10's emotion, the robot 100's emotion, and the content stored in the history data 222, and inputs the added fixed sentence into the sentence generation model to obtain the recommended content regarding image quality.
- Step 4 The robot 100 proposes the image quality determined in step 3 to the user 10 and acquires a reaction from the user 10. Specifically, the behavior determination unit 236 determines an utterance proposing image quality to the user 10 as the behavior of the robot 100, and the behavior control unit 250 controls the control target 252 to make an utterance proposing image quality to the user 10. To propose image quality, the image quality of the head mounted display is changed to the proposed image quality, and then an utterance such as "Are the current brightness and contrast OK?" may be made.
- the user state recognition unit 230 recognizes the state of the user 10 based on the information analyzed by the sensor module unit 210, and the emotion determination unit 232 determines an emotion value indicating the emotion of the user 10 based on the information analyzed by the sensor module unit 210 and the state of the user 10 recognized by the user state recognition unit 230.
- the behavior decision unit 236 judges whether the reaction of the user 10 is positive or not based on the state of the user 10 recognized by the user state recognition unit 230 and the emotion value indicating the emotion of the user 10, and decides, as the behavior of the robot 100, whether to execute a process of setting the image quality proposed to the user 10, or to propose a different image quality to the user 10.
- Step 5-1 If the user 10's reaction is positive, the robot 100 executes a process to set the proposed image quality. Specifically, when it is determined that the robot 100 should execute a process to set the image quality proposed to the user 10 as its action, the action control unit 250 controls the head-mounted display, which is the control target 252, so that the action control unit 250 executes a process to set the image quality proposed to the user 10.
- changing to content that is favorable to the user's health condition refers to, for example, in the case of the operation time of a head mounted display, a process of setting the operation time to a time shorter than the current setting value.
- a process of setting the brightness and/or contrast to a value lower than the current setting value in the case of the image quality of a head mounted display, a process of setting the brightness and/or contrast to a value lower than the current setting value.
- a process of setting the volume to a value lower than the current setting value and/or a process of setting the frequency characteristic to a value that is less stimulating than the current setting value for example, a value that lowers the volume of the low frequency region and the high frequency region.
- a process of changing to content that is less stimulating such as a healing MV (Music Video).
- Step 1 The robot 100 acquires the state of the user 10, the emotional value of the user 10, the emotional value of the robot 100, and the history data 222. Specifically, the robot 100 performs the same processing as steps S100 to S103 described above to acquire the state of the user 10, the emotional value of the user 10, the emotional value of the robot 100, and the history data 222.
- Step 2 The robot 100 acquires the preferences of the user 10 regarding parameters such as the water temperature and amount of water in the bathtub, and the temperature and humidity of the bathroom.
- the behavior decision unit 236 decides that an utterance asking the user 10 about preferences regarding parameters such as the water temperature and amount of water in the bathtub, and the temperature and humidity of the bathroom, is the behavior of the robot 100, and the behavior control unit 250 controls the control object 252 to make an utterance asking the user 10 about preferences regarding parameters such as the water temperature and amount of water in the bathtub, and the temperature and humidity of the bathroom, etc.
- Step 3 The robot 100 determines parameters to be proposed to the user 10. Specifically, the behavior decision unit 236 adds a fixed sentence such as "What is the bathtub water temperature, water volume, bathroom temperature and humidity recommended for the user at this time?" to the text representing the user's 10 preferences for parameters such as the bathtub water temperature, water volume, bathroom temperature and humidity, the user's 10 emotions, the robot 100 emotions, and the contents stored in the history data 222, and inputs it into the sentence generation model to obtain the recommended contents for parameters such as the bathtub water temperature, water volume, bathroom temperature and humidity.
- a fixed sentence such as "What is the bathtub water temperature, water volume, bathroom temperature and humidity recommended for the user at this time?"
- the behavior decision unit 236 judges whether the reaction of the user 10 is positive or not based on the state of the user 10 recognized by the user state recognition unit 230 and the emotion value indicating the emotion of the user 10, and decides, as the behavior of the robot 100, whether to execute a process of setting the parameters proposed to the user 10 in the AI bath device, or to propose different parameters to the user 10.
- Step 5-1 If the reaction of the user 10 is positive, the robot 100 executes a process of setting the proposed parameters in the AI bath device. Specifically, when it is determined that the robot 100 is to execute a process of setting parameters proposed to the user 10 in the AI bath device, the behavior control unit 250 controls the control objects 252, such as the water supply unit, heat source unit, and air conditioning unit, so as to execute the parameters proposed to the user 10.
- the control objects 252 such as the water supply unit, heat source unit, and air conditioning unit
- Step 5-2 If the reaction of the user 10 is not positive, the robot 100 determines another parameter to propose to the user 10. Specifically, when it is determined that another parameter should be proposed to the user 10 as the behavior of the robot 100, the behavior decision unit 236 adds a fixed sentence, for example, "Are there any other bathtub water temperatures, water volumes, bathroom temperatures, or humidity recommended for the user?" to the text representing the preferences of the user 10 regarding parameters such as the bathtub water temperature, water volume, and bathroom temperature and humidity, the emotions of the user 10, the emotions of the robot 100, and the contents stored in the history data 222, and inputs the added sentence into the sentence generation model to obtain the recommended contents regarding parameters such as the bathtub water temperature, water volume, and bathroom temperature and humidity. Then, the process returns to step 4, and the above steps 4 to 5-2 are repeated until it is determined to execute the process of setting the parameters proposed to the user 10 in the AI bath device.
- a fixed sentence for example, "Are there any other bathtub water temperatures, water volumes, bathroom temperatures, or humidity recommended for the user?"
- the robot 100 can execute a process to set parameters for the AI bath device according to the user's preferences, the user's situation, and the user's reactions.
- a user state recognition unit that recognizes a user state including a user's behavior; an emotion determining unit for determining an emotion of a user or an emotion of a robot; a behavior determination unit that determines a behavior of the robot corresponding to the user state and the user's emotion or the robot's emotion based on a sentence generation model having an interaction function that allows a user and a robot to interact with each other;
- the action determination unit proposes parameters to be set in the AI bath device to the user.
- Behavioral control system Appendix 2
- the above robot 100 may be applied to a robot mounted on equipment such as an electric appliance, a computer, an automobile, a motorcycle, a toy, etc., or the robot 100 may control equipment such as an electric appliance, a computer, an automobile, a motorcycle, a toy, etc.
- the robot 100 may be mounted on a stuffed toy, or may be applied to a control device connected wirelessly or by wire to a control target device (speaker or camera) mounted on the stuffed toy.
- the other embodiments are configured as follows.
- the robot 100 may be mounted on a fitness machine.
- the robot 100 may be applied to control the fitness machine.
- the fitness equipment on which the robot 100 is mounted is, for example, equipment that does not have a load-varying mechanism.
- equipment that does not have a load-varying mechanism include training benches that can be used as abdominal exercise benches, dumbbells, barbells, punching bags, etc.
- the robot 100 may also be mounted on fitness equipment equipped with a load variable mechanism.
- equipment equipped with a load variable mechanism include chest press machines, shoulder press machines, lat pulldown machines, leg curl machines, and the like.
- the load variable mechanism is composed of multiple weights that are lifted by the user's exercise, and a conversion device that changes the number of weights that are lifted by the user's exercise.
- the weights are stacked, for example, vertically, and each weight has an insertion hole into which a pin serving as a conversion device can be inserted.
- the training load applied to the user can be changed depending on which weight's insertion hole the pin is inserted into. For example, by inserting a pin into the insertion hole of a weight lower in the stacking direction, the load can be increased. On the other hand, by inserting a pin into the insertion hole of a weight higher in the stacking direction, the load can be decreased.
- the robot 100 mounted on these pieces of equipment will give encouragement speech that corresponds to the user's state (conversational preferences, facial expressions, heart rate, exercise speed, etc., as described below) when using the fitness equipment.
- the robot 100 mounted on fitness equipment equipped with a load-varying mechanism can change the training load given to the user by controlling the load-varying mechanism of the equipment (e.g., by moving a pin).
- the robot 100 performs the process of supporting the user who is training using fitness equipment according to the user's preferences, user's situation, and user's reactions through the following steps 1 to 5-2.
- Step 1 The robot 100 acquires the state of the user 10, the emotional value of the user 10, the emotional value of the robot 100, and the history data 222. Specifically, the robot 100 performs the same processing as steps S100 to S103 described above to acquire the state of the user 10, the emotional value of the user 10, the emotional value of the robot 100, and the history data 222.
- Step 2 The robot 100 acquires the user's 10 preferences regarding cheering during training.
- the cheering is the content of the utterances of the robot 100 while the user is training using the fitness equipment.
- the behavior decision unit 236 decides, as the behavior of the robot 100, an utterance asking the user 10 about preferences regarding cheering, and the behavior control unit 250 controls the control target 252 to make an utterance asking the user 10 about preferences (conversational preferences) regarding cheering (for example, which do you prefer, being praised with "Awesome! or being encouraged with "You can do better!).
- the user state recognition unit 230 recognizes the preferences regarding cheering of the user 10 based on information analyzed by the sensor module unit 210 (for example, the user's answer).
- Step 3 The robot 100 determines the content of the cheering to be given to the user 10. Specifically, the behavior decision unit 236 adds a fixed sentence such as "What cheer do you recommend to the user at this time?" to the text representing the cheer preference of the user 10, the emotion of the user 10, the emotion of the robot 100, and the contents stored in the history data 222, and inputs the added fixed sentence into the sentence generation model to obtain the recommended cheer content. At this time, by taking into consideration not only the cheer preference of the user 10 but also the emotion of the user 10 and the history data 222, it is possible to provide cheer suitable for the user 10. Also, by taking into consideration the emotion of the robot 100, it is possible to make the user 10 feel that the robot 100 has emotions.
- a fixed sentence such as "What cheer do you recommend to the user at this time?"
- Step 4 The robot 100 speaks the cheer determined in step 3 to the user 10 who is training, and obtains a response from the user 10.
- the behavior determination unit 236 determines, as the behavior of the robot 100, utterances of encouragement for the user 10 during training, and the behavior control unit 250 controls the control target 252 to make utterances of encouragement for the user 10.
- the user state recognition unit 230 recognizes the state of the user 10 based on the information analyzed by the sensor module unit 210, and the emotion determination unit 232 determines an emotion value indicating the emotion of the user 10 based on the information analyzed by the sensor module unit 210 and the state of the user 10 recognized by the user state recognition unit 230.
- the behavior decision unit 236 judges whether the reaction of the user 10 is positive or not based on the state of the user 10 (facial expression, heart rate, movement speed, etc.) recognized by the user state recognition unit 230 and the emotional value indicating the emotion of the user 10, and decides, as the behavior of the robot 100, whether to execute a process to continue the cheer that was uttered to the user 10, or to utter a different cheer to the user 10.
- Step 5-1 If the reaction of the user 10 is positive, the robot 100 executes a process of continuing the cheering that was uttered. Specifically, when it is determined that the robot 100 should execute a process of continuing the cheering uttered to the user 10, the behavior control unit 250 controls the robot 100 to continue the cheering uttered to the user 10.
- Step 5-2 If the reaction of the user 10 is not positive, the robot 100 determines another cheer to utter to the user 10. Specifically, when it is determined that the action of the robot 100 is to utter another cheer for the user 10, the action decision unit 236 adds a fixed sentence "Is there any other cheer you would recommend to the user?" to the text representing the preferences regarding cheers for the user 10, the feelings of the user 10, the feelings of the robot 100, and the contents stored in the history data 222, inputs the added fixed sentence into the sentence generation model, and acquires the recommended content regarding cheers. Then, the process returns to step 4 above, and the processes of steps 4 to 5-2 above are repeated until it is determined to execute the process of continuing the cheer proposed to the user 10.
- a positive reaction (facial expression) of the user 10 is, for example, when the facial expression during the training interval is a smile.
- a negative reaction (facial expression) is, for example, when the facial expression during the training interval is an angry one.
- a positive reaction (heart rate) of the user 10 is, for example, when the heart rate is below a predetermined value. If the heart rate of the user 10 is below the predetermined value, the robot 100 continues cheering and allows the user 10 to continue training. On the other hand, a negative reaction is, for example, when the heart rate is higher than the predetermined value. If the heart rate of the user 10 is higher than the predetermined value, the robot 100 changes the cheering content and stops the training.
- An example of a case where the user 10's reaction (movement speed) is positive is when the movement speed becomes faster.
- the robot 100 continues cheering to make the user 10 maintain the training speed.
- an example of a negative reaction is when the movement speed becomes slower.
- the robot 100 changes the content of the cheering to make the user 10 increase the training speed.
- the robot 100 can execute cheering processing according to the user's preferences, the user's situation, and the user's reaction.
- a user state recognition unit that recognizes a user state including a user's behavior; an emotion determining unit for determining an emotion of a user or an emotion of a robot; a behavior determination unit that determines a behavior of the robot corresponding to the user state and the user's emotion or the robot's emotion based on a sentence generation model having an interaction function that allows a user and a robot to interact with each other;
- the action determination unit determines an action of speaking content corresponding to the user state of the user using the fitness equipment.
- Behavioral control system A user state recognition unit that recognizes a user state including a user's behavior; an emotion determining unit for determining an emotion of a user or an emotion of a robot; a behavior determination unit that determines a behavior of the robot corresponding to the user state and the user's emotion or the robot's emotion based on a sentence generation model having an interaction function that allows a user and a robot to interact with each other;
- the action determination unit determines an action of speaking content corresponding to the user state
- (Appendix 2) the user state recognition unit recognizes a conversation preference of the user as the user state, The behavior control system according to claim 1, wherein the behavior determination unit determines a behavior of speaking content according to the user's conversation preferences.
- (Appendix 3) The user state recognition unit recognizes a facial expression of a user as the user state, The behavior control system according to claim 1, wherein the behavior determination unit determines a behavior of speaking content corresponding to a facial expression of the user.
- (Appendix 4) the user state recognition unit recognizes a heart rate of a user as the user state; The behavior control system according to claim 1, wherein the behavior determination unit determines a behavior of speaking content according to the user's heart rate.
- the behavior control system (Appendix 5) The user state recognition unit recognizes a motion speed of the user as the user state, The behavior control system according to claim 1, wherein the behavior determination unit determines a behavior of speaking content according to the user's movement speed. (Appendix 6) 2. The behavior control system according to claim 1, wherein the robot is mounted on a stuffed toy or is connected wirelessly or by wire to a control target device mounted on the stuffed toy.
- the robot 100 may be applied to a robot mounted on a device such as an electric appliance, a computer, an automobile, a motorcycle, a toy, or the like, or the robot 100 may control a device such as an electric appliance, a computer, an automobile, a motorcycle, a toy, or the like.
- the robot 100 may also be mounted on a stuffed toy, or may be applied to a control device connected wirelessly or by wire to a control target device (speaker or camera) mounted on the stuffed toy.
- the other embodiments are configured as follows.
- the robot 100 may be applied to the control of a motorcycle (also called a motor cycle or two-wheeled motor vehicle).
- the bike on which the robot 100 is mounted or which is connected to the robot 100 so as to be controllable by the robot 100 includes, for example, front and rear wheels, a prime mover consisting of an internal combustion engine or a motor that drives at least the rear wheel, front and rear suspensions, a suspension adjustment unit that can adjust the suspension stiffness (spring preload, damper compression side damping force and extension side damping force) using a first actuator, a handle adjustment unit that can adjust the handle height using a second actuator, and a seat height adjustment unit that can adjust the seat height using a third actuator.
- the robot 100 includes the actuators of the suspension adjustment unit, handle adjustment unit and seat height adjustment unit of the bike in the control objects 252, and is capable of adjusting the bike's suspension stiffness, handle height and seat height.
- the robot 100 performs the following steps 1 to 5-2 to control the suspension stiffness, handlebar height, and seat height of the bike according to the user's preferences, situation, and reactions.
- Step 1 The robot 100 acquires the state of the user 10, the emotion value of the user 10, the emotion value of the robot 100, and the history data 222. Specifically, the robot 100 performs the same processing as steps S100 to S103 described above to acquire the state of the user 10, the emotion value of the user 10, the emotion value of the robot 100, and the history data 222.
- the state of the user 10 also includes the physical build of the user 10 and the presence or absence of a pillion rider.
- Step 2 The robot 100 acquires the preferences of the user 10 regarding control of the bike. Specifically, the behavior decision unit 236 decides that an utterance asking the user 10 about preferences regarding control of the motorcycle is the behavior of the robot 100, and the behavior control unit 250 controls a speaker, which is one of the control targets 252, to make an utterance asking the user 10 about preferences regarding control of the motorcycle.
- the user state recognition unit 230 recognizes the preferences of the user 10 regarding control of the motorcycle based on information analyzed by the sensor module unit 210 (e.g., the user's response). An example of a user's preference regarding control of the motorcycle's suspension stiffness, handlebar height, and seat height is "I would like the motorcycle to be more easily soaked when stopped.”
- Step 3 The robot 100 determines the specific controls regarding the suspension stiffness, handlebar height, and seat height of the bike to be proposed to the user 10. Specifically, the behavior decision unit 236 adds a fixed sentence such as "What motorcycle control is recommended for the user at this time?" to the text representing the user 10's preferences regarding motorcycle control, the user 10's emotions, the robot 100's emotions, and the contents stored in the history data 222, and inputs the added fixed sentence into the sentence generation model to obtain the recommended motorcycle control contents.
- a specific motorcycle control suitable for the user 10 by considering not only the user 10's preferences regarding motorcycle control, but also the user 10's emotions and the history data 222, it is possible to propose a specific motorcycle control suitable for the user 10.
- the emotions of the robot 100 it is possible to make the user 10 feel that the robot 100 has emotions.
- An example of a specific motorcycle control is "relatively softening the suspension and relatively lowering the seat height when the motorcycle is stopped," etc.
- Step 4 The robot 100 proposes to the user 10 the specific control for the bike determined in step 3, and obtains a response from the user 10.
- the behavior decision unit 236 determines, as the behavior of the robot 100, an utterance proposing to the user 10 a specific control regarding the motorcycle, and the behavior control unit 250 controls the speaker, which is one of the control targets 252, to make an utterance proposing to the user 10 a specific control regarding the motorcycle.
- step 4 in addition to making an utterance, it is also possible to execute a specific control regarding the motorcycle, such as "relatively softening the suspension and relatively lowering the seat height when the motorcycle is stopped.”
- the user state recognition unit 230 recognizes the state of the user 10 based on the information analyzed by the sensor module unit 210, and the emotion determination unit 232 determines an emotion value indicating the emotion of the user 10 based on the information analyzed by the sensor module unit 210 and the state of the user 10 recognized by the user state recognition unit 230.
- the behavior decision unit 236 judges whether the reaction of the user 10 is positive or not based on the state of the user 10 recognized by the user state recognition unit 230 and the emotion value indicating the emotion of the user 10, and decides, as the behavior of the robot 100, whether to execute the specific control regarding the bike proposed to the user 10, or to propose a different control regarding the bike to the user 10.
- Step 5-1 If the reaction of the user 10 is positive, the robot 100 executes specific control regarding the proposed bike. Specifically, when it is decided that the specific control regarding the bike proposed to the user 10 is to be executed as the behavior of the robot 100, the behavior control unit 250 controls the actuators of the suspension adjustment unit, handle adjustment unit and seat height adjustment unit of the bike, which is one of the control targets 252, so as to execute the specific control regarding the bike proposed to the user 10. Note that if the specific control regarding the bike was executed in the previous step 4, step 5-1 may be skipped.
- Step 5-2 If the reaction of the user 10 is not positive, the robot 100 determines another control for the bike to propose to the user 10. Specifically, when it is determined that the behavior of the robot 100 is to propose to the user 10 another control regarding the motorcycle, the behavior decision unit 236 adds a fixed sentence, "Are there any other motorcycle controls recommended for the user?" to the text representing the preferences for the user 10 regarding motorcycle control, the emotions of the user 10, the emotions of the robot 100, and the contents stored in the history data 222, and inputs this into the sentence generation model to obtain the recommended contents regarding the other motorcycle control.
- An example of another motorcycle control is "raise the handlebar height of the motorcycle". Then, the process returns to step 4 above, and the processes of steps 4 to 5-2 above are repeated until it is determined that the specific motorcycle control proposed to the user 10 is to be executed.
- the robot 100 can execute control over the bike in accordance with the preferences of the user 10, the situation of the user 10, and the reactions of the user 10.
- the robot 100 converses with the user 10, acquires the user's 10 preferences regarding control of the motorcycle, and controls the motorcycle in accordance with the user's 10 preferences.
- the robot 100 may be configured to execute control of the motorcycle in accordance with the user's 10 preferences, the user's 10 situation, and the user's 10 reactions, without having a conversation with the user.
- a configuration has been described in which a motorcycle is provided with a suspension adjustment unit, a handle adjustment unit, and a seat height adjustment unit, but the present disclosure is not limited to this, and the present disclosure can also be applied to a motorcycle provided with at least one of a suspension adjustment unit, a handle adjustment unit, and a seat height adjustment unit.
- a user state recognition unit that recognizes a user state including a user's behavior; an emotion determining unit for determining an emotion of a user or an emotion of a robot; a behavior determination unit that determines an action of the robot corresponding to the user state and the user's emotion or the robot's emotion based on a sentence generation model having an interaction function that allows a user and a robot to interact with each other;
- the behavior determination unit determines, as the behavior of the robot, control of an actuator provided on a motorcycle. Behavioral control system.
- Appendix 2 2.
- the robot 100 may be applied to a robot mounted on a device such as an electric appliance, a computer, an automobile, a motorcycle, a toy, or the like, or the robot 100 may control a device such as an electric appliance, a computer, an automobile, a motorcycle, a toy, or the like.
- the robot 100 may also be mounted on a stuffed toy, or may be applied to a control device connected wirelessly or by wire to a control target device (speaker or camera) mounted on the stuffed toy.
- the other embodiment is configured as follows.
- the robot 100 may be applied to the control of fittings such as doors and sashes (AI fittings, interactive fittings).
- the fitting controlled by the robot 100 is equipped with an opening adjustment mechanism that adjusts the opening degree of the fitting, and an ultrasonic generator that generates ultrasonic waves around the fitting to repel insects.
- the fixture controlled by the robot 100 is equipped with an intercom that can communicate with visitors.
- the robot 100 performs the following steps 1 to 5-2 to adjust the opening degree of the fittings in accordance with the user's preferences, the user's situation, and the user's reaction, and also performs a process of emitting ultrasonic waves to repel insects around the fittings.
- the robot 100 executes a process of responding to visitors such as door-to-door salesmen according to the user's preferences, user's situation, and user's reaction, through the following steps 1 to 5-2.
- Step 1 the robot 100 acquires the state of the user 10, the emotional value of the user 10, the emotional value of the robot 100, and the history data 222. Specifically, the robot 100 performs the same processing as steps S100 to S103 described above to acquire the state of the user 10, the emotional value of the user 10, the emotional value of the robot 100, and the history data 222.
- the robot 100 obtains the user's 10 preferences regarding the opening degree of doors and windows and insect repellent.
- the behavior decision unit 236 decides that an utterance asking the user 10 about the opening degree of the fixtures and preferences regarding insect repellent will be the behavior of the robot 100, and the behavior control unit 250 controls the control target 252 to make an utterance asking the user 10 about the opening degree of the fixtures and preferences regarding insect repellent.
- the user state recognition unit 230 recognizes the user 10's preferences regarding the opening degree of the fixtures and preferences regarding insect repellent based on information analyzed by the sensor module unit 210 (e.g., the user's response).
- the robot 100 obtains the user's 10 preferences regarding visitors.
- the behavior decision unit 236 decides that an utterance asking the user 10 about preferences regarding visitors is the behavior of the robot 100, and the behavior control unit 250 controls the control target 252 to make an utterance asking the user 10 about preferences regarding visitors.
- the user state recognition unit 230 recognizes the preferences regarding visitors of the user 10 based on the information analyzed by the sensor module unit 210 (e.g., the user's response).
- the robot 100 determines the opening degree of the fixtures and whether or not insect repellent is necessary to be suggested to the user 10. Specifically, the behavior decision unit 236 adds fixed sentences such as "What degree of opening of the fixtures is recommended to the user at this time?" and "Is insect repellent necessary at this time?” to the text representing the user's 10 preferences regarding the opening degree of the fixtures and insect repellent, the user's 10 emotions, the robot 100 emotions, and the contents stored in the history data 222, and inputs them into the sentence generation model to obtain the recommended contents regarding the opening degree of the fixtures and the contents regarding the necessity of insect repellent.
- the behavior decision unit 236 adds fixed sentences such as "What degree of opening of the fixtures is recommended to the user at this time?" and "Is insect repellent necessary at this time?" to the text representing the user's 10 preferences regarding the opening degree of the fixtures and insect repellent, the user's 10 emotions, the robot 100 emotions, and the contents stored in the history data 222, and inputs them into the sentence generation model to obtain the recommended contents regarding the opening degree
- the robot 100 determines the content of a response to the visitor that is to be suggested to the user 10 .
- the behavior decision unit 236 adds a fixed sentence such as "What is the response content to the visitor recommended to the user at this time?" to the text representing the user's 10 preferences regarding visitors, the user's 10 emotions, the robot's 100 emotions, and the content stored in the history data 222, and inputs the added fixed sentence into the sentence generation model to obtain the recommended content regarding the response content to the visitor.
- a fixed sentence such as "What is the response content to the visitor recommended to the user at this time?"
- Step 4 the robot 100 suggests to the user 10 the opening degree of the fixtures and the need for insect repellent determined in step 3, and obtains a response from the user 10.
- the behavior determination unit 236 determines, as the behavior of the robot 100, an utterance suggesting to the user 10 the degree to which the doors and windows are opened and whether or not insect repellent is necessary, and the behavior control unit 250 controls the control target 252 to make an utterance suggesting to the user 10 the degree to which the doors and windows are opened and whether or not insect repellent is necessary.
- the user state recognition unit 230 recognizes the state of the user 10 based on the information analyzed by the sensor module unit 210, and the emotion determination unit 232 determines an emotion value indicating the emotion of the user 10 based on the information analyzed by the sensor module unit 210 and the state of the user 10 recognized by the user state recognition unit 230.
- the behavior decision unit 236 judges whether the user 10's reaction is positive or not based on the state of the user 10 recognized by the user state recognition unit 230 and an emotion value indicating the emotion of the user 10, and decides, as the behavior of the robot 100, whether to adjust the opening degree of the fittings proposed to the user 10 and, depending on necessity, execute a process to generate ultrasonic waves for repelling insects around the fittings, or to suggest to the user 10 the opening degree of another fitting and whether insect repellent is necessary.
- the robot 100 suggests to the user 10 the response to the visitor determined in step 3, and obtains the user's 10 reaction.
- the behavior determination unit 236 determines, as the behavior of the robot 100, an utterance suggesting to the user 10 what response to the visitor should be, and the behavior control unit 250 controls the control target 252 to make an utterance suggesting what response to the visitor should be to the user 10.
- the user state recognition unit 230 recognizes the state of the user 10 based on the information analyzed by the sensor module unit 210, and the emotion determination unit 232 determines an emotion value indicating the emotion of the user 10 based on the information analyzed by the sensor module unit 210 and the state of the user 10 recognized by the user state recognition unit 230.
- the behavior decision unit 236 judges whether the reaction of the user 10 is positive or not based on the state of the user 10 recognized by the user state recognition unit 230 and the emotion value indicating the emotion of the user 10, and decides, as the behavior of the robot 100, whether to execute a process of responding to the visitor with the response content suggested to the user 10, or to suggest to the user 10 a response content to another visitor.
- Step 5-1 In one example, if the user 10 responds positively, the robot 100 adjusts the opening degree of the proposed fixture and, if necessary, performs a process of emitting ultrasonic waves to repel insects around the fixture. Specifically, when it is determined that the robot 100 is to execute a process to adjust the opening degree of the fitting proposed to the user 10 as its behavior, the behavior control unit 250 controls the opening degree adjustment mechanism, which is the control object 252, so that the opening degree of the fitting becomes the opening degree proposed to the user 10.
- the behavior control unit 250 controls the ultrasonic generator, which is the control object 252, so that ultrasonic waves for repelling insects are generated around the fitting proposed to the user 10.
- the robot 100 executes a process of responding to the visitor with a suggested response content.
- the behavior control unit 250 controls the speaker of the intercom, which is the control object 252, so that the visitor is responded to with the response content suggested to the user 10.
- Step 5-2 the robot 100 determines the opening degree of another fixture to be suggested to the user 10 and whether or not insect repellent is necessary. Specifically, when it is determined that the action of the robot 100 is to suggest to the user 10 the opening degree of another fixture and whether insect repellent is necessary, the action decision unit 236 adds fixed sentences such as "Are there any other opening degrees of fixtures recommended to the user?" and "Is insect repellent necessary at this time?” to the text representing the preferences of the user 10 regarding the opening degrees of fixtures and insect repellent, the emotions of the user 10, the emotions of the robot 100, and the contents stored in the history data 222, and inputs them into the sentence generation model to obtain the recommended contents regarding the opening degrees of fixtures and the contents regarding the necessity of insect repellent.
- step 4 the process returns to step 4, and the processes of steps 4 to 5-2 are repeated until it is determined to adjust the opening degree of the fixture proposed to the user 10 and to execute a process of generating ultrasonic waves for insect repellent around the fixture depending on the necessity.
- the robot 100 determines what response to suggest to the user 10 to another visitor.
- the action decision unit 236 adds a fixed sentence "Are there any other response contents for visitors that you would recommend to the user?" to the text representing the user 10's preferences regarding visitors, the user 10's feelings, the robot 100's feelings, and the content stored in the history data 222, inputs the added fixed sentence into the sentence generation model, and obtains the recommended content regarding the response content for the visitor. Then, the process returns to step 4, and the above steps 4 to 5-2 are repeated until it is determined to execute the process of responding to the visitor with the response content suggested to the user 10.
- the robot 100 can adjust the opening degree of the fittings in accordance with the user's preferences, the user's situation, and the user's reaction, and can also perform a process of emitting ultrasonic waves around the fittings to repel insects.
- the robot 100 can execute a process of responding to visitors, such as door-to-door salesmen, in accordance with the user's preferences, the user's situation, and the user's reactions.
- a user state recognition unit that recognizes a user state including a user's behavior; an emotion determining unit for determining an emotion of a user or an emotion of a robot; a behavior determination unit that determines a behavior of the robot corresponding to the user state and the user's emotion or the robot's emotion based on a sentence generation model having an interaction function that allows a user and a robot to interact with each other; the behavior determination unit determines whether to generate ultrasonic waves for repelling insects around the fixture based on a dialogue result between the sentence generation model and the user, or determines a response content to a visitor based on a dialogue result between the sentence generation model and the user; Behavioral control system.
- the robot 100 may be applied to a robot mounted on a device such as an electric appliance, a computer, an automobile, a motorcycle, a toy, or the like, or the robot 100 may control a device such as an electric appliance, a computer, an automobile, a motorcycle, a toy, or the like.
- the robot 100 may also be mounted on a stuffed toy, or may be applied to a control device connected wirelessly or by wire to a control target device (speaker or camera) mounted on the stuffed toy.
- the other embodiment is configured as follows.
- the robot 100 may be applied to the control of a menu creation system that suggests the contents of a menu of dishes.
- the menu creation system controlled by the robot 100 includes a memory unit that stores menu history data, an acquisition unit that acquires information on temperature, humidity or season, information on ingredients, information on refrigerator inventory, or information on the user's physical condition or illness, and a speaker that outputs audio.
- the acquisition unit can be a communication processing unit 280 connected to an external device by wire or wirelessly.
- the robot 100 can also be equipped with a sensor that detects temperature and humidity. In this case, the sensor can be used as the acquisition unit.
- the menu creation system can also be equipped with a display unit that displays the contents of the menu.
- the robot 100 executes the process of creating a menu and outputting the contents of the menu according to the user's preferences, the user's situation, and the user's reactions through the following steps 1 to 5-2.
- Step 1 The robot 100 acquires the state of the user 10, the emotional value of the user 10, the emotional value of the robot 100, and the history data 222. Specifically, the robot 100 performs the same processing as steps S100 to S103 described above to acquire the state of the user 10, the emotional value of the user 10, the emotional value of the robot 100, and the history data 222.
- Step 2 The robot 100 acquires the user's 10 preferences regarding the user's favorite ingredients, flavors, cuisine genres, and the like. Specifically, the behavior decision unit 236 decides that the behavior of the robot 100 is to ask the user 10 about his/her favorite ingredients, tastes, cooking genres, etc., and the behavior control unit 250 controls the control target 252 to make an utterance to ask the user 10 about his/her favorite ingredients, tastes, cooking genres, etc. The user state recognition unit 230 recognizes the user 10's favorite ingredients, tastes, cooking genres, etc., based on the information analyzed by the sensor module unit 210 (e.g., the user's answer).
- the robot 100 utters questions such as "What is your favorite ingredient?", "What kind of taste do you like?", and "What is your favorite cooking genre?" to the user 10. Then, the robot 100 recognizes the user 10's favorite ingredients, tastes, cooking genres, etc., based on the answers from the user 10 such as "I like tomatoes,””I like spicy food,” and "I like Japanese food.”
- Step 3 The robot 100 determines the contents of a menu to be proposed to the user 10. Specifically, the behavior decision unit 236 adds a fixed sentence such as "What is the menu recommended to the user at this time?" to the text representing the user's 10 favorite ingredients, preferences regarding tastes and food genres, the user's 10 emotions, the robot's 100 emotions, and the contents stored in the history data 222, and inputs the fixed sentence into the sentence generation model to obtain the recommended contents regarding the favorite ingredients, tastes, food genres, and the like.
- a menu suitable for the user's 10 emotions at that time by considering not only the user's 10 favorite ingredients, tastes, food genres, and the like, but also the user's 10 emotions and the history data 222, it is possible to propose a menu suitable for the user's 10 emotions at that time.
- the robot 100 determines that the user's 10 favorite ingredient is tomatoes and that the user 10 is tired, it performs control such that a menu that uses tomatoes and has a fatigue recovery effect is created and the contents of the menu are output.
- Step 4 The robot 100 proposes the menu contents determined in step 3 to the user 10 and obtains a response from the user 10.
- the behavior determination unit 236 determines, as the behavior of the robot 100, an utterance proposing the contents of the determined menu to the user 10, and the behavior control unit 250 controls the control object 252 to make an utterance proposing the contents of the determined menu to the user 10.
- the user state recognition unit 230 recognizes the state of the user 10 based on the information analyzed by the sensor module unit 210, and the emotion determination unit 232 determines an emotion value indicating the emotion of the user 10 based on the information analyzed by the sensor module unit 210 and the state of the user 10 recognized by the user state recognition unit 230.
- the behavior decision unit 236 judges whether the reaction of the user 10 is positive or not based on the state of the user 10 recognized by the user state recognition unit 230 and the emotion value indicating the emotion of the user 10, and decides, as the behavior of the robot 100, whether to execute a process of outputting the contents of the menu proposed to the user 10, or to propose the contents of a different menu to the user 10.
- Step 5-1 If the reaction of the user 10 is positive, the robot 100 executes a process of outputting the contents of the proposed menu. Specifically, when it is determined that the robot 100 should execute a process of outputting the contents of a menu proposed to the user 10 as its behavior, the behavior control unit 250 controls the menu creation system, which is the controlled object 252, so as to output the contents of the menu proposed to the user 10.
- Step 5-2 If the reaction of the user 10 is not positive, the robot 100 determines to output the content of a different menu to be proposed to the user 10. For example, when the behavior decision unit 236 determines that the emotional tension of the user 10 is not very high, it performs control to output the content of a different menu. Specifically, for example, the robot 100 utters a question such as "How about a hotpot dish?" If the robot 100 judges that the user 10 responds thoughtfully with a "Hmm" or that the user 10 is slow to respond to the robot 100's utterance, the robot 100 performs control to output the contents of a different menu.
- the behavior decision unit 236 determines that the emotional tension of the user 10 is not very high, it performs control to output the content of a different menu. Specifically, for example, the robot 100 utters a question such as "How about a hotpot dish?" If the robot 100 judges that the user 10 responds thoughtfully with a "Hmm" or that the user 10 is slow to respond to the robot 100's
- the behavior decision unit 236 adds a fixed sentence such as "Are there any other menus recommended to the user?" to the text representing the user 10's preferences regarding favorite ingredients, flavors, and cuisine genres, the user 10's feelings, the robot 100's feelings, and the contents stored in the history data 222, and inputs the added fixed sentence into the sentence generation model to obtain the recommended contents regarding favorite ingredients, flavors, and cuisine genres. Then, the process returns to step 4, and the above steps 4 to 5-2 are repeated until it is determined to execute the process of outputting the contents of the menu proposed to the user 10.
- a fixed sentence such as "Are there any other menus recommended to the user?"
- the robot 100 can execute a process of creating a menu and outputting the contents of the menu based on the user's preferences, the user's situation, and the user's reactions.
- the behavior decision unit 236 may use information related to temperature, humidity, or season to control the robot 100 to change the menu content to be output.
- the information related to temperature, humidity, or season may be acquired via the communication processing unit 280 connected to an external device, or may be acquired by detection using a sensor provided in the robot 100.
- the behavior determining unit 236 determines that the season is winter and that the temperature of the day is colder than a predetermined temperature, it controls to suggest the contents of a menu of dishes that warm the body, such as sukiyaki or hot pot dishes, according to the user's preferences, the user's situation, and the user's reaction.
- the behavior determining unit 236 determines that the season is summer and that the temperature of the day is hotter than a predetermined temperature, it controls to suggest the contents of a menu of light dishes, such as somen noodles, according to the user's preferences, the user's situation, and the user's reaction.
- the behavior determining unit 236 determines that the day on which the menu is to be output is Christmas, it controls to suggest a menu of Christmas dishes according to the user's preferences, the user's situation, and the user's reaction.
- the behavior determining unit 236 may use information about ingredients to be used to control the robot 100 to change the menu output according to the user's preferences, situation, and reaction.
- the information about ingredients to be used is obtained by the robot 100 through a dialogue with the user 10. Specifically, for example, when the behavior decision unit 236 determines that the ingredient to be used is meat, it controls the menu to be changed to one that uses meat, in accordance with the user's preferences, the user's situation, and the user's reaction.
- the behavior decision unit 236 may use information about the refrigerator inventory to control the robot 100 to change the content of the menu to be output according to the user's preference, the user's situation, and the user's reaction.
- the information about the refrigerator inventory may be acquired by the robot 100 through a dialogue with the user 10, or may be acquired via the communication processing unit 280 connected to a camera or the like mounted on the refrigerator.
- the behavior decision unit 236 determines that there is yellowtail, radish, and carrots in the refrigerator, it controls the menu to be changed to one that uses yellowtail, radish, and carrots, depending on the user's preferences, the user's situation, and the user's reaction.
- the behavior decision unit 236 may also use information on the user's physical condition or illness to control the robot 100 to change the content of the menu to be output in accordance with the user's preferences, the user's situation, and the user's reaction.
- the robot 100 may acquire information on the user's physical condition or illness from a dialogue with the user 10, or may acquire the information via the communication processing unit 280 connected to a wearable device worn by the user 10.
- Information on the user's illness may also be acquired using information on medicine taken by the user 10. Specifically, for example, when the behavior determining unit 236 determines that the user is tired, the behavior determining unit 236 controls to change the menu to one that has a fatigue recovery effect in accordance with the user's preference, the user's situation, and the user's reaction.
- the behavior determining unit 236 determines that the user has high blood pressure
- the behavior determining unit 236 controls to change the menu to one that lowers blood pressure in accordance with the user's preference, the user's situation, and the user's reaction.
- the behavior determining unit 236 determines that the user 10 is taking diabetes medication
- the behavior determining unit 236 controls to change the menu to one that lowers blood sugar levels in accordance with the user's preference, the user's situation, and the user's reaction.
- the behavior decision unit 236 also uses the user's menu history data to control the robot 100 to change the menu content to be output. Specifically, the robot 100 stores the menu content output to the user in the storage unit as menu history data. The behavior decision unit 236 then controls the menu content to be changed so as to exclude menus that have not yet been output for a predetermined period of time.
- the behavior decision unit 236 selects the genre of food to be output based on the emotions of the user 10 or the robot 100, and controls the robot 100 to output a menu that falls within the selected genre.
- the food to be output may be classified into genres such as Japanese food, Western food, Chinese food, Asian food, ethnic food, etc., and a menu that falls within the genre of food to be output may be output.
- a user state recognition unit that recognizes a user state including a user's behavior; an emotion determining unit for determining an emotion of a user or an emotion of a robot; a behavior determination unit that determines an action of the robot corresponding to the user state and the user's emotion or the robot's emotion based on a sentence generation model having an interaction function that allows a user and a robot to interact with each other;
- the behavior determination unit causes the robot to output the contents of the menu based on the user's emotion or the robot's emotion.
- Behavioral control system A user state recognition unit that recognizes a user state including a user's behavior; an emotion determining unit for determining an emotion of a user or an emotion of a robot; a behavior determination unit that determines an action of the robot corresponding to the user state and the user's emotion or the robot's emotion based on a sentence generation model having an interaction function that allows a user and a robot to interact with each other;
- the behavior determination unit causes the robot to output the contents of the menu
- (Appendix 2) An acquisition unit that acquires information regarding temperature, humidity, or season, The behavior determination unit controls the robot to change the content of the menu to be output using information related to temperature, humidity, or season. 2.
- the behavior control system of claim 1. (Appendix 3) An acquisition unit for acquiring information about ingredients, The behavior determination unit controls the robot to change the content of the menu to be output using information about ingredients to be used. 2.
- the behavior control system of claim 1. (Appendix 4) An acquisition unit for acquiring information regarding an inventory of a refrigerator, The behavior determination unit controls the robot to change the content of the menu to be output by the robot using information regarding the inventory of the refrigerator. 2.
- the robot 100 may be applied to a robot mounted on a device such as an electric appliance, a computer, an automobile, a motorcycle, a toy, etc., or the robot 100 may control a device such as an electric appliance, a computer, an automobile, a motorcycle, a toy, etc.
- the robot 100 may also be mounted on a stuffed toy, or the robot 100 may control a control target device (e.g., a speaker or a camera) mounted on the stuffed toy.
- the robot 100 controls the control target device, for example, the robot 100 is connected to the control target device wirelessly or by wire.
- the robot 100 may be mounted on a measuring device that measures the body composition values, or the robot 100 may control a controlled device (e.g., a speaker or a camera) mounted on the measuring device.
- a controlled device e.g., a speaker or a camera
- the robot 100 controls the controlled device for example, the robot 100 is connected to the controlled device wirelessly or via a wire.
- the body composition values are values related to the composition of the body, such as weight, height, body fat percentage, muscle mass, skeletal muscle percentage, bone mass, basal metabolism, visceral fat level, and BMI. Examples of such measuring devices include a weight scale, a height gauge, and a body composition scale. Note that when the robot 100 is applied to a measuring device, it is assumed that there are multiple users, such as family members and friends.
- the measuring device has a measuring unit that measures the numerical values of body composition.
- the measuring unit has various sensors, and measures the weight, dimensions, electrical resistance value, etc. of the user 10 using the sensors to measure the numerical values of body composition.
- the measuring unit is controlled by the robot 100, and the robot 100 acquires the measurement results (i.e., numerical data) measured by the measuring unit.
- the measuring unit may be controlled by a control unit separate from the robot 100.
- the robot 100 executes a process of presenting a response action to the user who has had their body composition measured, according to the user's preferences, the user's situation, and the user's reaction, through the following steps 1 to 5.
- the robot 100 executes a process of presenting a response action to the user 10, for example, praising, encouraging, or scolding the user who has had their body composition measured, according to the user's preferences, the user's situation, and the user's reaction, through the following steps 1 to 5.
- praising, encouraging, or scolding are typical response actions, they are not limited to these, and various response actions (for example, admonishing, being close to the user without speaking) are possible.
- Step 1 The robot 100 acquires the state of the user 10, the emotional value of the user 10, the emotional value of the robot 100, and the history data 222. Specifically, the robot 100 performs the same processing as steps S100 to S103 described above, and acquires the state of the user 10, the emotional value of the user 10, the emotional value of the robot 100, and the history data 222. Furthermore, the robot 100 acquires the measurement results from the measurement unit.
- Step 2 The robot 100 acquires the user's 10 preferences regarding, for example, how others treat the robot and the user's body.
- the behavior decision unit 236 decides, as the behavior of the robot 100, an utterance that asks the user 10 about the response from others and preferences regarding the body, and the behavior control unit 250 controls the control target 252 to make an utterance that asks the user 10 about the response from others and preferences regarding the body.
- the user state recognition unit 230 recognizes the response from others to the user 10 and preferences regarding the body based on the information (e.g., the user's answer) analyzed by the sensor module unit 210.
- preferences regarding the body include preferences regarding body type (e.g., thin, obese, etc.), body shape (e.g., muscular, etc.), and exercise for moving the body.
- preferences regarding responses from others include whether or not the user likes to be praised by others, whether or not the user likes to be encouraged by others, and whether or not the user likes to be scolded by others.
- Step 3 The robot 100 determines a response action to be presented to the user 10. Specifically, the behavior decision unit 236 adds a fixed sentence such as "What is the recommended action to be taken by the user at this time?" to the text representing the measurement results by the measurement unit, the user's 10's responses from others and preferences regarding the body, the user's 10 emotions, the robot's 100 emotions, and the contents stored in the history data 222, and inputs the added fixed sentence into the sentence generation model to obtain the recommended action content.
- the behavior decision unit 236 adds a fixed sentence such as "What is the recommended action to be taken by the user at this time?" to the text representing the measurement results by the measurement unit, the user's 10's responses from others and preferences regarding the body, the user's 10 emotions, the robot's 100 emotions, and the contents stored in the history data 222, and inputs the added fixed sentence into the sentence generation model to obtain the recommended action content.
- the robot's 100 emotions it is possible to make the user 10 feel that the robot 100 has emotions.
- Step 4 The robot 100 presents the response action determined in step 3 to the user 10 and obtains a reaction from the user 10.
- the behavior determination unit 236 determines an utterance that presents a response action to the user 10 as the behavior of the robot 100, and the behavior control unit 250 controls the control target 252 to make an utterance that presents a response action to the user 10.
- the user state recognition unit 230 recognizes the state of the user 10 based on the information analyzed by the sensor module unit 210, and the emotion determination unit 232 determines an emotion value that indicates the emotion of the user 10 based on the information analyzed by the sensor module unit 210 and the state of the user 10 recognized by the user state recognition unit 230.
- the behavior determining unit 236 determines whether the reaction of the user 10 is positive or not based on the state of the user 10 recognized by the user state recognizing unit 230 and an emotion value indicating the emotion of the user 10 .
- Step 5 If the reaction of the user 10 is not positive, the robot 100 determines another response action to present to the user 10. Specifically, when it is determined that a different response action should be presented to the user 10 as the action of the robot 100, the action decision unit 236 adds a fixed sentence, "Are there any other response actions recommended for the user?" to the text representing the measurement results by the measurement unit, the responses from others to the user 10, and physical preferences, the emotions of the user 10, the emotions of the robot 100, and the contents stored in the history data 222, inputs the result into the sentence generation model, and acquires the recommended action content. Then, the process returns to step 4, where the response action is presented to the user 10, and the processes of steps 4 to 5 are repeated until it is determined that the reaction of the user 10 is positive.
- the robot 100 can execute a process to present a response action to a user whose body composition has been measured, in accordance with the user's preferences, the user's situation, and the user's reaction.
- a user state recognition unit that recognizes a user state including a user's behavior; an emotion determining unit for determining an emotion of a user or an emotion of a robot; a behavior determination unit that determines a behavior of the robot corresponding to the user state and the user's emotion or the robot's emotion based on a sentence generation model having an interaction function that allows a user and a robot to interact with each other;
- the behavior determination unit determines, as the behavior, a response action of the robot to the user who has measured a body composition value, based on the sentence generation model.
- Behavioral control system
- the behavior determination unit determines an action of praising, encouraging, or scolding the user as the response action.
- the behavior control system of claim 1. (Appendix 3) The robot is mounted on a measuring device that measures body composition values, or controls a control target device mounted on the measuring device. (Appendix 4) 2. The behavior control system according to claim 1, wherein the robot is mounted on a stuffed toy or controls a control target device mounted on the stuffed toy.
- the robot 100 may be applied to a robot mounted on a device such as an electric appliance, a computer, an automobile, a motorcycle, a toy, or the like, or the robot 100 may control a device such as an electric appliance, a computer, an automobile, a motorcycle, a toy, or the like.
- the robot 100 may also be mounted on a stuffed toy, or may be applied to a control device connected wirelessly or by wire to a control target device (speaker or camera) mounted on the stuffed toy.
- the other embodiment is configured as follows.
- the robot 100 may be applied to the control of an AI small talk system.
- the AI small talk system controlled by the robot 100 functionally comprises a news distribution unit that acquires and distributes news searched by an Internet search engine, and a comment adding unit that adds comments to the distributed news (e.g., uploads it to the cloud).
- the robot 100 executes the process of delivering news according to the user's preferences, the user's situation, and the user's reaction, through the following steps 1 to 5-2.
- the robot 100 also executes the process of adding comments to the delivered news while having a conversation with the robot, through the following steps 11 to 15-2.
- Step 1 The robot 100 acquires the state of the user 10, the emotional value of the user 10, the emotional value of the robot 100, and the history data 222. Specifically, the robot 100 performs the same processing as steps S100 to S103 described above to acquire the state of the user 10, the emotional value of the user 10, the emotional value of the robot 100, and the history data 222.
- Step 2 The robot 100 acquires the user's 10 preferences regarding news. Specifically, the behavior decision unit 236 decides that an utterance asking the user 10 about their news preferences will be the behavior of the robot 100, and the behavior control unit 250 controls the control target 252 to make an utterance asking the user 10 about their news preferences.
- the user state recognition unit 230 recognizes the news preferences of the user 10 based on the information analyzed by the sensor module unit 210 (e.g., the user's response).
- Step 3 The robot 100 determines the news to be suggested to the user 10. Specifically, the behavior decision unit 236 adds a fixed sentence such as "What news would you recommend to the user at this time?" to the text representing the news preferences of the user 10, the emotions of the user 10, the emotions of the robot 100, and the contents stored in the history data 222, and inputs the added fixed sentence into the sentence generation model to obtain recommended news contents. At this time, by considering not only the news preferences of the user 10 but also the emotions of the user 10 and the history data 222, it is possible to suggest news suitable for the user 10. Also, by considering the emotions of the robot 100, it is possible to make the user 10 feel that the robot 100 has emotions.
- a fixed sentence such as "What news would you recommend to the user at this time?"
- Step 4 The robot 100 proposes the news determined in step 3 to the user 10 and obtains a response from the user 10.
- the behavior determination unit 236 determines an utterance suggesting news to the user 10 as the behavior of the robot 100
- the behavior control unit 250 controls the control target 252 to make an utterance suggesting news to the user 10.
- the user state recognition unit 230 recognizes the state of the user 10 based on the information analyzed by the sensor module unit 210
- the emotion determination unit 232 determines an emotion value indicating the emotion of the user 10 based on the information analyzed by the sensor module unit 210 and the state of the user 10 recognized by the user state recognition unit 230.
- the behavior decision unit 236 judges whether the reaction of the user 10 is positive or not based on the state of the user 10 recognized by the user state recognition unit 230 and the emotion value indicating the emotion of the user 10, and decides, as the behavior of the robot 100, whether to execute a process of delivering the suggested news to the user 10 or to suggest different news to the user 10.
- Step 5-1 If the reaction of the user 10 is positive, the robot 100 executes a process of delivering the suggested news. Specifically, when it is determined that the robot 100 is to execute a process of delivering suggested news to the user 10 as its action, the action control unit 250 controls at least one of the display device and the speaker, which are the control object 252, so as to execute a process of delivering the suggested news to the user 10.
- Step 5-2 If the reaction of the user 10 is not positive, the robot 100 determines another piece of news to suggest to the user 10. Specifically, when it is determined that the behavior of the robot 100 is to suggest another news item to the user 10, the behavior decision unit 236 adds a fixed sentence "Is there any other news item recommended for the user?" to the text representing the news preferences of the user 10, the emotions of the user 10, the emotions of the robot 100, and the contents stored in the history data 222, inputs the added fixed sentence into the sentence generation model, and acquires the recommended news item. Then, the process returns to step 4, and the processes of steps 4 to 5-2 are repeated until it is determined to execute the process of delivering the suggested news item to the user 10.
- the robot 100 can execute the process of delivering news according to the user's preferences, the user's situation, and the user's reactions.
- Step 11 The robot 100 acquires the state of the user 10, the emotional value of the user 10, the emotional value of the robot 100, and the history data 222. Specifically, the robot 100 performs the same processing as steps S100 to S103 described above to acquire the state of the user 10, the emotional value of the user 10, the emotional value of the robot 100, and the history data 222.
- Step 12 The robot 100 acquires the preferences of the user 10 regarding comments on the distributed news. Specifically, the behavior decision unit 236 decides that an utterance asking the user 10 about preferences regarding comments on the distributed news will be the behavior of the robot 100, and the behavior control unit 250 controls the control target 252 to make an utterance asking the user 10 about preferences regarding comments on the distributed news.
- the user state recognition unit 230 recognizes preferences regarding comments on the distributed news to the user 10 based on information analyzed by the sensor module unit 210 (e.g., the user's response).
- Step 13 The robot 100 determines a comment on the distributed news to be proposed to the user 10. Specifically, the behavior decision unit 236 adds a fixed sentence such as "What comment would you recommend to the user on the distributed news?" to the text representing the user's 10 preferences regarding comments on the distributed news, the user's 10 emotions, the robot's 100 emotions, and the contents stored in the history data 222, and inputs the added fixed sentence into the sentence generation model to obtain recommended contents regarding comments on the distributed news. At this time, by considering not only the user's 10 preferences regarding comments on the distributed news, but also the user's 10 emotions and the history data 222, it is possible to suggest comments on the distributed news that are suitable for the user 10. Also, by considering the emotions of the robot 100, it is possible to make the user 10 feel that the robot 100 has emotions.
- a fixed sentence such as "What comment would you recommend to the user on the distributed news?"
- Step 14 The robot 100 proposes to the user 10 a comment on the distributed news determined in step 13, and obtains a reaction from the user 10.
- the behavior determination unit 236 determines, as the behavior of the robot 100, an utterance proposing a comment on the distributed news to the user 10, and the behavior control unit 250 controls the control target 252 to make an utterance proposing a comment on the distributed news to the user 10.
- the user state recognition unit 230 recognizes the state of the user 10 based on the information analyzed by the sensor module unit 210, and the emotion determination unit 232 determines an emotion value indicating the emotion of the user 10 based on the information analyzed by the sensor module unit 210 and the state of the user 10 recognized by the user state recognition unit 230.
- the behavior determination unit 236 determines whether the reaction of the user 10 is positive or not based on the state of the user 10 recognized by the user state recognition unit 230 and the emotion value indicating the emotion of the user 10, and determines, as the behavior of the robot 100, whether to execute a process of adding a comment on the distributed news proposed to the user 10, or to propose another comment on the distributed news to the user 10.
- Step 15-1 If the reaction of the user 10 is positive, the robot 100 executes a process of adding a comment to the proposed distributed news. Specifically, when it is determined that the robot 100 should execute a process of adding a comment to the distributed news proposed to the user 10 as an action of the robot 100, the action control unit 250 controls at least one of the display device and the speaker, which are the control object 252, so as to execute a process of adding a comment to the distributed news proposed to the user 10.
- Step 15-2) If the reaction of the user 10 is not positive, the robot 100 determines another comment to be proposed to the user 10 regarding the distributed news. Specifically, when it is determined that the behavior of the robot 100 is to suggest to the user 10 another comment on the distributed news, the behavior decision unit 236 adds a fixed sentence "Are there any other comments recommended to the user on the distributed news?" to the text representing the preferences regarding comments on the distributed news for the user 10, the emotions of the user 10, the emotions of the robot 100, and the contents stored in the history data 222, inputs the added fixed sentence into the sentence generation model, and obtains the recommended contents regarding the comments on the distributed news. Then, the process returns to step 14, and the processes of steps 14 to 15-2 are repeated until it is determined to execute the process of adding another comment proposed to the user 10 on the distributed news.
- the robot 100 can execute a process of adding comments to the delivered news while having a conversation with the user, in accordance with the user's preferences, the user's situation, and the user's reaction.
- a user state recognition unit that recognizes a user state including a user's behavior; an emotion determining unit for determining an emotion of a user or an emotion of a robot; a behavior determination unit that determines a behavior of the robot corresponding to the user state and the user's emotion or the robot's emotion based on a sentence generation model having an interaction function that allows a user and a robot to interact with each other;
- the behavior determination unit determines, as the behavior of the robot, to specify news preferred by the user, deliver the specified news, and add a comment to the delivered news.
- Appendix 2 2. The behavior control system according to claim 1, wherein the robot is mounted on a stuffed toy or is connected wirelessly or by wire to a control target device mounted on the stuffed toy.
- the robot 100 may be applied to a robot mounted on a device such as an electric appliance, a computer, an automobile, a motorcycle, a toy, or the like, or the robot 100 may control a device such as an electric appliance, a computer, an automobile, a motorcycle, a toy, or the like.
- the robot 100 may also be mounted on a stuffed toy, or may be applied to a control device connected wirelessly or by wire to a control target device (speaker or camera) mounted on the stuffed toy.
- the other embodiment is configured as follows.
- the robot 100 may be applied to the control of a driving lesson device that gives advice on driving vehicles such as an automobile and a motorcycle.
- the storage unit 220 includes driving technique data related to driving techniques in addition to the reaction rules 221 and the history data 222.
- the driving technique data includes data related to an appropriate driving position of the vehicle relative to the driving lane and data related to appropriate acceleration and deceleration.
- the driving technique data may also include appropriate operation timing of the accelerator pedal and the brake pedal, appropriate steering timing and appropriate steering angle of the steering wheel, etc.
- the driving technique data may also include data related to techniques for parking the vehicle in a predetermined area such as a parking lot.
- the robot 100 is configured to be able to communicate with a vehicle such as an automobile or motorcycle driven by the user, and acquires data of the vehicle while driving.
- the history data 222 stored in the storage unit 220 includes driving data of the user 10 while driving as a history of the user's actions.
- the driving data includes, for example, a set of vehicle position information, vehicle speed, accelerator pedal depression amount, brake pedal depression amount, and steering angle.
- the driving data may also include data such as the line of sight, heart rate, and alertness of the user 10 while driving.
- the driving technique data and the driving data may be stored in a server 300 or the like separate from the storage unit 220.
- the robot 100 performs the process of providing advice to improve the user's driving skills according to the user's preferences, the user's situation, and the user's reactions through the following steps 1 to 5-2.
- Step 1 The robot 100 acquires the state of the user 10, the emotional value of the user 10, the emotional value of the robot 100, and the history data 222. Specifically, the robot 100 performs the same processing as steps S100 to S103 described above to acquire the state of the user 10, the emotional value of the user 10, the emotional value of the robot 100, and the history data 222. At this time, the driving data of the user 10 is acquired as the history data 222, and the driving tendency of the user 10 is grasped.
- Step 2 The robot 100 acquires the preferences of the user 10 regarding vehicle driving. Specifically, the behavior decision unit 236 decides that an utterance asking the user 10 about preferences regarding vehicle driving will be the behavior of the robot 100, and the behavior control unit 250 controls the control target 252 to make an utterance asking the user 10 about preferences regarding vehicle driving.
- the user state recognition unit 230 recognizes the preferences of the user 10 regarding vehicle driving based on the information analyzed by the sensor module unit 210 (e.g., the user's response).
- Step 3 The robot 100 determines the details of the driving to be proposed to the user 10. Specifically, the behavior determining unit 236 adds a fixed sentence such as "What kind of driving does the user like?" to the text representing the user's 10 preferences regarding vehicle driving, the user's 10 emotions, the robot's 100 emotions, and the contents stored in the history data 222, and inputs the fixed sentence into the sentence generation model to obtain recommended contents regarding vehicle driving. At this time, by considering not only the user's 10 preferences regarding vehicle driving but also the user's 10 emotions and the history data 222, it is possible to suggest driving suitable for the user 10. For example, the behavior determining unit 236 may change the manner of advice based on the user's emotions.
- a fixed sentence such as "What kind of driving does the user like?"
- the manner of the suggestion to the user 10 may be changed depending on whether the user's emotions are unpleasant, such as “anger,””sorrow,””discomfort,””anxiety,””sorrow,””worry,” and “emptiness.”
- the emotions of the robot 100 it is possible to make the user 10 feel that the robot 100 has emotions.
- Step 4 The robot 100 proposes the driving content determined in step 3 to the user 10 and obtains a response from the user 10.
- the behavior determination unit 236 determines an utterance proposing the content of driving to the user 10 as the behavior of the robot 100
- the behavior control unit 250 controls the control target 252 to make an utterance proposing the content of driving to the user 10.
- the "content of driving” here includes, for example, a content when you want to enjoy driving at a low speed while watching the surrounding scenery, a content when you want to drive safely and quickly to a destination while complying with laws and regulations, and the like.
- the "content of driving” may include driving with a predetermined distance or more between the vehicle and the preceding vehicle, driving using adaptive cruise control (ACC), ecological driving with consideration for fuel consumption, and the like.
- the user state recognition unit 230 recognizes the state of the user 10 based on the information analyzed by the sensor module unit 210, and the emotion determination unit 232 determines an emotion value indicating the emotion of the user 10 based on the information analyzed by the sensor module unit 210 and the state of the user 10 recognized by the user state recognition unit 230.
- the behavior decision unit 236 judges whether the reaction of the user 10 is positive or not based on the state of the user 10 recognized by the user state recognition unit 230 and the emotion value indicating the emotion of the user 10, and decides, as the behavior of the robot 100, whether to execute a process of providing advice to the user 10 in line with the proposed driving content, or to propose a different driving content to the user 10.
- Step 5-1 If the reaction of the user 10 is positive, the robot 100 executes a process of providing advice in accordance with the proposed driving content. Specifically, when it is determined that the robot 100 is to execute a process of providing driving advice to the user 10 in accordance with the driving content proposed to the user 10, the behavior control unit 250 provides driving advice to the user 10.
- Step 5-2 If the reaction of the user 10 is not positive, the robot 100 determines the content of another driving to be proposed to the user 10. Specifically, when it is determined that the behavior of the robot 100 is to propose another driving advice to the user 10, the behavior decision unit 236 adds a fixed sentence, "What other driving methods does the user like?" to the text representing the preferences of the user 10 regarding vehicle driving, the emotions of the user 10, the emotions of the robot 100, and the contents stored in the history data 222, inputs the fixed sentence into the sentence generation model, and acquires the recommended contents regarding vehicle driving. Then, the process returns to step 4, and the processes of steps 4 to 5-2 are repeated until it is determined to execute the process of continuing the driving advice proposed to the user 10.
- the robot 100 can execute a process to provide driving advice based on the user's preferences, the user's situation, and the user's reactions.
- a user state recognition unit that recognizes a user state including a user's behavior; an emotion determining unit for determining an emotion of a user or an emotion of a robot; and a behavior determination unit that determines a behavior of the robot corresponding to the user state and the user's emotion, or a behavior of the robot corresponding to the user state and the robot's emotion, based on a sentence generation model having a dialogue function that allows a user and a robot to dialogue with each other;
- the behavior determination unit provides advice for improving a driving technique by having a conversation with the driver based on at least one of the driver's preference, driving situation, and reaction to drive the vehicle.
- Behavioral control system (Appendix 2) 2.
- the behavior control system wherein the behavior decision unit changes the manner of advice based on the user's emotions.
- Appendix 3 2. The behavior control system according to claim 1, wherein the robot is mounted on a stuffed toy and installed in a passenger compartment of a vehicle.
- Appendix 4 2. The behavior control system according to claim 1, wherein the robot is connected wirelessly or via a wire to a control target device mounted on a stuffed toy.
- the robot 100 may be applied to a robot mounted on a device such as an electric appliance, a computer, an automobile, a motorcycle, a toy, or the like, or the robot 100 may control a device such as an electric appliance, a computer, an automobile, a motorcycle, a toy, or the like.
- the robot 100 may also be mounted on a stuffed toy, or may be applied to a control device connected wirelessly or by wire to a control target device (speaker or camera) mounted on the stuffed toy.
- the other embodiment is configured as follows.
- the robot 100 may be applied to the control of an AI exchange meeting livening up machine.
- the AI social gathering livening machine controlled by the robot 100 is functionally equipped with a topic providing unit that provides topics to liven up the social gathering.
- the robot 100 performs a process of providing topics that will facilitate interaction between participants of the social gathering, in accordance with the preferences of the participants as users, the user's situation, and the user's reactions.
- Step 1 The robot 100 acquires the state of the user 10, the emotional value of the user 10, the emotional value of the robot 100, and the history data 222. Specifically, the robot 100 performs the same processing as steps S100 to S103 described above to acquire the state of the user 10, the emotional value of the user 10, the emotional value of the robot 100, and the history data 222.
- Step 2 The robot 100 acquires preferences for topics of the social gathering from the user 10.
- the topics include games to liven up the social gathering, conversation topics to liven up the social gathering, and the like.
- the behavior decision unit 236 decides that an utterance asking the user 10 about preferences regarding the topic of the social gathering will be the behavior of the robot 100, and the behavior control unit 250 controls the control target 252 to make an utterance asking the user 10 about preferences regarding the topic of the social gathering.
- the user state recognition unit 230 recognizes the preferences of the user 10 regarding the topic of the social gathering based on the information analyzed by the sensor module unit 210 (e.g., the user's response).
- Step 3 The robot 100 determines a topic for the social gathering to be proposed to the user 10. Specifically, the behavior decision unit 236 adds a fixed sentence such as "What is the social gathering topic recommended to the user at this time?" to the text representing the user 10's preference regarding the social gathering topic, the user 10's emotion, the robot 100's emotion, and the content stored in the history data 222, and inputs the added fixed sentence into the sentence generation model to obtain the recommended content regarding the social gathering topic. At this time, by considering not only the user 10's preference regarding the social gathering topic but also the user 10's emotion and the history data 222, it is possible to suggest a social gathering topic suitable for the user 10. Also, by considering the emotion of the robot 100, it is possible to make the user 10 feel that the robot 100 has emotions.
- a fixed sentence such as "What is the social gathering topic recommended to the user at this time?"
- Step 4 The robot 100 proposes the topic of the social gathering determined in step 3 to the user 10 and obtains a response from the user 10.
- the behavior determination unit 236 determines an utterance suggesting a topic for the social gathering to the user 10 as the behavior of the robot 100
- the behavior control unit 250 controls the control target 252 to make an utterance suggesting a topic for the social gathering to the user 10.
- the user state recognition unit 230 recognizes the state of the user 10 based on the information analyzed by the sensor module unit 210
- the emotion determination unit 232 determines an emotion value indicating the emotion of the user 10 based on the information analyzed by the sensor module unit 210 and the state of the user 10 recognized by the user state recognition unit 230.
- the behavior decision unit 236 judges whether the reaction of the user 10 is positive or not based on the state of the user 10 recognized by the user state recognition unit 230 and the emotion value indicating the emotion of the user 10, and decides, as the behavior of the robot 100, whether to execute a process of providing the user 10 with the proposed topic for the social gathering, or to propose a different topic to the user 10.
- Step 5-1 If the reaction of the user 10 is positive, the robot 100 executes a process of providing a proposed topic for the social gathering. Specifically, when it is determined that the robot 100 is to execute a process of providing the user 10 with a proposed topic for the social gathering, the behavior control unit 250 controls at least one of the display device and the speaker, which are the control objects 252, so as to execute the provision of the proposed topic for the social gathering to the user 10.
- Step 5-2 If the reaction of the user 10 is not positive, the robot 100 determines another topic to suggest to the user 10. Specifically, when it is determined that the behavior of the robot 100 is to suggest another topic to the user 10, the behavior decision unit 236 adds a fixed sentence, "Are there any other topics for the social gathering recommended to the user?" to the text representing the preferences of the user 10 regarding the topic of the social gathering, the emotions of the user 10, the emotions of the robot 100, and the contents stored in the history data 222, inputs the added fixed sentence into the sentence generation model, and acquires the recommended contents regarding the topic of the social gathering. Then, the process returns to step 4, and the processes of steps 4 to 5-2 are repeated until it is determined to execute the process of providing the user 10 with the proposed topic of the social gathering.
- the robot 100 can perform a process of providing topics for discussion based on the user's preferences, the user's situation, and the user's reactions.
- a user state recognition unit that recognizes a user state including a user's behavior; an emotion determining unit for determining an emotion of a user or an emotion of a robot; a behavior determination unit that determines a behavior of the robot corresponding to the user state and the user's emotion or the robot's emotion based on a sentence generation model having an interaction function that allows a user and a robot to interact with each other;
- the behavior control system wherein the behavior decision unit decides, as the behavior of the robot, to provide topics that will facilitate interaction between participants of the social gathering as users.
- Appendix 2 2. The behavior control system according to claim 1, wherein the robot is mounted on a stuffed toy or is connected wirelessly or by wire to a control target device mounted on the stuffed toy.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Acoustics & Sound (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Mechanical Engineering (AREA)
- Evolutionary Computation (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Robotics (AREA)
- Software Systems (AREA)
- Tourism & Hospitality (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Child & Adolescent Psychology (AREA)
- Strategic Management (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Hospice & Palliative Care (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Aviation & Aerospace Engineering (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
Abstract
ユーザの行動に対して適切な行動をロボットに実行させる。 行動制御システムは、ユーザの感情又はロボットの感情を判定する感情決定部と、ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザの行動と、ユーザの感情又はロボットの感情とに対するロボットの行動内容を生成し、前記行動内容に対応する前記ロボットの行動を決定する行動決定部と、を含む。前記行動決定部は、ユーザと前記ロボットとの対話に基づいてユーザの行動予定を設定する。
Description
本開示は、行動制御システムに関する。
特許6053847号公報には、ユーザの状態に対してロボットの適切な行動を決定する技術が開示されている。特許6053847号公報の従来技術は、ロボットが特定の行動を実行したときのユーザの反応を認識し、認識したユーザの反応に対するロボットの行動を決定できなかった場合、認識したユーザの状態に適した行動に関する情報をサーバから受信することで、ロボットの行動を更新する。
しかしながら従来技術では、ユーザの行動に対して適切な行動をロボットに実行させる上で改善の余地がある。
本開示の第1の態様によれば、行動制御システムが提供される。当該行動制御システムは、ユーザの行動を含むユーザの状態を認識するユーザ状態認識部と、ユーザの感情及びロボットの感情の少なくとも一方を判定する感情決定部と、ユーザと前記ロボットを対話させる対話機能に基づき、ユーザの状態及びユーザの感情に対応する前記ロボットの行動、又はユーザの状態及び前記ロボットの感情に対応する前記ロボットの行動を決定する行動決定部と、を含み、前記ロボットは、会話型スケジューラに搭載されており、前記行動決定部は、ユーザと前記ロボットとの対話に基づいてユーザの行動予定を設定する。
本開示の第2の態様によれば、行動制御システムが提供される。当該行動制御システムは、ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、ユーザの感情又はロボットの感情を判定する感情決定部と、ユーザとロボットを対話させる対話機能に基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、前記ロボットは、チケット案内システムに搭載されており、前記行動決定部は、前記ユーザの好み、状況、反応を見ながら会話をしつつ、自律的にイベントを前記ユーザに案内する。
本開示の第3の態様によれば、行動制御システムが提供される。当該行動制御システムは、ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、ユーザの感情又はロボットの感情を判定する感情決定部と、ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、前記行動決定部は、前記文章生成モデルによるユーザとの対話結果に基づいて、ユーザに提案する歩行方法を決定する。
本開示の第4の態様によれば、行動制御システムが提供される。当該行動制御システムは、ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、ユーザの感情又はロボットの感情を判定する感情決定部と、ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、前記行動決定部は、ユーザと前記ロボットとの対話に基づき、衣類の状況又は取り扱いについてユーザへ提示する。
本開示の第5の態様によれば、行動制御システムが提供される。当該行動制御システムは、ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、ユーザの感情又はロボットの感情を判定する感情決定部と、ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、前記行動決定部は、ユーザの感情又はロボットの感情に基づいて、インターフォンの処理内容を決定する。
前記行動決定部は、ユーザの感情又はロボットの感情に基づいて、前記インターフォンの動作設定、ユーザへの応答内容、及び、訪問客への応答内容のうちの少なくとも1つを変化させてもよい。
前記ロボットは、ぬいぐるみに搭載され、又はぬいぐるみに搭載された制御対象機器に無線又は有線で接続されていてもよい。
本開示の第6の態様によれば、行動制御システムが提供される。当該行動制御システムは、ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、ユーザの感情又はロボットの感情を判定する感情決定部と、ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、前記行動決定部は、マットレスの温度及び弾力の少なくとも一方を調整可能である。
本開示の第7の態様によれば、第6の態様において、前記行動決定部は、前記マットレスの部分毎に個別に温度を調整可能である。
本開示の第8の態様によれば、第6の態様において、前記行動決定部は、前記マットレスの部分毎に個別に弾力を調整可能である。
なお、本開示の第8の態様は、第6の態様又は第7の態様において、前記行動決定部は、前記マットレスの部分毎に個別に弾力を調整可能であるものとしてもよい。
本開示の第9の態様によれば、第6の態様において、前記ユーザ状態に応じて前記温度及び弾力を保持する。
なお、本開示の第9の態様は、第6の態様~第8の態様の何れか1態様において、前記ユーザ状態に応じて前記温度及び弾力を保持するものとしてもよい。
本開示の第10の態様によれば、第6の態様において、前記ロボットは、ぬいぐるみに搭載され、またはぬいぐるみに搭載された制御対象機器に無線又は有線で接続されている。
なお、本開示の第10の態様は、第6の態様~第9の態様の何れか1態様において、において、前記ロボットは、ぬいぐるみに搭載され、またはぬいぐるみに搭載された制御対象機器に無線又は有線で接続されているものとしてもよい。
本開示の第11の態様によれば、行動制御システムは、ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能に基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記ロボットは、マッサージチェアに搭載されており、
前記行動決定部は、ユーザの感情又はロボットの感情に基づいて前記マッサージチェアのもみ加減、マッサージコース、マッサージ時間、及び、マッサージ部位のうちの少なくとも1つの設定を変化させる。
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能に基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記ロボットは、マッサージチェアに搭載されており、
前記行動決定部は、ユーザの感情又はロボットの感情に基づいて前記マッサージチェアのもみ加減、マッサージコース、マッサージ時間、及び、マッサージ部位のうちの少なくとも1つの設定を変化させる。
また、本開示の第12の態様によれば、前記マッサージチェアは、ぬいぐるみに搭載された制御対象機器に無線又は有線で接続されている。
本開示の第13の態様によれば、行動制御システムが提供される。当該行動制御システムは、ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、ユーザの感情又はロボットの感情を判定する感情決定部と、ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、前記行動決定部は、ユーザの感情又はロボットの感情に基づいて、ヘッドマウントディスプレイの処理内容を決定する。
前記行動決定部は、ユーザの感情又はロボットの感情に基づいて、前記ヘッドマウントディスプレイの動作時間、画質、音質、及び、前記ヘッドマウントディスプレイにおいて再生するコンテンツのうちの少なくとも1つを変化させてもよい。
前記行動決定部は、ユーザによる前記ヘッドマウントディスプレイの連続使用時間が設定された閾値を超えた場合に、前記ヘッドマウントディスプレイの動作時間、画質、音質、及び、前記ヘッドマウントディスプレイにおいて再生するコンテンツのうちの少なくとも1つを、閾値を超える前と比較してよりユーザの健康状態に好ましい内容に変化させてもよい。
前記ロボットは、ぬいぐるみに搭載され、又はぬいぐるみに搭載された制御対象機器に無線又は有線で接続されていてもよい。
本開示の第14の態様によれば、行動制御システムが提供される。当該行動制御システムは、ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、ユーザの感情又はロボットの感情を判定する感情決定部と、ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、前記行動決定部は、ユーザに対してAI風呂装置に設定するパラメータを提案する。
本開示の第15の態様によれば、行動制御システムが提供される。当該行動制御システムは、ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、ユーザの感情又はロボットの感情を判定する感情決定部と、ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、前記行動決定部は、フィットネス器具を利用するユーザの前記ユーザ状態に応じた内容を発話する行動を決定する。
本開示の第16の態様によれば、第15の態様において、前記ユーザ状態認識部は、前記ユーザ状態としてユーザの会話嗜好性を認識し、前記行動決定部は、ユーザの会話嗜好性に応じた内容を発話する行動を決定する。
本開示の第17の態様によれば、第15の態様において、前記ユーザ状態認識部は、前記ユーザ状態としてユーザの表情を認識し、前記行動決定部は、ユーザの表情に応じた内容を発話する行動を決定する。
なお、本開示の第17の態様は、第15の態様又は第16の態様において、前記ユーザ状態認識部は、前記ユーザ状態としてユーザの表情を認識し、前記行動決定部は、ユーザの表情に応じた内容を発話する行動を決定するものとしてもよい。
本開示の第18の態様によれば、第15の態様において、前記ユーザ状態認識部は、前記ユーザ状態としてユーザの心拍数を認識し、前記行動決定部は、ユーザの心拍数に応じた内容を発話する行動を決定する。
なお、本開示の第18の態様は、第15の態様~第17の態様のいずれか1態様において、前記ユーザ状態認識部は、前記ユーザ状態としてユーザの心拍数を認識し、前記行動決定部は、ユーザの心拍数に応じた内容を発話する行動を決定するものとしてもよい。
本開示の第19の態様によれば、第15の態様において、前記ユーザ状態認識部は、前記ユーザ状態としてユーザの運動速度を認識し、前記行動決定部は、ユーザの運動速度に応じた内容を発話する行動を決定する。
なお、本開示の第19の態様は、第15の態様~第18の態様のいずれか1態様において、前記ユーザ状態認識部は、前記ユーザ状態としてユーザの運動速度を認識し、前記行動決定部は、ユーザの運動速度に応じた内容を発話する行動を決定するものとしてもよい。
本開示の第20の態様によれば、第15の態様において、前記ロボットは、ぬいぐるみに搭載され、又はぬいぐるみに搭載された制御対象機器に無線又は有線で接続されている。
なお、本開示の第20の態様は、第15の態様~第19の態様のいずれか1態様において、前記ロボットは、ぬいぐるみに搭載され、又はぬいぐるみに搭載された制御対象機器に無線又は有線で接続されているものとしてもよい。
本開示の第21の態様によれば、行動制御システムが提供される。当該行動制御システムは、ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、ユーザの感情またはロボットの感情を判定する感情決定部と、ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情またはロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、前記行動決定部は、前記ロボットの行動として、バイクに設けられたアクチュエータに対する制御を決定する。
本開示の第22の態様によれば、行動制御システムが提供される。当該行動制御システムは、ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、ユーザの感情又はロボットの感情を判定する感情決定部と、ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、前記行動決定部は、前記文章生成モデルによるユーザとの対話結果に基づいて、建具の周囲に虫除け用の超音波を発生するか否かを決定し、又は前記文章生成モデルによるユーザとの対話結果に基づいて、訪問者に対する応答内容を決定する。
本開示の第23の態様によれば、行動制御システムが提供される。当該行動制御システムは、ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、ユーザの感情又はロボットの感情を判定する感情決定部と、ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、前記行動決定部は、ユーザの感情又はロボットの感情に基づいて、前記ロボットに献立の内容を出力させる。
また、本開示の第24の態様によれば、前記行動制御システムは、気温、湿度又は季節に関する情報を取得する取得部を含み、前記行動決定部は、気温、湿度又は季節に関する情報を用いて、前記ロボットに出力させる献立の内容が変更されるように制御する。
また、本開示の第25の態様によれば、前記行動制御システムは、食材に関する情報を取得する取得部を含み、前記行動決定部は、使用する食材に関する情報を用いて、前記ロボットに出力させる献立の内容が変更されるように制御する。
また、本開示の第26の態様によれば、前記行動制御システムは、冷蔵庫の在庫に関する情報を取得する取得部を含み、前記行動決定部は、冷蔵庫の在庫に関する情報を用いて、前記ロボットに出力させる献立の内容が変更されるように制御する。
また、本開示の第27の態様によれば、前記行動制御システムは、ユーザの体調に関する情報を取得する取得部を含み、前記行動決定部は、ユーザの体調に関する情報を用いて、前記ロボットに出力させる献立の内容が変更されるように制御する。
また、本開示の第28の態様によれば、前記行動決定部は、ユーザの献立履歴データを用いて、前記ロボットに出力させる献立の内容が変更されるように制御する。
また、本開示の第29の態様によれば、前記ロボットは、ぬいぐるみに搭載され、又はぬいぐるみに搭載された制御対象機器に無線又は有線で接続されている。
本開示の第30の態様によれば、行動制御システムが提供される。当該行動制御システムは、ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、ユーザの感情又はロボットの感情を判定する感情決定部と、ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、前記行動決定部は、体組成の数値を測定したユーザに対する前記ロボットの応対動作を、前記文章生成モデルに基づき、前記行動として決定する。
本開示の第31の態様によれば、行動制御システムが提供される。当該行動制御システムは、ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、ユーザの感情又はロボットの感情を判定する感情決定部と、ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、前記行動決定部は、ユーザの好みのニュースを特定し、特定したニュースを配信すると共に、配信したニュースに対するコメントを付与することを、前記ロボットの行動として決定する。
本開示の第32の態様によれば、行動制御システムが提供される。当該行動制御システムは、ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、ユーザの感情又はロボットの感情を判定する感情決定部と、ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、前記行動決定部は、車両を運転する運転者の好み、運転状況及び反応の少なくとも1つに基づいて運転者と会話を行うことで運転技術を向上させるためのアドバイスをする。
本開示の第33の態様によれば、行動制御システムが提供される。当該行動制御システムは、ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、ユーザの感情又はロボットの感情を判定する感情決定部と、ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、前記行動決定部は、ユーザとしての交流会の参加者に対して、参加者同士の交流を円滑にするトピックを提供することを、前記ロボットの行動として決定する。
以下、本開示の実施の形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが本開示の解決手段に必須であるとは限らない。
図1は、本実施形態に係るシステム5の一例を概略的に示す。システム5は、ロボット100、ロボット101、ロボット102、及びサーバ300を備える。ユーザ10a、ユーザ10b、ユーザ10c、及びユーザ10dは、ロボット100のユーザである。ユーザ11a、ユーザ11b及びユーザ11cは、ロボット101のユーザである。ユーザ12a及びユーザ12bは、ロボット102のユーザである。なお、本実施形態の説明において、ユーザ10a、ユーザ10b、ユーザ10c、及びユーザ10dを、ユーザ10と総称する場合がある。また、ユーザ11a、ユーザ11b及びユーザ11cを、ユーザ11と総称する場合がある。また、ユーザ12a及びユーザ12bを、ユーザ12と総称する場合がある。ロボット101及びロボット102は、ロボット100と略同一の機能を有する。そのため、ロボット100の機能を主として取り上げてシステム5を説明する。
ロボット100は、ユーザ10と会話を行ったり、ユーザ10に映像を提供したりする。このとき、ロボット100は、通信網20を介して通信可能なサーバ300等と連携して、ユーザ10との会話や、ユーザ10への映像等の提供を行う。例えば、ロボット100は、自身で適切な会話を学習するだけでなく、サーバ300と連携して、ユーザ10とより適切に会話を進められるように学習を行う。また、ロボット100は、撮影したユーザ10の映像データ等をサーバ300に記録させ、必要に応じて映像データ等をサーバ300に要求して、ユーザ10に提供する。
また、ロボット100は、自身の感情の種類を表す感情値を持つ。例えば、ロボット100は、「喜」、「怒」、「哀」、「楽」、「快」、「不快」、「安心」、「不安」、「悲しみ」、「興奮」、「心配」、「安堵」、「充実感」、「虚無感」及び「普通」のそれぞれの感情の強さを表す感情値を持つ。ロボット100は、例えば興奮の感情値が大きい状態でユーザ10と会話するときは、早いスピードで音声を発する。このように、ロボット100は、自己の感情を行動で表現することができる。
また、ロボット100は、AI(Artificial Intelligence)を用いた文章生成モデルと感情エンジンをマッチングさせることで、ユーザ10の感情に対応するロボット100の行動を決定するように構成してよい。具体的には、ロボット100は、ユーザ10の行動を認識して、当該ユーザの行動に対するユーザ10の感情を判定し、判定した感情に対応するロボット100の行動を決定するように構成してよい。
より具体的には、ロボット100は、ユーザ10の行動を認識した場合、予め設定された文章生成モデルを用いて、当該ユーザ10の行動に対してロボット100がとるべき行動内容を自動で生成する。文章生成モデルは、文字による自動対話処理のためのアルゴリズム及び演算と解釈してよい。文章生成モデルは、例えば特開2018-081444号公報やchatGPT(インターネット検索<URL: https://openai.com/blog/chatgpt>)に開示される通り公知であるため、その詳細な説明を省略する。このような、文章生成モデルは、大規模言語モデル(LLM:Large Language Model)により構成されている。
以上、本実施形態は、大規模言語モデルと感情エンジンとを組み合わせることにより、ユーザ10やロボット100の感情と、様々な言語情報とをロボット100の行動に反映させるということができる。つまり、本実施形態によれば、文章生成モデルと感情エンジンとを組み合わせることにより、相乗効果を得ることができる。
また、ロボット100は、ユーザ10の行動を認識する機能を有する。ロボット100は、カメラ機能で取得したユーザ10の顔画像や、マイク機能で取得したユーザ10の音声を解析することによって、ユーザ10の行動を認識する。ロボット100は、認識したユーザ10の行動等に基づいて、ロボット100が実行する行動を決定する。
ロボット100は、ユーザ10の感情、ロボット100の感情、及びユーザ10の行動に基づいてロボット100が実行する行動を定めたルールを記憶しており、ルールに従って各種の行動を行う。
具体的には、ロボット100には、ユーザ10の感情、ロボット100の感情、及びユーザ10の行動に基づいてロボット100の行動を決定するための反応ルールを有している。反応ルールには、例えば、ユーザ10の行動が「笑う」である場合に対して、「笑う」という行動が、ロボット100の行動として定められている。また、反応ルールには、ユーザ10の行動が「怒る」である場合に対して、「謝る」という行動が、ロボット100の行動として定められている。また、反応ルールには、ユーザ10の行動が「質問する」である場合に対して、「回答する」という行動が、ロボット100の行動として定められている。反応ルールには、ユーザ10の行動が「悲しむ」である場合に対して、「声をかける」という行動が、ロボット100の行動として定められている。
ロボット100は、反応ルールに基づいて、ユーザ10の行動が「怒る」であると認識した場合、反応ルールで定められた「謝る」という行動を、ロボット100が実行する行動として選択する。例えば、ロボット100は、「謝る」という行動を選択した場合に、「謝る」動作を行うと共に、「謝る」言葉を表す音声を出力する。
また、ロボット100の感情が「普通」(すなわち、「喜」=0、「怒」=0、「哀」=0、「楽」=0)であり、ユーザ10の状態が「1人、寂しそう」という条件が満たされた場合に、ロボット100の感情が「心配になる」という感情の変化内容と、「声をかける」の行動を実行できることが定められている。
ロボット100は、反応ルールに基づいて、ロボット100の現在の感情が「普通」であり、かつ、ユーザ10が1人で寂しそうな状態にあると認識した場合、ロボット100の「哀」の感情値を増大させる。また、ロボット100は、反応ルールで定められた「声をかける」という行動を、ユーザ10に対して実行する行動として選択する。例えば、ロボット100は、「声をかける」という行動を選択した場合に、心配していることを表す「どうしたの?」という言葉を、心配そうな音声に変換して出力する。
また、ロボット100は、この行動によって、ユーザ10からポジティブな反応が得られたことを示すユーザ反応情報を、サーバ300に送信する。ユーザ反応情報には、例えば、「怒る」というユーザ行動、「謝る」というロボット100の行動、ユーザ10の反応がポジティブであったこと、及びユーザ10の属性が含まれる。
サーバ300は、ロボット100から受信したユーザ反応情報を記憶する。なお、サーバ300は、ロボット100だけでなく、ロボット101及びロボット102のそれぞれからもユーザ反応情報を受信して記憶する。そして、サーバ300は、ロボット100、ロボット101及びロボット102からのユーザ反応情報を解析して、反応ルールを更新する。
ロボット100は、更新された反応ルールをサーバ300に問い合わせることにより、更新された反応ルールをサーバ300から受信する。ロボット100は、更新された反応ルールを、ロボット100が記憶している反応ルールに組み込む。これにより、ロボット100は、ロボット101やロボット102等が獲得した反応ルールを、自身の反応ルールに組み込むことができる。
図2は、ロボット100の機能構成を概略的に示す。ロボット100は、センサ部200と、センサモジュール部210と、格納部220と、ユーザ状態認識部230と、感情決定部232と、行動認識部234と、行動決定部236と、記憶制御部238と、行動制御部250と、制御対象252と、通信処理部280と、を有する。
制御対象252は、表示装置、スピーカ及び目部のLED、並びに、腕、手及び足等を駆動するモータ等を含む。ロボット100の姿勢や仕草は、腕、手及び足等のモータを制御することにより制御される。ロボット100の感情の一部は、これらのモータを制御することにより表現できる。また、ロボット100の目部のLEDの発光状態を制御することによっても、ロボット100の表情を表現できる。なお、ロボット100の姿勢、仕草及び表情は、ロボット100の態度の一例である。
センサ部200は、マイク201と、3D深度センサ202と、2Dカメラ203と、距離センサ204とを含む。マイク201は、音声を連続的に検出して音声データを出力する。なお、マイク201は、ロボット100の頭部に設けられ、バイノーラル録音を行う機能を有してよい。3D深度センサ202は、赤外線パターンを連続的に照射して、赤外線カメラで連続的に撮影された赤外線画像から赤外線パターンを解析することによって、物体の輪郭を検出する。2Dカメラ203は、イメージセンサの一例である。2Dカメラ203は、可視光によって撮影して、可視光の映像情報を生成する。距離センサ204は、例えばレーザや超音波等を照射して物体までの距離を検出する。なお、センサ部200は、この他にも、時計、ジャイロセンサ、タッチセンサ、モータフィードバック用のセンサ等を含んでよい。
なお、図2に示すロボット100の構成要素のうち、制御対象252及びセンサ部200を除く構成要素は、ロボット100が有する行動制御システムが有する構成要素の一例である。ロボット100の行動制御システムは、制御対象252を制御の対象とする。
格納部220は、反応ルール221及び履歴データ222を含む。履歴データ222は、ユーザ10の過去の感情値及び行動の履歴を含む。この感情値及び行動の履歴は、例えば、ユーザ10の識別情報に対応付けられることによって、ユーザ10毎に記録される。格納部220の少なくとも一部は、メモリ等の記憶媒体によって実装される。ユーザ10の顔画像、ユーザ10の属性情報等を格納する人物DBを含んでもよい。なお、図2に示すロボット100の構成要素のうち、制御対象252、センサ部200及び格納部220を除く構成要素の機能は、CPUがプログラムに基づいて動作することによって実現できる。例えば、基本ソフトウエア(OS)及びOS上で動作するプログラムによって、これらの構成要素の機能をCPUの動作として実装できる。
センサモジュール部210は、音声感情認識部211と、発話理解部212と、表情認識部213と、顔認識部214とを含む。センサモジュール部210には、センサ部200で検出された情報が入力される。センサモジュール部210は、センサ部200で検出された情報を解析して、解析結果をユーザ状態認識部230に出力する。
センサモジュール部210の音声感情認識部211は、マイク201で検出されたユーザ10の音声を解析して、ユーザ10の感情を認識する。例えば、音声感情認識部211は、音声の周波数成分等の特徴量を抽出して、抽出した特徴量に基づいて、ユーザ10の感情を認識する。発話理解部212は、マイク201で検出されたユーザ10の音声を解析して、ユーザ10の発話内容を表す文字情報を出力する。
表情認識部213は、2Dカメラ203で撮影されたユーザ10の画像から、ユーザ10の表情及びユーザ10の感情を認識する。例えば、表情認識部213は、目及び口の形状、位置関係等に基づいて、ユーザ10の表情及び感情を認識する。
顔認識部214は、ユーザ10の顔を認識する。顔認識部214は、人物DB(図示省略)に格納されている顔画像と、2Dカメラ203によって撮影されたユーザ10の顔画像とをマッチングすることによって、ユーザ10を認識する。
ユーザ状態認識部230は、センサモジュール部210で解析された情報に基づいて、ユーザ10の状態を認識する。例えば、センサモジュール部210の解析結果を用いて、主として知覚に関する処理を行う。例えば、「パパが1人です。」、「パパが笑顔でない確率90%です。」等の知覚情報を生成する。生成された知覚情報の意味を理解する処理を行う。例えば、「パパが1人、寂しそうです。」等の意味情報を生成する。
感情決定部232は、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ユーザ10の感情を示す感情値を決定する。例えば、センサモジュール部210で解析された情報、及び認識されたユーザ10の状態を、予め学習されたニューラルネットワークに入力し、ユーザ10の感情を示す感情値を取得する。
ここで、ユーザ10の感情を示す感情値とは、ユーザの感情の正負を示す値であり、例えば、ユーザの感情が、「喜」、「楽」、「快」、「安心」、「興奮」、「安堵」、及び「充実感」のように、快感や安らぎを伴う明るい感情であれば、正の値を示し、明るい感情であるほど、大きい値となる。ユーザの感情が、「怒」、「哀」、「不快」、「不安」、「悲しみ」、「心配」、及び「虚無感」のように、嫌な気持ちになってしまう感情であれば、負の値を示し、嫌な気持ちであるほど、負の値の絶対値が大きくなる。ユーザの感情が、上記の何れでもない場合(「普通」)、0の値を示す。
また、感情決定部232は、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ロボット100の感情を示す感情値を決定する。
ロボット100の感情値は、複数の感情分類の各々に対する感情値を含み、例えば、「喜」、「怒」、「哀」、「楽」それぞれの強さを示す値(0~5)である。
ロボット100の感情値は、複数の感情分類の各々に対する感情値を含み、例えば、「喜」、「怒」、「哀」、「楽」それぞれの強さを示す値(0~5)である。
具体的には、感情決定部232は、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態に対応付けて定められた、ロボット100の感情値を更新するルールに従って、ロボット100の感情を示す感情値を決定する。
例えば、感情決定部232は、ユーザ状態認識部230によってユーザ10が寂しそうと認識された場合、ロボット100の「哀」の感情値を増大させる。また、ユーザ状態認識部230によってユーザ10が笑顔になったと認識された場合、ロボット100の「喜」の感情値を増大させる。
なお、感情決定部232は、ロボット100の状態を更に考慮して、ロボット100の感情を示す感情値を決定してもよい。例えば、ロボット100のバッテリー残量が少ない場合やロボット100の周辺環境が真っ暗な場合等に、ロボット100の「哀」の感情値を増大させてもよい。更にバッテリー残量が少ないにも関わらず継続して話しかけてくるユーザ10の場合は、「怒」の感情値を増大させても良い。
行動認識部234は、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ユーザ10の行動を認識する。例えば、センサモジュール部210で解析された情報、及び認識されたユーザ10の状態を、予め学習されたニューラルネットワークに入力し、予め定められた複数の行動分類(例えば、「笑う」、「怒る」、「質問する」、「悲しむ」)の各々の確率を取得し、最も確率の高い行動分類を、ユーザ10の行動として認識する。
以上のように、本実施形態では、ロボット100は、ユーザ10を特定したうえでユーザ10の発話内容を取得するが、当該発話内容の取得と利用等に際してはユーザ10から法令に従った必要な同意を取得するほか、本実施形態に係るロボット100の行動制御システムは、ユーザ10の個人情報及びプライバシーの保護に配慮する。
行動決定部236は、感情決定部232により決定されたユーザ10の現在の感情値と、ユーザ10の現在の感情値が決定されるよりも前に感情決定部232により決定された過去の感情値の履歴データ222と、ロボット100の感情値とに基づいて、行動認識部234によって認識されたユーザ10の行動に対応する行動を決定する。本実施形態では、行動決定部236は、ユーザ10の過去の感情値として、履歴データ222に含まれる直近の1つの感情値を用いる場合について説明するが、開示の技術はこの態様に限定されない。例えば、行動決定部236は、ユーザ10の過去の感情値として、直近の複数の感情値を用いてもよいし、一日前などの単位期間の分だけ前の感情値を用いてもよい。また、行動決定部236は、ロボット100の現在の感情値だけでなく、ロボット100の過去の感情値の履歴を更に考慮して、ユーザ10の行動に対応する行動を決定してもよい。行動決定部236が決定する行動は、ロボット100が行うジェスチャー又はロボット100の発話内容を含む。
本実施形態に係る行動決定部236は、ユーザ10の行動に対応する行動として、ユーザ10の過去の感情値と現在の感情値の組み合わせと、ロボット100の感情値と、ユーザ10の行動と、反応ルール221とに基づいて、ロボット100の行動を決定する。例えば、行動決定部236は、ユーザ10の過去の感情値が正の値であり、かつ現在の感情値が負の値である場合、ユーザ10の行動に対応する行動として、ユーザ10の感情値を正に変化させるための行動を決定する。
反応ルール221には、ユーザ10の過去の感情値と現在の感情値の組み合わせと、ロボット100の感情値と、ユーザ10の行動とに応じたロボット100の行動が定められている。例えば、ユーザ10の過去の感情値が正の値であり、かつ現在の感情値が負の値であり、ユーザ10の行動が悲しむである場合、ロボット100の行動として、ジェスチャーを交えてユーザ10を励ます問いかけを行う際のジェスチャーと発話内容との組み合わせが定められている。
例えば、反応ルール221には、ロボット100の感情値のパターン(「喜」、「怒」、「哀」、「楽」の値「0」~「5」の6値の4乗である1296パターン)、ユーザ10の過去の感情値と現在の感情値の組み合わせのパターン、ユーザ10の行動パターンの全組み合わせに対して、ロボット100の行動が定められる。すなわち、ロボット100の感情値のパターン毎に、ユーザ10の過去の感情値と現在の感情値の組み合わせが、負の値と負の値、負の値と正の値、正の値と負の値、正の値と正の値、負の値と普通、及び普通と普通等のように、複数の組み合わせのそれぞれに対して、ユーザ10の行動パターンに応じたロボット100の行動が定められる。なお、行動決定部236は、例えば、ユーザ10が「この前に話したあの話題について話したい」というような過去の話題から継続した会話を意図する発話を行った場合に、履歴データ222を用いてロボット100の行動を決定する動作モードに遷移してもよい。
なお、反応ルール221には、ロボット100の感情値のパターン(1296パターン)の各々に対して、最大で一つずつ、ロボット100の行動としてジェスチャー及び発言内容の少なくとも一方が定められていてもよい。あるいは、反応ルール221には、ロボット100の感情値のパターンのグループの各々に対して、ロボット100の行動としてジェスチャー及び発言内容の少なくとも一方が定められていてもよい。
なお、反応ルール221には、ロボット100の感情値のパターン(1296パターン)の各々に対して、最大で一つずつ、ロボット100の行動としてジェスチャー及び発言内容の少なくとも一方が定められていてもよい。あるいは、反応ルール221には、ロボット100の感情値のパターンのグループの各々に対して、ロボット100の行動としてジェスチャー及び発言内容の少なくとも一方が定められていてもよい。
反応ルール221に定められているロボット100の行動に含まれる各ジェスチャーには、当該ジェスチャーの強度が予め定められている。反応ルール221に定められているロボット100の行動に含まれる各発話内容には、当該発話内容の強度が予め定められている。
記憶制御部238は、行動決定部236によって決定された行動に対して予め定められた行動の強度と、感情決定部232により決定されたロボット100の感情値とに基づいて、ユーザ10の行動を含むデータを履歴データ222に記憶するか否かを決定する。
具体的には、ロボット100の複数の感情分類の各々に対する感情値の総和と、行動決定部236によって決定された行動が含むジェスチャーに対して予め定められた強度と、行動決定部236によって決定された行動が含む発話内容に対して予め定められた強度との和である強度の総合値が、閾値以上である場合、ユーザ10の行動を含むデータを履歴データ222に記憶すると決定する。
具体的には、ロボット100の複数の感情分類の各々に対する感情値の総和と、行動決定部236によって決定された行動が含むジェスチャーに対して予め定められた強度と、行動決定部236によって決定された行動が含む発話内容に対して予め定められた強度との和である強度の総合値が、閾値以上である場合、ユーザ10の行動を含むデータを履歴データ222に記憶すると決定する。
記憶制御部238は、ユーザ10の行動を含むデータを履歴データ222に記憶すると決定した場合、行動決定部236によって決定された行動と、現時点から一定期間前までの、センサモジュール部210で解析された情報(例えば、その場の音声、画像、匂い等のデータなどのあらゆる周辺情報)、及びユーザ状態認識部230によって認識されたユーザ10の状態(例えば、ユーザ10の表情、感情など)を、履歴データ222に記憶する。
行動制御部250は、行動決定部236が決定した行動に基づいて、制御対象252を制御する。例えば、行動制御部250は、行動決定部236が発話することを含む行動を決定した場合に、制御対象252に含まれるスピーカから音声を出力させる。このとき、行動制御部250は、ロボット100の感情値に基づいて、音声の発声速度を決定してもよい。例えば、行動制御部250は、ロボット100の感情値が大きいほど、速い発声速度を決定する。このように、行動制御部250は、感情決定部232が決定した感情値に基づいて、行動決定部236が決定した行動の実行形態を決定する。
行動制御部250は、行動決定部236が決定した行動を実行したことに対するユーザ10の感情の変化を認識してもよい。例えば、ユーザ10の音声や表情に基づいて感情の変化を認識してよい。その他、センサ部200に含まれるタッチセンサで衝撃が検出されたことに基づいて、ユーザ10の感情の変化を認識してよい。センサ部200に含まれるタッチセンサで衝撃が検出された場合に、ユーザ10の感情が悪くなったと認識したり、センサ部200に含まれるタッチセンサの検出結果から、ユーザ10の反応が笑っている、あるいは、喜んでいる等と判断される場合には、ユーザ10の感情が良くなったと認識したりしてもよい。ユーザ10の反応を示す情報は、通信処理部280に出力される。
また、行動制御部250は、行動決定部236が決定した行動をロボット100の感情に応じて決定した実行形態で実行した後、感情決定部232は、当該行動が実行されたことに対するユーザの反応に基づいて、ロボット100の感情値を更に変化させる。具体的には、感情決定部232は、行動決定部236が決定した行動を行動制御部250が決定した実行形態でユーザに対して行ったことに対するユーザの反応が不良でなかった場合に、ロボット100の「喜」の感情値を増大させるまた、感情決定部232は、行動決定部236が決定した行動を行動制御部250が決定した実行形態でユーザに対して行ったことに対するユーザの反応が不良であった場合に、ロボット100の「哀」の感情値を増大させる。
更に、行動制御部250は、決定したロボット100の感情値に基づいて、ロボット100の感情を表現する。例えば、行動制御部250は、ロボット100の「喜」の感情値を増加させた場合、制御対象252を制御して、ロボット100に喜んだ仕草を行わせる。また、行動制御部250は、ロボット100の「哀」の感情値を増加させた場合、ロボット100の姿勢がうなだれた姿勢になるように、制御対象252を制御する。
通信処理部280は、サーバ300との通信を担う。上述したように、通信処理部280は、ユーザ反応情報をサーバ300に送信する。また、通信処理部280は、更新された反応ルールをサーバ300から受信する。通信処理部280がサーバ300から、更新された反応ルールを受信すると、反応ルール221を更新する。
サーバ300は、ロボット100、ロボット101及びロボット102とサーバ300との間の通信を行い、ロボット100から送信されたユーザ反応情報を受信し、ポジティブな反応が得られた行動を含む反応ルールに基づいて、反応ルールを更新する。
図3は、ロボット100において行動を決定する動作に関する動作フローの一例を概略的に示す。図3に示す動作フローは、繰り返し実行される。このとき、センサモジュール部210で解析された情報が入力されているものとする。なお、動作フロー中の「S」は、実行されるステップを表す。
まず、ステップS100において、ユーザ状態認識部230は、センサモジュール部210で解析された情報に基づいて、ユーザ10の状態を認識する。
ステップS102において、感情決定部232は、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ユーザ10の感情を示す感情値を決定する。
ステップS103において、感情決定部232は、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ロボット100の感情を示す感情値を決定する。感情決定部232は、決定したユーザ10の感情値を履歴データ222に追加する。
ステップS104において、行動認識部234は、センサモジュール部210で解析された情報及びユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ユーザ10の行動分類を認識する。
ステップS106において、行動決定部236は、ステップS102で決定されたユーザ10の現在の感情値及び履歴データ222に含まれる過去の感情値の組み合わせと、ロボット100の感情値と、行動認識部234によって認識されたユーザ10の行動と、反応ルール221とに基づいて、ロボット100の行動を決定する。
ステップS108において、行動制御部250は、行動決定部236により決定された行動に基づいて、制御対象252を制御する。
ステップS110において、記憶制御部238は、行動決定部236によって決定された行動に対して予め定められた行動の強度と、感情決定部232により決定されたロボット100の感情値とに基づいて、強度の総合値を算出する。
ステップS112において、記憶制御部238は、強度の総合値が閾値以上であるか否かを判定する。強度の総合値が閾値未満である場合には、ユーザ10の行動を含むデータを履歴データ222に記憶せずに、当該処理を終了する。一方、強度の総合値が閾値以上である場合には、ステップS114へ移行する。
ステップS114において、行動決定部236によって決定された行動と、現時点から一定期間前までの、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態と、を、履歴データ222に記憶する。
以上説明したように、ロボット100によれば、ユーザ状態に基づいて、ロボット100の感情を示す感情値を決定し、ロボット100の感情値に基づいて、ユーザ10の行動を含むデータを履歴データ222に記憶するか否かを決定する。これにより、ユーザ10の行動を含むデータを記憶する履歴データ222の容量を抑制することができる。そして例えば、10年後にユーザ状態が10年前と同じ状態であるとロボット100が判断したときに、10年前の履歴データ222を読み込むことにより、ロボット100は10年前当時のユーザ10の状態(例えばユーザー10の表情、感情など)、更にはその場の音声、画像、匂い等のデータなどのあらゆる周辺情報を、ユーザ10に提示することができる。
また、ロボット100によれば、ユーザ10の行動に対して適切な行動をロボット100に実行させることができる。従来は、ユーザの行動を分類し、ロボットの表情や恰好を含む行動を決めていた。これに対し、ロボット100は、ユーザ10の現在の感情値を決定し、過去の感情値及び現在の感情値に基づいてユーザ10に対して行動を実行する。従って、例えば、昨日は元気であったユーザ10が今日は落ち込んでいた場合に、ロボット100は「昨日は元気だったのに今日はどうしたの?」というような発話を行うことができる。また、ロボット100は、ジェスチャーを交えて発話を行うこともできる。また、例えば、昨日は落ち込んでいたユーザ10が今日は元気である場合に、ロボット100は、「昨日は落ち込んでいたのに今日は元気そうだね?」というような発話を行うことができる。また、例えば、昨日は元気であったユーザ10が今日は昨日よりも元気である場合、ロボット100は「今日は昨日よりも元気だね。昨日よりも良いことがあった?」というような発話を行うことができる。また、例えば、ロボット100は、感情値が0以上であり、かつ感情値の変動幅が一定の範囲内である状態が継続しているユーザ10に対しては、「最近、気分が安定していて良い感じだね。」というような発話を行うことができる。
また、例えば、ロボット100は、ユーザ10に対し、「昨日言っていた宿題はできた?」と質問し、ユーザ10から「できたよ」という回答が得られた場合、「偉いね!」等の肯定的な発話をするとともに、拍手又はサムズアップ等の肯定的なジェスチャーを行うことができる。また、例えば、ロボット100は、ユーザ10が「一昨日話したプレゼンテーションがうまくいったよ」という発話をすると、「頑張ったね!」等の肯定的な発話をするとともに、上記の肯定的なジェスチャーを行うこともできる。このように、ロボット100がユーザ10の状態の履歴に基づいた行動を行うことによって、ユーザ10がロボット100に対して親近感を覚えることが期待できる。
上記実施形態では、ロボット100は、ユーザ10の顔画像を用いてユーザ10を認識する場合について説明したが、開示の技術はこの態様に限定されない。例えば、ロボット100は、ユーザ10が発する音声、ユーザ10のメールアドレス、ユーザ10のSNSのID又はユーザ10が所持する無線ICタグが内蔵されたIDカード等を用いてユーザ10を認識してもよい。
なお、ロボット100は、行動制御システムを備える電子機器の一例である。行動制御システムの適用対象は、ロボット100に限られず、様々な電子機器に行動制御システムを適用できる。また、サーバ300の機能は、1以上のコンピュータによって実装されてよい。サーバ300の少なくとも一部の機能は、仮想マシンによって実装されてよい。また、サーバ300の機能の少なくとも一部は、クラウドで実装されてよい。
図4は、ロボット100及びサーバ300として機能するコンピュータ1200のハードウェア構成の一例を概略的に示す。コンピュータ1200にインストールされたプログラムは、コンピュータ1200を、本実施形態に係る装置の1又は複数の「部」として機能させ、又はコンピュータ1200に、本実施形態に係る装置に関連付けられるオペレーション又は当該1又は複数の「部」を実行させることができ、及び/又はコンピュータ1200に、本実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ1200に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、CPU1212によって実行されてよい。
本実施形態によるコンピュータ1200は、CPU1212、RAM1214、及びグラフィックコントローラ1216を含み、それらはホストコントローラ1210によって相互に接続されている。コンピュータ1200はまた、通信インタフェース1222、記憶装置1224、DVDドライブ1226、及びICカードドライブのような入出力ユニットを含み、それらは入出力コントローラ1220を介してホストコントローラ1210に接続されている。DVDドライブ1226は、DVD-ROMドライブ及びDVD-RAMドライブ等であってよい。記憶装置1224は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。コンピュータ1200はまた、ROM1230及びキーボードのようなレガシの入出力ユニットを含み、それらは入出力チップ1240を介して入出力コントローラ1220に接続されている。
CPU1212は、ROM1230及びRAM1214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ1216は、RAM1214内に提供されるフレームバッファ等又はそれ自体の中に、CPU1212によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス1218上に表示されるようにする。
通信インタフェース1222は、ネットワークを介して他の電子デバイスと通信する。記憶装置1224は、コンピュータ1200内のCPU1212によって使用されるプログラム及びデータを格納する。DVDドライブ1226は、プログラム又はデータをDVD-ROM1227等から読み取り、記憶装置1224に提供する。ICカードドライブは、プログラム及びデータをICカードから読み取り、及び/又はプログラム及びデータをICカードに書き込む。
ROM1230はその中に、アクティブ化時にコンピュータ1200によって実行されるブートプログラム等、及び/又はコンピュータ1200のハードウェアに依存するプログラムを格納する。入出力チップ1240はまた、様々な入出力ユニットをUSBポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ1220に接続してよい。
プログラムは、DVD-ROM1227又はICカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置1224、RAM1214、又はROM1230にインストールされ、CPU1212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ1200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ1200の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。
例えば、通信がコンピュータ1200及び外部デバイス間で実行される場合、CPU1212は、RAM1214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース1222に対し、通信処理を命令してよい。通信インタフェース1222は、CPU1212の制御の下、RAM1214、記憶装置1224、DVD-ROM1227、又はICカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
また、CPU1212は、記憶装置1224、DVDドライブ1226(DVD-ROM1227)、ICカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がRAM1214に読み取られるようにし、RAM1214上のデータに対し様々なタイプの処理を実行してよい。CPU1212は次に、処理されたデータを外部記録媒体にライトバックしてよい。
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU1212は、RAM1214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM1214に対しライトバックする。また、CPU1212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU1212は、当該複数のエントリの中から、第1の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
上で説明したプログラム又はソフトウェアモジュールは、コンピュータ1200上又はコンピュータ1200近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はRAMのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ1200に提供する。
本実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び/又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び/又はアナログハードウェア回路を含んでよく、集積回路(IC)及び/又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ(FPGA)、及びプログラマブルロジックアレイ(PLA)等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。
コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROM又はフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(登録商標)ディスク、メモリスティック、集積回路カード等が含まれてよい。
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はSmalltalk、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、及び「C」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、1又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
以上、本開示を実施の形態を用いて説明したが、本開示の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本開示の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
(その他の実施形態1)
その他の実施形態として、上記のロボット100を、電化製品、コンピュータ、自動車、バイク、玩具等の機器に搭載されたロボットに適用してもよいし、ロボット100が、電化製品、コンピュータ、自動車、バイク、玩具等の機器を制御してもよい。また、ロボット100を、ぬいぐるみや人形などに搭載してもよいし、ぬいぐるみや人形などに搭載された制御対象機器(スピーカやカメラ)に無線又は有線で接続された制御装置に適用してもよい。
その他の実施形態として、上記のロボット100を、電化製品、コンピュータ、自動車、バイク、玩具等の機器に搭載されたロボットに適用してもよいし、ロボット100が、電化製品、コンピュータ、自動車、バイク、玩具等の機器を制御してもよい。また、ロボット100を、ぬいぐるみや人形などに搭載してもよいし、ぬいぐるみや人形などに搭載された制御対象機器(スピーカやカメラ)に無線又は有線で接続された制御装置に適用してもよい。
その他の実施形態は具体的には、以下のように構成される。例えば、ロボット100を会話型スケジューラの制御に適用してもよい。ロボット100を会話型スケジューラの制御に適用する場合、例えば、ロボット100は、制御対象252として、ユーザにスケジュールを通知するための表示パネル、スピーカ、LED、及び、目覚まし時計などに用いられる鐘などを含んで構成されてもよい。
ロボット100は、以下のステップ1~ステップ5-2により、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、ユーザの行動予定(スケジュール)を設定する処理を実行する。
(ステップ1)ロボット100は、ユーザ10の状態、ユーザ10の感情値、ロボット100の感情値、履歴データ222を取得する。具体的には、上記ステップS100~S103と同様の処理を行い、ユーザ10の状態、ユーザ10の感情値、ロボット100の感情値、履歴データ222を取得する。
(ステップ2)ロボット100は、場所、スポーツ及び趣味などに関するユーザ10の好みを取得する。
具体的には、行動決定部236は、ユーザ10に対して好きな場所、好きなスポーツ、好きな趣味などに関する質問内容の発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して、好きな場所、好きなスポーツ、好きな趣味などに関する質問する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報(例えば、ユーザの回答)に基づいて、ユーザ10に対して場所、スポーツ及び趣味などに関する好みを認識する。
なお、行動制御部250は、ユーザ10に対して、好きな場所、好きなスポーツ、好きな趣味を直接的に質問する発話を行う場合に限定されない。例えば、行動制御部250は、ユーザ10に対して、好きな場所、好きなスポーツ、好きな趣味を間接的に質問する発話を行うようにしてもよい。
具体的には、行動決定部236は、ユーザ10に対して好きな場所、好きなスポーツ、好きな趣味などに関する質問内容の発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して、好きな場所、好きなスポーツ、好きな趣味などに関する質問する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報(例えば、ユーザの回答)に基づいて、ユーザ10に対して場所、スポーツ及び趣味などに関する好みを認識する。
なお、行動制御部250は、ユーザ10に対して、好きな場所、好きなスポーツ、好きな趣味を直接的に質問する発話を行う場合に限定されない。例えば、行動制御部250は、ユーザ10に対して、好きな場所、好きなスポーツ、好きな趣味を間接的に質問する発話を行うようにしてもよい。
(ステップ3)ロボット100は、ユーザ10に対して提案する行動予定を決定する。
具体的には、行動決定部236は、ユーザ10の場所、スポーツ及び趣味などに関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、所定の固定文を追加して、文章生成モデルに入力することで、ユーザ10の好みの内容を取得する。例えば、「オススメの場所はどこですか?」、「オススメのスポーツは何ですか?」、「オススメの料理は何ですか?」、「オススメの音楽は何ですか?」、「オススメの映画は何ですか?」、及び「オススメの旅行先はどこですか?」などの固定文を追加して、文章生成モデルに入力し、ユーザ10のオススメの内容を取得してもよい。このとき、ユーザ10の場所、スポーツ及び趣味などに関する好みだけでなく、ユーザ10の感情や履歴データ222を考慮することにより、ユーザ10に適した行動予定を提案することができる。また、ロボット100の感情を考慮することにより、ロボット100が感情を有していることを、ユーザ10に感じさせることができる。
具体的には、行動決定部236は、ユーザ10の場所、スポーツ及び趣味などに関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、所定の固定文を追加して、文章生成モデルに入力することで、ユーザ10の好みの内容を取得する。例えば、「オススメの場所はどこですか?」、「オススメのスポーツは何ですか?」、「オススメの料理は何ですか?」、「オススメの音楽は何ですか?」、「オススメの映画は何ですか?」、及び「オススメの旅行先はどこですか?」などの固定文を追加して、文章生成モデルに入力し、ユーザ10のオススメの内容を取得してもよい。このとき、ユーザ10の場所、スポーツ及び趣味などに関する好みだけでなく、ユーザ10の感情や履歴データ222を考慮することにより、ユーザ10に適した行動予定を提案することができる。また、ロボット100の感情を考慮することにより、ロボット100が感情を有していることを、ユーザ10に感じさせることができる。
(ステップ4)ロボット100は、ステップ3で決定した行動予定を、ユーザ10に対して提案し、ユーザ10の反応を取得する。
具体的には、行動決定部236は、ユーザ10に対して行動予定を提案する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して行動予定を提案する発話を行う。例えば、ロボット100は、ユーザ10が登山を好きであることを認識した場合、「来年の元旦に富士山に初日の出を見に行きませんか?」と提案して、ユーザ10の反応を取得する。また、例えば、ロボット100は、ユーザ10が野球を好きであることを認識した場合、「週末に野球を見に行きませんか?」と提案して、ユーザ10の反応を取得する。さらに、例えば、ロボット100は、ユーザ10が特定の俳優Aが好きであることを認識した場合、「今夜、俳優Aが出演している映画を見に行きませんか?」と提案して、ユーザ10の反応を取得する。ユーザ状態認識部230は、センサモジュール部210で解析された情報に基づいて、ユーザ10の状態を認識し、感情決定部232は、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ユーザ10の感情を示す感情値を決定する。行動決定部236は、ユーザ状態認識部230によって認識されたユーザ10の状態、及び、ユーザ10の感情を示す感情値に基づいて、ユーザ10の反応が、ポジティブか否かを判断し、ロボット100の行動として、ユーザ10に対して提案した行動予定を設定する処理を実行するか、ユーザ10に対して別の行動予定を提案するかを決定する。
具体的には、行動決定部236は、ユーザ10に対して行動予定を提案する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して行動予定を提案する発話を行う。例えば、ロボット100は、ユーザ10が登山を好きであることを認識した場合、「来年の元旦に富士山に初日の出を見に行きませんか?」と提案して、ユーザ10の反応を取得する。また、例えば、ロボット100は、ユーザ10が野球を好きであることを認識した場合、「週末に野球を見に行きませんか?」と提案して、ユーザ10の反応を取得する。さらに、例えば、ロボット100は、ユーザ10が特定の俳優Aが好きであることを認識した場合、「今夜、俳優Aが出演している映画を見に行きませんか?」と提案して、ユーザ10の反応を取得する。ユーザ状態認識部230は、センサモジュール部210で解析された情報に基づいて、ユーザ10の状態を認識し、感情決定部232は、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ユーザ10の感情を示す感情値を決定する。行動決定部236は、ユーザ状態認識部230によって認識されたユーザ10の状態、及び、ユーザ10の感情を示す感情値に基づいて、ユーザ10の反応が、ポジティブか否かを判断し、ロボット100の行動として、ユーザ10に対して提案した行動予定を設定する処理を実行するか、ユーザ10に対して別の行動予定を提案するかを決定する。
(ステップ5-1)ユーザ10の反応がポジティブである場合、ロボット100は、提案した行動予定を設定する処理を実行する。
具体的には、ロボット100の行動として、ユーザ10に対して提案した行動予定を設定する処理を実行すると決定した場合に、行動制御部250が、ユーザ10に対して提案した行動予定の設定を実行するように、制御対象252である表示パネル、スピーカ、LED、及び鐘などを制御する。
また、ロボット100は、ユーザ10の状態及びユーザの感情に応じて、行動予定をユーザ10へ通知する際の通知態様を変更してもよい。具体的には、スピーカから出力するアラーム音の音量や通知音の種類を変更してもよく、LEDを点灯又は点滅させる色を変更してもよい。
具体的には、ロボット100の行動として、ユーザ10に対して提案した行動予定を設定する処理を実行すると決定した場合に、行動制御部250が、ユーザ10に対して提案した行動予定の設定を実行するように、制御対象252である表示パネル、スピーカ、LED、及び鐘などを制御する。
また、ロボット100は、ユーザ10の状態及びユーザの感情に応じて、行動予定をユーザ10へ通知する際の通知態様を変更してもよい。具体的には、スピーカから出力するアラーム音の音量や通知音の種類を変更してもよく、LEDを点灯又は点滅させる色を変更してもよい。
(ステップ5-2)ユーザ10の反応がポジティブでない場合、ロボット100が、ユーザ10に対して提案する別の行動予定を決定する。
具体的には、ロボット100の行動として、ユーザ10に対して別の行動予定を提案すると決定した場合には、行動決定部236は、ユーザ10に対して場所、スポーツ及び趣味などに関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「オススメの場所は他にある?」、「オススメのスポーツは他のある?」、「オススメの料理は他にある?」、「オススメの音楽は他にある?」、「オススメの映画は他にある?」、及び「オススメの旅行先は他にある?」などの固定文を追加して、文章生成モデルに入力し、行動予定に関するオススメの内容を取得する。そして、上記ステップ4へ戻り、ユーザ10に対して提案した行動予定を設定する処理を実行すると決定するまで、上記のステップ4~ステップ5-2の処理を繰り返す。
具体的には、ロボット100の行動として、ユーザ10に対して別の行動予定を提案すると決定した場合には、行動決定部236は、ユーザ10に対して場所、スポーツ及び趣味などに関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「オススメの場所は他にある?」、「オススメのスポーツは他のある?」、「オススメの料理は他にある?」、「オススメの音楽は他にある?」、「オススメの映画は他にある?」、及び「オススメの旅行先は他にある?」などの固定文を追加して、文章生成モデルに入力し、行動予定に関するオススメの内容を取得する。そして、上記ステップ4へ戻り、ユーザ10に対して提案した行動予定を設定する処理を実行すると決定するまで、上記のステップ4~ステップ5-2の処理を繰り返す。
このように、ロボット100は、ユーザ10の好み、ユーザ10の状況、ユーザ10の反応に合わせて、行動予定を設定する処理を実行することができる。
感情決定部232は、特定のマッピングに従い、ユーザの感情を決定してよい。具体的には、感情決定部232は、特定のマッピングである感情マップ(図5参照)に従い、ユーザの感情を決定してよい。
図5は、複数の感情がマッピングされる感情マップ400を示す図である。感情マップ400において、感情は、中心から放射状に同心円に配置されている。同心円の中心に近いほど、原始的状態の感情が配置されている。同心円のより外側には、心境から生まれる状態や行動を表す感情が配置されている。感情とは、情動や心的状態も含む概念である。同心円の左側には、概して脳内で起きる反応から生成される感情が配置されている。同心円の右側には概して、状況判断で誘導される感情が配置されている。同心円の上方向及び下方向には、概して脳内で起きる反応から生成され、かつ、状況判断で誘導される感情が配置されている。また、同心円の上側には、「快」の感情が配置され、下側には、「不快」の感情が配置されている。このように、感情マップ400では、感情が生まれる構造に基づいて複数の感情がマッピングされており、同時に生じやすい感情が、近くにマッピングされている。
(1)例えばロボット100の感情決定部232である感情エンジンが、100msec程度で感情を検知している場合、ロボット100の反応動作(例えば相槌)の決定は、頻度が少なくとも、感情エンジンの検知頻度(100msec)と同様のタイミングに設定してよく、これよりも早いタイミングに設定してもよい。感情エンジンの検知頻度はサンプリングレートと解釈してよい。
100msec程度で感情を検知し、即時に連動して反応動作(例えば相槌)を行うことで、不自然な相槌ではなくなり、自然な空気を読んだ対話を実現できる。ロボット100は、感情マップ400の曼荼羅の方向性とその度合い(強さ)に応じて、反応動作(相槌など)を行う。なお、感情エンジンの検知頻度(サンプリングレート)は、100msに限定されず、シチュエーション(スポーツをしている場合など)、ユーザの年齢などに応じて、変更してもよい。
(2)感情マップ400と照らし合わせ、感情の方向性とその度合いの強さを予め設定しておき、相槌の動き及び相槌の強弱を設定してよい。例えば、ロボット100が安定感、安心などを感じている場合、ロボット100は、頷いて話を聞き続ける。ロボット100が不安、迷い、怪しい感じを覚えている場合、ロボット100は、首をかしげてもよく、首振りを止めてもよい。
これらの感情は、感情マップ400の3時の方向に分布しており、普段は安心と不安のあたりを行き来する。感情マップ400の右半分では、内部的な感覚よりも状況認識の方が優位に立つため、落ち着いた印象になる。
(3)ロボット100が褒められて快感を覚えた場合、「あー」というフィラーが台詞の前に入り、きつい言葉をもらって痛感を覚えた場合、「うっ!」というフィラーが台詞の前に入ってよい。また、ロボット100が「うっ!」と言いつつうずくまる仕草などの身体的な反応を含めてよい。これらの感情は、感情マップ400の9時あたりに分布している。
(4)感情マップ400の左半分では、状況認識よりも内部的な感覚(反応)の方が優位に立つ。よって、思わず反応してしまった印象を与え得る。
ロボット100が納得感という内部的な感覚(反応)を覚えながら状況認識においても好感を覚える場合、ロボット100は、相手を見ながら深く頷いてよく、また「うんうん」と発してよい。このように、ロボット100は、相手へのバランスのとれた好感、すなわち、相手への許容や寛容といった行動を生成してよい。このような感情は、感情マップ400の12時あたりに分布している。
逆に、ロボット100が不快感という内部的な感覚(反応)を覚えながら状況認識においても、ロボット100は、嫌悪を覚えるときには首を横に振る、憎しみを覚えるくらいになると、目のLEDを赤くして相手を睨んでもよい。このような感情は、感情マップ400の6時あたりに分布している。
(5)感情マップ400の内側は心の中、感情マップ400の外側は行動を表すため、感情マップ400の外側に行くほど、感情が目に見える(行動に表れる)ようになる。
(6)感情マップ400の3時付近に分布する安心を覚えながら、人の話を聞く場合、ロボット100は、軽く首を縦に振って「ふんふん」と発する程度であるが、12時付近の愛の方になると、首を深く縦に振るような力強い頷きをしてよい。
感情決定部232は、センサモジュール部210で解析された情報、及び認識されたユーザ10の状態を、予め学習されたニューラルネットワークに入力し、感情マップ400に示す各感情を示す感情値を取得し、ユーザ10の感情を決定する。このニューラルネットワークは、センサモジュール部210で解析された情報、及び認識されたユーザ10の状態と、感情マップ400に示す各感情を示す感情値との組み合わせである複数の学習データに基づいて予め学習されたものである。また、このニューラルネットワークは、図6に示す感情マップ900のように、近くに配置されている感情同士は、近い値を持つように学習される。図6では、「安心」、「安穏」、「心強い」という複数の感情が、近い感情値となる例を示している。
また、感情決定部232は、特定のマッピングに従い、ロボット100の感情を決定してよい。具体的には、感情決定部232は、センサモジュール部210で解析された情報、ユーザ状態認識部230によって認識されたユーザ10の状態、及びロボット100の状態を、予め学習されたニューラルネットワークに入力し、感情マップ400に示す各感情を示す感情値を取得し、ロボット100の感情を決定する。このニューラルネットワークは、センサモジュール部210で解析された情報、認識されたユーザ10の状態、及びロボット100の状態と、感情マップ400に示す各感情を示す感情値との組み合わせである複数の学習データに基づいて予め学習されたものである。例えば、タッチセンサ(図示省略)の出力から、ロボット100がユーザ10になでられていると認識される場合に、「嬉しい」の感情値「3」となることを表す学習データや、加速度センサ(図示省略)の出力から、ロボット100がユーザ10に叩かれていると認識される場合に、「怒」の感情値「3」となることを表す学習データに基づいて、ニューラルネットワークが学習される。また、このニューラルネットワークは、図6に示す感情マップ900のように、近くに配置されている感情同士は、近い値を持つように学習される。
行動決定部236は、ユーザの行動と、ユーザの感情、ロボットの感情とを表すテキストに、ユーザの行動に対応するロボットの行動内容を質問するための固定文を追加して、対話機能を有する文章生成モデルに入力することにより、ロボットの行動内容を生成する。
例えば、行動決定部236は、感情決定部232によって決定されたロボット100の感情から、表1に示すような感情テーブルを用いて、ロボット100の状態を表すテキストを取得する。ここで、感情テーブルには、感情の種類毎に、各感情値に対してインデックス番号が付与されており、インデックス番号毎に、ロボット100の状態を表すテキストが格納されている。
感情決定部232によって決定されたロボット100の感情が、インデックス番号「2」に対応する場合、「とても楽しい状態」というテキストが得られる。なお、ロボット100の感情が、複数のインデックス番号に対応する場合、ロボット100の状態を表すテキストが複数得られる。
また、ユーザ10の感情に対しても、表2に示すような感情テーブルを用意しておく。
ここで、ユーザの行動が、「富士山を登るのが好きです」と話しかけるであり、ロボット100の感情が、インデックス番号「2」であり、ユーザ10の感情が、インデックス番号「3」である場合には、「ロボットはとても楽しい状態です。ユーザは普通に楽しい状態です。ユーザに「富士山を登るのが好きです」と話しかけられました。ロボットとして、どのように返事をしますか?」と文章生成モデルに入力し、ロボットの行動内容を取得する。行動決定部236は、この行動内容から、ロボットの行動を決定する。
ここで、ユーザの行動が、「富士山を登るのが好きです」と話しかけるであり、ロボット100の感情が、インデックス番号「2」であり、ユーザ10の感情が、インデックス番号「3」である場合には、「ロボットはとても楽しい状態です。ユーザは普通に楽しい状態です。ユーザに「富士山を登るのが好きです」と話しかけられました。ロボットとして、どのように返事をしますか?」と文章生成モデルに入力し、ロボットの行動内容を取得する。行動決定部236は、この行動内容から、ロボットの行動を決定する。
このように、行動決定部236は、ロボット100の感情の種類毎で、かつ、当該感情の強さ毎に予め定められたロボット100の感情に関する状態と、ユーザ10の行動とに対応して、ロボット100の行動内容を決定する。この形態では、ロボット100の感情に関する状態に応じて、ユーザ10との対話を行っている場合のロボット100の発話内容を分岐させることができる。すなわち、ロボット100は、ロボットの感情に応じたインデックス番号に応じて、ロボットの行動を変えることができるため、ユーザは、ロボットに心があるような印象を持ち、ロボットに対して話しかけるなどの行動をとることが促進される。
また、行動決定部236は、ユーザの行動と、ユーザの感情、ロボットの感情とを表すテキストだけでなく、履歴データ222の内容を表すテキストも追加した上で、ユーザの行動に対応するロボットの行動内容を質問するための固定文を追加して、対話機能を有する文章生成モデルに入力することにより、ロボットの行動内容を生成するようにしてもよい。これにより、ロボット100は、ユーザの感情や行動を表す履歴データに応じて、ロボットの行動を変えることができるため、ユーザは、ロボットに個性があるような印象を持ち、ロボットに対して話しかけるなどの行動をとることが促進される。また、履歴データに、ロボットの感情や行動を更に含めるようにしてもよい。
また、感情決定部232は、文章生成モデルによって生成されたロボット100の行動内容に基づいて、ロボット100の感情を決定してもよい。具体的には、感情決定部232は、文章生成モデルによって生成されたロボット100の行動内容を、予め学習されたニューラルネットワークに入力し、感情マップ400に示す各感情を示す感情値を取得し、取得した各感情を示す感情値と、現在のロボット100の各感情を示す感情値とを統合し、ロボット100の感情を更新する。例えば、取得した各感情を示す感情値と、現在のロボット100の各感情を示す感情値とをそれぞれ平均して、統合する。このニューラルネットワークは、文章生成モデルによって生成されたロボット100の行動内容を表すテキストと、感情マップ400に示す各感情を示す感情値との組み合わせである複数の学習データに基づいて予め学習されたものである。
例えば、文章生成モデルによって生成されたロボット100の行動内容として、ロボット100の発話内容「それはよかったね。ラッキーだったね。」が得られた場合には、この発話内容を表すテキストをニューラルネットワークに入力すると、感情「嬉しい」の感情値として高い値が得られ、感情「嬉しい」の感情値が高くなるように、ロボット100の感情が更新される。
なお、ロボット100を、ぬいぐるみに搭載してもよいし、ぬいぐるみに搭載された制御対象機器(スピーカやカメラ)に無線又は有線で接続された制御装置に適用してもよい。この場合、具体的には、以下のように構成される。例えば、ロボット100をユーザ10と日常を過ごしながら、当該ユーザ10と日常に関する情報を基に、対話を進めたり、ユーザ10の趣味趣向に合わせた情報を提供する共同生活者(具体的には、図7及び図8に示すぬいぐるみ100N)に適用してもよい。本実施形態(その他の実施形態)では、上記のロボット100の制御部分を、スマートホン50に適用した例について説明する。
ロボット100の入出力デバイスとしての機能を搭載したぬいぐるみ100Nは、ロボット100の制御部分として機能するスマートホン50が着脱可能であり、ぬいぐるみ100Nの内部で、入出力デバイスと、収容されたスマートホン50とが接続されている。
図7(A)に示される如く、ぬいぐるみ100Nは、本実施形態(ぬいぐるみに搭載した実施形態)では、外観が柔らかい布生地で覆われた熊の形状であり、図7(B)に示される如く、その内方に形成された空間部52には、入出力デバイスとして、耳54に相当する部分にセンサ部200のマイク201(図2参照)が配置され、目56に相当する部分にセンサ部200の2Dカメラ203が配置され(図2参照)、及び、口58に相当する部分に制御対象252(図2参照)の一部を構成するスピーカ60が配置されている。なお、マイク201及びスピーカ60は、必ずしも別体である必要はなく、一体型のユニットであってもよい。ユニットの場合は、ぬいぐるみ100Nの鼻の位置など、発話が自然に聞こえる位置に配置するとよい。なお、ぬいぐるみ100Nは、動物の形状である場合を例に説明したが、これに限定されるものではない。ぬいぐるみ100Nは、特定のキャラクタの形状であってもよい。
スマートホン50は、図2に示す、センサモジュール部210としての機能、格納部220としての機能、ユーザ状態認識部230としての機能、感情決定部232としての機能、行動認識部234としての機能、行動決定部236としての機能、記憶制御部238としての機能、行動制御部250としての機能、及び、通信処理部280としての機能を有する。
図8に示される如く、ぬいぐるみ100Nの一部(例えば、背部)には、ファスナー62が取り付けられており、当該ファスナー62を開放することで、外部と空間部52とが連通する構成となっている。
ここで、スマートホン50が、外部から空間部52へ収容され、USBハブ64(図7(B)参照)を介して、各入出力デバイスとUSB接続することで、図1に示すロボット100と同等の機能を持たせることができる。
また、USBハブ64には、非接触型の受電プレート66が接続されている。受電プレート66には、受電用コイル66Aが組み込まれている。受電プレート66は、ワイヤレス給電を受電するワイヤレス受電部の一例である。
受電プレート66は、ぬいぐるみ100Nの両足の付け根部68付近に配置され、ぬいぐるみ100Nを載置ベース70に置いたときに、最も載置ベース70に近い位置となる。載置ベース70は、外部のワイヤレス送電部の一例である。
この載置ベース70に置かれたぬいぐるみ100Nが、自然な状態で置物として鑑賞することが可能である。
また、この付け根部は、他の部位のぬいぐるみ100Nの表層厚さに比べて薄く形成しており、より載置ベース70に近い状態で保持されるようになっている。
載置ベース70には、充電パット72を備えている。充電パット72は、送電用コイル72Aが組み込まれており、送電用コイル72Aが信号を送って、受電プレート66の受電用コイル66Aを検索し、受電用コイル66Aが見つかると、送電用コイル72Aに電流が流れて磁界を発生させ、受電用コイル66Aが磁界に反応して電磁誘導が始まる。これにより、受電用コイル66Aに電流が流れ、USBハブ64を介して、スマートホン50のバッテリー(図示省略)に電力が蓄えられる。
すなわち、ぬいぐるみ100Nを置物として載置ベース70に載置することで、スマートホン50は、自動的に充電されるため、充電のために、スマートホン50をぬいぐるみ100Nの空間部52から取り出す必要がない。
なお、本実施形態(ぬいぐるみに搭載した実施形態)では、スマートホン50をぬいぐるみ100Nの空間部52に収容して、有線による接続(USB接続)したが、これに限定されるものではない。例えば、無線機能(例えば、「Bluetooth(登録商標)」)を持たせた制御装置をぬいぐるみ100Nの空間部52に収容して、制御装置をUSBハブ64に接続してもよい。この場合、スマートホン50を空間部52に入れずに、スマートホン50と制御装置とが、無線で通信し、外部のスマートホン50が、制御装置を介して、各入出力デバイスと接続することで、図1に示すロボット100と同等の機能を持たせることができる。また、制御装置をぬいぐるみ100Nの空間部52に収容した制御装置と、外部のスマートホン50とを有線で接続してもよい。
また、本実施形態(ぬいぐるみに搭載した実施形態)では、熊のぬいぐるみ100Nを例示したが、他の動物でもよいし、人形であってもよいし、特定のキャラクタの形状であってもよい。また、着せ替え可能でもよい。さらに、表皮の材質は、布生地に限らず、ソフトビニール製等、他の材質でもよいが、柔らかい材質であることが好ましい。
さらに、ぬいぐるみ100Nの表皮にモニタを取り付けて、ユーザ10に視覚を通じて情報を提供する制御対象252を追加してもよい。例えば、目56をモニタとして、目に映る画像によって喜怒哀楽を表現してもよいし、腹部に、内蔵したスマートホン50のモニタが透過する窓を設けてもよい。さらに、目56をプロジェクターとして、壁面に投影した画像によって喜怒哀楽を表現してもよい。
他の実施形態によれば、ぬいぐるみ100Nの中に既存のスマートホン50を入れ、そこから、USB接続を介して、カメラ203、マイク201、スピーカ60等をそれぞれ適切な位置に延出させた。
さらに、ワイヤレス充電のために、スマートホン50と受電プレート66とをUSB接続して、受電プレート66を、ぬいぐるみ100Nの内部からみてなるべく外側に来るように配置した。
スマートホン50のワイヤレス充電を使おうとすると、スマートホン50をぬいぐるみ100Nの内部からみてできるだけ外側に配置しなければならず、ぬいぐるみ100Nを外から触ったときにごつごつしてしまう。
そのため、スマートホン50を、できるだけぬいぐるみ100Nの中心部に配置し、ワイヤレス充電機能(受電プレート66)を、できるだけぬいぐるみ100Nの内部からみて外側に配置した。カメラ203、マイク201、スピーカ60、及びスマートホン50は、受電プレート66を介してワイヤレス給電を受電する。
(その他の実施形態2)
その他の実施形態として、上記のロボット100を、電化製品、コンピュータ、自動車、バイク、玩具等の機器に搭載されたロボットに適用してもよいし、ロボット100が、電化製品、コンピュータ、自動車、バイク、玩具等の機器を制御してもよい。また、ロボット100を、ぬいぐるみに搭載してもよいし、ぬいぐるみに搭載された制御対象機器(スピーカやカメラ)に無線又は有線で接続された制御装置に適用してもよい。その他の実施形態は具体的には、以下のように構成される。例えば、ロボット100を、イベント案内システムの制御に適用してもよい。このイベント案内システムは、ユーザ10に対し、イベントを案内する機能(イベント案内機能)を有する。すなわち、イベント案内システムは、ユーザ10の好み、状況、及び反応を見ながらユーザ10と会話をする。そして、イベント案内システムは、自律的に、イベントをユーザ10に案内する。イベントの案内には、たとえば、特定のイベントをユーザ10に案内することを含む。イベントの案内には、イベントのチケットの購入を案内する場合、及びイベントのチケットの購入を促す場合を含む。たとえば、ロボット100のディスプレイデバイス1218にチケットの購入方法を表示する。チケットの購入方法は、チケットの発売時期、発売場所、及び購入方法(支払方法を含んでいてもよい)を含む。また、ロボット100のスピーカから、音声でチケットの発売時期、発売場所、及び購入方法を案内してもよい。
その他の実施形態として、上記のロボット100を、電化製品、コンピュータ、自動車、バイク、玩具等の機器に搭載されたロボットに適用してもよいし、ロボット100が、電化製品、コンピュータ、自動車、バイク、玩具等の機器を制御してもよい。また、ロボット100を、ぬいぐるみに搭載してもよいし、ぬいぐるみに搭載された制御対象機器(スピーカやカメラ)に無線又は有線で接続された制御装置に適用してもよい。その他の実施形態は具体的には、以下のように構成される。例えば、ロボット100を、イベント案内システムの制御に適用してもよい。このイベント案内システムは、ユーザ10に対し、イベントを案内する機能(イベント案内機能)を有する。すなわち、イベント案内システムは、ユーザ10の好み、状況、及び反応を見ながらユーザ10と会話をする。そして、イベント案内システムは、自律的に、イベントをユーザ10に案内する。イベントの案内には、たとえば、特定のイベントをユーザ10に案内することを含む。イベントの案内には、イベントのチケットの購入を案内する場合、及びイベントのチケットの購入を促す場合を含む。たとえば、ロボット100のディスプレイデバイス1218にチケットの購入方法を表示する。チケットの購入方法は、チケットの発売時期、発売場所、及び購入方法(支払方法を含んでいてもよい)を含む。また、ロボット100のスピーカから、音声でチケットの発売時期、発売場所、及び購入方法を案内してもよい。
ユーザ10に対し、案内したイベントに関連する情報、すなわちイベント関連情報をさらにユーザに案内してもよい。イベント関連情報は、たとえば、イベント関係者(主催者、共催者、後援者、出演者、アーティスト等)の過去の出版物及び販売物や、インターネット上の情報源等を含む。イベント関連情報には、たとえば、イベントの開催場所までの交通手段、及び移動手段の案内等を含む。
また、たとえば記憶装置1224等に、イベントのチケット発券に関する情報を記憶しておき、チケット発券装置に対し、チケット発券に関する情報を送信するようにしてもよい。たとえば、ロボット100がチケット発券装置の近くにある状態で、ロボット100からチケット発券に関する情報をチケット発券装置に送信する。そして、チケット発券に関する情報を受けたチケット発券装置が自動でチケットを発券する。これにより、ユーザ10がチケット発券装置を操作する手間が省ける。
さらに、ロボット100が、チケット機能部を有していてもよい。このチケット機能部は、イベント案内システムがユーザ10に案内したイベントのチケットとして機能する部位である。たとえば、ユーザ10がイベントへの参加登録あるいは代金の支払いを完了させていることを記憶装置1224等に記憶しておく。そして、チケット機能部が、イベント会場におけるチェックイン端末(検札装置)に対し無線にて通信することで、ユーザ10が正規の入場者であることが確認されると共に、ユーザ10はイベント会場への入場が可能となる機能である。
イベントの種類は限定されない。たとえば、映画、演劇、音楽のコンサート、講演会、博覧会、展覧会、見本市、各種相談会、物産展、物品販売会等が含まれる。これらのイベントには、有料のものと無料のものとが含まれる。
チケット案内システムとしてのロボット100は、上記の動作を実行するための、各種の機能部を備えている。以下では一例として、ロボット100が、イベント案内機能を奏する場合を例に挙げる。
ロボット100は、以下のステップ1~ステップ5-2により、ユーザ10の好み、ユーザ10の状況、ユーザ10の反応に合わせて、ユーザ10に案内するイベントを選択する処理を実行する。
(ステップ1)ロボット100は、ユーザ10の状態、ユーザ10の感情値、ロボット100の感情値、履歴データ222を取得する。具体的には、上記ステップS100~S103と同様の処理を行い、ユーザ10の状態、ユーザ10の感情値、ロボット100の感情値、履歴データ222を取得する。
(ステップ2)ロボット100は、イベントの種類に関するユーザ10の好みを取得する。
具体的には、行動決定部236は、ユーザ10に対してイベントの種類に関する好みを質問する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対してイベントの種類に関する好みを質問する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報(例えば、ユーザの回答)に基づいて、ユーザ10に対してイベントの種類に関する好みを認識する。
具体的には、行動決定部236は、ユーザ10に対してイベントの種類に関する好みを質問する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対してイベントの種類に関する好みを質問する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報(例えば、ユーザの回答)に基づいて、ユーザ10に対してイベントの種類に関する好みを認識する。
(ステップ3)ロボット100は、ユーザ10に対して提案するイベントの具体例を決定する。
具体的には、行動決定部236は、ユーザ10のイベントの種類に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「このとき、ユーザにオススメのイベントの種類は何?」という固定文を追加して、文章生成モデルに入力し、イベントの種類に関するオススメの内容を取得する。このとき、ユーザ10のイベントの種類に関する好みだけでなく、ユーザ10の感情や履歴データ222を考慮することにより、ユーザ10に適したイベントの具体例を提案することができる。また、ロボット100の感情を考慮することにより、ロボット100が感情を有していることを、ユーザ10に感じさせることができる。より具体的には、たとえば映画であれば、ユーザ10が好む分野が洋画であるのか邦画であるのか、また、ミステリー、サスペンス、ホラー、アクション、SF、アドベンチャー、ファンタジー、コメディ、ドキュメンタリー、アニメ等のいずれであるか、等である。
具体的には、行動決定部236は、ユーザ10のイベントの種類に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「このとき、ユーザにオススメのイベントの種類は何?」という固定文を追加して、文章生成モデルに入力し、イベントの種類に関するオススメの内容を取得する。このとき、ユーザ10のイベントの種類に関する好みだけでなく、ユーザ10の感情や履歴データ222を考慮することにより、ユーザ10に適したイベントの具体例を提案することができる。また、ロボット100の感情を考慮することにより、ロボット100が感情を有していることを、ユーザ10に感じさせることができる。より具体的には、たとえば映画であれば、ユーザ10が好む分野が洋画であるのか邦画であるのか、また、ミステリー、サスペンス、ホラー、アクション、SF、アドベンチャー、ファンタジー、コメディ、ドキュメンタリー、アニメ等のいずれであるか、等である。
(ステップ4)ロボット100は、ステップ3で決定したイベントの具体例を、ユーザ10に対して提案し、ユーザ10の反応を取得する。
具体的には、行動決定部236は、ユーザ10に対してイベントの具体例を提案する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対してイベントの具体例を提案する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報に基づいて、ユーザ10の状態を認識し、感情決定部232は、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ユーザ10の感情を示す感情値を決定する。行動決定部236は、ユーザ状態認識部230によって認識されたユーザ10の状態、及び、ユーザ10の感情を示す感情値に基づいて、ユーザ10の反応が、ポジティブか否かを判断し、ロボット100の行動として、ユーザ10に対して提案したイベントの具体例をユーザ10に対して案内する処理を実行するか、ユーザ10に対して別のイベントの具体例を提案するかを決定する。
具体的には、行動決定部236は、ユーザ10に対してイベントの具体例を提案する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対してイベントの具体例を提案する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報に基づいて、ユーザ10の状態を認識し、感情決定部232は、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ユーザ10の感情を示す感情値を決定する。行動決定部236は、ユーザ状態認識部230によって認識されたユーザ10の状態、及び、ユーザ10の感情を示す感情値に基づいて、ユーザ10の反応が、ポジティブか否かを判断し、ロボット100の行動として、ユーザ10に対して提案したイベントの具体例をユーザ10に対して案内する処理を実行するか、ユーザ10に対して別のイベントの具体例を提案するかを決定する。
(ステップ5-1)ユーザ10の反応がポジティブである場合、ロボット100は、提案したイベントの具体例をユーザ10に対して案内する処理を実行する。
具体的には、ロボット100の行動として、ユーザ10に対して提案したイベントの具体例を案内する処理を実行すると決定した場合に、行動制御部250が、ユーザ10に対して具体例の提案を実行するように、制御対象252である各種の機能部を制御する。より具体的には、ディスプレイデバイス1218に、案内するイベントの名称、開催(上映及び上演を含む)の場所と日時、参加方向、料金等を表示する。
具体的には、ロボット100の行動として、ユーザ10に対して提案したイベントの具体例を案内する処理を実行すると決定した場合に、行動制御部250が、ユーザ10に対して具体例の提案を実行するように、制御対象252である各種の機能部を制御する。より具体的には、ディスプレイデバイス1218に、案内するイベントの名称、開催(上映及び上演を含む)の場所と日時、参加方向、料金等を表示する。
(ステップ5-2)ユーザ10の反応がポジティブでない場合、ロボット100が、ユーザ10に対して提案する別のイベントの具体例を決定する。
具体的には、ロボット100の行動として、ユーザ10に対して別のイベントの具体例を提案すると決定した場合には、行動決定部236は、ユーザ10に対してイベントの種類に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「ユーザにオススメのイベントの種類は他にある?」という固定文を追加して、文章生成モデルに入力し、イベントの種類に関するオススメの内容を取得する。そして、上記ステップ4へ戻り、ユーザ10に対して提案したイベントの具体例を案内する処理を実行すると決定するまで、上記のステップ4~ステップ5-2の処理を繰り返す。
具体的には、ロボット100の行動として、ユーザ10に対して別のイベントの具体例を提案すると決定した場合には、行動決定部236は、ユーザ10に対してイベントの種類に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「ユーザにオススメのイベントの種類は他にある?」という固定文を追加して、文章生成モデルに入力し、イベントの種類に関するオススメの内容を取得する。そして、上記ステップ4へ戻り、ユーザ10に対して提案したイベントの具体例を案内する処理を実行すると決定するまで、上記のステップ4~ステップ5-2の処理を繰り返す。
このように、ロボット100は、ユーザ10の好み、ユーザ10の状況、ユーザ10の反応に合わせて、イベントの具体例を案内する処理を実行することができる。
以上の実施形態に関し、更に以下の付記を開示する。
(付記1)
ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能に基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記ロボットは、チケット案内システムに搭載されており、
前記行動決定部は、前記ユーザの好み、状況、反応を見ながら会話をしつつ、自律的にイベントを前記ユーザに案内する、
行動制御システム。
(付記2)
前記行動決定部は、前記イベントのチケットの購入方法を前記ユーザに提示する、付記1に記載の行動制御システム。
(付記3)
前記行動決定部は、前記イベントのチケット発券装置にチケット発券に関する情報を記憶する、付記1に記載の行動制御システム。
(付記4)
前記行動決定部が前記ユーザに案内した前記イベントのチケットとして機能するチケット機能部、を有する付記1に記載の行動制御システム。
(付記5)
前記行動決定部は、前記ユーザに案内した前記イベントに関連するイベント関連情報を前記ユーザに案内する、付記1に記載の行動制御システム。
(付記6)
前記ロボットは、ぬいぐるみに搭載され、又はぬいぐるみに搭載された制御対象機器に無線又は有線で接続されている、付記1に記載の行動制御システム。
(付記1)
ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能に基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記ロボットは、チケット案内システムに搭載されており、
前記行動決定部は、前記ユーザの好み、状況、反応を見ながら会話をしつつ、自律的にイベントを前記ユーザに案内する、
行動制御システム。
(付記2)
前記行動決定部は、前記イベントのチケットの購入方法を前記ユーザに提示する、付記1に記載の行動制御システム。
(付記3)
前記行動決定部は、前記イベントのチケット発券装置にチケット発券に関する情報を記憶する、付記1に記載の行動制御システム。
(付記4)
前記行動決定部が前記ユーザに案内した前記イベントのチケットとして機能するチケット機能部、を有する付記1に記載の行動制御システム。
(付記5)
前記行動決定部は、前記ユーザに案内した前記イベントに関連するイベント関連情報を前記ユーザに案内する、付記1に記載の行動制御システム。
(付記6)
前記ロボットは、ぬいぐるみに搭載され、又はぬいぐるみに搭載された制御対象機器に無線又は有線で接続されている、付記1に記載の行動制御システム。
(その他の実施形態3)
その他の実施形態として、上記のロボット100を、電化製品、コンピュータ、自動車、バイク、玩具等の機器に搭載されたロボットに適用してもよいし、ロボット100が、電化製品、コンピュータ、自動車、バイク、玩具等の機器を制御してもよい。また、ロボット100を、ぬいぐるみに搭載してもよいし、ぬいぐるみに搭載された制御対象機器(スピーカやカメラ)に無線又は有線で接続された制御装置に適用してもよい。その他の実施形態は具体的には、以下のように構成される。例えば、ロボット100を歩行補助器具(AI歩行補助器具)に適用してもよい。
その他の実施形態として、上記のロボット100を、電化製品、コンピュータ、自動車、バイク、玩具等の機器に搭載されたロボットに適用してもよいし、ロボット100が、電化製品、コンピュータ、自動車、バイク、玩具等の機器を制御してもよい。また、ロボット100を、ぬいぐるみに搭載してもよいし、ぬいぐるみに搭載された制御対象機器(スピーカやカメラ)に無線又は有線で接続された制御装置に適用してもよい。その他の実施形態は具体的には、以下のように構成される。例えば、ロボット100を歩行補助器具(AI歩行補助器具)に適用してもよい。
歩行補助器具は、高齢者や、足が不自由な患者等のユーザが歩行する際に、ユーザの歩行をサポートする器具であり、例えば、シルバーカー等の歩行器や、杖、クラッチ等がある。
ロボット100は、以下のステップ1~ステップ5-2により、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、ユーザに提案する歩行方法を決定する処理を実行する。ここでいう歩行方法(歩行の仕方)は、例えば、歩行のペースや、ペース配分、距離、歩幅、足の上げ方、手の振り幅等を含む。
(ステップ1)ロボット100は、ユーザ10の状態、ユーザ10の感情値、ロボット100の感情値、履歴データ222を取得する。具体的には、上記ステップS100~S103と同様の処理を行い、ユーザ10の状態、ユーザ10の感情値、ロボット100の感情値、履歴データ222を取得する。
(ステップ2)ロボット100は、歩行のペースやペース配分に関するユーザ10の好みを取得する。
具体的には、行動決定部236は、ユーザ10に対して歩行のペースやペース配分に関する好みを質問する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して歩行のペースやペース配分に関する好みを質問する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報(例えば、ユーザの回答)に基づいて、ユーザ10に対して歩行のペースやペース配分に関する好みを認識する。
具体的には、行動決定部236は、ユーザ10に対して歩行のペースやペース配分に関する好みを質問する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して歩行のペースやペース配分に関する好みを質問する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報(例えば、ユーザの回答)に基づいて、ユーザ10に対して歩行のペースやペース配分に関する好みを認識する。
(ステップ3)ロボット100は、ユーザ10に対して提案する歩行方法を決定する。
具体的には、行動決定部236は、ユーザ10の歩行のペースやペース配分に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「このとき、ユーザにオススメの歩行のペースやペース配分は何?」という固定文を追加して、文章生成モデルに入力し、歩行のペースやペース配分に関するオススメの内容を取得する。このとき、ユーザ10の歩行のペースやペース配分に関する好みだけでなく、ユーザ10の感情や履歴データ222を考慮することにより、ユーザ10に適した補強方法を提案することができる。また、ロボット100の感情を考慮することにより、ロボット100が感情を有していることを、ユーザ10に感じさせることができる。
具体的には、行動決定部236は、ユーザ10の歩行のペースやペース配分に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「このとき、ユーザにオススメの歩行のペースやペース配分は何?」という固定文を追加して、文章生成モデルに入力し、歩行のペースやペース配分に関するオススメの内容を取得する。このとき、ユーザ10の歩行のペースやペース配分に関する好みだけでなく、ユーザ10の感情や履歴データ222を考慮することにより、ユーザ10に適した補強方法を提案することができる。また、ロボット100の感情を考慮することにより、ロボット100が感情を有していることを、ユーザ10に感じさせることができる。
(ステップ4)ロボット100は、ステップ3で決定した歩行方法を、ユーザ10に対して提案し、ユーザ10の反応を取得する。
具体的には、行動決定部236は、ユーザ10に対して歩行方法を提案する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して歩行方法を提案する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報に基づいて、ユーザ10の状態を認識し、感情決定部232は、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ユーザ10の感情を示す感情値を決定する。
行動決定部236は、ユーザ状態認識部230によって認識されたユーザ10の状態、及び、ユーザ10の感情を示す感情値に基づいて、ユーザ10の反応が、ポジティブか否かを判断し、ロボット100の行動として、ユーザ10に対して提案した歩行方法を支援する処理を実行するか、ユーザ10に対して別の歩行方法を提案するかを決定する。
具体的には、行動決定部236は、ユーザ10に対して歩行方法を提案する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して歩行方法を提案する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報に基づいて、ユーザ10の状態を認識し、感情決定部232は、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ユーザ10の感情を示す感情値を決定する。
行動決定部236は、ユーザ状態認識部230によって認識されたユーザ10の状態、及び、ユーザ10の感情を示す感情値に基づいて、ユーザ10の反応が、ポジティブか否かを判断し、ロボット100の行動として、ユーザ10に対して提案した歩行方法を支援する処理を実行するか、ユーザ10に対して別の歩行方法を提案するかを決定する。
(ステップ5-1)ユーザ10の反応がポジティブである場合、ロボット100は、提案した歩行方法を支援する処理を実行する。
具体的には、ロボット100の行動として、ユーザ10に対して提案した歩行方法を支援する処理を実行すると決定した場合に、行動制御部250が、ユーザ10に対して提案した歩行方法の注意点や要領等に関する発話を行う。
具体的には、ロボット100の行動として、ユーザ10に対して提案した歩行方法を支援する処理を実行すると決定した場合に、行動制御部250が、ユーザ10に対して提案した歩行方法の注意点や要領等に関する発話を行う。
(ステップ5-2)ユーザ10の反応がポジティブでない場合、ロボット100が、ユーザ10に対して提案する別の歩行方法を決定する。
具体的には、ロボット100の行動として、ユーザ10に対して別の歩行方法を提案すると決定した場合には、行動決定部236は、ユーザ10に対して歩行のペースやペース配分に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「ユーザにオススメの歩行のペースやペース配分は他にある?」という固定文を追加して、文章生成モデルに入力し、歩行のペースやペース配分に関するオススメの内容を取得する。そして、上記ステップ4へ戻り、ユーザ10に対して提案した歩行方法を支援する処理を実行すると決定するまで、上記のステップ4~ステップ5-2の処理を繰り返す。
具体的には、ロボット100の行動として、ユーザ10に対して別の歩行方法を提案すると決定した場合には、行動決定部236は、ユーザ10に対して歩行のペースやペース配分に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「ユーザにオススメの歩行のペースやペース配分は他にある?」という固定文を追加して、文章生成モデルに入力し、歩行のペースやペース配分に関するオススメの内容を取得する。そして、上記ステップ4へ戻り、ユーザ10に対して提案した歩行方法を支援する処理を実行すると決定するまで、上記のステップ4~ステップ5-2の処理を繰り返す。
このように、ロボット100は、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、ユーザに提案する歩行方法を決定する処理を実行することができる。
以上の実施形態に関し、更に以下の付記を開示する。
(付記1)
ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記行動決定部は、前記文章生成モデルによるユーザとの対話結果に基づいて、ユーザに提案する歩行方法を決定する、
行動制御システム。
(付記2)
前記行動決定部は、前記文章生成モデルによるユーザとの対話結果、及びユーザの感情に基づいて、ユーザに提案する歩行方法を決定する付記1記載の行動制御システム。
(付記3)
前記ロボットは、ぬいぐるみに搭載され、又はぬいぐるみに搭載された制御対象機器に無線又は有線で接続されている付記1又は付記2記載の行動制御システム。
(付記1)
ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記行動決定部は、前記文章生成モデルによるユーザとの対話結果に基づいて、ユーザに提案する歩行方法を決定する、
行動制御システム。
(付記2)
前記行動決定部は、前記文章生成モデルによるユーザとの対話結果、及びユーザの感情に基づいて、ユーザに提案する歩行方法を決定する付記1記載の行動制御システム。
(付記3)
前記ロボットは、ぬいぐるみに搭載され、又はぬいぐるみに搭載された制御対象機器に無線又は有線で接続されている付記1又は付記2記載の行動制御システム。
(その他の実施形態4)
その他の実施形態として、上記のロボット100を、電化製品、コンピュータ、自動車、バイク、玩具等の機器に搭載されたロボットに適用してもよいし、ロボット100が、電化製品、コンピュータ、自動車、バイク、玩具等の機器を制御してもよい。また、ロボット100を、ぬいぐるみに搭載してもよいし、ぬいぐるみに搭載された制御対象機器(例えば、スピーカやカメラ)をロボット100が制御してもよい。ロボット100が制御対象機器を制御する場合では、例えば、ロボット100は無線又は有線で制御対象機器に接続される。
その他の実施形態として、上記のロボット100を、電化製品、コンピュータ、自動車、バイク、玩具等の機器に搭載されたロボットに適用してもよいし、ロボット100が、電化製品、コンピュータ、自動車、バイク、玩具等の機器を制御してもよい。また、ロボット100を、ぬいぐるみに搭載してもよいし、ぬいぐるみに搭載された制御対象機器(例えば、スピーカやカメラ)をロボット100が制御してもよい。ロボット100が制御対象機器を制御する場合では、例えば、ロボット100は無線又は有線で制御対象機器に接続される。
その他の実施形態は具体的には、以下のように構成される。例えば、ロボット100を、衣類を収容する収容具に搭載してもよいし、当該収容具に搭載された制御対象機器(例えば、スピーカやカメラ)をロボット100が制御してもよい。ロボット100が制御対象機器を制御する場合では、例えば、ロボット100は無線又は有線で制御対象機器に接続される。当該収容具としては、例えば、タンス、クローゼット及び衣装ケースなどがある。
ロボット100は、以下のステップ1~ステップ5により、ユーザとの対話に基づいて、衣類の状況又は取り扱いについてユーザへ提示する処理を実行する。具体的には、ロボット100は、以下のステップ1~ステップ5により、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、衣類の状況又は取り扱いについてユーザへ提示する処理を実行する。換言すれば、ロボット100は、ユーザの好み、状況、反応を見ながら会話をしつつ、衣類の状況又は取り扱いについてユーザへ提示する。
(ステップ1)ロボット100は、ユーザ10の状態、ユーザ10の感情値、ロボット100の感情値、履歴データ222を取得する。具体的には、上記ステップS100~S103と同様の処理を行い、ユーザ10の状態、ユーザ10の感情値、ロボット100の感情値、履歴データ222を取得する。
なお、ロボット100は、収容具に設けられた検知部(例えば、カメラを含むセンサ)により、収容具に収容された衣類に関する情報(以下、衣類情報という)を取得してもよい。衣類情報としては、衣類の有無、衣類の種類、衣類が収容された場所、及び衣類の状態(例えば、衣類が畳まれているか否か、衣類が出し入れされた回数等)などがある。
(ステップ2)ロボット100は、衣類に関するユーザ10の好みを取得する。
具体的には、行動決定部236は、ユーザ10に対して衣類に関する好みを質問する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して衣類に関する好みを質問する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報(例えば、ユーザの回答)に基づいて、ユーザ10に対して衣類に関する好みを認識する。衣類に関する好みとしては、例えば、衣類の種類(例えば、フォーマルやカジュアル等)、衣類へのこだわり、衣類の着こなし、衣類の収納方法、衣類のクリーニングの頻度などについての好みが挙げられる。
具体的には、行動決定部236は、ユーザ10に対して衣類に関する好みを質問する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して衣類に関する好みを質問する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報(例えば、ユーザの回答)に基づいて、ユーザ10に対して衣類に関する好みを認識する。衣類に関する好みとしては、例えば、衣類の種類(例えば、フォーマルやカジュアル等)、衣類へのこだわり、衣類の着こなし、衣類の収納方法、衣類のクリーニングの頻度などについての好みが挙げられる。
(ステップ3)ロボット100は、ユーザ10に対して提示する提示内容を決定する。
具体的には、行動決定部236は、ユーザ10の衣類に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「このとき、ユーザにオススメの提示内容は何?」という固定文を追加して、文章生成モデルに入力し、衣類の状況又は取り扱いに関するオススメの提示内容を取得する。このとき、ユーザ10の衣類に関する好みだけでなく、ユーザ10の感情や履歴データ222を考慮することにより、ユーザ10に適した提示内容を提示することができる。また、ロボット100の感情を考慮することにより、ロボット100が感情を有していることを、ユーザ10に感じさせることができる。なお、ロボット100は、衣類情報を取得している場合には、衣類情報を考慮して、提示内容を決定してもよい。提示内容としては、具体的には、例えば、衣類の状況に関する内容、や衣類の取り扱いに関する内容がある。衣類の状況に関する内容としては、例えば、衣類が散らかった状態であるか否か、衣類についてクリーニングが必要か否かの必要性などを示す内容が挙げられる。衣類の取り扱いに関する内容とは、例えば、散らかった衣類を収容具に収容することをユーザ10に促す内容、衣類についてクリーニングを行うことをユーザ10に促す内容などが挙げられる。衣類が散らかった状態とは、例えば、衣類が収容具から出されて、収容具が設置された部屋に衣類が置いたままになっている状態が該当する。
具体的には、行動決定部236は、ユーザ10の衣類に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「このとき、ユーザにオススメの提示内容は何?」という固定文を追加して、文章生成モデルに入力し、衣類の状況又は取り扱いに関するオススメの提示内容を取得する。このとき、ユーザ10の衣類に関する好みだけでなく、ユーザ10の感情や履歴データ222を考慮することにより、ユーザ10に適した提示内容を提示することができる。また、ロボット100の感情を考慮することにより、ロボット100が感情を有していることを、ユーザ10に感じさせることができる。なお、ロボット100は、衣類情報を取得している場合には、衣類情報を考慮して、提示内容を決定してもよい。提示内容としては、具体的には、例えば、衣類の状況に関する内容、や衣類の取り扱いに関する内容がある。衣類の状況に関する内容としては、例えば、衣類が散らかった状態であるか否か、衣類についてクリーニングが必要か否かの必要性などを示す内容が挙げられる。衣類の取り扱いに関する内容とは、例えば、散らかった衣類を収容具に収容することをユーザ10に促す内容、衣類についてクリーニングを行うことをユーザ10に促す内容などが挙げられる。衣類が散らかった状態とは、例えば、衣類が収容具から出されて、収容具が設置された部屋に衣類が置いたままになっている状態が該当する。
(ステップ4)ロボット100は、ステップ3で決定した提示内容を、ユーザ10に対して提示し、ユーザ10の反応を取得する。
具体的には、行動決定部236は、ユーザ10に対して提示内容を提示する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して提示内容を提示する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報に基づいて、ユーザ10の状態を認識し、感情決定部232は、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ユーザ10の感情を示す感情値を決定する。
行動決定部236は、ユーザ状態認識部230によって認識されたユーザ10の状態、及び、ユーザ10の感情を示す感情値に基づいて、ユーザ10の反応が、ポジティブか否かを判断する。
具体的には、行動決定部236は、ユーザ10に対して提示内容を提示する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して提示内容を提示する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報に基づいて、ユーザ10の状態を認識し、感情決定部232は、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ユーザ10の感情を示す感情値を決定する。
行動決定部236は、ユーザ状態認識部230によって認識されたユーザ10の状態、及び、ユーザ10の感情を示す感情値に基づいて、ユーザ10の反応が、ポジティブか否かを判断する。
(ステップ5)ユーザ10の反応がポジティブでない場合、ロボット100が、ユーザ10に対して提示する別の提示内容を決定する。
具体的には、ロボット100の行動として、ユーザ10に対して別の提示内容を提示すると決定した場合には、行動決定部236は、衣類に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「ユーザにオススメの提示内容は他にある?」という固定文を追加して、文章生成モデルに入力し、衣類の状況又は取り扱いに関するオススメの提示内容を取得する。そして、上記ステップ4へ戻り、ユーザ10に対して、当該提示内容を提示し、ユーザ10の反応が、ポジティブであると判断するまで、上記のステップ4~ステップ5の処理を繰り返す。
具体的には、ロボット100の行動として、ユーザ10に対して別の提示内容を提示すると決定した場合には、行動決定部236は、衣類に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「ユーザにオススメの提示内容は他にある?」という固定文を追加して、文章生成モデルに入力し、衣類の状況又は取り扱いに関するオススメの提示内容を取得する。そして、上記ステップ4へ戻り、ユーザ10に対して、当該提示内容を提示し、ユーザ10の反応が、ポジティブであると判断するまで、上記のステップ4~ステップ5の処理を繰り返す。
このように、ロボット100は、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、衣類の状況又は取り扱いについて提示する処理を実行することができる。
以上の実施形態に関し、更に以下の付記を開示する。
(付記1)
ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記行動決定部は、ユーザと前記ロボットとの対話に基づき、衣類の状況又は取り扱いについてユーザへ提示する、
行動制御システム。
(付記2)
前記行動決定部は、ユーザと前記ロボットとの対話に基づいて、衣類のクリーニングの必要性について、前記状況として前記ユーザへ提示する、
付記1に記載の行動制御システム。
(付記3)
前記ロボットは、衣類を収容する収容具に搭載され、又は、衣類を収容する収容具に搭載された制御対象機器を制御する付記1記載の行動制御システム。
(付記4)
前記ロボットは、ぬいぐるみに搭載され、又はぬいぐるみに搭載された制御対象機器を制御する付記1記載の行動制御システム。
(付記1)
ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記行動決定部は、ユーザと前記ロボットとの対話に基づき、衣類の状況又は取り扱いについてユーザへ提示する、
行動制御システム。
(付記2)
前記行動決定部は、ユーザと前記ロボットとの対話に基づいて、衣類のクリーニングの必要性について、前記状況として前記ユーザへ提示する、
付記1に記載の行動制御システム。
(付記3)
前記ロボットは、衣類を収容する収容具に搭載され、又は、衣類を収容する収容具に搭載された制御対象機器を制御する付記1記載の行動制御システム。
(付記4)
前記ロボットは、ぬいぐるみに搭載され、又はぬいぐるみに搭載された制御対象機器を制御する付記1記載の行動制御システム。
(その他の実施形態5)
その他の実施形態として、上記のロボット100を、電化製品、コンピュータ、自動車、バイク、玩具等の機器に搭載されたロボットに適用してもよいし、ロボット100が、電化製品、コンピュータ、自動車、バイク、玩具等の機器を制御してもよい。また、ロボット100を、ぬいぐるみに搭載してもよいし、ぬいぐるみに搭載された制御対象機器(スピーカやカメラ)に無線又は有線で接続された制御装置に適用してもよい。その他の実施形態は具体的には、以下のように構成される。例えば、ロボット100をインターフォンの制御に適用してもよい。
その他の実施形態として、上記のロボット100を、電化製品、コンピュータ、自動車、バイク、玩具等の機器に搭載されたロボットに適用してもよいし、ロボット100が、電化製品、コンピュータ、自動車、バイク、玩具等の機器を制御してもよい。また、ロボット100を、ぬいぐるみに搭載してもよいし、ぬいぐるみに搭載された制御対象機器(スピーカやカメラ)に無線又は有線で接続された制御装置に適用してもよい。その他の実施形態は具体的には、以下のように構成される。例えば、ロボット100をインターフォンの制御に適用してもよい。
ロボット100が制御するインターフォンは、例えば室内に設置される親機と、例えば門先又は玄関先に設置される子機と、を備えている。親機は、応答ボタン、モニタ、マイク、及び、スピーカ等を備えている。子機は、呼び出しボタン、カメラ、マイク、及び、スピーカ等を備えている。親機と子機との間は、無線又は有線により接続されている。また、ロボット100と親機との間、及び、ロボット100と子機との間も、無線又は有線により接続されている。
例えば、訪問客により子機の呼び出しボタンが押下された際、親機において呼び出しがあった旨を通知する。このとき、ロボット100においても、例えば「お客様が来ました」等の発話を行うことにより、呼び出しがあった旨を通知するようにしてもよい。
ロボット100は、以下のステップ1~ステップ5-2により、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、インターフォンの処理内容を決定する処理を実行する。
(ステップ1)ロボット100は、ユーザ10の状態、ユーザ10の感情値、ロボット100の感情値、履歴データ222を取得する。具体的には、上記ステップS100~S103と同様の処理を行い、ユーザ10の状態、ユーザ10の感情値、ロボット100の感情値、履歴データ222を取得する。
(ステップ2)ロボット100は、インターフォンに関するユーザ10の好みを取得する。ここで、「インターフォンに関するユーザ10の好み」とは、インターフォンの動作に関する情報である。
例えば、親機又は子機のスピーカの音量、インターフォンの呼び出し音、LED(Light Emitting Diode)インジケータの色及び光量、モニタの明るさ及びコントラスト等の、インターフォンの動作設定に関する情報であってもよい。
また、ロボット100が親機を介してユーザに話しかける際の態度(例えば、明るい口調でゆっくり話して欲しい等)とか、ロボット100が親機を介してユーザに話しかける際の会話内容(例えば、体調を気遣って欲しい等)等といった、ユーザへの応答内容に関する情報であってもよい。
また、ロボット100が子機を介して訪問客に話しかける際の態度(例えば、親しい訪問客には明るい口調でゆっくり話して欲しい、営業等の望まない訪問客には丁寧な口調で早口で話して欲しい、等)とか、ロボット100が子機を介して訪問客に話しかける際の会話内容(例えば、親しい訪問客にはあいさつして欲しい、営業等の望まない訪問客にはお断りして欲しい、等)等といった、訪問客への応答内容に関する情報であってもよい。
具体的には、行動決定部236は、ユーザ10に対してインターフォンに関する好みを質問する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対してインターフォンに関する好みを質問する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報(例えば、ユーザの回答)に基づいて、ユーザ10に対してインターフォンに関する好みを認識する。
例えば、親機又は子機のスピーカの音量、インターフォンの呼び出し音、LED(Light Emitting Diode)インジケータの色及び光量、モニタの明るさ及びコントラスト等の、インターフォンの動作設定に関する情報であってもよい。
また、ロボット100が親機を介してユーザに話しかける際の態度(例えば、明るい口調でゆっくり話して欲しい等)とか、ロボット100が親機を介してユーザに話しかける際の会話内容(例えば、体調を気遣って欲しい等)等といった、ユーザへの応答内容に関する情報であってもよい。
また、ロボット100が子機を介して訪問客に話しかける際の態度(例えば、親しい訪問客には明るい口調でゆっくり話して欲しい、営業等の望まない訪問客には丁寧な口調で早口で話して欲しい、等)とか、ロボット100が子機を介して訪問客に話しかける際の会話内容(例えば、親しい訪問客にはあいさつして欲しい、営業等の望まない訪問客にはお断りして欲しい、等)等といった、訪問客への応答内容に関する情報であってもよい。
具体的には、行動決定部236は、ユーザ10に対してインターフォンに関する好みを質問する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対してインターフォンに関する好みを質問する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報(例えば、ユーザの回答)に基づいて、ユーザ10に対してインターフォンに関する好みを認識する。
(ステップ3)ロボット100は、ユーザ10に対して提案するインターフォンの処理内容を決定する。なお、インターフォンの処理内容は、例えば、インターフォンの動作設定に関する項目、ユーザへの応答内容に関する項目、訪問客への応答内容に関する項目等、どのような項目の内容であってもよい。
以下では、一例として、ロボット100がユーザに応答する際の態度を決定するものとして説明する。ここで「態度」とは、ロボット100による発話の態様及びジェスチャーの大きさ等に一貫して表れる特徴であり、例えば、明るい態度、暗い態度、元気な態度、落ち着いた態度等、どのような項目としてもよい。また、複数の態度を組み合わせて設定してもよい。この「態度」の内容により、ロボット100は、会話の際の言葉遣い、声に含まれる感情、声の大きさ、発話の早さ、及び、ジェスチャーの大きさ等を変化させる。
具体的には、行動決定部236は、ユーザ10の態度に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「このとき、ユーザにオススメの態度は何?」という固定文を追加して、文章生成モデルに入力し、態度に関するオススメの内容を取得する。このとき、ユーザ10の態度に関する好みだけでなく、ユーザ10の感情や履歴データ222を考慮することにより、ユーザ10に適した態度を提案することができる。また、ロボット100の感情を考慮することにより、ロボット100が感情を有していることを、ユーザ10に感じさせることができる。
以下では、一例として、ロボット100がユーザに応答する際の態度を決定するものとして説明する。ここで「態度」とは、ロボット100による発話の態様及びジェスチャーの大きさ等に一貫して表れる特徴であり、例えば、明るい態度、暗い態度、元気な態度、落ち着いた態度等、どのような項目としてもよい。また、複数の態度を組み合わせて設定してもよい。この「態度」の内容により、ロボット100は、会話の際の言葉遣い、声に含まれる感情、声の大きさ、発話の早さ、及び、ジェスチャーの大きさ等を変化させる。
具体的には、行動決定部236は、ユーザ10の態度に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「このとき、ユーザにオススメの態度は何?」という固定文を追加して、文章生成モデルに入力し、態度に関するオススメの内容を取得する。このとき、ユーザ10の態度に関する好みだけでなく、ユーザ10の感情や履歴データ222を考慮することにより、ユーザ10に適した態度を提案することができる。また、ロボット100の感情を考慮することにより、ロボット100が感情を有していることを、ユーザ10に感じさせることができる。
(ステップ4)ロボット100は、ステップ3で決定した態度を、ユーザ10に対して提案し、ユーザ10の反応を取得する。具体的には、行動決定部236は、ユーザ10に対して態度を提案する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して態度を提案する発話を行う。態度を提案する発話は、例えば「明るく元気に対応しますけど、いいですか?」等の発話である。
ユーザ状態認識部230は、センサモジュール部210で解析された情報に基づいて、ユーザ10の状態を認識し、感情決定部232は、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ユーザ10の感情を示す感情値を決定する。
行動決定部236は、ユーザ状態認識部230によって認識されたユーザ10の状態、及び、ユーザ10の感情を示す感情値に基づいて、ユーザ10の反応が、ポジティブか否かを判断し、ロボット100の行動として、ユーザ10に対して提案した態度による処理を実行するか、ユーザ10に対して別の態度を提案するかを決定する。
ユーザ状態認識部230は、センサモジュール部210で解析された情報に基づいて、ユーザ10の状態を認識し、感情決定部232は、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ユーザ10の感情を示す感情値を決定する。
行動決定部236は、ユーザ状態認識部230によって認識されたユーザ10の状態、及び、ユーザ10の感情を示す感情値に基づいて、ユーザ10の反応が、ポジティブか否かを判断し、ロボット100の行動として、ユーザ10に対して提案した態度による処理を実行するか、ユーザ10に対して別の態度を提案するかを決定する。
(ステップ5-1)ユーザ10の反応がポジティブである場合、ロボット100は、提案した態度による処理を実行する。具体的には、ロボット100の行動として、ユーザ10に対して提案した態度による処理を実行すると決定した場合に、行動制御部250が、ユーザ10に対して提案した態度による処理(例えば、明るく元気な態度による会話)を実行するように、制御対象252であるインターフォンを制御する。
(ステップ5-2)ユーザ10の反応がポジティブでない場合、ロボット100が、ユーザ10に対して提案する別の態度を決定する。具体的には、ロボット100の行動として、ユーザ10に対して別の態度を提案すると決定した場合には、行動決定部236は、ユーザ10に対して態度に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「ユーザにオススメの態度は他にある?」という固定文を追加して、文章生成モデルに入力し、態度に関するオススメの内容を取得する。そして、上記ステップ4へ戻り、ユーザ10に対して提案した態度による処理を実行すると決定するまで、上記のステップ4~ステップ5-2の処理を繰り返す。
このように、ロボット100は、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、インターフォンの処理内容を決定する処理を実行することができる。
以上の実施形態に関し、更に以下の付記を開示する。
(付記1)
ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記行動決定部は、ユーザの感情又はロボットの感情に基づいて、インターフォンの処理内容を決定する
行動制御システム。
(付記2)
前記行動決定部は、ユーザの感情又はロボットの感情に基づいて、前記インターフォンの動作設定、ユーザへの応答内容、及び、訪問客への応答内容のうちの少なくとも1つを変化させる
付記1記載の行動制御システム。
(付記3)
前記ロボットは、ぬいぐるみに搭載され、又はぬいぐるみに搭載された制御対象機器に無線又は有線で接続されている
付記1又は2記載の行動制御システム。
(付記1)
ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記行動決定部は、ユーザの感情又はロボットの感情に基づいて、インターフォンの処理内容を決定する
行動制御システム。
(付記2)
前記行動決定部は、ユーザの感情又はロボットの感情に基づいて、前記インターフォンの動作設定、ユーザへの応答内容、及び、訪問客への応答内容のうちの少なくとも1つを変化させる
付記1記載の行動制御システム。
(付記3)
前記ロボットは、ぬいぐるみに搭載され、又はぬいぐるみに搭載された制御対象機器に無線又は有線で接続されている
付記1又は2記載の行動制御システム。
(その他の実施形態6)
その他の実施形態として、上記のロボット100を、電化製品、コンピュータ、自動車、バイク、玩具等の機器に搭載されたロボットに適用してもよいし、ロボット100が、電化製品、コンピュータ、自動車、バイク、玩具等の機器を制御してもよい。また、ロボット100を、ぬいぐるみに搭載してもよいし、ぬいぐるみに搭載された制御対象機器(スピーカやカメラ)に無線又は有線で接続された制御装置に適用してもよい。その他の実施形態は具体的には、以下のように構成される。例えば、ロボット100をマットレス制御に適用してもよい。
その他の実施形態として、上記のロボット100を、電化製品、コンピュータ、自動車、バイク、玩具等の機器に搭載されたロボットに適用してもよいし、ロボット100が、電化製品、コンピュータ、自動車、バイク、玩具等の機器を制御してもよい。また、ロボット100を、ぬいぐるみに搭載してもよいし、ぬいぐるみに搭載された制御対象機器(スピーカやカメラ)に無線又は有線で接続された制御装置に適用してもよい。その他の実施形態は具体的には、以下のように構成される。例えば、ロボット100をマットレス制御に適用してもよい。
ロボット100が制御するマットレスは、マットレス本体、マットレス本体の温度を調整可能な温度調整機構及びマットレス本体の硬度を調整可能な硬度調整機構を備えている。マットレス本体は、ユーザが横臥する寝具である。マットレス本体としては、ボンネルコイルマットレス、ポケットコイルマットレス、ウレタンマットレス及びラテックスマットレス等、各種の形式を採用することができる。また、マットレス本体は、一人のユーザが横臥するものであってもよいし、複数のユーザが同時に横臥するものであってもよい。
温度調整機構は、一例として、マットレス本体の表面に敷かれるシート状のヒータである。このヒータは、マットレス本体の略全面に亘って配置され、複数の部分毎に個別に温度を調節(加温)することができる。例えばマットレス本体のサイズが、二人のユーザが同時に横臥可能なものである場合、ヒータは、マットレス本体の左右の温度を個別に調整できるものとすることができる。
また、ヒータは、マットレス本体に横臥するユーザの人数に関わらず、マット本体の上部、下部及び中央部(すなわち、上部と下部との間)の温度を個別に調整できるものとすることができる。マットレス本体の上部は、例えば横臥するユーザの頭部が配置される場所である。マットレス本体の下部は、例えば横臥するユーザの脚部が配置される場所である。マットレス本体の中央部は、例えば横臥するユーザの腰や腹部が配置される場所である。
なお、温度調整機構としては、ヒータに加えて、例えば水冷式等の冷却装置を備えていてもよい。また、温度調整機構としては、マットレス本体が設置された室の空調機を用いてもよい。この場合、マットレス本体に空気室を設け、ダクトを介して空調空気を空気室へ導入してもよい。この空気室へ導入された空調空気により、マットレス本体を加温又は冷却できる。あるいは、空気室に吹出口を設けて、マットレス本体に横臥するユーザに向かって空調空気を放出してもよい。
硬度調整機構は、マットレス本体と組み合わせて用いられる。硬度調整機構は、例えば可撓性を有する袋状の密閉容器及び空気移動装置である。空気移動装置は、密閉容器の内部に空気を供給したり、密閉容器の内部から空気を吸引したりできる。
硬度調整機構の構成は、マットレス本体の形式に応じて適宜変更することができる。例えばマットレス本体がボンネルコイルマットレスやポケットコイルマットレスの場合、密閉容器の内部にコイルを封入する。この状態で密閉容器に空気を供給すると内圧が高まり、マットレス本体の硬度を大きくすることができる。一方、密閉容器から空気を吸引しても、コイルが圧縮されて、マットレス本体の硬度を大きくすることができる。
また、例えばマットレス本体がウレタンマットレスの場合、密閉容器の内部にウレタンを封入する。この状態で密閉容器に空気を供給すると内圧が高まり、マットレス本体の硬度が大きくなる。一方、密閉容器から空気を吸引しても、マットレス本体が圧縮されて硬度が大きくなる。このように、空気を供給するか吸引するかによって、マットレス本体の硬度を大きくする原理が異なるので、横臥するユーザの好みに応じた環境を提供できる。
ロボット100は、以下のステップ1~ステップ5-2により、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、マットレス本体の温度及び硬度を調整する処理を実行する。
(ステップ1)ロボット100は、ユーザ10の状態、ユーザ10の感情値、ロボット100の感情値、履歴データ222を取得する。具体的には、上記ステップS100~S103と同様の処理を行い、ユーザ10の状態、ユーザ10の感情値、ロボット100の感情値、履歴データ222を取得する。
(ステップ2)ロボット100は、マットレス本体の温度及び硬度に関するユーザ10の好みを取得する。
具体的には、行動決定部236は、ユーザ10に対してマットレス本体の温度及び硬度に関する好みを質問する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対してマットレス本体の温度及び硬度に関する好みを質問する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報(例えば、ユーザの回答)に基づいて、ユーザ10に対してマットレス本体の温度及び硬度に関する好みを認識する。
具体的には、行動決定部236は、ユーザ10に対してマットレス本体の温度及び硬度に関する好みを質問する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対してマットレス本体の温度及び硬度に関する好みを質問する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報(例えば、ユーザの回答)に基づいて、ユーザ10に対してマットレス本体の温度及び硬度に関する好みを認識する。
(ステップ3)ロボット100は、ユーザ10に対して提案するマットレス本体の温度及び硬度を決定する。
具体的には、行動決定部236は、ユーザ10のマットレス本体の温度及び硬度に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「このとき、ユーザにオススメのマットレス本体の温度及び硬度は何?」という固定文を追加して、文章生成モデルに入力し、マットレス本体の温度及び硬度に関するオススメの内容を取得する。このとき、ユーザ10のマットレス本体の温度及び硬度に関する好みだけでなく、ユーザ10の感情や履歴データ222を考慮することにより、ユーザ10に適した睡眠環境を提案することができる。また、ロボット100の感情を考慮することにより、ロボット100が感情を有していることを、ユーザ10に感じさせることができる。
具体的には、行動決定部236は、ユーザ10のマットレス本体の温度及び硬度に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「このとき、ユーザにオススメのマットレス本体の温度及び硬度は何?」という固定文を追加して、文章生成モデルに入力し、マットレス本体の温度及び硬度に関するオススメの内容を取得する。このとき、ユーザ10のマットレス本体の温度及び硬度に関する好みだけでなく、ユーザ10の感情や履歴データ222を考慮することにより、ユーザ10に適した睡眠環境を提案することができる。また、ロボット100の感情を考慮することにより、ロボット100が感情を有していることを、ユーザ10に感じさせることができる。
(ステップ4)ロボット100は、ステップ3で決定したマットレス本体の温度及び硬度を、ユーザ10に対して提案し、ユーザ10の反応を取得する。
具体的には、行動決定部236は、ユーザ10に対してマットレス本体の温度及び硬度を提案する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対してマットレス本体の温度及び硬度を提案する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報に基づいて、ユーザ10の状態を認識し、感情決定部232は、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ユーザ10の感情を示す感情値を決定する。
行動決定部236は、ユーザ状態認識部230によって認識されたユーザ10の状態、及び、ユーザ10の感情を示す感情値に基づいて、ユーザ10の反応が、ポジティブか否かを判断し、ロボット100の行動として、ユーザ10に対して提案したマットレス本体の温度及び硬度に調整する処理を実行するか、ユーザ10に対して別の温度及び硬度を提案するかを決定する。
具体的には、行動決定部236は、ユーザ10に対してマットレス本体の温度及び硬度を提案する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対してマットレス本体の温度及び硬度を提案する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報に基づいて、ユーザ10の状態を認識し、感情決定部232は、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ユーザ10の感情を示す感情値を決定する。
行動決定部236は、ユーザ状態認識部230によって認識されたユーザ10の状態、及び、ユーザ10の感情を示す感情値に基づいて、ユーザ10の反応が、ポジティブか否かを判断し、ロボット100の行動として、ユーザ10に対して提案したマットレス本体の温度及び硬度に調整する処理を実行するか、ユーザ10に対して別の温度及び硬度を提案するかを決定する。
(ステップ5-1)ユーザ10の反応がポジティブである場合、ロボット100は、提案した温度及び硬度に、マットレス本体の温度及び硬度を調整する処理を実行する。
具体的には、ロボット100の行動として、ユーザ10に対して提案した温度及び硬度に、マットレス本体の温度及び硬度を調整する処理を実行すると決定した場合に、行動制御部250が、ユーザ10に対して提案した温度及び硬度に、マットレス本体の温度及び硬度を調整するように、制御対象252である温度調整機構及び硬度調整機構を制御する。
具体的には、ロボット100の行動として、ユーザ10に対して提案した温度及び硬度に、マットレス本体の温度及び硬度を調整する処理を実行すると決定した場合に、行動制御部250が、ユーザ10に対して提案した温度及び硬度に、マットレス本体の温度及び硬度を調整するように、制御対象252である温度調整機構及び硬度調整機構を制御する。
(ステップ5-2)ユーザ10の反応がポジティブでない場合、ロボット100が、ユーザ10に対して提案する別の温度及び硬度を決定する。
具体的には、ロボット100の行動として、ユーザ10に対して別の温度及び硬度を提案すると決定した場合には、行動決定部236は、ユーザ10に対してマットレス本体の温度及び硬度に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「ユーザにオススメのマットレス本体の温度及び硬度は他にある?」という固定文を追加して、文章生成モデルに入力し、マットレス本体の温度及び硬度に関するオススメの内容を取得する。そして、上記ステップ4へ戻り、ユーザ10に対して提案した温度及び硬度に、マットレス本体の温度及び硬度を調整する処理を実行すると決定するまで、上記のステップ4~ステップ5-2の処理を繰り返す。
具体的には、ロボット100の行動として、ユーザ10に対して別の温度及び硬度を提案すると決定した場合には、行動決定部236は、ユーザ10に対してマットレス本体の温度及び硬度に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「ユーザにオススメのマットレス本体の温度及び硬度は他にある?」という固定文を追加して、文章生成モデルに入力し、マットレス本体の温度及び硬度に関するオススメの内容を取得する。そして、上記ステップ4へ戻り、ユーザ10に対して提案した温度及び硬度に、マットレス本体の温度及び硬度を調整する処理を実行すると決定するまで、上記のステップ4~ステップ5-2の処理を繰り返す。
このように、ロボット100は、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、マットレス本体の温度及び硬度を調整する処理を実行することができる。
なお、ロボット100は、ユーザ状態としてのユーザの睡眠状態を検知するセンサを備えていてもよい。センサとしては、ユーザの体の動きからユーザが睡眠しているか否かを検知するセンサや、ユーザの心拍数や脈拍等からユーザが睡眠しているか否かを検知するセンサ等を用いることができる。このようなセンサは、ユーザが着用するウェアラブル端末に備えることもできる。ロボット100のセンサが、ユーザの入眠を検知すると、ロボット100は、マットレス本体の温度及び硬度が、ユーザにとって快適な状態であるとして、当該温度及び硬度を保持する。又は、睡眠の深さに応じて、マットレス本体の温度及び硬度を変更してもよい。
なお、マットレスは、温度調整機構及び硬度調整機構の双方ではなく、何れか一方を備えているものとしてもよい。この場合、上記のステップにおいて、ロボット100は、マットレス本体の温度及び硬度の何れか一方を調整する。
以上の実施形態に関し、更に以下の付記を開示する。
(付記1)
ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記行動決定部は、マットレスの温度及び弾力の少なくとも一方を調整可能である、
行動制御システム。
(付記2)
前記行動決定部は、前記マットレスの部分毎に個別に温度を調整可能である、付記1に記載の行動制御システム。
(付記3)
前記行動決定部は、前記マットレスの部分毎に個別に弾力を調整可能である、付記1又は付記2に記載の行動制御システム。
(付記4)
前記行動決定部は、前記ユーザ状態に応じて前記温度及び弾力を保持する、付記1に記載の行動制御システム。
(付記5)
前記ロボットは、ぬいぐるみに搭載され、またはぬいぐるみに搭載された制御対象機器に無線又は有線で接続されている、付記1に記載の行動制御システム。
(付記1)
ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記行動決定部は、マットレスの温度及び弾力の少なくとも一方を調整可能である、
行動制御システム。
(付記2)
前記行動決定部は、前記マットレスの部分毎に個別に温度を調整可能である、付記1に記載の行動制御システム。
(付記3)
前記行動決定部は、前記マットレスの部分毎に個別に弾力を調整可能である、付記1又は付記2に記載の行動制御システム。
(付記4)
前記行動決定部は、前記ユーザ状態に応じて前記温度及び弾力を保持する、付記1に記載の行動制御システム。
(付記5)
前記ロボットは、ぬいぐるみに搭載され、またはぬいぐるみに搭載された制御対象機器に無線又は有線で接続されている、付記1に記載の行動制御システム。
(その他の実施形態7)
その他の実施形態として、上記のロボット100を、電化製品、コンピュータ、自動車、バイク、玩具等の機器に搭載されたロボットに適用してもよいし、ロボット100が、電化製品、コンピュータ、自動車、バイク、玩具等の機器を制御してもよい。また、ロボット100を、ぬいぐるみに搭載してもよいし、ぬいぐるみに搭載された制御対象機器(スピーカやカメラ)に無線又は有線で接続された制御装置に適用してもよい。また、ロボット100が搭載された機器をぬいぐるみに搭載してもよいし、ぬいぐるみに搭載された制御対象機器(スピーカやカメラ)に無線又は有線で接続された制御装置にロボット100を接続してもよい。その他の実施形態は具体的には、以下のように構成される。例えば、ロボット100をマッサージチェアに適用してもよい。
その他の実施形態として、上記のロボット100を、電化製品、コンピュータ、自動車、バイク、玩具等の機器に搭載されたロボットに適用してもよいし、ロボット100が、電化製品、コンピュータ、自動車、バイク、玩具等の機器を制御してもよい。また、ロボット100を、ぬいぐるみに搭載してもよいし、ぬいぐるみに搭載された制御対象機器(スピーカやカメラ)に無線又は有線で接続された制御装置に適用してもよい。また、ロボット100が搭載された機器をぬいぐるみに搭載してもよいし、ぬいぐるみに搭載された制御対象機器(スピーカやカメラ)に無線又は有線で接続された制御装置にロボット100を接続してもよい。その他の実施形態は具体的には、以下のように構成される。例えば、ロボット100をマッサージチェアに適用してもよい。
マッサージチェアとしてのロボット100は、ユーザの体を保持するリクライニング機能を備えた椅子本体部と、椅子本体部に保持されたユーザの、肩、首、背中、腰、脚部、腕部等の各種部位をマッサージするマッサージ機構等を備えている。
ロボット100は、以下のステップ1~ステップ5-2により、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、マッサージチェアのもみ加減、マッサージコース、マッサージ時間、及び、マッサージ部位のうちの少なくとも1つの設定を変化させる処理を実行する。
(ステップ1)ロボット100は、ユーザ10の状態、ユーザ10の感情値、ロボット100の感情値、履歴データ222を取得する。具体的には、上記ステップS100~S103と同様の処理を行い、ユーザ10の状態、ユーザ10の感情値、ロボット100の感情値、履歴データ222を取得する。
(ステップ2)ロボット100は、マッサージに関するユーザ10の好みを取得する。
具体的には、行動決定部236は、ユーザ10に対してマッサージに関する好みを質問する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対してマッサージに関する好みを質問する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報(例えば、ユーザの回答)に基づいて、ユーザ10に対してマッサージに関する好みを認識する。例えば、ロボット100は、ユーザ10に対して、「体のどの部分が凝っていますか?」とか、「マッサージは強めの方が好きですか?それとも弱めの方が好きですか?」というような質問を発話する。そして、ロボット100は、ユーザ10からの、「今日は肩が凝っています。」とか、「今日はふくらはぎが疲れています。」等の回答に基づいて、ユーザ10のマッサージに関する好みを認識する。
具体的には、行動決定部236は、ユーザ10に対してマッサージに関する好みを質問する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対してマッサージに関する好みを質問する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報(例えば、ユーザの回答)に基づいて、ユーザ10に対してマッサージに関する好みを認識する。例えば、ロボット100は、ユーザ10に対して、「体のどの部分が凝っていますか?」とか、「マッサージは強めの方が好きですか?それとも弱めの方が好きですか?」というような質問を発話する。そして、ロボット100は、ユーザ10からの、「今日は肩が凝っています。」とか、「今日はふくらはぎが疲れています。」等の回答に基づいて、ユーザ10のマッサージに関する好みを認識する。
(ステップ3)ロボット100は、ユーザ10に対して提案するマッサージチェアのもみ加減(強弱)、マッサージ時間、マッサージ部位、マッサージコース(以下、マッサージコース等と称する。)を決定する。
具体的には、行動決定部236は、ユーザ10のマッサージに関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「このとき、ユーザにオススメのマッサージは何?」という固定文を追加して、文章生成モデルに入力し、マッサージに関するオススメの内容を取得する。このとき、ユーザ10のマッサージに関する好みだけでなく、ユーザ10の感情や履歴データ222を考慮することにより、その時のユーザ10の感情に適したマッサージコース等を提案することができる。また、ロボット100の感情を考慮することにより、ロボット100が感情を有していることを、ユーザ10に感じさせることができる。例えば、ロボット100は、ユーザ10のマッサージの希望が肩もみコースだとしても、ユーザ10を元気付けた方が良いと判定した場合には、さらに全身コースを追加することを提案するような制御を行う。
具体的には、行動決定部236は、ユーザ10のマッサージに関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「このとき、ユーザにオススメのマッサージは何?」という固定文を追加して、文章生成モデルに入力し、マッサージに関するオススメの内容を取得する。このとき、ユーザ10のマッサージに関する好みだけでなく、ユーザ10の感情や履歴データ222を考慮することにより、その時のユーザ10の感情に適したマッサージコース等を提案することができる。また、ロボット100の感情を考慮することにより、ロボット100が感情を有していることを、ユーザ10に感じさせることができる。例えば、ロボット100は、ユーザ10のマッサージの希望が肩もみコースだとしても、ユーザ10を元気付けた方が良いと判定した場合には、さらに全身コースを追加することを提案するような制御を行う。
(ステップ4)ロボット100は、ステップ3で決定したマッサージコース等を、ユーザ10に対して提案し、ユーザ10の反応を取得する。
具体的には、行動決定部236は、ユーザ10に対して選択したマッサージコース等を提案する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して選択したマッサージコース等を提案する発話を行う。
ユーザ状態認識部230は、センサモジュール部210で解析された情報に基づいて、ユーザ10の状態を認識し、感情決定部232は、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ユーザ10の感情を示す感情値を決定する。
行動決定部236は、ユーザ状態認識部230によって認識されたユーザ10の状態、及び、ユーザ10の感情を示す感情値に基づいて、ユーザ10の反応が、ポジティブか否かを判断し、ロボット100の行動として、ユーザ10に対して提案したマッサージコースを確定するか、ユーザ10に対して別のマッサージコース等を提案するかを決定する。
具体的には、行動決定部236は、ユーザ10に対して選択したマッサージコース等を提案する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して選択したマッサージコース等を提案する発話を行う。
ユーザ状態認識部230は、センサモジュール部210で解析された情報に基づいて、ユーザ10の状態を認識し、感情決定部232は、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ユーザ10の感情を示す感情値を決定する。
行動決定部236は、ユーザ状態認識部230によって認識されたユーザ10の状態、及び、ユーザ10の感情を示す感情値に基づいて、ユーザ10の反応が、ポジティブか否かを判断し、ロボット100の行動として、ユーザ10に対して提案したマッサージコースを確定するか、ユーザ10に対して別のマッサージコース等を提案するかを決定する。
(ステップ5-1)ユーザ10の反応がポジティブである場合、ロボット100は、提案したマッサージコースをマッサージチェアに実行させる処理を実行する。
具体的には、ロボット100の行動として、ユーザ10に対して提案したマッサージコース等を実行すると決定した場合に、行動制御部250が、ユーザ10に対して提案したマッサージコース等が実行されるように、制御対象252であるマッサージチェアを制御する。
具体的には、ロボット100の行動として、ユーザ10に対して提案したマッサージコース等を実行すると決定した場合に、行動制御部250が、ユーザ10に対して提案したマッサージコース等が実行されるように、制御対象252であるマッサージチェアを制御する。
(ステップ5-2)ユーザ10の反応がポジティブでない場合、ロボット100が、ユーザ10に対して提案する別のマッサージコース等を決定する。
具体的には、ロボット100の行動として、ユーザ10に対して別のマッサージコース等を提案すると決定した場合には、行動決定部236は、ユーザ10に対してマッサージに関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「ユーザにオススメのマッサージは他にある?」という固定文を追加して、文章生成モデルに入力し、マッサージに関するオススメの内容を取得する。そして、上記ステップ4へ戻り、ユーザ10に対して提案したマッサージコース等を実行すると決定するまで、上記のステップ4~ステップ5-2の処理を繰り返す。
具体的には、ロボット100の行動として、ユーザ10に対して別のマッサージコース等を提案すると決定した場合には、行動決定部236は、ユーザ10に対してマッサージに関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「ユーザにオススメのマッサージは他にある?」という固定文を追加して、文章生成モデルに入力し、マッサージに関するオススメの内容を取得する。そして、上記ステップ4へ戻り、ユーザ10に対して提案したマッサージコース等を実行すると決定するまで、上記のステップ4~ステップ5-2の処理を繰り返す。
このように、ロボット100は、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、マッサージチェアにおいて実行するマッサージコース等を選択して、選択したマッサージコース等が実行されるようにマッサージチェアを制御する処理を実行することができる。
なお、行動決定部236は、ユーザ10の感情又はロボット100の感情に基づいて、マッサージチェアにおけるマッサージコース等を変化させるような場合について説明したが、マッサージコース等だけではなくマッサージに関する様々な設定を変化させてもよい。つまり、行動決定部236は、ユーザ10の感情又はロボット100の感情に基づいてマッサージチェアのもみ加減(強弱)、マッサージ時間、マッサージ部位等の様々な設定を変化させてマッサージチェアを制御するようにしてもよい。
以上の実施形態に関し、更に以下の付記を開示する。
(付記1)
ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能に基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記ロボットは、マッサージチェアに搭載されており、
前記行動決定部は、ユーザの感情又はロボットの感情に基づいて前記マッサージチェアのもみ加減、マッサージコース、マッサージ時間、及び、マッサージ部位のうちの少なくとも1つの設定を変化させる、
行動制御システム。
(付記2)
前記マッサージチェアは、ぬいぐるみに搭載された制御対象機器に無線又は有線で接続されている付記1記載の行動制御システム。
(付記1)
ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能に基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記ロボットは、マッサージチェアに搭載されており、
前記行動決定部は、ユーザの感情又はロボットの感情に基づいて前記マッサージチェアのもみ加減、マッサージコース、マッサージ時間、及び、マッサージ部位のうちの少なくとも1つの設定を変化させる、
行動制御システム。
(付記2)
前記マッサージチェアは、ぬいぐるみに搭載された制御対象機器に無線又は有線で接続されている付記1記載の行動制御システム。
(その他の実施形態8)
その他の実施形態として、上記のロボット100を、電化製品、コンピュータ、自動車、バイク、玩具等の機器に搭載されたロボットに適用してもよいし、ロボット100が、電化製品、コンピュータ、自動車、バイク、玩具等の機器を制御してもよい。また、ロボット100を、ぬいぐるみに搭載してもよいし、ぬいぐるみに搭載された制御対象機器(スピーカやカメラ)に無線又は有線で接続された制御装置に適用してもよい。その他の実施形態は具体的には、以下のように構成される。例えば、ロボット100をヘッドマウントディスプレイの制御に適用してもよい。
その他の実施形態として、上記のロボット100を、電化製品、コンピュータ、自動車、バイク、玩具等の機器に搭載されたロボットに適用してもよいし、ロボット100が、電化製品、コンピュータ、自動車、バイク、玩具等の機器を制御してもよい。また、ロボット100を、ぬいぐるみに搭載してもよいし、ぬいぐるみに搭載された制御対象機器(スピーカやカメラ)に無線又は有線で接続された制御装置に適用してもよい。その他の実施形態は具体的には、以下のように構成される。例えば、ロボット100をヘッドマウントディスプレイの制御に適用してもよい。
ロボット100が制御するヘッドマウントディスプレイは、ディスプレイ、スピーカ、及び、コンテンツ再生部等を備えている。ロボット100とヘッドマウントディスプレイとの間は、無線又は有線により接続されている。
ロボット100は、以下のステップ1~ステップ5-2により、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、ヘッドマウントディスプレイの処理内容を決定する処理を実行する。
(ステップ1)ロボット100は、ユーザ10の状態、ユーザ10の感情値、ロボット100の感情値、履歴データ222を取得する。具体的には、上記ステップS100~S103と同様の処理を行い、ユーザ10の状態、ユーザ10の感情値、ロボット100の感情値、履歴データ222を取得する。
(ステップ2)ロボット100は、ヘッドマウントディスプレイに関するユーザ10の好みを取得する。ここで、「ヘッドマウントディスプレイに関するユーザ10の好み」とは、例えば、画質、音質、及び、ヘッドマウントディスプレイにおいて再生するコンテンツ等に関する情報である。
具体的には、行動決定部236は、ユーザ10に対してヘッドマウントディスプレイに関する好みを質問する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対してヘッドマウントディスプレイに関する好みを質問する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報(例えば、ユーザの回答)に基づいて、ユーザ10に対してヘッドマウントディスプレイに関する好みを認識する。
具体的には、行動決定部236は、ユーザ10に対してヘッドマウントディスプレイに関する好みを質問する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対してヘッドマウントディスプレイに関する好みを質問する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報(例えば、ユーザの回答)に基づいて、ユーザ10に対してヘッドマウントディスプレイに関する好みを認識する。
(ステップ3)ロボット100は、ユーザ10に対して提案するヘッドマウントディスプレイの処理内容を決定する。なお、ヘッドマウントディスプレイの処理内容は、例えば、ヘッドマウントディスプレイの動作時間、画質、音質、及び、ヘッドマウントディスプレイにおいて再生するコンテンツのうちの少なくとも1つを変化させる処理である。
ここで、ヘッドマウントディスプレイの動作時間とは、ヘッドマウントディスプレイの電源を強制的にオフにするまでの時間である。例えば、動作時間は、ヘッドマウントディスプレイの電源がオンになった段階から電源をオフにするまでの時間としてもよいし、ユーザによるヘッドマウントディスプレイの連続使用時間が設定された閾値を超えた段階から電源をオフにするまでの時間としてもよい。
また、ヘッドマウントディスプレイの画質とは、例えば、ディスプレイの輝度及びコントラスト等の特性である。また、ヘッドマウントディスプレイの音質とは、例えば、再生音の音量及び周波数特性等の特性である。
以下では、一例として、ロボット100がヘッドマウントディスプレイの画質を決定するものとして説明する。
具体的には、行動決定部236は、ユーザ10の画質に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「このとき、ユーザにオススメの画質は何?」という固定文を追加して、文章生成モデルに入力し、画質に関するオススメの内容を取得する。このとき、ユーザ10の画質に関する好みだけでなく、ユーザ10の感情や履歴データ222を考慮することにより、ユーザ10に適した画質を提案することができる。また、ロボット100の感情を考慮することにより、ロボット100が感情を有していることを、ユーザ10に感じさせることができる。
ここで、ヘッドマウントディスプレイの動作時間とは、ヘッドマウントディスプレイの電源を強制的にオフにするまでの時間である。例えば、動作時間は、ヘッドマウントディスプレイの電源がオンになった段階から電源をオフにするまでの時間としてもよいし、ユーザによるヘッドマウントディスプレイの連続使用時間が設定された閾値を超えた段階から電源をオフにするまでの時間としてもよい。
また、ヘッドマウントディスプレイの画質とは、例えば、ディスプレイの輝度及びコントラスト等の特性である。また、ヘッドマウントディスプレイの音質とは、例えば、再生音の音量及び周波数特性等の特性である。
以下では、一例として、ロボット100がヘッドマウントディスプレイの画質を決定するものとして説明する。
具体的には、行動決定部236は、ユーザ10の画質に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「このとき、ユーザにオススメの画質は何?」という固定文を追加して、文章生成モデルに入力し、画質に関するオススメの内容を取得する。このとき、ユーザ10の画質に関する好みだけでなく、ユーザ10の感情や履歴データ222を考慮することにより、ユーザ10に適した画質を提案することができる。また、ロボット100の感情を考慮することにより、ロボット100が感情を有していることを、ユーザ10に感じさせることができる。
(ステップ4)ロボット100は、ステップ3で決定した画質を、ユーザ10に対して提案し、ユーザ10の反応を取得する。具体的には、行動決定部236は、ユーザ10に対して画質を提案する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して画質を提案する発話を行う。画質の提案については、ヘッドマウントディスプレイの画質を提案する画質に変化させた上で、例えば「現在の明るさとコントラストでよろしいですか?」等の発話を行えばよい。
ユーザ状態認識部230は、センサモジュール部210で解析された情報に基づいて、ユーザ10の状態を認識し、感情決定部232は、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ユーザ10の感情を示す感情値を決定する。
行動決定部236は、ユーザ状態認識部230によって認識されたユーザ10の状態、及び、ユーザ10の感情を示す感情値に基づいて、ユーザ10の反応が、ポジティブか否かを判断し、ロボット100の行動として、ユーザ10に対して提案した画質を設定する処理を実行するか、ユーザ10に対して別の画質を提案するかを決定する。
ユーザ状態認識部230は、センサモジュール部210で解析された情報に基づいて、ユーザ10の状態を認識し、感情決定部232は、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ユーザ10の感情を示す感情値を決定する。
行動決定部236は、ユーザ状態認識部230によって認識されたユーザ10の状態、及び、ユーザ10の感情を示す感情値に基づいて、ユーザ10の反応が、ポジティブか否かを判断し、ロボット100の行動として、ユーザ10に対して提案した画質を設定する処理を実行するか、ユーザ10に対して別の画質を提案するかを決定する。
(ステップ5-1)ユーザ10の反応がポジティブである場合、ロボット100は、提案した画質を設定する処理を実行する。具体的には、ロボット100の行動として、ユーザ10に対して提案した画質を設定する処理を実行すると決定した場合に、行動制御部250が、ユーザ10に対して提案した画質を設定する処理を実行するように、制御対象252であるヘッドマウントディスプレイを制御する。
(ステップ5-2)ユーザ10の反応がポジティブでない場合、ロボット100が、ユーザ10に対して提案する別の画質を決定する。具体的には、ロボット100の行動として、ユーザ10に対して別の画質を提案すると決定した場合には、行動決定部236は、ユーザ10に対して画質に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「ユーザにオススメの画質は他にある?」という固定文を追加して、文章生成モデルに入力し、画質に関するオススメの内容を取得する。そして、上記ステップ4へ戻り、ユーザ10に対して提案した画質を設定する処理を実行すると決定するまで、上記のステップ4~ステップ5-2の処理を繰り返す。
このように、ロボット100は、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、ヘッドマウントディスプレイの処理内容を決定する処理を実行することができる。
また、上記の処理以外にも、ロボット100は、ユーザによるヘッドマウントディスプレイの連続使用時間が設定された閾値を超えた場合に、ヘッドマウントディスプレイの動作時間、画質、音質、及び、ヘッドマウントディスプレイにおいて再生するコンテンツのうちの少なくとも1つを、閾値を超える前と比較してよりユーザの健康状態に好ましい内容に変化させてもよい。
ここで、「ユーザの健康状態に好ましい内容に変化させる」とは、例えば、ヘッドマウントディスプレイの動作時間の場合には、動作時間を現在の設定値よりも短い時間に設定する処理である。また、ヘッドマウントディスプレイの画質の場合には、輝度及び/又はコントラストを現在の設定値よりも低い値に設定する処理である。また、ヘッドマウントディスプレイの音質の場合には、音量を現在の設定値よりも低い値に設定する、及び/又は、周波数特性を現在の設定値よりも刺激が低い値(例えば、低周波領域及び高周波領域の音量を低くした値)に設定する処理である。また、ヘッドマウントディスプレイにおいて再生するコンテンツの場合には、例えば、ヒーリングMV(Music Video)等の、より
刺激が少ないコンテンツに変更する処理である。
刺激が少ないコンテンツに変更する処理である。
例えば、ユーザによるヘッドマウントディスプレイの連続使用時間が閾値である2時間を超えた場合に、ヘッドマウントディスプレイの輝度及び音量を下げることにより、ユーザの眼及び耳の疲労を軽減できる。また、ユーザによるヘッドマウントディスプレイの連続使用時間が閾値である2時間を超えた場合に、ヘッドマウントディスプレイにおいて再生するコンテンツをヒーリングMVに変更することにより、ユーザの脳の疲労を軽減できる。このように、ロボット100は、ヘッドマウントディスプレイを利用するユーザの健康状態の管理まで行うことができる。
以上の実施形態に関し、更に以下の付記を開示する。
(付記1)
ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記行動決定部は、ユーザの感情又はロボットの感情に基づいて、ヘッドマウントディスプレイの処理内容を決定する
行動制御システム。
(付記2)
前記行動決定部は、ユーザの感情又はロボットの感情に基づいて、前記ヘッドマウントディスプレイの動作時間、画質、音質、及び、前記ヘッドマウントディスプレイにおいて再生するコンテンツのうちの少なくとも1つを変化させる
付記1記載の行動制御システム。
(付記3)
前記行動決定部は、ユーザによる前記ヘッドマウントディスプレイの連続使用時間が設定された閾値を超えた場合に、前記ヘッドマウントディスプレイの動作時間、画質、音質、及び、前記ヘッドマウントディスプレイにおいて再生するコンテンツのうちの少なくとも1つを、閾値を超える前と比較してよりユーザの健康状態に好ましい内容に変化させる
付記1記載の行動制御システム。
(付記4)
前記ロボットは、ぬいぐるみに搭載され、又はぬいぐるみに搭載された制御対象機器に無線又は有線で接続されている
付記1から3のいずれか1に記載の行動制御システム。
(付記1)
ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記行動決定部は、ユーザの感情又はロボットの感情に基づいて、ヘッドマウントディスプレイの処理内容を決定する
行動制御システム。
(付記2)
前記行動決定部は、ユーザの感情又はロボットの感情に基づいて、前記ヘッドマウントディスプレイの動作時間、画質、音質、及び、前記ヘッドマウントディスプレイにおいて再生するコンテンツのうちの少なくとも1つを変化させる
付記1記載の行動制御システム。
(付記3)
前記行動決定部は、ユーザによる前記ヘッドマウントディスプレイの連続使用時間が設定された閾値を超えた場合に、前記ヘッドマウントディスプレイの動作時間、画質、音質、及び、前記ヘッドマウントディスプレイにおいて再生するコンテンツのうちの少なくとも1つを、閾値を超える前と比較してよりユーザの健康状態に好ましい内容に変化させる
付記1記載の行動制御システム。
(付記4)
前記ロボットは、ぬいぐるみに搭載され、又はぬいぐるみに搭載された制御対象機器に無線又は有線で接続されている
付記1から3のいずれか1に記載の行動制御システム。
(その他の実施形態9)
その他の実施形態として、上記のロボット100を、電化製品、コンピュータ、自動車、バイク、玩具等の機器に搭載されたロボットに適用してもよいし、ロボット100が、電化製品、コンピュータ、自動車、バイク、玩具等の機器を制御してもよい。また、ロボット100を、ぬいぐるみに搭載してもよいし、ぬいぐるみに搭載された制御対象機器(スピーカやカメラ)に無線又は有線で接続された制御装置に適用してもよい。その他の実施形態は具体的には、以下のように構成される。例えば、ロボット100をAI風呂装置の制御に適用してもよい。
その他の実施形態として、上記のロボット100を、電化製品、コンピュータ、自動車、バイク、玩具等の機器に搭載されたロボットに適用してもよいし、ロボット100が、電化製品、コンピュータ、自動車、バイク、玩具等の機器を制御してもよい。また、ロボット100を、ぬいぐるみに搭載してもよいし、ぬいぐるみに搭載された制御対象機器(スピーカやカメラ)に無線又は有線で接続された制御装置に適用してもよい。その他の実施形態は具体的には、以下のように構成される。例えば、ロボット100をAI風呂装置の制御に適用してもよい。
ロボット100が制御するAI風呂装置は、例えば給水部、熱源部、空調装置を備えている。熱源部は、水温センサ、水量センサを有する。空調装置は、浴室内の温度や湿度の調整を行う。浴室外、例えば脱衣場の温度や湿度の調整を行う空調装置が更に設けられていてもよい。
ロボット100は、以下のステップ1~ステップ5-2により、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、AI風呂装置にパラメータを設定する処理を実行する。
(ステップ1)ロボット100は、ユーザ10の状態、ユーザ10の感情値、ロボット100の感情値、履歴データ222を取得する。具体的には、上記ステップS100~S103と同様の処理を行い、ユーザ10の状態、ユーザ10の感情値、ロボット100の感情値、履歴データ222を取得する。
(ステップ2)ロボット100は、浴槽の水温、水量、浴室の温度や湿度等のパラメータに関するユーザ10の好みを取得する。
具体的には、行動決定部236は、ユーザ10に対して浴槽の水温、水量、浴室の温度や湿度等のパラメータに関する好みを質問する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して浴槽の水温、水量、浴室の温度や湿度等のパラメータに関する好みを質問する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報(例えば、ユーザの回答)に基づいて、ユーザ10に対して浴槽の水温、水量、浴室の温度や湿度等のパラメータに関する好みを認識する。
具体的には、行動決定部236は、ユーザ10に対して浴槽の水温、水量、浴室の温度や湿度等のパラメータに関する好みを質問する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して浴槽の水温、水量、浴室の温度や湿度等のパラメータに関する好みを質問する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報(例えば、ユーザの回答)に基づいて、ユーザ10に対して浴槽の水温、水量、浴室の温度や湿度等のパラメータに関する好みを認識する。
(ステップ3)ロボット100は、ユーザ10に対して提案するパラメータを決定する。
具体的には、行動決定部236は、ユーザ10の浴槽の水温、水量、浴室の温度や湿度等のパラメータに関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、例えば「このとき、ユーザにオススメの浴槽の水温、水量、浴室の温度や湿度は何?」という固定文を追加して、文章生成モデルに入力し、浴槽の水温、水量、浴室の温度や湿度等のパラメータに関するオススメの内容を取得する。このとき、ユーザ10の浴槽の水温、水量、浴室の温度や湿度等のパラメータに関する好みだけでなく、ユーザ10の感情や履歴データ222を考慮することにより、ユーザ10に適したパラメータを提案することができる。また、ロボット100の感情を考慮することにより、ロボット100が感情を有していることを、ユーザ10に感じさせることができる。
具体的には、行動決定部236は、ユーザ10の浴槽の水温、水量、浴室の温度や湿度等のパラメータに関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、例えば「このとき、ユーザにオススメの浴槽の水温、水量、浴室の温度や湿度は何?」という固定文を追加して、文章生成モデルに入力し、浴槽の水温、水量、浴室の温度や湿度等のパラメータに関するオススメの内容を取得する。このとき、ユーザ10の浴槽の水温、水量、浴室の温度や湿度等のパラメータに関する好みだけでなく、ユーザ10の感情や履歴データ222を考慮することにより、ユーザ10に適したパラメータを提案することができる。また、ロボット100の感情を考慮することにより、ロボット100が感情を有していることを、ユーザ10に感じさせることができる。
(ステップ4)ロボット100は、ステップ3で決定したパラメータを、ユーザ10に対して提案し、ユーザ10の反応を取得する。
具体的には、行動決定部236は、ユーザ10に対してパラメータを提案する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対してパラメータを提案する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報に基づいて、ユーザ10の状態を認識し、感情決定部232は、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ユーザ10の感情を示す感情値を決定する。
行動決定部236は、ユーザ状態認識部230によって認識されたユーザ10の状態、及び、ユーザ10の感情を示す感情値に基づいて、ユーザ10の反応が、ポジティブか否かを判断し、ロボット100の行動として、ユーザ10に対して提案したパラメータをAI風呂装置に設定する処理を実行するか、ユーザ10に対して別のパラメータを提案するかを決定する。
具体的には、行動決定部236は、ユーザ10に対してパラメータを提案する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対してパラメータを提案する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報に基づいて、ユーザ10の状態を認識し、感情決定部232は、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ユーザ10の感情を示す感情値を決定する。
行動決定部236は、ユーザ状態認識部230によって認識されたユーザ10の状態、及び、ユーザ10の感情を示す感情値に基づいて、ユーザ10の反応が、ポジティブか否かを判断し、ロボット100の行動として、ユーザ10に対して提案したパラメータをAI風呂装置に設定する処理を実行するか、ユーザ10に対して別のパラメータを提案するかを決定する。
(ステップ5-1)ユーザ10の反応がポジティブである場合、ロボット100は、提案したパラメータをAI風呂装置に設定する処理を実行する。
具体的には、ロボット100の行動として、ユーザ10に対して提案したパラメータをAI風呂装置に設定する処理を実行すると決定した場合に、行動制御部250が、ユーザ10に対して提案したパラメータを実行するように、制御対象252である例えば給水部、熱源部、空調装置を制御する。
具体的には、ロボット100の行動として、ユーザ10に対して提案したパラメータをAI風呂装置に設定する処理を実行すると決定した場合に、行動制御部250が、ユーザ10に対して提案したパラメータを実行するように、制御対象252である例えば給水部、熱源部、空調装置を制御する。
(ステップ5-2)ユーザ10の反応がポジティブでない場合、ロボット100が、ユーザ10に対して提案する別のパラメータを決定する。
具体的には、ロボット100の行動として、ユーザ10に対して別のパラメータを提案すると決定した場合には、行動決定部236は、ユーザ10に対して浴槽の水温、水量、浴室の温度や湿度等のパラメータに関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、例えば「ユーザにオススメの浴槽の水温、水量、浴室の温度や湿度は他にある?」という固定文を追加して、文章生成モデルに入力し、浴槽の水温、水量、浴室の温度や湿度等のパラメータに関するオススメの内容を取得する。そして、上記ステップ4へ戻り、ユーザ10に対して提案したパラメータをAI風呂装置に設定する処理を実行すると決定するまで、上記のステップ4~ステップ5-2の処理を繰り返す。
具体的には、ロボット100の行動として、ユーザ10に対して別のパラメータを提案すると決定した場合には、行動決定部236は、ユーザ10に対して浴槽の水温、水量、浴室の温度や湿度等のパラメータに関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、例えば「ユーザにオススメの浴槽の水温、水量、浴室の温度や湿度は他にある?」という固定文を追加して、文章生成モデルに入力し、浴槽の水温、水量、浴室の温度や湿度等のパラメータに関するオススメの内容を取得する。そして、上記ステップ4へ戻り、ユーザ10に対して提案したパラメータをAI風呂装置に設定する処理を実行すると決定するまで、上記のステップ4~ステップ5-2の処理を繰り返す。
このように、ロボット100は、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、パラメータをAI風呂装置に設定する処理を実行することができる。
以上の実施形態に関し、更に以下の付記を開示する。
(付記1)
ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記行動決定部は、ユーザに対してAI風呂装置に設定するパラメータを提案する、
行動制御システム。
(付記2)
前記ロボットは、ぬいぐるみに搭載され、又はぬいぐるみに搭載された制御対象機器に無線又は有線で接続されている付記1記載の行動制御システム。
(付記1)
ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記行動決定部は、ユーザに対してAI風呂装置に設定するパラメータを提案する、
行動制御システム。
(付記2)
前記ロボットは、ぬいぐるみに搭載され、又はぬいぐるみに搭載された制御対象機器に無線又は有線で接続されている付記1記載の行動制御システム。
(その他の実施形態10)
その他の実施形態として、上記のロボット100を、電化製品、コンピュータ、自動車、バイク、玩具等の機器に搭載されたロボットに適用してもよいし、ロボット100が、電化製品、コンピュータ、自動車、バイク、玩具等の機器を制御してもよい。また、ロボット100を、ぬいぐるみに搭載してもよいし、ぬいぐるみに搭載された制御対象機器(スピーカやカメラ)に無線又は有線で接続された制御装置に適用してもよい。その他の実施形態は具体的には、以下のように構成される。例えば、ロボット100をフィットネス器具に搭載してもよい。また、ロボット100をフィットネス器具の制御に適用してもよい。
その他の実施形態として、上記のロボット100を、電化製品、コンピュータ、自動車、バイク、玩具等の機器に搭載されたロボットに適用してもよいし、ロボット100が、電化製品、コンピュータ、自動車、バイク、玩具等の機器を制御してもよい。また、ロボット100を、ぬいぐるみに搭載してもよいし、ぬいぐるみに搭載された制御対象機器(スピーカやカメラ)に無線又は有線で接続された制御装置に適用してもよい。その他の実施形態は具体的には、以下のように構成される。例えば、ロボット100をフィットネス器具に搭載してもよい。また、ロボット100をフィットネス器具の制御に適用してもよい。
ロボット100が搭載されるフィットネス器具は、例えば荷重可変機構を備えていない器具である。荷重可変機構を備えていない器具としては、腹筋台等として利用できるトレーニングベンチ、ダンベル、バーベル、サンドバッグ等の器具が挙げられる。
また、ロボット100は、荷重可変機構を備えたフィットネス器具に搭載してもよい。荷重可変機構を備えた器具としては、例えばチェストプレスマシン、ショルダープレスマシン、ラットプルダウンマシン、レッグカールマシン等の器具が挙げられる。荷重可変機構は、ユーザの運動によって持ち上げられる複数の錘と、ユーザの運動によって持ち上げられる当該錘の数量を変える変換具とで構成されている。錘は例えば上下方向に積層されており、それぞれの錘には、変換具としてのピンを挿入可能な挿入孔が形成されている。ピンをどの錘の挿入孔へ挿入するかによって、ユーザに与えるトレーニング負荷を変えることができる。例えば積層方向下方の錘の挿入孔へピンを挿入すれば、負荷を大きくできる。一方、積層方向上方の錘の挿入孔へピンを挿入すれば、負荷を小さくできる。
これらの器具に搭載されたロボット100は、フィットネス器具を利用するユーザのユーザ状態(後述する会話嗜好性、表情、心拍数、運動速度等)に応じた内容を応援として発話する。また、荷重可変機構を備えたフィットネス器具に搭載されたロボット100は、これらの器具の荷重可変機構を制御(例えばピンを移動させる)することにより、ユーザに与えるトレーニング負荷を変えることもできる。
ロボット100は、以下のステップ1~ステップ5-2により、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、フィットネス器具を用いてトレーニング中のユーザを応援する処理を実行する。
(ステップ1)ロボット100は、ユーザ10の状態、ユーザ10の感情値、ロボット100の感情値、履歴データ222を取得する。具体的には、上記ステップS100~S103と同様の処理を行い、ユーザ10の状態、ユーザ10の感情値、ロボット100の感情値、履歴データ222を取得する。
(ステップ2)ロボット100は、トレーニング中の応援に関するユーザ10の好みを取得する。応援とは、ユーザがフィットネス器具を用いたトレーニング中におけるロボット100の発話内容である。
具体的には、行動決定部236は、ユーザ10に対して応援に関する好みを質問する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して、応援に関する好み(会話嗜好性)を質問する発話(例えば、「すごい!」と褒められるのと、「もっとできる!」と励まされるのとではどちらが好みか、など)を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報(例えば、ユーザの回答)に基づいて、ユーザ10の応援に関する好みを認識する。
具体的には、行動決定部236は、ユーザ10に対して応援に関する好みを質問する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して、応援に関する好み(会話嗜好性)を質問する発話(例えば、「すごい!」と褒められるのと、「もっとできる!」と励まされるのとではどちらが好みか、など)を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報(例えば、ユーザの回答)に基づいて、ユーザ10の応援に関する好みを認識する。
(ステップ3)ロボット100は、ユーザ10に対して応援する内容を決定する。
具体的には、行動決定部236は、ユーザ10の応援に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「このとき、ユーザにオススメの応援は何?」という固定文を追加して、文章生成モデルに入力し、応援に関するオススメの内容を取得する。このとき、ユーザ10の応援に関する好みだけでなく、ユーザ10の感情や履歴データ222を考慮することにより、ユーザ10に適した応援をすることができる。また、ロボット100の感情を考慮することにより、ロボット100が感情を有していることを、ユーザ10に感じさせることができる。
具体的には、行動決定部236は、ユーザ10の応援に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「このとき、ユーザにオススメの応援は何?」という固定文を追加して、文章生成モデルに入力し、応援に関するオススメの内容を取得する。このとき、ユーザ10の応援に関する好みだけでなく、ユーザ10の感情や履歴データ222を考慮することにより、ユーザ10に適した応援をすることができる。また、ロボット100の感情を考慮することにより、ロボット100が感情を有していることを、ユーザ10に感じさせることができる。
(ステップ4)ロボット100は、ステップ3で決定した応援を、トレーニング中のユーザ10に対して発話し、ユーザ10の反応を取得する。
具体的には、行動決定部236は、トレーニング中のユーザ10に対して応援する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して応援する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報に基づいて、ユーザ10の状態を認識し、感情決定部232は、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ユーザ10の感情を示す感情値を決定する。
行動決定部236は、ユーザ状態認識部230によって認識されたユーザ10の状態(表情、心拍数、運動速度等)、及び、ユーザ10の感情を示す感情値に基づいて、ユーザ10の反応が、ポジティブか否かを判断し、ロボット100の行動として、ユーザ10に対して発話した応援を継続する処理を実行するか、ユーザ10に対して別の応援を発話するかを決定する。
具体的には、行動決定部236は、トレーニング中のユーザ10に対して応援する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して応援する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報に基づいて、ユーザ10の状態を認識し、感情決定部232は、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ユーザ10の感情を示す感情値を決定する。
行動決定部236は、ユーザ状態認識部230によって認識されたユーザ10の状態(表情、心拍数、運動速度等)、及び、ユーザ10の感情を示す感情値に基づいて、ユーザ10の反応が、ポジティブか否かを判断し、ロボット100の行動として、ユーザ10に対して発話した応援を継続する処理を実行するか、ユーザ10に対して別の応援を発話するかを決定する。
(ステップ5-1)ユーザ10の反応がポジティブである場合、ロボット100は、発話した応援を継続する処理を実行する。
具体的には、ロボット100の行動として、ユーザ10に対して発話した応援を継続する処理を実行すると決定した場合に、行動制御部250が、ユーザ10に対して発話した応援を継続するように、ロボット100を制御する。
具体的には、ロボット100の行動として、ユーザ10に対して発話した応援を継続する処理を実行すると決定した場合に、行動制御部250が、ユーザ10に対して発話した応援を継続するように、ロボット100を制御する。
(ステップ5-2)ユーザ10の反応がポジティブでない場合、ロボット100が、ユーザ10に対して発話する別の応援を決定する。
具体的には、ロボット100の行動として、ユーザ10に対して別の応援を発話すると決定した場合には、行動決定部236は、ユーザ10に対して応援に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「ユーザにオススメの応援は他にある?」という固定文を追加して、文章生成モデルに入力し、応援に関するオススメの内容を取得する。そして、上記ステップ4へ戻り、ユーザ10に対して提案した応援を継続する処理を実行すると決定するまで、上記のステップ4~ステップ5-2の処理を繰り返す。
具体的には、ロボット100の行動として、ユーザ10に対して別の応援を発話すると決定した場合には、行動決定部236は、ユーザ10に対して応援に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「ユーザにオススメの応援は他にある?」という固定文を追加して、文章生成モデルに入力し、応援に関するオススメの内容を取得する。そして、上記ステップ4へ戻り、ユーザ10に対して提案した応援を継続する処理を実行すると決定するまで、上記のステップ4~ステップ5-2の処理を繰り返す。
なお、ユーザ10の反応(表情)がポジティブな場合とは、一例として、トレーニングのインターバル中における表情が笑顔の場合である。一方、ネガティブな場合とは、一例として、トレーニングのインターバル中における表情が怒っている場合である。
また、ユーザ10の反応(心拍数)がポジティブな場合とは、一例として、心拍数が所定値以下である場合である。ロボット100は、ユーザ10の心拍数が所定値以下であれば、応援を継続して、ユーザ10にトレーニングを継続させる。一方、ネガティブな場合とは、一例として、心拍数が所定値より大きい場合である。ロボット100は、ユーザ10の心拍数が所定値より大きければ、応援内容を変更して、トレーニングを中止させる。
また、ユーザ10の反応(運動速度)がポジティブな場合とは、一例として、運動速度が早くなった場合である。ロボット100は、運動速度が早くなった場合、応援を継続して、ユーザ10にトレーニング速度を維持させる。一方、ネガティブな場合とは、一例として、運動速度が遅くなった場合である。ロボット100は、運動速度が遅くなった場合、応援内容を変更して、ユーザ10にトレーニング速度を上げさせる。
このように、ロボット100は、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、応援する処理を実行することができる。
以上の実施形態に関し、更に以下の付記を開示する。
(付記1)
ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記行動決定部は、フィットネス器具を利用するユーザの前記ユーザ状態に応じた内容を発話する行動を決定する、
行動制御システム。
(付記2)
前記ユーザ状態認識部は、前記ユーザ状態としてユーザの会話嗜好性を認識し、
前記行動決定部は、ユーザの会話嗜好性に応じた内容を発話する行動を決定する、付記1に記載の行動制御システム。
(付記3)
前記ユーザ状態認識部は、前記ユーザ状態としてユーザの表情を認識し、
前記行動決定部は、ユーザの表情に応じた内容を発話する行動を決定する、付記1に記載の行動制御システム。
(付記4)
前記ユーザ状態認識部は、前記ユーザ状態としてユーザの心拍数を認識し、
前記行動決定部は、ユーザの心拍数に応じた内容を発話する行動を決定する、付記1に記載の行動制御システム。
(付記5)
前記ユーザ状態認識部は、前記ユーザ状態としてユーザの運動速度を認識し、
前記行動決定部は、ユーザの運動速度に応じた内容を発話する行動を決定する、付記1に記載の行動制御システム。
(付記6)
前記ロボットは、ぬいぐるみに搭載され、又はぬいぐるみに搭載された制御対象機器に無線又は有線で接続されている付記1に記載の行動制御システム。
(付記1)
ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記行動決定部は、フィットネス器具を利用するユーザの前記ユーザ状態に応じた内容を発話する行動を決定する、
行動制御システム。
(付記2)
前記ユーザ状態認識部は、前記ユーザ状態としてユーザの会話嗜好性を認識し、
前記行動決定部は、ユーザの会話嗜好性に応じた内容を発話する行動を決定する、付記1に記載の行動制御システム。
(付記3)
前記ユーザ状態認識部は、前記ユーザ状態としてユーザの表情を認識し、
前記行動決定部は、ユーザの表情に応じた内容を発話する行動を決定する、付記1に記載の行動制御システム。
(付記4)
前記ユーザ状態認識部は、前記ユーザ状態としてユーザの心拍数を認識し、
前記行動決定部は、ユーザの心拍数に応じた内容を発話する行動を決定する、付記1に記載の行動制御システム。
(付記5)
前記ユーザ状態認識部は、前記ユーザ状態としてユーザの運動速度を認識し、
前記行動決定部は、ユーザの運動速度に応じた内容を発話する行動を決定する、付記1に記載の行動制御システム。
(付記6)
前記ロボットは、ぬいぐるみに搭載され、又はぬいぐるみに搭載された制御対象機器に無線又は有線で接続されている付記1に記載の行動制御システム。
(その他の実施形態11)
その他の実施形態として、上記のロボット100を、電化製品、コンピュータ、自動車、バイク、玩具等の機器に搭載されたロボットに適用してもよいし、ロボット100が、電化製品、コンピュータ、自動車、バイク、玩具等の機器を制御してもよい。また、ロボット100を、ぬいぐるみに搭載してもよいし、ぬいぐるみに搭載された制御対象機器(スピーカやカメラ)に無線又は有線で接続された制御装置に適用してもよい。その他の実施形態は具体的には、以下のように構成される。例えば、ロボット100をバイク(モーターサイクル、自動二輪車ともいう)の制御に適用してもよい。
その他の実施形態として、上記のロボット100を、電化製品、コンピュータ、自動車、バイク、玩具等の機器に搭載されたロボットに適用してもよいし、ロボット100が、電化製品、コンピュータ、自動車、バイク、玩具等の機器を制御してもよい。また、ロボット100を、ぬいぐるみに搭載してもよいし、ぬいぐるみに搭載された制御対象機器(スピーカやカメラ)に無線又は有線で接続された制御装置に適用してもよい。その他の実施形態は具体的には、以下のように構成される。例えば、ロボット100をバイク(モーターサイクル、自動二輪車ともいう)の制御に適用してもよい。
ロボット100が搭載されるか、または、ロボット100によって制御可能にロボット100と接続されるバイクは、例えば、前後の車輪と、内燃機関またはモータから成り少なくとも後輪を駆動する原動機と、前後のサスペンションと、第1アクチュエータによってサスペンションの硬さ(スプリングのプリロード、ダンパの圧縮側減衰力および伸び側減衰力)を調節可能なサスペンション調節部と、第2アクチュエータによってハンドルの高さを調節可能なハンドル調節部と、第3アクチュエータによってシートの高さを調節可能なシート高調節部と、を含んでいる。ロボット100は、バイクのサスペンション調節部、ハンドル調節部およびシート高調節部のアクチュエータを制御対象252に含めており、バイクのサスペンションの硬さ、ハンドルの高さおよびシート高を調節することが可能とされている。
ロボット100は、以下のステップ1~ステップ5-2により、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、バイクのサスペンションの硬さ、ハンドルの高さおよびシート高を制御する処理を実行する。
(ステップ1)ロボット100は、ユーザ10の状態、ユーザ10の感情値、ロボット100の感情値、履歴データ222を取得する。具体的には、上記ステップS100~S103と同様の処理を行い、ユーザ10の状態、ユーザ10の感情値、ロボット100の感情値、履歴データ222を取得する。なお、ユーザ10の状態には、ユーザ10の体格やタンデムライダーの有無も含まれる。
(ステップ2)ロボット100は、バイクの制御に関するユーザ10の好みを取得する。
具体的には、行動決定部236は、ユーザ10に対してバイクの制御に関する好みを質問する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252の1つであるスピーカを制御し、ユーザ10に対してバイクの制御に関する好みを質問する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報(例えば、ユーザの回答)に基づいて、ユーザ10に対してバイクの制御に関する好みを認識する。なお、バイクのサスペンションの硬さ、ハンドルの高さおよびシート高の制御に関するユーザの好みの一例は、「バイクの停車時の足漬き性を上げてほしい」などである。
具体的には、行動決定部236は、ユーザ10に対してバイクの制御に関する好みを質問する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252の1つであるスピーカを制御し、ユーザ10に対してバイクの制御に関する好みを質問する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報(例えば、ユーザの回答)に基づいて、ユーザ10に対してバイクの制御に関する好みを認識する。なお、バイクのサスペンションの硬さ、ハンドルの高さおよびシート高の制御に関するユーザの好みの一例は、「バイクの停車時の足漬き性を上げてほしい」などである。
(ステップ3)ロボット100は、ユーザ10に対して提案するバイクのサスペンションの硬さ、ハンドルの高さおよびシート高に関する具体的な制御を決定する。
具体的には、行動決定部236は、ユーザ10のバイクの制御に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「このとき、ユーザにオススメのバイクの制御は何?」という固定文を追加して、文章生成モデルに入力し、バイクの制御に関するオススメの内容を取得する。このとき、ユーザ10のバイクの制御に関する好みだけでなく、ユーザ10の感情や履歴データ222を考慮することにより、ユーザ10に適したバイクに関する具体的な制御を提案することができる。また、ロボット100の感情を考慮することにより、ロボット100が感情を有していることを、ユーザ10に感じさせることができる。なお、バイクに関する具体的な制御の一例は、「バイクの停車時にサスペンションを相対的に柔らかくし、シート高を相対的に下げる」などである。
具体的には、行動決定部236は、ユーザ10のバイクの制御に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「このとき、ユーザにオススメのバイクの制御は何?」という固定文を追加して、文章生成モデルに入力し、バイクの制御に関するオススメの内容を取得する。このとき、ユーザ10のバイクの制御に関する好みだけでなく、ユーザ10の感情や履歴データ222を考慮することにより、ユーザ10に適したバイクに関する具体的な制御を提案することができる。また、ロボット100の感情を考慮することにより、ロボット100が感情を有していることを、ユーザ10に感じさせることができる。なお、バイクに関する具体的な制御の一例は、「バイクの停車時にサスペンションを相対的に柔らかくし、シート高を相対的に下げる」などである。
(ステップ4)ロボット100は、ステップ3で決定したバイクに関する具体的な制御を、ユーザ10に対して提案し、ユーザ10の反応を取得する。
具体的には、行動決定部236は、ユーザ10に対してバイクに関する具体的な制御を提案する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252の1つであるスピーカを制御し、ユーザ10に対してバイクに関する具体的な制御を提案する発話を行う。なお、ステップ4において、発話を行うことに加えて、バイクに関する具体的な制御、一例としては「バイクの停車時にサスペンションを相対的に柔らかくし、シート高を相対的に下げる」などを実行するようにしてもよい。
ユーザ状態認識部230は、センサモジュール部210で解析された情報に基づいて、ユーザ10の状態を認識し、感情決定部232は、センサモジュール部210で解析された情報、及び、ユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ユーザ10の感情を示す感情値を決定する。
行動決定部236は、ユーザ状態認識部230によって認識されたユーザ10の状態、及び、ユーザ10の感情を示す感情値に基づいて、ユーザ10の反応が、ポジティブか否かを判断し、ロボット100の行動として、ユーザ10に対して提案したバイクに関する具体的な制御を実行するか、ユーザ10に対してバイクに関する別の制御を提案するかを決定する。
具体的には、行動決定部236は、ユーザ10に対してバイクに関する具体的な制御を提案する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252の1つであるスピーカを制御し、ユーザ10に対してバイクに関する具体的な制御を提案する発話を行う。なお、ステップ4において、発話を行うことに加えて、バイクに関する具体的な制御、一例としては「バイクの停車時にサスペンションを相対的に柔らかくし、シート高を相対的に下げる」などを実行するようにしてもよい。
ユーザ状態認識部230は、センサモジュール部210で解析された情報に基づいて、ユーザ10の状態を認識し、感情決定部232は、センサモジュール部210で解析された情報、及び、ユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ユーザ10の感情を示す感情値を決定する。
行動決定部236は、ユーザ状態認識部230によって認識されたユーザ10の状態、及び、ユーザ10の感情を示す感情値に基づいて、ユーザ10の反応が、ポジティブか否かを判断し、ロボット100の行動として、ユーザ10に対して提案したバイクに関する具体的な制御を実行するか、ユーザ10に対してバイクに関する別の制御を提案するかを決定する。
(ステップ5-1)ユーザ10の反応がポジティブである場合、ロボット100は、提案したバイクに関する具体的な制御を実行する。
具体的には、ロボット100の行動として、ユーザ10に対して提案したバイクに関する具体的な制御を実行すると決定した場合に、行動制御部250が、ユーザ10に対して提案したバイクに関する具体的な制御を実行するように、制御対象252の1つであるバイクのサスペンション調節部、ハンドル調節部およびシート高調節部のアクチュエータを制御する。なお、先のステップ4でバイクに関する具体的な制御を実行した場合は、ステップ5-1をスキップしてもよい。
具体的には、ロボット100の行動として、ユーザ10に対して提案したバイクに関する具体的な制御を実行すると決定した場合に、行動制御部250が、ユーザ10に対して提案したバイクに関する具体的な制御を実行するように、制御対象252の1つであるバイクのサスペンション調節部、ハンドル調節部およびシート高調節部のアクチュエータを制御する。なお、先のステップ4でバイクに関する具体的な制御を実行した場合は、ステップ5-1をスキップしてもよい。
(ステップ5-2)ユーザ10の反応がポジティブでない場合、ロボット100が、ユーザ10に対して提案するバイクに関する別の制御を決定する。
具体的には、ロボット100の行動として、ユーザ10に対してバイクに関する別の制御を提案すると決定した場合には、行動決定部236は、ユーザ10に対してバイクの制御に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「ユーザにオススメのバイクに関する制御は他にある?」という固定文を追加して、文章生成モデルに入力し、バイクに関する別の制御に関するオススメの内容を取得する。なお、バイクに関する別の制御の一例は、「バイクのハンドルの高さを上げる」などである。そして、上記ステップ4へ戻り、ユーザ10に対して提案したバイクに関する具体的な制御を実行すると決定するまで、上記のステップ4~ステップ5-2の処理を繰り返す。
具体的には、ロボット100の行動として、ユーザ10に対してバイクに関する別の制御を提案すると決定した場合には、行動決定部236は、ユーザ10に対してバイクの制御に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「ユーザにオススメのバイクに関する制御は他にある?」という固定文を追加して、文章生成モデルに入力し、バイクに関する別の制御に関するオススメの内容を取得する。なお、バイクに関する別の制御の一例は、「バイクのハンドルの高さを上げる」などである。そして、上記ステップ4へ戻り、ユーザ10に対して提案したバイクに関する具体的な制御を実行すると決定するまで、上記のステップ4~ステップ5-2の処理を繰り返す。
このように、ロボット100は、ユーザ10の好み、ユーザ10の状況、ユーザ10の反応に合わせて、バイクに関する制御を実行することができる。
なお、上述したその他の実施形態では、ロボット100がユーザ10と会話をして、バイクの制御に関するユーザ10の好みなどを取得し、ユーザ10の好みなどに合わせてバイクの制御を行う態様を説明したが、バイクの制御に関するユーザ10の好みなどを一旦取得した後は、ユーザと会話を行わなくても、ユーザ10の好み、ユーザ10の状況、ユーザ10の反応に合わせて、バイクに関する制御を実行するようにしてもよい。
なお、上述したその他の実施形態では、バイクにサスペンション調節部、ハンドル調節部およびシート高調節部が各々設けられた態様を説明したが、本開示はこれに限定されるものではなく、サスペンション調節部、ハンドル調節部およびシート高調節部のうち少なくとも1つが設けられたバイクであっても本開示を適用可能である。
なお、上述したその他の実施形態では、ロボット100がユーザ10と会話をして、バイクの制御に関するユーザ10の好みなどを取得し、ユーザ10の好みなどに合わせてバイクの制御を行う態様を説明したが、バイクの制御に関するユーザ10の好みなどを一旦取得した後は、ユーザと会話を行わなくても、ユーザ10の好み、ユーザ10の状況、ユーザ10の反応に合わせて、バイクに関する制御を実行するようにしてもよい。
なお、上述したその他の実施形態では、バイクにサスペンション調節部、ハンドル調節部およびシート高調節部が各々設けられた態様を説明したが、本開示はこれに限定されるものではなく、サスペンション調節部、ハンドル調節部およびシート高調節部のうち少なくとも1つが設けられたバイクであっても本開示を適用可能である。
以上の実施形態に関し、更に以下の付記を開示する。
(付記1)
ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情またはロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情またはロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記行動決定部は、前記ロボットの行動として、バイクに設けられたアクチュエータに対する制御を決定する、
行動制御システム。
(付記2)
前記アクチュエータは、前記バイクのサスペンションの硬さを調節可能な第1アクチュエータ、前記バイクのハンドルの高さを調節可能な第2アクチュエータ、および、前記バイクのシートの高さを調節可能な第3アクチュエータ、の何れかである付記1記載の行動制御システム。
(付記1)
ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情またはロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情またはロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記行動決定部は、前記ロボットの行動として、バイクに設けられたアクチュエータに対する制御を決定する、
行動制御システム。
(付記2)
前記アクチュエータは、前記バイクのサスペンションの硬さを調節可能な第1アクチュエータ、前記バイクのハンドルの高さを調節可能な第2アクチュエータ、および、前記バイクのシートの高さを調節可能な第3アクチュエータ、の何れかである付記1記載の行動制御システム。
(その他の実施形態12)
その他の実施形態として、上記のロボット100を、電化製品、コンピュータ、自動車、バイク、玩具等の機器に搭載されたロボットに適用してもよいし、ロボット100が、電化製品、コンピュータ、自動車、バイク、玩具等の機器を制御してもよい。また、ロボット100を、ぬいぐるみに搭載してもよいし、ぬいぐるみに搭載された制御対象機器(スピーカやカメラ)に無線又は有線で接続された制御装置に適用してもよい。その他の実施形態は具体的には、以下のように構成される。例えば、ロボット100をドアやサッシ等の建具(AI建具、対話型建具)の制御に適用してもよい。
その他の実施形態として、上記のロボット100を、電化製品、コンピュータ、自動車、バイク、玩具等の機器に搭載されたロボットに適用してもよいし、ロボット100が、電化製品、コンピュータ、自動車、バイク、玩具等の機器を制御してもよい。また、ロボット100を、ぬいぐるみに搭載してもよいし、ぬいぐるみに搭載された制御対象機器(スピーカやカメラ)に無線又は有線で接続された制御装置に適用してもよい。その他の実施形態は具体的には、以下のように構成される。例えば、ロボット100をドアやサッシ等の建具(AI建具、対話型建具)の制御に適用してもよい。
ロボット100が制御する建具は、一の例では、建具の開度を調整する開度調整機構と、建具の周囲に虫除け用の超音波を発生する超音波発生器とを備えている。
また、ロボット100が制御する建具は、他の例では、訪問者と対話可能なインターフォンを備えている。
また、ロボット100が制御する建具は、他の例では、訪問者と対話可能なインターフォンを備えている。
一の例では、ロボット100は、以下のステップ1~ステップ5-2により、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、建具の開度を調整するとともに、建具の周囲に虫除け用の超音波を発生する処理を実行する。
また、他の例では、ロボット100は、以下のステップ1~ステップ5-2により、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、訪問販売等の訪問者に応答する処理を実行する。
また、他の例では、ロボット100は、以下のステップ1~ステップ5-2により、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、訪問販売等の訪問者に応答する処理を実行する。
(ステップ1)一の例及び他の例では、ロボット100は、ユーザ10の状態、ユーザ10の感情値、ロボット100の感情値、履歴データ222を取得する。具体的には、上記ステップS100~S103と同様の処理を行い、ユーザ10の状態、ユーザ10の感情値、ロボット100の感情値、履歴データ222を取得する。
(ステップ2)一の例では、ロボット100は、建具の開度及び虫除けに関するユーザ10の好みを取得する。
具体的には、行動決定部236は、ユーザ10に対して建具の開度及び虫除けに関する好みを質問する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して建具の開度及び虫除けに関する好みを質問する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報(例えば、ユーザの回答)に基づいて、ユーザ10に対して建具の開度及び虫除けに関する好みを認識する。
また、他の例では、ロボット100は、訪問者に関するユーザ10の好みを取得する。
具体的には、行動決定部236は、ユーザ10に対して訪問者に関する好みを質問する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して訪問者に関する好みを質問する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報(例えば、ユーザの回答)に基づいて、ユーザ10に対して訪問者に関する好みを認識する。
具体的には、行動決定部236は、ユーザ10に対して建具の開度及び虫除けに関する好みを質問する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して建具の開度及び虫除けに関する好みを質問する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報(例えば、ユーザの回答)に基づいて、ユーザ10に対して建具の開度及び虫除けに関する好みを認識する。
また、他の例では、ロボット100は、訪問者に関するユーザ10の好みを取得する。
具体的には、行動決定部236は、ユーザ10に対して訪問者に関する好みを質問する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して訪問者に関する好みを質問する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報(例えば、ユーザの回答)に基づいて、ユーザ10に対して訪問者に関する好みを認識する。
(ステップ3)一の例では、ロボット100は、ユーザ10に対して提案する建具の開度及び虫除けの要否を決定する。
具体的には、行動決定部236は、ユーザ10の建具の開度及び虫除けに関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「このとき、ユーザにオススメの建具の開度は何?」、及び「このとき、虫除けは必要?」という固定文を追加して、文章生成モデルに入力し、建具の開度に関するオススメの内容、及び虫除けの要否に関する内容を取得する。このとき、ユーザ10の建具の開度及び虫除けに関する好みだけでなく、ユーザ10の感情や履歴データ222を考慮することにより、ユーザ10に適した建具の開度及び虫除けの要否を提案することができる。また、ロボット100の感情を考慮することにより、ロボット100が感情を有していることを、ユーザ10に感じさせることができる。
また、他の例では、ロボット100は、ユーザ10に対して提案する訪問者への応答内容を決定する。
具体的には、行動決定部236は、ユーザ10の訪問者に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「このとき、ユーザにオススメの訪問者への応答内容は何?」という固定文を追加して、文章生成モデルに入力し、訪問者への応答内容に関するオススメの内容を取得する。このとき、ユーザ10の訪問者に関する好みだけでなく、ユーザ10の感情や履歴データ222を考慮することにより、ユーザ10に適した訪問者への応答内容を提案することができる。また、ロボット100の感情を考慮することにより、ロボット100が感情を有していることを、ユーザ10に感じさせることができる。
具体的には、行動決定部236は、ユーザ10の建具の開度及び虫除けに関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「このとき、ユーザにオススメの建具の開度は何?」、及び「このとき、虫除けは必要?」という固定文を追加して、文章生成モデルに入力し、建具の開度に関するオススメの内容、及び虫除けの要否に関する内容を取得する。このとき、ユーザ10の建具の開度及び虫除けに関する好みだけでなく、ユーザ10の感情や履歴データ222を考慮することにより、ユーザ10に適した建具の開度及び虫除けの要否を提案することができる。また、ロボット100の感情を考慮することにより、ロボット100が感情を有していることを、ユーザ10に感じさせることができる。
また、他の例では、ロボット100は、ユーザ10に対して提案する訪問者への応答内容を決定する。
具体的には、行動決定部236は、ユーザ10の訪問者に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「このとき、ユーザにオススメの訪問者への応答内容は何?」という固定文を追加して、文章生成モデルに入力し、訪問者への応答内容に関するオススメの内容を取得する。このとき、ユーザ10の訪問者に関する好みだけでなく、ユーザ10の感情や履歴データ222を考慮することにより、ユーザ10に適した訪問者への応答内容を提案することができる。また、ロボット100の感情を考慮することにより、ロボット100が感情を有していることを、ユーザ10に感じさせることができる。
(ステップ4)一の例では、ロボット100は、ステップ3で決定した建具の開度及び虫除けの要否を、ユーザ10に対して提案し、ユーザ10の反応を取得する。
具体的には、行動決定部236は、ユーザ10に対して建具の開度及び虫除けの要否を提案する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して建具の開度及び虫除けの要否を提案する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報に基づいて、ユーザ10の状態を認識し、感情決定部232は、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ユーザ10の感情を示す感情値を決定する。
行動決定部236は、ユーザ状態認識部230によって認識されたユーザ10の状態、及び、ユーザ10の感情を示す感情値に基づいて、ユーザ10の反応が、ポジティブか否かを判断し、ロボット100の行動として、ユーザ10に対して提案した建具の開度を調整するとともに、要否に応じて建具の周囲に虫除け用の超音波を発生する処理を実行するか、ユーザ10に対して別の建具の開度及び虫除けの要否を提案するかを決定する。
また、他の例では、ロボット100は、ステップ3で決定した訪問者への応答内容を、ユーザ10に対して提案し、ユーザ10の反応を取得する。
具体的には、行動決定部236は、ユーザ10に対して訪問者への応答内容を提案する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して訪問者への応答内容を提案する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報に基づいて、ユーザ10の状態を認識し、感情決定部232は、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ユーザ10の感情を示す感情値を決定する。
行動決定部236は、ユーザ状態認識部230によって認識されたユーザ10の状態、及び、ユーザ10の感情を示す感情値に基づいて、ユーザ10の反応が、ポジティブか否かを判断し、ロボット100の行動として、ユーザ10に対して提案した応答内容で訪問者に応答する処理を実行するか、ユーザ10に対して別の訪問者への応答内容を提案するかを決定する。
具体的には、行動決定部236は、ユーザ10に対して建具の開度及び虫除けの要否を提案する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して建具の開度及び虫除けの要否を提案する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報に基づいて、ユーザ10の状態を認識し、感情決定部232は、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ユーザ10の感情を示す感情値を決定する。
行動決定部236は、ユーザ状態認識部230によって認識されたユーザ10の状態、及び、ユーザ10の感情を示す感情値に基づいて、ユーザ10の反応が、ポジティブか否かを判断し、ロボット100の行動として、ユーザ10に対して提案した建具の開度を調整するとともに、要否に応じて建具の周囲に虫除け用の超音波を発生する処理を実行するか、ユーザ10に対して別の建具の開度及び虫除けの要否を提案するかを決定する。
また、他の例では、ロボット100は、ステップ3で決定した訪問者への応答内容を、ユーザ10に対して提案し、ユーザ10の反応を取得する。
具体的には、行動決定部236は、ユーザ10に対して訪問者への応答内容を提案する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して訪問者への応答内容を提案する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報に基づいて、ユーザ10の状態を認識し、感情決定部232は、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ユーザ10の感情を示す感情値を決定する。
行動決定部236は、ユーザ状態認識部230によって認識されたユーザ10の状態、及び、ユーザ10の感情を示す感情値に基づいて、ユーザ10の反応が、ポジティブか否かを判断し、ロボット100の行動として、ユーザ10に対して提案した応答内容で訪問者に応答する処理を実行するか、ユーザ10に対して別の訪問者への応答内容を提案するかを決定する。
(ステップ5-1)一の例では、ユーザ10の反応がポジティブである場合、ロボット100は、提案した建具の開度を調整するとともに、要否に応じて建具の周囲に虫除け用の超音波を発生する処理を実行する。
具体的には、ロボット100の行動として、ユーザ10に対して提案した建具の開度を調整する処理を実行すると決定した場合に、行動制御部250が、ユーザ10に対して提案した建具の開度になるように、制御対象252である開度調整機構を制御する。また、ロボット100の行動として、ユーザ10に対して提案した、建具の周囲に虫除け用の超音波を発生する処理を実行すると決定した場合に、行動制御部250が、ユーザ10に対して提案した、建具の周囲に虫除け用の超音波が発生するように、制御対象252である超音波発生器を制御する。
また、他の例では、ユーザ10の反応がポジティブである場合、ロボット100は、提案した応答内容で訪問者に応答する処理を実行する。
具体的には、ロボット100の行動として、ユーザ10に対して提案した応答内容で訪問者に応答する処理を実行すると決定した場合に、行動制御部250が、ユーザ10に対して提案した応答内容で訪問者に応答するように、制御対象252であるインターフォンのスピーカを制御する。
具体的には、ロボット100の行動として、ユーザ10に対して提案した建具の開度を調整する処理を実行すると決定した場合に、行動制御部250が、ユーザ10に対して提案した建具の開度になるように、制御対象252である開度調整機構を制御する。また、ロボット100の行動として、ユーザ10に対して提案した、建具の周囲に虫除け用の超音波を発生する処理を実行すると決定した場合に、行動制御部250が、ユーザ10に対して提案した、建具の周囲に虫除け用の超音波が発生するように、制御対象252である超音波発生器を制御する。
また、他の例では、ユーザ10の反応がポジティブである場合、ロボット100は、提案した応答内容で訪問者に応答する処理を実行する。
具体的には、ロボット100の行動として、ユーザ10に対して提案した応答内容で訪問者に応答する処理を実行すると決定した場合に、行動制御部250が、ユーザ10に対して提案した応答内容で訪問者に応答するように、制御対象252であるインターフォンのスピーカを制御する。
(ステップ5-2)一の例では、ユーザ10の反応がポジティブでない場合、ロボット100が、ユーザ10に対して提案する別の建具の開度及び虫除けの要否を決定する。
具体的には、ロボット100の行動として、ユーザ10に対して別の建具の開度及び虫除けの要否を提案すると決定した場合には、行動決定部236は、ユーザ10に対して建具の開度及び虫除けに関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「ユーザにオススメの建具の開度は他にある?」、及び「このとき、虫除けは必要?」という固定文を追加して、文章生成モデルに入力し、建具の開度に関するオススメの内容、及び虫除けの要否に関する内容を取得する。そして、上記ステップ4へ戻り、ユーザ10に対して提案した建具の開度を調整するとともに、要否に応じて建具の周囲に虫除け用の超音波を発生する処理を実行すると決定するまで、上記のステップ4~ステップ5-2の処理を繰り返す。
また、他の例では、ユーザ10の反応がポジティブでない場合、ロボット100が、ユーザ10に対して提案する別の訪問者への応答内容を決定する。
具体的には、ロボット100の行動として、ユーザ10に対して別の訪問者への応答内容を提案すると決定した場合には、行動決定部236は、ユーザ10に対して訪問者に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「ユーザにオススメの訪問者への応答内容は他にある?」という固定文を追加して、文章生成モデルに入力し、訪問者への応答内容に関するオススメの内容を取得する。そして、上記ステップ4へ戻り、ユーザ10に対して提案した応答内容で訪問者に応答する処理を実行すると決定するまで、上記のステップ4~ステップ5-2の処理を繰り返す。
具体的には、ロボット100の行動として、ユーザ10に対して別の建具の開度及び虫除けの要否を提案すると決定した場合には、行動決定部236は、ユーザ10に対して建具の開度及び虫除けに関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「ユーザにオススメの建具の開度は他にある?」、及び「このとき、虫除けは必要?」という固定文を追加して、文章生成モデルに入力し、建具の開度に関するオススメの内容、及び虫除けの要否に関する内容を取得する。そして、上記ステップ4へ戻り、ユーザ10に対して提案した建具の開度を調整するとともに、要否に応じて建具の周囲に虫除け用の超音波を発生する処理を実行すると決定するまで、上記のステップ4~ステップ5-2の処理を繰り返す。
また、他の例では、ユーザ10の反応がポジティブでない場合、ロボット100が、ユーザ10に対して提案する別の訪問者への応答内容を決定する。
具体的には、ロボット100の行動として、ユーザ10に対して別の訪問者への応答内容を提案すると決定した場合には、行動決定部236は、ユーザ10に対して訪問者に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「ユーザにオススメの訪問者への応答内容は他にある?」という固定文を追加して、文章生成モデルに入力し、訪問者への応答内容に関するオススメの内容を取得する。そして、上記ステップ4へ戻り、ユーザ10に対して提案した応答内容で訪問者に応答する処理を実行すると決定するまで、上記のステップ4~ステップ5-2の処理を繰り返す。
このように、一の例では、ロボット100は、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、建具の開度を調整するとともに、建具の周囲に虫除け用の超音波を発生する処理を実行することができる。
また他の例では、ロボット100は、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、訪問販売等の訪問者に応答する処理を実行することができる。
また他の例では、ロボット100は、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、訪問販売等の訪問者に応答する処理を実行することができる。
以上の実施形態に関し、更に以下の付記を開示する。
(付記1)
ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記行動決定部は、前記文章生成モデルによるユーザとの対話結果に基づいて、建具の周囲に虫除け用の超音波を発生するか否かを決定し、又は前記文章生成モデルによるユーザとの対話結果に基づいて、訪問者に対する応答内容を決定する、
行動制御システム。
(付記2)
前記行動決定部は、前記文章生成モデルによるユーザとの対話結果に基づいて、前記建具の開度を決定するとともに、該建具の周囲に虫除け用の超音波を発生するか否かを決定する付記1記載の行動制御システム。
(付記3)
前記ロボットは、ぬいぐるみに搭載され、又はぬいぐるみに搭載された制御対象機器に無線又は有線で接続されている付記1又は付記2記載の行動制御システム。
(付記1)
ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記行動決定部は、前記文章生成モデルによるユーザとの対話結果に基づいて、建具の周囲に虫除け用の超音波を発生するか否かを決定し、又は前記文章生成モデルによるユーザとの対話結果に基づいて、訪問者に対する応答内容を決定する、
行動制御システム。
(付記2)
前記行動決定部は、前記文章生成モデルによるユーザとの対話結果に基づいて、前記建具の開度を決定するとともに、該建具の周囲に虫除け用の超音波を発生するか否かを決定する付記1記載の行動制御システム。
(付記3)
前記ロボットは、ぬいぐるみに搭載され、又はぬいぐるみに搭載された制御対象機器に無線又は有線で接続されている付記1又は付記2記載の行動制御システム。
(その他の実施形態13)
その他の実施形態として、上記のロボット100を、電化製品、コンピュータ、自動車、バイク、玩具等の機器に搭載されたロボットに適用してもよいし、ロボット100が、電化製品、コンピュータ、自動車、バイク、玩具等の機器を制御してもよい。また、ロボット100を、ぬいぐるみに搭載してもよいし、ぬいぐるみに搭載された制御対象機器(スピーカやカメラ)に無線又は有線で接続された制御装置に適用してもよい。その他の実施形態は具体的には、以下のように構成される。例えば、ロボット100を料理の献立(メニュー)の内容を提案する献立作成システムの制御に適用してもよい。
その他の実施形態として、上記のロボット100を、電化製品、コンピュータ、自動車、バイク、玩具等の機器に搭載されたロボットに適用してもよいし、ロボット100が、電化製品、コンピュータ、自動車、バイク、玩具等の機器を制御してもよい。また、ロボット100を、ぬいぐるみに搭載してもよいし、ぬいぐるみに搭載された制御対象機器(スピーカやカメラ)に無線又は有線で接続された制御装置に適用してもよい。その他の実施形態は具体的には、以下のように構成される。例えば、ロボット100を料理の献立(メニュー)の内容を提案する献立作成システムの制御に適用してもよい。
ロボット100が制御する献立作成システムは、献立履歴データを記憶する記憶部と、気温、湿度又は季節に関する情報、食材に関する情報、冷蔵庫の在庫に関する情報、又はユーザの体調や病気に関する情報等を取得する取得部と、音声を出力するスピーカとを備えている。取得部としては、外部の機器と有線又は無線により接続された通信処理部280を用いることができる。また、ロボット100は、気温や湿度を検出するセンサを備えていてもよい。この場合、取得部としてセンサを用いることができる。また、献立作成システムは、献立の内容を表示する表示部を備えていてもよい。
ロボット100は、以下のステップ1~ステップ5-2により、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、献立を作成して献立の内容を出力する処理を実行する。
(ステップ1)ロボット100は、ユーザ10の状態、ユーザ10の感情値、ロボット100の感情値、履歴データ222を取得する。具体的には、上記ステップS100~S103と同様の処理を行い、ユーザ10の状態、ユーザ10の感情値、ロボット100の感情値、履歴データ222を取得する。
(ステップ2)ロボット100は、ユーザの好きな食材や、味や料理のジャンル等に関するユーザ10の好みを取得する。
具体的には、行動決定部236は、ユーザ10に対して、好きな食材や、味や料理のジャンル等に関する好みを質問する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して、好きな食材や、味や料理のジャンル等に関する好みを質問する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報(例えば、ユーザの回答)に基づいて、ユーザ10に対して、好きな食材や、味や料理のジャンル等に関する好みを認識する。例えば、ロボット100は、ユーザ10に対して、「好きな食材は何ですか?」と、「どのような味が好きですか?」と、「好きな料理のジャンルは何ですか?」というような質問を発話する。そして、ロボット100は、ユーザ10からの、「トマトが好きです。」とか、「辛いものが好きです。」とか、「和食が好きです。」等の回答に基づいて、ユーザ10の好きな食材や、味や料理のジャンル等に関する好みを認識する。
具体的には、行動決定部236は、ユーザ10に対して、好きな食材や、味や料理のジャンル等に関する好みを質問する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して、好きな食材や、味や料理のジャンル等に関する好みを質問する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報(例えば、ユーザの回答)に基づいて、ユーザ10に対して、好きな食材や、味や料理のジャンル等に関する好みを認識する。例えば、ロボット100は、ユーザ10に対して、「好きな食材は何ですか?」と、「どのような味が好きですか?」と、「好きな料理のジャンルは何ですか?」というような質問を発話する。そして、ロボット100は、ユーザ10からの、「トマトが好きです。」とか、「辛いものが好きです。」とか、「和食が好きです。」等の回答に基づいて、ユーザ10の好きな食材や、味や料理のジャンル等に関する好みを認識する。
(ステップ3)ロボット100は、ユーザ10に対して提案する献立の内容を決定する。
具体的には、行動決定部236は、ユーザ10の好きな食材や、味や料理のジャンル等に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「このとき、ユーザにオススメの献立は何?」という固定文を追加して、文章生成モデルに入力し、好きな食材や味や料理のジャンル等に関するオススメの内容を取得する。このとき、ユーザ10の好きな食材や味や料理のジャンル等に関する好みだけでなく、ユーザ10の感情や履歴データ222を考慮することにより、その時のユーザ10の感情に適した献立を提案することができる。また、ロボット100の感情を考慮することにより、ロボット100が感情を有していることを、ユーザ10に感じさせることができる。例えば、ロボット100は、ユーザ10の好きな食材がトマトで、ユーザ10が疲れていると判定した場合には、トマトを使用した疲労回復効果のある献立を作成して献立の内容を出力するような制御を行う。
具体的には、行動決定部236は、ユーザ10の好きな食材や、味や料理のジャンル等に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「このとき、ユーザにオススメの献立は何?」という固定文を追加して、文章生成モデルに入力し、好きな食材や味や料理のジャンル等に関するオススメの内容を取得する。このとき、ユーザ10の好きな食材や味や料理のジャンル等に関する好みだけでなく、ユーザ10の感情や履歴データ222を考慮することにより、その時のユーザ10の感情に適した献立を提案することができる。また、ロボット100の感情を考慮することにより、ロボット100が感情を有していることを、ユーザ10に感じさせることができる。例えば、ロボット100は、ユーザ10の好きな食材がトマトで、ユーザ10が疲れていると判定した場合には、トマトを使用した疲労回復効果のある献立を作成して献立の内容を出力するような制御を行う。
(ステップ4)ロボット100は、ステップ3で決定した献立の内容を、ユーザ10に対して提案し、ユーザ10の反応を取得する。
具体的には、行動決定部236は、ユーザ10に対して決定した献立の内容を提案する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して決定した献立の内容を提案する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報に基づいて、ユーザ10の状態を認識し、感情決定部232は、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ユーザ10の感情を示す感情値を決定する。
行動決定部236は、ユーザ状態認識部230によって認識されたユーザ10の状態、及び、ユーザ10の感情を示す感情値に基づいて、ユーザ10の反応が、ポジティブか否かを判断し、ロボット100の行動として、ユーザ10に対して提案した献立の内容を出力する処理を実行するか、ユーザ10に対して別の献立の内容を提案するかを決定する。
具体的には、行動決定部236は、ユーザ10に対して決定した献立の内容を提案する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して決定した献立の内容を提案する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報に基づいて、ユーザ10の状態を認識し、感情決定部232は、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ユーザ10の感情を示す感情値を決定する。
行動決定部236は、ユーザ状態認識部230によって認識されたユーザ10の状態、及び、ユーザ10の感情を示す感情値に基づいて、ユーザ10の反応が、ポジティブか否かを判断し、ロボット100の行動として、ユーザ10に対して提案した献立の内容を出力する処理を実行するか、ユーザ10に対して別の献立の内容を提案するかを決定する。
(ステップ5-1)ユーザ10の反応がポジティブである場合、ロボット100は、提案した献立の内容を出力する処理を実行する。
具体的には、ロボット100の行動として、ユーザ10に対して提案した献立の内容を出力する処理を実行すると決定した場合に、行動制御部250が、ユーザ10に対して提案した献立の内容の出力を実行するように、制御対象252である献立作成システムを制御する。
具体的には、ロボット100の行動として、ユーザ10に対して提案した献立の内容を出力する処理を実行すると決定した場合に、行動制御部250が、ユーザ10に対して提案した献立の内容の出力を実行するように、制御対象252である献立作成システムを制御する。
(ステップ5-2)ユーザ10の反応がポジティブでない場合、ロボット100が、ユーザ10に対して提案する別の献立の内容の出力を決定する。例えば、行動決定部236は、ユーザ10の感情のテンションがあまり高くないと判定した場合には、別の献立の内容を出力するような制御を行う。
具体的には、例えば、ロボット100が、「鍋料理はいかがでしょうか。」というような質問を発話する。そして、ロボット100は、ユーザ10からの「んー。」等の考え込むような反応や、ロボット100の発話に対するユーザ10の反応が遅いと判定した場合に、別の献立の内容を出力するような制御を行う。
そして、ロボット100の行動として、ユーザ10に対して別の献立の内容を提案すると決定した場合には、行動決定部236は、ユーザ10に対して、好きな食材、味や料理のジャンル等に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「ユーザにオススメの献立は他にある?」という固定文を追加して、文章生成モデルに入力し、好きな食材や味や料理のジャンルに関するオススメの内容を取得する。そして、上記ステップ4へ戻り、ユーザ10に対して提案した献立の内容を出力する処理を実行すると決定するまで、上記のステップ4~ステップ5-2の処理を繰り返す。
具体的には、例えば、ロボット100が、「鍋料理はいかがでしょうか。」というような質問を発話する。そして、ロボット100は、ユーザ10からの「んー。」等の考え込むような反応や、ロボット100の発話に対するユーザ10の反応が遅いと判定した場合に、別の献立の内容を出力するような制御を行う。
そして、ロボット100の行動として、ユーザ10に対して別の献立の内容を提案すると決定した場合には、行動決定部236は、ユーザ10に対して、好きな食材、味や料理のジャンル等に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「ユーザにオススメの献立は他にある?」という固定文を追加して、文章生成モデルに入力し、好きな食材や味や料理のジャンルに関するオススメの内容を取得する。そして、上記ステップ4へ戻り、ユーザ10に対して提案した献立の内容を出力する処理を実行すると決定するまで、上記のステップ4~ステップ5-2の処理を繰り返す。
このように、ロボット100は、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、献立を作成して献立の内容を出力する処理を実行することができる。
行動決定部236は、気温、湿度又は季節に関する情報を用いて、ロボット100に出力させる献立の内容が変更されるように制御するようにしてもよい。気温、湿度又は季節に関する情報は、外部の機器に接続された通信処理部280を介して取得してもよいし、ロボット100に備えられたセンサにより検出して取得してもよい。
具体的には、例えば、行動決定部236は、季節が冬で、その日の気温が所定温度より低い寒い日であると判定した場合には、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、すき焼きや鍋料理等の身体の温まる料理の献立の内容を提案するように制御する。また、行動決定部236は、季節が夏で、その日の気温が所定温度よりも高い暑い日であると判定した場合には、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、そうめん等のあっさりした料理の献立の内容を提案するように制御する。また、行動決定部236は、献立を出力する日がクリスマスであると判定した場合には、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、クリスマス料理の献立を提案するように制御する。
具体的には、例えば、行動決定部236は、季節が冬で、その日の気温が所定温度より低い寒い日であると判定した場合には、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、すき焼きや鍋料理等の身体の温まる料理の献立の内容を提案するように制御する。また、行動決定部236は、季節が夏で、その日の気温が所定温度よりも高い暑い日であると判定した場合には、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、そうめん等のあっさりした料理の献立の内容を提案するように制御する。また、行動決定部236は、献立を出力する日がクリスマスであると判定した場合には、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、クリスマス料理の献立を提案するように制御する。
また、行動決定部236は、使用する食材に関する情報を用いて、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、ロボット100に出力させる献立の内容が変更されるように制御するようにしてもよい。使用する食材に関する情報は、ロボット100が、ユーザ10との対話の中から取得したものを用いる。
具体的には、例えば、行動決定部236は、使用する食材が肉であると判定した場合には、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、肉を使用する献立に変更するように制御する。
具体的には、例えば、行動決定部236は、使用する食材が肉であると判定した場合には、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、肉を使用する献立に変更するように制御する。
また、行動決定部236は、冷蔵庫の在庫に関する情報を用いて、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、ロボット100に出力させる献立の内容が変更されるように制御するようにしてもよい。冷蔵庫の在庫に関する情報は、ロボット100が、ユーザ10との対話の中から取得してもよいし、冷蔵庫に搭載されたカメラ等に接続された通信処理部280を介して取得してもよい。
具体的には、例えば、行動決定部236は、冷蔵庫にブリと大根と人参があると判定した場合には、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、ブリと大根と人参を使用する献立に変更するように制御する。
具体的には、例えば、行動決定部236は、冷蔵庫にブリと大根と人参があると判定した場合には、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、ブリと大根と人参を使用する献立に変更するように制御する。
また、行動決定部236は、ユーザの体調や病気に関する情報を用いて、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、ロボット100に出力させる献立の内容が変更されるように制御するようにしてもよい。ユーザの体調や病気に関する情報は、ロボット100が、ユーザ10との対話の中から取得してもよいし、ユーザ10が装着したウェアラブル端末に接続された通信処理部280を介して取得してもよい。また、ユーザ10が服用している薬の情報を用いてユーザの病気に関する情報を取得してもよい。
具体的には、例えば、行動決定部236は、ユーザが疲れていると判定した場合には、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、疲労回復効果のある献立の内容に変更するように制御する。また、血圧が高いと判定した場合には、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、血圧を下げるような献立に変更するように制御する。また、ユーザ10が、糖尿病の薬を服用していると判定した場合には、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、血糖値を下げるような献立に変更するように制御する。
具体的には、例えば、行動決定部236は、ユーザが疲れていると判定した場合には、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、疲労回復効果のある献立の内容に変更するように制御する。また、血圧が高いと判定した場合には、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、血圧を下げるような献立に変更するように制御する。また、ユーザ10が、糖尿病の薬を服用していると判定した場合には、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、血糖値を下げるような献立に変更するように制御する。
また、行動決定部236は、ユーザの献立履歴データを用いて、ロボット100に出力させる献立の内容が変更されるように制御する。具体的には、ロボット100は、ユーザに対して出力した献立の内容を、献立履歴データとして記憶部に記憶させる。そして、行動決定部236は、出力してから所定期間経過していない献立は除くように献立の内容が変更されるように制御する。
なお、行動決定部236は、ユーザ10の感情又はロボット100の感情に基づいて、出力する料理のジャンルを選択して、選択したジャンルに含まれる献立がロボット100において出力されるように制御する。例えば、出力される料理を、和食、洋食、中華、アジア、エスニック等のジャンルに区別しておき、出力する料理のジャンルに含まれる献立を出力するようにしてもよい。
以上の実施形態に関し、更に以下の付記を開示する。
(付記1)
ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記行動決定部は、ユーザの感情又はロボットの感情に基づいて、前記ロボットに献立の内容を出力させる、
行動制御システム。
(付記2)
気温、湿度又は季節に関する情報を取得する取得部を含み、
前記行動決定部は、気温、湿度又は季節に関する情報を用いて、前記ロボットに出力させる献立の内容が変更されるように制御する、
付記1記載の行動制御システム。
(付記3)
食材に関する情報を取得する取得部を含み、
前記行動決定部は、使用する食材に関する情報を用いて、前記ロボットに出力させる献立の内容が変更されるように制御する、
付記1記載の行動制御システム。
(付記4)
冷蔵庫の在庫に関する情報を取得する取得部を含み、
前記行動決定部は、冷蔵庫の在庫に関する情報を用いて、前記ロボットに出力させる献立の内容が変更されるように制御する、
付記1記載の行動制御システム。
(付記5)
ユーザの体調に関する情報を取得する取得部を含み、
前記行動決定部は、ユーザの体調に関する情報を用いて、前記ロボットに出力させる献立の内容が変更されるように制御する、
付記1記載の行動制御システム。
(付記6)
前記行動決定部は、ユーザの献立履歴データを用いて、前記ロボットに出力させる献立の内容が変更されるように制御する、
付記1記載の行動制御システム。
(付記7)
前記ロボットは、ぬいぐるみに搭載され、又はぬいぐるみに搭載された制御対象機器に無線又は有線で接続されている付記1記載の行動制御システム。
(付記1)
ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記行動決定部は、ユーザの感情又はロボットの感情に基づいて、前記ロボットに献立の内容を出力させる、
行動制御システム。
(付記2)
気温、湿度又は季節に関する情報を取得する取得部を含み、
前記行動決定部は、気温、湿度又は季節に関する情報を用いて、前記ロボットに出力させる献立の内容が変更されるように制御する、
付記1記載の行動制御システム。
(付記3)
食材に関する情報を取得する取得部を含み、
前記行動決定部は、使用する食材に関する情報を用いて、前記ロボットに出力させる献立の内容が変更されるように制御する、
付記1記載の行動制御システム。
(付記4)
冷蔵庫の在庫に関する情報を取得する取得部を含み、
前記行動決定部は、冷蔵庫の在庫に関する情報を用いて、前記ロボットに出力させる献立の内容が変更されるように制御する、
付記1記載の行動制御システム。
(付記5)
ユーザの体調に関する情報を取得する取得部を含み、
前記行動決定部は、ユーザの体調に関する情報を用いて、前記ロボットに出力させる献立の内容が変更されるように制御する、
付記1記載の行動制御システム。
(付記6)
前記行動決定部は、ユーザの献立履歴データを用いて、前記ロボットに出力させる献立の内容が変更されるように制御する、
付記1記載の行動制御システム。
(付記7)
前記ロボットは、ぬいぐるみに搭載され、又はぬいぐるみに搭載された制御対象機器に無線又は有線で接続されている付記1記載の行動制御システム。
(その他の実施形態14)
その他の実施形態として、上記のロボット100を、電化製品、コンピュータ、自動車、バイク、玩具等の機器に搭載されたロボットに適用してもよいし、ロボット100が、電化製品、コンピュータ、自動車、バイク、玩具等の機器を制御してもよい。また、ロボット100を、ぬいぐるみに搭載してもよいし、ぬいぐるみに搭載された制御対象機器(例えば、スピーカやカメラ)をロボット100が制御してもよい。ロボット100が制御対象機器を制御する場合では、例えば、ロボット100は無線又は有線で制御対象機器に接続される。
その他の実施形態として、上記のロボット100を、電化製品、コンピュータ、自動車、バイク、玩具等の機器に搭載されたロボットに適用してもよいし、ロボット100が、電化製品、コンピュータ、自動車、バイク、玩具等の機器を制御してもよい。また、ロボット100を、ぬいぐるみに搭載してもよいし、ぬいぐるみに搭載された制御対象機器(例えば、スピーカやカメラ)をロボット100が制御してもよい。ロボット100が制御対象機器を制御する場合では、例えば、ロボット100は無線又は有線で制御対象機器に接続される。
さらに、その他の実施形態として、上記のロボット100を、体組成の数値を測定する測定装置に搭載してもよいし、当該測定装置に搭載された制御対象機器(例えば、スピーカやカメラ)をロボット100が制御してもよい。ロボット100が制御対象機器を制御する場合では、例えば、ロボット100は無線又は有線で制御対象機器に接続される。体組成の数値とは、体重、身長、体脂肪率、筋肉量、骨格筋率、骨量、基礎代謝、内臓脂肪レベル、及びBMIなどの体の組成に係る数値である。当該測定装置としては、例えば、体重計、身長計、及び体組成計などがある。なお、ロボット100を測定装置に適用する場合では、例えば、家族や仲間などで構成される複数のユーザが存在することが想定される。
測定装置は、体組成の数値を測定する測定部を有している。当該測定部は、各種センサを有し、当該センサを用いてユーザ10の重量、寸法、及び電気抵抗値等を測定することで、体組成の数値を測定する。また当該測定部は、ロボット100によって制御され、測定部で測定された測定結果(すなわち数値データ)をロボット100が取得する。なお、測定部は、ロボット100とは別の制御部によって制御されてもよい。
ロボット100は、以下のステップ1~ステップ5により、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、体組成の数値を測定したユーザに対して応対動作を提示する処理を実行する。具体的には、ロボット100は、以下のステップ1~ステップ5により、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、例えば、体組成の数値を測定したユーザを褒める、励ます又は叱る応対動作を、ユーザ10に対して提示する処理を実行する。なお、応対動作としては、褒める、励ます又は叱るが、代表的なものではあるが、これらに限られず、種々の応対動作(例えば、諭す、声を掛けずに寄り添うなど)があり得る。
(ステップ1)ロボット100は、ユーザ10の状態、ユーザ10の感情値、ロボット100の感情値、履歴データ222を取得する。具体的には、上記ステップS100~S103と同様の処理を行い、ユーザ10の状態、ユーザ10の感情値、ロボット100の感情値、履歴データ222を取得する。さらに、ロボット100は、測定部による測定結果を取得する。
(ステップ2)ロボット100は、例えば、他者からの応対、及び身体に関するユーザ10の好みを取得する。
具体的には、行動決定部236は、ユーザ10に対して、他者からの応対、及び身体に関する好みを質問する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して、他者からの応対、及び身体に関する好みを質問する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報(例えば、ユーザの回答)に基づいて、ユーザ10に対して他者からの応対、及び身体に関する好みを認識する。身体に関する好みとしては、例えば、体型(例えば、やせ型、肥満型など)、体つき(例えば、筋肉質など)、身体を動かす運動などについての好みが挙げられる。他者からの応対に関する好みとしては、他者から褒められることを好むか否か、他者から励まされることを好むか否か、他者から叱られることを好むか否かなどが挙げられる。
具体的には、行動決定部236は、ユーザ10に対して、他者からの応対、及び身体に関する好みを質問する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して、他者からの応対、及び身体に関する好みを質問する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報(例えば、ユーザの回答)に基づいて、ユーザ10に対して他者からの応対、及び身体に関する好みを認識する。身体に関する好みとしては、例えば、体型(例えば、やせ型、肥満型など)、体つき(例えば、筋肉質など)、身体を動かす運動などについての好みが挙げられる。他者からの応対に関する好みとしては、他者から褒められることを好むか否か、他者から励まされることを好むか否か、他者から叱られることを好むか否かなどが挙げられる。
(ステップ3)ロボット100は、ユーザ10に対して提示する応対動作を決定する。
具体的には、行動決定部236は、測定部による測定結果、ユーザ10の他者からの応対、及び身体に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「このとき、ユーザにオススメの応対動作は何?」という固定文を追加して、文章生成モデルに入力し、オススメの動作内容を取得する。このとき、ユーザ10の他者からの応対、及び身体に関する好みだけでなく、ユーザ10の感情や履歴データ222を考慮することにより、ユーザ10に適した応対動作を提示することができる。また、ロボット100の感情を考慮することにより、ロボット100が感情を有していることを、ユーザ10に感じさせることができる。
具体的には、行動決定部236は、測定部による測定結果、ユーザ10の他者からの応対、及び身体に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「このとき、ユーザにオススメの応対動作は何?」という固定文を追加して、文章生成モデルに入力し、オススメの動作内容を取得する。このとき、ユーザ10の他者からの応対、及び身体に関する好みだけでなく、ユーザ10の感情や履歴データ222を考慮することにより、ユーザ10に適した応対動作を提示することができる。また、ロボット100の感情を考慮することにより、ロボット100が感情を有していることを、ユーザ10に感じさせることができる。
(ステップ4)ロボット100は、ステップ3で決定した応対動作を、ユーザ10に対して提示し、ユーザ10の反応を取得する。
具体的には、行動決定部236は、ユーザ10に対して応対動作を提示する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して応対動作を提示する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報に基づいて、ユーザ10の状態を認識し、感情決定部232は、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ユーザ10の感情を示す感情値を決定する。
行動決定部236は、ユーザ状態認識部230によって認識されたユーザ10の状態、及び、ユーザ10の感情を示す感情値に基づいて、ユーザ10の反応が、ポジティブか否かを判断する。
具体的には、行動決定部236は、ユーザ10に対して応対動作を提示する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して応対動作を提示する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報に基づいて、ユーザ10の状態を認識し、感情決定部232は、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ユーザ10の感情を示す感情値を決定する。
行動決定部236は、ユーザ状態認識部230によって認識されたユーザ10の状態、及び、ユーザ10の感情を示す感情値に基づいて、ユーザ10の反応が、ポジティブか否かを判断する。
(ステップ5)ユーザ10の反応がポジティブでない場合、ロボット100が、ユーザ10に対して提示する別の応対動作を決定する。
具体的には、ロボット100の行動として、ユーザ10に対して別の応対動作を提示すると決定した場合には、行動決定部236は、測定部による測定結果、ユーザ10に対して他者からの応対、及び身体に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「ユーザにオススメの応対動作は他にある?」という固定文を追加して、文章生成モデルに入力し、オススメの動作内容を取得する。そして、上記ステップ4へ戻り、ユーザ10に対して当該応対動作を提示し、ユーザ10の反応が、ポジティブであると判断するまで、上記のステップ4~ステップ5の処理を繰り返す。
具体的には、ロボット100の行動として、ユーザ10に対して別の応対動作を提示すると決定した場合には、行動決定部236は、測定部による測定結果、ユーザ10に対して他者からの応対、及び身体に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「ユーザにオススメの応対動作は他にある?」という固定文を追加して、文章生成モデルに入力し、オススメの動作内容を取得する。そして、上記ステップ4へ戻り、ユーザ10に対して当該応対動作を提示し、ユーザ10の反応が、ポジティブであると判断するまで、上記のステップ4~ステップ5の処理を繰り返す。
このように、ロボット100は、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、体組成の数値を測定したユーザに対して応対動作を提示する処理を実行することができる。
以上の実施形態に関し、更に以下の付記を開示する。
(付記1)
ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記行動決定部は、体組成の数値を測定したユーザに対する前記ロボットの応対動作を、前記文章生成モデルに基づき、前記行動として決定する、
行動制御システム。
(付記2)
前記行動決定部は、ユーザを褒める、励ます又は叱る動作を前記応対動作として決定する、
付記1記載の行動制御システム。
(付記3)
前記ロボットは、体組成の数値を測定する測定装置に搭載され、又は当該測定装置に搭載された制御対象機器を制御する付記1記載の行動制御システム。
(付記4)
前記ロボットは、ぬいぐるみに搭載され、又はぬいぐるみに搭載された制御対象機器を制御する付記1記載の行動制御システム。
(付記1)
ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記行動決定部は、体組成の数値を測定したユーザに対する前記ロボットの応対動作を、前記文章生成モデルに基づき、前記行動として決定する、
行動制御システム。
(付記2)
前記行動決定部は、ユーザを褒める、励ます又は叱る動作を前記応対動作として決定する、
付記1記載の行動制御システム。
(付記3)
前記ロボットは、体組成の数値を測定する測定装置に搭載され、又は当該測定装置に搭載された制御対象機器を制御する付記1記載の行動制御システム。
(付記4)
前記ロボットは、ぬいぐるみに搭載され、又はぬいぐるみに搭載された制御対象機器を制御する付記1記載の行動制御システム。
(その他の実施形態15)
その他の実施形態として、上記のロボット100を、電化製品、コンピュータ、自動車、バイク、玩具等の機器に搭載されたロボットに適用してもよいし、ロボット100が、電化製品、コンピュータ、自動車、バイク、玩具等の機器を制御してもよい。また、ロボット100を、ぬいぐるみに搭載してもよいし、ぬいぐるみに搭載された制御対象機器(スピーカやカメラ)に無線又は有線で接続された制御装置に適用してもよい。その他の実施形態は具体的には、以下のように構成される。例えば、ロボット100をAI世間話システムの制御に適用してもよい。
その他の実施形態として、上記のロボット100を、電化製品、コンピュータ、自動車、バイク、玩具等の機器に搭載されたロボットに適用してもよいし、ロボット100が、電化製品、コンピュータ、自動車、バイク、玩具等の機器を制御してもよい。また、ロボット100を、ぬいぐるみに搭載してもよいし、ぬいぐるみに搭載された制御対象機器(スピーカやカメラ)に無線又は有線で接続された制御装置に適用してもよい。その他の実施形態は具体的には、以下のように構成される。例えば、ロボット100をAI世間話システムの制御に適用してもよい。
ロボット100が制御するAI世間話システムは、機能的には、インターネット検索エンジンによって検索したニュースを取得して配信するニュース配信部と、配信したニュースに対するコメントを付与(例えば、クラウドにアップロード)するコメント付与部と、を備えている。
ロボット100は、以下のステップ1~ステップ5-2により、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、ニュースを配信する処理を実行する。また、ロボット100は、以下のステップ11~ステップ15-2により、ロボットと会話をしながら配信したニュースに対するコメントを付与する処理を実行する。
(ステップ1)ロボット100は、ユーザ10の状態、ユーザ10の感情値、ロボット100の感情値、履歴データ222を取得する。具体的には、上記ステップS100~S103と同様の処理を行い、ユーザ10の状態、ユーザ10の感情値、ロボット100の感情値、履歴データ222を取得する。
(ステップ2)ロボット100は、ニュースに関するユーザ10の好みを取得する。
具体的には、行動決定部236は、ユーザ10に対してニュースに関する好みを質問する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対してニュースに関する好みを質問する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報(例えば、ユーザの回答)に基づいて、ユーザ10に対してニュースに関する好みを認識する。
具体的には、行動決定部236は、ユーザ10に対してニュースに関する好みを質問する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対してニュースに関する好みを質問する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報(例えば、ユーザの回答)に基づいて、ユーザ10に対してニュースに関する好みを認識する。
(ステップ3)ロボット100は、ユーザ10に対して提案するニュースを決定する。
具体的には、行動決定部236は、ユーザ10のニュースに関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「このとき、ユーザにオススメのニュースは何?」という固定文を追加して、文章生成モデルに入力し、ニュースに関するオススメの内容を取得する。このとき、ユーザ10のニュースに関する好みだけでなく、ユーザ10の感情や履歴データ222を考慮することにより、ユーザ10に適したニュースを提案することができる。また、ロボット100の感情を考慮することにより、ロボット100が感情を有していることを、ユーザ10に感じさせることができる。
具体的には、行動決定部236は、ユーザ10のニュースに関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「このとき、ユーザにオススメのニュースは何?」という固定文を追加して、文章生成モデルに入力し、ニュースに関するオススメの内容を取得する。このとき、ユーザ10のニュースに関する好みだけでなく、ユーザ10の感情や履歴データ222を考慮することにより、ユーザ10に適したニュースを提案することができる。また、ロボット100の感情を考慮することにより、ロボット100が感情を有していることを、ユーザ10に感じさせることができる。
(ステップ4)ロボット100は、ステップ3で決定したニュースを、ユーザ10に対して提案し、ユーザ10の反応を取得する。
具体的には、行動決定部236は、ユーザ10に対してニュースを提案する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対してニュースを提案する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報に基づいて、ユーザ10の状態を認識し、感情決定部232は、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ユーザ10の感情を示す感情値を決定する。
行動決定部236は、ユーザ状態認識部230によって認識されたユーザ10の状態、及び、ユーザ10の感情を示す感情値に基づいて、ユーザ10の反応が、ポジティブか否かを判断し、ロボット100の行動として、ユーザ10に対して提案したニュースを配信する処理を実行するか、ユーザ10に対して別のニュースを提案するかを決定する。
具体的には、行動決定部236は、ユーザ10に対してニュースを提案する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対してニュースを提案する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報に基づいて、ユーザ10の状態を認識し、感情決定部232は、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ユーザ10の感情を示す感情値を決定する。
行動決定部236は、ユーザ状態認識部230によって認識されたユーザ10の状態、及び、ユーザ10の感情を示す感情値に基づいて、ユーザ10の反応が、ポジティブか否かを判断し、ロボット100の行動として、ユーザ10に対して提案したニュースを配信する処理を実行するか、ユーザ10に対して別のニュースを提案するかを決定する。
(ステップ5-1)ユーザ10の反応がポジティブである場合、ロボット100は、提案したニュースを配信する処理を実行する。
具体的には、ロボット100の行動として、ユーザ10に対して提案したニュースを配信する処理を実行すると決定した場合に、行動制御部250が、ユーザ10に対して提案したニュースを配信する処理を実行するように、制御対象252である表示装置及びスピーカの少なくとも一方を制御する。
具体的には、ロボット100の行動として、ユーザ10に対して提案したニュースを配信する処理を実行すると決定した場合に、行動制御部250が、ユーザ10に対して提案したニュースを配信する処理を実行するように、制御対象252である表示装置及びスピーカの少なくとも一方を制御する。
(ステップ5-2)ユーザ10の反応がポジティブでない場合、ロボット100が、ユーザ10に対して提案する別のニュースを決定する。
具体的には、ロボット100の行動として、ユーザ10に対して別のニュースを提案すると決定した場合には、行動決定部236は、ユーザ10に対してニュースに関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「ユーザにオススメのニュースは他にある?」という固定文を追加して、文章生成モデルに入力し、ニュースに関するオススメの内容を取得する。そして、上記ステップ4へ戻り、ユーザ10に対して提案したニュースを配信する処理を実行すると決定するまで、上記のステップ4~ステップ5-2の処理を繰り返す。
具体的には、ロボット100の行動として、ユーザ10に対して別のニュースを提案すると決定した場合には、行動決定部236は、ユーザ10に対してニュースに関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「ユーザにオススメのニュースは他にある?」という固定文を追加して、文章生成モデルに入力し、ニュースに関するオススメの内容を取得する。そして、上記ステップ4へ戻り、ユーザ10に対して提案したニュースを配信する処理を実行すると決定するまで、上記のステップ4~ステップ5-2の処理を繰り返す。
このように、ロボット100は、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、ニュースを配信する処理を実行することができる。
(ステップ11)ロボット100は、ユーザ10の状態、ユーザ10の感情値、ロボット100の感情値、履歴データ222を取得する。具体的には、上記ステップS100~S103と同様の処理を行い、ユーザ10の状態、ユーザ10の感情値、ロボット100の感情値、履歴データ222を取得する。
(ステップ12)ロボット100は、配信したニュースに対するコメントに関するユーザ10の好みを取得する。
具体的には、行動決定部236は、ユーザ10に対して配信したニュースに対するコメントに関する好みを質問する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して配信したニュースに対するコメントに関する好みを質問する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報(例えば、ユーザの回答)に基づいて、ユーザ10に対して配信したニュースに対するコメントに関する好みを認識する。
具体的には、行動決定部236は、ユーザ10に対して配信したニュースに対するコメントに関する好みを質問する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して配信したニュースに対するコメントに関する好みを質問する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報(例えば、ユーザの回答)に基づいて、ユーザ10に対して配信したニュースに対するコメントに関する好みを認識する。
(ステップ13)ロボット100は、ユーザ10に対して提案する配信したニュースに対するコメントを決定する。
具体的には、行動決定部236は、ユーザ10の配信したニュースに対するコメントに関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「配信したニュースに対するユーザにオススメのコメントは何?」という固定文を追加して、文章生成モデルに入力し、配信したニュースに対するコメントに関するオススメの内容を取得する。このとき、ユーザ10の配信したニュースに対するコメントに関する好みだけでなく、ユーザ10の感情や履歴データ222を考慮することにより、ユーザ10に適した配信したニュースに対するコメントを提案することができる。また、ロボット100の感情を考慮することにより、ロボット100が感情を有していることを、ユーザ10に感じさせることができる。
具体的には、行動決定部236は、ユーザ10の配信したニュースに対するコメントに関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「配信したニュースに対するユーザにオススメのコメントは何?」という固定文を追加して、文章生成モデルに入力し、配信したニュースに対するコメントに関するオススメの内容を取得する。このとき、ユーザ10の配信したニュースに対するコメントに関する好みだけでなく、ユーザ10の感情や履歴データ222を考慮することにより、ユーザ10に適した配信したニュースに対するコメントを提案することができる。また、ロボット100の感情を考慮することにより、ロボット100が感情を有していることを、ユーザ10に感じさせることができる。
(ステップ14)ロボット100は、ステップ13で決定した配信したニュースに対するコメントを、ユーザ10に対して提案し、ユーザ10の反応を取得する。
具体的には、行動決定部236は、ユーザ10に対して配信したニュースに対するコメントを提案する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して配信したニュースに対するコメントを提案する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報に基づいて、ユーザ10の状態を認識し、感情決定部232は、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ユーザ10の感情を示す感情値を決定する。行動決定部236は、ユーザ状態認識部230によって認識されたユーザ10の状態、及び、ユーザ10の感情を示す感情値に基づいて、ユーザ10の反応が、ポジティブか否かを判断し、ロボット100の行動として、ユーザ10に対して提案した配信したニュースに対するコメントを付与する処理を実行するか、ユーザ10に対して、配信したニュースに対する別のコメントを提案するかを決定する。
具体的には、行動決定部236は、ユーザ10に対して配信したニュースに対するコメントを提案する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して配信したニュースに対するコメントを提案する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報に基づいて、ユーザ10の状態を認識し、感情決定部232は、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ユーザ10の感情を示す感情値を決定する。行動決定部236は、ユーザ状態認識部230によって認識されたユーザ10の状態、及び、ユーザ10の感情を示す感情値に基づいて、ユーザ10の反応が、ポジティブか否かを判断し、ロボット100の行動として、ユーザ10に対して提案した配信したニュースに対するコメントを付与する処理を実行するか、ユーザ10に対して、配信したニュースに対する別のコメントを提案するかを決定する。
(ステップ15-1)ユーザ10の反応がポジティブである場合、ロボット100は、提案した配信したニュースに対するコメントを付与する処理を実行する。
具体的には、ロボット100の行動として、ユーザ10に対して提案した配信したニュースに対するコメントを付与する処理を実行すると決定した場合に、行動制御部250が、ユーザ10に対して提案した配信したニュースに対するコメントを付与する処理を実行するように、制御対象252である表示装置及びスピーカの少なくとも一方を制御する。
具体的には、ロボット100の行動として、ユーザ10に対して提案した配信したニュースに対するコメントを付与する処理を実行すると決定した場合に、行動制御部250が、ユーザ10に対して提案した配信したニュースに対するコメントを付与する処理を実行するように、制御対象252である表示装置及びスピーカの少なくとも一方を制御する。
(ステップ15-2)ユーザ10の反応がポジティブでない場合、ロボット100が、ユーザ10に対して提案する配信したニュースに対する別のコメントを決定する。
具体的には、ロボット100の行動として、ユーザ10に対して、配信したニュースに対する別のコメントを提案すると決定した場合には、行動決定部236は、ユーザ10に対して配信したニュースに対するコメントに関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「配信したニュースに対するユーザにオススメのコメントは他にある?」という固定文を追加して、文章生成モデルに入力し、配信したニュースに対するコメントに関するオススメの内容を取得する。そして、上記ステップ14へ戻り、ユーザ10に対して提案した配信したニュースに対する別のコメントを付与する処理を実行すると決定するまで、上記のステップ14~ステップ15-2の処理を繰り返す。
具体的には、ロボット100の行動として、ユーザ10に対して、配信したニュースに対する別のコメントを提案すると決定した場合には、行動決定部236は、ユーザ10に対して配信したニュースに対するコメントに関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「配信したニュースに対するユーザにオススメのコメントは他にある?」という固定文を追加して、文章生成モデルに入力し、配信したニュースに対するコメントに関するオススメの内容を取得する。そして、上記ステップ14へ戻り、ユーザ10に対して提案した配信したニュースに対する別のコメントを付与する処理を実行すると決定するまで、上記のステップ14~ステップ15-2の処理を繰り返す。
このように、ロボット100は、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、会話をしながら配信したニュースに対するコメントを付与する処理を実行することができる。
以上の実施形態に関し、更に以下の付記を開示する。
(付記1)
ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記行動決定部は、ユーザの好みのニュースを特定し、特定したニュースを配信すると共に、配信したニュースに対するコメントを付与することを、前記ロボットの行動として決定する
行動制御システム。
(付記2)
前記ロボットは、ぬいぐるみに搭載され、又はぬいぐるみに搭載された制御対象機器に無線又は有線で接続されている付記1記載の行動制御システム。
(付記1)
ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記行動決定部は、ユーザの好みのニュースを特定し、特定したニュースを配信すると共に、配信したニュースに対するコメントを付与することを、前記ロボットの行動として決定する
行動制御システム。
(付記2)
前記ロボットは、ぬいぐるみに搭載され、又はぬいぐるみに搭載された制御対象機器に無線又は有線で接続されている付記1記載の行動制御システム。
(その他の実施形態16)
その他の実施形態として、上記のロボット100を、電化製品、コンピュータ、自動車、バイク、玩具等の機器に搭載されたロボットに適用してもよいし、ロボット100が、電化製品、コンピュータ、自動車、バイク、玩具等の機器を制御してもよい。また、ロボット100を、ぬいぐるみに搭載してもよいし、ぬいぐるみに搭載された制御対象機器(スピーカやカメラ)に無線又は有線で接続された制御装置に適用してもよい。その他の実施形態は具体的には、以下のように構成される。例えば、ロボット100を自動車及びバイクなどの車両の運転についてアドバイスを行う運転レッスン装置の制御に適用してもよい。
その他の実施形態として、上記のロボット100を、電化製品、コンピュータ、自動車、バイク、玩具等の機器に搭載されたロボットに適用してもよいし、ロボット100が、電化製品、コンピュータ、自動車、バイク、玩具等の機器を制御してもよい。また、ロボット100を、ぬいぐるみに搭載してもよいし、ぬいぐるみに搭載された制御対象機器(スピーカやカメラ)に無線又は有線で接続された制御装置に適用してもよい。その他の実施形態は具体的には、以下のように構成される。例えば、ロボット100を自動車及びバイクなどの車両の運転についてアドバイスを行う運転レッスン装置の制御に適用してもよい。
ロボット100を運転レッスン装置に適用する場合、例えば、格納部220には、反応ルール221及び履歴データ222に加えて、運転技術に関する運転技術データが含まれる。運転技術データは、走行車線に対する自車両の適切な走行位置に関するデータや適切な加減速に関するデータなどを含む。また、運転技術データとして、アクセルペダル及びブレーキペダルの適切な操作タイミング、ステアリングの適切な操舵タイミングと適切な舵角などを含んでもよい。さらに、運転技術データとして、車両を駐車場などの所定の領域内に車両を駐車する際の技術に関するデータなどを含んでもよい。
また、ロボット100は、ユーザが運転する自動車及びバイクなどの車両と通信可能に構成されており、運転時における車両のデータを取得する。そして、格納部220に格納された履歴データ222には、ユーザ10の行動の履歴として、ユーザ10の運転時における運転データが含まれる。運転データとしては、例えば、車両の位置情報と、車速、アクセルペダルの踏み込み量、ブレーキペダルの踏み込み量、及びステアリングの舵角などがセットで記憶される。また、運転データとして、運転時におけるユーザ10の視線方向、心拍数及び覚醒度などのデータが記憶されてもよい。なお、運転技術データ及び運転データは、格納部220とは別のサーバ300などに記憶されてもよい。
また、ロボット100は、ユーザが運転する自動車及びバイクなどの車両と通信可能に構成されており、運転時における車両のデータを取得する。そして、格納部220に格納された履歴データ222には、ユーザ10の行動の履歴として、ユーザ10の運転時における運転データが含まれる。運転データとしては、例えば、車両の位置情報と、車速、アクセルペダルの踏み込み量、ブレーキペダルの踏み込み量、及びステアリングの舵角などがセットで記憶される。また、運転データとして、運転時におけるユーザ10の視線方向、心拍数及び覚醒度などのデータが記憶されてもよい。なお、運転技術データ及び運転データは、格納部220とは別のサーバ300などに記憶されてもよい。
ロボット100は、以下のステップ1~ステップ5-2により、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、運転技術を向上させるためのアドバイスをする処理を実行する。
(ステップ1)ロボット100は、ユーザ10の状態、ユーザ10の感情値、ロボット100の感情値、履歴データ222を取得する。具体的には、上記ステップS100~S103と同様の処理を行い、ユーザ10の状態、ユーザ10の感情値、ロボット100の感情値、履歴データ222を取得する。このとき、履歴データ222として、ユーザ10の運転データを取得し、ユーザ10の運転傾向を把握する。
(ステップ2)ロボット100は、車両の運転に関するユーザ10の好みを取得する。
具体的には、行動決定部236は、ユーザ10に対して車両の運転に関する好みを質問する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して車両の運転に関する好みを質問する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報(例えば、ユーザの回答)に基づいて、ユーザ10に対して車両の運転に関する好みを認識する。
具体的には、行動決定部236は、ユーザ10に対して車両の運転に関する好みを質問する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して車両の運転に関する好みを質問する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報(例えば、ユーザの回答)に基づいて、ユーザ10に対して車両の運転に関する好みを認識する。
(ステップ3)ロボット100は、ユーザ10に対して提案する運転の内容を決定する。
具体的には、行動決定部236は、ユーザ10の車両の運転に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「ユーザはどういう運転が好き?」という固定文を追加して、文章生成モデルに入力し、車両の運転に関するオススメの内容を取得する。このとき、ユーザ10の車両の運転に関する好みだけでなく、ユーザ10の感情や履歴データ222を考慮することにより、ユーザ10に適した運転を提案することができる。例えば、行動決定部236は、ユーザの感情に基づいて、アドバイスの態様を変更してもよい。すなわち、ユーザ10の感情が「怒」、「哀」、「不快」、「不安」、「悲しみ」、「心配」、及び「虚無感」のように、嫌な気持ちである場合とそうでない場合とで、ユーザ10に対する提案の態様を変更してもよい。また、ロボット100の感情を考慮することにより、ロボット100が感情を有していることを、ユーザ10に感じさせることができる。
具体的には、行動決定部236は、ユーザ10の車両の運転に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「ユーザはどういう運転が好き?」という固定文を追加して、文章生成モデルに入力し、車両の運転に関するオススメの内容を取得する。このとき、ユーザ10の車両の運転に関する好みだけでなく、ユーザ10の感情や履歴データ222を考慮することにより、ユーザ10に適した運転を提案することができる。例えば、行動決定部236は、ユーザの感情に基づいて、アドバイスの態様を変更してもよい。すなわち、ユーザ10の感情が「怒」、「哀」、「不快」、「不安」、「悲しみ」、「心配」、及び「虚無感」のように、嫌な気持ちである場合とそうでない場合とで、ユーザ10に対する提案の態様を変更してもよい。また、ロボット100の感情を考慮することにより、ロボット100が感情を有していることを、ユーザ10に感じさせることができる。
(ステップ4)ロボット100は、ステップ3で決定した運転の内容を、ユーザ10に対して提案し、ユーザ10の反応を取得する。
具体的には、行動決定部236は、ユーザ10に対して運転の内容を提案する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して運転の内容を提案する発話を行う。ここでいう、「運転の内容」とは、例えば、周囲の景色を見ながら低速度での運転を楽しみたい場合、法令を遵守しつつ目的地まで安全かつ迅速に走行したい場合などの内容を含む。また、「運転の内容」として、前方を走行する先行車両との車間を所定以上あけた運転、アダプティブクルーズコントロール(ACC)を利用した運転、燃費を意識したエコロジーな運転、などを含んでもよい。ユーザ状態認識部230は、センサモジュール部210で解析された情報に基づいて、ユーザ10の状態を認識し、感情決定部232は、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ユーザ10の感情を示す感情値を決定する。行動決定部236は、ユーザ状態認識部230によって認識されたユーザ10の状態、及び、ユーザ10の感情を示す感情値に基づいて、ユーザ10の反応が、ポジティブか否かを判断し、ロボット100の行動として、ユーザ10に対して提案した運転の内容に沿ったアドバイスを行う処理を実行するか、ユーザ10に対して別の運転の内容を提案するかを決定する。
具体的には、行動決定部236は、ユーザ10に対して運転の内容を提案する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して運転の内容を提案する発話を行う。ここでいう、「運転の内容」とは、例えば、周囲の景色を見ながら低速度での運転を楽しみたい場合、法令を遵守しつつ目的地まで安全かつ迅速に走行したい場合などの内容を含む。また、「運転の内容」として、前方を走行する先行車両との車間を所定以上あけた運転、アダプティブクルーズコントロール(ACC)を利用した運転、燃費を意識したエコロジーな運転、などを含んでもよい。ユーザ状態認識部230は、センサモジュール部210で解析された情報に基づいて、ユーザ10の状態を認識し、感情決定部232は、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ユーザ10の感情を示す感情値を決定する。行動決定部236は、ユーザ状態認識部230によって認識されたユーザ10の状態、及び、ユーザ10の感情を示す感情値に基づいて、ユーザ10の反応が、ポジティブか否かを判断し、ロボット100の行動として、ユーザ10に対して提案した運転の内容に沿ったアドバイスを行う処理を実行するか、ユーザ10に対して別の運転の内容を提案するかを決定する。
(ステップ5-1)ユーザ10の反応がポジティブである場合、ロボット100は、提案した運転の内容に沿ってアドバイスを行う処理を実行する。
具体的には、ロボット100の行動として、ユーザ10に対して提案した運転の内容に沿って運転アドバイスを行う処理を実行すると決定した場合に、行動制御部250が、ユーザ10に対して運転アドバイスを行う。
具体的には、ロボット100の行動として、ユーザ10に対して提案した運転の内容に沿って運転アドバイスを行う処理を実行すると決定した場合に、行動制御部250が、ユーザ10に対して運転アドバイスを行う。
(ステップ5-2)ユーザ10の反応がポジティブでない場合、ロボット100が、ユーザ10に対して提案する別の運転の内容を決定する。
具体的には、ロボット100の行動として、ユーザ10に対して別の運転アドバイスを提案すると決定した場合には、行動決定部236は、ユーザ10に対して車両の運転に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「ユーザは他にどういう運転が好き?」という固定文を追加して、文章生成モデルに入力し、車両の運転に関するオススメの内容を取得する。そして、上記ステップ4へ戻り、ユーザ10に対して提案した運転アドバイスを継続する処理を実行すると決定するまで、上記のステップ4~ステップ5-2の処理を繰り返す。
具体的には、ロボット100の行動として、ユーザ10に対して別の運転アドバイスを提案すると決定した場合には、行動決定部236は、ユーザ10に対して車両の運転に関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「ユーザは他にどういう運転が好き?」という固定文を追加して、文章生成モデルに入力し、車両の運転に関するオススメの内容を取得する。そして、上記ステップ4へ戻り、ユーザ10に対して提案した運転アドバイスを継続する処理を実行すると決定するまで、上記のステップ4~ステップ5-2の処理を繰り返す。
このように、ロボット100は、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、運転アドバイスを行う処理を実行することができる。
以上の実施形態に関し、更に以下の付記を開示する。
(付記1)
ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態及びユーザの感情に対応する前記ロボットの行動、又は前記ユーザ状態及びロボットの感情に対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記行動決定部は、車両を運転する運転者の好み、運転状況及び反応の少なくとも1つに基づいて運転者と会話を行うことで運転技術を向上させるためのアドバイスをする、
行動制御システム。
(付記2)
前記行動決定部は、ユーザの感情に基づいて、アドバイスの態様を変更する付記1記載の行動制御システム。
(付記3)
前記ロボットは、ぬいぐるみに搭載されて車両の車室内に設けられている付記1記載の行動制御システム。
(付記4)
前記ロボットは、ぬいぐるみに搭載された制御対象機器と無線又は有線で接続されている付記1記載の行動制御システム。
(付記1)
ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態及びユーザの感情に対応する前記ロボットの行動、又は前記ユーザ状態及びロボットの感情に対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記行動決定部は、車両を運転する運転者の好み、運転状況及び反応の少なくとも1つに基づいて運転者と会話を行うことで運転技術を向上させるためのアドバイスをする、
行動制御システム。
(付記2)
前記行動決定部は、ユーザの感情に基づいて、アドバイスの態様を変更する付記1記載の行動制御システム。
(付記3)
前記ロボットは、ぬいぐるみに搭載されて車両の車室内に設けられている付記1記載の行動制御システム。
(付記4)
前記ロボットは、ぬいぐるみに搭載された制御対象機器と無線又は有線で接続されている付記1記載の行動制御システム。
(その他の実施形態17)
その他の実施形態として、上記のロボット100を、電化製品、コンピュータ、自動車、バイク、玩具等の機器に搭載されたロボットに適用してもよいし、ロボット100が、電化製品、コンピュータ、自動車、バイク、玩具等の機器を制御してもよい。また、ロボット100を、ぬいぐるみに搭載してもよいし、ぬいぐるみに搭載された制御対象機器(スピーカやカメラ)に無線又は有線で接続された制御装置に適用してもよい。その他の実施形態は具体的には、以下のように構成される。例えば、ロボット100をAI交流会盛り上げマシンの制御に適用してもよい。
その他の実施形態として、上記のロボット100を、電化製品、コンピュータ、自動車、バイク、玩具等の機器に搭載されたロボットに適用してもよいし、ロボット100が、電化製品、コンピュータ、自動車、バイク、玩具等の機器を制御してもよい。また、ロボット100を、ぬいぐるみに搭載してもよいし、ぬいぐるみに搭載された制御対象機器(スピーカやカメラ)に無線又は有線で接続された制御装置に適用してもよい。その他の実施形態は具体的には、以下のように構成される。例えば、ロボット100をAI交流会盛り上げマシンの制御に適用してもよい。
ロボット100が制御するAI交流会盛り上げマシンは、機能的には、交流会を盛り上げるためのトピックを提供するトピック提供部を備えている。
ロボット100は、以下のステップ1~ステップ5-2により、ユーザとしての交流会の参加者の好み、ユーザの状況、ユーザの反応に合わせて、交流会の参加者同士の交流を円滑にするトピックを提供する処理を実行する。
(ステップ1)ロボット100は、ユーザ10の状態、ユーザ10の感情値、ロボット100の感情値、履歴データ222を取得する。具体的には、上記ステップS100~S103と同様の処理を行い、ユーザ10の状態、ユーザ10の感情値、ロボット100の感情値、履歴データ222を取得する。
(ステップ2)ロボット100は、交流会のトピックに関するユーザ10の好みを取得する。トピックには、交流会を盛り上げるためのゲームや、交流会を盛り上げるための会話のネタ等が含まれている。
具体的には、行動決定部236は、ユーザ10に対して交流会のトピックに関する好みを質問する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して交流会のトピックに関する好みを質問する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報(例えば、ユーザの回答)に基づいて、ユーザ10に対して交流会のトピックに関する好みを認識する。
具体的には、行動決定部236は、ユーザ10に対して交流会のトピックに関する好みを質問する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して交流会のトピックに関する好みを質問する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報(例えば、ユーザの回答)に基づいて、ユーザ10に対して交流会のトピックに関する好みを認識する。
(ステップ3)ロボット100は、ユーザ10に対して提案する交流会のトピックを決定する。
具体的には、行動決定部236は、ユーザ10の交流会のトピックに関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「このとき、ユーザにオススメの交流会のトピックは何?」という固定文を追加して、文章生成モデルに入力し、交流会のトピックに関するオススメの内容を取得する。このとき、ユーザ10の交流会のトピックに関する好みだけでなく、ユーザ10の感情や履歴データ222を考慮することにより、ユーザ10に適した交流会のトピックを提案することができる。また、ロボット100の感情を考慮することにより、ロボット100が感情を有していることを、ユーザ10に感じさせることができる。
具体的には、行動決定部236は、ユーザ10の交流会のトピックに関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「このとき、ユーザにオススメの交流会のトピックは何?」という固定文を追加して、文章生成モデルに入力し、交流会のトピックに関するオススメの内容を取得する。このとき、ユーザ10の交流会のトピックに関する好みだけでなく、ユーザ10の感情や履歴データ222を考慮することにより、ユーザ10に適した交流会のトピックを提案することができる。また、ロボット100の感情を考慮することにより、ロボット100が感情を有していることを、ユーザ10に感じさせることができる。
(ステップ4)ロボット100は、ステップ3で決定した交流会のトピックを、ユーザ10に対して提案し、ユーザ10の反応を取得する。
具体的には、行動決定部236は、ユーザ10に対して交流会のトピックを提案する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して交流会のトピックを提案する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報に基づいて、ユーザ10の状態を認識し、感情決定部232は、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ユーザ10の感情を示す感情値を決定する。
行動決定部236は、ユーザ状態認識部230によって認識されたユーザ10の状態、及び、ユーザ10の感情を示す感情値に基づいて、ユーザ10の反応が、ポジティブか否かを判断し、ロボット100の行動として、ユーザ10に対して提案した交流会のトピックを提供する処理を実行するか、ユーザ10に対して別のトピックを提案するかを決定する。
具体的には、行動決定部236は、ユーザ10に対して交流会のトピックを提案する発話を、ロボット100の行動として決定し、行動制御部250は、制御対象252を制御し、ユーザ10に対して交流会のトピックを提案する発話を行う。ユーザ状態認識部230は、センサモジュール部210で解析された情報に基づいて、ユーザ10の状態を認識し、感情決定部232は、センサモジュール部210で解析された情報、及びユーザ状態認識部230によって認識されたユーザ10の状態に基づいて、ユーザ10の感情を示す感情値を決定する。
行動決定部236は、ユーザ状態認識部230によって認識されたユーザ10の状態、及び、ユーザ10の感情を示す感情値に基づいて、ユーザ10の反応が、ポジティブか否かを判断し、ロボット100の行動として、ユーザ10に対して提案した交流会のトピックを提供する処理を実行するか、ユーザ10に対して別のトピックを提案するかを決定する。
(ステップ5-1)ユーザ10の反応がポジティブである場合、ロボット100は、提案した交流会のトピックを提供する処理を実行する。
具体的には、ロボット100の行動として、ユーザ10に対して提案した交流会のトピックを提供する処理を実行すると決定した場合に、行動制御部250が、ユーザ10に対して提案した交流会のトピックの提供を実行するように、制御対象252である表示装置及びスピーカの少なくとも一方を制御する。
具体的には、ロボット100の行動として、ユーザ10に対して提案した交流会のトピックを提供する処理を実行すると決定した場合に、行動制御部250が、ユーザ10に対して提案した交流会のトピックの提供を実行するように、制御対象252である表示装置及びスピーカの少なくとも一方を制御する。
(ステップ5-2)ユーザ10の反応がポジティブでない場合、ロボット100が、ユーザ10に対して提案する別のトピックを決定する。
具体的には、ロボット100の行動として、ユーザ10に対して別のトピックを提案すると決定した場合には、行動決定部236は、ユーザ10に対して交流会のトピックに関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「ユーザにオススメの交流会のトピックは他にある?」という固定文を追加して、文章生成モデルに入力し、交流会のトピックに関するオススメの内容を取得する。そして、上記ステップ4へ戻り、ユーザ10に対して提案した交流会のトピックを提供する処理を実行すると決定するまで、上記のステップ4~ステップ5-2の処理を繰り返す。
具体的には、ロボット100の行動として、ユーザ10に対して別のトピックを提案すると決定した場合には、行動決定部236は、ユーザ10に対して交流会のトピックに関する好み、ユーザ10の感情、ロボット100の感情、及び履歴データ222に格納された内容を表すテキストに、「ユーザにオススメの交流会のトピックは他にある?」という固定文を追加して、文章生成モデルに入力し、交流会のトピックに関するオススメの内容を取得する。そして、上記ステップ4へ戻り、ユーザ10に対して提案した交流会のトピックを提供する処理を実行すると決定するまで、上記のステップ4~ステップ5-2の処理を繰り返す。
このように、ロボット100は、ユーザの好み、ユーザの状況、ユーザの反応に合わせて、流会のトピックを提供する処理を実行することができる。
以上の実施形態に関し、更に以下の付記を開示する。
(付記1)
ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記行動決定部は、ユーザとしての交流会の参加者に対して、参加者同士の交流を円滑にするトピックを提供することを、前記ロボットの行動として決定する
行動制御システム。
(付記2)
前記ロボットは、ぬいぐるみに搭載され、又はぬいぐるみに搭載された制御対象機器に無線又は有線で接続されている付記1記載の行動制御システム。
(付記1)
ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記行動決定部は、ユーザとしての交流会の参加者に対して、参加者同士の交流を円滑にするトピックを提供することを、前記ロボットの行動として決定する
行動制御システム。
(付記2)
前記ロボットは、ぬいぐるみに搭載され、又はぬいぐるみに搭載された制御対象機器に無線又は有線で接続されている付記1記載の行動制御システム。
2023年4月17日に出願された日本国特許出願2023-67475号の開示、2023年4月17日に出願された日本国特許出願2023-67476号の開示、2023年4月18日に出願された日本国特許出願2023-67886号の開示、2023年4月18日に出願された日本国特許出願2023-67888号の開示、2023年4月18日に出願された日本国特許出願2023-67890号の開示、2023年4月18日に出願された日本国特許出願2023-67892号の開示、2023年4月18日に出願された日本国特許出願2023-67980号の開示、2023年4月18日に出願された日本国特許出願2023-68148号の開示、2023年4月19日に出願された日本国特許出願2023-68804号の開示、2023年4月19日に出願された日本国特許出願2023-68805号の開示、2023年4月19日に出願された日本国特許出願2023-68823号の開示、2023年4月19日に出願された日本国特許出願2023-68855号の開示、2023年4月20日に出願された日本国特許出願2023-69490号の開示、2023年4月20日に出願された日本国特許出願2023-69494号の開示、2023年4月20日に出願された日本国特許出願2023-69617号の開示、2023年4月20日に出願された日本国特許出願2023-69668号の開示、及び2023年4月20日に出願された日本国特許出願2023-69669号の開示は、その全体が参照により本明細書に取り込まれる。
5 システム、10、11、12 ユーザ、20 通信網、100、101、102 ロボット、200 センサ部、201 マイク、202 深度センサ、203 カメラ、204 距離センサ、210 センサモジュール部、211 音声感情認識部、212 発話理解部、213 表情認識部、214 顔認識部、220 格納部、221 反応ルール、222 履歴データ、230 ユーザ状態認識部、232 感情決定部、234 行動認識部、236 行動決定部、238 記憶制御部、250 行動制御部、252 制御対象、280 通信処理部、300 サーバ、1200 コンピュータ、1210 ホストコントローラ、1212 CPU、1214 RAM、1216 グラフィックコントローラ、1218 ディスプレイデバイス、1220 入出力コントローラ、1222 通信インタフェース、1224 記憶装置、1226 DVDドライブ、1227 DVD-ROM、1230 ROM、1240 入出力チップ
Claims (20)
- ユーザの行動を含むユーザの状態を認識するユーザ状態認識部と、
ユーザの感情及びロボットの感情の少なくとも一方を判定する感情決定部と、
ユーザと前記ロボットを対話させる対話機能に基づき、ユーザの状態及びユーザの感情に対応する前記ロボットの行動、又はユーザの状態及び前記ロボットの感情に対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記ロボットは、会話型スケジューラに搭載されており、
前記行動決定部は、ユーザと前記ロボットとの対話に基づいてユーザの行動予定を設定する、
行動制御システム。 - 前記行動決定部によって設定されたユーザの前記行動予定をユーザへ通知する、請求項1に記載の行動制御システム。
- ユーザの状態及びユーザの感情に応じて、前記行動予定をユーザへ通知する際の通知態様を変更する、請求項2に記載の行動制御システム。
- 前記ロボットは、ぬいぐるみに搭載され、又はぬいぐるみに搭載された制御対象機器に無線又は有線で接続されている請求項1~3の何れか1項に記載の行動制御システム。
- ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能に基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記ロボットは、チケット案内システムに搭載されており、
前記行動決定部は、前記ユーザの好み、状況、反応を見ながら会話をしつつ、自律的にイベントを前記ユーザに案内する、
行動制御システム。 - ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記行動決定部は、前記文章生成モデルによるユーザとの対話結果に基づいて、ユーザに提案する歩行方法を決定する、
行動制御システム。 - ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記行動決定部は、ユーザと前記ロボットとの対話に基づき、衣類の状況又は取り扱いについてユーザへ提示する、
行動制御システム。 - ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記行動決定部は、ユーザの感情又はロボットの感情に基づいて、インターフォンの処理内容を決定する
行動制御システム。 - ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記行動決定部は、マットレスの温度及び弾力の少なくとも一方を調整可能である、
行動制御システム。 - ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能に基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記ロボットは、マッサージチェアに搭載されており、
前記行動決定部は、ユーザの感情又はロボットの感情に基づいて前記マッサージチェアのもみ加減、マッサージコース、マッサージ時間、及び、マッサージ部位のうちの少なくとも1つの設定を変化させる、
行動制御システム。 - ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記行動決定部は、ユーザの感情又はロボットの感情に基づいて、ヘッドマウントディスプレイの処理内容を決定する
行動制御システム。 - ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記行動決定部は、ユーザに対してAI風呂装置に設定するパラメータを提案する、
行動制御システム。 - ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記行動決定部は、フィットネス器具を利用するユーザの前記ユーザ状態に応じた内容を発話する行動を決定する、
行動制御システム。 - ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情またはロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情またはロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記行動決定部は、前記ロボットの行動として、バイクに設けられたアクチュエータに対する制御を決定する、
行動制御システム。 - ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記行動決定部は、前記文章生成モデルによるユーザとの対話結果に基づいて、建具の周囲に虫除け用の超音波を発生するか否かを決定し、又は前記文章生成モデルによるユーザとの対話結果に基づいて、訪問者に対する応答内容を決定する、
行動制御システム。 - ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記行動決定部は、ユーザの感情又はロボットの感情に基づいて、前記ロボットに献立の内容を出力させる、
行動制御システム。 - ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記行動決定部は、体組成の数値を測定したユーザに対する前記ロボットの応対動作を、前記文章生成モデルに基づき、前記行動として決定する、
行動制御システム。 - ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記行動決定部は、ユーザの好みのニュースを特定し、特定したニュースを配信すると共に、配信したニュースに対するコメントを付与することを、前記ロボットの行動として決定する
行動制御システム。 - ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態及びユーザの感情に対応する前記ロボットの行動、又は前記ユーザ状態及びロボットの感情に対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記行動決定部は、車両を運転する運転者の好み、運転状況及び反応の少なくとも1つに基づいて運転者と会話を行うことで運転技術を向上させるためのアドバイスをする、
行動制御システム。 - ユーザの行動を含むユーザ状態を認識するユーザ状態認識部と、
ユーザの感情又はロボットの感情を判定する感情決定部と、
ユーザとロボットを対話させる対話機能を有する文章生成モデルに基づき、前記ユーザ状態と、ユーザの感情又はロボットの感情とに対応する前記ロボットの行動を決定する行動決定部と、を含み、
前記行動決定部は、ユーザとしての交流会の参加者に対して、参加者同士の交流を円滑にするトピックを提供することを、前記ロボットの行動として決定する
行動制御システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202480026250.4A CN120981788A (zh) | 2023-04-17 | 2024-04-11 | 行动控制系统 |
Applications Claiming Priority (34)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023-067475 | 2023-04-17 | ||
| JP2023067476 | 2023-04-17 | ||
| JP2023-067476 | 2023-04-17 | ||
| JP2023067475 | 2023-04-17 | ||
| JP2023-068148 | 2023-04-18 | ||
| JP2023068148 | 2023-04-18 | ||
| JP2023-067888 | 2023-04-18 | ||
| JP2023-067890 | 2023-04-18 | ||
| JP2023-067886 | 2023-04-18 | ||
| JP2023-067892 | 2023-04-18 | ||
| JP2023-067980 | 2023-04-18 | ||
| JP2023067980 | 2023-04-18 | ||
| JP2023067892 | 2023-04-18 | ||
| JP2023067890 | 2023-04-18 | ||
| JP2023067888 | 2023-04-18 | ||
| JP2023067886 | 2023-04-18 | ||
| JP2023-068805 | 2023-04-19 | ||
| JP2023-068855 | 2023-04-19 | ||
| JP2023068823 | 2023-04-19 | ||
| JP2023-068804 | 2023-04-19 | ||
| JP2023068855 | 2023-04-19 | ||
| JP2023068805 | 2023-04-19 | ||
| JP2023068804 | 2023-04-19 | ||
| JP2023-068823 | 2023-04-19 | ||
| JP2023-069668 | 2023-04-20 | ||
| JP2023-069490 | 2023-04-20 | ||
| JP2023069669 | 2023-04-20 | ||
| JP2023-069494 | 2023-04-20 | ||
| JP2023069668 | 2023-04-20 | ||
| JP2023069490 | 2023-04-20 | ||
| JP2023069617 | 2023-04-20 | ||
| JP2023-069617 | 2023-04-20 | ||
| JP2023069494 | 2023-04-20 | ||
| JP2023-069669 | 2023-04-20 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2024219321A1 true WO2024219321A1 (ja) | 2024-10-24 |
Family
ID=93152477
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2024/014728 Pending WO2024219321A1 (ja) | 2023-04-17 | 2024-04-11 | 行動制御システム |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN120981788A (ja) |
| WO (1) | WO2024219321A1 (ja) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000200103A (ja) * | 1998-08-06 | 2000-07-18 | Yamaha Motor Co Ltd | 疑似感情及び疑似性格を用いた制御対象の制御方法、使用者に適合して動作する自律装置、及び使用者の特徴に装置の行動を適合させる方法 |
| JP2012146209A (ja) * | 2011-01-13 | 2012-08-02 | Nikon Corp | 電子機器および電子機器の制御プログラム |
| WO2019054009A1 (ja) * | 2017-09-15 | 2019-03-21 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| JP2020135786A (ja) * | 2019-02-26 | 2020-08-31 | 株式会社日立製作所 | 応答装置および応答方法 |
| US20200349938A1 (en) * | 2018-09-27 | 2020-11-05 | Samsung Electronics Co., Ltd. | Method and system for providing an interactive interface |
-
2024
- 2024-04-11 WO PCT/JP2024/014728 patent/WO2024219321A1/ja active Pending
- 2024-04-11 CN CN202480026250.4A patent/CN120981788A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000200103A (ja) * | 1998-08-06 | 2000-07-18 | Yamaha Motor Co Ltd | 疑似感情及び疑似性格を用いた制御対象の制御方法、使用者に適合して動作する自律装置、及び使用者の特徴に装置の行動を適合させる方法 |
| JP2012146209A (ja) * | 2011-01-13 | 2012-08-02 | Nikon Corp | 電子機器および電子機器の制御プログラム |
| WO2019054009A1 (ja) * | 2017-09-15 | 2019-03-21 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| US20200349938A1 (en) * | 2018-09-27 | 2020-11-05 | Samsung Electronics Co., Ltd. | Method and system for providing an interactive interface |
| JP2020135786A (ja) * | 2019-02-26 | 2020-08-31 | 株式会社日立製作所 | 応答装置および応答方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN120981788A (zh) | 2025-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN121219710A (zh) | 行为控制系统 | |
| JP2025026419A (ja) | 行動制御システム | |
| JP2024159674A (ja) | 行動制御システム | |
| WO2024214708A1 (ja) | 行動制御システム | |
| WO2024219321A1 (ja) | 行動制御システム | |
| WO2024214709A1 (ja) | 行動制御システム及びプログラム、並びに自律学習方法 | |
| JP2025028020A (ja) | 行動制御システム | |
| JP2024159589A (ja) | 電子機器 | |
| JP2024159597A (ja) | 電子機器 | |
| JP2025000507A (ja) | 行動制御システム | |
| JP2025022832A (ja) | 行動制御システム | |
| JP2024155831A (ja) | 行動制御システム | |
| WO2024225408A1 (ja) | 行動制御システム及び電子機器 | |
| WO2025023259A1 (ja) | 行動制御システム | |
| JP2024166173A (ja) | 行動制御システム | |
| JP2025023856A (ja) | 行動制御システム | |
| JP2025022854A (ja) | 行動制御システム | |
| JP2025000480A (ja) | 情報処理システム | |
| JP2024159673A (ja) | 行動制御システム | |
| JP2025027440A (ja) | 行動制御システム | |
| CN121002508A (zh) | 电子设备、行为控制系统以及控制系统 | |
| JP2025026407A (ja) | 行動制御システム | |
| JP2025027446A (ja) | 行動制御システム | |
| JP2024159720A (ja) | 行動制御システム | |
| JP2024159560A (ja) | 行動制御システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 24792596 Country of ref document: EP Kind code of ref document: A1 |
|
| WWE | Wipo information: entry into national phase |
Ref document number: CN2024800262504 Country of ref document: CN |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |