[go: up one dir, main page]

JP2007000938A - Action-integrated robot device - Google Patents

Action-integrated robot device Download PDF

Info

Publication number
JP2007000938A
JP2007000938A JP2005180448A JP2005180448A JP2007000938A JP 2007000938 A JP2007000938 A JP 2007000938A JP 2005180448 A JP2005180448 A JP 2005180448A JP 2005180448 A JP2005180448 A JP 2005180448A JP 2007000938 A JP2007000938 A JP 2007000938A
Authority
JP
Japan
Prior art keywords
unit
behavior
action
user
generation unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005180448A
Other languages
Japanese (ja)
Inventor
Daisuke Yamamoto
大介 山本
Miwako Doi
美和子 土井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2005180448A priority Critical patent/JP2007000938A/en
Publication of JP2007000938A publication Critical patent/JP2007000938A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Manipulator (AREA)

Abstract

【課題】 本発明は、高度で複雑になったネット家電や情報機器とユーザとのインタフェースとして使われる、音声で応答し親しみやすい身体性を持つロボット装置において、ユーザが簡単に情報機器を操作し、ユーザに対し適切なサービスを提供するロボット装置を提供することを目的とする。
【解決手段】 本発明は、ユーザからの指示や周囲状況の情報を得る入力部と、前記入力部からの情報からユーザの指示や周囲状況を認識する認識部と、前記認識部の認識結果から情報を複合し解釈する解釈部と、前記解釈部の解釈結果に基づきタスクを遂行するための行動を生成する第1の行動生成部と、前記認識部の認識結果に基づきユーザの現在の行動を摸倣する同時模倣行動を生成する第2の行動生成部と、前記第1の行動生成部と第2の行動生成部の行動を融和する行動融和部と、前記行動融和部により融和された行動を提示するための行動提示部とを備える。
【選択図】 図1
PROBLEM TO BE SOLVED: To enable a user to easily operate an information device in a robot apparatus having a bodily responsive and friendly body used as an interface between an advanced and complicated internet home appliance or information device and a user. An object of the present invention is to provide a robot apparatus that provides appropriate services to a user.
The present invention relates to an input unit that obtains information from a user and information about the surroundings, a recognition unit that recognizes user instructions and surroundings from the information from the input unit, and a recognition result of the recognition unit. An interpretation unit that combines and interprets the information; a first behavior generation unit that generates an action for performing a task based on the interpretation result of the interpretation unit; and a user's current behavior based on the recognition result of the recognition unit A second action generation unit that generates a simultaneous imitation action to imitate, an action integration unit that combines the actions of the first action generation unit and the second action generation unit, and an action integrated by the action integration unit And an action presentation unit for presenting.
[Selection] Figure 1

Description

本発明は、ユーザに対する実用性のあるサービス行動とユーザへの親和性を表現する行動を融合することにより、機器とユーザとの仲立ちになり、ユーザへのサービス提供をするロボット装置に関する。   The present invention relates to a robot apparatus that provides a service to a user by interfacing between a device and a user by fusing a practical service behavior with respect to the user and a behavior that expresses affinity for the user.

近年、家庭内で、ユーザを楽しませるエンターテイメントロボットや、ユーザの役に立つロボットが研究・開発されている。前者のエンターテイメントロボットにおいては、ユーザを楽しませることが目的であり、飽きさせないことがその課題の一つとなっている。後者の役に立つロボットでは、ユーザの命令を聞いて行動するものや、ユーザの意図を認識しユーザに合った行動をするものが提案されている。   In recent years, entertainment robots that entertain users and robots useful to users have been researched and developed at home. In the former entertainment robot, the purpose is to entertain the user, and one of the challenges is not to get bored. As the latter useful robot, one that acts by listening to a user's command and one that recognizes the user's intention and performs an action suitable for the user have been proposed.

エンターテイメントロボットとしては、ロボットがユーザを飽きさせないような行動をさせるために、ロボット装置に行動獲得のための強化学習を行わせるものがある。その際、行動価値の学習率を動的に変更することを特徴とするロボット装置およびロボット制御方法、記録媒体、並びにプログラムが挙げられている(特許文献1を参照)。   As an entertainment robot, there is one that causes a robot apparatus to perform reinforcement learning for action acquisition so that the robot does not get tired of the user. In that case, a robot apparatus and a robot control method, a recording medium, and a program characterized by dynamically changing the learning rate of action value are cited (see Patent Document 1).

役に立つロボットとしては、ユーザの生活習慣や生活環境等に応じて、あるいはユーザの嗜好に則して、各種機器を制御するコントローラとして、予めユーザの操作情報とその操作がなされたときの外的状況の情報を記憶し、現在のユーザの操作情報と外的状況の情報から、ユーザに適した操作信号を生成する統合コントローラ、機器制御方法及び機器制御プログラムが提案されており、その機器制御プログラムを適応したロボットが挙げられている(特許文献2を参照)。   As a useful robot, the user's operation information and the external situation when the operation is made in advance as a controller to control various devices according to the user's lifestyle and living environment or according to the user's preference An integrated controller, a device control method, and a device control program for storing an operation signal suitable for the user from the current user operation information and external situation information have been proposed. An adapted robot is cited (see Patent Document 2).

また人間の行動をロボットが模倣することで、人間−ロボット間で対面コミュニケーションを実現する方法がある(非特許文献1を参照)。これは、人間とロボットとの対面コミュニケーションにおいて、人間の行動から音声情報と関節角度情報を取得し、ロボットはその取得情報を再現することで、人を模倣するというものである。   In addition, there is a method for realizing face-to-face communication between a human and a robot by imitating human behavior by a robot (see Non-Patent Document 1). This means that in face-to-face communication between a human and a robot, voice information and joint angle information are acquired from a human action, and the robot imitates the person by reproducing the acquired information.

一方、ブロードバンドの普及に伴い家庭内でも情報機器をはじめとするホームネットワークの構築が進んでいる。さらに、これらの情報機器と各種センサが融合したユビキタスネットワークに関する研究も盛んである。しかし、これら情報機器のユーザインタフェースは、必ずしも使いやすいものとは言えない。それは各機器が多くの便利な機能を持ち様々な使い方ができるようになる一方、その多様さがゆえに、ユーザの欲する機能を実行するために複雑な入力が強いられるためである。この問題を解決するために、機器とユーザとの仲立ちとなり、簡単に操作できるインタフェースとして、音声で応答し親しみやすい身体性を持つロボット用いたインタフェースが注目されている。   On the other hand, with the spread of broadband, the construction of home networks including information devices is progressing at home. Furthermore, research on ubiquitous networks in which these information devices and various sensors are integrated is also active. However, the user interfaces of these information devices are not always easy to use. This is because each device has many useful functions and can be used in various ways, but because of its variety, complicated inputs are forced to execute the functions desired by the user. In order to solve this problem, an interface using a robot having a bodily body that responds by voice and is familiar is attracting attention as an interface that can be easily operated by mediating between a device and a user.

そのロボットを用いたインタフェースとして、ユーザの欲する機能の確実な実行(実用性)に加えて、ユーザの出す曖昧な要求を理解する、もしくはロボットとのやり取りを通して要求を明確にしていくコミュニケーション能力(親和性)が望まれている。
特開2003−340760公報 特開2003−111157公報 模倣を主体とした人間−ロボットコミュニケーションに関する基礎実験(第19回ロボット学会学術講演会予稿集(1J15)
As an interface using the robot, in addition to the reliable execution (practicality) of the function that the user wants, it also understands the ambiguous request made by the user or communicates with the robot to clarify the request (affinity) Sex) is desired.
JP 2003-340760 A JP 2003-111157 A Basic experiment on human-robot communication based on imitation (Proceedings of the 19th Annual Conference of the Robotics Society of Japan (1J15)

上述したように、エンターテイメントロボットについてはユーザを飽きさせないために、ロボットへの入力信号に対する出力動作パターンを強化学習により変化させるものであり、また、役に立つロボットは、ユーザの過去の操作パターンを記録しておき、現在の状況から、次にユーザが行うであろう操作を先読みして、ユーザの代わりにロボットが実行しようとするもので、ユーザの行動自体は特に反映されていない。   As described above, in order to keep the user from getting bored with the entertainment robot, the output operation pattern for the input signal to the robot is changed by reinforcement learning, and the useful robot records the user's past operation pattern. In addition, the operation that the user will perform next is pre-read from the current situation, and the robot tries to execute it instead of the user, and the user's behavior itself is not particularly reflected.

更に、人間−ロボット間で対面コミュニケーションでは、人間とロボットの対面コミュニケーションが目的であり、ロボットは人間の模倣をするために、取得情報と出力情報は、同次元のものである必要(例えば、取得する人間の関節角度情報を用いるためには、ロボットもそれに対応する関節を有する必要)があるといった問題があった。   Furthermore, in the face-to-face communication between a human and a robot, the face-to-face communication between a human and a robot is the purpose. In order for the robot to imitate a human, the acquired information and the output information must be of the same dimension (for example, acquired In order to use human joint angle information, there is a problem that the robot needs to have joints corresponding to the information.

複雑になったネット家電や情報機器を使いやすくするには、ユーザからの指示は、従来のキーボードやマウスからの入力ではなく、音声や身振りなどの直感的に入力できるものが期待されているが、音声や身振りによる認識では誤認識が多く、ユーザの意図に反する行動や、ユーザに何度も指示をしてもらう必要があり、ユーザに逆に不満をもたれかねない。   To make it easier to use complex home appliances and information devices, it is expected that instructions from the user can be input intuitively, such as voice and gestures, instead of input from the conventional keyboard and mouse. In recognition by voice or gesture, there are many misrecognitions, and it is necessary for the user to behave against the user's intention or to give instructions to the user over and over, and the user may be dissatisfied.

本発明は、上記した問題を解決するために、高度で複雑になったネット家電や情報機器とユーザとのインタフェースとして使われる、音声で応答し親しみやすい身体性を持つロボット装置において、ユーザが簡単に情報機器を操作し、ユーザに対し適切なサービスを提供するロボット装置を提供することを目的とする。   In order to solve the above-described problems, the present invention is a robot device that is used as an interface between a sophisticated and complicated internet home appliance or information device and a user, and has a bodily body that responds by voice and is easily accessible. It is an object of the present invention to provide a robot apparatus that operates information equipment and provides appropriate services to users.

上記の問題を解決するために、本発明は、ユーザからの指示や周囲状況の情報を得る入力部と、
前記入力部からの情報からユーザの指示や周囲状況を認識する認識部と、前記認識部の認識結果から情報を複合し解釈する解釈部と、前記解釈部の解釈結果に基づきタスクを遂行するための行動を生成する第1の行動生成部と、前記認識部の認識結果に基づきユーザの現在の行動を摸倣する同時模倣行動を生成する第2の行動生成部と、前記第1の行動生成部と第2の行動生成部の行動を融和する行動融和部と、前記行動融和部により融和された行動を提示するための行動提示部とを具備したことを特徴とする。
In order to solve the above problem, the present invention includes an input unit that obtains information from a user and information on the surrounding situation,
To perform a task based on a recognition unit that recognizes a user's instruction and surrounding situation from information from the input unit, an interpretation unit that combines and interprets information from a recognition result of the recognition unit, and an interpretation result of the interpretation unit A first action generation unit that generates an action of the user, a second action generation unit that generates a simultaneous imitation action that imitates a user's current action based on the recognition result of the recognition unit, and the first action generation And a second behavior generation unit, and a behavior presentation unit for presenting the behavior integrated by the behavior integration unit.

本発明により、ユーザは、行動融和型ロボットについて親しみを持って使っているうちに、自然とロボットの認識能力に合わせた適切な指示が行えるようになり、自らの欲するタスクを簡単な指示で得ることができるようになり、同時に、飽きない擬似的なコミュニケーションを図ることも可能となる。   According to the present invention, while the user is familiar with the action-integrated robot, the user can give an appropriate instruction according to the robot's recognition ability naturally, and can obtain the task he desires with a simple instruction. At the same time, it becomes possible to achieve pseudo-communication without getting bored.

以下、本発明の実施の形態を図面に基づいて説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

本発明の実施の形態について、例えば車輪で移動し、頭部として2つの自由度(パン・チルト)を有するカメラ雲台を搭載したロボットを用いた、行動融和型ロボット装置の構成を図1に示す。   As for the embodiment of the present invention, FIG. 1 shows the configuration of a behavior-integrated robot apparatus using a robot that moves with wheels and has a camera head with two degrees of freedom (pan / tilt) as a head. Show.

図1に示すように、ロボット100は、入力部110、認識部120、解釈部130、第1の行動生成部140、第2の行動生成部150、行動融和部160、基本制御処理部170、行動提示部180から構成される。   As shown in FIG. 1, the robot 100 includes an input unit 110, a recognition unit 120, an interpretation unit 130, a first behavior generation unit 140, a second behavior generation unit 150, a behavior integration unit 160, a basic control processing unit 170, The action presentation unit 180 is configured.

入力部110として、ロボットに備え付けられたカメラ111、マイク112、ロボットの位置測定用の車軸エンコーダ113、障害物検出用の超音波センサ114の入力装置を有する。これら入力部110のカメラ111、マイク112、車軸エンコーダ113、及び超音波センサ114は、ユーザからロボットへの指示や、周囲の状況を検出した情報を得る。認識部120は、これら入力部110から得られる情報を、例えば、カメラ111から得られる画像情報から、ユーザの顔向き情報や顔認識情報に、マイク112から得られる音声情報から、ユーザ発話の単語認識情報やチャイムの検出結果に、車軸エンコーダ113から得られる車輪回転数から、ロボットの現在位置情報に、超音波センサから得られる反射波情報から、障害物情報等の処理された情報に変換する。   The input unit 110 includes input devices for a camera 111, a microphone 112, an axle encoder 113 for measuring the position of the robot, and an ultrasonic sensor 114 for detecting an obstacle. The camera 111, the microphone 112, the axle encoder 113, and the ultrasonic sensor 114 of the input unit 110 obtain an instruction from the user to the robot and information obtained by detecting the surrounding situation. The recognition unit 120 uses the information obtained from the input unit 110 as, for example, image information obtained from the camera 111, user face orientation information and face recognition information, voice information obtained from the microphone 112, and user utterance words. The recognition information and chime detection results are converted from the wheel rotation speed obtained from the axle encoder 113 to the current position information of the robot, and from the reflected wave information obtained from the ultrasonic sensor to processed information such as obstacle information. .

解釈部130は、認識部120からの得られた複数の情報を複合し、第1の行動生成部140や第2の行動生成部に用いられるように解釈して保持する。これは、認識部120からの情報を第1の行動生成部140、第2の行動生成部150における行動選択・行動生成に用いる情報(例えばトリガ情報やロボットが摸倣可能なユーザの動作情報)に変換する。   Interpreting unit 130 combines a plurality of pieces of information obtained from recognizing unit 120, interprets and holds the information for use in first action generating unit 140 and second action generating unit. This is information used for action selection and action generation in the first action generation part 140 and the second action generation part 150 using information from the recognition part 120 (for example, trigger information and user action information that the robot can imitate). Convert to

第1の行動生成部140、第2の行動生成部150は解釈部130の保持している情報を元に、それぞれ第1の行動、第2の行動を生成する。行動融和部160は、上記した二つの行動生成部が生成した行動を融和する。行動提示部180は、アクチュエータ制御処理部181と、個々のアクチュエータ(本実施例では、移動182、発話183、注視184、家電操作185)からなる。アクチュエータ制御部181は行動融和部160が融和した行動を各アクチュエータ(182〜185)が実行できるように変換し、各アクチュエータはそれに従い動作する。また基本制御処理部170は、認識部120からの情報を元に直接アクチュエータを制御し、例えば障害物回避動作など、ロボットが自立的に行動するために必要な処理を行う。   The first behavior generation unit 140 and the second behavior generation unit 150 generate the first behavior and the second behavior, respectively, based on the information held by the interpretation unit 130. The behavior reconciliation unit 160 reconciles the behaviors generated by the two behavior generation units described above. The action presentation unit 180 includes an actuator control processing unit 181 and individual actuators (in this embodiment, movement 182, speech 183, gaze 184, home appliance operation 185). The actuator control unit 181 converts the behavior integrated by the behavior integration unit 160 so that each actuator (182 to 185) can execute, and each actuator operates accordingly. The basic control processing unit 170 directly controls the actuator based on information from the recognition unit 120 and performs processing necessary for the robot to behave autonomously, such as an obstacle avoidance operation.

次に本実施の形態の概略を図2の模式図と図3の本実施の形態を示すシーケンス図に沿って説明する。状況は、母親200がリビング210で、家事をしているときに子供220が帰宅したという設定である。まずロボット230は母親200が見る方向を一緒になって見ている(第2の行動実行)。そこで、子供220が帰ってきてチャイムを鳴らすと、ロボット230は、部屋に備え付けられたディスプレイ240に玄関カメラ250の映像を写し、母親200に見せる(チャイムをトリガとした第1の行動実行)。母親200はその映像から、子供220の帰宅を知り、ロボット230に子供220を迎えに玄関260まで行くことを命じ、ロボット230は玄関に行く(ユーザの指示をトリガとする第1の行動の実行)。その際、ロボット230は、母親200の「お迎えに行って来て」という指示から「お迎え」というキーワードを抽出し、「お迎え、お迎え」と言いながら玄関260へ移動する(第1の行動に第2の行動(発話の同時模倣)による修飾)。玄関260へ行く途中で子供220を発見するとロボット230は子供220について移動する(第2の行動(子供に付いて回るという摸倣行動)が第1の行動(玄関へ移動する)に優先して実行)。   Next, the outline of the present embodiment will be described with reference to the schematic diagram of FIG. 2 and the sequence diagram showing the present embodiment of FIG. The situation is a setting in which the mother 220 is in the living room 210 and the child 220 comes home while doing housework. First, the robot 230 looks in the direction the mother 200 sees together (second action execution). Therefore, when the child 220 returns and rings a chime, the robot 230 copies the image of the entrance camera 250 on the display 240 provided in the room and shows it to the mother 200 (first action execution using the chime as a trigger). The mother 200 learns from the video that the child 220 is going home, instructs the robot 230 to go to the entrance 260 to pick up the child 220, and the robot 230 goes to the entrance (execution of the first action triggered by the user's instruction). ). At that time, the robot 230 extracts the keyword “greeting” from the instruction of the mother 200 “come to pick up” and moves to the entrance 260 while saying “greeting, picking up” (the first action is the first action). Modification by action 2 (simultaneous imitation of speech)). When the child 220 is found on the way to the entrance 260, the robot 230 moves with respect to the child 220 (the second action (the imitation action of turning around the child) takes precedence over the first action (moves to the entrance)). Execution).

上記シーケンスが行われるための処理を、図4、図5、図6に示す第1の行動生成部140、第2の行動生成部150、行動融和部160のフローチャートを用いて説明する。第1の行動生成部140、第2の行動生成部150はそれぞれ独立して、解釈部130の保持している解釈結果に基づき処理を行う。第1の行動は、その行動自体が単独でユーザの役に立つ最小行動として、第1の行動生成部140内にある予め第1の行動データベース(図示しない)に記録されている。またこの内容の一例を図7に示す。第1の行動データベースは、そのトリガとなる情報とそれに一対一対応する第1の行動からなる。解釈結果から、トリガが検出されれば(S401)、第1の行動データベースからそのトリガに対応した第1の行動を選択し(S402)、その第1の行動を生成する(S403)。第1の行動は、新たなトリガが検出されるか(S404)、その行動が終了するまで(S405)、その行動を持続する。またトリガが検出されない場合(S404)は、第1の行動は出力されない。   Processing for performing the above sequence will be described with reference to flowcharts of the first behavior generation unit 140, the second behavior generation unit 150, and the behavior reconciliation unit 160 shown in FIGS. The first behavior generation unit 140 and the second behavior generation unit 150 each independently perform processing based on the interpretation result held by the interpretation unit 130. The first action is recorded in advance in a first action database (not shown) in the first action generation unit 140 as the minimum action that is useful for the user by itself. An example of this content is shown in FIG. The first behavior database includes information serving as a trigger and first behavior corresponding one-to-one to the information. If a trigger is detected from the interpretation result (S401), the first action corresponding to the trigger is selected from the first action database (S402), and the first action is generated (S403). The first action continues until the new trigger is detected (S404) or until the action ends (S405). If no trigger is detected (S404), the first action is not output.

次に第2の行動について説明する。第2の行動は、本実施の形態では、同時摸倣行動である。同時摸倣行動とは、発達心理学の中で、乳児の初期に見られると言われる行動で、相手の行動を、そのまま真似するというものである。本実施の形態では、行動融和型ロボット装置が行動として提示できる移動行動、発話行動、注視行動、家電操作行動等の第2の行動について、ユーザの行動の解釈結果に基づき、第2の行動生成部150内にある予め第2の行動データベース(図示しない)に記録されている模倣行動から選択し(S501)、その摸倣する行動を生成する(S502)。但し、第2の行動データベースにある摸倣可能な行動をユーザがしていない場合は、その何もしていない状態を摸倣する)。また、摸倣する際には、ユーザと行動融和型ロボット装置の身体性の違いや、行動の明確さを出すために、予め決められた方法に従い、デフォルメを施してもよい。例えば発話を摸倣する際、そのままユーザの言葉の認識結果を摸倣するのではなく、認識した結果のキーワードを2回繰り返す等である。また、摸倣対象は、入力部が捉えた身近なユーザ(人間)とする。   Next, the second action will be described. In the present embodiment, the second action is a simultaneous copying action. Simultaneous imitation behavior is behavior that is said to be seen in the early stages of infants in developmental psychology. In the present embodiment, the second action generation is performed based on the interpretation result of the user's action for the second action such as the moving action, the utterance action, the gaze action, and the home appliance operation action that can be presented as the action by the action-consolidating robot device. The imitation behavior recorded in advance in a second behavior database (not shown) in the unit 150 is selected (S501), and the behavior to be imitated is generated (S502). However, if the user does not perform an action that can be copied in the second action database, the user does not do anything). Further, when copying, in order to clarify the difference in physicality between the user and the action-integrated robot apparatus and clarify the action, deformation may be performed according to a predetermined method. For example, when imitating an utterance, instead of imitating the recognition result of the user's word as it is, the keyword of the recognized result is repeated twice. The imitation target is a familiar user (human) captured by the input unit.

行動融和部160について説明する。行動融和部160は、第1の行動生成部140と第2の行動生成部150の出力した行動を受け、第1の行動の有無を判断する(S601)。もし第1の行動がない場合には、第2の行動を行動提示部180に出力し実行する(S602)。第1の行動がある場合には、第2の行動と同時実行可能かどうか判断する(S603)。第2の行動と同時実行可能な場合(同じアクチュエータを使っていない場合など)には、第1の行動を修飾するように第2の行動を実行する(S604)。同時実行が不可能な場合には、第1の行動と第2の行動の優先順位を予め決められた優先順位に基づき判断する(S605)。ここで、第1の行動の優先順位が高い場合には、第1の行動に切り替えて実行し(S606)、第2の行動の優先順位が高い場合には、第1の行動を第2の行動が抑制して実行する(S607)。   The behavior reconciliation unit 160 will be described. The behavior reconciliation unit 160 receives the behaviors output by the first behavior generation unit 140 and the second behavior generation unit 150, and determines the presence or absence of the first behavior (S601). If there is no first action, the second action is output to the action presentation unit 180 and executed (S602). If there is a first action, it is determined whether it can be executed simultaneously with the second action (S603). If it can be executed simultaneously with the second action (such as when the same actuator is not used), the second action is executed so as to modify the first action (S604). If simultaneous execution is impossible, the priority order of the first action and the second action is determined based on a predetermined priority order (S605). Here, when the priority of the first action is high, the first action is switched and executed (S606), and when the priority of the second action is high, the first action is changed to the second action. The action is suppressed and executed (S607).

このように、本実施の形態の構成により、同時に実行可能な模倣行動を選択して実行するので、自然とロボットの認識能力に合わせた適切な指示が行えるようになり、自らの欲するタスクを簡単な指示で得ることができるようになる。   In this way, the configuration of the present embodiment selects and executes imitation actions that can be executed simultaneously, so that it is possible to give appropriate instructions that naturally match the robot's recognition ability, and simplify the tasks that one wants. Will be able to be obtained with simple instructions.

本発明の実施の形態について、例えば車輪で移動し、頭部として2つの自由度(パン・チルト)を有するカメラ雲台を搭載したロボットを用いた、行動融和型ロボット装置の構成を図8に示す。   As for the embodiment of the present invention, for example, FIG. 8 shows a configuration of a behavior-integrated robot apparatus using a robot that moves by a wheel and has a camera head with two degrees of freedom (pan / tilt) as a head. Show.

図8に示すように、ロボット800は、入力部810、認識部820、解釈部830、第1の行動生成部840、第2の行動生成部850、行動融和部860、基本制御処理部870、行動提示部880、蓄積部890から構成される。蓄積部890以外の構成については、実施例1と同じであるので、実施例1と同じ構成については説明を省略する。   As shown in FIG. 8, the robot 800 includes an input unit 810, a recognition unit 820, an interpretation unit 830, a first behavior generation unit 840, a second behavior generation unit 850, a behavior integration unit 860, a basic control processing unit 870, An action presentation unit 880 and an accumulation unit 890 are included. Since the configuration other than the storage unit 890 is the same as that of the first embodiment, the description of the same configuration as that of the first embodiment is omitted.

蓄積部の詳細な構成について図9に示し、蓄積部内部のデータベース(DB)の内容を図10、図11に示す。図9に示すように、蓄積部900は、切り分け部901、時系列DB902、特徴量抽出部903、特徴量DB904、特徴量無次元化部905、無次元化特徴量DB906、行動分類処理部907、ユーザ行動分類DB908から構成される。   FIG. 9 shows the detailed configuration of the storage unit, and FIG. 10 and FIG. 11 show the contents of the database (DB) inside the storage unit. As illustrated in FIG. 9, the accumulation unit 900 includes a separation unit 901, a time series DB 902, a feature amount extraction unit 903, a feature amount DB 904, a feature amount non-dimensionalization unit 905, a non-dimensionalization feature amount DB 906, and an action classification processing unit 907. The user action classification DB 908 is configured.

認識部930で認識された時系列データをある意味を持ったユーザ行動(U、U、・・・、U)として、図10(a)に示すよう時系列データを点線で囲まれた部分毎に切り分け部901で切り分ける。切り分ける方法としては、一定時間ごとに切り分ける方法や各データを標準化しその偏差の大きいところで切り分ける方法や音声データがある場合にはその切れ目で切り分ける方法等を用いる。 The time series data recognized by the recognition unit 930 is surrounded by a dotted line as shown in FIG. 10A as user actions (U 1 , U 2 ,..., U n ) having a certain meaning. Each segment is segmented by the segmenting unit 901. As a method of carving, a method of carving at regular intervals, a method of standardizing each data and carving it at a large deviation, a method of carving data when there is audio data, etc. are used.

例えば、ユーザの位置を検出するセンサからのデータを用いて、その位置変化量の偏差の大きいところで切り分ければ、ユーザが歩いている際のユーザ行動と立ち止まった際のユーザ行動を切り分けることができる。そして、各入力部の認識結果値をあるサンプリング周期で記録し時系列DB902に記録する。入力値は位置情報であれば室内での座標値(X,Y)、カメラであれば画像データ、音声であれば音声データとなる。また、音声データのように、単語などの抽象的なレベルに認識可能なものは、その単語としても記録する。各データは、センサのサンプリング周期tごとの時系列データx(t)(ここでiは入力パラメータ)となる(単語などの抽象的なものは、例えば発声時点でのデータとする)。 For example, by using data from a sensor that detects the user's position and separating the position change amount in a large deviation, it is possible to separate the user action when the user is walking and the user action when the user is stopped. . And the recognition result value of each input part is recorded with a certain sampling period, and is recorded on time series DB902. The input value is the indoor coordinate value (X, Y) if it is position information, image data if it is a camera, and audio data if it is sound. Moreover, what can be recognized at an abstract level such as a word such as voice data is also recorded as the word. Each data becomes time-series data x i (t) (where i is an input parameter) for each sampling period t of the sensor (abstract data such as words is, for example, data at the time of utterance).

次に特徴量抽出部903では、ユーザ行動(U、U、・・・、U)の各要素時系列情報x(t)、x(t)、・・・、x(t)をそれぞれ一つの数値で表される特徴p(n)(jは特徴番号、nはユーザ行動番号)を抽出する。特徴としては、時系列データx(t)自体の平均値や最大値、最小値、標準偏差等や、時系列データx(t)から算出される変化量x’(t)や加速度量x’’(t)の平均値や最大値、最小値、標準偏差等、またはユーザ行動自体の時間等とする。例えばユーザの位置を検出するセンサからのデータを用いれば、この特徴p(n)は、そのユーザ行動中のユーザの平均移動速度や最大移動速度であったり、マイクロフォンからのデータを用いれば、最大音量であったり、音声データから算出した音の高低とする。図10(b)に示すように、特徴量抽出部903で抽出された各ユーザ行動の特徴量p(n)が特徴量DB904に記憶される Next, in the feature quantity extraction unit 903, each element time-series information x 1 (t), x 2 (t),..., X l () of the user behavior (U 1 , U 2 ,..., U n ). A feature p j (n) (j is a feature number and n is a user action number) each represented by a single numerical value is extracted. Features include the average value, maximum value, minimum value, standard deviation, etc. of the time series data x i (t) itself, the change amount x l ′ (t) calculated from the time series data x l (t), and the acceleration. The average value, maximum value, minimum value, standard deviation, or the like of the quantity x i ″ (t), or the time of the user action itself is used. For example, if data from a sensor that detects the user's position is used, this feature p j (n) is the average moving speed or the maximum moving speed of the user during the user's action, or if data from a microphone is used, The maximum volume or the pitch of sound calculated from audio data. As shown in FIG. 10B, the feature value p j (n) of each user action extracted by the feature value extraction unit 903 is stored in the feature value DB 904.

次に特徴量無次元化部905は、数1に示されるように、各特徴の各ユーザ行動での標準偏差S(n)を算出し、この標準偏差S(n)から数2に示されるように無次元化し特徴パラメータP(n)を算出する。 Next, the feature quantity non-dimensionalization unit 905 calculates a standard deviation S j (n) in each user action of each feature as shown in Expression 1, and converts the standard deviation S j (n) to Expression 2 below. As shown, dimensionless and feature parameter P j (n) is calculated.

Figure 2007000938
Figure 2007000938

Figure 2007000938
Figure 2007000938

そして特徴量無次元化部905は、図10(c)に示すようにユーザ行動毎に無次元化し特徴パラメータP(n)を無次元化特長量DB906に記憶する。また、数3で示されるようにユーザ行動自体をその特徴パラメータを軸とした多次元空間内の位置ベクトルuという形で表せる。 Then, the feature quantity non-dimensionalization unit 905 performs dimensionless processing for each user action as shown in FIG. 10C and stores the feature parameter P j (n) in the dimensionless feature quantity DB 906. Also, it expressed in the form of a position vector u n a multidimensional space in which the user behavior itself and its characteristic parameters and the axis as indicated by the number 3.

Figure 2007000938
Figure 2007000938

そして、行動分類処理部907では、ユーザ行動を示す位置ベクトルuの距離の長短から各行動の類似度を判定し、類似した行動ごとに分類分け(U、U、・・・)を行う。例えば、図11(a)に示すように、ユーザ行動を示す位置ベクトルu、uはクラスタリングされユーザ行動Uと判定される。同様に、位置ベクトルu、uはそれぞれユーザ行動U、Uと判定される。更に、図11(a)の分類結果がユーザ行動分類DB908に記憶される。行動分類処理部907で分類分けした分類(U、U、・・・)を延滞模倣行動として、解釈部920で解釈された解釈結果921(A1、A2、・・・)と対応して第2の行動生成部910にある第2の行動データベース911に蓄積する。延滞模倣行動とは、ユーザの過去の行動を模倣する行動のことであり、例えば、ユーザが以前、チャイムが鳴った時に玄関の方向を見たとすると、そのユーザが玄関の方向を見た情報は、切り分け部901で、「チャイムが鳴った」と「玄関の方向を見た」とのユーザ行動に切り分けられ、図11(b)に示すように、第2の行動データベース911に解釈結果(A1:「チャイムが鳴った」)と延滞模倣行動(U:「玄関の方向を見た」)が蓄積される。 Then, the action classification processing unit 907 determines the similarity of each behavior from short and long distance position vector u n indicating the user behavior, similar classified for each action (U a, U b, ··· ) and Do. For example, as shown in FIG. 11A, the position vectors u 1 and u 3 indicating the user behavior are clustered and determined as the user behavior U a . Similarly, the position vectors u 2 and u 4 are determined as user actions U b and U c , respectively. Further, the classification result of FIG. 11A is stored in the user behavior classification DB 908. Corresponding to the interpretation result 921 (A1, A2,...) Interpreted by the interpretation unit 920, the classification (U a , U b ,...) Classified by the behavior classification processing unit 907 is regarded as an arrears imitation behavior. It accumulates in the second behavior database 911 in the second behavior generation unit 910. Overdue imitation behavior is behavior that imitates the user's past behavior. For example, if the user previously viewed the entrance when the chime rang, the information that the user saw the entrance was The separation unit 901 divides the user behavior into “chimes sounded” and “seen the direction of the entrance”, and the interpretation result (A1) is displayed in the second behavior database 911 as shown in FIG. : “Chime”) and overdue imitation behavior (U a : “I saw the direction of the entrance”).

図12に本実施の形態における第2の行動生成部910のフローチャートを示す。本実施の形態では、第2の行動生成として延滞摸倣行動を出力する。第2の行動データベースの中から、現在の解釈結果に最も近い延滞摸倣行動分類を選択し(S1201)、その分類内の行動を生成する(S1202)。例えば、第2の行動データベース911を検索して、A1からUを選択し、第2の行動生成部では、Uの行動を生成する。 FIG. 12 shows a flowchart of the second action generation unit 910 in the present embodiment. In this embodiment, an arrears imitation action is output as the second action generation. An arrears imitation behavior classification closest to the current interpretation result is selected from the second behavior database (S1201), and an action within the classification is generated (S1202). For example, the second behavior database 911 is searched, U a is selected from A1, and the behavior of U a is generated in the second behavior generation unit.

このように、本実施の形態の構成により、解釈結果からユーザの過去の行動を模倣するので、親しみを持って使っているうちに、自らの欲するタスクを簡単な指示で得ることができるようになる。   In this way, the configuration of the present embodiment imitates the user's past behavior from the interpretation result, so that the task desired by the user can be obtained with a simple instruction while using with familiarity. Become.

本発明の実施の形態について、例えば車輪で移動し、頭部として2つの自由度(パン・チルト)を有するカメラ雲台を搭載したロボットを用いた、行動融和型ロボット装置の構成を例として、本実施例の構成について図13を用いて説明する。第2の行動生成部内1300の構成以外は、実施例2と同じである。第2の行動生成部1300は、同時摸倣行動生成部1301と延滞摸倣行動生成部1302と動体追従行動生成部1303の3つの行動生成部があり、同時摸倣行動生成部1301は実施例1の第2の行動生成部と、延滞摸倣行動生成部1302は実施例2の第2の行動生成部と同じであるので、説明は省略する。動体追従行動生成部1303は、同時摸倣行動生成部1301では、ユーザの行動を摸倣していたが、動体追従行動生成部1303は動くものを追従する行動を生成する。   Regarding the embodiment of the present invention, for example, the configuration of a behavior-integrated robot apparatus using a robot that moves with wheels and has a camera head with two degrees of freedom (pan / tilt) as a head is taken as an example. The configuration of this embodiment will be described with reference to FIG. Except for the configuration of the second action generation unit 1300, the second embodiment is the same as the second embodiment. The second behavior generating unit 1300 includes three behavior generating units, a simultaneous imitating behavior generating unit 1301, an arrears imitating behavior generating unit 1302, and a moving object following behavior generating unit 1303. The simultaneous imitating behavior generating unit 1301 is an example. The first second behavior generation unit and the overdue imitation behavior generation unit 1302 are the same as the second behavior generation unit of the second embodiment, and thus description thereof is omitted. Although the moving body following behavior generating unit 1303 imitates the user's behavior in the simultaneous copying behavior generating unit 1301, the moving body following behavior generating unit 1303 generates an action that follows the moving object.

次にこの3つの行動生成部の選択方法について図14を用いて説明する。ユーザがロボット装置に認識される位置にいるかどうか判断する(S1401)。ユーザがロボット装置に認識される位置にいた場合に、ユーザに情報量大の動きがあるかどうか判断する(S1402)。ユーザに情報量大の動きがある場合には同時摸倣行動生成部1301が選択される(S1403)。ここでいう情報量とは、シャノンの情報量の考えにも基づき、珍しい行動ほど情報量が大きいと考える。具体的には、図15に示すように、上述の実施例2で算出した、特徴パラメータ空間内で疎な位置にある行動が情報量を高いと考え、特徴パラメータ空間内の密な位置にある行動が情報量を低いと考える。またユーザがロボットに認識される位置にいない、あるいは近くにいるが、普通(情報量小)の行動をとっている場合、検出される物体の情報量が大きいかどうか判断する(S1404)。ここで、検出された物体が情報量大の動きがあれば、動体追従行動生成部1302が選択され(S1405)、そうでなければ延滞摸倣行動生成部1303が選択される(S1406)。   Next, the selection method of these three action production | generation parts is demonstrated using FIG. It is determined whether the user is at a position recognized by the robot apparatus (S1401). When the user is at a position recognized by the robot apparatus, it is determined whether or not the user has a movement with a large amount of information (S1402). If the user has a large amount of information, the simultaneous copying action generation unit 1301 is selected (S1403). The amount of information here is based on the idea of Shannon's amount of information. Specifically, as shown in FIG. 15, an action at a sparse position in the feature parameter space calculated in the second embodiment is considered to have a high amount of information, and is located at a dense position in the feature parameter space. Think of actions as low information content. If the user is not at or near the position recognized by the robot but is taking a normal action (small amount of information), it is determined whether the amount of information of the detected object is large (S1404). Here, if the detected object has a movement with a large amount of information, the moving body following action generation unit 1302 is selected (S1405), and if not, the overdue imitation action generation unit 1303 is selected (S1406).

また、これら同時摸倣行動、延滞摸倣行動、動体追従行動の3つの行動形態と提示媒体の関係について、図16に示す。実施例1で説明したように、例えば、母親が見る方向をロボットが同じ方向を一緒になって見ているように、同時模倣行動では共同注視している。更に、チャイム鳴ったと解釈部で解釈されると、ロボットは玄関の方を見るといった、延滞模倣行動をする。母親が移動するとこれに従ってロボットも母親を追っかける動体追従行動を行う。図中×が付いているのは該当媒体による行動はない。またカッコ内には、その鼓動の一般的な意味を記したものである。   Further, FIG. 16 shows the relationship between these three types of behaviors of simultaneous imitation behavior, arrears imitation behavior, and moving body following behavior and the presentation medium. As explained in the first embodiment, for example, the simultaneous imitation behavior is jointly watched so that the robot sees the same direction together when the mother sees it. Further, when the interpretation unit interprets that a chime has been sounded, the robot performs an arrears imitation behavior such as looking at the entrance. When the mother moves, the robot also follows the moving body following the mother. In the figure, there is no action by the corresponding medium. The parentheses indicate the general meaning of the heartbeat.

このように、本実施の形態の構成により、同時模倣行動、延滞模倣行動、及び動体追従行動の3つ行動形態から選択するので、自然とロボットの認識能力に合わせた適切な指示が行えるようになり、自らの欲するタスクを簡単な指示で得ることができるようになる。   As described above, according to the configuration of the present embodiment, since it is selected from the three behavior forms of the simultaneous imitation behavior, the overdue imitation behavior, and the moving body following behavior, it is possible to perform an appropriate instruction according to the recognition ability of the robot naturally. It becomes possible to get the task that he wants with simple instructions.

本発明の実施の形態について、例えば人と類似した腕や脚を持ったヒューマノイドを用いた行動融和型ロボット装置の構成を例として説明する。図17に示すように、ロボット1700は、入力部81711、認識部1720、解釈部1730、第1の行動生成部1740、第2の行動生成部1750、行動融和部1760、基本制御処理部1770、行動提示部1780、から構成され、認識部1720は、ロボット外の入力部1715からの情報も認識する。ロボット外の入力部1715以外の構成については、実施例1と同じ構成なので説明を省略する。   An embodiment of the present invention will be described by taking, for example, a configuration of a behavior-integrated robot apparatus using a humanoid having arms and legs similar to those of a person. As shown in FIG. 17, the robot 1700 includes an input unit 81711, a recognition unit 1720, an interpretation unit 1730, a first behavior generation unit 1740, a second behavior generation unit 1750, a behavior integration unit 1760, a basic control processing unit 1770, The action presentation unit 1780 is configured, and the recognition unit 1720 also recognizes information from the input unit 1715 outside the robot. Since the configuration other than the input unit 1715 outside the robot is the same as that of the first embodiment, the description thereof is omitted.

これまでに述べた実施例1、実施例第2、実施例3の実施の形態について、図18に示すような、環境に設置されたカメラ1821、1822やチャイムのON−OFF検知センサ、ユーザ1800やロボット1810がどこにいるのかを検出するためのRFIDタグ(1801、1811)を用いた位置計測装置1830、同じくユーザやロボットがどこにいるかを検出するための床センサ1840を備えてもよく、行動提示部として、ジェスチャー機能1786を備え、それぞれ同時摸倣行動、延滞摸倣行動、動体追従行動を行ってもよい。   As for the embodiments of Example 1, Example 2 and Example 3 described so far, cameras 1821 and 1822 installed in the environment, chime ON / OFF detection sensors, user 1800 as shown in FIG. And a position measuring device 1830 using RFID tags (1801, 1811) for detecting where the robot 1810 is located, and a floor sensor 1840 for detecting where the user or robot is located may also be provided. As a unit, a gesture function 1786 may be provided, and simultaneous imitation behavior, arrears imitation behavior, and moving object tracking behavior may be performed, respectively.

このように、本実施の形態の構成により、同時模倣行動、延滞模倣行動、及び動体追従行動の3つ行動形態から選択するので、自然とロボットの認識能力に合わせた適切な指示が行えるようになり、自らの欲するタスクを簡単な指示で得ることができるようになる。     As described above, according to the configuration of the present embodiment, since it is selected from the three behavior forms of the simultaneous imitation behavior, the overdue imitation behavior, and the moving body following behavior, it is possible to perform an appropriate instruction according to the recognition ability of the robot naturally. It becomes possible to get the task that he wants with simple instructions.

実施の形態の構成を示すブロック図。The block diagram which shows the structure of embodiment. 実施の形態を示す模式図。The schematic diagram which shows embodiment. 実施の形態の第1、第2行動おけるシーケンス図。The sequence diagram in the 1st, 2nd action of embodiment. 実施の形態における第1の行動生成部のフローチャート。The flowchart of the 1st action production | generation part in embodiment. 実施の形態における第2の行動生成部のフローチャート。The flowchart of the 2nd action production | generation part in embodiment. 実施の形態における行動融和部のフローチャート。The flowchart of the action integration part in embodiment. 実施の形態における第1の行動データベースの内容を示した図。The figure which showed the content of the 1st action database in embodiment. 他の実施の形態の構成を示すブロック図。The block diagram which shows the structure of other embodiment. 他の実施の形態における蓄積部の構成を示すブロック図。The block diagram which shows the structure of the storage part in other embodiment. 他の実施の形態における蓄積データベースの内容を示した図。The figure which showed the content of the accumulation | storage database in other embodiment. 他の実施の形態における蓄積データベースの内容を示した図。The figure which showed the content of the accumulation | storage database in other embodiment. 他の実施の形態における第2の行動生成部のフローチャート。The flowchart of the 2nd action production | generation part in other embodiment. 他の実施の形態の構成を示すブロック図The block diagram which shows the structure of other embodiment 他の実施の形態における第2の行動生成部の行動選択のフローチャート。The flowchart of the action selection of the 2nd action production | generation part in other embodiment. 他の実施の形態における情報量を示す模式図。The schematic diagram which shows the information content in other embodiment. 他の実施の形態における第2の行動分類を示した図。The figure which showed the 2nd action classification | category in other embodiment. 他の実施の形態の構成を示すブロック図。The block diagram which shows the structure of other embodiment. 他の実施の形態を示す模式図。The schematic diagram which shows other embodiment.

符号の説明Explanation of symbols

100 ロボット
110 入力部
111 カメラ
112 マイク
113 車軸エンコーダ
114 超音波
120 認識部
130 解釈部
140 第1の行動生成部
150 第2の行動生成部
160 行動融和部
170 基本制御処理部
180 行動提示部
181 アクチュエータ制御処理部
DESCRIPTION OF SYMBOLS 100 Robot 110 Input part 111 Camera 112 Microphone 113 Axle encoder 114 Ultrasonic 120 Recognition part 130 Interpretation part 140 1st action generation part 150 2nd action generation part 160 Action integration part 170 Basic control process part 180 Action presentation part 181 Actuator Control processing section

Claims (7)

ユーザからの指示や周囲状況の情報を得る入力部と、
前記入力部からの情報からユーザの指示や周囲状況を認識する認識部と、
前記認識部の認識結果から情報を複合し解釈する解釈部と、
前記解釈部の解釈結果に基づきタスクを遂行するための行動を生成する第1の行動生成部と、
前記認識部の認識結果に基づきユーザの現在の行動を摸倣する同時模倣行動を生成する第2の行動生成部と、
前記第1の行動生成部と第2の行動生成部の行動を融和する行動融和部と、
前記行動融和部により融和された行動を提示するための行動提示部と、を具備したことを特徴とする行動融和型ロボット装置。
An input unit for obtaining information from the user and surroundings;
A recognition unit for recognizing a user's instruction and surroundings from information from the input unit;
An interpretation unit that combines and interprets information from the recognition result of the recognition unit;
A first action generation unit for generating an action for performing a task based on an interpretation result of the interpretation unit;
A second behavior generation unit that generates a simultaneous imitation behavior that imitates a user's current behavior based on the recognition result of the recognition unit;
An action reconciliation unit that reconciles the actions of the first action generation unit and the second action generation unit;
And a behavior presentation unit for presenting the behavior integrated by the behavior integration unit.
ユーザからの指示や周囲状況の情報を得る入力部と、
前記入力部からの情報からユーザの指示や周囲状況を認識する認識部と、
前記認識部の認識結果から情報を複合し解釈する解釈部と、
前記認識部の認識結果を保存する蓄積部と、
前記解釈部の解釈結果に基づきタスクを遂行するための行動を生成する第1の行動生成部と、
前記解釈部の解釈結果と前記蓄積部の蓄積情報に基づき、ユーザの過去の行動を摸倣する延滞模倣行動を生成する第2の行動生成部と、
前記第1の行動生成部と第2の行動生成部の行動を融和するための行動融和部と、
前記行動融和部により融和された行動を提示するための行動提示部と、を具備したことを特徴とする行動融和型ロボット装置。
An input unit for obtaining information from the user and surroundings;
A recognition unit for recognizing a user's instruction and surroundings from information from the input unit;
An interpretation unit that combines and interprets information from the recognition result of the recognition unit;
An accumulating unit for storing the recognition result of the recognizing unit;
A first action generation unit for generating an action for performing a task based on an interpretation result of the interpretation unit;
A second behavior generation unit that generates an overdue imitation behavior that imitates a user's past behavior based on the interpretation result of the interpretation unit and the accumulation information of the accumulation unit;
An action integration unit for integrating the actions of the first action generation unit and the second action generation unit;
And a behavior presentation unit for presenting the behavior integrated by the behavior integration unit.
ユーザからの指示や周囲状況の情報を得る入力部と、
前記入力部からの情報からユーザの指示や周囲状況を認識する認識部と、
前記認識部の認識結果から情報を複合し解釈する解釈部と、
前記解釈部の解釈結果に基づきタスクを遂行するための行動を生成する第1の行動生成部と、
前記解釈部の解釈結果に基づき、動く物体を追従する動体追従行動を生成する第2の行動生成部と、
前記第1の行動生成部と第2の行動生成部の行動を融和するための行動融和部と、
前記行動融和部により融和された行動を提示するための行動提示部と、を具備したことを特徴とする行動融和型ロボット装置。
An input unit for obtaining information from the user and surroundings;
A recognition unit for recognizing a user's instruction and surroundings from information from the input unit;
An interpretation unit that combines and interprets information from the recognition result of the recognition unit;
A first action generation unit for generating an action for performing a task based on an interpretation result of the interpretation unit;
Based on the interpretation result of the interpretation unit, a second behavior generation unit that generates a moving body following behavior that follows a moving object;
An action integration unit for integrating the actions of the first action generation unit and the second action generation unit;
And a behavior presentation unit for presenting the behavior integrated by the behavior integration unit.
ユーザからの指示や周囲状況の情報を得る入力部と、
前記入力部からの情報からユーザの指示や周囲状況を認識する認識部と、
前記認識部の認識結果から情報を複合し解釈する解釈部と、
前記認識部の認識結果を保存する蓄積部と、
前記解釈部の解釈結果に基づきタスクを遂行するための行動を生成する第1の行動生成部と、
前記認識部の認識結果に基づきユーザの現在の行動を摸倣する同時模倣行動を生成する同時摸倣行動生成部と、
前記解釈部の解釈結果と前記蓄積部の蓄積情報に基づき、ユーザの過去の行動を摸倣する延滞模倣行動生成部と、
前記解釈部の解釈結果に基づき、動く物体を追従する動体追従行動を生成する動体追従行動生成部と、
前記解釈部の解釈結果と前記蓄積部の蓄積情報に基づき、前記同時摸倣行動生成部と前記延滞摸倣行動生成部と前記動体追従行動生成部のいずれかを選択して第2の行動を生成する第2の行動生成部と、
前記第1の行動生成部と第2の行動生成部の行動を融和するための行動融和部と、
前記行動融和部により融和された行動を提示するための行動提示部と、を具備したことを特徴とする行動融和型ロボット装置。
An input unit for obtaining information from the user and surroundings;
A recognition unit for recognizing a user's instruction and surroundings from information from the input unit;
An interpretation unit that combines and interprets information from the recognition result of the recognition unit;
An accumulating unit for storing the recognition result of the recognizing unit;
A first action generation unit for generating an action for performing a task based on an interpretation result of the interpretation unit;
A simultaneous imitation action generation unit that generates a simultaneous imitation action that imitates a user's current action based on the recognition result of the recognition unit;
Based on the interpretation result of the interpretation unit and the accumulation information of the accumulation unit, an overdue imitation behavior generation unit that imitates the user's past behavior;
Based on the interpretation result of the interpreting unit, a moving object following action generating unit that generates a moving object following action that follows a moving object;
Based on the interpretation result of the interpreter and the accumulated information of the accumulator, the second behavior is selected by selecting any one of the simultaneous imitation behavior generation unit, the arrears imitation behavior generation unit, and the moving body following behavior generation unit. A second action generation unit to generate;
An action integration unit for integrating the actions of the first action generation unit and the second action generation unit;
And a behavior presentation unit for presenting the behavior integrated by the behavior integration unit.
前記行動融和部は、前記第1の行動生成部の生成した行動を修飾するように、前記第2の行動生成部が生成した行動を融和することを特徴とする請求項1乃至請求項4の行動融和型ロボット装置。 5. The behavior integration unit integrates the behavior generated by the second behavior generation unit so as to modify the behavior generated by the first behavior generation unit. A behavior-integrated robot system. 前記行動融和部は、前記第1の行動生成部の生成した行動と前記第2の行動生成部が生成した行動を、切り替えて融和することを特徴とする請求項1乃至請求項4の行動融和型ロボット装置。 5. The behavior integration unit according to claim 1, wherein the behavior integration unit switches and integrates the behavior generated by the first behavior generation unit and the behavior generated by the second behavior generation unit. Type robot device. 前記行動融和部は、前記第1の行動生成部の生成した行動と前記第2の行動生成部が生成した行動とが、相反する行動であるときに、いずれか一方が抑制されつつ提示されて融和することを特徴とする請求項1乃至請求項4の行動融和型ロボット装置。 The behavior integration unit is presented while one of the behaviors generated by the first behavior generation unit and the behavior generated by the second behavior generation unit are contradictory. 5. The action-integrated robot apparatus according to claim 1, wherein the action-compatible robot apparatus is integrated.
JP2005180448A 2005-06-21 2005-06-21 Action-integrated robot device Pending JP2007000938A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005180448A JP2007000938A (en) 2005-06-21 2005-06-21 Action-integrated robot device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005180448A JP2007000938A (en) 2005-06-21 2005-06-21 Action-integrated robot device

Publications (1)

Publication Number Publication Date
JP2007000938A true JP2007000938A (en) 2007-01-11

Family

ID=37686993

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005180448A Pending JP2007000938A (en) 2005-06-21 2005-06-21 Action-integrated robot device

Country Status (1)

Country Link
JP (1) JP2007000938A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009012923A (en) * 2007-07-04 2009-01-22 Hitachi Ltd Moving device, system, moving method, and moving program
JP2015191591A (en) * 2014-03-28 2015-11-02 富士通株式会社 Information processing apparatus, action timing detection method, and program
JP2017535844A (en) * 2014-09-23 2017-11-30 インテル コーポレイション Multi-factor intelligent agent control
JP2019018336A (en) * 2017-07-18 2019-02-07 パナソニックIpマネジメント株式会社 Apparatus, method, program, and robot

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009012923A (en) * 2007-07-04 2009-01-22 Hitachi Ltd Moving device, system, moving method, and moving program
JP2015191591A (en) * 2014-03-28 2015-11-02 富士通株式会社 Information processing apparatus, action timing detection method, and program
JP2017535844A (en) * 2014-09-23 2017-11-30 インテル コーポレイション Multi-factor intelligent agent control
US10429803B2 (en) 2014-09-23 2019-10-01 Intel Corporation Multifactor intelligent agent control
JP2019018336A (en) * 2017-07-18 2019-02-07 パナソニックIpマネジメント株式会社 Apparatus, method, program, and robot
JP7075168B2 (en) 2017-07-18 2022-05-25 パナソニックホールディングス株式会社 Equipment, methods, programs, and robots

Similar Documents

Publication Publication Date Title
US11625508B2 (en) Artificial intelligence device for guiding furniture placement and method of operating the same
KR102255273B1 (en) Apparatus and method for generating map data of cleaning space
Fernandez et al. Natural user interfaces for human-drone multi-modal interaction
Fischinger et al. Hobbit, a care robot supporting independent living at home: First prototype and lessons learned
JP4556024B2 (en) Robot and robot system
EP2795835B1 (en) System with sensor fusion interface for multiple sensor input and method therefor
JP7260221B2 (en) Robot interaction method and device
US8954330B2 (en) Context-aware interaction system using a semantic model
US8321221B2 (en) Speech communication system and method, and robot apparatus
US11607801B2 (en) Artificial intelligence robot for managing movement of object using artificial intelligence and method of operating the same
KR20210057611A (en) Artificial intelligence apparatus and method for recognizing object included in image data
KR102463806B1 (en) Electronic device capable of moving and method for operating thereof
WO2019226691A1 (en) Transmodal input fusion for a wearable system
Randelli et al. Knowledge acquisition through human–robot multimodal interaction
KR102490916B1 (en) Electronic apparatus, method for controlling thereof, and non-transitory computer readable recording medium
US12096895B2 (en) Artificial intelligence robot and method of operating the same
US20190102377A1 (en) Robot Natural Language Term Disambiguation and Entity Labeling
US11210567B2 (en) Artificial intelligence apparatus and method for recognizing object
KR20190095193A (en) An artificial intelligence apparatus for managing operation of artificial intelligence system and method for the same
JP2019079204A (en) Information input-output control system and method
EP4547451A1 (en) Robot control based on natural language instructions and on descriptors of objects that are present in the environment of the robot
KR20200128486A (en) Artificial intelligence device for determining user's location and method thereof
WO2025072321A1 (en) Training a machine learning model for use in robotic control
JP2007000938A (en) Action-integrated robot device
WO2020022122A1 (en) Information processing device, action determination method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Effective date: 20061122

Free format text: JAPANESE INTERMEDIATE CODE: A621

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080717

A131 Notification of reasons for refusal

Effective date: 20080725

Free format text: JAPANESE INTERMEDIATE CODE: A131

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080918

A02 Decision of refusal

Effective date: 20090414

Free format text: JAPANESE INTERMEDIATE CODE: A02