JP2007000938A - Action-integrated robot device - Google Patents
Action-integrated robot device Download PDFInfo
- Publication number
- JP2007000938A JP2007000938A JP2005180448A JP2005180448A JP2007000938A JP 2007000938 A JP2007000938 A JP 2007000938A JP 2005180448 A JP2005180448 A JP 2005180448A JP 2005180448 A JP2005180448 A JP 2005180448A JP 2007000938 A JP2007000938 A JP 2007000938A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- behavior
- action
- user
- generation unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Manipulator (AREA)
Abstract
【課題】 本発明は、高度で複雑になったネット家電や情報機器とユーザとのインタフェースとして使われる、音声で応答し親しみやすい身体性を持つロボット装置において、ユーザが簡単に情報機器を操作し、ユーザに対し適切なサービスを提供するロボット装置を提供することを目的とする。
【解決手段】 本発明は、ユーザからの指示や周囲状況の情報を得る入力部と、前記入力部からの情報からユーザの指示や周囲状況を認識する認識部と、前記認識部の認識結果から情報を複合し解釈する解釈部と、前記解釈部の解釈結果に基づきタスクを遂行するための行動を生成する第1の行動生成部と、前記認識部の認識結果に基づきユーザの現在の行動を摸倣する同時模倣行動を生成する第2の行動生成部と、前記第1の行動生成部と第2の行動生成部の行動を融和する行動融和部と、前記行動融和部により融和された行動を提示するための行動提示部とを備える。
【選択図】 図1PROBLEM TO BE SOLVED: To enable a user to easily operate an information device in a robot apparatus having a bodily responsive and friendly body used as an interface between an advanced and complicated internet home appliance or information device and a user. An object of the present invention is to provide a robot apparatus that provides appropriate services to a user.
The present invention relates to an input unit that obtains information from a user and information about the surroundings, a recognition unit that recognizes user instructions and surroundings from the information from the input unit, and a recognition result of the recognition unit. An interpretation unit that combines and interprets the information; a first behavior generation unit that generates an action for performing a task based on the interpretation result of the interpretation unit; and a user's current behavior based on the recognition result of the recognition unit A second action generation unit that generates a simultaneous imitation action to imitate, an action integration unit that combines the actions of the first action generation unit and the second action generation unit, and an action integrated by the action integration unit And an action presentation unit for presenting.
[Selection] Figure 1
Description
本発明は、ユーザに対する実用性のあるサービス行動とユーザへの親和性を表現する行動を融合することにより、機器とユーザとの仲立ちになり、ユーザへのサービス提供をするロボット装置に関する。 The present invention relates to a robot apparatus that provides a service to a user by interfacing between a device and a user by fusing a practical service behavior with respect to the user and a behavior that expresses affinity for the user.
近年、家庭内で、ユーザを楽しませるエンターテイメントロボットや、ユーザの役に立つロボットが研究・開発されている。前者のエンターテイメントロボットにおいては、ユーザを楽しませることが目的であり、飽きさせないことがその課題の一つとなっている。後者の役に立つロボットでは、ユーザの命令を聞いて行動するものや、ユーザの意図を認識しユーザに合った行動をするものが提案されている。 In recent years, entertainment robots that entertain users and robots useful to users have been researched and developed at home. In the former entertainment robot, the purpose is to entertain the user, and one of the challenges is not to get bored. As the latter useful robot, one that acts by listening to a user's command and one that recognizes the user's intention and performs an action suitable for the user have been proposed.
エンターテイメントロボットとしては、ロボットがユーザを飽きさせないような行動をさせるために、ロボット装置に行動獲得のための強化学習を行わせるものがある。その際、行動価値の学習率を動的に変更することを特徴とするロボット装置およびロボット制御方法、記録媒体、並びにプログラムが挙げられている(特許文献1を参照)。 As an entertainment robot, there is one that causes a robot apparatus to perform reinforcement learning for action acquisition so that the robot does not get tired of the user. In that case, a robot apparatus and a robot control method, a recording medium, and a program characterized by dynamically changing the learning rate of action value are cited (see Patent Document 1).
役に立つロボットとしては、ユーザの生活習慣や生活環境等に応じて、あるいはユーザの嗜好に則して、各種機器を制御するコントローラとして、予めユーザの操作情報とその操作がなされたときの外的状況の情報を記憶し、現在のユーザの操作情報と外的状況の情報から、ユーザに適した操作信号を生成する統合コントローラ、機器制御方法及び機器制御プログラムが提案されており、その機器制御プログラムを適応したロボットが挙げられている(特許文献2を参照)。 As a useful robot, the user's operation information and the external situation when the operation is made in advance as a controller to control various devices according to the user's lifestyle and living environment or according to the user's preference An integrated controller, a device control method, and a device control program for storing an operation signal suitable for the user from the current user operation information and external situation information have been proposed. An adapted robot is cited (see Patent Document 2).
また人間の行動をロボットが模倣することで、人間−ロボット間で対面コミュニケーションを実現する方法がある(非特許文献1を参照)。これは、人間とロボットとの対面コミュニケーションにおいて、人間の行動から音声情報と関節角度情報を取得し、ロボットはその取得情報を再現することで、人を模倣するというものである。 In addition, there is a method for realizing face-to-face communication between a human and a robot by imitating human behavior by a robot (see Non-Patent Document 1). This means that in face-to-face communication between a human and a robot, voice information and joint angle information are acquired from a human action, and the robot imitates the person by reproducing the acquired information.
一方、ブロードバンドの普及に伴い家庭内でも情報機器をはじめとするホームネットワークの構築が進んでいる。さらに、これらの情報機器と各種センサが融合したユビキタスネットワークに関する研究も盛んである。しかし、これら情報機器のユーザインタフェースは、必ずしも使いやすいものとは言えない。それは各機器が多くの便利な機能を持ち様々な使い方ができるようになる一方、その多様さがゆえに、ユーザの欲する機能を実行するために複雑な入力が強いられるためである。この問題を解決するために、機器とユーザとの仲立ちとなり、簡単に操作できるインタフェースとして、音声で応答し親しみやすい身体性を持つロボット用いたインタフェースが注目されている。 On the other hand, with the spread of broadband, the construction of home networks including information devices is progressing at home. Furthermore, research on ubiquitous networks in which these information devices and various sensors are integrated is also active. However, the user interfaces of these information devices are not always easy to use. This is because each device has many useful functions and can be used in various ways, but because of its variety, complicated inputs are forced to execute the functions desired by the user. In order to solve this problem, an interface using a robot having a bodily body that responds by voice and is familiar is attracting attention as an interface that can be easily operated by mediating between a device and a user.
そのロボットを用いたインタフェースとして、ユーザの欲する機能の確実な実行(実用性)に加えて、ユーザの出す曖昧な要求を理解する、もしくはロボットとのやり取りを通して要求を明確にしていくコミュニケーション能力(親和性)が望まれている。
上述したように、エンターテイメントロボットについてはユーザを飽きさせないために、ロボットへの入力信号に対する出力動作パターンを強化学習により変化させるものであり、また、役に立つロボットは、ユーザの過去の操作パターンを記録しておき、現在の状況から、次にユーザが行うであろう操作を先読みして、ユーザの代わりにロボットが実行しようとするもので、ユーザの行動自体は特に反映されていない。 As described above, in order to keep the user from getting bored with the entertainment robot, the output operation pattern for the input signal to the robot is changed by reinforcement learning, and the useful robot records the user's past operation pattern. In addition, the operation that the user will perform next is pre-read from the current situation, and the robot tries to execute it instead of the user, and the user's behavior itself is not particularly reflected.
更に、人間−ロボット間で対面コミュニケーションでは、人間とロボットの対面コミュニケーションが目的であり、ロボットは人間の模倣をするために、取得情報と出力情報は、同次元のものである必要(例えば、取得する人間の関節角度情報を用いるためには、ロボットもそれに対応する関節を有する必要)があるといった問題があった。 Furthermore, in the face-to-face communication between a human and a robot, the face-to-face communication between a human and a robot is the purpose. In order for the robot to imitate a human, the acquired information and the output information must be of the same dimension (for example, acquired In order to use human joint angle information, there is a problem that the robot needs to have joints corresponding to the information.
複雑になったネット家電や情報機器を使いやすくするには、ユーザからの指示は、従来のキーボードやマウスからの入力ではなく、音声や身振りなどの直感的に入力できるものが期待されているが、音声や身振りによる認識では誤認識が多く、ユーザの意図に反する行動や、ユーザに何度も指示をしてもらう必要があり、ユーザに逆に不満をもたれかねない。 To make it easier to use complex home appliances and information devices, it is expected that instructions from the user can be input intuitively, such as voice and gestures, instead of input from the conventional keyboard and mouse. In recognition by voice or gesture, there are many misrecognitions, and it is necessary for the user to behave against the user's intention or to give instructions to the user over and over, and the user may be dissatisfied.
本発明は、上記した問題を解決するために、高度で複雑になったネット家電や情報機器とユーザとのインタフェースとして使われる、音声で応答し親しみやすい身体性を持つロボット装置において、ユーザが簡単に情報機器を操作し、ユーザに対し適切なサービスを提供するロボット装置を提供することを目的とする。 In order to solve the above-described problems, the present invention is a robot device that is used as an interface between a sophisticated and complicated internet home appliance or information device and a user, and has a bodily body that responds by voice and is easily accessible. It is an object of the present invention to provide a robot apparatus that operates information equipment and provides appropriate services to users.
上記の問題を解決するために、本発明は、ユーザからの指示や周囲状況の情報を得る入力部と、
前記入力部からの情報からユーザの指示や周囲状況を認識する認識部と、前記認識部の認識結果から情報を複合し解釈する解釈部と、前記解釈部の解釈結果に基づきタスクを遂行するための行動を生成する第1の行動生成部と、前記認識部の認識結果に基づきユーザの現在の行動を摸倣する同時模倣行動を生成する第2の行動生成部と、前記第1の行動生成部と第2の行動生成部の行動を融和する行動融和部と、前記行動融和部により融和された行動を提示するための行動提示部とを具備したことを特徴とする。
In order to solve the above problem, the present invention includes an input unit that obtains information from a user and information on the surrounding situation,
To perform a task based on a recognition unit that recognizes a user's instruction and surrounding situation from information from the input unit, an interpretation unit that combines and interprets information from a recognition result of the recognition unit, and an interpretation result of the interpretation unit A first action generation unit that generates an action of the user, a second action generation unit that generates a simultaneous imitation action that imitates a user's current action based on the recognition result of the recognition unit, and the first action generation And a second behavior generation unit, and a behavior presentation unit for presenting the behavior integrated by the behavior integration unit.
本発明により、ユーザは、行動融和型ロボットについて親しみを持って使っているうちに、自然とロボットの認識能力に合わせた適切な指示が行えるようになり、自らの欲するタスクを簡単な指示で得ることができるようになり、同時に、飽きない擬似的なコミュニケーションを図ることも可能となる。 According to the present invention, while the user is familiar with the action-integrated robot, the user can give an appropriate instruction according to the robot's recognition ability naturally, and can obtain the task he desires with a simple instruction. At the same time, it becomes possible to achieve pseudo-communication without getting bored.
以下、本発明の実施の形態を図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
本発明の実施の形態について、例えば車輪で移動し、頭部として2つの自由度(パン・チルト)を有するカメラ雲台を搭載したロボットを用いた、行動融和型ロボット装置の構成を図1に示す。 As for the embodiment of the present invention, FIG. 1 shows the configuration of a behavior-integrated robot apparatus using a robot that moves with wheels and has a camera head with two degrees of freedom (pan / tilt) as a head. Show.
図1に示すように、ロボット100は、入力部110、認識部120、解釈部130、第1の行動生成部140、第2の行動生成部150、行動融和部160、基本制御処理部170、行動提示部180から構成される。
As shown in FIG. 1, the
入力部110として、ロボットに備え付けられたカメラ111、マイク112、ロボットの位置測定用の車軸エンコーダ113、障害物検出用の超音波センサ114の入力装置を有する。これら入力部110のカメラ111、マイク112、車軸エンコーダ113、及び超音波センサ114は、ユーザからロボットへの指示や、周囲の状況を検出した情報を得る。認識部120は、これら入力部110から得られる情報を、例えば、カメラ111から得られる画像情報から、ユーザの顔向き情報や顔認識情報に、マイク112から得られる音声情報から、ユーザ発話の単語認識情報やチャイムの検出結果に、車軸エンコーダ113から得られる車輪回転数から、ロボットの現在位置情報に、超音波センサから得られる反射波情報から、障害物情報等の処理された情報に変換する。
The
解釈部130は、認識部120からの得られた複数の情報を複合し、第1の行動生成部140や第2の行動生成部に用いられるように解釈して保持する。これは、認識部120からの情報を第1の行動生成部140、第2の行動生成部150における行動選択・行動生成に用いる情報(例えばトリガ情報やロボットが摸倣可能なユーザの動作情報)に変換する。
Interpreting
第1の行動生成部140、第2の行動生成部150は解釈部130の保持している情報を元に、それぞれ第1の行動、第2の行動を生成する。行動融和部160は、上記した二つの行動生成部が生成した行動を融和する。行動提示部180は、アクチュエータ制御処理部181と、個々のアクチュエータ(本実施例では、移動182、発話183、注視184、家電操作185)からなる。アクチュエータ制御部181は行動融和部160が融和した行動を各アクチュエータ(182〜185)が実行できるように変換し、各アクチュエータはそれに従い動作する。また基本制御処理部170は、認識部120からの情報を元に直接アクチュエータを制御し、例えば障害物回避動作など、ロボットが自立的に行動するために必要な処理を行う。
The first
次に本実施の形態の概略を図2の模式図と図3の本実施の形態を示すシーケンス図に沿って説明する。状況は、母親200がリビング210で、家事をしているときに子供220が帰宅したという設定である。まずロボット230は母親200が見る方向を一緒になって見ている(第2の行動実行)。そこで、子供220が帰ってきてチャイムを鳴らすと、ロボット230は、部屋に備え付けられたディスプレイ240に玄関カメラ250の映像を写し、母親200に見せる(チャイムをトリガとした第1の行動実行)。母親200はその映像から、子供220の帰宅を知り、ロボット230に子供220を迎えに玄関260まで行くことを命じ、ロボット230は玄関に行く(ユーザの指示をトリガとする第1の行動の実行)。その際、ロボット230は、母親200の「お迎えに行って来て」という指示から「お迎え」というキーワードを抽出し、「お迎え、お迎え」と言いながら玄関260へ移動する(第1の行動に第2の行動(発話の同時模倣)による修飾)。玄関260へ行く途中で子供220を発見するとロボット230は子供220について移動する(第2の行動(子供に付いて回るという摸倣行動)が第1の行動(玄関へ移動する)に優先して実行)。
Next, the outline of the present embodiment will be described with reference to the schematic diagram of FIG. 2 and the sequence diagram showing the present embodiment of FIG. The situation is a setting in which the
上記シーケンスが行われるための処理を、図4、図5、図6に示す第1の行動生成部140、第2の行動生成部150、行動融和部160のフローチャートを用いて説明する。第1の行動生成部140、第2の行動生成部150はそれぞれ独立して、解釈部130の保持している解釈結果に基づき処理を行う。第1の行動は、その行動自体が単独でユーザの役に立つ最小行動として、第1の行動生成部140内にある予め第1の行動データベース(図示しない)に記録されている。またこの内容の一例を図7に示す。第1の行動データベースは、そのトリガとなる情報とそれに一対一対応する第1の行動からなる。解釈結果から、トリガが検出されれば(S401)、第1の行動データベースからそのトリガに対応した第1の行動を選択し(S402)、その第1の行動を生成する(S403)。第1の行動は、新たなトリガが検出されるか(S404)、その行動が終了するまで(S405)、その行動を持続する。またトリガが検出されない場合(S404)は、第1の行動は出力されない。
Processing for performing the above sequence will be described with reference to flowcharts of the first
次に第2の行動について説明する。第2の行動は、本実施の形態では、同時摸倣行動である。同時摸倣行動とは、発達心理学の中で、乳児の初期に見られると言われる行動で、相手の行動を、そのまま真似するというものである。本実施の形態では、行動融和型ロボット装置が行動として提示できる移動行動、発話行動、注視行動、家電操作行動等の第2の行動について、ユーザの行動の解釈結果に基づき、第2の行動生成部150内にある予め第2の行動データベース(図示しない)に記録されている模倣行動から選択し(S501)、その摸倣する行動を生成する(S502)。但し、第2の行動データベースにある摸倣可能な行動をユーザがしていない場合は、その何もしていない状態を摸倣する)。また、摸倣する際には、ユーザと行動融和型ロボット装置の身体性の違いや、行動の明確さを出すために、予め決められた方法に従い、デフォルメを施してもよい。例えば発話を摸倣する際、そのままユーザの言葉の認識結果を摸倣するのではなく、認識した結果のキーワードを2回繰り返す等である。また、摸倣対象は、入力部が捉えた身近なユーザ(人間)とする。
Next, the second action will be described. In the present embodiment, the second action is a simultaneous copying action. Simultaneous imitation behavior is behavior that is said to be seen in the early stages of infants in developmental psychology. In the present embodiment, the second action generation is performed based on the interpretation result of the user's action for the second action such as the moving action, the utterance action, the gaze action, and the home appliance operation action that can be presented as the action by the action-consolidating robot device. The imitation behavior recorded in advance in a second behavior database (not shown) in the
行動融和部160について説明する。行動融和部160は、第1の行動生成部140と第2の行動生成部150の出力した行動を受け、第1の行動の有無を判断する(S601)。もし第1の行動がない場合には、第2の行動を行動提示部180に出力し実行する(S602)。第1の行動がある場合には、第2の行動と同時実行可能かどうか判断する(S603)。第2の行動と同時実行可能な場合(同じアクチュエータを使っていない場合など)には、第1の行動を修飾するように第2の行動を実行する(S604)。同時実行が不可能な場合には、第1の行動と第2の行動の優先順位を予め決められた優先順位に基づき判断する(S605)。ここで、第1の行動の優先順位が高い場合には、第1の行動に切り替えて実行し(S606)、第2の行動の優先順位が高い場合には、第1の行動を第2の行動が抑制して実行する(S607)。
The
このように、本実施の形態の構成により、同時に実行可能な模倣行動を選択して実行するので、自然とロボットの認識能力に合わせた適切な指示が行えるようになり、自らの欲するタスクを簡単な指示で得ることができるようになる。 In this way, the configuration of the present embodiment selects and executes imitation actions that can be executed simultaneously, so that it is possible to give appropriate instructions that naturally match the robot's recognition ability, and simplify the tasks that one wants. Will be able to be obtained with simple instructions.
本発明の実施の形態について、例えば車輪で移動し、頭部として2つの自由度(パン・チルト)を有するカメラ雲台を搭載したロボットを用いた、行動融和型ロボット装置の構成を図8に示す。 As for the embodiment of the present invention, for example, FIG. 8 shows a configuration of a behavior-integrated robot apparatus using a robot that moves by a wheel and has a camera head with two degrees of freedom (pan / tilt) as a head. Show.
図8に示すように、ロボット800は、入力部810、認識部820、解釈部830、第1の行動生成部840、第2の行動生成部850、行動融和部860、基本制御処理部870、行動提示部880、蓄積部890から構成される。蓄積部890以外の構成については、実施例1と同じであるので、実施例1と同じ構成については説明を省略する。
As shown in FIG. 8, the
蓄積部の詳細な構成について図9に示し、蓄積部内部のデータベース(DB)の内容を図10、図11に示す。図9に示すように、蓄積部900は、切り分け部901、時系列DB902、特徴量抽出部903、特徴量DB904、特徴量無次元化部905、無次元化特徴量DB906、行動分類処理部907、ユーザ行動分類DB908から構成される。
FIG. 9 shows the detailed configuration of the storage unit, and FIG. 10 and FIG. 11 show the contents of the database (DB) inside the storage unit. As illustrated in FIG. 9, the
認識部930で認識された時系列データをある意味を持ったユーザ行動(U1、U2、・・・、Un)として、図10(a)に示すよう時系列データを点線で囲まれた部分毎に切り分け部901で切り分ける。切り分ける方法としては、一定時間ごとに切り分ける方法や各データを標準化しその偏差の大きいところで切り分ける方法や音声データがある場合にはその切れ目で切り分ける方法等を用いる。
The time series data recognized by the
例えば、ユーザの位置を検出するセンサからのデータを用いて、その位置変化量の偏差の大きいところで切り分ければ、ユーザが歩いている際のユーザ行動と立ち止まった際のユーザ行動を切り分けることができる。そして、各入力部の認識結果値をあるサンプリング周期で記録し時系列DB902に記録する。入力値は位置情報であれば室内での座標値(X,Y)、カメラであれば画像データ、音声であれば音声データとなる。また、音声データのように、単語などの抽象的なレベルに認識可能なものは、その単語としても記録する。各データは、センサのサンプリング周期tごとの時系列データxi(t)(ここでiは入力パラメータ)となる(単語などの抽象的なものは、例えば発声時点でのデータとする)。 For example, by using data from a sensor that detects the user's position and separating the position change amount in a large deviation, it is possible to separate the user action when the user is walking and the user action when the user is stopped. . And the recognition result value of each input part is recorded with a certain sampling period, and is recorded on time series DB902. The input value is the indoor coordinate value (X, Y) if it is position information, image data if it is a camera, and audio data if it is sound. Moreover, what can be recognized at an abstract level such as a word such as voice data is also recorded as the word. Each data becomes time-series data x i (t) (where i is an input parameter) for each sampling period t of the sensor (abstract data such as words is, for example, data at the time of utterance).
次に特徴量抽出部903では、ユーザ行動(U1、U2、・・・、Un)の各要素時系列情報x1(t)、x2(t)、・・・、xl(t)をそれぞれ一つの数値で表される特徴pj(n)(jは特徴番号、nはユーザ行動番号)を抽出する。特徴としては、時系列データxi(t)自体の平均値や最大値、最小値、標準偏差等や、時系列データxl(t)から算出される変化量xl’(t)や加速度量xi’’(t)の平均値や最大値、最小値、標準偏差等、またはユーザ行動自体の時間等とする。例えばユーザの位置を検出するセンサからのデータを用いれば、この特徴pj(n)は、そのユーザ行動中のユーザの平均移動速度や最大移動速度であったり、マイクロフォンからのデータを用いれば、最大音量であったり、音声データから算出した音の高低とする。図10(b)に示すように、特徴量抽出部903で抽出された各ユーザ行動の特徴量pj(n)が特徴量DB904に記憶される
Next, in the feature
次に特徴量無次元化部905は、数1に示されるように、各特徴の各ユーザ行動での標準偏差Sj(n)を算出し、この標準偏差Sj(n)から数2に示されるように無次元化し特徴パラメータPj(n)を算出する。
Next, the feature
そして特徴量無次元化部905は、図10(c)に示すようにユーザ行動毎に無次元化し特徴パラメータPj(n)を無次元化特長量DB906に記憶する。また、数3で示されるようにユーザ行動自体をその特徴パラメータを軸とした多次元空間内の位置ベクトルunという形で表せる。
Then, the feature
そして、行動分類処理部907では、ユーザ行動を示す位置ベクトルunの距離の長短から各行動の類似度を判定し、類似した行動ごとに分類分け(Ua、Ub、・・・)を行う。例えば、図11(a)に示すように、ユーザ行動を示す位置ベクトルu1、u3はクラスタリングされユーザ行動Uaと判定される。同様に、位置ベクトルu2、u4はそれぞれユーザ行動Ub、Ucと判定される。更に、図11(a)の分類結果がユーザ行動分類DB908に記憶される。行動分類処理部907で分類分けした分類(Ua、Ub、・・・)を延滞模倣行動として、解釈部920で解釈された解釈結果921(A1、A2、・・・)と対応して第2の行動生成部910にある第2の行動データベース911に蓄積する。延滞模倣行動とは、ユーザの過去の行動を模倣する行動のことであり、例えば、ユーザが以前、チャイムが鳴った時に玄関の方向を見たとすると、そのユーザが玄関の方向を見た情報は、切り分け部901で、「チャイムが鳴った」と「玄関の方向を見た」とのユーザ行動に切り分けられ、図11(b)に示すように、第2の行動データベース911に解釈結果(A1:「チャイムが鳴った」)と延滞模倣行動(Ua:「玄関の方向を見た」)が蓄積される。
Then, the action
図12に本実施の形態における第2の行動生成部910のフローチャートを示す。本実施の形態では、第2の行動生成として延滞摸倣行動を出力する。第2の行動データベースの中から、現在の解釈結果に最も近い延滞摸倣行動分類を選択し(S1201)、その分類内の行動を生成する(S1202)。例えば、第2の行動データベース911を検索して、A1からUaを選択し、第2の行動生成部では、Uaの行動を生成する。
FIG. 12 shows a flowchart of the second
このように、本実施の形態の構成により、解釈結果からユーザの過去の行動を模倣するので、親しみを持って使っているうちに、自らの欲するタスクを簡単な指示で得ることができるようになる。 In this way, the configuration of the present embodiment imitates the user's past behavior from the interpretation result, so that the task desired by the user can be obtained with a simple instruction while using with familiarity. Become.
本発明の実施の形態について、例えば車輪で移動し、頭部として2つの自由度(パン・チルト)を有するカメラ雲台を搭載したロボットを用いた、行動融和型ロボット装置の構成を例として、本実施例の構成について図13を用いて説明する。第2の行動生成部内1300の構成以外は、実施例2と同じである。第2の行動生成部1300は、同時摸倣行動生成部1301と延滞摸倣行動生成部1302と動体追従行動生成部1303の3つの行動生成部があり、同時摸倣行動生成部1301は実施例1の第2の行動生成部と、延滞摸倣行動生成部1302は実施例2の第2の行動生成部と同じであるので、説明は省略する。動体追従行動生成部1303は、同時摸倣行動生成部1301では、ユーザの行動を摸倣していたが、動体追従行動生成部1303は動くものを追従する行動を生成する。
Regarding the embodiment of the present invention, for example, the configuration of a behavior-integrated robot apparatus using a robot that moves with wheels and has a camera head with two degrees of freedom (pan / tilt) as a head is taken as an example. The configuration of this embodiment will be described with reference to FIG. Except for the configuration of the second
次にこの3つの行動生成部の選択方法について図14を用いて説明する。ユーザがロボット装置に認識される位置にいるかどうか判断する(S1401)。ユーザがロボット装置に認識される位置にいた場合に、ユーザに情報量大の動きがあるかどうか判断する(S1402)。ユーザに情報量大の動きがある場合には同時摸倣行動生成部1301が選択される(S1403)。ここでいう情報量とは、シャノンの情報量の考えにも基づき、珍しい行動ほど情報量が大きいと考える。具体的には、図15に示すように、上述の実施例2で算出した、特徴パラメータ空間内で疎な位置にある行動が情報量を高いと考え、特徴パラメータ空間内の密な位置にある行動が情報量を低いと考える。またユーザがロボットに認識される位置にいない、あるいは近くにいるが、普通(情報量小)の行動をとっている場合、検出される物体の情報量が大きいかどうか判断する(S1404)。ここで、検出された物体が情報量大の動きがあれば、動体追従行動生成部1302が選択され(S1405)、そうでなければ延滞摸倣行動生成部1303が選択される(S1406)。
Next, the selection method of these three action production | generation parts is demonstrated using FIG. It is determined whether the user is at a position recognized by the robot apparatus (S1401). When the user is at a position recognized by the robot apparatus, it is determined whether or not the user has a movement with a large amount of information (S1402). If the user has a large amount of information, the simultaneous copying
また、これら同時摸倣行動、延滞摸倣行動、動体追従行動の3つの行動形態と提示媒体の関係について、図16に示す。実施例1で説明したように、例えば、母親が見る方向をロボットが同じ方向を一緒になって見ているように、同時模倣行動では共同注視している。更に、チャイム鳴ったと解釈部で解釈されると、ロボットは玄関の方を見るといった、延滞模倣行動をする。母親が移動するとこれに従ってロボットも母親を追っかける動体追従行動を行う。図中×が付いているのは該当媒体による行動はない。またカッコ内には、その鼓動の一般的な意味を記したものである。 Further, FIG. 16 shows the relationship between these three types of behaviors of simultaneous imitation behavior, arrears imitation behavior, and moving body following behavior and the presentation medium. As explained in the first embodiment, for example, the simultaneous imitation behavior is jointly watched so that the robot sees the same direction together when the mother sees it. Further, when the interpretation unit interprets that a chime has been sounded, the robot performs an arrears imitation behavior such as looking at the entrance. When the mother moves, the robot also follows the moving body following the mother. In the figure, there is no action by the corresponding medium. The parentheses indicate the general meaning of the heartbeat.
このように、本実施の形態の構成により、同時模倣行動、延滞模倣行動、及び動体追従行動の3つ行動形態から選択するので、自然とロボットの認識能力に合わせた適切な指示が行えるようになり、自らの欲するタスクを簡単な指示で得ることができるようになる。 As described above, according to the configuration of the present embodiment, since it is selected from the three behavior forms of the simultaneous imitation behavior, the overdue imitation behavior, and the moving body following behavior, it is possible to perform an appropriate instruction according to the recognition ability of the robot naturally. It becomes possible to get the task that he wants with simple instructions.
本発明の実施の形態について、例えば人と類似した腕や脚を持ったヒューマノイドを用いた行動融和型ロボット装置の構成を例として説明する。図17に示すように、ロボット1700は、入力部81711、認識部1720、解釈部1730、第1の行動生成部1740、第2の行動生成部1750、行動融和部1760、基本制御処理部1770、行動提示部1780、から構成され、認識部1720は、ロボット外の入力部1715からの情報も認識する。ロボット外の入力部1715以外の構成については、実施例1と同じ構成なので説明を省略する。
An embodiment of the present invention will be described by taking, for example, a configuration of a behavior-integrated robot apparatus using a humanoid having arms and legs similar to those of a person. As shown in FIG. 17, the
これまでに述べた実施例1、実施例第2、実施例3の実施の形態について、図18に示すような、環境に設置されたカメラ1821、1822やチャイムのON−OFF検知センサ、ユーザ1800やロボット1810がどこにいるのかを検出するためのRFIDタグ(1801、1811)を用いた位置計測装置1830、同じくユーザやロボットがどこにいるかを検出するための床センサ1840を備えてもよく、行動提示部として、ジェスチャー機能1786を備え、それぞれ同時摸倣行動、延滞摸倣行動、動体追従行動を行ってもよい。
As for the embodiments of Example 1, Example 2 and Example 3 described so far,
このように、本実施の形態の構成により、同時模倣行動、延滞模倣行動、及び動体追従行動の3つ行動形態から選択するので、自然とロボットの認識能力に合わせた適切な指示が行えるようになり、自らの欲するタスクを簡単な指示で得ることができるようになる。 As described above, according to the configuration of the present embodiment, since it is selected from the three behavior forms of the simultaneous imitation behavior, the overdue imitation behavior, and the moving body following behavior, it is possible to perform an appropriate instruction according to the recognition ability of the robot naturally. It becomes possible to get the task that he wants with simple instructions.
100 ロボット
110 入力部
111 カメラ
112 マイク
113 車軸エンコーダ
114 超音波
120 認識部
130 解釈部
140 第1の行動生成部
150 第2の行動生成部
160 行動融和部
170 基本制御処理部
180 行動提示部
181 アクチュエータ制御処理部
DESCRIPTION OF
Claims (7)
前記入力部からの情報からユーザの指示や周囲状況を認識する認識部と、
前記認識部の認識結果から情報を複合し解釈する解釈部と、
前記解釈部の解釈結果に基づきタスクを遂行するための行動を生成する第1の行動生成部と、
前記認識部の認識結果に基づきユーザの現在の行動を摸倣する同時模倣行動を生成する第2の行動生成部と、
前記第1の行動生成部と第2の行動生成部の行動を融和する行動融和部と、
前記行動融和部により融和された行動を提示するための行動提示部と、を具備したことを特徴とする行動融和型ロボット装置。 An input unit for obtaining information from the user and surroundings;
A recognition unit for recognizing a user's instruction and surroundings from information from the input unit;
An interpretation unit that combines and interprets information from the recognition result of the recognition unit;
A first action generation unit for generating an action for performing a task based on an interpretation result of the interpretation unit;
A second behavior generation unit that generates a simultaneous imitation behavior that imitates a user's current behavior based on the recognition result of the recognition unit;
An action reconciliation unit that reconciles the actions of the first action generation unit and the second action generation unit;
And a behavior presentation unit for presenting the behavior integrated by the behavior integration unit.
前記入力部からの情報からユーザの指示や周囲状況を認識する認識部と、
前記認識部の認識結果から情報を複合し解釈する解釈部と、
前記認識部の認識結果を保存する蓄積部と、
前記解釈部の解釈結果に基づきタスクを遂行するための行動を生成する第1の行動生成部と、
前記解釈部の解釈結果と前記蓄積部の蓄積情報に基づき、ユーザの過去の行動を摸倣する延滞模倣行動を生成する第2の行動生成部と、
前記第1の行動生成部と第2の行動生成部の行動を融和するための行動融和部と、
前記行動融和部により融和された行動を提示するための行動提示部と、を具備したことを特徴とする行動融和型ロボット装置。 An input unit for obtaining information from the user and surroundings;
A recognition unit for recognizing a user's instruction and surroundings from information from the input unit;
An interpretation unit that combines and interprets information from the recognition result of the recognition unit;
An accumulating unit for storing the recognition result of the recognizing unit;
A first action generation unit for generating an action for performing a task based on an interpretation result of the interpretation unit;
A second behavior generation unit that generates an overdue imitation behavior that imitates a user's past behavior based on the interpretation result of the interpretation unit and the accumulation information of the accumulation unit;
An action integration unit for integrating the actions of the first action generation unit and the second action generation unit;
And a behavior presentation unit for presenting the behavior integrated by the behavior integration unit.
前記入力部からの情報からユーザの指示や周囲状況を認識する認識部と、
前記認識部の認識結果から情報を複合し解釈する解釈部と、
前記解釈部の解釈結果に基づきタスクを遂行するための行動を生成する第1の行動生成部と、
前記解釈部の解釈結果に基づき、動く物体を追従する動体追従行動を生成する第2の行動生成部と、
前記第1の行動生成部と第2の行動生成部の行動を融和するための行動融和部と、
前記行動融和部により融和された行動を提示するための行動提示部と、を具備したことを特徴とする行動融和型ロボット装置。 An input unit for obtaining information from the user and surroundings;
A recognition unit for recognizing a user's instruction and surroundings from information from the input unit;
An interpretation unit that combines and interprets information from the recognition result of the recognition unit;
A first action generation unit for generating an action for performing a task based on an interpretation result of the interpretation unit;
Based on the interpretation result of the interpretation unit, a second behavior generation unit that generates a moving body following behavior that follows a moving object;
An action integration unit for integrating the actions of the first action generation unit and the second action generation unit;
And a behavior presentation unit for presenting the behavior integrated by the behavior integration unit.
前記入力部からの情報からユーザの指示や周囲状況を認識する認識部と、
前記認識部の認識結果から情報を複合し解釈する解釈部と、
前記認識部の認識結果を保存する蓄積部と、
前記解釈部の解釈結果に基づきタスクを遂行するための行動を生成する第1の行動生成部と、
前記認識部の認識結果に基づきユーザの現在の行動を摸倣する同時模倣行動を生成する同時摸倣行動生成部と、
前記解釈部の解釈結果と前記蓄積部の蓄積情報に基づき、ユーザの過去の行動を摸倣する延滞模倣行動生成部と、
前記解釈部の解釈結果に基づき、動く物体を追従する動体追従行動を生成する動体追従行動生成部と、
前記解釈部の解釈結果と前記蓄積部の蓄積情報に基づき、前記同時摸倣行動生成部と前記延滞摸倣行動生成部と前記動体追従行動生成部のいずれかを選択して第2の行動を生成する第2の行動生成部と、
前記第1の行動生成部と第2の行動生成部の行動を融和するための行動融和部と、
前記行動融和部により融和された行動を提示するための行動提示部と、を具備したことを特徴とする行動融和型ロボット装置。 An input unit for obtaining information from the user and surroundings;
A recognition unit for recognizing a user's instruction and surroundings from information from the input unit;
An interpretation unit that combines and interprets information from the recognition result of the recognition unit;
An accumulating unit for storing the recognition result of the recognizing unit;
A first action generation unit for generating an action for performing a task based on an interpretation result of the interpretation unit;
A simultaneous imitation action generation unit that generates a simultaneous imitation action that imitates a user's current action based on the recognition result of the recognition unit;
Based on the interpretation result of the interpretation unit and the accumulation information of the accumulation unit, an overdue imitation behavior generation unit that imitates the user's past behavior;
Based on the interpretation result of the interpreting unit, a moving object following action generating unit that generates a moving object following action that follows a moving object;
Based on the interpretation result of the interpreter and the accumulated information of the accumulator, the second behavior is selected by selecting any one of the simultaneous imitation behavior generation unit, the arrears imitation behavior generation unit, and the moving body following behavior generation unit. A second action generation unit to generate;
An action integration unit for integrating the actions of the first action generation unit and the second action generation unit;
And a behavior presentation unit for presenting the behavior integrated by the behavior integration unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005180448A JP2007000938A (en) | 2005-06-21 | 2005-06-21 | Action-integrated robot device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005180448A JP2007000938A (en) | 2005-06-21 | 2005-06-21 | Action-integrated robot device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2007000938A true JP2007000938A (en) | 2007-01-11 |
Family
ID=37686993
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005180448A Pending JP2007000938A (en) | 2005-06-21 | 2005-06-21 | Action-integrated robot device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2007000938A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009012923A (en) * | 2007-07-04 | 2009-01-22 | Hitachi Ltd | Moving device, system, moving method, and moving program |
| JP2015191591A (en) * | 2014-03-28 | 2015-11-02 | 富士通株式会社 | Information processing apparatus, action timing detection method, and program |
| JP2017535844A (en) * | 2014-09-23 | 2017-11-30 | インテル コーポレイション | Multi-factor intelligent agent control |
| JP2019018336A (en) * | 2017-07-18 | 2019-02-07 | パナソニックIpマネジメント株式会社 | Apparatus, method, program, and robot |
-
2005
- 2005-06-21 JP JP2005180448A patent/JP2007000938A/en active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009012923A (en) * | 2007-07-04 | 2009-01-22 | Hitachi Ltd | Moving device, system, moving method, and moving program |
| JP2015191591A (en) * | 2014-03-28 | 2015-11-02 | 富士通株式会社 | Information processing apparatus, action timing detection method, and program |
| JP2017535844A (en) * | 2014-09-23 | 2017-11-30 | インテル コーポレイション | Multi-factor intelligent agent control |
| US10429803B2 (en) | 2014-09-23 | 2019-10-01 | Intel Corporation | Multifactor intelligent agent control |
| JP2019018336A (en) * | 2017-07-18 | 2019-02-07 | パナソニックIpマネジメント株式会社 | Apparatus, method, program, and robot |
| JP7075168B2 (en) | 2017-07-18 | 2022-05-25 | パナソニックホールディングス株式会社 | Equipment, methods, programs, and robots |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11625508B2 (en) | Artificial intelligence device for guiding furniture placement and method of operating the same | |
| KR102255273B1 (en) | Apparatus and method for generating map data of cleaning space | |
| Fernandez et al. | Natural user interfaces for human-drone multi-modal interaction | |
| Fischinger et al. | Hobbit, a care robot supporting independent living at home: First prototype and lessons learned | |
| JP4556024B2 (en) | Robot and robot system | |
| EP2795835B1 (en) | System with sensor fusion interface for multiple sensor input and method therefor | |
| JP7260221B2 (en) | Robot interaction method and device | |
| US8954330B2 (en) | Context-aware interaction system using a semantic model | |
| US8321221B2 (en) | Speech communication system and method, and robot apparatus | |
| US11607801B2 (en) | Artificial intelligence robot for managing movement of object using artificial intelligence and method of operating the same | |
| KR20210057611A (en) | Artificial intelligence apparatus and method for recognizing object included in image data | |
| KR102463806B1 (en) | Electronic device capable of moving and method for operating thereof | |
| WO2019226691A1 (en) | Transmodal input fusion for a wearable system | |
| Randelli et al. | Knowledge acquisition through human–robot multimodal interaction | |
| KR102490916B1 (en) | Electronic apparatus, method for controlling thereof, and non-transitory computer readable recording medium | |
| US12096895B2 (en) | Artificial intelligence robot and method of operating the same | |
| US20190102377A1 (en) | Robot Natural Language Term Disambiguation and Entity Labeling | |
| US11210567B2 (en) | Artificial intelligence apparatus and method for recognizing object | |
| KR20190095193A (en) | An artificial intelligence apparatus for managing operation of artificial intelligence system and method for the same | |
| JP2019079204A (en) | Information input-output control system and method | |
| EP4547451A1 (en) | Robot control based on natural language instructions and on descriptors of objects that are present in the environment of the robot | |
| KR20200128486A (en) | Artificial intelligence device for determining user's location and method thereof | |
| WO2025072321A1 (en) | Training a machine learning model for use in robotic control | |
| JP2007000938A (en) | Action-integrated robot device | |
| WO2020022122A1 (en) | Information processing device, action determination method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Effective date: 20061122 Free format text: JAPANESE INTERMEDIATE CODE: A621 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080717 |
|
| A131 | Notification of reasons for refusal |
Effective date: 20080725 Free format text: JAPANESE INTERMEDIATE CODE: A131 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080918 |
|
| A02 | Decision of refusal |
Effective date: 20090414 Free format text: JAPANESE INTERMEDIATE CODE: A02 |