CN1304345A - 机器人装置及其控制方法 - Google Patents

Abstract

在生成机器人装置的行为和动作时用作基础的行为和/或动作模型根据来自外界的输入历史和机器人装置自身的行为和动作的历史,在预定定时逐步变换成另一个成长级更高的行为和/或动作模型。因此,通过将成长与学习相结合提供了娱乐性得到进一步提高的宠物机器人装置。

Description

机器人装置及其控制方法

技术领域

本发明涉及机器人装置(robot)及其控制方法，并且适合于应用到宠物机器人装置。

背景技术

最近，本专利申请人已经提出并开发了4条腿行走的宠物机器人装置，它根据来自用户和所处环境的指示行动。这样的宠物机器人装置形状象普通家庭中饲养的狗或猫，并根据来自用户和所处环境的指示自由行动。在下面说明中，一组动作被定义为‘行为’。

想像一下，如果对这样的宠物机器人装置配备象真狗或真猫那样能够‘成长’的功能，那么用户可以从宠物机器人装置当中得到更亲近和满足的感觉，从而提高了宠物机器人装置的娱乐性。

在给宠物机器人装置配备‘成长’功能的同时，如果再将一些新的设计合并在其中，使得在宠物机器人装置不再成长或者在重新开始成长之前等待很长时间这种情况下，仍能够使用户对宠物机器人装置的行为和动作保持兴趣和防止用户对其感到厌烦，那么，人们就会从宠物机器人装置身上得到多得多的乐趣。

发明公开

本发明就是在考虑了上述情况之后作出的，因此，本发明的目的是提供一种从用户角度来讲可以提高娱乐性的机器人装置以及对它的控制方法。

为了解决上述主题，为本发明的机器人装置配备了行为和/或动作生成装置，用于根据行为和/或动作模型生成行为和/或动作；以及行为和/或动作模型转换装置，用于根据来自外界的输入历史和它自身的行为和/或动作历史的至少一个在给定定时上将行为和/或动作模型转换成更高级的行为和/或动作模型，仿佛宠物机器人装置正在‘成长’一样使行为和动作得到转换。因此，可以实现这样的机器人装置，对用户来说，其娱乐质量(娱乐性)得到极大提高。

此外，还为本发明的机器人装置配备了行为和/或动作生成装置，用于根据行为和动作模型生成行为和/或动作；第一转换装置，用于按照一组第一给定条件，将行为和/或动作逐级转换成更高级的行为和/或动作；和第二转换装置，用于根据来自外界的输入历史和它自身的行为和/或动作历史的至少一个，按照一组第二给定条件将行为和/或动作模型转换成同级或更低级的行为和/或动作，从而防止用户对机器人装置的行为和动作感到厌倦。因此，可以实现这样的机器人装置，对用户来说，其娱乐质量(娱乐性)进一步得到提高。

并且，还为本发明的机器人装置配备了行为和/或动作生成装置，用于根据行为和/或动作模型生成行为和/或动作；以及行为和/或动作转换装置，用于按照给定评估函数对其自身的行为进行评估，再根据该评估所得的评估结果在给定定时上将行为和/或动作转换成更高成长级的行为和/或动作模型。这样，仿佛机器人装置正在成长一样使行为和动作得到变换。因此，可以实现这样的机器人装置，对用户来说，其娱乐质量(娱乐性)极大地得到提高。

并且，还为本发明含有多种行为和/或动作模型以生成多种行为和/或动作的机器人装置配备了行为和/或动作生成装置，用于根据行为模式的相应行为和/或动作模型，生成行为和/或动作；和转换装置，用于转换每种行为模式相应的行为和/或动作模型，用该装置行为模式相应的每种行为和/或动作模型可以用为每种行为和/或动作模型预置的不同规则来转换，使得机器人装置的个性可以多样化。因此，可以实现这样的机器人装置，其娱乐质量(娱乐性)极大地得到提高。

并且，本发明用于机器人装置的控制方法包括第一步骤，根据行为和/或动作模型生成行为和/或动作；和第二步骤，根据来自外界的输入历史和其自身的行为和/或动作历史的至少一个在给定定时上将行为和/或动作模型转换成更高级的行为和/或动作模型，仿佛机器人装置正在成长一样使行为和动作可以得到转换。因此，可以实现这样的控制方法，借此机器人装置的娱乐质量(娱乐性)得到显著提高。

并且，本发明用于机器人装置的控制方法包括第一步骤，根据行为和/或动作模型生成行为和/或动作；和第二步骤，按照第一给定条件将行为和/或动作模型转换成更高成长级的行为和/或动作模型，和根据来自外界的输入历史和其自身的行为和/或动作历史的至少一个，按照第二给定条件将行为和/或动作模型转换成相同或更低成长级的行为和/或动作模型，从而有效地防止用户对机器人装置的行为和动作感到厌倦。因此，可以实现这样的控制方法，它显著地提高了机器人装置的娱乐性。

并且，本发明用于机器人装置的控制方法包括第一步骤，根据行为和动作模型生成行为和/或动作；和第二步骤，按照给定评估函数对其自身的行为进行评估，再根据该评估所得的评估结果在给定定时上将行为和/或动作转换成更高成长级的行为和动作模型，仿佛机器人装置正在成长一样使行为和动作得到转换。因此，可以实现这样用于机器人装置的控制方法，其娱乐性得到显著提高。

并且，本发明用于含有多种行为和/或动作模型以生成多种行为模式的机器人装置的控制方法，包括第一步骤，根据对应行动模式的每种行为和/或动作生成行为和/或动作；和第二步骤，响应来自外界的影响转换相应行为模式的每种行为和/或动作模型，或按照为每种行为和/或动作模型预置的不同规则转换每种行为模式相对应的行为和/或动作模型，使得机器人装置的个性可以多样化。因此，可以实现这样的用于机器人装置的控制方法，它极大地提高了娱乐质量(娱乐性)。

附图简述

图1是具体实施本发明的宠物机器人装置的外部结构的透视图；

图2是宠物机器人装置的电路结构的方块图；

图3是成长模型的示意图；

图4是有助于描述控制器的处理的方块图；

图5是有助于描述在感情/本能模型化单元中的数据处理的示意图；

图6是概率自动机(probability automation)的示意图；

图7是状态变换的示意图；

图8是有助于描述定向图的示意图；

图9是用于全身的定向图的示意图；

图10是用于头部的定向图的示意图；

图11是用于腿部的定向图的示意图；

图12是用于尾部的定向图的示意图；

图13是第1成长要素列表和第1成长要素计数表的示意图；

图14是第2成长要素列表和第2成长要素计数表的示意图；

图15是成长控制处理过程的流程图；

图16是其它实施例的示意图；

图17是其它实施例的示意图；

图18是在第2实施例中成长模型的示意图；

图19是有助于描述第2实施例中控制器的处理的方块图；

图20是有助于描述对伴随着成长的行为模式的记忆的获取和忘记的示意图；

图21是有助于描述不同文档的示意图；

图22是有助于描述用于行为和动作模型的转换方法的示意图；

图23是有助于描述其它实施例的示意图；

图24是第3实施例中行为模式转换和后退模型的示意图；

图25是有助于描述第3实施例中控制器的处理的方块图；

图26是第1行为模式要素列表和第1行为模式要素计数表的示意图；

图27是第2行为模式要素列表和第2行为模式要素计数表的示意图；

图28是后退要素列表和后退要素计数表的示意图；

图29是后退状态和后退状态列表的示意图；

图30是行为模式转换处理过程的流程图；

图31是后退处理过程的流程图；

图32是其它实施例的示意图；

图33是有助于描述第4实施例中控制器的处理的方块图；

图34是有助于为每种行为模式配备的数种行为和动作模型的示意图；

图35是学习速度表的示意图。

实施本发明的最佳模式

下面举例说明本发明的几个优选实施例。(1)第一实施例(1-1)在实施本发明的第一模式中宠物机器人装置的结构

图1中的“1”显示第一实施例中宠物机器人装置的整体概貌，其中腿部单元3A-3D与主体单元2相连接，分别处在左前、右前、左后和右后位置上；和头部单元4和尾部单元分别位于前端和后端。

在这种情况中，如图2所示，主体单元2容纳了控制器10，控制宠物机器人装置1的整体操作；电池11，作为宠物机器人1的电源；和内部传感器单元15，由电池传感器12、热敏传感器13和加速度传感器14组成。

此外，位于头部单元4的指定位置上的是外部传感器单元19，包括分别用作宠物机器人装置1的“耳朵”的麦克风14、用作‘眼睛’和触摸传感器18的CCD(电荷耦合器件)摄像机17、和用作‘嘴巴’的扬声器。

致动器21₁～21_n处在每个腿部单元3A～3D的关节上、每个腿部单元3A～3D与主体单元2的连接点上、头部单元4与主体单元2的连接点上、以及尾部单元5与主体单元2的连接点上。

外部传感器单元19的麦克风收集通过声音命令器(图中未示出)按音阶(scale)给出的命令声音，诸如‘行走’、‘躺下’或‘追球’之类，所得的话音信号S1A馈送到控制器10。CCD摄像机拍摄周围环境的照片，所得的图像信号S1B传送到控制器10。

从图1可明显看出，位于头部单元4的上部的触摸传感器18检测接收到的压力，这个压力是由于用户通过诸如‘抚摸’或‘拍打’施加的物理影响产生的，检测的结果作为压力检测信号S1C馈送到控制器。

内部传感器单元15的电池传感器12检测电池11的剩余能力，检测的结果作为电池余量检测信号S2A传送到控制器10。热敏传感器13检测宠物机器人装置1内部的温度，其结果作为温度检测信号S2B传送到控制器10。加速器传感器14沿着3轴(X、Y和Z)方向检测加速度，其结果作为加速度检测信号S2C传输到控制器10。根据外部传感器19给出的话音信号S1A、图像信号S1B和压力检测信号S1C(下文将这两个信号放在一起称为外部信息信号S1)、内部传感器单元15提供的电池余量检测信号S2A、温度检测信号S2B和加速度检测信号S2C等(下文将它们放在一起称为内部信息信号S2)，控制器判断外部和内部状态以及来自用户的命令或影响是否存在。

控制器10根据上述的判断结果和预先存储在存储器10A中的控制程序确定下一个行为，并根据所得的结果驱动致动器21₁～21_n，以便让宠物机器人装置1完成各种行为和动作，例如，上下左右晃动头部单元4、摇动尾部单元5的尾巴5A、和驱动腿部单元3A～3D行走。

同时，控制器10按要求产生话音信号S3，这个话音信号S3馈送到扬声器20，以便根据此话音信号S3向外发出声音和使位于假定是宠物机器人装置1的眼睛的位置上的LED(发光二极管，图中未示出)闪烁。

按照这种方式，宠物机器人装置1被设计成能够响应它内部和外部的状态以及来自用户的命令和影响来自动地动作。除了上述操作之外，还可以将宠物机器人装置1设计成，根据诸如用户施加的影响和声音命令之类输入操作的历史和它自身的行为和动作的历史，转换它的行为和动作使它仿佛象真的动物那样不断‘成长’。

也就是说，从图3可知，宠物机器人装置1的成长过程包括‘幼年’、‘少年’、‘青年’和‘成年’四个阶段。预先存储在控制器10的存储器10A中的是由各种控制参数和控制程序组成的行为和动作模型，它们形成了与四个项目有关的行为和动作的基础：每个‘成长阶段’的‘步态’、‘动作’、‘行为’和‘(吠叫)声音’。

然后，控制器10控制每个致动器21₁～21_n和话音输出，以便根据在初始阶段‘幼年’的行为和动作模型，例如，对于‘步态’，宠物机器人装置1用窄的行走步伐、短的行走周期、低的腿部运动蹒跚行走；对于‘动作’，宠物机器人1只有象‘行走’、‘站立’和‘躺下’之类‘单调’动作的举止；对于行为，宠物机器人装置1只完成‘单调’的行为，如重复同一动作；对于‘声音’，通过降低话音信号S3的放大倍数，宠物机器人装置用小而短的声音吠叫。

同时，根据构成预定‘成长’的多种要素(下文称为‘成长要素’)，例如，通过声音命令的命令输入、由利用声音命令输入的与‘抚摸’和‘拍打’对应的命令输入和完成预定行为和动作的成功次数构成的强化学习、通过触摸传感器18输入的不与‘抚摸’和‘拍打’对应的传感器输入、诸如‘玩球’之类的预定行为和动作，以及其它要素，控制器10监视并计数这些成长要素的出现次数。

根据这些成长要素出现频次的累计总和，当每种成长要素出现次数的累计和的总计值(下文称之为‘成长要素综合经验值’)超过预置阈值时，控制器10转换要使用的行为和动作模型，从用于‘少年’的行为和动作模型到一组更高级的用于‘青年’的行为和动作模型。

然后，控制器10根据用于‘少年’的行为和动作模型，控制每个致动器21₁～21_n和从扬声音器20输出的声音，使得宠物机器人装置1，

对于‘步态’，通过使每个致动器21₁～21_n旋转得更快，步伐周期更长，和腿升得更高，行走得更坚定一点。

对于‘动作’，通过提高动作次数以‘程度更高和更复杂’的动作运动；对于‘行为’，通过根据前一行为决定下一行为使行为表现得‘有点目的性’；和

对于‘声音’，通过延长/放大话音信号的长度/幅度以‘稍长’一点和稍大声一点的‘声音’吠叫。

进一步，每当成长要素的综合经验值超过为‘青年’或‘成年’预定的每个阈值时，控制器10按照相同的方式依次将行为和动作模型转换成用于‘青年’或‘成年’的更高作成长级的行为和动作模型。同时，每个致动器21₁～21_n的旋转速度根据相应的行为和动作模型而变化，以便使行走周期更长，腿升得更高，或者逐渐增大馈送到扬声器20的话音声音33的长度和放大倍数。也就是说，对于每种行为或动作致动器21₁～21_n的旋转次数是可变的。

结果，随着成长阶段不断升级(从‘幼年’到‘少年’、从‘少年’到‘青年’、再从‘青年’到‘成年’)，宠物机器人装置1的‘步态’从‘蹒跚行走’转换到‘更坚定地行走’、‘动作’从‘单调的’‘转换到’程度更高的、复杂的‘和‘行为’从‘单纯的’转换到‘行为表现得有目的’，和‘声音’从小且短‘逐级变化到‘长且响’。

按照这种方式，宠物机器人装置1按照来自外界的输入和它自身的行为和动作的历史被设计成分四个阶段，即‘幼年’、‘少年’、‘青年’和‘成年’成长。

在此实施例中，从图3可明显看出，为‘幼年’、‘少年’、‘青年’和‘成年’的每个‘成长阶段’预备了数种行为和动作模型。

例如，在实际中，作为用于‘少年’的行为和动作模型，提供行为和动作模型(少年1)，按照该模型进行特定行为模式的行为和动作来表示迅速但粗野动作；和提供另一组行为和动作模型(童年2)，进行特定行为模式的行为和动作来表示优雅和缓慢‘文静’动作。

对于‘青年’的行为和动作模型，提供三组行为和动作模型：青年1，进行与‘少年’的‘粗野’行为模式相比更迅速和更粗的‘狂怒’动作的行为和动作的行为和动作模型；青年2，安排缓慢和流畅动作‘正常’行为模式的行为和动作的行为和动作模型；青年3，安排带有少量积极移动的动作缓慢得多的‘平静’行为模式的行为和动作的行为和动作模型。

进一步提供作为用于‘成年’的行为和动作模型。成年1，安排具有更粗鲁和更迅速移动特性的‘攻击性’行为模式的行为和动作，不遵从来自用户的命令的动作进行行为和动作模型；成年2，安排具有更优雅和更缓慢移动特性的‘有点粗野’行为模式，遵从来自用户的命令进行动作的行动和动作模型；成年3，安排具有更优雅和更缓慢移动特性并且有少量动作的‘有点平静’行为模式的行为和动作，总是遵从来自用户的命令进行动作的行为和动作模型；和成年4，安排具有缓慢得多移动特性并且带有更少量动作的‘文静’作为模式的行为和动作，总是遵从来自用户的命令进行动作的行为和动作模型。

将控制器10设计成，在升级‘成长阶段’的过程中，根据每个成长要素发生频次数的累计和，从下一‘成长阶段’的行为和动作模型中选择行为和动作模型之一，所述的行为和动作模型取代前面使用的行为和动作模型用于下一运动。

在这种情况中，在变换到‘少年’之后的下一‘成长阶段’的过程中，当前‘成长阶段’的行为和动作模型只可以变换到下一‘成长阶段’的预定行为和动作模型，也就是，只能在与图3所示的箭头相连接的行为和动作模型中。因此，举例来说，如果对‘少年’选择了安排‘粗野’行为和动作的行为和动作模型‘少年1’，那么，就不允许宠物机器人装置1变换到用于‘青年’的、进行‘文静’行为和动作的行为和动作模型‘青年3’。

按照这种方式，宠物机器人装置1被设计成，随着它不断成长，它的‘行为模式’根据来自用户的影响和命令和它自身的行为和动作的历史来转换。(1-2)控制器10的处理

下面描述宠物机器人装置1的控制器10的具体处理。

如图4所示，控制器10的处理内容从功能上分成如下几部分：

*状态识别机构单元30，用于识别外部和内部环境

*感情/本能模型化单元31，用于根据状态识别机构单元30识别的结果确定感情和本能的状态

*行为确定机构单元32，用于根据状态识别机构单元30识别的结果和感情/本能模型化单元31的输出确定下一行为或运动

*姿势变换机构单元33，用于根据宠物机器人装置1进行由行为确定机构单元32确定的行为和动作制订一系列动作的计划

*设备控制机构单元34，用于根据姿势变换机构单元33所制订的计划控制致动器21₁～21_n，和

*成长控制机构单元35，用于控制‘成长’。

现在对状态识别机构单元30、感情/本能模型化单元31、行为确定机构单元32、姿势变换机构单元33、设备控制机构单元34和成长控制机构单元35加以说明。

(1-2-1)状态识别机构单元30的构成

状态识别机构单元30根据外部信息信号S1和内部信息信号S2识别特定状态，其结果传送到感情/本能模型化单元31和行为确定机构单元32。

在实际中，状态识别机构单元30不断监视外部传感器单元19的麦克风16给出的话音信号S1A，并根据诸如‘行走’、‘躺下’或‘追球’之类作为话音信号S1A的频谱给出的命令，识别当检测到相同音阶的频谱作为从声音命令器输出的命令声音时给出的命令，其结果传送到感情/本能模型化单元31和行为确定机构单元32。

状态识别机构单元30也不断监视CCD摄像机17(图2)给出的图像信号S1B，并且根据图像信号S1B识别，例如，如果在图像内检测到‘红色、圆形的球’或‘与地面垂直并高于地面的平面’，则认为‘有一个球’或‘有一墙壁’的状态，其结果传送到感情/本能模型化单元31和行为确定机构单元32。

并且，状态识别机构单元30还不断监视触摸传感器18(图2)给出的压力检测信号SIC，并根据短时间间隔(例如，小于2秒)的压力检测信号S1C识别当检测到压力大于给定阈值时‘拍打(责打)’的状态，和对于长时间间隔(例如，大于2秒)当检测到压力小于给定阈值时‘抚摸(表扬)’的状态，其结果传送到感情/本能模型化单元31和行为确定机构单元32。

状态识别机构单元30还不断监视外部传感器单元15的加速度传感器14(图2)给出的加速度检测信号S2C，并且根据加速度信号S2C识别当检测到加速度大于例如预置的给定大小的加速度时‘接受大中击’的状态，而当检测到加速度是关于大于前者的重力加速度时‘(从桌面等)掉下来’的状态，其结果传送到感情/本能模型化单元31和行为确定机构单元32。

此外，状态识别机构单元30不断监视温度传感器13(图2)给出的温度检测信号S2B，并根据温度检测信号S2B识别当检测到温度大于给定值时‘内部温度已经上升’的状态，其结果传送到感情/本能模型化单元31和行为确定机构单元32。(1-2-2)感情/本能模型化单元31的处理

如图5所示，感情/本能模型化单元31包括基本感情/动作组40，由与下列六(6)种感情或动作的每一种相对应的感情模型组成：‘喜欢’、‘悲伤’、‘惊讶’、‘恐惧’、‘厌恶’和‘愤怒’；和基本欲望组41，由与四(4)种欲望：‘食欲’、‘爱情欲’、‘求知欲’和‘运动欲’之一相对应的作为欲望模型配备的欲望单元41A～41D和与感情/动作单元40A～40F和欲望单元41A～41D的每一个相对应地配备的强度增大/减小功能单元42A～42H。

感情/动作单元40A～40F的每一个用例如从0至100的等级指示相应感情或动作的强度，它以当前强度为基础，根据强度增大/减小函数42A～42H给出的强度信息S11A～S11F而不断变化。

与感情/动作单元40A～40F一样，欲望单元41A～41D的每一个也用从0至100的等级指示相应欲望的强度，它以当前强度为基础，根据强度增大/减小功能单元42G～42K给出的强度信息S12G～S12F而不断变化。

感情/本能模型化单元31通过组合感情/动作单元40A～40F的强度确定感情的状态，和通过组合欲望单元41A～41D的强度确定本能的状态。感情和本能的状态作为感情/本能状态信息S12输出到行为确定机构单元32上。

强度增大/减小功能单元42A～42G是用于根据状态识别机构单元31给出的状态识别信息S10和指示宠物机器人装置1本身的当前或过去行为的内容的行为信息S13生成和输出强度信息S11A～S11G的功能单元，强度信息S11A～S12G用于按照如上所述的预置参数增大或减小感情/动作单元40A～40F和欲望单元41A～41D的每一个的强度。

因此，对于每种行为和动作模型(幼年1、少年1、少年2、青年1～青年3、成年1～成年4)，通过对强度增大/减小函数42A～42G的参数设置不同的值，就可以将诸如‘恼怒’或‘安静’之类的特征赋予宠物机器人装置1。(1-2-3)行为确定机构单元32的处理

行为确定机构单元32含有在存储器10A内的多个行为模型，每一个对应于行为和动作模型(幼年1、少年1、少年2、青年1～青年3、成年1～成年4)的某一个。

并且，根据状态识别机构单元30给出的状态识别信息10、感情/本能模型化单元31的感情/动作单元40A～40F和欲望单元41A～41D的每一个的强度、和相应的行为模型，行为确定机构单元32确定下一行为或动作，其结果作为确定的行为信息14输出到姿势变换机构单元33和成长控制机构单元35上。

在该例中，行为确定机构单元32在用概率确定中，利用称为概率自动机的算法作为确定下一行为或动作的手段，如图6所示的特定节点(状态)ND_A0应该根据变换概率P₀～P_n变换到包括其自身的下一行为或动作的节点ND_A0～ND_An中的哪一个，变换概率P₀～P_n的每一个被设置成与节点ND_A0～ND_An相连接的弧线AR_A0～AR_An。

更具体地说，存储器10A存储如图7所示的、作为行为模型用于每个节点ND_A0～ND_An的状态变换表50，行为确定机构单元32根据这个状态变换表50确定下一行为或运动。

在此状态变换表50中，作为节点ND_A0～ND_An中变换条件的输入事件(认别结果)按优先级列举在‘输入事件’行上，并且在与‘数据名’和‘数据范围’列相对应的列上描述了关于变换条件的条件。

因此，在图7所示的状态变换表50上的节点ND₁₀₀中，给定识别结果‘检测到一个球(BALL)’，这个识别本身和在给定球的‘尺寸’是在‘从0至1000(0,1000)’的范围内的同时给出的事件是当前节点ND₁₀₀变换到另一个节点的条件。同样，给定识别结果‘检测到一个障碍物(OBSTACLE)’，这个识别结果本身和在离障碍物的‘距离(DISTANCE)’是在‘从0至100(0,100)’的范围内的同时给出的事件是当前节点ND₁₀₀变换到另一个节点的条件。

因此，如果没有识别结果输入到节点ND₁₀₀，但如果由行为确定机构单元32周期性地参照的感情/本能模型化单元31的感情/动作单元40A～40F和欲望单元41A～41D的强度中，‘喜欢(JOY)’、‘惊讶(SURPRISE)’或‘悲伤(SADNESS)’任何一个的、感情/动作单元40A～40F的强度是‘在从50至100(50,100)的范围内’，那么它也可以变换到另一个节点上。

对于状态变换表50，允许变换到的节点的节点名被列举在‘到其它节点的变换概率’列的‘当前节点可以变换到的节点’行上，以及变换概率列举在‘到其它节点的变换概率’列的‘输出动作’行上，当列在‘输入事件名’、‘数据值’和‘数据范围’的每行上的所有条件都得到满足时，使当前节点变换到其它节点的任何一个。在‘到其它节点的变换概率’列中每行上的变换概率之和是100[％]。

因此，在这种情况下，给定识别结果，例如，‘已经检测到球(BALL)’和球的‘尺寸’是在从0至1000(0,1000)的范围内，节点可以以‘30％’的概率从NODE₁₀₀变换到‘NODE₁₂₀’(节点120)，同时输出‘ACTION1(动作1)’的行为和动作。

行为模型的每一个由如状态变换表50所述的相同节点连接的多个节点组成。

这样，行为确定机构单元32在当状态识别机构单元30给出状态识别信息10时或当自发现最后的行为之后经过了预定时间间隔时的时候，利用存储在存储器10A中的适当行为模型的相应节点的状态过滤表50来以概率确定下一行为或动作(在‘输出行为’行上描述的行为或动作)，其结果作为行为命令信息S14输出到姿势变换机构33单元和成长控制机构单元35。(1-2-4)姿势变换机构单元33的处理

给定来自行为确定机构单元32的行为命令信息S14，姿势变换机构单元33根据确定的行为信息S14为宠物机器人装置1做出行为或动作制订有关一系列行为的计划，并将基于行为计划的行为命令信息S15输出到控制机构单元34。

在这种情况下，如图8所示，姿势变换机构单元33利用定向图作为制定行动计划的手段，定向图以节点ND_B0～ND_B2表示宠物机器人装置1可能采取的姿势，在节点ND_B0～ND_B2中可以变换到另一个节点的节点由表示行为的定向弧线AR_B0～AR_B2相连，定向图还表示作为自作用弧线AR_C0～AR_C2的、终止在节点ND_B0～ND_B2中的一个节点的行为。

为此目的，存储器10A以数据库形式存储数据文件(下文称这些文件为‘网络定义文件(network definition file))，数据库包含宠物机器人装置1可以采取的所有行为的开始姿势和终止姿势，它是定向图的源，并且姿势变换机构单元33根据网络定义文件为全身、头部、腿部和尾部的每个部分建立定向图60～63(如图9～12所示)。

从图9～12可明显看出，宠物机器人装置1可能采取的姿势大体上分成四(4)个组：“站立(0 Standing)”、“坐下(0 Sitting)”、“躺下(0 Sleeping)”和“机座(0 Station)”“机座”是采用充电架(图中未显出)让电池11(图2)充电的姿势。每一组姿势已含有所有“成长阶段”公用的基本姿势(用◎标记)和用于‘幼年’、‘少年’、‘青年’和‘成年’的一种或数种通常姿势(用0标记)。

例如，在图9～12中由虚线围起来的部分代表用于‘幼年’的通常姿势，从图9可知，预备了“o Sleeping(睡觉)b(幼年)”、“0 Sleeping b2”～[0Sleeping b5]”作为用于‘少年’“躺下”的通常姿势，和“0 Sitting b”和“0Sitting b2”作为“坐下”的通常姿势。

并且，给定来自行为确定机构单元32的行为命令信息S14，诸如‘站立’、‘行走’、‘伸手’、‘摇头’或‘摆尾’，姿势变换机构单元33利用相应的定向图60～63并沿着定向弧线的方向，搜索到当前节点指定的姿势所对应的节点的路径，或者指定行为所对应的定向弧线或自作用弧线。然后，行为命令作为行为命令信息S15输出到设备控制机构单元34，据此，宠物机器人装置1按顺序做出与所获得路径上每个定向弧线相对应的行为。

例如，如果宠物机器人装置1处在“0 Sitting b”的状态，并且当将做出出现在节点“0 Sleeping b4”上的行为(与自作用弧线a1相对应的行为)的行为命令从行为确定机构单元32给予姿势变换机构单元33时，那么，姿势变换机构单元33搜索在用于全身的定向图60上从节点“0 Sitting b”到节点“0 Sleeping b4”的路径，然后在控制机构单元34将行为命令作为行为命令信息S15按顺序输出，以便让当前姿势从节点“0 Sitting b”变换到节点“0 Sleeping b5”，从节点“0 Sleeping b5”变换到节点“0 Sleepingb3”和从节点“0 Sleeping b3”变换到“0 Sleeping b4”，最后，在控制机构单元34上作为行为命令信息S15的行为命令通过指向由节点“0 Sleepingb4”指定的行为的自作用弧线a1返回到节点“0 Sleeping b4”。

在这个阶段可能存在这样的情况，当前节点可能变换到的两个节点用数条定向弧线相连接，按照宠物机器人装置1的“成长阶段”和“行为模式”变换行为(“粗野”行为、‘文静’的行为等)。在这种情况下，姿势变换机构单元33在成长控制机构单元35(待后再述)的控制下选择作为与宠物机器人装置1此时所处的和已经获得的“成长阶段”和“行为模式”相对应的路径的定向弧线。

类似地，有可能存在这样的情况，提供数条自作用弧线从某一节点返回到相应节点，以按照“成长阶段”和“行为模式”变换动作。在这种情况下，姿势变换机构单元33也选择作为与宠物机器人装置1此时所处的和已经获得的“成长阶段”和“行为模式”相对应的路径的定向弧线。

在如上所述的姿势变换期间，停留在途中的时间间隔几乎是‘0’，使得变换可以通过在姿势变换期间用于另一个‘成长阶段’的节点来完成。

因此，姿势变换机构单元33搜索从当前节点到下一节点的，是定向弧线或自作用弧线的最短路径，而不管当前的“成长阶段”。

在将行为命令赋予头部单元、腿部单元或尾部单元的情况下，姿势变换机构单元33根据用于全身的定向图60，将宠物机器人装置1的姿势还原成基本姿势(用◎标记)的另一种，然后，利用与头部单元、腿部单元或尾部单元相对应的定向图61～63输出行为命令信息S15，让头部单元、腿部单元或尾部单元变换姿势。(1-2-5)设备控制机构单元34的处理

控制机构单元34根据姿势变换机构单元33给出的行为命令信息S15来生成控制信号S16，并且根据该控制信号S16驱动每个致动器21₁～21_n，让宠物机器人装置1做出指定行为和动作。(1-2-6)成长控制机构单元35的处理

根据状态识别机构单元30给出的外部信息信号S2和内部信息信号S1，将作为状态识别信号S20识别的各种状态提供给成长控制机构单元35。如上所示，各种状态除了包括传输到感情/本能模型化单元31和行为确定机构单元32的特定状态外，还包括通过触摸传感器18输入的、但没有强到与例如‘抚摸’或‘拍打’等同的输入。

成长控制机构单元35在存储器10A内还含有如图13A所示的列表70A(称为第一成长要素列表)和如图13B所示的计数表70B(称为第一成长要素计数表)，列表70A包含在提升根据状态识别机构单元30给出的状态识别信息S20的各种状态的“成长阶段”过程中应该参考的前述成长要素，计数表70B计数这些成长要素出现频次的累计数。

给定来自状态识别机构单元30的状态识别信息20，成长控制机构单元35根据关于第一成长要素列表70A的状态识别信息20判断要获取的状态是否是成长要素，并且如果发现这个状态是成长要素，则成长计数表70B中的相应计数值(经验值)增‘1’。

此外，成长控制机构单元35还在存储器10A内含有如图14A所示的列表71A(称为第二成长要素列表)和如图14B所示的计数表71B(称为第二成长要素计数表)，列表71A包含在提升要根据行为确定机构单元32给出的行为命令信息S14获得的各种行为的“成长阶段”过程中应该参考的前述成长要素，计数表71B计数这些成长要素出现频次的累计数。

给定来自行为确定机构单元32的行为命令信息S14，成长控制机构单元35根据关于第二成长要素列表的行为命令信息S14判断要获取的行为或动作是否是成长要素，并且如果发现这个行为是成长要素，则第二成长计数表71B中的相应计数值(经验值)增加‘1’。

并且，当第一和第二成长要素计数表70B和71B中的计数值按如上所述增加时，成长控制机构单元35将计数器(下文称为‘综合成长经验值计数器’)的计数值递增‘1’，并判断是否是分别从第一和第二计数表70B和71B得来的“成长阶段”，和判断综合成长经验值计数值的计数值是否已经达到了为当前‘成长阶段’预置成终止条件的计数值。

如果综合成长经验值计数器的计数值已经达到了为当前‘成长阶段’预置成终止条件的计数值，那么，成长控制机构单元35根据第一和第二成长要素计数表70B和71B中的每个计数值确定在下一‘成长阶段’内的、当前行为或动作应该变换到的行为或动作，其结果传输到感情/本能模型化单元31、行为确定机构单元32和姿势变换机构单元33。但是，如果宠物机器人装置1处在初始阶段，那么，将命令赋予感情/本能模型化单元31、行为确定机构单元32和这姿势变换机构单元33以选择用于‘少年’的行为和动作模型。

结果是，感情/本能模型化单元31根据命令变换信息S22将图5所示的强度增大/减小函数42A～42G的每一个的参数改变成指定的行为或动作的值。行为确定机构单元32把要使用的行为模型变换成根据命令变换信息S22指定的行为和动作模型的行为模型。姿势变换机构单元33改变设置，以便在任何定向弧线或自作用弧线必须从与数个后续行为和动作模型相对应的定向弧线和自作用弧线中选择这样一种情况下，根据命令变换信息S22选择指定的行为和动作模型的定向弧线和自作用弧线。

从上文可知，行为和动作模型包括与特定“成长状态”中的“行为模式”相对应的、在感情/本能模型化单元31中的强度增大/减小函数42A～42B的每一个的参数值、在行为确定机构单元32中的行为模型、和在姿势变换机构单元33中的定向弧线或自作用弧线。

按照这种方式，控制器让宠物机器人装置1生成能够自动动作的行为，如按要求提升‘成长阶段’。(1-3)成长控制处理过程RT1

成长控制机构单元35根据如图15所示的成长控制处理过程RT1控制宠物机器人装置1的‘成长阶段’。

在首次打开电源之后，在步骤SP1，成长控制机构单元35开始执行这个成长控制处理过程RT1，并在随后的步骤SP2判断状态识别信息S10是否是从状态识别机构单元30给出的。

如果在步骤SP2获得否定结果，那么成长控制机构单元35前进到步骤SP3，并判断行为确定信息S14是否是从行为确定机构单元32(图4)给出的。如果在步骤SP3获得否定结果，则成长控制机构单元35返回到步骤SP2，并重复SP2-SP3-SP2的循环操作直到在步骤SP2或在步骤SP3获得肯定结果为止。

当在适当的时候在步骤SP2获得肯定结果时，成长控制机构单元35前进到步骤SP4，并根据状态识别机构单元30给出的状态识别信息S10判断要获取的状态是否是成长要素。

如果在步骤SP4获得否定结果，则成长控制机构单元35返回到步骤SP2，而如果获得肯定结果，则成长控制机构单元35前进到步骤SP5并将与第一成长要素列表70A(图13A)相对应的计数值和综合经验值计数器的计数值增加‘1’。

随后，成长控制机构单元35前进到步骤SP6，并判断综合经验值计数器的值达到为当前‘成长阶段’预置成终止条件的计数值。

如果在步骤SP6获得否定结果，则成长控制机构单元35返回到步骤SP2，而如果获得肯定结果，就前进到步骤SP7并确定在后续‘成长阶段’中的、当前行为和动作模型应该变换到的行为和动作模型，其结果传输到感情/本能模型化单元31、行为确定机构单元32和姿势变换机构单元33，然后，成长控制机构单元35返回步骤SP2。

如果在步骤SP3获得肯定结果，则成长控制机构单元35前进到步骤8，并根据行为确定机构单元32给出的行为确定信息S13判断要获取的行为是否是成长要素。

如果在步骤SP8获得否定结果，则成长控制机构单元35返回步骤SP2，而如果获得肯定结果，则成长控制机构单元35前进到步骤SP5并将与第二成长要素列表71A(图14A)相对应的计数值和综合经验值计数器的计数值分别增加‘1’，并前进到步骤SP6执行与上文相似的处理。(1-4)在本实施例中的操作和效果

如上所述构成的宠物机器人装置1随着用户对其施加诸如‘拍打’或‘抚摸’之类的动作、或利用声音命令器向其发出命令、或它自己玩球逐渐成长，其行为和动作象成人一样。

随后，宠物机器人装置1可以给予用户更高层次的亲近感或满足感，超过机器人装置刚会行走的概念。

此外，随着宠物机器人1不断‘成长’，其‘行为模式’随着来自用户的输入历史和其自身的行为和动作的历史而改变，因此，可以给予用户更高层次的娱乐性。

借助于上述结构，宠物机器人装置1的行为和动作根据由用户施加在上面的动作和命令和宠物机器人装置本身的行为和动作得到变换，仿佛它正在成长一样，使得宠物机器人装置1可以给予用户更高层次的亲近感和满足感。因此，可以实现对用户来说其娱乐质量得到显著提高的宠物机器人装置。(1-5)实施本发明的其它模式

在前述第一实施例的模式中，对本发明应用于由图1所示构成的四脚机器人装置的情况作了说明。但是，本发明并不仅限于此，而是可以广泛应用于各种其它结构的机器人装置。

在前述第一实施例的模式中，对控制器10、致动器21₁～21_n(图2)和扬声器(图2)等用作行为和动作生成装置，根据行为和动作模型生成行为和动作的情况作了说明。但是，本发明并不仅限于此，而是取决于具体实施本发明的机器人装置的模式，各样各样其它结构可以用作行为和动作生成装置。

并且，在前述第一实施例的模式中，对控制器10的成长控制装置35用作行为和/或动作变换装置，根据来自外界的输入历史和它自身的行为和/或动作的历史两者中的至少一个，在给定定时将行为和/或动作模型变换成更高成长级的行为和/或动作模型的情况作了说明。但是，本发明并不仅限于此，而是取决于具体实施本发明的机器人装置的模式，各样各样其它结构可以用作行为和/或动作变换装置。

此外，在前述第一实施例的模式中，对机器人装置1一个阶段一个阶段地“成长”的情况作为说明。但是，本发明并不仅限于此，而是可以将机器人装置设计成每当作出成长要素的行为或动作时，通过检测成长要素的状态和通过按顺序改变控制参数的值，不分阶段地“成长”。

此外，在前述第一实施例的模式中，对机器人装置分四(4)个阶段：‘幼年’、‘少年’、‘青年’和‘成年’‘成长’的情况作了说明。但是，本发明并不仅限于此，而是可以将‘成长阶段’的数目设置成除数目四(4)之外的其它数目。

在这种情况下，与图16所示的成长阶段模型相似，例如，当变换允许条件在某一小区(cell)72得到满足时，可以将机器人装置1设计成按照这样的方式‘成长’，使它移动到各小区72中与它相邻的、成长级比它自己成长级高的小区72。

此外，在前述第一实施例的模式中，对通过触摸传感器18(图2)的接触输入的历史和通过CCD摄像机17(图2)拍摄的照片和利用声音命令器的命令输入的历史等用作来自外界的输入历史的情况作了说明。但是，本发明并不仅限于此，而是用户可以通过除上述手段之外还有的其它手段或者只通过除上述手段之外的其它手段来使用输入历史。

此外，在前述第一实施例的模式中，对为‘幼年’之后的每个‘成长阶段’预备数个成长和动作模型的情况作了说明。但是，本发明并不仅限于此，而是可以为每个阶段只预备一个行为和动作模型。

此外，在前述第一实施例的模式中，对指定了‘步态’、‘动作’、‘行为’和‘声音’四个项目作为变量随着‘成长’而改变的情况作了说明。但是，本发明并不仅限于此，而是除前述项目之外的其它项目也可以用作变量随着‘成长’而改变。

此外，在前述第一实施例的模式中，对将宠物机器人装置1设计成根据综合经验值而‘成长’的情况作了说明，其中综合经验值是根据每个成长要素的出现频次的累计和的综合值计算出来的。但是，本发明并不仅限于此，而是可以应用许多其它计算手段计算综合经验值。

此外，在前述第一实施例的模式中，对宠物机器人装置1的‘成长阶段’根据来自外界的输入历史和它自身的行为和动作的历史而提升的情况作为说明，但是，本发明并不仅限于此，而是来自外界的历史和它自身的行为和动作的历史两者中单独的一个可以用作提升‘成长阶段’的要素。同样，除输入历史和它自身行为和动作的历史之外的其它要素也可以附加到提升‘成长阶段’的手段中。

在附加除了输入历史和它自身行为和动作的历史之外其它要素的情况下，所经过的时间和其它事情在实际中可以被认作要素。例如，在使用经过的时间来提升‘成长阶段’时，可行的做法可以是为经过的时间提供成长要素计数表，每当经过给定时间间隔时就计数其中的值，并且还利用成长要素计数表的计数值作为更新综合经验值的材料。

并且，可行的做法还可以是让宠物机器人装置1利用给定评价函数来评价它自己的某一行为和动作的成就度，例如，从能够用脚行走的少年成长到能够将球踢得很远的成年的状态，其结果可以用作提升‘成长阶段’的要素。

例如，如图17所示，可以想像，让宠物机器人装置1通过由成长控制机构单元32(图4)为动作‘踢球’定义的、并且可从下列表达式获得的评价函数f(d,Q)评价动作‘踢球’的成就度“F”：

F=a×d×cos(θ)

这里，d是作为坐标原点的宠物机器人装置1的坐标中心与所踢的球73之间的距离，

θ是踢球的方向，和

a是一个正系数。

如果前述成就度F超过为当前‘成长阶段’预置的阈值，那么，可以提升到下一‘成长阶段’。到球73的距离d可以通过单独配置的距离传感器来测量，并且基于编码器(图中未示出)输出的方位角θ量度沿着球滚动方向旋转头部单元4的致动器21_i(i是1～n的任一个)的输出轴的旋转角。在这种情况下，沿着直线将球踢得越远，成就度F就越大。

除了动作‘踢球’之外各种各样其它行为和动作可以用作要评价的对象，例如，‘行走’(评价行走的速度)。

这种行为和动作的成就度被不断地计算出来，可以根据成就度的最大值确定下一‘成长阶段’或‘行为模式’(幼年1、少年1、少年2、青年1～青年3、成年1～成年4)，成就度的最大值是在(宠物机器人装置1)根据前述输入历史和它自身的行为和动作的历史的‘成长’的处理过程中获得的。(2)实施本发明的第二模式(2-1)在实施本发明的第二模式中宠物机器人装置80的结构。

图1中的“80”显示了第二实施例中宠物机器人装置的整体概貌，它以与第一实施例中的宠物机器人1相似的方式构成，除了对变换行为和动作模型应用不同的方法之外。

更具体地说，如图18所示，为宠物机器人装置80配备了五(5)个‘成长阶段’：‘诞生期’、‘幼年’、‘少年’、‘青年’和‘成年’。

对于宠物机器人装置80，控制器81(图2)的处理内容划分成如图19所示的单元，其中对与图4中的单元相应的那些单元有相同的标号，也就是说，控制器81按照与构造第一实施例中的控制器相同的方式构成。除了具有大量状态空间的行为确定机构单元82之外，在行为确定机构单元82的状态空间中存储着宠物机器人装置80可能实现的所有行为模式。

行为确定机构单元82按照这样的方式为每个阶段建立行为和动作模型，利用状态空间的一部分作为核心，在核心中为宠物机器人装置80建立基本行为，例如‘行走’、‘睡觉’和‘站立’等，只有很小一部分核心用于‘诞生期’。此后，每当宠物机器人装置80成长时，就让它变换到要增加的新的部分状态空间(可能发生新的行为和生成一系列行为模式的部分状态空间)，并分开不再使用的部分状态空间(决不可能发生行为和不产生一系列行为模式的部分状态空间)。

在宠物机器人装置80中，其中变换到状态空间的变换概率随着不断成长而改变的方法用作使它变换到要增加的新的部分状态空间和删除不必要部分状态空间的手段。

例如，在图20中，假定事件“找球”是从NODE_A变换到NODE_B的变换条件和诸如“接近和踢球”之类的一系列事件是从NODE_B变换到一系列节点组82的变换条件，当在NODE_A上找到球时，行为模式PA₁‘追赶和踢球，以变换概率P₁发生。但是，在变换概率P₁是0的情况下，行为模式PA₁决不会发生。

为了让宠物机器人装置80具体实施这样的行为模式PA₁，将变换概率P₁在初始阶段中设置为‘0’，并且当它到达相应的‘成长阶段’时改变到比‘ 0’大得多的预置值。

与此相反，为了让宠物机器人装置80到达某一‘成长阶段’时忘记行为模式PA₁，当到达此‘成长阶段’时从NODE_A到NODE_B的变换概率变为‘0’。

对于宠物机器人装置80，在每种行为和动作模型中提供了如图21所示的文件84A～84D(下文称为“差分文件”(differential file′)，每种文件对应于‘幼年’、‘少年’、‘青年’和‘成年’的各个‘成长阶段’，作为在必要位置改变变换概率的具体手段。

存储在差分文件84A～84D中的是：(与图20所示的NODE_A等效)节点的节点名(编号)，当‘成长阶段’提升时，其变换概率应该变化到使新行为按上述发生；节点在状态变换表50(图7)中的位置，其中变换概率应该发生变化；和在相应位置中的可变变换概率。

在初始阶段，行为确定机构单元82利用用于‘诞生期’的行为和动作模型生成行为，而当以后成长控制机构单元35发出通知按如前所述获得‘成长’时，在为相应差分文件84A～84D中定义的每个节点指定的每个位置上的变换概率根据用于相应‘成长阶段’的差分文件84A～84D改变到预定值。

在图7和图21通过举例说明的情况中，当达到‘幼年’成长阶段时，在定义了节点NODE₁₀₀的状态变换表50中的变换概率的区域(“输出行为”行下边和在“数据范围”列的右边的部分)中位于第1行、第1列的变换概率变化到20％，在状态变换表中位于第1行、第n列的变换概率变化到30％，如此等等。同时，行为确定机构单元82还改变在用于‘幼年’的文件84A中定义的其它节点NODE₃₂₀、NODE₇₂₀…的相应变换概率。

像这样的情况，包含在其值要改变的变换概率中的是其中直到某一时间的变换概率是“0”(也就是，禁止变换到是一系列行为模式中原来那一个的节点)的情况，或者在改变之后的变换概率变成“0”(也就是，禁止变换到是一系列行为模式中原来那一个的节点)的情况。如前所述，可能出现如下情况，变换概率从“0”改变到给定值，改变之后的变换概率值变成“0”，一系列行为模式发生在新的“成长阶段”，或者一系列行为模式可能不会发生。

即使在必要的变换概率按照这种方式发生改变的情况下，在差分文件84A～84D的每一个中的每个变换概率的值被设计成使得改变之后的、包括在状态变换表50的相应行中的每个变换概率之和变成100％。

因此，如图22通过举例方式所示的，用于每个‘成长阶段’的行为和运动模型的状态空间随着宠物机器人装置80不断成长按顺序扩展。(2-2)在实施本发明的这种模式中的操作和效果。

如前所述构成的宠物机器人装置80生成用于每种‘成长阶段’的行为和动作模型并根据按如下这样的方式生成的行为和动作模型做出行为，即对于所有行为模式存储其中的巨大扩展状态空间之中的、作为核心的、进行基本行为的状态空间的部分，只有包含核心的小部分用于‘诞生期’，并且除了核心之外，不再使用的状态空间部分随着宠物机器人装置80不断成长而被分离，或者随着宠物机器人装置80不断成长允许变换到另一个附加的状态空间部分。

对于宠物机器人装置80，由于在每个‘成长阶段’中行为和动作模型的状态空间如此连续地变化以致于缓和了某一‘成长’之前和之后输出行为的不连续性，因此，可以更自然地表示‘成长’。并且，对于宠物机器人装置80，由于状态空间生成基本行为的部分对于所有‘成长阶段’是公用的，基本行为的学习结果可以按顺序传到下一‘成长阶段’。

此外，对于宠物机器人装置80，由于状态空间中生成基本行为的部分对于所有‘成长阶段’是公用的，因此，可以容易地完成为每个‘成长阶段’生成行为和动作模型的工作，与每种‘成长阶段’单独预备行为和动作模型的第一种模式相比，总体上缩减了行为模型的数据量。

此外，在宠物机器人装置80中，由于随着宠物机器人装置80不断成长，通过删除用于一系列不必要行为模式的状态空间部分和通过允许变换到用于一系列必要行为模式的状态空间而生成用于每个‘成长阶段’的行为和动作模型，因此，一系列行为模式的每一个被模块化了，使行为确定机构单元82能更容易地完成生成工作。

如前所述构成的，对于所有行为模式存储其中的巨大状态空间之中的、进行基本行为的、作为核心的部分状态空间，只有包含核心的部分用于‘诞生期’，由于除了核心之外，不再使用的状态空间部分被分离出来和通过允许变换到新附加的状态空间部分来生成用于每个‘成长阶段’的行为和动作模型，因此，用于每个‘成长阶段’的状态和动作模型的状态空间可以连续变化，从而缩减了某一成长之前和之后输出行为的不连续性。这样，可以更自然地表示‘成长’，并可以实现娱乐质量得到极大提高的宠物机器人装置。(2-3)实施本发明的其它方式

在前述第二实施例中，对生成基本行为的部分状态空间公用于所有‘成长阶段’的情况作了说明。但本发明并不仅限于此。每个‘成长阶段，可以划分成数个部分，生成基本行为的部分状态空间可以公用于每个‘成长阶段’的分部分的每一个。

此外，在前述第二实施例中，对关于用于每个‘成长阶段’的行为和动作模型的状态空间按顺序扩展的情况作了说明。但是，本发明并不仅限于此，而是关于用于每个‘成长阶段’的行为和动作模型的状态空间可以按顺序缩小，或者在仍然扩展的同时关于行为和动作模型的状态空间可以在任何‘成长阶段’缩小。(3)实施本发明的第三模式(3-1)在第三模式中宠物机器人装置90的结构

图1中的“90”显示了实施本发明的第三模式中的宠物机器人。除了下列情况之外，宠物机器人装置90按照与构成第一实施例中的宠物机器人装置1相同的方式构成，宠物机器人装置90除了如第一实施例所述的成长功能外，还配备了如图24所示的功能，在与按照用户执行的输入操作的历史和它自身的行为和动作的历史所要求的相同‘成长阶段’中变换行为模式(幼年1、少年1、少年2、青年1～青年3、成年1～成年4)，和降级‘成长阶段’(即，将行为模式‘变换到在较低成长级的’‘成长阶段’中的行为模式，下文称这个功能为‘行为模式变换/‘降级功能’)。

这意味着在宠物机器人装置90的情况下，除了计数图13A、13B所述的每个成长要素之外，还将控制器91(图2)设计成对诸如‘看见宠物机器人装置90喜欢的颜色’、‘玩球’、‘将球拿开’和‘(宠物机器人装置90)独处时间’之类与预定‘行为模式变换’有关的多个要素进行不断监视和计数生成。

在本实施例的情况下，下列每一个也被当作行为模式变换要素，并与成长要素的计数分开计数：利用声音命令器的命令输入；强化学习，包括与通过触摸传感器18(图2)的动作‘抚摸’和‘拍打’相对应的传感器输入和做出预定行为和动作的成功次数；不与通过触摸传感器18的动作‘抚摸’和‘拍打’相对应的传感器输入；和象‘玩球’那样给定行为和动作的前述成长要素的每一个。

然后，当这些行为模式变换要素的累加和的总计值(下文称之为行为模式‘变换要素的行为模式的综合经验值’)超过预定阈值时，控制器91与‘成长’无关地将使用的行为和动作模型变换成在同一‘成长阶段’中的另一个行为和动作模型。

正是具体实施每种行为模式变换要素的出现频次的累计数确定了其它行为和动作模型的哪一个行为和动作模型用作下一个行为和动作模型。例如，在直到那个时刻使用的行为和动作模型是用于‘青年’的‘通常’行为模式的行为和动作模型(青年2)的情况下，当行为模式变换要素中诸如‘拍打’或‘宠物机器人装置90独处的时间’之类损坏预定行为模式的行为模式变换要素的出现频次的累计和大于其它行为模式变换要素的出现频次的累计和时，选择用于‘青年’的‘发怒’行为模式的行为和动作模型(青年1)。与此相反，当行为模式变换要素中诸如‘抚摸’或‘看见宠物机器人装置90喜欢的颜色’之类改善预定行为模式的行为模式变换要素的出现频次的累计和大于其它行为模式变换要素的出现频次的累计和时，选择用于‘青年’的‘文静’行为模式的行为和动作模型(青年3)。

允许当前使用的行为和动作模型变换到相同‘成长阶段’内的其它行为模型被预定为，即被限制在，由箭头线连接的行为和动作模型内。

因此，例如，在正在使用的行为和动作模型是用于‘成年’的‘有点文静’行为模式的行为和动作模型(成年3)的情况下，只可以选择‘有点粗野’行为模式的行为和动作模型(成年2)或‘文静’行为模式的行为和动作模型(成年4)两者之一作为下一行为和动作模型，而决不能使用用于‘发怒’行为模式的行为和动作模型(成年1)作为下一行为和动作模型。

同时，除了前述行为模式变换要素的每一个之外，控制器91还对诸如‘从桌上掉下’、‘跌倒’、或‘受到巨大冲击’之类与‘成长阶段的后退’(下文称为‘后退要素’)有关的多个预定要素不断监视计数生成。

然后，根据具体实施每个后退要素的出现频次的累计数，当任何具体实施后退要素的出现频率的累计数超过为后退要素的每一个预置的阈值时，控制器91将要使用的行为和动作模型变换成成长级比直到那个时刻使用的行为和动作模型的‘成长阶段’的成长级低的‘成长阶段’的行为和动作模型。

在将当前‘成长阶段’变换成成长级较低的‘成长阶段’的过程中，为每个后退要素预定了当前‘成长阶段’降级到哪个阶段(或者，到哪个‘成长阶段’的行为和动作模型)。举例来说，在出现‘从桌上掉下来，等’事件的情况下，如果出现频次的累计数是‘1’，那么，‘成长阶段’降级两个阶段(对于‘少年’为一个阶段)。如果事件‘跌倒’出现频次的累计数超过阈值，则成长阶段降级一个阶段。

在降级‘成长阶段’的过程中，随机选择在该‘成长阶段’内的行为和动作模型。

因此，在直到那个时刻所使用的行为和动作模型是关于用于‘成年’的‘攻击性’行为模式的行为和动作模型(成年1)的情况下，由于后退可以选择用于‘青年’的‘文静’行为模式的行为和动作模型(青年3)。

如上所述，可以将宠物机器人装置90设计成甚至在没有‘成长’的时候，也根据通过用户的动作和命令的输入历史和它自身的行为和动作的历史，或者震动等按顺序变换它的‘行为模式’，就象真正的动物那样，取决于如何饲养和由于受到强烈震动等仿佛记忆已经衰退，变换着它的行为模式。(3-2)控制器91的处理

宠物机器人装置90的控制器91处理的内容可以像图25所示的那样按功能划分，其中与图4的单元相应的那些单元被指定相同的标号。除了成长控制机构单元92之外，控制器91按照与构造第一实施例的控制器相同的方式构成。

“行为模式的变换”和“成长阶段的降级”是在此成长控制机构单元92的控制下进行的。

实际上，成长控制机构单元92按如下与对前述第一实施例中那样的‘成长’的控制处理并行地执行对具有相同‘成长阶段’的行为模式的变换和‘成长阶段’的后退的控制处理。

成长控制机构单元92在存储器90A中存储如图26A所示的、其中定义了所述行为模式变换要素的列表93A(下文称为‘第一行为模式变换要素列表’)和图26B所示的计数表93B(下文称为‘第一行为模式变换要素计数表’)，列表93A中的要素，是根据在同一‘成长阶段’内变换行为模式过程中应该涉及到的状态识别机构单元30给出的状态识别信息S20从各种各样的状态中选择出来的，计数表93B计数这些行为模式变换要素出现频次的累计数的每一个。

一旦从状态识别机构单元30接收到状态识别信息S20，成长控制机构单元92就判断根据状态识别信息S20获得的状态是否是根据第一行为模式变换要素列表93A的行为模式变换要素，如果发现该状态是行为模式变换要素，则第一行为模式变换要素计数表93B的相应计数值(经验值)增加‘ 1’。

成长控制机构单元92在存储器90A中还存储如图27A所示的、其中定义了所述行为模式变换要素的列表94A(下文称为‘第二行为模式变换要素列表’)和图27B所示的计数表94B(下文称为‘第二行为模式变换要素计数表’)，列表94A中的要素是根据在同一‘成长阶段’内变换行为模式过程中应该涉及到的行为确定机构单元32给出的行为命令信息S14从各种行为和动作中选择的，计数表94B计数这些行为模式变换要素出现频次的累计数的每一个。

一旦从行为确定机构单元32接收到行为命令信息S14，成长控制机构单元92就判断根据行为命令信息S14获得的行为或动作是否是根据第二行为模式变换要素列表94A的行为模式变换要素，如果发现该行为或动作是成长要素，则第二行为模式变换要素计数表94B内的相应计数值(经验值)增加‘1’。

此外，当第一或第二行为模式变换要素计数表93B、94B内的值按如上所述增加时，成长控制机构单元92将计数器(下文称为‘行为模式变换综合经验值计数器’)的计数值增加‘1’，以判断行为模式是否应该在同一‘成长阶段’内变换，该成长阶段是独立于第一和第二行为模式变换要素计数表93B、94B准备的，然后，判断行为模式变换综合经验值计数器的计数值是否超过作为变换‘行为模式’的条件预置的计数值。

如果行为模式变换综合经验值计数器的计数值达到了作为变换‘行为模式’的条件预置的计数值，那么，成长控制机构单元92根据第一和第二行为模式变换要素计数表93B和94B中的计数值的每一个确定行为和动作模型应该变换到同一‘成长阶段’内的哪个行为和动作模型，其结果作为变换命令信息S22传输到感情/本能模型化单元31、行为确定机构单元32和姿势变换机构单元33。

因此，感情/本能模型化单元31根据变换命令信息S22将强度增大/减小功能单元42A～42G的每一个的参数改变成指定行为和动作模型的值。并且，行为确定机构单元32根据变换命令信息S22将要使用的行为模型变换成指定的行为和动作模型。

姿势变换机构单元33根据变换命令信息S22改变设置，使得在必须从与多个行为和动作模型相对应的定向弧线和自作用弧线中选择定向弧线或自作用弧线之一的情况下，选择与指定行为和动作模型相对应的定向弧线或自作用弧线。

这样，成长控制机构单元92根据用户所作的动作的历史、利用声音命令器输入命令的操作输入、或它自身的行为和动作的历史控制行为模式在同一‘成长阶段’内的变换。

同时，成长控制机构单元92在存储器90A中存储如图28A所示的、其中定义了所述后退要素的列表95A(下文称为‘后退要素列表’)和图28B所示的计数表95B(下文称为‘后退要素计数表’)，列表95A中的要素是根据在降级‘成长阶段’的过程中应该涉及到的状态识别机构单元30给出的状态识别信息S20从各种状态中选择的，计数表95B计数这些后退要素出现频次的累计数的每一个。

一旦从状态识别机构单元30接收到状态识别信息S20，成长控制机构单元92就判断根据状态识别信息S20获得的状态是否是根据后退要素列表95A的后退要素，如果发现该状态是后退要素，则后退要素计数表95内的相应计数值(经验值)增加‘1’。

此外，成长控制机构单元92在存储器90A中存储如图29所示的列表96(称为‘后退条件和阶段数列表’)，包含为后退要素的每一个预置的阈值和在后退要素出现频次的累计和超过阈值的情况下‘成长阶段’的后退阶段数。

当在后退要素计数表95B内的后退要素的任何一个的计数值增加时，成长控制机构单元92参照后退条件和阶段数列表96判断后退要素的计数值是否超过为后退要素预置的阈值。

如果后退要素的计数值超过相应的阈值，那么，成长控制机构单元92根据后退条件和阶段数列表96随机地确定行为和动作模型应该变换到在降低了为行为和动作模型的生成要素预定的阶段数之多的‘成长阶段’中的哪个行为和动作模型，其结果作为变换命令信息S22传输到感情/本能模型化单元31、行为确定机构单元32和姿势变换机构单元33。

因此，感情/本能模型化单元31根据变换命令信息S22将增大/减小功能单元42A～42G的每一个的参数变换成指定行为和动作模型的值。行为确定机构单元32根据变换命令信息S22把要使用的行为模型变换成指定的行为模型。此外，姿势变换机构单元33还改变设置，使得在必须从与多个行为和动作模型相对应的定向弧线和自作用弧线中选择定向弧线或自作用弧线的任一个这样一种情况下，选择与指定行为和动作模型相对应的定向弧线或自作用弧线。

如上所述，成长控制机构单元92根据来自外部传感器19的外部信息信号S2和来自内部传感器15的内部信息信号S1来控制‘成长阶段’的降级。(3-3)行为模式变换处理过程RT2和后退处理过程RT3

成长控制机构单元92按照图30所示的行为模式变换处理过程RT2执行在同一‘成长阶段’中的行为模式变换的处理。

也就是说，每次当变换行为和动作模型时，成长控制机构单元92从步骤SP10开始执行行为模式变换处理过程RT2，并在随后的步骤SP11判断状态识别信息S10是否是从状态识别机构单元30发出的。

如果在此步骤SP11获得否定结果，则成长控制机构单元92前进到步骤SP12，并判断行为确定信息S14是否是从行为确定机构单元32发出的。如果在此步骤SP12获得否定结果，则成长控制机构单元92返回到步骤SP11，并重复SP11-SP12-SP11的循环直到在步骤SP11或SP12两者之一获得肯定结果为止。

当在步骤SP11在适当的时候获得肯定结果时，成长控制机构单元92前进到步骤SP13，并判断根据状态识别机构单元30给出的状态识别信息S10获得的状态是否是行为模式变换要素。

如果在此步骤SP13获得否定结果，则成长控制机构单元92返回到步骤SP11，而如果获得肯定结果，则成长控制机构单元92前进到步骤SP15并使第一行为模式变换要素计数表93B(图26B)中的相应计数值和用于行为模式变换的综合经验值计数器的计数值分别增加‘1’。

如果在步骤SP12获得肯定结果，则成长控制机构单元92前进到步骤SP14，并判断根据行为确定机构单元32给出的行为确定信息S14获得的行为或动作是否是行为模式变换要素。

然而，如果在此步骤SP14获得否定结果，则成长控制机构单元92返回到步骤SP11，而如果获得肯定结果，则成长控制机构单元92前进到步骤SP15，并使第二行为模式变换要素计数表94B(图27B)中的相应计数值和行为模式变换综合经验值计数器的计数值分别增加‘1’。

在步骤SP15终止处理之后，成长控制机构单元92前进到步骤SP16，并判断行为模式变换综合经验值计数器的计数值是否达到作为变换当前行为和动作模型的条件预置的计数值。

如果在此步骤SP16获得否定结果，则成长控制机构单元92返回步骤SP11，而如果获得肯定结果，则成长控制机构单元92前进到步骤SP17并确定行为和动作模型应该变换到同一‘成长阶段’中的哪个行为和动作模型，其结果传输到感情/本能模型化单元31、行为确定机构单元32和姿势变换机构单元33。

此外，成长控制机构单元92前进到步骤SP10，并复位第一和第二行为模式变换要素计数表93B、94B，使得第一和第二行为模式变换要素计数表93B、94B中的所有计数值都变成‘0’。然后，成长控制机构单元92前进到步骤SP19，并终止行为模式变换处理过程RT2。

同时，成长控制机构单元92根据图31所示的后退处理过程RT3，与上述处理过程并行地执行降级‘成长阶段’的控制处理。

也就是说，每次当变换行为和动作模型时，成长控制机构单元92开始执行后退处理过程RT3，然后前进到后续步骤SP21等待要从状态识别机构单元30提供的状态识别信息S10。

当在步骤SP21，在适当的时候获得肯定结果时，成长控制机构单元92前进到步骤SP22，并判断根据状态识别信息S30给出的状态识别信息S10获得的状态是否是后退要素。

如果在步骤SP22获得否定结果，则成长控制机构单元92返回到步骤SP21，而如果获得肯定结果，则成长控制机构单元92前进到步骤SP23，使后退要素计数表95B(图28B)中的相应计数值增加‘1’。

然后，成长控制机构单元92前进到步骤SP24，参照后退条件和阶段数列表96(图29)判断后退要素的计数值是否达到作为后退条件预置的计数值。

如果在此步骤SP24获得否定结果，则成长控制机构单元92返回到步骤SP21，而如果获得肯定结果，则成长控制机构单元92前进到步骤SP25，随机地确定行为和动作模型应该变换到在成长级降低了为后退要素预置的阶段数之多的‘成长阶段’中哪个行为和动作模型，其结果传输到感情/本能模型化单元31、行为确定机构单元32和姿势变换机构单元33。

此外，成长控制机构单元92然后前进到步骤SP26，复位后退要素计数表95B，使得后退要素计数表95B中的所有计数值都变成‘0’。然后，成长控制机构单元92前进到步骤SP27，并终止后退处理过程RT3。(3-4)在实施本发明的这个模式中的操作和效果

如上所述构成的宠物机器人装置90分几个阶段成长：从其行为和动作稚气的阶段一直成长到其行为和动作像成年人的阶段，仿佛真正的动物随时间不断成长那样‘成长’。

宠物机器人装置90不仅在‘不断成长’过程中，取决于用户如何与其相处和它所处的环境，以及根据它自身行为和动作的历史等变换其行为模式，而且在其它场合下，取决于用户如何与其相处和它所处的环境，以及根据它自身行为和动作的历史，逐渐变换其行为模式。同时，当宠物机器人装置90受到例如强震动时，也可以发生成长级后退。

因此，对于宠物机器人装置90，不仅其行为模式可以得到变换，而且其成长级还可以降级，这取决于用户如何与其相处和它所处的环境，以及根据它自身行为和动作的历史，而与它是否‘正在成长’无关，这样可以保持用户对它的兴趣和给予他/她更大的亲近感和满足感。

对于到此为止所述的那样构成的宠物机器人装置90，不仅其行为模式可以得到变换，而且其成长级还可以降级，这取决于用户如何与其相处和它所处的环境，以及根据它自身行为和动作的历史，而与它是否‘正在成长’无关，这样可以保持用户对它的兴趣和给予他/她更大的亲近感和满足感。因此，可以实现娱乐质量(娱乐性)显著提高的宠物机器人装置。(3-5)实施本发明的其它模式

在前述实施本发明的第三模式中，对本发明应用于四条腿行走的宠物机器人装置90的情况作了说明。但是，本发明并不仅限于此，而是可以广泛应用于各种其它结构的机器人装置。还可以应用于在监视器屏幕上通过计算机制图手段制作的动画角色等。

在前述实施本发明的第三模式的情况下，对根据行为和动作模型产生行为和动作的行为和/或动作生成装置包括控制器10、致动器211～21n、扬声器20和位于眼睛位置上的LED等的情况作了说明。但是，本发明并不仅限于此，而是可以根据本发明应用的机器人装置的模式应用于各种各样其它结构。

并且，在前述实施本发明的第三模式的情况下，同一个控制器90(成长控制机构单元92)包括将行为和动作模型依次变换到更高成长级的行为和动作模型的第一变换装置和根据来自外界的输入历史和它自身的行为和动作的历史的至少一个将行为和动作模型变换到相同或更低成长级的另一种行为和动作模型的第二变换装置的情况作了说明，但是，本发明并不仅限于此，而是这些变换装置可以以分立单元的形式构成。

此外，在前述实施本发明的第三模式的情况下，对行为模式和成长级根据来自外界的输入历史和它自身的行为和动作的历史变换的情况作了说明。但是，本发明并不仅限于此，而是宠物机器人装置1的行为模式和成长级可以通过除根据来自外界的输入历史或它自身的行为和动作的历史两者之一的‘成长’之外的其它时候，或者通过除了来自外界的输入历史或它自身的行为和动作的历史之外还有其它要素的组合而变换。此外，行为模式和成长级还根据它自身行为的历史或它自身动作的历史之一进行变换。

此外，在前述实施本发明的第三模式的情况下，对将宠物机器人90设计成分阶段‘成长’的情况作了说明。但是，本发明并不仅限于此，而是可以将宠物机器人装置90设计成每当进行成长要素的行为或动作时通过检测成长要素的状态或通过逐渐改变控制参数值不分阶段地‘成长’。

此外，在前述实施本发明的第三模式的情况下，对将宠物机器人装置90设计成分四个阶段‘成长’或‘降级’：‘幼年”、‘少年’、‘青年’和‘成年’的情况作了说明。但是，本发明并不仅限于此，而是‘成长阶段’的段数可以设置成除四(4)之外的其它数。

在这种情况下，如同图32通过例子所示的成长阶段模型那样，当变换允许条件在某一小区97得到满足时，可以按照宠物机器人装置90变换到‘等于’、‘低于’或‘高于’它自身成长级的小区97这样一种方式实现‘成长’、‘后退’和‘行为模式的变换’。

此外，在前述实施本发明的第三模式的情况下，对应用通过触摸传感器18的接触输入、通过CCD(电荷耦合器件)摄像机的照片和利用声音命令器的命令声音输入等的历史作为来自外界的输入历史的情况作了说明。但是，本发明并不仅限于此，而是除了上述手段之外还有其它手段，或者只有其它手段可以用于产生输入历史。

此外，在前述实施本发明的第三模式的情况下，对为‘少年’之后的每个‘成长阶段’准备了多个行为和动作模型的情况作了说明。但是，本发明并不仅限于此，而是可以为每个‘成长阶段’只准备一个行为和动作模型。

此外，在前述实施本发明的第三模式的情况下，对将‘步态’、‘动作’、‘行为’和‘声音’四(4)个项目指定为变量随着‘不断成长’而改变的情况作了说明。但是，本发明并不仅限于此，而是其它项目或要素也可以用作变量随着‘不断成长’而改变。

此外，在前述实施本发明的第三模式的情况下，对宠物机器人装置90的行为模式根据行为模式变换综合经验值变换(变换行为和动作模型)的情况作了说明，其中行为模式变换综合经验值是根据每个行为模式变换要素出现频次的累计和计算的。但是，本发明并不仅限于此，而是变换宠物机器人装置90的行为模式的定时可以通过除此之外的其它条件来确定。

类似地，在前述实施本发明的第三模式的情况下，对‘成长阶段’根据每个后退要素出现频次的累计和降低的情况作了说明。但是，本发明并不仅限于此，而是降级宠物机器人装置90的‘成长阶段’的定时可以通过除此之外的其它条件来确定。

此外，在前述实施本发明的第三模式的情况下，对在同一‘成长阶段’内变换行为和动作模型时只允许在图24中箭头线相连的行为和动作模型内变换的情况作了说明。但是，本发明并不仅限于此，而是可以允许在没有用箭头线相连的行为和动作模型内变换。

此外，在前述实施本发明的第三模式的情况下，对只有来自外界的输入历史用作后退要素的情况作为说明。但是，本发明并不仅限于此，而是还可以设想成除此之外还有它自身的行为和动作的历史、或者只有它自身的行为和动作的历史用作后退要素。(4)实施本发明的第四模式(4-1)第四实施例的宠物机器人装置的结构

在图1中，标号“100”是在实施本发明的第四模式中的宠物机器人装置的整体概貌，其中除了下列两点之外，以与构成实施本发明的第一模式中的宠物机器人装置1相同方式构成：配备了多种行为和动作模型，通过它们为每个‘成长阶段’确定关于每种行为模式(图3中的幼年1、少年1、少年2、青年1～青年3、成年1～成年4)的下一行为；具有通过用户施加物理影响变换行为和动作的出现频次的功能(下文称这个功能为‘学习功能’)。

这意味着，在宠物机器人装置100的情况，控制器101(图2)处理的内容按图33所示划分，其中与图4的单元相对应的那些单元用相同标号表示。

控制器101的行为确定机构单元102含有用于预选的几个条件的每个项目的独立行为和动作模型103₁～103_n，诸如‘处理球’、‘自动检测’、‘感情表达’和‘避开障碍物’等。每个独立的行为和动作模型103₁～103_n都与图6和图7所描述的相同。

行为确定机构单元102首先利用在当状态识别信号S10从状态识别机构单元30发出时、或者当自从最后的行为出现之后已经经过了给定时间间隔时这样的时候与每个行为模式对应的行为和动作模型确定下一行为，然后，根据通过状态识别机构单元30获得的识别结果等，利用按照预定顺序具有高优先级的行为和动作模型103₁～103_n从所确定的行为中选择一种行为，其结果(所选行为)作为行为确定信息S14分别传输到感情/本能模型化单元31、姿势变换机构单元33和学习控制机构单元104。

按照这些方式，可以将宠物机器人装置100设计成能够利用关于每种行为模式的多种行为和动作模型103₁～103_n具体实施来自同一输入的各种行为和动作。

同时，状态识别机构单元30根据触摸传感器18给出的压力检测信号S1C(图2)识别‘抚摸’或‘拍打’的事件，其结果传输到学习控制机构单元104。

此时，学习控制机构单元104根据行为确定机构单元102给出的行为确定信息S14知道宠物机器人装置100的当前和过去行为。然后，假定来自状态识别机构单元30的识别结果是宠物机器人装置100在具体实施各种行为的同时已经受到“抚摸”，学习控制机构单元104将这个结果传输到行为确定机构单元102。

因此，根据这个通知，行为确定机构102将在刚好在此之前为相应行为模式的每种行为和动作模型103₁～103_n选择的节点ND_A0～ND_An(图6)的状态变换表50(图7)上的、与那时输出的行为或动作相对应的变换概率升高预定值，而随着前者将同一行上的其它变换概率降低预定值，使总和仍然是100％。

同时，假定来自状态识别机构单元30的识别结果是宠物机器人装置在具体实施各种行为的同时已经受到“抚摸”，学习控制机构单元104将这个结果传输到行为确定机构单元102。

因此，根据这个通知，行为确定机构单元102将在刚好在此之前为相应行为模式的每种行为和动作模型103₁～103_n选择的节点ND_A0～ND_An(图6)的状态变换表50(图7)上的、与那时输出的行为或动作相对应的变换概率升高预定值，而随着前者将同一行上的其它变换概率降低预定值，使总和仍然是100％。

在按如上所述的那样控制下，对于施加的‘抚摸’动作，与此动作相对应的变换概率上升，从而使宠物机器人装置100更易于具体实施那样的动作，而对于施加的‘拍打’动作，与此动作相对应的变换概率下降，从而使宠物机器人装置100更难具体实施那样的动作。这样，可以让宠物机器人装置100仿佛像真正的动物那样通过饲养员训养不断学习遵守纪律变换其行为。

因此，宠物机器人装置100能够按照用户在身体上施加的动作获得学习而变换其行为和动作。

此外，在由此构成的宠物机器人装置100的情况下，学习速度随着每种行为模式(幼年1、少年1、少年2、青年1～青年3、成年1～成年4)和每种行为模式的每种行为和动作模型103₁～103_n而改变。

这意味着行为确定机构单元102在存储器101A(图2)中包括了为行为和动作模型103₁～103_n的每一种调整学习速度的表(下文称为‘学习速度表’)。

如果学习控制机构单元104发出通知宠物机器人装置100在具体实施一行为的同时已经受到了‘抚摸’，那么，行为确定机构单元102根据相应行为模式的每种行为和动作模型103₁～103_n将相应节点ND_A0～ND_An(图6)的状态变换表50(图7)上与那时输出的行为或动作相对应的变换概率升高与学习速度表105所指定的相同的值，而随着前者降低同一行上其它变换概率的值。

举例来说，如果那时的行为模式是用于‘青年’的‘通常’行为模式(青年2)，那么，行为确定机构单元102根据关于‘处理球’的行为和动作模型103₁将相应节点ND_A0～ND_An的状态变换表50上的相应变换概率升高‘ 5’，根据关于‘自动检测’的行为和动作模型103₂将相应节点ND_A0～ND_An的状态变换表50上的相应变换概率升高‘2’，和根据关于“电池管理”的行为和动作模型103_n将相应节点ND_A0～ND_An的状态变换表50上的相应变换概率升高‘1’。

而如果学习控制机构单元104发出通知宠物机器人装置100在具体实施行为的同时已经受到了‘拍打’，那么，行为确定机构单元102根据相应行为模式的每种行为和动作模型103₁～103_n将相应节点ND_A0～ND_An(图6)的状态变换表50(图7)上与那时输出的行为或动作相对应的变换概率降低与学习速度表105所指定的相同的值，而根据前者升高同一行上其它变换概率的值。

举例来说，如果那时的行为模式是用于‘成年’的‘攻击’行为模式(成年1)，那么，行为确定机构单元102根据关于‘处理球’的行为和动作模型103₁将相应节点ND_A0～ND_An的状态变换表50上的相应变换概率降低‘2’，根据关于‘自动检测’的行为和动作模型103₂将相应节点ND_A0～ND_An的状态变换表50上的相应变换概率降低‘6’，和根据关于‘电池管理’的行为和动作模型103_n只将相应节点ND_A0～ND_An的状态变换表50上的相应变换概率降低‘0’(在这种情况下，变换概率没有改变)。

正如到目前为止所描述的，对于宠物机器人装置100，根据来自用户的身体影响，通过改变每种行为模式以及尤其是每种行为模式的行为和动作模型103₁～103_n的学习速度，来改变在相应ND_A0～ND_An的状态变换表50上的相应变换概率。(4-2)在此实施例中的操作和效果

对于到目前为止所述的那样构成的宠物机器人装置100，其学习速度对于每种行为和动作模型103₁～103_n随着行为模式(幼年1、少年1、少年2、青年1～青年3、成年1～成年4)而改变。

因此，通过将‘成长’和‘学习’结合起来，宠物机器人装置100能够表现出各种各样的个性。

试想一下这样的结构，通过将学习功能组合到宠物机器人装置100中，为每种行为模式预备多种行为和动作模型103₁～103_n，并对于每种行为和动作模型103₁～103_n按照行为模式改变学习速度，这样将‘成长’和‘学习’组合在一起可以表现各种各样的个性。(4-3)实施本发明的其它模式

在前述第四实施例中，对本发明应用于如图1所示四条腿行走的宠物机器人装置的情况作了说明。但是，本发明并不仅限于此，而是可以广泛应用于各种各样能够‘发出’和‘接收’的其它机器人装置。

并且，在前述第四实施例中，对为每种行为模式预备数种行为和动作模型103₁～103_n和为每种行为和动作模型103₁～103_n设置不同的学习速度的情况作了说明。但是，本发明并不仅限于此，而是甚至在例如如第一实施例的情况那样为每种行为模式只预备一种行为和动作模型的情况下，也可以为每种行为模式设置不同的学习速度。

此外，在前述实施例中，对学习速度可以对每种行为和动作模型103₁～103_n进行改变的情况作了说明。但是，本发明并不仅限于此，而是要学习的项目可以对每种行为和动作模型103₁～103_n进行改变，使得在某一行为和动作模型103₁～103_n中通过学习例如‘踢球’项目(事件)使实施的频次发生改变(即，变换概率上升或降低)但在其它行为和动作模型103₁～103_n中不发生改变。

此外，在前述实施例中，对某一行为的实施频次通过学习来改变的情况作了说明。但是，本发明并不仅限于此，而是可以为例如改变控制参数的某一行为和动作提供学习功能，使得由于通过来自用户的身体影响所获得的知识，可以以好得多的方式做出行为或动作。(例如，能够交换几组控制参数的学习功能，这几组控制参数是为例如‘行走’ 件准备的，使得通过来自用户的影响，例如‘抚摸’，使应用于‘走得差的方式’的参数可以改变成应用于‘走得好的方式’的参数，或者通过例如‘拍打’，使其向相反方向改变)。

工业应用性

本发明可以应用于诸如宠物机器人装置之类的娱乐性机器人装置。

Claims (22)

1．一种机器人装置，其特征在于，包括：

行为和/或动作生成装置，用于根据行为和/或动作模型生成行为和/或动作，和

行为和/或动作模型变换装置，用于根据来自外界的输入历史和其自身的行为和/或动作的历史两者的至少一个，在给定定时将所述行为和/或动作模型变换成较高成长级的所述行为和/或动作模型。

2．如权利要求1所述的机器人装置，其特征在于，

所述行为和/或动作模型变换装置分阶段变换所述行为和/或动作模型。

3．如权利要求2所述的机器人装置，其特征在于，

为所述阶段的每一个配备多个所述行为和/或动作模型，

在变换所述行为和/或动作的过程中，所述行为和/或动作变换装置根据来自外界的输入历史和它自身的行为和/或动作的历史两者的至少一个，从用于下一阶段的所述行为和/或动作模型中选择要变换到的行为和/或动作模型。

4．如权利要求2所述的机器人装置，其特征在于，

所述行为和/或动作变换装置将所述行为和/或动作模型的一部分公用于所述各阶段的每一个。

5．如权利要求2所述的机器人装置，其特征在于，

所述行为和/或动作变换装置通过放大或缩小来改变根据所述阶段的每一个从所述行为和动作模型用来生成所述行为和/或动作的状态空间，变换所述行为和/或动作模型。

6．如权利要求1所述的机器人装置，其特征在于，

所述行为和/或动作模型包括状态节点和用弧线表示行为和/或动作的状态变换模型。

7．如权利要求1所述的机器人装置，其特征在于，

所述行为和/或动作变换装置根据为多个所述弧线的每一个设置的概率和/或权重系数选择所述弧线。

8．一种机器人装置，其特征在于，包括：

行为和/或动作生成装置，用于根据行为和/或动作模型生成行为和/或动作；

第一变换装置，用于按照第一给定条件按顺序将所述行为和/或动作模型变换到更高成长级的所述行为和/或动作模型；和

第二变换装置，用于根据来自外界的输入历史和其自身的行为和/或动作的历史两者的至少一个，按照第二给定条件将所述行为和/或动作模型变换到相等或较低成长级的其它行为和/或动作模型。

9．如权利要求6所述的机器人装置，其特征在于，

为所述成长级的每一个预备了一个或多个所述行为和/或动作模型，

在变换所述行为和动作模型过程中，所述第二变换装置从相应成长级的所述行为和/或动作模型中选择一个所述行为和/或动作模型，该模型变换到适当行为和/或动作模型。

10．一种机器人装置，其特征在于，包括：

行为和/或动作生成装置，用于根据行为和/或动作模型生成行为和/或动作，

行为和/或动作变换装置，用于根据通过根据给定评估功能评估其自身行为所得的评估结果，在给定定时将所述行为和/或动作模型变换成更高成长级的所述行为和/或动作模型。

11．一种含有多种行为模式的多个行为和/或动作模型的机器人装置，包括：

行为和/或动作生成装置，用于根据相应所述行为模式的所述行为和/或动作模型的每一个，生成行为和/或动作，和

变换装置，用于根据来自外界的影响，变换相应所述行为模式的所述行为和/或动作模型的每一个，

所述变换装置通过为所述行为和/或动作模型的每一个预置的不同规则来变换相应所述行为模式的所述行为和/或动作模型的每一个。

12．一种机器人装置的控制方法，其特征在于，包括：

第一步骤，根据行为和/或动作模型生成行为和/或动作，和

第二步骤，根据来自外界的输入历史和它自身的行为和动作的历史两者的至少一个，在给定定时将所述行为和/或动作模型变换成较高成长级的所述行为和/或动作模型。

13．如权利要求12所述的机器人装置的控制方法，其特征在于，

所述第二步骤中所述行为和动作模型分阶段变换。

14．如权利要求12所述的机器人装置的控制方法，其特征在于，

为所述阶段的每一个配备多个所述行为和/或动作模型，

所述第二步骤中，根据来自外界的输入历史和它自身的行为和动作的历史两者的至少一个，从所述阶段中的所述行为和/或动作模型中选择接下来要变换到的所述行为和/或动作模型之一。

15．如权利要求13所述的机器人装置的控制方法，其特征在于，

所述第二步骤中，所述行为和/或动作模型的部分公用于所述阶段的每一个。

16．如权利要求13所述的机器人装置的控制方法，其特征在于，

所述第二步骤中，通过放大或缩小来改变根据所述阶段的每一个用来生成所述行为和/或动作模型的行为和动作的状态空间，变换所述行为和/或动作模型。

17．如权利要求12所述的机器人装置的控制方法，其特征在于，

所述行为和/或动作模型包括状态节点和用弧线表示行为和/或动作的状态变换模型。

18．如权利要求17所述的机器人装置的控制方法，其特征在于，

所述第二步骤根据为多个所述弧线的每一个预置的概率和/或权重系数从所述弧线中选择一根弧线。

19．一种机器人装置的控制方法，其特征在于，包括：

第一步骤，根据行为和动作模型生成行为和/或动作，

第二步骤，按照第一给定条件按顺序将所述行为和/或动作模型变换到更高成长级的所述行为和/或动作模型，和根据来自外界的输入历史和其自身的行为和/或动作的历史两者的至少一个，按照第二给定条件将所述行为和/或动作模型变换到相等或较低成长级的不同行为和/或动作模型。

20．如权利要求19所述的机器人装置的控制方法，其特征在于，

为所述成长级的每一个预备一个或多个所述行为和/或动作模型，

所述第二步骤中，从相应所述成长级的所述行为和/或动作模型中选择所述行为和/或动作模型之一。

21．一种机器人装置的控制方法，其特征在于，包括

第一步骤，根据行为和/或动作模型生成行为和/或动作，和

第二步骤，根据通过根据给定评估功能评估其自身行为所得的评估结果，在给定定时将所述行为和动作模型变换成更高成长级的所述行为和动作模型。

22．一种机器人装置的控制方法，其特征在于，

为多种行为模式配备了多个行为和/或动作模型，和

包括：

第一步骤，根据相应行为模式的所述行为和/或动作模型生成行为和/或动作，

第二步骤，根据来自外界的影响变换相应所述行为模式的所述行为和/或动作模型的每一个，

其特征在于，

在所述第二步骤中，通过为所述行为和/或动作模型的每一个预置的不同规则来变换相应行为模式的所述行为和/或动作模型的每一个。

Images