CN121127816A - 控制系统 - Google Patents

Abstract

一种控制系统(100)，对操作对象(2)进行控制。控制系统(100)具备检测部(3)、第1决定部(43)、第2决定部(44)、以及权重决定部(45)。检测部(3)对操作对象(2)的自主控制所涉及的检测对象进行检测。第1决定部(43)根据对操作对象(2)进行操作的操作者(P)的脑波来决定基于随意控制的操作对象(2)的下一个行动。第2决定部(44)根据由检测部(3)进行的检测结果，来决定基于自主控制的操作对象(2)的下一个行动。权重决定部(45)根据由检测部(3)进行的检测结果，来决定针对基于随意控制的操作对象(2)的下一个行动的第1权重、以及针对基于自主控制的操作对象(2)的下一个行动的第2权重。权重决定部(45)按照由检测部(3)进行的检测结果，来使第1权重以及第2权重变化。

Description

控制系统

技术领域

本发明涉及控制系统。

背景技术

已知一种通过BMI(Brain Machine Interface：脑机接口)对控制对象进行控制的技术。并且，使控制对象自主地动作的技术也是周知的。例如在专利文献1中公开了一种机械系统，在进行机械的动作的决定中，除了基于用户的意图的意图动作以外，还反映基于机械自身的状况判断的自主动作。通过专利文献1的机械系统，在适用了BMI的机械操作中能够减轻用户的繁琐以及负担。

具体而言，专利文献1的机械系统通过BMI来决定用户想要进行的动作即用户意图动作。并且，专利文献1的机械系统根据机器人的动作信息以及经由传感器获得的机器人的周边信息(例如，障碍物检测信息)，来决定机器人的自主动作。于是，机械系统在用户意图动作与自主动作不一致的情况下，按照预先决定的规则信息来确定机器人应该执行的动作。

具体而言，专利文献1的机械系统在用户意图动作与自主动作不一致的情况下，使针对自主动作的加权系数比针对用户意图动作的加权系数大，算出用户意图动作与自主动作的线性加权和，来决定机器人应该执行的动作。据此，在适用了BMI的机械操作中，用户的繁琐以及负担得以减轻。

现有技术文献

专利文献

专利文献1：日本特开2010-237859号公报

发明内容

发明要解决的课题

然而，在专利文献1的机械系统中，在用户意图动作与自主动作不一致的情况下，难以反映用户的意图。因此，控制的随意性容易降低，会出现控制对象进行与用户的意图不同的动作的可能性。

本发明鉴于上述课题，目的在于提供一种控制对象的动作不容易成为与用户的意图不同的动作的控制系统。

用于解决课题的手段

根据本发明的一个局面，控制系统对操作对象进行控制。该控制系统具备检测部、第1决定部、第2决定部、以及权重决定部。所述检测部对所述操作对象的自主控制所涉及的检测对象进行检测。所述第1决定部根据对所述操作对象进行操作的操作者的脑波，来决定基于随意控制的所述操作对象的下一个行动。所述第2决定部根据所述检测部进行的检测结果，来决定基于自主控制的所述操作对象的下一个行动。所述权重决定部根据所述检测部进行的检测结果，来决定针对基于随意控制的所述操作对象的下一个行动的第1权重、以及针对基于自主控制的所述操作对象的下一个行动的第2权重。所述权重决定部按照所述检测部进行的检测结果，使所述第1权重以及所述第2权重变化。

在某一实施方式中，上述的控制系统还具备意图检测部。所述意图检测部根据所述操作者的脑波，对所述操作者的意图进行检测。所述权重决定部根据所述检测部进行的检测结果以及所述操作者的意图，来决定所述第1权重以及所述第2权重。

在某一实施方式中，上述的控制系统还具备指示部。所述指示部根据所述第1决定部决定的所述下一个行动、所述第2决定部决定的所述下一个行动、所述第1权重和所述第2权重，向所述操作对象指示所述操作对象的下一个行动。

在某一实施方式中，上述的控制系统还具备存储部。所述存储部对所述第1权重以及所述第2权重的变更条件进行存储。所述变更条件根据评价函数而被调节，所述评价函数包括作为参数的在所述控制系统的训练时获得的控制性能和操作感。所述控制性能示出反映了所述训练时对所述操作对象进行操作的操作员想要进行的行动与所述操作对象的实际上的行动的偏离量的值。所述操作感示出反映了所述操作员评价的所述操作对象的操作的难易度的值。

在某一实施方式中，所述指示部在所述操作对象的行动的初始阶段，根据由所述第1决定部决定的所述下一个行动，来指示所述操作对象的下一个行动。

在某一实施方式中，所述指示部在所述操作对象的行动的最终阶段，根据由所述第2决定部决定的所述下一个行动，指示所述操作对象的下一个行动。

在某一实施方式中，与所述随意控制相比，所述自主控制对所述操作对象进行精密地控制。

在某一实施方式中，所述检测部对物体进行检测。所述权重决定部按照所述操作对象与所述物体之间的距离，使所述第1权重以及所述第2权重动态地变化。

在某一实施方式中，上述的控制系统还具备指示部。所述指示部根据由所述第1决定部决定的所述下一个行动以及由所述第2决定部决定的所述下一个行动，向所述操作对象指示所述操作对象的下一个行动。所述第2决定部根据所述检测部进行的检测结果、所述第1权重以及所述第2权重，来决定基于自主控制的所述操作对象的下一个行动。

在某一实施方式中，上述的控制系统还具备存储部。所述存储部对所述第1权重以及所述第2权重的变更条件进行存储。所述变更条件根据评价函数而被调节，所述评价函数包括作为参数的在所述控制系统的训练时获得的控制性能和操作感。所述控制性能示出反映了所述训练时对所述操作对象进行操作的操作员预测的行动与由所述第2决定部决定的所述操作对象的行动的偏离量的值。所述操作感示出反映了所述操作员评价的所述操作对象的操作的难易度的值。

在某一实施方式中，所述操作对象的行动是所述操作对象进行的讲话。所述检测部对讲话对方的讲话进行检测，所述讲话对方是与所述操作对象进行讲话的对方。所述第2决定部根据所述检测部进行的检测结果、所述第1权重以及所述第2权重，决定所述操作对象的下一个讲话内容的至少一个候选。在所述第2决定部决定的所述下一个讲话内容的候选中能够嵌入基于随意控制的讲话内容。所述第1决定部根据所述脑波来决定下一个讲话的内容。所述指示部向所述操作对象指示所述操作对象的讲话的内容。

发明效果

通过本发明所涉及的控制系统，控制对象的动作不容易成为与用户的意图不同的动作。

附图说明

图1示出了本发明的实施方式所涉及的控制系统。

图2是示出作为本发明的实施方式所涉及的控制系统的一个例子的机器人控制系统的构成的方框图。

图3示出了机器人控制系统中包括的机械臂的一部分。

图4示出了机器人控制系统中包括的机械臂的驱动机构的构成。

图5是示出机器人控制系统中包括的驱动部的构成以及机械臂的驱动机构的构成的方框图。

图6的(a)是示出机器人控制系统中包括的机械臂的夹持部的平面图。

图6的(b)是示出机器人控制系统中包括的控制部以及机械臂的构成的方框图。

图7是示出机器人控制系统中包括的意图检测部的构成的方框图。

图8是示出机器人控制系统中包括的控制部的硬件的方框图。

图9的(a)是示出机器人控制系统中包括的机械臂的侧面图。

图9的(b)是示出机器人控制系统中包括的机械臂的平面图。

图10是示出机器人控制系统执行的处理的一个例子的流程图。

图11是示出作为本发明的实施方式所涉及的控制系统的一个例子的交流系统的构成的方框图。

图12示出了由交流系统控制的二维虚拟形象。

图13示出了交流系统中包括的随意动作决定部。

图14示出了交流系统中包括的自主动作决定部。

图15示出了交流系统中包括的虚拟形象系统。

图16是示出交流系统中包括的意图检测部的构成的方框图。

图17是示出交流系统中包括的控制部的硬件的方框图。

图18示出了交流系统中包括的控制部的第2存储部中存储的计算机程序以及数据。

图19的(a)至(c)示出了在使用套话来使二维虚拟形象讲话时显示在显示部的画面。

图20的(a)至(c)示出了在从二维虚拟形象的下一个讲话内容的候选中选择一个候选时显示在显示部的画面。

图21的(a)以及(b)示出了在用户输入任意的文字时显示在显示部的画面。

图22的(a)以及(b)示出了在用户输入任意的文字时显示在显示部的画面。

图23示出了在决定是否确定二维虚拟形象的下一个讲话内容时显示在显示部的画面。

图24是示出交流系统中包括的意图检测部以及控制部执行的处理的流程图。

具体实施方式

以下参照附图(图1至图24)对本发明的控制系统所涉及的实施方式进行说明。但是，本发明并非受以下的实施方式所限，在不脱离其主旨的范围内，能够在各个方式中执行。另外，对于重复说明之处会有进行恰当地省略的情况。并且，对图中相同或等同的部分赋予相同的附图标记，并且不进行反复说明。

首先，参照图1对本发明的实施方式进行说明。图1示出了本实施方式的控制系统100。控制系统100对操作对象2的动作进行控制。详细而言，控制系统100具有对操作对象2自主地进行控制的功能。控制系统100进一步具有根据用户P的脑波来对操作对象2随意地进行控制的功能。具体而言，控制系统100可以包括BMI(Brain Machine Interface：脑机接口)。在此，用户P是对操作对象2进行操作的操作者。如图1所示，本实施方式的控制系统100具备：操作对象2、检测部3、控制部4、意图检测部5、脑波检测设备6。以下也有将自主地进行控制记作“自主控制”的情况。同样，也有将随意地进行控制记作“随意控制”的情况。

操作对象2只要能够进行随意控制和自主控制，就没有特殊的限定。操作对象2例如可以是参照图2至图10所示那样是后述的机械臂2A，也可以是参照图11至图24所示那样是后述的二维虚拟形象2B。或者，操作对象2可以是人形机器人、虚拟形象机器人、电动轮椅、行走机器人、无人机、鼠标(用户接口装置)。

脑波检测设备6从用户P的脑B来检测脑波。例如，脑波检测设备6每隔0.1秒或0.2秒来对脑波进行检测。在本实施方式中，脑波检测设备6被配置在用户P的头颅内，对头颅内脑波iEEG(Intracranial electro Encephalo Graphy：颅内脑电图)进行检测。具体而言，脑波检测设备6具有电极61以及无线通信部62。

电极61例如可以是硬脑膜电极型。在这种情况下，电极61具有网格状的盘状电极。网格状的盘状电极留置于脑B的表面，对皮质脑波进行检测。或者，电极61可以是插针电极型。在这种情况下，电极61具有微小的针电极的阵列。针电极被插入到脑B内。

无线通信部62与意图检测部5之间进行无线通信。无线通信部62向意图检测部5发送无线信号。无线信号示出由电极61检测出的脑波。具体而言，示出脑波的电信号从电极61被输出到无线通信部62。无线通信部62将电信号转换为无线信号并发送到意图检测部5。另外，对于无线通信的标准没有特殊的限定。例如，无线通信部62与意图检测部5可以按照Bluetooth(注册商标)这种近距离无线通信标准来进行无线通信。

脑波检测设备6还可以包括信号放大部。信号放大部将从电极61输出的电信号放大后发送给无线通信部62。具体而言，信号放大部将从电极61输出的微弱的电流放大后输入到无线通信部62。

检测部3对与操作对象2的自主控制有关的检测对象进行检测。例如，检测部3可以参照图2至图10具有后述的摄像设备31A。或者，检测部3可以参照图11至图24具有后述的摄像设备31B以及收音器32B。意图检测部5根据用户P的脑波，对用户P的意图进行检测。控制部4根据由检测部3检测的结果以及用户P的脑波来对操作对象2的动作进行控制。在本实施方式中，控制部4根据由检测部3检测的结果以及由意图检测部5检测到的用户P的意图，来对操作对象2的动作进行控制。更具体而言，控制部4包括环境认知部41以及协调控制部42。

环境认知部41根据由检测部3进行的检测结果，来认知操作对象2的周围的环境。例如，环境认知部41可以参照图2至图10，如后述那样作为操作对象2的周围的环境而对物体ST的种类和/或物体ST的重心位置进行判断。或者，环境认知部41可以参照图11至图24，如后述那样作为操作对象2的周围的环境而对讲话对方的讲话内容(意思)和/或讲话对方的感情进行判断。

协调控制部42使随意控制与自主控制相协调，来对操作对象2进行控制。详细而言，协调控制部42根据用户P的脑波，来决定基于随意控制的操作对象2的下一个行动。并且，协调控制部42根据由检测部3进行的检测结果，来决定基于自主控制的操作对象2的下一个行动。于是，协调控制部42使基于随意控制的操作对象2的下一个行动与基于自主控制的操作对象2的下一个行动相协调，来决定操作对象2的下一个行动。

在本实施方式中，协调控制部42根据由意图检测部5检测到的用户P的意图，来决定基于随意控制的操作对象2的下一个行动。并且，协调控制部42根据由环境认知部41认知的操作对象2的周围的环境，来决定基于自主控制的操作对象2的下一个行动。更具体而言，协调控制部42包括：随意动作决定部43、自主动作决定部44、权重决定部45、指示部46。

随意动作决定部43根据用户P的脑波，来决定基于随意控制的操作对象2的下一个行动。在本实施方式中，随意动作决定部43根据由意图检测部5检测到的用户P的意图，来决定基于随意控制的操作对象2的下一个行动。以下会有将基于随意控制的操作对象2的下一个行动记作“随意动作”的情况。随意动作决定部43是“第1决定部”的一个例子。

自主动作决定部44根据由检测部3进行的检测结果，来决定基于自主控制的操作对象2的下一个行动。在本实施方式中，自主动作决定部44根据由环境认知部41认知的操作对象2的周围的环境，来决定基于自主控制的操作对象2的下一个行动。以下会有将基于自主控制的操作对象2的下一个行动记作“自主动作”的情况。自主动作决定部44是“第2决定部”的一个例子。

权重决定部45根据由检测部3进行的检测结果，来决定针对随意动作的权重以及针对自主动作的权重。在本实施方式中，权重决定部45根据由环境认知部41认知的操作对象2的周围的环境，来决定针对随意动作的权重以及针对自主动作的权重。

以下会有将针对随意动作的权重记作“第1权重”的情况。并且会有将针对自主动作的权重记作“第2权重”的情况。当第1权重的值比第2权重的值大时，则相对于自主控制而言，随意控制的比重增大。即相对于自主动作而言，随意动作的比重增大。相反，当第2权重的值比第1权重的值大时，则相对于随意控制而言，自主控制的比重增大。即相对于随意动作而言，自主动作的比重增大。

详细而言，权重决定部45按照由检测部3进行的检测结果，使第1权重以及第2权重变化。在本实施方式中，权重决定部45根据由环境认知部41认知的操作对象2的周围的环境，使第1权重以及第2权重变化。因此，第1权重以及第2权重的各个值按照操作对象2的周围的环境的变化而变化。

指示部46对操作对象2进行下一个行动的指示。详细而言，指示部46向操作对象2输出用于执行下一个行动的命令(信号)。指示部46针对操作对象2指示的行动是指，通过第1权重以及第2权重来对自主动作与随意动作进行了协调的行动。

通过本实施方式，能够按照操作对象2的周围的环境的变化，来使第1权重和第2权重发生变化。换而言之，能够按照操作对象2的周围的环境的变化，来使随意动作的比例和自主动作的比例发生变化。这样，能够使随意控制与自主控制相协调，来对操作对象2的动作进行控制。

并且，通过本实施方式，在随意动作与自主动作不同的情况下，指示部46不是向操作对象2指示自主动作，而是向操作对象2指示使随意动作与自主动作协调后的动作(行动)。因此，在随意动作与自主动作不同的情况下，能够使随意动作反映到针对操作对象2指示的行动中。据此，操作对象2的动作不容易成为与用户P想要进行的动作不同的动作。例如参照图2至图10，在后述的机械臂2A是操作对象2的情况下，在随意动作示出向机械臂2A的手腕部25的横向移动、自主动作示出向机械臂2A的手腕部25的前方移动时，指示部46不是向机械臂2A指示向手腕部25的前方移动，而是向机械臂2A指示通过第1权重以及第2权重对随意动作与自主动作进行了协调后的行动。例如，指示部46向机械臂2A指示向手腕部25的斜前方移动。据此，随意动作(向手腕部25的横向移动)被反映在机械臂2A的下一个行动中。

接着参照图1，对本实施方式的控制系统100进一步进行说明。在本实施方式中，权重决定部45根据由检测部3进行的检测结果以及用户P的脑波，来决定第1权重以及第2权重。更具体而言，权重决定部45根据由环境认知部41认知的操作对象2的周围的环境、以及由意图检测部5检测到的用户P的意图，来决定第1权重以及第2权重。

详细而言，权重决定部45按照由环境认知部41认知的操作对象2的周围的环境、以及由意图检测部5检测到的用户P的意图，使第1权重以及第2权重发生变化。因此，第1权重以及第2权重的各个值按照操作对象2的周围的环境的变化来变化。并且，第1权重以及第2权重的各个值按照用户P的意图的变化来变化。因此，能够将用户P的意图进一步反映到第1权重以及第2权重的各个值。这样，操作对象2的动作不容易成为与用户P想要进行的动作不同的动作。

[机器人控制系统100A]

以下参照图1至图10对作为本实施方式的控制系统100的一个例子的机器人控制系统100A进行说明。不过在此对与参照图1说明的事项不同的事项进行说明，对于与参照图1所说明的事项相同的事项将会省略说明。

图2是示出作为本实施方式的控制系统100的一个例子的机器人控制系统100A的构成的方框图。图3示出了机器人控制系统100A中包括的机械臂2A的一部分。机器人控制系统100A是“控制系统100”的一个例子。机器人控制系统100A的操作对象2是机械臂2A。

如图2所示，机器人控制系统100A具备：机械臂2A、检测部3A、控制部4A、意图检测部5A、脑波检测设备6。机器人控制系统100A具有对机械臂2A自主地进行控制的功能。机器人控制系统100A还具有根据用户P的脑波来对机械臂2A随意地进行控制的功能。在此，用户P是对机械臂2A进行操作的操作者。在机器人控制中，与随意控制相比，自主控制能够对操作对象2进行精密地控制。

另外，对操作对象2进行的精密的控制中包括：高精度地对操作对象2进行控制、以及使操作对象2进行复杂的动作。“复杂的动作”中包括使多个动作联动。例如，在使机械臂2A夹持物体ST的动作中需要精密的控制。因此，使机械臂2A夹持物体ST的动作是通过自主控制而能够实现的动作，通过随意控制来执行是有困难的。具体而言，在使机械臂2A夹持物体ST的情况下，需要使机械臂2A的夹持部26(参照图3)精密地移动到能够夹持物体ST的位置，然而通过随意控制(脑波)来精密地控制夹持部26的位置是困难的。并且，使夹持部26夹持物体ST的动作是复杂的动作，通过随意控制(脑波)来进行控制是困难的。

检测部3A对与机械臂2A的自主控制有关的检测对象进行检测。具体而言，检测部3A具有摄像设备31A。摄像设备31A对检测对象进行拍摄，将示出拍摄的图像的摄像数据发送给控制部4A。控制部4A根据由摄像设备31A拍摄的图像，决定基于自主控制的机械臂2A的下一个行动。图像例如可以是二维图像。另外，摄像设备31A与控制部4A可以进行通信。例如，摄像设备31A与控制部4A可以经由LAN(Local Area Network：局域网)或无线LAN来进行通信。或者，摄像设备31A与控制部4A可以经由互联网线路这种公用的线路网来进行通信。

详细而言，摄像设备31A对机械臂2A的周围进行拍摄，对检测对象进行检测。摄像设备31A可以对机械臂2A的周围进行运动图像的拍摄，也可以对机械臂2A的周围进行静止图像的拍摄。在参照图2至图10来说明的机器人控制系统100A中，摄像设备31A对机械臂2A的前方进行拍摄(参照图3)。摄像设备31A由控制部4A控制。

摄像设备31A的检测对象例如包括物体ST、机械臂2A(参照图3)。即摄像设备31A可以对物体ST和机械臂2A进行检测。在参照图2至图10来说明的机器人控制系统100A中，控制部4A对机械臂2A的动作进行控制，使机械臂2A夹持物体ST。

控制部4A从摄像设备31A所拍摄的图像(摄像数据)中获得示出机械臂2A当前的状态与物体ST的位置的关系的信息。于是，控制部4A根据从摄像数据获得的信息，来决定基于自主控制的机械臂2A的下一个行动。例如，控制部4A可以根据摄像数据，来确定机械臂2A的手腕部25(参照图3)的位置与物体ST的位置，算出机械臂2A的手腕部25(参照图3)与物体ST之间的距离。在这种情况下，控制部4A根据机械臂2A的手腕部25与物体ST之间的距离，来决定基于自主控制的机械臂2A的下一个行动(自主动作)。

更详细而言，摄像设备31A也可以对示出到被摄体的距离信息的运动图像进行拍摄。或者，摄像设备31A对示出到被摄体的距离信息的静止图像进行拍摄。

例如，摄像设备31A可以是立体相机。在这种情况下，摄像设备31A具有被相离配置的两个镜头，基于三角测量的原理来算出从摄像设备31A到被摄体的距离。于是，摄像设备31A生成示出到被摄体的距离的影像，并发送给控制部4A。

或者，摄像设备31A可以是TOF(Time Of Flight：飞行时间)相机。在这种情况下，摄像设备31A具有相机以及向被摄体照射红外光的光源，通过相机对从被摄体反射的红外光进行拍摄。摄像设备31A根据从光源射出的红外光返回到相机的时间，来算出从摄像设备31A到被摄体的距离。于是，摄像设备31A生成示出到被摄体的距离的影像，并发送给控制部4A。

示出到被摄体的距离的影像例如通过颜色来表现距离。具体而言，摄像设备31A以离自身的距离越近就以蓝色来表现、离自身越远就以黑红色来表现的方式，来生成影像。

意图检测部5A根据用户P的脑波来对用户P的意图进行检测。详细而言，意图检测部5A根据由脑波检测设备6检测到的脑波，来检测用户P想要进行的机械臂2A的下一个行动。具体而言，意图检测部5A基于从脑波检测设备6的无线通信部62发送来的无线信号，来获得用户P的脑波。于是，意图检测部5A对获得的脑波进行分析，检测用户P想要进行的机械臂2A的下一个动作。以下会有将用户P想要进行的机械臂2A的下一个动作记作“意图动作”的情况。

控制部4A根据摄像设备31A的输出以及意图检测部5A的输出，来控制机械臂2A。在此，摄像设备31A的输出表示由摄像设备31A进行的检测结果。即摄像设备31A的输出表示由摄像设备31A拍摄的图像(摄像数据)。意图检测部5A的输出表示意图动作。另外，控制部4A与意图检测部5A可以进行通信。例如，控制部4A与意图检测部5A可以通过LAN或无线LAN进行通信。或者，控制部4A与意图检测部5A可以通过互联网线路这种公用的线路网来进行通信。

机械臂2A具有驱动机构27和驱动部28。驱动部28对驱动机构27进行驱动。通过驱动机构27的驱动，从而机械臂2A进行动作。控制部4A对驱动部28进行控制来使机械臂2A动作。具体而言，控制部4A包括环境认知部41A和协调控制部42A。协调控制部42A包括：随意动作决定部43A、自主动作决定部44A、权重决定部45A、指示部46A。

随意动作决定部43A根据用户P的脑波，来决定基于随意控制的机械臂2A的下一个行动(随意动作)。详细而言，随意动作决定部43A根据由意图检测部5A检测到的意图动作，来决定基于随意控制的机械臂2A的下一个行动(随意动作)。

具体而言，作为意图动作，意图检测部5A对机械臂2A的手腕部25(参照图3)的速度矢量Vpp进行估计。以下会有将由意图检测部5A估计的速度矢量Vpp记作“意图速度Vpp”的情况。随意动作决定部43A包括第1速度决定部431。第1速度决定部431根据意图速度Vpp，来决定机械臂2A的手腕部25(参照图3)的速度矢量Vp。以下会有将随意动作决定部43A(第1速度决定部431)决定的速度矢量Vp记作“基于随意控制的速度Vp”的情况。例如，第1速度决定部431可以对意图速度Vpp进行校正，来决定基于随意控制的速度Vp。

自主动作决定部44A根据摄像设备31A进行的检测结果，来决定基于自主控制的机械臂2A的下一个行动(自主动作)。即自主动作决定部44A根据由摄像设备31A拍摄的图像(摄像数据)来决定自主动作。详细而言，自主动作决定部44A根据由环境认知部41A认知的机械臂2A的周围的环境来决定自主动作。

具体而言，环境认知部41A对由摄像设备31A拍摄的图像中包括的机械臂2A和物体ST进行确定，并确定机械臂2A的现在的状态和物体ST的位置。自主动作决定部44A根据机械臂2A的现在的状态和物体ST的位置来决定自主动作。

在参照图2至图10来说明的机器人控制系统100A中，环境认知部41A基于由摄像设备31A拍摄的图像，对机械臂2A的手腕部25(参照图3)的三维位置与物体ST的三维位置进行确定。于是，环境认知部41A算出手腕部25(参照图3)与物体ST之间的距离。自主动作决定部44A根据手腕部25(参照图3)与物体ST之间的距离来决定自主动作。自主动作中包括手腕部25(参照图3)向物体ST接近的动作。

详细而言，自主动作决定部44A包括第2速度决定部441。第2速度决定部441根据机械臂2A的手腕部25(参照图3)与物体ST之间的距离，来决定机械臂2A的手腕部25(参照图3)的速度矢量Va。以下会有将自主动作决定部44A(第2速度决定部441)决定的速度矢量Va记作“基于自主控制的速度Va”的情况。

在参照图2至图10来说明的机器人控制系统100A中，自主动作中还包括由机械臂2A的夹持部26(参照图3)夹持物体ST的动作。详细而言，作为意图动作，意图检测部5A还对夹持意图进行检测。夹持意图示出夹持物体ST的意图。自主动作决定部44A当由意图检测部5A检测到夹持意图时，作为自主动作而决定使夹持部26(参照图3)夹持物体ST的动作。

具体而言，环境认知部41A基于由摄像设备31A拍摄的图像，来确定物体ST的立体形状(三维形状)。进一步，环境认知部41A根据物体ST的立体形状(三维形状)来判断物体ST的重心位置。自主动作决定部44A根据物体ST的立体形状和重心位置，来决定机械臂2A的夹持部26(参照图3)的自主动作。详细而言，自主动作决定部44A根据物体ST的重心位置，来决定夹持部26夹持物体ST的位置。于是，自主动作决定部44A根据物体ST的立体形状，来决定夹持部26夹持物体ST时的夹持部26的动作。

进一步在参照图2至图10来说明的机器人控制系统100A中，环境认知部41A根据物体ST的立体形状，来确定物体ST的种类。自主动作决定部44A根据物体ST的种类，来调节夹持部26夹持物体ST时的压力。

权重决定部45A根据摄像设备31A进行的检测结果，来决定针对随意动作的权重(第1权重)和针对自主动作的权重(第2权重)。即，权重决定部45A根据由摄像设备31A拍摄的图像，来决定针对随意动作的权重(第1权重)和针对自主动作的权重(第2权重)。详细而言，权重决定部45A根据机械臂2A的手腕部25(参照图3)与物体ST之间的距离，来决定第1权重以及第2权重。在参照图2至图10来说明的机器人控制系统100A中，第1权重表示针对基于随意控制的速度Vp的权重。并且，第2权重表示针对基于自主控制的速度Va的权重。如已经进行的说明那样，机械臂2A的手腕部25(参照图3)与物体ST之间的距离由环境认知部41A来算出。

权重决定部45A按照摄像设备31A进行的检测结果，使第1权重以及第2权重的各个值变化。具体而言，权重决定部45A按照机械臂2A的手腕部25(参照图3)与物体ST之间的距离，使第1权重以及第2权重的各个值发生动态的变化。

在参照图2至图10来说明的机器人控制系统100A中，权重决定部45A根据机械臂2A的手腕部25(参照图3)与物体ST之间的距离以及意图速度Vpp，来决定第1权重以及第2权重。如已经进行的说明那样，意图速度Vpp示出根据用户P的脑波估计的手腕部25(参照图3)的速度矢量。通过使意图速度Vpp反映到第1权重以及第2权重，从而机械臂2A的动作不容易成为与用户P想要进行的动作不同的动作。

具体而言，权重决定部45A也可以在按照机械臂2A的手腕部25(参照图3)与物体ST之间的距离而决定了第1权重以及第2权重的各个值之后，根据意图速度Vpp来对第1权重以及第2权重的各个值进行校正。例如，权重决定部45A可以通过对第1权重以及第2权重的各个值乘以系数来校正第1权重以及第2权重的各个值。在此，系数可以是示出按照意图速度Vpp的值来变化的值，也可以是一个固定值。在使用按照意图速度Vpp的值来变化的系数的情况下，权重决定部45A可以是在意图速度Vpp越大时，就使第1权重的值增大、使第2权重的值减小。

指示部46A对机械臂2A指示下一个行动。具体而言，指示部46A对机械臂2A的驱动部28进行控制来驱动驱动机构27。这样，机械臂2A进行动作。详细而言，指示部46A根据由随意动作决定部43A决定的随意动作、由自主动作决定部44A决定的自主动作、第1权重以及第2权重，来对机械臂2A的下一个行动进行控制。这样，针对机械臂2A的随意控制和自主控制得以协调。

更详细而言，指示部46A通过第1权重使随意动作的比例变化、通过第2权重使自主动作的比例变化，并算出使比例变化后的随意动作与自主动作的线性组合。于是，指示部46A根据算出的线性组合，决定机械臂2A接下来将要执行的行动。

在参照图2至图10来说明的机器人控制系统100A中，指示部46A包括姿势决定部461。指示部46A向基于随意控制的速度Vp赋予第1权重，使基于随意控制的速度Vp变化，并且向基于自主控制的速度Va赋予第2权重，使基于自主控制的速度Va变化。于是，指示部46A算出通过第1权重以及第2权重而变化后的速度Vp与速度Va的线性组合。姿势决定部461根据算出的线性组合，来决定机械臂2A的下一个姿势，并根据决定的姿势来控制驱动部28。这样，驱动机构27进行动作，机械臂2A的姿势成为决定的姿势。

接着，参照图2至图5对机器人控制系统100A进行说明。图4示出了机器人控制系统100A中包括的机械臂2A的驱动机构27的构成。图5是示出机器人控制系统100A中包括的驱动部28的构成以及机械臂2A的驱动机构27的构成的方框图。

如图3所示，摄像设备31A可以由机械臂2A支承。在参照图2至图10来说明的机器人控制系统100A中，摄像设备31A被固定在机械臂2A的上侧。摄像设备31A的视线方向VA可以被设定为斜下方。摄像设备31A的视线方向VA与水平面所成的角度θ例如是50°。

如图3所示，机械臂2A具有：肩部21、上臂部22、肘部23、前臂部24、手腕部25、夹持部26。如图4所示，驱动机构27包括第1关节驱动机构27a至第7关节驱动机构27g。即机械臂2A具有7个自由度。例如，第1关节驱动机构27a至第7关节驱动机构27g可以分别包括能够进行正反旋转的电动机。例如，能够进行正反旋转的电动机可以是步进电动机。

具体而言，肩部21具有第1关节驱动机构27a、第2关节驱动机构27b、第3关节驱动机构27c。肘部23具有第4关节驱动机构27d。前臂部24具有第5关节驱动机构27e。手腕部25具有第6关节驱动机构27f和第7关节驱动机构27g。图3以及图4示出的机械臂2A的姿势是，上臂部22从肩部21向铅垂下方延伸，肘部23弯曲成直角，前臂部24以及手腕部25在水平方向上延伸。

如图4所示，第1关节驱动机构27a在以沿着Y轴方向的轴心为中心的旋转方向上自由摇动。在此，Y轴方向包括在水平方向中。第1关节驱动机构27a与第2关节驱动机构27b连结。第1关节驱动机构27a的驱动力被传递到第2关节驱动机构27b。因此，第2关节驱动机构27b以第1关节驱动机构27a的轴心为中心，通过第1关节驱动机构27a来摇动。

第2关节驱动机构27b相对于第1关节驱动机构27a而言被配置在-Y侧。第2关节驱动机构27b在以与第1关节驱动机构27a的轴心正交的方向上延伸的轴心为中心的旋转方向上自由摇动。在图4所示的姿势的情况下，第2关节驱动机构27b的轴心在X轴方向上延伸。即第2关节驱动机构27b的轴心在水平方向上延伸。第2关节驱动机构27b与第3关节驱动机构27c连结。第2关节驱动机构27b的驱动力被传递到第3关节驱动机构27c。因此，第3关节驱动机构27c以第2关节驱动机构27b的轴心为中心，通过第2关节驱动机构27b来摇动。

在图4所示的姿势的情况下，第3关节驱动机构27c相对于第2关节驱动机构27b被配置在-Z侧。第3关节驱动机构27c在以与第2关节驱动机构27b的轴心正交的方向上延伸的轴心为中心的旋转方向上自由摇动。在图4所示的姿势的情况下，第3关节驱动机构27c的轴心在Z轴方向上延伸。即第3关节驱动机构27c的轴心在铅垂方向上延伸。第3关节驱动机构27c与第4关节驱动机构27d连结。第3关节驱动机构27c的驱动力被传递到第4关节驱动机构27d。因此，第4关节驱动机构27d以第3关节驱动机构27c的轴心为中心，通过第3关节驱动机构27c来摇动。

在图4所示的姿势的情况下，第4关节驱动机构27d相对于第3关节驱动机构27c而言被配置在-Z侧。第4关节驱动机构27d在以与第3关节驱动机构27c的轴心正交的方向上延伸的轴心为中心的旋转方向上自由摇动。在图4所示的姿势的情况下，第4关节驱动机构27d的轴心在Y轴方向上延伸。即第4关节驱动机构27d的轴心在水平方向上延伸。第4关节驱动机构27d与第5关节驱动机构27e连结。第4关节驱动机构27d的驱动力被传递到第5关节驱动机构27e。因此，第5关节驱动机构27e以第4关节驱动机构27d的轴心为中心，通过第4关节驱动机构27d来摇动。

在图4所示的姿势的情况下，第5关节驱动机构27e相对于第4关节驱动机构27d而言被配置在+X侧。第5关节驱动机构27e在以与第4关节驱动机构27d的轴心正交的方向上延伸的轴心为中心的旋转方向上自由摇动。在图4所示的姿势的情况下，第5关节驱动机构27e的轴心在X轴方向上延伸。即第5关节驱动机构27e的轴心在水平方向上延伸。第5关节驱动机构27e与第6关节驱动机构27f连结。第5关节驱动机构27e的驱动力被传递到第6关节驱动机构27f。因此，第6关节驱动机构27f以第5关节驱动机构27e的轴心为中心，通过第5关节驱动机构27e来摇动。

在图4所示的姿势的情况下，第6关节驱动机构27f相对于第5关节驱动机构27e被配置在+X侧。第6关节驱动机构27f在以与第5关节驱动机构27e的轴心为相同的方向上延伸的轴心为中心的旋转方向上自由摇动。在图4所示的姿势的情况下，第6关节驱动机构27f的轴心在X轴方向上延伸。即第6关节驱动机构27f的轴心在水平方向上延伸。第6关节驱动机构27f与第7关节驱动机构27g连结。第6关节驱动机构27f的驱动力被传递到第7关节驱动机构27g。因此，第7关节驱动机构27g以第6关节驱动机构27f的轴心为中心，通过第6关节驱动机构27f来摇动。

在图4所示的姿势的情况下，第7关节驱动机构27g相对于第6关节驱动机构27f被配置在+X侧。第7关节驱动机构27g在以与第6关节驱动机构27f的轴心正交的方向上延伸的轴心为中心的旋转方向上自由摇动。在图4所示的姿势的情况下，第7关节驱动机构27g的轴心在Z轴方向上延伸。即第7关节驱动机构27g的轴心在铅垂方向上延伸。第7关节驱动机构27g与夹持部26连结。第7关节驱动机构27g的驱动力被传递到夹持部26。因此，夹持部26以第7关节驱动机构27g的轴心为中心，通过第7关节驱动机构27g来摇动。

如图5所示，驱动部28包括第1驱动部28a至第7驱动部28g。第1驱动部28a对第1关节驱动机构27a进行驱动。同样，第2驱动部28b至第7驱动部28g分别对第2关节驱动机构27b至第7关节驱动机构27g进行驱动。第1驱动部28a至第7驱动部28g例如包括电机驱动器。

协调控制部42A对第1驱动部28a进行控制，来使第1关节驱动机构27a驱动。同样，协调控制部42A对第2驱动部28b至第7驱动部28g分别进行控制，使第2关节驱动机构27b至第7关节驱动机构27g各自驱动。

具体而言，协调控制部42A对第1关节驱动机构27a的摇动角度θc1(旋转角度)进行控制。详细而言，协调控制部42A对以第1关节驱动机构27a的轴心为中心的第2关节驱动机构27b的摇动角度θc1(旋转角度)进行控制。

同样，协调控制部42A对第2关节驱动机构27b至第7关节驱动机构27g的摇动角度θc2至θc7分别进行控制。详细而言，协调控制部42A对以第2关节驱动机构27b的轴心为中心的第3关节驱动机构27c的摇动角度θc2(旋转角度)进行控制。协调控制部42A对以第3关节驱动机构27c的轴心为中心的第4关节驱动机构27d的摇动角度θc3(旋转角度)进行控制。协调控制部42A对以第4关节驱动机构27d的轴心为中心的第5关节驱动机构27e的摇动角度θc4(旋转角度)进行控制。协调控制部42A对以第5关节驱动机构27e的轴心为中心的第6关节驱动机构27f的摇动角度θc5(旋转角度)进行控制。协调控制部42A对以第6关节驱动机构27f的轴心为中心的第7关节驱动机构27g的摇动角度θc6(旋转角度)进行控制。协调控制部42A对以第7关节驱动机构27g的轴心为中心的夹持部26的摇动角度θc7(旋转角度)进行控制。

接着参照图6的(a)以及图6的(b)对机械臂2A中包括的夹持部26进行说明。图6的(a)是示出机器人控制系统100A中包括的机械臂2A的夹持部26的平面图。图6的(b)是示出机器人控制系统100A中包括的控制部4A以及机械臂2A的构成的方框图。

如图6的(a)所示，夹持部26可以具有：第1夹持部件26a、第2夹持部件26b、第1齿轮26c、第2齿轮26d、支承部件26e。

支承部件26e以第1齿轮26c以及第2齿轮26d能够自由旋转的方式来支承第1齿轮26c以及第2齿轮26d。详细而言，第1齿轮26c以及第2齿轮26d以彼此咬合的状态由支承部件26e支承。因此，第1齿轮26c以及第2齿轮26d彼此向相反的方向旋转。

第1夹持部件26a自由摇动地由支承部件26e支承，并从支承部件26e凸出。第1齿轮26c的驱动力被传递到第1夹持部件26a的前端部。同样，第2夹持部件26b自由摇动地由支承部件26e支承，从支承部件26e向与第1夹持部件26a相同的一侧凸出。第2齿轮26d的驱动力被传递到第2夹持部件26b的前端部。

第1夹持部件26a与第2夹持部件26b彼此相向。第1夹持部件26a和第2夹持部件26b按照第1齿轮26c以及第2齿轮26d的摇动来打开或闭合。在此，第1夹持部件26a与第2夹持部件26b打开是指，第1夹持部件26a与第2夹持部件26b以各自的前端部为中心向彼此远离的方向旋转。并且，第1夹持部件26a与第2夹持部件26b闭合是指，第1夹持部件26a与第2夹持部件26b以各自的前端部为中心向彼此接近的方向旋转。

更具体而言，如图6的(b)所示，夹持部26具有夹持驱动机构27h。驱动部28包括第8驱动部28h。第8驱动部28h使夹持驱动机构27h驱动。通过夹持驱动机构27h进行驱动，从而第1齿轮26c以及第2齿轮26d摇动。例如，夹持驱动机构27h包括能够进行正反旋转的电动机。例如，能够进行正反旋转的电动机可以是步进电动机。第8驱动部28h例如包括电机驱动器。另外，支承部件26e可以是箱状。在这种情况下，夹持驱动机构27h可以被收纳在支承部件26e的内部。

协调控制部42A对第8驱动部28h进行控制，使夹持部26进行动作。例如，协调控制部42A在使夹持部26夹持物体ST时，对第8驱动部28h进行控制，使第1夹持部件26a与第2夹持部件26b闭合。这样，由第1夹持部件26a与第2夹持部件26b夹着的物体ST由第1夹持部件26a与第2夹持部件26b夹持。并且，在对物体ST由夹持部26的夹持进行解除时，协调控制部42A对第8驱动部28h进行控制，使第1夹持部件26a与第2夹持部件26b打开。

在参照图2至图10来说明的机器人控制系统100A中，如参照图2进行的说明那样，环境认知部41A对物体ST的立体形状(三维形状)进行确定，自主动作决定部44A根据物体ST的立体形状，来决定夹持部26夹持物体ST时的夹持部26的动作。因此，协调控制部42A能够按照物体ST的立体形状来控制第1夹持部件26a以及第2夹持部件26b的摇动角度(旋转角度)。换而言之，协调控制部42A能够按照物体ST的立体形状来控制第1夹持部件26a和第2夹持部件26b的打开角度。据此，能够以更恰当的压力来夹持物体ST。

进一步，在参照图2至图10来说明的机器人控制系统100A中，环境认知部41A对物体ST的种类进行确定，自主动作决定部44A根据物体ST的立体形状和物体ST的种类来决定夹持部26夹持物体ST时的夹持部26的动作。因此，协调控制部42A能够按照物体ST的立体形状和物体ST的种类来控制第1夹持部件26a以及第2夹持部件26b的摇动角度(旋转角度)。换而言之，协调控制部42A能够按照物体ST的立体形状以及种类，来控制第1夹持部件26a和第2夹持部件26b的打开角度。据此，能够以更恰当的压力来夹持物体ST。

接着，参照图7对机器人控制系统100A中包括的意图检测部5A进行说明。图7是示出机器人控制系统100A中包括的意图检测部5A的构成的方框图。如图7所示，意图检测部5A具有：第1存储部51、第1处理部52、无线通信部53。意图检测部5A例如可以是个人计算机。

无线通信部53从脑波检测设备6接收示出用户P的脑波的无线信号。具体而言，无线通信部53与参照图1来说明的脑波检测设备6的无线通信部62之间进行无线通信。详细而言，无线通信部53与脑波检测设备6的无线通信部62同样按照无线通信标准来进行无线通信。无线通信部53将示出脑波的无线信号转换为示出脑波的电信号，并输入到第1处理部52。

第1存储部51对各种计算机程序以及各种数据进行存储。第1存储部51例如具有半导体存储器。半导体存储器例如包括RAM(Random Access Memory：随机存取存储器)以及ROM(Read Only Memory：只读存储器)。半导体存储器也可以包括闪存、EPROM(ErasableProgrammable Read Only Memory：可擦除可编程存储器)、或EEPROM(ElectricallyErasable Programmable Read Only Memory：电可擦除可编程存储器)、VRAM(Video RAM：视频随机存取存储器)。第1存储部51可以包括HDD(Hard Disk Drive：硬盘驱动器)或SSD(Solid State Drive：固态硬盘)，还可以包括可移动介质。

第1处理部52通过执行第1存储部51中存储的计算机程序，来进行数值计算或信息处理等各种处理。第1处理部52例如可以包括CPU(Central Processing Unit：中央处理器)或MPU(Micro Processing Unit：微处理器)。第1处理部52还可以包括GPU(GraphicsProcessing Unit：图形处理器)、NPU(Neuralnetwork Processing Unit：神经网络处理器)。或者，第1处理部52可以包括量子计算机。

例如，第1处理部52通过多变量分析，从脑波获得用户P的意图(意图动作)。多变量分析中包括利用了机器学习模型的分析。在参照图2至图10来说明的机器人控制系统100A中，第1存储部51对第1机器学习模型D1进行存储。第1机器学习模型D1是对脑波进行分析来估计用户P的意图的计算机程序。具体而言，第1机器学习模型D1通过分析脑波并估计意图动作而被训练。

更详细而言，第1机器学习模型D1通过回归分析，以输出机械臂2A的手腕部25的速度矢量(意图速度Vpp)的方式而被训练。意图速度Vpp(速度矢量)包括X轴方向的成分Vppx、Y轴方向的成分Vppy、Z轴方向的成分Vppz。并且，第1机器学习模型D1通过回归分析，以检测夹持意图的方式而被训练。

例如，第1机器学习模型D1进行基于支持向量回归的分析。第1机器学习模型D1可以在基于支持向量回归进行分析前进行预处理。预处理包括从脑波提取特征量的处理。例如，预处理可以是偏最小二乘回归(Partial Least Squares regression；PLS回归)、或独立成分分析(Independent Component Analysis；ICA)。

在进行预处理的情况下，意图速度Vpp能够通过以下的式(1)来求出。在以下的式(1)中，“iEEG”表示头颅内脑波。“W1”表示预处理的权重。“W2”表示支持向量回归的权重。

Vpp=iEEG×W1×W2=(Vppx、Vppy、Vppz)···(1)

第1处理部52将示出脑波的电信号转换为示出脑波的数据，并输入到第1机器学习模型D1。据此，第1机器学习模型D1对脑波进行分析，估计用户P的意图。具体而言，第1机器学习模型D1对脑波进行分析，估计意图动作。第1处理部52将示出由第1机器学习模型D1估计的意图动作数据输出给控制部4A。在参照图2至图10来说明的机器人控制系统100A中，第1处理部52(意图检测部5A)将示出意图速度Vpp的信号作为示出意图动作的数据输出给控制部4A。并且，第1处理部52(意图检测部5A)将示出夹持意图的信号作为示出意图动作的数据输出给控制部4A。

详细而言，第1处理部52对示出脑波的电信号进行带通滤波处理，将带通滤波处理后的脑波的数据输入到第1机器学习模型D1。具体而言，通过带通滤波处理，从示出脑波的电信号提取涉及运动的频带的信号。涉及运动的频带例如是60Hz以上200Hz以下的频带。

另外，用于构筑第1机器学习模型D1的机器学习算法并非受支持向量回归所限。用于构筑第1机器学习模型D1的机器学习算法例如可以是决策树、最近邻算法、朴素贝叶斯分类器、或神经网络。因此，第1机器学习模型D1包括决策树、最近邻算法、朴素贝叶斯分类器、支持向量机、或神经网络。在机器学习中也可以利用误差反向传播法。

例如，神经网络包括输入层、一个或多个中间层、以及输出层。具体而言，神经网络包括深度神经网络(DNN：Deep Neural Network)、循环神经网络(RNN：Recurrent NeuralNetwork)、以及卷积神经网络(CNN：Convolutional Neural Network)中的至少一个，进行深度学习。例如，深度神经网络包括输入层、多个中间层、以及输出层。

接着，参照图8对机器人控制系统100A中包括的控制部4A进行说明。图8是示出机器人控制系统100A中包括的控制部4A的硬件的方框图。如图8所示，控制部4A具有：第2存储部4a、第2处理部4b、输入部4c。控制部4A例如可以是个人计算机。

第2存储部4a对各种计算机程序以及各种数据进行存储。第2存储部4a例如具有半导体存储器。半导体存储器例如包括RAM以及ROM。半导体存储器也可以包括闪存、EPROM或EEPROM，还可以包括VRAM。第2存储部4a可以进一步包括HDD或SSD，还可以包括可移动介质。

具体而言，如图8所示，第2存储部4a对机器人操作系统(Robot OperatingSystem：ROS)D11进行存储。机器人操作系统D11是使机器人动作的中间件(计算机程序)。第2处理部4b执行机器人操作系统D11，对机械臂2A进行控制。

第2处理部4b通过执行第2存储部4a中存储的计算机程序，来进行像数值计算或信息处理这样的处理。第2处理部4b例如可以包括CPU或MPU。第2处理部4b还可以包括GPU、NPU。或者，第2处理部4b可以包括量子计算机。

具体而言，第2处理部4b通过执行第2存储部4a中存储的计算机程序，从而作为参照图2进行了说明的环境认知部41A、随意动作决定部43A、自主动作决定部44A、权重决定部45A、以及指示部46A来发挥作用。

例如，第2处理部4b在作为随意动作决定部43A来发挥作用时，根据意图动作来决定随意动作。具体而言，第2处理部4b在作为随意动作决定部43A(第1速度决定部431)来发挥作用时，根据意图速度Vpp来决定机械臂2A的手腕部25的速度矢量Vp(基于随意控制的速度Vp)。基于随意控制的速度Vp包括X轴方向的成分Vpx、Y轴方向的成分Vpy、以及Z轴方向的成分Vpz。

第2处理部4b在作为环境认知部41A来发挥作用时，根据由摄像设备31A拍摄的图像，对机械臂2A的手腕部25的当前的位置以及物体ST的位置进行确定，算出手腕部25与物体ST之间的距离。第2处理部4b在作为自主动作决定部44A(第2速度决定部441)来发挥作用时，根据手腕部25与物体ST之间的距离来决定自主动作。

在参照图2至图10来说明的机器人控制系统100A中，第2处理部4b在作为自主动作决定部44A(第2速度决定部441)来发挥作用时，根据手腕部25与物体ST之间的距离，算出基于自主控制的速度Va(手腕部25的速度矢量Va)。基于自主控制的速度Va包括X轴方向的成分Vax、Y轴方向的成分Vay、以及Z轴方向的成分Vaz。

进一步，第2处理部4b在作为环境认知部41A来发挥作用时，根据由摄像设备31A拍摄的图像，对物体ST的立体形状(三维形状)进行确定。于是，第2处理部4b根据物体ST的立体形状，对物体ST的重心位置以及物体ST的种类进行确定。

详细而言，如图8所示，第2存储部4a对第2机器学习模型D12进行存储。具体而言，第2机器学习模型D12被嵌入到机器人操作系统D11。第2机器学习模型D12对由摄像设备31A拍摄的图像进行分析，确定机械臂2A的手腕部25的当前的位置以及物体ST的位置，并通过算出机械臂2A的手腕部25与物体ST之间的距离而被训练。进一步，第2机器学习模型D12对由摄像设备31A拍摄的图像进行分析，并通过对物体ST的三维形状、物体ST的重心位置、物体ST的种类进行估计而被训练。第2处理部4b将示出由摄像设备31A拍摄的图像的数据输入到第2机器学习模型D12。这样，示出机械臂2A的手腕部25与物体ST之间的距离、物体ST的三维形状、物体ST的重心位置、物体ST的种类的信息从第2机器学习模型D12输出。

另外，用于构筑第2机器学习模型D12的机器学习算法没有特殊的限定，例如可以是决策树、最近邻算法、朴素贝叶斯分类器、支持向量机、或神经网络。因此，第2机器学习模型D12包括决策树、最近邻算法、朴素贝叶斯分类器、支持向量机、或神经网络。在机器学习中也可以利用误差反向传播法。

第2处理部4b在作为权重决定部45A来发挥作用时，根据摄像设备31A进行的检测结果，来决定第1权重和第2权重。在参照图2至图10来说明的机器人控制系统100A中，第2处理部4b根据手腕部25(参照图3)与物体ST之间的距离以及意图速度Vpp，来决定第1权重和第2权重。详细而言，如图8所示，第2存储部4a还存储权重变更条件D13。具体而言，权重变更条件D13被嵌入到机器人操作系统D11。第2处理部4b参照权重变更条件D13，来决定第1权重以及第2权重的各个值。

权重变更条件D13示出第1权重以及第2权重的各个值的变更条件。具体而言，权重变更条件D13示出按照摄像设备31A进行的检测结果来使第1权重以及第2权重的各个值变化的条件。在参照图2至图10来说明的机器人控制系统100A中，权重变更条件D13示出按照摄像设备31A进行的检测结果以及意图动作来使第1权重以及第2权重的各个值变化的条件。

输入部4c是由操作员进行操作的用户接口装置。输入部4c典型的具有键盘以及鼠标。输入部4c也可以具有触摸传感器。操作员能够对输入部4c进行操作来调节权重变更条件D13。即操作员能够对输入部4c进行操作来调节第1权重以及第2权重的各个值的变更条件。

在参照图2至图10来说明的机器人控制系统100A中，权重变更条件D13示出按照机械臂2A的手腕部25与物体ST之间的距离以及意图速度Vpp来使第1权重以及第2权重的各个值变化的条件。即权重变更条件D13示出手腕部25与物体ST之间的距离、意图速度Vpp、第1权重和第2权重的各个值之间的关系。

具体而言，权重变更条件D13示出手腕部25与物体ST之间的距离、意图速度Vpp、针对随意动作的权重Wp(第1权重)之间的关系。第2处理部4b从意图检测部5A获得意图速度Vpp，当算出手腕部25与物体ST之间的距离时，则参照权重变更条件D13来决定权重Wp(第1权重)的值。于是，第2处理部4b根据权重Wp(第1权重)来算出针对自主动作的权重(第2权重)。详细而言，第2处理部4b根据以下的式(2)来求出第2权重。

第2权重=1-Wp···(2)

在参照图2至图10来说明的机器人控制系统100A中，第1权重(Wp)是针对基于随意控制的速度Vp的权重，第2权重(1-Wp)是针对基于自主控制的速度Va的权重。权重Wp的值越大，则基于随意控制的速度Vp相对于基于自主控制的速度Va的比重就越大。相反，若权重Wp的值越小，则是基于自主控制的速度Va相对于基于随意控制的速度Vp的比重就越大。

权重变更条件D13也可以是在机械臂2A的行动的初始阶段，以机械臂2A通过随意控制来行动的方式，来规定第1权重(Wp)。例如，权重变更条件D13在物体ST与机械臂2A的手腕部25之间的距离为1m以上的情况下，以机械臂2A通过随意控制来行动的方式，来规定第1权重(Wp)。具体而言，权重变更条件D13可以将物体ST与机械臂2A的手腕部25之间的距离为1m以上时的第1权重(Wp)的值规定为“1”或大致“1”。这样，在机械臂2A的行动的初始阶段，由于是第2处理部4b通过意图动作来控制机械臂2A，因此机械臂2A的行动成为用户P想要进行的行动。例如，在物体ST与机械臂2A的手腕部25之间的距离为1m以上的情况下，机械臂2A的行动成为用户P想要进行的行动。

并且，权重变更条件D13可以在机械臂2A的行动的最终阶段，以机械臂2A通过自主控制来行动的方式，来规定第1权重(Wp)。例如，权重变更条件D13在物体ST与机械臂2A的手腕部25之间的距离为30cm以下的情况下，以机械臂2A通过自主控制来行动的方式，来规定第1权重(Wp)。具体而言，权重变更条件D13可以将物体ST与机械臂2A的手腕部25之间的距离为30cm以下时的第1权重(Wp)的值规定为“0”或大致“0”。这样，在机械臂2A的行动的最终阶段，由于是第2处理部4b通过自主动作来控制机械臂2A，因此与随意控制相比，能够对机械臂2A(操作对象2)进行精密的控制。

另外，手腕部25与物体ST之间的距离和权重Wp的关系可以是连续的，也可以是分阶段的。即权重Wp的值可以按照手腕部25与物体ST之间的距离的变化来连续地变化，也可以分阶段地变化。例如，权重变更条件D13可以是在机械臂2A的行动的中途阶段，使第1权重(Wp)的值连续减少的条件，也可以是使第1权重(Wp)的值分阶段减少的条件。具体而言，在物体ST与机械臂2A的手腕部25之间的距离比1m小且比30cm大的情况下，权重变更条件D13可以是物体ST与机械臂2A的手腕部25之间的距离越小，就使第1权重(Wp)的值连续地或分阶段地变小的条件。

在参照图2至图10来说明的机器人控制系统100A中，在意图速度Vpp是规定速度以上的情况下，权重变更条件D13可以示出针对基于物体ST与机械臂2A的手腕部25之间的距离来决定的第1权重(Wp)赋予系数的条件。在此，系数示出比“1”大的值。系数可以是固定值，也可以是按照意图速度Vpp来变化的值。系数可以按照意图速度Vpp来连续地变化，也可以分阶段地变化。在意图速度Vpp是规定速度以上的情况下，通过使第1权重的值增大，从而机械臂2A的动作不容易成为与用户P想要进行的动作不同的动作。

第2处理部4b在作为指示部46A来发挥作用时，以第1权重来使意图动作的比例变化、以第2权重来使自主动作的比例变化，并算出比例变化后的意图动作与自主动作的线性组合。于是，第2处理部4b根据算出的线性组合来决定机械臂2A下一个将要执行的行动。

在参照图2至图10来说明的机器人控制系统100A中，第2处理部4b在作为指示部46A来发挥作用时，使基于随意控制的速度Vp以第1权重(Wp)来变化、使基于自主控制的速度Va以第2权重(1-Wp)来变化。于是，第2处理部4b算出变化后的速度Vp与速度Va的线性组合，来决定机械臂2A的手腕部25(参照图3)的速度矢量Vcmd。速度矢量Vcmd是指令值。以下会有将速度矢量Vcmd记作“指令速度Vcmd”的情况。

例如，指令速度Vcmd能够根据以下的式(3)来求出。指令速度Vcmd包括X轴方向的成分Vcmd_x、Y轴方向的成分Vcmd_y、Z轴方向的成分Vcmd_z。

Vcmd=Vp×Wp+Va×(1-Wp)···(3)

第2处理部4b在作为指示部46A来发挥作用时，根据指令速度Vcmd来控制机械臂2A。具体而言，第2处理部4b执行机器人操作系统D11，以手腕部25以指令速度Vcmd来移动的方式，对参照图3至图5说明的驱动机构27(第1关节驱动机构27a至第7关节驱动机构27g)进行控制。

详细而言，第2处理部4b(机器人操作系统D11)对指令速度Vcmd中包括的X轴方向的成分Vcmd_x、Y轴方向的成分Vcmd_y以及Z轴方向的成分Vcmd_z分别进行积分，来决定机械臂2A的手腕部25的下一个三维位置(Xo、Yo、Zo)，以机械臂2A的手腕部25移动到下一个三维位置(Xo、Yo、Zo)的方式，来对参照图3至图5说明的驱动机构27进行控制。例如，下一个三维位置(Xo、Yo、Zo)能够分别由以下的式(4)至(6)来求出。另外，三维坐标可以通过将机械臂2A的肩部21作为原点(0、0、0)来设定。以下，会有将下一个三维位置记作“目标位置”的情况。

[数学式1]

[数学式2]

[数学式3]

在机器人操作系统D11中嵌入有控制表达式，该控制表达式用于通过逆运动学来算出第1关节驱动机构27a至第7关节驱动机构27g各自的目标角度θ1至θ7。第2处理部4b(机器人操作系统D11)根据目标位置(Xo、Yo、Zo)，来算出第1关节驱动机构27a至第7关节驱动机构27g的各自的目标角度θ1至θ7。于是，第2处理部4b(机器人操作系统D11)以第1关节驱动机构27a至第7关节驱动机构27g各自的摇动角度θc1至θc7成为目标角度θ1至θ7的方式，对第1关节驱动机构27a至第7关节驱动机构27g进行控制。

例如，在机器人操作系统D11中作为控制表达式可以嵌入以下的式(7)至(19)。具体而言，第2处理部4b(机器人操作系统D11)在Yo为0以下的情况下，通过式(7)至式(14)来算出目标角度θ1至θ7。并且，第2处理部4b(机器人操作系统D11)在Yo比0大的情况下，通过式(7)至式(9)以及式(15)至式(19)来算出目标角度θ1至θ7。

[数学式4]

[数学式5]

[数学式6]

[数学式7]

[数学式8]

[数学式9]

[数学式10]

[数学式11]

[数学式12]

[数学式13]

[数学式14]

[数学式15]

[数学式16]

接着，参照图9的(a)以及图9的(b)对上述式(7)至式(19)中包括的“α”、“β”、“L1”、“L2”、“r”进行说明。图9的(a)是示出机器人控制系统100A中包括的机械臂2A的侧面图，图9的(b)是示出机器人控制系统100A中包括的机械臂2A的平面图。

如图9的(a)所示，“α”表示Z轴与上臂部22所成的角度。“β”表示侧面视图中的上臂部22与前臂部24所成的角度。“L1”表示上臂部22的长度。“L2”表示前臂部24的长度。如图9的(a)以及图9的(b)所示，“r”表示从肩部21(原点)到目标位置(Xo、Yo、Zo)的距离。

接着，参照图2至图10对机器人控制系统100A执行的处理进行说明。图10是示出机器人控制系统100A执行的处理的一个例子的流程图。详细而言，图10示出了使机械臂2A的夹持部26夹持物体ST的处理的一个例子。如图10所示，机器人控制系统100A执行的处理可以包括步骤S1至步骤S10。

图10所示的处理例如按照由脑波检测设备6检测用户P的脑波来开始。当图10所示的处理开始时，首先意图检测部5A(第1处理部52)基于用户P的脑波来估计意图动作(步骤S1)。

当意图动作被估计到时，意图检测部5A(第1处理部52)对意图动作是否为夹持意图进行判断(步骤S2)。在判断为意图动作不是夹持意图的情况下(步骤S2的“否”)，意图动作示出意图速度Vpp。在这种情况下，意图检测部5A(第1处理部52)将示出意图速度Vpp的信号发送给控制部4A。在判断为意图动作是夹持意图的情况下(步骤S2的“是”)，意图检测部5A(第1处理部52)将示出夹持意图的信号发送给控制部4A。

第2处理部4b(随意动作决定部43A)在从意图检测部5A得到了示出意图速度Vpp的信息的情况下(步骤S2的“否”)，则决定随意动作(步骤S3)。详细而言，第2处理部4b(随意动作决定部43A)根据意图速度Vpp来算出基于随意控制的速度矢量Vp。

并且，在第2处理部4b(权重决定部45A)意图检测部5A得到了示出意图速度Vpp的信息的情况下(步骤S2的“否”)，则决定第1权重(Wp)并算出第2权重(1-Wp)(步骤S4)。

详细而言，第2处理部4b(环境认知部41A)根据由摄像设备31A拍摄的图像，算出物体ST与机械臂2A的手腕部25之间的距离。于是，第2处理部4b(权重决定部45A)根据物体ST与机械臂2A的手腕部25之间的距离以及意图速度Vpp，来决定第1权重(Wp)并算出第2权重(1-Wp)。

第2处理部4b在决定第1权重(Wp)并算出第2权重(1-Wp)时，根据物体ST与机械臂2A的手腕部25之间的距离来决定自主动作(步骤S5)。详细而言，第2处理部4b(自主动作决定部44A)算出基于自主控制的速度Va。于是，第2处理部4b(指示部46A)根据基于随意控制的速度Vp、基于自主控制的速度Va、第1权重(Wp)和第2权重(1-Wp)来算出指令速度Vcmd(步骤S6)。

第2处理部4b(指示部46A)当算出指令速度Vcmd时，对指令速度Vcmd进行积分，来算出目标位置(Xo、Yo、Zo)(步骤S7)。于是，第2处理部4b(指示部46A)根据目标位置(Xo、Yo、Zo)，来算出第1关节驱动机构27a至第7关节驱动机构27g的目标角度θ1至θ7(步骤S8)。

第2处理部4b(指示部46A)当算出目标角度θ1至θ7时，使第1关节驱动机构27a至第7关节驱动机构27g驱动，以使第1关节驱动机构27a至第7关节驱动机构27g的摇动角度θc1至θc7成为目标角度θ1至θ7。这样，机械臂2A的手腕部25向目标位置(Xo、Yo、Zo)移动(步骤S9)。当使机械臂2A的手腕部25移动到目标位置(Xo、Yo、Zo)时，处理返回到步骤S1。另外，意图检测部5A(第1处理部52)按每0.1秒或0.2秒来对意图动作进行估计。

例如，第2处理部4b(权重决定部45A)在物体ST与机械臂2A的手腕部25之间的距离为1m以上的情况下，将第1权重(Wp)的值决定为“1”或大致“1”。这样，指令速度Vcmd成为与基于随意控制的速度Vp相等或大致相等。因此，手腕部25按照用户P的意图来移动。

当物体ST与机械臂2A的手腕部25之间的距离成为不到1m时，物体ST与机械臂2A的手腕部25之间的距离越小，第2处理部4b(权重决定部45A)就使第1权重(Wp)的值变得越小。这样，随着机械臂2A的手腕部25向物体ST接近，基于随意控制的速度Vp被反映到指令速度Vcmd的比例变小，基于自主控制的速度Va被反映到指令速度Vcmd的比例变大。

当物体ST与机械臂2A的手腕部25之间的距离成为30cm以下时，第2处理部4b(权重决定部45A)将第1权重(Wp)的值决定为“0”或大致“0”。这样，指令速度Vcmd成为与基于自主控制的速度Va相等或大致相等。因此，手腕部25通过自主控制来移动。

第2处理部4b在判断为意图动作是夹持意图的情况下(步骤S2的“是”)，根据由摄像设备31A拍摄的图像来对夹持部26进行控制，使夹持部26夹持物体ST(步骤S10)。这样，图10所示的处理结束。

具体而言，第2处理部4b(环境认知部41A)根据由摄像设备31A拍摄的图像，对物体ST的三维形状、重心位置以及种类进行确定。于是，第2处理部4b(自主动作决定部44A)根据物体ST的立体形状、物体ST的重心位置、物体ST的种类，来决定自主动作。第2处理部4b(指示部46A)根据决定的自主动作来对夹持驱动机构27h进行控制，使第1夹持部件26a以及第2夹持部件26b动作。即第2处理部4b通过自主控制来使夹持部26动作。这样，物体ST由第1夹持部件26a和第2夹持部件26b夹持。

通过本实施方式，在使机械臂2A夹持物体ST时，通过自主控制来使夹持部26动作。因此，与通过随意控制来使夹持部26动作的情况相比，能够以更高的精度来由机械臂2A夹持物体ST。

接着，参照图2至图9对权重变更条件D13进行说明。在机器人控制系统100A，权重变更条件D13基于评价函数而被调节。评价函数包括作为参数的在机器人控制系统100A(控制系统100)的训练时获得的控制性能和操作感。控制性能示出反映了偏离量的值，该偏离量是在机器人控制系统100A(控制系统100)的训练时操作机械臂2A(操作对象2)的操作员想要进行的行动、与机械臂2A(操作对象2)实际上的行动的偏离量。并且，操作感示出反映了操作员所评价的机械臂2A(操作对象2)的操作难易度的值。

例如，作为评价函数，可以利用以下的式(20)来调节权重变更条件D13。

评价函数=a·f(操作感)-b·g(误差) ···(20)

在式(20)中，“f(操作感)”是包括作为参数的操作感的函数。“g(误差)”是将对机械臂2A(操作对象2)进行操作的操作员想要进行的行动、与机械臂2A(操作对象2)实际上的行动的偏离量(误差)作为参数来包括的函数。例如，“f(操作感)”可以是操作感的值越大则其值就越大的函数。“g(误差)”可以是偏离量(误差)越大则其值就越大的函数。系数“a”以及“b”可以由操作员任意地决定。

另外，系数“a”以及“b”也可以根据以下的式(21)以及式(22)来决定。式(21)以及式(22)中包括的“t”可以由操作员任意地决定。

a=t ···(21)

b=1-t ···(22)

具体而言，机器人控制系统100A(控制系统100)的训练表示随意控制的训练。随意控制的训练在第1机器学习模型D1的训练后执行。详细而言，在机器人控制系统100A(控制系统100)的训练时，操作员使脑波检测设备6检测操作员的脑波，使意图检测部5A(意图检测部5)检测操作员的意图，使控制部4A(控制部4)根据操作员的意图来使机械臂2A(操作对象2)动作。换而言之，在机器人控制系统100A(控制系统100)的训练时，控制部4A(控制部4)通过随意控制来对机械臂2A(操作对象2)进行控制。即控制部4A(控制部4)根据意图动作来使机械臂2A(操作对象2)动作。

操作员在机器人控制系统100A(控制系统100)的训练时，求出操作员想要进行的机械臂2A(操作对象2)的动作、与机械臂2A(操作对象2)实际上的动作的差(误差)。于是，操作员对输入部4c进行操作来调节权重变更条件D13，以使操作员想要进行的机械臂2A(操作对象2)的动作与机械臂2A(操作对象2)实际上的动作的差(误差)变小。即操作员以误差变小的方式来调节权重Wp的变更条件。

并且，操作员在机器人控制系统100A(控制系统100)的训练时，对机械臂2A(操作对象2)的操作的难易度(操作感)按5个阶段等来进行评价。或者，操作员可以利用视觉模拟评分法(Visual Analogue Scale：VAS)，来对机械臂2A(操作对象2)的操作的难易度(操作感)进行评价。于是，操作员对输入部4c进行操作，来调节权重变更条件D13，以使评价增高。即操作员以评价增高的方式，来调节权重Wp的变更条件。

详细而言，操作员参照式(20)，以评价函数的值尽可能地增大的方式，对输入部4c进行操作，来调节权重变更条件D13(权重Wp的变更条件)。换而言之，操作员以评价函数的值成为局部最优解的方式，来调节权重变更条件D13(权重Wp的变更条件)。

以上参照图2至图10，对作为本实施方式的控制系统100的一个例子的机器人控制系统100A进行了说明。通过本实施方式，能够对随意控制与自主控制进行协调。这样，机械臂2A(操作对象2)的动作不容易成为与用户P的意图不同的动作。例如，在使机械臂2A夹持物体ST的情况下，由于是手腕部25离物体ST越远则权重Wp的值就越大，因此是随意控制为主导，机械臂2A按照用户P的意图来动作。于是，在手腕部25越接近物体ST时则权重Wp的值就越小，从而随意控制的比例逐渐变小。即使在这个阶段，由于随意控制的比例不是0，因此在机械臂2A(操作对象2)的动作脱离用户P的意图的情况下，用户P能够通过脑波来修正机械臂2A(操作对象2)的动作。尤其是通过本实施方式，能够将用户P的意图反映到权重Wp。因此，能够通过用户P的脑波，更确实地修正机械臂2A(操作对象2)的动作。当夹持部26移动到物体ST的附近(例如，与物体ST相距30cm的范围)时，自主控制成为主导。这样，能够以更高的精度来控制机械臂2A，使机械臂2A夹持物体ST。

并且通过本实施方式，能够根据控制性能以及操作感，以评价函数尽可能地增大的方式来调节权重Wp的变更条件。这样，使机械臂2A(操作对象2)进行更接近于用户P的意图的行动、以及用户P进行操作的难易度能够得到协调。因此，机器人控制系统100A(控制系统100)的便利性提高。

另外，在参照图2至图10来说明的机器人控制系统100A中，第1处理部52虽然是通过多变量分析来从脑波获得用户P的意图的，第1处理部52也可以将脑波信号进行图像化，通过图像认知来获得用户P的意图。具体而言，第1存储部51对以基于脑波的图像来估计用户P的意图的方式而被训练的图像认知用的机器学习模型进行存储，第1处理部52可以通过将脑波的图像输入到图像认知用的机器学习模型，来获得用户P的意图。

[交流系统100B]

接着，参照图11至图24对作为本实施方式的控制系统100的一个例子的交流系统100B进行说明。但是，在此对与参照图1至图10所说明的事项不同的事项进行说明，对于与参照图1至图10所说明的事项相同的事项将适宜地省略说明。

图11是示出作为本实施方式的控制系统100的一个例子的交流系统100B的构成的方框图。图12示出了由交流系统100B控制的二维虚拟形象2B。交流系统100B的操作对象2是二维虚拟形象2B。交流系统100B对二维虚拟形象2B(操作对象2)的行动进行控制。在由交流系统100B控制的二维虚拟形象2B(操作对象2)的行动中包括由二维虚拟形象2B进行的讲话、以及由二维虚拟形象2B进行的肢体语言。

如图11所示，交流系统100B具备：二维虚拟形象2B、检测部3B、控制部4B、意图检测部5B、脑波检测设备6。

交流系统100B具有根据用户P的脑波来控制二维虚拟形象2B的讲话内容的功能。即交流系统100B进行随意控制。具体而言，交流系统100B可以包括BMI。在此，用户P是对二维虚拟形象2B进行操作的操作者。

并且，交流系统100B具有自主地生成二维虚拟形象2B的讲话内容的候选的功能。即交流系统100B进行自主控制。参照图11至图24来说明的交流系统100B还具有自主地决定二维虚拟形象2B的肢体语言的功能。

检测部3B对二维虚拟形象2B的自主控制所涉及的检测对象进行检测。具体而言，检测部3B具有摄像设备31B以及收音器32B。

摄像设备31B对作为二维虚拟形象2B的讲话的对方的讲话对方的脸部进行拍摄。摄像设备31B例如可以包括摄像机或网络摄像机。在参照图11至图24来说明的交流系统100B中，在操作对象2(二维虚拟形象2B)的自主控制所涉及的检测对象中包括讲话对方的表情。

摄像设备31B将拍摄的动态图像(摄像数据)发送给控制部4B。具体而言，摄像设备31B将映现了讲话对方的脸部的摄像数据(动态图像)发送给控制部4B。

收音器32B收集声音并生成声音数据。收音器32B例如具有麦克风。具体而言，收音器32B对从二维虚拟形象2B的讲话对方发出的声音进行收集。换而言之，收音器32B对讲话对方的讲话进行检测。在参照图11至图24来说明的交流系统100B中，在操作对象2(二维虚拟形象2B)的自主控制所涉及的检测对象中包括讲话对方的讲话。

收音器32B将声音数据发送给控制部4B。声音数据示出由收音器32B收集的声音。具体而言，声音数据示出由讲话对方进行的讲话。

另外也可以是，检测部3B(摄像设备31B以及收音器32B)与控制部4B进行通信。例如，检测部3B(摄像设备31B以及收音器32B)与控制部4B可以通过LAN或无线LAN来进行通信。或者，检测部3B(摄像设备31B以及收音器32B)与控制部4B可以通过互联网线路这种公用的线路网来进行通信。

控制部4B根据摄像设备31B的输出、收音器32B的输出、意图检测部5B的输出，对二维虚拟形象2B的讲话进行控制。具体而言，控制部4B决定使二维虚拟形象2B讲话的下一个内容。二维虚拟形象2B的下一个讲话是“操作对象2的下一个行动”的一个例子。

详细而言，控制部4B自主地生成示出二维虚拟形象2B的下一个讲话内容的候选的文章ASE(自主控制)。即控制部4B通过自主控制来生成文章ASE。在文章ASE中包括空白。即控制部4B通过自主控制来生成留有空白的文章ASE。控制部4B根据来自意图检测部5B的输入，来决定二维虚拟形象2B的下一个讲话内容的剩余的部分(文章ASE的空白部分的讲话内容)。换而言之，控制部4B根据用户P的脑波，来决定二维虚拟形象2B的下一个讲话内容的剩余的部分。这样，示出二维虚拟形象2B的下一个讲话内容的文章CSE完成。控制部4B根据完成的文章CSE，来使二维虚拟形象2B讲话。

根据讲话对方的讲话内容，在决定了多个二维虚拟形象2B的下一个讲话内容的候选(文章ASE)的情况下，控制部4B根据来自意图检测部5B的输入，来决定多个候选中的一个候选。即控制部4B根据用户P的脑波，来决定多个候选中的一个候选。

意图检测部5B与脑波检测设备6之间进行无线通信，从脑波检测设备6获得用户P的脑波。于是，意图检测部5B根据用户P的脑波，使控制部4B决定二维虚拟形象2B的下一个讲话内容的剩余的部分(文章ASE的空白部分的讲话内容)。这样，二维虚拟形象2B的下一个讲话内容的一部分被随意地控制。因此，在二维虚拟形象2B的下一个讲话内容中能够包括用户P想要进行的内容。

根据讲话对方的讲话内容，在决定了多个二维虚拟形象2B的下一个讲话内容的候选的情况下，意图检测部5B根据用户P的脑波，使控制部4B选择多个候选中的一个候选。这样，二维虚拟形象2B的下一个讲话内容的候选被随意地决定。

对控制部4B进一步进行说明。如图11所示，控制部4B包括环境认知部41B和协调控制部42B。环境认知部41B根据检测部3B的检测结果，来认知二维虚拟形象2B的周围的环境。详细而言，作为二维虚拟形象2B的周围的环境，环境认知部41B对讲话对方的讲话内容的意思以及讲话对方的感情进行认知。具体而言，环境认知部41B包括：声音处理部411、意思判断部412、第1感情判断部413。

声音处理部411根据从收音器32B接收的声音数据，来提取讲话对方的讲话内容。意思判断部412对由声音处理部411提取的讲话内容的意思进行确定。

进一步，意思判断部412根据讲话对方的讲话内容的意思，来判断针对讲话对方的讲话内容的答复中是否包括应该任意输入的内容。

第1感情判断部413对从摄像设备31B接收的摄像数据(映现了讲话对方的脸部的动态图像)进行分析，从讲话对方的表情来判断讲话对方的感情。例如，第1感情判断部413可以从讲话对方的表情来判断讲话对方是平静、发愁、还是生气等。

协调控制部42B根据摄像设备31B的输出(摄像数据)以及收音器32B的输出(声音数据)，来自主地决定二维虚拟形象2B的下一个讲话内容的候选(文章ASE)。并且，协调控制部42B根据用户P的脑波，对文章ASE的空白部分的讲话内容(二维虚拟形象2B的下一个讲话内容的一部分)进行随意地决定。于是，协调控制部42B使通过自主控制决定的讲话内容的候选(留有空白的文章ASE)、与通过随意控制决定的讲话内容的一部分(空白部分的讲话内容)相协调，以使文章CSE完成，从而对二维虚拟形象2B的讲话进行控制。

在参照图11至图24来说明的交流系统100B中，自主动作决定部44B根据检测部3B的输出，来自主地决定二维虚拟形象2B的下一个讲话内容的候选(文章ASE)(自主控制)。具体而言，自主动作决定部44B根据环境认知部41B的输出，自主地决定二维虚拟形象2B的下一个讲话内容的候选。即自主动作决定部44B根据讲话对方的讲话内容的意思以及讲话对方的感情，通过自主控制来生成二维虚拟形象2B的下一个讲话内容的候选。

随意动作决定部43B根据用户P的脑波，来决定二维虚拟形象2B的下一个讲话内容的一部分(随意控制)。具体而言，随意动作决定部43B根据来自意图检测部5B的输入，来决定文章ASE的空白部分的讲话内容。这样，二维虚拟形象2B的下一个讲话内容的一部分被随意地决定。进一步，随意动作决定部43B根据用户P的脑波，来决定(选择)多个讲话内容的候选中的一个候选(随意控制)。具体而言，随意动作决定部43B根据来自意图检测部5B的输入，来决定(选择)多个讲话内容的候选中的一个候选。

权重决定部45B根据环境认知部41B的输出，来决定针对随意控制的权重和针对自主控制的权重。即权重决定部45B根据由环境认知部41B认知的讲话对方的讲话内容的意思以及讲话对方的感情，来决定针对随意控制的权重和针对自主控制的权重。以下会有将针对随意控制的权重记作“第1权重”的情况。同样，会有将针对自主控制的权重记作“第2权重”的情况。

通过第1权重来决定基于随意控制的二维虚拟形象2B的下一个讲话内容的比例。并且，通过第2权重来决定基于自主控制的二维虚拟形象2B的下一个讲话内容的比例。具体而言，通过第1权重，来决定二维虚拟形象2B的下一个讲话内容中的由随意控制生成的部分的文字数的比例。例如，通过第1权重，来决定文章ASE中包括的空白的数量。并且，通过第2权重，来决定二维虚拟形象2B的下一个讲话内容中的由自主控制生成的部分的文字数的比例。例如，通过第2权重来决定文章ASE中的空白以外的部分的文字数。

权重决定部45B按照讲话对方的讲话内容的意思，来使第1权重以及第2权重的各个值发生动态的变化。具体而言，权重决定部45B可以在针对讲话对方的讲话的答复中，能够估计的部分的比例越大，就使第1权重减小、使第2权重增大。

以下会有将通过随意控制决定的讲话内容记作“基于随意控制的讲话部分”的情况。同样，会有将通过自主控制决定的讲话内容记作“基于自主控制的讲话部分”的情况。

在参照图11至图24来说明的交流系统100B中，权重决定部45B进一步根据意图检测部5B的输出，在基于随意控制的讲话部分(文章ASE的空白部分的讲话内容)的制作过程中使第1权重以及第2权重的各个值发生动态的变化。详细而言，权重决定部45B在根据意图检测部5B的输出来决定基于随意控制的讲话部分的一部分(文章ASE的空白的一部分的讲话内容)的情况下，使第1权重以及第2权重的各个值发生动态的变化。具体而言，权重决定部45B当文章ASE的空白的一部分的讲话内容被决定时，使第1权重减小、使第2权重增大。这样，新的留有空白的文章ASE被生成。在新的文章ASE中，基于自主控制的讲话部分的量增加、空白的数量减少。

指示部46B向二维虚拟形象2B指示下一个行动。具体而言，指示部46B使基于随意控制的讲话部分与基于自主控制的讲话部分相协调，向二维虚拟形象2B指示下一个讲话内容。详细而言，指示部46B将示出基于随意控制的讲话部分的文字嵌入到由自主控制生成的文章ASE的空白部分，来生成示出二维虚拟形象2B的下一个讲话内容的文章CSE。于是，指示部46B根据完成的文章CSE来使二维虚拟形象2B讲话。这样，指示部46B向二维虚拟形象2B指示的行动，成为通过第1权重以及第2权重而自主动作与随意动作得到了协调的行动。即，针对二维虚拟形象2B的下一个讲话的随意控制与自主控制得到协调。

另外，指示部46B在作为二维虚拟形象2B的下一个讲话内容而决定了套话TSE的情况下，则根据套话TSE来向二维虚拟形象2B指示下一个讲话内容。即指示部46B使二维虚拟形象2B说套话TSE。

接着，参照图13对随意动作决定部43B进行说明。图13示出了交流系统100B中包括的随意动作决定部43B。如图13所示，随意动作决定部43B包括文字输入部432和文章选择部434。

文字输入部432根据意图检测部5B的输出，来决定输入到文章ASE的空白部分的文字。即文字输入部432根据用户P的脑波，来决定输入到文章ASE的空白部分的文字。

文章选择部434在通过自主控制而生成了多个文章ASE(多个讲话内容的候选)的情况下，根据意图检测部5B的输出，来选择(决定)多个文章ASE中的一个文章ASE。并且，文章选择部434根据意图检测部5B的输出，来选择(决定)多个套话TSE(多个讲话内容的候选)中的一个套话TSE。

接着，参照图14对自主动作决定部44B进行说明。图14示出了交流系统100B中包括的自主动作决定部44B。如图14所示，自主动作决定部44B包括：文章预测部442、第2感情判断部444、肢体语言决定部446。

文章预测部442根据环境认知部41B的输出，来决定基于自主控制的讲话部分。具体而言，文章预测部442根据讲话对方的讲话内容的意思以及讲话对方的表情(感情)，来自主地决定二维虚拟形象2B的下一个讲话内容的候选。

详细而言，文章预测部442根据图11所示的意思判断部412所判断的讲话对方的讲话内容的意思、与图11所示的第1感情判断部413所判断的讲话对方的感情，通过自主控制来决定二维虚拟形象2B的下一个讲话内容(基于自主控制的讲话部分)。

更详细而言，文章预测部442根据讲话对方的讲话内容的意思、讲话对方的感情、由权重决定部45B决定的第1权重以及第2权重，至少决定一个示出二维虚拟形象2B的下一个讲话内容的候选的文章ASE。如已经进行的说明那样，示出由自主控制生成的讲话内容的文章ASE中包括空白。换而言之，文章预测部442生成留有空白的文章ASE。空白是嵌入基于随意控制的讲话内容的部分。具体而言，文章预测部442根据第1权重和第2权重，来决定空白部分(基于随意控制的讲话部分)的比例、以及自主生成文字的部分(基于自主控制的讲话部分)的比例，并根据这些比例来生成留有空白的文章ASE。

例如，在第1权重的值比第2权重的值大时，文章ASE全体中空白部分的文字数比自主生成的文字数多。相反，在第1权重的值比第2权重的值小时，文章ASE全体的空白部分的文字数比自主生成的文字数少。即，在第1权重的值越大时，文章ASE全体中的空白部分的文字数就变得越多。相反，在第1权重的值越小时，文章ASE全体中的空白部分的文字数就变得越少。

另外，文章预测部442将作为给讲话对方的答复而不能预测的部分视为空白。进一步，文章预测部442可以向自主生成的各文字赋予示出概率的值。在此，概率表示作为给讲话对方的答复的恰当的程度。文章预测部442可以根据第1权重以及第2权重，以从示出概率的值低的文字开始依次视为空白。

第2感情判断部444对二维虚拟形象2B的下一个讲话内容进行分析，来判断用户P的感情。具体而言，第2感情判断部444对由指示部46B生成的文章CSE、或通过随意控制决定的套话TSE进行分析，来判断用户P的感情。

肢体语言决定部446决定二维虚拟形象2B的肢体语言。具体而言，肢体语言决定部446按照由第2感情判断部444判断的用户P的感情，来决定二维虚拟形象2B的肢体语言。例如，肢体语言决定部446可以判断用户P针对讲话对方是否温和地进行了答复、对于讲话对方的讲话内容是否困惑、对于讲话对方的讲话内容是否生气。肢体语言决定部446按照用户P针对讲话对方是否温和地进行了答复、对于讲话对方的讲话内容是否困惑、对于讲话对方的讲话内容是否生气等，来决定不同的肢体语言。

指示部46B根据由肢体语言决定部446决定的肢体语言，来控制二维虚拟形象2B的肢体语言。

接着，参照图12以及图15对交流系统100B中包括的虚拟形象系统7进行说明。图15示出了交流系统100B中包括的虚拟形象系统7。如图15所示，交流系统100B进一步具备虚拟形象系统7。虚拟形象系统7是显示二维虚拟形象2B并使二维虚拟形象2B讲话的系统。虚拟形象系统7具有：通信部71、虚拟形象显示部72、声音输出部73、存储部74、系统处理部75。

通信部71由系统处理部75控制，与控制部4B之间进行通信。具体而言，通信部71从控制部4B接收示出使二维虚拟形象2B讲话的内容的数据。详细而言，通信部71接收示出由协调控制部42B生成的文章CSE的数据、或接收示出由协调控制部42B决定的套话TSE的数据。文章CSE以及套话TSE示出二维虚拟形象2B的下一个讲话内容。通信部71进一步从控制部4B接收示出肢体语言的数据。通信部71例如可以经由LAN或无线LAN来与控制部4B进行通信。或者，通信部71可以经由互联网线路这种公用的线路网，与控制部4B之间进行通信。通信部71例如可以包括LAN端口或LAN模块。

虚拟形象显示部72由系统处理部75控制，来显示二维虚拟形象2B(参照图12)。虚拟形象显示部72例如包括液晶显示器或有机EL(electro luminescence：电致发光)显示器。系统处理部75生成二维虚拟形象2B的图像，并使虚拟形象显示部72显示二维虚拟形象2B。

声音输出部73由系统处理部75控制，从而输出声音。具体而言，系统处理部75根据从控制部4B接收的数据，使二维虚拟形象2B的下一个讲话从声音输出部73输出。详细而言，系统处理部75基于示出文章CSE或套话TSE的数据来生成声音数据，使声音从声音输出部73输出。据此，二维虚拟形象2B进行讲话。声音输出部73例如具有扬声器。

系统处理部75在二维虚拟形象2B进行下一个讲话时，使二维虚拟形象2B进行参照图14所说明的肢体语言决定部446决定的肢体语言。具体而言，系统处理部75生成进行由参照图14说明的肢体语言决定部446决定的肢体语言的二维虚拟形象2B的图像。

存储部74对各种计算机程序以及各种数据进行存储。存储部74例如具有半导体存储器。半导体存储器例如包括RAM以及ROM。半导体存储器可以包括闪存、EPROM、或EEPROM，还可以包括VRAM。存储部74包括HDD或SSD，也可以包括可移动介质。

系统处理部75通过执行存储部74中存储的计算机程序，来控制虚拟形象系统7的各个部的动作。系统处理部75例如可以包括CPU或MPU。系统处理部75还可以包括GPU。

接着，参照图16对交流系统100B中包括的意图检测部5B进行说明。图16是示出交流系统100B中包括的意图检测部5B的构成的方框图。如图16所示，意图检测部5B与参照图7所说明的意图检测部5A同样，具有：第1存储部51、第1处理部52、无线通信部53。

在参照图11至图24来说明的交流系统100B中，第1存储部51对第1机器学习模型D2进行存储。第1机器学习模型D2是对脑波进行分析来估计用户P的意图的计算机程序。具体而言，第1机器学习模型D2通过对脑波进行分析来估计针对控制部4B的输入，从而被训练。第1处理部52将示出由第1机器学习模型D2估计的输入内容的数据输出到控制部4B。

另外，第1处理部52与参照图7说明的第1处理部52同样，对示出脑波的电信号进行带通滤波处理，将带通滤波处理后的脑波的数据输入到第1机器学习模型D2。

第1机器学习模型D2也可以进行基于支持向量回归的分析。不过用于构筑第1机器学习模型D2的机器学习算法并非受限于支持向量回归。用于构筑第1机器学习模型D2的机器学习算法例如可以是决策树、最近邻算法、朴素贝叶斯分类器、或神经网络。在机器学习中也可以利用误差反向传播法。

接着，参照图17以及图18对交流系统100B中包括的控制部4B进行说明。图17是示出交流系统100B中包括的控制部4B的硬件的方框图。如图17所示，控制部4B具有：第2存储部81、显示部82、通信部84、第2处理部85。图18示出了交流系统100B中包括的控制部4B的第2存储部81中存储的计算机程序以及数据。控制部4B例如可以是个人计算机。

第2存储部81对各种计算机程序以及各种数据进行存储。第2存储部81例如具有半导体存储器。半导体存储器例如包括RAM以及ROM。半导体存储器可以包括闪存、EPROM、或EEPROM，还可以包括VRAM。第2存储部81可以进一步包括HDD或SSD，也可以包括可移动介质。

显示部82显示由第2处理部85控制的各种画面GA。显示部82例如包括液晶显示器或有机EL显示器。各种画面GA包括参照图19至图23说明的第1画面GA1至第6画面GA6。

通信部84由第2处理部85控制，与虚拟形象系统7的通信部71(参照图15)之间进行通信。通信部84将示出二维虚拟形象2B的下一个讲话内容的文章数据发送给虚拟形象系统7。并且，通信部84在二维虚拟形象2B进行下一个讲话时，将示出由二维虚拟形象2B进行的肢体语言的数据发送给虚拟形象系统7。通信部84例如可以包括LAN端口或LAN模块。

第2处理部85通过执行第2存储部81中存储的计算机程序，来进行数值计算或信息处理等各种处理。第2处理部85例如可以包括CPU或MPU。第2处理部85可以进一步包括GPU，还可以包括NPU。或者，第2处理部85可以包括量子计算机。

具体而言，第2处理部85通过执行第2存储部81中存储的计算机程序，从而作为参照图11、图13、以及图14说明的声音处理部411、意思判断部412、第1感情判断部413、权重决定部45B、指示部46B、文字输入部432、文章选择部434、文章预测部442、第2感情判断部444、以及肢体语言决定部446来发挥作用。详细而言，如图18所示，第2存储部81对第2机器学习模型D21至第7机器学习模型D26进行存储。

第2机器学习模型D21通过对声音数据进行分析并提取讲话内容而被训练。例如，第2机器学习模型D21可以通过将声音数据变换为多维向量而被训练。第2处理部85在作为声音处理部411来发挥作用时，将从检测部3B(收音器32B)接收的声音数据(讲话对方的声音)输入到第2机器学习模型D21。这样，示出讲话对方的讲话内容的数据从第2机器学习模型D21被输出到第2处理部85。

第3机器学习模型D22通过对讲话对方的讲话内容的意思进行判断而被训练。例如，第3机器学习模型D22可以通过基于多维向量对意思进行判断来训练。进一步，第3机器学习模型D22通过根据讲话对方的讲话内容的意思来判断针对讲话对方的讲话内容是否能够以套话TSE来答复而被训练。例如，在第3机器学习模型D22的训练时，可以使用设想的讲话对方的讲话内容的意思以及示出是否能够通过套话TSE来答复的数据。即第3机器学习模型D22的训练数据中可以包括将讲话对方的讲话内容的意思与示出是否能够通过套话TSE来答复的数据进行了组合的数据。

第2处理部85在作为意思判断部412来发挥作用时，将示出通过第2机器学习模型D21提取的讲话内容的数据输入到第3机器学习模型D22。这样，示出讲话对方的讲话内容的意思的数据、以及示出针对讲话对方的讲话内容是否能够以套话TSE来答复的判断结果从第3机器学习模型D22被输出到第2处理部85。

第4机器学习模型D23通过对摄像数据进行分析并基于讲话对方的表情来判断讲话对方的感情而被训练。第2处理部85在作为第1感情判断部413来发挥作用时，将接收的摄像数据(映现了讲话对方的脸部的动态图像)从检测部3B(摄像设备31B)输入到第4机器学习模型D23。这样，示出讲话对方的感情的数据从第4机器学习模型D23被输出到第2处理部85。

第5机器学习模型D24通过对讲话对方的讲话内容的意思以及讲话对方的感情进行分析并决定第1权重以及第2权重的各个值而被训练。例如，可以根据设想的讲话对方的讲话内容的意思、设想的讲话对方的感情、作为给讲话对方的答复而设想的讲话内容的文字数、以及在该答复的讲话内容中将要任意地输入的文字的数量，来制作第5机器学习模型D24的训练时所使用的训练数据。

第2处理部85在作为权重决定部45B来发挥作用时，将示出通过第3机器学习模型D22来判断的讲话内容的意思的数据、以及示出通过第4机器学习模型D23来判断的讲话对方的感情的数据输入到第5机器学习模型D24。这样，示出第1权重以及第2权重的各个值的数据从第5机器学习模型D24被输出到第2处理部85。

进一步，第5机器学习模型D24在从意图检测部5B输入的数据表示对文章ASE的空白的一部分的讲话内容进行决定的情况下，通过使第1权重减小且使第2权重增大而被训练。第2处理部85在基于随意控制的讲话部分(文章ASE的空白部分的讲话内容)的制作中，将从意图检测部5B输入的数据，输入到第5机器学习模型D24。这样，第1权重以及第2权重的各个值发生动态的变化。

另外，第5机器学习模型D24可以通过对讲话对方的讲话内容的意思以及讲话对方的感情进行分析并决定第1权重的值而被训练。在这种情况下，第2处理部85例如可以根据以下的式(23)来决定第2权重的值。

第2权重=1-第1权重 ···(23)

第6机器学习模型D25通过基于讲话对方的讲话内容的意思以及讲话对方的感情来预测针对讲话对方的答复而被训练。在第6机器学习模型D25的训练时使用的训练数据是将设想的讲话对方的讲话内容的意思、设想的讲话对方的感情、设想的二维虚拟形象2B的下一个讲话内容(针对讲话对方的答复的内容)、以及按照答复的内容而决定的第1权重和第2权重的各个值进行了组合的数据。

第2处理部85在作为文章预测部442来发挥作用时，将示出通过第3机器学习模型D22判断的讲话内容的意思的数据、示出通过第4机器学习模型D23判断的讲话对方的感情的数据、通过第5机器学习模型D24决定的第1权重以及第2权重的各个值输入到第6机器学习模型D25。这样，二维虚拟形象2B的下一个讲话内容的候选(示出文章ASE的数据)从第6机器学习模型D25被输出到第2处理部85。

第7机器学习模型D26通过基于二维虚拟形象2B的下一个讲话内容来判断用户P的感情而被训练。第2处理部85在作为第2感情判断部444来发挥作用时，将示出二维虚拟形象2B的下一个讲话内容的数据输入到第7机器学习模型D26。这样，示出用户P的感情的数据从第7机器学习模型D26被输出到第2处理部85。

用于构筑第2机器学习模型D21至第7机器学习模型D26的机器学习算法没有特殊的限定，例如可以是决策树、最近邻算法、朴素贝叶斯分类器、支持向量机、或神经网络。机器学习中也可以利用误差反向传播法。另外，用于构筑第2机器学习模型D21的机器学习算法也可以是Transformer。Transformer是深度学习模型。

接着，参照图17以及图18对控制部4B进一步进行说明。如图18所示，第2存储部81还对套话数据D27以及肢体语言数据D28进行存储。

套话数据D27示出各种套话TSE。具体而言，套话数据D27可以示出“早上好”、“你好”、“晚上好”、“欢迎光临”、“有什么我可以帮您的吗”等。第2处理部85在通过第3机器学习模型D22判断为能够用套话TSE来答复讲话对方的讲话内容的情况下，参照套话数据D27来使显示部82显示套话TSE的一览。

肢体语言数据D28示出各种肢体语言。各种肢体语言中包括与各种感情对应的肢体语言。例如，肢体语言数据D28可以示出适于温和地答复讲话对方的情况的肢体语言、适于针对讲话对方的讲话内容感到困惑的情况的肢体语言、适于针对讲话对方的讲话内容感到气愤的情况的肢体语言。第2处理部85在作为肢体语言决定部446来发挥作用时，根据来自第7机器学习模型D26的输出，从肢体语言数据D28中决定表现了用户P的感情的肢体语言。

接着，参照图17至图19对用户P控制二维虚拟形象2B时的交流系统100B的动作进行说明。图19的(a)至图19的(c)示出了在使用套话TSE来使二维虚拟形象2B讲话时在显示部82显示的画面GA。详细而言，图19的(a)以及图19的(b)示出了在选择套话TSE时被显示在显示部82的画面GA。图19的(c)示出了在决定是否确定二维虚拟形象2B的下一个讲话内容时被显示在显示部82的画面GA。

如图19的(a)所示，在使用套话TSE来使二维虚拟形象2B讲话时，第2处理部85参照套话数据D27，使显示部82显示示出套话TSE的一览的画面GA(第1画面GA1)。图19的(a)举例示出了5个套话TSE1至TSE5在纵方向上排列的第1画面GA1。另外，“x”表示文字。

第2处理部85还使第1光标CA1显示在第1画面GA1。第1光标CA1是选择文章的光标。第1光标CA1也可以圈围多个套话TSE中的一个套话TSE。图19的(a)举例示出了选择了5个套话TSE1至TSE5中的套话TSE1的第1光标CA1。在这种情况下，第1光标CA1可以圈围套话TSE1。

如图19的(a)以及图19的(b)所示，第2处理部85使第1光标CA1在套话TSE排列的方向上移动。例如，第2处理部85使第1光标CA1在纵方向上移动。这样，由第1光标CA1选择的套话TSE随着时间的经过来变化。

在第1画面GA1的显示中，意图检测部5B(第1处理部52)以及控制部4B(第2处理部85)根据用户P的脑波，来选择多个套话TSE中的一个套话TSE。具体而言，用户P以想使二维虚拟形象2B讲话的内容的套话TSE由第1光标CA1选择了的定时，在脑中考虑第1动作。

第1动作示出用户P的动作。用户P在脑中考虑的第1动作只要是能够从脑波检测出动作就没有特殊的限定。例如，第1动作可以是用户P举手的动作、或可以是用户P活动手指的动作。第1动作可以被任意决定。意图检测部5B的第1存储部51(图16参照)中预先存储有第1动作与第1光标CA1的停止建立了关联的数据。

意图检测部5B(第1处理部52)在用户P的脑波示出第1动作的情况下，生成使第1光标CA1的移动停止的指令并发送给控制部4B。这样，第2处理部85使第1光标CA1停止。如图19的(c)所示，第2处理部85当使第1光标CA1停止时，使显示部82显示第2画面GA2。

第2画面GA2显示根据用户P的脑波而选择的套话TSE。第2画面GA2进一步显示第1按钮SB1、第2按钮SB2、以及第2光标CA2。图19的(c)举例示出了根据用户P的脑波而选择了套话TSE3的情况。

第1按钮SB1是用于确定二维虚拟形象2B的下一个讲话内容的软件按钮。第2按钮SB2是用于解除套话TSE的选择的软件按钮。换而言之，第2按钮SB2是取消按钮。第2光标CA2可以圈围第1按钮SB1以及第2按钮SB2中的一方。

第2处理部85使第2光标CA2在第1按钮SB1以及第2按钮SB2排列的方向上移动。这样，由第2光标CA2选择的软件按钮在第1按钮SB1与第2按钮SB2之间随着时间的经过来变化。

在对套话TSE的内容进行确定的情况下，意图检测部5B(第1处理部52)以及控制部4B(第2处理部85)在第2画面GA2的显示状态下，根据用户P的脑波来按下第1按钮SB1。

具体而言，用户P在以第2画面GA2上显示的套话TSE的内容来确定二维虚拟形象2B的下一个讲话内容的情况下，以由第2光标CA2选择了第1按钮SB1的定时在脑中考虑第2动作。

第2动作示出用户P的动作。用户P脑中考虑的第2动作只要是能够从脑波中检测到的动作，就没有特殊的限定。第2动作可以任意地决定。第2动作可以是与第1动作相同的动作，也可以是与第1动作不同的动作。

在意图检测部5B的第1存储部51(图16参照)中预先存储对第2动作与第2光标CA2的停止建立关联的数据。意图检测部5B(第1处理部52)在用户P的脑波示出第2动作的情况下，生成使第2光标CA2的移动停止的指令并发送到控制部4B。这样，第2处理部85按下第1按钮SB1来确定套话TSE的内容。即第2处理部85按下由第2光标CA2选择的软件按钮。

在取消套话TSE的选择的情况下，意图检测部5B(第1处理部52)以及控制部4B(第2处理部85)在第2画面GA2的显示状态下，根据用户P的脑波来按下第2按钮SB2。

具体而言，用户P在将二维虚拟形象2B的下一个讲话内容变更为与第2画面GA2中正在显示的套话TSE的内容不同的内容的情况下，以由第2光标CA2选择了第2按钮SB2的定时，在脑中考虑第2动作。这样，第2处理部85按下第2按钮SB2来解除套话TSE的选择。第2处理部85当按下第2按钮SB2时，使显示部82再次显示第1画面GA1。

接着，参照图17、图18、以及图20至图23对通过随意控制和自主控制来确定二维虚拟形象2B的下一个讲话内容时的交流系统100B的动作进行说明。图20的(a)至图20的(c)示出了在从二维虚拟形象2B的下一个讲话内容的候选(多个文章ASE)中选择一个候选时由显示部82显示的画面GA。图21的(a)、图21的(b)、图22的(a)以及图22的(b)示出了在用户P输入任意的文字时由显示部82显示的画面GA。图23示出了在决定是否确定二维虚拟形象2B的下一个讲话内容时由显示部82显示的画面GA。

如图20的(a)所示，第2处理部85在自主地生成二维虚拟形象2B的下一个讲话内容的候选(多个文章ASE)时，使显示部82显示示出讲话内容的候选(文章ASE)的一览的画面GA(第3画面GA3)。图20的(a)举例示出了5个候选(文章ASE11至文章ASE15)在纵方向上排列的第3画面GA3。如已经进行的说明那样，文章ASE中包括空白。在图20的(a)至图20的(c)中，以“〇”表示的部分为空白。另外，“x”表示文字。

第2处理部85进一步使第1光标CA1显示在第3画面GA3。第3画面GA3中的第1光标CA1选择讲话内容的候选(文章ASE)。第1光标CA1可以圈围多个候选(文章ASE)中的一个候选(文章ASE)。

如图20的(a)以及图20的(b)所示，第2处理部85使第1光标CA1在讲话内容的候选(文章ASE)排列的方向上移动。这样，由第1光标CA1选择的候補(文章ASE)随着时间来变化。

与根据用户P的脑波来选择套话TSE时同样，意图检测部5B(第1处理部52)以及控制部4B(第2处理部85)在第3画面GA3的显示状态下，根据用户P的脑波来选择多个候选(文章ASE)中的一个候选(文章ASE)。这样，如图20的(c)所示，第2处理部85使显示部82显示第4画面GA4。

第4画面GA4在第3画面GA3的显示状态下，显示根据用户P的脑波而选择的讲话内容的候选(文章ASE)。第4画面GA4与参照图19的(c)而说明的第2画面GA2同样，还显示第1按钮SB1、第2按钮SB、以及第2光标CA2。图20的(c)举例示出了根据用户P的脑波来选择文章ASE13的情况。

与套话TSE的情况同样，在第4画面GA4的显示状态下，当根据用户P的脑波而第1按钮SB1被按下时，讲话内容的候选(文章ASE)被确定。并且，在第4画面GA4的显示状态下，当根据用户P的脑波而第2按钮SB2被按下时，讲话内容的候选(文章ASE)的选择被取消。第2处理部85在按下第2按钮SB2时，使显示部82再次显示第3画面GA3。

第2处理部85当讲话内容的候选(文章ASE)被确定时，如图21的(a)所示，使显示部82显示第5画面GA5。第5画面GA5显示日语五十音图JS和第3光标CA3。

第3光标CA3是选择日语五十音图JS中包括的多个行中的一行的光标。第3光标CA3可以圈围日语五十音图JS中包括的多个行中的一行。图21的(a)举例示出了选择了日语五十音图JS的“あ行”的第3光标CA3。在这种情况下，第3光标CA3可以圈围“あ行”。

如图21的(a)以及图21的(b)所示，第2处理部85使第3光标CA3在日语五十音图JS中包括的多个行排列的方向上移动。例如，第2处理部85使第3光标CA3在横方向上移动。这样，由第3光标CA3选择的行随着时间的经过来变化。

在第3光标CA3的显示状态下，意图检测部5B(第1处理部52)以及控制部4B(第2处理部85)根据用户P的脑波来选择日语五十音图JS中包括的多个行中的一行。例如，用户P在选择“な”行时，以由第3光标CA3选择了“な”行的定时，在脑中考虑第3动作。

第3动作示出用户P的动作。用户P在脑中考虑的第3动作只要是能够从脑波中检测到的动作，就没有特殊的限定。第3动作可以任意地决定。第3动作可以是与第1动作或第2动作为相同的动作，也可以是与第1动作以及第2动作不同的动作。

在意图检测部5B的第1存储部51(图16参照)中预先存储对第3动作与第3光标CA3的停止建立关联的数据。意图检测部5B(第1处理部52)在用户P的脑波示出第3动作的情况下，生成使第3光标CA3的移动停止的指令并发送到控制部4B。这样，第2处理部85使第3光标CA3停止。

如图22的(a)所示，第2处理部85在使第3光标CA3停止后，替代第3光标CA3而使第4光标CA4显示在第5画面GA5。

第4光标CA4是选择日语五十音图JS中包括的各文字中的一个文字的光标。第4光标CA4可以圈围日语五十音图JS中包括的多个文字中的一个文字。图22的(a)举例示出了选择了文字“な”的第4光标CA4。在这种情况下，第4光标CA4可以圈围文字“な”。

如图22的(a)以及图22的(b)所示，第2处理部85使第4光标CA4在日语五十音图JS中包括的多个段(列)排列的方向上移动。例如，第2处理部85时第4光标CA4在纵方向上移动。详细而言，第2处理部85使第4光标CA4移动，以使其依次选择根据用户P的脑波而选择的行中包括的各文字。例如，在根据用户P的脑波而“な”行被选择了的情况下，“な”行中包括的各文字由第4光标CA4被依次选择。

在第4光标CA4的显示状态下，意图检测部5B(第1处理部52)以及控制部4B(第2处理部85)根据用户P的脑波来选择日语五十音图JS中包括的多个文字中的一个文字。例如，用户P在选择“な”行中包括的文字“ね”的情况下，以由第4光标CA4选择了文字“ね”的定时，在脑中考虑第4动作。

第4动作示出用户P的动作。用户P在脑中考虑的第4动作只要是能够从脑波中检测到的动作，就没有特殊的限定。第4动作可以任意地决定。第4动作可以是与第1动作、第2动作或第3动作相同的动作，也可以是与第1动作、第2动作以及第3动作的任一个都不同的动作。

在意图检测部5B的第1存储部51(参照图16)中预先存储对第4动作与第4光标CA4的停止建立关联的数据。意图检测部5B(第1处理部52)在用户P的脑波示出第4动作的情况下，生成使第4光标CA4的移动停止的指令并发送到控制部4B。这样，第2处理部85使第4光标CA4停止。

第2处理部85将在第4光标CA4的停止时由第4光标CA4选择的文字，嵌入到在第4画面GA4(参照图20的(c))確定的讲话内容的候选(文章ASE)的空白中。在此之后，意图检测部5B以及控制部4B直到讲话内容的候选(文章ASE)中包括的空白全都嵌入了文字为止，反复进行参照图21的(a)至图22的(b)说明的处理。

第2处理部85当讲话内容的候选(文章ASE)中包括的空白全都嵌入了文字时，如图23所示，使第6画面GA6显示在显示部82。第6画面GA6示出完成的文章CSE。第6画面GA6与参照图19的(c)所说明的第2画面GA2同样，还显示第1按钮SB1、第2按钮SB2、以及第2光标CA2。

与套话TSE的情况同样，在第6画面GA6的显示状态下，在根据用户P的脑波而按下第1按钮SB1时，二维虚拟形象2B的下一个讲话内容(文章CSE)被确定。并且，在第6画面GA6的显示状态下，在根据用户P的脑波而第2按钮SB2被按下时，二维虚拟形象2B的下一个讲话内容(文章CSE)被取消。第2处理部85当按下第2按钮SB2时，使显示部82再次显示第3画面GA3(参照图20的(a))。或者也可以是，第2处理部85在按下第2按钮SB2时，使显示部82再次显示第5画面GA5(参照图21的(a))。

接着，参照图11至图24来说明交流系统100B。图24是示出交流系统100B中包括的意图检测部5B以及控制部4B执行的处理的流程图。图24所示的处理通过讲话对方进行讲话而开始。即图24所示的处理通过收音器32B对讲话对方的声音(讲话)进行收集而开始。

控制部4B的第2处理部85在收音器32B对声音进行检测时，通过声音处理部411来获得讲话对方的讲话内容(步骤S41)。详细而言，第2处理部85将从收音器32B接收的声音数据输入到第2机器学习模型D21。这样，示出讲话对方的讲话内容的数据从第2机器学习模型D21被输出到第2处理部85。

第2处理部85在获得讲话对方的讲话内容时，通过意思判断部412来获得讲话内容的意思。于是，第2处理部85根据讲话内容的意思来判断是否能够通过套话TSE来进行答复(步骤S42)。详细而言，第2处理部85将示出由第2机器学习模型D21提取的讲话内容的数据输入到第3机器学习模型D22。这样，对讲话对方的讲话内容的意思进行了估计的结果从第3机器学习模型D22被输出到第2处理部85。进一步，示出是否能够以套话TSE来答复讲话对方的讲话内容的判断结果从第3机器学习模型D22被输出到第2处理部85。

在能够由套话TSE来答复的情况下(步骤S42的“是”)，第2处理部85如参照图19的(a)进行的说明那样，参照套话数据D27来使显示部82显示第1画面GA1(步骤S43)。

在第1画面GA1被显示时，多个套话TSE中的一个套话TSE通过随意控制而被选择(步骤S44)。详细而言，如参照图19的(a)至图19的(c)进行的说明那样，意图检测部5B(第1处理部52)以及控制部4B(第2处理部85)根据用户P的脑波来确定多个套话TSE中的一个套话TSE。

当套话TSE被确定时，第2处理部85通过第2感情判断部444，基于確定的套话TSE来判断用户P的感情(步骤S45)。详细而言，第2处理部85将示出二维虚拟形象2B的下一个讲话内容的数据输入到第7机器学习模型D26。这样，示出用户P的感情的数据从第7机器学习模型D26被输出到第2处理部85。在能够由套话TSE来进行答复的情况下(步骤S42的“是”)，第2处理部85将通过随意控制而確定的套话TSE输入到第7机器学习模型D26，来判断用户P的感情。

第2处理部85在判断出用户P的感情时，则参照肢体语言数据D28，来决定对用户P的感情进行表现的肢体语言(步骤S46)。

第2处理部85在决定了二维虚拟形象2B的下一个讲话内容以及肢体语言时，将示出二维虚拟形象2B的下一个讲话内容的数据以及示出肢体语言的数据，经由通信部84发送给虚拟形象系统7(步骤S47)。这样，图24所示的处理结束。

另外，在不能以套话TSE来进行答复的情况下(步骤S42的“否”)， 第2处理部85通过第1感情判断部413，根据被映现在从摄像设备31B接收的动态图像中的讲话对方的表情，来判断讲话对方的感情(步骤S51)。详细而言，第2处理部85将从摄像设备31B接收的摄像数据(映现了讲话对方的脸部的动态图像)输入到第4机器学习模型D23。这样，示出讲话对方的感情的数据从第4机器学习模型D23被输出到第2处理部85。

第2处理部85在判断讲话对方的感情时，算出第1权重以及第2权重的各个值(步骤S52)。详细而言，第2处理部85将示出在步骤S42估计出的讲话内容的意思的数据、以及示出在步骤S51判断出的讲话对方的感情的数据，输入到第5机器学习模型D24。这样，示出第1权重以及第2权重的各个值的数据从第5机器学习模型D24被输出到第2处理部85。

第2处理部85在算出了第1权重以及第2权重的各个值时，根据讲话对方的讲话内容的意思以及讲话对方的感情来预测给讲话对方的答复，将二维虚拟形象2B的下一个讲话内容的候选的一览显示到显示部82(步骤S53)。即第2处理部85如参照图20的(a)进行的说明那样，使显示部82显示第3画面GA3。

详细而言，第2处理部85将示出在步骤S42估计出的讲话内容的意思的数据、示出在步骤S51判断出的讲话对方的感情的数据、在步骤S52算出的第1权重以及第2权重的各个值，输入到第6机器学习模型D25。这样，二维虚拟形象2B的下一个讲话内容的候选(留有空白的文章ASE)从第6机器学习模型D25被输出到第2处理部85。第2处理部85使显示部82显示从第6机器学习模型D25输出的讲话内容的候选的一览。

在第3画面GA3被显示时，多个候选(文章ASE)中的一个候选通过随意控制而被选择(步骤S54)。详细而言，如参照图20的(a)至图20的(c)进行的说明那样，意图检测部5B(第1处理部52)以及控制部4B(第2处理部85)根据用户P的脑波，来确定多个候选中的一个候选。

当确定了二维虚拟形象2B的下一个讲话内容的候选时，通过随意控制，文字被输入到讲话内容的候选中包括的空白部分(步骤S55)。详细而言，如参照图21的(a)、图21的(b)、图22的(a)、图22的(b)、以及图23进行的说明那样，意图检测部5B(第1处理部52)以及控制部4B(第2处理部85)根据用户P的脑波，从日语五十音图JS选择文字并嵌入到空白部分。这样，二维虚拟形象2B的下一个讲话内容被确定。

当二维虚拟形象2B的下一个讲话内容被确定后，第2处理部85通过第2感情判断部444，基于二维虚拟形象2B的下一个讲话内容(文章CSE)来判断用户P的感情(步骤S45)。

第2处理部85当判断出用户P的感情时，参照肢体语言数据D28，来决定对用户P的感情进行表现的肢体语言(步骤S46)。

第2处理部85在决定了二维虚拟形象2B的下一个讲话内容以及肢体语言时，将示出二维虚拟形象2B的下一个讲话内容的数据以及示出肢体语言的数据，经由通信部84发送给虚拟形象系统7(步骤S47)。这样，图24所示的处理结束。

接着，对第5机器学习模型D24(参照图18)进一步进行说明。第5机器学习模型D24是“变更条件”的一个例子。即第1权重以及第2权重由第5机器学习模型D24来变更。

在交流系统100B中，第5机器学习模型D24(第1权重以及第2权重的变更条件)基于评价函数而被调节。第5机器学习模型D24的调节表示对第5机器学习模型D24进行再次训练。在第5机器学习模型D24的再次训练时，基于评价函数而被调节的训练数据被输出到第5机器学习模型D24。

如已经进行的说明那样，第5机器学习模型D24的训练数据是基于设想的讲话对方的讲话内容的意思、设想的讲话对方的感情、作为给讲话对方的答复而设想的讲话内容的文字数、在该答复的讲话内容中将要任意地输入的文字的数量而被制作的。在答复的讲话内容中将要任意地输入的文字的数量相当于示出二维虚拟形象2B的下一个讲话内容的候选的文章ASE中包括的“空白”的数量。在交流系统100B中，在对第5机器学习模型D24进行再次训练时，作为训练数据而被输入到第5机器学习模型D24的“空白的数量”基于评价函数而被调节。评价函数将在交流系统100B的训练时获得的控制性能和操作感作为参数来包含。

控制性能示出反映了偏离量的值，该偏离量是在交流系统100B的训练时由对二维虚拟形象2B进行操作的操作员预测的空白的数量、与由文章预测部442(第2处理部85)决定的讲话内容的候选中包括的空白的数量的偏离量。即控制性能示出反映了由操作员预测的下一个讲话内容中包括的空白的数量、与第3画面GA3中显示的讲话内容的候选中包括的空白的数量的偏离量的值。例如，控制性能可以示出由操作员预测的空白的数量与实际上的空白的数量的差。

操作感示出反映了由操作员评价的讲话内容的操作的难易度的值。操作感可以由例如分为5个阶段等的阶段评价来评价。或者，操作感可以利用视觉模拟评分法(VAS：Visual Analogue Scale)来评价。例如，操作员在实际上的空白的数量与预测的数量不同的情况下，可以降低操作感的评价。并且，实际上的空白的数量虽然与预测的数量不同，但是操作员觉得实际上的空白的数量更容易使所期待的文章成立的情况下，则可以提高操作感的评价。

例如，作为评价函数可以利用以下的式(24)来调节训练数据中包括的空白的数量。

评价函数=a·f(操作感)-b·g(误差) ···(24)

在式(24)中，“f(操作感)”是包括操作感这种参数的函数。“g(误差)”是包括操作员所预测的空白的数量与实际上的空白的数量的偏离量(误差)这种参数的函数。例如，“f(操作感)”可以是操作感的值越大则其值就越大的函数“g(误差)”可以是偏离量(误差)越大则其值就越大的函数。系数“a”以及“b”可以由操作员任意地决定。

另外，系数“a”以及“b”也可以根据以下的式(25)以及式(26)来决定。式(25)以及式(26)中包括的“t”可以由操作员任意地决定。

a=t ···(25)

b=1-t ···(26)

详细而言，操作员参照式(24)，以评价函数的值尽可能大的方式来调节训练数据中包括的数据(空白的数量)。这样，以评价函数的值尽可能大的方式，第1权重以及第2权重的变更条件(第5机器学习模型D24)被调节。换而言之，操作员以评价函数的值成为局部最优解的方式，来调节训练数据中包括的数据(空白的数量)。这样，以评价函数的值成为局部最优解的方式，第1权重以及第2权重的变更条件(第5机器学习模型D24)被调节。

以上参照图11至图24对作为本实施方式的控制系统100的一个例子的交流系统100B进行了说明。通过本实施方式，能够使随意控制与自主控制相协调。据此，二维虚拟形象2B的下一个讲话内容(操作对象2的行动)不容易成为与用户P的意图不同的讲话内容。进一步，通过使随意控制与自主控制相协调，从而更容易制作利用了随意控制的文章CSE。换而言之，能够减轻用户P的负担。尤其是，通过本实施方式，能够使用户P的意图反映到第1权重以及第2权重的各个值。据此，能够进一步减轻用户P的负担。

并且，通过本实施方式，能够根据控制性能以及操作感，以评价函数尽可能大的方式来调节第1权重以及第2权重的变更条件(第5机器学习模型D24)。即以评价函数尽可能大的方式，来调节基于随意控制的讲话部分的比例与基于自主控制的讲话部分的比例。因此，作为二维虚拟形象2B(操作对象2)的下一个讲话内容的候选，能够使更接近于用户P的意图的文章的制作、与通过用户P进行的讲话内容的操作的难易度相协调。因此，交流系统100B的方便性提高。

另外，在参照图11至图24来说明的交流系统100B中，虽然是根据讲话对方的讲话内容、讲话对方的感情、第1权重和第2权重来决定二维虚拟形象2B的下一个讲话内容的至少一个候选的，不过也可以是文章预测部442根据讲话对方的讲话内容、第1权重和第2权重来决定二维虚拟形象2B的下一个讲话内容的至少一个候选。即文章预测部442可以针对讲话对方的讲话内容以及讲话对方的感情，仅利用讲话对方的讲话内容来决定给讲话对方的答复的内容。

以上参照附图(图1至图24)对本发明的实施方式进行了说明。不过，本发明并非受上述的实施方式所限，在不脱离其主旨的范围内能够在各种形态中执行。并且，上述的实施方式所公开的多个构成要素可以进行适宜地变更。例如，可以将某个实施方式所示的所有构成要素之中的某个构成要素添加到其他的实施方式的构成要素中，或者可以将某个实施方式所示的所有构成要素之中的几个构成要素从实施方式中删除。

附图是为了便于对发明的理解而将各个构成要素进行了示意性示出，图中的各构成要素的厚度、长度、个数、间隔等在从制图的方便性上来看，会有与实际不同的情况。并且，上述的实施方式所示的各构成要素的构成为一个例子，没有特殊的限定，在实质上不脱离本发明的效果的范围内能够进行各种变更。

产业上的可利用性

本发明有用于对能够被自主控制或随意控制的操作对象进行控制的系统。

附图标记说明

2 ：操作对象

2A ：机械臂

2B ：二维虚拟形象

3 ：检测部

3A ：检测部

3B ：检测部

4a ：第2存储部

5 ：意图检测部

5A ：意图检测部

5B ：意图检测部

43 ：随意动作决定部

43A ：随意动作决定部

43B ：随意动作决定部

44 ：自主动作决定部

44A ：自主动作决定部

44B ：自主动作决定部

45 ：权重决定部

45A ：权重决定部

45B ：权重决定部

46 ：指示部

46A ：指示部

46B ：指示部

81 ：第2存储部

100 ：控制系统

100A ：机器人控制系统

100B ：交流系统

D13 ：权重变更条件

D24 ：第5机器学习模型

ST ：物体。

Claims (11)

1.一种控制系统，对操作对象进行控制，

所述控制系统具备：

检测部，对所述操作对象的自主控制所涉及的检测对象进行检测；

第1决定部，根据对所述操作对象进行操作的操作者的脑波，来决定基于随意控制的所述操作对象的下一个行动；

第2决定部，根据所述检测部进行的检测结果，来决定基于自主控制的所述操作对象的下一个行动；以及

权重决定部，根据所述检测部进行的检测结果，来决定第1权重和第2权重，所述第1权重是针对基于随意控制的所述操作对象的下一个行动的权重，所述第2权重是针对基于自主控制的所述操作对象的下一个行动的权重，

所述权重决定部按照所述检测部进行的检测结果，使所述第1权重以及所述第2权重变化。

2.如权利要求1所述的控制系统，

所述控制系统还具备意图检测部，所述意图检测部根据所述操作者的脑波，对所述操作者的意图进行检测，

所述权重决定部根据所述检测部进行的检测结果以及所述操作者的意图，来决定所述第1权重以及所述第2权重。

3.如权利要求1或权利要求2所述的控制系统，

所述控制系统还具备指示部，所述指示部根据由所述第1决定部决定的所述下一个行动、由所述第2决定部决定的所述下一个行动、所述第1权重以及所述第2权重，向所述操作对象指示所述操作对象的下一个行动。

4.如权利要求3所述的控制系统，

所述控制系统还具备存储部，所述存储部对所述第1权重以及所述第2权重的变更条件进行存储，

所述变更条件是根据评价函数而被调节的，所述评价函数包括作为参数的在所述控制系统的训练时获得的控制性能和操作感，

所述控制性能示出反映了偏离量的值，所述偏离量是在所述训练时对所述操作对象进行操作的操作员想要进行的行动、与所述操作对象的实际的行动的偏离量，

所述操作感示出反映了由所述操作员评价的所述操作对象的操作的难易度的值。

5.如权利要求3所述的控制系统，

所述指示部在所述操作对象的行动的初始阶段，根据所述第1决定部决定的所述下一个行动，来指示所述操作对象的下一个行动。

6.如权利要求3所述的控制系统，

所述指示部在所述操作对象的行动的最终阶段，根据所述第2决定部决定的所述下一个行动，来指示所述操作对象的下一个行动。

7.如权利要求6所述的控制系统，

与所述随意控制相比，所述自主控制对所述操作对象进行精密地控制。

8.如权利要求3所述的控制系统，

所述检测部对物体进行检测，

所述权重决定部按照所述操作对象与所述物体之间的距离，使所述第1权重以及所述第2权重动态地变化。

9.如权利要求1或权利要求2所述的控制系统，

所述控制系统还具备指示部，所述指示部根据由所述第1决定部决定的所述下一个行动、以及由所述第2决定部决定的所述下一个行动，向所述操作对象指示所述操作对象的下一个行动，

所述第2决定部根据所述检测部进行的检测结果、所述第1权重以及所述第2权重，来决定基于自主控制的所述操作对象的下一个行动。

10.如权利要求9所述的控制系统，

所述控制系统还具备存储部，所述存储部对所述第1权重以及所述第2权重的变更条件进行存储，

所述变更条件是根据评价函数而被调节的，所述评价函数包括作为参数的在所述控制系统的训练时获得的控制性能和操作感，

所述控制性能示出反映了偏离量的值，所述偏离量是在所述训练时对所述操作对象进行操作的操作员预测的行动、与所述第2决定部决定的所述操作对象的行动的偏离量，

所述操作感示出反映了由所述操作员评价的所述操作对象的操作的难易度的值。

11.如权利要求9所述的控制系统，

所述操作对象的行动是所述操作对象进行的讲话，

所述检测部对讲话对方的讲话进行检测，所述讲话对方是与所述操作对象进行讲话的对方，

所述第2决定部根据所述检测部进行的检测结果、所述第1权重以及所述第2权重，决定所述操作对象的下一个讲话内容的至少一个候选，

在所述第2决定部决定的所述下一个讲话内容的候选中能够嵌入基于随意控制的讲话内容，

所述第1决定部根据所述脑波来决定下一个讲话的内容，

所述指示部向所述操作对象指示所述操作对象的讲话的内容。