[go: up one dir, main page]

CN120076904A - 作业机器人调整方法、感测系统、感测方法、移动式机器人、动作改变系统、动作改变方法、作业机器人、作业再现系统、作业再现方法、作业熟悉系统、作业熟悉方法以及作业再现机器人 - Google Patents

作业机器人调整方法、感测系统、感测方法、移动式机器人、动作改变系统、动作改变方法、作业机器人、作业再现系统、作业再现方法、作业熟悉系统、作业熟悉方法以及作业再现机器人 Download PDF

Info

Publication number
CN120076904A
CN120076904A CN202380073373.9A CN202380073373A CN120076904A CN 120076904 A CN120076904 A CN 120076904A CN 202380073373 A CN202380073373 A CN 202380073373A CN 120076904 A CN120076904 A CN 120076904A
Authority
CN
China
Prior art keywords
robot
sensor
sensing
information
work
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202380073373.9A
Other languages
English (en)
Inventor
孙正义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SoftBank Group Corp
Original Assignee
SoftBank Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2022167221A external-priority patent/JP2024059511A/ja
Priority claimed from JP2022178895A external-priority patent/JP2024068441A/ja
Priority claimed from JP2022180376A external-priority patent/JP2024070031A/ja
Priority claimed from JP2022182641A external-priority patent/JP2024072051A/ja
Priority claimed from JP2022184345A external-priority patent/JP2024073243A/ja
Priority claimed from JP2022184856A external-priority patent/JP2024073888A/ja
Application filed by SoftBank Group Corp filed Critical SoftBank Group Corp
Publication of CN120076904A publication Critical patent/CN120076904A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0084—Programme-controlled manipulators comprising a plurality of manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06316—Sequencing of tasks or work
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0633—Workflow analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36442—Automatically teaching, teach by showing
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40116—Learn by operator observation, symbiosis, show, watch

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Mechanical Engineering (AREA)
  • Economics (AREA)
  • Robotics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Manufacturing & Machinery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Manipulator (AREA)

Abstract

作业机器人调整方法具有以下工序：使具有传感器的移动式机器人向作业人员进行动作的环境移动；使用所述传感器记录作业人员的动作；基于所述记录，对作业人员的动作进行学习；基于所述学习，使作业机器人进行与作业人员的动作相同的动作；以及进行调整，使得作业人员的动作与所述作业机器人的动作一致。

Description

作业机器人调整方法、感测系统、感测方法、移动式机器人、动 作改变系统、动作改变方法、作业机器人、作业再现系统、作业 再现方法、作业熟悉系统、作业熟悉方法以及作业再现机器人
技术领域
本发明涉及一种在作业环境下进行作业的作业机器人的调整方法、感测系统、感测方法、移动式机器人、动作改变系统、动作改变方法、作业机器人、作业再现系统、作业再现方法、作业熟悉系统、作业熟悉方法以及作业再现机器人。
背景技术
近年来，正在研究一种例如在工厂的流水线作业等中使作业机器人进行人的作业、或者使作业机器人辅助人的作业的技术。例如，在专利文献1中公开了一种支援系统，该支援系统基于在数据库中存储的包括作业对象物的形状等的各种信息等判定作业人员的作业内容，另外，基于从设置于作业机器人的各种传感器获取的信息在显示装置显示信息，由此减轻作业人员的作业负担。
另外，对于使作业机器人进行人的作业，作为前提，需要用传感器探测(感测)人的作业，掌握其动作。例如，在专利文献2中公开了一种作业推测装置，该作业推测装置基于单元相机30生成作业场所图像Ic，基于顶棚相机80生成整个图像Ia，并进行图像解析。
另外，例如，在专利文献3中公开了一种机器人控制方法，该机器人控制方法用传感器读取表现作业信息的二维码，同时用拍摄作业物体的传感器对作业物体进行拍摄，基于拍摄到的图像和作业信息，生成用于使机器人进行作业的动作信息，基于动作信息使机器人进行作业。
另外，在进行规定作业的作业场所，有时会因为作业人员的失误或除此之外的原因等而发生事故等异常情况。在发生了异常情况的情况下，查明其原因对于抑制下一次异常情况的发生是有效的。例如，在专利文献4中，为了提供有效地传达事故发生状况的安全教育系统，公开了以下一种技术：基于发生事故的事故发生现场的三维数据和输入的视点信息，生成从视点信息所指定的视点观察事故发生现场而得到的事故发生现场图像的事故发生现场图像数据，使显示部显示该图像数据。
另外，一直以来，存在支援作业人员对作业熟悉的作业熟悉系统。例如，在专利文献5中公开了一种作业熟悉系统，为了确定熟悉程度低的作业，该作业熟悉系统使用包括(表示熟悉程度低的作业的)基准外作业的条件的基准外作业模型信息、作业顺序信息、作业场所内部图像，确定基准外作业的作业内容。
现有技术文献
专利文献
专利文献1：特开2021-130156号公报
专利文献2：特开2022-113042号公报
专利文献3：特开2022-042867号公报
专利文献4：特开2007-226515号公报
专利文献5：特开2020-086697号公报
发明内容
发明要解决的课题
在用作业机器人再现作业人员的作业的情况下，需要进行作业人员的动作分析，并针对每个动作对机器人进行编程。在该情况下，动作分析、编程会耗费时间、人力成本等成本。
因此，本公开的目的在于，提供一种缩减作业人员的动作分析、编程所耗费的时间以及成本的作业机器人调整方法。
另外，作业人员的作业也有时例如会伴随移动、或伴随大的动作。在专利文献2的作业推测装置中，由于各传感器(相机)是固定地配置的，因此也有时因作业人员与传感器位置之间的关系而无法充分地感测作业人员的作业(规定动作)。
因此，本公开的目的在于，提供一种能够充分地感测作业人员的规定动作的感测系统、感测方法以及移动式机器人。
另外，在专利文献3的机器人控制方法中，难以确认机器人是否按照作业信息中包含的作业的内容进行动作。另外，在没有适当地进行作业的内容的情况下，难以将机器人的动作调整为适当的动作。
因此，本公开的目的在于，提供一种能够确认作业机器人的动作并将其调整为适当的动作的感测系统、感测方法以及作业机器人。
另外，关于作业人员的作业，由于存在肉体能力的限度，因此提高其作业速度也存在一定的限度。因此，如果使作业机器人直接使用学习了作业人员的规定动作的学习模型进行作业，则有时作业机器人不会高效地进行作业。
因此，本公开的目的在于，提供一种动作改变系统、动作改变方法以及作业机器人，使得在使用学习了作业人员的作业的学习模型进行作业的作业机器人中，作业机器人能够高效地进行作业。
另外，如果发生异常情况，则在大部分情况下是多种要因牵连而引起的，为了查明异常情况的发生要因，要将现场的状况再现。另外，还有将异常情况发生时的相关人员(作业人员)等配置在再现现场，使其实际做出发生异常情况时的动作。在该情况下，能够更加准确地再现异常情况发生当时的状况，易于查明异常情况的发生要因。但是，根据实际情况，使相关人员直接再现事故的状况有时会比较困难。
因此，本公开的目的在于，提供一种使得查明异常情况的发生要因变得容易的作业再现系统、作业再现方法以及作业再现机器人。
另外，如果仅确定熟悉程度低的作业，则只能停留在对所确定的作业的改善措施进行研究，对于实现作业人员对作业熟悉是不够的。
因此，本公开的目的在于，提供一种能够实现作业人员对作业熟悉的作业熟悉系统、作业熟悉方法以及作业再现机器人。
解决课题的手段
本公开所涉及的作业机器人调整方法具有以下工序：使具有传感器的移动式机器人向作业人员进行动作的环境移动；使用所述传感器记录作业人员的动作；基于所述记录，对作业人员的动作进行学习；基于所述学习，使作业机器人进行与作业人员的动作相同的动作；以及进行调整，使得作业人员的动作与所述作业机器人的动作一致。
本公开所涉及的感测系统的特征在于，具备：第一传感器，所述第一传感器用于对感测对象的规定动作进行感测；第二传感器，所述第二传感器用于从与所述第一传感器不同的位置对所述感测对象的规定动作进行感测；第一移动式机器人，所述第一移动式机器人具有所述第一传感器和第一移动机构；以及管理控制装置，所述管理控制装置能够与所述第一传感器、所述第二传感器以及所述第一移动机构进行通信，所述管理控制装置具有：判定部，所述判定部根据由所述第一传感器获取的第一信息以及由所述第二传感器获取的第二信息，判定所述感测对象在进行规定动作时可动的规定部位是否被感测到；以及控制部，在通过所述判定部判定为所述规定部位未被感测到的情况下，所述控制部使所述第一移动机构进行工作，使得所述规定部位被感测到。
另外，本公开所涉及的感测方法的特征在于，具备：第一传感器，所述第一传感器用于对感测对象的规定动作进行感测；第二传感器，所述第二传感器用于从与所述第一传感器不同的位置对所述感测对象的规定动作进行感测；第一移动式机器人，所述第一移动式机器人具有所述第一传感器和第一移动机构；以及管理控制装置，所述管理控制装置能够与所述第一传感器、所述第二传感器以及所述第一移动机构进行通信，在所述感测方法中，所述管理控制装置根据由所述第一传感器获取的第一信息以及由所述第二传感器获取的第二信息，判定所述感测对象在进行规定动作时可动的规定部位是否被感测到；以及在通过所述判定部判定为所述规定部位未被感测到的情况下，使所述第一移动机构进行工作，使得所述规定部位被感测到。
另外，本公开所涉及的感测系统的特征在于，具备：第一传感器，所述第一传感器用于对感测对象的规定动作进行感测；第二传感器，所述第二传感器用于从与所述第一传感器不同的位置对所述感测对象的规定动作进行感测；第一移动式机器人，所述第一移动式机器人具有所述第一传感器和第一移动机构；以及管理控制装置，所述管理控制装置能够与所述第一传感器、所述第二传感器以及所述第一移动机构进行通信，所述管理控制装置具有：判定部，所述判定部根据由所述第一传感器获取的第一信息以及由所述第二传感器获取的第二信息，判定所述感测对象在进行规定动作时可动的规定部位是否被感测到，且判定由所述第一传感器感测的规定部位与由所述第二传感器感测的规定部位是否相同；以及控制部，在判定为由所述第一传感器感测的规定部位与由所述第二传感器感测的规定部位相同的情况下，所述控制部使所述第一移动机构进行工作，使得由所述第一传感器感测的规定部位与由所述第二传感器感测的规定部位不同。
另外，本公开所涉及的移动式机器人的特征在于，具备：移动机构；第一传感器，所述第一传感器对感测对象进行感测；第二传感器，所述第二传感器从与所述第一传感器不同的位置对所述感测对象进行感测；驱动机构，所述驱动机构能够使所述第二传感器的位置移动；以及信息处理部，所述信息处理部对所述第一传感器、所述第二传感器、所述移动机构以及所述驱动机构进行控制，所述信息处理部具有：判定部，所述判定部根据由所述第一传感器获取的第一信息以及由所述第二传感器获取的第二信息，判定所述感测对象在进行规定动作时可动的规定部位是否被感测到；以及控制部，在通过所述判定部判定为所述规定部位未被感测到的情况下，所述控制部使所述移动机构或所述驱动机构进行工作，使得所述规定部位被感测。
另外，本公开所涉及的移动式机器人的特征在于，具备：移动机构；第一传感器，所述第一传感器对感测对象进行感测；第二传感器，所述第二传感器从与所述第一传感器不同的位置对所述感测对象进行感测；驱动机构，所述驱动机构能够使所述第二传感器的位置移动；以及信息处理部，所述信息处理部对所述第一传感器、所述第二传感器、所述移动机构以及所述驱动机构进行控制，所述信息处理部具有：判定部，所述判定部根据由所述第一传感器获取的第一信息以及由所述第二传感器获取的第二信息，判定所述感测对象在进行规定动作时可动的规定部位是否被感测到，且判定由所述第一传感器感测的规定部位与由所述第二传感器感测的规定部位是否相同；以及控制部，在判定为由所述第一传感器感测的规定部位与由所述第二传感器感测的规定部位相同的情况下，所述控制部使所述移动机构或所述驱动机构进行工作，使得由所述第一传感器感测的规定部位与由所述第二传感器感测的规定部位不同。
本公开所涉及的感测系统的特征在于，具备：第一传感器，所述第一传感器用于对感测对象的规定动作进行感测；作业机器人，所述作业机器人根据动作指示进行动作；第二传感器，所述第二传感器用于对所述作业机器人的机器人动作进行感测；以及管理控制装置，所述管理控制装置能够与所述第一传感器、所述第二传感器以及所述作业机器人进行通信，所述管理控制装置具有：学习部，所述学习部参考由所述第一传感器获取的第一信息来学习所述规定动作；动作信息生成部，所述动作信息生成部参考所述学习部对所述规定动作的学习结果，生成向所述作业机器人给予所述动作指示的动作控制信息；以及调整部，所述调整部将所述第一信息与由所述第二传感器获取的第二信息进行比较，对所述动作控制信息进行调整，使得所述作业机器人的所述机器人动作与所述规定动作近似。
另外，本公开所涉及的感测方法的特征在于，具备：第一传感器，所述第一传感器用于对感测对象的规定动作进行感测；作业机器人，所述作业机器人根据动作指示进行动作；第二传感器，所述第二传感器用于对所述作业机器人的机器人动作进行感测；以及管理控制装置，所述管理控制装置能够与所述第一传感器、所述第二传感器以及所述作业机器人进行通信，在所述感测方法中，所述管理控制装置参考由所述第一传感器获取的第一信息来学习所述规定动作；参考所述学习部对所述规定动作的学习结果，生成向所述作业机器人给予所述动作指示的动作控制信息；以及将所述第一信息与由所述第二传感器获取的第二信息进行比较，对所述动作控制信息进行调整，使得所述作业机器人的所述机器人动作与所述规定动作近似。
另外，本公开所涉及的作业机器人的特征在于，所述作业机器人根据动作指示进行动作，所述作业机器人具备：第一传感器，所述第一传感器用于对感测对象的规定动作进行感测；第二传感器，所述第二传感器用于对所述作业机器人的机器人动作进行感测；以及信息处理部，所述信息处理部能够与所述第一传感器以及所述第二传感器进行通信，所述信息处理部具有：学习部，所述学习部参考由所述第一传感器获取的第一信息来学习所述规定动作；动作信息生成部，所述动作信息生成部参考所述学习部对所述规定动作的学习结果，生成向所述作业机器人给予所述动作指示的动作控制信息；以及调整部，所述调整部将所述第一信息与由所述第二传感器获取的第二信息进行比较，对所述动作控制信息进行调整，使得所述作业机器人的所述机器人动作与所述规定动作近似。
本公开所涉及的动作改变系统的特征在于，具备作业机器人、传感器、以及能够与所述作业机器人以及所述传感器进行通信的管理控制装置，所述管理控制装置具备：学习部，所述学习部基于使用所述传感器获取的与所述感测对象的规定动作对应的感测信息，学习与所述感测对象的规定动作对应的标准动作模型；模型生成部，所述模型生成部参考所述标准动作模型，生成改变动作模型，所述改变动作模型将所述标准动作模型中的各动作的执行时间设定为比生成所述标准动作模型时的各动作的所需时间短；以及控制部，所述控制部参考所述改变动作模型，使所述作业机器人进行工作。
另外，本公开所涉及的动作改变系统的特征在于，具备：作业机器人、用于分别对多个不同的感测对象进行感测的多个传感器、以及能够与所述作业机器人以及所述多个传感器进行通信的管理控制装置，所述管理控制装置具备：学习部，所述学习部基于使用所述多个传感器获取的与所述多个感测对象的规定动作对应的多个感测信息，学习所述多个感测对象的各规定动作、以及与所述多个感测对象的各规定动作对应的多个标准动作模型；模型生成部，所述模型生成部参考所述多个标准动作模型，生成改变动作模型，所述改变动作模型对由所述多个感测对象的规定动作的至少一部分进行整合；以及控制部，所述控制部参考所述改变动作模型来使所述作业机器人进行工作。
另外，本公开所涉及的动作改变方法的特征在于，基于使用传感器获取的与感测对象的规定动作对应的感测信息，学习与所述感测对象的规定动作对应的标准动作模型；参考所述标准动作模型，生成改变动作模型，所述改变动作模型将所述标准动作模型中的各动作的执行时间设定为比生成所述标准动作模型时的各动作的所需时间短；以及参考所述改变动作模型，使所述作业机器人进行工作。
另外，本公开所涉及的作业机器人的特征在于，具备：驱动机构，所述驱动机构用于使所述作业机器人进行动作；学习部，所述学习部基于使用传感器获取的与感测对象的规定动作对应的感测信息，学习与所述感测对象的规定动作对应的标准动作模型；模型生成部，所述模型生成部参考所述标准动作模型，生成改变动作模型，所述改变动作模型将所述标准动作模型中的各动作的执行时间设定为比生成所述标准动作模型时的各动作的所需时间短；以及控制部，所述控制部参考所述改变动作模型，对所述驱动机构进行控制，以使作业机器人进行工作。
本公开所涉及的作业再现系统的特征在于，具备作业再现机器人、能够对所述作业再现机器人的动作进行感测的传感器、以及能够与所述作业再现机器人以及传感器进行通信的管理控制装置，所述管理控制装置具备：学习部，所述学习部基于与感测对象的规定动作对应的第一感测信息，学习与所述感测对象的规定动作对应的标准动作模型；控制部，所述控制部参考所述标准动作模型，使所述作业再现机器人进行一次以上的再现动作；输入部，所述输入部输入事故或误动作信息；以及探测部，所述探测部基于使用所述传感器获取的与所述作业再现机器人的再现动作对应的第二感测信息，探测所述事故或误动作的发生。
本公开所涉及的作业再现系统的特征在于，具备作业再现机器人、能够对所述作业再现机器人的动作进行感测的传感器、以及能够与所述作业再现机器人以及传感器进行通信的管理控制装置，所述管理控制装置具备：学习部，所述学习部基于与感测对象的规定动作对应的第一感测信息，学习与所述感测对象的规定动作对应的标准动作模型；控制部，所述控制部参考所述标准动作模型，使所述作业再现机器人进行一次以上的再现动作；存储部，所述存储部存储所述感测对象的作业手册信息或工序表信息；以及探测部，所述探测部基于使用所述传感器获取的与所述作业再现机器人的再现动作对应的第二感测信息，探测与所述作业手册信息或所述工序表信息不同的动作的发生。
另外，本公开所涉及的作业再现方法的特征在于，具备作业再现机器人、能够对所述作业再现机器人的动作进行感测的传感器、以及能够与所述作业再现机器人以及传感器进行通信的管理控制装置，在所述作业再现方法中，所述管理控制装置基于与感测对象的规定动作对应的第一感测信息，学习与所述感测对象的规定动作对应的标准动作模型；参考所述标准动作模型，使所述作业再现机器人进行一次以上的再现动作；输入事故或误动作信息；以及基于使用所述传感器获取的与所述作业再现机器人的再现动作对应的第二感测信息，探测所述事故或误动作的发生。
另外，本公开所涉及的作业再现方法的特征在于，具备作业再现机器人、能够对所述作业再现机器人的动作进行感测的传感器、以及能够与所述作业再现机器人以及传感器进行通信的管理控制装置，在所述作业再现方法中，所述管理控制装置基于与感测对象的规定动作对应的第一感测信息，学习与所述感测对象的规定动作对应的标准动作模型；参考所述标准动作模型，使所述作业再现机器人进行一次以上的再现动作；存储所述感测对象的作业手册信息或工序表信息；以及基于使用所述传感器获取的与所述作业再现机器人的再现动作对应的第二感测信息，探测与所述作业手册信息或所述工序表信息不同的动作的发生。
另外，本公开所涉及的作业再现机器人的特征在于，具备能够对所述作业再现机器人的动作进行感测的传感器、和能够进行通信的信息处理装置，所述信息处理装置具备：学习部，所述学习部基于与感测对象的规定动作对应的第一感测信息，学习与所述感测对象的规定动作对应的标准动作模型；控制部，所述控制部参考所述标准动作模型来使所述作业再现机器人进行一次以上的再现动作；输入部，所述输入部输入事故或误动作信息；以及探测部，所述探测部基于使用所述外部的传感器获取的与所述作业再现机器人的再现动作对应的第二感测信息，探测所述事故或误动作的发生。
另外，本公开所涉及的作业再现机器人的特征在于，具备能够对所述作业再现机器人的动作进行感测的传感器、和能够进行通信的信息处理装置，所述信息处理装置：学习部，所述学习部基于与感测对象的规定动作对应的第一感测信息，学习与所述感测对象的规定动作对应的标准动作模型；控制部，所述控制部参考所述标准动作模型，使所述作业再现机器人进行一次以上的再现动作；存储部，所述存储部存储所述感测对象的作业手册信息或工序表信息；以及探测部，所述探测部基于使用所述传感器获取的与所述作业再现机器人的再现动作对应的第二感测信息，探测与所述作业手册信息或所述工序表信息不同的动作的发生。
本公开所涉及的作业熟悉系统的特征在于，具备作业再现机器人、能够对新作业人员的动作进行感测的传感器、以及能够与所述作业再现机器人以及传感器进行通信的管理控制装置，所述管理控制装置具备：存储部，所述存储部存储基于与熟练作业人员的规定动作对应的第一感测信息学习得到的标准动作模型；控制部，所述控制部参考所述标准动作模型，使所述作业再现机器人进行再现动作；以及检测部，所述检测部基于使用所述传感器获取的与所述新作业人员的动作对应的第二感测信息，检测所述新作业人员的动作与所述标准动作模型的不同之处。
另外，本公开所涉及的作业熟悉方法的特征在于，具备作业再现机器人、能够对新作业人员的动作进行感测的传感器、以及能够与所述作业再现机器人以及传感器进行通信的管理控制装置，在所述作业熟悉方法中，所述管理控制装置存储基于与熟练作业人员的规定动作对应的第一感测信息学习得到的标准动作模型；参考所述标准动作模型，使所述作业再现机器人进行再现动作；以及基于使用所述传感器获取的与所述新作业人员的动作对应的第二感测信息，检测所述新作业人员的动作与所述标准动作模型的不同之处。
另外，本公开所涉及的作业再现机器人的特征在于，具备能够对新作业人员的动作进行感测的传感器、和能够进行通信的信息处理装置，所述信息处理装置具备：存储部，所述存储部存储基于与熟练作业人员的规定动作对应的第一感测信息学习得到的标准动作模型；控制部，所述控制部参考所述标准动作模型，使所述作业再现机器人进行再现动作；以及检测部，所述检测部基于使用所述传感器获取的与所述新作业人员的动作对应的第二感测信息，检测所述新作业人员的动作与所述标准动作模型的不同之处。
发明效果
根据本公开，提供一种缩减作业人员的动作分析、编程所耗费的时间以及成本的作业机器人调整方法。
另外，根据本公开，提供一种能够充分地感测作业人员的规定动作的感测系统、感测方法以及移动式机器人。
另外，根据本公开，提供一种能够确认作业机器人的动作并将其调整为适当的动作的感测系统、感测方法以及作业机器人。
另外，根据本公开，提供一种动作改变方法以及作业机器人，使得在使用对作业人员的作业进行学习的学习模型进行作业的作业机器人中，作业机器人能够高效地进行作业。
另外，根据本公开，提供一种使得查明异常情况的发生要因变得容易的作业再现系统、作业再现方法以及作业再现机器人。
另外，根据本公开，提供一种能够实现作业人员对作业熟悉的作业熟悉系统、作业熟悉方法以及作业再现机器人。
附图说明
图1是示出本公开所涉及的实施方式1的作业机器人调整方法中的系统结构的一个示例的图。
图2A是示出图1所示的作业机器人的一个示例的图。
图2B是示出图1所示的传感器安装构件的一个示例的图。
图3是示出本公开所涉及的实施方式1的作业机器人调整方法中的功能结构的一个示例的框图。
图4是示出本公开所涉及的实施方式1的作业机器人调整方法的处理的流程图的一个示例。
图5是传感器安装构件的变形例的一个示例。
图6A是示出本公开所涉及的实施方式2的感测系统中的系统结构的一个示例的图。
图6B是示出图6A所示的移动式机器人的一个示例的图。
图7是示出本公开所涉及的实施方式2的感测系统中的移动式机器人移动时的一个示例的图。
图8是示出本公开所涉及的实施方式2的感测系统中的结构以及功能的一个示例的框图。
图9是示出本公开所涉及的实施方式2的感测系统中的管理控制装置的功能的一个示例的框图。
图10是示出本公开所涉及的实施方式2的感测系统的处理的流程图的一个示例。
图11是示出图10的步骤S2103中所示的规定部位感测判定处理的更详细的处理的流程图的一个示例。
图12是示出图10的步骤S2104中所示的动作信息生成处理的更详细的处理的流程图的一个示例。
图13A是示出本公开所涉及的实施方式2的变形例1所涉及的感测系统中的系统结构的一个示例的图。
图13B是示出图13A所示的移动式机器人的一个示例的图。
图14是示出本公开所涉及的实施方式2的变形例1所涉及的感测系统中的移动式机器人的功能的一个示例的框图。
图15A是示出本公开所涉及的实施方式2的变形例2所涉及的感测系统中的系统结构的一个示例的图。
图15B是示出图15A所示的传感器安装构件的一个示例的图。
图16是示出本公开所涉及的实施方式2的变形例2所涉及的感测系统中的结构以及功能的一个示例的图。
图17A是示出本公开所涉及的实施方式3的感测系统中的系统结构的一个示例的图。
图17B是示出图17A所示的人型机器人的一个示例的图。
图18是示出本公开所涉及的实施方式3的感测系统中的结构以及功能的一个示例的图。
图19是示出本公开所涉及的实施方式3的感测系统中的管理控制装置的功能的一个示例的图。
图20是示出本公开所涉及的实施方式3的感测系统中的各感测期间的一个示例的图。
图21是示出本公开所涉及的实施方式3的感测系统的处理的流程图的一个示例。
图22是示出图21的步骤S3103中所示的动作控制信息生成处理的更详细的处理的流程图的一个示例。
图23是示出图21的步骤S3106中所示的动作控制信息调整处理的更详细的处理的流程图的一个示例。
图24A是示出本公开所涉及的实施方式3的变形例1所涉及的感测系统中的系统结构的一个示例的图。
图24B是示出图24A所示的人型机器人的一个示例的图。
图25是示出本公开所涉及的实施方式3的变形例1所涉及的感测系统中的人型机器人的功能的一个示例的框图。
图26是示出本公开所涉及的实施方式3的变形例2所涉及的感测系统中的系统结构的一个示例的图。
图27A是示出本公开所涉及的实施方式3的变形例3所涉及的感测系统中的系统结构的一个示例的图。
图27B是示出图27A所示的传感器安装构件的一个示例的图。
图28是示出本公开所涉及的实施方式3的变形例3所涉及的感测系统中的结构以及功能的一个示例的图。
图29A是示出本公开所涉及的实施方式4的动作改变系统中的系统结构的一个示例的图。
图29B是示出图29A所示的人型机器人的一个示例的图。
图30是示出本公开所涉及的实施方式4的动作改变系统中的标准动作模型与动作改变模型之间的关系的一个示例的图。
图31是示出本公开所涉及的实施方式4的动作改变系统中的结构以及功能的一个示例的框图。
图32是示出本公开所涉及的实施方式4的动作改变系统中的管理控制装置的功能的一个示例的框图。
图33是示出本公开所涉及的实施方式4的动作改变系统的处理的流程图的一个示例。
图34是示出图33的步骤S4103中所示的改变动作模型生成处理的更详细的处理的流程图的一个示例。
图35A是示出本公开所涉及的实施方式4的变形例1所涉及的动作改变系统中的系统结构的一个示例的图。
图35B是示出图35B所示的人型机器人的一个示例的图。
图36是示出本公开所涉及的实施方式4的变形例1所涉及的动作改变系统中的人型机器人的功能的一个示例的图。
图37是示出本公开所涉及的实施方式4的变形例1所涉及的动作改变系统中的改变动作模型生成处理的更详细的处理的流程图的一个示例。
图38是示出本公开所涉及的实施方式4的变形例1所涉及的动作改变系统中的标准动作模型与动作改变模型之间的关系的一个示例的图。
图39A是示出本公开所涉及的实施方式5的作业再现系统中的使作业人员再现动作时的感测的一个示例的图。
图39B是示出使作业再现机器人再现动作时的感测的一个示例的图。
图40是本公开所涉及的实施方式5的作业再现系统中的人型机器人的一个示例。
图41是示出本公开所涉及的实施方式5的作业再现系统中的结构以及功能的一个示例的框图。
图42是示出本公开所涉及的实施方式5的作业再现系统中的管理控制装置的功能的一个示例的框图。
图43是示出本公开所涉及的实施方式5的作业再现系统的处理的流程图的一个示例。
图44是示出图43的步骤S5102中所示的作业人员动作学习/标准动作模型生成处理的更详细的处理的流程图的一个示例。
图45是示出本公开所涉及的实施方式5的变形例1所涉及的作业再现系统的处理的流程图的一个示例。
图46A是示出本公开所涉及的实施方式5的变形例2所涉及的作业再现系统中的系统结构的一个示例的图。
图46B是示出图46A所示的人型机器人的一个示例的图。
图47是示出本公开所涉及的实施方式5的变形例2所涉及的作业再现系统中的人型机器人的功能的一个示例的框图。
图48A是示出本公开所涉及的实施方式6的作业熟悉系统中的系统结构的一个示例的图。
图48B是示出图48A所示的人型机器人的一个示例的图。
图49是示出本公开所涉及的实施方式6的作业熟悉系统中的结构以及功能的一个示例的框图。
图50是示出本公开所涉及的实施方式6的作业熟悉系统中的管理控制装置的功能的一个示例的框图。
图51是示出本公开所涉及的实施方式6的作业熟悉系统的处理的流程图的一个示例。
图52是示出图51的步骤S6102所示的作业人员动作学习以及模型生成处理的更详细的处理的流程图的一个示例。
图53是示出图51的步骤S6105中所示的动作检测处理的更详细的处理的流程图的一个示例。
图54A是示出本公开所涉及的实施方式6的变形例1所涉及的作业熟悉系统中的系统结构的一个示例的图。
图54B是示出图54A所示的人型机器人的一个示例的图。
图55是示出本公开所涉及的实施方式6的变形例1所涉及的作业熟悉系统中的人型机器人的功能的一个示例的框图。
具体实施方式
以下，参考附图，对作业机器人调整方法、感测系统、感测方法、移动式机器人、动作改变系统、动作改变方法、作业机器人、作业再现系统、作业再现方法、作业熟悉系统、作业熟悉方法以及作业再现机器人进行说明。但是，需要注意的是，本公开的技术的范围并不限定于这些实施方式，而涵盖专利权利要求书所记载的公开内容及其等同的内容。
(实施方式1)
图1是用于说明作业机器人调整方法的图。需要说明的是，为了避免图1变得繁杂，对于各传感器的感测区域的附图标记，仅标注了后面说明的安装构件用传感器33的感测区域330a。另外，关于用于进行作业机器人调整方法的作业机器人调整系统100的详细内容，使用图3在后文进行说明。
在作业机器人调整方法中，具备作为移动式机器人发挥功能的多个人型机器人20a～20d、以及分别与各人型机器人20a～20d连接的传感器安装构件30a～30d。
各人型机器人20a～20d接收来自后面说明的管理控制装置60(参考图3)的指令，或根据来自人型机器人20a～20d内部设置的信息处理装置25(参考图3)的指示，向在作业场所200的作业线201上作业的作业人员400的附近移动。各传感器安装构件30a～30d由于与各人型机器人20a～20d连接，因此随着人型机器人20a～20d的移动而移动。
而且，通过在各人型机器人20a～20d以及传感器安装构件30a～30d具备的传感器23a～23d、33a～33d，记录作业人员400的动作。在动作被记录之后，基于该记录，进行对作业人员400的动作的学习。该学习是通过自动学习进行的。在此，自动学习是指自动地制作学习完成模型的学习、或使用学习完成模型进行判定/解析的学习。
进行对作业人员400的动作的学习之后，接收来自管理控制装置60的指令，或根据来自如人型机器人20a～20d内部设置的信息处理装置25的指示，使作为作业机器人发挥功能的人型机器人20进行与作业人员400的动作相同的动作。使人型机器人20进行与作业人员400的动作相同的动作的工序也是通过自动学习进行的。
在使人型机器人20作进行与业人员400的动作相同的动作的工序中，使人型机器人20重复进行例如300次左右的自动学习到的作业的处理，直到人型机器人20能够以与自动学习到的作业相同的动作、路线、速度等执行动作。另外，重复将自动学习到的作业例如以20倍速等提高速度的处理，直到能够以与自动学习到的作业相同的动作、路线、速度等执行。
使学习结果反映到多个作业机器人(人型机器人20)，重复所述处理，直到调整至多个作业机器人的动作从开始到停止均一致。由此，能够缩减作业人员的动作分析、编程所耗费的时间以及成本。
图2是示出图1所示的作业机器人以及传感器安装构件的一个示例的图。参考图2，对人型机器人20a～20d以及传感器安装构件30a～30d的结构进行说明。
如图2(a)所示，人型机器人20具备机器人主体21、机器人移动机构22、机器人用传感器23、机器人用传感器23所包含的机器人用拍摄装置24、信息处理装置25(参考图3)、以及臂部26。
人型机器人20可以通过在机器人主体21的下方设置的机器人移动机构22进行移动，例如从如管理控制装置的人型机器人20的外部接收指令，或者参考在信息处理装置25中记录的程序，向作业场所200的作业线201附近移动。
在机器人主体21，在其下方设置有机器人移动机构22，在其上方设置有臂部26，在臂部26的更加上方设置有机器人用传感器23。另外，在机器人主体21的内部，设置有信息处理装置25。
机器人移动机构22可以是任意结构，例如可以是设置有通过电动机驱动的旋转体的结构，也可以是模仿人的脚的形状以作为脚部的结构。
机器人用传感器23设置在人型机器人20的上方，优选设置在机器人主体21的顶部，换句话说，设置在人型机器人的头部附近，来探测作业人员400。另外，机器人用传感器23依次获取至少表示位于人型机器人20的周边的由人型机器人20进行作业的物体与臂部26之间的距离以及角度的信息。作为机器人用传感器23的一个示例，可以采用最高性能的相机、热成像相机、高像素/长焦/超广角/360度/高性能相机、雷达、固态激光雷达(LiDAR)、LiDAR、多颜色激光同轴位移计、视觉识别、或其它多种传感器组。这些也是机器人用拍摄装置24的一个示例。另外，除此之外，作为机器人用传感器23的另一个示例，列举出振动计、硬度计、细微声声音、超声波、振动、红外线、紫外线、电磁波、温度、湿度、定点(spot)人工智能(Artificial Intelligence，AI)天气预报、高精度多通道全球定位系统(GlobalPositioning System，GPS)、低空卫星信息、或长尾事件AI data等。
作为从机器人用传感器23获取的传感器信息的一个示例，列举出图像、距离、振动、热量、气味、颜色、声音、超声波、紫外线、红外线等，优选通过机器人用拍摄装置24获取图像、距离的信息。作为一个示例，机器人用传感器23(机器人用拍摄装置24)每纳秒实施这些探测。传感器信息例如用于对作业人员400的动作的动作捕捉、对作业场所200的3D地图、作业场所200中的作业人员400的移动或动作的导航、转向、速度等的分析。
臂部26转动自如地安装在机器人主体21的上方。另外，在臂部26的前端安装有用于把持物体的把持部(未图示)。通过把持部，传感器安装构件30与人型机器人20连接。
需要说明的是，人型机器人20也可以在机器人主体21的中央部分，作为一个示例在人型机器人的躯干部还设置有传感器。在该情况下，该传感器与在机器人主体的顶部附近设置的机器人用传感器23的高度位置不同。由于高度位置不同，因此传感器能够从不同的角度探测作业人员400的动作。
如图2(b)所示，传感器安装构件30具备安装构件主体31、安装构件移动机构32、安装构件用传感器33以及安装构件用拍摄装置34。传感器安装构件30可以通过在安装构件主体31的下方设置的安装构件移动机构32进行移动。
安装构件主体31例如是棒状或棍状的构件，其材料没有特别限定。安装构件主体31的长度比人型机器人20的高度(身高)长。在安装构件主体31的下方，优选在下端设置有安装构件移动机构32，在安装构件主体31的上方，优选在上端设置有安装构件用传感器33。
安装构件移动机构32具有例如设置有脚轮等旋转体的结构，辅助传感器安装构件30随着人型机器人20的移动而移动。需要说明的是，在本实施方式中，虽然并没有假设传感器安装构件30会自主移动，但也可以构成为，设置向安装构件移动机构32给予指令的安装构件控制部(未图示)，基于来自安装构件控制部的信号，使安装构件移动机构32活动。
安装构件用传感器33设置在安装构件主体31的上方，对作业人员400进行探测。另外，安装构件用传感器33依次获取至少表示人型机器人20的周边的、由人型机器人20进行作业的物体与臂部26之间的距离以及角度的信息。安装构件用传感器33的一个示例与机器人用传感器23同样，另外，安装构件用拍摄装置34的一个示例与机器人用拍摄装置24的一个示例同样。并且，获取的传感器信息的一个示例也与机器人用传感器23同样，传感器信息的探测时刻的一个示例也与机器人用传感器23同样。
安装构件用拍摄装置34包含在安装构件用传感器33中。另外，包含安装构件用拍摄装置34的安装构件用传感器33配置在比人型机器人20的高度(身高)高的位置。由此，安装构件用传感器33能够从比机器人用传感器23高的位置探测作业人员的动作。
安装构件用传感器33以其感测区域330为探测作业人员400的动作的方向的方式设置于安装构件主体31。对于机器人用传感器23，也以感测区域(未图示)为探测作业人员400的动作的方向的方式设置于机器人主体21。
如图1所示，4个人型机器人20a～20d以及4个传感器安装构件30a～30d分别配置为从不同的位置、高度或/以及朝向探测作业人员400的动作。这样，在本实施方式中，由于多个传感器配置为分别从不同的位置、高度或/以及朝向探测作业人员400的动作，因此能够在作业人员400的动作的学习中获取多种数据。需要说明的是，用于记录作业人员400的动作的机器人的个数不限于4台，也可以是1～3台或5台以上。
另外，在图1中，对于传感器安装构件30d，为了感测作业人员400的手部周围，设置有延长构件35d以及追加的安装构件用传感器33d2。延长构件35d是棒状的构件，配置为从安装构件用传感器33d1附近向水平方向延伸。另外，安装构件用传感器33d2设置在延长构件35d的前端，安装构件用传感器33d2从作业人员400的上部对作业人员400进行感测。通过安装构件用传感器33d2，能够易于进行对作业人员400的动作的探测。并且，在各人型机器人的机器人主体21也设置有与机器人用传感器23不同的传感器(拍摄装置)的情况下，多个人型机器人所具有的传感器数合计为8个，多个传感器用安装构件所具有的传感器合计为5个，总共通过13个传感器，能够对作业人员400的动作进行探测。
图3是示出作业机器人调整系统100中的功能结构的一个示例的框图。
作业机器人调整系统100构成为包括人型机器人20、传感器安装构件30以及管理控制装置60。人型机器人20分别经由无线通信或有线通信与管理控制装置60的相对机器人用通信部68以及传感器安装构件30连接，接收来自管理控制装置60的指令，并且获取来自传感器安装构件30的探测结果。需要说明的是，传感器安装构件30也可以构成为能够与管理控制装置60进行通信。另外，人型机器人20也可以设为并不是1台与管理控制装置60连接，而是多台与管理控制装置60连接。
人型机器人20具备机器人用传感器23、机器人用传感器23中包含的机器人用拍摄装置24、以及信息处理装置25。
根据本实施方式的信息处理装置25包括通过主机控制器1210相互连接的CPU(Central Processing Unit，中央处理器)1212、RAM(Random Access Memory，随机存取存储器)1214以及图形控制器1216。另外，信息处理装置25包括通信接口1222、存储装置1224、DVD驱动器、以及IC卡驱动器之类的输入/输出单元，它们经由输入/输出控制器1220与主机控制器1210连接。DVD驱动器可以是DVD-ROM驱动器以及DVD-RAM驱动器等。存储装置1224可以是硬盘驱动器以及固态驱动器等。另外，信息处理装置25包括ROM(Read Only Memory，只读存储器)1230以及键盘之类的输入/输出单元，它们通过输入/输出芯片1240与输入/输出控制器1220连接。
CPU 1212根据在ROM 1230以及RAM 1214内存储的程序进行动作，由此控制各单元。图形控制器1216从RAM 1214内提供的帧缓冲器等或其自身中，获取由CPU 1212生成的图像数据，使得图像数据显示在显示设备1218上。
通信接口1222经由网络与其他电子设备通信。存储装置1224存储被信息处理装置25内的CPU 1212使用的程序以及数据。DVD驱动器从DVD-ROM等读取程序或数据，向存储装置1224提供。IC卡驱动器从IC卡读取程序以及数据，和/或将程序以及数据向IC卡写入。
ROM 1230在其中存储启动时由信息处理装置25执行的引导程序等和/或依赖于信息处理装置25的硬件的程序。另外，输入/输出芯片1240还可以经由USB端口、并行端口、串行端口、键盘端口、鼠标端口等将多种输入/输出单元与输入/输出控制器1220连接。
程序由DVD-ROM或IC卡之类的计算机可读存储介质提供。程序被从计算机可读存储介质读取，被安装在也属于计算机可读存储介质的示例的存储装置1224、RAM 1214、或ROM 1230，并且被CPU 1212执行。在这些程序内描述的信息处理被信息处理装置25读取，并使得程序与上述多种类型的硬件资源之间协作。装置或方法可以是通过根据信息处理装置25的使用来实现信息的操作或处理而构成的。
例如，在通信是在信息处理装置25以及外部设备之间执行的情况下，CPU 1212可以执行加载到RAM 1214的通信程序，并基于在通信程序中描述的处理，指令通信接口1222进行通信处理。在CPU 1212的控制下，通信接口1222读取在RAM 1214、存储装置1224、DVD-ROM、或IC卡之类的记录介质内提供的发送缓冲区域所存储的发送数据，并将读取到的发送数据向网络发送，或将从网络接收到的接收数据向记录介质上提供的接收缓冲区域等写入。
另外，CPU 1212可以使存储装置1224、DVD驱动器(DVD-ROM)、IC卡等之类的外部记录介质中存储的文件或数据库的全部或必要的部分被读取到RAM 1214中，并对RAM 1214上的数据执行多种类型的处理。接着，CPU 1212可以将处理后的数据写回到外部记录介质。
多种类型的程序、数据、表以及数据库之类的多种类型的信息可以被存储在记录介质中以接受信息处理。CPU 1212可以对从RAM 1214读取到的数据执行各种类型的处理，各种类型的处理包括记载于本公开的各处的、由程序的指令序列指定的多种类型的操作、信息处理、条件判断、条件分支、无条件分支、信息的检索/替换等，并将结果写回RAM 1214。另外，CPU 1212可以检索记录介质内的文件、数据库等中的信息。
以上所说明的程序或软件模块可以存储在信息处理装置25上或信息处理装置25附近的计算机可读存储介质上。另外，在与专用通信网络或因特网连接的服务器系统内提供的硬盘或RAM之类的记录介质可以用作计算机可读存储介质，由此经由网络向信息处理装置25提供程序。
本实施方式中的流程图以及图中的框可以表示执行操作的过程的阶段或具有执行操作的作用的装置的“部”。特定阶段和“部”可以由专用电路、与计算机可读存储介质上存储的计算机可读指令一起供给的可编程电路、和/或与计算机可读存储介质上存储的计算机可读指令一起供给的处理器实现。专用电路可以包括数字和/或模拟硬件电路，也可以包括集成电路(Integrated Circuit，IC)和/或分立电路。可编程电路可以包括例如现场可编程门阵列(Field Programmable Gate Array，FPGA)和可编程逻辑阵列(FieldProgrammable Gate Array，PLA)等之类的可重新配置的硬件电路，该可重新配置的硬件电路包括逻辑与、逻辑或、逻辑异或、逻辑与非、逻辑或非和其它逻辑运算、触发器、寄存器以及存储元件。
计算机可读存储介质可以包括能够存储由适当设备执行的指令的任意的有形设备，其结果是，具有在有形设备存储的指令的计算机可读存储介质具备包括指令的产品，该指令能够被执行以创建用于执行流程图或框图中指定的操作的单元。作为计算机可读存储介质的例子，可以包括电子存储介质、磁存储介质、光存储介质、电磁存储介质、半导体存储介质等。作为计算机可读存储介质的更具体的例子，可以包括软盘(Floppy(注册商标)Disk)、磁盘、硬盘、随机存取存储器(Random Access Memory，RAM)、只读存储器(Read-OnlyMemory，ROM)、可擦除可编程只读存储器(Erasable Pprogrammable Read-Only Memory，EPROM或闪存)、电可擦可编程只读存储器(Electrically Erasable Programmable readonly memory，EEPROM)、静态随机存取存储器(Static Random-Access Memory，SRAM)、紧凑型光盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、数字多功能光盘(Digitalversatiledisc，DVD)、蓝光光盘(Blu-Ray(注册商标)Disk)、记忆棒、集成电路卡等。
计算机可读指令可以包括汇编指令、指令集架构(Instruction SetArchitecture，ISA)指令、机器指令、机器依赖指令、微代码、固件指令、状态设定数据、或以一种或多种编程语言的任意的组合描述的源代码或目标代码中的任一个，所述一种或多种编程语言包括Smalltalk(注册商标)、JAVA(注册商标)、C++等之类的面向对象的编程语言和“C”编程语言或同样的编程语言之类的传统的过程式编程语言。
计算机可读指令可以在本地或通过本地的局域网(Local Area Network，LAN)、因特网等之类的广域网(Wide Area Network，WAN)而被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或可编程电路，使通用计算机、专用计算机或其他可编程数据处理装置的处理器或可编程电路执行该计算机可读指令，以生成用于执行流程图或框图中指定的操作的单元。作为处理器的例子，包括计算机处理器、处理单元、微处理器、数字信号处理器、控制器，微控制器等。
传感器安装构件30与人型机器人20的臂部26连接，随着人型机器人20而移动。安装构件用传感器33(安装构件用拍摄装置34)探测物体的信息，经由安装构件用通信部(未图示)向信息处理装置25发送该信息。
管理控制装置60是向人型机器人20给予指令以实现作业调整机器人调整方法的控制装置。另外，管理控制装置60也可以获取在存储装置1224中存储的传感器信息。
管理控制装置60由CPU 60A、RAM 60B、ROM 60C、输入/输出部(I/O)60D、将它们连接的数据总线或控制总线等总线60E、以及对机器人用收发部68构成。在I/O 60D连接有记录介质62。
另外，在I/O 60D连接有对机器人用收发部68，对机器人用收发部68在人型机器人20的控制系统之间收发包含作业信息的动作控制信息。
(本公开所涉及的实施方式1的作业机器人调整方法的处理)
图4是示出本实施方式的作业机器人调整方法的处理的流程图的一个示例。
首先，根据管理控制装置60的指令，或者根据在信息处理装置25的存储装置1224中存储的程序的读取指令，信息处理装置25进行指示，使得作为移动式机器人发挥功能的人型机器人20向作业场所(作业环境)200移动(步骤S101)。移动是基于人型机器人20的机器人移动机构22的工作来进行的。此时，传感器安装构件30由于与人型机器人20连接，因此伴随人型机器人20的移动而移动。
在移动时，给予指令，使得机器人用传感器23(机器人用拍摄装置24)以及传感器安装构件用传感器33(安装构件用拍摄装置34)的感测区域(拍摄区域)分别从不同的朝向探测作业人员400。这种人型机器人20以及传感器安装构件30的配置例如是通过将预先作业场所200的楼层图记录在存储装置1224或/以及记录介质62中且使各人型机器人20等的位置与该记录的楼层图相对应来进行的。或者，人型机器人20等的配置是基于通过机器学习最优化后的位置来进行的。
接着，通过多个传感器23a～23d、33a～33d(多个拍摄装置24a～24d、34a～34d)，探测在作业人员400的作业线201上的动作(步骤S102)。各人型机器人20a～20d的信息处理装置25获取由各种传感器探测得到的传感器信息。所获取的传感器信息存储在存储装置1224中。
信息处理装置25基于在存储装置1224中存储的、换句话说基于记录的传感器信息，对作业人员400的动作进行学习(步骤S103)。在学习时，进行对作业人员400的动作的动作捕捉、对作业场所200的3D地图、作业人员400在作业场所200的移动或动作的导航、转向、速度等的分析，通过自动学习，对人型机器人20的最优动作进行学习。
作为接下来的步骤，信息处理装置25或管理控制装置60基于步骤S103的自动学习，指示作为作业机器人发挥功能的人型机器人20进行与作业人员40相同的动作(步骤S104)。具体地，机器人的臂部26和/或机器人移动机构22以与通过步骤S103的自动学习得到的作业人员400的作业(动作)相同的方式使人型机器人20重复进行基于步骤S103的自动学习的动作。将该动作例如进行数百次，作为一个示例进行300次左右，重复该处理直到人型机器人与通过自动学习得到的作业在动作、路线(移动)、速度等方面相同。
另外，在S104中，例如将自动学习到的作业(动作)的速度提高20倍速等，使人型机器人20进行基于步骤S103的自动学习的动作。这也重复进行动作例如数百次，一个示例重复300次左右，重复该处理直到人型机器人20以与通过自动学习得到的作业相同的动作、路线(移动)、速度进行动作。
进一步，信息处理装置25或管理控制装置60实施如下的处理：以使人型机器人(作业机器人)的动作与作业人员400的动作一致的方式进行调整(步骤S105)。具体地，信息处理装置25或管理控制装置60基于步骤S104中得到的结果，指示多个作业用机器人、在本实施方式中多个人型机器人20进行与作业人员400相同的动作。重复该处理，直到多个人型机器人20的动作同步。如果多个人型机器人20的动作同步，则一系列的作业机器人调整方法结束。
(实施方式1所涉及的作业机器人调整方法的作用效果)
根据本实施方式所涉及的作业机器人调整方法，作为移动式机器人的人型机器人20具备传感器，另一方面，人型机器人20根据预先存储的程序或机器学习结果，自动地向适当的位置移动。因此，与在作业场所200配置固定的传感器的情况相比，无需根据作业场所重新配置传感器或増加传感器数量，在短期间以短成本调节作业人员400的感测环境。
另外，人型机器人20与配置了传感器(拍摄装置)的传感器安装构件30连接。因此，在人型机器人20移动时，能够使多个传感器同时移动。
另外，在作业用机器人调整方法中，采用以下的结构：通过具有传感器的移动式机器人(人型机器人20)来感测作业人员400的作业(动作)。因此，也能够随着作业人员400的移动而使移动式机器人移动，并且能够在适于作业人员400的动作的位置进行感测。
另外，传感器安装构件30在比人型机器人的高度(身高)高的位置配置有安装构件用传感器30(安装构件用拍摄装置40)。因此，能够从更加俯视的位置感测作业人员400的动作。
另外，在作业用机器人调整方法中，采用以下的结构：多个人型机器人20a～20d以及多个传感器安装构件30a～30d分别配置在不同的位置，通过这些传感器感测作业人员400的动作。因此，能够从不同的位置感测作业人员400的一个作业，并且能够在进行自动学习的基础上一次性获取大量的所需的数据。作为结果，能够缩减作业人员400的动作分析、编程所耗费的时间以及成本。
另外，在作业用机器人调整方法中，基于传感器信息对作业人员400的动作进行自动学习，在自动学习时，进行对作业人员400的动作的动作捕捉、对作业场所200的3D地图、作业人员400在作业场所200的移动或动作的导航、转向、速度等的分析。因此，能够一次性从多角度分析作业人员400的动作，并且能够缩减作业人员400的动作分析、编程所耗费的时间以及成本。
另外，在作业用机器人调整方法中，采用以下的结构：使作业机器人(人型机器人20)基于学习进行动作，重复处理直到自动学习到的作业与作业机器人的动作成为在动作、路线(移动)、速度等方面上相同。由此，缩短确认作业机器人的动作与作业人员400的作业是否具有准确性的时间。
另外，在本实施方式中，移动式机器人与作业用机器人使用同一台机器人(人型机器人20)。因此，无需分工序制作机器人，缩短作业机器人调整的成本以及时间。
另外，在作业用机器人调整方法中，采用以下的结构：以使作业机器人(人型机器人20)的动作与作业人员的动作一致的方式进行调整。由此，确保作业机器人的动作与作业人员400的作业的准确性。
另外，在作业用机器人调整方法中，采用以下的结构：将自动学习的结果应用于多台作业机器人(人型机器人20)，重复处理直到多台作业机器人的动作相同。因此，更加确保作业机器人的动作与作业人员400的作业的准确性。
(传感器安装构件的变形例)
图5是传感器安装构件的变形例的一个示例。
传感器安装构件30'与传感器安装构件30的不同之处在于，在传感器安装构件30'设置有3个以上(在图5中为8个)的传感器安装构件用传感器33a'～33g'。
具体地，传感器安装构件30'具备安装构件主体30'、安装构件移动机构22'、多个传感器安装构件用传感器33a'～33g'(多个拍摄装置)、以及多个延长构件35a'、35b'。需要说明的是，在图5中，为了避免附图变得复杂，仅对延长构件的附图标记标记了35a'、35b'。
通过多个延长构件，传感器安装构件30'的外观呈蜘蛛腿那样的结构。另外，对于传感器安装构件30'，多个传感器安装构件用传感器33a'～33g'分别以不同的朝向和/或高度配置。
根据传感器安装构件30'，配置有多个传感器(拍摄装置)，可以通过安装构件用移动机构32'一次性使大量的传感器(拍摄装置)进行移动。由此，例如在对于配置多台传感器安装构件来说空间狭窄的作业场所中，也能够从多种高度、位置和/或朝向感测作业人员的作业。
以上，对本公开的实施方式进行了说明，但本公开并不限定于上述本公开的实施方式，可以在不脱离本公开的主旨的范围内进行多种变形或应用。
在本实施方式中，对移动式机器人(人型机器人)以及传感器安装构件具有多个的示例进行了说明。但是，不限于此，例如也可以使一台具备传感器的移动式机器人移动，记录作业人员的作业。
在本实施方式中，对S103的学习是通过自动学习进行的示例进行了说明。但是，学习不一定必须是自动学习，也可以是其它已知的机器学习，例如也可以是深度学习(DeepLearning)、无监督学习/有监督学习、强化学习等。
在本实施方式中，示出一台移动式机器人(人型机器人)连接一个传感器安装构件的结构。但是，并不限于此，例如也可以一台移动式机器人连接多个传感器安装构件。
在本实施方式中，对移动式机器人与作业机器人是相同的人型机器人的示例进行了说明。但是，移动式机器人与作业机器人也可以是不同的机器人。
(实施方式2)
图6A、图6B用于说明感测系统的图。
图6A是示出本公开所涉及的实施方式2的感测系统中的系统结构的一个示例的图。感测系统具备作为移动式机器人发挥功能的第一人型机器人2020a以及第二人型机器人2020b。需要说明的是，人型机器人的数量不限于2台。
各人型机器人2020a、2020b接收来自后面说明的管理控制装置2060(参考图8)的指示，或根据来自在各人型机器人2020a、2020b设置的各信息处理装置2025a、2025b(参考图8)的指示，向在作业场所200的作业线201上作业的作业人员400的附近移动。而且，感测系统通过第一人型机器人2020a所具备的第一传感器2023a(第一拍摄装置2024a)以及第二人型机器人2020b所具备的第二传感器2023b(第二拍摄装置2024b)，对作业人员400的规定动作进行感测。第二传感器2023b(第二拍摄装置2024b)从与第一传感器2023a(第一拍摄装置2024a)不同的位置感测作业人员400的规定动作。
图6B是示出图6A所示的移动式机器人的一个示例的图。作为移动式机器人发挥功能的人型机器人2020具备机器人主体2021、机器人移动机构2022、机器人用传感器2023、机器人用传感器2023所包含的机器人用拍摄装置2024、信息处理装置2025以及机器人臂部2026。
人型机器人2020可以通过在机器人主体2021的下方设置的机器人移动机构2022进行移动，例如从如管理控制装置2060的人型机器人2020的外部接收指示，或者参考在信息处理装置2025中存储的程序，向作业场所200的作业线201附近移动。
机器人主体2021具备机器人躯干2211和机器人头部2212。机器人躯干2211和机器人头部2212构成第一驱动机构，能够变更机器人用传感器2023(机器人用拍摄装置2024)的感测区域2230(拍摄区域2240)。驱动机构的结构没有特别限定，例如也可以构成为，使用未图示的伺服电动机，机器人头部2212相对于机器人躯干2211旋转规定角度，或机器人躯干2211相对于机器人移动机构22旋转规定角度。
在机器人躯干2211的下方设置有机器人移动机构2022，在机器人躯干2211的侧方设置有机器人臂部2026，在机器人头部2212设置有机器人用传感器2023。另外，在机器人主体2021的内部，设置有信息处理装置2025。
机器人移动机构2022可以是任意结构，例如可以是设置通过电动机驱动的旋转体的结构，也可以是模仿人的脚的形状以作为脚部的结构。作为一个示例，在将机器人移动机构2022设为模仿人的脚的形状的结构的情况下，在相当于人的关节的部位设置伺服电动机，通过使其旋转规定角度来构成移动机构。
机器人用传感器2023优选设置在机器人头部2212，对作业人员400进行感测。另外，机器人用传感器2023依次获取至少表示位于人型机器人2020的周边的由人型机器人2020进行作业的物体与机器人臂部2026之间的距离以及角度的信息。作为机器人用传感器2023的一个示例，可以采用最高性能的相机、热成像相机、高像素/长焦/超广角/360度/高性能相机、雷达、固态LiDAR、LiDAR、多颜色激光同轴位移计、视觉识别、或其它多种传感器组。这些也是机器人用拍摄装置2024的一个示例。另外，除此之外，作为机器人用传感器2023的另一个示例，列举出振动计、硬度计、微小振动计、超声波测量仪、振动测量仪、红外线测量仪、紫外线测量仪、电磁波测量仪、温度计、湿度计、定点AI天气预报、高精度多通道GPS、低空卫星信息、或长尾事件AI data等。
作为从机器人用传感器2023获取的传感器信息的一个示例，列举出图像、距离、振动、热量、气味、颜色、声音、超声波、电波、紫外线、红外线、湿度等，优选通过机器人用拍摄装置2024获取图像、距离的信息。作为一个示例，机器人用传感器2023(机器人用拍摄装置2024)每纳秒实施这些探测。传感器信息例如用于对作业人员400的动作的动作捕捉、对作业场所200的3D地图、作业场所200中的作业人员400的移动或动作的导航、转向、速度等的分析。
机器人臂部2026具备右臂臂部2261和左臂臂部2262。另外，右臂臂部2261具备右把持支承部2263以及右把持部2265，左臂臂部2262具备左把持支承部2264以及左把持部2266。右把持支承部2263是用于支承右把持部2265的机构，左把持支承部2264是用于支承左把持部2266的机构，作为一个示例，可以是模仿人的腕的形状的机构。把持部2265、2266是用于把持例如作业用的部件等的机构，作为一个示例，可以是模仿人的手的形状的机构。
机器人臂部2026构成第二驱动机构。驱动机构的结构没有特别限定，例如在机器人臂部2026模仿人的形状的情况下，采用将伺服电动机设置在相当于人的肩部的部位、相当于肘部的部位、相当于手腕的部位、相当于指关节的部位等各关节部位并使其旋转规定角度的结构。
需要说明的是，人型机器人2020也可以例如在机器人躯干部2211还设置有传感器(参考图13B)。在该情况下，该传感器与在机器人头部2212设置的机器人用传感器2023的高度位置不同。由于高度位置不同，因此传感器能够从不同的角度感测作业人员400的动作。
返回图6A，在作为机器人用传感器(机器人用拍摄装置)的第一传感器2023a(第一拍摄装置2024a)以及第二传感器2023b(第二拍摄装置2024b)感测作业人员400的动作的情况下，感测系统使各人型机器人2020a、2020b的移动机构或驱动机构进行工作，使得第二传感器2023b(第二拍摄装置2024b)从与第一传感器2023a(第一拍摄装置2024a)不同的位置感测作业人员400的规定动作，且使得各传感器的感测区域2230a、2230b(拍摄区域2240a、2240b)分别感测作业人员400的不同的规定部位。其中，各传感器的感测区域2230a、2230b(拍摄区域2240a、2240b)不需要该区域完全不同，只要在一部分区域也设定为规定部位不同即可。作为规定部位，例如列举出作业人员的头、腕、手腕等。另外，关于各传感器对规定部位的识别，既可以使用已知的图像识别技术，也可以通过学习部2663(参考图9)的学习来识别规定部位。
在本实施方式中，各人型机器人的移动机构2022或驱动机构进行工作，使得在第一人型机器人2020a设置的第一传感器2023a(第一拍摄装置2024a)的感测区域2230a(拍摄区域2240a)感测作业人员400的左臂，在第二人型机器人2020b设置的第二传感器2023b(第二拍摄装置2024b)的感测区域2230b(拍摄区域2240b)感测作业人员400的右臂。
在各传感器进行感测期间，感测系统根据由第一传感器2023a(第一拍摄装置2024a)获取的第一信息以及由第二传感器2023b(第二拍摄装置2024b)获取的第二信息，判定作业人员400在进行规定动作时可动的规定部位是否被感测到。规定动作存在多种情况，例如列举出部件的组装或部件的移动、产品的涂装、作业人员自身的移动等。
在判定为作业人员400在进行规定动作时可动的规定部位没有被感测到的情况下，感测系统使第一人型机器人2020a的第一移动机构2022a(参考图8)和/或第二人型机器人2020b的第二移动机构2022b(参考图8)工作，以使规定部位被感测到。
图7是示出本实施方式的感测系统中的移动式机器人移动时的一个示例的图。
如图7所示，通过作业人员400进行规定动作，例如从作业人员400的背部侧观察时，可能会出现作业人员400的左臂隐藏于背部这样的情况。因此，判定作业人员400在进行规定动作时可动的规定部位是否被感测到，在判定为规定部位没有被感测到的情况下，感测系统使第一人型机器人2020a的第一移动机构2022a工作，以使规定部位被感测到。由此，第一人型机器人2020a能够移动到易于第一传感器2023a(第一拍摄装置2024a)感测的位置，第一传感器22023a(第一拍摄装置2024a)能够充分地感测规定部位(在本实施方式中为左臂)。需要说明的是，在图7中，随着作业人员400的规定动作，右臂的位置也是不同的，因此也使感测到右臂的第二人型机器人2020b(第二传感器2023b(第二拍摄装置2024b))的第二移动机构2022b工作。
第一信息以及第二信息被存储时，感测系统基于被存储的第一信息以及第二信息，对作业人员的规定动作进行学习。该学习例如是通过自动学习进行的，该自动学习是通过自动地制作学习完成模型的学习、或使用学习完成模型而自动地进行判定/解析的学习。
感测系统参考学习结果以及作业人员400的作业手册信息和/或工序表信息，生成向进行作业人员400的作业的作业机器人给予动作指示的动作信息。由此，能够使作业机器人进行人的作业。需要说明的是，作业手册信息包括例如各作业项目的名称以及内容、作业项目的顺序、各作业项目所需的标准的作业时间的信息等。另外，工序表信息包括例如表示作业整体的作业时间或开始时刻/结束时刻的信息、表示各作业项目的作业时间或开始时刻/结束时刻的信息、表示各作业项目的作业人员的信息等。
图8是示出本实施方式的感测系统2100中的结构以及功能的一个示例的框图。
感测系统2100构成为包括第一人型机器人2020a、第二人型机器人2020b以及管理控制装置2060。第一人型机器人2020a以及第二人型机器人2020b分别通过无线通信或有线通信与管理控制装置2060的通信部2064连接，接收来自管理控制装置2060的指示，并且发送由各传感器获取的信息。另外，也可以是，第一人型机器人2020a与第二人型机器人2020b之间也通过无线通信或有线通信连接，收发由各传感器获取的信息、指示。
第一人型机器人2020a具备第一移动机构2022a、作为机器人用传感器的第一传感器2023a、第一传感器2023所包含的作为机器人用拍摄装置的第一拍摄装置2024a、第一信息处理装置2025a、第一驱动机构以及第二驱动机构。另外，第二人型机器人2020b也具备第二移动机构2022b、作为机器人用传感器的第二传感器2023b、第二传感器2023所包含的作为机器人用拍摄装置的第二拍摄装置2024b、第二信息处理装置2025b以及2个驱动机构。在本实施方式中，第一人型机器人2020a与第二人型机器人2020b的结构是相同的。
根据本实施方式的第一信息处理装置2025a包括通过主机控制器1210相互连接的CPU(Central Processing Unit，中央处理器)1212、RAM(Random Access Memory，随机存取存储器)1214以及图形控制器1216。另外，第一信息处理装置2025a包括通信接口1222、存储装置1224、DVD驱动器、以及IC卡驱动器之类的输入/输出单元，它们经由输入/输出控制器1220与主机控制器1210连接。DVD驱动器可以是DVD-ROM驱动器以及DVD-RAM驱动器等。存储装置1224可以是硬盘驱动器以及固态驱动器等。另外，第一信息处理装置2025a包括ROM(Read Only Memory，只读存储器)1230以及键盘之类的输入/输出单元，它们通过输入/输出芯片1240与输入/输出控制器1220连接。
CPU 1212根据在ROM 1230以及RAM 1214内存储的程序进行动作，由此控制各单元。图形控制器1216从RAM 1214内提供的帧缓冲器等或其自身中，获取由CPU 1212生成的图像数据，使得图像数据显示在显示设备1218上。
通信接口1222经由网络与其他电子设备通信。存储装置1224存储被第一信息处理装置2025a内的CPU 1212使用的程序以及数据。另外，存储装置1224也可以存储第一信息以及第二信息。DVD驱动器从DVD-ROM等读取程序或数据，向存储装置1224提供。IC卡驱动器从IC卡读取程序以及数据，和/或将程序以及数据向IC卡写入。
ROM 1230在其中存储启动时由第一信息处理装置2025a执行的引导程序等和/或依赖于第一信息处理装置2025a的硬件的程序。另外，输入/输出芯片1240还可以经由USB端口、并行端口、串行端口、键盘端口、鼠标端口等将多种输入/输出单元与输入/输出控制器1220连接。
程序由DVD-ROM或IC卡之类的计算机可读存储介质提供。程序被从计算机可读存储介质读取，被安装在也属于计算机可读存储介质的示例的存储装置1224、RAM 1214、或ROM 1230，并且被CPU 1212执行。在这些程序内描述的信息处理被第一信息处理装置2025a读取，并使得程序与上述多种类型的硬件资源之间协作。装置或方法可以是通过根据第一信息处理装置2025a的使用来实现信息的操作或处理而构成的。
例如，在通信是在第一信息处理装置2025a以及外部设备之间执行的情况下，CPU1212可以执行加载到RAM 1214的通信程序，并基于在通信程序中描述的处理，指令通信接口1222进行通信处理。在CPU 1212的控制下，通信接口1222读取在RAM 1214、存储装置1224、DVD-ROM、或IC卡之类的记录介质内提供的发送缓冲区域所存储的发送数据，并将读取到的发送数据向网络发送，或将从网络接收到的接收数据向记录介质上提供的接收缓冲区域等写入。
另外，CPU 1212可以使存储装置1224、DVD驱动器(DVD-ROM)、IC卡等之类的外部记录介质中存储的文件或数据库的全部或必要的部分被读取到RAM 1214中，并对RAM 1214上的数据执行多种类型的处理。接着，CPU 1212可以将处理后的数据写回到外部记录介质。
多种类型的程序、数据、表以及数据库之类的多种类型的信息可以被存储在记录介质中以接受信息处理。CPU 1212可以对从RAM 1214读取到的数据执行各种类型的处理，各种类型的处理包括记载于本公开的各处的、由程序的指令序列指定的多种类型的操作、信息处理、条件判断、条件分支、无条件分支、信息的检索/替换等，并将结果写回RAM 1214。另外，CPU 1212可以检索记录介质内的文件、数据库等中的信息。
以上所说明的程序或软件模块可以存储在第一信息处理装置2025a上或第一信息处理装置2025a附近的计算机可读存储介质上。另外，在与专用通信网络或因特网连接的服务器系统内提供的硬盘或RAM之类的记录介质可以用作计算机可读存储介质，由此经由网络向第一信息处理装置2025a提供程序。
目前为止所说明的内容对于第二信息处理装置2025b也是同样的。
管理控制装置2060是为了实现感测系统2100而向人型机器人2020a、2020b给予指示的控制装置。另外，管理控制装置2060获取在存储装置1224中存储的传感器信息(第一信息以及第二信息)。
管理控制装置2060由CPU 2060A、RAM 2060B、ROM 2060C、输入/输出部(I/O)2060D、将它们连接的数据总线或控制总线等总线2060E、以及通信部2068构成。在I/O2060D连接有存储介质2062。
另外，在I/O 2060D连接有通信部2064，通信部2064在与人型机器人2020的控制系统之间收发传感器信息或作业手册信息、工序表信息等。
图9是示出本实施方式的感测系统中的管理控制装置2060的功能的一个示例的框图。
管理控制装置2060具备存储介质2062、通信部2064以及处理部2066。
存储介质2062例如具备半导体存储装置、磁带装置、磁盘装置、或光盘装置中的至少一个。存储介质2062存储用于处理部2066中的处理的驱动程序、操作系统程序、应用程序、数据等。例如，存储介质2062存储第一信息以及第二信息。另外，存储介质2062存储作业人员400的作业手册信息和/或工序表信息。
通信部2064具有Wi-Fi(注册商标)等无线的通信接口电路和/或以太网(注册商标)等有线的通信接口电路。通信部2064通过人型机器人2020a、2020b以及接口电路收发各种信息。
处理部2066具有一个或多个处理器及其周边电路。处理部2066是对感测系统2100的整体的动作集中地控制的构件，例如是CPU。处理部2066参考在存储介质2062中存储的程序(驱动程序、操作系统程序、应用程序等)来执行处理。另外，处理部2066能够并行地执行多个程序(应用程序等)。
处理部2066具备判定部2661、控制部2662、学习部2663以及动作信息生成部2664。这些各部是通过由处理部2060所具备的处理器执行的程序来实现的功能模块。或者，这些各部也可以作为固件在处理部2066实现。
判定部2661根据第一信息以及第二信息，判定作业人员400在进行规定动作时可动的规定部位是否被感测到。另外，判定部2661判定由第一传感器2023a(第一拍摄装置2024a)感测的规定部位与由第二传感器2023b(第二拍摄装置2024b)感测的规定部位是否是相同的。
在通过判定部2661判定为作业人员400的规定部位没有被感测到的情况下，控制部2662使人型机器人2020a的第一移动机构2022a和/或人型机器人2020b的第二移动机构2022b工作，以使规定部位被感测到。另外，在判定为由第一传感器2023a(第一拍摄装置2024a)感测的规定部位与由第二传感器2023b(第二拍摄装置2024b)感测的规定部位是相同的情况下，控制部2662使人型机器人2020a的第一移动机构2022a和/或人型机器人2020b的第二移动机构2022b进行工作，使得由第一传感器2023a(第一拍摄装置2024a)感测的规定部位与由第二传感器2023b(第二拍摄装置2024b)感测的规定部位是不同的。
学习部2663参考在存储介质2062和/或存储装置1224中存储的第一信息以及第二信息，来对作业人员400的规定动作进行学习。
动作信息生成部2664参考学习部2663的学习结果，生成向作为作业机器人发挥功能的人型机器人2020给予动作指示的动作信息。需要说明的是，动作信息生成部2664在生成动作信息时，也可以参考作业手册信息和/或工序表信息。
(本公开所涉及的实施方式2的感测系统的处理)
图10是示出本实施方式的感测系统的处理的流程图的一个示例。
首先，根据管理控制装置2060的指示，或者根据在存储介质2062或存储装置1224中存储的程序的读取指示，信息处理装置2025进行指示，使得作为移动式机器人发挥功能的多台(在本实施方式中为2台)人型机器人2020向作业场所200移动(步骤S2101)。移动是基于各人型机器人2020的机器人移动机构2022的工作来进行的。
在移动时，给予指示，使得多台机器人用传感器2023(机器人用拍摄装置2024)的各感测区域2230(拍摄区域2240)分别从不同的朝向感测作业人员400。这样的多台人型机器人2020的配置例如是通过以下方式进行的：预先将作业场所200的楼层图存储在存储装置1224和/或存储介质2062中，将各人型机器人2020的位置与该存储的楼层图相对应。或者，人型机器人2020的配置也可以是通过机器学习基于最优化得到的位置进行的。
接着，使用多个传感器2023a、2023b(多个拍摄装置2024a、2024b)，对作业人员400的作业线201上的规定动作进行感测(步骤S2102)。在本实施方式中，控制部2662给予指示，使得第一传感器2023a(第一拍摄装置2024a)的感测区域2230a(拍摄区域2240a)感测作业人员400的左臂，第二传感器2023b(第二拍摄装置2024b)的感测区域2230b(拍摄区域2240b)感测作业人员400的右臂，各人型机器人的移动机构2022或驱动机构工作。
由第一传感器2023a(第一拍摄装置2024a)获取的第一信息以及由第二传感器2023b(第二拍摄装置2024b)获取的第二信息通过存储装置1224和/或通信部2064存储在存储介质2062中。存储装置1224以及存储介质2062作为存储部发挥功能。
在获取第一信息以及第二信息时，判定作业人员400的规定部位是否被感测到(步骤S2103)。在通过判定部2661判定为规定部位没有被感测到的情况下，控制部2662使第一移动机构2022a和/或第二移动机构2022b工作，以使规定部位被感测到。
管理控制装置2060参考在存储装置1224和/或存储介质2062中存储的、换句话说参考存储的第一信息以及第二信息来学习规定动作，参考学习结果，生成向作为作业机器人发挥功能的人型机器人2020给予动作指示的动作信息(步骤S2104)。
图11是示出图10的步骤S2103中所示的规定部位感测判定处理的更详细的处理的流程图的一个示例。
当第一信息以及第二信息被获取时(步骤S2201)，判定部2661根据第一信息以及第二信息，判定作业人员400在进行规定动作时可动的规定部位是否被感测到(步骤S2202、S2203)。作为一个示例，在接收指示、使得第一传感器2023a(第一拍摄装置2024a)感测作业人员400的左臂且第二传感器2023b(第二拍摄装置2024b)感测作业人员400的右臂时，有时会发生作业人员400在进行规定动作时左臂或右臂隐藏于背部这样的情况。因此，判定部2661参考第一信息以及第二信息，判定第一传感器2023a(第一拍摄装置2024a)是否感测到作为规定部位的左臂。
在判定为没有被感测到的情况下(S2203-“否”)，控制部2662使第一移动机构2022a和/或第二移动机构2022b进行工作，使得规定部位被感测到(步骤S2206)。作为一个示例，控制部2662使第一移动机构2022a工作，并使第一人型机器人2020a移动，使得第一传感器2023a(第一拍摄装置2024a)能够感测作为作业人员400的规定部位的一部分的左臂。另外，控制部2662使第二移动机构2022b工作，并使第二人型机器人2020b移动，使得第二传感器2023b(第二拍摄装置2024b)能够感测作为作业人员400的规定部位的其他部分。由此，能够避免由于作业人员400的规定动作或移动而规定部位没有被感测这样的情况，能够进行充分的感测。除此之外，各传感器分别感测规定部位的一部分和其他部分，因此能够高效地获取作业人员400的作业的学习所需的数据(信息)。
另一方面，在判定为被感测到的情况下(S2203-“是(YES)”)，判定部2661判定由第一传感器2023a(第一拍摄装置2024a)感测的规定部位与由第二传感器2023b(第二拍摄装置2024b)感测的规定部位是否相同(步骤S2204、S2205)。作为一个示例，在感测开始时，第一传感器2023a(第一拍摄装置2024a)感测作业人员400的左臂，第二传感器2023b(第二拍摄装置2024b)感测作业人员400的右臂，但可能会发生由于作业人员400的规定动作而感测相同的规定部位(例如背部)这样的情况。因此，判定部2661判定各传感器所感测的规定部位是否相同。
在判定为各传感器所感测的规定部位相同的情况下(S2205-“是”)、控制部2662使第一移动机构2022a和/或第二移动机构2022b进行工作，使得由第一传感器2023a(第一拍摄装置2024a)感测的规定部位与由第二传感器2023b(第二拍摄装置2024b)感测的规定部位不同(S2206)。作为一个示例，在第一传感器2023a(第一拍摄装置2024a)与第二传感器2023b(第二拍摄装置2024b)共同感测作业人员400的背部的情况下，控制部2662使第一移动机构2022a以及第二移动机构2022b进行工。作，使得第一传感器2023a(第一拍摄装置2024a)感测作业人员的左臂，并使得第二传感器2023b(第二拍摄装置2024b)感测作业人员的右臂。由此，能够避免多个传感器感测相同的规定部位的情况，能够高效地获取作业的学习所需的数据。
图12示出图10的步骤S2104中所示的动作信息生成处理的更详细的处理的流程图的一个示例。
在第一信息以及第二信息被存储在存储装置1224和/或存储介质2062中(步骤S2301)时，学习部2663参考在存储装置1224和/或存储介质2062中存储的第一信息以及第二信息，对作业人员400的动作进行学习(步骤S2302)。在学习过程中，进行对作业人员400的动作的动作捕捉、对作业场所200的3D地图、作业场所200中的作业人员400的移动或动作的导航、转向、速度等的分析，通过自动学习，学习也能够作为作业机器人发挥功能的人型机器人2020的最佳动作。由此，能够一次性从多角度分析作业人员400的规定动作，并且能够缩减作业人员400的动作分析、编程所耗费的时间以及成本。
之后，动作信息生成部2664参考学习部2663的学习结果(步骤S2303)，生成向作为作业机器人发挥功能的人型机器人2020给予动作指示的动作信息(步骤S2304)。动作信息生成部2664在生成动作信息时，也可以参考感测对象的作业手册信息和/或工序表信息(S2303)。通过参考生成的动作信息，作为作业机器人发挥功能的人型机器人2020能够进行作业人员400的作业(规定动作)。
(实施方式2所涉及的感测系统的作用效果)
根据本实施方式所涉及的感测系统2100，在作为感测对象的作业人员400在进行规定动作时可动的规定部位没有被感测到的情况下，第一移动机构2022a进行工作，使得规定部位被感测到，因此能够防止由于作业人员400的规定动作而规定部位没有被感测到这样的情况，能够进行充分的感测。
另外，根据本实施方式所涉及的感测系统2100，作为移动式机器人的人型机器人2020具备传感器2023(拍摄装置2024)，另一方面，人型机器人2020不仅根据预先存储的程序或机器学习结果，还根据感测结果，向适当位置移动。因此，与在作业场所200配置固定的传感器的情况相比，不会发生重新配置传感器或使传感器数量増加这样的情况，能够达成充分的感测环境。
另外，根据本实施方式所涉及的感测系统2100，多个(在本实施方式中为2台)移动式机器人各自具备移动机构，在作为感测对象的作业人员400在进行规定动作时可动的规定部位没有被感测到的情况下，各移动机构进行工作，使得规定部位被感测到，因此能够从多个不同的角度感测作业人员400的规定动作。
另外，根据本实施方式所涉及的感测系统2100，对于多个(在本实施方式中为2个)传感器2023(拍摄装置2024)，使移动机构进行工作，使得其中一个传感器2023感测作业人员400的规定部位的一部分，且使移动机构进行工作，使得其他传感器(拍摄装置)感测规定部位的其他部分，因此从多个不同的角度且针对多个规定部位感测作业人员400的规定动作。由此，多台移动式机器人能够协同移动的同时进行感测，能够进行充分的感测。
另外，根据本实施方式所涉及的感测系统2100，存储由各传感器获取的传感器信息(在本实施方式中，为第一信息以及第二信息)，参考存储的传感器信息来对作业人员400的规定动作进行学习，且参考学习结果，生成向作为作业机器人发挥功能的人型机器人给予动作指示的动作信息，因此生成反映了充分的感测结果的动作信息。由此，能够高效地制作能够进行作业人员400的作业的作业机器人(人型机器人2020)。
另外，根据本实施方式所涉及的感测系统2100，在生成动作信息时，在参考作业手册信息和/或工序表信息的基础上，生成动作信息。作业人员400不一定始终进行忠实于作业的动作，有时也会根据情况而进行不必要的动作，或者有时也会省略所需的动作。因此，通过参考作业手册信息和工序表信息，能够抑制由作业人员400进行的不需要或不适当的规定动作被反映在动作信息中。
(实施方式2的变形例1)
图13A、图13B是示出本实施方式的变形例1所涉及的感测系统的一个示例的图。
图13A是示出本公开所涉及的实施方式2的变形例1所涉及的感测系统中的系统结构的一个示例的图。在本感测系统中，其特征在于，在作为移动式机器人发挥功能的人型机器人2020c设置有相当于第二传感器的躯干传感器2023d(躯干拍摄装置2024d)。另外，在本感测系统中，管理控制装置2060并不是必须的，人型机器人2020c可以单独地构成感测系统。
图13B是示出图13A所示的移动式机器人的一个示例的图。作为移动式机器人发挥功能的人型机器人2020c具备机器人主体2021c、机器人移动机构2022c、头部传感器2023c、头部传感器2023c所包含的头部拍摄装置2024c、躯干传感器2023d、躯干传感器2023d所包含的躯干拍摄装置2024d、信息处理装置2025c以及机器人臂部。
机器人主体2021c具备机器人躯干2211和机器人头部2212。机器人躯干2211和机器人头部2212构成第一驱动机构2021c(参考图14)，能够变更头部传感器2023c(头部拍摄装置2024c)的感测区域2230c(拍摄区域2240c)以及躯干传感器2023d(躯干拍摄装置2024d)的感测区域2230d(拍摄区域2240d)。机器人移动机构2022c作为第一移动机构发挥功能。
头部传感器2023c(头部拍摄装置2024c)作为第一传感器发挥功能，躯干传感器2023d(躯干拍摄装置2024d)作为第二传感器发挥功能。头部传感器2023c(头部拍摄装置2024c)与躯干传感器2023d(躯干拍摄装置2024d)配置在高度位置不同的部位，因此作为第二传感器发挥功能的躯干传感器2023d(躯干拍摄装置2024d)从与头部传感器2023c(头部拍摄装置2024c)不同的位置感测感测对象的规定动作。
信息处理装置2025c的结构与第一人型机器人2200a的第一信息处理装置2025a同样。对于机器人臂部，也与第一人型机器人2020a同样。
图14是示出本感测系统中的移动式机器人的功能的一个示例的框图。在感测系统2100'中，信息处理装置2025c具备信息处理部2066c、通信接口1222c以及存储装置1224c，信息处理部2066c具备判定部2661c、控制部2662c、学习部2663c以及动作信息生成部2664c。即，在感测系统2100'中，信息处理部2066c进行与管理控制装置2060的处理部2066同样的处理。需要说明的是，信息处理装置2025c构成为能够与头部传感器2023c(头部拍摄装置2024c)、躯干传感器2023d(头部拍摄装置2024d)、第一移动机构2022c以及第一驱动机构2021c进行通信。
由于感测系统2100'的人型机器人2020c在信息处理装置2025c中具备信息处理部2066c，因此由人型机器人2020c单独构成感测系统。
参考图13，例如人型机器人2020c的控制部2662c进行指示，使得作为第一传感器发挥功能的头部传感器2023c(头部拍摄装置2024c)感测作业人员400的左臂，并使得作为第二传感器发挥功能的躯干传感器2023d(躯干拍摄装置2024d)感测作业人员400的右臂。而且，根据由各传感器获取的传感器信息(第一信息以及第二信息)，通过判定部2661c判定作业人员400在进行规定动作时可动的规定部位是否被感测到，在判定为规定部位没有被感测到的情况下，控制部2662c使第一移动机构2022c和/或第一驱动机构2021c进行工作，使得规定部位被感测到。
另外，判定部2661c判定由头部传感器2023c(头部拍摄装置2024c)感测的规定部位与由躯干传感器2023d(躯干拍摄装置2024d)感测的规定部位是否相同，在判定为通过各传感器(拍摄装置)感测的规定部位相同的情况下，控制部2662c使第一移动机构2022c和/或第一驱动机构2021c进行工作，使得通过各传感器(拍摄装置)感测的规定部位不同。
(变形例1的作用效果)
根据本感测系统，由于人型机器人2020c可以单独地构成感测系统，因此例如即使在无法进行与管理控制装置2060的通信的场所，也能够充分地进行感测。
另外，本人型机器人2020c具备多个(在本变形例中为2个)传感器(拍摄装置)，因此例如即使在对于感测作业人员400来说狭窄的场所，也能够充分地进行感测。
需要说明的是，在本感测系统中，作为移动式机器人发挥功能的人型机器人不一定必须是1台，也可以是多台。在该情况下，只要人型机器人的数量增加，传感器的数量以人型机器人数量的倍数增加，能够一次性获取大量的传感器信息。
(实施方式2的变形例2)
图15A、图15B是示出本实施方式的变形例2所涉及的感测系统的一个示例的图。
图15A是示出实施方式2的变形例2所涉及的感测系统中的系统结构的一个示例的图。在本感测系统中，其特征在于，除了作为移动式机器人发挥功能的人型机器人2020之外，还具备传感器安装构件2030。
图15B是示出图15A所示的传感器安装构件的一个示例的图。传感器安装构件2030具备安装构件主体2031、安装构件移动机构2032、安装构件用传感器2033以及安装构件用拍摄装置2034。传感器安装构件2030可以通过在安装构件主体2031的下方设置的安装构件移动机构2032进行移动。然而，也可以不设置安装构件移动机构2032。
安装构件主体2031例如是棒状或棍状的构件，其材料没有特别限定。安装构件主体2031的长度比人型机器人2020的高度(身高)长，例如是2.1米。在安装构件主体2031的下方，优选在下端设置安装构件移动机构2032，在安装构件主体2031的上方，优选在上端设置安装构件用传感器2033。
安装构件移动机构2032具有例如设置有脚轮等旋转体的结构，辅助传感器安装构件2030随着人型机器人2020的移动而移动。需要说明的是，在本实施方式中，虽然并没有假设传感器安装构件2030会自主移动，但也可以构成为，设置向安装构件移动机构2032给予指示的安装构件控制部(未图示)，基于来自安装构件控制部的信号，使安装构件移动机构2032活动。
还参考图15A，作为第二传感器发挥功能的安装构件用传感器2033(安装构件用拍摄装置2034)设置在安装构件主体2031的上方，对作业人员400进行感测。安装构件用传感器2033的一个示例与机器人用传感器2023同样，另外，安装构件用拍摄装置2034的一个示例也与机器人用拍摄装置2024的一个示例同样。除此之外，获取的传感器信息的一个示例也与机器人用传感器2023同样，传感器信息的感测时刻的一个示例也与机器人用传感器2023同样。
安装构件用拍摄装置2034包含在安装构件用传感器2033中。另外，包含安装构件用拍摄装置2034的安装构件用传感器2033配置在比人型机器人2020的高度(身高)高的位置。由此，安装构件用传感器2033能够从比机器人用传感器2023高的位置感测作业人员400的动作。
图16是示出实施方式2的变形例2所涉及的感测系统中的结构以及功能的一个示例的图。在感测系统2100”中，传感器安装构件2030构成为能够通过无线或有线与人型机器人2020的信息处理装置2025进行通信。然而，传感器安装构件2030也可以代替信息处理装置2025或者与信息处理装置2025一起，以能够与管理控制装置2060的通信部2064进行通信的方式构成。需要说明的是，感测系统2100”的人型机器人2020以及管理控制装置2060的结构与感测系统2100的人型机器人以及管理控制装置同样。
还参考图15，人型机器人2020通过作为构成第二驱动机构的机器人臂部2026的一部分的右把持部2265(或左把持部2266)，把持传感器安装构件2030。传感器安装构件2030的安装构件用传感器2033(安装构件用拍摄装置2034)可以通过第二驱动机构变更该感测区域2330(拍摄区域2340)。
在感测系统2100”中，例如控制部2662进行指示，使得作为第一传感器发挥功能的机器人传感器2023(机器人拍摄装置2224)感测作业人员400的左臂，并使得作为第二传感器发挥功能的安装构件用传感器2033(安装构件用拍摄装置2034)感测作业人员400的右臂。而且，根据由各传感器获取的传感器信息(第一信息以及第二信息)，由判定部2661判定作业人员400在进行规定动作时可动的规定部位是否被感测到，在判定为规定部位没有被感测到的情况下，控制部2662使第一移动机构2022和/或第二驱动机构2026进行工作，使得规定部位被感测到。另外，在由判定部2661判定为通过各传感器(拍摄装置)感测的规定部位相同的情况下，控制部2662使第一移动机构2022和/或第二驱动机构2026进行工作，使得通过各传感器(拍摄装置)感测的规定部位不同。
(变形例2的作用效果)
根据本感测系统，由于将安装构件用传感器2033(安装构件用拍摄装置2034)构成为第二传感器，因此例如即使在对于感测作业人员400来说狭窄的场所，也能够充分地进行感测。
另外，根据本感测系统，在传感器安装构件2030的比人型机器人2020的高度(身高)高的位置配置有安装构件用传感器2030(安装构件用拍摄装置2040)。因此，能够从更加俯视的位置感测作业人员400的动作，例如易于避免由于作业人员400的背部而难以进行感测这样的情况，能够高效地获取作业人员400的作业的学习所需的数据。
需要说明的是，在本感测系统中，作为移动式机器人发挥功能的人型机器人也可以不是1台，传感器安装用构件也可以不仅是1个。例如，通过两个保持部2265、2266保持2个传感器安装用构件的人型机器人2020也可以具备多台。在该情况下，也能够使传感器的数量増加，并能够一次性获取大量的传感器信息。
以上对本公开的实施方式进行了说明，但本公开并不限定于上述的本公开的实施方式，可以在不脱离本公开的主旨放入范围内进行多种变形或应用。
在本实施方式的感测系统2100中，对作为使用2台具备传感器和移动机构的移动式机器人(人型机器人)的示例进行了说明。但是，移动式机器人的数量也可以是2台以上。例如，如果具备传感器和移动机构的移动式机器人的台数较多，则可以配置多个传感器，使得分别从不同的位置、高度和/或朝向感测作业人员400的规定动作。由此，易于获取作业人员400的规定动作的学习所需的多种数据，并且能够以能够整体覆盖作业人员400的各规定部位的方式进行感测。
另外，在本实施方式中，对第一传感器(第一拍摄装置)感测作业人员的左臂且第二传感器(第二拍摄装置)感测作业人员的左臂的示例进行了说明。但是，作为感测对象的规定部位并不限于此，另外，各传感器所感测的规定部位也不限于此。例如，也可以，第一传感器(第一拍摄装置)感测作业人员的右手指尖，第二传感器(第二拍摄装置)感测作业人员的颈部的动作。
另外，在本实施方式中，对通过自动学习进行作业人员的规定动作的学习的示例进行了说明。但是，学习不一定必须是自动学习，也可以是其它已知的机器学习，例如也可以是深度学习(Deep Learning)、无监督学习/有监督学习、强化学习等。
另外，在本实施方式中，对移动式机器人与作业机器人是相同的人型机器人的示例进行了说明。在该情况下，可以将移动式机器人并用为作业机器人，能够节约机器人制作所涉及的费用以及成本。然而，移动式机器人与作业机器人也可以是不同的机器人。
另外，在本实施方式中，对将作业人员(人)用作感测对象进行了说明。但是，并不限于此，例如也可以将能够模仿作业人员的规定动作的机器人作为感测对象。
(实施方式3)
图17A、图17B是用于说明感测系统的图。
图17A是示出本公开所涉及的实施方式3的感测系统中的系统结构的一个示例的图。在感测系统中，具备作为移动式机器人发挥功能的第一人型机器人3020a以及第二人型机器人3020b、和作为作业机器人发挥功能的第三人型机器人3020c。需要说明的是，作为移动式机器人以及作业机器人发挥功能的人型机器人的数量并不限定于此。
第一人型机器人3020a接收来自后面说明的管理控制装置3060(参考图18)的指示，或来自通过在第一人型机器人3020a设置的第一信息处理装置3025a(参考图18)的指示，向在作业场所200的作业线201上作业的作业人员400的附近移动。感测系统通过第一人型机器人3020a所具备的第一机器人用传感器3023a(第一机器人用拍摄装置3024a)，对作业人员400的规定动作进行感测。规定动作存在多种情况，例如列举出部件的组装或部件的移动、产品的涂装、作业人员自身的移动等。需要说明的是，在对作业人员400进行感测时，可以使用已知的图像识别技术，也可以通过基于学习部2663(参考图19)的学习识别作业人员400或其规定动作。对后面说明的作业机器人的感测也是同样的。
感测系统参考由作为第一传感器发挥功能的第一机器人用传感器3023a(第一机器人用拍摄装置3024a)获取的第一信息，对作业人员400的规定动作进行学习。另外，感测系统参考规定动作的学习结果，生成向第三人型机器人3020c给予动作指示的动作控制信息。
第二人型机器人3020b接收来自管理控制装置3060的指示，或根据来自在第二人型机器人3020b设置的第二信息处理装置的指示，向在作业场所200的作业线201上作业的第三人型机器人3020c的附近移动。同样地，第三人型机器人3020c接收来自管理控制装置3060的指示，或根据来自在第三人型机器人3020c设置的第三信息处理装置的指示，向在作业场所200的作业人员400的附近移动。
感测系统参考动作控制信息来使第三人型机器人3020c工作。另外，感测系统通过第二人型机器人3020b所具备的第二机器人用传感器3023b(第二机器人用拍摄装置3024b)，对第三人型机器人3020c的机器人动作进行感测。由此，在本感测系统中，能够确认作为作业机器人发挥功能的第三人型机器人3020c的机器人动作。
感测系统将第一信息与由作为第二传感器发挥功能的第二机器人用传感器3023b(第二机器人用拍摄装置3024b)获取的第二信息进行比较，调整动作控制信息，使得第三人型机器人3020c的机器人动作与规定动作近似。由此，能够将第三人型机器人3020c的机器人动作调整为适当的动作。
图17B是示出图17A所示的人型机器人3020的一个示例的图。作为移动式机器人以及作业机器人发挥功能的人型机器人3020具备机器人主体3021、机器人移动机构3022、机器人用传感器3023、机器人用传感器3023所包含的机器人用拍摄装置3024、信息处理装置3025以及机器人臂部3026。
人型机器人3020可以通过在机器人主体3021的下方设置的机器人移动机构3022进行移动，例如从管理控制装置3060这样的人型机器人3020的外部接收指示，或者参考在信息处理装置3025中存储的程序，向作业场所200的作业线201附近移动。
机器人主体3021具备机器人躯干3211和机器人头部3212。机器人躯干3211和机器人头部3212构成躯干/头部驱动机构，能够变更机器人用传感器3023(机器人用拍摄装置3024)的感测区域3230(拍摄区域3240)。驱动机构的结构没有特别限定，例如也可以构成为，使用未图示的伺服电动机，机器人头部3212相对于机器人躯干3211旋转规定角度，或机器人躯干3211相对于机器人移动机构3022旋转规定角度。
在机器人躯干3211的下方设置有机器人移动机构3022，在机器人躯干3211的侧方设置有机器人臂部3026，在机器人头部3212设置有机器人用传感器3023。另外，在机器人主体3021的内部，设置有信息处理装置3025。
机器人移动机构3022可以是任意结构，例如可以是设置通过电动机驱动的旋转体的结构，也可以是模仿人的脚的形状以作为脚部的结构。作为一个示例，在将机器人移动机构3022设为模仿人的脚的形状的结构的情况下，在相当于人的关节的部位设置伺服电动机，通过使其旋转规定角度来构成移动机构。
作为第一传感器以及第二传感器发挥功能的机器人用传感器3023优选设置在机器人头部3212，对作业人员400或作业机器人进行感测。另外，机器人用传感器3023依次获取至少表示位于人型机器人3020的周边的由人型机器人3020进行作业的物体与机器人臂部3026之间的距离以及角度的信息。作为机器人用传感器3023的一个示例，可以采用最高性能的相机、热成像相机、高像素/长焦/超广角/360度/高性能相机、雷达、固态LiDAR、LiDAR、多颜色激光同轴位移计、视觉识别、或其它多种传感器组。这些也是机器人用拍摄装置3024的一个示例。另外，除此之外，作为机器人用传感器3023的另一个示例，列举出振动计、硬度计、微小振动计、超声波测量仪、振动测量仪、红外线测量仪、紫外线测量仪、电磁波测量仪、温度计、湿度计、定点AI天气预报、高精度多通道GPS、低空卫星信息、或长尾事件AIdata等。
作为从机器人用传感器3023获取的传感器信息的一个示例，列举出图像、距离、振动、热量、气味、颜色、声音、超声波、电波、紫外线、红外线、湿度等，优选通过机器人用拍摄装置3024获取图像、距离的信息。作为一个示例，机器人用传感器3023(机器人用拍摄装置3024)每纳秒实施这些探测。传感器信息例如用于对作业人员400的动作的动作捕捉、对作业场所200的3D地图、作业场所200中的作业人员400的移动或动作的导航、转向、速度等的分析。
机器人臂部3026具备右臂臂部3261和左臂臂部3262。另外，右臂臂部3261具备右把持支承部3263以及右把持部3265，左臂臂部3262具备左把持支承部3264以及左把持部3266。右把持支承部3263是用于支承右把持部3265的机构，左把持支承部3264是用于支承左把持部3266的机构，作为一个示例，可以是模仿人的腕的形状的机构。把持部3265、3266是用于把持例如作业用的部件等的机构，作为一个示例，可以是模仿人的手的形状的机构。
机器人臂部3026构成臂部驱动机构。驱动机构的结构没有特别限定，例如在机器人臂部3026模仿人的形状的情况下，采用将伺服电动机设置在相当于人的肩的部位、相当于肘部的部位、相当于手腕的部位、相当于指关节的部位等各关节部位并使其旋转规定角度的结构。
需要说明的是，人型机器人3020也可以例如在机器人躯干部3211还设置有传感器(参考图24B)。在该情况下，该传感器与在机器人头部3212设置的机器人用传感器3023的高度位置不同。由于高度位置不同，因此传感器能够从不同的角度感测作业人员400的动作。
图18是示出本实施方式的感测系统3100中的结构以及功能的一个示例的框图。
感测系统3100构成为包括第一人型机器人3020a、第二人型机器人3020b、第三人型机器人3020c以及管理控制装置3060。第一人型机器人3020a、第二人型机器人3020b以及第三人型机器人3020c分别经由无线通信或有线通信与管理控制装置3060的通信部3064连接，接收来自管理控制装置3060的指示，并且发送由各传感器获取的信息。需要说明的是，也可以，各人型机器人3020a～3020c之间也经由无线通信或有线通信连接，收发由各传感器获取的信息或指示。
作为移动式机器人发挥功能的第一人型机器人3020a具备第一移动机构3022a、作为第一传感器发挥功能的第一机器人用传感器3023a、第一机器人用传感器3023a所包含的第一机器人用拍摄装置3024a、第一信息处理装置3025a、第一躯干/头部驱动机构3021a以及第一臂部驱动机构3026a。在本实施方式中，作为移动式机器人发挥功能的第二人型机器人3020b以及作为作业机器人发挥功能的第三人型机器人3020c的结构也与第一人型机器人3020a相同。
根据本实施方式的第一信息处理装置3025a包括通过主机控制器1210相互连接的CPU(Central Processing Unit)1212、RAM(Random Access Memory)1214以及图形控制器1216。另外，第一信息处理装置3025a包括通信接口1222、存储装置1224、DVD驱动器、以及IC卡驱动器之类的输入/输出单元，它们经由输入/输出控制器1220与主机控制器1210连接。DVD驱动器可以是DVD-ROM驱动器以及DVD-RAM驱动器等。存储装置1224可以是硬盘驱动器以及固态驱动器等。另外，第一信息处理装置3025a包括ROM(Read Only Memory)1230以及键盘之类的输入/输出单元，它们通过输入/输出芯片1240与输入/输出控制器1220连接。
CPU 1212根据在ROM 1230以及RAM 1214内存储的程序进行动作，由此控制各单元。图形控制器1216从RAM 1214内提供的帧缓冲器等或其自身中，获取由CPU 1212生成的图像数据，使得图像数据显示在显示设备1218上。
通信接口1222经由网络与其他电子设备通信。存储装置1224存储被第一信息处理装置3025a内的CPU 1212使用的程序以及数据。另外，存储装置1224也可以存储第一信息以及第二信息。DVD驱动器从DVD-ROM等读取程序或数据，向存储装置1224提供。IC卡驱动器从IC卡读取程序以及数据，和/或将程序以及数据写入IC卡。
ROM 1230在其中存储启动时由第一信息处理装置3025a执行的引导程序等和/或依赖于第一信息处理装置3025a的硬件的程序。另外，输入/输出芯片1240还可以经由USB端口、并行端口、串行端口、键盘端口、鼠标端口等将多种输入/输出单元与输入/输出控制器1220连接。
程序由DVD-ROM或IC卡之类的计算机可读存储介质提供。程序被从计算机可读存储介质读取，被安装在也属于计算机可读存储介质的示例的存储装置1224、RAM 1214、或ROM 1230，并且被CPU 1212执行。在这些程序内描述的信息处理被第一信息处理装置3025a读取，并使得程序与上述多种类型的硬件资源之间协作。装置或方法可以是通过根据第一信息处理装置3025a的使用来实现信息的操作或处理而构成的。
例如，在通信是在第一信息处理装置3025a以及外部设备之间执行的情况下，CPU1212可以执行加载到RAM 1214的通信程序，并基于在通信程序中描述的处理，指令通信接口1222进行通信处理。在CPU 1212的控制下，通信接口1222读取在RAM 1214、存储装置1224、DVD-ROM、或IC卡之类的记录介质内提供的发送缓冲区域所存储的发送数据，并将读取到的发送数据向网络发送，或将从网络接收到的接收数据向记录介质上提供的接收缓冲区域等写入。
另外，CPU 1212可以使存储装置1224、DVD驱动器(DVD-ROM)、IC卡等之类的外部记录介质中存储的文件或数据库的全部或必要的部分被读取到RAM 1214中，并对RAM 1214上的数据执行多种类型的处理。接着，CPU 1212可以将处理后的数据写回到外部记录介质。
多种类型的程序、数据、表以及数据库之类的多种类型的信息可以被存储在记录介质中以接受信息处理。CPU 1212可以对从RAM 1214读取到的数据执行各种类型的处理，各种类型的处理包括记载于本公开的各处的、由程序的指令序列指定的多种类型的操作、信息处理、条件判断、条件分支、无条件分支、信息的检索/替换等，并将结果写回RAM 1214。另外，CPU 1212可以检索记录介质内的文件、数据库等中的信息。
以上所说明的程序或软件模块可以存储在第一信息处理装置2305a上或第一信息处理装置3025a附近的计算机可读存储介质上。另外，在与专用通信网络或因特网连接的服务器系统内提供的硬盘或RAM之类的记录介质可以用作计算机可读存储介质，由此经由第一信息处理装置3025a提供程序。
目前为止所说明的内容对于第二人型机器人3020b以及第三人型机器人3020c各自所具备的信息处理装置是同样的。
管理控制装置3060是向人型机器人3020a～3020c给予指示以实现感测系统3100的控制装置。另外，管理控制装置3060获取在存储装置1224中存储的传感器信息(第一信息以及第二信息)。
管理控制装置3060由CPU 3060A、RAM 3060B、ROM 3060C、输入/输出部(I/O)3060D、将它们连接的数据总线或控制总线等总线3060E、以及通信部3068构成。在I/O3060D连接有存储介质3062。
另外，在I/O 3060D连接有通信部3064，通信部3064在人型机器人3020的控制系统之间收发传感器信息或与作业人员400的规定动作相关的作业手册信息、工序表信息等。作业手册信息包括例如各作业项目的名称以及内容、作业项目的顺序、各作业项目所需的标准的作业时间的信息等。另外，工序表信息包括例如表示作业整体的作业时间或开始时刻/结束时刻的信息、表示各作业项目的作业时间或开始时刻/结束时刻的信息、表示各作业项目的作业人员的信息等。
图19是示出本实施方式的感测系统中的管理控制装置3060的功能的一个示例的框图。
管理控制装置3060具备存储介质3062、通信部3064以及处理部3066。
存储介质3062例如具备半导体存储装置、磁带装置、磁盘装置、或光盘装置中的至少一个。存储介质3062存储用于处理部3066中的处理的驱动程序、操作系统程序、应用程序、数据等。例如，存储介质3062存储第一信息以及第二信息。另外，存储介质3062存储作业人员400的作业手册信息。需要说明的是，存储介质3062也可以存储工序表信息。
通信部3064具有Wi-Fi(注册商标)等无线的通信接口电路和/或以太网(注册商标)等有线的通信接口电路。通信部3064通过人型机器人3020a～3020c以及接口电路收发各种信息。
处理部3066具有一个或多个处理器及其周边电路。处理部3066是对感测系统3100的整体的动作集中地控制的构件，例如是CPU。处理部3066参考在存储介质3062中存储的程序(驱动程序、操作系统程序、应用程序等)来执行处理。另外，处理部3066能够并行地执行多个程序(应用程序等)。
处理部3066具备判定部3661、调整部3662、学习部3663以及动作信息生成部3664。这些各部是通过由处理部3066所具备的处理器执行的程序来实现的功能模块。或者，这些各部也可以作为固件在处理部3066实现。
判定部3661判定是否存在与规定动作相关的手册信息，在存在作业手册信息的情况下，判定规定动作的学习结果是否与作业手册信息相反。
调整部3662将第一信息与第二信息进行比较，调整动作控制信息，使得第三人型机器人3020c的机器人动作与规定动作近似。优选的是，调整部3662在重叠期间调整动作控制信息，使得机器人动作与规定动作近似。重叠期间是第一感测期间与第二感测期间重合的期间。在此，第一感测期间是作为第一传感器发挥功能的第一机器人用传感器3023a(第一机器人用拍摄装置3024a)感测作业人员400来获取第一信息的期间。另外，第二感测期间是作为第二传感器发挥功能的第二机器人用传感器3023b(第二机器人用拍摄装置3024b)感测第三人型机器人3020c的机器人动作来获取第二信息的期间。即，重叠期间是第一信息的获取与第二信息的获取同时进行的期间。
学习部3663参考在存储介质3062和/或存储装置1224中存储的第一信息，对作业人员400的规定动作进行学习。该学习例如是通过自动学习进行的，该自动学习是通过自动地制作学习完成模型、或使用学习完成模型而自动地进行判定/解析的学习。
动作信息生成部3664参考学习部3663对作业人员400的规定动作的学习结果，生成向作为作业机器人发挥功能的第三人型机器人3020c给予动作指示的动作控制信息。动作信息生成部3664也可以在生成动作控制信息时参考作业手册信息。由此，即使在作业人员400的规定动作存在不适当的动作，该规定动作也不会被反映，能够使第三人型机器人3020c进行适当的动作(作业)。
图20是示出本感测系统3100中的各感测期间的一个示例的图。在本感测系统3100中，以产生重叠期间的方式第一传感器进行感测且第二传感器进行感测。这种感测是根据管理控制装置3060的指示进行的。
在本感测系统3100中，从作业人员400的规定动作的感测期间(即第一感测期间)使第三人型机器人3020c的机器人动作开始，并且在第三人型机器人3020c的机器人动作的感测期间(即第二感测期间)，调整部3662调整动作控制信息，使得该机器人动作与作业人员400的规定动作近似。由此，能够当场对作为作业用机器人的第三人型机器人3020c的机器人动作进行调整。
(本公开所涉及的实施方式3的感测系统的处理)
图21是示出本实施方式的感测系统的处理的流程图的一个示例。
首先，根据管理控制装置3060的指令，或者根据在存储介质3062或存储装置1224中存储的程序的读取指示，各人型机器人3020的信息处理装置进行指示，使得作为移动式机器人以及作业机器人发挥功能的多台(在本实施方式中为3台)人型机器人3020向作业场所200移动(步骤S3101)。移动是基于各人型机器人3020的机器人移动机构3022的工作来进行的。
在移动时，给予指示，使得第一人型机器人3020a所具备的第一机器人用传感器3023a(第一机器人用拍摄装置3024a)的感测区域3230a(拍摄区域3240a)将作业人员400作为对象，另一方面，第二人型机器人3020b所具备的第二机器人用传感器3023b(第二机器人用拍摄装置3024b)的感测区域3230b(拍摄区域3240b)将第三人型机器人3020c作为对象。这种多台人型机器人3020的配置例如是通过将预先作业场所200的楼层图存储在存储装置1224和/或存储介质3062中且使各人型机器人3020的位置与该存储的楼层图相对应来进行的。或者，人型机器人3020的配置也可以是基于通过机器学习最优化后的位置来进行的。
接着，通过第一机器人用传感器3023a(第一机器人用拍摄装置3024a)，感测在作业人员400的作业线201上的规定动作(步骤S3102)。在本实施方式中，处理部3066给予指示，使得第一传感器3023a(第一拍摄装置3024a)的感测区域3230a(拍摄区域3240a)将作业人员400的规定动作作为对象，接收该指示，第一信息处理装置3025a使第一人型机器人3020a的第一移动机构3022a、躯干/头部驱动机构3021a工作。
由第一机器人用传感器3023a(第一机器人用拍摄装置3024a)获取的第一信息通过存储装置1224和/或通信部3064存储在存储介质3062中。存储装置1224以及存储介质3062作为存储部发挥功能。
管理控制装置3060参考在存储部中存储的、换句话说参考存储的第一信息来学习规定动作，参考学习结果，生成向作为作业机器人发挥功能的第三人型机器人3020c给予动作指示的动作控制信息(步骤S3103)。S3103优选在第一感测期间被实施。由此，感测系统3100能够从为了进行作业而作业人员400进行规定动作的阶段使第三人型机器人3020c工作。
管理控制装置3060参考动作控制信息，使第三人型机器人3020c工作(步骤S3104)。第三人型机器人3020c根据通过动作控制信息给予的动作指示进行动作。
在基于动作控制信息的第三人型机器人3020c的机器人动作(S3104)的前后，通过第二机器人用传感器3023b(第二机器人用拍摄装置3024b)，对第三人型机器人3020c的机器人动作进行感测(步骤S3105)。由此，能够确认第三人型机器人3020c的机器人动作。
在本实施方式中，处理部3066给予指示，使得第二机器人用传感器3023b(第二机器人用拍摄装置3024b)的感测区域3230b(拍摄区域3240b)将第三人型机器人3020c的机器人动作作为对象，接收该指示，第二人型机器人3020b的第二信息处理装置使第二人型机器人3020b的第二移动机构、第二躯干/头部驱动机构工作。由第二传感器3023b(第二拍摄装置3024b)获取的第二信息存储在存储部中。
管理控制装置3060调整动作控制信息，使得机器人动作与规定动作近似(步骤S3106)。优选的是，步骤S3106在重叠期间被实施。为了实现这一点，管理控制装置3060同时进行第一传感器对第一信息的获取与第二传感器对第二信息的获取。由此，感测系统3100能够从作业人员400进行规定动作阶段进行调整，使第三人型机器人3020c的机器人动作与作业人员400的规定动作近似。
图22是示出图21的步骤S3103中所示的动作控制信息生成处理的更详细的处理的流程图的一个示例。
第一信息被存储在存储部中(步骤S3201)时，学习部3663参考在存储部中存储的第一信息，对作业人员400的规定动作进行学习(步骤S3202)。在学习过程中，进行对作业人员400的动作的动作捕捉、对作业场所200的3D地图、作业场所200中的作业人员400的移动或动作的导航、转向、速度等的分析，通过自动学习，学习也能够作为作业机器人发挥功能的人型机器人3020的最佳动作。由此，能够一次性从多角度分析作业人员400的规定动作，并且能够缩减作业人员400的动作分析、编程所耗费的时间以及成本。
在此，判定部3661判定是否存在与规定动作相关的手册动作信息(步骤S3203、S3204)。在没有与规定动作相关的手册动作信息的情况下(S3204-“否(NO)”)、动作信息生成部3664参考学习部3663对规定动作的学习结果(步骤S3208)，生成向第三人型机器人3020c给予动作指示的动作控制信息(步骤S3209)。然后，处理部3066参考动作控制信息，使第三人型机器人3020c工作(步骤S3210)。由此，第三人型机器人3020c能够进行与作业人员400的作业(规定动作)对应的机器人动作。
另一方面，在存在与规定动作相关的手册动作信息的情况下(S3204-“是”)，判定部3661判定规定动作的学习结果是否与作业手册信息相反(步骤S3205、S3206)。在通过判定部3661判定为规定动作的学习结果与作业手册信息相反的情况下(S3206-“是”)，有可能作业人员400的动作不适于作业手册信息所包含的作业项目的内容的动作。因此，在判定为规定动作的学习结果与作业手册信息相反的情况下，动作信息生成部3664在生成动作控制信息时不采用规定动作的学习结果(步骤S3208)。在该情况下，动作信息生成部3664参考作业手册信息(步骤S3207)，生成动作控制信息(步骤S3209)。然后，处理部3066参考动作控制信息，使第三人型机器人3020c工作(步骤S3210)。由此，能够抑制由作业人员400的不需要或不适当的规定动作反映在动作控制信息中，使第三人型机器人3020c进行适当的动作。
图23是示出图21的步骤S3106中所示的动作控制信息调整处理的更详细的处理的流程图的一个示例。
在第二信息被存储在存储部中(步骤S3301)时，调整部3662将第一信息与第二信息进行比较(步骤S3302)，调整动作控制信息，使得机器人动作与规定动作近似(步骤S3303)。即，进行调整，使得第三人型机器人3020c的机器人动作与作业人员400的规定动作近似。(实施方式3所涉及的感测系统的作用效果)
根据本实施方式所涉及的感测系统3100，将由感测作业人员400的规定动作的第一传感器获取的第一信息与由感测作业机器人的第二传感器获取的第二信息进行比较，调整动作控制信息，使得作业机器人的机器人动作与规定动作近似。由此，在确认作业机器人的机器人动作的同时，能够将作业机器人的动作调整为适当的动作。
作为一个示例，在作业人员400重复进行相同的规定动作这样的作业的情况下，首先，使作业人员400进行第一次的规定动作，感测系统3100获取第一信息。然后，在作业人员400进行第二次的规定动作期间，感测系统3100生成动作控制信息，使作业机器人工作。在此期间，由于作业人员400也进行第二次的规定动作，因此感测系统3100基于根据第二次的规定动作产生的第一信息，生成动作控制信息，调整动作控制信息，使得作业机器人的机器人动作与作业人员400的规定动作近似。通过重复该过程，感测系统3100能够调整机器人动作，使得作业机器人的机器人动作与作业人员400的规定动作近似。
另外，根据本实施方式所涉及的感测系统3100，由于管理控制装置3060同时进行第一信息的获取与第二信息的获取，因此能够提供一种能够一边对照作业机器人与作业人员400的规定动作、一边当场调整作业机器人的动作的系统。
另外，根据本实施方式所涉及的感测系统3100，在生成动作控制信息时，在参考作业手册信息的基础上，生成动作控制信息。作业人员400不一定始终进行忠实于作业的动作，有时也会根据情况而进行不必要的动作，或者有时也会省略所需的动作。因此，通过参考作业手册信息，能够使适当的动作信息反映在动作控制信息中，并能够进行调整以使作业机器人更加适当地进行动作。
进一步，根据本实施方式所涉及的感测系统3100，在生成动作控制信息时不使用与作业手册信息相反的学习部3663对规定动作的学习结果。由此，能够抑制由作业人员400进行的不需要或不适当的规定动作被反映在动作控制信息中。
(实施方式3的变形例1)
图24A、图24B是示出本实施方式的变形例1所涉及的感测系统的一个示例的图。
图24是示出本公开所涉及的实施方式3的变形例1所涉及的感测系统中的系统结构的一个示例的图。在本感测系统中，其特征在于，在作为作业机器人发挥功能的人型机器人3020'中，头部传感器3023'(头部拍摄装置3024”)作为第一传感器发挥功能，并且作为第二传感器发挥功能的躯干传感器3023”(躯干拍摄装置3024”)设置在人型机器人3020'。另外，在本感测系统中，管理控制装置3060并不是必须的，人型机器人3020'可以单独地构成感测系统。
图24B是示出图24A所示的作业机器人的一个示例的图。作为作业机器人发挥功能的人型机器人3020'除了具备躯干传感器3023”(躯干拍摄装置3024”)以外，其他结构与第一人型机器人3020a同样。具体地，人型机器人3020'具备机器人主体3021'、机器人移动机构3022'、头部传感器3023'、头部传感器3023'所包含的头部拍摄装置3024'、躯干传感器3023”、躯干传感器3023”所包含的躯干拍摄装置3024”、信息处理装置3025'以及机器人臂部3026'。
机器人主体3021'具备机器人躯干3211'和机器人头部3212'。机器人躯干3211'和机器人头部3212'构成躯干/头部驱动机构3021'(参考图25)，可以变更头部传感器3023'(头部拍摄装置3024')的感测区域3230'(拍摄区域3240')以及躯干传感器3023”(躯干拍摄装置3024”)的感测区域3230”(拍摄区域3240”)。
头部传感器3023'(头部拍摄装置3024')作为第一传感器发挥功能，躯干传感器3023”(躯干拍摄装置3024”)作为第二传感器发挥功能。躯干传感器3023”(躯干拍摄装置3024”)例如作为机器人动作感测机器人臂部3026'的动作。由于头部传感器3023'(头部拍摄装置3024')与躯干传感器3023”(躯干拍摄装置3024”)配置在高度位置不同的部位，因此作为第二传感器发挥功能的躯干传感器3023”(躯干拍摄装置3024”)从与头部传感器3023'(头部拍摄装置3024')不同的位置对感测对象的规定动作进行感测。需要说明的是，头部传感器3023'(头部拍摄装置3024')与躯干传感器3023”(躯干拍摄装置3024”)的作用也可以是互换的。
图25是示出本感测系统3100'中的作业机器人的功能的一个示例的框图。在感测系统3100'中，信息处理装置3025'具备信息处理部3066'、通信接口1222'以及存储装置1224'，信息处理部3066'具备判定部3661'、调整部3662'、学习部3663'以及动作信息生成部3664'。即，在感测系统3100'中，信息处理部3066'进行与管理控制装置3060的处理部3066同样的处理。需要说明的是，信息处理装置3025'构成为能够与头部传感器3023'(头部拍摄装置3024')、躯干传感器3023”(头部拍摄装置3024”)、第一移动机构3022'、头部/躯干驱动机构3021'以及臂部驱动机构3026'进行通信。
由于感测系统3100'的人型机器人3020'在信息处理装置3025'中具备信息处理部3066'，因此由人型机器人3020'单独构成感测系统。
参考图24，例如人型机器人3020'的调整部3662'进行指示，使得作为第一传感器发挥功能的头部传感器3023'(头部拍摄装置3024')感测作业人员400的规定动作，作为第二传感器发挥功能的躯干传感器3023”(躯干拍摄装置3024”)感测人型机器人3020'的臂部3026'。而且，根据由各传感器获取的传感器信息(第一信息以及第二信息)，通过学习部3663'的学习生成动作控制信息，调整部3662'将第一信息与第二信息进行比较，调整动作控制信息，使得人型机器人3020'的机器人动作与作业人员400的规定动作近似。
(变形例1的作用效果)
根据本感测系统，由于人型机器人3020'可以单独地构成感测系统，因此例如即使在无法进行与管理控制装置3060的通信的场所，也能够一边确认作业机器人的机器人动作，一边将机器人动作调整为适当的动作。
另外，本人型机器人3020'具备多个(在本变形例中为2个)传感器(拍摄装置)因此例如即使在对于感测作业人员400来说狭窄的场所，也能够一边确认作业机器人的机器人动作，一边将机器人动作调整适当的动作。
需要说明的是，在本感测系统中，作为作业机器人发挥功能的人型机器人不一定必须是1台，也可以是多台。在该情况下，只要人型机器人的数量增加，进行作业的人型机器人就会增加，能够一次性同时并行地处理大量的作业。
(实施方式3的变形例2)
图26是示出本实施方式的变形例2所涉及的感测系统中的系统结构的一个示例的图。
在本感测系统中，其特征在于，具有与变形例1中说明的人型机器人3020'相同的功能的第一人型机器人3020a感测作业人员400以及作为作业机器人发挥功能的第三人型机器人3020c。具体地，给予指示，使得第一人型机器人3020a的头部传感器3023a1(头部拍摄装置3024a1)的感测区域3230a1(拍摄区域3240a1)将第三人型机器人3020c作为对象，第一人型机器人3020a的躯干传感器3023a2(躯干拍摄装置3024a2)的感测区域3230a2(拍摄区域3240a2)将作业人员400作为对象。需要说明的是，在本感测系统中，若构成为第一人型机器人3020a与第三人型机器人3020c能够进行通信，则管理控制装置3060不一定是必须的。另外，头部传感器3023a1(头部拍摄装置3024a1)与躯干传感器3023a2(躯干拍摄装置3024a2)的各感测区域也可以是与上述内容相反的结构。
在本感测系统中，由于能够感测第三人型机器人3020c的整体，因此与变形例1相比，具有更加易于确认第三人型机器人3020c的机器人动作易于适当地进行控制的优点。
需要说明的是，变形例1在没有配置第一人型机器人3020a的空间的情况下，也具有比变形例2更加易于构成感测系统的优点。另外，不需要具备第一人型机器人3020a与第三人型机器人3020c之间的通信结构，且在能够整体省略人型机器人这一点上，也比变形例2具有优势。
(实施方式3的变形例3)
图27A、图27B是示出本实施方式的变形例3所涉及的感测系统的一个示例的图。
图27A是示出实施方式3的变形例3所涉及的感测系统中的系统结构的一个示例的图。在本感测系统中，其特征在于，作为移动式机器人发挥功能的第一人型机器人3020a把持传感器安装构件3030。
图27B是示出图27A所示的传感器安装构件的一个示例的图。传感器安装构件3030具备安装构件主体3031、安装构件移动机构3032、安装构件用传感器3033以及安装构件用拍摄装置3034。传感器安装构件3030可以通过在安装构件主体3031的下方设置的安装构件移动机构3032进行移动。然而，也可以不设置安装构件移动机构3032。
安装构件主体3031例如例如是棒状或棍状的构件，其材料没有特别限定。安装构件主体3031的长度比人型机器人3020的高度(身高)长，例如是2.1米。在安装构件主体3031的下方，优选在下端设置有安装构件移动机构3032，在安装构件主体3031的上方，优选在上端设置有安装构件用传感器3033。
安装构件移动机构3032具有例如设置有脚轮等旋转体的结构，辅助传感器安装构件3030随着人型机器人3020的移动而移动。需要说明的是，在本实施方式中，虽然并没有假设传感器安装构件3030会自主移动，但也可以构成为，设置向安装构件移动机构3032给予指示的安装构件控制部(未图示)，基于来自安装构件控制部的信号，使安装构件移动机构3032活动。
还参考图27A，作为第一传感器发挥功能的安装构件用传感器3033(安装构件用拍摄装置3034)设置在安装构件主体3031的上方，对作业人员400进行感测。安装构件用传感器3033的一个示例与机器人用传感器3023同样，另外，安装构件用拍摄装置3034的一个示例也与机器人用拍摄装置3024的一个示例同样。除此之外，获取的传感器信息的一个示例也与机器人用传感器3023同样，传感器信息的感测时刻的一个示例也与机器人用传感器3023同样。
安装构件用拍摄装置3034包含在安装构件用传感器3033中。另外，包含安装构件用拍摄装置3034的安装构件用传感器3033配置在比人型机器人3020的高度(身高)高的位置。由此，安装构件用传感器3033能够从比机器人用传感器3023高的位置感测作业人员400的动作。
图28是示出实施方式3的变形例3所涉及的感测系统中的结构以及功能的一个示例的图。在感测系统3100”中，传感器安装构件3030构成为能够通过无线或有线与第一人型机器人3020a的第一信息处理装置进行通信。然而，传感器安装构件3030也可以代替第一信息处理装置或者与第一信息处理装置一起，以能够与管理控制装置3060的通信部3064进行通信的方式构成。需要说明的是，感测系统3100”的第一人型机器人3020a、作为作业机器人发挥功能的第三人型机器人3020c以及管理控制装置3060的结构与感测系统3100的人型机器人以及管理控制装置同样。
还参考图27，第一人型机器人3020a通过作为构成臂部驱动机构的机器人臂部的一部分的右把持部(或左把持部)，把持传感器安装构件3030。传感器安装构件3030的安装构件用传感器3033(安装构件用拍摄装置3034)可以通过臂部驱动机构变更该感测区域3330(拍摄区域3340)。
在感测系统3100”中，例如管理控制装置3060的处理部进行指示，使得作为第一传感器发挥功能的安装构件用传感器3033(安装构件用拍摄装置3034)感测作业人员400，并使得作为第二传感器发挥功能的第一机器人用传感器3023a(第一机器人用拍摄装置3024a)感测第三人型机器人3020c。而且，根据由各传感器获取的传感器信息(第一信息以及第二信息)，通过管理控制装置3060的学习部的学习分别生成动作控制信息，管理控制装置3060的调整部将第一信息与第二信息进行比较，调整动作控制信息，使得第三人型机器人3020c的机器人动作与作业人员400的规定动作近似。需要说明的是，安装构件用传感器3033(安装构件用拍摄装置3034)与第一机器人用传感器3023a(第一机器人用拍摄装置3024a)的作用(作为第一传感器以及第二传感器的功能)也可以是互换的。即，也可以构成为，进行指示，使得第一机器人用传感器3023a(第一机器人用拍摄装置3024a)感测作业人员400，安装构件用传感器3033(安装构件用拍摄装置3034)感测第三人型机器人3020c。
(变形例3的作用效果)
根据本感测系统，构成为将安装构件用传感器3033(安装构件用拍摄装置3034)设为第二传感器，因此例如在感测作业人员400时，即使在对于设置多台作为移动式机器人发挥功能的人型机器人来说狭窄的场所，也能够一边确认作业机器人的动作，一边适当地进行控制。
另外，根据本感测系统，传感器安装构件3030在比人型机器人3020的高度(身高)高的位置配置有安装构件用传感器3030(安装构件用拍摄装置3040)。因此，能够从更加俯视的位置感测作业人员400(或者作业机器人)的动作，例如易于避免难以通过作业人员400或作业机器人的背部进行感测之类的情况，能够高效地获取作业人员400或作业机器人的作业的学习所需的数据。
需要说明的是，在本感测系统中，作为移动式机器人发挥功能的人型机器人也可以不是1台，传感器安装用构件也可以不是仅有一个。例如，也可以具备多台通过两个保持部3265、3266保持2个传感器安装用构件的人型机器人3020。在该情况下，也能够使传感器的数量増加，能够一次性获取大量的传感器信息。另外，作为作业机器人发挥功能的人型机器人也可以不是1台。
以上对本公开的实施方式进行了说明，但本公开并不限定于上述的本公开的实施方式，可以在不脱离本公开的主旨放入范围内进行多种变形或应用。
在本实施方式的感测系统3100中，对以下结构进行了说明：使用2台具备传感器和移动机构的移动式机器人(人型机器人)，使用1台作业机器人(人型机器人)，对每个作业人员400以及每台作业机器人分别配置1台移动式机器人。但是，移动式机器人与作业人员400以及作业机器人之间的关系并不限定于此。例如，若具备传感器和移动机构的移动式机器人的台数较多，则可以配置多个传感器，以使分别从不同的位置、高度和/或朝向感测作业人员400的规定动作以及作业机器人的机器人动作。由此，易于获取作业人员400的规定动作以及作业机器人的机器人动作的学习所需的多种数据，并且能够以整体覆盖作业人员400以及作业机器人的各动作的方式进行感测。
另外，在本实施方式中，对管理控制装置3060同时进行第一信息的获取与第二信息的获取的示例进行了说明。但是，管理控制装置3060也可以独立地进行第一信息的获取与第二信息的获取。换句话说，对于感测作业人员400以获取第一信息的期间即第一感测期间与感测第三人型机器人3020c的机器人动作以获取第二信息的期间即第二感测期间，也可以这些期间不重合。由此，也可以使作业机器人与作业人员400不同时并行地进行工作，能够进行与作业人员400的规定动作相应的灵活的机器人动作的调整。
另外，在本实施方式中，对通过自动学习进行作业人员的规定动作的学习的示例进行了说明。但是，学习不一定必须是自动学习，也可以是其它已知的机器学习，例如也可以是深度学习(Deep Learning)、无监督学习/有监督学习、强化学习等。
另外，在本实施方式中，对移动式机器人与作业机器人是相同的人型机器人的示例进行了说明。在该情况下，可以将移动式机器人并用为作业机器人，能够节约机器人制作所涉及的费用以及成本。然而，移动式机器人与作业机器人也可以是不同的机器人。
另外，在本实施方式中，对将作业人员(人)用作感测对象进行了说明。但是，并不限于此，例如也可以将能够模仿作业人员的规定动作的机器人作为感测对象。
在本实施方式中，对作业机器人在与作业人员400相同的作业场所200且在作业人员400的附近进行工作的示例进行了说明。但是，作业机器人也可以不配置在作业人员的附近，也可以不配置在与作业人员相同的作业场所。
(实施方式4)
图29A、图29B用于说明动作改变系统的图。
图29A是示出本公开所涉及的实施方式4的动作改变系统中的系统结构的一个示例的图。在本动作改变系统中，具备作为作业机器人发挥功能的第一人型机器人4020a以及第二人型机器人4020b、以及作为移动式机器人发挥功能的第三人型机器人4020c。需要说明的是，人型机器人的数量并不限定于此。
各人型机器人4020a～4020c接收来自后面说明的管理控制装置4060(参考图31)的指示，或根据来自在各人型机器人4020a～4020c设置的各信息处理装置的指示，在作业场所200的作业线201上作业的作业人员400的附近移动。而且，本动作改变系统通过第三人型机器人4020c所具备的第三机器人用传感器4023c(第三机器人用拍摄装置4024c)，感测作业人员400的规定动作。规定动作存在多种情况，例如列举出部件的组装或部件的移动、产品的涂装、作业人员自身的移动等。需要说明的是，在对作业人员400进行感测时，可以使用已知的图像识别技术，也可以通过基于学习部4663(参考图32)的学习识别作业人员400或其规定动作。
本动作改变系统基于使用第三机器人用传感器4023c(第三机器人用拍摄装置4024c)获取的与作业人员400的规定动作对应的感测信息，学习与作业人员400的规定动作对应的标准动作模型。标准动作模型是表示作业人员400的作业项目的内容、换句话说在作业项目中所指定的各动作的集合的模型。而且，本动作改变系统参考标准动作模型，生成将标准动作模型中的各动作的执行时间设定为比生成标准动作模型时的各动作的所需时间短的改变动作模型。
本动作改变系统根据来自管理控制装置4060的指示、或在各人型机器人中设置的信息处理装置的指示，使作为作业机器人发挥功能的第一人型机器人4020a以及第二人型机器人4020b工作。此时，本动作改变系统参考改变动作模型。
本动作改变系统参考设定为比各动作的执行时间短的改变动作模型使第一人型机器人4020a以及第二人型机器人4020b工作，由此能够提高各人型机器人的作业效率。作为一个示例，在作业场所200的1条作业线201上有6名作业人员且原本每个小时完成100个产品的情况下，在该线201上配置6台人型机器人后，使其以标准动作模型的10倍速度工作。换句话说，本动作改变系统参考设定为以标准动作模型中的动作的十分之一执行时间动作的动作改变模型，来使各人型机器人工作。由此，能够每个小时完成1000个产品。
需要说明的是，在本动作改变系统中，作为作业用机器人发挥功能的第一人型机器人4020a以及第二人型机器人4020b分别使用所具备的第一机器人用传感器4023a(第一机器人用拍摄装置4024a)以及第二机器人用传感器4023b(第二机器人用拍摄装置4024b)，感测各自的机器人动作。
作为一个示例，第一人型机器人4020a接收来自管理控制装置4060的指示，或根据第一信息处理装置4025a的指示，使第一躯干/头部驱动机构4021a(参考图31)工作，使得第一机器人用传感器4023a(第一机器人用拍摄装置4024a)的感测区域4230a(拍摄区域4240a)将第一人型机器人4020a的第一把持部4265a、4266a作为对象。同样地，第二人型机器人4020b也使第二躯干/头部驱动机构工作，使得第二机器人用传感器4023b(第二机器人用拍摄装置4024b)的感测区域4230b(拍摄区域4240b)将第二人型机器人4020b的第二把持部4265b、4266b设为对象。由此，能够确认各人型机器人的机器人动作是否为参考改变动作模型的机器人动作。
图29B是示出图29A所示的人型机器人的一个示例的图。作为作业机器人以及移动式机器人发挥功能的人型机器人4020具备机器人主体4021、机器人移动机构4022、机器人用传感器4023、机器人用传感器4023所包含的机器人用拍摄装置4024、信息处理装置4025以及机器人臂部4026。
人型机器人4020可以通过在机器人主体4021的下方设置的机器人移动机构4022进行移动，例如从管理控制装置4060这样的人型机器人4020的外部接收指示，或者参考在信息处理装置4025中存储的程序，向作业场所200的作业线201附近移动。
机器人主体4021具备机器人躯干4211和机器人头部4212。机器人躯干4211和机器人头部4212构成躯干/头部驱动机构，能够变更机器人用传感器4023(机器人用拍摄装置4024)的感测区域4230(拍摄区域4240)。驱动机构的结构没有特别限定，例如也可以构成为，使用未图示的伺服电动机，机器人头部4212相对于机器人躯干4211旋转规定角度，或机器人躯干4211相对于机器人移动机构4022旋转规定角度。
在机器人躯干4211的下方设置有机器人移动机构4022，在机器人躯干4211的侧方设置有机器人臂部4026，在机器人头部4212设置有机器人用传感器4023。另外，在机器人主体4021的内部，设置有信息处理装置4025。
机器人移动机构4022可以是任意结构，例如可以是设置通过电动机驱动的旋转体的结构，也可以是模仿人的脚的形状以作为脚部的结构。作为一个示例，在将机器人移动机构4022设为模仿人的脚的形状的结构的情况下，在相当于人的关节的部位设置伺服电动机，通过使其旋转规定角度来构成移动机构。
机器人用传感器4023优选设置在机器人头部4212，对作业人员400、其它作业机器人、或者人型机器人4020的机器人动作进行感测，优选对机器人臂部4026的机器人动作进行感测，进一步优选对把持部4255、4256的机器人动作进行感测。另外，机器人用传感器4023依次获取至少表示位于人型机器人4020的周边的由人型机器人4020进行作业的物体与机器人臂部4026之间的距离以及角度的信息。作为机器人用传感器4023的一个示例，可以采用最高性能的相机、热成像相机、高像素/长焦/超广角/360度/高性能相机、雷达、固态LiDAR、LiDAR、多颜色激光同轴位移计、视觉识别、或其它多种传感器组。这些也是机器人用拍摄装置4024的一个示例。另外，除此之外，作为机器人用传感器4023的另一个示例，列举出振动计、硬度计、微小振动计、超声波测量仪、振动测量仪、红外线测量仪、紫外线测量仪、电磁波测量仪、温度计、湿度计、定点AI天气预报、高精度多通道GPS、低空卫星信息、或长尾事件AI data。
作为从机器人用传感器4023获取的感测信息的一个示例，列举出图像、距离、振动、热量、气味、颜色、声音、超声波、电波、紫外线、红外线、湿度等，优选通过机器人用拍摄装置4024获取图像、距离的信息。作为一个示例，机器人用传感器4023(机器人用拍摄装置4024)每纳秒实施这些探测。感测信息例如用于对作业人员400的动作的动作捕捉、对作业场所200的3D地图、作业场所200中的作业人员400的移动或动作的导航、转向、速度等的分析。
机器人臂部4026具备右臂臂部4261和左臂臂部4262。另外，右臂臂部4261具备右把持支承部4263以及右把持部4265，左臂臂部4262具备左把持支承部4264以及左把持部4266。右把持支承部4263是用于支承右把持部4265的机构，左把持支承部4264是用于支承左把持部4266的机构，作为一个示例，可以是模仿人的腕的形状的机构。把持部4265、4266是用于把持例如作业用的部件等的机构，作为一个示例，可以是模仿人的手的形状的机构。
机器人臂部4026构成臂部驱动机构。驱动机构的结构没有特别限定，例如在机器人臂部4026模仿人的形状的情况下，采用将伺服电动机设置在相当于人的肩部的部位、相当于肘部的部位、相当于手腕的部位、相当于指关节的部位等各关节部位并使其旋转规定角度的结构。
需要说明的是，人型机器人4020也可以例如在机器人躯干部4211还设置有传感器(参考图35B)。在该情况下，该传感器与在机器人头部4212设置的机器人用传感器4023的高度位置不同。由于高度位置不同，因此传感器能够从不同的角度感测作业人员400的动作。
图30是示出本动作改变系统中的标准动作模型与动作改变模型之间的关系的一个示例的图。
如上所述，标准动作模型是表示作业项目中所指定的各动作的集合的模型，具备多个动作。作为一个示例，作业项目中所指定的动作合计有26个，将各动作设为动作A、动作B、动作C～动作Z。
与此相对，动作改变模型是将标准动作模型中的各动作的执行时间设定为比生成标准动作模型时的各动作的所需时间短的模型。例如，作为标准动作模型中的各动作的所需时间，设为在动作A中耗费TA秒，在动作B中耗费TB秒。在该情况下，在动作改变模型中，对于相同的动作A将比TA秒短的tA秒设定为执行时间，对于动作B将比TB秒短的tB秒设定为执行时间。对于动作C至动作Z也同样。由此，使用动作改变模型执行作业机器人的情况下的执行时间能够比使用标准动作模型执行作业机器人的情况短。
需要说明的是，在动作改变模型中，对于至少一个动作，只要将该动作的执行时间设为小于标准动作模型中的动作的所需时间即可，对于标准动作模型所包含的所有的各动作，也可以将其执行时间设为小于标准动作模型中的动作的所需时间。换句话说，对于至少一个动作，若将该动作的执行时间设为小于标准动作模型中的动作的所需时间，则将标准动作模型中的各动作的执行时间设定为比生成标准动作模型时的各动作的所需时间短。
图31是示出本实施方式的动作改变系统4100中的结构以及功能的一个示例的框图。
动作改变系统4100构成为包括第一人型机器人4020a、第二人型机器人4020b、第三人型机器人4020c以及管理控制装置4060。第一人型机器人4020a、第二人型机器人4020b以及第三人型机器人4020c分别经由无线通信或有线通信与管理控制装置4060的通信部4064连接，接收来自管理控制装置4060的指示，并且发送由各传感器获取的信息。需要说明的是，也可以是，各人型机器人4020a～4020c之间也通过无线通信或有线通信连接，收发由各传感器获取的信息、指示。
作为作业机器人发挥功能的第一人型机器人4020a具备第一躯干/头部驱动机构4021a、第一机器人移动机构4022a、第一机器人用传感器4023a、第一机器人用传感器4023a所包含的第一机器人用拍摄装置4024a、第一信息处理装置4025a以及第一臂部驱动机构4026a。在本实施方式中，作为作业机器人发挥功能的第二人型机器人4020b以及作为移动式机器人发挥功能的第三人型机器人4020c的结构与第一人型机器人4020a相同。
根据本实施方式的第一信息处理装置4025a包括通过主机控制器1210相互连接的CPU(Central Processing Unit)1212、RAM(Random Access Memory)1214以及图形控制器1216。另外，第一信息处理装置25a包括通信接口1222、存储装置1224、DVD驱动器、以及IC卡驱动器之类的输入/输出单元，它们经由输入/输出控制器1220与主机控制器1210连接。DVD驱动器可以是DVD-ROM驱动器以及DVD-RAM驱动器等。存储装置1224可以是硬盘驱动器以及固态驱动器等。另外，第一信息处理装置4025a包括ROM(Read Only Memory)1230以及键盘之类的输入/输出单元，它们通过输入/输出芯片1240与输入/输出控制器1220连接。
CPU 1212根据在ROM 1230以及RAM 1214内存储的程序进行动作，由此控制各单元。图形控制器1216从RAM 1214内提供的帧缓冲器等或其自身中，获取由CPU 1212生成的图像数据，使得图像数据显示在显示设备1218上。
通信接口1222经由网络与其他电子设备通信。存储装置1224存储被第一信息处理装置4025a内的CPU 1212使用的程序以及数据。另外，存储装置1224也可以存储感测信息。DVD驱动器从DVD-ROM等读取程序或数据，向存储装置1224提供。IC卡驱动器从IC卡读取程序以及数据，和/或将程序以及数据向IC卡写入。
ROM 1230在其中存储启动时由第一信息处理装置4025a执行的引导程序等、和/或依赖于第一信息处理装置4025a的硬件的程序。另外，输入/输出芯片1240还可以经由USB端口、并行端口、串行端口、键盘端口、鼠标端口等将多种输入/输出单元与输入/输出控制器1220连接。
程序由DVD-ROM或IC卡之类的计算机可读存储介质提供。程序被从计算机可读存储介质读取，被安装在也属于计算机可读存储介质的示例的存储装置1224、RAM 1214、或ROM 1230，并且被CPU 1212执行。在这些程序内描述的信息处理被第一信息处理装置4025a读取，并使得程序与上述多种类型的硬件资源之间协作。装置或方法可以是通过根据第一信息处理装置4025a的使用来实现信息的操作或处理而构成的。
例如，在通信是在第一信息处理装置4025a以及外部设备之间执行的情况下，CPU1212可以执行加载到RAM 1214的通信程序，并基于在通信程序中描述的处理，指令通信接口1222进行通信处理。在CPU 1212的控制下，通信接口1222读取在RAM 1214、存储装置1224、DVD-ROM、或IC卡之类的记录介质内提供的发送缓冲区域所存储的发送数据，并将读取到的发送数据向网络发送，或将从网络接收到的接收数据向记录介质上提供的接收缓冲区域等写入。
另外，CPU 1212可以使存储装置1224、DVD驱动器(DVD-ROM)、IC卡等之类的外部记录介质中存储的文件或数据库的全部或必要的部分被读取到RAM 1214中，并对RAM 1214上的数据执行多种类型的处理。接着，CPU 1212可以将处理后的数据写回到外部记录介质。
多种类型的程序、数据、表、以及数据库之类的多种类型的信息可以被存储记录介质中以接受信息处理。CPU 1212可以对从RAM 1214读取到的数据执行各种类型的处理，各种类型的处理包括记载于本公开的各处的、由程序的指令序列指定的多种类型的操作、信息处理、条件判断、条件分支、无条件分支、信息的检索/替换等，并将结果写回RAM 1214。另外，CPU 1212可以检索记录介质内的文件、数据库等中的信息。
以上所说明的程序或软件模块可以存储在第一信息处理装置4025a上或第一信息处理装置4025a附近的计算机可读存储介质上。另外，在与专用通信网络或因特网连接的服务器系统内提供的硬盘或RAM之类的记录介质可以用作计算机可读存储介质，由此经由网络向第一信息处理装置4025a提供程序。
目前为止所说明的内容对于第二人型机器人4020b以及第三人型机器人4020c各自具备的各信息处理装置也是同样的。
管理控制装置4060是为了实现动作改变系统4100而向各人型机器人4020a～4020c给予指示的控制装置。另外，管理控制装置4060获取在各信息处理装置的存储装置中存储的感测信息。
管理控制装置4060由CPU 4060A、RAM 4060B、ROM 4060C、输入/输出部(I/O)4060D、将它们连接的数据总线或控制总线等总线4060E、以及通信部4068构成。在I/O4060D连接有存储介质4062。
另外，在I/O 4060D连接有通信部4064，通信部4064在与人型机器人4020的控制系统之间收发传感器信息或作业手册信息、工序表信息等。作业手册信息包括例如各作业项目的名称以及内容、作业项目的顺序、各作业项目所需的标准的作业时间的信息等。另外，工序表信息包括例如表示作业整体的作业时间或开始时刻/结束时刻的信息、表示各作业项目的作业时间或开始时刻/结束时刻的信息、表示各作业项目的作业人员的信息等。
图32是示出本实施方式的动作改变系统中的管理控制装置4060的功能的一个示例的框图。
管理控制装置4060具备存储介质4062、通信部4064以及处理部4066。
存储介质4062例如具备半导体存储装置、磁带装置、磁盘装置、或光盘装置中的至少一个。存储介质4062存储用于处理部4066中的处理的驱动程序、操作系统程序、应用程序、数据等。例如，存储介质4062存储感测信息。另外，存储介质4062存储作业人员400的作业手册信息和/或工序表信息。
通信部4064具有Wi-Fi(注册商标)等无线的通信接口电路和/或以太网(注册商标)等有线的通信接口电路。通信部4064通过人型机器人4020a、4020b以及接口电路收发各种信息。
处理部4066具有一或多个处理器及其周边电路。处理部4066是对动作改变系统4100的整体的动作集中地控制的构件，例如是CPU。处理部4066参考在存储介质4062中存储的程序(驱动程序、操作系统程序、应用程序等)来执行处理。另外，处理部4066能够并行地执行多个程序(应用程序等)。
处理部4066具备判定部4661、控制部4662、学习部4663以及模型生成部4664。这些各部是通过由处理部4066所具备的处理器执行的程序来实现的功能模块。或者，这些各部也可以作为固件在处理部4066实现。
在感测对象存在多个且进行感测的传感器存在多个的情况下，判定部4661判定多个传感器是否分别对不同的感测对象进行感测。在进行这种该判定时，可以使用已知的图像识别技术，也是参考由学习部4663进行的学习的方法。
控制部4662参考通过模型生成部4664生成的改变动作模型，使作为作业机器人发挥功能的第一人型机器人4020a和/或第二人型机器人4020b工作。优选的是，控制部4662参考改变动作模型，使各人型机器人的机器人移动机构、躯干/头部驱动机构和/或臂部驱动机构工作。
学习部4663基于使用第三机器人用传感器4023c(第三机器人用拍摄装置4024c)获取的与作业人员400的规定动作对应的感测信息，学习与作业人员400的规定动作对应的标准动作模型。该学习例如是通过自动学习进行的，该自动学习是通过自动地制作学习完成模型、或使用学习完成模型而自动地进行判定/解析的学习。需要说明的是，学习部4663也可以在生成标准动作模型时参考作业手册信息和/或工序表信息。由此，作业人员400的规定动作存在不适当的动作，该规定动作也不会被反映，能够使各人型机器人4020进行适当的动作(作业)。
模型生成部4664参考标准动作模型，生成将标准动作模型中的各动作的执行时间设定为比生成标准动作模型时的各动作的所需时间短的改变动作模型。
(本公开所涉及的实施方式4的动作改变系统的处理)
图33是示出本实施方式的动作改变系统的处理的流程图的一个示例。
首先，根据管理控制装置4060的指令，或者根据在存储介质4062或第三人型机器人4020c的第三信息处理装置的存储装置中存储的程序的读取指令，第三人型机器人4020c的第三信息处理装置进行指示，使得作为移动式机器人发挥功能的第三人型机器人4020c向作业场所200移动(步骤S4101)。移动是基于人型机器人4020c的第三机器人移动机构的工作来进行的。需要说明的是，对于作为作业机器人发挥功能的人型机器人4020a、4020b，在此时也可以给予移动指示。
在移动时，给予指示，使得第三人型机器人4020c的第三机器人用传感器4023c(第三机器人用拍摄装置4024c)的感测区域4230c(拍摄区域4240c)将作业人员400作为对象。这样的第三人型机器人4020c的配置例如是通过以下方式进行的：预先将作业场所200的楼层图存储在第三人型机器人4020c的存储装置和/或存储介质4062中，将第三人型机器人4020c的位置与该存储的楼层图相对应。或者，第三人型机器人4020c的配置也可以是通过机器学习基于最优化得到的位置进行的。同样的情况也适用于第一人型机器人4020a以及第二人型机器人4020b的配置。
接着，使用第三机器人用传感器4023c(第三机器人用拍摄装置4024c)，对作业人员400的作业线201上的规定动作进行感测(步骤S4102)。在本实施方式中，控制部4662给予指示，使得第三机器人用传感器4023c(第三机器人用拍摄装置4024c)的感测区域4230c(拍摄区域4240c)将作业人员400作为对象，第三人型机器人4020c的第三机器人移动机构或各驱动机构工作。
由第三机器人用传感器4023c(第三机器人用拍摄装置4024c)获取的感测信息通过第三人型机器人4020c的存储装置和/或通信部4064存储在存储介质4062中。各人型机器人的存储装置以及存储介质4062作为存储部发挥功能。
管理控制装置4060基于在存储部存储的、换句话说基于被存储的感测信息，学习与作业人员400的规定动作对应的标准动作模型，参考标准动作模型，生成将标准动作模型中的各动作的执行时间设定为比生成标准动作模型时的各动作的所需时间短的改变动作模型(步骤S4103)。作为一个示例，在标准动作模型中的一个动作的所需时间为10秒的情况下，在改变动作模型中，该动作的执行时间设定为5秒。
控制部4662参考所生成的改变动作模型，使作为作业机器人发挥功能的第一人型机器人4020a以及第二人型机器人4020b工作(步骤S4104)。通过参考所生成的改变动作模型，第一人型机器人4020a以及第二人型机器人4020b能够使作业人员400的作业(规定动作)比该规定动作更快地进行。例如，根据前面所示的一个示例，在改变动作模型中，设定为以标准动作模型中的动作的一半执行时间动作，因此各人型机器人4020能够以作业人员400的规定动作两倍速度进行作业。
图34是示出图33的步骤S4103中所示的改变动作模型处理的更详细的处理的流程图的一个示例。
感测信息被存储在存储部中时(步骤S4201)，学习部4663基于使用第三机器人用传感器4023c(第三拍摄装置4024c)获取的与作业人员400的规定动作对应的感测信息，学习与作业人员400的规定动作对应的标准动作模型(步骤S4202)。
学习部4663基于学习结果，生成标准动作模型(步骤S4203)。需要说明的是，学习部4663也可以在生成标准动作模型时参考作业人员400的作业手册信息和/或工序表信息。
模型生成部4664参考标准动作模型，生成改变动作模型(步骤S4204)。改变动作模型是将标准动作模型中的各动作的执行时间设定为比生成标准动作模型时的各动作的所需时间短的模型，因此参考改变动作模型工作的各人型机器人4020a、4020b的机器人动作是比参考标准动作模型工作的同机器人的机器人动作更快的动作。
(实施方式4所涉及的动作改变系统的作用效果)
根据本实施方式所涉及的动作改变系统4100，由于能够参考设定为比生成标准动作模型时的各动作的所需时间短的改变动作模型使作业机器人工作，因此能够使作业机器人高效地作业。
另外，根据本实施方式所涉及的动作改变系统4100，在生成标准动作模型时，在参考作业手册信息和/或工序表信息的基础上，生成标准动作模型。作业人员400不一定始终进行忠实于作业的动作，有时也会根据情况而进行不必要的动作，或者有时也会省略所需的动作。因此，通过参考作业手册信息和工序表信息，能够抑制由作业人员400进行的不需要或不适当的规定动作被反映在动作信息中。
(实施方式4的变形例1)
图35A、图35B是示出本实施方式的变形例1所涉及的动作改变系统的一个示例的图。
图35A是示出本公开所涉及的实施方式4的变形例1所涉及的动作改变系统中的系统结构的一个示例的图。在本动作改变系统中，其特征之一在于，感测多个感测对象(作业人员400a、400b)的各规定动作来进行学习。另外，其特征还在于，在作为移动式机器人兼作业机器人发挥功能的人型机器人4020'设置有躯干传感器4023”(躯干拍摄装置4024”)。除此之外，在本动作改变系统中，管理控制装置4060并不是必须的，人型机器人4020'可以单独地构成动作改变系统。
图35B是示出图35A所示的人型机器人的一个示例的图。作为移动式机器人兼作业机器人发挥功能的人型机器人4020'具备机器人主体4021'、机器人移动机构4022'、头部传感器4023'、头部传感器4023'所包含的头部拍摄装置4024'、躯干传感器4023”、躯干传感器4023”所包含的躯干拍摄装置4024”、信息处理装置4025'以及机器人臂部4026'。
机器人主体4021'具备机器人躯干4211'和机器人头部4212'。机器人躯干4211'和机器人头部4212'构成躯干/头部驱动机构4021'(参考图36)，能够变更头部传感器4023'(头部拍摄装置4024')的感测区域4230'(拍摄区域4240')以及躯干传感器4023”(躯干拍摄装置4024”)的感测区域4230”(拍摄区域4240”)。
头部传感器4023'(头部拍摄装置4024')与躯干传感器4023”(躯干拍摄装置4024”)配置在高度位置不同的部位，因此躯干传感器4023”(躯干拍摄装置4024”)从与头部传感器4023'(头部拍摄装置4024'不同的位置感测各感测对象(作业人员400a、400b)的规定动作。
图36是示出本动作改变系统中的人型机器人的功能的一个示例订单框图。在动作改变系统4100'中，信息处理装置4025'具备信息处理部4066'、通信接口1222'以及存储装置1224'，信息处理部4066'具备判定部4661'、控制部4662'、学习部4663'以及模型生成部4664'。即，在动作改变系统4100'中，信息处理部4066'进行与管理控制装置4060的处理部4066同样的处理。需要说明的是，信息处理装置4025'构成为能够与头部传感器4023'(头部拍摄装置4024')、躯干传感器4023”(头部拍摄装置4024”)、躯干/头部驱动机构4021'、机器人移动机构4022'以及臂部驱动机构4026'进行通信。
由于动作改变系统4100'的人型机器人4020'在信息处理装置4025'中具备信息处理部4066'，因此由人型机器人4020'单独构成动作改变系统。
参考图35A，例如人型机器人4020'的控制部4662'进行指示，使得躯干传感器4023”(躯干拍摄装置4024”)感测作业人员400a，并使得头部传感器4023'(头部拍摄装置4024')感测作业人员400b。换句话说，在本动作改变系统4100'中，具备用于分别感测多个不同的感测对象的多个传感器，获取使用多个传感器获取的与多个作业人员的规定动作对应的多个感测信息。需要说明的是，头部传感器4023'(头部拍摄装置4024')与躯干传感器4023”(躯干拍摄装置4024”)的作用也可以是互换的。另外，在各传感器进行感测时，判定部4661'判定各传感器是否分别感测不同的对象。
图37是示出公开所涉及的实施方式4的变形例1所涉及的动作改变系统中的改变动作模型生成处理的更详细的处理的流程图的一个示例。
在本动作改变系统中，与实施方式4相比，不同之处在于，在S4102中通过多个传感器进行对多个作业人员的规定动作的感测。另外，在本动作改变系统中，具备代替S4103的步骤S4103'。
在步骤S4103'中，首先，由头部传感器4023'(头部拍摄装置4024')以及躯干传感器4023”(躯干拍摄装置4024”)分别获取的各感测信息存储在存储部(存储装置1224')中(步骤S4201')。学习部4663'基于多个(在本变形例中为2个)感测信息，学习多个作业人员(在本变形例中为2人)的各规定动作(步骤S4202')。
另外，学习部4663'基于多个感测信息，学习与多个作业人员的各规定动作对应的多个(在本变形例中为2个)标准动作模型(步骤S4203')。例如，作业人员400a的作业是由动作A～动作M构成的动作，另一方面，在作业人员400b的作业是由动作N～动作Z构成的动作的情况下，标准动作模型是由动作A～动作M构成的第一标准动作模型以及由动作N～动作Z构成的第二标准动作模型。需要说明的是，在生成标准动作模型时，学习部4663'也可以参考作业手册信息和/或工序表信息。
模型生成部4664'生成将多个作业人员的规定动作的至少一部分整合而成的改变动作模型(步骤S4204')。
图38是示出本公开所涉及的实施方式4的变形例1所涉及的动作改变系统中的标准动作模型与动作改变模型之间的关系的一个示例的图。
例如，在由动作A～动作M构成的第一标准动作模型中，设为动作M是用于传递某个部件的移动的动作。同样地，在由动作N～动作Z构成的第二标准动作模型中，设为动作N是用于接收该部件的移动的动作。在该情况下，动作M以及动作N在通过一体的作业机器人进行的情况下是不需要的。因此，模型生成部4664'将第一标准动作模型中的一部分的动作即动作A～动作L与第二标准动作模型中的一部分的动作即动作O～动作Z整合，生成由动作A～动作L以及动作O～动作Z构成的改变动作模型。由此，在本动作改变系统4100中，在参考所生成的改变动作模型来使也作为作业机器人发挥功能的人型机器人4020'工作时，在根据需要省略不必要的动作的基础上，能够使1台人型机器人4020'进行多个作业人员进行的规定动作。其结果是，能够使作业机器人高效地作业。
作为本动作改变系统的一个示例，在作业场所200的一条线201上当初通过6名作业人员每个小时完成100个产品的情况下，通过在线201上配置3台人型机器人4020'，能够每个小时完成100个产品。特别是，如上所述，在多个作业人员分别进行不同的作业的情况下，人型机器人4020'能够将这些作业集中且在根据需要省略不必要的动作的基础上进行。
需要说明的是，对于该改变动作模型，模型生成部4664'也可以生成将各动作的执行时间设定为比生成该改变动作模型时的各动作的所需时间短的第二改变动作模型。在该情况下，若是前面所示的一个示例，则在改变动作模型中，参考设定为以生成该改变动作模型时的动作的一半执行时间动作的第二改变动作模型，使人型机器人4020'工作，由此能够每个小时完成200个产品。
(变形例1的作用效果)
根据本动作改变系统，由于人型机器人4020'能够单独构成动作改变系统，因此例如即使在无法与管理控制装置4060通信的场所，在使用学习了作业人员的作业的学习模型来进行作业的作业机器人中，作业机器人也能够高效地作业。
另外，本人型机器人4020'由于具备多个(在本变形例中为2个)传感器(拍摄装置)，因此例如在对于感测多个作业人员来说狭窄的场所中，也能够进行作业人员的作业学习。
另外，根据本动作改变系统，学习与多个作业人员的各规定动作对应的多个标准动作模型，参考标准动作模型，生成将多个作业人员的规定动作的至少一部分整合而得到的改变动作模型，因此能够以比该作业人员少的数量的作业机器人代替多个作业人员的作业(规定动作)，能够提高作业效率。除此之外，在该改变动作模型中，生成将各动作的执行时间设定为比生成该改变动作模型时的各动作的所需时间短的第二改变模型，参考第二改变模型来使作业机器人工作，由此能够更高效地使作业机器人作业。
需要说明的是，在本动作改变系统中，作为移动式机器人兼作业机器人发挥功能的人型机器人不一定必须如一个示例所示那样是1台，也可以是多台。在该情况下，只要人型机器人的数量增加，传感器的数量以人型机器人数量的倍数增加，能够一次性获取大量的传感器信息，并且由于作业机器人的数量增加，因此例如在使各作业机器人进行相同的作业的情况下，也能够提高作业效率。
以上，对本公开的实施方式进行了说明，但本公开并不限定于上述本公开的实施方式，可以在不脱离本公开的主旨的范围内进行多种变形或应用。
在本实施方式的动作改变系统4100中，对感测作业人员400的移动式机器人(人型机器人)是1台的示例进行了说明。但是，移动式机器人的数量也可以是1台以上。例如，如果具备传感器和移动机构的移动式机器人的台数较多，则可以配置多个传感器，使得分别从不同的位置、高度和/或朝向感测作业人员400的规定动作。由此，易于获取作业人员400的规定动作的学习所需的多种数据，并且能够以能够整体覆盖作业人员400的各规定动作的方式进行感测。
另外，在本实施方式中，对感测作业人员400(S4102)后生成标准动作模型(S4103)的示例进行了说明。然而，从感测到生成标准动作模型，不一定需要在时间上连续地执行。例如，在通过S4102进行感测时存储感测信息(S4201)时，参考了感测信息的学习(S4202)也可以是在感测之后空出规定时间(24个小时后或一周后等)后被实施。同样的情况也适用于各S4101～S4105的各步骤之间。另外，与所述示例相反地，S4103～S4105也可以在进行S4102的期间被执行。在该情况下，从作业人员400进行规定动作的期间，由于作业机器人参考改变动作模型来进行工作，因此能够更加提高作业效率。
另外，在本实施方式中，对通过自动学习进行作业人员的规定动作的学习的示例进行了说明。但是，学习不一定必须是自动学习，也可以是其它已知的机器学习，例如也可以是深度学习(Deep Learning)、无监督学习/有监督学习、强化学习等。
另外，在本实施方式中，对移动式机器人与作业机器人是相同的人型机器人的示例进行了说明。在该情况下，可以将移动式机器人并用为作业机器人，能够节约机器人制作所涉及的费用以及成本。然而，移动式机器人与作业机器人也可以是不同的机器人。
另外，在本实施方式中，对设定为以标准动作模型中的动作的一半执行时间或十分之一的执行时间动作的改变动作模型的示例进行了说明。但是，本动作改变系统只要是将标准动作模型中的各动作的执行时间设定为比生成标准动作模型时的各动作的所需时间短的系统即可，并没有特别限定。
(实施方式5)
图39A、图39B是用于说明作业再现系统的图。
在本作业再现系统中，如果发生了事故或误动作的发生等异常情况，则使作业人员400进行异常情况发生时的动作，通过第二机器人用传感器5023b(第二机器人用拍摄装置5024b)感测作业人员400的规定动作。另外，本作业再现系统基于与作业人员400的规定动作对应的第一感测信息，学习与作业人员400的规定动作对应的标准动作模型。标准动作模型是表示既属于与作业人员400的规定动作对应的动作又属于在规定的作业项目中被指定为应该进行的动作的动作的模型。然后，本作业再现系统参考标准动作模型，使作为作业再现机器人的第一人型机器人5020a进行一次以上的再现动作。本作业再现系统输入事故或误动作信息，基于使用传感器获取的与第一人型机器人5020a的再现动作对应的第二感测信息，探测事故或误动作的发生。由此，能够解析作业人员400的动作的问题点、用于作业人员400的作业的标准动作的缺点。
图39A是示出使作业人员再现动作时的感测的一个示例的图。
在本作业再现系统中，具备作为作业再现机器人发挥功能的第一人型机器人5020a以及作为移动式机器人发挥功能的第二人型机器人5020b。需要说明的是，人型机器人的数量并不限定于2台。
作业再现系统通过第二人型机器人5020b所具备的第二机器人用传感器5023b(第二机器人用拍摄装置5024b)感测作业人员400的动作。作为作业人员400的动作，作为一个示例，列举出在作业人员400在作业线201上组装印刷基板300时在与原本到的配置部位310不同的场所配置部件320的情况的动作。需要说明的是，关于传感器对作业人员400的动作的识别，既可以使用已知的图像识别技术，也可以通过学习部5663(参考图42)的学习识别作业人员400的动作。同样的情况也适用于后面说明的作业再现机器人的再现动作。
第二人型机器人5020b使用第二机器人用传感器5023b(第二机器人用拍摄装置5024b)感测作业人员400的动作。由第二机器人用传感器5023b(第二机器人用拍摄装置5024b)获取的第一感测信息存储在管理控制装置5060的存储介质5062(参考图41)或第二人型机器人5020b的存储装置中。管理控制装置5060基于与作业人员400的规定动作对应的第一感测信息，学习与作业人员400的规定动作对应的标准动作模型。标准动作模型存储在管理控制装置5060的存储介质5062、和/或第一人型机器人5020a的第一信息处理装置5025a的存储装置1224(参考图41)和/或第二人型机器人5020b的第二信息处理装置的存储装置中。需要说明的是，规定动作包括发生异常情况的前后的各种动作，例如，包括抓取物体的动作或组装部件的动作、处理工具时的动作之类的动作。
图39B是示出使作业再现机器人再现动作时的感测的一个示例的图。管理控制装置5060参考所存储的标准动作模型，生成使第一人型机器人5020a工作的动作指示。动作指示既属于参考标准动作模型生成的指示，也属于使作业再现机器人(在本实施方式中为第一人型机器人5020a)工作的指示。而且，例如在第一人型机器人5020a配置于对异常情况发生时的现场进行再现的再现现场时，管理控制装置5060参考动作指示使第一人型机器人5020a工作。
管理控制装置5060参考标准动作模型，使第一人型机器人5020a进行至少一次以上的再现动作，优选进行多次的再现动作。例如，在一般的流水线作业过程中，作业工序是明确确定的，很少发生事故或误动作。因此，在发生异常情况时，使第一人型机器人5020a仅进行一次的再现动作，有可能无法探测事故或误动作的发生。因此，通过使第一人型机器人5020a进行多次的再现动作，更加容易探测事故或误动作的发生。
管理控制装置5060输入事故或误动作信息，基于使用第二机器人用传感器5023b(第二机器人用拍摄装置5024b)获取的与第一人型机器人5020a的再现动作对应的第二感测信息，探测事故或误动作的发生。需要说明的是，事故信息例如是在何时在何处和人进行了何种行为之类的与事故相关的信息。另外，误动作信息是表示作为异常情况发生时的相关人员的动作存在错误的情况下的该误动作的信息。
图40是本作业再现系统中的人型机器人的一个示例的图。作为作业再现机器人以及移动式机器人发挥功能的人型机器人5020具备机器人主体5021、机器人移动机构5022、机器人用传感器5023、机器人用传感器5023可以包含的机器人用拍摄装置5024、信息处理装置5025以及机器人臂部5026。
人型机器人5020可以通过在机器人主体5021的下方设置的机器人移动机构5022进行移动，例如从管理控制装置5060之类的人型机器人5020的外部接收指令，或者参考在信息处理装置5025中存储的程序，例如向作业场所200移动。
机器人主体5021具备机器人躯干5211和机器人头部5212。机器人躯干5211和机器人头部5212构成躯干/头部驱动机构，能够变更机器人用传感器5023(机器人用拍摄装置5024)的感测区域5230(拍摄区域5240)。驱动机构的结构没有特别限定，例如也可以构成为，使用未图示的伺服电动机，机器人头部5212相对于机器人躯干5211旋转规定角度，或机器人躯干5211相对于机器人移动机构5022旋转规定角度。
在机器人躯干5211的下方设置有机器人移动机构5022，在机器人躯干5211的侧方设置有机器人臂部5026，在机器人头部5212设置有机器人用传感器5023。另外，在机器人主体5021的内部，设置有信息处理装置502。
机器人移动机构5022可以是任意结构，例如可以是设置通过电动机驱动的旋转体的结构，也可以是模仿人的脚的形状以作为脚部的结构。作为一个示例，在将机器人移动机构5022设为模仿人的脚的形状的结构的情况下，在相当于人的关节的部位设置伺服电动机，通过使其旋转规定角度来构成移动机构。
机器人用传感器5023优选设置在机器人头部5212，对作业人员400或作业再现机器人的动作进行感测。另外，机器人用传感器5023依次获取至少表示位于人型机器人5020的周边的由人型机器人5020进行作业的物体与机器人臂部5026之间的距离以及角度的信息。作为机器人用传感器5023的一个示例，可以采用最高性能的相机、热成像相机、高像素/长焦/超广角/360度/高性能相机、雷达、固态LiDAR、LiDAR、多颜色激光同轴位移计、视觉识别、或其它多种传感器组。这些也是机器人用拍摄装置5024的一个示例。另外，除此之外，作为机器人用传感器5023的另一个示例，列举出振动计、硬度计、微小振动计、超声波测量仪、振动测量仪、红外线测量仪、紫外线测量仪、电磁波测量仪、温度计、湿度计、定点AI天气预报、高精度多通道GPS、低空卫星信息、或长尾事件AI data等。
作为从机器人用传感器5023获取的传感器信息的一个示例，列举出图像、距离、振动、热量、气味、颜色、声音、超声波、电波、紫外线、红外线、湿度等，优选通过机器人用拍摄装置5024获取图像、距离的信息。作为一个示例，机器人用传感器5023(机器人用拍摄装置5024)每纳秒实施这些感测。传感器信息例如用于对作业人员400或第一人型机器人5020a的动作的动作捕捉、对作业场所200的3D地图、作业场所200中的作业人员400或第一人型机器人5020a的移动或动作的导航、转向、速度等的分析。
机器人臂部5026具备右臂臂部5261和左臂臂部5262。另外，右臂臂部5261具备右把持支承部5263以及右把持部5265，左臂臂部5262具备左把持支承部5264以及左把持部5266。右把持支承部5263是用于支承右把持部5265的机构，左把持支承部5264是用于支承左把持部5266的机构，作为一个示例，可以是模仿人的腕的形状的机构。把持部5265、5266是用于把持例如作业用的部件等的机构，作为一个示例，可以是模仿人的手的形状的机构。
机器人臂部5026构成第二驱动机构。驱动机构的结构没有特别限定，例如在机器人臂部5026模仿人的形状的情况下，采用将伺服电动机设置在相当于人的肩部的部位、相当于肘部的部位、相当于手腕的部位、相当于指关节的部位等各关节部位并使其旋转规定角度的结构。
需要说明的是，人型机器人5020也可以例如在机器人躯干部5211还设置有传感器(参考图46B)。在该情况下，该传感器与在机器人头部5212设置的机器人用传感器5023的高度位置不同。由于高度位置不同，因此传感器从不同的角度感测作业人员400或第一人型机器人5020a的动作。
图41是示出本实施方式的作业再现系统5100中的结构以及功能的一个示例的框图。
作业再现系统5100构成为包括第一人型机器人5020a、第二人型机器人5020b以及管理控制装置5060。第一人型机器人5020a以及第二人型机器人5020b分别经由无线通信或有线通信与管理控制装置5060的通信部5064连接，接收来自管理控制装置5060的指示，并且发送由各传感器获取的信息。需要说明的是，第一人型机器人5020a与第二人型机器人5020b之间也通过无线通信或有线通信连接，收发由各传感器获取的信息、指示。
作为作业再现机器人发挥功能的第一人型机器人5020a具备第一机器人移动机构5022a、第一机器人用传感器5023a、第一机器人用传感器5023a所包含的第一机器人用拍摄装置5024a、第一信息处理装置5025a、第一躯干/头部驱动机构5021a以及第一臂部驱动机构5026a。在本实施方式中，作为移动式机器人发挥功能的第二人型机器人5020b的结构也与第一人型机器人5020a相同。
根据本实施方式的第一信息处理装置5025a包括通过主机控制器1210相互连接的CPU(Central Processing Unit)1212、RAM(Random Access Memory)1214以及图形控制器1216。另外，第一信息处理装置5025a包括通信接口1222、存储装置1224、DVD驱动器、以及IC卡驱动器之类的输入/输出单元，它们经由输入/输出控制器1220与主机控制器1210连接。DVD驱动器可以是DVD-ROM驱动器以及DVD-RAM驱动器等。存储装置1224可以是硬盘驱动器以及固态驱动器等。另外，第一信息处理装置5025a包括ROM(Read Only Memory)1230以及键盘之类的输入/输出单元，它们通过输入/输出芯片1240与输入/输出控制器1220连接。
CPU 1212根据在ROM 1230以及RAM 1214内存储的程序进行动作，由此控制各单元。图形控制器1216从RAM 1214内提供的帧缓冲器等或其自身中，获取由CPU 1212生成的图像数据，使得图像数据显示在显示设备1218上。
通信接口1222经由网络与其他电子设备通信。存储装置1224存储被第一信息处理装置5025a内的CPU 1212使用的程序以及数据。另外，存储装置1224也可以存储感测信息。DVD驱动器从程序或数据读取DVD-ROM等，向存储装置1224提供。IC卡驱动器从IC卡读取程序以及数据，和/或将程序以及数据向IC卡写入。
ROM 1230在其中存储启动时由第一信息处理装置5025a执行的引导程序等、和/或依赖于第一信息处理装置5025a的硬件的程序。另外，输入/输出芯片1240还可以经由USB端口、并行端口、串行端口、键盘端口、鼠标端口等将多种输入/输出单元与输入/输出控制器1220连接。
程序由DVD-ROM或IC卡之类的计算机可读存储介质提供。程序被从计算机可读存储介质读取，被安装在也属于计算机可读存储介质的示例的存储装置1224、RAM 1214、或ROM 1230，并且被CPU 1212执行。在这些程序内描述的信息处理被第一信息处理装置5025a读取，并使得程序与上述多种类型的硬件资源之间协作。装置或方法可以是通过根据第一信息处理装置5025a的使用来实现信息的操作或处理而构成的。
例如，在通信是在第一信息处理装置5025a以及外部设备之间执行的情况下，CPU1212可以执行加载到RAM 1214的通信程序，并基于在通信程序中描述的处理，指令通信接口1222进行通信处理。在CPU 1212的控制下，通信接口1222读取在RAM 1214、存储装置1224、DVD-ROM、或IC卡之类的记录介质内提供的发送缓冲区域所存储的发送数据，并将读取到的发送数据向网络发送，或将从网络接收到的接收数据向记录介质上提供的接收缓冲区域等写入。
另外，CPU 1212可以使存储装置1224、DVD驱动器(DVD-ROM)、IC卡等之类的外部记录介质中存储的文件或数据库的全部或必要的部分被读取到RAM 1214中，并对RAM 1214上的数据执行多种类型的处理。接着，CPU 1212可以将处理后的数据写回到外部记录介质。
多种类型的程序、数据、表以及数据库之类的多种类型的信息可以被存储在记录介质中以接受信息处理。CPU 1212可以对从RAM 1214读取到的数据执行各种类型的处理，各种类型的处理包括记载于本公开的各处的、由程序的指令序列指定的多种类型的操作、信息处理、条件判断、条件分支、无条件分支、信息的检索/替换等，并将结果写回RAM 1214。另外，CPU 1212可以检索记录介质内的文件、数据库等中的信息。
以上所说明的程序或软件模块可以存储在第一信息处理装置5025a上或第一信息处理装置5025a附近的计算机可读存储介质上。另外，在与专用通信网络或因特网连接的服务器系统内提供的硬盘或RAM之类的记录介质可以用作计算机可读存储介质，由此经由网络向第一信息处理装置5025a提供程序。
目前为止所说明的内容对于第二人型机器人5020b所具备的第二信息处理装置也是同样的。
管理控制装置5060是为了实现作业再现系统5100而向人型机器人5020a、5020b给予指示的控制装置。另外，管理控制装置5060获取在人型机器人5020a、5020b的各存储装置中存储的感测信息。
管理控制装置5060由CPU 5060A、RAM 5060B、ROM 5060C、输入/输出部(I/O)5060D、将它们连接的数据总线或控制总线等总线5060E、以及通信部5064构成。在I/O5060D连接有存储介质5062。
另外，在I/O 5060D连接有通信部5064，通信部5064在与人型机器人5020的控制系统之间收发传感器信息或作业手册信息、工序表信息等。作业手册信息包括例如各作业项目的名称以及内容、作业项目的顺序、各作业项目所需的标准的作业时间的信息等。另外，工序表信息包括例如表示作业整体的作业时间或开始时刻/结束时刻的信息、表示各作业项目的作业时间或开始时刻/结束时刻的信息、表示各作业项目的作业人员的信息等。
图42是示出本实施方式的作业再现系统中的管理控制装置5060的功能的一个示例的框图。
管理控制装置5060具备存储介质5062、通信部5064以及处理部5066。
存储介质5062例如具备半导体存储装置、磁带装置、磁盘装置、或光盘装置中的至少一个。存储介质5062存储用于处理部5066中的处理的驱动程序、操作系统程序、应用程序、数据等。例如，存储介质5062存储感测信息。另外，存储介质5062也可以存储作业人员400的作业手册信息和/或工序表信息。
通信部5064具有Wi-Fi(注册商标)等无线的通信接口电路和/或以太网(注册商标)等有线的通信接口电路。通信部5064通过人型机器人5020a、5020b以及接口电路收发各种信息。
处理部5066具有一个或多个处理器及其周边电路。处理部5066是对作业再现系统5100的整体的动作集中地控制的构件，例如是CPU。处理部5066参考在存储介质5062中存储的程序(驱动程序、操作系统程序、应用程序等)来执行处理。另外，处理部5066能够并行地执行多个程序(应用程序等)。
处理部5066具备判定部5661、控制部5662、学习部5663、生成部5664、输入部5665以及探测部5666具备。这些各部是通过由处理部5066所具备的处理器执行的程序来实现的功能模块。或者，这些各部也可以作为固件在处理部5066实现。
判定部5661判定是否正在对感测对象(作业人员400或第一人型机器人5020a)进行感测。作为判定方法，可以使用已知的图像识别技术，也可以是通过基于学习部5663(参考图42)的学习进行的判定方法。
控制部5662参考标准动作模型，使第一人型机器人5020a进行一次以上的再现动作。另外，在判定为感测对象(作业人员400或第一人型机器人5020a)没有被感测到的情况下，控制部5662使第二人型机器人5020b的第二躯干/头部驱动机构或第二机器人移动机构工作。
学习部5663基于与作业人员400的规定动作对应的第一感测信息，学习与作业人员400的规定动作对应的标准动作模型。该学习例如是通过自动学习进行的，该自动学习是通过自动地制作学习完成模型的学习、或使用学习完成模型而自动地进行判定/解析的学习。
生成部5664参考学习部5663的学习结果，生成标准动作模型。另外，生成部5664生成动作指示。
输入部5665输入事故或误动作信息。该输入可以是来自作业再现系统5100的系统外部的输入，也可以预先将事故或误动作信息存储在存储介质5062、第一信息处理装置5025a的存储介质1224、和/或第二信息处理装置的存储介质中，根据管理控制装置5060的指示读取这些信息，由此进行输入的。
探测部5666基于使用第二机器人用传感器5023b(第二机器人用拍摄装置5024b)获取的与第一人型机器人5020a再现动作对应的第二感测信息，探测事故或误动作的发生。另外，如后面说明的那样，探测部5666基于使用传感器获取的与作业再现机器人的再现动作对应的第二感测信息，探测与作业手册信息或工序表信息不同的动作的发生。需要说明的是，作为探测对象的一个示例，列举出随着时间经过的各信息(数据)的变化的差异、或比较数据时的数据之间显著的偏差等。
(本公开所涉及的实施方式5的作业再现系统的处理)
图43是示出本实施方式的作业再现系统的处理的流程图的一个示例。
首先，根据管理控制装置5060的指令，或者根据在存储介质5062或第二信息处理装置的存储装置中存储的程序的读取指示，作业再现系统5100使用第二人型机器人5020b的第二机器人用传感器5023b(第二机器人用拍摄装置5024b)，感测在作业人员400的作业场所200的动作(步骤S5101)。作业人员400的动作是对在发生异常情况时作业人员400实际进行的动作再现而得到的动作，优选的是，该动作是在忠实地再现了发生异常情况时的状况的作业场所200进行的。控制部5662或第二信息处理装置使第二人型机器人5020b的第二躯干/头部驱动机构或第二机器人移动机构工作，使得第二人型机器人5020b的第二机器人用传感器5023b(第二机器人用拍摄装置5024b)的感测区域5230b(拍摄区域5240b)包含作业人员400的动作。
由第二机器人用传感器5023b(第二机器人用拍摄装置5024b)获取的感测信息(第一感测信息)通过第二信息处理装置的存储装置和/或通信部5064存储在存储介质5062中。各信息处理装置的存储装置以及存储介质5062作为存储部发挥功能。
管理控制装置5060基于在存储部中存储的、换句话说基于存储的第一感测信息，学习与作业人员400的规定动作对应的标准动作模型，参考学习结果，生成标准动作模型(步骤S5102)。
图44是示出图43的步骤S5102中所示的作业人员动作学习/标准动作模型生成处理的更详细的处理的流程图的一个示例。
当第一感测信息被获取到时，第一感测信息被存储在存储部中(步骤S5201)，此时，学习部5663基于第一感测信息，学习与作业人员400的规定动作对应的标准动作模型(步骤S5202)。然后，生成部5664参考学习部5663的学习结果，生成标准动作模型(步骤S5203)。
需要说明的是，在学习部5663的学习过程中，可以进行对作业人员400的动作的动作捕捉、对作业场所200的3D地图、作业场所200中的作业人员400的移动或动作的导航、转向、速度等的分析，也可以通过自动学习来学习还能够作为作业再现机器人发挥功能的人型机器人5020的最佳动作。由此，能够一次性从多角度分析作业人员400的规定动作，并且能够缩减作业人员400的动作分析、编程所耗费的时间以及成本。
返回图43，在生成标准动作模型的前后，第一人型机器人5020a配置在规定位置(步骤S5103)。对于向第一人型机器人5020a的规定位置的配置，例如列举出以下的方法：将作为规定位置的一个示例的作业场所200的楼层图预先存储在存储部中，在将第一人型机器人5020a的位置与该存储的楼层图相对应的基础上，使第一人型机器人5020a的第一移动机构5022a工作以使其移动到该位置。或者，第一人型机器人5020a的配置也可以是基于通过机器学习最优化后的位置来进行的。规定位置优选为忠实再现了异常情况发生时的状况的作业场所200。
控制部5662参考标准动作模型参考标准动作模型，使第一人型机器人5020a进行一次以上的再现动作(步骤S5104)。换句话说，第一人型机器人5020a基于动作指示，进行一次以上的再现动作。
在第一人型机器人5020a的工作(S5104)的前后，输入部5665输入事故或误动作信息(步骤S5105)。
作业再现系统5100使用第二人型机器人5020b的第二机器人用传感器5023b(第二机器人用拍摄装置5024b)，感测第一人型机器人5020a的作业场所200中的再现动作(步骤S5106)。由第二机器人用传感器5023b(第二机器人用拍摄装置5024b)获取的感测信息(第二感测信息)被存储在存储部中。
探测部5666基于使用第二机器人用传感器5023b(第二机器人用拍摄装置5024b)获取的第二感测信息，探测事故或误动作的发生(步骤S5107)。
(实施方式5所涉及的作业再现系统的作用效果)
根据本实施方式所涉及的作业再现系统5100，参考标准动作模型，使作业再现机器人进行一次以上的再现动作，基于与该作业再现机器人的再现动作对应的第二感测信息，探测事故或误动作的发生。由此，在使作业再现机器人再现发生异常情况时的作业人员400的动作的基础上，能够通过作业再现机器人的再现动作探测事故或误动作的发生，易于查明异常情况的发生要因。
(实施方式5的变形例1)
图45是示出本公开所涉及的实施方式5的变形例1所涉及的作业再现系统的处理的流程图的一个示例。
在本变形例所涉及的作业再现系统的处理中，到S5101～S5104为止的处理是相同的，另一方面，S5105被省略，作为S5106之后的处理，实施步骤S5107'。
在本作业再现系统中，在存储部中存储有作业人员400的作业手册信息或工序表信息，探测部5666基于使用第二机器人用传感器5023b(第二机器人用拍摄装置5024b)获取的与第一人型机器人5020a的再现动作对应的第二感测信息，探测与作业手册信息或工序表信息不同的动作的发生(S5107')。
作业手册信息或工序表信息是表示原本被设为合适的动作或顺序的信息。因此，通过将参考标准动作模型进行的第一人型机器人5020a的再现动作与作业手册信息或工序表信息进行比较，能够确认标准动作是否不存在缺点。
(实施方式5的变形例2)
图46A、图46B是示出本实施方式的变形例2所涉及的作业再现系统的一个示例的图。
图46A是示出本公开所涉及的实施方式5的变形例2所涉及的作业再现系统中的系统结构的一个示例的图。在本作业再现系统中，其特征在于，在作为移动式机器人发挥功能的第二人型机器人5020'设置有躯干传感器5023”(躯干拍摄装置5024”)。具体地，给予指示，使得第二人型机器人5020'的头部传感器5023'(头部拍摄装置5024')的感测区域5230'(拍摄区域5240')将第一人型机器人5020a设为对象，第二人型机器人5020'的躯干传感器5023”(躯干拍摄装置5023”)的感测区域5230”(拍摄区域5240”)将作业人员400设为对象。需要说明的是，在本作业再现系统中，若构成为第一人型机器人5020a与第二人型机器人5020'能够进行通信，则管理控制装置5060不一定是必须的。
图46B是示出图46A所示的人型机器人的一个示例的图。作为移动式机器人发挥功能的第二人型机器人5020'具备机器人主体5021'、机器人移动机构5022'、头部传感器5023'、头部传感器5023'所包含的头部拍摄装置5024'、躯干传感器5023”、躯干传感器5023”所包含的躯干拍摄装置5024”、信息处理装置5025'以及机器人臂部5026'。
机器人主体5021'具备机器人躯干5211'和机器人头部5212'。机器人躯干5211'和机器人头部5212'构成躯干/头部驱动机构5021'(参考图47)，能够变更头部传感器5023'(头部拍摄装置5024')的感测区域5230'(拍摄区域5240')以及躯干传感器5023”(躯干拍摄装置5024”)的感测区域5230”(拍摄区域5240”)。
头部传感器5023'(头部拍摄装置5024')与躯干传感器5023”(躯干拍摄装置5024”)配置在高度位置不同的部位，因此躯干传感器5023”(躯干拍摄装置5024”)与头部传感器5023'(头部拍摄装置5024')分别从不同的位置感测作业人员400或作为作业再现机器人发挥功能的第一机器人5020a的动作。
信息处理装置5025'的结构与第一人型机器人5020a的第一信息处理装置5025a同样。对于机器人臂部5026'，也与第一人型机器人5020a同样。
图47是示出本作业再现系统中的人型机器人5020'的功能的一个示例的框图。在作业再现系统5100'中，信息处理装置5025'具备信息处理部5066'、通信接口1222'以及存储装置1224'，信息处理部5066'具备判定部5661'、控制部5662c'、学习部5663c'、生成部5664'、输入部5665'以及探测部5666'。即，在作业再现系统5100'中，信息处理部5066'进行与管理控制装置5060的处理部5066同样的处理。需要说明的是，信息处理装置5025'构成为能够与头部传感器5023'(头部拍摄装置5024')、躯干传感器5023”(头部拍摄装置5024”)、躯干/头部驱动机构5021'、机器人移动机构5022'以及臂部驱动机构5026'进行通信。另外，在存储部1224'中，也可以存储有作业手册信息或工序表信息。
作业再现系统5100'的第二人型机器人5020'在信息处理装置5025'中具备信息处理部5066'，因此构成为第一人型机器人5020a与第二人型机器人5020'能够进行通信，由此能够在不需要管理控制装置5060的情况下构成作业再现系统。
参考图46，例如第二人型机器人5020'的控制部5662'进行指示，使得躯干传感器5023”(躯干拍摄装置5024”)感测作业人员400，作为第二传感器发挥功能的头部传感器5023'(头部拍摄装置5024')感测作为作业再现机器人发挥功能的第一人型机器人5020a。需要说明的是，头部传感器5023'(头部拍摄装置5024')与躯干传感器5023”(躯干拍摄装置5024”)的作用也可以互换。即，也可以构成为，进行指示，使得头部传感器5023'(头部拍摄装置5024')感测作业人员400，躯干传感器5023”(躯干拍摄装置5024”)感测第一人型机器人5020a。
作业再现系统5100'在使作业人员400再现发生异常情况时的动作的基础上，通过躯干传感器5023”(躯干拍摄装置5024”)感测作业人员400的规定动作。学习部5663'基于与作业人员400的规定动作对应的第一感测信息，学习与作业人员400的规定动作对应的标准动作模型。控制部5662'参考标准动作模型，使第一人型机器人5020a进行一次以上的再现动作。输入部5665'输入事故或误动作信息。而且，探测部5666'基于使用头部传感器5023'(头部拍摄装置5024')获取的与第一人型机器人5020a的再现动作对应的第二感测信息，探测事故或误动作的发生。由此，使作为作业再现机器人发挥功能的第一人型机器人5020a再现发生异常情况时的作业人员400的动作，并且能够通过作业再现机器人的再现动作来探测事故或误动作的发生，易于查明异常情况的发生要因。
另外，作业再现系统5100'在使作业人员400再现发生异常情况时的动作的基础上，通过躯干传感器5023”(躯干拍摄装置5024”)感测作业人员400的规定动作。学习部5663'基于与作业人员400的规定动作对应的第一感测信息，学习与作业人员400的规定动作对应的标准动作模型。控制部5662'参考标准动作模型，使第一人型机器人5020a进行一次以上的再现动作。探测部5666'基于使用头部传感器5023'(头部拍摄装置5024')获取的与第一人型机器人5020a的再现动作对应的第二感测信息，探测与作业手册信息或工序表信息不同的动作的发生。由此，使作为作业再现机器人发挥功能的第一人型机器人5020a再现发生异常情况时的作业人员400的动作，并且能够通过作业再现机器人的再现动作掌握标准动作的缺点。
(变形例1的作用效果)
根据本作业再现系统，由于人型机器人5020'可以单独地构成作业再现系统，因此例如即使在无法进行与管理控制装置5060的通信的场所，也能够提供一种易于查明异常情况的发生要因的作业再现系统。
另外，本人型机器人5020'具备多个(在本变形例中为2个)传感器(拍摄装置)，因此例如即使在对于将作业人员400与作业再现机器人并列配置以进行作业再现来说狭窄的场所，也能够提供一种易于查明异常情况的发生要因的作业再现系统。
需要说明的是，在本作业再现系统中，作为移动式机器人发挥功能的人型机器人不一定必须是1台，也可以是多台。在该情况下，只要人型机器人的数量增加，传感器的数量以人型机器人数量的倍数增加，能够一次性获取大量的传感器信息。
以上对本公开的实施方式进行了说明，但本公开并不限定于上述的本公开的实施方式，可以在不脱离本公开的主旨放入范围内进行多种变形或应用。
在本实施方式的作业再现系统5100中，对针对作业人员400或作业再现机器人分别配置1台移动式机器人的结构进行了说明。但是，移动式机器人的数量也可以是1台以上。例如，如果具备传感器和移动机构的移动式机器人的台数较多，则可以配置多个传感器，使得分别从不同的位置、高度和/或朝向感测作业人员400的规定动作。由此，易于获取作业人员400或作业再现机器人的动作的学习所需的多种数据，并且能够以能够整体覆盖作业人员400或作业再现机器人的各动作的方式进行感测。
另外，在本实施方式的作业再现系统5100中，对1台具有传感器和移动机构的移动式机器人(人型机器人)分别感测作业人员400以及作业再现机器人结构进行了说明。通过该结构，能够将移动式机器人并用于各感测，能够缩短机器人制作所耗费的费用以及时间。然而，作业人员400的感测与作业再现机器人的感测也可以分别通过不同的移动式机器人进行。更进一步地说，各感测也可以是通过移动式机器人进行的。
另外，在本实施方式中，对通过自动学习进行作业人员的规定动作的学习的示例进行了说明。但是，学习不一定必须是自动学习，也可以是其它已知的机器学习，例如也可以是深度学习(Deep Learning)、无监督学习/有监督学习、强化学习等。
(实施方式6)
图48A、图48B是用于说明作业熟悉系统的图。
图48A是示出本公开所涉及的实施方式6的作业熟悉系统中的系统结构的一个示例的图。本作业熟悉系统具备作为移动式机器人发挥功能的第一人型机器人6020a以及作为作业再现机器人发挥功能的第二人型机器人6020b。需要说明的是，人型机器人的数量并不限定于2台。
第一人型机器人6020a接收来自后面说明的管理控制装置6060(参考图49)的指示，或根据来自在第一人型机器人6020a中设置的信息处理装置的指示，向在作业场所200的作业线201上作业的第一作业人员400a(熟练作业人员400a)的附近移动。熟练作业人员400a是进行作为示范的规定动作的作业人员。而且，本作业熟悉系统通过第一人型机器人6020a所具备的第一机器人用传感器6023a(第一机器人用拍摄装置6024a)感测熟练作业人员400a的规定动作。需要说明的是，规定动作存在多种情况，例如列举出部件的组装或部件的移动、产品的涂装、作业人员自身的移动等。
在第一机器人用传感器6023a(第一机器人用拍摄装置6024a)感测熟练作业人员400a的动作的情况下，本作业熟悉系统使第一人型机器人6020a的第一移动机构或第一躯干/头部驱动机构工作，使得第一机器人用传感器6023a(第一机器人用拍摄装置6024a)感测熟练作业人员400a的规定动作。需要说明的是，对于由各传感器进行的对熟练作业人员400a的规定动作的识别，可以使用已知的图像识别技术，也可以通过学习部6663(参考图50)的学习识别熟练作业人员400a的规定动作。
本作业熟悉系统存储基于与熟练作业人员400a的规定动作对应的感测信息(第一感测信息)学习得到的标准动作模型。标准动作模型是表示既属于与熟练作业人员400a的规定动作对应的动作又属于在规定的作业项目中被指定为应该进行的动作的动作的模型。
本作业熟悉系统参考标准动作模型来使第二人型机器人6020b进行再现动作。另外，本作业熟悉系统基于使用能够感测第二作业人员400b(新作业人员400b)的动作的传感器即第二机器人用传感器6023b(第二机器人用拍摄装置6024b)获取的与新作业人员400b的动作对应的感测信息(第二感测信息)，检测新作业人员400b的动作与标准动作模型的不同之处。新作业人员400b是作为实现熟悉作业的对象的作业人员。
根据本作业熟悉系统，参考基于作为示范的熟练作业人员400a的规定动作生成的标准动作模型使第二人型机器人6020b进行再现动作，因此第二人型机器人6020b能够在作业中执行忠实的动作。也就是说，第二人型机器人6020b的再现动作能够起到作为示范的作用。通过使第二人型机器人6020b到的再现动作成为其它作业人员(新作业人员400b)的参考，能够实现作业人员对作业熟悉。
另外，在本作业熟悉系统中，使新作业人员400b进行作为作业的规定动作，通过第二人型机器人6020b的第二机器人用传感器6023b(第二机器人用拍摄装置6024b)感测新作业人员400b的动作。
本作业熟悉系统基于由第二机器人用传感器6023b(第二机器人用拍摄装置6024b)获取的感测信息(第二感测信息)，检测新作业人员400b的动作与标准动作模型的不同之处。由此，能够将熟练作业人员400a的作为示范的作业与新作业人员400b的作业比较，并能够实现新作业人员400b对作业熟悉。
作为一个示例，在想要将与某国内工厂的作业线相同的作业线构建在包含海外工厂的其它工厂(新工厂)的情况下，通过本作业熟悉系统，能够将学会该国内工厂的作业的作业再现机器人(第二人型机器人6020b)送到该新工厂，向该新工厂的新作业人员教授作业。
图48B是示出图48A所示的人型机器人的一个示例的图。作为移动式机器人以及作业再现机器人发挥功能的人型机器人6020具备机器人主体6021、机器人移动机构6022、机器人用传感器6023、机器人用传感器6023所包含的机器人用拍摄装置6024、信息处理装置6025以及机器人臂部6026。
人型机器人6020可以通过在机器人主体6021的下方设置的机器人移动机构6022进行移动，例如从管理控制装置6060之类的人型机器人6020的外部接收指令，或者参考在信息处理装置6025中存储的程序，向作业场所200的作业线201附近移动、或者执行作业。
机器人主体6021具备机器人躯干6211和机器人头部6212。机器人躯干6211和机器人头部6212构成躯干/头部驱动机构，能够变更机器人用传感器6023(机器人用拍摄装置6024)的感测区域6230(拍摄区域6240)。驱动机构的结构没有特别限定，例如也可以构成为，使用未图示的伺服电动机，机器人头部6212相对于机器人躯干6211旋转规定角度，或机器人躯干6211相对于机器人移动机构22旋转规定角度。
在机器人躯干6211的下方设置有机器人移动机构6022，在机器人躯干6211的侧方设置有机器人臂部6026，在机器人头部6212设置有机器人用传感器6023。另外，在机器人主体6021的内部，设置有信息处理装置6025。
机器人移动机构6022可以是任意结构，例如可以是设置通过电动机驱动的旋转体的结构，也可以是模仿人的脚的形状以作为脚部的结构。作为一个示例，在将机器人移动机构6022设为模仿人的脚的形状的结构的情况下，在相当于人的关节的部位设置伺服电动机，通过使其旋转规定角度来构成移动机构。
机器人用传感器6023优选设置在机器人头部6212，对熟练作业人员400a或新作业人员400b等各作业人员进行感测。另外，机器人用传感器6023依次获取至少表示位于人型机器人6020的周边的由人型机器人6020进行作业的物体与机器人臂部6026之间的距离以及角度的信息。作为机器人用传感器6023的一个示例，可以采用最高性能的相机、热成像相机、高像素/长焦/超广角/360度/高性能相机、雷达、固态LiDAR、LiDAR、多颜色激光同轴位移计、视觉识别、或其它多种传感器组。这些也是机器人用拍摄装置6024的一个示例。另外，除此之外，作为机器人用传感器6023的另一个示例，列举出振动计、硬度计、微小振动计、超声波测量仪、振动测量仪、红外线测量仪、紫外线测量仪、电磁波测量仪、温度计、湿度计、定点AI天气预报、高精度多通道GPS、低空卫星信息、或长尾事件AI data。
作为从机器人用传感器6023获取的感测信息的一个示例，列举出图像、距离、振动、热量、气味、颜色、声音、超声波、电波、紫外线、红外线、湿度等，优选通过机器人用拍摄装置6024获取图像、距离的信息。作为一个示例，机器人用传感器6023(机器人用拍摄装置6024)每纳秒实施这些感测。感测信息例如用于对各作业人员的动作的动作捕捉、对作业场所200的3D地图、作业场所200中的作业人员400的移动或动作的导航、转向、速度等的分析。
机器人臂部6026具备右臂臂部6261和左臂臂部6262。另外，右臂臂部6261具备右把持支承部6263以及右把持部6265，左臂臂部6262具备左把持支承部6264以及左把持部6266。右把持支承部6263是用于支承右把持部6265的机构，左把持支承部6264是用于支承左把持部6266的机构，作为一个示例，可以是模仿人的腕的形状的机构。把持部6265、6266是用于把持例如作业用的部件等的机构，作为一个示例，可以是模仿人的手的形状的机构。
机器人臂部6026构成臂部驱动机构。驱动机构的结构没有特别限定，例如在机器人臂部6026模仿人的形状的情况下，采用将伺服电动机设置在相当于人的肩部的部位、相当于肘部的部位、相当于手腕的部位、相当于指关节的部位等各关节部位并使其旋转规定角度的结构。
需要说明的是，人型机器人6020也可以例如在机器人躯干部6211还设置有传感器(参考图54B)。在该情况下，该传感器与在机器人头部6212设置的机器人用传感器6023的高度位置不同。由于高度位置不同，因此传感器能够从不同的角度感测各作业人员。
图49是示出本实施方式的作业熟悉系统6100中的结构以及功能的一个示例的框图。
作业熟悉系统6100构成为包括第一人型机器人6020a、第二人型机器人6020b以及管理控制装置6060。第一人型机器人6020a以及第二人型机器人6020b分别经由无线通信或有线通信与管理控制装置6060的通信部6064连接，接收来自管理控制装置6060的指示，并且发送由各传感器获取的信息。需要说明的是，也可以是，第一人型机器人6020a与第二人型机器人6020b之间也通过无线通信或有线通信连接，收发由各传感器获取的信息、指示。
作为作业再现机器人发挥功能的第二人型机器人6020b具备第二机器人用移动机构6022b、第二机器人用传感器6023b、第二机器人用传感器6023b所包含的第二机器人用拍摄装置6024b、第二信息处理装置6025b、第二躯干/头部驱动机构6021b、第二移动机构6022b以及第二臂部驱动机构6026b。在本实施方式中，第二人型机器人6020b与作为移动式机器人发挥功能的第一人型机器人6020a的结构相同。
根据本实施方式的第二信息处理装置6025b包括通过主机控制器1210相互连接的CPU(Central Processing Unit)1212、RAM(Random Access Memory)1214、以及图形控制器1216。另外，第二信息处理装置6025b包括通信接口1222、存储装置1224、DVD驱动器、以及IC卡驱动器之类的输入/输出单元，它们经由输入/输出控制器1220与主机控制器1210连接。DVD驱动器可以是DVD-ROM驱动器以及DVD-RAM驱动器。存储装置1224可以是硬盘驱动器以及固态驱动器等。另外，第二信息处理装置6025b包括ROM(Read Only Memory)1230以及键盘之类的输入/输出单元，它们通过输入/输出芯片1240与输入/输出控制器1220连接。
CPU 1212根据在ROM 1230以及RAM 1214内存储的程序进行动作，由此控制各单元。图形控制器1216从RAM 1214内提供的帧缓冲器等或其自身中，获取由CPU 1212生成的图像数据，使得图像数据显示在显示设备1218上。
通信接口1222经由网络与其他电子设备通信。存储装置1224存储被第二信息处理装置6025b内的CPU 1212使用的程序以及数据。另外，存储装置1224也可以存储感测信息。DVD驱动器从DVD-ROM等读取程序或数据，向存储装置1224提供。IC卡驱动器从IC卡读取程序以及数据，和/或将程序以及数据向IC卡写入。
ROM 1230在其中存储启动时由第二信息处理装置6025b执行的引导程序等、和/或依赖于第二信息处理装置6025b的硬件的程序。另外，输入/输出芯片1240还可以经由USB端口、并行端口、串行端口、键盘端口、鼠标端口等将多种输入/输出单元与输入/输出控制器1220连接。
程序由DVD-ROM或IC卡之类的计算机可读存储介质提供。程序被从计算机可读存储介质读取，被安装在也属于计算机可读存储介质的示例的存储装置1224、RAM 1214、或ROM 1230，并且被CPU 1212执行。在这些程序内描述的信息处理被第一信息处理装置4025a读取，并使得程序与上述多种类型的硬件资源之间协作。装置或方法可以是通过根据第二信息处理装置6025b的使用来实现信息的操作或处理而构成的。
例如，在通信是在第二信息处理装置6025b以及外部设备之间执行的情况下，CPU1212可以执行加载到RAM 1214的通信程序，并基于在通信程序中描述的处理，指令通信接口1222进行通信处理。在CPU 1212的控制下，通信接口1222读取在RAM 1214、存储装置1224、DVD-ROM、或IC卡之类的记录介质内提供的发送缓冲区域所存储的发送数据，并将读取到的发送数据向网络发送，或将从网络接收到的接收数据向记录介质上提供的接收缓冲区域等写入。
另外，CPU 1212可以使存储装置1224、DVD驱动器(DVD-ROM)、IC卡等之类的外部记录介质中存储的文件或数据库的全部或必要的部分被读取到RAM 1214中，并对RAM 1214上的数据执行多种类型的处理。接着，CPU 1212可以将处理后的数据写回到外部记录介质。
多种类型的程序、数据、表、以及数据库之类的多种类型的信息可以被存储记录介质中以接受信息处理。CPU 1212可以对从RAM 1214读取到的数据执行各种类型的处理，各种类型的处理包括记载于本公开的各处的、由程序的指令序列指定的多种类型的操作、信息处理、条件判断、条件分支、无条件分支、信息的检索/替换等，并将结果写回RAM 1214。另外，CPU 1212可以检索记录介质内的文件、数据库等中的信息。
以上所说明的程序或软件模块可以存储在第二信息处理装置6025b上或第二信息处理装置6025b附近的计算机可读存储介质上。另外，在与专用通信网络或因特网连接的服务器系统内提供的硬盘或RAM之类的记录介质可以用作计算机可读存储介质，由此经由网络向第二信息处理装置6025b提供程序。
目前为止所说明的内容对于第一人型机器人6020a的第一信息处理装置也是同样的。
管理控制装置6060是为了实现作业熟悉系统6100而向人型机器人6020a、6020b给予指示的控制装置。另外，管理控制装置6060获取在人型机器人6020a、6020b的各存储装置中存储的感测信息。
管理控制装置6060由CPU 6060A、RAM 6060B、ROM 6060C、输入/输出部(I/O)6060D、将它们连接的数据总线或控制总线等总线6060E、以及通信部6064构成。I/O 6060D连接有存储介质6062。
另外，在I/O 6060D连接有通信部6064，通信部6064在与人型机器人6020的控制系统之间收发感测信息或作业手册信息、工序表信息等。需要说明的是，作业手册信息包括例如各作业项目的名称以及内容、作业项目的顺序、各作业项目所需的标准的作业时间的信息等。另外，工序表信息包括例如表示作业整体的作业时间或开始时刻/结束时刻的信息、表示各作业项目的作业时间或开始时刻/结束时刻的信息、表示各作业项目的作业人员的信息等。
图50是示出本实施方式的作业熟悉系统中的管理控制装置6060的功能的一个示例的框图。
管理控制装置6060具备存储介质6062、通信部6064以及处理部6066。
存储介质6062例如具备半导体存储装置、磁带装置、磁盘装置、或光盘装置中的至少一个。存储介质6062存储用于处理部6066中的处理的驱动程序、操作系统程序、应用程序、数据等。例如，存储介质6062存储感测信息。另外，存储介质6062存储作业人员的作业手册信息和/或工序表信息。
通信部6064具有Wi-Fi(注册商标)等无线的通信接口电路和/或以太网(注册商标)等有线的通信接口电路。通信部6064通过人型机器人6020a、6020b以及接口电路收发各种信息。
处理部6066具有一或多个处理器及其周边电路。处理部6066是对作业熟悉系统6100的整体的动作集中地控制的构件，例如是CPU。处理部6066参考在存储介质6062中存储的程序(驱动程序、操作系统程序、应用程序等)来执行处理。另外，处理部6066能够并行地执行多个程序(应用程序等)。
处理部6066具备判定部6661、控制部6662、学习部6663、生成部6664以及检测部6665。这些各部是通过由处理部6066所具备的处理器执行的程序来实现的功能模块。或者，这些各部也可以作为固件在处理部6066实现。
判定部6661判定感测对象(熟练作业人员400a或新作业人员400b)是否被感测到。作为判定方法，可以使用已知的图像识别技术，也是参考由学习部6663(参考图51)进行的学习的方法。
控制部6662参考标准动作模型，来使第二机器人6020b进行再现动作。另外，控制部6662在判定为感测对象没有被感测到的情况下，使各人型机器人6020的躯干/头部驱动机构6021或机器人移动机构6022工作。
学习部6663基于与熟练作业人员400a的规定动作对应的第一感测信息，学习标准动作模型。第一感测信息是通过第一机器人用传感器6023a(第一机器人用拍摄装置6024a)对熟练作业人员400a进行感测而获取的。需要说明的是，学习部6663的学习例如是通过自动学习进行的，该自动学习是通过自动地制作学习完成模型、或使用学习完成模型而自动地进行判定/解析的学习。
生成部6664参考学习部6663的学习结果，生成标准动作模型。另外，生成部6664生成后面说明的各感测指示或警报指示。
检测部6665基于使用第二机器人用传感器6023b(第二机器人用拍摄装置6024b)获取的与新作业人员400b的动作对应的第二感测信息，检测新作业人员400b的动作与标准动作模型的不同之处。另外，检测部6665基于使用第二机器人用传感器6023b(第二机器人用拍摄装置6024b)获取的与新作业人员400b的动作对应的感测信息，检测新作业人员400b的动作与作业手册信息或工序表信息的不同之处。需要说明的是，作为检测对象的一个示例，列举出对随着时间经过的各信息(数据)的变化的差异、或比较数据时的数据之间显著的偏差等。
(本公开所涉及的实施方式6的作业熟悉系统的处理)
图51是示出本实施方式的作业熟悉系统的处理的流程图的一个示例。该处理是参考预先在存储介质6062、第一信息处理装置的存储装置和/或第二信息处理装置6025b的存储装置1224中存储的控制程序、从而主要通过管理控制装置6060的处理部6066以与作业熟悉系统6100(管理控制装置6060、第一人型机器人6020a以及第二人型机器人6020b)的各要素协同的方式被执行的。
作为图51中记载的处理开始的前提，根据处理部6066的指示、或者在存储介质6062或第一信息处理装置的存储装置中存储的程序的读取指示，第一信息处理装置进行指示，以使作为移动式机器人发挥功能的第一人型机器人6020a向作业场所200移动。移动是基于第一人型机器人6020a的第一机器人移动机构6022的工作来进行的。
在移动时，给予指令，使得第一机器人用传感器6023a(第一机器人用拍摄装置6024a)的各感测区域6230(拍摄区域6240)能够感测熟练作业人员400a的规定动作。这种第一人型机器人6020a的配置例如是通过将预先作业场所200的楼层图存储在存储介质6062或第一信息处理装置的存储装置中且使第一人型机器人6020的位置a与该存储的楼层图相对应来进行的。或者，第一人型机器人6020的位置a的配置也可以是基于通过机器学习最优化后的位置来进行的。
最初，管理控制装置6060进行指示，以使用第一机器人用传感器6023a(第一机器人用拍摄装置6024a)感测熟练作业人员400a的作业线201上的规定动作(步骤S6101)。具体地，生成部6664以进行感测熟练作业人员400a的规定动作为目的，生成使第一人型机器人6020a的第一机器人用传感器6023a(第一机器人用拍摄装置6024a)以及第一机器人移动机构和/或第一躯干/头部驱动机构工作的第一感测指示，通过通信部6064向第一信息处理装置发送第一感测指示。第一信息处理装置的CPU通过第一信息处理装置的通信接口接收第一感测指示，起动使第一机器人用传感器6023a(第一机器人用拍摄装置6024a)和第一机器人移动机构和/或第一躯干/头部驱动机构工作的程序。
存储部存储由第一机器人用传感器6023a(第一机器人用拍摄装置6024a)获取的感测信息(第一感测信息)。需要说明的是，第一信息处理装置的存储装置、第二信息处理装置6025b的存储装置1224以及存储介质6062作为存储部发挥功能。特别是，在存储介质6062作为存储部发挥功能的情况下，通信部6064通过各信息处理装置的通信接口获取使用各传感器(拍摄装置获取的感测信息，存储介质6062通过I/O 6060D存储由通信部6064获取的感测信息。
处理部6066基于在存储部中存储的、换句话说基于存储的第一感测信息，学习并生成标准动作模型(步骤S6102)。第一感测信息是与熟练作业人员400a的规定动作对应的感测信息，因此基于第一感测信息的学习与学习熟练作业人员的规定动作是同义。
图52是示出图51的步骤S6102中所示的作业人员动作学习以及模型生成处理的更详细的处理的流程图的一个示例。
如上所述，存储部在存储获取的第一感测信息中(步骤S6201)时，学习部6663基于在存储部中存储到的第一感测信息，学习标准动作模型(步骤S6202)。在学习过程中，进行对熟练作业人员400a的动作的动作捕捉、作对业场所200的3D地图、作业场所200中的熟练作业人员400a的移动或动作的导航、转向、速度等的分析，通过自动学习，学习也能够作为作业再现机器人发挥功能的人型机器人6020的最佳动作。由此，能够一次性从多角度分析熟练作业人员400a的规定动作，并且能够缩减熟练作业人员400a的动作分析、编程所耗费的时间以及成本。
生成部6664参考学习部6663的学习结果，生成标准动作模型(步骤S6203)。
返回图51，控制部6662参考标准动作模型，使第二人型机器人6020b进行再现动作(步骤S6103)。由此，第二人型机器人6020b能够执行作为其他作业人员(新作业人员400b)的示范的再现动作。
接着，在让作为实现作业的熟悉的对象的作业人员、即新作业人员400b进行规定动作的基础上，管理控制装置6060进行指示，以使用第二机器人用传感器6023b(第二机器人用拍摄装置6024b)感测新作业人员400b的动作(步骤S6104)。具体地，生成部6664以感测新作业人员400b的动作为目的，生成使第二人型机器人6020b的第二机器人用传感器6023b(第二机器人用拍摄装置6024b)以及第二机器人移动机构6022b和/或第二躯干/头部驱动机构6021b工作的第二感测指示，通过通信部6064向第二信息处理装置6025b发送第二感测指示。第二信息处理装置的CPU 1212通过通信接口1222接收第二感测指示，起动使第二人型机器人6020b的第二机器人用传感器6023b(第二机器人用拍摄装置6024b)和第二机器人移动机构6022b和/或第二躯干/头部驱动机构6021b工作的程序。
检测部6665基于使用第二机器人用传感器6023b(第二机器人用拍摄装置6024b)获取的与新作业人员400b的动作对应的第二感测信息，检测新作业人员400b的动作与标准动作模型的不同之处(步骤S6105)。由此，对于作为实现作业的熟悉的对象的新作业人员400b，能够确认该动作是否与作为示范的动作不同。
需要说明的是，生成部6664也可以参考检测部6665的检测结果，生成作为输出检测结果的指示的检测结果输出指示。该情况下的检测结果的输出方法没有特别限定，例如可以在人型机器人6020或管理控制装置6060设置警报器(蜂鸣器)以使该警报器工作，也可以在人型机器人6020b管理控制装置6060设置显示功能，通过该显示功能示出动作的不同之处。
图53是示出图51的步骤S6105中所示的动作检测处理的更详细的处理的流程图的一个示例。
通信部6064通过第二信息处理装置6025b的通信接口1222，获取第二感测信息(步骤S6301)。第二感测信息既属于由第二机器人用传感器6023b(第二机器人用拍摄装置6024b)获取的感测信息，又属于与新作业人员400b的动作对应的感测信息。
检测部6665基于通过通信部6064获取的第二感测信息，检测新作业人员400b的动作与标准动作模型的不同之处(步骤S6302)。
另外，检测部6665基于通过通信部6064获取的第二感测信息，检测新作业人员400b的动作与作业手册信息或工序表信息的不同之处(步骤S6303)。作业手册信息或工序表信息是表示原本被设为合适的动作或顺序的信息。因此，通过将新作业人员400b的动作与作业手册信息或工序表信息进行比较，能够更加易于确认新作业人员400b的误动作。
需要说明的是，在新作业人员400b的动作与标准动作模型或作业手册信息或者工序表信息之间检测到不同之处的情况下，生成部6664也可以生成用于指示发出警报的警报指示。由此，在新作业人员400b的动作与作为示范的规定动作不同的情况下，新作业人员400b更加易于掌握这一点。需要说明的是，警报的方法没有特别限定，例如可以如前所述在人型机器人6020或管理控制装置6060设置警报器以使该警报器工作，也可以在人型机器人6020或管理控制装置6060设置显示功能，通过该显示功能发出警告。
另外，在新作业人员400b的动作与标准动作模型或作业手册信息或者工序表信息之间检测到不同之处的情况下，控制部6662也可以参考标准动作模型，使第二人型机器人6020b重新进行再现动作。由此，在新作业人员400b的动作与作为示范的规定动作不同的情况下，能够通过第二人型机器人6020b的再现动作，使新作业人员400b再次确认作为示范的规定动作，从而能够实现新作业人员400b对作业熟悉。
(实施方式6所涉及的作业熟悉系统的作用效果)
根据本实施方式所涉及的作业熟悉系统6100，基于与作为作业的示范的熟悉作业人员400a的规定动作对应的感测信息，学习标准动作模型，作业再现机器人参考该标准动作模型进行工作。由此，作业再现机器人的动作进行作为示范的规定动作，通过使作业再现机器人的动作作为作业人员的参考，能够实现作业人员对作业熟悉。
特别是，根据本实施方式所涉及的作业熟悉系统6100，基于第二感测信息，检测新作业人员400b的动作与标准动作模型的不同之处。由此，能够掌握新作业人员400b的动作与所期望的动作的不同之处。
另外，根据本实施方式所涉及的作业熟悉系统6100，基于第二感测信息，检测新作业人员400b的动作与作业手册信息或工序表信息的不同之处。熟练作业人员400a进行原则上作为示范的规定动作，但不一定始终进行忠实于作业的动作，有时也会根据情况而进行不必要的动作，或者有时也会省略所需的动作。因此，通过与表示原本被设为合适的动作或顺序的信息、即作业手册信息或工序表信息之间的比较而检测不同之处，由此能够将新作业人员400b的动作引导为更加期望的动作。
(实施方式6的变形例1)
图54A、图54B是示出本实施方式的变形例1所涉及的作业熟悉系统的一个示例的图。
图54A是示出本公开所涉及的实施方式6的变形例1所涉及的作业熟悉系统中的系统结构的一个示例的图。在本作业熟悉系统中，其特征在于，在作为移动式机器人以及作业再现机器人发挥功能的人型机器人6020'设置有躯干传感器6023”(躯干拍摄装置6024”)。另外，在本作业熟悉系统中，管理控制装置6060并不是必须的，人型机器人6020'可以单独地构成作业熟悉系统。
图54B是示出图54A所示的人型机器人的一个示例的图。作为移动式机器人兼作业再现机器人发挥功能的人型机器人6020'具备机器人主体6021'、机器人移动机构6022'、头部传感器6023'、头部传感器6023'所包含的头部拍摄装置6024'、躯干传感器6023”、躯干传感器6023”所包含的躯干拍摄装置6024”、信息处理装置6025'以及机器人臂部6026'。
机器人主体6021'具备机器人躯干6211'和机器人头部6212'。机器人躯干6211'和机器人头部6212'构成躯干/臂部驱动机构6021'(参考图55)，能够变更头部传感器6023'(头部拍摄装置6024')的感测区域6230'(拍摄区域6240')以及躯干传感器6023”(躯干拍摄装置6024”)的感测区域6230”(拍摄区域6240”)。
头部传感器6023'(头部拍摄装置6024')感测熟练作业人员400a，躯干传感器6023”(躯干拍摄装置6024”)感测新作业人员400b。头部传感器6023'(头部拍摄装置6024')与躯干传感器6023”(躯干拍摄装置6024”)配置在高度位置不同的部位，因此躯干传感器6023”(躯干拍摄装置6024”)从与头部传感器6023'(头部拍摄装置6024')不同的位置感测感测对象的各动作。需要说明的是，头部传感器6023'(头部拍摄装置6024')的感测对象与躯干传感器6023d(躯干拍摄装置6024d)的感测对象也可以是相反的结构。
信息处理装置6025'的结构与第二人型机器人6020b的第二信息处理装置6025b同样。对于机器人臂部6026'，也与第二人型机器人6020b同样。
图55是示出本作业熟悉系统中的人型机器人的功能的一个示例的框图。在作业熟悉系统6100'中，信息处理装置6025'具备信息处理部6066'、通信接口1222'以及存储装置1224'，信息处理部6066'具备判定部6661'、控制部6662'、学习部6663'、生成部6664'以及检测部6665'。即，在作业熟悉系统6100'中，信息处理部6066'进行与管理控制装置6060的处理部6066同样的处理。需要说明的是，信息处理装置6025'构成为能够与头部传感器6023'(头部拍摄装置6024')、躯干传感器6023”(头部拍摄装置6024”)、躯干/头部驱动机构6021'、机器人移动机构6022'以及臂部驱动机构6026'进行通信。
作业熟悉系统6100'的人型机器人6020'在信息处理装置6025'中具备信息处理部6066'，因此由人型机器人6020'单独构成作业熟悉系统。
还参考图54，在本作业再现系统中，人型机器人6020'具备信息处理装置6025'，信息处理装置6025'能够与能够感测熟练作业人员400a的规定动作的传感器即头部传感器6023'(头部拍摄装置6024')、以及能够感测新作业人员400b的动作的传感器即躯干传感器6023'(躯干拍摄装置6024')进行通信，通过头部传感器6023'(头部拍摄装置6024')感测熟练作业人员400b，另一方面，通过躯干传感器6023d(躯干拍摄装置6024d)感测新作业人员400b。具体地，生成部664'以感测熟练作业人员400a的规定动作以及新作业人员400b的动作为目的，生成使头部传感器6023'(头部拍摄装置6024')以及躯干传感器6023”(躯干拍摄装置6024”)以及机器人移动机构6022'和/或躯干/头部驱动机构6021'工作的第三感测指示。控制部6662'参考第三感测指示，起动使各机构工作的程序。
通信接口1222'获取由各传感器(各拍摄装置)获取的感测信息，向信息处理部6066'发送。学习部6663'基于使用头部传感器6023'(头部拍摄装置6024')获取的第一感测信息，学习标准动作模型。生成部6664'参考学习部6663'的学习结果，生成标准动作模型。存储装置(存储部)1224'存储由生成部6664'生成的标准动作模型。
控制部6662'可以参考在存储装置1224'中存储的标准动作模型，使人型机器人6020'进行再现动作。进一步，检测部6665'基于使用躯干传感器6023d(躯干拍摄装置6024d)获取的与新作业人员400b的动作对应的第二感测信息，检测新作业人员400b的动作与标准动作模型的不同之处。
另外，存储部1224'存储作业手册信息或工序表信息，检测部6665'基于使用躯干传感器6023d(躯干拍摄装置6024d)获取的与新作业人员400b的动作对应的第二感测信息，检测新作业人员400b的动作与存储装置1224'中存储的作业手册信息或工序表信息的不同之处。
(变形例1的作用效果)
根据本作业熟悉系统，由于人型机器人6020'可以单独地构成作业熟悉系统，因此例如即使在无法进行与管理控制装置6060的通信的场所，也能够进行对各作业人员的感测以及作为示范的再现动作。
另外，本人型机器人6020'具备多个(在本变形例中为2个)传感器(拍摄装置)，因此例如即使在对于感测各作业人员来说狭窄的场所，也能够进行对各作业人员的感测以及作为示范的再现动作。
另外，根据本作业熟悉系统，一方面在感测并学习作为示范的熟练作业人员400a的规定动作的同时，另一方面感测作为熟悉对象的新作业人员400b的动作，能够通过一体的作业再现机器人同时并行地进行检测与标准动作模型的不同之处的行为。由此，即使在熟练作业人员400a与新作业人员400b同时进行作业这样的环境下，在不占用不需要的空间的情况下，也能够实现新作业人员400b对作业熟悉。
需要说明的是，在本作业熟悉系统中，作为移动式机器人以及作业再现机器人发挥功能的人型机器人不一定必须是1台，也可以是多台。在该情况下，只要人型机器人的数量增加，传感器的数量以人型机器人数量的倍数增加，能够一次性获取大量的传感器信息。
以上对本公开的实施方式进行了说明，但本公开并不限定于上述的本公开的实施方式，可以在不脱离本公开的主旨放入范围内进行多种变形或应用。
在本实施方式的作业熟悉系统6100中，说明了对每个作业人员分别配置1台具备传感器的人型机器人的示例。但是，具备传感器的人型机器人的数量也可以是针对各作业人员为2台以上。例如，若具备传感器的人型机器人的台数较多，则可以配置多个传感器，以使分别从分别不同的位置、高度和/或朝向感测各作业人员的各动作。由此，易于获取各作业人员到的各动作的学习所需的多种数据，并且能够以整体覆盖各作业人员的各规定部位的方式进行感测。
另外，在本实施方式中，对熟练作业人员400a与新作业人员400b存在于相同的作业线201的示例进行了说明。但是，熟练作业人员400a与新作业人员400b也可以存在于不同的场所，感测各作业人员的各人型机器人也可以配置在不同的场所。
另外，在本实施方式中，对通过自动学习进行熟练作业人员400a的规定动作的学习的示例进行了说明。但是，学习不一定必须是自动学习，也可以是其它已知的机器学习，例如也可以是深度学习(Deep Learning)、无监督学习/有监督学习、强化学习等。
另外，在本实施方式中，对使作为作业再现机器人发挥功能的第二人型机器人6020b感测新作业人员400b的示例进行了说明。通过该结构，能够缩减人型机器人的台数，能够节约机器人制作所耗费的费用以及成本。然而，也可以分别具备作为作业再现机器人发挥功能的人型机器人和感测新作业人员400b的人型机器人。
另外，在本实施方式中，对移动式机器人与作业再现机器人是相同的人型机器人的示例进行了说明。在该情况下，可以将移动式机器人并用为作业再现机器人，能够节约机器人制作所涉及的费用以及成本。然而，移动式机器人与作业再现机器人也可以是不同的机器人。
另外，在本实施方式中，在各作业人员的感测时，使用具备传感器(拍摄装置)、移动机构以及驱动机构的人型机器人。根据这种方式，能够使移动机构或驱动机构与作业人员的规定动作对应地进行工作，并能够使感测区域(拍摄装置)追随作业人员的规定动作。然而，根据能够感测各作业人员的结构，也可以不是具备移动机构以及驱动机构的人型机器人。
另外，在本实施方式中，对在参考标准动作模型使第二人型机器人6020b进行再现动作(S6103)之后进行动作检测(S6105)的结构进行了说明。但是，S6103的处理与S6105的处理不一定必须是该顺序，也可以在S6105的处理之后进行S6103的处理。
另外，在本变形例1中，单独构成作业熟悉系统的作业再现机器人(人型机器人6020')被说明为具备传感器的机器人。但是，作业再现机器人只要具备能够与能够感测作业人员的动作的传感器进行通信的信息处理装置即可，不一定必须具备传感器。
需要说明的是，“熟练”、“新”之类的术语不应被限定性地解释。例如，在第一作业人员与第二作业人员之间，如果存在第一作业人员比第二作业人员具有更高的作业的熟悉度这样的作业的熟悉之差，则通过对第一作业人员的规定动作的感测获取的感测信息符合“与熟练作业人员的规定动作对应的第一感测信息”，并且通过对第二作业人员的动作的感测获取的感测信息符合“与新作业人员的动作对应的第二感测信息”。
2022年10月18日申请的日本专利申请2022-167221号的公开内容、2022年11月8日申请的日本专利申请2022-178895号的公开内容、2022年11月10日申请的日本专利申请2022-180376号的公开内容、2022年11月15日申请的日本专利申请2022-182641号的公开内容、2022年11月17日申请的日本专利申请2022-184345号的公开内容、以及2022年11月18日申请的日本专利申请2022-184856号的公开内容，其全部内容通过引用并入本说明书中。
附图标记说明
100 作业机器人调整系统
200 作业场所
201 作业线
400 作业人员
20 人型机器人(移动式机器人、作业机器人)
23 机器人用传感器
24 机器人用拍摄装置
25 信息处理装置
30 传感器安装构件
33 安装构件用传感器
34 安装构件用拍摄装置
60 管理控制装置

Claims (36)

1.一种作业机器人调整方法，其中，所述作业机器人调整方法具有以下工序：
使具有传感器的移动式机器人向作业人员进行动作的环境移动；
使用所述传感器记录作业人员的动作；
基于所述记录，对作业人员的动作进行学习；
基于所述学习，使作业机器人进行与作业人员的动作相同的动作；以及
进行调整，使得作业人员的动作与所述作业机器人的动作一致。
2.根据权利要求1所述的作业机器人调整方法，其中，
所述移动式机器人与所述作业机器人是相同的机器人。
3.根据权利要求1或2所述的作业机器人调整方法，其中，
所述传感器包括拍摄装置，
所述拍摄装置配置在比所述移动式机器人高的位置。
4.一种感测系统，其特征在于，所述感测系统具备：
第一传感器，所述第一传感器用于对感测对象的规定动作进行感测；
第二传感器，所述第二传感器用于从与所述第一传感器不同的位置对所述感测对象的规定动作进行感测；
第一移动式机器人，所述第一移动式机器人具有所述第一传感器和第一移动机构；以及
管理控制装置，所述管理控制装置能够与所述第一传感器、所述第二传感器以及所述第一移动机构进行通信，
所述管理控制装置具有：
判定部，所述判定部根据由所述第一传感器获取的第一信息以及由所述第二传感器获取的第二信息，判定所述感测对象在进行规定动作时可动的规定部位是否被感测到；以及
控制部，在通过所述判定部判定为所述规定部位未被感测到的情况下，所述控制部使所述第一移动机构进行工作，使得所述规定部位被感测到。
5.根据权利要求4所述的感测系统，其中，
所述第二传感器配置于具备第二移动机构的第二移动式机器人，
在通过所述判定部判定为所述规定部位未被感测到的情况下，所述控制部使所述第一移动机构以及所述第二移动机构进行工作，使得所述规定部位被感测到。
6.根据权利要求5所述的感测系统，其中，
所述控制部使所述第一移动机构进行工作，使得所述第一传感器感测所述规定部位的一部分，且使所述第二移动机构进行工作，使得所述第二传感器感测所述规定部位的其他部分。
7.根据权利要求4至6中任一项所述的感测系统，其中，
所述感测系统还具备作业机器人，
所述管理控制装置具有：
存储部，所述存储部存储所述第一信息以及所述第二信息；
学习部，所述学习部参考在所述存储部中存储的所述第一信息以及所述第二信息，对所述规定动作进行学习；以及
动作信息生成部，所述动作信息生成部参考所述学习部的学习结果，生成向所述作业机器人给予动作指示的动作信息。
8.根据权利要求7所述的感测系统，其中，
所述存储部预先存储所述感测对象的作业手册信息或工序表信息，
所述动作信息生成部参考所述学习部的学习结果以及所述感测对象的作业手册信息或工序表信息，生成向所述作业机器人给予动作指示的动作信息。
9.一种感测方法，其特征在于，具备：
第一传感器，所述第一传感器用于对感测对象的规定动作进行感测；
第二传感器，所述第二传感器用于从与所述第一传感器不同的位置对所述感测对象的规定动作进行感测；
第一移动式机器人，所述第一移动式机器人具有所述第一传感器和第一移动机构；以及
管理控制装置，所述管理控制装置能够与所述第一传感器、所述第二传感器以及所述第一移动机构进行通信，
在所述感测方法中，所述管理控制装置
根据由所述第一传感器获取的第一信息以及由所述第二传感器获取的第二信息，判定所述感测对象在进行规定动作时可动的规定部位是否被感测到；以及
在通过所述判定判定为所述规定部位未被感测到的情况下，使所述第一移动机构进行工作，使得所述规定部位被感测到。
10.一种感测系统，其特征在于，所述感测系统具备：
第一传感器，所述第一传感器用于对感测对象的规定动作进行感测；
第二传感器，所述第二传感器用于从与所述第一传感器不同的位置对所述感测对象的规定动作进行感测；
第一移动式机器人，所述第一移动式机器人具有所述第一传感器和第一移动机构；以及
管理控制装置，所述管理控制装置能够与所述第一传感器、所述第二传感器以及所述第一移动机构进行通信，
所述管理控制装置具有：
判定部，所述判定部根据由所述第一传感器获取的第一信息以及由所述第二传感器获取的第二信息，判定所述感测对象在进行规定动作时可动的规定部位是否被感测到，且判定由所述第一传感器感测的规定部位与由所述第二传感器感测的规定部位是否相同；以及
控制部，在判定为由所述第一传感器感测的规定部位与由所述第二传感器感测的规定部位相同的情况下，所述控制部使所述第一移动机构进行工作，使得由所述第一传感器感测的规定部位与由所述第二传感器感测的规定部位不同。
11.一种移动式机器人，其特征在于，所述移动式机器人具备：
移动机构；
第一传感器，所述第一传感器对感测对象进行感测；
第二传感器，所述第二传感器从与所述第一传感器不同的位置对所述感测对象进行感测；
驱动机构，所述驱动机构能够使所述第二传感器的位置移动；以及
信息处理部，所述信息处理部对所述第一传感器、所述第二传感器、所述移动机构以及所述驱动机构进行控制，
所述信息处理部具有：
判定部，所述判定部根据由所述第一传感器获取的第一信息以及由所述第二传感器获取的第二信息，判定所述感测对象在进行规定动作时可动的规定部位是否被感测到；以及
控制部，在通过所述判定部判定为所述规定部位未被感测到的情况下，所述控制部使所述移动机构或所述驱动机构进行工作，使得所述规定部位被感测到。
12.一种移动式机器人，其特征在于，所述移动式机器人具备：
移动机构；
第一传感器，所述第一传感器对感测对象进行感测；
第二传感器，所述第二传感器从与所述第一传感器不同的位置对所述感测对象进行感测；
驱动机构，所述驱动机构能够使所述第二传感器的位置移动；以及
信息处理部，所述信息处理部对所述第一传感器、所述第二传感器、所述移动机构以及所述驱动机构进行控制，
所述信息处理部具有：
判定部，所述判定部根据由所述第一传感器获取的第一信息以及由所述第二传感器获取的第二信息，判定所述感测对象在进行规定动作时可动的规定部位是否被感测到，且判定由所述第一传感器感测的规定部位与由所述第二传感器感测的规定部位是否相同；以及
控制部，在判定为由所述第一传感器感测的规定部位与由所述第二传感器感测的规定部位相同的情况下，所述控制部使所述移动机构或所述驱动机构进行工作，使得由所述第一传感器感测的规定部位与由所述第二传感器感测的规定部位不同。
13.一种感测系统，其特征在于，所述感测系统具备：
第一传感器，所述第一传感器用于对感测对象的规定动作进行感测；
作业机器人，所述作业机器人根据动作指示进行动作；
第二传感器，所述第二传感器用于对所述作业机器人的机器人动作进行感测；以及
管理控制装置，所述管理控制装置能够与所述第一传感器、所述第二传感器以及所述作业机器人进行通信，
所述管理控制装置具有：
学习部，所述学习部参考由所述第一传感器获取的第一信息来学习所述规定动作；
动作信息生成部，所述动作信息生成部参考所述学习部对所述规定动作的学习结果，生成向所述作业机器人给予所述动作指示的动作控制信息；以及
调整部，所述调整部将所述第一信息与由所述第二传感器获取的第二信息进行比较，对所述动作控制信息进行调整，使得所述作业机器人的所述机器人动作与所述规定动作近似。
14.根据权利要求13所述的感测系统，其中，
所述管理控制装置同时进行所述第一传感器对所述第一信息的获取与所述第二传感器对所述第二信息的获取。
15.根据权利要求13所述的感测系统，其中，
所述管理控制装置分别进行所述第一传感器对所述第一信息的获取与所述第二传感器对所述第二信息的获取。
16.根据权利要求13至15中任一项所述的感测系统，其中，
所述管理控制装置还具有存储部，所述存储部存储所述第一信息、所述第二信息以及与所述规定动作相关的作业手册信息，
所述动作信息生成部参考所述学习部对所述规定动作的学习结果以及所述作业手册信息，生成所述动作控制信息。
17.根据权利要求16所述的感测系统，其中，
所述动作信息生成部在生成动作控制信息时不使用与所述作业手册信息相反的所述学习部对所述规定动作的学习结果。
18.根据权利要求13所述的感测系统，其中，
所述第一传感器或所述第二传感器配置于具备移动机构的移动式机器人，
所述移动式机器人能够与所述管理控制装置进行通信。
19.一种感测方法，其特征在于，具备：
第一传感器，所述第一传感器用于对感测对象的规定动作进行感测；
作业机器人，所述作业机器人根据动作指示进行动作；
第二传感器，所述第二传感器用于对所述作业机器人的机器人动作进行感测；以及
管理控制装置，所述管理控制装置能够与所述第一传感器、所述第二传感器以及所述作业机器人进行通信，
在所述感测方法中，所述管理控制装置
参考由所述第一传感器获取的第一信息来学习所述规定动作；
参考通过所述学习对所述规定动作的学习结果，生成向所述作业机器人给予所述动作指示的动作控制信息；以及
将所述第一信息与由所述第二传感器获取的第二信息进行比较，对所述动作控制信息进行调整，使得所述作业机器人的所述机器人动作与所述规定动作近似。
20.一种作业机器人，其特征在于，所述作业机器人根据动作指示进行动作，具备：
第一传感器，所述第一传感器用于对感测对象的规定动作进行感测；
第二传感器，所述第二传感器用于对所述作业机器人的机器人动作进行感测；以及
信息处理部，所述信息处理部能够与所述第一传感器以及所述第二传感器进行通信，
所述信息处理部具有：
学习部，所述学习部参考由所述第一传感器获取的第一信息来学习所述规定动作；
动作信息生成部，所述动作信息生成部参考所述学习部对所述规定动作的学习结果，生成向所述作业机器人给予所述动作指示的动作控制信息；以及
调整部，所述调整部将所述第一信息与由所述第二传感器获取的第二信息进行比较，对所述动作控制信息进行调整，使得所述作业机器人的所述机器人动作与所述规定动作近似。
21.一种动作改变系统，其特征在于，所述动作改变系统具备：
作业机器人；
传感器；以及
能够与所述作业机器人以及所述传感器进行通信的管理控制装置，
所述管理控制装置具备：
学习部，所述学习部基于使用所述传感器获取的与所述感测对象的规定动作对应的感测信息，学习与所述感测对象的规定动作对应的标准动作模型；
所述模型生成部参考所述标准动作模型，生成改变动作模型，所述改变动作模型将所述标准动作模型中的各动作的执行时间设定为比生成所述标准动作模型时的各动作的所需时间短；以及
控制部，所述控制部参考所述改变动作模型，使所述作业机器人进行工作。
22.根据权利要求21所述的动作改变系统，其中，
所述管理控制装置还具有存储部，所述存储部存储所述感测对象的作业手册信息或工序表信息，
所述学习部参考所述感测信息以及所述感测对象的作业手册信息或工序表信息，生成所述标准动作模型。
23.一种动作改变系统，其特征在于，所述动作改变系统具备：
作业机器人；
用于分别对多个不同的感测对象进行感测的多个传感器；以及
能够与所述作业机器人以及所述多个传感器进行通信的管理控制装置，
所述管理控制装置具备：
学习部，所述学习部基于使用所述多个传感器获取的与所述多个感测对象的规定动作对应的多个感测信息，学习所述多个感测对象的各规定动作、以及与所述多个感测对象的各规定动作对应的多个标准动作模型；
模型生成部，所述模型生成部参考所述多个标准动作模型，生成改变动作模型，所述改变动作模型对所述多个感测对象的规定动作的至少一部分进行整合；以及
控制部，所述控制部参考所述改变动作模型来使所述作业机器人进行工作。
24.根据权利要求21至23中任一项所述的动作改变系统，其中，
所述作业机器人设置有多台，
所述控制部使所述多台的作业机器人进行工作。
25.一种动作改变方法，其特征在于，在所述动作改变方法中，
基于使用传感器获取的与感测对象的规定动作对应的感测信息，学习与所述感测对象的规定动作对应的标准动作模型；
参考所述标准动作模型，生成改变动作模型，所述改变动作模型将所述标准动作模型中的各动作的执行时间设定为比生成所述标准动作模型时的各动作的所需时间短；以及
参考所述改变动作模型，使所述作业机器人进行工作。
26.一种作业机器人，其特征在于，所述作业机器人具备：
驱动机构，所述驱动机构用于使所述作业机器人进行动作；
学习部，所述学习部基于使用传感器获取的与感测对象的规定动作对应的感测信息，学习与所述感测对象的规定动作对应的标准动作模型；
模型生成部，所述模型生成部参考所述标准动作模型，生成改变动作模型，所述改变动作模型将所述标准动作模型中的各动作的执行时间设定为比生成所述标准动作模型时的各动作的所需时间短；以及
控制部，所述控制部参考所述改变动作模型，对所述驱动机构进行控制，以使作业机器人进行工作。
27.一种作业再现系统，其特征在于，所述作业再现系统具备：
作业再现机器人；
能够对所述作业再现机器人的动作进行感测的传感器；以及
能够与所述作业再现机器人以及传感器进行通信的管理控制装置，
所述管理控制装置具备：
学习部，所述学习部基于与感测对象的规定动作对应的第一感测信息，学习与所述感测对象的规定动作对应的标准动作模型；
控制部，所述控制部参考所述标准动作模型，使所述作业再现机器人进行一次以上的再现动作；
输入部，所述输入部输入事故或误动作信息；以及
探测部，所述探测部基于使用所述传感器获取的与所述作业再现机器人的再现动作对应的第二感测信息，探测所述事故或误动作的发生。
28.一种作业再现系统，其特征在于，所述作业再现系统具备：
作业再现机器人；
能够对所述作业再现机器人的动作进行感测的传感器；以及
能够与所述作业再现机器人以及传感器进行通信的管理控制装置，
所述管理控制装置具备：
学习部，所述学习部基于与感测对象的规定动作对应的第一感测信息，学习与所述感测对象的规定动作对应的标准动作模型；
控制部，所述控制部参考所述标准动作模型，使所述作业再现机器人进行一次以上的再现动作；
存储部，所述存储部存储所述感测对象的作业手册信息或工序表信息；以及
探测部，所述探测部基于使用所述传感器获取的与所述作业再现机器人的再现动作对应的第二感测信息，探测与所述作业手册信息或所述工序表信息不同的动作的发生。
29.一种作业再现方法，其特征在于，具备：
作业再现机器人；
能够对所述作业再现机器人的动作进行感测的传感器；以及
能够与所述作业再现机器人以及传感器进行通信的管理控制装置，
在所述作业再现方法中，所述管理控制装置
基于与感测对象的规定动作对应的第一感测信息，学习与所述感测对象的规定动作对应的标准动作模型；
参考所述标准动作模型，使所述作业再现机器人进行一次以上的再现动作；
输入事故或误动作信息；以及
基于使用所述传感器获取的与所述作业再现机器人的再现动作对应的第二感测信息，探测所述事故或误动作的发生。
30.一种作业再现方法，其特征在于，具备：
作业再现机器人；
能够对所述作业再现机器人的动作进行感测的传感器；以及
能够与所述作业再现机器人以及传感器进行通信的管理控制装置，
在所述作业再现方法中，所述管理控制装置
基于与感测对象的规定动作对应的第一感测信息，学习与所述感测对象的规定动作对应的标准动作模型；
参考所述标准动作模型，使所述作业再现机器人进行一次以上的再现动作；
存储所述感测对象的作业手册信息或工序表信息；以及
基于使用所述传感器获取的与所述作业再现机器人的再现动作对应的第二感测信息，探测与所述作业手册信息或所述工序表信息不同的动作的发生。
31.一种作业再现机器人，其特征在于，具备：
能够对所述作业再现机器人的动作进行感测的传感器、和能够进行通信的信息处理装置，
所述信息处理装置具备：
学习部，所述学习部基于与感测对象的规定动作对应的第一感测信息，学习与所述感测对象的规定动作对应的标准动作模型；
控制部，所述控制部参考所述标准动作模型来使所述作业再现机器人进行一次以上的再现动作；
输入部，所述输入部输入事故或误动作信息；以及
探测部，所述探测部基于使用外部的所述传感器获取的与所述作业再现机器人的再现动作对应的第二感测信息，探测所述事故或误动作的发生。
32.一种作业再现机器人，其特征在于，具备：
能够对所述作业再现机器人的动作进行感测的传感器、和能够进行通信的信息处理装置，
所述信息处理装置
学习部，所述学习部基于与感测对象的规定动作对应的第一感测信息，学习与所述感测对象的规定动作对应的标准动作模型；
控制部，所述控制部参考所述标准动作模型，使所述作业再现机器人进行一次以上的再现动作；
存储部，所述存储部存储所述感测对象的作业手册信息或工序表信息；以及
探测部，所述探测部基于使用所述传感器获取的与所述作业再现机器人的再现动作对应的第二感测信息，探测与所述作业手册信息或所述工序表信息不同的动作的发生。
33.一种作业熟悉系统，其特征在于，所述作业熟悉系统具备：
作业再现机器人；
能够对新作业人员的动作进行感测的传感器；以及
能够与所述作业再现机器人以及传感器进行通信的管理控制装置，
所述管理控制装置具备：
存储部，所述存储部存储基于与熟练作业人员的规定动作对应的第一感测信息学习得到的标准动作模型；
控制部，所述控制部参考所述标准动作模型，使所述作业再现机器人进行再现动作；以及
检测部，所述检测部基于使用所述传感器获取的与所述新作业人员的动作对应的第二感测信息，检测所述新作业人员的动作与所述标准动作模型的不同之处。
34.根据权利要求33所述的作业熟悉系统，其中，
所述存储部还存储作业手册信息或工序表信息，
所述检测部基于与使用所述传感器获取的所述新作业人员的动作对应的第二感测信息，检测所述新作业人员的动作与所述作业手册信息或所述工序表信息的不同之处。
35.一种作业熟悉方法，其特征在于，具备：
作业再现机器人；
能够对新作业人员的动作进行感测的传感器；以及
能够与所述作业再现机器人以及传感器进行通信的管理控制装置，
在所述作业熟悉方法中，所述管理控制装置
存储基于与熟练作业人员的规定动作对应的第一感测信息学习得到的标准动作模型；
参考所述标准动作模型，使所述作业再现机器人进行再现动作；以及
基于使用所述传感器获取的与所述新作业人员的动作对应的第二感测信息，检测所述新作业人员的动作与所述标准动作模型的不同之处。
36.一种作业再现机器人，其特征在于，所述作业再现机器人具备：
能够对新作业人员的动作进行感测的传感器、和能够进行通信的信息处理装置，
所述信息处理装置具备：
存储部，所述存储部存储基于与熟练作业人员的规定动作对应的第一感测信息学习得到的标准动作模型；
控制部，所述控制部参考所述标准动作模型，使所述作业再现机器人进行再现动作；以及
检测部，所述检测部基于使用所述传感器获取的与所述新作业人员的动作对应的第二感测信息，检测所述新作业人员的动作与所述标准动作模型的不同之处。
CN202380073373.9A 2022-10-18 2023-10-17 作业机器人调整方法、感测系统、感测方法、移动式机器人、动作改变系统、动作改变方法、作业机器人、作业再现系统、作业再现方法、作业熟悉系统、作业熟悉方法以及作业再现机器人 Pending CN120076904A (zh)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
JP2022-167221 2022-10-18
JP2022167221A JP2024059511A (ja) 2022-10-18 2022-10-18 作業ロボット調整方法
JP2022-178895 2022-11-08
JP2022178895A JP2024068441A (ja) 2022-11-08 2022-11-08 センシングシステム、センシング方法及び移動式ロボット
JP2022-180376 2022-11-10
JP2022180376A JP2024070031A (ja) 2022-11-10 2022-11-10 センシングシステム、センシング方法及び作業ロボット
JP2022182641A JP2024072051A (ja) 2022-11-15 2022-11-15 動作改変システム、動作改変方法及び作業ロボット
JP2022-182641 2022-11-15
JP2022184345A JP2024073243A (ja) 2022-11-17 2022-11-17 作業再現システム、作業再現方法及び作業再現ロボット
JP2022-184345 2022-11-17
JP2022-184856 2022-11-18
JP2022184856A JP2024073888A (ja) 2022-11-18 2022-11-18 作業習熟システム、作業習熟方法及び作業再現ロボット
PCT/JP2023/037595 WO2024085159A1 (ja) 2022-10-18 2023-10-17 作業ロボット調整方法、センシングシステム、センシング方法、移動式ロボット、動作改変システム、動作改変方法、作業ロボット、作業再現システム、作業再現方法、作業習熟システム、作業習熟方法及び作業再現ロボット

Publications (1)

Publication Number Publication Date
CN120076904A true CN120076904A (zh) 2025-05-30

Family

ID=90737884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202380073373.9A Pending CN120076904A (zh) 2022-10-18 2023-10-17 作业机器人调整方法、感测系统、感测方法、移动式机器人、动作改变系统、动作改变方法、作业机器人、作业再现系统、作业再现方法、作业熟悉系统、作业熟悉方法以及作业再现机器人

Country Status (3)

Country Link
EP (1) EP4606530A1 (zh)
CN (1) CN120076904A (zh)
WO (1) WO2024085159A1 (zh)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007226515A (ja) 2006-02-23 2007-09-06 Mhi Environment Engineering Co Ltd 安全教育システム及び安全教育方法
JP2009196040A (ja) * 2008-02-21 2009-09-03 Panasonic Corp ロボットシステム
HUE068211T2 (hu) 2016-09-14 2024-12-28 Syensqo Sa Hattagú gyûrûs szulfátokat tartalmazó elektrolitok
JP7038642B2 (ja) 2018-11-20 2022-03-18 株式会社日立製作所 作業習熟支援装置、及び作業習熟支援システム
JP7448327B2 (ja) * 2019-09-26 2024-03-12 ファナック株式会社 作業員の作業を補助するロボットシステム、制御方法、機械学習装置、及び機械学習方法
JP7332497B2 (ja) 2020-02-19 2023-08-23 株式会社東芝 作業ロボットの操作支援システム及び操作支援方法
CN116157270B (zh) 2020-08-19 2025-10-03 Dic株式会社 硬化性树脂
JP2022042867A (ja) 2020-09-03 2022-03-15 倉敷紡績株式会社 ロボット制御方法
JP7654983B2 (ja) 2021-01-22 2025-04-02 オムロン株式会社 作業推定装置、作業推定装置の制御方法、情報処理プログラム、および記録媒体
JP2022128114A (ja) * 2021-02-22 2022-09-01 川崎重工業株式会社 メンテナンス支援システム
JP7370080B2 (ja) 2021-04-22 2023-10-27 Ｏｆｆｉｃｅ Ｓｕｓｕｍｕｎａｒｉ株式会社 高度処理装置
JP7460162B2 (ja) 2021-05-21 2024-04-02 国立大学法人 宮崎大学 前回り受身習得用具
JP7608273B2 (ja) 2021-05-28 2025-01-06 酒井重工業株式会社 建設車両のブレーキ機構
JP7632088B2 (ja) 2021-06-01 2025-02-19 セイコーエプソン株式会社 印刷装置

Also Published As

Publication number Publication date
WO2024085159A1 (ja) 2024-04-25
EP4606530A1 (en) 2025-08-27

Similar Documents

Publication Publication Date Title
CN111604942B (zh) 物体检测装置、控制装置以及物体检测用计算机程序
US9399290B2 (en) Enhancing sensor data by coordinating and/or correlating data attributes
US12246456B2 (en) Image generation device, robot training system, image generation method, and non-transitory computer readable storage medium
CN103105193A (zh) 精密机器视觉检测系统和用于操作该系统的方法
JPH04344503A (ja) ロボットの数値制御装置
CN112446104B (zh) 真实设备与其数字孪生之间的偏差的识别
CN115038554A (zh) 基于传感器的用于自主机器的复杂场景的构建
EP3936286A1 (en) Robot control device, robot control method, and robot control program
CN113269085A (zh) 一种直线传送带跟踪控制方法、系统、装置及存储介质
CN109752724A (zh) 一种图像激光一体式导航定位系统
KR102528433B1 (ko) 갠트리탑재형 카메라를 이용한 곡부재 제작 장치
CN116408790A (zh) 机器人控制方法、装置、系统及存储介质
CN120076904A (zh) 作业机器人调整方法、感测系统、感测方法、移动式机器人、动作改变系统、动作改变方法、作业机器人、作业再现系统、作业再现方法、作业熟悉系统、作业熟悉方法以及作业再现机器人
CN117621040A (zh) 机器人控制系统、机器人控制方法以及计算机可读取记录介质
CN1289270C (zh) 开放式工业机器人视觉控制平台
CN106774178B (zh) 一种自动化控制系统及方法、机械设备
CN119963779A (zh) 基于畜类胴体分割大数据的机械臂分割路径自主进化方法及双臂机器人畜类胴体分割系统
JP4779226B2 (ja) ロボット装置、並びに、画像記憶方法及び画像記憶装置、並びに、制御プログラム及び記録媒体
CN118786006A (zh) 经由机械臂检查和/或处理部件的方法，以及对应的系统和计算机程序产品
JP2019192161A (ja) 画像管理装置
JP2024070031A (ja) センシングシステム、センシング方法及び作業ロボット
Wang et al. Deep dynamic layout optimization of photogrammetry camera position based on digital twin
TWI836993B (zh) 施工機器人智能系統
JP2024072051A (ja) 動作改変システム、動作改変方法及び作業ロボット
JP2024068441A (ja) センシングシステム、センシング方法及び移動式ロボット

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination