WO2024085159A1

WO2024085159A1 - 作業ロボット調整方法、センシングシステム、センシング方法、移動式ロボット、動作改変システム、動作改変方法、作業ロボット、作業再現システム、作業再現方法、作業習熟システム、作業習熟方法及び作業再現ロボット

Info

Publication number: WO2024085159A1
Application number: PCT/JP2023/037595
Authority: WO
Inventors: 正義孫
Original assignee: SoftBank Group Corp
Current assignee: SoftBank Group Corp
Priority date: 2022-10-18
Filing date: 2023-10-17
Publication date: 2024-04-25
Anticipated expiration: 2025-04-18
Also published as: EP4606530A1; CN120076904A

Abstract

作業ロボット調整方法は、センサを有する移動式ロボットを作業員が動作する環境に移動させ、前記センサを用いて作業員の動作を記録し、前記記録に基づいて、作業員の動作を学習し、前記学習に基づいて、作業員の動作と同じ動作を作業ロボットに行わせ、作業員の動作と前記作業ロボットの動作とが一致するように調整する、工程を有する。

Description

作業ロボット調整方法、センシングシステム、センシング方法、移動式ロボット、動作改変システム、動作改変方法、作業ロボット、作業再現システム、作業再現方法、作業習熟システム、作業習熟方法及び作業再現ロボット

　本開示は、作業環境で作業を行う作業ロボットの調整方法、センシングシステム、センシング方法、移動式ロボット、動作改変システム、動作改変方法、作業ロボット、作業再現システム、作業再現方法、作業習熟システム、作業習熟方法及び作業再現ロボットに関する。

　近年、例えば工場でのライン作業など、人による作業を作業ロボットに行わせたり、作業ロボットに補助させたりする技術が検討されている。例えば、特許文献１には、データベースに格納された作業対象物の形状等を含む各種情報等に基づいて作業員の作業内容を判定し、また、作業ロボットに設けられた各種センサから取得した情報に基づいて表示装置に情報を表示することで、作業員の作業負担を軽減する支援システムが開示されている。

　また、人による作業を作業ロボットに行わせるには、その前提として、人による作業をセンサで検知（センシング）し、その動作を把握する必要がある。例えば、特許文献２には、セルカメラ３０から作業場画像Ｉｃ、天井カメラ８０から全体画像Ｉａを各々生成し、画像解析をする作業推定装置が開示されている。

　また例えば、特許文献３には、作業情報を表現する２次元コードをセンサで読み取ると共に、作業物体を撮像するセンサで作業物体を撮像し、撮像した画像と作業情報とに基づいて、ロボットに作業をさせるための動作情報を生成し、動作情報に基づいてロボットに作業させるロボット制御方法が開示されている。

　また、所定の作業を行う作業場において、作業員のミスやそれ以外の要因等によって、事故等の異常事態が発生する場合がある。異常事態が発生した場合、その原因を解明することが、次の異常事態発生を抑制するのに有効である。例えば特許文献４では、事故の発生状況が効果的に伝達される安全教育システムを提供するため、事故が発生した事故発生現場の三次元データと、入力された視点情報とに基づいて、事故発生現場を視点情報が指定する視点から見た事故発生現場画像の事故発生現場画像データを生成し、当該画像データを表示部に表示させる技術が開示されている。

　また、従来から、作業員の作業の習熟を支援する作業習熟システムが存在する。例えば、特許文献５では、習熟度合いの低い作業を特定するため、（習熟度合いの低い作業を示す）基準外作業の条件を含む基準外作業モデル情報と、作業手順情報と、作業所内部画像とを用いて、基準外作業の作業内容を特定する作業習熟システムが開示されている。

特開２０２１－１３０１５６号公報特開２０２２－１１３０４２号公報特開２０２２－０４２８６７号公報特開２００７－２２６５１５号公報特開２０２０－０８６６９７号公報

　作業員の作業を作業ロボットで再現する場合、作業員の動作分析を行い、動作ごとにロボットにプログラミングする必要がある。この場合、動作分析やプログラミングに時間や人件費等のコストが掛かる。

　そこで、本開示は、作業員の動作分析やプログラミングに掛かる時間及びコストを削減する作業ロボット調整方法を提供することを目的とする。

　また、作業員の作業には、例えば移動を伴ったり、大きな動作が伴ったりする場合もある。特許文献２の作業推定装置では、各センサ（カメラ）は固定的に配置されるため、作業員とセンサ位置との関係によっては作業員の作業（所定動作）を充分にセンシングできない場合もある。

　そこで、本開示は、作業員の所定動作を充分にセンシングすることができるセンシングシステム、センシング方法及び移動式ロボットを提供することを目的とする。

　また、特許文献３のロボット制御方法では、作業情報に含まれる作業の内容どおりにロボットが動作しているか否かを確認することが困難であった。また、作業の内容を適切に行えていない場合に、ロボットの動作を適切な動作に調整することも困難であった。

　そこで、本開示は、作業ロボットの動作を確認し、適切な動作に調整することができるセンシングシステム、センシング方法及び作業ロボットを提供することを目的とする。

　また、作業員の作業は、肉体的な能力の限界から、その作業速度を速めるにも一定の限界がある。そのため、作業員の所定動作が学習された学習モデルをそのまま作業ロボットに行わせたのでは、作業ロボットが効率的に作業を行えない場合がある。

　そこで、本開示は、作業員の作業が学習された学習モデルを用いて作業する作業ロボットにおいて、作業ロボットが効率的に作業することを可能とする動作改変システム、動作改変方法及び作業ロボットを提供することを目的とする。

　また、異常事態が発生する場合、様々な要因が絡み合って引き起こされることが多く、異常事態の発生要因を解明するため、現場の状況を再現することが行われている。また、異常事態発生時の関係者（作業員）等を再現現場に配置して、異常事態が発生した際の動作を実際に行わせるといったことも行われている。この場合、異常事態発生当時の状況をより正確に再現することができ、異常事態の発生要因を解明しやすい。しかしながら、関係者に事故の状況を直接的に再現させることは、状況により困難な場合もある。

　そこで、本開示は、異常事態の発生要因を解明することを容易にする作業再現システム、作業再現方法及び作業再現ロボットを提供することを目的とする。

　また、習熟度合いの低い作業を特定するだけでは、特定された作業の改善策を検討できるにとどまり、作業員の作業の習熟を図るには不十分である。

　そこで、本開示は、作業員の作業の習熟を図ることができる作業習熟システム、作業習熟方法及び作業再現ロボットを提供することを目的とする。

　本開示に係る作業ロボット調整方法は、センサを有する移動式ロボットを作業員が動作する環境に移動させ、前記センサを用いて作業員の動作を記録し、前記記録に基づいて、作業員の動作を学習し、前記学習に基づいて、作業員の動作と同じ動作を作業ロボットに行わせ、作業員の動作と前記作業ロボットの動作とが一致するように調整する、工程を有する。

　本開示に係るセンシングシステムは、センシング対象の所定動作をセンシングするための第１センサと、前記第１センサと異なる位置から前記センシング対象の所定動作をセンシングするための第２センサと、前記第１センサと、第１移動機構とを備える第１移動式ロボットと、前記第１センサ、前記第２センサ及び前記第１移動機構と通信可能な管理制御装置と、を備え、前記管理制御装置は、前記第１センサにより取得される第１情報及び前記第２センサにより取得される第２情報から、前記センシング対象が所定動作時に可動する所定部位がセンシングされるか否かを判定する判定部と、前記判定部により前記所定部位がセンシングされていないと判定された場合、前記所定部位がセンシングされる様に前記第１移動機構を作動させる制御部と、を有する、ことを特徴とする。

　また、本開示に係るセンシング方法は、センシング対象の所定動作をセンシングするための第１センサと、前記第１センサと異なる位置から前記センシング対象の所定動作をセンシングするための第２センサと、前記第１センサと、第１移動機構とを備える第１移動式ロボットと、前記第１センサ、前記第２センサ及び前記第１移動機構と通信可能な管理制御装置と、を備え、前記管理制御装置は、前記第１センサにより取得される第１情報及び前記第２センサにより取得される第２情報から、前記センシング対象が所定動作時に可動する所定部位がセンシングされるか否かを判定し、前記判定部により前記所定部位がセンシングされていないと判定された場合、前記所定部位がセンシングされる様に前記第１移動機構を作動させる、ことを特徴とする。

　また、本開示に係るセンシングシステムは、センシング対象の所定動作をセンシングするための第１センサと、前記第１センサと異なる位置から前記センシング対象の所定動作をセンシングするための第２センサと、前記第１センサと、第１移動機構とを備える第１移動式ロボットと、前記第１センサ、前記第２センサ及び前記第１移動機構と通信可能な管理制御装置と、を備え、前記管理制御装置は、前記第１センサにより取得される第１情報及び前記第２センサにより取得される第２情報から、前記センシング対象が所定動作時に可動する所定部位がセンシングされるか否かを判定し、かつ前記第１センサによりセンシングされる所定部位と前記第２センサによりセンシングされる所定部位とが同一であるか否かを判定する判定部と、前記第１センサによりセンシングされる所定部位と前記第２センサによりセンシングされる所定部位とが同一であると判定された場合、前記第１センサによりセンシングされる所定部位と前記第２センサによりセンシングされる所定部位とが異なる様に前記第１移動機構を作動させる制御部と、を有する、ことを特徴とする。

　また、本開示に係る移動式ロボットは、移動機構と、センシング対象をセンシングする第１センサと、前記第１センサと異なる位置から前記センシング対象をセンシングする第２センサと、前記第２センサの位置を移動させることが可能な駆動機構と、前記第１センサ、前記第２センサ、前記移動機構、及び、前記駆動機構を制御する情報処理部と、を備え、前記情報処理部は、前記第１センサにより取得される第１情報及び前記第２センサにより取得される第２情報から、前記センシング対象が所定動作時に可動する所定部位がセンシングされるか否かを判定する判定部と、前記判定部により前記所定部位がセンシングされていないと判定された場合、前記所定部位がセンシングされる様に前記移動機構又は前記駆動機構を作動させる制御部と、を有する、ことを特徴とする。

　また、本開示に係る移動式ロボットは、移動機構と、センシング対象をセンシングする第１センサと、前記第１センサと異なる位置から前記センシング対象をセンシングする第２センサと、前記第２センサの位置を移動させることが可能な駆動機構と、前記第１センサ、前記第２センサ、前記移動機構、及び、前記駆動機構を制御する情報処理部と、を備え、前記情報処理部は、前記第１センサにより取得される第１情報及び前記第２センサにより取得される第２情報から、前記センシング対象が所定動作時に可動する所定部位がセンシングされるか否かを判定し、かつ前記第１センサによりセンシングされる所定部位と前記第２センサによりセンシングされる所定部位とが同一であるか否かを判定する判定部と、前記第１センサによりセンシングされる所定部位と前記第２センサによりセンシングされる所定部位とが同一であると判定された場合、前記第１センサによりセンシングされる所定部位と前記第２センサによりセンシングされる所定部位とが異なる様に前記移動機構又は前記駆動機構を作動させる制御部と、を有する、ことを特徴とする。

　本開示に係るセンシングシステムは、センシング対象の所定動作をセンシングするための第１センサと、動作指示により動作する作業ロボットと、前記作業ロボットのロボット動作をセンシングするための第２センサと、前記第１センサ、前記第２センサ、及び、前記作業ロボットと通信可能な管理制御装置と、を備え、前記管理制御装置は、前記第１センサにより取得される第１情報を参照して前記所定動作を学習する学習部と、前記学習部による前記所定動作の学習結果を参照して、前記作業ロボットに前記動作指示を与える動作制御情報を生成する動作情報生成部と、前記第１情報と前記第２センサにより取得される第２情報とを比較して、前記作業ロボットの前記ロボット動作が前記所定動作に近似するように前記動作制御情報を調整する調整部と、を有する、ことを特徴とする。

　また、本開示に係るセンシング方法は、センシング対象の所定動作をセンシングするための第１センサと、動作指示により動作する作業ロボットと、前記作業ロボットのロボット動作をセンシングするための第２センサと、前記第１センサ、前記第２センサ、及び、前記作業ロボットと通信可能な管理制御装置と、を備え、前記管理制御装置は、前記第１センサにより取得される第１情報を参照して前記所定動作を学習し、前記学習部による前記所定動作の学習結果を参照して、前記作業ロボットに前記動作指示を与える動作制御情報を生成し、前記第１情報と前記第２センサにより取得される第２情報とを比較して、前記作業ロボットの前記ロボット動作が前記所定動作に近似するように前記動作制御情報を調整する、ことを特徴とする。

　また、本開示に係る作業ロボットは、動作指示により動作する作業ロボットであって、センシング対象の所定動作をセンシングするための第１センサと、前記作業ロボットのロボット動作をセンシングするための第２センサと、前記第１センサ及び前記第２センサと通信可能な情報処理部と、を備え、前記情報処理部は、前記第１センサにより取得される第１情報を参照して前記所定動作を学習する学習部と、前記学習部による前記所定動作の学習結果を参照して、前記作業ロボットに前記動作指示を与える動作制御情報を生成する動作情報生成部と、前記第１情報と前記第２センサにより取得される第２情報とを比較して、前記作業ロボットの前記ロボット動作が前記所定動作に近似するように前記動作制御情報を調整する調整部と、を有する、ことを特徴とする。

　本開示に係る動作改変システムは、作業ロボットと、センサと、前記作業ロボット及び前記センサと通信可能な管理制御装置と、を備え、前記管理制御装置は、前記センサを用いて取得した前記センシング対象の所定動作に対応するセンシング情報に基づいて、前記センシング対象の所定動作に対応した標準動作モデルを学習する学習部と、前記標準動作モデルを参照して、前記標準動作モデルにおける各動作の実行時間を、前記標準動作モデル生成時の各動作の所要時間よりも短く設定した改変動作モデルを生成するモデル生成部と、前記改変動作モデルを参照して前記作業ロボットを作動させる制御部と、を備える、ことを特徴とする。

　また、本開示に係る動作改変システムは、作業ロボットと、複数の異なるセンシング対象をそれぞれセンシングするための複数のセンサと、前記作業ロボット及び前記複数のセンサと通信可能な管理制御装置と、を備え、前記管理制御装置は、前記複数のセンサを用いて取得した前記複数のセンシング対象の所定動作に対応する複数のセンシング情報に基づいて、前記複数のセンシング対象の各所定動作、及び前記複数のセンシング対象の各所定動作に対応した複数の標準動作モデルを学習する学習部と、前記複数の標準動作モデルを参照して、前記複数のセンシング対象による所定動作の少なくとも一部を統合した改変動作モデルを生成するモデル生成部と、前記改変動作モデルを参照して前記作業ロボットを作動させる制御部と、を備える、ことを特徴とする。

　また、本開示に係る動作改変方法は、センサを用いて取得したセンシング対象の所定動作に対応するセンシング情報に基づいて、前記センシング対象の所定動作に対応した標準動作モデルを学習し、前記標準動作モデルを参照して、前記標準動作モデルにおける各動作の実行時間を、前記標準動作モデル生成時の各動作の所要時間よりも短く設定した改変動作モデルを生成し、前記改変動作モデルを参照して前記作業ロボットを作動させる、ことを特徴とする。

　また、本開示に係る作業ロボットは、前記作業ロボットを動作させるための駆動機構と、センサを用いて取得したセンシング対象の所定動作に対応するセンシング情報に基づいて、前記センシング対象の所定動作に対応した標準動作モデルを学習する学習部と、前記標準動作モデルを参照して、前記標準動作モデルにおける各動作の実行時間を、前記標準動作モデル生成時の各動作の所要時間よりも短く設定した改変動作モデルを生成するモデル生成部と、前記改変動作モデルを参照して前記駆動機構を制御させる作業ロボットを作動させる制御部と、を有することを特徴とする。

　本開示に係る作業再現システムは、作業再現ロボットと、前記作業再現ロボットの動作をセンシング可能なセンサと、前記作業再現ロボット及びセンサと通信可能な管理制御装置と、を備え、前記管理制御装置は、センシング対象の所定動作に対応する第１センシング情報に基づいて前記センシング対象の所定動作に対応した標準動作モデルを学習する学習部と、前記標準動作モデルを参照して前記作業再現ロボットに再現動作を１回以上行わせる制御部と、事故又は誤動作情報を入力する入力部と、前記センサを用いて取得した前記作業再現ロボットの再現動作に対応する第２センシング情報に基づいて、前記事故又は誤動作の発生を検知する検知部と、を備える、ことを特徴とする。

　本開示に係る作業再現システムは、作業再現ロボットと、前記作業再現ロボットの動作をセンシング可能なセンサと、前記作業再現ロボット及びセンサと通信可能な管理制御装置と、を備え、前記管理制御装置は、センシング対象の所定動作に対応する第１センシング情報に基づいて前記センシング対象の所定動作に対応した標準動作モデルを学習する学習部と、前記標準動作モデルを参照して前記作業再現ロボットに再現動作を１回以上行わせる制御部と、前記センシング対象の作業マニュアル情報、又は、工程表情報を記憶する記憶部と、前記センサを用いて取得した前記作業再現ロボットの再現動作に対応する第２センシング情報に基づいて、前記作業マニュアル情報、又は、前記工程表情報と異なる動作の発生を検知する検知部と、を備える、ことを特徴とする。

　また、本開示に係る作業再現方法は、作業再現ロボットと、前記作業再現ロボットの動作をセンシング可能なセンサと、前記作業再現ロボット及びセンサと通信可能な管理制御装置と、を備え、前記管理制御装置は、センシング対象の所定動作に対応する第１センシング情報に基づいて前記センシング対象の所定動作に対応した標準動作モデルを学習し、前記標準動作モデルを参照して前記作業再現ロボットに再現動作を１回以上行わせ、事故又は誤動作情報を入力し、前記センサを用いて取得した前記作業再現ロボットの再現動作に対応する第２センシング情報に基づいて、前記事故又は誤動作の発生を検知する、ことを特徴とする。

　また、本開示に係る作業再現方法は、作業再現ロボットと、前記作業再現ロボットの動作をセンシング可能なセンサと、前記作業再現ロボット及びセンサと通信可能な管理制御装置と、を備え、前記管理制御装置は、センシング対象の所定動作に対応する第１センシング情報に基づいて前記センシング対象の所定動作に対応した標準動作モデルを学習し、前記標準動作モデルを参照して前記作業再現ロボットに再現動作を１回以上行わせ、前記センシング対象の作業マニュアル情報、又は、工程表情報を記憶し、前記センサを用いて取得した前記作業再現ロボットの再現動作に対応する第２センシング情報に基づいて、前記作業マニュアル情報、又は、前記工程表情報と異なる動作の発生を検知する、ことを特徴とする。

　また、本開示に係る作業再現ロボットは、前記作業再現ロボットの動作をセンシング可能なセンサと通信可能な情報処理装置と、を備え、前記情報処理装置は、センシング対象の所定動作に対応する第１センシング情報に基づいて前記センシング対象の所定動作に対応した標準動作モデルを学習する学習部と、前記標準動作モデルを参照して前記作業再現ロボットに再現動作を１回以上行わせる制御部と、事故又は誤動作情報を入力する入力部と、前記外部のセンサを用いて取得された前記作業再現ロボットの再現動作に対応する第２センシング情報に基づいて、前記事故又は誤動作の発生を検知する検知部と、を備える、ことを特徴とする。

　また、本開示に係る作業再現ロボットは、前記作業再現ロボットの動作をセンシング可能なセンサと通信可能な情報処理装置と、を備え、前記情報処理装置は、センシング対象の所定動作に対応する第１センシング情報に基づいて前記センシング対象の所定動作に対応した標準動作モデルを学習する学習部と、前記標準動作モデルを参照して前記作業再現ロボットに再現動作を１回以上行わせる制御部と、前記センシング対象の作業マニュアル情報、又は、工程表情報を記憶する記憶部と、前記センサを用いて取得された前記作業再現ロボットの再現動作に対応する第２センシング情報に基づいて、前記作業マニュアル情報、又は、前記工程表情報と異なる動作の発生を検知する検知部と、ことを特徴とする。　　　

　本開示に係る作業習熟システムは、作業再現ロボットと、新規作業員の動作をセンシング可能なセンサと、前記作業再現ロボット及びセンサと通信可能な管理制御装置と、を備え、前記管理制御装置は、熟練作業員の所定動作に対応する第１センシング情報に基づいて学習した標準動作モデルを記憶する記憶部と、前記標準動作モデルを参照して前記作業再現ロボットに再現動作を行わせる制御部と、前記センサを用いて取得した前記新規作業員の動作に対応する第２センシング情報に基づいて、前記新規作業員の動作が前記標準動作モデルと異なる点を検出する検出部と、を備える、ことを特徴とする。

　また、本開示に係る作業習熟方法は、作業再現ロボットと、新規作業員の動作をセンシング可能なセンサと、前記作業再現ロボット及びセンサと通信可能な管理制御装置と、を備え、前記管理制御装置は、熟練作業員の所定動作に対応する第１センシング情報に基づいて学習した標準動作モデルを記憶し、前記標準動作モデルを参照して前記作業再現ロボットに再現動作を行わせ、前記センサを用いて取得した前記新規作業員の動作に対応する第２センシング情報に基づいて、前記新規作業員の動作が前記標準動作モデルと異なる点を検出する、ことを特徴とする。

　また、本開示に係る作業再現ロボットは、新規作業員の動作をセンシング可能なセンサと通信可能な情報処理装置と、を備え、前記情報処理装置は、熟練作業員の所定動作に対応する第１センシング情報に基づいて学習した標準動作モデルを記憶する記憶部と、前記標準動作モデルを参照して前記作業再現ロボットに再現動作を行わせる制御部と、前記センサを用いて取得された前記新規作業員の動作に対応する第２センシング情報に基づいて、前記新規作業員の動作が前記標準動作モデルと異なる点を検出する検出部と、を備える、ことを特徴とする。

　本開示によれば、作業員の動作分析やプログラミングに掛かる時間及びコストを削減する作業ロボット調整方法が提供される。

　また、本開示によれば、作業員の所定動作を充分にセンシングすることができるセンシングシステム、センシング方法及び移動式ロボットが提供される。

　また、本開示によれば、作業ロボットの動作を確認し、適切な動作に調整することができるセンシングシステム、センシング方法及び作業ロボットが提供される。

　また、本開示によれば、作業員の作業が学習された学習モデルを用いて作業する作業ロボットにおいて、作業ロボットが効率的に作業することを可能とする動作改変方法及び作業ロボットが提供される。

　また、本開示によれば、異常事態の発生要因を解明することを容易にする作業再現システム、作業再現方法及び作業再現ロボットが提供される。

　また、本開示によれば、作業員の作業の習熟を図ることができる作業習熟システム、作業習熟方法及び作業再現ロボットが提供される。

本開示に係る実施形態１の作業ロボット調整方法での、システム構成の一例を示す図である。図１に示す作業ロボットの一例を示す図である。図１に示すセンサ取付部材の一例を示す図である。本開示に係る実施形態１の作業ロボット調整方法における、機能構成の一例を示すブロック図である。本開示に係る実施形態１の作業ロボット調整方法の処理を示すフローチャートの一例である。センサ取付部材の変形例の一例である。本開示に係る実施形態２のセンシングシステムでの、システム構成の一例を示す図である。図６Ａに示す移動式ロボットの一例を示す図である。本開示に係る実施形態２のセンシングシステムでの、移動式ロボットが移動した際の一例を示す図である。本開示に係る実施形態２のセンシングシステムでの、構成及び機能の一例を示すブロック図である。本開示に係る実施形態２のセンシングシステムでの、管理制御装置の機能の一例を示すブロック図である。本開示に係る実施形態２のセンシングシステムの処理を示すフローチャートの一例である。図１０のステップＳ２１０３で示される所定部位センシング判定処理の、より詳細な処理を示すフローチャートの一例である。図１０のステップＳ２１０４で示される動作情報生成処理の、より詳細な処理を示すフローチャートの一例である。本開示に係る実施形態２の変形例１に係るセンシングシステムでの、システム構成の一例を示す図である。図１３Ａに示す移動式ロボットの一例を示す図である。本開示に係る実施形態２の変形例１に係るセンシングシステムでの、移動式ロボットの機能の一例を示すブロック図である。本開示に係る実施形態２の変形例２に係るセンシングシステムでの、システム構成の一例を示す図である。図１５Ａに示すセンサ取付部材の一例を示す図である。本開示に係る実施形態２の変形例２に係るセンシングシステムでの、構成及び機能の一例を示す図である。本開示に係る実施形態３のセンシングシステムでの、システム構成の一例を示す図である。図１７Ａに示す人型ロボットの一例を示す図である。本開示に係る実施形態３のセンシングシステムでの、構成及び機能の一例を示すブロック図である。本開示に係る実施形態３のセンシングシステムでの、管理制御装置の機能の一例を示すブロック図である。本開示に係る実施形態３のセンシングシステムでの、各センシング期間の一例を示す図である。本開示に係る実施形態３のセンシングシステムの処理を示すフローチャートの一例である。図２１のステップＳ３１０３で示される動作制御情報生成処理の、より詳細な処理を示すフローチャートの一例である。図２１のステップＳ３１０６で示される動作制御情報調整処理の、より詳細な処理を示すフローチャートの一例である。本開示に係る実施形態３の変形例１に係るセンシングシステムでの、システム構成の一例を示す図である。図２４Ａに示す人型ロボットの一例を示す図である。本開示に係る実施形態３の変形例１に係るセンシングシステムでの、人型ロボットの機能の一例を示すブロック図である。本開示に係る実施形態３の変形例２に係るセンシングシステムでの、システム構成の一例を示す図である。本開示に係る実施形態３の変形例３に係るセンシングシステムでの、システム構成の一例を示す図である。図２７Ａに示すセンサ取付部材の一例を示す図である。本開示に係る実施形態３の変形例３に係るセンシングシステムでの、構成及び機能の一例を示す図である。本開示に係る実施形態４の動作改変システムでの、システム構成の一例を示す図である。図２９Ａに示す人型ロボットの一例を示す図である。本開示に係る実施形態４の動作改変システムでの、標準動作モデルと動作改変モデルとの関係の一例を示す図である。本開示に係る実施形態４の動作改変システムでの、構成及び機能の一例を示すブロック図である。本開示に係る実施形態４の動作改変システムでの、管理制御装置の機能の一例を示すブロック図である。本開示に係る実施形態４の動作改変システムの処理を示すフローチャートの一例である。図３３のステップＳ４１０３で示される改変動作モデル生成処理の、より詳細な処理を示すフローチャートの一例である。本開示に係る実施形態４の変形例１に係る動作改変システムでの、システム構成の一例を示す図である。図３５Ｂに示す人型ロボットの一例を示す図である。本開示に係る実施形態４の変形例１に係る動作改変システムでの、人型ロボットの機能の一例を示すブロック図である。本開示に係る実施形態４の変形例１に係る動作改変システムでの、改変動作モデル生成処理の、より詳細な処理を示すフローチャートの一例である。本開示に係る実施形態４の変形例１に係る動作改変システムでの、標準動作モデルと動作改変モデルとの関係の一例を示す図である。本開示に係る実施形態５の作業再現システムでの、作業員に動作を再現させた際のセンシングの一例を示す図である。作業再現ロボットに動作を再現させた際のセンシングの一例を示す図である。本開示に係る実施形態５の作業再現システムでの、人型ロボットの一例である。本開示に係る実施形態５の作業再現システムでの、構成及び機能の一例を示すブロック図である。本開示に係る実施形態５の作業再現システムでの、管理制御装置の機能の一例を示すブロック図である。本開示に係る実施形態５の作業再現システムの処理を示すフローチャートの一例である。図４３のステップＳ５１０２で示される作業員動作学習／標準動作モデル生成処理の、より詳細な処理を示すフローチャートの一例である。本開示に係る実施形態５の変形例１に係る作業再現システムの処理を示すフローチャートの一例である。本開示に係る実施形態５の変形例２に係る作業再現システムでの、システム構成の一例を示す図である。図４６Ａに示す人型ロボットの一例を示す図である。本開示に係る実施形態５の変形例２に係る作業再現システムでの、人型ロボットの機能の一例を示すブロック図である。本開示に係る実施形態６の作業習熟システムでの、システム構成の一例を示す図である。図４８Ａに示す人型ロボットの一例を示す図である。本開示に係る実施形態６の作業習熟システムでの、構成及び機能の一例を示すブロック図である。本開示に係る実施形態６の作業習熟システムでの、管理制御装置の機能の一例を示すブロック図である。本開示に係る実施形態６の作業習熟システムの処理を示すフローチャートの一例である。図５１のステップＳ６１０２で示される作業員動作学習及びモデル生成処理の、より詳細な処理を示すフローチャートの一例である。図５１のステップＳ６１０５で示される動作検出処理の、より詳細な処理を示すフローチャートの一例である。本開示に係る実施形態６の変形例１に係る作業習熟システムでの、システム構成の一例を示す図である。図５４Ａに示す人型ロボットの一例を示す図である。本開示に係る実施形態６の変形例１に係る作業習熟システムでの、人型ロボットの機能の一例を示すブロック図である。

　以下、図面を参照して、作業ロボット調整方法、センシングシステム、センシング方法、移動式ロボット、動作改変システム、動作改変方法、作業ロボット、作業再現システム、作業再現方法、作業習熟システム、作業習熟方法及び作業再現ロボットについて説明する。ただし、本開示の技術的範囲はそれらの実施の形態には限定されず、特許請求の範囲に記載された開示とその均等物に及ぶ点に留意されたい。

　（実施形態１）
　図１は、作業ロボット調整方法を説明するための図である。なお、図１が煩雑になることを避けるため、各センサのセンシング領域の符号については、後述する取付部材用センサ３３のセンシング領域３３０ａのみ付している。また、作業ロボット調整方法を行うための作業ロボット調整システム１００の詳細については、図３を用いて後述する。

　作業ロボット調整方法では、移動式ロボットとして機能する複数の人型ロボット２０ａ～ｄと、各人型ロボット２０ａ～ｄにそれぞれが連結するセンサ取付部材３０ａ～ｄとを備える。

　各人型ロボット２０ａ～ｄは、後述する管理制御装置６０（図３参照）からの指令を受け、又は人型ロボット２０ａ～ｄ内部に設けられた情報処理装置２５（図３参照）からの指示により、作業場２００の作業ライン２０１で作業する作業員４００の付近に移動する。各センサ取付部材３０ａ～ｄは、各人型ロボット２０ａ～ｄと連結されているため、人型ロボット２０ａ～ｄの移動に合わせて移動する。

　そして、各人型ロボット２０ａ～ｄ及びセンサ取付部材３０ａ～ｄに備えられたセンサ２３ａ～ｄ、３３ａ～ｄにより作業員４００の動作が記録される。動作が記録された後、当該記録に基づき、作業員４００の動作の学習が行われる。この学習は自動学習により行われる。ここで、自動学習とは、学習済みモデルを自動的に作成することや、学習済みモデルを使用して判定／解析を行う学習のことをいう。

　作業員４００の動作の学習が行われた後、管理制御装置６０からの指令を受け、又は人型ロボット２０ａ～ｄ内部に設けられた情報処理装置２５からの指示により、作業員４００の動作と同じ動作を、作業ロボットとして機能する人型ロボット２０に行わせる。作業員４００の動作と同じ動作を人型ロボット２０にさせる工程も、自動学習により行われる。

　作業員４００の動作と同じ動作を人型ロボット２０にさせる工程においては、人型ロボット２０が自動学習した作業を、例えば３００回程度行わせ、自動学習した作業と同じ動作、ルート、スピード等で人型ロボット２０が動作を実行できるようになるまで処理が繰り返される。また、自動学習した作業を、例えば２０倍速などのスピードを上げて、自動学習した作業と同じ動作、ルート、スピード等で実行できるようになるまで処理が繰り返される。

　学習結果を複数の作業ロボット（人型ロボット２０）に反映させ、複数の作業ロボットの動作が、スタートから停止するまでが一致するよう調整されるまで、前記処理が繰り返される。これにより、作業員の動作分析やプログラミングに掛かる時間及びコストを削減することが可能となる。

　図２は、図１に示す作業ロボット及びセンサ取付部材の一例を示す図である。図２を参照して、人型ロボット２０ａ～ｄ及びセンサ取付部材３０ａ～ｄの構成を説明する。

　図２（ａ）に示すように、人型ロボット２０は、ロボット本体２１と、ロボット移動機構２２と、ロボット用センサ２３と、ロボット用センサ２３に含まれるロボット用撮像装置２４と、情報処理装置２５（図３参照）と、腕部２６と、を備える。

　人型ロボット２０は、ロボット本体２１の下方に設けられたロボット移動機構２２により移動することが可能であり、例えば管理制御装置といった人型ロボット２０の外部から指令を受けて、あるいは情報処理装置２５に記録されたプログラムを参照して、作業場２００の作業ライン２０１付近に移動する。

　ロボット本体２１には、その下方にロボット移動機構２２、上方に腕部２６、腕部２６のさらに上方にロボット用センサ２３が設けられている。また、ロボット本体２１の内部には、情報処理装置２５が設けられている。

　ロボット移動機構２２は、任意の構成でよく、例えばモーターで駆動する回転体を設けたものでもよいし、脚部として人の脚に形状を似せた構成であってもよい。

　ロボット用センサ２３は、人型ロボット２０の上方、好ましくはロボット本体２１の頂上部、言い換えると人型ロボットの頭部付近に設けられ、作業員４００を検知する。また、ロボット用センサ２３は、人型ロボット２０の周辺にある、人型ロボット２０が作業する物体と腕部２６との距離及び角度を少なくとも表す情報を逐次取得する。ロボット用センサ２３の一例としては、最高性能のカメラ、サーモカメラ、高画素・望遠・超広角・３６０度・高性能カメラ、レーダー、ソリッドステートＬｉＤＡＲ、ＬｉＤＡＲ、マルチカラーレーザ同軸変位計、ビジョン認識、又はその他様々なセンサ群が採用され得る。これらは、ロボット用撮像装置２４の一例でもある。また他には、ロボット用センサ２３の他の一例としては、振動計、硬度計、微細音、超音波、振動、赤外線、紫外線、電磁波、温度、湿度、スポットＡＩ天気予報、高精度マルチチャネルＧＰＳ、低高度衛星情報、又はロングテールインシデントＡＩ　ｄａｔａ等が挙げられる。

　ロボット用センサ２３から取得するセンサ情報の一例としては、画像、距離、振動、熱、匂い、色、音、超音波、紫外線、赤外線等が挙げられ、好ましくはロボット用撮像装置２４により、画像、距離の情報が取得される。ロボット用センサ２３（ロボット用撮像装置２４）は、これらの検知を、一例としてナノ秒毎に実施する。センサ情報は、例えば、作業員４００の動作のモーションキャプチャ、作業場２００の３Ｄマップ、作業場２００における作業員４００の移動や動作のナビゲーション、コーナリング、スピード等の分析に用いられる。

　腕部２６は、ロボット本体２１の上方に、回動自在に取り付けられている。また、腕部２６の先端には物体を把持するための把持部（不図示）が取り付けられている。把持部を介して、センサ取付部材３０が人型ロボット２０に連結される。

　なお、人型ロボット２０は、ロボット本体２１の中央部分、一例として人型ロボットの胴体部にセンサをさらに設けてもよい。この場合、当該センサは、ロボット本体の頂上部付近に設けられたロボット用センサ２３とは、その高さ位置が異なる。高さ位置が異なることで、センサは作業員４００の動作を異なる角度から検知することができる。

　図２（ｂ）に示すように、センサ取付部材３０は、取付部材本体３１と、取付部材移動機構３２と、取付部材用センサ３３と、取付部材用撮像装置３４と、を備える。センサ取付部材３０は、取付部材本体３１の下方に設けられた取付部材移動機構３２により移動することが可能である。

　取付部材本体３１は、例えば棒状ないしは杖状の部材であり、その材料は特に限定されない。取付部材本体３１の長さは、人型ロボット２０の高さ（背丈）よりも長い。取付部材本体３１には、その下方、好ましくは下端に取付部材移動機構３２、取付部材本体３１の上方、好ましくは上端に取付部材用センサ３３が設けられている。

　取付部材移動機構３２は、例えばキャスター等の回転体を設けた構成からなり、人型ロボット２０の移動に合わせて、センサ取付部材３０が移動することを補助する。なお、本実施形態においては、センサ取付部材３０は自律して移動することを想定していないが、取付部材移動機構３２に指令を与える取付部材制御部（不図示）を設け、取付部材制御部からの信号に基づき取付部材移動機構３２を動かす構成であってもよい。

　取付部材用センサ３３は、取付部材本体３１の上方に設けられ、作業員４００を検知する。また、取付部材用センサ３３は、人型ロボット２０の周辺にある、人型ロボット２０が作業する物体と腕部２６との距離及び角度を少なくとも表す情報を逐次取得する。取付部材用センサ３３の一例は、ロボット用センサ２３と同様であり、また取付部材用撮像装置３４の一例も、ロボット用撮像装置２４の一例と同様である。加えて、取得されるセンサ情報の一例もロボット用センサ２３と同様であり、センサ情報の検知タイミングの一例もロボット用センサ２３と同様である。

　取付部材用撮像装置３４は、取付部材用センサ３３に含まれる。また、取付部材用撮像装置３４を含む取付部材用センサ３３は、人型ロボット２０の高さ（背丈）よりも高い位置に配置されている。これにより、取付部材用センサ３３はロボット用センサ２３よりも高い位置から作業員の動作を検知することができる。

　取付部材用センサ３３は、そのセンシング領域３３０が作業員４００の動作を検知する方向となるよう、取付部材本体３１に設けられる。ロボット用センサ２３についても、センシング領域（不図示)が作業員４００の動作を検知する方向となるよう、ロボット本体２１に設けられる。

　図１に示すように、４つの人型ロボット２０ａ～ｄ及び４つのセンサ取付部材３０ａ～ｄは、それぞれが作業員４００の動作を異なる位置、高さ又は／及び向きから検知するように配置される。このように、本実施形態では、複数のセンサがそれぞれ異なる位置、高さ又は／及び向きから作業員４００の動作を検知するよう配置されることから、作業員４００の動作の学習において様々なデータを取得することができる。なお、作業員４００の動作を記録するためのロボットの個数は４体に限定されず、１～３体でも、５体以上であっても良い。

　また、図１においては、センサ取付部材３０ｄについては、作業員４００の手元をセンシングするため、延長部材３５ｄ及び追加の取付部材用センサ３３ｄ２が設けられている。延長部材３５ｄは、棒状の部材であり、取付部材用センサ３３ｄ１付近から水平方向に延びるように配置される。また、延長部材３５ｄの先端に、取付部材用センサ３３ｄ２が設けられ、取付部材用センサ３３ｄ２は、作業員４００をその上部からセンシングする。取付部材用センサ３３ｄ２により、作業員４００の動作の検知を行いやすくすることができる。さらに、各人型ロボットのロボット本体２１にもロボット用センサ２３とは別のセンサ（撮像装置）を設ける場合、複数の人型ロボットの有するセンサ数は合計８つ、複数のセンサ用取付部材の有するセンサは合計５つとなり、全体で１３個のセンサにより作業員４００の動作を検知することができる。

　図３は、作業ロボット調整システム１００における、機能構成の一例を示すブロック図である。

　作業ロボット調整システム１００は、人型ロボット２０と、センサ取付部材３０と、管理制御装置６０と、を含んで構成されている。人型ロボット２０は、管理制御装置６０の対ロボット用通信部６８及びセンサ取付部材３０と、各々無線又は有線通信を介して接続され、管理制御装置６０からの指令を受けると共に、センサ取付部材３０からの検知結果を取得する。なお、センサ取付部材３０は、管理制御装置６０と通信可能に構成されていてもよい。また、人型ロボット２０は、１体ではなく、複数体が管理制御装置６０と接続されるようにしても良い。

　人型ロボット２０は、ロボット用センサ２３と、ロボット用センサ２３に含まれるロボット用撮像装置２４と、情報処理装置２５と、を備える。

　本実施形態による情報処理装置２５は、ＣＰＵ（Central Processing Unit）１２１２、ＲＡＭ（Random Access Memory）１２１４、及びグラフィックコントローラ１２１６を含み、それらはホストコントローラ１２１０によって相互に接続されている。情報処理装置２５はまた、通信インタフェース１２２２、記憶装置１２２４、ＤＶＤドライブ、及びＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。ＤＶＤドライブは、ＤＶＤ－ＲＯＭドライブ及びＤＶＤ－ＲＡＭドライブ等であってよい。記憶装置１２２４は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。情報処理装置２５はまた、ＲＯＭ（Read Only Memory）１２３０及びキーボードのような入出力ユニットを含み、それらは入出力チップ１２４０を介して入出力コントローラ１２２０に接続されている。

　ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ１２１６は、ＲＡＭ１２１４内に提供されるフレームバッファ等又はそれ自体の中に、ＣＰＵ１２１２によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス１２１８上に表示されるようにする。

　通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。記憶装置１２２４は、情報処理装置２５内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納する。ＤＶＤドライブは、プログラム又はデータをＤＶＤ－ＲＯＭ等から読み取り、記憶装置１２２４に提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。

　ＲＯＭ１２３０はその中に、アクティブ化時に情報処理装置２５によって実行されるブートプログラム等、及び／又は情報処理装置２５のハードウェアに依存するプログラムを格納する。入出力チップ１２４０はまた、様々な入出力ユニットをＵＳＢポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ１２２０に接続してよい。

　プログラムは、ＤＶＤ－ＲＯＭ又はＩＣカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置１２２４、ＲＡＭ１２１４、又はＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、情報処理装置２５に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、情報処理装置２５の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。

　例えば、通信が情報処理装置２５及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、記憶装置１２２４、ＤＶＤ－ＲＯＭ、又はＩＣカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。

　また、ＣＰＵ１２１２は、記憶装置１２２４、ＤＶＤドライブ（ＤＶＤ－ＲＯＭ）、ＩＣカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。

　様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。

　上で説明したプログラム又はソフトウエアモジュールは、情報処理装置２５上又は情報処理装置２５近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介して情報処理装置２５に提供する。

　本実施形態におけるフローチャート及び図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表してよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び／又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び／又はアナログハードウェア回路を含んでよく、集積回路（ＩＣ）及び／又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及びプログラマブルロジックアレイ（ＰＬＡ）等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。

　コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。

　コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。

　コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

　センサ取付部材３０は、人型ロボット２０の腕部２６と連結され、人型ロボット２０に合わせて移動する。取付部材用センサ３３（取付部材用撮像装置３４）は、物体の情報を検知し、取付部材用通信部（不図示）を介して当該情報を情報処理装置２５に送信する。

　管理制御装置６０は、作業調整ロボット調整方法を実現するため、人型ロボット２０に対して指令を与える制御装置である。また、管理制御装置６０は、記憶装置１２２４に蓄積されたセンサ情報を取得してもよい。

　管理制御装置６０は、ＣＰＵ６０Ａ、ＲＡＭ６０Ｂ、ＲＯＭ６０Ｃ、入出力部（Ｉ／Ｏ）６０Ｄ、及びこれらを接続するデータバスやコントロールバス等のバス６０Ｅ、並びに対ロボット用送受信部６８で構成されている。Ｉ／Ｏ６０Ｄには、記録媒体６２が接続されている。

　また、Ｉ／Ｏ６０Ｄには、人型ロボット２０の制御系との間で作業情報を含む動作制御情報を送受信する対ロボット用送受信部６８が接続されている。

　（本開示に係る実施形態１の作業ロボット調整方法の処理）
　図４は、本実施形態の作業ロボット調整方法の処理を示すフローチャートの一例である。

　まず、管理制御装置６０の指令により、あるいは情報処理装置２５の記憶装置１２２４に記憶されたプログラムの読み出し指令により、情報処理装置２５は、移動式ロボットとして機能する人型ロボット２０を作業場（作業環境）２００に移動するよう指示する（ステップＳ１０１）。移動は、人型ロボット２０のロボット移動機構２２の作動による。この際、センサ取付部材３０は、人型ロボット２０に連結されていることから、人型ロボット２０の移動に付随して移動する。

　移動に際しては、ロボット用センサ２３（ロボット用撮像装置２４）及びセンサ取付部材用センサ３３（取付部材用撮像装置３４）のセンシング領域（撮像領域）が、それぞれ異なる向きから作業員４００を検知するよう、指令が与えられる。このような人型ロボット２０及びセンサ取付部材３０の配置は、例えば予め作業場２００のフロア図面を記憶装置１２２４又は／及び記録媒体６２に記録し、各人型ロボット２０等の位置を、当該記録されたフロア図面に対応付けることにより行われる。あるいは、人型ロボット２０等の配置は、機械学習を通じて最適化された位置に基づく。

　次に、複数のセンサ２３ａ～ｄ、３３ａ～ｄ（複数の撮像装置２４ａ～ｄ、３４ａ～ｄ）により、作業員４００の作業ライン２０１での動作が検知される（ステップＳ１０２）。各人型ロボット２０ａ～ｄの情報処理装置２５は、各種センサが検知したセンサ情報を取得する。取得されたセンサ情報は、記憶装置１２２４に記憶される。

　情報処理装置２５は、記憶装置１２２４に蓄積された、言い換えると記録されたセンサ情報に基づいて、作業員４００の動作を学習する（ステップＳ１０３）。学習においては、作業員４００の動作のモーションキャプチャ、作業場２００の３Ｄマップ、作業場２００における作業員４００の移動や動作のナビゲーション、コーナリング、スピード等の分析が行われ、自動学習により人型ロボット２０の最適な動作が学習される。

　次のステップとして、情報処理装置２５又は管理制御装置６０は、作業ロボットとして機能する人型ロボット２０に対し、ステップＳ１０３の自動学習に基づいて、作業員４００と同じ動作をするよう指示する（ステップＳ１０４）。具体的には、ロボットの腕部２６及び／又はロボット移動機構２２が、ステップＳ１０３の自動学習で得られた作業員４００の作業（動作）と同じになるよう、ステップＳ１０３の自動学習に基づく動作を、人型ロボット２０に繰り返し行わせる。この動作を、例えば数百回、一例としては３００回程度行わせ、人型ロボットが自動学習で得られた作業と同じ動作、ルート（移動）、スピード等になるまでこの処理を繰り返す。

　また、Ｓ１０４では、例えば２０倍速など、自動学習した作業（動作）のスピードを上げて、人型ロボット２０にステップＳ１０３の自動学習に基づく動作を行わせる。これも、例えば数百回、一例としては３００回程度繰り返し動作を行わせ、人型ロボット２０が自動学習で得られた作業と同じ動作、ルート（移動）、スピードで行えるまでこの処理が繰り返される。

　さらに、情報処理装置２５又は管理制御装置６０は、人型ロボット（作業ロボット）の動作と作業員４００の動作とが一致するよう調整する処理を実施する（ステップＳ１０５）。具体的には、情報処理装置２５又は管理制御装置６０は、複数の作業用ロボット、本実施形態では複数の人型ロボット２０に対して、ステップＳ１０４で得られた結果に基づき、作業員４００と同じ動作をするよう指示する。複数の人型ロボット２０の動作がシンクロするまで、この処理が繰り返される。複数の人型ロボット２０の動作がシンクロすれば、一連の作業ロボット調整方法は終了する。

　（実施形態１に係る作業ロボット調整方法の作用効果）

　本実施形態に係る作業ロボット調整方法によれば、移動式ロボットである人型ロボット２０にセンサが備えられる一方、人型ロボット２０は、予め記憶されたプログラム又は機械学習結果に応じて自動で適切な位置に移動する。そのため、作業場２００に固定的なセンサを配置する場合と比較して、作業場に応じてセンサの再配置やセンサ数を増加させる必要がなくなり、短期間及び短コストで作業員４００のセンシング環境を整えることができる。

　また、人型ロボット２０は、センサ（撮像装置）が配置されたセンサ取付部材３０と連結されている。そのため、人型ロボット２０の移動に際して、複数のセンサを同時に移動させることができる。

　また、作業用ロボット調整方法では、センサを有する移動式ロボット（人型ロボット２０）により作業員４００の作業（動作）をセンシングする構成を採用している。そのため、作業員４００の移動に合わせて移動式ロボットを移動させることもでき、作業員４００の動作に適した位置でセンシングを行うことが可能となる。

　また、センサ取付部材３０は、人型ロボットの高さ（背丈）よりも高い位置に取付部材用センサ３０（取付部材用撮像装置４０）が配置されている。そのため、作業員４００の動作を、より俯瞰的な位置からセンシングすることができる。

　また、作業用ロボット調整方法では、複数の人型ロボット２０ａ～ｄ及び複数のセンサ取付部材３０ａ～ｄが各々異なる位置に配置され、これらのセンサにより作業員４００の動作をセンシングする構成を採用している。そのため、作業員４００の一つの作業を、異なる位置からセンシングすることが可能となり、自動学習をする上で必要となるデータを一度に多く取得することができる。結果として、作業員４００の動作分析やプログラミングに掛かる時間及びコストを削減することができる。

　また、作業用ロボット調整方法では、センサ情報に基づいて作業員４００の動作を自動学習し、自動学習においては、作業員４００の動作のモーションキャプチャ、作業場２００の３Ｄマップ、作業場２００における作業員４００の移動や動作のナビゲーション、コーナリング、スピード等の分析が行われる。そのため、作業員４００の動作を一度に多角的な面から分析することが可能となり、作業員４００の動作分析やプログラミングに掛かる時間及びコストを削減することができる。

　また、作業用ロボット調整方法では、学習に基づき作業ロボット（人型ロボット２０）を動作させ、自動学習した作業と作業ロボットの動作とが同じ動作、ルート（移動）、スピード等になるまで処理を繰り返す構成が採用されている。これにより、作業ロボットの動作が、作業員４００の作業との正確性を有するかの確認をする時間が短縮される。

　また、本実施形態では、移動式ロボットと作業用ロボットとは同一のロボット（人型ロボット２０）が用いられている。そのため、工程に分けてロボットを作製する必要がなくなり、作業ロボット調整のコスト及び時間が短縮される。

　また、作業用ロボット調整方法では、作業ロボット（人型ロボット２０）の動作と作業員との動作とが一致するよう調整する構成が採用されている。これにより、作業ロボットの動作と作業員４００の作業との正確性が担保される。

　また、作業用ロボット調整方法では、複数台の作業ロボット（人型ロボット２０）に自動学習の結果を適用し、複数台の作業ロボットの動作が同一になるまで処理が繰り返す構成が採用されている。そのため、作業ロボットの動作と作業員４００の作業との正確性がより担保される。

　（センサ取付部材の変形例）
　図５は、センサ取付部材の変形例の一例である。

　センサ取付部材３０’とセンサ取付部材３０との違いは、センサ取付部材３０’では３つ以上（図５では８つ）のセンサ取付部材用センサ３３ａ’～３３ｇ’が設けられていることにある。

　具体的には、センサ取付部材３０’は、取付部材本体３０’と、取付部材移動機構２２’と、複数のセンサ取付部材用センサ３３ａ’～３３ｇ’（複数の撮像装置）と、複数の延長部材３５ａ’、３５ｂ’とを備えている。なお、図５では、図面が煩雑になることを回避するため、延長部材の符号は３５ａ’、３５ｂ’のみ付している。

　センサ取付部材３０’は、複数の延長部材により、その外観は蜘蛛の脚のような構成となっている。また、センサ取付部材３０’は、複数のセンサ取付部材用センサ３３ａ’～３３ｇ’が、それぞれ異なる向き及び／又は高さに配置されている。

　センサ取付部材３０’によれば、複数のセンサ（撮像装置）が配置され、取付部材用移動機構３２’を介して一度に多数のセンサ（撮像装置）を移動させることができる。これにより、例えばセンサ取付部材を複数台配置するにはスペースが狭いような作業場においても、様々な高さ、位置及び／又は向きから作業員の作業をセンシングすることができる。

　以上、本開示の実施の形態について説明したが、本開示は、上述した本開示の実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

　本実施形態では、移動式ロボット（人型ロボット）及びセンサ取付部材は複数あるものとして説明した。しかし、これに限らず、例えばセンサを備えた移動式ロボット１つを移動させ、作業員の作業を記録させてもよい。

　本実施形態では、Ｓ１０３の学習は、自動学習が行われるものとして説明した。しかし、学習は必ずしも自動学習である必要はなく、他の既知の機械学習、例えばディープラーニング（深層学習）や教師なし／あり学習、強化学習等であってもよい。

　本実施形態では、移動式ロボット（人型ロボット）１つに対して、センサ取付部材が１つ連結される構成を示した。しかし、これに限らず、例えば１つの移動式ロボットに対して、複数のセンサ取付部材を連結させてもよい。

　本実施形態では、移動式ロボットと作業ロボットとは同じ人型ロボットであるものして説明した。しかし、移動式ロボットと作業ロボットとは、異なるロボットであってもよい。

　（実施形態２）
　図６Ａ、図６Ｂは、センシングシステムを説明するための図である。

　図６Ａは、本開示に係る実施形態２のセンシングシステムでの、システム構成の一例を示す図である。センシングシステムでは、移動式ロボットとして機能する第１人型ロボット２０２０ａ及び第２人型ロボット２０２０ｂを備える。なお、人型ロボットの数は２台に限定されない。

　各人型ロボット２０２０ａ、２０２０ｂは、後述する管理制御装置２０６０（図８参照）からの指示を受け、又は各人型ロボット２０２０ａ、２０２０ｂに設けられた各情報処理装置２０２５ａ、２０２５ｂ（図８参照）からの指示により、作業場２００の作業ライン２０１で作業する作業員４００の付近に移動する。そして、センシングシステムは、第１人型ロボット２０２０ａに備えられた第１センサ２０２３ａ（第１撮像装置２０２４ａ）及び第２人型ロボット２０２０ｂに備えられた第２センサ２０２３ｂ（第２撮像装置２０２４ｂ）により、作業員４００の所定動作をセンシングする。第２センサ２０２３ｂ（第２撮像装置２０２４ｂ）は、第１センサ２０２３ａ（第１撮像装置２０２４ａ）と異なる位置から作業員４００の所定動作をセンシングする。

　図６Ｂは、図６Ａに示す移動式ロボットの一例を示す図である。移動式ロボットとして機能する人型ロボット２０２０は、ロボット本体２０２１と、ロボット移動機構２０２２と、ロボット用センサ２０２３と、ロボット用センサ２０２３に含まれるロボット用撮像装置２０２４と、情報処理装置２０２５と、ロボット腕部２０２６と、を備える。

　人型ロボット２０２０は、ロボット本体２０２１の下方に設けられたロボット移動機構２０２２により移動することが可能であり、例えば管理制御装置２０６０といった人型ロボット２０２０の外部から指示を受けて、あるいは情報処理装置２０２５に記憶されたプログラムを参照して、作業場２００の作業ライン２０１付近に移動する。

　ロボット本体２０２１は、ロボット胴体２２１１と、ロボット頭部２２１２とを備える。ロボット胴体２２１１とロボット頭部２２１２とは、第１駆動機構を構成し、ロボット用センサ２０２３（ロボット用撮像装置２０２４）のセンシング領域２２３０（撮像領域２２４０）を変更することが可能である。駆動機構の構成は特に限定されず、例えば図示しないサーボモータにより、ロボット頭部２２１２がロボット胴体２２１１に対して所定角度回転したり、ロボット胴体２２１１がロボット移動機構２２に対して所定角度回転したりする構成であってもよい。

　ロボット胴体２２１１の下方にはロボット移動機構２０２２、ロボット胴体２２１１の側方にはロボット腕部２０２６、ロボット頭部２２１２にはロボット用センサ２０２３がそれぞれ設けられている。また、ロボット本体２０２１の内部には、情報処理装置２０２５が設けられている。

　ロボット移動機構２０２２は、任意の構成でよく、例えばモーターで駆動する回転体を設けたものでもよいし、脚部として人の脚に形状を似せた構成であってもよい。一例として、ロボット移動機構２０２２を人の脚の形状に似せた構成にする場合、人の関節に相当する箇所にサーボモータを設けて、所定角度回転させることで移動機構を構成する。

　ロボット用センサ２０２３は、好ましくはロボット頭部２２１２に設けられ、作業員４００をセンシングする。また、ロボット用センサ２０２３は、人型ロボット２０２０の周辺にある、人型ロボット２０２０が作業する物体とロボット腕部２０２６との距離及び角度を少なくとも表す情報を逐次取得する。ロボット用センサ２０２３の一例としては、最高性能のカメラ、サーモカメラ、高画素・望遠・超広角・３６０度・高性能カメラ、レーダー、ソリッドステートＬｉＤＡＲ、ＬｉＤＡＲ、マルチカラーレーザ同軸変位計、ビジョン認識、又はその他様々なセンサ群が採用され得る。これらは、ロボット用撮像装置２０２４の一例でもある。また他には、ロボット用センサ２０２３の他の一例としては、振動計、硬度計、微小振動計、超音波測定器、振動測定器、赤外線測定器、紫外線測定器、電磁波測定器、温度計、湿度計、スポットＡＩ天気予報、高精度マルチチャネルＧＰＳ、低高度衛星情報、又はロングテールインシデントＡＩ　ｄａｔａ等が挙げられる。

　ロボット用センサ２０２３から取得するセンサ情報の一例としては、画像、距離、振動、熱、匂い、色、音、超音波、電波、紫外線、赤外線、湿度等が挙げられ、好ましくはロボット用撮像装置２０２４により、画像、距離の情報が取得される。ロボット用センサ２０２３（ロボット用撮像装置２０２４）は、これらのセンシングを、一例としてナノ秒毎に実施する。センサ情報は、例えば、作業員４００の動作のモーションキャプチャ、作業場２００の３Ｄマップ、作業場２００における作業員４００の移動や動作のナビゲーション、コーナリング、スピード等の分析に用いられる。

　ロボット腕部２０２６は、右腕部２２６１と左腕部２２６２とを備える。また、右腕部２２６１は、右把持支持部２２６３及び右把持部２２６５を、左腕部２２６２は、左把持支持部２２６４及び左把持部２２６６を、それぞれ備える。右把持支持部２２６３は右把持部２２６５を、左把持支持部２２６４は左把持部２２６６を、それぞれ支持するための機構であり、一例としては人の腕に形状を似せたものであってもよい。把持部２２６５、２２６６は、例えば作業用の部品等を把持するための機構であり、一例としては人の手の形状に似せたものであってもよい。

　ロボット腕部２０２６は、第２駆動機構を構成する。駆動機構の構成は特に限定されず、例えば、ロボット腕部２０２６を人の形状に似せる場合、サーボモータを、人の肩に相当する箇所、肘に相当する箇所、手首に相当する箇所、指関節に相当する箇所等の各関節箇所に設け、所定角度回転させる構成を採用してもよい。

　なお、人型ロボット２０２０は、例えばロボット胴体部２２１１にセンサをさらに設けてもよい（図１３Ｂ参照）。この場合、当該センサは、ロボット頭部２２１２に設けられたロボット用センサ２０２３とは、その高さ位置が異なる。高さ位置が異なることで、センサは作業員４００の動作を異なる角度からセンシングすることができる。

　図６Ａに戻り、ロボット用センサ（ロボット用撮像装置）である第１センサ２０２３ａ（第１撮像装置２０２４ａ）及び第２センサ２０２３ｂ（第２撮像装置２０２４ｂ）が作業員４００の動作をセンシングする場合、センシングシステムは、第２センサ２０２３ｂ（第２撮像装置２０２４ｂ）が、第１センサ２０２３ａ（第１撮像装置２０２４ａ）と異なる位置から作業員４００の所定動作をセンシングするよう、かつ、各センサのセンシング領域２２３０ａ、２２３０ｂ（撮像領域２２４０ａ、２２４０ｂ）がそれぞれ作業員４００の異なる所定部位をセンシングするよう、各人型ロボット２０２０ａ、２０２０ｂの移動機構や駆動機構を作動させる。ただし、各センサのセンシング領域２２３０ａ、２２３０ｂ（撮像領域２２４０ａ、２２４０ｂ）は、その領域全てが異なる必要はなく、一部分でも所定部位が異なるように設定されればよい。所定部位としては、例えば作業員の首、腕、手首等が挙げられる。また、各センサによる所定部位の認識については、既知の画像認識技術を用いてもよいし、学習部２６６３（図９参照）による学習により所定部位を認識してもよい。

　本実施形態では、第１人型ロボット２０２０ａに設けられた第１センサ２０２３ａ（第１撮像装置２０２４ａ）のセンシング領域２２３０ａ（撮像領域２２４０ａ）が作業員４００の左腕を、第２人型ロボット２０２０ｂに設けられた第２センサ２０２３ｂ（第２撮像装置２０２４ｂ）のセンシング領域２２３０ｂ（撮像領域２２４０ｂ）が作業員４００の右腕を、それぞれセンシングするよう、各人型ロボットの移動機構２０２２や駆動機構が作動する。

　各センサによるセンシングが行われる間、センシングシステムは、第１センサ２０２３ａ（第１撮像装置２０２４ａ）により取得される第１情報及び第２センサ２０２３ｂ（第２撮像装置２０２４ｂ）により取得される第２情報から、作業員４００が所定動作時に可動する所定部位がセンシングされるか否かを判定する。所定動作は多岐にわたり、例えば部品の組付けや部品の移動、製品の塗装、作業員自身の移動等が挙げられる。

　作業員４００が所定動作時に可動する所定部位が、センシングされていないと判定された場合、センシングシステムは、所定部位がセンシングされる様に、第１人型ロボット２０２０ａの第１移動機構２０２２ａ（図８参照）及び／又は第２人型ロボット２０２０ｂの第２移動機構２０２２ｂ（図８参照）を作動させる。

　図７は、本実施形態のセンシングシステムでの、移動式ロボットが移動した際の一例を示す図である。

　図７に示すように、作業員４００が所定動作を行うことで、例えば作業員４００の背中側から見た際に、作業員４００の左腕が背中に隠れてしまうといったことが生じ得る。そこで、作業員４００が所定動作時に可動する所定部位がセンシングされるか否かが判定され、所定部位がセンシングされていないと判定された場合に、センシングシステムは、所定部位がセンシングされる様に第１人型ロボット２０２０ａの第１移動機構２０２２ａを作動させる。これにより、第１人型ロボット２０２０ａは第１センサ２０２３ａ（第１撮像装置２０２４ａ）のセンシングしやすい位置に移動することができ、第１センサ２２０２３ａ（第１撮像装置２０２４ａ）は所定部位（本実施形態では左腕）を充分にセンシングすることが可能となる。なお、図７では、作業員４００の所定動作に伴い右腕の位置も異なっていることから、右腕をセンシングしていた第２人型ロボット２０２０ｂ（第２センサ２０２３ｂ（第２撮像装置２０２４ｂ））の第２移動機構２０２２ｂも作動させている。

　第１情報及び第２情報は記憶されるところ、センシングシステムは、記憶された第１情報及び第２情報に基づき作業員の所定動作を学習する。この学習は、例えば、学習済みモデルを自動的に作成したり、学習済みモデルを使用して判定／解析を自動的に行ったりする学習である自動学習により行われる。

　センシングシステムは、学習結果、並びに、作業員４００の作業マニュアル情報及び／又は工程表情報を参照して、作業員４００の作業を行う作業ロボットに動作指示を与える動作情報を生成する。これにより、人による作業を作業ロボットに行わせることが可能となる。なお、作業マニュアル情報には、例えば各作業項目の名称及び内容、作業項目の順序、各作業項目に要する標準的な作業時間の情報等が含まれる。また、工程表情報には、例えば作業全体の作業時間や開始時刻／終了時刻を示す情報、各作業項目の作業時間や開始時刻／終了時刻を示す情報、各作業項目の作業員を示す情報等が含まれる。

　図８は、本実施形態のセンシングシステム２１００での、構成及び機能の一例を示すブロック図である。

　センシングシステム２１００は、第１人型ロボット２０２０ａと、第２人型ロボット２０２０ｂと、管理制御装置２０６０と、を含んで構成されている。第１人型ロボット２０２０ａ及び第２人型ロボット２０２０ｂは、管理制御装置２０６０の通信部２０６４と、各々無線又は有線通信を介して接続され、管理制御装置２０６０からの指示を受けると共に、各センサにより取得される情報を送信する。また、第１人型ロボット２０２０ａと第２人型ロボット２０２０ｂ同士も、無線又は有線通信を介して接続され、各センサにより取得される情報や指示を送受信してもよい。

　第１人型ロボット２０２０ａは、第１移動機構２０２２ａと、ロボット用センサである第１センサ２０２３ａと、第１センサ２０２３に含まれるロボット用撮像装置である第１撮像装置２０２４ａと、第１情報処理装置２０２５ａと、第１駆動機構と、第２駆動機構と、を備える。また、第２人型ロボット２０２０ｂも、第２移動機構２０２２ｂと、ロボット用センサである第２センサ２０２３ｂと、第２センサ２０２３に含まれるロボット用撮像装置である第２撮像装置２０２４ｂと、第２情報処理装置２０２５ｂと、２つの駆動機構と、を備える。本実施形態では、第１人型ロボット２０２０ａと第２人型ロボット２０２０ｂとは、それら構成が同一である。

　本実施形態による第１情報処理装置２０２５ａは、ＣＰＵ（Central Processing Unit）１２１２、ＲＡＭ（Random Access Memory）１２１４、及びグラフィックコントローラ１２１６を含み、それらはホストコントローラ１２１０によって相互に接続されている。第１情報処理装置２０２５ａはまた、通信インタフェース１２２２、記憶装置１２２４、ＤＶＤドライブ、及びＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。ＤＶＤドライブは、ＤＶＤ－ＲＯＭドライブ及びＤＶＤ－ＲＡＭドライブ等であってよい。記憶装置１２２４は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。第１情報処理装置２０２５ａはまた、ＲＯＭ（Read Only Memory）１２３０及びキーボードのような入出力ユニットを含み、それらは入出力チップ１２４０を介して入出力コントローラ１２２０に接続されている。

　通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。記憶装置１２２４は、第１情報処理装置２０２５ａ内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納する。また、記憶装置１２２４は、第１情報及び第２情報を記憶してもよい。ＤＶＤドライブは、プログラム又はデータをＤＶＤ－ＲＯＭ等から読み取り、記憶装置１２２４に提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。

　ＲＯＭ１２３０はその中に、アクティブ化時に第１情報処理装置２０２５ａによって実行されるブートプログラム等、及び／又は第１情報処理装置２０２５ａのハードウェアに依存するプログラムを格納する。入出力チップ１２４０はまた、様々な入出力ユニットをＵＳＢポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ１２２０に接続してよい。

　プログラムは、ＤＶＤ－ＲＯＭ又はＩＣカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置１２２４、ＲＡＭ１２１４、又はＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、第１情報処理装置２０２５ａに読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、第１情報処理装置２０２５ａの使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。

　例えば、通信が第１情報処理装置２０２５ａ及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、記憶装置１２２４、ＤＶＤ－ＲＯＭ、又はＩＣカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。

　上で説明したプログラム又はソフトウエアモジュールは、第１情報処理装置２０２５ａ上又は第１情報処理装置２０２５ａ近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介して第１情報処理装置２０２５ａに提供する。

　ここまで説明してきた内容は、第２情報処理装置２０２５ｂについても同様である。

　管理制御装置２０６０は、センシングシステム２１００を実現するため、人型ロボット２０２０ａ、２０２０ｂに対して指示を与える制御装置である。また、管理制御装置２０６０は、記憶装置１２２４に蓄積されたセンサ情報（第１情報及び第２情報）を取得する。

　管理制御装置２０６０は、ＣＰＵ２０６０Ａ、ＲＡＭ２０６０Ｂ、ＲＯＭ２０６０Ｃ、入出力部（Ｉ／Ｏ）２０６０Ｄ、及びこれらを接続するデータバスやコントロールバス等のバス２０６０Ｅ、並びに通信部２０６８で構成されている。Ｉ／Ｏ２０６０Ｄには、記憶媒体２０６２が接続されている。

　また、Ｉ／Ｏ２０６０Ｄには、人型ロボット２０２０の制御系との間でセンサ情報や作業マニュアル情報、工程表情報等を送受信する通信部２０６４が接続されている。

　図９は、本実施形態のセンシングシステムでの、管理制御装置２０６０の機能の一例を示すブロック図である。

　管理制御装置２０６０は、記憶媒体２０６２と、通信部２０６４と、処理部２０６６とを備える。

　記憶媒体２０６２は、例えば、半導体記憶装置、磁気テープ装置、磁気ディスク装置、又は光ディスク装置のうちの少なくとも一つを備える。記憶媒体２０６２は、処理部２０６６での処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。例えば、記憶媒体２０６２は、第１情報及び第２情報を記憶する。また、記憶媒体２０６２は、作業員４００の作業マニュアル情報及び／又は工程表情報を記憶する。

　通信部２０６４は、Ｗｉ－Ｆｉ（登録商標）等の無線の通信インタフェース回路及び／又はイーサネット（登録商標）等の有線の通信インタフェース回路を有する。通信部２０６４は、人型ロボット２０２０ａ、２０２０ｂと、インタフェース回路を通じて各種情報を送受信する。

　処理部２０６６は、一又は複数個のプロセッサ及びその周辺回路を有する。処理部２０６６は、センシングシステム２１００の全体的な動作を統括的に制御するものであり、例えば、ＣＰＵである。処理部２０６６は、記憶媒体２０６２に記憶されているプログラム（ドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム等）を参照して処理を実行する。また、処理部２０６６は、複数のプログラム（アプリケーションプログラム等）を並列に実行することができる。

　処理部２０６６は、判定部２６６１と、制御部２６６２と、学習部２６６３と、動作情報生成部２６６４と、を備える。これらの各部は、処理部２０６０が備えるプロセッサで実行されるプログラムにより実現される機能モジュールである。あるいは、これらの各部は、ファームウェアとして処理部２０６６に実装されてもよい。

　判定部２６６１は、第１情報及び第２情報から、作業員４００が所定動作時に可動する所定部位がセンシングされるか否かを判定する。また、判定部２６６１は、第１センサ２０２３ａ（第１撮像装置２０２４ａ）によりセンシングされる所定部位と第２センサ２０２３ｂ（第２撮像装置２０２４ｂ）によりセンシングされる所定部位とが同一であるか否かを判定する。

　制御部２６６２は、判定部２６６１により作業員４００の所定部位がセンシングされていないと判定された場合に、所定部位がセンシングされる様に、人型ロボット２０２０ａの第１移動機構２０２２ａ及び／又は人型ロボット２０２０ｂの第２移動機構２０２２ｂを作動させる。また、制御部２６６２は、第１センサ２０２３ａ（第１撮像装置２０２４ａ）によりセンシングされる所定部位と第２センサ２０２３ｂ（第２撮像装置２０２４ｂ）によりセンシングされる所定部位とが同一であると判定された場合に、第１センサ２０２３ａ（第１撮像装置２０２４ａ）によりセンシングされる所定部位と第２センサ２０２３ｂ（第２撮像装置２０２４ｂ）によりセンシングされる所定部位とが異なる様に、人型ロボット２０２０ａの第１移動機構２０２２ａ及び／又は人型ロボット２０２０ｂの第２移動機構２０２２ｂを作動させる。

　学習部２６６３は、記憶媒体２０６２及び／又は記憶装置１２２４に記憶された第１情報及び第２情報を参照して作業員４００の所定動作を学習する。

　動作情報生成部２６６４は、学習部２６６３による学習結果を参照して、作業ロボットとして機能する人型ロボット２０２０に動作指示を与える動作情報を生成する。なお、動作情報生成部２６６４は、動作情報を生成する際、作業マニュアル情報及び／又は工程表情報を参照してもよい。

　（本開示に係る実施形態２のセンシングシステムの処理）
　図１０は、本実施形態のセンシングシステムの処理を示すフローチャートの一例である。

　まず、管理制御装置２０６０の指示により、あるいは記憶媒体２０６２又は記憶装置１２２４に記憶されたプログラムの読み出し指示により、情報処理装置２０２５は、移動式ロボットとして機能する複数台（本実施形態では２台）の人型ロボット２０２０を作業場２００に移動するよう指示する（ステップＳ２１０１）。移動は、各人型ロボット２０２０のロボット移動機構２０２２の作動による。

　移動に際しては、複数台のロボット用センサ２０２３（ロボット用撮像装置２０２４）の各センシング領域２２３０（撮像領域２２４０）が、それぞれ異なる向きから作業員４００をセンシングするよう、指示が与えられる。このような複数台の人型ロボット２０２０の配置は、例えば予め作業場２００のフロア図面を記憶装置１２２４及び／又は記憶媒体２０６２に記憶させ、各人型ロボット２０２０の位置を、当該記憶されたフロア図面に対応付けることにより行われる。あるいは、人型ロボット２０２０の配置は、機械学習を通じて最適化された位置に基づいてもよい。

　次に、複数のセンサ２０２３ａ、２０２３ｂ（複数の撮像装置２０２４ａ、２０２４ｂ）により、作業員４００の作業ライン２０１での所定動作がセンシングされる（ステップＳ２１０２）。本実施形態では、制御部２６６２は、第１センサ２０２３ａ（第１撮像装置２０２４ａ）のセンシング領域２２３０ａ（撮像領域２２４０ａ）が作業員４００の左腕を、第２センサ２０２３ｂ（第２撮像装置２０２４ｂ）のセンシング領域２２３０ｂ（撮像領域２２４０ｂ）が作業員４００の右腕を、それぞれセンシングするよう指示を与え、各人型ロボットの移動機構２０２２や駆動機構が作動する。

　第１センサ２０２３ａ（第１撮像装置２０２４ａ）により取得される第１情報及び第２センサ２０２３ｂ（第２撮像装置２０２４ｂ）により取得される第２情報は、記憶装置１２２４及び／又は通信部２０６４を介して記憶媒体２０６２に記憶される。記憶装置１２２４及び記憶媒体２０６２は、記憶部として機能する。

　第１情報及び第２情報が取得される際、作業員４００の所定部位がセンシングされているか否かを判定される（ステップＳ２１０３）。判定部２６６１により所定部位がセンシングされていないと判定された場合、制御部２６６２は、所定部位がセンシングされる様に第１移動機構２０２２ａ及び／又は第２移動機構２０２２ｂを作動させる。

　管理制御装置２０６０は、記憶装置１２２４及び／又は記憶媒体２０６２に蓄積された、言い換えると記憶された第１情報及び第２情報を参照して所定動作を学習し、学習結果を参照して、作業ロボットとして機能する人型ロボット２０２０に動作指示を与える動作情報を生成する（ステップＳ２１０４）。

　図１１は、図１０のステップＳ２１０３で示される所定部位センシング判定処理の、より詳細な処理を示すフローチャートの一例である。

　第１情報及び第２情報が取得されると（ステップＳ２２０１）、判定部２６６１は、第１情報及び第２情報から、作業員４００が所定動作時に可動する所定部位がセンシングされているか否かを判定する（ステップＳ２２０２、Ｓ２２０３）。一例として、第１センサ２０２３ａ（第１撮像装置２０２４ａ）は作業員４００の左腕を、第２センサ２０２３ｂ（第２撮像装置２０２４ｂ）は作業員４００の右腕をセンシングするよう指示を受けているところ、作業員４００の所定動作時に左腕や右腕が背中に隠れるといった事態が発生する場合がある。そこで、判定部２６６１は、第１情報及び第２情報を参照して、第１センサ２０２３ａ（第１撮像装置２０２４ａ）が所定部位としての左腕をセンシングしているか否かを判定する。

　センシングされていないと判定された場合（Ｓ２２０３－ＮＯ）、制御部２６６２は、所定部位がセンシングされる様に第１移動機構２０２２ａ及び／又は第２移動機構２０２２ｂを作動させる（ステップＳ２２０６）。一例として、制御部２６６２は、第１センサ２０２３ａ（第１撮像装置２０２４ａ）が作業員４００の所定部位の一部である左腕をセンシングできる様、第１移動機構２０２２ａを作動させ、第１人型ロボット２０２０ａを移動させる。また、制御部２６６２は、第２センサ２０２３ｂ（第２撮像装置２０２４ｂ）が作業員４００の所定部位の他部である右腕をセンシングできる様、第２移動機構２０２２ｂを作動させ、第２人型ロボット２０２０ｂを移動させる。これにより、作業員４００の所定動作や移動により所定部位がセンシングされないといった事態を回避することができ、充分なセンシングを行うことが可能となる。加えて、各センサはそれぞれ所定部位の一部と他部とをセンシングすることとなるので、作業員４００の作業の学習に必要なデータ（情報）を効率よく取得することができる。

　他方、センシングされていると判定された場合（Ｓ２２０３－ＹＥＳ）、判定部２６６１は、第１センサ２０２３ａ（第１撮像装置２０２４ａ）によりセンシングされる所定部位と第２センサ２０２３ｂ（第２撮像装置２０２４ｂ）によりセンシングされる所定部位とが同一であるか否かを判定する（ステップＳ２２０４、Ｓ２２０５）。一例として、センシング開始時は、第１センサ２０２３ａ（第１撮像装置２０２４ａ）が作業員４００の左腕を、第２センサ２０２３ｂ（第２撮像装置２０２４ｂ）が作業員４００の右腕を、それぞれセンシングしていたが、作業員４００の所定動作により、同じ所定部位（例えば背中）をセンシングしてしまっているといった事態が生じ得る。そこで、判定部２６６１は、各センサがセンシングする所定部位が同一であるか否かを判定する。

　各センサがセンシングする所定部位が同一であると判定された場合（Ｓ２２０５－ＹＥＳ）、制御部２６６２は、第１センサ２０２３ａ（第１撮像装置２０２４ａ）によりセンシングされる所定部位と第２センサ２０２３ｂ（第２撮像装置２０２４ｂ）によりセンシングされる所定部位とが異なる様に第１移動機構２０２２ａ及び／又は第２移動機構２０２２ｂを作動させる（Ｓ２２０６）。一例として、第１センサ２０２３ａ（第１撮像装置２０２４ａ）と第２センサ２０２３ｂ（第２撮像装置２０２４ｂ）とが共に作業員４００の背中をセンシングしていた場合に、制御部２６６２は、第１センサ２０２３ａ（第１撮像装置２０２４ａ）が作業員の左腕を、第２センサ２０２３ｂ（第２撮像装置２０２４ｂ）が作業員の右腕をセンシングするよう、第１移動機構２０２２ａ及び第２移動機構２０２２ｂを作動させる。これにより、複数のセンサが同一の所定部位をセンシングする事態を回避でき、効率よく作業の学習に必要なデータを取得することができる。

　図１２は、図１０のステップＳ２１０４で示される動作情報生成処理の、より詳細な処理を示すフローチャートの一例である。

　第１情報及び第２情報は記憶装置１２２４及び／又は記憶媒体２０６２に記憶される（ステップＳ２３０１）ところ、学習部２６６３は、記憶装置１２２４及び／又は記憶媒体２０６２に記憶された第１情報及び第２情報を参照して、作業員４００の動作を学習する（ステップＳ２３０２）。学習においては、作業員４００の動作のモーションキャプチャ、作業場２００の３Ｄマップ、作業場２００における作業員４００の移動や動作のナビゲーション、コーナリング、スピード等の分析が行われ、自動学習により作業ロボットとしても機能可能な人型ロボット２０２０の最適な動作が学習される。これにより、作業員４００の所定動作を一度に多角的な面から分析することが可能となり、作業員４００の動作分析やプログラミングに掛かる時間及びコストを削減することができる。

　その後、動作情報生成部２６６４は、学習部２６６３による学習結果を参照して（ステップＳ２３０３）、作業ロボットとして機能する人型ロボット２０２０に動作指示を与える動作情報を生成する（ステップＳ２３０４）。動作情報生成部２６６４は、動作情報生成の際には、センシング対象の作業マニュアル情報及び／又は工程表情報を参照してもよい（Ｓ２３０３）。生成された動作情報を参照することにより、作業ロボットとして機能する人型ロボット２０２０は、作業員４００の作業（所定動作）を行うことが可能となる。

　（実施形態２に係るセンシングシステムの作用効果）
　本実施形態に係るセンシングシステム２１００によれば、センシング対象である作業員４００が所定動作時に可動する所定部位がセンシングされていない場合に、所定部位がセンシングされるように第１移動機構２０２２ａが作動するため、作業員４００の所定動作により所定部位がセンシングされないといった事態を防ぐことができ、充分なセンシングを行うことが可能となる。

　また、本実施形態に係るセンシングシステム２１００によれば、移動式ロボットである人型ロボット２０２０にセンサ２０２３（撮像装置２０２４）が備えられる一方、人型ロボット２０２０は、予め記憶されたプログラムや機械学習結果だけでなく、センシング結果に応じて適切な位置に移動する。そのため、作業場２００に固定的なセンサを配置する場合と比較して、センサの再配置やセンサ数を増加させるといった事態を生じさせることなく、充分なセンシング環境を整えることができる。

　また、本実施形態に係るセンシングシステム２１００によれば、複数（本実施形態では２台）の移動式ロボットのそれぞれに移動機構が備えられ、センシング対象である作業員４００が所定動作時に可動する所定部位がセンシングされていない場合に、所定部位がセンシングされるように各移動機構が作動するため、複数の異なる角度から作業員４００の所定動作をセンシングすることができる。

　また、本実施形態に係るセンシングシステム２１００によれば、複数（本実施形態では２つ）のセンサ２０２３（撮像装置２０２４）につき、その一つが作業員４００の所定部位の一部をセンシングするように移動機構を作動させ、且つ、他のセンサ（撮像装置）が所定部位の他部をセンシングするように移動機構を作動させることから、作業員４００の所定動作を、複数の異なる角度からかつ複数の所定部位をセンシングすることができることとなる。これにより、複数台の移動式ロボットが協働して移動しながらセンシングを行うことを可能とし、充分なセンシングを行うことができる。

　また、本実施形態に係るセンシングシステム２１００によれば、各センサにより取得されるセンサ情報（本実施形態では、第１情報及び第２情報）が記憶され、記憶されたセンサ情報を参照して作業員４００の所定動作が学習され、かつ学習結果を参照して、作業ロボットとして機能する人型ロボットに動作指示を与える動作情報が生成されることから、充分なセンシング結果を反映した動作情報が生成されることとなる。これにより、作業員４００の作業を行うことのできる作業ロボット（人型ロボット２０２０）を効率よく作製することができる。

　また、本実施形態に係るセンシングシステム２１００によれば、動作情報生成の際に、作業マニュアル情報及び／又は工程表情報が参照された上で、動作情報が生成される。作業員４００は、いつでも作業に忠実な動作をするとは限らず、場合によっては無駄な動作をしたり、あるいは必要な動作を省いたりすることもある。そこで、作業マニュアル情報と工程表情報とを参照することで、作業員４００による不要ないしは不適切な所定動作が動作情報に反映されることを抑制することができる。

　（実施形態２の変形例１）
　図１３Ａ．１３Ｂは、本実施形態の変形例１に係るセンシングシステムの一例を示す図である。

　図１３Ａは、本開示に係る実施形態２の変形例１に係るセンシングシステムでの、システム構成の一例を示す図である。本センシングシステムでは、移動式ロボットとして機能する人型ロボット２０２０ｃに、第２センサに相当する胴体センサ２０２３ｄ（胴体撮像装置２０２４ｄ）が設けられている点が特徴となっている。また、本センシングシステムでは、管理制御装置２０６０は必ずしも必要ではなく、人型ロボット２０２０ｃ単体でセンシングシステムを構成することができる。

　図１３Ｂは、図１３Ａに示す移動式ロボットの一例を示す図である。移動式ロボットとして機能する人型ロボット２０２０ｃは、ロボット本体２０２１ｃと、ロボット移動機構２０２２ｃと、頭部センサ２０２３ｃと、頭部センサ２０２３ｃに含まれる頭部撮像装置２０２４ｃと、胴体センサ２０２３ｄと、胴体センサ２０２３ｄに含まれる胴体撮像装置２０２４ｄと、情報処理装置２０２５ｃと、ロボット腕部と、を備える。

　ロボット本体２０２１ｃは、ロボット胴体２２１１と、ロボット頭部２２１２とを備える。ロボット胴体２２１１とロボット頭部２２１２とは、第１駆動機構２０２１ｃ（図１４参照）を構成し、頭部センサ２０２３ｃ（頭部撮像装置２０２４ｃ）のセンシング領域２２３０ｃ（撮像領域２２４０ｃ）及び胴体センサ２０２３ｄ（胴体撮像装置２０２４ｄ）のセンシング領域２２３０ｄ（撮像領域２２４０ｄ）を変更することが可能である。ロボット移動機構２０２２ｃは、第１移動機構として機能する。

　頭部センサ２０２３ｃ（頭部撮像装置２０２４ｃ）は第１センサとして機能し、胴体センサ２０２３ｄ（胴体撮像装置２０２４ｄ）は第２センサとして機能する。頭部センサ２０２３ｃ（頭部撮像装置２０２４ｃ）と胴体センサ２０２３ｄ（胴体撮像装置２０２４ｄ）とは、高さ位置が異なる箇所に配置されることから、第２センサとして機能する胴体センサ２０２３ｄ（胴体撮像装置２０２４ｄ）は、頭部センサ２０２３ｃ（頭部撮像装置２０２４ｃ）と異なる位置からセンシング対象の所定動作をセンシングすることとなる。

　情報処理装置２０２５ｃの構成は、第１人型ロボット２２００ａの第１情報処理装置２０２５ａと同様である。ロボット腕部についても第１人型ロボット２０２０ａと同様である。

　図１４は、本センシングシステムでの、移動式ロボットの機能の一例を示すブロック図である。センシングシステム２１００'では、情報処理装置２０２５ｃは、情報処理部２０６６ｃと、通信インタフェース１２２２ｃと、記憶装置１２２４ｃとを備え、情報処理部２０６６ｃは、判定部２６６１ｃと、制御部２６６２ｃと、学習部２６６３ｃと、動作情報生成部２６６４ｃと、を備える。すなわち、センシングシステム２１００'では、情報処理部２０６６ｃが管理制御装置２０６０の処理部２０６６と同様の処理を行う。なお、情報処理装置２０２５ｃは、頭部センサ２０２３ｃ（頭部撮像装置２０２４ｃ）、胴体センサ２０２３ｄ（頭部撮像装置２０２４ｄ）、第１移動機構２０２２ｃ及び第１駆動機構２０２１ｃと通信可能に構成されている。

　センシングシステム２１００'の人型ロボット２０２０ｃは、情報処理装置２０２５ｃに情報処理部２０６６ｃが備えられていることから、人型ロボット２０２０ｃ単体でセンシングシステムを構成する。

　図１３を参照して、例えば人型ロボット２０２０ｃの制御部２６６２ｃは、第１センサとして機能する頭部センサ２０２３ｃ（頭部撮像装置２０２４ｃ）が作業員４００の左腕を、第２センサとして機能する胴体センサ２０２３ｄ（胴体撮像装置２０２４ｄ）が作業員４００の右腕をそれぞれセンシングするよう指示する。そして、各センサで取得されるセンサ情報（第１情報及び第２情報）から、作業員４００が所定動作時に可動する所定部位がセンシングされるか否かが判定部２６６１ｃにより判定され、所定部位がセンシングされていないと判定された場合、制御部２６６２ｃは、所定部位がセンシングされる様に第１移動機構２０２２ｃ及び／又は第１駆動機構２０２１ｃを作動させる。

　また、判定部２６６１ｃは、頭部センサ２０２３ｃ（頭部撮像装置２０２４ｃ）によりセンシングされる所定部位と胴体センサ２０２３ｄ（胴体撮像装置２０２４ｄ）によりセンシングされる所定部位とが同一であるか否かを判定し、制御部２６６２ｃは、各センサ（撮像装置）によりセンシングされる所定部位が同一であると判定された場合に、各センサ（撮像装置）によりセンシングされる所定部位が異なる様に、第１移動機構２０２２ｃ及び／又は第１駆動機構２０２１ｃを作動させる。

　（変形例１の作用効果）
　本センシングシステムによれば、人型ロボット２０２０ｃは単独でセンシングシステムを構成することができることから、例えば、管理制御装置２０６０との通信ができないような場所においても、充分にセンシングを行うことが可能となる。

　また、本人型ロボット２０２０ｃは、複数（本変形例では２つ）のセンサ（撮像装置）を備えていることから、例えば、作業員４００をセンシングするには狭い場所においても、充分にセンシングを行うことが可能となる。

　なお、本センシングシステムにおいて、移動式ロボットとして機能する人型ロボットは、必ずしも１台である必要はなく、複数台であってもよい。この場合、人型ロボットの数が増えるだけ、センサの数は人型ロボットの倍数分増えることとなり、一度にセンサ情報を多く取得することができる。

　（実施形態２の変形例２）
　図１５Ａ、１５Ｂは、本実施形態の変形例２に係るセンシングシステムの一例を示す図である

　図１５Ａは、実施形態２の変形例２に係るセンシングシステムでの、システム構成の一例を示す図である。本センシングシステムでは、移動式ロボットとして機能する人型ロボット２０２０に加え、センサ取付部材２０３０を備える点が特徴となっている。

　図１５Ｂは、図１５Ａに示すセンサ取付部材の一例を示す図である。センサ取付部材２０３０は、取付部材本体２０３１と、取付部材移動機構２０３２と、取付部材用センサ２０３３と、取付部材用撮像装置２０３４と、を備える。センサ取付部材２０３０は、取付部材本体２０３１の下方に設けられた取付部材移動機構２０３２により移動することが可能である。もっとも、取付部材移動機構２０３２は設けられなくてもよい。

　取付部材本体２０３１は、例えば棒状ないしは杖状の部材であり、その材料は特に限定されない。取付部材本体２０３１の長さは、人型ロボット２０２０の高さ（背丈）よりも長く、例えば２．１メートルである。取付部材本体２０３１には、その下方、好ましくは下端に取付部材移動機構２０３２、取付部材本体２０３１の上方、好ましくは上端に取付部材用センサ２０３３が設けられている。

　取付部材移動機構２０３２は、例えばキャスター等の回転体を設けた構成からなり、人型ロボット２０２０の移動に合わせて、センサ取付部材２０３０が移動することを補助する。なお、本実施形態においては、センサ取付部材２０３０は自律して移動することを想定していないが、取付部材移動機構２０３２に指示を与える取付部材制御部（不図示）を設け、取付部材制御部からの信号に基づき取付部材移動機構２０３２を動かす構成であってもよい。

　図１５Ａも参照して、第２センサとして機能する取付部材用センサ２０３３（取付部材用撮像装置２０３４）は、取付部材本体２０３１の上方に設けられ、作業員４００をセンシングする。取付部材用センサ２０３３の一例は、ロボット用センサ２０２３と同様であり、また取付部材用撮像装置２０３４の一例も、ロボット用撮像装置２０２４の一例と同様である。加えて、取得されるセンサ情報の一例もロボット用センサ２０２３と同様であり、センサ情報のセンシングタイミングの一例もロボット用センサ２０２３と同様である。

　取付部材用撮像装置２０３４は、取付部材用センサ２０３３に含まれる。また、取付部材用撮像装置２０３４を含む取付部材用センサ２０３３は、人型ロボット２０２０の高さ（背丈）よりも高い位置に配置されている。これにより、取付部材用センサ２０３３はロボット用センサ２０２３よりも高い位置から作業員４００の動作をセンシングすることができる。

　図１６は、実施形態２の変形例２に係るセンシングシステムでの、構成及び機能の一例を示す図である。センシングシステム２１００''において、センサ取付部材２０３０は、人型ロボット２０２０の情報処理装置２０２５と、無線又は有線を介して通信可能に構成される。もっとも、センサ取付部材２０３０は、情報処理装置２０２５の代わりに又は共に、管理制御装置２０６０の通信部２０６４と通信可能に構成されてもよい。なお、センシングシステム２１００''の人型ロボット２０２０及び管理制御装置２０６０の構成は、センシングシステム２１００のそれらと同様である。

　図１５も参照して、人型ロボット２０２０は、第２駆動機構を構成するロボット腕部２０２６の一部である右把持部２２６５（又は左把持部２２６６）により、センサ取付部材２０３０を把持する。センサ取付部材２０３０の取付部材用センサ２０３３（取付部材用撮像装置２０３４）は、第２駆動機構によりそのセンシング領域２３３０（撮像領域２３４０）を変更することが可能である。

　センシングシステム２１００''では、例えば、制御部２６６２は、第１センサとして機能するロボットセンサ２０２３（ロボット撮像装置２２２４）が作業員４００の左腕を、第２センサとして機能する取付部材用センサ２０３３（取付部材用撮像装置２０３４）が作業員４００の右腕をそれぞれセンシングするよう指示する。そして、各センサで取得されるセンサ情報（第１情報及び第２情報）から、作業員４００が所定動作時に可動する所定部位がセンシングされるか否かが判定部２６６１により判定され、所定部位がセンシングされていないと判定された場合、制御部２６６２は、所定部位がセンシングされる様に第１移動機構２０２２及び／又は第２駆動機構２０２６を作動させる。また、判定部２６６１によって各センサ（撮像装置）によりセンシングされる所定部位が同一であると判定された場合に、制御部２６６２は、各センサ（撮像装置）によりセンシングされる所定部位が異なる様に、第１移動機構２０２２及び／又は第２駆動機構２０２６を作動させる。

　（変形例２の作用効果）
　本センシングシステムによれば、取付部材用センサ２０３３（取付部材用撮像装置２０３４）を第２センサとして構成していることから、例えば、作業員４００をセンシングするには狭い場所においても、充分にセンシングを行うことが可能となる。

　また、本センシングシステムによれば、センサ取付部材２０３０は、人型ロボット２０２０の高さ（背丈）よりも高い位置に取付部材用センサ２０３０（取付部材用撮像装置２０４０）が配置されている。そのため、作業員４００の動作を、より俯瞰的な位置からセンシングすることができ、例えば作業員４００の背中によりセンシングしにくいといった事態を回避しやすく、作業員４００の作業の学習に必要なデータを効率よく取得することができる。

　なお、本センシングシステムにおいても、移動式ロボットとして機能する人型ロボットは１台でなくてよく、センサ取付用部材も１つだけでなくてよい。例えば、２つのセンサ取付用部材を両保持部２２６５、２２６６により保持した人型ロボット２０２０を複数台備えていてもよい。この場合も、センサの数を増加させることができ、一度にセンサ情報を多く取得することが可能となる。

　本実施形態のセンシングシステム２１００では、センサと移動機構とを備える移動式ロボット（人型ロボット）は２台用いるものとして説明した。しかし、移動式ロボットの数はこれ以上であってもよい。例えば、センサと移動機構とを備える移動式ロボットの台数が多ければ、それぞれ異なる位置、高さ及び／又は向きから作業員４００の所定動作をセンシングするよう複数のセンサを配置することが可能となる。これにより、作業員４００の所定動作の学習に必要な様々なデータを取得しやすくなると共に、作業員４００の各所定部位を全体的にカバーできるようにセンシングすることができる。

　また、本実施形態では、第１センサ（第１撮像装置）は作業員の左腕を、第２センサ（第２撮像装置）は作業員の左腕を、それぞれセンシングするものとして説明した。しかし、センシング対象となる所定部位はこれに限らず、また各センサがセンシングする所定部位もこれに限らない。例えば、第１センサ（第１撮像装置）は作業員の右手の指先をセンシングし、第２センサ（第２撮像装置）は作業員の首の動作をセンシングしてもよい。

　また、本実施形態では、作業員の所定動作の学習を自動学習により行うものとして説明した。しかし、学習は必ずしも自動学習である必要はなく、他の既知の機械学習、例えばディープラーニング（深層学習）や教師なし／あり学習、強化学習等であってもよい。

　また、本実施形態では、移動式ロボットと作業ロボットとは同じ人型ロボットであるものして説明した。この場合、移動式ロボットを作業ロボットに併用するといったことが可能となり、ロボット作製に係る費用及びコストを節約できる。もっとも、移動式ロボットと作業ロボットとは、異なるロボットであってもよい。

　また、本実施形態では、センシング対象として作業員（人）を用いて説明した。しかし、これに限定されず、例えば作業員の所定動作を模倣可能なロボットをセンシング対象としてもよい。

　（実施形態３）
　図１７Ａ、１７Ｂは、センシングシステムを説明するための図である。

　図１７Ａは、本開示に係る実施形態３のセンシングシステムでの、システム構成の一例を示す図である。センシングシステムでは、移動式ロボットとして機能する第１人型ロボット３０２０ａ及び第２人型ロボット３０２０ｂと、作業ロボットとして機能する第３人型ロボットと３０２０ｃと、を備える。なお、移動式ロボット及び作業ロボットとして機能する人型ロボットの数はこれに限定されない。

　第１人型ロボット３０２０ａは、後述する管理制御装置３０６０（図１８参照）からの指示を受け、又は第１人型ロボット３０２０ａに設けられた第１情報処理装置３０２５ａ（図１８参照）からの指示により、作業場２００の作業ライン２０１で作業する作業員４００の付近に移動する。センシングシステムは、第１人型ロボット３０２０ａに備えられた第１ロボット用センサ３０２３ａ（第１ロボット用撮像装置３０２４ａ）により、作業員４００の所定動作をセンシングする。所定動作は多岐にわたり、例えば部品の組付けや部品の移動、製品の塗装、作業員自身の移動等が挙げられる。なお、作業員４００のセンシングにあたっては、既知の画像認識技術を用いてもよいし、学習部２６６３（図１９参照）による学習によって作業員４００やその所定動作を認識してもよい。後述する作業ロボットのセンシングについても同様である。

　センシングシステムは、第１センサとして機能する第１ロボット用センサ３０２３ａ（第１ロボット用撮像装置３０２４ａ）により取得される第１情報を参照して、作業員４００の所定動作を学習する。また、センシングシステムは、所定動作の学習結果を参照して、第３人型ロボット３０２０ｃに動作指示を与える動作制御情報を生成する。

　第２人型ロボット３０２０ｂは、管理制御装置３０６０からの指示を受け、又は第２人型ロボット３０２０ｂに設けられた第２情報処理装置からの指示により、作業場２００の作業ライン２０１で作業する第３人型ロボット３０２０ｃの付近に移動する。同様に、第３人型ロボット３０２０ｃは、管理制御装置３０６０からの指示を受け、又は第３人型ロボット３０２０ｃに設けられた第３情報処理装置からの指示により、作業場２００の作業員４００の付近に移動する。

　センシングシステムは、動作制御情報を参照して第３人型ロボット３０２０ｃを作動させる。また、センシングシステムは、第２人型ロボット３０２０ｂに備えられた第２ロボット用センサ３０２３ｂ（第２ロボット用撮像装置３０２４ｂ）により、第３人型ロボット３０２０ｃのロボット動作をセンシングする。これにより、本センシングシステムでは、作業ロボットとして機能する第３人型ロボット３０２０ｃのロボット動作を確認することができる。

　センシングシステムは、第１情報と、第２センサとして機能する第２ロボット用センサ３０２３ｂ（第２ロボット用撮像装置３０２４ｂ）により取得される第２情報とを比較して、第３人型ロボット３０２０ｃのロボット動作が所定動作に近似するように動作制御情報を調整する。これにより、第３人型ロボット３０２０ｃのロボット動作を適切な動作に調整することが可能となる。

　図１７Ｂは、図１７Ａに示す人型ロボット３０２０の一例を示す図である。移動式ロボット及び作業ロボットとして機能する人型ロボット３０２０は、ロボット本体３０２１と、ロボット移動機構３０２２と、ロボット用センサ３０２３と、ロボット用センサ３０２３に含まれるロボット用撮像装置３０２４と、情報処理装置３０２５と、ロボット腕部３０２６と、を備える。

　人型ロボット３０２０は、ロボット本体３０２１の下方に設けられたロボット移動機構３０２２により移動することが可能であり、例えば管理制御装置３０６０といった人型ロボット３０２０の外部から指示を受けて、あるいは情報処理装置３０２５に記憶されたプログラムを参照して、作業場２００の作業ライン２０１付近に移動する。

　ロボット本体３０２１は、ロボット胴体３２１１と、ロボット頭部３２１２とを備える。ロボット胴体３２１１とロボット頭部３２１２とは、胴体／頭部駆動機構を構成し、ロボット用センサ３０２３（ロボット用撮像装置３０２４）のセンシング領域３２３０（撮像領域３２４０）を変更することが可能である。駆動機構の構成は特に限定されず、例えば図示しないサーボモータにより、ロボット頭部３２１２がロボット胴体３２１１に対して所定角度回転したり、ロボット胴体３２１１がロボット移動機構３０２２に対して所定角度回転したりする構成であってもよい。

　ロボット胴体３２１１の下方にはロボット移動機構３０２２、ロボット胴体３２１１の側方にはロボット腕部３０２６、ロボット頭部３２１２にはロボット用センサ３０２３がそれぞれ設けられている。また、ロボット本体３０２１の内部には、情報処理装置３０２５が設けられている。

　ロボット移動機構３０２２は、任意の構成でよく、例えばモーターで駆動する回転体を設けたものでもよいし、脚部として人の脚に形状を似せた構成であってもよい。一例として、ロボット移動機構３０２２を人の脚の形状に似せた構成にする場合、人の関節に相当する箇所にサーボモータを設けて、所定角度回転させることで移動機構を構成する。

　第１センサ及び第２センサとして機能するロボット用センサ３０２３は、好ましくはロボット頭部３２１２に設けられ、作業員４００や作業ロボットをセンシングする。また、ロボット用センサ３０２３は、人型ロボット３０２０の周辺にある、人型ロボット３０２０が作業する物体とロボット腕部３０２６との距離及び角度を少なくとも表す情報を逐次取得する。ロボット用センサ３０２３の一例としては、最高性能のカメラ、サーモカメラ、高画素・望遠・超広角・３６０度・高性能カメラ、レーダー、ソリッドステートＬｉＤＡＲ、ＬｉＤＡＲ、マルチカラーレーザ同軸変位計、ビジョン認識、又はその他様々なセンサ群が採用され得る。これらは、ロボット用撮像装置３０２４の一例でもある。また他には、ロボット用センサ３０２３の他の一例としては、振動計、硬度計、微小振動計、超音波測定器、振動測定器、赤外線測定器、紫外線測定器、電磁波測定器、温度計、湿度計、スポットＡＩ天気予報、高精度マルチチャネルＧＰＳ、低高度衛星情報、又はロングテールインシデントＡＩ　ｄａｔａ等が挙げられる。

　ロボット用センサ３０２３から取得するセンサ情報の一例としては、画像、距離、振動、熱、匂い、色、音、超音波、電波、紫外線、赤外線、湿度等が挙げられ、好ましくはロボット用撮像装置３０２４により、画像、距離の情報が取得される。ロボット用センサ３０２３（ロボット用撮像装置３０２４）は、これらのセンシングを、一例としてナノ秒毎に実施する。センサ情報は、例えば、作業員４００の動作のモーションキャプチャ、作業場２００の３Ｄマップ、作業場２００における作業員４００の移動や動作のナビゲーション、コーナリング、スピード等の分析に用いられる。

　ロボット腕部３０２６は、右腕部３２６１と左腕部３２６２とを備える。また、右腕部３２６１は、右把持支持部３２６３及び右把持部３２６５を、左腕部３２６２は、左把持支持部３２６４及び左把持部３２６６を、それぞれ備える。右把持支持部３２６３は右把持部３２６５を、左把持支持部３２６４は左把持部３２６６を、それぞれ支持するための機構であり、一例としては人の腕に形状を似せたものであってもよい。把持部３２６５、３２６６は、例えば作業用の部品等を把持するための機構であり、一例としては人の手の形状に似せたものであってもよい。

　ロボット腕部３０２６は、腕部駆動機構を構成する。駆動機構の構成は特に限定されず、例えば、ロボット腕部３０２６を人の形状に似せる場合、サーボモータを、人の肩に相当する箇所、肘に相当する箇所、手首に相当する箇所、指関節に相当する箇所等の各関節箇所に設け、所定角度回転させる構成を採用してもよい。

　なお、人型ロボット３０２０は、例えばロボット胴体部３２１１にセンサをさらに設けてもよい（図２４Ｂ参照）。この場合、当該センサは、ロボット頭部３２１２に設けられたロボット用センサ３０２３とは、その高さ位置が異なる。高さ位置が異なることで、センサは作業員４００の動作を異なる角度からセンシングすることができる。

　図１８は、本実施形態のセンシングシステム３１００での、構成及び機能の一例を示すブロック図である。

　センシングシステム３１００は、第１人型ロボット３０２０ａと、第２人型ロボット３０２０ｂと、第３人型ロボット３０２０ｃと、管理制御装置３０６０と、を含んで構成されている。第１人型ロボット３０２０ａ、第２人型ロボット３０２０ｂ及び第３人型ロボット３０２０ｃは、管理制御装置３０６０の通信部３０６４と、各々無線又は有線通信を介して接続され、管理制御装置３０６０からの指示を受けると共に、各センサにより取得される情報を送信する。なお、各人型ロボット３０２０ａ～ｃ同士も、無線又は有線通信を介して接続され、各センサにより取得される情報や指示を送受信してもよい。

　移動式ロボットとして機能する第１人型ロボット３０２０ａは、第１移動機構３０２２ａと、第１センサとして機能する第１ロボット用センサ３０２３ａと、第１ロボット用センサ３０２３ａに含まれる第１ロボット用撮像装置３０２４ａと、第１情報処理装置３０２５ａと、第１胴体／頭部駆動機構３０２１ａと、第１腕部駆動機構３０２６ａと、を備える。本実施形態では、移動式ロボットとして機能する第２人型ロボット３０２０ｂ及び作業ロボットとして機能する第３人型ロボット３０２０ｃも、その構成は第１人型ロボット３０２０ａと同一である。

　本実施形態による第１情報処理装置３０２５ａは、ＣＰＵ（Central Processing Unit）１２１２、ＲＡＭ（Random Access Memory）１２１４、及びグラフィックコントローラ１２１６を含み、それらはホストコントローラ１２１０によって相互に接続されている。第１情報処理装置３０２５ａはまた、通信インタフェース１２２２、記憶装置１２２４、ＤＶＤドライブ、及びＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。ＤＶＤドライブは、ＤＶＤ－ＲＯＭドライブ及びＤＶＤ－ＲＡＭドライブ等であってよい。記憶装置１２２４は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。第１情報処理装置３０２５ａはまた、ＲＯＭ（Read Only Memory）１２３０及びキーボードのような入出力ユニットを含み、それらは入出力チップ１２４０を介して入出力コントローラ１２２０に接続されている。

　通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。記憶装置１２２４は、第１情報処理装置３０２５ａ内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納する。また、記憶装置１２２４は、第１情報及び第２情報を記憶してもよい。ＤＶＤドライブは、プログラム又はデータをＤＶＤ－ＲＯＭ等から読み取り、記憶装置１２２４に提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。

　ＲＯＭ１２３０はその中に、アクティブ化時に第１情報処理装置３０２５ａによって実行されるブートプログラム等、及び／又は第１情報処理装置３０２５ａのハードウェアに依存するプログラムを格納する。入出力チップ１２４０はまた、様々な入出力ユニットをＵＳＢポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ１２２０に接続してよい。

　プログラムは、ＤＶＤ－ＲＯＭ又はＩＣカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置１２２４、ＲＡＭ１２１４、又はＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、第１情報処理装置３０２５ａに読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、第１情報処理装置３０２５ａの使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。

　例えば、通信が第１情報処理装置３０２５ａ及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、記憶装置１２２４、ＤＶＤ－ＲＯＭ、又はＩＣカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。

　上で説明したプログラム又はソフトウエアモジュールは、第１情報処理装置２３０５ａ上又は第１情報処理装置３０２５ａ近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介して第１情報処理装置３０２５ａに提供する。

　ここまで説明してきた内容は、第２人型ロボット３０２０ｂ及び第３人型ロボット３０２０ｃのそれぞれに備えられた情報処理装置についても同様である。

　管理制御装置３０６０は、センシングシステム３１００を実現するため、人型ロボット３０２０ａ～ｃに対して指示を与える制御装置である。また、管理制御装置３０６０は、記憶装置１２２４に蓄積されたセンサ情報（第１情報及び第２情報）を取得する。

　管理制御装置３０６０は、ＣＰＵ３０６０Ａ、ＲＡＭ３０６０Ｂ、ＲＯＭ３０６０Ｃ、入出力部（Ｉ／Ｏ）３０６０Ｄ、及びこれらを接続するデータバスやコントロールバス等のバス３０６０Ｅ、並びに通信部３０６８で構成されている。Ｉ／Ｏ３０６０Ｄには、記憶媒体３０６２が接続されている。

　また、Ｉ／Ｏ３０６０Ｄには、人型ロボット３０２０の制御系との間で、センサ情報や作業員４００の所定動作に関連する作業マニュアル情報、工程表情報等を送受信する通信部３０６４が接続されている。作業マニュアル情報には、例えば各作業項目の名称及び内容、作業項目の順序、各作業項目に要する標準的な作業時間の情報等が含まれる。また、工程表情報には、例えば作業全体の作業時間や開始時刻／終了時刻を示す情報、各作業項目の作業時間や開始時刻／終了時刻を示す情報、各作業項目の作業員を示す情報等が含まれる。

　図１９は、本実施形態のセンシングシステムでの、管理制御装置３０６０の機能の一例を示すブロック図である。

　管理制御装置３０６０は、記憶媒体３０６２と、通信部３０６４と、処理部３０６６とを備える。

　記憶媒体３０６２は、例えば、半導体記憶装置、磁気テープ装置、磁気ディスク装置、又は光ディスク装置のうちの少なくとも一つを備える。記憶媒体３０６２は、処理部３０６６での処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。例えば、記憶媒体３０６２は、第１情報及び第２情報を記憶する。また、記憶媒体３０６２は、作業員４００の作業マニュアル情報を記憶する。なお、記憶媒体３０６２は、工程表情報を記憶してもよい。

　通信部３０６４は、Ｗｉ－Ｆｉ（登録商標）等の無線の通信インタフェース回路及び／又はイーサネット（登録商標）等の有線の通信インタフェース回路を有する。通信部３０６４は、人型ロボット３０２０ａ～ｃと、インタフェース回路を通じて各種情報を送受信する。

　処理部３０６６は、一又は複数個のプロセッサ及びその周辺回路を有する。処理部３０６６は、センシングシステム３１００の全体的な動作を統括的に制御するものであり、例えば、ＣＰＵである。処理部３０６６は、記憶媒体３０６２に記憶されているプログラム（ドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム等）を参照して処理を実行する。また、処理部３０６６は、複数のプログラム（アプリケーションプログラム等）を並列に実行することができる。

　処理部３０６６は、判定部３６６１と、調整部３６６２と、学習部３６６３と、動作情報生成部３６６４と、を備える。これらの各部は、処理部３０６６が備えるプロセッサで実行されるプログラムにより実現される機能モジュールである。あるいは、これらの各部は、ファームウェアとして処理部３０６６に実装されてもよい。

　判定部３６６１は、所定動作に関連するマニュアル情報の有無を判定し、作業マニュアル情報がある場合に、所定動作の学習結果が作業マニュアル情報と相反するか判定する。

　調整部３６６２は、第１情報と第２情報とを比較して、第３人型ロボット３０２０ｃのロボット動作が所定動作に近似するように動作制御情報を調整する。好ましくは、調整部３６６２は、オーバーラップ期間に、ロボット動作が所定動作に近似するように動作制御情報を調整する。オーバーラップ期間は、第１センシング期間と第２センシング期間とが重なる期間である。ここで、第１センシング期間は、第１センサとして機能する第１ロボット用センサ３０２３ａ（第１ロボット用撮像装置３０２４ａ）が作業員４００をセンシングして第１情報を取得する期間である。また、第２センシング期間は、第２センサとして機能する第２ロボット用センサ３０２３ｂ（第２ロボット用撮像装置３０２４ｂ）が第３人型ロボット３０２０ｃのロボット動作をセンシングして第２情報を取得する期間である。すなわち、オーバーラップ期間は、第１情報の取得と第２情報の取得とが同時に行われる期間である。

　学習部３６６３は、記憶媒体３０６２及び／又は記憶装置１２２４に記憶された第１情報を参照して作業員４００の所定動作を学習する。この学習は、例えば、学習済みモデルを自動的に作成したり、学習済みモデルを使用して判定／解析を自動的に行ったりする学習である自動学習により行われる。

　動作情報生成部３６６４は、学習部３６６３による作業員４００の所定動作の学習結果を参照して、作業ロボットとして機能する第３人型ロボット３０２０ｃに動作指示を与える動作制御情報を生成する。動作情報生成部３６６４は、動作制御情報を生成する際、作業マニュアル情報を参照してもよい。これにより、作業員４００の所定動作に不適切なものがあっても、その所定動作は反映させず、適切な動作（作業）を第３人型ロボット３０２０ｃに行わせることが可能となる。

　図２０は、本センシングシステム３１００での、各センシング期間の一例を示す図である。本センシングシステム３１００では、オーバーラップ期間が生じるよう、第１センサがセンシングし、かつ第２センサがセンシングする。このようなセンシングは、管理制御装置３０６０の指示による。

　本センシングシステム３１００では、作業員４００の所定動作のセンシング最中（すなわち第１センシング期間）から第３人型ロボット３０２０ｃのロボット動作を開始させると共に、第３人型ロボット３０２０ｃのロボット動作のセンシング最中（すなわち第２センシング期間）に、調整部３６６２は、当該ロボット動作が作業員４００の所定動作に近似するように動作制御情報を調整する。これにより、作業用ロボットである第３人型ロボット３０２０ｃのロボット動作を、その場で調整していくことが可能となる。

　（本開示に係る実施形態３のセンシングシステムの処理）
　図２１は、本実施形態のセンシングシステムの処理を示すフローチャートの一例である。

　まず、管理制御装置３０６０の指示により、あるいは記憶媒体３０６２又は記憶装置１２２４に記憶されたプログラムの読み出し指示により、各人型ロボット３０２０の情報処理装置は、移動式ロボット及び作業ロボットとして機能する複数台（本実施形態では３台）の人型ロボット３０２０を作業場２００に移動するよう指示する（ステップＳ３１０１）。移動は、各人型ロボット３０２０のロボット移動機構３０２２の作動による。

　移動に際しては、第１人型ロボット３０２０ａに備えられた第１ロボット用センサ３０２３ａ（第１ロボット用撮像装置３０２４ａ）のセンシング領域３２３０ａ（撮像領域３２４０ａ）が作業員４００を対象とする一方、第２人型ロボット３０２０ｂに備えられた第２ロボット用センサ３０２３ｂ（第２ロボット用撮像装置３０２４ｂ）のセンシング領域３２３０ｂ（撮像領域３２４０ｂ）が第３人型ロボット３０２０ｃを対象とするよう、指示が与えられる。このような複数台の人型ロボット３０２０の配置は、例えば予め作業場２００のフロア図面を記憶装置１２２４及び／又は記憶媒体３０６２に記憶させ、各人型ロボット３０２０の位置を、当該記憶されたフロア図面に対応付けることにより行われる。あるいは、人型ロボット３０２０の配置は、機械学習を通じて最適化された位置に基づいてもよい。

　次に、第１ロボット用センサ３０２３ａ（第１ロボット用撮像装置３０２４ａ）により、作業員４００の作業ライン２０１での所定動作がセンシングされる（ステップＳ３１０２）。本実施形態では、処理部３０６６は、第１センサ３０２３ａ（第１撮像装置３０２４ａ）のセンシング領域３２３０ａ（撮像領域３２４０ａ）が作業員４００の所定動作を対象とするよう指示を与え、これを受けて第１情報処理装置３０２５ａは、第１人型ロボット３０２０ａの第１移動機構３０２２ａや胴体／頭部駆動機構３０２１ａを作動させる。

　第１ロボット用センサ３０２３ａ（第１ロボット用撮像装置３０２４ａ）により取得される第１情報は、記憶装置１２２４及び／又は通信部３０６４を介して記憶媒体３０６２に記憶される。記憶装置１２２４及び記憶媒体３０６２は、記憶部として機能する。

　管理制御装置３０６０は、記憶部に蓄積された、言い換えると記憶された第１情報を参照して所定動作を学習し、学習結果を参照して、作業ロボットとして機能する第３人型ロボット３０２０ｃに動作指示を与える動作制御情報を生成する（ステップＳ３１０３）。Ｓ３１０３は、好ましくは第１センシング期間に実施される。これにより、センシングシステム３１００は、作業のために作業員４００が所定動作している段階から、第３人型ロボット３０２０ｃを作動させることが可能となる。

　管理制御装置３０６０は、動作制御情報を参照して第３人型ロボット３０２０ｃを作動させる（ステップＳ３１０４）。第３人型ロボット３０２０ｃは、動作制御情報により与えられた動作指示により動作する。

　動作制御情報による第３人型ロボット３０２０ｃのロボット動作（Ｓ３１０４）に前後して、第２ロボット用センサ３０２３ｂ（第２ロボット用撮像装置３０２４ｂ）により、第３人型ロボット３０２０ｃのロボット動作がセンシングされる（ステップＳ３１０５）。これにより、第３人型ロボット３０２０ｃのロボット動作を確認することができる。

　本実施形態では、処理部３０６６は、第２ロボット用センサ３０２３ｂ（第２ロボット用撮像装置３０２４ｂ）のセンシング領域３２３０ｂ（撮像領域３２４０ｂ）が第３人型ロボット３０２０ｃのロボット動作を対象とするよう指示を与え、これを受けて、第２人型ロボット３０２０ｂの第２情報処理装置は、第２人型ロボット３０２０ｂの第２移動機構や第２胴体／頭部駆動機構を作動させる。第２センサ３０２３ｂ（第２撮像装置３０２４ｂ）により取得される第２情報は、記憶部に記憶される。

　管理制御装置３０６０は、ロボット動作が所定動作に近似するように動作制御情報を調整する（ステップＳ３１０６）。好ましくは、ステップＳ３１０６は、オーバーラップ期間に実施される。これを実現するため、管理制御装置３０６０は、第１センサによる第１情報の取得と、第２センサによる第２情報の取得を同時に行う。これにより、センシングシステム３１００は、作業員４００が所定動作している段階から、第３人型ロボット３０２０ｃのロボット動作を作業員４００の所定動作に近似するよう調整することができる。

　図２２は、図２１のステップＳ３１０３で示される動作制御情報生成処理の、より詳細な処理を示すフローチャートの一例である。

　第１情報は記憶部に記憶される（ステップＳ３２０１）ところ、学習部３６６３は、記憶部に記憶された第１情報を参照して、作業員４００の所定動作を学習する（ステップＳ３２０２）。学習においては、作業員４００の動作のモーションキャプチャ、作業場２００の３Ｄマップ、作業場２００における作業員４００の移動や動作のナビゲーション、コーナリング、スピード等の分析が行われ、自動学習により作業ロボットとしても機能可能な人型ロボット３０２０の最適な動作が学習される。これにより、作業員４００の所定動作を一度に多角的な面から分析することが可能となり、作業員４００の動作分析やプログラミングに掛かる時間及びコストを削減することができる。

　ここで、判定部３６６１は、所定動作に関連するマニュアル動作情報の有無を判定する（ステップＳ３２０３、Ｓ３２０４）。所定動作に関連するマニュアル動作情報がない場合（Ｓ３２０４－ＮＯ）、動作情報生成部３６６４は、学習部３６６３による所定動作の学習結果を参照して（ステップＳ３２０８）、第３人型ロボット３０２０ｃに動作指示を与える動作制御情報を生成する（ステップＳ３２０９）。そして、処理部３０６６は、動作制御情報を参照して第３人型ロボット３０２０ｃを作動させる（ステップＳ３２１０）。これにより、第３人型ロボット３０２０ｃは、作業員４００の作業（所定動作）に対応するロボット動作を行うことが可能となる。

　他方、所定動作に関連するマニュアル動作情報がある場合（Ｓ３２０４－ＹＥＳ）、判定部３６６１は、所定動作の学習結果が作業マニュアル情報と相反するか判定する（ステップＳ３２０５、Ｓ３２０６）。判定部３６６１により所定動作の学習結果が作業マニュアル情報と相反すると判定される場合（Ｓ３２０６－ＹＥＳ）、作業員４００の動作が作業マニュアル情報に含まれる作業項目の内容に適さない動作となっていた可能性がある。そこで、所定動作の学習結果が作業マニュアル情報と相反すると判定される場合には、動作情報生成部３６６４は、所定動作の学習結果を、動作制御情報を生成する際に採用しない（ステップＳ３２０８）。この場合、動作情報生成部３６６４は、作業マニュアル情報を参照して（ステップＳ３２０７）動作制御情報を生成する（ステップＳ３２０９）。そして、処理部３０６６は、動作制御情報を参照して第３人型ロボット３０２０ｃを作動させる（ステップＳ３２１０）。これにより、作業員４００による不要ないしは不適切な所定動作が動作制御情報に反映されることを抑制し、適切な動作を第３人型ロボット３０２０ｃに行わせることが可能となる。

　図２３は、図２１のステップＳ３１０６で示される動作制御情報調整処理の、より詳細な処理を示すフローチャートの一例である。

　第２情報は記憶部に記憶される（ステップＳ３３０１）ところ、調整部３６６２は、第１情報と第２情報と比較し（ステップＳ３３０２）、ロボット動作が所定動作に近似するように動作制御情報を調整する（ステップＳ３３０３）。すなわち、第３人型ロボット３０２０ｃのロボット動作が作業員４００の所定動作と近似するよう調整される。

　（実施形態３に係るセンシングシステムの作用効果）
　本実施形態に係るセンシングシステム３１００によれば、作業員４００の所定動作をセンシングする第１センサにより取得される第１情報と、作業ロボットをセンシングする第２センサにより取得される第２情報とを比較して、作業ロボットのロボット動作が所定動作に近似するように動作制御情報が調整される。これにより、作業ロボットのロボット動作を確認しつつ、作業ロボットの動作を適切なものに調整することができる。

　一例として、作業員４００が同じ所定動作を繰り返し行うような作業の場合、まず作業員４００に１回目の所定動作をさせ、センシングシステム３１００は第１情報を取得する。そして、作業員４００が２回目の所定動作を行っている間に、センシングシステム３１００は、動作制御情報を生成して作業ロボットを作動させる。この最中にも作業員４００が２回目の所定動作を行っていることから、センシングシステム３１００は、２回目の所定動作による第１情報に基づいて動作制御情報を生成し、作業ロボットのロボット動作が作業員４００の所定動作に近似するように動作制御情報を調整する。これを繰り返すことで、センシングシステム３１００は作業ロボットのロボット動作が作業員４００の所定動作に近似するようにロボット動作を調整することが可能となる。

　また、本実施形態に係るセンシングシステム３１００によれば、管理制御装置３０６０は、第１情報の取得と、第２情報の取得を同時に行うことから、作業ロボットと作業員４００の所定動作を照合しながら、作業ロボットの動作をその場で調整することが可能なシステムを提供することができる。

　また、本実施形態に係るセンシングシステム３１００によれば、動作制御情報生成の際に、作業マニュアル情報が参照された上で、動作制御情報が生成される。作業員４００は、いつでも作業に忠実な動作をするとは限らず、場合によっては無駄な動作をしたり、あるいは必要な動作を省いたりすることもある。そこで、作業マニュアル情報を参照することで、適切な動作情報を動作制御情報に反映させることができ、作業ロボットをより適切に動作させるよう調整することを可能とする。

　さらに、本実施形態に係るセンシングシステム３１００によれば、作業マニュアル情報と相反する学習部３６６３による所定動作の学習結果を、動作制御情報を生成する際に採用しない。これにより、作業員４００による不要ないしは不適切な所定動作が動作制御情報に反映されることを抑制することができる。

　（実施形態３の変形例１）
　図２４Ａ、２４Ｂは、本実施形態の変形例１に係るセンシングシステムの一例を示す図である。

　図２４は、本開示に係る実施形態３の変形例１に係るセンシングシステムでの、システム構成の一例を示す図である。本センシングシステムでは、作業ロボットとして機能する人型ロボット３０２０'において、頭部センサ３０２３'（頭部撮像装置３０２４''）が第１センサとして機能すると共に、第２センサとして機能する胴体センサ３０２３''（胴体撮像装置３０２４''）が人型ロボット３０２０'に設けられている点が特徴となっている。また、本センシングシステムでは、管理制御装置３０６０は必ずしも必要ではなく、人型ロボット３０２０'単体でセンシングシステムを構成することができる。

　図２４Ｂは、図２４Ａに示す作業ロボットの一例を示す図である。作業ロボットとして機能する人型ロボット３０２０'は、胴体センサ３０２３''(胴体撮像装置３０２４''）を備える以外には、第１人型ロボット３０２０ａと同様の構成である。具体的には、人型ロボット３０２０'は、ロボット本体３０２１'と、ロボット移動機構３０２２'と、頭部センサ３０２３'と、頭部センサ３０２３'に含まれる頭部撮像装置３０２４'と、胴体センサ３０２３''と、胴体センサ３０２３''に含まれる胴体撮像装置３０２４''と、情報処理装置３０２５'と、ロボット腕部３０２６'と、を備える。

　ロボット本体３０２１'は、ロボット胴体３２１１'と、ロボット頭部３２１２'とを備える。ロボット胴体３２１１'とロボット頭部３２１２'とは、胴体／頭部駆動機構３０２１'（図２５参照）を構成し、頭部センサ３０２３'（頭部撮像装置３０２４'）のセンシング領域３２３０'（撮像領域３２４０'）及び胴体センサ３０２３''（胴体撮像装置３０２４''）のセンシング領域３２３０''（撮像領域３２４０''）を変更することが可能である。

　頭部センサ３０２３'（頭部撮像装置３０２４'）は第１センサとして機能し、胴体センサ３０２３''（胴体撮像装置３０２４''）は第２センサとして機能する。胴体センサ３０２３''（胴体撮像装置３０２４''）は、例えば、ロボット動作としてロボット腕部３０２６'の動作をセンシングする。頭部センサ３０２３'（頭部撮像装置３０２４'）と胴体センサ３０２３''（胴体撮像装置３０２４''）とは、高さ位置が異なる箇所に配置されることから、第２センサとして機能する胴体センサ３０２３''（胴体撮像装置３０２４''）は、頭部センサ３０２３'（頭部撮像装置３０２４'）と異なる位置からセンシング対象の所定動作をセンシングすることとなる。なお、頭部センサ３０２３'（頭部撮像装置３０２４'）と胴体センサ３０２３''（胴体撮像装置３０２４''）との役割は、逆であってもよい。

　図２５は、本センシングシステム３１００'での、作業ロボットの機能の一例を示すブロック図である。センシングシステム３１００'では、情報処理装置３０２５'は、情報処理部３０６６'と、通信インタフェース１２２２'と、記憶装置１２２４'とを備え、情報処理部３０６６'は、判定部３６６１'と、調整部３６６２'と、学習部３６６３'と、動作情報生成部３６６４'と、を備える。すなわち、センシングシステム３１００'では、情報処理部３０６６'が管理制御装置３０６０の処理部３０６６と同様の処理を行う。なお、情報処理装置３０２５'は、頭部センサ３０２３'（頭部撮像装置３０２４'）、胴体センサ３０２３''（頭部撮像装置３０２４''）、第１移動機構３０２２'、頭部／胴体駆動機構３０２１'及び腕部駆動機構３０２６'と通信可能に構成されている。

　センシングシステム３１００'の人型ロボット３０２０'は、情報処理装置３０２５'に情報処理部３０６６'が備えられていることから、人型ロボット３０２０'単体でセンシングシステムを構成する。

　図２４を参照して、例えば人型ロボット３０２０'の調整部３６６２'は、第１センサとして機能する頭部センサ３０２３'（頭部撮像装置３０２４'）が作業員４００の所定動作を、第２センサとして機能する胴体センサ３０２３''（胴体撮像装置３０２４''）が人型ロボット３０２０'の腕部３０２６'をそれぞれセンシングするよう指示する。そして、各センサで取得されるセンサ情報（第１情報及び第２情報）から、学習部３６６３'の学習を通じて動作制御情報が生成され、調整部３６６２'は、第１情報と第２情報とを比較し、人型ロボット３０２０'のロボット動作が作業員４００の所定動作に近似するように動作制御情報を調整する。

　（変形例１の作用効果）
　本センシングシステムによれば、人型ロボット３０２０'は単独でセンシングシステムを構成することができることから、例えば、管理制御装置３０６０との通信ができないような場所においても、作業ロボットのロボット動作を確認しつつ、ロボット動作を適切な動作に調整することが可能となる。

　また、本人型ロボット３０２０'は、複数（本変形例では２つ）のセンサ（撮像装置）を備えていることから、例えば、作業員４００をセンシングするには狭い場所においても、作業ロボットのロボット動作を確認しつつ、ロボット動作を適切な動作に調整することが可能となる。

　なお、本センシングシステムにおいて、作業ロボットとして機能する人型ロボットは、必ずしも１台である必要はなく、複数台であってもよい。この場合、人型ロボットの数が増えるだけ、作業を行う人型ロボットが増えることとなり、一度に多くの作業を同時並行的に処理することができる。

　（実施形態３の変形例２）
　図２６は、本実施形態の変形例２に係るセンシングシステムでの、システム構成の一例を示す図である。

　本センシングシステムでは、変形例１で説明した人型ロボット３０２０'と同一の機能を有する第１人型ロボット３０２０ａが、作業員４００及び作業ロボットとして機能する第３人型ロボット３０２０ｃをセンシングする点が特徴となっている。具体的には、第１人型ロボット３０２０ａの頭部センサ３０２３ａ１（頭部撮像装置３０２４ａ１）のセンシング領域３２３０ａ１（撮像領域３２４０ａ１）が第３人型ロボット３０２０ｃを、第１人型ロボット３０２０ａの胴体センサ３０２３ａ２（胴体撮像装置３０２４ａ２）のセンシング領域３２３０ａ２（撮像領域３２４０ａ２）が作業員４００を、それぞれ対象とするよう指示が与えられる。なお、本センシングシステムでも、第１人型ロボット３０２０ａと第３人型ロボット３０２０ｃとが通信可能に構成されていれば、管理制御装置３０６０は必ずしも必要ではない。また、頭部センサ３０２３ａ１（頭部撮像装置３０２４ａ１）と胴体センサ３０２３ａ２（胴体撮像装置３０２４ａ２）の各センシング領域は、上記と逆の構成であってもよい。

　本センシングシステムでは、第３人型ロボット３０２０ｃの全体をセンシングすることができるため、変形例１と比較すると、第３人型ロボット３０２０ｃのロボット動作をより確認しやすく、適切に制御しやすいという利点を有する。

　なお、変形例１も、第１人型ロボット３０２０ａを配置する空間がない場合には、変形例２よりもセンシングシステムを構成しやすいという利点を有する。また、第１人型ロボット３０２０ａと第３人型ロボット３０２０ｃとの通信構成を備える必要がなく、かつ人型ロボットを一体省略できる点でも、変形例２より利点を有する。

　（実施形態３の変形例３）
　図２７Ａ、２７Ｂは、本実施形態の変形例３に係るセンシングシステムの一例を示す図である。

　図２７Ａは、実施形態３の変形例３に係るセンシングシステムでの、システム構成の一例を示す図である。本センシングシステムでは、移動式ロボットとして機能する第１人型ロボット３０２０ａが、センサ取付部材３０３０を把持する点が特徴となっている。

　図２７Ｂは、図２７Ａに示すセンサ取付部材の一例を示す図である。センサ取付部材３０３０は、取付部材本体３０３１と、取付部材移動機構３０３２と、取付部材用センサ３０３３と、取付部材用撮像装置３０３４と、を備える。センサ取付部材３０３０は、取付部材本体３０３１の下方に設けられた取付部材移動機構３０３２により移動することが可能である。もっとも、取付部材移動機構３０３２は設けられなくてもよい。

　取付部材本体３０３１は、例えば棒状ないしは杖状の部材であり、その材料は特に限定されない。取付部材本体３０３１の長さは、人型ロボット３０２０の高さ（背丈）よりも長く、例えば２．１メートルである。取付部材本体３０３１には、その下方、好ましくは下端に取付部材移動機構３０３２、取付部材本体３０３１の上方、好ましくは上端に取付部材用センサ３０３３が設けられている。

　取付部材移動機構３０３２は、例えばキャスター等の回転体を設けた構成からなり、人型ロボット３０２０の移動に合わせて、センサ取付部材３０３０が移動することを補助する。なお、本実施形態においては、センサ取付部材３０３０は自律して移動することを想定していないが、取付部材移動機構３０３２に指示を与える取付部材制御部（不図示）を設け、取付部材制御部からの信号に基づき取付部材移動機構３０３２を動かす構成であってもよい。

　図２７Ａも参照して、第１センサとして機能する取付部材用センサ３０３３（取付部材用撮像装置３０３４）は、取付部材本体３０３１の上方に設けられ、作業員４００をセンシングする。取付部材用センサ３０３３の一例は、ロボット用センサ３０２３と同様であり、また取付部材用撮像装置３０３４の一例も、ロボット用撮像装置３０２４の一例と同様である。加えて、取得されるセンサ情報の一例もロボット用センサ３０２３と同様であり、センサ情報のセンシングタイミングの一例もロボット用センサ３０２３と同様である。

　取付部材用撮像装置３０３４は、取付部材用センサ３０３３に含まれる。また、取付部材用撮像装置３０３４を含む取付部材用センサ３０３３は、人型ロボット３０２０の高さ（背丈）よりも高い位置に配置されている。これにより、取付部材用センサ３０３３はロボット用センサ３０２３よりも高い位置から作業員４００の動作をセンシングすることができる。

　図２８は、実施形態３の変形例３に係るセンシングシステムでの、構成及び機能の一例を示す図である。センシングシステム３１００''において、センサ取付部材３０３０は、第１人型ロボット３０２０ａの第１情報処理装置と、無線又は有線を介して通信可能に構成される。もっとも、センサ取付部材３０３０は、第１情報処理装置の代わりに又は共に、管理制御装置３０６０の通信部３０６４と通信可能に構成されてもよい。なお、センシングシステム３１００''の第１人型ロボット３０２０ａ、作業ロボットとして機能する第３人型ロボット３０２０ｃ及び管理制御装置３０６０の構成は、センシングシステム３１００のそれらと同様である。

　図２７も参照して、第１人型ロボット３０２０ａは、腕部駆動機構を構成するロボット腕部の一部である右把持部（又は左把持部）により、センサ取付部材３０３０を把持する。センサ取付部材３０３０の取付部材用センサ３０３３（取付部材用撮像装置３０３４）は、腕部駆動機構によりそのセンシング領域３３３０（撮像領域３３４０）を変更することが可能である。

　センシングシステム３１００''では、例えば、管理制御装置３０６０の処理部は、第１センサとして機能する取付部材用センサ３０３３（取付部材用撮像装置３０３４）が作業員４００を、第２センサとして機能する第１ロボット用センサ３０２３ａ（第１ロボット用撮像装置３０２４ａ）が第３人型ロボット３０２０ｃをそれぞれセンシングするよう指示する。そして、各センサで取得されるセンサ情報（第１情報及び第２情報）から、管理制御装置３０６０の学習部の学習を通じて動作制御情報がそれぞれ生成され、管理制御装置３０６０の調整部は、第１情報と第２情報とを比較し、第３人型ロボット３０２０ｃのロボット動作が作業員４００の所定動作と近似するように動作制御情報を調整する。なお、取付部材用センサ３０３３（取付部材用撮像装置３０３４）と第１ロボット用センサ３０２３ａ（第１ロボット用撮像装置３０２４ａ）との役割（第１センサ及び第２センサとしての機能）は、逆であってもよい。すなわち、第１ロボット用センサ３０２３ａ（第１ロボット用撮像装置３０２４ａ）が作業員４００を、取付部材用センサ３０３３（取付部材用撮像装置３０３４）が第３人型ロボット３０２０ｃを、それぞれセンシングするよう指示する構成であってもよい。

　（変形例３の作用効果）
　本センシングシステムによれば、取付部材用センサ３０３３（取付部材用撮像装置３０３４）を第２センサとして構成していることから、例えば、作業員４００をセンシングする際に、移動式ロボットとして機能する人型ロボットを複数台設置するには狭い場所においても、作業ロボットの動作を確認しつつ、適切に制御することが可能となる。

　また、本センシングシステムによれば、センサ取付部材３０３０は、人型ロボット３０２０の高さ（背丈）よりも高い位置に取付部材用センサ３０３０（取付部材用撮像装置３０４０）が配置されている。そのため、作業員４００（あるいは作業ロボット）の動作を、より俯瞰的な位置からセンシングすることができ、例えば作業員４００や作業ロボットの背中によりセンシングしにくいといった事態を回避しやすく、作業員４００や作業ロボットの作業の学習に必要なデータを効率よく取得することができる。

　なお、本センシングシステムにおいても、移動式ロボットとして機能する人型ロボットは１台でなくてよく、センサ取付用部材も１つだけでなくてよい。例えば、２つのセンサ取付用部材を両保持部３２６５、３２６６により保持した人型ロボット３０２０を複数台備えていてもよい。この場合も、センサの数を増加させることができ、一度にセンサ情報を多く取得することが可能となる。また、作業ロボットとして機能する人型ロボットも、１台でなくてよい。

　本実施形態のセンシングシステム３１００では、センサと移動機構とを備える移動式ロボット（人型ロボット）は２台、作業ロボット（人型ロボット）は１台を用い、作業員４００一人及び作業ロボット１台に対してそれぞれ１台ずつ移動式ロボットが配置される構成を説明した。しかし、移動式ロボットと作業員４００及び作業ロボットとの関係はこれに限定されない。例えば、センサと移動機構とを備える移動式ロボットの台数が多ければ、それぞれ異なる位置、高さ及び／又は向きから作業員４００の所定動作及び作業ロボットのロボット動作をセンシングするよう複数のセンサを配置することが可能となる。これにより、作業員４００の所定動作及び作業ロボットのロボット動作の学習に必要な様々なデータを取得しやすくなると共に、作業員４００及び作業ロボットの各動作を全体的にカバーできるようにセンシングすることができる。

　また、本実施形態では、管理制御装置３０６０は、第１情報の取得と、第２情報の取得を同時に行うものとして説明した。しかし、管理制御装置３０６０は、第１情報の取得と、第２情報の取得を、別々に行うものであってもよい。言い換えると、作業員４００をセンシングして第１情報を取得する期間である第１センシング期間と、第３人型ロボット３０２０ｃのロボット動作をセンシングして第２情報を取得する期間である第２センシング期間とは、それら期間が重ならなくてもよい。これにより、作業ロボットを作業員４００と同時並行的に作動させなくてもよいこととなり、作業員４００の所定動作に応じた柔軟なロボット動作の調整を行うことが可能となる。

　本実施形態では、作業ロボットは、作業員４００と同じ作業場２００で、かつ作業員４００の近くで作動されるものとして説明した。しかし、作業ロボットは作業員の近くに配置されなくてもよいし、作業員と同じ作業場に配置されなくてもよい。

　（実施形態４）
　図２９Ａ、２９Ｂは、動作改変システムを説明するための図である。

　図２９Ａは、本開示に係る実施形態４の動作改変システムでの、システム構成の一例を示す図である。本動作改変システムでは、作業ロボットとして機能する第１人型ロボット４０２０ａ及び第２人型ロボット４０２０ｂと、移動式ロボットとして機能する第３人型ロボット４０２０ｃとを備える。なお、人型ロボットの数はこれに限定されない。

　各人型ロボット４０２０ａ～ｃは、後述する管理制御装置４０６０（図３１参照）からの指示を受け、又は各人型ロボット４０２０ａ～ｃに設けられた各情報処理装置からの指示により、作業場２００の作業ライン２０１で作業する作業員４００の付近に移動する。そして、本動作改変システムは、第３人型ロボット４０２０ｃに備えられた第３ロボット用センサ４０２３ｃ（第３ロボット用撮像装置４０２４ｃ）により、作業員４００の所定動作をセンシングする。所定動作は多岐にわたり、例えば部品の組付けや部品の移動、製品の塗装、作業員自身の移動等が挙げられる。なお、作業員４００のセンシングにあたっては、既知の画像認識技術を用いてもよいし、学習部４６６３（図３２参照）による学習によって作業員４００やその所定動作を認識してもよい。

　本動作改変システムは、第３ロボット用センサ４０２３ｃ（第３ロボット用撮像装置４０２４ｃ）を用いて取得した、作業員４００の所定動作に対応するセンシング情報に基づいて、作業員４００の所定動作に対応した標準動作モデルを学習する。標準動作モデルは、作業員４００の作業項目の内容、言い換えると作業項目において指定された各動作の集合を表すモデルである。そして、本動作改変システムは、標準動作モデルを参照して、標準動作モデルにおける各動作の実行時間を、標準動作モデル生成時の各動作の所要時間よりも短く設定した改変動作モデルを生成する。

　本動作改変システムは、管理制御装置４０６０からの指示、又は各人型ロボットに設けられた情報処理装置からの指示により、作業ロボットとして機能する第１人型ロボット４０２０ａ及び第２人型ロボット４０２０ｂを作動させる。この際、本動作改変システムは、改変動作モデルを参照する。

　本動作改変システムは、各動作の実行時間が短く設定された改変動作モデルを参照して第１人型ロボット４０２０ａ及び第２人型ロボット４０２０ｂを作動させることにより、各人型ロボットの作業効率を向上させることができる。一例として、作業場２００の１つの作業ライン２０１で、６名の作業員がいて、もともとは１時間当たり１００個の製品を完成させていた場合、当該ライン２０１に６台の人型ロボットを配置させたうえで、標準動作モデルの１０倍の速度で作動させる。言い換えると、本動作改変システムは、標準動作モデルにおける動作の１０分の１の実行時間で動作するよう設定された動作改変モデルを参照して各人型ロボットを作動させる。これにより、１時間当たり１０００個の製品を完成させることを可能とする。

　なお、本動作改変システムにおいて、作業用ロボットとして機能する第１人型ロボット４０２０ａ及び第２人型ロボット４０２０ｂは、それぞれに備えられた第１ロボット用センサ４０２３ａ（第１ロボット用撮像装置４０２４ａ）及び第２ロボット用センサ４０２３ｂ（第２ロボット用撮像装置４０２４ｂ）を用いて、各々のロボット動作をセンシングしてもよい。

　一例として、第１人型ロボット４０２０ａは、管理制御装置４０６０からの指示を受け、又は第１情報処理装置４０２５ａの指示により、第１ロボット用センサ４０２３ａ（第１ロボット用撮像装置４０２４ａ）のセンシング領域４２３０ａ（撮像領域４２４０ａ）が第１人型ロボット４０２０ａの第１把持部４２６５ａ、４２６６ａを対象とするよう、第１胴体／頭部駆動機構４０２１ａ（図３１参照）を作動させる。同様に、第２人型ロボット４０２０ｂも、第２ロボット用センサ４０２３ｂ（第２ロボット用撮像装置４０２４ｂ）のセンシング領域４２３０ｂ（撮像領域４２４０ｂ）が第２人型ロボット４０２０ｂの第２把持部４２６５ｂ、４２６６ｂを対象とするよう、第２胴体／頭部駆動機構を作動させる。これにより、各人型ロボットのロボット動作が、改変動作モデルを参照したロボット動作となっているか否かを確認することが可能となる。

　図２９Ｂは、図２９Ａに示す人型ロボットの一例を示す図である。作業ロボット及び移動式ロボットとして機能する人型ロボット４０２０は、ロボット本体４０２１と、ロボット移動機構４０２２と、ロボット用センサ４０２３と、ロボット用センサ４０２３に含まれるロボット用撮像装置４０２４と、情報処理装置４０２５と、ロボット腕部４０２６と、を備える。

　人型ロボット４０２０は、ロボット本体４０２１の下方に設けられたロボット移動機構４０２２により移動することが可能であり、例えば管理制御装置４０６０といった人型ロボット４０２０の外部から指示を受けて、あるいは情報処理装置４０２５に記憶されたプログラムを参照して、作業場２００の作業ライン２０１付近に移動する。

　ロボット本体４０２１は、ロボット胴体４２１１と、ロボット頭部４２１２とを備える。ロボット胴体４２１１とロボット頭部４２１２とは、胴体／頭部駆動機構を構成し、ロボット用センサ４０２３（ロボット用撮像装置４０２４）のセンシング領域４２３０（撮像領域４２４０）を変更することが可能である。駆動機構の構成は特に限定されず、例えば図示しないサーボモータにより、ロボット頭部４２１２がロボット胴体４２１１に対して所定角度回転したり、ロボット胴体４２１１がロボット移動機構４０２２に対して所定角度回転したりする構成であってもよい。

　ロボット胴体４２１１の下方にはロボット移動機構４０２２、ロボット胴体４２１１の側方にはロボット腕部４０２６、ロボット頭部４２１２にはロボット用センサ４０２３がそれぞれ設けられている。また、ロボット本体４０２１の内部には、情報処理装置４０２５が設けられている。

　ロボット移動機構４０２２は、任意の構成でよく、例えばモーターで駆動する回転体を設けたものでもよいし、脚部として人の脚に形状を似せた構成であってもよい。一例として、ロボット移動機構４０２２を人の脚の形状に似せた構成にする場合、人の関節に相当する箇所にサーボモータを設けて、所定角度回転させることで移動機構を構成する。

　ロボット用センサ４０２３は、好ましくはロボット頭部４２１２に設けられ、作業員４００、他の作業ロボット、あるいは人型ロボット４０２０のロボット動作、好ましくはロボット腕部４０２６のロボット動作、さらに好ましくは把持部４２５５、４２５６のロボット動作をセンシングする。また、ロボット用センサ４０２３は、人型ロボット４０２０の周辺にある、人型ロボット４０２０が作業する物体とロボット腕部４０２６との距離及び角度を少なくとも表す情報を逐次取得する。ロボット用センサ４０２３の一例としては、最高性能のカメラ、サーモカメラ、高画素・望遠・超広角・３６０度・高性能カメラ、レーダー、ソリッドステートＬｉＤＡＲ、ＬｉＤＡＲ、マルチカラーレーザ同軸変位計、ビジョン認識、又はその他様々なセンサ群が採用され得る。これらは、ロボット用撮像装置４０２４の一例でもある。また他には、ロボット用センサ４０２３の他の一例としては、振動計、硬度計、微小振動計、超音波測定器、振動測定器、赤外線測定器、紫外線測定器、電磁波測定器、温度計、湿度計、スポットＡＩ天気予報、高精度マルチチャネルＧＰＳ、低高度衛星情報、又はロングテールインシデントＡＩ　ｄａｔａ等が挙げられる。

　ロボット用センサ４０２３から取得するセンシング情報の一例としては、画像、距離、振動、熱、匂い、色、音、超音波、電波、紫外線、赤外線、湿度等が挙げられ、好ましくはロボット用撮像装置４０２４により、画像、距離の情報が取得される。ロボット用センサ４０２３（ロボット用撮像装置４０２４）は、これらのセンシングを、一例としてナノ秒毎に実施する。センシング情報は、例えば、作業員４００の動作のモーションキャプチャ、作業場２００の３Ｄマップ、作業場２００における作業員４００の移動や動作のナビゲーション、コーナリング、スピード等の分析に用いられる。

　ロボット腕部４０２６は、右腕部４２６１と左腕部４２６２とを備える。また、右腕部４２６１は、右把持支持部４２６３及び右把持部４２６５を、左腕部４２６２は、左把持支持部４２６４及び左把持部４２６６を、それぞれ備える。右把持支持部４２６３は右把持部４２６５を、左把持支持部４２６４は左把持部４２６６を、それぞれ支持するための機構であり、一例としては人の腕に形状を似せたものであってもよい。把持部４２６５、４２６６は、例えば作業用の部品等を把持するための機構であり、一例としては人の手の形状に似せたものであってもよい。

　ロボット腕部４０２６は、腕部駆動機構を構成する。駆動機構の構成は特に限定されず、例えば、ロボット腕部４０２６を人の形状に似せる場合、サーボモータを、人の肩に相当する箇所、肘に相当する箇所、手首に相当する箇所、指関節に相当する箇所等の各関節箇所に設け、所定角度回転させる構成を採用してもよい。

　なお、人型ロボット４０２０は、例えばロボット胴体部４２１１にセンサをさらに設けてもよい（図３５Ｂ参照）。この場合、当該センサは、ロボット頭部４２１２に設けられたロボット用センサ４０２３とは、その高さ位置が異なる。高さ位置が異なることで、センサは作業員４００の動作を異なる角度からセンシングすることができる。

　図３０は、本動作改変システムでの、標準動作モデルと動作改変モデルとの関係の一例を示す図である。

　標準動作モデルは、前述のとおり、作業項目において指定された各動作の集合を表すモデルであり、複数の動作を備える。一例として、作業項目で指定された動作が合計で２６個あり、各動作を、動作Ａ、動作Ｂ、動作Ｃ～動作Ｚとする。

　これに対し、動作改変モデルは、標準動作モデルにおける各動作の実行時間を、標準動作モデル生成時の各動作の所要時間よりも短く設定したモデルである。例えば、標準動作モデルにおける各動作の所要時間として、動作ＡにＴ_A秒、動作ＢにＴ_B秒掛かっていたとする。この場合、動作改変モデルでは、同じ動作Ａに対してＴ_A秒より短いｔ_A秒、動作Ｂに対してＴ_B秒より短いｔ_B秒を実行時間として設定する。動作Ｃから動作Ｚについても同様である。これにより、動作改変モデルを用いて作業ロボットを実行した場合の実行時間は、標準動作モデルを用いて作業ロボットを実行した場合よりも短くすることができる。

　なお、動作改変モデルでは、少なくとも一つの動作につき、その動作の実行時間を標準動作モデルにおける動作の所要時間未満にすればよく、標準動作モデルに含まれる全ての各動作につき、その実行時間を標準動作モデルにおける動作の所要時間未満としなくてもよい。言い換えると、少なくとも一つの動作につき、その動作の実行時間を標準動作モデルにおける動作の所要時間未満にすれば、標準動作モデルにおける各動作の実行時間を、標準動作モデル生成時の各動作の所要時間よりも短く設定したこととなる。

　図３１は、本実施形態の動作改変システム４１００での、構成及び機能の一例を示すブロック図である。

　動作改変システム４１００は、第１人型ロボット４０２０ａと、第２人型ロボット４０２０ｂと、第３人型ロボット４０２０ｃと、管理制御装置４０６０と、を含んで構成されている。第１人型ロボット４０２０ａ、第２人型ロボット４０２０ｂ及び第３人型ロボット４０２０ｃは、管理制御装置４０６０の通信部４０６４と、各々無線又は有線通信を介して接続され、管理制御装置４０６０からの指示を受けると共に、各センサにより取得される情報を送信する。なお、各人型ロボット４０２０ａ～ｃ同士も、無線又は有線通信を介して接続され、各センサにより取得される情報や指示を送受信してもよい。

　作業ロボットとして機能する第１人型ロボット４０２０ａは、第１胴体／頭部駆動機構４０２１ａと、第１ロボット移動機構４０２２ａと、第１ロボット用センサ４０２３ａと、第１ロボット用センサ４０２３ａに含まれる第１ロボット用撮像装置４０２４ａと、第１情報処理装置４０２５ａと、第１腕部駆動機構４０２６ａと、を備える。本実施形態では、作業ロボットとして機能する第２人型ロボット４０２０ｂ及び移動式ロボットとして機能する第３人型ロボット４０２０ｃも、その構成は第１人型ロボット４０２０ａと同一である。

　本実施形態による第１情報処理装置４０２５ａは、ＣＰＵ（Central Processing Unit）１２１２、ＲＡＭ（Random Access Memory）１２１４、及びグラフィックコントローラ１２１６を含み、それらはホストコントローラ１２１０によって相互に接続されている。第１情報処理装置２５ａはまた、通信インタフェース１２２２、記憶装置１２２４、ＤＶＤドライブ、及びＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。ＤＶＤドライブは、ＤＶＤ－ＲＯＭドライブ及びＤＶＤ－ＲＡＭドライブ等であってよい。記憶装置１２２４は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。第１情報処理装置４０２５ａはまた、ＲＯＭ（Read Only Memory）１２３０及びキーボードのような入出力ユニットを含み、それらは入出力チップ１２４０を介して入出力コントローラ１２２０に接続されている。

　通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。記憶装置１２２４は、第１情報処理装置４０２５ａ内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納する。また、記憶装置１２２４は、センシング情報を記憶してもよい。ＤＶＤドライブは、プログラム又はデータをＤＶＤ－ＲＯＭ等から読み取り、記憶装置１２２４に提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。

　ＲＯＭ１２３０はその中に、アクティブ化時に第１情報処理装置４０２５ａによって実行されるブートプログラム等、及び／又は第１情報処理装置４０２５ａのハードウェアに依存するプログラムを格納する。入出力チップ１２４０はまた、様々な入出力ユニットをＵＳＢポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ１２２０に接続してよい。

　プログラムは、ＤＶＤ－ＲＯＭ又はＩＣカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置１２２４、ＲＡＭ１２１４、又はＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、第１情報処理装置４０２５ａに読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、第１情報処理装置４０２５ａの使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。

　例えば、通信が第１情報処理装置４０２５ａ及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、記憶装置１２２４、ＤＶＤ－ＲＯＭ、又はＩＣカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。

　上で説明したプログラム又はソフトウエアモジュールは、第１情報処理装置４０２５ａ上又は第１情報処理装置４０２５ａ近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介して第１情報処理装置４０２５ａに提供する。

　ここまで説明してきた内容は、第２人型ロボット４０２０ｂ及び第３人型ロボット４０２０ｃのそれぞれに備えられた各情報処理装置についても同様である。

　管理制御装置４０６０は、動作改変システム４１００を実現するため、各人型ロボット４０２０ａ～ｃに対して指示を与える制御装置である。また、管理制御装置４０６０は、各情報処理装置の記憶装置に蓄積されたセンシング情報を取得する。

　管理制御装置４０６０は、ＣＰＵ４０６０Ａ、ＲＡＭ４０６０Ｂ、ＲＯＭ４０６０Ｃ、入出力部（Ｉ／Ｏ）４０６０Ｄ、及びこれらを接続するデータバスやコントロールバス等のバス４０６０Ｅ、並びに通信部４０６８で構成されている。Ｉ／Ｏ４０６０Ｄには、記憶媒体４０６２が接続されている。

　また、Ｉ／Ｏ４０６０Ｄには、人型ロボット４０２０の制御系との間でセンシング情報や作業マニュアル情報、工程表情報等を送受信する通信部４０６４が接続されている。作業マニュアル情報には、例えば各作業項目の名称及び内容、作業項目の順序、各作業項目に要する標準的な作業時間の情報等が含まれる。また、工程表情報には、例えば作業全体の作業時間や開始時刻／終了時刻を示す情報、各作業項目の作業時間や開始時刻／終了時刻を示す情報、各作業項目の作業員を示す情報等が含まれる。

　図３２は、本実施形態の動作改変システムでの、管理制御装置４０６０の機能の一例を示すブロック図である。

　管理制御装置４０６０は、記憶媒体４０６２と、通信部４０６４と、処理部４０６６とを備える。

　記憶媒体４０６２は、例えば、半導体記憶装置、磁気テープ装置、磁気ディスク装置、又は光ディスク装置のうちの少なくとも一つを備える。記憶媒体４０６２は、処理部４０６６での処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。例えば、記憶媒体４０６２は、センシング情報を記憶する。また、記憶媒体４０６２は、作業員４００の作業マニュアル情報及び／又は工程表情報を記憶する。

　通信部４０６４は、Ｗｉ－Ｆｉ（登録商標）等の無線の通信インタフェース回路及び／又はイーサネット（登録商標）等の有線の通信インタフェース回路を有する。通信部４０６４は、人型ロボット４０２０ａ、４０２０ｂと、インタフェース回路を通じて各種情報を送受信する。

　処理部４０６６は、一又は複数個のプロセッサ及びその周辺回路を有する。処理部４０６６は、動作改変システム４１００の全体的な動作を統括的に制御するものであり、例えば、ＣＰＵである。処理部４０６６は、記憶媒体４０６２に記憶されているプログラム（ドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム等）を参照して処理を実行する。また、処理部４０６６は、複数のプログラム（アプリケーションプログラム等）を並列に実行することができる。

　処理部４０６６は、判定部４６６１と、制御部４６６２と、学習部４６６３と、モデル生成部４６６４と、を備える。これらの各部は、処理部４０６６が備えるプロセッサで実行されるプログラムにより実現される機能モジュールである。あるいは、これらの各部は、ファームウェアとして処理部４０６６に実装されてもよい。

　判定部４６６１は、センシング対象が複数あり、かつセンシングするセンサが複数ある場合に、複数のセンサがそれぞれ異なるセンシング対象をセンシングしているか否かを判定する。当該判定にあたっては、既知の画像認識技術を用いてもよいし、学習部４６６３による学習を参照する方法であってもよい。

　制御部４６６２は、モデル生成部４６６４により生成された改変動作モデルを参照して、作業ロボットとして機能する第１人型ロボット４０２０ａ及び／又は第２人型ロボット４０２０ｂを作動させる。好ましくは、制御部４６６２は、改変動作モデルを参照して、各人型ロボットのロボット移動機構、胴体／頭部駆動機構及び／又は腕部駆動機構を作動させる。

　学習部４６６３は、第３ロボット用センサ４０２３ｃ（第３ロボット用撮像装置４０２４ｃ）を用いて取得した、作業員４００の所定動作に対応するセンシング情報に基づいて、作業員４００の所定動作に対応した標準動作モデルを学習する。この学習は、例えば、学習済みモデルを自動的に作成したり、学習済みモデルを使用して判定／解析を自動的に行ったりする学習である自動学習により行われる。なお、学習部４６６３は、標準動作モデルを生成する際、作業マニュアル情報及び／又は工程表情報を参照してもよい。これにより、作業員４００の所定動作に不適切なものがあっても、その所定動作は反映させず、適切な動作（作業）を各人型ロボット４０２０に行わせることが可能となる。

　モデル生成部４６６４は、標準動作モデルを参照して、標準動作モデルにおける各動作の実行時間を、標準動作モデル生成時の各動作の所要時間よりも短く設定した改変動作モデルを生成する。

　（本開示に係る実施形態４の動作改変システムの処理）
　図３３は、本実施形態の動作改変システムの処理を示すフローチャートの一例である。

　まず、管理制御装置４０６０の指示により、あるいは記憶媒体４０６２又は第３人型ロボット４０２０ｃの第３情報処理装置の記憶装置に記憶されたプログラムの読み出し指示により、第３人型ロボット４０２０ｃの第３情報処理装置は、移動式ロボットとして機能する第３人型ロボット４０２０ｃを作業場２００に移動するよう指示する（ステップＳ４１０１）。移動は、人型ロボット４０２０ｃの第３ロボット移動機構の作動による。なお、作業ロボットとして機能する人型ロボット４０２０ａ、４０２０ｂについても、この際に移動指示を与えてもよい。

　移動に際しては、第３人型ロボット４０２０ｃの第３ロボット用センサ４０２３ｃ（第３ロボット用撮像装置４０２４ｃ）のセンシング領域４２３０ｃ（撮像領域４２４０ｃ）が作業員４００を対象とするよう、指示が与えられる。このような第３人型ロボット４０２０ｃの配置は、例えば予め作業場２００のフロア図面を第３人型ロボット４０２０ｃの記憶装置及び／又は記憶媒体４０６２に記憶させ、第３人型ロボット４０２０ｃの位置を、当該記憶されたフロア図面に対応付けることにより行われる。あるいは、第３人型ロボット４０２０ｃの配置は、機械学習を通じて最適化された位置に基づいてもよい。同様のことは、第１人型ロボット４０２０ａ及び第２人型ロボット４０２０ｂの配置についても当てはまる。

　次に、第３ロボット用センサ４０２３ｃ（第３ロボット用撮像装置４０２４ｃ）により、作業員４００の作業ライン２０１での所定動作がセンシングされる（ステップＳ４１０２）。本実施形態では、制御部４６６２は、第３ロボット用センサ４０２３ｃ（第３ロボット用撮像装置４０２４ｃ）のセンシング領域４２３０ｃ（撮像領域４２４０ｃ）が作業員４００を対象とするよう指示を与え、第３人型ロボット４０２０ｃの第３ロボット移動機構や各駆動機構が作動する。

　第３ロボット用センサ４０２３ｃ（第３ロボット用撮像装置４０２４ｃ）により取得されるセンシング情報は、第３人型ロボット４０２０ｃの記憶装置及び／又は通信部４０６４を介して記憶媒体４０６２に記憶される。各人型ロボットの記憶装置及び記憶媒体４０６２は、記憶部として機能する。

　管理制御装置４０６０は、記憶部に蓄積された、言い換えると記憶されたセンシング情報に基づいて作業員４００の所定動作に対応した標準動作モデルを学習し、標準動作モデルを参照して、標準動作モデルにおける各動作の実行時間を、標準動作モデル生成時の各動作の所要時間よりも短く設定した改変動作モデルを生成する（ステップＳ４１０３）。一例として、標準動作モデルにおける動作の一つの所要時間が１０秒であった場合、改変動作モデルでは、当該動作の実行時間が５秒として設定される。

　制御部４６６２は、生成された改変動作モデルを参照して、作業ロボットとして機能する第１人型ロボット４０２０ａ及び第２人型ロボット４０２０ｂを作動させる（ステップＳ４１０４）。生成された改変動作モデルを参照することにより、第１人型ロボット４０２０ａ及び第２人型ロボット４０２０ｂは、作業員４００の作業（所定動作）を、その所定動作より早く行うことが可能となる。例えば、先に示した一例によれば、改変動作モデルでは、標準動作モデルにおける動作の半分の実行時間で動作するよう設定されているので、各人型ロボット４０２０は作業員４００の所定動作の２倍速で作業を行うことができる。

　図３４は、図３３のステップＳ４１０３で示される改変動作モデル処理の、より詳細な処理を示すフローチャートの一例である。

　センシング情報は記憶部に記憶されるところ（ステップＳ４２０１）、学習部４６６３は、第３ロボット用センサ４０２３ｃ（第３撮像装置４０２４ｃ）を用いて取得した作業員４００の所定動作に対応するセンシング情報に基づいて、作業員４００の所定動作に対応した標準動作モデルを学習する（ステップＳ４２０２）。

　学習部４６６３は、学習結果に基づき標準動作モデルを生成する（ステップＳ４２０３）。なお、学習部４６６３は、標準動作モデル生成の際に、作業員４００の作業マニュアル情報及び／又は工程表情報を参照してもよい。

　モデル生成部４６６４は、標準動作モデルを参照して、改変動作モデルを生成する（ステップＳ４２０４）。改変動作モデルは、標準動作モデルにおける各動作の実行時間を、標準動作モデル生成時の各動作の所要時間よりも短く設定したモデルであることから、改変動作モデルを参照して作動される各人型ロボット４０２０ａ、４０２０ｂのロボット動作は、標準動作モデルを参照して作動される同ロボットのロボット動作よりも早い動作となる。

　（実施形態４に係る動作改変システムの作用効果）
　本実施形態に係る動作改変システム４１００によれば、標準動作モデル生成時の各動作の所要時間よりも短く設定した改変動作モデルを参照して作業ロボットを作動させることができるため、作業ロボットに効率的に作業させることを可能とする。

　また、本実施形態に係る動作改変システム４１００によれば、標準動作モデル生成の際に、作業マニュアル情報及び／又は工程表情報が参照された上で、標準動作モデルが生成される。作業員４００は、いつでも作業に忠実な動作をするとは限らず、場合によっては無駄な動作をしたり、あるいは必要な動作を省いたりすることもある。そこで、作業マニュアル情報と工程表情報とを参照することで、作業員４００による不要ないしは不適切な所定動作が標準動作モデルに反映されることを抑制することができる。

　（実施形態４の変形例１）
　図３５Ａ、３５Ｂは、本実施形態の変形例１に係る動作改変システムの一例を示す図である。

　図３５Ａは、本開示に係る実施形態４の変形例１に係る動作改変システムでの、システム構成の一例を示す図である。本動作改変システムでは、複数のセンシング対象（作業員４００ａ、４００ｂ）の各所定動作をセンシングし、学習する点が特徴の一つとなっている。また、移動式ロボット兼作業ロボットとして機能する人型ロボット４０２０'に、胴体センサ４０２３''（胴体撮像装置４０２４''）が設けられている点も特徴となっている。加えて、本動作改変システムでは、管理制御装置４０６０は必ずしも必要ではなく、人型ロボット４０２０'単体で動作改変システムを構成することができる。

　図３５Ｂは、図３５Ａに示す人型ロボットの一例を示す図である。移動式兼作業ロボットとして機能する人型ロボット４０２０'は、ロボット本体４０２１'と、ロボット移動機構４０２２'と、頭部センサ４０２３'と、頭部センサ４０２３'に含まれる頭部撮像装置４０２４'と、胴体センサ４０２３''と、胴体センサ４０２３''に含まれる胴体撮像装置４０２４''と、情報処理装置４０２５'と、ロボット腕部４０２６'と、を備える。

　ロボット本体４０２１'は、ロボット胴体４２１１'と、ロボット頭部４２１２'とを備える。ロボット胴体４２１１'とロボット頭部４２１２'とは、胴体／頭部駆動機構４０２１'（図３６参照）を構成し、頭部センサ４０２３'（頭部撮像装置４０２４'）のセンシング領域４２３０'（撮像領域４２４０'）及び胴体センサ４０２３''（胴体撮像装置４０２４''）のセンシング領域４２３０''（撮像領域４２４０''）を変更することが可能である。

　頭部センサ４０２３'（頭部撮像装置４０２４'）と胴体センサ４０２３''（胴体撮像装置４０２４''）とは、高さ位置が異なる箇所に配置されることから、胴体センサ４０２３''（胴体撮像装置４０２４''）は、頭部センサ４０２３'（頭部撮像装置４０２４'）と異なる位置から各センシング対象（作業員４００ａ、４００ｂ）の所定動作をセンシングすることとなる。

　図３６は、本動作改変システムでの、人型ロボットの機能の一例を示すブロック図である。動作改変システム４１００'では、情報処理装置４０２５'は、情報処理部４０６６'と、通信インタフェース１２２２'と、記憶装置１２２４'とを備え、情報処理部４０６６'は、判定部４６６１'と、制御部４６６２'と、学習部４６６３'と、モデル生成部４６６４'と、を備える。すなわち、動作改変システム４１００'では、情報処理部４０６６'が管理制御装置４０６０の処理部４０６６と同様の処理を行う。なお、情報処理装置４０２５'は、頭部センサ４０２３'（頭部撮像装置４０２４'）、胴体センサ４０２３''（頭部撮像装置４０２４''）、胴体／頭部駆動機構４０２１'、ロボット移動機構４０２２'、及び腕部駆動機構４０２６'と通信可能に構成されている。

　動作改変システム４１００'の人型ロボット４０２０'は、情報処理装置４０２５'に情報処理部４０６６'が備えられていることから、人型ロボット４０２０'単体で動作改変システムを構成する。

　図３５Ａを参照して、例えば人型ロボット４０２０'の制御部４６６２'は、胴体センサ４０２３''（胴体撮像装置４０２４''）が作業員４００ａを、頭部センサ４０２３'（頭部撮像装置４０２４'）が作業員４００ｂを、それぞれセンシングするよう指示する。言い換えると、本動作改変システム４１００'では、複数の異なるセンシング対象をそれぞれセンシングするための複数のセンサを備え、複数のセンサを用いて取得した複数の作業員の所定動作に対応する複数のセンシング情報を取得することとなる。なお、頭部センサ４０２３'（頭部撮像装置４０２４'）と胴体センサ４０２３''（胴体撮像装置４０２４''）との役割は、逆であってもよい。また、各センサがセンシングする際、判定部４６６１'は、各センサがそれぞれ異なる対象をセンシングしているか否かを判定してもよい。

　図３７は、開示に係る実施形態４の変形例１に係る動作改変システムでの、改変動作モデル生成処理の、より詳細な処理を示すフローチャートの一例である。

　本動作改変システムでは、実施形態４と比較して、Ｓ４１０２にて、複数のセンサにより、複数作業員の所定動作のセンシングが行われる点で違いがある。また、本動作改変システムでは、Ｓ４１０３の代わりとなるステップＳ４１０３'を備える。

　ステップＳ４１０３'において、まず、頭部センサ４０２３'（頭部撮像装置４０２４'）及び胴体センサ４０２３''（胴体撮像装置４０２４''）でそれぞれ取得される各センシング情報は、記憶部（記憶装置１２２４'）に記憶される（ステップＳ４２０１'）。学習部４６６３'は、複数（本変形例では２つ）のセンシング情報に基づき、複数の作業員（本変形例では２人）の各所定動作を学習する（ステップＳ４２０２'）。

　また、学習部４６６３'は、複数のセンシング情報に基づき、複数の作業員の各所定動作に対応した複数（本変形例では２つ）の標準動作モデルを学習する（ステップＳ４２０３'）。例えば、作業員４００ａの作業が動作Ａ～Ｍからなる動作であった一方、作業員４００ｂの作業が動作Ｎ～Ｚからなる動作であった場合、標準動作モデルは、動作Ａ～Ｍからなる第１標準動作モデル及び動作Ｎ～Ｚからなる第２標準動作モデルとなる。なお、標準動作モデルを生成する際、学習部４６６３'は作業マニュアル情報及び／又は工程表情報を参照してもよい。

　モデル生成部４６６４'は、複数の作業員による所定動作の少なくとも一部を統合した改変動作モデルを生成する（ステップＳ４２０４'）。

　図３８は、本開示に係る実施形態４の変形例１に係る動作改変システムでの、標準動作モデルと動作改変モデルとの関係の一例を示す図である。

　例えば、動作Ａ～Ｍからなる第１標準動作モデルにおいて、動作Ｍが、ある部品を渡すための移動の動作であったとする。同様に、動作Ｎ～Ｚからなる第２標準動作モデルにおいて、動作Ｎが、当該部品を受け取るための移動の動作であったとする。この場合、動作Ｍ及び動作Ｎは一体の作業ロボットで行う場合には不要となる。そこで、モデル生成部４６６４'は、第１標準動作モデルにおけるその一部の動作である動作Ａ～Ｌと、第２標準動作モデルにおけるその一部の動作である動作Ｏ～Ｚを統合し、動作Ａ～Ｌ及び動作Ｏ～Ｚからなる改変動作モデルを生成する。これにより、本動作改変システム４１００では、生成された改変動作モデルを参照して、作業ロボットとしても機能する人型ロボット４０２０'を作動させる際に、複数の作業員が行っていた所定動作を、必要に応じて不要な動作を省略したうえで、１台の人型ロボット４０２０'に行わせることが可能となる。その結果、作業ロボットに効率的に作業させることができる。

　本動作改変システムの一例として、作業場２００の一つのライン２０１に、当初は６名の作業員により１時間当たり１００個の製品を完成させていた場合、ライン２０１に３台の人型ロボット４０２０'を配置することで、１時間当たり１００個の製品を完成させるといったことが可能となる。特に、前述にもあるように、複数の作業員がそれぞれ異なる作業を行っていた場合、人型ロボット４０２０'は、それら作業を、まとめて、かつ必要に応じて不要な動作を省略した上で、行うことができる。

　なお、モデル生成部４６６４'は、当該改変動作モデルにつき、各動作の実行時間を、当該改変動作モデル生成時の各動作の所要時間よりも短く設定した第２改変動作モデルを生成してもよい。この場合、先に示した一例であれば、改変動作モデルにおいて、当該改変動作モデル生成時における動作の半分の実行時間で動作するよう設定した第２改変動作モデルを参照して人型ロボット４０２０'を作動させることで、１時間あたり２００個の製品を完成させることが可能となる。

　（変形例１の作用効果）
　本動作改変システムによれば、人型ロボット４０２０'は単独で動作改変システムを構成することができることから、例えば、管理制御装置４０６０との通信ができないような場所においても、作業員の作業が学習された学習モデルを用いて作業する作業ロボットにおいて、作業ロボットが効率的に作業できるようになる。

　また、本人型ロボット４０２０'は、複数（本変形例では２つ）のセンサ（撮像装置）を備えていることから、例えば、複数の作業員をセンシングするには狭い場所においても、作業員の作業学習を行うことが可能となる。

　また、本動作改変システムによれば、複数の作業員の各所定動作に対応した複数の標準動作モデルを学習し、標準動作モデルを参照して、複数の作業員による所定動作の少なくとも一部を統合した改変動作モデルを生成することから、複数作業員の作業（所定動作）を、当該作業員よりも少ない数の作業ロボットで代替することが可能となり、作業効率を上げることができる。加えて、当該改変動作モデルにおいて、各動作の実行時間を、当該改変動作モデル生成時の各動作の所要時間よりも短く設定した第２改変モデルを生成し、第２改変モデルを参照して作業ロボットを作動させることで、より効率的に作業ロボットに作業させることが可能となる。

　なお、本動作改変システムにおいて、移動式ロボット兼作業ロボットとして機能する人型ロボットは、一例で示したとおり１台である必要はなく、複数台であってもよい。この場合、人型ロボットの数が増えるだけ、センサの数は人型ロボットの倍数分増えることとなり、一度にセンシング情報を多く取得することができると共に、作業ロボットの数も増加することから、例えば同一の作業を各作業ロボットに行わせる場合において、作業効率を上げることも可能となる。

　本実施形態の動作改変システム４１００では、作業員４００をセンシングする移動式ロボット（人型ロボット）は１台として説明した。しかし、移動式ロボットの数はこれ以上であってもよい。例えば、センサと移動機構とを備える移動式ロボットの台数が多ければ、それぞれ異なる位置、高さ及び／又は向きから作業員４００の所定動作をセンシングするよう複数のセンサを配置することが可能となる。これにより、作業員４００の所定動作の学習に必要な様々なデータを取得しやすくなると共に、作業員４００の各所定動作を全体的にカバーできるようにセンシングすることができる。

　また、本実施形態では、作業員４００のセンシング（Ｓ４１０２）後に標準動作モデルが生成される（Ｓ４１０３）ものとして説明した。もっとも、センシングから標準動作モデル生成までは、必ずしも時間として連続的に実行される必要はない。例えば、Ｓ４１０２にてセンシングが行われる際にセンシング情報が記憶される（Ｓ４２０１）ところ、センシング情報を参照した学習（Ｓ４２０２）は、センシングから所定時間（２４時間後や一週間後等）空いた後に実施されてもよい。同様のことは、各Ｓ４１０１～Ｓ４１０５の各ステップ間についても当てはまる。また、前記例とは逆に、Ｓ４１０３～Ｓ４１０５は、Ｓ４１０２が行われている最中に実行されてもよい。この場合、作業員４００が所定動作をしている最中から、改変動作モデルを参照して作業ロボットが作動されることから、作業効率をより向上させることができる。

　また、本実施形態では、標準動作モデルにおける動作の半分の実行時間や１０分の１の実行時間で動作するよう設定された改変動作モデルの例を説明した。しかし、本動作改変システムは、標準動作モデルにおける各動作の実行時間を、標準動作モデル生成時の各動作の所要時間よりも短く設定したものであれば特に限定されない。

　（実施形態５）
　図３９Ａ、３９Ｂは、作業再現システムを説明するための図である。

　本作業再現システムでは、事故や誤動作の発生等の異常事態が発生した場合に、作業員４００に異常事態発生時の動作を行わせ、第２ロボット用センサ５０２３ｂ（第２ロボット用撮像装置５０２４ｂ）により作業員４００の所定動作をセンシングする。また、本作業再現システムは、作業員４００の所定動作に対応する第１センシング情報に基づいて、作業員４００の所定動作に対応した標準動作モデルを学習する。標準動作モデルは、作業員４００の所定動作に対応する動作であって、所定の作業項目において、あるべき動作として指定された動作を表すモデルである。その後、本作業再現システムは、標準動作モデルを参照して、作業再現ロボットである第１人型ロボット５０２０ａに再現動作を１回以上行わせる。本作業再現システムは、事故又は誤動作情報を入力し、センサを用いて取得した第１人型ロボット５０２０ａの再現動作に対応する第２センシング情報に基づいて、事故又は誤動作の発生を検知する。これにより、作業員４００の動作の問題点や、作業員４００の作業に用いられる標準動作の欠点を解析することが可能となる。

　図３９Ａは、作業員に動作を再現させた際のセンシングの一例を示す図である。

　本作業再現システムでは、作業再現ロボットとして機能する第１人型ロボット５０２０ａ及び移動式ロボットとして機能する第２人型ロボット５０２０ｂを備える。なお、人型ロボットの数は２台に限定されない。

　作業再現システムは、第２人型ロボット５０２０ｂに備えられた第２ロボット用センサ５０２３ｂ（第２ロボット用撮像装置５０２４ｂ）により、作業員４００の動作をセンシングする。作業員４００の動作としては、一例として、作業員４００が作業ライン２０１でプリント基板３００の組み立てをする際に、本来の配置箇所３１０とは異なる場所に部品３２０を配置した場合の動作が挙げられる。なお、センサによる作業員４００の動作の認識については、既知の画像認識技術を用いてもよいし、学習部５６６３（図４２参照）による学習により作業員４００の動作を認識してもよい。同様のことは、後述する作業再現ロボットの再現動作についても当てはまる。

　第２人型ロボット５０２０ｂは、作業員４００の動作を、第２ロボット用センサ５０２３ｂ（第２ロボット用撮像装置５０２４ｂ）を用いてセンシングする。第２ロボット用センサ５０２３ｂ（第２ロボット用撮像装置５０２４ｂ）により取得された第１センシング情報は、管理制御装置５０６０の記憶媒体５０６２（図４１参照）又は第２人型ロボット５０２０ｂの記憶装置に記憶される。管理制御装置５０６０は、作業員４００の所定動作に対応する第１センシング情報に基づいて、作業員４００の所定動作に対応した標準動作モデルを学習する。標準動作モデルは、管理制御装置５０６０の記憶媒体５０６２、並びに／又は第１人型ロボット５０２０ａの第１情報処理装置５０２５ａの記憶装置１２２４（図４１参照）及び／若しくは第２人型ロボット５０２０ｂの第２情報処理装置の記憶装置に記憶される。なお、所定動作は、異常事態発生前後の各種動作を含み、例えば、物をつかむ動作や部品の組み立て動作、工具を扱う際の動作といったものが含まれる。

　図３９Ｂは、作業再現ロボットに動作を再現させた際のセンシングの一例を示す図である。管理制御装置５０６０は、記憶された標準動作モデルを参照して、第１人型ロボット５０２０ａを作動させる動作指示を生成する。動作指示は、標準動作モデルを参照して生成された指示であって、作業再現ロボット（本実施形態では第１人型ロボット５０２０ａ）を作動させる指示である。そして、管理制御装置５０６０は、例えば、第１人型ロボット５０２０ａが異常事態発生時の現場が再現された再現現場に配置されたときに、動作指示を参照して第１人型ロボット５０２０ａを作動させる。

　管理制御装置５０６０は、標準動作モデルを参照して第１人型ロボット５０２０ａに再現動作を少なくとも１回以上、好ましくは複数回行わせる。例えば、通常のライン作業においては、作業工程が明確に定められており、事故や誤動作が発生することは少ない。そのため、異常事態が発生した際に、第１人型ロボット５０２０ａに再現動作を１回行わせただけでは、事故や誤動作の発生を検知できない可能性がある。そこで、第１人型ロボット５０２０ａに再現動作を複数回行わせることで、事故や誤動作の発生をより検知しやすくなる。

　管理制御装置５０６０は、事故又は誤動作情報を入力し、第２ロボット用センサ５０２３ｂ（第２ロボット用撮像装置５０２４ｂ）を用いて取得した第１人型ロボット５０２０ａの再現動作に対応する第２センシング情報に基づいて、事故又は誤動作の発生を検知する。なお、事故情報は、例えば何時に何処で誰がどのような行為をしたといった、事故に関する情報である。また、誤動作情報は、異常事態発生時の関係者の動作として誤りがあった場合における、その誤動作を示す情報である。

　図４０は、本作業再現システムでの、人型ロボットの一例を示す図である。作業再現ロボット及び移動式ロボットとして機能する人型ロボット５０２０は、ロボット本体５０２１と、ロボット移動機構５０２２と、ロボット用センサ５０２３と、ロボット用センサ５０２３に含まれ得るロボット用撮像装置５０２４と、情報処理装置５０２５と、ロボット腕部５０２６と、を備える。

　人型ロボット５０２０は、ロボット本体５０２１の下方に設けられたロボット移動機構５０２２により移動することが可能であり、例えば管理制御装置５０６０といった人型ロボット５０２０の外部から指示を受けて、あるいは情報処理装置５０２５に記憶されたプログラムを参照して、例えば作業場２００に移動する。

　ロボット本体５０２１は、ロボット胴体５２１１と、ロボット頭部５２１２とを備える。ロボット胴体５２１１とロボット頭部５２１２とは、胴体／頭部駆動機構を構成し、ロボット用センサ５０２３（ロボット用撮像装置５０２４）のセンシング領域５２３０（撮像領域５２４０）を変更することが可能である。駆動機構の構成は特に限定されず、例えば図示しないサーボモータにより、ロボット頭部５２１２がロボット胴体５２１１に対して所定角度回転したり、ロボット胴体５２１１がロボット移動機構５０２２に対して所定角度回転したりする構成であってもよい。

　ロボット胴体５２１１の下方にはロボット移動機構５０２２、ロボット胴体５２１１の側方にはロボット腕部５０２６、ロボット頭部５２１２にはロボット用センサ５０２３がそれぞれ設けられている。また、ロボット本体５０２１の内部には、情報処理装置５０２５が設けられている。

　ロボット移動機構５０２２は、任意の構成でよく、例えばモーターで駆動する回転体を設けたものでもよいし、脚部として人の脚に形状を似せた構成であってもよい。一例として、ロボット移動機構５０２２を人の脚の形状に似せた構成にする場合、人の関節に相当する箇所にサーボモータを設けて、所定角度回転させることで移動機構を構成する。

　ロボット用センサ５０２３は、ロボット頭部５２１２に設けられ、作業員４００や作業再現ロボットの動作をセンシングすることが可能である。また、ロボット用センサ５０２３は、人型ロボット５０２０の周辺にある、人型ロボット５０２０が作業する物体とロボット腕部５０２６との距離及び角度を少なくとも表す情報を逐次取得する。ロボット用センサ５０２３の一例としては、最高性能のカメラ、サーモカメラ、高画素・望遠・超広角・３６０度・高性能カメラ、レーダー、ソリッドステートＬｉＤＡＲ、ＬｉＤＡＲ、マルチカラーレーザ同軸変位計、ビジョン認識、又はその他様々なセンサ群が採用され得る。これらは、ロボット用撮像装置５０２４の一例でもある。また他には、ロボット用センサ５０２３の他の一例としては、振動計、硬度計、微小振動計、超音波測定器、振動測定器、赤外線測定器、紫外線測定器、電磁波測定器、温度計、湿度計、スポットＡＩ天気予報、高精度マルチチャネルＧＰＳ、低高度衛星情報、又はロングテールインシデントＡＩ　ｄａｔａ等が挙げられる。

　ロボット用センサ５０２３から取得するセンサ情報の一例としては、画像、距離、振動、熱、匂い、色、音、超音波、電波、紫外線、赤外線、湿度等が挙げられ、好ましくはロボット用撮像装置５０２４により、画像、距離の情報が取得される。ロボット用センサ５０２３（ロボット用撮像装置５０２４）は、これらのセンシングを、一例としてナノ秒毎に実施する。センサ情報は、例えば、作業員４００や第１人型ロボット５０２０ａの動作のモーションキャプチャ、作業場２００の３Ｄマップ、作業場２００における作業員４００や第１人型ロボット５０２０ａの移動や動作のナビゲーション、コーナリング、スピード等の分析に用いられる。

　ロボット腕部５０２６は、右腕部５２６１と左腕部５２６２とを備える。また、右腕部５２６１は、右把持支持部５２６３及び右把持部５２６５を、左腕部５２６２は、左把持支持部５２６４及び左把持部５２６６を、それぞれ備える。右把持支持部５２６３は右把持部５２６５を、左把持支持部５２６４は左把持部５２６６を、それぞれ支持するための機構であり、一例としては人の腕に形状を似せたものであってもよい。把持部５２６５、５２６６は、例えば作業用の部品等を把持するための機構であり、一例としては人の手の形状に似せたものであってもよい。

　ロボット腕部５０２６は、第２駆動機構を構成する。駆動機構の構成は特に限定されず、例えば、ロボット腕部５０２６を人の形状に似せる場合、サーボモータを、人の肩に相当する箇所、肘に相当する箇所、手首に相当する箇所、指関節に相当する箇所等の各関節箇所に設け、所定角度回転させる構成を採用してもよい。

　なお、人型ロボット５０２０は、例えばロボット胴体部５２１１にセンサをさらに設けてもよい（図４６Ｂ参照）。この場合、当該センサは、ロボット頭部５２１２に設けられたロボット用センサ５０２３とは、その高さ位置が異なる。高さ位置が異なることで、センサは作業員４００や第１人型ロボット５０２０ａの動作を異なる角度からセンシングすることができる。

　図４１は、本実施形態の作業再現システム５１００での、構成及び機能の一例を示すブロック図である。

　作業再現システム５１００は、第１人型ロボット５０２０ａと、第２人型ロボット５０２０ｂと、管理制御装置５０６０と、を含んで構成されている。第１人型ロボット５０２０ａ及び第２人型ロボット５０２０ｂは、管理制御装置５０６０の通信部５０６４と、各々無線又は有線通信を介して接続され、管理制御装置５０６０からの指示を受けると共に、各センサにより取得される情報を送信する。なお、第１人型ロボット５０２０ａと第２人型ロボット５０２０ｂ同士も、無線又は有線通信を介して接続され、各センサにより取得される情報や指示を送受信してもよい。

　作業再現ロボットとして機能する第１人型ロボット５０２０ａは、第１ロボット移動機構５０２２ａと第１ロボット用センサ５０２３ａと、第１ロボット用センサ５０２３ａに含まれる第１ロボット用撮像装置５０２４ａと、第１情報処理装置５０２５ａと、第１胴体／頭部駆動機構５０２１ａと、第１腕部駆動機構５０２６ａと、を備える。本実施形態では、移動式ロボットとして機能する第２人型ロボット５０２０ｂも、その構成は第１人型ロボット５０２０ａと同一である。

　本実施形態による第１情報処理装置５０２５ａは、ＣＰＵ（Central Processing Unit）１２１２、ＲＡＭ（Random Access Memory）１２１４、及びグラフィックコントローラ１２１６を含み、それらはホストコントローラ１２１０によって相互に接続されている。第１情報処理装置５０２５ａはまた、通信インタフェース１２２２、記憶装置１２２４、ＤＶＤドライブ、及びＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。ＤＶＤドライブは、ＤＶＤ－ＲＯＭドライブ及びＤＶＤ－ＲＡＭドライブ等であってよい。記憶装置１２２４は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。第１情報処理装置５０２５ａはまた、ＲＯＭ（Read Only Memory）１２３０及びキーボードのような入出力ユニットを含み、それらは入出力チップ１２４０を介して入出力コントローラ１２２０に接続されている。

　通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。記憶装置１２２４は、第１情報処理装置５０２５ａ内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納する。また、記憶装置１２２４は、センシング情報を記憶してもよい。ＤＶＤドライブは、プログラム又はデータをＤＶＤ－ＲＯＭ等から読み取り、記憶装置１２２４に提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。

　ＲＯＭ１２３０はその中に、アクティブ化時に第１情報処理装置５０２５ａによって実行されるブートプログラム等、及び／又は第１情報処理装置５０２５ａのハードウェアに依存するプログラムを格納する。入出力チップ１２４０はまた、様々な入出力ユニットをＵＳＢポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ１２２０に接続してよい。

　プログラムは、ＤＶＤ－ＲＯＭ又はＩＣカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置１２２４、ＲＡＭ１２１４、又はＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、第１情報処理装置５０２５ａに読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、第１情報処理装置５０２５ａの使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。

　例えば、通信が第１情報処理装置５０２５ａ及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、記憶装置１２２４、ＤＶＤ－ＲＯＭ、又はＩＣカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。

　上で説明したプログラム又はソフトウエアモジュールは、第１情報処理装置５０２５ａ上又は第１情報処理装置５０２５ａ近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介して第１情報処理装置５０２５ａに提供する。

　ここまで説明してきた内容は、第２人型ロボット５０２０ｂに備えられた第２情報処理装置についても同様である。

　管理制御装置５０６０は、作業再現システム５１００を実現するため、人型ロボット５０２０ａ、５０２０ｂに対して指示を与える制御装置である。また、管理制御装置５０６０は、人型ロボット５０２０ａ、５０２０ｂの各記憶装置に蓄積されたセンシング情報を取得する。

　管理制御装置５０６０は、ＣＰＵ５０６０Ａ、ＲＡＭ５０６０Ｂ、ＲＯＭ５０６０Ｃ、入出力部（Ｉ／Ｏ）５０６０Ｄ、及びこれらを接続するデータバスやコントロールバス等のバス５０６０Ｅ、並びに通信部５０６４で構成されている。Ｉ／Ｏ５０６０Ｄには、記憶媒体５０６２が接続されている。

　また、Ｉ／Ｏ５０６０Ｄには、人型ロボット５０２０の制御系との間でセンシング情報や作業マニュアル情報、工程表情報等を送受信する通信部５０６４が接続されている。作業マニュアル情報には、例えば各作業項目の名称及び内容、作業項目の順序、各作業項目に要する標準的な作業時間の情報等が含まれる。また、工程表情報には、例えば作業全体の作業時間や開始時刻／終了時刻を示す情報、各作業項目の作業時間や開始時刻／終了時刻を示す情報、各作業項目の作業員を示す情報等が含まれる。

　図４２は、本実施形態の作業再現システムでの、管理制御装置５０６０の機能の一例を示すブロック図である。

　管理制御装置５０６０は、記憶媒体５０６２と、通信部５０６４と、処理部５０６６とを備える。

　記憶媒体５０６２は、例えば、半導体記憶装置、磁気テープ装置、磁気ディスク装置、又は光ディスク装置のうちの少なくとも一つを備える。記憶媒体５０６２は、処理部５０６６での処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。例えば、記憶媒体５０６２は、センシング情報を記憶する。また、記憶媒体５０６２には、作業員４００の作業マニュアル情報及び／又は工程表情報が記憶されていてもよい。

　通信部５０６４は、Ｗｉ－Ｆｉ（登録商標）等の無線の通信インタフェース回路及び／又はイーサネット（登録商標）等の有線の通信インタフェース回路を有する。通信部５０６４は、人型ロボット５０２０ａ、５０２０ｂと、インタフェース回路を通じて各種情報を送受信する。

　処理部５０６６は、一又は複数個のプロセッサ及びその周辺回路を有する。処理部５０６６は、作業再現システム５１００の全体的な動作を統括的に制御するものであり、例えば、ＣＰＵである。処理部５０６６は、記憶媒体５０６２に記憶されているプログラム（ドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム等）を参照して処理を実行する。また、処理部５０６６は、複数のプログラム（アプリケーションプログラム等）を並列に実行することができる。

　処理部５０６６は、判定部５６６１と、制御部５６６２と、学習部５６６３と、生成部５６６４と、入力部５６６５と、検知部５６６６と、を備える。これらの各部は、処理部５０６６が備えるプロセッサで実行されるプログラムにより実現される機能モジュールである。あるいは、これらの各部は、ファームウェアとして処理部５０６６に実装されてもよい。

　判定部５６６１は、センシング対象（作業員４００や第１人型ロボット５０２０ａ）をセンシングしているか否かを判定する。判定方法としては、既知の画像認識技術を用いてもよいし、学習部５６６３（図４２参照）による学習によるものであってもよい。

　制御部５６６２は、標準動作モデルを参照して第１人型ロボット５０２０ａに再現動作を１回以上行わせる。また、制御部５６６２は、センシング対象（作業員４００や第１人型ロボット５０２０ａ）がセンシングされていないと判定された場合に、第２人型ロボット５０２０ｂの第２胴体／頭部駆動機構や第２ロボット移動機構を作動する。

　学習部５６６３は、作業員４００の所定動作に対応する第１センシング情報に基づいて、作業員４００の所定動作に対応した標準動作モデルを学習する。この学習は、例えば、学習済みモデルを自動的に作成したり、学習済みモデルを使用して判定／解析を自動的に行ったりする学習である自動学習により行われる。

　生成部５６６４は、学習部５６６３による学習結果を参照して、標準動作モデルを生成する。また、生成部５６６４は、動作指示を生成する。

　入力部５６６５は、事故又は誤動作情報を入力する。この入力は、作業再現システム５１００のシステム外部からの入力であってもよいし、予め事故又は誤動作情報を、記憶媒体５０６２、第１情報処理装置５０２５ａの記憶媒体１２２４、及び／又は第２情報処理装置の記憶媒体に記憶しておき、管理制御装置５０６０の指示によってそれら情報が読み出されることで、入力されてもよい。

　検知部５６６６は、第２ロボット用センサ５０２３ｂ（第２ロボット用撮像装置５０２４ｂ）を用いて取得した第１人型ロボット５０２０ａの再現動作に対応する第２センシング情報に基づいて、事故又は誤動作の発生を検知する。また、検知部５６６６は、後述するように、センサを用いて取得した作業再現ロボットの再現動作に対応する第２センシング情報に基づいて、作業マニュアル情報又は工程表情報と異なる動作の発生を検知する。なお、検知対象の一例としては、時間経過における各情報（データ）の変化の違いや、データを比較した際のデータ同士の著しい乖離の把握等が挙げられる。

　（本開示に係る実施形態５の作業再現システムの処理）
　図４３は、本実施形態の作業再現システムの処理を示すフローチャートの一例である。

　まず、管理制御装置５０６０の指示により、あるいは記憶媒体５０６２又は第２情報処理装置の記憶装置に記憶されたプログラムの読み出し指示により、作業再現システム５１００は、第２人型ロボット５０２０ｂの第２ロボット用センサ５０２３ｂ（第２ロボット用撮像装置５０２４ｂ）を用いて、作業員４００の作業場２００での動作をセンシングする（ステップＳ５１０１）。作業員４００の動作は、異常事態発生時に作業員４００が実際に行った動作を再現した動作であり、好ましくは、異常事態発生時の状況を忠実に再現した作業場２００において当該動作が行われる。制御部５６６２又は第２情報処理装置は、第２人型ロボット５０２０ｂの第２ロボット用センサ５０２３ｂ（第２ロボット用撮像装置５０２４ｂ）のセンシング領域５２３０ｂ（撮像領域５２４０ｂ）が作業員４００の動作を含むよう、第２人型ロボット５０２０ｂの第２胴体／頭部駆動機構や第２ロボット移動機構を作動する。

　第２ロボット用センサ５０２３ｂ（第２ロボット用撮像装置５０２４ｂ）により取得されるセンシング情報（第１センシング情報）は、第２情報処理装置の記憶装置及び／又は通信部５０６４を介して記憶媒体５０６２に記憶される。各情報処理装置の記憶装置及び記憶媒体５０６２は、記憶部として機能する。

　管理制御装置５０６０は、記憶部に蓄積された、言い換えると記憶された第１センシング情報に基づいて作業員４００の所定動作に対応した標準動作モデルを学習し、学習結果を参照して、標準動作モデルを生成する（ステップＳ５１０２）。

　図４４は、図４３のステップＳ５１０２で示される作業員動作学習／標準動作モデル生成処理の、より詳細な処理を示すフローチャートの一例である。

　第１センシング情報が取得されると、第１センシング情報は記憶部に記憶されるところ（ステップＳ５２０１）、学習部５６６３は、第１センシング情報に基づいて、作業員４００の所定動作に対応した標準動作モデルを学習する（ステップＳ５２０２）。そして、生成部５６６４は、学習部５６６３による学習結果を参照して、標準動作モデルを生成する（ステップＳ５２０３）。

　なお、学習部５６６３による学習においては、作業員４００の動作のモーションキャプチャ、作業場２００の３Ｄマップ、作業場２００における作業員４００の移動や動作のナビゲーション、コーナリング、スピード等の分析が行われてもよく、自動学習により作業再現ロボットとしても機能可能な人型ロボット５０２０の最適な動作が学習されてもよい。これにより、作業員４００の所定動作を一度に多角的な面から分析することが可能となり、作業員４００の動作分析やプログラミングに掛かる時間及びコストを削減することができる。

　図４３に戻り、標準動作モデルが生成される前後に、第１人型ロボット５０２０ａが所定位置に配置される（ステップＳ５１０３）。第１人型ロボット５０２０ａの所定位置への配置は、例えば、所定位置の一例である作業場２００のフロア図面を予め記憶部に記憶させ、第１人型ロボット５０２０ａの位置を、当該記憶されたフロア図面に対応付けたうえで、第１人型ロボット５０２０ａの第１移動機構５０２２ａを作動させて当該位置まで移動させる方法が挙げられる。あるいは、第１人型ロボット５０２０ａの配置は、機械学習を通じて最適化された位置に基づいてもよい。所定位置は、好ましくは異常事態発生時の状況を忠実に再現した作業場２００である。

　制御部５６６２は、標準動作モデルを参照して標準動作モデルを参照して第１人型ロボット５０２０ａに再現動作を１回以上行わせる（ステップＳ５１０４）。言い換えると、第１人型ロボット５０２０ａは、動作指示に基づいて再現動作を１回以上行う。

　第１人型ロボット５０２０ａの作動（Ｓ５１０４）と前後して、入力部５６６５は、事故又は誤動作情報を入力する（ステップＳ５１０５）。

　作業再現システム５１００は、第２人型ロボット５０２０ｂの第２ロボット用センサ５０２３ｂ（第２ロボット用撮像装置５０２４ｂ）を用いて、第１人型ロボット５０２０ａの作業場２００での再現動作をセンシングする（ステップＳ５１０６）。第２ロボット用センサ５０２３ｂ（第２ロボット用撮像装置５０２４ｂ）により取得されるセンシング情報（第２センシング情報）は、記憶部に記憶される。

　検知部５６６６は、第２ロボット用センサ５０２３ｂ（第２ロボット用撮像装置５０２４ｂ）を用いて取得した第２センシング情報に基づいて、事故又は誤動作の発生を検知する（ステップＳ５１０７）。

　（実施形態５に係る作業再現システムの作用効果）
　本実施形態に係る作業再現システム５１００によれば、標準動作モデルを参照して作業再現ロボットに再現動作を１回以上行わせ、当該作業再現ロボットの再現動作に対応する第２センシング情報に基づいて、事故又は誤動作の発生を検知する。これにより、異常事態発生時の作業員４００の動作を作業再現ロボットに再現させた上で、作業再現ロボットの再現動作を通じて事故又は誤動作の発生を検知できることとなり、異常事態の発生要因を解明することが容易になる。

　（実施形態５の変形例１）
　図４５は、本開示に係る実施形態５の変形例１に係る作業再現システムの処理を示すフローチャートの一例である。

　本変形例に掛かる作業再現システムの処理では、Ｓ５１０１～Ｓ５１０４までの処理は同じである一方、Ｓ５１０５は省略され、Ｓ５１０６の後の処理として、ステップＳ５１０７'が実施される。

　本作業再現システムでは、記憶部に作業員４００の作業マニュアル情報、又は、工程表情報が記憶されており、検知部５６６６は、第２ロボット用センサ５０２３ｂ（第２ロボット用撮像装置５０２４ｂ）を用いて取得した第１人型ロボット５０２０ａの再現動作に対応する第２センシング情報に基づいて、作業マニュアル情報又は工程表情報と異なる動作の発生を検知する（Ｓ５１０７'）。

　作業マニュアル情報又は工程表情報は、本来的に適正とされる動作や順序を表した情報である。そこで、標準動作モデルを参照して行われた第１人型ロボット５０２０ａの再現動作と、作業マニュアル情報又は工程表情報とを比較することで、標準動作に欠点がないか否かを確認することができる。

　（実施形態５の変形例２）
　図４６Ａ、４６Ｂは、本実施形態の変形例２に係る作業再現システムの一例を示す図である。

　図４６Ａは、本開示に係る実施形態５の変形例２に係る作業再現システムでの、システム構成の一例を示す図である。本作業再現システムでは、移動式ロボットとして機能する第２人型ロボット５０２０'に胴体センサ５０２３''（胴体撮像装置５０２４''）が設けられている点が特徴となっている。具体的には、第２人型ロボット５０２０'の頭部センサ５０２３'（頭部撮像装置５０２４'）のセンシング領域５２３０'（撮像領域５２４０'）が第１人型ロボット５０２０ａを、第２人型ロボット５０２０'の胴体センサ５０２３''（胴体撮像装置５０２３''）のセンシング領域５２３０''（撮像領域５２４０''）が作業員４００を、それぞれ対象とするよう指示が与えられる。なお、本作業再現システムでは、第１人型ロボット５０２０ａと第２人型ロボット５０２０'とが通信可能に構成されていれば、管理制御装置５０６０は必ずしも必要ではない。

　図４６Ｂは、図４６Ａに示す人型ロボットの一例を示す図である。移動式ロボットとして機能する第２人型ロボット５０２０'は、ロボット本体５０２１'と、ロボット移動機構５０２２'と、頭部センサ５０２３'と、頭部センサ５０２３'に含まれる頭部撮像装置５０２４'と、胴体センサ５０２３''と、胴体センサ５０２３''に含まれる胴体撮像装置５０２４''と、情報処理装置５０２５'と、ロボット腕部５０２６'と、を備える。

　ロボット本体５０２１'は、ロボット胴体５２１１'と、ロボット頭部５２１２'とを備える。ロボット胴体５２１１'とロボット頭部５２１２'とは、胴体／頭部駆動機構５０２１'（図４７参照）を構成し、頭部センサ５０２３'（頭部撮像装置５０２４'）のセンシング領域５２３０'（撮像領域５２４０'）及び胴体センサ５０２３''（胴体撮像装置５０２４''）のセンシング領域５２３０''（撮像領域５２４０''）を変更することが可能である。

　頭部センサ５０２３'（頭部撮像装置５０２４'）と胴体センサ５０２３''（胴体撮像装置５０２４''）とは、高さ位置が異なる箇所に配置されることから、胴体センサ５０２３''（胴体撮像装置５０２４''）と頭部センサ５０２３'（頭部撮像装置５０２４'）とは、それぞれ異なる位置から作業員４００や作業再現ロボットとして機能する第１ロボット５０２０ａの動作をセンシングすることとなる。

　情報処理装置５０２５'の構成は、第１人型ロボット５０２０ａの第１情報処理装置５０２５ａと同様である。ロボット腕部５０２６'についても第１人型ロボット５０２０ａと同様である。

　図４７は、本作業再現システムでの、人型ロボット５０２０'の機能の一例を示すブロック図である。作業再現システム５１００'では、情報処理装置５０２５'は、情報処理部５０６６'と、通信インタフェース１２２２'と、記憶装置１２２４'とを備え、情報処理部５０６６'は、判定部５６６１'と、制御部５６６２ｃ'、学習部５６６３ｃ'、生成部５６６４'と、入力部５６６５'と、検知部５６６６'と、を備える。すなわち、作業再現システム５１００'では、情報処理部５０６６'が管理制御装置５０６０の処理部５０６６と同様の処理を行う。なお、情報処理装置５０２５'は、頭部センサ５０２３'（頭部撮像装置５０２４'）、胴体センサ５０２３''（頭部撮像装置５０２４''）、胴体／頭部駆動機構５０２１'、ロボット移動機構５０２２'、及び腕部駆動機構５０２６'と通信可能に構成されている。また、記憶部１２２４'には、作業マニュアル情報又は工程表情報が記憶されていてもよい。

　作業再現システム５１００'の第２人型ロボット５０２０'は、情報処理装置５０２５'に情報処理部５０６６'が備えられていることから、第１人型ロボット５０２０ａと第２人型ロボット５０２０'とが通信可能に構成されることで、管理制御装置５０６０を必要とせずに作業再現システムを構成することが可能となる。

　図４６を参照して、例えば第２人型ロボット５０２０'の制御部５６６２'は、胴体センサ５０２３''（胴体撮像装置５０２４''）が作業員４００を、第２センサとして機能する頭部センサ５０２３'（頭部撮像装置５０２４'）が作業再現ロボットとして機能する第１人型ロボット５０２０ａを、それぞれセンシングするよう指示する。なお、頭部センサ５０２３'（頭部撮像装置５０２４'）と胴体センサ５０２３''（胴体撮像装置５０２４''）との役割は、逆であってもよい。すなわち、頭部センサ５０２３'（頭部撮像装置５０２４'）が作業員４００を、胴体センサ５０２３''（胴体撮像装置５０２４''）が第１人型ロボット５０２０ａを、それぞれセンシングするよう指示する構成であってもよい。

　作業再現システム５１００'は、作業員４００に異常事態発生時の動作を再現してもらった上で、胴体センサ５０２３''（胴体撮像装置５０２４''）により作業員４００の所定動作をセンシングする。学習部５６６３'は、作業員４００の所定動作に対応する第１センシング情報に基づいて、作業員４００の所定動作に対応した標準動作モデルを学習する。制御部５６６２'は、標準動作モデルを参照して第１人型ロボット５０２０ａに再現動作を１回以上行わせる。入力部５６６５'は、事故又は誤動作情報を入力する。そして、検知部５６６６'は、頭部センサ５０２３'（頭部撮像装置５０２４'）を用いて取得した第１人型ロボット５０２０ａの再現動作に対応する第２センシング情報に基づいて、事故又は誤動作の発生を検知する。これにより、作業再現ロボットとして機能する第１人型ロボット５０２０ａに、異常事態発生時の作業員４００の動作を再現させると共に、作業再現ロボットの再現動作を通じて事故又は誤動作の発生を検知できることとなり、異常事態の発生要因を解明することが容易になる。

　また、作業再現システム５１００'は、作業員４００に異常事態発生時の動作を再現してもらった上で、胴体センサ５０２３''（胴体撮像装置５０２４''）により作業員４００の所定動作をセンシングする。学習部５６６３'は、作業員４００の所定動作に対応する第１センシング情報に基づいて、作業員４００の所定動作に対応した標準動作モデルを学習する。制御部５６６２'は、標準動作モデルを参照して第１人型ロボット５０２０ａに再現動作を１回以上行わせる。検知部５６６６'は、頭部センサ５０２３'（頭部撮像装置５０２４'）を用いて取得した第１人型ロボット５０２０ａの再現動作に対応する第２センシング情報に基づいて、作業マニュアル情報又は工程表情報と異なる動作の発生を検知する。これにより、作業再現ロボットとして機能する第１人型ロボット５０２０ａに、異常事態発生時の作業員４００の動作を再現させると共に、作業再現ロボットの再現動作を通じて標準動作の欠点を把握することができる。

　（変形例１の作用効果）
　本作業再現システムによれば、人型ロボット５０２０'は単独で作業再現システムを構成することができることから、例えば、管理制御装置５０６０との通信ができないような場所においても、異常事態の発生要因を解明することが容易な作業再現システムを提供することができる。

　また、本人型ロボット５０２０'は、複数（本変形例では２つ）のセンサ（撮像装置）を備えていることから、例えば、作業員４００と作業再現ロボットとを並列配置して作業再現するには狭い場所においても、異常事態の発生要因を解明することが容易な作業再現システムを提供することができる。

　なお、本作業再現システムにおいて、移動式ロボットとして機能する人型ロボットは、必ずしも１台である必要はなく、複数台であってもよい。この場合、人型ロボットの数が増えるだけ、センサの数は人型ロボットの倍数分増えることとなり、一度にセンシング情報を多く取得することができる。

　本実施形態の作業再現システム５１００では、作業員４００や作業再現ロボットに対して、それぞれ１台の移動式ロボットが配置される構成を説明した。しかし、移動式ロボットの数はこれ以上であってもよい。例えば、センサと移動機構とを備える移動式ロボットの台数が多ければ、それぞれ異なる位置、高さ及び／又は向きから作業員４００や作業再現ロボットの動作をセンシングするよう複数のセンサを配置することが可能となる。これにより、作業員４００や作業再現ロボットの動作の学習に必要な様々なデータを取得しやすくなると共に、作業員４００や作業再現ロボットの各動作を全体的にカバーできるようにセンシングすることができる。

　また、本実施形態の作業再現システム５１００では、センサと移動機構とを有する移動式ロボット（人型ロボット）１台が作業員４００及び作業再現ロボットのそれぞれをセンシングする構成を説明した。この構成によれば、移動式ロボットを各センシングに併用することができ、ロボット作製に掛かる費用及び時間を短縮することができる。もっとも、作業員４００のセンシングと、作業再現ロボットのセンシングとは、それぞれ異なる移動式ロボットで行ってもよい。さらにいえば、各センシングは移動式ロボットにより行われなくともよい。

　（実施形態６）
　図４８Ａ、４８Ｂは、作業習熟システムを説明するための図である。

　図４８Ａは、本開示に係る実施形態６の作業習熟システムでの、システム構成の一例を示す図である。本作業習熟システムでは、移動式ロボットとして機能する第１人型ロボット６０２０ａ及び作業再現ロボットとして機能する第２人型ロボット６０２０ｂを備える。なお、人型ロボットの数は２台に限定されない。

　第１人型ロボット６０２０ａは、後述する管理制御装置６０６０（図４９参照）からの指示を受け、又は第１人型ロボット６０２０ａに設けられた情報処理装置からの指示により、作業場２００の作業ライン２０１で作業する第１作業員４００ａ（熟練作業員４００ａ）の付近に移動する。熟練作業員４００ａは、お手本となる所定動作を行う作業員である。そして、本作業習熟システムは、第１人型ロボット６０２０ａに備えられた第１ロボット用センサ６０２３ａ（第１ロボット用撮像装置６０２４ａ）により、熟練作業員４００ａの所定動作をセンシングする。なお、所定動作は多岐にわたり、例えば部品の組付けや部品の移動、製品の塗装、作業員自身の移動等が挙げられる。

　第１ロボット用センサ６０２３ａ（第１ロボット用撮像装置６０２４ａ）が熟練作業員４００ａの動作をセンシングする場合、本作業習熟システムは、第１ロボット用センサ６０２３ａ（第１ロボット用撮像装置６０２４ａ）が熟練作業員４００ａの所定動作をセンシングするよう、第１人型ロボット６０２０ａの第１移動機構や第１胴体／頭部駆動機構を作動させる。なお、各センサによる熟練作業員４００ａの所定動作の認識については、既知の画像認識技術を用いてもよいし、学習部６６６３（図５０参照）による学習により熟練作業員４００ａの所定動作を認識してもよい。

　本作業習熟システムは、熟練作業員４００ａの所定動作に対応するセンシング情報（第１センシング情報）に基づいて学習した標準動作モデルを記憶する。標準動作モデルは、熟練作業員４００ａの所定動作に対応する動作であって、所定の作業項目において、あるべき動作として指定された動作を表すモデルである。

　本作業習熟システムは、標準動作モデルを参照して第２人型ロボット６０２０ｂに再現動作を行わせる。また、本作業習熟システムは、第２作業員４００ｂ（新規作業員４００ｂ）の動作をセンシング可能なセンサである第２ロボット用センサ６０２３ｂ（第２ロボット用撮像装置６０２４ｂ）を用いて取得した、新規作業員４００ｂの動作に対応するセンシング情報（第２センシング情報）に基づいて、新規作業員４００ｂの動作が標準動作モデルと異なる点を検出する。新規作業員４００ｂは、作業の習熟を図る対象となる作業員である。

　本作業習熟システムによれば、お手本となる熟練作業員４００ａの所定動作に基づき生成された標準動作モデルを参照して第２人型ロボット６０２０ｂに再現動作を行わせるので、第２人型ロボット６０２０ｂは作業に忠実な動作を実行することができる。つまり、第２人型ロボット６０２０ｂの再現動作は、お手本としての役割を担うことができる。第２人型ロボット６０２０ｂの再現動作を別の作業員（新規作業員４００ｂ）の参考にさせることで、作業員の作業の習熟を図ることができる。

　また、本作業習熟システムでは、新規作業員４００ｂに作業としての所定動作を行ってもらい、第２人型ロボット６０２０ｂの第２ロボット用センサ６０２３ｂ（第２ロボット用撮像装置６０２４ｂ）により新規作業員４００ｂの動作をセンシングする。

　本作業習熟システムは、第２ロボット用センサ６０２３ｂ（第２ロボット用撮像装置６０２４ｂ）により取得されるセンシング情報（第２センシング情報）に基づいて、新規作業員４００ｂの動作が標準動作モデルと異なる点を検出する。これにより、熟練作業員４００ａのお手本となる作業と、新規作業員４００ｂの作業とを比較することができ、新規作業員４００ｂの作業の習熟を図ることができる。

　一例として、ある国内工場の作業ラインと同一の作業ラインを、海外を含むその他の工場（新工場）に構築したい場合に、本作業習熟システムによれば、当該国内工場の作業を習得した作業再現ロボット（第２人型ロボット６０２０ｂ）を当該新工場に送って、その新工場の新規作業員に作業を教えさせるといったことが可能となる。

　図４８Ｂは、図４８Ａに示す人型ロボットの一例を示す図である。移動式ロボット及び作業再現ロボットとして機能する人型ロボット６０２０は、ロボット本体６０２１と、ロボット移動機構６０２２と、ロボット用センサ６０２３と、ロボット用センサ６０２３に含まれるロボット用撮像装置６０２４と、情報処理装置６０２５と、ロボット腕部６０２６と、を備える。

　人型ロボット６０２０は、ロボット本体６０２１の下方に設けられたロボット移動機構６０２２により移動することが可能であり、例えば管理制御装置６０６０といった人型ロボット６０２０の外部から指示を受けて、あるいは情報処理装置６０２５に記憶されたプログラムを参照して、作業場２００の作業ライン２０１付近に移動したり、作業を実行したりする。

　ロボット本体６０２１は、ロボット胴体６２１１と、ロボット頭部６２１２とを備える。ロボット胴体６２１１とロボット頭部６２１２とは、胴体／頭部駆動機構を構成し、ロボット用センサ６０２３（ロボット用撮像装置６０２４）のセンシング領域６２３０（撮像領域６２４０）を変更することが可能である。駆動機構の構成は特に限定されず、例えば図示しないサーボモータにより、ロボット頭部６２１２がロボット胴体６２１１に対して所定角度回転したり、ロボット胴体６２１１がロボット移動機構２２に対して所定角度回転したりする構成であってもよい。

　ロボット胴体６２１１の下方にはロボット移動機構６０２２、ロボット胴体６２１１の側方にはロボット腕部６０２６、ロボット頭部６２１２にはロボット用センサ６０２３がそれぞれ設けられている。また、ロボット本体６０２１の内部には、情報処理装置６０２５が設けられている。

　ロボット移動機構６０２２は、任意の構成でよく、例えばモーターで駆動する回転体を設けたものでもよいし、脚部として人の脚に形状を似せた構成であってもよい。一例として、ロボット移動機構６０２２を人の脚の形状に似せた構成にする場合、人の関節に相当する箇所にサーボモータを設けて、所定角度回転させることで移動機構を構成する。

　ロボット用センサ６０２３は、好ましくはロボット頭部６２１２に設けられ、熟練作業員４００ａや新規作業員４００ｂ等の各作業員をセンシングする。また、ロボット用センサ６０２３は、人型ロボット６０２０の周辺にある、人型ロボット６０２０が作業する物体とロボット腕部６０２６との距離及び角度を少なくとも表す情報を逐次取得する。ロボット用センサ６０２３の一例としては、最高性能のカメラ、サーモカメラ、高画素・望遠・超広角・３６０度・高性能カメラ、レーダー、ソリッドステートＬｉＤＡＲ、ＬｉＤＡＲ、マルチカラーレーザ同軸変位計、ビジョン認識、又はその他様々なセンサ群が採用され得る。これらは、ロボット用撮像装置６０２４の一例でもある。また他には、ロボット用センサ６０２３の他の一例としては、振動計、硬度計、微小振動計、超音波測定器、振動測定器、赤外線測定器、紫外線測定器、電磁波測定器、温度計、湿度計、スポットＡＩ天気予報、高精度マルチチャネルＧＰＳ、低高度衛星情報、又はロングテールインシデントＡＩ　ｄａｔａ等が挙げられる。

　ロボット用センサ６０２３から取得するセンシング情報の一例としては、画像、距離、振動、熱、匂い、色、音、超音波、電波、紫外線、赤外線、湿度等が挙げられ、好ましくはロボット用撮像装置６０２４により、画像、距離の情報が取得される。ロボット用センサ６０２３（ロボット用撮像装置６０２４）は、これらのセンシングを、一例としてナノ秒毎に実施する。センシング情報は、例えば、各作業員の動作のモーションキャプチャ、作業場２００の３Ｄマップ、作業場２００における各作業員の移動や動作のナビゲーション、コーナリング、スピード等の分析に用いられる。

　ロボット腕部６０２６は、右腕部６２６１と左腕部６２６２とを備える。また、右腕部６２６１は、右把持支持部６２６３及び右把持部６２６５を、左腕部６２６２は、左把持支持部６２６４及び左把持部６２６６を、それぞれ備える。右把持支持部６２６３は右把持部６２６５を、左把持支持部６２６４は左把持部６２６６を、それぞれ支持するための機構であり、一例としては人の腕に形状を似せたものであってもよい。把持部６２６５、６２６６は、例えば作業用の部品等を把持するための機構であり、一例としては人の手の形状に似せたものであってもよい。

　ロボット腕部６０２６は、腕部駆動機構を構成する。駆動機構の構成は特に限定されず、例えば、ロボット腕部６０２６を人の形状に似せる場合、サーボモータを、人の肩に相当する箇所、肘に相当する箇所、手首に相当する箇所、指関節に相当する箇所等の各関節箇所に設け、所定角度回転させる構成を採用してもよい。

　なお、人型ロボット６０２０は、例えばロボット胴体部６２１１にセンサをさらに設けてもよい（図５４Ｂ参照）。この場合、当該センサは、ロボット頭部６２１２に設けられたロボット用センサ６０２３とは、その高さ位置が異なる。高さ位置が異なることで、センサは各作業員の動作を異なる角度からセンシングすることができる。

　図４９は、本実施形態の作業習熟システム６１００での、構成及び機能の一例を示すブロック図である。

　作業習熟システム６１００は、第１人型ロボット６０２０ａと、第２人型ロボット６０２０ｂと、管理制御装置６０６０と、を含んで構成されている。第１人型ロボット６０２０ａ及び第２人型ロボット６０２０ｂは、管理制御装置６０６０の通信部６０６４と、各々無線又は有線通信を介して接続され、管理制御装置６０６０からの指示を受けると共に、各センサにより取得される情報を送信する。なお、第１人型ロボット６０２０ａと第２人型ロボット６０２０ｂ同士も、無線又は有線通信を介して接続され、各センサにより取得される情報や指示を送受信してもよい。

　作業再現ロボットとして機能する第２人型ロボット６０２０ｂは、第２ロボット用移動機構６０２２ｂと、第２ロボット用センサ６０２３ｂと、第２ロボット用センサ６０２３ｂに含まれる第２ロボット用撮像装置６０２４ｂと、第２情報処理装置６０２５ｂと、第２胴体／頭部駆動機構６０２１ｂと、第２移動機構６０２２ｂと、第２腕部駆動機構６０２６ｂと、を備える。本実施形態では、第２人型ロボット６０２０ｂと移動式ロボットとして機能する第１人型ロボット６０２０ａとは、それら構成が同一である。

　本実施形態による第２情報処理装置６０２５ｂは、ＣＰＵ（Central Processing Unit）１２１２、ＲＡＭ（Random Access Memory）１２１４、及びグラフィックコントローラ１２１６を含み、それらはホストコントローラ１２１０によって相互に接続されている。第２情報処理装置６０２５ｂはまた、通信インタフェース１２２２、記憶装置１２２４、ＤＶＤドライブ、及びＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。ＤＶＤドライブは、ＤＶＤ－ＲＯＭドライブ及びＤＶＤ－ＲＡＭドライブ等であってよい。記憶装置１２２４は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。第２情報処理装置６０２５ｂはまた、ＲＯＭ（Read Only Memory）１２３０及びキーボードのような入出力ユニットを含み、それらは入出力チップ１２４０を介して入出力コントローラ１２２０に接続されている。

　通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。記憶装置１２２４は、第２情報処理装置６０２５ｂ内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納する。また、記憶装置１２２４は、センシング情報を記憶してもよい。ＤＶＤドライブは、プログラム又はデータをＤＶＤ－ＲＯＭ等から読み取り、記憶装置１２２４に提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。

　ＲＯＭ１２３０はその中に、アクティブ化時に第２情報処理装置６０２５ｂによって実行されるブートプログラム等、及び／又は第２情報処理装置６０２５ｂのハードウェアに依存するプログラムを格納する。入出力チップ１２４０はまた、様々な入出力ユニットをＵＳＢポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ１２２０に接続してよい。

　プログラムは、ＤＶＤ－ＲＯＭ又はＩＣカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置１２２４、ＲＡＭ１２１４、又はＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、第２情報処理装置６０２５ｂに読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、第２情報処理装置６０２５ｂの使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。

　例えば、通信が第２情報処理装置６０２５ｂ及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、記憶装置１２２４、ＤＶＤ－ＲＯＭ、又はＩＣカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。

　上で説明したプログラム又はソフトウエアモジュールは、第２情報処理装置６０２５ｂ上又は第２情報処理装置６０２５ｂ近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介して第２情報処理装置６０２５ｂに提供する。

　ここまで説明してきた内容は、第１人型ロボット６０２０ａの第１情報処理装置についても同様である。

　管理制御装置６０６０は、作業習熟システム６１００を実現するため、人型ロボット６０２０ａ、６０２０ｂに対して指示を与える制御装置である。また、管理制御装置６０６０は、人型ロボット６０２０ａ、６０２０ｂの各記憶装置に蓄積されたセンシング情報を取得する。

　管理制御装置６０６０は、ＣＰＵ６０６０Ａ、ＲＡＭ６０６０Ｂ、ＲＯＭ６０６０Ｃ、入出力部（Ｉ／Ｏ）６０６０Ｄ、及びこれらを接続するデータバスやコントロールバス等のバス６０６０Ｅ、並びに通信部６０６４で構成されている。Ｉ／Ｏ６０６０Ｄには、記憶媒体６０６２が接続されている。

　また、Ｉ／Ｏ６０６０Ｄには、人型ロボット６０２０の制御系との間でセンシング情報や作業マニュアル情報、工程表情報等を送受信する通信部６０６４が接続されている。なお、作業マニュアル情報には、例えば各作業項目の名称及び内容、作業項目の順序、各作業項目に要する標準的な作業時間の情報等が含まれる。また、工程表情報には、例えば作業全体の作業時間や開始時刻／終了時刻を示す情報、各作業項目の作業時間や開始時刻／終了時刻を示す情報、各作業項目の作業員を示す情報等が含まれる。

　図５０は、本実施形態の作業習熟システムでの、管理制御装置６０６０の機能の一例を示すブロック図である。

　管理制御装置６０６０は、記憶媒体６０６２と、通信部６０６４と、処理部６０６６とを備える。

　記憶媒体６０６２は、例えば、半導体記憶装置、磁気テープ装置、磁気ディスク装置、又は光ディスク装置のうちの少なくとも一つを備える。記憶媒体６０６２は、処理部６０６６での処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。例えば、記憶媒体６０６２は、センシング情報を記憶する。また、記憶媒体６０６２は、作業員の作業マニュアル情報及び／又は工程表情報を記憶する。

　通信部６０６４は、Ｗｉ－Ｆｉ（登録商標）等の無線の通信インタフェース回路及び／又はイーサネット（登録商標）等の有線の通信インタフェース回路を有する。通信部６０６４は、人型ロボット６０２０ａ、６０２０ｂと、インタフェース回路を通じて各種情報を送受信する。

　処理部６０６６は、一又は複数個のプロセッサ及びその周辺回路を有する。処理部６０６６は、作業習熟システム６１００の全体的な動作を統括的に制御するものであり、例えば、ＣＰＵである。処理部６０６６は、記憶媒体６０６２に記憶されているプログラム（ドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム等）を参照して処理を実行する。また、処理部６０６６は、複数のプログラム（アプリケーションプログラム等）を並列に実行することができる。

　処理部６０６６は、判定部６６６１と、制御部６６６２と、学習部６６６３と、生成部６６６４と、検出部６６６５と、を備える。これらの各部は、処理部６０６６が備えるプロセッサで実行されるプログラムにより実現される機能モジュールである。あるいは、これらの各部は、ファームウェアとして処理部６０６６に実装されてもよい。

　判定部６６６１は、センシング対象（熟練作業員４００ａや新規作業員４００ｂ）をセンシングしているか否かを判定する。判定方法としては、既知の画像認識技術を用いてもよいし、学習部６６６３（図５１参照）による学習によるものであってもよい。

　制御部６６６２は、標準動作モデルを参照して第２ロボット６０２０ｂに再現動作を行わせる。また、制御部６６６２は、センシング対象がセンシングされていないと判定された場合に、各人型ロボット６０２０の胴体／頭部駆動機構６０２１やロボット移動機構６０２２を作動する。

　学習部６６６３は、熟練作業員４００ａの所定動作に対応する第１センシング情報に基づいて標準動作モデルを学習する。第１センシング情報は、第１ロボット用センサ６０２３ａ（第１ロボット用撮像装置６０２４ａ）が熟練作業員４００ａをセンシングすることにより取得される。なお、学習部６６６３の学習は、例えば、学習済みモデルを自動的に作成したり、学習済みモデルを使用して判定／解析を自動的に行ったりする学習である自動学習により行われる。

　生成部６６６４は、学習部６６６３の学習結果を参照して標準動作モデルを生成する。また、生成部６６６４は、後述する各センシング指示や警報指示を生成する。

　検出部６６６５は、第２ロボット用センサ６０２３ｂ（第２ロボット用撮像装置６０２４ｂ）を用いて取得した新規作業員４００ｂの動作に対応する第２センシング情報に基づいて、新規作業員４００ｂの動作が標準動作モデルと異なる点を検出する。また、検出部６６６５は、第２ロボット用センサ６０２３ｂ（第２ロボット用撮像装置６０２４ｂ）を用いて取得した新規作業員４００ｂの動作に対応するセンシング情報に基づいて、新規作業員４００ｂの動作が、作業マニュアル情報又は工程表情報と異なる点を検出する。なお、検出対象の一例としては、時間経過における各情報（データ）の変化の違いや、データを比較した際のデータ同士の著しい乖離等が挙げられる。

　（本開示に係る実施形態６の作業習熟システムの処理）
　図５１は、本実施形態の作業習熟システムの処理を示すフローチャートの一例である。当該処理は、予め、記憶媒体６０６２、第１情報処理装置の記憶装置及び／又は第２情報処理装置６０２５ｂの記憶装置１２２４に記憶されている制御プログラムを参照して、主に管理制御装置６０６０の処理部６０６６により、作業習熟システム６１００（管理制御装置６０６０、第１人型ロボット６０２０ａ及び第２人型ロボット６０２０ｂ）の各要素と協働して実行される。

　図５１に記載の処理が開始される前提として、処理部６０６６の指示により、あるいは記憶媒体６０６２又は第１情報処理装置の記憶装置に記憶されたプログラムの読み出し指示により、第１情報処理装置は、移動式ロボットとして機能する第１人型ロボット６０２０ａを作業場２００に移動するよう指示する。移動は、第１人型ロボット６０２０ａの第１ロボット移動機構６０２２の作動による。

　移動に際しては、第１ロボット用センサ６０２３ａ（第１ロボット用撮像装置６０２４ａ）の各センシング領域６２３０（撮像領域６２４０）が、熟練作業員４００ａの所定動作をセンシングできるよう、指示が与えられる。このような第１人型ロボット６０２０ａの配置は、例えば予め作業場２００のフロア図面を記憶媒体６０６２又は第１情報処理装置の記憶装置に記憶させ、第１人型ロボット６０２０の位置ａを、当該記憶されたフロア図面に対応付けることにより行われる。あるいは、第１人型ロボット６０２０の位置ａの配置は、機械学習を通じて最適化された位置に基づいてもよい。

　最初に、管理制御装置６０６０は、第１ロボット用センサ６０２３ａ（第１ロボット用撮像装置６０２４ａ）を用いて、熟練作業員４００ａの作業ライン２０１での所定動作をセンシングするよう指示する（ステップＳ６１０１）。具体的には、生成部６６６４は、熟練作業員４００ａの所定動作をセンシングすることを目的として、第１人型ロボット６０２０ａの第１ロボット用センサ６０２３ａ（第１ロボット用撮像装置６０２４ａ）並びに第１ロボット移動機構及び／又は第１胴体／頭部駆動機構を作動させる第１センシング指示を生成し、通信部６０６４を介して第１センシング指示を第１情報処理装置に送信する。第１情報処理装置のＣＰＵは、第１情報処理装置の通信インタフェースを介して第１センシング指示を受け、第１ロボット用センサ６０２３ａ（第１ロボット用撮像装置６０２４ａ）と、第１ロボット移動機構及び／又は第１胴体／頭部駆動機構とを作動させるプログラムを起動する。

　記憶部は、第１ロボット用センサ６０２３ａ（第１ロボット用撮像装置６０２４ａ）により取得されるセンシング情報（第１センシング情報）を記憶する。なお、第１情報処理装置の記憶装置、第２情報処理装置６０２５ｂの記憶装置１２２４及び記憶媒体６０６２が、記憶部として機能する。特に、記憶媒体６０６２が記憶部として機能する場合には、通信部６０６４が、各情報処理装置の通信インタフェースを介して、各センサ（撮像装置）を用いて取得したセンシング情報を取得し、記憶媒体６０６２は、Ｉ／Ｏ６０６０Ｄを介して、通信部６０６４が取得したセンシング情報を記憶することとなる。

　処理部６０６６は、記憶部に蓄積された、言い換えると記憶された第１センシング情報に基づいて、標準動作モデルを学習し生成する（ステップＳ６１０２）。第１センシング情報は、熟練作業員４００ａの所定動作に対応するセンシング情報であることから、第１センシング情報に基づく学習は、熟練作業員の所定動作を学習することと同義になる。

　図５２は、図５１のステップＳ６１０２で示される作業員動作学習及びモデル生成処理の、より詳細な処理を示すフローチャートの一例である。

　前述のとおり、記憶部は、取得された第１センシング情報を記憶するところ（ステップＳ６２０１）、学習部６６６３は、記憶部に記憶された第１センシング情報に基づいて標準動作モデルを学習する（ステップＳ６２０２）。学習においては、熟練作業員４００ａの動作のモーションキャプチャ、作業場２００の３Ｄマップ、作業場２００における熟練作業員４００ａの移動や動作のナビゲーション、コーナリング、スピード等の分析が行われ、自動学習により作業再現ロボットとしても機能可能な人型ロボット６０２０の最適な動作が学習される。これにより、熟練作業員４００ａの所定動作を一度に多角的な面から分析することが可能となり、熟練作業員４００ａの動作分析やプログラミングに掛かる時間及びコストを削減することができる。

　生成部６６６４は、学習部６６６３の学習結果を参照して、標準動作モデルを生成する（ステップＳ６２０３）。

　図５１に戻り、制御部６６６２は、標準動作モデルを参照して第２人型ロボット６０２０ｂに再現動作を行わせる（ステップＳ６１０３）。これにより、第２人型ロボット６０２０ｂは他の作業員（新規作業員４００ｂ）のお手本となる再現動作を実行することができる。

　次に、作業の習熟を図る対象となる作業員である新規作業員４００ｂに所定動作をしてもらった上で、管理制御装置６０６０は、第２ロボット用センサ６０２３ｂ（第２ロボット用撮像装置６０２４ｂ）を用いて、新規作業員４００ｂの動作をセンシングするよう指示する（ステップＳ６１０４）。具体的には、生成部６６６４は、新規作業員４００ｂの動作をセンシングすることを目的として、第２人型ロボット６０２０ｂの第２ロボット用センサ６０２３ｂ（第２ロボット用撮像装置６０２４ｂ）並びに第２ロボット移動機構６０２２ｂ及び／又は第２胴体／頭部駆動機構６０２１ｂを作動させる第２センシング指示を生成し、通信部６０６４を介して第２センシング指示を第２情報処理装置６０２５ｂに送信する。第２情報処理装置のＣＰＵ１２１２は、通信インタフェース１２２２を介して第２センシング指示を受け、第２人型ロボット６０２０ｂの第２ロボット用センサ６０２３ｂ（第２ロボット用撮像装置６０２４ｂ）と、第２ロボット移動機構６０２２ｂ及び／又は第２胴体／頭部駆動機構６０２１ｂとを作動させるプログラムを起動する。

　検出部６６６５は、第２ロボット用センサ６０２３ｂ（第２ロボット用撮像装置６０２４ｂ）を用いて取得した新規作業員４００ｂの動作に対応する第２センシング情報に基づいて、新規作業員４００ｂの動作が標準動作モデルと異なる点を検出する（ステップＳ６１０５）。これにより、作業の習熟を図る対象となる新規作業員４００ｂにつき、その動作がお手本となる動作と異なるか否かを確認することができる。

　なお、生成部６６６４は、検出部６６６５の検出結果を参照して、検出結果を出力する指示である検出結果出力指示を生成してもよい。この場合の検出結果の出力の方法は特に限定されず、例えば、人型ロボット６０２０や管理制御装置６０６０に警報機（ブザー）を設けて当該警報機を作動させてもよいし、人型ロボット６０２０ｂ管理制御装置６０６０に表示機能を設け、当該表示機能により動作の異なる点を示してもよい。

　図５３は、図５１のステップＳ６１０５で示される動作検出処理の、より詳細な処理を示すフローチャートの一例である。

　通信部６０６４は、第２情報処理装置６０２５ｂの通信インタフェース１２２２を介して、第２センシング情報を取得する（ステップＳ６３０１）。第２センシング情報は、第２ロボット用センサ６０２３ｂ（第２ロボット用撮像装置６０２４ｂ）により取得されるセンシング情報であって、新規作業員４００ｂの動作に対応するセンシング情報である。

　検出部６６６５は、通信部６０６４を介して取得した第２センシング情報に基づいて、新規作業員４００ｂの動作が標準動作モデルと異なる点を検出する（ステップＳ６３０２）。

　また、検出部６６６５は、通信部６０６４を介して取得した第２センシング情報に基づいて、新規作業員４００ｂの動作が、作業マニュアル情報又は工程表情報と異なる点を検出する（ステップＳ６３０３）。作業マニュアル情報又は工程表情報は、本来的に適正とされる動作や順序を表した情報である。そこで、新規作業員４００ｂの動作と作業マニュアル情報又は工程表情報とを比較することで、新規作業員４００ｂの誤動作をより確認しやすくなる。

　なお、新規作業員４００ｂの動作と標準動作モデル又は作業マニュアル情報若しくは工程表情報との間に異なる点が検出された場合に、生成部６６６４は、警報を発するよう指示する警報指示を生成してもよい。これにより、新規作業員４００ｂの動作がお手本となる所定動作と異なる場合に、そのことを新規作業員４００ｂがより把握しやすくなる。なお、警報の方法は特に限定されず、例えば、前述にあるように、人型ロボット６０２０や管理制御装置６０６０に警報機を設けて当該警報機を作動させてもよいし、人型ロボット６０２０や管理制御装置６０６０に表示機能を設けて当該表示機能により警告を発してもよい。

　また、新規作業員４００ｂの動作と標準動作モデル又は作業マニュアル情報若しくは工程表情報との間に異なる点が検出された場合に、制御部６６６２は、標準動作モデルを参照して、第２人型ロボット６０２０ｂに再現動作を改めて行わせてもよい。これにより、新規作業員４００ｂの動作がお手本となる所定動作と異なる場合に、第２人型ロボット６０２０ｂの再現動作を通じて、新規作業員４００ｂにお手本となる所定動作を再度確認させることができ、新規作業員４００ｂの作業の習熟を図ることができる。

　（実施形態６に係る作業習熟システムの作用効果）
　本実施形態に係る作業習熟システム６１００によれば、作業のお手本となる習熟作業員４００ａの所定動作に対応するセンシング情報に基づいて標準動作モデルが学習され、当該標準動作モデルを参照して作業再現ロボットが作動することとなる。これにより、作業再現ロボットの動作がお手本としての所定動作を行うこととなり、作業再現ロボットの動作を作業員の参考にさせることで、作業員の作業の習熟を図ることができる。

　特に、本実施形態に係る作業習熟システム６１００によれば、第２センシング情報に基づいて、新規作業員４００ｂの動作が標準動作モデルと異なる点を検出する。これにより、新規作業員４００ｂの動作が望ましい動作と異なることを把握させることできる。

　また、本実施形態に係る作業習熟システム６１００によれば、第２センシング情報に基づいて、新規作業員４００ｂの動作が、作業マニュアル情報又は工程表情報と異なる点を検出する。熟練作業員４００ａは、原則お手本となる所定動作を行うが、常に作業に忠実な動作をするとは限らず、場合によっては無駄な動作をしたり、あるいは必要な動作を省いたりすることもある。そこで、本来的に適正とされる動作や順序を表した情報である作業マニュアル情報や工程表情報との比較で異なる点を検出することで、新規作業員４００ｂの動作を、より望ましい動作に導くことが可能となる。

　（実施形態６の変形例１）
　図５４Ａ、５４Ｂは、本実施形態の変形例１に係る作業習熟システムの一例を示す図である。

　図５４Ａは、本開示に係る実施形態６の変形例１に係る作業習熟システムでの、システム構成の一例を示す図である。本作業習熟システムでは、移動式ロボット及び作業再現ロボットとして機能する人型ロボット６０２０'に胴体センサ６０２３''（胴体撮像装置６０２４''）が設けられている点が特徴となっている。また、本作業習熟システムでは、管理制御装置６０６０は必ずしも必要ではなく、人型ロボット６０２０'単体で作業習熟システムを構成することができる。

　図５４Ｂは、図５４Ａに示す人型ロボットの一例を示す図である。移動式ロボット兼作業再現ロボットとして機能する人型ロボット６０２０'は、ロボット本体６０２１'と、ロボット移動機構６０２２'と、頭部センサ６０２３'と、頭部センサ６０２３'に含まれる頭部撮像装置６０２４'と、胴体センサ６０２３''と、胴体センサ６０２３''に含まれる胴体撮像装置６０２４''と、情報処理装置６０２５'と、ロボット腕部６０２６'と、を備える。

　ロボット本体６０２１'は、ロボット胴体６２１１'と、ロボット頭部６２１２'とを備える。ロボット胴体６２１１'とロボット頭部６２１２'とは、胴体／腕部駆動機構６０２１'（図５５参照）を構成し、頭部センサ６０２３'（頭部撮像装置６０２４'）のセンシング領域６２３０'（撮像領域６２４０'）及び胴体センサ６０２３''（胴体撮像装置６０２４''）のセンシング領域６２３０''（撮像領域６２４０''）を変更することが可能である。

　頭部センサ６０２３'（頭部撮像装置６０２４'）は熟練作業員４００ａをセンシングし、胴体センサ６０２３''（胴体撮像装置６０２４''）は新規作業員４００ｂをセンシングする。頭部センサ６０２３'（頭部撮像装置６０２４'）と胴体センサ６０２３''（胴体撮像装置６０２４''）とは、高さ位置が異なる箇所に配置されることから、胴体センサ６０２３''（胴体撮像装置６０２４''）は、頭部センサ６０２３'（頭部撮像装置６０２４'）と異なる位置からセンシング対象の各動作をセンシングすることとなる。なお、頭部センサ６０２３'（頭部撮像装置６０２４'）のセンシング対象と、胴体センサ６０２３ｄ（胴体撮像装置６０２４ｄ）のセンシング対象とは、逆に構成されていてもよい。

　情報処理装置６０２５'の構成は、第２人型ロボット６０２０ｂの第２情報処理装置６０２５ｂと同様である。ロボット腕部６０２６'についても第２人型ロボット６０２０ｂと同様である。

　図５５は、本作業習熟システムでの、人型ロボットの機能の一例を示すブロック図である。作業習熟システム６１００'では、情報処理装置６０２５'は、情報処理部６０６６'と、通信インタフェース１２２２'と、記憶装置１２２４'とを備え、情報処理部６０６６'は、判定部６６６１'と、制御部６６６２'と、学習部６６６３'と、生成部６６６４'と、検出部６６６５'と、を備える。すなわち、作業習熟システム６１００'では、情報処理部６０６６'が管理制御装置６０６０の処理部６０６６と同様の処理を行う。なお、情報処理装置６０２５'は、頭部センサ６０２３'（頭部撮像装置６０２４'）、胴体センサ６０２３''（頭部撮像装置６０２４''）、胴体／頭部駆動機構６０２１'、ロボット移動機構６０２２'及び腕部駆動機構６０２６'と、通信可能に構成されている。

　作業習熟システム６１００'の人型ロボット６０２０'は、情報処理装置６０２５'に情報処理部６０６６'が備えられていることから、人型ロボット６０２０'単体で作業習熟システムを構成する。

　図５４も参照して、本作業再現システムでは、人型ロボット６０２０'は、熟練作業員４００ａの所定動作をセンシング可能なセンサである頭部センサ６０２３'（頭部撮像装置６０２４'）、及び新規作業員４００ｂの動作をセンシング可能なセンサである胴体センサ６０２３'（胴体撮像装置６０２４'）と通信可能な情報処理装置６０２５'を備え、頭部センサ６０２３'（頭部撮像装置６０２４'）により熟練作業員４００ｂをセンシングする一方、胴体センサ６０２３ｄ（胴体撮像装置６０２４ｄ）により新規作業員４００ｂをセンシングする。具体的には、生成部６６４'は、熟練作業員４００ａの所定動作及び新規作業員４００ｂの動作をセンシングすることを目的として、頭部センサ６０２３'（頭部撮像装置６０２４'）及び胴体センサ６０２３''（胴体撮像装置６０２４''）並びにロボット移動機構６０２２'及び／又は胴体／頭部駆動機構６０２１'を作動させる第３センシング指示を生成する。制御部６６６２'は、第３センシング指示を参照して各機構を作動させるプログラムを起動する。

　通信インタフェース１２２２'は、各センサ（各撮像装置）により取得されたセンシング情報を取得し、情報処理部６０６６'に送信する。学習部６６６３’は、頭部センサ６０２３'（頭部撮像装置６０２４'）を用いて取得した第１センシング情報に基づいて、標準動作モデルを学習する。生成部６６６４'は、学習部６６６３'の学習結果を参照して標準動作モデルを生成する。記憶装置（記憶部）１２２４'は、生成部６６６４'で生成された標準動作モデルを記憶する。

　制御部６６６２'は、記憶装置１２２４'に記憶された標準動作モデルを参照して人型ロボット６０２０'に再現動作を行わせ得る。さらに、検出部６６６５'は、胴体センサ６０２３ｄ（胴体撮像装置６０２４ｄ）を用いて取得した新規作業員４００ｂの動作に対応する第２センシング情報に基づいて、新規作業員４００ｂの動作が標準動作モデルと異なる点を検出する。

　また、記憶部１２２４'は、作業マニュアル情報又は工程表情報を記憶し、検出部６６６５'は、胴体センサ６０２３ｄ（胴体撮像装置６０２４ｄ）を用いて取得した新規作業員４００ｂの動作に対応する第２センシング情報に基づいて、新規作業員４００ｂの動作が、記憶装置１２２４'に記憶された作業マニュアル情報又は工程表情報と異なる点を検出する。

　（変形例１の作用効果）
　本作業習熟システムによれば、人型ロボット６０２０'は単独で作業習熟システムを構成することができることから、例えば、管理制御装置６０６０との通信ができないような場所においても、各作業員のセンシング及びお手本となる再現動作を行うことが可能となる。

　また、本人型ロボット６０２０'は、複数（本変形例では２つ）のセンサ（撮像装置）を備えていることから、例えば、各作業員をセンシングするには狭い場所においても、各作業員のセンシング及びお手本となる再現動作を行うことが可能となる。

　また、本作業習熟システムによれば、一方でお手本となる熟練作業員４００ａの所定動作をセンシングして学習しつつ、他方で習熟対象となる新規作業員４００ｂの動作をセンシングし、標準動作モデルと異なる点を検出する行為を、一体の作業再現ロボットで同時並行的に行うことができる。これにより、熟練作業員４００ａと新規作業員４００ｂとが同時に作業するような環境下においても、スペースを不必要に取ることなく、新規作業員４００ｂの作業の習熟を図ることができる。

　なお、本作業習熟システムにおいて、移動式ロボット及び作業再現ロボットとして機能する人型ロボットは、必ずしも１台である必要はなく、複数台であってもよい。この場合、人型ロボットの数が増えるだけ、センサの数は人型ロボットの倍数分増えることとなり、一度にセンシング情報を多く取得することができる。

　本実施形態の作業習熟システム６１００では、各作業員に対して、センサを備える人型ロボットはそれぞれ１台ずつ配置するものとして説明した。しかし、センサを備える人型ロボットの数は、各作業員に対して２台以上であってもよい。例えば、センサを備える人型ロボットの台数が多ければ、それぞれ異なる位置、高さ及び／又は向きから各作業員の各動作をセンシングするよう複数のセンサを配置することが可能となる。これにより、各作業員の各動作の学習に必要な様々なデータを取得しやすくなると共に、各作業員の各所定部位を全体的にカバーできるようにセンシングすることができる。

　また、本実施形態では、熟練作業員４００ａと新規作業員４００ｂとが同じ作業ライン２０１に存在するものとして説明した。しかし、熟練作業員４００ａと新規作業員４００ｂとは異なる場所に存在していて、各作業員をセンシングする各人型ロボットも、異なる場所に配置されていてもよい。

　また、本実施形態では、熟練作業員４００ａの所定動作の学習を自動学習により行うものとして説明した。しかし、学習は必ずしも自動学習である必要はなく、他の既知の機械学習、例えばディープラーニング（深層学習）や教師なし／あり学習、強化学習等であってもよい。

　また、本実施形態では、作業再現ロボットとして機能する第２人型ロボット６０２０ｂに、新規作業員４００ｂをセンシングさせる構成を説明した。この構成によれば、人型ロボットの台数を削減することができ、ロボット作製に掛かる費用及びコストを節約できる。もっとも、作業再現ロボットとして機能する人型ロボットと、新規作業員４００ｂをセンシングする人型ロボットとが、それぞれ備えられていてもよい。

　また、本実施形態では、移動式ロボットと作業再現ロボットとは同じ人型ロボットであるものして説明した。この場合、移動式ロボットを作業再現ロボットに併用するといったことが可能となり、ロボット作製に係る費用及びコストを節約できる。もっとも、移動式ロボットと作業再現ロボットとは、異なるロボットであってもよい。

　また、本実施形態では、各作業員のセンシングに、センサ（撮像装置）、移動機構及び駆動機構を備える人型ロボットを採用した。これによれば、作業員の所定動作に対応して、移動機構や駆動機構を作動させ、センシング領域（撮像装置）を作業員の所定動作に追従させることができる。もっとも、各作業員をセンシングできる構成であれば、移動機構及び駆動機構を備える人型ロボットでなくてもよい。

　また、本実施形態では、標準動作モデルを参照して第２人型ロボット６０２０ｂに再現動作を行わせた（Ｓ６１０３）後に、動作検出する（Ｓ６１０５）構成を説明した。しかしながら、Ｓ６１０３の処理とＳ６１０５の処理とは、必ずしもこの順序である必要はなく、Ｓ６１０５の処理のあとにＳ６１０３の処理が行われてもよい。

　また、本変形例１では、単独で作業習熟システムを構成する作業再現ロボット（人型ロボット６０２０'）は、センサを備えるものとして説明した。しかしながら、作業再現ロボットは、作業員の動作をセンシング可能なセンサと通信可能な情報処理装置を備えていればよく、必ずしもセンサを備える必要はない。

　なお、「熟練」や「新規」といった用語は、限定的に解釈されるべきではない。例えば、第１作業員と第２作業員との間に、第１作業員の方が第２作業員よりも作業の習熟度が高いといった、作業の習熟の差があれば、第１作業員の所定動作のセンシングにより取得されるセンシング情報は「熟練作業員の所定動作に対応する第１センシング情報」に該当すると共に、第２作業員の動作のセンシングにより取得されるセンシング情報は「新規作業員の動作に対応する第２センシング情報」に該当することとなる。

　２０２２年１０月１８日に出願された日本国特許出願２０２２－１６７２２１号の開示、２０２２年１１月８日に出願された日本国特許出願２０２２－１７８８９５号の開示、２０２２年１１月１０日に出願された日本国特許出願２０２２－１８０３７６号の開示、２０２２年１１月１５日に出願された日本国特許出願２０２２－１８２６４１号の開示、２０２２年１１月１７日に出願された日本国特許出願２０２２－１８４３４５号の開示、及び２０２２年１１月１８日に出願された日本国特許出願２０２２－１８４８５６号の開示は、その全体が参照により本明細書に取り込まれる。

　１００　作業ロボット調整システム
　２００　作業場
　２０１　作業ライン
　４００　作業員
　２０　人型ロボット（移動式ロボット、作業ロボット）
　２３　ロボット用センサ
　２４　ロボット用撮像装置
　２５　情報処理装置
　３０　センサ取付部材
　３３　取付部材用センサ
　３４　取付部材用撮像装置
　６０　管理制御装置

Claims

　センサを有する移動式ロボットを作業員が動作する環境に移動させ、
　前記センサを用いて作業員の動作を記録し、
　前記記録に基づいて、作業員の動作を学習し、
　前記学習に基づいて、作業員の動作と同じ動作を作業ロボットに行わせ、
　作業員の動作と前記作業ロボットの動作とが一致するように調整する、
　工程を有する作業ロボット調整方法。
　前記移動式ロボットと前記作業ロボットは同一のロボットである、請求項１に記載の作業ロボット調整方法。
　前記センサは、撮像装置を含み、
　前記撮像装置は、前記移動式ロボットより高い位置に配置されている、
　請求項１又は２に記載の作業ロボット調整方法。
　センシング対象の所定動作をセンシングするための第１センサと、
　前記第１センサと異なる位置から前記センシング対象の所定動作をセンシングするための第２センサと、
　前記第１センサと、第１移動機構とを備える第１移動式ロボットと、
　前記第１センサ、前記第２センサ及び前記第１移動機構と通信可能な管理制御装置と、を備え、
　前記管理制御装置は、
　　前記第１センサにより取得される第１情報及び前記第２センサにより取得される第２情報から、前記センシング対象が所定動作時に可動する所定部位がセンシングされるか否かを判定する判定部と、
　　前記判定部により前記所定部位がセンシングされていないと判定された場合、前記所定部位がセンシングされる様に前記第１移動機構を作動させる制御部と、を有する、
　ことを特徴とするセンシングシステム。
　前記第２センサは、第２移動機構を備える第２移動式ロボットに配置され、
　前記制御部は、前記判定部により前記所定部位がセンシングされていないと判定された場合、前記所定部位がセンシングされる様に前記第１移動機構及び前記第２移動機構を作動させる、
　請求項４に記載のセンシングシステム。
　前記制御部は、前記第１センサが前記所定部位の一部をセンシングするように前記第１移動機構を作動させ、且つ、前記第２センサが前記所定部位の他部をセンシングするように前記第２移動機構を作動させる、請求項５に記載のセンシングシステム。
　作業ロボットをさらに備え、
　前記管理制御装置は、
　　前記第１情報、及び、前記第２情報を記憶する記憶部と、
　　前記記憶部に記憶された前記第１情報及び前記第２情報を参照して前記所定動作を学習する学習部と、
　　前記学習部による学習結果を参照して、前記作業ロボットに動作指示を与える動作情報を生成する動作情報生成部と、をさらに有する、
　請求項４～６の何れか一項に記載のセンシングシステム。
　前記記憶部は、予め、前記センシング対象の作業マニュアル情報、又は、工程表情報を記憶し、
　前記動作情報生成部は、前記学習部による学習結果、及び、前記センシング対象の作業マニュアル情報又は工程表情報を参照して、前記作業ロボットに動作指示を与える動作情報を生成する、請求項７に記載のセンシングシステム。
　センシング対象の所定動作をセンシングするための第１センサと、
　前記第１センサと異なる位置から前記センシング対象の所定動作をセンシングするための第２センサと、
　前記第１センサと、第１移動機構とを備える第１移動式ロボットと、
　前記第１センサ、前記第２センサ及び前記第１移動機構と通信可能な管理制御装置と、を備え、
　前記管理制御装置は、
　　前記第１センサにより取得される第１情報及び前記第２センサにより取得される第２情報から、前記センシング対象が所定動作時に可動する所定部位がセンシングされるか否かを判定し、
　　前記判定により前記所定部位がセンシングされていないと判定された場合、前記所定部位がセンシングされる様に前記第１移動機構を作動させる、
　ことを特徴とするセンシング方法。
　センシング対象の所定動作をセンシングするための第１センサと、
　前記第１センサと異なる位置から前記センシング対象の所定動作をセンシングするための第２センサと、
　前記第１センサと、第１移動機構とを備える第１移動式ロボットと、
　前記第１センサ、前記第２センサ及び前記第１移動機構と通信可能な管理制御装置と、を備え、
　前記管理制御装置は、
　　前記第１センサにより取得される第１情報及び前記第２センサにより取得される第２情報から、前記センシング対象が所定動作時に可動する所定部位がセンシングされるか否かを判定し、かつ前記第１センサによりセンシングされる所定部位と前記第２センサによりセンシングされる所定部位とが同一であるか否かを判定する判定部と、
　　前記第１センサによりセンシングされる所定部位と前記第２センサによりセンシングされる所定部位とが同一であると判定された場合、前記第１センサによりセンシングされる所定部位と前記第２センサによりセンシングされる所定部位とが異なる様に前記第１移動機構を作動させる制御部と、を有する、
　ことを特徴とするセンシングシステム。
　移動式ロボットであって、
　移動機構と、
　センシング対象をセンシングする第１センサと、
　前記第１センサと異なる位置から前記センシング対象をセンシングする第２センサと、
　前記第２センサの位置を移動させることが可能な駆動機構と、
　前記第１センサ、前記第２センサ、前記移動機構、及び、前記駆動機構を制御する情報処理部と、を備え、
　前記情報処理部は、
　　前記第１センサにより取得される第１情報及び前記第２センサにより取得される第２情報から、前記センシング対象が所定動作時に可動する所定部位がセンシングされるか否かを判定する判定部と、
　　前記判定部により前記所定部位がセンシングされていないと判定された場合、前記所定部位がセンシングされる様に前記移動機構又は前記駆動機構を作動させる制御部と、を有する、
　ことを特徴とする移動式ロボット。
　移動式ロボットであって、
　移動機構と、
　センシング対象をセンシングする第１センサと、
　前記第１センサと異なる位置から前記センシング対象をセンシングする第２センサと、
　前記第２センサの位置を移動させることが可能な駆動機構と、
　前記第１センサ、前記第２センサ、前記移動機構、及び、前記駆動機構を制御する情報処理部と、を備え、
　前記情報処理部は、
　　前記第１センサにより取得される第１情報及び前記第２センサにより取得される第２情報から、前記センシング対象が所定動作時に可動する所定部位がセンシングされるか否かを判定し、かつ前記第１センサによりセンシングされる所定部位と前記第２センサによりセンシングされる所定部位とが同一であるか否かを判定する判定部と、
　　前記第１センサによりセンシングされる所定部位と前記第２センサによりセンシングされる所定部位とが同一であると判定された場合、前記第１センサによりセンシングされる所定部位と前記第２センサによりセンシングされる所定部位とが異なる様に前記移動機構又は前記駆動機構を作動させる制御部と、を有する、
　ことを特徴とする移動式ロボット。
　センシング対象の所定動作をセンシングするための第１センサと、
　動作指示により動作する作業ロボットと、
　前記作業ロボットのロボット動作をセンシングするための第２センサと、
　前記第１センサ、前記第２センサ、及び、前記作業ロボットと通信可能な管理制御装置と、を備え、
　前記管理制御装置は、
　　前記第１センサにより取得される第１情報を参照して前記所定動作を学習する学習部と、
　　前記学習部による前記所定動作の学習結果を参照して、前記作業ロボットに前記動作指示を与える動作制御情報を生成する動作情報生成部と、
　　前記第１情報と前記第２センサにより取得される第２情報とを比較して、前記作業ロボットの前記ロボット動作が前記所定動作に近似するように前記動作制御情報を調整する調整部と、を有する、
　ことを特徴とするセンシングシステム。
　前記管理制御装置は、前記第１センサによる前記第１情報の取得と、前記第２センサによる前記第２情報の取得を同時に行う、請求項１３に記載のセンシングシステム。
　前記管理制御装置は、前記第１センサによる前記第１情報の取得と、前記第２センサによる前記第２情報の取得を、別々に行う、請求項１３に記載のセンシングシステム。
　前記管理制御装置は、前記第１情報、前記第２情報、及び、前記所定動作に関連する作業マニュアル情報を記憶する記憶部を更に有し、
　前記動作情報生成部は、前記学習部による前記所定動作の学習結果、及び、前記作業マニュアル情報を参照して、前記動作制御情報を生成する、請求項１３～１５の何れか一項に記載のセンシングシステム。
　前記動作情報生成部は、前記作業マニュアル情報と相反する前記学習部による前記所定動作の学習結果を、動作制御情報を生成する際に採用しない、請求項１６に記載のセンシングシステム。
　前記第１センサ又は前記第２センサは、移動機構を備える移動式ロボットに配置され、
　前記移動式ロボットは、前記管理制御装置と通信可能である、
　請求項１３に記載のセンシングシステム。
　センシング対象の所定動作をセンシングするための第１センサと、
　動作指示により動作する作業ロボットと、
　前記作業ロボットのロボット動作をセンシングするための第２センサと、
　前記第１センサ、前記第２センサ、及び、前記作業ロボットと通信可能な管理制御装置と、を備え、
　前記管理制御装置は、
　　前記第１センサにより取得される第１情報を参照して前記所定動作を学習し、
　　前記学習による前記所定動作の学習結果を参照して、前記作業ロボットに前記動作指示を与える動作制御情報を生成し、
　　前記第１情報と前記第２センサにより取得される第２情報とを比較して、前記作業ロボットの前記ロボット動作が前記所定動作に近似するように前記動作制御情報を調整する、
　ことを特徴とするセンシング方法。
　動作指示により動作する作業ロボットであって、
　センシング対象の所定動作をセンシングするための第１センサと、
　前記作業ロボットのロボット動作をセンシングするための第２センサと、
　前記第１センサ及び前記第２センサと通信可能な情報処理部と、を備え、
　前記情報処理部は、
　　前記第１センサにより取得される第１情報を参照して前記所定動作を学習する学習部と、
　　前記学習部による前記所定動作の学習結果を参照して、前記作業ロボットに前記動作指示を与える動作制御情報を生成する動作情報生成部と、
　　前記第１情報と前記第２センサにより取得される第２情報とを比較して、前記作業ロボットの前記ロボット動作が前記所定動作に近似するように前記動作制御情報を調整する調整部と、を有する、
　ことを特徴とする作業ロボット。
　作業ロボットと、
　センサと、
　前記作業ロボット及び前記センサと通信可能な管理制御装置と、を備え、
　前記管理制御装置は、
　　前記センサを用いて取得した前記センシング対象の所定動作に対応するセンシング情報に基づいて、前記センシング対象の所定動作に対応した標準動作モデルを学習する学習部と、
　　前記標準動作モデルを参照して、前記標準動作モデルにおける各動作の実行時間を、前記標準動作モデルの生成時の各動作の所要時間よりも短く設定した改変動作モデルを生成するモデル生成部と、
　　前記改変動作モデルを参照して前記作業ロボットを作動させる制御部と、を備える、
　ことを特徴とする動作改変システム。
　前記管理制御装置は、前記センシング対象の作業マニュアル情報、又は、工程表情報を記憶する記憶部を更に有し、
　前記学習部は、前記センシング情報、及び、前記センシング対象の作業マニュアル情報又は工程表情報を参照して、前記標準動作モデルを生成する、
　請求項２１に記載の動作改変システム。
　作業ロボットと、
　複数の異なるセンシング対象をそれぞれセンシングするための複数のセンサと、
　前記作業ロボット及び前記複数のセンサと通信可能な管理制御装置と、を備え、
　前記管理制御装置は、
　　前記複数のセンサを用いて取得した前記複数のセンシング対象の所定動作に対応する複数のセンシング情報に基づいて、前記複数のセンシング対象の各所定動作、及び前記複数のセンシング対象の各所定動作に対応した複数の標準動作モデルを学習する学習部と、
　　前記複数の標準動作モデルを参照して、前記複数のセンシング対象による所定動作の少なくとも一部を統合した改変動作モデルを生成するモデル生成部と、
　　前記改変動作モデルを参照して前記作業ロボットを作動させる制御部と、を備える、
　ことを特徴とする動作改変システム。
　前記作業ロボットは複数台設けられ、
　前記制御部は、前記複数台の作業ロボットを作動させる、
　請求項２１から２３のいずれか一項に記載の動作改変システム。
　センサを用いて取得したセンシング対象の所定動作に対応するセンシング情報に基づいて、前記センシング対象の所定動作に対応した標準動作モデルを学習し、
　前記標準動作モデルを参照して、前記標準動作モデルにおける各動作の実行時間を、前記標準動作モデルの生成時の各動作の所要時間よりも短く設定した改変動作モデルを生成し、
　前記改変動作モデルを参照して作業ロボットを作動させる、
　ことを特徴とする動作改変方法。
　作業ロボットであって、
　前記作業ロボットを動作させるための駆動機構と、
　センサを用いて取得したセンシング対象の所定動作に対応するセンシング情報に基づいて、前記センシング対象の所定動作に対応した標準動作モデルを学習する学習部と、
　前記標準動作モデルを参照して、前記標準動作モデルにおける各動作の実行時間を、前記標準動作モデルの生成時の各動作の所要時間よりも短く設定した改変動作モデルを生成するモデル生成部と、
　前記改変動作モデルを参照して前記駆動機構を制御させる作業ロボットを作動させる制御部と、
　を有することを特徴とする作業ロボット。
　作業再現ロボットと、
　前記作業再現ロボットの動作をセンシング可能なセンサと、
　前記作業再現ロボット及びセンサと通信可能な管理制御装置と、を備え、
　前記管理制御装置は、
　　センシング対象の所定動作に対応する第１センシング情報に基づいて前記センシング対象の所定動作に対応した標準動作モデルを学習する学習部と、
　　前記標準動作モデルを参照して前記作業再現ロボットに再現動作を１回以上行わせる制御部と、
　　事故又は誤動作情報を入力する入力部と、
　　前記センサを用いて取得した前記作業再現ロボットの再現動作に対応する第２センシング情報に基づいて、前記事故又は誤動作の発生を検知する検知部と、を備える、
　ことを特徴とする作業再現システム。
　作業再現ロボットと、
　前記作業再現ロボットの動作をセンシング可能なセンサと、
　前記作業再現ロボット及びセンサと通信可能な管理制御装置と、を備え、
　前記管理制御装置は、
　　センシング対象の所定動作に対応する第１センシング情報に基づいて前記センシング対象の所定動作に対応した標準動作モデルを学習する学習部と、
　　前記標準動作モデルを参照して前記作業再現ロボットに再現動作を１回以上行わせる制御部と、
　　前記センシング対象の作業マニュアル情報、又は、工程表情報を記憶する記憶部と、
　　前記センサを用いて取得した前記作業再現ロボットの再現動作に対応する第２センシング情報に基づいて、前記作業マニュアル情報、又は、前記工程表情報と異なる動作の発生を検知する検知部と、を備える、
　ことを特徴とする作業再現システム。
　作業再現ロボットと、
　前記作業再現ロボットの動作をセンシング可能なセンサと、
　前記作業再現ロボット及びセンサと通信可能な管理制御装置と、を備え、
　前記管理制御装置は、
　　センシング対象の所定動作に対応する第１センシング情報に基づいて前記センシング対象の所定動作に対応した標準動作モデルを学習し、
　　前記標準動作モデルを参照して前記作業再現ロボットに再現動作を１回以上行わせ、
　　事故又は誤動作情報を入力し、
　　前記センサを用いて取得した前記作業再現ロボットの再現動作に対応する第２センシング情報に基づいて、前記事故又は誤動作の発生を検知する、
　ことを特徴とする作業再現方法。
　作業再現ロボットと、
　前記作業再現ロボットの動作をセンシング可能なセンサと、
　前記作業再現ロボット及びセンサと通信可能な管理制御装置と、を備え、
　前記管理制御装置は、
　　センシング対象の所定動作に対応する第１センシング情報に基づいて前記センシング対象の所定動作に対応した標準動作モデルを学習し、
　　前記標準動作モデルを参照して前記作業再現ロボットに再現動作を１回以上行わせ、
　　前記センシング対象の作業マニュアル情報、又は、工程表情報を記憶し、
　　前記センサを用いて取得した前記作業再現ロボットの再現動作に対応する第２センシング情報に基づいて、前記作業マニュアル情報、又は、前記工程表情報と異なる動作の発生を検知する、
　ことを特徴とする作業再現方法。
　作業再現ロボットであって、
　前記作業再現ロボットの動作をセンシング可能なセンサと通信可能な情報処理装置と、を備え、
　前記情報処理装置は、
　　センシング対象の所定動作に対応する第１センシング情報に基づいて前記センシング対象の所定動作に対応した標準動作モデルを学習する学習部と、
　　前記標準動作モデルを参照して前記作業再現ロボットに再現動作を１回以上行わせる制御部と、
　　事故又は誤動作情報を入力する入力部と、
　　外部の前記センサを用いて取得された前記作業再現ロボットの再現動作に対応する第２センシング情報に基づいて、前記事故又は誤動作の発生を検知する検知部と、を備える、
　ことを特徴とする作業再現ロボット。
　作業再現ロボットであって、
　前記作業再現ロボットの動作をセンシング可能なセンサと通信可能な情報処理装置と、を備え、
　前記情報処理装置は、
　　センシング対象の所定動作に対応する第１センシング情報に基づいて前記センシング対象の所定動作に対応した標準動作モデルを学習する学習部と、
　　前記標準動作モデルを参照して前記作業再現ロボットに再現動作を１回以上行わせる制御部と、
　　前記センシング対象の作業マニュアル情報、又は、工程表情報を記憶する記憶部と、
　　前記センサを用いて取得された前記作業再現ロボットの再現動作に対応する第２センシング情報に基づいて、前記作業マニュアル情報、又は、前記工程表情報と異なる動作の発生を検知する検知部と、
　ことを特徴とする作業再現ロボット。
　作業再現ロボットと、
　新規作業員の動作をセンシング可能なセンサと、
　前記作業再現ロボット及びセンサと通信可能な管理制御装置と、を備え、
　前記管理制御装置は、
　　熟練作業員の所定動作に対応する第１センシング情報に基づいて学習した標準動作モデルを記憶する記憶部と、
　　前記標準動作モデルを参照して前記作業再現ロボットに再現動作を行わせる制御部と、
　　前記センサを用いて取得した前記新規作業員の動作に対応する第２センシング情報に基づいて、前記新規作業員の動作が前記標準動作モデルと異なる点を検出する検出部と、を備える、
　ことを特徴とする作業習熟システム。
　前記記憶部は、更に、作業マニュアル情報、又は、工程表情報を記憶し、
　前記検出部は、前記センサを用いて取得した前記新規作業員の動作に対応する第２センシング情報に基づいて、前記新規作業員の動作が、前記作業マニュアル情報、又は、前記工程表情報と異なる点を検出する、
　請求項３３に記載の作業習熟システム。
　作業再現ロボットと、
　新規作業員の動作をセンシング可能なセンサと、
　前記作業再現ロボット及びセンサと通信可能な管理制御装置と、を備え、
　前記管理制御装置は、
　　熟練作業員の所定動作に対応する第１センシング情報に基づいて学習した標準動作モデルを記憶し、
　　前記標準動作モデルを参照して前記作業再現ロボットに再現動作を行わせ、
　　前記センサを用いて取得した前記新規作業員の動作に対応する第２センシング情報に基づいて、前記新規作業員の動作が前記標準動作モデルと異なる点を検出する、
　ことを特徴とする作業習熟方法。
　作業再現ロボットであって、
　新規作業員の動作をセンシング可能なセンサと通信可能な情報処理装置と、を備え、
　前記情報処理装置は、
　　熟練作業員の所定動作に対応する第１センシング情報に基づいて学習した標準動作モデルを記憶する記憶部と、
　　前記標準動作モデルを参照して前記作業再現ロボットに再現動作を行わせる制御部と、
　　前記センサを用いて取得された前記新規作業員の動作に対応する第２センシング情報に基づいて、前記新規作業員の動作が前記標準動作モデルと異なる点を検出する検出部と、を備える、
　ことを特徴とする作業再現ロボット。