[go: up one dir, main page]

WO2025191770A1 - エンドエフェクタ選択装置、エンドエフェクタ選択方法及び、プログラム - Google Patents

エンドエフェクタ選択装置、エンドエフェクタ選択方法及び、プログラム

Info

Publication number
WO2025191770A1
WO2025191770A1 PCT/JP2024/009934 JP2024009934W WO2025191770A1 WO 2025191770 A1 WO2025191770 A1 WO 2025191770A1 JP 2024009934 W JP2024009934 W JP 2024009934W WO 2025191770 A1 WO2025191770 A1 WO 2025191770A1
Authority
WO
WIPO (PCT)
Prior art keywords
end effector
information
information regarding
type
work
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/009934
Other languages
English (en)
French (fr)
Inventor
博之 大山
真澄 一圓
裕輝 田屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to PCT/JP2024/009934 priority Critical patent/WO2025191770A1/ja
Publication of WO2025191770A1 publication Critical patent/WO2025191770A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/04—Gripping heads and other end effectors with provision for the remote detachment or exchange of the head or parts thereof

Definitions

  • the present invention relates to an end effector selection device, an end effector selection method, and a program.
  • Patent Document 1 relates to a robot simulation device that selects a robot hand shape based on the possibility of grasping a workpiece, calculated for multiple robot hand shapes based on a robot hand shape model and depth data.
  • Patent Document 1 When controlling a robot arm to handle a target object using an end effector (for example, performing tasks such as picking, placing, or pushing), an example is shown in Patent Document 1, where an end effector is selected based on the shape of the target object and the object's placement, such as the depth of the location where the target object is placed.
  • the end effector required to handle the target object may change depending on factors such as the environment in which the target object is placed and the work being performed on the target object.
  • One of the objectives of the present invention is to provide an end effector selection device, an end effector selection method, a program, etc. that contribute to selecting an appropriate end effector for the environment in which the end effector will be used to perform work, the object on which the end effector will be used to perform work, and the work content.
  • an end effector selection device including an end effector selection unit that receives information regarding obstacles and item placement in the environment where work is to be performed by the end effector, and information regarding the operation of the end effector, and outputs information regarding the type of end effector to select based on the information regarding the obstacles and item placement and the information regarding the operation of the end effector.
  • a computer included in an end effector selection device comprises: receiving information about obstacles and object locations in an environment where the end effector is to perform a task, and information about the operation of the end effector;
  • An end effector selection method can be provided that outputs information about the type of end effector to be selected based on the information about the obstacle and object placement and the information about the operation of the end effector. This method is linked to a specific machine, called a computer, that executes the above method.
  • a computer included in an end effector selection device includes: a process for receiving information about obstacles and object locations in an environment where the end effector is to perform a task, and information about the operation of the end effector;
  • a program can be provided that executes a process of outputting information regarding the type of end effector to be selected based on the information regarding the obstacle and item placement and the information regarding the operation of the end effector.
  • the storage medium can be a non-transitory medium such as a semiconductor memory, hard disk, magnetic recording medium, or optical recording medium.
  • the present invention can also be embodied as a computer program product.
  • the present invention provides an end effector selection device, an end effector selection method, a program, etc. that contribute to selecting an appropriate end effector for the environment in which the end effector will be used to perform work, the object on which the end effector will be used to perform work, and the work content.
  • FIG. 1 is a block diagram illustrating an example of a configuration of an end effector selection device according to the present disclosure.
  • FIG. 10 is a block diagram illustrating an example configuration including additional components of an end effector selection device according to the present disclosure.
  • 1 is a block diagram illustrating an example of an environment in which work is performed by an end effector according to the present disclosure, and a sensor that acquires information about the environment.
  • FIG. FIG. 10 is a block diagram illustrating another example of the configuration of an end effector selection device according to the present disclosure.
  • FIG. 10 is a flowchart illustrating an example of the operation of an end effector selection device having another configuration according to the present disclosure.
  • 1 is a block diagram illustrating an example of a different configuration of an end effector selection device according to the present disclosure.
  • FIG. 10A-10C are flowcharts illustrating an example of the operation of different configurations of end effector selector devices according to the present disclosure.
  • FIG. 10 is a block diagram illustrating an example of a configuration of a modified example of an end effector selection device according to the present disclosure.
  • FIG. 10 is a flowchart illustrating an example of the operation of an end effector selection device having a modified configuration according to the present disclosure.
  • FIG. 10 is a diagram illustrating the configuration of a computer that constitutes an end effector selection device according to the present disclosure.
  • FIG. 1 is a block diagram showing an example of the configuration of an end effector selection device according to the present disclosure.
  • the end effector selection device 100 includes an end effector selection unit 110.
  • the end effector selection unit 110 receives information 111 about obstacles and item placement in the environment where work will be performed by the end effector, and information 112 about the operation of the end effector, and outputs information 113 about the type of end effector to select based on the information 111 about obstacles and item placement and the information 112 about the operation of the end effector.
  • the information 112 about the operation of the end effector includes information about the object on which work will be performed by the end effector and information about the work content.
  • information 111 regarding obstacles and item placement in the environment where work is to be performed by the end effector may be extracted by providing a sensor information processing unit 65 downstream of the sensor 60 shown in FIG. 3, and inputting the information 111 regarding obstacles and item placement in the environment where work is to be performed by the end effector to the end effector selection device 100 shown in FIG. 1 as information 111 regarding obstacles and item placement in the environment where work is to be performed by the end effector shown in FIGS. 1 and 2.
  • one embodiment can provide an end effector selection device, an end effector selection method, a program, etc. that contribute to selecting an appropriate end effector for the environment in which the end effector will be used to perform work, the object on which the end effector will be used to perform work, and the work content.
  • the end effector selection device 100B includes an end effector selection unit 110B and a relationship information storage unit 130.
  • information 112B relating to the object on which work is to be performed by the end effector and information relating to the work content, which is included in information 112 relating to the operation of the end effector may be input to the end effector selection device 100B shown in FIG. 2.
  • the relationship information storage unit 130 may also be configured to be located outside the end effector selection device 100B and to be connected to the end effector selection unit 110B via communications.
  • the relationship information storage unit 130 stores relationship information between the type of end effector, the target item and task content on which the end effector is to perform the work, and obstacles and item placement.
  • the relationship information storage unit 130 may also store a learned relationship determination model generated by training using training data that includes, as correct answer labels, information on the target item and task content on which the end effector is to perform the work, information on obstacles and item placement, and information on the type of end effector.
  • the relationship information may also be a learned relationship determination model.
  • the end effector selection unit 110B uses the relationship information stored in the relationship information storage unit 130 regarding the type of end effector, the target item and task content on which the end effector is to be used, and obstacles and item placement, to output information 113 regarding the type of end effector to be selected based on the input information regarding the target item, information regarding the task content 112B, and information regarding obstacles and item placement 111.
  • information 111 regarding obstacles and item placement in the environment where work is to be performed by the end effector may be extracted by providing a sensor information processing unit 65 downstream of the sensor 60 shown in FIG. 3, and inputting the information 111 regarding obstacles and item placement in the environment where work is to be performed by the end effector to the end effector selection device 100B shown in FIG. 2 as information 111 regarding obstacles and item placement in the environment where work is to be performed by the end effector shown in FIGS. 1 and 2.
  • the first embodiment can provide an end effector selection device, an end effector selection method, a program, etc. that contribute to selecting an appropriate end effector for the environment in which the end effector will be used to perform work, the object on which the end effector will be used to perform work, and the work content.
  • Fig. 3 is a block diagram showing an example of an environment in which work is to be performed by an end effector according to the present disclosure and a sensor that acquires information about the environment. Referring to Fig. 3, an example of an environment 10 in which work is to be performed and a sensor 60 that acquires information about the environment are shown.
  • the environment 10 in which work is to be performed includes a shelf 20, target items 30, 31, and 32, a robot arm 40, and an end effector 50 arranged at the tip of the robot arm 40. Also arranged on the shelf 20 are target items 30, 31, and 32 on which work is to be performed by the end effector. As an example, the shelf 21 and pillars 22 and 23 of the shelf 20 are obstacles to work by the robot arm 40, and the arrangement of the shelf 21 and pillars 22 and 23 is assumed to be information regarding obstacle arrangement. Also, the arrangement of the target items 30, 31, and 32 is assumed to be information regarding item arrangement.
  • the sensor 60 may be, for example, a camera that acquires images.
  • the sensor 60 acquires still images or videos of the environment 10 where work is to be performed, and outputs this as information (sensor information) 70 about the environment where work is to be performed by the end effector 50.
  • the information (sensor information) 70 about the environment where work is to be performed by the end effector may be point cloud data (also referred to as a point cloud).
  • the information (sensor information) 70 about the environment where work is to be performed by the end effector includes information about obstacles and item placement.
  • a sensor information processing unit 65 may be provided downstream of the sensor 60 to extract information 111 about obstacles and item placement, and input this information to the end effector selection device 100 in FIG. 1 and the end effector selection device 100B in FIG. 2 as information 111 about obstacles and item placement in the environment where work is to be performed by the end effector, as shown in FIGS. 1 and 2.
  • FIG. 4 is a block diagram showing another example of the configuration of an end effector selection device according to the present disclosure.
  • the end effector selection device 100C includes an end effector selection unit 110C, a relationship information storage unit 130, a simulator construction unit 140, and an operation feasibility evaluation unit 150.
  • the relationship information storage unit 130 may also be configured to be located outside the end effector selection device 100C and connected to the end effector selection unit 110C via communication.
  • FIG. 5 is a flowchart showing an example of the operation of an end effector selection device 100C having another configuration according to the present disclosure. The operation begins in step S501.
  • step S502 information (sensor information) 70 about the environment in which work will be performed by the end effector, a 3D CAD (3-Dimensional Computer Aided Design) model 141 of the robot and end effector, and a 3D CAD model 142 about the environment and layout are input to the simulator construction unit 140.
  • the simulator construction unit 140 constructs a simulator that simulates the three-dimensional layout of the environment in which work will be performed, based on the input information (sensor information) 70 about the environment in which work will be performed by the end effector, the 3D CAD model 141 of the robot and end effector, and the 3D CAD model 142 about the environment and layout.
  • the constructed simulator simulates the three-dimensional layout, and the simulator construction unit 140 outputs information 111B about obstacles and item placement.
  • the information 111B relating to obstacles and item placement is generated by a simulator that simulates the three-dimensional layout of the environment 10 in which the work is to be performed, which is generated based on information (sensor information) 70 relating to the environment in which the end effector is to perform the work.
  • the simulator construction unit 140 may generate a scene graph or the like, which is environmental information, for the range that the robot can reach, and output this as the information 111B relating to obstacles and item placement.
  • the simulator construction unit 140 For the simulator that simulates the three-dimensional layout of the environment in which the work is to be performed, which was constructed in step S502, the simulator construction unit 140 outputs a simulator model 143, which is sent to the operability evaluation unit 150, and the simulator model 143 is placed in the operability evaluation unit 150, and the simulator is executed.
  • the end effector selection unit 110C uses the relationship information stored in the relationship information storage unit 130 between the type of end effector, the target item and task content to be worked on by the end effector, and the obstacles and item placement to output information 113 regarding the type of end effector to be selected based on the input information 112B regarding the target item and task content and information 111B regarding the obstacles and item placement.
  • step S504 the operability evaluation unit 150 uses a model of the end effector corresponding to the information 113 regarding the type of end effector to be selected, and evaluates the work content using a simulator located in the operability evaluation unit 150.
  • step S505 the operability evaluation unit 150 determines whether the evaluation of the work content meets predetermined criteria. If the predetermined criteria are met (S505 YES), the process proceeds to step S506, where the operability evaluation unit 150 determines that the information 113 regarding the type of end effector to be selected is an operable type of end effector.
  • step S507 the operability assessment unit 150 outputs information 113 regarding the type of end effector to be selected that has been determined to be an operable end effector type. Then, processing ends in step S509.
  • step S505 NO the process proceeds to step S508, where the operability evaluation unit 150 sends an instruction 152 to the end effector selection unit 110C to change the type of end effector to be selected.
  • step S503 the end effector selection unit 110C, having received the instruction 152 to change the type of end effector to be selected, executes the same process as step S503 again, changes the type of end effector to be selected, and outputs information 113 regarding the changed type of end effector to be selected.
  • the second embodiment can provide an end effector selection device, an end effector selection method, a program, etc. that contribute to selecting an appropriate end effector for the environment in which the end effector will be used to perform work, the object on which the end effector will be used to perform work, and the work content.
  • FIG. 6 is a block diagram showing an example of a different configuration of an end effector selection device according to the present disclosure.
  • the end effector selection device 100D includes an end effector selection unit 110D and an action condition model storage unit 160.
  • the end effector selection unit 110D also includes an action feasibility verification unit 1110 and a selection unit 1140, and the action feasibility verification unit 1110 includes an action plan calculation unit 1120 and a feasibility determination unit 1130.
  • the operation condition model storage unit 160 may be configured to be located outside the end effector selection device 100D and to be connected via communication to the operation plan calculation unit 1120 of the operation possibility verification unit 1110 of the end effector selection unit 110D.
  • the motion condition model storage unit 160 stores information about the motion of the end effector, such as information about the target object on which the end effector performs work and information about the work content, as well as motion condition models 112C for each type of end effector within motion condition models 112C for each type of end effector.
  • the motion condition model storage unit 160 may also store, as motion condition models 112C, learned motion condition models generated for each end effector by training using training data that includes information about each target object, information about each obstacle and object placement, information about the initial and final states of each end effector, and motion condition evaluation values as correct labels.
  • FIG. 7 is a flowchart showing an example of the operation of an end effector selection device 100D with a different configuration according to the present disclosure. The operation begins in step S701.
  • step S702 information 111 regarding obstacles and item placement, information 112B regarding the target item, and information 112B regarding the task content are input to the end effector selection device 100D.
  • the motion plan calculation unit 1120 determines a motion plan for each type of end effector from information 111 about obstacles and item placement in the environment where the end effector will be working, and information about the motion of the end effector.
  • a motion planning problem is a problem where, by solving this problem, the motion of the end effector is output, and the motion plan can be determined by solving the motion planning problem.
  • the information about the motion of the end effector may include information about the item on which the end effector will be working, information about the work content 112B, and a motion condition model 112C for each type of end effector.
  • step S704 the motion plan calculation unit 1120 calculates the evaluation value of the optimal motion plan for each type of end effector for one or more types of end effectors.
  • step S705 the feasibility determination unit 1130 checks whether the actions in the action plan are feasible and updates the evaluation value according to the check result.
  • the evaluation value is updated so that if a collision occurs, the evaluation value will be significantly lowered.
  • step S706 the selection unit 1140 selects the end effector type with the largest updated evaluation value and outputs information about the selected end effector type.
  • the third embodiment can provide an end effector selection device, an end effector selection method, a program, etc. that contribute to selecting an appropriate end effector for the environment in which the end effector will be used to perform work, the object on which the end effector will be used to perform work, and the work content.
  • FIG. 8 is a block diagram showing an example of the configuration of a modified end effector selection device according to the present disclosure.
  • the end effector selection device 100E shown in FIG. 8 differs from the end effector selection device 100D shown in FIG. 6 in the following respects.
  • the end effector selection device 100E includes an end effector selection unit 110E, a simulator construction unit 140, and an operating condition model storage unit 160.
  • components with the same reference numerals as those in FIGS. 4 and 6 indicate the same components.
  • the motion plan calculation unit 1120 of the operation possibility verification unit 1110 of the end effector selection unit 110D is configured to input information 111 relating to obstacles and item placement in the environment on which work will be performed by the end effector, information 112B relating to the item on which work will be performed by the end effector and information relating to the work content, and information relating to the operation of the end effector, including an operation condition model 112C for each type of end effector, and to determine a motion plan for each type of end effector.
  • a simulator model 143 is output from the simulator construction unit 140 to a motion plan calculation unit 1120E of an operation possibility verification unit 1110E of the end effector selection unit 110E, and the motion plan calculation unit 1120E is configured to determine a motion plan for each type of end effector from the simulator model 143, information about the object on which the end effector will perform work, information about the work content 112B, and information about the operation of the end effector, including an operation condition model 112C for each type of end effector.
  • the simulator construction unit 140 may construct a model of the reachable range of an end effector, or a model of the reachable range of a robot arm equipped with an end effector that performs work, and output these as the simulator model 143.
  • the simulator model 143 may include information equivalent to the information 111 regarding obstacles and item placement input to the end effector selection device 100D shown in FIG. 6.
  • the simulator model 143 may also be generated by the simulator construction unit 140 as, for example, a scene graph or the like, which is environmental information, for the reachable range of the robot.
  • the motion plan calculation unit 1120E may determine a motion plan for each type of end effector for one or more types of end effectors from a simulator model 143, which is a model of the range that the end effector can reach during work, or a model of the range that a robot arm equipped with an end effector can reach during work, information about the object on which the end effector will work and information about the work content 112B, and information about the operation of the end effector, including an operation condition model 112C for each type of end effector.
  • a simulator model 143 which is a model of the range that the end effector can reach during work, or a model of the range that a robot arm equipped with an end effector can reach during work, information about the object on which the end effector will work and information about the work content 112B, and information about the operation of the end effector, including an operation condition model 112C for each type of end effector.
  • the feasibility determination unit 1130E may also check whether the planned motion is feasible using a simulator model 143, which is a model of the range that a robot arm equipped with an end effector can reach during work, and update the evaluation value according to the check results.
  • a simulator model 143 which is a model of the range that a robot arm equipped with an end effector can reach during work
  • FIG. 9 is a flowchart showing an example of the operation of an end effector selection device 100E having a modified configuration according to the present disclosure.
  • Steps S904, S906, and S907 in the flowchart shown in FIG. 9 are the same as steps S704, S706, and S707 in the flowchart shown in FIG. 7, and steps S902, S903, and S905 in FIG. 9 differ from the flowchart shown in FIG. 7. Operation begins at step S901.
  • step S902 information (sensor information) 70 about the environment in which work will be performed by the end effector, a 3D CAD (3-Dimensional Computer Aided Design) model 141 of the robot and end effector, and a 3D CAD model 142 about the environment and layout are input to the simulator construction unit 140.
  • the simulator construction unit 140 constructs a simulator that simulates the three-dimensional layout of the environment in which work will be performed from the input information (sensor information) 70 about the environment in which work will be performed by the end effector, the 3D CAD model 141 of the robot and end effector, and the 3D CAD model 142 about the environment and layout, and outputs simulator model 143.
  • step S903 the motion plan calculation unit 1120E determines a motion plan for each type of end effector from the simulator model 143, information about the object on which the end effector will work, information about the work content 112B, and information about the motion of the end effector, including the motion condition model 112C for each type of end effector.
  • step S904 similar to step S704 in FIG. 7, the motion plan calculation unit 1120E calculates the evaluation value of the optimal motion plan for each type of end effector for one or more types of end effectors.
  • step S905 the feasibility determination unit 1130E uses the simulator model 143 to confirm whether the actions in the action plan are feasible, and updates the evaluation value according to the confirmation result.
  • the evaluation value is updated so that if a collision occurs, the evaluation value will be significantly lowered.
  • step S906 similar to step S706 in FIG. 7, the selection unit 1140 selects the type of end effector with the largest updated evaluation value and outputs information about the type of end effector to be selected.
  • step S907 similar to step S707 in FIG. 7, the end effector selection device 100E outputs the information regarding the type of end effector to be selected output by the end effector selection unit 110E. Processing ends in step S908.
  • the fourth embodiment can provide an end effector selection device, an end effector selection method, a program, etc. that contribute to selecting an appropriate end effector for the environment in which the end effector will be used to perform work, the object on which the end effector will be used to perform work, and the work content.
  • the procedures shown in the above-described embodiment and the first to fourth embodiments can be realized by a program that causes a computer (9000 in FIG. 10) that functions as the end effector selection device of the present invention to realize the functions of the end effector selection device.
  • a computer is exemplified by a configuration including a CPU (Central Processing Unit) 9010, a communication interface 9020, memory 9030, and an auxiliary storage device 9040 in FIG. 10.
  • the CPU 9010 in FIG. 10 executes the control program for the end effector selection device, and performs an update process for each calculation parameter stored in the auxiliary storage device 9040, etc.
  • Memory 9030 is RAM (Random Access Memory), ROM (Read Only Memory), etc.
  • each unit (processing means, function) of the end effector selection device shown in the above-mentioned embodiment and the first to fourth embodiments can be realized by a computer program that causes the processor of the above-mentioned computer to execute each of the above-mentioned processes using its hardware.
  • the end effector selection device may receive information regarding obstacles and object locations in an environment where the end effector is to perform work, and information regarding the operation of the end effector.
  • the end effector selection unit may output information regarding the type of end effector to be selected based on the information regarding the obstacle and item placement and the information regarding the operation of the end effector.
  • the information relating to the operation of the end effector includes information relating to an object on which work is to be performed by the end effector and information relating to the work content.
  • the end effector selection device further includes a relationship information storage unit, The end effector selection unit Using the relationship information stored in the relationship information storage unit between the type of end effector, the target object and work content to be worked on by the end effector, and the obstacle and object placement, It is preferable that information regarding the type of end effector to be selected is output based on the input information regarding the target object, information regarding the work content, and information regarding the obstacles and object placement.
  • the relationship information storage unit stores a learned relationship determination model generated by training using training data including, as correct answer labels, information on an object to be worked on by the end effector, information on the work content, information on an obstacle and object placement, and information on the type of the end effector;
  • the relationship information is preferably the trained relationship determination model.
  • the information regarding the obstacles and the item placement is generated by a simulator that simulates a three-dimensional layout of the environment, which is generated based on information regarding the environment in which the end effector is to perform the work; an operation possibility evaluation unit that evaluates the work content by the simulator using an end effector model corresponding to the selected type of end effector; It is preferable that the operability evaluation unit outputs the type of end effector to be selected when the evaluation of the task content satisfies a predetermined standard.
  • the end effector selection unit includes a motion plan calculation unit, a feasibility determination unit, and a selection unit; the motion plan calculation unit determines a motion plan for each type of end effector from information on the obstacle and article placement and information on the motion of the end effector; the motion plan calculation unit calculates an evaluation value of an optimal motion plan for each of one or more types of end effectors, the feasibility determination unit confirms whether the action of the action plan is feasible, and updates the evaluation value in accordance with the confirmation result; It is preferable that the selection unit selects the type of end effector having the largest updated evaluation value, and outputs information about the type of end effector to be selected.
  • the information regarding the obstacles and the object placement is a simulator model of a simulator that simulates a three-dimensional layout of the environment, the simulator model being generated based on information regarding the environment in which the end effector is to perform the work;
  • the motion plan calculation unit determines a motion plan for each type of end effector based on the simulator model and information on the motion of the end effector;
  • the information regarding the operation of the end effector includes information regarding an object on which work is performed by the end effector, information regarding the work content, and an operation condition model for each type of end effector, It is preferable that the feasibility determination unit uses the simulator model to check whether the operation of the operation plan is feasible, and updates the evaluation value in accordance with the check result.
  • the operation condition model for each type of end effector includes a learned operation condition model generated by training using training data that includes, for each end effector, information on each target article and information on each obstacle and article placement, information on the initial state and terminal state of each end effector, and operation condition evaluation values as correct labels.
  • the end effector selection method includes: Information regarding obstacles and item placement in the environment in which the end effector is to perform work, as well as information regarding the operation of the end effector, may be received. The computer may output information regarding the type of end effector to be selected based on the information regarding the obstacle and item placement and the information regarding the operation of the end effector.
  • the program is executed by a computer included in the end effector selection device.
  • a process may be executed to receive information about obstacles and item locations in an environment in which the end effector is to perform work, and information about the operation of the end effector.
  • the program may execute a process of outputting information regarding the type of end effector to be selected based on the information regarding the obstacle and item placement and the information regarding the operation of the end effector.
  • the ninth and tenth embodiments can be expanded to the second to eighth embodiments in the same manner as the first embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

エンドエフェクタにより作業を行う対象の環境と、エンドエフェクタにより作業を行う対象物品と作業内容に対して、適切なエンドエフェクタを選択することに貢献する、エンドエフェクタ選択装置を提供する。エンドエフェクタ選択装置は、エンドエフェクタにより作業を行う対象の環境の障害物及び物品配置に関する情報と、エンドエフェクタの動作に関する情報を受け取り、前記障害物及び物品配置に関する情報と、前記エンドエフェクタの動作に関する情報に基づいて、選択するエンドエフェクタの種類に関する情報を出力する、エンドエフェクタ選択部を含む。

Description

エンドエフェクタ選択装置、エンドエフェクタ選択方法及び、プログラム
　本発明は、エンドエフェクタ選択装置、エンドエフェクタ選択方法及び、プログラムに関する。
　エンドエフェクタの選択に関しては、以下のような文献が挙げられる。
　特許文献１は、ロボットハンドの形状モデルと奥行きデータとに基づいて複数のロボットハンドの形状に対して算出した、ワークの把持可能性に基づいて、ロボットハンドの形状を選択する、ロボットシミレーション装置に関するものである。
特開２０１５－１００８６６号公報
　以下の分析は、本発明者によって与えられたものである。
　ロボットアームを制御して、エンドエフェクタにより、対象物品のハンドリング（例えば、ピック、プレース、プッシュなどの作業）を行う場合には、特許文献１のような、対象物品の形状と、対象物品のおかれた場所の奥行き等の物品配置に基づいて、エンドエフェクタの選択が行われている例が挙げられる。
　しかしながら、対象物品の形状や物品配置以外にも、例えば、対象物品の置かれた環境や、対象物品に対して行われる作業内容によって、対象物品のハンドリングに必要なエンドエフェクタが変わる場合がある。
　本発明は、エンドエフェクタにより作業を行う対象の環境と、エンドエフェクタにより作業を行う対象物品と作業内容に対して、適切なエンドエフェクタを選択することに貢献する、エンドエフェクタ選択装置、エンドエフェクタ選択方法及び、プログラム等を提供することを目的の一つとする。
　本発明の第１の視点によれば、エンドエフェクタにより作業を行う対象の環境の障害物及び物品配置に関する情報と、エンドエフェクタの動作に関する情報を受け取り、前記障害物及び物品配置に関する情報と、前記エンドエフェクタの動作に関する情報に基づいて、選択するエンドエフェクタの種類に関する情報を出力する、エンドエフェクタ選択部を含む、エンドエフェクタ選択装置を、提供できる。
　本発明の第２の視点によれば、エンドエフェクタ選択装置に含まれるコンピュータが、
エンドエフェクタにより作業を行う対象の環境の障害物及び物品配置に関する情報と、エンドエフェクタの動作に関する情報を受け取り、
前記障害物及び物品配置に関する情報と、前記エンドエフェクタの動作に関する情報に基づいて、選択するエンドエフェクタの種類に関する情報を出力する、エンドエフェクタ選択方法を、提供できる。本方法は、上記の方法を実行するコンピュータという、特定の機械に結びつけられている。
　本発明の第３の視点によれば、エンドエフェクタ選択装置に含まれるコンピュータに、
エンドエフェクタにより作業を行う対象の環境の障害物及び物品配置に関する情報と、エンドエフェクタの動作に関する情報を受け取る処理と、
前記障害物及び物品配置に関する情報と、前記エンドエフェクタの動作に関する情報に基づいて、選択するエンドエフェクタの種類に関する情報を出力する処理を実行させる、プログラムを、提供できる。
　なお、これらのプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジトリー（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。
　本発明によれば、エンドエフェクタにより作業を行う対象の環境と、エンドエフェクタにより作業を行う対象物品と作業内容に対して、適切なエンドエフェクタを選択することに貢献する、エンドエフェクタ選択装置、エンドエフェクタ選択方法及び、プログラム等を提供することができる。
本開示にかかるエンドエフェクタ選択装置の構成の一例を示すブロック図である。 本開示にかかるエンドエフェクタ選択装置の追加の構成要素を含む構成の一例を示すブロック図である。 本開示にかかるエンドエフェクタにより作業を行う対象の環境と、対象の環境の情報を取得するセンサの一例を示すブロック図である。 本開示にかかるエンドエフェクタ選択装置の別の構成の一例を示すブロック図である。 本開示にかかる別の構成のエンドエフェクタ選択装置の動作の一例を示すフローチャートを示す図である。 本開示にかかるエンドエフェクタ選択装置の異なる構成の一例を示すブロック図である。 本開示にかかる異なる構成のエンドエフェクタ選択装置の動作の一例を示すフローチャートを示す図である。 本開示にかかるエンドエフェクタ選択装置の変形例の構成の一例を示すブロック図である。 本開示にかかる変形例の構成のエンドエフェクタ選択装置の動作の一例を示すフローチャートを示す図である。 本開示にかかるエンドエフェクタ選択装置を構成するコンピュータの構成を示す図である。
　なお、本開示において図面は、１以上の実施形態に関連付けられ得る。また、以下に記載する各実施形態は、適宜他の実施形態と組み合わせることができ、及び、本発明は各実施形態によって限定されるものではない。
　はじめに、一実施形態の概要について図面を参照して説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。
　図１は、本開示にかかるエンドエフェクタ選択装置の構成の一例を示すブロック図である。図１を参照すると、エンドエフェクタ選択装置１００は、エンドエフェクタ選択部１１０を含む。
　エンドエフェクタ選択部１１０は、エンドエフェクタにより作業を行う対象の環境の障害物及び物品配置に関する情報１１１と、エンドエフェクタの動作に関する情報１１２を受け取り、障害物及び物品配置に関する情報１１１と、エンドエフェクタの動作に関する情報１１２に基づいて、選択するエンドエフェクタの種類に関する情報１１３を出力する。なお、エンドエフェクタの動作に関する情報１１２は、エンドエフェクタにより作業を行う対象物品に関する情報及び作業内容に関する情報を含む。
　なお、エンドエフェクタにより作業を行う対象の環境の障害物及び物品配置に関する情報１１１は、図３を参照して後述するように、図３に記載のセンサ６０の後段に、センサ情報の処理部６５を設け、障害物及び物品配置に関する情報１１１を抽出し、図１及び図２で示した、エンドエフェクタにより作業を行う対象の環境の障害物及び物品配置に関する情報１１１として、図１のエンドエフェクタ選択装置１００に入力してもよい。
　以上説明したように、一実施形態によれば、エンドエフェクタにより作業を行う対象の環境と、エンドエフェクタにより作業を行う対象物品と作業内容に対して、適切なエンドエフェクタを選択することに貢献する、エンドエフェクタ選択装置、エンドエフェクタ選択方法及び、プログラム等を提供することができる。
　［第１の実施形態］
次に、第１の実施形態について、図面を参照して、詳細に説明する。図２は、本開示にかかるエンドエフェクタ選択装置の追加の構成要素を含む構成の一例を示すブロック図である。図２は、図１に記載のエンドエフェクタ選択装置１００のエンドエフェクタ選択部１１０が、エンドエフェクタの選択を行うために参照する、関係性情報格納部１３０を有する構成である。
　図２を参照すると、エンドエフェクタ選択装置１００Ｂは、エンドエフェクタ選択部１１０Ｂと、関係性情報格納部１３０を含む。なお、図２に記載のエンドエフェクタ選択装置１００Ｂには、エンドエフェクタの動作に関する情報１１２に含まれる、エンドエフェクタにより作業を行う対象物品に関する情報及び作業内容に関する情報１１２Ｂが入力されてもよい。また、関係性情報格納部１３０は、エンドエフェクタ選択装置１００Ｂの外部に配置されて、通信により、エンドエフェクタ選択部１１０Ｂと接続されるように構成されてもよい。
　関係性情報格納部１３０は、エンドエフェクタの種類と、エンドエフェクタにより作業を行う対象物品及び作業内容と、障害物及び物品配置の間の関係性情報を格納する。なお、関係性情報格納部１３０は、エンドエフェクタにより作業を行う対象物品の情報及び作業内容の情報と、障害物及び物品配置の情報及び、エンドエフェクタの種類に関する情報を正解ラベルとして含む訓練データを用いた訓練により生成された、学習済み関係性判定モデルを格納してもよい。また、関係性情報は、学習済み関係性判定モデルでもよい。
　エンドエフェクタ選択部１１０Ｂは、関係性情報格納部１３０に格納された、エンドエフェクタの種類と、エンドエフェクタにより作業を行う対象物品及び作業内容と、障害物及び物品配置の関係性情報を用いて、入力された対象物品に関する情報、作業内容に関する情報１１２Ｂ及び、障害物及び物品配置に関する情報１１１に基づいて、選択するエンドエフェクタの種類に関する情報１１３を出力する。
　なお、エンドエフェクタにより作業を行う対象の環境の障害物及び物品配置に関する情報１１１は、図３を参照して後述するように、図３に記載のセンサ６０の後段に、センサ情報の処理部６５を設け、障害物及び物品配置に関する情報１１１を抽出し、図１及び図２で示した、エンドエフェクタにより作業を行う対象の環境の障害物及び物品配置に関する情報１１１として、図２のエンドエフェクタ選択装置１００Ｂに入力してもよい。
　以上説明したように、第１の実施形態によれば、エンドエフェクタにより作業を行う対象の環境と、エンドエフェクタにより作業を行う対象物品と作業内容に対して、適切なエンドエフェクタを選択することに貢献する、エンドエフェクタ選択装置、エンドエフェクタ選択方法及び、プログラム等を提供することができる。
　［第２の実施形態］
次に、第２の実施形態について、図面を参照して、詳細に説明する。図３は、本開示にかかるエンドエフェクタにより作業を行う対象の環境と、対象の環境の情報を取得するセンサの一例を示すブロック図である。図３を参照すると、一例として、作業を行う対象の環境１０と対象の環境の情報を取得するセンサ６０が示されている。
　作業を行う対象の環境１０は、棚２０と、対象物品３０、３１、及び３２、ロボットアーム４０、ロボットアーム４０の先端に配置されたエンドエフェクタ５０を含む。また、棚２０には、エンドエフェクタにより作業を行う対象物品３０、３１、及び３２が配置されている。一例として、棚２０の棚板２１と柱２２と２３が、ロボットアーム４０による作業の障害物であり、棚板２１と柱２２と２３の配置が、障害物配置に関する情報であるものとする。また、対象物品３０、３１、及び３２の配置が、物品配置に関する情報であるものとする。
　センサ６０は、一例として、画像を取得するカメラでもよい。センサ６０は、一例として、作業を行う対象の環境１０の静止画や動画等を取得し、エンドエフェクタ５０により作業を行う対象の環境に関する情報（センサ情報）７０として出力する。なお、エンドエフェクタにより作業を行う対象の環境に関する情報（センサ情報）７０は、点群データ（ポイントクラウドとも称する）でもよい。エンドエフェクタにより作業を行う対象の環境に関する情報（センサ情報）７０は、障害物及び物品配置に関する情報を含むものとする。なお、センサ６０の後段に、センサ情報の処理部６５を設け、障害物及び物品配置に関する情報１１１を抽出し、図１及び図２で示した、エンドエフェクタにより作業を行う対象の環境の障害物及び物品配置に関する情報１１１として、図１のエンドエフェクタ選択装置１００及び図２のエンドエフェクタ選択装置１００Ｂに入力してもよい。
　図４は、本開示にかかるエンドエフェクタ選択装置の別の構成の一例を示すブロック図である。図４を参照すると、エンドエフェクタ選択装置１００Ｃは、エンドエフェクタ選択部１１０Ｃと、関係性情報格納部１３０と、シミュレータ構築部１４０と、動作可能性評価部１５０を含む。また、関係性情報格納部１３０は、エンドエフェクタ選択装置１００Ｃの外部に配置されて、通信により、エンドエフェクタ選択部１１０Ｃと接続されるように構成されてもよい。
　次に、図５を参照して、図４に示すエンドエフェクタ選択装置１００Ｃの動作を説明する。図５は、本開示にかかる別の構成のエンドエフェクタ選択装置１００Ｃの動作の一例を示すフローチャートを示す図である。動作は、ステップＳ５０１で開始する。
　次に、ステップＳ５０２で、シミュレータ構築部１４０に、エンドエフェクタにより作業を行う対象の環境に関する情報（センサ情報）７０と、ロボット及びエンドエフェクタの３ＤＣＡＤ（３　Ｄｉｍｅｎｓｉｏｎａｌ　Ｃｏｍｐｕｔｅｒ　Ａｉｄｅｄ　Ｄｅｓｉｇｎ）モデル１４１と、環境及びレイアウトに関する３ＤＣＡＤモデル１４２とが入力される。シミュレータ構築部１４０は、入力された、エンドエフェクタにより作業を行う対象の環境に関する情報（センサ情報）７０と、ロボット及びエンドエフェクタの３ＤＣＡＤモデル１４１と、環境及びレイアウトに関する３ＤＣＡＤモデル１４２から、作業を行う対象の環境の３次元レイアウトを模擬するシミュレータを構築する。構築したシミュレータにより、３次元レイアウトが模擬され、シミュレータ構築部１４０は、障害物及び物品配置に関する情報１１１Ｂを出力する。
　即ち、障害物及び物品配置に関する情報１１１Ｂは、エンドエフェクタの作業を行う対象の環境に関する情報（センサ情報）７０に基づいて生成された、作業を行う対象の環境１０の３次元レイアウトを模擬するシミュレータにより生成される。なお、シミュレータ構築部１４０は、一例として、ロボットが到達可能な範囲に対して、環境情報であるシーングラフ等を生成して、障害物及び物品配置に関する情報１１１Ｂとして出力してもよい。なお、ステップＳ５０２において構築された作業を行う対象の環境の３次元レイアウトを模擬するシミュレータについては、シミュレータ構築部１４０からシミュレータモデル１４３が出力され、動作可能性評価部１５０に送られ、動作可能性評価部１５０にシミュレータモデル１４３が配置されて、シミュレータが実行される。
　次に、ステップＳ５０３で、エンドエフェクタ選択部１１０Ｃは、関係性情報格納部１３０に格納された、エンドエフェクタの種類と、エンドエフェクタにより作業を行う対象物品及び作業内容と、障害物及び物品配置の間の関係性情報を用いて、入力された、対象物品に関する情報及び作業内容に関する情報１１２Ｂ及び、障害物及び物品配置に関する情報１１１Ｂに基づいて、選択するエンドエフェクタの種類に関する情報１１３を出力する。
　次に、ステップＳ５０４で、動作可能性評価部１５０は、選択するエンドエフェクタの種類に関する情報１１３に対応するエンドエフェクタのモデルを用いて、動作可能性評価部１５０に配置されたシミュレータにより、作業内容の評価を行う。
　次に、ステップＳ５０５で、動作可能性評価部１５０は、作業内容の評価が、所定の基準を満たすかどうかを判定する。所定の基準を満たす（Ｓ５０５　ＹＥＳ）場合には、ステップＳ５０６へ進み、動作可能性評価部１５０は、選択するエンドエフェクタの種類に関する情報１１３を、動作可能なエンドエフェクタの種類であると決定する。
　次に、動作可能性評価部１５０は、ステップＳ５０７で、動作可能なエンドエフェクタの種類であると決定された選択するエンドエフェクタの種類に関する情報１１３を、出力する。次に、処理は、ステップＳ５０９で終了する。
　一方、ステップＳ５０５で、作業内容の評価が、所定の基準を満たさない（Ｓ５０５　ＮＯ）場合には、ステップＳ５０８へ進み、動作可能性評価部１５０は、エンドエフェクタ選択部１１０Ｃへ、選択するエンドエフェクタの種類を変更する指示１５２を送る。
　次に、ステップＳ５０３へ進み、選択するエンドエフェクタの種類を変更する指示１５２を受け取ったエンドエフェクタ選択部１１０Ｃは、ステップＳ５０３と同一の処理を再度実行し、選択するエンドエフェクタの種類を変更して、変更した選択するエンドエフェクタの種類に関する情報１１３を出力する。
　以上説明したように、第２の実施形態によれば、エンドエフェクタにより作業を行う対象の環境と、エンドエフェクタにより作業を行う対象物品と作業内容に対して、適切なエンドエフェクタを選択することに貢献する、エンドエフェクタ選択装置、エンドエフェクタ選択方法及び、プログラム等を提供することができる。
　［第３の実施形態］
次に、第３の実施形態について、図面を参照して、詳細に説明する。なお、作業を行う対象の環境１０と対象の環境の情報を取得するセンサ６０は、一例として、図３を参照して説明した、作業を行う対象の環境１０とセンサ６０と同一であるものとする。図６は、本開示にかかるエンドエフェクタ選択装置の異なる構成の一例を示すブロック図である。図６を参照すると、エンドエフェクタ選択装置１００Ｄは、エンドエフェクタ選択部１１０Ｄと、動作条件モデル格納部１６０を含む。また、エンドエフェクタ選択部１１０Ｄは、動作可能性検証部１１１０と、選択部１１４０を含み、動作可能性検証部１１１０は、動作計画計算部１１２０と、実行可能性判定部１１３０を含む。なお、図６において、図４と同一の参照符号を付した構成要素は、同一の構成要素を示すものとする。また、動作条件モデル格納部１６０は、エンドエフェクタ選択装置１００Ｄの外部に配置されて、通信により、エンドエフェクタ選択部１１０Ｄの動作可能性検証部１１１０の動作計画計算部１１２０と接続されるように構成されてもよい。
　動作条件モデル格納部１６０は、エンドエフェクタの動作に関する情報である、エンドエフェクタにより作業を行う対象物品に関する情報及び作業内容に関する情報及び、エンドエフェクタの種類毎の動作条件モデル１１２Ｃの中の、エンドエフェクタの種類毎の動作条件モデル１１２Ｃを格納する。なお、動作条件モデル格納部１６０は、各エンドエフェクタについて、各対象物品の情報及び各障害物及び物品配置の情報と、各エンドエフェクタの初期状態と終端状態の情報と、動作条件評価値を正解ラベルとして含む訓練データを用いた訓練により生成された、学習済み動作条件モデルを動作条件モデル１１２Ｃとして格納してもよい。
　次に、図７を参照して、図６に示すエンドエフェクタ選択装置１００Ｄの動作を説明する。図７は、本開示にかかる異なる構成のエンドエフェクタ選択装置１００Ｄの動作の一例を示すフローチャートを示す図である。動作は、ステップＳ７０１で開始する。
　次に、ステップＳ７０２で、障害物及び物品配置に関する情報１１１と、対象物品に関する情報及び作業内容に関する情報１１２Ｂが、エンドエフェクタ選択装置１００Ｄに入力される。
　次に、ステップＳ７０３において、動作計画計算部１１２０は、エンドエフェクタにより作業を行う対象の環境の障害物及び物品配置に関する情報１１１と、エンドエフェクタの動作に関する情報から、エンドエフェクタの種類毎の動作計画を決定する。なお、動作計画問題は、一例として、この問題を解くことによって、エンドフェクタの動作が出力される問題であり、動作計画は、動作計画問題を解くことによって決定できる。また、エンドフェクタの動作に関する情報は、エンドエフェクタにより作業を行う対象物品に関する情報及び作業内容に関する情報１１２Ｂ及び、エンドエフェクタの種類毎の動作条件モデル１１２Ｃを含んでもよい。
　次に、ステップＳ７０４において、動作計画計算部１１２０は、１又は複数のエンドエフェクタの種類に対して、エンドエフェクタの種類毎に最適な動作計画の評価値を算出する。
　次に、ステップＳ７０５において、実行可能性判定部１１３０は、動作計画の動作が実行可能かを確認し、確認結果に従って評価値を更新する。一例として、衝突したら評価値は著しく低くなる等のように評価値の更新を行う。
　次に、ステップＳ７０６において、選択部１１４０は、更新後の評価値が最も大きなエンドエフェクタの種類を選択して、選択するエンドエフェクタの種類に関する情報を出力する。
　次に、ステップＳ７０７において、エンドエフェクタ選択装置１００Ｄは、エンドエフェクタ選択部１１０Ｄの出力した前記選択するエンドエフェクタの種類に関する情報を出力する。
　以上説明したように、第３の実施形態によれば、エンドエフェクタにより作業を行う対象の環境と、エンドエフェクタにより作業を行う対象物品と作業内容に対して、適切なエンドエフェクタを選択することに貢献する、エンドエフェクタ選択装置、エンドエフェクタ選択方法及び、プログラム等を提供することができる。
　［第４の実施形態］
次に、第４の実施形態について、図面を参照して、詳細に説明する。なお、作業を行う対象の環境１０と対象の環境の情報を取得するセンサ６０は、一例として、図３を参照して説明した、作業を行う対象の環境１０とセンサ６０と同一であるものとする。図８は、本開示にかかるエンドエフェクタ選択装置の変形例の構成の一例を示すブロック図である。図８に示すエンドエフェクタ選択装置１００Ｅと、図６に示すエンドエフェクタ選択装置１００Ｄの相違点は、以下の点である。図８を参照すると、エンドエフェクタ選択装置１００Ｅは、エンドエフェクタ選択部１１０Ｅと、シミュレータ構築部１４０と、動作条件モデル格納部１６０を含む。図８において、図４及び図６と同一の参照符号を付した構成要素は、同一の構成要素を示すものとする。
　図６に示すエンドエフェクタ選択装置１００Ｄでは、エンドエフェクタ選択部１１０Ｄの動作可能性検証部１１１０の動作計画計算部１１２０には、エンドエフェクタにより作業を行う対象の環境の障害物及び物品配置に関する情報１１１と、エンドエフェクタにより作業を行う対象物品に関する情報及び作業内容に関する情報１１２Ｂ及びエンドエフェクタの種類毎の動作条件モデル１１２Ｃを含むエンドエフェクタの動作に関する情報が入力され、エンドエフェクタの種類毎の動作計画を決定する構成である。
　これに対して、図８に示すエンドエフェクタ選択装置１００Ｅにおいては、シミュレータ構築部１４０から、エンドエフェクタ選択部１１０Ｅの動作可能性検証部１１１０Ｅの動作計画計算部１１２０Ｅに、シミュレータモデル１４３が出力され、動作計画計算部１１２０Ｅは、シミュレータモデル１４３と、エンドエフェクタにより作業を行う対象物品に関する情報及び作業内容に関する情報１１２Ｂ及びエンドエフェクタの種類毎の動作条件モデル１１２Ｃを含むエンドエフェクタの動作に関する情報から、エンドエフェクタの種類毎の動作計画を決定する構成である。
　なお、シミュレータ構築部１４０は、エンドエフェクタの作業が到達可能な範囲のモデルを構築し又は、エンドエフェクタを搭載して作業を行うロボットアームが作業において到達可能な範囲のモデル等を構築し、これらをシミュレータモデル１４３として出力してもよい。即ち、シミュレータモデル１４３は、図６に示すエンドエフェクタ選択装置１００Ｄに入力された障害物及び物品配置に関する情報１１１と等価な情報を含んでもよい。また、シミュレータモデル１４３は、シミュレータ構築部１４０が、一例として、ロボットが到達可能な範囲に対して、環境情報であるシーングラフ等として生成してもよい。
　この場合、動作計画計算部１１２０Ｅは、エンドエフェクタの作業が到達可能な範囲のモデル又は、エンドエフェクタを搭載して作業を行うロボットアームが作業において到達可能な範囲のモデル等であるシミュレータモデル１４３と、エンドエフェクタにより作業を行う対象物品に関する情報及び作業内容に関する情報１１２Ｂ及びエンドエフェクタの種類毎の動作条件モデル１１２Ｃを含むエンドエフェクタの動作に関する情報から、１又は複数のエンドエフェクタの種類に対して、エンドエフェクタの種類毎の動作計画を決定してもよい。
　また、実行可能性判定部１１３０Ｅは、エンドエフェクタを搭載して作業を行うロボットアームが作業において到達可能な範囲のモデル等であるシミュレータモデル１４３を用いて動作計画の動作が実行可能かを確認し、確認結果に従って前記評価値を更新してもよい。
　図９は、本開示にかかる変形例の構成のエンドエフェクタ選択装置１００Ｅの動作の一例を示すフローチャートを示す図である。
　図９に示すフローチャートのステップＳ９０４、Ｓ９０６、Ｓ９０７は、図７に示すフローチャートのステップＳ７０４、ステップＳ７０６、ステップＳ７０７と同一であり、図９のステップＳ９０２、ステップＳ９０３、ステップＳ９０５が、図７に示すフローチャートと相違する点である。動作は、ステップＳ９０１で開始する。
　次に、ステップＳ９０２で、シミュレータ構築部１４０に、エンドエフェクタにより作業を行う対象の環境に関する情報（センサ情報）７０と、ロボット及びエンドエフェクタの３ＤＣＡＤ（３　Ｄｉｍｅｎｓｉｏｎａｌ　Ｃｏｍｐｕｔｅｒ　Ａｉｄｅｄ　Ｄｅｓｉｇｎ）モデル１４１と、環境及びレイアウトに関する３ＤＣＡＤモデル１４２とが入力される。シミュレータ構築部１４０は、入力された、エンドエフェクタにより作業を行う対象の環境に関する情報（センサ情報）７０と、ロボット及びエンドエフェクタの３ＤＣＡＤモデル１４１と、環境及びレイアウトに関する３ＤＣＡＤモデル１４２から、作業を行う対象の環境の３次元レイアウトを模擬するシミュレータを構築し、シミュレータモデル１４３を出力する。
　次に、ステップＳ９０３では、動作計画計算部１１２０Ｅは、シミュレータモデル１４３と、エンドエフェクタにより作業を行う対象物品に関する情報及び作業内容に関する情報１１２Ｂ及びエンドエフェクタの種類毎の動作条件モデル１１２Ｃを含むエンドエフェクタの動作に関する情報から、エンドエフェクタの種類毎の動作計画を決定する。
　次に、ステップＳ９０４では、図７のステップＳ７０４と同様に、動作計画計算部１１２０Ｅは、１又は複数のエンドエフェクタの種類に対して、エンドエフェクタの種類毎に最適な動作計画の評価値を算出する。
　次に、ステップＳ９０５では、実行可能性判定部１１３０Ｅは、シミュレータモデル１４３を用いて、動作計画の動作が実行可能かを確認し、確認結果に従って評価値を更新する。一例として、衝突したら評価値は著しく低くなる等のように評価値の更新を行う。
　次に、ステップＳ９０６は、図７のステップＳ７０６と同様に、選択部１１４０は、更新後の評価値が最も大きなエンドエフェクタの種類を選択して、選択するエンドエフェクタの種類に関する情報を出力する。
　次に、ステップＳ９０７は、図７のステップＳ７０７同様に、エンドエフェクタ選択装置１００Ｅは、エンドエフェクタ選択部１１０Ｅの出力した前記選択するエンドエフェクタの種類に関する情報を出力する。処理は、ステップＳ９０８で終了する。
　以上説明したように、第４の実施形態によれば、エンドエフェクタにより作業を行う対象の環境と、エンドエフェクタにより作業を行う対象物品と作業内容に対して、適切なエンドエフェクタを選択することに貢献する、エンドエフェクタ選択装置、エンドエフェクタ選択方法及び、プログラム等を提供することができる。
　以上、本発明の各実施形態を説明したが、本発明は、上記した実施形態に限定されるものではなく、本発明の基本的技術的思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。例えば、各図面に示した各要素の構成は、本発明の理解を助けるための一例であり、これらの図面に示した構成に限定されるものではない。また、「Ａ及び／又はＢ」は、Ａ又はＢの少なくともいずれかという意味で用いる。
　また、上記した一実施形態及び第１から第４の実施形態に示した手順は、本発明にかかるエンドエフェクタ選択装置として機能するコンピュータ（図１０の９０００）に、エンドエフェクタ選択装置としての機能を実現させるプログラムにより実現可能である。このようなコンピュータは、図１０のＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１０、通信インタフェース９０２０、メモリ９０３０、補助記憶装置９０４０を備える構成に例示される。すなわち、図１０のＣＰＵ９０１０にて、エンドエフェクタ選択装置の制御プログラムを実行し、その補助記憶装置９０４０等に保持された各計算パラメータの更新処理を実施させればよい。
　メモリ９０３０は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等である。
　即ち、上記した一実施形態及び第１から第４の実施形態に示した、エンドエフェクタ選択装置の各部（処理手段、機能）は、上記コンピュータのプロセッサに、そのハードウェアを用いて、上記した各処理を実行させるコンピュータプログラムにより実現することができる。
　最後に、本発明の好ましい形態を要約する。
［第１の形態］
エンドエフェクタ選択装置は、エンドエフェクタ選択部が、エンドエフェクタにより作業を行う対象の環境の障害物及び物品配置に関する情報と、エンドエフェクタの動作に関する情報を受け取ってもよい。
前記エンドエフェクタ選択部が、前記障害物及び物品配置に関する情報と、前記エンドエフェクタの動作に関する情報に基づいて、選択するエンドエフェクタの種類に関する情報を出力してもよい。
［第２の形態］
第１の形態に記載のエンドエフェクタ選択装置は、前記エンドエフェクタの動作に関する情報は、エンドエフェクタにより作業を行う対象物品に関する情報及び作業内容に関する情報を含むことが好ましい。
［第３の形態］
第２の形態に記載のエンドエフェクタ選択装置は、更に、関係性情報格納部を含み、
前記エンドエフェクタ選択部は、
前記関係性情報格納部に格納された、エンドエフェクタの種類と、エンドエフェクタにより作業を行う対象物品及び作業内容と、障害物及び物品配置の間の関係性情報を用いて、
入力された前記対象物品に関する情報、前記作業内容に関する情報及び、前記障害物及び物品配置に関する情報に基づいて、前記選択するエンドエフェクタの種類に関する情報を出力することが好ましい。
［第４の形態］
第３の形態に記載のエンドエフェクタ選択装置は、前記関係性情報格納部は、エンドエフェクタにより作業を行う対象物品の情報及び作業内容の情報と、障害物及び物品配置の情報及び、エンドエフェクタの種類に関する情報を正解ラベルとして含む訓練データを用いた訓練により生成された、学習済み関係性判定モデルを格納し、
前記関係性情報は、前記学習済み関係性判定モデルであることが好ましい。
［第５の形態］
第２の形態から第４の形態のいずれか一形態に記載のエンドエフェクタ選択装置は、前記障害物及び物品配置に関する情報は、前記エンドエフェクタの作業を行う対象の環境に関する情報に基づいて生成された前記環境の３次元レイアウトを模擬するシミュレータにより生成され、
前記選択するエンドエフェクタの種類に対応するエンドエフェクタのモデルを用いて、前記シミュレータにより、前記作業内容の評価を行う、動作可能性評価部を更に含み、
前記動作可能性評価部は、前記作業内容の評価が、所定の基準を満たす場合には、前記選択するエンドエフェクタの種類を出力することが好ましい。
［第６の形態］
第１の形態に記載の、エンドエフェクタ選択装置は、前記エンドエフェクタ選択部は、動作計画計算部と、実行可能性判定部と、選択部を含み、
前記動作計画計算部は、前記障害物及び物品配置に関する情報と、前記エンドエフェクタの動作に関する情報から、エンドエフェクタの種類毎の動作計画を決定し、
前記動作計画計算部は、１又は複数のエンドエフェクタの種類に対して、エンドエフェクタの種類毎に最適な動作計画の評価値を算出し、
前記実行可能性判定部は、前記動作計画の動作が実行可能かを確認し、確認結果に従って前記評価値を更新し、
前記選択部は、更新後の前記評価値が最も大きなエンドエフェクタの種類を選択して、前記選択するエンドエフェクタの種類に関する情報を出力することが好ましい。
［第７の形態］
第６の形態に記載のエンドエフェクタ選択装置は、前記障害物及び物品配置に関する情報は、前記エンドエフェクタの作業を行う対象の環境に関する情報に基づいて生成された前記環境の３次元レイアウトを模擬するシミュレータのシミュレータモデルであり、
前記動作計画計算部は、前記シミュレータモデルと、前記エンドエフェクタの動作に関する情報から、エンドエフェクタの種類毎の動作計画を決定し、
前記エンドエフェクタの動作に関する情報は、エンドエフェクタにより作業を行う対象物品に関する情報及び作業内容に関する情報及び、エンドエフェクタの種類毎の動作条件モデルを含み、
前記実行可能性判定部は、前記シミュレータモデルを用いて前記動作計画の動作が実行可能かを確認し、確認結果に従って前記評価値を更新することが好ましい。
［第８の形態］
第７の形態に記載のエンドエフェクタ選択装置は、前記エンドエフェクタの種類毎の動作条件モデルは、各エンドエフェクタについて、各対象物品の情報及び各障害物及び物品配置の情報と、前記各エンドエフェクタの初期状態と終端状態の情報と、動作条件評価値を正解ラベルとして含む訓練データを用いた訓練により生成された、学習済み動作条件モデルを含むことが好ましい。
［第９の形態］
エンドエフェクタ選択方法は、エンドエフェクタ選択装置に含まれるコンピュータが、
エンドエフェクタにより作業を行う対象の環境の障害物及び物品配置に関する情報と、エンドエフェクタの動作に関する情報を受け取ってもよい。
前記コンピュータが、前記障害物及び物品配置に関する情報と、前記エンドエフェクタの動作に関する情報に基づいて、選択するエンドエフェクタの種類に関する情報を出力してもよい。
［第１０の形態］
プログラムは、エンドエフェクタ選択装置に含まれるコンピュータに、
エンドエフェクタにより作業を行う対象の環境の障害物及び物品配置に関する情報と、エンドエフェクタの動作に関する情報を受け取る処理を実行させてもよい。
前記プログラムは、前記障害物及び物品配置に関する情報と、前記エンドエフェクタの動作に関する情報に基づいて、選択するエンドエフェクタの種類に関する情報を出力する処理を実行させてもよい。
なお、上記第９、１０の形態は、第１の形態と同様に、第２から第８の形態に展開することが可能である。
　なお、上記の特許文献の開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。さらに、上記引用した文献の各開示事項は、必要に応じ、本発明の趣旨に則り、本発明の開示の一部として、その一部又は全部を、本書の記載事項と組み合わせて用いることも、本願の開示事項に含まれるものと、みなされる。
　１０　環境
２０　棚
２１　棚板
２２、２３　柱
３０、３１、３２　対象物品
４０　ロボットアーム
５０　エンドエフェクタ
６０　センサ
６５　処理部
７０　エンドエフェクタにより作業を行う対象の環境に関する情報（センサ情報）
１００、１００Ｂ、１００Ｃ、１００Ｄ、１００Ｅ　エンドエフェクタ選択装置
１１０、１１０Ｂ、１１０Ｃ、１１０Ｄ、１１０Ｅ　エンドエフェクタ選択部
１１１、１１１Ｂ　障害物及び物品配置に関する情報
１１２　エンドエフェクタの動作に関する情報
１１２Ｂ　対象物品に関する情報及び作業内容に関する情報
１１２Ｃ　動作条件モデル
１３０　関係性情報格納部
１４０　シミュレータ構築部
１５０　動作可能性評価部
１６０　動作条件モデル格納部
１１１０、１１１０Ｅ　動作可能性検証部
１１２０、１１２０Ｅ　動作計画計算部
１１３０、１１３０Ｅ　実行可能性判定部
１１４０　選択部
９０００　コンピュータ
９０１０　ＣＰＵ
９０２０　通信インタフェース
９０３０　メモリ
９０４０　補助記憶装置

Claims (10)

  1. 　エンドエフェクタにより作業を行う対象の環境の障害物及び物品配置に関する情報と、エンドエフェクタの動作に関する情報を受け取り、前記障害物及び物品配置に関する情報と、前記エンドエフェクタの動作に関する情報に基づいて、選択するエンドエフェクタの種類に関する情報を出力する、エンドエフェクタ選択部を含む、エンドエフェクタ選択装置。
  2. 　前記エンドエフェクタの動作に関する情報は、エンドエフェクタにより作業を行う対象物品に関する情報及び作業内容に関する情報を含む、請求項１に記載のエンドエフェクタ選択装置。
  3. 　更に、関係性情報格納部を含み、
    　前記エンドエフェクタ選択部は、
    　前記関係性情報格納部に格納された、エンドエフェクタの種類と、エンドエフェクタにより作業を行う対象物品及び作業内容と、障害物及び物品配置の間の関係性情報を用いて、
    　入力された前記対象物品に関する情報、前記作業内容に関する情報及び、前記障害物及び物品配置に関する情報に基づいて、前記選択するエンドエフェクタの種類に関する情報を出力する、請求項２に記載のエンドエフェクタ選択装置。
  4. 　前記関係性情報格納部は、エンドエフェクタにより作業を行う対象物品の情報及び作業内容の情報と、障害物及び物品配置の情報及び、エンドエフェクタの種類に関する情報を正解ラベルとして含む訓練データを用いた訓練により生成された、学習済み関係性判定モデルを格納し、
    　前記関係性情報は、前記学習済み関係性判定モデルである、請求項３に記載のエンドエフェクタ選択装置。
  5. 　前記障害物及び物品配置に関する情報は、前記エンドエフェクタの作業を行う対象の環境に関する情報に基づいて生成された前記環境の３次元レイアウトを模擬するシミュレータにより生成され、
    　前記選択するエンドエフェクタの種類に対応するエンドエフェクタのモデルを用いて、前記シミュレータにより、前記作業内容の評価を行う、動作可能性評価部を更に含み、
    　前記動作可能性評価部は、前記作業内容の評価が、所定の基準を満たす場合には、前記選択するエンドエフェクタの種類を出力する、請求項２から４のいずれか一項に記載のエンドエフェクタ選択装置。
  6. 　前記エンドエフェクタ選択部は、動作計画計算部と、実行可能性判定部と、選択部を含み、
    　前記動作計画計算部は、前記障害物及び物品配置に関する情報と、前記エンドエフェクタの動作に関する情報から、エンドエフェクタの種類毎の動作計画を決定し、
    　前記動作計画計算部は、１又は複数のエンドエフェクタの種類に対して、エンドエフェクタの種類毎に最適な動作計画の評価値を算出し、
    　前記実行可能性判定部は、前記動作計画の動作が実行可能かを確認し、確認結果に従って前記評価値を更新し、
    　前記選択部は、更新後の前記評価値が最も大きなエンドエフェクタの種類を選択して、前記選択するエンドエフェクタの種類に関する情報を出力する、請求項１に記載のエンドエフェクタ選択装置。
  7. 　前記障害物及び物品配置に関する情報は、前記エンドエフェクタの作業を行う対象の環境に関する情報に基づいて生成された前記環境の３次元レイアウトを模擬するシミュレータのシミュレータモデルであり、
    　前記動作計画計算部は、前記シミュレータモデルと、前記エンドエフェクタの動作に関する情報から、エンドエフェクタの種類毎の動作計画を決定し、
    　前記エンドエフェクタの動作に関する情報は、エンドエフェクタにより作業を行う対象物品に関する情報及び作業内容に関する情報及び、エンドエフェクタの種類毎の動作条件モデルを含み、
    　前記実行可能性判定部は、前記シミュレータモデルを用いて前記動作計画の動作が実行可能かを確認し、確認結果に従って前記評価値を更新する、請求項６に記載のエンドエフェクタ選択装置。
  8. 　前記エンドエフェクタの種類毎の動作条件モデルは、各エンドエフェクタについて、各対象物品の情報及び各障害物及び物品配置の情報と、前記各エンドエフェクタの初期状態と終端状態の情報と、動作条件評価値を正解ラベルとして含む訓練データを用いた訓練により生成された、学習済み動作条件モデルを含む、請求項７に記載のエンドエフェクタ選択装置。
  9. 　エンドエフェクタ選択装置に含まれるコンピュータが、
    　エンドエフェクタにより作業を行う対象の環境の障害物及び物品配置に関する情報と、エンドエフェクタの動作に関する情報を受け取り、
    　前記障害物及び物品配置に関する情報と、前記エンドエフェクタの動作に関する情報に基づいて、選択するエンドエフェクタの種類に関する情報を出力する、エンドエフェクタ選択方法。
  10. 　エンドエフェクタ選択装置に含まれるコンピュータに、
    　エンドエフェクタにより作業を行う対象の環境の障害物及び物品配置に関する情報と、エンドエフェクタの動作に関する情報を受け取る処理と、
    　前記障害物及び物品配置に関する情報と、前記エンドエフェクタの動作に関する情報に基づいて、選択するエンドエフェクタの種類に関する情報を出力する処理を実行させる、プログラム。
PCT/JP2024/009934 2024-03-14 2024-03-14 エンドエフェクタ選択装置、エンドエフェクタ選択方法及び、プログラム Pending WO2025191770A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/009934 WO2025191770A1 (ja) 2024-03-14 2024-03-14 エンドエフェクタ選択装置、エンドエフェクタ選択方法及び、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/009934 WO2025191770A1 (ja) 2024-03-14 2024-03-14 エンドエフェクタ選択装置、エンドエフェクタ選択方法及び、プログラム

Publications (1)

Publication Number Publication Date
WO2025191770A1 true WO2025191770A1 (ja) 2025-09-18

Family

ID=97063176

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/009934 Pending WO2025191770A1 (ja) 2024-03-14 2024-03-14 エンドエフェクタ選択装置、エンドエフェクタ選択方法及び、プログラム

Country Status (1)

Country Link
WO (1) WO2025191770A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011152621A (ja) * 2010-01-28 2011-08-11 Yaskawa Electric Corp 基板搬送用装置
WO2016132521A1 (ja) * 2015-02-20 2016-08-25 株式会社日立製作所 教示データ生成装置
WO2020021643A1 (ja) * 2018-07-24 2020-01-30 株式会社Ｆｕｊｉ エンドエフェクタの選択方法および選択システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011152621A (ja) * 2010-01-28 2011-08-11 Yaskawa Electric Corp 基板搬送用装置
WO2016132521A1 (ja) * 2015-02-20 2016-08-25 株式会社日立製作所 教示データ生成装置
WO2020021643A1 (ja) * 2018-07-24 2020-01-30 株式会社Ｆｕｊｉ エンドエフェクタの選択方法および選択システム

Similar Documents

Publication Publication Date Title
CN111226217B (zh) 制造设计修改系统
JP7009051B2 (ja) レイアウト設定方法、制御プログラム、記録媒体、制御装置、部品の製造方法、ロボットシステム、ロボット制御装置、情報処理方法、情報処理装置
KR101554515B1 (ko) 로봇의 경로계획장치 및 그 방법
Asadi et al. Optimisation of nonlinear motion cueing algorithm based on genetic algorithm
US12039684B2 (en) Method and system for predicting a collision free posture of a kinematic system
CN109249388A (zh) 运动生成方法、运动生成装置、运动生成系统及存储介质
JP7126360B2 (ja) 工具経路を生成するための方法及び装置
WO2020071174A1 (ja) 学習装置、制御装置、学習方法、及び学習プログラム
JP2009134352A (ja) ロボットの動作経路作成装置及びロボットの動作経路作成方法
Anand et al. Heuristic and genetic approach for nesting of two-dimensional rectangular shaped parts with common cutting edge concept for laser cutting and profile blanking processes
Arnay et al. Teaching kinematics with interactive schematics and 3D models
JP6557029B2 (ja) 幾何学的制約で接続されたジオメトリを用いた工業製品の設計
US20250111101A1 (en) Converting a subdivision curve controlled by a base mesh into a corresponding cad curve format
CN111383327A (zh) 使用弱类型定义进行建模
CN110494261A (zh) 用于建立和保持预构建关系的方法和系统
WO2025191770A1 (ja) エンドエフェクタ選択装置、エンドエフェクタ選択方法及び、プログラム
Lee et al. UaMPNet: Uncertainty-Aware Motion Planning Network for Manipulator Motion Planning
JP2009274180A (ja) ロボット動作計画方法及び装置
Yousefi et al. Stability analysis of a human-in-the-loop telerobotics system with two independent time-delays
JP7299794B2 (ja) 加工条件を決定するための方法及び装置
JP4998399B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP2006079472A (ja) ３次元モデル自動構築システム
JP6792898B1 (ja) ロボット制御装置
WO2022230544A1 (ja) ロボット設備設計装置、方法、及びプログラム
JP2010122839A (ja) 解析メッシュ作成装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24929558

Country of ref document: EP

Kind code of ref document: A1