[go: up one dir, main page]

CN116000931B - 机器人的控制方法、装置和设备 - Google Patents

机器人的控制方法、装置和设备

Info

Publication number
CN116000931B
CN116000931B CN202211733825.5A CN202211733825A CN116000931B CN 116000931 B CN116000931 B CN 116000931B CN 202211733825 A CN202211733825 A CN 202211733825A CN 116000931 B CN116000931 B CN 116000931B
Authority
CN
China
Prior art keywords
robot
image information
ranging sensor
height difference
shelf
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211733825.5A
Other languages
English (en)
Other versions
CN116000931A (zh
Inventor
赵颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hai Robotics Co Ltd
Original Assignee
Hai Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hai Robotics Co Ltd filed Critical Hai Robotics Co Ltd
Priority to CN202211733825.5A priority Critical patent/CN116000931B/zh
Publication of CN116000931A publication Critical patent/CN116000931A/zh
Application granted granted Critical
Publication of CN116000931B publication Critical patent/CN116000931B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02Storage devices
    • B65G1/04Storage devices mechanical
    • B65G1/137Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • B65G1/1373Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed for fulfilling orders in warehouses
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02Storage devices
    • B65G1/04Storage devices mechanical
    • B65G1/0407Storage devices mechanical using stacker cranes
    • B65G1/0421Storage devices mechanical using stacker cranes with control for stacker crane operations
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/02Control or detection
    • B65G2203/0208Control or detection relating to the transported articles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04Detection means
    • B65G2203/041Camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Warehouses Or Storage Devices (AREA)

Abstract

本公开提供了一种机器人的控制方法、装置和设备。该方法包括:控制机器人移动至与待取货箱所在的第一位置对应的第二位置后,控制机器人获取至少一张第一位置所在货架的图像信息;根据图像信息,控制机器人的取放货装置进行移动,以通过取放货装置上的测距传感器检测取放货装置的伸缩方向上是否存在障碍物;若不存在障碍物,则控制机器人的取放货装置对待取货箱执行取货操作。通过该方法能够实时判定机器人取货方向是否存在障碍物,并根据判断结果控制机器人取货,提高了机器人的安全性以及取货的成功率。

Description

机器人的控制方法、装置和设备
本申请是申请号为202210296519.3,申请日为2022年03月24日,发明名称为《机器人的控制方法、装置和设备》的分案申请。
技术领域
本公开涉及智能仓储技术领域,尤其涉及一种机器人的控制方法、装置和设备。
背景技术
随着科技的发展,机器人逐步取代了人工,被应用于仓储物流系统中。在仓储物流系统中,机器人已不仅仅承担搬运任务,还会承担取货、放货等任务。
现有技术中,调度系统会根据存储的料箱位置信息或者库位的位置信息,控制机器人前往相应的位置,拿取货物。
由于调度无法系统无法实时获取货架上的载货详情,无法实时确定出货架上机器人作业区域是否存在障碍物,使得机器人在取放货时可能出现干涉等,导致机器人无法顺利完成任务,甚至于威胁到机器人的安全性。
发明内容
本公开提供了一种机器人的控制方法、装置和设备,能够实时判定机器人取货方向是否存在障碍物,并根据判断结果控制机器人取货,提高了机器人的安全性以及取货的成功率。
第一方面,本公开提供了一种机器人的控制方法,应用于控制设备,方法包括:控制机器人移动至与待取货箱所在的第一位置对应的第二位置后,控制机器人获取至少一张第一位置所在货架的图像信息;根据图像信息,控制机器人的取放货装置进行移动,以通过取放货装置上的测距传感器检测取放货装置的伸缩方向上是否存在障碍物;若不存在障碍物,则控制机器人的取放货装置对待取货箱执行取货操作。
可选地,根据图像信息,控制机器人的取放货装置进行移动,包括:获取货箱沿取放货装置伸缩方向上的长度信息;获取测距传感器的视场角;根据图像信息、长度信息和视场角,控制机器人的取放货装置进行移动。
可选地,根据图像信息、长度信息和视场角,控制机器人的取放货装置进行移动,包括:根据图像信息,确定测距传感器与货箱的第一表面所在平面之间的第一距离,以及机器人的图像采集单元与货架之间的高度差,第一表面为货箱与机器人的测距传感器相对,且靠近测距传感器的表面;根据第一距离、机器人的图像采集单元与货架之间的高度差、视场角和长度信息,控制机器人的取放货装置进行移动。
可选地,根据第一距离、机器人的图像采集单元与货架之间的高度差、视场角和长度信息,控制机器人的取放货装置进行移动包括:获取测距传感器的位置信息;根据机器人的图像采集单元与货架之间的高度差和测距传感器的位置信息,确定测距传感器与货架之间的高度差;根据第一距离、测距传感器与货架之间的高度差、视场角和长度信息,控制机器人的取放货装置进行移动,以使目标高度差小于或者等于测距传感器与货架之间的高度差,目标高度差为测距传感器与目标交点之间的高度差,目标交点为视场角的下边沿与货箱的第二表面所在平面的交点,第二表面为货箱与机器人的测距传感器相对,且远离测距传感器的表面。
可选地,根据第一距离、测距传感器与货架之间的高度差、视场角和长度信息,控制机器人的取放货装置进行移动,以使目标高度差小于或者等于测距传感器与货架之间的高度差,包括:根据第一距离、视场角和长度信息,确定目标高度差:d3=tan(a/2)*(d1+d2),其中,a为视场角,d1为第一距离,d2为长度信息,d3为目标高度差;控制机器人的取放货装置进行移动,以使目标高度差小于或者等于测距传感器与货架之间的高度差。
可选地,还包括:控制机器人移动至与目标库位对应的第三位置后,控制机器人获取至少一张目标库位所在货架的图像信息;根据图像信息,确定目标库位上是否存在障碍物,若不存在障碍物,则控制机器人的取放货装置对目标库位执行放货操作。
可选地,图像信息为二维图像,控制机器人获取至少一张目标库位所在货架的图像信息,包括:控制机器人的取放货装置抬高至预设高度后,控制机器人获取至少一张目标库位所在货架的图像信息;相应的,根据图像信息,确定目标库位上是否存在障碍物,包括:根据图像信息中是否包括货箱的标识信息,确定目标库位上是否存在障碍物。
可选地,图像信息为二维图像,根据图像信息,确定目标库位上是否存在障碍物,包括:将图像信息输入预先训练的判断模型中,以确定目标库位上是否存在障碍物。
可选地,图像信息为三维图像,根据图像信息,确定目标库位上是否存在障碍物,包括:对图像信息进行解析,得到图像信息中的噪点分布情况;根据噪点分布情况,确定目标库位上是否存在障碍物。
可选地,控制机器人获取至少一张第一位置所在货架的图像信息,包括:根据获取到的货箱的高度信息,控制机器人的取放货装置升降至第四位置之后控制机器人获取至少一张第一位置所在货架的图像信息。
第二方面,本公开还提供了一种机器人的控制方法,应用于机器人,机器人包括取放货装置、图像采集单元以及测距传感器,测距传感器设置于取放货装置上,方法包括:响应于控制设备发送的第一控制指令,移动至与待取货箱所在的第一位置对应的第二位置后,通过图像采集单元获取至少一张第一位置所在货架的图像信息;向控制设备发送图像信息;响应于控制设备发送的第二控制指令,控制取放货装置进行移动,以使控制设备通过取放货装置上的测距传感器检测取放货装置的伸缩方向上是否存在障碍物;响应于控制设备发送的第三控制指令,控制取放货装置对待取货箱执行取货操作,第三控制指令为控制设备在检测到取放货装置的伸缩方向上不存在障碍物时发送的。
可选的,还包括:接收控制设备发送的第四控制指令,第四控制指令为控制设备根据第一距离、测距传感器与货架之间的高度差、测距传感器的视场角和货箱沿取放货装置伸缩方向上的长度信息生成并发送的,第一距离为测距传感器与货箱的第一表面所在平面之间距离;根据第四控制指令,控制取放货装置进行移动,以使目标高度差小于或者等于测距传感器与货架之间的高度差,目标高度差为测距传感器与目标交点之间的高度差,目标交点为视场角的下边沿与货箱的第二表面所在平面的交点,第二表面为货箱与机器人的测距传感器相对,且远离测距传感器的表面。
可选地,响应于控制设备发送的第五控制指令,控制取放货装置升降至第四位置之后,通过图像采集单元获取至少一张第一位置所在货架的图像信息,第五控制指令为控制设备根据获取到的货箱的高度信息生成并发送的。
第三方面,本公开还提供了一种机器人的控制方法,应用于控制设备,方法包括:控制机器人移动至与目标库位对应的第三位置后,控制机器人获取至少一张目标库位所在货架的图像信息;根据图像信息,确定目标库位上是否存在障碍物;若不存在障碍物,则控制机器人的取放货装置对目标库位执行放货操作。
可选地,图像信息为二维图像,控制机器人获取至少一张目标库位所在货架的图像信息,包括:控制机器人的取放货装置抬高至预设高度后,控制机器人获取至少一张目标库位所在货架的图像信息;相应的,根据图像信息,确定目标库位上是否存在障碍物,包括:根据图像信息中是否包括货箱的标识信息,确定目标库位上是否存在障碍物。
可选地,图像信息为二维图像,根据图像信息,确定目标库位上是否存在障碍物,包括:将图像信息输入预先训练的判断模型中,以确定目标库位上是否存在障碍物。
可选地,图像信息为三维图像,根据图像信息,确定目标库位上是否存在障碍物,包括:对图像信息进行解析,得到图像信息中的噪点分布情况;根据噪点分布情况,确定目标库位上是否存在障碍物。
可选地,还包括:控制机器人移动至与待取货箱所在的第一位置对应的第二位置后,控制机器人获取至少一张第一位置所在货架的图像信息;根据图像信息,控制机器人的取放货装置进行移动,以通过取放货装置上的测距传感器检测取放货装置的伸缩方向上是否存在障碍物;若不存在障碍物,则控制机器人的取放货装置对待取货箱执行取货操作。
可选地,根据图像信息,控制机器人的取放货装置进行移动,包括:获取货箱沿取放货装置伸缩方向上的长度信息;获取测距传感器的视场角;根据图像信息、长度信息和视场角,控制机器人的取放货装置进行移动。
可选地,根据图像信息、长度信息和视场角,控制机器人的取放货装置进行移动,包括:根据图像信息,确定测距传感器与货箱的第一表面所在平面之间的第一距离,以及机器人的图像采集单元与货架之间的高度差,第一表面为货箱与机器人的测距传感器相对,且靠近测距传感器的表面;根据第一距离、机器人的图像采集单元与货架之间的高度差、视场角和长度信息,控制机器人的取放货装置进行移动。
可选地,根据第一距离、机器人的图像采集单元与货架之间的高度差、视场角和长度信息,控制机器人的取放货装置进行移动包括:获取测距传感器的位置信息;根据机器人的图像采集单元与货架之间的高度差和测距传感器的位置信息,确定测距传感器与货架之间的高度差;根据第一距离、测距传感器与货架之间的高度差、视场角和长度信息,控制机器人的取放货装置进行移动,以使目标高度差小于或者等于测距传感器与货架之间的高度差,目标高度差为测距传感器与目标交点之间的高度差,目标交点为视场角的下边沿与货箱的第二表面所在平面的交点,第二表面为货箱与机器人的测距传感器相对,且远离测距传感器的表面。
可选地,根据第一距离、测距传感器与货架之间的高度差、视场角和长度信息,控制机器人的取放货装置进行移动,以使目标高度差小于或者等于测距传感器与货架之间的高度差,包括:根据第一距离、视场角和长度信息,确定目标高度差:d3=tan(a/2)*(d1+d2),其中,a为视场角,d1为第一距离,d2为长度信息,d3为目标高度差;控制机器人的取放货装置进行移动,以使目标高度差小于或者等于测距传感器与货架之间的高度差。
可选地,控制机器人获取至少一张第一位置所在货架的图像信息,包括:根据获取到的货箱的高度信息,控制机器人的取放货装置升降至第四位置之后,控制机器人获取至少一张第一位置所在货架的图像信息。
第四方面,本公开还提供了一种机器人的控制装置,该装置包括:
控制模块,用于控制机器人移动至与待取货箱所在的第一位置对应的第二位置后,控制机器人获取至少一张第一位置所在货架的图像信息。
处理模块,用于根据图像信息,控制机器人的取放货装置进行移动,以通过取放货装置上的测距传感器检测取放货装置的伸缩方向上是否存在障碍物。
控制模块,还用于若不存在障碍物,则控制机器人的取放货装置对待取货箱执行取货操作。
可选地,处理模块,具体用于获取货箱沿取放货装置伸缩方向上的长度信息;获取测距传感器的视场角;根据图像信息、长度信息和视场角,控制机器人的取放货装置进行移动。
可选地,处理模块,具体用于根据图像信息,确定测距传感器与货箱的第一表面所在平面之间的第一距离,以及机器人的图像采集单元与货架之间的高度差,第一表面为货箱与机器人的测距传感器相对,且靠近测距传感器的表面;根据第一距离、机器人的图像采集单元与货架之间的高度差、视场角和长度信息,控制机器人的取放货装置进行移动。
可选地,处理模块,具体用于获取测距传感器的位置信息;根据机器人的图像采集单元与货架之间的高度差和测距传感器的位置信息,确定测距传感器与货架之间的高度差;根据第一距离、测距传感器与货架之间的高度差、视场角和长度信息,控制机器人的取放货装置进行移动,以使目标高度差小于或者等于测距传感器与货架之间的高度差,目标高度差为测距传感器与目标交点之间的高度差,目标交点为视场角的下边沿与货箱的第二表面所在平面的交点,货箱的第二表面为货箱与机器人的测距传感器相对,且远离测距传感器的表面。
可选地,处理模块,具体用于根据第一距离、视场角和长度信息,确定目标高度差:d3=tan(a/2)*(d1+d2),其中,a为视场角,d1为第一距离,d2为长度信息,d3为目标高度差;控制机器人的取放货装置进行移动,以使目标高度差小于或者等于测距传感器与货架之间的高度差。
可选地,控制模块,还用于控制机器人移动至与目标库位对应的第三位置后,控制机器人获取至少一张目标库位所在货架的图像信息;根据图像信息,确定目标库位上是否存在障碍物,若不存在障碍物,则控制机器人的取放货装置对目标库位执行放货操作。
可选地,图像信息为二维图像,控制模块,具体用于控制机器人的取放货装置抬高至预设高度后,控制机器人获取至少一张目标库位所在货架的图像信息;根据图像信息中是否包括货箱的标识信息,确定目标库位上是否存在障碍物。
可选地,图像信息为二维图像,控制模块,具体用于将图像信息输入预先训练的判断模型中,以确定目标库位上是否存在障碍物。
可选地,图像信息为三维图像,控制模块,具体用于对图像信息进行解析,得到图像信息中的噪点分布情况;根据噪点分布情况,确定目标库位上是否存在障碍物。
可选地,控制模块,具体用于根据获取到的货箱的高度信息,控制机器人的取放货装置升降至第四位置之后,控制机器人通获取至少一张第一位置所在货架的图像信息。
第五方面,本公开还提供了一种机器人的控制装置,该装置包括:
获取模块,用于响应于控制设备发送的第一控制指令,移动至与待取货箱所在的第一位置对应的第二位置后,通过图像采集单元获取至少一张第一位置所在货架的图像信息。
发送模块,用于向控制设备发送图像信息。
控制模块,用于响应于控制设备发送的第二控制指令,控制取放货装置进行移动,以使控制设备通过取放货装置上的测距传感器检测取放货装置的伸缩方向上是否存在障碍物。
控制模块,还用于响应于控制设备发送的第三控制指令,控制取放货装置对待取货箱执行取货操作,第三控制指令为控制设备在检测到取放货装置的伸缩方向上不存在障碍物时发送的。
可选地,控制模块,还用于接收控制设备发送的第四控制指令,第四控制指令为控制设备根据第一距离、测距传感器与货架之间的高度差、测距传感器的视场角和货箱沿取放货装置伸缩方向上的长度信息生成并发送的,第一距离为测距传感器与货箱的第一表面所在平面之间距离;根据第四控制指令,控制取放货装置进行移动,以使目标高度差小于或者等于测距传感器与货架之间的高度差,目标高度差为测距传感器与目标交点之间的高度差,目标交点为视场角的下边沿与货箱的第二表面所在平面的交点,第二表面为货箱与机器人的测距传感器相对,且远离测距传感器的表面。
可选地,获取模块,具体用于响应于控制设备发送的第五控制指令,控制取放货装置升降至第四位置之后,通过图像采集单元获取至少一张第一位置所在货架的图像信息,第五控制指令为控制设备根据获取到的货箱的高度信息生成并发送的。
第六方面,本公开还提供了一种机器人的控制装置,该装置包括:
控制模块,用于控制机器人移动至与目标库位对应的第三位置后,控制机器人获取至少一张目标库位所在货架的图像信息。
处理模块,用于根据图像信息,确定目标库位上是否存在障碍物。
控制模块,还用于若不存在障碍物,则控制机器人的取放货装置对目标库位执行放货操作。
可选地,图像信息为二维图像,控制模块,具体用于控制机器人的取放货装置抬高至预设高度后,控制机器人获取至少一张目标库位所在货架的图像信息。
确定模块,具体用于根据图像信息中是否包括货箱的标识信息,确定目标库位上是否存在障碍物。
可选地,图像信息为二维图像,控制模块,具体用于将图像信息输入预先训练的判断模型中,以确定目标库位上是否存在障碍物。
可选地,图像信息为三维图像,控制模块,具体用于对图像信息进行解析,得到图像信息中的噪点分布情况;根据噪点分布情况,确定目标库位上是否存在障碍物。
可选地,控制模块,还用于控制机器人移动至与待取货箱所在的第一位置对应的第二位置后,控制机器人获取至少一张第一位置所在货架的图像信息;根据图像信息,控制机器人的取放货装置进行移动,以通过取放货装置上的测距传感器检测取放货装置的伸缩方向上是否存在障碍物;若不存在障碍物,则控制机器人的取放货装置对待取货箱执行取货操作。
可选地,控制模块,具体用于获取测距传感器的视场角;根据图像信息、长度信息和视场角,控制机器人的取放货装置进行移动。
可选地,控制模块,具体用于根据图像信息,确定测距传感器与货箱的第一表面所在平面之间的第一距离,以及机器人的图像采集单元与货架之间的高度差,第一表面为货箱与机器人的测距传感器相对,且靠近测距传感器的表面;根据第一距离、机器人的图像采集单元与货架之间的高度差、视场角和长度信息,控制机器人的取放货装置进行移动。
可选地,控制模块,具体用于获取测距传感器的位置信息;根据机器人的图像采集单元与货架之间的高度差和测距传感器的位置信息,确定测距传感器与货架之间的高度差;根据第一距离、测距传感器与货架之间的高度差、视场角和长度信息,控制机器人的取放货装置进行移动,以使目标高度差小于或者等于测距传感器与货架之间的高度差,目标高度差为测距传感器与目标交点之间的高度差,目标交点为视场角的下边沿与货箱的第二表面所在平面的交点,货箱的第二表面为货箱与机器人的测距传感器相对,且远离测距传感器的表面。
可选地,控制模块,具体用于根据第一距离、视场角和长度信息,确定目标高度差:d3=tan(a/2)*(d1+d2),其中,a为视场角,d1为第一距离,d2为长度信息,d3为目标高度差;控制机器人的取放货装置进行移动,以使目标高度差小于或者等于测距传感器与货架之间的高度差。
可选地,控制模块,具体用于根据获取到的货箱的高度信息,控制机器人的取放货装置升降至第四位置之后,获取至少一张第一位置所在货架的图像信息。
第七方面,本公开还提供了一种控制设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行如第一方面及第一方面的可选方式,或者,第三方面及第三方面的可选方式所提供的方法。
第八方面,本公开还提供了一种机器人,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行如第二方面及第二方面的可选方式所提供的方法。
第九方面,本公开提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,计算机执行指令被处理器执行时用于实现如第一方面或第一方面的可选方式,或者,第二方面或第二方面的可选方式,或者,第三方面或第三方面的可选方式所提供的方法。
第十方面,本公开提供了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现如第一方面或第一方面的可选方式,或者,第二方面或第二方面的可选方式,或者,第三方面或第三方面的可选方式所提供的方法。
本公开提供的机器人的控制方法、装置和设备,通过控制机器人移动至与待取货箱所在的第一位置对应的第二位置后,控制机器人获取至少一张第一位置所在货架的图像信息;根据图像信息,控制机器人的取放货装置进行移动,以通过取放货装置上的测距传感器检测取放货装置的伸缩方向上是否存在障碍物;若不存在障碍物,则控制机器人的取放货装置对待取货箱执行取货操作,能够实时判定机器人取货方向是否存在障碍物,并根据判断结果控制机器人取货,提高了机器人的安全性以及取货的成功率。
附图说明
图1为本公开提供的机器人的控制方法一种应用场景的示意图;
图2为本公开提供的机器人的控制方法的一种流程示意图;
图3为本公开提供的图像采集单元与货箱的相对位置关系的一种示意图;
图4为本公开提供的机器人的控制方法的另一种流程示意图;
图5为本公开提供的测距传感器与货箱的相对位置关系的一种示意图;
图6为本公开提供的测距传感器与货箱的相对位置关系的另一种示意图;
图7为本公开提供的机器人的控制方法的又一种流程示意图;
图8为本公开提供的机器人的控制方法的再一种流程示意图;
图9为本公开提供的机器人的控制装置的一种结构示意图;
图10为本公开提供的机器人的控制装置的另一种结构示意图;
图11为本公开提供的机器人的控制装置的又一种结构示意图;
图12为本公开提供的控制设备的一种结构示意图;
图13为本公开提供的机器人的一种结构示意图。
通过上述附图,已示出本公开明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
现有技术中,调度系统会根据存储的料箱位置信息或者库位的位置信息,控制机器人前往相应的位置,拿取或者放置货物。由于调度无法系统无法实时获取货架上的载货详情,无法实时确定出货架上机器人作业区域是否存在障碍物,使得机器人在取货或者放货时可能出现干涉等,导致机器人无法顺利完成任务,甚至于威胁到机器人的安全性。
为解决上述问题,本公开提供了一种机器人的控制方法,在控制机器人取货之前,先通过机器人采集相应的数据,并判断待取货箱周围目标区域内是否存在障碍区,若不存在障碍物,则控制机器人获取货箱,从而弥补了调度系统无法实时感知货架上机器人作业区域是否存在障碍物缺憾,提高了机器人取货的成功率,以及机器人的安全性。
图1为本公开提供的机器人的控制方法一种应用场景的示意图,如图1所示,该方法应用于包括控制设备11、机器人12以及货架13的场景中。
其中,控制设备11与机器人通信连接。机器人12包括图像采集单元、取放货装置和测距传感器,测距传感器设置与取放货装置上。
控制设备11,用于控制机器人12移动至与待取货箱所在的第一位置对应的第二位置后,控制机器人12获取至少一张第一位置所在货架的图像信息,并根据图像信息,控制机器人12的取放货装置进行移动,以通过取放货装置上的测距传感器检测取放货装置的伸缩方向上是否存在障碍物;若不存在障碍物,则控制机器人12的取放货装置对待取货箱执行取货操作。
待取货箱所在的第一位置位于货架13上。
图2为本公开提供的机器人的控制方法的一种流程示意图,该方法应用于控制设备,如图2所示,该方法包括:
S201、控制机器人移动至与待取货箱所在的第一位置对应的第二位置后,控制机器人获取至少一张第一位置所在货架的图像信息。
待取货箱所在的第一位置为待取货箱在货架上所处的位置,如待取货箱所在库位。
控制机器人移动至与待取货箱所在的第一位置对应的第二位置,即控制机器人的取放货装置直对待取货箱。具体可以是先根据调度指令控制机器人根据地面上的地面码进行移动,移动至待取货箱所在的第一位置对应的地面码位置后。然后,控制机器人的取放货装置升降至待取货箱所在的第一位置对应的高度。然后,控制机器人的取放货装置旋转一定角度,以使机器人的取放货装置直对待取货箱所在库位。
控制机器人获取至少一张第一位置所在货架的图像信息,可以是控制机器人上的图像采集单元获取至少一张第一位置所在货架的图像信息。示例性的,图像采集单元为三维相机、二维相机等;相应的,图像信息可以是三维图像信息,如三维点云,或者,二维图像信息。
当机器人的图像采集单元设置与其取放货装置上时,可以通过调整取放货装置与货箱的相对位置,实现间接调整其图像采集单元与货箱的相对位置,使图像采集单元能够采集到有效的图像信息。
在一种可能的实现方式中,控制机器人通过图像采集单元获取至少一张第一位置所在货架的图像信息,包括:根据获取到的货箱的高度信息,控制机器人的取放货装置升降至第四位置之后,获取至少一张第一位置所在货架的图像信息。
控制设备获取货箱的高度信息可以是从虚拟或者实体存储介质中,读取预先存储的货箱的高度信息;也可以是接收上层系统,如调度系统,下发的货箱的高度信息;还可以是控制机器人获取至少一张货架的图像信息后,通过对获取到的图像信息进行解析,得到的货箱的高度信息。
其中,上述第四位置可以是与货箱高度对应的任意位置,例如,机器人的取放货装置位于第四位置时,机器人的图像采集单元与货箱的中心的高度保持一致。
通过该方法,能够控制机器人的取放货装置快速预调整至第四位置,使机器人的图像采集单元后续继续获取的图像信息中包括货箱信息,避免获取无效的图像信息,同时,尽可能使取放货装置的测距传感器检测障碍物时,避免出现因货架层导致的误判,通过快速粗调,为后续机器人取放货装置位置的精细调整奠定基础。
如图3为本公开提供的图像采集单元与货箱的相对位置关系的一种示意图,其中,货箱32位于货架33上,图像采集单元311设置于取放货装置31上,图3所示图像采集单元与货箱的相对位置关系中,图像采集单元311所采集到的图像信息中不包括货箱32的相关信息,无法用于后续机器人取放货装置位置的精细调整,属于无效图像。为了使图像采集单元311能够采集到有效图像,则应该将取放货装置适当下移一定距离,使图像采集单元311能够采集到货箱信息。为避免上述反复调整,可以根据获取到的货箱的高度信息,确定一个较为合理的目标位置,并控制机器人的取放货装置升降至该目标位置,使机器人的图像采集装置能够采集到货箱信息。
S202、根据图像信息,控制机器人的取放货装置进行移动,以通过取放货装置上的测距传感器检测取放货装置的伸缩方向上是否存在障碍物。
机器人的取放货装置可以是货叉,测距传感器可以设置在货叉叉齿上。
通过解析图像信息,若确定机器人的取放货装置所在位置以能够满足需求,能够实现通过取放货装置上的测距传感器检测取放货装置的伸缩方向上是否存在障碍物时,控制设备可控制机器人的取放货装置移动0米;若确定机器人的取放货装置所在位置不能满足需求时,控制设备可控制机器人的取放货装置进行前后、上下等任意形式的移动,以使控制设备能够通过取放货装置上的测距传感器检测取放货装置的伸缩方向上是否存在障碍物。
具体的,通过分析识别图像信息,分离货架货箱,进一步确定出货箱的位置、高度等相关信息,然后控制机器人的取放货装置移动,以使机器人在对准待取货箱的同时,其取放货装置上的测距传感器避开货架和货箱,并通过测距传感器检测到的信号,确定取放货装置的伸缩方向上是否存在障碍物。
测距传感器可以是如下传感器中的任意一种:光电传感器、激光传感器、超声波传感器。
S203、若不存在障碍物,则控制机器人的取放货装置对待取货箱执行取货操作。
若确定出取放货装置的伸缩方向上不存在障碍物,则说明机器人通过伸缩其取放货装置以拿取货箱时,不会发生碰撞,因此可以控制机器人的取放货装置对待取货箱执行取货操作。
本公开提供的机器人的控制方法,通过控制机器人移动至与待取货箱所在的第一位置对应的第二位置后,控制机器人获取至少一张第一位置所在货架的图像信息;根据图像信息,控制机器人的取放货装置进行移动,以通过取放货装置上的测距传感器检测取放货装置的伸缩方向上是否存在障碍物;若不存在障碍物,则控制机器人的取放货装置对待取货箱执行取货操作,能够通过机器人的取放货装置上的测距传感器准确的识别出待取货箱周围是否存在障碍物,且在不存在障碍物的情况下,才对待取货箱执行取货操作,从而能够提高机器人取货的成功率,提高机器人的安全性和可靠性。
图4为本公开提供的机器人的控制方法的另一种流程示意图,该方法应用于控制设备,如图4所示,该方法包括:
S401、控制机器人移动至与待取货箱所在的第一位置对应的第二位置后,控制机器人获取至少一张第一位置所在货架的图像信息。
S401与S201具有相同或者相应的技术特征,具体描述可参考S201,在此不做赘述。
S402、获取货箱沿取放货装置伸缩方向上的长度信息。
控制设备可以从其他电子设备获取货箱沿取放货装置伸缩方向上的长度信息;或者从存储介质中获取货箱沿取放货装置伸缩方向上的长度信息,该长度信息可以是货箱在入库时,控制设备存储在存储介质中的。
示例性的,货箱沿取放货装置伸缩方向上的长度信息可以是调度系统下发的,也可以是预先存储的一个默认值,默认值可以大于或者等于所有的货箱长度。
S403、获取测距传感器的视场角。
测距传感器的视场角与测距传感器的型号相关,可以获取预先存储的测距传感器的视场角。
S404、根据图像信息、长度信息和视场角,控制机器人的取放货装置进行移动,以通过取放货装置上的测距传感器检测取放货装置的伸缩方向上是否存在障碍物。
取放货装置在拿取料箱时,其伸出的长度需略大于货箱沿取放货装置伸缩方向上的长度信息即可,因此测距传感器应能够检测到在取放货装置的伸缩方向上,长度略大于箱子的长度、宽度为取放货装置的宽度的区域。为避免误检测,还需要根据图像信息、长度信息和视场角,控制机器人的取放货装置进行移动,以使测距传感器的检测区域内不包括货架。
在一种可能的实现方式中,根据图像信息、长度信息和视场角,控制机器人的取放货装置进行移动,包括:根据图像信息,确定测距传感器与货箱的第一表面所在平面之间的第一距离,以及机器人的图像采集单元与货架之间的高度差,第一表面为货箱与机器人的测距传感器相对,且靠近测距传感器的表面;根据第一距离、机器人的图像采集单元与货架之间的高度差、视场角和长度信息,控制机器人的取放货装置进行移动。
具体的,当货架上贴有货架码时,根据图像信息,确定测距传感器与货箱的第一表面所在平面之间的第一距离,可以是通过二维相机扫描货架码获取图像信息后,通过识别并解析货架码确定第一距离;当货架上没有货架码时,根据图像信息,确定测距传感器与货箱的第一表面所在平面之间的第一距离,可以是通过三维相机获取点云图像,通过分析点云图像确定第一距离。
可选地,可以通过识别并解析货架码,得到机器人的图像采集单元与货架之间的高度差。
通过该方法能够根据测距传感器与货架、货箱的相对位置,更加精准的控制机器人的取放货装置进行移动,通过取放货装置上的测距传感器检测取放货装置的伸缩方向上是否存在障碍物。
进一步,在一种可能的实现方式中,根据第一距离、高度差、视场角和长度信息,控制机器人的取放货装置进行移动包括:获取测距传感器的位置信息;根据机器人的图像采集单元与货架之间的高度差和测距传感器的位置信息,确定测距传感器与货架之间的高度差;根据第一距离、测距传感器与货架之间的高度差、视场角和长度信息,控制机器人的取放货装置进行移动,以使目标高度差小于或者等于测距传感器与货架之间的高度差,目标高度差为测距传感器与目标交点之间的高度差,目标交点为视场角的下边沿与货箱的第二表面所在平面的交点,货箱的第二表面为货箱与机器人的测距传感器相对,且远离测距传感器的表面。
其中,通过解货架码得到机器人的图像采集单元与货架之间的高度差之后,可以通过存储的配置信息得到测距传感器与图像采集单元之间的高度差,进而换算可得测距传感器与货架之间的高度差。
图5为本公开提供的测距传感器与货箱的相对位置关系的一种示意图,其中,测距传感器312设置于机器人的取放货装置31上,货箱32位于货架33上,d1为测距传感器与货箱的第一表面所在平面之间的第一距离;d2为货箱沿取放货装置伸缩方向上的长度信息;a为测距传感器的视场角;p1为测距传感器的视场角的下边沿与货箱的第二表面所在平面的交点;d4为测距传感器与货架之间的高度差;d3为目标高度差,即视场角的下边沿与货箱的第二表面所在平面的交点与测距传感器之间的高度差。根据第一距离、测距传感器与货架之间的高度差、视场角和长度信息,控制机器人的取放货装置进行移动,以使d3=tan(a/2)*(d1+d2),d3≤d4。
可选地,考虑的实际应用中可能存在一定的误差,还可以设置一定的误差余量,使目标高度差满足d3+△d≤d4,其中,△d1为允许的误差余量。
通过该方法能够使测距传感器的检测区域内不包括货架,提高检测结果的准确性,进而提高机器人取货的成功率,保障机器人的安全性。
在另一种可能的实现方式中,根据图像信息,确定测距传感器与货箱的第一表面所在平面之间的第一距离,包括:根据图像信息,确定货架的第一表面的位置,第一表面为货箱与机器人的测距传感器相对,且靠近测距传感器的表面;获取测距传感器所在的位置;确定测距传感器所在的位置与第一表面所在平面之间的第一距离。
该方法通过分析图像信息,确定出图像中的货架,进一步确定出货箱的第一表面的位置,并根据预先存储的配置信息中所包括的测距传感器的位置信息,能够准确的确定出测距传感器与货箱的第一表面所在平面之间的距离。
可选地,为提高检测结果的准确性,测距传感器在选型时,还需满足如下条件2tan(a/2)*d1>=d5+△d2,d1为测距传感器与货箱的第一表面所在平面之间的第一距离,d5为取放货装置的宽度,△d2为允许的误差余量。
图6为本公开提供的测距传感器与货箱的相对位置关系的另一种示意图,其中,测距传感器311设置于机器人的取放货装置31上,货箱32位于货架33上,d1为测距传感器与货箱的第一表面所在平面之间的第一距离;a为测距传感器的视场角;d5为取放货装置的宽度,△d2为允许的误差余量。
S405、若不存在障碍物,则控制机器人的取放货装置对待取货箱执行取货操作。
S405与S203具有相同或者相应的技术特征,具体描述可参考S203,在此不做赘述。
可选地,若存在障碍物,则发送通知消息,以通知货箱不可取。
示例性的,如有障碍物,则向调度系统发送通知消息,以上报调度系统异常,该箱不可取。
可选地,该方法还包括:控制机器人移动至与目标库位对应的第三位置后,控制机器人获取至少一张目标库位所在货架的图像信息;根据图像信息,确定目标库位上是否存在障碍物,若不存在障碍物,则控制机器人的取放货装置对目标库位执行放货操作。
示例性的,控制机器人移动至调度指令对应的地面码位置后,再控制机器人的取放货装置升降到调度指令对应的层高,然后控制机器人的取放货装置旋转一定角度,例如90度,使其取放货装置直对库位。
其中,图像信息就可以是二维图像信息,也可以是三维图像信息。
若图像信息为二维图像,在一种可能的实现方式中,控制机器人获取至少一张目标库位所在货架的图像信息,包括:控制机器人的取放货装置抬高至预设高度后,控制机器人获取至少一张目标库位所在货架的图像信息。
相应的,根据图像信息,确定目标库位上是否存在障碍物,包括:根据图像信息中是否包括货箱的标识信息,确定目标库位上是否存在障碍物。
其中,预设高度可以是根据一般料箱的贴码高度确定的。
示例性的,控制机器人的取放货装置抬升一定的高度,使得机器人的相机对准一般料箱的贴码高度后,控制机器人获取至少一张目标库位所在货架的图像信息,通过对图像信息进行解析,确定出图像信息中是否包括货箱的标识信息,如果包括货箱的标识信息,则确定目标库位上存在障碍物,即放置有货箱;如果不包括货箱的标识信息,则确定目标库位上不存在障碍物,即该库位为空库位。
该方法能够在货架上贴有货架码的情况下,通过采集货架对应的二维图像,快速确定出目标库位上是否存在货箱。
若图像信息为二维图像,在另一种可能的实现方式中,根据图像信息,确定目标库位上是否存在障碍物,包括:将图像信息输入预先训练的判断模型中,以确定目标库位上是否存在障碍物。
示例性的,预先在不同工况、不同环境、不同光线以及不同相机曝光、库位上有无料箱的场景下,采集多张图像,并将其标定为样本数据,通过深度学习,训练得到判断模型。在机器人放货前,将机器人采集到的当前库位对应的图像信息,输入预先训练的判断模型中,以判断目标库位上是否存在障碍物。
该方法结合了训练模型,能够提高判断效率和准确率。
图像信息为三维图像,在一种可能的实现方式中,根据图像信息,确定目标库位上是否存在障碍物,包括:对图像信息进行解析,得到图像信息中的噪点分布情况;根据噪点分布情况,确定目标库位上是否存在障碍物。
示例性的,根据噪点分布情况,确定预设视野范围内是否存在大片噪点,如果存在大片噪点,则确定预设视野范围内存在料箱;如果不存在大片噪点,则确定预设视野范围内不存在料箱。其中,预设视野范围可以是包括目标库位所在货架层以上,以及目标库位的上层货架板以下预设深度和宽度范围内的区域,该区域包括目标库位,预设深度小于等于相机工作距离与货箱的长度信息的和值;预设宽度可以是取放货装置可取的最大货箱。
通过该方法,能够在货架没有货架码的情况下,通过采集并解析三维图像,快速确定出目标库位上是否存在货箱。
本公开提供的机器人的控制方法,在上述实施例的基础上,进一步的通过获取货箱沿取放货装置伸缩方向上的长度信息;获取测距传感器的视场角;根据图像信息、长度信息和视场角,控制机器人的取放货装置进行移动,能够合理调节机器人的取放货装置的位置,提高检测结果的准确性,进一步提高机器人的安全性和取货的成功率。
图7为本公开提供的机器人的控制方法的又一种流程示意图,该方法应用于机器人,机器人包括取放货装置、图像采集单元以及测距传感器,测距传感器设置于取放货装置上,如图7所示,该方法包括:
S701、响应于控制设备发送的第一控制指令,移动至与待取货箱所在的第一位置对应的第二位置后,通过图像采集单元获取至少一张第一位置所在货架的图像信息。
S702、向控制设备发送图像信息。
S703、响应于控制设备发送的第二控制指令,控制取放货装置进行移动,以使控制设备通过取放货装置上的测距传感器检测取放货装置的伸缩方向上是否存在障碍物。
S704、响应于控制设备发送的第三控制指令,控制取放货装置对待取货箱执行取货操作,第三控制指令为控制设备在检测到取放货装置的伸缩方向上不存在障碍物时发送的。
可选地,还包括:接收控制设备发送的第四控制指令,第四控制指令为控制设备根据第一距离、测距传感器与货架之间的高度差、测距传感器的视场角和货箱沿取放货装置伸缩方向上的长度信息生成并发送的,第一距离为测距传感器与货箱的第一表面所在平面之间距离;根据第四控制指令,控制取放货装置进行移动,以使目标高度差小于或者等于测距传感器与货架之间的高度差,目标高度差为测距传感器与目标交点之间的高度差,目标交点为视场角的下边沿与货箱的第二表面所在平面的交点,第二表面为货箱与机器人的测距传感器相对,且远离测距传感器的表面。
可选地,还包括:响应于控制设备发送的第五控制指令,控制取放货装置升降至第四位置之后,通过图像采集单元获取至少一张第一位置所在货架的图像信息,第五控制指令为控制设备根据获取到的货箱的高度信息生成并发送的。
本公开提供的机器人的控制方法,通过向控制设备发送图像信息;响应于控制设备发送的第二控制指令,控制机器人的取放货装置进行移动,以使控制设备通过取放货装置上的测距传感器检测取放货装置的伸缩方向上是否存在障碍物;响应于控制设备在检测到取放货装置的伸缩方向上不存在障碍物时发送的第三控制指令,控制取放货装置对待取货箱执行取货操作,能够提高机器人的安全性和取放货的成功率。
图8为本公开提供的机器人的控制方法的再一种流程示意图,应用于控制设备,该方法包括:
S801、控制机器人移动至与目标库位对应的第三位置后,控制机器人获取至少一张目标库位所在货架的图像信息。
S802、根据图像信息,确定目标库位上是否存在障碍物。
图像信息为二维图像,在一种可能的实现方式中,控制机器人获取至少一张目标库位所在货架的图像信息,包括:控制机器人的取放货装置抬高至预设高度后,控制机器人获取至少一张目标库位所在货架的图像信息。
相应的,根据图像信息,确定目标库位上是否存在障碍物,包括:根据图像信息中是否包括货箱的标识信息,确定目标库位上是否存在障碍物。
图像信息为二维图像,在另一种可能的实现方式中,根据图像信息,确定目标库位上是否存在障碍物,包括:将图像信息输入预先训练的判断模型中,以确定目标库位上是否存在障碍物。
图像信息为三维图像,在一种可能的实现方式中,根据图像信息,确定目标库位上是否存在障碍物,包括:对图像信息进行解析,得到图像信息中的噪点分布情况;根据噪点分布情况,确定目标库位上是否存在障碍物。
S803、若不存在障碍物,则控制机器人的取放货装置对目标库位执行放货操作。
可选地,该方法还包括:
S804、控制机器人移动至与待取货箱所在的第一位置对应的第二位置后,控制机器人获取至少一张第一位置所在货架的图像信息。
S805、根据图像信息,控制机器人的取放货装置进行移动,以通过取放货装置上的测距传感器检测取放货装置的伸缩方向上是否存在障碍物。
在一种可能的实现方式中,根据图像信息,控制机器人的取放货装置进行移动,包括:获取货箱沿取放货装置伸缩方向上的长度信息;获取测距传感器的视场角;根据图像信息、长度信息和视场角,控制机器人的取放货装置进行移动。
进一步,可选地,根据图像信息、长度信息和视场角,控制机器人的取放货装置进行移动,包括:根据图像信息,确定测距传感器与货箱的第一表面所在平面之间的第一距离,以及机器人的图像采集单元与货架之间的高度差,第一表面为货箱与机器人的测距传感器相对,且靠近测距传感器的表面;根据第一距离、机器人的图像采集单元与货架之间的高度差、视场角和长度信息,控制机器人的取放货装置进行移动。
进一步,可选地,根据第一距离、机器人的图像采集单元与货架之间的高度差、视场角和长度信息,控制机器人的取放货装置进行移动包括:获取测距传感器的位置信息;根据机器人的图像采集单元与货架之间的高度差和测距传感器的位置信息,确定测距传感器与货架之间的高度差;根据第一距离、测距传感器与货架之间的高度差、视场角和长度信息,控制机器人的取放货装置进行移动,以使目标高度差小于或者等于测距传感器与货架之间的高度差,目标高度差为测距传感器与目标交点之间的高度差,目标交点为视场角的下边沿与货箱的第二表面所在平面的交点,第二表面为货箱与机器人的测距传感器相对,且远离测距传感器的表面。
进一步,可选地,根据第一距离、视场角和长度信息,控制机器人的取放货装置进行移动,以使目标高度差小于或者等于测距传感器与货架之间的高度差,包括:根据第一距离、视场角和长度信息,确定目标高度差:d3=tan(a/2)*(d1+d2),其中,a为视场角,d1为第一距离,d2为长度信息,d3为目标高度差;控制机器人的取放货装置进行移动,以使目标高度差小于或者等于测距传感器与货架之间的高度差。
S806、若不存在障碍物,则控制机器人的取放货装置对待取货箱执行取货操作。
本公开提供的机器人的控制方法,通过控制机器人移动至与目标库位对应的第三位置后,控制机器人获取至少一张目标库位所在货架的图像信息;根据图像信息,确定目标库位上是否存在障碍物,能够提高机器人放货的成功率;通过控制机器人移动至与待取货箱所在的第一位置对应的第二位置后,控制机器人获取至少一张第一位置所在货架的图像信息;根据图像信息,控制机器人的取放货装置进行移动,以通过取放货装置上的测距传感器检测取放货装置的伸缩方向上是否存在障碍物;若不存在障碍物,则控制机器人的取放货装置对待取货箱执行取货操作,能够提高机器人取货的成功率,以及机器人的安全性。
图9为本公开提供的机器人的控制装置的一种结构示意图,如图9所示,该装置包括:
控制模块91,用于控制机器人移动至与待取货箱所在的第一位置对应的第二位置后,控制机器人获取至少一张第一位置所在货架的图像信息;
处理模块92,用于根据图像信息,控制机器人的取放货装置进行移动,以通过取放货装置上的测距传感器检测取放货装置的伸缩方向上是否存在障碍物。
控制模块91,还用于若不存在障碍物,则控制机器人的取放货装置对待取货箱执行取货操作。
可选地,处理模块92,具体用于获取货箱沿取放货装置伸缩方向上的长度信息;获取测距传感器的视场角;根据图像信息、长度信息和视场角,控制机器人的取放货装置进行移动。
可选地,处理模块92,具体用于根据图像信息,确定测距传感器与货箱的第一表面所在平面之间的第一距离,以及机器人的图像采集单元与货架之间的高度差,第一表面为货箱与机器人的测距传感器相对,且靠近测距传感器的表面;根据第一距离、机器人的图像采集单元与货架之间的高度差、视场角和长度信息,控制机器人的取放货装置进行移动。
可选地,处理模块92,具体用于获取测距传感器的位置信息;根据机器人的图像采集单元与货架之间的高度差和测距传感器的位置信息,确定测距传感器与货架之间的高度差;根据第一距离、测距传感器与货架之间的高度差、视场角和长度信息,控制机器人的取放货装置进行移动,以使目标高度差小于或者等于测距传感器与货架之间的高度差,目标高度差测距传感器与目标交点之间的高度差,目标交点为为视场角的下边沿与货箱的第二表面所在平面的交点,第二表面为货箱与机器人的测距传感器相对,且远离测距传感器的表面。
可选地,处理模块92,具体用于根据第一距离、视场角和长度信息,确定目标高度差:d3=tan(a/2)*(d1+d2),其中,a为视场角,d1为第一距离,d2为长度信息,d3为目标高度差;控制机器人的取放货装置进行移动,以使目标高度差小于或者等于测距传感器与货架之间的高度差。
可选地,控制模块91,还用于控制机器人移动至与目标库位对应的第三位置后,控制机器人获取至少一张目标库位所在货架的图像信息;根据图像信息,确定目标库位上是否存在障碍物,若不存在障碍物,则控制机器人的取放货装置对目标库位执行放货操作。
可选地,图像信息为二维图像,控制模块91,具体用于控制机器人的取放货装置抬高至预设高度后,控制机器人获取至少一张目标库位所在货架的图像信息;根据图像信息中是否包括货箱的标识信息,确定目标库位上是否存在障碍物。
可选地,图像信息为二维图像,控制模块91,具体用于将图像信息输入预先训练的判断模型中,以确定目标库位上是否存在障碍物。
可选地,图像信息为三维图像,控制模块91,具体用于对图像信息进行解析,得到图像信息中的噪点分布情况;根据噪点分布情况,确定目标库位上是否存在障碍物。
可选地,控制模块91,具体用于根据获取到的货箱的高度信息,控制机器人的取放货装置升降至第四位置之后,控制机器人获取至少一张第一位置所在货架的图像信息。
该机器人的控制装置可以执行上述图2或图4所示实施例提供的机器人的控制方法,其内容和效果可参考方法实施例部分,对此不再赘述。
图10为本公开提供的机器人的控制装置的另一种结构示意图,如图10所示,该装置包括:
获取模块101,用于响应于控制设备发送的第一控制指令,移动至与待取货箱所在的第一位置对应的第二位置后,通过图像采集单元获取至少一张第一位置所在货架的图像信息。
发送模块102,用于向控制设备发送图像信息。
控制模块103,用于响应于控制设备发送的第二控制指令,控制机器人的取放货装置进行移动,以使控制设备通过取放货装置上的测距传感器检测取放货装置的伸缩方向上是否存在障碍物。
控制模块103,还用于响应于控制设备发送的第三控制指令,控制取放货装置对待取货箱执行取货操作,第三控制指令为控制设备在检测到取放货装置的伸缩方向上不存在障碍物时发送的。
可选地,控制模块103,还用于接收控制设备发送的第四控制指令,第四控制指令为控制设备根据第一距离、测距传感器与货架之间的高度差、测距传感器的视场角和货箱沿取放货装置伸缩方向上的长度信息生成并发送的,第一距离为测距传感器与货箱的第一表面所在平面之间距离;根据第四控制指令,控制取放货装置进行移动,以使目标高度差小于或者等于测距传感器与货架之间的高度差,目标高度差为测距传感器与目标交点之间的高度差,目标交点为视场角的下边沿与货箱的第二表面所在平面的交点,第二表面为货箱与机器人的测距传感器相对,且远离测距传感器的表面。
可选地,获取模块101,具体用于响应于控制设备发送的第五控制指令,控制取放货装置升降至第四位置之后,通过图像采集单元获取至少一张第一位置所在货架的图像信息,第五控制指令为控制设备根据获取到的货箱的高度信息生成并发送的。
该机器人的控制装置可以执行上述图7所示实施例提供的机器人的控制方法,其内容和效果可参考方法实施例部分,对此不再赘述。
图11为本公开提供的机器人的控制装置的又一种结构示意图,如图11所示,该装置包括:
控制模块111,用于控制机器人移动至与目标库位对应的第三位置后,控制机器人获取至少一张目标库位所在货架的图像信息。
处理模块112,用于根据图像信息,确定目标库位上是否存在障碍物。
控制模块111,还用于若不存在障碍物,则控制机器人的取放货装置对目标库位执行放货操作。
可选地,图像信息为二维图像,控制模块111,具体用于控制机器人的取放货装置抬高至预设高度后,控制机器人获取至少一张目标库位所在货架的图像信息。
确定模块112,具体用于根据图像信息中是否包括货箱的标识信息,确定目标库位上是否存在障碍物。
可选地,图像信息为二维图像,控制模块111,具体用于将图像信息输入预先训练的判断模型中,以确定目标库位上是否存在障碍物。
可选地,图像信息为三维图像,控制模块111,具体用于对图像信息进行解析,得到图像信息中的噪点分布情况;根据噪点分布情况,确定目标库位上是否存在障碍物。
可选地,控制模块111,还用于控制机器人移动至与待取货箱所在的第一位置对应的第二位置后,控制机器人获取至少一张第一位置所在货架的图像信息;根据图像信息,控制机器人的取放货装置进行移动,以通过取放货装置上的测距传感器检测取放货装置的伸缩方向上是否存在障碍物;若不存在障碍物,则控制机器人的取放货装置对待取货箱执行取货操作。
可选地,控制模块111,具体用于获取测距传感器的视场角;根据图像信息、长度信息和视场角,控制机器人的取放货装置进行移动。
可选地,控制模块111,具体用于根据图像信息,确定测距传感器与货箱的第一表面所在平面之间的第一距离,以及机器人的图像采集单元与货架之间的高度差,第一表面为货箱与机器人的测距传感器相对,且靠近测距传感器的表面;根据第一距离、机器人的图像采集单元与货架之间的高度差、视场角和长度信息,控制机器人的取放货装置进行移动。
可选地,控制模块111,具体用于获取测距传感器的位置信息;根据机器人的图像采集单元与货架之间的高度差和测距传感器的位置信息,确定测距传感器与货架之间的高度差;根据第一距离、测距传感器与货架之间的高度差、视场角和长度信息,控制机器人的取放货装置进行移动,以使目标高度差小于或者等于测距传感器与货架之间的高度差,目标高度差为测距传感器与目标交点之间的高度差,目标交点为视场角的下边沿与货箱的第二表面所在平面的交点,货箱的第二表面为货箱与机器人的测距传感器相对,且远离测距传感器的表面。
可选地,控制模块111,具体用于根据第一距离、视场角和长度信息,确定目标高度差:d3=tan(a/2)*(d1+d2),其中,a为视场角,d1为第一距离,d2为长度信息,d3为目标高度差;控制机器人的取放货装置进行移动,以使目标高度差小于或者等于测距传感器与货架之间的高度差。
该机器人的控制装置可以执行上述图8所示实施例提供的机器人的控制方法,其内容和效果可参考方法实施例部分,对此不再赘述。
图12为本公开提供的控制设备的一种结构示意图,如图12所示,本实施例的控制设备包括:处理器121、存储器122;处理器121与存储器122通信连接。存储器122用于存储计算机程序。处理器121用于调用存储器122中存储的计算机程序,以实现上述实施例中的方法。
可选地,该控制设备还包括:收发器123,用于与其他设备实现通信。
该控制设备可以执行上述图2、图4或图8所示实施例提供的机器人的控制方法,其内容和效果可参考方法实施例部分,对此不再赘述。
图13为本公开提供的机器人的一种结构示意图,如图13所示,本实施例的机器人包括:处理器131、存储器132;处理器131与存储器132通信连接。存储器132用于存储计算机程序。处理器131用于调用存储器132中存储的计算机程序,以实现上述实施例中的方法。
可选地,该机器人还包括:收发器133,用于与其他设备实现通信。
该控制设备可以执行上述图7所示实施例提供的机器人的控制方法,其内容和效果可参考方法实施例部分,对此不再赘述。
本公开还提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,计算机执行指令被处理器执行时用于实现如上述任一方法实施例中的方法。
该计算机可读存储介质所存储的计算机执行指令被处理器执行时能实现上述机器人的控制方法,其内容和效果可参考方法实施例部分,对此不再赘述。
本公开还提供了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现如上述任一方法实施例中的方法。
该计算机可读存储介质所存储的计算机执行指令被处理器执行时能实现上述机器人的控制方法,其内容和效果可参考方法实施例部分,对此不再赘述。
最后应说明的是:以上各实施例仅用以说明本公开的技术方案,而非对其限制;尽管参照前述各实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。

Claims (11)

1.一种机器人的控制方法,其特征在于,应用于控制设备,所述方法包括:
控制机器人移动至与目标库位对应的第三位置后,控制所述机器人获取至少一张所述目标库位所在货架的第一图像信息;
根据所述第一图像信息,确定所述目标库位上是否存在障碍物;
若不存在障碍物,则控制所述机器人的取放货装置对所述目标库位执行放货操作;所述取放货装置为货叉;
所述方法,还包括:
控制所述机器人移动至与待取货箱所在的第一位置对应的第二位置后,控制所述机器人获取至少一张所述第一位置所在货架的第二图像信息;
获取所述货箱沿所述取放货装置伸缩方向上的长度信息;
获取所述取放货装置上的测距传感器的视场角;
根据所述第二图像信息,确定所述测距传感器与所述货箱的第一表面所在平面之间的第一距离,以及所述机器人的图像采集单元与所述货架之间的高度差,所述第一表面为所述货箱与所述机器人的测距传感器相对,且靠近所述测距传感器的表面;
根据所述第一距离、所述图像采集单元与所述货架之间的高度差、所述长度信息和所述视场角,控制所述机器人的取放货装置进行移动,以通过所述测距传感器检测所述取放货装置的伸缩方向上是否存在障碍物;
若不存在障碍物,则控制所述机器人的取放货装置对所述待取货箱执行取货操作。
2.根据权利要求1所述的方法,其特征在于,所述第一图像信息为二维图像,
所述控制所述机器人获取至少一张所述目标库位所在货架的第一图像信息,包括:
控制所述机器人的取放货装置抬高至预设高度后,控制所述机器人获取至少一张所述目标库位所在货架的第一图像信息;
相应的,所述根据所述第一图像信息,确定所述目标库位上是否存在障碍物,包括:
根据所述第一图像信息中是否包括货箱的标识信息,确定所述目标库位上是否存在障碍物。
3.根据权利要求1所述的方法,其特征在于,所述第一图像信息为二维图像,
所述根据所述第一图像信息,确定所述目标库位上是否存在障碍物,包括:
将所述第一图像信息输入预先训练的判断模型中,以确定所述目标库位上是否存在障碍物。
4.根据权利要求1所述的方法,其特征在于,所述第一图像信息为三维图像,
所述根据所述第一图像信息,确定所述目标库位上是否存在障碍物,包括:
对所述第一图像信息进行解析,得到所述第一图像信息中的噪点分布情况;
根据所述噪点分布情况,确定所述目标库位上是否存在障碍物。
5.根据权利要求4所述的方法,其特征在于,所述根据所述第一距离、所述图像采集单元与所述货架之间的高度差、所述视场角和所述长度信息,控制所述机器人的取放货装置进行移动包括:
获取所述测距传感器的位置信息;
根据所述机器人的图像采集单元与所述货架之间的高度差和所述测距传感器的位置信息,确定所述测距传感器与所述货架之间的高度差;
根据所述第一距离、所述测距传感器与所述货架之间的高度差、所述视场角和所述长度信息,控制所述机器人的取放货装置进行移动,以使目标高度差小于或者等于所述测距传感器与所述货架之间的高度差,所述目标高度差为所述测距传感器与目标交点之间的高度差,所述目标交点为所述视场角的下边沿与所述货箱的第二表面所在平面的交点,所述货箱的第二表面为所述货箱与所述机器人的测距传感器相对,且远离所述测距传感器的表面。
6.根据权利要求5所述的方法,其特征在于,所述根据所述第一距离、所述测距传感器与所述货架之间的高度差、所述视场角和所述长度信息,控制所述机器人的取放货装置进行移动,以使目标高度差小于或者等于所述测距传感器与所述货架之间的高度差,包括:
根据所述第一距离、所述视场角和所述长度信息,确定所述目标高度差:
d3=tan(a/2) (d1+ d2)
其中,a为所述视场角,d1为所述第一距离,d2为所述长度信息,d3为所述目标高度差;
控制所述机器人的取放货装置进行移动,以使所述目标高度差小于或者等于所述测距传感器与所述货架之间的高度差。
7.根据权利要求1-6中任一项所述的方法,其特征在于,所述控制所述机器人获取至少一张所述第一位置所在货架的第二图像信息,包括:
根据获取到的货箱的高度信息,控制所述机器人的取放货装置升降至第四位置之后,控制所述机器人获取至少一张所述第一位置所在货架的第二图像信息。
8.一种机器人的控制装置,其特征在于,包括:
控制模块,用于控制机器人移动至与目标库位对应的第三位置后,控制所述机器人获取至少一张所述目标库位所在货架的第一图像信息;
处理模块,用于根据所述第一图像信息,确定所述目标库位上是否存在障碍物;
所述控制模块,还用于若不存在障碍物,则控制所述机器人的取放货装置对所述目标库位执行放货操作;所述取放货装置为货叉;以及,
控制所述机器人移动至与待取货箱所在的第一位置对应的第二位置后,控制所述机器人获取至少一张所述第一位置所在货架的第二图像信息;
获取所述货箱沿所述取放货装置伸缩方向上的长度信息;
获取所述取放货装置上的测距传感器的视场角;
根据所述第二图像信息,确定所述测距传感器与所述货箱的第一表面所在平面之间的第一距离,以及所述机器人的图像采集单元与所述货架之间的高度差,所述第一表面为所述货箱与所述机器人的测距传感器相对,且靠近所述测距传感器的表面;
根据所述第一距离、所述图像采集单元与所述货架之间的高度差、所述长度信息和所述视场角,控制所述机器人的取放货装置进行移动,以通过所述测距传感器检测所述取放货装置的伸缩方向上是否存在障碍物;
若不存在障碍物,则控制所述机器人的取放货装置对所述待取货箱执行取货操作。
9.一种机器人,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如权利要求1-7中任一项所述的方法。
11.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序或指令,当处理器执行所述计算机程序或指令时,实现如权利要求1-7中任一项所述的方法。
CN202211733825.5A 2022-03-24 2022-03-24 机器人的控制方法、装置和设备 Active CN116000931B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211733825.5A CN116000931B (zh) 2022-03-24 2022-03-24 机器人的控制方法、装置和设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210296519.3A CN114476483B (zh) 2022-03-24 2022-03-24 机器人的控制方法、装置和设备
CN202211733825.5A CN116000931B (zh) 2022-03-24 2022-03-24 机器人的控制方法、装置和设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202210296519.3A Division CN114476483B (zh) 2022-03-24 2022-03-24 机器人的控制方法、装置和设备

Publications (2)

Publication Number Publication Date
CN116000931A CN116000931A (zh) 2023-04-25
CN116000931B true CN116000931B (zh) 2025-09-02

Family

ID=81488070

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202211733825.5A Active CN116000931B (zh) 2022-03-24 2022-03-24 机器人的控制方法、装置和设备
CN202210296519.3A Active CN114476483B (zh) 2022-03-24 2022-03-24 机器人的控制方法、装置和设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210296519.3A Active CN114476483B (zh) 2022-03-24 2022-03-24 机器人的控制方法、装置和设备

Country Status (1)

Country Link
CN (2) CN116000931B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112023003942T5 (de) 2022-10-28 2025-08-07 Beijing Geekplus Technology Co., Ltd. Verfahren zum Entnehmen und Ablegen von Behältern und Behälterentnahme- und -ablagevorrichtung
CN115818096A (zh) * 2022-11-25 2023-03-21 北京特种机械研究所 高精度自动抓取及存放货物的控制方法
CN116402895A (zh) * 2023-06-05 2023-07-07 未来机器人(深圳)有限公司 安全校验方法、无人叉车及存储介质
CN117079254B (zh) * 2023-08-23 2026-01-06 太原福莱瑞达物流设备科技有限公司 车辆货厢的扫描方法、扫描系统、计算机设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111620024A (zh) * 2019-01-29 2020-09-04 北京极智嘉科技有限公司 一种搬运机器人、取货箱方法及放货箱方法
CN111674817A (zh) * 2020-06-12 2020-09-18 深圳市海柔创新科技有限公司 仓储机器人的控制方法、装置、设备及可读存储介质
WO2020186493A1 (zh) * 2019-03-21 2020-09-24 珊口(深圳)智能科技有限公司 导航、划分清洁区域方法及系统、移动及清洁机器人
CN215400984U (zh) * 2021-08-09 2022-01-04 深圳市海柔创新科技有限公司 货叉组件、搬运机器人及仓储系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004082778A (ja) * 2002-08-23 2004-03-18 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
KR101406176B1 (ko) * 2011-10-31 2014-06-13 조선대학교산학협력단 수중로봇의 위치 추정 장치 및 그 방법
KR20160028305A (ko) * 2014-09-03 2016-03-11 삼성전자주식회사 시각장애인용 보조 장치 및 그 제어 방법
JP7147112B2 (ja) * 2018-03-29 2022-10-05 トーヨーカネツ株式会社 物流システム
CN110633704B (zh) * 2018-06-25 2022-07-26 京东方科技集团股份有限公司 货架及货架管理系统
JP7058582B2 (ja) * 2018-09-27 2022-04-22 日立建機株式会社 作業機械
JP7200601B2 (ja) * 2018-10-29 2023-01-10 大日本印刷株式会社 在庫管理装置、及び、プログラム
CN110428209B (zh) * 2019-08-16 2020-10-27 灵动科技(北京)有限公司 一种盘点设备、盘点管理系统及盘点方法
CN113335826B (zh) * 2020-07-10 2023-03-28 深圳市海柔创新科技有限公司 取货装置、深度测量方法、仓储机器人以及仓储系统
CN113401553B (zh) * 2021-06-17 2023-06-09 深圳市库宝软件有限公司 搬仓方法及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111620024A (zh) * 2019-01-29 2020-09-04 北京极智嘉科技有限公司 一种搬运机器人、取货箱方法及放货箱方法
WO2020186493A1 (zh) * 2019-03-21 2020-09-24 珊口(深圳)智能科技有限公司 导航、划分清洁区域方法及系统、移动及清洁机器人
CN111674817A (zh) * 2020-06-12 2020-09-18 深圳市海柔创新科技有限公司 仓储机器人的控制方法、装置、设备及可读存储介质
CN215400984U (zh) * 2021-08-09 2022-01-04 深圳市海柔创新科技有限公司 货叉组件、搬运机器人及仓储系统

Also Published As

Publication number Publication date
CN114476483A (zh) 2022-05-13
CN116000931A (zh) 2023-04-25
CN114476483B (zh) 2023-01-20

Similar Documents

Publication Publication Date Title
CN116000931B (zh) 机器人的控制方法、装置和设备
CN114044298B (zh) 仓储机器人的控制方法、装置、设备及可读存储介质
TWI816235B (zh) 貨物存放方法、裝置、機器人、倉儲系統及儲存媒體
US11641804B2 (en) Bale detection and classification using stereo cameras
DE112019000177T5 (de) Ein robotersystem mit automatisiertem paketregistrierungsmechanismus und verfahren zum betreiben dieses systems
WO2022105231A1 (zh) 入库管理方法、装置、仓库管理系统和电子系统
CN115018903B (zh) 一种堆场料堆体积计算方法及系统
CN116277025A (zh) 一种智能制造用机器人的物件分拣控制方法及系统
AU2021304124C1 (en) Goods extraction device, depth measurement method, warehouse robot, and warehouse system
CN114603561A (zh) 智能机器人视觉传感器控制系统及方法
CN110110823A (zh) 基于rfid和图像识别的物体辅助识别系统及方法
US20230410362A1 (en) Target object detection method and apparatus, and electronic device, storage medium and program
JP5674933B2 (ja) 倉庫内の物体の位置を特定するための方法及び装置
CN116309882A (zh) 一种面向无人叉车应用的托盘检测和定位方法及系统
CN117555308B (zh) 一种基于无人叉车的托盘回收方法、系统及存储介质
CN119635669A (zh) 多模态移动分拣机器人的导航方法及分拣系统
CN207923179U (zh) 智能巡检车
CN116385533B (zh) 一种基于二维和三维成像的叉式agv目标位姿检测方法
CN109246353B (zh) 捕捞方法
Shilin et al. Identification of the cow’s nipples using a 3d camera with tof technology
CN117985389A (zh) 料箱取还装置及其控制方法、系统及存储介质
CN117068620B (zh) 料仓取料方法、装置、取料设备和存储介质
KR102719530B1 (ko) 운송 로봇 시스템 및 그 제어 방법
US12427673B2 (en) Apparatus and method for controlling rail boarding for autonomous driving of a mobile robot
CN113428790A (zh) 集装箱信息识别方法、装置、监控设备及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant