CN118405400B - 一种基于三维点云技术的自动立库系统及其立库方法 - Google Patents
一种基于三维点云技术的自动立库系统及其立库方法 Download PDFInfo
- Publication number
- CN118405400B CN118405400B CN202410841595.7A CN202410841595A CN118405400B CN 118405400 B CN118405400 B CN 118405400B CN 202410841595 A CN202410841595 A CN 202410841595A CN 118405400 B CN118405400 B CN 118405400B
- Authority
- CN
- China
- Prior art keywords
- goods
- warehouse
- point cloud
- dimensional point
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
- B65G1/02—Storage devices
- B65G1/04—Storage devices mechanical
- B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Health & Medical Sciences (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Development Economics (AREA)
- General Business, Economics & Management (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Human Resources & Organizations (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Mechanical Engineering (AREA)
Abstract
本发明公开了一种基于三维点云技术的自动立库系统及其立库方法,包括:仓库管理系统,以及所述仓库管理系统内部搭载的图像获取与数据预处理模块、仓库存储模型构建模块、货物识别与分类模块、位置确定与策略制定模块、自动化搬运规划与执行模块、偏移检测与位置调整模块;本发明通过构建仓库存储模型,确定对机械手对货物预定义的抓取力度F0和对货物实际的抓取力度F1,以及与货物接触点的三维矢量P0和P1,得到货物的偏移信息,控制机械手的旋转角度和伸展距离,从而可以将货物的放置在预定义的位置,提高了三维点云数据中的货物边缘的清晰度,保证了货物之间的界限清晰,降低点云分割算法的难度,从而提高后续货物识别和定位的准确性。
Description
技术领域
本发明涉及模型构建技术领域,具体利用三维点云技术构建仓库存储模型模拟自动立库的方法,尤其涉及一种基于三维点云技术的自动立库系统及其立库方法。
背景技术
三维点云技术是一种用于表示三维空间中对象或场景的数据结构和方法,由一系列三维坐标点组成的集合,每个点都包含了空间中的位置信息,这些点是通过对实际物体或场景表面进行离散采样而获得的,点的集合可以被视为场景表面在给定坐标系下的离散表示;除了基本的空间坐标信息,三维点云数据还可能包含其他属性信息,如颜色、分类值、强度值和时间等;为了获取点云数据,可以利用传感器如激光雷达、深度摄像头或结构光扫描仪对获取对象(如仓库)进行扫描和采集,并将其转化为点云数据;在获取点云数据后,需要进行处理和组织,以便后续的分析和应用;点云数据的处理包括滤波、配准、分割和特征提取等步骤,滤波用于去除噪声和异常点,配准则是将多个点云数据对齐到同一坐标系下,以实现多视角的综合,分割可以将点云划分为具有不同属性或结构的子集,如将场景中的物体与背景分离。
但是,三维点云数据的精度会受到环境因素的影响,如,货物摆放方式可能影响三维点云数据的采集和质量,进而对系统的性能产生影响,当仓库中货物堆叠时,可能因为一些外部因素和存放环境,货物之间可能因为倾斜或移动,在后续仓库货物的存储搬运策略中,需要搬运货物至仓库其他位置后,无法根据货物的偏移调整货物的摆放,货物依旧会摆放不齐,会导致点云数据中的货物边缘可能更加模糊,不同货物之间的界限不清晰,这会增加点云分割算法的难度,可能导致分割不准确,进而影响后续的货物识别和定位。
因此,有必要设计一种基于三维点云技术的自动立库系统及其立库方法,用于解决上述问题。
发明内容
本发明克服了现有技术的不足,提供一种基于三维点云技术的自动立库系统及其立库方法。
为达到上述目的,本发明采用的技术方案为:一种基于三维点云技术的自动立库方法,包括以下步骤:
S1、使用若干摄像头,确保在多个不同角度和位置上拍摄仓库内部图像,准确捕获仓库内部布局和仓库内部货物的三维形状和位置,提取图像中的像素深度信息,得到三维点云数据,并对得到的三维点云数据预处理,上传至仓库管理系统;
S2、基于仓库管理系统中货物和仓库的三维点云数据,提取仓库和货物的相关特征,利用机器学习算法构建仓库存储模型,并根据仓库和货物的相关特征,定义货物的抓取力度F0,以及接触点的三维矢量记为P0;
S3、再根据仓库的实时状态,利用点云分割算法将仓库和货物的三维点云数据分割,并将仓库分成不同的货物区域,对每个货物区域提取货物的相关特征,以及货物区域的关键特征,与仓库管理系统中货物模型比对,识别出不同类型的货物;
S4、基于识别出的货物类型和货物区域的关键特征,使用三维配准技术将仓库存储模型与点云数据进行对齐,以获取货物在仓库中的精确位置,并根据货物的位置信息和相关特征,以及仓库的实时状态,重新制定仓库货物的存储搬运策略,确保货物转移至指定的货物区域;
S5、根据制定仓库货物的存储搬运策略、货物的相关特征、仓库的相关特征和货物区域的关键特征,规划自动化搬运机器人的路径和抓取动作,利用机械手上的压力传感器记录机械手的抓取力度F1,以及接触点的三维矢量记为P1;
S6、通过比对机械手对的两次抓取力度F0和F1,以及比对两次与接触点的三维矢量记P0和P1,判断货物是否发生偏移,计算货物的偏移信息,并基于偏移信息,控制机械手放置货物的位置,保证了货物放置位置的准确。
本发明一个较佳实施例中,在所述S1中,得到三维点云数据,具体为,根据图像中像素间的视差来确定每个像素点的深度信息,通过将每个像素点的深度信息组合起来,生成一个三维点云数据;
预处理包括滤波与去噪、简化与压缩、坐标转换与对齐的处理。
本发明一个较佳实施例中,所述货物的相关特征包括:货物的尺寸、重量、形状、表面特性,以及货物堆叠的高度、宽度和长度;所述仓库的相关特征包括:仓库内货架的尺寸、形状和排列;所述货物区域的关键特征包括:仓库内货架的尺寸、形状和排列,以及货物在货架内的相对位置。
本发明一个较佳实施例中,在所述S2中,构建货物模型的方法,包括以下步骤:
S21、基于从货物和仓库三维点云数据提取仓库和货物的相关特征,通过机器学习模型构建仓库存储模型;
S22、利用货物三维点云数据作为训练集,优化仓库存储模型参数,并与仓库存储模型中的货物模型比对,区分不同类型的货物;
S23、在仓库管理系统中为每种类型的货物创建一个模型库,将相应的货物模型存储在库中,为其分配唯一的标签,并将构建好的货物模型集成到仓库管理系统的模型库中;
S24、再基于货物的相关特征,通过实验模拟确定抓取力度为F0,以及接触点的三维矢量记为P0,其中,P0为货物的重心位置。
本发明一个较佳实施例中,在所述S3中,仓库的实时状态包括:货物的实时数量、种类和位置,货物的入库、出库、移动和存储情况,以及仓库货物区域的空闲状态。
本发明一个较佳实施例中,在所述S3中,点云分割算法具体为基于边缘的点云分割算法。
本发明一个较佳实施例中,在所述S4中,获取货物在仓库中的精确位置,具体为,提取仓库存储模型的特征,以及提取得到货物和仓库的三维点云数据中的特征,将两组特征比对;再根据匹配的特征计算货物和仓库三维点云数据,以及仓库存储模型的三维点云数据之间的旋转矩阵和平移向量变换关系,通过迭代优化算法来精化变换关系,使两个三维点云数据之间的对齐误差最小,利用优化后的变换关系,将仓库存储模型中的货物位置信息映射到实时的三维点云数据中,得到货物在仓库中的精确位置。
本发明一个较佳实施例中,在所述S4中,仓库货物的存储搬运策略,具体根据货物的重要性、紧急程度和仓库的运作需求,对货物进行再次分类和优先级设定。
本发明一个较佳实施例中,在所述S6中,偏移信息具体包括偏移角度,计算货物的偏移信息的方法,具体为,通过公式ΔF=F1-F0计算两次接触力矢量的差异,偏移方向可以通过分析接触点位置的变化来确定,如果P1相对于P0发生了移动,那么货物的偏移方向就是P1-P0的方向,将此方向向量归一化,得到偏移方向的单位向量U,且U=(P1-P0)÷|P1-P0|,其中,|P1-P0|是P1和P0之间的欧氏距离,偏移角度可以通过计算接触力变化矢量ΔF和偏移方向单位向量U之间的夹角来得到,公式为θ=acos[(ΔF*U)÷(|ΔF|*|U|)],其中,acos是反余弦函数。
一种基于三维点云技术的自动立库系统,包括:仓库管理系统,以及所述仓库管理系统内部搭载的图像获取与数据预处理模块、仓库存储模型构建模块、货物识别与分类模块、位置确定与策略制定模块、自动化搬运规划与执行模块、偏移检测与位置调整模块,
所述图像获取与数据预处理模块,负责对货物和仓库进行全面拍照,获取货物和仓库的三维点云数据,以及对获取的三维点云数据进行预处理;
所述仓库存储模型构建模块,用于提取仓库和货物的相关特征,利用机器学习算法,根据仓库和货物的相关特征构建仓库存储模型,同时,根据仓库和货物的相关特征,定义货物的抓取力度F0和接触点的三维矢量P0;
所述货物识别与分类模块,根据仓库的实时状态,利用点云分割算法将仓库和货物的三维点云数据分割,并将仓库分成不同的货物区域,对每个货物区域提取货物的相关特征以及货物区域的关键特征,并与仓库管理系统中的货物模型进行比对,从而识别出不同类型的货物;
所述位置确定与策略制定模块,用于获取货物在仓库中的精确位置,并根据货物的位置信息和相关特征,以及仓库的实时状态,重新制定仓库货物的存储搬运策略;
所述自动化搬运规划与执行模块,用于规划自动化搬运机器人的路径和抓取动作,并记录机械手的抓取力度F1和接触点的三维矢量P1;
所述偏移检测与位置调整模块,用于比对机械手两次的抓取力度F0和F1,以及两次与接触点的三维矢量P0和P1,计算货物的偏移信息,并根据偏移信息控制机械手调整放置货物的位置。
本发明解决了背景技术中存在的缺陷,本发明具备以下有益效果:
(1)本发明提供了一种基于三维点云技术的自动立库系统及其立库方法,通过构建仓库存储模型,确定对机械手对货物预定义的抓取力度F0和对货物实际的抓取力度F1,以及与货物接触点的三维矢量P0和P1,计算得到货物的偏移信息,并根据偏移信息控制机械手调整放置货物的位置,使得货物放置准确,提高了三维点云数据中的货物边缘的清晰度,保证了货物之间的界限清晰,降低点云分割算法的难度,从而提高后续货物识别和定位的准确性,提高货物自动立库的准确性和高效性。
(2)本发明通过构建仓库存储模型,结合三维配准技术,将仓库存储模型与实时三维点云数据对齐,能够精确确定货物在仓库中的位置,为自动化搬运机器人提供了准确的目标位置信息,有助于减少搬运过程中的错误和延误,提高了搬运效率。
(3)本发明通过根据仓库的实时状态,实时制定仓库货物的存储搬运策略,实现货物的自动立库,从而能够极大提高了对仓库动态变化的响应速度,确保仓库运作的流畅性和效率,有助于减少资源浪费,提高仓库的整体运行效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图;
图1是本发明一种基于三维点云技术的自动立库方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
如图1所示,一种基于三维点云技术的自动立库方法,包括以下步骤:
S1、使用若干摄像头,确保在多个不同角度和位置上拍摄仓库内部图像,准确捕获仓库内部布局和仓库内部货物的三维形状和位置,提取图像中的像素深度信息,得到三维点云数据,并对得到的三维点云数据进行滤波与去噪、简化与压缩、坐标转换与对齐的预处理,其中,坐标转换与对齐,是将点云数据转换到统一的坐标系中,并进行对齐以确保数据的一致性,再将预处理后的三维点云数据上传至仓库管理系统;
具体为,在仓库中选择一个合适的位置来安装立体相机系统,立体相机系统包括两个或多个摄像头,它们之间的相对位置和角度固定,用于捕捉不同视角下的图像,确保立体相机系统安装稳定,并校准摄像头之间的相对位置和角度进行拍摄图像,使用三维重建软件对图像进行处理,比较不同视角下的图像中相同特征点的位置差异(即视差),根据像素间的视差来确定每个像素点的深度信息,通过将每个像素点的深度信息组合起来,生成一个三维点云数据,这个数据包含了仓库中物体的三维形状和位置信息,为后续提供了货物和仓库的详细三维模型,是进行后续处理和分析的基础;
其中,像素深度信息是指图像中每个像素点所代表的场景中的物体表面点到相机镜头光心(或者某个固定的参考平面)的物理距离,且像素深度信息具体包括深度值和像素的二维坐标,从而可以得到物体表面的三维坐标。
S2、基于仓库管理系统中货物和仓库的三维点云数据,提取仓库和货物的相关特征,其中,所述货物的相关特征包括:货物的尺寸、重量、形状、表面特性,以及货物堆叠的高度、宽度和长度,所述仓库的相关特征包括:仓库内货架的尺寸、形状和排列,通过得到仓库和货物的相关特征,可以得到货物和仓库内货架的适配性,保证了货物可以准确放置在相应的货架位置;
其中,利用机器学习算法构建仓库存储模型,并根据仓库和货物的相关特征,定义货物的抓取力度F0,以及接触点的三维矢量记为P0的方法:
S21、基于从货物和仓库三维点云数据提取仓库和货物的相关特征,通过机器学习模型构建仓库存储模型,此仓库存储模型具体表达仓库内货物的摆放位置,通过此仓库存储模型可以快速准确地获取货物的位置信息,无需人工查找,大大提高了货物管理的效率,为自动化搬运机器人提供了导航和定位的依据,使其能够自主完成货物的搬运任务;
S22、利用货物三维点云数据作为训练集,优化仓库存储模型参数,并与仓库存储模型中的货物模型比对,区分不同类型的货物;
S23、在仓库管理系统中为每种类型的货物创建一个模型库,将相应的货物模型存储在库中,方便地对模型进行更新、修改和删除等操作,确保模型的准确性和时效性,并为每种类型的货物分配唯一的标签,并将构建好的货物模型集成到仓库管理系统的模型库中,通过唯一的标签可以快速查询到相应的货物模型,为后续的货物识别、定位等操作提供了便利;
S24、再基于货物的相关特征,通过实验模拟确定抓取力度为F0,以及接触点的三维矢量记为P0,其中,P0为货物的重心位置或最稳定的抓取点,以确保机械手在抓取货物时能够保持平衡。
其中,通过构建的仓库存储模型,了解仓库中货物摆放的具体情况,根据货物摆放的具体情况,可以预定义自动化搬运机器人在搬运货物时的指定位置,以及预定义机械手的抓取动作,从而控制机械手的抓取力度和机械手的伸展距离,使得后续自动化搬运机器人可以按照预定义的位置和抓取动作对货架上的货物进行抓取。
S3、再根据仓库的实时状态,其中,仓库的实时状态包括:货物的实时数量、种类和位置,货物的入库、出库、移动和存储情况,以及仓库货物区域的空闲状态,利用基于边缘的点云分割算法将仓库的三维点云数据分割成不同的货物区域,其中,基于边缘的点云分割算法的核心在于边缘检测,边缘是描述点云物体形状的基本特征,通常对应于强度、颜色或法向量发生显著变化的区域,即作为不同类型货物相邻区域,以及货物之间相邻的区域,边缘检测的目的是找出这些变化显著的点或区域,作为不同货物区域的边界,每个区域对应一个货物或一组相似的货物;
对每个货物区域提取货物的相关特征,以及货物区域的关键特征,其中,所述货物区域的关键特征包括:仓库内货架的尺寸、形状和排列,以及货物在货架内的相对位置,将货物的相关特征和货物区域的关键特征结合,与仓库管理系统中货物模型比对,识别出不同类型的货物。
S4、基于识别出的货物类型和货物区域的关键特征,使用三维配准技术将仓库存储模型与点云数据进行对齐,通过提取仓库存储模型的特征,以及提取得到货物和仓库的三维点云数据中的特征,将两组特征比对;再根据匹配的特征计算货物和仓库三维点云数据,以及仓库存储模型的三维点云数据之间的旋转矩阵和平移向量变换关系,通过迭代优化算法来精化变换关系,使两个三维点云数据之间的对齐误差最小,利用优化后的变换关系,将仓库存储模型中的货物位置信息映射到实时的三维点云数据中,得到货物在仓库中的精确位置,为自动化搬运机器人提供了准确的目标位置信息,有助于减少搬运过程中的错误和延误,提高了搬运效率;
并根据货物的位置信息和相关特征,以及仓库的实时状态,重新制定仓库货物的存储搬运策略,确保货物转移至指定的货物区域,其中,仓库货物的存储搬运策略,具体根据货物的重要性、紧急程度和仓库的运作需求,对货物进行再次分类和优先级设定;
对于货物的优先级和紧急程度发生变化,如高优先级和紧急的货物,仓库管理系统会优先安排靠近出库口或搬运路径较短的存储位置,以便快速响应客户需求;如重要但非紧急的货物,系统会寻找稳定且安全的存储位置,确保货物的安全和质量;如低优先级货物,系统会考虑利用仓库的剩余空间进行存储,以优化空间利用率。
S5、根据制定仓库货物的存储搬运策略、货物的相关特征、仓库的相关特征和货物区域的关键特征,规划自动化搬运机器人的路径和抓取动作,利用机械手上的压力传感器以实时感知夹持力的大小,设定一个初始的夹持力目标值,即为F0,当传感器检测到夹持力小于该目标值时,控制系统会自动调整夹持机构以增加夹持力,直至对货物完全抓取,记录机械手的抓取力度F1,以及接触点的三维矢量记为P1。
具体而言,在得到货物在仓库中的精确位置后,仓库管理系统会根据仓库的实时状态(如货架的占用情况、通道是否畅通等)和货物的目标位置,规划出机械手从当前位置到目标位置的路径,路径规划的目标是确保机械手能够安全、高效地搬运货物,同时避免与仓库内的其他设备或障碍物发生碰撞;
在路径规划完成后,自动化搬运机器人会按照规划的路径移动到目标货物的位置,然后,根据货物的类型、尺寸和形状等信息,机械手会调整其抓取机构(如夹具、吸盘),确保能够稳定、安全地抓取货物,在抓取过程中,自动化搬运机器人依据仓库存储模型的预设定,会移动到预定位置,并与货架保持预定距离,且机械手是始终平行于地面,机械手会根据仓库存储模型中预定义抓取动作,从而控制机械手的抓取力度和机械手的伸展距离,一旦货物被成功抓取,机械手就会沿着规划好的路径将货物搬运到指定的位置;
通过仓库存储模型预定义自动化搬运机器人的移动位置和抓取动作,与自动化搬运机器人实际的抓取动作之间对比,可以直接对比出两次抓取位置和抓取力度之间的差异,确定对机械手对货物预定义的抓取力度F0和对货物实际的抓取力度F1,以及与货物接触点的三维矢量P0和P1,判断货物是否出现偏移。
S6、通过比对机械手对的两次抓取力度F0和F1,以及比对两次与接触点的三维矢量记P0和P1,判断货物是否发生偏移,计算货物的偏移信息,并基于偏移信息,控制机械手放置货物的位置,保证了货物放置位置的准确;
其中,偏移信息具体包括偏移角度,计算货物的偏移信息的方法,具体为,通过公式ΔF=F1-F0计算两次接触力矢量的差异,偏移方向可以通过分析接触点位置的变化来确定,如果P1相对于P0发生了移动,那么货物的偏移方向就是P1-P0的方向,将此方向向量归一化,得到偏移方向的单位向量U,且U=(P1-P0)÷|P1-P0|,其中,|P1-P0|是P1和P0之间的欧氏距离,偏移角度可以通过计算接触力变化矢量ΔF和偏移方向单位向量U之间的夹角来得到,公式为θ=acos[(ΔF*U)÷(|ΔF|*|U|)],其中,acos是反余弦函数;
根据计算得到的货物偏移角度,控制机械手的旋转角度和伸展距离,从而可以将货物放置在预定义的位置,保证了后续利用点云分割算法分割三维点云数据中货物边缘的清晰度,使得货物之间的界限清晰,降低点云分割算法的难度,从而提高后续货物识别和定位的准确性,提高货物自动立库的准确性和高效性。
一种基于三维点云技术的自动立库系统,包括:仓库管理系统,以及所述仓库管理系统内部搭载的图像获取与数据预处理模块、仓库存储模型构建模块、货物识别与分类模块、位置确定与策略制定模块、自动化搬运规划与执行模块、偏移检测与位置调整模块,
所述图像获取与数据预处理模块,负责对货物和仓库进行全面拍照,获取货物和仓库的三维点云数据,以及对获取的三维点云数据进行预处理;
所述仓库存储模型构建模块,用于提取仓库和货物的相关特征,利用机器学习算法,根据仓库和货物的相关特征构建仓库存储模型,同时,根据仓库和货物的相关特征,定义货物的抓取力度F0和接触点的三维矢量P0;
所述货物识别与分类模块,根据仓库的实时状态,利用点云分割算法将仓库和货物的三维点云数据分割,并将仓库分成不同的货物区域,对每个货物区域提取货物的相关特征以及货物区域的关键特征,并与仓库管理系统中的货物模型进行比对,从而识别出不同类型的货物;
所述位置确定与策略制定模块,用于获取货物在仓库中的精确位置,并根据货物的位置信息和相关特征,以及仓库的实时状态,重新制定仓库货物的存储搬运策略;
所述自动化搬运规划与执行模块,用于规划自动化搬运机器人的路径和抓取动作,并记录机械手的抓取力度F1和接触点的三维矢量P1;
所述偏移检测与位置调整模块,用于比对机械手两次的抓取力度F0和F1,以及两次与接触点的三维矢量P0和P1,计算货物的偏移信息,并根据偏移信息控制机械手调整放置货物的位置。
以上依据本发明的理想实施例为启示,通过上述的说明内容,相关人员完全可以在不偏离本项发明技术思想的范围内,进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容,必须要根据权利要求范围来确定技术性范围。
Claims (7)
1.一种基于三维点云技术的自动立库方法,其特征在于,包括以下步骤:
S1、使用若干摄像头,确保在多个不同角度和位置上拍摄仓库内部图像,准确捕获仓库内部布局和仓库内部货物的三维形状和位置,提取图像中的像素深度信息,得到三维点云数据,并对得到的三维点云数据预处理,上传至仓库管理系统;
S2、基于仓库管理系统中货物和仓库的三维点云数据,提取仓库和货物的相关特征,利用机器学习算法构建仓库存储模型,并根据仓库和货物的相关特征,定义货物的抓取力度F0,以及接触点的三维矢量记为P0;
S3、再根据仓库的实时状态,利用点云分割算法将仓库和货物的三维点云数据分割,并将仓库分成不同的货物区域,对每个货物区域提取货物的相关特征,以及货物区域的关键特征,与仓库管理系统中货物模型比对,识别出不同类型的货物;
S4、基于识别出的货物类型和货物区域的关键特征,使用三维配准技术将仓库存储模型与点云数据进行对齐,以获取货物在仓库中的精确位置,并根据货物的位置信息和相关特征,以及仓库的实时状态,重新制定仓库货物的存储搬运策略,确保货物转移至指定的货物区域;
S5、根据制定仓库货物的存储搬运策略、货物的相关特征、仓库的相关特征和货物区域的关键特征,规划自动化搬运机器人的路径和抓取动作,利用机械手上的压力传感器记录机械手的抓取力度F1,以及接触点的三维矢量记为P1;
S6、通过比对机械手对的两次抓取力度F0和F1,以及比对两次与接触点的三维矢量记P0和P1,判断货物是否发生偏移,计算货物的偏移信息,并基于偏移信息,控制机械手放置货物的位置,保证了货物放置位置的准确;
在所述S2中,构建仓库存储模型的方法,包括以下步骤:
S21、基于从货物和仓库三维点云数据提取仓库和货物的相关特征,通过机器学习模型构建仓库存储模型;
S22、利用货物三维点云数据作为训练集,优化仓库存储模型参数,并与仓库存储模型中的货物模型比对,区分不同类型的货物;
S23、在仓库管理系统中为每种类型的货物创建一个模型库,将相应的货物模型存储在库中,为其分配唯一的标签,并将构建好的货物模型集成到仓库管理系统的模型库中;
S24、再基于货物的相关特征,通过实验模拟确定抓取力度为F0,以及接触点的三维矢量记为P0,其中,P0为货物的重心位置;
在所述S4中,获取货物在仓库中的精确位置,具体为,提取仓库存储模型的特征,以及提取得到货物和仓库的三维点云数据中的特征,将两组特征比对;再根据匹配的特征计算货物和仓库三维点云数据,以及仓库存储模型的三维点云数据之间的旋转矩阵和平移向量变换关系,通过迭代优化算法来精化变换关系,使两个三维点云数据之间的对齐误差最小,利用优化后的变换关系,将仓库存储模型中的货物位置信息映射到实时的三维点云数据中,得到货物在仓库中的精确位置;
在所述S6中,偏移信息具体包括偏移角度,计算货物的偏移信息的方法,具体为,通过公式ΔF=F1-F0计算两次接触力矢量的差异,偏移方向可以通过分析接触点位置的变化来确定,如果P1相对于P0发生了移动,那么货物的偏移方向就是P1-P0的方向,将此方向向量归一化,得到偏移方向的单位向量U,且U=(P1-P0)÷|P1-P0|,其中,|P1-P0|是P1和P0之间的欧氏距离,偏移角度可以通过计算接触力变化矢量ΔF和偏移方向单位向量U之间的夹角来得到,公式为θ=acos[(ΔF*U)÷(|ΔF|*|U|)],其中,acos是反余弦函数。
2.根据权利要求1所述的一种基于三维点云技术的自动立库方法,其特征在于:在所述S1中,得到三维点云数据,具体为,根据图像中像素间的视差来确定每个像素点的深度信息,通过将每个像素点的深度信息组合起来,生成一个三维点云数据;
预处理包括滤波与去噪、简化与压缩、坐标转换与对齐的处理。
3.根据权利要求1所述的一种基于三维点云技术的自动立库方法,其特征在于:所述货物的相关特征包括:货物的尺寸、重量、形状、表面特性,以及货物堆叠的高度、宽度和长度;所述仓库的相关特征包括:仓库内货架的尺寸、形状和排列;所述货物区域的关键特征包括:仓库内货架的尺寸、形状和排列,以及货物在货架内的相对位置。
4.根据权利要求1所述的一种基于三维点云技术的自动立库方法,其特征在于:在所述S3中,仓库的实时状态包括:货物的实时数量、种类和位置,货物的入库、出库、移动和存储情况,以及仓库货物区域的空闲状态。
5.根据权利要求1所述的一种基于三维点云技术的自动立库方法,其特征在于:在所述S3中,点云分割算法具体为基于边缘的点云分割算法。
6.根据权利要求1所述的一种基于三维点云技术的自动立库方法,其特征在于:在所述S4中,仓库货物的存储搬运策略,具体根据货物的重要性、紧急程度和仓库的运作需求,对货物进行再次分类和优先级设定。
7.一种基于三维点云技术的自动立库系统,使用权利要求1-6任一项所述的一种基于三维点云技术的自动立库方法,包括:仓库管理系统,以及所述仓库管理系统内部搭载的图像获取与数据预处理模块、仓库存储模型构建模块、货物识别与分类模块、位置确定与策略制定模块、自动化搬运规划与执行模块、偏移检测与位置调整模块,其特征在于:
所述图像获取与数据预处理模块,负责对货物和仓库进行全面拍照,获取货物和仓库的三维点云数据,以及对获取的三维点云数据进行预处理;
所述仓库存储模型构建模块,用于提取仓库和货物的相关特征,利用机器学习算法,根据仓库和货物的相关特征构建仓库存储模型,同时,根据仓库和货物的相关特征,定义货物的抓取力度F0和接触点的三维矢量P0;
所述货物识别与分类模块,根据仓库的实时状态,利用点云分割算法将仓库和货物的三维点云数据分割,并将仓库分成不同的货物区域,对每个货物区域提取货物的相关特征以及货物区域的关键特征,并与仓库管理系统中的货物模型进行比对,从而识别出不同类型的货物;
所述位置确定与策略制定模块,用于获取货物在仓库中的精确位置,并根据货物的位置信息和相关特征,以及仓库的实时状态,重新制定仓库货物的存储搬运策略;
所述自动化搬运规划与执行模块,用于规划自动化搬运机器人的路径和抓取动作,并记录机械手的抓取力度F1和接触点的三维矢量P1;
所述偏移检测与位置调整模块,用于比对机械手对货物实际的抓取力度F1和预定义的抓取力度F0,以及与货物接触点的三维矢量P0和P1,计算货物的偏移信息,并根据偏移信息控制机械手调整放置货物的位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410841595.7A CN118405400B (zh) | 2024-06-27 | 2024-06-27 | 一种基于三维点云技术的自动立库系统及其立库方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410841595.7A CN118405400B (zh) | 2024-06-27 | 2024-06-27 | 一种基于三维点云技术的自动立库系统及其立库方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118405400A CN118405400A (zh) | 2024-07-30 |
| CN118405400B true CN118405400B (zh) | 2024-12-27 |
Family
ID=91983315
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410841595.7A Active CN118405400B (zh) | 2024-06-27 | 2024-06-27 | 一种基于三维点云技术的自动立库系统及其立库方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118405400B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118917510B (zh) * | 2024-10-08 | 2025-02-11 | 厦门理工学院 | 基于数据分析的物流自动化调度方法及系统 |
| CN119328774B (zh) * | 2024-12-20 | 2025-04-18 | 深圳市鼎泰佳创科技有限公司 | 一种老化房双机械手调度方法 |
| CN119904174B (zh) * | 2025-03-31 | 2025-09-02 | 湖北迈睿达供应链股份有限公司 | 一种基于人工智能的供应链管理方法及系统 |
| CN120181520A (zh) * | 2025-05-19 | 2025-06-20 | 太原理工大学 | 一种基于云计算的智能制造控制系统 |
| CN120765844A (zh) * | 2025-06-27 | 2025-10-10 | 军事科学院系统工程研究院后勤科学与技术研究所 | 一种货物建模方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110118973A (zh) * | 2019-05-27 | 2019-08-13 | 杭州亚美利嘉科技有限公司 | 仓库智能感知识别方法、装置及电子设备 |
| CN116477262A (zh) * | 2023-04-14 | 2023-07-25 | 珠海格力智能装备有限公司 | 机器人取货方法、装置、计算机可读存储介质和仓储系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108469786B (zh) * | 2018-01-26 | 2020-12-08 | 西安电子科技大学 | 大规模智能仓储分布式拣选系统 |
| CN111674817B (zh) * | 2020-06-12 | 2021-12-17 | 深圳市海柔创新科技有限公司 | 仓储机器人的控制方法、装置、设备及可读存储介质 |
| CN116835334B (zh) * | 2023-07-17 | 2024-06-21 | 湖北普罗格科技股份有限公司 | 基于3d视觉的无序码垛方法、装置、介质及设备 |
-
2024
- 2024-06-27 CN CN202410841595.7A patent/CN118405400B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110118973A (zh) * | 2019-05-27 | 2019-08-13 | 杭州亚美利嘉科技有限公司 | 仓库智能感知识别方法、装置及电子设备 |
| CN116477262A (zh) * | 2023-04-14 | 2023-07-25 | 珠海格力智能装备有限公司 | 机器人取货方法、装置、计算机可读存储介质和仓储系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118405400A (zh) | 2024-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN118405400B (zh) | 一种基于三维点云技术的自动立库系统及其立库方法 | |
| CN112476434B (zh) | 一种基于协作机器人的视觉3d取放方法及系统 | |
| EP3683721B1 (en) | A material handling method, apparatus, and system for identification of a region-of-interest | |
| CN111553949B (zh) | 基于单帧rgb-d图像深度学习对不规则工件的定位抓取方法 | |
| CN114898313B (zh) | 驾驶场景的鸟瞰图生成方法、装置、设备及存储介质 | |
| CN118394134B (zh) | 基于云台控制的摄像头自动追踪方法及系统 | |
| US11772271B2 (en) | Method and computing system for object recognition or object registration based on image classification | |
| US11055659B2 (en) | System and method for automatic product enrollment | |
| CA3235569A1 (en) | Automated bin-picking based on deep learning | |
| WO2019144617A1 (zh) | 一种可变场景下多设备的视觉导航方法及系统 | |
| CN112017226B (zh) | 面向工业零件6d位姿估计的方法及计算机可读存储介质 | |
| CN112132523A (zh) | 一种货物数量确定方法、系统和装置 | |
| US20240371033A1 (en) | Object recognition device, object recognition method, non-transitory computer-readable medium, and object recognition system | |
| CN112197705A (zh) | 一种基于视觉和激光测距的果实定位方法 | |
| CN112605993A (zh) | 基于双目视觉引导的自动抓取档案机器人控制系统及方法 | |
| JP7191352B2 (ja) | 物体検出を実施するための方法および計算システム | |
| CN118447092A (zh) | 一种视觉感知的混叠边界模糊物体空间位姿估计系统 | |
| CN116494245A (zh) | 一种堆叠物体无序抓取方法及系统 | |
| CN118799403A (zh) | 无序堆叠场景下的物体位姿识别方法及抓取方法 | |
| CN118808079A (zh) | 一种智能转换视觉模板及加工轨迹的点胶控制系统 | |
| US20230381971A1 (en) | Method and computing system for object registration based on image classification | |
| KR20240135603A (ko) | 공중 로봇의 얇은 물체 검출 및 회피 | |
| CN119107363B (zh) | 船舱箱体信息延迟自适应对齐方法及系统 | |
| CN120411232A (zh) | 一种面向agv的托盘动态识别与定位方法 | |
| CN118295309A (zh) | 一种在线捞渣机器人的视觉伺服控制系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |