[go: up one dir, main page]

CN114241404A - 卸料小车定位方法、装置、设备及存储介质 - Google Patents

卸料小车定位方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114241404A
CN114241404A CN202111383717.5A CN202111383717A CN114241404A CN 114241404 A CN114241404 A CN 114241404A CN 202111383717 A CN202111383717 A CN 202111383717A CN 114241404 A CN114241404 A CN 114241404A
Authority
CN
China
Prior art keywords
target
positioning
data set
image
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111383717.5A
Other languages
English (en)
Inventor
叶浩波
王海丰
熊佐恒
邵新敏
伍强
陈立春
潘发明
郝飞飞
张俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Zhiyuan Intelligent Control Technology Co ltd
Original Assignee
Wuhan Zhiyuan Intelligent Control Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Zhiyuan Intelligent Control Technology Co ltd filed Critical Wuhan Zhiyuan Intelligent Control Technology Co ltd
Priority to CN202111383717.5A priority Critical patent/CN114241404A/zh
Publication of CN114241404A publication Critical patent/CN114241404A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域,公开了一种卸料小车定位的方法、装置、设备及存储介质,所述方法包括:实时获取监控区域的初始图像信息;通过目标检测模型对所述初始图像信息进行识别检测,得到检测结果;在所述检测结果为所述监控区域存在目标卸料小车时,确定所述目标卸料小车的像素坐标信息;根据所述像素坐标信息对所述目标卸料小车进行定位。通过目标检测模型对初始图像信息行识别检测,在监控区域识别目标卸料小车时,根据目标卸料小车的像素坐标信息对目标卸料小车进行定位,从而可以精准对卸料小车进行定位。

Description

卸料小车定位方法、装置、设备及存储介质
技术领域
本发明涉及图像处理技术领域,尤其涉及一种卸料小车定位方法、装置、设备及存储介质。
背景技术
炼铁厂中每座高炉槽上料仓供料系统含有多个料仓,其中又分为6米焦炭仓、4.3米焦炭仓、外购焦炭仓、烧结矿仓、块矿仓、球团矿仓等不同料种的料仓。高炉每天不停的从料仓中获取原燃料,当料仓中的原燃料料位低于半仓时,供料主控室就要组织安排给对应的料仓补充相应的原燃料。补充原燃料时,需要通过现场操作人员将卸料小车手动开至指定的仓位后向主控室复述,主控工确认电脑操作画面指示信号正确无误后再逐条启动输送线向料仓送料;工长根据料位数显及经验判断料仓装满后,向现场操作人员下达换仓指令,现场操作人员再把卸料小车运行至其他需补充的仓位。
由于,目前是现场操作工通过肉眼及经验去判断小车是否达到指定卸料点,导致无法精准确定卸料小车的定位,从而造成的问题一无法精确将小车停在料仓的机械限位点处,且没有机械限位信号主控室无法判断小车所在位置,导致信息不对等;二是无法保证现场操作人员能够实时监测小车状态,当小车因为堵塞满料导致溜车时,若无法及时调整小车,导致对错仓位从而造成混料,破坏高炉正常生产秩序;三是目前的操作模式是由现场人员充当主控室的眼睛和手,主控人员充当大脑,这种模式既浪费资源又难以迅速应对突发情况;四是现场环境恶劣,高温、高粉尘、高噪音等恶劣环境十分不利于工人的身心健康。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种卸料小车定位方法、装置、设备及存储介质,旨在解决现有技术卸料小车定位不准确的技术问题。
为实现上述目的,本发明提供了一种卸料小车定位方法,所述方法包括以下步骤:
实时获取监控区域的初始图像信息;
通过目标检测模型对所述初始图像信息进行识别检测,得到检测结果;
在所述检测结果为所述监控区域存在目标卸料小车时,确定所述目标卸料小车的像素坐标信息;
根据所述像素坐标信息对所述目标卸料小车进行定位。
可选地,所述通过目标检测模型对所述初始图像信息进行识别检测,得到检测结果之前,还包括:
获取预设工况下卸料小车的原始样本图像信息,并对每张原始样本图像信息进行标注,生成对应的图像数据集;
对所述图像数据集进行格式处理,得到目标图像数据集;
通过所述目标图像数据集对预设深度学习模型进行特征训练,得到目标检测模型。
可选地,所述目标图像数据集包括:图像训练数据集以及图像测试数据集;
所述通过所述目标图像数据集对预设深度学习模型进行特征训练,得到目标检测模型,包括:
通过所述图像训练数据集对预设深度学习模型进行特征训练,得到待测试检测模型;
通过所述图像测试数据集对所述待测试检测模型进行测试,确定目标检测模型。
可选地,所述通过所述图像训练数据集对预设深度学习模型进行特征训练,得到待测试检测模型,包括:
通过预设数据增强方式对所述图像训练数据集进行图像处理,得到参考图像训练数据集;
通过所述参考图像训练数据集对预设深度学习模型进行特征训练,得到待测试检测模型。
可选地,所述通过所述图像测试数据集对所述待测试检测模型进行测试,确定目标检测模型,包括:
通过图像测试数据集对所述待测试检测模型进行测试,得到测试精度;
根据所述测试精度及所述待测试检测模型确定目标检测模型。
可选地,所述根据所述像素坐标信息对所述目标卸料小车进行定位,包括:
获取图像采集设备在世界坐标系下的世界坐标信息;
根据所述世界坐标信息以及所述像素坐标信息对所述目标卸料小车进行定位。
可选地,所述通过目标检测模型对所述初始图像信息进行识别检测,得到检测结果之后,还包括:
基于检测结果获取初始图像信息中的反面样本图像信息;
通过所述反面样本图像信息对所述目标检测模型进行更新训练,得到更新后的目标检测模型;
通过更新后的目标检测模型对所述初始图像信息进行识别检测,得到新的检测结果;
根据新的检测结果对所述目标卸料小车进行定位。
此外,为实现上述目的,本发明还提出一种卸料小车定位装置,所述卸料小车定位装置包括:
获取模块,用于实时获取监控区域的初始图像信息;
检测模块,用于通过目标检测模型对所述初始图像信息进行识别检测,得到检测结果;
确定模块,用于在所述检测结果为所述监控区域存在目标卸料小车时,确定所述目标卸料小车的像素坐标信息;
所述确定模块,用于根据所述像素坐标信息对所述目标卸料小车进行定位。
此外,为实现上述目的,本发明还提出一种卸料小车定位设备,所述卸料小车定位设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的卸料小车定位程序,所述卸料小车定位程序配置为实现如上文所述的卸料小车定位方法的步骤。
此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有卸料小车定位程序,所述卸料小车定位程序被处理器执行时实现如上文所述的卸料小车定位方法的步骤。
本发明实时获取监控区域的初始图像信息;通过目标检测模型对所述初始图像信息进行识别检测,得到检测结果;在所述检测结果为所述监控区域存在目标卸料小车时,确定所述目标卸料小车的像素坐标信息;根据所述像素坐标信息对所述目标卸料小车进行定位。通过目标检测模型对初始图像信息行识别检测,在监控区域识别目标卸料小车时,根据目标卸料小车的像素坐标信息对目标卸料小车进行定位,从而可以精准对卸料小车进行定位。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的卸料小车定位设备的结构示意图;
图2为本发明卸料小车定位方法第一实施例的流程示意图;
图3为本发明卸料小车定位方法第二实施例的流程示意图;
图4为本发明卸料小车定位方法第三实施例的流程示意图;
图5为本发明卸料小车定位装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的卸料小车定位设备结构示意图。
如图1所示,该卸料小车定位设备可以包括:处理器1001,例如中央处理器(Central Processing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity,Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory,RAM)存储器,也可以是稳定的非易失性存储器(Non-Volatile Memory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对卸料小车定位设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及卸料小车定位程序。
在图1所示的卸料小车定位设备中,网络接口1004主要用于与网络服务器进行数据通信;用户接口1003主要用于与用户进行数据交互;本发明卸料小车定位设备中的处理器1001、存储器1005可以设置在卸料小车定位设备中,所述卸料小车定位设备通过处理器1001调用存储器1005中存储的卸料小车定位程序,并执行本发明实施例提供的卸料小车定位方法。
本发明实施例提供了一种卸料小车定位方法,参照图2,图2为本发明一种卸料小车定位方法第一实施例的流程示意图。
本实施例中,所述卸料小车定位方法包括以下步骤:
步骤S10:实时获取监控区域的初始图像信息。
需要说明的是,本实施例的执行主体可为卸料小车定位设备,还可为其他可实现相同或相似功能的设备,本实施例对此不作限制,在本实施例中,以卸料小车定位设备为例进行说明。
可以理解的是,初始图像信息可以为通过图像采集设备拍摄的视频图像,并对视频图像进行帧处理,从而得到每个帧对应的图像信息,在具体实施过程中图像采集设备可以为高清摄像头,本实施例对此不作限制,例如以10个单号侧料仓为例进行说明,其中可以在10个料仓中配置3个高清摄像头,通过配置的高清摄像头来监控头部3个料仓、中间4个料仓以及尾部3个料仓,从而进行实时录像,并且保证固定好的高清摄像头的角度不变动,鉴于高炉上料全天除检修外几乎不间断,考虑到夜晚光线问题,通过增设多个无频闪光源,保证录像的清晰度。
步骤S20:通过目标检测模型对所述初始图像信息进行识别检测,得到检测结果。
应当理解的是,目标检测模型可以是通过大量不同工况下预设特征点的卸料小车图像在预设深度学习模型进行特征训练得到,其中,预设深度学习模型可以为基于one-stage目标检测算法的检测模型,该检测模型配置主干特征提取网络进行特征提取,从而减少推理中计算量的同时还能保证准确率,并采用选取CIOU_Loss损失函数和DIOU_nms非最大抑制算法,这种回归函数使得预测框回归的速度更快精度更高,预设特征点可以为卸料小车的滚轮,本实施例对此不作限制。
易于理解的是,通过将初始图像信息输入至目标检测模型中进行识别检测,从而可以得到监控区域存在目标卸料小车的检测结果或者监控区域不存在目标卸料小车的检测结果。
步骤S30:在所述检测结果为所述监控区域存在目标卸料小车时,确定所述目标卸料小车的像素坐标信息。
可以理解的是,由于目标检测模型采用的是one-stage目标检测算法,因此可以创造性的将候选区和对象识别这两阶段合二为一,通过在初始图像信息上放置n*n个网格,然后在每个网格上进行分类和定位,当被识别目标占据多个网格时,会生成多个识别边框,此时在采用非最大抑制(NMS)算法,最终留下最佳识别边框,边框里的就是被识别出的目标卸料小车,通过将该初始图像信息的左下角作为坐标原点,从而可以确定识别出来的目标卸料小车的像素坐标信息。
步骤S40:根据所述像素坐标信息对所述目标卸料小车进行定位。
易于理解的是,通过目标卸料小车的像素位置以及结合图像采集设备在世界坐标系下的世界坐标信息,从而通过目标卸料小车进行定位能够实时自动跟踪目标卸料小车,并确定卸料小车的运动位置和运动轨迹。
本实施例通过实时获取监控区域的初始图像信息;通过目标检测模型对所述初始图像信息进行识别检测,得到检测结果;在所述检测结果为所述监控区域存在目标卸料小车时,确定所述目标卸料小车的像素坐标信息;根据所述像素坐标信息对所述目标卸料小车进行定位。通过目标检测模型对初始图像信息行识别检测,在监控区域识别目标卸料小车时,根据目标卸料小车的像素坐标信息对目标卸料小车进行定位,从而可以精准对卸料小车进行定位。
参考图3,图3为本发明一种卸料小车定位方法第二实施例的流程示意图。
基于上述第一实施例,本实施例卸料小车定位方法在所述步骤S20之前,还包括:
步骤S201:获取预设工况下卸料小车的原始样本图像信息,并对每张原始样本图像信息进行标注,生成对应的图像数据集。
应当理解的是,原始样本图像信息是包含预设特征点的卸料小车在不同工况下的图像,预设工况可以为阴天、雨天、晴天、夜晚、灰尘弥漫下、反光,阴影、远处以及近端等情况下的工况,因此,可以以卸料小车滚轮为特征,截取预设数量不同状态下以及不同环境及光线下的截取的卸料小车的图像作为原始样本图像信息,其中预设数量可以为一千张,本实施例对此不作限制。通过标注工具对每张原始样本图像信息中的卸料小车滚轮进行数据标注,从而得到图像数据集,其中,标注工具可以为LabelImg或者yolo_mark。
步骤S202:对所述图像数据集进行格式处理,得到目标图像数据集。
易于理解的是,通过对图像数据集进行格式处理,转换成深度学习框架可接受的格式,例如xml格式,本实施例对此不作限制,从而得到目标图像数据集,以满足深度学习框架对输入数据格式的要求。
步骤S203:通过所述目标图像数据集对预设深度学习模型进行特征训练,得到目标检测模型。
可以理解的是,通过目标图像数据集对基于one-stage目标检测算法的预设深度学习模型进行特征训练,从而可以得到目标检测模型。
进一步的,所述目标图像数据集包括:图像训练数据集以及图像测试数据集,所述步骤S203,包括:
所述通过所述目标图像数据集对预设深度学习模型进行特征训练,得到目标检测模型,包括:
通过所述图像训练数据集对预设深度学习模型进行特征训练,得到待测试检测模型;通过所述图像测试数据集对所述待测试检测模型进行测试,确定目标检测模型。
应当理解的是,由于直接将现实场景中的泛化误差作为模型泛化能力的信号去调整模型代价会极大,因此,可以将制作好的目标图像数据集按照预设比例划分为图像训练数据集和图像测试数据集,在具体实施过程中,预设比例可以为8:2,本实施例对此不作限制,实现使用训练集的数据来训练模型,然后用测试集上的误差作为最终模型在应对现实场景中的泛化误差。因此,可以使用图像训练数据集对预设深度学习模型进行特征训练,得到待测试检测模型,然后试验图像测试数据集对待测试检测模型进行验证测试,确定目标检测模型。
进一步的,所述通过所述图像训练数据集对预设深度学习模型进行特征训练,得到待测试检测模型,包括:
通过预设数据增强方式对所述图像训练数据集进行图像处理,得到参考图像训练数据集;通过所述参考图像训练数据集对预设深度学习模型进行特征训练,得到待测试检测模型。
易于理解的是,预设数据增强方式可以为通过Mosaic数据增强的方式,通过Mosaic数据增强的方式对图像训练数据集进行图像处理,通过每次随机读取四张图片,并对读取的四张图片分别进行随机缩放、随机裁剪以及随机排布的方式进行图片拼接,形成一张新图像,最终可以通过每张拼接的新图像得到参考图像训练数据集,实现让网络的鲁棒性更好,同时Mini-batch也不需要很大,然后基于拼接得到的参考图像训练数据集对预设深度学习模型进行特征训练,得到待测试检测模型,实现加载合适的图像训练数据集以缩短模型训练时间。
进一步的,所述通过所述图像测试数据集对所述待测试检测模型进行测试,确定目标检测模型,包括:
通过图像测试数据集对所述待测试检测模型进行测试,得到测试精度;根据所述测试精度及所述待测试检测模型确定目标检测模型。
易于理解的是,利用图像测试数据集验证待测试检测模型,得到待测试检测模型的测试精度,在测试精度大于等于预设测试精度时,可以将待测试检测模型作为目标检测模型,在测试精度小于预设测试精度时,重新通过图像训练数据集对预设深度学习模型进行特征迭代训练,得到迭代后的待测试检测模型,直到满足利用图像测试数据集验证待测试检测模型的测试精度大于等于预设测试精度,其中,预设测试精度可以为本领域技术人员设置,本实施例对此不作限制,实现通过加载图像测试数据集提高模型训练精度。
本实施例通过获取预设工况下卸料小车的原始样本图像信息,并对每张原始样本图像信息进行标注,生成对应的图像数据集;对所述图像数据集进行格式处理,得到目标图像数据集;并通过将目标图像数据集划分为图像训练数据集以及图像测试数据集,通过所述图像训练数据集对预设深度学习模型进行特征训练,得到待测试检测模型;通过所述图像测试数据集对所述待测试检测模型进行测试,确定目标检测模型,实现缩短模型训练时间并提高模型训练精度。
参考图4,图4为本发明一种卸料小车定位方法第三实施例的流程示意图。
基于上述第一实施例,进行说明,所述步骤S40,包括:
步骤S401:获取图像采集设备在世界坐标系下的世界坐标信息。
应当理解的是,世界坐标系可以为以竖直方向为Y轴、以与图像采集设备的摄像头的光轴方向位于同一竖直平面内,且与地面平行的方向为Z轴,以垂直于Y轴和Z轴所在平面的方向为X轴,建立的世界坐标系,从而获取图像采集设备的世界坐标信息。
步骤S402:根据所述世界坐标信息以及所述像素坐标信息对所述目标卸料小车进行定位。
易于理解的是,通过世界坐标与相机坐标的转换关系,其中转换关系可以由本领域技术人员设置,本实施例对此不作限制。并基于世界坐标信息以及所述像素坐标信息,从而可以对目标卸料小车进行定位,实现实时自动跟踪目标卸料小车的运动位置和运动轨迹。
进一步的,所述步骤S40之后,还包括:
基于检测结果获取初始图像信息中的反面样本图像信息;通过所述反面样本图像信息对所述目标检测模型进行更新训练,得到更新后的目标检测模型;通过更新后的目标检测模型对所述初始图像信息进行识别检测,得到新的检测结果;根据新的检测结果对所述目标卸料小车进行定位。
应当理解的是,反面样本图像信息可以为后期调试观察到的出现误识别现象或者漏识别现象的初始图像信息,因出,基于检测结果通过后期调试观察从而获取反面样本图像信息,并将反面样本图像信息增加到原始样本图像信息中进行对所述目标检测模型进行重新更新训练,其中,在进行训练时可以使用anchor box可以实现在一个网格检测出多个不同类别的对象,例如,检测出的类别对象为误识别对象,得到更新后的目标检测模型,通过更新后的目标检测模型再次对初始图像信息进行识别检测,得到新的检测结果;根据新的检测结果对目标卸料小车进行定位,从而实现目标检测模型能够更有征对性。
本实施例通过实时获取监控区域的初始图像信息;通过目标检测模型对所述初始图像信息进行识别检测,得到检测结果;在所述检测结果为所述监控区域存在目标卸料小车时,确定所述目标卸料小车的像素坐标信息;通过图像测试数据集对所述待测试检测模型进行测试,得到测试精度;根据所述测试精度及所述待测试检测模型确定目标检测模型。通过目标检测模型对初始图像信息行识别检测,在监控区域识别目标卸料小车时,根据目标卸料小车的像素坐标信息对目标卸料小车进行定位,从而可以通过精准对卸料小车进行定位的准确性。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有卸料小车定位程序,所述卸料小车定位程序被处理器执行时实现如上文所述的卸料小车定位方法的步骤。
由于本存储介质采用了上述所有实施例的全部技术方案,因此至少具有上述实施例的技术方案所带来的所有有益效果,在此不再一一赘述。
参照图5,图5为本发明卸料小车定位装置第一实施例的结构框图。
如图5所示,本发明实施例提出的卸料小车定位装置包括:
获取模块10,用于实时获取监控区域的初始图像信息。
可以理解的是,初始图像信息可以为通过图像采集设备拍摄的视频图像,并对视频图像进行帧处理,从而得到每个帧对应的图像信息,在具体实施过程中图像采集设备可以为高清摄像头,本实施例对此不作限制,例如以10个单号侧料仓为例进行说明,其中可以在10个料仓中配置3个高清摄像头,通过配置的高清摄像头来监控头部3个料仓、中间4个料仓以及尾部3个料仓,从而进行实时录像,并且保证固定好的高清摄像头的角度不变动,鉴于高炉上料全天除检修外几乎不间断,考虑到夜晚光线问题,通过增设多个无频闪光源,保证录像的清晰度。
检测模块20,用于通过目标检测模型对所述初始图像信息进行识别检测,得到检测结果。
应当理解的是,目标检测模型可以是通过大量不同工况下预设特征点的卸料小车图像在预设深度学习模型进行特征训练得到,其中,预设深度学习模型可以为基于one-stage目标检测算法的检测模型,该检测模型配置主干特征提取网络进行特征提取,从而减少推理中计算量的同时还能保证准确率,并采用选取CIOU_Loss损失函数和DIOU_nms非最大抑制算法,这种回归函数使得预测框回归的速度更快精度更高,预设特征点可以为卸料小车的滚轮,本实施例对此不作限制。
易于理解的是,通过将初始图像信息输入至目标检测模型中进行识别检测,从而可以得到监控区域存在目标卸料小车的检测结果或者监控区域不存在目标卸料小车的检测结果。
确定模块30,用于在所述检测结果为所述监控区域存在目标卸料小车时,确定所述目标卸料小车的像素坐标信息。
可以理解的是,由于目标检测模型采用的是one-stage目标检测算法,因此可以创造性的将候选区和对象识别这两阶段合二为一,通过在初始图像信息上放置n*n个网格,然后在每个网格上进行分类和定位,当被识别目标占据多个网格时,会生成多个识别边框,此时在采用非最大抑制(NMS)算法,最终留下最佳识别边框,边框里的就是被识别出的目标卸料小车,通过将该初始图像信息的左下角作为坐标原点,从而可以确定识别出来的目标卸料小车的像素坐标信息。
所述确定模块30,用于根据所述像素坐标信息对所述目标卸料小车进行定位。
易于理解的是,通过目标卸料小车的像素位置以及结合图像采集设备在世界坐标系下的世界坐标信息,从而通过目标卸料小车进行定位能够实时自动跟踪目标卸料小车,并确定卸料小车的运动位置和运动轨迹。
本实施例通过实时获取监控区域的初始图像信息;通过目标检测模型对所述初始图像信息进行识别检测,得到检测结果;在所述检测结果为所述监控区域存在目标卸料小车时,确定所述目标卸料小车的像素坐标信息;根据所述像素坐标信息对所述目标卸料小车进行定位。通过目标检测模型对初始图像信息行识别检测,在监控区域识别目标卸料小车时,根据目标卸料小车的像素坐标信息对目标卸料小车进行定位,从而可以精准对卸料小车进行定位。
在一实施例中,所述检测模块20,还用于获取预设工况下卸料小车的原始样本图像信息,并对每张原始样本图像信息进行标注,生成对应的图像数据集;对所述图像数据集进行格式处理,得到目标图像数据集;通过所述目标图像数据集对预设深度学习模型进行特征训练,得到目标检测模型。
在一实施例中,所述检测模块20,还用于所述通过所述目标图像数据集对预设深度学习模型进行特征训练,得到目标检测模型,包括:通过所述图像训练数据集对预设深度学习模型进行特征训练,得到待测试检测模型;通过所述图像测试数据集对所述待测试检测模型进行测试,确定目标检测模型。
在一实施例中,所述检测模块20,还用于通过预设数据增强方式对所述图像训练数据集进行图像处理,得到参考图像训练数据集;通过所述参考图像训练数据集对预设深度学习模型进行特征训练,得到待测试检测模型。
在一实施例中,所述检测模块20,还用于通过图像测试数据集对所述待测试检测模型进行测试,得到测试精度;根据所述测试精度及所述待测试检测模型确定目标检测模型。
在一实施例中,所述确定模块30,还用于获取图像采集设备在世界坐标系下的世界坐标信息;根据所述世界坐标信息以及所述像素坐标信息对所述目标卸料小车进行定位。
在一实施例中,所述确定模块30,还用于基于检测结果获取初始图像信息中的反面样本图像信息;通过所述反面样本图像信息对所述目标检测模型进行更新训练,得到更新后的目标检测模型;通过更新后的目标检测模型对所述初始图像信息进行识别检测,得到新的检测结果;根据新的检测结果对所述目标卸料小车进行定位。
在本发明所述卸料小车定位装置的其他实施例或具体实现方法可参照上述各方法实施例,此处不再一一赘述。
应当理解的是,以上仅为举例说明,对本发明的技术方案并不构成任何限定,在具体应用中,本领域的技术人员可以根据需要进行设置,本发明对此不做限制。
需要说明的是,以上所描述的工作流程仅仅是示意性的,并不对本发明的保护范围构成限定,在实际应用中,本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的,此处不做限制。
另外,未在本实施例中详尽描述的技术细节,可参见本发明任意实施例所提供的卸料小车定位方法,此处不再赘述。
此外,需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory,ROM)/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种卸料小车定位方法,其特征在于,所述卸料小车定位方法包括:
实时获取监控区域的初始图像信息;
通过目标检测模型对所述初始图像信息进行识别检测,得到检测结果;
在所述检测结果为所述监控区域存在目标卸料小车时,确定所述目标卸料小车的像素坐标信息;
根据所述像素坐标信息对所述目标卸料小车进行定位。
2.如权利要求1所述的卸料小车定位方法,其特征在于,所述通过目标检测模型对所述初始图像信息进行识别检测,得到检测结果之前,还包括:
获取预设工况下卸料小车的原始样本图像信息,并对每张原始样本图像信息进行标注,生成对应的图像数据集;
对所述图像数据集进行格式处理,得到目标图像数据集;
通过所述目标图像数据集对预设深度学习模型进行特征训练,得到目标检测模型。
3.如权利要求2所述的卸料小车定位方法,其特征在于,所述目标图像数据集包括:图像训练数据集以及图像测试数据集;
所述通过所述目标图像数据集对预设深度学习模型进行特征训练,得到目标检测模型,包括:
通过所述图像训练数据集对预设深度学习模型进行特征训练,得到待测试检测模型;
通过所述图像测试数据集对所述待测试检测模型进行测试,确定目标检测模型。
4.如权利要求3所述的卸料小车定位方法,其特征在于,所述通过所述图像训练数据集对预设深度学习模型进行特征训练,得到待测试检测模型,包括:
通过预设数据增强方式对所述图像训练数据集进行图像处理,得到参考图像训练数据集;
通过所述参考图像训练数据集对预设深度学习模型进行特征训练,得到待测试检测模型。
5.如权利要求3所述的卸料小车定位方法,其特征在于,所述通过所述图像测试数据集对所述待测试检测模型进行测试,确定目标检测模型,包括:
通过图像测试数据集对所述待测试检测模型进行测试,得到测试精度;
根据所述测试精度及所述待测试检测模型确定目标检测模型。
6.如权利要求1所述的卸料小车定位方法,其特征在于,所述根据所述像素坐标信息对所述目标卸料小车进行定位,包括:
获取图像采集设备在世界坐标系下的世界坐标信息;
根据所述世界坐标信息以及所述像素坐标信息对所述目标卸料小车进行定位。
7.如权利要求1所述的卸料小车定位方法,其特征在于,所述通过目标检测模型对所述初始图像信息进行识别检测,得到检测结果之后,还包括:
基于检测结果获取初始图像信息中的反面样本图像信息;
通过所述反面样本图像信息对所述目标检测模型进行更新训练,得到更新后的目标检测模型;
通过更新后的目标检测模型对所述初始图像信息进行识别检测,得到新的检测结果;
根据新的检测结果对所述目标卸料小车进行定位。
8.一种卸料小车定位装置,其特征在于,所述卸料小车定位装置包括:
获取模块,用于实时获取监控区域的初始图像信息;
检测模块,用于通过目标检测模型对所述初始图像信息进行识别检测,得到检测结果;
确定模块,用于在所述检测结果为所述监控区域存在目标卸料小车时,确定所述目标卸料小车的像素坐标信息;
所述确定模块,用于根据所述像素坐标信息对所述目标卸料小车进行定位。
9.一种卸料小车定位设备,其特征在于,所述卸料小车定位设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的卸料小车定位程序,所述卸料小车定位程序配置为实现如权利要求1至7中任一项所述的卸料小车定位方法。
10.一种存储介质,其特征在于,所述存储介质上存储有卸料小车定位程序,所述卸料小车定位程序被处理器执行时实现如权利要求1至7任一项所述的卸料小车定位方法。
CN202111383717.5A 2021-11-19 2021-11-19 卸料小车定位方法、装置、设备及存储介质 Pending CN114241404A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111383717.5A CN114241404A (zh) 2021-11-19 2021-11-19 卸料小车定位方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111383717.5A CN114241404A (zh) 2021-11-19 2021-11-19 卸料小车定位方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114241404A true CN114241404A (zh) 2022-03-25

Family

ID=80750293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111383717.5A Pending CN114241404A (zh) 2021-11-19 2021-11-19 卸料小车定位方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114241404A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115761615A (zh) * 2022-12-27 2023-03-07 武汉志远智能控制技术有限公司 卸料小车定位系统及装置
CN119273753A (zh) * 2024-09-14 2025-01-07 天津港太平洋国际集装箱码头有限公司 回转小车定位方法、装置及工程机械

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991297A (zh) * 2019-11-26 2020-04-10 中国科学院光电研究院 一种基于场景监控的目标定位方法及系统
CN111563458A (zh) * 2020-05-09 2020-08-21 北京航空航天大学 基于YOLOv3和OpenCV的目标检测与定位方法
CN111833399A (zh) * 2019-04-17 2020-10-27 富华科精密工业(深圳)有限公司 基于鱼眼图像的目标检测方法及相关设备
CN112927297A (zh) * 2021-02-20 2021-06-08 华南理工大学 一种基于yolo系列的目标检测和视觉定位方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111833399A (zh) * 2019-04-17 2020-10-27 富华科精密工业(深圳)有限公司 基于鱼眼图像的目标检测方法及相关设备
CN110991297A (zh) * 2019-11-26 2020-04-10 中国科学院光电研究院 一种基于场景监控的目标定位方法及系统
CN111563458A (zh) * 2020-05-09 2020-08-21 北京航空航天大学 基于YOLOv3和OpenCV的目标检测与定位方法
CN112927297A (zh) * 2021-02-20 2021-06-08 华南理工大学 一种基于yolo系列的目标检测和视觉定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李忠: "炼钢铁合金上料系统卸料车自动定位程序设计与应用", 《电子测试》 *
郝成等: "基于惯性导航的卸料小车定位系统", 《中国科技信息》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115761615A (zh) * 2022-12-27 2023-03-07 武汉志远智能控制技术有限公司 卸料小车定位系统及装置
CN119273753A (zh) * 2024-09-14 2025-01-07 天津港太平洋国际集装箱码头有限公司 回转小车定位方法、装置及工程机械

Similar Documents

Publication Publication Date Title
EP3785021A1 (en) System and method for performing automated analysis of air samples
CN110148106A (zh) 一种利用深度学习模型检测物体表面缺陷的系统及方法
CN114241404A (zh) 卸料小车定位方法、装置、设备及存储介质
CN116593479B (zh) 电池盖板外观质量检测方法、装置、设备及存储介质
CN110570146A (zh) 一种产品分拣方法及装置、计算机可读存储介质
CN111797796A (zh) 停车规范检测模型的构建方法、停车规范检测方法、系统、终端及介质
CN118521586B (zh) 基于机器视觉的产品视觉检测装置及方法
CN115423798A (zh) 缺陷识别方法、装置、计算机设备、存储介质和计算机程序产品
CN112785557A (zh) 皮带料流检测方法及装置、皮带料流检测系统
EP4655138A1 (en) Robotic visual tactile surface inspection system
CN118967616A (zh) 产品外观缺陷检测方法、装置、电子设备及存储介质
Wagner et al. IndustrialEdgeML-End-to-end edge-based computer vision systemfor Industry 5.0
CN117522783A (zh) 材料缺陷检测全生命周期管理系统及设备
CN117854211B (zh) 一种基于智能视觉的目标对象识别方法及装置
CN119850551A (zh) 变电站部件微小缺陷检测方法、程序产品、设备及介质
WO2025100034A1 (ja) 異物検知装置及び異物検知方法
Blake Elements and mechanisms for applying artificial intelligence to composites fabrication
CN118823288A (zh) 器具图像采集方法、装置、计算机设备及可读存储介质
CN117788444A (zh) Smt贴片偏移检测方法、装置及视觉检测系统
CN111047731A (zh) 一种基于ar技术的电信机房巡检方法及系统
CN113643250B (zh) 一种检测方法、装置、设备及存储介质
CN116311016A (zh) 一种基于Faster RCNN神经网络的支承架体插销安装质量自动检测方法及系统
CN113012137B (zh) 一种面板缺陷检查方法、系统、终端设备及存储介质
CN116038690A (zh) 用于协同机器人的控制方法、装置、处理器及系统
CN113421246A (zh) 形成轨道检测模型的方法、检测轨道磨损的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220325

RJ01 Rejection of invention patent application after publication