[go: up one dir, main page]

CN117705816B - 基于无人机的钢轨表面缺陷检测方法、系统、设备及介质 - Google Patents

基于无人机的钢轨表面缺陷检测方法、系统、设备及介质 Download PDF

Info

Publication number
CN117705816B
CN117705816B CN202410169968.0A CN202410169968A CN117705816B CN 117705816 B CN117705816 B CN 117705816B CN 202410169968 A CN202410169968 A CN 202410169968A CN 117705816 B CN117705816 B CN 117705816B
Authority
CN
China
Prior art keywords
steel rail
defect
aerial vehicle
unmanned aerial
rail
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410169968.0A
Other languages
English (en)
Other versions
CN117705816A (zh
Inventor
李祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Jiaotong University
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN202410169968.0A priority Critical patent/CN117705816B/zh
Publication of CN117705816A publication Critical patent/CN117705816A/zh
Application granted granted Critical
Publication of CN117705816B publication Critical patent/CN117705816B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/888—Marking defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/02—Mechanical
    • G01N2201/021—Special mounting in general
    • G01N2201/0214—Airborne
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/129—Using chemometrical methods
    • G01N2201/1296—Using chemometrical methods using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明提供了基于无人机的钢轨表面缺陷检测方法、系统、设备及介质，涉及轨道交通钢轨的维护检测技术领域，包括利用无人机采集钢轨表面的图像信息以及图像信息所对应的第一钢轨位置信息；根据深度学习算法，将图像信息和钢轨位置信息输入至预设的钢轨缺陷检测模型进行处理和判别，得到钢轨表面识别结果；对钢轨表面识别结果进行缺陷判断，对钢轨表面进行对应标记，发送标记信息以及标记信息所对应的第二钢轨位置信息至管理平台，进而完成缺陷维修。本发明的有益效果为使用无人机搭载摄像机进行非接触式巡检，可充分发挥无人机自动化程度高、能耗低、显著降低巡检工作人员劳动强度，解决了传统人工巡检效率低、维护人工费用高问题。

Description

基于无人机的钢轨表面缺陷检测方法、系统、设备及介质
技术领域
本发明涉及轨道交通钢轨的维护检测技术领域，具体而言，涉及基于无人机的钢轨表面缺陷检测方法、系统、设备及介质。
背景技术
近年来，伴随我国轨道交通高速发展，巡检人工成本快速上涨，轨道交通维护压力明显上升。基于无人机辅助的机器视觉技术随着科技的发展应运而生，结合大数据技术代替传统的人工巡检实现钢轨表面缺陷的智能识别，原理是通过机器视觉技术获取钢轨表面图像，利用云服务器对图像进行处理，最终获取道路检测钢轨表面缺陷信息。
随着干线铁路（高速铁路、普速铁路）、城际铁路、市域（郊）铁路、城市轨道交通通车里程的递增，对干线轨道进行管养、维护、应急施救等自动化、智能化要求越来越高，采用传统的人工巡检方式对轨道钢轨信息的采集，存在工作效率低耗时长、依赖于巡检人员个人操作经验主观性高、智能化协同性差等问题。
发明内容
本发明的目的在于提供基于无人机的钢轨表面缺陷检测方法、系统、设备及介质，以改善上述问题。为了实现上述目的，本发明采取的技术方案如下：
第一方面，本申请提供了基于无人机的钢轨表面缺陷检测方法，包括：
利用无人机采集钢轨表面的图像信息以及图像信息所对应的第一钢轨位置信息；
根据深度学习算法，将图像信息和第一钢轨位置信息输入至预设的钢轨缺陷检测模型进行处理和判别，得到钢轨表面识别结果；
对钢轨表面识别结果进行缺陷判断，若存在缺陷，则根据缺陷类别对钢轨表面进行对应标记，得到标记信息，其中缺陷包括凸起、凹陷、断裂、形变和挪位；
发送标记信息以及标记信息所对应的第二钢轨位置信息至管理平台，进而完成缺陷维修。
优选地，所述利用无人机采集钢轨表面的图像信息以及图像信息所对应的第一钢轨位置信息，其中包括：
利用无人机沿巡检轨迹实时采集钢轨表面的待检测图像，其中无人机包括GPS、3D相机和激光位移传感器，其中3D相机用于采集待检测图像，激光位移传感器用于给3D相机提供光源；
对待检测图像进行图像处理，得到钢轨表面的彩色图像信息，将彩色图像信息记作图像信息；
根据GPS实时采集图像信息所对应的第一钢轨位置信息。
优选地，所述根据深度学习算法，将图像信息和钢轨位置信息输入至预设的钢轨缺陷检测模型进行处理和判别，得到钢轨表面识别结果，其中包括：
对图像信息进行预处理，得到预处理结果，其中预处理包括将图像信息中的钢轨图片大小调整至预设的钢轨缺陷检测模型要求的尺寸；
将预处理结果中的钢轨图片输入至卷积层、激活函数和池化层的神经网络中进行训练，得到钢轨图片中的第一特征信息；
针对第一特征信息，计算钢轨图片得分情况，进而确定钢轨图片中所包含的待检测目标的位置信息；
基于Softmax函数和预设的钢轨缺陷检测模型，对待检测目标的位置信息进行缺陷分类，得到概率分布结果；
根据非极大值抑制算法，对概率分布结果进行计算，得到钢轨表面识别结果，其中钢轨表面识别结果包括钢轨表面缺陷的类别和位置信息。
优选地，所述根据非极大值抑制算法，对概率分布结果进行计算，得到钢轨表面识别结果，其中包括：
计算概率分布结果中的所有候选框的分数，提取分数最高的边界框作为基准框；
计算基准框之外的每个候选框和基准框之间的交并比，其计算公式如下：
式中，为第i个候选框与基准框之间的交并比，A为基准框，为第i个候选框；
判断交并比的值是否超过预设值，若超过，则预测为同一个目标，剔除交并比的值超过预设值的候选框；
选取剩下所有候选框中分数最高的作为新的基准框，重复上述判断步骤，直到剔除所有的候选框，将剩余的候选框记作钢轨表面识别结果。
第二方面，本申请还提供了基于无人机的钢轨表面缺陷检测系统，包括采集模块、识别模块、标记模块和检测模块，其中：
采集模块：用于利用无人机采集钢轨表面的图像信息以及图像信息所对应的第一钢轨位置信息；
识别模块：用于根据深度学习算法，将图像信息和第一钢轨位置信息输入至预设的钢轨缺陷检测模型进行处理和判别，得到钢轨表面识别结果；
标记模块：用于对钢轨表面识别结果进行缺陷判断，若存在缺陷，则根据缺陷类别对钢轨表面进行对应标记，得到标记信息，其中缺陷包括凸起、凹陷、断裂、形变和挪位；
检测模块：用于发送标记信息以及标记信息所对应的第二钢轨位置信息至管理平台，进而完成缺陷维修。
第三方面，本申请还提供了一种基于无人机的钢轨表面缺陷检测设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现所述基于无人机的钢轨表面缺陷检测方法的步骤。
第四方面，本申请还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于基于无人机的钢轨表面缺陷检测方法的步骤。
本发明的有益效果为：
本发明采用无人机、GPS、激光位移传感器、3D相机、云服务器、控制器和喷码器，在无人机上搭载GPS、3D相机、激光位移传感器，3D相机沿巡检轨迹实时采集轨道钢轨表面的图像信息，以获取钢轨表面彩色图片，GPS实时采集钢轨位置信息，激光位移传感器为3D相机提供合适光源；将采集到的钢轨图像信息、位置信息传输到云服务器，云服务器通过基于深度学习的钢轨缺陷检测模型对采集的图像进行处理和判别，得到的识别结果中是否存在缺陷（凸起、凹陷、断裂、形变、挪位），如果存在，云服务器则根据缺陷类别将不同的信号发送给控制器，喷码器接到相应的控制指令则在有缺陷的钢轨表面进行对应的喷码标记，云服务器给维护管理人员呈现钢轨表面缺陷图片信息、位置信息，维护人员按照给定的位置前往缺陷所定位置进行扫码维修；使用无人机搭载摄像机进行非接触式巡检，解决了传统人工巡检效率低、维护人工费用高问题。
本发明使用无人机搭载摄像机进行非接触式巡检，可充分发挥无人机自动化程度高、能耗低、显著降低巡检工作人员劳动强度，解决了传统人工巡检效率低、维护人工费用高问题。
本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例中所述的基于无人机的钢轨表面缺陷检测方法流程示意图；
图2为本发明实施例中所述的基于无人机的钢轨表面缺陷检测系统结构示意图；
图3为本发明实施例中所述的基于无人机的钢轨表面缺陷检测设备结构示意图。
图中：701、采集模块；7011、第一采集单元；7012、处理单元；7013、第二采集单元；702、识别模块；7021、预处理单元；7022、训练单元；7023、确定单元；7024、分类单元；7025、计算单元；70251、提取单元；70252、计算交并比单元；70253、判断单元；70254、循环单元；703、标记模块；704、检测模块；800、基于无人机的钢轨表面缺陷检测设备；801、处理器；802、存储器；803、多媒体组件；804、I/O接口；805、通信组件。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1：
本实施例提供了一种基于无人机的钢轨表面缺陷检测方法。
参见图1，图中示出了本方法包括步骤S100、步骤S200、步骤S300和步骤S400。
需要说明的是，本发明采用的钢轨表面检测装置包括无人机、GPS、激光位移传感器、3D相机、云服务器、控制器、喷码器，所述无人机悬停于轨道钢轨正上方，所述摄像机、GPS、激光位移传感器、控制器、喷码器安装在无人机下方，所述云服务器用于接受并处理钢轨表面图像，通过摄像机无线传输模块与云服务器连接，钢轨表面图片处理结果通过云服务器无线传输模块输入到控制器，控制器与喷码器连接，所述喷码器根据接受到的控制器指令在进行连接轨道表面缺陷处进行喷码标记。
S100、利用无人机采集钢轨表面的图像信息以及图像信息所对应的第一钢轨位置信息。
可以理解的是，在本步骤S100中包括S101、S102和S103，其中：
S101、利用无人机沿巡检轨迹实时采集钢轨表面的待检测图像，其中无人机包括GPS、3D相机和激光位移传感器，其中3D相机用于采集待检测图像，激光位移传感器用于给3D相机提供光源；
需要说明的是，无人机悬停于轨道钢轨正上方进行巡检，3D相机、GPS、激光位移传感器、控制器以及喷码器安装在无人机下方；GPS对无人机当前所在地理位置进行定位；激光位移传感器为3D相机拍摄提供光源，对检测钢轨图片提供初始坐标，为图像标定提供依据。
S102、对待检测图像进行图像处理，得到钢轨表面的彩色图像信息，将彩色图像信息记作图像信息；
S103、根据GPS实时采集图像信息所对应的第一钢轨位置信息。
需要说明的是，3D相机用于实时拍摄钢轨表面图像并通过无线传输模块发送到云服务器端；云服务器用于实时接收GPS数据，3D相机钢轨表面图像，处理钢轨表面图像数据，确定钢轨表面缺陷。
S200、根据深度学习算法，将图像信息和第一钢轨位置信息输入至预设的钢轨缺陷检测模型进行处理和判别，得到钢轨表面识别结果。
可以理解的是，在本步骤S200中包括S201、S202、S203、S204和S205，其中：
S201、对图像信息进行预处理，得到预处理结果，其中预处理包括将图像信息中的钢轨图片大小调整至预设的钢轨缺陷检测模型要求的尺寸；
S202、将预处理结果中的钢轨图片输入至卷积层、激活函数和池化层的神经网络中进行训练，得到钢轨图片中的第一特征信息；
需要说明的是，将调整过大小的钢轨图片通过卷积层、激活函数和池化层在神经网络中传递，从而逐步提取出图片中的重要特征。其中，卷积计算公式为：
式中，是输出特征图在的值，K是卷积核，I是输入特征图，m和n分别在卷积核的高度和宽度范围内变化。
其中，激活函数为：
式中，x为输入的像素值，为经过激活函数计算的像素输出值，为自然常数e的-x次幂。
其中，池化计算公式为：
式中，为池化输出在位置(x, y)的值，为输入特征图在位置的值，R表示所有输入像素点位置的集合。
S203、针对第一特征信息，计算钢轨图片得分进而确定钢轨图片中所包含的待检测目标的位置信息；
需要说明的是，第一特征信息为钢轨图像在经过多层特征循环提取后，通过神经网络算法对图像进行计算得分情况，确定钢轨图片中所包含的待检测目标的位置区域，其中计算公式如下：
式中，为前述激活函数；为预测框未经过激活函数计算的对象得分，数值较为发散；为经过激活函数计算的对象得分，数值被限定在0-1之间。
当得分达到或超过预设值时，即表明检测到目标，同时使用逆卷积将此特征图坐标映射回原始图像坐标，计算公式为：
式中，为经过逆卷积运算后的位置信息，UpSample为上采样操作，I为当前特征图的位置信息，scale_factor为上采样的尺度因子。
S204、基于Softmax函数和预设的钢轨缺陷检测模型，对待检测目标的位置信息进行缺陷分类，得到概率分布结果；
需要说明的是，基于Softmax函数目标分类算法对每个预测框进行计算，神经网络会根据已训练的钢轨缺陷检测模型预测待检测目标的位置信息属于某类缺陷（凸起、凹陷、断裂、形变、挪位）的概率，将最后一个全连接层的输出转化为概率分布，其计算公式为：
式中，是类别i的预测概率，是类别i的输出，K是类别总数，j为从1到K的整数，为自然常数e的次幂。
因此当某种类别的预测概率最大时，模型即认为检测到该类缺陷，即得到概率分布结果。
S205、根据非极大值抑制算法，对概率分布结果进行计算，得到钢轨表面识别结果，其中钢轨表面识别结果包括钢轨表面缺陷的类别和位置信息。
需要说明的是，在步骤S205中包括S2051、S2052、S2053和S2054，其中：
S2051、计算概率分布结果中的所有候选框的分数，提取分数最高的边界框作为基准框；
S2052、计算基准框之外的每个候选框和基准框之间的交并比，其计算公式如下：
式中，为第i个候选框与基准框之间的交并比，A为基准框，为第i个候选框；
S2053、判断交并比的值是否超过预设值，若超过，则预测为同一个目标，剔除交并比的值超过预设值的候选框；
S2054、选取剩下所有候选框中分数最高的作为新的基准框，重复上述判断步骤，直到剔除所有的候选框，将剩余的候选框记作钢轨表面识别结果。
可以理解的是，使用非极大值抑制（Non-maximum Suppression, NMS）来去除重复的或低概率的检测框，以确保最终结果中每个目标只生成一个最精确的检测框，进而得到缺陷的类别和位置。
S300、对钢轨表面识别结果进行缺陷判断，若存在缺陷，则根据缺陷类别对钢轨表面进行对应标记，得到标记信息，其中缺陷包括凸起、凹陷、断裂、形变和挪位。
可以理解的是，在本步骤中，控制器通过发出信号指令来控制无人机的飞行轨迹、飞行姿态；接收云服务器的缺陷信息，控制喷码器进行喷码作业。其中，喷码器能根据控制器的指令在相应钢轨表面位置进行缺陷喷码标识。
需要说明的是，根据S200中得到的钢轨表面识别结果中是否存在缺陷（凸起、凹陷、断裂、形变、挪位）进行判断。如果存在，云服务器则根据缺陷类别将不同的信号发送给控制器，喷码器接到相应的控制指令则在有缺陷的钢轨表面进行对应的喷码标记，以便维护管理人员识别和校验。若不存在，则云服务器继续进行上述步骤进行循环计算。
S400、发送标记信息以及标记信息所对应的第二钢轨位置信息至管理平台，进而完成缺陷维修。
可以理解的是，在本步骤中，云服务器给维护管理人员呈现钢轨表面缺陷图片信息、位置信息，维护人员按照给定的位置前往缺陷所定位置进行扫码维修。
综上所述，云服务器用于接受并处理钢轨表面图像，通过摄像机无线传输模块与云服务器连接，钢轨表面图片处理结果通过云服务器无线传输模块输入到控制器，控制器与喷码器连接，所述喷码器根据接受到的控制器指令在进行连接轨道表面缺陷处进行喷码标记，充分发挥无人机自动化程度高、能耗低、显著降低巡检工作人员劳动强度，解决了传统人工巡检效率低以及维护人工费用高问题。
实施例2
如图2所示，本实施例提供了一种基于无人机的钢轨表面缺陷检测系统，参见图2所述系统包括采集模块701、识别模块 702、标记模块703和检测模块704，其中：
采集模块701：用于利用无人机采集钢轨表面的图像信息以及图像信息所对应的第一钢轨位置信息；
识别模块 702：用于根据深度学习算法，将图像信息和钢轨位置信息输入至预设的钢轨缺陷检测模型进行处理和判别，得到钢轨表面识别结果；
标记模块703：用于对钢轨表面识别结果进行缺陷判断，若存在缺陷，则根据缺陷类别对钢轨表面进行对应标记，得到标记信息，其中缺陷包括凸起、凹陷、断裂、形变和挪位；
检测模块704：用于发送标记信息以及标记信息所对应的第二钢轨位置信息至管理平台，进而完成缺陷维修。
具体地，所述采集模块701，包括第一采集单元7011、处理单元7012和第二采集单元7013，其中：
第一采集单元7011：用于利用无人机沿巡检轨迹实时采集钢轨表面的待检测图像，其中无人机包括GPS、3D相机和激光位移传感器，其中3D相机用于采集待检测图像，激光位移传感器用于给3D相机提供光源；
处理单元7012：用于对待检测图像进行图像处理，得到钢轨表面的彩色图像信息，将彩色图像信息记作图像信息；
第二采集单元7013：用于根据GPS实时采集图像信息所对应的第一钢轨位置信息。
具体地，识别模块 702，包括预处理单元7021、训练单元7022、确定单元7023、分类单元7024和计算单元7025，其中：
预处理单元7021：用于对图像信息进行预处理，得到预处理结果，其中预处理包括将图像信息中的钢轨图片大小调整至预设的钢轨缺陷检测模型要求的尺寸；
训练单元7022：用于将预处理结果中的钢轨图片输入至卷积层、激活函数和池化层的神经网络中进行训练，得到钢轨图片中的第一特征信息；
确定单元7023：用于针对第一特征信息，计算钢轨图片得分进而确定钢轨图片中所包含的待检测目标的位置信息；
分类单元7024：用于基于Softmax函数和预设的钢轨缺陷检测模型，对待检测目标的位置信息进行缺陷分类，得到概率分布结果；
计算单元7025：用于根据非极大值抑制算法，对概率分布结果进行计算，得到钢轨表面识别结果，其中钢轨表面识别结果包括钢轨表面缺陷的类别和位置信息。
具体地，计算单元7025，包括提取单元70251、计算交并比单元70252、判断单元70253和循环单元70254，其中：
提取单元70251：用于计算概率分布结果中的所有候选框的分数，提取分数最高的边界框作为基准框；
计算交并比单元70252：用于计算基准框之外的每个候选框和基准框之间的交并比，其计算公式如下：
式中，为第i个候选框与基准框之间的交并比，A为基准框，为第i个候选框；
判断单元70253：用于判断交并比的值是否超过预设值，若超过，则预测为同一个目标，剔除交并比的值超过预设值的候选框；
循环单元70254：用于选取剩下所有候选框中分数最高的作为新的基准框，重复上述判断步骤，直到剔除所有的候选框，将剩余的候选框记作钢轨表面识别结果。
需要说明的是，关于上述实施例中的系统，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
实施例3
对应于上面的方法实施例，本实施例中还提供了一种基于无人机的钢轨表面缺陷检测设备，下文描述的一种基于无人机的钢轨表面缺陷检测设备与上文描述的一种基于无人机的钢轨表面缺陷检测方法可相互对应参照。
图3是根据示例性实施例示出的一种基于无人机的钢轨表面缺陷检测设备800的框图。如图3所示，该基于无人机的钢轨表面缺陷检测设备800包括：处理器801和存储器802。该基于无人机的钢轨表面缺陷检测设备800还包括多媒体组件803，I/O接口804，以及通信组件805中的一者或多者。
其中，处理器801用于控制该基于无人机的钢轨表面缺陷检测设备800的整体操作，以完成上述的基于无人机的钢轨表面缺陷检测方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该基于无人机的钢轨表面缺陷检测设备800的操作，这些数据例如可以包括用于在该基于无人机的钢轨表面缺陷检测设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘、鼠标或按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该基于无人机的钢轨表面缺陷检测设备800与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi、蓝牙、近场通信(Near FieldCommunication，简称NFC)、2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件805可以包括：Wi-Fi模块、蓝牙模块或NFC模块。
在一示例性实施例中，基于无人机的钢轨表面缺陷检测设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital SignalProcessing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的基于无人机的钢轨表面缺陷检测方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的基于无人机的钢轨表面缺陷检测方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器802，上述程序指令可由基于无人机的钢轨表面缺陷检测设备800的处理器801执行以完成上述的基于无人机的钢轨表面缺陷检测方法。
实施例4
相应于上面的方法实施例，本实施例中还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的一种基于无人机的钢轨表面缺陷检测方法可相互对应参照。
可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的基于无人机的钢轨表面缺陷检测方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种基于无人机的钢轨表面缺陷检测方法，其特征在于，包括：
利用无人机采集钢轨表面的图像信息以及图像信息所对应的第一钢轨位置信息；
根据深度学习算法，将图像信息和第一钢轨位置信息输入至预设的钢轨缺陷检测模型进行处理和判别，得到钢轨表面识别结果；
对钢轨表面识别结果进行缺陷判断，若存在缺陷，则根据缺陷类别对钢轨表面进行对应标记，得到标记信息，其中缺陷类别包括凸起、凹陷、断裂、形变和挪位；
发送标记信息以及标记信息所对应的第二钢轨位置信息至管理平台，进而完成缺陷维修；
所述根据深度学习算法，将图像信息和第一钢轨位置信息输入至预设的钢轨缺陷检测模型进行处理和判别，得到钢轨表面识别结果，其中包括：
对图像信息进行预处理，得到预处理结果，其中预处理包括将图像信息中的钢轨图片大小调整至预设的钢轨缺陷检测模型要求的尺寸；
将预处理结果中的钢轨图片输入至卷积层、激活函数和池化层的神经网络中进行训练，得到钢轨图片中的第一特征信息；其中，将调整过大小的钢轨图片通过卷积层、激活函数和池化层在神经网络中传递，从而逐步提取出图片中的重要特征，其中，卷积计算公式为：
式中，是输出特征图在的值，K是卷积核，I是输入特征图，m和n分别在卷积核的高度和宽度范围内变化；
其中，激活函数为：
式中，x为输入的像素值，为经过激活函数计算的像素输出值，为自然常数e的-x次幂；
其中，池化计算公式为：
式中，为池化输出在位置(x, y)的值，为输入特征图在位置(i, j)的值，R表示所有输入像素点位置的集合；
针对第一特征信息，计算钢轨图片得分情况，进而确定钢轨图片中所包含的待检测目标的位置信息；其中包括：第一特征信息为钢轨图像在经过多层特征循环提取后，通过神经网络算法对图像进行计算得分情况，确定钢轨图片中所包含的待检测目标的位置区域，其中计算公式如下：
式中，为前述激活函数；为预测框未经过激活函数计算的对象得分，数值较为发散；为经过激活函数计算的对象得分，数值被限定在0-1之间；当得分达到或超过预设值时，即表明检测到目标，同时使用逆卷积将此特征图坐标映射回原始图像坐标，计算公式为：
式中，为经过逆卷积运算后的位置信息，为上采样操作，I为当前特征图的位置信息，scale_factor为上采样的尺度因子；
基于Softmax函数和预设的钢轨缺陷检测模型，对待检测目标的位置信息进行缺陷分类，得到概率分布结果；其中包括：基于Softmax函数目标分类算法对每个预测框进行计算，神经网络根据已训练的钢轨缺陷检测模型预测待检测目标的位置信息所属缺陷类型的概率，将最后一个全连接层的输出转化为概率分布，其计算公式为：
式中，是类别i的预测概率，是类别i的输出，K是类别总数，j为从1到K的整数，为自然常数e的次幂；当某种类别的预测概率最大时，模型则认为检测到该类缺陷，即得到概率分布结果；
根据非极大值抑制算法，对概率分布结果进行计算，得到钢轨表面识别结果，其中钢轨表面识别结果包括钢轨表面缺陷的类别和位置信息；
所述根据非极大值抑制算法，对概率分布结果进行计算，得到钢轨表面识别结果，其中包括：
计算概率分布结果中的所有候选框的分数，提取分数最高的边界框作为基准框；
计算基准框之外的每个候选框和基准框之间的交并比，其计算公式如下：
式中，为第i个候选框与基准框之间的交并比，A为基准框，为第i个候选框；
判断交并比的值是否超过预设值，若超过，则预测为同一个目标，剔除交并比的值超过预设值的候选框；
选取剩下所有候选框中分数最高的作为新的基准框，重复上述判断步骤，直到剔除所有的候选框，将剩余的候选框记作钢轨表面识别结果，其中包括：使用非极大值抑制去除重复的或低概率的检测框，以确保最终结果中每个目标只生成一个最精确的检测框，进而得到缺陷的类别和位置；
其中，控制器通过发出信号指令来控制无人机的飞行轨迹、飞行姿态；接收云服务器的缺陷信息，控制喷码器进行喷码作业；其中，喷码器能根据控制器的指令在相应钢轨表面位置进行缺陷喷码标识，若钢轨表面识别结果中存在缺陷，云服务器则根据缺陷类别将不同的信号发送给控制器，喷码器接到相应的控制指令则在有缺陷的钢轨表面进行对应的喷码标记，云服务器给维护管理人员呈现钢轨表面缺陷图片信息、位置信息，维护人员按照给定的位置前往缺陷所定位置进行扫码维修；若不存在，则云服务器继续进行上述步骤进行循环计算，进而继续完成缺陷维修。
2.根据权利要求1所述的基于无人机的钢轨表面缺陷检测方法，其特征在于，所述利用无人机采集钢轨表面的图像信息以及图像信息所对应的第一钢轨位置信息，其中包括：
利用无人机沿巡检轨迹实时采集钢轨表面的待检测图像，其中无人机包括GPS、3D相机和激光位移传感器，其中3D相机用于采集待检测图像，激光位移传感器用于给3D相机提供光源；
对待检测图像进行图像处理，得到钢轨表面的彩色图像信息，将彩色图像信息记作图像信息；
根据GPS实时采集图像信息所对应的第一钢轨位置信息。
3.一种基于无人机的钢轨表面缺陷检测系统，基于如权利要求1-2中任意一项所述的基于无人机的钢轨表面缺陷检测方法，其特征在于，包括：
采集模块：用于利用无人机采集钢轨表面的图像信息以及图像信息所对应的第一钢轨位置信息；
识别模块：用于根据深度学习算法，将图像信息和第一钢轨位置信息输入至预设的钢轨缺陷检测模型进行处理和判别，得到钢轨表面识别结果；
标记模块：用于对钢轨表面识别结果进行缺陷判断，若存在缺陷，则根据缺陷类别对钢轨表面进行对应标记，得到标记信息，其中缺陷类别包括凸起、凹陷、断裂、形变和挪位；
检测模块：用于发送标记信息以及标记信息所对应的第二钢轨位置信息至管理平台，进而完成缺陷维修。
4.根据权利要求3所述的基于无人机的钢轨表面缺陷检测系统，其特征在于，所述采集模块，其中包括：
第一采集单元：用于利用无人机沿巡检轨迹实时采集钢轨表面的待检测图像，其中无人机包括GPS、3D相机和激光位移传感器，其中3D相机用于采集待检测图像，激光位移传感器用于给3D相机提供光源；
处理单元：用于对待检测图像进行图像处理，得到钢轨表面的彩色图像信息，将彩色图像信息记作图像信息；
第二采集单元：用于根据GPS实时采集图像信息所对应的第一钢轨位置信息。
5.根据权利要求3所述的基于无人机的钢轨表面缺陷检测系统，其特征在于，所述识别模块，其中包括：
预处理单元：用于对图像信息进行预处理，得到预处理结果，其中预处理包括将图像信息中的钢轨图片大小调整至预设的钢轨缺陷检测模型要求的尺寸；
训练单元：用于将预处理结果中的钢轨图片输入至卷积层、激活函数和池化层的神经网络中进行训练，得到钢轨图片中的第一特征信息；
确定单元：用于针对第一特征信息，计算钢轨图片得分情况，进而确定钢轨图片中所包含的待检测目标的位置信息；
分类单元：用于基于Softmax函数和预设的钢轨缺陷检测模型，对待检测目标的位置信息进行缺陷分类，得到概率分布结果；
计算单元：用于根据非极大值抑制算法，对概率分布结果进行计算，得到钢轨表面识别结果，其中钢轨表面识别结果包括钢轨表面缺陷的类别和位置信息。
6.根据权利要求5所述的基于无人机的钢轨表面缺陷检测系统，其特征在于，所述计算单元，其中包括：
提取单元：用于计算概率分布结果中的所有候选框的分数，提取分数最高的边界框作为基准框；
计算交并比单元：用于计算基准框之外的每个候选框和基准框之间的交并比，其计算公式如下：
式中，为第i个候选框与基准框之间的交并比，A为基准框，为第i个候选框；
判断单元：用于判断交并比的值是否超过预设值，若超过，则预测为同一个目标，剔除交并比的值超过预设值的候选框；
循环单元：用于选取剩下所有候选框中分数最高的作为新的基准框，重复上述判断步骤，直到剔除所有的候选框，将剩余的候选框记作钢轨表面识别结果。
7.一种基于无人机的钢轨表面缺陷检测设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至2任一项所述基于无人机的钢轨表面缺陷检测方法。
8.一种可读存储介质，其特征在于：所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至2任一项所述基于无人机的钢轨表面缺陷检测方法。
CN202410169968.0A 2024-02-06 2024-02-06 基于无人机的钢轨表面缺陷检测方法、系统、设备及介质 Active CN117705816B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410169968.0A CN117705816B (zh) 2024-02-06 2024-02-06 基于无人机的钢轨表面缺陷检测方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410169968.0A CN117705816B (zh) 2024-02-06 2024-02-06 基于无人机的钢轨表面缺陷检测方法、系统、设备及介质

Publications (2)

Publication Number Publication Date
CN117705816A CN117705816A (zh) 2024-03-15
CN117705816B true CN117705816B (zh) 2024-04-26

Family

ID=90162941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410169968.0A Active CN117705816B (zh) 2024-02-06 2024-02-06 基于无人机的钢轨表面缺陷检测方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN117705816B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120087846B (zh) * 2025-04-30 2025-10-03 重庆赛力斯凤凰智创科技有限公司 一种焊接质量检测方法、装置、电子设备及存储介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999054717A2 (en) * 1998-04-17 1999-10-28 Cae Electronic Ltd. Cae Electronique Ltee Method and apparatus for identification of probable defects in a workpiece
CN105501248A (zh) * 2016-02-16 2016-04-20 株洲时代电子技术有限公司 一种铁路线路巡检系统
CN108921846A (zh) * 2018-07-17 2018-11-30 北京航空航天大学 一种基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法
CN108960134A (zh) * 2018-07-02 2018-12-07 广东容祺智能科技有限公司 一种巡线无人机影像标注及智能识别方法
CN109409404A (zh) * 2018-09-13 2019-03-01 西南交通大学 一种基于深度学习的高铁接触网防风拉线故障检测方法
CN110111328A (zh) * 2019-05-16 2019-08-09 上海中认尚科新能源技术有限公司 一种基于卷积神经网络的风力发电机叶片裂纹检测方法
CN111126287A (zh) * 2019-12-25 2020-05-08 武汉大学 一种遥感影像密集目标深度学习检测方法
CN111242891A (zh) * 2019-12-27 2020-06-05 北京交通大学 一种钢轨表面缺陷识别分类方法
CN111724342A (zh) * 2020-05-18 2020-09-29 天津大学 一种用于超声影像中甲状腺微小结节的检测方法
CN112067632A (zh) * 2020-06-04 2020-12-11 西南交通大学 一种电力设备检测云平台及检测方法
CN113112501A (zh) * 2021-05-11 2021-07-13 上海市东方海事工程技术有限公司 一种基于深度学习的车载轨道巡检装置及方法
CN114384075A (zh) * 2021-12-06 2022-04-22 西安理工大学 基于三维激光扫描的轨道板缺陷在线检测系统及检测方法
CN114693617A (zh) * 2022-03-17 2022-07-01 中山大学 一种铁路钢轨缺陷检测方法、系统、设备及存储介质
CN115731210A (zh) * 2022-11-29 2023-03-03 国网浙江省电力有限公司信息通信分公司 基于多角度信息的小样本目标检测方法及相关设备
CN115937492A (zh) * 2022-12-12 2023-04-07 国网四川省电力公司电力科学研究院 一种基于特征识别的变电设备红外图像识别方法
CN116228780A (zh) * 2023-05-10 2023-06-06 江苏森标科技有限公司 基于计算机视觉的硅片缺陷检测方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2017300535B2 (en) * 2016-07-20 2020-06-11 Ball Corporation System and method for aligning an inker of a decorator
US10657424B2 (en) * 2016-12-07 2020-05-19 Samsung Electronics Co., Ltd. Target detection method and apparatus
CN113496136B (zh) * 2020-03-18 2024-08-13 中强光电股份有限公司 无人机及其影像识别方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999054717A2 (en) * 1998-04-17 1999-10-28 Cae Electronic Ltd. Cae Electronique Ltee Method and apparatus for identification of probable defects in a workpiece
CN105501248A (zh) * 2016-02-16 2016-04-20 株洲时代电子技术有限公司 一种铁路线路巡检系统
CN108960134A (zh) * 2018-07-02 2018-12-07 广东容祺智能科技有限公司 一种巡线无人机影像标注及智能识别方法
CN108921846A (zh) * 2018-07-17 2018-11-30 北京航空航天大学 一种基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法
CN109409404A (zh) * 2018-09-13 2019-03-01 西南交通大学 一种基于深度学习的高铁接触网防风拉线故障检测方法
CN110111328A (zh) * 2019-05-16 2019-08-09 上海中认尚科新能源技术有限公司 一种基于卷积神经网络的风力发电机叶片裂纹检测方法
CN111126287A (zh) * 2019-12-25 2020-05-08 武汉大学 一种遥感影像密集目标深度学习检测方法
CN111242891A (zh) * 2019-12-27 2020-06-05 北京交通大学 一种钢轨表面缺陷识别分类方法
CN111724342A (zh) * 2020-05-18 2020-09-29 天津大学 一种用于超声影像中甲状腺微小结节的检测方法
CN112067632A (zh) * 2020-06-04 2020-12-11 西南交通大学 一种电力设备检测云平台及检测方法
CN113112501A (zh) * 2021-05-11 2021-07-13 上海市东方海事工程技术有限公司 一种基于深度学习的车载轨道巡检装置及方法
CN114384075A (zh) * 2021-12-06 2022-04-22 西安理工大学 基于三维激光扫描的轨道板缺陷在线检测系统及检测方法
CN114693617A (zh) * 2022-03-17 2022-07-01 中山大学 一种铁路钢轨缺陷检测方法、系统、设备及存储介质
CN115731210A (zh) * 2022-11-29 2023-03-03 国网浙江省电力有限公司信息通信分公司 基于多角度信息的小样本目标检测方法及相关设备
CN115937492A (zh) * 2022-12-12 2023-04-07 国网四川省电力公司电力科学研究院 一种基于特征识别的变电设备红外图像识别方法
CN116228780A (zh) * 2023-05-10 2023-06-06 江苏森标科技有限公司 基于计算机视觉的硅片缺陷检测方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Jia,Z 等.Fabric defect detection based on transfer learning and imoproved faster R-CNN.《JOURNAL OF ENGINEERED FIBERS AND FABRICS》.2022,第17卷1177. *
基于改进YOLO V3算法的轨道扣件缺陷检测;韦若禹 等;《铁道标准设计》;20200525;第64卷(第12期);30-36 *
改进型CenterNet的高铁无砟轨道板表面裂缝检测算法;吴铭权 等;《电子测量技术》;20230417;第46卷(第10期);123-128 *

Also Published As

Publication number Publication date
CN117705816A (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
EP4451183A1 (en) Charging load probability prediction system and method based on non-intrusive detection
US10628890B2 (en) Visual analytics based vehicle insurance anti-fraud detection
Zhang et al. Integrated APC-GAN and AttuNet framework for automated pavement crack pixel-level segmentation: A new solution to small training datasets
KR102346676B1 (ko) 딥러닝 기반의 시설물 손상영상 분류를 활용한 손상도 생성방법
CN109993734A (zh) 用于输出信息的方法和装置
CN115909092B (zh) 轻量化输电通道隐患测距方法及隐患预警装置
CN110929795B (zh) 高速焊线机焊点快速识别与定位方法
CN110569843A (zh) 一种矿井目标智能检测与识别方法
CN110909657A (zh) 一种隧道表观病害图像识别的方法
CN116152863B (zh) 一种人员信息识别方法、装置、电子设备及存储介质
CN117705816B (zh) 基于无人机的钢轨表面缺陷检测方法、系统、设备及介质
CN114565753A (zh) 一种基于改进YOLOv4网络的无人机小目标识别方法
CN118864404B (zh) 钢结构桥梁腐蚀与裂缝病害测量方法及系统
Du et al. Automated intelligent measurement of cracks on bridge piers using a ring-climbing vision scanning operation robot
CN118071983A (zh) 基于深度学习和双目视觉的电力作业人员识别方法及系统
CN117541943A (zh) 基于LiDAR传感器的无人机检测道路病害技术方法
CN114419451B (zh) 电梯内外识别方法、装置、电子设备及存储介质
CN116935174A (zh) 一种多模态融合的金属工件表面缺陷检测方法和系统
CN115147248A (zh) 一种基于大数据的旅游信息咨询系统和方法
CN117557933A (zh) 一种基于深度学习的电动车违章识别方法
CN113505704A (zh) 图像识别的人员安全侦测方法、系统、设备及存储介质
CN117952925A (zh) 一种基于深度学习的全流程桥梁检测方法
CN119027837A (zh) 基于无人机图像的铁路环境隐患识别与风险等级评估方法
Yang et al. Road damage detection and classification based on multi-scale contextual features
CN116091976A (zh) 一种站房缺陷识别检测方法、系统、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant