CN119169207B - 一种基于深度学习的车载监控动态线性雷达墙可视化方法 - Google Patents
一种基于深度学习的车载监控动态线性雷达墙可视化方法 Download PDFInfo
- Publication number
- CN119169207B CN119169207B CN202411672637.5A CN202411672637A CN119169207B CN 119169207 B CN119169207 B CN 119169207B CN 202411672637 A CN202411672637 A CN 202411672637A CN 119169207 B CN119169207 B CN 119169207B
- Authority
- CN
- China
- Prior art keywords
- radar
- wall
- radar wall
- vehicle
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本申请提供的一种基于深度学习的车载监控动态线性雷达墙可视化方法，构建的智能车载监控网络，基于Resnet模型构建智能车载监控网络的主干网，并且在主干网中引入了MAAM模块和注意力机制；通过MAAM模块可以准确获取到输入图像的特征、减少计算量并且防止过拟合，提高智能车载监控网络的识别准确率；通过在主干网Resnet的浅层卷积中引入了通道注意力机制，在深层卷积中引入了空间注意力机制，确保智能车载监控网能更关注于输入图像中的轮廓特征信息和位置特征信息，使智能车载监控网更适用于车载监控镜头采集的图像中的触发物的识别。
Description
技术领域
本发明涉及智能交通技术领域，具体为一种基于深度学习的车载监控动态线性雷达墙可视化方法。
背景技术
随着智能交通在全球的广泛应用，无人驾驶技术为汽车行业带来巨大变化，而高级驾驶辅助系统（ADAS）是实现无人驾驶的关键技术之一，可以充分保障汽车行驶安全。车载毫米波雷达是 ADAS 重要的传感器设备，在汽车交通预警、盲点检测、自适应巡航控制等方面发挥不可替代的作用。车载毫米波雷达根据探测距离可分为长距雷达（LRR）、中距雷达（MRR）和短距雷达（SRR），根据使用频率可分为 24GHz 窄带雷达（24.00-24.25GHz）、24GHz超宽带雷达（24.25-24.65GHz）、77GHz 雷达（76-77GHz）和 79GHz 雷达（77-81GHz）。其具体应用方向为：将雷达、视觉及数据融合等软件结合起来，实现泊车辅助、变道辅助、前方碰撞预警等功能。而这些功能的实现都需要基于车载雷达测距技术。
公开号为CN117289281B的专利为本司正在使用的一项专利技术，其公开了一种基于ADAS-DMRW的车载监控智能可视化方法，能够根据雷达的探测距离，以2D的方式显示雷达墙，且可以显示出雷达墙的安全距离和报警距离。然而在实际使用中，发现基于2D方式显示的雷达墙在用户通过虚拟相机更换雷达墙的观察视角时，如图1所示放大车头进入车头微视的视角，图中红色线状结构为俯视视角下的2D雷达墙，车头微视视角下的雷达墙显示效果并不理想；同时基于实际的市场需求，除了需要基于动态雷达墙显示车辆和障碍物之间的距离变化之外，还需要提示具体的障碍物类型，以便驾驶员能够更准确地控制自己的驾驶行为。而现有的车载监控智能可视化方法无法对障碍物类型进行区分。
发明内容
为了解决现有的车载监控智能可视化方法无法其2d雷达墙在更换观察视角时效果不理想且对障碍物类型进行区分的问题，本发明提供一种基于深度学习的车载监控动态线性雷达墙可视化方法，其可以基于3D方式动态显示雷达墙且可以基于动态雷达墙显示障碍物和车辆之间的距离，同时实现对动态线性雷达墙触发物的识别。
本发明的技术方案是这样的：一种基于深度学习的车载监控动态线性雷达墙可视化方法，其特征在于，其包括以下步骤：
S1：基于线性雷达墙显示方法构建3D效果的动态线性雷达墙；
S2：基于深度学习网络模型构建智能车载监控网络；
所述智能车载监控网络中，包括基于Resnet模型构建的主干网，并且在主干网中引入了MAAM模块和注意力机制；
所述智能车载监控网络包括依次连接的：输入层、MAAM模块、第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块、全局平均池化层、全连接层和输出层；
每个卷积模块包括4个连续的卷积层；每个卷积模块中引入2个残差块；
所述第一卷积模块中，在浅层卷积中引入了通道注意力机制，在深层卷积中引入了空间注意力机制；
所述MAAM模块包括：最大池化操作Maxpool和平均池化操作avgpool，其表达公式为：
；
其中，α和β为两个超参系数；
S3：基于车身前后的镜头采集多组业务场景图像；
所述业务场景图像包括不同触发物触发雷达墙的图像；
S4：对所述业务场景图像进行预处理得到训练数据集；
基于训练数据集对所述智能车载监控网络进行训练，得到训练后的所述智能车载监控网络；
S5：在真实场景中采集多组标定图像，对训练后的所述智能车载监控网络进行可视化检测；
循环步骤S3~S5，直至得到训好的所述智能车载监控网络；
S6：使用训练好的所述智能车载监控网络设置在智能车载监控系统中，基于所述动态线性雷达墙实现对障碍物的可视化监测。
其进一步特征在于：
所述第一卷积模块中，在浅层卷积中引入了通道注意力机制，在深层卷积中引入了空间注意力机制；
所述通道注意力机制使网络模型更关注于轮廓特征信息，其输出为Mc(F)：
；
其中σ为 Sigmoid 激活函数，AvgPool(F)表示将平均池化和MaxPool(F)最大池化结果沿通道轴拼接起来；MLP 表示多层感知机制；
所述空间注意力机使网络模型更关注于图像或视频数据中的空间位置信息，其输出为Ms(F)：
；
其中σ为 Sigmoid 激活函数，f^(7*7)为7*7的卷积操作，[AvgPool(F);MaxPool(F)]表示将平均池化和最大池化结果沿通道轴拼接起来；
所述触发物包括：路牙石、草丛、树木、路障、动物、人、墙体、机动车、非机动车和其他障碍物；
所述动态线性雷达墙以雷达墙圆弧线为底线，立体显示3D雷达墙渐变效果，具体显示方法为：
构建自适应配置模块，所述自适应配置模块基于雷达墙圆弧线，通过透视投影矩阵P，结合现实雷达墙的虚拟相机位置，以及配合虚拟相机俯仰角度变化来动态显示3D雷达墙；
所述虚拟相机的视角为模拟驾驶员视角观察雷达墙的视角；
透视投影矩阵P为：
；
其中，l、b、n为虚拟相机所见物体的近平面左下角的XYZ点坐标，r、t、f为虚拟相机所见物体的远平面右上角的XYZ点坐标；γ为所述智能车载监控网络判断触发雷达墙物体后，自适应配置的值，γ∈[0,1]；
所述雷达墙圆弧线的计算方法包括以下步骤：
a1：构建可视化雷达墙；
所述可视化雷达墙包括：分别位于待计算车辆的车头和车尾方向的两组雷达墙；每一组雷达墙包括：互相平行的一个最远雷达墙和一个最近雷达墙；
所述最远雷达墙和所述最近雷达墙都分别包括N个圆弧线段状的雷达墙圆弧段；
将雷达墙圆弧段的两个端点通过直线连接，可以得到一个直线段，记作：雷达墙段；
所述最远雷达墙和所述最近雷达墙上的任意一个点都能在可视化雷达墙中找到基于X轴和Y轴的对称点；
当待计算车辆与障碍物之间距离为最远距离时，显示所述最远雷达墙；当待计算车辆与障碍物之间距离为所述最近距离时，显示所述最近雷达墙；当待计算车辆由最远距离逐渐向障碍物接近时，显示动态雷达墙；
每个雷达墙上的雷达墙段是等长的，相邻的雷达墙段之间首位相连；每一个雷达墙段包括表示其起止的两个坐标点，雷达墙段坐标点构成所述最远雷达墙和所述最近雷达墙的坐标；
每个车载雷达分别在所述最远雷达墙和所述最近雷达墙上有一个对应的雷达墙段，并负责雷达和雷达墙段之间的扫描；
所述最近雷达墙满足以下条件：
设，所述最近雷达墙两个端点分别与坐标原点的连线，两个连线的夹角即为所述雷达墙FOV，则所述最近雷达墙的一个端点与其最近的雷达的连线与X轴的夹角α为雷达墙FOV的一半；
最近雷达墙的两个端点分别与其距离最近的雷达之间的距离为所述最短安全距离n1，所述雷达墙与X轴的交点与距离X轴最近的雷达之间的距离为所述最短安全距离n1；
所述最远雷达墙满足以下条件：
最远雷达墙的两个端点分别与其距离最近的雷达之间的距离为所述最远安全距离f1，所述雷达墙与X轴的交点与距离X轴最近的雷达之间的距离为所述最远安全距离f1；
a2：获取待计算车辆上的安装的车载雷达个数，假设待计算车辆上安装的车载雷达为2N个；
为每个车载雷达编号：将待计算车辆上的雷达，从车头的一侧开始，以顺时针方向进行顺序编号，安装在车头的车载雷达为：1~N，安装在车尾的车载雷达为：N+1......2N；
编号后的雷达对应的最近雷达墙上的雷达墙段的头尾两个端点的坐标为：
[NRi（NRXi,NRYi）、NLi（NLXi,NLYi）]，（NRXi,NRYi）为线段的头坐标，（NLXi,NLYi）为线段的尾坐标；其中i为雷达序列号，取值为1、2.....2N；
每个雷达对应的最远雷达墙上的雷达墙段的头尾两个端点的坐标为：
[FRi（FRXi,FRYi）、FLi（FLXi,FLYi）]，其中i取值为1、2.....2N；
a3：基于所述车载雷达数目、所述雷达墙FOV和所述雷达探测距离求，确认最远安全距离f1和最近安全距离n1；
a4：根据已知条件雷达墙FOV、最短安全距离n1和最远安全距离f1，构建数据关系，在N有不同取值时，根据数学关系计算得到所有的所述雷达墙圆弧段对应的雷达墙段上面每个点的坐标；
a5：根据每个所述雷达墙段上点的坐标和每个所述雷达墙圆弧线的圆心角，计算得到雷达墙圆弧线；
步骤a5中，当N=4时，雷达墙圆弧线的计算方法如下：
b1：待计算车辆上安装的雷达包括：安装在车头的雷达A、B、C、D和安装在车尾的雷达D’、 C’、 B’、A’，对应的序号为1~8；
通过计算得到下述点坐标：
最近雷达墙对应的雷达墙段的端点坐标：
[（NRXi,NRYi）、（NLXi,NLYi）]，i取值为1、2.....8；
对应的最远雷达墙对应的雷达墙段的端点坐标：
[（FRXi,FRYi）、（FLXi,FLYi）]，其中i取值为1、2.....8；
车载雷达坐标：A：（a1,b1），B：（a2,b2）；
b2：确认每个所述雷达墙圆弧线的圆心角；
b3：根据车载雷达和雷达墙的位置关系，建立如下关系式：
NRY1 = k1*NRX1 + c1；
FRY1 = k2*FRX1 + c2；
通过求解得出k1、k2、c1和c2的值；
b4：求解雷达墙圆弧线长度；
设：点J为雷达墙段[NR1（NRX1,NRY1）、NL1（NLX1,NLY1）]的中点，则有：
点J的坐标为： ((NLX1+NRX1)/2,(NRY1+NLY1)/2)；
设，点O为雷达墙圆弧线[NR1,NL1]的圆心，则连接点J和点O得到直线y3：y3=k3*x+c3；
基于已知条件：中垂线上的点到两端的点距离相同，以及每个所述雷达墙圆弧线的圆心角已知；
根据数学关系求解得到：线段OJ、线段ONL1、线段ONR1与线段NL1NR1；
基于雷达墙段的端点坐标为已知条件，通过计算得到k3和c3的值；
b5：通过直线y3=k3*x+c3、J点坐标、线段OJ的距离，计算得到点O的坐标；
再根据圆心O的坐标，及圆的半径ONL1，计算得到雷达墙圆弧线[NL1，NR1]的坐标和长度；
步骤b5中，假设每个所述雷达墙圆弧线的圆心角为60°，则有以下关系：
线段ONL1=线段ONR1=线段NL1NR1；
则，基于数学关系计算得到：
k3=-1/(（NRY1-NLY1）/(NRX1-NLX1))=(NLX1-NRX1)/(NRY1-NLY1)；
c3=(NRY1+NLY1)/2-((NLX1-NRX1)*(NLX1+NRX1))/2(NRY1-NLY1)；
y3=((NLX1-NRX1)/(NRY1-NLY1))*x+(NRY1+NLY1)/2-((NLX1-NRX1)*(NLX1+NRX1))/2(NRY1-NLY1)。
本申请提供的一种基于深度学习的车载监控动态线性雷达墙可视化方法，其构建的智能车载监控网络，基于Resnet模型构建智能车载监控网络的主干网，并且在主干网中引入了MAAM模块和注意力机制；通过MAAM模块可以准确获取到输入图像的特征、减少计算量并且防止过拟合，提高智能车载监控网络的识别准确率；通过在主干网Resnet的浅层卷积中引入了通道注意力机制，在深层卷积中引入了空间注意力机制，确保智能车载监控网能更关注于输入图像中的轮廓特征信息和位置特征信息，使智能车载监控网更适用于车载监控镜头采集的图像中的触发物的识别；本方法基于线性雷达墙显示方法构建动态线性雷达墙，显示障碍物和车辆之间的距离，在此基础之上基于智能车载监控网络可以准确地识别出动态线性雷达墙触发物，极大地提高了车载动态雷达墙的可用性。
附图说明
图1为现有技术中2D雷达墙视角更换效果对比图；
图2为本申请中的智能车载监控网络模型图；
图3为MAAM模块结构图；
图4为残差块结构图；
图5为前四后四雷达的线性雷达墙设计图；
图6为前三后三雷达的线性雷达墙设计图；
图7为前五后五雷达的线性雷达墙设计图；
图8为本申请中3D视图雷达墙效果图示例；
图9为不同触发物触发智能车载监控网络检测效果对比图；
图10针对不同高度触发物本申请中的3D雷达墙的显示效果对比图。
具体实施方式
本申请包括一种基于深度学习的车载监控动态线性雷达墙可视化方法，其包括以下步骤。
S1：基于线性雷达墙显示方法构建3D效果的动态线性雷达墙。
S2：基于深度学习网络模型构建智能车载监控网络。
本申请基于深度学习的智能车载监控网络使用的主干网络为Resnet-MAAM。其中激活函数为RELU函数，并且为了提升识别准确度，在浅层卷积中引入了通道注意力机制(channel attention module)，在深层卷积中引入了空间注意力机制(Spatialattentionmodule)，形成新的网络结构模型。
如图1所示，智能车载监控网络包括依次连接的：输入层、MAAM模块、第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块、全局平均池化层、全连接层和输出层。
每个卷积模块包括4个连续的卷积层；每个卷积模块中引入2个残差块，每个残差块由两个连续的卷积层和一条跳跃连接构成。
第一卷积模块中，在浅层卷积中引入了通道注意力机制，在深层卷积中引入了空间注意力机制。
将车载监控系统接收到的监控图片输入到图1所示智能车载监控网络模型中，进行触发物的种类识别，具体包括以下步骤：
输入层：接收大小为224*224的RGB图像；
卷积层：4个卷积层，每个卷积层使用3*3的卷积核和Relu激活函数，提取图像的局部特征；
残差块：8个残差块，每个残差块由两个卷积层和一条跳跃连接构成，用于解决梯度爆炸和梯度消失的问题；
全局平均池化层：对特征图进行全局平均池化，将特征图转化为一维向量；
全连接层：包含一个大小为1000的全连接层，用于分类输出；
输出层：使用softmax激活函数，生成触发物类别的概率分布；本实施例中，将所有触发物分为10类，具体包括：人、机动车、路牙石、草丛、树木、墙体、路障、非机动车、动物和其他障碍物。
图1中，MAA-pool-Moudle为上文介绍的MAAM模块；RELU为激活函数，其表达式为：f(x)=max(0,x),其中x是输入值，f(x)是激活函数的输出，具备非线性性质、稀疏性、计算高效和缓解梯度消失问题。
Conc7*7：7*7的卷积;64、128、256、512为通道数；112、56、28、14、7为图片大小，例：112*112、56*56；stride=2/1：步长为2/1;padding=0:填充为0。
FC为全连接层，512与平均池化层的通道数保持一致，1000为全连接层大小。
avgpool:平均池化层doublepool:双向池化层；通过池化层减少参数。
如图2所示，MAAM模块包括：最大池化操作Maxpool和平均池化操作avgpool，图中左侧2*2的四色为Maxpool；蓝色部分为不同通道的特征图；右侧的1*4四色模块为Avgpool；标准Avgpool为方形即n*n，针对于特定的数据集合，采取变形的Avgpool，1*n2与正常的Maxpool进行加权平均，能够准确获取到图像的特征、减少计算量并且防止过拟合，使训练得到的效果更佳。
MAAM模块表达公式为：
；
其中，α和β为两个超参系数。本实施例中α=0.6和β=0.4进行训练，得出结果为最优。
本申请中，在Resnet模型中引入MAAM; MAAM通过计算区域内的平均值，能够更好地保持特征的统计特性，使得模型对特征的微小变化更加鲁棒，适用于需要保持特征稳定性的场景，由于MAAM不涉及参数的选择，它在训练过程中能够更好地防止过拟合，提高模型的泛化能力；同时MAAM平滑特征图，减少噪声的影响，使得特征更加平滑和连续；MAAM通过选择区域内的最大值，能够更好地提取显著的局部特征，适用于需要强调显著特征的场景，以及因为MAAM选择最大值计算，可以显著减少后续层的计算量，提高模型的计算效率；MAAM引入了非线性特性，有助于模型学习更复杂的特征表示。
第一卷积模块中，在浅层卷积中引入了通道注意力机制，在深层卷积中引入了空间注意力机制；
通道注意力机制使网络模型更关注于轮廓特征信息，其输出为Mc(F)：
；
其中σ为 Sigmoid 激活函数，AvgPool(F)表示将平均池化和MaxPool(F)最大池化结果沿通道轴拼接起来；MLP 表示多层感知机制；
空间注意力机使网络模型更关注于图像或视频数据中的空间位置信息，其输出为Ms(F)：
；
其中σ为 Sigmoid 激活函数，f^(7*7)为7*7的卷积操作，[AvgPool(F);MaxPool(F)]表示将平均池化和最大池化结果沿通道轴拼接起来。
残差块结构如图3所示，图中，Identity为恒等映射，F(x)为残差，其中weightlayer为普通卷积，relu为激活函数；ResNet模型中，允许某一层的输出直接跳过一个或者多个层，连接到后续层的输入，确保某些层不做任何有意义的变化，却仍然能够传递浅层的信息，同时不会对梯度产生过多损失。
残差块表达方式为：
H(x)=F(x)+x；
其中，H(x)为观测值；x为估计值，为跳跃连接，上一层输出的特征应声；F(x)为残差；
当F(x)=0时，构成了恒等映射H(x)=x；确保更容易地拟合残差。
S3：基于车身前后的镜头采集多组业务场景图像；
业务场景图像包括不同触发物触发雷达墙的图像。
具体而言，在不同时间、不同地点的不同车内，利用车身前后的镜头采集多组业务场景图像，图像中包含人走动触发雷达墙的图像、动静态车辆触发雷达墙的图像、路障等其他触发雷达墙的图像。对图像中的人、车、路障等其他触发雷达墙的区域进行标注，然后进行预处理（随即增强）操作，包括resize、水平和垂直方向随机平移、随机旋转、随机色调变换、随机亮度变换、随机对比度变换、以及随机添加mask等（模拟遮挡和污渍）。
由于训练的场景输入图片大小为1920*1536*3，而Resnet18输入为224*224*3，仅在代码中使用resize操作即可将场景图片resize到224*224*3大小。
S4：对业务场景图像进行预处理得到训练数据集；
基于训练数据集对智能车载监控网络进行训练，得到训练后的智能车载监控网络。
具体的训练过程中，通过反向传播算法，利用Adam优化器进行快速迭代收敛。其中的损失函数采用交叉熵损失函数：
；
epcho为100，即训练100轮；通过训练后的准确度，设置业务逻辑，区分10类触发物。
S5：在真实场景中采集多组标定图像，对训练后的智能车载监控网络进行可视化检测；
循环步骤S3~S5，直至得到训好的智能车载监控网络。
S6：使用训练好的智能车载监控网络设置在智能车载监控系统中，基于动态线性雷达墙实现对障碍物的可视化监测。
本方法适用于复杂背景、标准和非标准、畸变和非畸变等多种场景下的雷达墙触发物的识别上。实际场景中可以根据触发物识别结果添加文字和语音的警告信息，提醒驾驶员：警告，车辆某个方向有某个障碍物，请注意观察周围环境。基于智能车载监控网络对雷达触发物识别在真实场景中的应用示例如图9所示，当触发物为人时，警告信息中会提示：车辆后方有人；当触发物为机动车时，警告信息中会提示车辆后方有机动车；当触发物为树木时，提示信息中会提示：车辆后方有树木。
本申请中的动态线性雷达墙是基于多个圆弧段首尾相连构成弧形雷达墙。而每个圆弧段的两个端点连接起来为一个直线段，每个雷达墙上包括多个圆弧段，即每个雷达墙对应多个首尾相连的直线段，这些直线段通过现有的任何一种求解直线段型雷达墙的算法都可以求得。本方法在直线段的基础上继续计算可以得到每个圆弧段对应的圆弧线的点的坐标，进而得到弧形的雷达墙。本实施例中，圆弧段构成的弧形雷达墙是在本司现有的ADAS-DMRW算法实现的2D雷达墙基础上，进一步改进后得到的3D动态雷达墙。
动态线性雷达墙以雷达墙圆弧线为底线，立体显示3D雷达墙渐变效果，具体显示方法为：
构建自适应配置模块，先计算出雷达墙圆弧线的具体坐标，使用自适应配置模块基于雷达墙圆弧线，通过透视投影矩阵P，结合现实雷达墙的虚拟相机位置，以及配合虚拟相机俯仰角度变化来动态显示3D雷达墙。其中，虚拟相机的视角为模拟驾驶员视角观察雷达墙的视角。
本申请中的透视投影矩阵P为：
；
具体实现时，可根据实车数据进行配置l、b、n、r、t、f、虚拟相机与实际物体的距离、虚拟相机的俯仰角；其中，l、b、n为虚拟相机所见物体的近平面左下角的XYZ点坐标，r、t、f为虚拟相机所见物体的远平面右上角的XYZ点坐标；通过获取物体的近平面左下角和远平面右上角，结合虚拟相机位置及虚拟相机俯仰角的配置，可调整出雷达墙效果优的参数；γ为智能车载监控网络Resnet-MAAM判断触发雷达墙物体后，自适应配置的值，γ∈[0,1]。通过对透视投影矩阵的系数修改，可使雷达墙的显示效果更真实、准确度更优。
本申请中对雷达墙在视觉效果显示方面进行优化，通常的矩阵有透视投影矩阵与正交投影矩阵，根据计算的线性雷达墙点坐标，使用正交投影矩阵转为屏幕中显示的坐标后，显示效果较差，且在微视视角下，达不到立体效果，具体如图1所示；使用透视投影矩阵将计算的线性雷达墙点坐标转换为屏幕中显示的后，显示效果相较于正交投影矩阵更优化一些，但微视视角下，立体效果仍然不明显，因此本申请根据Resnet-MAAM网络判断触发雷达墙物体后，自适应配置的值，对透视矩阵P进行优化，可使微视视角下的雷达墙效果更好。
具体的γ的设置方法为，根据触发物的高度变化，对每种触发物对应的γ值进行设置。本实施例中，将0~1进行10等分，基于：路牙石、草丛、树木、路障、动物、人、墙体、机动车、非机动车、其他障碍物的顺序，为每种触发物对应的γ值进行赋值，比如：γ人=0.1，γ机动车=0.2...... γ其他障碍物=1，通过γ对透视投影矩阵进行优化，使3D雷达墙的视角变化效果与触发物的种类更加适配，进而改善了3D雷达墙的显示效果。具体如图10所示为针对不同的触发物本申请中的3D雷达墙的显示效果对比图。图中对比了触发物为路牙石和墙体的两种效果，可以看到红色的雷达墙的效果有着明显的显示差别。车头微视视角下，为了让驾驶员能够更清晰的看到盲区触发雷达墙的物体，因此本方法中针对不同中类的触发物设计了高度不同的雷达墙效果；用以提示驾驶员；当看不清的时候，可以切换其他视角进一步确认触发的物体，避免因为路牙石比较低的物体剐蹭车辆的问题发生。
具体的雷达墙圆弧线的计算方法包括以下步骤。
a1：构建可视化雷达墙。如图5、图6、图7所示，本申请中的雷达墙具备以下特征：
可视化雷达墙包括：分别位于待计算车辆的车头和车尾方向的两组雷达墙；每一组雷达墙包括：互相平行的一个最远雷达墙和一个最近雷达墙；
最远雷达墙和最近雷达墙都分别包括N个圆弧线段状的雷达墙圆弧段；
将雷达墙圆弧段的两个端点通过直线连接，可以得到一个直线段，记作：雷达墙段；
最远雷达墙和最近雷达墙上的任意一个点都能在可视化雷达墙中找到基于X轴和Y轴的对称点；
当待计算车辆与障碍物之间距离为最远距离时，显示最远雷达墙；当待计算车辆与障碍物之间距离为最近距离时，显示最近雷达墙；当待计算车辆由最远距离逐渐向障碍物接近时，显示动态雷达墙；
每个雷达墙上的雷达墙段是等长的，相邻的雷达墙段之间首位相连；每一个雷达墙段包括表示其起止的两个坐标点，雷达墙段坐标点构成最远雷达墙和最近雷达墙的坐标；
每个车载雷达分别在最远雷达墙和最近雷达墙上有一个对应的雷达墙段，并负责雷达和雷达墙段之间的扫描；
最近雷达墙满足以下条件：
设，最近雷达墙两个端点分别与坐标原点的连线，两个连线的夹角即为雷达墙FOV，则最近雷达墙的一个端点与其最近的雷达的连线与X轴的夹角α为雷达墙FOV的一半；雷达墙FOV：为预设的雷达墙覆盖的水平探测范围角度；
最近雷达墙的两个端点分别与其距离最近的雷达之间的距离为最短安全距离n1，雷达墙与X轴的交点与距离X轴最近的雷达之间的距离为最短安全距离n1；
最远雷达墙满足以下条件：
最远雷达墙的两个端点分别与其距离最近的雷达之间的距离为最远安全距离f1，雷达墙与X轴的交点与距离X轴最近的雷达之间的距离为最远安全距离f1。
a2：获取待计算车辆上的安装的车载雷达个数，假设待计算车辆上安装的车载雷达为2N个；
为每个车载雷达编号：将待计算车辆上的雷达，从车头的一侧开始，以顺时针方向进行顺序编号，安装在车头的车载雷达为：1~N，安装在车尾的车载雷达为：N+1......2N；
编号后的雷达对应的最近雷达墙上的雷达墙段的头尾两个端点的坐标为：
[NRi（NRXi,NRYi）、NLi（NLXi,NLYi）]，（NRXi,NRYi）为线段的头坐标，（NLXi,NLYi）为线段的尾坐标；其中i为雷达序列号，取值为1、2.....2N；
每个雷达对应的最远雷达墙上的雷达墙段的头尾两个端点的坐标为：
[FRi（FRXi,FRYi）、FLi（FLXi,FLYi）]，其中i取值为1、2.....2N。
a3：基于车载雷达数目、雷达墙FOV和雷达探测距离求，确认最远安全距离f1和最近安全距离n1。
a4：根据已知条件雷达墙FOV、最短安全距离n1和最远安全距离f1，构建数据关系，在N有不同取值时，根据数学关系计算得到所有的雷达墙圆弧段对应的雷达墙段上面每个点的坐标；
构建的数据关系，如下：
点NR1（NRX1,NRY1）与坐标原点的连线，记作：Fo1；
点NL1（NLXN,NLYN）与坐标原点的连线，记作：FoN；
Fo1与FoN之间的夹角为雷达墙FOV，记作：角Fov；
点NR1（NRX1,NRY1）与雷达A（a1,b1）的连线与X轴的夹角为α；则有关系：α=Fov/2；
根据雷达墙FOV，构建数据关系：
点NR1（NRX1,NRY1）与坐标原点的连线，记作：Fo1；
点NL1（NLXN,NLYN）与坐标原点的连线，记作：FoN；
Fo1与FoN之间的夹角为雷达墙FOV，记作：角Fov；
点NR1（NRX1,NRY1）与雷达A（a1,b1）的连线与X轴的夹角为α；则有关系：α=Fov/2；
根据最短安全距离n1和最远安全距离f1构建数据关系：
x轴正方向的最近雷达墙的两个端点分别为：点（NRX1,NRY1）和点（NLXN,NLYN）；
点NR1（NRX1,NRY1）和雷达1的距离记作：NearD1；
点NLN（NLXN,NLYN）和雷达N的距离记作：NearDN；
则有：NearD1= NearDN=n1；
x轴正方向的最远雷达墙的两个端点分别为：点（FRX1,FRY1）和点（FLXN,FLYN）；
点FR1（FRX1, FRY1）和雷达1的距离记作：FarD1；
点FLN（FLXN, FLYN）和雷达N的距离记作：FarDN；
则有：FarD1= FarDN =f1。
a5：根据每个雷达墙段上点的坐标和每个雷达墙圆弧线的圆心角，计算得到雷达墙圆弧线。
其中，当N=4时，雷达墙圆弧线的计算方法如下：
b1：待计算车辆上安装的雷达包括：安装在车头的雷达A、B、C、D和安装在车尾的雷达D’、 C’、 B’、A’，对应的序号为1~8；
通过计算得到下述点坐标：
最近雷达墙对应的雷达墙段的端点坐标：
[（NRXi,NRYi）、（NLXi,NLYi）]，i取值为1、2.....8；
对应的最远雷达墙对应的雷达墙段的端点坐标：
[（FRXi,FRYi）、（FLXi,FLYi）]，其中i取值为1、2.....8；
车载雷达坐标：A：（a1,b1），B：（a2,b2）。
b2：确认每个雷达墙圆弧线的圆心角。
本方法中的每个雷达墙圆弧线的圆心角根据车辆类型和车载雷达的个数进行预先设置。本方法的雷达墙显示方法中将雷达墙圆弧线的圆心角作为预设条件，根据调整雷达墙圆弧线对应的半径来调整雷达墙的具体位置。
b3：根据车载雷达和雷达墙的位置关系，建立如下关系式：
NRY1 = k1*NRX1 + c1；
FRY1 = k2*FRX1 + c2；
结合基于线段的中垂线，到线段的两段距离相等的原理，则，通过求解得出k1、k2、c1和c2的值；具体计算过程基于现有方法实现。
b4：求解雷达墙圆弧线长度；
设：点J为雷达墙段[NR1（NRX1,NRY1）、NL1（NLX1,NLY1）]的中点，则有：
点J的坐标为： ((NLX1+NRX1)/2,(NRY1+NLY1)/2)；
设，点O为雷达墙圆弧线[NR1,NL1]的圆心，则连接点J和点O得到直线y3：y3=k3*x+c3；
基于已知条件：中垂线上的点到两端的点距离相同，以及每个雷达墙圆弧线的圆心角已知；
根据数学关系求解得到：线段OJ、线段ONL1、线段ONR1与线段NL1NR1；
基于雷达墙段的端点坐标为已知条件，通过计算得到k3和c3的值。
b5：通过直线y3=k3*x+c3、J点坐标、线段OJ的距离，计算得到点O的坐标；
再根据圆心O的坐标，及圆的半径ONL1，计算得到雷达墙圆弧线[NL1，NR1]的坐标和长度。
本实施例中，假设每个雷达墙圆弧线的圆心角取值为60°，则有以下关系：
线段ONL1=线段ONR1=线段NL1NR1；
针对直线y3：y3=k3*x+c3，Y3的斜率k3与线段NL1NR1的斜率乘积为-1；
则k3=-1/(（NRY1-NLY1）/(NRX1-NLX1))=(NLX1-NRX1)/(NRY1-NLY1)；
即：y3=k3*x+c3；
将J点的x y 坐标带入y3可得 ：
c3=(NRY1+NLY1)/2-((NLX1-NRX1)*(NLX1+NRX1))/2(NRY1-NLY1)；
则有：
y3=((NLX1-NRX1)/(NRY1-NLY1))*x+(NRY1+NLY1)/2-((NLX1-NRX1)*(NLX1+NRX1))/2(NRY1-NLY1)。
本方法中，通过直线y3=k3*x+c3、J点坐标及线段OJ的距离，即可算出点O的坐标；根据圆心O的坐标及圆的半径ONL1，X方向的圆弧范围在NLX1~NRX1间，Y方向的圆弧范围在NLY1~NRY1间；其中，我们将ONL1的旋转半径设置为可控，即可影响到圆弧的弧度强弱。
同理可计算出c4、O’点的坐标、圆心O’的坐标，及圆的半径O’FL1，X方向的圆弧范围在FLX1~FRX1间，Y方向的圆弧范围在FLY1~FRY1间；其中，将O’FL1的旋转半径设置为可控，即可影响到圆弧的弧度强弱。
同样，可以通过相同的计算方式，更换点坐标，计算出前向四块雷达墙远近的线性雷达墙及后向的线性雷达墙。
如图6所示，前三后三雷达时，与前四后四雷达墙的计算公式相比，缺少了y3及y4两条曲线，但是公式计算方式一致，前向后向，分别仅需要计算6次。
如图7所示，前五后五雷达的线性雷达墙计算公式与前四后四雷达墙完全一致，需要注意的是，四颗雷达时，前向需要计算8次，五颗雷达时，前向需要计算10次，公式相同，增加了NL5、NR5、FL5、FR5四个点；后向与前向相同。
本方法构建的3D雷达墙的显示效果，具体如图8所示，可以看到不同视角下，本申请3D动态雷达墙的3D显示效果有明确的差别。
使用本发明的技术方案后，能够根据雷达的探测距离，准确的显示出雷达墙的安全距离和报警距离，并且灵活地适用于不同类型的车辆以及不同的车载雷达安装场景，且在此基础上，结合深度学习算法，准确的显示出在车载雷达附近的人、车、路障等障碍物的具体情况，并提醒驾驶员，改善雷达墙的可用性。
Claims (6)
1.一种基于深度学习的车载监控动态线性雷达墙可视化方法，其特征在于，其包括以下步骤：
S1：基于线性雷达墙显示方法构建3D效果的动态线性雷达墙；
S2：基于深度学习网络模型构建智能车载监控网络；
所述智能车载监控网络中，包括基于Resnet模型构建的主干网，并且在主干网中引入了MAAM模块和注意力机制；
所述智能车载监控网络包括依次连接的：输入层、MAAM模块、第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块、全局平均池化层、全连接层和输出层；
每个卷积模块包括4个连续的卷积层；每个卷积模块中引入2个残差块；
所述第一卷积模块中，在浅层卷积中引入了通道注意力机制，在深层卷积中引入了空间注意力机制；
所述MAAM模块包括：最大池化操作Maxpool和平均池化操作avgpool，其表达公式为：
；
其中，α和β为两个超参系数；
S3：基于车身前后的镜头采集多组业务场景图像；
所述业务场景图像包括不同触发物触发雷达墙的图像；
S4：对所述业务场景图像进行预处理得到训练数据集；
基于训练数据集对所述智能车载监控网络进行训练，得到训练后的所述智能车载监控网络；
S5：在真实场景中采集多组标定图像，对训练后的所述智能车载监控网络进行可视化检测；
循环步骤S3~S5，直至得到训好的所述智能车载监控网络；
S6：使用训练好的所述智能车载监控网络设置在智能车载监控系统中，基于所述动态线性雷达墙实现对障碍物的可视化监测；
所述动态线性雷达墙以雷达墙圆弧线为底线，立体显示3D雷达墙渐变效果，具体显示方法为：
构建自适应配置模块，所述自适应配置模块基于雷达墙圆弧线，通过透视投影矩阵P，结合现实雷达墙的虚拟相机位置，以及配合虚拟相机俯仰角度变化来动态显示3D雷达墙；
所述虚拟相机的视角为模拟驾驶员视角观察雷达墙的视角；
透视投影矩阵P为：
；
其中，l、b、n为虚拟相机所见物体的近平面左下角的XYZ点坐标，r、t、f为虚拟相机所见物体的远平面右上角的XYZ点坐标；γ为所述智能车载监控网络判断触发雷达墙物体后，自适应配置的值，γ∈[0,1]。
2.根据权利要求1所述一种基于深度学习的车载监控动态线性雷达墙可视化方法，其特征在于：所述第一卷积模块中，在浅层卷积中引入了通道注意力机制，在深层卷积中引入了空间注意力机制；
所述通道注意力机制使网络模型更关注于轮廓特征信息，其输出为Mc(F)：
；
其中σ为 Sigmoid 激活函数，AvgPool(F)表示将平均池化和MaxPool(F)最大池化结果沿通道轴拼接起来；MLP 表示多层感知机制；
所述空间注意力机使网络模型更关注于图像或视频数据中的空间位置信息，其输出为Ms(F)：
；
其中σ为 Sigmoid 激活函数，f^(7*7)为7*7的卷积操作，[AvgPool(F);MaxPool(F)]表示将平均池化和最大池化结果沿通道轴拼接起来。
3.根据权利要求1所述一种基于深度学习的车载监控动态线性雷达墙可视化方法，其特征在于：所述触发物包括：路牙石、草丛、树木、路障、动物、人、墙体、机动车、非机动车和其他障碍物。
4.根据权利要求1所述一种基于深度学习的车载监控动态线性雷达墙可视化方法，其特征在于：所述雷达墙圆弧线的计算方法包括以下步骤：
a1：构建可视化雷达墙；
所述可视化雷达墙包括：分别位于待计算车辆的车头和车尾方向的两组雷达墙；每一组雷达墙包括：互相平行的一个最远雷达墙和一个最近雷达墙；
所述最远雷达墙和所述最近雷达墙都分别包括N个圆弧线段状的雷达墙圆弧段；
将雷达墙圆弧段的两个端点通过直线连接，得到一个直线段，记作：雷达墙段；
所述最远雷达墙和所述最近雷达墙上的任意一个点都能在可视化雷达墙中找到基于X轴和Y轴的对称点；
当待计算车辆与障碍物之间距离为最远距离时，显示所述最远雷达墙；当待计算车辆与障碍物之间距离为最近距离时，显示所述最近雷达墙；当待计算车辆由最远距离逐渐向障碍物接近时，显示动态雷达墙；
每个雷达墙上的雷达墙段是等长的，相邻的雷达墙段之间首位相连；每一个雷达墙段包括表示其起止的两个坐标点，雷达墙段坐标点构成所述最远雷达墙和所述最近雷达墙的坐标；
每个车载雷达分别在所述最远雷达墙和所述最近雷达墙上有一个对应的雷达墙段，并负责雷达和雷达墙段之间的扫描；
所述最近雷达墙满足以下条件：
设，所述最近雷达墙两个端点分别与坐标原点的连线，两个连线的夹角即为雷达墙FOV，则所述最近雷达墙的一个端点与其最近的雷达的连线与X轴的夹角α为雷达墙FOV的一半；
最近雷达墙的两个端点分别与其距离最近的雷达之间的距离为最短安全距离n1，所述雷达墙与X轴的交点与距离X轴最近的雷达之间的距离为所述最短安全距离n1；
所述最远雷达墙满足以下条件：
最远雷达墙的两个端点分别与其距离最近的雷达之间的距离为最远安全距离f1，所述雷达墙与X轴的交点与距离X轴最近的雷达之间的距离为所述最远安全距离f1；
a2：获取待计算车辆上的安装的车载雷达个数，假设待计算车辆上安装的车载雷达为2N个；
为每个车载雷达编号：将待计算车辆上的雷达，从车头的一侧开始，以顺时针方向进行顺序编号，安装在车头的车载雷达为：1~N，安装在车尾的车载雷达为：N+1......2N；
编号后的雷达对应的最近雷达墙上的雷达墙段的头尾两个端点的坐标为：
[NRi（NRXi,NRYi）、NLi（NLXi,NLYi）]，（NRXi,NRYi）为线段的头坐标，（NLXi,NLYi）为线段的尾坐标；其中i为雷达序列号，取值为1、2.....2N；
每个雷达对应的最远雷达墙上的雷达墙段的头尾两个端点的坐标为：
[FRi（FRXi,FRYi）、FLi（FLXi,FLYi）]，其中i取值为1、2.....2N；
a3：基于所述车载雷达数目、所述雷达墙FOV和所述雷达探测距离求，确认最远安全距离f1和最近安全距离n1；
a4：根据已知条件雷达墙FOV、最短安全距离n1和最远安全距离f1，构建数据关系，在N有不同取值时，根据数学关系计算得到所有的所述雷达墙圆弧段对应的雷达墙段上面每个点的坐标；
a5：根据每个所述雷达墙段上点的坐标和每个所述雷达墙圆弧线的圆心角，计算得到雷达墙圆弧线。
5.根据权利要求4所述一种基于深度学习的车载监控动态线性雷达墙可视化方法，其特征在于：步骤a5中，当N=4时，雷达墙圆弧线的计算方法如下：
b1：待计算车辆上安装的雷达包括：安装在车头的雷达A、B、C、D和安装在车尾的雷达D’、 C’、 B’、A’，对应的序号为1~8；
通过计算得到下述点坐标：
最近雷达墙对应的雷达墙段的端点坐标：
[（NRXi,NRYi）、（NLXi,NLYi）]，i取值为1、2.....8；
对应的最远雷达墙对应的雷达墙段的端点坐标：
[（FRXi,FRYi）、（FLXi,FLYi）]，其中i取值为1、2.....8；
车载雷达坐标：A：（a1,b1），B：（a2,b2）；
b2：确认每个所述雷达墙圆弧线的圆心角；
b3：根据车载雷达和雷达墙的位置关系，建立如下关系式：
NRY1 = k1*NRX1 + c1；
FRY1 = k2*FRX1 + c2；
通过求解得出k1、k2、c1和c2的值；
b4：求解雷达墙圆弧线长度；
设：点J为雷达墙段[NR1（NRX1,NRY1）、NL1（NLX1,NLY1）]的中点，则有：
点J的坐标为： ((NLX1+NRX1)/2,(NRY1+NLY1)/2)；
设，点O为雷达墙圆弧线[NR1,NL1]的圆心，则连接点J和点O得到直线y3：y3=k3*x+c3；
基于已知条件：中垂线上的点到两端的点距离相同，以及每个所述雷达墙圆弧线的圆心角已知；
根据数学关系求解得到：线段OJ、线段ONL1、线段ONR1与线段NL1NR1；
基于雷达墙段的端点坐标为已知条件，通过计算得到k3和c3的值；
b5：通过直线y3=k3*x+c3、J点坐标、线段OJ的距离，计算得到点O的坐标；
再根据圆心O的坐标，及圆的半径ONL1，计算得到雷达墙圆弧线[NL1，NR1]的坐标和长度。
6.根据权利要求5所述一种基于深度学习的车载监控动态线性雷达墙可视化方法，其特征在于：步骤b5中，假设每个所述雷达墙圆弧线的圆心角为60°，则有以下关系：
线段ONL1=线段ONR1=线段NL1NR1；
则，基于数学关系计算得到：
k3=-1/(（NRY1-NLY1）/(NRX1-NLX1))=(NLX1-NRX1)/(NRY1-NLY1)；
c3=(NRY1+NLY1)/2-((NLX1-NRX1)*(NLX1+NRX1))/2(NRY1-NLY1)；
y3=((NLX1-NRX1)/(NRY1-NLY1))*x+(NRY1+NLY1)/2-((NLX1-NRX1)*(NLX1+NRX1))/2(NRY1-NLY1)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202411672637.5A CN119169207B (zh) | 2024-11-21 | 2024-11-21 | 一种基于深度学习的车载监控动态线性雷达墙可视化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202411672637.5A CN119169207B (zh) | 2024-11-21 | 2024-11-21 | 一种基于深度学习的车载监控动态线性雷达墙可视化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN119169207A CN119169207A (zh) | 2024-12-20 |
| CN119169207B true CN119169207B (zh) | 2025-06-06 |
Family
ID=93890235
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202411672637.5A Active CN119169207B (zh) | 2024-11-21 | 2024-11-21 | 一种基于深度学习的车载监控动态线性雷达墙可视化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN119169207B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113902915A (zh) * | 2021-10-12 | 2022-01-07 | 江苏大学 | 一种基于低光照复杂道路场景下的语义分割方法及系统 |
| CN117289281A (zh) * | 2023-11-24 | 2023-12-26 | 无锡车联天下信息技术有限公司 | 一种基于adas-dmrw的车载监控智能可视化方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109977812B (zh) * | 2019-03-12 | 2023-02-24 | 南京邮电大学 | 一种基于深度学习的车载视频目标检测方法 |
| CN112884760B (zh) * | 2021-03-17 | 2023-09-26 | 东南大学 | 近水桥梁多类型病害智能检测方法与无人船设备 |
| CN116883814A (zh) * | 2023-07-18 | 2023-10-13 | 北京重镜科技有限公司 | 一种基于ar的智能目标检测识别跟踪系统 |
-
2024
- 2024-11-21 CN CN202411672637.5A patent/CN119169207B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113902915A (zh) * | 2021-10-12 | 2022-01-07 | 江苏大学 | 一种基于低光照复杂道路场景下的语义分割方法及系统 |
| CN117289281A (zh) * | 2023-11-24 | 2023-12-26 | 无锡车联天下信息技术有限公司 | 一种基于adas-dmrw的车载监控智能可视化方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN119169207A (zh) | 2024-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7511673B2 (ja) | 車両走行可能領域検出方法、システム、及びそのシステムを使用する自律車両 | |
| CN110758243B (zh) | 一种车辆行驶过程中的周围环境显示方法和系统 | |
| JP7778252B2 (ja) | 多視点融合に基づく３ｄターゲット検出方法及び装置 | |
| CN114766043B (zh) | 用于车道检测的方法和系统 | |
| CN114332494B (zh) | 车路协同场景下基于多源融合的三维目标检测与识别方法 | |
| CN108638999B (zh) | 一种基于360度环视输入的防碰撞预警系统及方法 | |
| CN113936139A (zh) | 一种视觉深度信息与语义分割相结合的场景鸟瞰图重构方法及系统 | |
| JP3606853B2 (ja) | 車両周囲状況表示装置 | |
| CN113128348A (zh) | 一种融合语义信息的激光雷达目标检测方法及系统 | |
| CN111695403B (zh) | 一种基于深度感知卷积神经网络的2d与3d图像同步检测方法 | |
| CN112990049A (zh) | 用于车辆自动驾驶的aeb紧急制动方法、装置 | |
| CN117440908A (zh) | 用于自动驾驶系统中基于图神经网络的行人动作预测的方法和系统 | |
| WO2019001346A1 (en) | SYSTEM AND METHODS FOR OBJECT FILTERING AND UNIFORM REPRESENTATION FOR AUTONOMOUS SYSTEMS | |
| WO2014103433A1 (ja) | 車両周辺監視装置 | |
| CN115965970A (zh) | 基于隐式的集合预测实现鸟瞰图语义分割的方法及系统 | |
| CN118351342A (zh) | 一种轨迹预测方法及装置 | |
| CN118675023A (zh) | 车路协同感知方法、装置、设备、存储介质和程序产品 | |
| CN114347905A (zh) | 一种车载辅助驾驶全景图像系统 | |
| CN119169207B (zh) | 一种基于深度学习的车载监控动态线性雷达墙可视化方法 | |
| CN113034586A (zh) | 道路倾角检测方法和检测系统 | |
| CN116977964A (zh) | 车辆环境感知的方法及自动驾驶车辆 | |
| CN116654001A (zh) | 道路通行性确定方法、装置和系统 | |
| CN116912788A (zh) | 自动驾驶系统的攻击检测方法、装置、设备及存储介质 | |
| CN117765017A (zh) | 数据增广方法及电子设备 | |
| CN112308987B (zh) | 车载图像拼接方法、系统以及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 214000 Jiangsu Province Wuxi City Economic Development Zone Huazhuang Street Gao Kai Road No. 2 Patentee after: Wuxi CheLian Tianxia Intelligent Science and Technology Co., Ltd. Country or region after: China Address before: 214000 Jiangsu Province, Wuxi City, Binhu District, No. 8 Huayun Road Patentee before: Wuxi cheliantianxia Information Technology Co.,Ltd. Country or region before: China |