[go: up one dir, main page]

CN109493407A - 实现激光点云稠密化的方法、装置及计算机设备 - Google Patents

实现激光点云稠密化的方法、装置及计算机设备 Download PDF

Info

Publication number
CN109493407A
CN109493407A CN201811374889.4A CN201811374889A CN109493407A CN 109493407 A CN109493407 A CN 109493407A CN 201811374889 A CN201811374889 A CN 201811374889A CN 109493407 A CN109493407 A CN 109493407A
Authority
CN
China
Prior art keywords
point cloud
view
target scene
obtains
original point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811374889.4A
Other languages
English (en)
Other versions
CN109493407B (zh
Inventor
陈仁
孙银健
黄天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201811374889.4A priority Critical patent/CN109493407B/zh
Publication of CN109493407A publication Critical patent/CN109493407A/zh
Application granted granted Critical
Publication of CN109493407B publication Critical patent/CN109493407B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种实现激光点云稠密化的方法、装置及计算机设备，所述实现激光点云稠密化的方法包括：获取目标场景的原始点云；按照前视图视角将所述原始点云投影至一柱面，生成第一前视图，所述前视图视角与激光雷达采集所述原始点云时的方位角有关；基于深度学习模型所构建不同分辨率前视图之间的映射关系，由所述第一前视图映射得到第二前视图，所述第二前视图的分辨率高于所述第一前视图的分辨率；将所述第二前视图投影至所述原始点云所在坐标系，得到所述目标场景的稠密点云。采用本发明所提供的实现激光点云稠密化的方法、装置及计算机设备解决了现有技术中激光点云的稠密化效果相对较差的问题。

Description

实现激光点云稠密化的方法、装置及计算机设备
技术领域
本发明涉及计算机技术领域，尤其涉及一种实现激光点云稠密化的方法、装置及计算机设备。
背景技术
高精度地图，是用于辅助驾驶、半自动驾驶或者无人驾驶的地图，由一系列地图要素构成，例如，地图要素包括：路牙、护栏等。其中，高精度地图的生成过程中，首先从激光点云提取得到地图要素，再通过人工方式对提取得到的地图要素进行编辑，以生成高精度地图。
由上可知，地图要素的提取依赖于激光点云，如果激光点云过于稀疏，将导致地图要素的准确性不高，并最终影响高精度地图的生产效率。为此，现有的激光点云稠密化方案通常采用内插值方法，以此进行激光点云的上采样，达到激光点云的稠密化效果。
然而，受限于内插值方法所依赖的规则，例如，规则包括近邻插值、双线性插值等，使得激光点云的稠密化效果相对较差。
发明内容
为了解决相关技术中存在的激光点云的稠密化效果相对较差的问题，本发明各实施例提供一种实现激光点云稠密化的方法、装置及计算机设备。
其中，本发明所采用的技术方案为：
根据本发明公开的第一方面，一种实现激光点云稠密化的方法，包括：获取目标场景的原始点云；按照前视图视角将所述原始点云投影至一柱面，生成第一前视图，所述前视图视角与激光雷达采集所述原始点云时的方位角有关；基于深度学习模型所构建不同分辨率前视图之间的映射关系，由所述第一前视图映射得到第二前视图，所述第二前视图的分辨率高于所述第一前视图的分辨率；将第二前视图投影至所述原始点云所在坐标系，得到所述目标场景的稠密点云。
根据本发明公开的第二方面，一种实现激光点云稠密化的装置，包括：原始点云获取模块，用于获取目标场景的原始点云；前视图获取模块，用于按照前视图视角将所述原始点云投影至一柱面，生成第一前视图，所述前视图视角与激光雷达采集所述原始点云时的方位角有关；前视图映射模块，用于基于深度学习模型所构建不同分辨率前视图之间的映射关系，由所述第一前视图映射得到第二前视图，所述第二前视图的分辨率高于所述第一前视图的分辨率；稠密点云获取模块，用于将第二前视图投影至所述原始点云所在坐标系，得到所述目标场景的稠密点云。
根据本发明公开的第三方面，一种计算机设备，包括处理器及存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如上所述的实现激光点云稠密化的方法。
根据本发明公开的第四方面，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的实现激光点云稠密化的方法。
在上述技术方案中，对目标场景的原始点云按照前视图视角进行柱面投影，生成第一前视图，以根据深度学习模型所构建不同分辨率前视图之间的映射关系，由第一前视图映射得到第二前视图，进而将该第二前视图投影至原始点云所在坐标系，以得到所述目标场景的稠密点云，也就是说，基于深度学习模型，构建了不同分辨率前视图之间的映射关系，以使该映射关系应用在第一前视图的实际场景中，得到分辨率高于第一前视图分辨率的第二前视图，以此形成目标场景的稠密点云，从而实现原始点云的稠密化，避免受限于内插值方法所依赖的规则，解决了现有技术中存在的激光点云的稠密化效果相对较差的问题。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并于说明书一起用于解释本发明的原理。
图1是根据本发明所涉及的实施环境的示意图。
图2是根据一示例性实施例示出的一种服务器的硬件结构框图。
图3是根据一示例性实施例示出的一种实现激光点云稠密化的方法的流程图。
图4是图3对应实施例所涉及的激光雷达采集的激光点云的示意图。
图5是图4的简化示意图。
图6是图3对应实施例中步骤330在一个实施例的流程图。
图7是图6对应实施例所涉及的前视图生成过程的具体实现示意图。
图8是图6对应实施例所涉及的合成待投影视图的距离视图、高度视图、强度视图的示意图。
图9是图6对应实施例所涉及的分辨率较低的第一前视图的示意图。
图10是图3对应实施例中步骤350在一个实施例的流程图。
图11是图10对应实施例中卷积神经网络模型的模型结构示意图。
图12是图10对应实施例所涉及的分辨率较高的第二前视图的示意图。
图13是根据一示例性实施例示出的另一种实现激光点云稠密化的方法的流程图。
图14是图13对应实施例中步骤410在一个实施例的流程图。
图15是图14对应实施例中步骤415在一个实施例的流程图。
图16是根据一示例性实施例示出的基于参考目标的配准过程的对比示意图。
图17是图15对应实施例中步骤4153在一个实施例的流程图。
图18是根据一示例性实施例示出的另一种实现激光点云稠密化的方法的流程图。
图19是根据一示例性实施例示出的一种实现激光点云稠密化的装置的框图。
图20是根据一示例性实施例示出的一种计算机设备的框图。
通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述，这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
如前所述，现有的激光点云稠密化方案通常采用内插值方法，以此进行激光点云的上采样，达到激光点云的稠密化效果。然而，受限于内插值方法所依赖的规则，例如，规则包括近邻插值、双线性插值等，使得激光点云的稠密化效果相对较差。
为了克服上述内插值方法所存在的缺陷，进一步引入边缘保护、区域保护的插值方法：
其中，基于边缘的插值方法，对激光点云的边缘有一定的增强，能够使激光点云的视觉效果更好，进而改善激光点云的稠密化效果。
基于区域的插值方法，首先将原始低分辨率的激光点云分割成不同区域，然后将插值点映射到该原始低分辨率的激光点云，判断插值点所属区域，再根据插值点的邻域像素设计不同的插值公式，最后根据不同的插值公式计算所属区域不同的插值点的值，以此改善激光点云的稠密化效果。
由上可知，现有的激光点云稠密化方案依然受限于内插值方法所依赖的规则，不可避免地存在激光点云的稠密化效果相对较差的缺陷，进而容易造成地图要素的准确性不高，并最终影响高精度地图的生产效率。
为此，本发明特提出了一种实现激光点云稠密化的方法，避免受限于内插值方法所依赖的规则，大大改善了激光点云的稠密化效果，相应地，该种实现激光点云稠密化的方法适用于实现激光点云稠密化的装置，可部署于架构冯诺依曼体系结构的计算机设备，例如，计算机设备为服务器，以实现实现激光点云稠密化的方法。
图1为一种实现激光点云稠密化的方法所涉及的实施环境的示意图。该实施环境包括用户端110和服务器端130。
其中，用户端110部署于车辆、飞机、机器人中，可以是台式电脑、笔记本电脑、平板电脑、智能手机、掌上电脑、个人数字助理、导航仪、智能计算机等，在此不进行限定。
用户端110与服务器端130通过无线或者有线网络等方式预先建立网络连接，并通过此网络连接实现用户端110与服务器端130之间的数据传输。例如，传输的数据包括：目标场景的高精度地图等。
在此说明的是，服务器端130可以是一台服务器，也可以是由多台服务器构成的服务器集群，如图1所示，还可以是由多台服务器构成的云计算中心。其中，服务器是为用户提供后台服务的电子设备，例如，后台服务包括：激光点云稠密化服务、地图要素提取服务、高精度地图生成服务等。
针对目标场景而言，服务器端130在获取到原始点云之后，便可进行原始点云的稠密化，即得到所述目标场景的稠密点云，进而基于所述目标场景的稠密点云进行地图要素提取。
在提取得到地图要素之后，服务器端130便可通过配置的显示屏幕，显示提取得到的地图要素，以在编辑人员的控制下生成目标场景的高精度地图。
当然，根据实际营运的需要，激光点云的稠密化、地图要素的提取、以及高精度地图的生成既可以部署于同一服务器中，也可以分别部署于不同服务器中，例如，激光点云的稠密化部署于服务器131、132，地图要素的提取部署于服务器133，而高精度地图的生成则部署于服务器134。
然后，目标场景的高精度地图，便可作进一步存储，例如，存储至服务器端130，也可以存储至其他缓存空间，在此并未加以限定。
那么，对于使用高精度地图的用户端110而言，例如，当无人驾驶车辆欲经过目标场景时，其所承载的用户端110将相应地获得目标场景的高精度地图，以便于辅助无人驾驶车辆安全经过目标场景。
值得一提的是，关于服务器端130所获取的激光点云，可以是由另外的采集设备预先采集并存储至服务器端130，也可以是在承载用户端110的车辆、飞机、机器人经过目标场景时，由用户端110实时采集并上传至服务器端130，在此并未加以限定。
图2是根据一示例性实施例示出的一种服务器的硬件结构框图。该种服务器适用于图1所示实施环境中的服务器端130。
需要说明的是，该种服务器只是一个适配于本发明的示例，不能认为是提供了对本发明的使用范围的任何限制。该种服务器也不能解释为需要依赖于或者必须具有图2中示出的示例性的服务器200中的一个或者多个组件。
服务器200的硬件结构可因配置或者性能的不同而产生较大的差异，如图2所示，服务器200包括：电源210、接口230、至少一存储器250、至少一中央处理器(CPU,CentralProcessing Units)270、显示屏幕280、以及输入组件290。
具体地，电源210用于为服务器200上的各组件提供工作电压。
接口230包括至少一有线或无线网络接口231、至少一串并转换接口233、至少一输入输出接口235以及至少一USB接口237等，用于与外部设备通信。例如，与图1所示出实施环境中的用户端110交互。
存储器250作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统251、应用程序253及数据255等，存储方式可以是短暂存储或者永久存储。
其中，操作系统251用于管理与控制服务器200上的各组件以及应用程序253，以实现中央处理器270对大量数据255的计算与处理，其可以是Windows ServerTM、Mac OS XTM、UnixTM、LinuxTM、FreeBSDTM等。
应用程序253是基于操作系统251之上完成至少一项特定工作的计算机程序，其可以包括至少一模块(图2中未示出)，每个模块都可以分别包含有对服务器200的一系列计算机可读指令。例如，实现激光点云稠密化的装置可视为部署于服务器200的应用程序253，以实现实现激光点云稠密化的方法。
数据255可以是照片、图片，还可以是激光点云，存储于存储器250中。
中央处理器270可以包括一个或多个以上的处理器，并设置为通过通信总线与存储器250通信，以读取存储器250中存储的计算机可读指令，进而实现对存储器250中大量数据255的运算与处理。例如，通过中央处理器270读取存储器250中存储的一系列计算机可读指令的形式来完成激光电源的上采样方法。
显示屏幕280可以是液晶显示屏或者电子墨水显示屏等，此显示屏幕280在电子设备200与用户之间提供一个输出界面，以通过该输出界面将文字、图片或者视频任意一种形式或者组合所形成的输出内容向用户显示输出。例如，将可供编辑的地图要素显示在目标场景地图中。
输入组件290，可以是显示屏幕280上覆盖的触摸层，也可以是电子设备200外壳上设置的按键、轨迹球或者触控板，还可以是外接的键盘、鼠标、触控板等，用于接收用户输入的各种控制指令，以便于在编辑人员的控制下生成目标场景的高精度地图。例如，针对目标场景地图中地图要素的编辑指令。
此外，通过硬件电路或者硬件电路结合软件也能同样实现本发明，因此，实现本发明并不限于任何特定硬件电路、软件以及两者的组合。
请参阅图3，在一示例性实施例中，一种实现激光点云稠密化的方法适用于图1所示实施环境的服务器端，该服务器端的结构可以如图2所示。
该种实现激光点云稠密化的方法可以由服务器端执行，也可以理解为由服务器端中部署的实现激光点云稠密化的装置执行。在下述方法实施例中，为了便于描述，以各步骤的执行主体为实现激光点云稠密化的装置加以说明，但是并不对此构成限定。
该种实现激光点云稠密化的方法可以包括以下步骤：
步骤310，获取目标场景的原始点云。
首先说明的是，激光点云，是通过激光扫描目标场景中实体所生成的，实质是点阵图像，即是由对应目标场景中实体的若干采样点构成。
其中，目标场景可以是可供车辆行驶的道路及其周边环境，还可以是可供机器人行进的建筑物内部，又或者是可供无人机低空飞行的航道及其周边环境，本实施例并未对此加以限定。
应当说明的是，本实施例所提供的目标场景的高精度地图可根据目标场景的不同而适用于不同的应用场景，例如，道路及其周边环境适用于辅助车辆行驶场景，建筑物内部适用于辅助机器人行进场景，航道及其周边环境适用于辅助无人机低空飞行场景。
应当理解，以点阵图像表示的激光点云，一帧激光点云即包含多达12万个像素点，如果直接采集多帧激光点云生成稠密点云，并以此进行地图要素的提取，将导致实时性要求难以满足，基于此，本发明各实施例中，地图要素的提取依赖于原始点云的稠密化。其中，原始点云指的是稀疏的激光点云，例如，单帧激光点云。
关于原始点云的获取，原始点云可以来源于预先存储的激光点云，还可以来源于实时采集的激光点云，进而通过本地读取或者网络下载的方式获取。
换句话说，对于实现激光点云稠密化的装置而言，可以获取实时采集的激光点云，以便于实时进行激光点云的稠密化，还可以获取一历史时间段内采集的激光点云，以便于在处理任务较少的时候进行激光点云的稠密化，本实施例并未对此作出具体限定。
在此说明的是，激光点云是由激光雷达发射的激光扫描生成并采集的，在采集过程中，激光雷达可预先部署于采集设备中，以便于采集设备针对目标场景进行激光点云的采集。例如，采集设备为车辆，激光雷达作为车载组件预先部署于该车辆，当该车辆行驶经过目标场景时，便相应地采集得到该目标场景的激光点云。
步骤330，按照前视图视角将所述原始点云投影至一柱面，生成第一前视图。
如前所述，一帧激光点云即包含多达12万个像素点，为了提高激光点云稠密化的效率，本实施例中，激光点云的稠密化，依赖于第一前视图进行。
首先，可以理解，基于激光雷达的设备硬件特点，激光雷达在采集激光点云时，可360°转动，每转动一次即发射一次激光，以便于通过对目标场景扫描指定角度，形成一帧激光点云，也即是，激光雷达采集激光点云时的方位角范围为0°～360°。其中，指定角度可以根据应用场景的实际需求，灵活地设置，例如，设置指定角度为360°，表示激光雷达需要对目标场景环扫360°。
基于此，前视图视角，与激光雷达采集激光点云时的方位角有关。也可以理解为，在激光雷达以方位角进行激光点云采集时，向前观察到的目标场景中的实体具有一定的角度范围，该角度范围即视为激光雷达的前视图视角。因此，前视图视角，实质上用于指示激光雷达所能够向前观察到目标场景中实体的角度范围。
以可供车辆行驶的道路及其周围环境作为目标场景为例进行说明，通过激光雷达对该目标场景环扫360°，形成一帧激光点云，如图4所示，该激光点云中呈现了目标场景中的实体，该实体包括人401、骑行者402、车辆403、车辆404、车辆405等等。
将图4简化为图5，以便于更清楚地说明前视图视角，如图5所示，假设激光雷达400采集激光点云时的方位角为0°时，可同时观察到目标场景中的骑行者402、车辆403，而无法观察到目标场景中的人401、车辆404、车辆405，那么，对于方位角为0°而言，便可确定此时的前视图视角为407。
由此，以激光雷达为中心，随着采集激光点云时方位角的逐渐变化，便可确定得到不同的前视图视角。
值得一提的是，由于激光雷达每转动一次即发射一次激光，进而对目标场景中基于前视图视角所能观察到的实体进行扫描，可以理解，如果转动角度太小，则存在重复扫描的概率，如果转动角度太大，又存在漏扫描的问题，因此，较优地，转动角度设置为前视图视角所指示的角度范围，不仅有利于提高激光点云的采集效率，而且有利于延长激光雷达的使用寿命。
举例来说，假设方位角为0°时，前视图视角407所指示的角度范围为60°，则激光雷达的转动角度可以设置为60°，那么，激光雷达对目标场景环扫360°时，仅需要转动6次即可，相应地，激光雷达采集激光点云的其余方位角分别是60°、120°、180°、240°、300°，也即是，方位角，实质上指示了激光雷达采集激光点云时的方位。
那么，针对获取到的原始点云，在由方位角确定得到前视图视角之后，便可基于所确定的前视图视角，将原始点云投影至一柱面生成第一前视图。其中，柱面可以是圆柱面，还可以是椭圆柱面。
由于原始点云是三维图像，而第一前视图是二维图像，因此，本实施例中的投影，实质是对原始点云所描述的目标场景中实体的三维空间结构进行平面化，进而通过二维图像的形式，即第一前视图来表达目标场景中实体，以此降低图像处理的复杂度，有利于提高激光点云稠密化的效率。
步骤350，基于深度学习模型所构建不同分辨率前视图之间的映射关系，由所述第一前视图映射得到第二前视图。
其中，所述映射关系是基于大量训练样本对深度学习模型加以模型训练，进而通过完成模型训练的深度学习模型构建的，所述训练样本包括待训练原始点云的前视图和待训练稠密点云的前视图，待训练原始点云的前视图的分辨率低于待训练稠密点云的前视图的分辨率。
也就是说，模型训练，实质是以训练样本中的待训练原始点云的前视图作为训练输入，而以训练样本中的待训练稠密点云的前视图作为训练真值，即训练输出，由此，通过大量的训练样本，便可基于深度学习模型，构建得到不同分辨率前视图之间的映射关系。
那么，基于深度学习模型所构建不同分辨率前视图之间的映射关系，便可由第一前视图映射得到第二前视图，所述第二前视图的分辨率高于所述第一前视图的分辨率。
步骤370，将第二前视图投影至所述原始点云所在坐标系，得到所述目标场景的稠密点云。
具体而言，按照图像通道编码方式，将第二前视图分割为距离视图、高度视图和强度视图。其中，图像通道包括表示红色的红色通道R、表示绿色的绿色通道G、以及表示蓝色的蓝色通道B。
将距离视图、高度视图和强度视图分别按照前视图视角投影至原始点云所在坐标系，得到目标场景的稠密点云。其中，原始点云所在坐标系，是指从采集原始点云的激光雷达设置的方位角出发，所观察到真实世界的地理坐标系。
通过如上所述的过程，基于深度学习模型所构建的映射关系实现了对原始点云的稠密化，避免受限于内插值方法所依赖的规则，有效地改善了激光点云的稠密化效果。
此外，地图要素提取将依赖于上述目标场景的稠密点云，有利于提升目标场景中实体感知的数据输入尺度，即丰富了环境感知信息，使得环境感知难度得到有效地降低，有利于提高地图要素提取的准确性，进而充分保证高精度地图的生产效率。
请参阅图6，在一示例性实施例中，步骤330可以包括以下步骤：
步骤331，对所述激光雷达采集所述原始点云时的方位角进行遍历，通过遍历到的方位角确定所述前视图视角。
如前所述，以激光雷达为中心，随着采集原始点云时方位角的逐渐变化，便可确定得到不同的前视图视角。
如图5所示，当遍历到的方位角为0°时，所确定的前视图视角为407。当遍历到的方位角为270°时，所确定的前视图视角为408。
步骤333，获取所述原始点云在所述前视图视角的待投影视图。
具体而言，首先，获取所述原始点云在所述前视图视角的距离视图、高度视图和强度视图。
结合图4进行说明，对于前视图视角407而言，则是基于部分原始点云409，来获取在该前视图视角407的距离视图、高度视图和强度视图。
同理，对于前视图视角408而言，则是基于部分原始点云410，来获取在该前视图视角408的距离视图、高度视图和强度视图。
其次，按照图像通道编码方式，将所述距离视图、高度视图和强度视图合成为所述待投影视图。
其中，图像通道包括表示红色的红色通道R、表示绿色的绿色通道G、以及表示蓝色的蓝色通道B。
例如，将高度视图输入红色通道R，将距离视图输入绿色通道G，将强度视图输入蓝色通道B，进而合成为待投影视图。
步骤335，将所述待投影视图投影至所述柱面中对应于所述前视图视角的局部区域。
结合图4和图7，以柱面为圆柱面，遍历到的方位角为0°进行举例说明，基于部分原始点云409，将在相应的前视图视角407获得距离视图、高度视图和强度视图，如图8(a)-8(c)所示，并以此合成待投影视图701，假设圆柱面对应于该前视图视角的局部区域为702，则将待投影视图701投影至该局部区域702，得到在圆柱面中的投影，如图7中703所示。
步骤337，待完成所述遍历，将所述柱面展开得到所述第一前视图。
如前所述，要形成目标场景的激光点云，激光雷达需要通过转动指定角度，以扫描目标场景，相应地，方位角会逐渐变化，故而，完成方位角的遍历，也可以理解为激光雷达已对目标场景扫描指定角度。例如，指定角度为360°。
此时，柱面即完成了各前视图视角所对应局部区域的投影，通过将柱面展开为平面，即以柱面的高作为平面的宽，以柱面的周长作为平面的长，便得到第一前视图，如图9所示。从图9中可以清楚地看出，基于前视图视角407合成的待投影视图701在柱面的投影仅是第一前视图中的一部分，该第一前视图实质还包含了基于其余前视图视角合成的待投影视图在柱面的投影。
通过上述过程，实现了前视图的生成，使得目标场景中的实体通过二维图像的形式来表达得以实现，以此降低了图像处理的复杂度，有利于提高激光点云稠密化的效率。
请参阅图10，在一示例性实施例中，所述深度学习模型为卷积神经网络模型。
本实施例中，卷积神经网络模型，其模型结构包括输入层、隐藏层和输出层。其中，隐藏层进一步包括卷积层、以及全连接层。此卷积层用于图像特征的提取，此全连接层则用于将卷积层提取得到的图像特征进行全连接。
可选地，隐藏层还可以包括激活层、池化层。其中，激活层用于提高卷积神经网络模型的收敛速度，池化层则用于降低全连接图像特征的复杂度。
可选地，卷积层配置有多个通道，每一个通道可供同一输入图像中具有不同通道信息的图像输入。
举例来说，输入图像为一彩色图像，假设卷积层配置有A1、A2、A3三个通道，那么，该彩色图像便可以按照图像通道编码方式输入至卷积层所配置的该三个通道，即红色通道R对应的彩色图像部分输入A1通道，绿色通道G对应的彩色图像部分输入A2通道,蓝色通道B对应的彩色图像部分输入A3通道。
相应地，步骤350可以包括以下步骤：
步骤351，将所述第一前视图输入所述卷积神经网络模型，提取得到多通道图像特征。
步骤353，将所述多通道图像特征进行全连接，得到全局特征。
步骤355，基于所述卷积神经网络模型构建的映射关系，对所述全局特征进行特征映射，得到所述第二前视图。
在一实施例中，如图11所示，卷积神经网络模型，也即是多通道卷积神经网络模型，其模型结构包括：输入层601、卷积层602、全连接层603和输出层604。其中，每一层卷积层602配置有多个通道。
结合上述卷积神经网络模型的模型结构，对基于映射关系的学习过程加以说明。
首先，第一前视图由输入层601输入，并经由卷积层602所配置的多个通道进行特征提取，得到多通道图像特征。其中，每一通道图像特征对应卷积层所提供的一个卷积核。
每一通道图像特征，也视为局部特征，用于描述原始点云所对应实体在目标场景中的边界、空间位置以及相对方向关系，例如，局部特征包括空间关系特征、形状特征等。
然后，多通道图像特征由卷积层602输出至全连接层603进行全连接，得到全局特征，用于描述原始点云所对应实体在目标场景中的表明性质，例如颜色、纹理等，相应地，全局特征可以是颜色特征、纹理特征等。
在获得全局特征之后，便基于卷积神经网络模型构建的映射关系，由全局特征学习得到第二前视图，并经由输出层604输出。
回请参阅图9，第一前视图存在明显的数据缺失，如图9中“雪花”白点所示，再请参阅图12，第二前视图则未见明显的数据缺失，也就是说，第二前视图相较于第一前视图具有更高的分辨率，有利于激光点云的稠密化。
在上述实施例的配合下，实现了基于卷积神经网络模型的特征映射，避免受限于内插值方法所依赖的规则，且有利于提高特征映射的准确性，进而充分地保证激光点云的稠密化效果，有利于为环境感知提供丰富的数据支撑。
请参阅图13，在一示例性实施例中，如上所述的方法还可以包括以下步骤：
步骤410，针对同一目标场景，获取待训练原始点云和待训练稠密点云。
待训练原始点云和待训练稠密点云，既可以来源于同一激光雷达，也可以来源于不同的激光雷达，此处并未加以限定。
具体而言，如图14所示，在一实施例中，获取过程可以包括以下步骤：
步骤411，获取所述目标场景的单帧激光点云，以单帧激光点云作为所述待训练原始点云，并以所述待训练原始点云的采集时刻作为当前时刻。
步骤413，根据所述当前时刻确定相邻时刻，并针对所述目标场景，获取所述相邻时刻采集到的若干帧激光点云。
步骤415，将获取到的若干帧激光点云进行叠加，得到所述待训练稠密点云。
如果相邻时刻采集到的若干帧激光点云来源于同一激光雷达，则通过采集设备中配置的惯导设备所提供的移动速度、地理位置等信息，即可实现相邻时刻采集到的若干帧激光点云的叠加。
反之，如果相邻时刻采集到的若干帧激光点云来自于不同激光雷达，则叠加可以通过进行相邻时刻采集到的若干帧激光点云之间的配准实现。
上述过程中，实现了超分辨率重建，即利用时间分辨率(不同时刻、同一目标场景的若干帧激光点云)换取空间分辨率(待训练稠密点云)，使得进行模型训练的激光点云更加丰富，有利于映射关系的准确构建。
步骤430，由待训练原始点云和待训练稠密点云投影生成对应的前视图，并以待训练原始点云的前视图和待训练稠密点云的前视图作为所述训练样本。
投影，与前述第一前视图的生成过程一致，此处不再重复描述。
步骤450，根据所述训练样本引导所述深度学习模型进行模型训练，构建所述映射关系。
模型训练，实质上是基于大量训练样本而对深度学习模型的参数加以迭代优化，使得由此参数构建的指定算法函数满足收敛条件。
其中，深度学习模型包括卷积神经网络模型、循环神经网络模型、深度神经网络模型等。
指定算法函数，包括但不限于：最大期望函数、损失函数(例如softmax激活函数)等等。
举例来说，随机初始化深度学习模型的参数，根据当前一个训练样本计算随机初始化的参数所构建的损失函数的损失值。
如果损失函数的损失值未达到最小，则更新深度学习模型的参数，并根据后一个训练样本计算更新的参数所构建的损失函数的损失值。
如此迭代循环，直至损失函数的损失值达到最小，即视为损失函数收敛，此时，深度学习模型也收敛，并符合预设精度要求，则停止迭代。
否则，迭代更新深度学习模型的参数，并根据其余训练样本迭代计算所更新参数构建的损失函数的损失值，直至损失函数收敛。
值得一提的是，如果在损失函数收敛之前，迭代次数已经达到迭代阈值，也将停止迭代，以此保证模型训练的效率。
当深度学习模型收敛并符合预设精度要求时，表示深度学习模型完成模型训练，由此便可基于完成模型训练的深度学习模型构建得到映射关系。
在完成映射关系的构建之后，对于实现激光点云稠密化的装置而言，便具有了对第一前视图的映射能力。
那么，将第一前视图输入深度学习模型，便能够根据映射关系得到所述目标场景的稠密点云的前视图，进而实现原始点云的稠密化。
请参阅图15，在一示例性实施例中，步骤415可以包括以下步骤：
步骤4151，针对所述目标场景中的同一实体，从获取到的若干帧激光点云中分割得到相应的参考目标。
步骤4153，根据分割得到的参考目标，对获取到的若干帧激光点云进行配准。
步骤4155，由完成配准的若干帧激光点云叠加得到所述待训练稠密点云。
如前所述，获取到的若干帧激光点云，实质是不同时刻、同一目标场景的若干帧激光点云，既可以来源于同一激光雷达，也可以来源于不同的激光雷达。应当理解，如果来源于同一激光雷达，则该若干帧激光点云必然对应于同一坐标系，反之，如果来源于不同的激光雷达，则该若干帧激光点云可能无法保持统一的坐标系，势必影响叠加结果，进而影响映射关系的准确构建。
举例来说，目标场景中，各实体不可能完全静止，而是存在相对运动，例如，马路上行驶的车辆等，为此，针对该行驶的车辆，如果将不同时刻采集的若干帧激光点云直接叠加，将构成该车辆在马路上的行驶轨迹，如图16(a)中501所示，进而导致原始点云稠密化失败，即无法清晰具体地得到该车辆的轮廓。
为此，本实施例中，针对同一目标场景却来源于不同激光雷达的若干帧激光点云，在进行该若干帧激光点云叠加之前，将首先在该若干帧激光点云之间进行配准。
配准，目的在于保证针对同一目标场景却来源于不同激光雷达的若干帧激光点云之间保持统一的坐标系。可选地，配准包括：几何纠正、投影变换、统一比例尺等处理方式，本实施例并未对此加以限定。
参考目标，则是指同一目标场景却来源于不同激光雷达的若干帧激光点云中的相交区域，本质为激光点云中的像素点集合，也可以理解为，参考目标，为一图像，该图像在若干帧激光点云中表示同一目标场景中的同一实体。例如，假设目标场景中的同一实体为人、骑行者、车辆等，则参考目标为激光点云中构成人、骑行者、车辆等的像素点集合，也即是人、骑行者、车辆等对应的图像。
参考目标的分割，实质为图像分割，可选地，图像分割包括：普通分割、语义分割、实例分割等，其中，普通分割进一步包括：阈值分割、区域分割、边缘分割、直方图分割等，本实施例并未对此作出具体限定。
基于此，基于参考目标的配准，也可以理解为，配准的目标是使得同一目标场景却来源于不同激光雷达的若干帧激光点云中的参考目标完全重叠，从而实现不同激光点云统一到相同的坐标系中。
仍以目标场景中马路上行驶的车辆为例进行说明，如图16(b)中501所示，以该行驶的车辆作为参考目标进行配准，使得相交区域完全重叠，即该车辆在马路上的行驶轨迹得以消除，更加清晰具体地显示了该车辆的轮廓。
在上述过程中，实现了不同激光点云之间的配准，充分保证了不同激光点云处于同一坐标系中，以此确保叠加的正确性，进而保障了映射关系构建的准确性。
请参阅图17，在一示例性实施例中，步骤4153可以包括以下步骤：
步骤4153a，为获取到的若干帧激光点云构建投影变换函数。
步骤4153c，根据分割得到的参考目标估计所述投影变换函数的参数。
步骤4153e，根据完成参数估计的投影变换函数在获取到的若干帧激光点云之间进行投影变换。
本实施例中，配准是基于投影变换方式实现的，也即是，在参考点云与目标点云之间进行投影变换，使得目标点云经过旋转和平移与参考点云中的相交区域完全重叠。
现以若干帧激光点云中的其中两帧激光点云分别作为参考点云和目标点云，对配准过程说明如下。
首先说明的是，参考点云所在坐标系，是指从采集参考点云的激光雷达所设置的方位角出发，所观察到真实世界的地理坐标系，而目标点云所在坐标系，是指从采集目标点云的激光雷达所设置的方位角出发，所观察到真实世界的地理坐标系，故而，参考点云所在坐标系与目标点云所在坐标系可能存在差异，需要进一步配准。
具体地，为参考点云和目标点云构建的投影变换函数如计算公式(1)所示：
其中，fx表示参考点云中像素点和目标点云中像素点在x轴方向上的物理尺寸比值，fy表示参考点云中像素点和目标点云中像素点在y轴方向上的物理尺寸比值，(u0,v0)表示参考点云所在坐标系的原点，R表示目标点云所在坐标系与参考点云所在坐标系之间的旋转关系，t表示目标点云所在坐标系与参考点云所在坐标系之间的平移关系。
(u,v，Zc)表示目标点云中像素点的三维坐标，(Xw,Yw,Zw)表示参考点云中像素点的三维坐标。
由上可知，确定目标点云与参考点云之间的配准关系，实质是估计投影变换函数的参数，即fx、fy、(u0,v0)、R、t。
为此，需要获取目标点云与参考点云中相对应的6组特征点。特征点，与分割得到的参考目标有关，也即是，特征点即为参考目标在参考点云或者目标点云中的像素点。
优选地，针对目标场景中实体在激光点云中边界清晰显示、棱角分明的采样点(例如角点、顶点、端点、重心点、拐点等)，对应提取尽量均匀分布在参考点云或者目标点云中的6个像素点作为特征点，以此体现参考目标在参考点云或者目标点云中的显著特征，进而有利于提高参考点云与目标点云之间配准的准确性。
在完成投影变换函数中参数的估计，便确定了参考点云与目标点云之间的配准关系，那么，通过参考点云确定(Xw,Yw,Zw)，便可对目标点云进行投影变换，以将目标点云所在坐标系转换至参考点云所在坐标系，即(u,v，Zc)。
通过上述实施例的配合，实现了基于投影变换的配准，不仅有利于大幅度降低配准过程的计算量，有利于提高激光点云稠密化的效率，进而促进高精度地图的生产效率，而且特征点反映出参考目标在激光点云中的显著特征，有利于提高配准过程的精度。
请参阅图18，在一示例性实施例中，如上所述的方法还可以包括以下步骤：
步骤610，基于所述目标场景的稠密点云进行地图要素提取，得到地图要素数据。
其中，目标场景包括至少一实体对应于地图要素。也可以理解为，实体是真实存在于目标场景中的实体，而地图要素则是呈现于目标场景地图中的要素。
具体而言，地图要素及其对应的实体根据应用场景的不同将有所区别，例如，在辅助车辆行驶场景中，地图要素包括：车道线、地面标志、路牙、栅栏、交通标志牌等要素，相应地，实体，指的是车道线、地面标志、路牙、栅栏、交通标志牌等。又或者，在辅助无人机低空飞行场景中，地图要素包括：路灯、植被、建筑物、交通标志牌等要素，相应地，实体，则是指路灯、植被、建筑物、交通标志牌等。
那么，对于高精度地图而言，地图要素数据至少包括地图要素在目标场景中的三维位置。此三维位置，即是指地图要素所对应实体在目标场景中的地理位置。可选地，地图要素数据，还包括地图要素在目标场景中的颜色、类别等。
举例来说，地图要素为车道线要素，相应地，地图要素数据包括：车道线在目标场景中的三维位置、车道线的颜色、车道线的形式等。其中，车道线的形式包括实线、虚线、双黄线。
步骤630，根据所述地图要素数据中地图要素在所述目标场景中的三维位置，在目标场景地图中显示所述地图要素。
目标场景地图，是指与目标场景相匹配的地图。
对于地图要素的编辑人员而言，可以选择同时对全部类别的地图要素进行编辑，也可以选择一个类别的地图要素进行编辑，本实施例并未对此加以限定。
如果编辑人员选择编辑车道线要素，则目标场景地图中，将加载对应的车道线要素数据，以根据车道线要素数据中该车道线要素在目标场景中的三维位置显示该车道线要素。
值得一提的是，地图要素数据，例如车道线要素数据，在完成提取之后，将按照指定的存储格式预先存储，以方便于编辑人员进行地图要素编辑时读取。
步骤650，获取针对所述目标场景地图中所述地图要素的编辑指令并响应，生成所述目标场景的高精度地图。
在目标场景地图中显示出地图要素之后，编辑人员便可以参照目标场景的激光点云，对该地图要素进行查看。
如果地图要素不符合要求，例如，不符合精度要求，或者，位置、形状、类别有所偏差，又或者，因车辆阻挡而导致地图要素有所缺失，那么，编辑人员便可进一步地对地图要素进行编辑操作，此时，将相应获取到针对目标场景地图中地图要素的编辑指令，进而通过编辑指令的响应，对目标场景地图中的地图要素进行相应的编辑处理，并最终生成包含编辑后地图要素的高精度地图。
在具体应用场景中，高精度地图是实现无人驾驶不可或缺的重要环节。它能够真实还原目标场景，以此提高无人驾驶设备(例如无人驾驶车辆、无人机、机器人)的定位精度；还能够解决特殊情况下无人驾驶设备中环境感知设备(例如传感器)失效的问题，有效地弥补了环境感知设备的不足；同时能够实现为无人驾驶设备进行路径全局规划，并且基于预判为无人驾驶设备制定合理的行进策略。因此，高精度地图在无人驾驶中发挥着不可替代的作用，通过本发明各实施例，不仅实现了激光点云的稠密化，充分保证了地图要素提取的准确度，而且有利于提高高精度地图的精度，有效降低高精度地图的生产成本，提高高精度地图的生产效率，有利于实现高精度地图的大规模批量生产。
下述为本发明装置实施例，可以用于执行本发明所涉及的实现激光点云稠密化的方法。对于本发明装置实施例中未披露的细节，请参照本发明所涉及的实现激光点云稠密化的方法的实施例。
请参阅图19，在一示例性实施例中，一种实现激光点云稠密化的装置900包括但不限于：原始点云获取模块910、前视图获取模块930、前视图映射模块950和稠密点云获取模块970。
其中，原始点云获取模块910，用于获取目标场景的原始点云。
前视图获取模块930，用于按照前视图视角将所述原始点云投影至一柱面，生成第一前视图，所述前视图视角与激光雷达采集所述原始点云时的方位角有关。
前视图映射模块950，用于基于深度学习模型所构建不同分辨率前视图之间的映射关系，由所述第一前视图映射得到第二前视图，所述第二前视图的分辨率高于所述第一前视图的分辨率。
稠密点云获取模块970，用于将第二前视图投影至所述原始点云所在坐标系，得到所述目标场景的稠密点云。
在一示例性实施例中，所述前视图获取模块930包括但不限于：方位角遍历单元、待投影视图获取单元、待投影视图投影单元和柱面展开单元。
其中，方位角遍历单元，用于对所述激光雷达采集所述原始点云时的方位角进行遍历，通过遍历到的方位角确定所述前视图视角。
待投影视图获取单元，用于获取所述原始点云在所述前视图视角的待投影视图。
待投影视图投影单元，用于将所述待投影视图投影至所述柱面中对应于所述前视图视角的局部区域。
柱面展开单元，用于待完成所述遍历，将所述柱面展开得到所述第一前视图。
在一示例性实施例中，所述待投影视图获取单元包括但不限于：视图获取子单元和视图合成子单元。
其中，视图获取子单元，用于获取所述原始点云在所述前视图视角的距离视图、高度视图和强度视图。
视图合成单元，用于按照图像通道编码方式，将所述距离视图、高度视图和强度视图合成为所述所述待投影视图。
在一示例性实施例中，所述前视图学习模块950包括但不限于：特征提取单元、特征连接单元和特征映射单元。
其中，特征提取单元，用于将所述第一前视图输入所述卷积神经网络模型，提取得到多通道图像特征。
特征连接单元，用于将所述多通道图像特征进行全连接，得到全局特征。
特征映射单元，用于基于所述卷积神经网络模型构建的映射关系，对所述全局特征进行特征映射，得到所述第二前视图。
在一示例性实施例中，所述稠密点云获取模块970包括但不限于：分割单元和逆向投影单元。
其中，分割单元，用于按照图像通道编码方式，将所述第二前视图分割为距离视图、高度视图和强度视图；
逆向投影单元，用于将所述距离视图、高度视图和强度视图按照所述前视图视角分别投影至所述原始点云所在坐标系，得到所述目标场景的稠密点云。
在一示例性实施例中，所述装置900还包括但不限于：点云获取模块、投影模块和训练模块。
其中，点云获取模块，用于针对同一目标场景，获取待训练原始点云和待训练稠密点云。
投影模块，用于由待训练原始点云和待训练稠密点云投影生成对应的前视图，并以待训练原始点云的前视图和待训练稠密点云的前视图作为所述训练样本。
训练模块，用于根据所述训练样本引导所述深度学习模型进行模型训练，通过完成模型训练的深度学习模型构建不同分辨率前视图之间的映射关系。
在一示例性实施例中，所述点云获取模块包括但不限于：单帧点云获取单元、相邻帧点云获取单元和相邻帧点云叠加单元。
其中，单帧点云获取单元，用于获取所述目标场景中的单帧激光点云，以单帧激光点云作为所述待训练原始点云，并以所述待训练原始点云的采集时刻作为当前时刻。
相邻帧点云获取单元，用于根据所述当前时刻确定相邻时刻，并针对所述目标场景，获取所述相邻时刻采集到的若干帧激光点云。
相邻帧点云叠加单元，用于将获取到的若干帧激光点云进行叠加，得到所述待训练稠密点云。
在一示例性实施例中，所述相邻帧点云叠加单元包括但不限于：目标分割子单元、配准子单元和拼接子单元。
其中，目标分割子单元，用于针对所述目标场景中的同一实体，从获取到的若干帧激光点云中分割得到相应的参考目标。
配准子单元，用于根据分割得到的参考目标，对获取到的若干帧激光点云进行配准。
叠加子单元，用于由完成配准的若干帧激光点云叠加得到所述待训练稠密点云。
在一示例性实施例中，所述拼接子单元包括但不限于：函数构建子单元、参数估计子单元和投影变换子单元。
其中，函数构建子单元，用于为获取到的若干帧激光点云构建投影变换函数。
参数估计子单元，用于根据分割得到的参考目标估计所述投影变换函数的参数。
投影变换子单元，用于根据完成参数估计的投影变换函数，在获取到的若干帧激光点云之间进行投影变换。
在一示例性实施例中，所述装置900还包括但不限于：要素提取模块、要素显示模块和地图生成模块。
其中，要素提取模块，用于基于所述目标场景的稠密点云进行地图要素提取，得到地图要素数据。
要素显示模块，用于根据所述地图要素数据中地图要素在所述目标场景中的三维位置，在目标场景地图中显示所述地图要素。
地图生成模块，用于获取针对所述目标场景地图中所述地图要素的编辑指令并响应，生成所述目标场景的高精度地图。
需要说明的是，上述实施例所提供的实现激光点云稠密化的装置在进行实现激光点云稠密化的处理时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即实现激光点云稠密化的装置的内部结构将划分为不同的功能模块，以完成以上描述的全部或者部分功能。
另外，上述实施例所提供的实现激光点云稠密化的装置与实现激光点云稠密化的方法的实施例属于同一构思，其中各个模块执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。
请参阅图20，在一示例性实施例中，一种计算机设备1000，包括至少一处理器1001、至少一存储器1002、以及至少一通信总线1003。
其中，存储器1002上存储有计算机可读指令，处理器1001通过通信总线1003读取存储器1002中存储的计算机可读指令。
该计算机可读指令被处理器1001执行时实现上述各实施例中的实现激光点云稠密化的方法。
在一示例性实施例中，一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各实施例中的实现激光点云稠密化的方法。
上述内容，仅为本发明的较佳示例性实施例，并非用于限制本发明的实施方案，本领域普通技术人员根据本发明的主要构思和精神，可以十分方便地进行相应的变通或修改，故本发明的保护范围应以权利要求书所要求的保护范围为准。

Claims (15)

1.一种实现激光点云稠密化的方法，其特征在于，包括：
获取目标场景的原始点云；
按照前视图视角将所述原始点云投影至一柱面，生成第一前视图，所述前视图视角与激光雷达采集所述原始点云时的方位角有关；
基于深度学习模型所构建不同分辨率前视图之间的映射关系，由所述第一前视图映射得到第二前视图，所述第二前视图的分辨率高于所述第一前视图的分辨率；
将所述第二前视图投影至所述原始点云所在坐标系，得到所述目标场景的稠密点云。
2.如权利要求1所述的方法，其特征在于，所述按照前视图视角将所述原始点云投影至一柱面，生成第一前视图，包括：
对所述激光雷达采集所述原始点云时的方位角进行遍历，通过遍历到的方位角确定所述前视图视角；
获取所述原始点云在所述前视图视角的待投影视图；
将所述待投影视图投影至所述柱面中对应于所述前视图视角的局部区域；
待完成所述遍历，将所述柱面展开得到所述第一前视图。
3.如权利要求2所述的方法，其特征在于，所述获取所述原始点云在所述前视图视角的待投影视图，包括：
获取所述原始点云在所述前视图视角的距离视图、高度视图和强度视图；
按照图像通道编码方式，将所述距离视图、高度视图和强度视图合成为所述待投影视图。
4.如权利要求1所述的方法，其特征在于，所述深度学习模型为卷积神经网络模型；
所述基于深度学习模型所构建不同分辨率前视图之间的映射关系，由所述第一前视图映射得到第二前视图，包括：
将所述第一前视图输入所述卷积神经网络模型，提取得到多通道图像特征；
将所述多通道图像特征进行全连接，得到全局特征；
基于所述卷积神经网络模型构建的映射关系，对所述全局特征进行特征映射，得到所述第二前视图。
5.如权利要求1所述的方法，其特征在于，所述将第二前视图投影至所述原始点云所在坐标系，得到所述目标场景的稠密点云，包括：
按照图像通道编码方式，将所述第二前视图分割为距离视图、高度视图和强度视图；
将所述距离视图、高度视图和强度视图按照所述前视图视角分别投影至所述原始点云所在坐标系，得到所述目标场景的稠密点云。
6.如权利要求1所述的方法，其特征在于，所述方法还包括：
针对同一目标场景，获取待训练原始点云和待训练稠密点云；
由待训练原始点云和待训练稠密点云投影生成对应的前视图，并以待训练原始点云的前视图和待训练稠密点云的前视图作为所述训练样本；
根据所述训练样本引导所述深度学习模型进行模型训练，通过完成模型训练的深度学习模型构建不同分辨率前视图之间的映射关系。
7.如权利要求6所述的方法，其特征在于，所述针对同一目标场景，获取待训练原始点云和待训练稠密点云，包括：
获取所述目标场景的单帧激光点云，以单帧激光点云作为所述待训练原始点云，并以所述待训练原始点云的采集时刻作为当前时刻；
根据所述当前时刻确定相邻时刻，并针对所述目标场景，获取所述相邻时刻采集到的若干帧激光点云；
将获取到的若干帧激光点云进行叠加，得到所述待训练稠密点云。
8.如权利要求7所述的方法，其特征在于，所述将获取到的若干帧激光点云进行叠加，得到所述待训练稠密点云，包括：
针对所述目标场景中的同一实体，从获取到的若干帧激光点云中分割得到相应的参考目标；
根据分割得到的参考目标，对获取到的若干帧激光点云进行配准；
由完成配准的若干帧激光点云叠加得到所述待训练稠密点云。
9.如权利要求8所述的方法，其特征在于，所述根据分割得到的参考目标，对获取到的若干帧激光点云进行配准，包括：
为获取到的若干帧激光点云构建投影变换函数；
根据分割得到的参考目标估计所述投影变换函数的参数；
根据完成参数估计的投影变换函数，在获取到的若干帧激光点云之间进行投影变换。
10.如权利要求1至9任一项所述的方法，其特征在于，所述方法还包括：
基于所述目标场景的稠密点云进行地图要素提取，得到地图要素数据；
根据所述地图要素数据中地图要素在所述目标场景中的三维位置，在目标场景地图中显示所述地图要素；
获取针对所述目标场景地图中所述地图要素的编辑指令并响应，生成所述目标场景的高精度地图。
11.一种实现激光点云稠密化的装置，其特征在于，包括：
原始点云获取模块，用于获取目标场景的原始点云；
前视图获取模块，用于按照前视图视角将所述原始点云投影至一柱面，生成第一前视图，所述前视图视角与激光雷达采集所述原始点云时的方位角有关；
前视图映射模块，用于基于深度学习模型所构建不同分辨率前视图之间的映射关系，由所述第一前视图映射得到第二前视图，所述第二前视图的分辨率高于所述第一前视图的分辨率；
稠密点云获取模块，用于将第二前视图投影至所述原始点云所在坐标系，得到所述目标场景的稠密点云。
12.如权利要求11所述的装置，其特征在于，所述深度学习模型为卷积神经网络模型；
所述前视图映射模块包括：
特征提取单元，将所述第一前视图输入所述卷积神经网络模型，提取得到多通道图像特征；
特征连接单元，将所述多通道图像特征进行全连接，得到全局特征；
特征映射单元，基于所述卷积神经网络模型构建的映射关系，对所述全局特征进行特征映射，得到所述第二前视图。
13.如权利要求11所述的装置，其特征在于，所述装置还包括：
点云获取模块，用于针对同一目标场景，获取待训练原始点云和待训练稠密点云；
投影模块，用于由待训练原始点云和待训练稠密点云投影生成对应的前视图，并以待训练原始点云的前视图和待训练稠密点云的前视图作为所述训练样本；
训练模块，用于根据所述训练样本引导所述深度学习模型进行模型训练，通过完成模型训练的深度学习模型构建不同分辨率前视图之间的映射关系。
14.一种计算机设备，其特征在于，包括：
处理器；及
存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如权利要求1至10中任一项所述的实现激光点云稠密化的方法。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10中任一项所述的实现激光点云稠密化的方法。
CN201811374889.4A 2018-11-19 2018-11-19 实现激光点云稠密化的方法、装置及计算机设备 Active CN109493407B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811374889.4A CN109493407B (zh) 2018-11-19 2018-11-19 实现激光点云稠密化的方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811374889.4A CN109493407B (zh) 2018-11-19 2018-11-19 实现激光点云稠密化的方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN109493407A true CN109493407A (zh) 2019-03-19
CN109493407B CN109493407B (zh) 2022-03-25

Family

ID=65696832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811374889.4A Active CN109493407B (zh) 2018-11-19 2018-11-19 实现激光点云稠密化的方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN109493407B (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097084A (zh) * 2019-04-03 2019-08-06 浙江大学 通过投射特征训练多任务学生网络的知识融合方法
CN110276794A (zh) * 2019-06-28 2019-09-24 Oppo广东移动通信有限公司 信息处理方法、信息处理装置、终端设备及服务器
CN110363771A (zh) * 2019-07-15 2019-10-22 武汉中海庭数据技术有限公司 一种基于三维点云数据的隔离护栏形点提取方法及装置
CN110824496A (zh) * 2019-09-18 2020-02-21 北京迈格威科技有限公司 运动估计方法、装置、计算机设备和存储介质
CN110907949A (zh) * 2019-10-28 2020-03-24 福瑞泰克智能系统有限公司 一种自动驾驶可行驶区域检测方法、系统及车辆
CN110992485A (zh) * 2019-12-04 2020-04-10 北京恒华伟业科技股份有限公司 一种gis地图三维模型方位显示方法、装置和gis地图
CN111009011A (zh) * 2019-11-28 2020-04-14 深圳市镭神智能系统有限公司 车辆方向角的预测方法、装置、系统以及存储介质
CN111192265A (zh) * 2019-12-25 2020-05-22 中国科学院上海微系统与信息技术研究所 一种基于点云的语义实例确定方法、装置、电子设备及存储介质
CN111221808A (zh) * 2019-12-31 2020-06-02 武汉中海庭数据技术有限公司 一种无人值守的高精度地图质检方法和装置
CN111439594A (zh) * 2020-03-09 2020-07-24 兰剑智能科技股份有限公司 基于3d视觉引导的拆垛方法和系统
CN111476242A (zh) * 2020-03-31 2020-07-31 北京经纬恒润科技有限公司 一种激光点云语义分割方法及装置
CN111667522A (zh) * 2020-06-04 2020-09-15 上海眼控科技股份有限公司 三维激光点云密集化方法及设备
CN111724478A (zh) * 2020-05-19 2020-09-29 华南理工大学 一种基于深度学习的点云上采样方法
CN111854748A (zh) * 2019-04-09 2020-10-30 北京航迹科技有限公司 一种定位系统和方法
CN112308889A (zh) * 2020-10-23 2021-02-02 香港理工大学深圳研究院 一种利用矩形及扁率信息的点云配准方法及存储介质
CN112446953A (zh) * 2020-11-27 2021-03-05 广州景骐科技有限公司 点云处理方法、装置、设备和存储介质
CN112837410A (zh) * 2021-02-19 2021-05-25 北京三快在线科技有限公司 一种训练模型和点云的处理方法及装置
CN113219489A (zh) * 2021-05-13 2021-08-06 深圳数马电子技术有限公司 多线激光的点对确定方法、装置、计算机设备和存储介质
CN113359141A (zh) * 2021-07-28 2021-09-07 东北林业大学 一种基于无人机多传感器数据融合的林火定位方法及系统
CN114359856A (zh) * 2020-09-30 2022-04-15 北京万集科技股份有限公司 特征融合方法和装置、服务器、计算机可读存储介质
CN114764746A (zh) * 2021-09-22 2022-07-19 清华大学 激光雷达的超分辨率方法和装置、电子设备及存储介质
CN115061119A (zh) * 2022-07-27 2022-09-16 芯探(上海)科技有限公司 一种增强的高动态范围激光雷达
CN115620103A (zh) * 2022-09-29 2023-01-17 九识(苏州)智能科技有限公司 提取柱面点云的结构性特征的方法、装置和存储介质
CN115690641A (zh) * 2022-05-25 2023-02-03 中仪英斯泰克进出口有限公司 一种基于图像显示的屏幕控制方法及系统
CN115965928A (zh) * 2023-03-16 2023-04-14 安徽蔚来智驾科技有限公司 点云特征增强、目标检测方法、设备、介质及车辆
CN114266863B (zh) * 2021-12-31 2024-02-09 西安交通大学 一种基于点云的3d场景图生成方法、系统、设备及可读存储介质
CN117788476A (zh) * 2024-02-27 2024-03-29 南京邮电大学 一种基于数字孪生技术的工件缺陷检测方法、装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346608A (zh) * 2013-07-26 2015-02-11 株式会社理光 稀疏深度图稠密化方法和装置
CN108154560A (zh) * 2018-01-25 2018-06-12 北京小马慧行科技有限公司 激光点云标注方法、装置及可读存储介质
CN108198145A (zh) * 2017-12-29 2018-06-22 百度在线网络技术（北京）有限公司 用于点云数据修复的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346608A (zh) * 2013-07-26 2015-02-11 株式会社理光 稀疏深度图稠密化方法和装置
CN108198145A (zh) * 2017-12-29 2018-06-22 百度在线网络技术（北京）有限公司 用于点云数据修复的方法和装置
CN108154560A (zh) * 2018-01-25 2018-06-12 北京小马慧行科技有限公司 激光点云标注方法、装置及可读存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHEN XIAOZHI 等: "Multi-View 3D Object Detection Network for Autonomous Driving", 《IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
LI BO 等: "Vehicle Detection from 3D Lidar Using Fully Convolutional Network", 《COMPUTER VISION AND PATTERN RECOGNITION》 *
谭红春: "一种高效的人脸三维点云超分辨率融合方法", 《光学技术》 *

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097084B (zh) * 2019-04-03 2021-08-31 浙江大学 通过投射特征训练多任务学生网络的知识融合方法
CN110097084A (zh) * 2019-04-03 2019-08-06 浙江大学 通过投射特征训练多任务学生网络的知识融合方法
CN111854748A (zh) * 2019-04-09 2020-10-30 北京航迹科技有限公司 一种定位系统和方法
CN111854748B (zh) * 2019-04-09 2022-11-22 北京航迹科技有限公司 一种定位系统和方法
CN110276794A (zh) * 2019-06-28 2019-09-24 Oppo广东移动通信有限公司 信息处理方法、信息处理装置、终端设备及服务器
CN110276794B (zh) * 2019-06-28 2022-03-01 Oppo广东移动通信有限公司 信息处理方法、信息处理装置、终端设备及服务器
CN110363771A (zh) * 2019-07-15 2019-10-22 武汉中海庭数据技术有限公司 一种基于三维点云数据的隔离护栏形点提取方法及装置
CN110363771B (zh) * 2019-07-15 2021-08-17 武汉中海庭数据技术有限公司 一种基于三维点云数据的隔离护栏形点提取方法及装置
CN110824496A (zh) * 2019-09-18 2020-02-21 北京迈格威科技有限公司 运动估计方法、装置、计算机设备和存储介质
CN110907949A (zh) * 2019-10-28 2020-03-24 福瑞泰克智能系统有限公司 一种自动驾驶可行驶区域检测方法、系统及车辆
CN111009011A (zh) * 2019-11-28 2020-04-14 深圳市镭神智能系统有限公司 车辆方向角的预测方法、装置、系统以及存储介质
CN111009011B (zh) * 2019-11-28 2023-09-19 深圳市镭神智能系统有限公司 车辆方向角的预测方法、装置、系统以及存储介质
CN110992485A (zh) * 2019-12-04 2020-04-10 北京恒华伟业科技股份有限公司 一种gis地图三维模型方位显示方法、装置和gis地图
CN111192265A (zh) * 2019-12-25 2020-05-22 中国科学院上海微系统与信息技术研究所 一种基于点云的语义实例确定方法、装置、电子设备及存储介质
CN111221808A (zh) * 2019-12-31 2020-06-02 武汉中海庭数据技术有限公司 一种无人值守的高精度地图质检方法和装置
CN111439594A (zh) * 2020-03-09 2020-07-24 兰剑智能科技股份有限公司 基于3d视觉引导的拆垛方法和系统
CN111476242B (zh) * 2020-03-31 2023-10-20 北京经纬恒润科技股份有限公司 一种激光点云语义分割方法及装置
CN111476242A (zh) * 2020-03-31 2020-07-31 北京经纬恒润科技有限公司 一种激光点云语义分割方法及装置
CN111724478A (zh) * 2020-05-19 2020-09-29 华南理工大学 一种基于深度学习的点云上采样方法
CN111724478B (zh) * 2020-05-19 2021-05-18 华南理工大学 一种基于深度学习的点云上采样方法
CN111667522A (zh) * 2020-06-04 2020-09-15 上海眼控科技股份有限公司 三维激光点云密集化方法及设备
CN114359856A (zh) * 2020-09-30 2022-04-15 北京万集科技股份有限公司 特征融合方法和装置、服务器、计算机可读存储介质
CN112308889B (zh) * 2020-10-23 2021-08-31 香港理工大学深圳研究院 一种利用矩形及扁率信息的点云配准方法及存储介质
CN112308889A (zh) * 2020-10-23 2021-02-02 香港理工大学深圳研究院 一种利用矩形及扁率信息的点云配准方法及存储介质
CN112446953A (zh) * 2020-11-27 2021-03-05 广州景骐科技有限公司 点云处理方法、装置、设备和存储介质
CN112837410A (zh) * 2021-02-19 2021-05-25 北京三快在线科技有限公司 一种训练模型和点云的处理方法及装置
CN113219489A (zh) * 2021-05-13 2021-08-06 深圳数马电子技术有限公司 多线激光的点对确定方法、装置、计算机设备和存储介质
CN113219489B (zh) * 2021-05-13 2024-04-16 深圳数马电子技术有限公司 多线激光的点对确定方法、装置、计算机设备和存储介质
CN113359141A (zh) * 2021-07-28 2021-09-07 东北林业大学 一种基于无人机多传感器数据融合的林火定位方法及系统
CN114764746A (zh) * 2021-09-22 2022-07-19 清华大学 激光雷达的超分辨率方法和装置、电子设备及存储介质
CN114764746B (zh) * 2021-09-22 2024-09-06 清华大学 激光雷达的超分辨率方法和装置、电子设备及存储介质
CN114266863B (zh) * 2021-12-31 2024-02-09 西安交通大学 一种基于点云的3d场景图生成方法、系统、设备及可读存储介质
CN115690641B (zh) * 2022-05-25 2023-08-01 中仪英斯泰克进出口有限公司 一种基于图像显示的屏幕控制方法及系统
CN115690641A (zh) * 2022-05-25 2023-02-03 中仪英斯泰克进出口有限公司 一种基于图像显示的屏幕控制方法及系统
CN115061119A (zh) * 2022-07-27 2022-09-16 芯探(上海)科技有限公司 一种增强的高动态范围激光雷达
CN115620103A (zh) * 2022-09-29 2023-01-17 九识(苏州)智能科技有限公司 提取柱面点云的结构性特征的方法、装置和存储介质
CN115965928A (zh) * 2023-03-16 2023-04-14 安徽蔚来智驾科技有限公司 点云特征增强、目标检测方法、设备、介质及车辆
WO2024187868A1 (zh) * 2023-03-16 2024-09-19 安徽蔚来智驾科技有限公司 点云特征增强、目标检测方法、设备、介质及车辆
CN117788476A (zh) * 2024-02-27 2024-03-29 南京邮电大学 一种基于数字孪生技术的工件缺陷检测方法、装置
CN117788476B (zh) * 2024-02-27 2024-05-10 南京邮电大学 一种基于数字孪生技术的工件缺陷检测方法、装置

Also Published As

Publication number Publication date
CN109493407B (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN109493407A (zh) 实现激光点云稠密化的方法、装置及计算机设备
US11461964B2 (en) Satellite SAR artifact suppression for enhanced three-dimensional feature extraction, change detection, and visualizations
CN110160502B (zh) 地图要素提取方法、装置及服务器
US10297074B2 (en) Three-dimensional modeling from optical capture
JP7440005B2 (ja) 高精細地図の作成方法、装置、デバイス及びコンピュータプログラム
US20190026400A1 (en) Three-dimensional modeling from point cloud data migration
US10643378B2 (en) Method and device for modelling three-dimensional road model, and storage medium
CN105096386B (zh) 大范围复杂城市环境几何地图自动生成方法
CN110136219A (zh) 一种基于多源数据融合的二三维地图展示方法
CN102564403B (zh) 基于图像引导的交通事故现场快速测绘系统
CN109801371B (zh) 一种基于Cesium的网络三维电子地图构建方法
CN120526084B (zh) 基于空地多源数据的城市级实景三维建模方法
CN110660125B (zh) 用于电力配网系统的三维建模装置
CN106097443A (zh) 城市室内外一体化三维场景构建与空间自适应导航方法
CN116206068B (zh) 基于真实数据集的三维驾驶场景生成与构建方法及装置
CN108388995A (zh) 一种道路资产管理系统的建立方法及建立系统
CN114564779A (zh) 一种基于bim和无人机的复杂山区施工便道的规划方法
Hong et al. GS-LIVO: Real-time LiDAR, inertial, and visual multi-sensor fused odometry with Gaussian mapping
CN118608710A (zh) 一种基于遥感数据的真实地形模型生成方法和系统
CN117870716A (zh) 地图兴趣点的显示方法、装置、电子设备及存储介质
CN120563770B (zh) 一种基于高逼真场景的dsm数据提取方法
CN112528892B (zh) 一种无人机点云车道线提取方法及系统
Akhavi Zadegan et al. Challenges and advancements in image-based 3D reconstruction of large-scale urban environments: a review of deep learning and classical methods
CN113362236B (zh) 点云增强方法、点云增强装置、存储介质与电子设备
Liu et al. Fusing multiscale charts into 3D ENC systems based on underwater topography and remote sensing image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant