[go: up one dir, main page]

WO2019170012A1 - 车道线数据处理方法、装置、计算机设备和存储介质 - Google Patents

车道线数据处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
WO2019170012A1
WO2019170012A1 PCT/CN2019/076067 CN2019076067W WO2019170012A1 WO 2019170012 A1 WO2019170012 A1 WO 2019170012A1 CN 2019076067 W CN2019076067 W CN 2019076067W WO 2019170012 A1 WO2019170012 A1 WO 2019170012A1
Authority
WO
WIPO (PCT)
Prior art keywords
lane line
dimensional
map
point cloud
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2019/076067
Other languages
English (en)
French (fr)
Inventor
舒茂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of WO2019170012A1 publication Critical patent/WO2019170012A1/zh
Priority to US16/893,820 priority Critical patent/US11417118B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Definitions

  • lane lines rely on manual extraction.
  • the manual extraction of the lane line is completely edited by hand, drawing the lane line point by point on the point cloud data.
  • higher requirements are placed on the production efficiency of map elements such as lane lines.
  • the three-dimensional point cloud data of each segment is processed to obtain a two-dimensional gray image of each segment of the three-dimensional point cloud data;
  • the three-dimensional point cloud data corresponding to the lane line area map and the lane line virtual property are spliced to each lane line area map to obtain a lane line of the road to be processed.
  • Data including:
  • the key point maps of the lane lines are spliced to obtain lane line data of the road to be processed.
  • the sampling the key points of the lane line area in the lane line area map to obtain the lane line key point map of the lane line area map including:
  • the lane line area is processed into a single-pixel lane line, and a lane line map corresponding to each lane line area map is obtained;
  • a key point of the lane line in each of the lane line maps is sampled, and a key line map of the lane line of the lane line map is obtained.
  • the three-dimensional coordinate information of each key point and the virtual and real attributes of the lane line are spliced to each of the lane line key point maps to obtain the lane line data of the to-be-processed road, including :
  • the noise lane line in the lane line keypoint map is filtered according to the lane line spacing and the lane line length in the lane line keypoint map.
  • the three-dimensional point cloud data of each segment is processed to obtain a two-dimensional gray image of each segment of the three-dimensional point cloud data, including:
  • the orthogonal projection of the segmented three-dimensional point cloud data to obtain a two-dimensional image corresponding to each segment of the three-dimensional point cloud data further includes: a map collection tool according to the collected three-dimensional point cloud data The direction of the action track, the coordinate conversion of the three-dimensional point cloud data.
  • a lane line data processing device includes:
  • a point cloud data processing module configured to acquire and divide 3D point cloud data of the road to be processed
  • An extraction module configured to extract a lane line region and a lane line virtual property in each of the two-dimensional gray images by using a pre-trained deep neural network model, to obtain a lane line region map corresponding to each two-dimensional gray image;
  • a splicing module configured to splicing each of the lane line area maps according to the three-dimensional point cloud data corresponding to the lane line area map and the lane line virtual reality attribute, to obtain lane line data of the to-be-processed road.
  • the splicing module includes:
  • a key point coordinate acquiring module configured to obtain three-dimensional coordinate information corresponding to the key point according to a spatial mapping relationship between the two-dimensional gray image and the three-dimensional point cloud data
  • the image processing module includes:
  • the grayscale processing module is configured to perform grayscale processing on each of the two-dimensional images to obtain a corresponding two-dimensional grayscale image.
  • the image processing module further includes:
  • the coordinate conversion module is configured to perform coordinate conversion on the three-dimensional point cloud data according to the action track direction of the map collection tool that collects the three-dimensional point cloud data.
  • the apparatus further includes:
  • a computer apparatus comprising a memory and a processor, the memory storing a computer program, the computer program being executed by the processor, causing the processor to perform the steps of the method as described above.
  • 1 is an application environment diagram of a lane line data processing method in an embodiment
  • FIG. 2 is a schematic flow chart of a lane line data processing method in an embodiment
  • 3 is a two-dimensional grayscale image corresponding to a certain road in one embodiment
  • FIG. 4 is a schematic diagram of a lane line extraction result in one embodiment
  • FIG. 5 is a schematic structural diagram of a deep neural network model in one embodiment
  • FIG. 7 is a flow chart showing the steps of splicing each lane line area map to obtain lane line data of a road to be processed according to the three-dimensional point cloud data corresponding to the lane line area map and the lane line virtual reality attribute in one embodiment;
  • FIG. 8 is a lane line diagram obtained by processing the lane line area map of FIG. 4 in one embodiment
  • FIG. 10 is a schematic diagram of a process of stitching key maps of two lane lines in one embodiment
  • Figure 11 is a schematic view showing the process of interrupting the separation interval of the spliced lane line shown in Figure 10 in one embodiment
  • Figure 12 is a schematic illustration of an extracted lane line displayed by a lane line editing system in one embodiment
  • FIG. 13 is a schematic flow chart of a lane line data processing method in an embodiment
  • Figure 15 is a block diagram showing the structure of a lane line data processing apparatus in an embodiment
  • Figure 16 is a block diagram showing the structure of a lane line data processing apparatus in another embodiment
  • Figure 17 is a block diagram showing the structure of a computer device in an embodiment.
  • FIG. 1 is an application environment diagram of a lane line data processing method in an embodiment.
  • computer device 102 is coupled to smart travel device 104 via a network, and computer device 102 is used to create a high precision map.
  • the smart driving device 104 downloads a high-precision map from the computer device 102 via the network to realize smart driving.
  • the intelligent driving device can run a lane line editing system for a computer device 102 such as a smart vehicle or a robot for producing a high-precision map.
  • the map editor can load and display the lane lines on the computer device 102.
  • the lane line data obtained by the lane line data processing method of the present application, the lane line data is represented by a key point.
  • the map editors can easily view the lane line extraction results through the lane line editing system. For the lane line data whose extraction accuracy meets the requirements, the editor does not need to modify, which greatly reduces the workload of the editors and improves the editing efficiency.
  • the computer device 102 may specifically be a desktop terminal or a notebook computer or the like.
  • the network can be a wired or wireless network of any communication protocol. Where smart driving device 104 and computer device 102 are shown as two separate components in the illustration, computer device 102 may be integrated into smart driving device 104 in other embodiments.
  • a lane line data processing method is provided. This embodiment is mainly illustrated by the method being applied to the computer device 102 in FIG. 1 described above. Referring to FIG. 2, the lane line data processing method specifically includes the following steps:
  • the road to be processed is the target processing object of the map editor, and is a specific road, such as the highway numbered G21.
  • the 3D point cloud data of the road to be processed is collected by using a map collection tool.
  • Map collection tools include drones and map collection vehicles.
  • the map collection tool is equipped with a laser scanner that uses a laser scanner to obtain a point data set of the road surface, that is, a three-dimensional point cloud data of the road, while driving on the road.
  • Three-dimensional point cloud data obtained according to the principle of laser measurement, including three-dimensional coordinates and laser reflection intensity.
  • the step of acquiring and dividing the three-dimensional point cloud data of the road to be processed includes: acquiring three-dimensional point cloud data of the road to be processed, and dividing the three-dimensional point cloud data into multiple segments.
  • the map collection tool such as the 3D laser point cloud data collected by the map collection vehicle
  • the map collection tool is the point cloud data of the whole road. Due to the large amount of data, it is often impossible to represent on a gray scale map. Therefore, in this embodiment, the three-dimensional point cloud data of the road to be processed is divided into multiple segments. Specifically, the three-dimensional point cloud data of each fixed length road can be divided into one segment, for example, the three-dimensional point cloud data per 45 m road is divided into one segment.
  • the three-dimensional point cloud data of the road to be processed is divided into multiple segments, and the three-dimensional point cloud data of each segment is processed. Specifically, each piece of three-dimensional point cloud data is projected onto a grayscale image to obtain a two-dimensional grayscale image of each piece of three-dimensional point cloud data.
  • the roads of the two-dimensional grayscale images are continuous and can be spliced into a two-dimensional grayscale image of the complete road.
  • a two-dimensional grayscale image corresponding to a certain section of the road is as shown in FIG.
  • S206 Extract a lane line region and a lane line virtual property in each two-dimensional gray image by using a pre-trained deep neural network model to obtain a lane line region map corresponding to each two-dimensional gray image.
  • the lane line area refers to an area formed by lane lines in the two-dimensional gray image, and the lane line area is obtained by extracting the connected pixels corresponding to the lane lines in the two-dimensional gray image as the area.
  • Lane line virtual attributes include dashed lines and solid lines.
  • the dotted lane line indicates that the line can be temporarily pressed.
  • the solid lane line is used for separation, for example, a double yellow line is drawn in the road section to separate the traffic in the opposite direction.
  • a deep neural network model for extracting lane line regions and lane line virtual attributes is pre-trained.
  • the training of the deep neural network model is based on a large number of annotated two-dimensional grayscale images.
  • the solid line position is directly marked for the solid line; for the dotted line, the blank space between the two broken lines is also connected to obtain a continuous line as the labeling result. This is beneficial to the deep neural network to learn the forward and backward extension of the lane line, thereby filtering out some noise such as text and ground signs.
  • the deep neural network model is trained by using the labeled lane line samples, and is saved after the model converges.
  • a two-dimensional gray image of the road to be processed is input, and the model extracts the lane line region and the virtual real attribute from the two-dimensional gray image.
  • the lane line extraction result of one embodiment is as shown in FIG.
  • lines of different colors may be used to represent solid lines and dashed lines. As shown in FIG. 4, the green line indicates the dotted lane line, and the red line indicates the solid lane line.
  • the deep neural network model adopts a VGG basic network (VGGNet) and a spatial pyramid pooling structure, an expansion convolution is used between the network layers, a deconvolution operation is used for upsampling, and a weighted crossover is used for the loss function.
  • VGGNet VGG basic network
  • a deconvolution operation is used for upsampling
  • a weighted crossover is used for the loss function.
  • Entropy loss the structure of the deep neural network model is shown in Figure 5.
  • the process of extracting the lane line region and the lane line virtual property in the two-dimensional gray image is as follows:
  • a point cloud grayscale image with a size of 512x512 is input, and 64 512x512 feature maps are obtained through two convolutional layers, and downsampled by a pooling layer to obtain 64 feature maps with a size of 256x256.
  • 128 256x256 feature maps are obtained through two convolutional layers, and 128 128x128 feature maps are obtained by pooling.
  • 256 128x128 feature maps are obtained through three convolutional layers, and 256 64x64 feature maps are obtained by pooling.
  • the category with the largest value among the three channels is the category to which the corresponding position of the input image belongs.
  • the number of network layers increases, the number of feature maps gradually increases, and the size of the feature map gradually decreases, so that the network can extract higher-level semantic information and reduce the number of parameters of the network.
  • Multi-channel information is convolved in different hole sizes (ie, spatial pyramid pooling), and prediction results can be obtained in different size receptive fields. Small receptive fields are conducive to local area refinement prediction, while large receptive fields are conducive to combining global The prediction of semantic information and the integration of prediction results in different receptive fields can obtain more accurate and robust prediction results.
  • the deep neural network model may also adopt other neural network structures, such as a convolutional neural network, including a convolutional layer, a sampling layer, a fully connected layer, and an output layer, and the input and output of the convolution layer are all Multiple matrix.
  • the convolutional layer contains a plurality of convolution kernels, each convolution kernel is a matrix, and each convolution kernel is equivalent to a filter, which can output a specific feature map, and each feature map is a convolution layer. An output unit.
  • the feature map is then further passed to the next layer by a nonlinear activation function such as ReLU.
  • the function of the convolutional layer is to detect local features from the output of the previous layer.
  • the difference is that the function of the sampling layer is to merge similarly similar features into the same feature and to merge the adjacent features to a closer position. .
  • the convolution and pooling layers only extract features and reduce the parameters that the original image brings.
  • it is necessary to apply a fully connected layer to generate an output equal to the number of classes required.
  • the output layer has a loss function similar to the classification cross entropy used to calculate the prediction error.
  • the gradient calculation and parameter training process of the convolutional neural network is the same as that of the conventional deep network, and all the parameters in the convolution kernel are trained.
  • the deep neural network model is used to extract lane lines in a larger field of view, which is less susceptible to interference items (ground arrows, text, cars, etc.) in the point cloud than conventional machine learning methods. Strong robustness.
  • the three-dimensional point cloud data corresponding to each lane line area map is obtained by using the spatial mapping relationship between the two-dimensional gray image and the three-dimensional point cloud data.
  • the 3D point cloud data of the road includes three-dimensional coordinates.
  • the adjacent lane line area maps are stitched according to the three-dimensional coordinates and the virtual and real attributes of the lane lines. Specifically, it is determined whether the two lane line area maps are adjacent according to the three-dimensional coordinates (ie, whether the road is continuous). For the adjacent two lane line area maps, each lane takes a lane line area for pairing.
  • the pairing is successful, and the two lane line areas in the two lane line area maps can be spliced into one long one.
  • Lane line area By adopting the method, all lane line area maps are sequentially spliced, and a complete lane line area map corresponding to the road to be processed is obtained.
  • the above lane line data processing method acquires and divides the three-dimensional point cloud data of the road to be processed, and separately processes the divided three-dimensional point cloud data to obtain a two-dimensional gray image of each segment of the three-dimensional point cloud data, and each of the two
  • the dimension gray image is input into the pre-trained neural network model, and the virtual real attribute of the lane line region and the lane line is extracted. Since the three-dimensional point cloud data of the road to be processed includes three-dimensional coordinates, the three-dimensional point cloud data and the lane line corresponding to the lane line region are selected.
  • the virtual and real attributes can be used to splicing the lane area maps to obtain complete lane line data of the road to be processed.
  • the pre-trained deep neural network model is used to extract the lane line region and the lane line virtual property.
  • the virtual and real attributes of the lane line are enriched to enrich the lane line information, which saves the manual labeling cost and improves the processing efficiency.
  • it is not susceptible to the influence of interference items such as words and cars in the point cloud data, and the accuracy of lane line area extraction is improved.
  • the step of separately processing the segmented three-dimensional point cloud data to obtain a two-dimensional grayscale image of each segment of the three-dimensional point cloud data includes:
  • S602 Perform orthogonal projection on the divided three-dimensional point cloud data to obtain a two-dimensional image corresponding to each segment of the three-dimensional point cloud data.
  • Orthogonal projection is a kind of parallel projection.
  • the projection line is perpendicular to the projection plane, and the orthogonal projection does not have a perspective characteristic, but can directly reflect the true size of the object in the space.
  • the two-dimensional image obtained by orthogonal projection of the laser point cloud has a pixel value proportional to the reflectance value of the point cloud.
  • each piece of three-dimensional point cloud data is projected onto a two-dimensional image, and a road corresponding to the data segment is displayed on a two-dimensional image, for example, a road of 45 m, thereby obtaining corresponding three-dimensional point cloud data of the road to be processed. Multiple consecutive two-dimensional images.
  • the three-dimensional point cloud data includes a laser reflection intensity
  • a two-dimensional gray image is obtained by normalizing the reflectance value of the point cloud to a gray value of 0 to 255.
  • a two-dimensional grayscale image corresponding to a certain section of the road is as shown in FIG.
  • the three-dimensional point cloud data of the road to be processed is collected by using a map collection tool, and the two-dimensional gray image of the road to be processed is obtained based on the three-dimensional point cloud data processing, which provides a basis for the deep neural network model to extract the lane line.
  • the method further includes: acquiring three-dimensional according to The direction of the action track of the point cloud data map acquisition tool, coordinate conversion of the 3D point cloud data.
  • ⁇ represents the steering angle of the map acquisition tool
  • Indicates the converted abscissa Indicates the converted ordinate
  • X represents the abscissa before conversion
  • Y represents the ordinate before conversion.
  • the lane line After the lane line is sampled, it is still in two-dimensional form, and it needs to be converted into a three-dimensional form to facilitate subsequent fusion and stitching processing on the lane line data.
  • the two-dimensional gray image is processed by the three-dimensional point cloud data, there is a spatial mapping relationship between the three-dimensional point cloud data and the two-dimensional gray image.
  • the three-dimensional coordinate information of the key point is obtained according to the three-dimensional point cloud data corresponding to the key point by using the spatial mapping relationship.
  • the two-dimensional lane line sampling result is converted into three-dimensional scatter data.
  • the road to be processed is segmented based on the three-dimensional point cloud data, and a plurality of consecutive two-dimensional grayscale images of the road to be processed are processed. Therefore, it is necessary to splicing the lane line keypoint map corresponding to each two-dimensional grayscale image to obtain a complete lane line of the road to be processed.
  • the key point is the sparse point obtained after sampling the lane line.
  • each lane line is sampled to obtain key points of the lane line.
  • the samples are equally spaced samples, for example one point every two meters.
  • FIG. 9 is a diagram showing key points of each lane line in the lane line diagram of FIG. 8 in one embodiment, and obtaining a key line diagram of the lane line.
  • a lane line data processing apparatus including:
  • the pre-trained deep neural network model is used to extract the lane line region and the lane line virtual property.
  • the virtual and real attributes of the lane line are enriched to enrich the lane line information, which saves the manual labeling cost and improves the processing efficiency.
  • it is not easily affected by interference items such as characters and cars in the three-dimensional point cloud data, and the accuracy of lane line region extraction is improved.
  • the key point processing module is configured to sample the key points of the lane line area in the lane line area map, and obtain the lane line key point map of the lane line area map.
  • the key point processing module includes a projection module refinement module and a sampling module.
  • the refinement module is configured to process the lane line area into a single-pixel lane line for each lane line area map, and obtain a lane line map corresponding to each lane line area map.
  • the sampling module is configured to sample the key points of the lane lines in each lane line map, and obtain the key line map of the lane line of the lane line map.
  • the structural characteristics of the lane line and the continuity in the three-dimensional space are fully considered, and the accuracy of the lane line recognition is improved.
  • the splicing efficiency and accuracy of the key line map of the lane line can be improved.
  • the image processing module includes:
  • the grayscale processing module is configured to respectively perform grayscale processing on each two-dimensional image to obtain a corresponding two-dimensional grayscale image.
  • the coordinate conversion module is configured to perform coordinate conversion on the three-dimensional point cloud data according to the action track direction of the map collection tool that collects the three-dimensional point cloud data.
  • the splicing module further includes a curve fitting module for performing curve fitting on the extracted lane lines. By curve fitting, the resulting lane line is smoother.
  • the display screen of the computer device may be a liquid crystal display or an electronic ink display screen
  • the input/output device of the computer device may be a touch layer covered on the display screen, or a button, a trackball or a touchpad provided on the computer device housing. It can also be an external keyboard, trackpad or mouse.
  • the computer device shown in FIG. 17 can perform the step of acquiring and dividing the three-dimensional point cloud data of the road to be processed by the point cloud data processing module in the lane line processing device as shown in FIG.
  • the image processing module performs the steps of respectively processing the segmented three-dimensional point cloud data to obtain a two-dimensional grayscale image of each segment of the three-dimensional point cloud data.
  • the computer device may perform the step of extracting the lane line region and the lane line virtual property in each two-dimensional gray image by using the pre-trained deep neural network model through the extraction module, and obtaining the lane line region map corresponding to each two-dimensional gray image. .
  • the computer device can perform the step of splicing the lane line region maps according to the three-dimensional point cloud data corresponding to the lane line region map and the lane line virtual property through the splicing module to obtain the lane line data of the road to be processed.
  • a computer device includes a memory and a processor, the memory storing a computer program that, when executed by the processor, causes the processor to perform the following steps:
  • the three-dimensional point cloud data of each segment is processed to obtain a two-dimensional gray image of each segment of the three-dimensional point cloud data;
  • the lane line region and the lane line virtual property in each two-dimensional gray image are respectively extracted, and the lane line region map corresponding to each two-dimensional gray image is obtained;
  • the lane line area map is spliced to obtain the lane line data of the road to be processed.
  • the lane line area map is spliced to obtain lane line data of the road to be processed, including:
  • the three-dimensional coordinate information corresponding to the key point is obtained;
  • the key point maps of each lane line are spliced to obtain the lane line data of the road to be processed.
  • the key points of the lane line area in the lane line area map are sampled, and the key line map of the lane line area map is obtained, including:
  • the lane line area is processed into a single-pixel lane line, and a lane line map corresponding to each lane line area map is obtained;
  • the key point maps of each lane line are spliced to obtain the lane line data of the road to be processed, and further includes:
  • the noise lane line in the lane line key map is filtered according to the lane line spacing and the lane line length in the lane line key map.
  • the segmented three-dimensional point cloud data is processed separately to obtain a two-dimensional grayscale image of each segment of the three-dimensional point cloud data, including:
  • Each of the two-dimensional images is subjected to gradation processing to obtain a corresponding two-dimensional grayscale image.
  • orthogonally projecting the segmented three-dimensional point cloud data to obtain a two-dimensional image corresponding to each segment of the three-dimensional point cloud data and further comprising: a motion trajectory of the map collection tool according to the collected three-dimensional point cloud data Direction, coordinate transformation of 3D point cloud data.
  • the processor when the computer program is executed by the processor, the processor further causes the following steps:
  • the lane line is broken and the separation interval is obtained, and the lane line data of the separation section is obtained.
  • the lane line area is processed into a single-pixel lane line, and the lane line map corresponding to each lane line area map is obtained, including: for each lane line area map, the lane line area is deleted according to the eight-way principle. Part of the pixel points retains the skeleton of the lane line area map, and the lane line map corresponding to each lane line area map is obtained.
  • a computer readable storage medium storing a computer program, when executed by a processor, causes the processor to perform the following steps:
  • the three-dimensional point cloud data of each segment is processed to obtain a two-dimensional gray image of each segment of the three-dimensional point cloud data;
  • the lane line region and the lane line virtual property in each two-dimensional gray image are respectively extracted, and the lane line region map corresponding to each two-dimensional gray image is obtained;
  • the lane line area map is spliced to obtain lane line data of the road to be processed, including:
  • the three-dimensional coordinate information corresponding to the key point is obtained;
  • the key points of the lane line area in the lane line area map are sampled, and the key line map of the lane line area map is obtained, including:
  • the lane line area is processed into a single-pixel lane line, and a lane line map corresponding to each lane line area map is obtained;
  • the key point maps of each lane line are spliced to obtain the lane line data of the road to be processed, and further includes:
  • the noise lane line in the lane line key map is filtered according to the lane line spacing and the lane line length in the lane line key map.
  • the segmented three-dimensional point cloud data is processed separately to obtain a two-dimensional grayscale image of each segment of the three-dimensional point cloud data, including:
  • Each of the two-dimensional images is subjected to gradation processing to obtain a corresponding two-dimensional grayscale image.
  • orthogonally projecting the segmented three-dimensional point cloud data to obtain a two-dimensional image corresponding to each segment of the three-dimensional point cloud data and further comprising: a motion trajectory of the map collection tool according to the collected three-dimensional point cloud data Direction, coordinate transformation of 3D point cloud data.
  • RAM is available in a variety of formats, such as static RAM (SRAM), dynamic RAM (DRAM), synchronous DRAM (SDRAM), double data rate SDRAM (DDRSDRAM), enhanced SDRAM (ESDRAM), synchronization chain.
  • SRAM static RAM
  • DRAM dynamic RAM
  • SDRAM synchronous DRAM
  • DDRSDRAM double data rate SDRAM
  • ESDRAM enhanced SDRAM
  • Synchlink DRAM SLDRAM
  • Memory Bus Radbus
  • RDRAM Direct RAM
  • DRAM Direct Memory Bus Dynamic RAM
  • RDRAM Memory Bus Dynamic RAM

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种车道线数据处理的方法，包括：获取并分割待处理道路的三维点云数据；分别对分割后的各段三维点云数据进行处理，得到各段三维点云数据的二维灰度图像；利用预先训练的深度神经网络模型，分别提取各二维灰度图像中的车道线区域和车道线虚实属性，得到对应的车道线区域图；根据车道线区域图对应的三维点云数据和车道线虚实属性，对各车道线区域图进行拼接，得到待处理道路的车道线数据。

Description

车道线数据处理方法、装置、计算机设备和存储介质
本申请要求于2018年03月09日提交中国专利局、申请号为201810194981.6、发明名称为“车道线数据处理方法、装置、计算机设备和存储介质”的中国专利申请的优先权，其全部内容通过引用纳入本申请中。
技术领域
本申请涉及地图数据处理技术领域，特别是涉及一种车道线数据处理方法、装置、计算机设备和存储介质。
背景技术
高精度地图是自动驾驶的一项核心内容，它为汽车提供了丰富的道路信息，辅助汽车进行定位、导航和决策。车道线是车道上最核心的数据，是高精度地图中最重要的一项内容，它是保证车辆正确行使和自动驾驶安全的前提。
目前，车道线依赖于人工提取。人工提取车道线是完全由人工编辑，在点云数据上逐点绘制车道线。随着高精度地图逐渐开始量产，对车道线等地图要素的生产效率提出了更高的要求。
发明内容
根据本申请的各种实施例，提供一种车道线数据处理方法、装置、计算机设备和存储介质。
一种车道线数据处理方法，包括：
获取并分割待处理道路的三维点云数据；
分别对分割后的各段三维点云数据进行处理，得到各段三维点云数据的二维灰度图像；
利用预先训练的深度神经网络模型，分别提取各所述二维灰度图像中的车道线区域和车道线虚实属性，得到各二维灰度图像对应的车道线区域图；
根据所述车道线区域图对应的三维点云数据和所述车道线虚实属性，对各所述车道线区域图进行拼接，得到所述待处理道路的车道线数据。
在其中一个实施例中，所述根据所述车道线区域图对应的三维点云数据和所述车道线虚实属性，对各所述车道线区域图进行拼接，得到所述待处理道路的车道线数据，包括：
采样所述车道线区域图中车道线区域的关键点，得到所述车道线区域图的车道线关键点图；
根据二维灰度图像与三维点云数据的空间映射关系，得到所述关键点对应的三维坐标信息；
根据各关键点的三维坐标信息和车道线的虚实属性，对各所述车道线关键点图进行拼接，得到待处理道路的车道线数据。
在其中一个实施例中，所述采样所述车道线区域图中车道线区域的关键点，得到所述车道线区域图的车道线关键点图，包括：
对各所述车道线区域图，分别将所述车道线区域处理为单像素的车道线，得到各车道线区域图对应的车道线图；
采样各所述车道线图中车道线的关键点，得到所述车道线图的车道线关键点图。
在其中一个实施例中，所述根据各关键点的三维坐标信息和车道线的虚实属性，对各所述车道线关键点图进行拼接，得到所述待处理道路的车道线数据之前，还包括：
根据车道线间距和车道线关键点图中的车道线长度，过滤所述车道线关键点图中的噪声车道线。
在其中一个实施例中，所述分别对分割后的各段三维点云数据进行处理，得到各段三维点云数据的二维灰度图像，包括：
对分割的各段三维点云数据进行正交投影，得到各段三维点云数据对应 的二维图像；
分别对各所述二维图像进行灰度化处理，得到对应的二维灰度图像。
在其中一个实施例中，所述对分割的各段三维点云数据进行正交投影，得到各段三维点云数据对应的二维图像之前，还包括：根据采集三维点云数据的地图采集工具的行动轨迹方向，将所述三维点云数据进行坐标转换。
在其中一个实施例中，所述方法还包括：
根据车道线的数量、各车道线的起始位置和结束位置，对拼接得到车道线打断分隔区间，得到分隔区间的车道线数据。
在其中一个实施例中，所述对各所述车道线区域图，分别将所述车道线区域处理为单像素的车道线，得到各车道线区域图对应的车道线图，包括：对各所述车道线区域图，根据八连通原则，删除车道线区域的部分像素点保留所述车道线区域图的骨架，得到各车道线区域图对应的车道线图。
一种车道线数据处理装置，包括：
点云数据处理模块，用于获取并分割待处理道路的三维点云数据；
图像处理模块，用于分别对分割后的各段三维点云数据进行处理，得到各段三维点云数据的二维灰度图像；
提取模块，用于利用预先训练的深度神经网络模型，分别提取各所述二维灰度图像中的车道线区域和车道线虚实属性，得到各二维灰度图像对应的车道线区域图；
拼接模块，用于根据所述车道线区域图对应的三维点云数据和所述车道线虚实属性，对各所述车道线区域图进行拼接，得到所述待处理道路的车道线数据。
在其中一个实施例中，所述拼接模块包括：
关键点处理模块，用于采样所述车道线区域图中车道线区域的关键点，得到所述车道线区域图的车道线关键点图；
关键点坐标获取模块，用于根据二维灰度图像与三维点云数据的空间映射关系，得到所述关键点对应的三维坐标信息；
拼接处理模块，用于根据各关键点的三维坐标信息和车道线的虚实属性，对各所述车道线关键点图进行拼接，得到待处理道路的车道线数据。
在其中一个实施例中，所述图像处理模块包括：
投影模块，用于对分割的各段三维点云数据进行正交投影，得到各段三维点云数据对应的二维图像；
灰度化处理模块，用于分别对各所述二维图像进行灰度化处理，得到对应的二维灰度图像。
在其中一个实施例中，所述图像处理模块还包括：
坐标转换模块，用于根据采集三维点云数据的地图采集工具的行动轨迹方向，将所述三维点云数据进行坐标转换。
在其中一个实施例中，所述装置还包括：
打断模块，用于根据车道线的数量、各车道线的起始位置和结束位置，对拼接得到车道线打断分隔区间，得到分隔区间的车道线数据。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述方法的步骤。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。
本申请的一个或多个实施例的细节在下面的附图和描述中提出。本申请的其它特征、目的和优点将因说明书、附图以及权利要求书的说明而得到体现。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，明显地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为一个实施例中车道线数据处理方法的应用环境图；
图2为一个实施例中车道线数据处理方法的流程示意图；
图3为一个实施例中某一段路对应的二维灰度图像；
图4为一个实施例中车道线提取结果的示意图；
图5为一个实施例中深度神经网络模型的结构示意图；
图6为一个实施例中分别对分割后的各段三维点云数据进行处理，得到各段三维点云数据的二维灰度图像的步骤的流程示意图；
图7为一个实施例中根据车道线区域图对应的三维点云数据和车道线虚实属性，对各车道线区域图进行拼接，得到待处理道路的车道线数据的步骤的流程示意图；
图8为一个实施例中对图4的车道线区域图进行处理，得到的车道线图；
图9为另一个实施例中对图8的车道线图中的各车道线进行采样关键点，得到车道线关键点图；
图10为一个实施例中拼接两个车道线关键点图的过程示意图；
图11为一个实施例中对图10所示的拼接的车道线打断分隔区间的过程示意图；
图12为一个实施例中车道线编辑系统显示的提取的车道线的示意图；
图13为一个实施例中车道线数据处理方法的流程示意图；
图14为车道线编辑系统的界面示意图；
图15为一个实施例中车道线数据处理装置的结构框图；
图16为另一个实施例中车道线数据处理装置的结构框图；
图17为一个实施例中计算机设备的结构框图。
具体实施方式
以下结合附图及实施例，对本申请进行进一步详细说明。
图1为一个实施例中车道线数据处理方法的应用环境图。参照图1，计算机设备102与智能行驶设备104通过网络连接，计算机设备102用于制作 高精度地图。智能行驶设备104通过网络从计算机设备102中下载高精度地图，实现智能驾驶。智能行驶设备可以为智能车辆或机器人等计算机设备102运行车道线编辑系统，用于制作高精度地图。地图编辑人员通过操作计算机设备102，能够在计算机设备102上加载并展示车道线。采用本申请的车道线数据处理方法得到的车道线数据，车道线数据由关键点表示。地图编辑人员通过车道线编辑系统方便地查看车道线提取结果，对于提取精度符合要求的车道线数据，编辑人员无需修改，大大减少了编辑人员的工作量，提升了编辑效率。计算机设备102具体可以是台式终端或笔记本电脑等。网络可为任意通信协议的有线或无线网络。其中智能行驶设备104与计算机设备102虽然在图示中显示为两个独立元件，但是在另外实施例中也可将计算机设备102集成到智能行驶设备104中。
如图2所示，在一个实施例中，提供了一种车道线数据处理方法。本实施例主要以该方法应用于上述图1中的计算机设备102来举例说明。参照图2，该车道线数据处理方法具体包括如下步骤：
S202，获取并分割待处理道路的三维点云数据。
待处理道路是地图编辑人员的目标处理对象，是一条具体的公路，例如编号为G21的高速公路。待处理道路的三维点云数据利用地图采集工具采集得到。地图采集工具包括无人机和地图采集车等。地图采集工具配置有激光扫描仪，通过在道路行驶中，利用激光扫描仪得到的道路表面的点数据集合，即道路的三维点云数据。根据激光测量原理得到的三维点云数据，包括三维坐标和激光反射强度。
具体地，获取并分割待处理道路的三维点云数据的步骤，包括：获取待道理道路的三维点云数据，将三维点云数据分割为多段。
通常地图采集工具，例如地图采集车采集的三维激光点云数据是该道路整体的点云数据，因数据量大，经常无法在一张灰度图上表示。为此，本实施例中，将待处理道路的三维点云数据分割为多段。具体地，可以将每固定长度道路的三维点云数据分割为一段，例如，每45m道路的三维点云数据分 割为一段。
S204，分别对分割后的各段三维点云数据进行处理，得到各段三维点云数据的二维灰度图像。
本实施例中，将待处理道路的三维点云数据分割为多段，分别对分割后的各段三维点云数据进行处理。具体地，将每段三维点云数据投影至一个灰度图上，从而得到各段三维点云数据的二维灰度图像。各二维灰度图像的道路为连续的，能够拼接为完整道路的二维灰度图像。一个实施例中，道路的某一段路对应的二维灰度图像如图3所示。
S206，利用预先训练的深度神经网络模型，分别提取各二维灰度图像中的车道线区域和车道线虚实属性，得到各二维灰度图像对应的车道线区域图。
其中，车道线区域是指二维灰度图像中车道线所构成的区域，通过将二维灰度图像中与车道线对应的连通的像素提取为区域，得到车道线区域。
车道线虚实属性包括虚线和实线。在交通标线中，虚线的车道线指示可临时压线行驶。实线的车道线用于起分隔作用，例如双黄线划于路段中，用以分隔对向行驶的交通。
本实施例中，预先训练用于提取车道线区域和车道线虚实属性的深度神经网络模型。深度神经网络模型的训练基于大量标注的二维灰度图像进行。模型训练过程中的训练样本，对于实线，直接标注实线位置；对于虚线，将两段虚线之间的空白处也进行连接，得到连续的线，作为标注结果。这样有利于深度神经网络去学习车道线的前后延伸关系，从而过滤掉一些文字、地面标志等噪声。
在模型训练时，利用标注好的车道线样本对深度神经网络模型进行训练，待模型收敛后保存。预测阶段输入待处理道路的二维灰度图像，模型从二维灰度图像中提取得到车道线区域和虚实属性。一个实施例的车道线提取结果如图4所示。在实际的处理中，可使用不同颜色的线表示实线和虚线。如图4所示，绿色线条表示虚线车道线，红色线条表示实线车道线。
具体地，在一个实施例中深度神经网络模型采用VGG基础网络 (VGGNet)和空间金字塔池化的结构，网络层间采用了膨胀卷积，上采样使用反卷积操作，损失函数采用加权的交叉熵损失，深度神经网络模型的结构如图5所示。
具体地，利用深度神经网络模型，提取二维灰度图像中的车道线区域和车道线虚实属性的过程如下：
首先输入大小为512x512的点云灰度图像，经过两个卷积层得到64个512x512的特征图，并且经过一个池化层进行降采样，得到64个大小为256x256的特征图。然后继续通过两个卷积层得到128个256x256的特征图，池化得到128个128x128的特征图。接着通过三个卷积层得到256个128x128的特征图，池化得到256个64x64的特征图。然后继续通过三个卷积层得到512个64x64的特征图，并进行一个步长为1的池化层操作，从而不缩小特征图大小。接着通过三个hole(孔洞)大小为4的膨胀卷积层，得到512个64x64大小的特征图。然后信息分4路进行传递，每一路都是经过一个膨胀卷积层、两个常规卷积层得到3个64x64的特征图，这4路膨胀卷积层的hole大小分别为6,12,18,24。然后将4路的特征图进行相加，得到3个64x64的特征图，每个特征图代表属于某个类别的置信度，一共有三个类别，分别是背景类、虚车道线类和实车道线类。最后，将3个64x64的特征图经过8倍的反卷积上采样操作，得到3个512x512大小的特征图，与输入图像大小相同。对特征图上的每个位置，3个通道中值最大的那个类别，就是输入图像对应位置所属的类别。随着网络层数的增加，特征图的个数逐渐增加，特征图的大小逐渐减少，这样网络能够提取更高层的语义信息，同时降低网络的参数数量。多路信息在不同hole尺寸上进行卷积(即空间金字塔池化)，可以得到在不同大小感受野上的预测结果，小感受野有利于局部区域精细化的预测，而大感受野有利于结合全局语义信息进行预测，整合不同感受野上的预测结果，可以得到更精确、鲁棒的预测结果。
在其它的实施例中，深度神经网络模型也可以采用其它的神经网络结构，如卷积神经网络，包括卷积层、采样层、全连接层和输出层，卷积层的输入 和输出都是多重矩阵。卷积层包含多个卷积核，每个卷积核都是一个矩阵，每一个卷积核相当于是一个滤波器，它可以输出一张特定的特征图，每张特征图也就是卷积层的一个输出单元。然后通过一个非线性激活函数(如ReLU)进一步把特征图传递到下一层。卷积层的作用是从前一层的输出中检测的局部特征，不同的是，采样层的作用是把含义相似的特征合并成相同特征，以及把位置上相邻的特征合并到更接近的位置。在多层卷积和填充后，需要以类的形式输出。卷积和池化层只会提取特征，并减少原始图像带来的参数。然而，为了生成最终的输出，需要应用全连接层来生成一个等于所需要的类的数量的输出。本申请中一共有三个类别，分别是背景类、虚车道线类和实车道线类。输出层具有类似分类交叉熵的损失函数，用于计算预测误差。卷积神经网络的梯度计算和参数训练过程和常规深度网络相同，训练的是卷积核中的所有参数。
本实施例中，利用深度神经网络模型提取更大视野范围内的车道线，与普通的机器学习方法相比，不易受到点云中的干扰项(地面箭头、文字、车等)影响，具有更强的鲁棒性。
S208，根据车道线区域图对应的三维点云数据和车道线虚实属性，对各车道线区域图进行拼接，得到待处理道路的车道线数据。
利用二维灰度图像和三维点云数据的空间映射关系，得到各车道线区域图对应的三维点云数据。道路的三维点云数据包括三维坐标。根据三维坐标和车道线的虚实属性，将相邻的车道线区域图进行拼接。具体地，根据三维坐标确定两幅车道线区域图是否相邻(即道路是否连续)。对于相邻的两幅车道线区域图，每幅图取一条车道线区域进行配对。若配对的两幅车道线的位置连续(坐标连续)，且车道线区域的虚实属性相同，则配对成功，认为这两幅车道线区域图中的这两条车道线区域可以拼接为一条长的车道线区域。采用该方法，依次拼接全部的车道线区域图，得到待处理道路对应的完整车道线区域图。
上述车道线数据处理方法，获取并分割待处理道路的三维点云数据，分 别对分割后的各段三维点云数据进行处理，得到各段三维点云数据的二维灰度图像，将各二维灰度图像输入预先训练的神经网络模型，提取车道线区域和车道线的虚实属性，由于待处理道路的三维点云数据包括三维坐标，故而根据车道线区域对应的三维点云数据和车道线虚实属性能够对各车道区域图进行拼接，得到待处理道路完整的车道线数据。并且，利用预先训练的深度神经网络模型提取车道线区域和车道线虚实属性，一方面获取了车道线的虚实属性丰富了车道线信息，节省了人工标注成本，提高了处理效率。另一方面，不易受点云数据中的诸如文字、车等干扰项的影响，提高了车道线区域提取的精度。
在另一个实施例中，如图6所示，分别对分割后的各段三维点云数据进行处理，得到各段三维点云数据的二维灰度图像的步骤，包括：
S602，对分割的各段三维点云数据进行正交投影，得到各段三维点云数据对应的二维图像。
正交投影是平行投影的一种，此时投影线垂直于投影平面，正交投影不具有透视特性，但可直观反映空间中物体的真实尺寸。激光点云通过正交投影得到的二维图像，其像素值与点云的反射率值成正比。本实施例中，将每段三维点云数据投影至一个二维图像上，一个二维图像上显示对应数据段的道路，例如一段45m的道路，从而得到待处理道路的三维点云数据对应的多张连续的二维图像。
S604，分别对各二维图像进行灰度化处理，得到对应的二维灰度图像。
具体地，三维点云数据包括激光反射强度，通过将点云的反射率值归一化为0～255的灰度值，得到二维灰度图像。
一个实施例中，道路的某一段路对应的二维灰度图像如图3所示。
本实施例中，利用地图采集工具采集待处理道路的三维点云数据，并基于三维点云数据处理得到待处理道路的二维灰度图像，为深度神经网络模型提取车道线提供基础。
为了使二维图像的车道线尽量保持垂直，以便后续更好地进行车道线识 别，在一个实施例中，在对分割的各段三维点云数据进行正交投影前，还包括：根据采集三维点云数据的地图采集工具的行动轨迹方向，将三维点云数据进行坐标转换。
具体地，转换的公式为：
Figure PCTCN2019076067-appb-000001
其中，θ表示地图采集工具的转向角，
Figure PCTCN2019076067-appb-000002
表示转换后的横坐标，
Figure PCTCN2019076067-appb-000003
表示转换后的纵坐标，X表示转换前的横坐标，Y表示转换前的纵坐标。
根据地图采集工具的行动轨迹方向将三维点云数据的横坐标和纵坐标进行转换后，修正了地图采集车转向采集的弯曲的三维数据，使进行正交投影后得到的二维图像中的车道线保持垂直，为深度神经网络模型识别车道线提供便利。
在一个实施例中，如图7所示，根据车道线区域图对应的三维点云数据和车道线虚实属性，对各车道线区域图进行拼接，得到待处理道路的车道线数据的步骤，包括：
S702，采样车道线区域图中车道线区域的关键点，得到车道线区域图的车道线关键点图。
关键点即对车道线区域采样后得到的稀疏的点。在实际处理中，车道线区域为二维图度图像中与车道线对应的连通的像素，在宽度上占用了多块像素块，即提取的车道线区域具有较宽的线宽，用线条表示的车道线数据量庞大，直接用于高精度地图表示将导致地图数据量大，加载显示缓慢等问题。本实施例中，对每条车道线区域进行采样，得到车道线区域的关键点。其中，采样为等间距采样，例如每隔两米采样一个点。
对于使用深度神经网络模型粗提取的车道线区域图，可进一步细化，以用于高精度地图显示。具体地，采样车道线区域图中车道线区域的关键点，得到车道线区域图的车道线关键点图的步骤，包括：对各所述车道线区域图，分别将所述车道线区域处理为单像素的车道线，得到各车道线区域图对应的 车道线图，采样各所述车道线图中车道线的关键点，得到所述车道线图的车道线关键点图。
车道线区域是指二维灰度图像中车道线所构成的区域，通过将二维灰度图像中与车道线对应的连通的像素提取为区域，得到车道线区域。一个实施例的车道线区域提取结果如图4所示。提取的车道线区域在宽度上占用了多个像素块。而多个像素块的车道线区域不便于后续的计算。为此，本实施中，将车道线区域处理为单像素的车道线。
具体地，对各车道线区域图，根据八连通原则，删除车道线区域的部分像素点保留车道线区域图的骨架，得到各车道线区域图对应的车道线图。
骨架，是图像的中轴，通过对图像细化得到。车道线区域图的骨架，即车道线区域图的中轴。例如，一个长方形的骨架，是它的长方向上的中轴，圆的骨架是圆心。骨架通常为单像素。
本申请中，通过对车道细化，得到车道线区域图的骨架。细化是指从原来的图中去掉一些点，但仍要保持原来的形状。判断一个点是否去掉是以8个原邻点(八连通)的情况来作为判断依据的，具体的判断依据包括：1、内部点不能删除；2、孤立点不能删除；3、直线端点不能删除，4、如果P点是边界点，去掉P点后，如果连通分量不增加，则P点可删除。采用8连通的细化方法，从8个方向同时对车道线进行压缩，只保留中心像素，剔除多余的像素，剩下单像素表示的车道线。对图4的车道线区域图进行处理，得到的车道线图如图8所示。
关键点即对车道线采样后得到的稀疏的点。在实际处理中，用线条表示的车道线数据量庞大，直接用于高精度地图表示将导致地图数据量大，加载显示缓慢等问题。本实施例中，对每条车道线进行采样，得到车道线的关键点。其中，采样为等间距采样，例如每隔两米采样一个点。图9为一个实施例中对图8的车道线图中的各车道线进行采样关键点，得到车道线关键点图。
S704，根据二维灰度图像与三维点云数据的空间映射关系，得到关键点对应的三维坐标信息。
车道线采样完毕后仍是二维形式，需要将其转换为三维形式，方便对车道线数据进行后续的融合拼接处理。由于二维灰度图像是对三维点云数据进行处理得到，因而三维点云数据与二维灰度图像之间存在空间映射关系。本实施例中，利用这种空间映射关系，根据关键点对应的三维点云数据，得到关键点的三维坐标信息。根据二维图像数据和三维激光点云数据的空间映射关系，将二维车道线采样结果转换为三维散点数据。
S706，根据各关键点的三维坐标信息和车道线的虚实属性，对各车道线关键点图进行拼接，得到待处理道路的车道线数据。
如前面所述的，为了便于深度神经网络模型的提取车道线区域和车道线虚实属性，基于三维点云数据，分割待处理道路，处理得到多个连续的待处理道路的二维灰度图像。因此，需要将各二维灰度图像对应的车道线关键点图进行拼接，得到待处理道路的完整的车道线。
具体地，根据三维坐标确定两幅车道线区域图是否相邻(即道路是否连续)。对于相邻的两幅车道线区域图，每幅图取一条车道线区域进行配对。若配对的两幅车道线的位置连续(坐标连接)，且车道线区域的虚实属性相同，则配对成为，认为这两幅车道线区域图中的这两条车道线区域可以拼接为一条长的车道线区域。采用该方法，依次拼接全部的车道线区域图，得到待处理道路对应的完整车道线区域图。一个实施例中拼接两个车道线关键点图的示意图如图10所示。
本实施例中，通过车道线细化、车道线采样、基于关键点拼接等后处理操作，充分考虑了车道线的结构特征以及其三维空间中的连续性，提高了车道线识别的准确率。
在另一个实施例中，根据各关键点的三维坐标信息和车道线的虚实属性，对各车道线关键点图进行拼接，得到待处理道路的车道线数据之前，还包括：根据车道线间距和车道线关键点图中的车道线长度，过滤车道线关键点图中的噪声车道线。
噪声车道线是指根据车道线间距和该车道线关键图中的车道线长度，确 定的非实际车道线。其中，车道线间距是该道路的实际车道线间距。不同标准的道路，车道线间距的标准是统一的。例如，普通车道线间距为3.75米，紧急停车带宽度为3.5米。车道线关键点图中的车道线长度与待处理的三维点云数据的分割有关，通常将待处理道路每45米的三维点云数据分割为一段，则车道线关键点图中的车道线的长度为45米。
通过过滤噪声车道线，能够提高车道线关键点图的拼接效率和准确率。
在另一个实施例中，在对各车道线区域图，分别将所述车道线区域处理为单像素的车道线，得到各车道线区域图对应的车道线图的步骤后，还包括：对提取的各车道线进行曲线拟合。
曲线拟合是指将曲线直线化。本实施例中，为了使得到的车道线更加平滑，采用二维曲线拟合方法对车道线进行曲线拟合，曲线拟合方法包括但不限于基于多项式方程的最小二乘拟合方法和基于Ransac的曲线拟合方法等。
在另一个实施例中，在根据车道线区域图对应的三维点云数据和车道线虚实属性，对各车道线区域图进行拼接，得到待处理道路的车道线数据的步骤之后，包括：根据车道线的数量、各车道线的起始位置和结束位置，对拼接得到车道线打断分隔区间，得到分隔区间的车道线数据。
其中，区间是对车道线打断后，由打断线分割得到的多个区域。对拼接的完整的车道线打段分隔区间后，同一区间的车道线的数量不变化，且车道线的起始位置和结束位置应当在同一水平线上。对图10所示的拼接的车道线打断分隔区间，得到的示意图如图11所示。如图11所示，共有三个区间。
具体地，首先，根据车道线的超始位置和结束位置，对拼接的完整车段线分隔打断，保证每个区间的车道线的超始位置和结束位置在同一水平线上，并对打断位置进行平滑处理。
其次，检测每个区间内的车道线数目是否有变化，若有变化，则以相交点作为打断点进行打段，将一个区间变成两个区间。在实际应用中，在高速公路的出入口，由于增加了出口和入口，会导致车道线数量变化的情况。在出口为例，以出口和相邻车道线的交点为打断点，将前点区间打断。
打断后分隔区间的车道线数据是结构化的，能够体现道路结构。通过区间的划分，能够明确每个区间的车道线的结构，例如，位于高速入口，位于高速出口或是位于岔路口，方便为导航、语音提示或自动驾驶提供决定。
在另一个实施例中，分开存储各区间的车道线数据，便于分区间将提取的车道线数据加载至车道线编辑系统，以及地图编辑人员对车道线数据的处理。一个实施例中，车道线编辑系统显示的提取的车道线的示意图如图12所示。
图13为一个实施例中车道线数据处理方法的流程示意图。
如图13所示，车道线数据处理方法包括：
S1302，获取待处理道路的三维点云数据。
待处理道路的三维点云数据利用地图采集工具采集得到。地图采集工具配置有激光扫描仪，通过在道路行驶中，利用激光扫描仪得到的道路表面的点数据集合，即道路的三维点云数据。根据激光测量原理得到的点云数据，包括三维坐标和激光反射强度。
S1304，将三维点云数据分割为多段数据。
具体地，可以将每固定长度道路的三维点云数据分割为一段，例如，每45m道路的三维点云数据分割为一段。
S1306，根据采集三维点云数据的地图采集工具的行动轨迹方向，将三维点云数据进行坐标转换。
具体地，转换的公式为：
Figure PCTCN2019076067-appb-000004
其中，θ表示地图采集工具的转向角，
Figure PCTCN2019076067-appb-000005
表示转换后的横坐标，
Figure PCTCN2019076067-appb-000006
表示转换后的纵坐标，X表示转换前的横坐标，Y表示转换前的纵坐标。
根据地图采集工具的行动轨迹方向将三维点云数据的横坐标和纵坐标进行转换后，修正了地图采集车转向采集的弯曲的三维数据，使进行正交投影后得到的二维图像中的车道线保持垂直，为深度神经网络模型识别车道线提 供便利。
S1308，对转换后分割的各段三维点云数据进行正交投影，得到各段三维点云数据对应的二维图像。
激光点云通过正交投影得到的二维图像，其像素值与点云的反射率值成正比。本实施例中，将每段三维点云数据投影至一个二维图像上，一个二维图像上显示对应数据段的道路，从而得到待处理道路的三维点云数据对应的多张连续的二维图像。
S1310，分别对各二维图像进行灰度化处理，得到对应的二维灰度图像。
一个实施例中，道路的某一段路对应的二维灰度图像如图3所示。
S1312，利用预先训练的深度神经网络模型,分别提取各二维灰度图像中的车道线区域和车道线虚实属性，得到对应的车道线区域图。
车道线虚实属性包括虚线和实线。本实施例中，预先训练用于提取车道线区域和车道线虚实属于的深度神经网络模型。深度神经网络模型的训练基于大量标注的二维灰度图像进行。模型训练过程中的训练样本，对于实线，直接标注实线位置；对于虚线，将两段虚线之间的空白处也进行连接，得到连续的线，作为标注结果。这样有利于神经网络去学习车道线的前后延伸关系，从而过滤掉一些文字、地面标志等噪声。
在模型训练时，利用标注好的车道线样本对深度神经网络模型进行训练，待模型收敛后保存。预测阶段输入待处理道路的二维灰度图像，模型从二维灰度图像中提取得到车道线区域和虚实属性。一个实施例的车道线提取结果如图4所示。
具体地，深度神经网络模型采用VGG基础网络和空间金字塔池化的结构，网络层间采用了膨胀卷积，上采样使用反卷积操作，损失函数采用加权的交叉熵损失，深度神经网络模型的结构如图5所示。
本实施例中，利用深度神经网络模型提取更大视野范围内的车道线，与普通的机器学习方法相比，不易受到点云中的干扰项(地面箭头、文字、车等)影响，具有更强的鲁棒性。
S1314，对各车道线区域图，分别将车道线区域处理为单像素的车道线，得到各车道线区域图对应的车道线图。
一个实施例的车道线区域提取结果如图4所示。提取的车道线区域占用了多个像素块。而多个像素块的车道线区域不便于后续的计算。为此，本实施中，将车道线区域处理为单像素的车道线。
具体地，对各车道线区域图，根据八连通原则，删除车道线区域的部分像素点保留车道线区域图的骨架，得到各车道线区域图对应的车道线图。对图4的车道线区域图进行处理，得到的车道线图如图8所示。
S1316，对提取的各车道线进行曲线拟合。
曲线拟合是指将曲线直线化。本实施例中，为了使得到的车道线更加平滑，采用二维曲线拟合方法对车道线进行曲线拟合，曲线拟合方法包括但不限于基于多项式方程的最小二乘拟合方法和基于Ransac的曲线拟合方法等。
S1318，采样各车道线图中车道线的关键点，得到对应的车道线关键点图。
关键点即对车道线采样后得到的稀疏的点。本实施例中，对每条车道线进行采样，得到车道线的关键点。其中，采样为等间距采样，例如每隔两米采样一个点。图9为一个实施例中对图8的车道线图中的各车道线进行采样关键点，得到车道线关键点图。
S1320，根据二维灰度图像与三维点云数据的空间映射关系，得到关键点对应的三维坐标信息。
车道线采样完毕后仍是二维形式，需要将其转换为三维形式，方便对车道线数据进行后续的融合拼接处理。由于二维灰度图像是对三维点云数据进行处理得到，因而三维点云数据与二维灰度图像之间存在空间映射关系。本实施例中，利用这种空间映射关系，根据关键点对应的三维点云数据，得到关键点的三维坐标信息。根据二维图像数据和三维激光点云数据的空间映射关系，将二维车道线采样结果转换为三维散点数据。
S1322，根据车道线间距和车道线关键点图中的车道线长度，过滤车道线关键点图中的噪声车道线。
噪声车道线是指根据车道线间距和该车道线关键图中的车道线长度，确定的非实际车道线。其中，车道线间距是该道路的实际车道线间距。不同标准的道路，车道线间距的标准是统一的。例如，普通车道线间距为3.75米，紧急停车带宽度为3.5米。车道线关键点图中的车道线长度与待处理的三维点云数据的分割有关，通常将待处理道路每45米的三维点云数据分割为一段，则车道线关键点图中的车道线的长度为45米。通过过滤噪声车道线，能够提高车道线关键点图的拼接效率和准确率。
S1324，根据各关键点的三维坐标信息和车道线的虚实属性，对各车道线关键点图进行拼接，得到待处理道路的车道线数据。
如前面所述的，为了便于深度神经网络模型的提取车道线区域和车道线虚实属性，基于三维点云数据，分割待处理道路，处理得到多个连续的待处理道路的二维灰度图像。因此，需要将各二维灰度图像对应的车道线关键点图进行拼接，得到待处理道路的完整的车道线。
具体地，根据三维坐标确定两幅车道线区域图是否相邻(即道路是否连续)。对于相邻的两幅车道线区域图，每幅图取一条车道线区域进行配对。若配对的两幅车道线的位置连续(坐标连接)，且车道线区域的虚实属性相同，则配对成为，认为这两幅车道线区域图中的这两条车道线区域可以拼接为一条长的车道线区域。采用该方法，依次拼接全部的车道线区域图，得到待处理道路对应的完整车道线区域图。一个实施例中拼接两个车道线关键点图的示意图如图10所示。
S1326，根据车道线的数量、各车道线的起始位置和结束位置，对拼接得到车道线打断分隔区间，得到分隔区间的车道线数据。
其中，区间是对车道线打断后，由打断线分割得到的多个区域。对拼接的完整的车道线打段分隔区间后，同一区间的车道线的数量应当不变化，且车道线的起始位置和结束位置应当在同一水平线上。对图10所示的拼接的车道线打断分隔区间，得到的示意图如图11所示。如图11所示，共有三个区间，分别为区间1，区间2，区间3。具体地，如图11所示，拼接的车道线 数量车辆行驶方向数量发生变化，由三条车道线增加为六条车道线，随后又减少为五条车道线。根据车道线打断分隔区间的原则，根据车道线的数量、车道线的起始位置和结束位置，将其打断分为三个区间。其中，区间1的车道线为五条，区间2的车道线为六条，区间3的车道线为三条。
结构化的车道线数据是指体现道路结构的车道线数据，具体为分区间的车道线数据。通过区间的划分，能够明确每个区间的车道线的结构，例如，位于高速入口，位于高速出口或是位于岔路口，方便为导航、语音提示或自动驾驶提供决策。一个实施例中，车道线编辑系统显示的提取的车道线的示意图如图12所示，车道线编辑系统按序分别加载分区间1、区间2和区间3的车道线数据并拼接，识别每一条车道线的虚实属性并显示，根据车道线的虚实属性以及每个区间的车道线数量变化，标注车道线的结构，如区间2的车道线4为高速公路出口的车道线，区间2的车道线5为应急车道的车道线。
S1328，分开存储各区间的车道线数据。
分开存储各区间的车道线数据，便于分区间将提取的车道线数据加载至车道线编辑系统，以及地图编辑对车道线数据的处理。
采用上述的车道线数据处理方法，通过深度神经网络提取更大视野范围内的车道线，不易受到点云中的干扰项(地面箭头、文字、车等)影响，具有更强的鲁棒性。通过深度神经网络对车道线进行粗分割，迅速定位出车道线的候选区域，可以大大降低后续处理数据量，提高处理效率。通过车道线细化、车道线采样、基于关键点拼接等后处理操作，充分考虑了车道线的结构特征以及其三维空间中的连续性，提高了车道线识别的准确率。采用深度神经网络模型可以提取车道线的虚实属性，提供更丰富的车道线信息，节省人工标注的成本。采用该方法能够得到可在高精度地图中表示的车道线数据。该方法可以准确、高效地识别车道线，可用于大规模生产高精度车道线数据。
通过预提取车道线数据，使得编辑人员可以在编辑系统中方便地查看预提取结果。对于提取精度符合要求的车道线数据，编辑人员无需修改，这大大减少了编辑人员的工作量，提升了编辑效率。该方法应用于高精度地图车 道线数据编辑平台中，车道线编辑系统的显示界面如图14所示。用户加载预提取的车道线数据后，编辑系统展示由关键点表示的车道线数据，用户可以通过编辑关键点来改变车道线的位置和形状。
应该理解的是，虽然上述各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以不同于图示的其它顺序执行。而且，上述各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。而且上述各实施例中的某些步骤也可合并为更少步骤来执行。
在一个实施例中，如图15所示，提供一种车道线数据处理装置，包括：
点云数据处理模块1500，用于获取并分割待处理道路的三维点云数据。
图像处理模块1502，用于分别对分割后的各段三维点云数据进行处理，得到各段三维点云数据的二维灰度图像。
提取模块1504，用于利用预先训练的深度神经网络模型，分别提取各二维灰度图像中的车道线区域和车道线虚实属性，得到各二维灰度图像对应的车道线区域图。
拼接模块1506，用于根据车道线区域图对应的三维点云数据和车道线虚实属性，对各车道线区域图进行拼接，得到待处理道路的车道线数据。
上述车道线数据处理装置，获取并分割待处理道路的三维点云数据，分别对分割后的各段三维点云数据进行处理，得到各段三维点云数据的二维灰度图像，将各二维灰度图像输入预先训练的神经网络模型，提取车道线区域和车道线的虚实属性，由于待处理道路的三维点云数据包括三维坐标，故而根据车道线区域对应的三维点云数据和车道线虚实属性能够对各车道区域图 进行拼接，得到待处理道路完整的车道线数据。并且，利用预先训练的深度神经网络模型提取车道线区域和车道线虚实属性，一方面获取了车道线的虚实属性丰富了车道线信息，节省了人工标注成本，提高了处理效率。另一方面，不易受三维点云数据中的诸如文字、车等干扰项的影响，提高了车道线区域提取的精度。
在一个实施例中，如图16所示，拼接模块包括：关键点处理模块、关键点坐标获取模块和拼接处理模块。
关键点处理模块，用于采样车道线区域图中车道线区域的关键点，得到车道线区域图的车道线关键点图。
具体地，关键点处理模块包括投影模块细化模块和采样模块。
细化模块，用于对各车道线区域图，分别将车道线区域处理为单像素的车道线，得到各车道线区域图对应的车道线图。
具体地，对各车道线区域图，根据八连通原则，删除车道线区域的部分像素点保留车道线区域图的骨架，得到各车道线区域图对应的车道线图。
采样模块，用于采样各车道线图中车道线的关键点，得到车道线图的车道线关键点图。
关键点坐标获取模块，用于根据二维灰度图像与三维点云数据的空间映射关系，得到关键点对应的三维坐标信息。
拼接处理模块，用于根据各关键点的三维坐标信息和车道线的虚实属性，对各车道线关键点图进行拼接，得到待处理道路的车道线数据。
本实施例中，通过车道线细化、车道线采样、基于关键点拼接等后处理操作，充分考虑了车道线的结构特征以及其三维空间中的连续性，提高了车道线识别的准确率。
在另一个实施例中，拼接模块还包括：过滤模块，用于根据车道线间距和车道线关键点图中的车道线长度，过滤车道线关键点图中的噪声车道线。
通过过滤噪声车道线，能够提高车道线关键点图的拼接效率和准确率。
在一个实施例中，图像处理模块包括：
投影模块，用于对各段的三维点云数据进行正交投影，得到对应的各二维图像。
灰度化处理模块，用于分别对各二维图像进行灰度化处理，得到对应的二维灰度图像。
本实施例中，利用地图采集工具采集待处理道路的三维点云数据，并基于三维点云数据处理得到待处理道路的二维灰度图像，为深度神经网络模型提取车道线提供基础。
在一个实施例中，图像处理模块还包括：
坐标转换模块，用于根据采集三维点云数据的地图采集工具的行动轨迹方向，将三维点云数据进行坐标转换。
在一个实施例中，装置还包括：
打断模块，用于根据车道线的数量、各车道线的起始位置和结束位置，对拼接得到车道线打断分隔区间，得到分区间的车道线数据。
结构化的车道线数据是指体现道路结构的车道线数据，具体为分区间的车道线数据。通过区间的划分，能够明确每个区间的车道线的结构，例如，位于高速入口，位于高速出口或是位于岔路口，方便为导航、语音提示或自动驾驶提供决定。
在另一个实施例中，拼接模块，还包括曲线拟合模块，用于对提取的各车道线进行曲线拟合。通过曲线拟合，使得到的车道线更加平滑。
图17示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的计算机设备102。如图17所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入/输出装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现车道线数据处理方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行车 道线数据处理方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入/输出装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图17中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的车道线数据处理装置可以实现为一种计算机程序的形式，计算机程序可在如图17所示的计算机设备上运行。计算机设备的存储器中可存储组成该车道线数据处理装置的各个程序模块，比如，图15所示的点云数据处理模块、图像处理模块、提取模块和拼接模块。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的车道线数据处理方法中的步骤。
例如，图17所示的计算机设备可以通过如图15所示的车道线处理装置中的点云数据处理模块执行获取并分割待处理道路的三维点云数据的步骤。图像处理模块执行分别对分割后的各段三维点云数据进行处理，得到各段三维点云数据的二维灰度图像的步骤。计算机设备可通过提取模块执行利用预先训练的深度神经网络模型，分别提取各二维灰度图像中的车道线区域和车道线虚实属性，得到各二维灰度图像对应的车道线区域图的步骤。计算机设备可通过拼接模块执行根据车道线区域图对应的三维点云数据和车道线虚实属性，对各车道线区域图进行拼接，得到待处理道路的车道线数据的步骤。
在一个实施例中，一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：
获取并分割待处理道路的三维点云数据；
分别对分割后的各段三维点云数据进行处理，得到各段三维点云数据的 二维灰度图像；
利用预先训练的深度神经网络模型，分别提取各二维灰度图像中的车道线区域和车道线虚实属性，得到各二维灰度图像对应的车道线区域图；
根据车道线区域图对应的三维点云数据和车道线虚实属性，对各车道线区域图进行拼接，得到待处理道路的车道线数据。
在一个实施例中，根据车道线区域图对应的三维点云数据和车道线虚实属性，对各车道线区域图进行拼接，得到待处理道路的车道线数据，包括：
采样车道线区域图中车道线区域的关键点，得到车道线区域图的车道线关键点图；
根据二维灰度图像与三维点云数据的空间映射关系，得到关键点对应的三维坐标信息；
根据各关键点的三维坐标信息和车道线的虚实属性，对各车道线关键点图进行拼接，得到待处理道路的车道线数据。
在一个实施例中，采样车道线区域图中车道线区域的关键点，得到车道线区域图的车道线关键点图，包括：
对各车道线区域图，分别将车道线区域处理为单像素的车道线，得到各车道线区域图对应的车道线图；
采样各车道线图中车道线的关键点，得到车道线图的车道线关键点图。
在一个实施例中，根据各关键点的三维坐标信息和车道线的虚实属性，对各车道线关键点图进行拼接，得到待处理道路的车道线数据之前，还包括：
根据车道线间距和车道线关键点图中的车道线长度，过滤车道线关键点图中的噪声车道线。
在一个实施例中，分别对分割后的各段三维点云数据进行处理，得到各段三维点云数据的二维灰度图像，包括：
对分割的各段三维点云数据进行正交投影，得到各段三维点云数据对应的二维图像；
分别对各二维图像进行灰度化处理，得到对应的二维灰度图像。
在一个实施例中，对分割的各段三维点云数据进行正交投影，得到各段三维点云数据对应的二维图像之前，还包括：根据采集三维点云数据的地图采集工具的行动轨迹方向，将三维点云数据进行坐标转换。
在一个实施例中，计算机程序被处理器执行时，使得处理器还执行以下步骤：
根据车道线的数量、各车道线的起始位置和结束位置，对拼接得到车道线打断分隔区间，得到分隔区间的车道线数据。
对各车道线区域图，分别将车道线区域处理为单像素的车道线，得到各车道线区域图对应的车道线图，包括：对各车道线区域图，根据八连通原则，删除车道线区域的部分像素点保留车道线区域图的骨架，得到各车道线区域图对应的车道线图。
在一个实施例中，一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：
获取并分割待处理道路的三维点云数据
分别对分割后的各段三维点云数据进行处理，得到各段三维点云数据的二维灰度图像；
利用预先训练的深度神经网络模型，分别提取各二维灰度图像中的车道线区域和车道线虚实属性，得到各二维灰度图像对应的车道线区域图；
根据车道线区域图对应的三维点云数据和车道线虚实属性，对各车道线区域图进行拼接，得到待处理道路的车道线数据。
在一个实施例中，根据车道线区域图对应的三维点云数据和车道线虚实属性，对各车道线区域图进行拼接，得到待处理道路的车道线数据，包括：
采样车道线区域图中车道线区域的关键点，得到车道线区域图的车道线关键点图；
根据二维灰度图像与三维点云数据的空间映射关系，得到关键点对应的三维坐标信息；
根据各关键点的三维坐标信息和车道线的虚实属性，对各车道线关键点图进行拼接，得到待处理道路的车道线数据。
在一个实施例中，采样车道线区域图中车道线区域的关键点，得到车道线区域图的车道线关键点图，包括：
对各车道线区域图，分别将车道线区域处理为单像素的车道线，得到各车道线区域图对应的车道线图；
采样各车道线图中车道线的关键点，得到车道线图的车道线关键点图。
在一个实施例中，根据各关键点的三维坐标信息和车道线的虚实属性，对各车道线关键点图进行拼接，得到待处理道路的车道线数据之前，还包括：
根据车道线间距和车道线关键点图中的车道线长度，过滤车道线关键点图中的噪声车道线。
在一个实施例中，分别对分割后的各段三维点云数据进行处理，得到各段三维点云数据的二维灰度图像，包括：
对分割的各段三维点云数据进行正交投影，得到各段三维点云数据对应的二维图像；
分别对各二维图像进行灰度化处理，得到对应的二维灰度图像。
在一个实施例中，对分割的各段三维点云数据进行正交投影，得到各段三维点云数据对应的二维图像之前，还包括：根据采集三维点云数据的地图采集工具的行动轨迹方向，将三维点云数据进行坐标转换。
在一个实施例中，计算机程序被处理器执行时，使得处理器还执行以下步骤：
根据车道线的数量、各车道线的起始位置和结束位置，对拼接得到车道线打断分隔区间，得到分隔区间的车道线数据。
在一个实施例中，对各车道线区域图，分别将车道线区域处理为单像素的车道线，得到各车道线区域图对应的车道线图，包括：对各车道线区域图，根据八连通原则，删除车道线区域的部分像素点保留车道线区域图的骨架，得到各车道线区域图对应的车道线图。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

  1. 一种车道线数据处理方法，由计算机设备执行，所述方法包括：
    获取并分割待处理道路的三维点云数据；
    分别对分割后的各段三维点云数据进行处理，得到各段三维点云数据的二维灰度图像；
    利用预先训练的深度神经网络模型，分别提取各所述二维灰度图像中的车道线区域和车道线虚实属性，得到各二维灰度图像对应的车道线区域图；
    根据所述车道线区域图对应的三维点云数据和所述车道线虚实属性，对各所述车道线区域图进行拼接，得到所述待处理道路的车道线数据。
  2. 根据权利要求1所述的方法，其特征在于，所述根据所述车道线区域图对应的三维点云数据和所述车道线虚实属性，对各所述车道线区域图进行拼接，得到所述待处理道路的车道线数据，包括：
    采样所述车道线区域图中车道线区域的关键点，得到所述车道线区域图的车道线关键点图；
    根据二维灰度图像与三维点云数据的空间映射关系，得到所述关键点对应的三维坐标信息；
    根据各关键点的三维坐标信息和车道线的虚实属性，对各所述车道线关键点图进行拼接，得到待处理道路的车道线数据。
  3. 根据权利要求2所述的方法，其特征在于，所述采样所述车道线区域图中车道线区域的关键点，得到所述车道线区域图的车道线关键点图，包括：
    对各所述车道线区域图，分别将所述车道线区域处理为单像素的车道线，得到各车道线区域图对应的车道线图；
    采样各所述车道线图中车道线的关键点，得到所述车道线图的车道线关键点图。
  4. 根据权利要求3所述的方法，其特征在于，所述根据各关键点的三维坐标信息和车道线的虚实属性，对各所述车道线关键点图进行拼接，得到所述待处理道路的车道线数据之前，还包括：
    根据车道线间距和车道线关键点图中的车道线长度，过滤所述车道线关键点图中的噪声车道线。
  5. 根据权利要求1所述的方法，其特征在于，所述分别对分割后的各段三维点云数据进行处理，得到各段三维点云数据的二维灰度图像，包括：
    对分割的各段三维点云数据进行正交投影，得到各段三维点云数据对应的二维图像；
    分别对各所述二维图像进行灰度化处理，得到对应的二维灰度图像。
  6. 根据权利要求5所述的方法，其特征在于，所述对分割的各段三维点云数据进行正交投影，得到各段三维点云数据对应的二维图像之前，还包括：根据采集三维点云数据的地图采集工具的行动轨迹方向，将所述三维点云数据进行坐标转换。
  7. 根据权利要求6所述的方法，其特征在于，所述方法还包括：
    根据车道线的数量、各车道线的起始位置和结束位置，对拼接得到车道线打断分隔区间，得到分隔区间的车道线数据。
  8. 根据权利要求3所述的方法，其特征在于，所述对各所述车道线区域图，分别将所述车道线区域处理为单像素的车道线，得到各车道线区域图对应的车道线图，包括：对各所述车道线区域图，根据八连通原则，删除车道线区域的部分像素点保留所述车道线区域图的骨架，得到各车道线区域图对应的车道线图。
  9. 一种车道线数据处理装置，包括：
    点云数据处理模块，用于获取并分割待处理道路的三维点云数据；
    图像处理模块，用于分别对分割后的各段三维点云数据进行处理，得到各段三维点云数据的二维灰度图像；
    提取模块，用于利用预先训练的深度神经网络模型，分别提取各所述二维灰度图像中的车道线区域和车道线虚实属性，得到各二维灰度图像对应的车道线区域图；
    拼接模块，用于根据所述车道线区域图对应的三维点云数据和所述车道 线虚实属性，对各所述车道线区域图进行拼接，得到所述待处理道路的车道线数据。
  10. 根据权利要求9所述的装置，其特征在于，所述拼接模块包括：
    关键点处理模块，用于采样所述车道线区域图中车道线区域的关键点，得到所述车道线区域图的车道线关键点图；
    关键点坐标获取模块，用于根据二维灰度图像与三维点云数据的空间映射关系，得到所述关键点对应的三维坐标信息；
    拼接处理模块，用于根据各关键点的三维坐标信息和车道线的虚实属性，对各所述车道线关键点图进行拼接，得到待处理道路的车道线数据。
  11. 根据权利要求9所述的装置，其特征在于，所述图像处理模块包括：
    投影模块，用于对分割的各段三维点云数据进行正交投影，得到各段三维点云数据对应的二维图像；
    灰度化处理模块，用于分别对各所述二维图像进行灰度化处理，得到对应的二维灰度图像。
  12. 根据权利要求11所述的装置，其特征在于，所述图像处理模块还包括：
    坐标转换模块，用于根据采集三维点云数据的地图采集工具的行动轨迹方向，将所述三维点云数据进行坐标转换。
  13. 根据权利要求12所述的装置，其特征在于，所述装置还包括：
    打断模块，用于根据车道线的数量、各车道线的起始位置和结束位置，对拼接得到车道线打断分隔区间，得到分隔区间的车道线数据。
  14. 一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述方法的步骤。
  15. 一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述方法的步骤。
PCT/CN2019/076067 2018-03-09 2019-02-25 车道线数据处理方法、装置、计算机设备和存储介质 Ceased WO2019170012A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/893,820 US11417118B2 (en) 2018-03-09 2020-06-05 Lane line data processing method and apparatus, computer device, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810194981.6 2018-03-09
CN201810194981.6A CN108470159B (zh) 2018-03-09 2018-03-09 车道线数据处理方法、装置、计算机设备和存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/893,820 Continuation US11417118B2 (en) 2018-03-09 2020-06-05 Lane line data processing method and apparatus, computer device, and storage medium

Publications (1)

Publication Number Publication Date
WO2019170012A1 true WO2019170012A1 (zh) 2019-09-12

Family

ID=63264313

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/076067 Ceased WO2019170012A1 (zh) 2018-03-09 2019-02-25 车道线数据处理方法、装置、计算机设备和存储介质

Country Status (3)

Country Link
US (1) US11417118B2 (zh)
CN (1) CN108470159B (zh)
WO (1) WO2019170012A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111191619A (zh) * 2020-01-02 2020-05-22 北京百度网讯科技有限公司 车道线虚线段的检测方法、装置、设备和可读存储介质
CN111612831A (zh) * 2020-05-22 2020-09-01 创新奇智(北京)科技有限公司 一种深度估计方法、装置、电子设备及存储介质
CN113256756A (zh) * 2020-02-07 2021-08-13 阿里巴巴集团控股有限公司 地图数据显示方法、装置、设备及存储介质
CN115063761A (zh) * 2022-05-19 2022-09-16 广州文远知行科技有限公司 车道线检测方法、装置、设备及存储介质
CN115424133A (zh) * 2022-08-25 2022-12-02 广州方纬智慧大脑研究开发有限公司 一种车道级高精度可计算路网构建方法、装置及电子设备
CN116188334A (zh) * 2023-05-04 2023-05-30 四川省公路规划勘察设计研究院有限公司 一种车道线点云自动修补方法及装置
CN119181070A (zh) * 2024-11-22 2024-12-24 浙江吉利控股集团有限公司 数据处理方法、装置、设备、存储介质以及产品

Families Citing this family (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108470159B (zh) 2018-03-09 2019-12-20 腾讯科技（深圳）有限公司 车道线数据处理方法、装置、计算机设备和存储介质
CN110348273B (zh) * 2018-04-04 2022-05-24 北京四维图新科技股份有限公司 神经网络模型训练方法、系统及车道线识别方法、系统
CN110879943B (zh) * 2018-09-05 2022-08-19 北京嘀嘀无限科技发展有限公司 一种图像数据处理方法及系统
CN109636820B (zh) * 2018-10-31 2021-07-06 百度在线网络技术（北京）有限公司 电子地图车道线修正方法、设备及计算机可读存储介质
CN109635816B (zh) * 2018-10-31 2021-04-06 百度在线网络技术（北京）有限公司 车道线生成方法、装置、设备以及存储介质
CN109636841B (zh) * 2018-10-31 2021-06-01 百度在线网络技术（北京）有限公司 车道线生成方法和装置
CN109470254B (zh) * 2018-10-31 2020-09-08 百度在线网络技术（北京）有限公司 地图车道线的生成方法、装置、系统及存储介质
CN109598199B (zh) * 2018-10-31 2021-07-27 百度在线网络技术（北京）有限公司 车道线生成方法和装置
CN109631873B (zh) * 2018-11-01 2021-01-05 百度在线网络技术（北京）有限公司 高精地图的道路生成方法、装置及可读存储介质
CN111179152B (zh) * 2018-11-12 2023-04-28 阿里巴巴集团控股有限公司 一种道路标识识别方法及装置、介质、终端
CN109766889B (zh) * 2018-11-19 2021-04-09 浙江众合科技股份有限公司 基于曲线拟合的轨道图像识别后处理方法
CN111209780A (zh) * 2018-11-21 2020-05-29 北京市商汤科技开发有限公司 车道线属性检测方法、装置、电子设备及可读存储介质
JP7183729B2 (ja) * 2018-11-26 2022-12-06 トヨタ自動車株式会社 撮影異常診断装置
US11518384B2 (en) 2018-12-07 2022-12-06 Thinkware Corporation Method for displaying lane information and apparatus for executing the method
CN109635744B (zh) * 2018-12-13 2020-04-14 合肥工业大学 一种基于深度分割网络的车道线检测方法
JP7096361B2 (ja) * 2018-12-14 2022-07-05 富士フイルム株式会社 ミニバッチ学習装置とその作動プログラム、作動方法、および画像処理装置
CN109657632B (zh) * 2018-12-25 2022-05-06 重庆邮电大学 一种车道线检测识别方法
CN111368605B (zh) * 2018-12-26 2023-08-25 易图通科技（北京）有限公司 车道线提取方法及装置
CN111316337A (zh) * 2018-12-26 2020-06-19 深圳市大疆创新科技有限公司 车载成像装置的安装参数的确定与驾驶控制方法及设备
CN109858374B (zh) * 2018-12-31 2021-08-17 武汉中海庭数据技术有限公司 高精度地图制作中箭头类标线自动提取方法和装置
CN109919145B (zh) * 2019-01-21 2020-10-27 江苏徐工工程机械研究院有限公司 一种基于3d点云深度学习的矿卡检测方法及系统
CN110008949B (zh) * 2019-01-24 2020-03-17 华南理工大学 一种图像目标检测方法、系统、装置和存储介质
US11287267B2 (en) 2019-03-13 2022-03-29 Here Global B.V. Maplets for maintaining and updating a self-healing high definition map
US11096026B2 (en) 2019-03-13 2021-08-17 Here Global B.V. Road network change detection and local propagation of detected change
US11287266B2 (en) 2019-03-13 2022-03-29 Here Global B.V. Maplets for maintaining and updating a self-healing high definition map
US11255680B2 (en) 2019-03-13 2022-02-22 Here Global B.V. Maplets for maintaining and updating a self-healing high definition map
US11280622B2 (en) 2019-03-13 2022-03-22 Here Global B.V. Maplets for maintaining and updating a self-healing high definition map
US11402220B2 (en) * 2019-03-13 2022-08-02 Here Global B.V. Maplets for maintaining and updating a self-healing high definition map
CN109766878B (zh) * 2019-04-11 2019-06-28 深兰人工智能芯片研究院（江苏）有限公司 一种车道线检测的方法和设备
CN110068824B (zh) * 2019-04-17 2021-07-23 北京地平线机器人技术研发有限公司 一种传感器位姿确定方法和装置
CN110060266B (zh) * 2019-04-24 2021-04-13 百度在线网络技术（北京）有限公司 车道线提取方法及装置、服务器及计算机可读介质
CN111914596B (zh) * 2019-05-09 2024-04-09 北京四维图新科技股份有限公司 车道线检测方法、装置、系统及存储介质
CN110119721B (zh) * 2019-05-17 2021-04-20 百度在线网络技术（北京）有限公司 用于处理信息的方法和装置
CN111986472B (zh) * 2019-05-22 2023-04-28 阿里巴巴集团控股有限公司 车辆速度确定方法及车辆
DE102019208507A1 (de) * 2019-06-12 2020-12-17 Robert Bosch Gmbh Verfahren zur Bestimmung eines Überlappungsgrades eines Objektes mit einem Fahrstreifen
CN112230230B (zh) * 2019-06-28 2024-02-27 比亚迪股份有限公司 定位方法、装置和系统
CN110378284B (zh) * 2019-07-18 2021-07-16 北京京东叁佰陆拾度电子商务有限公司 道路正视图生成方法及装置、电子设备、存储介质
CN110568451B (zh) * 2019-08-02 2021-06-18 北京三快在线科技有限公司 一种高精度地图中道路交通标线的生成方法和装置
CN110426051B (zh) * 2019-08-05 2021-05-18 武汉中海庭数据技术有限公司 一种车道线绘制方法、装置及存储介质
CN110570495B (zh) * 2019-09-09 2023-09-19 深圳一清创新科技有限公司 虚拟车道生成方法、装置和存储介质
WO2021056309A1 (en) * 2019-09-26 2021-04-01 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for detecting road markings from a laser intensity image
CN110705577B (zh) * 2019-09-29 2022-06-07 武汉中海庭数据技术有限公司 一种激光点云车道线提取方法
WO2021062581A1 (zh) * 2019-09-30 2021-04-08 深圳市大疆创新科技有限公司 路面标识识别方法及装置
CN111079523B (zh) * 2019-11-05 2024-05-14 北京迈格威科技有限公司 物体检测方法、装置、计算机设备和存储介质
KR102297836B1 (ko) * 2019-11-07 2021-09-03 네이버랩스 주식회사 딥 러닝 기반 가상 환경 점 군 데이터의 반사도 정보 검출 방법 및 그를 수행하는 전자 장치
CN111145187B (zh) * 2019-12-23 2023-10-17 北方工业大学 基于霍夫空间的物体识别方法、系统、设备及存储介质
CN111242000A (zh) * 2020-01-09 2020-06-05 电子科技大学 一种结合激光点云转向的道路边沿检测方法
CN111401251B (zh) * 2020-03-17 2023-12-26 北京百度网讯科技有限公司 车道线提取方法、装置、电子设备及计算机可读存储介质
CN111445578B (zh) * 2020-03-27 2023-03-10 清华大学 一种地图三维道路特征识别方法和系统
CN111667545B (zh) * 2020-05-07 2024-02-27 东软睿驰汽车技术（沈阳）有限公司 高精度地图生成方法、装置、电子设备及存储介质
CN111814651B (zh) * 2020-07-02 2024-01-12 阿波罗智能技术(北京)有限公司 车道线的生成方法、装置和设备
CN113918666B (zh) * 2020-07-09 2025-03-21 北京四维图新科技股份有限公司 地图数据的处理方法、装置、系统及存储介质
CN111968161A (zh) * 2020-07-28 2020-11-20 北京恒通智控机器人科技有限公司 一种三维激光点云和全景图像的配准方法、装置和设备
CN111814746A (zh) * 2020-08-07 2020-10-23 平安科技（深圳）有限公司 一种识别车道线的方法、装置、设备及存储介质
CN114141022B (zh) * 2020-09-03 2023-05-23 丰图科技(深圳)有限公司 应急车道占用行为检测方法、装置、电子设备及存储介质
CN112132109B (zh) * 2020-10-10 2024-09-06 阿波罗智联(北京)科技有限公司 车道线处理和车道定位方法、装置、设备及存储介质
CN112435336B (zh) * 2020-11-13 2022-04-19 武汉中海庭数据技术有限公司 一种弯道类型识别方法、装置、电子设备及存储介质
CN112434585A (zh) * 2020-11-14 2021-03-02 武汉中海庭数据技术有限公司 一种车道线的虚实识别方法、系统、电子设备及存储介质
CN112488009A (zh) * 2020-12-05 2021-03-12 武汉中海庭数据技术有限公司 无人机数据中的车道线形点串提取方法及系统
CN112507891B (zh) * 2020-12-12 2023-02-03 武汉中海庭数据技术有限公司 自动化识别高速路口并构建路口向量的方法及装置
JP7633801B2 (ja) * 2020-12-14 2025-02-20 アジア航測株式会社 区画線検出装置および区画線検出プログラム
CN112697159B (zh) * 2021-01-06 2024-01-23 智道网联科技(北京)有限公司 一种地图编辑方法及系统
CN112863194B (zh) * 2021-01-20 2022-08-23 青岛以萨数据技术有限公司 一种图像处理方法、装置、终端及介质
CN112396044B (zh) * 2021-01-21 2021-04-27 国汽智控(北京)科技有限公司 车道线属性信息检测模型训练、车道线属性信息检测方法
CN114882056A (zh) * 2021-02-05 2022-08-09 北京四维图新科技股份有限公司 车道跟踪方法、车道跟踪设备及存储介质
CN113343858B (zh) * 2021-06-10 2024-03-12 广州海格通信集团股份有限公司 路网地理位置识别方法、装置、电子设备及存储介质
CN113313047B (zh) * 2021-06-11 2022-09-06 中国科学技术大学 一种基于车道结构先验的车道线检测方法及系统
CN113379921B (zh) * 2021-06-22 2025-02-18 北醒（北京）光子科技有限公司 轨道识别方法、装置、存储介质及设备
KR102363719B1 (ko) * 2021-06-30 2022-02-16 주식회사 모빌테크 3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법
CN113706552A (zh) * 2021-07-27 2021-11-26 北京三快在线科技有限公司 一种激光反射率底图语义分割标注数据的生成方法及装置
CN115683130B (zh) * 2021-07-27 2024-09-17 北京三快在线科技有限公司 基于车道线生成地图的目标区域出入口区域的方法和装置
CN113932792B (zh) * 2021-09-16 2023-07-28 江苏徐工工程机械研究院有限公司 一种适用于露天矿山无人运输系统的地图更新系统
CN114170577B (zh) * 2021-12-10 2024-11-29 智道网联科技(北京)有限公司 一种车道线的分岔处理方法、装置及电子设备
CN114419877B (zh) * 2021-12-15 2022-11-15 中国科学院深圳先进技术研究院 基于道路特征的车辆轨迹预测数据处理方法和装置
CN114399589B (zh) * 2021-12-20 2022-11-11 禾多科技（北京）有限公司 三维车道线生成方法、装置、电子设备和计算机可读介质
CN114241313A (zh) * 2021-12-21 2022-03-25 贝壳找房网(北京)信息技术有限公司 用于提取道路边界的方法、设备、介质和程序产品
CN114492582B (zh) * 2021-12-28 2022-10-14 广州小鹏自动驾驶科技有限公司 一种分片式道路数据融合的方法、装置、设备及存储介质
CN114359370B (zh) * 2021-12-31 2024-11-05 中国联合网络通信集团有限公司 点云数据的处理方法、装置、设备及存储介质
CN114445799A (zh) * 2022-01-05 2022-05-06 北京斯年智驾科技有限公司 基于点云底图的车道线元素自动提取方法
EP4242691A1 (en) * 2022-03-08 2023-09-13 Hyundai Mobis Co., Ltd. Method and apparatus for detecting lane using lidar
CN114638974B (zh) * 2022-03-29 2024-07-09 中冶赛迪信息技术(重庆)有限公司 一种目标物识别方法、系统、介质及电子终端
CN114969226B (zh) * 2022-03-31 2025-04-11 高德软件有限公司 车道线齐打断方法、装置、设备及计算机程序产品
CN114863393A (zh) * 2022-04-27 2022-08-05 北京主线科技有限公司 一种车道线检测方法、系统及介质
CN115063759B (zh) * 2022-05-18 2024-07-19 广州文远知行科技有限公司 一种三维车道线检测方法、装置、交通工具及存储介质
CN114898087A (zh) * 2022-05-20 2022-08-12 广州小马慧行科技有限公司 道路标线对齐方法、装置、计算机设备和存储介质
CN114782638B (zh) 2022-06-17 2022-09-09 小米汽车科技有限公司 生成车道线的方法、装置、车辆、存储介质及芯片
CN115330923B (zh) * 2022-08-10 2023-11-14 小米汽车科技有限公司 点云数据渲染方法、装置、车辆、可读存储介质及芯片
CN115410168B (zh) * 2022-08-25 2025-09-05 智道网联科技(北京)有限公司 车道线数据处理方法、设备和计算机可读存储介质
US12014555B2 (en) * 2022-11-07 2024-06-18 Plusai, Inc. Vehicle localization based on lane templates
CN116152761B (zh) * 2022-12-26 2023-10-17 小米汽车科技有限公司 车道线检测方法及装置
CN116092030A (zh) * 2022-12-30 2023-05-09 浙江零跑科技股份有限公司 网络模型训练方法、车道线检测及其属性识别方法、设备
CN115984798A (zh) * 2023-01-16 2023-04-18 爱芯元智半导体(上海)有限公司 车道线检测方法、装置、电子设备及存储介质
DE102023202610B4 (de) * 2023-03-23 2025-06-12 Siemens Healthineers Ag Messsystem und Verfahren
CN116503824A (zh) * 2023-04-03 2023-07-28 北京四维图新科技股份有限公司 一种车道线检测方法、模块及介质
CN116935065A (zh) * 2023-06-14 2023-10-24 武汉长江通信智联技术有限公司 一种基于熔断与融合的车道线实例检测方法及系统
CN116625385B (zh) * 2023-07-25 2024-01-26 高德软件有限公司 路网匹配方法、高精地图构建方法、装置及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102592114A (zh) * 2011-12-26 2012-07-18 河南工业大学 复杂路况的车道线特征提取、识别方法
CN105260699A (zh) * 2015-09-10 2016-01-20 百度在线网络技术（北京）有限公司 一种车道线数据的处理方法及装置
CN106873600A (zh) * 2017-03-31 2017-06-20 深圳市靖洲科技有限公司 一种面向无人自行车的局部避障路径规划方法
CN106951847A (zh) * 2017-03-13 2017-07-14 百度在线网络技术（北京）有限公司 障碍物检测方法、装置、设备及存储介质
CN107330380A (zh) * 2017-06-14 2017-11-07 千寻位置网络有限公司 基于无人机航拍影像的车道线自动提取和识别方法
CN107403163A (zh) * 2017-07-31 2017-11-28 武汉大学 一种基于深度学习的激光slam闭环检测方法
CN108470159A (zh) * 2018-03-09 2018-08-31 腾讯科技（深圳）有限公司 车道线数据处理方法、装置、计算机设备和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105448184B (zh) * 2015-11-13 2019-02-12 北京百度网讯科技有限公司 地图道路的绘制方法及装置
US10402995B2 (en) * 2017-07-27 2019-09-03 Here Global B.V. Method, apparatus, and system for real-time object detection using a cursor recurrent neural network

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102592114A (zh) * 2011-12-26 2012-07-18 河南工业大学 复杂路况的车道线特征提取、识别方法
CN105260699A (zh) * 2015-09-10 2016-01-20 百度在线网络技术（北京）有限公司 一种车道线数据的处理方法及装置
CN106951847A (zh) * 2017-03-13 2017-07-14 百度在线网络技术（北京）有限公司 障碍物检测方法、装置、设备及存储介质
CN106873600A (zh) * 2017-03-31 2017-06-20 深圳市靖洲科技有限公司 一种面向无人自行车的局部避障路径规划方法
CN107330380A (zh) * 2017-06-14 2017-11-07 千寻位置网络有限公司 基于无人机航拍影像的车道线自动提取和识别方法
CN107403163A (zh) * 2017-07-31 2017-11-28 武汉大学 一种基于深度学习的激光slam闭环检测方法
CN108470159A (zh) * 2018-03-09 2018-08-31 腾讯科技（深圳）有限公司 车道线数据处理方法、装置、计算机设备和存储介质

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111191619A (zh) * 2020-01-02 2020-05-22 北京百度网讯科技有限公司 车道线虚线段的检测方法、装置、设备和可读存储介质
CN111191619B (zh) * 2020-01-02 2023-09-05 北京百度网讯科技有限公司 车道线虚线段的检测方法、装置、设备和可读存储介质
CN113256756A (zh) * 2020-02-07 2021-08-13 阿里巴巴集团控股有限公司 地图数据显示方法、装置、设备及存储介质
CN113256756B (zh) * 2020-02-07 2023-03-21 阿里巴巴集团控股有限公司 地图数据显示方法、装置、设备及存储介质
CN111612831A (zh) * 2020-05-22 2020-09-01 创新奇智(北京)科技有限公司 一种深度估计方法、装置、电子设备及存储介质
CN115063761A (zh) * 2022-05-19 2022-09-16 广州文远知行科技有限公司 车道线检测方法、装置、设备及存储介质
CN115424133A (zh) * 2022-08-25 2022-12-02 广州方纬智慧大脑研究开发有限公司 一种车道级高精度可计算路网构建方法、装置及电子设备
CN116188334A (zh) * 2023-05-04 2023-05-30 四川省公路规划勘察设计研究院有限公司 一种车道线点云自动修补方法及装置
CN116188334B (zh) * 2023-05-04 2023-07-18 四川省公路规划勘察设计研究院有限公司 一种车道线点云自动修补方法及装置
CN119181070A (zh) * 2024-11-22 2024-12-24 浙江吉利控股集团有限公司 数据处理方法、装置、设备、存储介质以及产品

Also Published As

Publication number Publication date
US11417118B2 (en) 2022-08-16
CN108470159B (zh) 2019-12-20
CN108470159A (zh) 2018-08-31
US20200302189A1 (en) 2020-09-24

Similar Documents

Publication Publication Date Title
WO2019170012A1 (zh) 车道线数据处理方法、装置、计算机设备和存储介质
JP6875365B2 (ja) 電子地図における交差点を認識するための方法及び装置
KR102379287B1 (ko) 차도선을 검출하기 위한 방법, 장치 및 매체
CN105160309B (zh) 基于图像形态学分割及区域生长的三车道检测方法
CN111274926B (zh) 图像数据筛选方法、装置、计算机设备和存储介质
CN114565644B (zh) 三维运动目标检测方法、装置和设备
CN117058646A (zh) 基于多模态融合鸟瞰图的复杂道路目标检测方法
CN108875911A (zh) 一种泊车位检测方法
CN106650690A (zh) 基于深度卷积‑反卷积神经网络的夜视图像场景识别方法
CN111295666A (zh) 一种车道线检测方法、装置、控制设备及存储介质
CN108876805B (zh) 一种端对端无监督场景可通行区域认知与理解方法
CN109034136A (zh) 图像处理方法、装置、摄像设备及存储介质
JP2021532449A (ja) 車線属性検出
CN115953612A (zh) 一种基于ConvNeXt的遥感影像植被分类方法和装置
CN109635701B (zh) 车道通行属性获取方法、装置和计算机可读存储介质
CN111931683B (zh) 图像识别方法、装置及计算机可读存储介质
CN112435336B (zh) 一种弯道类型识别方法、装置、电子设备及存储介质
CN110909656A (zh) 一种雷达与摄像机融合的行人检测方法和系统
CN114495049A (zh) 识别车道线的方法和装置
CN116823896B (zh) 一种高植被覆盖下靶矿区范围预测方法、装置及电子设备
CN117078957B (zh) 农业轨迹点识别方法、装置和系统
Öztürk et al. Computer Vision-Based Lane Detection and Detection of Vehicle, Traffic Sign, Pedestrian Using YOLOv5
CN116343148B (zh) 车道线检测方法、装置、车辆及存储介质
CN112861860A (zh) 一种基于上下边界提取的自然场景下文字检测方法
JP2008234102A (ja) 標示体認識装置、標示体認識方法及び標示体認識プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19764510

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19764510

Country of ref document: EP

Kind code of ref document: A1