CN109326168B - 预测式驾驶辅助模拟系统 - Google Patents

Abstract

本发明公开了一种预测式驾驶辅助模拟系统。利用本发明能够对实时路况图像进行精确获取和多点并行化处理。本发明通过下述技术方案予以实现：路况模拟模块利用车辆上的光学摄像头采集实时路况数据；实时采集显示前端通过配置程序控制摄像头，采集模拟路况后选取每种颜色的高四位作为输出图像数据，将高五位转换为灰度图像存入FPGA内存中；图像处理及预测模块对存入FPGA中的灰度图像进行常规路况物体匹配，输出常规驾驶提示信号，将动目标与背景分离，再利用嵌入软核中多核并行的方式，对目标的多个位置进行曲线拟合并模拟出未来运动轨迹，输出叠加后的图像；控制模拟终端输出语音提示信息并控制舵机来转换方向或控制电机来控制速度。

Description

预测式驾驶辅助模拟系统

技术领域

本发明涉及一种带有预测功能的驾驶辅助模拟系统。

背景技术

近年来，在汽车保有量大幅增加的同时，交通事故的发生也不容忽视，而人为因素是交通事故的主要原因，如疲劳驾驶、操作失误等都带来一系列严重的后果。同时由于驾驶培训的参差不齐，驾驶员注意力的局限性，引申出众多问题，如拥挤的交通、多发的交通意外、违规的操作，还造就了一批基数庞大的人群——拥有驾照却不敢独立行车的新手司机，其中女司机尤其居多。多数由于缺乏驾驶经验，造成失误多、胆怯，需要驾驶经验丰富的老司机长期陪同指导，或者彻底挥别驾驶生涯。因此辅助驾驶、安全提示、行车安全预测预警技术的研究迫在眉睫，拥有巨大的市场需求。

自动驾驶发展火热，特斯拉、奔驰等公司已经在国外推出了自动驾驶汽车，市场关注度高。目前的无人驾驶汽车还在研发及测试阶段，但近十年来，在没有形成全面的物联网控制的无人驾驶环境前，出于安全性和习惯性考虑，大众对其的接受能力相对较低。特别是针对中国市场，还有几大难题需要解决：算法如何适应复杂多变的行车环境？出现事故权责如何认定？自动驾驶技术安全、准确率方面是否万无一失？汽车厂商不开放汽车控制权如何进行开发？昂贵的造价是否能适应中国市场？这些问题都预示着自动驾驶在中国的普及起码还有十年到二十年的缓冲期，如何在自动驾驶还未普及的这段时间，以辅助驾驶为切入点，开发出适应现状，服务新手人群，具有自身产品特色、价格适中、面向普通大众、且适合验证算法的系统，从而快速抢占市场为后续发展布局需要深入研究。

目前行车安全市场上的相似系统仅具备简单提示功能，如偏离车道、变道等，不能有效快速地对随机动目标进行侦获，且仅针对已发生的事实现场处理，反应时间紧张。同时由于车辆控制权的影响，仅能够语音提示。为了增加反应时间、能够有效模拟车辆控制，现有技术出现了处理来自数码摄像机、激光器、雷达和其它感应器等来源的数据信息，以便执行诸如路线起程提示、瞌睡感应或停车辅助之类任务的车用视觉控制系统或盲点检测系统。某些车用视觉控制系统处理过的信息显示支持功能，例如停车辅助会显示在显示屏上或通过声音警告信号广播出来。但目前的驾驶员辅助系统(ADAS)，能够在复杂的车辆操控过程中为驾驶员提供辅助和补充，并未最终实现无人驾驶。由于驾驶过程中会面临非常复杂的交通状况，需要对汽车进行动力控制,还要保持对汽车周围环境的关注。如何开发一种能够进行未来自动驾驶算法验证的驾驶辅助系统ADAS仍然是研究的重点。预测式ADAS也只能部分控制车辆的移动预防事故发生。驾驶辅助系统ADAS是利用安装在车上的各式各样传感器，在汽车行驶过程中随时来感应周围的环境收集数据，进行静态、动态物体的辨识、侦测与追踪，并结合导航仪地图数据进行系统的运算与分析，从而预先让驾驶者察觉到可能发生的危险，有效增加汽车驾驶的舒适性和安全性。国内外目前已有的一些驾驶辅助系统基于事实图像进行判断，对移动威胁判决主要体现在与本身的距离方面，容易受光线、天气影响。由于目前驾驶控制类在国内尚未完全开放，即使想进行自动驾驶、辅助驾驶类开发，汽车厂商不开放汽车控制权成为最大的难题。真实车辆及驾驶场景的打造也决定了其昂贵的成本。国外如特斯拉、奔驰等公司都是直接着手自动驾驶，但人们对于新事物往往有一种畏惧心理。很多初学者因为畏惧情绪，导致不敢独立驾车。

发明内容

本发明的目的是针对现有市场存在的不足之处，提供一种能够减少驾驶控制参与，降低危险的发生，增加处理时间，实时性强,处理速度快，模拟效果真实的预测式驾驶辅助模拟系统，以模拟的方式降低车企介入难度和研发试验成本。

为了解决上述技术问题，本发明采用如下技术方案：一种预测式驾驶辅助模拟系统，包括：路况模拟模块、实时采集显示前端、图像处理及预测模块和控制模拟终端，其特征在于：路况模拟模块利用安装在实际车辆上的光学摄像头采集并存储实时路况的数据；实时采集显示前端通过编写摄像头配置程序控制COMS摄像头，采集路况模拟模块正在播放的模拟路况数据，分两个时钟返回RGB565格式的像素数据，选取每种颜色的高四位作为VGA接口的输出图像数据，将高五位转换为灰度图像存入带有现场可编程门阵列FPGA芯片的开发板内存中进行下一步处理；图像处理及预测模块在FPGA中对存入的灰度图像进行预处理并进行常规路况物体匹配，根据匹配结果输出常规驾驶提示信号进行常规路况物体匹配，同时选取多帧图像进行差分处理，利用目标大小、多目标间距离和运动速度设置阈值，将动目标与背景分离，再利用嵌入的nios软核中多核并行的方式，同时对多个威胁目标的行为进行行为库匹配，根据匹配结果输出对应的提示信号并存储目标状态，对目标的多个位置进行曲线拟合并模拟出未来运动轨迹，并在VGA上输出叠加后的图像，对满足同一种预测过程保持门限时间的要求，然后根据匹配结果输出对应的预测提示信号；控制模拟终端根据之前各类提示信号的优先顺序，输出对应的语音提示音，并控制模型车电压变化方波的占空比，从而控制舵机来转换方向或控制电机来控制速度，达到模拟驾驶的作用。

本发明相比于现有技术具有如下有益效果：

减少了驾驶控制参与，降低了危险的发生。本发明采用的路况模拟模块利用安装在实际车辆上的光学摄像头采集并存储实时路况的数据，实时采集显示前端通过编写摄像头配置程序控制COMS摄像头，对正在播放进行采集的路况图像，分两个时钟返回RGB565格式的像素数据，选取每种颜色的高四位作为VGA接口的输出，将高五位转换为灰度图像存入带有FPGA芯片的开发板内存中进行下一步处理，然后依据预测的警戒等级划分进行报警提示，增加用户反应时间，提示用户提前注意，降低危险的发生。引入的预测功能，能够增加处理时间，降低危险的发生。增加的趋势预测功能可以在事实发生前提前预测，对威胁物未来的行进方向、曲线、速度进行预测，利用模板匹配及帧差技术，提示当前危险，利用预测算法，提高对未来风险的预判能力，利用语音和机械控制模拟驾驶辅助过程。能够减少驾驶者在车辆控制中的参与，发挥引导驾驶、自动提示并控制的作用，能够有效减少司机的工作负担并且提高了操控的方便性和驾驶的安全性。

实时性强,处理速度快。本发明采用的图像处理及预测模块在FPGA中对存入的灰度图像进行预处理并进行常规路况物体匹配，根据匹配结果输出常规驾驶提示信号。同时选取多帧图像进行差分处理，将动目标与背景分离，利用目标大小、多目标间距离和运动速度设置阈值，再利用多核并行的方式同时对多个威胁目标的行为进行行为库匹配，根据匹配结果输出对应的提示信号并存储目标状态，对目标的多个位置进行曲线拟合并模拟出未来运动轨迹，将OpenCL引入FPGA嵌入的内核中进行多核并行加速：利用FPGA本身编程语言的并行特性，以及在FPGA嵌入NIOS软核的方式，采用多核并行处理的方式，将OpenCL标准引入FPGA中，具有较强的实时性。通过开发实现多种并行方式协同工作，能够大幅提高性能，加快处理速度。

模拟效果真实。本发明采用的控制模拟终端根据前各类提示信息的优先顺序，控制模型车电压变化方波的占空比，以模拟系统的方式控制舵机来转换方向或控制电机来控制速度，降低了系统成本和试验成本，且模拟效果接近真实，更加安全。通过利用路况模拟模块进行实时路况模拟，在室内即可进行算法验算和调整，效果接近真实。整个系统也可以加装到实际车辆中，进行驾驶辅助提示，同时利用模型车的控制近似模拟车辆控制，更加安全且成本低廉。适合辅助驾驶类产品的前期开发和试验，为后续的市场提供过渡。更符合目前大众的心理需求。发开驾驶辅助模拟系统可以让用户打破对自身经验的依赖，通过语音提示的方式让驾驶者掌握正确的危机处理能力，还可以应用在驾校培训等场景，让大众先从辅助驾驶、甚至模拟车辆控制的方式体验中逐步适应全自动驾驶方式。

高度仿真，未来机械控制可以减少人工参与。参考人工陪驾方式，用语音进行提示，还可以在家中利用模拟器体验车辆控制效果，高度仿真，为来与车企结合后，能够实现自动驾驶功能，减少人工参与。

本发明适用于车内驾驶提示系统、驾校培训系统、未来自动驾驶系统、交通违规判定等场景。

附图说明

为了更清楚地理解本发明，现将通过本发明的具体实施方式，同时参照附图，来描述本发明，其中：

图1是本发明预测式驾驶辅助模拟系统的示意图。

图2是图1中实时采集显示前端流程示意图。

图3是图1中图像处理及预测模块的并行算法流程示意图。

下面结合附图对本发明作进一步说明。

具体实施方式

参阅图1。在以下描述的实施例中，一种带有预测功能的驾驶辅助模拟系统，包括：路况模拟模块、实时采集显示前端、图像处理及预测模块和控制模拟终端。其中，路况模拟模块硬件包括，连接光学摄像头的单片机控制板，以及播放用的VGA显示屏，单片机控制板携带有单片机芯片、存储模块和VGA接口，在单片机芯片中，根据摄像头控制协议编写摄像头配置模块。实时采集显示前端包含了连接摄像头配置模块的输入COMS摄像头、携带有2个内存模块、时钟控制电路模块和数据交互接口的FPGA控制板，摄像头配置模块是在FPGA芯片中根据COMS摄像头控制协议文件编写的软件程序模块。图像处理及预测模块包含携带有行为库存储模块、多个内存模块、VGA输出接口、提示信号输出接口和时钟控制模块以及FPGA芯片的FPGA开发板，FPGA芯片中包含软件编写的常规行进匹配算法模块、威胁目标提取算法模块和Nios软核，Nios软核中中包含软件编写的满足OpenCL标准的多核处理控制程序和行为预测算法模块，Nios软核利用多核处理控制程序来多路并行调用行为预测算法模块；行为预测算法模块根据提取出的威胁目标的多个连续位置进行曲线拟合，生成的预测轨迹曲线与原始图像像素后通过VGA输出图像数据，同时根据预测轨迹曲线与外部行为库中的行为模式进行匹配，匹配成功后输出对应的提示信号。常规行进匹配算法模块将获取的图像与事先存储的物体或行进标志图像进行相似度匹配，匹配上后与行为库进行行为匹配，输出对应的指示信号；威胁目标提取算法模块将多帧图像做差并二值化处理后，提取出与常规环境有巨大区别的目标区域，对目标区域采用滑动滤波的方式去除杂点，根据门限值，保留最多3个威胁目标，以有色框的方式圈定最终威胁目标区域，有色框与原始帧图像像素叠加后输出图像数据；控制模拟终端主要包含带有语音芯片和音频输出接口、SD卡接口的语音开发板、存储有音频文件的SD卡、用来控制模型车的单片机开发板、模型车和音响设备，SD卡通过SD卡接口连接语音开发板，语音开发板通过内置语音芯片将提示信息数据传送给单片机开发板，单片机开发板通过内置单片机芯片连接模型车。

路况模拟模块利用安装在实际车辆上的光学摄像头进行实时路况采集并存储，利用普通单片机进行配置控制，具备选取播放功能，将图像数据显示在VGA屏幕上作为路况模拟平台，模拟实时路况。

实时采集显示前端通过在FPGA芯片中编写摄像头配置程序控制COMS摄像头，对正在播放的路况图像进行采集，分两个时钟返回RGB565格式的像素数据，选取每种颜色的高四位作为VGA接口的输出，高五位转换为灰度图像存入带有FPGA芯片的开发板内存中进行下一步处理，整个过程通过对两片内存进行乒乓操作，方便更快存取，实现最快的处理速度。通过数据交互接口将存储的数据送入图像处理及预测模块进行后续处理。

图像处理及预测模块主要采用并行方式实现多任务，利用FPGA自带的并行编程语句，以及在FPGA中内嵌NIOS软核，在软核中使用OpenCL编程实现多核并行功能。当采集显示前端送入图像数据后，图像处理及预测模块利用FPGA自带的并行编程语句完成多路任务：将一路任务存入的灰度图像与程序中编写的模型库进行常规路况物体匹配，如标注出车道线、路面行进标志、红绿灯等，然后与行为库进行匹配，输出是否偏道的行进方向等常规行进指示信号；另一路任务累积多帧图像，然后对累积的图像(常规选取3帧)进行差分处理(差分处理方法为将第一帧和第二帧图像做差形成一个新图像A，将第二帧和第三帧做差形成一个新图像B，然后将图像A和图像B做差得到一个最终的差分图像C)，对最终处理后的差分图像利用经验阈值进行二值化的处理，将动目标与背景分离，再采用滑动滤波的方式去除杂点后。然后进行威胁目标提取，即利用目标大小、多目标间距离和运动速度设置阈值，合并部分动目标，最后仅保留最多3个对本体威胁最大的动目标。然后又利用FPGA并行语句同时实现两路并行任务：一路是利用有色框将动目标标注出来，将有色框与原始图像进行像素叠加后，在VGA上显示最终的图像信息。另一路是调用nios软核中的多核处理控制程序，利用软件编写的多个软件并行核的方式，即核1，核2..核N各对一个威胁目标的行为进行行为库匹配。每一个核中将对应的威胁目标与行为库匹配后再次各自分成两个核(例如核11，核12)并行操作：一路软件并行核中根据匹配结果输出对应的提示信号，另一路软件并行核中存储目标状态，进行状态累积，如果累积5个满足时间经验门限的连续状态相同，然后调用预测算法(即取目标的多个连续状态位置进行曲线拟合并模拟出未来运动轨迹)，然后再次分成两个核(例如核121，核122)并行操作：一路软件并行核中将预测出的运动轨迹曲线以有色线条的方式叠加在图像数据上，最后通过VGA接口输出至VGA显示屏。另一路软件并行核中则将预测出的运动轨迹曲线状态数据进行存储，根据实时数据流进行轨迹更新调整(即5个连续状态时，有新的状态进入时，将最开始的一个状态丢弃后形成新的5个连续状态进行处理)，对5个连续状态都与行为库进行匹获得威胁行为预测结果，若满足其中3个威胁行为预测结果相同，则输出对应的预测威胁匹配结果(即对应的预测提示信号)。每一路核1，核2..核N处理过程相同，都输出对应的预测提示信号。然后将整个图像处理及预测模块所有处理过程中输出的提示信号根据时间先后、威胁等级进行输出信号优先判定，根据优先顺序输出提示信号。

控制模拟终端则是配置语音芯片后，根据前一个模块输出的各类提示信息的优先顺序(顺序主要根据大小变化、速度变化、与本体方向变化等自行设置的权重值来确定，在不断试验中进行调整更新)，调用SD卡中对应的MP3文件并进行播放，达到提示操作、辅助驾驶的作用。同时单片机开发板也将各类提示信息按优先顺序输入单片机开发板，通过控制电压改变方波的占空比，然后将变化的电压信号输入模型车，通过控制模型车的舵机来转换方向或控制电机来控制速度，达到模拟驾驶的作用。

参阅图2。实时采集显示前端通过编写摄像头配置程序控制COMS摄像头，对正在播放的路况图像进行采集，处理后进行存储并送实时送入后续图像处理及预测模块。系统开始工作后，实时采集显示前端判断是否有初始化信号，当按下初始化按键后，参照串行摄像头控制总线SCCB协议进行摄像头寄存器配置，判断是否配置成功，当完全配置成功后，FPGA芯片读取摄像头数据和控制信号(摄像头模块不断返回8位数据DATA，象素时钟PCLK，水平同步信号HSYNC，场同步信号VSYNC等信号)，然后进行图像数据处理(分两个时钟将未经加工RAW格式的图像转化为红绿蓝RGB565格式，即两个时钟共计16位数据，低5位表示蓝色，中间6位表示绿色，高5位表示红色)。利用FPGA的并行语句，同时实现两路操作：一路是将红绿蓝每种颜色仅保留自身位数的高五位并转换为灰度图像采用乒乓操作的方式轮流存入开发板的两个内存中，输出也是以乒乓操作的方式读取与当前存数不同的内存中的图像数据，然后将图像数据送入后续图像处理及预测模块进行后续处理。另一路操作是将红绿蓝每种颜色仅保留高四位后作为VGA图像数据输出至VGA显示屏。

参阅图3。图像处理及预测模块主要采用FPGA的并行语句方式并行实现多任务，在现场可编程门阵列FPGA中嵌入软核处理器NIOS核，在其中使用全角度解析开放运算语言OpenCL实现多核并行功能。当获取到实时采集显示前端处送来的图像数据后，利用FPGA并行语句同时实现两路操作：一路任务是通过将存入的灰度图像与程序中编写的模型库进行常规路况物体匹配，如标注出车道线、路面行进标志、红绿灯等，然后与行为库进行匹配，输出行进方向、是否偏道等常规行进指示信号。另一路任务累积多帧图像，然后对累积的图像(常规选取3帧)进行差分处理(差分处理方法为将第一帧和第二帧图像做差形成一个新图像A，将第二帧和第三帧做差形成一个新图像B，然后将图像A和图像B做差得到一个最终的差分图像C)，对最终处理后的差分图像利用经验阈值进行二值化的处理，将动目标与背景分离，再采用滑动滤波的方式去除杂点后。然后进行威胁目标提取，即利用目标大小、多目标间距离和运动速度设置阈值，合并部分动目标，最后仅保留最多3个对本体威胁最大的动目标。然后又利用FPGA并行语句同时实现两路并行任务：一路是利用有色框将动目标标注出来，将有色框与原始图像进行像素叠加后，在VGA上显示最终的图像信息。另一路是调用nios软核中的多核处理控制程序，利用软件编写的多个软件并行核的方式，即核1，核2..核N各对一个威胁目标的行为进行行为库匹配。每一个核中将对应的威胁目标与行为库匹配后再次各自分成两个核(例如核11，核12)并行操作：一路软件并行核中根据匹配结果输出对应的提示信号，另一路软件并行核中存储目标状态，进行状态累积，如果累积5个满足时间经验门限的连续状态相同，然后调用预测算法(即取目标的多个连续状态位置进行曲线拟合并模拟出未来运动轨迹)，然后再次分成两个核(例如核121，核122)并行操作：一路软件并行核中将预测出的运动轨迹曲线以有色线条的方式叠加在图像数据上，最后通过VGA接口输出至VGA显示屏。另一路软件并行核中则将预测出的运动轨迹曲线状态数据进行存储，根据实时数据流进行轨迹更新调整(即5个连续状态时，有新的状态进入时，将最开始的一个状态丢弃后形成新的5个连续状态进行处理)，对5个连续状态都与行为库进行匹获得威胁行为预测结果，若满足其中3个威胁行为预测结果相同，则输出对应的预测威胁匹配结果(即对应的预测提示信号)。每一路核1，核2..核N处理过程相同，都输出对应的预测提示信号。然后将整个图像处理及预测模块所有处理过程中输出的提示信号根据时间先后、威胁等级进行输出信号优先判定，根据优先顺序输出提示信号。

以上结合附图对本发明进行了详细描述，但需要指出的是，上述实例所描述的是仅为本发明的优选实例而已，并不用于限制本发明，本发明可以有各种更改和变化，比如摄像头并不局限为CMOS摄像头，可以是实例外的任意满足精度要求的摄像头，通过撰写配置文件来实施控制。对于FPGA的选用中，不局限于本实例采用的FPGA开发板，可以采用实例以外的需要满足逻辑门、内存要求的FPGA开发板或自行设计的FPGA处理板。并行处理不局限于本实例采用的FPGA中嵌入NIOS软核，在其中应用OpenCL标准的方法，可以采用实例以外的其他嵌入式软核、多核CPU、GPU等方式。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (9)

1.一种预测式驾驶辅助模拟系统，包括：路况模拟模块、实时采集显示前端、图像处理及预测模块和控制模拟终端，其特征在于： 路况模拟模块利用安装在实际车辆上的光学摄像头采集并存储实时路况的数据；实时采集显示前端通过编写摄像头配置程序控制COMS摄像头，采集路况模拟模块正在播放的模拟路况数据，分两个时钟返回RGB565格式的像素数据，选取每种颜色的高四位作为VGA接口的输出图像数据，将高五位转换为灰度图像存入带有现场可编程门阵列FPGA芯片的开发板内存中进行下一步处理；图像处理及预测模块在FPGA中对存入的灰度图像进行预处理并进行常规路况物体匹配，根据匹配结果输出常规驾驶提示信号，同时选取多帧图像进行差分处理，利用目标大小、多目标间距离和运动速度设置阈值，将动目标与背景分离，再利用嵌入的nios软核中多核处理控制程序采用多核并行的方式来进行多路并行调用行为预测算法模块，行为预测算法模块根据提取出的威胁目标的多个连续位置进行曲线拟合，生成的预测轨迹曲线与原始图像像素叠加通过VGA输出图像数据，同时根据预测轨迹曲线与外部行为库的行为模式，对多个威胁目标的行为进行行为库匹配，匹配成功后根据匹配结果输出对应的提示信号并存储目标状态，对目标的多个位置进行曲线拟合并模拟出未来运动轨迹，并在VGA上输出叠加后的图像，对满足同一种预测过程保持门限时间的要求，然后根据匹配结果输出对应的预测提示信号；控制模拟终端根据之前各类提示信号的优先顺序，输出对应的语音提示音，并控制模型车电压变化方波的占空比，从而控制舵机来转换方向或控制电机来控制速度，达到模拟驾驶的作用。

2.如权利要求1所述的预测式驾驶辅助模拟系统，其特征在于：路况模拟模块硬件包括，连接光学摄像头的单片机控制板，以及播放用的VGA显示屏，单片机控制板携带有单片机芯片、存储模块和VGA接口，在单片机芯片中，根据摄像头控制协议编写摄像头配置模块。

3.如权利要求1所述的预测式驾驶辅助模拟系统，其特征在于：实时采集显示前端包含了连接摄像头配置模块的输入COMS摄像头、携带有2个内存模块、时钟控制电路模块和数据交互接口的FPGA控制板，摄像头配置模块是在FPGA芯片中根据COMS摄像头控制协议文件编写的软件程序模块。

4.如权利要求1所述的预测式驾驶辅助模拟系统，其特征在于：图像处理及预测模块包含携带有行为库存储模块、多个内存模块、VGA输出接口、提示信号输出接口和时钟控制模块以及FPGA芯片的FPGA开发板，FPGA芯片中包含软件编写的常规行进匹配算法模块、威胁目标提取算法模块和Nios软核，Nios软核中包含软件编写的满足OpenCL标准的多核处理控制程序和行为预测算法模块。

5.如权利要求4所述的预测式驾驶辅助模拟系统，其特征在于：常规行进匹配算法模块将获取的图像与事先存储的物体或行进标志图像进行相似度匹配，匹配上后与行为库进行行为匹配，输出对应的指示信号。

6.如权利要求4所述的预测式驾驶辅助模拟系统，其特征在于：威胁目标提取算法模块将多帧图像做差并二值化处理后，提取出与常规环境有巨大区别的目标区域，对目标区域采用滑动滤波的方式去除杂点，根据门限值，保留至多3个威胁目标，以有色框的方式圈定最终威胁目标区域，有色框与原始帧图像像素叠加后输出图像数据。

7.如权利要求1所述的预测式驾驶辅助模拟系统，其特征在于：当采集显示前端送入图像数据后，图像处理及预测模块利用FPGA自带的并行编程语句完成多路任务：将一路任务存入的灰度图像与程序中编写的模型库进行常规路况物体匹配，然后与行为库进行匹配，输出是否偏道的行进方向等常规行进指示信号；另一路任务累积多帧图像，对累积的图像至少选取3帧进行差分处理，将第一帧和第二帧图像做差形成一个新图像A，将第二帧和第三帧做差形成一个新图像B，然后将图像A和图像B做差得到一个最终的差分图像C，对最终处理后的差分图像利用经验阈值进行二值化的处理，将动目标与背景分离，再采用滑动滤波的方式去除杂点后，利用目标大小、多目标间距离和运动速度设置阈值提取威胁目标，合并部分动目标后仅保留至多3个对本体威胁的动目标；然后又利用FPGA并行语句同时实现两路并行任务：一路是利用有色框将动目标标注出来，将有色框与原始图像进行像素叠加后，在VGA上显示最终的图像信息；另一路调用nios软核中的多核处理控制程序，利用软件编写的多个软件并行核，对每一个威胁目标的行为进行行为库匹配。

8.如权利要求7所述的预测式驾驶辅助模拟系统，其特征在于：nios软核每一个核中将对应的威胁目标与行为库匹配后再次各自分成两个核并行操作：一路软件并行核中根据匹配结果输出对应的提示信号，另一路软件并行核中存储目标状态，进行状态累积，同时调用预测算法，取目标的多个连续状态位置进行曲线拟合，并模拟出未来运动轨迹，然后再次分成两个核并行操作：一路软件并行核中将预测出的运动轨迹曲线，以有色线条的方式叠加在图像数据上，最后通过VGA接口输出至VGA显示屏；另一路软件并行核则将预测出的运动轨迹曲线状态数据进行存储，根据实时数据流进行轨迹更新调整，有新的状态进入时，将最开始的一个状态丢弃后形成新的5个连续状态进行处理，对5个连续状态都与行为库进行匹，获得威胁行为预测结果，若满足其中3个威胁行为预测结果相同，则输出对应每一路核处理得到的预测威胁匹配结果；整个图像处理及预测模块所有处理过程中输出的提示信号根据时间先后、威胁等级进行输出信号优先判定，根据优先顺序输出提示信号。

9.如权利要求1所述的预测式驾驶辅助模拟系统，其特征在于：系统工作后，实时采集显示前端判断是否有初始化信号，初始化后，参照串行摄像头控制总线SCCB协议进行摄像头寄存器配置，判断是否配置成功，当完全配置成功后，FPGA芯片读取摄像头数据和控制信号，摄像头模块不断返回8位数据DATA，象素时钟PCLK，水平同步信号HSYNC和场同步信号VSYNC，然后进行图像数据处理，分两个时钟，将未经加工RAW格式的图像转化为红绿蓝RGB565格式；利用FPGA的并行语句，同时实现两路操作：一路将红绿蓝每种颜色仅保留自身位数的高五位并转换为灰度图像，采用乒乓操作的方式轮流存入开发板的两个内存中，输出也是以乒乓操作的方式读取与当前存数不同的内存中的图像数据，然后将图像数据送入后续图像处理及预测模块进行后续处理，另一路操作是将红绿蓝每种颜色仅保留高四位后作为VGA图像数据输出至VGA显示屏。

Images