CN106993158A - 一种基于图像复原的主动红外夜视辅助驾驶系统 - Google Patents

Abstract

本发明公开设计一种基于图像复原的主动红外夜视辅助驾驶系统，是将主动红外成像系统与FPGA+DSP的实时图像处理系统结合，采用对红外线采集到的图像进行基于FPGA+DSP实时图像复原，以提高夜间图像的质量和分辨率，从而对红外成像的图像进行处理进而得到清晰的目标图像。包括：图像采集模块、图像复原模块，报警模块、图像显示模块、电源管理模块；所述图像复原模块用于将图像采集模块采集到的实时采集图像进行复原，是将基于FPGA+DSP的实时图像复原技术，对采集图像进行复原处理，使图像复原成清晰图像；通过DSP对图像中的目标进行方位探测、大小探测、移动探测、热源判断，将结果通过FPGA变成控制信号传送给报警模块的发声装置进行警示作用。

Description

一种基于图像复原的主动红外夜视辅助驾驶系统

技术领域

本发明涉及一种基于图像复原的主动红外夜视辅助驾驶系统，具体涉及一种在黑暗环境中利用主动红外成像并用基于FPGA+DSP的实时图像复原技术进行图像复原的夜视辅助驾驶系统，属夜视成像技术领域。

背景技术

夜视系统已广泛应用在我们的日常生活中，主要用于在夜间观察目标，获得人眼可见的目标图像。现有较为成熟的夜视技术主要有：微光夜视技术、主动红外夜视技术、红外热成像技术三大类。其中：微光夜视技术又称像增强技术，是通过带像增强管的夜视镜，对夜晚光照亮的微弱目标像进行增强，以供观察的光电成像技术；主动红外夜视技术是通过主动照射并利用目标反射红外源的红外光来实施观察的夜视技术；红外热成像技术是借助于目标自身发射的红外辐射来实现观察的红外技术，它根据目标与背景或目标各部分之间的温差或热辐射差来发现目标。

根据主动红外夜视成像原理可知，基于主动红外成像的夜视系统具有能够充分利用红灯发出的狭窄光束照明目标，目标与背景反差大，所形成的图像与可见光图像相似，能清楚地显示道路的详细信息(如行人、车辆、车道标志线、交通信号、道路上散落的物体等)，对“无生命”的目标也能探测。

现有主动红外车载夜视系统虽然成像清晰，但受光源强度限制，有效成像距离短，无法过滤相同工作波长光线对系统的干扰，当系统面对迎面强光或装备主动红外车载夜视系统的近红外光源时，成像效果差，并且当黑夜中人的姿势变为类似于下蹲状姿势时，所述的现有夜视系统只能显示出一块模糊团状物，严重影响了驾驶员的判断能力。

现有的夜视辅助驾驶成像系统，如中国发明专利《激光夜视辅助驾驶激光照明器》（201410053862.0），是通过对被观测物体进行补光照明来提高图像的可视度所构成的成像系统，该系统只有使物体成像而未将得到的图像进行复原；中国发明专利《一种车载红外图像彩色化辅助驾驶系统》（201510141721.9）虽然可将红外成像彩色化，但同样是没有将彩色化的图像进行复原。现有的红外线主动成像系统，在红外图像的采集、传输和处理的过程中，受外界环境如大气扰动、景物和成像装置的相对运动等因素影响，导致得到的图像质量下降、视频分辨率不够高。因此，为了获得高质量清晰的图像，极有必要研制可克服图像退化严重问题的车载夜视辅助驾驶系统，该系统具备对退化图像进行复原能力。

综上所述，为了获得高质量清晰的图像，需要对退化图像进行复原，然而公开文献中并没有对红外成像图像进行图像复原的例子，因此，研制一套可克服图像退化严重问题的车载夜视辅助驾驶系统，采用对红外线采集到的图像进行基于FPGA+DSP实时图像复原来提高夜间图像的质量和分辨率，对保障驾驶员夜间安全行车有重大意义。

发明内容

本发明针对背景技术所述问题，设计一种基于图像复原的主动红外夜视辅助驾驶系统，是将主动红外成像系统与FPGA+DSP的实时图像处理系统结合，采用对红外线采集到的图像进行基于FPGA+DSP实时图像复原，以提高夜间图像的质量和分辨率，从而对红外成像的图像进行处理进而得到清晰的目标图像。

为了达到上述目的，本发明采用以下技术方案：

一种基于图像复原的主动红外夜视辅助驾驶系统，包括：图像采集模块、报警模块、图像显示模块、电源管理模块；

所述图像采集模块用于发出红外光束探测夜间目标，并接收夜间探测目标图像成像点，得到实时采集图像；图像采集模块包括LED阵列和光束整形模块以及带红外功能的摄像头，LED阵列发射出的红外光信号通过光束整形模块，增强LED光学性能，再经过反射镜对夜间行人或者其它障碍物进行探测照明；带红外功能的摄影镜头在驱动电路的驱动下接收黑夜下探测目标的成像供进一步处理；

所述电源管理模块，用于给整个系统提供电源；

所述图像显示模块包括至少一块显示屏，所述显示屏用于显示处理后的图像；

所述报警模块用于响应实时监测的图像动态所反馈的信息，当超出正常状态时进行报警提示；

其特征在于：

还包括图像复原模块；所述图像复原模块用于将图像采集模块采集到的实时采集图像进行复原，是将基于FPGA+DSP的实时图像复原技术，对采集图像进行复原处理，使图像复原成清晰图像；通过DSP对图像中的目标进行方位探测、大小探测、移动探测、热源判断，然后将结果通过FPGA变成控制信号传送给报警模块的发声装置进行警示作用；

所述图像复原模块包括： FPGA模块、DSP模块、一个用于隔离的配置芯片、DPRAM、FLASH、SDRAM；

所述配置芯片是用于将实时捕获的图像信息送入FPGA模块之前，为防止系统其它电路对图像获取模块的干扰而对信号进行隔离；

所述DPRAM是用于FPGA与DSP数据交换的双口DPRAM；

所述FLASH用于存储处理图像信息；

所述SDRAM是DSP自身所带的运行内存。

如上所述一种基于图像复原的主动红外夜视辅助驾驶系统，其特征在于：所述报警模块包括一个发声装置，报警模块分别与FPGA和图像显示模块的显示屏相连。

一种基于图像复原的主动红外夜视辅助驾驶系统的图像复原方法，其特征在于：首先由红外照明LED提供辅助光源，带红外功能的摄像头开始摄像，将实时捕获的图像信息送入配置芯片，对图像信息信号进行隔离，再由配置芯片传送到FPGA模块；

FPGA中实现图像的采集和图像的预处理，产生各种控制逻辑和时钟信号，并在FPGA中实现预警功能；

通过与DSP信号的交互，在DSP中进行方位探测、大小检测、移动检测、热源判断，得到这些信息后反馈到FPGA，并通过FPGA产生控制信号输出到报警装置，所述报警装置通过发声装置进行提醒并将报警信息传送至显示屏；

图像信号经过了FPGA的处理后，再传送至DSP进行进一步图像处理，并通过双口DPRAM为FPGA与DSP提供数据交换的媒介；

在DSP芯片中通过将由LED光束在夜晚大气传输过程中的退化计算估计出调制传递函数，进而得到点扩散函数，以此作为复原的先验知识，并将Canny边缘检测作为复原的约束，然后对图像进行正则化盲去卷积滤波复原，得到清晰目标图像的算法程序输入DSP芯片，使DSP芯片能将预处理后的图像复原；最后将复原后图像传送至显示屏。

本发明一种基于图像复原的主动红外夜视辅助驾驶系统的工作原理是：

本发明通过红外摄像头捕获视频图像信息，以大气传输过程中的参数建立LED夜视成像模型，将得到的调制传递函数作为复原的先验知识，Canny边缘检测作为复原的约束，进行正则化半盲图像复原的算法程序在DSP 中进行图像复原，实现针对性的夜视图像复原，提高显示出的图像质量。

夜视系统工作时，电源管理模块给照明LED、摄像头、图像显示模块及预警处理模块供电，红外照明LED提供辅助光源，带红外功能的摄像头开始摄像，将实时捕获的图像信息送入FPGA模块中，为防止系统其它电路对图像获取模块的干扰，在信号进去FPGA之前加上一个配置芯片对信号进行隔离。FPGA中实现图像的采集和图像的预处理，产生各种控制逻辑和时钟信号，并在FPGA中实现预警功能使其通过与DSP信号的交互，在DSP中进行方位探测、大小检测、移动检测、热源判断，得到这些信息后反馈到FPGA中去，并通过FPGA产生控制信号输出到报警装置中去，报警装置包括一个发声装置进行提醒并将信息显示在显示屏上，在图像信号经过了FPGA的处理后需要送至DSP中进行进一步的图像处理，这里由于FPGA与DSP交换的数据量大，视频的像素速率高，所以使用一块双口DPRAM来为FPGA与DSP提供数据交换的媒介，两块芯片各控制一端的读写来完成数据的交换。在DSP芯片中通过将由LED光束在夜晚大气传输过程中的退化计算估计出调制传递函数，进而得到点扩散函数，以此作为复原的先验知识，并将Canny边缘检测作为复原的约束，然后对图像进行正则化盲去卷积滤波复原，得到清晰目标图像的算法程序输入进芯片使DSP芯片能将预处理后的图像复原。考虑到这个图像处理算法涉及到对前后几帧图像进行处理，为保证系统运行时有足够的存储量，因此在DSP模块中需额外扩展存储空间来存储处理图像，这就要加入FLASH，最后将复原后图像传送至显示屏。

本发明的有益效果是：

1、将基于FPGA+DSP的实时图像复原应用于夜视系统，提高夜视成像质量，加强系统性能。

2、利用有针对性的图像复原模块进行夜视系统的图像质量提升，在现有低成本的情况下尽可能提升探测效果。

附图说明

图1是本发明“一种基于图像复原的主动红外夜视辅助驾驶系统”实施例系统构成框图。

具体实施方式

以下结合附图对本发明一种带隙基准电压源具体实施例作进一步说明：参考附图1，本发明一种基于图像复原的主动红外夜视辅助驾驶系统，包括：图像采集模块、报警模块10、图像显示模块11、电源管理模块12；还包括图像复原模块，所述图像显示模块11是一块显示屏。

所述图像采集模块用于发出红外光束探测夜间目标，并接收夜间探测目标图像成像点，得到实时采集图像；图像采集模块包括LED阵列1和光束整形模块2以及带红外功能的摄像头3，LED阵列1发射出的红外光信号通过光束整形模块2，增强LED光学性能，再经过反射镜对夜间行人或者其它障碍物进行探测照明；带红外功能的摄像头3在驱动电路的驱动下接收黑夜下探测目标的成像供进一步处理。

所述图像复原模块用于将图像采集模块采集到的实时采集图像进行复原，是将基于FPGA+DSP的实时图像复原技术，对采集图像进行复原处理，使图像复原成一定程度的清晰图像。

所述电源管理模块12，用于给整个系统提供电源；所述图像显示模块11用于显示处理后的图像；所述报警模块10用于响应实时监测的图像动态所反馈的信息，当超出正常状态时进行报警提示。报警模块10包括一个发声装置，报警模块10分别与FPGA和显示屏相连。

所述图像复原模块包括： FPGA模块5、DSP模块7、一个用于隔离的配置芯片4、DPRAM6、FLASH8、SDRAM9；其中：DPRAM6是用于FPGA5与DSP7数据交换的双口DPRAM、FLASH8用于存储处理图像信息、SDRAM9是DSP7自身所带的运行内存。

本发明实施例中，所述LED阵列选择：IR850，带红外功能的摄像头选择:HY—6001，配置芯片选择：ISO EM0(A)-P-0，DSP选择：DM6467，FPGA选择：EP1C12Q240C8，双口DPRAM选择：CY7C025。

本发明一种基于图像复原的主动红外夜视辅助驾驶系统的工作原理是：

本发明通过红外摄像头捕获视频图像信息，以大气传输过程中的参数建立LED夜视成像模型，将得到的调制传递函数作为复原的先验知识，Canny边缘检测作为复原的约束，进行正则化半盲图像复原的算法程序在DSP 中进行图像复原，实现针对性的夜视图像复原，提高显示出的图像质量。

夜视系统工作时，电源管理模块给照明LED、摄像头、图像显示模块及预警处理模块供电，红外照明LED阵列提供辅助光源，带红外功能的摄像头开始摄像，将实时捕获的图像信息送入FPGA模块中，当然为了防止系统其它电路对图像获取模块的干扰，在信号进去FPGA之前加上一个配置芯片对信号进行隔离。FPGA中实现图像的采集，图像的预处理，产生各种控制逻辑和时钟信号，并在FPGA中实现预警功能使其通过与DSP信号的交互，在DSP中进行方位探测、大小检测、移动检测、热源判断，得到这些信息后反馈到FPGA中去，并通过FPGA产生控制信号输出到报警装置中去，报警装置包括一个发声装置进行提醒并将信息显示在显示屏上，在图像信号经过了FPGA的处理后需要送至DSP中进行进一步的图像处理，这里由于FPGA与DSP交换的数据量大，视频的像素速率高，所以使用一块双口DPRAM来为FPGA与DSP提供数据交换的媒介，两块芯片各控制一端的读写来完成数据的交换。在DSP芯片中通过将由LED光束在夜晚大气传输过程中的退化计算估计出调制传递函数，进而得到点扩散函数，以此作为复原的先验知识，并将Canny边缘检测作为复原的约束，然后对图像进行正则化盲去卷积滤波复原，得到清晰目标图像的算法程序输入进芯片使DSP芯片能将预处理后的图像复原。但考虑到这个图像处理算法涉及到对前后几帧图像进行处理，为保证系统运行时有足够的存储量，因此在DSP模块中需额外扩展存储空间来存储处理图像，这就要加入FLASH，最后将复原后图像传送至显示屏。

本发明是将基于FPGA+DSP的实时图像复原应用于夜视系统，提高夜视成像质量，加强系统性能。利用有针对性的图像复原模块进行夜视系统的图像质量提升，在现有低成本的情况下尽可能提升探测效果。

以上仅为本发明的实施例，但并不用于限制本发明，凡在本发明的精神和原则之内所做的任何修改、等同替换或改进等，均应包含在本发明的权利要求范围之内。

Claims (3)

1.一种基于图像复原的主动红外夜视辅助驾驶系统，包括：图像采集模块、报警模块、图像显示模块、电源管理模块；

所述图像采集模块用于发出红外光束探测夜间目标，并接收夜间探测目标图像成像点，得到实时采集图像；图像采集模块包括LED阵列和光束整形模块以及带红外功能的摄像头，LED阵列发射出的红外光信号通过光束整形模块，增强LED光学性能，再经过反射镜对夜间行人或者其它障碍物进行探测照明；带红外功能的摄影镜头在驱动电路的驱动下接收黑夜下探测目标的成像供进一步处理；

所述电源管理模块，用于给整个系统提供电源；

所述图像显示模块包括至少一块显示屏，所述显示屏用于显示处理后的图像；

所述报警模块用于响应实时监测的图像动态所反馈的信息，当超出正常状态时进行报警提示；

其特征在于：

还包括图像复原模块；所述图像复原模块用于将图像采集模块采集到的实时采集图像进行复原，是将基于FPGA+DSP的实时图像复原技术，对采集图像进行复原处理，使图像复原成清晰图像；通过DSP对图像中的目标进行方位探测、大小探测、移动探测、热源判断，然后将结果通过FPGA变成控制信号传送给报警模块的发声装置进行警示作用；

所述图像复原模块包括： FPGA模块、DSP模块、一个用于隔离的配置芯片、DPRAM、FLASH、SDRAM；

所述配置芯片是用于将实时捕获的图像信息送入FPGA模块之前，为防止系统其它电路对图像获取模块的干扰而对信号进行隔离；

所述DPRAM是用于FPGA与DSP数据交换的双口DPRAM；

所述FLASH用于存储处理图像信息；

所述SDRAM是DSP自身所带的运行内存。

2.如权利要求1所述一种基于图像复原的主动红外夜视辅助驾驶系统，其特征在于：所述报警模块包括一个发声装置，报警模块分别与FPGA和图像显示模块的显示屏相连。

3.一种基于图像复原的主动红外夜视辅助驾驶系统的图像复原方法，其特征在于：首先由红外照明LED提供辅助光源，带红外功能的摄像头开始摄像，将实时捕获的图像信息送入配置芯片，对图像信息信号进行隔离，再由配置芯片传送到FPGA模块；

FPGA中实现图像的采集和图像的预处理，产生各种控制逻辑和时钟信号，并在FPGA中实现预警功能；

通过与DSP信号的交互，在DSP中进行方位探测、大小检测、移动检测、热源判断，得到这些信息后反馈到FPGA，并通过FPGA产生控制信号输出到报警装置，所述报警装置通过发声装置进行提醒并将报警信息传送至显示屏；

图像信号经过了FPGA的处理后，再传送至DSP进行进一步图像处理，并通过双口DPRAM为FPGA与DSP提供数据交换的媒介；

在DSP芯片中通过将由LED光束在夜晚大气传输过程中的退化计算估计出调制传递函数，进而得到点扩散函数，以此作为复原的先验知识，并将Canny边缘检测作为复原的约束，然后对图像进行正则化盲去卷积滤波复原，得到清晰目标图像的算法程序输入DSP芯片，使DSP芯片能将预处理后的图像复原；最后将复原后图像传送至显示屏。