CN203134116U - 基于视觉感知和车联网的客车安全预警系统 - Google Patents

Abstract

本实用新型涉及一种基于视觉感知和车联网的客车安全预警系统。包括车载系统（101）、监控中心软件（102）、RFID通信模块（103）、检查站软件（104）、驾驶员RFID卡（105），车载系统负责采集和存储车内外视频图像，车辆载客人数统计、驾驶员疲劳状态检测、车内异常状态检测、手动报警信息检测、车辆行驶信息采集等工作；通过RFID读取驾驶员RFID卡中的驾驶员身份信息；通过3G通信将车辆行驶信息和异常报警信息发送到监控中心软件；通过RFID将车辆实时情况发送至检查站的RFID通信模块上，进而显示在检查站软件上。该系统使用基于智能视频分析的超载检测技术，检测精度高，检测结果可以通过3G通信传输到监控中心、通过RFID传输到检查站，发现超载后自动报警，方便监管。

Description

基于视觉感知和车联网的客车安全预警系统

技术领域

本发明涉及基于视觉感知和车联网的客车安全预警系统。

背景技术

长途客车是一种常用的公共交通运输方式，随着我国汽车数量的增加和国家公路网的建设，城市间的往来日益频繁。受经济利益的驱使，长途客运市场普遍存在超员、超速、随意上下客、疲劳驾驶等问题，由此造成的重特大交通事故逐年增加，已严重威胁了人民群众的生命和财产安全；另外由于载客人数众多，偷窃、抢劫等犯罪行为屡有发生。目前，针对超载、超速、疲劳驾驶等问题，客运交通监管部门制定了多项规章制度，但缺乏相应的技术监管手段，主要采用设立检查站和路上巡检的传统方法检测客车是否超员，这些方法耗费人力物力，自动化程度不高，管理落后而且检测精度很低。

目前长途客车行驶中存在的安全隐患主要包括超载、超速、车内打斗、疲劳驾驶、无照驾驶、高速上下客等，应用于长途客车的车辆安全预警系统应当能够实时检测到上述问题，并通过无线通信将报警信息发送到相关监管部门。现有的专利和产品仅仅具备少数几项功能，不能满足实际应用需求。

专利【公路客车安全辅助监控管理系统--客车黑匣子.200610164461.8】使用激光对射探头上下车人数进行统计，这种方法易受乘客拥挤的影响造成误判；使用拍摄速度表画面进行超速监测，这种方法的适用性较差；使用计时器进行疲劳驾驶检测，不能实时判断驾驶员的驾驶状态；另外只具备本地检测功能，不具备远程报警、车内异常情况监测、GPS车辆定位。

专利【长途客车安全监视系统.200810038249.6】使用摄像机进行上下车人数统计，仅实现了超载检测功能，不具备疲劳驾驶检测，不具备车内异常情况检测、超速检测、远程检测、GPS车辆定位。

专利【客车疲劳驾驶及超载运输的远程监控装置.200420072961.5】使用远程拍照进行人数统计，系统实时性差；使用IC卡刷卡实现疲劳驾驶检测，不能防止一人多卡的情况；不具备车内异常情况检测、超速检测、GPS车辆定位。

专利【一种客车超载监控装置.201120535176.9】、【一种基于单片机的客车超载监控装置.201120492430.1】使用红外对射进行上下车人数统计，仅实现了超载检测功能，且这种方法易受乘客拥挤的影响造成误判；不具备疲劳驾驶检测，不具备车内异常情况检测，不具备超速检测、远程检测、GPS车辆定位。

文献【远程无线智能车载监控系统.国防科技大学工程硕士学位论文.2008.10】使用红外对射进行上下车人数统计，这种方法易受乘客拥挤的影响造成误判；使用GPRS传输车辆载客信息和车载GPS信息，不能实时上传车内视频，不具备疲劳驾驶检测、车内异常情况检测。

发明内容

为解决现有客车安全监控面临的问题，本发明提出了一种基于视觉感知和车联网的客车安全预警系统。

本发明的技术方案如下：

1、客车安全预警系统包括车载系统101、监控中心软件102、RFID通信模块103、检查站软件104、驾驶员RFID卡105，各部分关系如图1所示，其中，车载系统101通过3G通信方式与监控中心软件102通信，车载系统101通过RFID通信方式与驾驶员RFID卡105通信，车载系统101通过RFID通信方式与RFID通信模块103通信，RFID通信模块103与检查站软件104相连接。

车载系统101负责采集和存储车内外视频图像，车辆载客人数统计、驾驶员疲劳状态检测、车内异常状态检测、手动报警信息检测、车辆行驶信息采集等工作；车载系统101通过RFID通信读取驾驶员RFID卡105中的驾驶员身份信息；车载系统101通过3G通信将车辆行驶信息和异常报警信息发送到监控中心软件102；车载系统101通过RFID通信将车辆实时情况发送至检查站的RFID通信模块103上，进而显示在检查站软件104上。

监控中心软件102通过3G通信接收车载系统101的车辆信息，根据需要将所需的视频数据进行记录保存；记录车辆的运行轨迹；记录车辆的异常报警数据；当接收到异常报警数据后以声光方式提醒监视人员注意。

2、车载系统101包括：车载系统主机201、近场RFID模块202、远程RFID模块203、手动报警按钮204、3G通信系统天线205、卫星定位系统天线206、人数统计摄像机A207、车门开闭传感器A208、疲劳检测摄像机209、车内情况摄像机210、车前情况摄像机211、人数统计摄像机B212、车门开闭传感器B213，其中，近场RFID模块202、远程RFID模块203、手动报警按钮204、3G通信系统天线205、卫星定位系统天线206、人数统计摄像机A207、车门开闭传感器A208、疲劳检测摄像机209、车内情况摄像机210、车前情况摄像机211、人数统计摄像机B212、车门开闭传感器B213均与车载系统主机201相连，如图2所示。

车载系统主机201负责所有的数据分析处理与流程控制；近场RFID模块202用于读取驾驶员身份验证卡；远程RFID模块203用于将车辆当前状态传输至车外检查站；手动报警按钮204用于驾驶员在紧急情况下手动报警；3G通信系统天线205用于3G通讯信号收发；卫星定位系统天线206用于接收卫星定位信号；疲劳检测摄像机209用于采集驾驶员面部画面；车内情况摄像机210用于采集车厢内实时画面；车前情况摄像机211用于采集车辆行驶前方实时画面；人数统计摄像机B212用于采集副车门的上下客画面；车门开闭传感器B213用于判断副车门的开闭状态。

3、车载系统主机201包括：ARM中心控制模块301、DSP智能视频分析模块302、SOC音视频编码存储传输模块303、车载电源模块304、外部电源接口305、RS232接口306、近场RFID接口307、远程RFID接口308、车门传感器接口A309、车门传感器接口B310、摄像机电源接口A311、摄像机电源接口B312、摄像机电源接口C313、摄像机电源接口D314、摄像机电源接口E315、四合一视频合成模块316、视频分配模块A317、视频分配模块B318、输入视频接口A319、输入视频接口B320、输入视频接口C321、输入视频接口D322、输入视频接口E323、输出视频接口324、3G天线接口325、卫星定位天线接口326、报警按钮接口327、SD卡接口328、USB接口329，如图3所示，其中：外部电源接口305与车载电源模块304连接；车载电源模块304与ARM中心控制模块301连接；DSP智能视频分析模块302、SOC音视频编码存储传输模块303、RS232接口306、近场RFID接口307、远程RFID接口308、车门传感器接口A309、车门传感器接口B310分别与ARM中心控制模块301连接；ARM中心控制模块301与摄像机电源接口A311、摄像机电源接口B312、摄像机电源接口C313、摄像机电源接口D314、摄像机电源接口E315连接；3G天线接口325、卫星定位天线接口326、报警按钮接口327、SD卡接口328及USB接口329分别与SOC音视频编码存储传输模块303连接；输入视频接口C321连接到视频分配模块A317；输入视频接口D322连接到视频分配模块B318；视频分配模块A317、视频分配模块B318、输入视频接口A319及输入视频接口B320分别连接到四合一视频合成模块316；四合一视频合成模块316连接到DSP智能视频分析模块302；视频分配模块A317、视频分配模块B318、输入视频接口E323及输出视频接口324分别与SOC音视频编码存储传输模块303连接。

外部电源接口305用于和车辆电瓶相连接，供电给车载电源模块304；车载电源模块304将接收到的电源转换为稳定的DC12V输出给ARM中心控制模块301。

ARM中心控制模块301负责协调系统各模块的运行，包括给系统内部各模块提供工作电源；根据实际需要通过摄像机电源接口A311、摄像机电源接口B312、摄像机电源接口C313、摄像机电源接口D314、摄像机电源接口E315为外部摄像机提供工作电源；ARM中心控制模块301通过RS232接口306进行系统参数调节；ARM中心控制模块301通过近场RFID接口307与近场RFID模块202通信；ARM中心控制模块301通过远程RFID接口308与远程RFID模块203通信；ARM中心控制模块301通过车门传感器接口A309、车门传感器接口B310与车门传感器通信；ARM中心控制模块301与DSP智能视频分析模块302进行数据交换；ARM中心控制模块301与SOC音视频编码存储传输模块303进行数据交换。

输入视频接口A319用于和人数统计摄像机A207连接，将视频数据送入四合一视频合成模块316；输入视频接口B320用于和人数统计摄像机B212连接，将视频数据送入四合一视频合成模块316；输入视频接口C321用于和疲劳检测摄像机209连接，将视频数据送入视频分配模块A317；输入视频接口D322用于和车内情况摄像机210连接，将视频数据送入视频分配模块B318；输入视频接口E323用于和车前情况摄像机211连接，将视频数据送入SOC音视频编码存储传输模块303；视频分配模块A317、视频分配模块B318将接收到的视频数据分为两路，一路传送给四合一视频合成模块316，另一路传送给SOC音视频编码存储传输模块303；四合一视频合成模块316将4路输入视频合成1路送至DSP智能视频分析模块302。

DSP智能视频分析模块302在ARM中心控制模块301的控制下，通过分析四合一视频合成模块316传来的视频数据，进行上下车人数统计、驾驶员疲劳状态检测、车厢内异常情况检测的工作，并将处理结果发送给ARM中心控制模块301。

SOC音视频编码存储传输模块303和ARM中心控制模块301进行通信，接收异常情况报警信号；将接收到的视频数据进行编码，SOC音视频编码存储传输模块303通过SD卡接口328将数据存储在SD卡上；SOC音视频编码存储传输模块303通过输出视频接口324提供环路输出功能；SOC音视频编码存储传输模块303通过USB接口329可连接U盘、鼠标等通用USB设备；SOC音视频编码存储传输模块303通过报警按钮接口327接收驾驶员手动报警信号；SOC音视频编码存储传输模块303通过卫星定位天线接口326接收卫星定位信号，实现车辆定位；SOC音视频编码存储传输模块303通过3G天线接口325和管理中心实现高速无线通信，进行报警信号、车内视频数据的实时上传。

4、监控中心软件102包括：3G数据转发模块401、车辆数据解码模块402、视频数据解码模块403、信息综合显示模块404、数据库管理模块405，如图4所示。其中3G数据转发模块401负责接收车载系统101传来的3G通信数据包，并将车辆信息数据包转发给车辆数据解码模块402，将视频信息数据包转发给视频数据解码模块403；车辆数据解码模块402负责解码车辆信息数据包，获取车辆载客数量、当前位置、行驶速度、驾驶员状况、异常情况报警信号等数据，并将数据传输给信息综合显示模块404；视频数据解码模块403负责解码视频信息数据包，并将解码后的视频数据传输给信息综合显示模块404；信息综合显示模块404负责显示接收到的车辆状况信息和车内视频信息，接收到报警信号后，以声光提示方式提醒监控人员注意，并将信息传递给数据库管理模块405；数据库管理模块405负责将车辆运行信息记录入数据库，用于后期查询。

监控中心软件102的功能包括3G通信数据接收与转发、压缩视频数据解码与显示、车辆行驶数据接收与电子地图显示、异常报警数据接收与主动提示、车辆行驶信息的记录与检索。

5、车载系统101与驾驶员RFID卡105、RFID通信模块103和检查站软件104交换信息的流程如下：

Step1：车辆启动后，车载系统101通过近场RFID模块202读取驾驶员RFID卡105获取车辆注册信息，通过视频分析获取车辆实际载客信息；

Step2：车辆行驶至有远程RFID读取设备的检查站附近时，远程RFID模块203被激活，车载系统101通过RFID向外传输车辆实时信息；

Step3：RFID通信模块103接收到车载系统101的信号，并将数据转发给检查站软件104；

Step4：检查站软件104通过分析接收到的车辆实时信息，判断车辆是否存在超载等违规驾驶情况。

本发明的主要优点如下：

（1）使用基于智能视频分析的超载检测技术，检测精度高，检测结果可以通过3G通信传输到监控中心、通过RFID传输到检查站，发现超载后自动报警，方便监管。

（2）使用基于卫星导航定位的车速检测技术，检测结果精确可靠，不会被篡改，检测结果可以通过3G通信传输到监控中心、通过RFID传输到检查站，发现超速后自动报警，方便监管。

（3）使用基于智能视频分析技术的疲劳检测技术，实时判定驾驶员的疲劳状态，检测结果更可靠，发现疲劳驾驶后主动进行本地报警和远程报警，杜绝安全隐患。

（4）使用基于卫星导航定位的车辆位置实时检测技术，结合监控中心的行驶轨迹记录功能，可以检测驾驶员是否按照规定路线行驶，一旦发现私自更改行车线路的问题，系统将自动报警。

（5）使用基于智能视频分析技术的司机驾驶状态检测技术，实时判定驾驶员是否存在边开车边打手机的情况，检测结果可靠，发现问题后主动进行本地报警和远程报警，杜绝安全隐患。

（6）使用基于智能视频分析技术的司机驾驶状态检测技术，实时判定驾驶员是否存在边开车边吃东西的情况，检测结果可靠，发现问题后主动进行本地报警和远程报警，杜绝安全隐患。

（7）使用基于智能视频分析技术的司机驾驶状态检测技术，实时判定驾驶员是否存在开车时打牌、不看路等不专注驾驶情况，检测结果可靠，发现问题后主动进行本地报警和远程报警，杜绝安全隐患。

（8）使用基于智能视频分析技术的车内异常情况检测技术，实时判定车厢内是否存在扒窃、斗殴等异常情况，检测结果可靠，发现问题后主动进行本地报警和远程报警，杜绝安全隐患。

（9）支持手动报警功能，方便驾驶员在紧急情况下手动远程报警，提高各级相关部门应对突发状况的反应速度。

（10）设备便于安装、可靠性高，系统功能完备，符合长途客运对行车安全监管的需求。

附图说明

图1 客车安全预警系统结构图；

图2 车载系统结构图；

图3 车载系统主机结构图；

图4 监控中心软件结构图。

具体实施方式

下面对本发明的具体实施方式进行说明，该说明只表明本发明的一种可能实施方式，不作为权利要求的限定。

1、系统安装

（1）根据客车驾驶台的实际情况将车载系统主机101安装在适当的位置，并从车辆电瓶上引电源接到车载系统主机101。

（2）将近场RFID模块102安装在距离驾驶员较近的位置，并与车载系统主机101相连。

（3）将远程RFID模块103安装在距离车辆外壳较近的位置，并与车载系统主机101相连。

（4）将手动报警按钮104安装在驾驶员可以方便使用且较为隐蔽的位置，并与车载系统主机101相连。

（5）将3G通信系统天线105和卫星定位系统天线106安装在距离车辆外壳较近的位置，并与车载系统主机101相连。

（6）将人数统计摄像机A107安装在主车门上方能够拍摄车门进出人员的位置，将车门开闭传感器A108安装在主车门和门框上，并将二者与车载系统主机101相连。

（7）将疲劳检测摄像机109安装在驾驶台附近可以拍摄驾驶员面部的位置，并与车载系统主机101相连。

（8）将车内情况摄像机110安装在车顶、靠近驾驶员一侧、能够拍摄整个车厢画面的位置，并与车载系统主机101相连。

（9）将车前情况摄像机111安装在前挡风玻璃附近可以拍摄车辆前方画面的位置，并与车载系统主机101相连。

（10）将人数统计摄像机B112安装在副车门上方能够拍摄车门进出人员的位置，将车门开闭传感器B113安装在副车门和门框上，并将二者与车载系统主机101相连。对于没有副车门的中型客车，此步骤可以省略。

（11）建立具备互联网接入能力的监视中心，运行监视中心软件102。

（12）在检查站安装RFID通信模块103和检查站软件104。

（13）给驾驶员配备驾驶员RFID卡105。

2、系统运行

（1）当系统检测到车辆停止且车门打开时，车载系统主机101通过分析人数统计摄像机A107和人数统计摄像机B112采集的乘客上下车的视频画面，来统计上下车的人数，进而判断客车载客人数；当车门关闭且车辆开始运行时，车载系统主机101将客车载客人数通过3G网络发送到监控中心。监控中心的平台软件一旦判定车辆处于超载状态，一方面提醒监控人员注意，另一方面通过3G网回传提示信息警告驾驶员。

（2）当车门关闭且车辆开始运行时，车载系统主机101通过分析疲劳检测摄像机109的视频画面，判断司机是否处于疲劳驾驶状态，一旦发现异常，立即以声光报警提示驾驶员，同时通过3G网络将报警信息发送到监控中心。

（3）当车门关闭且车辆开始运行时，车载系统主机101通过分析车内情况摄像机110的视频画面，判断车厢内状态，一旦发现异常，立即以声光报警提示驾驶员，同时通过3G网络将报警信息发送到监控中心。

（4）当车门关闭且车辆开始运行时，驾驶员一旦按下手动报警按钮104，车载系统主机101通过3G网络将报警信息发送到监控中心。

（5）当车门关闭且车辆开始运行时，车载系统主机101持续接收卫星定位信息，并将车辆的运行参数通过3G网络发送到监控中心。监控中心的平台软件一旦判定车辆处于超速状态，一方面提醒监控人员注意，另一方面通过3G网回传提示信息警告驾驶员。

（6）当车门关闭且车辆开始运行时，车载系统主机101将疲劳检测摄像机109、车内情况摄像机110、车前情况摄像机111的数据编码后存储在SD卡中，便于后期查阅。监控人员使用监控中心的平台软件，通过3G网络与车载系统主机101建立连接后，可浏览疲劳检测摄像机109、车内情况摄像机110、车前情况摄像机111的实时画面和历史记录。

（7）当车辆行驶到有远程RFID读取设备的检查站附近时，车载系统主机101通过远程RFID模块将车辆的相关信息传输至检查站，实现快速不停车检测。

Claims (5)

1. 基于视觉感知和车联网的客车安全预警系统，包括车载系统（101）、监控中心软件（102）、RFID通信模块（103）、检查站软件（104）、驾驶员RFID卡（105），其特征在于，车载系统通过3G通信方式与监控中心软件通信，车载系统通过RFID通信方式与驾驶员RFID卡通信，车载系统通过RFID通信方式与RFID通信模块通信，RFID通信模块与检查站软件相连接；

其中，车载系统（101）包括：车载系统主机（201）、近场RFID模块（202）、远程RFID模块（203）、手动报警按钮（204）、3G通信系统天线（205）、卫星定位系统天线(206)、人数统计摄像机A(207)、车门开闭传感器A(208)、疲劳检测摄像机(209)、车内情况摄像机(210)、车前情况摄像机(211)、人数统计摄像机B(212)、车门开闭传感器B(213)，所述近场RFID模块(202)、远程RFID模块(203)、手动报警按钮(204)、3G通信系统天线(205)、卫星定位系统天线(206)、人数统计摄像机A(207)、车门开闭传感器A（208）、疲劳检测摄像机（209）、车内情况摄像机（210）、车前情况摄像机（211）、人数统计摄像机B（212）、车门开闭传感器B（213）均与车载系统主机（201）相连。

2.根据权利要求1所述的基于视觉感知和车联网的客车安全预警系统，其特征在于，所述车载系统主机（201）包括：ARM中心控制模块（301）、DSP智能视频分析模块（302）、SOC音视频编码存储传输模块（303）、车载电源模块（304）、外部电源接口（305）、RS232接口（306）、近场RFID接口（307）、远程RFID接口（308）、车门传感器接口A（309）、车门传感器接口B（310）、摄像机电源接口A（311）、摄像机电源接口B（312）、摄像机电源接口C（313）、摄像机电源接口D（314）、摄像机电源接口E（315）、四合一视频合成模块（316）、视频分配模块A（317）、视频分配模块B（318）、输入视频接口A（319）、输入视频接口B（320）、输入视频接口C（321）、输入视频接口D（322）、输入视频接口E（323）、输出视频接口（324）、3G天线接口（325）、卫星定位天线接口（326）、报警按钮接口（327）、SD卡接口（328）、USB接口（329），其中：外部电源接口（305）与车载电源模块（304）连接；车载电源模块（304）与ARM中心控制模块（301）连接；DSP智能视频分析模块（302）、SOC音视频编码存储传输模块（303）、RS232接口（306）、近场RFID接口（307）、远程RFID接口（308）、车门传感器接口A（309）及车门传感器接口B(310)分别与ARM中心控制模块(301)连接；ARM中心控制模块(301)与摄像机电源接口A(311)、摄像机电源接口B(312)、摄像机电源接口C(313)、摄像机电源接口D(314)、摄像机电源接口E(315)连接；3G天线接口(325)、卫星定位天线接口(326)、报警按钮接口(327)、SD卡接口(328)及USB接口(329)分别与SOC音视频编码存储传输模块(303)连接；输入视频接口C(321)连接到视频分配模块A(317)；输入视频接口D(322)连接到视频分配模块B(318)；视频分配模块A(317)、视频分配模块B(318)、输入视频接口A(319)及输入视频接口B(320)分别连接到四合一视频合成模块(316)；四合一视频合成模块(316)连接到DSP智能视频分析模块（302）；视频分配模块A（317）、视频分配模块B（318）、输入视频接口E（323）及输出视频接口（324）分别与SOC音视频编码存储传输模块（303）连接。

3.根据权利要求2所述的基于视觉感知和车联网的客车安全预警系统，其特征在于，所述ARM中心控制模块（301）负责协调系统各模块的运行，包括给系统内部各模块提供工作电源；根据需要通过摄像机电源接口A（311）、摄像机电源接口B（312）、摄像机电源接口C（313）、摄像机电源接口D（314）、摄像机电源接口E（315）为外部摄像机提供工作电源；ARM中心控制模块通过RS232接口（306）进行系统参数调节；ARM中心控制模块通过近场RFID接口(307)与近场RFID模块(202)通信；ARM中心控制模块通过远程RFID接口(308)与远程RFID模块(203)通信；ARM中心控制模块通过车门传感器接口A(309)、车门传感器接口B(310)与车门传感器通信；ARM中心控制模块与DSP智能视频分析模块(302)进行数据交换；ARM中心控制模块与SOC音视频编码存储传输模块(303)进行数据交换。

4.根据权利要求2所述的基于视觉感知和车联网的客车安全预警系统，其特征在于，输入视频接口A（319）用于和人数统计摄像机A（207）连接，将视频数据送入四合一视频合成模块（316）；输入视频接口B（320）用于和人数统计摄像机B（212）连接，将视频数据送入四合一视频合成模块（316）；输入视频接口C（321）用于和疲劳检测摄像机（209）连接，将视频数据送入视频分配模块A（317）；输入视频接口D（322）用于和车内情况摄像机（210）连接，将视频数据送入视频分配模块B（318）；输入视频接口E（323）用于和车前情况摄像机（211）连接，将视频数据送入SOC音视频编码存储传输模块（303）；视频分配模块A（317）、视频分配模块B（318）将接收到的视频数据分为两路，一路传送给四合一视频合成模块（316），另一路传送给SOC音视频编码存储传输模块(303)；四合一视频合成模块(316)将4路输入视频合成1路送至DSP智能视频分析模块(302), DSP智能视频分析模块(302)将处理结果发送给ARM中心控制模块(301)。

5.根据权利要求2所述的基于视觉感知和车联网的客车安全预警系统，其特征在于，SOC音视频编码存储传输模块（303）和ARM中心控制模块（301）进行通信，接收异常情况报警信号；将接收到的视频数据进行编码，SOC音视频编码存储传输模块通过SD卡接口（328）将数据存储在SD上；SOC音视频编码存储传输模块通过输出视频接口（324）提供环路输出功能；SOC音视频编码存储传输模块通过USB接口（329）连接通用USB设备；SOC音视频编码存储传输模块通过报警按钮接口（327）接收驾驶员手动报警信号；SOC音视频编码存储传输模块通过卫星定位天线接口(326)接收卫星定位信号，实现车辆定位；SOC音视频编码存储传输模块通过3G天线接口（325）和管理中心实现高速无线通信，进行报警信号、车内视频数据的实时上传。

Images