[go: up one dir, main page]

CN120075566A - 一种基于视觉模型的安全管理摄像头模块及方法 - Google Patents

一种基于视觉模型的安全管理摄像头模块及方法 Download PDF

Info

Publication number
CN120075566A
CN120075566A CN202510148783.6A CN202510148783A CN120075566A CN 120075566 A CN120075566 A CN 120075566A CN 202510148783 A CN202510148783 A CN 202510148783A CN 120075566 A CN120075566 A CN 120075566A
Authority
CN
China
Prior art keywords
module
visual
data
security
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202510148783.6A
Other languages
English (en)
Inventor
王波
张腾予
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Baisnake Technology Co ltd
Original Assignee
Chengdu Baisnake Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Baisnake Technology Co ltd filed Critical Chengdu Baisnake Technology Co ltd
Priority to CN202510148783.6A priority Critical patent/CN120075566A/zh
Publication of CN120075566A publication Critical patent/CN120075566A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/72Data preparation, e.g. statistical preprocessing of image or video features
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/08Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using communication transmission lines
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/65Control of camera operation in relation to power supply
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Artificial Intelligence (AREA)
  • Alarm Systems (AREA)

Abstract

本发明属于安全监控领域,具体的说是一种基于视觉模型的安全管理摄像头模块及方法,该安全管理摄像头模块包括:图像采集模块,豆包视觉大模型嵌入模块,Qwen2‑VL,数据处理与分析模块,通信模块,本发明通过图像采集模块不断采集图像,经过豆包视觉大模型嵌入模块和数据处理与分析模块的深度分析处理后,通过通信模块向外传输信息,存储模块进行数据保存,电源管理模块保障供电,报警模块在必要时及时发出警报,从而形成一套完整的智能安全管理监控体系,通过结合先进的视觉大模型,实现更精准、智能且高效的安全监控与管理功能,有效降低误报、漏报率,助力安全管理人员更好地履行职责、保障监控区域安全。

Description

一种基于视觉模型的安全管理摄像头模块及方法
技术领域
本发明属于安全监控领域,具体的说是一种基于视觉模型的安全管理摄像头模块及方法。
背景技术
随着社会的发展和人们安全意识的不断提高,安全管理摄像头在众多场所如住宅小区、商业办公区域、工业园区等得到了广泛应用。传统的安全管理摄像头往往仅能实现简单的视频图像采集功能,对于采集到的图像进行分析判断的能力较为有限,通常依赖于预设的固定规则来识别诸如移动目标、特定形状物体等基本情况,难以准确应对复杂多变的实际监控场景,容易出现误报、漏报等情况。
在面对海量的监控视频数据时,传统摄像头缺乏有效的数据整合和深度挖掘能力,无法及时提取有价值的安全相关信息来辅助管理人员进行高效决策,极大地限制了安全管理的智能化水平和实际效果。因此,急需一种具有更强图像分析能力、能够深度挖掘数据价值并精准进行安全管理判断的新型摄像头技术。
为此,本发明提供一种基于视觉模型的安全管理摄像头模块及方法。
发明内容
为了弥补现有技术的不足,解决背景技术中所提出的至少一个技术问题。
本发明解决其技术问题所采用的技术方案是:本发明所述的一种基于视觉模型的安全管理摄像头模块,其特征在于:该安全管理摄像头模块包括:
图像采集模块,由高清光学镜头、图像传感器部件组成,负责采集监控区域内的实时视频图像信息;
豆包视觉大模型嵌入模块,接收来自图像采集模块的视频图像数据后,视觉大模型能够对图像中的物体、人物、行为动作进行精确识别和分类;
Qwen2-VL,识别复杂场景对象关系、手写及多语言图像文本,有出色视觉推理能力可借图表分析解决问题,可理解长视频并支持实时对话用于多应用,支持多语言方便全球用户,且凭借创新架构能处理任意分辨率图像、整合多维度信息,还有拍题答疑拓展应用能力;
数据处理与分析模块,协同豆包视觉大模型嵌入模块,既对其输出结果进一步整理、判断并整合关联多时空信息,又通过算法对比实时和历史监控数据,挖掘安全趋势及异常,生成评估报告,助力安全管理决策;
通信模块,具备对多种通信协议,如Wi-Fi、以太网、4G/5G的支持能力,可实时将摄像头采集的视频图像数据、豆包视觉大模型的分析结果以及数据处理与分析模块生成的安全风险评估报告各类信息,传输至远程的监控管理平台或安保人员的移动终端,保障安全信息及时传递,便于管理人员远程把控监控区域状况并迅速响应;
电源管理模块,为整个摄像头系统提供稳定可靠的电力供应,既能接入市电电源,又内置如锂电池之类的备用电源,拥有电源监测、智能切换以及节能控制功能;
存储模块,配备大容量存储介质,如固态硬盘,主要用于存储摄像头采集的原始视频图像数据,还有经过各环节处理后得到的关键信息及分析结果的内容;
报警模块,与数据处理与分析模块协同,监测监控区域安全状况;触发多种报警方式,通过发出声光信号威慑潜在危险人员,同时向管理人员移动终端推送消息、语音提示等。
优选的,图像采集模块具备可调节焦距、光圈等功能,能够适应不同距离、光照环境条件下清晰图像的采集需求,采集到的图像数据以数字信号形式实时传输给后续模块进行处理。
优选的,豆包视觉大模型嵌入模块内置经过预训练的豆包视觉大模型,该模型基于海量的不同场景、各类物体、人物行为图像数据进行深度训练而成,具有强大的图像特征提取、语义理解以及模式识别能力;接收来自图像采集模块的视频图像数据后,视觉大模型能够对图像中的物体、人物、行为动作进行精确识别和分类,例如准确分辨出是正常行人、工作人员还是可疑人员,识别出特定的危险物品、异常的场景布置,如消防通道被堵塞等情况,同时还能对人物的行为轨迹、动作姿态进行分析判断,判断是否存在异常行为,如攀爬、打斗。
优选的,Qwen2-VL包括:
强大的识别能力,能精准识别复杂场景中多个对象及其关系,还可识别手写文本和包括大部分欧洲语言、日语、韩语、阿拉伯语在内的多语言图像文本;
出色的视觉推理能力,可通过图表分析解决复杂数学问题,能从真实世界图像和图表中提取信息,并更好地遵循指令解决实际问题;
长视频理解与实时对话,能够理解20分钟以上的视频内容,并可在实时对话中持续提供信息和支持,可应用于视频的问答、对话和内容创作等;
多语言支持,除常见的英语和中文外,还支持理解多种语言的图像文本,方便全球用户使用;
架构创新,采用vit加qwen2的串联结构,支持原生动态分辨率和多模态旋转位置嵌入技术,可处理任意分辨率图像输入,能同时捕捉和整合多维度位置信息、拍题答疑、AI生图、打电话、发消息。
优选的,数据处理与分析模块,配合豆包视觉大模型嵌入模块工作,一方面对大模型输出的识别、分析结果进行进一步的数据整理和逻辑判断,将不同时刻、不同角度采集到的相关信息进行关联整合;另一方面,通过内置的算法对实时监控数据与历史监控数据进行对比分析,挖掘潜在的安全趋势和异常变化情况,比如某区域近期人员异常聚集频率变化,以此为依据生成安全风险评估报告,为后续的安全管理决策提供详实的数据支撑。
优选的,电源管理模块,负责为整个摄像头系统提供稳定可靠的电力供应,可接入市电电源并内置备用电源,如锂电池,具备电源监测、智能切换以及节能控制功能,当市电断电时能自动切换至备用电源继续维持摄像头正常工作,同时可根据实际监控需求动态调整各模块的供电功率
优选的,存储模块,配备大容量的存储介质,如固态硬盘,用于存储采集到的原始视频图像数据以及经过处理后的关键信息、分析结果内容,支持按照时间、事件类型多种方式进行数据分类存储,方便后续的查询、回放以及数据追溯操作,并且存储的数据可定期进行备份以防止丢失。
一种基于视觉模型的安全管理摄像头的使用方法,其特征在于,该使用方法包括以下步骤:
S1、安装与初始化,将摄像头安装在需要进行安全监控的合适位置,例如建筑物的出入口、走廊过道、园区的关键通道区域,确保图像采集模块的镜头视野覆盖目标监控区域;连接好市电电源,并开启摄像头,此时电源管理模块进行自检并为各模块正常供电,摄像头系统开始启动初始化程序,通信模块自动连接至预设的网络,如连接至本地局域网或者通过4G/5G网络接入互联网,存储模块完成格式化准备工作并等待数据存储,豆包视觉大模型嵌入模块加载预训练模型参数进入就绪状态;
S2、图像采集与分析,图像采集模块按照设定的帧率,如每秒25帧持续采集监控区域的视频图像,将实时图像数据传输给豆包视觉大模型嵌入模块;视觉大模型嵌入模块接收到图像后,对每帧图像进行特征提取、物体识别、行为分析的操作,例如识别画面中的人员身份,通过与预存的授权人员图像数据库对比的方式、判断人员的行走方向和行为动作是否合规,同时还会识别场景中的各类物体及其状态,如消防设施、车辆,输出对应的分析结果至数据处理与分析模块;
S3、数据处理与综合判断,数据处理与分析模块收集视觉大模型的分析结果后,一方面整合同一时刻不同角度摄像头,采集到的相关数据,构建完整的监控场景视图;另一方面结合历史监控数据,通过内置的风险评估算法,判断当前监控区域的安全状态,比如计算出当前人员异常行为的概率、环境中出现安全隐患的等级,生成安全风险评估报告;例如,若发现某区域短时间内出现大量陌生人员聚集且行为异常,结合历史该区域正常人流数据对比,判定该情况为较高风险事件,标记为重点关注情况;
S4、信息传输与远程监控,通信模块将采集的原始视频图像数据、视觉大模型的分析结果以及生成的安全风险评估报告按照设定的周期,如每隔1分钟或者针对紧急的高风险事件实时发送至远程的监控管理平台以及安保人员的移动终端上;安保人员通过手机端APP或者监控管理平台的界面,实时查看各个摄像头的监控画面、分析结果以及风险评估情况,远程对监控区域进行监管,若发现可疑情况还可远程操控摄像头进行变焦、转向操作以获取更清晰准确的图像信息;
S5、报警触发与响应,当数据处理与分析模块判定监控区域内出现达到预设报警阈值的安全事件时,比如检测到有未经授权人员试图闯入限制区域、发生火灾烟雾情况,报警模块立即启动;声光报警器发出强烈的声光信号威慑潜在危险人员,同时通过通信模块向安保人员、相关负责人的移动终端发送包含事件详细信息,如事件发生地点、事件类型的报警通知,相关人员收到通知后可迅速赶赴现场进行处理,或远程指挥调度采取相应的应对措施;
S6、数据存储与管理,存储模块持续存储图像采集模块采集到的原始视频图像数据,按照时间顺序以及事件标签,如以每次报警事件、日常巡查时段为标签进行分类归档,方便后续查询回放;同时也存储经过处理后的分析结果、安全风险评估报告关键信息,便于管理人员进行数据统计、趋势分析以及作为安全管理决策的依据,存储的数据定期备份至外部存储设备或者云端,确保数据的安全性和完整性。
本发明的有益效果如下:
1.本发明所述的一种基于视觉模型的安全管理摄像头模块及方法,借助豆包视觉大模型强大的图像理解能力,能够对监控场景中的各类元素进行高精度识别,大大降低了因环境干扰、物体相似等因素导致的误判情况,无论是在白天还是夜晚、复杂室内外场景等不同条件下,都可以准确捕捉安全相关的关键信息,提高了安全监控的有效性。
2.本发明所述的一种基于视觉模型的安全管理摄像头模块及方法,通过数据处理与分析模块对视觉大模型输出结果及历史数据的综合运用,不仅能知晓当下的安全状况,还能挖掘出潜在的安全隐患趋势,生成的安全风险评估报告能够辅助管理人员提前制定应对策略,变被动响应为主动预防,提升了整体安全管理的前瞻性和科学性。
3.本发明所述的一种基于视觉模型的安全管理摄像头模块及方法,通过通信模块保障了监控数据和分析结果能够实时传递到远程终端,管理人员无需在监控现场就能随时随地掌握情况并下达指令,极大地提高了安全管理工作的便捷性和及时性,尤其适用于大面积、多区域的集中安全管理场景。
4.本发明所述的一种基于视觉模型的安全管理摄像头模块及方法,通过电源管理模块确保摄像头在各种供电环境下稳定工作,避免因断电导致监控空白;而存储模块方便的数据存储和查询功能,利于后续的事件复盘、证据查找等工作,增强了整个安全管理系统的实用性和可靠性。
5.本发明所述的一种基于视觉模型的安全管理摄像头模块及方法,报警模块能根据准确的安全事件判断迅速启动相应报警方式,第一时间通知相关人员,有助于将安全风险控制在最小范围,避免安全事故的进一步扩大,保障了监控区域内人员和财产的安全。
附图说明
下面结合附图对本发明作进一步说明。
图1是本发明中的摄像头模块图;
图2是本发明中的摄像头使用方法流程图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,下面结合具体实施方式,进一步阐述本发明。
如图1与图2所示,本发明实施例的一种基于视觉模型的安全管理摄像头模块,其特征在于:该安全管理摄像头模块包括:
图像采集模块,由高清光学镜头、图像传感器部件组成,负责采集监控区域内的实时视频图像信息;
豆包视觉大模型嵌入模块,接收来自图像采集模块的视频图像数据后,视觉大模型能够对图像中的物体、人物、行为动作进行精确识别和分类;
Qwen2-VL,识别复杂场景对象关系、手写及多语言图像文本,有出色视觉推理能力可借图表分析解决问题,可理解长视频并支持实时对话用于多应用,支持多语言方便全球用户,且凭借创新架构能处理任意分辨率图像、整合多维度信息,还有拍题答疑拓展应用能力;
数据处理与分析模块,协同豆包视觉大模型嵌入模块,既对其输出结果进一步整理、判断并整合关联多时空信息,又通过算法对比实时和历史监控数据,挖掘安全趋势及异常,生成评估报告,助力安全管理决策;
通信模块,具备对多种通信协议,如Wi-Fi、以太网、4G/5G的支持能力,可实时将摄像头采集的视频图像数据、豆包视觉大模型的分析结果以及数据处理与分析模块生成的安全风险评估报告各类信息,传输至远程的监控管理平台或安保人员的移动终端,保障安全信息及时传递,便于管理人员远程把控监控区域状况并迅速响应;
电源管理模块,为整个摄像头系统提供稳定可靠的电力供应,既能接入市电电源,又内置如锂电池之类的备用电源,拥有电源监测、智能切换以及节能控制功能;
存储模块,配备大容量存储介质,如固态硬盘,主要用于存储摄像头采集的原始视频图像数据,还有经过各环节处理后得到的关键信息及分析结果的内容;
报警模块,与数据处理与分析模块协同,监测监控区域安全状况;触发多种报警方式,通过发出声光信号威慑潜在危险人员,同时向管理人员移动终端推送消息、语音提示等。
图像采集模块具备可调节焦距、光圈等功能,能够适应不同距离、光照环境条件下清晰图像的采集需求,采集到的图像数据以数字信号形式实时传输给后续模块进行处理。
豆包视觉大模型嵌入模块内置经过预训练的豆包视觉大模型,该模型基于海量的不同场景、各类物体、人物行为图像数据进行深度训练而成,具有强大的图像特征提取、语义理解以及模式识别能力;接收来自图像采集模块的视频图像数据后,视觉大模型能够对图像中的物体、人物、行为动作进行精确识别和分类,例如准确分辨出是正常行人、工作人员还是可疑人员,识别出特定的危险物品、异常的场景布置,如消防通道被堵塞等情况,同时还能对人物的行为轨迹、动作姿态进行分析判断,判断是否存在异常行为,如攀爬、打斗。
Qwen2-VL包括:
强大的识别能力,能精准识别复杂场景中多个对象及其关系,还可识别手写文本和包括大部分欧洲语言、日语、韩语、阿拉伯语在内的多语言图像文本;
出色的视觉推理能力,可通过图表分析解决复杂数学问题,能从真实世界图像和图表中提取信息,并更好地遵循指令解决实际问题;
长视频理解与实时对话,能够理解20分钟以上的视频内容,并可在实时对话中持续提供信息和支持,可应用于视频的问答、对话和内容创作等;
多语言支持,除常见的英语和中文外,还支持理解多种语言的图像文本,方便全球用户使用;
架构创新,采用vit加qwen2的串联结构,支持原生动态分辨率和多模态旋转位置嵌入技术,可处理任意分辨率图像输入,能同时捕捉和整合多维度位置信息、拍题答疑、AI生图、打电话、发消息。
数据处理与分析模块,配合豆包视觉大模型嵌入模块工作,一方面对大模型输出的识别、分析结果进行进一步的数据整理和逻辑判断,将不同时刻、不同角度采集到的相关信息进行关联整合;另一方面,通过内置的算法对实时监控数据与历史监控数据进行对比分析,挖掘潜在的安全趋势和异常变化情况,比如某区域近期人员异常聚集频率变化,以此为依据生成安全风险评估报告,为后续的安全管理决策提供详实的数据支撑。
电源管理模块,负责为整个摄像头系统提供稳定可靠的电力供应,可接入市电电源并内置备用电源,如锂电池,具备电源监测、智能切换以及节能控制功能,当市电断电时能自动切换至备用电源继续维持摄像头正常工作,同时可根据实际监控需求动态调整各模块的供电功率
存储模块,配备大容量的存储介质,如固态硬盘,用于存储采集到的原始视频图像数据以及经过处理后的关键信息、分析结果内容,支持按照时间、事件类型多种方式进行数据分类存储,方便后续的查询、回放以及数据追溯操作,并且存储的数据可定期进行备份以防止丢失。
整个摄像头系统各模块之间协同工作,图像采集模块不断采集图像,经过豆包视觉大模型嵌入模块和数据处理与分析模块的深度分析处理后,通过通信模块向外传输信息,存储模块进行数据保存,电源管理模块保障供电,报警模块在必要时及时发出警报,从而形成一套完整的智能安全管理监控体系。
一种基于视觉模型的安全管理摄像头的使用方法,其特征在于,该使用方法包括以下步骤:
S1、安装与初始化,将摄像头安装在需要进行安全监控的合适位置,例如建筑物的出入口、走廊过道、园区的关键通道区域,确保图像采集模块的镜头视野覆盖目标监控区域;连接好市电电源,并开启摄像头,此时电源管理模块进行自检并为各模块正常供电,摄像头系统开始启动初始化程序,通信模块自动连接至预设的网络,如连接至本地局域网或者通过4G/5G网络接入互联网,存储模块完成格式化准备工作并等待数据存储,豆包视觉大模型嵌入模块加载预训练模型参数进入就绪状态;
S2、图像采集与分析,图像采集模块按照设定的帧率,如每秒25帧持续采集监控区域的视频图像,将实时图像数据传输给豆包视觉大模型嵌入模块;视觉大模型嵌入模块接收到图像后,对每帧图像进行特征提取、物体识别、行为分析的操作,例如识别画面中的人员身份,通过与预存的授权人员图像数据库对比的方式、判断人员的行走方向和行为动作是否合规,同时还会识别场景中的各类物体及其状态,如消防设施、车辆,输出对应的分析结果至数据处理与分析模块;
S3、数据处理与综合判断,数据处理与分析模块收集视觉大模型的分析结果后,一方面整合同一时刻不同角度摄像头,采集到的相关数据,构建完整的监控场景视图;另一方面结合历史监控数据,通过内置的风险评估算法,判断当前监控区域的安全状态,比如计算出当前人员异常行为的概率、环境中出现安全隐患的等级,生成安全风险评估报告;例如,若发现某区域短时间内出现大量陌生人员聚集且行为异常,结合历史该区域正常人流数据对比,判定该情况为较高风险事件,标记为重点关注情况;
S4、信息传输与远程监控,通信模块将采集的原始视频图像数据、视觉大模型的分析结果以及生成的安全风险评估报告按照设定的周期,如每隔1分钟或者针对紧急的高风险事件实时发送至远程的监控管理平台以及安保人员的移动终端上;安保人员通过手机端APP或者监控管理平台的界面,实时查看各个摄像头的监控画面、分析结果以及风险评估情况,远程对监控区域进行监管,若发现可疑情况还可远程操控摄像头进行变焦、转向操作以获取更清晰准确的图像信息;
S5、报警触发与响应,当数据处理与分析模块判定监控区域内出现达到预设报警阈值的安全事件时,比如检测到有未经授权人员试图闯入限制区域、发生火灾烟雾情况,报警模块立即启动;声光报警器发出强烈的声光信号威慑潜在危险人员,同时通过通信模块向安保人员、相关负责人的移动终端发送包含事件详细信息,如事件发生地点、事件类型的报警通知,相关人员收到通知后可迅速赶赴现场进行处理,或远程指挥调度采取相应的应对措施;
S6、数据存储与管理,存储模块持续存储图像采集模块采集到的原始视频图像数据,按照时间顺序以及事件标签,如以每次报警事件、日常巡查时段为标签进行分类归档,方便后续查询回放;同时也存储经过处理后的分析结果、安全风险评估报告关键信息,便于管理人员进行数据统计、趋势分析以及作为安全管理决策的依据,存储的数据定期备份至外部存储设备或者云端,确保数据的安全性和完整性。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (9)

1.一种基于视觉模型的安全管理摄像头模块,其特征在于:该安全管理摄像头模块包括:
图像采集模块,由高清光学镜头、图像传感器部件组成,负责采集监控区域内的实时视频图像信息;
豆包视觉大模型嵌入模块,接收来自图像采集模块的视频图像数据后,视觉大模型能够对图像中的物体、人物、行为动作进行精确识别和分类;
Qwen2-VL,识别复杂场景对象关系、手写及多语言图像文本,有出色视觉推理能力可借图表分析解决问题,可理解长视频并支持实时对话用于多应用,支持多语言方便全球用户,且凭借创新架构能处理任意分辨率图像、整合多维度信息,还有拍题答疑拓展应用能力;
数据处理与分析模块,协同豆包视觉大模型嵌入模块,既对其输出结果进一步整理、判断并整合关联多时空信息,又通过算法对比实时和历史监控数据,挖掘安全趋势及异常,生成评估报告,助力安全管理决策;
通信模块,具备对多种通信协议,如Wi-Fi、以太网、4G/5G的支持能力,可实时将摄像头采集的视频图像数据、豆包视觉大模型的分析结果以及数据处理与分析模块生成的安全风险评估报告各类信息,传输至远程的监控管理平台或安保人员的移动终端,保障安全信息及时传递,便于管理人员远程把控监控区域状况并迅速响应;
电源管理模块,为整个摄像头系统提供稳定可靠的电力供应,既能接入市电电源,又内置如锂电池之类的备用电源,拥有电源监测、智能切换以及节能控制功能;
存储模块,配备大容量存储介质,如固态硬盘,主要用于存储摄像头采集的原始视频图像数据,还有经过各环节处理后得到的关键信息及分析结果的内容;
报警模块,与数据处理与分析模块协同,监测监控区域安全状况;触发多种报警方式,通过发出声光信号威慑潜在危险人员,同时向管理人员移动终端推送消息、语音提示等。
2.根据权利要求1所述的一种基于视觉模型的安全管理摄像头模块,其特征在于:图像采集模块具备可调节焦距、光圈等功能,能够适应不同距离、光照环境条件下清晰图像的采集需求,采集到的图像数据以数字信号形式实时传输给后续模块进行处理。
3.根据权利要求2所述的一种基于视觉模型的安全管理摄像头模块,其特征在于:豆包视觉大模型嵌入模块内置经过预训练的豆包视觉大模型,该模型基于海量的不同场景、各类物体、人物行为图像数据进行深度训练而成,具有强大的图像特征提取、语义理解以及模式识别能力;接收来自图像采集模块的视频图像数据后,视觉大模型能够对图像中的物体、人物、行为动作进行精确识别和分类,例如准确分辨出是正常行人、工作人员还是可疑人员,识别出特定的危险物品、异常的场景布置,如消防通道被堵塞等情况,同时还能对人物的行为轨迹、动作姿态进行分析判断,判断是否存在异常行为,如攀爬、打斗。
4.根据权利要求3所述的一种基于视觉模型的安全管理摄像头模块,其特征在于:Qwen2-VL包括:
强大的识别能力,能精准识别复杂场景中多个对象及其关系,还可识别手写文本和包括大部分欧洲语言、日语、韩语、阿拉伯语在内的多语言图像文本;
出色的视觉推理能力,可通过图表分析解决复杂数学问题,能从真实世界图像和图表中提取信息,并更好地遵循指令解决实际问题;
长视频理解与实时对话,能够理解20分钟以上的视频内容,并可在实时对话中持续提供信息和支持,可应用于视频的问答、对话和内容创作等;
多语言支持,除常见的英语和中文外,还支持理解多种语言的图像文本,方便全球用户使用;
架构创新,采用vit加qwen2的串联结构,支持原生动态分辨率和多模态旋转位置嵌入技术,可处理任意分辨率图像输入,能同时捕捉和整合多维度位置信息、拍题答疑、AI生图、打电话、发消息。
5.根据权利要求4所述的一种基于视觉模型的安全管理摄像头模块,其特征在于:数据处理与分析模块,配合豆包视觉大模型嵌入模块工作,一方面对大模型输出的识别、分析结果进行进一步的数据整理和逻辑判断,将不同时刻、不同角度采集到的相关信息进行关联整合;另一方面,通过内置的算法对实时监控数据与历史监控数据进行对比分析,挖掘潜在的安全趋势和异常变化情况,比如某区域近期人员异常聚集频率变化,以此为依据生成安全风险评估报告,为后续的安全管理决策提供详实的数据支撑。
6.根据权利要求5所述的一种基于视觉模型的安全管理摄像头模块,其特征在于:电源管理模块,负责为整个摄像头系统提供稳定可靠的电力供应,可接入市电电源并内置备用电源,如锂电池,具备电源监测、智能切换以及节能控制功能,当市电断电时能自动切换至备用电源继续维持摄像头正常工作,同时可根据实际监控需求动态调整各模块的供电功率。
7.根据权利要求6所述的一种基于视觉模型的安全管理摄像头模块,其特征在于:存储模块,配备大容量的存储介质,如固态硬盘,用于存储采集到的原始视频图像数据以及经过处理后的关键信息、分析结果内容,支持按照时间、事件类型多种方式进行数据分类存储,方便后续的查询、回放以及数据追溯操作,并且存储的数据可定期进行备份以防止丢失。
8.根据权利要求7所述的一种基于视觉模型的安全管理摄像头模块,其特征在于:报警模块,与数据处理与分析模块相连,当根据豆包视觉大模型的分析判断以及综合数据处理结果确定监控区域内出现达到预设危险等级的安全事件时,如发现非法闯入、火灾隐患,该模块能够触发多种报警方式,包括发出声光报警信号以威慑潜在危险人员、向相关管理人员的移动终端发送报警通知,如推送消息、语音提示,确保安全事件能够得到及时处理。
9.一种基于视觉模型的安全管理摄像头的使用方法,采用上述权利要求1-8中任一项所述的一种基于视觉模型的安全管理摄像头模块,其特征在于,该使用方法包括以下步骤:
S1、安装与初始化,将摄像头安装在需要进行安全监控的合适位置,例如建筑物的出入口、走廊过道、园区的关键通道区域,确保图像采集模块的镜头视野覆盖目标监控区域;连接好市电电源,并开启摄像头,此时电源管理模块进行自检并为各模块正常供电,摄像头系统开始启动初始化程序,通信模块自动连接至预设的网络,如连接至本地局域网或者通过4G/5G网络接入互联网,存储模块完成格式化准备工作并等待数据存储,豆包视觉大模型嵌入模块加载预训练模型参数进入就绪状态;
S2、图像采集与分析,图像采集模块按照设定的帧率,如每秒25帧持续采集监控区域的视频图像,将实时图像数据传输给豆包视觉大模型嵌入模块;视觉大模型嵌入模块接收到图像后,对每帧图像进行特征提取、物体识别、行为分析的操作,例如识别画面中的人员身份,通过与预存的授权人员图像数据库对比的方式、判断人员的行走方向和行为动作是否合规,同时还会识别场景中的各类物体及其状态,如消防设施、车辆,输出对应的分析结果至数据处理与分析模块;
S3、数据处理与综合判断,数据处理与分析模块收集视觉大模型的分析结果后,一方面整合同一时刻不同角度摄像头,采集到的相关数据,构建完整的监控场景视图;另一方面结合历史监控数据,通过内置的风险评估算法,判断当前监控区域的安全状态,比如计算出当前人员异常行为的概率、环境中出现安全隐患的等级,生成安全风险评估报告;例如,若发现某区域短时间内出现大量陌生人员聚集且行为异常,结合历史该区域正常人流数据对比,判定该情况为较高风险事件,标记为重点关注情况;
S4、信息传输与远程监控,通信模块将采集的原始视频图像数据、视觉大模型的分析结果以及生成的安全风险评估报告按照设定的周期,如每隔1分钟或者针对紧急的高风险事件实时发送至远程的监控管理平台以及安保人员的移动终端上;安保人员通过手机端APP或者监控管理平台的界面,实时查看各个摄像头的监控画面、分析结果以及风险评估情况,远程对监控区域进行监管,若发现可疑情况还可远程操控摄像头进行变焦、转向操作以获取更清晰准确的图像信息;
S5、报警触发与响应,当数据处理与分析模块判定监控区域内出现达到预设报警阈值的安全事件时,比如检测到有未经授权人员试图闯入限制区域、发生火灾烟雾情况,报警模块立即启动;声光报警器发出强烈的声光信号威慑潜在危险人员,同时通过通信模块向安保人员、相关负责人的移动终端发送包含事件详细信息,如事件发生地点、事件类型的报警通知,相关人员收到通知后可迅速赶赴现场进行处理,或远程指挥调度采取相应的应对措施;
S6、数据存储与管理,存储模块持续存储图像采集模块采集到的原始视频图像数据,按照时间顺序以及事件标签,如以每次报警事件、日常巡查时段为标签进行分类归档,方便后续查询回放;同时也存储经过处理后的分析结果、安全风险评估报告关键信息,便于管理人员进行数据统计、趋势分析以及作为安全管理决策的依据,存储的数据定期备份至外部存储设备或者云端,确保数据的安全性和完整性。
CN202510148783.6A 2025-02-11 2025-02-11 一种基于视觉模型的安全管理摄像头模块及方法 Pending CN120075566A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202510148783.6A CN120075566A (zh) 2025-02-11 2025-02-11 一种基于视觉模型的安全管理摄像头模块及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202510148783.6A CN120075566A (zh) 2025-02-11 2025-02-11 一种基于视觉模型的安全管理摄像头模块及方法

Publications (1)

Publication Number Publication Date
CN120075566A true CN120075566A (zh) 2025-05-30

Family

ID=95799349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202510148783.6A Pending CN120075566A (zh) 2025-02-11 2025-02-11 一种基于视觉模型的安全管理摄像头模块及方法

Country Status (1)

Country Link
CN (1) CN120075566A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120957010A (zh) * 2025-10-17 2025-11-14 北京中科辉丰科技有限公司 环保风险ai视觉预警终端
CN120957010B (zh) * 2025-10-17 2026-02-10 北京中科辉丰科技有限公司 环保风险ai视觉预警终端

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120957010A (zh) * 2025-10-17 2025-11-14 北京中科辉丰科技有限公司 环保风险ai视觉预警终端
CN120957010B (zh) * 2025-10-17 2026-02-10 北京中科辉丰科技有限公司 环保风险ai视觉预警终端

Similar Documents

Publication Publication Date Title
CN103268680B (zh) 一种家庭智能监控防盗系统
CN100504942C (zh) 智能视频监控设备模组和系统及其监控方法
CN103108159B (zh) 一种电力智能视频分析监控系统和方法
CN104079874B (zh) 一种基于物联网技术的安防一体化系统及方法
WO2021253961A1 (zh) 一种智能视觉感知系统
CN116129490A (zh) 一种用于复杂环境行为识别的监控装置及监控方法
KR101036947B1 (ko) 컴퓨터 영상 분석기술을 이용한 범죄 및 사고예방 자동경비 시스템
CN106059868A (zh) 家居智能视频监控防护系统
CN106408833A (zh) 周界入侵检测方法及系统
CN115660297A (zh) 一种工地安全自动ai预警系统及方法
CN112785809B (zh) 一种基于ai图像识别火情复燃预测方法及系统
CN106454253A (zh) 区域徘徊的检测方法及系统
KR20200052418A (ko) 딥러닝 기반의 자동 폭력 감지 시스템
CN111626636A (zh) 一种基于大数据分析技术的工业安全应急管理平台
KR20200017594A (ko) 딥 러닝과 멀티 에이전트를 활용한 대규모 개체 식별 및 추적 방법
CN112836689A (zh) 一种基于图像识别的危险区域人员管控系统及方法
Dawwd Embedded real-time video surveillance system based on multi-sensor and visual tracking
CN113537790A (zh) 一种超融合管理平台
CN120166195A (zh) 一种基于ai模型和视频分析的无人值守系统
KR20230097854A (ko) 발전소내 작업자의 위험행동 인지방법 및 시스템
CN120075566A (zh) 一种基于视觉模型的安全管理摄像头模块及方法
Nagamani et al. Anti-theft monitoring for a smart home
CN113392706A (zh) 抽烟及使用手机行为检测装置及方法
KR102891317B1 (ko) 수도시설 지능형 영상 안전관리 시스템
KR20250000513A (ko) 다양한 환경에서 측정이 가능한 열화상 카메라와 실화상 카메라의 융합을 통한 Hybrid 카메라 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination