CN116916116A - 帧率调整方法、存储介质及电子设备 - Google Patents
帧率调整方法、存储介质及电子设备 Download PDFInfo
- Publication number
- CN116916116A CN116916116A CN202310660902.7A CN202310660902A CN116916116A CN 116916116 A CN116916116 A CN 116916116A CN 202310660902 A CN202310660902 A CN 202310660902A CN 116916116 A CN116916116 A CN 116916116A
- Authority
- CN
- China
- Prior art keywords
- video
- video frame
- frame
- image block
- reflection intensity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000001502 supplementing effect Effects 0.000 claims abstract description 44
- 238000012545 processing Methods 0.000 claims description 12
- 230000000630 rising effect Effects 0.000 claims description 12
- 230000003827 upregulation Effects 0.000 claims description 4
- 230000000153 supplemental effect Effects 0.000 claims description 2
- 238000007619 statistical method Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 10
- 230000011218 segmentation Effects 0.000 description 9
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请公开了一种帧率调整方法及电子设备,该帧率调整方法,通过获取视频采集装置在红外线补光状态下采集的视频帧序列,视频帧序列含有至少两个相邻的视频帧,计算视频帧序列中每个视频帧对应的红外线反光强度,基于每个视频帧对应的红外线反光强度,计算视频帧序列对应的强度波动,基于强度波动,调整视频采集装置在红外线补光状态下的视频采集帧率,从而不需要复杂的硬件以及芯片性能支持,仅通过统计分析视频流中的视频帧,在红外线补光环境下,判断采集画面的红外线反光强度的强度波动,进行帧率自适应调整,提高视频采集的质量。
Description
技术领域
本申请涉及图像视频处理技术领域,特别是涉及一种帧率调整方法、存储介质及电子设备。
背景技术
摄像机在低照环境下,会自动切换到夜间模式,即滤光片会切换到透红外线光的夜片,同时开启红外线灯进行补光,使拍摄场景明亮起来,得到明亮的图片。
但是由于摄像机的成本、相关器件的散热和使用寿命等限制,红外线灯的功率不会开到最大,导致补光效果不理想,因此提升红外线摄像机低照图像效果成为行业的研究点。
发明内容
本申请至少提供一种帧率调整方法、存储介质及电子设备。
本申请第一方面提供了一种帧率调整方法,包括:获取视频采集装置在红外线补光状态下采集的视频帧序列,视频帧序列含有至少两个相邻的视频帧;计算视频帧序列中每个视频帧对应的红外线反光强度;基于每个视频帧对应的红外线反光强度,计算视频帧序列对应的强度波动;基于强度波动,调整视频采集装置在红外线补光状态下的视频采集帧率。
在一实施例中,计算视频帧序列中每个视频帧对应的红外线反光强度,包括:对视频帧进行分割,得到多个图像块;基于每个图像块的像素信息,计算每个图像块对应的特征值;基于每个图像块对应的特征值,得到视频帧对应的红外线反光强度。
在一实施例中,基于每个图像块的像素信息,计算每个图像块对应的特征值,包括:提取图像块中像素点的多个通道像素值;基于多个通道像素值,计算每个图像块对应的特征值。
在一实施例中,基于每个图像块对应的特征值,得到视频帧对应的红外线反光强度,包括:获取预设基准特征值;计算每个图像块对应的特征值与预设基准特征值之间的相似度,得到每个图像块对应的图像块相似度;基于每个图像块对应的图像块相似度,得到视频帧对应的红外线反光强度。
在一实施例中,基于每个图像块对应的图像块相似度,得到视频帧对应的红外线反光强度,包括:获取预设相似度阈值;对比每个图像块对应的图像块相似度与预设相似度阈值,基于对比结果对每个图像块进行分类;基于分类结果中各个类别的图像块数量,计算得到视频帧对应的红外线反光强度。
在一实施例中,基于每个视频帧对应的红外线反光强度,计算视频帧序列对应的强度波动,包括:计算视频帧序列中相邻视频帧之间的红外线反光强度的变化量;对视频帧序列中每对相邻视频帧之间的变化量进行统计,得到视频帧序列对应的强度波动。
在一实施例中,基于强度波动,调整视频采集装置在红外线补光状态下的视频采集帧率,包括:若强度波动小于预设降帧波动阈值,则将视频采集装置在红外线补光状态下的视频采集帧率进行下调处理;若强度波动大于预设升帧波动阈值,则将视频采集装置在红外线补光状态下的视频采集帧率进行上调处理。
在一实施例中,若强度波动大于预设升帧波动阈值,则将视频采集装置在红外线补光状态下的视频采集帧率进行上调处理,包括:获取预设反光强度阈值;以及基于视频帧序列中每个视频帧对应的红外线反光强度,得到视频帧序列对应的目标反光强度;若目标反光强度大于预设反光强度阈值,且强度波动大于预设升帧波动阈值,则将视频采集装置在红外线补光状态下的视频采集帧率进行上调处理。
本申请第二方面提供了一种帧率调整装置,包括:获取模块,用于获取视频采集装置在红外线补光状态下采集的视频帧序列,视频帧序列含有至少两个相邻的视频帧;反光强度计算模块,用于计算视频帧序列中每个视频帧对应的红外线反光强度;强度波动计算模块,用于基于每个视频帧对应的红外线反光强度,计算视频帧序列对应的强度波动;帧率调整模块,用于基于强度波动,调整视频采集装置在红外线补光状态下的视频采集帧率。
本申请第三方面提供了一种电子设备,包括存储器和处理器,处理器用于执行存储器中存储的程序指令,以实现上述帧率调整方法。
本申请第四方面提供了一种计算机可读存储介质,其上存储有程序指令,程序指令被处理器执行时实现上述帧率调整方法。
上述方案,通过获取视频采集装置在红外线补光状态下采集的视频帧序列,视频帧序列含有至少两个相邻的视频帧,计算视频帧序列中每个视频帧对应的红外线反光强度,基于每个视频帧对应的红外线反光强度,计算视频帧序列对应的强度波动,基于强度波动,调整视频采集装置在红外线补光状态下的视频采集帧率,从而不需要复杂的硬件以及芯片性能支持,仅通过统计分析视频流中的视频帧,在红外线补光环境下,判断采集画面的红外线反光强度的强度波动,进行帧率自适应调整,提高视频采集的质量。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本申请的实施例,并与说明书一起用于说明本申请的技术方案。
图1是本申请的帧率调整方法的一示例性实施例的流程图;
图2是本申请的一示例性实施例示出的帧率调整方法的场景示意图;
图3是本申请的一示例性实施例示出的视频帧分割的示意图;
图4是本申请的一示例性实施例示出的计算特征值相似度的示意图;
图5是本申请的另一示例性实施例示出的帧率调整方法的流程图;
图6是本申请的一示例性实施例示出的帧率调整装置的框图;
图7是本申请的一示例性实施例示出的电子设备的结构示意图;
图8是本申请的一示例性实施例示出的计算机可读存储介质的结构示意图。
具体实施方式
下面结合说明书附图,对本申请实施例的方案进行详细说明。
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、接口、技术之类的具体细节,以便透彻理解本申请。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
如图1所示,在一示例性的实施例中,帧率调整方法至少包括步骤S110至步骤S140,详细介绍如下:
步骤S110:获取视频采集装置在红外线补光状态下采集的视频帧序列,视频帧序列含有至少两个相邻的视频帧。
其中,视频采集装置为具备视频采集功能,视频采集装置采集得到的视频帧序列是在红外线补光状态下采集得到的。
例如,视频采集装置上自带的红外线灯,可以通过发光二极管(Light-EmittingDiode,LED)灯或其他形式的灯光源来产生红外线,通过开启视频采集装置上自带的红外线灯,使视频采集装置进入红外线补光状态,获取视频采集装置在红外线补光状态下采集的视频帧序列。
在一些实施方式中,相邻的视频帧可以是视频帧对应的生成时间戳相邻的视频帧,如视频采集装置的视频流中含有T时刻获取的视频帧1和T+1时刻获取的视频帧2,T时刻和T+1时刻相邻,则视频帧1和视频帧2相邻。
在一些实施方式中,相邻的视频帧还可以是视频帧对应的生成时间间隔满足预设要求的视频帧,如视频采集装置的视频流中含有T时刻获取的视频帧1,将视频帧1作为基准视频帧,基于该基准视频帧对应的生成时间得到目标时间段,如得到目标时间段为T+1至T+5,再将视频流中处于目标时间段内的视频帧作为候选视频帧,从这些候选视频帧中选取中满足预设条件的视频帧作为基准视频帧的相邻视频帧。其中,相邻视频帧可以是视频帧质量满足预设条件的视频帧。
步骤S120:计算视频帧序列中每个视频帧对应的红外线反光强度。
其中,红外线反光强度是指视频采集装置对应的采集画面内的红外线反光的程度。
采集对象在视频采集装置的不同距离所对应的反光程度不同,本申请通过红外线反光强度来反映采集对象相对视频采集装置的距离。采集对象可以为行人、动物、车辆、建筑物等,本申请对此不进行限定。
步骤S130:基于每个视频帧对应的红外线反光强度,计算视频帧序列对应的强度波动。
由于可以通过红外线反光强度来反映采集对象相对视频采集装置的距离,则可以通过计算得到的视频帧序列中每个视频帧之间的强度波动,来反映采集对象相对视频采集装置的运动状态。
步骤S140:基于强度波动,调整视频采集装置在红外线补光状态下的视频采集帧率。
帧率是指视频采集装置每秒拍摄的帧数。
通过获取到的强度波动,来判断视频采集装置对应的采集场景中是否存在处于移动状态的采集对象,以根据不同的判断结果调整视频采集装置在红外线补光状态下的视频采集帧率。
在一些实施方式中,请参阅图2,图2为本申请一示例性实施例示出的帧率调整方法的场景示意图,如图2所示,视频采集装置在低照度环境下开启红外线灯,进入红外线补光状态,在红外线补光状态下视频采集装置实时进行视频采集,得到视频流。从视频流中获取当前时刻下对应的视频帧序列,如确定当前时刻对应的视频帧序列获取时间段,提取视频流中处于视频帧序列获取时间段内的视频帧,得到视频帧序列。对视频帧序列中的每个视频帧进行红外线反光强度计算,得到每个视频帧对应的红外线反光强度,进而得到视频帧序列中每个视频帧之间红外线反光强度的强度波动,进而根据强度波动来调整视频采集装置在红外线补光状态下的视频采集帧率。
接下来,对视频帧对应的红外线反光强度的计算过程进行详细说明:
在一些实施方式中,计算视频帧序列中每个视频帧对应的红外线反光强度,包括:对视频帧进行分割,得到多个图像块;基于每个图像块的像素信息,计算每个图像块对应的特征值;基于每个图像块对应的特征值,得到视频帧对应的红外线反光强度。
其中,对视频帧进行分割对应的图像块分割尺寸可以是预先设定的,也可以是灵活计算的,如根据视频采集装置的分辨率、视频采集装置对应的采集场景的类型等,确定视频帧进行分割对应的图像块分割尺寸,提高分割视频帧的准确性。
在另外一些实施方式中,可以先确定视频帧中的分割区域,对处于分割区域中的图像内容进行图像块分割,得到多个图像块,以对视频帧中的重要图像内容进行计算,提高后续红外线反光强度的计算准确性。其中,分割区域可以是预先设定的,也可以是灵活计算的。例如,根据该视频采集装置的历史视频流数据,判断该视频采集装置的采集环境对应的画面范围内的活跃区域,如提取历史视频流数据中存在移动对象的视频帧,得到活跃视频帧,获取这些活跃视频帧中移动对象的运动范围,基于活跃视频帧对应的每个运动范围,对采集环境对应的画面内的每个像素点进行赋值,将赋值结果大于预设值的像素点作为活跃像素点,基于每个活跃像素点得到活跃区域。赋值过程可以为:将像素点的位置映射至各个活跃视频帧中,若该像素点的位置处于活跃视频帧的运动范围内,则确定该像素点与该活跃视频帧为关联关系,统计每个像素点存在关联关系的活跃视频帧的数量,得到赋值结果。
请参阅图3,图3为本申请一示例性实施例示出的视频帧分割的示意图,如图3所示,确定视频帧中的分割区域,基于图像块分割尺寸对视频帧中的分割区域进行图像块划分,得到多个图像块。
然后,基于每个图像块的像素信息,计算每个图像块对应的特征值。
在一些实施方式中,基于每个图像块的像素信息,计算每个图像块对应的特征值,包括:提取图像块中像素点的多个通道像素值;基于多个通道像素值,计算每个图像块对应的特征值。
像素点含有多个通道像素值,如红(red,R)、绿(green,G)、蓝(blue,B)三个颜色通道的通道像素值。
以像素点含有R、G、B颜色通道的通道像素值为例,对特征值的计算过程进行说明:
计算图像块中每个像素点的每个颜色通道的平均通道像素值,如得到图像块i对应的每个颜色通道的平均通道像素值为Ri、Gi和Bi,然后将Ri/Gi和Bi/Gi作为图像块i对应的特征值,以表征该图像块i含有的红外线成份。
进一步地,在一些实施方式中,基于每个图像块对应的特征值,得到视频帧对应的红外线反光强度,包括:获取预设基准特征值;计算每个图像块对应的特征值与预设基准特征值之间的相似度,得到每个图像块对应的图像块相似度;基于每个图像块对应的图像块相似度,得到视频帧对应的红外线反光强度。
预设基准特征值可以是在预先标定纯红外光的环境下视频采集装置采集的视频帧的特征值,标定纯红外光的环境可以为密封的小空间内,使用指定红外补光灯照射视频采集装置对应的图像采集传感器。其中,可以采用与上述计算图像块对应的特征值相同的计算方式,计算在预先标定纯红外光的环境下视频采集装置采集的视频帧的特征值。而由于预先标定纯红外光的环境下红外补光灯光源均匀充足且单一,该标定纯红外光的环境下得到的各个图像块的特征值较为接近,因此,将这些图像块作为纯红外图像块,累加各个纯红外图像块的特征值再取平均值,得到预设基准特征值Rir/Gir和Bir/Gir。
计算每个图像块对应的特征值与预设基准特征值之间的相似度,例如,请参阅图4,图4为本申请一示例性实施例示出的计算特征值相似度的示意图,如图4所示,将每个图像块对应的特征值与预设基准特征值映射至指定坐标系中,计算图像块i对应的特征值的坐标(Ri/Gi,Bi/Gi)和预设基准特征值的坐标(Rir/Gir,Bir/Gir)之间的距离,得到图像块i对应的相似度计算结果。其中,距离越小,则图像块对应的特征值与预设基准特征值越相似,反之距离越大,则图像块对应的特征值与预设基准特征值越不相似。
然后,基于每个图像块对应的图像块相似度,得到视频帧对应的红外线反光强度。在一些实施方式中,具体可以包括:获取预设相似度阈值;对比每个图像块对应的图像块相似度与预设相似度阈值,基于对比结果对每个图像块进行分类;基于分类结果中各个类别的图像块数量,计算得到视频帧对应的红外线反光强度。
例如,将距离L作为预设相似度阈值,如图4所示的坐标图,在二维坐标系中,标定的预设基准特征值为圆心Xir(Rir/Gir,Bir/Gir),若图像块的特征值的坐标处于以Xir为圆心的圆内,即两者之前的距离小于L时,则将该图像块划分为相似图像块,反之将特征值的坐标不处于以Xir为圆心的圆内的图像块划分为不相似图像块。然后,统计相似图像块的数量,基于相似图像块的数量计算得到视频帧对应的红外线反光强度。
其中,红外线反光强度(ration)对应的计算公式可以为:
ration=m/M(0<ration<1)
其中,m为相似图像块的数量,M为视频帧中分割得到的图像块的总数量。
在另外一些实施方式中,还可以采用其他方式计算视频帧对应的红外线反光强度,例如,获取视频采集装置的增益值gain和目标亮度值ev,基于增益值gain和目标亮度值ev计算视频帧对应的红外线反光强度。其中,视频采集装置自动曝光下,若视频采集装置的采集环境对应的画面范围越暗,则自动曝光的增益值越大,平均亮度值越小,视频帧采集设定的目标亮度值也会越小,反之若视频采集装置的采集环境对应的画面范围越亮,则自动曝光的增益值越小,平均亮度值越大,视频帧采集设定的目标亮度值也会越大,不同的增益值下,会设置不同的目标亮度值,比如(0db(分贝,decibel),100),(6db,90),(12db,80),(18db,70)(24db,60)(30db,50),因此,定义GainEvRation=K*gain/ev。低照度环境的视频采集装置的采集环境中没有物体反光时,画面范围越暗,GainEvRation较大,而有物体反光时,画面范围越亮,GainEvRation较小。红外线反光强度计算公式可以为:
ration=(GainEvRationTargt/GainEvRationCur)
其中,GainEvRationTargt为采集对象与视频采集装置之间存在指定距离时的GainEvRation值,在指定距离时认为视频采集装置的画面范围处于最亮状态;GainEvRationCur为当前视频采集装置的GainEvRation值,用于反映当前视频采集装置的画面范围的反光状态,通过GainEvRationTargt与GainEvRationCur之间的比值,得到当前视频采集装置采集得到的视频帧对应的红外线反光强度。
接下来,对视频帧对应的强度波动的计算过程进行详细说明:
基于每个视频帧对应的红外线反光强度,计算视频帧序列对应的强度波动,包括:计算视频帧序列中相邻视频帧之间的红外线反光强度的变化量;对视频帧序列中每对相邻视频帧之间的变化量进行统计,得到视频帧序列对应的强度波动。
提取视频帧序列中的相邻视频帧,计算没对相邻视频帧之间的红外线反光强度的变化量,然后可以对视频帧序列中每对相邻视频帧之间的变化量进行平均值计算,得到平均变化量△t,将平均变化量△t作为视频帧序列对应的强度波动。
接下来,对视频采集帧率的调整过程进行详细说明:
在一些实施方式中,基于强度波动,调整视频采集装置在红外线补光状态下的视频采集帧率,包括:若强度波动小于预设降帧波动阈值,则将视频采集装置在红外线补光状态下的视频采集帧率进行下调处理;若强度波动大于预设升帧波动阈值,则将视频采集装置在红外线补光状态下的视频采集帧率进行上调处理。
其中,预设降帧波动阈值和预设升帧波动阈值可以是预先设定的,也可以是灵活获取的,例如,基于用户输入的视频质量要求、当前视频采集装置对应采集环境中的环境亮度等灵活计算预设降帧波动阈值和预设升帧波动阈值。
预设降帧波动阈值小于或等于预设升帧波动阈值。
若强度波动小于预设降帧波动阈值,则认为视频采集装置对应的采集场景中不存在处于移动状态的采集对象,可以对视频采集装置在红外线补光状态下的视频采集帧率进行下调处理,提高画面质量,优化视频存储压力;若强度波动大于预设升帧波动阈值,则认为视频采集装置对应的采集场景中存在处于移动状态的采集对象,可以对视频采集装置在红外线补光状态下的视频采集帧率进行上调处理,保证采集的视频中移动物体的流畅性。
示例性地,若强度波动大于预设升帧波动阈值,则将视频采集装置在红外线补光状态下的视频采集帧率进行上调处理,包括:获取预设反光强度阈值;以及基于视频帧序列中每个视频帧对应的红外线反光强度,得到视频帧序列对应的目标反光强度;若目标反光强度大于预设反光强度阈值,且强度波动大于预设升帧波动阈值,则将视频采集装置在红外线补光状态下的视频采集帧率进行上调处理。
可以将每个视频帧中数值最大的红外线反光强度作为视频帧序列对应的目标反光强度;也可以是获取视频帧序列中最新生成的视频帧作为基准视频帧,将该基准视频帧对应的红外线反光强度作为视频帧序列对应的目标反光强度;还可以是将每个视频帧对应的红外线反光强度进行求平均计算,将平均红外线反光强度作为视频帧序列对应的目标反光强度,本申请不对目标反光强度的具体确定方式进行限定。
将目标反光强度与预设反光强度阈值进行比较。
其中,预设反光强度阈值可以是预先设定的,也可以是灵活获取的,例如,基于用户输入的视频质量要求、当前视频采集装置对应采集环境中的环境亮度等灵活计算预设反光强度阈值。
若目标反光强度大于预设反光强度阈值,且强度波动大于预设升帧波动阈值,则认为视频采集装置对应的采集场景中存在处于移动状态的采集对象,且该采集对象与视频采集装置之间的距离达到预设采集条件,可以对视频采集装置在红外线补光状态下的视频采集帧率进行上调处理。
另外,在摄像装置的图像控制系统中,帧率(framerate)、系统时钟(clksys)、垂直总行数(Vertical total Size,VTS)、水平总列数(Horizontal Total Size,HTS)的关系如下表达式:clksys=framerate×VTS×HTS×α,其中α是常数,在该表达式中,由于clksys、HTS、α均为定值,因此framerate与VTS成反比关系,通过改变VTS可以分别对帧率进行升、降处理,进而改变曝光的可调范围。同时,帧率和每帧最大曝光时间(shutMaxe)的关系满足:shutMaxe=1/framerate,例如,当帧率为25帧时,最大曝光时间为40ms,当帧率降低到12.5帧时,最大曝光时间为80ms。因此,在帧率调整过程中,最大曝光时间也会进行帧率调整同步调整。
例如,请参阅图5,图5为本申请另一示例性实施例示出的帧率调整方法的流程图,如图5所示,计算视频帧序列中每个视频帧对应的红外线反光强度,进而得到视频帧序列对应的强度波动△t,判断△t是否小于预设降帧波动阈值t1,或者△t是否大于预设降帧波动阈值t2。
若△t小于预设降帧波动阈值t1,则降低视频采集帧率为fps=std_fps/a,std_fps为标准输出帧率,a为降帧参数,曝最大光时间为a*(1/std_fps),此时视频采集装置处于降帧状态,视频采集帧率为标准输出帧率的1/a,最大曝光时间提到a倍。降帧参数a可以为预设的固定值,也可以是灵活计算的数值,例如,根据强度波动△t计算降帧参数a。
若△t大于预设降帧波动阈值t2,则再判断ration是否大于预设反光强度阈值thr1,若ration大于预设反光强度阈值thr1,则视频采集帧率fps逐渐提升至std_fps,最大曝光时间也逐步减小到标准输出帧率对应的最大曝光时间。
通过逐步增大帧率或减小帧率,降低帧率调整对视频流数据的影响,保证视频帧画面的流畅性。
本申请提供的帧率调整方法,通过获取视频采集装置在红外线补光状态下采集的视频帧序列,视频帧序列含有至少两个相邻的视频帧,计算视频帧序列中每个视频帧对应的红外线反光强度,基于每个视频帧对应的红外线反光强度,计算视频帧序列对应的强度波动,基于强度波动,调整视频采集装置在红外线补光状态下的视频采集帧率,从而不需要复杂的硬件以及芯片性能支持,仅通过统计分析视频流中的视频帧,在红外线补光环境下,判断采集画面的红外线反光强度的强度波动,进行帧率自适应调整,提高视频采集的质量。
图6是本申请的一示例性实施例示出的帧率调整装置的框图。如图6所示,该示例性的帧率调整装置600包括:获取模块610、反光强度计算模块620、强度波动计算模块630、帧率调整模块640。具体地:
获取模块610,用于获取视频采集装置在红外线补光状态下采集的视频帧序列,所述视频帧序列含有至少两个相邻的视频帧;
反光强度计算模块620,用于计算所述视频帧序列中每个视频帧对应的红外线反光强度;
强度波动计算模块630,用于基于所述每个视频帧对应的红外线反光强度,计算所述视频帧序列对应的强度波动;
帧率调整模块640,用于基于所述强度波动,调整所述视频采集装置在红外线补光状态下的视频采集帧率。
在上述示例性的帧率调整装置中,不需要复杂的硬件以及芯片性能支持,仅通过统计分析视频流中的视频帧,在红外线补光环境下,判断采集画面的红外线反光强度的强度波动,进行帧率自适应调整,提高视频采集的质量。
其中,各个模块的功能可参见帧率调整方法实施例所述,此处不再赘述。
请参阅图7,图7是本申请电子设备一实施例的结构示意图。电子设备700包括存储器701和处理器702,处理器702用于执行存储器701中存储的程序指令,以实现上述任一帧率调整方法实施例中的步骤。在一个具体的实施场景中,电子设备700可以包括但不限于:微型计算机、服务器,此外,电子设备700还可以包括笔记本电脑、平板电脑等移动设备,在此不做限定。
具体而言,处理器702用于控制其自身以及存储器701以实现上述任一帧率调整方法实施例中的步骤。处理器702还可以称为中央处理单元(Central Processing Unit,CPU)。处理器702可能是一种集成电路芯片,具有信号的处理能力。处理器702还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器702可以由集成电路芯片共同实现。
请参阅图8,图8是本申请计算机可读存储介质一实施例的结构示意图。计算机可读存储介质800存储有能够被处理器运行的程序指令810,程序指令810用于实现上述任一帧率调整方法实施例中的步骤。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (10)
1.一种帧率调整方法,其特征在于,所述方法包括:
获取视频采集装置在红外线补光状态下采集的视频帧序列,所述视频帧序列含有至少两个相邻的视频帧;
计算所述视频帧序列中每个视频帧对应的红外线反光强度;
基于所述每个视频帧对应的红外线反光强度,计算所述视频帧序列对应的强度波动;
基于所述强度波动,调整所述视频采集装置在红外线补光状态下的视频采集帧率。
2.根据权利要求1所述的方法,其特征在于,所述计算所述视频帧序列中每个视频帧对应的红外线反光强度,包括:
对所述视频帧进行分割,得到多个图像块;
基于每个图像块的像素信息,计算所述每个图像块对应的特征值;
基于所述每个图像块对应的特征值,得到所述视频帧对应的红外线反光强度。
3.根据权利要求2所述的方法,其特征在于,所述基于每个图像块的像素信息,计算所述每个图像块对应的特征值,包括:
提取所述图像块中像素点的多个通道像素值;
基于所述多个通道像素值,计算所述每个图像块对应的特征值。
4.根据权利要求2所述的方法,其特征在于,所述基于所述每个图像块对应的特征值,得到所述视频帧对应的红外线反光强度,包括:
获取预设基准特征值;
计算所述每个图像块对应的特征值与所述预设基准特征值之间的相似度,得到所述每个图像块对应的图像块相似度;
基于所述每个图像块对应的图像块相似度,得到所述视频帧对应的红外线反光强度。
5.根据权利要求4所述的方法,其特征在于,所述基于所述每个图像块对应的图像块相似度,得到所述视频帧对应的红外线反光强度,包括:
获取预设相似度阈值;
对比所述每个图像块对应的图像块相似度与所述预设相似度阈值,基于对比结果对所述每个图像块进行分类;
基于分类结果中各个类别的图像块数量,计算得到所述视频帧对应的红外线反光强度。
6.根据权利要求1所述的方法,其特征在于,所述基于所述每个视频帧对应的红外线反光强度,计算所述视频帧序列对应的强度波动,包括:
计算所述视频帧序列中相邻视频帧之间的红外线反光强度的变化量;
对所述视频帧序列中每对所述相邻视频帧之间的变化量进行统计,得到所述视频帧序列对应的强度波动。
7.根据权利要求1所述的方法,其特征在于,所述基于所述强度波动,调整所述视频采集装置在红外线补光状态下的视频采集帧率,包括:
若所述强度波动小于预设降帧波动阈值,则将所述视频采集装置在红外线补光状态下的视频采集帧率进行下调处理;
若所述强度波动大于预设升帧波动阈值,则将所述视频采集装置在红外线补光状态下的视频采集帧率进行上调处理。
8.根据权利要求7所述的方法,其特征在于,所述若所述强度波动大于预设升帧波动阈值,则将所述视频采集装置在红外线补光状态下的视频采集帧率进行上调处理,包括:
获取预设反光强度阈值;以及基于所述视频帧序列中每个视频帧对应的红外线反光强度,得到所述视频帧序列对应的目标反光强度;
若所述目标反光强度大于预设反光强度阈值,且所述强度波动大于预设升帧波动阈值,则将所述视频采集装置在红外线补光状态下的视频采集帧率进行上调处理。
9.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,处理器用于执行存储器中存储的程序指令,以实现如权利要求1-8任一项所述方法中的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有程序指令,所述程序指令能够被处理器执行以实现如权利要求1-8任一项所述方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310660902.7A CN116916116A (zh) | 2023-06-05 | 2023-06-05 | 帧率调整方法、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310660902.7A CN116916116A (zh) | 2023-06-05 | 2023-06-05 | 帧率调整方法、存储介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116916116A true CN116916116A (zh) | 2023-10-20 |
Family
ID=88367449
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310660902.7A Pending CN116916116A (zh) | 2023-06-05 | 2023-06-05 | 帧率调整方法、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116916116A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118714456A (zh) * | 2024-07-04 | 2024-09-27 | 深圳华宸电子科技有限公司 | 一种运动相机拍摄过程中图像增强方法、系统及设备 |
| CN118741177A (zh) * | 2024-06-17 | 2024-10-01 | 北京积加科技有限公司 | 监控录像帧率调整方法、装置、电子设备和可读介质 |
| CN119155538A (zh) * | 2024-11-18 | 2024-12-17 | 杭州研极微电子有限公司 | 摄像设备的处理方法、装置、设备和介质 |
-
2023
- 2023-06-05 CN CN202310660902.7A patent/CN116916116A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118741177A (zh) * | 2024-06-17 | 2024-10-01 | 北京积加科技有限公司 | 监控录像帧率调整方法、装置、电子设备和可读介质 |
| CN118741177B (zh) * | 2024-06-17 | 2025-09-05 | 北京积加科技有限公司 | 监控录像帧率调整方法、装置、电子设备和可读介质 |
| CN118714456A (zh) * | 2024-07-04 | 2024-09-27 | 深圳华宸电子科技有限公司 | 一种运动相机拍摄过程中图像增强方法、系统及设备 |
| CN118714456B (zh) * | 2024-07-04 | 2025-07-22 | 深圳华宸电子科技有限公司 | 一种运动相机拍摄过程中图像增强方法、系统及设备 |
| CN119155538A (zh) * | 2024-11-18 | 2024-12-17 | 杭州研极微电子有限公司 | 摄像设备的处理方法、装置、设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116916116A (zh) | 帧率调整方法、存储介质及电子设备 | |
| CN109361910B (zh) | 自适应白平衡校正方法及装置 | |
| US10070053B2 (en) | Method and camera for determining an image adjustment parameter | |
| US8605185B2 (en) | Capture of video with motion-speed determination and variable capture rate | |
| JP6816097B2 (ja) | 画像についての奥行きマップを決定するための方法及び装置 | |
| CN110022469B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| US11558554B2 (en) | Optical distance measurement system and imaging system with dynamic exposure time | |
| WO2021109620A1 (zh) | 一种曝光参数的调节方法及装置 | |
| US9762878B2 (en) | Auto white balance using infrared and/or ultraviolet signals | |
| WO2019148978A1 (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN108337447A (zh) | 高动态范围图像曝光补偿值获取方法、装置、设备及介质 | |
| CN113177438B (zh) | 图像处理方法、设备及存储介质 | |
| JP2011510521A (ja) | チップ上スマート・ネットワーク・カメラ・システム | |
| JP2018503325A (ja) | 画素データに対して演算を実行するためのシステムおよび方法 | |
| KR20170030933A (ko) | 영상 처리 장치 및 그것의 자동 화이트 밸런싱 방법 | |
| CN112040139B (zh) | 一种相机成像的补光方法 | |
| US20120308123A1 (en) | Apparatus and method for estimating the number of objects included in an image | |
| CN108322651A (zh) | 拍摄方法和装置、电子设备、计算机可读存储介质 | |
| US11956552B2 (en) | Method and electronic device for increased dynamic range of an image | |
| Hertel et al. | Image quality standards in automotive vision applications | |
| CN113228621B (zh) | 一种成像控制方法、系统和非暂时性计算机可读介质 | |
| US11417151B2 (en) | Adaptive rolling shutter image sensor and IR emitter control for facial recognition | |
| CN110930340B (zh) | 一种图像处理方法及装置 | |
| EP4090006A2 (en) | Image signal processing based on virtual superimposition | |
| CN108337448A (zh) | 高动态范围图像获取方法、装置、终端设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |