CN113221603A - 一种检测监控设备被异物遮挡的方法及装置 - Google Patents
一种检测监控设备被异物遮挡的方法及装置 Download PDFInfo
- Publication number
- CN113221603A CN113221603A CN202010080542.XA CN202010080542A CN113221603A CN 113221603 A CN113221603 A CN 113221603A CN 202010080542 A CN202010080542 A CN 202010080542A CN 113221603 A CN113221603 A CN 113221603A
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- pixels
- foreign object
- target pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及一种检测监控设备被异物遮挡的方法及装置,包括:利用摄像头得到原始图像;对该原始图像进行处理,以检测与异物相关联的目标像素;如果检测到目标像素,提取该原始图像中的目标像素,以得到保留目标像素的图像;对该保留目标像素的图像进行深度估计;基于该深度估计的结果,计算遮挡比;以及基于该遮挡比,判断该摄像头是否被异物遮挡。
Description
技术领域
本公开涉及视频图像处理领域,具体而言,涉及一种检测监控设备被异物遮挡的方法及装置。
背景技术
随着现代科技的快速发展以及图像和视频获取技术的逐步发展与完善,智慧安防视频监控已经广泛地应用于人们的日常生产生活。这些安防视频监控的摄像头容易受到遮挡,从而导致监控点监控信息的严重缺失,这不仅会严重影响监控镜头的功能发挥,削弱公安机关利用视频巡查、侦查的能力,还会对公共安全管理造成严重影响,威胁居民的生命财产安全,在某些关键监控点甚至可能造成不可挽回的损失。
现阶段,检测摄像头被异物遮挡主要包括两种方法:第一是人工定期排查的方法,第二是传统视频图像处理方法。
对于第一种方法,通过人工定期排查来存在问题的摄像头不仅费事费力,需要支付高额的人工成本,并且容易出现遗漏或疏忽,无法注意到视线死角出现的树叶遮挡。
对于第二种方法,传统视频图像处理方法一般是利用阈值分割与树叶颜色特征分析相结合的树叶分割方法,在树叶分割的基础上引入颜色特征与分割区域面积特征,再通过支持向量机进行分类建模,从而实现树叶遮挡的检测。此方法的缺点也很明显,树叶遮挡检测精度太低,因无法获得树叶深度信息,经常会受到远处的大树叶以及其他和树叶颜色类似的操场、草坪等对象的干扰,出现误判,因此还是需要人工去复检。
发明内容
根据本公开的一方面,提供了一种检测摄像头是否被异物遮挡的方法,包括以下步骤:利用该摄像头得到原始图像;对该原始图像进行处理,以检测与异物相关联的目标像素;如果检测到该目标像素,提取该原始图像中的目标像素,以得到保留目标像素的图像;对该保留目标像素的图像进行深度估计;基于该深度估计的结果,计算遮挡比;以及基于该遮挡比,判断该摄像头是否被异物遮挡。
根据本公开的另一方面,提供了一种用于检测摄像头是否被异物遮挡的非瞬态存储介质,其上存储有程序,其特征在于,当该程序由计算机执行时,使计算机执行如上所述的方法。
根据本公开的又一方面,提供了一种用于检测摄像头是否被异物遮挡的装置,包括存储器和处理器,该存储器中存储有程序,该程序当由处理器执行时,使得该处理器执行如上所述的方法。
根据本公开的实施例的一个优点在于,提供了一种包含图像语义分割以及单目图像深度估计方法的摄像头被异物(例如,树叶)遮挡的智能检测方法,以解决人工巡检耗费成本高的问题,同时提升遮挡检测精确率。这里的精确率是指检测出的正确的被遮挡的摄像头数量在检测出的摄像头总数中的占比。
根据本公开的实施例的另一个优点在于,上述背景提及的传统视频图像处理方法的精确率较低,容易受到与所针对的异物相似的场景干扰,造成误判等情况发生。例如,在检测摄像头是否被树叶遮挡时,可能会受到相似的草坪干扰,从而造成误判。本发明提供一种自定义语义分割检测模型,将树叶与其他对象区分开,提取出画面中的大面积树叶,有效的减少了其他对象特征的干扰,最大程度地降低了环境干扰因素。
根据本公开的实施例的又一个优点在于,本公开还利用单目图像深度估计方法计算树叶在真实场景到摄像头的距离,从而实现树叶遮挡的异常检测。该方法引入了图像中的树叶深度信息以准确的判断出被树叶遮挡的摄像头,精准的指导相关工作人员对树叶树枝进行修剪。
通过以下参照附图对本公开的示例性实施例的详细描述,本公开的其它特征及其优点将会变得更为清楚。
附图说明
构成说明书的一部分的附图描述了本公开的实施例,并且连同说明书一起用于解释本公开的原理。
参照附图,根据下面的详细描述,可以更加清楚地理解本公开,其中:
图1示出了根据本公开的一个或多个示例性实施例的用于训练样本的原始图像的示例。
图2示出了根据本公开的一个或多个示例性实施例的用于训练样本的将如图1所示的原始图像进行标注后得到的经标注的图像的示例。
图3示出了根据本公开的一个或多个示例性实施例的由监控设备的摄像头拍摄的原始图像的示例。
图4示出了根据本公开的一个或多个示例性实施例的将如图3所示的示例原始图像输入图像语义分割模型后得到的彩色概率图的示例。
图5示出了根据本公开的一个或多个示例性实施例的将如图4所示的彩色概率图经过二值化处理后得到的二值化的图像的示例。
图6示出了根据本公开的一个或多个示例性实施例的将如图5所示的二值化的图像经过形态学开运算后得到经形态学开运算的二值化的图像的示例。
图7示出了根据本公开的一个或多个示例性实施例的将如图6所示的经形态学开运算的二值化的图像与如图3所示的原始图像结合得到的保留目标像素的图像。
图8示出了根据本公开的一个或多个示例性实施例的将如图7所示的保留目标像素的图像输入深度估计模型得到的具有深度信息的图像的示例。
图9示出了根据本公开的一个或多个示例性实施例的用于检测监控设备被异物遮挡的方法流程图。
图10示出了根据本公开的一个或多个示例性实施例的用于检测监控设备被异物遮挡的装置结构框图。
注意,在以下说明的实施方式中,有时在不同的附图之间共同使用同一附图标记来表示相同部分或具有相同功能的部分,而省略其重复说明。在一些情况中,使用相似的标号和字母表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
为了便于理解,在附图等中所示的各结构的位置、尺寸及范围等有时不表示实际的位置、尺寸及范围等。因此,本公开并不限于附图等所公开的位置、尺寸及范围等。
具体实施方式
下面将参照附图来详细描述本公开的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。也就是说,本文中的结构及方法是以示例性的方式示出,来说明本公开中的结构和方法的不同实施例。然而,本领域技术人员将会理解,它们仅仅说明可以用来实施的本公开的示例性方式,而不是穷尽的方式。此外,附图不必按比例绘制,一些特征可能被放大以示出具体组件的细节。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它示例可以具有不同的值。
对于被异物遮挡的监控设备,由该设备的摄像头拍摄的图像中的至少一部分会与遮挡该摄像头的异物对应。因此,本公开中,可以对由待检测的摄像头拍摄到的原始图像进行处理,以识别该原始图像中是否存在与异物对应的至少一部分图像,从而确定摄像头是否被异物遮挡。
本公开的实施例采用图像语义分割技术来检测像头拍摄到的原始图像中是否存在与异物对应的至少一部分。图像语义分割算法是图像处理和计算机视觉中的重要技术,可以应用于自动驾驶系统(例如,街景识别)、无人机应用(例如,着陆点判断)以及穿戴式设备等等。该算法识别图像中的每个像素及每个像素的含义,将图像中的每个像素按照该像素所对应的含义来进行分组或分割,并且可以根据分组或分割的结果将图像中的像素着色为不同颜色。
在图像语义分割技术中,首先需要对图像中的对象的类别进行定义。要检测的异物所属于的类别即为目标类别,被包括在所定义的这些类别中。例如,在需要检测摄像头是否被树叶遮挡的情况下,对于由监控设备的摄像头拍摄的图像,可以将图像中的对象自定义为14个类别,包括:二轮车、建筑物、四轮车、衣物、室内地面、草坪、树叶、人、操场、室外路面、跑道、天空、植被、其他。并且,每个类别可以对应于一种颜色,不同类别对应的颜色不同。在对图像中的对象的类别进行自定义时,可以使用语义分割标注软件(例如,PixelAnnotationTool)来进行自定义类别的标注。标注可以包括将图像中的像素分类为自定义类别之一,并且按照不同的类别将像素着色为与该类别对应的颜色,从而得到经标注的图像。例如,图1为已有的原始图像,图2为将图1的原始图像按照自定义的类别进行标注后得到的经标注的图像。
在图像语义分割技术中,常见的图像语义分割模型包括Unet、PSPnet、BiseNet、Deeplab系列等。在实施例中,优选地,出于性能的考虑,可以使用基于resnet101骨干网络的BiseNet(Bilateral Segmentation Network for Real-time Semantic Segmentation)模型。图像语义分割技术中常用的标准度量包括mIoU(Mean Intersection over Union),其计算两个集合的交集和并集之比。
为了得到适用于应用背景的图像语义分割模型,需要利用大量样本来训练图像语义分割模型。这种样本可以包括原始图像(例如图1)以及与原始图像对应的经标注的图像(例如图2)。多个样本构成训练集,用于对自定义的图像语义分割模型进行训练。在利用训练集训练自定义的语义分割模型时,例如,可以使用在ImageNet(一种公共数据集)预训练的resnet101权重作为初始化权重,学习率设置为0.01,以及利用sdg算法进行反向传播优化函数,从而得到经训练的自定义的图像语义分割模型。
在得到经训练的图像语义分割模型后,利用该图像语义分割模型对从监控设备的摄像头得到原始图像进行处理,得到彩色的概率图。在该彩色的概率图中,不同的颜色对应不同的类别。
可选地,在将原始图像输入到图像语义分割模型中之前,可以对图像的尺寸进行处理,以适应图像语义分割模型的要求。
例如,图3为视频中的一张(1920,1080,3)的原始图像,该视频由监控设备的摄像头拍摄。可以对图3进行变形处理,得到(960,720,3)的图像。将经变形处理的(960,720,3)的图像输入到经训练的BiseNet网络中,基于图像语义分割模型的推理,得到一张(960,720,3)的彩色概率图,如图4所示,在图4中,绿色部分即为与要检测的异物(即树叶)对应的部分。
在本公开中,一部分图像具有三维坐标(x,y,z),在这样的坐标中,x为该图像的宽度,y为该图像的高度,z为该图像的通道数。
在得到彩色的概率图之后,可以检测该概率图中是否存在与目标类别对应的颜色。如果不存在与目标类别对应的颜色,则可以判断原始图形中不存在与要检测的异物对应的至少一部分,即判断该摄像头未被异物遮挡。如果存在与目标类别对应的颜色,则对彩色概率图进行进一步的处理,从而得到二值化的图像。例如,可以将彩色概率图中具有与目标类别对应的颜色的像素着色为白色,将具有与目标类别不对应的颜色的像素着色为黑色。如图4所示的彩色概率图在经过二值化处理后得到的图像如图5所示。在图5中,可以看到与要检测的异物(即树叶)对应的部分为白色,其余部分为黑色。
还注意到,如图5中所示,在黑色块的边缘存在小的黑色块。这种处于二值化的图像边缘的小的黑色块是由于模型的错误推理而导致的错误像素。
可选地,为了消除错误推理的影响,可以进一步处理二值化的图像,以去除误判的像素。这可以例如通过对二值化的图像进行形态学开运算操作来实现。例如,可以对二值化的图像进行形态学开运算操作,然后去除经形态学开操作的图像中的由目标像素构成并且面积小于面积阈值的块。
例如,对于如图5中所示的二值化的图像,可以使用5*5的结构元素进行形态学开运算操作,去除图像中面积小于10000个像素的块,从而得到如图6所示的经形态学开运算的二值化的图像。
在得到二值化的图像或经形态学开运算的二值化的图像之后,可以将二值化的图像或经形态学开运算的二值化的图像与原始图像进行对比。根据二值化的图像或经形态学开运算的二值化的图像中的被着色为白色的像素的位置,提取原始图像中与该位置对应的位置处的像素,从而得到保留原始图像中的目标像素的图像。原始图像中的其余像素(即非目标像素,也即二值化的图像或经形态学开运算的二值化的图像中的被着色为黑色的像素)可以被丢弃。例如,这些其余像素可以被改为黑色。
可选地,在原始图像的尺寸与二值化的图像或经形态学开运算的二值化的图像的尺寸不同的情况下,可以将原始图像缩放为与二值化的图像匹配。
为了避免由图像中相对于摄像头处于远处且与要检测的异物近似的对象造成的干扰,本公开还使用深度估计方法来对保留目标像素的图像进行深度估计,从而利用保留目标像素的图像中的像素的深度信息来进一步提高检测准确度。
对保留目标像素的图像进行深度估计包括利用单目摄像头深度估计模型,从而得到具有深度信息的图像。单目摄像头深度估计模型只利用单个摄像头拍摄的图像即可对对象的深度(即该对象在真实世界中与该单个摄像头的距离)进行估计。单目摄像头深度估计属于无监督方法,不需要对深度数据进行训练。常见的单目摄像头深度估计模型包括fast-depth、SVS、monodepth等,在本实施例中,可以选用monodepth模型(UnsupervisedMonocular Depth Estimation with Left-Right Consistency)。由于monodepth模型无需重新训练,所以,直接将保留目标像素的图像输入深度估计网络monodepth,可以估计保留目标像素的图像中的对象的深度。深度估计的结果例如可以为具有深度信息的图像。这里的深度信息可以是与像素对应的目标的深度相关联的数值。深度信息例如可以是像素值等,像素值例如可以是灰度值等。
例如,将如图7所示的保留目标像素的图像输入深度估计网络monodepth,得到如图8所示的具有深度信息的图像。例如该保留目标像素的图像可以是一张(512,256,3)的图像,所得到的具有深度信息的图像可以是一张(512,256)的图像,如图8所示。图8为具有深度信息的灰度图像。在图8中,距离摄像头越近的对象,其像素的灰度值越大。灰度值是表明图像明暗的数值,范围一般为从0到255,白色的灰度值为255,黑色的灰度值为0。像素的灰度值越大,看起来越亮。因此,图8中的像素的亮度(或灰度值)反映了该像素的深度。
在本公开中,一部分图像具有二维坐标(x,y),在这样的坐标中,x(例如,图8中的横坐标)为该图像的宽度,y(例如,图8中的纵坐标)为该图像的高度。
可选地,在将保留目标像素的图像输入到单目摄像头深度估计模型中之前,可以对保留目标像素的图像的尺寸进行处理,以适应单目摄像头深度估计模型的要求。
基于具有深度信息的图像,可以判断摄像头是否被要检测的异物遮挡。
首先,对具有深度信息的图像进行统计。如果具有深度信息的图像中的像素具有大于像素值阈值的像素值,则判定该像素对应于相对于摄像头处于近处的对象,即对应于要检测的异物。而当具有深度信息的图像中的像素具有小于或等于像素值阈值的像素值,则判定该像素对应于相对于摄像头处于远处的对象,即不对应于要检测的异物。对具有深度信息的图像中的像素值大于像素值阈值的像素进行计数,得到像素值大于像素值阈值的像素的个数,记为Num。
例如,如图8中所示的灰度图像,当该图像中的像素的灰度值大于灰度值阈值200时,即可判断该像素对应于要检测的异物(即树叶)。这里的灰度值阈值仅仅是示例而非限制,可以根据实际情况将灰度值阈值调整为在0-255范围内的任意数值。
基于以上统计,可以计算具有深度信息的图像的遮挡比。对具有深度信息的图像中所有像素进行统计,得到像素的总个数,记为Sum(图像的高*图像的宽)。例如,对于图8,Sum=512×256。遮挡比可以计算为:遮挡比=Num/Sum。
基于计算得到的遮挡比,可以判断摄像头是否被要检测的异物遮挡。如果计算得到的遮挡比大于或等于遮挡比阈值,则判断该摄像头被要检测的异物遮挡。如果计算得到的遮挡比小于遮挡比阈值,则判断该摄像头未被要检测的异物遮挡。
例如,对于图8中所示的图像,当计算得到的遮挡比大于或等于遮挡比阈值50%时,即可判断该摄像头被树叶遮挡;当计算得到的遮挡比小于遮挡比阈值50%时,即可判断该摄像头未被树叶遮挡。这里的遮挡比阈值仅仅是示例而非限制,可以根据实际情况将遮挡比阈值调整为在0-100%范围内的任意数值。
如图9所示,本发明公开了一种检测摄像头是否被异物遮挡的方法,包括:在910处,利用摄像头得到原始图像;接着,在920处,对原始图像进行处理,以检测与异物相关联的目标像素;然后,在930处,判断是否检测到目标像素;如果检测到目标像素,在940处,提取原始图像中的目标像素,以得到保留目标像素的图像;接着,在950处,对保留目标像素的图像进行深度估计;然后,在960处,基于深度估计的结果,计算遮挡比;以及最后,在970处,基于遮挡比,判断摄像头是否被异物遮挡。
在一种实施方式中,在该方法中,提取该原始图像中的目标像素包括:将该原始图像的像素二值化,将二值化的图像与所述原始图像结合,以确定该原始图像中的要提取的目标像素的位置。
在一种实施方式中,该方法还包括:在对该保留目标像素的图像进行深度估计之前,对该二值化的图像进行处理,以去除误判的像素。
在一种实施方式中,在该方法中,对该二值化的图像进行处理包括:对该二值化的图像进行形态学开操作,并且去除经形态学开操作的图像中的由目标像素构成并且面积小于面积阈值的块。
在一种实施方式中,该方法还包括:在提取该原始图像中的目标像素时,将该原始图像中不属于目标像素的其他像素变为黑色。
在一种实施方式中,在该方法中,对该原始图像进行处理包括利用图像语义分割模型。
在一种实施方式中,该方法还包括:利用图像语义分割模型对该原始图像进行处理得到彩色概率图,并根据该彩色概率图中的像素是否是目标像素来得到保留目标像素的图像。
在一种实施方式中,在该方法中,对该保留目标像素的图像进行深度估计包括利用单目摄像头深度估计模型,从而得到具有深度信息的图像。
在一种实施方式中,该方法还包括:统计该具有深度信息的图像中的像素值大于像素值阈值的像素的个数,将像素值大于像素值阈值的像素的个数与该具有深度信息的图像中的总像素个数进行计算得到遮挡比。
在一种实施方式中,该方法还包括:如果未检测到目标像素,则判断该摄像头未被异物遮挡。
在一种实施方式中,在该方法中,如果遮挡比大于或等于遮挡比阈值,则判断该摄像头被异物遮挡;否则判断该摄像头未被异物遮挡。
在一种实施方式中,在该方法中,该异物是树叶。
如图10所示,本发明公开了一种检测摄像头是否被异物遮挡的装置。该装置包括互相耦合的摄像头1010、存储器1020和处理器1030。存储器1020上存储有程序,该程序当由处理器1030执行时,使处理器1030执行如上所述的方法
综上所述,本发明公开一种通过结合图像语义分割以及单目深度估计的方法来提升复杂场景下摄像头被异物遮挡的检测的精度的方法及装置。在本公开的实施例中,使用了深度学习图像语义分割BiseNet方法。相比于传统图像特征分割方法,该方法具有鲁棒性好、mIoU高、速度快以及可以自适应各种天气变化对摄像头的画质等等优点。在本公开的实施例中,还使用了单目摄像头深度估计MonoDepth方法。该方法只利用单个摄像头就能估计异物(例如,树叶)离摄像头的物理距离,消除了RGB图像中远处大树叶以及其他和树叶颜色类似的操场、草坪等对象对算法造成的干扰,大大的降低了误报率,提高了检测精度。
应当理解,本说明书中“实施例”或类似表达方式的引用是指结合该实施例所述的特定特征、结构、或特性系包括在本公开的至少一具体实施例中。因此,在本说明书中,“在本公开的实施例中”及类似表达方式的用语的出现未必指相同的实施例。
如在此所使用的,词语“示例性的”意指“用作示例、实例或说明”,而不是作为将被精确复制的“模型”。在此示例性描述的任意实现方式并不一定要被解释为比其它实现方式优选的或有利的。而且,本公开不受在上述技术领域、背景技术、发明内容或具体实施方式中所给出的任何所表述的或所暗示的理论所限定。
还应理解,“包括/包含”一词在本文中使用时,说明存在所指出的特征、整体、步骤、操作、单元和/或组件,但是并不排除存在或增加一个或多个其它特征、整体、步骤、操作、单元和/或组件以及/或者它们的组合。
本领域技术人员应当知道,本公开被实施为一系统、装置、方法或作为计算机程序产品的计算机可读媒体(例如非瞬态存储介质)。因此,本公开可以实施为各种形式,例如完全的硬件实施例、完全的软件实施例(包括固件、常驻软件、微程序代码等),或者也可实施为软件与硬件的实施形式,在以下会被称为“电路”、“模块”或“系统”。此外,本公开也可以任何有形的媒体形式实施为计算机程序产品,其具有计算机可使用程序代码存储于其上。
本公开的相关叙述参照根据本公开具体实施例的系统、装置、方法及计算机程序产品的流程图和/或框图来进行说明。可以理解每一个流程图和/或框图中的每一个块,以及流程图和/或框图中的块的任何组合,可以使用计算机程序指令来实施。这些计算机程序指令可供通用型计算机或特殊计算机的处理器或其它可编程数据处理装置所组成的机器来执行,而指令经由计算机或其它可编程数据处理装置处理以便实施流程图和/或框图中所说明的功能或操作。
在附图中显示根据本公开各种实施例的系统、装置、方法及计算机程序产品可实施的架构、功能及操作的流程图及框图。因此,流程图或框图中的每个块可表示一模块、区段、或部分的程序代码,其包括一个或多个可执行指令,以实施指定的逻辑功能。另外应当注意,在某些其它的实施例中,块所述的功能可以不按图中所示的顺序进行。举例来说,两个图示相连接的块事实上也可以同时执行,或根据所涉及的功能在某些情况下也可以按图标相反的顺序执行。此外还需注意,每个框图和/或流程图的块,以及框图和/或流程图中块的组合,可藉由基于专用硬件的系统来实施,或者藉由专用硬件与计算机指令的组合,来执行特定的功能或操作。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场技术的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (14)
1.一种检测摄像头是否被异物遮挡的方法,包括以下步骤:
利用所述摄像头得到原始图像;
对所述原始图像进行处理,以检测与所述异物相关联的目标像素;
如果检测到所述目标像素,提取所述原始图像中的所述目标像素,以得到保留目标像素的图像;
对所述保留目标像素的图像进行深度估计;
基于所述深度估计的结果,计算遮挡比;以及
基于所述遮挡比,判断所述摄像头是否被所述异物遮挡。
2.如权利要求1所述的方法,其中,提取所述原始图像中的目标像素包括:将所述原始图像的像素二值化,将二值化的图像与所述原始图像结合,以确定所述原始图像中的要提取的目标像素的位置。
3.如权利要求2所述的方法,还包括:在对所述保留目标像素的图像进行深度估计之前,对所述二值化的图像进行处理,以去除误判的像素。
4.如权利要求3所述的方法,其中,对所述二值化的图像进行处理包括:对所述二值化的图像进行形态学开操作,并且去除经形态学开操作的图像中的由目标像素构成并且面积小于面积阈值的块。
5.如权利要求1所述的方法,还包括:在提取所述原始图像中的所述目标像素时,将所述原始图像中不属于所述目标像素的其他像素变为黑色。
6.如权利要求1所述的方法,其中,对所述原始图像进行处理包括利用图像语义分割模型。
7.如权利要求6所述的方法,还包括:利用图像语义分割模型对所述原始图像进行处理得到彩色概率图,并根据所述彩色概率图中的像素是否是所述目标像素来得到所述保留目标像素的图像。
8.如权利要求1所述的方法,其中,对所述保留目标像素的图像进行深度估计包括利用单目摄像头深度估计模型,从而得到具有深度信息的图像。
9.如权利要求8所述的方法,还包括:统计所述具有深度信息的图像中的像素值大于像素值阈值的像素的个数,将所述像素值大于像素值阈值的像素的个数与所述具有深度信息的图像中的总像素个数进行计算得到所述遮挡比。
10.如权利要求1所述的方法,还包括:如果未检测到所述目标像素,则判断所述摄像头未被所述异物遮挡。
11.如权利要求1所述的方法,其中,
如果所述遮挡比大于或等于遮挡比阈值,则判断所述摄像头被所述异物遮挡;否则
判断所述摄像头未被所述异物遮挡。
12.如权利要求1所述的方法,其中,所述异物是树叶。
13.一种用于检测摄像头是否被异物遮挡的非瞬态存储介质,其上存储有程序,其特征在于,当所述程序由计算机执行时,使所述计算机执行如权利要求1至12中的任一项所述的方法。
14.一种用于检测摄像头是否被异物遮挡的装置,包括存储器和处理器,所述存储器中存储有程序,所述程序当由处理器执行时,使得所述处理器执行如权利要求1至12中的任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010080542.XA CN113221603A (zh) | 2020-02-05 | 2020-02-05 | 一种检测监控设备被异物遮挡的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010080542.XA CN113221603A (zh) | 2020-02-05 | 2020-02-05 | 一种检测监控设备被异物遮挡的方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113221603A true CN113221603A (zh) | 2021-08-06 |
Family
ID=77085647
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010080542.XA Pending CN113221603A (zh) | 2020-02-05 | 2020-02-05 | 一种检测监控设备被异物遮挡的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113221603A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114049523A (zh) * | 2021-11-29 | 2022-02-15 | 安徽博微广成信息科技有限公司 | 一种视频监控摄像机分布式树叶遮挡识别系统及方法 |
| CN115082703A (zh) * | 2022-07-19 | 2022-09-20 | 深圳大学 | 概念关联颜色提取方法、装置、计算机设备和存储介质 |
| CN115604567A (zh) * | 2022-09-06 | 2023-01-13 | 深圳市震有软件科技有限公司(Cn) | 摄像头被绿叶遮挡检测方法、装置、计算机设备 |
| CN115731206A (zh) * | 2022-11-29 | 2023-03-03 | 杭州励飞软件技术有限公司 | 监控镜头监测方法、装置、设备及存储介质 |
| CN117576362A (zh) * | 2024-01-16 | 2024-02-20 | 国科大杭州高等研究院 | 一种基于遮挡比的低分辨率热红外影像飞机识别方法 |
| CN118762274A (zh) * | 2024-04-22 | 2024-10-11 | 上海迈能创豪能源科技有限公司 | 基于目标检测和语义分割的树线矛盾状态识别方法及装置 |
| EP4610958A1 (en) * | 2024-02-28 | 2025-09-03 | Siemens Aktiengesellschaft | Method and system for managing obstructions in field of view of surveillance camera |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017219377A (ja) * | 2016-06-06 | 2017-12-14 | 三菱電機株式会社 | 監視装置、監視方法及び空港監視システム |
| CN107784663A (zh) * | 2017-11-14 | 2018-03-09 | 哈尔滨工业大学深圳研究生院 | 基于深度信息的相关滤波跟踪方法及装置 |
| KR101906796B1 (ko) * | 2017-07-03 | 2018-10-11 | 한국씨텍(주) | 딥러닝 기반 영상 분석 장치 및 영상 분석 방법 |
| CN109118498A (zh) * | 2018-08-22 | 2019-01-01 | 科大讯飞股份有限公司 | 一种摄像头污点检测方法、装置、设备及存储介质 |
| US20190050667A1 (en) * | 2017-03-10 | 2019-02-14 | TuSimple | System and method for occluding contour detection |
| CN110033487A (zh) * | 2019-02-25 | 2019-07-19 | 上海交通大学 | 基于深度联想感知算法的受遮挡蔬果采收方法 |
| CN110049320A (zh) * | 2019-05-23 | 2019-07-23 | 北京猎户星空科技有限公司 | 摄像头遮挡检测方法、装置、电子设备及存储介质 |
-
2020
- 2020-02-05 CN CN202010080542.XA patent/CN113221603A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017219377A (ja) * | 2016-06-06 | 2017-12-14 | 三菱電機株式会社 | 監視装置、監視方法及び空港監視システム |
| US20190050667A1 (en) * | 2017-03-10 | 2019-02-14 | TuSimple | System and method for occluding contour detection |
| KR101906796B1 (ko) * | 2017-07-03 | 2018-10-11 | 한국씨텍(주) | 딥러닝 기반 영상 분석 장치 및 영상 분석 방법 |
| CN107784663A (zh) * | 2017-11-14 | 2018-03-09 | 哈尔滨工业大学深圳研究生院 | 基于深度信息的相关滤波跟踪方法及装置 |
| CN109118498A (zh) * | 2018-08-22 | 2019-01-01 | 科大讯飞股份有限公司 | 一种摄像头污点检测方法、装置、设备及存储介质 |
| CN110033487A (zh) * | 2019-02-25 | 2019-07-19 | 上海交通大学 | 基于深度联想感知算法的受遮挡蔬果采收方法 |
| CN110049320A (zh) * | 2019-05-23 | 2019-07-23 | 北京猎户星空科技有限公司 | 摄像头遮挡检测方法、装置、电子设备及存储介质 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114049523A (zh) * | 2021-11-29 | 2022-02-15 | 安徽博微广成信息科技有限公司 | 一种视频监控摄像机分布式树叶遮挡识别系统及方法 |
| CN115082703A (zh) * | 2022-07-19 | 2022-09-20 | 深圳大学 | 概念关联颜色提取方法、装置、计算机设备和存储介质 |
| CN115604567A (zh) * | 2022-09-06 | 2023-01-13 | 深圳市震有软件科技有限公司(Cn) | 摄像头被绿叶遮挡检测方法、装置、计算机设备 |
| CN115731206A (zh) * | 2022-11-29 | 2023-03-03 | 杭州励飞软件技术有限公司 | 监控镜头监测方法、装置、设备及存储介质 |
| CN117576362A (zh) * | 2024-01-16 | 2024-02-20 | 国科大杭州高等研究院 | 一种基于遮挡比的低分辨率热红外影像飞机识别方法 |
| CN117576362B (zh) * | 2024-01-16 | 2024-05-24 | 国科大杭州高等研究院 | 一种基于遮挡比的低分辨率热红外影像飞机识别方法 |
| EP4610958A1 (en) * | 2024-02-28 | 2025-09-03 | Siemens Aktiengesellschaft | Method and system for managing obstructions in field of view of surveillance camera |
| WO2025180915A1 (en) * | 2024-02-28 | 2025-09-04 | Siemens Aktiengesellschaft | Method and system for managing obstructions in field of view of surveillance camera |
| CN118762274A (zh) * | 2024-04-22 | 2024-10-11 | 上海迈能创豪能源科技有限公司 | 基于目标检测和语义分割的树线矛盾状态识别方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113221603A (zh) | 一种检测监控设备被异物遮挡的方法及装置 | |
| CN113139521B (zh) | 一种用于电力监控的行人越界标监测方法 | |
| CN104392468B (zh) | 基于改进视觉背景提取的运动目标检测方法 | |
| CN114926456B (zh) | 一种半自动标注和改进深度学习的铁轨异物检测方法 | |
| CN102332092B (zh) | 一种基于视频分析的火焰检测方法 | |
| CN104217215B (zh) | 一种水面有雾图像和清晰图像的分类识别方法 | |
| CN109918971B (zh) | 监控视频中人数检测方法及装置 | |
| CN105404847B (zh) | 一种遗留物实时检测方法 | |
| CN103530600B (zh) | 复杂光照下的车牌识别方法及系统 | |
| CN103955949B (zh) | 基于Mean-shift算法的运动目标检测方法 | |
| CN104978567B (zh) | 基于场景分类的车辆检测方法 | |
| CN107169985A (zh) | 一种基于对称帧间差分和背景更新的运动目标检测方法 | |
| CN102214309B (zh) | 一种基于头肩模型的特定人体识别方法 | |
| CN103810716B (zh) | 基于灰度搬移和Renyi熵的图像分割方法 | |
| CN112818905B (zh) | 一种基于注意力和时空信息的有限像素车辆目标检测方法 | |
| CN106991370B (zh) | 基于颜色和深度的行人检索方法 | |
| CN101986348A (zh) | 一种视觉目标识别与跟踪方法 | |
| CN116524410B (zh) | 基于混合高斯模型的深度学习融合场面目标检测方法 | |
| CN106203334A (zh) | 一种室内场景火苗检测方法 | |
| CN110298297A (zh) | 火焰识别方法和装置 | |
| CN107146210A (zh) | 一种基于图像处理的检测去除阴影方法 | |
| CN101715111A (zh) | 视频监控中滞留物主自动搜寻方法 | |
| CN105740844A (zh) | 基于图像识别技术的绝缘子炸裂故障检测方法 | |
| CN115049954A (zh) | 目标识别方法、装置、电子设备和介质 | |
| CN109544535B (zh) | 一种基于红外截止滤镜光学滤波特性的窥视摄像头检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210806 |