CN116030256A

CN116030256A - 小目标分割方法、小目标分割系统、设备和介质

Info

Publication number: CN116030256A
Application number: CN202310115649.7A
Authority: CN
Inventors: 于瑞云; 张存辉
Original assignee: Northeastern University China
Current assignee: Northeastern University China
Priority date: 2023-02-14
Filing date: 2023-02-14
Publication date: 2023-04-28

Abstract

本申请属于计算机技术领域，具体涉及一种小目标分割方法、小目标分割系统、设备和介质，其中的小目标分割方法包括：S1、获取待分割图像；S2、将所述待分割图像输入到预先训练好的小目标分割模型中，得到相应的小目标分割结果；其中，所述小目标分割模型包括用于提取多尺度特征图的骨干网络模块、用于对多尺度特征图加权后进行特征融合的特征融合模块、用于基于融合后的特征图进行小目标分割的头模块。本申请的小目标分割方法在两阶段图像分割的算法基础上，对算法模型进行自适应性的提高，能够针对不同的输入图片产生不同的权重参数来辅助分割任务，从而提高小目标分割任务的分割精度，提高了小目标分割的效果。

Description

小目标分割方法、小目标分割系统、设备和介质

技术领域

本申请属于计算机技术领域，具体涉及一种小目标分割方法、小目标分割系统、设备和介质。

背景技术

图像分割是计算机视觉的一个重要分支，其中的小目标分割旨在精准分割出图像中可视化特征极少的小目标。在现实场景中，由于小目标是大量存在的，小目标的检测和分割具有广泛的应用前景，在自动驾驶、智慧医疗、缺陷检测和航拍图像分析等诸多领域都发挥着重要作用。

现有的图像分割方法一般采用先进行检测任务再进行分割的方式，这种方法首先在图像上进行目标检测任务，之后在检测得到的边界框中对前景和背景进行像素级分类来。这种方法在小目标的分割上容易受到检测框误差的影响，从而导致效果较差。

现有小目标的分割采用特征金字塔的模型结构，使用骨干网络中生成的不同尺寸的特征图，在深层特征上依次上采样并与浅层特征进行融合。在进行检测和分割任务时，根据目标大小的不同会使用不同的特征图独立进行预测。这种方法可以获得更多关于小目标的有用信息，提高了小目标检测和分割任务的精度。该方法虽然提高了小目标的分割精度，但是模型使用相同的参数对所有的输入图片进行处理，由于这些图片可能差异很大，所以模型的自适应性较差，不能够做到针对不同的输入，对特征提取和融合的过程有不同的侧重，导致小目标的检测和分割精度较低。

因此，由于输入的差异性使小目标无法有效分割，进而导致小目标分割精度较低的问题，成为亟待解决的技术问题。

发明内容

(一)要解决的技术问题

鉴于现有技术的上述缺点、不足，本申请提供一种小目标分割方法、小目标分割系统、设备和介质。

(二)技术方案

为达到上述目的，本申请采用如下技术方案：

第一方面，本申请实施例提供一种基于动态参数的小目标分割方法，该方法包括以下步骤：

S1、获取待分割图像；

S2、将所述待分割图像输入到预先训练好的小目标分割模型中，得到相应的小目标分割结果；其中，所述小目标分割模型包括用于提取多尺度特征图的骨干网络模块、用于对多尺度特征图加权后进行特征融合的特征融合模块、用于基于融合后的特征图进行小目标分割的头模块。

可选地，特征融合模块对所述多尺度特征图加权后进行特征融合的方法包括：

基于每个尺度的特征图生成相应的初始权重张量；

对所述初始权重张量进行双线性插值，得到每个特征图的特征融合权重张量；

基于每个特征图的特征融合权重张量对多尺度特征图进行加权；

基于加权后的特征图进行特征融合。

可选地，基于加权后的特征图进行特征融合，包括：

对加权后的特征图

进行上采样，得到包含深层特征信息的上采样特征图

根据以下公式对上采样特征图

与加权后的特征图进行相加和3×3卷积，得到特征融合结果。

其中，G₄表示第4卷积核，

表示经过融合后的特征图。

可选地，基于每个尺度的特征图，根据以下公式生成相应的初始权重张量：

其中，

表示卷积操作,G_1,2,3表示三个卷积核，w₁为初始权重张量。

可选地，所述头模块中，动态分割分支基于候选区域进行掩膜的生成，具体包括：

根据以下公式计算得到候选掩膜：

其中，F_D′表示通过特征融合模块进行特征融合得到的特征图，G_{5，6，7，8}表示用于生成掩膜的四个3×3×256的卷积核，M_O表示经过全卷积后生成的分割信息，G₉表示1×1×80的卷积核，mask表示经过1×1×80的卷积核改变到类别通道数后生成的候选掩膜，Upsamlping表示上采样；

对得到的候选掩膜进行非极大值抑制，优化候选掩膜的数量和质量，将最终得到的掩膜作为用于小目标分割的掩膜。

可选地，在步骤S1之后，步骤S2之前，该方法还包括：

对所述待分割图像通过重设图像大小和/或图像填充，调整为预设的尺寸。

可选地，步骤S1之前还包括：

基于Mask R-CNN构建初始的小目标分割模型；

通过收集图片以及人工标注图片对应的标签，建立数据集，将数据集划分为训练集、验证集、测试集；

对数据集中的图片进行预处理，得到预处理后的图像；其中，预处理包括填充和/或重设图像大小；

基于所述训练集的数据对初始的小目标分割模型进行训练并确定普通参数，使用所述验证集调整模型的超参数，得到训练好的小目标分割模型；使用所述测试集评价训练完成后的小目标分割模型。

第二方面，本申请实施例提供一种小目标分割系统，该系统包括视频采集子系统、小目标分割子系统；

所述视频采集子系统，与所述小目标分割子系统连接，用于通过视频采集设备采集目标区域的视频图像，并所述目标区域的视频图像发送至所述小目标分割子系统；

所述小目标分割子系统，用于接收所述视频图像，并采用如上第一方面任一项所述的基于动态参数的小目标分割方法对所述视频图像进行实时小目标分割。

第三方面，本申请实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上第一方面任一项所述的基于动态参数的小目标分割方法的步骤。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被所述处理器执行时实现如上第一方面任一项所述的基于动态参数的小目标分割方法的步骤。

(三)有益效果

本申请的有益效果是：本申请提出了一种小目标分割方法、小目标分割系统、设备和介质，其中的小目标分割方法包括：S1、获取待分割图像；S2、将所述待分割图像输入到预先训练好的小目标分割模型中，得到相应的小目标分割结果；其中，所述小目标分割模型包括用于提取多尺度特征图的骨干网络模块、用于对多尺度特征图加权后进行特征融合的特征融合模块、用于基于融合后的特征图进行小目标分割的头模块。本申请的小目标分割方法在两阶段图像分割的算法基础上，对算法模型进行自适应性的提高，能够针对不同的输入图片产生不同的权重参数来辅助分割任务，从而提高小目标分割任务的分割精度，提高了小目标分割的效果。

附图说明

本申请借助于以下附图进行描述：

图1为本申请一个实施例中的基于动态参数的小目标分割方法流程示意图；

图2为本申请另一个实施例中的基于动态参数的小目标分割方法流程示意图；

图3为本申请另一个实施例中的小目标分割模型训练流程示意图；

图4为本申请另一个实施例中的小目标分割模型训练流程示意图；

图5为本申请另一个实施例中的基于动态参数的小目标分割算法流程示意图；

图6为本申请另一个实施例中的特征融合模块的模型结构图；

图7为本申请另一个实施例中的动态分割分支的模型结构图；

图8为本申请一个实施例中的小目标分割系统结构示意图；

图9为本申请一个实施例中的电子设备的架构示意图。

具体实施方式

为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。可以理解的是，以下所描述的具体的实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合；为了便于描述，附图中仅示出了与发明相关的部分。

虽然不同场景对于小目标的定义不同，目前还未形成统一的标准，现有小目标的定义方式主要分为两类：基于相对尺度的定义和基于绝对尺度的定义。基于相对尺度的定义中，边界框面积和图像面积之比的中位数在0.08％～0.58％之间的物体被认为是小目标。基于绝对尺度的定义中，分辨率小于32×32像素的目标被视为小目标。本申请的小目标分割方法中，小目标是指上述两种定义方式中的小目标。

图像分割包括：

语义分割：对于一张图像，分割出所有的目标(包括背景)，但对于同一类别的目标，无法区别不同个体；

实例分割：将图像中除背景之外的所有目标分割出来，并且可以区分同一类别下的不同个体；

全景分割：在实例分割的基础上，可以分割出背景目标。

本申请中的图像分割可以是以上任一类型的图像分割。

实施例一

图1为本申请一个实施例中的基于动态参数的小目标分割方法流程示意图，如图1所示，本实施例基于动态参数的小目标分割方法包括以下步骤：

S1、获取待分割图像；

S2、将待分割图像输入到预先训练好的小目标分割模型中，得到相应的小目标分割结果；其中，小目标分割模型包括用于提取多尺度特征图的骨干网络模块、用于对多尺度特征图加权后进行特征融合的特征融合模块、用于基于融合后的特征图进行小目标分割的头模块。

本申请的小目标分割方法在两阶段图像分割的算法基础上对算法模型的进行自适应性的提高，能够针对不同的输入图片产生不同的权重参数的模块来辅助分割任务，从而提高小目标分割任务的分割精度，提高了小目标分割的效果。

本实施例的小目标分割方法可以应用于电子设备中。其中，电子设备可以通过搭载软件系统执行本实施例的小目标分割方法。电子设备的类型可以是笔记本电脑，计算机，服务器，手机，PAD终端等。本申请不对电子设备的具体类型进行特别限定。

可以理解的是，本实施例的小目标分割方法既可以仅通过客户端设备或服务端设备单独执行，也可以通过客户端设备与服务端设备配合执行。服务端可以是由单台服务器或服务器机器构建的云端。

例如，小目标分割方法可以集成于客户端。客户端设备在接收到小目标分割请求后，可以通过自身硬件环境执行小目标分割。

又例如，小目标分割方法可以集成于服务端设备。服务端设备在接收到小目标分割请求后，可以通过自身硬件环境执行小目标分割方法。

为了更好地理解本发明，以下以服务器为执行主体对本实施例中的各步骤进行展开说明。

本实施例S1中，获取的待分割图像可以是从视频图像中切帧后得到的图像，然后对视频的每一帧进行小目标分割。视频图像可以是通过位于小目标对象所在环境内的视频采集设备实时采集的视频图像，也可以是从视频存储系统中读取的预先录制的视频图像。

举例来说，视频采集设备与执行本实施例方法的服务器之间可以通过无线网络或有线网络的方式，建立通信连接，服务器通过上述建立的通信连接，来接收视频采集设备发送的视频图像。

当视频图像是实时采集的视频流时，S1可以包括：获取关键帧图像。

具体的，可以通过以下步骤抽取得到关键帧图像：

对获取的实时视频流进行解码处理，得到与实时视频流对应的多帧原始帧图像；

基于预设的抽帧规则，从原始帧图像中抽取关键帧图像；

将抽取得到的关键帧图像作为待分割图像。

示例性的，视频的帧数一般都是30帧/秒，最低可以降到25帧/秒，因此可以基于实时视频流的帧数对其进行解码处理。具体的，可以在实时接收到监控视频的同时，对其进行解码处理，从而得到与实时视频流对应的多帧原始帧图像。在获取多帧原始帧图像之后，鉴于处理资源的限制，以及基于目标业务的需求，一般无需对每一帧原始帧图像进行处理，因此，可以基于一定的抽帧规则，例如每10帧抽取一帧、或者每5帧抽取一帧的规则，从多帧所述原始帧图像中抽取帧图像，作为关键帧图像。

需要说明的是，抽帧的间隔可根据实际情况进行设置，本申请对此不作限制。

本实施例S2中，小目标分割模型包括用于提取多尺度特征图的骨干网络模块、用于对多尺度特征图加权后进行特征融合的特征融合模块、用于基于融合后的特征图进行小目标分割的头模块。

具体地，骨干网络模块可以采用ResNet50或ResNet101。

需要说明的是，骨干网络也可以采用其他神经网络，本实施例对骨干网络模块的神经网络结构不做具体限定。

本实施例中，多尺度特征图是指骨干网络中提取得到的不同层次不同大小的特征图。

本实施例中，特征融合模块对所述多尺度特征图加权后进行特征融合的方法包括：

基于每个尺度的特征图生成相应的初始权重张量；

基于加权后的特征图进行特征融合。

通过针对不同的输入图片产生不同的权重参数的模块来辅助分割任务，从而有效提高了小目标分割任务的分割精度，提高了小目标分割的效果。

实施例二

图2为本申请另一个实施例中的基于动态参数的小目标分割方法流程示意图，如图2所示，该方法包括以下步骤：

步骤S10、建立并训练小目标分割模型。

本实施例中，以Mask R-CNN为基础模型建立小目标分割模型。

图3为本申请另一个实施例中的小目标分割模型结构示意图，其中，w表示权重生成分支，D表示动态分割分支。如图3所示，小目标分割模型包括：骨干网络(backbone)模块、特征融合模块、头模块。

骨干网络模块，用于进行不同尺度的特征提取，得到多个尺度的特征图；

特征融合模块，用于基于多尺度学习实现特征融合，得到融合后的特征；

头模块，用于基于融合后的特征进行小目标分割，得到小目标分割结果。

骨干网络采用ResNet50，特征融合模块包括权重生成分支和特征金字塔网络(Feature Pyramid Network，FPN)，头模块中包括区域建议网络、分类分支、回归分支、动态分割分支。权重生成分支包括三个卷积层和双线性插值层；分类分支包括和回归分支共用的双线性插值层、两个卷积层，以及softmax激活层；回归分支包括和分类分支共用的双线性插值层、两个卷积层，以及回归层；动态分割分支包括三个卷积层、双线性插值层、用于生成掩膜的第四卷积层和用于改变改变通道数第五卷积层。

Backbone骨干网络采用的是ResNet50，ResNet50共有5个阶段。第一阶段C1输出为56×56×256，第二个阶段C2输出为56×56×256，第三阶段C3输出为28×28×512，第四阶段C4输出为14×14×1024，第五阶段C5输出为7×7×2048。

具体地，本实施例中，将待分割图像输入到骨干网络中，选取5个特征图中的C2、C3、C4、C5作为待分割图像的待检测特征。

特征融合模块基于特征金字塔网络(Feature Pyramid Network，FPN)，其主要作用是基于输入的图像通过权重生成分支产生相应的权重，对特征图加权后再融合高低层特征，其结构中自顶向下的过程采用上采样进行，而横向连接则是将上采样的结果和自底向上生成的相同大小的特征图进行融合，融合之后接着采用3×3的卷积对每个融合结果进行卷积，目的是消除上采样的混叠效应，特征融合模块输出4个不同尺度的特征图层。

头模块包括区域建议网络、分类分支、回归分支、动态分割分支。

区域建议网络的主要作用是生成候选框，在FPN网络输出的每个不同尺度的特征图层，分别定义大小为4×4、8×8、16×16、32×32、64×64的锚框，用anchor表示，另外每个尺度层都有3种长宽比：1:2、1:1、2:1，所以整个特征金字塔有15种规格的anchor；前景类候选框的定义为与ground truth的IoU大于0.5的anchor；区域建议网络头部rpn_head结构分为两个分支，一个分支是通过softmax方法对所有的anchor框进行二分类来区分前景和背景，另一个分支是对anchor框进行坐标参数的回归，以获得精确的候选框；将候选框按照前景置信度从高到低排序，选取前2000个放到一起，接着对这些候选框做阈值为0.7的非极大值抑制，只留下前1000个候选框输入到后续的网络；

分类分支和回归分支，用于进行物体类别及概率的预测和bbox的位置调整。RPN网络得到的区域提案首先经过两层卷积网络，然后输入到两个全连接层，再分别输入到softmax和线性回归激活层。其中softmax层使用交叉熵损失函数训练得到物体类别的评分即概率预测，线性回归使用SmoothL1损失函数训练得到对于区域提案的位置调整。

动态分割分支，用于基于分类和回归分支的结果进行小目标掩膜的生成。首先通过三层卷积网络获得基于不同输入的权重，之后对输入的检测结果进行加权，得到新的带有物体类别概率信息的特征图并送进全卷积网络进行掩膜的生成，最终得到分割结果。

图4为本申请另一个实施例中的小目标分割模型训练流程示意图，如图4所示，本实施例的小目标分割模型训练流程包括：

步骤S11、建立数据集。收集一定数量的图片以及人工标注图片中的目标信息，建立与图片一一对应的标签Label。本实施例中选取的是COCO数据集，COCO数据集是目前计算机视觉领域最庞大并且最权威的数据集之一，其可以评测模型的平均精度、小目标精度、中目标精度以及大目标精度等。

按照6：2：2的划分标准将数据集划分为训练集、验证集、测试集。

步骤S12、数据预处理。

由于在计算机视觉的任务中，神经网络要求输入图像数据的高、宽一致。因此需要对图像进行预处理，包括填充和重设图像大小。

步骤S13、数据加载。

在深度学习框架Pytorch中使用Dataloader函数对数据集进行加载，按照配置文件中设定的batchsize决定每次加载处理的样本数量，同样在文件中设置的还有工作CPU个数、是否随机顺序进行图片的加载等信息。

步骤S14、模型前向推理。根据模型结构开始计算，将输入图片最后计算得到类别、位置信息、掩膜等前向推理结果。

步骤S15、获得模型前向推理结果，计算损失值。

使用定义好的损失函数，基于模型前向推理结果和图片对应标签计算损失值。

步骤S16、根据损失值反向传播依次更新网络中参数的值。

具体地，根据损失值计算网络中权重各层的梯度，并使用当前权重值减去学习率×梯度值得到更新后的权重值，并保存模型。

步骤S17、判断是否满足预设的训练结束条件：

若模型还未达到规定的轮次或损失值仍然大于预设的阈值，则返回步骤S12；

若模型达到规定轮次或损失值已小于阈值，则保存模型权重文件，终止训练，流程结束。

在训练过程中，基于训练集的数据对初始的小目标分割模型进行训练并确定普通参数，使用验证集调整模型的超参数，图像分割任务在验证集的过程和前向过程一致，因此不再展开描述。最后得到训练好的小目标分割模型；之后在测试集上测试训练好的模型的精度。

具体测试方法属于现有技术，此处不再展开说明。

步骤S20、获取待分割图像，并对待分割图像进行预处理。

将待分割图像通过重设图像大小或图像填充调整为预设的尺寸。通常该尺寸为网络模型可以接受的大小，例如1024×1024像素。

需要说明的是，本实施例的小目标分割模型是基于现有的两阶段目标分割模型建立，因此使用和现有模型中模块相同的输入输出，可以直接在原有方法上进行替换，实现即插即用的效果。现有模型的输入要求不同，预设尺寸也会不同，有的模型甚至不需要调整到预设尺寸，因此本实施例对图像调整后的尺寸和是否需要进行尺寸调整不做具体限定。

步骤S30、将预处理后的图像输入到小目标分割模型中。

具体地，可以在深度学习框架Pytorch中，根据配置文件中设置好的工作CPU个数、每次加载的图片数量、是否随机顺序进行图片的加载等信息进行数据的输入。

步骤S40、小目标分割模型对预处理后的图像进行小目标分割，输出小目标分割结果。

图5为本申请另一个实施例中的基于动态参数的小目标分割算法流程示意图，如图5所示，小目标分割的步骤包括：

S41、骨干网络提取不同尺度的特征图。输入的图像经过骨干网络中卷积等操作处理后得到不同深度、不同大小的特征图。

S42、特征融合模块进行动态加权的特征融合。不同深度的特征图在特征融合模块中进行动态的加权，并得到融合深层特征后的新特征图。

S43、区域建议网络(Region Proposal Network，RPN)进行候选区域的提取。融合后的特征会输入RPN网络进行候选区域的划分，得到一些列不同尺寸的候选框。

S44、分类分支预测物体类别及概率。Class Head根据候选框中的内容进行是否有目标对象的预测并判断属于对应类别的概率。

S45、回归分支对候选区域位置进行调整。回归分支会针对有对象的候选框增加偏移量进行位置的调整。

S46、动态分割分支对回归分支的结果进行掩膜(mask)的生成。动态分割分支会根据回归分支产生的结果和对象的特征动态生成对象的mask。

S47、通过非极大值抑制(Non Maximum Suppression，NMS)对上一步骤中生成对象的mask进行处理。通过筛选出局部的极大值得到最优解，将较小分数的输出过滤掉。

S48、输出带有边界矩形框(bounding box，bbox)和概率的分割结果。根据之前计算得到的结果在原图上绘制相应的检测框、类别、预测分数和mask等信息。

本发明是一种基于经典语义分割模型的即插即用的发明方案，所以根据基础模型的不同，在分割任务上可以有不同的流程。下面结合本实施例的模型结构具体说明发明的技术原理及实现过程。

首先把输入图像记作x，通过骨干网络得到不同尺度的特征图的计算公式为：

其中，

表示ResNet50中的卷积操作和跳层操作，C_i为不同尺度的特征图，i的取值为2-5。后续不同尺度的特征图要进入特征融合模块进行特征的融合工作。

在特征融合模块中对特征图进行加权操作：

其中，

表示整个特征融合中加权的操作。如果输入为C₂尺度的特征图，

表示对应的加权后的C₂尺度的特征图。

图6为本申请另一个实施例中的特征融合模块的模型结构图，如图6所示，图中

表示不同张量在对应位置上的相乘，BI表示双线性插值(Bilinear Interpolation)，F_D表示加权后的特征图。以C₂为例，特征图首先经过1×1卷积改变通道数开始进行特征融合，之后分别进入权重生成分支和特征分支。权重分支(weights branch)的目的是依据不同的输入产生一组张量大小相同、空间特异、通道特异的权重作为特征融合的动态加权，特征分支(feature branch)作为图像特征的基础。后续经过3×3的卷积消除上采样和直接相加可能产生的混叠效应得到后续新的特征图F_Out作为后续头部结构的输入。

权重计算公式如公式(3)所示：

其中，

表示卷积操作,G_1,2,3表示三个卷积核，即对C_i连续进行三次卷积，w₁为初始权重张量。

由于卷积过程中使用3×3卷积，为了边界的分割特征融合效果，没有在过程中使用padding的操作，所以需要进行双线性插值将权重重新映射到特征大小。

w₁是中间过程中产生的权重张量，对w₁进行双线性插值，得到特征融合权重张量w₂。

基于权重张量w₂对特征图进行加权操作，计算公式如公式(4)所示：

特征图加权操作后，与权重张量相乘之后的加权特征图

经过两倍尺寸的上采样得到经过放大的包含深层特征信息的上采样特征图

这里，下标表示的是该特征图所在的层数，层越低特征图尺寸越大。由于i层的特征图经过两倍尺寸的上采样后，与原始i-1层的特征图尺寸相同，因此经过上采样后下标变为i-1。

根据公式(5)对上采样特征图

与浅层特征进行相加再经过一次3×3卷积得到最终的融合结果：

其中，G₄表示第4卷积核，

表示最终经过融合后的特征图。

图7为本申请另一个实施例中的动态分割分支的模型结构图，如图7所示，首先对输入的带有物体类别信息的特征图F_B经过三次卷积操作获得相应的权重张量，之后进行双线性插值将权重张量重设图像大小到和输入F_B相同的尺寸，在对应位置进行相乘后得到添加动态参数的输入信息，即带有物体类别信息的加权后特征图。

在添加动态参数后计算掩膜的公式如下：

其中，F_D′表示通过特征融合模块进行特征融合得到的特征图，G_{5，6，7，8}表示用于生成掩膜的四个3×3×256的卷积核，M_O表示经过全卷积后生成的分割信息，G₉表示1×1×80的卷积核，mask表示经过1×1×80的卷积核改变到类别通道数后生成的候选掩膜，Upsamlping表示上采样。

最终在得到掩膜后继续进行NMS非极大值抑制等后处理操作并绘制输出结果。

动态分割分支采用了和动态特征融合相同的加权设计，生成带有物体类别信息的加权后特征图，从而能够更加适应后续的四个卷积来进行掩膜的生成，进一步提高小目标的分割精度。

本实施例的方法改进了小目标图像分割中最常用的特征融合模块和分割分支，根据不同的输入图像动态生成不同的权重作用在特征图上，通道特异且位置特异的权重可以让特征融合模块更好的关注和融合有效信息；在图像分割过程中，根据不同的候选区域特征生成作用于分割的动态参数来提升生成掩膜的质量，从而有效改善小目标的分割效果。

此外，本实施例提出的模块使用和经典模型中模块相同的输入输出，可以直接在原有方法上进行替换，实现即插即用的效果。

为了验证本实施例的方法的技术效果，使用COCO数据集中测试集的图片进行小目标分割。

表1

表1是现有的几种基础模型和在添加本发明的模块后在COCO数据集上进行图像分割的结果对比表。表中的数据为图像分割精度。

从表中可以看出，对比原模型和使用本发明设计的模块替换后的相同模型，在平均精度和小目标精度上，使用本发明模块的模型都取得了更好的效果。在添加本发明后平均精度和小目标精度均上涨0.4％-1％，验证了本发明能够获得比原始模型更好的特征融合效果和分割精度，能有效解决现有模型不能针对不同的输入进行特征提取和融合导致的小目标分割精度较低的问题。

综上所述，本发明所提出的特征融合模块和分割分支能够有效提高模型的自适应性，提高特征提取和融合的效果，在分割阶段可以更加合理的针对不同的对象产生质量更高的分割掩膜，提升了分割模型对小目标分割的精度，可以实现较为优秀的小目标分割效果。

实施例三

本申请第二方面提供一种小目标分割系统，图8为本申请一个实施例中的小目标分割系统结构示意图，请参阅图8，该系统包括视频采集子系统10、小目标分割子系统20；

视频采集子系统10，与小目标分割子系统20连接，用于通过视频采集设备采集目标区域的视频图像，并将目标区域的视频图像发送至小目标分割子系统20；

小目标分割子系统20，用于接收视频图像，并采用如上实施例一的基于动态参数的小目标分割方法对视频图像进行实时小目标分割。

本实施例中，视频采集设备可以是目标监控区域安装的监控摄像头。监控摄像头实时拍摄监控区域内的监控视频。需要说明的是，在此步骤中，监控摄像头可以但不限制于采用网络监控摄像头进行监控视频的拍摄，先将网络监控摄像头安放在能够拍摄目标区域的位置，然后通过网络、本地传输等方式访问摄像头读取视频图像即可。

通过采用实施例一中的基于动态参数的小目标分割方法进行小目标分割，提高了小目标分割的准确度。

实施例四

本申请第三方面提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现如上实施例一中任意一项所述的基于动态参数的小目标分割方法的步骤。

图9为本申请一个实施例中的电子设备的架构示意图。

图9所示的电子设备可包括：至少一个处理器101、至少一个存储器102、至少一个网络接口104和其他的用户接口103。电子设备中的各个组件通过总线系统105耦合在一起。可理解，总线系统105用于实现这些组件之间的连接通信。总线系统105除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图9中将各种总线都标为总线系统105。

其中，用户接口103可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(trackball)或者触感板等。

可以理解，本实施例中的存储器102可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(ProgrammableROM，PROM)、可擦除可编程只读存储器(ErasablePROM，EPROM)、电可擦除可编程只读存储器(ElectricallyEPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(RandomAccessMemory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(StaticRAM，SRAM)、动态随机存取存储器(DynamicRAM，DRAM)、同步动态随机存取存储器(SynchronousDRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(DoubleDataRateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(SynchlinkDRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambusRAM，DRRAM)。本文描述的存储器102旨在包括但不限于这些和任意其它适合类型的存储器。

在一些实施方式中，存储器102存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统1021和应用程序1022。

其中，操作系统1021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序1022，包含各种应用程序，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序1022中。

在本发明实施例中，处理器101通过调用存储器102存储的程序或指令，具体的，可以是应用程序1022中存储的程序或指令，处理器101用于执行第一方面所提供的方法步骤。

上述本发明实施例揭示的方法可以应用于处理器101中，或者由处理器101实现。处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器、数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器102，处理器101读取存储器102中的信息，结合其硬件完成上述方法的步骤。

另外，结合上述实施例中的基于动态参数的小目标分割方法，本发明实施例可提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上方法实施例中的任意一种基于动态参数的小目标分割方法。

应当注意的是，在权利要求中，不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。词语第一、第二、第三等的使用，仅是为了表述方便，而不表示任何顺序。可将这些词语理解为部件名称的一部分。

此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例作出另外的变更和修改。所以，权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和变型在内。