CN110009679A - 一种基于多尺度特征卷积神经网络的目标定位方法 - Google Patents
一种基于多尺度特征卷积神经网络的目标定位方法 Download PDFInfo
- Publication number
- CN110009679A CN110009679A CN201910148554.9A CN201910148554A CN110009679A CN 110009679 A CN110009679 A CN 110009679A CN 201910148554 A CN201910148554 A CN 201910148554A CN 110009679 A CN110009679 A CN 110009679A
- Authority
- CN
- China
- Prior art keywords
- feature
- gradient
- layer
- pyramid
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于多尺度特征卷积神经网络的目标定位方法,属于计算机视觉领域。本方法针对实际应用中诸多数据集标签部分缺失、无定位标注等问题,提出了基于多尺度特征卷积神经网络的弱监督定位方法,其核心思想利用神经网络分层的特性,在多层卷积层上使用梯度加权类激活映射,生成梯度金字塔模型,并通过均值滤波计算特征质心位置,利用置信强度映射和阈值梯减模块产生连接的像素段,围绕最大边界标注进行弱监督定位。在标准测试集上的实验结果表明,算法能够在存在大量类别、多尺度图像的情况下完成目标定位,具有较高的精确度。
Description
技术领域
本发明属于计算机视觉领域,具体涉及一种基于多尺度特征卷积神经网络的目标定位方法。
背景技术
目标定位是计算机视觉领域重要的研究方向之一。目标定位的目的是确定一个目标在图像中的位置。目前常见的定位方法是利用监督学习算法,根据目标的类别和位置信息训练,在测试集中完成目标定位。在许多实际应用中,如小目标检测、交通目标、多模态目标检测、医学目标检测等任务中,数据短缺,标注缺失众多,无法满足神经网络检测检测任务的需求。并且在这些应用中,数据集类别之间差异性较大,将部分目标的标注缺失严重污染了背景特征空间,分类器难以区分出已知类别和当前目标的差异性,容易错分成背景类,从而混淆了监督模型的判断能力,这就导致模型的准确度降低。
算法的改善从两个方面出发。在特征表示层面,随着深度学习的发展,特征工程越来越庞大,面对复杂的环境和目标信息较弱的情况下,有效的目标特征,融合多维度、多尺度特征完善目标模型是十分重要的。从模型方法层面上,弱监督学习方法不依赖于目标标签,当数据集标注缺失,数据集已知检测类别但数据集规模不足以完成训练时,易于拓展到新的对象类中。研究学者在图像目标的特征表示层面进行了诸多的工作。早期在图像处理领域,对于有纹理的实例目标上,能够提取稳定丰富的特征点和相应的特征描述子,纹理物体可以基于这些特征点和特征描述子被准确识别和检测。如SIFT算法、其它判别性特征描述子PCA-SIFT算法、SURF算法。随后Dalal等人提出使用图像局部梯度方向直方图(HOG)作为特征,利用支持向量机(SVM)作为分类器进行行人检测,手工特征要求设计者拥有较多的专业领域知识。随着神经网络和深度学习的发展,Ross Girshick等人提出R-CNN、Fast-RCNN和Faster-RCNN一系列算法,使用卷积神经网络构建丰富的特征层次结构用于精确目标检测与语义分割,只使用了最后一层特征图输出,但是没有充分利用目标多尺度特征。He等人提出SPP-NET在最后一层卷积后,加入空间池化层,使得任意大小的特征图都能够转换成固定大小的特征向量。Liu等提出SSD网络使用一阶检测结构、多尺度特征图来进行预测,提高了检测精度,但是没有利用最底层特征同时缺少了不同特征图层间的相互构建。Lin等人提出了特征金字塔模型,在结合多尺度特征图的基础上,加入了底层特征图和特征图上采样融合,更加完善了目标模型。
在卷积神经网络中利用弱监督定位方法同样有许多研究,该方法仅仅使用整个图像类别标签对图像中的对象进行定位。近年来,Vinyals等人提出类激活映射方法(ClassActivation Map,CAM),这种方法修改了图像分类的卷积神经网络架构,用卷积层和全局平均池化替换全连接层,缺点是该网络结构要求特征映射需要在分类层之前,导致在除了分类任务外可能低于一般网路结构。Lu等人使用全局最大池化和对数汇总池化研究了类似的方法。Selvaraju等人在类激活映射的基础上,引入了梯度信号组合特征映射(GradientClass Activation Map,Grad-CAM)的方法,不需要对原生网络架构进行修改,没有利用多尺度特征的梯度和特征融合。其他方法利用分类输入图像的扰动进行目标定位。Zeiler和Fergus等人通过遮挡斑块和对遮挡图像进行分类来扰动输入,当这些对象被遮挡时,通常会导致相关对象的分类分数降低。quab等人对包含一个像素的许多补丁进行分类,然后对这些补丁的分类分数进行平均,以提供像素的分类分数,运算包括多次前向和后向计算,效率较低。Zhang等人引入了对比边际获胜概率(c-MWP),用于模拟可突出区分区域的神经分类模型的自上而下的注意力,只适用于图像分类任务,目标定位较差。
发明内容
本发明旨在提供一种基于多尺度特征卷积神经网络的目标定位方法,该方法是基于多尺度特征的端到端弱监督定位算法,充分利用深度神经网络多尺度特征,通过梯度加权类激活映射,生成梯度金字塔模型,为每一个预测类别生成梯度金字塔,并通过均值滤波计算特征质心位置,利用置信强度映射和阈值梯减模块产生连接的像素段,围绕最大边界进行弱监督定位。通过多个实验表明,算法能够在提供较少标签的情况下完成精确目标定位,性能优于其他方法。
本发明的技术方案:
一种基于多尺度特征卷积神经网络的目标定位方法,步骤如下:
步骤1、将任意大小的单尺度图像输入卷积神经网络ConNet,利用特征金字塔模型以及梯度类平均映射Grad-CAM算法,计算分类的交叉熵误差Lcross-entrop,计算相对应的引导反向传播梯度卷积神经网络ConNet每一层输出为{C2,C3,...,Cl},通过主干卷积网络计算预测类别c,针对类别的得分yc,输入图像I的大小w*h;其多层特征图与输出相对应为{F2,F3,...,Fl}。
步骤2、计算每一层的重要性权重在多层特征图上计算像素级空间强度并利用ReLU激活函数
步骤3、针对每层梯度金字塔,进行上采样和横向连接操作,求出叠加后的强度,即
步骤4、针对叠加后的在计算热力图后,计算全局峰值γ,以缩放因子σ进行缩放,作为局部最大阈值。对每个热力图应用最大滤波器和最小滤波器,对应计算最大均值滤波后的和最小均值滤波后的并计算差分热力图,将差异不变像素点置0,以获得具有局部最大质心的可能区域。
步骤5、经过多次膨胀,生成多个候选点,找出最佳质心,然后利用缩放后的全局峰值进行梯减。
步骤6、围绕梯减后的最大边界,选出最大矩形框的坐标[xmin,ymin,xmax,ymax]。输出所有图像的目标预测类别Dclass和坐标合集Dloc。
本发明的有益效果:为了提高在数据集缺失、标注稀少,大量应用场景缺少目标定位信息问题,提出了一种基于梯度金字塔的弱监督目标定位算法。本发明利用梯度回传和神经网络结构构建梯度金字塔,在只有分类信息的基础上通过阈值梯减完成目标定位,算法有两个优点:1)充分利用多尺度深度特征信息,实现对目标浅层结构与深层语义信息的特征融合;2)通过寻找合适特征质心,以阈值梯减策略精确的完成了目标定位任务。通过在数据集上算法的比较,表明该算法可以有效的利用多尺度特征信息,提高在弱监督定位任务上性能,具有较好的泛化性。下一步的研究目标是设计基于类别的自适应阈值策略和高鲁棒的弱监督非极大值抑制,来解决无位置标签的弱监督目标定位。
附图说明
图1为基于梯度金字塔的目标弱监督定位网络框架。
图2为梯度金字塔。
图3为弱监督定位流程图。
图4为实验效果图。其中,(a-1)--(a-4)为原图预处理之后,(b-1)--(b-4)为预测类别导向回传误差图,(c-1)--(c-4)为梯度金字塔生成热力图,(d-1)--(d-4)导向的梯度金字塔,(e-1)--(e-4)弱监督预测区域回归框。
图5为实验预测框与真实标签效果图。其中,(a)-(h)分别为8种目标的实验预测框与真实标签。
图6为PASCAL VOC2012对比实验结果图。
图7为细粒度分类的目标定位效果图。其中,(a-1)--(a-3)为原图预处理之后,(b-1)--(b-3)为梯度金字塔热力图,(c-1)--(c-3)为弱监督预测区域回归框。
具体实施方式
下面将结合具体实施例和附图对本发明的技术方案进行进一步的说明。
1.数据集和评估指标
(1)ImageNet-ILSVRC2012
ImageNe数据集是为了促进计算机图像识别技术的发展而设立的一个大型图像数据集,其每年度创建大规模视觉识别挑战赛-ILSVRC。图像可以应用于图像分类,目标定位,目标检测,视频目标检测,场景分类等多种计算机视觉任务,图像包含目标明确的类别标注和图像中物体位置的标注。我们使用的LSVRC2012是ImageNet的2012年公布数据集,包含1000个类别,每个类别选取约1000张图片,其中有120万张训练图片,5万张验证图片和15万张测试图片。我们使用验证集进行弱监督目标定位任务的验证,实验评估指标分为Top1误差,Top5误差,具体为预测第一类和前五类目标的分类和位置误差。其中yi为正确的样本,m为总样本数,D为样本集合。
其中,位置误差以交并比0.5为阈值判定正负样本。
其中Rpred为预测范围区域。Rgt为实际范围区域。误差其数值越低越好。
(2)PASCAL VOC2012数据集
PASCAL VOC(Visual Object Classes)竞赛数据集主要用于目标识别,其提供的数据集包含20类物体。图片像素尺寸大小不一。训练和验证集数据有11,530张图像,包含27,450个标注对象和6,929个语义分割。
2.参数设置
实验基于pytouch深度库,硬件配置为Centos操作系统,处理器为Intel Xeon E5,显卡为Nvidia-tesla-K80,内存为64G。图片预处理为224*224,通道数为3,并在三个通道上用平均值[0.485,0.456,0.406],标准差[0.229,0.224,0.225]进行归一化。在VGG-19网络上使用第8、17、26、35层作为卷积网络的[conv2,conv3,conv4,conv5],其输出为特征大小分别为[56*56,28*28,14*14,7*7]。ImageNet数据集阈值梯减因子设为0.85,VOC数据集设为0.75。
3.梯度金字塔
特征金字塔模型是用于在深度网络中检测不同卷积层的目标的模块。利用卷积神经网络的金字塔特征层级,其层级之间具备从低到高的语义结构,以此在整个过程中构建具备高级语义的特征金字塔。方法以任意大小的单尺度图像作为输入,并以全卷积的方式输出多层恰当大小的特征映射。过程独立于主卷积结构,金字塔结构主要包括两个方面,第一方面在前馈计算上的自下而上的路径,计算由尺度步长为2的多尺度特征映射组成的特征层级,同时,选择每个阶段的最后一层的输出作为特征映射参考集。对于ResNet网络,使用每个阶段的残差输出的特征激活。对于不同卷积层CONV2,CONV3,CONV4,CONV5,残差块的输出为{C2,C3,C4,C5},步长分别为{S2,S3,S4,S5}个像素。第二方面是特征图上的自顶向下的路径和特征层间的横向连接。高层特征相对粗糙但是语义信息更强,通过自顶向下的路径和横向连接增强特征映射,进行更精确的定位。在空间分辨率上上采样为2倍,然后通过元素相加将上采样信息与当前层信息合并。迭代完成这个过程,直至金字塔构建。特征映射集为{P2,P3,P4,P5},对应于{C2,C3,C4,C5},分别具有相同的大小。
4.Grad-CAM算法
梯度类平均映射算法(Grad-CAM)中,因为卷积神经网络可以捕捉到更深层次的视觉结构,其将输入网络最后一个卷积层的梯度信息来理解每个神经元对于目标决定的重要性。为了获得任意类别c的宽度u和高度ν的类别判别定位图首先计算每一个类别c的梯度得分,即yc对于卷积层的特征图Ak的偏导,k为特征图中的每个子块,即这些梯度经过全局平均池化进行处理,获得神经元重要性权重
该权重表示了进行线性化后的神经网络结构,获取特征图k对于目标类别c对于的重要性。之后,算法利用ReLU激活函数进行特征图的加权前向激活:
经过ReLU函数,算法只关注对目标类别具有积极影响的特征,即增加了像素的强度等同于增加类别标签的判定置信度,负像素可能属于图像中的其他类别。算法提供了像素级空间梯度的可视化方法,具备细粒度特征的判别能力。另一方面,算法通过双线性差值对输入图像进行上采样,再利用逐点相乘,将导向反向传播和Grad-CAM可视化融合在一起。方法具有目标局部特征和类别的判别能力。
5.梯度金字塔模型
算法的基本架构如图1所示。为了适配在目标定位中可能存在的复杂的环境和数据条件,例如在数据信息量不多、无标注等视觉任务中。我们基于卷积网络结构的特点,其具有内在的多尺度金字塔形状,逐层计算特征层级。其方法不仅关注深层语信息,而且能够兼顾目标浅层的纹理、边缘信息,丰富特征空间。我们选择充分利用卷积网络特征层级的金字塔结构,创建在所有尺度上都具有强大语义的特征,将梯度在每一个层级特征图上进行回传,通过自顶向下的路径和横向连接相组合,构建梯度类映射金字塔模型,模型增加了不同尺度下特征的重要性强度。在本文中,我们的结构使用融合后的梯度信息来理解不同维度特征。首先计算当前图像前馈计算后的每层级输出为{C2,C3,...,Cl},其中l对应着为不同卷积层,将每一级输出直接作为返回的特征图{F2,F3,...,Fl},因为第一层过于靠近输入图像,其网络判别信息不足,故不使用第一层。之后,网络计算预测输出类别c,求出每一个类别c的得分相对于所有特征层的梯度得分,即输出yc对于l卷积层的特征图的偏导将偏导信息进行全局平均池化操作处理得到其中,每个特征图的对应子块k对应的池化范围为i,j,可知:
对每个层级下的不同特征图,其对应是{m,n,k},即单个特征的长宽和通道数。经过激活函数ReLU层,
获得当前梯度金字塔每层的特征得分
在每个梯度特征图我们进行两步操作。首先,将其上采样为两倍,使其与下一层梯度图形状相同。之后与下一层梯度强度图进行横向连接增强浅层特征强度与深层特征强度进行融合。每层之间的操作为:
对于最底部的梯度特征图输出,我们可以得到:
最高层特征图相对于底层特征图拥有更大的权重,因为高层特征图的语义信息更加集中,能够捕捉更多的视觉结构。图层间的横向连接,使梯度强度逐级增强。可以看出,基于梯度金字塔的特征信息更丰富,为计算机视觉任务提供更多的判断依据。
6.弱监督定位
算法将梯度金字塔结构应用弱监督定位任务上,通过网络预测目标类别,反向传播生成梯度金字塔,通过均值滤波器之后,利用过置信强度映射和阈值剔减模块,确定目标类别的有效特征区域,从而进行目标弱监督定位。
图3为弱监督定位的流程图。首先,我们经过主干卷积网络计算预测类别c。以类别得分根据梯度金字塔生成叠加后的特征强度在计算热力图后,我们选择全局峰值γ,按一定最大强度因子进行缩放,作为选择局部最大点的阈值,对于局部位置其强度足够高。最大强度因子的设置依赖于数据集的先验知识,一部分取决于数据集中目标大小占全图像素的平均比例,一部分取决于图像分类的细粒度程度。我们以平均比例当为初始值,之后作为超参数进行调节。为了选取热力图中的显著特征点,我们对每个热力图应用最大滤波器和最小滤波器,并计算差分热力图,以获得具有局部最大质心的可能区域。
对于大于图像中的阈值的所有局部最大值,我们对它们使用扩张操作以累积多个候选点,并选择累积分量的质心作为预测边界框的中心。在质心确定的基础上,我们设定阈值梯减,以缩放后的峰值γlocal取得质心点百分比区域。对于多个局部质心相相距较远点,我们利用非极大值抑制选取目标定位框。
基于梯度金字塔的弱监督网络结构不需要重新对于原生网络的训练,只依赖于原生网络的类别判断能力,速度更快。同时,模型在特征可视化的基础上具备高度的可解释性,不同于其他网络结构,对于每张图片,我们可以清晰的看到哪部分特征对于目标分类决策产生积极的影响,基于特征的强度进行目标位置决策更加可信。在梯度热力图的基础上,我们同时提供了对于细粒度类别重要性的空间可视化方法,在定位到目标区域的基础上,我们通过逐点相乘将导数的反向传播和梯度金字塔融合在一起,构建导向的梯度金字塔Ec,(GGP,GuidedGrad-Pyramid)。
Ec=Sc⊙I (9)
其中Sc为类别c的梯度强度图,I为误差相对图像的导数反向回传。这种可视化方法既具备高分辨率,同时具有类别判别能力,图像清晰的识别出目标的细粒度特征(例如条纹、耳朵、眼睛等),有利于我们对于模型的分类判别能力进行评估,从而指导调整模型进一步精确目标的弱监督定位工作。
7.组内对比实验
为了验证在不同卷积网络结构梯度金字塔的有效性,针对不同的网络VGG-19,ResNet50,ResNet101进行网络结构对比实验。实验是直接在网络源生网络上直接进行推断,源生网络只是分类网络,标签只使用了类别信息。所有的图片没有利用目标位置信息进行训练,整个数据集视为无位置标注数据集。
表1主干网络对比实验
表1列出了本文算法在三种主干卷积网络中的效果,实验验证了LSVRC2012中5万张图片的位置误差和分类误差。实验结果可以看出在不同的主干网络结构下,算法能够完成较好的目标定位。分类的误差依赖于网络的预训练过程。同时,实验结果表明在越深的深度网络结构下,梯度金字塔的融合效果越好。
针对梯度金字塔的改进网络结构,我们在IMAGENET数据集上利用VGG主干网络运算、梯度金字塔生成和梯度金字塔多层融合进行了相应的运算复杂度实验。
表2梯度金字塔网络结构运算时间
其中,主干网络前后向运算过程中保存了4张特征图的大小,和其他算法相比保存了中间运算过程,不额外增加运算时间。同时,在采样叠加操作上,每层特征图形状因为是固定的,梯度图形状越大,运算时间相应增多。单层采样叠加运算时间远小于梯度图运算时间。其运算的复杂度可以概括为常数主干网络时间τ与梯度金字塔生成时间O(n),其中n为叠加次数,但因为前几层网络梯度信息不明显,一般只利用后4层作为特征图。由表2可以看出,每一层运算的平均时间。在加入预处理操作后,数据集平均运算时间为10FPS。
8.对比实验分析
为了验证梯度金字塔弱监督的性能,将我们选取了Backprop,c-MWP,Grad-CAM,3种近年来出现的算法进行对比。Backprop算法直接利用反向传播梯度进行可视化,没有加池化操作和激活;c-MWP算法利用入了对比边际获胜概率,用于模拟可突出区分区域的神经分类模型。Grad-CAM算法仅利用最后一层特征梯度进行回传。表3为各种算法在ImageNet-ILSVRC2012上的弱监督定位效果。误差分为最优类定位与分类误差,前五类定位与分类误差。数值越低越好。
表3算法对比实验
为了评估和其他算法的效果,我们采用了VGG-19网络代替了ResNet101网络。从表2可以看出,我们的算法在标准指标值上均位列第一。在最优分类误差上高于第二名Grad-CAM算法4.1个百分点,高于c-MWP算法18个百分点,体现出在主要目标上我们的算法优秀的目标定位效果,同时,在前五类位置误差上,我们的算法高于第二名算法0.8个百分点,高于c-MWP算法18个百分点,在预测多个细粒度类别时,质点位置定位更加准确。在分类误差上,因为都使用了相同的主干网络,没有进行多余的训练,所以分类误差无变化。
同时我们在VOC2012数据集上利用训练微调,微调过程只针对分类任务,没有加入目标定位信息。整个数据集视为无位置标注数据集。
在20类物体对应成为4类目标,计算预测IOU高于0.5的框数目与所有目标框数目比例,实验效果如图6:
可以算法看出在动物、室内物品、人类预测效果好于交通工具类,同时,针对4个类别,本文算法都优于其他算法表现效果。
9.实验结果分析
图4显示了算法在4类目标上的弱监督定位效果。可以看出在不同种类的目标上,我们的算法在导向回传时成功的识别了目标的轮廓和边缘细节,在梯度金字塔热力图中生成了具有强关联的深度特征,为目标任务决策提供了可靠的依据。图5显示了我们的算法与实际标签的对比效果,可以看出算法在深度特征上定位到了目标的边缘与轮廓结构,在多尺度目标上找出了目标最优位置。针对细粒度类分类,不同的类别同时,通过恰当的阈值梯减,在多种场景环境、多种类别下准确的完成了弱监督目标定位任务。图7显示了算法在细粒度类别下的目标定位效果,图中为三种都为狗类别下的子类,可以看出定位专注于目标面部具有高置信度的特征区域,四肢区域的特征贡献度较少,背景贡献度基本忽略,高置信度特征利于我们确定核心区域进行弱监督定位。
Claims (3)
1.一种基于多尺度特征卷积神经网络的目标定位方法,其特征在于,步骤如下:
步骤1、将任意大小的单尺度图像I输入卷积神经网络ConNet,利用特征金字塔模型以及梯度类平均映射Grad-CAM算法,计算分类的交叉熵误差Lcross-entrop,计算相对应的引导反向传播梯度卷积神经网络ConNet每一层输出为{C2,C3,...,Cl},通过主干卷积网络计算预测类别c,针对类别的得分yc,输入图像I的大小w*h;其多层特征图与输出相对应为{F2,F3,...,Fl};
步骤2、计算每一层的重要性权重在多层特征图上计算像素级空间强度并利用ReLU激活函数
步骤3、针对每层梯度金字塔,进行上采样和横向连接操作,求出叠加后的强度,即
步骤4、针对叠加后的在计算热力图后,计算全局峰值γ,以缩放因子σ进行缩放,作为局部最大阈值;对每个热力图应用最大滤波器和最小滤波器,对应计算最大均值滤波后的和最小均值滤波后的并计算差分热力图,将差异不变像素点置0,以获得具有局部最大质心的可能区域;
步骤5、经过多次膨胀,生成多个候选点,找出最佳质心,然后利用缩放后的全局峰值进行梯减;
步骤6、围绕梯减后的最大边界,选出最大矩形框的坐标[xmin,ymin,xmax,ymax];输出所有图像的目标预测类别Dclass和坐标合集Dloc。
2.根据权利要求1所述的目标定位方法,其特征在于,所述步骤1中,特征金字塔模型中金字塔结构主要包括两个方面:第一方面在前馈计算上的自下而上的路径,计算由尺度步长为2的多尺度特征映射组成的特征层级,同时,选择每个阶段的最后一层的输出作为特征映射参考集;对于ResNet网络,使用每个阶段的残差输出的特征激活;对于不同卷积层,残差块的输出为{C2,C3,...,Cl},步长分别为{S2,S3,...,Sl}个像素;第二方面是特征图上的自顶向下的路径和特征层间的横向连接;高层特征相对粗糙但是语义信息更强,通过自顶向下的路径和横向连接增强特征映射,进行更精确的定位;在空间分辨率上上采样为2倍,然后通过元素相加将上采样信息与当前层信息合并;迭代完成这个过程,直至金字塔构建;特征映射集为{P2,P3,...,Pl},对应于{C2,C3,...,Cl},分别具有相同的大小。
3.根据权利要求1或2所述的目标定位方法,其特征在于,所述的梯度金字塔使用融合后的梯度信息来理解不同维度特征,具体步骤如下:
(1.1)以任意大小的单尺度图像作为输入,计算当前图像前馈计算后的每层级输出为{C2,C3,...,Cl},其中l为不同卷积层,将每一级输出直接作为返回的特征图{F2,F3,...,Fl};
(1.2)网络计算预测输出类别c,求出每一个类别c的得分相对于所有特征层的梯度得分,即输出yc对于卷积层l的特征图Fl k的偏导将偏导信息进行全局平均池化操作处理得到其中,每个特征图的对应子块k对应的池化范围为i,j,可知:
对每个层级下的不同特征图,其对应是{m,n,k},即单个特征的长宽和通道数;经过激活函数ReLU层,
获得当前梯度金字塔每层的特征得分
在每个梯度特征图进行两步操作:首先,将其上采样为两倍,使其与下一层梯度图形状相同;之后与下一层梯度强度图进行横向连接增强浅层特征强度与深层特征强度进行融合;每层之间的操作为:
其中,表示上采样函数,图像内插值方法;
对于最底部的梯度特征图输出,得到:
其中,L表示网络层数;
最高层特征图相对于底层特征图拥有更大的权重,因为高层特征图的语义信息更加集中,能够捕捉更多的视觉结构;图层间横向连接,梯度强度逐级增强。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910148554.9A CN110009679B (zh) | 2019-02-28 | 2019-02-28 | 一种基于多尺度特征卷积神经网络的目标定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910148554.9A CN110009679B (zh) | 2019-02-28 | 2019-02-28 | 一种基于多尺度特征卷积神经网络的目标定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110009679A true CN110009679A (zh) | 2019-07-12 |
| CN110009679B CN110009679B (zh) | 2022-01-04 |
Family
ID=67166129
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910148554.9A Active CN110009679B (zh) | 2019-02-28 | 2019-02-28 | 一种基于多尺度特征卷积神经网络的目标定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110009679B (zh) |
Cited By (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110504029A (zh) * | 2019-08-29 | 2019-11-26 | 腾讯医疗健康(深圳)有限公司 | 一种医学图像处理方法、医学图像识别方法及装置 |
| CN110517771A (zh) * | 2019-08-29 | 2019-11-29 | 腾讯医疗健康(深圳)有限公司 | 一种医学图像处理方法、医学图像识别方法及装置 |
| CN110619369A (zh) * | 2019-09-23 | 2019-12-27 | 常熟理工学院 | 基于特征金字塔与全局平均池化的细粒度图像分类方法 |
| CN110752028A (zh) * | 2019-10-21 | 2020-02-04 | 腾讯科技(深圳)有限公司 | 一种图像处理方法、装置、设备以及存储介质 |
| CN110852324A (zh) * | 2019-08-23 | 2020-02-28 | 上海撬动网络科技有限公司 | 一种基于深度神经网络集装箱箱号检测方法 |
| CN110910366A (zh) * | 2019-11-18 | 2020-03-24 | 湖北工业大学 | 基于3d cam的大脑核磁共振异常图像的可视化方法 |
| CN111104962A (zh) * | 2019-11-05 | 2020-05-05 | 北京航空航天大学青岛研究院 | 图像的语义分割方法、装置、电子设备及可读存储介质 |
| CN111104538A (zh) * | 2019-12-06 | 2020-05-05 | 深圳久凌软件技术有限公司 | 一种基于多尺度约束的细粒度车辆图像检索的方法及装置 |
| CN111275688A (zh) * | 2020-01-19 | 2020-06-12 | 合肥工业大学 | 基于注意力机制的上下文特征融合筛选的小目标检测方法 |
| CN111414910A (zh) * | 2020-03-18 | 2020-07-14 | 上海嘉沃光电科技有限公司 | 基于双重卷积神经网络的小目标增强检测方法和装置 |
| CN111461182A (zh) * | 2020-03-18 | 2020-07-28 | 北京小米松果电子有限公司 | 图像处理方法、图像处理装置及存储介质 |
| CN111652350A (zh) * | 2020-05-07 | 2020-09-11 | 清华大学深圳国际研究生院 | 神经网络可视化解释方法及弱监督定位物体方法 |
| CN111709294A (zh) * | 2020-05-18 | 2020-09-25 | 杭州电子科技大学 | 一种基于多特征信息的快递人员身份识别方法 |
| CN111754519A (zh) * | 2020-05-27 | 2020-10-09 | 浙江工业大学 | 一种基于类激活映射的对抗防御方法 |
| CN111986150A (zh) * | 2020-07-17 | 2020-11-24 | 万达信息股份有限公司 | 一种数字病理图像的交互式标注精细化方法 |
| CN112163530A (zh) * | 2020-09-30 | 2021-01-01 | 江南大学 | 基于特征增强和样本选择的ssd小目标检测方法 |
| CN112287999A (zh) * | 2020-10-27 | 2021-01-29 | 厦门大学 | 利用卷积神经网络矫正梯度的弱监督目标定位方法 |
| CN112420174A (zh) * | 2020-11-04 | 2021-02-26 | 湖北工业大学 | 基于3D Grad-CAM的自闭症大脑磁共振图像可视化方法 |
| CN112465909A (zh) * | 2020-12-07 | 2021-03-09 | 南开大学 | 基于卷积神经网络的类激活映射目标定位方法及系统 |
| CN112580661A (zh) * | 2020-12-11 | 2021-03-30 | 江南大学 | 一种深度监督下的多尺度边缘检测方法 |
| CN112651407A (zh) * | 2020-12-31 | 2021-04-13 | 中国人民解放军战略支援部队信息工程大学 | 一种基于区分性反卷积的cnn可视化方法 |
| CN112686249A (zh) * | 2020-12-22 | 2021-04-20 | 中国人民解放军战略支援部队信息工程大学 | 一种基于对抗补丁的Grad-CAM攻击方法 |
| CN113505670A (zh) * | 2021-06-29 | 2021-10-15 | 西南交通大学 | 基于多尺度cam和超像素的遥感图像弱监督建筑提取方法 |
| CN113537555A (zh) * | 2021-06-03 | 2021-10-22 | 太原理工大学 | 一种考虑扰动的交通子区模型预测滑模边界控制方法 |
| CN113762412A (zh) * | 2021-09-26 | 2021-12-07 | 国网四川省电力公司电力科学研究院 | 一种配电网单相接地故障识别方法、系统、终端及介质 |
| CN113855048A (zh) * | 2021-10-22 | 2021-12-31 | 武汉大学 | 一种孤独症谱系障碍的脑电信号可视化判别方法及系统 |
| CN114067316A (zh) * | 2021-11-23 | 2022-02-18 | 燕山大学 | 一种基于细粒度图像分类的快速识别方法 |
| CN114241274A (zh) * | 2021-11-30 | 2022-03-25 | 电子科技大学 | 一种基于超分辨率多尺度特征融合的小目标检测方法 |
| CN114648665A (zh) * | 2022-03-25 | 2022-06-21 | 西安电子科技大学 | 一种弱监督目标检测方法及系统 |
| CN114972272A (zh) * | 2022-06-01 | 2022-08-30 | 东南大学 | 一种基于Grad-CAM的新冠肺炎病灶分割方法 |
| CN115205281A (zh) * | 2022-08-15 | 2022-10-18 | 南京耘瞳科技有限公司 | 一种基于机器视觉的碳纤维原丝缺陷检测方法 |
| CN115546466A (zh) * | 2022-09-28 | 2022-12-30 | 北京工业大学 | 一种基于多尺度显著特征融合的弱监督图像目标定位方法 |
| CN115601588A (zh) * | 2022-09-30 | 2023-01-13 | 北京信息科技大学(Cn) | 一种基于视觉语义信息的图像分类深度学习模型解释方法 |
| CN116468941A (zh) * | 2023-04-14 | 2023-07-21 | 重庆邮电大学 | 一种基于上采样机制和类激活映射的图像分类结果特征可视化方法 |
| CN116758324A (zh) * | 2022-03-03 | 2023-09-15 | 四川大学 | 一种基于多尺度特异性区域的阿尔茨海默病分类方法 |
| CN119762774A (zh) * | 2024-12-06 | 2025-04-04 | 电子科技大学 | 一种基于大模型和伪标签学习的无监督病灶分割方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017079529A1 (en) * | 2015-11-04 | 2017-05-11 | Nec Laboratories America, Inc. | Universal correspondence network |
| US10007863B1 (en) * | 2015-06-05 | 2018-06-26 | Gracenote, Inc. | Logo recognition in images and videos |
| CN108846446A (zh) * | 2018-07-04 | 2018-11-20 | 国家新闻出版广电总局广播科学研究院 | 基于多路径密集特征融合全卷积网络的目标检测方法 |
| CN109035251A (zh) * | 2018-06-06 | 2018-12-18 | 杭州电子科技大学 | 一种基于多尺度特征解码的图像轮廓检测方法 |
| CN109166094A (zh) * | 2018-07-11 | 2019-01-08 | 华南理工大学 | 一种基于深度学习的绝缘子故障定位识别方法 |
-
2019
- 2019-02-28 CN CN201910148554.9A patent/CN110009679B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10007863B1 (en) * | 2015-06-05 | 2018-06-26 | Gracenote, Inc. | Logo recognition in images and videos |
| WO2017079529A1 (en) * | 2015-11-04 | 2017-05-11 | Nec Laboratories America, Inc. | Universal correspondence network |
| CN109035251A (zh) * | 2018-06-06 | 2018-12-18 | 杭州电子科技大学 | 一种基于多尺度特征解码的图像轮廓检测方法 |
| CN108846446A (zh) * | 2018-07-04 | 2018-11-20 | 国家新闻出版广电总局广播科学研究院 | 基于多路径密集特征融合全卷积网络的目标检测方法 |
| CN109166094A (zh) * | 2018-07-11 | 2019-01-08 | 华南理工大学 | 一种基于深度学习的绝缘子故障定位识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| ADITYA CHATTOPADHAY 等: "Grad-CAM++: Generalized Gradient-based Visual Explanations for Deep Convolutional Networks", 《2018 IEEE WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION》 * |
| SUNGMIN LEE 等: "Robust Tumor Localization with Pyramid Grad-CAM", 《ARXIV:1805.11393V1》 * |
Cited By (57)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110852324A (zh) * | 2019-08-23 | 2020-02-28 | 上海撬动网络科技有限公司 | 一种基于深度神经网络集装箱箱号检测方法 |
| CN110504029A (zh) * | 2019-08-29 | 2019-11-26 | 腾讯医疗健康(深圳)有限公司 | 一种医学图像处理方法、医学图像识别方法及装置 |
| CN110517771A (zh) * | 2019-08-29 | 2019-11-29 | 腾讯医疗健康(深圳)有限公司 | 一种医学图像处理方法、医学图像识别方法及装置 |
| CN110504029B (zh) * | 2019-08-29 | 2022-08-19 | 腾讯医疗健康(深圳)有限公司 | 一种医学图像处理方法、医学图像识别方法及装置 |
| WO2021036616A1 (zh) * | 2019-08-29 | 2021-03-04 | 腾讯科技(深圳)有限公司 | 一种医疗图像处理方法、医疗图像识别方法及装置 |
| US12229224B2 (en) | 2019-08-29 | 2025-02-18 | Tencent Technology (Shenzhen) Company Limited | Medical image processing method and apparatus, and medical image recognition method and apparatus |
| CN110619369A (zh) * | 2019-09-23 | 2019-12-27 | 常熟理工学院 | 基于特征金字塔与全局平均池化的细粒度图像分类方法 |
| CN110619369B (zh) * | 2019-09-23 | 2020-12-11 | 常熟理工学院 | 基于特征金字塔与全局平均池化的细粒度图像分类方法 |
| CN110752028A (zh) * | 2019-10-21 | 2020-02-04 | 腾讯科技(深圳)有限公司 | 一种图像处理方法、装置、设备以及存储介质 |
| CN111104962A (zh) * | 2019-11-05 | 2020-05-05 | 北京航空航天大学青岛研究院 | 图像的语义分割方法、装置、电子设备及可读存储介质 |
| CN111104962B (zh) * | 2019-11-05 | 2023-04-18 | 北京航空航天大学青岛研究院 | 图像的语义分割方法、装置、电子设备及可读存储介质 |
| CN110910366A (zh) * | 2019-11-18 | 2020-03-24 | 湖北工业大学 | 基于3d cam的大脑核磁共振异常图像的可视化方法 |
| CN110910366B (zh) * | 2019-11-18 | 2023-10-24 | 湖北工业大学 | 基于3d cam的大脑核磁共振异常图像的可视化方法 |
| CN111104538A (zh) * | 2019-12-06 | 2020-05-05 | 深圳久凌软件技术有限公司 | 一种基于多尺度约束的细粒度车辆图像检索的方法及装置 |
| CN111275688B (zh) * | 2020-01-19 | 2023-12-12 | 合肥工业大学 | 基于注意力机制的上下文特征融合筛选的小目标检测方法 |
| CN111275688A (zh) * | 2020-01-19 | 2020-06-12 | 合肥工业大学 | 基于注意力机制的上下文特征融合筛选的小目标检测方法 |
| CN111461182A (zh) * | 2020-03-18 | 2020-07-28 | 北京小米松果电子有限公司 | 图像处理方法、图像处理装置及存储介质 |
| CN111414910A (zh) * | 2020-03-18 | 2020-07-14 | 上海嘉沃光电科技有限公司 | 基于双重卷积神经网络的小目标增强检测方法和装置 |
| CN111414910B (zh) * | 2020-03-18 | 2023-05-02 | 上海嘉沃光电科技有限公司 | 基于双重卷积神经网络的小目标增强检测方法和装置 |
| CN111461182B (zh) * | 2020-03-18 | 2023-04-18 | 北京小米松果电子有限公司 | 图像处理方法、图像处理装置及存储介质 |
| CN111652350A (zh) * | 2020-05-07 | 2020-09-11 | 清华大学深圳国际研究生院 | 神经网络可视化解释方法及弱监督定位物体方法 |
| CN111709294A (zh) * | 2020-05-18 | 2020-09-25 | 杭州电子科技大学 | 一种基于多特征信息的快递人员身份识别方法 |
| CN111709294B (zh) * | 2020-05-18 | 2023-07-14 | 杭州电子科技大学 | 一种基于多特征信息的快递人员身份识别方法 |
| CN111754519A (zh) * | 2020-05-27 | 2020-10-09 | 浙江工业大学 | 一种基于类激活映射的对抗防御方法 |
| CN111754519B (zh) * | 2020-05-27 | 2024-04-30 | 浙江工业大学 | 一种基于类激活映射的对抗防御方法 |
| CN111986150B (zh) * | 2020-07-17 | 2024-02-09 | 万达信息股份有限公司 | 一种数字病理图像的交互式标注精细化方法 |
| CN111986150A (zh) * | 2020-07-17 | 2020-11-24 | 万达信息股份有限公司 | 一种数字病理图像的交互式标注精细化方法 |
| CN112163530B (zh) * | 2020-09-30 | 2024-04-09 | 江南大学 | 基于特征增强和样本选择的ssd小目标检测方法 |
| CN112163530A (zh) * | 2020-09-30 | 2021-01-01 | 江南大学 | 基于特征增强和样本选择的ssd小目标检测方法 |
| CN112287999B (zh) * | 2020-10-27 | 2022-06-14 | 厦门大学 | 利用卷积神经网络矫正梯度的弱监督目标定位方法 |
| CN112287999A (zh) * | 2020-10-27 | 2021-01-29 | 厦门大学 | 利用卷积神经网络矫正梯度的弱监督目标定位方法 |
| CN112420174A (zh) * | 2020-11-04 | 2021-02-26 | 湖北工业大学 | 基于3D Grad-CAM的自闭症大脑磁共振图像可视化方法 |
| CN112465909B (zh) * | 2020-12-07 | 2022-09-20 | 南开大学 | 基于卷积神经网络的类激活映射目标定位方法及系统 |
| CN112465909A (zh) * | 2020-12-07 | 2021-03-09 | 南开大学 | 基于卷积神经网络的类激活映射目标定位方法及系统 |
| CN112580661B (zh) * | 2020-12-11 | 2024-03-08 | 江南大学 | 一种深度监督下的多尺度边缘检测方法 |
| CN112580661A (zh) * | 2020-12-11 | 2021-03-30 | 江南大学 | 一种深度监督下的多尺度边缘检测方法 |
| CN112686249B (zh) * | 2020-12-22 | 2022-01-25 | 中国人民解放军战略支援部队信息工程大学 | 一种基于对抗补丁的Grad-CAM攻击方法 |
| CN112686249A (zh) * | 2020-12-22 | 2021-04-20 | 中国人民解放军战略支援部队信息工程大学 | 一种基于对抗补丁的Grad-CAM攻击方法 |
| CN112651407A (zh) * | 2020-12-31 | 2021-04-13 | 中国人民解放军战略支援部队信息工程大学 | 一种基于区分性反卷积的cnn可视化方法 |
| CN112651407B (zh) * | 2020-12-31 | 2023-10-20 | 中国人民解放军战略支援部队信息工程大学 | 一种基于区分性反卷积的cnn可视化方法 |
| CN113537555A (zh) * | 2021-06-03 | 2021-10-22 | 太原理工大学 | 一种考虑扰动的交通子区模型预测滑模边界控制方法 |
| CN113505670B (zh) * | 2021-06-29 | 2023-06-23 | 西南交通大学 | 基于多尺度cam和超像素的遥感图像弱监督建筑提取方法 |
| CN113505670A (zh) * | 2021-06-29 | 2021-10-15 | 西南交通大学 | 基于多尺度cam和超像素的遥感图像弱监督建筑提取方法 |
| CN113762412A (zh) * | 2021-09-26 | 2021-12-07 | 国网四川省电力公司电力科学研究院 | 一种配电网单相接地故障识别方法、系统、终端及介质 |
| CN113855048A (zh) * | 2021-10-22 | 2021-12-31 | 武汉大学 | 一种孤独症谱系障碍的脑电信号可视化判别方法及系统 |
| CN114067316A (zh) * | 2021-11-23 | 2022-02-18 | 燕山大学 | 一种基于细粒度图像分类的快速识别方法 |
| CN114067316B (zh) * | 2021-11-23 | 2024-05-03 | 燕山大学 | 一种基于细粒度图像分类的快速识别方法 |
| CN114241274B (zh) * | 2021-11-30 | 2023-04-07 | 电子科技大学 | 一种基于超分辨率多尺度特征融合的小目标检测方法 |
| CN114241274A (zh) * | 2021-11-30 | 2022-03-25 | 电子科技大学 | 一种基于超分辨率多尺度特征融合的小目标检测方法 |
| CN116758324A (zh) * | 2022-03-03 | 2023-09-15 | 四川大学 | 一种基于多尺度特异性区域的阿尔茨海默病分类方法 |
| CN114648665A (zh) * | 2022-03-25 | 2022-06-21 | 西安电子科技大学 | 一种弱监督目标检测方法及系统 |
| CN114972272A (zh) * | 2022-06-01 | 2022-08-30 | 东南大学 | 一种基于Grad-CAM的新冠肺炎病灶分割方法 |
| CN115205281A (zh) * | 2022-08-15 | 2022-10-18 | 南京耘瞳科技有限公司 | 一种基于机器视觉的碳纤维原丝缺陷检测方法 |
| CN115546466A (zh) * | 2022-09-28 | 2022-12-30 | 北京工业大学 | 一种基于多尺度显著特征融合的弱监督图像目标定位方法 |
| CN115601588A (zh) * | 2022-09-30 | 2023-01-13 | 北京信息科技大学(Cn) | 一种基于视觉语义信息的图像分类深度学习模型解释方法 |
| CN116468941A (zh) * | 2023-04-14 | 2023-07-21 | 重庆邮电大学 | 一种基于上采样机制和类激活映射的图像分类结果特征可视化方法 |
| CN119762774A (zh) * | 2024-12-06 | 2025-04-04 | 电子科技大学 | 一种基于大模型和伪标签学习的无监督病灶分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110009679B (zh) | 2022-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110009679B (zh) | 一种基于多尺度特征卷积神经网络的目标定位方法 | |
| Chirgaiya et al. | Tiny object detection model based on competitive multi-layer neural network (TOD-CMLNN) | |
| Kamal et al. | Automatic traffic sign detection and recognition using SegU-Net and a modified Tversky loss function with L1-constraint | |
| CN114255403B (zh) | 基于深度学习的光学遥感图像数据处理方法及系统 | |
| CN108830188A (zh) | 基于深度学习的车辆检测方法 | |
| CN113902978B (zh) | 基于深度学习的可解释性sar图像目标检测方法及系统 | |
| CN112149591B (zh) | 用于sar图像的ssd-aeff自动桥梁检测方法及系统 | |
| Fan et al. | A novel sonar target detection and classification algorithm | |
| CN111860171A (zh) | 一种大规模遥感图像中不规则形状目标的检测方法及系统 | |
| CN106295124A (zh) | 利用多种图像检测技术综合分析基因子图相似概率量的方法 | |
| CN112784722B (zh) | 基于YOLOv3和词袋模型的行为识别方法 | |
| CN114299383A (zh) | 基于密度图与注意力机制融合的遥感图像目标检测方法 | |
| JP2025181612A (ja) | マルチスケールモジュール特徴の融合に基づく小型車両検出深層学習モデル | |
| CN119649467B (zh) | 基于计算机视觉的盗窃行为识别方法及系统 | |
| CN116524356A (zh) | 一种矿石图像小样本目标检测方法及系统 | |
| Hu et al. | A small object detection model for drone images based on multi-attention fusion network | |
| CN110097067A (zh) | 一种基于层进式特征变换的弱监督细粒度图像分类方法 | |
| CN109902692A (zh) | 一种基于局部区域深度特征编码的图像分类方法 | |
| Ouadiay et al. | Simultaneous object detection and localization using convolutional neural networks | |
| Li et al. | An outstanding adaptive multi-feature fusion YOLOv3 algorithm for the small target detection in remote sensing images | |
| CN118212572A (zh) | 一种基于改进YOLOv7的道路损坏检测方法 | |
| Dong et al. | CL-PSDD: contrastive learning for adaptive generalized pavement surface distress detection | |
| Li et al. | Deformation and refined features based lesion detection on chest X-ray | |
| CN120689838A (zh) | 一种基于激光雷达的自动驾驶车辆点云识别方法及系统 | |
| TWI728655B (zh) | 應用於動物的卷積神經網路偵測方法及系統 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220812 Address after: Room 1603-12, No. 8, Financial Second Street, Economic Development Zone, Wuxi City, Jiangsu Province, 214125 Patentee after: Uni-Entropy Intelligent Technology (Wuxi) Co., Ltd. Address before: 1800 No. 214122 Jiangsu city of Wuxi Province Li Lake Avenue Patentee before: Jiangnan University |
|
| TR01 | Transfer of patent right |