CN112037155A - 一种目标属性结构化数据确定方法、装置、设备及介质 - Google Patents
一种目标属性结构化数据确定方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN112037155A CN112037155A CN202011207611.5A CN202011207611A CN112037155A CN 112037155 A CN112037155 A CN 112037155A CN 202011207611 A CN202011207611 A CN 202011207611A CN 112037155 A CN112037155 A CN 112037155A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- structured data
- target object
- target attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种目标属性结构化数据确定方法、装置、设备及介质，用以解决现有技术中图像进行目标属性结构化数据确定时，容易出现识别出错以及无法识别的问题。由于本发明实施例中，通过目标识别模型，确定采集的图像中包含的目标物体的类型以及所在的区域，通过图像增强模型，获取目标物体所在区域的子图像增强后的目标图像，并基于增强后的目标图像进行目标属性结构化数据确定，因此可以有效地避免在目标属性结构化数据确定时出现的无法识别以及识别出错的问题，提高了目标属性结构化数据确定的准确性。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种目标属性结构化数据确定方法、装置、设备及介质。
背景技术
随着经济的发展，针对摄像头采集的视频进行属性分析的技术也逐渐提高，对于属性分析的要求也逐步提升。
现有技术中，通过将摄像头采集的视频发送至云端，在云端中截取视频中的图像，针对截取的图像进行目标属性分析。其中由于摄像头在采集视频时光照不均匀，或者薄云薄雾的影响，导致所获取的图像清晰度不够、对比度不够、模糊不清等现象，得到视觉效果不佳的图像，基于视觉效果不佳的图像进行目标属性分析时，出现无法识别或识别错误的问题。
因此现有技术中，针对图像进行目标属性结构化数据确定时，存在识别出错以及无法识别的问题。
发明内容
本发明提供了一种目标属性结构化数据确定方法、装置、设备及介质，用以解决现有技术中图像进行目标属性结构化数据确定时，容易出现识别出错以及无法识别的问题。
第一方面，本发明实施例提供了一种目标属性结构化数据确定方法，所述方法包括：
通过训练完成的目标识别模型，获取视频数据中每帧图像中包含的目标物体的类型及目标物体所在的区域；
通过训练完成的图像增强模型，根据输入的目标物体所在区域的子图像，确定增强后的目标图像；
通过训练完成的目标属性分析模型，根据所述目标物体的类型，基于所述目标图像，确定所述类型的目标物体的目标属性结构化数据。
第二方面、本发明还提供了一种目标属性结构化数据确定装置，所述装置包括：
目标识别模型模块，用于通过训练完成的目标识别模型，获取视频数据中每帧图像中包含的目标物体的类型及目标物体所在的区域；
图像增强模型模块，用于通过训练完成的图像增强模型，根据输入的目标物体所在区域的子图像，确定增强后的目标图像；
目标属性分析模型模块，用于通过训练完成的目标属性分析模型，根据所述目标物体的类型，基于所述目标图像，确定所述类型的目标物体的目标属性结构化数据。
第三方面，本发明还提供了一种电子设备，所述电子设备至少包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序时实现如上述任一所述目标属性结构化数据确定方法的步骤。
第四方面，本发明还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上述中任一所述目标属性结构化数据确定方法的步骤。
由于本发明实施例中，通过目标识别模型，确定采集的图像中包含的目标物体的类型以及所在的区域，通过图像增强模型，获取目标物体所在区域的子图像增强后的目标图像，并基于增强后的目标图像进行目标属性结构化数据确定，因此可以有效地避免在目标属性结构化数据确定时出现的无法识别以及识别出错的问题，提高了目标属性结构化数据确定的准确性。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种目标属性结构化数据确定过程示意图；
图2为本发明实施例确定输入到目标属性分析模型中的图像过程的示意图；
图3A为本发明实施例提供的一种目标属性结构化数据确定的实施过程示意图；
图3B为本发明实施例提供的另一种目标属性结构化数据确定的实施过程示意图；
图4为本发明实施例提供的目标属性结构化数据确定的详细实施过程示意图；
图5为本发明实施例提供的一种目标属性结构化数据确定的结构示意图；
图6为本发明实施例提供的一种电子设备结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图本发明作进一步地详细描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了提高目标属性结构化数据确定的准确性，本发明实施例提供了一种目标属性结构化数据确定方法、装置、设备及介质。
实施例1：
图1为本发明实施例提供的一种目标属性结构化数据确定过程示意图，该过程包括以下步骤：
S101：通过训练完成的目标识别模型，获取视频数据中每帧图像中包含的目标物体的类型及目标物体所在的区域。
本发明实施例提供的物品检测应用于电子设备，该电子设备可以是图像采集设备，PC或者服务器等智能设备。
为了提高目标属性结构化数据确定的准确性，在本发明实施例中，针对视频数据中的每帧图像，将图像输入到训练完成的目标识别模型中，采用训练完成的目标识别模型对输入的图像中包含的目标物体进行检测。由于目标识别模型是预先训练完成的，能够识别图像中存在的目标物体的类型及所在的区域，因此将采集的图像输入到目标识别模型中，将获得该图像中包含的目标物体的类型及目标物体所在的区域。并且采集的图像中可以包含一个或多个目标物体，当然也可以不包含目标物体，在此不做限制。
在本发明实施例中目标物体包括行人、车辆、非机动车、人脸等。目标识别模型可以为基于轻量化的yolov4框架的模型，当然在选择目标识别模型时，也可以采用其他的框架，具体可以根据自身需求进行选取，在本发明实施例中对选择的目标识别模型不做限制。
S102：通过训练完成的图像增强模型，根据输入的目标物体所在区域的子图像，确定增强后的目标图像。
为了进一步提高目标属性确定的准确性，在本发明实施例中基于目标识别模型识别出的目标物体所在的区域，获取该区域的图像，将该区域的图像作为子图像，并且将该子图像输入到训练完成的图像增强模型中，采用该训练完成的图像增强模型对输入的子图像进行处理，得到输入的该子图像对应的增强后的目标图像。
并且由于采集的图像中可能会包含一个或多个目标物体，当然也可能不包含目标物体，针对每个目标物体对应的子图像都采用上述过程进行处理，将得到增强处理后的每个目标图像。
S103：通过训练完成的目标属性分析模型，根据所述目标物体的类型，基于所述目标图像，确定所述类型的目标物体的目标属性结构化数据。
基于训练完成的图像增强模型得到目标图像后，并且由于通过训练完成的目标识别模型，已经确定了目标物体的类型，因此为了分析目标物体的属性，在本发明实施例中预先训练有目标属性分析模型，该目标属性分析模型能够针对不同类型的目标物体，输出该目标物体的目标属性结构化数据。
具体的，将通过图像增强模型得到的目标图像进行处理，并将处理后的图像输入到目标属性分析模型中，获取到该处理后的图像中包含的目标物体的属性，并且由于在获取目标物体的属性时，包含该目标物体的图像中的目标物体都会进行确定，因此可以确定图像中包含的所有目标物体的目标属性结构化数据。并且为了保证输入的图像的在进行目标物体属性确定的准确性，针对输入的图像进行一定的处理，其中可以是对输入的图像进行平滑处理，也可以是去噪处理等。
针对不同类型的目标物体，获取的其目标属性结构化数据不同，若目标物体的类型为行人，则其目标属性结构化数据包括：性别、年龄、打伞、伞颜色、戴帽、帽子颜色、发型、眼镜、口罩、围巾、上装衣袖类型、上装类型、上装颜色、下装类型、下装颜色、抱(背)小孩、背包、拎东西、手推车、拉杆箱、运动方向；若目标物体的类型为车辆，则其结构化特征数据包括：车辆颜色、车辆类型、特殊车类型、行驶方向、有车牌、车牌颜色、车牌号、主驾打电话、主驾遮阳板、副驾有人、副驾打电话、副驾遮阳板；若目标物体的类型为非机动车，则其结构化特征数据包括：骑车类别、二轮车类型、车身颜色、有车牌、载客、载客数量、性别、年龄、遮阳伞、伞颜色、戴帽、帽颜色、发型、眼镜、口罩、上装类型、上装颜色、背包、行驶方向；若目标物体的类型为人脸，则其结构化特征数据包括：性别、年龄、胡子、帽子、戴眼镜、戴口罩。
并且基于视频得到每帧图像的结构化数据后，从而可以得到该视频的数据。
由于本发明实施例中，通过目标识别模型，确定采集的图像中包含的目标物体的类型以及所在的区域，通过图像增强模型，获取目标物体所在区域的子图像增强后的目标图像，并基于增强后的目标图像进行目标属性结构化数据确定，因此可以有效地避免在目标属性结构化数据确定时出现的无法识别以及识别出错的问题，提高了目标属性结构化数据确定的准确性。
实施例2：
为了准确地获取增强后的目标图像，在上述实施例的基础上，在本发明实施例中，所述图像增强模型通过以下方式训练：
获取样本集中任一一对样本图像，其中该对样本图像包括原始图像和增强后的测试图像；
将所述原始图像输入到待训练的图像增强模型中，获取经过所述待训练的图像增强模型输出的待校验图像；
根据所述测试图像以及所述待校验图像，对所述图像增强模型的参数进行调整。
为了能够基于输入的图像输出其增强后的图像，在本发明实施例中预先训练有图像增强模型，具体的该图像增强模型可以由该电子设备进行训练，也可以由其他的设备进行训练。
本发明实施例中保存有进行训练用的样本集，该样本集中样本图像是成对保存的，并且每一对样本图像都包含原始图像和增强后的测试图像。将原始图像输入到待训练的图像增强模型中，将会该得到待训练的图像增强模型输出的待校验图像，并根据该原始图像对应的增强后的测试图像以及该原始图像经过图像增强模型得到的待校验图像，对该待训练的图像增强模型中的参数进行调整，以实现对图像增强模型的训练。
对图像增强模型采用上述方式进行训练时，当满足预设的条件时，得到训练完成的图像增强模型，其中，该预设的条件可以是样本集中任意一对样本图像中的测试图像和原始图像经过图像增强模型后得到的待校验图像的对比度的偏差小于设定的值；也可以是对图像增强模型进行训练的迭代次数达到设置的最大迭代次数等。具体的，本发明实施例对此不做限制。
为了准确地获取增强后的目标图像，在上述各实施例的基础上，在本发明实施例中，所述将所述原始图像输入到待训练的图像增强模型中，获取经过所述待训练的图像增强模型输出的待校验图像包括：
将原始图像输入到待训练的图像增强模型的初始层，获取预先设置的小尺度、中尺度、大尺度的每个初始输出图像；
基于所述待训练的图像增强模型的参数，对所述小尺度、中尺度、大尺度的每个初始输出图像进行加权平均，确定所述待校验图像。
为了准确地得到增强后的目标图像，在本发明实施例中，在基于图像增强模型的初始层，获取预先设置的小尺度的初始输出图像、中尺度的初始输出图像和大尺度的初始输出图像。
具体的，在初始层获取初始输出图像时，首先获取原始图像每个像素点的RGB值，并基于获取的原始图像每个像素点的RGB值，确定不同色彩分布对应不同尺度的初始输出图像，在确定初始输出图像时，首先基于Retinex算法，将图像的每个色彩分布分别进行处理，得到每个色彩分布对应的不同尺度的初始输出，并且对每个色彩分布进行处理是针对图像中每个像素点，确定该像素点不同色彩分布对应的不同尺度的初始输出：
On(x,y) = logTn(x,y) - log[S(x,y) ※ Tn(x,y)]
其中Tn(x,y)为该原始图像第n个像素点该色彩分布值，※为卷积运算，On(x,y)为该色
彩分布时的初始输出，S(x,y)为归一化的中心环绕函数，x、y表示第n个像素点的位置，并且
S（x，y）=
其中，C为尺度值，λ为当ʃʃS(x,y)dxdy = 1时取得的值，并且不同色彩分布都会得到三个不同尺度对应的初始输出图像，将图像的每个色彩分布分别进行处理。通常情况下小尺度对应的取值为15、中尺度对应的取值为80，大尺度对应的取值为120。具体的小尺度、中尺度、大尺度的取值在此不做限制。
并且由于获得的小尺度的初始输出图像对于图像的色彩存在一定的不足，而获得的大尺度的初始输出图像对于图像的细节存在一定的不足，因此为了在动态范围压缩、边缘增强和颜色恒常三个方面达到平衡，使得图像的效果增强，本发明实施例中基于待训练的图像增强模型的参数，对小尺度、中尺度、大尺度的每个初始输出图像进行加权平均：
K (x,y) = ∑ωi[On(x,y)]
其中K (x,y)为当前像素点得到的增强后的像素点，并且ωi为第i个尺度对于的权重值，也就是待训练的图像增强模型的参数，On(x,y)为第i个尺度时获取的当前色彩分布的初始输出。i分别为小尺度，中尺度和大尺度。当获取每个像素点每个色彩分布增强后的色彩分布后，可以获取原始图像对应的待校验图像。例如获取红色分布的初始输出时，会获取到红色分布对应的大尺度、中尺度、小尺度的三个初始输出，并且会根据大尺度、中尺度、小尺度对应的权重与对应的初始输出的乘积得到红色分布的加权平均，并根据红绿蓝分布对应的加权平均后会得到原始图像对应的待校验图像。
实施例3：
为了进一步提高目标属性结构化数据确定的准确性，在上述各实施例的基础上，在本发明实施例中，所述确定增强后的目标图像之后，所述通过训练完成的目标属性分析模型，根据所述目标物体的类型，基于所述目标图像，确定所述类型的目标物体的目标属性结构化数据之前，所述方法还包括：
判断所述目标图像的大小是否满足预先设置的大小要求；
若是，则进行基于所述目标图像进行后续通过训练完成的目标属性分析模型，根据所述目标物体的类型，基于所述目标图像，确定所述类型的目标物体的目标属性结构化数据的步骤；
若否，则根据预先设置的大小要求对所述目标图像的大小进行调整，并进行基于调整后的目标图像进行后续通过训练完成的目标属性分析模型，根据所述目标物体的类型，基于所述目标图像，确定所述类型的目标物体的目标属性结构化数据的步骤。
由于在对目标图像进行分析时，是基于目标属性分析模型进行分析，然而通常输入到目标属性分析模型中的图像的大小有一定的要求，如果输入到目标分析模型中的图像不满足大小要求，目标属性分析模型将无法输出正确的结果。因此为了保证目标物体属性确定的准确性，在本发明实施例中预先设置有输入的图像的大小要求，并且为了提高目标属性结构化数据确定的准确性，首先判断目标图像的大小是否满足预先设置的大小要求，若满足的话，则说明当前目标图像可以直接将目标图像输入到训练完成的目标属性分析模型，并根据目标物体的类型，确定该类型的目标物体的目标属性结构化数据。若不满足要求，则对目标图像的尺寸进行调整，调整至预先设置的大小，并将调整后的图像输入到目标属性分析模型中，确定该类型的目标物体的目标属性结构化数据。并且通过同样的方法，可以得到该视频的数据。
为了进一步提高目标属性结构化数据确定的准确性，在上述各实施例的基础上，在本发明实施例中，所述根据预先设置的大小要求对所述目标图像的大小进行调整包括：
若所述目标图像的大小小于所述预先设置的大小要求，则根据所述大小要求对所述目标图像进行等比例扩大处理；
若等比例扩大后的目标图像的尺寸中存在长度或宽度不满足所述预先设置的大小要求，则对所述不满足预先设置的大小要求的长度或宽度进行补零处理。
在本发明实施例中为了保证调整后的图像满足要求，并且不改变目标图像中包含的物体的属性，首先将所述目标图像等比例扩大，并且为了保证扩大的图像不会超出预先设置的大小的要求，因此将其扩大到长度或者宽度其中之一等于预先设置的大小的长度或宽度，另一边小于等于预先设置的大小。
并且由于可能存在长度或宽度仍不满足预先设置的大小的要求，因此为了保证目标物体的属性确定的准确性，在本发明实施例中，对不满足要求的部分进行补零处理，其中补零处理为现有技术，在次不做赘述，并且补零处理可以针对不满足要求的其中一边进行补零处理，也可以是针对两边同时进行补零处理，具体的如何进行补零处理，在此不再赘述。
例如，获取的目标图像的尺寸为长度为3cm宽度为4cm，预先设置的大小为长度为6cm宽度为9cm，则对目标图像进行等比例扩大，得到长度为6cm宽度为8cm的扩大后的图像，然而扩大后的图像仍不满足要求，则对扩大后的图像不满足要求的宽度的部分进行补零处理，如何进行补零处理为现有技术，在此不再赘述，并且在进行补零处理时是针对哪个方向进行，或是哪个方向进行怎样比例的补零处理在此不做限制。
以图2为例进行介绍，图2为本发明实施例确定输入到目标属性分析模型中的图像过程的示意图。
首先图2中最左边（其中，左右指的是图中所示的左右）的第一张图为采集的图像；图2中第二张图为将图像输入到目标识别模型之后确定的其中一个目标物体所在区域的子图像；图2中第三张图为将该子图像输入到图像增强模型后获取的增强后的目标图像；图2中最后一张图为目标图像按照预先设置的大小进行尺寸调整后得到的图像。由2中可以清晰的看到经过模型处理后得到的图像中并不是很清晰的车辆，变得很清晰，可以准确地提高目标物体的属性确定的准确性。
为了提高基于获取的目标属性结构化数据进行分析的效率，在上述各实施例的基础上，在本发明实施例中，所述确定所述类型的目标物体的目标属性结构化数据之后，所述方法还包括：
将确定的所述目标属性结构化数据同步至云端服务器。
在本发明实施例中，为了方便后续进行分析，将确定的目标属性结构化数据保存至本地，并同步至云端服务器，由于本地的空间有限，因此在本地进行保存时，后续保存的目标属性结构化数据会针对之前保存的目标数据结构化数据进行一定的覆盖，也就是说本地只能保存一个固定的时间段内的目标属性结构化数据。
实施例4：
下面结合一个具体实施例，对本发明实施例提供的目标属性确定过程进行详细说明。
为了解决进行目标属性分析时存在的时延以及负载过大的问题，在本发明实施例中采用具有一定计算能力的图像采集设备进行图像的采集，其中可以采用视网膜相机进行图像的采集，具体采用什么图像采集设备在此不做限制。
图3A为本发明实施例提供的一种目标属性结构化数据确定的实施过程示意图，该过程包括：
S301：感知显示世界的反射光。
S302：以视频流的形式获取视频数据；
将现实世界的反射光转换为基于红绿蓝三原色的电信号，实时生成视频数据，并以视频流的形式将其同步至云端服务器。具体的在本发明实施例的电子设备中包含有图像采集模块，该图像采集模块可以进行视频数据的采集。由于本地可以保存的视频数据是有限的，因此在获取到新的视频数据之后，会对之前保存的视频数据进行覆盖，并且电子设备可以直接输出获取的视频数据。
S303：针对视频数据中采集的图像进行目标属性分析，以特征流的形式获取目标属性结构化数据。
针对生成的视频数据进行图像的采集，为了保证目标属性分析的实时性，避免在进行目标属性分析中出现时延和计算负载过大的问题，在本发明实施例中基于本地保存的视频数据进行图像的获取，并针对获取的图像中包含的目标物体进行目标属性结构化数据的确定，当获取到目标属性结构化数据之后，为了方便基于获取的目标属性结构化数据进行分析，获取的目标属性结构化数据一方面保存至本地，另一方面同步至云端服务器。并且电子设备可以直接输出获取的目标属性结构化数据。
S304：以结果流的形式获取与目标属性结构化数据相关的目标行为结果数据。
基于获取的目标属性结构化数据，可以具体根据实际情况获取与目标属性结构化数据相关的目标行为分析数据，并以结果流的形式保存获取的目标行为分析数据。其中目标行为分析数据可以为检测斑马线上有无行人等。并且电子设备可以直接输出获取的行为结果数据。
图3B为本发明实施例提供的另一种目标属性结构化数据确定的实施过程示意图，图3B中S303及S304为在电子设备内部所执行的操作，图3B中具体的过程与图3A相同，在此不再赘述。
图4为本发明实施例提供的目标属性结构化数据确定的详细实施过程示意图，该过程包括：
S401：目标属性结构化数据确定模块向训练完成的目标识别模型模块发送检测请求，目标识别模型模块获取采集的图像中包含的目标物体的类型及目标物体所在的区域；
S402：目标识别模型模块获取采集的图像中包含的目标物体的类型及目标物体所在的区域后，向目标属性结构化数据确定模块发送检测反馈的结果。
S403：目标属性结构化数据确定模块向图像增强模型模块基于包含目标物体的区域的子图像发送图像增强请求，进过图像增强模型获取增强后的目标图像，并对目标图像的尺寸进行调整。
S404：针对进行整后的目标图像向目标属性分析模型模块发送属性分析请求，目标属性分析模型模块进行目标属性分析，获取目标物体的目标属性结构化数据。
S405：向目标属性结构化数据确定模块反馈获取的目标属性结构化数据。
实施例5：
图5为本发明实施例提供的一种目标属性结构化数据确定的结构示意图，该装置包括：
目标识别模型模块501，用于通过训练完成的目标识别模型，获取视频数据中每帧图像中包含的目标物体的类型及目标物体所在的区域；
图像增强模型模块502，用于通过训练完成的图像增强模型，根据输入的目标物体所在区域的子图像，确定增强后的目标图像；
目标属性分析模型模块503，用于通过训练完成的目标属性分析模型，根据所述目标物体的类型，基于所述目标图像，确定所述类型的目标物体的目标属性结构化数据。
在一种可能的实施方式中，所述装置还包括：训练模块，用于获取样本集中任一一对样本图像，其中该对样本图像包括原始图像和增强后的测试图像；将所述原始图像输入到待训练的图像增强模型中，获取经过所述待训练的图像增强模型输出的待校验图像；根据所述测试图像以及所述待校验图像，对所述图像增强模型的参数进行调整。
在一种可能的实施方式中，所述训练模块，具体用于将原始图像输入到待训练的图像增强模型的初始层，获取预先设置的小、中、大尺度的每个初始输出图像；基于所述待训练的图像增强模型的参数，对所述小、中、大尺度的每个初始输出图像进行加权平均，确定所述待校验图像。
在一种可能的实施方式中，所述装置还包括：处理模块，用于判断所述目标图像的大小是否满足预先设置的大小要求；若是，则触发目标属性分析模型模块进行基于所述目标图像进行后续通过训练完成的目标属性分析模型，根据所述目标物体的类型，基于所述目标图像，确定所述类型的目标物体的目标属性结构化数据的步骤；若否，则根据预先设置的大小要求对所述目标图像的大小进行调整，并触发目标属性分析模型模块进行基于调整后的目标图像进行后续通过训练完成的目标属性分析模型，根据所述目标物体的类型，基于所述目标图像，确定所述类型的目标物体的目标属性结构化数据的步骤。
在一种可能的实施方式中，所述处理模块，具体用于若所述目标图像的大小小于所述预先设置的大小要求，则根据所述大小要求对所述目标图像进行等比例扩大处理；若等比例扩大后的目标图像的尺寸中存在长度或宽度不满足所述预先设置的大小要求，则对所述不满足预先设置的大小要求的长度或宽度进行补零处理。
在一种可能的实施方式中，所述处理模块，还用于将确定的所述目标属性结构化数据同步至云端服务器。
实施例6：
图6为本发明实施例提供的一种电子设备结构示意图，在上述各实施例的基础上，本发明实施例还提供了一种电子设备，如图6所示，包括：处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信；
所述存储器603中存储有计算机程序，当所述程序被所述处理器601执行时，使得所述处理器601执行如下步骤：
通过训练完成的目标识别模型，获取视频数据中每帧图像中包含的目标物体的类型及目标物体所在的区域；
通过训练完成的图像增强模型，根据输入的目标物体所在区域的子图像，确定增强后的目标图像；
通过训练完成的目标属性分析模型，根据所述目标物体的类型，基于所述目标图像，确定所述类型的目标物体的目标属性结构化数据。
在一种可能的实施方式中，所述图像增强模型通过以下方式训练：
获取样本集中任一一对样本图像，其中该对样本图像包括原始图像和增强后的测试图像；
将所述原始图像输入到待训练的图像增强模型中，获取经过所述待训练的图像增强模型输出的待校验图像；
根据所述测试图像以及所述待校验图像，对所述图像增强模型的参数进行调整。
在一种可能的实施方式中，所述将所述原始图像输入到待训练的图像增强模型中，获取经过所述待训练的图像增强模型输出的待校验图像包括：
将原始图像输入到待训练的图像增强模型的初始层，获取预先设置的小、中、大尺度的每个初始输出图像；
基于所述待训练的图像增强模型的参数，对所述小、中、大尺度的每个初始输出图像进行加权平均，确定所述待校验图像。
在一种可能的实施方式中，所述确定增强后的目标图像之后，所述通过训练完成的目标属性分析模型，根据所述目标物体的类型，基于所述目标图像，确定所述类型的目标物体的目标属性结构化数据之前，所述方法还包括：
判断所述目标图像的大小是否满足预先设置的大小要求；
若是，则进行基于所述目标图像进行后续通过训练完成的目标属性分析模型，根据所述目标物体的类型，基于所述目标图像，确定所述类型的目标物体的目标属性结构化数据的步骤；
若否，则根据预先设置的大小要求对所述目标图像的大小进行调整，并进行基于调整后的目标图像进行后续通过训练完成的目标属性分析模型，根据所述目标物体的类型，基于所述目标图像，确定所述类型的目标物体的目标属性结构化数据的步骤。
在一种可能的实施方式中，所述根据预先设置的大小要求对所述目标图像的大小进行调整包括：
若所述目标图像的大小小于所述预先设置的大小要求，则根据所述大小要求对所述目标图像进行等比例扩大处理；
若等比例扩大后的目标图像的尺寸中存在长度或宽度不满足所述预先设置的大小要求，则对所述不满足预先设置的大小要求的长度或宽度进行补零处理。
在一种可能的实施方式中，所述确定所述类型的目标物体的目标属性结构化数据之后，所述方法还包括：
将确定的所述目标属性结构化数据同步至云端服务器。
由于上述电子设备解决问题的原理与通信方法相似，因此上述电子设备的实施可以参见方法的实施，重复之处不再赘述。
上述电子设备提到的通信总线可以是外设部件互连标准（Peripheral ComponentInterconnect，PCI）总线或扩展工业标准结构（Extended Industry StandardArchitecture，EISA）总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口602用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器（Random Access Memory，RAM），也可以包括非易失性存储器（Non-Volatile Memory，NVM），例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括中央处理器、网络处理器（NetworkProcessor，NP）等；还可以是数字指令处理器（Digital Signal Processing，DSP）、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
实施例7：
在上述各实施例的基础上，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有可由处理器执行的计算机程序，当所述程序在所述处理器上运行时，使得所述处理器执行时实现如下步骤：
通过训练完成的目标识别模型，获取视频数据中每帧图像中包含的目标物体的类型及目标物体所在的区域；
通过训练完成的图像增强模型，根据输入的目标物体所在区域的子图像，确定增强后的目标图像；
通过训练完成的目标属性分析模型，根据所述目标物体的类型，基于所述目标图像，确定所述类型的目标物体的目标属性结构化数据。
在一种可能的实施方式中，所述图像增强模型通过以下方式训练：
获取样本集中任一一对样本图像，其中该对样本图像包括原始图像和增强后的测试图像；
将所述原始图像输入到待训练的图像增强模型中，获取经过所述待训练的图像增强模型输出的待校验图像；
根据所述测试图像以及所述待校验图像，对所述图像增强模型的参数进行调整。
在一种可能的实施方式中，所述将所述原始图像输入到待训练的图像增强模型中，获取经过所述待训练的图像增强模型输出的待校验图像包括：
将原始图像输入到待训练的图像增强模型的初始层，获取预先设置的小、中、大尺度的每个初始输出图像；
基于所述待训练的图像增强模型的参数，对所述小、中、大尺度的每个初始输出图像进行加权平均，确定所述待校验图像。
在一种可能的实施方式中，所述确定增强后的目标图像之后，所述通过训练完成的目标属性分析模型，根据所述目标物体的类型，基于所述目标图像，确定所述类型的目标物体的目标属性结构化数据之前，所述方法还包括：
判断所述目标图像的大小是否满足预先设置的大小要求；
若是，则进行基于所述目标图像进行后续通过训练完成的目标属性分析模型，根据所述目标物体的类型，基于所述目标图像，确定所述类型的目标物体的目标属性结构化数据的步骤；
若否，则根据预先设置的大小要求对所述目标图像的大小进行调整，并进行基于调整后的目标图像进行后续通过训练完成的目标属性分析模型，根据所述目标物体的类型，基于所述目标图像，确定所述类型的目标物体的目标属性结构化数据的步骤。
在一种可能的实施方式中，所述根据预先设置的大小要求对所述目标图像的大小进行调整包括：
若所述目标图像的大小小于所述预先设置的大小要求，则根据所述大小要求对所述目标图像进行等比例扩大处理；
若等比例扩大后的目标图像的尺寸中存在长度或宽度不满足所述预先设置的大小要求，则对所述不满足预先设置的大小要求的长度或宽度进行补零处理。
在一种可能的实施方式中，所述确定所述类型的目标物体的目标属性结构化数据之后，所述方法还包括：
将确定的所述目标属性结构化数据同步至云端服务器。
由于上述提供的计算机可读取介质解决问题的原理与通信方法相似，因此处理器执行上述计算机可读取介质中的计算机程序后，实现的步骤可以参见上述其他实施例，重复之处不再赘述。
本发明是参照根据本发明的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种目标属性结构化数据确定方法，其特征在于，所述方法包括：
通过训练完成的目标识别模型，获取视频数据中每帧图像中包含的目标物体的类型及目标物体所在的区域；
通过训练完成的图像增强模型，根据输入的目标物体所在区域的子图像，确定增强后的目标图像；
通过训练完成的目标属性分析模型，根据所述目标物体的类型，基于所述目标图像，确定所述类型的目标物体的目标属性结构化数据。
2.根据权利要求1所述的方法，其特征在于，所述图像增强模型通过以下方式训练：
获取样本集中任一一对样本图像，其中该对样本图像包括原始图像和增强后的测试图像；
将所述原始图像输入到待训练的图像增强模型中，获取经过所述待训练的图像增强模型输出的待校验图像；
根据所述测试图像以及所述待校验图像，对所述图像增强模型的参数进行调整。
3.根据权利要求2所述的方法，其特征在于，所述将所述原始图像输入到待训练的图像增强模型中，获取经过所述待训练的图像增强模型输出的待校验图像包括：
将原始图像输入到待训练的图像增强模型的初始层，获取预先设置的小、中、大尺度的每个初始输出图像；
基于所述待训练的图像增强模型的参数，对所述小、中、大尺度的每个初始输出图像进行加权平均，确定所述待校验图像。
4.根据权利要求1所述的方法，其特征在于，所述确定增强后的目标图像之后，所述通过训练完成的目标属性分析模型，根据所述目标物体的类型，基于所述目标图像，确定所述类型的目标物体的目标属性结构化数据之前，所述方法还包括：
判断所述目标图像的大小是否满足预先设置的大小要求；
若是，则进行基于所述目标图像进行后续通过训练完成的目标属性分析模型，根据所述目标物体的类型，基于所述目标图像，确定所述类型的目标物体的目标属性结构化数据的步骤；
若否，则根据预先设置的大小要求对所述目标图像的大小进行调整，并进行基于调整后的目标图像进行后续通过训练完成的目标属性分析模型，根据所述目标物体的类型，基于所述目标图像，确定所述类型的目标物体的目标属性结构化数据的步骤。
5.根据权利要求4所述的方法，其特征在于，所述根据预先设置的大小要求对所述目标图像的大小进行调整包括：
若所述目标图像的大小小于所述预先设置的大小要求，则根据所述大小要求对所述目标图像进行等比例扩大处理；
若等比例扩大后的目标图像的尺寸中存在长度或宽度不满足所述预先设置的大小要求，则对所述不满足预先设置的大小要求的长度或宽度进行补零处理。
6.根据权利要求1所述的方法，其特征在于，所述确定所述类型的目标物体的目标属性结构化数据之后，所述方法还包括：
将确定的所述目标属性结构化数据同步至云端服务器。
7.一种目标属性结构化数据确定装置，其特征在于，所述装置包括：
目标识别模型模块，用于通过训练完成的目标识别模型，获取视频数据中每帧图像中包含的目标物体的类型及目标物体所在的区域；
图像增强模型模块，用于通过训练完成的图像增强模型，根据输入的目标物体所在区域的子图像，确定增强后的目标图像；
目标属性分析模型模块，用于通过训练完成的目标属性分析模型，根据所述目标物体的类型，基于所述目标图像，确定所述类型的目标物体的目标属性结构化数据。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
训练模块，用于获取样本集中任一一对样本图像，其中该对样本图像包括原始图像和增强后的测试图像；将所述原始图像输入到待训练的图像增强模型中，获取经过所述待训练的图像增强模型输出的待校验图像；根据所述测试图像以及所述待校验图像，对所述图像增强模型的参数进行调整。
9.一种电子设备，其特征在于，所述电子设备至少包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序时执行权利要求1-6中任一所述目标属性结构化数据确定方法的步骤。
10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时执行权利要求1-6中任一所述目标属性结构化数据确定方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011207611.5A CN112037155B (zh) | 2020-11-03 | 2020-11-03 | 一种目标属性结构化数据确定方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011207611.5A CN112037155B (zh) | 2020-11-03 | 2020-11-03 | 一种目标属性结构化数据确定方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112037155A true CN112037155A (zh) | 2020-12-04 |
| CN112037155B CN112037155B (zh) | 2021-03-19 |
Family
ID=73572740
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011207611.5A Active CN112037155B (zh) | 2020-11-03 | 2020-11-03 | 一种目标属性结构化数据确定方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112037155B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010256536A (ja) * | 2009-04-23 | 2010-11-11 | Sharp Corp | 画像処理装置及び画像表示装置 |
| CN110020647A (zh) * | 2018-01-09 | 2019-07-16 | 杭州海康威视数字技术股份有限公司 | 一种违禁品目标检测方法、装置及计算机设备 |
| CN110610498A (zh) * | 2019-08-13 | 2019-12-24 | 上海联影智能医疗科技有限公司 | 乳腺钼靶图像处理方法、系统、存储介质及设备 |
| CN111553354A (zh) * | 2020-05-14 | 2020-08-18 | 詹俊鲲 | 医用垃圾处理方法、装置及存储介质 |
| CN111783870A (zh) * | 2020-06-29 | 2020-10-16 | 北京百度网讯科技有限公司 | 人体属性的识别方法、装置、设备及存储介质 |
-
2020
- 2020-11-03 CN CN202011207611.5A patent/CN112037155B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010256536A (ja) * | 2009-04-23 | 2010-11-11 | Sharp Corp | 画像処理装置及び画像表示装置 |
| CN110020647A (zh) * | 2018-01-09 | 2019-07-16 | 杭州海康威视数字技术股份有限公司 | 一种违禁品目标检测方法、装置及计算机设备 |
| CN110610498A (zh) * | 2019-08-13 | 2019-12-24 | 上海联影智能医疗科技有限公司 | 乳腺钼靶图像处理方法、系统、存储介质及设备 |
| CN111553354A (zh) * | 2020-05-14 | 2020-08-18 | 詹俊鲲 | 医用垃圾处理方法、装置及存储介质 |
| CN111783870A (zh) * | 2020-06-29 | 2020-10-16 | 北京百度网讯科技有限公司 | 人体属性的识别方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 徐岩等: "基于多特征融合的卷积神经网络图像去雾算法", 《激光与光电子学进展》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112037155B (zh) | 2021-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3843035B1 (en) | Image processing method and apparatus for target recognition | |
| JP7375006B2 (ja) | 画像セマンティックセグメンテーションネットワークのトレーニング方法、装置、機器及びコンピュータプログラム | |
| CN107169421B (zh) | 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法 | |
| CN107529650B (zh) | 闭环检测方法、装置及计算机设备 | |
| WO2021098796A1 (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
| WO2021016873A1 (zh) | 基于级联神经网络的注意力检测方法、计算机装置及计算机可读存储介质 | |
| CN107886074A (zh) | 一种人脸检测方法以及人脸检测系统 | |
| CN112465709B (zh) | 一种图像增强方法、装置、存储介质及设备 | |
| CN112101185B (zh) | 一种训练皱纹检测模型的方法、电子设备及存储介质 | |
| CN107851195A (zh) | 利用神经网络进行目标检测 | |
| CN111127358B (zh) | 图像处理方法、装置及存储介质 | |
| WO2021013049A1 (zh) | 前景图像获取方法、前景图像获取装置和电子设备 | |
| CN108463823A (zh) | 一种用户头发模型的重建方法、装置及终端 | |
| CN103747240A (zh) | 融合颜色和运动信息的视觉显著性滤波方法 | |
| CN110895802A (zh) | 一种图像处理方法及装置 | |
| WO2022194079A1 (zh) | 天空区域分割方法、装置、计算机设备和存储介质 | |
| CN111967406A (zh) | 人体关键点检测模型生成方法、系统、设备和存储介质 | |
| CN115731530A (zh) | 一种模型训练方法及其装置 | |
| CN110443132A (zh) | 一种基于深度学习的人脸检测及面部多属性融合分析方法 | |
| CN114419058B (zh) | 一种用于交通道路场景的图像语义分割模型训练方法 | |
| CN115223123A (zh) | 基于计算机视觉识别的路面目标检测方法 | |
| CN114842035A (zh) | 基于深度学习的车牌脱敏方法、装置、设备及存储介质 | |
| CN119152185A (zh) | 一种目标检测方法、装置、车辆及存储介质 | |
| CN109934077A (zh) | 一种图像识别方法和电子设备 | |
| CN112232292A (zh) | 应用于移动端的人脸检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20260123 Address after: 201900 Room 2054, Building 9, No. 123 Hulan West Road, Baoshan District, Shanghai City Patentee after: Shanghai Response Data Service Co.,Ltd. Country or region after: China Address before: 410017, Yuelu District, Changsha City, Hunan Province, No. 368, Section 1, Xiaoxiang South Road, Yanghu Street, Zhongying Plaza, 5th Floor, Room 502 Patentee before: Changsha Hisense Intelligent System Research Institute Co.,Ltd. Country or region before: China |