CN108874148A - 一种图像处理方法及装置 - Google Patents
一种图像处理方法及装置 Download PDFInfo
- Publication number
- CN108874148A CN108874148A CN201810778492.5A CN201810778492A CN108874148A CN 108874148 A CN108874148 A CN 108874148A CN 201810778492 A CN201810778492 A CN 201810778492A CN 108874148 A CN108874148 A CN 108874148A
- Authority
- CN
- China
- Prior art keywords
- attentively
- track
- watches
- image
- watched
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种图像处理方法及装置,包括:获取待处理图像以及用户的第一注视轨迹;其中,所述第一注视轨迹是因所述用户的注视点沿所述待处理图像中的目标对象的轮廓移动所得到的注视轨迹;根据所述第一注视轨迹确定所述目标对象的轮廓。由此可见,本申请实施例中,确定目标对象的轮廓,采用用户间接参与的方式,由于在面对所述待处理图像时,用户可以直观的确定出其中的目标对象,并控制注视点沿所述待处理图像中的目标对象的轮廓移动。故而,根据所述第一注视轨迹能够准确的确定目标对象的轮廓。
Description
技术领域
本申请涉及图像处理领域,特别是涉及一种图像处理方法及装置。
背景技术
目前的图像处理技术,计算机可以自动确定待处理图像中目标对象的轮廓。具体地,可以提取待处理图像的图像特征,从而根据提取的图像特征确定待处理图像中目标对象的轮廓。
但是,由于计算机的计算性能,和计算机提取的图像特征的数量等限制因素,从而导致计算机确定的目标对象的轮廓可能并不准确。
发明内容
本申请所要解决的技术问题是确定待处理图像中目标对象的轮廓时,确定的目标对象的轮廓可能并不准确的问题,提供一种图像处理方法及装置。
第一方面,本申请实施例提供一种图像处理方法,包括:
获取待处理图像以及用户的第一注视轨迹;其中,所述第一注视轨迹是因所述用户的注视点沿所述待处理图像中的目标对象的轮廓移动所得到的注视轨迹;
根据所述第一注视轨迹确定所述目标对象的轮廓。
可选的,所述方法还包括:
响应于用户触发的注视轨迹修改指令,修改所述第一注视轨迹,得到修改后的第一注视轨迹;
相应的,所述根据所述第一注视轨迹确定所述待处理图像中目标对象的轮廓,包括:
根据所述修改后的第一注视轨迹确定所述待处理图像中目标对象的轮廓。
可选的,所述注视轨迹修改指令通过如下方式生成:
若所述用户的注视点位于所述待处理图像中的预设区域,生成所述注视轨迹修改指令;所述预设区域对应修改所述第一注视轨迹的功能。
可选的,所述方法还包括:
显示用于提示所述用户控制所述用户的注视点沿所述目标对象的轮廓移动的提示信息。
可选的,所述方法还包括:
根据所述目标对象的轮廓,从所述待处理图像中确定目标图像;对所述目标图像进行分析,得到所述目标图像的分析信息。
可选的,所述对所述目标图像进行分析,得到所述目标区域图像的分析信息,包括:
对所述目标图像进行搜索,得到与所述目标图像中的所述目标对象具有相关性的信息;
和/或,
对所述目标图像进行图像识别,得到所述目标图像中的所述目标对象的类别。
可选的,所述方法还包括:
若所述分析信息满足预设条件,修改所述第一注视轨迹;其中,所述分析信息满足预设条件,表示所述分析信息的数据量小于或者等于预设数量阈值;
根据修改第一注视轨迹得到的注视轨迹确定所述目标对象的轮廓。
可选的,所述修改所述第一注视轨迹,包括:
获取所述用户的第二注视轨迹,对所述第一注视轨迹和所述第二注视轨迹进行融合处理,得到第三注视轨迹;和/或,
获取所述用户的第四注视轨迹,增加所述第四注视轨迹;和/或,
删除所述第一注视轨迹的全部或部分注视轨迹。
可选的,所述第二注视轨迹和所述第一注视轨迹完全不重合,所述对所述第一注视轨迹和所述第二注视轨迹进行融合处理,得到第三注视轨迹,包括:
响应于用户触发的注视轨迹融合指令,利用所述第一注视轨迹和所述第二注视轨迹生成所述第三注视轨迹。
可选的,所述第四注视轨迹与所述第一注视轨迹不完全重合或完全不重合。
可选的,所述删除所述第一注视轨迹的全部或部分注视轨迹,包括:
获取所述用户的第五注视轨迹,并确定所述第五注视轨迹与所述第一注视轨迹的重叠注视轨迹;
从所述第一注视轨迹中删除所述重叠注视轨迹。
第二方面,本申请实施例提供一种图像处理装置,包括:
获取单元,用于获取待处理图像以及用户的第一注视轨迹;其中,所述第一注视轨迹是因所述用户的注视点沿所述待处理图像中的目标对象的轮廓移动所得到的注视轨迹;
第一确定单元,用于根据所述第一注视轨迹确定所述目标对象的轮廓。
可选的,所述装置还包括:
第一修改单元,用于响应于用户触发的注视轨迹修改指令,修改所述第一注视轨迹,得到修改后的第一注视轨迹;
相应的,所述第一确定单元,具体用于:
根据所述修改后的第一注视轨迹确定所述待处理图像中目标对象的轮廓。
可选的,所述注视轨迹修改指令通过如下方式生成:
若所述用户的注视点位于所述待处理图像中的预设区域,生成所述注视轨迹修改指令;所述预设区域对应修改所述第一注视轨迹的功能。
可选的,所述装置还包括:
显示单元,用于显示用于提示所述用户控制所述用户的注视点沿所述目标对象的轮廓移动的提示信息。
可选的,所述装置还包括:
第二确定单元,用于根据所述目标对象的轮廓,从所述待处理图像中确定目标图像;
分析单元,用于对所述目标图像进行分析,得到所述目标图像的分析信息。
可选的,所述分析单元,具体用于:
对所述目标图像进行搜索,得到与所述目标图像中的所述目标对象具有相关性的信息;
和/或,
对所述目标图像进行图像识别,得到所述目标图像中的所述目标对象的类别。
可选的,所述装置还包括:
第二修改单元,用于若所述分析信息满足预设条件,修改所述第一注视轨迹;其中,所述分析信息满足预设条件,表示所述分析信息的数据量小于或者预设数量阈值;
第三确定单元,用于根据修改第一注视轨迹得到的注视轨迹确定所述目标对象的轮廓。
可选的,所述修改所述第一注视轨迹,包括:
获取所述用户的第二注视轨迹,对所述第一注视轨迹和所述第二注视轨迹进行融合处理,得到第三注视轨迹;和/或,
获取所述用户的第四注视轨迹,增加所述第四注视轨迹;和/或,
删除所述第一注视轨迹的全部或部分注视轨迹。
可选的,所述第二注视轨迹和所述第一注视轨迹完全不重合,所述对所述第一注视轨迹和所述第二注视轨迹进行融合处理,得到第三注视轨迹,包括:
响应于用户触发的注视轨迹融合指令,利用所述第一注视轨迹和所述第二注视轨迹生成所述第三注视轨迹。
可选的,所述第四注视轨迹与所述第一注视轨迹不完全重合或完全不重合。
可选的,所述删除所述第一注视轨迹的全部或部分注视轨迹,包括:
获取所述用户的第五注视轨迹,并确定所述第五注视轨迹与所述第一注视轨迹的重叠注视轨迹;
从所述第一注视轨迹中删除所述重叠注视轨迹。
与现有技术相比,本申请实施例具有以下优点:
本申请实施例提供一种图像处理方法及装置,包括:获取待处理图像以及用户的第一注视轨迹;其中,所述第一注视轨迹是因所述用户的注视点沿所述待处理图像中的目标对象的轮廓移动所得到的注视轨迹;根据所述第一注视轨迹确定所述目标对象的轮廓。由此可见,本申请实施例中,确定目标对象的轮廓,采用用户间接参与的方式,由于在面对所述待处理图像时,用户可以直观的确定出其中的目标对象,并控制注视点沿所述待处理图像中的目标对象的轮廓移动。故而,根据所述第一注视轨迹能够准确的确定目标对象的轮廓。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种图像处理方法的流程示意图;
图2为本申请实施例提供的一种得到与目标对象的相关信息的方法的流程示意图;
图3为本申请实施例提供的一种图像处理方法的流程示意图;
图4为本申请实施例提供的一种图像处理装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
一方面,本申请的发明人经过研究发现,现有技术中,目前的图像处理技术,计算机可以自动确定待处理图像中目标对象的轮廓。具体地,可以提取待处理图像的图像特征,从而根据提取的图像特征确定待处理图像中目标对象的轮廓。但是,由于计算机的计算性能,和计算机提取的图像特征的数量等限制因素,从而导致计算机确定的目标对象的轮廓可能并不准确。
另一方面,本申请的发明人经过研究发现,为了提高确定图像中目标对象轮廓的准确性,可以采用用户间接参与的方式,由于用户可以直观的看到待处理图像中的目标对象,因此,采用用户间接参与的方式,可以提高确定目标对象的轮廓的准确性。
鉴于此,本申请实施例提供了一种图像处理方法及装置,包括:获取待处理图像以及用户的第一注视轨迹;其中,所述第一注视轨迹是因所述用户的注视点沿所述待处理图像中的目标对象的轮廓移动所得到的注视轨迹;根据所述第一注视轨迹确定所述目标对象的轮廓。由此可见,本申请实施例中,确定目标对象的轮廓,采用用户间接参与的方式,由于在面对所述待处理图像时,用户可以直观的确定出其中的目标对象,并控制注视点沿所述待处理图像中的目标对象的轮廓移动。故而,根据所述第一注视轨迹能够准确的确定目标对象的轮廓。
下面结合附图,详细说明本申请的各种非限制性实施方式。
示例性方法
参见图1,该图为本申请实施例提供的一种图像处理方法的流程示意图。
在本申请实施例中,所述方法例如可以通过如下步骤S101-S102实现。
S101:获取待处理图像以及用户的第一注视轨迹;其中,所述第一注视轨迹是因所述用户的注视点沿所述待处理图像中的目标对象的轮廓移动所得到的注视轨迹。
需要说明的是,本申请实施例提供的技术方案,可以应用在虚拟现实技术以及增强现实技术中。
需要说明的是,本申请实施例不具体限定所述待处理图像,所述待处理图像可以为利用虚拟现实技术生成的各种图像,也可以为利用增强现实技术生成的各种图像。
需要说明的是,本申请实施例中提及的目标对象,是指所述待处理图像中包含的对象。
需要说明的是,在本申请实施例中,可以通过用户的分析眼球运动获得用户的第一注视轨迹。所述第一注视轨迹可以是在所述待处理图像上的注视轨迹。
S102:根据所述第一注视轨迹确定所述目标对象的轮廓。
可以理解的是,由于所述第一注视轨迹是因所述用户的注视点沿所述待处理图像中的目标对象的轮廓移动所得到的注视轨迹。因此,所述第一注视轨迹在一定程度上可以表征所述目标对象的轮廓。故而,可以根据所述第一注视轨迹确定所述目标对象的轮廓。
需要说明的是,步骤S102在具体实现时,可以包括多种实现方式。
在一种可能的实现方式中,可以直接将所述第一注视轨迹作为所述目标对象的轮廓。
在又一种可能的实现方式中,还可以提取所述待处理图像的图像特征,结合所述图像特征以及所述第一注视轨迹确定所述目标对象的轮廓。
由此可见,采用本申请实施例提供的图像处理方法,确定目标对象的轮廓,采用用户间接参与的方式,由于在面对所述待处理图像时,用户可以直观的确定出其中的目标对象,并控制注视点沿所述待处理图像中的目标对象的轮廓移动。故而,根据所述第一注视轨迹能够准确的确定目标对象的轮廓。
需要说明的是,考虑到用户控制注视点沿着所述待处理图像中的目标对象的轮廓移动的过程中,可能会出现一些异常情况。从而导致所述第一注视轨迹不足以用于表征所述目标对象的轮廓,从而使得基于所述第一注视轨迹确定的目标对象的轮廓不够准确。故而,在本申请实施例中,还可以修改所述第一注视轨迹,得到修改后的第一注视轨迹。并基于修改后的第一注视轨迹确定所述目标对象的轮廓。
具体地,可以响应于用户触发的注视轨迹修改指令,修改所述第一注视轨迹,得到修改后的第一注视轨迹。
需要说明的是,所述注视轨迹修改指令,用于触发修改所述第一注视轨迹。
本申请实施例不具体限定所述注视轨迹修改指令的生成方式。在申请实施例的一种可能的实现方式中,所述注视轨迹修改指令可以通过如下方式生成:
若所述用户的注视点位于所述待处理图像中的预设区域,生成所述注视轨迹修改指令;其中,所述预设区域对应修改所述第一注视轨迹的功能。
需要说明的是,本申请实施例对所述预设区域的具体位置不做具体限定,所述预设区域在所述待处理图像中的位置可以根据实际情况具体确定。
需要说明的是,在本申请实施例中,所述预设区域可以对应有相应的文字,例如“修改”,以提示用户所述预设区域对应修改所述第一注视轨迹的功能。
在本申请实施例的另一种实现方式中,所述注视轨迹修改指令可以基于用户的其它操作生成。例如,若所述用户按下了相应的按钮,例如“修改”按钮,则生成所述注视轨迹修改指令。
需要说明的是,在本申请实施例中,修改所述第一注视轨迹,可以包含以下三种情况中的任意一种或多种。
第一种情况:获取所述用户的第二注视轨迹,对所述第一注视轨迹和所述第二注视轨迹进行融合处理,得到第三注视轨迹。
需要说明的是,所述第二注视轨迹,是指,用户触发所述注视轨迹修改指令之后,因所述用户的注视点移动所形成的注视轨迹。
考虑到实际应用中,所述第一注视轨迹和所述第二注视轨迹可能完全不重合,而所述第一注视轨迹对应的目标对象的部分轮廓和所述第二注视轨迹对应的目标对象的部分轮廓实际上是连接在一起的。故而,第一注视轨迹和第二注视轨迹并不能很好的表征所述目标对象的轮廓。
因此,在本申请实施例中,可以对所述第一注视轨迹和所述第二注视轨迹进行融合处理,得到第三注视轨迹。从而使得所述第三注视轨迹能够更好的表征所述目标对象的轮廓。
对所述第一注视轨迹和所述第二注视轨迹进行融合处理,得到第三注视轨迹,在具体实现时,可以响应于用户触发的注视轨迹融合指令,利用所述第一注视轨迹和所述第二注视轨迹生成所述第三注视轨迹。
需要说明的是,本申请实施例不具体限定生成所述注视轨迹融合指令的具体实现方式。生成所述注视轨迹融合指令的实现,与生成所述注视轨迹修改指令方式类似。具体地,在一种可能的实现方式中,若所述用户的注视点位于对应融合注视轨迹功能的区域,则生成所述注视轨迹融合指令。在另一种可能的实现方式中,所述注视轨迹融合指令可以基于用户的其它操作生成。例如,若所述用户按下了相应的按钮,例如“融合”按钮,则生成所述注视轨迹融合指令。
第二种情况:获取所述用户的第四注视轨迹,增加所述第四注视轨迹。
需要说明的是,与所述第三注视轨迹类似,所述第四注视轨迹,是指,用户触发所述注视轨迹修改指令之后,因所述用户的注视点移动所形成的注视轨迹。
可以理解的是,在实际应用中,所述第一注视轨迹可能只能表征所述目标对象的部分轮廓,因此,在本申请实施例中,可以对第一注视轨迹执行增加操作,增加可以用于表征所述目标对象的其它部分轮廓的第四注视轨迹。
需要说明的是,在本申请实施例的一种可能的实现方式中,所述第四注视轨迹与所述第一注视轨迹不完全重合,或者,所述第四注视轨迹与所述第一注视轨迹完全不重合。
第三种情况:删除所述第一注视轨迹中的全部或部分注视轨迹。
可以理解的是,在实际应用中,所述第一注视轨迹中可能存在部分或全部轨迹,可能是由位于所述目标对象的轮廓之外的区域的注视点形成的轨迹。也就是说,所述第一注视轨迹中可能存在部分或全部轨迹,该部分或全部轨迹不能表征所述目标对象的轮廓。因此,在本申请实施例中,可以对所述第一注视点估计执行删除操作,删除所述第一注视轨迹中不能用于表征所述目标对象的轮廓的注视轨迹。
具体地,所述删除所述第一注视轨迹的全部或部分注视轨迹,可以通过如下步骤A-B实现。
步骤A:获取所述用户的第五注视轨迹,并确定所述第五注视轨迹与所述第一注视轨迹的重叠注视轨迹。
步骤B:从所述第一注视轨迹中删除所述重叠注视轨迹。
需要说明的是,所述第五注视轨迹,是指,用户触发所述注视轨迹修改指令之后,因所述用户的注视点移动所形成的注视轨迹。
关于步骤A和步骤B,需要说明的是,用户可以控制自己的注视点沿着用户确定想要被删除的部分或全部注视轨迹移动,从而生成第五注视轨迹。这样一来,获取第五注视轨迹之后,用户希望被删除的部分或者全部注视轨迹既出现在所述第五注视轨迹中,又出现在所述第一注视轨迹中,从而可以从所述第一注视轨迹中删除所述第五注视轨迹与所述第一注视轨迹的重叠注视轨迹。
需要说明的是,考虑到在实际应用中,用户可能并不知道如何间接参与确定目标对象的轮廓,因此,在本申请实施例的一种可能的实现方式中,还可以提示用户如何间接参与确定目标对象的轮廓。
具体地,可以显示用于提示所述用户控制所述用户的注视点沿着所述目标对象的轮廓移动的提示信息。
需要说明的是,本申请实施例不具体限定用于提示所述用户控制所述用户的注视点沿着所述目标对象的轮廓移动的提示信息的具体内容。作为一种示例,所述用于提示所述用户控制所述用户的注视点沿着所述目标对象的轮廓移动的提示信息可以包括文字信息,和/或,音频信息,和/或,视频信息。用户可以根据所述提示信息,确定间接参与确定所述目标对象轮廓的方式为:控制用户的注视点沿着所述目标对象的轮廓移动。
相应的,用户触发注视轨迹修改指令之后,也可以显示用于提示所述用户如何修改所述第一注视轨迹的提示信息。
一方面,本申请实施例不具体限定用于提示所述用户如何修改所述第一注视轨迹的提示信息的具体内容,作为一种示例,所述用于提示所述用户如何修改所述第一注视轨迹的提示信息,可以包括以下任意一种或者多种信息:
如何对所述第一注视轨迹执行增加操作的规则、如何对所述第一注视轨迹执行删除操作的规则、如何对所述第一注视轨迹和所述第二注视轨迹执行融合操作的规则等。
另一方面,与所述用于提示所述用户控制所述用户的注视点沿着所述目标对象的轮廓移动的提示信息类似,所述用于提示所述用户如何修改所述第一注视轨迹的提示信息,可以包括文字信息,和/或,音频信息,和/或,视频信息。
可以理解的是,在实际应用中,用户可能希望得知与所述目标对象相关的更多信息。例如,所述目标对象的类别,以及其它信息等。
因此,在本申请实施例中,确定所述目标对象的轮廓之后,还可以进一步得到与所述目标对象相关的其它信息。
具体地,参见图2,该图为本申请实施例提供的一种得到与所述目标对象的相关信息的方法的流程示意图。
该方法例如可以通过如下步骤S201-S202实现。
S201:根据所述目标对象的轮廓,从所述待处理图像中确定目标图像。
需要说明的是,本申请实施例不具体限定根据所述目标对象的轮廓,从所述待处理图像中确定目标图像的具体实现方式。作为一种示例,所述目标图像可以为所述目标对象轮廓内的图像。作为又一种示例,所述目标图像可以为包括所述目标轮廓内的图像以及所述目标对象的轮廓的图像。
S202:对所述目标图像进行分析,得到所述目标对象区域图像的分析信息。
需要说明的是,本申请实施例不具体限定所述分析信息,作为一种示例,所述分析信息可以包括所述目标对象的类别,和/或,与所述目标对象具有相关性的信息。
步骤S202在具体实现时,可以通过以下两种方式中的任意一种或两种实现。
第一种方式:对所述目标图像进行搜索,得到与所述目标图像中的所述目标对象具有相关性的信息。
需要说明的是,在对所述目标图像进行搜索时,可以调用相应的搜索引擎,利用该搜索引擎对所述目标图像进行搜索。从而得到与所述目标对象具有相关性的信息。
需要说明的是,本申请实施例不具体限定与所述目标对象具有相关性的信息所包含的具体信息。作为一种示例,目标对象为一只小狗,则所述与所述目标对象具有相关性的信息,例如可以包括:该小狗的品种,喜好,生活习惯等信息。
第二种方式:对所述目标图像进行图像识别,得到所述目标图像中的所述目标对象的类别。
需要说明的是,对所述目标图像进行识别时,可以调用具有图像识别功能的模块,对所述目标图像进行识别,从而得到所述目标对象的类别。也可以提取所述目标图像的图像特征,对所述图像特征进行分析,从而得到所述目标对象的类别。
需要说明的是,本身奇怪实施例不具体限定所述目标对象的类别。例如,目标对象为一只小狗,则所述目标对象的类别可以为“小狗”,所述目标对象的类别也可以为“动物”。
需要说明的是,在本申请实施例的一种可能的实现方式中,得到所述分析信息之后,还可以显示所述分析信息,以便用户查看所述分析信息。
可以理解的是,所述目标对象的轮廓越准确,对所述目标图像进行分析得到的分析信息可能更多。因此,在一定程度上,可以利用所述分析信息的数据量衡量所述目标对象的轮廓的准确度。所述分析信息的数据量越少,则说明所述目标对象的轮廓可能越不准确。而所述目标对象的轮廓是基于第一注视轨迹确定的,故而,当所述分析信息的数据量比较小时,可以进一步修改所述第一注视轨迹,从而进一步重新确定所述目标对象的轮廓。
鉴于此,在本申请实施例的一种可能的实现方式中,还可以包括如下步骤C-D。
步骤C:若所述分析信息满足预设条件,修改所述第一注视轨迹;其中,所述分析信息满足预设条件,表示所述分析信息的数据量小于或者等于预设数量阈值。
需要说明的是,本申请实施例不具体限定所述预设数量阈值,所述预设数量阈值可以根据实际情况确定。
需要说明的是,所述修改所述第一注视轨迹的具体实现,可以参考上文关于“响应于用户触发的注视轨迹修改指令,修改所述第一注视轨迹,得到修改后的第一注视轨迹”中,对“修改所述第一注视轨迹”的描述部分,此处不再赘述。
步骤D:根据修改第一注视轨迹得到的注视轨迹确定所述目标对象的轮廓。
需要说明的是,根据修改第一注视轨迹得到的注视轨迹确定所述目标对象的轮廓的具体实现方式,与步骤S102根据所述第一注视轨迹确定所述目标对象的轮廓的具体实现类似,故在此不再赘述。
以上实施例介绍了一种图像处理方法,以下结合具体场景介绍该方法。
在该场景中,用户正在体验虚拟现实技术,用户希望知晓虚拟现实系统中显示屏上显示的图像中的目标对象相关的信息。
参见图3,该图为本申请实施例提供的一种图像处理方法的流程示意图。
该方法例如可以通过如下步骤S301-S311实现。
S301:显示用于提示用户控制所述用户的注视点沿着待处理图像中目标对象的轮廓移动的提示信息。
需要说明的是,此处提及的待处理图像是指,虚拟现实系统中显示屏上显示的图像。
S302:获取待处理图像以及用户的第一注视轨迹;其中,所述第一注视轨迹是因所述用户的注视点沿所述目标对象的轮廓移动所得到的注视轨迹。
S303:响应于用户触发的注视轨迹修改指令,修改所述第一注视轨迹,得到修改后的第一注视轨迹。
S304:根据所述修改后的第一注视轨迹确定所述目标对象的第一轮廓。
S305:根据所述目标对象的第一轮廓,从所述待处理图像中确定第一目标图像。
S306:对所述第一目标图像进行分析,得到所述第一目标图像的第一分析信息。
需要说明的是,步骤S306和步骤S307之间,得到所述第一目标图像的第一分析信息之后,还可以显示所述第一分析信息。
S307:确定所述第一分析信息的数据量小于预设数量阈值,修改所述第一注视轨迹。
S308:根据修改第一注视轨迹得到的注视轨迹确定所述目标对象的第二轮廓。
S309:根据所述目标对象的第二轮廓,从所述待处理图像中确定第二目标图像。
S310:对所述第二目标图像进行分析,得到所述目标图像的第二分析信息。
S311:确定所述第二分析信息的数据量大于预设数量阈值,显示所述第二分析信息。
需要说明的是,在步骤S311之后,若用户认为该第二分析信息不准确,则用户也可以主动触发对第一注视轨迹的修改。
示例性设备
参见图4,示出了本申请实施例中一种图像处理装置的结构示意图。
所述装置400例如可以具体包括:获取单元410和第一确定单元420。
获取单元410,用于获取待处理图像以及用户的第一注视轨迹;其中,所述第一注视轨迹是因所述用户的注视点沿所述待处理图像中的目标对象的轮廓移动所得到的注视轨迹;
第一确定单元420,用于根据所述第一注视轨迹确定所述目标对象的轮廓。
可选的,所述装置400还包括:
第一修改单元,用于响应于用户触发的注视轨迹修改指令,修改所述第一注视轨迹,得到修改后的第一注视轨迹;
相应的,所述第一确定单元420,具体用于:
根据所述修改后的第一注视轨迹确定所述待处理图像中目标对象的轮廓。
可选的,所述注视轨迹修改指令通过如下方式生成:
若所述用户的注视点位于所述待处理图像中的预设区域,生成所述注视轨迹修改指令;所述预设区域对应修改所述第一注视轨迹的功能。
可选的,所述装置400还包括:
显示单元,用于显示用于提示所述用户控制所述用户的注视点沿所述目标对象的轮廓移动的提示信息。
可选的,所述装置400还包括:
第二确定单元,用于根据所述目标对象的轮廓,从所述待处理图像中确定目标图像;
分析单元,用于对所述目标图像进行分析,得到所述目标图像的分析信息。
可选的,所述分析单元,具体用于:
对所述目标图像进行搜索,得到与所述目标图像中的所述目标对象具有相关性的信息;
和/或,
对所述目标图像进行图像识别,得到所述目标图像中的所述目标对象的类别。
可选的,所述装置400还包括:
第二修改单元,用于若所述分析信息满足预设条件,修改所述第一注视轨迹;其中,所述分析信息满足预设条件,表示所述分析信息的数据量小于或者等于预设数量阈值;
第三确定单元,用于根据修改第一注视轨迹得到的注视轨迹确定所述目标对象的轮廓。
可选的,所述修改所述第一注视轨迹,包括:
获取所述用户的第二注视轨迹,对所述第一注视轨迹和所述第二注视轨迹进行融合处理,得到第三注视轨迹;和/或,
获取所述用户的第四注视轨迹,增加所述第四注视轨迹;和/或,
删除所述第一注视轨迹的全部或部分注视轨迹。
可选的,所述第二注视轨迹和所述第一注视轨迹完全不重合,所述对所述第一注视轨迹和所述第二注视轨迹进行融合处理,得到第三注视轨迹,包括:
响应于用户触发的注视轨迹融合指令,利用所述第一注视轨迹和所述第二注视轨迹生成所述第三注视轨迹。
可选的,所述第四注视轨迹与所述第一注视轨迹不完全重合或完全不重合。
可选的,所述删除所述第一注视轨迹的全部或部分注视轨迹,包括:
获取所述用户的第五注视轨迹,并确定所述第五注视轨迹与所述第一注视轨迹的重叠注视轨迹;
从所述第一注视轨迹中删除所述重叠注视轨迹。
关于所述装置400的各个单元的具体实现,可以参考以上方法实施例的描述部分,此处不再赘述。
由此可见,本申请实施例中,确定目标对象的轮廓,采用用户间接参与的方式,由于在面对所述待处理图像时,用户可以直观的确定出其中的目标对象,并控制注视点沿所述待处理图像中的目标对象的轮廓移动。故而,根据所述第一注视轨迹能够准确的确定目标对象的轮廓。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (22)
1.一种图像处理方法,其特征在于,包括:
获取待处理图像以及用户的第一注视轨迹;其中,所述第一注视轨迹是因所述用户的注视点沿所述待处理图像中的目标对象的轮廓移动所得到的注视轨迹;
根据所述第一注视轨迹确定所述目标对象的轮廓。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
响应于用户触发的注视轨迹修改指令,修改所述第一注视轨迹,得到修改后的第一注视轨迹;
相应的,所述根据所述第一注视轨迹确定所述待处理图像中目标对象的轮廓,包括:
根据所述修改后的第一注视轨迹确定所述待处理图像中目标对象的轮廓。
3.根据权利要求2所述的方法,其特征在于,所述注视轨迹修改指令通过如下方式生成:
若所述用户的注视点位于所述待处理图像中的预设区域,生成所述注视轨迹修改指令;所述预设区域对应修改所述第一注视轨迹的功能。
4.根据权利要求1-3任意一项所述的方法,其特征在于,所述方法还包括:
显示用于提示所述用户控制所述用户的注视点沿所述目标对象的轮廓移动的提示信息。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述目标对象的轮廓,从所述待处理图像中确定目标图像;对所述目标图像进行分析,得到所述目标图像的分析信息。
6.根据权利要求5所述的方法,其特征在于,所述对所述目标图像进行分析,得到所述目标区域图像的分析信息,包括:
对所述目标图像进行搜索,得到与所述目标图像中的所述目标对象具有相关性的信息;
和/或,
对所述目标图像进行图像识别,得到所述目标图像中的所述目标对象的类别。
7.根据权利要求5所述的方法,其特征在于,所述方法还包括:
若所述分析信息满足预设条件,修改所述第一注视轨迹;其中,所述分析信息满足预设条件,表示所述分析信息的数据量小于或者等于预设数量阈值;
根据修改第一注视轨迹得到的注视轨迹确定所述目标对象的轮廓。
8.根据权利要求2或7所述的方法,其特征在于,所述修改所述第一注视轨迹,包括:
获取所述用户的第二注视轨迹,对所述第一注视轨迹和所述第二注视轨迹进行融合处理,得到第三注视轨迹;和/或,
获取所述用户的第四注视轨迹,增加所述第四注视轨迹;和/或,
删除所述第一注视轨迹的全部或部分注视轨迹。
9.根据权利要求8所述的方法,其特征在在于,所述第二注视轨迹和所述第一注视轨迹完全不重合,所述对所述第一注视轨迹和所述第二注视轨迹进行融合处理,得到第三注视轨迹,包括:
响应于用户触发的注视轨迹融合指令,利用所述第一注视轨迹和所述第二注视轨迹生成所述第三注视轨迹。
10.根据权利要求8所述的方法,其特征在于,所述第四注视轨迹与所述第一注视轨迹不完全重合或完全不重合。
11.根据权利要求8所述的方法,其特征在于,所述删除所述第一注视轨迹的全部或部分注视轨迹,包括:
获取所述用户的第五注视轨迹,并确定所述第五注视轨迹与所述第一注视轨迹的重叠注视轨迹;
从所述第一注视轨迹中删除所述重叠注视轨迹。
12.一种图像处理装置,其特征在于,包括:
获取单元,用于获取待处理图像以及用户的第一注视轨迹;其中,所述第一注视轨迹是因所述用户的注视点沿所述待处理图像中的目标对象的轮廓移动所得到的注视轨迹;
第一确定单元,用于根据所述第一注视轨迹确定所述目标对象的轮廓。
13.根据权利要求12所述的装置,其特征在于,所述装置还包括:
第一修改单元,用于响应于用户触发的注视轨迹修改指令,修改所述第一注视轨迹,得到修改后的第一注视轨迹;
相应的,所述第一确定单元,具体用于:
根据所述修改后的第一注视轨迹确定所述待处理图像中目标对象的轮廓。
14.根据权利要求13所述的装置,其特征在于,所述注视轨迹修改指令通过如下方式生成:
若所述用户的注视点位于所述待处理图像中的预设区域,生成所述注视轨迹修改指令;所述预设区域对应修改所述第一注视轨迹的功能。
15.根据权利要求12-14任意一项所述的装置,其特征在于,所述装置还包括:
显示单元,用于显示用于提示所述用户控制所述用户的注视点沿所述目标对象的轮廓移动的提示信息。
16.根据权利要求12所述的装置,其特征在于,所述装置还包括:
第二确定单元,用于根据所述目标对象的轮廓,从所述待处理图像中确定目标图像;
分析单元,用于对所述目标图像进行分析,得到所述目标图像的分析信息。
17.根据权利要求16所述的装置,其特征在于,所述分析单元,具体用于:
对所述目标图像进行搜索,得到与所述目标图像中的所述目标对象具有相关性的信息;
和/或,
对所述目标图像进行图像识别,得到所述目标图像中的所述目标对象的类别。
18.根据权利要求16所述的装置,其特征在于,所述装置还包括:
第二修改单元,用于若所述分析信息满足预设条件,修改所述第一注视轨迹;其中,所述分析信息满足预设条件,表示所述分析信息的数据量小于或者预设数量阈值;
第三确定单元,用于根据修改第一注视轨迹得到的注视轨迹确定所述目标对象的轮廓。
19.根据权利要求13或18所述的装置,其特征在于,所述修改所述第一注视轨迹,包括:
获取所述用户的第二注视轨迹,对所述第一注视轨迹和所述第二注视轨迹进行融合处理,得到第三注视轨迹;和/或,
获取所述用户的第四注视轨迹,增加所述第四注视轨迹;和/或,
删除所述第一注视轨迹的全部或部分注视轨迹。
20.根据权利要求19所述的装置,其特征在在于,所述第二注视轨迹和所述第一注视轨迹完全不重合,所述对所述第一注视轨迹和所述第二注视轨迹进行融合处理,得到第三注视轨迹,包括:
响应于用户触发的注视轨迹融合指令,利用所述第一注视轨迹和所述第二注视轨迹生成所述第三注视轨迹。
21.根据权利要求19所述的装置,其特征在于,所述第四注视轨迹与所述第一注视轨迹不完全重合或完全不重合。
22.根据权利要求19所述的装置,其特征在于,所述删除所述第一注视轨迹的全部或部分注视轨迹,包括:
获取所述用户的第五注视轨迹,并确定所述第五注视轨迹与所述第一注视轨迹的重叠注视轨迹;
从所述第一注视轨迹中删除所述重叠注视轨迹。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810778492.5A CN108874148A (zh) | 2018-07-16 | 2018-07-16 | 一种图像处理方法及装置 |
| PCT/CN2019/077303 WO2020015368A1 (zh) | 2018-07-16 | 2019-03-07 | 一种图像处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810778492.5A CN108874148A (zh) | 2018-07-16 | 2018-07-16 | 一种图像处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108874148A true CN108874148A (zh) | 2018-11-23 |
Family
ID=64302439
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810778492.5A Pending CN108874148A (zh) | 2018-07-16 | 2018-07-16 | 一种图像处理方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN108874148A (zh) |
| WO (1) | WO2020015368A1 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109491508A (zh) * | 2018-11-27 | 2019-03-19 | 北京七鑫易维信息技术有限公司 | 一种确定注视对象的方法和装置 |
| WO2020015368A1 (zh) * | 2018-07-16 | 2020-01-23 | 北京七鑫易维信息技术有限公司 | 一种图像处理方法及装置 |
| CN112860059A (zh) * | 2021-01-08 | 2021-05-28 | 广州朗国电子科技有限公司 | 一种基于眼球追踪的图像识别方法、设备及存储介质 |
| CN113359996A (zh) * | 2021-08-09 | 2021-09-07 | 季华实验室 | 生活辅助机器人控制系统、方法、装置及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011080385A1 (en) * | 2009-12-29 | 2011-07-07 | Nokia Corporation | Method and apparatus for decluttering a mapping display |
| CN102156539A (zh) * | 2011-03-28 | 2011-08-17 | 浙江大学 | 一种基于眼动扫描的目标物体识别方法 |
| CN105677018A (zh) * | 2015-12-28 | 2016-06-15 | 宇龙计算机通信科技(深圳)有限公司 | 一种屏幕截图方法、装置和电子设备 |
| CN106681484A (zh) * | 2015-11-06 | 2017-05-17 | 北京师范大学 | 结合眼动跟踪的图像目标分割系统 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103984942A (zh) * | 2014-05-28 | 2014-08-13 | 深圳市中兴移动通信有限公司 | 一种物象识别的方法及移动终端 |
| CN104065880A (zh) * | 2014-06-05 | 2014-09-24 | 惠州Tcl移动通信有限公司 | 一种基于眼球跟踪技术进行自动拍照的处理方法及系统 |
| CN106033609B (zh) * | 2015-07-24 | 2018-10-19 | 广西科技大学 | 仿生物跳跃眼动信息处理机制的目标轮廓检测方法 |
| CN105913487B (zh) * | 2016-04-09 | 2018-07-06 | 北京航空航天大学 | 一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法 |
| TWI610059B (zh) * | 2016-08-04 | 2018-01-01 | 緯創資通股份有限公司 | 三維量測方法及應用其之三維量測裝置 |
| CN106340057A (zh) * | 2016-08-31 | 2017-01-18 | 北京像素软件科技股份有限公司 | 一种三维物体的边缘检测方法 |
| CN108874148A (zh) * | 2018-07-16 | 2018-11-23 | 北京七鑫易维信息技术有限公司 | 一种图像处理方法及装置 |
-
2018
- 2018-07-16 CN CN201810778492.5A patent/CN108874148A/zh active Pending
-
2019
- 2019-03-07 WO PCT/CN2019/077303 patent/WO2020015368A1/zh not_active Ceased
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011080385A1 (en) * | 2009-12-29 | 2011-07-07 | Nokia Corporation | Method and apparatus for decluttering a mapping display |
| CN102156539A (zh) * | 2011-03-28 | 2011-08-17 | 浙江大学 | 一种基于眼动扫描的目标物体识别方法 |
| CN106681484A (zh) * | 2015-11-06 | 2017-05-17 | 北京师范大学 | 结合眼动跟踪的图像目标分割系统 |
| CN105677018A (zh) * | 2015-12-28 | 2016-06-15 | 宇龙计算机通信科技(深圳)有限公司 | 一种屏幕截图方法、装置和电子设备 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020015368A1 (zh) * | 2018-07-16 | 2020-01-23 | 北京七鑫易维信息技术有限公司 | 一种图像处理方法及装置 |
| CN109491508A (zh) * | 2018-11-27 | 2019-03-19 | 北京七鑫易维信息技术有限公司 | 一种确定注视对象的方法和装置 |
| CN112860059A (zh) * | 2021-01-08 | 2021-05-28 | 广州朗国电子科技有限公司 | 一种基于眼球追踪的图像识别方法、设备及存储介质 |
| CN113359996A (zh) * | 2021-08-09 | 2021-09-07 | 季华实验室 | 生活辅助机器人控制系统、方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020015368A1 (zh) | 2020-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102728007B1 (ko) | 증강 현실 환경에서의 콘텐트 생성 | |
| CN109246464B (zh) | 用户界面显示方法、装置、终端及存储介质 | |
| US9870684B2 (en) | Information processing apparatus, information processing method, program, and information processing system for achieving a surveillance camera system | |
| JP5967839B2 (ja) | ウェアラブルメガネを用いたディスプレイ装置及びその作動方法 | |
| EP3467707A1 (en) | System and method for deep learning based hand gesture recognition in first person view | |
| KR101811909B1 (ko) | 제스처 인식을 위한 장치 및 방법 | |
| US10488195B2 (en) | Curated photogrammetry | |
| CN118103801A (zh) | 增强聚焦转换的注意力跟踪 | |
| CN108874148A (zh) | 一种图像处理方法及装置 | |
| CN110969120B (zh) | 图像处理方法及装置、电子设备、可读存储介质 | |
| US20120229509A1 (en) | System and method for user interaction | |
| CN110620946A (zh) | 字幕显示方法及装置 | |
| CN110121093A (zh) | 视频中目标对象的搜索方法及装置 | |
| CN110418112A (zh) | 一种视频处理方法及装置、电子设备和存储介质 | |
| KR20150135847A (ko) | 글래스 타입 단말기 및 이의 제어방법 | |
| CN104239416A (zh) | 一种用户识别方法和系统 | |
| CN103853330B (zh) | 基于眼睛控制显示层切换的方法和移动终端 | |
| CN111723758B (zh) | 视频信息的处理方法、装置、电子设备及存储介质 | |
| US20220244788A1 (en) | Head-mounted display | |
| CN104866103B (zh) | 一种相对位置确定方法、穿戴式电子设备及终端设备 | |
| KR102301231B1 (ko) | 영상 제공 방법 및 이를 위한 장치 | |
| CN110502117A (zh) | 电子终端中的截图方法以及电子终端 | |
| WO2017193343A1 (zh) | 媒体文件分享方法、媒体文件分享设备及终端 | |
| US9727778B2 (en) | System and method for guided continuous body tracking for complex interaction | |
| JP6405606B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181123 |