CN112085002A - 人像分割方法、装置、存储介质及电子设备 - Google Patents

Abstract

本申请提供一种人像分割方法、装置、存储介质及电子设备，方法包括：获取包含人物的深度图像；从深度图像检测出包含人物的目标区域；根据深度图像的深度信息，从目标区域中确定出人物的潜在边缘区域；根据潜在边缘区域，将人物与背景进行分割，其中，背景表示深度图像中除人物之外的图像。这样可以有效减少后续处理过程中需要进行处理的信息量，能够尽可能提高处理效率，并且可以有效且精准地确定出人物与背景之间的界限，既可以保证分割的效率，还能够提升人像分割的质量，且无需使用大量的训练数据，简单高效，另外，此方式分割人像，几乎不受图像背景的影响，具有很高的可靠性；以及，此方法能够应用的距离范围广泛，且均能够保证分割效果。

Description

人像分割方法、装置、存储介质及电子设备

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种人像分割方法、装置、存储介质及电子设备。

背景技术

传统的人像分割算法效果较差，通常无法满足实时性需求，而基于深度学习的人像分割算法虽然具备较好的效果，但是无法满足多场景(例如使用场景为会议模式或者其他的直播场景)的应用。

基于深度学习的人像分割算法通常有特定的距离限制，例如0.5米或者1.0米以内的分割效果较好，而超过设定的检测距离效果就会很差(因为训练样本中设定的距离限制了算法的应用距离，如果要使人像分割算法的应用距离更广泛(例如实现更远距离的高质量人像分割)，那么就需要增大神经网络的输入图像分辨率，且需要增加对应不同距离下的训练数据集，这样显著增加了算法的复杂度和人员工作量)，无法满足用户多场景下的需求，且存在或多或少的细节问题，例如人像分割太过粗糙，无法解决物体边缘的毛躁点问题，物体边缘处分割效果不好，受环境影响较大(若环境较为复杂分割效果较差)等问题。

发明内容

本申请实施例的目的在于提供一种人像分割方法、装置、存储介质及电子设备，以高效地实现对人像的高质量分割。

为了实现上述目的，本申请的实施例通过如下方式实现：

第一方面，本申请实施例提供一种人像分割方法，所述方法包括：获取包含人物的深度图像；从所述深度图像检测出包含所述人物的目标区域；根据所述深度图像的深度信息，从所述目标区域中确定出所述人物的潜在边缘区域；根据所述潜在边缘区域，将所述人物与背景进行分割，其中，所述背景表示所述深度图像中除所述人物之外的图像。

在本申请实施例中，通过从深度图像检测出包含人物的目标区域，可以有效减少后续处理过程中需要进行处理的信息量，能够尽可能提高处理效率；而根据深度图像的深度信息，从目标区域中确定出人物的潜在边缘区域，可以有效且精准地确定出人物与背景之间的界限；再根据潜在边缘区域，将人物与背景进行分割，这样的人像分割方式，既可以保证分割的效率，还能够提升人像分割的质量，且无需使用大量的训练数据，简单高效，节省成本，另外，此方式分割人像，几乎不受图像背景的影响，具有很高的可靠性；以及，此方法能够应用的距离范围广泛，且均能够保证分割效果。

结合第一方面，在第一方面的第一种可能的实现方式中，所述根据所述深度图像的深度信息，从所述目标区域中确定出所述人物的潜在边缘区域，包括：根据所述深度图像的深度信息，确定出所述目标区域中所述人物所在的深度距离范围，其中，所述深度距离范围为连续的景深区域；根据所述深度距离范围，从所述目标区域中确定出所述人物的潜在边缘区域。

在该实现方式中，通过深度图像的深度信息可以确定人物所在的深度距离范围(连续的景深区域)，进一步从目标区域中确定出人物的潜在边缘区域。这样的方式确定出潜在边缘区域，方式简单高效，且确定的人物与背景之间的边界精确，可以很好地将人像与背景区分开来(这种方式理论上可以不受背景像素与人物像素间的差异影响，特别是针对背景复杂的情况，例如背景与人物边缘的像素区分不明显时，此种方式依然能够精准地确定出人物与背景之间的边界，效果显著)。

结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述根据所述深度图像的深度信息，确定出所述目标区域中所述人物所在的深度距离范围，包括：根据所述深度图像的深度信息，确定出所述目标区域中每个像素的距离信息；对所述目标区域的距离信息进行分组，并对分组后的距离信息进行聚类；根据聚类结果确定出所述人物所在的所述深度距离范围。

在该实现方式中，通过对目标区域中每个像素的距离信息进行聚类，基于聚类结果确定出人物所在的深度距离范围(例如K均值聚类算法，简单、运算速度快)，可以简单高效地确定出深度距离范围。

结合第一方面的第一种可能的实现方式，在第一方面的第三种可能的实现方式中，所述根据所述深度距离范围，从所述目标区域中确定出所述人物的潜在边缘区域，包括：从所述目标区域中确定出位于所述深度距离范围内的区域像素；根据所述区域像素，确定出所述潜在边缘区域。

在该实现方式中，可以从目标区域确定出位于深度距离范围内的区域像素，从而可以得到潜在边缘区域(人物与背景的界限)，这样的方式符合实际情况，且能够应对各种复杂的实际情况(例如人像存在遮挡、移动的情况)，能够保证确定的潜在边缘区域的可靠性。

结合第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，在所述根据所述区域像素，确定出所述潜在边缘区域之后，所述方法还包括：判断所述目标区域内是否存在遮挡像素，其中，所述遮挡像素表示所述深度图像中对所述人物造成遮挡的遮挡物的像素；若存在所述遮挡像素，则不更新人物历史模板，其中，所述人物历史模板表示用于跟踪所述深度图像中所述人物的模型；若不存在所述遮挡像素，则根据所述潜在边缘区域更新所述人物历史模板。

在该实现方式中，可以判断目标区域内是否存在遮挡像素(深度图像中对人物造成遮挡的遮挡物的像素)，在存在遮挡像素时可以不更新人物历史模板(用于跟踪深度图像中人物的模型，使得方法在应用于连续的视频中的人像分割时，可以具有很高的效率和准确性)，不存在遮挡像素时，则根据潜在边缘区域更新人物历史模板。更新人物历史模板可以实现对图像中人物的追踪，且能够确定人物的变化尺度，而存在遮挡时不更新模板，则有利于保证人物历史模板的在准确性，避免跟踪漂移问题(累计误差)，从而提高跟踪效果。

结合第一方面，在第一方面的第五种可能的实现方式中，所述根据所述潜在边缘区域，将所述人物与背景进行分割，包括：对所述潜在边缘区域进行超像素处理，确定出所述人物的边界；根据所述边界，将所述人物与所述背景进行分割。

在该实现方式中，利用超像素算法对潜在边缘区域进行处理，实现人像与背景的分割，一方面可以保证分割的精细度(实现像素级别的分割)，保证分割效果；另一方面，相较于传统的超像素算法，本方法能够结合利用深度信息确定的潜在边缘区域，减少了处理量，提升了效率，并且能够保证人像分割的精准性。

结合第一方面，或者结合第一方面的第一种至第五种中任一可能的实现方式，在第一方面的第六种可能的实现方式中，在所述根据所述潜在边缘区域，将所述人物与背景进行分割之后，所述方法还包括：利用预设背景图对所述深度图像中的背景进行替换。

在该实现方式中，在进行人像分割后，还可以利用预设背景图对深度图像中的背景进行替换，满足对图像背景有需求的多种场景，从而保证人像分割方法的实时性。

结合第一方面的第六种可能的实现方式，在第一方面的第七种可能的实现方式中，所述方法还包括：获取所述预设背景图的亮度信息，以及，获取所述人物所在区域的曝光信息；根据所述亮度信息和所述曝光信息，对相机ISP进行调节，其中，所述相机为拍摄所述深度图像的相机。

在该实现方式中，通过获取预设背景图的亮度信息和人物所在区域的曝光信息，可以进一步对相机ISP(图像信号处理)进行调节，从而使得替换的背景，与人物图像的亮度信息尽可能接近，从而具有更好的视觉效果，实现图像背景的智能替换。

第二方面，本申请实施例提供一种人像分割装置，包括：图像获取模块，用于获取包含人物的深度图像；人物检测模块，用于从所述深度图像检测出包含所述人物的目标区域；边缘确定模块，用于根据所述深度图像的深度信息，从所述目标区域中确定出所述人物的潜在边缘区域；人像分割模块，用于根据所述潜在边缘区域，将所述人物与背景进行分割，其中，所述背景表示所述深度图像中除所述人物之外的图像。

第三方面，本申请实施例提供一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如第一方面或第一方面的可能的实现方式中任一项所述的人像分割方法。

第四方面，本申请实施例提供一种电子设备，包括存储器和处理器，所述存储器用于存储包括程序指令的信息，所述处理器用于控制程序指令的执行，所述程序指令被处理器加载并执行时，实现如第一方面或第一方面的可能的实现方式中任一项所述的人像分割方法。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种电子设备的结构框图。

图2为本申请实施例提供的一种人像分割方法的流程图。

图3为本申请实施例提供的一种人像分割装置的结构框图。

图标：10-电子设备；11-存储器；12-通信模块；13-总线；14-处理器；15-深度摄像模组；20-人像分割装置；21-图像获取模块；22-人物检测模块；23-边缘确定模块；24-人像分割模块。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

为了满足人像分割的实时性需求和多场景应用需求，本申请实施例提供一种人像分割方法，以高效且高质量地实现人像分割方法在多种场景(例如会议场景、直播场景、或者其他对背景有需求的场景等)下的应用。

由于实际中通常通过具备摄像功能的电子设备进行直播或视频会议，因此，人像分割方法可以应用于电子设备。由于视频会议、网络直播等，通常涉及到多个电子设备的通信：拍摄端(例如用户进行直播时使用的电子设备)与观看端(例如用户观看直播时使用的电子设备)的通信。那么，通常由拍摄端应用人像分割方法，从而把处理后的图像发送至观看端。当然，理论上也可以由观看端应用人像分割方法，此处不作限定。以及，在一些可能的情况下，例如，拍摄端与观看端之间通过服务器通信，也可以通过服务器应用人像分割方法，从而实现对图像的处理。这种情况下，对发射端和观看端设备的性能要求较低，可以使得网络直播、视频会议等能够应用于配置更低的电子设备，此处不作限定。

请参阅图1，图1为本申请实施例提供的一种电子设备10的结构框图。

在本实施例中，电子设备10可以为终端设备，例如个人电脑、笔记本电脑等，此处不作限定。当然，电子设备10也可以为服务器，例如网络服务器、云服务器、服务器集群等，此处不作限定。

示例性的，在电子设备10为拍摄端时，可以包括：通过网络与外界连接的通信模块12、用于执行程序指令的一个或多个处理器14、总线13、不同形式的存储器11，例如，磁盘、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随机存取存储器)，或其任意组合。其中，存储器11、通信模块12和处理器14之间通过总线13连接。以及，拍摄端还包括深度摄像模组15(例如结构光模组、双目模组等可以同时获取拍摄图像深度信息的摄像模组)，用于拍摄深度图像。存储器11中存储有程序。处理器14可以从存储器11调用并运行这些程序，从而可以通过运行程序而执行人像分割方法，以高效高质量地实现人像分割。

示例性的，在电子设备10为服务器或者观看端时，可以包括：通过网络与外界连接的通信模块12、用于执行程序指令的一个或多个处理器14、总线13、不同形式的存储器11，例如，磁盘、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随机存取存储器)，或其任意组合。其中，存储器11、通信模块12和处理器14之间通过总线13连接。存储器11中存储有程序。处理器14可以从存储器11调用并运行这些程序，从而可以通过运行程序而执行人像分割方法，以高效高质量地实现人像分割。

需要说明的是，图1中利用虚线框表示深度摄像模组15，是为了说明在电子设备10为拍摄端时，需要具备深度摄像模组15；而在电子设备10为服务器或者观看端时，则可以不包括深度摄像模组15，此处不应视为对本申请的限定。

在本实施例中，在用户对场景(视频会议、网络直播等)中的背景有需求(例如替换为想要的背景，或者进行背景虚化等)时，可以通过电子设备应用人像分割方法，以对人像进行高效且高质量的分割，从而为满足用户需求提供条件。本实施例中将以电子设备为拍摄端时的情况(即，后文中没有特别说明时，电子设备指代拍摄端)为例对人像分割方法进行介绍，但不应视为对本申请的限定。

另外，本申请实施例提供的人像分割方法，不仅可以应用于对单帧图像的处理，还可以应用于对多帧图像构成的视频流进行处理(也是通过对视频流中的部分图像帧或者全部图像帧进行处理)，本实施例中以对单帧图像的处理为例进行详细的介绍，但不应视为对本申请的限定。

请参阅图2，图2为本申请实施例提供的一种人像分割方法的流程图。在本实施例中，人像分割方法可以包括步骤S10、步骤S20、步骤S30和步骤S40。

在本实施例中，在进行拍摄时，电子设备可以执行步骤S10。

步骤S10：获取包含人物的深度图像。

示例性的，电子设备可以通过深度摄像模组拍摄包含人物的深度图像。

获取深度图像后，电子设备可以执行步骤S20。

步骤S20：从深度图像检测出包含人物的目标区域。

在本实施例中，电子设备可以从深度图像检测出包含人物的目标区域。

示例性的，电子设备可以通过行人检测算法，从深度图像检测出包含人物的目标区域。通过检测出包含人物的目标区域，可以有效减少后续处理过程中需要进行处理的信息量，能够尽可能提高处理效率。

当然，在电子设备为服务器或者观看端时，可以通过接收拍摄端发送的深度图像，从而对深度图像进行检测，确定出包含人物的目标区域，此处不作限定。

另外，检测包含人物的目标区域的方式，不限定于行人检测算法，也可以是其他方式检测深度图像中的人物，例如人像识别、深度学习神经网络等，此处不作限定。

在确定出目标区域后，电子设备可以执行步骤S30。

步骤S30：根据深度图像的深度信息，从目标区域中确定出人物的潜在边缘区域。

在本实施例中，电子设备可以根据深度图像的深度信息，从目标区域中确定出人物的潜在边缘区域。

示例性的，电子设备可以根据深度图像的深度信息，确定出目标区域中人物所在的深度距离范围(一个连续的景深区域)。

例如，可以采用k-means算法(k均值聚类算法)获取一个连续的景深分割区域(即深度距离范围)。具体的，电子设备可以根据深度图像的深度信息，确定出目标区域中每个像素的距离信息，对目标区域的距离信息进行分组，并对分组后的距离信息进行聚类，从而根据聚类结果确定出人物所在的深度距离范围。通过采用K均值聚类算法对目标区域中每个像素的距离信息进行聚类，基于聚类结果确定出人物所在的深度距离范围，这样的方式简单、运算速度快，可以简单高效地确定出深度距离范围。并且，这种方式由于具有简单高效的特点，对运行设备的要求也较低，占用运行内存小，可以很容易地在拍摄端(例如手机、平板、笔记本电脑或者其他嵌入式终端)中应用。

确定出深度距离范围后，电子设备可以根据深度距离范围，从目标区域中确定出人物的潜在边缘区域。

通过深度图像的深度信息可以确定人物所在的深度距离范围(连续的景深区域)，进一步从目标区域中确定出人物的潜在边缘区域。这样的方式确定出潜在边缘区域，方式简单高效，且确定的人物与背景之间的边界精确，可以很好地将人像与背景区分开来(这种方式理论上可以不受背景像素与人物像素间的差异影响，特别是针对背景复杂的情况，例如背景与人物边缘的像素区分不明显时，此种方式依然能够精准地确定出人物与背景之间的边界，效果显著)。

示例性的，电子设备可以从目标区域中确定出位于深度距离范围内的区域像素，从而根据区域像素，确定出潜在边缘区域。从目标区域确定出位于深度距离范围内的区域像素，从而可以得到潜在边缘区域(人物与背景的界限)，这样的方式符合实际情况，且能够应对各种复杂的实际情况(例如人像存在遮挡、移动的情况，背景复杂、背景与人物的区分不明显等)，能够保证确定的潜在边缘区域的可靠性。

在人像分割方法应用于视频流(中的图像)的处理时，可以采用目标跟踪算法，对视频流(图像)中的人物进行追踪。而确定出的潜在边缘区域，可以用于对人物进行追踪的模型的更新。

由于在实际情况中，可能会存在遮挡的情况，因此，为了保证对人物追踪的精确性，可以判断目标区域内是否存在遮挡像素(深度图像中对人物造成遮挡的遮挡物的像素)。具体可以通过像素的距离信息来判断：若人物前方存在遮挡物，那么深度图像的目标区域中，遮挡物对应的像素点(即遮挡像素)与人物对应的像素点(即区域像素)的距离信息不在同一个范围(即深度距离范围)内，遮挡像素的距离信息与深度距离范围相比表现为一个阶跃的跳变，电子设备可以识别出这样的像素点，从而确定人物的前方是否存在遮挡物(即目标区域中是否存在遮挡像素)。

若目标区域中存在遮挡像素，电子设备可以不更新人物历史模板(即，用于跟踪深度图像中人物的模型)，若目标区域中不存在遮挡像素，电子设备则可以根据潜在边缘区域更新人物历史模板。

此处对人物历史模板做一个简要的说明：人物历史模板，即用于跟踪深度图像中人物的模型，在应用于视频流中的人物追踪时，通过人物历史模板和当前深度图像中目标区域的人物所在的深度距离范围，可以确定出深度图像中人物的尺度变化情况(即深度距离范围的变化情况，反映人物的尺度变化信息)。

通过判断目标区域内是否存在遮挡像素，在存在遮挡像素时可以不更新人物历史模板(用于跟踪深度图像中人物的模型，使得方法在应用于连续的视频中的人像分割时，可以具有很高的效率和准确性)，不存在遮挡像素时，则根据潜在边缘区域更新人物历史模板。更新人物历史模板可以实现对图像中人物的追踪，且能够确定人物的变化尺度，而存在遮挡时不更新模板，则有利于保证人物历史模板的在准确性，尽可能避免跟踪漂移问题(累计误差)，从而提高跟踪效果。

在确定出人物的潜在边缘区域后，电子设备可以执行步骤S40。

步骤S40：根据潜在边缘区域，将人物与背景进行分割，其中，背景表示深度图像中除人物之外的图像。

在本实施例中，电子设备可以根据潜在边缘区域，将人物与背景进行分割。通过从深度图像检测出包含人物的目标区域，可以有效减少后续处理过程中需要进行处理的信息量，能够尽可能提高处理效率；而根据深度图像的深度信息，从目标区域中确定出人物的潜在边缘区域，可以有效且精准地确定出人物与背景之间的界限；再根据潜在边缘区域，将人物与背景进行分割，这样的人像分割方式，既可以保证分割的效率，还能够提升人像分割的质量，且无需使用大量的训练数据，简单高效，节省成本，另外，此方式分割人像，几乎不受图像背景的影响，具有很高的可靠性；以及，此方法能够应用的距离范围广泛，且均能够保证分割效果。

示例性的，电子设备可以利用超像素算法，对人物与背景进行分割。例如，电子设备可以对潜在边缘区域进行超像素处理，确定出人物的边界，进一步根据边界将人物与背景进行分割。

通过超像素算法，结合基于深度信息确定出的人物的潜在边缘区域，实现人像与背景的分割，一方面可以保证确定出测的人物与背景的边界的准确性和可靠性，并且，由此确定出的边界可以精细到像素级别，从而有利于保证边界的精细度，有效解决传统人像分割方法的边缘出现毛边的问题。另一方面，相较于传统的超像素算法，本申请实施例提供的人像分割方法能够结合利用深度信息确定的潜在边缘区域，有效减少了信息处理量，提升了处理效率，从而高效地实现人像分割。

在本实施例中，在将人像与背景分割之后，可以根据用户的实际需要进行进一步处理，例如，针对用户的需求，对背景部分进行虚化；或者，可以将背景替换为用户想要的背景。

示例性的，在将人物与背景进行分割之后，电子设备还可以利用预设背景图对深度图像中的背景进行替换，这样可以满足对图像背景有需求的多种场景，从而保证人像分割方法的实时性。此处的预设背景图可以是用户选取的，也可以是预先设定的，此处不作限定。

为了提升背景替换后图像的视觉效果，电子设备可以获取预设背景图的亮度信息，以及，获取人物所在区域的曝光信息(例如在人像分割之后，也可以在人像分割之前，例如确定出潜在边缘区域时，此处不作限定)，根据亮度信息和曝光信息，对相机ISP(ImageSignal Processing，图像信号处理)进行调节，其中，相机为拍摄深度图像的相机(例如，拍摄端的深度摄像模组)。

在视频流的处理中，通过获取预设背景图的亮度信息和人物所在区域的曝光信息，可以采用此种方式对相机ISP(图像信号处理)进行调节，使得相机拍摄的下一帧深度图像，其人物的亮度与替换的预设背景图的亮度更接近，从而达到较好的视觉效果，实现图像背景的智能替换。

而若是仅对单个图像进行处理，没有后续的关联图像，则调节相机ISP的方式无法对本次的图像产生作用，且本次的图像无需与后续的图像关联展示，因此，可以通过调节预设背景图的亮度信息，使得预设背景图的亮度与图像中人物的亮度尽可能一致，从而提升替换背景后的图像的视觉效果，此处不作限定。

在对视频流进行的人像分割和背景替换中，由于图像具有连续性，而相机的曝光参数不稳定的话，若使用变更预设背景图亮度的方式，则会出现图像亮度不稳定的情况，影响视觉体验。而采用调节相机ISP的方式，则可以有效避免这个问题，因为此种方式是以预设背景图的亮度信息(是一个稳定的亮度值)为基准，对相机的拍摄的图像的亮度进行调节，从而使得后续每帧图像都可以具有较好的视觉效果，不会出现图像的亮度不稳定的情况。

另外，在电子设备为观看端或者服务器时，也可以确定出相应的调节参数，通过将调节参数反馈给拍摄端，使得拍摄端能够基于调节参数调节ISP，此处不作限定。

为了便于理解，此处将结合一个采用人像分割方法对视频流进行人像分割的例子，对人像分割方法进行介绍。

在对视频流进行人像分割时，实质是对视频流中的每帧图像(或者部分图像，例如抽帧出来的多帧图像)进行人像分割。因此，可以通过行人检测方法和目标跟踪算法，从当前处理的图像(深度图像)确定出人物所在的目标区域(还可以通过目标跟踪算法对人物进行跟踪)。此处的目标跟踪算法可以是利用传统的目标跟踪方法结合深度信息后确定出的抗遮挡的目标跟踪算法：通过获取图像的景深信息，可以确定出目标(人物)的深度距离信息，通过这个距离信息则可以进一步判断目标的遮挡状态和尺度变换情况，利用这些信息实时地对目标跟踪算法中目标的状态进行修正，进而提高目标跟踪算法的可靠性。

此处目标跟踪算法的抗遮挡效果的原理即为：通过计算跟踪目标(人物)的景深信息，正常情况下认为目标是一个近似的平面，其上面每一个点到相机的距离变化连续且不会相差很多，因此，可以通过k-means算法获取一个连续的景深分割区域(即深度距离范围，此景深分割区域的尺度变化可以反应目标的尺度变化情况，以此估计目标尺度变化信息)，并且可以认为此景深分割区域内的物体就是跟踪目标(即人物)。若跟踪目标被其他物体或行人遮挡，则跟踪目标的景深会发生一个阶跃的跳变(真实目标和遮挡物体不在一个平面上，且到相机的距离也不相等)，在此过程中可以停止目标跟踪算法的模板更新，进而避免模板更新造成的跟踪漂移(累计误差)问题，从而提高跟踪效果。

而后，可以通过目标区域中的景深判断哪些像素是人物的边缘，再基于超像素分割算法实现像素级别的人像分割。这样的方式，由于只需对目标区域中人物的像素和与人物边缘相关的像素进行处理和分割，大大减少了数据处理量，可以克服原始的超像素分割算法速度较慢(全图每一个像素都需要遍历)的问题，并且，此种方式能够实现像素级别的人像分割，可以提高人像分割的质量和效果。

而后，还可以进一步对图像的背景进行智能替换：传统的背景替换中未考虑人像区域和背景区域的亮度色差问题(背景区域亮度和人像区域亮度不一致)，而本申请实施例提供的人像分割方法，还可以计算图像中背景区域的亮度信息，利用背景区域亮度信息和人像区域的曝光信息，对相机ISP进行调节，从而提高替换背景后的图像的质量。

基于上述例子的描述，可知本申请实施例提供的人像分割方法通过利用景深信息和超像素分割算法可以实现像素级别的人像分割，提高了人像分割效果，避免出现毛边的问题。并且，通过从“粗”(目标区域可视为对人物区域的初步确定)到“细”(通过结合景深信息和超像素算法实现像素级别的人像分割)的方式，可以解决多场景下的分割需求(例如不同距离情况下的分割需求)。以及，本方法(通过检测+跟踪+超像素分割+景深信息的策略)，相比单纯的人像分割算法具备极大的速度优势，例如，相较于一阶段的人像分割算法(指输入原始图像直接输出人像分割结果)，本方法速度更快。而通过依据替换的背景区域的亮度信息和人像区域的曝光信息，进行智能的相机参数调节，可以避免替换背景后的图像的背景区域与人像区域之间的色差问题，保证替换背景后的图像的质量。

请参阅图3，图3为本申请实施例提供的一种人像分割装置20的结构框图。人像分割装置20可以包括：

图像获取模块21，用于获取包含人物的深度图像。

人物检测模块22，用于从所述深度图像检测出包含所述人物的目标区域。

边缘确定模块23，用于根据所述深度图像的深度信息，从所述目标区域中确定出所述人物的潜在边缘区域。

人像分割模块24，用于根据所述潜在边缘区域，将所述人物与背景进行分割，其中，所述背景表示所述深度图像中除所述人物之外的图像。

在本实施例中，所述边缘确定模块23，具体用于根据所述深度图像的深度信息，确定出所述目标区域中所述人物所在的深度距离范围，其中，所述深度距离范围为连续的景深区域；根据所述深度距离范围，从所述目标区域中确定出所述人物的潜在边缘区域。

在本实施例中，所述边缘确定模块23，具体用于根据所述深度图像的深度信息，确定出所述目标区域中每个像素的距离信息；对所述目标区域的距离信息进行分组，并对分组后的距离信息进行聚类；根据聚类结果确定出所述人物所在的所述深度距离范围。

在本实施例中，所述边缘确定模块23，具体用于从所述目标区域中确定出位于所述深度距离范围内的区域像素；根据所述区域像素，确定出所述潜在边缘区域。

在本实施例中，所述边缘确定模块23，还用于在所述根据所述区域像素，确定出所述潜在边缘区域之后，判断所述目标区域内是否存在遮挡像素，其中，所述遮挡像素表示所述深度图像中对所述人物造成遮挡的遮挡物的像素；若存在所述遮挡像素，则不更新人物历史模板，其中，所述人物历史模板表示用于跟踪所述深度图像中所述人物的模型；若不存在所述遮挡像素，则根据所述潜在边缘区域更新所述人物历史模板。

在本实施例中，所述人像分割模块24，具体用于对所述潜在边缘区域进行超像素处理，确定出所述人物的边界；根据所述边界，将所述人物与所述背景进行分割。

在本实施例中，人像分割装置20还包括：背景替换模块，用于在所述人像分割模块24根据所述潜在边缘区域，将所述人物与背景进行分割之后，利用预设背景图对所述深度图像中的背景进行替换。

在本实施例中，所述背景替换模块，还用于获取所述预设背景图的亮度信息，以及，获取所述人物所在区域的曝光信息；根据所述亮度信息和所述曝光信息，对相机ISP进行调节，其中，所述相机为拍摄所述深度图像的相机。

本申请实施例还提供一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如本实施例中所述的人像分割方法。

综上所述，本申请实施例提供一种人像分割方法、装置、存储介质及电子设备，通过从深度图像检测出包含人物的目标区域，可以有效减少后续处理过程中需要进行处理的信息量，能够尽可能提高处理效率；而根据深度图像的深度信息，从目标区域中确定出人物的潜在边缘区域，可以有效且精准地确定出人物与背景之间的界限；再根据潜在边缘区域，将人物与背景进行分割，这样的人像分割方式，既可以保证分割的效率，还能够提升人像分割的质量，且无需使用大量的训练数据，简单高效，节省成本，另外，此方式分割人像，几乎不受图像背景的影响，具有很高的可靠性；以及，此方法能够应用的距离范围广泛，且均能够保证分割效果。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种人像分割方法，其特征在于，所述方法包括：

获取包含人物的深度图像；

从所述深度图像检测出包含所述人物的目标区域；

根据所述深度图像的深度信息，从所述目标区域中确定出所述人物的潜在边缘区域；

根据所述潜在边缘区域，将所述人物与背景进行分割，其中，所述背景表示所述深度图像中除所述人物之外的图像。

2.根据权利要求1所述的人像分割方法，其特征在于，所述根据所述深度图像的深度信息，从所述目标区域中确定出所述人物的潜在边缘区域，包括：

根据所述深度图像的深度信息，确定出所述目标区域中所述人物所在的深度距离范围，其中，所述深度距离范围为连续的景深区域；

根据所述深度距离范围，从所述目标区域中确定出所述人物的潜在边缘区域。

3.根据权利要求2所述的人像分割方法，其特征在于，所述根据所述深度图像的深度信息，确定出所述目标区域中所述人物所在的深度距离范围，包括：

根据所述深度图像的深度信息，确定出所述目标区域中每个像素的距离信息；

对所述目标区域的距离信息进行分组，并对分组后的距离信息进行聚类；

根据聚类结果确定出所述人物所在的所述深度距离范围。

4.根据权利要求2所述的人像分割方法，其特征在于，所述根据所述深度距离范围，从所述目标区域中确定出所述人物的潜在边缘区域，包括：

从所述目标区域中确定出位于所述深度距离范围内的区域像素；

根据所述区域像素，确定出所述潜在边缘区域。

5.根据权利要求4所述的人像分割方法，其特征在于，在所述根据所述区域像素，确定出所述潜在边缘区域之后，所述方法还包括：

判断所述目标区域内是否存在遮挡像素，其中，所述遮挡像素表示所述深度图像中对所述人物造成遮挡的遮挡物的像素；

若存在所述遮挡像素，则不更新人物历史模板，其中，所述人物历史模板表示用于跟踪所述深度图像中所述人物的模型；

若不存在所述遮挡像素，则根据所述潜在边缘区域更新所述人物历史模板。

6.根据权利要求1所述的人像分割方法，其特征在于，所述根据所述潜在边缘区域，将所述人物与背景进行分割，包括：

对所述潜在边缘区域进行超像素处理，确定出所述人物的边界；

根据所述边界，将所述人物与所述背景进行分割。

7.根据权利要求1至6中任一项所述的人像分割方法，其特征在于，在所述根据所述潜在边缘区域，将所述人物与背景进行分割之后，所述方法还包括：

利用预设背景图对所述深度图像中的背景进行替换。

8.一种人像分割装置，其特征在于，包括：

图像获取模块，用于获取包含人物的深度图像；

人物检测模块，用于从所述深度图像检测出包含所述人物的目标区域；

边缘确定模块，用于根据所述深度图像的深度信息，从所述目标区域中确定出所述人物的潜在边缘区域；

人像分割模块，用于根据所述潜在边缘区域，将所述人物与背景进行分割，其中，所述背景表示所述深度图像中除所述人物之外的图像。

9.一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至7中任一项所述的人像分割方法。

10.一种电子设备，其特征在于，包括存储器和处理器，所述存储器用于存储包括程序指令的信息，所述处理器用于控制程序指令的执行，所述程序指令被处理器加载并执行时，实现如权利要求1至7中任一项所述的人像分割方法。

Images