CN117011155A - 偏振光内窥镜的图像处理方法及计算机可读存储介质 - Google Patents

Abstract

本申请实施例提供一种偏振光内窥镜的图像处理方法及计算机可读存储介质，该方法包括：获取多个初始图像，所述多个初始图像基于偏振光内窥镜的偏振光传感器采集的多个偏振角度的偏振光对应得到；根据所述多个初始图像，确定所述偏振光内窥镜所在环境的光强度信息以及合成偏振度信息；根据所述光强度信息以及所述合成偏振度信息，确定多个偏振强度信息；根据所述多个偏振强度信息、预设的目标物的偏振度信息以及预设的背景的偏振度信息，生成目标合成图像，所述目标合成图像用于表征所述偏振光内窥镜所在环境的偏振成像。使用该方法使得生成的目标合成图像中的目标物更加清晰。

Description

偏振光内窥镜的图像处理方法及计算机可读存储介质

技术领域

本申请涉及内窥镜技术领域，具体而言，涉及一种偏振光内窥镜的图像处理方法及计算机可读存储介质。

背景技术

内窥镜是医疗领域的重要辅助工具，能够人体的天然孔道或者是经手术微创创口进入人体和脏器内以拍摄到其他仪器无法直接观察到的病灶组织。现有的内窥镜按功能可划分为：4K内窥镜、荧光内窥镜、窄带光内窥镜、3D内窥镜等，这些内窥镜借助于各自的工作原理，能够实现较好的功能和性能。然而，这些内窥镜在存在血水、浑浊水、组织小屑末等的手术环境下难以清晰成像，进而会影响内窥镜的成像结果。偏振光内窥镜的出现，能够较好地解决这一问题。原因在于，偏振光内窥镜中设置了偏振光传感器，能够实现偏振成像，偏振成像正好可以实现去除血水、浑浊水、组织小屑末等的功能。

然而，现有的偏振光内窥镜的成像方法中对于目标物与背景未做明确的区分，会影响成像结果中目标物的清晰度。

发明内容

本申请的目的在于，针对上述现有技术中的不足，提出一种偏振光内窥镜的图像处理方法及计算机可读存储介质，利用目标物和背景的偏振信息的差异性实现成像，使得成像结果中目标物的清晰度得到极大提升。

第一方面，本申请实施例提供一种偏振光内窥镜的图像处理方法，包括：

获取多个初始图像，所述多个初始图像基于偏振光内窥镜的偏振光传感器采集的多个偏振角度的偏振光对应得到；

根据所述多个初始图像，确定所述偏振光内窥镜所在环境的光强度信息以及合成偏振度信息；

根据所述光强度信息以及所述合成偏振度信息，确定多个偏振强度信息；

根据所述多个偏振强度信息、预设的目标物的偏振度信息以及预设的背景的偏振度信息，生成目标合成图像，所述目标合成图像用于表征所述偏振光内窥镜所在环境的偏振成像。

该方法中，根据获取的多个偏振角度下的多个初始图像，可以确定出偏振光内窥镜所在环境的光强度信息以及合成偏振度信息，根据该光强度信息和合成偏振度信息，可以确定多个偏振强度信息。利用该多个偏振强度信息，可以分析获知在当前所在环境下多种透射强度之间的相关性，利用这种相关性以及预先得到的目标物的偏振度信息以及背景的偏振度信息进行成像处理。通过在成像处理过程中充分考虑目标物与背景在偏振度上的差异以及实际环境下多个方向的偏振度的相关性，可以使得目标物相对于背景更加突出，相应使得生成的目标合成图像中的目标物更加清晰，从而极大提升目标合成图像中的目标物的清晰度。

作为一种可选的实现方式，所述根据所述多个初始图像，确定所述偏振光内窥镜所在环境的光强度信息以及合成偏振度信息，包括：

根据所述多个初始图像，确定所述偏振光内窥镜所在环境的光强度信息以及至少一个方向上的偏振光分量；

根据所述光强度信息以及所述至少一个方向上的偏振光分量，确定所述合成偏振度信息。

该方法中，由于使用偏振光内窥镜所在环境的光强度信息以及至少一个方向上的偏振光分量合成偏振度信息，可以使得所确定出的合成偏振度信息可以更加准确地表征偏振光内窥镜所在环境的总体偏振度。

作为一种可选的实现方式，所述根据所述多个初始图像，确定所述偏振光内窥镜所在环境的光强度信息以及至少一个方向上的偏振光分量，包括：

以所述多个初始图像作为输入参数，确定斯托克斯矢量；

基于所述斯托克斯矢量，得到所述光强度信息以及所述至少一个方向上的偏振光分量；

其中，所述至少一个方向上的偏振光分量包括如下至少一项：X轴方向直线偏振光分量、45度方向直线偏振光分量、圆偏振分量。

该方法中，利用计算斯托克斯矢量得到上述的光强度信息以及至少一个方向上的偏振光分量，可以保证得到的光强度信息以及各偏振光分量的准确性。

作为一种可选的实现方式，所述根据所述光强度信息以及所述至少一个方向上的偏振光分量，确定所述合成偏振度信息，包括：

根据所述光强度信息、所述X轴方向直线偏振光分量、所述45度方向直线偏振光分量以及所述圆偏振分量，确定所述合成偏振度信息。

该方法中，利用三种方向上的偏振光分量与光强度信息计算合成偏振度信息，由于三种方向上的偏振光分量所代表的偏振光分量更加完整，因此，能够保证计算得到的合成偏振度信息更加准确。

作为一种可选的实现方式，所述根据所述光强度信息以及所述至少一个方向上的偏振光分量，确定所述合成偏振度信息，包括：

根据所述光强度信息、所述X轴方向直线偏振光分量以及所述45度方向直线偏振光分量，确定所述合成偏振度信息。

该方法中，忽略圆偏振分量，仅使用X轴方向直线偏振光分量以及45度方向直线偏振光分量计算合成偏振度信息，可以在不影响计算结果准确性的前提下降低计算复杂度，提升计算效率。

作为一种可选的实现方式，所述根据所述光强度信息以及所述合成偏振度信息，确定多个偏振强度信息，包括：

根据所述合成偏振度信息以及所述光强度信息，分别确定最小亮度偏振信息以及最大亮度偏振信息。

该方法中，通过确定最小亮度偏振信息以及最大亮度偏振信息，可以使得后续利用该最小亮度偏振信息以及最大亮度偏振信息可以得到目标物清晰度更高的目标合成图像。

作为一种可选的实现方式，所述根据所述多个偏振强度信息、预设的目标物的偏振度信息以及预设的背景的偏振度信息，生成目标合成图像，包括：

根据所述最小亮度偏振信息以及所述背景的偏振度信息，确定第一参数信息，所述第一参数信息用于表征背景偏振度与偏振信息最小时的相互作用程度；

根据所述最大亮度偏振信息以及所述背景的偏振度信息，确定第二参数信息，所述第二参数信息用于表征背景偏振度与偏振信息最大时的相互作用程度；

根据所述背景的偏振度信息以及所述目标物的偏振度信息，确定第三参数信息，所述第三参数信息用于表征所述背景的偏振度信息与所述目标物的偏振度信息之间的差异；

根据所述第一参数信息、所述第二参数信息以及所述第三参数信息，生成所述目标合成图像。

该方法中，利用最大亮度偏振信息、最小亮度偏振信息、目标物的偏振度信息以及背景的偏振度信息，可以计算出背景偏振度与偏振信息最大时的相互作用程度、背景偏振度与偏振信息最大时的相互作用程度以及背景的偏振度信息与目标物的偏振度信息之间的差异，利用这三种信息，可以得到目标物更加清晰的目标合成图像。

作为一种可选的实现方式，所述根据所述多个偏振强度信息、预设的目标物的偏振度信息以及预设的背景的偏振度信息，生成目标合成图像之后，所述方法还包括：

确定所述目标合成图像的透过率信息以及全局杂散信息；

根据所述透过率信息以及全局杂散信息，对所述目标合成图像进行去浑浊处理，得到去浑浊处理后的图像。

该方法中，利用透过率信息以及全局杂散信息对目标合成图像进行去浑浊处理，可以使得去浑浊处理后的图像的清晰度得到极大提升。

作为一种可选的实现方式，所述确定所述目标合成图像的透过率信息以及全局杂散信息，包括：

对所述目标合成图像进行梯度导向滤波，得到所述透过率信息；

确定所述目标合成图像的最小值图；

从所述最小值图中提取目标像素点的像素值，将所述像素值作为所述全局杂散信息，其中，所述目标像素点包括：所述最小值图中亮度值最大的像素点。

作为一种可选的实现方式，所述根据所述透过率信息以及全局杂散信息，对所述目标合成图像进行去浑浊处理，得到去浑浊处理后的图像之后，所述方法还包括：

将所述去浑浊处理后的图像划分为多个图像块；

分别对各图像块进行像素值均衡处理以及双线性插值处理，得到由像素值均衡处理以及双线性插值处理后的图像块组成的增强图像。

作为一种可选的实现方式，所述分别对各图像块进行像素值均衡处理以及双线性插值处理，得到由像素值均衡处理以及双线性插值处理后的图像块组成的增强图像之后，所述方法还包括：

将所述增强图像输入预先训练得到的颜色恢复模型，由所述颜色恢复模型对所述增强图像中的目标物和/或背景进行颜色修正，得到修正后图像。

第二方面，本申请实施例提供一种偏振光内窥镜的图像处理装置，包括：

获取模块，用于获取多个初始图像，所述多个初始图像基于偏振光内窥镜的偏振光传感器采集的多个偏振角度的偏振光对应得到；

第一确定模块，用于根据所述多个初始图像，确定所述偏振光内窥镜所在环境的光强度信息以及合成偏振度信息；

第二确定模块，用于根据所述光强度信息以及所述合成偏振度信息，确定多个偏振强度信息；

生成模块，用于根据所述多个偏振强度信息、预设的目标物的偏振度信息以及预设的背景的偏振度信息，生成目标合成图像，所述目标合成图像用于表征所述偏振光内窥镜所在环境的偏振成像。

第三方面，本申请实施例提供一种成像处理装置，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，当成像处理装置运行时，所述处理器执行所述机器可读指令，以执行时执行上述第一方面所述的偏振光内窥镜的图像处理方法的步骤。

第四方面，本申请实施例提供一种内窥镜成像系统，该内窥镜成像系统可以包括偏振光内窥镜以及上述第三方面所述的成像处理装置，所述偏振光内窥镜与所述成像处理装置通信连接。

第五方面，本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述第一方面所述的偏振光内窥镜的图像处理方法的步骤。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的偏振光内窥镜的图像处理方法的系统架构示意图；

图2为本申请实施例提供的偏振光内窥镜的图像处理方法的流程示意图；

图3为本申请实施例提供的偏振光内窥镜的图像处理方法的另一流程示意图；

图4为本申请实施例提供的偏振光内窥镜的图像处理方法的又一流程示意图；

图5为本申请实施例提供的偏振光内窥镜的图像处理方法的再一流程示意图；

图6为本申请实施例的整体处理流程示例图；

图7为本申请实施例提供的偏振光内窥镜的图像处理装置的模块结构图；

图8为本申请实施例提供的成像处理装置80的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。

另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。

相关技术中的偏振光内窥镜的成像方法对于目标物与背景未做明确的区分。其中，目标物可以指病变组织，背景可以包括病变组织周围的腔体、腔体内的液体等。由于没有对目标物和背景进行明确区分，因此在成像过程针对目标物和背景会使用相同的参数和方式进行成像处理。然而，不同物体对于入射光的反射并不相同，因此，针对目标物和背景使用相同的参数和方式进行成像处理，会影响成像结果中目标物的清晰度。

本申请实施例基于上述问题，提出一种偏振光内窥镜的图像处理方法，充分考虑了目标物和背景在偏振度上的差异，基于目标物对应的偏振度、背景对应的偏振度以及多个偏振强度信息进行成像处理，可以极大提升成像结果中的目标物的清晰度。

图1为本申请实施例提供的偏振光内窥镜的图像处理方法的系统架构示意图，如图1所示，该方法可以应用于内窥镜成像系统中，该内窥镜成像系统可以包括偏振光内窥镜以及成像处理装置。偏振光内窥镜与成像处理装置之间可以通过有线或无线方式实现通信连接。偏振光内窥镜可以伸入目标对象内部。偏振光内窥镜内部设置有偏振光传感器。当内窥镜伸入目标对象内部时，偏振光传感器能够在目标对象内部环境下采集偏振光信号，并将偏振光信号转换为电信号，以得到初始图像。示例性的，偏振光内窥镜中除了设置有上述偏振光传感器外，还设置有光学棱镜和光学镜头。其中，光学镜头为光源产生的白光提供射向目标对象内部环境的光路，白光射向目标对象内部环境后形成返回光，光学镜头所形成的光路将该返回光引导至光学棱镜，光学棱镜将返回光传输至偏振光传感器的光场范围内，以使得偏振光传感器采集到偏振光信号并转换为上述的初始图像。偏振光传感器进而可以将该初始图像传输至上述成像处理装置，由上述成像处理装置利用本申请实施例的方法进行成像处理，以得到目标合成图像，并进行去浑浊处理等以得到输出图像。其中，上述成像处理装置例如可以是包含现场可编程门阵列(Field Programmable Gate Array，简称FPGA)以及图像处理器(Graphics Processing Unit，简称GPU)的设备或装置。示例性的，在下述实施例中，可以由FPGA对偏振光传感器所发送的初始图像进行处理以得到目标合成图像，并由GPU进行图像的去浑浊处理、增强处理以及颜色修正处理等得到输出图像。

一种示例中，上述的目标对象例如可以是人体内的病变组织(或称为病灶组织)，目标对象内部环境例如可以是人的腹腔，腹腔内包括血水、浑浊水、组织屑末等背景。当偏振光内窥镜深入人的腹腔时，偏振光传感器能够采集偏振光信号并进行转换，以得到包含病变组织以及腹腔内背景的初始图像。

图2为本申请实施例提供的偏振光内窥镜的图像处理方法的流程示意图，该方法的执行主体可以为前述的成像处理装置。如图2所示，该方法包括：

S201、获取多个初始图像，该多个初始图像基于偏振光内窥镜的偏振光传感器采集的多个偏振角度的偏振光对应得到。

可选的，如上所述的，偏振光传感器能够采集在目标对象内部环境下的偏振光信号，并将偏振光信号转换为电信号。其中，偏振光传感器的前端设置有偏振片，偏振片是可旋转的光学器件，相应可以具有多个偏振角度。偏振光传感器的偏振片的旋转角度可以为0度到360度。可以预先设定旋转角度中的某个角度为初始角度。以该初始角度为基准，可以将顺时针方向作为正向角度，逆时针方向作为逆向角度。例如，从初始角度开始顺时针旋转30度，则偏振角度为30度，在该旋转到的角度上采集偏振光，可以看作是在30度这个偏振角度上采集偏振光。从初始角度开始拟时针旋转30度，则偏振角度为360度减去30度，即330度，在该旋转到的角度上采集偏振光，可以看作是在330度这个偏振角度上采集偏振光。

作为一种示例，本申请实施例中可以由偏振光传感器采集0度、45度、90度以及135度这四个偏振角度的偏振光并分别进行电信号转换，从而得到四个初始图像，每个初始图像分别对应0度、45度、90度以及135度这四个偏振角度中的一个偏振角度。

S202、根据上述多个初始图像，确定上述偏振光内窥镜所在环境的光强度信息以及合成偏振度信息。

可选的，上述偏振光内窥镜所在环境是指前述的目标对象内部环境，例如人的腹腔。腹腔内包括病变组织以及血水、浑浊水、组织屑末等。其中，病变组织作为下述实施例中的目标物，除目标物之外的血水、浑浊水、组织屑末等作为下述实施例中的背景。

可选的，由于上述多个初始图像是不同偏振角度的图像，因此，基于这些初始图像，能够确定出偏振光内窥镜所在环境的光强度信息以及合成偏振度信息。其中，该光强度信息可以指示偏振光内窥镜所在环境的总光强度。该合成偏振度信息可以指示偏振光内窥镜所在环境的总体偏振度。

可选的，光的偏振度表示一束光中偏振光占整个光能量的比例，偏振度可以通过如下公式(1)计算得到。

其中，P_polarized表示一束光中偏振光的强度，单位可以为mW，P_unpolarized表示一束光中非偏振光的强度，单位可以为mW，P_total表示完整光强度，单位为mW，DOP表示光的偏振度。

可选的，利用上述多个初始图像可以解析得到不同偏振角度的偏振光状态，通过对不同偏振角度的偏振光状态的融合处理，可以得到上述合成偏振度。

S203、根据上述光强度信息以及上述合成偏振度信息，确定多个偏振强度信息。

可选的，上述偏振强度信息可以指示偏振光的透射强度，上述多个偏振强度信息可以表示不同方向的多个偏振图像。

示例性的，上述多个偏振强度信息可以包括最大亮度偏振信息以及最小亮度偏振信息。应理解的，同一光照强度下，不同的偏振角度，有不同亮度的偏振信息，亮度最大的称之为最大亮度偏振信息，即所有偏振方向的清晰度状态相对最好的偏振信息，故也称为最佳偏振信息；反之，亮度最小的称之为最小亮度偏振信息，即所有偏振方向的清晰度状态相对最差的偏振信息，故也称为最差偏振信息。

S204、根据上述多个偏振强度信息、预设的目标物的偏振度信息以及预设的背景的偏振度信息，生成目标合成图像，该目标合成图像用于表征上述偏振光内窥镜所在环境的偏振成像。

可选的，上述目标物的偏振度信息以及上述背景的偏振度信息可以预先通过模拟仿真、实验等方式验证得到。

可选的，上述多个偏振强度信息表示了偏振光内窥镜在当前所在环境下的不同方向的多个偏振度图像。利用偏振光内窥镜在当前所在环境下的不同方向的多个偏振度图像，可以分析得出在当前所在环境下多种透射强度之间的相关性，利用这种相关性以及预先得到的目标物的偏振度信息以及背景的偏振度信息，可以使得目标物相对于背景更加突出，相应使得生成的目标合成图像中的目标物更加清晰。

本实施例中，根据获取的多个偏振角度下的多个初始图像，可以确定出偏振光内窥镜所在环境的光强度信息以及合成偏振度信息，根据该光强度信息和合成偏振度信息，可以确定多个偏振强度信息。利用该多个偏振强度信息，可以分析获知在当前所在环境下多种透射强度之间的相关性，利用这种相关性以及预先得到的目标物的偏振度信息以及背景的偏振度信息进行成像处理。通过在成像处理过程中充分考虑目标物与背景在偏振度上的差异以及实际环境下多种透射强度的相关性，可以使得目标物相对于背景更加突出，相应使得生成的目标合成图像中的目标物更加清晰，从而极大提升目标合成图像中的目标物的清晰度。

作为一种可选的实施方式，上述步骤S202可以通过如下方式实现。

图3为本申请实施例提供的偏振光内窥镜的图像处理方法的另一流程示意图，如图3所示，上述步骤S202可以包括：

S301、根据上述多个初始图像，确定上述偏振光内窥镜所在环境的光强度信息以及至少一个方向上的偏振光分量。

可选的，上述多个初始图像中的每个初始图像分别为一个偏振角度下的图像，各初始图像对应的偏振角度可以各不相同并且可以各偏振角度可以均匀分布。例如，各偏振角度例如可以包括前述的0度、45度、90度以及135度。利用多个偏振角度所对应的多个初始图像，可以确定出上述光强度信息以及上述至少一个方向上的偏振光分量。其中，该至少一个方向可以是上述多个偏振角度所指示的方向中的一个或多个方向，和/或，也可以是上述多个偏振角度所指示的方向之外的方向。应理解，本申请实施例中所述的初始图像对应的偏振角度，是指在该偏振角度下采集并转换得到该初始图像的。相应的，偏振角度对应的初始图像，是指该初始图像是在该偏振角度下采集并转换得到的。

S302、根据上述光强度信息以及上述至少一个方向上的偏振光分量，确定上述合成偏振度信息。

可选的，上述至少一个方向上的偏振光分量中的每个偏振光分量分别表示一个方向上的偏振光分量，通过对这些方向上的偏振光分量的融合分析处理，可以确定上述的合成偏振度信息。即，对至少一个方向的偏振光分量进行融合，可以分析出偏振光内窥镜所在环境的总体偏振度。

本实施例中，由于使用偏振光内窥镜所在环境的光强度信息以及至少一个方向上的偏振光分量合成偏振度信息，可以使得所确定出的合成偏振度信息可以更加准确地表征偏振光内窥镜所在环境的总体偏振度。

作为一种可选的实施方式，上述步骤S301中确定偏振光内窥镜所在环境的光强度信息以及至少一个方向上的偏振光分量时，可以通过计算斯托克斯矢量的方式确定。以下进行具体说明。

可选的，可以以上述多个初始图像作为输入参数，确定斯托克斯矢量，斯托克斯矢量本身是四维的，即包括四个参量。进而，基于该斯托克斯矢量，得到上述光强度信息以及上述至少一个方向上的偏振光分量。

其中，上述至少一个方向上的偏振光分量包括如下至少一项：X轴方向直线偏振光分量、45度方向直线偏振光分量、圆偏振分量。

示例性的，上述多个初始图像对应的偏振角度分别为0度、45度、90度以及135度，则可以通过如下公式(2)至公式(5)计算得到斯托克斯矢量的四个参量，并分别将各斯托克斯矢量作为上述的光强度信息以及各方向上的偏振光分量。

I＝I_0°+I_90° (2)

Q＝I_0°-I_90° (3)

U＝I_45°+I_135° (4)

V＝I_45°,π/2-I_135°,π/2 (5)

其中，在上述公式(2)-(5)中，I_0°表示0度的偏振角度对应的初始图像，I_90°表示90度的偏振角度对应的初始图像，I_45°表示45度的偏振角度对应的初始图像，I_135°表示135度的偏振角度对应的初始图像。I表示上述光强度信息。Q表示X轴方向直线偏振光分量。U表示45度方向直线偏振光分量。V表示圆偏振分量。

本实施例中，利用计算斯托克斯矢量得到上述的光强度信息以及至少一个方向上的偏振光分量，可以保证得到的光强度信息以及各偏振光分量的准确性。

在基于多个斯托克斯矢量得到光强度信息以及至少一个方向上的偏振光分量的基础上，在执行上述步骤S302时，可以利用上述全部斯托克斯矢量的四个参量确定出上述合成偏振度信息，或者，也可以利用上述斯托克斯矢量的四个参量中的部分来确定出上述合成偏振度信息。以下对这两种方式分别进行说明。

第一种方式中，可以根据上述光强度信息、上述X轴方向直线偏振光分量、上述45度方向直线偏振光分量以及上述圆偏振分量，确定上述合成偏振度信息。

在该方式中，利用上述全部斯托克斯矢量的四个参量确定上述合成偏振度信息。示例性的，可以通过如下公式(6)计算上述合成偏振度信息。

其中，I表示上述光强度信息。Q表示X轴方向直线偏振光分量。U表示45度方向直线偏振光分量。V表示圆偏振分量。P表示合成偏振度信息。

在该方式中，利用三种方向上的偏振光分量与光强度信息计算合成偏振度信息，由于三种方向上的偏振光分量所代表的偏振光分量更加完整，因此，能够保证计算得到的合成偏振度信息更加准确。

第二种方式中，可以根据上述光强度信息、上述X轴方向直线偏振光分量以及上述45度方向直线偏振光分量，确定上述合成偏振度信息。

在该方式中，利用上述斯托克斯矢量的四个参量中的三个确定上述合成偏振度信息。示例性的，可以通过如下公式(7)计算上述合成偏振度信息。

其中，I表示上述光强度信息。Q表示X轴方向直线偏振光分量。U表示45度方向直线偏振光分量。P表示合成偏振度信息。

由于水下目标物与背景对光入射的偏振效应中，圆偏振分量的值极小，因此，在该方式中，忽略圆偏振分量，仅使用X轴方向直线偏振光分量以及45度方向直线偏振光分量计算合成偏振度信息，可以在不影响计算结果准确性的前提下降低计算复杂度，提升计算效率。

以下，对前述步骤S203中根据光强度信息以及合成偏振度信息确定多个偏振强度信息的方式进行说明。

可选的，可以根据上述合成偏振度信息以及上述光强度信息，分别确定最小亮度偏振信息以及最大亮度偏振信息。

示例性的，可以通过如下公式(8)和公式(9)计算得到上述最小亮度偏振信息以及上述最大亮度偏振信息。

其中，在上述公式(2)-(5)中，I表示上述光强度信息。P表示合成偏振度信息。Imax表示最大亮度偏振信息，Imin表示最小亮度偏振信息。

本实施例中，通过确定最小亮度偏振信息以及最大亮度偏振信息，可以使得后续利用该最小亮度偏振信息以及最大亮度偏振信息可以得到目标物清晰度更高的目标合成图像。

在确定出上述最小亮度偏振信息以及最大亮度偏振信息的基础上，可以利用其生成前述的目标合成图像。

图4为本申请实施例提供的偏振光内窥镜的图像处理方法的又一流程示意图，如图4所示，上述步骤S204可以包括：

S401、根据上述最小亮度偏振信息以及上述背景的偏振度信息，确定第一参数信息，该第一参数信息用于表征背景偏振度与偏振信息最小时的相互作用程度。

示例性的，可以将背景的偏振度信息与预设的常数相加，再与上述最小亮度偏振信息相乘，以得到上述第一参数信息，该第一参数信息能够衡量出偏振度与偏振信息最小时的相互作用程度。

S402、根据上述最大亮度偏振信息以及上述背景的偏振度信息，确定第二参数信息，该第二参数信息用于表征背景偏振度与偏振信息最大时的相互作用程度。

示例性的，可以将预设的常数减去背景的偏振度信息，再与上述最大亮度偏振信息相乘，以得到上述第二参数信息，该第二参数信息能够衡量出背景偏振度与偏振信息最大时的相互作用程度。

S403、根据上述背景的偏振度信息以及上述目标物的偏振度信息，确定第三参数信息，该第三参数信息用于表征上述背景的偏振度信息与上述目标物的偏振度信息之间的差异。

示例性的，可以将背景的偏振度信息减去目标物的偏振度信息，以得到上述第三参数信息，该第三参数信息能够衡量出背景的偏振度信息与目标物的偏振度信息之间的差异。

值得说明的是，上述步骤S401-S403的执行顺序不分先后，可以并列执行。

S404、根据上述第一参数信息、上述第二参数信息以及上述第三参数信息，生成上述目标合成图像。

示例性的，可以通过如下公式(10)计算得到上述目标合成图像。

其中，Imax表示最大亮度偏振信息，Imin表示最小亮度偏振信息，Pscat表示背景的偏振强度信息，Pobj表示目标物的偏振强度信息。

具体的，通过上述公式中的Imin×(1+Pscat)部分计算得到上述第一参数信息，Imax×(1-Pscat)部分计算得到上述第二参数信息，Pscat-Pobj部分计算得到上述第三参数信息，再将第一参数信息加上第二参数信息后除以第三参数信息，可以得到上述目标合成图像。

值得说明的是，在前述各实施例的执行过程中的各种信息可以均以矩阵的形式来表示，相应的，信息之间的计算处理为矩阵之间的计算。当完成上述公式(10)的计算之后，所得到的矩阵即可以直接表示上述的目标合成图像。

本实施例中，利用最大亮度偏振信息、最小亮度偏振信息、目标物的偏振度信息以及背景的偏振度信息，可以计算出背景对最小亮度的偏振强度的影响程度、背景对最大亮度的偏振强度的影响程度以及背景的偏振度信息与目标物的偏振度信息之间的差异，利用这三种信息，可以得到目标物更加清晰的目标合成图像。

以上实施例说明了获取多个初始图像之后经过得到目标合成图像的过程，可以将前述的过程称为去偏振合成处理的过程。在利用该去偏振合成处理的过程得到上述目标合成图像的基础上，还可以对该目标合成图像进行去浑浊处理、增强处理以及颜色修正处理等，以进一步提升目标合成图像的图像质量。

在具体实施过程中，可以选择上述去浑浊处理、增强处理以及颜色修正处理中的任意一种、或者部分、或者全部，当选择部分或者全部时，各处理过程的执行顺序可以是任意的顺序。例如，当选择去浑浊处理和增强处理时，可以先对目标合成图像进行去浑浊处理，再对去浑浊处理后的图像进行增强处理。或者，也可以先对目标合成图像进行增强处理，再对增强处理后的图像进行去浑浊处理。

本申请以下实施例以选择上述去浑浊处理、增强处理以及颜色修正处理中的全部处理过程，并且执行顺序依次为去浑浊处理、增强处理、颜色修正处理为例进行说明。应理解，这并不是对本申请技术方案的限制。当选择任意一种或部分处理过程，或者选择其他的执行顺序时，各处理过程内部的实施方式可以使用下述实施例中对应处理过程的实施方式。例如，如果仅选择了去浑浊处理以及增强处理，且执行顺序为先增强处理再去浑浊处理，则其中的增强处理的实施方式可以为下述实施例中增强处理的实施方式，去浑浊处理的实施方式可以为下述实施例中去浑浊处理的实施方式，区别仅在于输入的图像不同。

图5为本申请实施例提供的偏振光内窥镜的图像处理方法的再一流程示意图，如图5所示，在通过前述实施例得到上述目标合成图像之后，上述方法还包括：

S501、确定上述目标合成图像的透过率信息以及全局杂散信息。

可选的，可以对上述目标合成图像进行梯度导向滤波，得到上述透过率信息。同时，确定上述目标合成图像的最小值图，并从上述最小值图中提取目标像素点的像素值，将该像素值作为上述全局杂散信息，其中，上述目标像素点包括：上述最小值图中亮度值最大的像素点。

示例性的，可以首先对上述目标合成图像进行梯度导向滤波，得到初始的透过率初始值，在利用下述公式(11)计算得到上述透过率信息。

u′＝1-w×u (11)

其中，u为透过率初始值，w为去浑浊系数，u′为上述透过率信息。

示例性的，可以计算上述目标合成图像的R、G、B中的最小值，再进行最小值滤波处理，从而可以得到上述最小值图。

S502、根据上述透过率信息以及全局杂散信息，对上述目标合成图像进行去浑浊处理，得到去浑浊处理后的图像。

示例性的，可以通过如下公式(12)计算得到去浑浊处理后的图像。

其中，OBJ为上述的目标合成图像，u′为上述透过率信息，p为上述全局杂散信息，H为去浑浊处理后的图像。

本实施例中，利用透过率信息以及全局杂散信息对目标合成图像进行去浑浊处理，可以使得去浑浊处理后的图像的清晰度得到极大提升。

可选的，在得到上述去浑浊处理后的图像的基础上，还可以对该图像进行增强处理，以增强图像的对比对度。

可选的，可以将上述去浑浊处理后的图像划分为多个图像块，并分别对各图像块进行像素值均衡处理以及双线性插值处理，得到由像素值均衡处理以及双线性插值处理后的图像块组成的增强图像。

其中，可以对每个图像块进行直方图均衡化。具体的，对每个图像块先进行修正，使得像素值统计较多的部分分布给每一级像素值，从而实现均匀化的效果。另外，对每个图像块进行双线性插值处理以去除局部处理所引起的块效应。

可选的，在得到上述增强图像的基础上，还可以对该增强图像进行颜色修正处理，以使得得到的修正后图像能够接近偏振光内窥镜所在环境的真实颜色，以更加清晰地呈现出偏振光内窥镜所在环境的图像。

可选的，可以将上述增强图像输入预先训练得到的颜色恢复模型，由该颜色恢复模型对上述增强图像中的目标物和/或背景进行颜色修正，得到修正后图像。

示例性的，可以预先解析图像的深度信息，以建立偏振光内窥镜所在环境的朗伯反射模型，再利用该模型修正得到上述修正后图像，从而重建出偏振光内窥镜所在环境的各种组织颜色。例如，可以重建出人的腹腔内血水、浑浊水、组织屑末等的颜色。

上述的去浑浊处理、增强处理以及颜色修正处理可以整体看作是图像的清晰化处理过程。基于此，图6为本申请实施例的整体处理流程示例图，如图6所示，本申请首先获取0度、45度、90度以及135度这四个偏振角度对应的初始图像，并通过前述的去偏振合成处理过程得到目标合成图像，对目标合成图像进行上述清晰化处理过程，从而得到图像质量更高的输出图像。

基于同一发明构思，本申请实施例中还提供了与偏振光内窥镜的图像处理方法对应的偏振光内窥镜的图像处理装置，由于本申请实施例中的装置解决问题的原理与本申请实施例上述偏振光内窥镜的图像处理方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

图7为本申请实施例提供的偏振光内窥镜的图像处理装置的模块结构图，如图7所示，该装置包括：

获取模块701，用于获取多个初始图像，所述多个初始图像基于偏振光内窥镜的偏振光传感器采集的多个偏振角度的偏振光对应得到。

第一确定模块702，用于根据所述多个初始图像，确定所述偏振光内窥镜所在环境的光强度信息以及合成偏振度信息。

第二确定模块703，用于根据所述光强度信息以及所述合成偏振度信息，确定多个偏振强度信息。

生成模块704，用于根据所述多个偏振强度信息、预设的目标物的偏振度信息以及预设的背景的偏振度信息，生成目标合成图像，所述目标合成图像用于表征所述偏振光内窥镜所在环境的偏振成像。

作为一种可选的实施方式，所述第一确定模块702具体用于：

根据所述多个初始图像，确定所述偏振光内窥镜所在环境的光强度信息以及至少一个方向上的偏振光分量；

根据所述光强度信息以及所述至少一个方向上的偏振光分量，确定所述合成偏振度信息。

作为一种可选的实施方式，所述第一确定模块702具体用于：

以所述多个初始图像作为输入参数，确定多个斯托克斯矢量；

基于所述多个斯托克斯矢量，得到所述光强度信息以及所述至少一个方向上的偏振光分量；

其中，所述至少一个方向上的偏振光分量包括如下至少一项：X轴方向直线偏振光分量、45度方向直线偏振光分量、圆偏振分量。

作为一种可选的实施方式，所述第一确定模块702具体用于：

根据所述光强度信息、所述X轴方向直线偏振光分量、所述45度方向直线偏振光分量以及所述圆偏振分量，确定所述合成偏振度信息。

作为一种可选的实施方式，所述第一确定模块702具体用于：

根据所述光强度信息、所述X轴方向直线偏振光分量以及所述45度方向直线偏振光分量，确定所述合成偏振度信息。

作为一种可选的实施方式，所述第二确定模块703具体用于：

根据所述合成偏振度信息以及所述光强度信息，分别确定最小亮度偏振信息以及最大亮度偏振信息。

作为一种可选的实施方式，所述生成模块704具体用于：

根据所述最小亮度偏振信息以及所述背景的偏振度信息，确定第一参数信息，所述第一参数信息用于表征背景偏振度与偏振信息最小时的相互作用程度；

根据所述最大亮度偏振信息以及所述背景的偏振度信息，确定第二参数信息，所述第二参数信息用于表征背景偏振度与偏振信息最大时的相互作用程度；

根据所述背景的偏振度信息以及所述目标物的偏振度信息，确定第三参数信息，所述第三参数信息用于表征所述背景的偏振度信息与所述目标物的偏振度信息之间的差异；

根据所述第一参数信息、所述第二参数信息以及所述第三参数信息，生成所述目标合成图像。

作为一种可选的实施方式，所述生成模块704还用于：

确定所述目标合成图像的透过率信息以及全局杂散信息；

根据所述透过率信息以及全局杂散信息，对所述目标合成图像进行去浑浊处理，得到去浑浊处理后的图像。

作为一种可选的实施方式，所述生成模块704具体用于：

对所述目标合成图像进行梯度导向滤波，得到所述透过率信息；

确定所述目标合成图像的最小值图；

从所述最小值图中提取目标像素点的像素值，将所述像素值作为所述全局杂散信息，其中，所述目标像素点包括：所述最小值图中亮度值最大的像素点。

作为一种可选的实施方式，所述生成模块704还用于：

将所述去浑浊处理后的图像划分为多个图像块；

分别对各图像块进行像素值均衡处理以及双线性插值处理，得到由像素值均衡处理以及双线性插值处理后的图像块组成的增强图像。

作为一种可选的实施方式，所述生成模块704还用于：

将所述增强图像输入预先训练得到的颜色恢复模型，由所述颜色恢复模型对所述增强图像中的目标物和/或背景进行颜色修正，得到修正后图像。

本申请实施例还提供了一种成像处理装置80，如图8所示，为本申请实施例提供的成像处理装置80的结构示意图，包括：处理器81、存储器82，可选的，还可以包括总线83。所述存储器82存储有所述处理器81可执行的机器可读指令(比如，图7中的装置中获取模块701、第一确定模块702、第二确定模块703、生成模块704对应的执行指令等)，当成像处理装置80运行时，所述处理器81与所述存储器82之间通过总线83通信，所述机器可读指令被所述处理器81执行时执行前述方法实施例中的方法步骤。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述偏振光内窥镜的图像处理方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (12)

1.一种偏振光内窥镜的图像处理方法，其特征在于，包括：

获取多个初始图像，所述多个初始图像基于偏振光内窥镜的偏振光传感器采集的多个偏振角度的偏振光对应得到；

根据所述多个初始图像，确定所述偏振光内窥镜所在环境的光强度信息以及合成偏振度信息；

根据所述光强度信息以及所述合成偏振度信息，确定多个偏振强度信息；

根据所述多个偏振强度信息、预设的目标物的偏振度信息以及预设的背景的偏振度信息，生成目标合成图像，所述目标合成图像用于表征所述偏振光内窥镜所在环境的偏振成像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述多个初始图像，确定所述偏振光内窥镜所在环境的光强度信息以及合成偏振度信息，包括：

根据所述多个初始图像，确定所述偏振光内窥镜所在环境的光强度信息以及至少一个方向上的偏振光分量；

根据所述光强度信息以及所述至少一个方向上的偏振光分量，确定所述合成偏振度信息。

3.根据权利要求2所述的方法，其特征在于，所述根据所述多个初始图像，确定所述偏振光内窥镜所在环境的光强度信息以及至少一个方向上的偏振光分量，包括：

以所述多个初始图像作为输入参数，确定斯托克斯矢量；

基于所述斯托克斯矢量，得到所述光强度信息以及所述至少一个方向上的偏振光分量；

其中，所述至少一个方向上的偏振光分量包括如下至少一项：X轴方向直线偏振光分量、45度方向直线偏振光分量、圆偏振分量。

4.根据权利要求3所述的方法，其特征在于，所述根据所述光强度信息以及所述至少一个方向上的偏振光分量，确定所述合成偏振度信息，包括：

根据所述光强度信息、所述X轴方向直线偏振光分量、所述45度方向直线偏振光分量以及所述圆偏振分量，确定所述合成偏振度信息。

5.根据权利要求3所述的方法，其特征在于，所述根据所述光强度信息以及所述至少一个方向上的偏振光分量，确定所述合成偏振度信息，包括：

根据所述光强度信息、所述X轴方向直线偏振光分量以及所述45度方向直线偏振光分量，确定所述合成偏振度信息。

6.根据权利要求1所述的方法，其特征在于，所述根据所述光强度信息以及所述合成偏振度信息，确定多个偏振强度信息，包括：

根据所述合成偏振度信息以及所述光强度信息，分别确定最小亮度偏振信息以及最大亮度偏振信息。

7.根据权利要求6所述的方法，其特征在于，所述根据所述多个偏振强度信息、预设的目标物的偏振度信息以及预设的背景的偏振度信息，生成目标合成图像，包括：

根据所述最小亮度偏振信息以及所述背景的偏振度信息，确定第一参数信息，所述第一参数信息用于表征背景偏振度与偏振信息最小时的相互作用程度；

根据所述最大亮度偏振信息以及所述背景的偏振度信息，确定第二参数信息，所述第二参数信息用于表征背景偏振度与偏振信息最大时的相互作用程度；

根据所述背景的偏振度信息以及所述目标物的偏振度信息，确定第三参数信息，所述第三参数信息用于表征所述背景的偏振度信息与所述目标物的偏振度信息之间的差异；

根据所述第一参数信息、所述第二参数信息以及所述第三参数信息，生成所述目标合成图像。

8.根据权利要求1-7任一项所述的方法，其特征在于，所述根据所述多个偏振强度信息、预设的目标物的偏振度信息以及预设的背景的偏振度信息，生成目标合成图像之后，所述方法还包括：

确定所述目标合成图像的透过率信息以及全局杂散信息；

根据所述透过率信息以及全局杂散信息，对所述目标合成图像进行去浑浊处理，得到去浑浊处理后的图像。

9.根据权利要求8所述的方法，其特征在于，所述确定所述目标合成图像的透过率信息以及全局杂散信息，包括：

对所述目标合成图像进行梯度导向滤波，得到所述透过率信息；

确定所述目标合成图像的最小值图；

从所述最小值图中提取目标像素点的像素值，将所述像素值作为所述全局杂散信息，其中，所述目标像素点包括：所述最小值图中亮度值最大的像素点。

10.根据权利要求8所述的方法，其特征在于，所述根据所述透过率信息以及全局杂散信息，对所述目标合成图像进行去浑浊处理，得到去浑浊处理后的图像之后，所述方法还包括：

将所述去浑浊处理后的图像划分为多个图像块；

分别对各图像块进行像素值均衡处理以及双线性插值处理，得到由像素值均衡处理以及双线性插值处理后的图像块组成的增强图像。

11.根据权利要求10所述的方法，其特征在于，所述分别对各图像块进行像素值均衡处理以及双线性插值处理，得到由像素值均衡处理以及双线性插值处理后的图像块组成的增强图像之后，所述方法还包括：

将所述增强图像输入预先训练得到的颜色恢复模型，由所述颜色恢复模型对所述增强图像中的目标物和/或背景进行颜色修正，得到修正后图像。

12.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至11任一所述的偏振光内窥镜的图像处理方法的步骤。