CN111179170A - 一种显微血细胞图像快速全景拼接方法 - Google Patents

Abstract

本发明公开了一种显微血细胞图像快速全景拼接方法，固定显微相机，使移动平台按照“弓”字型路线连续采集血液样本玻片，获得显微血细胞图像数据，使用高斯算子对待拼接图像进行滤波去噪处理，利用SURF特征法提取图像特征点，并利用FLANN方法进行特征匹配，与设定值进行比较，去除重复图像，得到粗匹配结果，采用随机抽样一致性方法求解待拼接图像和完成拼接图像的坐标变换单应性矩阵，并再次使用随机抽样一致性方法获得精确匹配点对，根据所述精匹配点对，计算所述图像A和所述图像B的位置关系，并完成坐标的统一，所述对重合区域进行融合过渡，完成拼接，遍历所有血液样本玻片，依次进行拼接计算，输出全景血细胞图像，提高拼接质量和速度。

Description

一种显微血细胞图像快速全景拼接方法

技术领域

本发明涉及图像拼接技术领域，尤其涉及一种显微血细胞图像快速全景拼接方法。

背景技术

在血细胞形态分析中，由于显微镜视场角的限制，采集到的图像不能反映显微物体的全部信息。显微物体在同一焦平面的目标很多，即使在低倍率物镜下采集仍然需要好几张图像才能完全反映物体信息，更不用说在高倍率物镜下。为了获得大视野显微图像，需要多张高倍率图像进行拼接，使得组合成一张全场景大视野图像，方便核实和确认血细胞的形态和种类。现阶段图像拼接需要先检测图像之间的重叠区域，根据相互间位置关系，将重叠区域部分进行无缝融合，从而得到全景或大场景的图像，但在整个图像拼接运算中，成百上千张图像拼接非常耗时，特征提取计算量大，对重叠区域重叠比例要求较高。连续拼接多张图之后，由于累积误差的存在，全景图的尺度会发生变化，使得后面的图像相对第一张图的尺度变得过大或者过小，拼接质量和速度都较低。

发明内容

本发明的目的在于提供一种显微血细胞图像快速全景拼接方法，提高拼接质量和速度。

为实现上述目的，本发明提供了一种显微血细胞图像快速全景拼接方法，包括：

利用显微相机和移动平台连续采集，获得显微血细胞图像数据，所述图像数据包括待拼接图像A和已完成拼接图像B；

对所述待拼接图像A进行滤波去噪，并提取图像特征点；

将图像A和图像B进行特征匹配，去除重复图像，得到特征点粗匹配结果；

对所述粗匹配结果进行精筛选，剔除误匹配点对，得到精匹配点对；

根据所述精匹配点对，计算所述图像A和所述图像B的位置关系；

对重合区域进行融合过渡，完成拼接；

对所有样本进行拼接计算，输出全景血细胞图像。

其中，所述利用显微相机和移动平台连续采集，获得显微血细胞图像数据，包括：

固定显微相机，使移动平台按照“弓”字型路线运行并连续采集血液样本玻片，前后两帧、上下两帧都以固定30％重叠区域面积为采集标准，获得显微血细胞图像数据，其中，所述图像数据包括待拼接图像A和已完成拼接图像B。

其中，对所述待拼接图像A进行滤波去噪，并提取图像特征点，包括：

使用高斯算子对图像A进行滤波去噪处理，得到图像特征点位置，并构造64维的无方向SURF特征点描述子向量。

其中，所述使用高斯算子对图像A进行滤波去噪处理，包括：

利用高斯金字塔构造3层尺度空间，随后构建Hessian矩阵并计算矩阵判别式，当所述Hessian矩阵在图像邻域内取得极值时，得到对应坐标下的特征点位置，并对所有点执行非极大值抑制法，排除所述Hessian矩阵值响应未达到预设值的点。

其中，所述将图像A和图像B进行特征匹配，去除重复图像，得到特征点粗匹配结果，包括：

利用FLANN方法，对图像A中每个特征点，采用K-d树对应的在图像B中找出多个点，并利用欧式距离公式计算出对应的距离值，并依次将后一个距离值与前一个距离值的比值与设定值进行比较，大于设定值，则匹配成功，小于设定值，则判定当前图像A与图像B相似度过高，则剔除当前所述图像A，执行下一帧图像A。

其中，对所述粗匹配结果进行精筛选，剔除误匹配点对，得到精匹配点对，包括：

根据所述粗匹配结果，采用判别模型为投影误差的随机抽样一致性方法求解图像A和图像B的坐标变换单应性矩阵，将满足三维投影转换条件的特征点对作为内点，对所述内点采用判别模型为平均平移误差的随机抽样一致性方法，剔除不满足平移误差设定阈值的误匹配点对，剩下的内点作为精匹配点对，完成精筛选。

其中，根据所述精匹配点对，计算所述图像A和所述图像B的位置关系，包括：

根据所述精匹配点对，利用相互匹配点对的平面坐标的距离和匹配点数量做除法，得到所述图像A和所述图像B的位置关系，并将图像A的坐标转换到全景图C的坐标系下，完成坐标的统一。

其中，所述对重合区域进行融合过渡，完成拼接，包括：

将统一坐标系后的图像A和图像B的重合区域进行像素级融合，采用二维区域权值加权法，将图像A和图像B中重叠区域像素值的权值与对应的相互匹配点对的平面坐标值进行乘积后求和，得到融合后的新图像像素值，完成拼接。

其中，所述对所有样本进行拼接计算，输出全景血细胞图像，包括：

遍历所有血液样本玻片，依次对所有待拼接图像进行滤波去噪、特征提取、粗匹配、精筛选，根据所述精筛选结果依次计算图像A和图像B的相对位置，对重合区域进行融合过渡，完成所有样本的拼接，输出全景血细胞图像。

本发明的一种显微血细胞图像快速全景拼接方法，固定显微相机，使移动平台按照“弓”字型路线运行并连续采集血液样本玻片，获得显微血细胞图像数据，所述图像数据包括待拼接图像A和已完成拼接图像B，使用高斯算子对图像A进行滤波去噪处理，采用无方向的SURF特征法提取图像特征点，利用FLANN方法，将图像A和图像B进行特征匹配，并与设定值进行比较，去除重复图像，得到粗匹配结果，根据所述粗匹配结果，采用随机抽样一致性方法求解图像A和图像B的坐标变换单应性矩阵，将满足三维投影转换条件的特征点对作为内点，并再次使用随机抽样一致性方法获得精确匹配点对，根据所述精匹配点对，计算所述图像A和所述图像B的位置关系，并完成坐标的统一，所述对重合区域进行融合过渡，完成拼接，遍历所有血液样本玻片，依次进行拼接计算，输出全景血细胞图像，提高拼接质量和速度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的一种显微血细胞图像快速全景拼接方法的步骤示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

请参阅图1，本发明提供一种显微血细胞图像快速全景拼接方法，包括：

S101、利用显微相机和移动平台连续采集，获得显微血细胞图像数据。

具体的，固定显微相机，选用PLCN-20X显微镜成套装置，固定相机焦距，调整图像至最高清晰度，使移动平台沿(x，y)方向运动的载玻片平台以15帧/秒的速度按照“弓”字型路线运行并连续采集血液样本玻片，前后两帧、上下两帧都以固定30％重叠区域面积为采集标准，获得显微血细胞图像数据，无遗漏全视野采集图像，其中，所述图像数据包括待拼接图像A和已完成拼接图像B。

S102、对所述待拼接图像A进行滤波去噪，并提取图像特征点。

具体的，使用高斯算子对图像A进行滤波去噪处理，利用高斯金字塔构造3层尺度空间，随后构建Hessian矩阵并计算矩阵判别式，当所述Hessian矩阵在图像邻域内取得极值时，得到对应坐标下的特征点位置，并对所有点执行非极大值抑制法，排除所述Hessian矩阵值响应未达到预设值的点，得到不计方向的特征点，并构造64维的无方向SURF(Speeded Up Robust Features)特征点描述子向量来提取图像特征点，在使用SURF特征提取部分，结合血细胞图像无视场和角度变化的特点，减少特征尺度空间层数量，不计算特征点方向，有效降低特征提取的耗时。

S103、将图像A和图像B进行特征匹配，去除重复图像，得到特征点粗匹配结果。

具体的，利用FLANN方法，对图像A中每个特征点，采用K-d树对应的在图像B中找出多个点，并利用欧式距离公式计算出对应的距离值，并依次将后一个距离值与前一个距离值的比值与设定值进行比较，大于设定值，则匹配成功，小于设定值，则判定当前图像A与图像B相似度过高，则剔除当前所述图像A，执行下一帧图像A，其中，采用k-d树搜索每个特征点的k个最近邻特征点，其中到最近邻特征点的距离为d_1-NN，到次最近邻特征点的距离为d_2-NN，依次类推，之后，并利用欧式距离公式计算出对应的距离值，计算公式为：

其中，d_1-NN的坐标为(x₁,y₁)，d_2-NN的坐标为(x₂,y₂)

与设定值进行比较，大于设定值，则匹配成功，小于设定值，则判定当前图像A与图像B相似度过高，则剔除当前所述图像A，执行下一帧图像A。

S104、对所述粗匹配结果进行精筛选，剔除误匹配点对，得到精匹配点对。

具体的，根据所述粗匹配结果，第一轮采用判决模型为投影误差的随机抽样一致性(RANSAC)方法求解图像A和图像B的坐标变换单应性矩阵，所述单应性矩阵可以描述物体在世界坐标系和像素坐标系之间的位置映射关系，还可以进行视角转换，把不同角度拍摄的图像都转换到同样的视角下，将满足三维投影转换条件的特征点对作为内点。第二轮采用判决模型为平均平移误差的RANSAC方法将满足设定阈值的内点作为精匹配点对，剔除不满足平移误差阈值的误匹配点对，完成精筛选。连续使用两次RANSAC法，有效避免在匹配点对较少情况下，单应性矩阵求解错误导致增加错误内点数量。

S105、根据所述精匹配点对，计算所述图像A和所述图像B的位置关系。

具体的，根据所述精匹配点对，利用相互匹配点对的平面坐标的距离和匹配点数量做除法，得到所述图像A和所述图像B的位置关系，并将图像A的坐标转换到全景图C的坐标系下，完成坐标的统一，其中，位置关系计算公式为：

其中，P₁和P₂为互相匹配点对平面坐标，N为匹配点数量。(P₁-P₂)距离计算为：

S106、对重合区域进行融合过渡，完成拼接。

具体的，将统一坐标系后的图像A和图像B的重合区域进行像素级融合，重叠部分由前一张图像慢慢过渡到第二张图像，即将图像的重叠区域的像素值采用二维区域权值加权法合成新的图像，将图像A和图像B中重叠区域像素值的权值与对应的相互匹配点对的平面坐标值进行乘积后求和，完成拼接，坐标系在拼接运算中只保留二维平移变换，大大降低了全景拼接过程中累计误差的产生，提高匹配效率和质量，采用二维区域权值加权法像素级融合解决了光照、色差等裂缝问题，得到横向纵向都保持自然过渡的高质量全景图像。

根据拼接位置关系，遵循两个过渡规则：

a、重叠区域像素的权重，与当前处理点距重叠区域左边界的距离成正比

b、重叠区域像素的权重，与当前处理点距重叠区域上边界的距离成正比

新区域像素值为：

Val(x,y)＝α·P₁(x₁,y₁)+(1-α)P₂(x₂,y₂)

其中，

α_{(交叠区域)}＝W_c·W_r

S107、对所有样本进行拼接计算，输出全景血细胞图像。

具体的，遍历所有血液样本玻片，依次对所有待拼接图像进行滤波去噪、特征提取、粗匹配、精筛选，根据所述精筛选结果依次计算图像A和图像B的相对位置，对重合区域进行融合过渡，完成所有样本的拼接，输出全景血细胞图像，提高拼接质量和速度。

本发明的一种显微血细胞图像快速全景拼接方法，固定显微相机，使移动平台按照“弓”字型路线运行并连续采集血液样本玻片，获得显微血细胞图像数据，所述图像数据包括待拼接图像A和已完成拼接图像B，使用高斯算子对图像A进行滤波去噪处理，采用无方向的SURF特征法提取图像特征点，利用FLANN方法，将图像A和图像B进行特征匹配，并与设定值进行比较，去除重复图像，得到粗匹配结果，根据所述粗匹配结果，采用随机抽样一致性方法求解图像A和图像B的坐标变换单应性矩阵，将满足三维投影转换条件的特征点对作为内点，并再次使用随机抽样一致性方法获得精确匹配点对，根据所述精匹配点对，计算所述图像A和所述图像B的位置关系，并完成坐标的统一，所述对重合区域进行融合过渡，完成拼接，遍历所有血液样本玻片，依次进行拼接计算，输出全景血细胞图像，提高拼接质量和速度。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (9)

1.一种显微血细胞图像快速全景拼接方法，其特征在于，包括：

利用显微相机和移动平台连续采集，获得显微血细胞图像数据，所述图像数据包括待拼接图像A和已完成拼接图像B；

对所述待拼接图像A进行滤波去噪，并提取图像特征点；

将图像A和图像B进行特征匹配，去除重复图像，得到特征点粗匹配结果；

对所述粗匹配结果进行精筛选，剔除误匹配点对，得到精匹配点对；

根据所述精匹配点对，计算所述图像A和所述图像B的位置关系；

对重合区域进行融合过渡，完成拼接；

对所有样本进行拼接计算，输出全景血细胞图像。

2.如权利要求1所述的一种显微血细胞图像快速全景拼接方法，其特征在于，所述利用显微相机和移动平台连续采集，获得显微血细胞图像数据，包括：

固定显微相机，使移动平台按照“弓”字型路线运行并连续采集血液样本玻片，前后两帧、上下两帧都以固定30％重叠区域面积为采集标准，获得显微血细胞图像数据，其中，所述图像数据包括待拼接图像A和已完成拼接图像B。

3.如权利要求2所述的一种显微血细胞图像快速全景拼接方法，其特征在于，对所述待拼接图像A进行滤波去噪，并提取图像特征点，包括：

使用高斯算子对图像A进行滤波去噪处理，得到图像特征点点位置，并构造64维的无方向SURF特征点描述子向量。

4.如权利要求3所述的一种显微血细胞图像快速全景拼接方法，其特征在于，所述使用高斯算子对图像A进行滤波去噪处理，包括：

利用高斯金字塔构造3层尺度空间，随后构建Hessian矩阵并计算矩阵判别式，当所述Hessian矩阵在图像邻域内取得极值时，得到对应坐标下的特征点位置，并对所有点执行非极大值抑制法，排除所述Hessian矩阵值响应未达到预设值的点。

5.如权利要求4所述的一种显微血细胞图像快速全景拼接方法，其特征在于，所述将图像A和图像B进行特征匹配，去除重复图像，得到特征点粗匹配结果，包括：

利用FLANN方法，对图像A中每个特征点，采用K-d树对应的在图像B中找出多个点，并利用欧式距离公式计算出对应的距离值，并依次将后一个距离值与前一个距离值的比值与设定值进行比较，大于设定值，则匹配成功，小于设定值，则判定当前图像A与图像B相似度过高，则剔除当前所述图像A，执行下一帧图像A。

6.如权利要求5所述的一种显微血细胞图像快速全景拼接方法，其特征在于，对所述粗匹配结果进行精筛选，剔除误匹配点对，得到精匹配点对，包括：

根据所述粗匹配结果，采用判别模型为投影误差的随机抽样一致性方法求解图像A和图像B的坐标变换单应性矩阵，将满足三维投影转换条件的特征点对作为内点，对所述内点采用判别模型为平均平移误差的随机抽样一致性方法，剔除不满足平移误差设定阈值的误匹配点对，剩下的内点作为精匹配点对，完成精筛选。

7.如权利要求6所述的一种显微血细胞图像快速全景拼接方法，其特征在于，根据所述精匹配点对，计算所述图像A和所述图像B的位置关系，包括：

根据所述精匹配点对，利用相互匹配点对的平面坐标的距离和匹配点数量做除法，得到所述图像A和所述图像B的位置关系，并将图像A的坐标转换到全景图C的坐标系下，完成坐标的统一。

8.如权利要求7所述的一种显微血细胞图像快速全景拼接方法，其特征在于，所述对重合区域进行融合过渡，完成拼接，包括：

将统一坐标系后的图像A和图像B的重合区域进行像素级融合，采用二维区域权值加权法，将图像A和图像B中重叠区域像素值的权值与对应的相互匹配点对的平面坐标值进行乘积后求和，得到融合后的新图像像素值，完成拼接。

9.如权利要求8所述的一种显微血细胞图像快速全景拼接方法，其特征在于，所述对所有样本进行拼接计算，输出全景血细胞图像，包括：

遍历所有血液样本玻片，依次对所有待拼接图像进行滤波去噪、特征提取、粗匹配、精筛选，根据所述精筛选结果依次计算图像A和图像B的相对位置，对重合区域进行融合过渡，完成所有样本的拼接，输出全景血细胞图像。

Images