CN111000633B - 一种内镜诊疗操作过程的监控方法及系统 - Google Patents

Abstract

本发明提供内镜诊疗操作过程的监控方法及系统。其中该方法包括根据历史连续帧内镜图像，检测各帧内镜图像中内镜视野所在矩形区域，截取矩形区域图像并转换成灰度图像，构成样本集；标注样本图像所属标签；利用已标注标签的样本集训练全连接神经网络，对于连续k帧灰度图像，若超过预设比例阈值的灰度图像属于体内时，判定内镜已经进入体内，否则判定内镜在体外；从内镜诊疗操作开始时刻，实时接收连续k帧内镜图像，输入至训练完成的全连接神经网络，输出内镜的位置；若内镜未进入体内仍在体外，则向后移动y帧内镜图像，y<k，再次取连续k帧内镜图像并输入至训练完成的全连接神经网络重新判断内镜的位置；其中，k为大于或等于3的正整数。

Description

一种内镜诊疗操作过程的监控方法及系统

技术领域

本发明属于内镜诊疗图像处理领域，尤其涉及一种内镜诊疗操作过程的监控方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

由于消化内镜检查过程中操作者行为差异较大，例如，检查时长不足、检查视野不稳定等，增加了病变遗漏的可能性，降低了内镜检查质量。但是，发明人发现，传统内镜质量监督方法消耗人力成本较大，且缺乏客观性量化方法，无法在各级内镜中心开展。

发明内容

为了解决上述问题，本发明的第一个方面提供一种内镜诊疗操作过程的监控方法，其能够对内镜操作过程进行标准化监控，降低操作者差异，充分保证了内镜操作的有效检查时间，从而提高内镜检查病变检出率与内镜检查质量。

为了实现上述目的，本发明采用如下技术方案：

一种内镜诊疗操作过程的监控方法，包括：

根据历史连续帧内镜图像，检测各帧内镜图像中内镜视野所在矩形区域，截取所述矩形区域图像并转换成灰度图像，构成样本集；

标注样本集中样本图像所属标签，标签包括内镜在体内和内镜在体外；

利用已标注标签的样本集训练全连接神经网络，对于连续k帧灰度图像，若超过预设比例阈值的灰度图像属于体内图像时，判定内镜已经进入体内，否则判定内镜在体外；

从内镜诊疗操作开始时刻，实时接收连续k帧内镜图像，输入至训练完成的全连接神经网络，输出内镜的位置；若内镜未进入体内仍在体外，则向后移动y帧内镜图像，再次取连续k帧内镜图像并输入至训练完成的全连接神经网络重新判断内镜的位置；其中，k为大于或等于3的正整数；y<k，y为大于或等于1的正整数。

作为一种实施方式，利用重采样方法采样获取内镜图像。

上述技术方案的优点在于，利用重采样可以保持特定的信息下目标信息不丢失，有意识地改变改变样本的分布，以更适应后续模型的训练和学习，比如用重采样来处理分类模型的训练样本不均衡的问题。

作为一种实施方式，所述内镜诊疗操作过程的监控方法还包括：根据内镜的实时位置，确定为内镜诊疗操作时长。

上述技术方案的优点在于，通过对内镜操作过程进行标准化监控，降低操作者差异，能够充分保证了内镜操作的有效检查时间，从而提高内镜检查病变检出率。

作为一种实施方式，当内镜为胃镜时，胃镜诊疗操作开始的状态设置为体外，当全连接神经网络第一次判断胃镜在体内时，启动操作时长计时，从0开始逐秒计时，直到全连接神经网络判断胃镜在体外，操作时长计时停止，进而得到胃镜的操作时长。

作为一种实施方式，当内镜为肠镜时，肠镜诊疗操作开始的状态设置为体外，当全连接神经网络第一次判断肠镜在体内时，判断肠镜是否第一次到达盲肠，若是，则启动操作时长计时，从0开始逐秒计时，直到全连接神经网络判断肠镜在体外，操作时长计时停止，进而得到肠镜的操作时长。

作为一种实施方式，判断肠镜是否第一次到达盲肠的过程为：

利用预先训练的回盲部卷积神经网络判断连续k帧内镜图像中是否第一次超过预设比例阈值的内镜图像属于回盲部图像，若是，则判断肠镜第一次到达了盲肠。

作为一种实施方式，所述内镜诊疗操作过程的监控方法，还包括：

根据相邻两帧内镜图像之间的汉明距离与预设汉明距离阈值比较，若前者小于或等于后者，则判断内镜诊疗操作稳定；否则，判断内镜诊疗操作不稳定并发出告警信息。

上述技术方案的优点在于，通过相邻两帧内镜图像之间的汉明距离与预设汉明距离阈值比较逻辑运算，得到了内镜检查的稳定性指标，能够客观地判断内镜诊疗操作的稳定性，从而提高内镜检查质量。

为了解决上述问题，本发明的第二个方面提供一种内镜诊疗操作过程的监控系统，其能够对内镜操作过程进行标准化监控，降低操作者差异，充分保证了内镜操作的有效检查时间，从而提高内镜检查病变检出率与内镜检查质量。

为了实现上述目的，本发明采用如下技术方案：

一种内镜诊疗操作过程的监控系统，包括：

样本集构建模块，其用于根据历史连续帧内镜图像，检测各帧内镜图像中内镜视野所在矩形区域，截取所述矩形区域图像并转换成灰度图像，构成样本集；

样本标注模块，其用于标注样本集中样本图像所属标签，标签包括内镜在体内和内镜在体外；

全连接神经网络训练模块，其用于利用已标注标签的样本集训练全连接神经网络，对于连续k帧灰度图像，若超过预设比例阈值的灰度图像属于体内图像时，判定内镜已经进入体内，否则判定内镜在体外；

内镜位置实时判断模块，其用于从内镜诊疗操作开始时刻，实时接收连续k帧内镜图像，输入至训练完成的全连接神经网络，输出内镜的位置；若内镜未进入体内仍在体外，则向后移动y帧内镜图像，再次取连续k帧内镜图像并输入至训练完成的全连接神经网络重新判断内镜的位置；其中，k为大于或等于3的正整数；y<k，y为大于或等于1的正整数。

作为一种实施方式，所述内镜诊疗操作过程的监控系统还包括：

内镜诊疗操作时长确定模块，其用于根据内镜的实时位置，确定为内镜诊疗操作时长；

当内镜为胃镜时，胃镜诊疗操作开始的状态设置为体外，当全连接神经网络第一次判断胃镜在体内时，启动操作时长计时，从0开始逐秒计时，直到全连接神经网络判断胃镜在体外，操作时长计时停止，进而得到胃镜的操作时长；

当内镜为肠镜时，肠镜诊疗操作开始的状态设置为体外，当全连接神经网络第一次判断肠镜在体内时，判断肠镜是否第一次到达盲肠，若是，则启动操作时长计时，从0开始逐秒计时，直到全连接神经网络判断肠镜在体外，操作时长计时停止，进而得到肠镜的操作时长。

上述技术方案的优点在于，通过对内镜操作过程进行标准化监控，降低操作者差异，能够充分保证了内镜操作的有效检查时间，从而提高内镜检查病变检出率。

作为一种实施方式，所述内镜诊疗操作过程的监控系统，还包括：

内镜诊疗操作稳定性判断模块，其用于根据相邻两帧内镜图像之间的汉明距离与预设汉明距离阈值比较，若前者小于或等于后者，则判断内镜诊疗操作稳定；否则，判断内镜诊疗操作不稳定并发出告警信息。

上述技术方案的优点在于，通过相邻两帧内镜图像之间的汉明距离与预设汉明距离阈值比较逻辑运算，得到了内镜检查的稳定性指标，能够客观地判断内镜诊疗操作的稳定性，从而提高内镜检查质量。

本发明的有益效果是：

(1)本发明利用已标注标签的样本集训练全连接神经网络对于连续k帧灰度图像，若超过预设比例阈值的灰度图像属于体内图像时，判定内镜已经进入体内，否则判定内镜在体外，实现了内镜位置的自动化实时判断，提高了内镜诊疗操作过程监控的准确性；

(2)本发明利用内镜的实时位置来对内镜诊疗操作过程时长进行判断，利用相邻两帧内镜图像之间的汉明距离与预设汉明距离阈值比较来判断内镜诊疗操作的稳定性，实现了对内镜操作过程的标准化监控，降低了操作者差异，充分保证了内镜操作的有效检查时间，从而提高了内镜检查病变检出率与内镜检查质量。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明实施例提供的一种内镜诊疗操作过程的监控方法流程图；

图2是本发明实施例提供的一种内镜诊疗操作过程的监控系统结构示意图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

图1给出了本实施例提供的一种内镜诊疗操作过程的监控方法流程图。

下面结合图1来详细说明本实施例的内镜诊疗操作过程的监控方法的具体实施步骤。

如图1所示，本实施例的内镜诊疗操作过程的监控方法，包括：

步骤S101：根据历史连续帧内镜图像，检测各帧内镜图像中内镜视野所在矩形区域，截取所述矩形区域图像并转换成灰度图像，构成样本集；

在具体实施中，内镜的视频信号每秒包含m帧图像，这些图像计算机可能无法实时处理，本实施例采用重采样技术每秒获取n帧图像，n<＝m。n和m均为大于或等于2的正整数。

本实施例利用重采样可以保持特定的信息下目标信息不丢失，有意识地改变改变样本的分布，以更适应后续模型的训练和学习，比如用重采样来处理分类模型的训练样本不均衡的问题。

在具体实施中，转换成灰度图像之前的具体过程为：

通过检测背景黑色特征得到内镜视野所在矩形区域，截取这个区域的图像，并使用图像缩放算法将它缩小到w*h。w表示图像的宽度，取值范围(64～512)，目前取值64。h表示图像的高度，取值范围(64～512)，目前取值64。。

步骤S102：标注样本集中样本图像所属标签，标签包括内镜在体内和内镜在体外；

步骤S103：利用已标注标签的样本集训练全连接神经网络，对于连续k帧灰度图像，若超过预设比例阈值(例如：80％)的灰度图像属于体内图像时，判定内镜已经进入体内，否则判定内镜在体外。

其中，预设比例阈值本领域技术人员可根据具体精度要求来设置。

预设比例阈值不低于50％。

其中，全连接神经网络包括输入层、隐含层和输出层。隐含层的层数可以为一层也可为多层，其具体结构本领域技术人员可根据实际情况来选择。

步骤S104：从内镜诊疗操作开始时刻，实时接收连续k帧内镜图像，输入至训练完成的全连接神经网络，输出内镜的位置；若内镜未进入体内仍在体外，则向后移动y帧内镜图像，再次取连续k帧内镜图像并输入至训练完成的全连接神经网络重新判断内镜的位置；其中，k为大于或等于3的正整数；y<k，y为大于或等于1的正整数。

作为另一种实施方式，所述内镜诊疗操作过程的监控方法还包括：

步骤S105：根据内镜的实时位置，确定为内镜诊疗操作时长。

上述技术方案的优点在于，通过对内镜操作过程进行标准化监控，降低操作者差异，能够充分保证了内镜操作的有效检查时间，从而提高内镜检查病变检出率。

作为一种具体实施方式，当内镜为胃镜时，胃镜诊疗操作开始的状态设置为体外，当全连接神经网络第一次判断胃镜在体内时，启动操作时长计时，从0开始逐秒计时，直到全连接神经网络判断胃镜在体外，操作时长计时停止，进而得到胃镜的操作时长。

作为另一种实施方式，当内镜为肠镜时，肠镜诊疗操作开始的状态设置为体外，当全连接神经网络第一次判断肠镜在体内时，判断肠镜是否第一次到达盲肠，若是，则启动操作时长计时，从0开始逐秒计时，直到全连接神经网络判断肠镜在体外，操作时长计时停止，进而得到肠镜的操作时长。

作为具体实施方式，判断肠镜是否第一次到达盲肠的过程为：

利用预先训练的回盲部卷积神经网络判断连续k帧内镜图像中是否第一次超过预设比例阈值的内镜图像属于回盲部图像，若是，则判断肠镜第一次到达了盲肠。

其中，回盲部卷积神经网络可采用卷积神经网络构成，包括：a)输入层；输入层是整个神经网络的输入，在处理图像的卷积神经网络中，它一般代表了一张图片的像素矩阵。三维矩阵的长和宽代表了图像的大小，而三维矩阵的深度代表了图像的色彩通道(channel)。从输入层开始，卷积神经网络通过不同的神经网络结构将上一层的三维矩阵转换成下一层的三维矩阵，直至最后的全连接层。b)卷积层。和传统全连接层不同，卷积层中每个节点的输入只是上一层神经网络的一小块，这个小块常用的大小有3*3或者5*5.卷积层试图将神经网络中的每一小块进行更加深入的分析从而得到抽象程度更高的特征。一般来说通过卷积层处理过的节点矩阵会变得更深。c)池化层(Pooling)。池化层神经网络不会改变矩阵的深度，但是它可以缩小矩阵的大小。通过池化层可以进一步缩小最后全连接层中节点的个数，从而达到减少整个神经网络中参数的目的。d)全连接层。在经过多轮卷积层和池化层的处理之后，在卷积神经网络的最后一般会是由一到两个全连接层来给出最后的分类结果。e)softmax层。Softmax层主要用于解决分类问题，通过softmax层，可以得到当前样例属于不同种类的概率分布情况。

作为另一种实施方式，所述内镜诊疗操作过程的监控方法，还包括：

步骤S106：根据相邻两帧内镜图像之间的汉明距离与预设汉明距离阈值比较，若前者小于或等于后者，则判断内镜诊疗操作稳定；否则，判断内镜诊疗操作不稳定并发出告警信息。

具体地，计算相邻两帧内镜图像的汉明距离，在64*64的灰度图像上均匀取8*8个点，汉明距离的取值范围时0～64，0代表说有对应点的亮度没有变化，说明画面没有改变，64表示所有对应点的亮度全部发送了变化，说明画面完全改变了。连续2帧的画面对应点的亮度改变越多，说明画面内容变化越大，代表内镜操作不够稳定，影响观察效果。

例如：预设汉明距离阈值为a，当相邻两帧内镜图像的汉明距离小于或等于a时，表示画面稳定，当大于a的发出警告，表示画面不稳定。同时，内镜有时会被水挡住镜头，或者镜头距离黏膜太近，导致画面模糊，这种情况也影响观察，也将它计入画面不稳定范畴。图像模糊和清楚使用了一个卷积神经网络进行判断，模糊的画面在汉明距离的值上加64，清楚的画面加0。通过这两个判断，得出一个综合的操作稳定性指标。因画面瞬间模糊或者跳动并不会正真影响观察，本实施例还在显示稳定性指示器时引入了一个阻尼器，过滤掉了瞬间的跳动，保证了指示器显示的稳定性。

上述技术方案的优点在于，通过相邻两帧内镜图像之间的汉明距离与预设汉明距离阈值比较逻辑运算，得到了内镜检查的稳定性指标，能够客观地判断内镜诊疗操作的稳定性，从而提高内镜检查质量。

本实施例利用已标注标签的样本集训练全连接神经网络对于连续k帧灰度图像，若超过预设比例阈值的灰度图像属于体内图像时，判定内镜已经进入体内，否则判定内镜在体外，实现了内镜位置的自动化实时判断，提高了内镜诊疗操作过程监控的准确性；

本实施例利用内镜的实时位置来对内镜诊疗操作过程时长进行判断，利用相邻两帧内镜图像之间的汉明距离与预设汉明距离阈值比较来判断内镜诊疗操作的稳定性，实现了对内镜操作过程的标准化监控，降低了操作者差异，充分保证了内镜操作的有效检查时间，从而提高了内镜检查病变检出率与内镜检查质量。

实施例二

图2给出了本实施例提供的一种内镜诊疗操作过程的监控系统结构示意图。

下面结合图2来详细说明本实施例的内镜诊疗操作过程的监控系统的具体结构。

如图2所示，本实施例的内镜诊疗操作过程的监控系统，包括：

(1)样本集构建模块，其用于根据历史连续帧内镜图像，检测各帧内镜图像中内镜视野所在矩形区域，截取所述矩形区域图像并转换成灰度图像，构成样本集；

在具体实施中，内镜的视频信号每秒包含m帧图像，这些图像计算机可能无法实时处理，本实施例采用重采样技术每秒获取n帧图像，n<＝m。n和m均为大于或等于2的正整数。

本实施例利用重采样可以保持特定的信息下目标信息不丢失，有意识地改变改变样本的分布，以更适应后续模型的训练和学习，比如用重采样来处理分类模型的训练样本不均衡的问题。

在具体实施中，转换成灰度图像之前的具体过程为：

通过检测背景黑色特征得到内镜视野所在矩形区域，截取这个区域的图像，并使用图像缩放算法将它缩小到w*h。w表示图像的宽度，取值范围(64～512)，目前取值64。h表示图像的高度，取值范围(64～512)，目前取值64。。

(2)样本标注模块，其用于标注样本集中样本图像所属标签，标签包括内镜在体内和内镜在体外；

(3)全连接神经网络训练模块，其用于利用已标注标签的样本集训练全连接神经网络，对于连续k帧灰度图像，若超过预设比例阈值的灰度图像属于体内图像时，判定内镜已经进入体内，否则判定内镜在体外；

其中，预设比例阈值本领域技术人员可根据具体精度要求来设置。

预设比例阈值不低于50％。

其中，全连接神经网络包括输入层、隐含层和输出层。隐含层的层数可以为一层也可为多层，其具体结构本领域技术人员可根据实际情况来选择。

(4)内镜位置实时判断模块，其用于从内镜诊疗操作开始时刻，实时接收连续k帧内镜图像，输入至训练完成的全连接神经网络，输出内镜的位置；若内镜未进入体内仍在体外，则向后移动y帧内镜图像，再次取连续k帧内镜图像并输入至训练完成的全连接神经网络重新判断内镜的位置；其中，k为大于或等于3的正整数；y<k，y为大于或等于1的正整数。

作为一种实施方式，所述内镜诊疗操作过程的监控系统还包括：

(5)内镜诊疗操作时长确定模块，其用于根据内镜的实时位置，确定为内镜诊疗操作时长；

当内镜为胃镜时，胃镜诊疗操作开始的状态设置为体外，当全连接神经网络第一次判断胃镜在体内时，启动操作时长计时，从0开始逐秒计时，直到全连接神经网络判断胃镜在体外，操作时长计时停止，进而得到胃镜的操作时长；

当内镜为肠镜时，肠镜诊疗操作开始的状态设置为体外，当全连接神经网络第一次判断肠镜在体内时，判断肠镜是否第一次到达盲肠，若是，则启动操作时长计时，从0开始逐秒计时，直到全连接神经网络判断肠镜在体外，操作时长计时停止，进而得到肠镜的操作时长。

作为具体实施方式，判断肠镜是否第一次到达盲肠的过程为：

利用预先训练的回盲部卷积神经网络判断连续k帧内镜图像中是否第一次超过预设比例阈值的内镜图像属于回盲部图像，若是，则判断肠镜第一次到达了盲肠。

其中，回盲部卷积神经网络可采用卷积神经网络构成，包括：a)输入层；输入层是整个神经网络的输入，在处理图像的卷积神经网络中，它一般代表了一张图片的像素矩阵。三维矩阵的长和宽代表了图像的大小，而三维矩阵的深度代表了图像的色彩通道(channel)。从输入层开始，卷积神经网络通过不同的神经网络结构将上一层的三维矩阵转换成下一层的三维矩阵，直至最后的全连接层。b)卷积层。和传统全连接层不同，卷积层中每个节点的输入只是上一层神经网络的一小块，这个小块常用的大小有3*3或者5*5.卷积层试图将神经网络中的每一小块进行更加深入的分析从而得到抽象程度更高的特征。一般来说通过卷积层处理过的节点矩阵会变得更深。c)池化层(Pooling)。池化层神经网络不会改变矩阵的深度，但是它可以缩小矩阵的大小。通过池化层可以进一步缩小最后全连接层中节点的个数，从而达到减少整个神经网络中参数的目的。d)全连接层。在经过多轮卷积层和池化层的处理之后，在卷积神经网络的最后一般会是由一到两个全连接层来给出最后的分类结果。e)softmax层。Softmax层主要用于解决分类问题，通过softmax层，可以得到当前样例属于不同种类的概率分布情况。

上述技术方案的优点在于，通过对内镜操作过程进行标准化监控，降低操作者差异，能够充分保证了内镜操作的有效检查时间，从而提高内镜检查病变检出率。

作为另一种实施方式，所述内镜诊疗操作过程的监控系统，还包括：

(6)内镜诊疗操作稳定性判断模块，其用于根据相邻两帧内镜图像之间的汉明距离与预设汉明距离阈值比较，若前者小于或等于后者，则判断内镜诊疗操作稳定；否则，判断内镜诊疗操作不稳定并发出告警信息。

具体地，计算相邻两帧内镜图像的汉明距离，在64*64的灰度图像上均匀取8*8个点，汉明距离的取值范围时0～64，0代表说有对应点的亮度没有变化，说明画面没有改变，64表示所有对应点的亮度全部发送了变化，说明画面完全改变了。连续2帧的画面对应点的亮度改变越多，说明画面内容变化越大，代表内镜操作不够稳定，影响观察效果。

例如：预设汉明距离阈值为a，当相邻两帧内镜图像的汉明距离小于或等于a时，表示画面稳定，当大于a的发出警告，表示画面不稳定。同时，内镜有时会被水挡住镜头，或者镜头距离黏膜太近，导致画面模糊，这种情况也影响观察，也将它计入画面不稳定范畴。图像模糊和清楚使用了一个卷积神经网络进行判断，模糊的画面在汉明距离的值上加64，清楚的画面加0。通过这两个判断，得出一个综合的操作稳定性指标。因画面瞬间模糊或者跳动并不会正真影响观察，本实施例还在显示稳定性指示器时引入了一个阻尼器，过滤掉了瞬间的跳动，保证了指示器显示的稳定性。

上述技术方案的优点在于，通过相邻两帧内镜图像之间的汉明距离与预设汉明距离阈值比较逻辑运算，得到了内镜检查的稳定性指标，能够客观地判断内镜诊疗操作的稳定性，从而提高内镜检查质量。

本实施例利用已标注标签的样本集训练全连接神经网络对于连续k帧灰度图像，若超过预设比例阈值的灰度图像属于体内图像时，判定内镜已经进入体内，否则判定内镜在体外，实现了内镜位置的自动化实时判断，提高了内镜诊疗操作过程监控的准确性；

本实施例利用内镜的实时位置来对内镜诊疗操作过程时长进行判断，利用相邻两帧内镜图像之间的汉明距离与预设汉明距离阈值比较来判断内镜诊疗操作的稳定性，实现了对内镜操作过程的标准化监控，降低了操作者差异，充分保证了内镜操作的有效检查时间，从而提高了内镜检查病变检出率与内镜检查质量。

实施例三

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如实施例一所述的内镜诊疗操作过程的监控方法中的步骤。

实施例四

本实施例提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如实施例一所述的内镜诊疗操作过程的监控方法中的步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种内镜诊疗操作过程的监控方法，其特征在于，包括：

根据历史连续帧内镜图像，检测各帧内镜图像中内镜视野所在矩形区域，截取所述矩形区域图像并转换成灰度图像，构成样本集；

标注样本集中样本图像所属标签，标签包括内镜在体内和内镜在体外；

利用已标注标签的样本集训练全连接神经网络，对于连续k帧灰度图像，若超过预设比例阈值的灰度图像属于体内图像时，判定内镜已经进入体内，否则判定内镜在体外；

从内镜诊疗操作开始时刻，实时接收连续k帧内镜图像，输入至训练完成的全连接神经网络，输出内镜的位置；若内镜未进入体内仍在体外，则向后移动y帧内镜图像，再次取连续k帧内镜图像并输入至训练完成的全连接神经网络重新判断内镜的位置；其中，k为大于或等于3的正整数；y<k，y为大于或等于1的正整数；

所述内镜诊疗操作过程的监控方法，还包括：

根据相邻两帧内镜图像之间的汉明距离与预设汉明距离阈值比较，若前者小于或等于后者，则判断内镜诊疗操作稳定；否则，判断内镜诊疗操作不稳定并发出告警信息；

图像模糊和清楚使用了一个卷积神经网络进行判断，模糊的画面在汉明距离的值上加64，清楚的画面加0；通过这两个判断，得出一个综合的操作稳定性指标；

所述这两个判断是指不存在水干扰因素的清楚图像的汉明距离，以及被水干扰了的模糊图像的卷积神经网络判断出的汉明距离；

所述模糊指的是被水挡住镜头或镜头距离黏膜太近造成的模糊。

2.如权利要求1所述的内镜诊疗操作过程的监控方法，其特征在于，利用重采样方法采样获取内镜图像。

3.如权利要求1所述的内镜诊疗操作过程的监控方法，其特征在于，所述内镜诊疗操作过程的监控方法还包括：根据内镜的实时位置，确定内镜诊疗操作时长。

4.如权利要求3所述的内镜诊疗操作过程的监控方法，其特征在于，当内镜为胃镜时，胃镜诊疗操作开始的状态设置为体外，当全连接神经网络第一次判断胃镜在体内时，启动操作时长计时，从0开始逐秒计时，直到全连接神经网络判断胃镜在体外，操作时长计时停止，进而得到胃镜的操作时长。

5.如权利要求3所述的内镜诊疗操作过程的监控方法，其特征在于，当内镜为肠镜时，肠镜诊疗操作开始的状态设置为体外，当全连接神经网络第一次判断肠镜在体内时，判断肠镜是否第一次到达盲肠，若是，则启动操作时长计时，从0开始逐秒计时，直到全连接神经网络判断肠镜在体外，操作时长计时停止，进而得到肠镜的操作时长。

6.如权利要求5所述的内镜诊疗操作过程的监控方法，其特征在于，判断肠镜是否第一次到达盲肠的过程为：

利用预先训练的回盲部卷积神经网络判断连续k帧内镜图像中是否第一次超过预设比例阈值的内镜图像属于回盲部图像，若是，则判断肠镜第一次到达了盲肠。

7.一种内镜诊疗操作过程的监控系统，其特征在于，包括：

样本集构建模块，其用于根据历史连续帧内镜图像，检测各帧内镜图像中内镜视野所在矩形区域，截取所述矩形区域图像并转换成灰度图像，构成样本集；

样本标注模块，其用于标注样本集中样本图像所属标签，标签包括内镜在体内和内镜在体外；

全连接神经网络训练模块，其用于利用已标注标签的样本集训练全连接神经网络，对于连续k帧灰度图像，若超过预设比例阈值的灰度图像属于体内图像时，判定内镜已经进入体内，否则判定内镜在体外；

内镜位置实时判断模块，其用于从内镜诊疗操作开始时刻，实时接收连续k帧内镜图像，输入至训练完成的全连接神经网络，输出内镜的位置；若内镜未进入体内仍在体外，则向后移动y帧内镜图像，再次取连续k帧内镜图像并输入至训练完成的全连接神经网络重新判断内镜的位置；其中，k为大于或等于3的正整数；y<k，y为大于或等于1的正整数；

所述内镜诊疗操作过程的监控系统，还包括：

内镜诊疗操作稳定性判断模块，其用于根据相邻两帧内镜图像之间的汉明距离与预设汉明距离阈值比较，若前者小于或等于后者，则判断内镜诊疗操作稳定；否则，判断内镜诊疗操作不稳定并发出告警信息；

图像模糊和清楚使用了一个卷积神经网络进行判断，模糊的画面在汉明距离的值上加64，清楚的画面加0；通过这两个判断，得出一个综合的操作稳定性指标;

所述这两个判断是指不存在水干扰因素的清楚图像的汉明距离，以及被水干扰了的模糊图像的卷积神经网络判断出的汉明距离；

所述模糊指的是被水挡住镜头或镜头距离黏膜太近造成的模糊。

8.如权利要求7所述的内镜诊疗操作过程的监控系统，其特征在于，所述内镜诊疗操作过程的监控系统还包括：

内镜诊疗操作时长确定模块，其用于根据内镜的实时位置，确定为内镜诊疗操作时长；

当内镜为胃镜时，胃镜诊疗操作开始的状态设置为体外，当全连接神经网络第一次判断胃镜在体内时，启动操作时长计时，从0开始逐秒计时，直到全连接神经网络判断胃镜在体外，操作时长计时停止，进而得到胃镜的操作时长；

当内镜为肠镜时，肠镜诊疗操作开始的状态设置为体外，当全连接神经网络第一次判断肠镜在体内时，判断肠镜是否第一次到达盲肠，若是，则启动操作时长计时，从0开始逐秒计时，直到全连接神经网络判断肠镜在体外，操作时长计时停止，进而得到肠镜的操作时长。

Images