CN117138858B - 一种基于视觉伺服控制的液体自动注/吸装置及方法 - Google Patents

Abstract

本发明公开了一种基于视觉伺服控制的液体自动注/吸装置及方法，包括：电动注/吸模组；视觉监测模块，用于获取移液管的图像，基于视觉监测模块得到移液管内的历史液面刻度位置；数据处理模块，用于基于历史液面刻度位置预测下一时刻液面刻度位置；通过下一时刻的移液管图像得到下一时刻的液面刻度位置，将下一时刻的液面刻度位置，与预测的下一时刻液面刻度位置作差，基于差值调整下一时刻的电机转速。本发明基于视觉监测方法和电机控制方法相结合，基于视觉监测到的图像数据对电机运行进行控制，不受环境和液体种类的影响，也不需要反复标定，实现了注/吸器从电动化到智能化升级。

Description

一种基于视觉伺服控制的液体自动注/吸装置及方法

技术领域

本发明涉及液体自动注/吸技术领域，尤其涉及一种基于视觉伺服控制的液体自动注/吸装置及方法。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

注/吸器(或移液枪)是生、化实验室的常用设备，广泛应用与液体试剂的定量转移和配比等环节，是实验操作和药物产过程中不可获取的工具。注/吸器按照自动化程度可以分为三个阶段：传统带刻度的橡胶头滴管、半自动注/吸器、全自动注/吸器。其中，半自动和全自动的注/吸器均为电动模式，依靠电机带动注/吸泵来完成液体的注、吸功能。半自动注/吸器通过物理按钮来控制电机转动的时间，注/吸液体的体积则需要人工观察来完成；全自动注/吸器只需要预设液体体积，根据之前标定好的数据可以自动完成液体定量注/吸。由于电动注/吸器比传统的吸管具有更高的精度和稳定性，已经成为当前的主流方式。

但是，目前现有的电动注/吸装置主要依靠电机转动的时间来控制液体注/吸的量，当液体类型、外界温度等因素发生改变时，上次标定的时间就不准确了，因此需要借助频繁的标定才能维持液体注/吸的精度，对操作者的经验要求较高，操作不够便捷。

发明内容

为了解决上述问题，本发明提出了一种基于视觉伺服控制的液体自动注/吸装置及方法，基于视觉监测和伺服控制方法，能够自适应地控制电机的开关和转速，不受外界环境和液体种类的影响，也无需反复标定。

在一些实施方式中，采用如下技术方案：

一种基于视觉伺服控制的液体自动注/吸装置，包括：

电动注/吸模组，所述电动注/吸模组包括：隔膜泵、电机和气路；电机与隔膜泵连接，隔膜泵分别连接第一气路和第二气路；所述第一气路与外界接通，所述第二气路连接带刻度的移液管；所述第一气路和第二气路上分别设有两路单向导通电磁阀，两路单向导通电磁阀的导通方向相反；

视觉监测模块，用于获取移液管的图像，基于视觉监测模块得到移液管内的历史液面刻度位置；

数据处理模块，用于基于历史液面刻度位置预测下一时刻液面刻度位置；通过下一时刻的移液管图像得到下一时刻的液面刻度位置，将下一时刻的液面刻度位置，与预测的下一时刻液面刻度位置作差，基于差值调整下一时刻的电机转速。

所述隔膜泵通过薄膜构建出一个能够容纳气体的空腔，通过电机带动隔膜进行往返运动，隔膜的往返运动能够带动空腔内气体体积发生变化，从而产生正压或负压。

移液管吸入液体时，若隔膜泵空腔产生负压，通过控制电磁阀开启第二气路通道，使负压带动第二气路内气体向里抽动，从而使得移液管内产生向内的吸力；若隔膜泵空腔产生正压，通过控制电磁阀开启第一气路通道，将气体排出。

移液管向外注出液体时，若隔膜泵空腔产生负压，通过控制电磁阀开启第一气路通道，使得气体自第一气路吸入；若隔膜泵空腔产生正压，通过控制电磁阀开启第二气路通道，使得移液管内产生向外的推力，将移液管内液体推出。

所述视觉监测模块包括：

摄像单元，用于获取移液管的图像；

图像处理单元，用于基于视觉监测模块得到移液管内的历史液面刻度位置；具体为：获取移液管的图像，通过图像分割识别出移液管上的刻度线，计算刻度线在像素坐标系中所对应的像素距离；根据移液管型号信息，获取每个刻度线代表的体积值，实现像素坐标与物理坐标的对应，从而计算出每个像素坐标对应的体积数值；

对移液管的图像依次进行灰度、去噪、平滑和二值化处理，提取出分割区域的边界线，即为液面线；获取液面线在像素坐标系中的位置，进而计算得到移液管内的液面刻度值。

在另一些实施方式中，采用如下技术方案：

一种基于视觉伺服控制的液体自动注/吸方法，包括：

通过电机带动隔膜泵的隔膜进行往返运动，隔膜的往返运动能够带动隔膜泵空腔内气体体积发生变化，从而产生正压或负压，实现移液管的自动注出或吸入，以及气体的自动吸入或排出；

其中，获取移液管的图像，基于视觉监测模块得到移液管内的历史液面刻度位置；基于历史液面刻度位置预测下一时刻液面刻度位置；通过下一时刻的移液管图像得到下一时刻的液面刻度位置，将下一时刻的液面刻度位置，与预测的下一时刻液面刻度位置作差，基于差值调整下一时刻的电机转速。

其中，基于历史液面刻度位置预测下一时刻液面刻度位置，具体为：

当移液管内液体开始流动时，按照设定的频率采集移液管的图像，基于移液管的图像识别出每个时刻移液管内液面的刻度位置，并将数据存储为每个时刻的历史液面刻度位置；

基于设定的两个时刻得到的液面刻度位置之差，计算出液面在所述两个时刻对应的时间段内的平均移动速度；

根据当前时刻的液面刻度位置，以及液面平均移动速度，预测得到下一时刻的液面刻度位置。

当所述差值小于设定的阈值时，控制电机转速保持稳定；当移液管内液面达到预设要求时，控制电机停止转动。

与现有技术相比，本发明的有益效果是：

(1)本发明基于视觉监测方法和电机控制方法相结合，基于视觉监测到的图像数据对电机运行进行控制，不受环境和液体种类的影响，也不需要反复标定，实现了注/吸器从电动化到智能化升级。

(2)本发明利用机器视觉对不同时刻的液面刻度进行识别，能够得到液面的移动速度，进而预测下一时刻的液面刻度；基于检测到的下一时刻的液面刻度与预测得到的下一时刻的液面刻度之差，对电机进行反馈控制，能够对移液管内的液体吸入或注出量进行自动精准控制，避免外界环境以及液体浓度对注/吸(注出或吸入)精度的影响；也无需进行反复标定，对操作者的专业要求不高。

(3)本发明的第一气路和第二气路通道均采用双向流通支路，每条支路上设有单向流通的电磁阀，能够根据需要控制电磁阀的开闭，以实现不同支路的导通和关闭；可以实现气路导通的自动控制，使其更加适用于自动化系统，便于与其他设备的集成。

(4)本发明可以作为自动化设备单独使用，也可用于无人实验室系统中，承担生、化实验或药物制备生产流程中的全自动的液体试剂转移作业任务。

本发明的其他特征和附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本方面的实践了解到。

附图说明

图1为本发明实施例中的基于视觉伺服控制的液体自动注/吸装置结构示意图；

图2为本发明实施例中气路的结构示意图；

图3为本发明实施例中基于视觉伺服控制的液体自动注/吸方法流程图；

图4为本发明实施例中电机控制过程示意图；

其中，1.电动注/吸模组；2.摄像单元；3.数据处理单元；4.带刻度的移液管；5.待转移液体试剂的容器；

1-1.电机；1-2.隔膜泵；1-3.偏心轮；1-4.气路；2-1.图像处理单元；1-4-1.第一进气通道电磁阀；1-4-2.第一出气通道电磁阀；1-4-3.第二出气通道电磁阀；1-4-4.第二进气通到电磁阀。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

在一个或多个实施方式中，公开了一种基于视觉伺服控制的液体自动注/吸装置，结合图1，具体包括：

(1)电动注/吸(注出或吸入)模组，电动注/吸模组1包括：隔膜泵1-2、电机1-1和气路1-4；电机1-1与隔膜泵1-2连接，隔膜泵1-2分别连接第一气路和第二气路；第一气路与外界接通，第二气路连接带刻度的移液管4；带刻度的移液管4与待转移液体试剂的容器5对应，可以自容器内吸出或注入液体。

第一气路和第二气路上分别设有两路单向导通电磁阀，两路单向导通电磁阀的导通方向相反；

本实施例中，隔膜泵中由一个软质的薄膜构建出一个可以容纳气体的空腔，电机1-1通过偏心轮1-3与薄膜相连，用于带动薄膜运动；隔膜的往返运动可以带动腔体内气体体积发生变化，产生正压或负压；从而实现对移液管内液体的自动注出或吸入；以及气体的自动吸入或排出。

具体地，结合图2，本实施例的第一气路包括：第一进气通道电磁阀1-4-1和第一出气通道电磁阀1-4-2；两个电磁阀并联连接，将第一气路分成了两个支路，一个为进气支路，另一个为出气支路。

两个电磁阀都是单向导通，不同时导通，并且导通方向相反。当第一进气通道电磁阀开启时，第一出气通道电磁阀关闭，外部气体能够自第一气路的进气支路进入隔膜泵内。当第一进气通道电磁阀开启时，第一出气通道电磁阀关闭，外部气体能够自第一气路的出气支路排出隔膜泵内。

同理，第二气路包括：第二进气通道电磁阀1-4-4和第二出气通道电磁阀1-4-3；两个电磁阀并联连接，将第二路分成了两个支路，一个为进气支路，另一个为出气支路。两个电磁阀都是单向导通，不同时导通，并且导通方向相反。当第二进气通道电磁阀开启时，第二出气通道电磁阀关闭，此时液体能够被吸入移液管内；当第二出气通道电磁阀开启时，第二进气通道电磁阀关闭，此时液体能够被注出移液管内。

本实施例中，移液管吸入液体时，若隔膜泵空腔产生负压，通过控制电磁阀开启第二气路通道，使负压带动第二气路内气体向里抽动，从而使得移液管内产生向内的吸力；若隔膜泵空腔产生正压，通过控制电磁阀开启第一气路通道，将气体排出。

移液管向外注出液体时，若隔膜泵空腔产生负压，通过控制电磁阀开启第一气路通道，使得气体自第一气路吸入；若隔膜泵空腔产生正压，通过控制电磁阀开启第二气路通道，使得移液管内产生向外的推力，将移液管内液体推出。

(2)视觉监测模块，用于获取移液管的图像，基于视觉监测模块得到移液管内的历史液面刻度位置；

本实施例中，视觉监测模块包括：

摄像单元2，用于获取移液管的图像；摄像单元选用通用灰度相机，用于在移液管工作时采集移液管的监测图像，其成像范围可以覆盖整个带刻度的移液管的高度。

图像处理单元2-1，用于基于视觉监测模块得到移液管内的历史液面刻度位置；具体过程为：

通过灰度相机获取移液管的图像，通过图像分割识别出移液管上的刻度线，计算刻度线在像素坐标系中所对应的像素距离；根据移液管型号信息，获取每个刻度线代表的体积值，实现像素坐标与物理坐标的对应，从而计算出每个像素坐标对应的体积数值；

对移液管的图像依次进行灰度、去噪、平滑和二值化处理，提取出分割区域的边界线，即为液面线；本实施例从移液管的侧面获取图像，移液管内的液体在图像上是一个长条区域；图像识别时按照图像的颜色和灰度将采集的移液管图像划分为液体的区域和没有液体的区域，两个区域的交界线即为液面。

获取液面线在像素坐标系中的位置，进而计算得到移液管内的液面刻度值；获取移液管的图像，基于视觉监测模块得到移液管内的各个历史时刻的液面刻度位置并存储。

(3)数据处理模块，用于基于历史液面刻度位置预测下一时刻液面刻度位置；通过下一时刻的移液管图像得到下一时刻的液面刻度位置，将下一时刻的液面刻度位置，与预测的下一时刻液面刻度位置作差，基于差值调整下一时刻的电机转速。

本实施例中，实现电机控制的具体过程为：获取移液管的图像，基于视觉监测模块得到移液管内的历史时刻的液面刻度位置并存储；基于历史液面刻度位置预测下一时刻液面刻度位置；通过下一时刻的移液管图像得到下一时刻的液面刻度位置，将下一时刻的液面刻度位置，与预测的下一时刻液面刻度位置作差，基于差值调整下一时刻的电机转速。

具体地，结合图4，在初始时刻按照默认速度启动电机；根据视觉监测模块给出的T_i时刻的液面位置和液面移动速度V_i预测下一时刻(T_i+1时刻)液面位置；其中，可以根据历史两幅不同时间的移液管图像计算出移液管中的液位移动值，从而计算出液面在T_i-T_i-1时间段内的平均移动速度V_i。在T_i+1时刻，将相机检测到的实际液面位置与预测位置相比较，计算观测值与预测值之间的偏差，并根据偏差输出控制电机加速或减速的控制指令，调节电机转速；循环该过程，当偏差缩小到一定范围时，按当前转速稳定运动电机；当液体注/吸量到达预设值时，关闭电机。

实施例二

在一个或多个实施方式中，公开了一种基于视觉伺服控制的液体自动注/吸方法，结合图3，具体包括：

通过电机带动隔膜泵的隔膜进行往返运动，隔膜的往返运动能够带动隔膜泵空腔内气体体积发生变化，从而产生正压或负压，实现移液管的自动注出或吸入，以及气体的自动吸入或排出。

其中，具体的电机控制过程如下：

(1)获取移液管的图像，基于视觉监测模块得到移液管内的历史液面刻度位置；具体过程为：

当移液管内液体开始流动时，按照设定的频率采集移液管的图像，基于移液管的图像识别出每个时刻移液管内液面的刻度位置，并将数据存储为每个时刻的历史液面刻度位置；

具体地，视觉监测模块获取移液管的图像，通过图像分割识别出移液管上的刻度线，计算刻度线在像素坐标系中所对应的像素距离；根据移液管型号信息，获取每个刻度线代表的体积值，实现像素坐标与物理坐标的对应，从而计算出每个像素坐标对应的体积数值；

对移液管的图像依次进行灰度、去噪、平滑和二值化处理，提取出分割区域的边界线，即为液面线；获取液面线在像素坐标系中的位置，进而计算得到每个时刻移液管内的液面刻度值。

(2)基于设定的两个时刻得到的液面刻度位置之差，计算出液面在两个时刻对应的时间段内的平均移动速度；比如：可以根据历史两幅不同时间的移液管图像计算出移液管中的液位移动值，从而利用移动值和时间计算出液面在T_i-T_i-1时间段内的平均移动速度V_i。

(3)根据当前时刻的液面刻度位置，以及液面平均移动速度，预测得到下一时刻的液面刻度位置；具体为：

当移液管内液体开始流动时，按照设定的频率采集移液管的图像，基于移液管的图像识别出每个时刻移液管内液面的刻度位置，并将数据存储为每个时刻的历史液面刻度位置；

基于设定的两个时刻得到的液面刻度位置之差，计算出液面在所述两个时刻对应的时间段内的平均移动速度；

根据当前时刻的液面刻度位置，以及液面平均移动速度，预测得到下一时刻的液面刻度位置。

通过下一时刻的移液管图像得到下一时刻的液面刻度位置，将下一时刻的液面刻度位置，与预测的下一时刻液面刻度位置作差，基于差值调整下一时刻的电机转速。

当差值小于设定的阈值时，控制电机转速保持稳定；当移液管内液面达到预设要求时，控制电机停止转动。

作为具体的示例，基于视觉伺服控制的液体自动注/吸方法具体操作过程如下：

下面以自动吸取液体功能为例，说明本实施例的工作流程如下：

用户通过操作界面登陆数据处理模块，预设需要吸取液体的体积；数据处理模块可以选用中控机。

启动系统，灰度相机采集移液管的初始图像，并通过图像处理单元识别移液管上的体积刻度；

按默认转速启动电机，带动偏心轮转动，从而通过连杆使隔膜泵的薄膜发生活塞运动；当薄膜向外扩张时，隔膜泵空腔产生负压，开启第二气路通道的第二进气通道电磁阀，使负压带动第二气路通道气体向里抽动，从而使第二气路通道连接的移液管内产生向内的吸力。当薄膜向内挤压时，关闭第二进气通道电磁阀，开启第一出气通道电磁阀，将气体排出到设备外部。

同理，液体注出时，切换成第二出气通道电磁阀和第一进气通道电磁阀，吸入外接气体，将移液管内的液体推出，实现气路倒置。

液体吸入过程中，灰度相机连续采集移液管的图像，并通过图像处理单元计算液体液面的上升位置和上升速度；

图像处理单元上运行的视觉私服控制程序根据视觉信号处理系统给出的液面位置自适应地调节电机转速，使其达到一个稳定的速度；

监测液体吸入量到达指定刻度时，停止电机，并关闭气路中的所有电磁阀，维持管路内气压，保证移液管内液体不会因为重力流出。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于视觉伺服控制的液体自动注/吸装置，其特征在于，包括：

电动注/吸模组，所述电动注/吸模组包括：隔膜泵、电机和气路；电机与隔膜泵连接，隔膜泵分别连接第一气路和第二气路；所述第一气路与外界接通，所述第二气路连接带刻度的移液管；所述第一气路和第二气路上分别设有两路单向导通电磁阀，两路单向导通电磁阀的导通方向相反；

视觉监测模块，用于获取移液管的图像，基于视觉监测模块得到移液管内的历史液面刻度位置；

数据处理模块，用于基于历史液面刻度位置预测下一时刻液面刻度位置；通过下一时刻的移液管图像得到下一时刻的液面刻度位置，将下一时刻的液面刻度位置，与预测的下一时刻液面刻度位置作差，基于差值调整下一时刻的电机转速。

2.如权利要求1所述的一种基于视觉伺服控制的液体自动注/吸装置，其特征在于，所述电机通过偏心轮与隔膜泵连接。

3.如权利要求1所述的一种基于视觉伺服控制的液体自动注/吸装置，其特征在于，所述隔膜泵通过薄膜构建出一个能够容纳气体的空腔，通过电机带动隔膜进行往返运动，隔膜的往返运动能够带动空腔内气体体积发生变化，从而产生正压或负压。

4.如权利要求3所述的一种基于视觉伺服控制的液体自动注/吸装置，其特征在于，移液管吸入液体时，若隔膜泵空腔产生负压，通过控制电磁阀开启第二气路通道，使负压带动第二气路内气体向里抽动，从而使得移液管内产生向内的吸力；若隔膜泵空腔产生正压，通过控制电磁阀开启第一气路通道，将气体排出。

5.如权利要求3所述的一种基于视觉伺服控制的液体自动注/吸装置，其特征在于，移液管向外注出液体时，若隔膜泵空腔产生负压，通过控制电磁阀开启第一气路通道，使得气体自第一气路吸入；若隔膜泵空腔产生正压，通过控制电磁阀开启第二气路通道，使得移液管内产生向外的推力，将移液管内液体推出。

6.如权利要求1所述的一种基于视觉伺服控制的液体自动注/吸装置，其特征在于，所述视觉监测模块包括：

摄像单元，用于获取移液管的图像；

图像处理单元，用于基于视觉监测模块得到移液管内的历史液面刻度位置；具体为：获取移液管的图像，通过图像分割识别出移液管上的刻度线，计算刻度线在像素坐标系中所对应的像素距离；根据移液管型号信息，获取每个刻度线代表的体积值，实现像素坐标与物理坐标的对应，从而计算出每个像素坐标对应的体积数值；

对移液管的图像依次进行灰度、去噪、平滑和二值化处理，提取出分割区域的边界线，即为液面线；获取液面线在像素坐标系中的位置，进而计算得到移液管内的液面刻度值。

7.一种基于视觉伺服控制的液体自动注/吸方法，其特征在于，包括：

通过电机带动隔膜泵的隔膜进行往返运动，隔膜的往返运动能够带动隔膜泵空腔内气体体积发生变化，从而产生正压或负压，实现移液管的自动注出或吸入，以及气体的自动吸入或排出；

其中，获取移液管的图像，基于视觉监测模块得到移液管内的历史液面刻度位置；基于历史液面刻度位置预测下一时刻液面刻度位置；通过下一时刻的移液管图像得到下一时刻的液面刻度位置，将下一时刻的液面刻度位置，与预测的下一时刻液面刻度位置作差，基于差值调整下一时刻的电机转速。

8.如权利要求7所述的一种基于视觉伺服控制的液体自动注/吸方法，其特征在于，基于历史液面刻度位置预测下一时刻液面刻度位置，具体为：

当移液管内液体开始流动时，按照设定的频率采集移液管的图像，基于移液管的图像识别出每个时刻移液管内液面的刻度位置，并将数据存储为每个时刻的历史液面刻度位置；

基于设定的两个时刻得到的液面刻度位置之差，计算出液面在所述两个时刻对应的时间段内的平均移动速度；

根据当前时刻的液面刻度位置，以及液面平均移动速度，预测得到下一时刻的液面刻度位置。

9.如权利要求7所述的一种基于视觉伺服控制的液体自动注/吸方法，其特征在于，当所述差值小于设定的阈值时，控制电机转速保持稳定；当移液管内液面达到预设要求时，控制电机停止转动。

10.如权利要求7所述的一种基于视觉伺服控制的液体自动注/吸方法，其特征在于，基于视觉监测模块得到移液管内的历史液面刻度位置，具体为：

视觉监测模块获取移液管的图像，通过图像分割识别出移液管上的刻度线，计算刻度线在像素坐标系中所对应的像素距离；根据移液管型号信息，获取每个刻度线代表的体积值，实现像素坐标与物理坐标的对应，从而计算出每个像素坐标对应的体积数值；

对移液管的图像依次进行灰度、去噪、平滑和二值化处理，提取出分割区域的边界线，即为液面线；获取液面线在像素坐标系中的位置，进而计算得到移液管内的液面刻度值。