CN119036477B - 机械臂的控制方法与控制装置 - Google Patents

Abstract

本发明提出一种机械臂的控制方法与控制装置，涉及工业自动化设备技术领域，控制方法包括以下步骤：机械臂获取环境图像；计算出所述环境图像中像素坐标与机械臂的物理坐标之间的转换关系，得出所述控件坐标与所述物理坐标之间的转换关系；控制机械臂自身运动到用户选择的物理坐标位置。本发明通过结合图像处理和坐标转换技术，机械臂可以根据用户通过图像界面指定的目标自动规划路径并执行操作，提高机械臂对环境的感知能力和定位精度，简化了用户交互流程，提高了操作的便捷性，并提高了机械臂自动化水平和灵活性。

Description

机械臂的控制方法与控制装置

技术领域

本发明涉及工业自动化设备技术领域，特别涉及一种机械臂的控制方法与控制装置。

背景技术

机械臂是一种具备类似人类手臂的功能，可完成各种作业的自动化机械装置。可编程性，能够接受指令，将物体按照空间位置姿态进行移动的精准作业方式。机械臂可以替代人工进行重复性、高强度和高危险性的工作，如搬运重物、装配零部件等，从而大幅提高生产效率和产量。通过精准的操作和连续的作业，机械臂能够在短时间内完成大量工作，减少人工操作的时间和人力成本。

而传统机械臂在复杂或动态环境中操作时，往往依赖于预设的坐标系统或外部定位设备，这可能导致定位精度不足或响应速度慢；其控制系统可能要求用户输入复杂的坐标值或使用专业的控制软件，这增加了用户的操作难度和学习成本。因此，需要一种能通过结合图像处理和坐标转换技术，控制机械臂操作的控制方法和装置，提高机械臂对环境和定位精度、简化了用户交互流程。

发明内容

本发明的主要目的是提出一种机械臂的控制方法与控制装置，旨在解决机械臂定位精度不足、用户操作难度大的问题。

为实现上述目的，本发明提供了一种机械臂的控制方法，包括以下步骤：

机械臂获取环境图像；

计算出所述环境图像中像素坐标与机械臂的物理坐标之间的转换关系；

获取控件坐标与所述像素坐标的转换关系，得出所述控件坐标与所述物理坐标之间的转换关系；

获取用户设置指令，并根据所述用户设置指令以及所述控件坐标与所述物理坐标的转换关系，控制机械臂自身运动到用户选择的物理坐标位置。

可选地，所述机械臂获取环境图像的具体步骤包括：

通过相机采集所述机械臂实时的环境图像；

对所述相机进行标定，以获取相机的内部参数数据与外部参数数据；

对所述相机采集到的环境图像进行预处理。

可选地，所述计算出所述环境图像中像素坐标与机械臂的物理坐标之间的转换关系的具体步骤包括：

基于所述机械臂的起始位置与朝向，建立所述机械臂的物理坐标系{W}；

基于相机的内部参数数据与外部参数数据，建立相机坐标系{C}并通过换算关系获得环境图像的像素坐标系{I}；

基于所述物理坐标系{W}与所述相机坐标系{C}的转换关系、所述相机坐标系{C}与所述像素坐标系{I}的转换关系，计算出像素坐标与物理坐标之间的转换关系。

可选地，所述基于相机的内部参数数据与外部参数数据，建立相机坐标系{C}并通过换算关系获得环境图像的像素坐标系{I}还包括：

所述相机坐标系{C}基于自身与成像平面坐标系{F}的转换关系以及成像平面坐标系{F}与所述像素坐标系{I}的转换关系，获得像素坐标系{I}。

可选地，所述获取控件坐标与所述像素坐标的转换关系，得出所述控件坐标与所述物理坐标之间的转换关系的具体步骤包括：

将获取的环境图像显示在用户界面上；

基于所述用户界面显示的控件位置与大小，构建控件坐标系{L}；

通过控件坐标系{L}与像素坐标系{I}的转换关系以及像素坐标与物理坐标之间的转换关系，得到控件坐标与物理坐标之间的转换关系。

可选地，所述获取用户设置指令，并根据所述用户设置指令以及所述控件坐标与所述物理坐标的转换关系，控制机械臂自身运动到用户选择的物理坐标位置的具体步骤包括：

获取用户设置指令，并根据所述用户设置指令以及所述控件坐标与所述物理坐标的转换关系，获得机械臂的物理坐标位置；

在获得机械臂的物理坐标位置后，进行路径规划；

基于路径规划的结果，控制机械臂自身运动到用户选择的物理坐标位置。

本发明还提供了一种控制装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的机械臂控制程序，所述机械臂控制程序被所述处理器执行时实现上述的机械臂控制方法的步骤。

本发明提供了一种机械臂及其控制方法，通过结合图像处理和坐标转换技术，机械臂可以根据用户通过图像界面指定的目标自动规划路径并执行操作，提高机械臂对环境的感知能力和定位精度，简化了用户交互流程，提高了操作的便捷性，并提高了机械臂自动化水平和灵活性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明一种机械臂的控制方法流程框架图；

图2为本发明一种机械臂的控制方法一实施例步骤S100流程框架图；

图3为本发明一种机械臂的控制方法一实施例步骤S200流程框架图；

图4为本发明一种机械臂的控制方法一实施例步骤S220流程框架图；

图5为本发明一种机械臂的控制方法一实施例步骤S300流程框架图；

图6为本发明一种机械臂的控制方法一实施例步骤S400流程框架图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，本发明实施例中所有方向性指示（诸如上、下、左、右、前、后……）仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

在本发明中，除非另有明确的规定和限定，术语“连接”“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

另外，在本发明中如涉及“第一”“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

本发明提供了一种机械臂的控制方法，如图1所示，包括以下步骤：

步骤S100：机械臂获取环境图像；

机械臂通过图像采集设备，如摄像头、相机等获取环境图像信息。值得注意，图像采集设备需要被安装在机械臂上或固定在工作区域的适当位置，确保能够覆盖目标区域并获取清晰的图像。

图像采集设备捕捉周围环境的光信号，并将其转换为数字信号即环境图像数据，环境图像数据通过数据线或无线方式传输到机械臂的控制系统或上位机进行处理。

步骤S200：计算出环境图像中像素坐标与机械臂的物理坐标之间的转换关系；

首先，需要对图像采集设备对标，计算出图像采集设备自身的坐标系与机械臂所在的坐标系之间的转换关系，然后结合图像采集设备坐标系以及成像原理、投影原理得出图像采集设备坐标系与环境图像中像素坐标的转换关系，其中的转换包括有平移转换、旋转转换与复合转换。

步骤S300：获取控件坐标与像素坐标的转换关系，通过S200获得像素坐标与机械臂的物理坐标之间的转换关系，从而得出控件坐标与物理坐标之间的转换关系；

通常指的是在控件（如按钮、文本框等）内部的相对坐标系统，其原点（0,0）通常位于控件的左上角或根据控件的特定布局属性而定。在大多数情况下，如果控件直接绘制在屏幕上，且没有缩放或旋转等变换，那么控件坐标和屏幕上的像素坐标之间可能只是简单的偏移关系。即，控件坐标加上控件在屏幕上的位置（通常以像素为单位）可以得到相应的像素坐标。

步骤S400：获取用户设置指令，并根据用户设置指令，将控件坐标转换成像素坐标，像素坐标转换成物理坐标，控制机械臂自身运动到用户选择的物理坐标位置。

获取用户设置指令，用户输入的是控件坐标，首先需要将它们转换为屏幕上的像素坐标。这通常涉及控件的位置和大小，以及屏幕的分辨率。接下来，需要将像素坐标转换为机械臂可理解的物理坐标。这可能需要考虑摄像头或传感器的校准数据、机械臂的基础位置、工作空间的尺寸和布局等因素。

一旦获得了物理坐标，就可以向机械臂发送运动指令，使其移动到该位置；在机械臂运动过程中，可能需要接收来自机械臂的实时反馈，以便监控其状态或进行必要的调整。

本发明提供了一种机械臂及其控制方法和装置，通过结合图像处理和坐标转换技术，机械臂可以根据用户通过图像界面指定的目标自动规划路径并执行操作，提高机械臂对环境的感知能力和定位精度，简化了用户交互流程，提高了操作的便捷性，并提高了机械臂自动化水平和灵活性。

在一实施中，如图2所示，机械臂获取环境图像的具体步骤包括：

步骤S110：通过相机采集机械臂实时的环境图像；

在该步骤中，所使用

的相机需要确保能够覆盖目标区域并获取全面的环境图像，安装时需要考虑相机的视野范围、光线条件以及可能的遮挡物。

根据应用场景的需求选择合适的相机类型，以及选择具有适当分辨率和帧率的相机，以确保能够捕捉到清晰的图像并满足实时性要求。在本实施例中，相机优选工业相机，工业相机通过透镜将光线聚焦在光敏元件上，形成图像。其后，通过相机驱动或API接口，实时获取并传输环境图像数据到处理系统。

步骤S120：对相机进行标定，以获取相机的内部参数数据与外部参数数据；

相机标定是获取相机内参和外参的过程，这些参数对于将图像坐标转换为机械臂工作空间中的物理坐标至关重要。

内参标定：主要包括焦距、光心（图像中心）、畸变系数等参数的标定。这通常需要使用特定的标定板（如棋盘格标定板）进行拍摄，并通过图像处理算法计算出内参矩阵。

外参标定：即确定相机坐标系与机械臂的物理坐标系之间的旋转矩阵和平移向量。这可以通过在场景中放置已知位置的标记点或物体，并使用图像处理算法来估计相机的姿态。

步骤S130：对相机采集到的环境图像进行预处理。

图像预处理是图像处理中的一个重要步骤，旨在改善图像质量，使其更适合后续的目标识别、定位等任务。

其中，包括：灰度化：将彩色图像转换为灰度图像，以减少计算量和存储空间，同时保留足够的图像信息。滤波：使用滤波器（如高斯滤波器、中值滤波器等）去除图像中的噪声和干扰。

边缘检测：通过边缘检测算法（如Canny边缘检测器、Sobel算子等）提取图像中的边缘信息，为后续的特征提取和目标识别提供基础。直方图均衡化：调整图像的对比度，使图像的细节更加清晰。

在一实施中，如图3所示，计算出环境图像中像素坐标与机械臂的物理坐标之间的转换关系的具体步骤包括：

步骤S210：基于机械臂的起始位置与朝向，建立机械臂的物理坐标系{W}；

机械臂的位姿描述通常使用齐次变换矩阵来表示。该矩阵描述了机械臂从物理坐标系{W}中的某一位置转移到另一个位置的旋转和平移变换。

物理坐标系{W}是一个固定的坐标系，通常用于描述机械臂在工作区域中的位置和姿态。该坐标系的原点和轴通常与机械臂的起始位置和朝向相关，该坐标系的物理坐标（x _w，y _w，z _w）。

步骤S220：基于相机的内部参数数据与外部参数数据，建立相机坐标系{C}并通过换算关系获得环境图像的像素坐标系{I}；

在本实施例中，图像采集设备选择相机。

相机坐标系{C}是相机固定在机械臂上时使用的坐标系，在该坐标系下，相机的光心位于坐标原点，光轴与z轴重合，其x轴和y轴分别与相机的水平和竖直方向对齐，该坐标系中相机坐标（x _c，y _c，z _c）。

像素坐标系{I}：像素坐标系是一种二维坐标系，每个像素都有一个唯一的坐标，其坐标值表示为离散的像素点坐标。在像素坐标系中，坐标原点通常在图像的左上角，x轴向右延伸，y轴向下延伸。因此，像素坐标系中的坐标通常是P=（u，v）形式，其中u和v分别表示像素在图像中的列和行。光心在像素坐标系中的坐标（u ₀ ，v ₀）。

步骤S230：基于物理坐标系{W}与相机坐标系{C}的转换关系、相机坐标系{C}与像素坐标系{I}的转换关系，计算出像素坐标与物理坐标之间的转换关系。

上述的物理坐标系{W}、相机坐标系{C}与像素坐标系{I}之间的转换可以通过转换矩阵实现。三维空间点表示通常用于描述物体的三维位置，它由三个数值组成，分别表示在三维坐标系中的x、y和z坐标。在直角坐标系中，可以将任意一点P表示为：。

平移变换指的是在一个坐标系中，将点沿着指定的方向移动一定的距离。通过平移使得两坐标系原点重合。用位置矢量表示坐标系{A}原点在坐标系{B}下的描述，则平移方程为：；

旋转变换是指通过旋转操作改变坐标系方向和姿态的变换方式。旋转变换通常是以某个轴为中心进行的。旋转变换可以用旋转矩阵来描述，旋转矩阵是一个正交矩阵，表示将一个向量绕某个轴旋转一定角度后得到的新向量。若坐标系{B}可以通过旋转矩阵得到坐标系{A}，则点P在坐标系{A}中可表示为：；

复合变换是指将多个变换操作按照一定的顺序依次进行，从而得到一个新的变换的过程。常见的复合变换包括平移变换、旋转变换、缩放变换等。复合变换的顺序很重要，不同的顺序可能得到完全不同的结果。例如，在进行旋转变换和平移变换时，它们的顺序是不能随意交换的，否则会导致不同的结果。在三维坐标系中，如果我们需要将一个物体从一个坐标系转换到另一个坐标系，可以采用多个变换操作的复合变换来实现。通常的做法是先进行平移变换，将物体从原坐

标系的原点平移到目标坐标系的原点，然后再进行旋转变换和缩放变换等操作，最终得到在目标坐标系下表示物体位置和方向的变换矩阵。若点P的在坐标系{A}中的位置需要从坐标系{B}中先通过旋转变换，再通过平移变换，则可表示为：。

相机坐标系{C}与物理坐标系{W}之间的转换关系：

相机坐标系{C}与像素坐标系{I}之间的转换关系：

；

。

其中，f是相机的焦距，dx和dy分别是图像传感器上每个像素在x轴和y轴方向上的物理尺寸。

在一实施中，如图4所示，基于相机的内部参数数据与外部参数数据，建立相机坐标系{C}并通过换算关系获得环境图像的像素坐标系{I}还包括：

相机坐标系{C}基于自身与成像平面坐标系{F}的转换关系以及成像平面坐标系{F}与像素坐标系{I}的转换关系，获得像素坐标系{I}。

步骤S220的具体步骤包括：

步骤S221：基于相机的内部参数数据与外部参数数据，建立相机坐标系{C}；

步骤S222：相机坐标系{C}基于自身与成像平面坐标系{F}的转换关系以及成像平面坐标系{F}与像素坐标系{I}的转换关系，获得像素坐标系{I}；

步骤S223：获得相机坐标系{C}与像素坐标系{I}的转换关系。

成像平面坐标系{F}是用于表示相机成像时的二维坐标系。它通常是一个平面，可以看作是相机的感光器表面或成像传感器（如CCD或CMOS）的平面。在这个平面上，相机成像的图像被投影到二维坐标系中，每个像素在这个坐标系中都有一个唯一的坐标。成像平面坐标系通常被定义为与相机光轴垂直，并且与相机的水平和竖直方向对齐。在成像平面坐标系中，通常使用x和y坐标分别表示像素在图像中的列和行。

相机成像模型是指将三维物体在相机中成像的过程抽象为数学模型，以便用于计算机视觉和机器人视觉中的相关应用。小孔成像是常用的成像模型，指的是通过一个较小的圆孔将光线引入相机的成像系统，通过光线的折射和聚焦形成图像，适用于复杂的光学成像系统，图像质量相对较好。相机的成像系统可以看作是一个凹面透镜，将三维空间中的点投影到相机成像平面上。

在一实施中，如图5所示，获取控件坐标与像素坐标的转换关系，得出控件坐标与物理坐标之间的转换关系的具体步骤包括：

步骤S310：相机采集的环境图像显示在用户界面上；用户通过这个界面获得环境图像的信息，并通过该界面进行人机交互，进而控制机械臂运动的位置。

步骤S320：基于用户界面显示的控件位置与大小，构建控件坐标系{L}；首先，需要确定每个控件在用户界面上的准确位置（通常以像素为单位）。这通常通过用户界面的布局文件和/或编程逻辑来设定。对于每个控件，可以构建一个局部的坐标系{L}，其原点（0,0）通常设置在控件的左上角或根据控件的布局特性来确定。控件坐标系{L}的X轴和Y轴分别平行于用户界面的水平和垂直方向。

步骤S330：通过控件坐标系{L}与像素坐标系{I}的转换关系以及像素坐标与物理坐标之间的转换关系，得到控件坐标与物理坐标之间的转换关系。

控件坐标系{L}到像素坐标系{I}的转换是一个简单的平移变换，因为控件坐标系{L}的原点和方向已经与像素坐标系{I}对齐（只是位置上有偏移）。如控件坐标系{L}=（u′， v′），像素坐标系{I}=（u，v）；

u′=u+a；

v′=v+b。

其中，a，b为偏移量。

在一实施中，如图6所示，获取用户设置指令，并根据用户设置指令以及控件坐标与物理坐标的转换关系，控制机械臂自身运动到用户选择的物理坐标位置的具体步骤包括：

步骤S410：获取用户设置指令，并根据用户设置指令以及控件坐标与物理坐标的转换关系，获得机械臂的物理坐标位置；

根据之前建立的控件坐标系{L}与像素坐标系{I}的转换关系，以及像素坐标系{I}与物理坐标系{W}的转换关系，将用户通过控件指定的位置（控件坐标）转换为机械臂可以理解的物理坐标。这一步骤可能包括多个数学变换和校准参数的应用。通过上述转换过程，系统最终得到机械臂需要到达的物理坐标位置

步骤S420：在获得机械臂的物理坐标位置后，进行路径规划；

路径规划是机器人运动控制中的一个重要环节，它涉及为机械臂规划一条从当前位置到目标位置的最优或可行路径。这条路径需要避开障碍物，同时考虑机械臂的运动学限制和动力学特性。

步骤S430：基于路径规划的结果，控制机械臂自身运动到用户选择的物理坐标位置。根据路径规划的结果，生成控制机械臂运动的指令，这些指令通常包括每个关节的目标角度、速度、加速度等参数。将控制指令发送给机械臂的控制系统，控制系统根据指令驱动机械臂的电机和其他执行机构，使机械臂沿着规划好的路径运动。

在运动过程中，可能需要实时接收机械臂的反馈信息，并根据这些信息对控制指令进行调整，以确保机械臂能够准确、稳定地到达目标位置。当机械臂到达用户选择的物理坐标位置时，控制系统会停止发送控制指令，机械臂将停止运动。

本发明还提供了一种控制装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的机械臂控制程序，机械臂控制程序被处理器执行时实现上述的机械臂控制方法的步骤。

本发明还提供了一种机械臂，包括上述的控制装置。

在一实施中，机械臂还包括相机，相机可转动地安设于机械臂的末端。

相机可转动地安设于机械臂的末端，这一设计带来了诸多优势。一方面，它扩大了相机的视野范围，使得机械臂能够在更广泛的工作区域内进行作业。另一方面，通过调整相机的角度和位置，机械臂可以更加灵活地应对不同形状和尺寸的物体，实现更复杂的操作任务。

在一实施例中，机械臂为选择性顺应性装配机器手臂。选择性顺应性装配机器手臂（Selective Compliance Assembly Robot Arm, 简称SCARA），我们实际上是在讨论一种特定类型的工业机器人，它以其独特的设计特性和应用领域而闻名。SCARA机器人因其高灵活性、准确性和在二维空间内的快速移动能力而广泛应用于装配、拾取与放置、包装和检验等多种工业自动化任务中。

SCARA机器人通常具有四个自由度，其中前三个关节允许手臂在水平面内进行精确的定位和定向，而第四个关节用于在垂直方向上提供额外的灵活性或进行工具的安装和旋转。同时，SCARA机器人在某些方向上具有较高的刚度，以确保在装配或操作过程中能够施加必要的力，而在其他方向则具有较高的灵活性，以便进行精确的位置调整。

以上所述仅为本发明的可选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (5)

1.一种机械臂的控制方法，其特征在于，包括以下步骤：

机械臂获取环境图像；通过相机采集所述机械臂实时的环境图像；对所述相机进行标定，以获取相机的内部参数数据与外部参数数据；对所述相机采集到的环境图像进行预处理；

计算出所述环境图像中像素坐标与机械臂的物理坐标之间的转换关系；基于所述机械臂的起始位置与朝向，建立所述机械臂的物理坐标系{W}；

基于相机的内部参数数据与外部参数数据，建立相机坐标系{C}并通过换算关系获得环境图像的像素坐标系{I}；

基于所述物理坐标系{W}与所述相机坐标系{C}的转换关系、所述相机坐标系{C}与所述像素坐标系{I}的转换关系，计算出像素坐标与物理坐标之间的转换关系；

获取控件坐标与所述像素坐标的转换关系，得出所述控件坐标与所述物理坐标之间的转换关系；

获取用户设置指令，并根据所述用户设置指令以及所述控件坐标与所述物理坐标的转换关系，控制机械臂自身运动到用户选择的物理坐标位置。

2.根据权利要求1所述的机械臂的控制方法，其特征在于，所述基于相机的内部参数数据与外部参数数据，建立相机坐标系{C}并通过换算关系获得环境图像的像素坐标系{I}还包括：

所述相机坐标系{C}基于自身与成像平面坐标系{F}的转换关系以及成像平面坐标系{F}与所述像素坐标系{I}的转换关系，获得像素坐标系{I}。

3.根据权利要求1所述的机械臂的控制方法，其特征在于，所述获取控件坐标与所述像素坐标的转换关系，得出所述控件坐标与所述物理坐标之间的转换关系的具体步骤包括：

将获取的环境图像显示在用户界面上；

基于所述用户界面显示的控件位置与大小，构建控件坐标系{L}；

通过控件坐标系{L}与像素坐标系{I}的转换关系以及像素坐标与物理坐标之间的转换关系，得到控件坐标与物理坐标之间的转换关系。

4.根据权利要求1所述的机械臂的控制方法，其特征在于，所述获取用户设置指令，并根据所述用户设置指令以及所述控件坐标与所述物理坐标的转换关系，控制机械臂自身运动到用户选择的物理坐标位置的具体步骤包括：

获取用户设置指令，并根据所述用户设置指令以及所述控件坐标与所述物理坐标的转换关系，获得机械臂的物理坐标位置；

在获得机械臂的物理坐标位置后，进行路径规划；

基于路径规划的结果，控制机械臂自身运动到用户选择的物理坐标位置。

5.一种控制装置，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的机械臂控制程序，所述机械臂控制程序被所述处理器执行时实现如权利要求1至4中任一项所述的机械臂控制方法的步骤。