CN109855603A - 一种聚焦测量方法及终端 - Google Patents
一种聚焦测量方法及终端 Download PDFInfo
- Publication number
- CN109855603A CN109855603A CN201910109939.4A CN201910109939A CN109855603A CN 109855603 A CN109855603 A CN 109855603A CN 201910109939 A CN201910109939 A CN 201910109939A CN 109855603 A CN109855603 A CN 109855603A
- Authority
- CN
- China
- Prior art keywords
- pan
- tilt
- measured
- rotation angle
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及测量技术领域,尤其涉及一种聚焦测量方法及终端。其包括:获取待测目标物体上预设的目标点的空间坐标;旋转云台,使所述待测目标物体位于云台上设置的摄像机的可视区域内,并确定当前状态下所述待测目标物体的聚焦平面;拍摄所述待测目标物体的图像,并根据所述目标点的空间坐标以及云台的旋转角度,计算所述图像与所述聚焦平面之间的映射关系;获取所述图像上待测目标物体的坐标值,并代入所述映射关系,计算得到所述待测目标物体的测量值。本发明提供的一种聚焦测量方法及终端,能够实现待测目标物体在空间任意位置的测量。
Description
技术领域
本发明涉及测量技术领域,尤其涉及一种聚焦测量方法及终端。
背景技术
图像测量应用于各个领域。单目视觉系统结构简单,应用方便,在不借助已知标准物的前提下,只能对图像中已标定的单个物理平面上的目标进行测量。但实际应用场景中,由于待测目标物体处于空间任意位置,甚至不处于任何物理平面上,上述的单目视觉系统无法实现对待测目标物体的测量。
发明内容
本发明所要解决的技术问题是:本发明提供了一种聚焦测量方法及终端,能够实现待测目标物体在空间任意位置的测量。
为了解决上述技术问题,本发明提供了一种聚焦测量方法,包括以下步骤:
S1:获取待测目标物体上预设的目标点的空间坐标;
S2:旋转云台,使所述待测目标物体位于云台上设置的摄像机的可视区域内,并确定当前状态下所述待测目标物体的聚焦平面;
S3:拍摄所述待测目标物体的图像,并根据所述目标点的空间坐标以及云台的旋转角度,计算所述图像与所述聚焦平面之间的映射关系;
S4:获取所述图像上待测目标物体的坐标值,并代入所述映射关系,计算得到所述待测目标物体的测量值。
本发明还提供了一种聚焦测量终端,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
S1:获取待测目标物体上预设的目标点的空间坐标;
S2:旋转云台,使所述待测目标物体位于云台上设置的摄像机的可视区域内,并确定当前状态下所述待测目标物体的聚焦平面;
S3:拍摄所述待测目标物体的图像,并根据所述目标点的空间坐标以及云台的旋转角度,计算所述图像与所述聚焦平面之间的映射关系;
S4:获取所述图像上待测目标物体的坐标值,并代入所述映射关系,计算得到所述待测目标物体的测量值。
本发明的有益效果为:
本发明提供的一种聚焦测量方法和终端,获取待测目标物体上目标点的空间坐标;旋转云台,使所述待测目标物体位于云台上的摄像机的可视区域内,并确定所述待测目标物体的聚焦平面;拍摄所述待测目标物体的图像,并根据所述目标点的空间坐标以及云台的旋转角度,计算所述图像与所述聚焦平面之间的映射关系,从而计算得到待测目标物体的测量值。本发明通过上述方法确定的聚焦平面,并计算得到待测目标物体的图像与聚焦平面的映射关系,并根据所述映射关系,所述把待测目标物体的图像映射到聚焦平面上,能够实现对空间任意位置的待测目标物体的测量。
附图说明
图1为根据本发明实施例的一种聚焦测量方法的主要步骤示意图;
图2为根据本发明实施例的一种聚焦测量终端的结构示意图;
图3为根据本发明实施例一中的坐标系示意图;
图4为根据本发明实施例二中的坐标系示意图;
图5为根据本发明实施例三中的坐标系示意图;
标号说明:
1、存储器;2、处理器。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果,以下结合实施方式并配合附图详予说明。
本发明最关键的构思为:获取待测目标物体上目标点的空间坐标;旋转云台,使所述待测目标物体位于云台上的摄像机的可视区域内,并确定所述待测目标物体的聚焦平面;拍摄所述待测目标物体的图像,并根据所述目标点的空间坐标以及云台的旋转角度,计算所述图像与所述聚焦平面之间的映射关系,从而计算得到待测目标物体的测量值。
请参照图1,本发明提供了一种聚焦测量方法,包括以下步骤:
S1:获取待测目标物体上预设的目标点的空间坐标;
S2:旋转云台,使所述待测目标物体位于云台上设置的摄像机的可视区域内,并确定当前状态下所述待测目标物体的聚焦平面;
S3:拍摄所述待测目标物体的图像,并根据所述目标点的空间坐标以及云台的旋转角度,计算所述图像与所述聚焦平面之间的映射关系;
S4:获取所述图像上待测目标物体的坐标值,并代入所述映射关系,计算得到所述待测目标物体的测量值。
从上述描述可知,本发明提供的一种聚焦测量方法,获取待测目标物体上目标点的空间坐标;旋转云台,使所述待测目标物体位于云台上的摄像机的可视区域内,并确定所述待测目标物体的聚焦平面;拍摄所述待测目标物体的图像,并根据所述目标点的空间坐标以及云台的旋转角度,计算所述图像与所述聚焦平面之间的映射关系,从而计算得到待测目标物体的测量值。本发明通过上述方法确定的聚焦平面,并计算得到待测目标物体的图像与聚焦平面的映射关系,并根据所述映射关系,所述把待测目标物体的图像映射到聚焦平面上,能够实现对空间任意位置的待测目标物体的测量。
进一步的,所述S1具体为:
旋转云台,使云台上设置的激光器对准所述目标点,并记录云台的旋转角度,得到第一云台旋转角度;
通过所述激光器对所述目标点进行测距,得到激光距离;
根据所述激光距离和第一云台旋转角度,计算得到所述目标点的空间坐标。
从上述描述可知,通过上述方法,能够快速准确地计算得到目标点的空间坐标,提高了聚焦测量的效率。
进一步的,所述S2具体为:
旋转云台,使所述待测目标物体位于云台上设置的摄像机的可视区域内,并记录云台的旋转角度,得到第二云台旋转角度;
根据所述目标点的空间坐标及第二云台旋转角度,确定当前状态下所述待测目标物体的聚焦平面。
从上述描述可知,通过上述方法,能够确定处于任何空间位置下的待测目标物体的聚焦平面,从而确定拍摄的图像与聚焦平面之间的映射关系,从而实现对空间任意位置的待测目标物体的测量。
进一步的,所述S3具体为:
通过所述摄像头拍摄所述待测目标物体的图像,并根据所述摄像机的内部参数、目标点的空间坐标、第一云台旋转角度及第二云台旋转角度,计算所述图像与所述聚焦平面之间的映射关系。
从上述描述可知,通过上述方法,能够快速精确地确定计算得到图像与所述聚焦平面的映射关系,从而确保处于空间任意某个位置的待测目标物体的测量。
进一步的,所述S1具体为:
旋转云台,使云台上设置的激光器对准待测目标物体上预设的第一目标点,并记录云台的旋转角度,得到第三云台旋转角度;通过所述激光器对所述第一目标点进行测距,得到第一激光距离;根据所述第一激光距离和第三云台旋转角度,计算得到所述目标点的第一空间坐标;
旋转云台,使云台上设置的激光器对准待测目标物体上预设的第二目标点,并记录云台的旋转角度,得到第四云台旋转角度;通过所述激光器对所述第二目标点进行测距,得到第二激光距离;根据所述第二激光距离和第四云台旋转角度,计算得到所述目标点的第二空间坐标;
所述S2具体为:
旋转云台,使所述待测目标物体位于云台上设置的摄像机的可视区域内,并记录云台的旋转角度,得到第五云台旋转角度;根据所述第一空间坐标、所述第二空间坐标及第五云台旋转角度,确定当前状态下所述待测目标物体的聚焦平面;
所述S3具体为:
通过所述摄像头拍摄所述待测目标物体的图像,并根据所述摄像机的内部参数、第一空间坐标、第二空间坐标、第三云台旋转角度、第四云台旋转角度和第五云台旋转角度,计算所述图像与所述聚焦平面之间的映射关系。
从上述描述可知,通过上述方法,能够实现对空间任意位置的待测目标物体的测量,且能够保证测量的精度。
请参照图2,本发明还提供了一种聚焦测量终端,包括存储器1、处理器2及存储在存储器1上并可在处理器2上运行的计算机程序,所述处理器2执行所述计算机程序时实现以下步骤:
S1:获取待测目标物体上预设的目标点的空间坐标;
S2:旋转云台,使所述待测目标物体位于云台上设置的摄像机的可视区域内,并确定当前状态下所述待测目标物体的聚焦平面;
S3:拍摄所述待测目标物体的图像,并根据所述目标点的空间坐标以及云台的旋转角度,计算所述图像与所述聚焦平面之间的映射关系;
S4:获取所述图像上待测目标物体的坐标值,并代入所述映射关系,计算得到所述待测目标物体的测量值。
从上述描述可知,本发明提供的一种聚焦测量终端,获取待测目标物体上目标点的空间坐标;旋转云台,使所述待测目标物体位于云台上的摄像机的可视区域内,并确定所述待测目标物体的聚焦平面;拍摄所述待测目标物体的图像,并根据所述目标点的空间坐标以及云台的旋转角度,计算所述图像与所述聚焦平面之间的映射关系,从而计算得到待测目标物体的测量值。本发明通过上述方法确定的聚焦平面,并计算得到待测目标物体的图像与聚焦平面的映射关系,并根据所述映射关系,所述把待测目标物体的图像映射到聚焦平面上,能够实现对空间任意位置的待测目标物体的测量。
进一步的,所述的一种聚焦测量终端,所述S1具体为:
旋转云台,使云台上设置的激光器对准所述目标点,并记录云台的旋转角度,得到第一云台旋转角度;
通过所述激光器对所述目标点进行测距,得到激光距离;
根据所述激光距离和第一云台旋转角度,计算得到所述目标点的空间坐标。
从上述描述可知,通过上述终端,能够快速准确地计算得到目标点的空间坐标,提高了聚焦测量的效率。
进一步的,所述的一种聚焦测量终端,所述S2具体为:
旋转云台,使所述待测目标物体位于云台上设置的摄像机的可视区域内,并记录云台的旋转角度,得到第二云台旋转角度;
根据所述目标点的空间坐标及第二云台旋转角度,确定当前状态下所述待测目标物体的聚焦平面。
从上述描述可知,通过上述终端,能够确定处于任何空间位置下的待测目标物体的聚焦平面,从而确定拍摄的图像与聚焦平面之间的映射关系,从而实现对空间任意位置的待测目标物体的测量。
进一步的,所述的一种聚焦测量终端,所述S3具体为:
通过所述摄像头拍摄所述待测目标物体的图像,并根据所述摄像机的内部参数、目标点的空间坐标、第一云台旋转角度及第二云台旋转角度,计算所述图像与所述聚焦平面之间的映射关系。
从上述描述可知,通过上述终端,能够快速精确地确定计算得到图像与所述聚焦平面的映射关系,从而确保处于空间任意某个位置的待测目标物体的测量。
进一步的,所述的一种聚焦测量终端,所述S1具体为:
旋转云台,使云台上设置的激光器对准待测目标物体上预设的第一目标点,并记录云台的旋转角度,得到第三云台旋转角度;通过所述激光器对所述第一目标点进行测距,得到第一激光距离;根据所述第一激光距离和第三云台旋转角度,计算得到所述目标点的第一空间坐标;
旋转云台,使云台上设置的激光器对准待测目标物体上预设的第二目标点,并记录云台的旋转角度,得到第四云台旋转角度;通过所述激光器对所述第二目标点进行测距,得到第二激光距离;根据所述第二激光距离和第四云台旋转角度,计算得到所述目标点的第二空间坐标;
所述S2具体为:
旋转云台,使所述待测目标物体位于云台上设置的摄像机的可视区域内,并记录云台的旋转角度,得到第五云台旋转角度;根据所述第一空间坐标、所述第二空间坐标及第五云台旋转角度,确定当前状态下所述待测目标物体的聚焦平面;
所述S3具体为:
通过所述摄像头拍摄所述待测目标物体的图像,并根据所述摄像机的内部参数、第一空间坐标、第二空间坐标、第三云台旋转角度、第四云台旋转角度和第五云台旋转角度,计算所述图像与所述聚焦平面之间的映射关系。
从上述描述可知,通过上述终端,能够实现对空间任意位置的待测目标物体的测量,且能够保证测量的精度。
请参照图1和图3,本发明的实施例一为:
本发明提供了一种聚焦测量方法,包括以下步骤:
S1:获取待测目标物体上预设的目标点的空间坐标;
其中,所述S1具体为:
云台上设有摄像机和激光器,所述云台为二轴旋转云台,可绕水平方向进行旋转(即绕云台的预设第二旋转轴进行旋转),以及可绕竖直方向进行旋转(即绕云台的预设第一旋转轴进行旋转),先旋转云台,使云台处于初始位置(水平方向与竖直方向的旋转角均为0度),以当前状态下,激光器的激光束所在的方向为ZO轴,云台绕竖直方向旋转的第一旋转轴所在的方向为XO轴,云台绕水平方向旋转的第二旋转轴所在的方向为YO轴,建立初始坐标系O-XOYOZO,O为坐标原点;
旋转云台,使云台上设置的激光器对准所述目标点A,并记录云台的旋转角度,得到第一云台旋转角度,所述第一旋转角度包括云台绕竖直方向(第一旋转轴)旋转的角度αa和云台绕水平方向(第二旋转轴)旋转的角度βa;
通过所述激光器对所述目标点进行测距,得到激光距离
根据所述激光距离和第一云台旋转角度,计算得到所述目标点A在坐标系O-XoYoZo下的坐标
其中,
S2:旋转云台,使所述待测目标物体位于云台上设置的摄像机的可视区域内,并确定当前状态下所述待测目标物体的聚焦平面;
其中,所述S2具体为:
旋转云台,使云台处于初始位置;
旋转云台,使所述待测目标物体位于云台上设置的摄像机的可视区域内,并记录云台的旋转角度,得到第二云台旋转角度,所述第二云台旋转角度包括云台绕第一旋转轴旋转的角度αe和云台绕第二旋转轴旋转的角度βe;
以当前状态下,云台第一旋转轴所在的方向为Xe轴,云台第二旋转轴所在的方向为Ye轴,激光器的激光束所在的方向为Ze轴,建立坐标系Oe-XeYeZe;根据A在坐标系XoYoZo下的坐标和第二云台旋转角度,计算得到A点在XeYeZe下的坐标
其中,
以聚焦点A点为Ow原点,以平行于Xo轴作Xw轴,以平行于Zo轴作Zw轴,由OwXwZw组成聚焦平面π,Yw垂直于聚焦平面π,建立坐标系Ow-XwYwZw;得到坐标系Ow-XwYwZw与Oe-XeYeZe之间的转换关系:
其中
S3:拍摄所述待测目标物体的图像,并根据所述目标点的空间坐标以及云台的旋转角度,计算所述图像与所述聚焦平面之间的映射关系;
其中,所述S3具体为:
通过所述摄像头拍摄所述待测目标物体的图像,并建立图像坐标系,所述图像坐标系是以图像最左上角的点为原点,水平向右方向为u轴,竖直向下方向为v轴,所创建的坐标系为uv坐标系;
根据摄像机内部参数K,得到坐标系uv与坐标系Oe-XeYeZe之间的映射关系:由于聚焦平面π上Yw=0,可得坐标系uv与坐标系Ow-XwYwZw映射关系:
其中,所述是摄像头的固有矩阵,(u0,v0)是摄像头光学中心在CCD成像平面上的投影位置,f是摄像头的焦距,dx和dy分别是CCD每个像素在水平方向和垂直方向上的物理尺寸。所述γ为预设的缩放因子,当γ=1时,得到的测量尺寸大小与待测目标物体的尺寸大小相同;当γ=2时,得到的测量尺寸大小为待测目标物体的尺寸的两倍;当γ=3时,得到的测量尺寸大小为待测目标物体的尺寸的三倍;当γ=0.5时,得到的测量尺寸大小为待测目标物体的尺寸的0.5倍
S4:获取所述图像上待测目标物体的坐标值,并代入所述映射关系,计算得到所述待测目标物体的测量值;
其中,所述S4具体为:
在图像上选取待测目标的图像坐标,由步骤S3得到的坐标系uv与Ow-XwYwZw之间的映射关系,转换为坐标系Ow-XwYwZw下的坐标,即实现待测目标物体的测量。
请参照图1和图4,本发明的实施例二为:
本发明提供了一种聚焦测量方法,包括以下步骤:
S1:获取待测目标物体上预设的目标点的空间坐标;
其中,所述S1具体为:
云台上设有摄像机和激光器,所述云台为二轴旋转云台,可绕水平方向进行旋转,以及可绕竖直方向进行旋转,先旋转云台,使云台处于初始位置(水平方向与竖直方向的旋转角均为0度),以当前状态下,激光器的激光束所在的方向为ZO轴,云台绕竖直方向旋转的第一旋转轴所在的方向为XO轴,云台绕水平方向旋转的第二旋转轴所在的方向为YO轴,建立初始坐标系O-XOYOZO,O为坐标原点;
旋转云台,使云台上设置的激光器对准预设的第一目标点A,并记录云台的旋转角度,得到第三云台旋转角度,所述第三旋转角度包括云台绕竖直方向(第一旋转轴)旋转的角度αa和云台绕水平方向(第二旋转轴)旋转的角度βa;
通过所述激光器对所述目标点进行测距,得到激光距离
根据所述激光距离和第三云台旋转角度,计算得到所述第一目标点A在坐标系XoYoZo下的坐标
其中,
旋转云台,使云台处于初始位置;
旋转云台,使云台上设置的激光器对准预设的第二目标点B,并记录云台的旋转角度,得到第四云台旋转角度,所述第四旋转角度包括云台绕竖直方向(第一旋转轴)旋转的角度αb和云台绕水平方向(第二旋转轴)旋转的角度βb;
通过所述激光器对所述第二目标点B进行测距,得到激光距离
根据所述激光距离和第四云台旋转角度,计算得到所述第二目标点B在坐系O-XoYoZo下的坐标
其中,
S2:旋转云台,使所述待测目标物体位于云台上设置的摄像机的可视区域内,并确定当前状态下所述待测目标物体的聚焦平面;
其中,所述S2具体为:
旋转云台,使云台处于初始位置;
旋转云台,使所述待测目标物体位于云台上设置的摄像机的可视区域内,并记录云台的旋转角度,得到第五云台旋转角度,所述第五云台旋转角度包括云台绕第一旋转轴旋转的角度αe和云台绕第二旋转轴旋转的角度βe;
以当前状态下,云台第一旋转轴所在的方向为Xe轴,云台第二旋转轴所在的方向为Ye轴,激光器的激光束所在的方向为Ze轴,建立坐标系Oe-XeYeZe;根据A在坐标系XoYoZo下的坐标和第五云台旋转角度,计算得到A点在XeYeZe下的坐标
其中,
根据B在坐标系XoYoZo下的坐标和第五云台旋转角度,计算得到B点在XeYeZe下的坐标
其中,
连接A、B两点,得到直线AB;穿过A点或B点,得到平行于Ye轴的直线L;由直线AB和直线L组成聚焦平面π,得到Ze轴与聚焦平面π的交点Ow;以Ow为原点,以平行于Ye轴方向为Yw方向,使Zw垂直于聚焦平面π,根据Yw和Zw确定Xw方向,从而建立坐标系Ow-XwYwZw;得到坐标系Ow-XwYwZw与Oe-XeYeZe之间的转换关系:
其中
S3:拍摄所述待测目标物体的图像,并根据所述目标点的空间坐标以及云台的旋转角度,计算所述图像与所述聚焦平面之间的映射关系;
其中,所述S3具体为:
通过所述摄像头拍摄所述待测目标物体的图像,并建立图像坐标系,所述图像坐标系是以图像最左上角的点为原点,水平向右方向为u轴,竖直向下方向为v轴,所创建的坐标系为uv坐标系;
根据摄像机内部参数K,得到坐标系uv与坐标系Oe-XeYeZe之间的映射关系:由于聚焦平面π上Zw=0,可得坐标系uv与坐标系Ow-XwYwZw映射关系:
其中,所述是摄像头的固有矩阵,(u0,v0)是摄像头光学中心在CCD成像平面上的投影位置,f是摄像头的焦距,dx和dy分别是CCD每个像素在水平方向和垂直方向上的物理尺寸。所述γ为预设的缩放因子,当γ=1时,得到的测量尺寸大小与待测目标物体的尺寸大小相同;当γ=2时,得到的测量尺寸大小为待测目标物体的尺寸的两倍;当γ=3时,得到的测量尺寸大小为待测目标物体的尺寸的三倍;当γ=0.5时,得到的测量尺寸大小为待测目标物体的尺寸的0.5倍
S4:获取所述图像上待测目标物体的坐标值,并代入所述映射关系,计算得到所述待测目标物体的测量值;
其中,所述S4具体为:
在图像上选取待测目标的图像坐标,由步骤S3得到的坐标系uv与Ow-XwYwZw之间的映射关系,转换为坐标系Ow-XwYwZw下的坐标,即实现待测目标物体的测量。
请参照图1和图5,本发明的实施例三为:
本发明提供了一种聚焦测量方法,包括以下步骤:
S1:获取待测目标物体上预设的目标点的空间坐标;
其中,所述S1具体为:
云台上设有摄像机和激光器,所述云台为二轴旋转云台,可绕水平方向进行旋转,以及可绕竖直方向进行旋转,先旋转云台,使云台处于初始位置(水平方向与竖直方向的旋转角均为0度),以当前状态下,激光器的激光束所在的方向为ZO轴,云台绕竖直方向旋转的第一旋转轴所在的方向为XO轴,云台绕水平方向旋转的第二旋转轴所在的方向为YO轴,建立初始坐标系O-XOYOZO,O为坐标原点;
旋转云台,使云台上设置的激光器对准预设的第一目标点A,并记录云台的旋转角度,得到第六云台旋转角度,所述第六旋转角度包括云台绕竖直方向(第一旋转轴)旋转的角度αa和云台绕水平方向(第二旋转轴)旋转的角度βa;
通过所述激光器对所述目标点进行测距,得到激光距离
根据所述激光距离和第六云台旋转角度,计算得到所述第一目标点A在坐标系XoYoZo下的坐标
其中,
旋转云台,使云台处于初始位置;
旋转云台,使云台上设置的激光器对准预设的第二目标点B,并记录云台的旋转角度,得到第七云台旋转角度,所述第七旋转角度包括云台绕竖直方向(第一旋转轴)旋转的角度αb和云台绕水平方向(第二旋转轴)旋转的角度βb;
通过所述激光器对所述第二目标点B进行测距,得到激光距离
根据所述激光距离和第七云台旋转角度,计算得到所述第二目标点B在坐系O-XoYoZo下的坐标
其中,
旋转云台,使云台处于初始位置;
旋转云台,使云台上设置的激光器对准预设的第三目标点C,并记录云台的旋转角度,得到第八云台旋转角度,所述第八旋转角度包括云台绕竖直方向(第一旋转轴)旋转的角度αc和云台绕水平方向(第二旋转轴)旋转的角度βc;
通过所述激光器对所述第三目标点C进行测距,得到激光距离
根据所述激光距离和第八云台旋转角度,计算得到所述第三目标点C在坐系O-XoYoZo下的坐标
其中,
S2:旋转云台,使所述待测目标物体位于云台上设置的摄像机的可视区域内,并确定当前状态下所述待测目标物体的聚焦平面;
其中,所述S2具体为:
旋转云台,使云台处于初始位置;
旋转云台,使所述待测目标物体位于云台上设置的摄像机的可视区域内,并记录云台的旋转角度,得到第九云台旋转角度,所述第九云台旋转角度包括云台绕第一旋转轴旋转的角度αe和云台绕第二旋转轴旋转的角度βe;本发明中云台旋转角度均是相对于云台初始状态下的旋转角度;
以当前状态下,云台第一旋转轴所在的方向为Xe轴,云台第二旋转轴所在的方向为Ye轴,激光器的激光束所在的方向为Ze轴,建立坐标系Oe-XeYeZe;根据A在坐标系XoYoZo下的坐标和第九云台旋转角度,计算得到A点在XeYeZe下的坐标
其中,
根据B在坐标系XoYoZo下的坐标和第九云台旋转角度,计算得到B点在XeYeZe下的坐标
其中,
根据C在坐标系XoYoZo下的坐标和第九云台旋转角度,计算得到C点在XeYeZe下的坐标
其中,
由A、B、C三点组成聚焦平面π,得到Ze轴与聚焦平面π的交点Ow;以Ow为原点,使Zw垂直于聚焦平面π,在聚焦平面π上垂直于预设的交线的方向为Yw方向,所述交线为聚焦平面π与平面OeXeZe的交线,根据Yw和Zw确定Xw,从而建立坐标系Ow-XwYwZw;得到坐标系Ow-XwYwZw与Oe-XeYeZe之间的转换关系:
其中
ω为Yw轴和平面OeXeZe夹角的余角,为聚焦平面π与平面
OeXeZe的交线和Ze轴的夹角;
S3:拍摄所述待测目标物体的图像,并根据所述目标点的空间坐标以及云台的旋转角度,计算所述图像与所述聚焦平面之间的映射关系;
其中,所述S3具体为:
通过所述摄像头拍摄所述待测目标物体的图像,并建立图像坐标系,所述图像坐标系是以图像最左上角的点为原点,水平向右方向为u轴,竖直向下方向为v轴,所创建的坐标系为uv坐标系;
根据摄像机内部参数K,得到坐标系uv与坐标系Oe-XeYeZe之间的映射关系:由于聚焦平面π上Zw=0,可得坐标系uv与坐标系Ow-XwYwZw映射关系:
其中,所述是摄像头的固有矩阵,(u0,v0)是摄像头光学中心在CCD成像平面上的投影位置,f是摄像头的焦距,dx和dy分别是CCD每个像素在水平方向和垂直方向上的物理尺寸。所述γ为预设的缩放因子,当γ=1时,得到的测量尺寸大小与待测目标物体的尺寸大小相同;当γ=2时,得到的测量尺寸大小为待测目标物体的尺寸的两倍;当γ=3时,得到的测量尺寸大小为待测目标物体的尺寸的三倍;当γ=0.5时,得到的测量尺寸大小为待测目标物体的尺寸的0.5倍
S4:获取所述图像上待测目标物体的坐标值,并代入所述映射关系,计算得到所述待测目标物体的测量值;
其中,所述S4具体为:
在图像上选取待测目标的图像坐标,由步骤S3得到的坐标系uv与Ow-XwYwZw之间的映射关系,转换为坐标系Ow-XwYwZw下的坐标,即实现待测目标物体的测量。
请参照图2,本发明的实施例四为:
本发明提供的一种聚焦测量终端,包括存储器1、处理器2及存储在存储器1上并可在处理器2上运行的计算机程序,所述处理器2执行所述计算机程序时实现实施例一中的所有步骤。
本发明的实施例五为:
本发明提供的一种聚焦测量终端,包括存储器1、处理器2及存储在存储器1上并可在处理器2上运行的计算机程序,所述处理器2执行所述计算机程序时实现实施例二中的所有步骤。
本发明的实施例六为:
本发明提供的一种聚焦测量终端,包括存储器1、处理器2及存储在存储器1上并可在处理器2上运行的计算机程序,所述处理器2执行所述计算机程序时实现实施例三中的所有步骤。
综上所述,本发明提供的一种聚焦测量方法和终端,获取待测目标物体上目标点的空间坐标;旋转云台,使所述待测目标物体位于云台上的摄像机的可视区域内,并确定所述待测目标物体的聚焦平面;拍摄所述待测目标物体的图像,并根据所述目标点的空间坐标以及云台的旋转角度,计算所述图像与所述聚焦平面之间的映射关系,从而计算得到待测目标物体的测量值。本发明通过上述方法确定的聚焦平面,并计算得到待测目标物体的图像与聚焦平面的映射关系,并根据所述映射关系,所述把待测目标物体的图像映射到聚焦平面上,能够实现对空间任意位置的待测目标物体的测量。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等同变换,或直接或间接运用在相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种聚焦测量方法,其特征在于,包括以下步骤:
S1:获取待测目标物体上预设的目标点的空间坐标;
S2:旋转云台,使所述待测目标物体位于云台上设置的摄像机的可视区域内,并确定当前状态下所述待测目标物体的聚焦平面;
S3:拍摄所述待测目标物体的图像,并根据所述目标点的空间坐标以及云台的旋转角度,计算所述图像与所述聚焦平面之间的映射关系;
S4:获取所述图像上待测目标物体的坐标值,并代入所述映射关系,计算得到所述待测目标物体的测量值。
2.根据权利要求1所述的一种聚焦测量方法,其特征在于,所述S1具体为:
旋转云台,使云台上设置的激光器对准所述目标点,并记录云台的旋转角度,得到第一云台旋转角度;
通过所述激光器对所述目标点进行测距,得到激光距离;
根据所述激光距离和第一云台旋转角度,计算得到所述目标点的空间坐标。
3.根据权利要求2所述的一种聚焦测量方法,其特征在于,所述S2具体为:
旋转云台,使所述待测目标物体位于云台上设置的摄像机的可视区域内,并记录云台的旋转角度,得到第二云台旋转角度;
根据所述目标点的空间坐标及第二云台旋转角度,确定当前状态下所述待测目标物体的聚焦平面。
4.根据权利要求3所述的一种聚焦测量方法,其特征在于,所述S3具体为:
通过所述摄像头拍摄所述待测目标物体的图像,并根据所述摄像机的内部参数、目标点的空间坐标、第一云台旋转角度及第二云台旋转角度,计算所述图像与所述聚焦平面之间的映射关系。
5.根据权利要求1所述的一种聚焦测量方法,其特征在于,所述S1具体为:
旋转云台,使云台上设置的激光器对准待测目标物体上预设的第一目标点,并记录云台的旋转角度,得到第三云台旋转角度;通过所述激光器对所述第一目标点进行测距,得到第一激光距离;根据所述第一激光距离和第三云台旋转角度,计算得到所述目标点的第一空间坐标;
旋转云台,使云台上设置的激光器对准待测目标物体上预设的第二目标点,并记录云台的旋转角度,得到第四云台旋转角度;通过所述激光器对所述第二目标点进行测距,得到第二激光距离;根据所述第二激光距离和第四云台旋转角度,计算得到所述目标点的第二空间坐标;
所述S2具体为:
旋转云台,使所述待测目标物体位于云台上设置的摄像机的可视区域内,并记录云台的旋转角度,得到第五云台旋转角度;根据所述第一空间坐标、所述第二空间坐标及第五云台旋转角度,确定当前状态下所述待测目标物体的聚焦平面;
所述S3具体为:
通过所述摄像头拍摄所述待测目标物体的图像,并根据所述摄像机的内部参数、第一空间坐标、第二空间坐标、第三云台旋转角度、第四云台旋转角度和第五云台旋转角度,计算所述图像与所述聚焦平面之间的映射关系。
6.一种聚焦测量终端,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现以下步骤:
S1:获取待测目标物体上预设的目标点的空间坐标;
S2:旋转云台,使所述待测目标物体位于云台上设置的摄像机的可视区域内,并确定当前状态下所述待测目标物体的聚焦平面;
S3:拍摄所述待测目标物体的图像,并根据所述目标点的空间坐标以及云台的旋转角度,计算所述图像与所述聚焦平面之间的映射关系;
S4:获取所述图像上待测目标物体的坐标值,并代入所述映射关系,计算得到所述待测目标物体的测量值。
7.根据权利要求6所述的一种聚焦测量终端,其特征在于,所述S1具体为:
旋转云台,使云台上设置的激光器对准所述目标点,并记录云台的旋转角度,得到第一云台旋转角度;
通过所述激光器对所述目标点进行测距,得到激光距离;
根据所述激光距离和第一云台旋转角度,计算得到所述目标点的空间坐标。
8.根据权利要求7所述的一种聚焦测量终端,其特征在于,所述S2具体为:
旋转云台,使所述待测目标物体位于云台上设置的摄像机的可视区域内,并记录云台的旋转角度,得到第二云台旋转角度;
根据所述目标点的空间坐标及第二云台旋转角度,确定当前状态下所述待测目标物体的聚焦平面。
9.根据权利要求8所述的一种聚焦测量终端,其特征在于,所述S3具体为:
通过所述摄像头拍摄所述待测目标物体的图像,并根据所述摄像机的内部参数、目标点的空间坐标、第一云台旋转角度及第二云台旋转角度,计算所述图像与所述聚焦平面之间的映射关系。
10.根据权利要求6所述的一种聚焦测量终端,其特征在于,所述S1具体为:
旋转云台,使云台上设置的激光器对准待测目标物体上预设的第一目标点,并记录云台的旋转角度,得到第三云台旋转角度;通过所述激光器对所述第一目标点进行测距,得到第一激光距离;根据所述第一激光距离和第三云台旋转角度,计算得到所述目标点的第一空间坐标;
旋转云台,使云台上设置的激光器对准待测目标物体上预设的第二目标点,并记录云台的旋转角度,得到第四云台旋转角度;通过所述激光器对所述第二目标点进行测距,得到第二激光距离;根据所述第二激光距离和第四云台旋转角度,计算得到所述目标点的第二空间坐标;
所述S2具体为:
旋转云台,使所述待测目标物体位于云台上设置的摄像机的可视区域内,并记录云台的旋转角度,得到第五云台旋转角度;根据所述第一空间坐标、所述第二空间坐标及第五云台旋转角度,确定当前状态下所述待测目标物体的聚焦平面;
所述S3具体为:
通过所述摄像头拍摄所述待测目标物体的图像,并根据所述摄像机的内部参数、第一空间坐标、第二空间坐标、第三云台旋转角度、第四云台旋转角度和第五云台旋转角度,计算所述图像与所述聚焦平面之间的映射关系。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010062399.1A CN111220127B (zh) | 2019-01-31 | 2019-01-31 | 一种激光聚焦测量方法及终端 |
| CN201910109939.4A CN109855603B (zh) | 2019-01-31 | 2019-01-31 | 一种聚焦测量方法及终端 |
| CN202010064114.8A CN111220129B (zh) | 2019-01-31 | 2019-01-31 | 一种带旋转云台的聚焦测量方法及终端 |
| CN202010064115.2A CN111220130B (zh) | 2019-01-31 | 2019-01-31 | 可对空间任意位置的物体测量的聚焦测量方法及终端 |
| CN202010062400.0A CN111220128B (zh) | 2019-01-31 | 2019-01-31 | 一种单目聚焦的测量方法及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910109939.4A CN109855603B (zh) | 2019-01-31 | 2019-01-31 | 一种聚焦测量方法及终端 |
Related Child Applications (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010062399.1A Division CN111220127B (zh) | 2019-01-31 | 2019-01-31 | 一种激光聚焦测量方法及终端 |
| CN202010064115.2A Division CN111220130B (zh) | 2019-01-31 | 2019-01-31 | 可对空间任意位置的物体测量的聚焦测量方法及终端 |
| CN202010062400.0A Division CN111220128B (zh) | 2019-01-31 | 2019-01-31 | 一种单目聚焦的测量方法及终端 |
| CN202010064114.8A Division CN111220129B (zh) | 2019-01-31 | 2019-01-31 | 一种带旋转云台的聚焦测量方法及终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109855603A true CN109855603A (zh) | 2019-06-07 |
| CN109855603B CN109855603B (zh) | 2019-12-13 |
Family
ID=66897722
Family Applications (5)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010062400.0A Active CN111220128B (zh) | 2019-01-31 | 2019-01-31 | 一种单目聚焦的测量方法及终端 |
| CN202010062399.1A Active CN111220127B (zh) | 2019-01-31 | 2019-01-31 | 一种激光聚焦测量方法及终端 |
| CN202010064114.8A Active CN111220129B (zh) | 2019-01-31 | 2019-01-31 | 一种带旋转云台的聚焦测量方法及终端 |
| CN201910109939.4A Active CN109855603B (zh) | 2019-01-31 | 2019-01-31 | 一种聚焦测量方法及终端 |
| CN202010064115.2A Active CN111220130B (zh) | 2019-01-31 | 2019-01-31 | 可对空间任意位置的物体测量的聚焦测量方法及终端 |
Family Applications Before (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010062400.0A Active CN111220128B (zh) | 2019-01-31 | 2019-01-31 | 一种单目聚焦的测量方法及终端 |
| CN202010062399.1A Active CN111220127B (zh) | 2019-01-31 | 2019-01-31 | 一种激光聚焦测量方法及终端 |
| CN202010064114.8A Active CN111220129B (zh) | 2019-01-31 | 2019-01-31 | 一种带旋转云台的聚焦测量方法及终端 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010064115.2A Active CN111220130B (zh) | 2019-01-31 | 2019-01-31 | 可对空间任意位置的物体测量的聚焦测量方法及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (5) | CN111220128B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111114814A (zh) * | 2020-01-16 | 2020-05-08 | 四川川测研地科技有限公司 | 基于无人飞行器对线性工程对象的自适应聚焦云台 |
| CN111867214A (zh) * | 2020-07-28 | 2020-10-30 | 广东艾罗照明科技股份有限公司 | 一种灯光照射角度控制系统、方法及装置 |
| CN113737798A (zh) * | 2021-08-09 | 2021-12-03 | 中交第三航务工程局有限公司 | 一种打桩船用打桩定位测高系统 |
| CN115143930A (zh) * | 2022-06-27 | 2022-10-04 | 徐州徐工挖掘机械有限公司 | 一种单目摄像头测距方法、系统及挖掘机 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111811794B (zh) * | 2020-06-18 | 2022-05-20 | 浙江大华技术股份有限公司 | 一种云台自检方法、装置、计算设备及存储介质 |
| CN114688996B (zh) * | 2020-12-31 | 2023-11-03 | 北京华航无线电测量研究所 | 一种转台回转精度角度的测量方法 |
| CN113027075A (zh) * | 2021-03-10 | 2021-06-25 | 成都昊图新创科技有限公司 | 一种标线装置和标线方法 |
| CN113124819B (zh) * | 2021-06-17 | 2021-09-10 | 中国空气动力研究与发展中心低速空气动力研究所 | 一种基于平面镜的单目测距方法 |
| CN114049411A (zh) * | 2021-11-16 | 2022-02-15 | 福建汇川物联网技术科技股份有限公司 | 一种视频中线段的绘制方法、装置及计算机可读存储介质 |
| CN118799409B (zh) * | 2024-06-18 | 2025-01-28 | 中国海洋大学深圳研究院 | 一种基于声信息引导的水下光源投送方向协同调控方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103792540A (zh) * | 2012-10-31 | 2014-05-14 | 波音公司 | 调制激光测距器和方法 |
| US20150204974A1 (en) * | 2014-01-20 | 2015-07-23 | Venkateshwara PILLAY | System for mapping and tracking ground targets |
| CN106441278A (zh) * | 2016-09-29 | 2017-02-22 | 长沙开元仪器股份有限公司 | 一种无人机室内定位系统及方法 |
| CN108827147A (zh) * | 2017-05-18 | 2018-11-16 | 金钱猫科技股份有限公司 | 一种基于快速标定的图像测量方法及系统 |
| CN109100382A (zh) * | 2018-07-27 | 2018-12-28 | 北京矿冶科技集团有限公司 | Bpma的分区聚焦测量方法 |
| CN109147027A (zh) * | 2018-08-31 | 2019-01-04 | 金钱猫科技股份有限公司 | 基于参考平面的单目图像三维重建方法、系统及装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100506533B1 (ko) * | 2003-01-11 | 2005-08-05 | 삼성전자주식회사 | 이동로봇 및 그에 따른 자율주행 시스템 및 방법 |
| CN101839692B (zh) * | 2010-05-27 | 2012-09-05 | 西安交通大学 | 单相机测量物体三维位置与姿态的方法 |
| CN102445183B (zh) * | 2011-10-09 | 2013-12-18 | 福建汇川数码技术科技有限公司 | 基于激光与摄像机平行实现的远程测距系统测距激光点的定位方法 |
-
2019
- 2019-01-31 CN CN202010062400.0A patent/CN111220128B/zh active Active
- 2019-01-31 CN CN202010062399.1A patent/CN111220127B/zh active Active
- 2019-01-31 CN CN202010064114.8A patent/CN111220129B/zh active Active
- 2019-01-31 CN CN201910109939.4A patent/CN109855603B/zh active Active
- 2019-01-31 CN CN202010064115.2A patent/CN111220130B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103792540A (zh) * | 2012-10-31 | 2014-05-14 | 波音公司 | 调制激光测距器和方法 |
| US20150204974A1 (en) * | 2014-01-20 | 2015-07-23 | Venkateshwara PILLAY | System for mapping and tracking ground targets |
| CN106441278A (zh) * | 2016-09-29 | 2017-02-22 | 长沙开元仪器股份有限公司 | 一种无人机室内定位系统及方法 |
| CN108827147A (zh) * | 2017-05-18 | 2018-11-16 | 金钱猫科技股份有限公司 | 一种基于快速标定的图像测量方法及系统 |
| CN109100382A (zh) * | 2018-07-27 | 2018-12-28 | 北京矿冶科技集团有限公司 | Bpma的分区聚焦测量方法 |
| CN109147027A (zh) * | 2018-08-31 | 2019-01-04 | 金钱猫科技股份有限公司 | 基于参考平面的单目图像三维重建方法、系统及装置 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111114814A (zh) * | 2020-01-16 | 2020-05-08 | 四川川测研地科技有限公司 | 基于无人飞行器对线性工程对象的自适应聚焦云台 |
| CN111114814B (zh) * | 2020-01-16 | 2022-04-08 | 四川川测研地科技有限公司 | 基于无人飞行器对线性工程对象的自适应聚焦云台 |
| CN111867214A (zh) * | 2020-07-28 | 2020-10-30 | 广东艾罗照明科技股份有限公司 | 一种灯光照射角度控制系统、方法及装置 |
| CN113737798A (zh) * | 2021-08-09 | 2021-12-03 | 中交第三航务工程局有限公司 | 一种打桩船用打桩定位测高系统 |
| CN113737798B (zh) * | 2021-08-09 | 2023-03-14 | 中交第三航务工程局有限公司 | 一种打桩船用打桩定位测高系统 |
| CN115143930A (zh) * | 2022-06-27 | 2022-10-04 | 徐州徐工挖掘机械有限公司 | 一种单目摄像头测距方法、系统及挖掘机 |
| CN115143930B (zh) * | 2022-06-27 | 2024-05-24 | 徐州徐工挖掘机械有限公司 | 一种单目摄像头测距方法、系统及挖掘机 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109855603B (zh) | 2019-12-13 |
| CN111220129A (zh) | 2020-06-02 |
| CN111220128A (zh) | 2020-06-02 |
| CN111220127A (zh) | 2020-06-02 |
| CN111220130B (zh) | 2022-09-13 |
| CN111220130A (zh) | 2020-06-02 |
| CN111220127B (zh) | 2022-07-26 |
| CN111220129B (zh) | 2022-10-25 |
| CN111220128B (zh) | 2022-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109855603B (zh) | 一种聚焦测量方法及终端 | |
| CN110057295B (zh) | 一种免像控的单目视觉平面距离测量方法 | |
| Hughes et al. | Equidistant fish-eye calibration and rectification by vanishing point extraction | |
| JP5580164B2 (ja) | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム | |
| CN109163657B (zh) | 一种基于双目视觉三维重建的圆形目标位姿检测方法 | |
| CN108489395A (zh) | 视觉测量系统结构参数标定和仿射坐标系构建方法与系统 | |
| WO2023201578A1 (zh) | 单目激光散斑投影系统的外参数标定方法和装置 | |
| TW201520508A (zh) | 探針補點系統及方法 | |
| CN109325981B (zh) | 基于聚焦像点的微透镜阵列型光场相机几何参数标定方法 | |
| CN105286871A (zh) | 一种基于视频处理的人体身高测量方法 | |
| CN102661717A (zh) | 铁塔单目视觉测量方法 | |
| CN102169573A (zh) | 高精度的宽视场镜头实时畸变矫正方法及系统 | |
| CN110779491A (zh) | 一种水平面上目标测距的方法、装置、设备及存储介质 | |
| CN110765999A (zh) | 一种测温处理方法、装置及热成像设备 | |
| CN112907647B (zh) | 一种基于固定式单目摄像机的三维空间尺寸测量方法 | |
| CN108429908A (zh) | 一种摄像模组的测试方法、装置、设备及介质 | |
| JP2004163271A (ja) | 非接触画像計測装置 | |
| Cattaneo et al. | The importance of camera calibration and distortion correction to obtain measurements with video surveillance systems | |
| CN109451298A (zh) | 双摄像头的偏差角检测方法、装置和设备 | |
| WO2019237433A1 (zh) | 扫地机器人的摄像头与里程计坐标标定方法及系统 | |
| CN115326835A (zh) | 圆筒内表面检测方法、可视化方法以及检测系统 | |
| CN117406185B (zh) | 雷达与相机间的外参标定方法、装置、设备及存储介质 | |
| Dai et al. | High-accuracy calibration for a multiview microscopic 3-D measurement system | |
| TWI662694B (zh) | 三維影像攝取方法及系統 | |
| CN119246524A (zh) | 一种基于俯仰角校准图像的视觉检测信息采集装置及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |