CN105823478A - 一种自主避障导航信息共享和使用方法 - Google Patents
一种自主避障导航信息共享和使用方法 Download PDFInfo
- Publication number
- CN105823478A CN105823478A CN201610142551.0A CN201610142551A CN105823478A CN 105823478 A CN105823478 A CN 105823478A CN 201610142551 A CN201610142551 A CN 201610142551A CN 105823478 A CN105823478 A CN 105823478A
- Authority
- CN
- China
- Prior art keywords
- module
- scene
- cloud platform
- map
- automatic obstacle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 21
- 238000004891 communication Methods 0.000 claims abstract description 33
- 230000033001 locomotion Effects 0.000 claims description 19
- 230000004888 barrier function Effects 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 9
- 231100000572 poisoning Toxicity 0.000 claims description 8
- 230000000607 poisoning effect Effects 0.000 claims description 8
- 238000007689 inspection Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims description 2
- 238000012937 correction Methods 0.000 claims description 2
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 238000002604 ultrasonography Methods 0.000 description 5
- 230000005611 electricity Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
一种应用于无人机和机器人的自主避障导航系统,包含自主避障导航模块和云平台。其中自主避障导航模块由避障导航模块主体支架、多个超声波传感器、RGB‑D传感器/激光雷达、惯性IMU模块、GPS模块及天线、无线通信模块、无线网络模块和避障导航电路板等组成;云平台由数据库模块、网络防火墙模块、数据浏览和分析模块、网络通信模块组成。本发明采用超声波传感器、RGB‑D传感器/激光雷达、惯性IMU模块等多传感器组合的方案提升了自主避障导航系统的三维地图构建能力和精度;并通过自主避障导航系统和云平台相结合的方式,使每个场景地图只需构建一次,其他自主避障导航系统在同一场景运行时只需从云平台上下载本场景的地图,提高了无人机和机器人的工作效率;同时对在已完成地图构建的场景中工作机器人的避障导航模块硬件的要求降低,有利于降低整个无人机和机器人的成本。
Description
技术领域
本发明涉及自动化技术领域,特别涉及到一种自主避障导航信息共享和使用方法及一种应用于无人机和机器人的自主避障导航系统。
背景技术
随着科技的发展,无人机、机器人应用领域越来越广泛,其在不同行业的应用可以带来行业应用上的创新,带来跨行业的叠加跃变;同时“家家都有机器人”的宏伟目标也在逐步实现。但在无人机和机器人普及的路上,最重要的是和安全息息相关的自动避障和导航技术,如果无人机、机器人和人员的安全都无法保障,其他的一切都无从谈起。
无人机和机器人的自主避障导航系统是当前无人机和机器人研究的热点问题,涉及到诸多学科的交叉研究领域。无人机和机器人避障导航首先需要确定自身的位置和姿态,并构建周围环境地图,然后根据自身的位置和姿态、周围环境地图和最终任务完成路径规划;在无人机和机器人移动过程中,实时检测周围障碍物,对规划路径上突入障碍物采取规避策略并最终完成指定任务。
在无人机和机器人避障导航技术领域,国内外相关人员都提出了多种解决方案。包括通过超声波传感器、双目视觉传感器、激光雷达、RGB-D深度传感器或者上述多种传感器的组合模块来探测障碍物和场景地图构建;利用电子罗盘、惯性IMU模块、GPS模块等进行自身姿态确定和位置确定,辅以贝叶斯概率算法计算障碍物占据的概率,从而实现环境信息监测和路径规划。在避障导航系统,场景地图构建是一个难度最大、耗时最多、要求最高的部分,场景地图的精确性、完整性决定了无人机和机器人的路径规划的效率和准确性。但目前各种机器人,在其本身应用场景中完成场景地图构建后,只能本机器使用,但用户根据实际需要更换机器人后,新机器人又不得不对场景进行再次地图构建,话费大量的时间、精力。
因此,本发明针对机器人间构建的场景地图数据不能共享的问题,首次提出具备云平台的自主避障导航系统,此自主避障导航系统不仅可以构建应用场景的地图,而且将构建的场景地图数据上传到云台,更能根据自身的位置信息在云平台上查找数据库,下载本场景的地图数据,免去重新场景地图构建过程,提高机器人的工作效率,将使机器人应用更广泛。
发明内容
为了克服上述现有技术的不足,本发明提供了一种具备云平台的自主避障导航系统,不仅自身可以对场景进行精确地图构建,更能将场景地图数据上传到云平台,供同一个场景的其他机器人下载使用。实现一个场景构建一次地图,后期机器人均能使用,节省机器人避障导航中最关键的场景地图构建步骤,提高机器人的工作效率,也可以降低后期对避障导航模块的要求。
为实现上述目的,本发明采用以下技术方案:
一种自主避障导航信息共享和使用方法,其特征在于:包括
无人机或者机器人上电后,自主避障导航系统同时上电,系统进行自检,自检通过后,先通过GPS模块或者无线网络模块进行初步定位,判断自身是否处于一个新环境,如果是新环境,则将自身位置信息通过无线网络模块传输到云平台和网络通信模块,云平台和网络通信模块根据其位置信息查找场景三维地图,如果找到对应场景的三维地图,则通过无线网络传输到自主避障导航系统,自主导航系统根据场景三维地图和传感器进行自身精确定位,定位完成后根据任务进行轨迹规划,根据规划的轨迹生成运动指令发给无人机或机器人,由无人机或机器人完成任务;
如果云平台上没有对应场景的三维地图,则自主避障导航模块启动场景地图构建步骤,待地图构建完成后,将地图上传到云平台,同时根据任务进行轨迹规划,完成任务;
如果确认不是新环境,则检测是否存储着本场景的三维地图,如果三维地图与地理位置信息重合,则开启自身定位,进行任务路径规划直至完成任务;如果三维地图与地理位置信息不符,则将地理位置信息发送到云平台,下载对应的场景的三维地图,下载完成后开启自身定位,进行任务路径规划直至完成任务。
场景地图构建步骤包括:
步骤1:先以起始点为中心,避障导航装置或其载体旋转360°,获得了起始点360°的三维点云数据,分析并存储三维点云数据,得出下一个扫描点的位置和到达轨迹,载体将按照指令运动到目标点,并开始360°扫描,继续分析并存储三维点云数据;在整个过程中,根据传感器输出的点云数据和惯性IMU模块输出的姿态位置信息进行三维点云的拼接,形成场景内局部三维地图,并根据场景内局部三维地图和扫描策略得到下一个扫描点,直至三维地图构建的第一步完成;
步骤二,还需要根据其他传感器的点云数据对三维地图进行修正,修正完成后,场景地图构建完成。
自主避障导航系统的无线网络模块通过Internet网络和云平台和网络通信模块通信,可将自身绘制的场景三维地图和自身位置信息上传至云平台和网络通信模块,云平台和网络通信模块根据接收到的场景三维地图数据和地理位置信息将其存储到数据库模块。云平台和网络通信模块在收到自主避障导航模块下载某个场景三维地图数据时,首先将请求发送给数据浏览和分析模块,数据浏览和分析模块将根据自主避障导航模块的地理数据信息在数据库模块中查找场景的三维地图,如果找到对应的三维地图数据,则将地图数据通过网络传输给自主避障导航模块;如果没有对应的三维地图数据,则将没有地图状态信息传输给自主避障导航模块,自主避障导航模块则对场景开始地图构建,构建完成后将数据上传到云平台。
网络通信均在网络防火墙模块的监控下进行,保证云平台的安全。
一种具备云平台的自主避障导航系统,其特征在于:包括
包含自主避障导航模块和云平台;
自主避障导航模块安装在无人机或机器人上,控制无人机或者机器人按照预定策略对场景进行遍历,构建场景的三维地图,将三维地图存储在本地,同时将本场景的三维地图和位置信息通过无线网络上传到云平台;
云平台将接收到的场景地图数据按照一定的策略保存,以供后期其他无人机或机器人避障导航模块根据地理位置信息下载。
避障导航模块包括超声波传感器、RGB-D传感器或激光雷达、惯性IMU模块、GPS模块及天线、无线通信模块、无线网络模块和避障导航电路板。
所述云平台包含数据库模块、网络防火墙模块、数据浏览和分析模块和网络通信模块。
其根据RGB-D传感器的3D数据对场景进行三维数据点云提取;根据惯性IMU模块和GPS模块进行自身姿态和位置的确定;根据多个超声波传感器、RGB-D传感器、惯性IMU模块的数据融合进行场景地图构建、轨迹规划和障碍物避让,并形成运动指令通过无线通信模块发送给无人机或机器人运动主体,机器人运动主体根据指令控制机器人按照要求运动,在运动过程中,惯性IMU模块实时计算机器人主体在场景中的位置和姿态,并将上述信息发送给避障导航电路板,避障导航电路板将根据惯性IMU模块输出的位置和姿态信息实时调整控制指令,形成机器人运动负反馈控制,实现机器人按照规划路径运动。
整个云平台具备防火墙和网络安全设置,只有通过认证的避障导航模块才可以下载,保证场景地图数据的安全。
一种机器人或无人机,使用上述的具备云平台的自主避障导航系统或自主避障导航信息共享和使用方法。
一种具备云平台的自主避障导航系统由两部分组成,包含自主避障导航模块和云平台。自主避障导航模块安装在无人机和机器人上,可以控制无人机或者机器人按照预定策略对场景进行遍历,构建场景的三维地图,将地图存储在本地,同时将本场景的地图和位置信息通过无线网络上传到云平台,云平台将接收到的场景地图数据按照一定的策略保存,以供后期其他机器人避障导航模块根据地理位置信息下载,整个云平台具备防火墙和网络安全设置,只有通过认证的避障导航模块才可以下载,保证场景地图数据的安全。
所述无人机或者机器人上自主避障导航模块,包含避障导航模块主体支架、多个超声波传感器、RGB-D传感器/激光雷达、惯性IMU模块、GPS模块及天线、无线通信模块、无线网络模块和避障导航电路板。避障导航电路板为整个避障导航模块的核心,负责整个模块中各个传感器(包含超声波传感器、RGB-D传感器/激光雷达、惯性IMU模块、GPS模块、无线通信模块、无线网络模块)之间的信息交互,其根据RGB-D传感器/激光雷达的3D数据对场景进行三维数据点云提取;根据惯性IMU模块和GPS模块进行自身姿态和位置的确定;根据多个超声波传感器、RGB-D传感器/激光雷达、惯性IMU模块的数据融合进行场景地图构建、轨迹规划和障碍物避让;将轨迹规划和障碍物避让形成的运动控制指令通过无线通信模块发送给无人机或机器人运动控制部分;机器人按照避障导航模块的指令完成场景的遍历;避障导航电路板根据机器人遍历过程中形成的场景点云数据、自身姿态位置数据进行数据拼接,最终形成场景的三维地图和自身定位;在完成场景三维地图构建后,避障导航电路板根据场景三维地图、路径规划策略、自身的位置和姿态、需要完成的任务进行路径规划并将形成运动指令,发送给机器人,机器人将按照规划的路径进行运动;在机器人运动过程,超声波传感器和RGB-D传感器不停的监测路径上是否有突入障碍物,当遇到突入障碍物后启动避障策略,同时判断突入障碍物的类型;在自主避障导航模块完成场景三维地图购进后,将场景地图、地图形成的时间、自身的场景位置等多个信息通过无线网络模块上传到云平台存储。
所述云平台包含数据库模块、网络防火墙模块、数据浏览和分析模块、网络通信模块。网络通信模块负责接收自主避障导航模块发送过来的请求和数据,并根据通信协议对自主避障模块进行通信;当收到自主避障导航模块上传的场景地图数据时,首先根据协议对上传的地图数据的完整性和正确性进行校验,通过后根据同时上传的机器人地位置信息进行存入数据库;当收到自主避障导航模块下载场景地图的指令后,由数据浏览和分析模块根据地理位置信息对数据库进行搜索,并将查找场景地图的结果及数据传送给请求的自主避障导航模块;自主避障导航系统和云平台和所有通信均在网络防火墙的保护下进行。
本发明的有益效果为:采用超声波传感器、RGB-D传感器/激光雷达、惯性IMU模块等多传感器组合的方案提升了自主避障导航系统的三维地图构建能力和精度;并通过自主避障导航系统和云平台相结合的方式,将自主避障导航系统获得的场景地图数据存储在云平台,使每个场景地图只需构建一次,其他自主避障导航系统在同一场景运行时只需从云平台上下载本场景的地图,科学的省略了自主避障导航系统难度最大、耗时最多、要求最高的场景地图构建步骤,提高了无人机和机器人的工作效率;同时对在已完成地图构建的场景中工作机器人的避障导航模块硬件的要求降低,有利于降低整个无人机和机器人的成本。
附图说明
下面根据附图对本发明作进一步详细说明。
图1为本发明的应用于无人机和机器人的自主避障导航系统主视图;
图2为本发明的应用于无人机和机器人的自主避障导航系统俯视图
其中,1为场景地面,2为机器人轮子,3为机器人运动主体,4为机器人工作电源,5为机器人支撑自主避障导航系统结构,6为自主避障导航系统的主体结构,7为惯性IMU模块,8为后视方向超声波模块,9为GPS模块本体,10为GPS模块的天线,11为无线网络模块的本体,12为无线网络模块的天线,13为前视方向超声波模块,14为超声波模块接收部分,15为超声波模块发射部分,16为RGB-D传感器的可见光部分,17为RGB-D传感器的本体,18为避障导航电路板,19为RGB-D传感器的红外接收部分,20为RGB-D传感器的激光光斑发射部分,21为右视方向超声波模块,22为左视方向超声波模块,23为无线通信模块,24为Internet网络,25为云平台和网络通信模块,26为网络防火墙,27为数据库模块,28为数据浏览和分析模块。
具体实施方式
下面结合附图对本发明做进一步的详述。
如图1所示,本发明包括自主避障导航系统主体结构6、惯性IMU模块7、后视超声波模块8、前视超声波模块13、右视超声波模块21、左视超声波模块22、GPS模块9、无线网络模块11、RGB-D传感器模块17和避障导航电路板18.其中,后视超声波模块8、前视超声波模块13、右视超声波模块21、左视超声波模块22分别安装在自主避障导航系统主体结构6的四周,负责实时监测四个方向上的障碍物,并将检测结果发送给避障导航电路板18;避障导航电路板18位于主体结构6的内部,为整个避障导航模块的核心,负责系统中超声波传感器、RGB-D传感器17、惯性IMU模块7、GPS模块9、无线通信模块23、无线网络模块11之间的信息交互,其根据RGB-D传感器17的3D数据对场景进行三维数据点云提取;根据惯性IMU模块7和GPS模块9进行自身姿态和位置的确定;根据多个超声波传感器、RGB-D传感器17、惯性IMU模块7的数据融合进行场景地图构建、轨迹规划和障碍物避让,并形成运动指令通过无线通信模块23发送给机器人运动主体3,机器人运动主体3根据指令控制机器人的轮子2按照要求运动,在运动过程中,惯性IMU模块7实时计算机器人主体3在场景中的位置和姿态,并将上述信息发送给避障导航电路板18,避障导航电路板18将根据惯性IMU模块输出的位置和姿态信息实时调整控制指令,形成机器人运动负反馈控制,实现机器人按照规划路径运动。
在机器人主体3运动过程中,位于自主导航避障系统主体6头部的RGB-D传感器17按照一定频率输出前视方向上的三维场景点云数据传输给避障导航电路板18,避障导航电路板18根据上述数据判断前方障碍物情况,并将上述三维场景点云数据和惯性IMU模块7输出的位置姿态数据打包存储。如果自主避障导航系统处于场景地图构建工作状态,则避障导航电路板18将按照遍历算法进行机器人主体3运动轨迹规划:首先以起始点为中心,机器人旋转360°,获得了起始点360°的三维点云数据,避障导航电路板18将分析并存储三维点云数据,并分析出下一个扫描点的位置和到达轨迹,机器人主体3将按照避障导航电路板18的指令运动到目标点,并开始360°扫描,避障导航电路板18继续分析并存储三维点云数据,在整个过程中,避障导航电路板18将根据RGB-D传感器17输出的点云数据和惯性IMU模块7输出的姿态位置信息进行三维点云的拼接,形成场景内局部三维地图,避障导航电路板18并根据场景内局部三维地图和扫描策略得到下一个扫描点,直至避障导航电路板18将场景三维地图闭环,三维地图闭环意味着三维地图构建的第一步完成,还需要根据超声波传感器、点云数据对三维地图进行修正,修正完成后,场景地图构建完成。如果自主避障导航系统已经获得场景的三维地图,则避障导航电路板18根据RGB-D传感器17输出的点云数据进行自身定位,作为惯性IMU模块7输出的位置姿态数据的补偿,确定自身在场景中的具体位置,避障导航电路板18根据自身的位置和需要完成的任务,在场景地图上规划完成任务的路径,规划路径采用基于动态拟牛顿法来进行动态递归最小二乘Jacobian估计来实现目标函数的最小化实现最优路径,当路径规划完成后,避障导航电路板18输出控制指令给机器人主体3,机器人主体3控制控制机器人的轮子2按照要求运动,在运动过程中,惯性IMU模块7实时计算机器人主体3在场景中的位置和姿态,并将上述信息发送给避障导航电路板18,避障导航电路板18将根据惯性IMU模块输出的位置和姿态信息实时调整控制指令,形成机器人运动负反馈控制,实现机器人按照规划路径运动。同时,避障导航电路板18根据RGB-D传感器17输出的点云数据、超声波传感器输出的数据判断路径上是否有突入障碍物,如果遇到突入障碍物,则根据障碍物信息和场景地图生成避障路径,直至完成任务。
位于自主导航避障系统主体6顶部的GPS模块9是无人机或机器人在开阔地带环境时,对无人机或者机器人进行自身定位,作为惯性IMU模块7输出的位置的补偿,在开阔地带环境,避障导航电路板18可以根据GPS信息进行轨迹规划,但需要通过RGB-D传感器17、超声波传感器实时监测运动路径上的障碍物和地形,并对其路径进行修正。
自主避障导航系统的无线网络模块11通过Internet网络24和云平台和网络通信模块25通信,可将自身绘制的场景三维地图和自身位置信息上传至云平台和网络通信模块25,云平台和网络通信模块25根据接收到的场景三维地图数据和地理位置信息将其存储到数据库模块27。云平台和网络通信模块25在收到自主避障导航模块下载某个场景三维地图数据时,首先将请求发送给数据浏览和分析模块28,数据浏览和分析模块28将根据自主避障导航模块的地理数据信息在数据库模块27中查找场景的三维地图,如果找到对应的三维地图数据,则将地图数据通过网络传输给自主避障导航模块;如果没有对应的三维地图数据,则将没有地图状态信息传输给自主避障导航模块,自主避障导航模块则对场景开始地图构建,构建完成后将数据上传到云平台。整个系统的网络通信均在网络防火墙模块的监控下进行,保证云平台的安全。
本发明的工作原理为:
无人机或者机器人上电后,自主避障导航系统同时上电,避障导航电路板18、RGB-D传感器17、超声波传感器、惯性IMU模块7、GPS模块9、无线网络模块11进行自检,自检通过后,先通过GPS模块或者无线网络模块进行初步定位,判断自身是否处于一个新环境,如果是新环境,则将自身位置信息通过无线网络模块传输到云平台和网络通信模块25,云平台和网络通信模块25根据其位置信息查找场景三维地图,如果找到对应场景的三维地图,则通过无线网络传输到自主避障导航系统,自主导航系统根据场景三维地图和RGB-D传感器17、超声波传感器进行自身精确定位,定位完成后根据任务进行轨迹规划,根据规划的轨迹生成运动指令发给机器人主体3,由机器人完成任务;如果云平台上没有对应场景的三维地图,则自主避障导航模块启动场景地图构建程序,整个过程如前面所述,待地图构建完成后,将地图上传到云平台,同时根据任务进行轨迹规划,完成任务;如果确认不是新环境,则检测避障导航电路板18中是否存储着本场景的三维地图,如果三维地图与地理位置信息重合,则开启自身定位,进行任务路径规划直至完成任务;如果三维地图与地理位置信息不符,则将地理位置信息发送到云平台,下载对应的场景的三维地图,下载完成后开启自身定位,进行任务路径规划直至完成任务。当任务完成后,自主避障导航系统将机器人导航回到充电位置进行自动充电,等待下一任务。
Claims (10)
1.一种自主避障导航信息共享和使用方法,其特征在于:包括
无人机或者机器人上电后,自主避障导航系统同时上电,系统进行自检,自检通过后,先通过GPS模块或者无线网络模块进行初步定位,判断自身是否处于一个新环境,如果是新环境,则将自身位置信息通过无线网络模块传输到云平台和网络通信模块,云平台和网络通信模块根据其位置信息查找场景三维地图,如果找到对应场景的三维地图,则通过无线网络传输到自主避障导航系统,自主导航系统根据场景三维地图和传感器进行自身精确定位,定位完成后根据任务进行轨迹规划,根据规划的轨迹生成运动指令发给无人机或机器人,由无人机或机器人完成任务;
如果云平台上没有对应场景的三维地图,则自主避障导航模块启动场景地图构建步骤,待地图构建完成后,将地图上传到云平台,同时根据任务进行轨迹规划,完成任务;
如果确认不是新环境,则检测是否存储着本场景的三维地图,如果三维地图与地理位置信息重合,则开启自身定位,进行任务路径规划直至完成任务;如果三维地图与地理位置信息不符,则将地理位置信息发送到云平台,下载对应的场景的三维地图,下载完成后开启自身定位,进行任务路径规划直至完成任务。
2.一种如权利要求1所述的一种自主避障导航信息共享和使用方法,其特征在于:场景地图构建步骤包括:
步骤1:先以起始点为中心,避障导航装置或其载体旋转360°,获得了起始点360°的三维点云数据,分析并存储三维点云数据,得出下一个扫描点的位置和到达轨迹,载体将按照指令运动到目标点,并开始360°扫描,继续分析并存储三维点云数据;在整个过程中,根据传感器输出的点云数据和惯性IMU模块输出的姿态位置信息进行三维点云的拼接,形成场景内局部三维地图,并根据场景内局部三维地图和扫描策略得到下一个扫描点,直至三维地图构建的第一步完成;
步骤二,还需要根据其他传感器的点云数据对三维地图进行修正,修正完成后,场景地图构建完成。
3.一种如权利要求1所述的一种自主避障导航信息共享和使用方法,其特征在于:自主避障导航系统的无线网络模块通过Internet网络和云平台和网络通信模块通信,可将自身绘制的场景三维地图和自身位置信息上传至云平台和网络通信模块,云平台和网络通信模块根据接收到的场景三维地图数据和地理位置信息将其存储到数据库模块。云平台和网络通信模块在收到自主避障导航模块下载某个场景三维地图数据时,首先将请求发送给数据浏览和分析模块,数据浏览和分析模块将根据自主避障导航模块的地理数据信息在数据库模块中查找场景的三维地图,如果找到对应的三维地图数据,则将地图数据通过网络传输给自主避障导航模块;如果没有对应的三维地图数据,则将没有地图状态信息传输给自主避障导航模块,自主避障导航模块则对场景开始地图构建,构建完成后将数据上传到云平台。
4.一种如权利要求1所述的一种自主避障导航信息共享和使用方法,其特征在于:网络通信均在网络防火墙模块的监控下进行,保证云平台的安全。
5.一种具备云平台的自主避障导航系统,其特征在于:包括
包含自主避障导航模块和云平台;
自主避障导航模块安装在无人机或机器人上,控制无人机或者机器人按照预定策略对场景进行遍历,构建场景的三维地图,将三维地图存储在本地,同时将本场景的三维地图和位置信息通过无线网络上传到云平台;
云平台将接收到的场景地图数据按照一定的策略保存,以供后期其他无人机或机器人避障导航模块根据地理位置信息下载。
6.一种如权利要求5所述的具备云平台的自主避障导航系统,其特征在于:避障导航模块包括超声波传感器、RGB-D传感器或激光雷达、惯性IMU模块、GPS模块及天线、无线通信模块、无线网络模块和避障导航电路板。
7.一种如权利要求5所述的具备云平台的自主避障导航系统,其特征在于:所述云平台包含数据库模块、网络防火墙模块、数据浏览和分析模块和网络通信模块。
8.一种如权利要求5所述的具备云平台的自主避障导航系统,其特征在于:其根据RGB-D传感器的3D数据对场景进行三维数据点云提取;根据惯性IMU模块和GPS模块进行自身姿态和位置的确定;根据多个超声波传感器、RGB-D传感器、惯性IMU模块的数据融合进行场景地图构建、轨迹规划和障碍物避让,并形成运动指令通过无线通信模块发送给无人机或机器人运动主体,机器人运动主体根据指令控制机器人按照要求运动,在运动过程中,惯性IMU模块实时计算机器人主体在场景中的位置和姿态,并将上述信息发送给避障导航电路板,避障导航电路板将根据惯性IMU模块输出的位置和姿态信息实时调整控制指令,形成机器人运动负反馈控制,实现机器人按照规划路径运动。
9.一种如权利要求5所述的具备云平台的自主避障导航系统,其特征在于:整个云平台具备防火墙和网络安全设置,只有通过认证的避障导航模块才可以下载,保证场景地图数据的安全。
10.一种机器人或无人机,使用如权利要求1-9所述的具备云平台的自主避障导航系统或自主避障导航信息共享和使用方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610142551.0A CN105823478A (zh) | 2016-03-14 | 2016-03-14 | 一种自主避障导航信息共享和使用方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610142551.0A CN105823478A (zh) | 2016-03-14 | 2016-03-14 | 一种自主避障导航信息共享和使用方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105823478A true CN105823478A (zh) | 2016-08-03 |
Family
ID=56987688
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610142551.0A Pending CN105823478A (zh) | 2016-03-14 | 2016-03-14 | 一种自主避障导航信息共享和使用方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105823478A (zh) |
Cited By (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106569505A (zh) * | 2016-10-19 | 2017-04-19 | 广东容祺智能科技有限公司 | 一种基于声音频谱识别功能的无人机控制系统 |
| CN106647741A (zh) * | 2016-11-16 | 2017-05-10 | 浙江工业大学 | 基于激光导航的全方位运动机构控制系统 |
| CN106808480A (zh) * | 2017-03-23 | 2017-06-09 | 北京瑞华康源科技有限公司 | 一种机器人导医系统 |
| CN107193283A (zh) * | 2017-07-27 | 2017-09-22 | 青岛诺动机器人有限公司 | 一种自主导航的移动机器人及其操作方法 |
| CN107247462A (zh) * | 2017-06-08 | 2017-10-13 | 广东容祺智能科技有限公司 | 一种基于小型无人机公共安全防控系统 |
| CN107450561A (zh) * | 2017-09-18 | 2017-12-08 | 河南科技学院 | 移动机器人的自主路径规划与避障系统及其使用方法 |
| CN107450577A (zh) * | 2017-07-25 | 2017-12-08 | 天津大学 | 基于多传感器的无人机智能感知系统和方法 |
| CN107526360A (zh) * | 2017-09-26 | 2017-12-29 | 河南科技学院 | 一种未知环境下排爆机器人多阶自主导航探测系统及方法 |
| CN107684493A (zh) * | 2017-10-17 | 2018-02-13 | 苏州诚满信息技术有限公司 | 一种用于轮椅的云模拟智能避障系统 |
| CN107757751A (zh) * | 2017-11-17 | 2018-03-06 | 西安优艾智合机器人科技有限公司 | 一种轮式自主移动机器人 |
| CN108052564A (zh) * | 2017-12-06 | 2018-05-18 | 电子科技大学 | 一种建立无人驾驶数据库的方法及系统 |
| CN108073167A (zh) * | 2016-11-10 | 2018-05-25 | 深圳灵喵机器人技术有限公司 | 一种基于深度相机与激光雷达的定位与导航方法 |
| CN108089585A (zh) * | 2018-01-06 | 2018-05-29 | 深圳慎始科技有限公司 | 一种具有地图构建和导航的清扫机器人 |
| CN108345005A (zh) * | 2018-02-22 | 2018-07-31 | 重庆大学 | 巷道掘进机的实时连续自主定位定向系统及导航定位方法 |
| CN108388268A (zh) * | 2018-01-31 | 2018-08-10 | 南京奇蛙智能科技有限公司 | 一种基于云端的无人机航线规划方法 |
| CN108680176A (zh) * | 2018-05-16 | 2018-10-19 | 电子科技大学 | 一种盲人导航避障地图的生成方法 |
| CN108700883A (zh) * | 2017-06-12 | 2018-10-23 | 深圳市大疆创新科技有限公司 | 控制方法和无人机 |
| CN108827317A (zh) * | 2018-08-20 | 2018-11-16 | 重庆师范大学 | 基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法 |
| CN108931976A (zh) * | 2017-05-25 | 2018-12-04 | 西北农林科技大学 | 一种多源信息融合农业机器人动态障碍物检测系统 |
| CN109029416A (zh) * | 2018-05-07 | 2018-12-18 | 集美大学 | 自动导引运输车自主导航方法及自动导引运输车 |
| WO2019000417A1 (en) * | 2017-06-30 | 2019-01-03 | SZ DJI Technology Co., Ltd. | SYSTEMS AND METHODS OF GENERATING CARDS |
| CN109213155A (zh) * | 2018-08-21 | 2019-01-15 | 北京云迹科技有限公司 | 用于多机器人相互避让的调度方法、装置及服务器 |
| CN109264585A (zh) * | 2018-10-31 | 2019-01-25 | 郑州桔槔智能科技有限公司 | 塔吊无人驾驶系统 |
| CN109278068A (zh) * | 2017-07-22 | 2019-01-29 | 西北农林科技大学 | 一种农业机器人动态障碍物检测方法 |
| CN109445438A (zh) * | 2018-12-05 | 2019-03-08 | 英华达(上海)科技有限公司 | 基于地图分享的巡航装置的巡航控制方法及系统 |
| CN109443368A (zh) * | 2019-01-14 | 2019-03-08 | 轻客小觅智能科技(北京)有限公司 | 无人驾驶机器人的导航方法、装置、机器人及存储介质 |
| CN110658828A (zh) * | 2019-10-25 | 2020-01-07 | 桂林电子科技大学 | 一种地貌自主探测方法及无人机 |
| CN110780314A (zh) * | 2019-11-25 | 2020-02-11 | 福建工程学院 | 一种基于PointNet的自主导航机器人及其导航方法 |
| CN110789905A (zh) * | 2019-12-03 | 2020-02-14 | 深圳市鲸仓科技有限公司 | 立体仓储系统及其轨道机器人、定位装置以及定位方法 |
| CN110850856A (zh) * | 2018-07-25 | 2020-02-28 | 北京欣奕华科技有限公司 | 一种数据处理方法、装置及机器人 |
| CN110865636A (zh) * | 2018-08-10 | 2020-03-06 | 深圳先进技术研究院 | 基于Docker容器的云机器人导航系统及其工作方法 |
| CN111227423A (zh) * | 2020-02-18 | 2020-06-05 | 怀化学院 | 基于北斗导航技术的语音辅助自主避障导航鞋及系统 |
| CN111313142A (zh) * | 2016-09-27 | 2020-06-19 | 深圳市大疆创新科技有限公司 | 可移动装置 |
| CN111694006A (zh) * | 2020-05-29 | 2020-09-22 | 杭州电子科技大学 | 一种用于室内无人系统的导航传感系统 |
| CN112212892A (zh) * | 2020-09-27 | 2021-01-12 | 广州高新兴机器人有限公司 | 机器人导航系统的测试平台、方法、存储介质及电子设备 |
| CN112578778A (zh) * | 2019-09-27 | 2021-03-30 | 上海尊颐智能科技有限公司 | 一种机能辅助装置的导航控制方法及导航系统 |
| CN113651007A (zh) * | 2021-08-17 | 2021-11-16 | 北京京东乾石科技有限公司 | 一种物流机器人养护方法、装置和物流机器人系统 |
| CN113759947A (zh) * | 2021-09-10 | 2021-12-07 | 中航空管系统装备有限公司 | 基于激光雷达的机载飞行避障辅助方法、装置及系统 |
| CN113970753A (zh) * | 2021-09-30 | 2022-01-25 | 南京理工大学 | 一种基于激光雷达和视觉检测的无人机定位控制方法及系统 |
| CN115014357A (zh) * | 2022-06-30 | 2022-09-06 | 山东新一代信息产业技术研究院有限公司 | 一种基于自定义地图区域的导航机器人系统 |
| CN119427308A (zh) * | 2024-11-18 | 2025-02-14 | 中国运载火箭技术研究院 | 一种月面灵巧作业机器人 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103822625A (zh) * | 2013-12-01 | 2014-05-28 | 兰州大学 | 一种智能机器人寻线导航的方法与装置 |
| CN104714555A (zh) * | 2015-03-23 | 2015-06-17 | 深圳北航新兴产业技术研究院 | 一种基于边缘的三维自主探索方法 |
| CN104897164A (zh) * | 2014-03-06 | 2015-09-09 | 宇龙计算机通信科技(深圳)有限公司 | 视频地图分享方法、装置及系统 |
| CN105116904A (zh) * | 2015-10-14 | 2015-12-02 | 北京南风科创应用技术有限公司 | 一种无人水面艇自动避障装置 |
-
2016
- 2016-03-14 CN CN201610142551.0A patent/CN105823478A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103822625A (zh) * | 2013-12-01 | 2014-05-28 | 兰州大学 | 一种智能机器人寻线导航的方法与装置 |
| CN104897164A (zh) * | 2014-03-06 | 2015-09-09 | 宇龙计算机通信科技(深圳)有限公司 | 视频地图分享方法、装置及系统 |
| CN104714555A (zh) * | 2015-03-23 | 2015-06-17 | 深圳北航新兴产业技术研究院 | 一种基于边缘的三维自主探索方法 |
| CN105116904A (zh) * | 2015-10-14 | 2015-12-02 | 北京南风科创应用技术有限公司 | 一种无人水面艇自动避障装置 |
Cited By (58)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111313142B (zh) * | 2016-09-27 | 2022-05-27 | 深圳市大疆创新科技有限公司 | 可移动装置及无人飞行器 |
| US11171413B2 (en) | 2016-09-27 | 2021-11-09 | SZ DJI Technology Co., Ltd. | Movable device |
| CN111313142A (zh) * | 2016-09-27 | 2020-06-19 | 深圳市大疆创新科技有限公司 | 可移动装置 |
| CN106569505A (zh) * | 2016-10-19 | 2017-04-19 | 广东容祺智能科技有限公司 | 一种基于声音频谱识别功能的无人机控制系统 |
| CN108073167A (zh) * | 2016-11-10 | 2018-05-25 | 深圳灵喵机器人技术有限公司 | 一种基于深度相机与激光雷达的定位与导航方法 |
| CN106647741A (zh) * | 2016-11-16 | 2017-05-10 | 浙江工业大学 | 基于激光导航的全方位运动机构控制系统 |
| CN106808480B (zh) * | 2017-03-23 | 2023-01-06 | 北京瑞华康源科技有限公司 | 一种机器人导医系统 |
| CN106808480A (zh) * | 2017-03-23 | 2017-06-09 | 北京瑞华康源科技有限公司 | 一种机器人导医系统 |
| CN108931976A (zh) * | 2017-05-25 | 2018-12-04 | 西北农林科技大学 | 一种多源信息融合农业机器人动态障碍物检测系统 |
| CN107247462A (zh) * | 2017-06-08 | 2017-10-13 | 广东容祺智能科技有限公司 | 一种基于小型无人机公共安全防控系统 |
| CN108700883A (zh) * | 2017-06-12 | 2018-10-23 | 深圳市大疆创新科技有限公司 | 控制方法和无人机 |
| US11480435B2 (en) | 2017-06-30 | 2022-10-25 | SZ DJI Technology Co., Ltd. | Map generation systems and methods |
| WO2019000417A1 (en) * | 2017-06-30 | 2019-01-03 | SZ DJI Technology Co., Ltd. | SYSTEMS AND METHODS OF GENERATING CARDS |
| CN109278068A (zh) * | 2017-07-22 | 2019-01-29 | 西北农林科技大学 | 一种农业机器人动态障碍物检测方法 |
| CN107450577A (zh) * | 2017-07-25 | 2017-12-08 | 天津大学 | 基于多传感器的无人机智能感知系统和方法 |
| CN107193283A (zh) * | 2017-07-27 | 2017-09-22 | 青岛诺动机器人有限公司 | 一种自主导航的移动机器人及其操作方法 |
| CN107450561A (zh) * | 2017-09-18 | 2017-12-08 | 河南科技学院 | 移动机器人的自主路径规划与避障系统及其使用方法 |
| CN107526360A (zh) * | 2017-09-26 | 2017-12-29 | 河南科技学院 | 一种未知环境下排爆机器人多阶自主导航探测系统及方法 |
| CN107526360B (zh) * | 2017-09-26 | 2020-08-21 | 河南科技学院 | 一种未知环境下排爆机器人多阶自主导航探测系统及方法 |
| CN107684493B (zh) * | 2017-10-17 | 2020-05-19 | 冀晓静 | 一种用于轮椅的云模拟智能避障系统 |
| CN107684493A (zh) * | 2017-10-17 | 2018-02-13 | 苏州诚满信息技术有限公司 | 一种用于轮椅的云模拟智能避障系统 |
| CN107757751A (zh) * | 2017-11-17 | 2018-03-06 | 西安优艾智合机器人科技有限公司 | 一种轮式自主移动机器人 |
| CN107757751B (zh) * | 2017-11-17 | 2024-02-27 | 西安优艾智合机器人科技有限公司 | 一种轮式自主移动机器人 |
| CN108052564A (zh) * | 2017-12-06 | 2018-05-18 | 电子科技大学 | 一种建立无人驾驶数据库的方法及系统 |
| CN108089585A (zh) * | 2018-01-06 | 2018-05-29 | 深圳慎始科技有限公司 | 一种具有地图构建和导航的清扫机器人 |
| CN108388268A (zh) * | 2018-01-31 | 2018-08-10 | 南京奇蛙智能科技有限公司 | 一种基于云端的无人机航线规划方法 |
| CN108345005B (zh) * | 2018-02-22 | 2020-02-07 | 重庆大学 | 巷道掘进机的实时连续自主定位定向系统及导航定位方法 |
| CN108345005A (zh) * | 2018-02-22 | 2018-07-31 | 重庆大学 | 巷道掘进机的实时连续自主定位定向系统及导航定位方法 |
| CN109029416B (zh) * | 2018-05-07 | 2021-07-23 | 集美大学 | 自动导引运输车自主导航方法及自动导引运输车 |
| CN109029416A (zh) * | 2018-05-07 | 2018-12-18 | 集美大学 | 自动导引运输车自主导航方法及自动导引运输车 |
| CN108680176A (zh) * | 2018-05-16 | 2018-10-19 | 电子科技大学 | 一种盲人导航避障地图的生成方法 |
| CN110850856A (zh) * | 2018-07-25 | 2020-02-28 | 北京欣奕华科技有限公司 | 一种数据处理方法、装置及机器人 |
| CN110850856B (zh) * | 2018-07-25 | 2022-11-25 | 北京欣奕华科技有限公司 | 一种数据处理方法、装置及机器人 |
| CN110865636A (zh) * | 2018-08-10 | 2020-03-06 | 深圳先进技术研究院 | 基于Docker容器的云机器人导航系统及其工作方法 |
| CN108827317B (zh) * | 2018-08-20 | 2022-05-24 | 重庆金美汽车电子有限公司 | 基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法 |
| CN108827317A (zh) * | 2018-08-20 | 2018-11-16 | 重庆师范大学 | 基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法 |
| CN109213155B (zh) * | 2018-08-21 | 2021-09-14 | 北京云迹科技有限公司 | 用于多机器人相互避让的调度方法、装置及服务器 |
| CN109213155A (zh) * | 2018-08-21 | 2019-01-15 | 北京云迹科技有限公司 | 用于多机器人相互避让的调度方法、装置及服务器 |
| CN109264585A (zh) * | 2018-10-31 | 2019-01-25 | 郑州桔槔智能科技有限公司 | 塔吊无人驾驶系统 |
| CN109445438A (zh) * | 2018-12-05 | 2019-03-08 | 英华达(上海)科技有限公司 | 基于地图分享的巡航装置的巡航控制方法及系统 |
| CN109445438B (zh) * | 2018-12-05 | 2022-03-04 | 英华达(上海)科技有限公司 | 基于地图分享的巡航装置的巡航控制方法及系统 |
| CN109443368A (zh) * | 2019-01-14 | 2019-03-08 | 轻客小觅智能科技(北京)有限公司 | 无人驾驶机器人的导航方法、装置、机器人及存储介质 |
| CN112578778A (zh) * | 2019-09-27 | 2021-03-30 | 上海尊颐智能科技有限公司 | 一种机能辅助装置的导航控制方法及导航系统 |
| CN110658828A (zh) * | 2019-10-25 | 2020-01-07 | 桂林电子科技大学 | 一种地貌自主探测方法及无人机 |
| CN110780314A (zh) * | 2019-11-25 | 2020-02-11 | 福建工程学院 | 一种基于PointNet的自主导航机器人及其导航方法 |
| CN110780314B (zh) * | 2019-11-25 | 2023-10-27 | 福建工程学院 | 一种基于PointNet的自主导航机器人及其导航方法 |
| CN110789905A (zh) * | 2019-12-03 | 2020-02-14 | 深圳市鲸仓科技有限公司 | 立体仓储系统及其轨道机器人、定位装置以及定位方法 |
| CN111227423A (zh) * | 2020-02-18 | 2020-06-05 | 怀化学院 | 基于北斗导航技术的语音辅助自主避障导航鞋及系统 |
| CN111694006A (zh) * | 2020-05-29 | 2020-09-22 | 杭州电子科技大学 | 一种用于室内无人系统的导航传感系统 |
| CN112212892A (zh) * | 2020-09-27 | 2021-01-12 | 广州高新兴机器人有限公司 | 机器人导航系统的测试平台、方法、存储介质及电子设备 |
| CN112212892B (zh) * | 2020-09-27 | 2023-05-30 | 广州高新兴机器人有限公司 | 机器人导航系统的测试平台、方法、存储介质及电子设备 |
| CN113651007A (zh) * | 2021-08-17 | 2021-11-16 | 北京京东乾石科技有限公司 | 一种物流机器人养护方法、装置和物流机器人系统 |
| CN113759947B (zh) * | 2021-09-10 | 2023-08-08 | 中航空管系统装备有限公司 | 基于激光雷达的机载飞行避障辅助方法、装置及系统 |
| CN113759947A (zh) * | 2021-09-10 | 2021-12-07 | 中航空管系统装备有限公司 | 基于激光雷达的机载飞行避障辅助方法、装置及系统 |
| CN113970753A (zh) * | 2021-09-30 | 2022-01-25 | 南京理工大学 | 一种基于激光雷达和视觉检测的无人机定位控制方法及系统 |
| CN113970753B (zh) * | 2021-09-30 | 2024-04-30 | 南京理工大学 | 一种基于激光雷达和视觉检测的无人机定位控制方法及系统 |
| CN115014357A (zh) * | 2022-06-30 | 2022-09-06 | 山东新一代信息产业技术研究院有限公司 | 一种基于自定义地图区域的导航机器人系统 |
| CN119427308A (zh) * | 2024-11-18 | 2025-02-14 | 中国运载火箭技术研究院 | 一种月面灵巧作业机器人 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105823478A (zh) | 一种自主避障导航信息共享和使用方法 | |
| Zhang et al. | 2D Lidar‐based SLAM and path planning for indoor rescue using mobile robots | |
| Cruz et al. | Decentralized cooperative control-a multivehicle platform for research in networked embedded systems | |
| Hood et al. | Bird's eye view: Cooperative exploration by UGV and UAV | |
| Vidal et al. | Pursuit-evasion games with unmanned ground and aerial vehicles | |
| CN112518739B (zh) | 履带式底盘机器人侦察智能化自主导航方法 | |
| CN107544501A (zh) | 一种智能机器人智慧行走控制系统及其方法 | |
| WO2015180021A1 (zh) | 剪枝机器人系统 | |
| CN108536145A (zh) | 一种使用机器视觉进行智能跟随的机器人系统及运行方法 | |
| JP2020505694A (ja) | Uavおよび他の自律車両のための屋内マッピングおよびモジュラー制御、ならびに関連するシステムおよび方法 | |
| WO2016197986A1 (zh) | 一种无人机高精度自主避障飞行方法 | |
| CN105629970A (zh) | 一种基于超声波的机器人定位避障方法 | |
| KR102826068B1 (ko) | 로봇의 위치 인식 | |
| CN114104139B (zh) | 一种仿生足式机器人步足平台融合越障及自主跟随系统 | |
| CN101122800A (zh) | 一种复合式视觉导航方法与装置 | |
| Butzke et al. | The University of Pennsylvania MAGIC 2010 multi‐robot unmanned vehicle system | |
| CN105182992A (zh) | 无人机的控制方法、装置 | |
| CN112556695B (zh) | 室内定位与三维建模方法、系统、电子设备及存储介质 | |
| EP3761136B1 (en) | Control device, mobile body, and program | |
| CN207281590U (zh) | 一种智能化导盲机器人装置 | |
| CN114115289A (zh) | 一种自主无人集群侦察系统 | |
| CN116540784A (zh) | 一种基于视觉的无人系统空地协同导航与避障方法 | |
| CN112857370A (zh) | 一种基于时序信息建模的机器人无地图导航方法 | |
| CN207264195U (zh) | 无人驾驶小车导航系统及无人驾驶小车 | |
| Cheung et al. | UAV-UGV Collaboration with a PackBot UGV and Raven SUAV for Pursuit and Tracking of a Dynamic Target |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20160803 |