CN109405804B - 作业辅助方法及系统 - Google Patents
作业辅助方法及系统 Download PDFInfo
- Publication number
- CN109405804B CN109405804B CN201811307667.0A CN201811307667A CN109405804B CN 109405804 B CN109405804 B CN 109405804B CN 201811307667 A CN201811307667 A CN 201811307667A CN 109405804 B CN109405804 B CN 109405804B
- Authority
- CN
- China
- Prior art keywords
- work
- working
- equipment
- space
- dimensional model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Geometry (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Signal Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
Abstract
本公开涉及一种作业辅助方法及系统。作业辅助方法包括:通过携带摄像设备(10)的飞行器(50)对作业设备(60)所在作业区域进行拍摄,以建立初始的作业空间三维模型;通过测距扫描仪(20)对所述作业设备(60)所在作业区域的至少部分进行扫描,获得所述作业区域的至少部分的空间测绘数据;将所述空间测绘数据与所述初始的作业空间三维模型进行结合,获得结合后的作业空间三维模型。本公开实施例能够有效地辅助操作者进行作业。
Description
技术领域
本公开涉及作业领域,尤其涉及一种作业辅助方法及系统。
背景技术
起重机是在一定范围内执行垂直提升和水平搬运重物的多动作起重机械,又称吊车。如今,各类起重机现已大量应用于城市建筑建设、工厂设备吊装、桥梁施工等场合。有些场合,起重机吊装作业环境复杂(例如高压线、树木、墙体等),被吊物体形状多变(例如风电扇叶、罐体等)。
在吊装作业前,存在吊装方案规划设计的问题。在吊装作业过程中,存在起重机和被吊物体与周围环境内物体可能发生碰撞的问题,操作者误操作问题。例如,被吊物体与墙体碰撞、起重机工况选择与实际不一致等。轻者造成物体损坏,重则车毁人亡。
吊装作业过程中,主要依靠起重机操作者自我判断周围环境,受观察视野局限、操作者经验水平等因素,操作者难以在复杂环境或大型吊装中给出合适吊装方案或操作规划。在复杂环境中作业时,往往需要多人辅助吊装。辅助人员在起重机四周不同位置观察,当有碰撞危险时,通过电话、对讲机等提醒操作者。人员观察不力、提醒不及时、操作者误操作,都可能导致碰撞、翻车等危险的发生。另外,重大工程吊装时,工程指挥部有集体决策、监督指挥、吊装过程记录的需求。
为了提升吊装工作安全性和效率,减少起重安全事故的发生。相关技术中出现了一些方案在起重机臂架头部安装2D/3D摄像仪器,向下拍摄,获取吊钩周围物体信息。通过车载显示器显示监控画面,通过二维的侧视图和俯视图显示物体尺寸、距离等。作为一套视觉上的辅助系统,提供一个可视化的图像和一些相对简单的量化数据,供起重机操作者参考。
发明内容
发明人经研究发现,相关技术的方案将摄像仪器安装在臂架头部,位置相对固定,受臂头结构和吊钩遮挡,因此会有视野盲区。而且,仅仅通过2D/3D摄像仪器获取的周围物体信息,无法获得比较精确的周边信息。另外,可视化图像虽然可以为操作者提供一些辅助信息,但不能直接影响到操作者对起重机的操作,故对起重机在安全性能上没有本质提升。
有鉴于此,本公开实施例提供一种作业辅助方法及系统,能够有效地辅助操作者进行作业。
在本公开的一个方面,提供一种作业辅助方法,包括:
通过携带摄像设备的飞行器对作业设备所在作业区域进行拍摄,以建立初始的作业空间三维模型;
通过测距扫描仪对所述作业设备所在作业区域的至少部分进行扫描,获得所述作业区域的至少部分的空间测绘数据;
将所述空间测绘数据与所述初始的作业空间三维模型进行结合,获得结合后的作业空间三维模型。
在一些实施例中,所述作业辅助方法还包括:
对所述结合后的作业空间三维模型进行图像识别或人工设置,形成包括作业空间内的作业设备、作业对象和环境物体的多个三维子模型的参数化作业空间三维模型。
在一些实施例中,所述作业辅助方法还包括:
根据作业任务和所述参数化作业空间三维模型生成所述作业设备针对于所述作业对象的作业方案。
在一些实施例中,在生成所述作业方案时,将所述参数化作业空间三维模型的坐标系转换为与所述作业设备的执行装置运行指令匹配的坐标系。
在一些实施例中,在生成所述作业方案之后,将所述作业方案远程发送到用于对所述作业设备进行作业调度的工程指挥调度中心。
在一些实施例中,所述作业设备包括起重设备,所述作业方案为起重吊装作业任务。
在一些实施例中,所述作业辅助方法还包括:
对所述作业设备的实际工况与所述作业设备对应的三维子模型的工况一致性进行实时监控,并在监控到工况不一致时进行报警。
在一些实施例中,所述作业设备包括起重设备,工况一致性监控包括以下至少一种:
吊装过程中上车作业工况的一致性监控、平衡重工况的一致性监控、臂架工况的一致性监控和支腿工况的一致性监控。
在一些实施例中,所述作业辅助方法还包括:
通过携带摄像设备的飞行器对作业设备所在作业区域持续的空间扫描,并根据图像识别结果对作业空间内的作业设备、作业对象和环境物体的多个三维子模型的参数化作业空间三维模型进行实时更新。
在一些实施例中,所述作业辅助方法还包括:
计算作业空间内的各个三维子模型之间的距离;
根据预设的报警阈值和限动阈值对所述距离进行判断,所述报警阈值高于所述限动阈值;
如果所述距离低于所述报警阈值,且不低于所述限动阈值,则执行报警提示操作;
如果所述距离低于所述限动阈值,则对所述作业设备进行控制,以限制所述距离进一步变小的趋势。
在一些实施例中,所述距离包括:所述作业设备与所述环境物体的间距、所述作业对象与所述环境物体的间距和/或所述作业对象与所述作业设备的间距。
在一些实施例中,所述摄像设备包括2D或3D摄像机。
在本公开的一个方面,提供了一种作业辅助系统,包括:
摄像设备,设置在飞行器上,被配置为对作业设备所在作业区域进行拍摄;
测距扫描仪,被配置为对所述作业设备所在作业区域的至少部分进行扫描,获得所述作业区域的至少部分的空间测绘数据;和
工作站,与所述摄像设备和所述测距扫描仪信号连接,被配置为根据接收到的来自所述摄像设备的图像数据,建立初始的作业空间三维模型,并结合来自所述测距扫描仪的空间测绘数据,以获得结合后的作业空间三维模型。
在一些实施例中,所述工作站还被配置为对所述结合后的作业空间三维模型进行图像识别或人工设置,形成包括作业空间内的作业设备、作业对象和环境物体的多个三维子模型的参数化作业空间三维模型。
在一些实施例中,所述工作站被配置为根据作业任务和所述参数化作业空间三维模型生成所述作业设备针对于所述作业对象的作业方案。
在一些实施例中,所述作业辅助系统还包括:
工程指挥调度中心,与所述工作站远程通信连接,被配置为接收所述工作站生成的所述作业方案,并根据所述作业方案对所述作业设备进行作业调度。
在一些实施例中,所述作业设备包括起重设备,所述作业方案为起重吊装作业任务。
在一些实施例中,所述工作站被配置为对所述作业设备的实际工况与所述作业设备对应的三维子模型的工况一致性进行实时监控,并在监控到工况不一致时进行报警。
在一些实施例中,携带摄像设备的飞行器被配置为对作业设备所在作业区域持续的空间扫描,所述工作站被配置为根据图像识别结果对作业空间内的作业设备、作业对象和环境物体的多个三维子模型的参数化作业空间三维模型进行实时更新。
在一些实施例中,所述工作站被配置为计算作业空间内的各个三维子模型之间的距离,并根据预设的报警阈值和限动阈值对所述距离进行判断,所述报警阈值高于所述限动阈值,如果所述距离低于所述报警阈值,且不低于所述限动阈值,则执行报警提示操作,如果所述距离低于所述限动阈值,则对所述作业设备进行控制,以限制所述距离进一步变小的趋势。
因此,根据本公开实施例,利用飞行器携带摄像设备对作业区域进行拍摄,使得摄像设备可不受安装位置的限制而获得更广的作业区域的图像数据,再结合基于图像数据所生成的初始作业空间三维模型和测距扫描仪扫描得到的空间测绘数据,可获得结合后的高精度的作业空间三维模型。作业设备的操作者或者工程指挥调度人员可在高精度的作业空间三维模型所提供的参考信息的辅助下进行作业,从而提高作业的安全性和效率。
附图说明
构成说明书的一部分的附图描述了本公开的实施例,并且连同说明书一起用于解释本公开的原理。
参照附图,根据下面的详细描述,可以更加清楚地理解本公开,其中:
图1是根据本公开作业辅助系统的一些实施例的应用场景示意图;
图2是根据本公开作业辅助方法的一些实施例的流程示意图;
图3是根据本公开作业辅助方法的一些实施例中携带摄像设备的飞行器通过空间扫描所获得的初始的作业空间三维模型示意图;
图4是根据本公开作业辅助方法的一些实施例中测距扫描仪通过扫描所获得的作业区域的空间测绘数据所生成的三维模型示意图;
图5是根据本公开作业辅助方法的一些实施例中初始的作业空间三维模型与空间测绘数据结合得到的高精度作业空间三维模型示意图;
图6是根据本公开作业辅助方法的另一些实施例的流程示意图;
图7是根据本公开作业辅助方法的再一些实施例的流程示意图;
图8是根据本公开作业辅助方法的一些实施例中转换坐标系操作的示意图;
图9是根据本公开作业辅助系统的一些实施例的信号连接示意图。
应当明白,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。此外,相同或类似的参考标号表示相同或类似的构件。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。对示例性实施例的描述仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。本公开可以以许多不同的形式实现,不限于这里所述的实施例。提供这些实施例是为了使本公开透彻且完整,并且向本领域技术人员充分表达本公开的范围。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置应被解释为仅仅是示例性的,而不是作为限制。
本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的部分。“包括”或者“包含”等类似的词语意指在该词前的要素涵盖在该词后列举的要素,并不排除也涵盖其他要素的可能。“上”、“下”、“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
在本公开中,当描述到特定器件位于第一器件和第二器件之间时,在该特定器件与第一器件或第二器件之间可以存在居间器件,也可以不存在居间器件。当描述到特定器件连接其它器件时,该特定器件可以与所述其它器件直接连接而不具有居间器件,也可以不与所述其它器件直接连接而具有居间器件。
本公开使用的所有术语(包括技术术语或者科学术语)与本公开所属领域的普通技术人员理解的含义相同,除非另外特别定义。还应当理解,在诸如通用字典中定义的术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义,而不应用理想化或极度形式化的意义来解释,除非这里明确地这样定义。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
如图1所示,是根据本公开作业辅助系统的一些实施例的应用场景示意图。在图1中,在一些实施例中,作业辅助系统包括:摄像设备10、测距扫描仪20和工作站30。摄像设备10设置在飞行器50上,可对作业设备60所在作业区域进行空间扫描。测距扫描仪20为对所述作业设备60所在作业区域的至少部分进行扫描。工作站30与所述摄像设备10和所述测距扫描仪20信号连接,用于对摄像设备10和所述测距扫描仪20获得的数据进行处理。
在一些实施例中,飞行器50可以是无人机,也可以是由人驾驶的飞行设备。摄像设备10可包括3D摄像机,拍摄到的3D图像可传送给工作站30进行处理。在另一些实施例中,摄像设备10也可以包括成本更加低廉、重量更轻的2D摄像机进行拍摄,拍摄到的2D图像可传送给工作站30进行处理。
测距扫描仪20可对作业区域的局部进行高精度的扫描,以获得更加精准的空间测绘数据。操作人员可根据实际需要,将测距扫描仪20设置在需要精确测量的区域进行定点扫描。在一些实施例中,扫描范围可为作业区域中的重要部分,而在另一些实施例中,扫描范围也可为作业区域的全部。测距扫描仪20优选采用激光扫描仪,也可以采用基于超声或红外的扫描仪。
工作站30优选通过无线通讯方式与摄像设备10及测距扫描仪20进行通信。在另一些实施例中,工作站30也可以通过有线方式与与摄像设备10及测距扫描仪20进行通信。工作站30可运行一些处理软件,以便对接收的图像数据和空间测绘数据进行处理。
参考图1,在一些实施例中,作业辅助系统还可包括工程指挥调度中心40。工程指挥调度中心40可与所述工作站30远程通信连接,与工作站30进行信息交互。工程指挥调度中心40还可以与作业设备60进行通信,根据设定的作业方案对作业设备60进行作业调度。
参考图1所示的作业辅助系统实施例,图2示出了根据本公开作业辅助方法的一些实施例的流程示意图。在图2中,作业辅助方法包括:
步骤100、通过携带摄像设备10的飞行器50对作业设备60所在作业区域进行拍摄,以建立初始的作业空间三维模型;
步骤200、通过测距扫描仪20对所述作业设备60所在作业区域的至少部分进行扫描,获得所述作业区域的至少部分的空间测绘数据;
步骤300、将所述空间测绘数据与所述初始的作业空间三维模型进行结合,获得结合后的作业空间三维模型。
在步骤100中,摄像设备10所拍摄的图像可传送给工作站30,由工作站30进行处理,以建立初始的作业空间三维模型。参考图3,通过飞行器来携带摄像设备进行拍摄,覆盖了较广的空间范围,因此实现更加全面的作业空间三维模型。
在步骤200中,测距扫描仪20可有选择地对作业区域进行定点扫描。例如在作业区域中临近作业设备或作业对象的位置设置测距扫描仪20来对重点区域进行扫描,以获得精确的空间测绘数据。图4示出了通过测距扫描仪20扫描得到的作业区域部分场景的三维模型。
在步骤300中,工作站或者其他处理设备可将空间测绘数据与初始的作业空间三维模型结合起来,以生成结合后的具有较高精度的作业空间三维模型。参考图5,可以看到图3和图4进行结合后,即能够获得较广空间范围的作业空间三维模型,并且还使得作业空间三维模型更加精细化和精确化。从图5中,已可以比较清楚地辨认出作业场地、作业设备、周边环境等多方面信息。
在上述作业辅助方法实施例中,步骤100可先于步骤200,也可晚于步骤200,或者与步骤200同步进行。除了初始建立作业空间三维模型,在一些实施例中,飞行器50可携带摄像设备10通过所述飞行器50对作业设备60所在作业区域进行持续的空间扫描。扫描得到的图像数据可用于作业空间三维模型的更新,以便实时地反映作业区域的变化情况。
如图6所示,是根据本公开作业辅助方法的另一些实施例的流程示意图。与图5所示的实施例相比,本实施例在步骤300之后还包括:
步骤400、对所述结合后的作业空间三维模型进行图像识别或人工设置,形成参数化作业空间三维模型。
这里的参数化作业空间三维模型可以包括作业空间内的作业设备60、作业对象80和环境物体70的多个三维子模型。参考图1,工作站30或其他处理设备通过图像识别可确定出高精度的作业空间三维模型中可辨认的物体,例如图1中作为作业设备60的起重机、作为作业对象70的起吊货物以及起吊货物两侧的环境物体70(例如楼房72和墙壁71)。对于一些通过图像识别无法辨认的物体则可以由人工进行设置。
通过步骤400就建立了一个具有多个三维子模型的参数化作业空间三维模型,这种参数化作业空间三维模型可支持进一步的作业规划和安全监控。如图7所示,是根据本公开作业辅助方法的再一些实施例的流程示意图。相比于图6所示的实施例,本实施例在步骤400之后还包括:
步骤500、根据作业任务和所述参数化作业空间三维模型生成所述作业设备60针对于所述作业对象80的作业方案。
以起重设备为例,工作站或其他处理设备可设置吊装规划模块,利用参数化作业空间三维模型来生成针对于被吊物体的起重机吊装方案。在步骤400中可在形成参数化作业空间三维模型时,可进行被吊物体的参数的人工设置,例如设置被吊物体的尺寸和重量等参数。
根据模型库预存的3D模型,如果有起重机3D模型,则可通过图像识别的方式来自动提取起重机的工况信息,例如平衡重工况、臂架长度和变幅角度等。如果没有对应的3D模型,也可以由人工在参数化作业空间三维模型中添加参数化的起重机模型。另外,还可以通过图像识别和人工设置两种方式来获取环境物体的参数化模型。
针对于某个吊装作业任务,工作站或其他处理设备可根据被吊物体的相关信息来自动获取吊装作业起点,而吊装作业终点可通过人工配置或从参数化的作业空间三维模型中自动获取。以风电吊装作业为例,当塔座位置确定后,塔筒、风机及叶片安装位置可根据参数化的风电模型自动获取。这样,就可根据吊装作业任务和已获得的参数化作业空间三维模型生成起重机的吊装方案。吊装方案中可以包括起重机的支车点、上车作业推荐工况、吊装路径、吊装预估时间等。
由于常规的三维模型通常为三维直角坐标或极坐标,为了将作业设备在三维空间的运动轨迹转换成作业设备的操作指令,可以在生成作业方案时,将所述参数化作业空间三维模型的坐标系转换为与所述作业设备60的执行装置运行指令匹配的坐标系。
以起重机为例,由于起重机自身结构运动一般有伸缩、变幅、回转、起升的四种主要动作,因此可参考图8将三维模型的坐标系转换为起重机臂架坐标。例如,先将三维直角坐标(X,Y,Z)转换为极坐标(L0,β1,β2),再将极坐标(L0,β1,β2)转换成臂架坐标(L1,α1,L2,α2,β1,H0,R0,H1),这样就能方便的将起重机在三维空间里的运动轨迹转换为起重机上车机构的运动指令。
为了实施生成的作业方案,参考图7,在一些实施例中,在步骤500之后,还包括步骤600。在步骤600中,可将所述作业方案远程发送到用于对所述作业设备60进行作业调度的工程指挥调度中心40。对于前面生成起重机吊装方案的例子,工作站30或其他处理设备可通过无线或有线方式将吊装方案远程发送给工程指挥调度中心40,也可以直接发送给起重设备,或者作为终端的手机或电脑等。
基于参数化作业空间三维模型,在一些实施例中,作业辅助方法还可以包括:对所述作业设备60的实际工况与所述作业设备60对应的三维子模型的工况一致性进行实时监控,并在监控到工况不一致时进行报警。以作业设备60包括起重设备为例,工况一致性监控可包括以下至少一种:吊装过程中上车作业工况的一致性监控、平衡重工况的一致性监控、臂架工况的一致性监控和支腿工况的一致性监控。
具体来说,对于吊装过程中上车作业工况的一致性监控,工作站或其他处理设备可判断实际的上车工况是否符合起重机吊装方案的上车作业推荐工况。如果两者不一致,则可发出声光报警或向终端发出报警信息,另外还可通过黑匣子进行记录。
对于平衡重工况的一致性监控,工作站或其他处理设备可判断实际的平衡重工况与从三维模型中识别出的平衡重工况是否一致。如果两者不一致,则可发出声光报警或向终端发出报警信息,另外还可通过黑匣子进行记录。
对于臂架工况的一致性监控,工作站或其他处理设备可判断实际的臂架工况,例如臂架的长度或变幅角度是否符合从三维模型中识别出的臂架工况。如果两者不一致,则可发出声光报警或向终端发出报警信息,另外还可通过黑匣子进行记录。
对于支腿工况的一致性监控,工作站或其他处理设备可判断实际的支腿工况,例如支腿长度等是否符合从三维模型中识别出的支腿跨距。如果两者不一致,则可发出声光报警或向终端发出报警信息,另外还可通过黑匣子进行记录。
在这个过程中,可通过所述飞行器50对作业设备60所在作业区域持续的空间扫描,并根据图像识别结果对作业空间内的作业设备60、作业对象80和环境物体70的多个三维子模型的参数化作业空间三维模型进行实时更新,以便使工况一致性监控能够符合实际情况,提高作业的安全性。
基于参数化作业空间三维模型,可利用三维模型中的各个三维子模型占据的空间尺寸、位置,求出相互之间的最小安全距离,并基于计算结果可实现作业区域的空间距离监控。在一些实施例中,作业辅助方法还可以包括:计算作业空间内的各个三维子模型之间的距离D;根据预设的报警阈值DA和限动阈值DL对所述距离D进行判断,所述报警阈值DA高于所述限动阈值DL。
如果所述距离D低于所述报警阈值DA,且不低于所述限动阈值DL,即DL≤D<DA,则执行报警提示操作,以便及时通知操作人员。此时,也可控制作业设备60降低作业速度。如果距离D低于所述限动阈值DL,即D<DL,则可发出报警,并对所述作业设备60进行控制,以便主动地限制所述距离进一步变小的趋势,即限制危险方向的继续运动,从而实现更加主动的安全保护。
这里的距离D可以包括:所述作业设备60与所述环境物体70的间距、所述作业对象80与所述环境物体70的间距和/或所述作业对象80与所述作业设备60的间距。除此之外,距离D还可以包括不同作业设备之间、不同作业对象之间以及不同环境物体之间的间距。
对于上述作业辅助方法中的相关数据处理、安全监控、作业调度等操作可由工作站30或其它处理设备实现。根据需要,一些操作也可以由工程指挥调度中心40执行。
举例来说,在作业辅助系统的实施例中,测距扫描仪20可对所述作业设备60所在作业区域的至少部分进行扫描,获得所述作业区域的至少部分的空间测绘数据。而工作站30可根据接收到的来自所述摄像设备10的扫描数据,建立初始的作业空间三维模型,并结合来自所述测距扫描仪20的空间测绘数据,以获得结合后的作业空间三维模型。
在作业辅助系统的另一些实施例中,工作站30还可以对所述结合后的作业空间三维模型进行图像识别或人工设置,形成包括作业空间内的作业设备60、作业对象80和环境物体70的多个三维子模型的参数化作业空间三维模型。
基于得到的参数化作业空间三维模型,工作站30还可以对所述作业设备60的实际工况与所述作业设备60对应的三维子模型的工况一致性进行实时监控,并在监控到工况不一致时进行报警。或者,工作站30可根据作业任务和所述参数化作业空间三维模型生成所述作业设备60针对于所述作业对象80的作业方案。工作站30可将生成的作业方案远程传送给工程指挥调度中心40。
为了获得实时更新的三维模型,飞行器50可被配置为对作业设备60所在作业区域持续的空间扫描,而所述工作站30则可根据图像识别结果对作业空间内的作业设备60、作业对象80和环境物体70的多个三维子模型的参数化作业空间三维模型进行实时更新。
在此基础上,工作站30可计算作业空间内的各个三维子模型之间的距离,并根据预设的报警阈值和限动阈值对所述距离进行判断,所述报警阈值高于所述限动阈值,如果所述距离低于所述报警阈值,且不低于所述限动阈值,则执行报警提示操作,如果所述距离低于所述限动阈值,则对所述作业设备60进行控制,以限制所述距离进一步变小的趋势。
如图9所示,为根据本公开作业辅助系统的一些实施例的信号连接示意图。参考图9,起重机中主控制器可通过无线通信收发器与工作站和工程指挥调度中心进行通信。起重机中的各个臂架的长度传感器、角度传感器和其他传感器可将感测信号发送给主控制器进行处理。主控制器还与图像监控显示器、主显示器、液压系统及动力系统等信号连接,以便向各个部件发送控制指令。
工作站可从飞行器携带的摄像设备及各个激光扫描仪获得数据,并通过数据处理获得参数化作业空间三维模型。根据参数化作业空间三维模型,工作站可通过无线通信收发器向工程指挥调度中心提供推荐的起重机作业方案,并对起重机的作业过程进行安全监控。
至此,已经详细描述了本公开的各实施例。为了避免遮蔽本公开的构思,没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述,完全可以明白如何实施这里公开的技术方案。
虽然已经通过示例对本公开的一些特定实施例进行了详细说明,但是本领域的技术人员应该理解,以上示例仅是为了进行说明,而不是为了限制本公开的范围。本领域的技术人员应该理解,可在不脱离本公开的范围和精神的情况下,对以上实施例进行修改或者对部分技术特征进行等同替换。本公开的范围由所附权利要求来限定。
Claims (16)
1.一种作业辅助方法,其特征在于,包括:
通过携带摄像设备(10)的飞行器(50)对作业设备(60)所在作业区域进行拍摄,以建立初始的作业空间三维模型;
通过测距扫描仪(20)对所述作业设备(60)所在作业区域的至少部分进行扫描,获得所述作业区域的至少部分的空间测绘数据;
将所述空间测绘数据与所述初始的作业空间三维模型进行结合,获得结合后的作业空间三维模型;其中,所述作业辅助方法还包括:
对所述结合后的作业空间三维模型进行图像识别或人工设置,形成包括作业空间内的作业设备(60)、作业对象(80)和环境物体(70)的多个三维子模型的参数化作业空间三维模型;
其中,所述作业设备(60)包括起重机,所述的作业辅助方法还包括:
根据作业任务和所述参数化作业空间三维模型生成所述作业设备(60)针对于所述作业对象(80)的作业方案;
在模型库预存有对应的起重机3D模型时,通过图像识别的方式来自动提取起重机的工况信息;
在模型库未预存有对应的起重机3D模型时,由人工在所述参数化作业空间三维模型中添加参数化的起重机模型。
2.根据权利要求1所述的作业辅助方法,其特征在于,在生成所述作业方案时,将所述参数化作业空间三维模型的坐标系转换为与所述作业设备(60)的执行装置运行指令匹配的坐标系。
3.根据权利要求1所述的作业辅助方法,其特征在于,在生成所述作业方案之后,将所述作业方案远程发送到用于对所述作业设备(60)进行作业调度的工程指挥调度中心(40)。
4.根据权利要求1所述的作业辅助方法,其特征在于,所述作业方案为起重吊装作业任务。
5.根据权利要求1所述的作业辅助方法,其特征在于,还包括:
对所述作业设备(60)的实际工况与所述作业设备(60)对应的三维子模型的工况一致性进行实时监控,并在监控到工况不一致时进行报警。
6.根据权利要求5所述的作业辅助方法,其特征在于,工况一致性监控包括以下至少一种:
吊装过程中上车作业工况的一致性监控、平衡重工况的一致性监控、臂架工况的一致性监控和支腿工况的一致性监控。
7.根据权利要求1所述的作业辅助方法,其特征在于,还包括:
通过携带所述摄像设备(10)的所述飞行器(50)对作业设备(60)所在作业区域持续的拍摄,并根据图像识别结果对作业空间内的作业设备(60)、作业对象(80)和环境物体(70)的多个三维子模型的参数化作业空间三维模型进行实时更新。
8.根据权利要求7所述的作业辅助方法,其特征在于,还包括:
计算作业空间内的各个三维子模型之间的距离;
根据预设的报警阈值和限动阈值对所述距离进行判断,所述报警阈值高于所述限动阈值;
如果所述距离低于所述报警阈值,且不低于所述限动阈值,则执行报警提示操作;
如果所述距离低于所述限动阈值,则对所述作业设备(60)进行控制,以限制所述距离进一步变小的趋势。
9.根据权利要求8所述的作业辅助方法,其特征在于,所述距离包括:所述作业设备(60)与所述环境物体(70)的间距、所述作业对象(80)与所述环境物体(70)的间距和/或所述作业对象(80)与所述作业设备(60)的间距。
10.一种作业辅助系统,包括:
摄像设备(10),设置在飞行器(50)上,被配置为对作业设备(60)所在作业区域进行拍摄;
测距扫描仪(20),被配置为对所述作业设备(60)所在作业区域的至少部分进行扫描,获得所述作业区域的至少部分的空间测绘数据;和
工作站(30),与所述摄像设备(10)和所述测距扫描仪(20)信号连接,被配置为根据接收到的来自所述摄像设备(10)的图像数据,建立初始的作业空间三维模型,并结合来自所述测距扫描仪(20)的空间测绘数据,以获得结合后的作业空间三维模型,且所述工作站(30)还被配置为对所述结合后的作业空间三维模型进行图像识别或人工设置,形成包括作业空间内的作业设备(60)、作业对象(80)和环境物体(70)的多个三维子模型的参数化作业空间三维模型,并根据作业任务和所述参数化作业空间三维模型生成所述作业设备(60)针对于所述作业对象(80)的作业方案;
其中,所述作业设备(60)包括起重机,所述工作站(30)还被配置为在模型库预存有对应的起重机3D模型时,通过图像识别的方式来自动提取起重机的工况信息,以及在模型库未预存有对应的起重机3D模型时,由人工在所述参数化作业空间三维模型中添加参数化的起重机模型。
11.根据权利要求10所述的作业辅助系统,其特征在于,所述摄像设备(10)包括2D或3D摄像机。
12.根据权利要求10所述的作业辅助系统,其特征在于,还包括:
工程指挥调度中心(40),与所述工作站(30)远程通信连接,被配置为接收所述工作站(30)生成的所述作业方案,并根据所述作业方案对所述作业设备(60)进行作业调度。
13.根据权利要求10所述的作业辅助系统,其特征在于,所述作业方案为起重吊装作业任务。
14.根据权利要求10所述的作业辅助系统,其特征在于,所述工作站(30)被配置为对所述作业设备(60)的实际工况与所述作业设备(60)对应的三维子模型的工况一致性进行实时监控,并在监控到工况不一致时进行报警。
15.根据权利要求10所述的作业辅助系统,其特征在于,携带所述摄像设备(10)的所述飞行器(50)被配置为对作业设备(60)所在作业区域持续的拍摄,所述工作站(30)被配置为根据图像识别结果对作业空间内的作业设备(60)、作业对象(80)和环境物体(70)的多个三维子模型的参数化作业空间三维模型进行实时更新。
16.根据权利要求15所述的作业辅助系统,其特征在于,所述工作站(30)被配置为计算作业空间内的各个三维子模型之间的距离,并根据预设的报警阈值和限动阈值对所述距离进行判断,所述报警阈值高于所述限动阈值,如果所述距离低于所述报警阈值,且不低于所述限动阈值,则执行报警提示操作,如果所述距离低于所述限动阈值,则对所述作业设备(60)进行控制,以限制所述距离进一步变小的趋势。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811307667.0A CN109405804B (zh) | 2018-11-05 | 2018-11-05 | 作业辅助方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811307667.0A CN109405804B (zh) | 2018-11-05 | 2018-11-05 | 作业辅助方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109405804A CN109405804A (zh) | 2019-03-01 |
| CN109405804B true CN109405804B (zh) | 2021-02-09 |
Family
ID=65471608
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811307667.0A Active CN109405804B (zh) | 2018-11-05 | 2018-11-05 | 作业辅助方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109405804B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110061755B (zh) * | 2019-04-30 | 2021-04-16 | 徐州重型机械有限公司 | 作业辅助方法和系统、可穿戴设备及工程车辆 |
| CN110475163B (zh) * | 2019-08-23 | 2022-04-01 | 山东临工工程机械有限公司 | 一种挖掘机远程控制系统及挖掘机 |
| CN110555913B (zh) * | 2019-08-27 | 2023-04-14 | 正知(上海)智能技术有限公司 | 一种基于工业人机界面的虚拟成像方法及装置 |
| CN112182696B (zh) * | 2020-09-08 | 2024-05-31 | 国家电网有限公司 | 一种顶盖检修吊装作业与风险辨识三维数字化推演方法 |
| JP7699008B2 (ja) * | 2021-07-26 | 2025-06-26 | 株式会社トプコン | 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム |
| CN117962826B (zh) * | 2024-03-25 | 2024-09-06 | 徐工消防安全装备有限公司 | 消防车下车作业空间自动规划方法、装置以及消防车 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102007046287A1 (de) * | 2007-09-27 | 2009-04-02 | Siemens Ag | Verfahren zur Kalibrierung einer Sensoranordnung und Sensoranordnung |
| CN106441233A (zh) * | 2015-08-06 | 2017-02-22 | 航天图景(北京)科技有限公司 | 基于倾斜摄影三维重建技术的电力通道走廊巡检方法 |
| CN106586838A (zh) * | 2016-12-27 | 2017-04-26 | 徐州重型机械有限公司 | 起重机的作业控制方法、系统及起重机 |
| CN107064954A (zh) * | 2017-05-24 | 2017-08-18 | 云南省交通规划设计研究院 | 一种基于车载和机载点云的公路地形图测绘方法和系统 |
| CN107720552A (zh) * | 2017-10-16 | 2018-02-23 | 西华大学 | 一种基于计算机机器视觉的装配式建筑智能吊装方法 |
-
2018
- 2018-11-05 CN CN201811307667.0A patent/CN109405804B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102007046287A1 (de) * | 2007-09-27 | 2009-04-02 | Siemens Ag | Verfahren zur Kalibrierung einer Sensoranordnung und Sensoranordnung |
| CN106441233A (zh) * | 2015-08-06 | 2017-02-22 | 航天图景(北京)科技有限公司 | 基于倾斜摄影三维重建技术的电力通道走廊巡检方法 |
| CN106586838A (zh) * | 2016-12-27 | 2017-04-26 | 徐州重型机械有限公司 | 起重机的作业控制方法、系统及起重机 |
| CN107064954A (zh) * | 2017-05-24 | 2017-08-18 | 云南省交通规划设计研究院 | 一种基于车载和机载点云的公路地形图测绘方法和系统 |
| CN107720552A (zh) * | 2017-10-16 | 2018-02-23 | 西华大学 | 一种基于计算机机器视觉的装配式建筑智能吊装方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109405804A (zh) | 2019-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109405804B (zh) | 作业辅助方法及系统 | |
| CN109074536B (zh) | 计划和/或控制和/或模拟施工机械的运行的方法及设备 | |
| CN112429647B (zh) | 起重机的控制方法和控制装置 | |
| KR102357499B1 (ko) | 타워크레인 자율운영 시스템 및 이를 이용한 자율운영 방법 | |
| KR102463556B1 (ko) | 인양물의 크레인 충돌방지를 위한 감시 시스템 | |
| CN116853970B (zh) | 塔机无人驾驶控制系统及无人驾驶控制方法 | |
| CN111017726A (zh) | 起重机吊钩定位方法、装置、系统及工程机械 | |
| CN111891922B (zh) | 一种起重机作业实时导航系统及方法 | |
| CN117864959A (zh) | 一种吊装位姿控制系统和控制方法 | |
| KR101811926B1 (ko) | 무인비행체를 이용한 타워크레인의 운전 보조시스템 및 이를 이용한 타워크레인의 영상 제공 방법 | |
| JP3224107U (ja) | 可動作業プラットフォームのための衝突回避補助システム | |
| CN109071189B (zh) | 监控至少一个起重机的方法 | |
| CN116177396A (zh) | 塔机监控系统、方法和塔机 | |
| CN114455490B (zh) | 一种塔机安全控制方法及系统 | |
| KR20200058099A (ko) | 센서를 이용한 작업 차량 제어 장치 및 그 방법 | |
| JP2019218198A (ja) | 操作支援システム | |
| CN110555913A (zh) | 一种基于工业人机界面的虚拟成像方法及装置 | |
| CN114524366B (zh) | 一种塔吊吊装的钢塔节段吊装路径指引系统及方法 | |
| JP2015162886A (ja) | 障害物監視システム及びプログラム | |
| CN114813780A (zh) | 一种基于无人机的质量检验方法及系统 | |
| KR20220114980A (ko) | 5g mec 기반 타워크레인 원격조정 시스템 | |
| CN120495417B (zh) | 水电厂转子吊装临界位置检测方法及系统 | |
| CN119580197B (zh) | 塔机被起吊物品安全监测方法及系统 | |
| CN116730194B (zh) | 一种设有安全区域的塔机智能控制系统及其方法 | |
| EP4579044A1 (en) | Surrounding monitoring device for work machine, and work machine |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |