CN117492565A - 一种基于虚实融合和手势操控的会议室集控方法 - Google Patents

Abstract

本发明公开了一种基于虚实融合和手势操控的会议室集控方法，包括以下步骤：步骤一：用户输入：用户通过系统用户界面发出控制指令；步骤二：指令处理：中控系统接收到用户的指令后，将其转换为设备接收信号；步骤三：设备控制：中控系统通过预设的接口将设备接收信号发送到相应的设备，设备接收到信号后，按照指令进行操作；步骤四：设备监控：中控系统定期向设备发送查询指令，以获取设备的状态和具体指标信息，设备的状态和具体指标信息被返回并显示在用户界面上。本发明能够高效率地完成会议任务，结合各个系统，充分发挥各自功能，实现现代化的会议功能。

Description

一种基于虚实融合和手势操控的会议室集控方法

技术领域

本发明涉及会议操控领域，具体涉及一种基于虚实融合和手势操控的会议室集控方法。

背景技术

当前各级单位的会议室较多，各类设备数量繁多且智能化程度越来越高，包括灯光、视频、音响、空调、投影仪等设备都需要进行状态监测以及控制；

现有的大多数会议室管理软件只有PC版本。输出端：传统的BS软件系统界面；输入端：通过鼠标或键盘操作。缺点是不够直观和便捷，需要先在系统中检索会议室和设备，然后再通过鼠标、键盘查看或操控该设备，因此导致会议过程中的操作步骤繁琐效率低。

发明内容

本发明所要解决的技术问题在于：如何解决现有的会议室集控方法，会议过程中的操作步骤繁琐效率低的问题，提供了一种基于虚实融合和手势操控的会议室集控方法。

本发明是通过以下技术方案解决上述技术问题的，本发明包括以下步骤：

步骤一：用户输入：用户通过系统用户界面发出控制指令；

步骤二：指令处理：中控系统接收到用户的指令后，将其转换为设备接收信号；

步骤三：设备控制：中控系统通过预设的接口将设备接收信号发送到相应的设备，设备接收到信号后，按照指令进行操作；

步骤四：设备监控：中控系统定期向设备发送查询指令，以获取设备的状态和具体指标信息，设备的状态和具体指标信息被返回并显示在用户界面上。

步骤五：反馈和调整：当设备的状态与用户的期望不符，用户通过用户界面发出新的更新指令，调整设备的设置，中控系统对更新指令进行处理获取到信息的设备接收信息，并将新的信号发送到设备。

进一步在于，所述会议室集控方法以会议室实景视频监控画面作为背景，各类设备以虚拟图标的形式叠加到视频背景上，具体实现方法是基于WEB前端HTML5技术的预设标签，通过多个图层叠加的方法展现视频监控画面与图标点位的融合，配合面板层做业务管理或数据展示。

进一步在于，所述预设标签包括背景层、图标层和面板层；

其中，背景层包括video标签，video标签进行视频播放；

图表层：图标层为canvas标签，图标层是覆盖在背景层之上；

面板层为div标签，即web前端开发技术实现即可，具体实现需根据实际业务来定，需要注意的同样是与窗口的适配，做到自适应。

进一步在于，所述video标签实现时需要注意音频画面与页面窗口的适配；

所述canvas标签使用时需要注意的是尺寸需与背景层相同且同步改变且canvas标签的背景需完全透明。

进一步在于，所述背景层、图标层和面板层通过CSS的z-index属性控制，该属性为number类型，背景层、图标层和面板层的z-index属性大小关系如下：面板层＞图标层＞背景层，z-index仅能在定位元素上生效。

进一步在于，所述步骤一中用户通过系统用户界面发出控制指令的系统用户界面承载在移动端和监控大屏。

进一步在于，所述移动端采用触屏操控方式点击实景视频中的设备图标，进行信息查看和远程控制；

所述监控大屏提供隔空手势操控功能，其具体过程为通过摄像机捕捉图像，使用者在自然状态下位于摄像机的视野范围内进行手势控制，即使用手部做出控制指令动作，摄像机捕获到使用者的实时手势，进行手势识别与理解，再转化为系统交互指令。

进一步在于，所述手势控制的具体过程如下：

步骤(1)：通过摄像机获取视频流，将视频按帧读取图片；

步骤(2)：将图片输入到手势控制模型，通过手势控制模型识别图片中的手掌，将手掌上的所有手指关节画在图像上，解析各个手指的序号和像素点横、纵坐标；

步骤(3)：使用手势在视频画面上进行操作。

本发明相比现有技术具有以下优点：该基于虚实融合和手势操控的会议室集控方法，实现对会议室某个设备查看和控制的操作步骤：移动端--在实景视频画面中能快速定位要操作的设备，然后触屏点击即可查看设备信息或选择要执行的指令；监控大屏--通过隔空的手势操控，实现切换会议室、选中设备、开关设备，整个系统可高效率地完成会议任务，结合各个系统，充分发挥各自功能，实现现代化的会议功能，让该系统更加值得推广使用。

附图说明

图1是本发明的流程图；

图2是本发明的图层叠加示意图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1～图2所示，本实施例提供一种技术方案：一种基于虚实融合和手势操控的会议室集控方法，包括以下步骤：

步骤一：用户输入：：用户通过系统用户界面(可以是移动端触屏或监控大屏等)发出控制指令。这些指令可以包括开启或关闭设备、调整设备设置、选择输入源等；

步骤二：中控系统接收到用户的指令后，会将其转换为设备可以理解的信号，涉及到编码和解码的过程；

步骤三：设备控制：中控系统通过各种接口(如RS-232、IP等)将信号发送到相应的设备。设备接收到信号后，会按照指令进行操作；

步骤四：设备监控：中控系统会定期向设备发送查询指令，以获取设备的状态和具体指标信息。这些信息会被返回并显示在用户界面上，让用户知道设备的当前状态和指标数据。

步骤五：反馈和调整：如果设备的状态与用户的期望不符，用户可以通过用户界面发出新的指令，调整设备的设置，中控系统会处理这些指令，并将新的信号发送到设备，使设备达到用户期望的状态。

所述会议室集控方法以会议室实景视频监控画面作为背景，各类设备以虚拟图标的形式叠加到视频背景上，具体实现方法是基于WEB前端HTML5技术的预设标签，通过多个图层叠加的方法展现视频监控画面与图标点位的融合，配合面板层做业务管理或数据展示。

所述预设标签包括背景层、图标层和面板层；

其中，背景层包括video标签，video标签进行视频播放；

图表层：图标层为canvas标签，图标层是覆盖在背景层之上；

面板层为div标签，即web前端开发技术实现即可，具体实现需根据实际业务来定，需要注意的同样是与窗口的适配，做到自适应。

所述video标签实现时需要注意音频画面与页面窗口的适配；

所述canvas标签使用时需要注意的是尺寸需与背景层相同且同步改变且canvas标签的背景需完全透明，所述背景层、图标层和面板层通过CSS的z-index属性控制，该属性为number类型，背景层、图标层和面板层的z-index属性大小关系如下：面板层＞图标层＞背景层，z-index仅能在定位元素上生效；

背景层：video标签可播放视频文件、视频流直播流等，使用video作为背景层，是本方案的核心点。在实现上需要注意的是视频画面与页面窗口的适配，避免视频发生拉伸挤压等问题；

图标层：图标层是覆盖在背景层之上，用canvas标签实现使性能更好，在实现上需要注意的是尺寸需与背景层相同且同步改变，否则会出现图标错位的问题，另一个需要注意的是canvas标签的背景需要完全透明这样才能够看到背景层的视频画面；

面板层：

面板层相对于前两层就比较灵活了，使用常规的web前端开发技术实现即可，具体实现需根据实际业务来定，需要注意的同样是与窗口的适配，做到自适应。

这三个图层可通过CSS的z-index属性控制。该属性为number类型，三个图层的z-index属性大小关系如下：面板层>图标层>背景层。需要注意的是z-index仅能在定位元素上生效(display属性不为static)。

所述步骤一中用户通过系统用户界面发出控制指令的系统用户界面承载在移动端和监控大屏。

针对移动端，采用触屏操控方式点击实景视频中的设备图标，进行信息查看和远程控制；

所述监控大屏提供隔空手势操控功能，其具体过程为通过摄像机捕捉图像，使用者在自然状态下位于摄像机的视野范围内进行手势控制，即使用手部做出控制指令动作，摄像机捕获到使用者的实时手势，进行手势识别与理解，再转化为系统交互指令。

所述手势控制的具体过程如下：

步骤(1)：通过摄像机获取视频流，将视频按帧读取图片；

步骤(2)：将图片输入到手势控制模型，通过手势控制模型识别图片中的手掌，将手掌上的所有手指关节画在图像上，解析各个手指的序号和像素点横、纵坐标；

步骤(3)：使用手势在视频画面上实现移动、点击等功能，完成切换会议室、选择设备、开关设备等操作。

本发明的输出端：通过在会议室的实景视频监控画面上对各个设备进行图标标识(即“虚实融合”)，实现“所见即所得”；可直观展示设备及其信息，也可以对所见设备直接进行开关等控制。

本发明的输入端：

1)提供移动端，管理人员可随时随地通过触屏点击会议室实景视频中的设备，查看信息和控制设备。

2)针对在大屏中监控会议室的场景，本发明提供隔空手势操控能力，实现快捷操控：预先定义不同手势，通过摄像头捕捉手势，实现切换会议室、选择设备、开关设备等操作。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种基于虚实融合和手势操控的会议室集控方法，其特征在于，包括以下步骤：

步骤一：用户输入：用户通过系统用户界面发出控制指令；

步骤二：指令处理：中控系统接收到用户的指令后，将其转换为设备接收信号；

步骤三：设备控制：中控系统通过预设的接口将设备接收信号发送到相应的设备，设备接收到信号后，按照指令进行操作；

步骤四：设备监控：中控系统定期向设备发送查询指令，以获取设备的状态和具体指标信息，设备的状态和具体指标信息被返回并显示在用户界面上；

步骤五：反馈和调整：当设备的状态与用户的期望不符，用户通过用户界面发出新的更新指令，调整设备的设置，中控系统对更新指令进行处理获取到信息的设备接收信息，并将新的信号发送到设备。

2.根据权利要求1所述的一种基于虚实融合和手势操控的会议室集控方法，其特征在于：所述会议室集控方法以会议室实景视频监控画面作为背景，各类设备以虚拟图标的形式叠加到视频背景上，具体实现方法是基于WEB前端HTML5技术的预设标签，通过多个图层叠加的方法展现视频监控画面与图标点位的融合，配合面板层做业务管理或数据展示。

3.根据权利要求2所述的一种基于虚实融合和手势操控的会议室集控方法，其特征在于：所述预设标签包括背景层、图标层和面板层；

其中，背景层包括video标签，video标签进行视频播放；

图表层：图标层为canvas标签，图标层是覆盖在背景层之上；

面板层为div标签，即web前端开发技术实现即可，具体实现需根据实际业务来定，需要注意的同样是与窗口的适配，做到自适应。

4.根据权利要求3所述的一种基于虚实融合和手势操控的会议室集控方法，其特征在于：所述video标签实现时需要注意音频画面与页面窗口的适配；

所述canvas标签使用时需要注意的是尺寸需与背景层相同且同步改变且canvas标签的背景需完全透明。

5.根据权利要求3所述的一种基于虚实融合和手势操控的会议室集控方法，其特征在于：所述背景层、图标层和面板层通过CSS的z-index属性控制，该属性为number类型，背景层、图标层和面板层的z-index属性大小关系如下：面板层＞图标层＞背景层，z-index仅能在定位元素上生效。

6.根据权利要求1所述的一种基于虚实融合和手势操控的会议室集控方法，其特征在于：所述步骤一中用户通过系统用户界面发出控制指令的系统用户界面承载在移动端和监控大屏。

7.根据权利要求6所述的一种基于虚实融合和手势操控的会议室集控方法，其特征在于：所述移动端采用触屏操控方式点击实景视频中的设备图标，进行信息查看和远程控制；

所述监控大屏提供隔空手势操控功能，其具体过程为通过摄像机捕捉图像，使用者在自然状态下位于摄像机的视野范围内进行手势控制，即使用手部做出控制指令动作，摄像机捕获到使用者的实时手势，进行手势识别与理解，再转化为系统交互指令。

8.根据权利要求6所述的一种基于虚实融合和手势操控的会议室集控方法，其特征在于：所述手势控制的具体过程如下：

步骤(1)：通过摄像机获取视频流，将视频按帧读取图片；

步骤(2)：将图片输入到手势控制模型，通过手势控制模型识别图片中的手掌，将手掌上的所有手指关节画在图像上，解析各个手指的序号和像素点横、纵坐标；

步骤(3)：使用手势在视频画面上进行操作。