基于云游戏场景的控制系统及方法
技术领域
本发明涉及远程控制系统领域,尤其涉及一种基于云游戏场景的控制系统及方法。
背景技术
随着近年来游戏产业、智能终端技术和无线网络,如5G网络的高速发展,游戏已经成为人们生活中不可或缺的互联网应用和消遣方式。随着云计算技术的日趋成熟,催生了降低终端配置,将终端移植到云端的系统架构模式,在这种模式下,原本用于运行高配置游戏的用户的终端设备将移植到云端服务器上,线下终端设备只需接收并显示游戏画面即可,也就是说,通过云游戏技术,用户端只需要通过安装客户端便可享受不同的游戏,不需要在客户端机器上安装游戏应用,实际的游戏运行存储在云端服务器中,用户可以通过任意的终端设备(如智能手机、平板电脑、智能可穿戴设备等)在任意的地点、任意的时间访问游戏,如此,降低了用户玩游戏的门槛;并且,用户客户端只需要捕捉用户操作的基本数据(如鼠标点击、键盘敲击、手柄按键等),便可以将用户操作信号通过网络连接传送到云端服务器,游戏服务器接受到用户操作信号后,重放用户操作,并渲染游戏效果;用户端只需要能够接收和解码视频码流即可,因而,极大地降低了用户端对于高端机器配置(中央处理器(Central ProcessingUnit,CPU)、高端显卡)的需求。
但在这样的背景下,在使用智能终端、与智能终端连接的外接设备,如手柄等进行云游戏体验时,常遇到外接设备的信号需传输至智能终端,智能终端处理后发送至云服务器,云服务器处理后渲染画面至智能终端供用户查看,整个过程的延迟过高,使得用户实际在体验过程中,按下手柄上的按键后得到的反馈将迟滞,即不具有“跟手感”,从而导致游戏体验大大下降。
因此,需要一种新型的基于云游戏场景下的控制系统,可降低自用户按下按键至反馈显示画面至用户的延迟,提高游戏体验。
发明内容
为了克服上述技术缺陷,本发明的目的在于提供一种基于云游戏场景的控制系统及方法,能够降低用户输入事件的延迟,从而提升整个云游戏的用户体验。
本发明公开了一种基于云游戏场景的控制系统,控制系统由云游戏服务器、智能终端及游戏手柄组成,
云游戏服务器包括处理模块、渲染模块及编码模块;
游戏手柄与云游戏服务器建立第一通信连接,智能终端与云游戏服务器建立第二通信连接;
游戏手柄向云游戏服务器发送操作指令信号,处理模块根据操作指令信号形成对存储于云游戏服务器内的游戏应用的更新控制信号,渲染模块基于更新控制信号调整游戏应用的声画数据,编码模块接收声画数据并编码,以形成编码数据;
智能终端接收编码数据并解码形成解码数据,并显示解码后的显示画面及声音。
优选地,游戏手柄由操作输入组件、处理芯片、壳体、电源及通信芯片组成;
壳体形成安装操作输入组件、处理芯片、电源及通信芯片的安装控件;
电源向处理芯片及通信芯片供电;
操作输入组件接收外部操作以发送操作信号至处理芯片;
处理芯片接收操作信号后形成操作指令信号,并发送操作指令信号至通信芯片;
通信芯片与云游戏服务器建立基于蜂窝网络、无线网络的第一通信连接,并向云游戏服务器发送操作指令信号。
优选地,操作输入组件包括:控制按键、传感器组件、生物识别组件中的一种或多种;
控制按键接收按压操作;
传感器组件检测游戏手柄的运动状态;
生物识别组件检测游戏手柄周边的肢体动作。
优选地,智能终端包括解码模块、麦克风模块及显示模块;
解码模块接收编码数据并解码形成解码数据,其中解码数据包括音频数据及画面数据;
麦克风模块接收音频数据并播放,显示模块接收画面数据并显示。
优选地,智能终端还包括控制模块,控制模块内设有状态单元及控制单元;
控制单元基于一第三通信连接自游戏手柄获取游戏手柄的识别号;
状态单元接收一激活指令或关闭指令,并将激活指令或关闭指令发送至控制单元;
基于激活指令,控制单元断开与游戏手柄的第三通信连接,并向云游戏服务器发送第一切换信号,第一切换信号包括一第一切换指令及识别号,云游戏服务器基于第一切换指令停止接收智能终端的操作指令信号,并验证通过游戏手柄发来的第一通信连接的连接请求;
基于关闭指令,控制单元向云游戏服务器发送第二切换信号,第二切换信号包括一第二切换指令,云游戏服务器基于第二切换指令断开第一通信连接,并恢复接收第二通信连接中智能终端的操作指令信号,且游戏手柄恢复与智能终端的第三通信连接,以接收游戏手柄发来的操作指令信号。
本发明还公开了一种基于云游戏场景的控制方法,包括以下步骤:
一游戏手柄与云游戏服务器建立第一通信连接,一智能终端与云游戏服务器建立第二通信连接;
游戏手柄向云游戏服务器发送操作指令信号;
云游戏服务器的处理模块根据操作指令信号形成对存储于云游戏服务器内的游戏应用的更新控制信号;
云游戏服务器的渲染模块基于更新控制信号调整游戏应用的声画数据;
云游戏服务器的编码模块接收声画数据并编码,以形成编码数据;
智能终端接收编码数据并解码形成解码数据,并显示解码后的显示画面及声音。
优选地,游戏手柄向云游戏服务器发送操作指令信号的步骤包括:
游戏手柄的操作输入组件接收外部操作,并发送操作信号至游戏手柄内的处理芯片;
处理芯片接收操作信号后形成操作指令信号,并发送操作指令信号至游戏手柄内的通信芯片;
通信芯片与云游戏服务器建立基于蜂窝网络、无线网络的第一通信连接,并向云游戏服务器发送操作指令信号。
优选地,一游戏手柄与云游戏服务器建立第一通信连接,一智能终端与云游戏服务器建立第二通信连接的步骤前还包括:
游戏手柄与智能终端建立基于蓝牙的第三通信连接;
智能终端的控制模块自游戏手柄获取游戏手柄的识别号;
智能终端接收一激活指令,智能终端断开与游戏手柄的第三通信连接,并向云游戏服务器发送第一切换信号,第一切换信号包括一第一切换指令及识别号;
云游戏服务器基于第一切换指令停止接收智能终端的操作指令信号;
游戏手柄向云游戏服务器发送一连接请求;
云游戏服务器验证通过游戏手柄发来的第一通信连接的连接请求。
优选地,智能终端接收一关闭指令,基于关闭指令,智能终端向云游戏服务器发送第二切换信号,第二切换信号包括一第二切换指令;
云游戏服务器基于第二切换指令断开第一通信连接,并恢复接收第二通信连接中智能终端的操作指令信号;
游戏手柄恢复与智能终端的第三通信连接,以向智能终端发送操作指令信号。
采用了上述技术方案后,与现有技术相比,具有以下有益效果:
1.游戏过程中游戏手柄与智能终端间无通信连接,控制指令将直接发送至云端服务器,可降低约10-20ms的网络延迟;
2.游戏手柄本身无需结构变化或重新开模,适配性强;
3.用户可根据自身需求在多模式间切换,体验更佳丰富。
附图说明
图1为符合本发明一优选实施例中基于云游戏场景的控制系统的结构示意图;
图2为符合本发明一实施例中基于云游戏场景的控制方法的流程示意图;
图3为符合本发明一优选实施例中基于云游戏场景的控制方法的流程示意图;
图4为符合本发明又一优选实施例中基于云游戏场景的控制方法的流程示意图。
具体实施方式
以下结合附图与具体实施例进一步阐述本发明的优点。
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本公开可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本公开范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在本发明的描述中,需要理解的是,术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明的描述中,除非另有规定和限定,需要说明的是,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是机械连接或电连接,也可以是两个元件内部的连通,可以是直接相连,也可以通过中间媒介间接相连,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身并没有特定的意义。因此,“模块”与“部件”可以混合地使用。
参阅图1,为符合本发明一实施例中基于云游戏场景的控制系统,在该实施例中控制系统由云游戏服务器、智能终端及游戏手柄组成,且不包括外设的其他设备。智能终端可以是智能手机、智能平板电脑、可穿戴设备、家用电视机顶盒等。用户需要体验的游戏类应用程序安装在云游戏服务器上,游戏类应用程序的数据、资料等均存储在云游戏服务器上,并由云游戏服务器运行处理。具体地,云游戏服务器内包括有处理模块、渲染模块及编码模块,处理模块识别所接收的控制指令,即了解用户的控制意图,渲染模块则将根据该控制意图调整之后将显示至智能终端上的游戏画面,即对游戏画面作相应的渲染以符合控制意图的指向,编码模块则再将渲染后的画面数据编制以符合智能终端可识别和读取的数据格式。
为降低云游戏服务器、智能终端与游戏手柄间的延迟,本实施例中的控制系统,游戏手柄与智能终端无网络连接或通信连接,优选地,在用户配置完毕游戏手柄、云游戏服务器、智能终端,并期望使用游戏手柄进行游戏操作时,游戏手柄与智能终端将不再有通信连接。具体地,游戏手柄与云游戏服务器建立第一通信连接,智能终端与云游戏服务器建立第二通信连接,且由于实际应用体验时,游戏手柄与智能终端无通信连接,因此在某些可实施的实施例中,智能终端内原用于与游戏手柄控制连接的单元,如蓝牙芯片、蓝牙天线等可取消安装。用户对游戏手柄的操作,如在游戏手柄上的按键进行单击、长按、双击、快速多击、摇动、点按等,都视为通过游戏手柄这一接收媒介,发送期望改变游戏内操作的信号,对于此类信号,游戏手柄将识别各类控制操作的区别,如针对的按钮的不同、点击的间隔的不同、点击的次数的不同等,形成对应于用户操作的各种操作指令信号。而通过该第一通信连接,游戏手柄向云游戏服务器发送操作指令信号,以告知云游戏服务器用户在当前时刻下对云游戏内游戏对象的操作调整,也即对云游戏内游戏数据的调整。云游戏服务器的输入模块(或网络模块等用于接收外部数据的相应模块)接收到上述操作指令信号后,将由处理模块根据操作指令信号转化为对应的更新控制信号,即对云游戏服务器内存储和运行的云游戏内的游戏对象作出调整的更新控制信号。基于处理模块的处理,渲染模块将根据更新控制信号的命令,以当前在智能终端显示的游戏画面为基础,作出匹配于更新控制信号的画面的渲染命令,从而调整游戏应用内的声画数据,即游戏应用的主要交互内容——声音数据和画面数据。更新后的声音数据和画面数据将被发送至编码模块,由编码模块接收并编码形成编码数据。至此,控制系统已作出响应于用户对游戏手柄操作的操作指令信号的游戏数据调整,智能终端将基于第二通信连接,如无线网络连接、蜂窝网络连接等接收云游戏服务器发送来的编码数据,解码后形成可识别和播放格式下的解码数据,并在屏幕上显示解码后的显示画面及声音,从而最终实现用户对游戏手柄的操作,并在智能终端上观察到匹配于操作的显示画面和音效。
举例来说,具体操作中,用户可手持游戏手柄,该游戏手柄可套设在智能终端外,与智能终端成型为一体,或与智能终端分离,将智能终端作为显示器使用。用户快速按下游戏手柄中的“X”键2次,即向游戏手柄发送“X”键被快速触发2次的操作指令,游戏手柄识别到上述操作指令后,形成了“X”键被快速触发2次的操作指令信号,并通过第一通信连接,直接发送至云游戏服务器,云游戏服务器的处理模块、渲染模块和编码模块根据当前运行的云游戏内所设置的对“X”键被触发2次的响应(该响应可存储在处理模块内,与云游戏对接),作出相应的渲染和编制,形成更新后的声画数据后,通过第二通信连接传输至智能终端以显示和播放。在用户侧,所观察到的是对游戏手柄的“X”键的快速点击2次,智能终端上显示的游戏画面内的游戏对象也作出了和用户期望的响应相同的画面。通过上述配置,在游戏手柄无需再将操作指令信号发送至智能终端下,可节省整个通信过程中游戏手柄与智能终端间的传输时间,如10-20ms等,在显示至用户的网络延迟数据上,和游戏操作的“跟手感”上,都将带来明显提升的用户体验。
一优选实施例中,游戏手柄由操作输入组件、处理芯片、壳体、电源及通信芯片组成。壳体内设有安装空间,可容置处理芯片、电源及通信芯片,操作输入组件与处理芯片电连接(通过电路板设计等)并部分露出于壳体,电源与处理芯片及通信芯片连接,向处理芯片和通信芯片供电,用户对操作输入组件的外部操作由操作输入组件接收后发送操作信号至处理芯片。处理芯片对操作信号的识别,将辨识用户对操作输入组件进行了何种操作,如单击、双击、快速连击等,辨识完毕后,将把操作所对应的信息融合至一操作指令信号内,发送至通信芯片,由通信芯片通过基于蜂窝网络或无线网络的第一通信连接发送至云游戏服务器。该实施例中,游戏手柄作为控制外设,其上不具有用于显示的相关模块,但具有用于通信的通信芯片,该通信芯片可以是wifi芯片、4G、5G芯片等,加装此类的模块可使得游戏手柄具有控制和通信的功能。且可以理解的是,作为游戏用户而言,对于游戏手柄的认知主要为游戏手柄具有接收游戏操作指令的理解,即便具有通信功能,也仅限于短距离地蓝牙连接,而本实施例中,开放性对游戏手柄配置了远程通信的功能,在脱离于游戏用户的认知上,给云游戏场景下的控制系统带来低延迟的效果。
进一步优选地,操作输入组件可包括控制按键、传感器组件、生物识别组件中的一种或多种。控制按键,如游戏手柄上的实体按键,接收用户所施加的按压操作,如点按、长按等。传感器组件检测游戏手柄的运动状态,传感器组件可包括内置在游戏手柄内的加速度计和陀螺仪等传感器,这些传感器在用户使用游戏手柄体验体感游戏时候,可检测游戏手柄的移动情况,从而将游戏手柄的运动状态数据通过通信芯片传给云服务器。生物识别组件,如安装在游戏手柄上的摄像头或是802.11ay芯片等,用于低延迟行动游戏(MobileGaming)体验、新Wi-Fi感测体验(如手势和脸部等辨识)等,在用户对游戏体验时,检测用户在游戏手柄周边的肢体动作,如单手的手势、双手的手势、四肢的动作等。
一优选或可选实施例中,智能终端包括解码模块、麦克风模块及显示模块。解码模块可集成在智能终端的处理芯片内,其接收编码数据并解码形成解码数据,解码数据包括音频数据及画面数据;麦克风模块接收音频数据并播放,显示模块接收所述画面数据并显示。可以理解的是,在云游戏服务器上对声音数据和画面数据编码时,可采用通用的编码方案,或智能终端可解码格式下的编码方案,以避免智能终端无法读取编码后的声画数据的问题发生。
进一步地优选地,游戏手柄可直接与云游戏服务器所建立的第一通信连接,可根据用户需求启动或关闭。具体地,智能终端控制模块,控制模块内设有状态单元及控制单元。在为启动游戏功能,或还未向云游戏服务器获取云游戏的相关数据前,智能终端的控制单元将基于一第三通信连接,如蓝牙连接,与游戏手柄连接(如打开智能终端的蓝牙功能并与游戏手柄适配),后自游戏手柄获取游戏手柄的识别号。在此状态下,智能终端与游戏手柄呈连接状态,用户可使用游戏手柄体验安装在智能终端内的游戏应用。当用户需要体验云游戏时,可操作智能终端与云游戏服务器连接并发出获取云游戏数据的指令,并向智能终端发出一切换信号,包括如激活指令或关闭指令,由状态单元转发至控制单元。激活指令指向于利用游戏手柄体验云游戏的用户意向。
基于该激活指令,控制单元将断开与游戏手柄的第三通信连接,并向云游戏服务器发送第一切换信号,第一切换信号包括一第一切换指令及识别号,也就是说,告知云游戏服务器操作指令信号的来源将由自身改变为具有该识别号的其他装置,云游戏服务器基于第一切换指令停止接收智能终端的操作指令信号。当游戏手柄通过第一通信连接向云游戏服务器发送通信连接请求时,云游戏服务器将验证发出该通信连接请求的游戏手柄的识别号是否与智能终端发来的识别号比配,当且仅当匹配时,通过游戏手柄发来的第一通信连接的连接请求,从而安全建立第一通信连接。在第一通信连接的基础上,用户对游戏手柄的操作将全部被云游戏服务器接收,而用户对智能终端的操作将被封闭在智能终端侧,不会发送至云游戏服务器上,云游戏服务器也不会接收此类的信号。
当用户不再需要体验云游戏时,可操作智能终端向其输入关闭操作,基于关闭操作将形成关闭指令。基于该关闭指令,控制单元向云游戏服务器发送第二切换信号,第二切换信号包括一第二切换指令,云游戏服务器基于第二切换指令断开第一通信连接,并恢复接收第二通信连接中智能终端的操作指令信号,且游戏手柄恢复与智能终端的第三通信连接,以接收游戏手柄发来的操作指令信号。可以理解的是,对于关闭指令的发送,可具有特殊权限,从而方便云游戏服务器对智能终端发来的信号的识别,认知哪些信号可接收,哪些信号不可接收。此外,该关闭指令,也可由游戏手柄形成。具体地,游戏手柄上设有一开关按键,当用户不在需要体验云游戏时,可触发该按键,游戏手柄基于该按键的触发情况,向云游戏服务器发送断开信号,主动切断第一通信连接。在第一通信连接已断开的情况下,云游戏服务器可配置为才会接收智能终端在其后再次发来的重连请求,即重新建立第二通信连接。
参阅图2,为符合本发明一优选实施例中基于云游戏场景的控制方法流程示意图,该控制方法包括以下步骤:一游戏手柄与云游戏服务器建立第一通信连接,一智能终端与云游戏服务器建立第二通信连接;游戏手柄向云游戏服务器发送操作指令信号;云游戏服务器的处理模块根据操作指令信号形成对存储于云游戏服务器内的游戏应用的更新控制信号;云游戏服务器的渲染模块基于更新控制信号调整游戏应用的声画数据;云游戏服务器的编码模块接收声画数据并编码,以形成编码数据;智能终端接收编码数据并解码形成解码数据,并显示解码后的显示画面及声音。
优选或可选地,游戏手柄向云游戏服务器发送操作指令信号的步骤包括:游戏手柄的操作输入组件接收外部操作,并发送操作信号至游戏手柄内的处理芯片;处理芯片接收操作信号后形成操作指令信号,并发送操作指令信号至游戏手柄内的通信芯片;通信芯片与云游戏服务器建立基于蜂窝网络、无线网络的第一通信连接,并向云游戏服务器发送操作指令信号。
参阅图3,一进一步优选实施例中,一游戏手柄与云游戏服务器建立第一通信连接,一智能终端与云游戏服务器建立第二通信连接的步骤前还包括:游戏手柄与智能终端建立基于蓝牙的第三通信连接;智能终端的控制模块自游戏手柄获取游戏手柄的识别号;智能终端接收一激活指令,智能终端断开与游戏手柄的第三通信连接,并向云游戏服务器发送第一切换信号,第一切换信号包括一第一切换指令及识别号;云游戏服务器基于第一切换指令停止接收智能终端的操作指令信号;游戏手柄向云游戏服务器发送一连接请求;云游戏服务器验证通过游戏手柄发来的第一通信连接的连接请求。
参阅图4,一进一步优选实施例中,控制方法还包括以下步骤:智能终端接收一关闭指令,基于关闭指令,智能终端向云游戏服务器发送第二切换信号,第二切换信号包括一第二切换指令;云游戏服务器基于第二切换指令断开第一通信连接,并恢复接收第二通信连接中智能终端的操作指令信号;游戏手柄恢复与智能终端的第三通信连接,以向智能终端发送操作指令信号。
智能终端可以以各种形式来实施。例如,本发明中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置等等的智能终端以及诸如数字TV、台式计算机等等的固定终端。下面,假设终端是智能终端。然而,本领域技术人员将理解的是,除了特别用于移动目的的元件之外,根据本发明的实施方式的构造也能够应用于固定类型的终端。
应当注意的是,本发明的实施例有较佳的实施性,且并非对本发明作任何形式的限制,任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有效实施例,但凡未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何修改或等同变化及修饰,均仍属于本发明技术方案的范围内。