CN105451828A - 用于物理疗法以及复健的影像游戏的报告系统 - Google Patents

Abstract

一种运动复健系统，包括：一运动传感器，包括一动作感应摄像机；以及一计算机装置，包括：(a)一通信模块；(b)一非瞬时内存，包括一组复健姿势存储值，各存储值定义若干个理论身体关节之间随时间序列的空间关系，其中每一时间序列包括：初始空间关系、中间姿势空间关系及最终空间关系；以及(c)一硬件处理器配置以：(i)连续接收来自于所述动作感应摄像机所记录的随时间序列的图框，其中每一图框包括病人若干个身体关节的每一个的三维位置，(ii)实时将所记录的随时间序列的图框与随时间序列的空间关系比较，以侦测病人执行的复健姿势，(iii)侦测所述病人执行的复健姿势与该组复健姿势存储值中相对应的一个的差异，(iv)登录关于所述差异与所述病人执行的复健姿势的数据，(v)通过所述通信模块传送所述数据给一治疗师并提供一报告给所述治疗师。

Description

用于物理疗法以及复健的影像游戏的报告系统

技术领域

本发明涉及一种用于物理疗法以及复健的影像游戏的报告系统。

背景技术

生理功能的衰退常常与年龄有关的整体健康的伤害相关连，或是伤害或疾病的结果。这样的衰退也会导致自信、社交互动及社区参与的衰退。肢体残疾人士常常在控制马达、移动强度及范围中经历限制。这些缺陷会严重地限制他们执行日常工作的能力，例如独立地穿衣、梳头发、以及洗澡。此外，这些缺陷以及疼痛会降低社区及休闲活动的参与，甚至会负面地影响工作。

参与并遵守通常包括重复训练的物理治疗是复健过程中必要的部分，其目标在于协助肢体残疾人士克服他们经历的限制。然而，一直在争论的问题是大部分肢体残疾人士并未完成建议的训练。人们常常表示阻碍他们正常地训练是缺乏动机。此外，在一个治疗期间，训练的数量常常是不够的。在复健期间，治疗师通常会亲自提供身体协助并监督每个学生的动作是否达到一特定标准。因此，治疗师一次只能复健一位病人，或顶多一小群人。病人常常缺少热情去参与沉闷的复健过程，导致持续的肌肉萎缩及缺乏肌肉耐力。

而且，众所周知，成人且尤其是小孩对于重复相同的动作会感到厌烦，这对于成人或小孩在创伤后的复健期间必须训练特定肌肉是有问题的，举例来说，当某人折断他或她的手臂后，需要典型的特殊训练，让这些重复工作变得有趣是很困难的。现有在复健期间协助人们的方法包括利用游戏鼓励人们，特别是小孩多做训练。

因此，利用技巧使重复的身体训练更有趣对于病人在家执行复健的物理治疗是有利的，使用影像游戏技术已经开始被探索来作为商业上可用的工具，藉此传送训练及复健程序到病人本身家中。

Basson等人的美国专利号6,712,692揭露一种收集关于一人(其可以为成人或小孩)活动信息的方法，所述信息映像到一或多个游戏控制器指令，游戏控制器指令耦接至一影像游戏，且该游戏在被正常操作时响应所述游戏控制器指令。

Latta等人的美国专利号7,996,793揭露姿势识别器系统架构的系统、方法及计算机可读取媒体。提供识别器引擎，其接收用户动作数据并提供所述数据给若干个滤波器，一个滤波器对应至一个姿势，其可以被接收来自于姿势识别器的信息的应用程序调整，使得所述姿势的特定参数，例如投掷姿势的手臂加速度可以被设定在每一应用程序级上，或在单一应用程序中的多次。每一个滤波器可将对应姿势发生的可信程度及更多关于用户活动数据的细节输出至一使用其之应用程序。

Shavit等人的美国专利公开号2012/0190505A1揭露一种监控日常身体训练表现的系统，其包括一让用户执行日常身体训练的普拉提训练装置；若干个用于产生至少包括用户执行日常身体训练的位置及活动的感测信息的活动及位置传感器；一包含代表至少一日常身体训练最佳执行的数据库；一训练模块配置为从感测信息分离的至少所述普拉提训练装置的外观、比对所述分离的感测信息及日常信息以侦测所述分离的感测信息及所述日常信息的差异，其中所述差异表示所述日常身体训练的错误执行，所述训练模块进一步配置为将用户日常身体训练的正确执行回馈给所述用户；以及一显示器用于显示所述回馈。

Smith等人(2012)揭露主影像游戏平台系统(任天堂Wii^TM,索尼及微软)的概况，并讨论某些已经用于年长者的功能能力的复健、评估及训练的情况。具体来说，严重影响年长者功能独立性的两个问题是源自于中风及跌倒的受伤和残疾。请参见S.T.Smith、D.Schoene，年长者身体功能的训练及复健的以影像为基础的影像游戏的使用，AgingHealth,2012；8(3):243-252。

Ganesean等人(2012)揭露一计划，其目的在于找出在激励年长者维持日常身体训练与医师建议却难以维持的习惯中，扮演重要角色的因素。初始数据收集包括与老化及物理治疗专家以及具有年长者训练及技术主题的专门小组的访问。基于这些资料，早期用于协助鼓励年长者训练的微软Kinect原型游戏已经实现，所述Kinect应用程序已经过基本可用性的测试且被证实是大有可为的，下一步包括年长者的游戏测试、对游戏进行迭代发展以增加动机特征、以及游戏成功鼓励年长者维持训练养生之道的评估。请参见S.Ganesan,L.Anthony，使用Kinect鼓励年长者进行：原型，ExtendedAbstractsoftheACMConferenceonHumanFactorsinComputingSystems(CHI’2012),Austin,TX,5May2012,p.2297-2302。

Lange等人(2011)揭露商业影像游戏作为复健工具的使用，例如任天堂WiiFit近来已经在物理治疗领域引起兴趣。活动追踪控制器，例如任天堂Wiimote并不能足以精确地感测所有平衡组件的表现。此外，用户可以想出如何透过执行最小活动来“欺骗”不精确的追踪器(例如用手腕转动Wiimote而不是用完整手臂挥动)。身体复健需要对表现有精确且合适的追踪及回馈。为此目的，利用最近进步的商业影像游戏技术来提供动画虚拟角色的全身控制的应用程序已被发展，所述方法的关键因素是最新可用的低成本深度感测摄像机技术，其在个人计算机上提供无标记的全身追踪，研究的目标在于发展及评定迭代的以影像为基础的复健工具来平衡神经损伤的成人的训练。请参见B.Lange,C.Y.Chang,E.Suma,B.Newman,A.S.Rizzo,M.Bolas，使用微软Kinect传感器的低成本以影像为基础的平衡复健工具的发展与评估，33rdAnnualInternationalConferenceoftheIEEEEMBS,2011。

不同于“一般”游戏，手势与姿势的精确性对于为了物理治疗与复健目的而使用影像游戏的病人，且对于执行训练的正确方式是很重要的。

Shen(2012)揭露一种自然用户接口来控制可视化工具-使用微软Kinect的“视觉分子动力学”，其介绍人机互动、图像处理、模式识别及计算器视觉的相关背景。原始算法是针对计算手形的手指数而设计，其取决于深度影像的二值化及形态学二值化处理。贝叶斯分类器是针对手势识别任务所设计及实施。请参阅ChenShen，使用微软Kinect控制的视觉分子动力学，爱丁堡大学，2012。

Lopez(2012)讨论使用人类行为分析技术的人类手势识别的问题。具体而言，他将提出的方法应用于医疗保健和社会应用中。在这些环境中，手势通常是以自然的方式进行的，在属于他们的人类姿势之间产生高度变异性。此事实使得人类手势识别成为一个非常具有挑战性的任务，以及人类行为分析的发展的一般化。为了解决人类手势识别的完整框架，他将过程分裂在三个主要目标：计算多模式特征空间、手势的概率模型、以及子手势表示的人类姿势的聚集。每一个目标中隐含地包括不同的挑战问题，其相互关联且面临的三个方法：视觉和深度、以概率为基础的动态时间规整、以及子手势表示。每一个方法已进行了详细说明。他已经在不同的公共和设计的数据集验证了所呈现的方法，表现出高性能和使用我们方法用于真实人类行为分析系统和应用的可行性。最后，他总结了目前在发展中不同的相关应用，以及研究的结论和未来趋势。请参阅VictorPonceLopez，结合动态程序及概率方法的多模式人类手势识别，MasterofScienceThesis,Barcelona,2012。

如上所述，因为物理治疗及复健影像游戏具有增进病人的特定目的，所以通过监控他或她的动作并将报告给治疗师来管理病人发展也有很大的影响。

上述相关技术和与其相关的限制的目的是例示性的而不是唯一的，本领域的技术人员在阅读说明书及研究图示后将会明白相关技术的其他限制。

发明内容

下列实施例及其各方面是结合系统、工具和方法来描述和说明，其意为示范性和说明性的而非限制范围。

根据一实施例，提供一种运动复健系统，包括：一运动传感器，包括一动作感应摄像机；以及一计算机装置，包括：(a)一通信模块；(b)一非瞬时内存，包括一组复健姿势存储值，各存储值定义若干个理论身体关节之间随时间序列的空间关系，其中每一时间序列包括：初始空间关系、中间姿势空间关系及最终空间关系；以及(c)一硬件处理器配置以：(i)连续接收来自于所述动作感应摄像机所记录的随时间序列的图框，其中每一图框包括病人若干个身体关节的每一个的三维位置，(ii)实时将所记录的随时间序列的图框与随时间序列的空间关系比较，以侦测病人执行的复健姿势，(iii)侦测所述病人执行的复健姿势与该组复健姿势存储值中相对应的一个的差异，(iv)登录关于所述差异与所述病人执行的复健姿势的数据，(v)通过所述通信模块传送所述数据给一治疗师并提供一报告给所述治疗师。

根据一实施例，进一步提供一种运动复健系统中差异侦测的方法，所述方法包括：提供一运动传感器，其包括一动作感应摄像机；提供一计算机装置，其包括：(a)一通信模块；(b)一非瞬时内存，包括一组复健姿势存储值，各存储值定义若干个理论身体关节之间随时间序列的空间关系，其中每一时间序列包括：初始空间关系、中间姿势空间关系及最终空间关系；以及(c)一硬件处理器；以及使用所述硬件处理器以：(i)连续接收来自于所述动作感应摄像机所记录的随时间序列的图框，其中每一图框包括病人若干个身体关节的每一个的三维位置，(ii)实时将所记录的随时间序列的图框与随时间序列的空间关系比较，以侦测病人执行的复健姿势，(iii)侦测所述病人执行的复健姿势与该组复健姿势存储值中相对应的一个的差异，(iv)登录关于所述差异与所述病人执行的复健姿势的数据，(v)通过所述通信模块传送所述数据给一治疗师并提供一报告给所述治疗师。

在一些实施例中，所述硬件处理器进一步配置以通过所述通信模块传送一警报给所述治疗师。

在一些实施例中，所述硬件处理器进一步配置以使所述病人通过所述通信模块发起报告给所述治疗师。

在一些实施例中，所述报告及所述警报通过一专用网站提供给所述治疗师。

在一些实施例中，所述报告及所述警报通过一移动装置提供给所述治疗师。

在一些实施例中，所述警报包括一声音指示。

在一些实施例中，所述警报包括一视觉指示。

在一些实施例中，所述警报来自于所述病人的突然跌倒。

在一些实施例中，所述警报来自于治疗计划不适合所述病人的能力。

在一些实施例中，所述警报来自于所述病人遭受不熟悉的残疾。

在一些实施例中，所述报告包括所述病人正确及不正确执行的训练的部分，以及不正确执行训练的原因。

除了上面描述的示例性实施例，更多方面和实施例将随着以下详细说明研究及图示更加清楚。

附图说明

图1显示根据一些实施例的用于复健治疗的系统框图；

图2显示根据一些实施例的总结一特定病人的信息给治疗师的专用网站页面的例子；

图3显示根据一些实施例的由治疗师使用建立一特定病人的治疗计划的例子；

图4显示根据一些实施例的用于深度识别的结构化的光方法的说明；

图5显示根据一些实施例的用于确定像素深度的三角计算的顶部视图的二维图；

图6显示根据一些实施例的人体主要部件和关节的说明；

图7显示根据一些实施例的影像游戏级别屏幕截图的例子；

图8显示根据一些实施例的影像游戏级别屏幕截图的另一个例子；

图9显示根据一些实施例的右弓步训练监控的说明；

图10显示根据一些实施例的右摆训练监控的例子；

图11显示根据一些实施例的双脚跳跃训练监测的例子；

图12显示根据一些实施例的左腿跳跃运动监控的例子；

图13显示根据一些实施例的手势侦测方法的框图；

图14显示根据一些实施例的系统内报告病人活动的框图；以及

图15显示根据一些实施例的报告处理的流程图。

具体实施方式

于此揭露一种在运动复健系统中的差异侦测和警报显示的系统和方法。

通常，需要复健治疗的人，例如遭受身体损害和需要物理治疗处理的事故受害者、罹患退化疾病的老年人、患有身体限制的脑性瘫痪的孩童等，到一个复健中心，遇到一个对他们指示治疗计划的治疗师，并在复健中心和/或家中执行所述计划。在许多情况中，所述治疗计划包括具有或没有治疗师监督的反复执行的身体训练。所述计划通常在多次约会中进行，每一个约会中，治疗师可以监测病人的进展并提高训练的难度。这种传统的方法有几个缺点：至少计划的一部分需要病人到复健中心，对于某些人可能是浪费时间且很困难的(例如老年人、小孩子等)，且往往涉及重复和枯燥的活动，可能导致缺乏动机而放弃计划，并可能会限制治疗师处理相当少量数目的患者。

因此，允许在病人的家以影像游戏的形式执行治疗计划，治疗师和病人之间容易沟通计划指示及进展监控，对于治疗师和病人是有利的。此外，结合上述优势，同时提供病人特定的影像游戏，而不是一般的视频游戏，也有很大的意义。

尽管如此，为了使用影像游戏达成高效率的治疗，训练需要注意动作精确性、执行期间等的执行。目前，许多利用活动识别装置的一般互动的影像游戏并不考虑这样的参数，主要是因为一般互动的影像游戏不需要这样的精确性。

此外，在复健过程中，为了达到复健的目的而不会伤害病人所提供的反馈给训练执行错误的病人及提供正确动作的建议是很重要的。因此，提供反馈及建议给病人也是有优点的。

词汇表

影像游戏：由玩家玩的一种游戏，其中对于玩家的主要接口是使用例如屏幕显示的视觉内容。影像游戏可以通过例如个人计算机(PC)或专用的游戏机平台执行，其可以连接到例如电视屏幕的输出显示器，以及例如手持控制器、运动识别装置等的输入控制器。

影像游戏的级别：影像游戏中的限制部分，具有被定义的开始和结束。通常，影像游戏包括多个级别，每个级别可以涉及一个较高难度的级别，需要玩家更多的努力。

影像游戏控制器：玩家所使用与个人计算机或游戏平台进行互动的用户接口(UI)的硬件部分。

运动传感器：一种允许用户通过识别用户的身体运动来与个人计算机或游戏平台进行互动的影像游戏控制器。例如包括由用户的身体移动的手持式传感器是装置在身上的传感器、侦测用户运动的摄像机等。

运动识别装置：一种运动传感器，是一种用于远程感测玩家运动的电子设备，并将其转换成可输入到游戏控制面板且被影像游戏使用的信号，藉此对玩家运动作出反应，形成互动游戏。

运动识别游戏系统：包括个人计算机或游戏控制台和运动识别装置的系统。

影像游戏互动：用户对影像游戏指示他或她希望在游戏中希望做的事，例如，鼠标互动、控制器互动、触碰互动，近距离摄像机互动或长距离摄像机互动。

姿势：玩家一或多个身体部位的身体运动，可以被运动识别装置识别。

训练：为了特定复健目的所做的特定类型的身体活动。训练可以由一个或多个姿势组成。例如，称为“弓步”的训练是指一条腿突然向前移动，可以用来加强四头肌，称为“撑脚”的训练可以用来提高稳定性等等。

重复(也就是“实例”)：特定训练的表现。举例来说，重复的撑脚训练包括开始时将一条腿抬在空中的姿势，将腿抬在空中一段特定的时间，并将腿放回地面的姿势。

中场休息：两个连续重复动作之间的一段时间，这段期间玩家可以休息。

一个合适的运动识别装置的例子是微软公司的Kinect，其为用于Xbox360影像游戏控制面板和Windows的个人计算机的动作感应摄像机。基于Xbox360影像游戏控制面板围绕的网络摄像机外加周边装置，Kincet可以让用户通过动态UI控制Xbox360并和其互动，通过使用身体姿势的自然用户界面而无需触摸游戏控制器。

本系统和方法也适用于其他的游戏控制台，例如索尼的PlayStation，任天堂Wii等，运动识别装置可以是这些或其他游戏控制台的标准装置。

除非特别说明，说明书中所讨论使用的词语如“处理”、“计算”、“确定”等指的是电子计算机系统或类似的电子计算机装置的动作和/或处理，电子计算机系统或类似的电子计算机装置操作和/或将电子计算机系统的缓存器和/或内存中以物理表示例如电子、量的数据转换为电子计算机系统的内存、缓存器等之中其他以物理量表示的数据。

举例来说，部分实施例可以使用计算机可读取介质或可以存储指令或一组指令的物质来实现，如果通过计算机执行(例如，通过硬件处理器和/或其他合适的机器)，可使计算机执行本发明实施例的方法和/或操作。例如，这样的计算机可以包括任何合适的处理平台、计算平台、计算机装置、处理装置、计算系统、处理系统、计算机、处理器、游戏控制台等，并且可以使用任何合适的硬件和/或软件组合来实现。计算机可读取介质或物质例如可以包括任何类型的磁盘包括软盘、光盘、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、闪存、电可编程只读存储器(EPROM)，电可擦除可编程只读存储器(EEPROM)，磁性或光学卡，或任何其他类型适合存储电子指令的媒体，并能够被连接到计算机系统总线。

指令可以包括任何类型的码，例如源代码、编译后的代码、解释代码、可执行代码、静态代码、动态代码或相类似的，且可以使用任何合适的高阶、低阶、面向对象、可视化、编译和/或解释型编程语言，例如C、C++、C#、Java、BASIC、Pascal、Fortran、Cobol、汇编语言、机器代码等。

本系统和方法可以随着参考图示有更好地理解。参阅图1，其显示用于复健治疗的系统框图。治疗师102可以登录到专用网站104、与病人100沟通、指示治疗计划(也被称为“处方”或“疗法计划”)、并监测病人的进展。网站104可以接收指示的计划并将其存储在专用数据库106。治疗计划可以自动转换成一影像游戏级别。当病人100激活他或她的影像游戏，新级别或产生新级别的指令可以下载到他或她的游戏控制台108，他或她可以玩这个新级别。由于游戏可以是互动的，运动识别装置可以监控病人的动作以存储病人的结果和进展，或在游戏过程中例如以得分积累的形式提供实时反馈。结果接着可以被发送到数据库106以供存储，并可供治疗师102在网站104上查看，用于监控病人100的进展，并为病人100接受反馈。

参阅图2，其显示总结一特定病人的信息给治疗师的专用网站页面的例子。该页面可显示病人简介、预约史、诊断、其他治疗师评论历史等的摘要。

参阅图3，其显示由治疗师使用建立一特定病人的治疗计划的例子。治疗师可以输入所需的训练、重复次数、难度级别等。由于运动识别装置的使用对于本方法是很重要的，对市售的运动识别装置(Kinect)的工作原理及其对本方法的用处将于以下描述。

参阅图4，其显示用于深度识别的结构化的光方法的说明。一投影仪可用于投影已知的条纹状的光图形的场景。被投影的物体可以使光图形与其形状等效地被扭曲。安装在与投影仪具有一已知距离的摄像机可以捕捉从物体反射出来的光，并感测在光图形中形成的扭曲以及图像中每个像素的反射光的角度。

参阅图5，其显示用于确定像素深度的三角计算的顶部视图的二维图。该摄像机可以距离光源(b)一已知距离之处。P是被投影物体上待计算坐标的一个点。根据正弦定理：

$\frac{d}{sin\mathrm{\α}}=\frac{b}{sin\mathrm{\γ}}$ 产生 $\→d=\frac{b\·\sin \mathrm{\α}}{sin\mathrm{\γ}}=\frac{b\·\mathrm{\α}}{sin\mathrm{\π}-\mathrm{\α}-\mathrm{\β}}=\frac{b\·\mathrm{\α}}{sin\mathrm{\α}+{\mathrm{\β}}^{\′}}$

P的坐标由(dcosβ,dsinβ)而得。由于α和b是已知的且β由投影几何定义，可以解出P的坐标。以上的计算为简单起见是用于二维，但实际的装置可以实际地计算每个像素坐标的三维解法，藉此形成可用来识别人类运动的完整深度影像的场景。

参阅图6，其显示人体主要部位和关节的说明。通过识别病人身体部位和关节运动，所讨论的方法可以分析病人的姿势和响应游戏所需的行动，藉此产生直接的反馈给病人，并存储以供治疗师未来分析。

参阅图7，其显示影像游戏级别屏幕截图的例子。这特定级别的设计可以包括蹲下、弓步、踢腿、摆腿等，病人可以看到一角色700实时进行他的动作。角色700可以站在移动的车辆702上，当病人在进行蹲下时可以加速，并且当病人在进行弓步时可以减速。一些落脚点704可以显示在车辆702平台上且可以动态地显示，以指导病人在进行蹲下、弓步、踢腿、摆腿等时将脚放在正确的位置，右转装置706a和左转装置706b可以显示在车辆702的右侧及左侧，当病人进行摆腿训练时形成视觉反馈。

参阅图8，其显示影像游戏级别屏幕截图的另一个例子。这特定级别的设计可以包括髋关节屈曲，撑脚及跳跃等，病人可以看到一个角色800实时进行他的动作。角色800可以在具有障碍804的轨道802上前进。病人需要进行诸如髋关节屈曲、腿部跳跃等动作，以避免障碍和/或聚集的物体。

关节相互关系计算

参阅图9，其显示右弓步训练监控的说明。用弓步初始姿势900的病人可以做弓步训练，其可以用弓步最终姿势结束。病人的运动可以由运动识别装置对其捕捉的每个图框，通过三维空间(即x、y、z坐标)中若干个身体关节的位置取样来作监控。接着可以用图框率为每秒20、30、40或更多图框将一系列的图框传送到一计算机装置，例如游戏控制台906。

游戏控制台906可以包括一处理器908和一组存储值910，以便计算并将病人的运动转换成区分的姿势和手势。处理器908可以将每幅捕捉的图框的三维空间(即x、y、z坐标)中，身体关节的位置转换为身体的四肢和/或关节的空间关系(即四肢和/或关节之间的距离，和/或由四肢和/或关节之间暂时形成的向量的角度)。计算结果接着可以与该组存储值910进行比较，这些值可以定义对于特定训练在任何阶段的适当执行(包括训练的开始与结束)，所需的身体四肢和/或关节之间的空间关系(即四肢和/或关节之间的距离，和/或由四肢和/或关节之间形成的向量的角度的所需范围)。

此外，该组存储值910也可存储在不同阶段中，适当执行训练所需的空间关系之间的过渡时间的范围值。于一描绘的例子中，对于弓步适当的执行需要一定的初始姿势900。处理器908可以通过以下方式计算出右髋关节912、右膝盖914和右脚踝916之间的空间距离和/或角度：右髋关节912和右膝914之间的向量可以通过减去它们的空间位置来计算。类似地，可以计算右膝盖914和右脚踝916之间的向量。最后，这些向量之间的空间角度可以被计算，以验证这些关节可以大致对齐一条线(即病人右腿大致是直的)。类似地，左髋关节918、左膝盖920和左脚踝922也需要大致对齐一条线(即病人左腿大致是直的)。右脚踝916和左脚踝922在它们之间一特定距离需要大致相同的高度。最后，右膝盖914和左膝盖920在它们之间一特定距离需要对齐(即没有一个应该向前)。

也需要一个最终姿势902，处理器908可以通过下列方式计算出右髋关节912和右膝盖914之间的空间距离和/或角度：右髋关节912和右膝盖914之间的向量可以通过减去它们的空间位置来计算，这个向量需要与地面平行，举例来说，XZ平面，其Y值等于零。类似地，可以计算右膝盖914和右脚踝916之间的向量，这个向量需要与地面垂直。最后，这些向量之间的空间角度可以被计算，以验证它们之间可以形成一个90°±10°的夹角(即患者右胫骨相对于右髋弯曲90°±10°)。类似地，左髋关节918和左膝盖920的向量需要与地面垂直。最后，右膝盖914和左膝盖920需要在一定的距离内(即病人的膝盖不向内或向外)。应该注意的是，当在最终姿势902，从运动识别装置904来看，左脚踝922可能被左膝盖920和/或左髋关节隐藏。在这种情况下，运动识别装置904可以误转或不转左脚踝922(如在地板下)的位置。本系统可以侦测到这种情况并可以作出假设以根据左膝盖920位置修正被隐藏的左脚踝922位置。在这种情况下，本系统的另一个选择可以是在所有的计算中不管左脚踝922。

类似地，在初始和最终姿势之间的中间姿势可以被定义。它们的参数可以被存储在该组存储值910中，并且可以由处理器908计算和比较。计算可取决于运动性质，在每个病人被捕捉的图框中进行。

对于训练的适当表现，需要从初始姿势900到最终姿势902的特定时间、中间姿势的转换时间、以及维持最终姿势902的时间。处理器908可以计算这些时间值并将它们与该组存储值910比较。

后姿态计算

参阅图10，其显示右摆训练监控的例子。右摆初始姿势1000的病人可以执行一个右摆训练，这可能在同一姿势1000结束(即在这项训练中的初始和最终姿势可能是相同的)。在这种训练中，处理器908可以进行后处理。换句话说，尽管病人运动可以通过运动识别装置来监控904，且一系列的图框可以实时被传送到游戏控制台906，但是只有当训练的最终姿态势定后，处理器908才可以计算病人运动的空间距离，并将其与该组存储值910比较。在所描绘的例子中，对于右摆的适当表现，需要一个特定的初始姿势1000。初始姿势1000要求的计算类似于初始姿势900的计算，已在前一个例子中描述(右弓步训练)。如前所述，作为最终的姿势可能是相同于初始姿势1000，因此有相同的要求。在右摆训练中，病人需要用他或她的右脚踝916执行圆圈状运动。假想圆可以有一个高点1002，其中右脚踝916在Z轴上最接近运动识别装置904、一个低点1004，其中右脚踝916在Z轴上最远离运动识别装置904、和一个侧点1006，其中右脚踝916在X轴上是最远离病人身体。这些点需要在一个特定的时间序列：高点1002需要出现在侧点1006之前，侧点1006需要出现在低点1004之前。高点1002和低点1006在Z轴上的距离(也称为运动高度)需要在一定范围内。侧点1006和相对侧点之间在X轴上的距离(也称为运动宽度)需要在一定范围内。高度和宽度之间的差异需要在一定范围内(即摆动运动是够圆的)。侧点1006和相对侧点的Z轴值被要求是相似的，且这区段和运动宽度之间的差异需要在一定范围内。类似于侧点1006和支撑的左脚踝922的Y轴值(即病人在训练期间右腿没有接触地板)，侧点1006和高点1002的Y轴值需要有足够的差异。对于训练的适当表现，是病人的腿需要是直的，且病人的肩膀1008和1010不能向两侧倾斜。

对于训练的适当表现，从初始姿势1000到最终姿势1000的时间需要一定时间。处理器908可以计算这些时间值，并将它们与该组存储值910比较。

节点时间关系计算

参阅图11，其显示双脚跳跃训练监测的例子。在这种训练中，病人关节之间的空间关系在训练过程中是保持相似的。换句话说，一特定关节相对于一个或多个其他关节可能没有太多的运动。因此，在这些情况下，如果进行正确的训练，利用可靠的方法计算可以找到一特定关节位置及相同关节位置在不同时间的空间关系，即在特定关节的当前位置和之前位置之间找到差异。在双脚跳跃的例子，右髋和左髋(918和912)与右脚踝和左脚踝(922和916)可以被监控，因为它们的位置在训练时有显着差异，特别是在Y轴上。如果一个令人满意的之前的初始姿态被达成，这些关节向上的倾向可以被监测，这些关节的Y轴值和它们的初始Y轴值之间的差异需要在一定范围内，直到超过一定的阈值才确定是跳跃。当向下的倾向被确认，可以找到最终姿势的条件。双脚跳跃以一个在落地后立即的最终姿势结束。右脚踝和左脚踝(922和916)的Z轴及Y轴值需要是相似的。

综合计算

参阅图12，其显示左腿跳跃运动监控的例子。左腿跳跃初始姿势1200的病人可以执行左腿跳跃训练，这可能在同一姿势1200結束(即在这项訓練中的初始和最终姿势可能是相同的)。初始(和最终)姿势1200实际上是一个左腿站姿。如前所述，当最终姿势与初始姿势1200相同时，它们具有相同的要求。在单(右或左)腿跳跃的情况下，如果右髋和左髋(912和918)、右膝盖和左膝盖(914和920)、和右脚踝和左脚踝(916和922)中的一个或多个关节无法被运动识别装置904所识别，不会执行其它计算，以避免错误的姿势识别。执行跳跃时，计算可以考虑到与前面的例子(双腿跳跃训练)类似的注意事项，换句话说，可以监控左髋918和左脚踝922，因为它们的位置在训练过程中有显着的差异，特别是在Y轴。如果一个令人满意的初始姿态1200被达成，这些关节向上的倾向可以被监控，这些关节的Y轴值和它们的初始Y轴值之间的差异需要在一定范围内，直到超过一定的阈值才确定是跳跃。当向下的倾向被确认，可以找到最终姿势的条件。

参阅图13，其显示姿势侦测方法的框图。连续接收随时间序列的图框1300。每一个图框可以保留多个病人身体关节的三维位置(即X、Y、Z坐标)。然后针对每幅被捕捉的图框，将坐标转换为身体的四肢和/或关节之间的空间关系1302(即四肢和/或关节之间的距离和/或由四肢和/或关节形成的向量之间的角度)。然后将空间关系与数据库910中相对应的数据比较1304。由于空间关系可以有一个范围(也存储在数据库910中)，从图框1300中提取的空间关系可以在它们的范围内变化，且仍然被认为是描述成功的训练阶段。由于执行训练的方式是非常重要的，运动阶段的顺序和它们之间的时间有重大的意义。因此，每一个确定的训练阶段，可以在每一个或较少图框中检查，每一个确定的训练阶段之间的转换时间也需要在一个范围内。如果检查范围1306产生负面的结果，病人并未正确地执行该阶段的训练，一个非成功反馈1308可以用文本和/或图形信息的形式显示给病人。如果检查范围1306产生正面的结果，可以执行“训练结束”的检查1310，以确定最后一个“认可”的训练阶段是训练中的最后一个。如果是，训练可已结束，且一个成功反馈1312可以用文本和/或图形信息的形式显示给病人。如果没有，训练可能还没有结束，尚需要额外的图框经过转换1302以结束训练阶段的顺序。

本系统和方法已经用右弓步、摆动、双腿跳跃、左腿跳跃训练的例子描述如上。类似地，本方法和系统可以用类似的方式来监测各种其他的复健训练。

对于髋关节屈曲训练，例如，本系统可以检查以下执行错误的原因：侧倾斜、支撑膝关节弯曲、失去平衡(即手接触地板)、不适当的髋关节上提、训练持续时间短等。

对于典型的下蹲(双腿)训练，例如，本系统可以检查以下执行错误的原因：侧倾斜、膝盖向内转、不对称的表现、不适当的膝关节弯曲、失去平衡(即手接触地板)、训练持续时间短等。

对于单腿下蹲训练，例如，本系统可以检查以下执行错误的原因：侧倾斜、支撑膝关节向内转、失去平衡(即手接触地板)、不适当的膝关节弯曲等。

对于单腿支撑训练，例如，本系统可检查以下执行错误的原因：侧倾斜、支撑膝关节弯曲、失去平衡(即手接触地板)、不适当的髋关节上提、训练持续时间短等。

参阅图14，其显示系统内报告病人活动的框图。运动传感器(例如Kinect)1402可以监测病人1400的手势，接着运动传感器1402可以计算出病人1400的深度图像。深度图像被传送到计算机装置，例如游戏控制台1404，其可以计算并将病人1400的动作转换成预定的手势、姿势、和训练，并显示在显示器1406的影像游戏中。需要被监督的病人1400所有的行动(例如训练成功和/或不成功的数量、训练失败的原因、游戏阶段完成的数量等)会记录在游戏控制台1404。数据可以通过专用的通信模块1410，于此的例子为专用的网站(也可以是移动装置，例如笔记本电脑、平板电脑、智能手机等)，周期性地(例如每日、每周等)或根据需求发送给治疗师1408。

所讨论的数据可以以报告的形式安排。该报告包括标头，其包括病人详细信息、指示的治疗计划和训练、影像游戏、活动的日期和时间等，报告还可以包括每一个进行过的训练的具体细节。对于每次训练，可以报告总练习时间、重复次数、维持时间、正确的重复百分比和不正确的重复百分比。不正确的重复及其百分比的原因也可以报告。对于髋关节屈曲，不正确的重复的原因可能是一边向后倾斜、支撑膝关节弯曲、失去平衡(即手接触地板)、病人未上提髋关节、少于所需的维持时间及其它等(不正确的重复但没有分类)。对于典型的下蹲，不正确的重复的原因可能是一边向后倾斜、膝盖向内转(分为左、右)、病人未弯曲膝关节、失去平衡(即手接触地板)、病人未上提髋关节、少于所需的维持时间及其它等(不正确的重复但没有分类)。对于单腿下蹲，不正确的重复的原因可能是侧倾斜、支撑膝关节向内转、失去平衡(即手接触地板)、病人未弯曲膝关节及其它等(不正确的重复但没有分类)等。对于典型的弓步，不正确的重复的原因可能是一边向后倾斜、向前弯曲背部、膝盖向前向内转、失去平衡(即手接触地板)、病人未弯曲膝盖、少于所需的维持时间及其它等(不正确的重复但没有分类)。对于双腿跳跃，不正确的重复的原因可能是不对称的跳跃、病人未跳跃、失去平衡(即手接触地板)、腿分开及其它等(不正确的重复但没有分类)。对于单腿姿势，不正确的重复的原因可能是一边向后倾斜、支撑膝关节弯曲、失去平衡(即手接触地板)、病人没有抬起腿、少于所需的维持时间及其它等(不正确的重复但没有分类)。对于单腿跳，不正确的重复的原因可能是跳的低、病人未跳、失去平衡(即手接触地板)、落地时膝关节向内转动及其它等(不正确的重复但没有分类)。

所述报告可以用数字、表格和/或图形的形式显示。

在他或她的治疗计划发现任何缺点和/或任何其它问题的情况下，病人1400也可以通过通信模块1410发起一个直接的反馈和/或报告给治疗师1408。因此，视觉和/或听觉反馈和/或警报1412(如果需要)可以提供给治疗师1408并显示在他或她的电脑1414。

在病人1400通过通信模块1410报告治疗计划远超过他或她的能力时，举例来说，给治疗师1408的警报1412及病人1400的接触细节可以显示在他或她的电脑1414上。

在病人1400通过通信模块1410报告新的和/或不熟悉的疼痛，和/或有关治疗计划的关节肿胀，和/或残疾，举例来说，给治疗师1408的警报1412及病人1400的接触细节可以显示在他或她的电脑1414上。此外，游戏会被锁定，直到病人1408可以遇见治疗师1400。

当病人1400突然跌倒在地板上，举例来说，给治疗师1408的警报1412及病人1400的接触细节可以显示在他或她的电脑1414上。此外，游戏会被锁定，直到病人1408可以遇见治疗师1400。

参阅图15，其显示报告处理的流程图。病人可如同他或她的治疗计划中所指示的执行训练1500。然后，该系统可以监控病人的动作和手势，可以记录病人行动1502(执行训练、影像游戏阶段等)，并传送数据1506给治疗师。在侦测执行和所需的训练1502之间的差异时，错过的训练和不正确表现的原因也可以被记录1502并发送1506给治疗师。如果需要，警报可以显示1508给治疗师。

在本申请的说明书和权利要求中，每一个词“包括”、“包含”、和“具有”及其形式并不是限制与各词有关的清单中的成员。此外，在本申请和并入参考的文件和有不一致之处，于此意欲由本申请控制。

Claims (22)

1.一种运动复健系统，包括：

一运动传感器，包括一动作感应摄像机；以及

一计算机装置，包括：

(a)一通信模块；

(b)一非瞬时内存，包括一组复健姿势存储值，各存储值定义若干个理论身体关节之间随时间序列的空间关系，其中每一时间序列包括：初始空间关系、中间姿势空间关系及最终空间关系；以及

(c)一硬件处理器配置以：(i)自动地将提供给病人的治疗计划转换成影像游戏级别，(ii)连续接收来自于所述动作感应摄像机所记录的随时间序列的图框，其中每一图框包括病人若干个身体关节的每一个的三维位置，(iii)实时将所记录的随时间序列的图框与随时间序列的空间关系比较，以侦测病人执行的复健姿势，(iv)侦测所述病人执行的复健姿势与该组复健姿势存储值中相对应的一个的差异，(v)登录关于所述差异与所述病人执行的复健姿势的数据，(vi)通过所述通信模块传送所述数据给一治疗师并提供一报告给所述治疗师。

2.如权利要求1所述的系统，其中所述硬件处理器进一步配置以通过所述通信模块传送一警报给所述治疗师。

3.如权利要求1所述的系统，其中所述硬件处理器进一步配置以使所述病人通过所述通信模块发起报告给所述治疗师。

4.如权利要求1或2所述的系统，其中所述报告及所述警报通过一专用网站提供给所述治疗师。

5.如权利要求1或2所述的系统，其中所述报告及所述警报通过一移动装置提供给所述治疗师。

6.如权利要求2所述的系统，其中所述警报包括一声音指示。

7.如权利要求2所述的系统，其中所述警报包括一视觉指示。

8.如权利要求2所述的系统，其中所述警报来自于所述病人的突然跌倒。

9.如权利要求2或3所述的系统，其中所述警报来自于治疗计划不适合所述病人的能力。

10.如权利要求2或3所述的系统，其中所述警报来自于所述病人遭受不熟悉的残疾。

11.如权利要求1所述的系统，其中所述报告包括所述病人正确及不正确执行的训练的部分，以及不正确执行训练的原因。

12.一种运动复健系统中差异侦测的方法，所述方法包括：

提供一运动传感器，其包括一动作感应摄像机；

提供一计算机装置，其包括：

(a)一通信模块；

(b)一非瞬时内存，包括一组复健姿势存储值，各存储值定义若干个理论身体关节之间随时间序列的空间关系，其中每一时间序列包括：初始空间关系、中间姿势空间关系及最终空间关系；以及

(c)一硬件处理器；以及

使用所述硬件处理器以：(i)连续接收来自于所述动作感应摄像机所记录的随时间序列的图框，其中每一图框包括病人若干个身体关节的每一个的三维位置，(ii)实时将所记录的随时间序列的图框与随时间序列的空间关系比较，以侦测病人执行的复健姿势，(iii)侦测所述病人执行的复健姿势与该组复健姿势存储值中相对应的一个的差异，(iv)登录关于所述差异与所述病人执行的复健姿势的数据，(v)通过所述通信模块传送所述数据给一治疗师并提供一报告给所述治疗师。

13.如权利要求12所述的方法，其中使用所述硬件处理器进一步包括通过所述通信模块传送一警报给所述治疗师。

14.如权利要求12所述的方法，进一步包括使所述病人通过所述通信模块发起报告给所述治疗师。

15.如权利要求12或13所述的方法，其中所述报告及所述警报通过一专用网站提供给所述治疗师。

16.如权利要求12或13所述的方法，其中所述报告及所述警报通过一移动装置提供给所述治疗师。

17.如权利要求13所述的方法，其中所述警报包括一声音指示。

18.如权利要求13所述的方法，其中所述警报包括一视觉指示。

19.如权利要求13所述的方法，其中所述警报来自于所述病人的突然跌倒。

20.如权利要求13或14所述的方法，其中所述警报来自于治疗计划不适合所述病人的能力。

21.如权利要求13或14所述的方法，其中所述警报来自于所述病人遭受不熟悉的残疾。

22.如权利要求12所述的方法，其中所述报告包括所述病人正确及不正确执行的训练的部分，以及不正确执行训练的原因。