CN111407603A - 步行辅助装置以及用于控制步行辅助装置的方法和装置 - Google Patents

Abstract

公开一种步行辅助装置以及用于控制步行辅助装置的方法和装置。所述方法包括：基于穿戴步行辅助装置的用户的步态确定用户的步态状态的第一状态变量；获得从第一状态变量被平滑和时间延迟的第二状态变量；通过将力矩控制变量施加到第二状态变量来获得第三状态变量；以及基于获得的第三状态变量确定将由步行辅助装置提供的辅助力矩。

Description

步行辅助装置以及用于控制步行辅助装置的方法和装置

本申请要求于2019年1月4日提交到韩国知识产权局的第10-2019-0001189号韩国专利申请的优先权，所述韩国专利申请的全部内容通过整体引用包含于此。

技术领域

至少一个示例实施例涉及一种步行辅助装置和/或控制步行辅助装置的方法。

背景技术

步行辅助装置可用于辅助经历不便的用户更容易地步行。这样的步行不便可归因于各种原因(例如，疾病或事故)，并且由于这些原因，用户不能容易地自己步行。此外，最近的老龄化社会问题导致越来越多的人由于老龄化而经受来自减弱的肌肉力量或关节问题的不便和疼痛。因此，对能够使有减弱的肌肉力量或关节问题的老年用户或患者用较少的力气步行的步行辅助装置的兴趣越来越大。

步行辅助装置可穿戴在用户的身体上以向用户提供步行所需的动力，并且辅助用户以正常的步态模式步行。步行辅助装置可与用户的身体直接交互，因此，可需要高水平的安全性。

发明内容

至少一个示例实施例涉及一种控制被配置为由用户穿戴的步行辅助装置的方法。

在至少一个示例实施例中，所述方法可包括：基于用户的步态确定用户的步态阶段的第一状态变量；通过对第一状态变量进行平滑和时间延迟来获得第二状态变量；通过将力矩控制变量施加到第二状态变量来获得第三状态变量；以及基于第三状态变量确定由所述步行辅助装置提供的辅助力矩。

在一些示例实施例中，所述方法可包括：响应于用户的步态周期中的步态阶段对应于设置的步态阶段，确定力矩控制变量。

在一些示例实施例中，所述方法可包括：对力矩控制变量进行平滑以生成平滑的力矩控制变量，其中，获得第三状态变量的步骤包括：通过将平滑的力矩控制变量施加到第二状态变量来获得第三状态变量。

在一些示例实施例中，在正常模式下，确定力矩控制变量的步骤包括：通过基于从先前学习结果得到的参数将与用户的步态周期中的当前步态阶段对应的状态变量值施加到力矩控制变量确定函数，来确定期望的力矩控制变量。

在一些示例实施例中，在学习模式下，确定力矩控制变量的步骤包括：确定基于概率函数生成的检索力矩控制变量，以及将检索力矩控制变量设置为力矩控制变量。

在一些示例实施例中，在学习模式下，确定力矩控制变量的步骤还包括：基于从用户的先前步态确定的步行辅助动力指数来确定先前力矩控制变量的分数；以及确定所述分数是否满足条件。

在一些示例实施例中，步行辅助动力指数包括：第一步行辅助动力指数，指示由所述步行辅助装置传递的步行辅助动力的大小，以及第二步行辅助动力指数，指示由所述步行辅助装置对步行中的用户的阻碍程度。

在一些示例实施例中，确定所述分数的步骤包括：基于第一步行辅助动力指数和第二步行辅助动力指数的加权和来确定所述分数。

在一些示例实施例中，确定第一状态变量的步骤包括：基于由所述步行辅助装置的传感器测量的用户的髋关节角度信息来确定第一状态变量。

在一些示例实施例中，获得第二状态变量的步骤包括：对第一状态变量进行平滑以生成平滑的第一状态变量；以及通过对平滑的第一状态变量进行时间延迟来获得第二状态变量。

在一些示例实施例中，所述平滑的步骤包括：基于针对当前步态周期确定的第一状态变量和针对先前步态周期确定的第一状态变量，来获得平滑的第一状态变量。

一些示例实施例涉及一种非暂时性计算机可读介质，包括计算机可读指令，当由计算机执行所述计算机可读指令时使得计算机执行所述控制步行辅助装置的方法。

至少一个示例实施例涉及一种被配置为控制步行辅助装置的装置。

在至少一个示例实施例中，所述装置可包括：存储器；以及控制器，被配置为：通过以下处理，基于穿戴所述步行辅助装置的用户的步态来控制由所述步行辅助装置提供的辅助力矩：基于所述步态确定用户的步态阶段的第一状态变量，通过对第一状态变量进行平滑和时间延迟来获得第二状态变量，通过将力矩控制变量施加到第二状态变量来获得第三状态变量，以及基于第三状态变量确定将由所述步行辅助装置提供的辅助力矩。

在一些示例实施例中，控制器被配置为：基于第一状态变量确定用户的步态周期中的步态阶段，以及响应于所述步态阶段对应于设置的步态阶段，确定力矩控制变量。

在一些示例实施例中，控制器被配置为：通过以下处理获得第三状态变量：对力矩控制变量进行平滑以生成平滑的力矩控制变量，以及将平滑的力矩控制变量施加到第二状态变量。

在一些示例实施例中，控制器被配置为：在学习模式下操作，以：确定力矩控制变量，基于从用户的先前步态确定的步行辅助动力指数来确定先前力矩控制变量的分数，响应于所述分数不满足设置条件，确定基于概率函数生成的检索力矩控制变量，以及将检索力矩控制变量设置为力矩控制变量。

在一些示例实施例中，所述步行辅助动力指数包括：第一步行辅助动力指数，指示将由所述步行辅助装置传递的步行辅助动力的大小，以及第二步行辅助动力指数，指示由所述步行辅助装置对步行中的用户的阻碍程度。

至少一个示例实施例涉及一种步行辅助装置。

在至少一个实施例中，所述步行辅助装置可包括：传感器，被配置为：测量穿戴所述步行辅助装置的用户的步态；驱动器，被配置为：基于力矩控制信号操作所述步行辅助装置的致动器，以向用户提供辅助力矩；以及控制器，被配置为：通过以下处理，基于由传感器测量的步态生成力矩控制信号以控制辅助力矩：基于步态确定用户的步态阶段的第一状态变量，通过对第一状态变量进行平滑和时间延迟来获得第二状态变量，通过将力矩控制变量施加到第二状态变量来获得第三状态变量，以及基于第三状态变量确定由所述步行辅助装置提供的辅助力矩。

在一些示例实施例中，控制器被配置为：基于第一状态变量确定用户的步态周期中的步态阶段，以及响应于所述步态阶段对应于设置的步态阶段，确定力矩控制变量。

在一些示例实施例中，控制器被配置为：通过下以下处理获得第三状态变量，对力矩控制变量进行平滑以生成平滑的力矩控制变量，以及将平滑的力矩控制变量施加到第二状态变量。

示例实施例的额外的方面将在下面的描述中部分地阐述，并且部分地根据该描述将是清楚的，或者可通过本公开的实践来获知。

附图说明

从下面结合附图对示例实施例的描述，这些和/或其他方面将变得清楚和更容易理解，其中：

图1是示出根据至少一个示例实施例的穿戴在用户上的步行辅助装置的示图；

图2是示出根据至少一个示例实施例的步行辅助装置的配置的示图；

图3和图4是示出根据至少一个示例实施例的控制步行辅助装置的方法的流程图；

图5是示出根据至少一个示例实施例的确定力矩控制变量的方法的流程图；

图6是示出根据至少一个示例实施例的用于控制步行辅助装置的装置的配置的示图；

图7是示出根据至少一个示例实施例的确定第一状态变量的方法的示图；

图8是示出根据至少一个示例实施例的状态变量平滑器的操作的示图；

图9是示出根据至少一个示例实施例的状态变量延迟器的操作的示图；

图10是示出根据至少一个示例实施例的第一状态变量与步态阶段之间的关系的曲线图；

图11是示出根据至少一个示例实施例的力矩控制变量平滑器的操作的示图；

图12是示出根据至少一个示例实施例的用于控制物理交互装置的系统的配置的示图；

图13A至图13D是示出根据至少一个示例实施例的用于控制物理交互装置的系统的不同示例的示图。

具体实施方式

在下文中，将参照附图详细地描述一些示例实施例。关于分配给附图中的元件的参考标号，应注意，即使相同的元件在不同的附图中示出，相同的元件也将尽可能地由相同的参考标号指定。此外，在实施例的描述中，当认为公知的相关结构或功能的详细描述将导致对本公开的模糊解释时，将省略这样的描述。

然而，应理解，并不意图将本公开限制于公开的特定示例实施例。相反，示例实施例将覆盖落入示例实施例的范围内的所有修改、等同物和替代物。贯穿附图的描述，相同的标号表示相同的元件。

此外，在此可使用诸如第一、第二、A、B、(a)、(b)等的术语来描述组件。这些术语中的每个术语不用于限定相应组件的本质、顺序或次序，而仅用于将相应组件与其他组件区分开来。应注意，如果在说明书中描述一个组件“连接”、“结合”或“接合”到另一组件，则尽管第一组件可直接连接、结合或接合到第二组件，但是第三组件可“连接”、“结合”或“接合”在第一组件与第二组件之间。

在此使用的术语仅为了描述特定实施例的目的，并不意图限制。如在此所使用的，除非上下文明确另有指示，否则单数形式也意图包括复数形式。还将理解，当在此使用术语“包括”和/或“包含”时，说明存在阐述的特征、整体、步骤、操作、元件、组件和/或它们的组，但并不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组。

还应注意，在一些可选择的实施方式中，提到的功能/动作可不按附图中提到的顺序发生。例如，连续示出的两个附图实际上可根据所涉及的功能/动作基本同时地执行，或有时可以以相反的顺序执行。

除非另外定义，否则在此使用的所有术语(包括技术术语和科学术语)具有与本申请的公开所属领域的普通技术人员通常理解的含义相同的含义。除非在此明确地定义，否则诸如在通用字典中定义的术语应被解释为具有与在相关领域的上下文中的含义一致的含义，不应被解释为理想化或过于形式化的含义。

此外，在示例实施例的描述中，当认为在理解本申请的公开之后由此已知的结构或功能的详细描述将导致对示例实施例的模糊解释时，将省略这样的描述。

现在将参照示出一些示例实施例的附图更充分地描述各种示例实施例。在附图中，为了清楚起见，夸大了层和区域的厚度。

在下文中，将参照附图详细描述示例，并且附图中相同的参考标号始终表示相同的元件。

图1是示出根据至少一个示例实施例的穿戴在用户上的步行辅助装置的示图。

步行辅助装置110或步态辅助装置可辅助穿戴步行辅助装置110的用户100容易地步行。步行辅助装置110可辅助或支撑用户100的腿部的一部分或整个腿部，以帮助用户100更容易地步行。步行辅助装置110可以以如图1中所示的可穿戴外骨骼类型来设置，并且可被配置为当用户100步行时辅助或支持用户100的肌肉力量以改善用户100的步行运动或步态或者使用户100能够正常步行。例如，当具有减小的肌肉力量的普通用户或老年用户穿戴步行辅助装置110时，与当用户没有穿戴步行辅助装置110时相比，步行辅助装置110可通过使用户能够步行更长的时间段来提高用户的步行能力，并且通过提供或增加用户步行所需的动力，使用户能够独立地步行。图1中示出的步行辅助装置110的类型被提供为示例，并且在此描述的示例实施例可因此适用于其他类型的步行辅助装置。

参照图1，步行辅助装置110在控制器130的控制下在左髋关节120L和右髋关节120R处生成力矩或旋转力，并且生成的力矩通过设置在用户100的膝部上方的传递器140L和140R向用户100的腿部提供用于弯曲和伸展的动力。步行辅助装置110通过其传感器来测量用户100的步行运动或步态，并基于测量的步态估计用户100的步态周期中的步态状态或步态阶段。步行辅助装置110基于估计的步态阶段，确定在当前时间点将动力提供给每条腿所沿的方向和将被提供的动力的量。

步行辅助装置110穿戴在用户100的身体上，使得步行辅助装置110在接收由用户100施加的动力的同时向用户100施加动力。因此，在用户100与步行辅助装置110之间存在交互。在这样的交互中，对步行辅助装置110的物理干预的反应可因个体而异。也就是说，个体可对同一物理干预进行不同地反应。

因此，一个或多个示例实施例可通过确定用于将步行辅助装置110的控制变量调节为适合于每个个体用户的规则来对步行辅助装置110进行个性化。前述术语“个性化”指示步行辅助装置110的控制策略或规则可基于个体步态特性、身体状态、肌肉力量等的差异而不同地应用于个体用户。可通过基于测量的用户的步态状态学习步行辅助装置110的控制策略来实现个性化。

将在下文中描述的示例实施例通过步行辅助装置110的基于应用了用户的步行运动或步态的状态变量和力矩控制变量的个性化来提供安全且一致的步行辅助性能。为了安全且一致的步行辅助性能，平滑器(smoother)和/或延迟器(delayer)可被使用，并且改善(或者，可选地，优化)用于控制策略的参数的强化学习可被执行。通过强化学习，可通过增大指示多少由步行辅助装置110向用户100提供的辅助力矩对步行中的用户100有用的比率来提高辅助传递动力，并通过减小指示多少由步行辅助装置110向用户100提供的辅助动力阻碍步行中的用户100的比率来减少步行辅助中的不匹配。此外，可提供为个体用户定制的(或者，可选地，优化的)步行辅助，减少步行所需的能量的量，并提高步行规律性、步行安全性和步行稳定性的水平。在下文中，将参照附图详细描述示例实施例。

图2是示出根据至少一个示例实施例的步行辅助装置的配置的示图。

参照图2，步行辅助装置200包括传感器240、控制装置210和驱动器250。控制装置210可以是用于控制步行辅助装置200的装置。根据示例，步行辅助装置200还可包括用于支撑穿戴步行辅助装置200的用户的身体的支撑构件和被固定到用户的身体的固定构件。例如，步行辅助装置200可以是图1的步行辅助装置110，使得控制装置210对应于图1的控制器130。

传感器240可包括各种传感器。传感器240可包括：被配置为感测与用户的步行运动或步态相关联的信息的传感器，以及被配置为感测控制步行辅助装置200的操作所需的信息的传感器。例如，传感器240可包括被配置为测量用户的步态的传感器(例如，加速度传感器、惯性传感器和陀螺仪传感器)，以及被配置为测量由驱动器250传递的辅助力矩的力矩传感器，电流/电压传感器等。

在一个示例中，用户的步态可通过感测与用户的两条腿的髋关节的位置对应的两个髋关节的角度信息或运动信息的传感器来测量。髋关节的角度信息可包括与髋关节的角度、髋关节的角度之间的差、髋关节的运动方向以及髋关节的角速度相关联的至少一组信息。

被配置为控制步行辅助装置200的控制装置210包括控制器220和存储器230。存储器230连接到控制器220，并且被配置为存储将由控制器220执行的指令，以及将由控制器220处理的数据和/或已经由控制器220处理的数据。例如，存储器230存储与由控制器220输出的辅助力矩控制信号对应的参数。存储器230可包括非暂时性计算机可读存储介质(例如，高速随机存取存储器(RAM))和/或非易失性计算机可读存储介质(例如，至少一个磁盘存储装置、闪存装置或其他非易失性固态存储器装置)。

控制器220可使用处理电路(诸如，包括逻辑电路的硬件)、硬件/软件组合(诸如，执行软件的处理器)或它们的组合来实现。例如，处理电路可包括但不限于：中央处理器(CPU)、算术逻辑单元(ALU)、数字信号处理器、微型计算机、现场可编程门阵列(FPGA)、片上系统(SoC)、可编程逻辑单元、微处理器或专用集成电路(ASIC)等。

控制器220生成控制信号来控制步行辅助装置200。例如，控制器220基于由传感器240测量的步态生成力矩控制信号来控制将由步行辅助装置200提供的辅助力矩。控制器220控制驱动器250，驱动器250被配置为基于生成的控制信号来生成步行辅助装置200中的辅助力矩。

如下面更详细讨论的，控制器220可被编程为用于执行强化学习的专用处理器，使得步行辅助装置200可通过增大由步行辅助装置200提供给用户的辅助力矩对步行时的用户有用的比率来提高辅助力矩传递动力，并且通过减小由步行辅助装置200提供给用户的辅助力矩阻碍用户步行的比率来减少步行辅助中的不匹配的次数。

驱动器250基于由控制器220生成的力矩控制信号对步行辅助装置200的致动器进行操作。驱动器250通过致动器将辅助力矩提供给用户的髋关节的位置。致动器将电能转换为动能，并将动能施加到用户的身体以向用户提供用户步行所需的动力。致动器设置在与用户的髋关节的位置对应的部分上，并且生成用于用户的腿部的弯曲和伸展的辅助力矩以辅助用户步行。

控制器220基于用户的步态确定指示用户的步态状态的状态变量，并基于确定的状态变量控制步行辅助装置200。控制器220基于状态变量设置用于控制辅助力矩的参数，并基于设置的参数输出周期性辅助力矩控制信号以辅助步行中的用户。

在一个示例中，控制器220基于状态变量控制将由步行辅助装置200提供的辅助力矩，并且基于状态变量确定是否对用于控制辅助力矩的控制信号进行个性化。控制器220设置用于调节辅助力矩的强度的增益并设置用于调节辅助力矩的输出时间的时间延迟，并且基于设置的增益和设置的时间延迟来定义状态变量。通过调节增益和时间延迟，步行辅助装置200可更稳定地响应用户的突然运动、用户的突然停止或环境的改变，并且提高步行规律性和安全性的水平。将在下文中描述的第一状态变量、第二状态变量和第三状态变量可用于定义用于控制步行辅助装置200的操作的辅助力矩控制信号。

在一个示例中，控制器220基于用户的步行运动或步态来确定用户的步态状态的第一状态变量。控制器220对第一状态变量进行平滑并对平滑的第一状态变量进行时间延迟，来获得从第一状态变量被平滑和时间延迟的第二状态变量。在这个示例中，术语“对……进行时间延迟”可指示使用作为由用户或者基于控制设计规则设置的(或者，可选地，预设的)时间值的时间延迟执行的处理。例如，当用户的步行速度大于第一参考值时，控制器220将时间延迟设置得相对小。相反，当用户的步行速度小于第一参考值时，控制器220将时间延迟设置得相对大。再例如，控制器220基于用户的步行加速度确定延迟。在这个示例中，当用户的步行加速度大于第二参考值时，控制器220将时间延迟设置得小。相反，当用户的步行加速度小于第二参考值时，控制器220将时间延迟设置得大。在前述示例中，可基于从传感器240获得的感测信息来确定用户的步行速度和步行加速度。

控制器220通过将力矩控制变量施加到第二状态变量来获得第三状态变量。控制器220基于第一状态变量确定用户的步态周期中的步态阶段，并且当确定的步态阶段对应于定义的(或者，可选地，预先定义的)步态阶段时，确定力矩控制变量。

力矩控制变量在学习模式下和在正常模式下以不同方式被确定。用户可选择学习模式或正常模式。用户可选择学习模式来对步行辅助装置200进行优化或个性化。通过学习模式，可基于用户的步态状态或步态类型来调节与控制将由步行辅助装置200提供的辅助力矩相关联的参数。

当正常模式被选择时，控制器220通过基于从先前学习结果得到的参数将与用户的当前步态阶段对应的状态变量值施加到力矩控制变量确定函数，来确定期望的(或者，可选地，最佳的)力矩控制变量。控制器220将确定的力矩控制变量确定为将被施加到第二状态变量的力矩控制变量。

当学习模式被选择时，控制器220将基于概率函数生成的检索力矩控制变量确定为力矩控制变量。在一个示例中，在学习模式下，控制器220基于从用户的先前步态确定的步行辅助动力指数来确定先前力矩控制变量的分数。步行辅助动力指数包括第一步行辅助动力指数和第二步行辅助动力指数，第一步行辅助动力指数指示由步行辅助装置200传递的步行辅助动力的大小，第二步行辅助动力指数指示由步行辅助装置200对步行中的用户的阻碍程度。第一步行辅助动力指数是步行辅助的正测量结果值，第二步行辅助动力指数是步行辅助的负测量结果值。例如，控制器220以第一步行辅助动力指数和第二步行辅助动力指数的加权和的形式来计算分数。

步行辅助动力指数可被实时计算，并且步行辅助装置200的控制策略可基于步行辅助动力指数来学习。在学习模式下，概率函数的参数可被确定，使得第一步行辅助动力指数增大并且第二步行辅助动力指数减小，检索力矩控制变量可基于概率函数来确定。当基于步行辅助动力指数确定的分数不满足设置的(或者，可选地，预设的)条件时，控制器220基于概率函数生成检索力矩控制变量，并将生成的检索力矩控制变量确定为将被施加到第二状态变量的力矩控制变量。设置的(或者，可选地，预设的)条件可指示分数大于阈值，或者计算分数的次数达到特定次数。

控制器220通过对确定的力矩控制变量进行平滑并将平滑的力矩控制变量施加到第二状态变量来获得第三状态变量。控制器220基于获得的第三状态变量生成控制信号来确定将由步行辅助装置200提供的辅助力矩。控制器220通过将用于调节辅助力矩的强度的增益施加到第三状态变量来生成辅助力矩控制信号，并且基于生成的辅助力矩控制信号来控制将由步行辅助装置200提供的辅助力矩。

通过上述操作，可减少由步行辅助装置200提供的步行辅助中的不匹配的次数、提高辅助力矩传递效率和/或提高步行规律性的水平。例如，通过强化学习，步行辅助装置200可通过增大由步行辅助装置200提供给用户的辅助力矩对步行时的用户有用的比率来提高辅助力矩传递动力，并且通过减小由步行辅助装置200提供给用户的辅助力矩阻碍用户步行的比率来减少步行辅助中的不匹配的次数。

根据示例，被配置为远程地控制步行辅助装置200的远程控制器(未示出)可被设置。远程控制器可响应于来自用户的输入来控制步行辅助装置200的整体操作。例如，远程控制器可启动或暂停步行辅助装置200的操作。此外，远程控制器可生成辅助力矩控制信号以控制步行辅助装置200的步行辅助操作，并且将生成的辅助力矩控制信号发送到步行辅助装置200。远程控制器可提供便于步行辅助装置200的操纵或操作的用户界面(UI)。通过UI，用户可直接设置与将由步行辅助装置200提供的辅助力矩的强度相关联的增益或者辅助力矩的输出时间的延迟。

图3和图4是示出根据至少一个示例实施例的控制步行辅助装置的方法的流程图。在下文中将控制步行辅助装置的方法简称为控制方法，并且该控制方法可由用于控制步行辅助装置的装置(在下文中，将被简称为控制装置(例如，可以是控制装置210))来执行。

参照图3，在操作310中，控制装置基于用户的步态确定穿戴步行辅助装置的用户的步态状态的第一状态变量。例如，控制装置基于由步行辅助装置的传感器测量的用户的髋关节角度信息来确定第一状态变量。第一状态变量可指示与用户的步态状态相关联的用户的步态或运动，并且可由左髋关节和右髋关节的角度信息来定义，如等式1所示。

[等式1]

y₂(t)＝sinq_r(t)-sinq_l(t)

在等式1中，y₂(t)表示基于时间t的第一状态变量。q_r(t)和q_l(t)分别表示基于时间t的右髋关节的角度和左髋关节的角度。

在操作320中，控制装置获得从第一状态变量被平滑和时间延迟的第二状态变量。可如下文中参照图4所述详细地执行操作320。参照图4，在操作410中，控制装置对第一状态变量进行平滑。通过平滑，第一状态变量中的噪声可被减少。控制装置可使用包括例如低通滤波器(LPF)的平滑滤波器对第一状态变量进行平滑。控制装置可通过基于针对当前步态周期确定的第一状态变量和针对先前步态周期确定的第一状态变量执行低通滤波，来获得平滑的第一状态变量，如等式2所示。

[等式2]

y＝(1–α)y_prev+αy_raw，(0≤α≤1)

在等式2中，y表示平滑的第一状态变量，α表示具有0与1之间的值的定义的(或者，可选地，预先定义的)常数。y_prev表示针对先前步态周期确定的第一状态变量，y_raw表示针对当前步态周期确定的第一状态变量。

在操作420中，控制装置通过对在操作410中获得的平滑的第一状态变量进行时间延迟来获得第二状态变量。在另一示例中，可在平滑之前执行时间延迟。在这个示例中，可通过对通过时间延迟获得的时间延迟的第一状态变量执行平滑(诸如，滤波)来获得第二状态变量。在时间延迟处理中，施加到第一状态变量的时间延迟值可以是定义的(或者，可选地，预先定义的)值或由用户设置的值。

在操作430中，控制装置确定用户的步态阶段是否对应于定义的(或者，可选地，预先定义的)步态阶段。控制装置基于在操作410中获得的平滑的第一状态变量来计算当前步态阶段，如等式3所示。

[等式3]

在等式3中，φ表示步态阶段，y表示平滑的第一状态变量。计算的步态阶段可基于用户的步态为周期性的。

在操作440中，当用户的步态阶段对应于定义的(或者，可选地，预先定义的)步态阶段时，控制装置确定力矩控制变量。力矩控制变量可用于更精细地调节施加辅助力矩控制信号的时间点。在不是学习模式的模式下，可使用先前确定的力矩控制变量或定义的(或者，可选地，预先定义的)力矩控制变量。然而，在学习模式下，可基于用户的步态来检索期望的(或者，可选地，最佳的)力矩控制变量。学习模式可以是包括用于对步行辅助装置进行个性化以适合于用户的处理的模式，并且可由用户选择是否进入学习模式。在下文中，将参照图5详细描述如何确定力矩控制变量。

在操作450中，控制装置对在操作440中确定的力矩控制变量进行平滑。在一个示例中，在操作440中确定的力矩控制变量可不连续地变化，并且力矩控制变量的这种不连续的变化可产生相对大的猛拉运动(jerk motion)，这可对用户和步行辅助装置的安全构成威胁。因此，可能无法容易地从用户获得一致的反应。为了抑制(或者，可选地，防止)这种情况，控制装置可对力矩控制变量进行平滑，使得力矩控制变量被逐渐施加。通过平滑的力矩控制变量，将要由步行辅助装置提供的辅助力矩可连续且平顺地改变。因此，在步行辅助装置中可不会产生猛拉运动，并且在用户与步行辅助装置之间可发生安全且稳定的交互式学习。

作为在操作430中的确定的结果，当用户的步态阶段不对应于定义的(或者，可选地，预先定义的)步态阶段时，应用于先前周期的力矩控制变量可以不变地应用于当前周期。

返回参照图3，在操作330中，控制装置通过将力矩控制变量施加到第二状态变量来获得第三状态变量。在操作340中，控制装置基于获得的第三状态变量来确定将由步行辅助装置提供的辅助力矩。控制装置通过将用于调节辅助力矩的强度的增益施加到第三状态变量来生成辅助力矩控制信号，并且基于生成的辅助力矩控制信号控制将由步行辅助装置提供的辅助力矩。在用户的一个步态周期期间施加以这种方式控制的辅助力矩。当步态周期终止时，对下一步态周期再次执行操作310至操作340。

根据至少一个示例实施例，可基于用户的步态特性有效地对步行辅助装置进行个性化以适合于步行辅助装置的用户，并且可通过平顺地控制将由步行辅助装置提供的辅助力矩来提高用户和步行辅助装置两者的安全性。

图5是示出根据至少一个示例实施例的确定力矩控制变量的方法的流程图。

参照图5，当在操作440中确定力矩控制变量时，控制器可执行下面讨论的操作510至操作560。

在操作510中，控制装置确定当前设置模式是否是学习模式。在一个示例中，用户可将步行辅助装置的模式调节为学习模式或正常模式。

在操作520中，当当前设置模式是正常模式时，控制装置在没有学习处理的情况下确定期望的(或者，可选地，最佳的)力矩控制变量。例如，控制装置通过基于从先前学习结果得到的参数，将与用户的当前步态阶段对应的状态变量值施加到力矩控制变量确定函数，来确定期望的(或者，可选地，最佳的)力矩控制变量。在一个示例中，当学习已经完成并且正常模式当前进行操作时，控制装置使用从先前学习处理获得的参数来设置适合于用户的当前步态状态的控制策略，并且使用设置的控制策略确定期望的(或者，可选地，最佳的)力矩控制变量。在另一示例中，控制装置使用先前确定的最佳力矩控制变量。控制装置将确定的力矩控制变量确定为将被施加到第二状态变量的力矩控制变量。

当当前设置模式是学习模式时，控制装置执行包括操作530至操作560的强化学习。每个用户的步态周期可执行一次这样的学习处理。

在操作530中，控制装置基于针对用户的先前步态确定的步行辅助动力指数来确定先前力矩控制变量的分数(例如，奖励)。步行辅助动力指数包括指示从步行辅助装置传递的步行辅助动力的大小的第一步行辅助动力指数和指示由步行辅助装置对步行中的用户的阻碍程度的第二步行辅助动力指数。在一个示例中，第一步行辅助动力指数指示如何将辅助动力良好地传递给用户以用于步行。第一步行辅助动力指数越大，将要传递的辅助动力越大。此外，第二步行辅助动力指数指示对步行中的用户的阻碍量，并且由负值指示。该值越小，对步行中的用户的阻碍的阻力越大。

在一个示例中，可基于第一步行辅助动力指数和第二步行辅助动力指数的加权和来确定分数，如等式4所示。

[等式4]

分数(奖励)＝0.25MPP+5MNP

在等式4中，MPP(平均正动力)和MNP(平均负动力)分别表示第一步行辅助动力指数和第二步行辅助动力指数。在等式4中，施加到MPP和MNP的权重被提供为示例，并且权重可根据示例而变化。例如，当每个步态周期应用一个学习的周期时，MPP和MNP分别指示在前一步态周期(例如，两步或一个步长)期间针对步态的第一步行辅助动力指数的平均值和第二步行辅助动力指数的平均值。上面的等式4可以是目标函数，该目标函数用于将学习结果调节为期望的。

当由第一步行辅助动力指数和第二步行辅助动力指数的加权和表示的分数增大时，在提供自然大的辅助动力的同时，将被提供的步行辅助可更平滑，而不阻碍步行中的用户。可根据用户的当前步态状态来执行学习处理。例如，可执行学习处理，使得第一步行辅助动力指数的值增加，而第二步行辅助动力指数的绝对值不会过度增加。

在操作540中，控制装置确定是否满足终止条件。终止条件指示在操作530中确定的分数是否超过阈值，或者学习处理的重复次数是否达到定义的(或者，可选地，预先定义的)次数。在操作550中，当不满足终止条件时，控制装置更新用于确定检索力矩控制变量的概率模型的参数。控制装置更新概率模型的参数，使得分数增大。可对每个步态周期重复地执行参数的更新，直到满足终止条件为止。

在操作560中，控制装置根据基于概率模型的函数生成检索力矩控制变量。控制装置根据基于概率模型的函数生成检索力矩控制变量，并且将生成的检索力矩控制变量确定为将被施加到第二状态变量的力矩控制变量。

可测量在每个学习处理中新确定的检索力矩控制变量的分数，并且可重复地更新概率模型的参数，直到满足终止条件为止。

图6是示出根据至少一个示例实施例的用于控制步行辅助装置的控制装置的配置的示图。

参照图6，步行辅助装置600的控制装置610可对应于图2的控制装置210。

控制装置610可包括状态变量平滑器620、状态变量延迟器630、学习器640、力矩控制变量平滑器650和力矩控制信号生成器660。

例如，如下面更详细讨论的，包括在控制装置610中的处理电路可被配置为用于执行状态变量平滑器620、状态变量延迟器630、学习器640、力矩控制变量平滑器650和力矩控制信号生成器660的操作的专用处理器。

控制装置610可使用这样的组件安全且有效地对步行辅助进行个性化以适合于步行辅助装置600的用户，并且训练或学习将被应用于步行辅助装置600的控制策略。在一个示例中，状态变量平滑器620、状态变量延迟器630、学习器640、力矩控制变量平滑器650和力矩控制信号生成器660的操作可由上面参照图2描述的控制器220执行。

基于与由步行辅助装置600的传感器测量的用户的步态相关联的信息来定义用户的步态状态的第一状态变量。参照图7，步行辅助装置600的传感器感测与用户的当前步态相关联的左髋关节角度q_l和右髋关节角度q_r。由传感器感测的左髋关节角度信息和右髋关节角度信息被传递到控制装置610。然后，控制装置610基于左髋关节角度信息和右髋关节角度信息确定第一状态变量。例如，如由上面的等式1所示，控制装置610基于左髋关节角度信息和右髋关节角度信息来计算第一状态变量。

返回参照图6，状态变量平滑器620对基于感测的髋关节角度信息确定的第一状态变量进行平滑，以将第一状态变量改变为更平滑的信号。这样的平滑处理可包括例如由上面的等式2所示的低通滤波。参照图8，不平滑的或包括噪声的第一状态变量被输入到状态变量平滑器620，并且状态变量平滑器620使用滤波器将输入的第一状态变量改变为更平滑的信号并输出更平滑的信号。

返回参照图6，状态变量延迟器630对平滑的第一状态变量进行时间延迟，并且输出第二状态变量作为执行时间延迟的结果。第二状态变量对应于对如上面的等式1所示的计算的第一状态变量进行平滑，然后对平滑的第一状态变量进行时间延迟的结果。参照图9，平滑的第一状态变量y(t)被输入到状态变量延迟器630，并且状态变量延迟器630将时间延迟Δt施加到输入的第一状态变量y(t)并输出第二状态变量y(t-Δt)。时间延迟Δt确定增大的(或者，可选地，最大的)辅助力矩的输出时间，并且可以是由用户设置的值(例如，常数)。

返回参照图6，学习器640基于平滑的第一状态变量估计用户的当前步态阶段。例如，学习器640基于等式5估计步态阶段。

[等式5]

在等式5中，phase表示用户的步态阶段，y(t)表示平滑的第一状态变量。Δt表示时间延迟，c表示作为用于缩放的比例因子的定义的(或者，可选地，预先定义的)常数。在下文中将参照图10描述基于上面的等式5计算的步态阶段随时间的改变的示例。

图10示出指示平滑的第一状态变量1010随时间的改变以及基于第一状态变量1010确定的步态阶段1020随时间的改变的曲线图。第一状态变量1010和步态阶段1020两者具有周期性。

返回参照图6，学习器640确定当前步态阶段是否对应于定义的(或者，可选地，预先定义的)步态阶段。当当前步态阶段对应于定义的(或者，可选地，预先定义的)步态阶段时，学习器640确定力矩控制变量。当设置模式是学习模式时，学习器640通过执行强化学习来检索力矩控制变量以改善(或者，可选地，优化)施加辅助力矩控制信号的时间点。当执行强化学习时，学习器640基于第一步行辅助动力指数和第二步行辅助动力指数计算分数。学习器640基于计算的分数和第一状态变量来确定基于概率模型的函数的参数，并根据基于概率模型的函数生成检索力矩控制变量。检索力矩控制变量可用于精细地调节由状态变量延迟器630施加的时间延迟。在此，学习处理可以是基于检索力矩控制变量精细地调节时间延迟并发现检索力矩控制变量的处理，使得作为调节的结果而计算的分数增大(或者，可选地，最大化)。可对特定步态阶段执行这样的学习处理。

在不是学习模式的正常模式下，学习器640确定期望的(或者，可选地，最佳的)力矩控制变量而不执行学习处理。例如，学习器640通过基于从先前学习结果得到的参数将与用户的当前步态阶段对应的状态变量值施加到力矩控制变量确定函数，来确定期望的(或者，可选地，最佳的)力矩控制变量。期望的(或者，可选地，最佳的)力矩控制变量还可用于精细调节由状态变量延迟器630施加的时间延迟。

力矩控制变量平滑器650对检索力矩控制变量或期望的(或者，可选地，最佳的)力矩控制变量进行平滑。参照图11，力矩控制变量平滑器650执行这样的平滑处理，使得力矩控制变量在施加力矩控制变量的时间点附近以及在终止施加的时间点附近逐渐改变。因此，可抑制(或者，可选地，防止)由步行辅助装置600提供的辅助力矩快速地改变。

返回参照图6，力矩控制变量平滑器650通过将平滑的力矩控制变量施加到从状态变量延迟器630输出的第二状态变量来生成第三状态变量，并输出生成的第三状态变量。力矩控制信号生成器660基于第三状态变量生成辅助力矩控制信号，并将生成的辅助力矩控制信号发送到步行辅助装置600。力矩控制信号生成器660通过将用于调节辅助力矩的强度的增益施加到第三状态变量来生成辅助力矩控制信号。辅助力矩控制信号可在用户的一个步态周期内被保持。在一个示例中，力矩控制信号生成器660将辅助力矩控制信号反相以生成反相的辅助力矩控制信号。辅助力矩控制信号可被施加以辅助用户的左腿步行，反相的辅助力矩控制信号可被施加以辅助用户的右腿步行。

图12是示出根据至少一个示例实施例的用于控制物理交互装置的系统的配置的示图。用于控制物理交互装置的系统在下文中将被简称为控制系统。

参照图12，上面参照图1至图11描述的示例实施例是可扩展的并且可应用于控制与人物理交互的物理交互装置1200。例如，物理交互装置1200包括基于轮的移动机器人、铰接式机器人肢体、双足步行人形机器人等。

当在用户与物理交互装置1200之间存在物理交互时，为了用户和物理交互装置1200的安全，被配置为控制物理交互装置1200的控制装置1210可对用于控制物理交互装置1200的控制信号进行平滑或有意地对用于控制物理交互装置1200的控制信号进行时间延迟。类似于图6中所示的步行辅助装置600的控制装置610，控制装置1210包括状态变量平滑器1220、状态变量延迟器1230、学习器1240、动力控制变量平滑器1250和动力控制信号生成器1260。控制装置1210的这些组件的各自的操作分别对应于控制装置610的组件的操作，因此，为了简明，这里将省略操作的详细描述。然而，图12的控制装置1210与图6的控制装置610不同之处可在于：控制装置1210通过动力控制信号生成器1260来生成动力控制信号，以控制物理交互装置1200的驱动器，而控制装置610生成辅助力矩控制信号来控制步行辅助装置600的辅助力矩。

学习器1240基于由物理交互装置1200的传感器测量的信息确定是否发生定义的(或者，可选地，预先定义的)事件，并且响应于事件发生而执行学习处理。例如，当存在用户-机器人相互接触或交互时，学习器1240学习对由用户最优选的反应进行学习的用户定制控制操作。计算用于学习的状态变量、分数等的方法可如步行辅助装置的示例中所述地变化。此外，除了强化学习之外，学习器1240可使用其他优化或学习算法(诸如，进化计算)来执行学习处理。

如上所述，控制装置1210可促进用户与物理交互装置1200之间的更平滑且更安全的动作-反应交互。

图13A至图13D是示出根据至少一个示例实施例的用于控制物理交互装置的控制系统的不同示例的示图。

参照图13A至图13D，用于控制物理交互装置1300的控制系统可通过物理交互装置1300、状态变量平滑器1310、状态变量延迟器1320、学习器1330、动力控制变量平滑器1340和动力控制变量延迟器1350的选择性组合来实现。此外，每个选择性组合中的组件或元件的连接可以以各种方式实现。

可使用硬件组件和软件组件来实现在此描述的单元和/或模块。例如，硬件组件可包括麦克风、放大器、带通滤波器、音频到数字转换器和处理装置。可使用一个或多个硬件装置来实现处理装置，该硬件装置被配置为通过执行算术、逻辑和输入/输出操作来实现和/或执行程序代码。一个或多个处理装置可包括处理器、控制器和算术逻辑单元、数字信号处理器、微型计算机、现场可编程阵列、可编程逻辑单元、微处理器或能够以限定的方式响应并执行指令的任何其他装置。处理装置可运行操作系统(OS)和在OS上运行的一个或多个软件应用。响应于软件的执行，处理装置还可访问、存储、操控、处理和创建数据。为了简单起见，处理装置的描述用作单数，然而，本领域技术人员将理解，处理装置可包括多个处理元件和多种类型的处理元件。例如，处理装置可包括多个处理器或者处理器和控制器。此外，不同的处理配置是可能的，诸如，并行处理器。

软件可包括计算机程序、代码段、指令或它们的一些组合，以独立地或共同地指示和/或配置处理装置按照期望进行操作，从而将处理装置转换为专用处理器。软件和数据可以永久或临时地实现在任何类型的机器、组件、物理装备或虚拟装备、计算机存储介质或装置中，或者永久或临时地实现在能够将指令或数据提供到处理装置或者能够由处理装置解释的传播信号波中。软件还可分布在联网的计算机系统上，使得软件以分布式方式被存储和执行。软件和数据可由一个或多个非暂时性计算机可读记录介质来存储。

根据上述示例实施例的方法可被记录在包括程序指令的非暂时性计算机可读介质中，以实现上述示例实施例的各种操作。介质还可单独地包括程序指令、数据文件、数据结构等或组合地包括与程序指令、数据文件、数据结构等。记录在介质上的程序指令可以是为了示例实施例的目的而专门设计和构造的程序指令，或者它们可以是计算机软件领域的技术人员公知和可用的种类。非暂时性计算机可读介质的示例包括：磁介质(诸如，硬盘、软盘和磁带)；光学介质(诸如，CD-ROM盘、DVD和/或蓝光盘)；磁光介质(诸如，光盘)；以及被专门配置为存储和执行程序指令的硬件装置(诸如，只读存储器(ROM)、随机存取存储器(RAM)、闪存(例如，USB闪存驱动器、存储器卡、记忆棒等)等)。程序指令的示例包括机器代码(诸如，由编译器产生的代码)和包含可由计算机使用解释器执行的高级代码的文件两者。上述装置可被配置为作为一个或多个软件模块以执行上述示例实施例的操作，反之亦然。

上面已经描述了若干示例实施例。然而，应理解，可对这些示例实施例进行各种修改。例如，如果描述的技术以不同的顺序被执行，和/或如果描述的系统、架构、装置或电路中的组件以不同的方式被组合和/或由其他组件或它们的等同物代替或补充，则可实现合适的结果。因此，其他实施方式在所附权利要求的范围内。

Claims (20)

1.一种控制步行辅助装置的方法，所述步行辅助装置被配置为由用户穿戴，所述方法包括：

基于用户的步态确定用户的步态阶段的第一状态变量；

通过对第一状态变量进行平滑和时间延迟来获得第二状态变量；

通过将力矩控制变量施加到第二状态变量来获得第三状态变量；以及

基于第三状态变量确定由所述步行辅助装置提供的辅助力矩。

2.如权利要求1所述的方法，还包括：

响应于用户的步态周期中的步态阶段对应于设置的步态阶段，确定力矩控制变量。

3.如权利要求2所述的方法，还包括：

对力矩控制变量进行平滑来生成平滑的力矩控制变量，其中，

获得第三状态变量的步骤包括：通过将平滑的力矩控制变量施加到第二状态变量来获得第三状态变量。

4.如权利要求2所述的方法，其中，在正常模式下，确定力矩控制变量的步骤包括：

通过基于从先前学习结果得到的参数将与用户的步态周期中的当前步态阶段对应的状态变量值施加到力矩控制变量确定函数，来确定期望的力矩控制变量。

5.如权利要求2所述的方法，其中，在学习模式下，确定力矩控制变量的步骤包括：

确定基于概率函数生成的检索力矩控制变量，以及

将检索力矩控制变量设置为力矩控制变量。

6.如权利要求5所述的方法，其中，在学习模式下，确定力矩控制变量的步骤还包括：

基于从用户的先前步态确定的步行辅助动力指数来确定先前力矩控制变量的分数；以及

确定所述分数是否满足条件，

其中，响应于所述分数不满足所述条件，执行确定基于概率函数生成的检索力矩控制变量的步骤。

7.如权利要求6所述的方法，其中，步行辅助动力指数包括：

第一步行辅助动力指数，指示由所述步行辅助装置传递的步行辅助动力的大小，以及

第二步行辅助动力指数，指示由所述步行辅助装置对步行中的用户的阻碍程度。

8.如权利要求7所述的方法，其中，确定所述分数的步骤包括：

基于第一步行辅助动力指数和第二步行辅助动力指数的加权和来确定所述分数。

9.如权利要求1所述的方法，其中，确定第一状态变量的步骤包括：

基于由所述步行辅助装置的传感器测量的用户的髋关节角度信息来确定第一状态变量。

10.如权利要求1所述的方法，其中，获得第二状态变量的步骤包括：

对第一状态变量进行平滑以生成平滑的第一状态变量；以及

通过对平滑的第一状态变量进行时间延迟来获得第二状态变量。

11.如权利要求10所述的方法，其中，平滑的步骤包括：

基于针对当前步态周期确定的第一状态变量和针对先前步态周期确定的第一状态变量，来获得平滑的第一状态变量。

12.一种非暂时性计算机可读介质，包括计算机可读指令，当由计算机执行所述计算机可读指令时使得计算机执行如权利要求1所述的方法。

13.一种被配置为控制步行辅助装置的装置，所述装置包括：

存储器；以及

控制器，被配置为：通过以下处理，基于穿戴所述步行辅助装置的用户的步态来控制由所述步行辅助装置提供的辅助力矩：

基于所述步态确定用户的步态阶段的第一状态变量，

通过对第一状态变量进行平滑和时间延迟来获得第二状态变量，

通过将力矩控制变量施加到第二状态变量来获得第三状态变量，以及

基于第三状态变量确定将由所述步行辅助装置提供的辅助力矩。

14.如权利要求13所述的装置，其中，控制器被配置为：

基于第一状态变量确定用户的步态周期中的步态阶段，以及

响应于所述步态阶段对应于设置的步态阶段，确定力矩控制变量。

15.如权利要求14所述的装置，其中，控制器被配置为：通过以下处理获得第三状态变量：

对力矩控制变量进行平滑以生成平滑的力矩控制变量，以及

将平滑的力矩控制变量施加到第二状态变量以获得第三状态变量。

16.如权利要求14所述的装置，其中，控制器被配置为：在学习模式下操作，以：

确定力矩控制变量，

基于从用户的先前步态确定的步行辅助动力指数来确定先前力矩控制变量的分数，

响应于所述分数不满足设置的条件，确定基于概率函数生成的检索力矩控制变量，以及

将检索力矩控制变量设置为力矩控制变量。

17.如权利要求16所述的装置，其中，所述步行辅助动力指数包括：

第一步行辅助动力指数，指示由所述步行辅助装置传递的步行辅助动力的大小，以及

第二步行辅助动力指数，指示由所述步行辅助装置对步行中的用户的阻碍程度。

18.一种步行辅助装置，包括：

传感器，被配置为：测量穿戴所述步行辅助装置的用户的步态；

驱动器，被配置为：基于力矩控制信号操作所述步行辅助装置的致动器，以向用户提供辅助力矩；以及

控制器，被配置为：通过以下处理，基于由传感器测量的步态生成力矩控制信号以控制辅助力矩：

基于所述步态确定用户的步态阶段的第一状态变量，

通过对第一状态变量进行平滑和时间延迟来获得第二状态变量，

通过将力矩控制变量施加到第二状态变量来获得第三状态变量；以及

基于第三状态变量确定由所述步行辅助装置提供的辅助力矩。

19.如权利要求18所述的步行辅助装置，其中，控制器被配置为：

基于第一状态变量确定用户的步态周期中的步态阶段，以及

响应于所述步态阶段对应于设置的步态阶段，确定力矩控制变量。

20.如权利要求19所述的步行辅助装置，其中，控制器被配置为：通过以下处理获得第三状态变量：

对力矩控制变量进行平滑以生成平滑的力矩控制变量，以及

将平滑的力矩控制变量施加到第二状态变量以获得第三状态变量。

Images