[go: up one dir, main page]

CN116126143A - 交互方法、装置、电子设备、存储介质及程序产品 - Google Patents

交互方法、装置、电子设备、存储介质及程序产品 Download PDF

Info

Publication number
CN116126143A
CN116126143A CN202310036004.4A CN202310036004A CN116126143A CN 116126143 A CN116126143 A CN 116126143A CN 202310036004 A CN202310036004 A CN 202310036004A CN 116126143 A CN116126143 A CN 116126143A
Authority
CN
China
Prior art keywords
user
interaction
interface
interactive interface
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310036004.4A
Other languages
English (en)
Inventor
刘静薇
刘硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202310036004.4A priority Critical patent/CN116126143A/zh
Publication of CN116126143A publication Critical patent/CN116126143A/zh
Priority to US18/395,374 priority patent/US12504864B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供一种交互方法、装置、电子设备、存储介质及程序产品。具体地，所述交互方法包括：获取用户的触发操作；响应于用户的触发操作，在显示画面中显示第一交互界面；其中，所述第一交互界面的位置被配置为随用户的移动操作而移动；响应于所述第一交互界面的移动数据满足预设转换条件，在所述显示画面中显示标识区域，并将所述第一交互界面转换为第二交互界面显示在所述标识区域的位置。采用本公开的技术方案，用户既能够通过第一交互界面实现快捷交互，也能够以更低功耗的方式通过第二交互界面进行决策，提高用户交互操作的便捷性。

Description

交互方法、装置、电子设备、存储介质及程序产品
技术领域
本公开涉及扩展现实技术领域，尤其涉及一种交互方法、装置、电子设备、存储介质及程序产品。
背景技术
扩展现实(Extended Reality，简称XR)，是指通过计算机将真实与虚拟相结合，打造一个可人机交互的虚拟环境，这也是增强现实(Augmented Reality，简称AR)、虚拟现实(Virtual Reality，简称VR)、混合现实(Mix Reality,简称MR)等多种技术的统称。
对于扩展现实设备，例如VR设备，不依赖手柄或其他控制器，仅使用手的徒手交互得到较为广泛的应用。对于徒手交互，菜单是一个不可或缺的功能。现有技术中，菜单的唤出方式难以满足用户的需求。
发明内容
有鉴于此，本公开的目的在于提一种交互方法、装置、电子设备、存储介质及程序产品。
基于上述目的，第一方面，本公开提供了一种交互方法，包括：
获取用户的触发操作；
响应于用户的触发操作，在显示画面中显示第一交互界面；其中，所述第一交互界面的位置被配置为随用户的移动操作而移动；
响应于所述第一交互界面的移动数据满足预设转换条件，在所述显示画面中显示标识区域，并将所述第一交互界面转换为第二交互界面显示在所述标识区域的位置。
第二方面，本公开实施例提供了一种交互装置，包括：
获取模块，被配置为：获取用户的触发操作；
第一交互模块，被配置为：响应于用户的触发操作，在显示画面中显示第一交互界面；其中，所述第一交互界面的位置被配置为随用户的移动操作而移动；
第二交互模块，被配置为：响应于所述第一交互界面的移动数据满足预设转换条件，在所述显示画面中显示标识区域并将所述第一交互界面转换为第二交互界面显示在所述标识区域的位置。
第三方面，本公开实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面的所述交互方法。
第四方面，本公开实施例提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行如第一方面的所述交互方法。
第五方面，本公开实施例提供了一种计算机程序产品，包括计算机程序指令，当所述计算机程序指令在计算机上运行时，使得计算机执行如第一方面的所述交互方法。
从上面所述可以看出，本公开提供的交互方法、装置、电子设备、存储介质及程序产品，通过获取用户的触发操作，在显示画面中显示第一交互界面；该第一交互界面的位置能够随用户的移动操作而移动；当所述第一交互界面的移动数据满足预设转换条件，在所述显示画面中显示标识区域，并将所述第一交互界面转换为第二交互界面显示在所述标识区域的位置，此时第二交互界面固定于标识区域，脱离执行触发操作的手或手柄，使得用户能够以更低功耗的方式通过第二交互界面进行决策，提高用户交互操作的便捷性。
附图说明
为了更清楚地说明本公开或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种交互方法的效果示意图；
图2为本公开实施例提供的一种交互方法的流程示意图；
图3A～图3C为本公开实施例提供的又一种交互方法的触发操作的示意图；
图4A～图4D为本公开实施例提供的另一交互方法的流程示意图；
图5为本公开实施例提供提供的预设转换范围的示意图；
图6A～图6B为本公开实施例提供的交互方法的关闭操作的示意图；
图7为本公开实施例所提供的示例性装置示意图；
图8为本公开实施例所提供的示例性电子设备的硬件结构的示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
需要说明的是，除非另外定义，本公开实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。
如背景技术所述，不依赖手柄或其他控制器，仅使用手的徒手交互在扩展现实设备中得到较为广泛的应用。扩展现实设备，借助图像采集单元或者智能手套等获取用户手的姿态数据，并将用户手的姿态映射显示在头戴式显示设备、VR眼镜等的显示画面中，用户通过控制手的姿态与显示画面进行交互。本领域技术人员能够理解的是，这里的显示画面可以是虚拟画面(例如VR)，也可以是现实和虚拟结合的画面(例如MR)。
对于徒手交互，交互界面是一个不可或缺的功能。如图1所示，交互界面绑定于左手上，右手能够对交互项目进行选择。这样的方式需要两个手配合，而且左手的姿势为抬起，若菜单层级较多，用户选择时需要较大的功耗，影响用户的选择能力，降低用户体验。
有鉴于此，本公开实施例提供了一种交互方法、装置、电子设备、存储介质及程序产品，通过获取用户的触发操作，在显示画面中显示第一交互界面；该第一交互界面的位置能够随用户的移动操作而移动；当所述第一交互界面的移动数据满足预设转换条件，在所述显示画面中显示标识区域，并将所述第一交互界面转换为第二交互界面显示在所述标识区域的位置，此时第二交互界面固定于标识区域，脱离执行触发操作的手或手柄，使得用户能够以更低功耗的方式通过第二交互界面进行决策，提高用户交互操作的便捷性。
图2示出了本公开实施例所提供的交互方法的流程示意图。所述交互方法，包括：
步骤S201：获取用户的触发操作。这里，不同的交互模式对应不同的触发操作。
在一些实施例中，所述交互方法的模式为手势模式；获取用户的触发操作的步骤可以包括：
获取用户的第一单手手势；这里，借助图像采集单元或者智能手套等设备可以获取用户手的姿态数据。
本领域技术人员能够理解的，图像采集单元可以设置在头戴式显示设备上，也可以设置于现实空间中，这里不做具体限定。
对于根据姿态数据(例如图像数据)，确定第一单手手势的方法属于现有技术，本领域技术人员可以根据姿态数据的类型进行合理选择，这里不做具体限定。
需要说明的是，第一单手手势可以是一个姿态，也可以是一系列姿态的组合，不做限定。
接着，响应于所述第一单手手势与触发手势匹配成功，确定所述第一单手手势为触发操作。
这里，触发手势为预先设定。例如，图3A～图3C所示，触发手势为由图3A的张开到图3B的闭合。当用户的第一单手手势为先张开后闭合时，即可以确定为触发手势，表明用户发出了触发操作。当然，触发手势也可以是其他手势，例如拇指捏合食指，这里不做具体限定。
本公开实施例的交互方法不仅适用于手势模式，也适用于采用手柄进行交互的系统。
由此，在一些可替代的实施例中，所述交互方法的模式为手柄模式时，所述获取用户的触发操作的步骤，具体包括：
获取用户对手柄第一预定按键的触发操作。示例性的，这里第一预定按键可以是菜单键(Menu键)。应当理解的是，当用户触发第一预定按键时，表明用户进行了触发操作。
步骤S203：响应于用户的触发操作，在显示画面中显示第一交互界面(如图4A所示)；其中，所述第一交互界面的位置被配置为随用户的移动操作而移动。
如前所述，显示画面可以通过显示设备进行显示。这里显示设备可以是XR(例如VR、MR)系统中的头戴式显示设备、智能眼镜等。这里，显示画面可以是虚拟画面，也可是虚拟画面和现实画面的结合，这里不做限定。应当理解的是，显示画面是指通过显示设备显示的画面，既可以包括渲染画面、现实画面，还可以包括用户游戏操作的互动界面。
可选地，第一交互界面为快捷菜单。本领域技术人员能够理解的，快捷菜单的功能较少，但较为常用，便于用户快速操作，有助于提高交互的效率。
可选地，第一交互界面显示在手或手柄的上方、覆盖手或手柄、或者任何预设的位置，不做限定。将第一交互界面显示在手或手柄的上方、覆盖手或手柄，在第一交互界面随手或手柄移动时更加直观，有助于用户查看。
进一步地，所述第一交互界面被配置为接收未执行触发操作的手或手柄的选择操作。需要说明的是，显示画面中显示出第一交互界面时，用户可以通过未执行触发操作的手或手柄对第一交互界面的项目进行选择，从而实现与XR设备的交互。
这里，由于第一交互界面随执行触发操作的手或手柄移动，通过未执行触发操作的手或手柄执行选择操作更加方便，且能够减少误操作。
可选地，用户的移动操作可以通过执行触发操作的手或手柄的移动来实现。当然，用户的移动也可以通过身体其他部位的移动来实现，例如头部，这里不做具体限定。
步骤S205：响应于所述第一交互界面的移动数据满足预设转换条件(如图4B所示)，在所述显示画面中显示标识区域(如图4C所示)，并将所述第一交互界面转换为第二交互界面显示在所述标识区域的位置(如图4D所示)。
在一些实施例中，所述标识区域的位置基于触发操作时左右手或左右手柄的位置确定。本领域技术人员能够理解的，借助图像采集单元、智能手套等设备可以确定用户左右手、左右手柄的位置信息。当然，通过左右手柄自身的定位器件同样可以确定左右手柄的位置信息。对此，本公开不做具体限定。
需要说明的是，第一交互界面能够随用户的移动操作而移动，也就是说移动操作能够带动所述第一交互界面移动，当移动数据满足预设转换条件，就能够实现将第一交互界面转换为第二交互界面固定于所述标识区域的位置，使得用户无需保持某一姿势能够更自由的活动，降低了交互的功耗，提高了交互的舒适度，有利于提高用户交互体验。
特别是，用户的移动操作由执行触发操作的手或手柄执行时，将第二交互界面固定的方式，使得触发操作手无需保持单一姿势能够自由活动，能够极大改善触发操作的手的功耗，增加操作便捷性。
可选地，所述标识区域的位置处于所述左右手或左右手柄的中间。示例性地，所述标识区域与左手(左手柄)的距离等于所述标识区域与右手(右手柄)的距离。
可选地，所述标识区域的尺寸也可以超过所述左右手或左右手柄间的距离。
可选地，所述标识区域在所述显示画面中悬空设置。可选地，所述标识区域为反馈框，例如不透明方框。
本领域技术人员能够理解的，所述标识区域在显示画面中的位置可以固定，不因显示画面中的虚拟画面或现实画面的变化而移动。
在一些实施例中，所述第二交互界面可以与第一交互界面有关，例如是所述第一交互界面的展开界面。通过这样的方式，无需对第一交互界面进行一一点击就可以实现展开，更加便捷，有利于提高用户交互体验。在一些实施例中，所述第二交互界面还可以是第一交互界面的放大界面。
本领域技术人员能够理解的是，第二交互界面也可以是与第一交互界面无关的预设界面。例如，用户或者系统可以设置第一交互界面的内容以及第二交互界面的内容。
相比于第一交互界面，第二交互界面可以包括更多的功能选项，便于用户直接选择操作。
可选地，第二交互界面中部分功能选项可以通过点击展开，这里不做限定。
进一步地，所述第二交互界面被配置为接收未执行触发操作的手或手柄的选择操作。需要说明的是，显示画面中显示出第二交互界面时，用户可以通过未执行触发操作的手或手柄对第二交互界面的项目进行选择，从而实现与XR设备的交互。这里，通过未执行触发操作的手或手柄执行选择操作更加方便，也不会带来误操作。
当然，基于交互的设定条件，也可以接收执行触发操作的手或手柄的选择操作。
在一些实施例中，所述预设转换条件包括预设转换范围和预设转换时间。步骤S205具体包括：
请参阅图4B和图4C，响应于所述第一交互界面移动至所述预设转换范围，在所述显示画面中显示标识区域；其中，所述预设转换范围与所述标识区域的位置相匹配。
需要说说明的是，这里的匹配是指预设转换范围和标识区域的范围具有一定的对应关系，预设转换范围可以大于标识区域的尺寸，也可以小于标识区域的尺寸，不做具体限定。
可选地，请参阅图5，在第一方向上(例如水平方向)，所述预设转换范围为触发操作时左右手或左右手柄之间的一定区域(如图5中右图虚线所示)。
可选地，所述预设转换范围在垂直于第一方向(例如竖直方向)的区域为触发操作时显示画面在该方向的视野范围，或者视野范围的指定区域，例如中间区域(如图5中左图、中间图的虚线所示)。
响应于所述第一交互界面在所述预设转换范围停留时间不小于所述预设转换时间，将所述第一交互界面转换为第二交互界面显示在所述标识区域的位置(如图4D所示)。
需要说明的是，预设转换时间可以是200ms、300ms等，这里不做具体限定。
在一些实施例中，所述预设转换条件还包括预设视线位置；所述交互方法还包括：
获取用户的头部姿态信息；这里，通过惯性测量单元(Inertial MeasurementUnit，简写IMU)可以得到用户的头部姿态信息。本领域技术人员能够理解的，惯性测量单元可以设置于头戴式显示设备、智能眼镜等设备中，这里不做限定。
响应于根据所述头部姿态信息确定用户的视线位于左右手或左右手柄之间，即用户的视线位于预设视线位置，在所述显示画面中显示标识区域；否则，控制所述显示设备继续显示所述第一交互界面。
在一些实施例中，当预设转换条件同时包括预设转换范围以及预设视线位置时，则需同时满足所述第一交互界面移动至所述预设转换范围以及用户的视线位于左右手或左右手柄之间，所述显示画面中才显示标识区域。也就是说，两个条件缺一不可，任一条件不满足的情况下均无法显示标识区域。当然，在其他实施例中，也可以根据实际需要来设定显示标识区域的条件。
通过确定用户的视线位置，可以进一步地确定用户是否具有转换第一交互界面的意图，若用户的关注点不在两手之间则表明用户无意对第一交互界面进行转换，从而提高交互的精准性。
在一些实施例中，所述将所述第一交互界面转换为第二交互界面显示在所述标识区域的位置步骤之后，还包括：
获取用户的返回操作；这里，返回操作的具体方式可以设定，这里不做限定。
响应于用户的返回操作，将所述第二交互界面返回为所述第一交互界面重新显示在所述显示画面中。
示例性地，所述交互方法的模式为手势模式；所述获取用户的返回操作的步骤，具体包括：
获取用户的第二单手手势；可选地，第二单手手势可以在图像采集设备识别范围内完成，也可以在标识区域附近完成，这里不做限定。
响应于所述第二单手手势与返回手势匹配成功，确定所述第二单手手势为返回操作。
可选地，返回手势为手闭合握拳(如图3B所示)。
示例性地，所述交互方法的模式为手柄模式，所述获取用户的返回操作的步骤，具体包括：
获取用户对手柄第二预定按键的触发操作；其中，所述第二预定按键被配置为在显示画面中包括第二交互界面时触发返回操作。
需要说明的是，第二预定按键可以是菜单按键，也就是同一个按键在不同的显示画面中具有不同的功能。
在一些实施例中，所述交互方法还包括：
获取用户的关闭操作；这里，关闭操作的具体方式可以设定，这里不做限定。
响应于用户的关闭操作，所述显示画面停止显示所述第一交互界面或所述第二交互界面。
示例性地，所述交互方法的模式为手势模式；所述获取用户的关闭操作的步骤，具体包括：
获取用户的第三单手手势；
响应于所述第三单手手势与关闭手势匹配成功，确定所述第三单手手势为关闭操作。可选地，如图6A和6B所示，关闭手势为张开手置于视野前方(图6A)，然后握拳(图6B)。可选地，在显示第一交互界面的情况下，关闭手势可以是张开手。
本领域技术人员理解的，也可以采用双手手势，这里不再列举。
示例性地，所述交互方法的模式为手柄模式，所述获取用户的关闭操作的步骤，具体包括：
获取所述手柄的运动信息；
响应于所述运动信息与关闭操作的运动条件匹配，则确定所述手柄的运动为关闭操作。可选地，所述运动条件为摇动手柄。
需要说明的是，手柄在显示画面中可以是手柄形态，也可以是模拟手的形态，这里不做限定。
需要说明的是，本公开实施例的方法可以由单个设备执行，例如一头戴式显示设备或VR眼镜等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本公开实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是，上述对本公开的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种交互装置。
参考图7，所述交互装置，包括：
获取模块701，被配置为：获取用户的触发操作；
第一交互模块703，被配置为：响应于用户的触发操作，在显示画面中显示第一交互界面；其中，所述第一交互界面的位置被配置为随用户的移动操作而移动；
第二交互模块705，被配置为：响应于所述第一交互界面的移动数据满足预设转换条件，在所述显示画面中显示标识区域并将所述第一交互界面转换为第二交互界面显示在所述标识区域的位置。
在一些实施例中，所述标识区域的位置基于触发操作时左右手或左右手柄的位置确定。
在一些实施例中，所述第二交互界面为所述第一交互界面的展开界面。
在一些实施例中，所述交互方法的模式为手势模式；所述获取模块701被配置为：
获取用户的第一单手手势；
响应于所述第一单手手势与触发手势匹配成功，确定所述第一单手手势为触发操作；或
所述交互方法的模式为手柄模式，所述获取模块701被配置为：
获取用户对手柄第一预定按键的触发操作。
在一些实施例中，所述预设转换条件包括预设转换范围和预设转换时间；第二交互模块705，还被配置为：响应于所述第一交互界面移动至所述预设转换范围，在所述显示画面中显示标识区域；
响应于所述第一交互界面在所述预设转换范围停留时间不小于所述预设转换时间，将所述第一交互界面转换为第二交互界面显示在所述标识区域的位置；
其中，所述预设转换范围与所述标识区域的位置相匹配。
在一些实施例中，所述预设转换条件还包括预设视线位置；获取模块701，还被配置为：获取用户的头部姿态信息；
第二交互模块705，还被配置为：响应于根据所述头部姿态信息确定用户的视线位于左右手或左右手柄之间，控制所述显示设备在所述显示画面中显示标识区域；
否则，继续显示所述第一交互界面。
在一些实施例中，所述第一交互界面和所述第二交互界面被配置为接收未执行触发操作的手或手柄的选择操作。
在一些实施例中，还包括返回模块，被配置为：
获取用户的返回操作；
响应于用户的返回操作，将所述第二交互界面返回为所述第一交互界面重新显示在所述显示画面中。
在一些实施例中，所述交互方法的模式为手势模式；所述返回模块，还被配置为：获取用户的第二单手手势；
响应于所述第二单手手势与返回手势匹配成功，确定所述第二单手手势为返回操作；或
所述交互方法的模式为手柄模式，所述返回模块，还被配置为：
获取用户对手柄第二预定按键的触发操作；其中，所述第二预定按键被配置为在显示画面中包括第二交互界面时触发返回操作。
在一些实施例中，还包括关闭模块，被配置为：获取用户的关闭操作；
响应于用户的关闭操作，所述显示画面停止显示所述第一交互界面或所述第二交互界面。
在一些实施例中，所述交互方法的模式为手势模式；所述关闭模块，还被配置为：获取用户的第三单手手势；
响应于所述第三单手手势与关闭手势匹配成功，确定所述第三单手手势为关闭操作；或
所述交互方法的模式为手柄模式，所述述关闭模块，还被配置为：获取所述手柄的运动信息；
响应于所述运动信息与关闭操作的运动条件匹配，则确定所述手柄的运动为关闭操作。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本公开时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述任一实施例中相应的交互方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
本公开实施例提供一种交互方法，包括：
步骤S201：获取用户的触发操作；
步骤S203：响应于用户的触发操作，在显示画面中显示第一交互界面；其中，所述第一交互界面的位置被配置为随用户的移动操作而移动；
步骤S205：响应于所述第一交互界面的移动数据满足预设转换条件，在所述显示画面中显示标识区域，并将所述第一交互界面转换为第二交互界面显示在所述标识区域的位置。
在一些实施例中，所述标识区域的位置基于触发操作时左右手或左右手柄的位置确定。
在一些实施例中，所述第二交互界面为所述第一交互界面的展开界面。
在一些实施例中，所述交互方法的模式为手势模式；所述获取用户的触发操作的步骤，具体包括：
获取用户的第一单手手势；
响应于所述第一单手手势与触发手势匹配成功，确定所述第一单手手势为触发操作；或
所述交互方法的模式为手柄模式，所述获取用户的触发操作的步骤，具体包括：
获取用户对手柄第一预定按键的触发操作。
在一些实施例中，所述预设转换条件包括预设转换范围和预设转换时间；
所述响应于所述第一交互界面的移动数据满足预设转换条件，在所述显示画面中显示标识区域，并将所述第一交互界面转换为第二交互界面显示在所述标识区域的位置的步骤，具体包括：
响应于所述第一交互界面移动至所述预设转换范围，在所述显示画面中显示标识区域；
响应于所述第一交互界面在所述预设转换范围停留时间不小于所述预设转换时间，将所述第一交互界面转换为第二交互界面显示在所述标识区域的位置；
其中，所述预设转换范围与所述标识区域的位置相匹配。
在一些实施例中，所述预设转换条件还包括预设视线位置；所述交互方法还包括：
获取用户的头部姿态信息；
响应于根据所述头部姿态信息确定用户的视线位于左右手或左右手柄之间，在所述显示画面中显示标识区域；
否则，继续显示所述第一交互界面。
在一些实施例中，所述第一交互界面和所述第二交互界面被配置为接收未执行触发操作的手或手柄的选择操作。
在一些实施例中，所述将所述第一交互界面转换为第二交互界面显示在所述标识区域的位置步骤之后，还包括：
获取用户的返回操作；
响应于用户的返回操作，将所述第二交互界面返回为所述第一交互界面重新显示在所述显示画面中。
在一些实施例中，所述交互方法的模式为手势模式；所述获取用户的返回操作的步骤，具体包括：
获取用户的第二单手手势；
响应于所述第二单手手势与返回手势匹配成功，确定所述第二单手手势为返回操作；或
所述交互方法的模式为手柄模式，所述获取用户的返回操作的步骤，具体包括：
获取用户对手柄第二预定按键的触发操作；其中，所述第二预定按键被配置为在显示画面中包括第二交互界面时触发返回操作。
在一些实施例中，还包括：
获取用户的关闭操作；
响应于用户的关闭操作，所述显示画面停止显示所述第一交互界面或所述第二交互界面。
在一些实施例中，所述交互方法的模式为手势模式；所述获取用户的关闭操作的步骤，具体包括：
获取用户的第三单手手势；
响应于所述第三单手手势与关闭手势匹配成功，确定所述第三单手手势为关闭操作；或
所述交互方法的模式为手柄模式，所述获取用户的关闭操作的步骤，具体包括：
获取所述手柄的运动信息；
响应于所述运动信息与关闭操作的运动条件匹配，则确定所述手柄的运动为关闭操作。
本公开实施例还提供一种交互装置，包括：
获取模块701，被配置为：获取用户的触发操作；
第一交互模块703，被配置为：响应于用户的触发操作，在显示画面中显示第一交互界面；其中，所述第一交互界面的位置被配置为随用户的移动操作而移动；
第二交互模块705，被配置为：响应于所述第一交互界面的移动数据满足预设转换条件，在所述显示画面中显示标识区域并将所述第一交互界面转换为第二交互界面显示在所述标识区域的位置。
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的交互方法。
图8示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
上述实施例的电子设备用于实现前述任一实施例中相应的交互方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的交互方法。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的交互方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种计算机程序产品，其包括计算机程序。在一些实施例中，所述计算机程序由一个或多个处理器执行以使得所述处理器执行上述实施例所述交互方法。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本公开实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本公开实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本公开实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本公开实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本公开实施例。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本公开实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本公开实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (15)

1.一种交互方法，其特征在于，包括：
获取用户的触发操作；
响应于用户的触发操作，在显示画面中显示第一交互界面；其中，所述第一交互界面的位置被配置为随用户的移动操作而移动；
响应于所述第一交互界面的移动数据满足预设转换条件，在所述显示画面中显示标识区域，并将所述第一交互界面转换为第二交互界面显示在所述标识区域的位置。
2.根据权利要求1所述的交互方法，其特征在于，所述标识区域的位置基于触发操作时左右手或左右手柄的位置确定。
3.根据权利求1所述的交互方法，其特征在于，所述第二交互界面为所述第一交互界面的展开界面。
4.根据权利要求1所述的交互方法，其特征在于，所述交互方法的模式为手势模式；所述获取用户的触发操作的步骤，具体包括：
获取用户的第一单手手势；
响应于所述第一单手手势与触发手势匹配成功，确定所述第一单手手势为触发操作；或
所述交互方法的模式为手柄模式，所述获取用户的触发操作的步骤，具体包括：
获取用户对手柄第一预定按键的触发操作。
5.根据权利要求1所述的交互方法，其特征在于，所述预设转换条件包括预设转换范围和预设转换时间；
所述响应于所述第一交互界面的移动数据满足预设转换条件，在所述显示画面中显示标识区域，并将所述第一交互界面转换为第二交互界面显示在所述标识区域的位置的步骤，具体包括：
响应于所述第一交互界面移动至所述预设转换范围，在所述显示画面中显示标识区域；
响应于所述第一交互界面在所述预设转换范围停留时间不小于所述预设转换时间，将所述第一交互界面转换为第二交互界面显示在所述标识区域的位置；
其中，所述预设转换范围与所述标识区域的位置相匹配。
6.根据权利要求5所述的交互方法，其特征在于，所述预设转换条件还包括预设视线位置；所述交互方法还包括：
获取用户的头部姿态信息；
响应于根据所述头部姿态信息确定用户的视线位于左右手或左右手柄之间，在所述显示画面中显示标识区域；
否则，继续显示所述第一交互界面。
7.根据权利要求1所述的交互方法，其特征在于，所述第一交互界面和所述第二交互界面被配置为接收未执行触发操作的手或手柄的选择操作。
8.根据权利要求1所述的交互方法，其特征在于，所述将所述第一交互界面转换为第二交互界面显示在所述标识区域的位置步骤之后，还包括：
获取用户的返回操作；
响应于用户的返回操作，将所述第二交互界面返回为所述第一交互界面重新显示在所述显示画面中。
9.根据权利要求8所述的交互方法，其特征在于，所述交互方法的模式为手势模式；所述获取用户的返回操作的步骤，具体包括：
获取用户的第二单手手势；
响应于所述第二单手手势与返回手势匹配成功，确定所述第二单手手势为返回操作；或
所述交互方法的模式为手柄模式，所述获取用户的返回操作的步骤，具体包括：
获取用户对手柄第二预定按键的触发操作；其中，所述第二预定按键被配置为在显示画面中包括第二交互界面时触发返回操作。
10.根据权利要求1所述的交互方法，其特征在于，还包括：
获取用户的关闭操作；
响应于用户的关闭操作，所述显示画面停止显示所述第一交互界面或所述第二交互界面。
11.根据权利要求10所述的交互方法，其特征在于，所述交互方法的模式为手势模式；所述获取用户的关闭操作的步骤，具体包括：
获取用户的第三单手手势；
响应于所述第三单手手势与关闭手势匹配成功，确定所述第三单手手势为关闭操作；或
所述交互方法的模式为手柄模式，所述获取用户的关闭操作的步骤，具体包括：
获取所述手柄的运动信息；
响应于所述运动信息与关闭操作的运动条件匹配，则确定所述手柄的运动为关闭操作。
12.一种交互装置，其特征在于，包括：
获取模块，被配置为：获取用户的触发操作；
第一交互模块，被配置为：响应于用户的触发操作，在显示画面中显示第一交互界面；其中，所述第一交互界面的位置被配置为随用户的移动操作而移动；
第二交互模块，被配置为：响应于所述第一交互界面的移动数据满足预设转换条件，在所述显示画面中显示标识区域并将所述第一交互界面转换为第二交互界面显示在所述标识区域的位置。
13.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至11任意一项所述交互方法。
14.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行权利要求1至11任意一项所述交互方法。
15.一种计算机程序产品，其特征在于，包括计算机程序指令，当所述计算机程序指令在计算机上运行时，使得计算机执行如权利要求1～11任意一项所述交互方法。
CN202310036004.4A 2023-01-10 2023-01-10 交互方法、装置、电子设备、存储介质及程序产品 Pending CN116126143A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310036004.4A CN116126143A (zh) 2023-01-10 2023-01-10 交互方法、装置、电子设备、存储介质及程序产品
US18/395,374 US12504864B2 (en) 2023-01-10 2023-12-22 Interactive method, apparatus, electronic device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310036004.4A CN116126143A (zh) 2023-01-10 2023-01-10 交互方法、装置、电子设备、存储介质及程序产品

Publications (1)

Publication Number Publication Date
CN116126143A true CN116126143A (zh) 2023-05-16

Family

ID=86306024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310036004.4A Pending CN116126143A (zh) 2023-01-10 2023-01-10 交互方法、装置、电子设备、存储介质及程序产品

Country Status (2)

Country Link
US (1) US12504864B2 (zh)
CN (1) CN116126143A (zh)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130050069A1 (en) * 2011-08-23 2013-02-28 Sony Corporation, A Japanese Corporation Method and system for use in providing three dimensional user interface
US10203812B2 (en) * 2013-10-10 2019-02-12 Eyesight Mobile Technologies, LTD. Systems, devices, and methods for touch-free typing
US10725733B2 (en) * 2015-12-16 2020-07-28 Sony Corporation Information processing apparatus, information processing method, and program
US10445935B2 (en) * 2017-05-26 2019-10-15 Microsoft Technology Licensing, Llc Using tracking to simulate direct tablet interaction in mixed reality
US11107265B2 (en) * 2019-01-11 2021-08-31 Microsoft Technology Licensing, Llc Holographic palm raycasting for targeting virtual objects
US11043192B2 (en) * 2019-06-07 2021-06-22 Facebook Technologies, Llc Corner-identifiying gesture-driven user interface element gating for artificial reality systems
US10921879B2 (en) * 2019-06-07 2021-02-16 Facebook Technologies, Llc Artificial reality systems with personal assistant element for gating user interface elements
US11226678B2 (en) * 2020-01-27 2022-01-18 Magic Leap, Inc. Gaze timer based augmentation of functionality of a user input device
EP4111291A4 (en) * 2020-02-26 2023-08-16 Magic Leap, Inc. HAND GESTURE INTERVENTION FOR TECHNO-WEAR SYSTEM
US12032803B2 (en) * 2020-09-23 2024-07-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
CN113672158A (zh) 2021-08-20 2021-11-19 上海电气集团股份有限公司 一种增强现实的人机交互方法及设备

Also Published As

Publication number Publication date
US12504864B2 (en) 2025-12-23
US20240231572A1 (en) 2024-07-11

Similar Documents

Publication Publication Date Title
US20220253199A1 (en) Near interaction mode for far virtual object
CN113424142B (zh) 用于提供增强现实用户界面的电子装置及其操作方法
US9389779B2 (en) Depth-based user interface gesture control
JP6602372B2 (ja) コンテキスト情報に基づくタッチ表面の非アクティブ領域
US20140317576A1 (en) Method and system for responding to user's selection gesture of object displayed in three dimensions
Matlani et al. Virtual mouse using hand gestures
JP2017531246A (ja) タッチ入力からの利き手の検出
He et al. Ubi edge: Authoring edge-based opportunistic tangible user interfaces in augmented reality
CN108563335B (zh) 虚拟现实交互方法、装置、存储介质及电子设备
WO2015105756A1 (en) Increasing touch and/or hover accuracy on a touch-enabled device
JP2019087284A (ja) ユーザインタフェースのための対話方法
CN108595010B (zh) 虚拟现实中虚拟物体的交互方法及装置
CN111913674A (zh) 虚拟内容的显示方法、装置、系统、终端设备及存储介质
KR101488662B1 (ko) Nui 장치를 통하여 사용자와 상호작용하는 인터페이스 제공방법 및 제공장치
JP7372945B2 (ja) シナリオ制御方法、装置および電子装置
CN117453037A (zh) 交互方法、头显设备、电子设备及可读存储介质
CN112534390B (zh) 用于提供虚拟输入工具的电子装置及其方法
KR20240167075A (ko) 제스처 기반 애플리케이션 호출
CN116126143A (zh) 交互方法、装置、电子设备、存储介质及程序产品
Choi et al. Bare-hand-based augmented reality interface on mobile phone
US11481110B2 (en) Gesture buttons
KR101482701B1 (ko) 제스처 인터랙션 디자인 장치 및 제스처 인터랙션 디자인 시스템
Torunski et al. Gesture recognition on a mobile device for remote event generation
CN112433624B (zh) 倾角获取方法、装置和电子设备
KR102810584B1 (ko) 에어 제스처에 의한 편집 기능을 제공하기 위한 전자 장치, 그 동작 방법 및 저장 매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination