[go: up one dir, main page]

CN107077450A - 多设备协作 - Google Patents

多设备协作 Download PDF

Info

Publication number
CN107077450A
CN107077450A CN201480083095.6A CN201480083095A CN107077450A CN 107077450 A CN107077450 A CN 107077450A CN 201480083095 A CN201480083095 A CN 201480083095A CN 107077450 A CN107077450 A CN 107077450A
Authority
CN
China
Prior art keywords
computing device
role
tablet computing
content
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480083095.6A
Other languages
English (en)
Other versions
CN107077450B (zh
Inventor
E·M·伦斯福德
D·冈萨雷斯
L·S·威廉斯
Y－Y·黄
T-Y·黄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN107077450A publication Critical patent/CN107077450A/zh
Application granted granted Critical
Publication of CN107077450B publication Critical patent/CN107077450B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/141—Setup of application sessions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/02—Composition of display devices
    • G09G2300/026—Video wall, i.e. juxtaposition of a plurality of screens to create a display screen of bigger dimensions
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/04—Display device controller operating with a plurality of display units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/14—Electronic books and readers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

示例涉及多设备协作。本文公开的示例使得能够由具有第一处理器的第一计算设备在第一计算设备与具有第二处理器的第二计算设备连接时识别要由第一计算设备扮演的第一角色。当第二计算设备与第一计算设备连接时，第二计算设备扮演第二角色。示例还使得能够由第一计算设备确定何时发生至少一个预确定的触发事件，所述至少一个预确定的触发事件引起第一角色和第二角色的切换，使得第一角色由第二计算设备扮演并且第二角色由第一计算设备扮演。

Description

多设备协作
背景技术
近来，便携式计算设备，诸如平板计算机和智能电话，已经变得流行。技术的发展已经通过使这样的设备更小、更薄和更轻而增加了它们的便携性，提供相比传统笔记本计算机的极大优势。然而，这样的便携式设备可能舍弃硬件能力和显示尺寸以作为回报而得到增加的便携性。
附图说明
以下详细描述参考附图，其中：
图1是描绘了包括多个客户端计算设备的示例系统的框图，所述多个客户端计算设备连接在多设备协作环境内。
图2是描绘了示例机器可读存储介质的框图，所述示例机器可读存储介质包括由处理器可执行以用于促进多设备协作的指令。
图3是描绘了用于识别针对多个客户端计算设备的角色并且确定何时发生引起角色切换的至少一个预确定触发事件的示例方法的流程图，所述多个客户端计算设备连接在多设备协作环境中。
图4是描绘了用于识别多个客户端计算设备的角色并且确定何时发生引起角色切换的至少一个预确定触发事件的示例方法的流程图，所述多个客户端计算设备连接在多设备协作环境中。
图5是描绘了包括与键盘角色相关联的客户端计算设备的示例多设备协作环境的图。
图6是描绘了包括与虚拟钢琴键盘角色相关联的客户端计算设备的示例多设备协作环境的图。
图7是描绘了包括显示虚拟钢琴键盘的不同部分的客户端计算设备的示例多设备协作环境的图。
图8是描绘了包括充当电子阅读器的客户端计算设备的示例多设备协作环境的图。
图9是描绘了包括被连接以提供扩展触摸屏空间的客户端计算设备的示例多设备协作环境的图。
具体实施方式
以下详细描述引用随附各图。在任何可能的情况下，在附图和以下描述中使用相同的附图标记来指代相同或相似的部分。然而，要明确理解到，附图仅用于图示和描述的目的。尽管在该文档中描述了若干示例，但是修改、适配和其它实现是可能的。因而，以下详细描述不限制所公开的示例。取而代之，所公开的示例的正确范围可以由随附权利要求限定。
近来，便携式计算设备，诸如平板计算机和智能电话，已经变得流行。技术的发展通过使这样的设备更小、更薄和更轻而增加了它们的便携性，提供相比于传统笔记本计算机的极大优势。然而，这样的便携式设备可能舍弃硬件能力和显示尺寸以作为回报而得到增加的便携性。尽管内容可以在多个便携式设备之间共享以建立更为协作性的环境，但是这仍然不能在协作中最大化多个便携式设备的组合硬件资源和显示器的使用。
本文公开的示例涉及促进多设备协作。特别地，所公开的示例涉及通过经由连接接口连接至少两个设备而建立多设备协作环境。多设备协作环境中的单个设备可以与要由该设备扮演的特定角色相关联。例如，与各单个计算设备相关联的角色可以包括键盘、触觉键盘、虚拟钢琴键盘、游戏控制器、绘图板和/或内容显示器。所公开的示例还涉及确定何时发生至少一个预确定的触发事件，所述至少一个预确定的触发事件引起与多设备协作中的不同计算设备相关联的角色的切换。例如，所述至少一个预确定的触发事件可以包括用户输入、多设备协作环境中的计算设备中的至少一个的方位改变(例如，位置改变)和/或其它触发事件。
图1是描绘了包括多个客户端计算设备的示例系统100的框图，所述多个客户端计算设备连接在多设备协作环境内。
系统100可以包括各种组件，各种组件包括客户端计算设备140(图示为140A，140B，...，140N)。客户端计算设备140可以包括提供用户界面的任何类型的计算设备，用户可以通过所述用户界面与软件应用交互。例如，客户端计算设备140可以包括膝上型计算设备、桌上型计算设备、一体式计算设备、平板计算设备、移动电话(例如，智能电话)、电子书阅读器、网络启用的电器(诸如，“智能”电视)和/或适于显示用户界面并且处理与所显示的界面的用户交互的其它电子设备。
根据各种实现，系统100和本文描述的各种组件可以实现在硬件中和/或配置硬件的编程中。此外，在图1和本文描述的其它图中，可以使用与所描绘的不同数目的组件或实体。
如下文所详述，客户端计算设备140可以包括连接确定引擎121、角色切换引擎122、触觉键盘引擎123、虚拟钢琴引擎124、电子阅读器引擎125、内容组合引擎126和/或其它引擎。如本文中使用的，术语“引擎”是指执行指定功能的硬件和编程的组合。如关于图2所图示的，每一个引擎的硬件例如可以包括处理器和机器可读存储介质中的一个或二者，而编程是存储在机器可读存储介质上并且由处理器可执行以执行指定功能的指令或代码。
连接确定引擎121可以确定第一计算设备(例如，第一平板计算设备)何时连接和/或附连到第二计算设备(例如，第二平板计算设备)。连接和/或附连可以通过至少一个连接接口而实现，所述至少一个连接接口可以促进两个或更多计算设备之间的通信。所述两个或更多计算设备可以使用所定义的协议进行通信。在一个示例中，连接接口可以包括外部连接适配器，所述外部连接适配器可以放置在所述两个或更多计算设备之间。在另一个示例中，所述两个或更多计算设备中的至少一个可以包括连接接口，连接接口包括用于接收其它计算设备的输出的输入和/或用于向其它计算设备发送数据的输出。连接接口可以包括有线和/或无线接口。经由连接接口附连和/或连接的所述两个或更多计算设备可以在本文中称为多设备协作环境。计算设备可以基于连接状态(例如，连接丢失、物理断开等)和/或用户输入(例如，计算设备的用户将设备配置为断开)而从多设备协作环境分离和/或断开。
在一些实现中，当第一计算设备确定其附连和/或连接到第二计算设备时，连接确定引擎121可以识别和/或确定要由第一计算设备扮演的角色。角色可以由连接确定引擎121自动地和/或基于用户输入识别和/或确定。
在一个示例中，连接确定引擎121可以生成提示以用于请求用户选择针对第一计算设备的角色(例如，第一角色)。提示可以经由第一计算设备的显示器进行显示。角色可以从第一计算设备可以能够在多设备协作环境中扮演的不同角色的组进行选择。例如，角色可以包括以下中的至少一个：键盘、触觉键盘、虚拟钢琴键盘、游戏控制器、绘图板、内容显示器和/或其它角色。一旦选择，所选角色就可以与第一计算设备相关联。第一角色和第一计算设备之间的关联可以存储在数据存储装置129中和/或其它数据库中，所述数据存储装置129耦合到第一计算设备和/或耦合到多设备协作环境中的至少一个计算设备。在一些实例中，用户可以使用第一计算设备指定针对第二计算设备的角色(例如，第二角色)。在其它实例中，可以生成提示并且经由第二计算设备向用户提供提示。针对第二计算设备所选择的角色可以与第二计算设备相关联。第二角色和第二计算设备之间的关联可以存储在数据存储装置129中和/或其它数据库中，所述数据存储装置129耦合到第二计算设备和/或耦合到多设备协作环境中的至少一个计算设备。
所存储的关联可以用于识别和/或确定针对特定计算设备的角色，甚至是在特定计算设备从多设备协作环境断开并且重新连接到多设备协作环境之后也是如此。要指出，特定计算设备可以在连接到第一多设备协作环境(例如，包括计算设备A、B和C)时具有第一角色，并且在连接到第二多设备协作环境(例如，包括计算设备A、C和D)时具有与第一角色不同的第二角色。
一旦角色与特定计算设备相关联，计算设备就可以在与多设备协作环境连接时依照相关联的角色进行操作。例如，当第一和第二计算设备相互连接时，第一计算设备可以执行与第一角色(例如，虚拟钢琴键盘)相关联的第一任务集合，并且第二计算设备可以执行与第二角色(例如，乐谱显示器)相关联的第二任务集合。两个设备可以在多设备协作环境中同步工作，使得用户可以通过经由第一计算设备使用虚拟钢琴键盘来弹钢琴，而同时第二计算设备显示乐谱，突显用户刚刚弹奏的音符和/或在例如用户弹奏错误音符时生成提醒。
角色切换引擎122可以确定何时发生至少一个预确定的触发事件，所述至少一个预确定的触发事件引起与多设备协作环境中的不同计算设备相关联的角色的切换。例如，与第一计算设备相关联的第一角色和与第二计算设备相关联的第二角色可以基于至少一个预确定的触发事件的发生而关闭，使得第一角色由第二计算设备扮演并且第二角色由第一计算设备扮演。所述至少一个触发事件可以包括用户输入、多设备协作环境中的计算设备中的至少一个的方位改变(例如，位置改变)和/或其它触发事件。角色切换引擎122可以检测多设备协作环境中的计算设备中的至少一个中的方位改变。
以上面的示例继续，用户可以正通过遵循经由第二计算设备显示的乐谱来使用第一计算设备弹奏虚拟钢琴，第一计算设备可以水平放置在桌子上，第二计算设备可以基本上垂直于第一计算设备直立。用户然后可以调换这两个设备，使得第二计算设备可以水平地放置在桌子上并且第一计算设备可以基本上垂直于第二计算设备直立。在该情况下，角色切换引擎112可以检测到方位改变已经发生。响应于所检测的方位改变，角色切换引擎122可以切换与第一和第二计算设备相关联的角色。例如，基于所检测的方位改变，第一计算设备可以依照第二角色(例如，乐谱显示器)进行操作，而第二计算设备可以依照第一角色(例如，虚拟钢琴键盘)进行操作。存储在数据库129中的关联可以基于角色的切换而更新。
在一些实现中，方位改变可以基于比较当前方位或位置与先前的方位或位置来检测。如果改变等于或大于预确定的阈值，则角色切换引擎122可以确定已经检测到方位改变和/或在多设备协作环境中的至少两个计算设备之间切换角色。
当触觉键盘的角色与特定计算设备相关联时，触觉键盘引擎123可以在连接于多设备协作环境内时使键盘按键中的至少一个从触觉键盘向上地突出。当计算设备从多设备协作环境中的其它设备断开时，键盘按键中的所述至少一个可以向下凹入。
当虚拟钢琴键盘的角色与特定计算设备相关联时，虚拟钢琴引擎124可以经由耦合到计算设备的触摸屏显示器来显示虚拟钢琴键盘。用户可以通过触摸屏显示器上的音符来弹奏虚拟钢琴。在一些实现中，虚拟钢琴计算设备可以在多设备协作环境中与至少一个其它计算设备同步工作。例如，用户可以通过经由第一计算设备使用虚拟钢琴键盘来弹钢琴，而同时第二计算设备显示乐谱。
随着用户使用第一计算设备弹钢琴，虚拟钢琴引擎124可以“运行”第二计算设备上显示的乐谱。可以突显正被弹奏的音符。当用户接近经由第二计算设备正显示的乐谱的最后音符的末尾时，乐谱的下一页可以自动地显现在显示器上。虚拟钢琴引擎124可以基于乐谱来确定用户何时在虚拟钢琴键盘上弹奏错误音符。响应于确定用户弹奏错误音符，虚拟钢琴引擎124可以向用户提供图形、音频和/或触觉反馈，使得用户可以意识到用户已经弹奏错误音符。涉及错误音符的信息可以存储在数据库129中。
在一些实现中，两个或更多计算设备可以显示虚拟钢琴键盘的不同部分。例如，第一计算设备可以显示虚拟钢琴键盘的第一部分，第二计算设备可以显示虚拟钢琴键盘的第二部分，第三计算设备可以显示虚拟钢琴键盘的第三部分等等。以该方式，用户可以能够在更大尺寸的钢琴键盘上进行弹奏，所述更大尺寸的钢琴键盘可以经由多于一个计算设备来显示。类似地，乐谱可以通过多个设备来显示。例如，第一计算设备可以显示乐谱的第一部分，第二计算设备可以显示乐谱的第二部分，第三计算设备可以显示乐谱的第三部分等等。描述虚拟钢琴引擎124的功能性的示例图示在图6-7中示出。
电子阅读器引擎125可以引起第一内容在第一计算设备上的显示和/或引起可以涉及第一内容的至少一部分的第二内容在第二计算设备上的显示。第一和第二内容可以包括文本、图像、视频、音频和/或其它内容。这例如可以允许用户在他们查看另一个屏幕上的相关图像和/或视频的同时阅读一个屏幕上的文本。电子阅读器引擎125可以确定用户何时达到具有相关内容(例如，第二内容)的第一内容的所述至少一部分。这种确定可以基于用户输入(例如，用户翻动页面以移动至下一页，用户突显特定单词等)、基于可以能够确定用户正在看向第一内容的什么部分的眼睛追踪软件和/或其它方式来做出。在确定用户可能已经达到第一内容的所述至少一个部分之后，电子阅读器引擎125可以在第二计算设备上显示相关内容(例如，第二内容)。例如，当用户突显第一内容的特定单词时，可以经由第二计算设备显示该单词的词典含义。
第二内容可以保持可见，直至电子阅读器引擎125确定第二内容不再相关和/或第三内容需要替换第二内容。这种确定可以基于用户输入(例如，用户翻动页面以移动至第一内容的下一页)、基于可以能够确定用户正看向第一内容的什么部分的眼睛追踪软件和/或其它方式来做出。
在一些实现中，第一计算设备和第二计算设备(和/或多设备协作环境中的其它计算设备)在附连和/连接到彼此时可以充当电子书阅读器。描述了电子阅读器引擎125的功能性的示例图示在图8中示出。
内容组合引擎126可以组合经由多设备协作环境中的不同计算设备输入的各种内容。例如，第一计算设备可以包括第一触摸屏，并且第二计算设备包括第二触摸屏。内容组合引擎126可以获取经由第一触摸屏输入的第一内容以及经由第二触摸屏输入的第二内容。内容组合引擎125然后可以生成组合第一内容和第二内容的第三内容。以该方式，用户可以在多个触摸屏显示器之上绘制一个大型图片，并且内容组合引擎126可以捕获跨多个显示器绘制的完整图片和/或存储该图片。描述内容组合引擎126的功能性的示例图示在图9中示出。
在执行其相应功能时，引擎121-126可以访问数据存储装置129。数据存储装置129可以表示引擎121-126可访问的任何存储器，所述存储器可以用于存储和获得数据。数据存储装置129可以包括随机存取存储器(RAM)、只读存储器(ROM)、电子可擦除可编程只读存储器(EEPROM)、高速缓存存储器、软盘、硬盘、光盘、带、固态驱动器、闪速驱动器、便携式压缩盘、和/或用于存储计算机可执行指令和/数据的其它存储介质。
数据存储装置129可以包括组织和存储数据的数据库。数据库可以例如包括或者对接到由Oracle公司商业销售的OracleTM关系数据库。还可以使用、并入和访问其它数据库，诸如InformixTM、DB2(数据库2)或其它数据存储装置，包括基于文件(例如，逗号或标签分离的文件)或询问格式、平台或资源(诸如OLAP(联机分析过程)、SQL(结构化查询语言)、SAN(存储域网络)、Microsoft AccessTM、MySQL、PostgreSQL、HSpace、Apache Cassandra、MongoDB、Apache CouchDBTM或者其它)。数据库可以驻留在单个或多个物理设备中以及单个或多个物理位置中。数据库可以存储多个类型的数据和/或文件以及相关联的数据或文件说明、管理信息或者任何其它数据。
图2是描绘了示例机器可读存储介质210的框图，所述示例机器可读存储介质210包括由处理器可执行以用于促进多设备协作的指令。
在前面的讨论中，将引擎121-126描述为硬件和编程的组合。引擎121-126可以采用数个方式实现。参照图2，编程可以是存储在机器可读存储介质210上的处理器可执行指令221-226，并且硬件可以包括用于执行那些指令的处理器211。因而，机器可读存储介质210可以说成用于存储程序指令或代码，所述程序指令或代码在由处理器211执行时实现引擎图1的引擎121-126。
机器可读存储介质210可以是包含或存储可执行指令的任何电子、磁性、光学或其它物理存储设备。在一些实现中，机器可读存储介质210可以是非暂时性存储介质，其中术语“非暂时性”不涵盖暂时性传播信号。机器可读存储介质210可以实现在单个设备中或者跨设备分布。同样地，处理器211可以表示能够执行由机器可读存储介质210存储的指令的任何数目的处理器。处理器211可以集成在单个设备中或者跨设备分布。另外，机器可读存储介质210可以与处理器211完全地或者部分地集成在相同的设备中，或者机器可读存储介质210可以是分离的，但是可被该设备和处理器211访问。
在一个示例中，程序指令可以是安装包的部分，所述安装包在安装时可以由处理器211执行以实现引擎121-126。在该情况下，机器可读存储介质210可以是便携式介质，诸如软盘、CD、DVD、或闪速驱动器、或由服务器维护的存储器，可以从该服务器下载和安装所述安装包。在另一个示例中，程序指令可以是已经安装的一个或多个应用的部分。此处，机器可读存储介质210可以包括硬盘、光盘、带、固态驱动器、RAM、ROM、EEPROM等。
处理器211可以是至少一个中央处理单元(CPU)、微处理器、和/或适于获得和执行存储在机器可读存储介质210中的指令的其它硬件设备。处理器211可以获取、解码和执行程序指令221-226和/或其它指令。作为获得和执行指令的可替换方式或者除此之外，处理器211可以包括至少一个电子电路，所述至少一个电子电路包括数个电子组件以用于执行指令221-226中的至少一个和/或其它指令的功能性。
在图2中，将机器可读存储介质210中的可执行程序指令描绘为连接确定指令221、角色切换指令222、触觉键盘指令223、虚拟钢琴指令224、电子阅读器指令225、内容组合指令226和/或其它指令。指令221-226表示程序指令，所述程序指令在执行时使处理器211分别实现引擎121-126。
图3是描绘了用于识别针对多个客户端计算设备的角色并且用于确定何时发生引起角色切换的至少一个预确定触发事件的示例方法300的流程图，所述多个客户端计算设备连接在多设备协作环境内。
本文更加详细地描述在图3中(以及在诸如图4之类的其它附图的图中)描绘的各种处理块和/或数据流。所描述的处理块可以使用以上详细描述的系统组件中的一些或全部而完成，并且在一些实现中，各种处理块可以采用不同顺序执行，并且可以省略各种处理块。可以连同在所描绘的流程图中示出的处理块中的一些或全部而执行附加的处理块。一些处理块可以同时地执行。因而，如所图示(并且在下文更加详细地描述)的方法300意味着一个示例，并且因此，不应当视为限制。方法300可以采用存储在机器可读存储介质(诸如，存储介质210)上的可执行指令的形式和/或采用电子电路的形式来实现。
方法300可以在块310中开始并且进行到块321，其中方法300可以由第一计算设备在第一计算设备与第二计算设备连接时识别要由第一计算设备扮演的第一角色。在第二计算设备与第一计算设备连接时，第二计算设备可以扮演第二角色。例如，第一计算设备的用户可以选择要由第一计算设备扮演的角色。
在块322中，方法300可以包括确定何时发生至少一个预确定的触发事件，所述至少一个预确定的触发事件引起第一角色和第二角色的切换，使得第一角色由第二计算设备扮演并且第二角色由第一计算设备扮演。例如，与第一计算设备相关联的第一角色和与第二计算设备相关联的第二角色可以基于至少一个预确定的触发事件的发生而关闭，使得第一角色由第二计算设备扮演并且第二角色由第一计算设备扮演。所述至少一个触发事件可以包括用户输入、多设备协作环境中的计算设备中的至少一个的方位改变(例如，位置改变)和/或其它触发事件。方法300然后可以在块330中停止。
返回参照图1，连接确定引擎121可以负责实现块321。角色切换引擎122可以负责实现块322。
图4是描绘了用于识别针对多个客户端计算设备的角色并且确定何时发生引起角色切换的至少一个预确定的触发事件的示例方法400的流程图，所述多个客户端计算设备连接在多设备协作环境内。如所图示(并且在下文更加详细地描述)的方法400意味着一个示例，并且因此，不应当视为限制。方法400可以采用存储在机器可读存储介质(诸如，存储介质210)上的可执行指令的形式和/或采用电子电路的形式来实现。
方法400可以在块410中开始并且进行到块421，其中方法400可以由第一计算设备确定第一计算设备何时连接到第二计算设备。当它们没有连接时，方法400可以返回到块421。另一方面，当确定它们连接时，方法300可以进行到块422。
在块422中，方法400可以生成提示以用于请求用户选择针对第一计算设备的角色(例如，第一角色)。提示可以经由第一计算设备的显示器进行显示。角色可以选自第一计算设备可以能够在多设备协作环境中扮演的多个角色的组。例如，角色可以包括以下中的至少一个：键盘、触觉键盘、虚拟钢琴键盘、游戏控制器、绘图板、内容显示器和/或其它角色。
在块423中，方法400可以接收所选角色。所选角色可以与第一计算设备相关联(块424)。第一角色和第一计算设备之间的关联可以存储在数据存储装置129中和/或其它数据库中，所述数据存储装置129耦合到第一计算设备和/或耦合到多设备协作环境中的至少一个计算设备。在一些实例中，用户可以使用第一计算设备指定针对第二计算设备的角色(例如，第二角色)。在其它实例中，可以生成提示并且经由第二计算设备向用户提供提示。针对第二计算设备所选择的角色可以与第二计算设备相关联。第二角色和第二计算设备之间的关联可以存储在数据存储装置129中和/或其它数据库中，所述数据存储装置129耦合到第二计算设备和/或耦合到多设备协作环境中的至少一个计算设备。
在块425中，方法400可以包括确定何时发生至少一个预确定的触发事件，所述至少一个预确定的触发事件引起第一角色和第二角色的切换，使得第一角色由第二计算设备扮演并且第二角色由第一计算设备扮演。例如，与第一计算设备相关联的第一角色和与第二计算设备相关联的第二角色可以基于至少一个预确定的触发事件的发生而关闭，使得第一角色由第二计算设备扮演并且第二角色由第一计算设备扮演。所述至少一个触发事件可以包括用户输入、多设备协作环境中的计算设备中的至少一个的方位改变(例如，位置改变)和/或其它触发事件。
如果方法400确定尚未有预确定的触发事件发生，则方法400可以返回到块425。另一方面，如果至少一个预确定的触发事件发生，则方法400可以进行到块426，其中方法400可以引起第一角色和第二角色的切换。例如，用户可以通过遵循经由第二计算设备显示的乐谱来使用第一计算设备弹奏虚拟钢琴，第一计算设备可以水平地放置在桌子上，第二计算设备可以基本上垂直于第一计算设备直立。用户然后可以调换这两个设备，使得第二计算设备可以水平地放置在桌子上并且第一计算设备可以基本上垂直于第二计算设备直立。在该情况下，可以检测到方位改变已经发生。响应于所检测的方位改变，方法400可以引起角色切换。例如，基于所检测的方位改变，第一计算设备可以依照第二角色(例如，乐谱显示器)进行操作，而第二计算设备可以依照第一角色(例如，虚拟钢琴键盘)进行操作。方法400然后可以在块430中停止。
返回参照图1，连接确定引擎121可以负责实现块421,422,423和424。角色切换引起122可以负责实现块425和426。
图5是描绘了包括与键盘角色相关联的客户端计算设备的示例多设备协作环境500的图。
多设备协作环境500可以包括经由连接接口连接的第一计算设备510和第二计算设备520。与第一计算设备510相关联的第一角色可以包括键盘(例如，包括如本文讨论的触觉键盘)。用户可以使用第一计算设备510的触摸屏能力来操作键盘。第二计算设备520可以与第二角色相关联，第二角色可以包括内容的显示器。例如，第二计算设备520可以充当显示监控器。当用户使用第一计算设备510的键盘键入单词时，该单词将显现在第二计算设备520的显示监控器上。在一些实现中，如果检测到方位改变(例如，用户调换两个设备)，则角色可以切换，使得第一计算设备510可以依照第二角色进行操作并且第二计算设备520可以依照第一角色进行操作。
图6是描绘了包括与虚拟钢琴键盘角色相关联的客户端计算设备的示例多设备协作环境600的示例。
多设备协作环境600可以包括经由连接接口连接的第一计算设备610和第二计算设备620。与第一计算设备510相关联的第一角色可以包括虚拟钢琴键盘。用户可以使用第一计算设备610的触摸屏能力来操作虚拟钢琴键盘。第二计算设备620可以与第二角色相关联，第二角色可以包括乐谱的显示器。例如，随着用户使用第一计算设备610弹钢琴时，可以在第二计算设备620的显示器上突显正被弹奏的音符。当用户接近正经由第二计算设备620显示的乐谱的最后音符的结尾时，乐谱的下一页可以自动地显现在(第二计算设备620的)显示器上。当用户在虚拟钢琴键盘上弹奏错误音符时，用户可以经由第一计算设备610接收到图形、音频和/或触觉反馈，使得用户可以意识到用户已经弹奏了错误音符。在一些实现中，如果检测到方位改变(例如，用户调换两个设备)，则角色可以切换，使得第一计算设备610可以依照第二角色进行操作并且第二计算设备620可以依照第一角色进行操作。
图7是描绘了包括显示虚拟钢琴键盘的不同部分的客户端计算设备的示例多设备协作环境700的图。
两个或更多计算设备可以显示虚拟钢琴键盘的不同部分。在图7中描绘的示例中，多设备协作环境700可以包括经由至少一个连接接口连接的第一计算设备710、第二计算设备720和第三计算设备730。第一计算设备710可以显示虚拟钢琴键盘的第一部分771，第二计算设备720可以显示虚拟钢琴键盘的第二部分721，并且第三计算设备730可以显示虚拟钢琴键盘的第三部分731。以该方式，用户可以能够在更大尺寸的钢琴键盘上弹奏，所述更大尺寸的钢琴键盘可以经由多于一个计算设备来显示。类似地，乐谱可以通过多个设备来显示。例如，第一计算设备710可以显示乐谱的第一部分712，第二计算设备720可以显示乐谱的第二部分722，并且第三计算设备730可以显示乐谱的第三部分732。
图8是描绘了包括充当电子阅读器的客户端计算设备的示例多设备协作环境800的图。
多设备协作环境800可以包括经由连接接口连接的第一计算设备810和第二计算设备820。第一内容可以显示在第一计算设备810上，而可以涉及第一内容的至少一部分的第二内容可以显示在第二计算设备820上。第一和第二内容可以包括文本、图像、视频、音频和/或其它内容。这例如可以允许用户在他们查看另一个屏幕上的相关图像和/或视频的同时阅读一个屏幕上的文本。在一些实现中，第一计算设备和第二计算设备可以在附连和/或连接到彼此时充当电子书阅读器。
图9是描绘了包括被连接以提供扩展触摸屏空间的客户端计算设备的示例多设备协作环境900的图。
多设备协作环境900可以包括经由至少一个连接接口连接的第一计算设备910、第二计算设备920、第三计算设备930和第四计算设备940。多设备协作环境900中的计算设备中的至少一个可以组合经由多设备协作环境900中的不同计算设备输入的各种内容。例如，第一计算设备910可以获取经由第一计算设备910的触摸屏输入的第一内容、经由第二计算设备920的触摸屏输入的第二内容、经由第三计算设备930的触摸屏输入的第三内容、以及经由第四计算设备940的触摸屏输入的第四内容。第一计算设备910然后可以生成组合内容，所述组合内容组合第一、第二、第三和第四内容。以该方式，用户可以在多个触摸屏显示器之上绘制一个大型图片，并且第一计算设备910可以捕获跨多个显示器绘制的完整图片和/或存储该图片。
前面的讨论描述了用于多设备协作的数个示例实现。所公开的示例可以包括用于多设备协作的系统、设备、计算机可读存储介质和方法。出于解释的目的，参照在图1-2中图示的组件来描述某些示例。然而，所图示的组件的功能性可以重叠并且可以存在于更少或更多数目的元件和组件中。
所图示的元件的功能性中的部分或全部可以共同定位或者分布在若干地理上分散的位置之间。此外，所公开的示例可以在各种环境中实现并且不限于所图示的示例。另外，结合图3-4描述的操作的序列是示例并且不意图为限制。可以使用或者可以更改附加的或者更少的操作或操作组合而不脱离所公开的示例的范围。此外，与所公开的示例一致的实现不需要以任何特定次序执行操作序列。因而，本公开仅仅阐述了实现的可能示例，并且可以对所描述的示例做出许多更改和修改。所有这样的修改和变化意图包括在该公开内容的范围内并且由以下权利要求保护。

Claims (15)

1.一种用于由计算设备为多设备协作执行的方法，所述方法包括：
由具有第一处理器的第一计算设备在第一计算设备与具有第二处理器的第二计算设备连接时识别要由第一计算设备扮演的第一角色，其中当第二计算设备与第一计算设备连接时，第二计算设备扮演第二角色；以及
由第一计算设备确定何时发生至少一个预确定的触发事件，所述至少一个预确定的触发事件引起第一角色和第二角色的切换，使得第一角色由第二计算设备扮演并且第二角色由第一计算设备扮演。
2.权利要求1所述的方法，其中第一角色和第二角色包括以下中的至少一个：键盘、触觉键盘、钢琴键盘、游戏控制器、绘图板和内容显示器。
3.权利要求1所述的方法，包括：
由第一计算设备确定第一计算设备何时连接到第二计算设备；以及
响应于确定第一计算设备连接到第二计算设备，生成提示以用于请求用户选择针对第一计算设备的角色。
4.权利要求3所述的方法，包括：
由第一计算设备接收所选角色；以及
由第一计算设备将所选角色与第一计算设备相关联以作为第一角色。
5.权利要求1所述的方法，其中所述至少一个预确定的触发事件包括第一或第二计算设备的方位改变以及用户输入中的至少一个。
6.一种包括指令的非暂时性机器可读存储介质，所述指令可由第一平板计算设备的处理器为多设备协作而执行，所述机器可读存储介质包括：
将第一角色与第一平板计算设备相关联的指令，其中当第一平板计算设备与第二平板计算设备连接时，第一平板计算设备依照第一角色进行操作；
确定何时发生至少一个预确定的触发事件的指令，所述至少一个预确定的触发事件引起第一角色与第二角色的切换，第二角色与第二平板计算设备相关联；
响应于确定所述至少一个预确定的触发事件发生，将第二角色与第一平板计算设备相关联的指令，其中当第一平板计算设备与第二平板计算设备连接时，第一平板计算设备依照第二角色进行操作。
7.权利要求6所述的非暂时性机器可读存储介质，其中第一角色和第二角色包括虚拟钢琴键盘和乐谱显示器中的至少一个。
8.权利要求7所述的非暂时性机器可读存储介质，包括：
基于乐谱确定用户何时在虚拟钢琴键盘上弹奏错误音符的指令；以及响应于确定用户弹奏了错误音符，向用户提供图形、音频或触觉反馈使得用户意识到用户已经弹奏了错误音符的指令。
9.权利要求6所述的非暂时性机器可读存储介质，其中第一角色或第二角色包括触觉键盘，机器可读存储介质包括：
在第一平板计算设备与第二平板计算设备连接时，使键盘按键中的至少一个从触觉键盘向上突出的指令；以及
在第一平板计算设备从第二平板计算设备断开时，使键盘按键中的所述至少一个向下凹入的指令。
10.权利要求6所述的非暂时性机器可读存储介质，包括：
引起第一内容在第一平板计算设备上的显示的指令，
确定涉及第一内容的至少一部分的第二内容的指令；以及
引起第二内容在第二平板计算设备上的显示的指令。
11.一种用于多设备协作的系统，包括：
包括第一处理器的第一平板计算设备，所述第一处理器：
在第一平板计算设备连接到第二平板计算设备时，执行与第一角色相关联的第一任务集合；以及
包括第二处理器的第二平板计算设备，所述第二处理器：
在第二平板计算设备连接到第一平板计算设备时，执行与第二角色相关联的第二任务集合，
检测第一平板计算设备和第二平板计算设备中的至少一个中的方位改变，以及
基于所检测的方位改变来执行第一任务集合而不是第二任务集合。
12.权利要求11所述的系统，包括：
包括第三处理器的第三平板计算设备，所述第三处理器：
在第三平板计算设备连接到第一平板计算设备和第二平板计算设备中的至少一个时，执行与第三角色相关联的第三任务集合。
13.权利要求12所述的系统，其中第一平板计算设备显示虚拟钢琴键盘的第一部分，第二平板计算设备显示虚拟钢琴键盘的第二部分，并且第三平板计算设备显示虚拟钢琴键盘的第三部分。
14.权利要求11所述的系统，其中第一平板计算设备和第二平板计算设备在连接到彼此时充当电子书阅读器。
15.权利要求11所述的系统，其中第一平板计算设备包括第一触摸屏，并且第二平板计算设备包括第二触摸屏，所述第一处理器：
获取经由第一触摸屏接收的第一内容；
获取经由第二触摸屏接收的第二内容；以及
生成组合第一内容和第二内容的第三内容。
CN201480083095.6A 2014-08-29 2014-08-29 多设备协作 Expired - Fee Related CN107077450B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2014/053319 WO2016032501A1 (en) 2014-08-29 2014-08-29 Multi-device collaboration

Publications (2)

Publication Number Publication Date
CN107077450A true CN107077450A (zh) 2017-08-18
CN107077450B CN107077450B (zh) 2021-01-05

Family

ID=55400210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480083095.6A Expired - Fee Related CN107077450B (zh) 2014-08-29 2014-08-29 多设备协作

Country Status (5)

Country Link
US (1) US10761906B2 (zh)
EP (1) EP3186717A4 (zh)
CN (1) CN107077450B (zh)
TW (1) TWI575385B (zh)
WO (1) WO2016032501A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106095861B (zh) * 2016-06-02 2019-07-26 联想(北京)有限公司 一种信息处理方法及电子设备
KR102527824B1 (ko) * 2018-07-31 2023-05-02 삼성전자주식회사 복수의 출력 화면 환경에서 가상 입력 인터페이스의 표시를 제어하기 위한 전자 장치 및 그의 동작 방법
JP7447520B2 (ja) * 2020-02-06 2024-03-12 ヤマハ株式会社 楽器用表示装置および楽器用表示装置の表示切替方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070182663A1 (en) * 2004-06-01 2007-08-09 Biech Grant S Portable, folding and separable multi-display computing system
US20070223476A1 (en) * 2006-03-24 2007-09-27 Fry Jared S Establishing directed communication based upon physical interaction between two devices
US20080141259A1 (en) * 2004-05-21 2008-06-12 Koninklijke Philips Electronics, N.V. Method and System for Processing Jobs with Two Dual-Role Devices
US20100195539A1 (en) * 2006-11-09 2010-08-05 Dan Tian System and method for supporting automatic establishing and disconnecting several wireless connections
US20130215041A1 (en) * 2012-02-21 2013-08-22 Yongsin Kim Electronic device and method of controlling the same
US20130285882A1 (en) * 2011-12-21 2013-10-31 Minghao Jiang Mechanism for facilitating a tablet block of a number of tablet computing devices
US20140104139A1 (en) * 2012-06-22 2014-04-17 Harborside Press, LLC Interactive synchronized multi-screen display
US20140218266A1 (en) * 2011-09-05 2014-08-07 Beijing Lenovo Software Ltd. Display Method, Terminal Device And Multi-Terminal Device System

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010054986A1 (en) 1999-05-18 2001-12-27 Michael V. Leman Pen-based split computer display
US6710770B2 (en) 2000-02-11 2004-03-23 Canesta, Inc. Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
CN2662407Y (zh) 2003-08-20 2004-12-08 李玉光 无线网络钢琴
US20050078092A1 (en) 2003-10-08 2005-04-14 Clapper Edward O. Whiteboard desk projection display
US20050114825A1 (en) 2003-11-24 2005-05-26 International Business Machines Corporation Laptop computer including a touch-sensitive display and method of driving the laptop computer
EP1695334A4 (en) 2003-12-19 2009-03-04 Speechgear Inc DISPLAYING VISUAL DATA BASED ON THE POSITION OF THE DISPLAY DEVICE
US7599561B2 (en) 2006-02-28 2009-10-06 Microsoft Corporation Compact interactive tabletop with projection-vision
US20080018591A1 (en) 2006-07-20 2008-01-24 Arkady Pittel User Interfacing
US8199117B2 (en) 2007-05-09 2012-06-12 Microsoft Corporation Archive for physical and digital objects
DE102008028328B4 (de) 2008-06-13 2010-06-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Notensignals auf eine manuelle Eingabe hin
US8121640B2 (en) 2009-03-19 2012-02-21 Microsoft Corporation Dual module portable devices
US20110090155A1 (en) * 2009-10-15 2011-04-21 Qualcomm Incorporated Method, system, and computer program product combining gestural input from multiple touch screens into one gestural input
TWI423096B (zh) 2010-04-01 2014-01-11 Compal Communication Inc 具可觸控投影畫面之投影系統
US8736583B2 (en) 2011-03-29 2014-05-27 Intel Corporation Virtual links between different displays to present a single virtual object
US20140129235A1 (en) * 2011-06-17 2014-05-08 Nokia Corporation Audio tracker apparatus
US8878794B2 (en) 2011-09-27 2014-11-04 Z124 State of screen info: easel
US9082380B1 (en) * 2011-10-31 2015-07-14 Smule, Inc. Synthetic musical instrument with performance-and/or skill-adaptive score tempo
CN202548764U (zh) 2012-03-19 2012-11-21 深圳市迪瑞德科技有限公司 早教输入设备
US8710344B2 (en) 2012-06-07 2014-04-29 Gary S. Pogoda Piano keyboard with key touch point detection
CN202887066U (zh) 2012-10-05 2013-04-17 罗天成 一种新型分体式平板电脑
US9448694B2 (en) 2012-11-09 2016-09-20 Intel Corporation Graphical user interface for navigating applications
US9537908B2 (en) * 2013-06-11 2017-01-03 Microsoft Technology Licensing, Llc Collaborative mobile interaction

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080141259A1 (en) * 2004-05-21 2008-06-12 Koninklijke Philips Electronics, N.V. Method and System for Processing Jobs with Two Dual-Role Devices
US20070182663A1 (en) * 2004-06-01 2007-08-09 Biech Grant S Portable, folding and separable multi-display computing system
US20070223476A1 (en) * 2006-03-24 2007-09-27 Fry Jared S Establishing directed communication based upon physical interaction between two devices
US20100195539A1 (en) * 2006-11-09 2010-08-05 Dan Tian System and method for supporting automatic establishing and disconnecting several wireless connections
US20140218266A1 (en) * 2011-09-05 2014-08-07 Beijing Lenovo Software Ltd. Display Method, Terminal Device And Multi-Terminal Device System
US20130285882A1 (en) * 2011-12-21 2013-10-31 Minghao Jiang Mechanism for facilitating a tablet block of a number of tablet computing devices
US20130215041A1 (en) * 2012-02-21 2013-08-22 Yongsin Kim Electronic device and method of controlling the same
US20140104139A1 (en) * 2012-06-22 2014-04-17 Harborside Press, LLC Interactive synchronized multi-screen display

Also Published As

Publication number Publication date
EP3186717A1 (en) 2017-07-05
WO2016032501A1 (en) 2016-03-03
US20170293506A1 (en) 2017-10-12
CN107077450B (zh) 2021-01-05
EP3186717A4 (en) 2018-01-17
TW201621690A (zh) 2016-06-16
US10761906B2 (en) 2020-09-01
TWI575385B (zh) 2017-03-21

Similar Documents

Publication Publication Date Title
US20220141170A1 (en) Method for notifying reception of message including user-set keyword, and non-transitory computer-readable recording medium for executing the same
US10346478B2 (en) Extensible search term suggestion engine
US10101902B2 (en) Methods and systems for obscuring text in a conversation
US10048748B2 (en) Audio-visual interaction with user devices
JP5903107B2 (ja) システムレベル検索ユーザーインターフェース
US9448642B2 (en) Systems and methods for rendering keyboard layouts for a touch screen display
US20150026619A1 (en) User Interface Method and Apparatus Using Successive Touches
JP2014503874A (ja) システムレベル検索ユーザーインターフェースへの登録
US20150309690A1 (en) Method and system for searching information records
JP2016506564A (ja) スワイプストローク入力及び連続的な手書き
US20150160907A1 (en) Information processing method and electronic device
CN105659194A (zh) 用于屏幕上键盘的快速任务
WO2015175590A1 (en) Selector to coordinate experiences between different applications
US20140026070A1 (en) Dynamic focus for conversation visualization environments
US20200028961A1 (en) Switching presentations of representations of objects at a user interface
AU2015327573A1 (en) Interaction method for user interfaces
CN105335383B (zh) 输入信息的处理方法及装置
EP3223072A1 (en) Projector playing control method, device, and computer storage medium
CN107064798A (zh) 用于预计电池使用的设备、方法和程序产品
CN107077450B (zh) 多设备协作
JP6662861B2 (ja) ユーザアクションに応答して直接操作の有効化を決定するためのヒットテスト
JP2019207482A5 (zh)
WO2017219525A1 (zh) 一种界面显示的方法及终端
CN114510154A (zh) 一种输入方法、装置和用于输入的装置
JP2016042353A (ja) ブリーフィングシステム、ウェアラブルデバイスおよびブリーフィングの文書表示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210105

CF01 Termination of patent right due to non-payment of annual fee