[go: up one dir, main page]

CN108027699A - 控制多用户触摸屏设备 - Google Patents

控制多用户触摸屏设备 Download PDF

Info

Publication number
CN108027699A
CN108027699A CN201680052286.5A CN201680052286A CN108027699A CN 108027699 A CN108027699 A CN 108027699A CN 201680052286 A CN201680052286 A CN 201680052286A CN 108027699 A CN108027699 A CN 108027699A
Authority
CN
China
Prior art keywords
display
display element
user
area
touch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680052286.5A
Other languages
English (en)
Inventor
G·C·普拉姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN108027699A publication Critical patent/CN108027699A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

显示设备可以被多个用户同时使用。显示元件占据显示设备的显示器的总显示区域中的小于总显示区域的区域。显示设备的用户之一与显示元件相关联。在显示器上显示显示元件的同时捕获用户的运动图像。检测显示器的触摸屏上的点处的触摸输入。运动图像用于确定触摸输入是否由与显示元件相关联的用户提供。如果：(i)触摸输入由与显示元件相关联的用户提供，并且(ii)触摸屏上的点位于显示区域中的由显示元件占据的区域之外，则显示器被控制以撤销显示元件。

Description

控制多用户触摸屏设备
背景技术
一段时间以来，诸如智能电话和平板计算机之类的移动设备已经结合触摸屏技术。这样的设备小而便携，并且因此具有被设计为一次仅由一个用户使用的相对较小的触摸屏显示器。
触摸屏技术现在被结合到被设计为由多个用户同时使用的较大的显示设备中。这样的设备可以结合多点触摸技术，由此单独的触摸输入可以被不同的用户同时应用到设备的大型触摸屏显示器，并且被显示设备单独识别。这被设计成鼓励多个参与者交互，并促进例如在会议室中使用大型多用户显示设备经由通信网络进行的视频会议通话中的协作工作流程。触摸输入可以例如使用手指或指示笔(或者一个用户可以使用他们的手指，另一个用户使用指示笔等)来应用。这种设备的一个示例是最近由微软开发的Surface Hub。
这样的显示设备的操作通常至少部分地由在显示设备的处理器上执行的软件来控制。该软件在执行时控制显示设备的显示以向用户提供图形用户界面(GUI)。要在其上执行代码的设备的大尺寸和多用户功能意味着程序员在优化GUI的行为时面临着一组特定的挑战，与为如智能手机或平板计算机的较小触摸屏设备构建GUI时所面临的挑战完全不同。
发明内容
提供本发明内容是为了以简化的形式介绍将在以下详细描述中进一步描述的概念的选择。本发明内容部分不旨在确定所要求保护的主题的关键特征或基本特征，也不旨在用于限制所要求保护的主题的范围。
显示设备可同时由多个用户使用。显示设备的显示器具有总显示区域。控制显示器以显示显示元件，使得显示元件占据总显示区域中的小于总显示区域的区域。显示设备的用户之一与显示元件相关联。显示设备的至少一个摄像头用于在显示器上显示显示元件的同时捕捉用户的运动图像。在显示器上显示显示元件的同时，检测显示器的触摸屏上的点处的触摸输入。运动图像用于确定触摸输入是否由与显示元件相关联的用户提供。如果：(i)触摸输入由与显示元件相关联的用户提供，并且(ii)触摸屏上的点位于由显示元件占据的显示区域的区域之外，则显示器被控制以撤销显示元件。
附图说明
图1示出了由多个用户同时使用的显示设备；
图2示出了显示设备的框图；
图3A示出了如何将显示设备的总显示区域划分成区域；
图3B-3C示出了区域如何可以用于定义由显示设备显示的菜单的撤销区；
图4示出了由显示设备实现的方法的流程图；
图5示出了显示设备的显示器的示例性状态。
具体实施方式
图1示出了安装在诸如会议室的环境1中的显示设备2。显示设备2被示出为安装在图1中的会议室1的墙壁上，并且示出了同时使用显示设备2的第一和第二用户10a(“用户A”)、10b(“用户B”)。
显示设备2包括由显示屏4a和覆盖在显示屏4a上的透明触摸屏4b形成的显示器4。显示屏4a由具有可控照明的2×2像素阵列形成。像素阵列跨越一个区域(“总显示区域”)，其中可以通过控制由像素发射的光的亮度和/或色度来显示图像。触摸屏4b覆盖显示屏4a，使得触摸屏4a上的每个点对应于总显示区域内的点。
显示设备2还包括一个或多个摄像头6--在该示例中是第一和第二摄像头6a，6b--分别定位在靠近显示设备2的左侧和右侧，靠近显示器4。
图2示出了显示设备2的高度示意性的框图。如图所示，显示设备2是包括处理器16和连接到处理器16的以下组件的计算机设备：显示器4、摄像头6、一个或多个扬声器12、一个或多个麦克风14、网络接口、和存储器18。在这个示例中，这些组件被集成在显示设备2中。在本公开范围内的替代显示设备中，这些组件中的一个或多个可以是经由合适的外部输出连接到显示设备的外部设备。
显示器4的显示屏4a和扬声器12是可由处理器16控制以分别向用户10a，10b提供视觉和听觉输出的输出设备。
触摸屏4b是显示设备2的输入设备；它在可以同时接收和区分来自不同用户10a，10b的多个触摸输入的意义上是多点触摸的。当在触摸屏4a上的点处(通过向该点施加适当的压力)接收到触摸输入时，触摸屏4a将该点的位置传送给处理器20。触摸输入可以例如使用手指或指示笔(通常是类似传统笔的设备)来提供。
麦克风14和摄像头6也是显示设备2的输入设备，当被执行时，代码20可控制显示设备2的输入设备以捕捉分别作为显示设备2的用户的用户10a，10b的音频和运动图像(即由摄像头6连续捕获的帧的时间序列形成的视频)。
其他显示设备可以包括替代的或附加的输入设备，诸如传统的点击或滚球鼠标或触控板。
一个或多个输入设备可以被配置成提供“自然”用户界面(NUI)。NUI使得用户能够以自然的方式与设备交互，避免了由某些输入设备(诸如鼠标，键盘，遥控器等)施加的人为约束。NUI方法的示例包括利用触敏显示器的方法、语音和语音识别、意图和目标理解、使用深度摄像头(诸如立体或飞行时间摄像头系统、红外摄像头系统、RGB摄像头系统以及这些的组合)的运动姿势检测、使用加速度计/陀螺仪的运动姿态检测、面部识别、3D显示、头部、眼睛和注视跟踪、沉浸式增强现实和虚拟现实系统等。
存储器18保存处理器被配置为要执行的代码。代码包括软件应用程序。示出了在操作系统(“OS”)21上运行的软件应用程序的实例20。例如，OS 21可以是由微软发布的Windows 10操作系统。Windows 10OS是一个跨平台的OS，设计用于各种不同尺寸和配置的设备，包括移动设备、传统笔记本计算机和台式计算机以及诸如Surface Hub等大屏幕设备。
代码20可以控制显示屏4a显示一个或多个显示元件，例如可见菜单8或其他显示元件9。在一些情况下，显示元件可以是特定用户所特有的；例如，菜单8可能已经被第一用户10a调用并且专门针对该用户。菜单8包括一个或多个选项，第一用户10a可以通过在由相关选项占据的总显示区域的一部分内的触摸屏4b上提供触摸输入来选择该选项。
显示设备2可以经由网络接口22连接到通信系统的通信网络，例如，诸如因特网之类的基于分组的网络。例如，代码20可以包括通信客户端应用程序(例如，Skype(TM)软件)，用于在用户10a，10b和另一个远程用户之间经由网络在通信系统内实现通信事件，诸如视频呼叫和/或诸如白板或屏幕共享会话的另一个基于视频的通信事件。通信系统可以基于互联网协议语音或视频(VoIP)系统。这些系统对用户是有益的，因为它们通常比传统的固定线路或移动蜂窝网络的成本低得多，特别是对于长距离通信。客户端软件20建立VoIP连接以及基于诸如比如用户名和相关密码之类的登录凭证提供诸如注册和用户认证的其他功能。
在(为了所有意图和目的)模态化的触摸屏上呈现菜单是常见的用户界面(UI)模式。这使得用户可以触摸(或点击)菜单的直接范围之外的区域以将其撤销。
本文中的术语“模态”是指由软件应用程序(或者更准确地说，软件应用程序的特定实例)显示的显示元件，其可以通过选择由显示元件占据的显示区域之外的点而被撤销，即，使得其不再显示。在一些情况下(但不是全部情况)，其他输入功能可以被“锁定”，直到模态菜单被撤销以防止用户与其他显示元件之间的交互为止。例如，对于构建在基于Windows的操作系统上的软件，应用程序20的主窗口可以被锁定，直到模态元件被撤销，从而阻止用户继续主窗口的工作流程为止。
对于手机和小型触摸屏来说，这是足够的，因为在任何给定时间只有一个用户正在与设备进行交互。
然而，对于非常大的触摸屏，例如84”或其他大型Surface Hub，这种形式可能破坏协作流程。
例如，考虑图1所示的情况，其中两个用户10a，10b分别位于大显示设备2的左侧和右侧。假设用户A 10a正在使用Skype实例并尝试切换摄像头-通过选择菜单(例如，弹出式菜单)调用的动作，并且用户B在屏幕共享期间进行手势操作，例如使用Microsoft OneNote应用程序的实例。对于模态弹出式菜单，用户B的触摸会在用户A每次打开时都无意中撤销弹出窗口，从而有效地创建竞态条件，这进而中断和破坏协作。
对于模态化的弹出式菜单在上述意义上是方便的，因为它可以容易地被用户撤销。为了在保持有用的模态行为的同时允许多个用户同时使用显示设备2，本公开的实施例使触摸屏“区域化”，使得应用程序可以更智能地确定用户的触摸或鼠标点击是否在上下文方面与其撤销有关。
这可以通过各种方式来实现。
图3A-3C示出了基于启发式的第一机制。
如图3A所示，大触摸屏4的总显示区域被划分成图3A-3C中标记为“1”至“30”的一系列空间区域。这些区域是矩形的，具有统一的尺寸，并以表格状布置分布。区域由生成定义区域边界的分区数据的软件应用程序20或者OS 21(或者两个软件的组合)来定义。区域的布置取决于屏幕尺寸、像素密度和/或触摸分辨率而变化，并且基于这些中的一个或多个适当地生成分区数据。例如，在一些实施例中，区域中的至少一个(例如每个)区域具有取决于这些因素中的一个或多个的大小和/或区域的数量取决于这些因素中的一个或多个。例如，可以为更大的更高分辨率的显示器定义更多数量的区域，并且可以为具有更大触摸分辨率的触摸屏定义更小的区域。
如图3B所示，当应用程序20在例如区域21(由虚线阴影表示)中呈现弹出式菜单时，它还生成定义围绕菜单区域21的撤销区(由点线阴影表示)的撤销区数据。撤销区小于总显示区域，即，以像素为单位测量时具有更小的面积，即它是总显示区域的严格子区域。
图3B示出了第一示例，其中撤销区由一组接触的区域形成，具体而言是紧邻菜单区域21的所有区域(垂直地，水平地和对角地相邻)，并且仅仅是那些区域，在这个示例中是16、17、22、26和27。在第一个示例中，菜单只能通过区域16、17、22、26和27中的触摸/点击来撤销(与现有的GUI菜单不同，现有的GUI菜单在菜单的边界以外的任何区域都可撤销)。
如图3C所示，对于屏幕顶部的区域(例如，如图所示当在区域6中出现弹出式菜单时)，撤销区可以被垂直地挤出，因为人不太可能通过身体斜靠另一个人而触碰到朝向屏幕底部的区域。也就是说，在某些情况下，例如当菜单显示在显示器4的顶部附近时，撤销区可以占据整个显示区域的整个高度。
应该理解的是，这仅仅是用于说明目的的一个示例。例如，菜单可能跨越多个区域，和/或总共可能有更少或更多的区域。
除了第一机制之外，还可以使用基于骨架跟踪的第二机制。
如上所述，显示设备2具有分别位于设备2的左侧和右侧的两个摄像头6a，6b。例如，Surface Hub在设备的左侧和右侧挡板上配备了摄像头。附加(可选)摄像头也可以沿着设备的顶部边缘安装。
使用这些摄像头，可以以高度的保真度追踪多个骨架，结合深度和数字跟踪。例如，Microsoft(R)Kinect API可以用于此目的(参见例如https://msdn.microsoft.com/en-us/library/hh973074.aspx)。因此，在该示例中，可以检测到存在两个单独的骨架，即正在使用显示设备4的用户10a，10b的骨架，并且分别识别和跟踪它们。在存储器16中生成标识符并且标识符与骨架跟踪软件当前可检测的每个可辨别骨架相关联。
图4示出了由应用程序20实现的方法的流程图，该方法结合了区域启发式和骨架跟踪机制。
在步骤S2中，用户A10a例如通过用触摸输入来选择由应用程序20接收的显示器4上显示的菜单选项以调用菜单。作为响应，应用程序20识别(S4)当被显示时通过菜单S4占据(即跨越)整个显示区域的第一区域。第一区域具有可以基于各种因素由应用程序20确定的大小和位置，各种因素诸如为应用程序的主窗口的当前位置和/或大小(特别是在主窗口内显示菜单的位置)，存储在存储器16中的默认或用户应用的设置，例如，应用特定和/或一般OS设置，显示器4的分辨率和/或宽高比，当前在设备4上正在执行的任何其他应用的当前状态。通过基于这些因素中的一个或多个生成定义第一区域的菜单的显示数据，例如作为与总显示区域的点对应的一组坐标，来识别第一区域。
在步骤S4，基于骨架跟踪，新调用的菜单与调用它的用户(即用户A)相关联。具体地，应用程序20通过在提供用户输入以调用菜单时分析它们的骨架运动(特别是骨架数字的运动)来检测哪些用户提供了输入，并将该骨架与菜单相关联。
在步骤S6，应用程序20控制显示器4显示菜单，使其占据整个显示区域的第一部分。
图5示出了在显示器4上显示的菜单8。所显示的菜单8包括一个或多个选项33a，33b，33c，这些选项可以使用另外的触摸输入来选择以使显示设备4执行与该选项关联的期望的动作，例如向另一个用户发起呼叫，发起与另一个用户的白板或屏幕共享会话，将用户的联系人之一添加到现有的通信事件等。
在步骤S8，应用程序20确定显示器4上的第一区域的位置(即，其在整个显示区域内的位置)，并且在一些情况下确定在其中显示菜单的第一区域的如尺寸、形状等其他特征。例如，通过访问在步骤S4产生的显示数据来确定该位置。
在这个示例中，图3A的每个区域具有特定的位置和大小。在图3A的示例中，所有区域具有基本上相同的大小。通过确定菜单8跨越哪个(哪些)区域(至少近似地并且在本文中是可接受的准确度)来确定菜单的位置、大小和形状。
应用程序20生成为菜单8定义撤销区的撤销区数据。撤销区是总显示区域的围绕第一区域但是小于总显示区域的第二区域34。第二区域34具有如图5中虚线所示的外边界，该外边界是基于由菜单8跨越的第一区域的位置确定的。在撤销区34的外边界内的总面积是与由菜单8占据的第一区域的面积相结合的撤销区自身的面积，其大于第一区域的面积(但仍小于显示器4的总显示面积)。第二区域34在整个显示区域内具有取决于由菜单8占据的第一区域的大小和位置的大小和位置。
在该示例中，撤销区数据标识围绕其中显示菜单的第一区域的图3A的多个区域(例如图3B的示例中的区域16,17,22,26,27；在图6C的示例中的区域1,2,7,11,12,16,17,21,22,26,27)，并且通过基于菜单8所跨越的一个或多个区域来选择这些区域而生成。
在定义第二区域34时，应用程序20可以通过将其位置与高度阈值比较来确定显示菜单8的第一区域是否靠近显示器的顶部，例如在图3A中定义了特定的一行区域。在这种情况下，只有在比如显示元件位于或高于特定的行的情况下，撤销区34才被限定为跨越显示器的整个高度，如图3C所示。
注意，步骤S4到S8的排序是不重要的，这些步骤中的一些或全部可以并行执行。
在步骤S10，用户10a，10b中的一个向触摸屏4b上的点施加触摸输入。作为响应，触摸屏4b向应用程序20发出输入信号，该输入信号由应用程序20接收，并传送该点在屏幕上的位置，例如，作为(x，y)坐标。
在步骤S12，应用程序20确定点是否在菜单区域内。如果是，并且如果输入处于由可选选项33a，33b，33c中的一个所跨越的总显示区域的区域内，则应用程序执行与该选项相关联的预期动作。
如果不是，则在步骤S16，应用程序20使用在步骤S8产生的撤销区数据来确定步骤S10的触摸输入是否在撤销区34内。如果是，则应用程序20控制显示器4撤销(S22)菜单34，即使其不再显示(尽管用户当然可以通过再次调用它来重新显示)。
如果不是，则在步骤S18，应用程序20基于骨架跟踪，通过分析它们在提供输入时的运动(特别是骨架数字的移动)，确定在步骤S10中用户10a，10b中的哪一个提供了触摸输入。具体地，应用程序20确定在步骤S16提供触摸输入的用户是否是在步骤S6中与菜单关联的用户，即用户A。如果是，则该方法进行到步骤S22，在该步骤S22，菜单被撤销。
换句话说，通过跟踪骨架的数字，触摸或鼠标点击可以映射到调用它们的骨架上，从而确定用户10a，10b中的哪一个调用了菜单，从而使应用20能够只有在下列情况下才能撤销弹出式菜单：
·触摸点出现在菜单的紧邻区域内(但在其界限之外)，即在如上所定义的撤销区内
·接触点出现在任何区域的菜单界限之外，只要触摸起源于最初调用菜单显示的相同骨架，即在撤销区之外，但由最初调用菜单的用户
回退机制可用于起始骨架变得不可追踪的情况，例如用户坐下或离开房间。在最简单的情况下，这可能会回到一个只能在撤销区内才能撤销菜单的系统。替代的方法是响应于原始骨架变得不可跟踪而被撤销菜单，因为在该情况下，可以假定用户不再使用该设备，并且该菜单与其余的用户无关。
在触摸输入在撤销区34之外并且由不同用户(例如，用户B)提供的情况下，则菜单持续(S20)，即，菜单S20基本上不受在步骤S10提供的触摸输入的影响。
可选地，菜单可以仅通过源自与菜单相关联的用户的触摸(至少在该用户保持与菜单相关联的同时；例如至少在该用户仍然可追踪的同时)而被允许撤销。在这种情况下，不需要撤销区。
本主题的第一方面涉及一种计算机实现的方法，用于控制可由多个用户同时使用的显示设备的显示器，所述显示器具有总显示区域，所述方法包括：控制所述显示器以显示显示元件，使得所述显示元件占据总显示区域中的小于总显示区域的第一区域；确定总显示区域的第一区域的位置；基于所确定的所述第一区域的位置，生成撤销区数据以限定总显示区域的中第二区域，所述第二区域围绕所述第一区域并且小于所述总显示区域；在所述显示器上显示所述显示元件的同时，经由所述介质设备的输入设备从所述介质设备的用户之一接收对所述显示器上的点的选择；以及确定用户选择的显示器上的点是否在第一区域之外但在第二区域之内，并且如果是这样，则控制显示器撤销显示元件。
在实施例中，显示元件可以包括显示在总显示区域的第一区域内的一个或多个可选选项，并且该方法还可以包括以下步骤：如果显示器上的点位于由可选择的选项之一占据的区域内，则执行与该选项相关的预期操作。
该方法可以包括生成分区数据以便将总显示区域划分为多个区域；其中所述第一区域的位置可以通过识别由所述显示元件跨越的所述一个或多个区域的第一集合来确定；并且其中可以通过基于第一组区域选择第二组一个或多个区域来产生所述撤销区数据，其中所述第二组区域围绕所述第一组区域。
例如，该方法可以包括检测显示器的大小和/或像素密度，并且可以基于显示器的大小和/或像素密度来生成分区数据。
可替代地或附加地，输入设备可以是显示器的触摸屏，该方法可以包括检测触摸屏的触摸分辨率，并且可以基于触摸屏的触摸分辨率来生成分区数据。
整个显示器的第二区域可以被限定成跨越整个显示区域的整个高度。
例如，该方法可以包括通过将其确定的位置与高度阈值进行比较来确定第一区域是否靠近显示器的顶部，并且第二区域可以被定义为如果第一区域靠近显示器的顶部则使得其横跨总显示区域的整个高度。
在一些情况下，如果由用户选择的显示器上的点位于第二区域之外，则显示元件可以不被撤销。
该方法可以包括将用户中的一个与显示元件相关联，并且确定在显示器上选择了该点的用户是否是与显示元件相关联的用户；如果选择它的用户是与显示元件相关联的用户，则即使显示器上的点位于第二区域之外，显示元件也可以被撤销。
例如，用户可以响应于该用户使用显示设备的该输入设备或另一个输入设备而使显示元件被显示来与显示元件相关联。
可替代地或另外地，该方法可以包括将跟踪算法应用于在显示元件正被显示在显示器上的同时经由显示设备的至少一个摄像头捕捉的用户的至少一个运动图像以跟踪运动，并且被跟踪的移动可以被用来确定哪个用户选择了显示器上的点。
例如，跟踪算法可以是骨架跟踪算法。
所述方法可以包括响应于所述跟踪算法变得不能跟踪与所述显示元件相关联的用户而控制所述显示器撤销所述显示元件。
输入设备可以是显示器的触摸屏。
根据第二方面，一种显示设备被配置为由多个用户同时使用，并且包括：输出端，被配置为连接到具有总显示区域的显示器；被配置为连接到输入设备的输入端；处理器；存储器，被配置为保存可执行代码，所述代码在被执行时被配置为执行至少以下操作：控制所述显示器显示显示元件，使得所述显示元件占据所述总显示区域中的小于所述总显示区域的第一区域；确定总显示区域的第一区域的位置；基于所确定的所述第一区域的位置，生成撤销区数据以限定总显示区域中的第二区域，所述第二区域围绕所述第一区域，并且小于所述总显示区域；在所述显示器上显示所述显示元件的同时，经由所述输入设备从所述介质设备的用户之一接收对所述显示器上的点的选择；以及确定用户选择的显示器上的点是否在第一区域之外但在第二区域之内，并且如果是这样，则控制显示器撤销显示元件。
在实施例中，显示器可以集成在显示设备中。
输入设备可以是显示器的触摸屏。
显示设备可以布置成安装在墙壁上。
第三方面涉及一种控制可由多个用户同时使用的显示设备的显示器的计算机实现的方法，所述显示器具有总显示区域，所述方法包括：控制所述显示器以显示显示元件，使得显示元件占据总显示区域中的小于总显示区域的区域；将显示设备的用户之一与显示元件相关联；在所述显示元件正被显示在所述显示器上的同时，使用所述显示设备的至少一个摄像头来捕捉所述用户的运动图像；当显示元件被显示在显示器上的同时，检测显示器的触摸屏上的点处的触摸输入；使用用户的运动图像来确定触摸输入是否由与显示元件相关联的用户提供；并且在以下情况下控制所述显示器撤销所述显示元件：(i)所述触摸输入由与所述显示元件相关联的用户提供，并且(ii)所述触摸屏上的点位于由所述显示元件占据的显示区域的区域之外。
在实施例中，该方法可以包括在显示器上显示显示元件的同时将跟踪算法应用于用户的运动图像，以跟踪用户的移动，并且可以使用跟踪的移动来确定触摸输入是否由与显示元件相关联的用户提供。
例如，跟踪算法可以是骨架跟踪算法。
可替代地或附加地，所述方法可以包括响应于所述跟踪算法变得不能跟踪与所述显示元件相关联的用户而控制所述显示器撤销所述显示元件。
可替代地或附加地，所述方法可以包括：生成撤销区数据，以便定义所述总显示区域中的另一个区域，所述另一个区域围绕所述显示元件占据的区域并且小于所述总显示区域；其中如果所述跟踪算法变得不能跟踪与所述显示元件相关联的用户，使得不再有与所述显示元件相关联的任何所跟踪的用户，则可以通过任何用户选择所述触摸屏上的在由显示元件占据的区域之外、但是在围绕它的其他区域内点而能够撤销所述显示元件。
用户可以响应于该用户使用触摸屏或显示设备的另一个输入设备使显示元件被显示而与显示元件相关联。
显示元件可以包括在由显示元件占据的总显示区域的区域内显示的一个或多个可选选项，并且该方法可以进一步包括以下步骤：如果触摸屏上的点位于被一个或多个可选选项之一占据的相应区域内，执行与该选项相关的预期动作。
例如，占据一个或多个可选选项中的每一个的相应区域可以是由显示元件占据的区域的、小于该区域的子区域。可选地，显示元件可以是占据所有的所述区域的单个可选择的选项。
所述方法可以包括：生成撤销区数据，以便定义所述总显示区域中的另一个区域，所述另一个区域围绕由所述显示元件占据的区域并且小于所述总显示区域；并且在以下情况下控制所述显示器撤销所述显示元件：(i)所述触摸输入由不与所述显示元件关联的另一用户提供，以及(ii)所述触摸屏上的所述点在所述区域之外但在所述另一个区域内，由此如果触摸输入在另一个区域的外部并且由另一个用户提供，则不撤销显示元件。
如果触摸屏上的点在另一个区域外，假设触摸输入由与显示元件相关联的用户提供，则显示元件可以被撤销。
该方法可以包括检测显示器的尺寸和/或像素密度和/或触摸屏的触摸分辨率，其中基于尺寸和/或像素密度和/或触摸分辨率生成撤销区数据。
整个显示器的第二区域可以跨越总显示区域的整个高度。
该方法可以包括通过将其位置与高度阈值进行比较来确定由显示元件占据的区域是否靠近显示器的顶部，其中围绕它的另一个区域可以被限定为使得如果显示元件占据的区域靠近显示器的顶部则其横跨总显示区域的整个高度。
根据本主题的第四方面，一种显示设备被配置成由多个用户同时使用，并且包括：输出端，被配置为连接到具有总显示区域的显示器；被配置为连接到显示器的触摸屏的输入端；处理器；存储器，被配置为保存可执行代码，所述代码在被执行时被配置为执行至少以下操作：控制所述显示器显示显示元件，使得所述显示元件占据总显示区域中的小于总显示区域的区域；将显示设备的用户之一与存储器中的显示元件相关联；在所述显示元件正被显示在所述显示器上的同时，使用所述显示设备的至少一个摄像头来捕捉所述用户的运动图像；当显示元件正被显示在显示器上时，检测显示器的触摸屏上的点处的触摸输入；使用用户的运动图像来确定触摸输入是否由与显示元件相关联的用户提供；并且在以下情况下控制所述显示器撤销所述显示元件：(i)所述触摸输入由与所述显示元件相关联的用户提供，并且(ii)所述触摸屏上的点位于由所述显示元件占据的显示区域的区域之外。
注意，在任何上述方面的实施例中实现的任何特征同样可以在任何其他方面的实施例中实现。
根据本主题的第五方面，一种计算机程序产品包括存储在计算机可读存储介质上的可执行代码，所述代码用于控制可由多个用户使用的显示设备的显示器，所述显示器具有总显示区域，其中所述代码在处理器上执行时被配置为执行至少以下操作以实现本文公开的任何方法步骤或设备功能。
在实施例中，代码可以是用于经由通信网络在显示设备的用户与至少另一个用户之间实现通信事件的通信客户端。
通常，可以使用软件、固件、硬件(例如，固定逻辑电路)或这些实现方式的组合来实现本文中所描述的任何功能。这里使用的术语“模块”、“功能”、“组件”和“逻辑”通常表示软件、固件、硬件或其组合。在软件实现方式的情况下，模块、功能或逻辑表示在处理器(例如，一个CPU或多个CPU)上执行时执行指定任务的程序代码。程序代码可以存储在一个或多个计算机可读存储设备中。下面描述的技术的特征是独立于平台的，意味着这些技术可以在具有多种处理器的各种商业计算平台上实现。例如，显示设备还可以包括实体(例如软件)，其使得设备的硬件执行操作，例如处理器功能块等等。例如，显示设备可以包括计算机可读介质，该计算机可读介质可以被配置为维护使得设备并且更具体地的设备的操作系统和相关硬件执行操作的指令。因此，指令的作用是配置操作系统和相关的硬件来执行操作，并以这种方式导致操作系统和相关硬件的转换以执行功能。指令可以由计算机可读介质通过各种不同的配置提供给显示设备。17-1948
计算机可读介质的一种这样的配置是信号承载介质，并且因此被配置为将指令(例如作为载波)诸如经由网络传输到计算设备。计算机可读介质还可以被配置为计算机可读存储介质，因此不是信号承载介质。计算机可读存储介质的示例包括随机存取存储器(RAM)、只读存储器(ROM)、光盘、闪速存储器、硬盘存储器以及可以使用存储指令和其他数据的磁性、光学和其他技术的其他存储器设备。
尽管已经用结构特征和/或方法动作专用的语言描述了主题，但是应当理解的是，所附权利要求中限定的主题不一定限于上面描述的特定特征或动作。相反，上述的具体特征和行为被公开为实施权利要求的示例形式。

Claims (15)

1.一种计算机实现的方法，用于控制能由多个用户同时使用的显示设备的显示器，所述显示器具有总显示区域，所述方法包括：
控制所述显示器以显示显示元件，使得所述显示元件占据所述总显示区域中的小于所述总显示区域的区域；
将所述显示设备的用户之一与所述显示元件相关联；
使用所述显示设备的至少一个摄像头以在所述显示元件正被显示在所述显示器上的同时捕捉所述用户的运动图像；
在所述显示元件正被显示在所述显示器上的同时，检测所述显示器的触摸屏上的点处的触摸输入；
使用所述用户的运动图像来确定所述触摸输入是否由与所述显示元件相关联的用户提供；以及
如果：(i)所述触摸输入由与所述显示元件相关联的用户提供，并且(ii)所述触摸屏上的所述点位于显示区域中的由所述显示元件占据的区域之外，则控制所述显示器撤销所述显示元件。
2.根据权利要求1所述的方法，包括在所述显示元件正被显示在所述显示器上的同时，将跟踪算法应用于所述用户的运动图像，以跟踪所述用户的移动，所跟踪的移动用于确定所述触摸输入是否由与所述显示元件相关联的用户提供。
3.根据权利要求2所述的方法，其中所述跟踪算法是骨架跟踪算法。
4.根据权利要求2或3所述的方法，包括响应于所述跟踪算法变得不能跟踪与所述显示元件相关联的用户而控制所述显示器以撤销所述显示元件。
5.根据权利要求2、3或4所述的方法，包括：
生成撤销区数据，以便定义所述总显示区域中的另一个区域，所述另一个区域围绕由所述显示元件占据的区域，并且小于所述总显示区域；
其中，如果所述跟踪算法变得不能跟踪与所述显示元件相关联的用户，使得不再有与所述显示元件相关联的任何所跟踪的用户，则所述显示元件能够通过任何用户选择在触摸屏上的位于由所述显示元件占据的区域外但在围绕该区域的其他区域内的点而被撤销。
6.根据任一前述权利要求所述的方法，其中，响应于所述用户使所述显示元件使用所述显示设备的所述触摸屏或另一输入设备来显示，所述用户与所述显示元件相关联。
7.根据任一前述权利要求所述的方法，其中，所述显示元件包括在所述总显示区域中的由所述显示元件占据的区域内显示的一个或多个可选选项，并且所述方法还包括以下步骤：
如果所述触摸屏上的所述点位于由所述一个或多个可选选项之一占据的相应区域内，则执行与该选项相关联的预期动作。
8.根据权利要求7所述的方法，其中，占据所述一个或多个可选选项中的每一个的相应区域是所述显示元件占据的区域的、小于所述区域的子区域；或者所述显示元件是占据了所有的所述区域的单个可选选项。
9.一种被配置为由多个用户同时使用的显示设备，所述显示设备包括：
输出端，被配置为连接到具有总显示区域的显示器；
输入端，被配置为连接到所述显示器的触摸屏；
处理器；
存储器，被配置为保存可执行代码，所述代码在执行时被配置为执行至少以下操作：
控制所述显示器以显示显示元件，使得所述显示元件占据所述总显示区域中的小于所述总显示区域的区域；
将所述显示设备的用户之一与所述存储器中的所述显示元件相关联；
在所述显示元件正被显示在所述显示器上的同时，使用所述显示设备的至少一个摄像头以捕捉所述用户的运动图像；
在所述显示元件正被显示在所述显示器上的同时，检测所述显示器的触摸屏上的点处的触摸输入；
使用所述用户的运动图像来确定所述触摸输入是否由与所述显示元件相关联的用户提供；以及
如果：(i)所述触摸输入由与所述显示元件相关联的用户提供，并且(ii)所述触摸屏上的所述点位于显示区域中的由所述显示元件占据的区域之外，则控制所述显示器以撤销所述显示元件。
10.根据权利要求9所述的显示设备，被设置成安装在墙壁上。
11.根据任意前述权利要求所述的方法或显示设备，其中，所述显示器被集成在所述显示设备中。
12.根据任一前述权利要求所述的方法，包括：
生成撤销区数据，以便定义所述总显示区域中的另一个区域，所述另一个区域围绕由所述显示元件占据的区域并且小于所述总显示区域；以及
如果：(i)所述触摸输入是由不与所述显示元件相关联的另一个用户提供的，以及(ii)所述触摸屏上的所述点在所述区域之外但在所述另一个区域内，则控制所述显示器以撤销所述显示元件，由此如果所述触摸输入在所述另一个区域之外并且由另一个用户提供，则所述显示元件不被撤销。
13.根据权利要求12所述的方法，其中，如果所述触摸屏上的所述点位于所述另一个区域之外，只要所述触摸输入是由与所述显示元件相关联的用户提供的，则所述显示元件被撤销。
14.根据权利要求12或13所述的方法，包括检测所述显示器的尺寸和/或像素密度和/或所述触摸屏的触摸分辨率，其中，所述撤销区数据是基于所述尺寸和/或所述像素密度和/或所述触摸分辨率而生成的。
15.一种包括存储在计算机可读存储介质上的可执行代码的计算机程序产品，其中所述代码在处理器上执行时被配置为实现任何前述权利要求的方法。
CN201680052286.5A 2015-09-09 2016-09-08 控制多用户触摸屏设备 Pending CN108027699A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/849,317 US20170068414A1 (en) 2015-09-09 2015-09-09 Controlling a device
US14/849,317 2015-09-09
PCT/US2016/050595 WO2017044511A1 (en) 2015-09-09 2016-09-08 Controlling a multi-user touch screen device

Publications (1)

Publication Number Publication Date
CN108027699A true CN108027699A (zh) 2018-05-11

Family

ID=57113667

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680052286.5A Pending CN108027699A (zh) 2015-09-09 2016-09-08 控制多用户触摸屏设备

Country Status (4)

Country Link
US (1) US20170068414A1 (zh)
EP (1) EP3347803A1 (zh)
CN (1) CN108027699A (zh)
WO (1) WO2017044511A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102189634B1 (ko) * 2020-06-17 2020-12-11 (주)인티그리트 복수의 사용자가 동시에 접속가능한 멀티 디스플레이 장치 및 이의 동작방법

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210063836A1 (en) 2017-04-26 2021-03-04 View, Inc. Building network
US11868103B2 (en) 2014-03-05 2024-01-09 View, Inc. Site monitoring system
CA3156883A1 (en) 2014-03-05 2015-09-11 View, Inc. Monitoring sites containing switchable optical devices and controllers
US11743071B2 (en) 2018-05-02 2023-08-29 View, Inc. Sensing and communications unit for optically switchable window systems
US11740948B2 (en) 2014-12-08 2023-08-29 View, Inc. Multiple interacting systems at a site
US12366111B2 (en) 2015-09-18 2025-07-22 View Operating Corporation Trunk line window controllers
US20210383804A1 (en) * 2016-04-26 2021-12-09 View, Inc. Immersive collaboration of remote participants via media displays
US12147142B2 (en) 2017-04-26 2024-11-19 View, Inc. Remote management of a facility
US12339557B2 (en) 2017-04-26 2025-06-24 View, Inc. Configuration associated with media display of a facility
US11467464B2 (en) 2017-04-26 2022-10-11 View, Inc. Displays for tintable windows
US12176596B2 (en) 2019-05-31 2024-12-24 View, Inc. Building antenna
TWI804671B (zh) 2019-08-28 2023-06-11 財團法人工業技術研究院 互動顯示方法與互動顯示系統
TW202206925A (zh) 2020-03-26 2022-02-16 美商視野公司 多用戶端網路中之存取及傳訊

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100295771A1 (en) * 2009-05-20 2010-11-25 Microsoft Corporation Control of display objects
US20110197263A1 (en) * 2010-02-11 2011-08-11 Verizon Patent And Licensing, Inc. Systems and methods for providing a spatial-input-based multi-user shared display experience
US20120169618A1 (en) * 2011-01-04 2012-07-05 Lenovo (Singapore) Pte, Ltd. Apparatus and method for gesture input in a dynamically zoned environment
CN103534674A (zh) * 2011-02-08 2014-01-22 海沃氏公司 多模态触摸屏交互装置、方法和系统
US20140055400A1 (en) * 2011-05-23 2014-02-27 Haworth, Inc. Digital workspace ergonomics apparatuses, methods and systems

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9086794B2 (en) * 2011-07-14 2015-07-21 Microsoft Technology Licensing, Llc Determining gestures on context based menus
WO2014039670A1 (en) * 2012-09-05 2014-03-13 Haworth, Inc. Digital workspace ergonomics apparatuses, methods and systems
US9846526B2 (en) * 2013-06-28 2017-12-19 Verizon and Redbox Digital Entertainment Services, LLC Multi-user collaboration tracking methods and systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100295771A1 (en) * 2009-05-20 2010-11-25 Microsoft Corporation Control of display objects
US20110197263A1 (en) * 2010-02-11 2011-08-11 Verizon Patent And Licensing, Inc. Systems and methods for providing a spatial-input-based multi-user shared display experience
US20120169618A1 (en) * 2011-01-04 2012-07-05 Lenovo (Singapore) Pte, Ltd. Apparatus and method for gesture input in a dynamically zoned environment
CN103534674A (zh) * 2011-02-08 2014-01-22 海沃氏公司 多模态触摸屏交互装置、方法和系统
US20140055400A1 (en) * 2011-05-23 2014-02-27 Haworth, Inc. Digital workspace ergonomics apparatuses, methods and systems

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102189634B1 (ko) * 2020-06-17 2020-12-11 (주)인티그리트 복수의 사용자가 동시에 접속가능한 멀티 디스플레이 장치 및 이의 동작방법

Also Published As

Publication number Publication date
US20170068414A1 (en) 2017-03-09
EP3347803A1 (en) 2018-07-18
WO2017044511A1 (en) 2017-03-16

Similar Documents

Publication Publication Date Title
CN108027699A (zh) 控制多用户触摸屏设备
US12449961B2 (en) Adaptive video conference user interfaces
US20210019028A1 (en) Method, device, and graphical user interface for tabbed and private browsing
US10275050B2 (en) Ink for a shared interactive space
US10108310B2 (en) Method and apparatus for icon based application control
CN113055629B (zh) 显示装置及其控制方法
CN106201219B (zh) 应用程序功能快捷调用方法及系统
WO2019174477A1 (zh) 用户界面显示方法、装置及终端
CN107577414A (zh) 分屏显示的方法和移动终端
CN107547750A (zh) 终端的控制方法、装置和存储介质
US20120066624A1 (en) Method and apparatus for controlling movement of graphical user interface objects
US10437425B2 (en) Presenting a menu at a mobile device
US9483112B2 (en) Eye tracking in remote desktop client
US20120066640A1 (en) Apparatus for providing multi-mode warping of graphical user interface objects
US12430020B2 (en) Application window preview panels
CN106462329A (zh) 轻解除管理器
CN108845855A (zh) 用户界面显示方法、装置、终端及存储介质
US20260037114A1 (en) Adaptive video conference user interfaces
US20170068375A1 (en) Controlling a device
CN115129214A (zh) 一种显示设备和颜色填充方法
JP6686345B2 (ja) 操作イベントを検出する方法、システム及びプログラム
TWI731531B (zh) 電腦系統及其顯示控制方法
US10310795B1 (en) Pass-through control in interactive displays
HK1249308B (zh) 终端的控制方法、装置和存储介质
JP2020149427A (ja) 表示装置、表示制御プログラムおよび表示制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180511