AT519427A1

AT519427A1 - Verfahren zur Steuerung einer Datenverarbeitungsanlage

Info

Publication number: AT519427A1
Application number: ATA51143/2016A
Authority: AT
Original assignee: Isiqiri Interface Tech Gmbh
Priority date: 2016-12-14
Filing date: 2016-12-14
Publication date: 2018-06-15
Also published as: AT519427B1

Abstract

Die Erfindung betrifft ein Verfahren zur Steuerung einer Datenverarbeitungsanlage (5) mit einer positionsauflösenden berührungssensitiven Eingabefläche (1) und einer beliebigen Anzahl und Art von Eingabeobjekten, wobei zumindest ein Eingabeobjekt ein Eingabegerät (2) ist, welches einen Kontaktsensor (3) und einen Inertialsensor (4) aufweist.

Description

Beschreibung

Die Erfindung betrifft ein Verfahren zur Steuerung einer Datenverarbeitungsanlage mit einer positionsauflösenden berührungssensitiven Eingabefläche und einer beliebigen Anzahl und Art von Eingabeobjekten, wobei zumindest ein Eingabeobjekt ein Eingabegerät ist, welches einen Kontaktsensor und einen Inertialsensor aufweist.

Eine Datenverarbeitungsanlage im Sinn dieser Schrift ist eine Vorrichtung, welche Eingangssignale von Eingabegeräten verarbeitet und daraus Daten oder Ausgangssignale für Ausgabegeräte generiert.

Eine Eingabefläche im Sinn dieser Schrift ist eine Vorrichtung, welche berührungssensitiv ist, also Berührungen oder Annäherungen von Objekten wahrnimmt, und positionsauflösenden ist, also die Positionen detektiert, an welchen die Objekte angenähert werden, oder die Berührungen stattfinden und diese Informationen in Form eines Signals an eine Datenverarbeitungsanlage sendet.

Ein Eingabeobjekt im Sinn dieser Schrift ist ein beliebiges Objekt, dessen Berührung oder Annäherung von der Eingabefläche wahrgenommen wird.

Ein Eingabegerät im Sinn dieser Schrift ist ein beliebiges Objekt, dessen Berührung oder Annäherung von der Eingabefläche wahrgenommen wird und welches zusätzlich einen Kontaktsensor und einen Inertialsensor aufweist.

Ein Kontaktsensor im Sinn dieser Schrift ist ein Sensor, der bereits die Annäherung des Eingabegeräts an eine Oberfläche erkennt oder erst die Berührung der Oberfläche durch das Eingabegerät erkennt.

Ein Inertialsensor im Sinn dieser Schrift ist ein Sensor, der die relative Bewegung des Eingabegeräts im Raum in oder um zumindest eine Raumrichtung, beispielsweise in Form von Beschleunigung, erfasst.

/ 39

Seite 1

J 582

Die US2016139690A1 zeigt ein Eingabegerät, in Form eines Eingabestiftes, welches unter anderem einen Kontaktsensor und einen Inertialsensor aufweisen kann, wobei das Eingabegerät an einer positionsauflösenden berührungssensitiven Eingabefläche zur Dateneingabe verwendet werden kann. In Absatz [0069] ist angeführt, dass mehrere Eingabestifte verwendet werden können, um mit den Sensordaten der Inertialsensoren Geräte oder

Anwendungen steuern zu können. In der US2016139690A1 wird aber keine Lösung beschrieben, wie bei Eingabe mit mehreren Eingabeobjekten an einer positionsauflösenden berührungssensitiven Eingabefläche unterschieden werden kann, welches Eingabeobjekt für welchen Berührungspunkt auf der Eingabefläche verantwortlich ist.

Die US2014146021A1 zeigt ebenfalls ein Eingabegerät, in

Form eines Eingabestiftes, welches unter anderem einen Kontaktsensor und einen

Inertialsensor aufweisen kann. In Absatz [0031] ist angeführt, dass mehrere Eingabestifte verwendet werden können, um Daten an ein Bildschirmgerät zu übermitteln. In der

US2014146021A1 wird aber ebenfalls keine Lösung beschrieben, wie bei

Eingabe mit mehreren

Eingabeobjekten an einer positionsauflösenden berührungssensitiven

Eingabefläche unterschieden werden kann, welches Eingabeobjekt für welchen

Berührungspunkt auf der Eingabefläche verantwortlich ist.

Die US2015049022A1 beschreibt ein Verfahren zur

Eingabe von

Daten an einer positionsauflösenden berührungssensitiven

Eingabefläche mit einem Eingabegerät in Form einer Computermaus, also einem Eingabegerät, welches die zweidimensionale Bewegung von sich selbst entlang einer Oberfläche detektiert. Dabei wird vorgeschlagen, das absolute zweidimensionale Bewegungssignal eines Berührungspunktes auf der Eingabefläche und das relative zweidimensionale Bewegungssignal der Computermaus miteinander zu vergleichen, um festzustellen ob diese Bewegungen ident sind.

Nachteilig an der Verwendung eines Eingabegeräts in Form einer

Computermaus, sowohl im Fall einer optischen Maus oder einer

Kugelmaus, ist, dass deren Sensor zur Detektion der relativen / 39

Seite 2

J 582

Bewegung anfällig für Beschädigung oder Verschmutzung ist und/oder manche Oberflächen keine exakte Erfassung der

Relativbewegung ermöglichen.

Die der Erfindung zu Grunde liegende Aufgabe besteht darin ausgehend von der US2015049022A1 ein Verfahren zu schaffen, um bei der Steuerung einer Datenverarbeitungsanlage mit einer beliebigen positionsauflösenden berührungssensitiven Eingabefläche die gleichzeitige Verwendung und Unterscheidung von mehreren identen Eingabegeräten zu ermöglichen, wobei ident in diesem Zusammenhang bedeutet, dass deren Identität nicht allein aus den Signalen der positionsauflösenden berührungssensitiven Eingabefläche bestimmt werden kann, ohne dabei wie in der US2015049022A1 vorgeschlagen, die Eingabegeräte mit der Funktionalität einer Computermaus ausstatten zu müssen.

Für das Lösen der Aufgabe wird vorgeschlagen, jedes Eingabegerät mit Kontaktsensor, beispielsweise mechanisch, kapazitiv oder optisch, und Inertialsensor, bevorzugt in bzw. nahe einer Spitze des Eingabegeräts, auszustatten und die Daten dieser Sensoren laufend an die Datenverarbeitungsanlage zu senden, wobei zudem die Positionen aller Berührungspunkte, welche die positionsauflösende berührungssensitive Eingabefläche wahrnimmt, von dieser laufend an die Datenverarbeitungsanlage gesendet werden und für jeden wahrgenommenen Berührungspunkt und für die jeweils von einem Eingabegerät gesendeten Daten die Wahrscheinlichkeit berechnet wird, mit welcher eine Korrelation dieser Daten vorliegt, wobei zuerst festgestellt wird, ob eine zeitliche Korrelation des Auftretens eines Signals des Kontaktsensors eines oder mehrerer Eingabegeräte mit dem Auftreten eines oder mehrerer Berührungspunkte vorliegt und wenn ja festgestellt wird, mit welcher Wahrscheinlichkeit der Verlauf eines Berührungspunktes auf der positionsauflösenden berührungssensitiven Eingabefläche und der Verlauf der vom Inertialsensor detektierten räumlichen Bewegung eines / 39

Seite 3

J 582

Eingabegeräts dieselbe bzw.

eine korrelierende Bewegung beschreiben.

Die Zuordnung von Eingabeobjekten und

Eingabegeräten kann nach folgendem Schema erfolgen:

Sobald die Datenverarbeitungsanlage das Auftauchen eines

Berührungspunkts auf einer Eingabefläche wahrnimmt, ermittelt diese, ob innerhalb einer kurzen Zeit vor oder nach dem

Erscheinen des Berührungspunkts die Kontaktsensoren von einem oder mehreren Eingabegeräten aktiv wurden oder werden. Wenn ja werden die möglichen Kombinationen von Berührungspunkten auf der

Eingabefläche und Berührungssignale von Kontaktsensoren gespeichert. Es ergeben sich folgende Möglichkeiten:

- Es gibt keine zeitliche Korrelation eines Berührungssignals eines Kontaktsensors mit dem Auftauchen eines Berührungspunkts, dann wird der Berührungspunkt als „no-pen touch, also als nicht durch ein Eingabegerät hervorgerufen, behandelt.

- Das Auftauchen genau eines Berührungspunkts auf der Eingabeflächen korreliert zeitlich mit genau einem Berührungssignal eines Kontaktsensors, dann kann dieser Berührungspunkt als „pen touch, also als durch ein Eingabegerät hervorgerufen, behandelt werden.

- Wenn es mehrere zeitliche Korrelationen zwischen dem Auftauchen von Berührungspunkten auf der Eingabefläche und dem Auftauchen von Berührungssignalen von Kontaktsensoren gibt, wird jeder möglichen Korrelationskombination ein

Wahrscheinlichkeitswert zugeordnet, der angibt, wie wahrscheinlich es ist, dass ein Eingabegerät mit dem der

Korrelationskombination zugehörigen Kontaktsensor eine

Eingabefläche an dem

Ort berührt hat, an dem der der

Korrelationskombination zugehörige

Berührungspunkt aufgetaucht ist. In diesem

Fall werden die Schritt a-c ausgeführt.

a. Der Wahrscheinlichkeitswert jeder Korrelationskombination wird in der Folge in sehr kurzen, beispielsweise / 39

Seite 4

J 582 regelmäßigen, Zeitabständen aktualisiert. Hierfür werden einerseits die Daten des der Korrelationskombination zugehörigen Kontaktsensors mit der Aktivität des der Korrelationskombination zugehörigen Berührungspunkts abgeglichen, andererseits die Bewegungsdaten des der Korrelationskombination zugehörigen Inertialsensors mit der Bewegungstrajektorie des der Korrelationskombination zugehörigen Berührungspunkts. Wenn es eine hohe Übereinstimmung der abgeglichenen Daten gibt, steigt der Wahrscheinlichkeitswert der Korrelationskombination anderenfalls sinkt er.

b. Nach jeder Aktualisierung der Wahrscheinlichkeitswerte für alle zu einem Zeitpunkt auftretenden

Korrelationskombinationen wird jede mögliche

Korrelationskombination, deren Wert unter eine bestimmte Schwelle sinkt, gelöscht und/oder der Berührungspunkt jener Korrelationskombination, deren

Wahrscheinlichkeitswert um einen bestimmten Faktor über den Wahrscheinlichkeitswert aller konkurrierenden Korrelationskombinationen steigt, als „pen touch behandelt, sowie die konkurrierenden

Korrelationskombinationen gelöscht.

c. Anschließend wird für jeden Berührungspunkt geprüft, ob noch mögliche Korrelationskombinationen vorliegen. Im Falle, dass keine vorliegt, wird der Berührungspunkt als „no-pen touch behandelt. Falls genau eine vorliegt, wird der Berührungspunkt als „pen touch behandelt.

Unter Korrelationskombination ist eine mögliche Kombination von Eingabegerät und Berührungspunkt zu verstehen. Die Anzahl der Korrelationskombinationen ergibt sich aus der Anzahl von Berührungspunkten multipliziert mit der Anzahl von Berührungssignalen, deren Auftreten zeitlich korreliert.

Bei zeitlicher Korrelation des Auftretens dreier

Berührungspunkte auf der Eingabefläche und zweier / 39

Seite 5

J 582

Berührungssignale von Eingabegeräten beträgt die Anzahl der möglichen Korrelationskombinationen sechs.

Konkurrierende

Korrelationskombinationen sind

Korrelationskombinationen, welche ein Eingabegerät oder einen

Berührungspunkt gemeinsam haben, sodass sich diese konkurrierenden

Korrelationskombinationen gegenseitig ausschließen.

Wird beispielsweise eines von zwei möglichen

Eingabegeräten einem von drei möglichen

Berührungspunkten als „pen-touch zugeordnet, dann stehen für das zweite

Eingabegeräten nur noch zwei mögliche

Berührungspunkte zur

Verfügung. Es wurde daher eine Korrelationskombination bestätigt und drei konkurrierende

Korrelationskombinationen gelöscht, sodass nur noch zwei mögliche

Korrelationskombinationen verbleiben.

Vorteilhaft an der gegenständlichen

Erfindung ist, dass die

Eingabegeräte, auch wenn diese nicht die Funktionalität einer

Computermaus aufweisen, untereinander und von anderen

Eingabeobjekten unterschieden werden können.

Die

Eingabegeräte können also einen einfacheren Aufbau als eine

Computermaus, insbesondere ein geschlossenes und somit schmutzresistente

Gehäuse, aufweisen.

Die gegenständliche Erfindung ermöglicht somit vorteilhaft die

Unterscheidung von Eingabegeräten, wie beispielsweise aus den

US2016139690A1 und US2014146021A1 bekannt, untereinander und von anderen Eingabeobjekten bei Eingabe an einer oder mehreren Eingabeflächen und daher die unterschiedliche Behandlung der Eingaben unterschiedlicher Eingabegeräte und Eingabeobjekte.

Die Erfindung wird an Hand von Zeichnungen zu beispielhaften erfindungsgemäßen Ausführungsvarianten veranschaulicht:

Fig. 1: zeigt schematisch die Komponenten, welche zur Umsetzung des erfindungsgemäßen Verfahrens benötigt werden.

Fig. 2: verdeutlicht schematisch das erfindungsgemäße

Verfahren, indem die Signale dargestellt sind, anhand / 39

Seite 6

J 582 welcher die Datenverarbeitungsanlage die Zuordnung von Eingabegeräten zu Berührungspunkten vornimmt.

Fig. 3: zeigt schematisch die durch die

Datenverarbeitungsanlage vorgenommene Zuordnung von Eingabegeräten zu Berührungspunkten, anhand der erhaltenen Signale der Fig. 2.

Fig. 4: zeigt schematisch drei zeitgleich auftretenden

Berührungspunkte an der Eingabefläche und die Signale der Berührungssensoren von zwei Eingabegeräten zum Zeitpunkt des Auftretens.

Fig. 5: zeigt schematisch die Zeitpunkte des Verschwindens der drei zeitgleich auftretenden Berührungspunkte an der Eingabefläche und die Signale der Berührungssensoren von

zwei Eingabegeräten Berührungspunkte.	nach Versc	hwinden	aller
Fig. 6: zeigt schematisch	die	durch	die
Datenverarbeitungsanlage	vorgenommene	Zuordnung	von

Eingabegeräten zu Berührungspunkten, anhand der erhaltenen Signale der Fig. 3 und Fig. 4.

Fig. 7: zeigt schematisch eine Variante mit Nutzung eines optischen Sensors im Eingabegerät.

In Fig. 1 ist schematisch das System, welches zur Umsetzung des erfindungsgemäßen Verfahrens benötigt wird, dargestellt. Das System umfasst eine berührungssensitive, positionsauflösende Eingabefläche 1, welche als Touchpad oder als Touchscreen vorliegen kann. Die Eingabefläche 1 ist in der Lage mehrere Berührungsereignisse gleichzeitig zu erkennen. Eine solche Eingabefläche wird als multitouchfähige Eingabefläche bezeichnet. Das Berührungsereignis kann ausgelöst werden, wenn ein Objekt die Eingabefläche berührt, oder bereits bei Annäherung des Objekts, wenn dieses eine gewisse Distanz zur Eingabefläche unterschreitet.

Das System umfasst weiters ein Eingabegerät 2, welches zumindest einen Berührungssensor 3 und zumindest einen Inertialsensor 4 / 39

Seite 7

J 582 aufweist. Der Kontaktsensor 3 liefert ein Signal, welches aussagt, dass das Eingabegerät 2 mit jenem Ende, an welchem der Kontaktsensor 3 angeordnet ist, an einer Oberfläche anliegt. Alternativ bzw. zudem kann der Kontaktsensor 3 bereits vor Berührung ein Signal liefern, welches aussagt, dass sich das Eingabegerät 2 in unmittelbarer Nähe zu einer Oberfläche befindet, also eine gewisse Distanz zur Oberfläche unterschreitet. Der Kontaktsensor 3 kann beispielsweise nach dem mechanischen, kapazitiven oder optischen Prinzip arbeiten.

Der Inertialsensor bzw. um zumindest

Beschleunigungen erfasst Beschleunigungen oder Drehraten in eine Raumachse. Der Inertialsensor 6 erfasst in zumindest einer bevorzugt zwei oder besonders bevorzugt allen drei Raumrichtungen. Bevorzugt erfasst der Inertialsensor 6 zudem

Drehraten um zumindest eine bevorzugt zumindest zwei oder besonders bevorzugt alle drei

Raumrichtungen. Besonders bevorzugt kann der Inertialsensor 6 als inertiale

Messeinheit zur Erfassung der sechs möglichen kinematischen

Freiheitsgrade vorliegen, umfassend drei jeweils aufeinander orthogonal stehende

Beschleunigungssensoren (Translationssensoren) für die Erfassung der translatorischen

Bewegung in x- bzw. ybzw. z-Achse und drei orthogonal zueinander angebrachte

Drehratensensoren (Gyroskopische

Sensoren) für die Erfassung rotierender (kreisender) Bewegungen in x- bzw. ybzw. z-Achse.

Der Inertialsensor 6 befindet sich bevorzugt möglichst nahe an dem Ende bzw. der Spitze, mit welchem das Eingabegerät 2 die Eingabefläche 1 berührt, sodass die vom Inertialsensor 6 wahrgenommene Bewegung möglichst exakt der Bewegung der Spitze des Eingabegeräts 2 entspricht und somit jener von der Eingabefläche 1 detektierten Bewegung des Berührungspunktes entspricht.

Das System umfasst weiters eine Datenverarbeitungsanlage 5, welche die Signale der Eingabefläche 1 und der Eingabegeräte 2 empfängt und verarbeitet.

Das System kann bevorzugt zudem mindestens ein zusätzliches

Eingabegerät 6 umfassen, welches so wie das Eingabegerät 2 / 39

Seite 8

J 582 zumindest einen Kontaktsensor 7 und zumindest einen

Inertialsensor 8 aufweist.

Zudem kann das System eine beliebige Anzahl weiterer Eingabeobjekte umfassen, welche ebenfalls mit Sensoren ausgestattet sein können, oder ohne Sensoren vorliegen können und welche von der berührungssensitiven, positionsauflösenden Eingabefläche 1 bei Berührung oder Annäherung wahrgenommen werden. Diese weiteren Eingabeobjekte umfassen insbesondere auch die Finger von Benutzern des Systems.

Auf der Eingabefläche 1 ist eine Bewegungsbahn 9 eines Berührungspunktes dargestellt. Das der gegenständlichen Erfindung zugrunde liegende Problem besteht darin, dass die Datenverarbeitungsanlage 5 ohne weitere Informationen nicht feststellen kann, welches Eingabeobjekt die Bewegungsbahn verursacht hat. Für die bekannte Steuerung von Anwendungen ist dieses Problem unerheblich, da diese der Eingabe mit unterschiedlichen Eingabeobjekten keine unterschiedliche Bedeutung zuordnet. Beispielsweise macht es keinen Unterschied ob über einen Touchscreen eine Datei mit einem Eingabestift (Touchpen) oder mit dem Finger geöffnet wird.

Die erfindungsgemäße Lösung für das Problem sieht vor, dass ein Eingabegerät 2 zur Eingabe verwendet wird, welches einen Kontaktsensor 3 als Näherungs- oder Berührungssensor und einen Sensor zur Detektion von Relativbewegungen im Raum aufweist, beispielsweise zumindest einen Inertialsensor 4, wobei die Datenverarbeitungsanlage 5 zur Zuordnung zuerst prüft, ob die Bewegungsbahn 9 auf der Eingabefläche 1 zeitgleich mit dem Signal des Berührungssensors 3 aufgetaucht ist. Da selbst in diesem Fall eine Fehlzuweisung möglich ist, nämlich wenn das Eingabegerät 2 zum gleichen Zeitpunkt auf einer beliebigen Oberfläche aufgesetzt wird, wie ein anderes Eingabeobjekt an der Eingabefläche 1, wird im zweiten Schritt geprüft, ob die Bewegungsbahn des Eingabegeräts 2 ident zur Bewegungsbahn 9 sein kann, wozu das Signal des Inertialsensors 4 und das Signal der Eingabefläche 1 verglichen werden. Bei Verwendung nur eines / 39

Seite 9

J 582

Eingabegeräts 2 könnte der zweite Schritt unterbleiben, da es unwahrscheinlich scheint, dass das Eingabegerät 2 zeitgleich an einer anderen Oberfläche aufgesetzt wird, wie ein beliebiges Eingabeobjekt auf der Eingabefläche 1. Der zweite Schritt ist aber jedenfalls dann für eine eindeutige Zuordnung eines Eingabegerät 2 zu einem Berührungspunkt besonders wertvoll, wenn eine Vielzahl von Eingabeobjekten gleichzeitig zur Dateneingabe an der Eingabefläche 1 verwendet werden, da es in diesem Fall häufig dazu kommen kann, dass Eingabeobjekte zeitgleich bzw. zeitnah an die Eingabefläche 1 aufgesetzt werden.

In Fig. 2 ist eine Situation veranschaulicht, in welcher zwei Eingabegeräte 2, 6 verwendet werden, welche die Daten ihrer Kontaktsensoren 3, 7 und die Daten ihrer Inertialsensoren 4, 8 an die Datenverarbeitungsanlage 5 senden. Zudem wird eine Eingabefläche 1 verwendet, welche die Positionsdaten von Berührungspunkten an die Datenverarbeitungsanlage 5 sendet.

Die Eingabefläche 1 detektiert im Beispiel der Fig. 2 drei zeitgleich zum Zeitpunkt t₀ auftretende Berührungspunkte. Durch die zeitliche Korrelation des Auftretens dreier Berührungspunkte auf der Eingabefläche und zweier Berührungssignale von Eingabegeräten beträgt die Anzahl der möglichen Korrelationskombinationen sechs. Die Objekte werden unterschiedlich (hinsichtlich Beschleunigung, Geschwindigkeit und/oder Richtung) bis zum Zeitpunkt der Momentaufnahme der Fig. 2 entlang der Oberfläche der Eingabefläche 1 verschoben. Die Verschiebung der berührenden Objekte auf der Eingabefläche 1 hat eine Verschiebung der Berührungspunkte zur Folge, woraus für jeden Berührungspunkt einen Bewegungsbahn 9, 10, 11 in der Ebene der Eingabefläche 1 resultiert. Da die Eingabefläche 1 lediglich die Bewegungsbahnen 9, 10, 11 der Berührungspunkte übermittelt, kann die Datenverarbeitungsanlage 5 nicht feststellen, welches Objekt welchen Berührungspunkt hervorgerufen hat.

Durch die Verwendung der Eingabegeräte 2, 6 empfängt die Datenverarbeitungsanlage 5 zudem die Bewegungsdaten der Inertialsensoren 4, 8 des jeweiligen Eingabegeräts 2, 6. Das / 39

Seite 10

J 582

Eingabegerät 2 legt beispielsweise eine Bewegungsbahn 12 im Raum zurück, wobei der Inertialsensor 4 zumindest die Beschleunigung entlang einer Richtung des Eingabegeräts 2 erfasst. Das zweite Eingabegerät 6 legt beispielsweise eine Bewegungsbahn 13 im Raum zurück, wobei der Inertialsensor 8 zumindest die Beschleunigung entlang einer Richtung des zweiten Eingabegeräts 6 erfasst. Die Inertialsensoren 4, 8 erfassen dabei beispielsweise zumindest Beschleunigungen in einer Raumrichtung, welche durch den Pfeil ausgehend vom jeweiligen Inertialsensor 4, 8 dargestellt ist. Sofern der Inertialsensoren 4, 8 Beschleunigungen in nur einer oder zwei Raumrichtungen misst, liegen diese Raumrichtungen bevorzugt in einer Ebene mit Winkel 90° zur Längsrichtung des Eingabegeräts 2, 6, welche sich von der Spitze bis zum Ende dessen erstreckt. Da die Längsrichtung des Eingabegeräts 2, 6 bei Berührung einer Oberfläche winkelig also zumindest nicht parallel zu dieser ausgerichtet ist, besteht ein Bezug des Sensorsignals des Inertialsensors 4, 8 entlang der genannten Raumrichtung und der von der Eingabefläche 1 detektierten Bewegungsbahn von Berührungspunkten.

Zudem empfängt die Datenverarbeitungsanlage 5 die Signale der Kontaktsensoren 3, 7 der beiden Eingabegeräte 6. Diese liefern beispielsweise ebenfalls zum Zeitpunkt t₀ ein Signal, wonach diese eine Oberfläche berühren, also zeitgleich zum Auftreten der Berührungspunkte auf der Eingabefläche 1.

Die Datenverarbeitungsanlage 5 ist nicht in der Lage ein Eingabegerät 2, 6 einem Berührungspunkt zum Zeitpunkt t0 eindeutig zuzuordnen, da jedes Eingabegerät 2, 6, dessen Kontaktsensor 3, 7 zum Zeitpunkt t0 ein Berührungssignal liefert, an jedem zum Zeitpunkt t0 auftretenden Berührungspunkt platziert sein könnte.

Beim erfindungsgemäßen Verfahren wird beim Auftreten zumindest eines Berührungspunktes auf der positionsauflösenden berührungssensitiven Eingabefläche 1 und/oder bei jedem Auftreten eines Berührungssignals eines Kontaktsensors 3, 7 eines oder mehrerer Eingabegeräte 2, 6 im ersten Schritt / 39

Seite 11

J 582 festgestellt, ob eine zeitliche Korrelation des Auftretens eines

Berührungssignals eines Kontaktsensors 3, 7 eines oder mehrerer

Eingabegeräte 2, 6 mit dem Auftreten eines oder mehrerer

Berührungspunkte auf der positionsauflösenden berührungssensitiven Eingabefläche 1 vorliegt.

Da diese Voraussetzung erfüllt ist, wird im zweiten Schritt für alle zeitgleich aufgetretenen Signale in sehr kurzen Zeitabständen festgestellt, mit welcher Wahrscheinlichkeit der zeitliche Verlauf eines Berührungspunktes, also die jeweilige Bewegungsbahn 9, 10, 11, auf der positionsauflösenden berührungssensitiven Eingabefläche 1 und der Verlauf einer von einem Inertialsensor 4, 8 detektierten Bewegung, also einer räumliche Bewegungsbahn 12, 13 eines Eingabegeräts 2, 6 oder zumindest eine Komponente dieser, dieselbe bzw. eine korrelierende Bewegung beschreiben, oder anders gesagt wird für jede mögliche Korrelationskombination in sehr kurzen Zeitabständen ein Wahrscheinlichkeitswert bestimmt und mit den Wahrscheinlichkeitswerten aller anderen Korrelationskombination verglichen.

Im dritten Schritt wird ein Eingabegerät einem Berührungspunkt zugeordnet, wenn die Wahrscheinlichkeit, dass der zeitliche Verlauf eines Berührungspunktes, also die jeweilige Bewegungsbahn 9, 10, 11, und der Verlauf der vom Inertialsensor 4, 8 detektierten Bewegung, also eine Bewegungsbahn 12, 13 eines Eingabegeräts 2 dieselbe bzw. eine korrelierende Bewegung beschreiben, einen Schwellwert übersteigt, bzw. der Wahrscheinlichkeitswert einer Korrelationskombination einen gewissen Schwellwert größer ist, als jene aller konkurrierenden Korrelationskombinationen.

Im Beispiel der Fig. 2 korreliert die Bewegungsbahn 9 auf der Eingabefläche 1 mit der räumlichen Bewegungsbahn 12 des Eingabegeräts 2 ab dem Startzeitpunkt t₀, sodass die Datenverarbeitungsanlage 5 das Eingabegerät 2 dem Berührungspunkt mit der Bewegungsbahn 9 eindeutig zuordnen kann.

Im Beispiel der Fig. 2 korreliert die Bewegungsbahn 10 auf der / 39

Seite 12

J 582

Eingabefläche 1 mit der räumlichen Bewegungsbahn 13 des

Eingabegeräts 6 im

Raum, sodass die Datenverarbeitungsanlage 5 das Eingabegerät dem Berührungspunkt mit der Bewegungsbahn 10 eindeutig zuordnen kann. Der Zeitpunkt, zu welchem diese eindeutige

Zuordnung erfolgen kann, ist variabel und hängt vom

Verlauf der

Signale und den daraus berechneten

Wahrscheinlichkeitswerten aller möglichen

Korrelationskombinationen ab.

Da keine der räumlichen Bewegungsbahnen 12, mit der

Bewegungsbahn 11 auf der Eingabefläche 1 korreliert, wird dieser

Bewegungsbahn 11 durch die Datenverarbeitungsanlage 1 die

Bedeutung eines beliebigen Eingabeobjekts 14 zugeordnet, welches von den Berührungsereignissen durch

Eingabegeräte 2, 6 eindeutig unterscheidbar ist.

Sollten mehrere Berührungspunkte durch beliebige weitere Eingabeobjekte 14, welche selbst keine Sensoren aufweisen, vorhanden sein, lässt sich durch die Datenverarbeitungsanlage nicht unterscheiden, welches dieser Eingabeobjekte 14 sich an welcher Position befindet. Die Eingabegeräte 2, 6 und jedes weitere Eingabegeräte 2, 6 können aber weiterhin einem Berührungsereignis eindeutig zugeordnet werden.

Durch die eindeutige Zuordnung von Eingabegeräten 2, 6 also einer Bedeutung „pen touch zu Berührungsbahnen 9, 10 und der Zuordnung der Bedeutung „nicht durch Eingabegeräte verursacht Berührung bzw. „no-pen touch zu allen weiteren Berührungsbahnen 11, kann die Datenverarbeitungsanlag gemäß Fig. 3 die tatsächliche Anordnung von Objekten an der Eingabefläche 1 ermitteln und somit den Eingaben jedes Eingabegeräts 2, 6 eine unterschiedliche Bedeutung zuordnen.

Beispielsweise kann das erste Eingabegerät 2, durch eine in der Datenverarbeitungsanlage 5 gespeicherte Steuerungsvorschrift, einem ersten Benutzer zugeordnet sein, welchem andere Funktion der Datenverarbeitungsanlage zur Verfügung stehen, als jenem Benutzer, welchen die Datenverarbeitungsanlage 5 dem zweiten Eingabegerät 6 zuordnet. Zudem können natürlich zu / 39

Seite 13

J 582

Eingabegeräten 2, 6 und anderen Eingabeobjekten 14 unterschiedliche Steuerungsvorschriften in der Datenverarbeitungsanlage 5 hinterlegt sein, sodass beispielsweise nur mit Eingabegeräten 2, 6 Eingaben getätigt werden können und Eingaben mit anderen Eingabeobjekten 14 von der Datenverarbeitungsanlagen 5 ignoriert werden. So lassen sich vorteilhaft Fehleingaben durch unbeabsichtigte Berührung der Eingabefläche 1 erkennen und vermeiden. Ein Beispiel dafür ist die unbeabsichtigte Berührung durch den Handballen (palm touch), welche durch die gegenständliche Erfindung eindeutig von Eingaben mit Eingabegeräten 2, 6 unterscheidbar ist.

In den Fig. 4 bis 6 ist eine zusätzliche Identifikationsmöglichkeit gezeigt, welche vorteilhaft parallel bzw. zusätzlich zur zuvor beschriebenen Identifikation erfolgt. Für jedes Berührungsereignis existiert neben dem Startzeitpunkt t₀ der Berührung mit dem Endzeitpunkt der Berührung ein weiterer charakteristischer Zeitpunkt, welcher zur Identifikation der Eingabegeräte 2, 6 herangezogen werden kann. Dies ist insbesondere hilfreich, wenn kurzzeitige Eingaben erfolgen, ohne Bewegung der Eingabeobjekte, wie es beispielsweise beim Anklicken von Icons oder Buttons der Fall ist. In diesem Fall registriert die Eingabefläche 1 keine Bewegung des Berührungspunktes. Sollten gemäß dem Beispiel der Fig. 4 mehrere Berührungspunkte 15, 16, 17 auf der Eingabefläche 1 zeitgleich zum Zeitpunkt to auftreten und ein oder mehrere Kontaktsensoren 3, 7 zeitgleich zum Zeitpunkt t₀ ein Signal geben, wonach diese an einer Oberfläche anliegen, dann ist zum Zeitpunkt t₀ für die Datenverarbeitungsanlage 5 nicht erkennbar, ob ein und welches

Eingabegerät 2, 6 einen Berührungspunkt 15, 16, 17 verursacht hat. Detektieren weder die Eingabefläche 1 noch der

Inertialsensor 4, eines oder beide Eingabegeräte 2, 6 nachfolgend eine

Bewegung, dann kann weiter keine Zuordnung erfolgen.

In diesem Fall kann die

Zuordnung von Eingabegeräten

2, 6 zu

Berührungspunkten 15, 16, 17 über den jeweiligen

Zeitpunkt bestimmt werden, bei welchem die Berührungspunkte 15, / 39

Seite 14

J 582

16, 17 und die Berührungssignale der Berührungssensoren 3, 7 wieder verschwinden. In Fig. 5 ist unterhalb der Eingabefläche 1 der Signalverlauf der Kontaktsensoren 3, 7 zweier Eingabegeräte 2, 6 dargestellt. Im Bespiel der Fig. 5 erfolgt das Verschwinden des Berührungssignals des Berührungssensors 3 des ersten Eingabegeräts 2 und das Verschwinden des Berührungspunktes 17 zeitgleich zum Zeitpunkt t₁. Das Verschwinden des Berührungssignals des Berührungssensors 7 des zweiten Eingabegeräts 6 und das Verschwinden des Berührungspunktes 16 erfolgt zeitgleich zum Zeitpunkt t₃. Das Verschwinden des Berührungspunktes 15 fällt mit keinem Verschwinden eines Berührungssignals eines Berührungssensors 3, 7 zusammen. Wie in Fig. 6 dargestellt kann die Datenverarbeitungsanlage 5 ab dem Zeitpunkt t₁ das Eingabegerät 2 dem Berührungspunkt 17 zuordnen und ab dem Zeitpunkt t₂ ein nicht näher definiertes Eingabeobjekt 14 dem Berührungspunkt 15. Das Eingabegerät 6 kann ab dem Zeitpunkt t2 mit hoher Wahrscheinlichkeit dem Berührungspunkt 16 zugeordnet werden, wobei das zeitgleiche Verschwinden des Berührungssignals des Berührungssensors 7 des zweite Eingabegeräts 6 und das Verschwinden des Berührungspunktes 16 als Bestätigung der gegebenenfalls bereits erfolgten Zuordnung verwendet werden kann.

Es ist anzumerken, dass auch bei dem Beispiel der Fig. 4-6 die von der Eingabefläche 1 detektierte Bewegungsbahn des Berührungspunkts 17 mit der Bewegungsbahn des Eingabegeräts 2 korreliert und die von der Eingabefläche 1 detektierte Bewegungsbahn des Berührungspunkts 16 mit der Bewegungsbahn des zweiten Eingabegeräts 6 korreliert. Jedoch korrelieren die räumlichen Bewegungsbahnen der Eingabegeräte 2, 6 mit jeder der Bewegungsbahnen der Berührungspunkte 15, 16, 17 bis zu einem gewissen Zeitpunkt t₁.

Die Korrelation der Bewegungsbahn des Eingabegeräts 2 mit den Bewegungsbahnen der Berührungspunkte 15 und 16 endet aber jedenfalls zum Zeitpunkt t₁, wobei auch die Korrelation der Bewegungsbahn des zweiten Eingabegeräts 6 mit der Bewegungsbahn / 39

Seite 15

J 582 des Berührungspunkts 17 zum Zeitpunkt t₁ endet. Konkret registriert der Inertialsensor 4 des Eingabegeräts 2 zum Zeitpunkt t₁ eine Bewegung, während die Berührungspunkte 15 und 16 sich weiter nicht bewegen, sodass das Eingabegerät 2 auch aufgrund der vom Inertialsensor 4 registrierten Bewegung eindeutig dem Berührungspunkt 17 zugeordnet werden kann.

Allgemein kann daher festgehalten werden, dass die Bewegungsbahnen aller zeitgleich auftretenden Berührungspunkte auf der Eingabefläche 1 mit den Bewegungsbahnen aller zur selben Zeit an einer Oberfläche angelegten Eingabegeräten 2, 6 solange verglichen werden, bis für jedes Eingabegerät 2, 6 entweder mit ausreichender Wahrscheinlichkeit ein Berührungspunkt zugeordnet werden kann, oder mit ausreichender Wahrscheinlichkeit die Korrelation mit jedem Berührungspunkt ausgeschlossen werden kann. Sollte bis zum Verschwinden eines Berührungspunkts keine Zuordnung erfolgt sein, kann der weitere Verlauf des Signals des Inertialsensors 4, 8 und/oder das Wegfallen des Berührungssignals des Kontaktsensors 3, 7 verwendet werden, um die Korrelation nachträglich festzustellen bzw. das Nichtvorliegen einer Korrelation zu bestätigen. Welche Berührungsereignisse als zeitgleich bewertet werden, hängt maßgeblich von der Messfrequenz und Übertragungsrate der Eingabefläche 1 und der Eingabegeräte 2, 6 ab, sodass alle innerhalb einer gewissen Zeitspanne auftretenden Berührungspunkte der Eingabefläche 1 und Berührungssignale der Kontaktsensoren 3, 7 als zeitgleich behandelt werden. Alle innerhalb einer Zeitspanne auftretenden Berührungspunkte und Berührungssignale, welche potentiell dasselbe Berührungsereignis widergeben, werden als zeitlich korrelierend bezeichnet.

Eine bevorzugte Ausführungsvariante sieht vor, dass mehrere Eingabeflächen 1 vorhanden sind, wobei mehrere Eingabeflächen 1 mit einer Datenverarbeitungsanlage 5 verbunden sein können, oder jede Eingabeflächen 1 eine eigene Datenverarbeitungsanlage 5 aufweist, wobei diese Datenverarbeitungsanlagen 5 vorteilhaft / 39

Seite 16

J 582 untereinander über Intra- oder Internet, Funk, LAN oder WLAN verbunden sind.

Durch das erfindungsgemäße Verfahren ist durch eine oder mehrere

Datenverarbeitungsanlagen feststellbar, welche

Eingabefläche 1 von welchem Eingabegerät

2, 6 berührt wird.

Sollten mehrere

Datenverarbeitungsanlagen vorhanden sein, so ist es vorteilhaft, wenn die Eingabegerät 2, die

Signale ihres

Inertialsensors 4, 8 und ihres Berührungssensors

3, 7 drahtlos an die Datenverarbeitungsanlagen 5 übermitteln, beispielsweise

Beispielsweise ihres mit Funk oder WLAN. zusätzlich zu den Signalen Berührungssensors 3, 7 eine

Seriennummer oder eine Datenverarbeitungsanlagen 5

Datenverarbeitungsanlagen 5

Steuerungsvorschrift jedem Ein Bedeutung zuordnen können. Eingabegeräte 2 die Bedeutung können Eingabegeräte 2, 6

Inertialsensors 4, 8 und ihres eindeutige Kennung wie eine digitale Signatur an die übermitteln, sodass die gemäß einer hinterlegten gabegerät 2, 6 eine individuelle

Beispielsweise kann einem eines Administrator-Eingabegeräts zugewiesen werden, mit welchem bei sämtlichen vorhandenen

Datenverarbeitungsanlagen 5 durch bloßes Berühren bzw. Bewegen des Eingabegeräts 2 auf der Eingabefläche 1 eine Anmeldung und ein Vollzugriff auf alle Funktionen erfolgen kann. Andererseits kann einem Eingabegeräte 2 ein herkömmlicher Benutzer zugewiesen sein, sodass dieser Benutzer beispielsweise bei seiner Datenverarbeitungsanlagen 5 Vollzugriff herstellen kann und bei anderen Datenverarbeitungsanlagen 5 nur die für ihn freigegebenen Funktionen und/oder Laufwerke zur Verfügung hat.

Dabei ist vorteilhaft erfassbar und speicherbar, mit welchem Eingabegerät 2, 6 welche Eingaben an welcher

Datenverarbeitungsanlagen 5 vorgenommen wurden.

Auf jeder Datenverarbeitungsanlage 5 können Anwendungen bzw.

Programme ausgeführt werden, die sowohl Eingaben mit einem

Eingabegerät 2, als auch Eingaben durch beliebige nicht identifizierbare

Eingabeobjekte verarbeiten und diese unterschiedlich behandeln können.

Beispielsweise können / 39

Seite 17

J 582

Eingabegeräte 2, 6 verwendet werden, um zu zeichnen oder frei

Hand zu schreiben, während andere Eingabeobjekte Icons oder

Objekte auszuwählen können und/oder Ansichten oder Objekte drehen oder zoomen können.

Jedes Eingabegerät

2, 6 kann weitere Sensoren,

Taster oder

Schalter aufweisen, sodass die Daten der Sensoren und Zustände der Taster oder

Schalter einem Berührungspunkt auf der

Eingabefläche 1 zugeordnet werden können. Beispielsweise kann durch Betätigung eines Tasters auf dem Eingabegerät 2 eine virtuelle Farbe ausgewählt werden, mit welcher mit dem

Eingabegerät 2 auf der Eingabefläche 1 gezeichnet wird.

Beispielsweise kann ein Eingabegerät

2, 6 einen biometrischen

Sensor wie einen Fingerabdruckscanner aufweisen, sodass dieses selbst seinen

Benutzer identifizieren kann, bzw.

die

Datenverarbeitungsanlage 5 aus den Daten des biometrischen

Sensors den Benutzer ermitteln kann.

Bevorzugt kann bei

Verwendung eines

Touchscreens als

Eingabefläche 1 nach erfolgter Identifizierung bzw. Zuordnung der Eingabegeräte 2 zu Berührungspunkten eine individuelle

Eingabemarkierung (Cursor beziehungsweise Mauszeiger) für jedes

Eingabegerät am jeweiligen

Berührungspunkt erscheinen, um eine optische Kontrolle der

Zuordnung durch den Benutzer zu ermöglichen. Bei kurzen

Eingaben kann die individuelle

Eingabemarkierung über die

Dauer der

Eingabe hinaus dargestellt werden. Bei Steuerung eines beliebigen Bildschirms mit einem

Touchpad als Eingabefläche 1 können die am

Bildschirm dargestellten Eingabemarkierungen, welche Berührungspositionen von Eingabegeräten 2 am Touchpad repräsentieren, individuell für die Eingabegeräten 2 bzw. den zu den Eingabegeräten 2 zugeordneten Benutzern dargestellt werden.

In den Figuren ist das Eingabegerät 2, 4 rein beispielhaft veranschaulicht, wobei dieses eine beliebige

Form aufweisen kann, wobei es vorteilhaft ist, jenes Ende oder

Enden mit welchen die Eingabefläche 1 mit Kontaktsensoren

3, 7 zu berühren ist, als Spitze auszubilden. Für den Fall, dass kapazitive / 39

Seite 18

J 582

Eingabefläche zum Einsatz kommen, ist es vorteilhaft Enden des

Eingabegeräts 2, an welchen sich ein Kontaktsensoren 3, 7 befinden, etwas größer auszuführen, da sehr kleine Spitzen mit einer kapazitiven Eingabefläche nur schwer detektierbar sind.

Für den Fall, dass auch eine induktive Eingabefläche verwendbar sein soll, kann in der Spitze des

Eingabegeräts 2 eine Spule bzw.

Leiterschleife integriert sein.

Wenn das Eingabegerät einen breiten, wie dargestellt beispielsweise runden,

Kopf mit einer eingesetzten Spule aufweist, kann dieses sowohl zur

Eingabe an kapazitiven

Eingabeflächen als auch zur Eingabe an induktive Eingabeflächen verwendet werden. Für die Eingabe an optischen Eingabeflächen (beispielsweise mit Nutzung totaler interner Reflexion), drucksensitiven Eingabeflächen oder resistiven Eingabeflächen eignen sich jegliche Eingabeobjekte, sodass mit einem Eingabegerät 2 mit größerem Kopf und Spule an allen gebräuchlichen Eingabeflächen 1 das erfindungsgemäße Verfahren anwendbar ist.

Bevorzugt sind sowohl der Inertialsensor 4 als auch der Kontaktsensor 3 in einem geschlossenen Gehäuse des Eingabegeräts 2 angebracht. Der Kontaktsensor 3 kann dabei als induktiver oder kapazitiver Distanzsensor vorliegen. Der Kontaktsensor 3 kann alternativ zur Detektion von Berührungen auch Kräfte wahrnehmen, beispielsweise indem dieser Dehnmessstreifen oder Piezoelemente umfasst. Der Kontaktsensor 3 kann ein Taster sein. Der Kontaktsensor 3 kann ein optischer Sensor sein oder einen solchen umfassen, beispielsweise einen optischen Distanzsensor oder einen Intensitätssensor, wobei dieser bevorzugt hinter einem transparenten oder zumindest teiltransparenten Abschnitt des Gehäuses des Eingabegeräts 2 angebracht ist.

Wenn das Eingabegerät 2 zumindest einen optischen Sensor aufweist, kann dieser beispielsweise die Lichtintensität oder die Farbe der Oberfläche wahrnehmen auf welche das Eingabegerät 2 gerichtet ist oder an welcher dieses anliegt, wobei diese Daten bei Verwendung an einem Touchscreen mit der / 39

Seite 19

J 582

Lichtintensität oder der Farbe der Pixel an den detektierten

Berührungspunkten am Touchscreen abgeglichen werden können. So kann beispielsweise unterschieden werden, ob das Eingabegerät 2 auf einem Touchscreen wird. Zudem kann die oder einer anderen Oberfläche verwendet

Zuordnung eines Eingabegeräts 2 zu einem

Berührungspunkt über die Korrelation des

Verlaufs der

Lichtintensität und/oder Farbe erfolgen, indem in wiederholten kurzen Zeitabständen festgestellt wird, ob der

Verlauf der vom optischen Sensor wahrgenommen Intensität bzw.

Farbe mit dem

Verlauf der am Touchscreen dargestellten Pixel entlang der

Bewegungsbahn eines

Berührungspunktes am

Touchscreen übereinstimmt. Analog kann für alle zeitgleich auftretenden

Signale von optischen Sensoren von Eingabegeräten 2 und für alle zeitgleich auftretenden

Berührungspunkte am Touchscreen ein

Wahrscheinlichkeitswert je möglicher Korrelationskombination aufgestellt werden, welcher angibt mit welcher

Wahrscheinlichkeit der

Verlauf der Lichtintensität oder der

Verlauf des Farbwertes eines optischen Sensors mit der

Lichtintensität oder dem

Verlauf des

Farbwertes am

Berührungspunkt bzw. entlang dessen Bewegungsbahn am Touchscreen übereinstimmt.

Das Zuweisen der Bedeutung „Pen-Touch und „nopen touch erfolgt dabei nach den bereits beschriebenen

Kriterien, je nach steigen und sinken der

Wahrscheinlichkeitswerte der

Korrelationskombinationen bzw. je nach Anzahl der nach Neuberechnung der Wahrscheinlichkeitswerte verbleibenden möglichen Korrelationskombinationen.

Diese Ausführungsvariante mit optischem Sensor kann vorteilhaft zusätzlich zum in den Ansprüchen geschützten Verfahren realisiert sein. Beispielsweise kann aber auch der Kontaktsensor 3 als solcher optischer Sensor ausgeführt sein, sodass dieser zusätzlich zur Annährung weitere Informationen zur detektierten Oberfläche erfassen kann oder sogar Signale von der detektierten Oberfläche empfangen kann.

Da, wie in Fig. 7 veranschaulicht, die Ausführungsvariante mit einem optischen Sensor 20 an den Eingabegerät 21, 22 und / 39

Seite 20

J 582 zumindest einem Touchscreen 18 als Eingabefläche 1 auch für sich alleine zum Lösen der erfindungsgemäßen Aufgabenstellung geeignet ist, behält es sich die Anmelderin vor, diese zu einem späteren Zeitpunkt als Teilanmeldung einzureichen. Diese Ausführungsvariante ist vorteilhaft, da jedes Eingabegerät 21, 22 lediglich einen optischen Sensor 20 aufweisen muss, also keinen Inertialsensor 4 oder Kontaktsensor 3 aufzuweisen braucht. Anstelle punktuell Intensitäten oder Farben mit dem optischen Sensor 20 wahrzunehmen, kann dieser auch einen kleinen Bildausschnitt, also mehrere Pixel in Form eines Bildes aufnehmen, wobei der Verlauf dieses Bildes mit den entsprechenden Bildausschnitten an den Positionen der Berührungspunkte 15, 16, 17 am Touchscreen 18 verglichen wird.

Aus der Skalierung des Bildes kann gegebenenfalls auchdie

Distanz des optischen Sensors 20 zum Touchscreen 18 ermittelt werden. Vorteilhaft kann, wie in Fig. 17 dargestellt,bei

Detektion eines oder mehrerer Berührungspunkte 15, 16,17 am

Touchscreen 18 von der Datenverarbeitungsanlage 5 an jedem

Berührungspunkt 15, 16, 17 ein individuelles Lichtsignal19 (z.B. Intensität, Farbe, zweidimensionales Muster oder deren zeitlicher Verlauf) dargestellt werden. Die Lichtsignal 19 werden von den optischen Sensoren 20 der Eingabegeräte 21, 22 detektiert und an die Datenverarbeitungsanlage 5 zurückgesendet. Da die Datenverarbeitungsanlage 5 weiß, an welchem

Berührungspunkt 15, 16, vom Touchscreen 18, welches

Lichtsignal 19 dargestellt wurde, kann diese die

Eingabegeräte

21, rasch und einfach den

Berührungspunkten 15,

16, am

Touchscreen 18 zuordnen.

Beispielsweise kann die

Datenverarbeitungsanlage 5 das Eingabegerät 21 dem

Berührungspunkt 15 eindeutig zuordnen, da der zeitliche Verlauf des vom Eingabegerät 21 an die Datenverarbeitungsanlage 5 gesendeten Signals, nur mit dem zeitlichen Verlauf des Lichtsignals 19 am Berührungspunkt 15 übereinstimmt. Besonders geeignet als Lichtsignale 19 an den Berührungspunkten 15, 16, 17 am Touchscreen 18 sind beispielweise individuelle Hell-Dunkel-, / 39

Seite 21

J 582 bzw. Weiß-Schwarz-Wechsel der Pixel am Berührungspunkt 15, 16, bzw. in einem gewissen Radius um den Berührungspunkt 15, 16, oder Annäherungspunkt, da dies besonders zuverlässig von einer einfachen Fotodiode oder einem anderen Intensitätssensor als Binärsignal erfassbar ist. Die individuellen Lichtsignale 19 können dabei so subtil oder kurzzeitig gesendet werden, dass diese vom menschlichen Auge nicht wahrgenommen werden können. Bevorzugt kann jedem Berührungspunkt 15, 16, 17 eine Eingabemarkierung (=Cursor) mit individueller Farbe zugeordnet werden, sodass die Eingabemarkierungen sowohl von dafür geeigneten optischen Sensoren 20 der Eingabegeräte 21, 22, als auch von den Benutzern unterschieden werden können.

Nachteilig an einer Variante nur mit optischem Sensor 20 im Eingabegerät 21, 22 ist, dass dieses nur an Touchscreens 18 und nicht an Touchpads identifizierbar ist. Die Erfassung der Bewegung oder einer Bewegungskomponente des Eingabegeräts 2 im Raum durch zumindest einen Inertialsensor 4 ist somit auch bei dieser Variante nützlich.

Insbesondere kann durch die Signale des Inertialsensors 4 die Bewegung des Eingabegeräts 2 abseits der Eingabefläche 1 verfolgt werden, sodass nach erfolgter erstmaliger Identifikation des Eingabegeräts 2 an einem Berührungspunkt einer Eingabefläche 1 die Absolutposition des Eingabegeräts 2 im Raum ermittelt bzw. abgeschätzt werden kann, sodass aus dem Ausmaß und oder der Richtung der Bewegung des Eingabegeräts 2 im Raum ermittelt bzw. abgeschätzt werden kann, ob das Eingabegerät 2 für einen später auftretenden Berührungspunkt an derselben oder einer anderen Eingabefläche 1 verantwortlich sein kann. Wenn beispielsweise das Eingabegerät 2 einem ersten Berührungspunkt auf der Eingabefläche 1 zugeordnet wurde und nachfolgend lediglich Beschleunigung in einer Richtung von ca.

90° zur Oberfläche der	Eingabefläche	1 erfährt, dann	ist es
wahrscheinlich,	dass	ein erneuter	Berührungspunkt	dieses
Eingabegeräts 2	nur in	der Nähe des	ersten Berührungspunkts
auftreten kann.	Um die	Bewegung des	Eingabegeräts 2	im Raum
		23 / 39 Seite 22

J 582 möglichst exakt zu erfassen, ist es vorteilhaft den Inertialsensor 4, 8 als eine inertiale Messeinheit auszuführen und gegebenenfalls zusätzlich mit weiteren Sensoren auszustatten, um neben Relativbewegungen auch die Ausrichtung des Eingabegeräts 2 im Raum zu erfassen. Die Eingabefläche 1 liefert mit den Berührungspunkten vorteilhaft die absolute Position des Eingabegeräts 2 zu gewissen Zeitpunkten, wodurch die relativen Positionsdaten der inertiale Messeinheit laufend in absolute Positionen im Raum bezogen auf die Eingabefläche 1 umrechenbar sind.

/ 39

Seite 23

J 582 zur Steuerung zumindest einer mit zumindest einer

Claims

Ansprüche

1. Verfahren

Datenverarbeitungsanlage (5)

Eingabefläche (1), welche positionsauflösend und berührungssensitiv ist und einer beliebigen Anzahl und Art von Eingabeobjekten, wobei zumindest ein Eingabeobjekt ein Eingabegerät (2) ist, welches einen Kontaktsensor (3) und einen Inertialsensor (4) aufweist und die Daten dieser Sensoren laufend an zumindest eine Datenverarbeitungsanlage (5) sendet, wobei zudem die Positionen aller Berührungspunkte, welche eine Eingabefläche (1) wahrnimmt, von dieser laufend an zumindest eine Datenverarbeitungsanlage (5) gesendet werden, gekennzeichnet dadurch, dass bei jedem Auftreten zumindest eines Berührungspunktes auf einer Eingabefläche (1) und/oder bei jedem Auftreten eines Berührungssignals eines Kontaktsensors (3) eines oder mehrerer Eingabegeräte (2), im ersten Schritt festgestellt wird, ob eine zeitliche Korrelation des Auftretens eines Berührungssignals des Kontaktsensors (3) eines oder mehrerer Eingabegeräte (2) mit dem Auftreten eines oder mehrerer Berührungspunkte auf einer oder mehreren Eingabeflächen (1) vorliegt und im zweiten Schritt für alle zeitgleich aufgetretenen Signale festgestellt wird, mit welcher Wahrscheinlichkeit der zeitliche Verlauf eines Berührungspunktes auf einer Eingabefläche (1) und der Verlauf zumindest einer von einem Inertialsensor (4) detektierten Bewegungskomponente der räumlichen Bewegung eines Eingabegeräts (2) und/oder der vom Kontaktsensor (3) detektierte Signalverlauf dieselbe bzw. eine korrelierende Bewegung beschreiben, wobei im dritten Schritt ein Eingabegerät (2) einem

Berührungspunkt zugeordnet wird, wenn die Wahrscheinlichkeit

25 / 39

Seite 24

J 582 einen Schwellwert übersteig, dass der zeitliche Verlauf eines Berührungspunktes auf einer Eingabefläche (1) und der zeitliche Verlauf der vom Inertialsensor (4) detektierten Bewegung eines Eingabegeräts (2) dieselbe bzw. eine korrelierende Bewegung beschreiben.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass weiters festgestellt wird, ob eine zeitliche Korrelation des Verschwindens eines Berührungssignals des Kontaktsensors (3) eines oder mehrerer Eingabegeräte (2) mit dem Verschwinden eines oder mehrerer Berührungspunkte auf einer Eingabefläche (1) vorliegt, wobei ein Eingabegerät (2) einem Berührungspunkt zugeordnet wird, wenn das Auftreten und Verschwinden exakt eines Berührungssignals und exakt eines Berührungspunkts zeitgleich erfolgen.

3.

Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass ein

Berührungspunkt auf der

Eingabefläche (1) als „no-pen touch, also als nicht durch ein Eingabegerät
2) hervorgerufen, behandelt wird, wenn keine zeitliche

Korrelation eines

Berührungssignals eines

Kontaktsensors (3) mit dem Auftauchen eines Berührungspunkts auf der Eingabefläche (1) vorliegt.

4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das

Auftauchen genau eines Berührungspunkts auf einer

Eingabeflächen (1) als „pen touch, also als durch ein

Eingabegerät hervorgerufen, behandelt wird, wenn dieses nur mit dem Auftauchen genau eines Berührungssignals eines Kontaktsensors (3) eines Eingabegeräts (2) zeitlich korreliert.

5. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei mehreren zeitliche Korrelationen zwischen dem Auftauchen von Berührungspunkten auf einer Eingabefläche (1) und dem Auftauchen von Berührungssignalen von Kontaktsensoren (3) von Eingabegeräten (2), jeder möglichen Korrelationskombination

26 / 39

Seite 25

J 582 ein Wahrscheinlichkeitswert zugeordnet wird, der angibt, wie wahrscheinlich es ist, dass ein Eingabegerät (2) mit dem der Korrelationskombination zugehörigen Kontaktsensor (3) die Eingabefläche (1) an dem Ort berührt hat, an dem der der Korrelationskombination zugehörige Berührungspunkt aufgetaucht ist, wobei dieser Wahrscheinlichkeitswert in der Folge in sehr kurzen Zeitabständen für jede Korrelationskombination aktualisiert wird, wobei hierfür einerseits die Daten des der Korrelationskombination zugehörigen Kontaktsensors (3) mit der Aktivität des der Korrelationskombination zugehörigen Berührungspunkts und andererseits die Bewegungsdaten des der

Korrelationskombination zugehörigen Inertialsensors (4) mit der Bewegungstrajektorie des der Korrelationskombination zugehörigen Berührungspunkts abgeglichen werden, wobei der Wahrscheinlichkeitswert einer Korrelationskombination steigt, wenn es eine hohe Übereinstimmung der abgeglichenen Daten gibt und anderenfalls sinkt.

6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass nach jeder Aktualisierung der Wahrscheinlichkeitswerte für alle zu einem Zeitpunkt auftretenden Korrelationskombinationen jede mögliche Korrelationskombination, deren Wert unter eine bestimmte Schwelle sinkt, gelöscht wird.

7. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass nach jeder Aktualisierung der Wahrscheinlichkeitswerte für alle zu einem Zeitpunkt auftretenden Korrelationskombinationen jene Korrelationskombination, deren Wahrscheinlichkeitswert um einen bestimmten Faktor über die Wahrscheinlichkeitswerte aller konkurrierenden Korrelationskombinationen steigt, als „pen touch behandelt wird und die konkurrierenden Korrelationskombinationen gelöscht werden.

8. Verfahren nach einem der Ansprüche 6 oder 7, dadurch gekennzeichnet, dass anschließend für jeden Berührungspunkt

27 / 39

Seite 26

J 582 geprüft wird, ob noch mögliche Korrelationskombinationen

vorliegen, wobei ein Berührungspunkt als „no-pen touch behandelt wird, wenn keine vorliegen und als „pen touch behandelt wird, falls insgesamt noch genau eine mögliche Korrelationskombination vorliegt. 9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch

gekennzeichnet, dass zumindest zwei Eingabegeräte (2, 6) mit identem Aufbau zur gleichzeitigen Eingabe von Daten an zumindest einer Eingabefläche (1) verwendet werden.

10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass mehrere Eingabeflächen (1) vorhanden sind, wobei mit dem erfindungsgemäßen Verfahren festgestellt wird, welche Eingabefläche (1) an welcher Position durch welches Eingabegerät (2) berührt wird.

11. Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass der Kontaktsensor (3) des Eingabegeräts (2) ein optischer Sensor (20) ist, welcher die

Lichtintensität oder Farbe der Oberfläche erfasst, an welcher das Eingabegerät (2) mit diesem anliegt oder das Eingabegerät (2) zusätzlich zum Kontaktsensor (3) einen solchen optischer Sensor (20) aufweist.

12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass die Eingabefläche (1) ein Touchscreen (18) ist und die Datenverarbeitungsanlage (5) an jedem vom Touchscreen (18) detektierten Berührungspunkt ein individuelles Lichtsignal (19) darstellt, welches vom optischen Sensor (20) erfassbar ist und das Eingabegerät (2) das vom optischen Sensor (20) erfasste Signal an die Datenverarbeitungsanlage (5) sendet.

13. Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass die Datenverarbeitungsanlage (5) ein Eingabegerät (2) einem Berührungspunkt am Touchscreen (18) zuordnet, wenn das vom

28 / 39

Seite 27

J 582 optischen Sensor (20) erfasste und vom Eingabegerät (2) an die Datenverarbeitungsanlage (5) gesendete Signal mit dem Lichtsignal (19) exakt eines Berührungspunkts übereinstimmt.

14. Verfahren nach einem der Ansprüche 1 bis 13, dadurch gekennzeichnet, dass nach erfolgter erstmaliger Zuordnung eines Eingabegeräts (2) zu einem Berührungspunkt auf der Eingabefläche (1) der Ort des zeitlich nächsten auftretenden Berührungspunkts durch dasselbe Eingabegerät (2) auf der Eingabefläche (1) aufgrund der Sensorsignale dessen Inertialsensor (4) zumindest näherungsweise bestimmt wird, wozu der Inertialsensor (4) bevorzugt eine inertiale Messeinheit ist.

29 / 39

Seite 28

J 582