DE29980077U1

DE29980077U1 - Device for detecting and displaying the color of objects

Info

Publication number: DE29980077U1
Application number: DE29980077U
Authority: DE
Original assignee: CARE TEC GmbH
Current assignee: CARE TEC GmbH
Priority date: 1998-06-04
Filing date: 1999-06-01
Publication date: 2001-06-13
Anticipated expiration: 2009-06-02
Also published as: WO1999063312A1; AT2811U1; AU4022599A

Description

WO 99/63312 * *"' PCT/AT99/00137WO 99/63312 * *"' PCT/AT99/00137

-1--1-

Vorrichtung zur Erfassung und zur Darstellung der Farbe von GegenständenDevice for detecting and displaying the colour of objects

- VorrichtuvQ - DeviceQ

Die Erfindung betrifft ein* r gemäß dem Oberbegriff von Anspruch 1.The invention relates to a according to the preamble of claim 1.

Es sind Farberkennungssysteme für Blinde bekannt, die etwa in der Art eines Stiftes aufgebaut sind. Die Spitze dieses Stiftes wird an den Gegenstand angelegt, um die Farbe des entsprechenden Punktes zu erfassen. Dies erfolgt in der Weise, daß in der Spitze des Stiftes eine Lampe und ein entsprechender Sensor angeordnet sind. Die Lampe beleuchtet den Punkt, und der Sensor erfaßt ein entsprechendes Farbsignal. In einer entsprechenden Verarbeitungseinrichtung wird das Farbsignal analysiert und beispielsweise akustisch wiedergegeben. Die Klassifikation des Farbsignals erfolgt dabei nach Farbton, Helligkeit und Sättigung (Intensität). There are known color recognition systems for the blind that are constructed in the manner of a pen. The tip of this pen is placed on the object in order to detect the color of the corresponding point. This is done by arranging a lamp and a corresponding sensor in the tip of the pen. The lamp illuminates the point and the sensor detects a corresponding color signal. The color signal is analyzed in a corresponding processing device and reproduced acoustically, for example. The color signal is classified according to hue, brightness and saturation (intensity).

Aus der EP-A 114 515, der EP-A 235 460 und der US-A 5,446,543 sind verschiedene Farberkennungssysteme bekannt. Dabei wird jedoch jeweils nur ein einziger Punkt auf der Oberfläche eines Gegenstandes untersucht, was den Informationswert für manche Anwendungen als unbefriedigend erscheinen läßt.Various color recognition systems are known from EP-A 114 515, EP-A 235 460 and US-A 5,446,543. However, only a single point on the surface of an object is examined, which makes the information value appear unsatisfactory for some applications.

Weiters sind Abtasteinrichtungen, d.h. sogenannte Scanner bekannt, mit denen die Oberfläche eines Gegenstandes abgetastet werden kann, wodurch elektronisch lesbare Bilddaten gewonnen werden. Aus diesen Bilddaten kann eine Zeichenerkennung durchgeführt werden, um Texte einzulesen oder etwa Banknoten zu erkennen. Dabei ist jedoch eine genaue Positionierung des Gegenstandes in bezug auf die Abtasteinrichtung erforderlich, wie dies etwa bei einem Flachbettscanner der Fall ist. Aus der US-A 4,881,268 ist ein Geldscheinerkennungsgerät bekannt, bei dem der Geldschein eingezogen wird. Die Positionierung wird durch eine aufwendige Einzugsvorrichtung erreicht. Dies ist für eine stationäre Anwendung möglich, für ein Handgerät ist eine solche Vorrichtung jedoch ungeeignet. Außerdem produzieren solche Geräte große Datenvolumina, deren Bearbeitung und Ausgabe problematisch ist.Furthermore, scanning devices, i.e. so-called scanners, are known with which the surface of an object can be scanned, thereby obtaining electronically readable image data. Character recognition can be carried out from this image data in order to read text or recognize banknotes. However, this requires the object to be positioned precisely in relation to the scanning device, as is the case with a flatbed scanner. US-A 4,881,268 discloses a banknote recognition device in which the banknote is drawn in. Positioning is achieved by a complex drawing device. This is possible for a stationary application, but such a device is unsuitable for a handheld device. In addition, such devices produce large volumes of data, the processing and output of which is problematic.

Aufgabe der vorliegenden Erfindung ist es, weitergehende Informationen über den analysierten Gegenstand zu erhalten, wobei dies im wesentlichen händisch, d.h. ohne eine umfangreiche Apparatur möglich sein soll.The object of the present invention is to obtain further information about the analyzed object, whereby this should be possible essentially manually, i.e. without extensive equipment.

Erfindungsgemäß wird diese Aufgabe durch die eee Merkmale von Anspruch 1 gelöst.According to the invention, this object is achieved by the features of claim 1.

Im einfachsten Fall kann dabei eine Statistik der einzelnen Bereiche eines Gegenstandes erstellt werden. So kann etwa bei Bewegung des Erkennungsstiftes über einen rot-grün gestreiften oder karierten Gegenstand eine Ausgabe erfolgen, die aussagt, daß zwei Drittel derIn the simplest case, statistics can be created for the individual areas of an object. For example, when the recognition pen is moved over a red-green striped or checkered object, an output can be generated that states that two thirds of the

09OL.fr:09OL.fr:

WO 99/63312 PCT/AT99/00137WO99/63312 PCT/AT99/00137

-2--2-

Fläche rot und ein Drittel der Fläche grün sind, bzw. um welchen Grün- oder Rotton es sich dabei handelt. In einer weiteren Ausbildung de£ e-a können auch Aussagen über das Muster getroffen werden, falls die Oberfläche des Gegenstandes ein vorbestimmtes Farbmuster aufweist.area is red and a third of the area is green, or what shade of green or red it is. In a further development of the £ e-a, statements can also be made about the pattern if the surface of the object has a predetermined color pattern.

Je nach Anwendungsfall und Bedarf kann eine unterschiedliche Beurteilung und Ausgabe der Farbinformation erfolgen. Die Ausgabe kann beispielsweise verbal über einen Sprachgenerator erfolgen, so daß die Farbe beispielsweise mit "hellgrün" bezeichnet wird. Es ist allerdings auch eine Definition der Farbe durch Zahlenwerte möglich, wobei insbesondere Helligkeit und Sättigung als Zahlenwerte einer bestimmten Skala angegeben werden. Weiters ist es möglich, der Farbe einen bestimmten Ton zuzuordnen, wobei durch Art des Tons, Tonhöhe und Lautstärke die Farbeigenschaften codiert werden. Die Anzeige selbst kann akustisch über einen Tongenerator erfolgen, um Blinden die Möglichkeit der Erfassung der Farbe zu geben. Falls das Gerät für farbenblinde, jedoch sehende Personen, vorgesehen ist. kann die Farbinformation auf einem Display angezeigt werden. Insbesonders für Taubblinde ist eine taktile Anzeige möglich, die durch bewegliche Bolzen ausgeführt ist. Wesentlich ist, daß die Erkennung nicht an einen Scanner gebunden ist, sondern durch einen oder einige wenige Sensoren durchgeführt wird.Depending on the application and requirements, the color information can be assessed and output in different ways. The output can be verbal, for example, via a speech generator, so that the color is described as "light green," for example. However, the color can also be defined using numerical values, with brightness and saturation in particular being given as numerical values on a specific scale. It is also possible to assign a specific tone to the color, with the color properties being coded by the type of tone, pitch, and volume. The display itself can be acoustic, via a tone generator, to give blind people the opportunity to perceive the color. If the device is intended for color-blind but sighted people, the color information can be shown on a display. A tactile display using movable bolts is possible, particularly for deaf-blind people. It is important that the detection is not tied to a scanner, but is carried out by one or a few sensors.

In einer besonders begünstigten Ausführungsvariante der vorliegenden Erfindung kann auch die Erkennung von vorbestimmten Bildern oder Gegenständen durchgeführt werden. Liegen beispielsweise in einem Speicher die Abbildungen verschiedener Geldscheine vor, so kann dann, wenn der Erkennungsstift über eine der Banknoten geführt wird, in einem Mustererkennungsverfahren erkannt werden, um welche Banknote es sich dabei handelt. Dabei wird die Information der Farbverläufe, d.h. die Abfolge der einzelnen Farben verwendet. Wenn die Anzahl der zu erkennenden Bilder nicht übermäßig groß ist, ist zu diesem Zweck keine bestimmte Richtung einzuhalten, in der der Stift über das Bild, d.h. beispielsweise die Banknote geführt wird. In einem Ausschlußverfahren können die sicherlich nicht zutreffenden Bilder bzw. Banknoten ausgeschieden werden, bis nur mehr eine mögliche Lösung übrig bleibt. In der Folge kann dann der Wert der Banknote durch die Sprachausgabe wiedergegeben werden. Eine Vereinfachung der Rechenoperationen kann dadurch erfolgen, daß die Geschwindigkeit des Stiftes erfaßt wird, mit der dieser über den Gegenstand bewegt wird. Falls optische Geschwindigkeitserkennung vorgesehen ist, kann nicht nur der Verlauf der einzelnen Farben erfaßt werden, sondern auch die räumliche Ausdehnung der jeweiligen Farbflächen aus der Dauer der Signale und der erfaßten Geschwindigkeit abgeleitet werden. So kann beispielsweise durch das Vorsehen mehrerer Sensoren aus der zeitlichen Differenz der Signalfolgen die Bewegungsgeschwindigkeit berechnet werden.In a particularly advantageous embodiment of the present invention, the recognition of predetermined images or objects can also be carried out. For example, if images of various banknotes are stored in a memory, then when the recognition pen is moved over one of the banknotes, a pattern recognition process can be used to identify which banknote it is. The information from the color gradients, i.e. the sequence of the individual colors, is used. If the number of images to be recognized is not excessively large, there is no need to follow a specific direction in which the pen is moved over the image, i.e. the banknote, for example. In an elimination process, the images or banknotes that are definitely not correct can be eliminated until only one possible solution remains. The value of the banknote can then be reproduced by the voice output. The calculation operations can be simplified by recording the speed at which the pen is moved over the object. If optical speed detection is provided, not only can the progression of the individual colors be recorded, but also the spatial extent of the respective colored areas can be derived from the duration of the signals and the recorded speed. For example, by providing several sensors, the speed of movement can be calculated from the time difference between the signal sequences.

Wesentlich an der vorliegenden Erfindung ist, daß die Farbinformationen punktweise erfaßt werden. Auf diese Weise kann der Datenfluß im Vergleich zu herkömmlichen Scannern, die die Bildinformation über flächige Bereiche hinweg erfassen wesentlich verringert werden.The key feature of the present invention is that the color information is captured point by point. In this way, the data flow can be significantly reduced compared to conventional scanners that capture image information across flat areas.

WO99/63312 " PCT/AT99/00i37WO99/63312 " PCT/AT99/00i37

Erst dieser Schritt ermöglicht die Verringerung der Größe des Gegenstandes auf das Format eines etwas dickeren Kugelschreibers.Only this step makes it possible to reduce the size of the object to the format of a slightly thicker ballpoint pen.

Weiters betrifft die vorliegende Erfindung eine Vorrichtung zur Erfassung und Darstellung der Farbe von Gegenständen, über die die Vorrichtung händisch geführt wird, mit einer Lichtquelle zur Beleuchtung der Oberfläche des Gegenstandes, einem Sensor zur Erfassung der Farbe der Oberfläche, einer Verarbeitungseinheit zur Verarbeitung der vom Sensor erfaßten Information und einem Ausgabe-Mittel zur nichtvisuellen Ausgabe der Farbinformation. Die erfindungsgemäße Vorrichtung ist dadurch gekennzeichnet, daß die Verarbeitungseinheit.dazu ausgebildet ist, eine Mehrzahl von zeitlich aufeinanderfolgenden Meßwerten des Gegenstandes zu erfassen und eine Auswertung betreffend die Struktur oder Farbe des Gegenstandes durchzuführen.The present invention further relates to a device for detecting and displaying the color of objects over which the device is guided manually, with a light source for illuminating the surface of the object, a sensor for detecting the color of the surface, a processing unit for processing the information detected by the sensor and an output means for non-visual output of the color information. The device according to the invention is characterized in that the processing unit is designed to detect a plurality of temporally successive measured values of the object and to carry out an evaluation relating to the structure or color of the object.

Mit der vorliegenden Erfindung ist es möglich, aus der enormen Informationsmenge, die ein farbiges Bild bietet, eine bestimmte Stichprobe herauszugreifen. Durch Analyse dieser Stichprobe, das ist die Farbinformation, die entlang einer bestimmten Wegstrecke erfaßt wird, können gewisse Aussagen über das Bild bzw. über die Oberfläche des betreffenden Gegenstandes getroffen werden. Auf diese Weise können nicht nur qualitative oder quantitative Aussagen über das Aussehen eines unbekannten Gegenstandes gemacht werden, sondern es kann auch ein bekannter Gegenstand erfaßt werden. Mit bekannter Gegenstand ist einerseits ein zweidimensionales Bild, wie etwa eine Banknote, oder die Oberfläche eines dreidimensionalen Gegenstandes gemeint. So kann beispielsweise gemäß der vorliegenden Erfindung das Aussehen aller in einem Supermarkt angebotenen Waren gespeichert werden, so daß zur Erfassung an der Kassa nicht mehr ein Barcode aufgesucht werden muß, um die Ware automatisch zu erkennen. Es ist lediglich erforderlich, die erfindungsgemäße Vorrichtung über die Verpackung oder Oberfläche der Ware zu fuhren, um diese zu erfassen.The present invention makes it possible to select a specific sample from the enormous amount of information that a color image offers. By analyzing this sample, that is, the color information that is recorded along a certain path, certain statements can be made about the image or the surface of the object in question. In this way, not only qualitative or quantitative statements can be made about the appearance of an unknown object, but a known object can also be recorded. A known object means a two-dimensional image, such as a banknote, or the surface of a three-dimensional object. For example, according to the present invention, the appearance of all goods offered in a supermarket can be stored, so that a barcode no longer has to be searched for at the checkout in order to automatically recognize the goods. It is only necessary to move the device according to the invention over the packaging or surface of the goods in order to record them.

In der Folge wird die Erfindung anhand des in den Fig. dargestellten Ausführungsbeispiels näher erläutert. Es zeigen:In the following, the invention is explained in more detail using the embodiment shown in the figures. They show:

Fig. 1 eine schematische Ansicht einer erfindungsgemäßen Vorrichtung;
Fig. 2 ein Detail von Fig. 1 in vergrößertem Maßstab; und
Fig. 3 einen Schnitt nach Linie III - III in Fig. 2.Fig. 1 is a schematic view of a device according to the invention;
Fig. 2 is a detail of Fig. 1 on an enlarged scale; and
Fig. 3 is a section along line III - III in Fig. 2.

Die Vorrichtung von Fig. 1 besteht aus einem Körper 1 in der Form eines Schreibstifts, an dem ein Lautsprecher 2 zur Sprachausgabe vorgesehen ist. Eine Anzeige 3 ermöglicht die visuelle Ausgabe von Informationen, beispielsweise für farbenblinde Personen. Im Bereich einer Abtastspitze 4 sind eine Lampe 5 und ein Sensor 6 vorgesehen. Ein Schlitz 7 dient zum Durchführen von Banknoten oder anderen zu erkennenden Dokumenten. Im Inneren des Körpers 1 ist eine Auswertungsschaltung zur Aufbereitung der Signale des Sensors 6 vorgesehen.The device of Fig. 1 consists of a body 1 in the form of a pen, on which a loudspeaker 2 is provided for voice output. A display 3 enables the visual output of information, for example for color-blind people. A lamp 5 and a sensor 6 are provided in the area of a scanning tip 4. A slot 7 is used to pass through banknotes or other documents to be recognized. An evaluation circuit for processing the signals from the sensor 6 is provided inside the body 1.

Die erfindungsgemäße Vorrichtung wird händisch über einen Gegenstand 9 geführt, dessen Oberfläche 9a erfaßt werden soll.The device according to the invention is manually guided over an object 9 whose surface 9a is to be detected.

• ··

gedruckt mit MIMOSA 01/04/2000 09:10:13printed with MIMOSA 01/04/2000 09:10:13

WO 99/63312 PCT/AT99/00137WO99/63312 PCT/AT99/00137

In der Fig. 2 ist dargestellt, daß die Lampe.5 den Gegenstand beleuchtet, um die Abtastung . durch den Sensor 6 zu ermöglichen.In Fig. 2 it is shown that the lamp 5 illuminates the object in order to enable scanning by the sensor 6.

Aus der Fig. 3 ist die Funktion des Schlitzes 7 ersichtlich. In diesen Schlitz kann eine nicht dargestellte Banknote eingeführt und durchgezogen werden. Wenn diese Banknote am Ende 7a des Schlitzes 7 anliegt, kann diese entlang einer Linie in einem vorbestimmten Abstand vom Rand durchgezogen werden. Durch kann die Erkennungslogik vereinfacht werden, da für die zu erkennende Gruppe von Banknoten nur die entsprechenden Informationen, d.h. der Farbverlauf an den entsprechenden Linien zum Vergleich abgespeichert werden muß. Wesentlich ist aber auch hier, daß die Erfassung händisch erfolgt, ohne eine bestimmte Durchzugsgeschwindigkeit vorgeben zu müssen.The function of the slot 7 is shown in Fig. 3. A banknote (not shown) can be inserted into this slot and pulled through. When this banknote rests at the end 7a of the slot 7, it can be pulled through along a line at a predetermined distance from the edge. This simplifies the recognition logic, since only the relevant information, i.e. the color gradient on the corresponding lines, needs to be stored for comparison for the group of banknotes to be recognized. However, it is also important here that the detection is carried out manually, without having to specify a specific pulling speed.

Mit der vorliegenden Erfindung ist es nicht nur möglich, behinderten Personen verbesserte Möglichkeiten zur Erfassung ihrer Umwelt zu geben, sondern auch eine Vielzahl von anderen Anwendungen abzudecken.With the present invention, it is not only possible to give disabled people improved opportunities to perceive their environment, but also to cover a variety of other applications.

gedruckt mit MIMOSA 01/04/2000 09:10:13printed with MIMOSA 01/04/2000 09:10:13

Claims

1. Device for detecting and displaying the color of objects over which the device is guided manually, with a light source ( 5 ) for illuminating the surface ( 9a ) of the object ( 9 ), a sensor ( 6 ) for detecting the color of the surface ( 9a ) at a predetermined measuring point, a processing unit ( 8 ) for processing the information detected by the sensor ( 6 ) and an output means ( 2 ) for non-visually outputting the color information, characterized in that the processing unit ( 8 ) is designed to detect a plurality of temporally successive measured values of the object ( 9 ) and to carry out an evaluation relating to the structure or color of the object ( 9 ).

2. Device according to claim 1, characterized in that the processing device ( 8 ) is designed to carry out pattern recognition.

3. Device according to claim 1 or 2, characterized in that the processing device ( 8 ) is designed to recognize predetermined images stored in the processing unit, such as banknotes.

4. Device according to one of claims 1 to 3, characterized in that the processing device ( 8 ) comprises a stop ( 7a ) for the object to be detected ( 9 ).

5. Device according to one of claims 1 to 4, characterized in that a device for outputting a color pattern is provided.

6. Device according to claim 5, characterized in that the device is designed as a voice output.

7. Device according to one of claims 1 to 6, characterized in that a stop is provided for guiding the sensor ( 6 ) over the surface ( 9a ) of the object ( 9 ).

8. Device according to one of claims 1 to 7, characterized in that a memory is provided for storing the color information detected over the path in order to compare it with image data from stored images and to carry out a recognition of predetermined images, such as banknotes.

9. Device according to one of claims 1 to 8, characterized in that an electronic interface is provided for outputting the results of the detection.