Die
vorliegende Erfindung betrifft ein Verfahren nach dem Oberbegriff
des Anspruchs 1 zur Bildverarbeitung, bei dem während einer Abfolge von Übertragungsphasen
Bilddaten eines zu verarbeitenden Bildes und zugehörige Steuerdaten
zwischen einer Bildaufnahmeeinheit und einer einer Bildverarbeitungsvorrichtung
vorgeschalteten Auswerteeinheit übertragen
werden und bei dem Übertragungsstörungen anhand
der Steuerdaten durch die Auswerteeinheit erkannt werden.The
The present invention relates to a method according to the preamble
of claim 1 for image processing, wherein during a sequence of transmission phases
Image data of an image to be processed and associated control data
between an image pickup unit and an image processing device
transferred upstream evaluation
and in the transmission interference based
the control data are detected by the evaluation unit.
Weiterhin
betrifft die Erfindung eine Auswertevorrichtung nach dem Oberbegriff
des Anspruchs 4 mit einer zum Empfangen von Bilddaten eines zu verarbeitenden
Bildes und von zugehörigen
Steuerdaten von einer Bildaufnahmevorrichtung ausgebildeten Schnittstelle,
mit einem zum Speichern der Bilddaten ausgebildeten Bildspeicher,
mit einem zum Auswerten der gespeicherten Bilddaten ausgebildeten
Auswertemodul und mit einer zum Erkennen von Störungen der Datenübertragung
von der Bildaufnahmevorrichtung ausgebildeten Steuerungseinheit.Farther
The invention relates to an evaluation device according to the preamble
of claim 4 including receiving image data of a to-be-processed
Picture and of associated
Control data from an interface formed by an image capture device,
with an image memory configured to store the image data,
with a trained for evaluating the stored image data
Evaluation module and with one for detecting disturbances of data transmission
control unit formed by the image pickup device.
Die
vorliegende Erfindung betrifft darüber hinaus ein Bildverarbeitungssystem,
bei dem eine Bildaufnahmeeinheit, eine Auswertevorrichtung und eine Bildverarbeitungsvorrichtung
hintereinander geschaltet sind, sowie ein Computerprogrammprodukt zur
Durchführung
eines Bildverarbeitungsverfahrens der eingangs genannten Art.The
The present invention further relates to an image processing system.
in which an image pickup unit, an evaluation device and an image processing device
are connected in series, as well as a computer program product for
execution
an image processing method of the type mentioned.
In
verteilten Bildverarbeitungssystemen werden Bild- und zugehörige Steuerdaten
zwischen einzelnen Komponenten des Systems übertragen, beispielsweise von
prozessnahen CCD-Kameraköpfen zu
räumlich
abgesetzten Auswerteeinheiten. Dabei kann die Datenübertragung
durch EMV-Einflüsse
auf die verwendeten Übertragungseinrichtungen
(Kabel) und/oder auf Komponenten des Bildverarbeitungssystems selbst
gestört
werden. Dies kann dazu führen,
dass die Auswerteeinheit verfälschte oder
unvollständige
Bilder falsch oder gar nicht auswertet. Wenn ein derartiges Bildverarbeitungssystem
für eine
Teileerkennung in der industriellen Fertigung, in Codelesern für Datamatrix-Codes
oder dergleichen eingesetzt wird, können sich auf diese Weise verlängerte Prozesszeiten
ergeben oder Benutzereingriffe erforderlich werden, was zu entsprechenden
Kostennachteilen führt.In
distributed image processing systems become image and associated control data
transferred between individual components of the system, for example
close to the process CCD camera heads
spatial
remote evaluation units. In this case, the data transmission
due to EMC influences
on the transmission equipment used
(Cable) and / or components of the image processing system itself
disturbed
become. This can cause
that the evaluation unit falsified or
incomplete
Evaluate images incorrectly or not at all. If such an image processing system
for one
Parts recognition in industrial production, in code readers for Datamatrix codes
or the like can be used in this way extended process times
result or user intervention will be required, resulting in appropriate
Cost disadvantages leads.
Bei
vorbekannten Bildverarbeitungssystemen bzw. -verfahren werden die
Daten eines Bildes jeweils wortweise übertragen und in einem Bildspeicher
gespeichert. In den Wörtern
sind den eigentlichen Bilddaten (Pixel) in einem so genannten Header enthaltene
zusätzliche
Steuerdaten zum Anzeigen von Bildanfang und Bildende, zum Ein- und
Ausschalten eines Blitzlichts, zur Leerlaufanzeige, zum Einfügen eines
Zeilentrenners oder dergleichen vorangestellt. Erkennt nun eine
Auswerteeinheit des Bildverarbeitungssystems einen aufgrund von Übertragungsstörungen ungültigen Header,
warten vorbekannte Bildverarbeitungssysteme so lange, bis wieder
ein gültiger
Header erkannt wird. Die bereits im Bildspeicher vorhandenen Daten
werden gelöscht, was
heißt,
dass das betreffende gestörte
Bild verworfen wird, wodurch auch korrekt empfangene Bildteile nicht
ausgewertet werden. Es entstehen somit die bereits angesprochenen
Nachteile hinsichtlich der Prozessdauer und der entsprechenden Prozesskosten.at
Prior art image processing systems or methods are the
Data of an image is transmitted word by word and in an image memory
saved. In the words
are the actual image data (pixels) contained in a so-called header
additional
Control data for displaying beginning and end of image, for on and off
Turning off a flash, idle, inserting a
Line separator or the like prefixed. Now recognize one
Evaluation unit of the image processing system invalid due to transmission errors header,
wait before known image processing systems until, again
a valid one
Header is detected. The data already in the image memory
will be deleted, what
is called,
that the disturbed
Image is discarded, which also does not receive correctly received image parts
be evaluated. Thus arise the already mentioned
Disadvantages regarding the duration of the process and the corresponding process costs.
JP 2003023513 offenbart
ein Verfahren und eine Vorrichtung zur Bildverarbeitung. Es sind
Maßnahmen
vorgesehen, wodurch Übertragungsstörungen sich
nicht störend
auf Bilddaten auswirken. JP 2003023513 discloses a method and apparatus for image processing. Measures are provided whereby transmission disturbances do not interfere with image data.
Aus
der JP 09247540 ist
eine Bildkorrekturvorrichtung bekannt, welche eine Korrektur von
fehlerhaften Bilddaten ermöglicht.From the JP 09247540 For example, an image correction apparatus is known which enables correction of erroneous image data.
Der
Erfindung liegt die Aufgabe zugrunde, ein eingangs genanntes Verfahren
zur Bildverarbeitung sowie eine eingangs genannte Bildverarbeitungsvorrichtung
bzw. ein Bildverarbeitungssystem anzugeben, mit denen unter Vermeidung
der vorstehend genannten Nachteile eine Verringerung der Prozessdauer
und eine entsprechende Senkung von Prozesskosten erreichbar ist.Of the
Invention is based on the object, an aforementioned method
for image processing and an aforementioned image processing device
or to provide an image processing system with which under avoidance
the disadvantages mentioned above a reduction in the duration of the process
and a corresponding reduction in process costs is achievable.
Die
Aufgabe wird bei einem Verfahren der eingangs genannten Art durch
die kennzeichnenden Merkmale des Patentanspruchs 1 gelöst, wobei
vorgesehen ist, dass in der Auswertevorrichtung für jede Übertragungsphase
eines Bildes ein Zähler
gestartet wird und dass zu Zeiten gestörter Übertragung von Bilddaten ein
vorbestimmter Bildwert an einen dem entsprechenden Wert des Zählers zugeordneten Bildspeicherort
eines Bildspeichers geschrieben wird.The
Task is in a method of the type mentioned by
the characterizing features of claim 1, wherein
is provided that in the evaluation device for each transmission phase
of a picture a counter
is started and that at times disturbed transmission of image data
predetermined image value to an associated with the corresponding value of the counter image storage location
a frame buffer is written.
Bei
einer Auswertevorrichtung der eingangs genannten Art wird die Aufgabe
durch die kennzeichnenden Merkmale des Patentanspruchs 4 gelöst. Zu diesem
Zweck weist die Auswertevorrichtung einen Zähler auf, der zum Bestimmen
einer seit Beginn einer Übertragungsphase
vergangenen Zeit ausgebildet ist, wobei die Steuerungseinheit zum
Abspeichern eines vorbestimmten Bildwerts an einem dem entsprechenden
Wert des Zählers
zugeordneten Speicherort ausgebildet ist.at
an evaluation device of the type mentioned is the object
solved by the characterizing features of claim 4. To this
Purpose, the evaluation device has a counter for determining
one since the beginning of a transmission phase
Formed past time, wherein the control unit for
Storing a predetermined image value at a corresponding one
Value of the counter
associated memory location is formed.
Weiterhin
wird die Aufgabe auch durch ein Bildverarbeitungssystem der eingangs
genannten Art durch die kennzeichnenden Merkmale des Patentanspruchs
8 gelöst,
wonach die Bildaufnahmevorrichtung über eine Datenübertragungseinrichtung
mit einer erfindungsgemäßen Auswertevorrichtung
verbunden ist. Schließlich
wird die Aufgabe bei einem Computerprogrammprodukt der eingangs
genannten Art durch die kennzeichnenden Merkmale des Patentanspruchs
9 gelöst,
indem dieses Programmcode-Sequenzen aufweist, bei deren Ausführung mittels
der Auswertevorrichtung ein erfindungsgemäßes Verfahren zur Bildverarbeitung
durchgeführt
wird.Furthermore, the object is also achieved by an image processing system of the type mentioned by the characterizing features of claim 8, after which the image pickup device ver via a data transmission device with an evaluation device according to the invention is bound. Finally, the problem is solved in a computer program product of the type mentioned by the characterizing features of claim 9 by having this program code sequences, in the execution of which by means of the evaluation device, an inventive method for image processing is performed.
Gemäß der Erfindung
ist ein Verfahren zur Bildverarbeitung, bei dem während einer
Abfolge von Übertragungsphasen
Bilddaten eines zu verarbeitenden Bildes und zugehörige Steuerdaten
zwischen einer Bildaufnahmevorrichtung und einer einer Bildverarbeitungsvorrichtung
vorgeschalteten Auswertevorrichtung übertragen werden und bei dem Übertragungsstörungen anhand
der Steuerdaten durch die Auswertevorrichtung erkannt werden, dadurch
gekennzeichnet, dass in der Auswerteeinheit für jede Übertragungsphase eines Bildes
ein Zähler
gestartet wird und dass zu Zeiten gestörter Übertragung von Bilddaten ein
vorbestimmter Bildwert an einen dem entsprechenden Wert des Zählers zugeordneten Bildspeicherort
eines Bildspeichers geschrieben wird.According to the invention
is a method of image processing in which during a
Sequence of transmission phases
Image data of an image to be processed and associated control data
between an image pickup device and an image processing device
upstream evaluation device are transmitted and in the transmission interference
the control data are recognized by the evaluation device, thereby
characterized in that in the evaluation unit for each transmission phase of an image
a counter
is started and that at times disturbed transmission of image data
predetermined image value to an associated with the corresponding value of the counter image storage location
a frame buffer is written.
Des
Weiteren ist gemäß der Erfindung
eine Auswertevorrichtung mit einer zum Empfangen von Bilddaten eines
zu verarbeitenden Bildes und von zugehörigen Steuerdaten von einer
Bildaufnahmevorrichtung ausgebildeten Schnittstelle, mit einem zum Speichern
der Bilddaten ausgebildeten Bildspeicher, mit einem zum Auswerten
der gespeicherten Bilddaten ausgebildeten Auswertemodul und mit
einer zum Erkennen von Störungen
der Datenübertragung
von der Bildaufnahmevorrichtung ausgebildeten Steuerungseinheit
gekennzeichnet durch einen Zähler,
der zum Bestimmen einer seit Beginn einer Übertragungsphase vergangenen
Zeit ausgebildet ist, wobei die Steuerungseinheit zum Abspeichern
eines vorbestimmten Bildwerts an einem dem entsprechenden Wert des
Zählers
zugeordneten Speicherort ausgebildet ist.Of
Another is according to the invention
an evaluation device with a for receiving image data of a
to be processed image and associated control data from a
Image capture device trained interface, with a to save
the image data trained image memory, with a to evaluate
the stored image data trained evaluation module and with
one for detecting disturbances
the data transmission
control unit formed by the image pickup device
characterized by a counter,
for determining a past since the beginning of a transmission phase
Time is formed, wherein the control unit for storing
of a predetermined image value at a corresponding value of
counter
associated memory location is formed.
Gemäß einer
grundlegenden Idee der vorliegenden Erfindung wird somit auch bei
nachhaltig gestörten
Bildern ein kompletter Bilddatensatz erzeugt und in den Bildspeicher
geschrieben, der aus den korrekt empfangenen Bilddaten/Pixel und
während gestörter Übertragungsphasen
eingetragener, vorbestimmter Bildwerte, so genannte „Dummypixel", besteht. Aufgrund
des erfindungsgemäßen Einsatzes eines
Zählers
ist es hierbei möglich,
dass im Anschluss an eine Störung
insbesondere die dann wieder ungestört empfangenen Pixel jeweils
an der richtigen, d. h. der zu einer jeweiligen Zeile und Spalte des
aufgenommenen Bildes gehörenden
Stelle im Bildspeicher stehen, sodass grundsätzlich immer, d. h. auch nach
einer gestörten Übertragung,
eine vollständige
Bildauswertung möglich
ist.According to one
basic idea of the present invention is thus also at
sustainably disturbed
Images a complete image data set generated and stored in the image memory
written from the correctly received image data / pixels and
during disturbed transmission phases
registered, predetermined image values, so-called "dummy pixels"
the use according to the invention of a
counter
is it possible
that following a fault
in particular, then again undisturbed received pixels respectively
at the right, d. H. to a respective row and column of the
belonging to the recorded image
Place in the image memory, so basically always, d. H. also after
a disturbed transmission,
a complete
Image evaluation possible
is.
In
Weiterbildung des erfindungsgemäßen Verfahrens
ist vorgesehen, dass die Auswertevorrichtung Speicherorte des vorbestimmten
Bildwerts mit wenigstens einem vorbestimmten Bildbereich des zu
verarbeitenden Bildes vergleicht, wobei in Abhängigkeit von dem Vergleichsergebnis
ein entsprechendes Steuersignal ausgegeben wird. Eine entsprechende
Weiterbildung der erfindungsgemäßen Auswertevorrichtung
sieht vor, dass die Auswerteeinheit eine Vergleichseinrichtung aufweist,
die zum Vergleichen von Speicherorten des vorbestimmten Bildwerts
mit wenigstens einem entsprechenden Bildbereich des zu verarbeitenden
Bildes ausgebildet ist.In
Further development of the method according to the invention
is provided that the evaluation device storage locations of the predetermined
Image value with at least one predetermined image area of the
processing image, depending on the comparison result
a corresponding control signal is output. A corresponding
Further development of the evaluation device according to the invention
provides that the evaluation unit has a comparison device,
for comparing locations of the predetermined image value
with at least a corresponding image area of the processed
Image is formed.
Auf
diese Weise ist es erfindungsgemäß möglich festzustellen,
ob trotz der festgestellten Übertragungsstörung eine
korrekte Auswertung des Bildes möglich
ist. Sind beispielsweise nur solche Bildbereiche gestört, welche
für die
korrekte Auswertung des Bildes nicht relevant sind, so wird dies
im Zuge des vorstehend genannten Vergleichs festgestellt und ein
entsprechendes Steuersignal ausgegeben. Erfindungsgemäß kann der
vorstehend genannte Vergleich beispielsweise dadurch vorgenommen werden,
dass die Auswertevorrichtung den Bildspeicher explizit nach einem
Auftreten des bestimmten Bildwerts (Dummypixel) durchsucht. Zusätzlich oder alternativ
kann jedoch die Steuerungseinheit beim Abspeichern des vorbestimmten
Bildwerts entsprechende Informationen an die Auswertevorrichtung übertragen,
sodass diese bereits „vorab" bezüglich des
Auftretens gestörter
Bilddaten beziehungsweise entsprechender Dummypixel unterrichtet
ist.On
this way it is possible according to the invention to determine
whether despite the detected transmission failure one
correct evaluation of the image possible
is. For example, only those image areas are disturbed, which
for the
correct evaluation of the image are not relevant, it will
determined in the course of the aforementioned comparison and a
corresponding control signal output. According to the invention of
For example, the above comparison can be made by
that the evaluation device explicitly the image memory after a
Search the occurrence of the specific image value (dummypixel). Additionally or alternatively
However, the control unit when storing the predetermined
Transferred image value corresponding information to the evaluation device,
so that they already "in advance" regarding the
Appearance disturbed
Informs image data or corresponding dummy pixels
is.
Gemäß einer
entsprechenden Weiterbildung der erfindungsgemäßen Auswertevorrichtung ist dementsprechend
vorgesehen, dass das Auswertemodul zum Ausgeben eines Steuersignals
in Abhängigkeit
von dem Vergleichsergebnis ausgebildet ist.According to one
corresponding development of the evaluation device according to the invention is accordingly
provided that the evaluation module for outputting a control signal
dependent on
is formed by the comparison result.
Vorteilhafterweise
ist in Weiterbildung der erfindungsgemäßen Auswertevorrichtung auch
vorgesehen, dass diese eine mit dem Auswertemodul in Wirkverbindung
stehende Speichereinrichtung aufweist, in der Parameter des für den Vergleich
benötigten
Bildbereichs abgelegt sind. Derartige Parameter, bei denen es sich
vorzugsweise um geometrische Definitionen einer Anzahl von Bildausschnitten
handelt, die – je
nach Ausgestaltung – für eine korrekte Bildauswertung
entweder unabdingbar oder entbehrlich sind, können erfindungsgemäß beispielsweise durch einen
Benutzer der Vorrichtung mittels einer geeigneten Eingabeeinrichtung,
wie einer Tastatur oder eines Lesegeräts für entsprechende Datenträger, vorgegeben
werden.advantageously,
is in development of the evaluation device according to the invention also
provided that this one in operative connection with the evaluation module
standing memory means, in the parameters of the comparison
required
Image area are stored. Such parameters which are
preferably geometric definitions of a number of image sections
act that - ever
according to design - for a correct image analysis
either indispensable or dispensable, according to the invention, for example, by a
User of the device by means of a suitable input device,
as a keyboard or a reader for corresponding data carriers, given
become.
Beispielsweise
sind bei einem Einsatz der erfindungsgemäßen Vorrichtung zur Teileerkennung die
zu erkennenden Teile regelmäßig kleiner
als das zur Verfügung
stehende Bildfenster. In diesem Fall kann eine in der Auswertevorrichtung
vorhandene Auswertesoftware auch automatisch beim Einlernen des
Gegenstands denjenigen Bildbereich bestimmen, der für die Bildauswertung
im späteren
Betrieb genutzt werden soll (so genannte „Region of Interest"), und dessen Definition
entsprechend in der oben genannten Speichereinrichtung ablegen.For example, when using the device according to the invention for parts detection, the parts to be recognized are regularly smaller than the available image window. In this case For example, an evaluation software present in the evaluation device can also automatically determine the image area which is to be used for the image analysis in subsequent operation (so-called "region of interest") when teaching in the object, and store its definition accordingly in the above-mentioned memory device.
Gemäß einer
Weiterbildung des erfindungsgemäßen Verfahrens
ist vorgesehen, dass für
einen dem vorbestimmten Bildbereich entsprechenden Speicherort das
ausgegebene Steuersignal ein negatives Ergebnis der Bildverarbeitung
anzeigt. Mit anderen Worten: Wenn erfindungsgemäß Speicherorte von Dummypixeln
dem entsprechenden vorbestimmten Bildbereich zuzuordnen sind, wird
dem System ein negatives Ergebnis der Bildverarbeitung angezeigt.
Entsprechend kann gemäß einer
anderen Weiterbildung des erfindungsgemäßen Verfahrens vorgesehen sein,
dass für
Speicherorte außerhalb des
vorbestimmten Bildbereichs das Steuersignal ein positives Ergebnis
der Bildverarbeitung anzeigt. Allerdings ist erfindungsgemäß auch eine
umgekehrte Vorgehensweise möglich,
wobei der vorbestimmte Bildbereich gerade solche Bereiche des zu
untersuchenden Bildes definiert, die für eine erfolgreiche Bildauswertung
nicht benötigt
werden, sodass sich auch die vorstehend beschriebene Ausgabe von Steuersignalen
entsprechend umkehrt.According to one
Further development of the method according to the invention
is provided for that
a storage location corresponding to the predetermined image area
output control signal a negative result of image processing
displays. In other words, according to the invention, memory locations of dummy pixels
are assigned to the corresponding predetermined image area is
the system displays a negative image processing result.
Accordingly, according to a
be provided for other development of the method according to the invention,
that for
Storage locations outside the
predetermined image area, the control signal a positive result
the image processing displays. However, according to the invention is also a
reverse procedure possible,
wherein the predetermined image area just such areas of the
examining image defined for a successful image analysis
not required
so that also the above-described output of control signals
reversed accordingly.
Es
ist jedoch auch möglich,
dass alle Bilddaten eines vollständigen
Bildes, welches auch Dummypixel enthält, an eine nachgeordnete Bildverarbeitungsvorrichtung
abgegeben werden und diese dann entscheidet, ob die Bilddaten beziehungsweise
das Bild zu verwenden ist.It
but it is also possible
that all image data of a complete
Image, which also contains dummy pixels, to a downstream image processing device
and then decides whether the image data or
to use the image.
Weitere
Eigenschaften und Vorteile der Erfindung ergeben sich aus der nachfolgenden
Beschreibung von Ausführungsbeispielen
anhand der Zeichnung. Es zeigen:Further
Features and advantages of the invention will become apparent from the following
Description of exemplary embodiments
based on the drawing. Show it:
1 ein
detailliertes Blockschaltbild eines erfindungsgemäßen Bildverarbeitungssystems; 1 a detailed block diagram of an image processing system according to the invention;
2 ein
schematisches Ablaufphasen-Diagramm zur Darstellung einer Steuerdatenübertragung
(Header) von der Bildaufnahmevorrichtung zur Auswerteeinheit; 2 a schematic sequence phase diagram for representing a control data transmission (header) from the image pickup device to the evaluation unit;
3 den
zeitlichen Ablauf einer Datenübertragung
am Beispiel eines gestörten
Bildes mit einer Auflösung
von zehn Zeilen; 3 the timing of a data transmission using the example of a disturbed image with a resolution of ten lines;
4 in
einer schematisch-tabellarischen Ansicht den Speicherzustand des
Bildspeichers nach Übertragung
des Bildes aus 3 und 4 in a schematic tabular view of the memory state of the image memory after transmission of the image 3 and
5 ein
Ablaufdiagramm eines erfindungsgemäßen Verfahrens. 5 a flow diagram of a method according to the invention.
1 zeigt
anhand eines detaillierten Blockschaltbilds ein erfindungsgemäßes Bildverarbeitungssystem 1.
Im Rahmen des vorliegenden Ausführungsbeispiels
ist das Bildverarbeitungssystem 1 als verteiltes Bildverarbeitungssystem
mit einer Bildaufnahmevorrichtung oder Kameraeinheit 2 und
einer räumlich
von der Kameraeinheit 2 getrennten Auswertevorrichtung 3 ausgebildet.
Zwischen der Bildaufnahmevorrichtung 2 und der Auswertevorrichtung 3 ist
eine Datenübertragungseinrichtung 4,
vorzugsweise in Form eines Datenkabels, vorgesehen. Der Auswertevorrichtung
ist eine Bildverarbeitungsvorrichtung 3a nachgeschaltet. 1 shows a detailed block diagram of an inventive image processing system 1 , In the context of the present embodiment, the image processing system 1 as a distributed image processing system with an image capture device or camera unit 2 and one spatially from the camera unit 2 separate evaluation device 3 educated. Between the image capture device 2 and the evaluation device 3 is a data transmission device 4 , preferably in the form of a data cable. The evaluation device is an image processing device 3a downstream.
Die
Bildaufnahmevorrichtung 2 weist zunächst einen Sensorchip (CCD-Chip) 5 auf,
der über eine
Kamera-Steuerungseinheit 6 mit einem Parallel-/Seriell-Wandler 7 verbunden
ist. Die Ausgänge des
Parallel-/Seriell-Wandlers 7 sind mit einer ersten Verstärkereinheit 8 verbunden,
deren Ausgang mit der bereits erwähnten Datenübertragungseinrichtung 4 in
Wirkverbindung steht. Auf Seiten der Auswertevorrichtung 3 ist
die Datenübertragungseinrichtung 4 zunächst mit
einer Kamera-Schnittstelle (Kamerainterface) 9 verbunden,
welche weitere Bestandteile aufweist. Die Datenübertragungseinrichtung 4 mündet in
eine weitere Verstärkereinheit 10,
deren Ausgänge
mit einem Seriell-/Parallel-Wandler 11 verbunden sind.
Die Ausgänge
des Seriell-/Parallel-Wandlers 11 sind mit den Eingängen eines
FIFO-Datenregisters 12 verbunden. Weiterhin weist das Kamerainterface 9 eine
eigene Steuerungseinheit 13 auf.The image pickup device 2 first has a sensor chip (CCD chip) 5 on top of a camera control unit 6 with a parallel / serial converter 7 connected is. The outputs of the parallel / serial converter 7 are with a first amplifier unit 8th whose output is connected to the already mentioned data transmission device 4 is in active connection. On the part of the evaluation device 3 is the data transmission device 4 first with a camera interface (camera interface) 9 connected, which has further constituents. The data transmission device 4 flows into another amplifier unit 10 whose outputs are connected to a serial / parallel converter 11 are connected. The outputs of the serial / parallel converter 11 are with the inputs of a FIFO data register 12 connected. Furthermore, the camera interface 9 a separate control unit 13 on.
Das
Kamerainterface 9 steht mit einem Bildspeicher 14 in
signaltechnischer Wirkverbindung. Darüber hinaus weist die Auswertevorrichtung 3 ein – vorzugsweise
softwaretechnisch eingerichtetes – Auswertemodul 15 sowie
eine mit dem Auswertemodul 15 verbundene erste Speichereinrichtung 16 auf. Zudem
besitzt die Auswertevorrichtung 3 eine Systemschnittstelle
(Systeminterface) 17, in der weitere Verstärkereinheiten 18, 19 enthalten
sind. In Wirkverbindung mit der Auswertevorrichtung 3 besitzt
das erfindungsgemäße Bildverarbeitungssystem
weiterhin noch eine Dateneingabevorrichtung 20, die insbesondere
als Keyboard oder als Lesegerät
für Datenträger, wie
z. B. CD-ROMs, ausgebildet sein kann.The camera interface 9 stands with a picture memory 14 in signaling connection. In addition, the evaluation device has 3 a - preferably software technically furnished - evaluation module 15 and one with the evaluation module 15 connected first storage device 16 on. In addition, the evaluation device has 3 a system interface (system interface) 17 , in the further amplifier units 18 . 19 are included. In operative connection with the evaluation device 3 the image processing system according to the invention still has a data input device 20 , in particular as a keyboard or as a reading device for data carriers, such. As CD-ROMs may be formed.
Wie
weiterhin aus der Darstellung der 1 zu entnehmen
ist, sind zumindest der Sensorchip 5, die Steuerungseinheit 6 und
der Parallel-/Seriell-Wandler 7 der Kameraeinheit 2 durch
einen ersten Taktgeber 21 („Pixel-CLK") gesteuert, während zumindest die Steuerungseinheit 13,
der Bildspeicher 14 und das Auswertemodul 15 der
Auswertevorrichtung 3 von einem zweiten Taktgeber 22 („System-CLK") gesteuert sind.
Der serielle Sendetakt SEC wird über
die Datenübertragungseinrichtung 4 auch
an den Seriell-/Parallel-Wandler 11 sowie das FIFO-Datenregister 12 gelegt.
Die Steuerungseinheit 13 der Auswertevorrichtung 3 weist
erfindungsgemäß weiterhin
noch einen Zähler 23 auf,
der insbesondere als Zeitzähler
ausgebildet sein kann und auf dessen erfindungsgemäße Funk tion
später
noch detailliert eingegangen wird. Des Weiteren steht die Steuerungseinheit 13 mit
einer zweiten Speichereinrichtung 24 in Wirkverbindung,
auf deren erfindungsgemäße Funktion
ebenfalls weiter unten noch eingegangen wird. In dem Auswertemodul 15 ist
zudem eine – vorzugsweise
softwaretechnisch implementierte – Vergleichseinrichtung 25 enthalten.As further from the representation of the 1 it can be seen, at least the sensor chip 5 , the control unit 6 and the parallel / serial converter 7 the camera unit 2 through a first clock 21 ("Pixel CLK") controlled while at least the control unit 13 , the image memory 14 and the evaluation module 15 the evaluation device 3 from a second clock 22 ("System CLK"). The serial transmission clock SEC is transmitted via the data transmission device 4 also to the serial / parallel converter 11 as well as the FIFO data register 12 placed. The control unit 13 the evaluation device 3 according to the invention still has a counter 23 on, which can be designed in particular as a time counter and on whose radio tion invention later will be discussed in detail. Furthermore stands the control unit 13 with a second storage device 24 in operative connection, whose function according to the invention will also be discussed below. In the evaluation module 15 is also a - preferably software implemented - comparison device 25 contain.
Im
Betrieb des vorstehend beschriebenen Bildverarbeitungssystems 1 nimmt
der Sensorchip 5 Bilder eines zu untersuchenden Objekts
(nicht gezeigt) auf und erzeugt eine Anzahl von Pixeln, deren Anzahl,
Größe, geometrische
Anordnung usw. von der Art des verwendeten Sensorchips 5 abhängt. Für das vorliegende
Ausführungsbeispiel
sei angenommen, dass sich jedes Pixel aus dem Sensorchip 5 als ein
8-Bit-Datenwort darstellen lässt.
Die Pixel werden im Takt des ersten Taktgebers 21 aus dem
Sensorchip 5 ausgelesen und in der Steuerungseinheit 6 mit Steuerdaten
(Header) versehen, wobei sich im Falle des vorliegenden Ausführungsbeispiels
dieser Header als ein 6-Bit-Wort darstellen lässt, sodass die Pixeldaten
und Headerdaten sich insgesamt als ein 14-Bit-Wort darstellen lassen.
Anschließend
werden die Steuer-/Bilddaten in dem Parallel-/Seriell-Wandler 7 in
serielle Daten SD umgewandelt.In operation of the image processing system described above 1 takes the sensor chip 5 Images of an object to be examined (not shown) and generates a number of pixels, their number, size, geometric arrangement, etc., on the type of sensor chip used 5 depends. For the present embodiment, assume that each pixel is out of the sensor chip 5 as an 8-bit data word. The pixels are in time with the first clock 21 from the sensor chip 5 read out and in the control unit 6 in the case of the present embodiment, this header can be represented as a 6-bit word, so that the pixel data and header data can be represented as a whole as a 14-bit word. Subsequently, the control / image data in the parallel / serial converter 7 converted into serial data SD.
Außerdem generiert
der Parallel-/Seriell-Wandler 7 aus dem Pixeltakt (Pixel-CLK)
einen seriellen Sendetakt SEC, der im vorliegenden Ausführungsbeispiel
vierzehnmal schneller als der Pixeltakt ist, um jedes 14-Bit-Wort
aus Bild- und Steuerdaten seriell über die Datenübertragungseinrichtung 4 von
der Kameraeinheit 2 zu der Auswertevorrichtung 3 übertragen
zu können.
Der serielle Sendetakt SEC wird über
die Datenübertragungseinrichtung 4 auch an
den Seriell-/Parallel-Wandler 11 sowie
das FIFO-Datenregister 12 gelegt.In addition, the parallel / serial converter generates 7 from the pixel clock (pixel CLK), a serial send clock SEC, which is fourteen times faster than the pixel clock in the present embodiment, serially serializes each 14-bit word of image and control data via the data transfer device 4 from the camera unit 2 to the evaluation device 3 to be able to transfer. The serial transmission clock SEC is transmitted via the data transmission device 4 also to the serial / parallel converter 11 as well as the FIFO data register 12 placed.
Der
Seriell-/Parallel-Wandler 11 der Auswertevorrichtung 3 wandelt
die ankommenden seriellen Daten SD in parallele Daten PD um, wobei
er zugleich auch aus dem seriellen Sendetakt SEC einen um den Faktor
Vierzehn geringeren Pixeltakt PC generiert. Anschließend werden
Header und Pixel, d. h. Steuer- und
Bilddaten, in das als Empfangs-FIFO fungierende FIFO-Datenregister 12 geschrieben.
Die Steuerungseinheit 13 der Auswertevorrichtung 3 liest anschließend das
FIFO 12 asynchron zum Schreibtakt (Pixeltakt PC) in einem
durch den zweiten Taktgeber 22 („System-CLK") vorgegebenen Systemtakt SYC,
d. h. dem internen Arbeitstakt der Auswertevorrichtung 3 wieder
aus. Somit findet an dieser Stelle der Übergang vom Pixeltakt der Kameraeinheit 2 zum
Arbeitstakt der Auswertevorrichtung 3 statt.The serial / parallel converter 11 the evaluation device 3 converts the incoming serial data SD into parallel data PD, at the same time generating from the serial transmission clock SEC a pixel clock PC lower by a factor of fourteen. Subsequently, headers and pixels, ie, control and image data, become FIFO data registers acting as receive FIFOs 12 written. The control unit 13 the evaluation device 3 then read the FIFO 12 asynchronous to the write clock (pixel clock PC) in one by the second clock 22 ("System-CLK") predetermined system clock SYC, ie the internal power stroke of the evaluation device 3 out again. Thus, at this point, the transition from the pixel clock of the camera unit 2 to the working cycle of the evaluation device 3 instead of.
Die
Bilddaten BD werden anschließend – ebenfalls
im Systemtakt SYC – anhand
ihres Headers (ihrer zugehörigen
Steuerdaten) aus dem FIFO 12 aussortiert (ausgelesen; READ-Befehl
in 1) und mittels eines Schreibbefehls (WRITE) unter
einer vorbestimmten Adresse (ADD) in den Bildspeicher 14 geschrieben.
Dessen Inhalt wird anschließend durch
das Auswertemodul 15 ausgewertet, welches anschließend über das
Systeminterface 17 in Abhängigkeit von dem Vergleichsergebnis
entweder über die
Verstärkereinheit 18 oder über die
Verstärkereinheit 19 ein
entsprechendes Steuersignal („ok"/„nok") an weitere Komponenten des Bildverarbeitungssystems 1,
wie die Bildverarbeitungsvorrichtung 3a, sendet.The image data BD are then - also in the system clock SYC - based on their header (their associated control data) from the FIFO 12 sorted out (READ command in 1 ) and by means of a write command (WRITE) at a predetermined address (ADD) in the image memory 14 written. Its content is then passed through the evaluation module 15 evaluated, which subsequently via the system interface 17 depending on the result of the comparison either via the amplifier unit 18 or via the amplifier unit 19 a corresponding control signal ("ok" / "nok") to other components of the image processing system 1 as the image processing device 3a , sends.
Wie
in 1 anhand eines Blitz-Symbols B dargestellt, ist
insbesondere die Datenübertragungseinrichtung 4 gegenüber externen
EMV-Einflüssen störanfällig. Ein
Gleiches trifft jedoch auch im Rahmen einer ESD-Problematik (ESD:
Electrostatic Discharge) auf die weiteren an der Datenübertragung beteiligten
Komponenten des Bildverarbeitungssystems 1 zu. Mit anderen
Worten: Es kann vorkommen, dass in der Auswertevorrichtung 3,
insbesondere im FIFO-Datenregister 12, fehlerhafte 14-Bit-Wörter vorliegen.As in 1 represented by a flash symbol B, is in particular the data transmission device 4 susceptible to external EMC influences. However, the same applies in the context of an ESD problem (ESD: Electrostatic Discharge) to the other components of the image processing system involved in the data transmission 1 to. In other words, it can happen that in the evaluation device 3 , in particular in the FIFO data register 12 , erroneous 14-bit words are present.
2 zeigt
schematisch eine Abfolge von Steuerdaten (Header), die im Rahmen
der Übertragung
eines vollständigen
Bildes (nachfolgend auch als „Übertragungsphase" bezeichnet) von
der Kameraeinheit 2 an die Auswertevorrichtung 3 übertragen werden.
Aus Anschauungsgründen
wurde eine bildähnliche Blockdarstellung
gewählt,
wobei das Bild nicht maßstabsgerecht
ist. Jedes Kästchen
der Abbildung symbolisiert ein (seriell zu übertragendes) 14-Bit-Wort,
wobei in den Kästchen
nur die Header dargestellt sind und der eigentliche, durch die Ausgestaltung
des Sensorchips 5 vorgegebene Bildbereich durch die schraffierte
rechteckförmige
Fläche
dargestellt ist. 2 schematically shows a sequence of control data (header), in the context of the transmission of a complete image (hereinafter also referred to as "transfer phase") of the camera unit 2 to the evaluation device 3 be transmitted. For illustrative purposes, a picture-like block representation was chosen, the image is not to scale. Each box of the figure symbolizes a 14-bit word (to be transmitted serially), wherein only the headers are shown in the boxes and the actual one, due to the configuration of the sensor chip 5 predetermined image area is represented by the hatched rectangular area.
Die Übertragung
der einzelnen Datenwörter beginnt
in der 2 unten links und schreitet in jeder Zeile von
links nach rechts fort. Das Header-Kürzel „ab" symbolisiert eine Phase, in der keine
Bildaktivität stattfindet
(Leerlauf-/Ruhephase), während
in der mit „hl" bezeichneten Phase
die Bildaktivität
begonnen hat. In dieser Phase wird das Objekt beleuchtet. Header-Kürzel mit
dem Symbol „h" werden bei allen
Sensoroperationen, ausgenommen die Übertragung von Nutzdaten, gesendet.
Mit dem Header-Kürzel „p" sind die eigentlichen
Bildpixel bezeichnet. Bildpixel („p") enthaltende einzelne Nutzzeilen sind
untereinander durch „h"-codierte Wörter voneinander
getrennt.The transmission of the individual data words begins in the 2 bottom left and proceed from left to right in each row. The header abbreviation "ab" symbolizes a phase in which no image activity takes place (idle / idle phase), while in the phase designated by "hl" the image activity has started. In this phase, the object is illuminated. Header abbreviations with the symbol "h" are sent for all sensor operations, except for the transmission of user data .The header abbreviation "p" indicates the actual image pixels. Individual pixels containing image pixels ("p") are separated from each other by "h" -coded words.
Bei
einem ungestörten Übertragungsverlauf der
in 2 dargestellten Abfolge von der Kameraeinheit 2 zur
Auswertevorrichtung 3 (1) erhält die Steuerungseinrichtung 13 Steuerdaten
(Header), welche sich in folgende Phasen unterteilen lassen: Auf
einen anfänglichen
Leerlauf („ab"), welcher einen Bildwechsel
symbolisiert, folgen so genannte Zeilentrenner während der Schwarzzeilen am
Bildanfang (Codes „hl", „h"). Daran schließen sich
die Pixelbytes der ersten Bildzeile (Code „p") an, gefolgt vom Zeilentrenner (Code „h") zwischen den ersten
und zweiten Bildzeilen. Dann folgen die Pixelbytes der zweiten Bildzeile
usw., bis nach dem Zeilentrenner während der Schwarzzeilen am
Bildende der Übertragungsablauf
mit einem erneuten Leerlauf endet.In an undisturbed transfer history of in 2 sequence shown by the camera unit 2 to the evaluation device 3 ( 1 ) receives the control device 13 Control data (headers), which can be subdivided into the following phases: At an initial idle ("down"), which symbolizes a picture change, so-called line separators follow the black lines at the beginning of the picture (codes "hl", "h") the pixel bytes of the first image line (code "p") follow, followed by the line separator (code "h") between the first and second image lines, then the pixel bytes of the second image line, etc. follow until after the line separator during the black lines at the end of the image Transmission process ends with a new idle.
Unter
erneuter Bezugnahme auf die 1 speichert
die Steuerungseinheit 13 im Kamerainterface 9 bei
jedem ungestört
empfangenen Bild (vgl. 2) die Abfolge, Anzahl und Dauer
der einzelnen Übertragungsphasen
(„h", „p", usw.) in der Speichereinrichtung 24 ab.
Bei jedem neuen Bild, d. h. zu Beginn einer neuen Gesamt-Übertragungsphase,
wird in der Steuerungseinheit 13 der als Überwachungstimer
fungierende (Zeit)-Zähler 23 zurückgesetzt
und gestartet, wobei als Endwert des Zählers 23 diejenige Zeit
eingestellt wird, welche beim letzten ungestörten Bild (vgl. 2)
durch die Steuerungseinheit 13 in der Speichereinrichtung 24 gespeichert
wurde. Anschließend
untersucht die Steuerungseinheit 13 während der Übertragungsphase die in jedem übertragenen
14-Bit-Wort enthaltenen Steuerdaten, um aufgrund von Störungen ungültig gewordene
oder falsche Header zu identifizieren, was beispielsweise durch
einen Vergleich mit in der Speichereinrichtung 24 abgelegten
Referenzwerten geschehen kann.Referring again to the 1 saves the control unit 13 in the camera interface 9 with each undisturbed received picture (cf. 2 ) the sequence, number and duration of the individual transmission phases ("h", "p", etc.) in the memory device 24 from. At each new image, ie at the beginning of a new overall transmission phase, is in the control unit 13 the watch timer (time) counter 23 reset and started, taking as the final value of the counter 23 the time is set, which at the last undisturbed picture (see. 2 ) by the control unit 13 in the storage device 24 was saved. Subsequently, the control unit examines 13 during the transmission phase, the control data contained in each transmitted 14-bit word to identify invalidated or false headers due to interference, such as by comparison with in the memory device 24 stored reference values.
Werden
auf diese Weise während
einer Übertragungsphase
aufgrund von Störungen
ungültig
gewordene Header erkannt, so reagiert die Steuerungseinrichtung
erfindungsgemäß wie folgt:
Die Steuerungseinheit 13 wartet ab, bis der Zähler 23 seinen
aktuell eingestellten Endwert erreicht hat. Dies entspricht nach
dem Vorstehenden dem tatsächlichen
Ende einer ungestörten Übertragungsphase und
bedeutet zugleich das simulierte Ende der vorliegenden gestörten Übertragungsphase.
Anschließend wird
der Zähler 23 zurückgesetzt,
d. h., die Zeit für
die nächste Übertragungsphase
wird geladen. Anschließend
wird erneut so lange gezählt,
d. h. gewartet, bis der Zähler 23 wiederum
seinen Endwert erreicht hat. Dies entspricht dem simulierten Ende
der nächsten gestörten Übertragungsphase
usw. Dieses Verfahren kann fortgesetzt werden, bis erneut ungestörte Daten mit
gültigen,
d. h. zu der durch den aktuellen Zählerstand angezeigten Phase
passenden Steuerdaten (Header) empfangen werden.If, in this way, headers that have become invalid during a transmission phase due to disturbances are detected, the control device reacts according to the invention as follows: The control unit 13 Waits for the counter 23 has reached its currently set final value. This corresponds to the above the actual end of an undisturbed transmission phase and at the same time means the simulated end of the present disturbed transmission phase. Subsequently, the counter 23 reset, ie the time for the next transfer phase is loaded. Subsequently, it is counted again, ie waited until the counter 23 has reached its final value again. This corresponds to the simulated end of the next disturbed transmission phase, etc. This process can be continued until undisturbed data is received again with valid control data (headers), that is, matching the phase indicated by the current counter reading.
Es
sei angemerkt, dass erfindungsgemäß grundsätzlich quasi beliebige Endwerte
für den Überwachungstimer
eingestellt werden können.
Beispielsweise ist es möglich,
den Endwert des Überwachungstimers
mit demjenigen Zeitpunkt zu synchronisieren, in dem bei ungestörter Bildübertragung
das letzte Steuer-/Bilddaten-Wort empfangen würde (Kästchen ganz oben rechts in 2).
Eine alternative Lösungsmöglichkeit
besteht darin, den in der 2 gezeigten
Ablauf in mehrere gleich oder unterschiedlich lange Teilabläufe mit
entsprechenden Timer-Endwerten zu unterteilen. In diesem Fall wird das
erfindungsgemäße Verfahren
bis zum simulierten Bildende oder wiederum bis zum Empfang ungestörter Daten
mit gültigem
und zur aktuellen Phase passendem Header fortgesetzt.It should be noted that, according to the invention, basically any desired end values for the monitoring timer can be set. For example, it is possible to synchronize the end value of the monitoring timer with the time at which the last control / image data word would be received in the case of undisturbed image transmission (top right box in FIG 2 ). An alternative solution is to use in the 2 subdivide sequence shown in several equally or differently long sub-processes with corresponding timer end values. In this case, the method according to the invention is continued until the end of the simulated picture or, in turn, until the receipt of undisturbed data with a valid header matching the current phase.
Entscheidend
ist dabei, dass über
den fortlaufend weitergezählten Überwachungstimer
(Zähler 23)
in Verbindung mit den in der Speichereinrichtung 24 gespeicherten
Informationen bezüglich
der Abfolge, Anzahl und Dauer einzelner Übertragungsphasen bei einem
ungestört
empfangenen Bild eine Zuordnungsmöglichkeit zwischen Phasen,
d. h. Zeitpunkten, in denen ohne Störung Pixel einer Zeile übertragen
würden,
und den entsprechenden Speicherorten im Bildspeicher 14 gegeben
ist.It is crucial that over the continuously counting monitoring timer (counter 23 ) in conjunction with those in the storage device 24 information stored with respect to the sequence, number and duration of individual transmission phases in an undisturbed received image assignment between phases, ie times in which would transmit pixels of a line without interference, and the corresponding memory locations in the image memory 14 given is.
Mit
anderen Worten: Über
den aktuellen Zählerstand
des Zählers 23 ist
eine Möglichkeit
geschaffen, auch während
einer gestörten
Datenübertragung zu
bestimmten Zeiten, die den Übertragungszeitpunkten
von Bild-/Nutzdaten eines ungestörten
Bildes entsprechen, direkt auf den entsprechenden Speicherort im
Bildspeicher zuzugreifen, wobei erfindungsgemäß bei Vorliegen einer Störung, d.
h. eines identifizierten ungültigen
oder falschen Headers während
derjenigen Phasen, in denen ohne Störung Pixel (beispielsweise
einer Zeile) übertragen
würden, durch
die Steuerungseinheit 13 ein vorbestimmter Bildwert (Default-Pixel,
beispielsweise Weiß)
an die entsprechende Stelle im Bildspeicher geschrieben wird. Ein
derartiger Default-Pixel wird vorliegend – wie erwähnt – auch als „Dummypixel" bezeichnet.In other words: About the current meter reading of the meter 23 a possibility is created, even during a disturbed data transmission at certain times, corresponding to the transmission times of image / payload data of an undisturbed image to directly access the corresponding memory location in the image memory, according to the invention in the presence of a fault, ie an identified invalid or false header during those phases in which pixels (e.g. one line) would be transmitted without interference by the control unit 13 a predetermined image value (default pixel, for example white) is written to the corresponding location in the image memory. In the present case, such a default pixel is also referred to as a "dummy pixel".
3 zeigt
in vereinfachter Form in Anlehnung an die Darstellung der 2 den
zeitlichen Ablauf der Datenübertragung
eines gestörten
Bildes bei einer beispielhaften Auflösung von zehn Zeilen, wobei
hier die Abbildung wie beim gewöhnlichen
Lesen von links oben nach rechts unten zu be trachten ist, während die
Zeit t in Betrachtungsrichtung fortschreitet. Nach dem Vorstehenden
entspricht das Fortschreiten der Zeit t einem Hochzählen des
als Überwachungstimer
fungierenden (Zeit-)Zählers 23 (1). 3 shows in a simplified form based on the presentation of the 2 the timing of the data transfer of a disturbed image at an exemplary resolution of ten lines, in which case the image as in the ordinary reading from top left to bottom right is looking to be considered while the time t in the viewing direction progresses. From the above, the progress of time t corresponds to counting up the (time) counter functioning as the watchdog timer 23 ( 1 ).
Gemäß der Darstellung
in 3 wird der Zähler 23 zu
einem Anfangs-Zeitpunkt t0 zurückgesetzt
und nimmt zu einem End-Zeitpunkt
te seinen hier nicht genauer spezifizierten
Endwert an, was vorliegend der vollständigen Übertragung eines ungestörten fünf mal zehn
Pixel großen
Bildes einschließlich
einer Übertragung
der Schwarzzeilen am Bildanfang und Bildende sowie der Übertragung
von Zeilentrennern zwischen den einzelnen Bildzeilen entspricht.
Diejenigen Zeitpunkte t, in denen gemäß der 3 Bild-/Nutzdaten übertragen
werden, sind mit 1 bis 50 beziffert, wobei – wie angegeben – die Ziffern
1 bis 5 den Pixeln der ersten Bildzeile, die Ziffern 6 bis 10 den
Pixeln der zweiten Bildzeile, die Ziffern 11 bis 15 der dritten
Bildzeile usw. entsprechen.As shown in 3 becomes the counter 23 reset at an initial time t 0 , and at an end time t e , it assumes its final value not specified here, which is the complete transmission of an undistorted five by ten pixel image including a transmission of the black lines at Image beginning and end as well as the transmission of line separators between the individual image lines corresponds. Those times t, in which according to the 3 Numbers 1 to 5 are given to the pixels of the first image line, the numbers 6 to 10 to the pixels of the second image line, the numbers 11 to 15 of the third image line, etc . correspond.
Es
sei darauf hingewiesen, dass die angegebenen Ziffern 1 bis 50 im
Allgemeinen nicht den entsprechenden Zählerwerten des Zählers 23 (1) entsprechen,
da dieser insbesondere auch während der
Zeitintervalle x, y und z fortlaufend weiterzählt, welche einer Übertragungsdauer
der Schwarzzeilen am Bildanfang, der jeweiligen Zeilentrenner bzw.
der Schwarzzeilen am Bildende entsprechen, wie aus der 3 ersichtlich
ist.It should be noted that the given digits 1 to 50 generally do not correspond to the counter's counter values 23 ( 1 ), since it continues to count continuously, in particular during the time intervals x, y and z, which correspond to a transmission duration of the black lines at the beginning of the picture, the respective line separator or the black lines at the picture end, as is apparent from US Pat 3 is apparent.
Allerdings
lässt sich
erfindungsgemäß aus dem
beispielsweise der Ziffer 35 in 3 zugeordneten
(nicht gezeigten) Zählerwert
des Zählers 23 (1)
ein Speicherort für
den entsprechenden Bildpunkt in Zeile 7, Spalte 5 des zu verarbeitenden
Bildes anhand der in der Speichereinrichtung 24 (1)
abgelegten Daten identifizieren, sodass gegebenenfalls, d. h. bei
erkannter Übertragungsstörung ein
vorbestimmter Bildwert an genau diesen Speicherort geschrieben werden
kann. Dies ist nachfolgend in der 4 beispielhaft
unter der Annahme dargestellt, dass zu den in der 3 mit den
Ziffern 40 bis 48 bezeichneten Zeitpunkten ein
Zeitraum mit gestörter
Datenübertragung
vorlag (schraffierter Bereich in 3), wobei
in dem gezeigten Ausführungsbeispiel
auch zwei Zeiträume
mit Übertragung
eines Zeilentrenners y mit in den gestörten Zeitbereich fallen.However, according to the invention can be made from the example of the numeral 35 in 3 associated counter value (not shown) of the counter 23 ( 1 ) A storage location for the corresponding pixel in line 7, column 5 of the image to be processed on the basis of the memory device 24 ( 1 ), so that optionally, that is, when detected transmission failure, a predetermined image value can be written to exactly this location. This is below in the 4 exemplified on the assumption that to those in the 3 with the numbers 40 to 48 designated time points with a disrupted data transmission was present (hatched area in 3 ), wherein in the embodiment shown, two periods with transmission of a line separator y fall in the disturbed time domain.
4 zeigt
schematisch-tabellarisch die nach Übertragung des gestörten Bildes
gemäß der 3 im
Bildspeicher 14 der erfindungsgemäßen Auswertevorrichtung 3 nach 1 abgelegten
Daten. Die linke Spalte der Tabelle in 4 gibt schematisch
den Speicherort/die Speicheradresse für jedes Pixel an, wobei zu
dem angegebenen Wert jeweils noch die aus der tabellarischen Anordnung
zu entnehmende jeweilige Spaltennummer zu addieren ist. Wenn man
nun die in der 3 angegebenen Ziffernwerte mit
den jeweiligen Bilddaten eines jeweiligen Pixels identifiziert,
ergibt sich die in der 4 shows schematically-tabular after the transmission of the distorted image according to the 3 in the image memory 14 the evaluation device according to the invention 3 to 1 stored data. The left column of the table in 4 schematically indicates the memory location / memory address for each pixel, wherein the respective column number to be taken from the tabular arrangement is still to be added to the given value. Now if you are in the 3 identified numerical values with the respective image data of a respective pixel, which results in the
4 dargestellte
Belegung des Bildspeichers 14, wobei anstelle der gestörten Pixel,
d. h. an den entsprechenden Speicherplätzen erfindungsgemäß Dummywerte
abgelegt wurden. Vorzugsweise handelt es sich bei diesen Dummywerten
jeweils um den Bildwert für
die Farbe Weiß. 4 illustrated occupancy of the image memory 14 , Dummy values were stored according to the invention instead of the disturbed pixels, ie at the corresponding memory locations. Preferably, these dummy values are each the image value for the color white.
Durch
das vorstehend beschriebene Verfahren wird vom Kamerainterface 9 auch
bei nachhaltig gestörten
Bildern ein kompletter Bilddatensatz in den Bildspeicher geschrieben,
wie vorstehend anhand der 4 erläutert. Dieser
besteht demnach aus den korrekt empfangenen Pixeln und den während gestörter Übertragungsphasen
eingetragenen Dummywerten/Dummypixeln. Entscheidend ist hierbei,
dass aufgrund des erfindungsgemäßen Einsatzes
des Zählers 23 (1)
insbesondere die vorhandenen ungestörten Pixel jeweils an der richtigen,
zu einer entsprechenden Zeile und Spalte des Bildes gehörenden Stelle
im Bildspeicher 14 stehen. Das Auswertemodul 15 (1)
kann also in jedem Fall auf einem kompletten Bilddatensatz operieren,
sodass grundsätzlich
auch während
stark gestörter Übertragungsphasen
eine Bildauswertung durch die Bildverarbeitungsvorrichtung 1a (1)
möglich
ist. Erfindungsgemäß wird im
Rahmen des vorliegenden Ausführungs beispiels
jedoch vorzugsweise durch in der Speichereinrichtung 16 abgelegte
Informationen ein Bildbereich des in dem Bildspeicher 14 enthaltenen Bildes
definiert, der für
eine korrekte Auswertung des (gestörten) Bildes relevant ist.The procedure described above is used by the camera interface 9 Even with sustainably disturbed pictures, a complete image data set written in the image memory, as described above with reference to 4 explained. This therefore consists of the correctly received pixels and the dummy values / dummy pixels entered during disturbed transmission phases. The decisive factor here is that due to the inventive use of the counter 23 ( 1 ) in particular the existing undisturbed pixels in each case at the correct, belonging to a corresponding row and column of the image position in the image memory 14 stand. The evaluation module 15 ( 1 ) can therefore operate in any case on a complete image data set, so that in principle even during strongly disturbed transmission phases an image analysis by the image processing device 1a ( 1 ) is possible. According to the invention, however, in the context of the present embodiment example, preferably by in the storage device 16 Information stored in an image area of the image memory 14 defined image, which is relevant for a correct evaluation of the (disturbed) image.
Auf
diese Weise kann das Auswertemodul 15 durch den Einsatz
der Vergleichseinrichtung 25 durch einen Vergleich der
in dem Bildspeicher 14 enthaltenen Bilddaten mit den in
der Speichereinrichtung 16 enthaltenen Informationen feststellen,
ob für eine
korrekte Auswertung des (gestörten)
Bildes relevante Bereiche mit betroffen sind oder nicht. Kommt das
Auswertemodul 15 zu dem Ergebnis, dass nur solche Bildbereiche
gestört
sind, d. h. Dummywerte aufweisen, welche für die korrekte Auswertung des Bildes
nicht relevant sind, so wird gemäß dem gezeigten
Ausführungsbeispiel über die
Verstärkereinheit 18 ein
entsprechend positives Ergebnis („ok") an die weiteren Komponenten des erfindungsgemäßen Bildverarbeitungssystems 1 ausgegeben.
Sind jedoch auch auswertungsrelevante Bildbereiche betroffen, so
wird entsprechend ein negatives Ergebnis („nok") über
die Verstärkereinheit 19 ausgegeben. Dabei
wird durch die konkrete Ausgestaltung des Auswertemoduls 15,
d. h. vorzugsweise durch entsprechende Software sichergestellt,
dass ein Bild, welches bei ungestörter Übertragung als „nok" ausgewertet würde, bei
gestörter Übertragung
nicht als „ok" durch die Bildverarbeitungsvorrichtung 3a ausgewertet
wird.In this way, the evaluation module 15 through the use of the comparator 25 by comparing the in the image memory 14 contained image data with the in the memory device 16 Information to determine whether relevant for the correct evaluation of the (disturbed) image relevant areas are affected or not. Comes the evaluation module 15 to the result that only those image areas are disturbed, ie have dummy values, which are not relevant for the correct evaluation of the image, then, according to the exemplary embodiment shown, via the amplifier unit 18 a correspondingly positive result ("ok") to the other components of the image processing system according to the invention 1 output. If, however, evaluation-relevant image areas are also affected, then a negative result ("nok") is output via the amplifier unit 19 output. This is due to the specific design of the evaluation module 15 , ie preferably ensured by appropriate software, that an image which would be evaluated in undisturbed transmission as "nok", in case of disturbed transmission not as "ok" by the image processing device 3a is evaluated.
Abweichend
von der oben gegebenen Beschreibung des bevorzugten Ausführungsbeispiels können auch
andere, für
die Auswertung der Bilddaten durch das Auswertemodul 15 benötigte Informationen
in der Speichereinrichtung 16 abgespeichert sein. Beispielsweise
kann dort eine Anzahl von Bildbereichen definiert sein, die für eine korrekte
Bildauswertung gerade nicht erforderlich sind. Insbesondere derartige
Informationen können über die
Eingabeeinrichtung 20 durch einen Benutzer an das System übermittelt
werden, beispielsweise unter Verwendung eines geeignet lesbaren
Datenträgers,
wie einer CD-ROM. In gleicher Weise lässt sich die Eingabeeinrichtung 20 auch dazu
verwenden, Programmcode-Sequenzen zur softwaretechnischen Einrichtung
bestimmter Systemkomponenten und zur Durchführung des erfindungsgemäßen Verfahrens zu
implementieren, wie insbesondere das Auswertemodul 15 mit
Vergleichseinrichtung 25 sowie der Steuerungseinheit 13 mitsamt
dem Zähler 23.Notwithstanding the above description of the preferred embodiment, other, for the evaluation of the image data by the evaluation module 15 required information in the storage device 16 be stored. For example, there may be defined a number of image areas which are not required for a correct image evaluation. In particular, such information can be transmitted via the input device 20 be transmitted by a user to the system, for example, using an appropriately readable medium, such as a CD-ROM. In the same way, the input device can be 20 also use to implement program code sequences for software engineering of certain system components and for carrying out the method according to the invention, in particular the evaluation module 15 with comparator 25 and the control unit 13 together with the counter 23 ,
Des
Weiteren ist es zusätzlich
oder alternativ zu der weiter oben beschriebenen Ausführungsform, bei
der das Auswertemodul 15 die gestörten Bildbereiche durch explizites
Inspizieren des Bildspeicher-Inhalts identifiziert, auch möglich, dass
die Steuerungseinheit 13 gleichzeitig mit dem Schreiben eines
Dummywerts in den Bildspeicher 14 eine entsprechende Information
an das Auswertemodul 15 sendet, wie in der 1 mit
Pfeil I dargestellt. Auf diese Weise erkennt das Auswertemodul 15 gestörte Bildbereiche
des in dem Bildspeicher 14 enthaltenen Bildes, ohne dessen
Inhalt selbst inspizieren zu müssen.Furthermore, it is additionally or alternatively to the embodiment described above, in which the evaluation module 15 the disturbed image areas identified by explicitly inspecting the image memory contents, also possible that the control unit 13 simultaneously with the writing of a dummy value into the image memory 14 a corresponding information to the evaluation module 15 sends, as in the 1 represented by arrow I. In this way, the evaluation module recognizes 15 Disturbed image areas of the image memory 14 picture without having to inspect its contents.
Auf
diese Weise ist es erfindungsgemäß möglich, unmittelbar
das oben erwähnte „nok"-Steuersignal auszugeben,
wenn das Auswertemodul 15 erkennt, dass eine bestimmte
Anzahl gestörter
Pixel gemäß Mitteilung
durch die Steuerungseinheit 13 (Pfeil I) in einen Bereich
fallen, der gemäß den in
der Speichereinrichtung 16 enthaltenen Informationen zur
Auswertung des Bildes unbedingt erforderlich ist. Erfindungsgemäß kann ein
derartig gestörtes
Bild grundsätzlich
dennoch vollständig
ausgewertet werden, wobei jedoch die weiteren Systemkomponenten,
wie die Bildverarbeitungsvorrichtung 1a, aufgrund des entsprechenden
Steuersignals („nok") über den
entsprechenden Störungszustand
des Bildes informiert sind.In this way, it is possible according to the invention to directly output the above-mentioned "nok" control signal when the evaluation module 15 Recognizes that a certain number of disturbed pixels have been notified by the control unit 13 (Arrow I) fall within a range specified in the memory device 16 information needed to evaluate the image is absolutely necessary. In accordance with the invention, such a disturbed image can nevertheless be evaluated completely in principle, although the other system components, such as the image processing device, are nevertheless completely evaluated 1a , are informed of the corresponding malfunction state of the picture due to the corresponding control signal ("nok").
Abschließend zeigt
die 5 ein Ablaufdiagramm einer Ausgestaltung des erfindungsgemäßen Verfahrens.
Das Verfahren startet in Schritt 500. Anschließend wird
in Schritt 502 zunächst
zumindest ein ungestörtes
Bild durch das erfindungsgemäße Bildverarbeitungssystem
empfangen, d. h. durch die Kameraeinheit aufgenommen und entsprechend
ungestört
an die Auswertevorrichtung übertragen.
Danach werden in Schritt 504 für das ungestörte empfangene
Bild die Abfolge, Anzahl und Dauer der einzelnen Übertragungsphasen
abgespeichert. In Schritt 506 wird dann der entsprechende Überwachungstimer
eingerichtet, insbesondere dessen aktueller Endwert eingestellt.Finally the shows 5 a flowchart of an embodiment of the method according to the invention. The procedure starts in step 500 , Subsequently, in step 502 initially at least one undisturbed image received by the image processing system according to the invention, ie received by the camera unit and transmitted accordingly undisturbed to the evaluation device. After that, in step 504 for the undisturbed received image, the sequence, number and duration of the individual transmission phases are stored. In step 506 then the corresponding monitoring timer is set up, in particular its current end value is set.
In
Schritt 508 wird anschließend mit dem Empfang von Bild-/Steuerdaten
eines neuen Bildes begonnen (Schritt 508a), wobei gleichzeitig
der Überwachungstimer
in Schritt 508b gestartet wird, der bei einer ungestörten Übertragung
seinen zuvor eingestellten Endwert gerade mit dem Abschluss der
letzten Übertragungsphase
bzw. dem Ende der einzigen Übertragungsphase
erreicht. Im folgenden Schritt 510 erfolgt eine Abfrage
dahingehend, ob ein jeweiliges Header-Datum der Übertragung korrekt empfangen
wurde und ob dem gegenwärtigen Übertragungsdatum über den
aktuellen Zählerstand
ein Pixel zugeordnet ist oder nicht.In step 508 Subsequently, the reception of image / control data of a new image is started (step 508a ), at the same time the monitoring timer in step 508b is started, which in an undisturbed transmission reaches its previously set final value just with the completion of the last transmission phase or the end of the single transmission phase. In the following step 510 a query is made as to whether a respective header date of the transmission has been received correctly and whether or not a pixel is assigned to the current transmission data via the current counter reading.
Eine
einfache Nachweismöglichkeit
für Header-Störungen ergibt
sich im Rahmen der vorliegenden Erfindung aufgrund der hohen Redundanz
der Steuerdaten, da ein 6-Bit-Wort zur Darstellung von vorliegend
lediglich vier unterschiedlichen Headern (vgl. 2)
verwendet wird, sodass störungsbedingte
Header-Veränderungen
mit hoher Wahrscheinlichkeit nachweisbar sind. Werden die beiden
Abfragen in Schritt 510 bejaht (j), so handelt es sich
um einen ungestörten
Bildpunkt/Pixel, der in einem anschließenden Schritt 512 an
seinem Speicherort im Bildspeicher abgelegt wird, wie weiter oben
detailliert beschrieben wurde. Wird dagegen in Schritt 510 nur
die Abfrage hinsichtlich des Vorliegens eines ungestörten Headers
verneint (n), so wird anstelle des ungestörten Bildpunkts in Schritt 514 ein
Dummywert eingetragen, wie ebenfalls weiter oben detailliert beschrieben
wurde.A simple detection capability for header faults results in the context of the present invention on account of the high redundancy of the control data, since a 6-bit word for the representation of presently only four different headers (cf. 2 ) is used, so that disturbance-related header changes are very likely to be detected. Will the two queries in step 510 affirms (j), it is an undisturbed pixel / pixel, in a subsequent step 512 is stored in its memory location in the image memory, as described in detail above. Will against it in step 510 only the query regarding the presence of an undisturbed header is denied, then instead of the undisturbed pixel in step 514 entered a dummy value, as also described in detail above.
Der
weitere Fall zweier verneinter Abfragen in Schritt 510 (gestörte Übertragung,
kein Bildpunkt) ist in der vorliegenden 5 nicht
explizit behandelt. An den vorstehend beschriebenen Schritt 514 kann sich
im Rahmen einer besonderen Ausgestaltung der vorliegenden Erfindung
ein weiterer Schritt 514' (gestrichelt
gezeichnet) anschließen,
in welchem die Steuerungseinheit 13 (1)
Informationen I (1) an das Auswertemodul 15 (1)
sendet, um diese bezüglich
des Vorhandenseins bzw. der Position eines gestörten Bildpunkts zu unterrichten,
wie ebenfalls weiter oben bereits ausführlich beschrieben wurde. Sowohl
im Falle einer bejahten Abfrage in Schritt 510 als auch
im Falle einer verneinten Abfrage in Schritt 510 erfolgt
anschließend
in Schritt 516 eine weitere Abfrage dahin gehend, ob noch
Daten (Bild-/Steuerdaten) zur Verarbeitung durch die Steuerungseinheit 13 (1)
anstehen.The next case of two negated queries in step 510 (disturbed transmission, no pixel) is in the present 5 not explicitly treated. To the step described above 514 may be a further step in the context of a particular embodiment of the present invention 514 ' Connect (dashed lines), in which the control unit 13 ( 1 ) Information I ( 1 ) to the evaluation module 15 ( 1 ) to notify them of the presence or location of a failed pixel, as previously described in detail above. Both in the case of an affirmative query in step 510 as well as in the case of a negative query in step 510 then takes place in step 516 another query as to whether there is still data (image / control data) for processing by the control unit 13 ( 1 ) queue.
Ist
dies der Fall (j), so wird im Schritt 518 das entsprechend
nächste
Daten-Wort aus dem FIFO-Datenregister ausgelesen (Pfeil READ in 1)
und das Verfahren kehrt nach Schritt 510 zurück. Anderenfalls
(n) ist der Bildspeicher voll und es erfolgt anschließend in
Schritt 520 der weiter oben bereits detailliert erläuterte Vergleich
des Bildspeicher-Inhalts bzw. der in Schritt 514' gesendeten
Informationen mit dem Inhalt der Speichereinrichtung 16 (1),
wobei festgestellt wird, ob die in dem Bildspeicher 14 (1)
enthaltenen Bilddaten auswertbar sind oder nicht. Wird dementsprechend
in Schritt 520 festgestellt, dass die Bilddaten – gegebenenfalls trotz
Störung – auswertbar
sind (j), so wird dies weiteren Systemkomponenten in Schritt 522 mitgeteilt („ok" in 1).If this is the case (j), then in step 518 the corresponding next data word is read from the FIFO data register (arrow READ in FIG 1 ) and the procedure returns to step 510 back. Otherwise, the image memory is full and then it is done in step 520 the comparison of the image memory content already explained in detail above or in step 514 ' sent information with the contents of the storage device 16 ( 1 ), where it is determined whether the in the image memory 14 ( 1 ) are evaluable or not. Accordingly, in step 520 found that the image data - if necessary despite disturbance - are evaluable (j), this will be further system components in step 522 communicated ("ok" in 1 ).
Anderenfalls
(n) werden die übrigen
Systemkomponenten, wie die Bildverarbeitungsvorrichtung, darüber in Kenntnis
gesetzt, dass zu starke Störungen
eine Auswertung des Bildes verhindern („nok" in 1) (Schritt 524).
An den Verfahrensschritt 522 schließt sich mit Schritt 526 noch
eine weitere Abfrage an, mit der festgestellt wird, ob es sich bei
der Bildübertragung
ab Schritt 508 um eine vollständig ungestörte Bildübertragung gehandelt hat oder
nicht. Ist dies der Fall (j), so kehrt das Verfahren nach Schritt 504 zurück und speichert
die entsprechenden Werte (Abfolge, Anzahl und Dauer der Übertragungsphasen)
vor dem Empfang des nächsten
Bildes, wie oben ausgeführt.
Handelt es sich jedoch um eine gestörte Bildübertragung (n), so kehrt das
Verfahren nach Schritt 508 zurück.Otherwise, the other system components, such as the image processing device, are informed that excessive interference prevents the image from being evaluated ("nok" in FIG 1 ) (Step 524 ). To the process step 522 closes with step 526 yet another query, which determines whether it is the image transfer from step 508 was a completely undisturbed image transfer or not. If this is the case (j), the method returns to step 504 and stores the corresponding values (sequence, number and duration of transmission phases) before receiving the next image, as explained above. However, if it is a faulty image transfer (s), the method returns to step 508 back.
Das
erfindungsgemäße Verfahren,
die erfindungsgemäße Vorrichtung
sowie das erfindungsgemäße System
kommen vorzugsweise bei solchen Bildverarbeitungsaufgaben zum Einsatz,
bei welchen kein vollständiges
Bild für
eine korrekte Bildauswertung benötigt
wird. Ein Beispiel hierfür
ist die Teileerkennung, bei der zu erkennende Teile kleiner als
das insgesamt zur Verfügung
stehende Bildfenster des Speicherchips sind. Die Auswertesoftware
(zur Realisierung des Auswertemoduls 15; 1)
bestimmt beim Einlernen des Gegenstands den Bildbereich, der für die Auswertung
im späteren
Betrieb benutzt wird („Region
of Interest") und
der entsprechend in der Speichereinrichtung 16 (1)
hinterlegt ist. Ein weiteres derartiges Beispiel sind Datamatrix-Codeleser-Anwendungen,
bei denen oftmals redundante Codes verwendet werden, sodass zur
Auswertung die Erfassung eines Teils des gesamten Codes genügt.The method according to the invention, the device according to the invention and the system according to the invention are preferably used in image processing tasks in which a complete image is not required for correct image evaluation. An example of this is the part recognition, in which parts to be recognized are smaller than the total available image window of the memory chip. The evaluation software (for the realization of the evaluation module 15 ; 1 ) determines when teaching the article the image area that is used for the evaluation in later operation ("Region of Interest") and the corresponding in the memory device 16 ( 1 ) is deposited. Another such example is data matrix code reader applications that often use redundant codes, so that the detection of a portion of the entire code is sufficient for evaluation.