DE19843602A1 - Verfahren und Vorrichtung zum Erfassen der Bewegungen von Prozeßeinheiten während eines Produktionsprozesses in einem vorgegebenen Auswertebereich - Google Patents
Verfahren und Vorrichtung zum Erfassen der Bewegungen von Prozeßeinheiten während eines Produktionsprozesses in einem vorgegebenen AuswertebereichInfo
- Publication number
- DE19843602A1 DE19843602A1 DE19843602A DE19843602A DE19843602A1 DE 19843602 A1 DE19843602 A1 DE 19843602A1 DE 19843602 A DE19843602 A DE 19843602A DE 19843602 A DE19843602 A DE 19843602A DE 19843602 A1 DE19843602 A1 DE 19843602A1
- Authority
- DE
- Germany
- Prior art keywords
- evaluation
- unit
- cameras
- units
- evaluation unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 35
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 17
- 238000012545 processing Methods 0.000 title abstract description 9
- 238000001514 detection method Methods 0.000 title abstract description 8
- 238000000034 method Methods 0.000 claims abstract description 88
- 238000011156 evaluation Methods 0.000 claims abstract description 64
- 239000013598 vector Substances 0.000 claims abstract description 9
- 238000013519 translation Methods 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims description 67
- 238000003491 array Methods 0.000 claims description 7
- 238000012546 transfer Methods 0.000 claims description 4
- 239000000463 material Substances 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 235000019800 disodium phosphate Nutrition 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 235000012431 wafers Nutrition 0.000 description 4
- 230000000739 chaotic effect Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- HUKYFZGHTOOWQG-POWYNZRASA-N 3-[1-[(2s,3s)-1-[4-[4-[4-[(2s,3s)-2-[4-[3-(diaminomethylideneamino)propyl]triazol-1-yl]-3-methylpentanoyl]piperazin-1-yl]-6-[2-[2-(2-prop-2-ynoxyethoxy)ethoxy]ethylamino]-1,3,5-triazin-2-yl]piperazin-1-yl]-3-methyl-1-oxopentan-2-yl]triazol-4-yl]propanoic Chemical compound [Cl-].N1([C@@H]([C@@H](C)CC)C(=O)N2CCN(CC2)C=2N=C(NCCOCCOCCOCC#C)N=C(N=2)N2CCN(CC2)C(=O)[C@H]([C@@H](C)CC)N2N=NC(CCCN=C(N)[NH3+])=C2)C=C(CCC(O)=O)N=N1 HUKYFZGHTOOWQG-POWYNZRASA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005755 formation reaction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 239000006163 transport media Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/31—From computer integrated manufacturing till monitoring
- G05B2219/31286—Detect position of articles and equipment by receivers, identify objects by code
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/31—From computer integrated manufacturing till monitoring
- G05B2219/31288—Archive collected data into history file
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/31—From computer integrated manufacturing till monitoring
- G05B2219/31304—Identification of workpiece and data for control, inspection, safety, calibration
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/37—Measurements
- G05B2219/37208—Vision, visual inspection of workpiece
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/37—Measurements
- G05B2219/37216—Inpect component placement
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Description
Die Erfindung betrifft ein Verfahren und eine Vorrichtung
zum Erfassen der Bewegungen von Prozeßeinheiten während
eines Produktionsprozesses in einem vorgegebenen Auswer
tebereich.
Für die Steuerung von Materialflüssen und Produktionspro
zessen in einer Fertigung sowie für eine automatische Er
fassung von Qualitäts- und Produktdaten wird es immer
wichtiger, daß einzeln transportierte Einheiten (Chargen,
Horden, usw.) eine Kennung tragen, anhand der sie im Pro
duktionsprozeß eindeutig identifiziert werden können.
Dies ist dann um so wichtiger, wenn die zu fertigenden
Produkte rein äußerlich nicht zu unterscheiden sind. Ein
Beispiel dafür sind Wafer mit unterschiedlichen Prozeß
historien in der Wafer- oder Chipproduktion.
Zunächst wird zur Vereinheitlichung der Formulierungen
folgende Begriffsdefinition vereinbart:
Alle Arten von Produkt-, Material-, Transport- und/oder
Equipmenteinzelteilen, -kombinationen oder -zusammenfas
sungen werden als Prozeßeinheiten bezeichnet. Weiterhin
werden im folgenden alle Arten von Produkt-, Material- und/oder
Equipmentbewegungen und/oder -flüssen als Pro
zeßeinheitenbewegung bezeichnet.
Die Beschreibung der Erfindung erfolgt der Anschaulich
keit halber ausschließlich anhand der Chipproduktion.
Diese steht stellvertretend für alle Arten von Produkti
onsprozessen in der Wafer-, Halbleiter-, Elektronik-,
Micromechanik- und/oder Feinwerktechnikproduktion.
Gerade weil es für die Chipproduktion so wichtig ist,
eine eindeutige Verfolgung und Protokollierung von Mate
rialflüssen zu erreichen, haben sich als derzeitiger
Stand der Technik in der Halbleiterindustrie verschiedene
automatisch oder maschinell auswertbare bzw. lesbare
Kennzeichnungssysteme für die inner- und außerbetrieb
lichen Prozeßeinheiten etabliert.
Die einfachste bekannte Technik ist die Verwendung eines
Barcodes, der mit Hilfe von Laserscannern oder Barcode
stiften gelesen werden kann.
Eine weitaus fortschrittlichere Kennzeichnungstechnologie
stellen die sogenannten Infrarot-Tags (IR-ID) dar. Dabei
handelt es sich um Kennzeichnungselemente, die bereits in
Form eines integrierten Chips vorliegen. Aktiviert wird
der Chip durch eine Lichteinstrahlung über einen Photo
voltaikprozeß. Datenaustausch erfolgt durch eine Infra
rotübertragung.
Ebenfalls in die Richtung einer intelligenten (Chip)
Kennzeichnung gehen die seit neuerer Zeit bekannt gewor
denen sogenannten Transponder. Diese enthalten ähnlich
wie die IR-IDs einen Chip, jedoch mit dem Unterschied,
daß die Energieversorgung und Datenübertragung mit Hilfe
von Rundfunkwellen geschieht. Eine eigene Energiequelle
ist in diesen RF-IDs (RF = Radio Frequency) ebenfalls
nicht erforderlich.
Besonders fehleranfällig ist eine rein logische Material
verfolgung.
Nachteile des Standes der Technik bestehen vor allem
darin, daß die Transponder (RF-IDs), die Infrarot-Kenn
zeichnungen (IR-IDs) und auch alle anderen bekannten Ver
folgungssysteme durch die relativ kurzen Reichweiten und
die eingeschränkte Selektivität (z. B. mehrere Prozeßein
heiten mit Transponder auf einem Tisch) nicht in der Lage
sind, die komplette Produkt-, Material- oder Equipmentbe
wegung lückenlos zu erfassen, denn alle Vorgänge zwischen
den Lese- oder Identifikationsstellen sind grundsätzlich
unsichtbar. Gerade diese Erfassungslücken sind es aber,
die bei den bekannten Systemen zu Problemen führen kön
nen.
Aufgabe der Erfindung ist es deshalb, ein Verfahren zum
Erfassen der Bewegungen von Prozeßeinheiten während eines
Produktionsprozesses in einem vorgegebenen Auswertebe
reich anzugeben, bei welchem die vorstehend beschriebenen
Nachteile beseitigt sind.
Diese Aufgabe wird durch ein Verfahren mit den im An
spruch 1 angegebenen Merkmalen und durch eine Vorrichtung
mit den im Anspruch 15 angegebenen Merkmalen gelöst. Vor
teilhafte Weiterbildungen ergeben sich aus den abhängigen
Patentansprüchen.
Die Vorteile der Erfindung bestehen insbesondere darin,
daß auch die sogenannten blinden Flecken oder chaotischen
Zwischenschritte oder Pufferlager zwischen den einzelnen
Prozeßschritten oder Prozeßabschnitten erfaßt werden kön
nen. Als blinde Flecke bzw. chaotische Zwischenschritte
oder Pufferlager sind insbesondere diejenigen Prozeß
schritte oder Prozeßeinheitenbewegungen gemeint, die
durch die bereits bekannten Erfassungsmöglichkeiten
(Transponder, Barcode, Infrarot-Kennzeichnung) nicht oder
nur unzureichend erfaßt oder verfolgt werden können.
Die Erfindung ist sowohl dann verwendbar, wenn die Pro
zeßeinheitenbewegung durch Verwendung einer technischen
Vorrichtung wie Förderband, Conveyor, Roboter, usw., er
folgt und auch dann, wenn diese Prozeßeinheitenbewegung
durch das Operatorpersonal manuell vorgenommen wird.
Ein Zusammenwirken mit den bereits bekannten Systemen er
höht die Gesamtsicherheit der durchgeführten Bewegungser
fassung.
In vorteilhafter Weise wird gemäß der Erfindung die Pro
zeßeinheitenbewegung durch ein optisches Erfassungssystem
als zwei- oder dreidimensionale Raumspur erfaßt und abge
speichert bzw. protokolliert. Dies entspricht einer opti
schen Erfassung durch eine zwei- oder dreidimensionale
Bewegungsanalyse. Dadurch wird es zu jedem Zeitpunkt mög
lich, im vorgegebenen Auswertebereich nicht nur die An
zahl der Prozeßeinheiten, sondern auch deren genauen Auf
enthaltsort zu bestimmen.
Weitere vorteilhafte Eigenschaften der Erfindung ergeben
sich aus der Erläuterung von Ausführungsbeispielen anhand
der Figuren.
Es zeigt:
Fig. 1 eine schematische Darstellung eines ersten Aus
führungsbeispiels für die Erfindung,
Fig. 2 eine schematische Darstellung eines zweiten
Ausführungsbeispiels für die Erfindung,
Fig. 3 ein Blockschaltbild der Auswerteeinheit 3 von
Fig. 1,
Fig. 4 eine Skizze zur Veranschaulichung der Anordnung
der Kameras in einem Reinraum,
Fig. 5 eine Skizze des Reinraumes mit darin befind
lichen Prozeßeinheiten,
Fig. 6 eine zweite Skizze zur Veranschaulichung eines
Reinraumes mit darin befindlichen Prozeßein
heiten,
Fig. 7 eine Skizze zur Veranschaulichung der Ermitt
lung einer dreidimensionalen Raumspur, und
Fig. 8 eine Skizze zur Veranschaulichung eines weite
ren Ausführungsbeispiels für die Erfindung.
Wie aus den Fig. 1 und 2 hervorgeht, weist die bean
spruchte Vorrichtung Bildaufnahmeeinheiten 1 bzw. 5 auf,
die in geeigneter Weise angeordnet und mit einer Auswer
teeinheit 3 bzw. 7 verbunden sind. Im weiteren wird ein
Verbund aus einer oder mehreren Bildaufnahmeeinheiten als
Kamera-Array bezeichnet.
Die verwendeten Kameras können dabei die Bilddaten sowohl
in analoger Form (BAS-Signal, Standard-Videosignal) als
auch in bereits digitalisierter, d. h. binärer Form lie
fern.
Analoge Schwarz/Weiß-Videokameras mit Standard-Videosi
gnal (Fernsehtechnik) sind auf dem Markt mittlerweile
sehr kostengünstig und mit extrem kleiner Baugröße (32 mm
× 32 mm × 14 mm) erhältlich, was dem Aufbau eines großen
Kamera-Arrays sehr entgegenkommt. Die einzelnen Videosi
gnale 2 werden, wie in Fig. 1 dargestellt, einzeln auf
die Auswerteeinheit 3 geführt und darin in eine digitale
Form gebracht.
Eine Busvariante, wie sie in Fig. 2 dargestellt ist, ist
mit analogen Kameras prinzipiell zwar möglich, erfordert
dafür aber, daß die Kameras einen Schalter für das Video
signal integriert haben und sich an ein Busprotokoll (Zu
griffssteuerung) halten.
Die digitale Kameratechnik dagegen, die derzeit eine sehr
rasche Weiterentwicklung durchmacht, eröffnet die Mög
lichkeit, die Bilddaten ohne zusätzlichen Signalwand
lungsaufwand mit einem Rechner oder einer sonstigen digi
talen Bildverarbeitungseinheit zu verarbeiten.
Mit einer Bus- oder Vernetzungstechnologie 6 (Fig. 2)
zwischen den Kameras 5 und der Auswerteeinheit 7 zu ar
beiten, ist deshalb einfach, weil die Bilddaten schon in
digitaler Form vorliegen und somit einfach digital über
tragen werden können. Die Bus- oder Vernetzungstechnolo
gie sowie die unterschiedlichen Protokollvarianten sind
im Bereich der Automation und Computernetzwerke hinrei
chend bekannt, so daß an dieser Stelle auf eine erschöp
fende Darstellung verzichtet werden kann.
Stellvertretend für alle anderen möglichen Lösungsan
sätze, wie die Bilddaten aus einer oder mehreren Kameras
in eine Bildauswerteeinheit gelangen, wird der Aufbau an
hand einer analogen Lösung näher erläutert.
Die Fig. 3 zeigt hierzu den schematischen Aufbau für ei
nen Auswerteeinheit 3 mit acht Analogeingängen 2, über
die kontinuierlich die vom Kamera-Array aufgenommenen
Teilbilder des zu überwachenden Auswertebereiches (siehe
auch Fig. 4) eingehen. In diesem Beispiel wird durch ei
nen Multiplexer 8 jeweils nur ein Kamerasignal selektiert
und auf die Digitalisierungseinheit, den sogenannten
Framegrapper 9, gegeben. Danach liegen die Bilddaten in
binärer Form vor und können digital in der Bildauswerte
einheit 10 weiterverarbeitet und insbesondere ausgewertet
werden.
Bei 50 Halbbildern pro Sekunde ergeben sich durch das
Multiplexen von acht Kameras ca. fünf Halbbilder pro Se
kunde. Bei einer durchschnittlichen Schrittgeschwindig
keit von 1,6 m/s ergibt sich zwischen zwei Halbbildern
einer Kamera eine Wegdifferenz von ca. 30 cm. Für jeweils
einen Transportvorgang z. B. durch nur eine Person (Ope
rator 18) ist dies für eine Auswertung ausreichend.
Sollen mehrere Personen arbeiten (hohes Transportaufkom
men) oder simultan komplexere Prozeßeinheitenbewegungen
analysiert und erfaßt werden, so ist eine höhere Bildrate
erforderlich. Dies erreicht man einfach durch weniger Ka
meras pro Auswerteeinheit oder durch den Einsatz von di
gitalen Kameras.
Eine Translationsbewegung einer Prozeßeinheit, etwa durch
das Weitertragen durch den Operator, läßt sich am ein
fachsten durch einen Mustervergleich erkennen. Dieser ist
besonders einfach, wenn die Prozeßeinheit immer aus der
gleichen Perspektive (z. B. aufrecht stehend), wie es in
den Fig. 5, 6 und 7, Element 27, gesehen wird.
Gerade in der Halbleiterproduktion kommt es jedoch häufig
vor, daß die Prozeßeinheiten im Prozeßequipment auf die
Seite gekippt eingelegt werden, so daß beispielsweise die
Wafer einfach durch einen Roboterarm entnommen werden
können. Durch das Kippen wird zwar der Aufwand für die
Identifizierung der Prozeßeinheit im Bild aufwendiger,
bleibt aber trotzdem ohne weiteres lösbar. Setzt man bei
der Auswertung zusätzlich physikalisches Wissen wie bei
spielsweise die Kenntnis der inversen Kinematik, Plausi
bilitätsüberlegungen oder anatomische Vorgaben wie In
formationen über die Abmessungen und Bewegungseinschrän
kungen des menschlichen Körpers, ein, so lassen sich auch
schwierige Bildsituationen oder unklare Bilddaten, wie z. B.
eine Abdeckung der Prozeßeinheit durch den Körper des
Operators, beherrschen.
Auch können einzelne Prozeßeinheiten, die im System noch
nicht bekannt sind, d. h. deren Anfangsraumspur oder Her
kunft nicht vom System erfaßt wurde, aufgefunden und
durch entsprechende Maßnahmen, wie z. B. eine Meldung an
den Operator und/oder eine Identifizierung mittels einer
konventionellen Lesestelle, erfaßt werden.
Der einfachste Ansatz einer Bildauswerteeinheit 10 mit
hoher Rechenleistung besteht in der Verwendung eines Di
gitalen-Signal-Prozessors DSP. Derartige DSPs ermöglichen
es erst durch die ständig wachsende Leistung den enormen
Rechenaufwand für die Bildauswertungen zu beherrschen.
Allerdings stoßen auch derartige DSPs bei den oben ge
nannten Zusatzüberlegungen (physikalisches Wissen und
Plausibilitätsprüfungen) an ihre Grenzen.
Ein neuer und noch leistungsfähigerer Ansatz besteht in
der Verwendung eines FPGAs (Field Programable Field
Array) als Bildauswerteeinheit 10. Durch eine geeignete
Programmierung ist man damit nicht nur in der Lage, auch
komplexe Auswertealgorithmen hochgradig parallel abzuar
beiten, sondern auch noch die gesamte Ansteuerlogik für
den Multiplexer, den Framegrapper oder für die Ansteue
rung von digitalen Kameras mit zu integrieren. Noch lei
stungsfähiger, insbesondere für 3D-Auswertungen, ist eine
Kombination aus FPGA und DSP. Die höchste Leistung wird
natürlich erzielt, wenn im Extremfall jede Kamera eine
eigene Auswerteeinheit besitzt, wobei diese Auswerteein
heiten über ein Netzwerk 4 logisch miteinander verbunden
sind.
Durch die Bildauswerteeinheit 10 wird zunächst die Posi
tion einer Prozeßeinheit, d. h. die Koordinaten in der
zweidimensionalen Bildmatrix, extrahiert. Drehungen der
Prozeßeinheit um die Hochachse können durch die Lage des
Mustervergleiches hier zusätzlich gewonnen und für wei
tere Auswertungen herangezogen werden.
Durch Vergleich mit dem Vorgängerbild erhält man die
durch Bewegung bedingte Verschiebung, d. h. die Transla
tionsvektoren. Beschränkt man sich auf eine zweidimensio
nale Auswertung, so setzt sich die Raumspur, wie in den
Fig. 5, Element 19 und 6, Element 21 veranschaulicht,
einfach durch ein Aneinanderreihen der Translationsvekto
ren zusammen.
Die Bildauswerteeinheit 10 muß dabei natürlich die Per
spektiven der einzelnen Kameras im Kamera-Array berück
sichtigen und die einzelnen Bilder entsprechend zusammen
setzen. Weiterhin muß das Überschreiten einer Bildgrenze
mit dem Eintreten in das angrenzende Bild rechnerisch be
rücksichtigt werden. Da die Kameras ein kegelförmiger
Blickfeld (siehe Fig. 7, Bezugszahl 29) besitzen, wird
es ab einer gewissen Höhe 28 immer zu einem Überlappen
der Bildfelder kommen, welches die Bildauswerteeinheit 10
ebenfalls zu berücksichtigen hat.
Die errechneten Koordinaten der im Bereich einer Auswer
teeinheit 3, 7 befindlichen Prozeßeinheiten werden von
dieser mit Hilfe einer Netzwerkanbindung 11 zur weiteren
Verwendung auf einem Netzwerk 4 bereitgestellt. Diese
weitere Verwendung kann beispielsweise ein Steuervorgang
oder eine Qualitätsdatenerfassung sein. Das Netzwerk 4
kann insbesondere auch dazu dienen, mehrere Kamera-Arrays
1, 5 mit ihren zugehörigen Auswerteeinheiten 3, 7 mitein
ander logisch zu verknüpfen und so aus einzelnen Arrays
quasi ein Makro-Array oder Super-Array zu bilden. Logi
sche Abgleichinformationen, beispielsweise das Über
schreiten einer Prozeßeinheit über eine Kamera-Array-Grenze
in angrenzendes Array, fließen dabei zwischen den
beteiligten Auswerteeinheiten.
Weiterhin kann auch eine zentrale Steuereinheit die Ein
zel-Arrays koordinieren, steuern und die Bewegungsdaten
verwalten. Dies entspricht einer Steuerung des Makro-
Arrays oder Super-Arrays durch eine zentrale Steuerein
heit bzw. übergeordnete Intelligenz.
Im folgenden wird die Arbeitsweise der gezeigten Vorrich
tung anhand der Fig. 4, 5 und 6 näher erläutert.
Vorzugsweise sind die Kameras des Kamera-Arrays 1, 5 an
der Decke einer Produktionsstätte montiert und nehmen von
oben die Szenerie auf. In der Fig. 4 sind insgesamt
sechs Kameras 1/5 in einem Raster über dem zu überwachen
den Auswertebereich angeordnet. Das gezeigte Szenario um
faßt weiterhin eine Schleuse 13, durch die Prozeßeinhei
ten in den Reinraumbereich, der in der Produktionsstätte
vorliegt, eingeschleust werden.
Die bereits bekannten Erfassungsmöglichkeiten wie bei
spielsweise Transponder 12, 16, Barcode, Infrarot-Kenn
zeichnung oder eine sonstige Kennzeichnung der Produk
tionseinheiten oder auch die virtuelle, ausschließlich
auf der Basis von Informationsverarbeitung (Datenbanken
usw.) basierende Datenmitführung übergibt an das optische
System gemäß der Erfindung die zur Prozeßeinheit gehören
den Daten. Dies geschieht entweder an der Schleuse 13
oder an sonstigen definierten Identifizierungspunkten 15.
Dies ermöglicht eine eindeutige Identifizierung am Start
punkt einer Raumspur, so daß dadurch Prozeßkennzeichnun
gen oder -daten eindeutig einer auf einer Raumspur beweg
ten Prozeßeinheit zugeordnet werden können.
Ist diese Zuordnung erfolgt, dann kann der Operator 18
die Prozeßeinheit aus der Schleuse entnehmen und bei
spielsweise auf einem Tisch 14 abstellen. Dies ist das
einfachste Beispiel eines chaotischen Zwischenlagers. Re
gale oder kompliziertere Einrichtungen sind mit einer
dreidimensionalen Auswertung erfaßbar. Die Prozeßeinheit
wird dabei auf einer Raumspur 19 bewegt, die in der Fig.
5 dargestellt ist. Das System hat nun vier Prozeßeinhei
ten im Erfassungsbereich, deren zugehörige Daten mit vom
System verwaltet werden können.
Gemäß der Fig. 6 nimmt nun der Operator 18 eine andere
Prozeßeinheit 17 wieder vom Tisch 14 auf und bewegt diese
auf der Raumspur 21 zur Eingabestation 15 einer Prozeßan
lage. Beim Punkt 22 erfolgt dabei die logische Weiterfüh
rung der Raumspur, mit der die Prozeßeinheit auf den
Tisch 14 befördert wurde.
Am definierten Ende der Raumspur 21 erfolgt die Zurückzu
ordnung bzw. eine Überprüfung der zugeordneten Daten und
ggf. eine Datenübergabe an eine nachfolgende oder überge
ordnete Prozeßumgebung. Ist die Transponderkennzeichnung
16 am Beginn und am Ende einer Raumspur verschieden, ohne
daß ein Wechsel der Transportmedien (Transponder) vorge
sehen ist, so ist offensichtlich eine Fehlersituation
aufgetreten.
Da das System ständig abspeichert bzw. oneline mitproto
kolliert, wo sich eine Prozeßeinheit gerade befindet, ist
es auch möglich, logische Einschränkungen der Bewegung
festzulegen. Dies geschieht durch eine Definition von Be
wegungskorridoren, wobei diese Bewegungskorridore durch
in einem Speicher der Bildauswerteeinheit 10 abgespei
cherte Daten charakterisiert werden. Wird eine Prozeßein
heit über eine derartige virtuelle Grenze hinausbewegt,
so wird vom System ein Alarmsignal ausgegeben. Dadurch
wird ausgeschlossen, daß eine Prozeßeinheit versehentlich
aus dem Prozeßbereich entfernt und irgendwo abgestellt
und/oder vergessen wird.
Die Erfassung einer dreidimensionalen Raumkurve ist
schwieriger als die Erfassung einer zweidimensionalen
Raumkurve. Die dritte Raumkoordinate muß aus der Überlap
pung zweier Kamerabilder extrahiert werden, wie in Fig.
7 veranschaulicht ist. Jede Auswertung eines Kamerakana
les liefert einen zweidimensionalen Koordinatensatz mit
der Position der Prozeßeinheit im Bild. Was aus den Ein
zelbildern nicht einfach extrahiert werden kann, ist der
Abstand des Objektes 26 von der Kamera, d. h. die Höhen
position des Objektes 26 im Raum. Liegt nur ein zweidi
mensionales Bild vor, dann kann die Höhenposition des Ob
jektes nur durch die erfaßte Objektgröße ermittelt wer
den, was aber sehr aufwendig ist.
Einfacher kann die Höhenposition des Objektes im Raum er
mittelt werden, wenn man unter Berücksichtigung der An
ordnung zweier Kameras 23 und 24 unter Auswertung von de
ren Bilder oder den bereits extrahierten 2D-Koordinaten
(Vorverarbeitung) geometrische Auswertungen durchführt.
So lassen sich beispielsweise die Sichtwinkel α und β der
beiden Kameras 23 und 24 berechnen und aus einer einfa
chen Triangulation die Höhe (dritte Raumkoordinate) er
mitteln.
Voraussetzung dafür ist, daß das Objekt 26 bei jeder Po
sition im zu überwachenden Bereich von mindestens zwei
Kameras erfaßt wird. Hierfür kann es vorteilhaft sein,
mindestens eine Kamera auch gekippt und/oder gedreht zu
installieren, wie dies anhand der Kamera 25 in der Fig.
7 gezeigt ist. Dadurch wird zwar der geometrische Aufwand
für die Auswertung aufwendiger, aber es lassen sich die
Blickfelder der Kameras besser und effektiver ausnutzen.
Voraussetzung ist aber, daß die durchzuführenden Muster
vergleiche alle Perspektiven einer Prozeßeinheit analy
sieren und auswerten können.
Arbeitet man mit einem optischen System, so ist es damit
unter anderem auch möglich, definierte optische Kenn
zeichnungen zu erfassen und zu lesen. Sind die Prozeßein
heiten 30, wie es in der Fig. 8 gezeigt ist, zusätzlich
mit einem Barcode 32, einem 2D-Code (Bitmap) oder einer
OCR-Schrift 31 versehen, so kann deren Erfassung, Auswer
tung oder Lesung ebenfalls im Rahmen der erfindungsgemä
ßen Bewegungserfassung erfolgen.
Dies hat den Vorteil, daß bei Prozeßautomaten oder Pro
zeßanlagen (Equipment) die Anwesenheit und die Kennzeich
nung einer Prozeßeinheit 34 beispielsweise an einer Auf
nahmestelle in diesem Equipment erfaßt und - falls eine
Vernetzung besteht - auch an das Equipment weitergeleitet
werden kann. Dies ist besonders dann vorteilhaft, wenn in
der Umgebung der Aufnahmestelle 35 Schwierigkeiten beste
hen, Antennen oder sonstige Anbauten für eine Identifi
zierung anzubringen, die den Bewegungsfreiraum um die
Aufnahmestelle 35 einschränken. Eine Kamera über dem
Equipment stört hingegen nicht. Am einfachsten ist - wie
bereits oben ausgeführt - die Installation der Kameras an
der Decke des jeweiligen Raumes.
Selbstverständlich ist es auch möglich, eine Kamera ein
zig für den Zweck der Anwesenheits- und der Kennzeich
nungserfassung einzusetzen, ohne damit gleichzeitig Raum
spuren zu analysieren.
Claims (27)
1. Verfahren zum Erfassen der Bewegungen von Prozeßein
heiten während eines Produktionsprozesses in einem vorge
gebenen Auswertebereich, dadurch gekennzeich
net, daß mittels mindestens zweier ortsfest im Auswer
tebereich angeordneten, ein Kamera-Array bildenden Kame
ras und einer Auswerteeinheit kontinuierlich Ortkoordina
ten jeder Prozeßeinheit erfaßt werden, daß zu jeder Orts
koordinate ein die Bewegung der jeweiligen Prozeßeinheit
beschreibender Translationsvektor ermittelt wird, und daß
für jede Prozeßeinheit durch ein Aneinanderreihen der er
mittelten Translationsvektoren einer Raumspur entspre
chende Daten ermittelt werden.
2. Verfahren nach Anspruch 1, dadurch gekenn
zeichnet, daß die der Raumspur entsprechenden Daten
abgespeichert werden.
3. Verfahren nach Anspruch 1 oder 2, dadurch ge
kennzeichnet, daß einer zweidimensionalen Raumspur
entsprechende Daten ermittelt werden.
4. Verfahren nach Anspruch 1 oder 2, dadurch ge
kennzeichnet, daß einer dreidimensionalen Raumspur
entsprechende Daten ermittelt werden.
5. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, daß in der Auswerteein
heit die von den Kameras zur Verfügung gestellten Daten
einem Mustervergleich zugeführt werden.
6. Verfahren nach Anspruch 5, dadurch gekenn
zeichnet, daß die Kameras die Prozeßeinheiten stets
aus derselben Perspektive erfassen.
7. Verfahren nach Anspruch 5, dadurch gekenn
zeichnet, daß die Kameras die Prozeßeinheiten aus
verschiedenen Perspektiven erfassen.
8. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, daß die Ausgangssignale
jeder Kamera einer eigenen Auswerteeinheit zugeführt wer
den.
9. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, daß die Ausgangssignale
der Auswerteeinheit einer weiteren Auswerteeinheit zuge
führt werden, wobei die weitere Auswerteeinheit zum Er
fassen von Bewegungen der Prozeßeinheiten in einem weite
ren Auswertebereich mit den Kameras eines weiteren Ka
mera-Arrays verbunden ist.
10. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, daß beim Erfassen einer
bisher nicht registrierten Prozeßeinheit ein Meldesignal
erzeugt wird.
11. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, daß die von mehreren
Auswerteeinheiten zur Verfügung gestellten Ausgangs
signale einer zentralen Steuereinheit zugeführt werden.
12. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, daß an einem Eingangs-
und/oder Ausgangspunkt des vorgegebenen Auswertebereiches
Übergabedaten zur Identifizierung einer Prozeßeinheit zur
Verfügung gestellt werden.
13. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, daß Bewegungskorridoren
entsprechende Daten vorgegeben werden und ein Alarmsignal
erzeugt wird, wenn eine Prozeßeinheit den vorgegebenen
Bewegungskorridor verläßt.
14. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, daß mittels der Kameras
und der Auswerteeinheit weiterhin auch auf die Prozeßein
heiten aufgebrachte Prozeßeinheitenkennungen erfaßt wer
den.
15. Vorrichtung zum Erfassen der Bewegungen von Pro
zeßeinheiten während eines Produktionsprozesses in einem
vorgegebenen Auswertebereich, mit
- - mindestens zwei ortsfest im Auswertebereich angeordne ten, ein Kamera-Array bildenden Kameras, und
- - einer eingangsseitig mit den Kameras verbundenen Aus werteeinheit, die kontinuierlich Ortskoordinaten jeder Prozeßeinheit erfaßt, zu jeder Ortskoordinate einen die Bewegung der jeweiligen Prozeßeinheit beschreibenden Translationsvektor ermittelt und für jede Prozeßeinheit durch ein Aneinanderreihen der ermittelten Translati onsvektoren einer Raumspur entsprechende Daten ermit telt.
16. Vorrichtung nach Anspruch 15, dadurch gekenn
zeichnet, daß der vorgegebene Auswertebereich ein
Reinraumbereich ist und die Kameras an der Decke des
Reinraumbereiches angeordnet sind.
17. Vorrichtung nach Anspruch 15 oder 16, dadurch
gekennzeichnet, daß die Kameras Analogkameras sind.
18. Vorrichtung nach Anspruch 15 oder 16, dadurch
gekennzeichnet, daß die Kameras Digitalkameras
sind.
19. Vorrichtung nach einem der vorhergehenden Ansprüche
15 bis 18, dadurch gekennzeichnet, daß die Ka
meras mit der Auswerteeinheit über einen Datenbus verbun
den sind.
20. Vorrichtung nach einem der vorhergehenden Ansprüche
15 bis 19, dadurch gekennzeichnet, daß die Aus
werteeinheit eine Reihenschaltung aufweist, die aus einem
Multiplexer (8), einer Digitalisierungseinheit (9) und
einer Bildauswerteeinheit (10) besteht.
21. Vorrichtung nach Anspruch 20, dadurch gekenn
zeichnet, daß die Bildauswerteeinheit (10) ein digi
taler Signalprozessor (DSP) oder ein FPGA (Field Progra
mable Field Array) ist oder sowohl einen digitalen Si
gnalprozessor als auch FPGA aufweist.
22. Vorrichtung nach einem der vorhergehenden Ansprüche
15 bis 21, dadurch gekennzeichnet, daß jeder
Kamera eine eigene Auswerteeinheit zugeordnet ist und die
Auswerteeinheiten ausgangsseitig miteinander verbunden
sind.
23. Vorrichtung nach einem der vorhergehenden Ansprüche
15 bis 22, dadurch gekennzeichnet, daß sie meh
rere Kamera-Arrays und mehrere Auswerteeinheiten aufweist
und daß mindestens zwei dieser Auswerteeinheiten mitein
ander verbunden sind.
24. Vorrichtung nach einem der vorhergehenden Ansprüche
15 bis 23, dadurch gekennzeichnet, daß sie eine
zentrale Steuereinheit aufweist, die zur Steuerung sämt
licher Auswerteeinheiten vorgesehen ist.
25. Vorrichtung nach einem der vorhergehenden Ansprüche
15 bis 24, dadurch gekennzeichnet, daß die
Bildauswerteeinheit zur Erfassung von auf die Prozeßein
heiten aufgebrachten Prozeßeinheitenkennungen vorgesehen
ist.
26. Vorrichtung nach einem der vorhergehenden Ansprüche
15 bis 25, dadurch gekennzeichnet, daß die
Bildauswerteeinheit einen Speicher, in welchem einem Be
wegungskorridor entsprechende Daten abgespeichert sind,
und Alarmgebermittel aufweist, die ein Alarmsignal abge
ben, wenn eine Prozeßeinheit den vorgegebenen Bewegungs
korridor verläßt.
27. Vorrichtung nach einem der vorhergehenden Ansprüche
15 bis 26, dadurch gekennzeichnet, daß minde
stens eine der Kameras geneigt oder verdreht ausgerichtet
ist.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE19843602A DE19843602A1 (de) | 1997-11-13 | 1998-09-23 | Verfahren und Vorrichtung zum Erfassen der Bewegungen von Prozeßeinheiten während eines Produktionsprozesses in einem vorgegebenen Auswertebereich |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE19750117 | 1997-11-13 | ||
| DE19843602A DE19843602A1 (de) | 1997-11-13 | 1998-09-23 | Verfahren und Vorrichtung zum Erfassen der Bewegungen von Prozeßeinheiten während eines Produktionsprozesses in einem vorgegebenen Auswertebereich |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| DE19843602A1 true DE19843602A1 (de) | 1999-05-20 |
Family
ID=7848496
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE19843602A Withdrawn DE19843602A1 (de) | 1997-11-13 | 1998-09-23 | Verfahren und Vorrichtung zum Erfassen der Bewegungen von Prozeßeinheiten während eines Produktionsprozesses in einem vorgegebenen Auswertebereich |
Country Status (1)
| Country | Link |
|---|---|
| DE (1) | DE19843602A1 (de) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102006048163B4 (de) * | 2006-07-31 | 2013-06-06 | Pilz Gmbh & Co. Kg | Kamerabasierte Überwachung bewegter Maschinen und/oder beweglicher Maschinenelemente zur Kollisionsverhinderung |
| DE10216023B4 (de) * | 2002-04-11 | 2013-08-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren und Vorrichtung zur kontrollierten Interaktion zwischen einer eigenbeweglichen Robotereinheit und einem Menschen |
| WO2019052742A1 (de) * | 2017-09-12 | 2019-03-21 | Trumpf Werkzeugmaschinen Gmbh + Co. Kg | Verfahren zur fertigungssteuerung von fertigungsprozessen in der metallverarbeitenden industrie mittels bildaufnahmevorrichtungen |
| DE202021100171U1 (de) | 2021-01-15 | 2022-04-20 | Sick Ag | Vorrichtung zum Absichern eines Überwachungsbereiches |
| EP4030188A1 (de) | 2021-01-15 | 2022-07-20 | Sick Ag | Vorrichtung und verfahren zum absichern eines überwachungsbereiches |
| DE202022104107U1 (de) | 2022-07-20 | 2023-10-23 | Sick Ag | Vorrichtung zur Erfassung von Objekten |
| DE202022104108U1 (de) | 2022-07-20 | 2023-10-23 | Sick Ag | Vorrichtung zur Erfassung von Objekten in einem Überwachungsbereich |
| EP4310547A1 (de) | 2022-07-20 | 2024-01-24 | Sick Ag | Vorrichtung und verfahren zur erfassung von objekten |
| EP4310541A1 (de) | 2022-07-20 | 2024-01-24 | Sick Ag | Vorrichtung und verfahren zur erfassung von objekten in einem überwachungsbereich |
-
1998
- 1998-09-23 DE DE19843602A patent/DE19843602A1/de not_active Withdrawn
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10216023B4 (de) * | 2002-04-11 | 2013-08-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren und Vorrichtung zur kontrollierten Interaktion zwischen einer eigenbeweglichen Robotereinheit und einem Menschen |
| DE102006048163B4 (de) * | 2006-07-31 | 2013-06-06 | Pilz Gmbh & Co. Kg | Kamerabasierte Überwachung bewegter Maschinen und/oder beweglicher Maschinenelemente zur Kollisionsverhinderung |
| US9122266B2 (en) | 2006-07-31 | 2015-09-01 | Pilz Gmbh & Co. Kg | Camera-based monitoring of machines with mobile machine elements for collision prevention |
| WO2019052742A1 (de) * | 2017-09-12 | 2019-03-21 | Trumpf Werkzeugmaschinen Gmbh + Co. Kg | Verfahren zur fertigungssteuerung von fertigungsprozessen in der metallverarbeitenden industrie mittels bildaufnahmevorrichtungen |
| US11460832B2 (en) | 2017-09-12 | 2022-10-04 | Trumpf Werkzeugmaschinen Gmbh + Co. Kg | Object tracking-based control of manufacturing processes in the metalworking industry |
| DE202021100171U1 (de) | 2021-01-15 | 2022-04-20 | Sick Ag | Vorrichtung zum Absichern eines Überwachungsbereiches |
| EP4030188A1 (de) | 2021-01-15 | 2022-07-20 | Sick Ag | Vorrichtung und verfahren zum absichern eines überwachungsbereiches |
| DE202022104107U1 (de) | 2022-07-20 | 2023-10-23 | Sick Ag | Vorrichtung zur Erfassung von Objekten |
| DE202022104108U1 (de) | 2022-07-20 | 2023-10-23 | Sick Ag | Vorrichtung zur Erfassung von Objekten in einem Überwachungsbereich |
| EP4310547A1 (de) | 2022-07-20 | 2024-01-24 | Sick Ag | Vorrichtung und verfahren zur erfassung von objekten |
| EP4310541A1 (de) | 2022-07-20 | 2024-01-24 | Sick Ag | Vorrichtung und verfahren zur erfassung von objekten in einem überwachungsbereich |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE3874205T2 (de) | Verfahren und system zur robotersteuerung zum zusammenstellen von produkten. | |
| DE60034555T2 (de) | System zur objekterkennung und -verfolgung | |
| DE102015015638B4 (de) | Vorrichtung und Verfahren zum Übertragen von Artikeln unter Verwendung eines Roboters | |
| EP0853299B1 (de) | Verfahren und Vorrichtung zur Ansteuerung von Türanlagen in Abhängigkeit von der Anwesenheit von Personen | |
| DE102018116413B4 (de) | Robotersystem | |
| DE69629930T2 (de) | Verfahren zum Festlegen eines auf einem Objekt angebrachten optischen Codes | |
| DE2937335C2 (de) | Verfahren und Vorrichtung zur optischen Prüfung von Gegenständen | |
| DE102018212531B4 (de) | Artikeltransfervorrichtung | |
| DE69407784T2 (de) | Detektor system | |
| DE3530938A1 (de) | Gepaeckpruefanlage | |
| DE112010003000T5 (de) | Sichtsystem zum Überwachen von Menschen in dynamischen Umgebungen | |
| EP1019883A1 (de) | Verfahren und vorrichtung zur automatisch unterstützten führung von luftfahrzeugen zu einer parkposition | |
| EP3291144B1 (de) | Rfid-vorrichtung und verfahren zur fachbelegungserkennung | |
| DD152870A1 (de) | Verfahren und vorrichtung zum klassieren in bewegung befindlichen stueckgutes | |
| DE19843602A1 (de) | Verfahren und Vorrichtung zum Erfassen der Bewegungen von Prozeßeinheiten während eines Produktionsprozesses in einem vorgegebenen Auswertebereich | |
| EP2491713B1 (de) | Bildsensoranordnung zur erfassung von bildinformationen für die automatische bilddatenverarbeitung | |
| DE19856762A1 (de) | Elektronische Archivierungsvorrichtung | |
| EP3640582A1 (de) | System und verfahren zum prüfen der form eines prüfobjekts | |
| EP0994761B1 (de) | Regal | |
| DE102006017337A1 (de) | Verfahren zur optischen Erfassung von bewegten Objekten und Vorrichtung | |
| DE4130399A1 (de) | Automatische fenstertechnik zur gegenstandserkennung | |
| EP2703920B1 (de) | Verfahren zum Einlernen der Steuerung einer Maschine | |
| DE102021119566B4 (de) | Schnelle standortbasierte assoziation von trägern und gegenständen | |
| DE2513655A1 (de) | Sensorsystem zur steuerung von automatischen handhabungssystemen mittels fernsehkamera | |
| EP4332832A1 (de) | Lokalisieren eines optischen codes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 8139 | Disposal/non-payment of the annual fee |