DE102006001079B4

DE102006001079B4 - HMD-Vorrichtung und Anzeigeverfahren dafür

Info

Publication number: DE102006001079B4
Application number: DE102006001079.5A
Authority: DE
Inventors: Bernd Spruck
Original assignee: Carl Zeiss AG
Current assignee: Carl Zeiss AG
Priority date: 2006-01-09
Filing date: 2006-01-09
Publication date: 2020-08-06
Anticipated expiration: 2026-01-10
Also published as: DE102006001079A1

Abstract

HMD-Vorrichtung (1) miteiner Kamera (2), die ein Objekt (8) im Zeilensprungverfahren aufnimmt, aus den dabei gewonnen Halbbildern ein Vollbild (10) erzeugt und ausgibt,einer Bildverarbeitungseinheit (3), die aus dem ausgegebenen Vollbild (10) die Halbbilder (11, 12) extrahiert und aus zumindest einem der extrahierten Halbbilder (11) ein interpoliertes Vollbild (13) erzeugt, undeiner auf dem Kopf zu tragende Anzeigevorrichtung (4), die dem Benutzer, der die Anzeigevorrichtung (4) auf dem Kopf trägt, das interpolierte Vollbild (13) als virtuelles Bild darbietet,dadurch gekennzeichnet, dassdie Bildverarbeitungseinheit (3)- bei beiden extrahierten Halbbildern (11, 12) jeweils durch Interpolation der vorliegenden Bilddaten des entsprechenden Halbbildes (11, 12) fehlende Bilddaten erzeugt, in das entsprechende Halbbild (11, 12) einfügt und somit ein erstes und zweites rekonstruiertes Vollbild (14, 15) erzeugt,- einen Versatz der beiden rekonstruierten Vollbilder (14, 15) zueinander ermittelt, bei der eine gewünschte Korrelation vorliegt und- beim ersten rekonstruierten Vollbild (13) interpolierte Bilddaten (Z2', Z4', Z6') durch entsprechend dem ermittelten Versatz dazu versetzten Bilddaten des zweiten rekonstruierten Vollbildes (15) ersetzt und somit das interpolierte Vollbild (13) erzeugt.

Description

Die vorliegende Erfindung betrifft eine HMD-Vorrichtung mit den Merkmalen des Oberbegriffs des Anspruches 1 und Anzeigeverfahren für eine HMD-Vorrichtung mit den Merkmalen des Oberbegriffs des Anspruches 5. Eine solche HMD-Vorrichtung und ein solches Anzeigeverfahren ist z.B. aus der US 2005/0104802A1 bekannt.
Wenn die Bilddaten für die HMD-Vorrichtung (Head-Mounted-Display-Vorrichtung) mittels einer Kamera erzeugt werden, die im Zeilensprungverfahren die Aufnahme erzeugt, tritt insbesondere bei größeren Vergrößerungen das Problem auf, daß Bewegungen der Kamera während der Aufnahmen der beiden Halbbilder dazu führt, daß die beiden Halbbilder merklich zueinander versetzt sind. Dies führt zu einer sichtbaren und spürenden Unschärfe der Aufnahme.
Die DE 693 20 223 T2 beschreibt die Bearbeitung eines digitalen Fernsehsignals, wobei Halbbilder bereitgestellt werden, die bereichsweise mit unterschiedlichen Frequenzen abgetastet sind. Die Kombination dieser Halbbilder zu einem Vollbild wird in Abhängigkeit der bereichsweise detektieren Bewegung in den Bildern durchgeführt, wobei bei großem Bewegungsgrad in dem entsprechenden Bereich das Vollbild durch innerhalb Bild-Interpolation eines der Halbbilder erzeugt wird. Bei geringerem Bewegungsgrad wird in dem Bereich zur Erzeugung des Vollbildes eine Kombination aus innerhalb Bild-Interpolation eines der Halbbilder des Paares und Kombination der beiden Halbbilder des Paares gebildet. Wenn keine Bewegung detektiert wird, werden beide Halbbilder miteinander kombiniert.
Die DE 691 20 770 T2 beschreibt verschiedene Verfahren zur innerhalb Bild-Interpolation, dass für verschiedene Fernsehnormen anwendbar ist.
Aufgabe der vorliegenden Erfindung ist es, eine HMD-Vorrichtung und ein Anzeigeverfahren dafür zur Verfügung zu stellen, mit denen eine solche unerwünschte Unschärfe bei der Darstellung des aufgenommenen Bildes vermieden werden kann.
Erfindungsgemäß wird die Aufgabe bei einer HMD-Vorrichtung der eingangs genannten Art dadurch gelöst, dass die Bildverarbeitungseinheit bei beiden extrahierten Halbbildern jeweils durch Interpolation der vorliegenden Bilddaten des entsprechenden Halbbildes fehlende Bilddaten erzeugt, in das entsprechende Halbbild einfügt und somit ein erstes und ein zweites rekonstruiertes Vollbild erzeugt, einen Versatz der beiden rekonstruierten Vollbilder zueinander ermittelt, bei der eine gewünschte Korrelation (insbesondere eine möglichst große Übereinstimmung) vorliegt, und beim ersten rekonstruierten Vollbild interpolierte Bilddaten durch entsprechend dem ermittelten Versatz dazu versetzten Bilddaten des zweiten rekonstruierten Vollbildes ersetzt und somit das interpoliertes Vollbild erzeugt.
Mit einer solchen HMD-Vorrichtung wird vorteilhaft erreicht, daß zumindest eines der extrahierten Halbbilder mittels der Bildverarbeitungseinheit elektronisch nachbearbeitet wird, so daß ein interpoliertes Vollbild erzeugt werden kann, bei dem die durch die Aufnahme erzeugten Bildstörungen so gut wie nicht mehr vorliegen. Insbesondere wird eine noch bessere Reduzierung der durch das Zeilensprung-Aufnahmeverfahren bedingten Bildfehler erreicht.
Insbesondere kann die Bildverarbeitungseinheit bei einem der extrahierten Halbbilder durch Interpolation der vorliegenden Bilddaten des einen extrahierten Halbbildes fehlende Bilddaten ermitteln, in das eine extrahierte Halbbild einfügen und so das interpolierte Vollbild erzeugen. Dies ist ein einfaches und leicht zu implementierendes Verfahren, das auch kostengünstig realisierbar ist. Mit diesem Vorgehen werden schon gute Ergebnisse erreicht.
Die Bildverarbeitungseinheit kann bei der Ermittlung des Versatzes insbesondere nur translatorische Verschiebung berücksichtigen. Es hat sich gezeigt, daß es für eine hohe Bildqualität des über die Anzeigevorrichtung auszugebenden virtuellen Bildes ausreicht, nur translatorische Verschiebungen zu berücksichtigen. Es müssen somit insbesondere keine Drehungen der Bilder zueinander ausgewertet werden, wodurch die Bestimmung des Versatzes schnell und einfach realisiert werden kann.
Die Interpolation kann insbesondere eine Mittelwertbildung von benachbarten, vorliegenden Bilddaten umfassen. Eine solche Interpolation läßt sich leicht implementieren.
Die Aufgabe wird bei einem Anzeigeverfahren für eine HMD-Vorrichtung der eingangs genannten Art dadurch gelöst, dass bei beiden extrahierten Halbbildern jeweils durch Interpolation der vorliegenden Bilddaten des entsprechenden Halbbildes fehlende Bilddaten erzeugt, in das entsprechende Halbbild eingefügt und somit ein erstes und ein zweites rekonstruiertes Vollbild erzeugt werden, ein Versatz der beiden rekonstruierten Vollbilder zueinander ermittelt wird, bei dem eine gewünschte Korrelation vorliegt, und beim ersten rekonstruierten Vollbild interpolierte Bilddaten durch entsprechend dem ermittelten Versatz dazu versetzen Bilddaten des zweiten rekonstruierten Vollbildes ersetzt und somit das interpolierte Vollbild erzeugt werden.
Zur Erzeugung des interpolierten Vollbildes kann bei einem der extrahierten Halbbilder durch Interpolation der vorliegenden Bilddaten des einen extrahierten Halbbildes fehlende Bilddaten ermittelt und in das eine extrahierte Halbbild eingefügt werden. Dies ist eine leicht zu realisierende Vorgehensweise, die schon sehr gute Verbesserungen der Bildfehler erlaubt, die aufgrund des Zeilensprung-Aufnahmeverfahrens entstehen. Insbesondere führt dieses Vorgehen zu einer weiteren Verbesserung der Bildqualität des interpolierten Vollbildes.
Insbesondere können bei der Ermittlung des Versatzes nur translatorische Verschiebungen berücksichtigt werden. Dies vereinfacht die Ermittlung deutlich und führt zu sehr guten Ergebnissen.
Bei der Interpolation kann eine Mittelwertbildung von benachbarten, vorliegenden Bilddaten durchgeführt werden.
Die Erfindung wird nachfolgend beispielshalber anhand der beigefügten Zeichnungen noch näher erläutert. Es zeigen:

1 eine schematische Darstellung einer ersten Ausführungsform der erfindungsgemäßen HMD-Vorrichtung;
2 eine schematische Darstellung der Bilddatenverarbeitung der Bildverarbeitungseinheit von 1 gemäß der ersten Ausführungsform;
3 bis 5 schematisch die Bilddatenverarbeitung der Bilddatenverarbeitungseinheit 3 von 1 gemäß einer zweiten Ausführungsform.

Bei der in 1 gezeigten Ausführungsform umfaßt die erfindungsgemäße HMD-Vorrichtung 1 eine Kamera 2, eine Bildverarbeitungseinheit 3 sowie eine auf dem Kopf zu tragende Anzeigevorrichtung 4, die einen Träger 5 in Form eines Brillengestelles sowie zwei Anzeigeeinheiten 6, 7 aufweist.
Die Kamera 2 nimmt ein Objekt 8 im Zeilensprungverfahren auf. Bei dem Objekt 8 handelt es sich hier um ein Blatt Papier, auf dem eine senkrechte Linie 9 eingezeichnet ist. Nachdem das Objekt im Zeilensprungverfahren aufgenommen wird, nimmt die Kamera 2 zeitlich nacheinander zwei Halbbilder des Objektes 8 auf und fügt diese zu einem Vollbild 10 (2) zusammen. Die Kamera 2 kann beispielsweise als in der Hand gehaltene Kamera oder als am Träger 5 befestigte Kamera ausgebildet sein, so daß z. B. leichte Zitterbewegungen dazu führen, daß die beiden Halbbilder zueinander versetzt sind. Dieser Bildfehler stört um so mehr, desto größer das Vollbild 10 dargestellt werden soll. Insbesondere bei Anwendungen für Sehbehinderte sind hohe Vergrößerungen der Aufnahmen erwünscht, wodurch sich dieser Bildfehler sehr stark negativ auswirkt. Der Bildfehler ist bei dem Vollbild 10 in 2 schematisch und stark übertrieben dargestellt. Das Vollbild weist hier (zur Vereinfachung der Darstellung) sieben Zeilen Z1-Z7 auf, wobei die ungeradzahligen Zeilen Z1, Z3, Z5 und Z7 dem ersten Halbbild entsprechen, das zuerst mittels der Kamera aufgenommen wurde und die geradzahligen Zeilen Z2, Z4 und Z6 dem zweiten Halbbild entsprechen, das zeitlich nach dem ersten Halbbild aufgenommen wurde.
Das Vollbild 10 wird der Bildverarbeitungseinheit 3 zugeführt, die zunächst die Halbbilder 11, 12 aus dem Vollbild extrahiert. Dies ist relativ leicht dadurch möglich, daß die ungeradzahligen Zeilen (Z1, Z3, Z5, Z7) und die geradzahligen Zeilen (Z2, Z4, Z6) jeweils in einen eigenen Bildspeicher geschrieben werden. Der Bildspeicher weist bevorzugt die gleiche Größe auf wie das Vollbild 10, so daß bei den Halbbildern 11 und 12 jeweils in etwa die Hälfte der Informationen fehlt, da bei jedem Halbbild 11, 12 die geradzahligen bzw. die ungeradzahligen Zeilen leer sind und keine Bildinformation enthalten.
Um nun zu einem darzustellenden Vollbild zu gelangen, bei dem der unerwünschte Bildfehler aufgrund des Versatzes der Halbbilder zueinander möglichst behoben ist, werden bei der hier beschriebenen Ausführungsform im ersten Halbbild 11 die fehlenden Bilddaten durch Interpolation ermittelt. Dazu werden die fehlenden Bilddaten der leeren Zeilen durch Mittelwertbildung der Bilddaten der sie einschließenden Zeilen (Z1, Z3, Z5 und Z7) ermittelt, so daß das Bild interpolierte Zeilen Z2', Z4' und Z6' enthält, so daß ein interpoliertes Vollbild 13 vorliegt, wie schematisch in 2 gezeigt ist. Dieses Vollbild 13 gibt die Bildverarbeitungseinheit 3 an die Anzeigevorrichtung bzw. an die beiden Anzeigeeinheiten 6 und 7 für beide Augen des Benutzers. Wenn der Benutzer die Anzeigevorrichtung 4 auf dem Kopf trägt, wird ihm das interpolierte Vollbild mittels der Anzeigeeinheiten 6 und 7 als virtuelles Bild (bevorzugt als vergrößertes Bild) so dargeboten, daß er es wahrnehmen kann. Dazu umfassen die Anzeigeeinheiten 6 und 7 jeweils bevorzugt ein Bilderzeugungsmodul (beispielsweise ein LCD-, ein LCoS- oder ein OLED-Modul) und eine Abbildungsoptik, die beide zur Vereinfachung der Darstellung hier nicht eingezeichnet sind.
Mit der erfindungsgemäßen HMD-Vorrichtung ist es somit möglich, Bildfehler zu kompensieren, die bei der Aufnahme mittels einer Kamera entstehen, die im Zeilensprungverfahren die Aufnahmen erzeugt.
Bei einer weiteren Ausgestaltung der erfindungsgemäßen HMD-Vorrichtung extrahiert die Bildverarbeitungseinheit 3 in gleicher Weise wie in Verbindung mit 2 beschrieben wurde, die beiden Halbbilder 11 und 12 aus dem Vollbild der Kamera 2. Wie 3 entnommen werden kann, werden nun aus beiden extrahierten Halbbilder 11 und 12 jeweils ein rekonstruiertes Vollbild 14 und 15 erzeugt, bei denen jeweils die fehlenden Bilddaten (fehlende Bildzeilen Z2', Z4', Z6' sowie Z1', Z3', Z5', Z7') durch Interpolation aus den vorhandenen Bilddaten (Z1, Z3, Z5, Z7 sowie Z2, Z4, Z6) erzeugt werden.
Für die beiden rekonstruierten Halbbilder 14 und 15 ermittelt die Bildverarbeitungseinheit 3 dann den Versatz (p1), bei dem eine vorbestimmte Korrelation der beiden rekonstruierten Halbbilder 14 und 15 vorliegt. Bevorzugt wird eine möglichst große Übereinstimmung als vorbestimmte Korrelation vorgegeben. Der Versatz ist hier schematisch durch den Pfeil P1 in 4 angedeutet.
Wie der Darstellung in 5 entnommen werden kann, ersetzt die Bildverarbeitungseinheit 3 danach in dem rekonstruierten Vollbild 14 die interpolierten Bilddaten mit den entsprechenden, um den ermittelten Versatz versetzten Bilddaten des rekonstruierten Vollbildes 15. Zur Verdeutlichung sind schematisch in 5 Rechtecke 16, 17 und 18 im rekonstruierten Vollbild 15 eingezeichnet, die die entsprechenden interpolierten Bilddaten im rekonstruierten Vollbild 14 ersetzen und dort als 16', 17' und 18' gekennzeichnet sind. Das so erzeugte interpolierte Vollbild 13 wird dann wiederum von der Bildverarbeitungseinheit 3 der Anzeigevorrichtung 4 übergeben, die das interpolierte Vollbild 13 als virtuelles Bild dem Benutzern darbietet, der die Anzeigenvorrichtung 4 auf dem Kopf trägt. Mit diesem Vorgehen wird eine weitere Verbesserung der Bildfehler, die durch das Zeilensprung-Aufnahmeverfahren der Kamera 2 entstehen, erreicht.

Claims

HMD-Vorrichtung (1) mit einer Kamera (2), die ein Objekt (8) im Zeilensprungverfahren aufnimmt, aus den dabei gewonnen Halbbildern ein Vollbild (10) erzeugt und ausgibt, einer Bildverarbeitungseinheit (3), die aus dem ausgegebenen Vollbild (10) die Halbbilder (11, 12) extrahiert und aus zumindest einem der extrahierten Halbbilder (11) ein interpoliertes Vollbild (13) erzeugt, und einer auf dem Kopf zu tragende Anzeigevorrichtung (4), die dem Benutzer, der die Anzeigevorrichtung (4) auf dem Kopf trägt, das interpolierte Vollbild (13) als virtuelles Bild darbietet, dadurch gekennzeichnet, dass die Bildverarbeitungseinheit (3) - bei beiden extrahierten Halbbildern (11, 12) jeweils durch Interpolation der vorliegenden Bilddaten des entsprechenden Halbbildes (11, 12) fehlende Bilddaten erzeugt, in das entsprechende Halbbild (11, 12) einfügt und somit ein erstes und zweites rekonstruiertes Vollbild (14, 15) erzeugt, - einen Versatz der beiden rekonstruierten Vollbilder (14, 15) zueinander ermittelt, bei der eine gewünschte Korrelation vorliegt und - beim ersten rekonstruierten Vollbild (13) interpolierte Bilddaten (Z2', Z4', Z6') durch entsprechend dem ermittelten Versatz dazu versetzten Bilddaten des zweiten rekonstruierten Vollbildes (15) ersetzt und somit das interpolierte Vollbild (13) erzeugt.
HMD-Vorrichtung (1) nach Anspruch 1, bei der die Bildverarbeitungseinheit (3) bei einem der extrahierten Halbbilder (11) durch Interpolation der vorliegenden Bilddaten des einen extrahierten Halbbildes (11) fehlende Bilddaten ermittelt, in das eine extrahierte Halbbild (11) einfügt und so das interpolierte Vollbild (13) erzeugt.
HMD-Vorrichtung (1) nach Anspruch 1 oder 2, bei der die Bildverarbeitungseinheit (3) bei der Ermittlung des Versatzes nur translatorische Verschiebungen berücksichtigt.
HMD-Vorrichtung (1) nach Anspruch 2 oder 3, bei der die Interpolation eine Mittelwertbildung von benachbarten, vorliegenden Bilddaten umfaßt.
Anzeigeverfahren für eine HMD-Vorrichtung, bei dem aus einer im Zeilensprungverfahren erstellten Aufnahme eines Objekts die Halbbilder der Aufnahme extrahiert und aus zumindest einem der extrahierten Halbbilder ein interpoliertes Vollbild erzeugt wird und bei dem mittels einer auf dem Kopf zu tragenden Anzeigevorrichtung einem Benutzer, der die Anzeigevorrichtung auf dem Kopf trägt, das interpolierte Vollbild als virtuelles Bild dargeboten wird, dadurch gekennzeichnet, dass zur Erzeugung des interpolierten Vollbildes bei beiden extrahierten Halbbildern jeweils durch Interpolation der vorliegenden Bilddaten des entsprechenden Halbbildes fehlende Bilddaten erzeugt, in das entsprechende Halbbild eingefügt und somit ein erstes und ein zweites rekonstruiertes Vollbild erzeugt werden, ein Versatz der beiden rekonstruierten Vollbilder zueinander ermittelt wird, bei dem eine gewünschte Korrelation vorliegt, und beim ersten rekonstruierten Vollbild interpolierte Bilddaten durch entsprechend dem ermittelten Versatz dazu versetzten Bilddaten des zweiten rekonstruierten Vollbildes ersetzt werden, um somit das interpolierte Vollbild zu erzeugen.
Verfahren nach Anspruch 5, bei dem das interpolierte Vollbild dadurch erzeugt wird, dass bei einem der extrahierten Halbbilder durch Interpolation der vorliegenden Bilddaten des einen extrahierten Halbbildes fehlende Bilddaten ermittelt und in das eine extrahierte Halbbild eingefügt werden.
Verfahren nach Anspruch 5 oder 6, bei dem bei der Ermittlung des Versatzes nur translatorische Verschiebungen berücksichtigt werden.
Verfahren nach Anspruch 6 oder 7, bei dem zur Interpolation eine Mittelwertbildung von benachbarten, vorliegenden Bilddaten durchgeführt wird.