DE602004008001T2

DE602004008001T2 - Bildanzeigeverfahren und Bildanzeigesystem

Info

Publication number: DE602004008001T2
Application number: DE602004008001T
Authority: DE
Inventors: Takaaki Canon Kabushiki Kaisha Endo; Masakazu Canon Kabushiki Kaisha Fujiki; Tsuyoshi Canon Kabushiki Kaisha Kuroki
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2003-09-30
Filing date: 2004-09-28
Publication date: 2008-04-30
Anticipated expiration: 2024-09-29
Also published as: JP2005107969A; CN1304930C; DE602004008001D1; US7397481B2; EP1521215A1; US20050068316A1; JP3991020B2; EP1521215B1; CN1604026A

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die Erfindung bezieht sich auf ein Bildanzeigesystem und ein Bildanzeigeverfahren zum Bereitstellen, für einen Betrachter, von Virtuellraumbildinformationen über Realraumbildinformationen bei einem gegebenen Ansichtspunkt.
Beschreibung der verwandten Technik
Bisher stellt ein Mischrealitätssystem für einen Benutzer ein synthetisiertes Bild bereit, indem ein Realraumbild und ein gemäß einem Benutzeransichtspunkt und einer Benutzeransichtsrichtung erzeugtes Virtuellraumbild verschmolzen werden. Ein in der japanischen Patentoffenlegungsschrift Nr. 11-136706 offenbartes Mischrealitätssystem kann einem Benutzer das Gefühl vermitteln, dass ein virtuelles Objekt tatsächlich in einem Realraum derart existiert, dass der Benutzer eine realere Betrachtung mit einer Wahrnehmung tatsächlicher Größe durchführen kann als mit einem herkömmlichen Virtuellrealitätssystem (VR-System).
Andererseits haben sich bislang in Design-Herstellungsgebieten ein Entwerfen von Formen und Erzeugen von Designs unter Verwendung eines (im folgenden 3D-CAD genannten) dreidimensionalen CAD etabliert. Die vorherrschenden Verfahren zum Bewerten eines durch 3D-CAD entworfenen Objekts umfassen ein Verfahren zur visuellen Bewertung von durch ein 3D-CAD erzeugten Daten (Festdaten = solid data), welche auf einem Bildschirm eines Computers als (nachfolgend 3D-CD genannte) dreidimensionale Computergraphiken angezeigt werden, und ein Verfahren zum Erzeugen eines einfachen Prototyps (einfache Attrappe) unter Verwendung einer schnellen prototypbildenden Vorrichtung zur visuellen und taktilen Bewertung.
Das Verfahren, bei welchem 3D-CAD-Daten als 3D-CG auf einem Bildschirm eines Computers angezeigt werden, kann eine Bewertung in einem Virtuellraum bereitstellen, jedoch kann es keine Bewertung eines Objekts in einem Realraum mit einer Wahrnehmung tatsächlicher Größe bereitstellen. Das Verfahren, bei welchem ein einfacher Prototyp (einfache Attrappe) unter Verwendung einer schnellen prototypbildenden Vorrichtung erzeugt wird, ist zum Erkennen einer groben Form effektiv, aber es rekonstruiert aufgrund von Beschränkungen bei Verarbeitungsgenauigkeit, Material und so weiter keine Detailinformationen, wie beispielsweise Design und/oder Formdetails und Farben, die unter 3D-CAD entworfen sind. Daher wurde ein Verfahren zum Bewerten von Designdaten in einer fertigeren Form gefordert.
Ein verbessertes Realitätssystem, das bildbasierende Registrierung in Realzeit verwendet, ist bei T. Okuma et al., Proc. 14. Internat. Conf. On Pattern Recognition, Brisbane 16.-20. August 1998, IEEE Comput. Soc. US Seiten 1226-1229, ISBN 0-8186-8512-3 beschrieben.
Die vorliegende Erfindung wurde in Hinblick auf das Problem gemacht. Dementsprechend ist es eine Aufgabe der vorliegenden Erfindung, eine Bewertung eines Designs in einer fertigeren Form zuzulassen, indem ein einfacher Prototyp Verwendung findet.
Gemäß einem ersten Aspekt der vorliegenden Erfindung ist ein Bildanzeigeverfahren bereitgestellt, wie in den Ansprüchen 1 bis 4 definiert.
Gemäß einem anderen Aspekt der vorliegenden Erfindung ist ein Bildanzeigesystem bereitgestellt, wie in Anspruch 5 definiert.
Weitere Aufgaben, Merkmale und Vorteile der vorliegenden Erfindung werden aus der folgenden Beschreibung der bevorzugten Ausführungsbeispiele unter Bezugnahme auf die beiliegenden Zeichnungen offensichtlich.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 ist ein Schaubild, das eine schematische Konstruktion eines Mischrealitätssystems gemäß einem ersten Ausführungsbeispiel der Erfindung zeigt;
2 ist ein Schaubild, das eine Konstruktion einer kopfmontierten Videobildeingabe-/-ausgabevorrichtung (HMD) zeigt;
3 ist ein Blockschaltbild, das eine Konfiguration einer Informationsverarbeitungseinrichtung gemäß dem ersten Ausführungsbeispiel zeigt;
4A bis 4D sind Schaubilder, die jedes ein Beispiel einer Handbereichsextrahierverarbeitung gemäß dem ersten Ausführungsbeispiel zeigen;
5 ist ein Schaubild, das einen Verarbeitungsfluss gemäß dem ersten Ausführungsbeispiel zeigt;
6 ist ein Schaubild, das an einem einfachen Prototyp angebrachte Markierungsbeispiele zeigt;
7A und 7B sind Schaubilder, die jedes ein Beispiel eines Verfahrens zum Ausdrücken einer Marke zeigen;
8 ist ein Schaubild, das ein Beispiel eines Verfahrens zum Berechnen von Positionsinformationen einer Marke zeigt;
9 ist ein Blockschaltbild, das eine Konfiguration einer Informationsverarbeitungseinrichtung gemäß einem zweiten Ausführungsbeispiel zeigt;
10 ist ein Schaubild, das einen Verarbeitungsfluss gemäß dem zweiten Ausführungsbeispiel zeigt;
11 ist ein Schaubild, das einen Verarbeitungsfluss gemäß einem dritten Ausführungsbeispiel zeigt;
12 ist ein Blockschaltbild, das eine Konfiguration einer Informationsverarbeitungseinrichtung gemäß einem vierten Ausführungsbeispiel zeigt;
13 ist ein Schaubild, das einen Verarbeitungsfluss gemäß dem vierten Ausführungsbeispiel zeigt; und
14 ist ein Schaubild, das eine Korrektur einer Positions-/Orientierungsmessung unter Bezugnahme auf Merkmalspunkte veranschaulicht.
BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSBEISPIELE
Nachfolgend werden bevorzugte Ausführungsbeispiele der Erfindung unter Bezugnahme auf beigefügte Zeichnungen beschrieben.
Bei einem Mischrealitätssystem gemäß diesem Ausführungsbeispiel, welches nachfolgend beschrieben wird, werden dreidimensionale CG-Daten (3D-CG-Daten), die aus einer Umwandlung von dreidimensionalen CAD-Daten resultieren, über einem einfachen Prototyp (einfache Attrappe) angezeigt, welcher durch eine schnelle prototypbildende Vorrichtung aus den dreidimensionalen CAD-Daten unter Verwendung derselben Positions- und Orientierungsinformationen erzeugt ist. Auf diese Weise können eine visuelle Bewertung und taktile Bewertung zu derselben Zeit ausgeführt werden, so dass die dreidimensionalen CAD-Daten in einer fertigeren Form bewertet werden können. Darüber hinaus können bei einer Verarbeitung zum Erzeugen eines einfachen Prototyps aus durch 3D-CAD erzeugten dreidimensionalen Daten Farben, Formen und so weiter eines einfachen Prototyps zur leichten Vorbereitung zur Überlagerungsverarbeitung verarbeitet werden.
(Erstes Ausführungsbeispiel)
Nachfolgend wird ein Mischrealitätssystem gemäß einem ersten Ausführungsbeispiel beschrieben. Das Mischrealitätssystem ordnet einen einfachen Prototyp (einfache Attrappe), der auf der Grundlage von durch 3D-CAD erzeugten dreidimensionalen Daten und Farben des Hintergrunds zur einfachen Extraktion eines der Hand einer Bedienperson entsprechenden Teils erzeugt ist, auf 3D-CG-Daten an, die über dem einfachen Prototyp angezeigt werden.
1 zeigt eine Systemkonstruktion gemäß dem ersten Ausführungsbeispiel.
1 umfasst eine kopfmontierte Bildeingabe-/-ausgabevorrichtung (kopfmontiertes Display = head mounted display, das mit HMD abgekürzt ist) 100, die an dem Kopf eines Betrachters zum Betrachten eines Bildes zu montieren ist, das aus einer Synthese von Realraum- und Virtuellraumbildern resultiert. 1 umfasst zudem einen Magnetsender 200, Magnetsensoren 201 und 202, eine Position-/Orientierung-Messvorrichtung 205, einen einfachen Prototyp (einfache Attrappe) 300, und eine Grundplatte 301. Der Magnetsender 200 erzeugt ein Magnetfeld. Die Magnetsensoren 201 und 202 werden zum Messen von Änderungen in einem durch den Magnetsender 200 erzeugten Magnetfeld verwendet. Die Position-/Orientierung-Messvorrichtung 205 misst Positionen und Orientierungen der Magnetsensoren 201 und 202 auf der Grundlage von Messergebnissen durch die Magnetsensoren 201 und 202. Der Magnetsensor 201 ist an dem HMD 100 angebracht und findet zur Berechnung einer Position eines Betrachteransichtspunkts und einer Betrachteransichtsrichtung Verwendung. Der einfache Prototyp (einfache Attrappe) dient als eine Bedieneinheit, die durch die Hand eines Betrachters zu halten und zu bedienen ist. Wie das HMD 100 ist der Magnetsensor 202 in dem einfachen Prototyp 300 enthalten. Die Position-/Orientierung-Messvorrichtung 205 berechnet eine Position und Orientierung des einfachen Prototyps 300 auf der Grundlage eines Messergebnisses von dem Magnetsensor 202. Die Grundplatte 301 findet zur Betrachtung des einfachen Prototyps 300 Verwendung.
1 umfasst ferner eine Bildanzeigevorrichtung 101, eine Bildeingabevorrichtung 102 und eine Informationsverarbeitungseinrichtung 400. Die Bildanzeigevorrichtung 101 ist in dem HMD 100 enthalten. In dem HMD 100 ist ein Paar der Bildeingabevorrichtung 102 für rechtes und linkes Auge enthalten. Die Informationsverarbeitungseinrichtung 400 erzeugt ein CG-Bild gemäß durch die Position-/Orientierung-Messvorrichtung 205 berechneten Positions-/Orientierungsinformationen, platziert das CG-Bild über ein durch die Bildeingabevorrichtung 102 des HMD 100 eingegebenes Bild, und gibt das resultierende synthetisierte Bild an die Bildanzeigevorrichtung 101 des HMD 100 aus.
Als Nächstes wird eine spezifischere Konstruktion des HMD 100 unter Bezugnahme auf 2 beschrieben. 2 umfasst die auch in 1 gezeigte Bildanzeigevorrichtung 101 und ein (nachfolgend FFS-Prisma genanntes) Freiformoberflächenprisma 103. Die Bildanzeigevorrichtung umfasst ungefähr 0,5 bis zu wenigen Zoll kleine Flüssigkristallvorrichtungen. Das FFS-Prisma 103 funktioniert als eine Linse zum Vergrößern eines Bildes auf der Bildanzeigevorrichtung 101. Unter dieser Konstruktion kann ein auf der Bildanzeigevorrichtung 101 angezeigtes Bild als ein 90-Zoll-Bild beispielsweise 2m vor einem Betrachter bereitgestellt werden.
2 umfasst ferner die auch in 1 gezeigte Bildeingabevorrichtung 102 und ein Bildaufnahmesystemprisma 104. Die Bildeingabevorrichtung 102 umfasst ein Bildaufnahmegerät, wie beispielsweise eine CCD-Kamera und eine CMOS-Kamera. Das Bildaufnahmesystemprisma 104 funktioniert als eine Linse zum Konvergieren von Licht in einem Realraum in die Bildeingabevorrichtung 102. Das Bildaufnahmesystemprisma 104 ist außerhalb des FFS-Prismas 103 derart angeordnet, dass die optischen Achsen von beiden Prismen übereinstimmen können. Auf diese Weise kann eine Parallaxe zwischen einem durch die Bildeingabevorrichtung 102 eingegebenen Bild und einem auf der Bildanzeigevorrichtung 101 angezeigten Bild beseitigt werden, und ein Bild eines Realraums kann normal rekonstruiert werden.
Als Nächstes wird eine spezifische Konstruktion der Informationsverarbeitungsvorrichtung 400 in 1 unter Bezugnahme auf 3 beschrieben.
Die Informationsverarbeitungsvorrichtung 400 umfasst Bilderfassungsabschnitte 401L und 401R, einen Positions-/Orientierungsinformationen-Eingabeabschnitt 404 und einen Position-/und-Orientierung-Berechnungsabschnitt 405. Die Bilderfassungsabschnitte 401L und 401R erfassen von der Bildeingabevorrichtung 102 eingegebene Bilddaten und stellen der Informationsverarbeitungsvorrichtung 400 digitale Signale der Bilddaten zur Verfügung. Der Positions-/Orientierungsinformationen-Eingabeabschnitt 404 erfasst Positions-/Orientierungsdaten des HMD 100 und des einfachen Prototyps 300 aus der Position/Orientierung-Messvorrichtung 205 in die Informationsverarbeitungsvorrichtung 400. Der Position/Orientierung-Berechnungsabschnitt 405 berechnet eine relative Positionsbeziehung zwischen dem HMD 100 und dem einfachen Prototyp 300 auf der Grundlage von aus dem Position/Orientierung-Eingabeabschnitt 404 eingegebenen Daten.
Die Informationsverarbeitungsvorrichtung 400 umfasst ferner 3D-CG-Renderingdaten 406, die über den einfachen Prototyp 300 zu platzieren sind, und einen CG-Renderingabschnitt 407. Der CG-Renderingabschnitt 407 berechnet eine Position, Größe, Winkel (Perspektive) und so weiter, die zum Rendern von CG-Daten zu verwenden sind, auf der Grundlage einer relativen Positionsbeziehung zwischen dem HMD 100 und dem einfachen Prototyp 300, welche durch den Position-/Orientierung-Berechnungsabschnitt 405 berechnet ist. Der CG-Renderingabschnitt 407 rendert die 3D-CG-Renderingdaten406 auf der Grundlage des Berechnungsergebnisses.
Die Informationsverarbeitungsvorrichtung 400 umfasst ferner Bildsyntheseabschnitte 402L und 402R und Bilderzeugungsabschnitte 403L und 403R. Die Bildsyntheseabschnitte 402L und 402R platzieren ein durch den CG-Renderingabschnitt 407 erzeugtes CG-Bild über Bilddaten eines Realraums, welche durch die Bilderfassungsabschnitte 401L und 401R erfasst sind. Die Bilderzeugungsabschnitte 403L und 403R wandeln ein synthetisiertes Bild in analoge Daten um und geben die analogen Daten an die Bildanzeigevorrichtung 101 aus.
Die Informationsverarbeitungsvorrichtung 400 umfasst ferner einen Handbereichsextraktionsabschnitt 420. Der Handbereichsextraktionsabschnitt 420 extrahiert einen Handbereich aus durch die Bilderfassungsabschnitte 401L und 401R erfassten Realraumbilddaten auf der Grundlage von Handfarbeinformationsregistrierdaten 421 und erzeugt ein Maskenbild. Nun wird eine Beispielverarbeitung des Handbereichsextraktionsabschnitts 420 unter Bezugnahme auf 4A bis 4D ausführlich beschrieben.
Der Bildsyntheseabschnitt 402 erzeugt ein synthetisiertes Bild durch Platzieren (Schreiben) eines Virtuellraumbildes (CG-Bildes) über Realraumbilddaten. In diesem Fall kann, da ein CG-Bild über ein reales Objekt geschrieben wird, welches tatsächlich vor dem CG-Bild platziert sein sollte, ein Tiefenwiderspruch zwischen dem CG-Bild und dem realen Objekt auftreten.
4A zeigt ein Beispiel von durch die Bildeingabevorrichtung 102 eingegebenen Realraumbilddaten und ist ein Bild, in welchem ein einfacher Prototyp durch eine Betrachterhand gehalten wird. Ein Teil der Hand (ein Daumenteil) existiert vor dem einfachen Prototyp. 4B ist ein synthetisiertes Bild, bei welchem ein dem einfachen Prototyp entsprechendes CG-Bild über das Bild in 4A platziert ist. Mit anderen Worten, ein Teil der Hand, welcher vordem einfachen Prototyp sein sollte, ist durch das CG-Bild versteckt bzw. verdeckt, und es entsteht ein Tiefenwiderspruch. Folglich kann ein Betrachter spüren, dass in dem Bild etwas falsch ist.
Das Mischrealitätssystem gemäß dem ersten Ausführungsbeispiel kann einen zuvor beschriebenen Tiefenwiderspruch durch Bildverarbeitung unter Verwendung von in der Informationsverarbeitungseinrichtung 400 gehaltenen Realraumbilddaten überwinden. Mit anderen Worten, ein Handbereich wird nur extrahiert, indem eine Bildverarbeitung von aus der Bildeingabevorrichtung 102 eingegebenen Bilddaten (4A) durchgeführt wird. Aus dem extrahiertem Handbereich wird ein Maskenbild ( 4C) erzeugt, und es wird ein CG-Bild für einen in dem Maskenbereich spezifizierten Nichthandbereich erzeugt. Das CG-Bild wird über das Realraumbild platziert. Auf diese Weise kann der Handbereich vor dem einfachen Prototyp angezeigt werden, und es kann das Gefühl beseitigt werden, dass bei der Tiefe etwas falsch ist.
Gemäß diesem Ausführungsbeispiel wird der einfache Prototyp 300, wenn eine Bedienperson den einfachen Prototyp 300 mit der Hand hält, in einer Farbe gemalt, wie beispielsweise Blau, deren Farbton signifikant verschieden von einem Farbton der Handfarbe ist, so dass ein der Hand entsprechender Teil mit hoher Zuverlässigkeit aus Realraumbildinformationen extrahiert werden kann. Die Realraumbildinformationen umfassen auch Realobjekte (wie beispielsweise die Grundplatte 301, an welcher der einfache Prototyp 300 platziert ist, und einen Umgebungsbildschirm) des Hintergrunds des einfachen Prototyps 300 sowie die Betrachterhand und den einfachen Prototyp 300. Gemäß diesem Ausführungsbeispiel sind Realobjekte des Hintergrunds des einfachen Prototyps 300, um den der Hand entsprechenden Teil mit hoher Zuverlässigkeit aus Realraumbildinformationen zu extrahieren, in einer Farbe gefärbt, dessen Farbton signifikant verschieden von dem Farbton der Handfarbe ist. Beispielsweise können die Realobjekte in grün gemalt werden, oder ein grüner Stoff oder grünes Papier kann daran angehaftet werden.
Darüber hinaus können die Handfarbeinformationsregistrierdaten 421 einfacher erzeugt werden, wenn der einfache Prototyp 300 und Realobjekte in dem Hintergrund eine im Wesentlichen gleiche Farbe (wie beispielsweise Blau) haben. In diesem Fall werden die Handfarbeinformationsregistrierdaten 421 zum Extrahieren eines der Betrachterhand entsprechenden Teils aus als digitale Daten eingegebenen Realraumbildinformationen verwendet. Mit anderen Worten, wenn der einfache Prototyp 300 und der Hintergrund verschiedene Farben haben, muss ein zu extrahierender Handfarbenbereich unter Berücksichtigung von Farbbereichen in einem Farbraum registriert werden. Andererseits kann, wenn der einfache Prototyp 300 und der Hintergrund im Wesentlichen die gleiche Farbe haben, ein zu extrahierender Handfarbebereich nur unter Berücksichtigung des Bereichs mit der Farbe in dem Farbraum registriert werden. Dieser Punkt wird nachfolgend weiter beschrieben. Da eine Farbe durch Spezifizieren eines Bereichs in einem Farbraum registriert wird, hängt ein zu extrahierender Handfarbebereich geringfügig von einer Hintergrundfarbe ab. Mit anderen Worten, ein zu extrahierender Handfarbebereich kann grob definiert werden, wenn eine Hintergrundfarbe und die Handfarbe signifikant verschiedene Farbtöne haben. Andererseits muss ein zu extrahierender Handfarbebereich präziser definiert werden, wenn eine Hintergrundfarbe und die Handfarbe sich nahe kommende Farbtöne haben. Sonst kann die Hintergrundfarbe (oder ein Teil davon) als die Handfarbe extrahiert werden. Daher muss ein zu extrahierender Handfarbebereich präziser definiert werden, wenn der Hintergrund und ein einfacher Prototyp keine im Wesentlichen gleiche Farbe haben, als bei dem Fall, dass der Hintergrund und der einfache Prototyp im Wesentlichen die gleiche Farbe haben.
Wenn ein einfacher Prototyp und der Hintergrund eine im Wesentlichen gleiche Farbe (wie beispielsweise Blau) haben, wird eine Grenzlinie (Umriss) zwischen dem einfachen Prototyp und realen Objekten des Hintergrunds visuell unklar. Folglich ist, auch wenn CG-Daten in Bezug auf den einfachen Prototyp geringfügig versetzt sind, der Versatz visuell nicht klar.
Unter Bezugnahme auf 5 wird ein Verarbeitungsfluss bei der Informationsverarbeitungseinrichtung 400 mit der zuvor beschriebenen Konstruktion gemäß diesem Ausführungsbeispiel beschrieben. Zuerst werden Schritte eines Erzeugens des einfachen Prototyps 300 und der 3D-CG-Renderingdaten 406 aus 3D-CAD-Daten unter Bezugnahme auf Verarbeitungsschritte auf der linken Seite von 5 beschrieben.
Um unter Verwendung eines allgemeinen 3D-CAD-Systems eine Form zu entwerfen oder ein Design zu erzeugen (Schritt 1010), werden Designdaten im Allgemeinen als Festdaten gespeichert, die einem verwendeten 3D-CAD-System inhärent sind. Der einfache Prototyp 300 wird aus den Festdaten beispielsweise unter Verwendung einer schnellen prototypbildenden Vorrichtung erzeugt (Schritt 1110). Andererseits werden 3D-Festdaten durch ein Set von geometrischen Parametern für Designteile ausgedrückt, und sie können nicht in CG gerendert werden, wie sie sind. Dementsprechend werden die 3D-Festdaten in ein Datenformat (wie beispielsweise VRML) umgewandelt, das zum Rendern von 3D-CG geeignet ist (Schritt 1210). Bei dem Mischrealitätssystem gemäß diesem Ausführungsbeispiel wird ein Virtuellraum unter Verwendung von aus der Umwandlung resultierenden 3D-CG-Renderingdaten 406 erzeugt.
Als Nächstes werden Verarbeitungsschritte des Mischrealitätssystems gemäß diesem Ausführungsbeispiel unter Bezugnahme auf Verarbeitungsschritte der rechten Seite von 5 beschrieben.
Zuerst werden Anfangsposition und -orientierung des einfachen Prototyps 300 bei (nicht dargestellten) Schritten vor einem Schritt 2010 gemessen. Beispielsweise ist der einfache Prototyp 300 bei einer vorbestimmten Position und in einer vorbestimmten Orientierung fixiert, und es werden Messwerte einer Position und Orientierung des Magnetsensors 202 zu der Zeit gelesen. Dann werden Unterschiede zwischen den Messwerten und vorbestimmten Werten als die „Sensor-verbundene Position und Orientierung" behandelt. Die Position/Orientierung-Messvorrichtung 205 verwendet Daten und Anfangspositionen und -orientierungen des Magnetsenders 200 und Magnetsensors 202, um die Realraumposition und -orientierung des einfachen Prototyps 300 zu messen (Schritt 2010). In ähnlicher Weise verwendet die Position/Orientierung-Messvorrichtung 205 Daten des Magnetsenders 200 und Magnetsensors 201, um die Position und Orientierung des an einem Betrachter montierten HMD 100 in dem Realraum zu messen (Schritt 2020). Die durch die Position/Orientierung-Messvorrichtung 205 bereitgestellten Messdaten werden in der Informationsverarbeitungseinrichtung 400 durch die Positions-/Orientierungsinformationen-Eingabevorrichtung 404 erfasst. Dann berechnet der Position/Orientierung-Berechnungsabschnitt 405 eine relative Positions-/Orientierungsbeziehung zwischen dem HMD 100 und dem einfachen Prototyp 300 (Schritt 2030).
Andererseits werden, parallel zu den Schritten 2010, 2020 und 2030, die Realraumbilder von der Bildeingabevorrichtung 101 der HMD-Vorrichtung 100 in die Informationsverarbeitungseinrichtung 400 durch den Bilderfassungsabschnitt 400 erfasst (Schritt 3010).
Bei einem Schritt 3010 erfasst der Bilderfassungsabschnitt 401 der Informationsverarbeitungseinrichtung 400 Realraumbilddaten. Dann vergleicht ein Handbereichsextraktionsabschnitt 420 Farbinformationen eines Bildelements mit Farbinformationen des Handbereichs, welche mit den Handfarbeinformationenregistrierdaten 421 im Voraus registriert worden sind. Wenn die Farbinformationen des Bildelements mit den Farbinformationen des Handbereichs übereinstimmen, wird die Bildelementfarbe als eine Farbe einer menschlichen Hand beurteilt. Daher wird das Bildelement als ein Handbereich beurteilt (Schritt 5010). Dann wird die Beurteilung für das Zugehören zu dem Handbereich für alle Bildelemente durchgeführt. Es werden nur Bildelemente extrahiert, die als zu dem Handbereich zugehörig beurteilt werden, und nur Daten des Handbereichs werden in einem Speicher, wie beispielsweise einem Videopuffer, aufgezeichnet. Auf diese Weise wird ein Maskenbild erzeugt (Schritt 5020).
Der CG-Renderingabschnitt 407 rendert eine CG unter Verwendung der bei dem Schritt 2030 berechneten relativen Positionsbeziehung und den 3D-CG-Renderingdaten 406 und archiviert die CG in einem (nicht abgebildeten) Speicher, wie beispielsweise einem Videopuffer (Schritt 2040). In diesem Fall rendert der CG-Renderingabschnitt 407, wie zuvor beschrieben, keine CG-Bilder über den Handbereich in dem Maskenbild.
Andererseits werden auch bei dem Schritt 3010 erfasste Realraumbilddaten in einem Speicher, wie beispielsweise einem Videopuffer archiviert (Schritt 3020). Die Bildsyntheseabschnitte 402L und 402R platzieren das bei dem Schritt 2040 erzeugte CG-Bild über die bei dem Schritt 3020 archivierten Bilddaten (Schritt 4010). Das synthetisierte Bild wird durch den Bilderzeugungsabschnitt 403 beispielsweise in analoge Videosignale umgewandelt und wird auf der Bildanzeigevorrichtung 101 des HMD 100 angezeigt (Schritt 4020). Da das synthetisierte Bild kein CG-Bild bei dem Handbereichsteil in dem Maskenbild umfasst, kann ein Bild mit natürlicher Tiefe erzielt werden, wie in 4D gezeigt.
Die Schritte 2010 bis 4020 werden während einer Bildaktualisierungsperiode in der Bildanzeigevorrichtung 101 oder während einer Aktualisierungsperiode bei dem Schritt 2040 eines CG-Renderns wiederholt, so dass Informationen in Echtzeit bereitgestellt werden können. Ein Beispiel eines Verarbeitungsergebnisses gemäß diesem Ausführungsbeispiel ist derart, wie es in 4A bis 4D gezeigt ist.
Auch wenn eine Magnetvorrichtung als eine Einheit zum Messen einer Position und einer Orientierung gemäß dem ersten Ausführungsbeispiel Verwendung findet, ist die Erfindung nicht darauf beschränkt. Offensichtlich kann dafür eine andere Einheit, wie beispielsweise eine optische Position/Orientierung-Messvorrichtung Verwendung finden.
Wie zuvor beschrieben, ist gemäß dem ersten Ausführungsbeispiel auf einem Display, das 3D-CG-Daten, die durch durch 3D-CAD erzeugte dreidimensionale Daten erzeugt sind, über dem durch die selben dreidimensionalen Daten erzeugten einfachen Prototyp 300 hat, eine Farbe eines aus dem Bild zu extrahierenden vorbestimmten Bereichs (wie beispielsweise eine Farbe des Handbereichs) von Farben (wie beispielsweise Komplementärfarben) des einfachen Prototyps 300 und Hintergrundobjekten verschieden. Noch bevorzugter können Farben des einfachen Prototyps 300 und der Hintergrundobjekte im Wesentlichen die gleichen sein. Auf diese Weise kann die Bereichsextraktion leichter und sicherer ausgeführt werden. Mit anderen Worten, eine Vorbereitung (einschließlich Registrierung von Handfarbeinformationsregistrierdaten) zum Platzieren von 3D-CG-Daten über den einfachen Prototyp 300 kann leichter durchgeführt werden.
[Zweites Ausführungsbeispiel]
Gemäß dem ersten Ausführungsbeispiel wird die Positions-/Orientierungsmessung beispielsweise magnetisch durchgeführt. Jedoch können bei der magnetischen Positions-/Orientierungsmessung einige Umgebungen Instabilität bei der Messpräzision verursachen. Wenn beispielsweise ein metallisches Objekt in der Nähe eines Magnetsenders existiert, kann das Magnetfeld turbulent werden, was bewirken kann, dass ein Magnetsensor instabile Werte ausgibt. Darüber hinaus kann mit zunehmendem Abstand zwischen dem Magnetsender und dem Magnetsensor die Messpräzision abnehmen, was ein Problem ist. Das Problem von Messpräzision wird nicht nur bei einem Magnetsensor verursacht, sondern auch bei verschiedensten Typen von Messvorrichtungen.
Dementsprechend korrigiert ein Mischrealitätssystem gemäß dem zweiten Ausführungsbeispiel eine Position und eine Orientierung auf der Grundlage von Realraumbilddaten in einer Informationsverarbeitungseinrichtung 400, um so die Messpräzision zu verbessern. Beispielsweise ist, wie in 6 gezeigt, eine Markierung zur Bilderkennung an einem einfachen Prototyp 300 angebracht und wird als ein Merkmalspunkt verwendet. Verschiedenste Arten von Markierungen können durch einen Position/Orientierung-Korrekturalgorithmus verwendet werden, wie beispielsweise eine Formmarkierung 310 und eine Farbmarkierung 311. Darüber hinaus ist gemäß dem zweiten Ausführungsbeispiel dem einfachen Prototyp 300 eine Marke gegeben, und sie wird als ein Bezug zum Anbringen einer Positions-/Orientierungskorrekturmarkierung verwendet. Auf diese Weise können Positionsinformationen der angebrachten Markierung leicht erlangt werden.
Hier wird ein Verfahren zum Korrigieren einer Position und einer Orientierung unter Verwendung einer (nachfolgend Merkmalspunkt genannten) Markierung beschrieben. Hier wird ein Verfahren zum Korrigieren eines externen Parameters für einen Bildeingabeabschnitt (Kamera) von einem Merkmalspunkt als ein allgemeines Korrekturverfahren beschrieben. Hier kann ein Merkmalspunkt eine stickerähnliche Markierung sein, die über einen einfachen Prototyp in einem Realraum platziert ist. In diesem Fall hat die stickerähnliche Markierung Informationen über eine künstliche Spezialfarbe und -form. Alternativ kann ein Merkmalspunkt ein Merkmalsteil in Form eines einfachen Prototyps sein.
14 zeigt ein schematisches Schaubild, das ein allgemeines Korrekturverfahren für externe Parameter (Parameter, die eine Position und Orientierung repräsentieren) einer Bildeingabevorrichtung (Kamera) zeigt. In 14 bezieht sich Punkt A auf eine Position eines Merkmalspunkts, der auf der Grundlage von Positionen und Orientierungen einer Bildeingabevorrichtung (Kamera) und des einfachen Prototyps 300 erwartet wird, Punkt B bezieht sich auf eine tatsächliche Position des Merkmalspunkts und Punkt C bezieht sich auf eine Position eines Ansichtspunkts der Bildeingabevorrichtung (Kamera). In diesem Fall sind die durch Punkte A und B angegebenen Positionen Positionen in einem Kamerakoordinatensystem, und Punkt C ist ein Ursprung eines Koordinatensystems der Bildeingabevorrichtung (Kamera). Punkt P bezieht sich auf eine Position von Punkt A in einer Bildebene, und Punkt Q bezieht sich auf eine Position von Punkt B in einer Bildebene. Hier sind, wie in 14 gezeigt, (x_p, y_p) und x_q, y_q) jeweils Koordinaten von Punkten P und Q, w und h sind jeweils eine Breite und Höhe einer Bildebene, und d ist eine Kamerabrennweite (ein Abstand von einer Bildebene zu der Bildeingabevorrichtung). Zudem ist v₁ ein Vektor von Punkt C zu Punkt Q, v₂ ist ein Vektor von Punkt C zu Punkt P, und θ ist ein Winkel zwischen v₁ und v₂.
Zuerst wird ein Verfahren zum Ändern einer Orientierung um θ von der Richtung des Punkts B zu der Richtung des Punkts A unter Verwendung eines Merkmalspunkts (das heißt, ein Korrekturverfahren unter Verwendung einer Drehung der Bildeingabevorrichtung) beschrieben.
Durch Berechnen von v₁ und v₂ aus diesen Einstellungen können die Komponenten ausgedrückt werden durch: [Gleichung 1]
Als Nächstes werden die Vektoren auf einen Vektor mit einer Größe 1 normalisiert durch [Gleichung 2]
Hier ist, wenn die Bildeingabevorrichtung (Kamera) gedreht wird, die Drehachse orthogonal zu einer die Vektoren v₁ und v₂ aufweisenden Ebene und ist eine Gerade durch eine Position (Punkt C) eines Ansichtspunkts der Kamera. Ein Richtungsvektor der Drehachse kann aus einem Kreuzprodukt der Vektoren v₁ und v₂ (in Wirklichkeit normalisiertes Kreuzprodukt (v₁', v₂')) berechnet werden durch:
[Gleichung 3]

vx = v1 × v2 (3)

Hier ist v_x ein Richtungsvektor der Drehachse und (l, m, n) bezieht sich auf ihre Komponenten. Ein Drehwinkel θ ist ein durch Vektoren v₁ und v₂ gebildeter Winkel und kann berechnet werden durch:
[Gleichung 4]

0 = arccos(v'1 ·v'2 ) (4)

Daher kann eine Korrekturmatrix ΔM_c, die für eine Korrektur mit einer Drehung der Bildeingabevorrichtung zu verwenden ist, berechnet werden durch: [Gleichung 5]
Eine Position und Orientierung der Bildeingabevorrichtung kann durch Multiplizieren der Korrekturmatrix mit einer Matrix korrigiert werden, welche die Position und Orientierung der Bildeingabevorrichtung ausdrückt. Mit anderen Worten, Punkt P wird bei der Position von Punkt Q angezeigt, und eine Markierungsposition, die von Positions- und Orientierungsparametern auf einer Bildebene erwartet wird, stimmt mit einer realen Markierungsposition überein. Auch wenn ein eine Drehung einer Bildeingabevorrichtung (Kamera) verwendendes Korrekturverfahren beschrieben worden ist, kann ein Verfahren zum Korrigieren eines Fehlers mit einer Parallelbewegung einer Bildeingabevorrichtung verwendet werden. Der gleiche Effekt kann sogar mit einem Korrekturverfahren erlangt werden, welches mehrere Merkmalspunkte verwendet, jedoch wird die Beschreibung hier ausgelassen.
Eine Marke zum Anbringen einer Markierung kann eine Gruppe von sich kreuzenden geraden Linien (7A) oder ein Schachbrettmuster sein, das eine Gruppe von die Kreuzungen repräsentierenden Punkten umfasst (7B). Ein durch sich kreuzende gerade Linien gebildeter Winkel ist nicht auf 90 Grad beschränkt, sondern kann eine beliebige Gradzahl, wie beispielsweise 60 Grad haben. Wenn eine Position zum Anbringen einer Markierung präzise vorbestimmt ist, kann eine Marke nur dem Punkt gegeben werden.
Eine Marke kann durch Musterrendern, Mustervorsprungbilden, oder Vorsprung-/und-Vertiefungbilden gegeben sein. Wenn ein Objekt im Voraus ein Markenmuster oder -form umfasst, ist eine weitere Marke nicht erforderlich.
Positionsinformationen einer gegebenen Marke werden unter Verwendung eines Lasermessinstruments gemessen. Hier brauchen, wenn Marken in einem Schachbrettmuster auf einer Ebene regelmäßig ausgerichtet sind, wie in 7A und 7B gezeigt, Positionsinformationen von Marken nur bei drei Punkten auf einer geraden Linie gemessen zu werden. Folglich können die Positionsinformationen der gesamten Marken leicht berechnet werden. Beispielsweise können in 8, wenn Positionsinformationen von Marken A, B und C bestimmt sind als X_A = (x_A, y_A, z_A), X_B = (x_B, y_B, z_B) und Xc = (x_c, y_c, z_C), die Positionsinformationen von Marke D berechnet werden durch: XD = XA + 3 × (XB – XA) + 4 × (XC – XA) [A]
Wie zuvor beschrieben, ist eine Marke bei einer bekannten Position gegeben, und auf der Grundlage der Marke wird eine Markierung angebracht. Auf diese Weise kann die zuvor unter Bezugnahme auf 14 beschriebene Korrektur durchgeführt werden, und es können die folgenden Vorteile bereitgestellt werden:

(1) Auch wenn mehrere Markierungen angebracht werden, "brauchen Marken nur bei drei Punkten gemessen werden". Auf diese Weise kann die Anzahl von Messungen reduziert werden; und
(2) Wenn eine Markierung erneut angehaftet wird, kann die Position der Markierung leicht aus einer Marke berechnet werden. Folglich muss die Messung nicht erneut durchgeführt werden (was ein Vorteil ist, da eine ein Lasermessinstrument verwendende Messung Zeit und Arbeit erfordert).

Die Begriffe "Position der Marke" und "Position der Markierung" beziehen sich auf Positionen einer Marke und Markierungen in einem in dem einfachen Prototyp 300 definierten Koordinatensystem.
Als Nächstes wird eine Konstruktion und Verarbeitungsfluss des Mischrealitätssystems gemäß dem zweiten Ausführungsbeispiel unter Bezugnahme auf 9 und 10 beschrieben. Den gleichen Komponenten der Konstruktion (3) und Verarbeitung (5) gemäß dem ersten Ausführungsbeispiel sind die gleichen Bezugszeichen gegeben, und die ausführliche Beschreibung wird hier ausgelassen.
Ein Markierungserfassungsabschnitt 410 erfasst eine in 6 gezeigte Markierung aus durch die Bilderfassungsbereiche 401L und 401R eingegebenen Bildern. und überträgt das Erfassungsergebnis (wie beispielsweise eine Position der Markierung) an den Position/Orientierung-Berechnungsabschnitt 405. Der Position/Orientierung-Berechnungsabschnitt 405 erzeugt Korrekturinformationen auf der Grundlage des Detektionsergebnisses aus dem Markierungsdetektionsabschnitt 410 und der Markierungsposition, die auf der Grundlage von aus dem Positions-/Orientierungsinformationen-Eingabeabschnitt 404 eingegebenen Positions-/Orientierungsinformationen detektiert ist. Die Position und Orientierung des einfachen Prototyps 300, welche auf der Grundlage der durch den Positions-/Orientierungsinformationen-Eingabeabschnitt 404 eingegebenen Positions-/Orientierungsinformationen berechnet sind, werden unter Verwendung der Korrekturinformationen korrigiert und ausgegeben.
Eine Marke wird dem einfachen Prototyp gegeben, der durch eine schnelle prototypbildende Vorrichtung aus 3D-Festdaten erzeugt ist (Schritt 1111). Dann wird eine Position der Marke durch ein Lasermessinstrument gemessen, und die resultierenden Markenpositionsinformationen werden aufgezeichnet (Schritt 1112). Dann wird eine Markierung unter Bezugnahme auf die gegebene Marke angebracht (Schritt 1120). Darüber hinaus werden Informationen über die Position, wo die Markierung angebracht ist, unter Bezugnahme auf Markenpositionsinformationen berechnet und sie werden aufgezeichnet (Schritt 1130). Beispielsweise werden Markierungen an Positionen von gegebenen Marken angebracht, wie in 8 gezeigt, wobei die Markierungspositionen durch vorangehendes [A] berechnet werden können.
Bei der Verarbeitung des Mischrealitätssystems werden bei einem Schritt 3010 Realraumbilddaten in der Informationsverarbeitungseinrichtung 400 erfasst. Dann extrahiert der Markierungsdetektionsabschnitt 410 eine Position einer an dem einfachen Prototyp 300 angebrachten Markierung aus den Realraumbilddaten (Schritt 3011) Korrekturinformationen werden unter Verwendung der bei dem Schritt 1130 im Voraus gespeicherten Markierungsposition und der bei dem Schritt 3011 aus den Bilddaten extrahierten Position berechnet, und ein aus der Position/Orientierung-Messvorrichtung 205 ausgegebenes und in der Informationsverarbeitungseinrichtung 400 erfasstes Messergebnis wird mit den berechneten Korrekturinformationen korrigiert (Schritt 2031). Dann wird ein CG-Rendering unter Verwendung der korrigierten Daten durchgeführt (2040).
Auch wenn gemäß diesem Ausführungsbeispiel eine Markierung unter Bezugnahme auf eine einem einfachen Prototyp 300 gegebene Marke angebracht wird, ist die Erfindung nicht darauf beschränkt. Eine Markierung kann in Bezug auf eine einem realen Objekt (wie beispielsweise einer Grundplatte) in dem Hintergrund des einfachen Prototyps 300 angebracht werden. Marken können sowohl dem einfachen Prototyp als auch dem realen Objekt in dem Hintergrund gegeben werden.
Wie zuvor beschrieben wird gemäß dem zweiten Ausführungsbeispiel eine Marke einem einfachen Prototyp gegeben und sie wird als ein Bezug zum Anbringen einer Markierung verwendet. Folglich können Positionsinformationen der angebrachten Markierung erlangt werden. Mit anderen Worten, eine Vorbereitung zum Verarbeiten eines Platzierens von 3D-CG-Daten über einen einfachen. Prototyp (Registrierung von Markierungspositionsinformationen) kann einfach durchgeführt werden.
[Drittes Ausführungsbeispiel]
Gemäß einem dritten Ausführungsbeispiel wird ein Geben einer Markierung an einen einfachen Prototyp (einfache Attrappe) gemäß einem zweiten Ausführungsbeispiel erzielt, indem Markenformdaten zu 3D-CAD-Daten eines einfachen Prototyps gegeben werden. Ein Verarbeitungsfluss gemäß dem dritten Ausführungsbeispiel wird unter Bezugnahme auf 11 beschrieben. Den gleichen Schritten wie denjenigen der Verarbeitung ( 10) gemäß dem zweiten Ausführungsbeispiel sind die gleichen Bezugszeichen gegeben. Eine Konstruktion eines Mischrealitätssystems gemäß dem dritten Ausführungsbeispiel ist die gleiche wie die Konstruktion (9) des zweiten Ausführungsbeispiels.
Zuerst wird ein dreidimensionales CAD-System 1010 verwendet, um Markenformdaten zu 3D-CAD-Festdaten zu geben (Schritt 1011), und um Positionsinformationen darauf aufzuzeichnen (Schritt 1012).
Mit anderen Worten, eine Marke wird zu 3D-CAD-Festdaten als Formdaten in den 3D-CAD-Festdaten gegeben. Hier können Markenformdaten mehrere sich kreuzende Kanäle oder mehrere kleine Löcher oder Vorsprünge haben, welche die Kreuzungen angeben (vgl. 7A und 7B). In diesem Fall ist der durch sich kreuzende Kanäle gebildete Winkel nicht auf 90 Grad begrenzt, sondern kann irgendein Winkel sein, wie beispielsweise 60 Grad. Offensichtlich können, wenn eine Position zum Anbringen einer Markierung präzise bestimmt ist, der Position nur Formdaten, wie beispielsweise ein kleines Loch und ein kleiner Vorsprung, gegeben werden. Hier kann nur durch Spezifizieren einer Markierungsposition ein Mechanismus zum automatischen Geben von vorerzeugten Formdaten zu einer vorbestimmten Position in das 3D-CAD-System 1010 eingebaut sein.
Als Nächstes erzeugt bei einem Schritt 1110 bei einer 3D-Formausgestaltungserzeugungsverarbeitung beispielsweise eine schnelle prototypbildende Vorrichtung für Lichtformgebung einen einfachen Prototyp 300 mit einer Markenform. Mit anderen Worten, kleine Kanäle oder kleine Löcher oder Vorsprünge werden auf eine Fläche des einfachen Prototyps 300 gegeben. Beispielsweise wird ein einfacher Prototyp 300 mit einer Marke erzeugt, wie in 7A oder 7B gezeigt. Unter Bezugnahme auf die gegebene Markenform wird an dem einfachen Prototyp 300 eine Markierung angebracht (Schritt 1120).
An dem einfachen Prototyp 300 angebrachte Positionsinformationen auf der Markierung werden auf der Grundlage von Positionsinformationen über zu den 3D-CAD-Festdaten gegebenen Markenformdaten (welche bei dem Schritt 1012 aufgezeichnet sind) berechnet, und sie werden aufgezeichnet (Schritt 1130). Die gegebenen "Positionsinformationen über Formdaten" können in dem 3D-CAD-System 1010 leicht berechnet werden. Positionsinformationen über eine Markierung können beispielsweise einfach aus einem absoluten Abstand von einer nächsten Markenform und/oder Abstandsverhältnissen von mehreren Markenformen in dem Hintergrund berechnet werden.
Andererseits werden, da 3D-CG-Renderingdaten keine Markierung gegeben zu werden braucht, 3D-CAD-Festdaten ohne Markenformdaten in ein Datenformat (wie beispielsweise VRML) umgewandelt, das zum Rendern von 3D-CG geeignet sind (Schritt 1210). Beispielsweise wird eine "nicht gerenderte" Kennung für Formdaten definiert, die nicht an 3D-CG-Renderingdaten von 3D-CAD-Festdaten zu geben sind. Bei einem 3D-CG-Renderingdatenumwandlungsschritt 1210 werden Formdaten ohne die "nicht-gerendet"-Kennung nur in 3D-CG-Daten umgewandelt.
Das Mischrealitätssystem erzeugt einen Virtuellraum unter Verwendung von aus der Umwandlung resultierenden 3D-CG-Renderingdaten 406. Die Verarbeitung des Mischrealitätssystems ist die gleiche wie diejenige bei dem zweiten Ausführungsbeispiel.
Gemäß dem dritten Ausführungsbeispiel werden Markenformdaten zu 3D-CAD-Daten eines einfachen Prototyps gegeben und als ein Bezug zum Anbringen einer Markierung verwendet. Jedoch ist die Erfindung nicht darauf beschränkt. Markenformdaten können zu 3D-CAD-Daten eines realen Objekts (wie beispielsweise einer Grundplatte) in dem Hintergrund des einfachen Prototyps gegeben werden, und sie können als ein Bezug zum Anbringen einer Markierung verwendet werden. Markenformdaten können sowohl 3D-CAD-Daten des einfachen Prototyps als auch des realen Objekts in dem Hintergrund gegeben werden.
Auch wenn gemäß dem dritten Ausführungsbeispiel Markenformdaten zu 3D-CAD-Daten gegeben werden, kann ein Mechanismus zum automatischen Geben von vorbestimmten Formdaten nur durch Spezifizieren einer Markenposition auf 3D-CAD-Daten in das 3D-CAD-System 1010 eingebaut sein. Beispielsweise kann als Reaktion auf eine Anweisung zum Geben von Markenformdaten eine Marke mit einem Schachbrettmuster, wie in 7A gezeigt, bei einer unteren linken Ecke gegeben werden, welche als eine gewünschte Position vorbestimmt ist.
Wie zuvor beschrieben können Positionsinformationen über eine angebrachte Markierung gemäß dem dritten Ausführungsbeispiel einfach erlangt werden, indem Markenformdaten zu 3D-CAD-Daten eines einfachen Prototyps gegeben werden und die Markenformdaten als ein Bezug zum Anbringen der Markierung verwendet werden. Mit anderen Worten, eine Vorbereitung zum Verarbeiten eines Platzierens eines einfachen Prototyps und von 3D-CG-Daten übereinander (Registrierung von Markierungspositionsinformationen) kann einfach durchgeführt werden.
[Viertes Ausführungsbeispiel]
Ein viertes Ausführungsbeispiel ist ein Mischrealitätssystem, bei welchem eine Sensoreinbettungsform in einem einfachen Prototyp (einfache Attrappe) erzeugt wird, indem eine Sensoreinbettungsposition in 3D-CAD-Daten spezifiziert wird.
12 zeigt eine spezifische Konstruktion einer Informationsverarbeitungseinrichtung 400 gemäß dem vierten Ausführungsbeispiel. Die Konstruktion der Informationsverarbeitungseinrichtung 400 gemäß dem vierten Ausführungsbeispiel ist die gleiche wie diejenige des ersten Ausführungsbeispiels (3). Da jedoch gemäß diesem Ausführungsbeispiel kein Handbereich extrahiert wird, werden sich auf den Handbereich beziehende Komponenten (welche der Handbereichsextraktionsabschnitt 420 und die Handfarbeinformationenregistrierdaten 421 sind) hier ausgelassen. Offensichtlich kann die Handbereichsextraktion wie bei dem ersten Ausführungsbeispiel und/oder die Markierungsextraktion wie bei dem zweiten Ausführungsbeispiel durchgeführt werden.
Als Nächstes wird ein Verarbeitungsfluss gemäß dem vierten Ausführungsbeispiel unter Bezugnahme auf 13 beschrieben. Die gleichen Schritte, wie diejenigen bei der Verarbeitung (5) gemäß dem ersten Ausführungsbeispiel, sind mit den gleichen Bezugszeichen versehen.
Zuerst wird ein dreidimensionales CAD-System 1010 verwendet, um eine Sensoreinbettungsposition und -orientierung in den 3D-CAD-Festdaten zu spezifizieren.
Als eine Sensoreinbettungsposition kann beispielsweise eine Zentrumsposition eines Sensors spezifiziert werden. Mit anderen Worten, Sensoreinbettungsformdaten werden zu 3D-CAD-Festdaten gegeben (Schritt 1013) und ihre Positionsinformationen und Orientierungsinformationen werden aufgezeichnet (Schritt 1014). Folglich werden Sensoreinbettungsformdaten in 3D-CAD-Festdaten gegeben. Beispielsweise kann ein Mechanismus zum automatischen Geben von vorerzeugten Sensoreinbettungsformdaten bei einer definierten Position und in einer definierten Orientierung in das 3D-CAD-System 1010 eingebaut sein. Dann erzeugt eine schnelle prototypbildende Vorrichtung beispielsweise einen einfachen Prototyp 300 mit einer Sensoreinbettungsform (Schritt 1110).
Andererseits werden, da eine Sensoreinbettungsform nicht zu 3D-CG-Renderingdaten gegeben zu werden braucht, 3D-CAD-Festdaten ohne Sensoreinbettungsformdaten in ein Datenformat (wie beispielsweise VRML) umgewandelt, das bei dem 3D-CG-Renderingdatenumwandlungsschritt 1210 zum Rendern von 3D-CG geeignet ist. Folglich werden 3D-CG-Renderingdaten 406 ohne die Sensoreinbettungsform beispielsweise durch Definieren einer "nicht-gerendert"-Kennung für eine Sensoreinbettungsform von 3D-CAD-Festdaten und Verhindern einer Wandlung von Daten mit der "nicht-gerendert"-Kennung bei dem 3D-CG-Renderingdatenumwandlungsschritt 1210 erzeugt.
Das Mischrealitätssystem schafft einen Virtuellraum unter Verwendung von aus der Umwandlung resultierenden 3D-CG-Renderingdaten 406. Mit anderen Worten, die bei dem Schritt 1014 aufgezeichneten Sensorpositionsinformationen werden zum Aufzeichnen einer Anfangsposition und -orientierung des einfachen Prototyps 300 verwendet (Schritt 2001). Dann werden die aufgezeichnete Anfangsposition und -orientierung und Daten über den Sender 200 und Sensor 202 verwendet, um eine Position und Orientierung des einfachen Prototyps 300 in einem Realraum zu messen (Schritt 2010). Gemäß dem ersten bis dritten Ausführungsbeispiel werden die Anfangsposition und -orientierung des einfachen Prototyps 300 bei (nicht abgebildeten) Schritten vor dem Schritt 2010 gemessen. Beispielsweise kann der einfache Prototyp 300 bei einer vorbestimmten Position und in einer vorbestimmten Orientierung fixiert sein, und es werden Positions- und Orientierungsmesswerte des Sensors zu dieser Zeit gelesen. Unterschiede zwischen den Messwerten und vorbestimmten Werten werden als "Position und Orientierung des montierten Sensors" behandelt.
Wie zuvor beschrieben kann gemäß dem vierten Ausführungsbeispiel eine Sensoreinbettungsform in einem einfachen Prototyp einfach durch Spezifizieren der Sensoreinbettungsform auf 3D-CAD-Daten erzeugt werden. Mit anderen Worten, eine Vorbereitung bzw. Erstellung eines Platzierens eines einfachen Prototyps und von 3D-CG-Daten übereinander (Erzeugen einer Sensoreinbettungsform) kann leicht durchgeführt werden, da eine Sensoreinbettungsform einfacher erzeugt werden kann als ein Erzeugen eines einfachen Prototyps und dann Erzeugen einer Sensoreinbettungsform.
Wie zuvor beschrieben kann gemäß den vorangehenden Ausführungsbeispielen eine Vorbereitung einfach durchgeführt werden, um ein Mischrealitätssystem zum Durchführen einer Verarbeitung eines Platzierens, unter Verwendung derselben Positions- und Orientierungsinformationen, von durch Umwandeln von 3D-CAD-Daten erzeugten 3D-CG-Daten über einen in einer schnellen prototypbildenden Vorrichtung hergestellten einfachen Prototyp (einfache Attrappe) aus denselben 3D-CAD-Daten zu verwenden.
Die Aufgabe der Erfindung kann offensichtlich sogar durch Zuführen eines Speichermediums, welches einen Softwareprogrammcode zum Ausführen der Funktionen gemäß den zuvor beschriebenen Ausführungsbeispielen speichert, zu einem System oder einer Vorrichtung und Lesen und Ausführen des in dem Speichermedium gespeicherten Programmcodes durch einen Computer (oder eine CPU oder eine MPU) in dem System oder der Vorrichtung erzielt werden.
In diesem Fall führt der von bzw. aus dem Speichermedium gelesene Programmcode die Funktionen gemäß den zuvor beschriebenen Ausführungsbeispielen aus, und die Erfindung umfasst ein den Programmcode speicherndes Speichermedium.
Ein Speichermedium zum Zuführen von Programmcode kann eine flexible Disk, eine Festplatte, eine optische Disk, eine magnetooptische Disk, ein CD-ROM, ein CD-R, ein Magnetband, eine nichtflüchtige Speicherkarte oder ein ROM sein.
Offensichtlich führt gemäß der Erfindung ein Computer gelesenen Programmcode aus, so dass die Funktionen der zuvor beschriebenen Ausführungsbeispiele ausgeführt werden können. Darüber hinaus kann gemäß der Erfindung beispielsweise ein auf einem Computer arbeitendes Betriebssystem (OS) einen Teil oder die gesamte tatsächliche Verarbeitung auf der Grundlage einer Anweisung von dem Programmcode durchführen, so dass die Verarbeitung die Funktionen gemäß den zuvor beschriebenen Ausführungsbeispielen ausführen kann.
Zudem kann gemäß der Erfindung, nachdem von einem Speichermedium gelesener Programmcode in einen Speicher in einer Funktionserweiterungskarte in einem Computer oder in einer mit einem Computer verbindenden Funktionserweiterungseinheit geschrieben ist, beispielsweise eine CPU in der Funktionserweiterungskarte oder der Funktionserweiterungseinheit einen Teil oder die gesamte tatsächliche Verarbeitung auf der Grundlage von Anweisungen von dem Programmcode durchführen, so dass die Verarbeitung die Funktionen gemäß den zuvor beschriebenen Ausführungsbeispielen ausführen kann.
Auch wenn die vorliegende Erfindung unter Bezugnahme darauf beschrieben wurde, was derzeit als die bevorzugten Ausführungsbeispiele betrachtet wird, ist es zu verstehen, dass die Erfindung nicht auf die offenbarten Ausführungsbeispiele beschränkt ist. Im Gegenteil, die Erfindung beabsichtigt, verschiedenste Modifikationen und äquivalente Anordnungen abzudecken, welche in dem Geltungsbereich der beigefügten Ansprüche umfasst sind.

Claims

Bildanzeigeverfahren zum Bereitstellen eines verschmolzenen Bildes für einen Betrachter, wobei das Bild durch Verschmelzen eines Virtuellraumbildes und eines Realraumbildes entsprechend einem Ansichtspunkt erzeugt ist, wobei das Verfahren umfasst a) einen Eingabeschritt (3010) zum Eingeben eines durch eine Bildaufnahmevorrichtung (102) erlangten Realraumbildes, wobei der Realraum eine Attrappe (300) umfasst, die auf der Grundlage von dreidimensionalen CAD-Daten erzeugt ist, b) einen Messschritt zum Messen von Positionen und Orientierungen der Bildaufnahmevorrichtung (2020) und der Attrappe (2010), c) einen Bereichsextrahierschritt (5010) zum Extrahieren eines Bereichs einer vorbestimmten Farbe aus dem Realraumbild, d) Erzeugen eines Virtuellattrappenbildes (406), das den dreidimensionalen CAD-Daten entspricht, auf der Grundlage der Positionen und Orientierungen der Bildaufnahmevorrichtung und der Attrappe, und e) einen Verschmelzschritt (4010) zum Verschmelzen des Virtuellattrappenbildes und des Realraumbildes mit Ausnahme des extrahierten Bereichs, wobei die Attrappe eine von der vorbestimmten Farbe verschiedene Farbe hat.
Bildanzeigeverfahren nach Anspruch 1, wobei die Attrappe eine Komplementärfarbe zu der vorbestimmten Farbe hat.
Bildanzeigeverfahren nach Anspruch 1, wobei die Farbe der Attrappe im Wesentlichen die selbe wie eine Farbe eines realen Objekts in dem Hintergrund ist, das in das Realraumbild einzubeziehen ist.
Bildanzeigeverfahren nach Anspruch 1, wobei die Farbe eines realen Objekts in dem Hintergrund, das in das Realraumbild einzubeziehen ist, von der Farbe der Attrappe verschieden ist.
Bildanzeigesystem zum Bereitstellen eines verschmolzenen Bildes für einen Betrachter, wobei das Bild durch Verschmelzen eines Virtuellraumbildes und eines Realraumbildes entsprechend einem Ansichtspunkt erzeugt ist, wobei das System umfasst a) eine Eingabeeinheit (401) zur Eingabe eines durch eine Bildaufnahmevorrichtung (102) erlangten Realraumbildes, wobei das Realraumbild eine Attrappe (300) umfasst, die auf der Grundlage von dreidimensionalen CAD-Daten erzeugt ist, b) eine Messeinheit (205) zur Messung von Positionen und Orientierungen der Bildaufnahmevorrichtung und der Attrappe, c) eine Bereichsextraktionseinheit (420) zur Extraktion eines Bereichs mit einer vorbestimmten Farbe aus dem Realraumbild, d) eine Erzeugungseinheit zur Erzeugung eines Virtuellattrappenbildes, das den dreidimensionalen CAD-Daten entspricht, auf der Grundlage der Positionen und Orientierungen der Bildaufnahmevorrichtung und der Attrappe, und e) eine Verschmelzungseinheit (402) zur Verschmelzung des Virtuellattrappenbildes und des Realraumbildes mit Ausnahme des extrahierten Bereichs, wobei die Attrappe eine von der vorbestimmten Farbe verschiedene Farbe hat.