GR20170100338A - A method for the production and support of virtual-reality theatrical performances - installation for the application of said method - Google Patents
A method for the production and support of virtual-reality theatrical performances - installation for the application of said method Download PDFInfo
- Publication number
- GR20170100338A GR20170100338A GR20170100338A GR20170100338A GR20170100338A GR 20170100338 A GR20170100338 A GR 20170100338A GR 20170100338 A GR20170100338 A GR 20170100338A GR 20170100338 A GR20170100338 A GR 20170100338A GR 20170100338 A GR20170100338 A GR 20170100338A
- Authority
- GR
- Greece
- Prior art keywords
- digital content
- augmented reality
- stage
- server
- performance
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
ΠΕΡΙΓΡΑΦΗ DESCRIPTION
Μέθοδος παραγωγής και υποστήριξης θεατρικών παραστάσεων επαυξημένης πραγματικότητας και εγκατάσταση για την εφαρμογή της Method for producing and supporting augmented reality theatrical performances and installation for implementing the same
Η παρούσα πρόταση αναφέρεται σε μία μέθοδο παραγωγής και υποστήριξης θεατρικών παραστάσεων επαυξημένης πραγματικότητας. Συγκεκριμένα η μέθοδος που προτείνουμε δίνει τη δυνατότητα δημιουργίας ψηφιακού περιεχομένου επαυξημένης πραγματικότητας ικανού να παρουσιαστεί ζωντανά ως μέρος μιας παράστασης καθώς και να αλληλεπιδρά με φυσικά πρόσωπα και αντικείμενα σε πραγματικό χρόνο. Η εφεύρεση αφορά επίσης την εγκατάσταση που είναι απαραίτητη για τη λειτουργία του συστήματος. The present proposal refers to a method of producing and supporting augmented reality theatrical performances. Specifically, the method we propose enables the creation of augmented reality digital content capable of being presented live as part of a performance as well as interacting with physical persons and objects in real time. The invention also relates to the installation necessary for the operation of the system.
Μέχρι σήμερα έχουν πραγματοποιηθεί παραστάσεις όπου έχουν χρησιμοποιηθεί απλές βιντεοπροβολές, προβολές πολλαπλών επιφανειών (projection mapping), τεχνικές ανίχνευσης κίνησης (motion capture), περιβαλλοντικές προβολές (environmental projection) με σχεδίασμά σκηνής ή συνδυασμός αυτών. Σε όλες τις παραπάνω περιπτώσεις, στο τελικό, παραστάσιμο αποτέλεσμα διαφαίνεται εντόνως η διαχωριστική γραμμή μεταξύ πραγματικού και ψηφιακού κόσμου, με αποτέλεσμα η εμβύθιση του θεατή στο ενιαίο υβριδικό περιβάλλον να είναι περιορισμένη. Ακόμα και στην περίπτωση των περιβαλλοντικών προβολών, που η συνύπαρξη ψηφιακού και πραγματικού είναι αρκετά φιλική προς τον θεατή, η αλληλεπίδραση μεταξύ των δύο κόσμων είναι σαφώς περιορισμένη και το περιβάλλον εντέλει άκαμπτο. Σε πιο εξεζητημένες προσπάθειες, όπως η δημιουργία ολογραμμάτων με χρήση οθόνης και ανακλαστικών επιφανειών, επιτυγχάνεται ομολογουμένως υψηλής ποιότητας συγχώνευση ψηφιακού και πραγματικού κόσμου. Παράλληλα, όμως, αυτή η επιλογή επιβάλει αυστηρή διαμόρφωση της σκηνής. Έτσι, ο σκηνικός χώρος δεν είναι εύκολα προσαρμόσιμος σε όλες τις ανάγκες μίας παράστασης και επομένως, οι καλλιτεχνικές επιλογές περιορίζονται από τις απαιτήσεις της τεχνολογικής εγκατάστασης. Εν κατακλείδι, στις μέχρι στιγμής απόπειρες είτε η τεχνολογία αποτυγχάνει εν μέρει να υπηρετήσει το καλλιτεχνικό όραμα, είτε η καλλιτεχνική ανάγκη περιορίζεται και εντέλει λειτουργεί μόνο ως αφορμή για την επίδειξη των τεχνολογικών επιτευγμάτων. To date, there have been performances where simple video projections, multi-surface projections (projection mapping), motion capture techniques, environmental projections with stage design or a combination of these have been used. In all the above cases, the dividing line between the real and the digital world is strongly visible in the final, presentable result, with the result that the viewer's immersion in the single hybrid environment is limited. Even in the case of environmental projections, where the coexistence of digital and real is quite friendly to the viewer, the interaction between the two worlds is clearly limited and the environment ultimately rigid. In more sophisticated efforts, such as creating holograms using a screen and reflective surfaces, an admittedly high-quality fusion of the digital and real worlds is achieved. At the same time, however, this choice imposes a strict configuration of the scene. Thus, the stage space is not easily adaptable to all the needs of a performance and therefore, the artistic choices are limited by the requirements of the technological installation. In conclusion, in the attempts so far either the technology partially fails to serve the artistic vision, or the artistic need is limited and ultimately functions only as an occasion for the demonstration of technological achievements.
Η επαυξημένη πραγματικότητα είναι μία παλιά τεχνολογία που επανήλθε στο προσκήνιο τα τελευταία χρόνια λόγω της αξιοποίησής της στα έξυπνα κινητά τηλέφωνα. Ωστόσο, σήμερα παρατηρούμε μεγάλη τεχνολογική εξέλιξη και μία σταδιακά όλο και μεγαλύτερη εφαρμογή στην καθημερινότητα σε μία άλλη κατηγορία συσκευών, αυτή των γυαλιών επαυξημένης πραγματικότητας τα οποία αξιοποιούνται στην παρούσα εφεύρεση. Οι εν λόγω συσκευές χαρακτηρίζονται από το ότι δίνουν τη δυνατότητα στο χρήστη να βλέπει απευθείας, μέσα από το μέσο, τον πραγματικό κόσμο που τον περιβάλει. Έτσι, σε αντίθεση με τη χρήση οθονών, επιτυγχάνεται η μέγιστη εμβύθιση στο υβριδικό περιβάλλον. Στην περίπτωση της επαυξημένης πραγματικότητας μέσω έξυπνων κινητών συσκευών, η εμβύθιση του χρήστη (θεατή στην περίπτωσή μας) είναι περιορισμένη, καθώς είναι αναγκασμένος να βλέπει το πραγματικό περιβάλλον μέσα από μία οθόνη, γεγονός που σημαίνει ότι η εικόνα του πραγματικού περιβάλλοντος ουσιαστικά ψηφιοποιείται, σε πρώτη φάση, μέσω κάμερας και σε δεύτερη φάση προσαρτώνται σε αυτήν, τα ψηφιακά μοντέλα. Δηλαδή το οπτικό αποτέλεσμα που καταλήγει στον χρήστη είναι, τελικά, ένα εντελώς ψηφιοποιημένο προϊόν. Όμως, στα γυαλιά επαυξημένης πραγματικότητας το πραγματικό περιβάλλον γίνεται αντιληπτό μέσα από διαφανείς οπτικούς φακούς, στους οποίους ταυτόχρονα μπορεί να προβάλλεται και ψηφιακό περιεχόμενο. Augmented reality is an old technology that has come back to the fore in recent years due to its use in smart mobile phones. However, today we observe great technological development and a gradually increasing application in everyday life in another category of devices, that of augmented reality glasses which are used in the present invention. These devices are characterized by the fact that they enable the user to see directly, through the medium, the real world that surrounds him. Thus, unlike using screens, maximum immersion in the hybrid environment is achieved. In the case of augmented reality through smart mobile devices, the immersion of the user (viewer in our case) is limited, as he is forced to see the real environment through a screen, which means that the image of the real environment is essentially digitized, first phase, through a camera and in a second phase, the digital models are attached to it. That is, the visual result that ends up on the user is, finally, a completely digitized product. However, in augmented reality glasses, the real environment is perceived through transparent optical lenses, on which digital content can be projected at the same time.
Μέχρι σήμερα, τα γυαλιά επαυξημένης πραγματικότητας αποτελούν ένα εργαλείο που έχει αρχίσει να αξιοποιείται πιλοτικά σε διάφορους τομείς, όπως στην ψηφιακή οργάνωση και δραστηριότητα σε ατομικό επίπεδο, σε ηλεκτρονικά παιχνίδια, καθώς και στην έρευνα, αλλά και σε ομάδες εκπαίδευσης στην βιομηχανία και τον εταιρικό κόσμο. Για παράδειγμα, στην αυτοκινητοβιομηχανία και σε κατασκευαστικές εταιρίες, ομάδες μηχανικών παρακολουθούν μέσω των γυαλιών αυτών και αλληλεπιδρούν ταυτόχρονα, με 3Δ απεικονίσεις είτε επιμέρους τμήματος είτε ολόκληρης της κατασκευής πάνω στην οποία εργάζονται και ερευνούν. Όμως, αυτή η τεχνολογία δεν έχει αξιοποιηθεί στις παραστατικές τέχνες μιας και οι λειτουργίες που προσφέρει εκ κατασκευής δεν καθιστούν αυτονόητη μία τέτοιου είδους χρήση. To date, augmented reality glasses are a tool that has begun to be piloted in a variety of areas, such as digital organization and activity at the individual level, in electronic games, as well as in research, but also in training groups in industry and the corporate world. . For example, in the automotive industry and in construction companies, teams of engineers watch through these glasses and interact simultaneously, with 3D visualizations of either individual parts or the entire structure they are working on and researching. However, this technology has not been exploited in the performing arts since the functions it offers by construction do not make such a use self-evident.
Βασικά χαρακτηριστικά των γυαλιών επαυξημένης πραγματικότητας που βοηθούν το σκοπό της παρούσας εφεύρεσης είναι ο συνδυασμός πολλαπλών αισθητήρων αντίληψης του περιβάλλοντος, καθώς και η αξιοποίηση αλγορίθμων ταυτόχρονου εντοπισμού και χαρτογράφησης (SLAM - Simultaneous Localization and Mapping). Με βάση αυτά τα χαρακτηριστικά, είναι δυνατό να τοποθετούνται ψηφιακά εικονικά 3Δ γραφικά στοιχεία σε συγκεκριμένα σημεία πάνω στο πραγματικό περιβάλλον και να σταθεροποιούνται σε αυτό, αποκτώντας μία σχετική θέση με τον χρήστη των γυαλιών. Έτσι, στο οπτικό πεδίο του θεατή, πέρα από το πραγματικό περιβάλλον το οποίο αντιλαμβάνεται πλήρως, προσαρτώνται σε αυτό ψηφιακά 3Δ στοιχεία, τοποθετημένα, προσανατολισμένα και εξαρτημένα από τον περιβάλλοντα χώρο. Επιπλέον δίνεται η δυνατότητα αλληλεπίδρασης του θεατή, που φορά τα γυαλιά, με τα ψηφιακά 3Δ στοιχεία. Basic characteristics of augmented reality glasses that help the purpose of the present invention are the combination of multiple sensors for perception of the environment, as well as the utilization of simultaneous localization and mapping algorithms (SLAM - Simultaneous Localization and Mapping). Based on these features, it is possible to place digitally virtual 3D graphic elements at specific points on the real environment and stabilize it, acquiring a relative position with the wearer of the glasses. Thus, in the viewer's field of vision, in addition to the real environment which he fully perceives, digital 3D elements are attached to it, positioned, oriented and dependent on the surrounding space. In addition, the viewer, who wears the glasses, can interact with the digital 3D elements.
Ωστόσο, τα χαρακτηριστικά των γυαλιών επαυξημένης πραγματικότητας, από μόνα τους, δεν αρκούν για τη δημιουργία μία θεατρικής παράστασης επαυξημένης πραγματικότητας. Μία θεατρική παράσταση εκτελείται σε πραγματικό χρόνο και έχει μεγάλες απαιτήσεις συγχρονισμού μεταξύ της πραγματικής σκηνής, των ηθοποιών και των όποιων ψηφιακών μέσων χρησιμοποιούνται. Η σωστή τοποθέτηση του περιεχομένου επαυξημένης πραγματικότητας στο χώρο δεν μπορεί να βασιστεί αποκλειστικά στη σάρωση των αισθητήρων στα γυαλιά καθενός από του θεατές, μιας και οι συνθήκες στο χώρο του θεάτρου διαφέρουν σημαντικά από τις ιδανικές συνθήκες για τις οποίες έχουν δοκιμαστεί, με αποτέλεσμα την αύξηση της πιθανότητας λάθους. Αφενός, ο φωτισμός μπορεί να εναλλάσσεται έντονα και να συνδυάζεται με άλλα οπτικά εφέ (π.χ. καπνός) επί σκηνής, ενώ το οπτικό πεδίο κάθε θεατή μπορεί να αλλοιώνεται με διαφορετικούς τρόπος (π.χ. άλλοι θεατές μπροστά του). Επιπλέον, η τεχνολογία των γυαλών, παρόλο που επιτρέπει την τοποθέτηση ψηφιακών αντικειμένων ή χαρακτήρων στον χώρο, δεν εξασφαλίζει την αλληλεπίδραση τους με την παρουσία και δράση φυσικών προσώπων πέραν του χρήστη τους. However, the features of augmented reality glasses alone are not enough to create an augmented reality theatrical performance. A theatrical performance is performed in real time and has great demands for synchronization between the actual stage, the actors and any digital media used. The correct placement of augmented reality content in the venue cannot rely solely on scanning the sensors on each spectator's glasses, as the conditions in the theater space differ significantly from the ideal conditions for which they have been tested, resulting in an increase in possibility of error. On the one hand, the lighting can change strongly and combine with other visual effects (eg smoke) on stage, while the visual field of each viewer can be altered in different ways (eg other viewers in front of them). In addition, the technology of the glasses, although it allows the placement of digital objects or characters in the space, does not ensure their interaction with the presence and action of natural persons beyond their user.
Η μέθοδος που αποτελεί αντικείμενο της παρούσας εφεύρεσης, συνίσταται από μία σειρά φάσεων στις οποίες συνδυάζονται τα χαρακτηριστικά των γυαλιών με άλλες τεχνολογίες με τη βοήθεια ενός συστήματος λογισμικού. Σκοπός της μεθόδου είναι η δημιουργία μια σταθερής σχέσης μεταξύ πραγματικού κόσμου και ψηφιακού περιεχομένου επαυξημένης πραγματικότητας που δημιουργεί στους θεατές την αίσθηση ενός ενιαίου περιβάλλοντος κατά τη διάρκεια της θεατρικής παράστασης, ενώ ταυτόχρονα επιτρέπει την αλληλεπίδραση του ψηφιακού περιεχομένου με του ερμηνευτές και τα άλλα στοιχεία της θεατρικής σκηνής, σε πραγματικό χρόνο. The method that is the object of the present invention consists of a series of phases in which the characteristics of the glasses are combined with other technologies with the help of a software system. The purpose of the method is to create a stable relationship between the real world and augmented reality digital content that creates for the audience a sense of a unified environment during the theatrical performance, while at the same time allowing the interaction of the digital content with the performers and other elements of the theater scene, in real time.
Η μέθοδος που προτείνουμε μπορεί να αξιοποιηθεί σε κάθε είδος δρώμενου ή παράστασης, καλύπτοντας όλο το φάσμα των παραστατικών τεχνών. Με ίσως διαφορετική χρήση κατά περίπτωση, η εφαρμογή της μεθόδου που προτείνουμε μπορεί να αξιοποιηθεί σε κλασσικές παραστάσεις, αλλά και σε σύγχρονης λογικής παραστάσεις όπως “θέατρο επινόησης” και “θέατρο της πραγματικότητας”. The method we propose can be used in any kind of event or performance, covering the entire spectrum of the performing arts. With perhaps a different use on a case-by-case basis, the application of the method we propose can be used in classical performances, but also in modern logical performances such as "theatre of invention" and "theatre of reality".
Πιο αναλυτικά, σε ένα θέατρο που διαθέτει μία τέτοια εγκατάσταση, δίνεται η δυνατότητα ανεξάντλητων επιλογών, μερικές μόνο από τις οποίες μπορεί να είναι οι παρακάτω: In more detail, a theater that has such a facility is given the possibility of endless options, just some of which may be the following:
· Όσον αφορά τον σκηνικό χώρο, υπάρχει η δυνατότητα να αντιγράψουμε πολύ πιο πιστά την εποχή στην οποία αναφέρεται ένα έργο και να μεταφέρουμε στο θεατή μέσω της εικόνας, πληροφορίες αλλά και την ατμόσφαιρα μιας άλλης εποχής. · As far as the stage area is concerned, there is the possibility to copy much more faithfully the era to which a work refers and to convey to the viewer, through the image, information as well as the atmosphere of another era.
• Σκηνικές κατασκευές μπορούν να αντικατασταθούν με στοιχεία επαυξημένης πραγματικότητας χωρίς να μας απασχολεί η πολυπλοκότητα τους, ο τρόπος μεταφοράς ή η αποθήκευση τους στο χώρο. • Stage constructions can be replaced with augmented reality elements without worrying about their complexity, how to transport or store them in the space.
• Μπορούμε να αναπαραστήσουμε καιρικά φαινόμενα και γενικά φυσικά φαινόμενα που πολλές φορές περιγράφονται στα έργα αλλά δεν υπάρχουν τα μέσα ως σήμερα για να μεταφερθούν πειστικά στη σκηνή. • We can represent weather phenomena and general natural phenomena that are often described in the works but there are no means to date to convincingly transfer them to the stage.
• Δίνεται η δυνατότητα πολύ γρήγορης εναλλαγής των σκηνικών χώρων. Μπορούμε πολύ εύκολα να μεταφερόμαστε σε διαφορετικούς χώρους, εσωτερικούς ή εξωτερικούς, πραγματικούς ή φανταστικούς, χωρίς να εμποδίζεται η ομαλή ροή της σκηνικής δράσης. Σε πολλές μάλιστα περιπτώσεις αν κάτι τέτοιο είναι επιθυμητό μπορείς να δημιουργήσεις σκηνικούς χώρους, ιδιαιτέρως ανατρεπτικούς με μοναδικά χαρακτηριστικά, όπου αναιρούνται ακόμα και οι φυσικοί νόμοι. Μέχρι σήμερα, στις συμβατικές παραστάσεις η αλλαγή του σκηνικού, ειδικά σε μεγάλης έκτασης θεάματα, συνήθως απαιτεί την ύπαρξη διαλείμματος ή κάποιου είδους ιντερμέδιο και σίγουρα υψηλή τεχνική υποστήριξη. • It is possible to change the stage areas very quickly. We can very easily move to different spaces, indoor or outdoor, real or imagined, without hindering the smooth flow of the stage action. In fact, in many cases, if something like this is desired, you can create stage spaces, particularly subversive with unique characteristics, where even the laws of nature are negated. To this day, in conventional performances the change of scenery, especially in large-scale spectacles, usually requires the existence of an intermission or some kind of intermission and certainly high technical support.
• Υπάρχει η δυνατότητα δημιουργίας και σκηνικής παρουσίασης υπερβατικών πλασμάτων. Μπορούμε, επιπλέον, να προσδώσουμε υπερβατικές ιδιότητες στους ερμηνευτές. Η γκάμα των φανταστικών πλασμάτων στα θεατρικά έργα είναι πολύ πλούσια. Στην αρχαία ελληνική δραματουργία έχουμε την παρουσία θεών επί σκηνής, στον Σαίξπηρ παράλογα πλάσματα αλλά και ύπαρξη φαντασμάτων, στο θέατρο του παραλόγου μορφές με ιδιαίτερα χαρακτηριστικά στοιχεία που δεν ανήκουν στην ανθρώπινη φυσιολογία. Κάποιες μορφές τέτοιου είδους μπορούν να προκόψουν και από σκηνοθετικές επιλογές. Οι υπερρεαλιστικές αυτές φυσιογνωμίες μπορούν μέσα από την τεχνολογία να βρουν μια νέα μορφή τονώνοντας το στοιχείο της έκπληξης για το θεατή. • There is the possibility of creating and stage presentation of transcendental creatures. We can, moreover, ascribe transcendental qualities to performers. The range of imaginary creatures in plays is very rich. In ancient Greek drama we have the presence of gods on stage, in Shakespeare absurd creatures but also the existence of ghosts, in the theater of the absurd figures with particularly characteristic elements that do not belong to human physiology. Some forms of this kind can also arise from directorial choices. These hyperrealistic figures can, through technology, find a new form, stimulating the element of surprise for the viewer.
• Πολλές φορές στα έργα υπάρχει η ανάγκη παρουσίασης πλήθους, αλλά η δυνατότητα παρουσίας τέτοιου αριθμού φυσικών προσώπων επί σκηνής δεν είναι εφικτή. Με αυτήν την τεχνολογία ο πολλαπλασιασμός των ερμηνευτών επί σκηνής ή η παρουσία εικονικού πλήθους είναι υλοποιήσιμη, μεγαλώνοντας την έμφαση στη δραματουργία ' του έργου. • Many times in the works there is the need to present a crowd, but the possibility of the presence of such a number of natural persons on stage is not feasible. With this technology, the proliferation of performers on stage or the presence of a virtual crowd is feasible, increasing the emphasis on the play's dramaturgy.
• Γίνεται δυνατή η αλληλεπίδραση του θεατή με αυτό που συμβαίνει στη σκηνή μέσω χειρονομιών, οι οποίες αναγνωρίζονται από τα γυαλιά. Η λειτουργία των χειρονομιών είναι προγραμματιζόμενη και έτσι μπορεί να δίνεται η δυνατότητα για αλληλεπίδραση σε συγκεκριμένα σημεία της παράστασης, όπου αυτό κρίνεται επιθυμητό. • It becomes possible for the viewer to interact with what is happening on the scene through gestures, which are recognized by the glasses. The operation of the gestures is programmable and thus the possibility of interaction can be given at specific points of the performance, where this is deemed desirable.
• Η εγκατάσταση δίνει τη δυνατότητα της εξατομίκευσης του θεάματος, πράγμα που αποτελεί μια νέα συνιστώσα στο σύγχρονο θέατρο. Δίνεται, δηλαδή, η επιλογή το θέαμα να είναι συλλογικό, όπου οι θεατές λειτουργούν ως κοινός αποδέκτες του ίδιου θεάματος, ή το θέαμα να είναι εξατομικευμένο, όπου οι θεατές ως μονάδες παρακολουθούν την παράσταση από συγκεκριμένη οπτική διαθέτοντας διαφοροποιημένες παραμέτρους. • The installation enables the personalization of the spectacle, which is a new component in modern theatre. In other words, the choice is given for the spectacle to be collective, where the spectators act as common receivers of the same spectacle, or for the spectacle to be individualized, where the spectators as units watch the performance from a specific perspective having different parameters.
Όλα τα παραπάνω είναι πολύ σημαντικά στοιχεία και ανοίγουν νέους ορίζοντες στις παραστατικές τέχνες, αυξάνοντας την εμπλοκή του θεατή με το έργο τέχνης και ενισχύοντας τα επίπεδα διάδρασης του με το θέαμα. Θα λέγαμε πως συναστούν έναν νέο τρόπο εμβύθισης και αντίληψης των παραστατικών τεχνών. Ουσιαστικά, με την τεχνολογία αρωγό, δημιουργείται πεδίο επαναδιαπραγμάτευσης της έννοιας της «σύμβασης», που εξ' ορισμού υπάρχει στο θέατρο και την τέχνη. All of the above are very important elements and open new horizons in the performing arts, increasing the viewer's involvement with the work of art and enhancing their levels of interaction with the spectacle. We would say that they came up with a new way of immersion and perception of the performing arts. Essentially, with assistive technology, a field is created to renegotiate the concept of "contract", which by definition exists in theater and art.
Η μέθοδος συνίσταται σε τέσσερις αλληλένδετες φάσεις: την προετοιμασία, τον προγραμματισμό, την εγκατάσταση και την εκτέλεση. Στη φάση της προετοιμασίας δίνονται σκηνοθετικές οδηγίες και προετοιμάζεται το περιβάλλον προγραμματισμού. Στη δεύτερη φάση, πραγματοποιείται ο προγραμματισμός του ψηφιακού περιεχομένου επαυξημένης πραγματικότητας και δημιουργούνται επιπλέον δεδομένα που οδηγούν τη διαδικασία. Στη συνέχεια το περιεχόμενο εγκαθίσταται στα γυαλιά επαυξημένης πραγματικότητας και σε άλλα υποσυστήματα, και τέλος, κατά τη διάρκεια της εκτέλεσης της παράστασης αξιοποιούνται δεδομένα σε πραγματικό χρόνο για τη διόρθωση της τοποθέτησης του ψηφιακού περιεχομένου επαυξημένης πραγματικότητας, αλλά και για το συγχρονισμό αυτού με τα ζωντανά στοιχεία της παράστασης. Σε καθεμία από αυτές τις φάσεις μπορεί να προκόψει ανατροφοδότηση της μεθόδου η οποία σημαίνει την επιστροφή σε μία προηγούμενη φάση για την εκτέλεση διορθώσεων. Στη συνέχεια θα παρουσιαστούν αναλυτικά όλες οι φάσεις της μεθόδου. The method consists of four interrelated phases: preparation, planning, installation and execution. In the preparation phase, directing instructions are given and the programming environment is prepared. In the second phase, the programming of the augmented reality digital content takes place and additional data is created to drive the process. The content is then installed in the augmented reality glasses and other subsystems, and finally, during the execution of the performance, real-time data is used to correct the placement of the digital augmented reality content, but also to synchronize it with the live elements of the show. In each of these phases feedback of the method may occur which means returning to a previous phase to perform corrections. Then all the phases of the method will be presented in detail.
Στη φάση της προετοιμασίας, αρχικά ο σκηνοθέτης ή η καλλιτεχνική ομάδα δημιουργεί ένα σύνολο οδηγιών προς τους συντελεστές που θα ασχοληθούν με την δημιουργία του ψηφιακού περιεχομένου επαυξημένης πραγματικότητας. Οι οδηγίες αυτές αποτελούν τις προδιαγραφές του ψηφιακού περιεχομένου που χρειάζεται να κατασκευαστεί, της σχέσης που αυτό έχει με το συγκεκριμένο σκηνικό χώρο στον οποίο θα παρουσιαστεί, και των αναγκών αντίδρασης αυτού στις πράξεις που συμβαίνουν επί σκηνής. Το ψηφιακό περιεχόμενο μπορεί να αποτελείται από αντικείμενα, πρόσωπα, προσομοίωση φυσικών φαινομένων ή και συνδυασμό αυτών, χωρίς όμως να αποκλείονται άλλα είδη ψηφιακού περιεχομένου. Η σχέση του ψηφιακού περιεχομένου με τον περιβάλλοντα σκηνικό χώρο ορίζεται ως η θέση και η κατεύθυνση των ψηφιακών στοιχείων, που συναποτελούν το ψηφιακό περιεχόμενο, μέσα στο χώρο, όταν αυτά προβάλλονται με τη βοήθεια των γυαλιών επαυξημένης πραγματικότητας. Η σχέση αυτή μπορεί να ορίζεται από το συνολικό σκηνικό χώρο ή να είναι εξαρτώμενη μόνο από κάποια φυσικά στοιχεία της σκηνής, όπως για παράδειγμα ένα τραπέζι ή μία καρέκλα. Το ψηφιακό περιεχόμενο μπορεί να αντιδρά σε συγκεκριμένες δράσεις που γίνονται επί σκηνής από τους ερμηνευτές. Οι δράσεις αυτές ορίζονται ως σημαίνουσες δράσεις και μπορεί να είναι κάποιος ήχος, κάποια κίνηση, αλλά και οποιαδήποτε άλλη δράση μπορεί να ανιχνευτεί και να ταυτοποιηθεί από κάποιο τεχνολογικό σύστημα. Το σύνολο αυτών των οδηγιών που αφορούν στο ψηφιακό περιεχόμενο της παράστασης θα αναφέρεται στο εξής ως σενάριο. In the preparation phase, initially the director or artistic team creates a set of instructions to the contributors who will deal with the creation of the augmented reality digital content. These instructions constitute the specifications of the digital content that needs to be produced, the relationship it has with the specific stage space in which it will be presented, and the needs of this reaction to the actions that take place on stage. Digital content can consist of objects, persons, simulation of natural phenomena or a combination of these, but without excluding other types of digital content. The relationship of the digital content with the surrounding stage space is defined as the position and direction of the digital elements, which make up the digital content, within the space, when they are projected with the help of augmented reality glasses. This relationship can be defined by the overall stage space or be dependent only on some physical elements of the stage, such as a table or a chair. The digital content can react to specific actions performed on stage by the performers. These actions are defined as meaningful actions and can be some sound, some movement, but also any other action that can be detected and identified by a technological system. The entirety of these instructions relating to the digital content of the show will be referred to hereafter as the script.
Το τεχνολογικό κομμάτι της προετοιμασίας περιλαμβάνει την ψηφιακή σάρωση του σκηνικού χώρου και την εισαγωγή της παραχθείσας ψηφιακής απεικόνισης σε ένα περιβάλλον προγραμματισμού τρισδιάστατου ψηφιακού περιεχομένου. Η σάρωση γίνεται με δύο διαφορετικούς τρόπους για να εξυπηρετήσει τόσο τη λειτουργία των γυαλιών, όσο και τον προγραμματισμό της προσαρμογής του ψηφιακού περιεχομένου στις αλλαγές του σκηνικού χώρου. Αφενός, σαρώνεται ο σκηνικός χώρος με τη χρήση των γυαλιών επαυξημένης πραγματικότητας από την οπτική των θεατών και αφετέρου χρησιμοποιούνται κάμερες αντίληψης βάθους για τη σάρωση από άλλες γωνίες, όπως από την οροφή της σκηνής ή από όποια άλλη γωνία κρίνεται απαραίτητο, ανάλογα με το σενάριο. Τα δεδομένα αυτών των λήψεων εισάγονται στο περιβάλλον προγραμματισμού με τη βοήθεια του λογισμικού που διατίθεται από τις εταιρίες παραγωγής των γυαλιών επαυξημένης πραγματικότητας και των καμερών αντίληψης βάθους, αντίστοιχα. Το περιβάλλον προγραμματισμού στην προτεινόμενη χρήση είναι το περιβάλλον προγραμματισμού παιχνιδιών Unity (κατατεθειμένη εμπορική ονομασία), μιας και υποστηρίζει μία γκάμα από εργαλεία και προτείνεται και από τις εταιρίες παραγωγής γυαλιών επαυξημένης πραγματικότητας. Ωστόσο, οποιοδήποτε άλλο περιβάλλον προγραμματισμού τρισδιάστατου ψηφιακού περιεχομένου μπορεί να προσαρμοστεί για να επεξεργαστεί αυτά τα δεδομένα. Αυτό το περιβάλλον προγραμματισμού μπορεί να εκτελεστεί σε οποιονδήποτε υπολογιστή με τις κατάλληλες επιδόσεις και να χρησιμοποιηθεί από έναν ή περισσότερους προγραμματιστές στην επόμενη φάση του προγραμματισμού. The technological part of the preparation includes the digital scanning of the stage space and the introduction of the produced digital visualization into a 3D digital content programming environment. The scanning is done in two different ways to serve both the function of the glasses and the programming of the adaptation of the digital content to the changes of the stage space. On the one hand, the stage space is scanned using the augmented reality glasses from the audience's perspective, and on the other hand, depth perception cameras are used to scan from other angles, such as from the ceiling of the stage or from any other angle deemed necessary depending on the script. The data from these shots are imported into the programming environment with the help of software available from the manufacturers of the augmented reality glasses and the depth perception cameras, respectively. The development environment in the recommended use is the Unity game development environment (registered trade name), as it supports a range of tools and is also recommended by the manufacturers of augmented reality glasses. However, any other 3D digital content programming environment can be adapted to process this data. This programming environment can be run on any computer with the appropriate performance and used by one or more developers in the next phase of programming.
Στη φάση του προγραμματισμού, εργάζονται ένας ή περισσότεροι δημιουργοί τρισδιάστατων γραφικών (3D artists) καθώς και ένας ή περισσότεροι προγραμματιστές τρισδιάστατου ψηφιακού περιεχομένου. Οι δημιουργοί τρισδιάστατων γραφικών κατασκευάζουν τα 3Δ μοντέλα που απαιτούνται σύμφωνα με το σενάριο, ενώ οι προγραμματιστές αναλαμβάνουν την τοποθέτηση των μοντέλων στην ψηφιακή χαρτογράφηση του σκηνικού χώρου και τον προγραμματισμό της διάδρασης αυτών. Η δημιουργία των 3Δ μοντέλων μπορεί να πραγματοποιηθεί σε λογισμικό επιλογής των δημιουργών. Ο προγραμματισμός τους ψηφιακού περιεχομένου επαυξημένης πραγματικότητας πραγματοποιείται μέσα από το περιβάλλον προγραμματισμού 3 Δ περιεχομένου (π.χ. Unity) το οποίο έχει προσαρμοστεί κατάλληλα με τη βοήθεια πρόσθετου λογισμικού (plugins) που επιτρέπει την επίτευξη όλων των υπόλοιπων βημάτων της φάσης του προγραμματισμού. In the programming phase, one or more 3D artists work as well as one or more 3D digital content developers. 3D graphic designers build the 3D models required according to the script, while programmers take care of placing the models in the digital mapping of the stage space and programming their interaction. The creation of the 3D models can be done in software of the creators' choice. The programming of augmented reality digital content is carried out through the 3D content programming environment (e.g. Unity) which has been properly adapted with the help of additional software (plugins) that allows the achievement of all the remaining steps of the programming phase.
Το πρώτο βήμα που κάνει ο προγραμματιστής είναι να τοποθετήσει τα 3Δ μοντέλα και να τα προσανατολίσει στο χώρο, με βάση τη ψηφιακή απεικόνιση του χώρου που έχει εισαχθεί στο περιβάλλον προγραμματισμού, στην προηγούμενη φάση. Έπειτα, προγραμματίζονται οι λεπτομέρειες τις κίνησης και της μετακίνησης των μοντέλων μέσα στο χώρο, με βάση το σενάριο. Το σύνολο αυτών των μοντέλων, η τοποθέτηση και ο προσανατολισμός τους στο χώρο αλλά και οι προγραμματισμένες κινήσεις τους, αποτελούν το ψηφιακό περιεχόμενο επαυξημένης πραγματικότητας. The first step the programmer takes is to position the 3D models and orient them in space, based on the digital representation of the space entered into the programming environment in the previous phase. Then, the details of the movement and movement of the models in the space are programmed, based on the scenario. The set of these models, their placement and orientation in space as well as their programmed movements, constitute the digital content of augmented reality.
Το επόμενο βήμα γίνεται με τη βοήθεια του πρόσθετου λογισμικού που ενσωματώνεται στο περιβάλλον προγραμματισμού και επιτρέπει τη δημιουργία σχέσεων εξάρτησης μεταξύ των 3Δ μοντέλων και των πραγματικών αντικειμένων που έχουν σαρωθεί κατά τη διάρκεια της δημιουργίας της ψηφιακής απεικόνισης του σκηνικού χώρου. Με αυτό τον τρόπο δημιουργούνται κανόνες τοποθέτησης οι οποίοι θα επιτρέψουν αυτόματες διορθώσεις της θέσης και του προσανατολισμού των 3Δ μοντέλων σε πραγματικό χρόνο κατά τη διάρκεια της τελευταίας φάσης της μεθόδου, της εκτέλεσης. Για παράδειγμα, αν ένας ψηφιακός χαρακτήρας έχεις προγραμματιστεί να σταθεί δίπλα από ένα τραπέζι του σκηνικού χώρου και να ακουμπήσει το χέρι του πάνω σε αυτό, δημιουργείται ένας κανόνας τοποθέτησης, έτσι ώστε στην περίπτωση που κατά τη διάρκεια της παράτασης το τραπέζι μετακινηθεί, η θέση του ψηφιακού χαρακτήρα να προσαρμοστεί αυτόματα σε αυτή την αλλαγή αλλάζοντας αντίστοιχα την θέση και τον προσανατολισμό του. Ο τρόπος με τον οποίο λειτουργεί αυτή η προσαρμογή θα αναλυθεί στη φάση της εκτέλεσης. The next step is done with the help of additional software that is integrated into the programming environment and allows the creation of dependency relationships between the 3D models and the real objects that have been scanned during the creation of the digital representation of the stage space. In this way positioning rules are created which will allow automatic corrections of the position and orientation of the 3D models in real time during the last phase of the method, the execution. For example, if a digital character is programmed to stand next to a table in the staging area and rest his hand on it, a placement rule is created so that if during the extension the table is moved, his position of a digital nature to automatically adapt to this change by changing its position and orientation accordingly. How this adjustment works will be discussed in the execution phase.
Ο προγραμματισμός συνεχίζεται με την οργάνωση του ψηφιακού περιεχομένου επαυξημένης πραγματικότητας σε χρονικές ενότητες που συμβαδίζουν με τις οδηγίες του σεναρίου. Αυτό το βήμα θα βοηθήσει τη φάση της εκτέλεσης επιτρέποντας το συγχρονισμό του ψηφιακού περιεχομένου με την παράσταση σε πραγματικό χρόνο. Σε ένα παράδειγμα χρήσης ενοτήτων μπορούμε να φανταστούμε μία σκηνή του έργου όπου στην πρώτη ενότητα ένα ψηφιακό βάζο βρίσκεται πάνω σε ένα πραγματικό τραπέζι, στην επόμενη ενότητα ένας ψηφιακός χαρακτήρας εμφανίζεται στη θέση δίπλα από το τραπέζι και στην τρίτη ενότητα ο χαρακτήρας σπρώχνει το βάζο οπότε αυτό πέφτει και θρυμματίζεται Ανάλογα με τη δράση επί σκηνής ενεργοποιούνται οι ενότητες την κατάλληλη χρονική στιγμή είτε χειροκίνητα, είτε αυτόματα. Scheduling continues by organizing the augmented reality digital content into time units that go along with the script's instructions. This step will assist the execution phase by allowing the digital content to be synchronized with the performance in real time. In an example of the use of modules we can imagine a scene of the play where in the first module a digital vase is on a real table, in the next module a digital character appears in the position next to the table and in the third module the character pushes the jar so this falls and shatters Depending on the action on stage the modules are activated at the appropriate time either manually or automatically.
Για την αυτόματη ενεργοποίηση των ενοτήτων κατά τη διάρκεια της εκτέλεσης, απαιτείται ένα επιπλέον βήμα στη φάση του προγραμματισμού και αυτό είναι ο ορισμός σημαινόντων δράσεων και η αντιστοίχιση αυτών με ενότητες. Για τον ορισμό σημαινόντων δράσεων χρησιμοποιούνται αισθητήρες επί σκηνής και ένα κατάλληλο λογισμικό αναγνώρισης δράσεων, ανάλογα με τον αισθητήρα. Με μία ή παραπάνω κάμερες επί σκηνής μπορούμε να εντοπίζουμε κινήσεις (gestures) των ερμηνευτών ενώ τοποθετώντας ένα ή παραπάνω μικρόφωνα στη σκηνή και το κατάλληλο λογισμικό αναγνώρισης ομιλίας, μπορούμε να αναγνωρίζουμε την εκφορά φράσεων από τους ερμηνευτές. Σε μία παραλλαγή της μεθόδου, μπορούν να υπάρχουν και άλλες σημαΐνουσες δράσεις, όπως για παράδειγμα χτυπήματα σε σημεία του δαπέδου της σκηνής που αναγνωρίζονται από κάποιον πιεζοηλεκτρικό αισθητήρα. Κατά τη διάρκεια του προγραμματισμού, καταγράφονται αυτές οι σημαΐνουσες δράσεις με το κατάλληλο υλικό (π.χ. κάμερες, μικρόφωνα) και το κατάλληλο λογισμικό και αποθηκεύονται στο περιβάλλον προγραμματισμού ψηφιακού περιεχομένου χειροκίνητα από έναν προγραμματιστή. Στη συνέχεια με τη βοήθεια του πρόσθετου λογισμικού γίνεται η αντιστοίχιση αυτών των σημαινόντων δράσεων με τις ενότητες τις οποίες πρέπει να ενεργοποιήσουν. To automatically activate modules at runtime, an additional step is required in the programming phase and that is defining meaningful actions and mapping them to modules. On-scene sensors and appropriate sensor-specific action recognition software are used to define meaningful actions. With one or more cameras on stage we can detect movements (gestures) of the performers while by placing one or more microphones on the stage and the appropriate speech recognition software, we can recognize the pronunciation of phrases by the performers. In a variant of the method, there can be other significant actions, such as for example hits on points of the stage floor that are recognized by a piezoelectric sensor. During programming, these meaningful actions are recorded with appropriate hardware (eg, cameras, microphones) and software and stored in the digital content programming environment manually by a programmer. Then, with the help of the additional software, these meaningful actions are assigned to the modules they should activate.
Στο τέλος της φάσης του προγραμματισμού γίνεται διαθέσιμο ένα πακέτο από δεδομένα που περιλαμβάνουν τα εξής: α) εκτελέσιμο αρχείο που περιλαμβάνει το ψηφιακό περιεχόμενο και μπορεί να εκτελεστεί στα γυαλιά επαυξημένης πραγματικότητας, β) λίστα κανόνων τοποθέτησης του ψηφιακού περιεχομένου, και γ) λίστα κανόνων συγχρονισμού. Το πακέτο αυτό θα χρειαστεί στην επόμενη φάση της εγκατάστασης. At the end of the programming phase, a package of data is made available that includes the following: a) an executable file that includes the digital content and can be run on the augmented reality glasses, b) a list of rules for positioning the digital content, and c) a list of synchronization rules . This package will be needed in the next phase of the installation.
Για την εγκατάσταση του ψηφιακού περιεχομένου στο σύστημα, ένας προγραμματιστής συνδέεται σε μία κονσόλα προγραμματιστή η οποία γίνεται διαθέσιμη ως διαδικτυακή εφαρμογή μέσω ενός εξυπηρετητή. Σημειώνεται ότι ο εξυπηρετητής, που συνίσταται από ένα παραδοσιακό σύστημα πληροφορικής, μπορεί, από τη φύση του, να βρίσκεται οπουδήποτε και να γίνεται προσβάσιμος μέσω του διαδικτύου. Ωστόσο, σε μία προτιμώμενη εγκατάσταση, ο εξυπηρετητής βρίσκεται τοπικά στο χώρο του θέατρου, προκειμένου να εξυπηρετήσει και άλλες λειτουργίες του συστήματος που μπορούν να εκμεταλλευτούν στο μέγιστο την μεγαλύτερη ταχύτητα επικοινωνίας ενός τοπικού δικτύου. Η σύνδεση στην κονσόλα προγραμματιστή γίνεται μέσα από ένα οποιοδήποτε πρόγραμμα πλοήγησης διαδικτύου, όπως Google Chrome, Mozilla Firefox, Microsoft Edge (κατατεθειμένες εμπορικές ονομασίες) ή άλλο. Μέσα από την κονσόλα προγραμματιστή, γίνεται δυνατή η μεταφόρτωση του πακέτου δεδομένων που παράχθηκε στην προηγούμενη φάση, το οποίο και αποθηκεύεται στην μονάδα αποθήκευσης του εξυπηρετητή. Στη συνέχεια μπορεί να προχωρήσει η εγκατάσταση του πακέτου την οποία αναλαμβάνει ένας διαχειριστής εγκατάστασης ψηφιακού περιεχομένου που βρίσκεται, επίσης, στον εξυπηρετητή. Σε μία παραλλαγή της μεθόδου, η κονσόλα προγραμματιστή παρουσιάζει στον προγραμματιστή μία λίστα με όλα τα πακέτα δεδομένων που βρίσκονται αποθηκευμένα στη μονάδα αποθήκευσης του εξυπηρετητή και δίνεται η δυνατότητα επιλογής του πακέτου που θα εγκατασταθεί. Με αυτό τον τρόπο, ο προγραμματιστής μπορεί, μετά από δοκιμές, να επιλέξει προς εγκατάσταση το πακέτο δεδομένων που λειτουργεί πιο σωστά. To install the digital content on the system, a developer connects to a developer console which is made available as a web application through a server. It is noted that the server, consisting of a traditional IT system, can, by its nature, be located anywhere and be accessible via the Internet. However, in a preferred installation, the server is located locally in the theater to serve other system functions that can take full advantage of the higher communication speed of a local area network. Logging into the developer console is done through any web browser, such as Google Chrome, Mozilla Firefox, Microsoft Edge (registered trademarks), or other. Through the developer console, it is possible to upload the data package produced in the previous phase, which is stored in the server's storage unit. The package can then be installed by a digital content installation manager also located on the server. In one variation of the method, the developer console presents the developer with a list of all the data packages stored on the server's storage unit and the option to select which package to install. In this way, the developer can, after testing, choose to install the data package that works best.
Ο διαχειριστής εγκατάστασης ψηφιακού περιεχομένου αναλαμβάνει το άνοιγμα του πακέτου και τη διαχείριση των δεδομένων του. Η διαδικασία αυτή είναι αυτοματοποιημένη και εκκινείται όταν ο προγραμματιστής επιβεβαιώσει την πρόθεση για εγκατάσταση ενός πακέτου. Η διαδικασία αρχίζει με τον διαχωρισμό των δεδομένων που χρειάζεται να είναι διαθέσιμα στα υπόλοιπα υποσυστήματα του εξυπηρετητή, δηλαδή τη λίστα κανόνων τοποθέτησης και τη λίστα κανόνων συγχρονισμού του ψηφιακού περιεχομένου Αυτά τα δεδομένα αποθηκεύονται στη μονάδα αποθήκευσης του εξυπηρετητή και θα γίνουν διαθέσιμα σε άλλα υποσυστήματα στην επόμενη φάση της εκτέλεσης. Το εκτελέσιμο αρχείο που πρέπει να εγκατασταθεί στα γυαλιά επαυξημένης πραγματικότητας διαχωρίζεται από το πακέτο και αποστέλλεται, μέσω του εξυπηρετητή, στα γυαλιά όπου και εγκαθίσταται για να είναι έτοιμο να εκτελεστεί. Καθ’ όλη τη διάρκεια της εγκατάστασης, ο διαχειριστής εγκατάστασης ψηφιακού περιεχομένου καταγράφει την εξέλιξη της και τη γνωστοποιεί στον προγραμματιστή με τη μορφή ενημερώσεων στην κονσόλα προγραμματιστή. Έτσι στην περίπτωση που υπάρξει κάποιο σφάλμα, ο προγραμματιστής μπορεί να εκτελέσει τις κατάλληλες εργασίες ανάκαμψης. The digital content installation manager is responsible for opening the package and managing its data. This process is automated and starts when the developer confirms the intention to install a package. The process begins by separating the data that needs to be available to the rest of the server subsystems, i.e. the list of placement rules and the list of synchronization rules of the digital content. This data is stored in the server's storage unit and will be made available to other subsystems in the next execution phase. The executable file to be installed on the augmented reality glasses is separated from the package and sent, via the server, to the glasses where it is installed to be ready to run. Throughout the installation, the digital content installation manager records its progress and communicates it to the developer in the form of updates in the developer console. So in the event of an error, the developer can perform appropriate recovery operations.
Όταν όλα τα απαραίτητα δεδομένα έχουν αποθηκευτεί στη μονάδα αποθήκευσης του εξυπηρετητή και το εκτελέσιμο αρχείο έχει εγκατασταθεί στα γυαλιά επαυξημένης πραγματικότητας, το σύστημα είναι έτοιμο να μπει στην τέταρτη και τελευταία φάση, αυτή της εκτέλεσης. Σε αυτή τη φάση, ένας ή περισσότεροι θεατές φορούν τα γυαλιά επαυξημένης πραγματικότητας που βρίσκονται στις θέσεις τους και μπορούν μέσα από αυτά να βλέπουν το ψηφιακό περιεχόμενο επαυξημένης πραγματικότητας ταυτόχρονα με την πραγματική σκηνή και τους ηθοποιούς/ερμηνευτές. Σημειώνεται ότι η φάση της εκτέλεσης δεν αφορά μόνο την κανονική παράσταση, αλλά και τις δοκιμές αυτής, όπου το ρόλο των θεατών μπορεί να παίζουν ακόμη και μέλη της ομάδας παραγωγής. Σε κάθε περίπτωση όταν ο θεατής φορέσει τα γυαλιά, το εκτελέσιμο αρχείο, που έχει ήδη εγκατασταθεί σε αυτά, εκκινείται και είναι έτοιμο να εμφανίσει ψηφιακό περιεχόμενο. When all the necessary data has been stored on the server's storage unit and the executable file has been installed on the augmented reality glasses, the system is ready to enter the fourth and final phase, that of execution. In this phase, one or more spectators wear the augmented reality glasses located in their seats and can through them see the digital augmented reality content simultaneously with the real stage and actors/performers. It is noted that the performance phase does not only concern the regular performance, but also its tests, where the role of spectators may even be played by members of the production team. In any case, when the viewer puts on the glasses, the executable file, already installed in them, is launched and ready to display digital content.
Τα 3Δ μοντέλα που περιλαμβάνονται στο ψηφιακό περιεχόμενο τοποθετούνται την κατάλληλη στιγμή στα κατάλληλα σημεία έτσι ώστε να αλληλεπιδρούν με την πραγματική θεατρική σκηνή. Η σωστή τοποθέτηση των 3Δ μοντέλων στο χώρο της σκηνής εξαρτάται αφενός από τη σάρωση του χώρου από τους αισθητήρες των γυαλιών κάθε θεατή και αφετέρου στη λειτουργία ενός υποσυστήματος του εξυπηρετητή που ονομάζουμε διαχειριστή δεδομένων χώρου. Ο διαχειριστής δεδομένων χώρου επικοινωνεί, σε πραγματικό χρόνο, με όλα τα γυαλιά επαυξημένης πραγματικότητας που χρησιμοποιούνται από θεατές και τα οποία διαθέτουν μέσα ασύρματης ή ενσύρματης επικοινωνίας, ενώ ταυτόχρονα είναι απευθείας συνδεδεμένο με μία ή περισσότερες κάμερες αντίληψης βάθους που βρίσκονται σε σταθερά σημεία στο χώρο του θεάτρου Τα σημεία που βρίσκονται οι κάμερες αντίληψης βάθους ορίζονται από το σενάριο και είναι τα ίδια με αυτά που έχουν χρησιμοποιηθεί στην πρώτη φάση της μεθόδου, την προετοιμασία. Τα δεδομένα από αυτό το σύνολο αισθητήρων αντίληψης βάθους, συνδυάζονται με τα δεδομένα από τη λίστα κανόνων τοποθέτησης και όταν χρειάζεται παίρνονται αποφάσεις διορθώσεων. Σημειώνεται ότι ο διαχειριστής δεδομένων χώρου έχει πρόσβαση στη μονάδα αποθήκευσης του εξυπηρετητή από όπου και αντλεί τη λίστα κανόνων τοποθέτησης. Όταν ληφθεί μία απόφαση διόρθωσης της θέσης ή του προσανατολισμού ενός αντικειμένου, αυτή αποστέλλεται προς επεξεργασία σε μία μονάδα ενορχήστρωσης, που βρίσκεται στον εξυπηρετητή, όπου μετατρέπεται σε εντολή αλλαγής θέσης ή προσανατολισμού και αποστέλλεται σε κάθε ένα από τα γυαλιά επαυξημένης πραγματικότητας. The 3D models included in the digital content are placed at the right time in the right places so that they interact with the actual theater stage. The correct placement of the 3D models in the stage space depends on the one hand on the scanning of the space by the sensors of the glasses of each viewer and on the other hand on the operation of a subsystem of the server which we call space data manager. The space data manager communicates, in real time, with all augmented reality glasses used by viewers that have wireless or wired means of communication, while at the same time being directly connected to one or more depth perception cameras located at fixed points in its space theater The points where the depth perception cameras are located are defined by the script and are the same as those used in the first phase of the method, the preparation. The data from this set of depth perception sensors is combined with the data from the positioning rule list and correction decisions are made when necessary. It is noted that the space data manager has access to the server's storage unit from where it derives the list of placement rules. When a decision to correct the position or orientation of an object is made, it is sent for processing to an orchestration unit, located on the server, where it is converted into a position or orientation change command and sent to each of the augmented reality glasses.
Ο ρόλος της μονάδας ενορχήστρωσης είναι η συνολική ενορχήστρωση του ψηφιακού περιεχομένου επαυξημένης πραγματικότητας, χωρικά και χρονικά σε σχέση με το χώρο και τα συμβάντα επί σκηνής. Είναι ένα υποσύστημα που επικοινωνεί με τα υπόλοιπα υποσυστήματα, δέχεται αποφάσεις αλλαγής του ψηφιακού περιεχομένου από αυτά και στη συνέχεια δίνει εντολές αλλαγής του ψηφιακού περιεχομένου στα γυαλιά επαυξημένης πραγματικότητας. The role of the orchestration unit is the overall orchestration of augmented reality digital content, spatially and temporally in relation to space and on-stage events. It is a subsystem that communicates with the rest of the subsystems, accepts decisions to change the digital content from them, and then gives commands to change the digital content to the augmented reality glasses.
Ο συγχρονισμός του ψηφιακού περιεχομένου βασίζεται στον ορισμό των ενοτήτων που δημιουργήθηκαν στη φάση του προγραμματισμού και μπορεί να πραγματοποιηθεί με δύο τρόπους, χειροκίνητα και αυτόματα. Ο χειροκίνητος συγχρονισμός εκτελείται μέσω της κονσόλας συγχρονισμού, ενώ ο αυτόματος μέσω του διαχειριστή δεδομένων αισθητήρων. The synchronization of digital content is based on the definition of modules created in the programming phase and can be done in two ways, manually and automatically. Manual synchronization is performed through the synchronization console, while automatic synchronization is performed through the sensor data manager.
Η κονσόλα συγχρονισμού είναι μία διαδικτυακή εφαρμογή που γίνεται προσβάσιμη μέσω του εξυπηρετητή και μπορεί να εκτελεστεί από έναν υπολογιστή μέσω οποιουδήποτε προγράμματος πλοήγησης διαδικτύου. Κατά την εκκίνηση της κονσόλα συγχρονισμού, αυτή αποκτά πρόσβαση στη μονάδα αποθήκευσης του εξυπηρετητή και λαμβάνει τη λίστα κανόνων συγχρονισμού. Από αυτή τη λίστα αξιοποιεί τις ενότητες που έχουν δημιουργηθεί κατά τον προγραμματισμό, προκειμένου να κατασκευάσει στο γραφικό περιβάλλον του, μία λίστα από κουμπιά, ένα για κάθε ενότητα. Ο χειριστής της κονσόλα χειρισμού μπορεί να πιέσει οποιαδήποτε στιγμή ένα κουμπί και να δημιουργεί μία εντολή αλλαγής ενότητας. Η εντολή αυτή επεξεργάζεται από τη μονάδα ενορχήστρωσης και διαμοιράζεται στη συνέχεια σε κάθε ένα από τα γυαλιά επαυξημένης πραγματικότητας. The synchronization console is a web application that is accessed through the server and can be run from a computer through any web browser. When the synchronization console is started, it accesses the server's storage unit and obtains the list of synchronization rules. From this list it uses the modules created during programming to construct in its GUI a list of buttons, one for each module. The control console operator can at any time press a button and generate a module change command. This command is processed by the orchestration unit and then distributed to each of the augmented reality glasses.
Ο αυτόματος συγχρονισμός του ψηφιακού περιεχομένου πραγματοποιείται με τη βοήθεια ενός υποσυστήματος του εξυπηρετητή, του διαχειριστή δεδομένων αισθητήρων, ο οποίος εκμεταλλεύεται τη συλλογή δεδομένων από αισθητήρες που βρίσκονται επί σκηνής. Οι αισθητήρες αυτοί μπορεί να είναι κάμερες, μικρόφωνα, ή ότι άλλο μπορεί να προσαρμοστεί στη χρήση που περιγράφεται από τη μέθοδο. Τα δεδομένα από τους αισθητήρες αναλύονται με σκοπό να εντοπιστούν σημαίνουσες δράσεις όπως αυτές ορίστηκαν στη φάση του προγραμματισμού. Η πρόσβαση στα δεδομένα των σημαινόντων δράσεων γίνεται μέσω της μονάδας αποθήκευσης του εξυπηρετητή, στην οποία βρίσκεται η λίστα κανόνων συγχρονισμού. Όταν εντοπιστεί μία σημαίνουσα δράση, αυτή ταυτίζεται με την αντίστοιχη ενότητα και λαμβάνεται μία απόφαση αλλαγής ενότητας. Η απόφαση αυτή αποστέλλεται προς επεξεργασία στη μονάδα ενορχήστρωσης όπου και μετατρέπεται σε εντολή αλλαγής ενότητας που αποστέλλεται σε κάθε ένα από τα γυαλιά επαυξημένης πραγματικότητας. The automatic synchronization of the digital content is carried out with the help of a server subsystem, the sensor data manager, which takes advantage of the data collection from sensors located on the scene. These sensors can be cameras, microphones, or anything else that can be adapted to the use described by the method. The data from the sensors are analyzed in order to identify significant actions as defined in the planning phase. The meaningful action data is accessed through the server's storage unit, where the list of synchronization rules resides. When a significant action is identified, it is identified with the corresponding module and a module change decision is made. This decision is sent for processing to the orchestration unit where it is converted into a module change command sent to each of the augmented reality glasses.
Η εγκατάσταση που απαιτείται για την υλοποίηση της μεθόδου - αντικειμένου της εφεύρεσης περιλαμβάνει τα ακόλουθα στοιχεία, όπως αυτά φαίνονται στο Σχήμα 1. The installation required for the implementation of the method - object of the invention includes the following elements, as shown in Figure 1.
1) Γυαλιά επαυξημένης πραγματικότητας σε αριθμό ίσο με το μέγιστο επιθυμητό αριθμό θεατών. Κάποιοι τύποι γυαλιών επαυξημένης πραγματικότητας λειτουργούν αυτόνομα με ενσωματωμένο υπολογιστικό σύστημα, ενώ άλλοι λειτουργούν ως συσκευή προβολής και απαιτούν σύνδεση σε υπολογιστή. Στην πρώτη περίπτωση τα γυαλιά συνδέονται με τον εξυπηρετητή, ασύρματα ή ενσύρματα μέσω του τοπικού δικτύου και το ψηφιακό περιεχόμενο επαυξημένης πραγματικότητας εγκαθίσταται σε αυτά μέσω ενός εκτελέσιμου αρχείου. Στη δεύτερη περίπτωση, συνδέονται σε έναν υπολογιστή ο οποίος οδηγεί το περιεχόμενό που προβάλλεται σε αυτά. 1) Augmented reality glasses in a number equal to the maximum desired number of viewers. Some types of augmented reality glasses work independently with a built-in computing system, while others work as a projection device and require a connection to a computer. In the first case, the glasses are connected to the server, wirelessly or wired through the local network, and the augmented reality digital content is installed on them through an executable file. In the second case, they connect to a computer that drives the content displayed on them.
2) Η ύπαρξη υπολογιστών που οδηγούν τα γυαλιά επαυξημένης πραγματικότητας είναι προαιρετική και απαιτείται μόνο στην περίπτωση που τα γυαλιά δε λειτουργούν αυτόνομα. Σε αυτή τη περίπτωση, τοποθετούνται κοντά στις θέσεις τον θεατών, σε κρυφό σημείο, και συνδέονται με τα γυαλιά μέσω καλωδίου. Το ψηφιακό περιεχόμενο επαυξημένης πραγματικότητας εγκαθίσταται στους υπολογιστές μέσω ενός εκτελέσιμου αρχείου. Οι τεχνικές προδιαγραφές των υπολογιστών πρέπει να ακολουθούν τις οδηγίες του κατασκευαστή των γυαλιών επαυξημένης πραγματικότητας και πρέπει να είναι σε αριθμό ίσοι με τα γυαλιά. Σε μία παραλλαγή της μεθόδου μπορούν να χρησιμοποιηθούν λιγότεροι υπολογιστές που οδηγούν 2 ή περισσότερες συσκευές γυαλιών επαυξημένης πραγματικότητας. 2) The existence of computers driving the augmented reality glasses is optional and required only in the case that the glasses do not work autonomously. In this case, they are placed close to the viewer's seats, in a hidden place, and connected to the glasses via a cable. Augmented reality digital content is installed on computers via an executable file. The technical specifications of the computers must follow the instructions of the manufacturer of the augmented reality glasses and must be equal in number to the glasses. In a variation of the method, fewer computers driving 2 or more augmented reality glasses devices may be used.
3) Ένας υπολογιστής που αναλαμβάνει το ρόλο του εξυπηρετητή εγκαθίσταται στο χώρου το θεάτρου και συνδέεται στο τοπικό δίκτυο ενσύρματα ή ασύρματα. Σε αυτόν τον υπολογιστή εκτελείται το απαραίτητο λογισμικό που απαιτείται για την εκτέλεση της μεθόδου: 3) A computer that takes on the role of server is installed in the theater and connected to the local network wired or wirelessly. This computer runs the necessary software required to perform the method:
α) Μία μονάδα ενορχήστρωσης που αναλαμβάνει να στείλει εντολές διόρθωσης θέσης και συγχρονισμού στα γυαλιά επαυξημένης πραγματικότητας a) An orchestration unit responsible for sending position correction and synchronization commands to the augmented reality glasses
β) Ένα διαχειριστή δεδομένων χώρου που επεξεργάζεται τα δεδομένα που λαμβάνονται από μία ή περισσότερες κάμερες αντίληψης βάθους και παίρνει αποφάσεις για τη διόρθωση θέσης των 3Δ μοντέλων b) A space data manager that processes the data received from one or more depth perception cameras and makes decisions on the position correction of the 3D models
γ) Ένα διαχειριστή δεδομένων αισθητήρων που επεξεργάζεται τα δεδομένα που λαμβάνονται από αισθητήρες, όπως κάμερες και μικρόφωνα που βρίσκονται επί σκηνής και αναλαμβάνει να εντοπίσει σημαίνουσες δράσεις και να πάρει αποφάσεις για το συγχρονισμό του ψηφιακού περιεχομένου επαυξημένης πραγματικότητας c) A sensor data manager that processes the data received from sensors such as cameras and microphones located on the scene and undertakes to detect significant actions and make decisions for the synchronization of augmented reality digital content
δ) Ένα διαχειριστή εγκατάστασης ψηφιακού περιεχομένου που επεξεργάζεται αιτήσεις εγκατάστασης νέου ψηφιακού περιεχομένου και των συνοδευτικών δεδομένων του. Αποστέλλει το ψηφιακό περιεχόμενο στα γυαλιά επαυξημένης πραγματικότητας ή στον υπολογιστή που τα οδηγεί και αποθηκεύει τις λίστες κανόνων τοποθέτησης και συγχρονισμού στη μονάδα αποθήκευσης (e) του εξυπηρετητή. Επιπλέον αναλαμβάνει τον έλεγχο σφαλμάτων κατά την εγκατάσταση νέου ψηφιακού περιεχομένου. d) A digital content installation manager that processes installation requests for new digital content and its accompanying data. It sends the digital content to the augmented reality glasses or the computer driving them and stores the lists of placement and synchronization rules in the server's storage unit (e). It also handles error checking when installing new digital content.
ε) Μία μονάδα αποθήκευσης στην οποία αποθηκεύονται οι λίστες κανόνων τοποθέτησης και συγχρονισμού e) A storage unit in which the placement and synchronization rule lists are stored
στ) Μία κονσόλα προγραμματιστή σε μορφή διαδικτυακής εφαρμογής που γίνεται διαθέσιμη μέσω του εξυπηρετητή και επιτρέπει τη μεταφόρτωση πακέτων ψηφιακού περιεχομένου και την αποστολή εντολής για την εγκατάσταση ενός τέτοιου πακέτου f) A developer console in the form of a web application that is made available through the server and allows uploading packages of digital content and sending a command to install such a package
ζ) Μία κονσόλα συγχρονισμού σε μορφή διαδικτυακής εφαρμογής που γίνεται διαθέσιμη μέσω του εξυπηρετητή και επιτρέπει τον χειροκίνητο συγχρονισμό του ψηφιακού περιεχομένου επαυξημένης πραγματικότητας g) A synchronization console in the form of a web application that is made available through the server and allows manual synchronization of augmented reality digital content
4) Ένας υπολογιστής που διαθέτει μέσα δικτύωσης και πλοηγό διαδικτύου προκειμένου να συνδεθεί στην κονσόλα προγραμματιστή, που εμπεριέχεται στον εξυπηρετητή (3), για να μεταφορτώσει πακέτα ψηφιακού περιεχομένου και να αποστείλει εντολές για την εγκατάστασή τους. Ο υπολογιστής αυτός μπορεί να βρίσκεται οπουδήποτε εντός ή εκτός του χώρου του θεάτρου, αρκεί να έχει πρόσβαση, μέσω δικτύου, στον εξυπηρετητή (3). 4) A computer having networking means and a web browser to connect to the developer console, contained in the server (3), to download digital content packages and send commands to install them. This computer can be located anywhere inside or outside the theater space, as long as it has access, via network, to the server (3).
5) Ένας υπολογιστής που διαθέτει μέσα δικτύωσης και πλοηγό διαδικτύου προκειμένου να συνδεθεί στην κονσόλα συγχρονισμού, που εμπεριέχεται στον εξυπηρετητή (3), και να δημιουργήσει εντολές συγχρονισμού του ψηφιακού περιεχομένου. Ο υπολογιστής αυτός θα πρέπει να βρίσκεται μέσα στο χώρο του θεάτρου σε σημείο τέτοιο ώστε η χρήση του να είναι δυνατή κατά τη διάρκεια μίας παράστασης. 5) A computer having networking means and a web browser in order to connect to the synchronization console, contained in the server (3), and generate commands to synchronize the digital content. This computer should be located inside the theater in such a way that its use is possible during a performance.
6) Μία η περισσότερες κάμερες αντίληψης βάθους που χρησιμοποιούνται για τη σάρωση του σκηνικού χώρου στη φάση της προετοιμασίας και συλλέγουν δεδομένα σε πραγματικό χρόνο στη φάση της εκτέλεσης. Οι κάμερες συνδέονται απευθείας με τον υπολογιστή -εξυπηρετητή (3) όπου τα δεδομένα τους επεξεργάζονται από τον διαχειριστή δεδομένων χώρου που εμπεριέχεται στον εξυπηρετητή (3). 6) One or more depth perception cameras used to scan the stage space in the preparation phase and collect real-time data in the execution phase. The cameras are connected directly to the server computer (3) where their data is processed by the space data manager included in the server (3).
7) Μία συστοιχία αισθητήρων που συλλέγουν δεδομένα από τη θεατρική σκηνή. Μπορεί να αποτελείται από μία ή περισσότερες κάμερες, ένα ή περισσότερα μικρόφωνα, και άλλους αισθητήρες αν κριθεί απαραίτητο. Οι αισθητήρες συνδέονται απευθείας με τον υπολογιστή - εξυπηρετητή (3) όπου τα δεδομένα τους επεξεργάζονται από τον διαχειριστή δεδομένων αισθητήρων που εμπεριέχεται στον εξυπηρετητή (3). 7) An array of sensors that collect data from the theater stage. It can consist of one or more cameras, one or more microphones, and other sensors if necessary. The sensors are connected directly to the server computer (3) where their data is processed by the sensor data manager included in the server (3).
Claims (10)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GR20170100338A GR20170100338A (en) | 2017-07-19 | 2017-07-19 | A method for the production and support of virtual-reality theatrical performances - installation for the application of said method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GR20170100338A GR20170100338A (en) | 2017-07-19 | 2017-07-19 | A method for the production and support of virtual-reality theatrical performances - installation for the application of said method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| GR20170100338A true GR20170100338A (en) | 2019-04-04 |
Family
ID=66166814
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| GR20170100338A GR20170100338A (en) | 2017-07-19 | 2017-07-19 | A method for the production and support of virtual-reality theatrical performances - installation for the application of said method |
Country Status (1)
| Country | Link |
|---|---|
| GR (1) | GR20170100338A (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090219381A1 (en) * | 2008-03-03 | 2009-09-03 | Disney Enterprises, Inc., A Delaware Corporation | System and/or method for processing three dimensional images |
| US20160048203A1 (en) * | 2014-08-18 | 2016-02-18 | Universal City Studios Llc | Systems and methods for generating augmented and virtual reality images |
| US20160307371A1 (en) * | 2015-04-14 | 2016-10-20 | International Business Machines Corporation | Synchronizing an augmented reality video stream with a displayed video stream |
| WO2017102988A1 (en) * | 2015-12-17 | 2017-06-22 | Thomson Licensing | Method and apparatus for remote parental control of content viewing in augmented reality settings |
-
2017
- 2017-07-19 GR GR20170100338A patent/GR20170100338A/en unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090219381A1 (en) * | 2008-03-03 | 2009-09-03 | Disney Enterprises, Inc., A Delaware Corporation | System and/or method for processing three dimensional images |
| US20160048203A1 (en) * | 2014-08-18 | 2016-02-18 | Universal City Studios Llc | Systems and methods for generating augmented and virtual reality images |
| US20160307371A1 (en) * | 2015-04-14 | 2016-10-20 | International Business Machines Corporation | Synchronizing an augmented reality video stream with a displayed video stream |
| WO2017102988A1 (en) * | 2015-12-17 | 2017-06-22 | Thomson Licensing | Method and apparatus for remote parental control of content viewing in augmented reality settings |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12400150B2 (en) | Graphical user interface to create palimpsests | |
| CN115016642B (en) | Reality Mixer for Mixed Reality | |
| CN110460893B (en) | Dynamic image distribution system, method and recording medium thereof | |
| EP3465619A2 (en) | Augmented and virtual reality | |
| JP7550222B2 (en) | Virtual, augmented, and mixed reality systems and methods | |
| US20080307304A1 (en) | Method and system for producing a sequence of views | |
| CN115002535A (en) | Moving image distribution system, moving image distribution method, and non-transitory tangible recording medium | |
| CN104050695A (en) | Method and system for viewing of computer animation | |
| US11762481B2 (en) | Light capture device | |
| EP3973510A1 (en) | Blended mode three dimensional display systems and methods | |
| JP2025013901A (en) | Virtual, augmented, and mixed reality systems and methods | |
| CN117812785A (en) | Light system construction method based on theatre performance | |
| WO2022209297A1 (en) | Information processing device, information processing method, and recording medium | |
| US20200349766A1 (en) | Methods and Systems for Viewing and Editing AR/VR Computer-based Designs Allowing Impaired Vision Simulation | |
| GR20170100338A (en) | A method for the production and support of virtual-reality theatrical performances - installation for the application of said method | |
| CN104156529A (en) | Method for manufacturing holographic film source through three-dimensional model | |
| JP2024041034A5 (en) | ||
| GB2535143A (en) | System and method for manipulating audio data in view of corresponding visual data | |
| GB2607990A (en) | Color and lighting adjustment for immersive content production system | |
| Bollen et al. | Putting virtual theatre models to work:‘virtual praxis’ for performance research in theatre history | |
| Sanna et al. | Arsset: augmented reality support on set | |
| Beira | 3D (embodied) projection mapping and sensing bodies: a study in interactive dance performance | |
| Lee et al. | VR theater, a virtual reality based multi-screen movie theater simulator for verifying multi-screen content and environment | |
| KR102547816B1 (en) | Virtual reality space comparison method and system | |
| Dorsey | Computer Graphics Techniques for Opera Lighting Design and Simulation |