[go: up one dir, main page]

WO2020003014A1 - Eliminating gaps in information comprehension arising during user interaction in communications systems using augmented reality objects - Google Patents

Eliminating gaps in information comprehension arising during user interaction in communications systems using augmented reality objects Download PDF

Info

Publication number
WO2020003014A1
WO2020003014A1 PCT/IB2019/053368 IB2019053368W WO2020003014A1 WO 2020003014 A1 WO2020003014 A1 WO 2020003014A1 IB 2019053368 W IB2019053368 W IB 2019053368W WO 2020003014 A1 WO2020003014 A1 WO 2020003014A1
Authority
WO
WIPO (PCT)
Prior art keywords
sender
user device
surrounding
message
real world
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/IB2019/053368
Other languages
French (fr)
Russian (ru)
Inventor
Михаил Павлович СУТОВСКИЙ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Giorgadze Aniko Tengizovna
Original Assignee
Giorgadze Aniko Tengizovna
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Giorgadze Aniko Tengizovna filed Critical Giorgadze Aniko Tengizovna
Publication of WO2020003014A1 publication Critical patent/WO2020003014A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se

Definitions

  • the invention relates to the field of complementing virtual objects of the physical, real, world surrounding the user when exchanging augmented reality messages.
  • Messaging systems - communication systems - allow users to communicate by sending messages to each other.
  • augmented reality technologies many communication systems have been implemented that allow the exchange of augmented reality messages, i.e. complement the physical, real, world displayed on the screen of the user device with the image capture device of the user device, objects of the virtual world.
  • the idea of the present invention is that in the process of creating by the sender of an augmented reality message containing the main virtual object, the user device analyzes the sender of the real world parameters surrounding the sender. After the transmission of the message by the user device and the receipt of the message by the user device of the receiver, the user device analyzes the corresponding parameters of the real world surrounding the receiver. The analyzes performed allow us to level the lack of information content of the message by changing the content of the received message based on their data.
  • FIG. 1 is a flowchart of an embodiment of a method for organizing user interaction in a communication system according to one embodiment of the present invention
  • FIG. 2a is a schematic view illustrating a screen of a user device of a sender at the stage of placement of a main virtual object with analysis of parameters of the real world surrounding the sender
  • FIG. 2b is a schematic view illustrating the screen of the sender’s user device after placing the main virtual objects and displaying them as augmented reality objects
  • FIG. 2c is a schematic diagram illustrating the screen of the recipient’s user device at the stage of placing the main virtual objects with analysis of the parameters of the real world surrounding the recipient
  • FIG. 1 is a flowchart of an embodiment of a method for organizing user interaction in a communication system according to one embodiment of the present invention
  • FIG. 2a is a schematic view illustrating a screen of a user device of a sender at the stage of placement of a main virtual object with analysis of parameters of the real world surrounding the sender
  • FIG. 2b is
  • FIG. 2d is a schematic diagram illustrating a screen of a recipient user device after placing the main virtual objects and displaying them as augmented reality objects
  • FIG. 2e is a schematic view illustrating a screen of a recipient user device that displays basic virtual objects and a list containing all the values of the parameters of the real world surrounding the sender, according to one embodiment of the present invention
  • FIG. 2f is a schematic diagram illustrating a screen of a recipient user device that displays primary virtual objects and an additional virtual object corresponding to a recognized real world object surrounding the sender, according to another embodiment of the present invention
  • FIG. 2g is a schematic diagram illustrating a screen of a recipient user device that displays one of two sender-hosted virtual objects that does not cause gaps in understanding, according to another embodiment of the present invention
  • FIG. 2h is a schematic view illustrating a screen of a recipient user device that displays basic virtual objects and a static image of the real world surrounding the sender, according to another embodiment of the present invention
  • FIG. 3 is a schematic illustration of an embodiment of a communication system according to one preferred embodiment of the present invention.
  • the present invention relates to a method for organizing user interaction in a communication system, a communication system that facilitates the interaction of user devices and a server with each other, and a computer-readable medium that stores program instructions that initiate the execution of aspects of a method for organizing user interaction in a communication system according to the present invention.
  • a method for organizing user interaction in a communication system including creating by the user device of the sender an augmented reality message containing at least one main virtual object, with the analysis by the user device of the sender of at least one parameter of the real world surrounding the sender; transmission by the user device of the sender of the created message to the user device of at least one recipient; receiving a message by the recipient user device; analysis by the user device of the recipient of at least one corresponding parameter of the real world surrounding the recipient; changing the content of the received message based on the data of the analysis.
  • a communication system that provides interaction between a user device of a sender, a user device of at least one receiver and a server, containing software instructions located on a machine-readable medium of a user device of the sender, which when executed at least at least one sender user device processor provides the ability to creating by the user device of the sender an augmented reality message containing at least one main virtual object, with the analysis by the user device of the sender of at least one parameter of the real world surrounding the sender; enabling transmission by the user device of the sender of the created message to the user device at least one recipient; software instructions located on a machine-readable medium of the recipient user device, which, when executed by at least one processor of the recipient user device, provide a message to the recipient user device with analysis by the recipient user device of at least one corresponding parameter of the real world surrounding the recipient; changing the content of the received message based on the data of the analysis; and program instructions located on a machine-readable medium of the server, which, when
  • a computer-readable medium comprising software instructions for user interaction in a communication system, comprising software instructions from the sender, which, when executed by at least one processor of the user device, enables the creation of an augmented reality message by the user device, containing at least one main virtual object, with analysis om the user device at least one parameter of the real world surrounding the user; enabling a user device to transmit a message comprising at least one primary virtual object to at least one other user device; and recipient software instructions that, when executed by at least one processor of the user device, provide a message to the user device that the user device analyzes at least one real-world parameter surrounding the user; changing the content of the received message based on the analysis data performed upon receipt of the message and the analysis data performed upon creation of the message by another user device of the sender user.
  • the user device of the sender analyzes the environmental parameters. After the message is transmitted and received, a similar analysis is carried out by the user device of the recipient. By recording the data of the analysis, the content of the received message is changed.
  • the above actions provide an opportunity to neutralize the lack of information content of augmented reality messages, to reduce the likelihood of incorrect perception of information by the recipient of the message associated with the differences between the real worlds surrounding the sender and recipient, thereby improving the quality of communication using augmented reality objects.
  • the recipient may receive a notification on his user device about the receipt of the message.
  • a notification may also constitute a publication in the feed of interacting users with the ability to the recipient to open the publication.
  • the message from the user device of the sender to the user device of the recipient can be transmitted through the server.
  • the user devices and the server in the communication system are communicated through the network, by means of which they establish connections between the server and the user devices of the sender and recipient to interact with them in the communication system, including without limitation the Internet, wireless communication networks, networks using standard communication technologies and / or protocols.
  • the described method can be implemented and the described communication system can operate on any suitable user devices, regardless of the operating systems installed on them.
  • the described method can be implemented and user access to the described system can be carried out using the appropriate application installed on the user device, as well as using a browser - application software designed to view web pages and manage web applications via the network.
  • an application is meant a program installed on a user device, or a web application, where a user interacts with a server using a browser, designed to ensure user interaction with the described system.
  • an application can be understood as any other pre-installed or web-based program, where it can be implemented and appropriate to place a virtual advertising object for demonstration to the user, for example, games, video editors, training programs, news resources, etc.
  • a user device for example, a smartphone, a tablet computer, augmented reality glasses, virtual reality goggles, augmented reality helmet, virtual reality lens or any other device that contains an image capture device that can display the world around the user (for example, a camera), a display component that can provide the user with the opportunity to see the real world displayed by the image capture device (for example , user device screen) and a network component that allows communication with the server and / or at least one other user m device.
  • image capture device for example, a camera
  • a display component that can provide the user with the opportunity to see the real world displayed by the image capture device (for example , user device screen)
  • a network component that allows communication with the server and / or at least one other user m device.
  • Such devices should have the computing ability and components sufficient to create and transmit messages containing virtual objects, as well as to analyze the parameters of the real world surrounding the user.
  • the user device must contain software instructions that, when enforced by at least one processor of the user device, enable the user to be both the sender and the receiver.
  • the process of creating a message includes placing, by the sender user device, the main virtual object at a predetermined location displayed by the image pickup device of the sender user device, and displaying it as an augmented reality object.
  • the choice of the main virtual object is carried out from a given library of main virtual objects.
  • the result of such a comparison may be a list of parameters whose values are different, which, in turn, can serve as the basis for changing the message content according to this difference.
  • the results of the analysis of the parameters of the real world surrounding the sender are transmitted through the server to the user device of the recipient, where the parameters of the real worlds surrounding the sender and receiver are compared.
  • the analysis of the parameters of the real world surrounding the sender is used most effectively and allows for the highest quality implementation of the task.
  • the parameters of the real world from the group containing weather conditions, location (indoors / outdoors), time of day, illumination, objects of the real world surrounding the sender / receiver.
  • the actual weather conditions at the user's location are obtained by accessing the weather service server
  • the time of day of the user is obtained by accessing the time settings on the user device
  • the light data is obtained by access to sensors that are part of the user device.
  • the analysis of real-world objects surrounding the user consists in their recognition using the image capture device of the user device.
  • the analysis of any parameters of the real world surrounding the user is carried out by means of recognition by the image pickup device of the user device of the sender / receiver of real world objects surrounding the sender / receiver.
  • the content of the received message is changed by adding to the message a list containing at least one value of the real-world parameter surrounding the sender.
  • the list contains the values of all parameters of the real world surrounding the sender
  • options where the list contains values of the parameters of the real world surrounding the sender, which are different from the corresponding values of the parameters of the real world surrounding the sender.
  • the content of the received message is changed by adding at least one additional virtual object to the message corresponding to the recognized real-world object surrounding the sender.
  • an implementation is preferable where, to select an additional virtual object corresponding to a recognized real-world object, they turn to a library containing additional virtual objects assigned to various real-world objects. In this case, it is preferable to place this library on the server.
  • the content of the received message is changed by removing at least one main virtual object from the message.
  • the basis for the removal of at least one main virtual object is the inconsistency of its display in the context of the real world surrounding the recipient.
  • the content of the received message is changed by adding to the message a static or dynamic image of the real world surrounding the sender obtained by the image pickup device of the sender's user device.
  • viewing by a recipient of a message involves placing at least one primary virtual object at a given location displayed by the recipient user device on the recipient’s user device, and displaying them as augmented reality objects, as well as displaying changes made to based on the data of the analysis, as objects of augmented reality (with the exception of the option deleted I was one of the main virtual objects when the object of augmented reality displays only the remaining or the remaining virtual objects).
  • a static or animated virtual object, 3d static or animated virtual object, text, audio or video can be used as the main and / or additional virtual object 2d.
  • the described embodiments of the present invention equally apply to all its claimed aspects, namely, to a method for organizing user interaction in a communication system, a communication system that enables the interaction of user devices and a server with each other, and a machine-readable medium on which program instructions are stored, initiating aspects of a method for organizing user interaction in a communication system according to the present invention niyu.
  • FIG. 1 illustrates a flow chart of an embodiment of a method for organizing user interaction in a communication system according to one embodiment of the present invention. The steps of the illustrated flowchart will now be described in more detail with reference to FIGS. 2a - 2h.
  • FIG. 2a is a schematic diagram illustrating a screen 200 of a sender user device 202 in a step of selecting and placing a primary virtual object.
  • a screen 200 of a sender user device 202 using the image capturing device of the sender user device 202, real-world objects 204 surrounding the sender that the image capture device is facing are displayed, as well as a panel 206 of selectable virtual objects for subsequent transmission to the recipient.
  • the sender After making the selection of the main virtual object, the sender sets the location 208 for its placement in the context of the real world, for example, by touching a certain place on the touch screen 200 with a finger, or, for example, by dragging the selected main virtual object on the touch screen 200 with a finger to a certain location, after which the specified object is attached to the specified geographical location displayed by the capture device image of the sender user device 202 and is displayed as an augmented reality object.
  • the sender can combine the main virtual object with other main virtual objects, for example, 2d static or animated virtual object, 3d static or animated virtual object, text, audio or video.
  • the main virtual object 210 is located “man” and the main virtual object 212 “umbrella”, as illustrated in FIG. 2b.
  • the user device 202 of the sender analyzes the parameters of the real world surrounding the sender. This step is described in block 100 of the flowchart of FIG. 1.
  • the analysis of the parameters of the real world surrounding both the sender and subsequently the receiver is carried out by means of image recognition devices of user devices of real world objects surrounding the sender / receiver.
  • the user device 202 automatically continuously recognizes objects 204 of the real world surrounding the sender. Recognized objects 204 of the real world surrounding the sender, in this example rain, a building and a flower, in FIG. 2a and 2b are surrounded by a dashed line. Recognition can be carried out using standard algorithms used in the technical field. Information about recognized objects 204 of the real world can be stored, for example, in the form of a list of recognized objects.
  • the main virtual objects 210 “little man” and 212 “umbrella” chosen by the sender fully correspond to the context of the real world surrounding the sender, without causing any logical inconsistencies when viewing the created augmented reality message.
  • the sender transmits a message containing main virtual objects 210 and 212, from the user device 202 of the sender to the user device 214 of the recipient, illustrated in FIG. 2c, as described in block 102 of the flowchart of FIG. 1.
  • the transmission of a message from the user device 5 of the sender to the user device of the recipient can be carried out through the server.
  • the user devices and the server in the communication system are communicated through the network.
  • information about the recognized objects 204 of the real world surrounding the sender, presented in the form of a list is transmitted to the server along with the message. After receiving the transmitted message (this step is shown in the block
  • the recipient user device 214 displays a notification of receipt of the message on the screen 216 of the recipient user device 214, and the recipient is given the opportunity to open the message (not shown in the figures).
  • the image capturing device of the recipient user device 214 is activated.
  • real-world objects 218 surrounding the recipient will be displayed, as illustrated in FIG. 2s
  • 20 will automatically analyze the parameters of the real world surrounding the recipient, in the form of recognition by the user device 214 of the recipient of the specified objects 218 of the real world surrounding the recipient. Recognized real-world objects 218 of the recipient in FIG. 2c-2h are outlined with a dashed line.
  • the step of analyzing 25 parameters of the real world surrounding the recipient corresponds to block 106 of the flowchart shown in FIG. 1.
  • Information about the recognized objects 218 of the real world can be stored, for example, in the form of a list of recognized objects.
  • the recipient places the received in the message about the main virtual objects 210 and 212 at the specified location 220 in the context of the real world surrounding the recipient. This procedure similar to the procedure performed by the sender at the stage of creating the message, and is described above.
  • the recipient user device 214 After placing the main virtual objects 210 and 212, the recipient user device 214 automatically sends to the server a list of recognized real-world objects 218 surrounding the recipient.
  • the server compares the lists of recognized objects 204 of the real world surrounding the sender and recognized objects 218 of the real world surrounding the recipient and, if the number of different objects exceeds a certain threshold, fixes the need to level the difference between the real worlds of the sender and the recipient, which the user device informs about 214 recipients.
  • the leveling of the difference between the real worlds of the sender and the recipient is carried out by changing the content of the received message. This step is presented in block 108 of the flowchart of FIG. 1.
  • FIG. 2e shows an example of changing the content of a received message by adding a list 222 to the message containing information about all recognized objects 204 of the real world surrounding the sender. It is also possible to solve the problem by adding to the message list containing information only about those objects 204 of the real world surrounding the sender, which are absent in the real world surrounding the recipient. For example, in this in case it would be a list containing the objects “rain” and “building” that are absent in the real world of the recipient and not containing the object “flower” present in both worlds.
  • FIG. 2f Another embodiment of the present invention is shown in FIG. 2f illustrating the screen 216 of the recipient user device 214 after placing the main virtual objects 210 and 212 contained in the received message.
  • This example is characterized by the presence of additional virtual objects on the library server. Having determined objects of the real world that surround the sender, which are absent in the real world surrounding the recipient, the server selects additional virtual objects corresponding to the missing objects of the real world from the library containing additional virtual objects assigned to various objects of the real world and sends these objects to the user recipient device 214.
  • the server selects additional virtual objects corresponding to the missing objects of the real world from the library containing additional virtual objects assigned to various objects of the real world and sends these objects to the user recipient device 214.
  • the server finds an additional virtual object 224 in the library corresponding to the rain and sends it to the recipient's user device 214.
  • the recipient user device 214 changes the content of the received message by adding an additional virtual object 224 to the message.
  • FIG. 2g Another embodiment of the present invention is shown in FIG. 2g illustrating the screen 216 of the recipient user device 214 after placing the main virtual objects 210 and 212 contained in the received message.
  • This example is characterized by a change in content based on the correlation of the values of the parameters of the real world surrounding the sender with the main virtual objects selected by him in the message, with the definition of logical connections between them and further correlation of logical connections with the values of the parameters of the real world surrounding the recipient.
  • the server correlates the main virtual objects 210 chosen by the sender 210 “people” and 212 “umbrellas” with the recognized object of the real world surrounding the sender - “rain” (here only the correlation with the object of the real world surrounding the sender is indicated, since the correlation with other objects of the real world surrounding the sender is not essential in solving the task).
  • the result of this correlation is to fix the fact that the main virtual object 210 "little man” has no logical connections with the recognized object of the real world surrounding the sender, the "rain”, and the main virtual object 212 "umbrella” has such a connection.
  • the server records the loss of the previously detected logical connection, and, as a result, the mismatch of the main virtual object 212 An “umbrella” to the real world surrounding the recipient, as reported by the recipient's user device.
  • the main virtual object 212 "umbrella" was hidden from the recipient, because its reflection in this context of the real world is considered illogical.
  • FIG. 2h Another embodiment of the present invention is shown in FIG. 2h, illustrating the screen 216 of the recipient user device 214 after placing the main virtual objects 210 and 212 contained in the received message.
  • This example is characterized in that the sender user device 202, together with the message and information about the recognized objects 204, sends a static or dynamic image of the real world (photo or video) surrounding the sender obtained by the image capturing device of the sender user device 202.
  • the content of the received message is changed by adding to the message a static or dynamic image 226 of the real world surrounding the sender obtained by the image capturing device of the sender user device 202.
  • the recipient user device 214 supplements the main virtual objects 210 and 212 with an image 226 of the real world surrounding the sender.
  • FIG. 3 is a schematic illustration of an embodiment of a communication system according to one embodiment of the present invention.
  • the specified communication system includes a server 300 and associated user devices 302 and 304 of the sender and receiver, respectively. As can be seen from the figure, the message is transmitted from the user device of the sender to the user device of the recipient through the server 300.
  • a method for organizing user interaction in a communication system a communication system that enables user devices and a server to communicate with each other, and a computer-readable medium that stores program instructions that initiate aspects of a method for organizing user interaction in a communication system according to the present invention are not limited to the specific features or steps described above.
  • the specific features and steps described above are disclosed as examples implementing the present. the invention, and other equivalent features and steps may be encompassed by the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

A method for organizing user interaction in a communications system comprises creation of an augmented reality message containing at least one main virtual object by means of a sender's user device, with at least one parameter of the real world surrounding the sender being analyzed by the sender's user device; transmission of the created message to at least one receiver's user device by means of the sender's user device; receipt of the message by the receiver's user device; analysis of at least one corresponding parameter of the real world surrounding the receiver by the receiver's user device; changing the content of the received message on the basis of the data of the analyses performed.

Description

УСТРАНЕНИЕ ПРОБЕЛОВ В ПОНИМАНИИ ИНФОРМАЦИИ, ВОЗНИКАЮЩИХ ПРИ ВЗАИМОДЕЙСТВИИ ПОЛЬЗОВАТЕЛЕЙ В КОММУНИКАЦИОННЫХ СИСТЕМАХ, ИСПОЛЬЗУЮЩИХ ОБЪЕКТЫ  Bridging the Gaps in Understanding the Information that Occurs in the Interaction of Users in Communication Systems Using Objects

ДОПОЛНЕННОЙ РЕАЛЬНОСТИ  Augmented Reality

ОБЛАСТЬ ТЕХНИКИ FIELD OF TECHNOLOGY

Изобретение относится к области дополнения виртуальными объектами физического, реального, мира, окружающего пользователя, при обмене сообщениями дополненной реальности. The invention relates to the field of complementing virtual objects of the physical, real, world surrounding the user when exchanging augmented reality messages.

УРОВЕНЬ ТЕХНИКИ BACKGROUND

Системы обмена сообщениями - коммуникационные системы - позволяют пользователям общаться посредством отправки друг другу сообщений. В настоящее время с развитием технологий дополненной реальности реализовано множество коммуникационных систем, позволяющих обмениваться сообщениями дополненной реальности, т.е. дополнять физический, реальный, мир, отображаемый на экране пользовательского устройства устройством захвата изображения пользовательского устройства, объектами виртуального мира. Существуют различные варианты реализации подобных систем, наиболее прогрессивные из которых предполагают использование дополненной реальности как отправителем, так и получателем, а именно создание отправителем сообщения, заключающееся в размещении различных виртуальных объектов как объектов дополненной реальности в контексте реального мира, окружающего отправителя, передачи созданного сообщения получателю, и просмотре получателем виртуальных объектов, полученных в сообщении, как объектов дополненной реальности в контексте реального мира, окружающего получателя. Однако данный способ в его реализации, не выходящей за рамки традиционного способа обмена сообщениями, имеет существенный недостаток, заключающийся в недостаточной информативности сообщений, связанной с отсутствием понимания получателем контекста реального мира, окружающего отправителя, в который был помещен им при отправке виртуальный объект. Очевидно, что при создании отправителем сообщения дополненной реальности возможно существование логических, когнитивных связей между виртуальными объектами и контекстом реального мира, окружающего отправителя, при этом сам отправитель может даже не осознавать, насколько понимание контента созданного им сообщения дополненной реальности может быть искажено при его просмотре в контексте реального мира, окружающего получателя. Отсюда следует возникновение пробелов в понимании информации, заключающихся в наличии несоответствия контента сообщения дополненной реальности реальному миру, окружающему получателя, которого не было на этапе создания данного сообщения в контексте реального мира, окружающего отправителя. Messaging systems - communication systems - allow users to communicate by sending messages to each other. Currently, with the development of augmented reality technologies, many communication systems have been implemented that allow the exchange of augmented reality messages, i.e. complement the physical, real, world displayed on the screen of the user device with the image capture device of the user device, objects of the virtual world. There are various options for implementing such systems, the most progressive of which involve the use of augmented reality by both the sender and the recipient, namely, the creation by the sender of a message, which consists in placing various virtual objects as objects of augmented reality in the context of the real world surrounding the sender, transferring the created message to the recipient , and viewing by the recipient of the virtual objects received in the message as objects of augmented reality in the context of real th world around receiver. However, this method in its implementation, which does not go beyond the traditional method of messaging, has a significant drawback consisting in the lack of information content of the messages due to the lack of understanding by the recipient of the context of the real world surrounding the sender in which the virtual object was placed by him during sending. Obviously when created by the sender augmented reality messages, there may be logical, cognitive connections between virtual objects and the context of the real world surrounding the sender, while the sender may not even realize how much the understanding of the content of the augmented reality message created by him can be distorted when viewed in the context of the real world surrounding the recipient . This leads to the emergence of gaps in the understanding of information, consisting in the inconsistency of the content of the augmented reality message with the real world surrounding the recipient, which was not at the stage of creating this message in the context of the real world surrounding the sender.

Существует возможность улучшения известных способов взаимодействия пользователей в коммуникационных системах путем расширения и дополнения возможностей подобных коммуникационных систем. There is the possibility of improving the known methods of user interaction in communication systems by expanding and complementing the capabilities of such communication systems.

КРАТКОЕ ИЗЛОЖЕНИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ SUMMARY OF THE INVENTION

Идея настоящего изобретения заключается в том, что в процессе создания отправителем сообщения дополненной реальности, содержащего основной виртуальный объект, осуществляется анализ пользовательским устройством отправителя параметров реального мира, окружающего отправителя. После осуществления передачи посредством пользовательского устройства отправителя сообщения и получения сообщения пользовательским устройством получателя осуществляется анализ пользовательским устройством получателя соответствующих параметров реального мира, окружающего получателя. Проведенные анализы позволяют нивелировать недостаточную информативность сообщения посредством изменения контента полученного сообщения на основании их данных. The idea of the present invention is that in the process of creating by the sender of an augmented reality message containing the main virtual object, the user device analyzes the sender of the real world parameters surrounding the sender. After the transmission of the message by the user device and the receipt of the message by the user device of the receiver, the user device analyzes the corresponding parameters of the real world surrounding the receiver. The analyzes performed allow us to level the lack of information content of the message by changing the content of the received message based on their data.

Это краткое изложение сущности изобретения предоставлено для ознакомления с идеей изобретения в упрощенной форме, которая дополнительно раскрыта ниже в Подробном описании изобретения. Данное Краткое изложение сущности изобретения не является направленным на определение существенных признаков заявленных объектов изобретения, а также не является направленным на использование с целью ограничения объема изобретения. This summary of the invention is provided to familiarize with the idea of the invention in a simplified form, which is further disclosed below in the Detailed description of the invention. This Summary of the invention is not aimed at determining the essential features of the claimed objects of the invention, and is also not directed for use in order to limit the scope of the invention.

КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ BRIEF DESCRIPTION OF GRAPHIC MATERIALS

Заявляемое изобретение поясняется с помощью следующих фигур, являющихся неограничивающими примерами реализации настоящего изобретения: фиг. 1 - блок-схема примера осуществления способа организации взаимодействия пользователей в коммуникационной системе согласно одному из вариантов осуществления настоящего изобретения; фиг. 2а - схематическое изображение, иллюстрирующее экран пользовательского устройства отправителя на этапе размещения основного виртуального объекта с анализом параметров реального мира, окружающего отправителя; фиг. 2Ь - схематическое изображение, иллюстрирующее экран пользовательского устройства отправителя после размещения основных виртуальных объектов и их отображения как объектов дополненной реальности; фиг. 2с - схематическое изображение, иллюстрирующее экран пользовательского устройства получателя на этапе размещения основных виртуальных объектов с анализом параметров реального мира, окружающего получателя; фиг. 2d - схематическое изображение, иллюстрирующее экран пользовательского устройства получателя после размещения основных виртуальных объектов и их отображения как объектов дополненной реальности; фиг. 2е - схематическое изображение, иллюстрирующее экран пользовательского устройства получателя, на котором отображены основные виртуальные объекты и список, содержащий все значения параметров реального мира, окружающего отправителя, согласно одному из вариантов осуществления настоящего изобретения; фиг. 2f - схематическое изображение, иллюстрирующее экран пользовательского устройства получателя, на котором отображены основные виртуальные объекты и дополнительный виртуальный объект, соответствующий распознанному объекту реального мира, окружающего отправителя, согласно другому варианту осуществления настоящего изобретения; фиг. 2g - схематическое изображение, иллюстрирующее экран пользовательского устройства получателя, на котором отображен один из двух размещенных отправителем основных виртуальных объектов, не вызывающий пробелов в понимании, согласно еще одному варианту осуществления настоящего изобретения; фиг. 2h - схематическое изображение, иллюстрирующее экран пользовательского устройства получателя, на котором отображены основные виртуальные объекты и статичное изображение реального мира, окружающего отправителя, согласно еще одному варианту осуществления настоящего изобретения; фиг. 3 - схематическое изображение примера осуществления коммуникационной системы согласно одному из предпочтительных вариантов осуществления настоящего изобретения. The invention is illustrated using the following figures, which are non-limiting examples of the implementation of the present invention: FIG. 1 is a flowchart of an embodiment of a method for organizing user interaction in a communication system according to one embodiment of the present invention; FIG. 2a is a schematic view illustrating a screen of a user device of a sender at the stage of placement of a main virtual object with analysis of parameters of the real world surrounding the sender; FIG. 2b is a schematic view illustrating the screen of the sender’s user device after placing the main virtual objects and displaying them as augmented reality objects; FIG. 2c is a schematic diagram illustrating the screen of the recipient’s user device at the stage of placing the main virtual objects with analysis of the parameters of the real world surrounding the recipient; FIG. 2d is a schematic diagram illustrating a screen of a recipient user device after placing the main virtual objects and displaying them as augmented reality objects; FIG. 2e is a schematic view illustrating a screen of a recipient user device that displays basic virtual objects and a list containing all the values of the parameters of the real world surrounding the sender, according to one embodiment of the present invention; FIG. 2f is a schematic diagram illustrating a screen of a recipient user device that displays primary virtual objects and an additional virtual object corresponding to a recognized real world object surrounding the sender, according to another embodiment of the present invention; FIG. 2g is a schematic diagram illustrating a screen of a recipient user device that displays one of two sender-hosted virtual objects that does not cause gaps in understanding, according to another embodiment of the present invention; FIG. 2h is a schematic view illustrating a screen of a recipient user device that displays basic virtual objects and a static image of the real world surrounding the sender, according to another embodiment of the present invention; FIG. 3 is a schematic illustration of an embodiment of a communication system according to one preferred embodiment of the present invention.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ Настоящее изобретение относится к способу организации взаимодействия пользователей в коммуникационной системе, коммуникационной системе, которая обеспечивает взаимодействие пользовательских устройств и сервера между собой, и машиночитаемому носителю, на котором сохранены программные инструкции, инициирующие выполнение аспектов способа организации взаимодействия пользователей в коммуникационной системе согласно настоящему изобретению. DETAILED DESCRIPTION OF THE INVENTION The present invention relates to a method for organizing user interaction in a communication system, a communication system that facilitates the interaction of user devices and a server with each other, and a computer-readable medium that stores program instructions that initiate the execution of aspects of a method for organizing user interaction in a communication system according to the present invention.

В соответствии с первым аспектом настоящего изобретения предложен способ организации взаимодействия пользователей в коммуникационной системе, включающий создание посредством пользовательского устройства отправителя сообщения дополненной реальности, содержащего по меньшей мере один основной виртуальный объект, с анализом пользовательским устройством отправителя по меньшей мере одного параметра реального мира, окружающего отправителя; передачу посредством пользовательского устройства отправителя созданного сообщения на пользовательское устройство по меньшей мере одного получателя; получение сообщения пользовательским устройством получателя; анализ пользовательским устройством получателя по меньшей мере одного соответствующего параметра реального мира, окружающего получателя; изменение контента полученного сообщения на основании данных проведенных анализов. In accordance with the first aspect of the present invention, a method for organizing user interaction in a communication system, including creating by the user device of the sender an augmented reality message containing at least one main virtual object, with the analysis by the user device of the sender of at least one parameter of the real world surrounding the sender; transmission by the user device of the sender of the created message to the user device of at least one recipient; receiving a message by the recipient user device; analysis by the user device of the recipient of at least one corresponding parameter of the real world surrounding the recipient; changing the content of the received message based on the data of the analysis.

В соответствии со вторым аспектом настоящего изобретения предложена коммуникационная система, которая обеспечивает взаимодействие пользовательского устройства отправителя, пользовательского устройства по меньшей мере одного получателя и сервера между собой, содержащая программные инструкции, расположенные на машиночитаемом носителе пользовательского устройства отправителя, которые при приведении их в исполнение по меньшей мере одним процессором пользовательского устройства отправителя обеспечивают предоставление возможности создания посредством пользовательского устройства отправителя сообщения дополненной реальности, содержащего по меньшей мере один основной виртуальный объект, с анализом пользовательским устройством отправителя по меньшей мере одного параметра реального мира, окружающего отправителя; предоставление возможности передачи посредством пользовательского устройства отправителя созданного сообщения на пользовательское устройство по меньшей мере одного получателя; программные инструкции, расположенные на машиночитаемом носителе пользовательского устройства получателя, которые при приведении их в исполнение по меньшей мере одним процессором пользовательского устройства получателя обеспечивают получение сообщения пользовательским устройством получателя с анализом пользовательским устройством получателя по меньшей мере одного соответствующего параметра реального мира, окружающего получателя; изменение контента полученного сообщения на основании данных проведенных анализов; и программные инструкции, расположенные на машиночитаемом носителе сервера, которые при приведении их в исполнение по меньшей мере одним процессором сервера обеспечивают получение сервером переданного сообщения от пользовательского устройства отправителя, передачу сохраненного сообщения от сервера на пользовательское устройство по меньшей мере одного получателя. In accordance with a second aspect of the present invention, there is provided a communication system that provides interaction between a user device of a sender, a user device of at least one receiver and a server, containing software instructions located on a machine-readable medium of a user device of the sender, which when executed at least at least one sender user device processor provides the ability to creating by the user device of the sender an augmented reality message containing at least one main virtual object, with the analysis by the user device of the sender of at least one parameter of the real world surrounding the sender; enabling transmission by the user device of the sender of the created message to the user device at least one recipient; software instructions located on a machine-readable medium of the recipient user device, which, when executed by at least one processor of the recipient user device, provide a message to the recipient user device with analysis by the recipient user device of at least one corresponding parameter of the real world surrounding the recipient; changing the content of the received message based on the data of the analysis; and program instructions located on a machine-readable medium of the server, which, when executed by at least one server processor, ensure that the server receives the transmitted message from the user device of the sender, and transfers the stored message from the server to the user device of the at least one receiver.

В соответствии с третьим аспектом настоящего изобретения предложен машиночитаемый носитель, содержащий программные инструкции для взаимодействия пользователей в коммуникационной системе, содержащие программные инструкции отправителя, которые при приведении их в исполнение по меньшей мере одним процессором пользовательского устройства обеспечивают предоставление возможности создания посредством пользовательского устройства сообщения дополненной реальности, содержащего по меньшей мере один основной виртуальный объект, с анализом пользовательским устройством по меньшей мере одного параметра реального мира, окружающего пользователя; предоставление возможности передачи посредством пользовательского устройства сообщения, содержащего по меньшей мере один основной виртуальный объект, на по меньшей мере одно другое пользовательское устройство; и программные инструкции получателя, которые при приведении их в исполнение по меньшей мере одним процессором пользовательского устройства обеспечивают получение сообщения пользовательским устройством с анализом пользовательским устройством по меньшей мере одного параметра реального мира, окружающего пользователя; изменение контента полученного сообщения на основании данных анализа, проведенного при получении сообщения, и данных анализа, проведенного при создании сообщения другим пользовательским устройством пользователя, являющегося отправителем. In accordance with a third aspect of the present invention, there is provided a computer-readable medium comprising software instructions for user interaction in a communication system, comprising software instructions from the sender, which, when executed by at least one processor of the user device, enables the creation of an augmented reality message by the user device, containing at least one main virtual object, with analysis om the user device at least one parameter of the real world surrounding the user; enabling a user device to transmit a message comprising at least one primary virtual object to at least one other user device; and recipient software instructions that, when executed by at least one processor of the user device, provide a message to the user device that the user device analyzes at least one real-world parameter surrounding the user; changing the content of the received message based on the analysis data performed upon receipt of the message and the analysis data performed upon creation of the message by another user device of the sender user.

Таким образом, на этапе создания сообщения дополненной реальности пользовательским устройством отправителя осуществляется анализ параметров окружающей среды. После передачи сообщения и его получения осуществляется аналогичный анализ пользовательским устройством получателя. Посредством учета данных проведенных анализов осуществляется изменение контента полученного сообщения. Thus, at the stage of creating an augmented reality message, the user device of the sender analyzes the environmental parameters. After the message is transmitted and received, a similar analysis is carried out by the user device of the recipient. By recording the data of the analysis, the content of the received message is changed.

Вышеописанные действия предоставляют возможность нивелировать недостаточную информативность сообщений дополненной реальности, снизить вероятность некорректного восприятия информации получателем сообщения, связанную с различиями между реальными мирами, окружающими отправителя и получателя, повышая, таким образом, качество общения с использованием объектов дополненной реальности. The above actions provide an opportunity to neutralize the lack of information content of augmented reality messages, to reduce the likelihood of incorrect perception of information by the recipient of the message associated with the differences between the real worlds surrounding the sender and recipient, thereby improving the quality of communication using augmented reality objects.

Получатель может получить уведомление на своем пользовательском устройстве о получении сообщения. Такое уведомление также может представлять собой публикацию в ленту сообщений взаимодействующих пользователей с возможностью получателю открыть публикацию. The recipient may receive a notification on his user device about the receipt of the message. Such a notification may also constitute a publication in the feed of interacting users with the ability to the recipient to open the publication.

Передача сообщения от пользовательского устройства отправителя на пользовательское устройство получателя может осуществляться через сервер. Пользовательские устройства и сервер в коммуникационной системе сообщены через сеть, при помощи которой устанавливают соединения между сервером и пользовательскими устройствами отправителя и получателя для осуществления ими взаимодействия в коммуникационной системе, включающую без ограничения сеть Интернет, беспроводные коммуникационные сети, сети, использующие стандартные коммуникационные технологии и/или протоколы. The message from the user device of the sender to the user device of the recipient can be transmitted through the server. The user devices and the server in the communication system are communicated through the network, by means of which they establish connections between the server and the user devices of the sender and recipient to interact with them in the communication system, including without limitation the Internet, wireless communication networks, networks using standard communication technologies and / or protocols.

Описанный способ может осуществляться и описанная коммуникационная система может функционировать на любых подходящих пользовательских устройствах вне зависимости от установленных на них операционных систем. The described method can be implemented and the described communication system can operate on any suitable user devices, regardless of the operating systems installed on them.

Описанный способ может осуществляться и доступ пользователя к описанной системе может осуществляться при помощи соответствующего приложения, установленного на пользовательском устройстве, а также с помощью браузера - прикладного программного обеспечения, предназначенного для просмотра web-страниц и управления web-приложениями, посредством сети. The described method can be implemented and user access to the described system can be carried out using the appropriate application installed on the user device, as well as using a browser - application software designed to view web pages and manage web applications via the network.

Под приложением понимают программу, установленную на пользовательском устройстве, или же web-приложение, где пользователь взаимодействует с сервером при помощи браузера, предназначенные для обеспечения взаимодействия пользователей с описанной системой. Также под приложением можно понимать любую другую предустановленную или web- базируемую программу, где может быть реализовано и является уместным размещение виртуального рекламного объекта для демонстрации его пользователю, например, игры, видеоредакторы, обучающие программы, новостные ресурсы и т.д. By an application is meant a program installed on a user device, or a web application, where a user interacts with a server using a browser, designed to ensure user interaction with the described system. Also, an application can be understood as any other pre-installed or web-based program, where it can be implemented and appropriate to place a virtual advertising object for demonstration to the user, for example, games, video editors, training programs, news resources, etc.

В качестве пользовательского устройства может быть использован, например, смартфон, планшетный компьютер, очки дополненной реальности, очки виртуальной реальности, шлем дополненной реальности, тттлем виртуальной реальности или же любое другое устройство, которое содержит устройство захвата изображения, способное отображать окружающий пользователя мир (например, камера), компонент отображения, способный обеспечивать пользователя возможностью видеть отображаемый устройством захвата изображения реальный мир (например, экран пользовательского устройства) и сетевой компонент, позволяющий устанавливать связь с сервером и/или по меньшей мере одним другим пользовательским устройством. Такие устройства должны иметь вычислительную способность и компоненты, достаточные для создания и передачи сообщений, содержащих виртуальные объекты, а также для осуществления анализа параметров реального мира, окружающего пользователя. As a user device, for example, a smartphone, a tablet computer, augmented reality glasses, virtual reality goggles, augmented reality helmet, virtual reality lens or any other device that contains an image capture device that can display the world around the user (for example, a camera), a display component that can provide the user with the opportunity to see the real world displayed by the image capture device (for example , user device screen) and a network component that allows communication with the server and / or at least one other user m device. Such devices should have the computing ability and components sufficient to create and transmit messages containing virtual objects, as well as to analyze the parameters of the real world surrounding the user.

Очевидно, что когда получатель в ответ на полученное сообщение дополненной реальности осуществляет передачу сообщения отправителю, то он автоматически становится отправителем, а взаимодействующий с ним пользователь - получателем. Следовательно, пользовательское устройство должно содержать программные инструкции, которые при приведении их в исполнение по меньшей мере одним процессором пользовательского устройства обеспечивают возможность пользователя быть и отправителем, и получателем. It is obvious that when the recipient, in response to the received augmented reality message, transmits the message to the sender, he automatically becomes the sender, and the user who interacts with it becomes the receiver. Therefore, the user device must contain software instructions that, when enforced by at least one processor of the user device, enable the user to be both the sender and the receiver.

В одном из вариантов реализации настоящего изобретения процесс создания сообщения включает в себя размещение посредством пользовательского устройства отправителя основного виртуального объекта в заданном местоположении, отображаемом устройством захвата изображения пользовательского устройства отправителя, и его отображение как объекта дополненной реальности. При этом возможен вариант реализации, где выбор основного виртуального объекта осуществляется из заданной библиотеки основных виртуальных объектов. In one embodiment of the present invention, the process of creating a message includes placing, by the sender user device, the main virtual object at a predetermined location displayed by the image pickup device of the sender user device, and displaying it as an augmented reality object. In this case, an implementation option is possible where the choice of the main virtual object is carried out from a given library of main virtual objects.

Предпочтительным является изменение контента на основании данных сравнения значения по меньшей мере одного параметра реального мира, окружающего отправителя, со значением по меньшей мере одного соответствующего параметра реального мира, окружающего получателя. Таким образом, результатом такого сравнения может являться перечень параметров, значения которых отличны, что, в свою очередь, может служить основанием для изменения контента сообщения согласно этому отличию. При этом предпочтительной является передача результатов анализов параметров реальных миров, окружающих отправителя и получателя, на сервер, где и осуществляется их сравнение. В другом предпочтительном варианте осуществления настоящего изобретения результаты анализа параметров реального мира, окружающего отправителя, передаются через сервер на пользовательское устройство получателя, где и осуществляется сравнение параметров реальных миров, окружающих отправителя и получателя. It is preferable to change the content based on data comparing the value of at least one parameter of the real world surrounding the sender with the value of at least one corresponding parameter of the real world surrounding the recipient. So Thus, the result of such a comparison may be a list of parameters whose values are different, which, in turn, can serve as the basis for changing the message content according to this difference. Moreover, it is preferable to transfer the results of analyzes of parameters of real worlds surrounding the sender and receiver to the server, where they are compared. In another preferred embodiment of the present invention, the results of the analysis of the parameters of the real world surrounding the sender are transmitted through the server to the user device of the recipient, where the parameters of the real worlds surrounding the sender and receiver are compared.

Также предпочтительным является изменение контента на основании данных соотнесения значения по меньшей мере одного параметра реального мира, окружающего отправителя, с по меньшей мере одним основным виртуальным объектом, содержащимся в сообщении, с определением логических связей между ними и дальнейшего соотнесения логических связей со значением по меньшей мере одного параметра реального мира, окружающего получателя. Таким образом, оценивается не только контекст реального мира, окружающего отправителя, в котором было создано сообщение, но и то, как соотносится основной виртуальный объект с данным контекстом. В таком предпочтительном варианте реализации настоящего изобретения анализ параметров реального мира, окружающего отправителя, применяется наиболее эффективно и позволяет обеспечить наиболее качественную реализацию поставленной задачи. It is also preferable to change the content based on the correlation of the value of at least one parameter of the real world surrounding the sender with at least one main virtual object contained in the message, determining the logical connections between them and further correlating the logical connections with the value of at least one parameter of the real world surrounding the recipient. Thus, it evaluates not only the context of the real world surrounding the sender in which the message was created, but also how the main virtual object relates to this context. In such a preferred embodiment of the present invention, the analysis of the parameters of the real world surrounding the sender is used most effectively and allows for the highest quality implementation of the task.

Предпочтительным является выбор параметров реального мира из группы, содержащей погодные условия, местоположение (в помещении/на улице), время суток, освещенность, объекты реального мира, окружающего отправителя/получателя. В одном из предпочтительных вариантов реализации данные о фактических погодных условиях в местоположении пользователя получают посредством обращения к серверу метеослужбы, данные о времени суток пользователя получают посредством обращения к установкам времени на пользовательском устройстве, а данные об освещенности получают посредством обращения к датчикам, входящим в состав пользовательского устройства. При этом анализ объектов реального мира, окружающего пользователя, заключается в их распознавании при помощи устройства захвата изображения пользовательского устройства. It is preferable to select the parameters of the real world from the group containing weather conditions, location (indoors / outdoors), time of day, illumination, objects of the real world surrounding the sender / receiver. In one preferred embodiment, the actual weather conditions at the user's location are obtained by accessing the weather service server, the time of day of the user is obtained by accessing the time settings on the user device, and the light data is obtained by access to sensors that are part of the user device. In this case, the analysis of real-world objects surrounding the user consists in their recognition using the image capture device of the user device.

В другом предпочтительном варианте реализации настоящего изобретения анализ любых параметров реального мира, окружающего пользователя, осуществляют посредством распознавания при помощи устройства захвата изображения пользовательского устройства отправителя/получателя объектов реального мира, окружающего отправителя/получателя. In another preferred embodiment of the present invention, the analysis of any parameters of the real world surrounding the user is carried out by means of recognition by the image pickup device of the user device of the sender / receiver of real world objects surrounding the sender / receiver.

В одном из предпочтительных вариантов реализации настоящего изобретения изменение контента полученного сообщения осуществляют посредством добавления в сообщение списка, содержащего по меньшей мере одно значение параметра реального мира, окружающего отправителя. При этом возможны варианты реализации, где список содержит значения всех параметров реального мира, окружающего отправителя, и варианты, где список содержит значения параметров реального мира, окружающего отправителя, которые отличны от соответствующих значений параметров реального мира, окружающего получателя. In one of the preferred embodiments of the present invention, the content of the received message is changed by adding to the message a list containing at least one value of the real-world parameter surrounding the sender. In this case, implementation options are possible where the list contains the values of all parameters of the real world surrounding the sender, and options where the list contains values of the parameters of the real world surrounding the sender, which are different from the corresponding values of the parameters of the real world surrounding the sender.

В другом предпочтительном варианте реализации настоящего изобретения изменение контента полученного сообщения осуществляют посредством добавления в сообщение по меньшей мере одного дополнительного виртуального объекта, соответствующего распознанному объекту реального мира, окружающего отправителя. При этом предпочтительной является реализация, где для выбора дополнительного виртуального объекта, соответствующего распознанному объекту реального мира, обращаются к библиотеке, содержащей дополнительные виртуальные объекты, присвоенные различным объектам реального мира. При этом предпочтительным является размещение данной библиотеки на сервере. In another preferred embodiment of the present invention, the content of the received message is changed by adding at least one additional virtual object to the message corresponding to the recognized real-world object surrounding the sender. Moreover, an implementation is preferable where, to select an additional virtual object corresponding to a recognized real-world object, they turn to a library containing additional virtual objects assigned to various real-world objects. In this case, it is preferable to place this library on the server.

В еще одном предпочтительном варианте реализации настоящего изобретения изменение контента полученного сообщения осуществляют посредством удаления из сообщения по меньшей мере одного основного виртуального объекта. В данном варианте реализации основанием для удаления по меньшей мере одного основного виртуального объекта является нелогичность его отображения в контексте реального мира, окружающего получателя. In yet another preferred embodiment of the present of the invention, the content of the received message is changed by removing at least one main virtual object from the message. In this embodiment, the basis for the removal of at least one main virtual object is the inconsistency of its display in the context of the real world surrounding the recipient.

В еще одном предпочтительном варианте реализации настоящего изобретения изменение контента полученного сообщения осуществляют посредством добавления в сообщение статичного или динамичного изображения реального мира, окружающего отправителя, полученного посредством устройства захвата изображения пользовательского устройства отправителя. In another preferred embodiment of the present invention, the content of the received message is changed by adding to the message a static or dynamic image of the real world surrounding the sender obtained by the image pickup device of the sender's user device.

Возможны варианты реализации настоящего изобретения, где изменение контента полученного сообщения осуществляется на сервере или варианты реализации, где данная процедура осуществляется на пользовательском устройстве. Implementation options of the present invention are possible, where the content of the received message is changed on the server or implementation options where this procedure is performed on the user device.

В одном из вариантов реализации настоящего изобретения просмотр получателем сообщения включает размещение посредством пользовательского устройства получателя по меньшей мере одного основного виртуального объекта в заданном местоположении, отображаемом устройством захвата изображения пользовательского устройства получателя, и их отображение как объектов дополненной реальности, а также отображение изменений, выполненных на основании данных проведенных анализов, как объектов дополненной реальности (за исключением варианта удаления одного из основных виртуальных объектов, когда как объект дополненной реальности отображается только оставшийся или оставшиеся виртуальные объекты). In one embodiment of the present invention, viewing by a recipient of a message involves placing at least one primary virtual object at a given location displayed by the recipient user device on the recipient’s user device, and displaying them as augmented reality objects, as well as displaying changes made to based on the data of the analysis, as objects of augmented reality (with the exception of the option deleted I was one of the main virtual objects when the object of augmented reality displays only the remaining or the remaining virtual objects).

Во всех описанных выше вариантах реализации предполагается возможность использования в качестве основного и/или дополнительного виртуального объекта 2d статичного или анимированного виртуального объекта, 3d статичного или анимированного виртуального объекта, текста, аудио или видео. Описанные вътттте варианты реализации настоящего изобретения в равной степени относятся ко всем заявленным его аспектам, а именно к способу организации взаимодействия пользователей в коммуникационной системе, коммуникационной системе, которая обеспечивает взаимодействие пользовательских устройств и сервера между собой, и машиночитаемому носителю, на котором сохранены программные инструкции, инициирующие выполнение аспектов способа организации взаимодействия пользователей в коммуникационной системе согласно настоящему изобретению. In all the embodiments described above, it is assumed that a static or animated virtual object, 3d static or animated virtual object, text, audio or video can be used as the main and / or additional virtual object 2d. The described embodiments of the present invention equally apply to all its claimed aspects, namely, to a method for organizing user interaction in a communication system, a communication system that enables the interaction of user devices and a server with each other, and a machine-readable medium on which program instructions are stored, initiating aspects of a method for organizing user interaction in a communication system according to the present invention niyu.

Аспекты настоящего изобретения далее раскрыты в данном описании со ссылками на графические материалы, которые являются неограничивающими примерами реализации настоящего изобретения. Aspects of the present invention are further disclosed herein with reference to graphic materials, which are non-limiting examples of the implementation of the present invention.

Фиг. 1 иллюстрирует блок-схему примера осуществления способа организации взаимодействия пользователей в коммуникационной системе согласно одному из вариантов осуществления настоящего изобретения. Этапы проиллюстрированного блок-схемой способа будут далее более подробно раскрыты со ссылками на фиг. 2а - 2h. FIG. 1 illustrates a flow chart of an embodiment of a method for organizing user interaction in a communication system according to one embodiment of the present invention. The steps of the illustrated flowchart will now be described in more detail with reference to FIGS. 2a - 2h.

На фиг. 2а представлено схематическое изображение, иллюстрирующее экран 200 пользовательского устройства 202 отправителя на этапе выбора и размещения основного виртуального объекта. При этом на экране 200 пользовательского устройства 202 отправителя при помощи устройства захвата изображения пользовательского устройства 202 отправителя отображают объекты 204 реального мира, окружающего отправителя, к которым обращено устройство захвата изображения, а также панель 206 доступных к выбору виртуальных объектов для последующей передачи получателю. После осуществления выбора основного виртуального объекта отправитель задает местоположение 208 для его размещения в контексте реального мира, например, посредством касания пальцем определенного места сенсорного экрана 200, или, например, посредством «перетаскивания» пальцем выбранного основного виртуального объекта по сенсорному экрану 200 до определенного местоположения, после чего указанный объект привязывается к заданному географическому местоположению, отображаемому устройством захвата изображения пользовательского устройства 202 отправителя и отображается как объект дополненной реальности. Дополнительно отправитель может объединять основной виртуальный объект с другими основными виртуальными объектами, например, 2d статичным или анимированным виртуальным объектом, 3d статичным или анимированным виртуальным объектом, текстом, аудио или видео. Таким образом, в данном примере в указанном отправителем местоположении 208 размещены основной виртуальный объект 210 «человечек» и основной виртуальный объект 212 «зонт», как проиллюстрировано на фиг. 2Ь. In FIG. 2a is a schematic diagram illustrating a screen 200 of a sender user device 202 in a step of selecting and placing a primary virtual object. At the same time, on the screen 200 of the sender user device 202, using the image capturing device of the sender user device 202, real-world objects 204 surrounding the sender that the image capture device is facing are displayed, as well as a panel 206 of selectable virtual objects for subsequent transmission to the recipient. After making the selection of the main virtual object, the sender sets the location 208 for its placement in the context of the real world, for example, by touching a certain place on the touch screen 200 with a finger, or, for example, by dragging the selected main virtual object on the touch screen 200 with a finger to a certain location, after which the specified object is attached to the specified geographical location displayed by the capture device image of the sender user device 202 and is displayed as an augmented reality object. Additionally, the sender can combine the main virtual object with other main virtual objects, for example, 2d static or animated virtual object, 3d static or animated virtual object, text, audio or video. Thus, in this example, at the location indicated by the sender 208, the main virtual object 210 is located “man” and the main virtual object 212 “umbrella”, as illustrated in FIG. 2b.

В процессе создания сообщения пользовательским устройством 202 отправителя осуществляется анализ параметров реального мира, окружающего отправителя. Данный этап описан в блоке 100 блок-схемы, приведенной на фиг. 1. В приведенных на фигурах примерах анализ параметров реального мира, окружающего как отправителя, так впоследствии и получателя, осуществляют посредством распознавания при помощи устройств захвата изображения пользовательских устройств объектов реального мира, окружающего отправителя/получателя. Таким образом, в то время как отправитель осуществляет размещение основного виртуального объекта, сразу после активирования устройства захвата изображения, пользовательское устройство 202 автоматически непрерывно осуществляет распознавание объектов 204 реального мира, окружающего отправителя. Распознанные объекты 204 реального мира, окружающего отправителя, в данном примере дождь, здание и цветок, на фиг. 2а и 2Ь обведены пунктирной линией. Распознавание может быть осуществлено посредством стандартных алгоритмов, используемых в области техники. Информация о распознанных объектах 204 реального мира может храниться, например, в виде списка распознанных объектов. In the process of creating a message, the user device 202 of the sender analyzes the parameters of the real world surrounding the sender. This step is described in block 100 of the flowchart of FIG. 1. In the examples shown in the figures, the analysis of the parameters of the real world surrounding both the sender and subsequently the receiver is carried out by means of image recognition devices of user devices of real world objects surrounding the sender / receiver. Thus, while the sender is placing the main virtual object immediately after the activation of the image pickup device, the user device 202 automatically continuously recognizes objects 204 of the real world surrounding the sender. Recognized objects 204 of the real world surrounding the sender, in this example rain, a building and a flower, in FIG. 2a and 2b are surrounded by a dashed line. Recognition can be carried out using standard algorithms used in the technical field. Information about recognized objects 204 of the real world can be stored, for example, in the form of a list of recognized objects.

Как видно на фиг. 2Ь, выбранные отправителем основные виртуальные объекты 210 «человечек» и 212 «зонт» полностью соответствуют контексту реального мира, окружающего отправителя, не вызывая при просмотре созданного сообщения дополненной реальности отправителем никаких логических несоответствий. As seen in FIG. 2b, the main virtual objects 210 “little man” and 212 “umbrella” chosen by the sender fully correspond to the context of the real world surrounding the sender, without causing any logical inconsistencies when viewing the created augmented reality message.

Далее отправитель осуществляет передачу сообщения, содержащего основные виртуальные объекты 210 и 212, от пользовательского устройства 202 отправителя на пользовательское устройство 214 получателя, проиллюстрированное на фиг. 2с, как описано в блоке 102 блок-схемы, приведенной на фиг. 1. Передача сообщения от пользовательского устройства 5 отправителя на пользовательское устройство получателя может осуществляться через сервер. Пользовательские устройства и сервер в коммуникационной системе сообщены через сеть. В данном примере информация о распознанных объектах 204 реального мира, окружающего отправителя, представленная в виде списка, передается на сервер вместе с сообщением. ю После получения переданного сообщения (данный этап изображен в блокеNext, the sender transmits a message containing main virtual objects 210 and 212, from the user device 202 of the sender to the user device 214 of the recipient, illustrated in FIG. 2c, as described in block 102 of the flowchart of FIG. 1. The transmission of a message from the user device 5 of the sender to the user device of the recipient can be carried out through the server. The user devices and the server in the communication system are communicated through the network. In this example, information about the recognized objects 204 of the real world surrounding the sender, presented in the form of a list, is transmitted to the server along with the message. After receiving the transmitted message (this step is shown in the block

104 блок-схемы, приведенной на фиг. 1) пользовательским устройством 214 получателя на экране 216 пользовательского устройства 214 получателя отображают уведомление о получении сообщения, и получателю предоставляется возможность открыть сообщение (на фигурах не отображено). 104 of the flowchart of FIG. 1) the recipient user device 214 displays a notification of receipt of the message on the screen 216 of the recipient user device 214, and the recipient is given the opportunity to open the message (not shown in the figures).

15 После того, как получатель открыл полученное сообщение, осуществляется активация устройства захвата изображения пользовательского устройства 214 получателя. Таким образом, на экране 216 пользовательского устройства 214 получателя будут отображены объекты 218 реального мира, окружающего получателя, как проиллюстрировано на фиг. 2с. Далее 20 автоматически будет осуществляться анализ параметров реального мира, окружающего получателя, в виде распознавания посредством пользовательского устройства 214 получателя указанных объектов 218 реального мира, окружающего получателя. Распознанные объекты 218 реального мира получателя на фиг. 2c-2h обведены пунктирной линией. Этап анализа 25 параметров реального мира, окружающего получателя, соответствует блоку 106 блок-схемы, приведенной на фиг. 1. Информация о распознанных объектах 218 реального мира может храниться, например, в виде списка распознанных объектов. 15 After the recipient has opened the received message, the image capturing device of the recipient user device 214 is activated. Thus, on the screen 216 of the recipient user device 214, real-world objects 218 surrounding the recipient will be displayed, as illustrated in FIG. 2s Next, 20 will automatically analyze the parameters of the real world surrounding the recipient, in the form of recognition by the user device 214 of the recipient of the specified objects 218 of the real world surrounding the recipient. Recognized real-world objects 218 of the recipient in FIG. 2c-2h are outlined with a dashed line. The step of analyzing 25 parameters of the real world surrounding the recipient corresponds to block 106 of the flowchart shown in FIG. 1. Information about the recognized objects 218 of the real world can be stored, for example, in the form of a list of recognized objects.

Далее получатель осуществляет размещение полученных в сообщении зо основных виртуальных объектов 210 и 212 в указанном местоположении 220 в контексте реального мира, окружающего получателя. Данная процедура аналогична процедуре, выполняемой отправителем на этапе создания сообщения, и описана выше. Next, the recipient places the received in the message about the main virtual objects 210 and 212 at the specified location 220 in the context of the real world surrounding the recipient. This procedure similar to the procedure performed by the sender at the stage of creating the message, and is described above.

Как видно на фиг. 2d, при просмотре полученного сообщения дополненной реальности получателем восприятие им содержащейся в сообщении информации будет неизбежно искажено вследствие наличия логических несоответствий контента сообщения контексту реального мира, окружающего получателя. Отсюда следует возникновение пробелов в понимании информации, возникающих при взаимодействии пользователей в коммуникационных системах, использующих объекты дополненной реальности, на устранение которых направленно данное изобретение. As seen in FIG. 2d, when viewing the received augmented reality message by the recipient, his perception of the information contained in the message will inevitably be distorted due to the presence of logical inconsistencies of the message content to the context of the real world surrounding the recipient. This leads to the emergence of gaps in the understanding of information arising from the interaction of users in communication systems using objects of augmented reality, to which this invention is directed.

После размещения основных виртуальных объектов 210 и 212 пользовательское устройство 214 получателя осуществляет автоматическую отправку на сервер списка распознанных объектов 218 реального мира, окружающего получателя. After placing the main virtual objects 210 and 212, the recipient user device 214 automatically sends to the server a list of recognized real-world objects 218 surrounding the recipient.

После этого сервер осуществляет сравнение списков распознанных объектов 204 реального мира, окружающего отправителя, и распознанных объектов 218 реального мира, окружающего получателя и, если количество отличных объектов превышает определенный порог, фиксирует необходимость нивелирования отличия между реальными мирами отправителя и получателя, о чем информирует пользовательское устройство 214 получателя. Нивелирование отличия между реальными мирами отправителя и получателя осуществляется посредством изменения контента полученного сообщения. Данный этап представлен в блоке 108 блок-схемы, приведенной на фиг. 1. After that, the server compares the lists of recognized objects 204 of the real world surrounding the sender and recognized objects 218 of the real world surrounding the recipient and, if the number of different objects exceeds a certain threshold, fixes the need to level the difference between the real worlds of the sender and the recipient, which the user device informs about 214 recipients. The leveling of the difference between the real worlds of the sender and the recipient is carried out by changing the content of the received message. This step is presented in block 108 of the flowchart of FIG. 1.

На фиг. 2е представлен пример изменения контента полученного сообщения посредством добавления в сообщение списка 222, содержащего сведения обо всех распознанных объектах 204 реального мира, окружающего отправителя. Возможен также вариант решения поставленной задачи посредством добавления в сообщение списка, содержащего сведения только о тех объектах 204 реального мира, окружающего отправителя, которые отсутствуют в реальном мире, окружающем получателя. Например, в данном случае это был бы список, содержащий отсутствующие в реальном мире получателя объекты «дождь» и «здание» и не содержащий присутствующий в обоих мирах объект «цветок». In FIG. 2e shows an example of changing the content of a received message by adding a list 222 to the message containing information about all recognized objects 204 of the real world surrounding the sender. It is also possible to solve the problem by adding to the message list containing information only about those objects 204 of the real world surrounding the sender, which are absent in the real world surrounding the recipient. For example, in this in case it would be a list containing the objects “rain” and “building” that are absent in the real world of the recipient and not containing the object “flower” present in both worlds.

Другой пример реализации настоящего изобретения представлен на фиг. 2f, иллюстрирующей экран 216 пользовательского устройства 214 получателя после размещения основных виртуальных объектов 210 и 212, содержащихся в полученном сообщении. Another embodiment of the present invention is shown in FIG. 2f illustrating the screen 216 of the recipient user device 214 after placing the main virtual objects 210 and 212 contained in the received message.

Данный пример характеризуется наличием на сервере библиотеки дополнительных виртуальных объектов. Определив объекты реального мира, окружающего отправителя, которые отсутствуют в реальном мире, окружающем получателя, сервер осуществляет выборку дополнительных виртуальных объектов, соответствующих отсутствующим объектам реального мира, из библиотеки, содержащей дополнительные виртуальные объекты, присвоенные различным объектам реального мира, и пересылает данные объекты на пользовательское устройство 214 получателя. В данном примере для наглядности решения поставленной задачи в ходе алгоритма сравнения ведется учет только тех параметров реального мира, окружающего пользователей, которые связаны с погодными условиями. Таким образом, на основании отличия объектов, связанных с погодными условиями - «дождь» у отправителя и «солнце» у получателя - сервер находит соответствующий дождю дополнительный виртуальный объект 224 в библиотеке и пересылает его на пользовательское устройство 214 получателя. This example is characterized by the presence of additional virtual objects on the library server. Having determined objects of the real world that surround the sender, which are absent in the real world surrounding the recipient, the server selects additional virtual objects corresponding to the missing objects of the real world from the library containing additional virtual objects assigned to various objects of the real world and sends these objects to the user recipient device 214. In this example, to illustrate the solution of the problem in the course of the comparison algorithm, only those parameters of the real world surrounding the users that are associated with weather conditions are taken into account. Thus, based on the difference between objects associated with weather conditions - “rain” at the sender and “sun” at the recipient - the server finds an additional virtual object 224 in the library corresponding to the rain and sends it to the recipient's user device 214.

Таким образом, в данном примере, получив дополнительный виртуальный объект 224 «дождь», пользовательское устройство 214 получателя осуществляет изменение контента полученного сообщения посредством добавления в сообщение дополнительного виртуального объекта 224. Thus, in this example, having received the additional virtual rain object 224, the recipient user device 214 changes the content of the received message by adding an additional virtual object 224 to the message.

Другой пример реализации настоящего изобретения представлен на фиг. 2g, иллюстрирующей экран 216 пользовательского устройства 214 получателя после размещения основных виртуальных объектов 210 и 212, содержащихся в полученном сообщении. Данный пример характеризуется изменением контента на основании данных соотнесения значения параметров реального мира, окружающего отправителя, с выбранными им основными виртуальными объектами, содержащимися в сообщении, с определением логических связей между ними и дальнейшего соотнесения логических связей со значениями параметров реального мира, окружающего получателя. Таким образом, сервер осуществляет соотнесение выбранных отправителем основных виртуальных объектов 210 «человечка» и 212 «зонта» с распознанным объектом реального мира, окружающего отправителя - «дождем» (здесь указано только соотнесение с этим объектом реального мира, окружающего отправителя, так как соотнесение с другими объектами реального мира, окружающего отправителя, не является существенным в решении поставленной задачи). Результатом такого соотнесения является фиксирование того, что основной виртуальный объект 210 «человечек» не имеет логических связей с распознанным объектом реального мира, окружающего отправителя, «дождем», а основной виртуальный объект 212 «зонт» имеет такую связь. Далее, исходя из полученной от пользовательского устройства 214 получателя информации, видно, что среди распознанных объектов 218 реального мира, окружающего получателя, нет объекта «дождь», и сервер фиксирует потерю ранее выявленной логической связи, и, как следствие, несоответствие основного виртуального объекта 212 «зонт» реальному миру, окружающему получателя, о чем информирует пользовательское устройство получателя. Another embodiment of the present invention is shown in FIG. 2g illustrating the screen 216 of the recipient user device 214 after placing the main virtual objects 210 and 212 contained in the received message. This example is characterized by a change in content based on the correlation of the values of the parameters of the real world surrounding the sender with the main virtual objects selected by him in the message, with the definition of logical connections between them and further correlation of logical connections with the values of the parameters of the real world surrounding the recipient. Thus, the server correlates the main virtual objects 210 chosen by the sender 210 “people” and 212 “umbrellas” with the recognized object of the real world surrounding the sender - “rain” (here only the correlation with the object of the real world surrounding the sender is indicated, since the correlation with other objects of the real world surrounding the sender is not essential in solving the task). The result of this correlation is to fix the fact that the main virtual object 210 "little man" has no logical connections with the recognized object of the real world surrounding the sender, the "rain", and the main virtual object 212 "umbrella" has such a connection. Further, based on the information received from the recipient user device 214, it can be seen that among the recognized objects of the real world 218 surrounding the recipient there is no “rain” object, and the server records the loss of the previously detected logical connection, and, as a result, the mismatch of the main virtual object 212 An “umbrella” to the real world surrounding the recipient, as reported by the recipient's user device.

Таким образом, в процессе размещения получателем основных виртуальных объектов, как представлено на фиг. 2g, основной виртуальный объект 212 «зонт» был скрыт от получателя, т.к. его отображение в данном контексте реального мира признано нелогичным. Thus, in the process of placement by the recipient of the main virtual objects, as shown in FIG. 2g, the main virtual object 212 "umbrella" was hidden from the recipient, because its reflection in this context of the real world is considered illogical.

Другой пример реализации настоящего изобретения представлен на фиг. 2h, иллюстрирующей экран 216 пользовательского устройства 214 получателя после размещения основных виртуальных объектов 210 и 212, содержащихся в полученном сообщении. Данный пример характеризуется тем, что пользовательское устройство 202 отправителя вместе с сообщением и информацией о распознанных объектах 204 осуществляет отправку статичного или динамичного изображения реального мира (фото или видео), окружающего отправителя, полученного посредством устройства захвата изображения пользовательского устройства 202 отправителя. Another embodiment of the present invention is shown in FIG. 2h, illustrating the screen 216 of the recipient user device 214 after placing the main virtual objects 210 and 212 contained in the received message. This example is characterized in that the sender user device 202, together with the message and information about the recognized objects 204, sends a static or dynamic image of the real world (photo or video) surrounding the sender obtained by the image capturing device of the sender user device 202.

В данном примере изменение контента полученного сообщения осуществляют посредством добавления в сообщение статичного или динамичного изображения 226 реального мира, окружающего отправителя, полученного посредством устройства захвата изображения пользовательского устройства 202 отправителя. Таким образом, на основании полученной от сервера информации о необходимости нивелирования отличия между реальными мирами отправителя и получателя, пользовательское устройство 214 получателя осуществляет дополнение основных виртуальных объектов 210 и 212 изображением 226 реального мира, окружающего отправителя. In this example, the content of the received message is changed by adding to the message a static or dynamic image 226 of the real world surrounding the sender obtained by the image capturing device of the sender user device 202. Thus, based on the information received from the server about the need to level the differences between the real worlds of the sender and the recipient, the recipient user device 214 supplements the main virtual objects 210 and 212 with an image 226 of the real world surrounding the sender.

На фиг. 3 приведено схематическое изображение примера осуществления коммуникационной системы согласно одному из вариантов осуществления настоящего изобретения. Указанная коммуникационная система содержит сервер 300 и связанные с ним пользовательские устройства 302 и 304 отправителя и получателя соответственно. Как видно из рассматриваемой фигуры, передача сообщения от пользовательского устройства отправителя на пользовательское устройство получателя осуществляется посредством сервера 300. In FIG. 3 is a schematic illustration of an embodiment of a communication system according to one embodiment of the present invention. The specified communication system includes a server 300 and associated user devices 302 and 304 of the sender and receiver, respectively. As can be seen from the figure, the message is transmitted from the user device of the sender to the user device of the recipient through the server 300.

Следует принять во внимание, что способ организации взаимодействия пользователей в коммуникационной системе, коммуникационная система, которая обеспечивает взаимодействие пользовательских устройств и сервера между собой, и машиночитаемый носитель, на котором сохранены программные инструкции, инициирующие выполнение аспектов способа организации взаимодействия пользователей в коммуникационной системе согласно настоящему изобретению, не ограничены конкретными признаками или этапами, описанными выше. Напротив, конкретные признаки и этапы, описанные выше, раскрыты в качестве примеров, реализующих настоящее изобретение, и другие эквивалентные признаки и этапы могут быть охвачены объемом настоящего изобретения. It will be appreciated that a method for organizing user interaction in a communication system, a communication system that enables user devices and a server to communicate with each other, and a computer-readable medium that stores program instructions that initiate aspects of a method for organizing user interaction in a communication system according to the present invention are not limited to the specific features or steps described above. In contrast, the specific features and steps described above are disclosed as examples implementing the present. the invention, and other equivalent features and steps may be encompassed by the scope of the present invention.

Claims

Формула изобретения Claim 1. Способ организации взаимодействия пользователей в коммуникационной системе, включающий создание посредством пользовательского устройства отправителя сообщения дополненной реальности, содержащего по меньшей мере один основной виртуальный объект, с анализом пользовательским устройством отправителя по меньшей мере одного параметра реального мира, окружающего отправителя; передачу посредством пользовательского устройства отправителя созданного сообщения на пользовательское устройство по меньшей мере одного получателя; получение сообщения пользовательским устройством получателя; анализ пользовательским устройством получателя по меньшей мере одного соответствующего параметра реального мира, окружающего получателя; изменение контента полученного сообщения на основании данных проведенных анализов. 1. A method of organizing user interaction in a communication system, comprising creating an augmented reality message containing at least one main virtual object using a sender user device, with the user device analyzing the sender at least one real-world parameter surrounding the sender; transmission by the user device of the sender of the created message to the user device of at least one recipient; receiving a message by the recipient user device; analysis by the user device of the recipient of at least one corresponding parameter of the real world surrounding the recipient; changing the content of the received message based on the data of the analysis. 2. Способ по и. 1, отличающийся тем, что контент изменяют на основании данных сравнения значения по меньшей мере одного параметра реального мира, окружающего отправителя, со значением по меньшей мере одного соответствующего параметра реального мира, окружающего получателя. 2. The method according to and. 1, characterized in that the content is changed based on data comparing the values of at least one parameter of the real world surrounding the sender with the value of at least one corresponding parameter of the real world surrounding the recipient. 3. Способ по и. 1, отличающийся тем, что контент изменяют на основании данных соотнесения значения по меньшей мере одного параметра реального мира, окружающего отправителя, с по меньшей мере одним основным виртуальным объектом, содержащимся в сообщении, с определением логических связей между ними и дальнейшего соотнесения логических связей со значением по меньшей мере одного параметра реального мира, окружающего получателя. 3. The method according to and. 1, characterized in that the content is changed based on the correlation of the values of at least one parameter of the real world surrounding the sender with at least one main virtual object contained in the message, with the definition of logical connections between them and further correlation of logical connections with the value at least one parameter of the real world surrounding the recipient. 4. Способ по п. 1, отличающийся тем, что параметры реального мира выбирают из группы, содержащей погодные условия, местоположение (в помещении/на улице), время суток, освещенность, объекты реального мира, окружающего отправителя/получателя. 4. The method according to p. 1, characterized in that the parameters of the real world choose from the group containing weather conditions, location (indoors / outdoors), time of day, lighting, real-world objects surrounding the sender / receiver. 5. Способ по и. 4, отличающийся тем, что анализ по меньшей мере одного из параметров реального мира, окружающего отправителя/получателя, осуществляют посредством распознавания при помощи устройства захвата изображения пользовательского устройства отправителя/получателя объектов реального мира, окружающего отправителя/получателя. 5. The method according to and. 4, characterized in that the analysis of at least one of the parameters of the real world surrounding the sender / receiver is carried out by means of recognition using the image capture device of the user device of the sender / receiver of real world objects surrounding the sender / receiver. 6. Способ по любому из пи. 1-3, отличающийся тем, что изменение контента полученного сообщения осуществляют посредством добавления в сообщение списка, содержащего по меньшей мере одно значение параметра реального мира, окружающего отправителя. 6. The method according to any one of pi. 1-3, characterized in that the content of the received message is modified by adding to the message a list containing at least one value of the real world parameter surrounding the sender. 7. Способ по и. 6, отличающийся тем, что список содержит значения всех параметров реального мира, окружающего отправителя. 7. The method according to and. 6, characterized in that the list contains the values of all parameters of the real world surrounding the sender. 8. Способ по и. 6, отличающийся тем, что список содержит значения параметров реального мира, окружающего отправителя, которые отличны от значений соответствующих параметров реального мира, окружающего получателя. 8. The method according to and. 6, characterized in that the list contains the values of the parameters of the real world surrounding the sender, which are different from the values of the corresponding parameters of the real world surrounding the recipient. 9. Способ по любому из пи. 1-3 и по и. 5, отличающийся тем, что изменение контента полученного сообщения осуществляют посредством добавления в сообщение по меньшей мере одного дополнительного виртуального объекта, соответствующего распознанному объекту реального мира, окружающего отправителя. 9. The method according to any one of pi. 1-3 and according to and. 5, characterized in that the content of the received message is changed by adding at least one additional virtual object to the message corresponding to the recognized real-world object surrounding the sender. 10. Способ по и. 9, отличающийся тем, что для выбора дополнительного виртуального объекта, соответствующего распознанному объекту реального мира, обращаются к библиотеке, содержащей дополнительные виртуальные объекты, присвоенные различным объектам реального мира. 10. The method according to and. 9, characterized in that to select an additional virtual object corresponding to a recognized real-world object, they turn to a library containing additional virtual objects assigned to various real-world objects. 11. Способ по любому из пи. 1-3, отличающийся тем, что изменение контента полученного сообщения осуществляют посредством удаления из сообщения по меньшей мере одного основного виртуального объекта. 11. The method according to any one of pi. 1-3, characterized in that the content change of the received message is carried out by deleting from Messages from at least one primary virtual object. 12. Способ по любому из пп. 1-3, отличающийся тем, что изменение контента полученного сообщения осуществляют посредством добавления в сообщение статичного или динамичного изображения реального мира, окружающего отправителя, полученного посредством устройства захвата изображения пользовательского устройства отправителя. 12. The method according to any one of paragraphs. 1-3, characterized in that the content change of the received message is carried out by adding to the message a static or dynamic image of the real world surrounding the sender obtained by the image capturing device of the user device of the sender. 13. Способ по п. 1, отличающийся тем, что в качестве основного виртуального объекта используют 2d статичный или анимированный виртуальный объект, 3d статичный или анимированный виртуальный объект, текст, аудио или видео. 13. The method according to p. 1, characterized in that as the main virtual object using a 2d static or animated virtual object, 3d static or animated virtual object, text, audio or video. 14. Способ по и. 9, отличающийся тем, что в качестве дополнительного виртуального объекта используют 2d статичный или анимированный виртуальный объект, 3d статичный или анимированный виртуальный объект, текст, аудио или видео. 14. The method according to and. 9, characterized in that as an additional virtual object using a 2d static or animated virtual object, 3d static or animated virtual object, text, audio or video. 15. Коммуникационная система, которая обеспечивает взаимодействие пользовательского устройства отправителя, пользовательского устройства по меньшей мере одного получателя и сервера между собой, содержащая программные инструкции, расположенные на машиночитаемом носителе пользовательского устройства отправителя, которые при приведении их в исполнение по меньшей мере одним процессором пользовательского устройства отправителя обеспечивают предоставление возможности создания посредством пользовательского устройства отправителя сообщения дополненной реальности, содержащего по меньшей мере один основной виртуальный объект, с анализом пользовательским устройством отправителя по меньшей мере одного параметра реального мира, окружающего отправителя; предоставление возможности передачи посредством пользовательского устройства отправителя созданного сообщения на пользовательское устройство по меньшей мере одного получателя; программные инструкции, расположенные на машиночитаемом носителе пользовательского устройства получателя, которые при приведении их в исполнение по меньшей мере одним процессором пользовательского устройства получателя обеспечивают получение сообщения пользовательским устройством получателя с анализом пользовательским устройством получателя по меньшей мере одного соответствующего параметра реального мира, окружающего получателя; изменение контента полученного сообщения на основании данных проведенных анализов; и программные инструкции, расположенные на машиночитаемом носителе сервера, которые при приведении их в исполнение по меньшей мере одним процессором сервера обеспечивают получение сервером переданного сообщения от пользовательского устройства отправителя, передачу сохраненного сообщения от сервера на пользовательское устройство по меньшей мере одного получателя. 15. A communication system that allows the user device of the sender, the user device of at least one receiver and the server to communicate with each other, containing software instructions located on the machine-readable medium of the user device of the sender, which when executed by at least one processor of the user device of the sender provide the ability to create through the user device the sender with communicating augmented reality, containing at least one main virtual object, with the analysis by the user device of the sender of at least one parameter of the real world surrounding the sender; enabling transmission by the user device of the sender of the created message to the user device of at least one recipient; software instructions located on a machine-readable medium of the recipient user device, which, when executed by at least one processor of the recipient user device, provide a message to the recipient user device with analysis by the recipient user device of at least one corresponding parameter of the real world surrounding the recipient; changing the content of the received message based on the data of the analysis; and program instructions located on a machine-readable medium of the server, which, when executed by at least one server processor, ensure that the server receives the transmitted message from the user device of the sender, and transfers the stored message from the server to the user device of the at least one receiver. 16. Система по п. 15, отличающаяся тем, что программные инструкции содержат инструкции, которые обеспечивают изменение контента на основании данных сравнения значения по меньшей мере одного параметра реального мира, окружающего отправителя, со значением по меньшей мере одного соответствующего параметра реального мира, окружающего получателя. 16. The system according to p. 15, characterized in that the program instructions contain instructions that provide for changing the content based on data comparing the value of at least one parameter of the real world surrounding the sender with the value of at least one corresponding parameter of the real world surrounding the recipient . 17. Система по п. 15, отличающаяся тем, что программные инструкции содержат инструкции, которые обеспечивают изменение контента на основании данных соотнесения значения по меньшей мере одного параметра реального мира, окружающего отправителя, с по меньшей мере одним основным виртуальным объектом, содержащимся в сообщении, с определением логических связей между ними и дальнейшего соотнесения логических связей со значением по меньшей мере одного параметра реального мира, окружающего получателя. 17. The system according to p. 15, characterized in that the program instructions contain instructions that provide for changing the content based on the correlation of the value of at least one parameter of the real world surrounding the sender with at least one main virtual object contained in the message, with the definition of logical connections between them and the further correlation of logical connections with the value of at least one parameter of the real world surrounding the recipient. 18. Система по п. 15, отличающаяся тем, что программные инструкции содержат инструкции, которые обеспечивают выбор параметров реального мира из группы, содержащей погодные условия, местоположение (в помещении/на улице), время суток, освещенность, объекты реального мира, окружающего отправителя/получателя. 18. The system according to p. 15, characterized in that the program instructions contain instructions that provide a selection of real-world parameters from a group containing weather conditions, location (indoors / outdoors), time of day, light, objects of the real world surrounding the sender / receiver. 19. Система по и. 18, отличающаяся тем, что программные инструкции содержат инструкции, которые обеспечивают осуществление анализа по меньшей мере одного из параметров реального мира, окружающего отправителя/получателя, посредством распознавания при помощи устройства захвата изображения пользовательского устройства объектов реального мира, окружающего отправителя/получателя. 19. The system according to and. 18, characterized in that the program instructions contain instructions that provide for the analysis of at least one of the parameters of the real world surrounding the sender / receiver, by means of recognition using the image pickup device of the user device of real world objects surrounding the sender / receiver. 20. Система по любому из пи. 15-17, отличающаяся тем, что программные инструкции содержат инструкции, которые обеспечивают осуществление изменения контента полученного сообщения посредством добавления в сообщение списка, содержащего по меньшей мере одно значение параметра реального мира, окружающего отправителя. 20. The system according to any one of pi. 15-17, characterized in that the program instructions contain instructions that enable the content of the received message to be modified by adding to the message a list containing at least one value of the real-world parameter surrounding the sender. 21. Система по и. 20, отличающаяся тем, что список содержит значения всех параметров реального мира, окружающего отправителя. 21. The system according to and. 20, characterized in that the list contains the values of all parameters of the real world surrounding the sender. 22. Система по и. 20, отличающаяся тем, что список содержит значения параметров реального мира, окружающего отправителя, которые отличны от значений соответствующих параметров реального мира, окружающего получателя. 22. The system according to and. 20, characterized in that the list contains the values of the parameters of the real world surrounding the sender, which are different from the values of the corresponding parameters of the real world surrounding the recipient. 23. Система по любому из пи. 15-17 и по и. 19, отличающаяся тем, что программные инструкции содержат инструкции, которые обеспечивают осуществление изменения контента полученного сообщения посредством добавления в сообщение по меньшей мере одного дополнительного виртуального объекта, соответствующего распознанному объекту реального мира, окружающего отправителя. 23. The system according to any one of pi. 15-17 and by and. 19, characterized in that the program instructions contain instructions that enable the content of the received message to be modified by adding at least one additional virtual object corresponding to the recognized real-world object surrounding the sender to the message. 24. Система по и. 23, отличающаяся тем, что программные инструкции содержат инструкции, которые для выбора дополнительного виртуального объекта, соответствующего распознанному объекту реального мира, обеспечивают обращение к библиотеке, содержащей дополнительные виртуальные объекты, присвоенные различным объектам реального мира. 24. The system according to and. 23, characterized in that the program instructions contain instructions that for selecting an additional virtual the object corresponding to the recognized object of the real world, provide access to the library containing additional virtual objects assigned to various objects of the real world. 25. Система по любому из пи. 15-17, отличающаяся тем, что программные инструкции содержат инструкции, которые обеспечивают осуществление изменения контента полученного сообщения посредством удаления из сообщения по меньшей мере одного основного виртуального объекта. 25. System according to any one of pi. 15-17, characterized in that the program instructions contain instructions that provide for the implementation of the content change of the received message by removing from the message at least one main virtual object. 26. Система по любому из пи. 15-17, отличающаяся тем, что программные инструкции содержат инструкции, которые обеспечивают осуществление изменения контента полученного сообщения посредством добавления в сообщение статичного или динамичного изображения реального мира, окружающего отправителя, полученного посредством устройства захвата изображения пользовательского устройства отправителя. 26. System according to any one of pi. 15-17, characterized in that the program instructions contain instructions that enable the content of the received message to be modified by adding to the message a static or dynamic image of the real world surrounding the sender obtained by the image pickup device of the user device of the sender. 27. Система по и. 15, отличающаяся тем, что основной виртуальный объект представляет собой 2d статичный или анимированный виртуальный объект, 3d статичный или анимированный виртуальный объект, текст, аудио или видео. 27. The system according to and. 15, wherein the main virtual object is a 2d static or animated virtual object, 3d static or animated virtual object, text, audio or video. 28. Система по п. 23, отличающаяся тем, что дополнительный виртуальный объект представляет собой 2d статичный или анимированный виртуальный объект, 3d статичный или анимированный виртуальный объект, текст, аудио или видео. 28. The system according to p. 23, characterized in that the additional virtual object is a 2d static or animated virtual object, 3d static or animated virtual object, text, audio or video. 29. Машиночитаемый носитель, содержащий программные инструкции для взаимодействия пользователей в коммуникационной системе, содержащие программные инструкции отправителя, которые при приведении их в исполнение по меньшей мере одним процессором пользовательского устройства обеспечивают предоставление возможности создания посредством пользовательского устройства сообщения дополненной реальности, содержащего по меньшей мере один основной виртуальный объект, с анализом пользовательским устройством по меньшей мере одного параметра реального мира, окружающего пользователя; предоставление возможности передачи посредством пользовательского устройства сообщения, содержащего по меньшей мере один основной виртуальный объект, на по меньшей мере одно другое пользовательское устройство; и программные инструкции получателя, которые при приведении их в исполнение по меньшей мере одним процессором пользовательского устройства обеспечивают получение сообщения пользовательским устройством с анализом пользовательским устройством по меньшей мере одного параметра реального мира, окружающего пользователя; изменение контента полученного сообщения на основании данных анализа, проведенного при получении сообщения, и данных анализа, проведенного при создании сообщения другим пользовательским устройством пользователя, являющегося отправителем. 29. A computer-readable medium containing program instructions for user interaction in a communication system, containing program instructions of the sender, which, when executed by at least one processor of the user device, provide creation capabilities through the user an augmented reality message device containing at least one main virtual object, with the analysis by the user device of at least one parameter of the real world surrounding the user; enabling a user device to transmit a message comprising at least one primary virtual object to at least one other user device; and recipient software instructions that, when executed by at least one processor of the user device, provide a message to the user device that the user device analyzes at least one real-world parameter surrounding the user; changing the content of the received message based on the analysis data performed upon receipt of the message and the analysis data performed upon creation of the message by another user device of the sender user. 30. Носитель по п. 29, отличающийся тем, что программные инструкции содержат инструкции, которые обеспечивают изменение контента на основании данных сравнения значения по меньшей мере одного параметра реального мира, окружающего отправителя, со значением по меньшей мере одного соответствующего параметра реального мира, окружающего получателя. 30. The medium of claim 29, wherein the program instructions comprise instructions that provide for changing the content based on data comparing the value of at least one parameter of the real world surrounding the sender with the value of at least one corresponding parameter of the real world surrounding the recipient . 31. Носитель по п. 29, отличающийся тем, что программные инструкции содержат инструкции, которые обеспечивают изменение контента на основании данных соотнесения значения по меньшей мере одного параметра реального мира, окружающего отправителя, с по меньшей мере одним основным виртуальным объектом, содержащимся в сообщении, с определением логических связей между ними и дальнейшего соотнесения логических связей со значением по меньшей мере одного параметра реального мира, окружающего получателя. 31. The medium of claim 29, wherein the program instructions comprise instructions that provide for changing the content based on data relating the value of at least one parameter of the real world surrounding the sender to at least one main virtual object contained in the message, with the definition of logical connections between them and the further correlation of logical connections with the value of at least one parameter of the real world surrounding the recipient. 32. Носитель по п. 29, отличающийся тем, что программные инструкции содержат инструкции, которые обеспечивают выбор параметров реального мира из группы, содержащей погодные условия, местоположение (в помещении/на улице), время суток, освещенность, объекты реального мира, окружающего отправителя/получателя. 32. The medium according to claim 29, characterized in that the program instructions contain instructions that provide for the selection of real-world parameters from a group containing weather conditions, location (indoors / outdoors), time of day, lighting, real-world objects surrounding the sender / recipient. 33. Носитель по п. 32, отличающийся тем, что программные инструкции содержат инструкции, которые обеспечивают осуществление анализа по меньшей мере одного из параметров реального мира, окружающего отправителя/получателя, посредством распознавания при помощи устройства захвата изображения пользовательского устройства объектов реального мира, окружающего отправителя/получателя. 33. The medium of claim 32, wherein the program instructions include instructions that provide for the analysis of at least one of the parameters of the real world surrounding the sender / receiver, through recognition of real-world objects surrounding the sender using the image pickup device of the user device / recipient. 34. Носитель по любому из пп. 29-31, отличающийся тем, что программные инструкции содержат инструкции, которые обеспечивают осуществление изменения контента полученного сообщения посредством добавления в сообщение списка, содержащего по меньшей мере одно значение параметра реального мира, окружающего отправителя. 34. The medium according to any one of paragraphs. 29-31, characterized in that the program instructions contain instructions that enable the content of the received message to be modified by adding to the message a list containing at least one value of the real-world parameter surrounding the sender. 35. Носитель по п. 34, отличающийся тем, что список содержит значения всех параметров реального мира, окружающего отправителя. 35. The medium of claim 34, wherein the list contains values of all parameters of the real world surrounding the sender. 36. Носитель по п. 34, отличающийся тем, что список содержит значения параметров реального мира, окружающего отправителя, которые отличны от значений соответствующих параметров реального мира, окружающего получателя. 36. The medium according to claim 34, characterized in that the list contains the values of the parameters of the real world surrounding the sender, which are different from the values of the corresponding parameters of the real world surrounding the recipient. 37. Носитель по любому из пп. 29-31 и по п. 33, отличающийся тем, что программные инструкции содержат инструкции, которые обеспечивают осуществление изменения контента полученного сообщения посредством добавления в сообщение по меньшей мере одного дополнительного виртуального объекта, соответствующего распознанному объекту реального мира, окружающего отправителя. 37. The medium according to any one of paragraphs. 29-31 and p. 33, characterized in that the program instructions contain instructions that provide for changing the content of the received message by adding at least one additional virtual object to the message corresponding to the recognized real-world object surrounding the sender. 38. Носитель по и. 37, отличающийся тем, что программные инструкции содержат инструкции, которые для выбора дополнительного виртуального объекта, соответствующего распознанному объекту реального мира, обеспечивают обращение к библиотеке, содержащей дополнительные виртуальные объекты, присвоенные различным объектам реального мира. 38. The media according to and. 37, characterized in that the program instructions contain instructions that, for selecting an additional virtual object corresponding to a recognized real-world object, provide access to a library containing additional virtual objects assigned to various real-world objects. 39. Носитель по любому из пи. 29-31, отличающийся тем, что программные инструкции содержат инструкции, которые обеспечивают осуществление изменения контента полученного сообщения посредством удаления из сообщения по меньшей мере одного основного виртуального объекта. 39. The medium according to any one of pi. 29-31, characterized in that the program instructions contain instructions that enable the content of the received message to be modified by deleting at least one main virtual object from the message. 40. Носитель по любому из пи. 29-31, отличающийся тем, что программные инструкции содержат инструкции, которые обеспечивают осуществление изменения контента полученного сообщения посредством добавления в сообщение статичного или динамичного изображения реального мира, окружающего отправителя, полученного посредством устройства захвата изображения пользовательского устройства отправителя. 40. The medium according to any one of pi. 29-31, characterized in that the program instructions contain instructions that enable the content of the received message to be modified by adding to the message a static or dynamic image of the real world surrounding the sender obtained by the image capturing device of the sender's user device. 41. Носитель по и. 29, отличающийся тем, что основной виртуальный объект представляет собой 2d статичный или анимированный виртуальный объект, 3d статичный или анимированный виртуальный объект, текст, аудио или видео. 41. The media according to and. 29, wherein the main virtual object is a 2d static or animated virtual object, 3d static or animated virtual object, text, audio or video. 42. Носитель по п. 37, отличающийся тем, что дополнительный виртуальный объект представляет собой 2d статичный или анимированный виртуальный объект, 3d статичный или анимированный виртуальный объект, текст, аудио или видео. 42. The medium of claim 37, wherein the additional virtual object is a 2d static or animated virtual object, a 3d static or animated virtual object, text, audio or video.
PCT/IB2019/053368 2018-06-26 2019-04-24 Eliminating gaps in information comprehension arising during user interaction in communications systems using augmented reality objects Ceased WO2020003014A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862689847P 2018-06-26 2018-06-26
US62/689,847 2018-06-26

Publications (1)

Publication Number Publication Date
WO2020003014A1 true WO2020003014A1 (en) 2020-01-02

Family

ID=68986088

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/IB2019/053368 Ceased WO2020003014A1 (en) 2018-06-26 2019-04-24 Eliminating gaps in information comprehension arising during user interaction in communications systems using augmented reality objects

Country Status (1)

Country Link
WO (1) WO2020003014A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110148922A1 (en) * 2009-12-21 2011-06-23 Electronics And Telecommunications Research Institute Apparatus and method for mixed reality content operation based on indoor and outdoor context awareness
US8451266B2 (en) * 2009-12-07 2013-05-28 International Business Machines Corporation Interactive three-dimensional augmented realities from item markers for on-demand item visualization
US9215293B2 (en) * 2011-10-28 2015-12-15 Magic Leap, Inc. System and method for augmented and virtual reality
WO2016138481A1 (en) * 2015-02-27 2016-09-01 3D Product Imaging Inc. Augmented reality e-commerce
US20170330036A1 (en) * 2015-01-29 2017-11-16 Aurasma Limited Provide augmented reality content

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8451266B2 (en) * 2009-12-07 2013-05-28 International Business Machines Corporation Interactive three-dimensional augmented realities from item markers for on-demand item visualization
US20110148922A1 (en) * 2009-12-21 2011-06-23 Electronics And Telecommunications Research Institute Apparatus and method for mixed reality content operation based on indoor and outdoor context awareness
US9215293B2 (en) * 2011-10-28 2015-12-15 Magic Leap, Inc. System and method for augmented and virtual reality
US20170330036A1 (en) * 2015-01-29 2017-11-16 Aurasma Limited Provide augmented reality content
WO2016138481A1 (en) * 2015-02-27 2016-09-01 3D Product Imaging Inc. Augmented reality e-commerce

Similar Documents

Publication Publication Date Title
US11474779B2 (en) Method and apparatus for processing information
KR102340228B1 (en) Message service providing method for message service linking search service and message server and user device for performing the method
KR102355267B1 (en) Content collection navigation and autoforwarding
US10129524B2 (en) Depth-assigned content for depth-enhanced virtual reality images
KR101966258B1 (en) Push notifications for updating multiple dynamic icon panels
US11430211B1 (en) Method for creating and displaying social media content associated with real-world objects or phenomena using augmented reality
US20190332400A1 (en) System and method for cross-platform sharing of virtual assistants
US9607424B2 (en) Depth-assigned content for depth-enhanced pictures
US9230355B1 (en) Methods and systems for images with interactive filters
US20170046314A1 (en) Clickable links within live collaborative web meetings
US10146560B2 (en) Method and apparatus for automatic processing of service requests on an electronic device
US10950022B2 (en) Using machine learning and image recognition for automatic relocation of camera display area and sizing of camera image
US20140282069A1 (en) System and Method of Storing, Editing and Sharing Selected Regions of Digital Content
WO2014178219A1 (en) Information processing device and information processing method
CN110069738B (en) Information processing method and device, terminal equipment and server
US11483156B1 (en) Integrating digital content into displayed data on an application layer via processing circuitry of a server
US10372512B2 (en) Method and apparatus for automatic processing of service requests on an electronic device
US20230368444A1 (en) Rendering customized video call interfaces during a video call
CN112751681A (en) Image processing method, device, equipment and computer readable storage medium
WO2019092590A1 (en) User interaction in a communication system with the aid of multiple live streaming of augmented reality data
US11016630B2 (en) Virtual view-window
US12444217B2 (en) Notifications in extended reality environments
WO2020003014A1 (en) Eliminating gaps in information comprehension arising during user interaction in communications systems using augmented reality objects
WO2019087014A1 (en) User interaction by means of live streaming of augmented reality data
US11783724B1 (en) Interactive training apparatus using augmented reality

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19827237

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19827237

Country of ref document: EP

Kind code of ref document: A1