RU2106695C1 - Method for representation of virtual space for user and device which implements said method - Google Patents
Method for representation of virtual space for user and device which implements said method Download PDFInfo
- Publication number
- RU2106695C1 RU2106695C1 RU96116415A RU96116415A RU2106695C1 RU 2106695 C1 RU2106695 C1 RU 2106695C1 RU 96116415 A RU96116415 A RU 96116415A RU 96116415 A RU96116415 A RU 96116415A RU 2106695 C1 RU2106695 C1 RU 2106695C1
- Authority
- RU
- Russia
- Prior art keywords
- user
- segments
- virtual space
- reference directions
- determining
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000033001 locomotion Effects 0.000 claims abstract description 58
- 230000003993 interaction Effects 0.000 claims abstract description 5
- 210000002346 musculoskeletal system Anatomy 0.000 claims description 22
- 210000001503 joint Anatomy 0.000 claims description 15
- 238000013178 mathematical model Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 230000007787 long-term memory Effects 0.000 claims description 7
- 230000005358 geomagnetic field Effects 0.000 claims description 6
- 210000002683 foot Anatomy 0.000 claims description 5
- 210000004394 hip joint Anatomy 0.000 claims description 3
- 239000013307 optical fiber Substances 0.000 claims description 3
- 210000000323 shoulder joint Anatomy 0.000 claims description 3
- 210000000544 articulatio talocruralis Anatomy 0.000 claims description 2
- 210000002310 elbow joint Anatomy 0.000 claims description 2
- 210000000629 knee joint Anatomy 0.000 claims description 2
- 210000004705 lumbosacral region Anatomy 0.000 claims description 2
- 210000003857 wrist joint Anatomy 0.000 claims description 2
- PICXIOQBANWBIZ-UHFFFAOYSA-N zinc;1-oxidopyridine-2-thione Chemical class [Zn+2].[O-]N1C=CC=CC1=S.[O-]N1C=CC=CC1=S PICXIOQBANWBIZ-UHFFFAOYSA-N 0.000 claims description 2
- 241000208202 Linaceae Species 0.000 claims 1
- 235000004431 Linum usitatissimum Nutrition 0.000 claims 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims 1
- 230000005484 gravity Effects 0.000 claims 1
- 210000004247 hand Anatomy 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 2
- 238000012545 processing Methods 0.000 abstract description 2
- 238000001514 detection method Methods 0.000 abstract 5
- 238000005259 measurement Methods 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 238000012549 training Methods 0.000 description 7
- 230000015654 memory Effects 0.000 description 6
- 230000002996 emotional effect Effects 0.000 description 5
- 210000002414 leg Anatomy 0.000 description 5
- 238000002360 preparation method Methods 0.000 description 5
- 210000001699 lower leg Anatomy 0.000 description 4
- 230000037081 physical activity Effects 0.000 description 3
- 210000000689 upper leg Anatomy 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000004883 computer application Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 210000000115 thoracic cavity Anatomy 0.000 description 2
- 238000012559 user support system Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000251556 Chordata Species 0.000 description 1
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- MAHPNPYYQAIOJN-UHFFFAOYSA-N azimsulfuron Chemical compound COC1=CC(OC)=NC(NC(=O)NS(=O)(=O)C=2N(N=CC=2C2=NN(C)N=N2)C)=N1 MAHPNPYYQAIOJN-UHFFFAOYSA-N 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 210000002832 shoulder Anatomy 0.000 description 1
- 235000015096 spirit Nutrition 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 210000001694 thigh bone Anatomy 0.000 description 1
- 210000003371 toe Anatomy 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
Изобретение относится к средствам учебного или тренировочного назначения, а также к спорту, играм и развлечениям и может быть использовано при создании имитаторов и тренажеров спортивного и военного назначения, интерактивных компьютерных игр и систем виртуальной реальности. The invention relates to means for educational or training purposes, as well as to sports, games and entertainment, and can be used to create simulators and simulators for sports and military purposes, interactive computer games and virtual reality systems.
Известен способ и реализующая его система представления виртуальной реальности пользователю, содержащая узел подвижной платформы, имеющий шесть степеней свободы и выполненный в виде сферической оболочки, внутри которой размещен пользователь; средство определения положения сферической платформы, данные о котором вводятся в компьютер, находящийся внутри указанной оболочки (см. патент США N 5490784, кл.434-55, кл. G 09 B 9/00, опубл. 13.02.96). Информация о положении платформы передается передатчиком в приемник, который в свою очередь передает полученные данные об угловом положении сферической платформы с пользователем в главный компьютер, находящийся вне платформы. Сферическая платформа, установленная на поворотных опорах, также опирается на штанги изменяемой длины, управляемые для обеспечения линейных перемещений пользователя вместе с платформой по трем линейным координатам. Информация о линейных перемещениях поворотной платформы направляется в главный компьютер. Нашлемный дисплей подстраивает отображаемое пользователю изображение виртуальной реальности в соответствии с полученной информацией о перемещениях платформы с пользователем. A known method and a system for presenting virtual reality to a user that comprises a node of a mobile platform having six degrees of freedom and made in the form of a spherical shell inside which the user is placed; means for determining the position of the spherical platform, data about which is entered into a computer located inside the specified shell (see US patent N 5490784, CL 434-55, CL G 09
К недостаткам данного известного технического решения следует отнести сложность системы, а также то, что пользователь ограничен в своих движениях, в результате чего снижается степень достоверности моделирования виртуального пространства и его восприятия пользователем. The disadvantages of this well-known technical solution include the complexity of the system, as well as the fact that the user is limited in their movements, as a result of which the degree of reliability of modeling virtual space and its perception by the user is reduced.
Наиболее близкими к изобретению являются способ и реализующая его система представления пользователю комбинированного изображения реальной и виртуальной среды, содержащая средство визуального отображения для представления пользователю составного изображения; датчик направления для формирования сигнала, индицирующего направление поля зрения пользователя; видеокамеру для формирования последовательности видеосигналов, которые в комбинации представляют его поле зрения; средство для установки видеокамеры таким образом, чтобы поле зрения видеокамеры совпадало с полем зрения пользователя и отслеживало его перемещения; средство генерирования изображений, реагирующее на сигнал направления, для формирования синтезированных сигналов, характеризующих генерируемую компьютером часть полного изображения; средство селекции и комбинирования изображений, реагирующее на видеокамеру, на средство генерирования изображения и на датчик направления, для формирования выходного сигнала для средства визуального отображения, для анализа видеосигналов и выбора видеосигналов или синтезированных компьютером сигналов для формирования составного видеосигнала и подачи его на устройство отображения (см. патент США N 5349517, кл.395-129, кл. G 06 F 15/20, опубл. 14.10.92). Closest to the invention are a method and a system for presenting a combined image of a real and virtual environment to a user comprising a visual display means for presenting a composite image to a user; a direction sensor for generating a signal indicative of the direction of the user's field of view; a video camera for generating a sequence of video signals, which in combination represent its field of view; means for installing the video camera so that the field of view of the camera coincides with the field of view of the user and tracks his movements; image generating means responsive to the direction signal for generating synthesized signals characterizing a computer generated portion of the entire image; means for selecting and combining images that are responsive to the video camera, to the image generating means and to the direction sensor, for generating an output signal for visual display means, for analyzing video signals and selecting video signals or computer-synthesized signals for generating a composite video signal and supplying it to the display device (see US patent N 5349517, CL 395-129, CL G 06 F 15/20, publ. 14.10.92).
Данному известному техническому решению также свойственны отмеченные выше недостатки, в частности, не обеспечивается возможность представления пользователю изображения виртуальной среды в соответствии с изменениями положения и ориентации пользователя в реальном пространстве. This known technical solution is also characterized by the disadvantages noted above, in particular, it is not possible to present the image of the virtual environment to the user in accordance with changes in the position and orientation of the user in real space.
Задачей изобретения является создание способа представления виртуального пространства пользователю и системы для осуществления способа, позволяющих преодолеть недостатки, свойственные вышеуказанным известным решениям, известным из предшествующего уровня техники. The objective of the invention is to provide a method for presenting virtual space to a user and a system for implementing the method, allowing to overcome the disadvantages inherent in the above known solutions known from the prior art.
Достигаемым техническим результатом является снижение затрат на изготовление и эксплуатацию, обеспечение удобства и естественности движений пользователя без каких-либо ограничений его перемещения по пространству, в том числе при взаимодействии пользователя с объектами реальной или виртуальной среды, а также повышение точности и достоверности представления пользователю изображения виртуальной среды в полном соответствии с изменениями положения и ориентации пользователя в реальном пространстве. The technical result achieved is to reduce the cost of manufacturing and operation, to ensure the convenience and naturalness of the user's movements without any restrictions on its movement in space, including when the user interacts with objects of a real or virtual environment, and also to increase the accuracy and reliability of presenting a virtual image to the user environment in full accordance with changes in the position and orientation of the user in real space.
Указанный результат достигается тем, что в способе представления виртуального пространства пользователю с учетом его движения в реальном пространстве, при котором определяют параметры перемещения частей тела пользователя, преобразуют полученные данные в требуемую форму их представления, обрабатывают совокупности преобразованных данных для определения области виртуального пространства, отображаемой пользователю в соответствии с его положением и ориентацией с учетом взаимодействия с объектами виртуального пространства, в соответствии с изобретением
а) закрепляют у каждого из основных сочленений сегментов опорно-двигательной системы пользователя средство определения по меньшей мере одного угла между сегментами, примыкающими к соответствующему сочленению;
б) задают линейные размеры сегментов опорно-двигательной системы пользователя;
в) размещают по меньшей мере на одном из сегментов опорно- двигательной системы пользователя средство определения опорных направлений;
г) определяют ориентацию по меньшей мере одного сегмента, на котором размещено средство определения опорных направлений, относительно упомянутых опорных направлений;
д) определяют углы между сегментами, примыкающими к упомянутым основным сочленениям;
е) определяют ориентацию и положение пользователя в целом в пространстве на основе полученных значений углов и ориентации упомянутого по меньшей мере одного сегмента, на котором размещено средство определения опорных направлений;
ж) определяют опорный сегмент или сегменты опорно-двигательной системы пользователя;
з) позиционируют упомянутый опорный сегмент или сегменты относительно опоры в отображаемом виртуальном пространстве;
и) определяют положение и ориентацию головы пользователя в виртуальном пространстве для определения его поля зрения в виртуальном пространстве;
к) формируют и представляют пользователю область виртуального пространства, соответствующую его полю зрения.This result is achieved by the fact that in the way of representing virtual space to a user, taking into account its movement in real space, in which the parameters for moving parts of the user's body are determined, the obtained data is converted to the desired form of presentation, the set of converted data is processed to determine the area of virtual space displayed to the user in accordance with its position and orientation, taking into account interaction with objects of virtual space, in accordance Twi with an invention
a) fix at each of the main joints of the segments of the musculoskeletal system of the user a means of determining at least one angle between the segments adjacent to the corresponding joint;
b) set the linear dimensions of the segments of the musculoskeletal system of the user;
c) means for determining support directions are placed on at least one of the segments of the user's musculoskeletal system;
g) determine the orientation of at least one segment on which the means for determining the reference directions are placed relative to the reference directions;
e) determine the angles between the segments adjacent to the mentioned main joints;
e) determine the orientation and position of the user as a whole in space based on the obtained values of the angles and orientation of the at least one segment on which the means for determining reference directions are located;
g) determine the supporting segment or segments of the musculoskeletal system of the user;
h) position the said reference segment or segments relative to the support in the displayed virtual space;
i) determine the position and orientation of the user's head in virtual space to determine his field of view in virtual space;
j) form and present to the user an area of virtual space corresponding to his field of view.
При этом операции с (г) по (к) повторяют для отображения изменений виртуального пространства в реальном времени в соответствии с движениями пользователя и взаимодействия с объектами виртуального пространства. In this case, operations (d) through (k) are repeated to display changes in virtual space in real time in accordance with the movements of the user and interaction with objects of virtual space.
Кроме того, последовательности данных положений и ориентаций пользователя могут регистрировать для последующего использования. In addition, sequences of these user positions and orientations can be recorded for later use.
Предпочтительным является то, что в качестве опорных направлений используют направления "север - юг" датчика геомагнитного поля и направление датчика местной вертикали, либо направления "север - юг", "запад - восток", либо направления, формируемые гиростабилизированными датчиками опорных направлений, либо направления, формируемые внешним источником опорных направлений, либо направления, формируемые по меньшей мере одной парой пространственно разнесенных датчиков абсолютных координат, размещаемой по меньшей мере на одном из сегментов опорно- двигательной системы пользователя. It is preferable that the reference directions are the north-south directions of the geomagnetic field sensor and the direction of the local vertical sensor, either the north-south directions, west-east directions, or the directions formed by the gyrostabilized reference direction sensors, or the directions formed by an external source of reference directions, or directions formed by at least one pair of spatially separated sensors of absolute coordinates, placed on at least one of the segments rno- propulsion system user.
Также предпочтительно, что линейные размеры сегментов опорно-двигательной системы пользователя задают на основе известных пропорций тела человека с использованием данных роста пользователя и масштабируют значение линейных размеров сегментов для соответствующего изменения его размеров относительно отображаемого пространства. It is also preferable that the linear dimensions of the segments of the user's musculoskeletal system are set based on known proportions of the human body using user growth data and the linear dimensions of the segments are scaled to correspondingly change their sizes relative to the displayed space.
Кроме того, предпочтительно, что при использовании манипулятора для взаимодействия пользователя с объектами отображаемого виртуального пространства положение манипулятора определяют по положению удерживающей его руки пользователя, а точную ориентацию манипулятора определяют с помощью размещаемого на нем дополнительного средства определения опорных направлений. In addition, it is preferable that when using the manipulator to interact with the objects of the displayed virtual space, the position of the manipulator is determined by the position of the user's holding hand, and the exact orientation of the manipulator is determined using the additional means for determining reference directions placed on it.
При этом в качестве основных сочленений между сегментами опорно-двигательной системы пользователя предпочтительно выбирают тазобедренный сустав, коленные суставы, голеностопные суставы, плечевые суставы, локтевые суставы, кистевые суставы, сочленение головы и плеч и сочленение грудного и поясничного отделов позвоночника, а также, дополнительно, суставы стопы и пальцев кисти рук. Moreover, as the main joints between segments of the user's musculoskeletal system, the hip joint, knee joints, ankle joints, shoulder joints, elbow joints, wrist joints, articulation of the head and shoulders and the joint of the thoracic and lumbar spine, and also, additionally, are preferably selected. joints of the foot and fingers.
Указанный выше результат также достигается тем, что в системе представления виртуального пространства пользователю, перемещающемуся в реальном пространстве, содержащей средство отображения изображения виртуального пространства, средство формирования сигнала, индицирующего направление поля зрения пользователя, средство формирования сигналов изображения виртуального пространства, соответствующего полю зрения пользователя, вход которого соединен с выходом средства формирования сигнала, индицирующего направление поля зрения пользователя, а выход - с входом средства отображения изображения виртуального пространства, согласно изобретению, средство формирования сигнала, индицирующего направление поля зрения пользователя, содержит средство определения по меньшей мере одного угла между сегментами опорно-двигательной системы пользователя, примыкающими к соответствующему сочленению упомянутых сегментов; средство определения опорных направлений, размещенное по меньшей мере на одном из сегментов опорно-двигательной системы пользователя; средство аналого-цифрового преобразования, входы которого соединены с выходами средств определения углов между сегментами опорно-двигательной системы пользователя и средства определения опорных направлений; блок построения математической модели трехмерного пространства и пользователя в этом пространстве, вход которого соединен с выходом средства аналого-цифрового преобразования; и блок определения поля зрения пользователя, вход которого соединен с выходом блока построения математической модели трехмерного пространства и пользователя, а выход - с входом средства формирования сигналов изображения виртуального пространства соответствующего полю зрения пользователя; при этом второй вход средства формирования сигналов изображения виртуального пространства, соответствующего полю зрения пользователя, соединен с вторым выходом блока построения математической модели трехмерного пространства и пользователя в этом пространстве. The above result is also achieved by the fact that, in the virtual space presentation system for a user moving in real space, comprising virtual space image display means, a signal generating means indicative of a user’s field of view, means for generating virtual space image signals corresponding to a user's field of view, input which is connected to the output of the signal conditioning means, indicating the direction of the field of view of users the driver, and the output - with the input of the image display means of the virtual space according to the invention, the means for generating a signal indicating the direction of the user's field of view, comprises means for determining at least one angle between the segments of the musculoskeletal system of the user adjacent to the corresponding joint of the said segments; means for determining the reference directions, placed at least on one of the segments of the musculoskeletal system of the user; means of analog-to-digital conversion, the inputs of which are connected to the outputs of the means for determining the angles between the segments of the musculoskeletal system of the user and means for determining the reference directions; a unit for constructing a mathematical model of a three-dimensional space and a user in this space, the input of which is connected to the output of the analog-to-digital conversion means; and a unit for determining the field of view of the user, the input of which is connected to the output of the block for constructing the mathematical model of three-dimensional space and the user, and the output is to the input of the means for generating image signals of the virtual space corresponding to the field of view of the user; the second input of the means for generating the image signals of the virtual space corresponding to the field of view of the user is connected to the second output of the block for constructing a mathematical model of three-dimensional space and the user in this space.
При этом датчик относительного угла поворота предпочтительно может быть выполнен в виде тензодатчика или оптиковолоконного датчика. In this case, the relative rotation angle sensor can preferably be made in the form of a strain gauge or an optical fiber sensor.
Также предпочтительным является то, что средство определения опорных направлений содержит датчик геомагнитного поля и датчик местной вертикали, либо гиростабилизированный датчик опорных направлений, либо датчик сигнала внешнего источника опорных направлений. It is also preferred that the means for determining the reference directions comprises a geomagnetic field sensor and a local vertical sensor, or a gyrostabilized reference direction sensor, or a signal sensor of an external reference direction source.
Кроме того, предпочтительно, что при использовании манипулятора для взаимодействия пользователя с объектами отображаемого реального или виртуального пространства использовалось дополнительное средство определения опорных направлений, размещенное на манипуляторе, при этом выход дополнительного средства определения опорных направлений через первый блок опроса соединен с входом средства аналого-цифрового преобразования. In addition, it is preferable that when using the manipulator to interact with the objects of the displayed real or virtual space, additional means for determining the reference directions placed on the manipulator are used, while the output of the additional means for determining the reference directions through the first polling unit is connected to the input of the analog-to-digital conversion means .
И, наконец, целесообразно использовать блок долговременной памяти, соединенный с выходом средства аналого-цифрового преобразования. And finally, it is advisable to use a long-term memory unit connected to the output of the analog-to-digital conversion means.
Изобретение поясняется на примерах его осуществления, иллюстрируемых чертежами, на которых представлено следующее:
Фиг. 1 - условное изображение пользователя, иллюстрирующее расположение средств определения углов между сегментами опорно-двигательной системы пользователя и средств определения опорных направлений системы, соответствующей изобретению;
Фиг. 2 - обобщенная блок-схема системы представления виртуального пространства пользователю, перемещающемуся в реальном пространстве, выполненная в соответствии с изобретением.The invention is illustrated by examples of its implementation, illustrated by the drawings, which show the following:
FIG. 1 is a conditional image of a user illustrating the location of the means for determining the angles between the segments of the musculoskeletal system of the user and the means for determining the reference directions of the system according to the invention;
FIG. 2 is a generalized block diagram of a virtual space presentation system for a user moving in real space, made in accordance with the invention.
На фиг.1 схематически изображен пользователь 1, спорно- двигательная система которого состоит из сегментов 2 с сочленениями 3 шарнирного типа. Сочленения 3 шарнирного типа сегментов 2 имитируют соединения костей суставами. Шарниры, так же как и суставы человека, животного, имеют разную степень свободы. Например, соединения предплечья и плеча, голени и бедра могут имитироваться простым шарниром с одной степенью свободы, а для имитирования соединения плеча в плечевом суставе с лопаткой, тазобедренного сустава необходимо шарнирное соединение с большим количеством степеней свободы. Figure 1 schematically shows a user 1, the spore-motor system of which consists of segments 2 with joints 3 of the hinge type. Articulations 3 of the articulated type of segments 2 imitate joints of bones. Hinges, as well as joints of a person, an animal, have a different degree of freedom. For example, the joints of the forearm and shoulder, lower leg and thigh can be simulated by a simple hinge with one degree of freedom, and to simulate the connection of the shoulder in the shoulder joint with the shoulder blade, hip joint, it is necessary to swivel with a large number of degrees of freedom.
Средства определения углов между сегментами 2 представляют собой датчики 4 для отслеживания положения сегментов и их частей относительно друг друга, размещаемые в местах сочленений 3 сегментов 2 и на самих сегментах 2. Они предназначены для точного отслеживания движений пользователя, в том числе для измерения углов поворота некоторых сегментов относительно своей оси, например одного конца локтевого сегмента относительно другого его конца. Вышеупомянутый локтевой сегмент состоит из двух лучевых костей, способных двигаться относительно друг друга, позволяя одному концу сегмента поворачиваться относительно другого вдоль своей оси. Такого рода сегментов, способных частично поворачиваться вокруг своей оси, не изменяя при этом угол между ним и смежным сегментом, несколько. К ним относятся, например, голова с шеей, поворачиваемые относительно плеч; грудная часть тела, поворачиваемая относительно тазовой части. Датчики 4 могут представлять собой оптико-волоконные датчики, тензодатчики. В одном из вариантов осуществления изобретения датчик 4 может представлять собой датчик для измерения угловых и линейных перемещений, состоящий из передающей и приемной частей, основанный на изменении ЭДС, наводимой в контуре приемника, изменяющейся при изменении угла между сегментами. The means for determining the angles between segments 2 are sensors 4 for tracking the position of segments and their parts relative to each other, placed at the joints of 3 segments 2 and on the segments themselves 2. They are designed to accurately track the movements of the user, including for measuring the rotation angles of some segments relative to its axis, for example, one end of the elbow segment relative to its other end. The aforementioned ulnar segment consists of two radial bones capable of moving relative to each other, allowing one end of the segment to rotate relative to the other along its axis. There are several such segments that can partially rotate around their axis without changing the angle between it and the adjacent segment. These include, for example, a head with a neck, rotated relative to the shoulders; the thoracic part of the body rotated relative to the pelvic part. Sensors 4 may be fiber optic sensors, strain gauges. In one of the embodiments of the invention, the sensor 4 may be a sensor for measuring angular and linear displacements, consisting of a transmitting and receiving parts, based on a change in the EMF induced in the receiver circuit, changing with a change in the angle between the segments.
Средство 5 определения опорных направлений размещено на одном из сегментов 2 и предназначено для определения ориентации данного сегмента относительно опорных направлений. Средство 5 выгоднее располагать на частях тела, которые являются наиболее стабильными при таких стандартных движениях пользователя, как ходьба и бег. Рекомендуется размещать это средство на тазовой части. При погружении пользователя в виртуальную реальность для более быстрого и точного отслеживания ориентации головы целесообразно использовать дополнительное средство определения опорных направлений, закрепляемое на голове. В одном из вариантов осуществления средства определения опорных направлений могут быть размещены на смежных сегментах и обеспечивать определение их угловых положений на основе их ориентаций по отношению к опорным направлениям. The tool 5 for determining the reference directions is located on one of the segments 2 and is intended to determine the orientation of this segment relative to the reference directions. The tool 5 is more advantageous to place on parts of the body that are most stable during such standard user movements as walking and running. It is recommended to place this tool on the pelvic part. When immersing the user in virtual reality for faster and more accurate tracking of the orientation of the head, it is advisable to use an additional means of determining reference directions, fixed on the head. In one embodiment, the means for determining the reference directions can be placed on adjacent segments and provide a determination of their angular positions based on their orientations with respect to the reference directions.
Средство 6 отображения виртуального пространства пользователю размещается на голове пользователя перед его глазами. The means 6 display the virtual space to the user is placed on the user's head in front of his eyes.
Как показано на фиг. 2, система представления пользователю виртуального пространства в соответствии с его положением и ориентацией в одном из вариантов осуществления содержит блок 7 опроса, содержащий задающий генератор, определяющий частоту опроса n датчиков 4, m средств 5 определения опорных направлений, k дополнительных устройств 8 для взаимодействия с объектами виртуального пространства (манипуляторы, джойстики, имитаторы оружия и т.п.). Выходы блока 7 опроса соединены с аналого-цифровым преобразователем (АЦП) 9, предназначенным для преобразования аналоговых данных с датчиков 4, дополнительных устройств 8 и средств 5 определения опорных направлений в цифровые, например, с восьмибайтовым значением. Выход АЦП 9 соединен с входом блока накопителя 10 с количеством ячеек памяти не менее, чем n+m+k. Блок накопителя 10 через блок 11 опроса связан с блоком 12 долговременной памяти и с блоком 13 подготовки данных. Блок 12 долговременной памяти предназначен для хранения данных о положении и ориентации пользователя, изменяющихся во времени в зависимости от его действий, для последующего использования в самых разных целях. При этом выход блока 12 долговременной памяти может соединяться с входом блока 13. Блок 13 подготовки данных предназначен для сглаживания полученных данных, исключения случайных погрешностей и представления их в виде, приемлемом для построения математической модели пользователя. В одном из вариантов осуществления вход блока долговременной памяти может быть соединен с выходом АЦП, что определяется непосредственным исполнением АЦП. Для учета обоих вышеуказанных вариантов элементы 9, 7, 10, 11 могут быть обобщены как средство аналого-цифрового преобразования. As shown in FIG. 2, a system for presenting virtual space to a user in accordance with his position and orientation in one embodiment comprises a
Выход блока 13 подготовки данных соединен с входом блока 14 построения математической модели трехмерного пространства, представляемого пользователю, и математической модели пользователя в этом пространстве. Блок 15 ввода дополнительных данных, при помощи которого задается дополнительная информация о пользователе, отображаемом пространстве, временных соотношениях между движениями пользователя и динамикой изменения отображаемого пространства, подключен к блоку 14. Эта информация может представлять собой такие дополнительные сведения о пользователе^ как рост, вес, пол, возраст и другие. Если дополнительная информация отсутствует или не требуется, то математическая модель пользователя обсчитывается для среднего человека со стандартными пропорциями. Блок 14 содержит следующие блоки: блок 16 определения ориентации основного сегмента, на котором размещено средство 5 определения опорных направлений, по отношению к опорным направлениям; блок 17 построения модели пользователя в целом; блок 18 определения опорного сегмента (сегментов) пользователя; блок 19 позиционирования пользователя относительно опоры в смоделированном пространстве, рассчитываемом компьютером. The output of the
С выходом блока 14 соединены вход блока 20 определения поля зрения пользователя и вход блока 21 формирования сигналов изображения виртуального пространства, соответствующих полю зрения пользователя. Выход блока 20 также соединен с входом блока 21 формирования сигналов изображения виртуального пространства. С выходом блока 21 соединен вход блока 22 отображения пользователю виртуального пространства, в которое он погружен, в соответствии с его положением и ориентацией в этом пространстве. The output of
Система представления виртуального пространства пользователю, перемещающемуся в реальном пространстве, работает следующим образом. The system for representing virtual space to a user moving in real space works as follows.
Датчики 4 и средства 5 определения опорных направлений в предпочтительном варианте крепятся на специальной одежде типа комбиневона или непосредственно на пользователе в местах сочленений 3 сегментов 2 и на самих сегментах 2. Одежда с системой датчиков 4 и средств 5 должна быть легкой, без труда надеваться и сниматься, не должна стеснять движения пользователя. Датчики 4 на этой одежде крепятся таким образом, чтобы при движении пользователя, то есть изменении углов между сегментами 2 или поворота одного конца сегмента относительно другого конца вдоль оси сегмента, в них изменялись некие физические параметры, например сопротивление электрической цепи с тензодатчиком, количества пропускаемого света в оптико-волоконном датчике или изменения магнитной индукции. Эти физические параметры должны изменяться в определенных пределах в соответствии с изменениями углов между смежными сегментами 2 от одного крайнего положения до другого. Sensors 4 and means 5 for determining the reference directions are preferably mounted on special clothing such as a combinone or directly on the user at the joints of 3 segments 2 and on the segments themselves 2. Clothing with a system of sensors 4 and means 5 should be lightweight, easy to put on and take off , should not hamper the movement of the user. Sensors 4 on this garment are mounted in such a way that when the user moves, that is, changes in the angles between segments 2 or rotation of one end of the segment relative to the other end along the axis of the segment, certain physical parameters change in them, for example, the resistance of an electric circuit with a strain gauge, the amount of light transmitted in an optical fiber sensor or magnetic induction changes. These physical parameters must vary within certain limits in accordance with changes in the angles between adjacent segments 2 from one extreme position to another.
Система может включать основное и дополнительные средства 5 определения опорных направлений, обеспечивающие определение угла между сегментом, на котором размещено соответствующее средство 5, и опорными направлениями. Основное средство 5 определения опорных направлений размещают на сегменте, принимаемом за основной сегмент. Целесообразно основной сегмент выбирать таким образом, чтобы он был ближе к геометрическому центру пользователя и был наиболее стабильным при типовых движениях человека: беге и ходьбе. Этим требованиям лучше всего удовлетворяет тазовый сегмент человека. При погружении пользователя в виртуальную реальность для более быстрого и точного отслеживания наклонов и поворотов головы целесообразно использовать дополнительное средство 5 определения опорных направлений, закрепленное на голове. The system may include primary and secondary means 5 for determining the reference directions, providing the determination of the angle between the segment on which the corresponding means 5 are located and the reference directions. The main means 5 for determining the reference directions are placed on the segment taken as the main segment. It is advisable to choose the main segment in such a way that it is closer to the geometric center of the user and is most stable during typical human movements: running and walking. These requirements are best met by the human pelvic segment. When immersing the user in virtual reality for faster and more accurate tracking of the tilts and turns of the head, it is advisable to use an additional tool 5 for determining the reference directions, mounted on the head.
Информация с датчиков 4, средств 5 определения опорных направлений и дополнительных устройств 8 взаимодействия с объектами виртуального пространства снимается на АЦП 9 и обновляется в соответствии с сигналом опроса, формируемым задающим генератором блока) 7 опроса. С АЦП 9 информация поступает в соответствующие ячейки памяти блока накопителя 10. Information from sensors 4, means 5 for determining the reference directions and additional devices 8 for interacting with objects of virtual space is taken at the
Блок 11 опроса опрашивает ячейки памяти блока накопителя 10 и формирует последовательность данных, характеризующую положение и ориентацию пользователя, включая данные с дополнительных устройств 8, относящиеся к конкретному (текущему) моменту времени, и передает их в блок 12 долговременной памяти для долговременного хранения. Этими данными можно воспользоваться в любое время, для чего их необходимо подать в блок 13 подготовки данных для последующей обработки. При использовании в режиме реального времени данные с блока 11 опроса непосредственно поступают на блок 13 подготовки данных. Блок 13 сглаживает полученные данные, исключает случайные погрешности, формирует необходимую последовательность данных и представляет их в необходимом виде для построения математической модели пользователя в блок 14. The
В блоке 14 строится математическая модель трехмерного пространства, отображаемого пользователю, и математическая модель пользователя в этом пространстве. С помощью блока 15 ввода дополнительных данных в блок 14 вводят дополнительную информацию о пользователе, об отображаемом пространстве, временные соотношения между движениями пользователя и динамикой изменения отображаемого пространства. Эта информация может представлять собой такие дополнительные сведения о пользователе, как рост, вес, пол, возраст и другие. Если дополнительная информация отсутствует или не требуется, то математическая модель рассчитывается для среднего человека со стандартными пропорциями. Если необходимо создать эффект "Гулливера", когда объекты отображаемого пространства неестественно большие или маленькие, то изменяют вводимые данные о пропорциях Между линейными размерами пространства и объектами в нем и линейными размерами пользователя. In
Блок 16 построения и ориентации основного сегмента вычисляет и строит по поступающим данным положение и ориентацию основного сегмента, на котором размещено основное средство определения опорных направлений по отношению к опорным направлениям. В качестве опорных направлений целесообразно использовать направления, связанные с геомагнитным полем Земли, "Север-Юг" и "Запад-Восток", или местную вертикаль, определяемую на основе гравитационного поля Земли, и направление "Север-Юг". Эти поля существуют практически везде и не зависят от пользователя. С помощью специального средства типа электромагнитного компаса, компаса и гравитационного датчика горизонтали или вертикали можно определить ориентацию пользователя и, в частности, того сегмента опорно-двигательной системы пользователя, на котором закреплено это средство. В местах, где существуют сильные помехи или магнитное поле земли экранировано, с помощью специального внешнего средства можно создать искусственное поле опорных направлений. Важно при этом, что необходимо будет только определить ориентацию пользователя в этом поле и не требуется определять абсолютное расстояние до этих средств с помощью алгоритмов триангуляции, требующих интенсивных вычислений.
В блоке 17 построения модели пользователя в целом к построенному основному сегменту пристраивают смежные сегменты по намеренным данным об углах между ними, а к построенным смежным сегментам - следующие смежные сегменты и так вплоть до конечных сегментов. In the
В блоке 18 определяют опорный сегмент или опорные сегменты пользователя. Например, если пользователь движется по горизонтальной плоской поверхности, опорным будет сегмент, находящийся ниже всех по отношению к местной вертикали, а "точкой" опоры - самая нижняя часть этого сегмента. In
В блоке 19 позиционируют пользователя относительно опоры в пространстве, рассчитываемом компьютером. Для этого в самом простом случае совмещают сориентированную модель пользователя и опору пользователя в моделируемом пространстве таким образом, чтобы совместились опорная часть опорного сегмента пользователя и та часть моделируемого пространства, которая является опорой для пользователя в данный момент. В случае, когда пользователь находится в движении, например в прыжке, то есть какое-то время в "полете", пользователя позиционируют по отношению к опоре с использованием ближайшей предыдущей информации о динамике движения. Следует иметь в виду, что, имея полную информацию об изменении углов между сегментами в динамике, можно рассчитать даже импульс пользователя и силу, с которой он оттолкнулся от опоры. Это позволит смоделировать движения пользователя в отображаемом пространстве, практически идентичные реальным. При этом, в соответствии с изменяющимся положением и ориентацией сегментов пользователя в динамике, отслеживается изменяющееся положение пользователя (координаты) и ориентация пользователя в целом в пространстве. То есть по отображенному изображению движений пользователя можно будет увидеть, например, что пользователь сделал десять шагов по направлению на "Север", повернулся и побежал на "Юго-Восток" и так далее. In
С выхода блока 14 информацию о построенной модели пользователя в моделируемом пространстве передают на вход блока 20 определения поля зрения пользователя и вход блока 21 формирования изображения виртуального пространства. В блоке 20 по информации с блока 14 определяют поле зрения пользователя в виртуальном пространстве, т. е. определяют, какую часть виртуального пространства мог бы видеть пользователь в данный момент. С выхода блока 20 информация об угле зрения пользователя поступает в блок 21 формирования изображения виртуального пространства. В блоке 21 в соответствии с полем Зрения пользователя и моделью виртуального пространства формируется изображение той части виртуального пространства, которую может видеть пользователь в соответствии со своим положением и ориентацией в виртуальном пространстве, рассчитываемыми в соответствии с движениями в реальном пространстве. С выхода блока 21 сигналы поступают на вход блока 22 отображения пользователю виртуального пространства, в которое он погружен, в соответствии с его положением и ориентацией в этом пространстве. В качестве блока 22 может использоваться любое средство для отображения виртуального пространства: монитор, виртуальные шлем или очки, в том числе средство 6 (фиг.1). From the output of
Как отмечено выше при характеристике предшествующего уровня техники, в большинстве известных систем формирование модели пользователя производится по абсолютным координатам, определяемым с помощью датчиков, расположенных на пользователе. При этом автоматически определяется положение пользователя в целом в пространстве. В динамике абсолютные координаты дадут траекторию его перемещении. При этом пространство чаще всего ограничено рамками внешних датчиков или излучателей, расставленных по периметру активной зоны действий пользователя. В отличие от этого, в способе и системе, согласно изобретению, активная зона передвижения пользователя практически не ограничена, т. к. все, что нужно для определения положения и ориентации пользователя, находится на самом пользователе. При этом важно только наличие поля для работы средств определения опорных направлений, а перемещение пользователя в пространстве рассчитывается с помощью компьютера, в соответствии с информацией об изменении углов между сегментами и ориентации относительно опорных направлений. Изменение в пространстве может рассчитываться через количество, размер и направление шагов пользователя. Для определения размера шага необходимо знать углы между опорными сегментами пользователя в момент совершения шага и их линейные размеры. Более конкретно, для определения шага человека необходимо знать угол между бедренными костями правой и левой ноги, угол между бедренной костью и голенью для каждой ноги и линейные размеры голени и бедра. В некоторых случаях может быть также выгодно измерять углы между стопой и голенью, а также между стопой и пальцами ног. As noted above in the characterization of the prior art, in most known systems, the formation of the user model is carried out in absolute coordinates, determined using sensors located on the user. In this case, the position of the user as a whole in space is automatically determined. In dynamics, absolute coordinates will give the trajectory of its movement. Moreover, the space is most often limited by external sensors or emitters placed around the perimeter of the user's active zone. In contrast, in the method and system according to the invention, the active zone of movement of the user is practically unlimited, since all that is needed to determine the position and orientation of the user is on the user. In this case, only the presence of a field for the operation of the means for determining the reference directions is important, and the user's movement in space is calculated using a computer in accordance with the information about the change in the angles between segments and the orientation relative to the reference directions. The change in space can be calculated through the number, size and direction of the user's steps. To determine the step size, it is necessary to know the angles between the support segments of the user at the time of the step and their linear dimensions. More specifically, to determine a person’s step, it is necessary to know the angle between the thigh bones of the right and left legs, the angle between the femur and lower leg for each leg, and the linear dimensions of the lower leg and thigh. In some cases, it may also be advantageous to measure the angles between the foot and lower leg, as well as between the foot and toes.
Для упрощения критерия определения опорных сегментов через ориентацию сегментов относительно плоскости можно использовать датчики, устанавливаемые на подошве пользователя. Например, если нога в какой то момент является опорной, на датчике замыкается контакт, а если нога поднята и находится на весу, контакт, наоборот, размыкается. Датчик также может давать информацию о степени нагрузки на каждую ногу. Через степень нагрузки на ногу в динамике и вес пользователя можно рассчитать получаемый им импульс и рассчитать траекторию движения пользователя даже для прыжка. Необходимые данные для расчета траектории движения, физических характеристик движений пользователя можно рассчитать также через динамику изменения углов между сегментами. To simplify the criterion for determining the reference segments through the orientation of the segments relative to the plane, sensors mounted on the sole of the user can be used. For example, if the leg is at some point a reference, the contact closes on the sensor, and if the leg is lifted and is on weight, the contact, on the contrary, opens. The sensor can also provide information on the degree of load on each leg. Through the degree of load on the foot in the dynamics and the weight of the user, you can calculate the impulse received by him and calculate the trajectory of the user even for a jump. The necessary data for calculating the trajectory of movement, the physical characteristics of the user's movements can also be calculated through the dynamics of changes in the angles between the segments.
Способ и система, соответствующие настоящему изобретению, дают ряд совершенно новых возможностей, которые были нереализуемы до этого, в частности, возможностей проведения тестирования и конкурсов со всякого рода движениями: спортивными, танцевальными, для оценки правильности реагирования на предлагаемую ситуацию, в поединках. Такие конкурсы можно будет проводить с разделением во времени, снимая данные, например, с одного и того же пользователя в разное время. Затем эти данные могут оцениваться, сравниваться, как с помощью компьютера, так и человеком, после визуализации этих движений для сравнения. Можно проводить конкурсы среди множества пользователей единовременно. Для этого в режиме реального времени с нескольких пользователей снимают данные и сравнивают на правильность исполнения, правильное реагирование на ситуацию, на быстроту реакции, на оригинальность движений. Такие конкурсы можно проводить между пользователями заявленной системы, подключенными к сети Интернет (Internet) или какой-либо специализированной сети, причем эти пользователи могут находиться друг от друга на значительном удалении. The method and system corresponding to the present invention, provide a number of completely new opportunities that were previously unrealizable, in particular, the possibility of testing and contests with all kinds of movements: sports, dance, to assess the correct response to the proposed situation, in fights. Such contests can be held with separation in time, taking data, for example, from the same user at different times. Then these data can be evaluated, compared, both using a computer and a person, after visualizing these movements for comparison. You can hold contests among many users at a time. To do this, in real time, data is collected from several users and compared to the correct execution, the correct response to the situation, to the speed of reaction, to the originality of movements. Such competitions can be held between users of the claimed system, connected to the Internet (Internet) or any specialized network, and these users can be located at a considerable distance from each other.
Данные о положении и ориентации пользователя, записываемые в память, могут дополнительно архивироваться. Возможно создание библиотеки данных о типовых движениях человека, любых хордовых животных и уникальных движениях, записываемых с известных спортсменов, танцоров. User position and orientation data recorded in memory can be further archived. It is possible to create a library of data on typical human movements, any chordate animals and unique movements recorded from famous athletes, dancers.
Одно из важных преимуществ настоящего изобретения обусловлено тем, что вся система датчиков находится на пользователе. Нет необходимости определять абсолютные расстояния до опорных точек, определяемых в известных системах позициями расположения внешних датчиков. Изобретение дает возможность определять положение и ориентацию пользователя практически в неограниченном пространстве, где только существует поле опорных направлений, относительно которого можно сориентировать пользователя. Определение опорных направлений предполагает, как описано выше, определение ориентации сегмента, на котором расположено средство определения опорных направлений, относительно опорных направлений. В качестве опорных направлений выгоднее всего использовать направления векторов естественных полей Земли, которые присутствуют независимо от нас практически везде. В качестве двух опорных направлений (третье строится ортогонально к двум предыдущим) предложено использовать направления "север-юг" и "восток-запад" магнитного поля Земли или, например, "север-юг" и местную вертикаль, определяемую гравитационным полем Земли. При нахождении пользователя в помещении, экранированном от внешних полей, можно установить излучатели искусственных полей опорных направлений. В этом случае, как и прежде, необходимо определять ориентацию пользователя в поле опорных направлений, а не абсолютные расстояния до внешних излучателей. При этом определяются углы между вектором сегмента, на котором находится средство определения опорных направлений, и опорными направлениями. One of the important advantages of the present invention is that the entire sensor system is on the user. There is no need to determine the absolute distances to the reference points determined in known systems by the positions of the external sensors. The invention makes it possible to determine the position and orientation of the user in virtually unlimited space, where only there is a field of reference directions, relative to which you can orient the user. The determination of the reference directions involves, as described above, the determination of the orientation of the segment on which the means for determining the reference directions is located relative to the reference directions. As reference directions, it is most advantageous to use the directions of the vectors of the Earth's natural fields, which are present almost everywhere independently of us. It is proposed to use the north-south and east-west directions of the Earth’s magnetic field, or, for example, the north-south direction and the local vertical determined by the Earth’s gravitational field, as two reference directions (the third is built orthogonally to the two previous ones). When the user is in a room shielded from external fields, it is possible to install emitters of artificial fields of reference directions. In this case, as before, it is necessary to determine the user's orientation in the field of reference directions, and not the absolute distances to external emitters. In this case, the angles between the vector of the segment on which the means for determining the reference directions are located and the reference directions are determined.
С помощью представления виртуального пространства пользователю, согласно изобретению, возможно реализовать почти всю атрибутику "машины времени" в рамках запротоколированной истории действий пользователя. Пользователь может в любой момент времени своих запротоколированных действий или действий любого другого героя вернуться на любой отрезок времени в рамках его истории. Это может быть полезно в компьютерных играх, для того чтобы игрок мог вернуться и изменить свое поведение на более результативное. С учетом того, что могут записываться несколько параллельных линий поведения, пользователь для продолжения действий может выбрать любую, на его взгляд, более удачную. При использовании протоколов изменения положения и ориентации пользователя в динамике можно реализовать четырехмерное пространство, определяемое тремя пространственными измерениями и временем. В отличие от движений в реальной жизни, где движение во времени осуществляется только в одном направлении к будущему, можно с помощью Записанных данных осуществить функцию непрерывного или дискретного движения во времени в разные стороны так же легко и свободно, как и в пространстве, в рамках предварительно записанных в память данных. By presenting the virtual space to the user, according to the invention, it is possible to realize almost all the attributes of the “time machine” within the framework of the recorded history of user actions. The user can at any point in time of his recorded actions or the actions of any other hero return to any length of time within the framework of his story. This can be useful in computer games, so that the player can return and change their behavior to more productive. Considering that several parallel lines of behavior can be recorded, the user can choose any, in his opinion, more successful one to continue actions. When using the protocols for changing the position and orientation of the user in the dynamics, it is possible to realize a four-dimensional space defined by three spatial dimensions and time. Unlike movements in real life, where time movement is only in one direction towards the future, using the Recorded Data, it is possible to carry out the function of continuous or discrete time movement in different directions as easily and freely as in space, within data recorded in memory.
Настоящее изобретение, позволяющее отслеживать движения пользователя и представлять ему виртуальное пространство без сложных внешних устройств, приведет к расширению возможностей существующих компьютерных систем и к созданию новых областей применения. Можно будет установить стандарт описания отслеживаемых движений пользователя для использования в различных системах. Такой стандарт описания движений пользователя мог бы стать, например, частью VRML(языка моделирования виртуальной реальности), использоваться в анимации и для создания специализированных библиотек. Большинство компьютерных применений в будущем будут использовать эти стандарты, с учетом возможности управления программой посредством естественных движений пользователя, отслеживаемых способом, соответствующим настоящему изобретению. Для того чтобы весь парк современных компьютерных применений, в котором движения пользователя реализуются клавиатурой, "мышью", джойстиком, можно было бы использовать с применением системы согласно изобретению, необходимо создание связывающих драйверов, т.е. программ, распознающих движения пользователя и преобразующих их в сигналы средств управления играми и имитации подобных движений. The present invention, which allows you to track the movement of the user and present him virtual space without complex external devices, will lead to the expansion of the capabilities of existing computer systems and to the creation of new applications. It will be possible to set a standard for describing the user's tracked movements for use in various systems. Such a standard for describing user movements could become, for example, part of VRML (virtual reality modeling language), used in animation and for creating specialized libraries. Most computer applications in the future will use these standards, taking into account the ability to control the program through the natural movements of the user, monitored in a manner consistent with the present invention. In order for the entire fleet of modern computer applications, in which user movements are implemented by the keyboard, mouse, joystick, to be used using the system according to the invention, it is necessary to create connecting drivers, i.e. programs that recognize user movements and convert them into signals from game controls and simulate such movements.
Одно из важных применений настоящего изобретения связано с обучением пользователя образцовым движениям, например танцевальным, спортивным, при оздоровлении, обучении профессиональным движениям. Для этого отображают пользователю образцовые движения. Для достижения лучшего результата для обучаемого необходимо предусмотреть возможность повторов, выбора любого ракурса, динамики исполнения, масштаба. После этого пользователь должен стремиться повторять движения как можно точнее, при этом для последующего контроля его движения должны записываться, протоколироваться, после чего они могут сравниваться с образцовыми. Сравнение образцовых движений с движениями пользователя может производиться разными способами, в том числе самим пользователем визуально, при одновременном отображении теперь уже одновременно образцовых движений и ранее записанных движений пользователя. Более интересной и перспективной может быть оценка правильности движений пользователя компьютером или специалистом. Компьютер в соответствии с заложенной программой, сравнив движения пользователя, отслеживаемые через положение и ориентацию пользователя, может выдать замечания и рекомендации. Пользователь вносит коррективы в свои движения до достижения необходимых умения и точности. Этот процесс подобен обучению у тренера-мастера, однако не требует соответствующих финансовых затрат и согласовывания своего графика с расписанием мастера. Такая программа с обратной связью, созданная лучшими мастерами, может быть растиражирована в миллионах экземплярах, и каждый сможет ею пользоваться в удобное для него время. One of the important applications of the present invention is related to the training of the user in exemplary movements, for example, dance, sports, rehabilitation, training in professional movements. For this, model movements are displayed to the user. To achieve the best result for the student, it is necessary to provide for the possibility of repetitions, the choice of any angle, performance dynamics, scale. After that, the user should strive to repeat the movements as accurately as possible, while for the subsequent control of his movements should be recorded, recorded, after which they can be compared with the model. Comparison of model movements with user movements can be made in various ways, including visually by the user himself, while simultaneously displaying model movements and previously recorded user movements. More interesting and promising may be the assessment of the correctness of the user's movements by a computer or a specialist. The computer in accordance with the program, comparing the user's movements, tracked through the position and orientation of the user, can give comments and recommendations. The user makes adjustments to his movements to achieve the necessary skills and accuracy. This process is similar to training with a master trainer, but it does not require the corresponding financial costs and coordination of its schedule with the master’s schedule. Such a feedback program, created by the best masters, can be replicated in millions of copies, and everyone can use it at a convenient time for him.
Настоящее изобретение также может быть использовано для контроля дозированных физических нагрузок пользователя. Например, для конкретного человека задается нагрузка в соответствии с рекомендациями врача или тренера. Если таких индивидуальных рекомендаций нет и нет общих противопоказаний, компьютер может сам вычислить и рекомендовать систему нагрузок на какой-то период времени. Для определения нагрузок могут быть использованы данные о перенесенных и хронических болезнях, вес, рост, пол, возраст, цель тренировок, степень физических и эмоциональных нагрузок в течение дня. Можно проводить специализированные предварительные тесты, контролируя реакцию организма, например степень изменения пульса при дозированных нагрузках. The present invention can also be used to control dosed physical activity of the user. For example, for a particular person, a load is set in accordance with the recommendations of a doctor or trainer. If there are no such individual recommendations and there are no general contraindications, the computer itself can calculate and recommend a system of loads for a certain period of time. To determine the loads, data on past and chronic diseases, weight, height, gender, age, the purpose of training, the degree of physical and emotional stress during the day can be used. You can conduct specialized preliminary tests, controlling the reaction of the body, for example, the degree of change in heart rate at dosed loads.
После определения нагрузки компьютер может выдать оптимальные рекомендации на определенный срок. Пользователь приступает к занятиям, используя систему датчиков, наиболее полно отслеживающих движения пользователя и данные о нагрузках на отдельные части тела, легко рассчитываемые по информации о движениях. При таких занятиях полезно использование данных с датчиков пульса пользователя, а при необходимости и других физиологических показателей. After determining the load, the computer can issue optimal recommendations for a certain period. The user starts classes using a system of sensors that most closely track the user's movements and data on the loads on individual parts of the body, easily calculated from information on movements. In such classes, it is useful to use data from the user's heart rate sensors, and, if necessary, other physiological indicators.
Если пользователь погружен в виртуальную реальность и использует тренажер, позволяющий совершать неограниченные движения, то физическую и эмоциональную нагрузку на него можно регулировать с помощью загружаемой программы, меняя сюжет, динамику и условия окружающей пользователя обстановки. В игре такой контроль может осуществляться дозированием количества появляющихся противников, напряженностью сюжета, необходимостью с достаточной скоростью преследования противника или ухода от опасных мест. Путем такого регулирования, осуществляемого незаметно для пользователя, можно поддерживать, например, пульс в определенных пределах в течение заданного времени. При достижении заданной нагрузки необходимо подводить пользователя к выполнению задачи и завершению сюжета. Это позволит пользователю завершить тренировку с чувством достижения результата в эмоционально приподнятом настроении. Современные игры, к сожалению, не удовлетворяют этим принципам. Игрок чаще всего неподвижен, то есть отсутствует физическая нагрузка при высокой эмоциональной нагрузке, что может приводить к стрессам и депрессиям. Игры и тренировки, осуществляемые с контролируемыми физическими и эмоциональными нагрузками, могут быть хорошим средством от гиподинамии и нервных перегрузок, служить всестороннему гармоническому развитию личности. If the user is immersed in virtual reality and uses a simulator that allows for unlimited movements, then the physical and emotional stress on him can be adjusted using a downloadable program, changing the plot, dynamics and environmental conditions of the user. In the game, such control can be carried out by dosing the number of appearing opponents, the intensity of the plot, the need for a sufficient speed of pursuit of the enemy or moving away from dangerous places. By such regulation, which is carried out unnoticed by the user, it is possible, for example, to keep the pulse within certain limits for a predetermined time. Upon reaching a given load, it is necessary to bring the user to the task and the completion of the plot. This will allow the user to complete the workout with a sense of achievement in an emotionally high spirits. Modern games, unfortunately, do not satisfy these principles. The player is most often motionless, that is, there is no physical activity with a high emotional stress, which can lead to stress and depression. Games and training, carried out with controlled physical and emotional stress, can be a good remedy for physical inactivity and nervous overload, serve as a comprehensive harmonious development of the individual.
Тренировки с заданными физическими нагрузками, сопровождающиеся познавательной или развлекательной информацией, могут осуществляться погружением в определенную, выбираемую пользователем, виртуальную среду. Например, компьютерная программа может моделировать пробежку-экскурсию по известным местам с гидом, который мог бы рассказывать о достопримечательностях и задавать темп экскурсии шагом или пробежкой с определенной или меняющейся по необходимости скоростью. Экскурсию можно будет подводить к завершению при достижении определенной заданной наперед нагрузки. Так как задания индивидуальны, в памяти компьютера могут записываться данные о предыдущих занятиях и нагрузках для последовательного изменения нагрузок от начальных к стабильным рекомендуемым. При этом нормальные постоянные или меняющиеся нагрузки изо дня в день могут быть окрашены эмоционально и сопровождаться новой и полезной информацией. Для лучшей эмоциональной окраски пользователю можно было бы предоставлять выбор пола гида и его возраста или моделировать ему имидж известного артиста или политика. Training with specified physical activity, accompanied by cognitive or entertaining information, can be immersed in a specific, user-selectable virtual environment. For example, a computer program can simulate a jogging excursion to famous places with a guide who could talk about attractions and set the pace of the excursion in steps or jogs at a certain speed or changing as necessary. The excursion can be brought to completion upon reaching a certain predetermined load. Since the tasks are individual, data on previous classes and loads can be recorded in the computer's memory to sequentially change the loads from initial to stable recommended. At the same time, normal constant or changing loads from day to day can be colored emotionally and accompanied by new and useful information. For a better emotional coloring, the user could be given a choice of the guide’s gender and age, or he could model the image of a famous artist or politician.
Claims (22)
а) закрепляют у каждого из основных сочленений сегментов опорно-двигательной системы пользователя средство определения по меньшей мере одного угла между сегментами, примыкающими к соответствующему сочленению,
б) задают линейные размеры сегментов опорно-двигательной системы пользователя,
в) размещают по меньшей мере на одном из сегментов опорно-двигательной системы пользователя средство определения опорных направлений;
г) определяют ориентацию по меньшей мере одного сегмента, на котором размещено средство определения опорных направлений, относительно упомянутых опорных направлений;
д) определяют углы между сегментами, примыкающими к упомянутым основным сочленениям;
е) определяют ориентацию и положение пользователя в целом в пространстве на основе полученных значений углов и ориентации упомянутого по меньшей мере одного сегмента, на котором размещено средство определения опорных направлений;
ж) определяют опорный сегмент или сегменты опорно-двигательной системы пользователя,
з) позиционируют упомянутый опорный сегмент или сегменты относительно опоры в отображаемом виртуальном пространстве,
и) определяют положение и ориентацию головы пользователя в виртуальном пространстве для определения его поля зрения в виртуальном пространстве,
к) формируют и представляют пользователю область виртуального пространства, соответствующую его полю зрения.1. The way of representing virtual space to a user, taking into account its movement in real space, in which the parameters for moving parts of the user's body are determined, the received data is converted into the required form of their presentation, the set of converted data is processed to determine the area of virtual space displayed to the user in accordance with his position and orientation, taking into account interaction with objects of virtual space, characterized in that
a) fasten at each of the main joints of the segments of the musculoskeletal system of the user a means of determining at least one angle between the segments adjacent to the corresponding joint,
b) set the linear dimensions of the segments of the musculoskeletal system of the user,
C) place at least one of the segments of the musculoskeletal system of the user means for determining the reference directions;
g) determine the orientation of at least one segment on which the means for determining the reference directions are placed relative to the reference directions;
e) determine the angles between the segments adjacent to the mentioned main joints;
e) determine the orientation and position of the user as a whole in space based on the obtained values of the angles and orientation of the at least one segment on which the means for determining reference directions are located;
g) determine the supporting segment or segments of the musculoskeletal system of the user,
h) position the said reference segment or segments relative to the support in the displayed virtual space,
i) determine the position and orientation of the user's head in virtual space to determine his field of view in virtual space,
j) form and present to the user an area of virtual space corresponding to his field of view.
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU96116415A RU2106695C1 (en) | 1996-08-14 | 1996-08-14 | Method for representation of virtual space for user and device which implements said method |
| JP50962998A JP2001504605A (en) | 1996-08-14 | 1997-08-07 | Method for tracking and displaying a user's location and orientation in space, method for presenting a virtual environment to a user, and systems for implementing these methods |
| AU39549/97A AU3954997A (en) | 1996-08-14 | 1997-08-07 | Method for following and imaging a subject's three-dimensional position and orientation, method for presenting a virtual space to a subject, and systems for implementing said methods |
| PCT/RU1997/000251 WO1998007129A1 (en) | 1996-08-14 | 1997-08-07 | Method for following and imaging a subject's three-dimensional position and orientation, method for presenting a virtual space to a subject, and systems for implementing said methods |
| CNB971982147A CN1168057C (en) | 1996-08-14 | 1997-08-07 | Method for tracking and displaying the position and orientation of a user in space, method for presenting a virtual environment to a user and system for implementing these methods |
| EP97936893A EP0959444A4 (en) | 1996-08-14 | 1997-08-07 | Method for following and imaging a subject's three-dimensional position and orientation, method for presenting a virtual space to a subject, and systems for implementing said methods |
| US08/910,998 US6005548A (en) | 1996-08-14 | 1997-08-14 | Method for tracking and displaying user's spatial position and orientation, a method for representing virtual reality for a user, and systems of embodiment of such methods |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU96116415A RU2106695C1 (en) | 1996-08-14 | 1996-08-14 | Method for representation of virtual space for user and device which implements said method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2106695C1 true RU2106695C1 (en) | 1998-03-10 |
| RU96116415A RU96116415A (en) | 1998-11-10 |
Family
ID=20184426
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU96116415A RU2106695C1 (en) | 1996-08-14 | 1996-08-14 | Method for representation of virtual space for user and device which implements said method |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2106695C1 (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2137301C1 (en) * | 1999-01-26 | 1999-09-10 | Брызгалов Евгений Николаевич | Method for individual-to-virtual-image communications |
| WO2007013833A1 (en) * | 2005-09-15 | 2007-02-01 | Oleg Stanilasvovich Rurin | Method and system for visualising virtual three-dimensional objects |
| RU2301436C2 (en) * | 2005-04-04 | 2007-06-20 | Олег Леонидович Головков | Wide-angle virtual helmet with possibility of combination of real and virtual space |
| RU2308764C2 (en) * | 2003-10-29 | 2007-10-20 | Снекма Моторс | Method for moving a virtual jointed object in virtual space with prevention of collisions of jointed object with elements of environment |
| RU2308762C2 (en) * | 2003-10-29 | 2007-10-20 | Снекма Моторс | Method for moving a virtual object in virtual environment without mutual interference between its jointed elements |
| DE212007000060U1 (en) | 2006-09-04 | 2009-04-23 | Palchenko, Nikolay Ivanovich | System for modeling and functioning of a single virtual space |
| RU2355026C2 (en) * | 2003-04-09 | 2009-05-10 | Снекма | Graphic interface system |
| RU2355030C2 (en) * | 2003-04-28 | 2009-05-10 | Снекма | Method and system of moving virtual human model in virtual media |
| RU2406150C2 (en) * | 2005-09-15 | 2010-12-10 | Олег Станиславович Рурин | Method and system for viewing virtual three-dimensional objects |
| RU2656714C2 (en) * | 2013-09-13 | 2018-06-06 | Сейко Эпсон Корпорейшн | Head-mounted display device and control method for head mounted display device |
| RU2762579C1 (en) * | 2021-05-17 | 2021-12-21 | Алексей Александрович Захаров | Method for changing the visibility area relative to the position and orientation of the operator's head in a car simulator |
-
1996
- 1996-08-14 RU RU96116415A patent/RU2106695C1/en not_active IP Right Cessation
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2137301C1 (en) * | 1999-01-26 | 1999-09-10 | Брызгалов Евгений Николаевич | Method for individual-to-virtual-image communications |
| RU2355026C2 (en) * | 2003-04-09 | 2009-05-10 | Снекма | Graphic interface system |
| RU2355030C2 (en) * | 2003-04-28 | 2009-05-10 | Снекма | Method and system of moving virtual human model in virtual media |
| RU2308764C2 (en) * | 2003-10-29 | 2007-10-20 | Снекма Моторс | Method for moving a virtual jointed object in virtual space with prevention of collisions of jointed object with elements of environment |
| RU2308762C2 (en) * | 2003-10-29 | 2007-10-20 | Снекма Моторс | Method for moving a virtual object in virtual environment without mutual interference between its jointed elements |
| RU2301436C2 (en) * | 2005-04-04 | 2007-06-20 | Олег Леонидович Головков | Wide-angle virtual helmet with possibility of combination of real and virtual space |
| WO2007013833A1 (en) * | 2005-09-15 | 2007-02-01 | Oleg Stanilasvovich Rurin | Method and system for visualising virtual three-dimensional objects |
| RU2406150C2 (en) * | 2005-09-15 | 2010-12-10 | Олег Станиславович Рурин | Method and system for viewing virtual three-dimensional objects |
| US7903109B2 (en) | 2005-09-15 | 2011-03-08 | Rurin Oleg Stanislavovich | Method and system for visualization of virtual three-dimensional objects |
| DE212007000060U1 (en) | 2006-09-04 | 2009-04-23 | Palchenko, Nikolay Ivanovich | System for modeling and functioning of a single virtual space |
| RU2656714C2 (en) * | 2013-09-13 | 2018-06-06 | Сейко Эпсон Корпорейшн | Head-mounted display device and control method for head mounted display device |
| RU2762579C1 (en) * | 2021-05-17 | 2021-12-21 | Алексей Александрович Захаров | Method for changing the visibility area relative to the position and orientation of the operator's head in a car simulator |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2107328C1 (en) | Method for tracing and displaying of position and orientation of user in three-dimensional space and device which implements said method | |
| CN1168057C (en) | Method for tracking and displaying the position and orientation of a user in space, method for presenting a virtual environment to a user and system for implementing these methods | |
| US20210349529A1 (en) | Avatar tracking and rendering in virtual reality | |
| Caserman et al. | A survey of full-body motion reconstruction in immersive virtual reality applications | |
| Caserman et al. | Real-time body tracking in virtual reality using a Vive tracker | |
| US11037369B2 (en) | Virtual or augmented reality rehabilitation | |
| US20220035443A1 (en) | Systems and methods for generating complementary data for visual display | |
| US11436806B1 (en) | Dual perspective rendering in virtual reality | |
| US6774885B1 (en) | System for dynamic registration, evaluation, and correction of functional human behavior | |
| US20110270135A1 (en) | Augmented reality for testing and training of human performance | |
| US11341776B2 (en) | Method, electronic apparatus and recording medium for automatically configuring sensors | |
| CN203405772U (en) | Immersion type virtual reality system based on movement capture | |
| EP1131734B1 (en) | System for dynamic registration, evaluation, and correction of functional human behavior | |
| RU2106695C1 (en) | Method for representation of virtual space for user and device which implements said method | |
| US12204098B1 (en) | Head-mounted display system | |
| CN113017615A (en) | Virtual interactive motion auxiliary system and method based on inertial motion capture equipment | |
| Tisserand et al. | Preservation and gamification of traditional sports | |
| GB2575299A (en) | Method and system for directing and monitoring exercise | |
| KR102597581B1 (en) | Virtual Exercise Device and Virtual Exercise System | |
| JP2024018447A (en) | Virtual space movement device, virtual space movement method, and virtual space movement program | |
| Brownridge | Real-time motion capture for analysis and presentation within virtual environments | |
| Arsenault et al. | Wearable sensor networks for motion capture | |
| US12535679B1 (en) | Head-mounted display system | |
| Krukowski et al. | User Interfaces and 3D Environment Scanning for Game-Based Training in Mixed-Reality Spaces | |
| Rector | Technological advances |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20080815 |