[go: up one dir, main page]

WO2006121365A1 - Formation d'images tridimensionnelles pour une videoconference - Google Patents

Formation d'images tridimensionnelles pour une videoconference Download PDF

Info

Publication number
WO2006121365A1
WO2006121365A1 PCT/RU2005/000258 RU2005000258W WO2006121365A1 WO 2006121365 A1 WO2006121365 A1 WO 2006121365A1 RU 2005000258 W RU2005000258 W RU 2005000258W WO 2006121365 A1 WO2006121365 A1 WO 2006121365A1
Authority
WO
WIPO (PCT)
Prior art keywords
cameras
images
dimensional image
image
pairs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/RU2005/000258
Other languages
English (en)
French (fr)
Inventor
Andrei Vladimirovich Klimov
Artem Leonidovich Yukhin
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bioscrypt SA
Original Assignee
A4 Vision SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by A4 Vision SA filed Critical A4 Vision SA
Priority to PCT/RU2005/000258 priority Critical patent/WO2006121365A1/ru
Publication of WO2006121365A1 publication Critical patent/WO2006121365A1/ru
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Definitions

  • the invention relates to the field of information technology, to the formation of a three-dimensional image of an object, in particular, the face of a human user of a personal computer during communication sessions on the Internet in real time.
  • the known method for providing a three-dimensional (3D) image (stereo image) to a user during a video conference, i.e. in real time.
  • the disadvantage of this method is the mandatory fixed position of the user relative to the camera and the observation screen and the inability to display the actual three-dimensional image on the screen.
  • the known method US patent application N ° 2005/0046698 of 03.03.2005, providing the formation of a three-dimensional (3D) image (stereo image) of the user, providing for the transmission of information on the Internet in real time.
  • the method provides for the transmission of information about the "scene", which is observed by many pairs of cameras, and provides for the free placement of the object within the scene.
  • the specified method does not allow to form a three-dimensional image on the screen.
  • the known method US patent N ° 6028672 of 02.22.2000, forming a three-dimensional (3D) image, including obtaining images of an object using at least two cameras and subsequent reconstruction of a three-dimensional image.
  • This way provides three-dimensional image formation with high speed and can be used for video conferencing.
  • the disadvantage of this method which is based on the triangulation method, is the mandatory fixation of the position of the cameras and the object relative to them.
  • the known method European application JNk 1355274 from 10.22.2003, forming a three-dimensional (3D) image comprising obtaining images of an object using at least two video cameras and the subsequent reconstruction of a three-dimensional image.
  • the disadvantage of this method which is based on the triangulation method, is the mandatory fixation of the position of the cameras. Although the position of the object relative to the cameras is not fixed, but the large amount of calculations does not allow to reconstruct a three-dimensional image in real time for video conferencing.
  • a device for the formation of three-dimensional (3D) image for video conferencing US patent N ° 6028672 from 02.22.2000, which includes two cameras and a processor connected to them.
  • a disadvantage of the known device is mandatory fixed - a priori used in the processor relative position of the cameras, which complicates their location when organizing a video conference in various conditions and under various circumstances. Besides, a fixed location of the object - a participant in a video conference is required and its illumination is required.
  • the invention is aimed at providing a comfortable videoconference over the Internet and allows you to arbitrarily install video cameras before starting a video conference, and the user can move freely during a video conference, while remaining in the field of view of video cameras.
  • the technical result achieved in the method of forming a three-dimensional image for video conferencing is to ensure the formation of a real-time three-dimensional image of a user during video conferencing during his movements (rotations) in the field of view of the cameras and in determining the relative position of the cameras arbitrarily set before the start of the video conference.
  • the technical result achieved in both versions of the device for forming a three-dimensional (3D) image for video conferencing is to automatically determine the relative position of the cameras after their arbitrary installation before starting the video conference and to ensure the formation of a three-dimensional image of the user (object) in real time when it is arbitrarily moved in the field of view of the cameras .
  • the specified technical result is achieved using the method of forming a three-dimensional image for video conferencing, including registering images of an object using at least two video cameras and subsequent reconstruction in the processor of a three-dimensional image displayed on the screen.
  • spatial spectra of pairs of images recorded by the first and second video cameras are obtained, and a three-dimensional image is reconstructed from them, and the relative position of the cameras and the object is determined by changes in the spatial spectra of image pairs as a result of displacements and rotations of the object in the field of view of both cameras.
  • Reconstruct a three-dimensional (3D) image by constructing a tomogram from the spatial spectra of a number of pairs of images obtained by the first and second video cameras.
  • the use of frequency space is the basis of the algorithm for determining the relative position of cameras and an object and reconstruction of three-dimensional images in real time.
  • Reconstruction of a three-dimensional image of an object can be synchronized with a frame scan of video cameras. In this case, it is possible to synchronize the frame scans of the first and second video cameras.
  • An image of an object can be recorded by two or more pairs of cameras, then the spatial spectra of each pair of images obtained by the corresponding pair of cameras are obtained, and a single three-dimensional image of the object is reconstructed from them, and the relative position of all cameras and the object is determined by the changes in the spatial spectra of the pairs of images as a result of displacements and turns the object in the field of view of both cameras.
  • the specified technical result is achieved when using the device for forming a three-dimensional image for video conferencing, which implements the above method and includes at least two video cameras and a processor connected to them, as well as a multiplexer, a spectral conversion unit (coprocessor) and a memory unit through which the cameras are connected to a processor, providing: determining the relative position of the cameras and the object from changes in the spatial spectra of the image pairs as a result of the displacements and rotations of the object in the field of view of both cameras and constructing a tomogram of the object using the stored a memory unit for information on pairs of spectral (spatial - frequency) image images recorded by the first and second video cameras.
  • the block of spectral conversion is designed to obtain spatial spectra of images and can be made in the form of a block of fast Fourier transform.
  • the spectral transform block can also be made in the form of a wavelet transform block.
  • the device may additionally include one or more spectral transform blocks, while all spectral transform blocks that are coprocessors form a cluster of coprocessors.
  • the device may further include a unit for converting an analog signal from video cameras to digital before they enter the multiplexer.
  • the device may additionally include a display connected to the processor, indicating the location of the object in the field of view of the cameras and showing its three-dimensional image.
  • the specified technical result is achieved when using the device for forming a three-dimensional image for video conferencing, which implements the above method and includes at least two cameras and a processor connected to them, as well as a multiplexer, and a memory unit through which the cameras are connected to the processor, providing: spatial - frequency conversion of images entering the processor from the multiplexer; determining the relative position of the cameras and the object from the changes in the spatial spectra of the image pairs as a result of the displacements and rotations of the object in the field of view of both cameras and constructing a tomogram of the object using information stored on the pairs of spectral (spatial - frequency) image images recorded by the first and second cameras .
  • Figure l shows a diagram of a device that implements a method of forming a three-dimensional (3D) image for video conferencing.
  • a device that implements a method for forming three-dimensional images of object 1, see FIG. 1, includes video cameras (WEB cameras) 2 and 3, a multiplexer with an analog-to-digital converter 4, a fast Fourier transform unit (coprocessor) 5, a memory unit 6, a processor 7 and a display 8.
  • the fast Fourier transform unit can be supplemented by several connected to it parallel to the fast Fourier transform blocks (coprocessors), forming, forming together with the coprocessor 5 cluster 9.
  • the images of the object registered by two WEB cameras after the multiplexer 4 are sequentially fed into the fast Fourier transform unit 5, where they are converted into spatial spectra of images and sequentially fed into the memory unit 6, where they are stored in pairs and used by the processor 7 to determine the relative position of the WEB cameras 2 and 3 and tomogram recovery.
  • the operation of the processor 7 to restore the tomogram is synchronized with the cycle of registering a pair of flat projections, i.e. with a frame scan of WEB cameras 2 and 3.
  • the user Before starting a video conference, the user (object) places the WEB cameras 2 and 3 in a position convenient for themselves. At the same time, the user exercises control over his presence in the field of view of WEB cameras 2 and 3 through display 8. Through display 8, recommendations can be issued on the sequence of rotations and displacements of user 1 in the field of view of WEB cameras 2 and 3. At the same time, one can limit oneself to natural movements of the user in preparation for a video conference.
  • the processor 7 from the images of user 1, obtained in different angles, determines the Fourier space of the user's images, which serves as the basis for the restoration of the tomogram. The more accurately the Fourier space of the images is determined, the better the three-dimensional image of the user is reconstructed.
  • the operation of restoring a tomogram is carried out by iterations using the method of restoring digital Fourier holograms generated for each pair of flat projections by performing the calculation of the Fourier transform of each projection.
  • the process of "training" of a specialized program is carried out, and at the same time, an iterative process of restoring a three-dimensional image from pairs of flat projections is carried out.
  • the condition for completing the training of the program is the consent of the user to complete the learning process, expressed by the corresponding command entered by the user, if the latter is satisfied with the received three-dimensional image, which he can see on display 8.
  • the solution of the tomogram recovery problem using Fourier is refined — images recorded at a frame rate of each of the WEB cameras.
  • the registration processes of Web cameras can be considered parallel .
  • the parallelism of image processing can be considered absolute.
  • a digital Fourier hologram is a Fourier - the image of a holographic object. Therefore, the transmission of spatial frequencies in digital Fourier transforms is invariant to the position of the object (user). This fact is the reason to abandon the hard positioning of WEB cameras.
  • the changes relate to the scale determined by the linear increase along the optical axes of each Web camera, however, the composition of the spatial spectrum, i.e. the relative position of spatial frequencies remains unchanged.
  • the training program can correct the 3-dimensional image of the object (user) in the operating mode. In other words, the training-recovery cycle can continue many times.
  • the speed of formation and transmission of dynamic ZD images synthesized by the proposed method significantly increases with an increase in the number of Web cameras, while the number of these cameras must be even.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

Формирование трехмерных образов для видеоконференции
Область техники
Изобретение относится к области информационных технологий, к формированию трехмерного образа объекта, в частности, лица человека- пользователя ПЭВМ во время сеансов связи в сети Интернет в реальном масштабе времени.
Уровень техники
Известен способ, WO 2004/082285 от 23.09.2004, обеспечения формирования трехмерного (3D) образа (стереоизображения) у пользователя при проведении видеоконференции, т.е. в реальном масштабе времени. Недостатком указанного способа является обязательное фиксированное положение пользователя относительно видеокамеры и экрана наблюдения и невозможность отображения собственно трехмерного образа на экране.
Известен способ, патентная заявка США N° 2005/0046698 от 03.03.2005, обеспечения формирования трехмерного (3D) образа (стереоизображения) у пользователя, предусматривающий передачу информации в сети Интернет в реальном масштабе времени. Способ предусматривает передачу информации о «cцeнe», которая наблюдается множеством пар видеокамер, и предусматривает свободное размещение объекта в рамках сцены. Указанный способ не позволяет формировать трехмерный образ на экране.
Известен способ, патент США N° 6028672 от 22.02.2000, формирования трехмерного (3D) образа, включающий получение изображений объекта с использованием, по крайней мере, двух видеокамер и последующую реконструкцию трехмерного образа. Этот способ обеспечивает формирование трехмерного изображения с высокой скоростью и может быть использован для видеоконференции. Недостатком данного способа, в основе которого лежит метод триангуляции, является обязательное фиксирование положение видеокамер и объекта относительно них.
Известен способ, европейская заявка JNk 1355274 от 22.10.2003, формирования трехмерного (3D) образа включающий получение изображений объекта с использованием, по крайней мере, двух видеокамер и последующую реконструкцию трехмерного образа. Недостатком данного способа, в основе которого лежит метод триангуляции, является обязательное фиксирование положение видеокамер. Хотя положение объекта относительно видеокамер не фиксируется, но большой объем вычислений не позволяет реконструировать трехмерный образ в реальном масштабе времени для видеоконференции.
Таким образом, из представленного уровня техники следует, что при использовании изображений объекта для видеоконференции либо не создают трехмерный образ на экране, либо накладываются жесткие ограничения на положение объекта перед видеокамерами. Кроме того, все известные способы предполагают фиксированное - априорно используемое в процессоре взаимное расположение видеокамер.
Известно устройство формирования трехмерного (3D) образа для видеоконференции, патент США N° 6028672 от 22.02.2000, которое включает две видеокамеры и соединенный с ними процессор. Недостатком известного устройства является обязательное фиксированное - априорно используемое в процессоре взаимное расположение видеокамер, что затрудняет их расположение при организации видеоконференции в различных условиях и при различных обстоятельствах. Кроме того, необходимо фиксированное расположение объекта - участника видеоконференции и требуется его подсветка.
Раскрытие изобретения
Изобретение направлено на обеспечение комфортного проведения видеоконференции по сети Интернет и позволяет произвольно установить видеокамеры перед началом видеоконференции, а пользователю свободно перемещаться во время видеоконференции, оставаясь в поле зрения видеокамер.
Достигаемый технический результат в способе формирования трехмерного образа для видеоконференции заключается в обеспечении формирования в ходе проведения видеоконференции, в реальном масштабе времени трехмерного образа пользователя при его перемещениях (поворотах) в поле зрения видеокамер и в определении взаимного расположения произвольно установленных перед началом видеоконференции видеокамер.
Достигаемый технический результат в обоих вариантах устройства формирования трехмерного (3D) образа для видеоконференции заключается в автоматическом определении взаимного расположения видеокамер после их произвольной установки перед началом видеоконференции и обеспечении формирования трехмерного образа пользователя (объекта) в реальном масштабе времени при его произвольном перемещении в поле зрения видеокамер.
Указанный технический результат достигается при использовании способа формирования трехмерного образа для видеоконференции, включающий регистрацию изображений объекта с использованием, по крайней мере, двух видеокамер и последующую реконструкцию в процессоре трехмерного образа отображаемого на экране. При этом получают пространственные спектры пар изображений, зарегистрированных первой и второй видеокамерами, и из них реконструируют трехмерный образ, а взаимное расположение видеокамер и объекта определяют по изменениям пространственных спектров пар изображений в результате смещений и поворотов объекта в поле зрения обоих видеокамер.
Реконструируют трехмерный (3D) образ путем построения томограммы из пространственных спектров ряда пар изображений, полученных первой и второй видеокамерами. Использование частотного пространства является основой алгоритма определения взаимного расположения видеокамер и объекта и реконструкции трехмерных образов в реальном масштабе времени.
Можно сначала определять взаимное расположение видеокамер и объекта с использованием пространственных спектров ряда пар изображений, а затем реконструировать его трехмерный образ.
Реконструкцию трехмерного образа объекта можно синхронизировать с кадровой разверткой видеокамер. При этом можно синхронизировать кадровые развертки первой и второй видеокамеры.
Изображение объекта может регистрироваться двумя или более пар видеокамер, тогда получают пространственные спектры каждой пары изображений, полученной соответствующей парой видеокамер, и из них реконструируют единый трехмерный образ объекта, а взаимное расположение всех видеокамер и объекта определяют по изменениям пространственных спектров пар изображений в результате смещений и поворотов объекта в поле зрения обоих видеокамер.
Указанный технический результат достигается при использовании устройства формирования трехмерного образа для видеоконференции, реализующего приведенный выше способ и включающего, по крайней мере, две видеокамеры и соединенный с ними процессор, а также мультиплексор, блок спектрального преобразования (сопроцессор) и блок памяти, через которые видеокамеры соединены с процессором, обеспечивающим: определение взаимного расположения видеокамер и объекта по изменениям пространственных спектров пар изображений в результате смещений и поворотов объекта в поле зрения обоих видеокамер и построение томограммы объекта с использованием хранящейся в блоке памяти информации о парах спектральных (пространственно — частотных) образов изображений, зарегистрированных первой и второй видеокамерами.
Блок спектрального преобразования предназначен для получения пространственных спектров изображений и может быть выполнен в виде блока быстрого преобразования Фурье.
Блок спектрального преобразования может быть выполнен также в виде блока Вейвлет - преобразования.
Устройство может включать дополнительно один или более блоков спектрального преобразования, при этом все блоки спектрального преобразования, являющиеся сопроцессорами, образуют кластер из сопроцессоров.
Устройство дополнительно может включать блок преобразования аналогового сигнала с видеокамер в цифровой перед их поступлением в мультиплексор.
Устройство дополнительно может включать соединенный с процессором дисплей, индицирующий нахождение объекта в поле зрения видеокамер и демонстрирующий его трехмерный образ.
Указанный технический результат достигается и при использовании устройства формирования трехмерного образа для видеоконференции, реализующего приведенный выше способ и включающего, по крайней мере, две видеокамеры и соединенный с ними процессор, а также мультиплексор, и блок памяти, через которые видеокамеры соединены с процессором, обеспечивающим: пространственно - частотное преобразование изображений, поступающих в процессор из мультиплексора; определение взаимного расположения видеокамер и объекта по изменениям пространственных спектров пар изображений в результате смещений и поворотов объекта в поле зрения обоих видеокамер и построение томограммы объекта с использованием хранящейся в блоке памяти информации о парах спектральных (пространственно - частотных) образов изображений, зарегистрированных первой и второй видеокамерами.
Краткое описание чертежей
На фиг.l изображена схема устройства, реализующего способ формирования трехмерного (3D) образа для видеоконференции.
Лучший вариант осуществления изобретения
Устройство, реализующее способ формирования трехмерных образов объекта 1, см. фиг. 1, включает видеокамеры (WЕВ-камеры) 2 и 3, мультиплексор с аналого-цифровым преобразователем 4, блок быстрого преобразования Фурье (сопроцессор) 5, блок памяти 6, процессор 7 и дисплей 8. Блок быстрого преобразования Фурье может дополняться несколькими соединенными с ним параллельно блоками быстрого преобразования Фурье (сопроцессорами), образующими, образующими вместе с сопроцессором 5 кластер 9.
Зарегистрированные двумя WЕВ-камерами изображения объекта после мультиплексора 4 последовательно поступают в блок быстрого преобразования Фурье 5, где преобразуются в пространственные спектры изображений и последовательно поступают в блок памяти 6, где хранятся попарно и используются процессором 7 для определения взаимного расположения WЕВ-камер 2 и 3 и восстановления томограммы. Работа процессора 7 по восстановлению томограммы синхронизирована с тактом регистрации пары плоских проекций, т.е. с кадровой разверткой WЕВ-камер 2 и 3.
Перед началом видеоконференции пользователь (объект) расставляет WЕВ-камеры 2 и 3 в удобном для себя положении. При этом контроль за своим нахождением в поле зрения WЕВ-камер 2 и 3 пользователь осуществляет по дисплею 8. Через дисплей 8 могут выдаваться рекомендации по последовательности поворотов и смещений пользователя 1 в поле зрения WЕВ-камер 2 и 3. В то же время можно ограничиться естественными движениями пользователя при подготовке к видеоконференции. Процессор 7 по изображениям пользователя 1, получаемых в различных ракурсах, определяет пространство Фурье образов пользователя, которое служит основой для восстановления томограммы. Чем более точно определено пространство Фурье образов, тем качественнее реконструируется трехмерное изображение пользователя. Операция восстановления томограммы осуществляется итерациями с использованием метода восстановления цифровых Фурье-голограмм, формируемых для каждой пары плоских проекций за счет выполнения вычисления преобразования Фурье от каждой проекции. Так осуществляется процесс "обучения" специализированной программы и одновременно осуществляется итерационный процесс восстановления трехмерного образа по парам плоских проекций.
Условием завершения выполнения обучения программы является согласие пользователя на завершение процесса обучения, выраженное соответствующей командой, вводимой пользователем, если последний удовлетворен полученным трехмерным изображением, которое он может наблюдать на дисплее 8. При выполнении каждого такта работы устройства (такта регистрации пары плоских изображений WЕВ-камерами) уточняется решение задачи восстановления томограммы с использованием Фурье - образов, регистрируемых со скоростью кадровой развертки каждой из WЕВ-камер. За счет применения известных методов решения задачи Радона, см. Г.Г. Левин, Г.Н. Вишняков, Оптическая томография. - M.: Радио и связь, 1989, стр. 10-12, на основе дискретной последовательности Фурье — образов проекций формируется текущая томограмма и итерационный процесс уточнения трехмерного образа объекта прерывается пользователем при достижении удовлетворительного, по его мнению, результата.
Поскольку время регистрации 2-х изображений, снимаемых с 2-х Wеb-камер, несоизмеримо мало по сравнению со временем существенного (для ухудшения качества изображений) смещения пользователя с ожидаемой скоростью в полях зрения Wеb-камер, процессы регистрации Wеb-камерами можно считать параллельными. При использовании многопроцессорной ПЭВМ параллельность обработки изображений можно считать абсолютной. Таким образом, достигается одновременная регистрация 2-х плоских проекций, по которым восстанавливается томограмма.
При произвольном перемещении пользователя в полях зрения Wеb- камер положение образа меняется, вообще говоря, случайным образом. Однако сдвиги в плоскости перпендикулярной оптической оси объектива WЕВ-камеры приводят к появлению фазовых множителей в преобразованиях Фурье, а именно: ехр [ - 2πj (υxΔx + υyΔy) ], где - υxΔ, υyΔ - соответствующие пространственные частоты, Δx, Δy, пространственный сдвиг системы XOY, связанной с пользователем, относительно неподвижной системы координат. Как известно, Фурье - голограмма инвариантна к положению объекта в плоскости регистрации. Цифровая Фурье-голограмма также, как и физическая, является Фурье - образом голографируемого объекта. Следовательно, передача пространственных частот в цифровых Фурье — образах инвариантна к положению объекта (пользователя). Это обстоятельство является основанием отказаться от жесткого позиционирования WЕВ-камер. Изменения касаются масштаба, определяемого линейным увеличением вдоль оптических осей каждой Wеb-камеры, однако состав пространственного спектра, т.е. взаиморасположение пространственных частот остается неизменным.
Поскольку обработка изображений может осуществляться в реальном масштабе времени, обучающая программа, может корректировать 3-х мерный образ объекта (пользователя) и в режиме эксплуатации. Иными словами, цикл "обучение - восстановление" может продолжаться многократно. Скорость формирования и передачи синтезируемых по предлагаемому способу динамических ЗD изображений существенно повышается при увеличении числа Wеb - камер, при этом число этих камер должно быть четным.

Claims

Формула изобретения
1. Способ формирования трехмерного образа для видеоконференции, включающий регистрацию изображений объекта с использованием, по крайней мере, двух видеокамер и последующую реконструкцию в процессоре трехмерного образа, отображаемого на экране, отличающийся тем, что получают пространственные спектры пар изображений, зарегистрированных первой и второй видеокамерами, и из них реконструируют трехмерный образ, при этом взаимное расположение видеокамер и объекта определяют по изменениям пространственных спектров пар изображений в результате смещений и поворотов объекта в поле зрения обоих видеокамер.
2. Способ по п. 1, отличающийся тем, что сначала определяют взаимное расположение видеокамер и объекта с использованием пространственных спектров ряда пар изображений, а затем реконструируют его трехмерный образ.
3. Способ по п. 2, отличающийся тем, что реконструкцию трехмерного образа объекта синхронизируют с кадровой разверткой видеокамер.
4. Способ по п. 3, отличающийся тем, что синхронизируют кадровые развертки первой и второй видеокамеры.
5. Способ по п. 1, отличающийся тем, что изображения объекта регистрируют двумя или более пар видеокамер и получают пространственные спектры каждой пары изображений, полученной соответствующей парой видеокамер, и из них реконструируют единый трехмерный образ объекта, а взаимное расположение всех видеокамер и объекта определяют по изменениям пространственных спектров пар изображений в результате смещений и поворотов объекта в поле зрения обоих видеокамер.
6. Устройство формирования трехмерного образа для видеоконференции, включающее, по крайней мере, две видеокамеры и соединенный с ними процессор, отличающееся тем, что дополнительно включает мультиплексор, блок спектрального преобразования и блок памяти, через которые видеокамеры соединены с процессором, обеспечивающим: определение взаимного расположения видеокамер и объекта по изменениям пространственно - частотных образов пар изображений в результате смещений и поворотов объекта в поле зрения, обоих видеокамер и построение томограммы объекта с использованием хранящейся в блоке памяти информации о парах пространственно - частотных образов изображений, зарегистрированных первой и второй видеокамерами.
7. Устройство по п. 6, отличающееся тем, что блок спектрального преобразования выполнен в виде блока быстрого преобразования Фурье.
8. Устройство по п. 6, отличающееся тем, что блок спектрального преобразования выполнен в виде блока Вейвлет — преобразования.
9. Устройство по п. 6, отличающееся тем, что дополнительно включает блок преобразования аналогового сигнала с видеокамер в цифровой перед их поступлением в мультиплексор.
10. Устройство формирования трехмерного образа для видеоконференции, включающее, по крайней мере, две видеокамеры и соединенный с ними пpoцeccop,oтличaющeecя тем, что дополнительно включает мультиплексор, и блок памяти, через которые видеокамеры соединены с процессором, обеспечивающим: быстрое преобразование Фурье изображений, поступающих в процессор из мультиплексора; определение взаимного расположения видеокамер и объекта по изменениям Фурье - образов пар изображений в результате смещений и поворотов объекта в поле зрения обоих видеокамер и построение томограммы объекта с использованием хранящейся в блоке памяти информации о парах Фурье - образов изображений, зарегистрированных первой и второй видеокамерами.
PCT/RU2005/000258 2005-05-13 2005-05-13 Formation d'images tridimensionnelles pour une videoconference Ceased WO2006121365A1 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/RU2005/000258 WO2006121365A1 (fr) 2005-05-13 2005-05-13 Formation d'images tridimensionnelles pour une videoconference

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/RU2005/000258 WO2006121365A1 (fr) 2005-05-13 2005-05-13 Formation d'images tridimensionnelles pour une videoconference

Publications (1)

Publication Number Publication Date
WO2006121365A1 true WO2006121365A1 (fr) 2006-11-16

Family

ID=37396791

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2005/000258 Ceased WO2006121365A1 (fr) 2005-05-13 2005-05-13 Formation d'images tridimensionnelles pour une videoconference

Country Status (1)

Country Link
WO (1) WO2006121365A1 (ru)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102256154A (zh) * 2011-07-28 2011-11-23 中国科学院自动化研究所 实现三维全景视频的定位与播放的方法及系统
US8570358B2 (en) 2009-11-06 2013-10-29 Sony Corporation Automated wireless three-dimensional (3D) video conferencing via a tunerless television device
US8687046B2 (en) 2009-11-06 2014-04-01 Sony Corporation Three-dimensional (3D) video for two-dimensional (2D) video messenger applications

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6028672A (en) * 1996-09-30 2000-02-22 Zheng J. Geng High speed three dimensional imaging method
RU2157056C2 (ru) * 1998-02-03 2000-09-27 Логутко Альберт Леонидович Способ объемного телевидения
JP2001197521A (ja) * 2000-01-06 2001-07-19 Toppan Printing Co Ltd 撮像装置、撮像方法及び撮像条件に係るデータを記録した記録媒体
WO2002073980A1 (en) * 2001-03-14 2002-09-19 Koninklijke Philips Electronics N.V. Self adjusting stereo camera system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6028672A (en) * 1996-09-30 2000-02-22 Zheng J. Geng High speed three dimensional imaging method
RU2157056C2 (ru) * 1998-02-03 2000-09-27 Логутко Альберт Леонидович Способ объемного телевидения
JP2001197521A (ja) * 2000-01-06 2001-07-19 Toppan Printing Co Ltd 撮像装置、撮像方法及び撮像条件に係るデータを記録した記録媒体
WO2002073980A1 (en) * 2001-03-14 2002-09-19 Koninklijke Philips Electronics N.V. Self adjusting stereo camera system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8570358B2 (en) 2009-11-06 2013-10-29 Sony Corporation Automated wireless three-dimensional (3D) video conferencing via a tunerless television device
US8687046B2 (en) 2009-11-06 2014-04-01 Sony Corporation Three-dimensional (3D) video for two-dimensional (2D) video messenger applications
CN102256154A (zh) * 2011-07-28 2011-11-23 中国科学院自动化研究所 实现三维全景视频的定位与播放的方法及系统

Similar Documents

Publication Publication Date Title
US8503763B2 (en) Image signatures for use in motion-based three-dimensional reconstruction
WO2020156195A1 (zh) Ct图像的生成方法、装置、计算机设备及计算机可读存储介质
Reimat et al. Cwipc-sxr: Point cloud dynamic human dataset for social xr
JP5940356B2 (ja) ３次元ｘ線ｃｔ装置、３次元ｃｔ画像再構成方法、及びプログラム
EP3274986A2 (en) Virtual 3d methods, systems and software
CN111080778A (zh) 一种双目内窥镜软组织图像的在线三维重建方法
JP2015041370A (ja) 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置
CN109712230A (zh) 三维模型补充方法、装置、存储介质及处理器
US20110176715A1 (en) Four-dimensional volume imaging system
WO2006121365A1 (fr) Formation d'images tridimensionnelles pour une videoconference
FR2863086A1 (fr) Procede de production d'une sequence d'images volumiques d'une zone d'un organe d'un etre vivant.
CN120128757B (zh) 一种视频插补方法、装置、电子设备及介质
JP2014071870A (ja) 仮想視点画像合成装置、仮想視点画像合成方法及び仮想視点画像合成プログラム
JP5311033B2 (ja) 対象物体の厚さの推定方法
CN108648796A (zh) 一种虚拟现实镜像治疗仪
KR100733267B1 (ko) 복수 위치의 ｃｔ 화상 생성 방법 및 ｘ선 ｃｔ 장치
WO2021039642A1 (ja) ３次元再構成装置、方法及びプログラム
KR20040083652A (ko) 3차원 입체 영상의 신호 처리 장치 및 방법
CN115100092B (zh) 冠脉ct图像的减影方法、装置、电子设备及存储介质
Deshpande et al. Real-Time Reconstruction of 3D Space using Holographic Video
CN119478200A (zh) 基于增强现实技术骨折二维图像的骨折块空间定位方法
JP5461934B2 (ja) 超音波診断装置
KR102617940B1 (ko) 멀티 mla 라이트 필드 카메라를 이용한 6-자유도 지원 360도 영상 생성 장치및 그 방법
Patro et al. Social snapshot: a system for temporally coupled social photography
Brundyn et al. Stereo Video Reconstruction Without Explicit Depth Maps for Endoscopic Surgery

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: RU

122 Ep: pct application non-entry in european phase

Ref document number: 05817796

Country of ref document: EP

Kind code of ref document: A1