RU2122293C1

RU2122293C1 - Method for synchronous teleconferencing and device which implements said method

Info

Publication number: RU2122293C1
Application number: RU98102214A
Authority: RU
Inventors: А.Е. Зельцер
Original assignee: Товарищество с ограниченной ответственностью "КОМСТАР"
Priority date: 1998-02-10
Filing date: 1998-02-10
Publication date: 1998-11-20

Abstract

FIELD: communications, in particular, for long-distance and international teleconferences or synchronization of sound of two parts of orchestra which are located in different cities, countries or continents. SUBSTANCE: both sides of device which are connected by means of digital multichannel communication lines 3 have video codec 4, audio codec 5, multiplexer-demultiplexer 6. Each audio codec on each side provides possibility to encode and decode sound signals in given bandwidth with encoding delay which is less than given threshold. Number of digital communication channels for transmission of encoded sound signals from each audio codec is equal to

Description

Настоящее изобретение относится к технике связи, а конкретнее к способу и системе синхронной телеконференции, и может быть использовано, например, при организации междугородних или международных телемостов или каких-либо иных интерактивных мероприятий подобного масштаба, когда возникает задача синхронизировать, например, звучание двух половин оркестра, расположенных в разных городах, странах или даже на разных континентах. The present invention relates to communication technology, and more specifically to a method and system of synchronous teleconference, and can be used, for example, when organizing long-distance or international teleconference or any other interactive events of a similar scale, when the task arises to synchronize, for example, the sound of two halves of the orchestra located in different cities, countries or even on different continents.

в настоящее время известно много различных систем телеконференции (конференц-связи), реализующих соответствующие способы. Однако в каждом из них непременным условием является использование видеокодека для преобразования сигнала изображения в цифровой сигнал, что обспечивает более высокую надежность и помехозащищенность передачи, чем при использовании непосредственно аналоговых сигналов без кодирования их к цифровому виду. Currently, there are many different teleconferencing systems (conference calls) that implement the corresponding methods. However, in each of them, an indispensable condition is the use of a video codec for converting the image signal into a digital signal, which ensures higher reliability and noise immunity of transmission than when using directly analog signals without encoding them to digital form.

В простейшем случае для видеоконференц-связи используются те или иные видеокодеки, имеющие в своем составе также и аудиокодек. Так, в заявке ФРГ N 3828269, 1990 описывается способ кодирования при передаче видеотелефонных сигналов, в котором звуковой и видеосигналы объединяются в один многоканальный сигнал и кодируют его. Этот способ реализуется в системе, имеющей на каждой стороне только один кодек для кодирования общего многоканального сигнала, и соответствующий канал связи для пересылки закодированного сигнала на другую сторону системы. Недостатком этой системы является большая задержка в кодировании объединенного сигнала (по крайней мере, доли секунды), что может не иметь значения в относительно простых случаях разговора по видеотелефону или обычной телеконференции, однако резко осложняет ситуацию в более сложных случаях. In the simplest case, for video conferencing, one or another video codec is used, which also includes an audio codec. So, in the application of Germany N 3828269, 1990 describes a coding method for transmitting video telephone signals, in which audio and video signals are combined into one multi-channel signal and encode it. This method is implemented in a system having on each side only one codec for encoding a common multi-channel signal, and a corresponding communication channel for sending the encoded signal to the other side of the system. The disadvantage of this system is the large delay in encoding the combined signal (at least a fraction of a second), which may not matter in relatively simple cases of talking on a videophone or regular teleconference, but it greatly complicates the situation in more complex cases.

Можно сказать, что существующие в настоящее время видеокодеки рассчитаны в основном на применение в видеотелефонии, где требуется синхронность в воспроизведении звука и изображения, но не в воспроизведении одного и того же звука на разных сторонах системы. Поэтому в существующих и разрабатываемых видеокодеках разработчики стремятся к минимизации задержки между передаваемым изображением и соответствующим ему звуком, как это описано, например, в патенте США N 5550580, 1996 или в выложенной заявке Японии N 08-009353, 1996. В заявке ЕПВ N 0418396, 1991, к примеру, для повышения пропускной способности канала аудио- и видеосигналы балансируются, при этом детектируется информационное содержимое хотя бы одного из них для соответствующего управления содержимым передачи и коррекции разности в скоростях обработки обоих сигналов. Все это подтверждает непригодность существующих видеокодеков для использования в случае синхронного исполнения музыкальных, литературных и тому подобных произведений, когда исполнители находятся в разных местах. Поэтому возникает естественное желание использовать вместе с видеокодеком отдельный аудиокодек. We can say that the currently existing video codecs are designed mainly for use in video telephony, where synchronization is required in reproducing sound and images, but not in reproducing the same sound on different sides of the system. Therefore, in existing and developing video codecs, developers seek to minimize the delay between the transmitted image and the sound corresponding to it, as described, for example, in US Pat. No. 5,550,580, 1996 or Japanese Laid-Open Application No. 08-009353, 1996. In EPO Application No. 0418396, 1991, for example, to increase channel bandwidth, audio and video signals are balanced, while the information content of at least one of them is detected for appropriate control of the transmission content and correction of the difference in wallpaper processing speeds signals. All this confirms the unsuitability of existing video codecs for use in the case of synchronous performance of musical, literary and similar works, when the performers are in different places. Therefore, there is a natural desire to use a separate audio codec with the video codec.

В выложенной заявке Японии N 07-123388, 1995 описывается система видеоконференции, содержащей на каждой стороне видеокодек и аудиокодек, соединенные с мультиплексором, а также соответствующие каналы связи для соединения между собой мультиплексоров разных сторон. В этой системе передача видео- и аудиоданных происходит согласно Рекомендации H 221 Международного телекоммуникационного союза - МТС (ранее МККТТ, Международный консультативный комитет по телеграфии и телефонии) путем объединения обоих сигналов с помощью соответствующего мультиплексора. Japanese Patent Application Laid-Open No. 07-123388, 1995 describes a video conferencing system comprising, on each side, a video codec and an audio codec connected to a multiplexer, as well as corresponding communication channels for interconnecting multiplexers of different sides. In this system, the transmission of video and audio data occurs in accordance with Recommendation H 221 of the International Telecommunication Union - MTS (formerly CCITT, the International Advisory Committee on Telegraphy and Telephony) by combining both signals using an appropriate multiplexer.

Наиболее близкие к заявленным способ и система описаны в патенте США N 5512938, 1996. Известный из этого патента способ телеконференции включает в себя следующие операции: на каждой из сторон системы телеконференции кодируют предназначенное к передаче изображение заранее заданной сцены на данной стороне и декодируют по меньшей мере один видеосигнал, принимаемый от другой стороны, с помощью видеокодека; на каждой из сторон системы телеконференции кодируют предназначенный к передаче звук той же заранее заданной сцены на данной стороне системы и декодируют по меньшей мере один звуковой сигнал, принимаемый от другой стороны системы, с помощью аудиокодека; на каждой из сторон системы телеконференции мультиплексируют с разделением по времени закодированные видеосигналы и закодированные звуковые сигналы одной и той же сцены на данной стороне и демультиплексируют по меньшей мере один мультиплексированный сигнал, принимаемый от другой стороны; передают мультиплексированные с разделением по времени данные по цифровым многоканальным линиям связи от каждой стороны системы телеконференции ко всем другим сторонам системы телеконференции. Известная из того же патента система телеконференции содержит на каждой своей стороне по меньшей мере один видеокодек для кодирования предназначенного к передаче изображения заранее заданной сцены на данной стороне системы и декодирования по меньшей мере одного видеосигнала, принимаемого от другой стороны системы; по меньшей мере один аудиокодек для кодирования предназначенного к передаче звука той же заранее заданной сцены на данной стороне системы и декодирования по меньшей мере одного звукового сигнала, принимаемого от другой стороны системы; мультиплексирующее средство, предназначенное для мультиплексирования с разделением по времени закодированных видеосигналов и закодированных звуковых сигналов одной и той же сцены на данной стороне системы и для демультиплексирования по меньшей мере одного мультиплексированного сигнала, принимаемого от другой стороны системы; кроме того, система содержит цифровые многоканальные линии связи для соединения между собой мультиплексирующих средств каждой из сторон системы. Недостатками этих известных способа и системы являются невозможность обеспечить малую (т.е. незаметную для человеческого слуха) задержку по времени между появлением звука на одной стороне и его же звучанием на другой стороне системы телеконференции. Closest to the claimed method and system are described in US patent N 5512938, 1996. The teleconferencing method known from this patent includes the following operations: on each side of the teleconferencing system, an image of a predetermined scene on a given side to be transmitted is encoded and decoded at least one video signal received from the other side using the video codec; on each side of the teleconferencing system, the sound intended for transmission of the same predetermined scene on that side of the system is encoded and at least one audio signal received from the other side of the system is decoded using an audio codec; on each side of the teleconferencing system, time-division encoded video signals and encoded audio signals of the same scene on a given side are multiplexed and at least one multiplexed signal received from the other side is demultiplexed; time-division multiplexed data is transmitted over digital multi-channel communication lines from each side of the teleconference system to all other sides of the teleconference system. The teleconferencing system known from the same patent contains at least one video codec on each side for encoding a predetermined scene intended for transmission of an image on a given side of the system and decoding at least one video signal received from the other side of the system; at least one audio codec for encoding a sound intended for transmission of the same predetermined scene on a given side of the system and decoding at least one audio signal received from the other side of the system; multiplexing means for time division multiplexing of encoded video signals and encoded audio signals of the same scene on a given side of the system and for demultiplexing at least one multiplexed signal received from the other side of the system; in addition, the system contains digital multi-channel communication lines for interconnecting multiplexing means of each of the sides of the system. The disadvantages of these known methods and systems are the inability to provide a small (i.e. invisible to human hearing) time delay between the appearance of sound on one side and its sound on the other side of the teleconferencing system.

Между тем существует необходимость в таких способах и системах. Например, при организации совместных выступлений музыкантов, находящихся в разных точках земного шара, задержка в передаче звука с одной стороны системы телеконференции на другую сторону должна быть такой, чтобы музыканты удаленной для данного слушателя стороны не отставали бы заметно от музыкантов той стороны, где находится и слушатель. Та же ситуация должна иметь место и для слушателей другой стороны, удаленной для первого слушателя: этот второй слушатель не должен замечать отставания в звучании мелодии, исполняемой музыкантами на стороне первого слушателя. Иными словами, в данном случае на обеих сторонах системы телеконференции мелодия, исполняемая музыкантами на одной стороне, должна звучать синхронно с этой же мелодией, исполняемой музыкантами на другой стороне. Значит, система телеконференции и реализуемый ею способ телеконференции должны быть синхронными, т.е. иметь малую незаметную для человека задержку по времени между совершением какого-нибудь звукового события на одной стороне и его звуковым отображением на другой стороне. Meanwhile, there is a need for such methods and systems. For example, when organizing joint performances of musicians located in different parts of the globe, the delay in transmitting sound from one side of the teleconference system to the other side should be such that the musicians of the party remote for this listener do not lag noticeably from the musicians of the side where listener. The same situation should be for the listeners of the other side, remote for the first listener: this second listener should not notice a lag in the sound of the melody performed by the musicians on the side of the first listener. In other words, in this case, on both sides of the teleconferencing system, a melody performed by musicians on one side should sound in sync with the same melody performed by musicians on the other side. Therefore, the teleconferencing system and the teleconference method it implements must be synchronous, i.e. to have a small time-imperceptible time delay between the occurrence of any sound event on one side and its sound image on the other side.

Эта задача решается с достижением вышеуказанного технического результата в заявляемом способе синхронной телеконференции, включающем в себя следующие операции: на каждой из сторон системы телеконференции кодируют предназначенное к передаче изображение заранее заданной сцены на данной стороне и декодируют по меньшей мере один видеосигнал, принимаемый от другой стороны, с помощью видеокодека; на каждой из сторон системы телеконференции кодируют предназначенный к передаче звук той же заранее заданной сцены на данной стороне системы и декодируют по меньшей мере один звуковой сигнал, принимаемый от другой стороны системы, с помощью аудиокодека; на каждой из сторон системы телеконференции мультиплексируют с разделением по времени закодированные видеосигналы и закодированные звуковые сигналы одной и той же сцены на данной стороне и демультиплексируют по меньшей мере один мультиплексированный сигнал, принимаемый от другой стороны; передают мультиплексированные с разделением по времени данные по цифровым многоканальным линиям связи от каждой стороны системы телеконференции ко всем другим сторонам системы телеконференции; благодаря тому, что согласно изобретению кодирование предназначенного к передаче звука проводят с помощью по меньшей мере одного аудиокодека в заданной полосе частот с задержкой кодирования, не превышающей заданной величины, а закодированные звуковые сигналы каждого аудиокодека передают по N цифровым каналам связи, где

ΔF - заданная полоса частот, F - полоса пропускания одного цифрового канала связи, ]•[ - целая часть числа.This problem is solved with the achievement of the above technical result in the inventive method of synchronous teleconference, which includes the following operations: on each side of the teleconferencing system, the image intended for transmission of the image of a predetermined scene on this side is encoded and at least one video signal received from the other side is decoded, using a video codec; on each side of the teleconferencing system, the sound intended for transmission of the same predetermined scene on that side of the system is encoded and at least one sound signal received from the other side of the system is decoded using an audio codec; on each side of the teleconferencing system, time-division encoded video signals and encoded audio signals of the same scene on a given side are multiplexed and at least one multiplexed signal received from the other side is demultiplexed; transmit time-multiplexed data on digital multi-channel communication lines from each side of the teleconferencing system to all other sides of the teleconferencing system; due to the fact that according to the invention, the coding of the sound intended for transmission is carried out using at least one audio codec in a given frequency band with a coding delay not exceeding a predetermined value, and the encoded audio signals of each audio codec are transmitted via N digital communication channels, where

ΔF is the given frequency band, F is the bandwidth of one digital communication channel,] • • [is the integer part of the number.

При этом кодирование предназначенного к передаче звука могут проводить с помощью по меньшей мере одного аудиокодека по меньшей мере во всей полосе частот, слышимых человеком, с задержкой кодирования не более 5 мс. In this case, the coding of the sound intended for transmission can be carried out using at least one audio codec in at least the entire frequency band heard by a person with a coding delay of not more than 5 ms.

В качестве цифровых каналов связи могут использоваться либо выделенные каналы, либо коммутируемые каналы. As digital communication channels, either dedicated channels or switched channels can be used.

Та же задача решается с достижением того же технического результата в системе синхронной телеконференции, содержащей на каждой своей стороне по меньшей мере один видеокодек для кодирования предназначенного к передаче изображения заранее заданной сцены на данной стороне системы и декодирования по меньшей мере одного видеосигнала, принимаемого от другой стороны системы; по меньшей мере один аудиокодек для кодирования предназначенного к передаче звука той же заранее заданной сцены на данной стороне системы и декодирования по меньшей мере одного звукового сигнала, принимаемого от другой стороны системы; мультиплексирующее/демультиплексирующее средство, предназначенное для мультиплексирования с разделением по времени закодированных видеосигналов и закодированных звуковых сигналов одной и той же сцены на данной стороне системы и для демультиплексирования по меньшей мере одного мультиплексированного сигнала, принимаемого от другой стороны системы; кроме того, система содержит цифровые многоканальные линии связи для соединения между собой мультиплексирующих/демультиплексирующих средств каждой из сторон системы; благодаря тому, что согласно изобретению каждый аудиокодек на каждой стороне системы выполнен с возможностью кодировать и декодировать звуковые сигналы в заранее заданной полосе частот с задержкой кодирования, не превышающей данной величины, а число цифровых каналов связи, предназначенных для передачи закодированных звуковых сигналов от каждого аудиокодека, равно

где ΔF - заранее заданная полоса частот, F - полоса пропускания одного цифрового канала связи, ]•[ - целая часть числа.The same problem is solved with the achievement of the same technical result in a synchronous teleconference system containing on each side at least one video codec for encoding a predetermined scene intended for transmission of an image on a given side of the system and decoding at least one video signal received from the other side systems; at least one audio codec for encoding intended for sound transmission of the same predetermined scene on a given side of the system and decoding at least one audio signal received from the other side of the system; multiplexing / demultiplexing means for time division multiplexing of encoded video signals and encoded audio signals of the same scene on a given side of the system and for demultiplexing at least one multiplexed signal received from the other side of the system; in addition, the system comprises digital multi-channel communication lines for interconnecting multiplexing / demultiplexing means of each of the sides of the system; due to the fact that according to the invention, each audio codec on each side of the system is configured to encode and decode audio signals in a predetermined frequency band with an encoding delay not exceeding this value, and the number of digital communication channels for transmitting encoded audio signals from each audio codec, equally

where ΔF is the predetermined frequency band, F is the bandwidth of one digital communication channel,] • • [is the integer part of the number.

При этом каждый аудиокодек на каждой стороне системы может быть выполнен с возможностью кодировать и декодировать звуковые сигналы по меньшей мере во всей полосе частот, слышимых человеком, с задержкой кодирования не более 5 мс. Moreover, each audio codec on each side of the system can be configured to encode and decode audio signals in at least the entire frequency band heard by humans, with an encoding delay of not more than 5 ms.

В качестве цифровых каналов связи могут быть использованы выделенные каналы или коммутируемые каналы. As digital communication channels, dedicated channels or switched channels can be used.

Из существующего уровня техники неизвестны объекты, которые содержали бы указанные выше совокупности существенных признаков. Это позволяет считать заявляемые объекты новыми. From the current level of technology unknown objects that would contain the above set of essential features. This allows us to consider the claimed objects as new.

Из существующего уровня техники неизвестны также объекты, которые содержали бы указанные выше совокупности отличительных признаков. Хотя сами эти признаки - по меньшей мере их часть - известны из существующего уровня техники, однако соединения этих признаков является новым и предназначено для решения новой задачи, неизвестной ранее. Это позволяет считать, что заявляемые объекты имеют изобретательский уровень. From the current level of technology are also unknown objects that would contain the above set of distinctive features. Although these features themselves - at least part of them - are known from the existing level of technology, however, the combination of these features is new and is intended to solve a new problem, previously unknown. This allows us to assume that the claimed objects have an inventive step.

Изобретение поясняется далее фиг.1 и 2, где одинаковые части на фиг.1 и 2 имеют одни и те же ссылочные позиции. The invention is further illustrated by figures 1 and 2, where the same parts in figures 1 and 2 have the same reference position.

На фиг.1 изображена общая блок-схема системы по изобретению; на фиг.2 - более подробно выполнение одной стороны в системе по изобретению. Figure 1 shows a General block diagram of a system according to the invention; figure 2 - in more detail the implementation of one side in the system according to the invention.

Заявляемый способ синхронной телеконференции реализуется в системе синхронной конференции, общая блок-схема которой показана на фиг.1. Система синхронной телеконференции по изобретению в примере на фиг.1 состоит из первой стороны 1, второй стороны 2 и многоканальных линий 3 связи между ними. Система синхронной телеконференции по изобретению может не ограничиваться лишь двумя сторонами 1 и 2, как это показано на фиг.1 только для простоты восприятия. The inventive method of synchronous teleconference is implemented in a synchronous conference system, the General block diagram of which is shown in figure 1. The synchronous teleconference system according to the invention in the example of figure 1 consists of a first side 1, a second side 2 and multi-channel communication lines 3 between them. The synchronous teleconference system of the invention may not be limited to only two parties 1 and 2, as shown in FIG. 1, for ease of perception only.

На каждой стороне 1 или 2 системы телеконференции имеется по меньшей мере один видеокодек 4, по меньшей мере один аудиокодек 5 и мультиплексирующее/демультиплексирующее средство 6. Каждый видеокодек 4 и каждый аудиокодек 5 соединены с мультиплексирующим/демультиплексирующим средством 6 соответствующими цифровыми каналами 7 или 8 связи. On each side 1 or 2 of the teleconferencing system, there is at least one video codec 4, at least one audio codec 5 and multiplexing / demultiplexing means 6. Each video codec 4 and each audio codec 5 are connected to the multiplexing / demultiplexing means 6 by respective digital communication channels 7 or 8 .

Мультиплексирующие/демультиплексирующие средства 6 на разных сторонах (1 и 2) системы телеконференции соединены между собой с помощью многоканальных линий 3 связи. Это могут быть линии телефонной сети (включая и спутниковые линии связи) либо линии сети, специально созданной для конкретной системы телеконференции. При этом используемые для связи между сторонами 1 и 2 системы телеконференции каналы линии 3 связи могут быть выделенными или коммутируемыми. Multiplexing / demultiplexing means 6 on different sides (1 and 2) of the teleconferencing system are interconnected using multi-channel communication lines 3. These can be telephone network lines (including satellite communication lines) or network lines specially created for a particular teleconference system. Moreover, the channels of the communication line 3 used for communication between the parties 1 and 2 of the teleconference system can be dedicated or switched.

Рассмотрим выполнение одной стороны заявляемой системы телеконференции более подробно, используя для этого фиг.2, где изображена первая сторона 1 системы конференции по изобретению. Consider the implementation of one side of the inventive teleconference system in more detail, using for this figure 2, which shows the first side 1 of the conference system according to the invention.

В качестве видеокодека 4 в этом примере используется видеокодек системы FOCUS 300, обеспечивающий кодирование изображения с задержкой примерно 0,5 с. Видеокодек 4 указанного типа соединяется с мультиплексирующим/демультиплексирующим средством 6 цифровым каналом 7 типа Х.21, рассчитанным на скорость передачи 1920 Кбайт/с. The video codec 4 in this example uses the FOCUS 300 video codec, which provides encoding of the image with a delay of about 0.5 s. The video codec 4 of this type is connected to the multiplexing / demultiplexing means 6 by a digital channel 7 of type X.21, designed for a transmission speed of 1920 Kb / s.

Указанный видеокодек имеет также возможность кодировать и речевой сигнал с задержкой 0,5 с и передавать закодированный звуковой сигнал на мультиплексирующее/демультиплексирующее средство 6 по каналу типа Х.21 со скоростью 256 Кбайт/с. Однако в данном случае это свойство видеокодека (кодировать и передавать также и звуковой сигнал) не используется вследствие чрезмерно большой задержки. The specified video codec also has the ability to encode a speech signal with a delay of 0.5 s and transmit the encoded audio signal to the multiplexing / demultiplexing means 6 on the channel type X.21 with a speed of 256 Kb / s. However, in this case, this property of the video codec (to encode and transmit an audio signal as well) is not used due to an excessively large delay.

Как уже отмечалось выше, в случае организации совместного концерта, когда часть музыкантов находится за многие тысячи километров от остальных, требуется обеспечить на каждой стороне синхронное воспроизведение звуковых сигналов, поступающих от удаленной для данной стороны части музыкантов. Величину допустимой задержки нетрудно подсчитать. As noted above, in the case of organizing a joint concert when some of the musicians are many thousands of kilometers away from the others, it is required to ensure synchronous reproduction of sound signals from each part of the musicians on each side. The amount of permissible delay is not difficult to calculate.

Из практики исполнения музыкальных произведений известно, что длительность целой ноты составляет примерно 0,5 с. Соответственно, длительность ноты в одну тридцать вторую составит 0,5:32 = 0,015625 с или 15,625 мс. Примем (это согласуется с исполнительской практикой), что несинхронность звучания становится заметной, когда одна нота, исполняемая одним музыкантом, начиная звучать на четверть доли раньше или позже, чем та же нота, исполняемая другим(-ими) музыкантом (-ами). Следовательно, для самой короткой ноты в одну тридцать вторую долю допустимая задержка составит 15,625:4 = 3,90625 мс. Ноты в одну шестьдесят четвертую или одну сто двадцать восьмую доли достаточно редки, а кроме того, исполняются настолько быстро, что синхронность в их исполнении в половину или даже целую долю - при условии синхронного исполнения остальных нот - практически не будет заметна. Поэтому задержка в звучании мелодии, исполняемой удаленными музыкантами, должна быть не более 5 мс. From the practice of performing musical works, it is known that the duration of a whole note is approximately 0.5 s. Accordingly, a note duration of one thirty-second will be 0.5: 32 = 0.015625 s or 15.625 ms. We accept (this is consistent with performing practice) that the non-synchronization of sound becomes noticeable when one note played by one musician begins to sound a quarter beat earlier or later than the same note played by other musician (s). Therefore, for the shortest note of one thirty-second beat, the allowable delay is 15.625: 4 = 3.90625 ms. Notes in one sixty-fourth or one hundred and twenty-eighth parts are quite rare, and in addition, they are played so quickly that the synchronism in their performance is half or even a whole part - provided that the remaining notes are played synchronously - it will be practically not noticeable. Therefore, the delay in the sound of a melody performed by remote musicians should be no more than 5 ms.

Очевидно, что используемый в данном примере видеокодек 4 имеет слишком большую задержку и потому его аудиочасть не используется. Вместо этого на каждой стороне (на первой стороне 1 в примере фиг.2) системы телеконференции, помимо видеокодека 4, используется еще и аудиокодек 5. В данном случае в качестве этого аудиокодека 5 используется модель NXL 256 фирмы Audio Processing Technology (APT), Великобритания, имеющая задержку в кодировании звукового сигнала не более 5 мс. При этом кодирование осуществляется во всей полосе частот звука, слышимого человеком, т.е. примерно от 20 Гц до 20 кГц. В данном аудиокодеке 5 закодированные сигналы передаются по цифровым каналам связи, имеющим полосу 7 кГц. Поэтому в случае кодирования звуковых сигналов во всей полосе частот, слышимых человеком, потребуется (20000 - 20): 7000 = ]2,854[ + 1 = 3 цифровых канала, где ]•[ - целая часть числа. Для стереоперадачи число цифровых каналов удваивается, т.к. необходимо передавать так называемые левый и правый каналы стереосигнала. В приведенном выше примере потребуется 6 цифровых каналов с полосой 7 кГц каждый. Именно такое количество цифровых каналов имеется в используемом типе аудиокодека. На фиг. 2 показаны цифровой канал 7 связи для подключения видеокодека 4 к мультиплексирующему/демультиплексирующему средству 6 и шесть цифровых каналов 8 для подключения аудиокодека 5 к тому же самому мультиплексирующему/демультиплексирующему средству 6. Разумеется, цифровой канал 7 для видеокодека также может быть на деле группой цифровых каналов с конечной полосой, потребных для передачи цифрового видеосигнала с более широкой полосой, чем у одного цифрового канала. Однако в данном случае указание шести цифровых каналов 8 подчеркивает важность передачи звукового сигнала во всей полосе частот, слышимых человеком. Obviously, the video codec 4 used in this example has too much delay and therefore its audio part is not used. Instead, on each side (on the first side 1 in the example of FIG. 2), in addition to video codec 4, an audio codec 5 is also used. In this case, NXL 256 from Audio Processing Technology (APT), United Kingdom, is used as this audio codec 5 having a delay in encoding an audio signal of not more than 5 ms. In this case, encoding is carried out in the entire frequency band of the sound heard by a person, i.e. from about 20 Hz to 20 kHz. In this audio codec 5, the encoded signals are transmitted over digital communication channels having a band of 7 kHz. Therefore, in the case of encoding audio signals in the entire frequency band heard by a person, it will be required (20,000 - 20): 7000 =] 2,854 [+ 1 = 3 digital channels, where] • [is the integer part of the number. For stereo operation, the number of digital channels doubles, because it is necessary to transmit the so-called left and right channels of the stereo signal. In the above example, 6 digital channels with a band of 7 kHz each are required. It is this number of digital channels that is available in the type of audio codec used. In FIG. 2 shows a digital communication channel 7 for connecting the video codec 4 to the multiplexing / demultiplexing means 6 and six digital channels 8 for connecting the audio codec 5 to the same multiplexing / demultiplexing means 6. Of course, the digital channel 7 for the video codec can also be a group of digital channels with a finite bandwidth required to transmit a digital video signal with a wider bandwidth than that of a single digital channel. However, in this case, the indication of six digital channels 8 emphasizes the importance of transmitting an audio signal in the entire frequency band audible to humans.

В качестве мультиплексирующего/демультиплексирующего средства 6 используется любой мультиплексор/демультиплексор или иное устройство с функцией мультиплексирования/демультиплексирования, позволяющее объединять все цифровые сигналы, поступающие на него от кодеков, в общий сигнал для передачи по цифровым многоканальным линиям 3 связи, а также разделять принятый из линий 3 цифровой сигнал на видео- и аудиосигналы и направлять их на соответствующие кодеки 4 или 5. В частности, в качестве средства 6 может использоваться устройство CMUX-2 фирмы GPT, Великобритания. As the multiplexing / demultiplexing means 6, any multiplexer / demultiplexer or other device with a multiplexing / demultiplexing function is used, which allows you to combine all the digital signals coming to it from the codecs into a common signal for transmission on digital multi-channel communication lines 3, as well as to divide received from lines 3 digital signal to video and audio signals and send them to the corresponding codecs 4 or 5. In particular, as a means 6 can be used device CMUX-2 company GPT, UK.

Заявляемый способ реализуется в рассмотренной системе, которая работает следующим образом. The inventive method is implemented in the considered system, which operates as follows.

Пусть для определенности система телеконференции по изобретению используется для обеспечения проведения совместного концерта музыкантов, одна часть которых находится на стороне 1, а другая часть - на стороне 2 этой системы. На любой из сторон 1 и 2 имеется не показанная на фиг. 1 и 2 соответствующая аппаратура - телекамеры, микрофоны, микшерные пульты, мониторы и т.п. - для получения видеосигнала изображения и сопровождающего звукового сигнала, а также мониторы, громкоговорители и т.п. для воспроизведения сигналов изображения и сопровождающего звука от другой стороны системы телеконференции. Вся эта аппаратура может быть любой, т.к. она не входит в объем патентных притязаний по данной заявке, и ее упоминание необходимо лишь для того, чтобы можно было лучше понять работу заявляемой системы синхронной телеконференции и реализуемого в ней способа синхронной телеконференции. Let for definiteness, the teleconference system according to the invention is used to provide a joint concert for musicians, one part of which is on side 1, and the other part is on side 2 of this system. On either side 1 and 2 there is not shown in FIG. 1 and 2 corresponding equipment - cameras, microphones, mixing consoles, monitors, etc. - to receive the video signal of the image and the accompanying sound signal, as well as monitors, speakers, etc. to reproduce image signals and accompanying sound from the other side of the teleconferencing system. All this equipment can be any, because it is not included in the patent claims for this application, and its mention is necessary only in order to better understand the operation of the inventive synchronous teleconference system and the synchronous teleconference method implemented therein.

Итак, выделенный для передачи видеосигнал изображения заданной сцены (например, ансамбля музыкантов) поступает на вход видеокодека 4, который преобразует его в цифровой вид, т.е. осуществляет дискретизацию по времени и квантование по уровню входного аналогового сигнала и соответствующее кодирование полученных отсчетов. В некоторых случаях теле- или видеокамера, используемая для съемки заданной сцены, может иметь встроенный видеокодек. Тогда функции видеокодека 4 как бы разделяются между этим встроенным видеокодеком камеры и видеокодеком 4, который в этом случае обеспечивает преобразование поступающего цифрового сигнала в требуемый для передачи стандарт (формат). Закодированный в должном стандарте (формате) видеосигнал подается по цифровому каналу 7 связи на мультиплексирование в мультиплексирующее/демультиплексирующее средство 6, где он объединяется с соответствующими цифровыми сигналами от аудиокодека 5. So, the video signal of the image of a given scene (for example, an ensemble of musicians) allocated for transmission is fed to the input of video codec 4, which converts it into a digital form, i.e. performs time sampling and quantization by the level of the input analog signal and the corresponding coding of the received samples. In some cases, the television or video camera used to capture a given scene may have a built-in video codec. Then the functions of the video codec 4 are sort of divided between this built-in video codec of the camera and video codec 4, which in this case converts the incoming digital signal into a standard (format) required for transmission. The video signal encoded in the proper standard (format) is supplied via the digital communication channel 7 for multiplexing to the multiplexing / demultiplexing means 6, where it is combined with the corresponding digital signals from the audio codec 5.

На аудиокодек 5 подаются подлежащие передаче звуковые сигналы с упомянутой выше соответствующей аппаратуры, сопровождающие видеосигнал, поступающий на видеокодек 4. В аудиокодеке 5 происходит дискретизация поступающего аналогового сигнала по времени и его квантование по уровню, а также кодирование полученных отсчетов, обеспечивающее задержку не более минимально допустимой (в рассматриваемом примере не более 5 мс). Если на вход аудиокодека 5 поступает уже оцифрованный звуковой сигнал, то аудиокодек 5 производит лишь кодирование поступающих отсчетов сигнала аналогично тому, как это рассмотрено для видеокодека 4. В аудиокодеке 5 кодирование производится по отдельности в каждой полосе частот шириной 7 кГц, после чего закодированный сигнал в каждой полосе частот передается по соответствующему цифровому каналу 8 связи на мультиплексирование с остальными сигналами в других частотных полосах и с закодированным видеосигналом на мультиплексирующее/демультиплексирующее средство 6. The audio codec 5 receives the audio signals to be transmitted from the corresponding equipment mentioned above, accompanying the video signal coming to the video codec 4. In the audio codec 5, the incoming analog signal is discretized in time and quantized by level, as well as the encoding of the received samples, providing a delay of no more than the minimum allowable (in this example, no more than 5 ms). If an already digitized audio signal is input to the audio codec 5, then the audio codec 5 only encodes the incoming signal samples in the same way as it is considered for video codec 4. In the audio codec 5, the encoding is performed separately in each frequency band 7 kHz wide, after which the encoded signal each frequency band is transmitted via the corresponding digital communication channel 8 for multiplexing with the remaining signals in other frequency bands and with the encoded video signal to the multiplexing / demul ipleksiruyuschee means 6.

С выхода мультиплексирующего/демультиплексирующего средства 6 объединенный сигнал передается по цифровым многоканальным линиям 3 связи (к примеру, по телефонной сети) на вторую сторону 2 системы телеконференции, с которой, в свою очередь, на первую сторону 1 этой системы передается аналогичный объединенный сигнал. Этот сигнал демультиплексируется (разделяется на видео- и аудиоканалы) в мультиплексирующем/демультиплексирующем средстве 6 первой стороны 1 системы телеконференции и подается по цифровым каналам 7 и 8 связи соответственно на видеокодек 4 и аудиокодек 5. Видеокодек 4 декодирует поступающий от второй стороны 2 сигнал изображения и подает его на соответствующую аппаратуру (мониторы, экраны и т.п.) для воспроизведения перед аудиторией (включая музыкантов, занятых в совместном исполнении музыкального произведения). Аудиокодек 5 декодирует поступающий от второй стороны 2 звуковой сигнал и подает его на соответствующую аппаратуру (громкоговорители, наушники и т.п.) для воспроизведения перед той же аудиторией. Благодаря этому музыканты и другие слушатели, находящиеся на первой стороне 1 системы телеконференции, могут видеть и слышать музыкантов, находящихся на второй стороне 2 этой системы. Аналогично, в силу симметричности сторон 1 и 2 системы синхронной телеконференции по изобретению музыканты и другие слушатели на второй стороне 2 этой системы могут видеть и слышать музыкантов, находящихся на ее первой стороне 1. From the output of the multiplexing / demultiplexing means 6, the combined signal is transmitted via digital multi-channel communication lines 3 (for example, over the telephone network) to the second side 2 of the teleconferencing system, with which, in turn, a similar combined signal is transmitted to the first side 1 of this system. This signal is demultiplexed (divided into video and audio channels) in the multiplexing / demultiplexing means 6 of the first side 1 of the teleconferencing system and is transmitted via digital communication channels 7 and 8 to the video codec 4 and the audio codec 5. Video codec 4 decodes the image signal received from the second side 2 and submits it to the appropriate equipment (monitors, screens, etc.) for playback in front of an audience (including musicians engaged in the joint performance of a musical work). The audio codec 5 decodes the sound signal coming from the second side 2 and delivers it to the appropriate equipment (speakers, headphones, etc.) for playback in front of the same audience. Due to this, musicians and other listeners located on the first side 1 of the teleconferencing system can see and hear musicians on the second side 2 of this system. Similarly, due to the symmetry of sides 1 and 2 of the synchronous teleconference system of the invention, musicians and other listeners on the second side 2 of this system can see and hear musicians on its first side 1.

При этом следует отметить такое обстоятельство. At the same time, this circumstance should be noted.

В приведенном выше рассмотрении основное внимание было уделено синхронизации звуковых сигналов на обеих сторонах. Это сделано не случайно, поскольку для каждого музыканта наиболее важным является именно звучание других инструментов, а видеоряд при этом, как показывает практика, может несколько не совпадать со звуком. Действительно, в отличие, например, от упомянутых выше патента США N 5550580 или заявки ЕПВ N 0418396, где принимаются специальные меры для синхронизации видеоряда с аудиорядом, в настоящем изобретении такая синхронизация не используется, чтобы не вносить лишних задержек в передаваемый аудиосигнал, зато используется синхронизация аудиосигналов на обеих сторонах 1 и 2 системы телеконференции. In the above discussion, the focus was on synchronizing audio signals on both sides. This was not done by chance, since the sound of other instruments is most important for each musician, and the video sequence in this case, as practice shows, may somewhat differ from the sound. Indeed, unlike, for example, the aforementioned US Pat. No. 5,550,580 or EPO Application No. 0418396, where special measures are taken to synchronize the video sequence with the audio sequence, this synchronization is not used in the present invention so as not to introduce unnecessary delays in the transmitted audio signal, but synchronization is used audio signals on both sides 1 and 2 of the teleconferencing system.

Эффективность заявляемого изобретения была продемонстрирована (без раскрытия существа заявляемого изобретения) в мае 1997 года в Женеве на выставке "Интерактивный Телеком' 97" несколько раз, когда музыканты в Москве и в Женеве вместе исполняли различные музыкальные произведения. The effectiveness of the claimed invention was demonstrated (without disclosing the essence of the claimed invention) in Geneva in May 1997 at the Interactive Telecom 97 exhibition several times when musicians in Moscow and Geneva performed various musical works together.

В принципе заявленная система телеконференции может иметь более чем две стороны, что не повлечет за собой дополнения ее существенными признаками, не раскрытыми в данном изобретении. In principle, the claimed teleconferencing system may have more than two sides, which does not entail the addition of its essential features not disclosed in this invention.

Заявленная система для удобства музыкантов в приведенном конкретном примере может дополняться отдельной сигнальной линией для передачи, например, сигнала метронома, отсчитывающего такт исполняемого произведения, поскольку некоторое запаздывание изображения вследствие большей задержки, чем у звука, может мешать отдельным исполнителям, особенно на начальном этапе. Однако эта сигнальная линия не является обязательной и не входит в объем патентных притязаний по данной заявке. The claimed system for the convenience of musicians in the given specific example can be supplemented by a separate signal line for transmitting, for example, a metronome signal counting the beat of the performed work, since some delay in the image due to a longer delay than the sound can interfere with individual performers, especially at the initial stage. However, this signal line is not mandatory and is not included in the scope of patent claims on this application.

Настоящее изобретение, как это видно из приведенного описания, может применяться в различных телеконференциях, когда нужно обеспечить синхронное звучание сигналов, передаваемых с разных сторон системы. Все необходимые для этого части коммерчески доступны в настоящее время для того, чтобы это изображение могло быть реализовано без дополнительного изобретательства. Поэтому заявляемое изобретение можно считать промышленно применимым. The present invention, as can be seen from the above description, can be applied in various teleconferences when it is necessary to provide synchronous sounding of signals transmitted from different sides of the system. All parts necessary for this are currently commercially available so that this image can be realized without additional invention. Therefore, the claimed invention can be considered industrially applicable.

Данное описание не ставит целью ограничить объем заявляемого изобретения приведенными примерами, но служит лишь для иллюстрации его принципов. Объем же патентных притязаний по данному изобретению определяется прилагаемой формулой изобретения с учетом эквивалентов упомянутых в нее существенных признаков. This description is not intended to limit the scope of the claimed invention by the given examples, but serves only to illustrate its principles. The scope of patent claims of this invention is determined by the attached claims taking into account the equivalents of the essential features mentioned therein.

Claims

1. A synchronous teleconference method, comprising the following operations: on each side of the teleconference, an image of a predetermined scene on a given side to be transmitted is encoded and at least one video signal received from the other side is decoded using at least one video codec; on each side of the newsgroup, the sound intended for transmission of the same predetermined scene on that side of the system is encoded and at least one sound signal received from the other side of the system is decoded using at least one audio codec; on each side of the newsgroup, time-division encoded video signals and encoded audio signals of the same scene on that side are multiplexed and at least one multiplexed signal received from the other side is demultiplexed; time-division multiplexed data is transmitted via digital multi-channel communication lines from each side of the teleconference to all other sides of the teleconference, characterized in that the coding of the sound to be transmitted is carried out using at least one audio codec in a given frequency band with a coding delay not exceeding a given quantities encoded sound signals from each audio codec are transmitted via N digital communication channels, where

2. The method according to claim 1, characterized in that the coding of the sound intended for transmission is carried out using at least one audio codec over at least the entire frequency band heard by a person with a coding delay of not more than 5 ms.

3. The method according to claim 1, characterized in that the digital channels use dedicated channels.

4. The method according to claim 1, characterized in that as digital communication channels using switched channels.

5. A synchronous teleconference system, comprising at least one video codec on each side for encoding a predetermined scene to be transmitted on a given side of the system and decoding at least one video signal received from the other side of the system; at least one audio codec for encoding intended for sound transmission of the same predetermined scene on a given side of the system and decoding at least one audio signal received from the other side of the system; multiplexing / demultiplexing means for time division multiplexing of encoded video signals and encoded audio signals of the same scene on a given side of the system and for demultiplexing at least one multiplexed signal received from the other side of the system, in addition, the system contains digital multi-channel communication lines for interconnecting multiplexing / demultiplexing means of each of the sides of the system, characterized in that then each audio codec on each side of the system is capable of encoding and decoding audio signals in a predetermined frequency band with an encoding delay not exceeding a predetermined value; the number of digital communication channels for transmitting encoded audio signals from each audio codec is

6. The system according to claim 5, characterized in that each audio codec on each side of the system is configured to encode and decode audio signals in at least the entire frequency band heard by a person with an encoding delay of not more than 5 ms.

7. The system according to claim 5, characterized in that dedicated channels are used as digital communication channels.

8. The system according to claim 5, characterized in that switched channels are used as digital communication channels.