RU2570355C1 - Способ и терминал для кодирования видеоданных при обмене видеоданными между множеством участников - Google Patents
Способ и терминал для кодирования видеоданных при обмене видеоданными между множеством участников Download PDFInfo
- Publication number
- RU2570355C1 RU2570355C1 RU2014138120/07A RU2014138120A RU2570355C1 RU 2570355 C1 RU2570355 C1 RU 2570355C1 RU 2014138120/07 A RU2014138120/07 A RU 2014138120/07A RU 2014138120 A RU2014138120 A RU 2014138120A RU 2570355 C1 RU2570355 C1 RU 2570355C1
- Authority
- RU
- Russia
- Prior art keywords
- video data
- important
- terminal
- encoders
- encoding
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 26
- 238000012545 processing Methods 0.000 claims abstract description 64
- 230000003044 adaptive effect Effects 0.000 claims description 11
- 230000007423 decrease Effects 0.000 claims description 6
- 230000033228 biological regulation Effects 0.000 claims description 4
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims description 2
- 230000000977 initiatory effect Effects 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 abstract description 3
- 239000000126 substance Substances 0.000 abstract 1
- 230000008859 change Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/127—Prioritisation of hardware or computational resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/152—Multipoint control units therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/155—Conference systems involving storage of or access to video conference sessions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/162—User input
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Изобретение относится к технологиям для адаптивного кодирования видеоданных при обмене видеоданными между множеством участников. Техническим результатом является повышение эффективности кодирования и передачи видеоданных. Указанный технический результат достигается тем, что после присоединения терминала X к обмену видеоданными с участием множества сторон определяется соответственно число используемых в терминале кодеров важных видеоданных и число используемых в терминале кодеров обычных видеоданных; в соответствии с возможностями обработки терминала и новейшим результатом определения определяются соответственно параметр кодирования для важных видеоданных и параметр кодирования для обычных видеоданных и каждый используемый кодер важных видеоданных и каждый используемый кодер обычных видеоданных информируется о выполнении кодирования видеоданных в соответствии с вновь определенными параметрами кодирования. 3 н. и 11 з.п. ф-лы, 3 ил.
Description
Область техники, к которой относится изобретение
Настоящее раскрытие относится к технологиям обмена видеоданными между множеством участников и, более конкретно, к способу и системе для кодирования видеоданных при обмене видеоданными между множеством участников.
Уровень техники
При развитии и популяризации технологий Интернет и технологий передачи радиоданных передача видеоданных, такая как групповой видеочат, видеоконференция и сетевая видеоигра, делают переговоры между людьми более удобными и делают более богатыми подходы к развлечениям. Поэтому обмен видеоданными привлекает все больше внимания людей. Многосторонний обмен видеоданными относится к мгновенному обмену видеоданными, в котором участвуют три или больше человек одновременно.
При многостороннем обмене видеоданными требуется обрабатывать множество каналов видеоданных. Для того чтобы удовлетворить требованиям сетевого состояния для множества каналов, терминал, участвующий в многостороннем обмене видеоданными обычно включает в себя множество кодеров видеоданных. Обычно, кодирование видеоданных представляет собой высокую вычислительную сложность. Вычислительная сложность синхронного кодирования видеоданных по множеству каналов является еще более высокой. Поэтому, в случае, когда терминал имеет ограниченные возможности по обработке, параметр кодирования каждого кодера видеоданных следует конфигурировать различным образом с тем, чтобы управлять соответствующим образом сложностью вычислений.
При практическом осуществлении конфигурируют единый параметр линейного кодирования, например, наибольшую степень кодирования кадров, для каждого кодера видеоданных каждого терминала в соответствии со средней способностью обработки или в соответствии с возможностями обработки большинства терминалов. Каждый кодер видеоданных выполняет видеокодирование в соответствии со сконфигурированной единой наибольшей степенью кодирования кадров и передает кодированные данные.
Однако терминал, участвующий в обмене видеоданными с участием множества сторон, может представлять собой обычный терминал, например, персональный компьютер (PC), или может представлять собой мобильное электронное устройство, такое как сотовый телефон или карманный компьютер. Существует большая разница в возможностях обработки разных типов терминалов. Таким образом, если единый параметр кодирования будет сконфигурирован для каждого кодера видеоданных каждого терминала, может существовать следующая проблема: для терминала с высокой вычислительной способностью вычислительные ресурсы будут потрачены впустую и наилучшее качество при передаче видеоданных не сможет быть достигнуто. Для терминала с плохими возможностями обработки будет ухудшено качество передачи видеоданных.
Независимо от того, какая из представленных выше ситуаций возникает, компьютерные ресурсы терминала не могут использоваться рационально. Таким образом, оказывается отрицательное влияние на общее качество при передаче видеоданных.
Раскрытие изобретения
Примеры настоящего раскрытия представляют способ для кодирования видеоданных при передаче видеоданных с участием множества сторон.
Техническое решение настоящего раскрытия состоит в следующем.
Способ кодирования видеоданных при обмене видеоданными с участием множества сторон присоединения терминала X к обмену видеоданными с участием множества сторон, при этом способ включает в себя:
соответствующим образом определяют число используемых в терминале кодеров важных видеоданных и число используемых в терминале кодеров обычных видеоданных;
в соответствии с возможностями обработки терминала и результатом определения определяют соответственно параметр кодирования для важных видеоданных и параметр кодирования для обычных видеоданных, и информируют каждый используемый кодер важных видеоданных и каждый используемый кодер обычных видеоданных о выполнении кодирования видеоданных в соответствии с вновь определенными параметрами кодирования.
Терминал, включающий в себя один или более кодеров важных видеоданных, один или более кодеров обычных видеоданных, и модуль адаптивного регулирования;
при этом модуль адаптивного регулирования выполнен с возможностью
определять после присоединения терминала к обмену видеоданными с участием множества сторон, число используемых кодеров важных видеоданных и число используемых кодеров обычных видеоданных; и
определять, в соответствии с возможностями обработки терминала и новейшим результатом определения, параметр кодирования для важных видеоданных и параметр кодирования для обычных видеоданных, и информировать каждый используемый кодер важных видеоданных и каждый используемый кодер общих видеоданных о соответствующем выполнении кодирования видеоданных в соответствии с вновь определенными параметрами кодирования.
Энергонезависимый считываемый компьютером носитель информации, включающий в себя набор команд для кодирования видеоданных при обмене видеоданными с участием множества сторон, причем набор команд предназначен для обеспечения выполнения по меньшей мере одним процессором способа, предусмотренного настоящим раскрытием.
Из представленного выше технического решения можно видеть, что в отношении каждого терминала, участвующего в многостороннем обмене видеоданными, параметр кодирования важных видеоданных и параметр кодирования обычных видеоданных определяют в соответствии с возможностями обработки терминала и количества используемых кодеров важных видеоданных и количества используемых кодеров общих видеоданных. Таким образом, вычислительные ресурсы в терминале можно использовать более рационально, и может быть повышено общее качество при обмене видеоданными.
Краткое описание чертежей
Фигуры, используемые в описаниях следующих примеров или существующих технологий, кратко представлены здесь, с тем, чтобы сделать более ясным техническое решение настоящего раскрытия. Следует отметить, что следующие фигуры представляют просто некоторые примеры. Для специалиста в данной области техники будет понятно, как получить множество вариаций в соответствии с этими фигурами без изобретательской работы.
На фиг. 1 показана блок-схема последовательности операций, представляющая способ кодирования видеоданных для обмена видеоданными с участием множества сторон в соответствии с примером настоящего раскрытия.
На фиг. 2 показана схема, представляющая определение наибольшей скорости кадров кодирования важных видеоданных и наибольшей скорости кадров кодирования общих видеоданных терминала X в соответствии с примером настоящего раскрытия.
На фиг. 3 показана схема, иллюстрирующая структуру терминала в соответствии с примером настоящего раскрытия.
Подробное описание изобретения
При практическом осуществлении конфигурируют единый параметр линейного кодирования, например, наибольшую степень кодирования кадров, для каждого кодера видеоданных каждого терминала в соответствии со средней способностью обработки или в соответствии с возможностями обработки большинства терминалов. Каждый кодер видеоданных выполняет видеокодирование в соответствии со сконфигурированной единой наибольшей степенью кодирования кадров и передает кодированные данные.
Однако, терминал, участвующий в обмене видеоданными с участием множества сторон, может представлять собой обычный терминал, например, персональный компьютер (PC), или может представлять собой мобильное электронное устройство такое, как сотовый телефон или карманный компьютер. Существует большая разница в возможностях обработки разных типов терминалов. Таким образом, если единый параметр кодирования будет сконфигурирован для каждого кодера видеоданных каждого терминала, может существовать следующая проблема: для терминала с высокой вычислительной способностью вычислительные ресурсы будут потрачены впустую и наилучшее качество при передаче видеоданных не сможет быть достигнуто. Для терминала с плохими возможностями обработки будет ухудшено качество передачи видеоданных.
Независимо от того, какая из представленных выше ситуаций возникает, компьютерные ресурсы терминала не могут использоваться рационально. Таким образом, оказывается отрицательное влияние на общее качество при передаче видеоданных.
Для решения задачи в существующих технологиях, пример настоящего раскрытия направлен на улучшенное решение кодирования видеоданных, используемого при обмене видеоданными с участием множества сторон.
Настоящее раскрытие будет более подробно описано ниже со ссылкой на приложенные чертежи и примеры, с тем, чтобы сделать техническое решение и их преимущество более ясными.
На фиг. 1 показана блок-схема последовательности операций, иллюстрирующая способ кодирования видеоданных при обмене видеоданными с участием множества сторон, в соответствии с примером настоящего раскрытия. После того, как терминал X присоединяется к обмену видеоданными участием множества сторон, выполняют операции, показанные на фиг. 1. Как показано на фиг. 1, способ включает в себя следующее.
В блоке 11 терминал X, соответственно, определяет количество используемых кодеров важных видеоданных и количество используемых кодеров общих видеоданных.
С тем, чтобы способствовать описанию, в примере настоящего раскрытия, терминал X относится к любому терминалу, например, персональному компьютеру (PC), сотовому телефону, карманному компьютеру и т.д.
В примере видеоданные делят на важные видеоданные и общие видеоданные в соответствии со степенью фокусирования. Важные видеоданные относятся к видеоданным с относительно высокой степенью фокусирования, то есть, видеоданные, на которых требуется сфокусироваться. Общие видеоданные относятся к видеоданными с относительно низкой степенью фокусирования. Обычно важные видеоданные имеют высокую разрешающую способность, тогда как общие видеоданные имеют низкую разрешающую способность. Общие видеоданные или важные видеоданные могут быть определены путем сравнения их степени фокусирования с заданным пороговым значением, или могут быть определены пользователем терминала, или используя любой другой подход, который не ограничен настоящим раскрытием.
После того как терминал X присоединится к обмену видеоданными с участием множества сторон, соединение для передачи видеоданных должно быть установлено между терминалом X и каждым удаленным терминалом при обмене видеоданными с участием множества сторон. Пользователь терминала X может определять, в соответствии с его требованиями, что каждые удаленные видеоданные представляют собой важные видеоданные или общие видеоданные. Пользователь может также переключать важные видеоданные на общие видеоданные во время обмена данными или наоборот. Например, пользователь может фокусироваться в меньшей степени на удаленные видеоданные и конфигурировать их, как общие видеоданные. После этого, пользователь по определенным причинам должен сфокусироваться на этих видеоданных. В это время пользователь может переключить их на важные видеоданные, нажимая на кнопку в интерфейсе пользователя. Аналогично, каждый удаленный терминал, участвующий в обмене видеоданными с участием множества сторон, может также конфигурировать видеоданные, генерируемые терминалом X, как важные видеоданные или общие видеоданные, в соответствии со своими требованиями. Операции переключения также могут быть выполнены во время обмена данными.
В одном примере в терминале X используется один кодер видеоданных для каждого удаленного терминала. В других случаях терминал X также может использовать один кодер видеоданных для множества удаленных терминалов.
Таким образом, если n удаленных пользователей конфигурируют видеоданные, генерируемые терминалом X, как важные видеоданные, терминалу X требуется nb(nb≤n) кодеров важных видеоданных. Если m удаленных пользователей конфигурируют видеоданные, генерируемые терминалом X, как общие видеоданные, терминалу X требуется mc(mc≤m) кодеров общих видеоданных.
В этом блоке терминал X, соответственно, определяет количество используемых кодеров важных видеоданных и количество используемых кодеров общих видеоданных.
В блоке 12 терминал X, соответственно, определяет, в соответствии с возможностями обработки терминала X и самым новым определенным результатом, параметр кодирования для важных видеоданных и параметр кодирования для общих видеоданных, и информирует каждый используемый кодер важных видеоданных и каждый используемый кодер общих видеоданных выполнять кодирование видеоданных, в соответствии с определенными параметрами кодирования.
Поскольку степень фокусирования важных видеоданных выше, чем у общих видеоданных, разные параметры кодирования могут быть приняты для важных видеоданных и общих видеоданных. Параметр кодирования, в основном, включает в себя наибольшую скорость кодирования кадров. Определенно, при практическом применении, параметр кодирования может включать в себя другие параметры, которые могут быть определены в соответствии с практическими требованиями.
Наибольшая скорость кодирования кадров важных видеоданных может быть увеличена в определенной степени таким образом, что ограниченные вычислительные ресурсы будут сконцентрированы на важных видеоданных, имеющих высокую степень фокусирования. Таким образом, важные видеоданные могут иметь лучшее качество, и степень впечатления пользователя улучшается.
Однако при увеличении разрешающей способности важных видеоданных, то есть, при увеличении наибольшей скорости кодирования кадров важных видеоданных, потребление вычислительных ресурсов терминала существенно увеличивается. Поэтому, при увеличении наибольшей скорости кадров кодирования важных видеоданных, также требуется управлять потреблением вычислительных ресурсов в пределах вычислительной способности терминала.
В соответствии с описанным выше способом кодирования видеоданных при обмене видеоданными с участием множества сторон для каждого терминала, который участвует при обмене видеоданными с участием множества сторон, возможно определять параметр кодирования для важных видеоданных и параметр кодирования для общих видеоданных в соответствии с его возможностями обработки и количеством используемых кодеров важных видеоданных и количеством используемых кодеров общих видеоданных. Вычислительный ресурс терминала может использоваться более рационально, и качество обмена видеоданными может быть улучшено.
На фиг. 2 показана схема, иллюстрирующая процесс определения наибольшей скорости кодирования кадров для важных видеоданных и определения наибольшей скорости кодирования видеокадров для общих видеоданных терминалом X, в соответствии с примером настоящего раскрытия. Как показано на фиг. 2, способ включает в себя следующее.
В блоке 21, в соответствии с возможностями обработки и самым новым определенным результатом, терминал X, соответственно, инициализирует наибольшую скорость fb кодирования кадров для важных видеоданных и наибольшую скорость fs кодирования кадров для общих видеоданных.
где m обозначает количество общих, вновь определенных кодеров видеоданных;
n обозначает количество важных, вновь определенных кодеров видеоданных;
r обозначает коэффициент пропорциональности вычислительного ресурса, потребляемого важными видеоданными с разрешением wb×hb вычислительным ресурсам, потребляемым общими видеоданными с разрешением ws×hs, он может быть рассчитан в соответствии с пропорцией разрешающей способности в упрощенной форме:
или также возможно получить экспериментально пропорцию скорости кодирования важных видеоданных с разрешением wb×hb к скорости кодирования общих видеоданных с разрешением ws×hs, и обозначить эту пропорцию скорости кодирования как r, в которой эксперимент выполняется в терминале X;
F обозначает возможность обработки терминала X, выраженную наибольшей скоростью кодирования кадров, доступной для кодирования видеоданных с разрешением ws×hs, она может быть рассчитана в соответствии со следующей формулой:
в которой fpsenc обозначает скорость кодирования (выраженную как среднее количество кадров, кодируемых каждую секунду) для кодирования видеоданных с разрешением ws×hs терминалом X при полной нагрузке. Возможно получить значение fрsenc, соответствующее процессорам с разными основными частотами с помощью экспериментальных измерений и сохранить fpsenc в таблице; в которой wusage обозначает требуемое отношение использования операции кодирования для процессора терминала X. Подробное значение wusage может быть определено в соответствии с практическими требованиями. Оно может быть введено и может быть сконфигурировано пользователем и может быть отрегулировано. Например, когда батарея терминала X в достаточной степени заряжена, возможно сконфигурировать wusage=60%. Если батарея терминала X разряжена или пользователь желает сэкономить энергию, возможно сконфигурировать wusage=20%.
В блоке 22 fb увеличивается и fs уменьшается.
В этом блоке наибольшая скорость кодирования кадров важных видеоданных увеличивается и наибольшая скорость кодирования кадров общих видеоданных уменьшается. Например, пусть fb=fb+Δf, fs=fs-Δf, Δf>0. Значение Δf может быть определено в соответствии с практическими требованиями, например, равным 1.
В блоке 23 определяют, удовлетворяют ли заданным условиям fb и fs, вновь полученные в блоке 22, если это так, блок 22 повторяется; в противном случае, выполняют блок 24.
Если вновь полученные fb и fs, то есть, fb и fs, полученные в блоке 22, удовлетворяют следующим условиям (а) и (b) одновременно, блок 22 повторяется; в противном случае, выполняется блок 24.
Условие (а)
Абсолютное значение разности между средней оценкой мнения (MOS) важных видеоданных и MOS общих видеоданных меньше, чем заданное пороговое значение ΔMOSTheshold.
ΔMOSTheshold может быть определено в соответствии с практическими требованиями, например, равным 0,5.
MOS представляет собой субъективную меру качества видеоданных. Она может быть получена путем расчета среднего значения субъективных оценок разных наблюдателей, обычно отраженных на пятибалльную шкалу.
MOS важных видеоданных может быть определена в соответствии с вновь полученным значением fb, и MOS общих видеоданных может быть определена в соответствии с вновь полученным fs.
В этом примере MOS может быть рассчитана в соответствии со следующей формулой:
или 
в которых α и β представляют собой расчетные коэффициенты;
fmax обозначает наибольшую скорость кодирования кадров, которая может использоваться при обмене видеоданными.
При практическом применении MOS, соответствующая каждой скорости кодирования кадров, которая может использоваться при обмене видеоданными, может быть рассчитана в соответствии с формулой (4) или (5) и ее значения сохраняют в форме таблицы. Когда требуется, MOS, соответствующая вновь полученным fb и fs, может быть получена путем поиска в таблице.
Обычно, пусть α=2, β=1,4, fmax=30, f=1, 2, 3, …, 30. Затем, таблица, рассчитанная в соответствии с формулой (4) включает в себя следующее содержание: (1, 1,5469), (2, 2,4902), (3, 3), (4, 3,3409), (5, 3,5923), (6, 3,7886), (7, 3,9479), (8, 4,0805), (9, 4,1932), (10, 4,2902), (11, 4,3749), (12, 4,4495), (13, 4,5156), (14, 4,5746), (15, 4,6275), (16, 4,6752), (17, 4,7182), (18, 4,7571), (19, 4,7923), (20, 4,8242), (21, 4,8531), (22, 4,8792), (23, 4,9027), (24, 4,9238), (25, 4,9426), (26, 4,9591), (27, 4,9734), (28, 4,9853), (29, 4,9946), (30, 5). Первый элемент в круглых скобках обозначает скорость кодирования кадров, то есть, f, последний элемент в круглых скобках обозначает соответствующее значение MOS.
Предположим, что вновь полученное значение fb равно 10. Таким образом, получают в результате поиска в таблице, что MOS важных видеоданных составляет 4,292.
Предположим, что вновь полученное значение fs равно 8. Таким образом, в результате поиска в таблице, определяют, что MOS общих видеоданных равна 4,0805.
Или MOS, соответствующая вновь полученным значениям fb и fs, может быть рассчитана непосредственно в соответствии с формулой (4) или (5), вместо поиска в таблице.
Условие (b)
Общее потребление общего вычислительного ресурса всеми видеоданными не превышает возможности обработки F терминала X, то есть,
В блоке 24, наибольшую скорость кодирования кадров важных видеоданных определяют в соответствии с вновь полученным значением fb, и наибольшую скорость кодирования кадров общих видеоданных получают в соответствии с вновь полученным fs, то есть, вновь полученное fb-Δf используют как наибольшую скорость кодирования кадров важных видеоданных, вновь полученное fs+Δf используют как наибольшую скорость кодирования кадров общих видеоданных.
Представим пример для описания указанных выше блоков 21-24.
Предположим, что инициализированное значение fb-fs=15.
Затем, пусть fb=16, fs=14.
Определяют, удовлетворяется ли заданное условие, когда fb=16 и fs=14. Если так, пусть fb=17 и fs=13. Определяют, удовлетворяется ли заданное условие, когда fb=17 и fs=13. Если условие не удовлетворяется, 16 используют как наибольшую скорость кодирования кадров важных видеоданных и 14 используют как наибольшую скорость кодирования кадров общих видеоданных.
После обработки блоков 21-24, в то время как наибольшая скорость кодирования кадров важных видеоданных повышается так, чтобы иметь наибольшее качество, субъективная разность качества между важными видеоданными и общими видеоданными ограничена в пределах разумного диапазона. Потреблением компьютерного ресурса также управляют в пределах возможности обработки терминала.
Кроме того, основываясь на представленном выше способе кодирования видеоданных при обмене видеоданными с участием множества сторон, может быть дополнительно включен в следующий блок: если терминал X определяет, что используется, по меньшей мере, один из множества используемых кодеров важных видеоданных и количество кодеров общих видеоданных меняется, снова выполняют блоки 11 и 12.
Изменение, по меньшей мере, одного из количества используемых кодеров важных видеоданных и количества используемых кодеров общих видеоданных может включать в себя следующие ситуации: общее количество терминалов, участвующих при обмене видеоданными, увеличивается или уменьшается (то есть, по меньшей мере, один терминал присоединяется или отключается), или общее количество терминалов не меняется, но происходит переключение с переключением важных видеоданных на общие видеоданные или наоборот (например, удаленный терминал переключает видеоданные, генерируемые терминалом X, с важных видеоданных на общие видеоданные), или используется комбинация описанных выше ситуаций.
В этом примере, параметры кодирования могут быть определены и эффективно отрегулированы в соответствии с изменением количества кодеров важных видеоданных и количества кодеров общих видеоданных, что дополнительно улучшает качество обмена видеоданными.
Способ заканчивается после того, как терминал X закрывается.
Следует отметить, что в представленных выше формулах может быть выполнено множество вариаций или модификаций, если только может быть достигнута соответствующая цель.
Здесь был описан способ в соответствии с примером настоящего раскрытия.
На основе представленного выше описания, на фиг. 3 показана схема, иллюстрирующая структуру терминала в соответствии с примером настоящего раскрытия. Как показано на фиг. 3, терминал включает в себя: один или больше кодеров важных видеоданных (см. ЕВ1~EBn на фиг. 3), один или больше кодеров общих видеоданных (см. Es1~Esm на фиг. 3), и модуль 31 адаптивного регулирования.
Модуль 31 адаптивного регулирования выполнен с возможностью определения после того, как терминал присоединяется к обмену видеоданными с участием множества сторон, количества используемых кодеров важных видеоданных и количества используемых кодеров общих видеоданных.
Модуль 31 адаптивного регулирования дополнительно выполнен с возможностью определения, в соответствии с возможностями обработки терминала и самого нового определенного результата, параметра кодирования для важных видеоданных и параметра кодирования для общих видеоданных, и информировать каждый используемый кодер важных видеоданных и каждый используемый кодер общих видеоданных, для соответствующего выполнения кодирования видеоданных в соответствии с вновь определенными параметрами кодирования.
В соответствии с клиентом, предусмотренным по примеру настоящего раскрытия, возможно определять параметр кодирования для важных видеоданных и параметр кодирования для общих видеоданных в соответствии с его возможностями обработки и количеством используемых кодеров важных видеоданных и количеством используемых кодеров общих видеоданных. Вычислительный ресурс терминала можно использовать более рационально и можно улучшить качество обмена видеоданными.
Кроме того, на основе описанного выше примера терминала, модуль адаптивного регулирования можно дополнительно повторно выполнять, когда меняется, по меньшей мере, один из множества используемых кодеров важных видеоданных и множества кодеров общих видеоданных.
Поэтому, когда, по меньшей мере, один из множества используемых кодеров важных видеоданных и количества кодеров общих видеоданных меняется, например, общее количество терминалов, участвующих при обмене видеоданными, увеличивается или уменьшается, или общее количество терминалов не меняется, но происходит переключение, при котором переключают важные видеоданные на общие видеоданные или наоборот, в результате чего, меняется количество кодеров важных видеоданных и количество кодеров общих видеоданных, становится возможным повторно определить параметры кодирования важных видеоданных и общих видеоданных. Таким образом, общее качество обмена видеоданными может быть дополнительно улучшено.
Параметр кодирования включает в себя наибольшую частоту кодирования кадров.
Модуль 31 адаптивного регулирования может, в частности, включать в себя (не показано на фиг. 3):
первый модуль обработки, выполненный с возможностью
соответствующим образом определять количество используемых кодеров важных видеоданных и количество используемых кодеров общих видеоданных и
передавать определенный результат во второй модуль обработки;
второй модуль обработки, выполненный с возможностью
определять наибольшую скорость fb кодирования кадров для важных видеоданных и наибольшую скорость fs кодирования кадров для общих видеоданных, в соответствии с возможностями обработки терминала и определенным результатом, и
передавать определенное значение fb и fs в третий модуль обработки;
третий модуль обработки, выполненный с возможностью
увеличивать fb и уменьшать fs,
определять, удовлетворяют ли вновь полученные fb и fs заданному условию,
увеличивать вновь полученное значение fb и уменьшать полученное значение fs, если полученные значения fb и fs удовлетворяют заданному условию,
определять, если вновь полученные значения fb и fs не удовлетворяют заданному условию, наибольшую скорость кодирования кадров важных видеоданных в соответствии с fb и определять наибольшую скорость кодирования кадров общих видеоданных в соответствии с fs, и
информировать каждый используемый кодер важных видеоданных и каждый используемый кодер общих видеоданных о выполнении кодирования видеоданных, в соответствии с определенными значениями fb и fs; и
четвертый модуль обработки, выполненный с возможностью
переключать операцию первого модуля обработки, если меняется, по меньшей мере, один из множества используемых кодеров важных видеоданных и множество используемых кодеров общих видеоданных.
Второй модуль обработки может дополнительно включать в себя:
первый подмодуль обработки, выполненный с возможностью расчета
fb=fs=F/(m+n·r);
где m обозначает вновь определенное количество кодеров общих видеоданных,;
n обозначает вновь определенное количество кодеров важных видеоданных;
r обозначает коэффициент пропорции вычислительного ресурса, потребляемого важными видеоданными с разрешением wb×hb вычислительным ресурсам, потребляемых общими видеоданными с разрешением; ws×hs r=wb×hb/(ws×hs) или также возможно получать, используя эксперимент, пропорцию скорости кодирования важных видеоданных с разрешением wb×hb к скорости кодирования общих видеоданных с разрешением ws×hs, и принимать пропорцию скорости кодирования, как r;
F обозначает возможность обработки терминала X, F=fpsenc·wusage; в которой fpsenc обозначает скорость кодирования для кодирования видеоданных с разрешением ws×hs терминалом X при полной нагрузке; wusage обозначает требуемую степень использования операции кодирования для процессора терминала X;
второй подмодуль обработки, выполненный с возможностью передавать рассчитанные значения fb и fs в третий модуль обработки.
Третий модуль обработки может дополнительно включать в себя:
третий подмодуль обработки, выполненный с возможностью расчета fb=fb+Δf, fs=fs-Δf, Δf>0, и передавать рассчитанный результат в четвертый подмодуль обработки;
четвертый подмодуль обработки, выполненный с возможностью
определять MOS важных видеоданных в соответствии с вновь полученным fb, и определять MOS общих видеоданных в соответствии с вновь полученным fs;
определять, если абсолютное значение разности между средней оценкой мнения (MOS) важных видеоданных и MOS общих видеоданных меньше, чем заданное пороговое значение ΔMOSTheshold, и m·fs+n·fb≤F, 1≤fb, fs≤fmax, fmax обозначает наибольшую скорость кодирования кадров, которую можно использовать при обмене видеоданными, что вновь полученные fb и fs удовлетворяют заданному условию, и информировать третий подмодуль обработки о повторном исполнении его операции;
определять, в противном случае, что вновь полученное fb-Δf используется как наибольшая скорость кодирования кадров для важных видеоданных, определять, что вновь полученное fs+Δf используется как наибольшая скорость кодирования кадров общих видеоданных, и информировать каждый используемый кодер важных видеоданных и каждый используемый кодер общих видеоданных о необходимости выполнения кодирования видеоданных в соответствии с определенными параметрами кодирования.
Четвертый подмодуль обработки может, соответственно, рассчитывать MOS, соответствующую каждой скорости кодирования кадров, которая может использоваться при обмене видеоданными в соответствии с заданной формулой, и сохранять рассчитанную MOS в форме таблицы. Когда требуется, MOS, соответствующая вновь полученным значениям fb и fs, может быть получена в результате поиска в таблице.
В качестве альтернативы, четвертый подмодуль обработки может также рассчитывать MOS, соответствующую вновь полученным fb и fs, непосредственно в соответствии с заданной формулой.
Заданная формула может представлять собой следующую: MOSfps(f)=5-α·[log(fmax)-log(f)]β; или MOSfps(f)=5-ln(fmax/f); где α и β представляют собой расчет коэффициентов.
При практическом применении, помимо описанных выше модулей, терминал, показанный на фиг. 3, может дополнительно включать в себя некоторые другие компоненты, например, модуль 32 захвата, декодер видеоданных (см. D1~DN на фиг. 3) и модуль 33 отображения.
Модуль 32 захвата может дополнительно включать в себя модуль 321 захвата источника важных видеоданных и модуль 322 захвата источника общих видеоданных. Модуль 321 захвата источника важных видеоданных передает захваченные видеоданные в каждый используемый кодер важных видеоданных. Модуль 322 захвата источника общих видеоданных передает захваченные видеоданные в каждый используемый кодер общих видеоданных. Видеоизображение, снятое модулем 321 захвата источника важных видеоданных и модулем 322 захвата источника общих видеоданных, имеет одинаковое содержание, но с разным разрешением.
Обычно в каждом удаленном терминале требуется использовать декодер видеоданных. Однако, потоки кода, генерируемые одним кодером видеоданных, могут быть переданы в один или больше удаленных терминалов. Предположим, что терминал (терминал 0), как показано на фиг. 3, соответственно использует один кодер видеоданных и один видеодекодер для каждого удаленного терминала, то есть, терминалов 1~N. Таким образом, терминал 0 должен использовать N кодеров видеоданных и N декодеров видеоданных.
Модуль 33 отображения отображает важное видеоизображение и общее видеоизображение, полученное каждым декодером видеоданных.
Подробные операции и функции терминала, показанного на фиг. 3, можно видеть в описании представленного выше примерного способа настоящего раскрытия, и они не будут здесь повторяться.
Для специалистов в данной области техники должно быть понятно, что все или некоторые из блоков настоящего раскрытия могут быть воплощены в виде аппаратных средств или могут быть воплощены в виде программы, исполняемой в соответствующих аппаратных средствах. Программа может быть сохранена на считываемом в компьютере носителе информации, таком как постоянное запоминающее устройство (ROM)/оперативное запоминающее устройство (RAM), диск или компакт-диск и т.д.
Здесь был описан и представлен предпочтительный пример раскрытия вместе с некоторыми его вариациями. Множество вариаций возможно в пределах объема раскрытия, которые должны быть определены следующей формулой изобретения (и ее эквивалентами), в которых все термины следует понимать в их своем самом широком разумном смысле, если только не будет указано другое.
Claims (14)
1. Способ кодирования видеоданных при обмене видеоданными с участием множества сторон, содержащий этапы, на которых:
после присоединения терминала X к обмену видеоданными с участием множества сторон
A. определяют соответственно число используемых в терминале кодеров важных видеоданных и число используемых в терминале кодеров обычных видеоданных, причем каждый из кодеров важных видеоданных используется для кодирования важных видеоданных терминала, а каждый из кодеров обычных видеоданных используется для кодирования обычных видеоданных терминала; при этом важные видеоданные имеют степень фокусирования выше заданного порога, а обычные видеоданные имеют степень фокусирования ниже заданного порога;
B. в соответствии с возможностями обработки терминала и определенным числом используемых кодеров важных видеоданных и определенным числом используемых кодеров обычных видеоданных определяют соответственно параметр кодирования для важных видеоданных и параметр кодирования для обычных видеоданных и информируют каждый используемый кодер важных видеоданных и каждый используемый кодер обычных видеоданных о выполнении кодирования видеоданных в соответствии с вновь определенными параметрами кодирования,
при этом параметр кодирования содержит наибольшую скорость кодирования кадров;
при этом на этапе определения параметра кодирования для важных видеоданных и параметра кодирования для обычных видеоданных:
в соответствии с возможностями обработки терминала и определенным числом используемых кодеров важных видеоданных и определенным числом используемых кодеров обычных видеоданных инициируют соответственно наибольшую скорость fb кодирования кадров важных видеоданных и наибольшую скорость fs кодирования кадров обычных видеоданных;
увеличивают fb и уменьшают fs и определяют, удовлетворяют ли вновь полученные fb и fs заданному условию, если вновь полученные fb и fs удовлетворяют заданному условию, повторяют этапы увеличения fb и уменьшения fs и определения, удовлетворяются ли вновь полученные fb и fs заданному условию, а в противном случае определяют наибольшую скорость кодирования кадров важных видеоданных в соответствии с вновь полученным значением fb, и определяют наибольшую скорость кодирования кадров обычных видеоданных в соответствии с вновь полученным значением fs.
после присоединения терминала X к обмену видеоданными с участием множества сторон
A. определяют соответственно число используемых в терминале кодеров важных видеоданных и число используемых в терминале кодеров обычных видеоданных, причем каждый из кодеров важных видеоданных используется для кодирования важных видеоданных терминала, а каждый из кодеров обычных видеоданных используется для кодирования обычных видеоданных терминала; при этом важные видеоданные имеют степень фокусирования выше заданного порога, а обычные видеоданные имеют степень фокусирования ниже заданного порога;
B. в соответствии с возможностями обработки терминала и определенным числом используемых кодеров важных видеоданных и определенным числом используемых кодеров обычных видеоданных определяют соответственно параметр кодирования для важных видеоданных и параметр кодирования для обычных видеоданных и информируют каждый используемый кодер важных видеоданных и каждый используемый кодер обычных видеоданных о выполнении кодирования видеоданных в соответствии с вновь определенными параметрами кодирования,
при этом параметр кодирования содержит наибольшую скорость кодирования кадров;
при этом на этапе определения параметра кодирования для важных видеоданных и параметра кодирования для обычных видеоданных:
в соответствии с возможностями обработки терминала и определенным числом используемых кодеров важных видеоданных и определенным числом используемых кодеров обычных видеоданных инициируют соответственно наибольшую скорость fb кодирования кадров важных видеоданных и наибольшую скорость fs кодирования кадров обычных видеоданных;
увеличивают fb и уменьшают fs и определяют, удовлетворяют ли вновь полученные fb и fs заданному условию, если вновь полученные fb и fs удовлетворяют заданному условию, повторяют этапы увеличения fb и уменьшения fs и определения, удовлетворяются ли вновь полученные fb и fs заданному условию, а в противном случае определяют наибольшую скорость кодирования кадров важных видеоданных в соответствии с вновь полученным значением fb, и определяют наибольшую скорость кодирования кадров обычных видеоданных в соответствии с вновь полученным значением fs.
2. Способ по п. 1, в котором
на этапе увеличения fb и уменьшения fs:
устанавливают fb=fb+Δf, fs=fs-Δf, Δf>0,
при этом на этапе определения наибольшей скорости кодирования кадров важных видеоданных в соответствии с вновь полученным значением fb и определения наибольшей скорости кодирования кадров обычных видеоданных в соответствии с вновь полученным значением fs:
принимают вновь полученное значение fb-Δf в качестве наибольшей скорости кодирования кадров важных видеоданных и принимают вновь полученное значение fs+Δf в качестве наибольшей скорости кодирования кадров обычных видеоданных.
на этапе увеличения fb и уменьшения fs:
устанавливают fb=fb+Δf, fs=fs-Δf, Δf>0,
при этом на этапе определения наибольшей скорости кодирования кадров важных видеоданных в соответствии с вновь полученным значением fb и определения наибольшей скорости кодирования кадров обычных видеоданных в соответствии с вновь полученным значением fs:
принимают вновь полученное значение fb-Δf в качестве наибольшей скорости кодирования кадров важных видеоданных и принимают вновь полученное значение fs+Δf в качестве наибольшей скорости кодирования кадров обычных видеоданных.
3. Способ по п. 1, в котором на этапе инициирования соответственно наибольшей скорости fb кодирования кадров важных видеоданных и наибольшей скорости fs кодирования кадров обычных видеоданных:
вычисляют fb=fs=F/(m+n·r),
где m - вновь определенное число кодеров обычных видеоданных;
n - вновь определенное число кодеров важных видеоданных;
r - коэффициент отношения вычислительных ресурсов, потребляемых важными видеоданными с разрешением wb×hb, к вычислительным ресурсам, потребляемым обычными видеоданными с разрешением ws×hs, r=wb×hb/(ws×hs), или r - экспериментально полученное отношение скорости кодирования важных видеоданных с разрешением wb×hb к скорости кодирования обычных видеоданных с разрешением ws×hs;
F - возможности обработки терминала X, F=fpsenc·wusage; где fpsenc - скорость кодирования для кодирования видеоданных с разрешением ws×hs терминалом X при полной нагрузке; wusage - требуемый коэффициент использования процессора терминала X до операции кодирования.
вычисляют fb=fs=F/(m+n·r),
где m - вновь определенное число кодеров обычных видеоданных;
n - вновь определенное число кодеров важных видеоданных;
r - коэффициент отношения вычислительных ресурсов, потребляемых важными видеоданными с разрешением wb×hb, к вычислительным ресурсам, потребляемым обычными видеоданными с разрешением ws×hs, r=wb×hb/(ws×hs), или r - экспериментально полученное отношение скорости кодирования важных видеоданных с разрешением wb×hb к скорости кодирования обычных видеоданных с разрешением ws×hs;
F - возможности обработки терминала X, F=fpsenc·wusage; где fpsenc - скорость кодирования для кодирования видеоданных с разрешением ws×hs терминалом X при полной нагрузке; wusage - требуемый коэффициент использования процессора терминала X до операции кодирования.
4. Способ по п. 3, дополнительно содержащий этап, на котором:
получают соответственно значения fpsenc, соответствующие процессорам с разными основными частотами, посредством экспериментальных измерений и сохраняют fpsenc в виде таблицы; и получают значение fpsenc, соответствующее основной частоте терминала X, посредством поиска в таблице.
получают соответственно значения fpsenc, соответствующие процессорам с разными основными частотами, посредством экспериментальных измерений и сохраняют fpsenc в виде таблицы; и получают значение fpsenc, соответствующее основной частоте терминала X, посредством поиска в таблице.
5. Способ по п. 3, в котором на этапе определения, удовлетворяют ли вновь полученные fb и fs заданному условию:
определяют среднюю оценку мнения (MOS) для важных видеоданных в соответствии с вновь полученным fb, и определяют MOS для обычных видеоданных в соответствии с вновь полученным fs;
если разность между MOS для важных видеоданных и MOS для обычных видеоданных меньше, чем заданное пороговое значение ΔMOSThreshold, и m·fs+n·fb·r≤F, 1≤fb, fs≤fmax, определяют, что вновь полученные fb и fs удовлетворяют заданному условию, где fmax - наибольшая скорость кодирования кадров, доступная при обмене видеоданными.
определяют среднюю оценку мнения (MOS) для важных видеоданных в соответствии с вновь полученным fb, и определяют MOS для обычных видеоданных в соответствии с вновь полученным fs;
если разность между MOS для важных видеоданных и MOS для обычных видеоданных меньше, чем заданное пороговое значение ΔMOSThreshold, и m·fs+n·fb·r≤F, 1≤fb, fs≤fmax, определяют, что вновь полученные fb и fs удовлетворяют заданному условию, где fmax - наибольшая скорость кодирования кадров, доступная при обмене видеоданными.
6. Способ по п. 5, в котором на этапе определения MOS для важных видеоданных в соответствии с вновь полученным fb и определения MOS для обычных видеоданных в соответствии с вновь полученным fs:
определяют значения MOS, соответствующие скоростям кодирования кадров, которые могут использоваться при обмене видеоданными, в соответствии с заданной формулой, сохраняют значения MOS в виде таблицы и получают значения MOS, соответствующие соответственно вновь полученным fb и fs, посредством поиска в таблице; или
определяют значения MOS, соответствующие соответственно вновь полученным fb и fs, путем вычисления в соответствии с заданной формулой.
определяют значения MOS, соответствующие скоростям кодирования кадров, которые могут использоваться при обмене видеоданными, в соответствии с заданной формулой, сохраняют значения MOS в виде таблицы и получают значения MOS, соответствующие соответственно вновь полученным fb и fs, посредством поиска в таблице; или
определяют значения MOS, соответствующие соответственно вновь полученным fb и fs, путем вычисления в соответствии с заданной формулой.
7. Способ по п. 6, в котором заданная формула содержит:
MOSfps(f)=5-ln(fmax/f),
MOSfps(f)=5-ln(fmax/f),
8. Способ по любому из пп. 1-7, в котором при изменении числа используемых кодеров важных видеоданных и/или числа используемых кодеров обычных видеоданных повторяют этапы А и В.
9. Терминал для кодирования видеоданных при обмене видеоданными с участием множества сторон, содержащий:
один или более кодеров важных видеоданных, один или более кодеров обычных видеоданных и модуль адаптивного регулирования, причем каждый из кодеров важных видеоданных используется для кодирования важных видеоданных терминала, а каждый из кодеров обычных видеоданных используется для кодирования обычных видеоданных терминала; при этом важные видеоданные имеют степень фокусирования выше заданного порога, а обычные видеоданные имеют степень фокусирования ниже заданного порога;
причем модуль адаптивного регулирования выполнен с возможностью
определять после присоединения терминала к обмену видеоданными с участием множества сторон число используемых кодеров важных видеоданных и число используемых кодеров обычных видеоданных; и
определять, в соответствии с возможностями обработки терминала и определенным числом используемых кодеров важных видеоданных и определенным числом используемых кодеров обычных видеоданных, параметр кодирования для важных видеоданных и параметр кодирования для обычных видеоданных, и информировать каждый используемый кодер важных видеоданных и каждый используемый кодер обычных видеоданных о выполнении соответствующего кодирования видеоданных в соответствии с вновь определенными параметрами кодирования,
при этом параметр кодирования содержит наибольшую скорость кодирования кадров;
при этом модуль адаптивного регулирования дополнительно содержит:
первый модуль обработки, выполненный с возможностью
определять соответственно число используемых кодеров важных видеоданных и число используемых кодеров обычных видеоданных, и
передавать определенное число используемых кодеров важных видеоданных и определенное число используемых кодеров обычных видеоданных во второй модуль обработки;
второй модуль обработки, выполненный с возможностью
определять наибольшую скорость fb кодирования кадров для важных видеоданных и наибольшую скорость fs кодирования кадров для обычных видеоданных в соответствии с возможностями обработки терминала и определенным числом используемых кодеров важных видеоданных и определенным числом используемых кодеров обычных видеоданных, и
передавать определенные значения fb и fs в третий модуль обработки;
третий модуль обработки, выполненный с возможностью
увеличивать fb и уменьшать fs,
определять, удовлетворяют ли вновь полученные fb и fs заданному условию,
увеличивать вновь полученный fb и уменьшать вновь полученный fs, если вновь полученные fb и fs удовлетворяют заданному условию,
определять, если вновь полученные fb и fs не удовлетворяют заданному условию, наибольшую скорость кодирования кадров важных видеоданных в соответствии с fb и определять наибольшую скорость кодирования кадров обычных видеоданных в соответствии с fs, и
информировать каждый используемый кодер важных видеоданных и каждый используемый кодер обычных видеоданных о выполнении кодирования видеоданных в соответствии с определенными fb и fs; и
четвертый модуль обработки, выполненный с возможностью
запускать работу первого модуля обработки при изменении числа используемых кодеров важных видеоданных и/или числа используемых кодеров обычных видеоданных.
один или более кодеров важных видеоданных, один или более кодеров обычных видеоданных и модуль адаптивного регулирования, причем каждый из кодеров важных видеоданных используется для кодирования важных видеоданных терминала, а каждый из кодеров обычных видеоданных используется для кодирования обычных видеоданных терминала; при этом важные видеоданные имеют степень фокусирования выше заданного порога, а обычные видеоданные имеют степень фокусирования ниже заданного порога;
причем модуль адаптивного регулирования выполнен с возможностью
определять после присоединения терминала к обмену видеоданными с участием множества сторон число используемых кодеров важных видеоданных и число используемых кодеров обычных видеоданных; и
определять, в соответствии с возможностями обработки терминала и определенным числом используемых кодеров важных видеоданных и определенным числом используемых кодеров обычных видеоданных, параметр кодирования для важных видеоданных и параметр кодирования для обычных видеоданных, и информировать каждый используемый кодер важных видеоданных и каждый используемый кодер обычных видеоданных о выполнении соответствующего кодирования видеоданных в соответствии с вновь определенными параметрами кодирования,
при этом параметр кодирования содержит наибольшую скорость кодирования кадров;
при этом модуль адаптивного регулирования дополнительно содержит:
первый модуль обработки, выполненный с возможностью
определять соответственно число используемых кодеров важных видеоданных и число используемых кодеров обычных видеоданных, и
передавать определенное число используемых кодеров важных видеоданных и определенное число используемых кодеров обычных видеоданных во второй модуль обработки;
второй модуль обработки, выполненный с возможностью
определять наибольшую скорость fb кодирования кадров для важных видеоданных и наибольшую скорость fs кодирования кадров для обычных видеоданных в соответствии с возможностями обработки терминала и определенным числом используемых кодеров важных видеоданных и определенным числом используемых кодеров обычных видеоданных, и
передавать определенные значения fb и fs в третий модуль обработки;
третий модуль обработки, выполненный с возможностью
увеличивать fb и уменьшать fs,
определять, удовлетворяют ли вновь полученные fb и fs заданному условию,
увеличивать вновь полученный fb и уменьшать вновь полученный fs, если вновь полученные fb и fs удовлетворяют заданному условию,
определять, если вновь полученные fb и fs не удовлетворяют заданному условию, наибольшую скорость кодирования кадров важных видеоданных в соответствии с fb и определять наибольшую скорость кодирования кадров обычных видеоданных в соответствии с fs, и
информировать каждый используемый кодер важных видеоданных и каждый используемый кодер обычных видеоданных о выполнении кодирования видеоданных в соответствии с определенными fb и fs; и
четвертый модуль обработки, выполненный с возможностью
запускать работу первого модуля обработки при изменении числа используемых кодеров важных видеоданных и/или числа используемых кодеров обычных видеоданных.
10. Терминал по п. 9, в котором второй модуль обработки дополнительно содержит:
первый подмодуль обработки, выполненный с возможностью вычисления
fb=fs=F/(m+n·r);
где m - вновь определенное число кодеров обычных видеоданных;
n - вновь определенное число кодеров важных видеоданных;
r - коэффициент отношения вычислительных ресурсов, потребляемых важными видеоданными с разрешением wb×hb, к вычислительным ресурсам, потребляемым обычными видеоданными с разрешением ws×hs, r=wb×hb/(ws×hs), или r - экспериментально полученное отношение скорости кодирования важных видеоданных с разрешением wb×hb к скорости кодирования обычных видеоданных с разрешением ws×hs;
F - возможности обработки терминала X, F=fspenc·wusage; где fspenc - скорость кодирования для кодирования видеоданных с разрешением ws×hs терминалом X при полной нагрузке; wusage - требуемый коэффициент использования процессора терминала X для операции кодирования;
второй подмодуль обработки, выполненный с возможностью передачи вычисленных значений fb и fs в третий модуль обработки.
первый подмодуль обработки, выполненный с возможностью вычисления
fb=fs=F/(m+n·r);
где m - вновь определенное число кодеров обычных видеоданных;
n - вновь определенное число кодеров важных видеоданных;
r - коэффициент отношения вычислительных ресурсов, потребляемых важными видеоданными с разрешением wb×hb, к вычислительным ресурсам, потребляемым обычными видеоданными с разрешением ws×hs, r=wb×hb/(ws×hs), или r - экспериментально полученное отношение скорости кодирования важных видеоданных с разрешением wb×hb к скорости кодирования обычных видеоданных с разрешением ws×hs;
F - возможности обработки терминала X, F=fspenc·wusage; где fspenc - скорость кодирования для кодирования видеоданных с разрешением ws×hs терминалом X при полной нагрузке; wusage - требуемый коэффициент использования процессора терминала X для операции кодирования;
второй подмодуль обработки, выполненный с возможностью передачи вычисленных значений fb и fs в третий модуль обработки.
11. Терминал по п. 10, в котором третий модуль обработки содержит:
третий подмодуль обработки, выполненный с возможностью вычисления fb=fb+Δf, fs=fs-Δf, Δf>0, и передачи результата вычисления в четвертый подмодуль обработки;
четвертый подмодуль обработки, выполненный с возможностью
определения MOS важных видеоданных в соответствии со вновь полученным fb и определения MOS обычных видеоданных в соответствии с вновь полученным fs;
определения, если абсолютное значение разности между средней оценкой мнения (MOS) важных видеоданных и MOS обычных видеоданных меньше заданного порогового значения ΔMOSThreshold, и m·fs+n·fb≤F, 1≤fb, fs≤fmax, где fmax - наибольшая скорость кодирования кадров, которую можно использовать при обмене видеоданными, что вновь полученные fb и fs удовлетворяют заданному условию, и информирования третьего подмодуля обработки о повторном исполнении его операции;
в противном случае определения, что вновь полученное значение fb-Δf принимается в качестве наибольшей скорости кодирования кадров важных видеоданных, определения, что вновь полученное значение fs+Δf принимается в качестве наибольшей скорости кодирования кадров обычных видеоданных, и информирования каждого используемого кодера важных видеоданных и каждого используемого кодера обычных видеоданных о выполнении кодирования видеоданных в соответствии с определенными параметрами кодирования.
третий подмодуль обработки, выполненный с возможностью вычисления fb=fb+Δf, fs=fs-Δf, Δf>0, и передачи результата вычисления в четвертый подмодуль обработки;
четвертый подмодуль обработки, выполненный с возможностью
определения MOS важных видеоданных в соответствии со вновь полученным fb и определения MOS обычных видеоданных в соответствии с вновь полученным fs;
определения, если абсолютное значение разности между средней оценкой мнения (MOS) важных видеоданных и MOS обычных видеоданных меньше заданного порогового значения ΔMOSThreshold, и m·fs+n·fb≤F, 1≤fb, fs≤fmax, где fmax - наибольшая скорость кодирования кадров, которую можно использовать при обмене видеоданными, что вновь полученные fb и fs удовлетворяют заданному условию, и информирования третьего подмодуля обработки о повторном исполнении его операции;
в противном случае определения, что вновь полученное значение fb-Δf принимается в качестве наибольшей скорости кодирования кадров важных видеоданных, определения, что вновь полученное значение fs+Δf принимается в качестве наибольшей скорости кодирования кадров обычных видеоданных, и информирования каждого используемого кодера важных видеоданных и каждого используемого кодера обычных видеоданных о выполнении кодирования видеоданных в соответствии с определенными параметрами кодирования.
12. Терминал по п. 11, в котором четвертый подмодуль обработки дополнительно выполнен с возможностью:
вычислять соответственно MOS, соответствующую каждой скорости кодирования кадров, которая может использоваться при обмене видеоданными, в соответствии с заданной формулой, сохранять вычисленное значение MOS в виде таблицы и получать MOS, соответствующую вновь полученным fb и fs, посредством поиска в таблице; или
вычислять MOS, соответствующую вновь полученным fb и fs, непосредственно в соответствии с заданной формулой:
MOSfps(f)=5-ln(fmax/f).
вычислять соответственно MOS, соответствующую каждой скорости кодирования кадров, которая может использоваться при обмене видеоданными, в соответствии с заданной формулой, сохранять вычисленное значение MOS в виде таблицы и получать MOS, соответствующую вновь полученным fb и fs, посредством поиска в таблице; или
вычислять MOS, соответствующую вновь полученным fb и fs, непосредственно в соответствии с заданной формулой:
MOSfps(f)=5-ln(fmax/f).
13. Терминал по любому из пп. 9-12, в котором модуль адаптивного регулирования дополнительно выполнен с возможностью повторного выполнения своих функций при изменении числа кодеров важных видеоданных и/или числа кодеров обычных видеоданных.
14. Энергонезависимый считываемый компьютером носитель информации, содержащий набор команд для кодирования видеоданных при обмене видеоданными с участием множества сторон, причем набор команд вызывает выполнение по меньшей мере одним процессором способа по любому из пп. 1-8.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210040481.X | 2012-02-22 | ||
| CN201210040481XA CN102547214B (zh) | 2012-02-22 | 2012-02-22 | 一种多人视频通信中的视频编码方法以及终端 |
| PCT/CN2013/070833 WO2013123839A1 (zh) | 2012-02-22 | 2013-01-22 | 一种多人视频通信中的视频编码方法以及终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2570355C1 true RU2570355C1 (ru) | 2015-12-10 |
Family
ID=46353028
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2014138120/07A RU2570355C1 (ru) | 2012-02-22 | 2013-01-22 | Способ и терминал для кодирования видеоданных при обмене видеоданными между множеством участников |
Country Status (14)
| Country | Link |
|---|---|
| US (1) | US9332267B2 (ru) |
| EP (1) | EP2819405B1 (ru) |
| KR (1) | KR101629226B1 (ru) |
| CN (1) | CN102547214B (ru) |
| AP (1) | AP2014007931A0 (ru) |
| BR (1) | BR112014020225B1 (ru) |
| CA (1) | CA2865045C (ru) |
| CL (1) | CL2014002194A1 (ru) |
| MY (1) | MY168126A (ru) |
| NZ (1) | NZ630215A (ru) |
| PH (1) | PH12014501820B1 (ru) |
| RU (1) | RU2570355C1 (ru) |
| SG (1) | SG11201404904VA (ru) |
| WO (1) | WO2013123839A1 (ru) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2014379859B2 (en) * | 2014-01-23 | 2017-10-12 | Sony Corporation | Decoding device, decoding method, encoding device, and encoding method |
| CN104254018B (zh) * | 2014-03-19 | 2018-04-03 | 深圳深讯和科技有限公司 | 多媒体播放中的视频帧处理方法和装置 |
| CN105657321A (zh) * | 2015-11-09 | 2016-06-08 | 乐视致新电子科技（天津）有限公司 | 视频清晰度自适应调节方法、装置及终端 |
| CN108076301A (zh) * | 2016-11-11 | 2018-05-25 | 联芯科技有限公司 | VoLTE视频多方电话的视频处理方法和系统 |
| KR20190033849A (ko) * | 2017-09-22 | 2019-04-01 | 삼성에스디에스 주식회사 | 다자간 회의 제공 장치 및 상기 장치에서의 인코더 할당 방법 |
| US11025964B2 (en) | 2019-04-02 | 2021-06-01 | Wangsu Science & Technology Co., Ltd. | Method, apparatus, server, and storage medium for generating live broadcast video of highlight collection |
| CN109862388A (zh) * | 2019-04-02 | 2019-06-07 | 网宿科技股份有限公司 | 直播视频集锦的生成方法、装置、服务器及存储介质 |
| US11470300B2 (en) * | 2020-05-08 | 2022-10-11 | Tencent America LLC | Event-based trigger interval for signaling of RTCP viewport for immersive teleconferencing and telepresence for remote terminals |
| CN112511788B (zh) * | 2020-11-27 | 2022-04-01 | 厦门亿联网络技术股份有限公司 | 一种视频会议的视频传输控制方法及视频传输系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004077835A1 (en) * | 2003-02-21 | 2004-09-10 | Telesuit Corporation | System and method for transmission of a multitude of video sequences |
| WO2006126974A1 (en) * | 2005-04-11 | 2006-11-30 | Tubitak Bilten | Optimal video adaptation for resource constrained mobile devices based on subjective utility models |
| RU2378790C1 (ru) * | 2005-09-27 | 2010-01-10 | Квэлкомм Инкорпорейтед | Методики масштабируемости на основе информации содержимого |
| EP2410750A2 (en) * | 2006-09-11 | 2012-01-25 | Apple Inc. | Complexity-aware encoding |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002305733A (ja) * | 2001-04-06 | 2002-10-18 | Matsushita Electric Ind Co Ltd | マルチキャスト会議装置、及びマルチキャスト会議プログラム |
| TWI343216B (en) * | 2007-06-12 | 2011-06-01 | Quanta Comp Inc | High-definition video conference system and method |
| US8345083B2 (en) * | 2007-07-31 | 2013-01-01 | Cisco Technology, Inc. | Dynamic management of picture quality in a video conference with diversified constraints |
| CN101588252B (zh) * | 2008-05-23 | 2011-07-20 | 华为技术有限公司 | 一种多点会议的控制方法及装置 |
| CN101365125B (zh) * | 2008-09-27 | 2012-03-21 | 腾讯科技（深圳）有限公司 | 多路视频通信方法与系统 |
| CN101742223B (zh) * | 2010-01-19 | 2012-08-22 | 华平信息技术股份有限公司 | 视频流带宽智能调节方法 |
-
2012
- 2012-02-22 CN CN201210040481XA patent/CN102547214B/zh active Active
-
2013
- 2013-01-22 BR BR112014020225-7A patent/BR112014020225B1/pt active IP Right Grant
- 2013-01-22 RU RU2014138120/07A patent/RU2570355C1/ru active
- 2013-01-22 CA CA2865045A patent/CA2865045C/en active Active
- 2013-01-22 EP EP13752176.1A patent/EP2819405B1/en active Active
- 2013-01-22 AP AP2014007931A patent/AP2014007931A0/xx unknown
- 2013-01-22 US US14/378,091 patent/US9332267B2/en active Active
- 2013-01-22 WO PCT/CN2013/070833 patent/WO2013123839A1/zh not_active Ceased
- 2013-01-22 MY MYPI2014702349A patent/MY168126A/en unknown
- 2013-01-22 NZ NZ630215A patent/NZ630215A/en unknown
- 2013-01-22 KR KR1020147025280A patent/KR101629226B1/ko active Active
- 2013-01-22 SG SG11201404904VA patent/SG11201404904VA/en unknown
-
2014
- 2014-08-12 PH PH12014501820A patent/PH12014501820B1/en unknown
- 2014-08-18 CL CL2014002194A patent/CL2014002194A1/es unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004077835A1 (en) * | 2003-02-21 | 2004-09-10 | Telesuit Corporation | System and method for transmission of a multitude of video sequences |
| WO2006126974A1 (en) * | 2005-04-11 | 2006-11-30 | Tubitak Bilten | Optimal video adaptation for resource constrained mobile devices based on subjective utility models |
| RU2378790C1 (ru) * | 2005-09-27 | 2010-01-10 | Квэлкомм Инкорпорейтед | Методики масштабируемости на основе информации содержимого |
| EP2410750A2 (en) * | 2006-09-11 | 2012-01-25 | Apple Inc. | Complexity-aware encoding |
Also Published As
| Publication number | Publication date |
|---|---|
| PH12014501820A1 (en) | 2014-11-24 |
| MY168126A (en) | 2018-10-11 |
| KR101629226B1 (ko) | 2016-06-10 |
| SG11201404904VA (en) | 2014-10-30 |
| KR20140128420A (ko) | 2014-11-05 |
| US20150215627A1 (en) | 2015-07-30 |
| CN102547214B (zh) | 2013-05-29 |
| EP2819405A1 (en) | 2014-12-31 |
| CA2865045C (en) | 2016-10-18 |
| US9332267B2 (en) | 2016-05-03 |
| WO2013123839A1 (zh) | 2013-08-29 |
| BR112014020225A2 (ru) | 2017-06-20 |
| CA2865045A1 (en) | 2013-08-29 |
| CL2014002194A1 (es) | 2015-02-27 |
| PH12014501820B1 (en) | 2014-11-24 |
| NZ630215A (en) | 2015-05-29 |
| EP2819405A4 (en) | 2015-03-04 |
| BR112014020225B1 (pt) | 2019-09-17 |
| AP2014007931A0 (en) | 2014-09-30 |
| BR112014020225A8 (pt) | 2017-07-11 |
| EP2819405B1 (en) | 2021-08-11 |
| CN102547214A (zh) | 2012-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2570355C1 (ru) | Способ и терминал для кодирования видеоданных при обмене видеоданными между множеством участников | |
| CN111757107B (zh) | 一种视频编码方法、装置、设备及介质 | |
| US9344735B2 (en) | Progressive shape based encoding of video content within a swarm environment | |
| US20130148721A1 (en) | Reference Frame Management for Screen Content Video Coding Using Hash or Checksum Functions | |
| US12155840B2 (en) | Video processing method, video processing apparatus, smart device, and storage medium | |
| US20120307890A1 (en) | Techniques for adaptive rounding offset in video encoding | |
| TW201009566A (en) | Coordinating power management functions in a multi-media device | |
| CN112422963B (zh) | 云计算机系统、编码方法、装置、设备及存储介质 | |
| US20130055326A1 (en) | Techniques for dynamic switching between coded bitstreams | |
| WO2014008294A1 (en) | Non-video codecs with video conferencing | |
| CN107493478B (zh) | 编码帧率设置方法及设备 | |
| CN116939212A (zh) | 视频处理方法、装置、计算机可读存储介质及计算机设备 | |
| US20110158311A1 (en) | Progressive encoding of video content within a swarm environment | |
| US20240251089A1 (en) | Method and system of video coding with fast low-latency bitstream size control | |
| US20150049801A1 (en) | Intra refresh method for video encoding and a video encoder for performing the same | |
| CN113225830A (zh) | 数据网络上行调度方法、装置及电子设备 | |
| CN116033148B (zh) | 一种视频编码方法、装置、计算机设备及存储介质 | |
| OA17059A (en) | Video coding method in multi-person video communications and terminal. | |
| CN115002452B (zh) | 一种视频处理方法、视频处理装置、电子设备及存储介质 | |
| CN119299049B (zh) | 云桌面的编码方法及装置、系统、电子设备和存储介质 | |
| CN115499648B (zh) | 视频编码方法、电子设备及存储介质 | |
| US20230421779A1 (en) | Decoding processing method and apparatus, computer device, and storage medium | |
| HK40073407A (en) | A video processing method, video processing device, electronic equipment and storage medium | |
| WO2024149182A1 (zh) | 变换系数编码方法、变换系数解码方法及终端 | |
| WO2025125407A1 (en) | Progressive enhancement mechanism for representation of 3d objects |