NO20150189A1 - Metoder for oppgradering av profesjonelle digital display skjermere til bruk som fullverdige endepunkter og systemer for videokonferanse og Telepresence uten bruk av separat kommunikasjonsenhet - Google Patents

Description

Teknisk område

Oppfinnelsen angår metoder for oppgradering av profesjonelle digital signage skjermer til også å kunne brukes som fullverdig systemer for videokonferanse- og Telepresence blant annet til møterom og undervisning, der tilkobling av et eller flere videokonferansekameraer er eneste nødvendige tilleggsutstyr for at et tilnærmet ubegrenset antall virtuelle møtedeltagere kan ringe inn fra alle typer maskinenheter, og alle typer kommunikasjonsprotokoller, uten at tilknytning av ekstra kommunikasjonsenheter er nødvendig.

Bakgrunn

Mens kommunikasjonsprotokoller og plattformer har endret seg vesentlig, er selve oppbyggingen av videokonferansesystemer til møterom praktisk talt uforandret siden 1990-tallet. For store møterom benyttes separate enheter (kodeker) for koding og dekoding av video, audio og data før og etter overføring over internettet eller virtuelle private nettverk. Kodekene er montert i et kabinett under eller bak en eller flere storskjermer, som sammen med et eller flere kameraer og høyttalere utgjør en del av systemet. Betjeningen skjer med en egen fjernkontroll med betjeningsknapper eller berøringsskjerm.

For mellomstore og mindre møterom er "Set Top" systemene som ble introdusert på slutten av 1990-tallet fotrsatt populære. Løsningen består i at videokamera og kodek bygges sammen i en boks som plasseres på toppen av en standard storskjerm som kunden anskaffer separat for kobling av Set Top og enheten med en kabel. En fjernkontroll med betjeningsknapper inngår i systemet.

For organisasjoner som ønsker å spare penger, er det vanlig at man selv setter inn en permanent PC i møterommet og laster ned en softwareklient. En skjerm, et standard videokonferansekamera og standard tastatur med mus tilkobles med USB kabel, der sistnevnte benyttes til å betjene systemet.

Analyseselskapet Wainhouse Research, Boston har spesialisert seg på å følge videokonferansemarkedet på verdensbasis, og publiserer hvert år omfattende rapporter om trender og utvikling på videokonferansemarkedet med uttalelser og ønsker fra brukere og brukergrupper. I rapportene fremkommer det at antall installerte møteromsystemer viste en skarp nedgang fra 2010 til 2013, da de igjen begynte å øke. Dette sammenfaller med en kraftigøkning av portable enheter brukt til visuelle møter, og ca 70% av respondentene i Wainhouse studien mener at økt utbredelse av visuelle applikasjoner på mobile enheter smitter over på møterom. Mange nevner at møteromsløsningene bør gjøres enklere og mer brukervennlige, at løse kabler på møterom er problematisk og at systemene må bør være bedre tilpasset at de brukes av mange forskjellige peresoner med varierende interesse og kompetanse for å betjene et videokonferansesystem.

I den foreliggende oppfinnelse er dette lagt til grunn.

US 20120293602 (søknad av 16 februar 2012) beskriver et telepresence system med unified communication til audio og video konferanser i et Entreprise Network (intranett) system. Systemet består av et separat kontrollsystem og brukergrensesnitt som tilkobles en eller flere separate display skjermer, altså en konvensjonell oppbygning av et videokonferansesystem som beskrevet ovenfor. An executive telepresence system for use in audio and video conferencing uses a unified communications

system in an enterprise network system. The executive telepresence system includes a control system that further comprises a user interface, a mixing system, and a dialling system. In addition, the executive telepresence system includes one or more video display devices that couple to the control system where the video display devices display a video signal, and may further include one or more video cameras that couple to the control system where the video cameras capture video information and turn it into the video signal. Further, the executive telepresence system includes one or more microphones that couple to the control system where the microphones capture audio information and turn it into an audio signal, and may include one or more speakers that couple to the control system where the speakers play back the audio signal.

WO 2013056756 (søknad) beskriver en metode for å gi visuell informasjon om deltagerne på et videomøte og inneholder krav i forbindelse med identifikasjon av møtedeltagerne, a method for displaying visual information about participants in a teleconference comprises mixing of audio signals originating from participants in the teleconference, providing an automatic identification of a participant currently speaking and displaying at least one static digital image associated with the identified participant currently speaking at least during a part of the time while this participant is speaking.

KR 20130030066 beskriver et system for å avhjelpe videokonferanser i avsidesliggende lokasjoner. An image conference system is provided to efficiently progress a conference in a remote place by adding microphone composition to a remote

US 2014354761 beskriver metoder for at brukere av datamaskiner, lesebrett og smarttelefoner kan aktivere "parring" av sine enheter mot applikasjoner for slike enheter. According to a general embodiment of the present invention, a computer, tablet or smart phone executable application is provided, allowing a user of the application to activate paihng of the dé*i"se;.and;ai*ideQiCoMerénfe séssiorirfbmiVid"^

US 2014/0241216 omfatter et portabelt system med konkrete funksjoner, som kan være å organisere kontaktpersoner. A portable communication, comprises a control unit, a display coupled to the control unit; a contact book coupled to the control unit to store a list of contact person's phone number, e-mail address, account information, or the combination US 2014/184725 Viser en telefon med videofunksjon og projekterings-, nettverks-, video-audio fangst og konferansemodul og en prosessor som er konfigurert til å fange et bilde og stemmen fra en lokal bruker for å generere lokale data. A telephone with a videofunction is provided, including a projection module, a network module, a video-audio capturing module, a conference module and a processor. The network module provides a network interface. The video-audio capturing module is configured to capture an image and voice of a local user, and accordingly generates local video-audio data. The conference module provides the video conference function. The processor is electrically connected to the projection module, the network module, the video-audio capturing module and the conference module. When the processor enables the video conference function of the conference module, the telephone establishes a connection with a remote apparatus through the network interface, in order to receive a remote video-audio data of a remote user from the remote apparatus, and transmit the local video-audio data to the remote apparatus. The projection module projects an image corresponding to the remote video-audio data onto a projection surface.

US 2014/0092199 viser en TV med videofunksjon og metode for videokonferanse ved hjelp av en telefon, a telephone with a video function is provided, including a projection module, a network module, a video-audio capturing module, a conference module and a processor. The network module provides a network interface. The video-audio capturing module is configured to capture an image and voice of a local user, and accordingly generates local video-audio data. The conference module provides the video conference function.

US 2014/0176664 Viser en projektor med funksjon for videokonferanse og en metode for videokonferanse ved hjelp av bildeprojektor. A projection apparatus includes a projection module, a network module, a video-audio capturing module, a conference module and a processor. The network module provides a network interface. The video-audio capturing module is configured to capture an image and voice of a local user, and accordingly generates local video-audio data. The conference module provides the video conference function. The processor is electrically connected to the projection module, the network module, the video-audio capturing module and the conference module.

US 2002/0071026 Viser et apparat for videokonferanse mellom flere nettverk der en prosessor vurderer brukerplattformen til en møtedeltager og innhenter fra en database nødvendige forutsetninger for at deltakelse i videomøtet kan skje. The present invention provides an apparatus and method for conducting a video conference. The video conference apparatus is connected to at least one network. The video conference apparatus includes a MCU, an environment processor, a user database interface and an environment database interface. When users log onto the video conference apparatus, it is determined whether each user has designated an alternative environment from that normally detected by the camera device during the video conference. If the user has designated an alternative environment, the environment processor obtains the environment from the environment database and the video conference apparatus uses the designated environment during the video conference.

US 2008/0088693 Metode for innholdsoverføring og apparat som bruker videokonferanse og som støtter overføring av innhold mellom et flertall av video apparater tilknyttet nettverket, og spesielt i forhold til overføring av innhold så vel som video og audio signaler i et VolP-basert videokonferanse apparat. A content transmission method and apparatus using video call is provided. The content transmission method includes performing an encoding operation on reproduced content; and transmitting the encoded content to at least one of video call apparatuses connected to a network, wherein the content is distinguished from video and the voice data. The content is reproduced by the content transmission apparatus or an external content providing server. Therefore, the content transmission apparatus can share content with another type of apparatus that supports VolP, such as a digital signage. US 2013/0027504 gjelder forhåndsvisning av video data til videokonferanse, in one exampie implementation, a request from a first endpoint is identified for a second endpoint to join a video communication session. Particular video data captured at the first endpoint is displayed at the second endpoint prior to the second endpoint joining the video communication session. In certain embodiments, the particular video data captured at the first endpoint can be displayed at the second endpoint without the user of the first endpoint being made aware that the particular video data was displayed at the second endpoint.

Ingen av de ovennevnte patenter, søknader eller produkter lansert på markedet berører samme området som den foreliggende oppfinnelse.

Sammenfatning

Oppfinnelsen vedrører metoder for oppgradering av profesjonelle digital signage skjermer til også å kunne brukes som fullverdig systemer for videokonferanse- og Telepresence blant annet til møterom og undervisning, der tilkobling av et eller flere videokonferansekameraer er eneste tilleggsutstyr nødvendig for at et tilnærmet ubegrenset antall virtuelle møtedeltagere kan ringe inn fra alle typer maskinenheter, og alle typer kommunikasjonsprotokoller. Ingen tilknytning av ekstra kommunikasjonsenheter er nødvendig.

Oppfinnelsen vedrører fremgangsmåter og et system som fremsatt i kravene.

Kort beskrivelse av tegningene

For å gjøre oppfinnelsen lettere å forstå, vil den følgende diskusjonen referere til de vedlagte tegninger, hvor

Figur 1 illustrerer layout av et System on Chip (SoC) for en digital display skjerm som også kan fungere som endepunkt til profesjonell videokonferanse / telepresence. Figur 2 illustrerer delene i en digital display skjerm oppgradert til profesjonell videokonferanse / telepresence. Figur 3 viser en oppstilling av funksjonaliteten i skjermenhet, nettsky og video-som-en-tjeneste leverandør. Figur 4 viser interoperabilitetsmulighetene for en ferdig oppgradert skjerm tilknyttet internett eller et virtuelt privat nettverk.

Detaljert beskrivelse

I det følgende blir den foreliggende oppfinnelsen gjennomgått ved å beskrive foretrukne utførelsesformer sammen med henvisning til de vedlagte tegninger. Fagfolk vil kunne finne andre anvendelser og modifikasjoner innenfor rekkevidden av oppfinnelsen slik den er definert i de selvstendige krav.

Formålet med oppfinnelsen er å konfigurere og oppgradere digitale display skjermer i produksjonen, slik at de kan fungere som både konvensjonelle digitale display skjermer eller selvstendige, profesjonelle punkt-til-punkt videokonferansesystemer og endepunkter for avansert videokonferanse i nettskyen ved kun å koble til et eller flere videokonferansekameraer, uten å tilkoble eksterne enheter eller bokser. Valget om hva skjermene skal brukes til skjer dermed etter at skjermene forlater produksjonsstedet.

Hvis en bruker ønsker å bruke sin skjerm til videokonferanse, vil bruksområdet omfatte følgende hovedfunksjoner: i) Point-to-point HD videokonferanse med minimum 720p oppløsning (HD) og minst 30 fps (frames per second) mot enhver type videokonferansesystem, PC, Mac eller Android-basert enhet,

ii) Flerparts videokonferanser i HD, der et ubegrenset antall deltagere ser og hører

hverandre samtidig,

iii) Point-to-point og flerparts videokonferanser (som i) og ii)) ovenfor mellom deltagere som benytter forskjellig typer utstyr og ulike kommunikasjons plattformer, som a. Konvensjonelle videokonferansesystemer som finnes på markedet, både H.323 og

SIP-baserte,

b. PC, Mac og Android bærbare enheter (full video, audio og

samhandlingsfunksjonalitet),

c. Microsoft Lyne (full video, audio og samhandlingsfunksjonalitet),

d. Microsoft SKYPE (full video, audio og samhandlingsfunksjonalitet),

e. Fasttelefoner (kun audio),

f. Smarttelefoner (full video, audio og samhandlingsfunksjonalitet)

iv) Standard HD (720 og 1080p) videokonferansekameraer for USB eller annen standard

tilkobling kan tilkobles,

v) Oppfinnelsen muliggjør at skjermene, når koblet til nettet, automatisk vil søke tilknytning til foretrukne nettverk, blant annet gjennom en videoklient med routingmuligheter,

vi) Tilleggsfunksjoner for samhandling i videomøter og undervisning, både lokalt og fjerntliggende, blant annet der personer kan overføre innhold fra sine håndholdte

enheter til storskjermen i det sentrale rommet, der det kan redigeres og sendes tilbake til deltagerne i det lokale møte- eller klasserommet og til deltagerne over nettet.

vii) Overføring av en videosamtale som er i gang på en håndholdt enhet av type PC, Mac,

Android eller annen, til systemet skjerm, kamera og audio uten å bli avbrutt

viii) Andre funksjoner som ikke er nevnt eller funnet opp vil kunne oppgraderes i software over internettet.

For en fagperson som skal utøve oppfinnelsen, er det verdifult å legge merke til at Digital Signage skjermer er laget for å motta informasjon over internettet for å fremvises lokalt på skjermen (i hotellresepsjoner, på flyplasser i butikker og lignende). Derfor er digital display skjermer laget for å stå på døgnkontinuerlig uten å ta skade av det, og de kan fjernstyres, konfigureres og oppgraderes over nettet med RS23 eller andre grensesnitt. Disse skjermene har dessuten en relativt kraftige prosessorer innebygd, som kjører Linux eller Pro Linux operativsystem, hvilket gjør dem egnet for nødvendig koding for profesjonell videokonferanse. De støtter også HTML5, et språk for strukturering og presentasjon av innhold på Word Wide Web, og de kan oppgraderes til "touch screen" funksjon ved å plugge inn en touch plate på en av USB-kontaktene som finnes.

På den annen side støtter ikke digital display skjermene to-veis kommunikasjon mot videokamera, hvilket er en grunnleggende egenskap for et videokonferansesystem.

Digital display skjermer System on Chip / SoC i sin prosesseringsdel, og utøvelse av oppfinnelsen stiller følgende krav til denne:

a) Oppbygning som illustrert i Figur 1

b) Støtte for de nødvendige kodeker og standarder for både video og audio

c) Tilstrekkelig prosesseringskraft

d) Støtte for kamera

Figur 1 viser lay-out av SoC som vil fungere til både avansert videokonferanse og digital signage.

Nødvendige standarder og kodeker for video og audio som må støttes er:

H.264/AVC som er en moderne standard for videokomprimering identisk med MPEG-4 Part 10. Den må støttes i både 720p og 1080p og minst 30 fps (frames per second). Aktuelle audio kodeker som OGG Vorpis og OPUS bør benyttes. WebRTC benytter de to audio kodekene G.711 og OPUS. SIP og H.323 basert videokonferanse bruker oftest G.711 (telefonlyd), og en av enten G722, G.722.1, G.722.1C, Siren eller AAC-LD bør benyttes for å oppnå best mulig lyd.

Audio kodeker kjennetegnes av at de ikke er spesielt ressurskrevende for CPU-kraft og derfor kan og bør disse implementeres i systemets software for å muliggjøre og forenkle senere oppgradering over nettet etter at systemene er tatt i bruk av kunde.

For at oppfinnelsen skal kunne utøves, må SoC inneholde en maskinvare-aksellert VP8 koder/dekoder fordi den fungerer interaktivt med nettleserne Google Chrome og/eller Mozilla Firefox, som igjen støtter de skybaserte funksjonene som oppfinnelsen skal kunne utføre. Oppfinnelsen kan utøves to måter: 1. WebRTC spesifikasjonene i http://ww.w3org/TRwebrtc/ implementeres fullstendig i SoC, slik at videosignalene fra kameraet kan kodes i display-enheten (SoC). WebRTC tilsvarer H.264/5.

WebRTC supporterer browser-til-browser applikasjoner voice calling video chat og Point-to-Point fildeling uten å måtte bruke hverken interne eller eksterne plug-in.

2. Google Chrome støttes av display plattformen i displayenhetens SoC.

En fagperson for digital display skjermer vil kunne forholde seg til dette og relatere informasjonen til produksjon av egne systemer.

For at et høykvalitets HD kamera med PTZ (Pan Tilt Zoom) med USB tilkobling til et avansert videokonferansesystem skal kunne fungere sammen med SoC, må denne støtte to-veis kommunikasjon mellom programvaren i systemet og kameraet som følger:

• Ta inn og behandle videosignalene fra kameraet og audio fra systemets mikrofon

• Enkode video og audio på et kjent format, som VP8 eller H.264, enten i maskinvaren eller programvaren - helst i programvaren fordi dette forenkler fjernoppgraderinger av systemene over tid ute på brukerstedet,

• Sende enkodet video og audio ut over nettverket

• Motta enkodet video og audio fra nettverket

• Dekode video og audio

• Vise frem videoen på skjermen og spille tilbake audio i høyttalerne

Claims (1)

1. Krav 1. Metoder for oppgradering av profesjonelle digital signage skjermer (heretter Metoder) til også å kunne brukes som fullverdig og profesjonell videokonferanse og Telepresence system, der videokonferansekamera som tilkobles via USB-plugg eller annet grensesnitt, er eneste nødvendige tilleggsutstyr for å kunne fungere i Point-to-point og Flerparts videokonferanser, der et ubegrenset antall deltagere ser og hører hverandre samtidig, Krav 2. Metoder omfatter i tillegg at deltagerne kan benytte forskjellig typer utstyr, som for eksempel: a. Konvensjonelle videokonferansesystemer med full video, audio og samhandlingsfunksjonalitet, b. PC, Mac, Android og andre stasjonære og bærbare enheter med kun audio, full video og audio og full samhandlingsfunksjonalitet, c. Soft-klienter, d. Microsoft Lyne (nå kalt "Skype for Business") med full video, audio og samhandlingsfunksjonalitet, e. Microsoft SKYPE med full video, audio og samhandlingsfunksjonalitet, f. Fasttelefoner med kun audio, g. Smarttelefoner som kan delta med full video, audio og samhandlingsfunksjonalitet. og en hvilken som helst kommunikasjonsplattform, som for eksempel: i) H.323, HTML5 og SIP, ii) SVC, H.264, H.263, VP8, H.265 iii) G.7xx, OPUS, AAC Krav 3. Metoder omfatter mulighet for at skjermene, når koblet internettet eller virtuelle nettverk, med kabel eller trådløst, automatisk kan søke tilknytning til foretrukne nettverk, både gjennom en videoklient med routingmuligheter, eller på annen måte. Krav 4. Metoder omfatter tilleggsfunksjoner for samhandling i videomøter og undervisning, både lokalt og fjerntliggende, slik at personer kan overføre og dele innhold fra håndholdte enheter (PC, nettbrett og smart-telefoner) for visning på storskjermen, og tilbake til slike håndholdte enheter, både lokalt i et møte- eller klasserom og over nettet. Krav 5. Metoder omfatter overføring av en videosamtale som er i gang på en håndholdt enhet av type PC, Mac, Android eller annen, til storskjerm med kamera og annet tilleggsutstyr, uten at videosamtalen blir avbrutt. Krav 6. Metoder omfatter beslektede tilleggsfunksjoner som kan oppgraderes i software over internettet, selv om disse ikke er nevnt ovenfor. Sammendrag Metoder for oppgradering av profesjonelle digital signage skjermer, der videokonferansekameraer tilkoblet via USB plugg eller annen tilkobling, er eneste nødvendige tilleggsutstyr for at digital signage skjermer og andre også kan brukes som fullverdige systemer for videokonferanse- og Telepresence, både "point-to-point" og i flerbrukermøter, med deltagere uansett type system eller kommunikasjonsplattform som benyttes.