[go: up one dir, main page]

JP2018189934A - 遠隔空間を接続するためのパノラマポータルのためのシステム及びプログラム - Google Patents

遠隔空間を接続するためのパノラマポータルのためのシステム及びプログラム Download PDF

Info

Publication number
JP2018189934A
JP2018189934A JP2017178021A JP2017178021A JP2018189934A JP 2018189934 A JP2018189934 A JP 2018189934A JP 2017178021 A JP2017178021 A JP 2017178021A JP 2017178021 A JP2017178021 A JP 2017178021A JP 2018189934 A JP2018189934 A JP 2018189934A
Authority
JP
Japan
Prior art keywords
image
display
radial display
radial
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017178021A
Other languages
English (en)
Other versions
JP6969249B2 (ja
Inventor
ジー キンバー ドナルド
G Kimber Donald
ジー キンバー ドナルド
イー. ボーガン ジェイムズ
E Vaughan James
イー. ボーガン ジェイムズ
ダニガン アンソニー
Anthony Dunnigan
ダニガン アンソニー
クワフォルド ペルニッラ
Qvarfordt Pernilla
クワフォルド ペルニッラ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Publication of JP2018189934A publication Critical patent/JP2018189934A/ja
Application granted granted Critical
Publication of JP6969249B2 publication Critical patent/JP6969249B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/08Projecting images onto non-planar surfaces, e.g. geodetic screens
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617Surveillance camera constructional details
    • G08B13/19626Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses
    • G08B13/19628Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses of wide angled cameras and camera groups, e.g. omni-directional cameras, fish eye, single units having multiple cameras achieving a wide angle view
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0442Handling or displaying different aspect ratios, or changing the aspect ratio
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/02Flexible displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Databases & Information Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • User Interface Of Digital Computer (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Projection Apparatus (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Studio Devices (AREA)

Abstract

【課題】別の空間の視界(view)を視聴者に提供するための放射状ディスプレイを含む、パノラマポータルのためのビデオシステム及びプログラムを提供する。【解決手段】1つの位置と別の位置との間、または1つの位置と複数の分布された遠隔の視聴者との間のパノラマビデオの接続を提供するためのシステムおよびプログラムに関し、誰が見ているかと、彼らが何を見ているかの認識性に関する相互関係を提供し、放射状ディスプレイ100は、遠隔位置からのパノラマビデオ、または、遠隔の視聴者が見ている方向を示すように配置されたフェイスショットが合成された視界を表示する。【選択図】図1

Description

本発明は、パノラマポータルを提供するためのシステム及びプログラムに関する。
パノラマビデオは、ますます普及してきており、従来技術のプラットフォームは、360度のビデオのライブストリーミングをサポートする。カメラを、イベントの開催地などの関心のある位置に置くことができ、遠隔の位置にいる参加者がビデオを見ることができ、その参加者が物理的に存在しているかのように、周りを自由に見ることができる。しかし、従来技術の配置では、パノラマカメラの位置にいる人々には、誰が、または、どのぐらい多くの人々が見ているか、その人々がどこを見ているかの認識が欠如していることから、相互関係(reciprocity)が欠如している。この相互関係の欠如により、その空間が想定されていない視聴者によって見られている、または、遠隔の人が傍聴者にすぎず、参加者ではないという、好ましくない感覚を形成し得る。
上述の問題に対処するための1つの従来技術の実施態様には、各々の位置におけるカメラおよびディスプレイとの双方向のビデオ接続を伴う。そのような実施態様により、遠隔の空間、およびその参加者に、ローカル空間における物理的な表示を提供し、これにより、現地の参加者と遠隔の参加者との間の、より自然な相互作用を可能にする。しかし、従来技術の実施態様は、標準の(たとえば、視野が制限された斜視図の)ビデオを伴っており、また、360度のビデオに関する、従来技術のこの問題に対処するシステムは存在しない。
米国特許第9426419号明細書
AVRAHAMI,D.、BIEHL,J.T.、DUNNIGAN,A. 「NOT REALLY THERE:UNDERSTANDING EMBODIED COMMUNICATION AFFORDANCES IN TEAM PERCEPTION AND PARTICIPATION」、CSCW、2015年、全7頁 BENKO,HRVOJE、WILSON,ANDREW D. 「MULTI−POINT INTERACTIONS WITH IMMERSIVE OMNIDIRECTIONAL VISUALIZATIONS IN A DOME」、ITS2010:DISPLAYS、2010年11月7日−10日、全10頁、ACM 978−1−4503−0399−06/10−11 BOLTON,JOHN,ET.AL.,「BODIPOD:INTERACTING WITH 3D HUMAN ANATOMY VIA A 360°CYLINDRICAL DISPLAY」、CHI2012、2012年5月5日−10日、全4頁、ACM978−1−4503−1016−1/12/05 DOURISH,PAUL、BLY,SARA 「PORTHOLES:SUPPORTING AWARENESS IN A DISTRIBUTED WORK GROUP」、PROCEEDINGS OF THE SIGCHI CONFERENCE ON HUMAN FACTORS IN COMPUTING SYSTEMS、ACM、1992年5月3日−7日 TOBITA,HIROAKI、KUZI,TAKUYA 「FACE−TO−AVATAR、AUGMENTED FACE−TO−FACE COMMUNICATION WITH AEROTOP TELEPRESENCE SYSEM」、AVI2012、2012年5月21日−25日、全4頁 KIMBER,DON、PROPPE,PATRICK、KRATZ,SVEN、VAUGHAN,JIM、LIEW,BEE、SEVERNS,DON、SU,WEIQING 「POLLY:TELEPRESENCE FROM A GUIDE’S SHOULDER」、EUROPEAN CONFERENCE ON COMPUTER VISION、 SPRINGER INTERNATIONAL PUBLISHING、2014年9月、第509−523頁、 MATSUMOTO,TAKASHI、HASHIMOTO,SHO、OKUDE,NAOHITO 「PILEUS THE INTERNET−READY UMBRELLA:FULL−EMBODIED WEB IN A REAL SPACE」、PROCEEDINGS OF THE 4TH INTERNATIONAL CONFERENCE ON MOBILE TECHNOLOGY,APPLICATION AND THE 1ST INTERNATIONAL SYMPOSIUM ON COMPUTER HUMAN INTERACTION IN MOBILE TECHNOLOGY、ACM、2007年、全8頁
本発明の目的は、別の空間の視界(view)を視聴者に提供するための放射状ディスプレイを含む、パノラマポータルのためのビデオシステム及びプログラムを提供することである。
本発明の第一の態様は、放射状ディスプレイと、前記放射状ディスプレイを管理するように構成された装置と、を備え、前記装置は、受信した画像を別の画像に変換することと、前記別の画像を前記放射状ディスプレイ上に表示することと、を行うように構成されたプロセッサを備える、システムである。
本発明の第二の態様は、第一の態様のシステムであって、前記受信した画像が、正距円筒図法画像である。
本発明の第三の態様は、第二の態様のシステムであって、正距円筒図法画像を生成し、前記正距円筒図法画像を前記受信した画像として提供するように構成されたパノラマカメラをさらに備える。
本発明の第四の態様は、第一の態様のシステムであって、前記受信した画像が球状の画像表示であり、前記プロセッサは、前記受信した画像を、前記放射状ディスプレイ上に投影されることになる環状画像に変換することを通して、前記受信した画像を前記別の画像に変換するように構成され、前記プロセッサは、前記環状画像を前記放射状ディスプレイ上に投影することを通して、前記別の画像を前記放射状ディスプレイ上に表示するように構成されている。
本発明の第五の態様は、第四の態様のシステムであって、球状の画像表示を形成し、前記球状の画像表示を前記受信した画像として提供するように構成されたカメラをさらに備える。
本発明の第六の態様は、第一の態様のシステムであって、前記放射状ディスプレイが円錐状の放射状ディスプレイであり、前記システムは、前記円錐状の放射状ディスプレイ上に下向きに投影するように構成されたプロジェクタをさらに備え、前記円錐状の放射状ディスプレイは、前記円錐状の放射状ディスプレイのより広い部分が、前記円錐状の放射状ディスプレイのより狭い部分よりも前記プロジェクタからさらに離れているように配向されており、前記プロセッサは、前記プロジェクタが前記別の画像を、前記より狭い部分よりも前記より広い部分に対して、より高い強度で投影するように前記プロジェクタを使用することを通して、前記別の画像を前記円錐状の放射状ディスプレイ上に表示するように構成されている。
本発明の第七の態様は、第一の態様のシステムであって、前記放射状ディスプレイが円錐状の放射状ディスプレイであり、前記システムは、前記円錐状の放射状ディスプレイ内に配置されたプロジェクタをさらに備え、前記円錐状の放射状ディスプレイは、前記円錐状の放射状ディスプレイのより狭い部分が、前記円錐状の放射状ディスプレイのより広い部分よりも前記プロジェクタからさらに離れているように配向されており、前記プロセッサは、前記プロジェクタの使用を通して、前記別の画像を前記円錐状の放射状ディスプレイ上に表示するように構成されている。
本発明の第八の態様は、第一の態様のシステムであって、前記放射状ディスプレイは、前記プロセッサによって提供された正距円筒図法画像の画素を直接描画するように構成された、湾曲しているか可撓性のディスプレイである。
本発明の第九の態様は、第一の態様のシステムであって、前記システムが、前記放射状ディスプレイに取り付けられたカメラをさらに備え、前記受信した画像が、以前に前記カメラから受信した画像を含む。
本発明の第十の態様は、第一の態様のシステムであって、前記放射状ディスプレイ上の前記別の画像の投影を回転するように構成されたインターフェースをさらに備える。
本発明の第十一の態様は、第1の放射状ディスプレイと、前記第1の放射状ディスプレイに結合され、第1の画像を受信するように構成されている、第1のカメラと、第2の放射状ディスプレイと、前記第2の放射状ディスプレイに結合され、第2の画像を受信するように構成されている、第2のカメラと、前記第2の画像を第1の環状画像に変換することと、前記第1の環状画像を前記第1の放射状ディスプレイ上に投影することと、前記第1の画像を第2の環状画像に変換することと、前記第2の環状画像を前記第2の放射状ディスプレイ上に投影することと、を行うように構成されたプロセッサを備える管理システムと、を備えるシステムである。
本発明の第十二の態様は、第十一のシステムであって、前記第1の画像と前記第2の画像との少なくとも一方が正距円筒図法画像であり、前記第1のカメラと前記第2のカメラとの少なくとも一方がパノラマカメラである。
本発明の第十三の態様は、第十一のシステムであって、前記第1の画像と前記第2の画像との少なくとも一方が球状の画像表示であり、前記プロセッサが、前記球状の画像表示の前記環状画像への変換を通して、前記第1の画像と前記第2の画像との少なくとも一方を環状画像に変換するように構成されている。
本発明の第十四の態様は、第十一のシステムであって、前記第1の放射状ディスプレイが円錐状の放射状ディスプレイであり、前記システムが、前記円錐状の放射状ディスプレイ上に下向きに投影するように構成されたプロジェクタをさらに備え、前記円錐状の放射状ディスプレイは、前記円錐状の放射状ディスプレイのより広い部分が、前記円錐状の放射状ディスプレイのより狭い部分よりも前記プロジェクタからさらに離れているように配向されており、前記プロセッサは、前記プロジェクタが前記第1の環状画像を、前記より狭い部分よりも前記より広い部分に対して、より高い強度で投影するように前記プロジェクタを使用することを通して、前記第1の環状画像を前記円錐状の放射状ディスプレイ上に投影するように構成されている。
本発明の第十五の態様は、第十一のシステムであって、前記第1の放射状ディスプレイが背面投影の円錐状の放射状ディスプレイであり、前記システムが、前記円錐状の放射状ディスプレイ内に配置されているプロジェクタをさらに備える。
本発明の第十六の態様は、第十一のシステムであって、前記第1の放射状ディスプレイは、前記環状画像を表示するように前記プロセッサによって駆動されるように構成された、対称な放射状ディスプレイである。
本発明の第十七の態様は、第十一のシステムであって、前記第1のカメラが、前記第1の画像をライブ・ストリーミング・ビデオとして前記管理システムに提供するように構成され、前記第2のカメラが、前記第2の画像をライブ・ストリーミング・ビデオとして前記管理システムに提供するように構成され、前記第1の環状画像が、前記第1のカメラの前記ライブ・ストリーミング・ビデオの、360度のライブ・ビデオ・ストリームから生成され、前記第2の環状画像が、前記第2のカメラの前記ライブ・ストリーミング・ビデオの、360度のライブ・ビデオ・ストリームから生成される。
本発明の第十八の態様は、第十一のシステムであって、前記第1の放射状ディスプレイ上の前記第1の環状画像の投影を回転させるように構成された第1のインターフェースと、前記第2の放射状ディスプレイ上の前記第2の環状画像の投影を回転させるように構成された第2のインターフェースと、をさらに備える。
本発明の第十九の態様は、コンピュータに、受信した画像を別の画像に変換することと、前記別の画像を放射状ディスプレイ上に表示することと、を実行させるためのプログラムである。
本発明の第二十の態様は、コンピュータに、第1の放射状ディスプレイに結合された第1のカメラから、第1の画像を受信することと第2の放射状ディスプレイに結合された第2のカメラから、第2の画像を受信することと、前記第2の画像を第1の環状画像に変換することと、 前記第1の環状画像を前記第1の放射状ディスプレイ上に投影することと、前記第1の画像を第2の環状画像に変換することと、前記第2の環状画像を前記第2の放射状ディスプレイ上に投影することと、を実行させるためのプログラムである。
本発明によれば、別の空間の視界(view)を視聴者に提供するための放射状ディスプレイを含む、パノラマポータルのためのビデオシステム及びプログラムが提供される。
例示的実施態様に係る、多方向パノラマワームホールの例示的システムの実施態様を示す図である。 例示的実施態様で利用可能である例示的カメラを示す図である。 例示的実施態様に係る、例示的球状ディスプレイ及び円筒状ディスプレイを示す図である。 例示的実施態様に係る、例示的フローを示す図である。 円錐面上の、前面投影及び背面投影を伴う例示的実施態様を示す図である。 例示的実施態様に係る、例示的ディスプレイ形状を示す図である。 いくつかの例示的実施態様における使用に適切な例示的コンピュータ装置の例示的コンピュータ環境を示す図である。
以下の詳細な説明は、本出願の図および例示的実施態様をさらに詳細に示している。各図間における重複する要素の参照符号および記載は、明確化のために省略している。本記載を通して使用される用語は、例として提供されるものであり、限定を意図するものではない。たとえば、「自動(automatic)」との用語の使用は、本出願の実施態様を実行する当業者の所望の実施態様に応じて、完全に自動であるか、一定の実施態様にわたるユーザまたは管理者の制御を伴う半自動である実施態様を伴ってもよい。選択は、ユーザインターフェースまたは他の入力手段を通してユーザによって行われ得るか、所望のアルゴリズムを通して実施され得る。本明細書に記載の例示的実施態様は、単一で、または、組み合わせて利用することができ、また、例示的実施態様の機能は、所望の実施態様に係る任意の手段により、実施され得る。
例示的実施態様は、カメラ、ディスプレイ、および1つまたは複数のプロセッサを含むシステムを含む、パノラマポータルに関する。例示的実施態様では、ポータルは、別の空間の視界を視聴者に提供する装置である。本開示では、パノラマビデオは、「経度」(方位角の)方向における360度の視野をカバーするビデオを伴い得る。ビデオは、x(水平)軸が経度(またはヨー)に対応し、y軸が緯度(またはピッチ)に対応する、「正距円筒図法(equirectangular)」の画像によって表されるとともに伝送され得る。パノラマ・ビデオ・ポータルは、パノラマカメラを利用し、パノラマビデオの適切な表示方法を促進する。このことは、様々な別個の使用場面に利用できる。
本開示の例示的実施態様は、パノラマポータルの目的のために、円筒状、円錐状、球状、または他の放射状のディスプレイを伴い、また、相互関係および認識性をサポートするための、これらディスプレイの使用方法を含んでいる。
本明細書に記載の例示的実施態様は、湾曲しているか可撓性の有機発光ダイオード(OLED)などの可撓性ディスプレイで実施することができるが、放射状の投影面上への、前面投影または背面投影として実施することもできる。
本明細書に記載の例示的実施態様は、実質的に360度のビデオの場合の相互関係を提供するためのシステムおよび方法を含んでいる。従来技術のビデオの小窓(porthole)およびビデオ会議の方法は、そのような相互関係を提供していない。例示的実施態様は、遠隔に位置する視聴者を表示し、視聴者が、ライブストリーミングされている360度のビデオストリーム内のどこを見ているかを示すようにさらに構成することができる。
本明細書に記載の例示的実施態様は、場合によってはスワイプのジェスチャによって、または自動的方法によって、視界を回転させることができるインターフェースを伴うこともできる。本明細書に記載の例示的実施態様は、遠隔の参加者に、その参加者がどこを見ているかを、移動機構を必要とすることなく示すように構成することができ、また、ポータブル・テレプレゼンス装置のための安定した表示を提供するように構成され得る。
図1は、例示的実施態様に係る、双方向パノラマワームホールの例示的システムの実施態様を示す図である。例示的実施態様では、ワームホールは、2つの遠隔空間の視聴者に、互いの空間を見ることを許容する双方向ポータルである。例示的システムには、放射状ディスプレイ100およびパノラマカメラ101が存在する。ビデオ伝送102は、パノラマカメラ101から、対応するもう片方の放射状ディスプレイ100に伝送される。図1の例では、1つの位置におけるパノラマカメラとディスプレイとは、別の位置のカメラとディスプレイとに接続されている。1つの位置におけるポータル周りの人々は、ポータルを通して遠隔の位置を見、また、その遠隔のポータル周りの人々を見ることができ、その逆もあり得る。例示的実施態様では、各放射状ディスプレイ100は、相互に遠隔の位置に配置され、各放射状ディスプレイ100間のビデオ表示を可能とするように図7に記載のシステムによって管理される。
別の例示的実施態様では、双方向のパノラマ・ワームホール・システムの代わりに、単一のパノラマポータルを利用することができる。そのような例示的実施態様では、多くの位置に遠隔の視聴者が存在し、移動機器、ラップトップ、ウェブブラウザなどで見ていてもよい。そのような例示的実施態様は、パノラマカメラおよび放射状ディスプレイを有する1つの空間的位置と、潜在的に多数の他の視聴者とを含む、一対多数の構成を可能とする。
そのような構成では、遠隔の人々のインジケータが、ポータル上に配置され、その人々がどこを見ているかを示すことができる。そのようなインジケータは、遠隔の人々がどこを見ているかを示す点またはボックスなどのインジケータを含んでもよいし、遠隔の視聴者(たとえば、視聴者の顔)の写真またはライブビデオでさえあってもよい。
別の例示的実施態様では、放射状ディスプレイが、同じ位置におけるカメラからのライブビデオを表示する、ミラーリングを実施してもよい。そのような実施態様は、ビデオを記録しつつ、利用することができる。そのような実施態様は、記録中のミーティングなどのポータルの近位での活動、または、ダンスなどの公共もしくは芸術イベントが存在する状況で使用することができる。360度のカメラを有するスタジアムの例示的実施態様では、そのようなビデオの供給を利用して、スポーツのイベントが行われているスタジアム全体を表示することができ、それにより、ユーザが、カメラの位置から任意の所望の方向でスポーツイベントを見ることを可能にしている。
別の例示的実施態様では、記録されているプレイバックに関するものなど、非同時性の実施態様も利用することができる。ポータルは、以前に記録されたローカルのまたは遠隔のパノラマビデオを表示することができる。人々がポータルを見ているか、ポータルと相互作用していることから、人々を記録することもできる。そのような実施態様は、数人のダンサーが記録されており、そして後で他のダンサー(または同じダンサー)がダンスに参加する形態でのダンスのような、非同時性の活動をサポートすることもできる。
例示的実施態様では、ディスプレイがソフトウェア内で回転され、スピンエフェクトを提供することができ、それにより、遠隔の視聴者が仮想的に別の位置に移動することができるようになっている。そのような実施態様は、タッチ感応性表面または、追跡のためのRGB奥行きセンサなどのスキームのいずれかを使用する、「スワイプ」のジェスチャの検出を伴い得る。
別の例示的実施態様では、ディスプレイは、追跡または他のビデオ分析に基づく回転を導入することもできる。たとえば、1人の人間がローカルのポータルを見て、遠隔の空間の別の人間を見ている場合、各人が移動するにつれて回転を適用することができ、それにより、その人々が、ディスプレイを見る間、互いに見続けるようになっている。別の例示的実施態様では、視線(eye gaze)の検出を利用して、関心のある領域を判定することができる。たとえば、誰かが、ディスプレイの、その者に対して中心ではない部分を見ている場合、ある時間の後に、ディスプレイは、明らかに関心のある領域を視聴者の近くにもってくるように回転することができる。
図2(a)から図2(d)は、例示的実施態様で利用可能である例示的カメラを示す図である。ビデオは、360度のカメラで収集される。そのようなカメラの例は、図2(a)に示すような反射屈折カメラを含むことができる。図2(b)は、例示的な魚眼レンズシステムを示している。図2(c)は、例示的なパノラマ・カメラ・システムを示している。図2(d)は、正距円筒図法画像を有効にするドライバを含み得る、例示的ライブ・ストリーミング・カメラを示している。そのような画像は、所望の実施態様に応じて、ローカルで提供され得るか、画像プロトコルを使用してブロードキャストされ得る。そのような画像は、後のプレイバック、および、やはり記録のすぐ後のプレイバックのために保存することもできる。所望の実施態様に応じて、適切なソフトウェア実装によって、いずれのカメラも、相互に交換可能に、かつ、複数のカメラのタイプにわたって、使用され得る。
例示的実施態様では、正距円筒図法画像が、球などの幾何学形状上にテクスチャマッピングされて、3次元シーンが形成される。仮想カメラは、回転して、任意の角度の視界を提供する。遠隔のユーザは、パノラマビデオを、マウス、移動装置の向き、またはヘッド・マウント・ディスプレイに基づく、高度な応答性のパニング(panning)で、標準的な斜視画像として見ることができる。各視聴者が見ている方向は、他の視聴者、または特別のディスプレイモードに、socket.ioメッセージを使用して報告される。例示的実施態様では、図6(a)から図6(d)に示すように、カメラが、例示的実施態様の放射状ディスプレイに取り付けられて、放射状ディスプレイを囲む領域の360度の視界が取り込まれ得る。
図3(a)から図3(f)は、例示的実施態様に係る、例示的球状および円筒状ディスプレイを示す図である。具体的には、図3(a)から図3(c)は、マルチタッチ球状ディスプレイ、OLED球状ディスプレイ、または球面ディスプレイなどの例示的球状ディスプレイを示している。図3(d)から図3(f)は、LED円筒状ディスプレイなどの、例示的円筒状ディスプレイを示している。例示的実施態様では、そのようなディスプレイは、管理システムまたは装置によって駆動して、本明細書に記載のような、パノラマ画像を表示することができる。
図4(a)は、例示的実施態様に係る、例示的フローを示す図である。具体的には、図4(a)は、例示的フローを示しており、球状カメラ401から受信したビデオが正距円筒図法画像に変換され、次いで、たとえばブロードキャスト、ストリーミング、または記録などの処理がされている。ビデオは次いで、正距円筒図法画像を適切な放射状ディスプレイにマッピングすることによって表示される。放射状ディスプレイは、受信した画像を直接表示するために、LEDまたは他のアクティブディスプレイ材料で形成することができる。代替的には、正距円筒図法画像は、環状画像にマッピングされ、プロジェクタにより、ディスプレイ面上に投影され得る。投影の実施態様では、放射状の表面を、円錐、半球などの物理的な放射状表面とすることができる。
図4(a)に記載の例示的実施態様では、球状カメラ401は、球状の入力画像表示402として画像を記録する。球状の入力画像表示は、次いで、任意の所望の実施態様を通して環状画像404に変換される。環状画像404は次いで、放射状ディスプレイ405によって表示されるか、プロジェクタ406を通して放射状ディスプレイ405上に投影される。例示的実施態様では、球状の入力画像表示402は、正距円筒図法画像、または、カメラおよび所望の実施態様に応じて、デュアル魚眼画像、キューブ・マップ画像などの球状の画像を表現し得る他の画像を提供するように構成されたカメラによって提供され得る。
例示的実施態様では、下向きの投影は、放射状ディスプレイ405の上方に取り付けられたプロジェクタから利用することができるが、本開示は、そのような実施態様に限定されない。他の例示的実施態様は、フロア上または放射状ディスプレイ405内の、上方を向いたプロジェクタを伴うことができ、ポリエチレンなどの適切な背面投影面の後方側に投影するように構成されている。たとえば、背面投影は、プラスチックの円錐などの、放射状ディスプレイ面の内側への、小さいポータブルプロジェクタを使用して実施することができる。図5(a)および図5(b)は、円錐面上の、前面投影と背面投影とをそれぞれ伴う例示的実施態様を示す図である。
図4(a)の例示的フローに示すように、カメラ401は、402で示すように、球状の入力画像表示の形態で記録された画像を球上に投影する。球状の入力画像表示402は、環状画像404にラップ(wrap)され、たとえば、球状の入力画像表示402の頂部が内側の円になり、底部が外側の円になる。そのような実施態様では、放射状ディスプレイ405上に下向きに投影された画像は、放射状ディスプレイ405の頂部が画像の頂部を表示し、外側が底部であるように処理される。しかし、プロジェクタの位置は、本明細書に述べられているように、他の位置であってもよく、所望の実施態様に応じて配置することができる。
図4(b)は、例示的実施態様に係る、例示的フローを示す図である。具体的には、図4(b)は、パノラマ画像を記録するように構成されたカメラ、セキュリティカメラ、または、所望の実施態様に応じた他のカメラなどの、正距円筒図法画像を記録するとともに提供するように構成されたカメラ410を伴う例を示している。そのような場合、正距円筒図法画像403は、所望の実施態様を通して、環状画像404に変換することができる。
さらなる例示的実施態様では、歪んだOLEDディスプレイまたは所望の実施態様に応じた他の構成を通して、放射状ディスプレイ405が正距円筒図法画像を受信および表示するように構成されている場合、プロジェクタ406は省略されてもよい。たとえば、小さな湾曲したOLEDディスプレイを使用して、持ち運び可能な形態のパノラマポータルを形成することができる。
図5(a)および図5(b)は、円錐面上の、前面投影と背面投影とをそれぞれ含む例示的実施態様を示す図である。図5(a)の例に示すように、プロジェクタは、放射状ディスプレイの上方に配置され、下向きに投影する。図5(b)の背面投影の例では、プロジェクタは、放射状ディスプレイ内に配置され、放射状ディスプレイに向けて外向きに投影する。
例示的実施態様では、所望の実施態様に応じて、様々なディスプレイ表面形状を使用することができる。図6(a)から図6(d)は、例示的実施態様に係る、例示的ディスプレイ形状を示す図である。例示的ディスプレイ形状の各々は、環状画像を投影することができる対称的な放射状形状を含む。図6(a)の例では、形状は、ポール上にカメラを有する、凸状の構成である。図6(b)の例では、ディスプレイは、遠隔の視聴者の見ている方向を提供するように構成されている。図6(c)の例では、形状は、半球形状の部分を伴う、凸状表面である。図6(d)の例では、ディスプレイは、凹状の円錐表面であり、視聴者がディスプレイを見下ろすことができる。所望の実施態様に応じて、凹状のケースは、いくつかの用途に関し、より良好な空間的配向を与えることができるが、この理由は、所与のヨー方向を見る人が、その方向におけるカメラからの視界に整列され得るためである。同様に、投影がボール形状に対するものであり、人がボール内を見下ろしている場合、歪曲の少ない視界が達成可能である。
球状のビデオが球の中心から球の内側表面に投影され、中心付近から見られる場合、比較的歪曲していない視界が、任意の方向において見るシーンとなり得る。完全なビデオを提供するための他の方法により、放射状ディスプレイ上へのビデオの任意の投影を含む、ある種の歪曲が形成されることになる。しかし、ユーザは傾いているか歪曲した画像を見ることと、画像を理解することとができることを示し、そのため、そのような歪曲は依然として、所望の実施態様に応じて許容可能である。たとえば、プロジェクタを伴う、シリンダなどの対称的な放射状の形状では、複数のプロジェクタが、歪曲が低減された放射状ディスプレイを提供するのに必要とされることになる。しかし、プロジェクタを含む円錐状の放射状ディスプレイの例示的実施態様では、円錐状の放射状形状が、環状画像の、比較的歪曲していない視界を提供することができることから、単一のプロジェクタのみが、環状画像を投影するのに必要とされる。
図7は、たとえば図3(a)から図3(f)もしくは図5(a)および図5(b)に示す放射状ディスプレイ、または、各々が図1に示すカメラを有する複数の放射状ディスプレイを管理するように構成された装置または管理システムなどの、いくつかの例示的実施態様における使用に適切な例示的コンピュータ装置の例示的コンピュータ環境を示す図である。
コンピュータ環境700におけるコンピュータ装置705は、1つまたは複数の処理ユニット、コア、またはプロセッサ710、メモリ715(たとえば、RAM、ROMなど)、内部ストレージ720(たとえば、磁気ストレージ、光学ストレージ、固体ストレージ、および/もしくは有機ストレージ)、ならびに/または、I/Oインターフェース725を含むことができる。これらのうちの任意のものは、情報通信のために通信機構またはバス730上に結合するか、コンピュータ装置705に埋め込むことができる。I/Oインターフェース725は、所望の実施態様に応じて、カメラから画像を受信するか、プロジェクタまたはディスプレイに画像を提供するように構成することもできる。
コンピュータ装置705は、入力/ユーザインターフェース735および出力装置/インターフェース740に通信するように結合することができる。入力/ユーザインターフェース735と出力装置/インターフェース740とのいずれか一方または両方は、有線または無線インターフェースとすることができるか、取外し可能とすることができる。入力/ユーザインターフェース735は、入力を提供するのに使用することができる任意の装置、構成要素、センサ、または、物理もしくは仮想インターフェース(たとえば、ボタン、タッチスクリーンインターフェース、キーボード、ポインティング/カーソルコントロール、マイク、カメラ、点字、モーションセンサ、光学リーダなど)を含んでもよい。出力装置/インターフェース740は、ディスプレイ、テレビ、モニタ、プリンタ、スピーカ、点字などを含んでもよい。いくつかの例示的実施態様では、入力/ユーザインターフェース735および出力装置/インターフェース740は、コンピュータ装置705に埋め込むことができるか、物理的に結合することができる。他の例示的実施態様では、他のコンピュータ装置が、コンピュータ装置705に関して、入力/ユーザインターフェース735および出力装置/インターフェース740として機能するか、入力/ユーザインターフェース735および出力装置/インターフェース740の機能を提供する場合がある。
コンピュータ装置705の例には、限定ではないが、高度に移動性の機器(たとえば、スマートフォン、自動車および他の機械の装置、人間または動物に搭載される装置など)、移動機器(たとえば、タブレット、ノート、ラップトップ、パーソナルコンピュータ、ポータブルテレビ、ラジオなど)、ならびに、移動用には設計されていない機器(たとえば、デスクトップコンピュータ、他のコンピュータ、情報キオスク、1つまたは複数のプロセッサが内部に埋め込まれ、かつ/または結合されたテレビ、ラジオなど)が含まれ得る。
コンピュータ装置705は、同じまたは異なる構成の1つまたは複数のコンピュータ装置を含む、ネットワーク化された任意の数の構成要素、装置、およびシステムと通信するために、外部ストレージ745およびネットワーク750に(たとえばI/Oインターフェース725を介して)通信するように結合することができる。コンピュータ装置705または任意の接続されたコンピュータ装置は、サーバ、クライアント、シンサーバ(thin server)、汎用機械、特定用途の機械、またはその他の装置として機能するか、サービスを提供するか、または呼ばれる場合がある。
I/Oインターフェース725は、限定ではないが、少なくとも、コンピュータ環境700において接続された構成要素、装置、およびネットワークすべてに情報を通信し、かつ/またはこれらから情報を通信するための、任意の通信もしくはI/Oプロトコル、または規格(たとえば、イーサネット(登録商標)、802.11x、ユニバーサル・システム・バス、WiMax、モデム、セルラ・ネットワーク・プロトコルなど)を使用する有線および/または無線インターフェースを含み得る。ネットワーク750は、任意のネットワークまたはネットワークの組合せ(たとえば、インターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、電話ネットワーク、セルラネットワーク、衛星ネットワークなど)とすることができる。
コンピュータ装置705は、一時的媒体および非一時的媒体を含み、コンピュータで使用可能であるか、コンピュータで読取り可能な媒体を使用し、かつ/または使用して通信することができる。一時的媒体には、伝送媒体(たとえば、金属ケーブル、光ファイバ)、信号、搬送波などが含まれる。非一時的媒体には、磁気媒体(たとえば、ディスクおよびテープ)、光学媒体(たとえば、CD ROM、デジタル・ビデオ・ディスク、ブルーレイディスク)、固体媒体(たとえば、RAM、ROM、フラッシュメモリ、固体ストレージ)、ならびに、他の不揮発性ストレージまたはメモリが含まれる。
コンピュータ装置705は、いくつかの例示的なコンピュータ環境において、技術、方法、アプリケーション、プロセス、またはコンピュータで実行可能な命令を実施するのに使用することができる。コンピュータで実行可能な命令には、一時的媒体から検索することができるか、非一時的媒体に記憶するか、検索することができる。実行可能な命令は、任意のプログラミング言語、スクリプト言語、および機械言語(たとえば、C、C++、C#、Java(登録商標)、Visual Basic、Python、Perl、JavaScript(登録商標)など)の1つまたは複数を元にすることができる。
プロセッサ(複数の場合もある)710は、ネイティブであるか、仮想の環境で、任意のオペレーティングシステム(OS)(図示せず)の下で実行することができる。論理ユニット760、アプリケーション・プログラミング・インターフェース(API)ユニット765、入力ユニット770、出力ユニット775、ならびに、様々なユニットが互いと、OSと、および他のアプリケーション(図示せず)と通信するためのユニット間通信機構795を含む、1つまたは複数のアプリケーションを展開することができる。記載のユニットおよび要素は、設計、機能、構成、または実施態様を変更することができ、提供された記載には限定されない。
いくつかの例示的実施態様では、情報または実行命令がAPIユニット765によって受信されると、APIユニット765は、1つまたは複数の他のユニット(たとえば、論理ユニット760、入力ユニット770、出力ユニット775)に通信する場合がある。いくつかの例では、論理ユニット760は、上述のいくつかの例示的実施態様において、各ユニット間で情報フローを制御し、APIユニット765、入力ユニット770、出力ユニット775によって提供されるサービスを向けるように構成され得る。たとえば、1つまたは複数のプロセスまたは実施態様のフローは、論理ユニット760単独か、APIユニット765との組合せによって制御される場合がある。入力ユニット770は、例示的実施態様に記載の計算のための入力を得るように構成される場合があり、また、出力ユニット775は、例示的実施態様に記載の計算に基づく出力を提供するように構成され得る。
例示的実施態様では、プロセッサ(複数の場合もある)710は、図4(a)または図4(b)に示すように、受信した画像を環状画像に変形し、この環状画像を放射状ディスプレイに投影するように構成することができる。受信した画像は、図4(b)に示すように、正距円筒図法またはパノラマ画像を記録するように構成されたパノラマカメラによって提供され、記録した正距円筒図法画像を、受信した画像として提供することができる、正距円筒図法画像とすることができる。受信した画像は、図4(a)に示すように、正距円筒図法、魚眼、または他の画像表示を記録し、記録した画像表示を受信した画像として提供するように構成されたカメラによって提供され得る、球状の入力画像表示とすることもできる。そのような例示的実施態様では、プロセッサ(複数の場合もある)は、球状の画像表示から受信した画像を、図4(a)に示すように、環状画像に変換するように構成することができる。
1つの例示的実施態様は、図4(a)および図5(a)に示すように、円錐状の放射状ディスプレイを使用し、プロジェクタが、円錐状の放射状ディスプレイ上に下向きに投影するのに利用され、円錐状の放射状ディスプレイが、円錐状の放射状ディスプレイのより広い部分が、円錐状の放射状ディスプレイの狭い部分よりもプロジェクタから離れているように、配向されており、プロセッサ(複数の場合もある)710が、プロジェクタの使用を通して、環状画像を円錐状の放射状ディスプレイ上に投影するように構成され得、それにより、プロジェクタが環状画像を、狭い部分よりも、より広い部分に対して高強度で投影するようになっている。この方式で、プロジェクタは、光強度が、より遠い領域において、円錐状の放射状ディスプレイの頂部に比べて弱まる場合があることから、円錐状の放射状ディスプレイのより広い部分において、より高い光強度で環状画像の外側部分を投影して、ディスプレイ全体を一様な光強度に維持している。
別の例示的実施態様では、プロジェクタは、たとえば図5(b)に示すように、円錐状の放射状ディスプレイ内に位置して、背面投影を提供する。そのような例では、円錐状の放射状ディスプレイは、図5(b)に示すように、円錐状の放射状ディスプレイのより狭い部分が、円錐状の放射状ディスプレイのより広い部分よりもプロジェクタから離れているように配向されている。
例示的実施態様では、図3(a)から図3(f)および図6(a)から図6(d)に示すように、他の対称な放射状ディスプレイも可能であり、プロセッサ(複数の場合もある)710によって駆動されるように構成することができる。そのような例示的実施態様では、プロセッサ(複数の場合もある)710は、対称な放射状ディスプレイの駆動を通して、環状画像を放射状ディスプレイ上に投影して、環状画像を表示するように構成され得る。
所望の実施態様に応じて、図2(a)から図2(d)に示すカメラなどのカメラは、放射状ディスプレイに取り付けることができ、受信された画像は、カメラからの、前に記録された画像を含み、それにより、カメラによって見られたすべてのプレイバックを提供する。
所望の実施態様に応じて、インターフェースは、放射状ディスプレイ上の環状画像の投影を回転させるように提供され得る。そのようなインターフェースは、ジェスチャに基づき得るか、放射状ディスプレイを回転させるように構成された物理的装置であり得るか、所望の実施態様に応じて、プロジェクタまたはプロセッサ(複数の場合もある)710によって自動的に行われ得る。
管理システムの例示的実施態様では、図1に示すように、管理システムは、第1の放射状ディスプレイと、この第1の放射状ディスプレイに取り付けられた第1のカメラであって、第1の画像を記録するように構成されている、第1のカメラと、第2の放射状ディスプレイと、この第2の放射状ディスプレイに取り付けられた第2のカメラであって、第2の画像を記録するように構成された第2のカメラと、を有する、第1のパノラマポータルを管理することができる。第1のパノラマポータルと第2のパノラマポータルとは、ローカル・エリア・ネットワーク(LAN)、ワイド・エリア・ネットワーク(WAN)、インターネットにわたってなど、任意の所望の実施態様によって通信するように結合することができる。
管理システムの例示的実施態様では、プロセッサ(複数の場合もある)710は、図1に示すように、第1のパノラマポータルと第2のパノラマポータルとの間のビデオストリーミングを促進するように構成することができ、また、図1に示すように、図4(a)および図4(b)に示すフローを通して、第2の画像を第1の環状画像に変換し、第1の環状画像を第1の放射状ディスプレイに投影し、第1の画像を第2の環状画像に変換し、第2の環状画像を第2の放射状ディスプレイに投影するように構成することができる。所望の実施態様に応じて、第1の画像と第2の画像との少なくとも一方または両方は、図1に示すように、第1の放射状ディスプレイと第2の放射状ディスプレイとの少なくとも一方に取り付けられたパノラマカメラによって提供される、正距円筒図法画像である。
所望の実施態様に応じて、第1の画像と第2の画像との少なくとも一方は、図1に示すように、第1の放射状ディスプレイと第2の放射状ディスプレイとの少なくとも一方に取り付けられたカメラによって提供される、球状の画像表示とすることができる。そのような例示的実施態様では、プロセッサ(複数の場合もある)は、図4(a)に示すように、第1の画像と第2の画像との少なくとも一方を、球状の画像表示の環状画像への変換を通して、環状画像に変換するように構成することができる。
所望の実施態様に応じて、放射状ディスプレイの少なくとも一方または両方は、円錐状の放射状ディスプレイとすることができ、プロジェクタは、図5(a)に示すように、円錐状の放射状ディスプレイ上に下向きに投影するように構成することができる。円錐状の放射状ディスプレイは、円錐状の放射状ディスプレイのより広い部分が、円錐状の放射状ディスプレイのより狭い部分よりもプロジェクタから離れているように、配向されてもよく、プロセッサ(複数の場合もある)710が、プロジェクタの使用を通して、第1の環状画像を円錐状の放射状ディスプレイ上に投影するように構成され得、それにより、プロジェクタが、第1の環状画像を、狭い部分よりもより広い部分に対して高強度で投影するようになっている。この方式で、プロジェクタは、光強度が、より遠い領域において、円錐状の放射状ディスプレイの頂部に比べて弱まる場合があることから、円錐状の放射状ディスプレイのより広い部分において、より高い光強度で環状画像の外側部分を投影して、ディスプレイ全体を一様な光強度に維持している。
所望の実施態様に応じて、放射状ディスプレイの少なくとも一方は、円錐状の放射状ディスプレイとすることができ、図5(b)に示すように、プロジェクタが円錐状の放射状ディスプレイ内に配置されており、円錐状の放射状ディスプレイは、円錐状の放射状ディスプレイのより狭い部分が、円錐状の放射状ディスプレイのより広い部分よりもプロジェクタから離れているように配向されている。
管理システムの例示的実施態様では、放射状ディスプレイのいくつかまたはすべてが、プロセッサ(複数の場合もある)710によって駆動されて、図3(a)から図3(f)に示すような環状画像を表示するように構成された対称な放射状ディスプレイとすることができる。
図1の管理システムにおいて、両方の放射状ディスプレイのためのカメラは、管理システムへのライブ・ストリーミング・ビデオとして画像を提供するように構成することができ、環状画像は、他の放射状ディスプレイのカメラによって提供される360度のライブビデオのストリーミングとして、360度のライブ・ストリーミング・ビデオの形態での、放射状ディスプレイ間の会議および通信を促進することができる。各放射状ディスプレイは、放射状ディスプレイ上の第1の環状画像の投影を回転させるように構成されたインターフェースを含むこともできる。そのようなインターフェースは、ジェスチャに基づき得るか、放射状ディスプレイを回転させるように構成された物理的装置であり得るか、所望の実施態様に応じて、プロジェクタまたはプロセッサ(複数の場合もある)710によって自動的に行われ得る。
詳細な説明のいくつかの部分は、コンピュータ内のオペレーションのアルゴリズムおよび象徴的な表示に関して与えられている。これらアルゴリズムの記載および象徴的表示は、データ処理の当業者により、それらの革新の本質を他の当業者に伝えるために使用される手段である。アルゴリズムは、所望の最終状態または結果に繋がる、規定の一連のステップである。例示的実施態様では、実施されるステップは、実質的な結果を得るための実質的な量の物理的操作を必要としている。
特に別様に述べられていない限り、記載から明確であるように、本記載を通して、「処理(processing)」、「計算(computing)」、「計算(calculating)」、「判定(determining)」、「表示(displaying)」などの用語を利用する議論は、コンピュータシステムのレジスタおよびメモリ内の物理的(電子的)量として表示されるデータを、コンピュータシステムのメモリもしくはレジスタ、または、他の情報記憶、伝送、もしくは表示装置内の物理的量として同様に表示される他のデータに操作および変換する、コンピュータシステムまたは他の情報処理装置の動作および処理を含み得ることを理解されたい。
例示的実施態様は、本明細書の操作を実施するための装置にも関する場合がある。この装置は、所望の目的のために特別に構成され得るか、選択的に起動されるか、1つまたは複数のコンピュータプログラムによって再構成される、1つまたは複数の汎用コンピュータを含み得る。そのようなコンピュータプログラムは、コンピュータ可読記憶媒体またはコンピュータ可読信号媒体などの、コンピュータ可読媒体に記憶され得る。コンピュータ可読記憶媒体は、限定ではないが、光学ディスク、磁気ディスク、リード・オンリ・メモリ、ランダム・アクセス・メモリ、固体装置およびドライブ、または、電子情報を記憶するのに適切である、任意の他のタイプの有形もしくは無形媒体などの有形媒体を伴ってもよい。コンピュータ可読信号媒体は、搬送波などの媒体を含んでもよい。本明細書に提供されるアルゴリズムおよびディスプレイは、固有に、特定のコンピュータまたは他の装置に関連していない。コンピュータプログラムは、所望の実施態様の操作を実行する命令を伴う、純粋なソフトウェアの実施態様を伴うことができる。
様々な汎用システムが、本明細書の例に係るプログラムおよびモジュールとともに使用され得るか、より特定の装置を構成して、所望の方法のステップを実施するのに好都合であることがわかる場合がある。さらに、例示的実施態様は、いずれの特定のプログラム言語を参照して記載されていない。様々なプログラミング言語が、本明細書に記載の例示的実施態様の教示を実施するのに使用され得ることを理解されたい。プログラミング言語(複数の場合もある)の命令は、1つまたは複数の処理装置、たとえば、中央処理装置(CPU)、プロセッサ、またはコントローラによって実施され得る。
当業者には既知であるように、上述の操作は、ハードウェア、ソフトウェア、または、ソフトウェアとハードウェアとのいくつかの組合せによって実施され得る。例示的実施態様の様々な態様が、回路および論理装置(ハードウェア)を使用して実施され得るが、他の態様は、プロセッサによって実施される場合、プロセッサに、本出願の実施態様を行うための方法を実行させる、機械読取り可能媒体(ソフトウェア)に記憶された命令を使用して実施され得る。さらに、本出願のいくつかの例示的実施態様は、ハードウェアのみによって実施され得るが、他の例示的実施態様は、ソフトウェアのみによって実施さ得る。さらに、記載の様々な機能は、単一のユニット内で実行され得るか、任意の数の方法で、複数の構成要素にわたって広げられ得る。ソフトウェアによって実施される場合、本方法は、コンピュータ可読媒体に記憶された命令に基づき、汎用コンピュータなどのプロセッサによって実行され得る。所望である場合、命令は、圧縮および/または暗号化されたフォーマットで媒体に記憶することができる。
さらに、本出願の他の実施態様は、本出願の教示の詳細および実行を考慮することから、当業者には明らかになるであろう。記載の例示的実施態様の様々な態様および/または構成要素は、単一で、または任意の組合せで使用してもよい。詳細および例示的実施態様は、例としてのみ考慮されることが意図されており、本出願の真の範囲および精神は、添付の特許請求の範囲によって示されている。

Claims (20)

  1. 放射状ディスプレイと、
    前記放射状ディスプレイを管理するように構成された装置と、を備え、
    前記装置は、
    受信した画像を別の画像に変換することと、
    前記別の画像を前記放射状ディスプレイ上に表示することと、
    を行うように構成されたプロセッサを備える、システム。
  2. 前記受信した画像が、正距円筒図法画像である、請求項1に記載のシステム。
  3. 正距円筒図法画像を生成し、前記正距円筒図法画像を前記受信した画像として提供するように構成されたパノラマカメラをさらに備える、請求項2に記載のシステム。
  4. 前記受信した画像が球状の画像表示であり、
    前記プロセッサは、前記受信した画像を、前記放射状ディスプレイ上に投影されることになる環状画像に変換することを通して、前記受信した画像を前記別の画像に変換するように構成され、
    前記プロセッサは、前記環状画像を前記放射状ディスプレイ上に投影することを通して、前記別の画像を前記放射状ディスプレイ上に表示するように構成されている、請求項1に記載のシステム。
  5. 球状の画像表示を形成し、前記球状の画像表示を前記受信した画像として提供するように構成されたカメラをさらに備える、請求項4に記載のシステム。
  6. 前記放射状ディスプレイが円錐状の放射状ディスプレイであり、前記システムは、前記円錐状の放射状ディスプレイ上に下向きに投影するように構成されたプロジェクタをさらに備え、前記円錐状の放射状ディスプレイは、前記円錐状の放射状ディスプレイのより広い部分が、前記円錐状の放射状ディスプレイのより狭い部分よりも前記プロジェクタからさらに離れているように配向されており、前記プロセッサは、前記プロジェクタが前記別の画像を、前記より狭い部分よりも前記より広い部分に対して、より高い強度で投影するように前記プロジェクタを使用することを通して、前記別の画像を前記円錐状の放射状ディスプレイ上に表示するように構成されている、請求項1に記載のシステム。
  7. 前記放射状ディスプレイが円錐状の放射状ディスプレイであり、前記システムは、前記円錐状の放射状ディスプレイ内に配置されたプロジェクタをさらに備え、前記円錐状の放射状ディスプレイは、前記円錐状の放射状ディスプレイのより狭い部分が、前記円錐状の放射状ディスプレイのより広い部分よりも前記プロジェクタからさらに離れているように配向されており、前記プロセッサは、前記プロジェクタの使用を通して、前記別の画像を前記円錐状の放射状ディスプレイ上に表示するように構成されている、請求項1に記載のシステム。
  8. 前記放射状ディスプレイは、前記プロセッサによって提供された正距円筒図法画像の画素を直接描画するように構成された、湾曲しているか可撓性のディスプレイである、請求項1に記載のシステム。
  9. 前記システムが、前記放射状ディスプレイに取り付けられたカメラをさらに備え、前記受信した画像が、以前に前記カメラから受信した画像を含む、請求項1に記載のシステム。
  10. 前記放射状ディスプレイ上の前記別の画像の投影を回転するように構成されたインターフェースをさらに備える、請求項1に記載のシステム。
  11. 第1の放射状ディスプレイと、
    前記第1の放射状ディスプレイに結合され、第1の画像を受信するように構成されている、第1のカメラと、
    第2の放射状ディスプレイと、
    前記第2の放射状ディスプレイに結合され、第2の画像を受信するように構成されている、第2のカメラと、
    前記第2の画像を第1の環状画像に変換することと、
    前記第1の環状画像を前記第1の放射状ディスプレイ上に投影することと、
    前記第1の画像を第2の環状画像に変換することと、
    前記第2の環状画像を前記第2の放射状ディスプレイ上に投影することと、
    を行うように構成されたプロセッサを備える管理システムと、
    を備えるシステム。
  12. 前記第1の画像と前記第2の画像との少なくとも一方が正距円筒図法画像であり、前記第1のカメラと前記第2のカメラとの少なくとも一方がパノラマカメラである、請求項11に記載のシステム。
  13. 前記第1の画像と前記第2の画像との少なくとも一方が球状の画像表示であり、前記プロセッサが、前記球状の画像表示の前記環状画像への変換を通して、前記第1の画像と前記第2の画像との少なくとも一方を環状画像に変換するように構成されている、請求項11に記載のシステム。
  14. 前記第1の放射状ディスプレイが円錐状の放射状ディスプレイであり、前記システムが、前記円錐状の放射状ディスプレイ上に下向きに投影するように構成されたプロジェクタをさらに備え、前記円錐状の放射状ディスプレイは、前記円錐状の放射状ディスプレイのより広い部分が、前記円錐状の放射状ディスプレイのより狭い部分よりも前記プロジェクタからさらに離れているように配向されており、前記プロセッサは、前記プロジェクタが前記第1の環状画像を、前記より狭い部分よりも前記より広い部分に対して、より高い強度で投影するように前記プロジェクタを使用することを通して、前記第1の環状画像を前記円錐状の放射状ディスプレイ上に投影するように構成されている、請求項11に記載のシステム。
  15. 前記第1の放射状ディスプレイが背面投影の円錐状の放射状ディスプレイであり、前記システムが、前記円錐状の放射状ディスプレイ内に配置されているプロジェクタをさらに備える、請求項11に記載のシステム。
  16. 前記第1の放射状ディスプレイは、前記環状画像を表示するように前記プロセッサによって駆動されるように構成された、対称な放射状ディスプレイである、請求項11に記載のシステム。
  17. 前記第1のカメラが、前記第1の画像をライブ・ストリーミング・ビデオとして前記管理システムに提供するように構成され、前記第2のカメラが、前記第2の画像をライブ・ストリーミング・ビデオとして前記管理システムに提供するように構成され、前記第1の環状画像が、前記第1のカメラの前記ライブ・ストリーミング・ビデオの、360度のライブ・ビデオ・ストリームから生成され、前記第2の環状画像が、前記第2のカメラの前記ライブ・ストリーミング・ビデオの、360度のライブ・ビデオ・ストリームから生成される、請求項11に記載のシステム。
  18. 前記第1の放射状ディスプレイ上の前記第1の環状画像の投影を回転させるように構成された第1のインターフェースと、前記第2の放射状ディスプレイ上の前記第2の環状画像の投影を回転させるように構成された第2のインターフェースと、をさらに備える、請求項11に記載のシステム。
  19. コンピュータに、
    受信した画像を別の画像に変換することと、
    前記別の画像を放射状ディスプレイ上に表示することと、
    を実行させるためのプログラム。
  20. コンピュータに、
    第1の放射状ディスプレイに結合された第1のカメラから、第1の画像を受信することと
    第2の放射状ディスプレイに結合された第2のカメラから、第2の画像を受信することと、
    前記第2の画像を第1の環状画像に変換することと、
    前記第1の環状画像を前記第1の放射状ディスプレイ上に投影することと、
    前記第1の画像を第2の環状画像に変換することと、
    前記第2の環状画像を前記第2の放射状ディスプレイ上に投影することと、
    を実行させるためのプログラム。
JP2017178021A 2017-04-28 2017-09-15 遠隔空間を接続するためのパノラマポータルのためのシステム及びプログラム Active JP6969249B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/582,402 US10356319B2 (en) 2017-04-28 2017-04-28 Panoramic portals for connecting remote spaces
US15/582,402 2017-04-28

Publications (2)

Publication Number Publication Date
JP2018189934A true JP2018189934A (ja) 2018-11-29
JP6969249B2 JP6969249B2 (ja) 2021-11-24

Family

ID=63916276

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017178021A Active JP6969249B2 (ja) 2017-04-28 2017-09-15 遠隔空間を接続するためのパノラマポータルのためのシステム及びプログラム

Country Status (2)

Country Link
US (2) US10356319B2 (ja)
JP (1) JP6969249B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110400277A (zh) * 2019-07-30 2019-11-01 北京天耀未来文旅科技有限责任公司 一种球幕几何校正系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3695593A4 (en) * 2017-10-13 2021-06-23 C360 Technologies, Inc. GENERATION OF PANORAMIC PROJECTIONS WITH MULTIPLE CAMERAS
JP2024171335A (ja) * 2023-05-29 2024-12-11 佐臻股▲分▼有限公司 スマートスペースシステム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004012477A (ja) * 2002-06-03 2004-01-15 Nippon Telegr & Teleph Corp <Ntt> 全周映像描画装置およびその方法
JP2010166235A (ja) * 2009-01-14 2010-07-29 Canon Inc Tv会議システム
US20130033650A1 (en) * 2011-08-02 2013-02-07 3M Innovative Properties Company Display system and method for projection onto multiple surfaces
JP2013054318A (ja) * 2011-09-06 2013-03-21 Nikon Corp 画像表示装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8576370B1 (en) * 2010-06-30 2013-11-05 Rockwell Collins, Inc. Systems and methods for nonplanar laminated assemblies
US8675038B2 (en) * 2010-09-28 2014-03-18 Microsoft Corporation Two-way video conferencing system
US20170363949A1 (en) * 2015-05-27 2017-12-21 Google Inc Multi-tier camera rig for stereoscopic image capture
KR20180051288A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US10186075B2 (en) * 2016-11-30 2019-01-22 Adcor Magnet Systems, Llc System, method, and non-transitory computer-readable storage media for generating 3-dimensional video images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004012477A (ja) * 2002-06-03 2004-01-15 Nippon Telegr & Teleph Corp <Ntt> 全周映像描画装置およびその方法
JP2010166235A (ja) * 2009-01-14 2010-07-29 Canon Inc Tv会議システム
US20130033650A1 (en) * 2011-08-02 2013-02-07 3M Innovative Properties Company Display system and method for projection onto multiple surfaces
JP2013054318A (ja) * 2011-09-06 2013-03-21 Nikon Corp 画像表示装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110400277A (zh) * 2019-07-30 2019-11-01 北京天耀未来文旅科技有限责任公司 一种球幕几何校正系统

Also Published As

Publication number Publication date
US20190289210A1 (en) 2019-09-19
US20180316856A1 (en) 2018-11-01
US10356319B2 (en) 2019-07-16
JP6969249B2 (ja) 2021-11-24
US10778891B2 (en) 2020-09-15

Similar Documents

Publication Publication Date Title
JP7715305B2 (ja) プログラム、表示を提供する方法、通信端末および画像通信システム
US11265603B2 (en) Information processing apparatus and method, display control apparatus and method, reproducing apparatus and method, and information processing system
US11189055B2 (en) Information processing apparatus and method and program
US10437545B2 (en) Apparatus, system, and method for controlling display, and recording medium
JP6044328B2 (ja) 画像処理システム、画像処理方法およびプログラム
US11627251B2 (en) Image processing apparatus and control method thereof, computer-readable storage medium
US10356393B1 (en) High resolution 3D content
JP7378243B2 (ja) 画像生成装置、画像表示装置および画像処理方法
US11317072B2 (en) Display apparatus and server, and control methods thereof
US11496587B2 (en) Methods and systems for specification file based delivery of an immersive virtual reality experience
JP5743016B2 (ja) 画像を生成する装置および方法
JP2020149635A (ja) 撮像装置、画像通信システム、画像処理方法、プログラム
US10778891B2 (en) Panoramic portals for connecting remote spaces
US20240022688A1 (en) Multiuser teleconferencing with spotlight feature
Li et al. Omnieyeball: Spherical display embedded with omnidirectional camera using dynamic spherical mapping
JP2016225803A (ja) ヘッドマウント・ディスプレイを用いたコンテンツ視聴システム
Gaemperle et al. An immersive telepresence system using a real-time omnidirectional camera and a virtual reality head-mounted display
US20210136285A1 (en) Creation and display of a 360 degree looping video file
Kuchelmeister et al. Immersive mixed media augmented reality applications and technology
JP2016225967A (ja) ヘッドマウント・ディスプレイを用いたコンテンツ視聴システム
JP6394682B2 (ja) 方法および画像処理装置
US10887514B2 (en) System and method of providing gaze and awareness for ultra wide and 360 cameras
TW202203646A (zh) 模擬全景系統及其使用方法
JP2023134220A (ja) 通信システム、通信管理サーバ、通信管理方法、及びプログラム
CN118301285A (zh) 一种图像显示方法、终端及计算机可读存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200717

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210901

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210928

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211011

R150 Certificate of patent or registration of utility model

Ref document number: 6969249

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150