[go: up one dir, main page]

CN111131900A - 多媒体互动系统及多媒体互动方法 - Google Patents

多媒体互动系统及多媒体互动方法 Download PDF

Info

Publication number
CN111131900A
CN111131900A CN201811339373.6A CN201811339373A CN111131900A CN 111131900 A CN111131900 A CN 111131900A CN 201811339373 A CN201811339373 A CN 201811339373A CN 111131900 A CN111131900 A CN 111131900A
Authority
CN
China
Prior art keywords
display
navigation video
navigation
route
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811339373.6A
Other languages
English (en)
Inventor
蔡贵鈐
郑育镕
廖宪正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute for Information Industry
Original Assignee
Institute for Information Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute for Information Industry filed Critical Institute for Information Industry
Publication of CN111131900A publication Critical patent/CN111131900A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1431—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using a single graphics controller
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00—Solving problems of bandwidth in display systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)

Abstract

本揭示文件提供一种多媒体互动系统及多媒体互动方法。多媒体互动系统包含第一显示器、第二显示器以及服务器。服务器通讯连接第一显示器以及第二显示器。服务器用以接收第一显示器回放第一导览影片的第一即时播放时间；根据第一即时播放时间以获得第一导览影片所关联的无遮蔽区域；取得无遮蔽区域对应的第二导览影片；以及若第二显示器正在播放第二导览影片，则传送互动数据至第一显示器以及第二显示器，本揭示文件可以快速确认使用者之间是否处于可以互动交流的虚拟空间，减少服务器处理不必要的运算数据，并降低传输数据的频宽资源消耗。

Description

多媒体互动系统及多媒体互动方法
技术领域
本揭示文件是有关于一种多媒体系统与方法，且特别是有关于一种多媒体互动系统与方法。
背景技术
空间导览系统中，一般是透过组合多个影片来形成可导览的影片集合。因此，需要采用衔接影片的技术来建置虚拟空间系统。对于衔接影片的方式，并没有建立三维模型，导致无法直接使用虚拟座标与虚拟视线来计算在不同虚拟位置的使用者是否能交流互动。举例来说，虚拟空间系统无法判断使用者之间的空间是否有遮蔽物阻挡，或者互动距离是否过远等问题。
在现有的虚拟空间系统无法利用影片内容来判断使用者之间是否能够互动，据此，在不应用三维影像模型的前提下，利用影片来建立的空间导览系统中，有必要出可以解决多人互动范围计算困难的技术问题，来快速确认使用者之间是否处于可以交流互动的虚拟空间。
发明内容
发明内容旨在提供本揭示内容的简化摘要，以使阅读者对本揭示内容具备基本的理解。此发明内容并非本揭示内容的完整概述，且其用意并非在指出本发明实施例的重要/关键元件或界定本发明的范围。
根据本揭示文件的一实施例，揭示一种多媒体互动系统包含第一显示器、第二显示器以及服务器。服务器通讯连接第一显示器以及第二显示器。服务器用以接收第一显示器回放第一导览影片的第一即时播放时间；根据第一即时播放时间以获得第一导览影片所关联的无遮蔽区域；取得无遮蔽区域对应的第二导览影片；以及若第二显示器正在播放第二导览影片，则传送互动数据至第一显示器以及第二显示器。
根据本揭示文件的一实施例的多媒体互动系统，其中该互动数据包含对应于该第一显示器的一第一物件及对应于该第二显示器的一第二物件，其中该服务器分别用以传送该第一物件及第二物件至该第一显示器及该第二显示器，其中该第一显示器播放具有该第二物件的该第一导览影片，以及该第二显示器播放具有该第一物件的该第二导览影片。
根据本揭示文件的一实施例的多媒体互动系统，其中当该第一物件执行一第一操作，且该第一操作透过该服务器传送至该第二显示器时，于该第二显示器呈现该第一物件的该第一操作，其中当该第二物件执行一第二操作，且该第二操作透过该服务器传送至该第一显示器时，于该第一显示器呈现该第二物件的该第二操作。
根据本揭示文件的一实施例的多媒体互动系统，其中该服务器储存一段落数据查找表，该段落数据查找表记录该第一导览影片、该第一导览影片对应的该无遮蔽区域、以及该无遮蔽区域对应的该第二导览影片。
根据本揭示文件的一实施例的多媒体互动系统，其中该服务器还用以查询该段落数据查找表，以当该第一即时播放时间落于该第一导览影片的一第一期间时，获得该无遮蔽区域。
根据本揭示文件的一实施例的多媒体互动系统，该服务器还用以当该第二显示器正在播放该第二导览影片时，取得一第二即时播放时间；查询该段落数据查找表，以判断该第二即时播放时间是否介于该第二导览影片的一第二期间；以及当该第二即时播放时间介于该第二期间，则计算于该第一导览影片中的一第一位置以及于该第二导览影片中的一第二位置之间的一距离，其中该第一位置对应该第一即时播放时间，该第二位置对应该第二即时播放时间。
根据本揭示文件的一实施例的多媒体互动系统，其中该服务器还用以判断该距离是否小于一可视长度，若判定该距离小于该可视长度，则传送该互动数据至该第一显示器以及该第二显示器，其中该可视长度为该第一显示器显示该互动数据的一第一视野以及该第二显示器显示该互动数据的一第二视野的一总和。
根据本揭示文件的一实施例的多媒体互动系统，其中该服务器还用以储存一地图数据，该地图数据包含一第一路线以及一第二路线，其中该第一导览影片是由一摄影机沿着该第一路线所拍摄，以及该第二导览影片是由该摄影机沿着该第二路线所拍摄。
根据本揭示文件的一实施例的多媒体互动系统，其中该地图数据还包含一遮蔽标注，该遮蔽标注介于该第一路线的一部分与该第二路线的一部分之间。
根据本揭示文件的一实施例的多媒体互动系统，其中该服务器还用以取得该第一导览影片于该第一路线的该遮蔽标注以外的该第一期间，以及取得该第二导览影片于该第二路线的该遮蔽标注以外的该第二期间；以及将该第一导览影片的一识别符及该第一期间、该遮蔽标注以外的该无遮蔽区域、以及该第二导览影片的一识别符及该第二期间关联地储存于该段落数据查找表中。
根据另一实施例，揭示一种多媒体互动方法，包含接收第一显示器回放第一导览影片的第一即时播放时间；根据第一即时播放时间以获得第一导览影片所关联的无遮蔽区域；取得无遮蔽区域对应的第二导览影片；以及若第二显示器正在播放第二导览影片，则传送互动数据至第一显示器以及第二显示器。
根据本揭示文件的一实施例的多媒体互动方法，其中该互动数据包含对应于该第一显示器的一第一物件及对应于该第二显示器的一第二物件，其中该方法还包含分别传送该第一物件及该第二物件至该第一显示器及该第二显示器，以及通过该第一显示器播放具有该第二物件的该第一导览影片，以及通过该第二显示器播放具有该第一物件的该第二导览影片。
根据本揭示文件的一实施例的多媒体互动方法，其中该方法还包含当该第一物件执行一第一操作，且该第一操作透过一服务器传送至该第二显示器时，于该第二显示器呈现该第一物件的该操作，以及当该第二物件执行一第二操作，且该第二操作透过该服务器传送至该第一显示器时，于该第一显示器呈现该第二物件的该操作。
根据本揭示文件的一实施例的多媒体互动方法，其中一段落数据查找表记录该第一导览影片、该第一导览影片对应的该无遮蔽区域、以及该无遮蔽区域对应的该第二导览影片。
根据本揭示文件的一实施例的多媒体互动方法，还包含查询该段落数据查找表，以当该第一即时播放时间落于该第一导览影片的一第一期间时，获得该无遮蔽区域。
根据本揭示文件的一实施例的多媒体互动方法，还包含当该第二显示器正在播放该第二导览影片时，取得一第二即时播放时间；查询该段落数据查找表，以判断该第二即时播放时间是否介于该第二导览影片的一第二期间；以及当该第二即时播放时间介于该第二期间，则计算于该第一导览影片中的一第一位置以及于该第二导览影片中的一第二位置之间的一距离，其中该第一位置对应该第一即时播放时间，该第二位置对应该第二即时播放时间。
根据本揭示文件的一实施例的多媒体互动方法，还包含判断该距离是否小于一可视长度，若判定该距离小于该可视长度，则传送该互动数据至该第一显示器以及该第二显示器，其中该可视长度为该第一显示器显示该互动数据的一第一视野以及该第二显示器显示该互动数据的一第二视野的一总和。
根据本揭示文件的一实施例的多媒体互动方法，还包含取得一地图数据，该地图数据包含一第一路线以及一第二路线，其中该第一导览影片是由一摄影机沿着该第一路线所拍摄，以及该第二导览影片是由该摄影机沿着该第二路线所拍摄。
根据本揭示文件的一实施例的多媒体互动方法，其中该地图数据还包含一遮蔽标注，该遮蔽标注介于该第一路线的一部分与该第二路线的一部分之间。
根据本揭示文件的一实施例的多媒体互动方法，还包含取得该第一导览影片于该第一路线的该遮蔽标注以外的该第一期间，以及取得该第二导览影片于该第二路线的该遮蔽标注以外的该第二期间；以及将该第一导览影片的一识别符及该第一期间、该遮蔽标注以外的该无遮蔽区域、以及该第二导览影片的一识别符及该第二期间关联地储存于该段落数据查找表中。
附图说明
以下详细描述结合随附附图阅读时，将有利于较佳地理解本揭示文件的态样。应注意，根据说明上实务的需求，附图中各特征并不一定按比例绘制。实际上，出于论述清晰的目的，可能任意增加或减小各特征的尺寸。
图1绘示根据本揭示文件一些实施例中一种多媒体互动系统的示意图；
图2绘示根据本揭示文件一些实施例中，多媒体互动系统的地图数据的示意图；
图3绘示根据本揭示文件一些实施例中一种多媒体互动方法的步骤流程图；
图4绘示根据本揭示文件一些实施例中在多媒体互动系统的使用者之间的互动范围示意图；
图5绘示根据本揭示文件一些实施例中，建立段落数据查找表的步骤流程图。
具体实施方式
以下揭示内容提供许多不同实施例或实例，以便实施本发明的不同特征。下文描述元件及排列的特定实例以简化本发明。当然，这些实例仅为示例性且并不欲为限制性。举例而言，以下描述中在第二特征上方或第二特征上形成第一特征可包括以直接接触形成第一特征及第二特征的实施例，且亦可包括可在第一特征与第二特征之间形成额外特征使得第一特征及特征可不处于直接接触的实施例。另外，本发明可在各实例中重复元件符号及/或字母。此重复是出于简明性及清晰的目的，且本身并不指示所论述的各实施例及/或配置之间的关系。
进一步地，为了便于描述，本文可使用空间相对性术语(诸如“之下”、“下方”、“较低”、“上方”、“较高”及类似者)来描述诸图中所图示一个元件或特征与另一元件(或多个元件)或特征(或多个特征)的关系。除了诸图所描绘的定向外，空间相对性术语意欲包含使用或操作中装置的不同定向。设备可经其他方式定向(旋转90度或处于其他定向上)且因此可同样解读本文所使用的空间相对性描述词。
请参见图1，其绘示根据本揭示文件一些实施例中一种多媒体互动系统100的示意图。如图1所示，多媒体互动系统100包含服务器110以及多个显示器120a～120n。显示器120a～120n可以为虚拟实境头戴式装置、显示屏幕等。显示器120a～120n通讯连接服务器110。在一实施例中，显示器120a～120n与本地端的主机装置(未绘示)连线，主机装置与服务器110经由有线传输通讯或无线传输通讯来与服务器110建立连线，而向服务器110下载数据或上传数据至服务器110。显示器120a～120n透过主机装置取得服务器110的数据。
显示器120a～120n分别设置在相同或不同地理位置。举例来说，显示器120a～120n分别设置在同一栋建筑物中的不同房间，以供多个使用者来操作显示器120a～120n。
服务器110储存有多个导览影片。显示器120可显示下载自服务器110的导览影片。导览影片可以为事先录制好的实际场景影片，例如是在大英博物馆中从不同的路线分别录制而成。建立导览影片的说明将于后陈述。
请参见图2，其绘示根据本揭示文件一些实施例中，图1的多媒体互动系统100的地图数据200的示意图。如图2所示，地图数据200包含多个路线(路线221、223、225、227)、多个端点211、211d、213、215、217、219、以及遮蔽标注231、233、235。各导览影片为事先分别沿着路线221、223、225、227所录制而成。举例来说，在大英博物馆录制导览影片，包含沿着大门(Main entrance)至大中庭(Great Court)再转往第二房间(Room 2)的路线(路线221)所拍摄的导览影片、沿着大中庭至东楼梯(East stairs)的路线(路线225)所拍摄的导览影片、沿着大中庭至西楼梯(West stairs)的路线(路线227)所拍摄的导览影片、沿着大中庭至南楼梯(South stairs)的路线(路线223)所拍摄的导览影片等。
使用者可自行选择欲观看的影片。举例来说，若使用者欲知道如何从大门走到大中庭，则可选择观看对应的导览影片。值得一提的是，使用者可以选择图1的多媒体互动系统100中的显示器120a～120n中的任一个来观看影片。多媒体互动系统100可同时有多个显示器来播放相同或不同的导览影片，使得多个使用者同时在线上观看影片。举例来说，第一使用者241透过显示器120a观看所选择的导览影片，第二使用者243透过显示器120b观看所选择的导览影片，第三使用者透过显示器120n观看所选择的导览影片等。
地图数据200上有遮蔽标注231、遮蔽标注233以及遮蔽标注235。遮蔽标注231表示在路线221与路线223之间有障碍物或者墙壁等。遮蔽标注233表示在路线225与路线227之间有障碍物或者墙壁等。遮蔽标注235表示在路线227与路线223之间有障碍物或者墙壁等。
举例来说，使用者选择的导览影片，第一导览影片中，可观看路径221上依序沿着端点211、端点211a、端点211b、端点211c至端点211d的景色。在端点211、端点211a、端点211b、端点211c及端点211d，分别对应至第一导览影片的第0分0秒、第2分50秒、第7分50秒、第10分0秒、以及第12分50秒。
使用者另选择的导览影片，第二导览影片中，使用者可观看路径223上依序沿着端点213、端点213a、端点213b至端点215的景色。端点213、端点213a、端点213b及端点215，分别对应至第二导览影片的第0分0秒、第2分0秒、第6分30秒、以及第9分30秒。
使用者另选择的导览影片，第三导览影片中，使用者可观看路径225上依序沿着端点225a、端点225b至端点219的景色。端点225a、端点225b及端点219，分别对应至第三导览影片的第0分0秒、第3分30秒以及第8分40秒。
在一实施例中，当第一使用者241正在观看第一导览影片(路线221)，并且同时，第二使用者243正在观看第二导览影片(路线223)，则第一使用者241在某些条件下，可以在第一导览影片中看到第二使用者243的虚拟人偶(avatar)、人偶动作和/或使用者的声音等，反之亦然。即，路线221与路线223之间没有遮蔽物的时候，第一使用者241与第二使用者243可以在导览影片中看到彼此的虚拟人偶。举例来说，第一使用者241观看第一导览影片且第二使用者243观看第二导览影片，若第一导览影片被播放至第8分32秒(介于端点211b与端点211c之间)且第二导览影片被播放至第0分50秒(介于端点213与端点213a之间)时，由于路线221与路线223之间没有遮蔽(如图2所示的区域R2)，因此第一使用者241与第二使用者243可以看到彼此的虚拟人偶。
在一实施例中，第一使用者241观看第一导览影片且第二使用者观看第二导览影片，若第一导览影片被播放至第5分15秒(介于端点211a与端点211b之间)且第二导览影片被播放至第5分30秒(介于端点213a与端点213b之间)时，由于路线221与路线223之间有遮蔽(如图2所示的遮蔽标注231)，因此第一使用者241与第二使用者243无法看到彼此的虚拟人偶、人偶动作和/或使用者的声音。
请参见图3，其绘示根据本揭示文件一些实施例中一种多媒体互动方法的步骤流程图。本揭示文件的多媒体互动方法可适用于如图1所示的多媒体互动系统100。接下来的说明以图1的多媒体互动系统100以及图2的地图数据200为例，本揭示文件不以此地图数据200为限。在步骤S310中，第一使用者241使用显示器120a来观看第一导览影片。在观看的过程中，服务器110可取得显示器120a目前正在观看的第一即时播放时间(例如第8分32秒)，即显示器120a目前正在显示的第一导览影片的影片时间。在步骤S320中，服务器110于段落数据查找表中查询无遮蔽区域，段落数据查找表如下表一所示。服务器110查询第一即时播放时间的时间点，以查询在此时影片中的场景位置可以看到的其他场景位置。举例来说，第一导览影片(Video 1)对应的无遮蔽区域为R1、R2、R3及R4。当第一即时播放时间为8分32秒时，落于起始时间为7分80秒及结束时间为10分0秒的第一期间内，此第一期间对应至无遮蔽区域R2。
表一、段落数据查找表
Figure BDA0001862125650000081
在步骤S330中，服务器110在段落数据查找表中根据前述得到的无遮蔽区域，取得无遮蔽区域对应的第二导览影片。举例来说，在前述取得的无遮蔽区域R2，也可同时得知对应无遮蔽区域R2者为第二导览影片(Video 4)。
在步骤S340中，在一实施例中，第二使用者243使用显示器120b来观看第二导览影片(例如Video 4)。在观看的过程中，服务器110可取得显示器120b目前正在观看的第二即时播放时间(例如第2分50秒)，即显示器120b目前正在显示的第二导览影片的影片时间。
在步骤S350中，服务器110判断第二即时播放时间是否介于第二期间。若第二即时播放时间没有介于第二期间，则在步骤S352中，服务器110判断第一使用者241目前没有可以互动的使用者。
若第二即时播放时间介于第二期间，则在步骤S360中，则服务器110计算第一即时播放时间对应的第一位置与第二即时播放时间对应的第二位置的距离。举例来说，第一导览影片在端点211、211a、211b、211c的影片时间分别0分0秒、为2分50秒、7分50秒、10分0秒。在端点211至端点211c的影片长度为10分0秒。当第一即时播放时间为8分32秒时，计算此时至10分0秒的时间长度为1分28秒(即10:00-8:32，10分0秒与8分32秒的差)。端点211至端点211c之间具有虚拟长度L(或者是事先测量好的场景距离)，可以计算出第一即时播放时间的虚拟位置至端点211c的虚拟位置之间的距离为
Figure BDA0001862125650000091
在一实施例中，该等导览影片是由摄影机以固定的移动速度前进的同时所拍摄。因此，可以透过摄影机的移动速度与影片时间来计算摄影机在路线上的长度L。在另一实施例中，摄影机上设置有惯性量测单元(International Mathematical Union，IMU)，在摄影机一边移动一边录制影片时，可透过惯性量测单元的量测数据而获得路线的长度L。
在步骤S370中，服务器判断110前述计算出的距离是否小于可视长度。可视长度是显示器120a显示互动数据的第一视野以及显示器120b显示互动数据的第二视野的总和。
请参见图4，其绘示根据本揭示文件一些实施例中在图1的多媒体互动系统100的使用者之间的互动范围示意图。当第一导览影片播放至端点A时，显示器120a可以显示互动数据的第一视野r1。当第二导览影片播放至端点B时，显示器120b可以显示互动数据的第二视野r2。其中，第一视野r1与第二视野r2的长度可以事先进行设定。服务器110计算端点A与端点B之间的距离，即
Figure BDA0001862125650000092
可视长度为第一视野r1与第二视野r2的总和。
若距离
Figure BDA0001862125650000093
小于或等于可视长度r1+r2，则在步骤S380中，服务器110传送互动数据至显示器120a与显示器120b。互动数据可以为在显示器120a、120b上显示的扩增实境(Augmented Reality)虚拟人偶物件。举例来说，第一使用者241可在第一导览影片中看到第二使用者243的虚拟人偶、人偶动作和/或使用者的声音，反之亦然。第一使用者241的操作或动作信息可透过感测器(未绘示)、麦克风(未绘示)或其他方式被取得，使得第二使用者243可以透过显示器120b看到第一使用者241的虚拟人偶的动作(例如挥手)或透过扬声器(未绘示)而听到第一使用者241的声音。相似地，第二使用者243的操作或动作信息也会透过服务器110传送给显示器120a。因此，第一使用者241与第二使用者243可透过显示器120a、120b来进行互动。
若距离
Figure BDA0001862125650000101
大于可视长度r1+r2，则回到步骤S352，服务器110判断第一使用者241目前没有可以互动的使用者。
在一些实施例中，可由显示器120a～120n或者是与显示器120a～120n连接的主机装置来查询段落数据查找表，以执行多媒体互动方法。
请参见图5，其绘示根据本揭示文件一些实施例中，建立段落数据查找表的步骤流程图。如图5所示，在步骤S510中，摄影机沿着第一路线(如图2的路线221)拍摄第一导览影片以及沿着第二路线(如图2的路线223)拍摄第二导览影片。摄影机可以为球型摄影机(Speed Dome Camera)。导览影片可以为具有360度环场全景影像。在步骤S520中，将录制好的多个导览影片传送至运算装置(图1未绘示)。运算装置可以为具有影像处理运算的电子装置。在一实施例中，运算装置执行影像比对技术来撷取各导览影片中的起点与终点，以计算出各导览影片之间的空间关系。举例来说，请同时参照前述表一，影片Video 1的终点时的影像是分别与影片Video 2、影片Video 3、及影片Video 4的起始时的水平角度影像(如球型摄影机在180度的视角拍摄的影像)的影像相似度高。因此，运算装置记录影片Video 1的终点与影片Video 2、影片Video 3、及影片Video 4的起点之间存在关联性。因此，可透过影片之间的空间关联性与各路线的长度来建立图2的地图数据200。
接着，在步骤S530中，传送地图数据至运算装置。在步骤S540中，运算装置建立地图数据的遮蔽标注。在一实施例中，可透过地图维护者来手动注记遮蔽区域，或者由运算装置执行影像比对演算法来计算影像的相似度，于相似度低于门槛值时，判断在特定位置时的路径之间存在遮蔽。影像相似度演算法可以但不限于特征点比对演算法(featurematching)、颜色直方图演算法(color histogram)、共通信息演算法(mutualinformation)、机器学习演算法(machine learning)等。在一实施例中，当导览影片在不同角度时，则比对其他导览影片的其他角度的相似度。举例来说，第一导览影片在视角0度的影像，与第二导览影片在视角180度的影像，两者的相似度参数大于门槛值时，则判定两导览影片的影像视角存在对应关系。或者，第一导览影片在视角180度的影像，与第二导览影片在视角220度的影像，两者的相似度参数大于门槛值时，则判定两导览影片的影像视角存在对应关系。因此，当导览影片之间的影像视角存在对应关系时，可以判断导览影片的位置之间并无遮蔽物。
在步骤S550中，运算装置根据遮蔽标注排除导览影片之间的关系，而取得于第一导览影片的第一期间以及第二导览影片的第二期间。举例来说，在建立导览影片Video 1与导览影片Video 4之间的关系时，当导览影片Video 1在路线211于端点211a至端点211b之间有遮蔽标注，且导览影片Video 4在路线223于端点213a至端点213b之间有遮蔽标注时，运算装置记录导览影片Video 1于端点211至端点211a与导览影片Video 4于端点213b至端点215之间存在对应关系(即无遮蔽区域R1)。同理，运算装置记录导览影片Video 1于端点211b至端点211c与导览影片Video 4于端点213至端点213a之间存在对应关系(即无遮蔽区域R2)。
在步骤S560中，将第一导览影片的识别符、第一期间、无遮蔽区域、第二导览影片的识别符及第二期间，记录于段落数据查找表。举例来说，如前述表一的第一栏中，记录无遮蔽区域R1、导览影片Video 1的识别符、第一期间、导览影片Video 4的识别符、以及第二期间。
综上所述，本揭示文件的多媒体互动系统100及多媒体互动方法，可提供使用者观看导览影片的同时，还可以与其他同样在观看导览影片的使用者互动。使用者观看导览影片来了解影片中真实的场景，为了让使用者可以更亲历其境，本揭示文件结合影像辨识与扩增实境，增加使用者在观看导览影片时可以看见位于其他场景位置的使用者，并且可与其他使用者互动，例如挥手并询问所在的位置、交换所体验的信息等，使用者可以更快了解影片中的场景，并增加观看导览影片的真实性与乐趣。除此之外，本揭示文件可以快速确认使用者之间是否处于可以互动交流的虚拟空间。经过段落数据查找表的比对，可以过滤不需要的信息，并且透过使用者的虚拟位置来计算彼此之间的虚拟距离，若使用者各自设定有虚拟互动范围，对于有交集者才提供互动交流，此可降低服务器处理不必要的运算数据，以及降低传输数据的频宽资源消耗。
上文概述若干实施例的特征，使得熟悉此项技术者可更好地理解本发明的态样。熟悉此项技术者应了解，可轻易使用本发明作为设计或修改其他制程及结构的基础，以便实施本文所介绍的实施例的相同目的及/或实现相同优势。熟悉此项技术者亦应认识到，此类等效结构并未脱离本发明的精神及范畴，且可在不脱离本发明的精神及范畴的情况下产生本文的各种变化、替代及更改。

Claims (20)

1.一种多媒体互动系统，其特征在于，包含：
一第一显示器以及一第二显示器；
一服务器，通讯连接该第一显示器以及该第二显示器，该服务器用以：
接收该第一显示器回放一第一导览影片的一第一即时播放时间；
根据该第一即时播放时间以获得该第一导览影片所关联的一无遮蔽区域；
取得该无遮蔽区域对应的一第二导览影片；以及
若该第二显示器播放该第二导览影片，则传送一互动数据至该第一显示器以及该第二显示器。
2.根据权利要求1所述的多媒体互动系统，其特征在于，该互动数据包含对应于该第一显示器的一第一物件及对应于该第二显示器的一第二物件，其中该服务器分别用以传送该第一物件及第二物件至该第一显示器及该第二显示器，其中该第一显示器播放具有该第二物件的该第一导览影片，以及该第二显示器播放具有该第一物件的该第二导览影片。
3.根据权利要求2所述的多媒体互动系统，其特征在于，当该第一物件执行一第一操作，且该第一操作透过该服务器传送至该第二显示器时，于该第二显示器呈现该第一物件的该第一操作，其中当该第二物件执行一第二操作，且该第二操作透过该服务器传送至该第一显示器时，于该第一显示器呈现该第二物件的该第二操作。
4.根据权利要求1所述的多媒体互动系统，其特征在于，该服务器储存一段落数据查找表，该段落数据查找表记录该第一导览影片、该第一导览影片对应的该无遮蔽区域、以及该无遮蔽区域对应的该第二导览影片。
5.根据权利要求4所述的多媒体互动系统，其特征在于，该服务器还用以查询该段落数据查找表，以当该第一即时播放时间落于该第一导览影片的一第一期间时，获得该无遮蔽区域。
6.根据权利要求5所述的多媒体互动系统，其特征在于，该服务器还用以：
当该第二显示器正在播放该第二导览影片时，取得一第二即时播放时间；
查询该段落数据查找表，以判断该第二即时播放时间是否介于该第二导览影片的一第二期间；以及
当该第二即时播放时间介于该第二期间，则计算于该第一导览影片中的一第一位置以及于该第二导览影片中的一第二位置之间的一距离，其中该第一位置对应该第一即时播放时间，该第二位置对应该第二即时播放时间。
7.根据权利要求6所述的多媒体互动系统，其特征在于，该服务器还用以判断该距离是否小于一可视长度，若判定该距离小于该可视长度，则传送该互动数据至该第一显示器以及该第二显示器，其中该可视长度为该第一显示器显示该互动数据的一第一视野以及该第二显示器显示该互动数据的一第二视野的一总和。
8.根据权利要求7所述的多媒体互动系统，其特征在于，该服务器还用以储存一地图数据，该地图数据包含一第一路线以及一第二路线，其中该第一导览影片是由一摄影机沿着该第一路线所拍摄，以及该第二导览影片是由该摄影机沿着该第二路线所拍摄。
9.根据权利要求8所述的多媒体互动系统，其特征在于，该地图数据还包含一遮蔽标注，该遮蔽标注介于该第一路线的一部分与该第二路线的一部分之间。
10.根据权利要求9所述的多媒体互动系统，其特征在于，该服务器还用以：
取得该第一导览影片于该第一路线的该遮蔽标注以外的该第一期间，以及取得该第二导览影片于该第二路线的该遮蔽标注以外的该第二期间；以及
将该第一导览影片的一识别符及该第一期间、该遮蔽标注以外的该无遮蔽区域、以及该第二导览影片的一识别符及该第二期间关联地储存于该段落数据查找表中。
11.一种多媒体互动方法，其特征在于，包含：
接收一第一显示器回放一第一导览影片的一第一即时播放时间；
根据该第一即时播放时间以获得该第一导览影片所关联的一无遮蔽区域；
取得该无遮蔽区域对应的一第二导览影片；以及
若一第二显示器播放该第二导览影片，则传送一互动数据至该第一显示器以及该第二显示器。
12.根据权利要求11所述的多媒体互动方法，其特征在于，该互动数据包含对应于该第一显示器的一第一物件及对应于该第二显示器的一第二物件，其中该方法还包含分别传送该第一物件及该第二物件至该第一显示器及该第二显示器，以及通过该第一显示器播放具有该第二物件的该第一导览影片，以及通过该第二显示器播放具有该第一物件的该第二导览影片。
13.根据权利要求12所述的多媒体互动方法，其特征在于，该方法还包含当该第一物件执行一第一操作，且该第一操作透过一服务器传送至该第二显示器时，于该第二显示器呈现该第一物件的该操作，以及当该第二物件执行一第二操作，且该第二操作透过该服务器传送至该第一显示器时，于该第一显示器呈现该第二物件的该操作。
14.根据权利要求11所述的多媒体互动方法，其特征在于，一段落数据查找表记录该第一导览影片、该第一导览影片对应的该无遮蔽区域、以及该无遮蔽区域对应的该第二导览影片。
15.根据权利要求14所述的多媒体互动方法，其特征在于，还包含查询该段落数据查找表，以当该第一即时播放时间落于该第一导览影片的一第一期间时，获得该无遮蔽区域。
16.根据权利要求15所述的多媒体互动方法，其特征在于，还包含：
当该第二显示器正在播放该第二导览影片时，取得一第二即时播放时间；
查询该段落数据查找表，以判断该第二即时播放时间是否介于该第二导览影片的一第二期间；以及
当该第二即时播放时间介于该第二期间，则计算于该第一导览影片中的一第一位置以及于该第二导览影片中的一第二位置之间的一距离，其中该第一位置对应该第一即时播放时间，该第二位置对应该第二即时播放时间。
17.根据权利要求16所述的多媒体互动方法，其特征在于，还包含判断该距离是否小于一可视长度，若判定该距离小于该可视长度，则传送该互动数据至该第一显示器以及该第二显示器，其中该可视长度为该第一显示器显示该互动数据的一第一视野以及该第二显示器显示该互动数据的一第二视野的一总和。
18.根据权利要求17所述的多媒体互动方法，其特征在于，还包含取得一地图数据，该地图数据包含一第一路线以及一第二路线，其中该第一导览影片是由一摄影机沿着该第一路线所拍摄，以及该第二导览影片是由该摄影机沿着该第二路线所拍摄。
19.根据权利要求18所述的多媒体互动方法，其特征在于，该地图数据还包含一遮蔽标注，该遮蔽标注介于该第一路线的一部分与该第二路线的一部分之间。
20.根据权利要求19所述的多媒体互动方法，其特征在于，还包含：
取得该第一导览影片于该第一路线的该遮蔽标注以外的该第一期间，以及取得该第二导览影片于该第二路线的该遮蔽标注以外的该第二期间；以及
将该第一导览影片的一识别符及该第一期间、该遮蔽标注以外的该无遮蔽区域、以及该第二导览影片的一识别符及该第二期间关联地储存于该段落数据查找表中。
CN201811339373.6A 2018-11-01 2018-11-12 多媒体互动系统及多媒体互动方法 Pending CN111131900A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW107138840 2018-11-01
TW107138840A TWI674799B (zh) 2018-11-01 2018-11-01 多媒體互動系統及多媒體互動方法

Publications (1)

Publication Number Publication Date
CN111131900A true CN111131900A (zh) 2020-05-08

Family

ID=69023779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811339373.6A Pending CN111131900A (zh) 2018-11-01 2018-11-12 多媒体互动系统及多媒体互动方法

Country Status (3)

Country Link
US (1) US10628106B1 (zh)
CN (1) CN111131900A (zh)
TW (1) TWI674799B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050192025A1 (en) * 2002-04-22 2005-09-01 Kaplan Richard D. Method and apparatus for an interactive tour-guide system
US6968973B2 (en) * 2003-05-31 2005-11-29 Microsoft Corporation System and process for viewing and navigating through an interactive video tour
CN101127122A (zh) * 2007-09-13 2008-02-20 复旦大学 一种内容自适应渐进式遮挡分析目标跟踪算法
CN101246546A (zh) * 2008-03-13 2008-08-20 复旦大学 一种视频目标跟踪中的可变掩蔽模板匹配算法
CN103502982A (zh) * 2011-03-16 2014-01-08 诺基亚公司 用于在基于位置的用户接口中显示交互式预览信息的方法和装置
TW201407458A (zh) * 2012-05-23 2014-02-16 Microsoft Corp 利用功能標籤條帶來存取應用程式使用者介面
TW201607305A (zh) * 2014-06-30 2016-02-16 蘋果公司 用於電視使用者互動之智能自動助手
CN105894998A (zh) * 2014-11-30 2016-08-24 黄石木信息科技有限公司 一种三维虚拟场景导游导览系统的制作方法
US10080061B1 (en) * 2009-12-18 2018-09-18 Joseph F. Kirley Distributing audio signals for an audio/video presentation

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6388688B1 (en) * 1999-04-06 2002-05-14 Vergics Corporation Graph-based visual navigation through spatial environments
US20080109841A1 (en) * 2006-10-23 2008-05-08 Ashley Heather Product information display and product linking
TW200901710A (en) * 2007-06-22 2009-01-01 Shiang Suo Co Ltd Navigation service system
ES2350514T3 (es) * 2008-04-07 2011-01-24 Ntt Docomo, Inc. Sistema de mensajes con reconocimiento de emoción y servidor de almacenamiento de mensajes para el mismo.
US20110119597A1 (en) * 2009-05-09 2011-05-19 Vivu, Inc. Method and apparatus for capability-based multimedia interactions
KR20120070650A (ko) * 2010-12-22 2012-07-02 삼성전자주식회사 클라우드 컴퓨팅 기반 동영상 서비스 및 재생 방법
TWM450794U (zh) * 2012-08-06 2013-04-11 zheng-dao Lin 集成式遊客服務系統
TWI535278B (zh) * 2013-12-19 2016-05-21 仁寶電腦工業股份有限公司 影片播放方法以及系統

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050192025A1 (en) * 2002-04-22 2005-09-01 Kaplan Richard D. Method and apparatus for an interactive tour-guide system
US6968973B2 (en) * 2003-05-31 2005-11-29 Microsoft Corporation System and process for viewing and navigating through an interactive video tour
CN101127122A (zh) * 2007-09-13 2008-02-20 复旦大学 一种内容自适应渐进式遮挡分析目标跟踪算法
CN101246546A (zh) * 2008-03-13 2008-08-20 复旦大学 一种视频目标跟踪中的可变掩蔽模板匹配算法
US10080061B1 (en) * 2009-12-18 2018-09-18 Joseph F. Kirley Distributing audio signals for an audio/video presentation
CN103502982A (zh) * 2011-03-16 2014-01-08 诺基亚公司 用于在基于位置的用户接口中显示交互式预览信息的方法和装置
TW201407458A (zh) * 2012-05-23 2014-02-16 Microsoft Corp 利用功能標籤條帶來存取應用程式使用者介面
TW201607305A (zh) * 2014-06-30 2016-02-16 蘋果公司 用於電視使用者互動之智能自動助手
CN105894998A (zh) * 2014-11-30 2016-08-24 黄石木信息科技有限公司 一种三维虚拟场景导游导览系统的制作方法

Also Published As

Publication number Publication date
TW202019187A (zh) 2020-05-16
US10628106B1 (en) 2020-04-21
US20200142657A1 (en) 2020-05-07
TWI674799B (zh) 2019-10-11

Similar Documents

Publication Publication Date Title
JP6894962B2 (ja) 自由視点映像用画像データのキャプチャ方法及び装置、プログラム
JP7348895B2 (ja) 仮想カメラを制御するシステム及び方法
US10536661B2 (en) Tracking object of interest in an omnidirectional video
US7796155B1 (en) Method and apparatus for real-time group interactive augmented-reality area monitoring, suitable for enhancing the enjoyment of entertainment events
TWI530157B (zh) 多視角影像之顯示系統、方法及其非揮發性電腦可讀取紀錄媒體
CN109997175B (zh) 确定虚拟对象的大小
CN109416931A (zh) 用于视线跟踪的装置和方法
US20210038975A1 (en) Calibration to be used in an augmented reality method and system
JP2015228050A (ja) 情報処理装置および情報処理方法
CN103562791A (zh) 用于与移动计算设备一起进行全景视频成像的装置和方法
CN103607568A (zh) 立体街景视频投影方法及系统
WO2012147363A1 (ja) 画像生成装置
US9906769B1 (en) Methods and apparatus for collaborative multi-view augmented reality video
US11287658B2 (en) Picture processing device, picture distribution system, and picture processing method
WO2021095573A1 (ja) 情報処理システム、情報処理方法及びプログラム
WO2021161894A1 (ja) 情報処理システム、情報処理方法及びプログラム
CN107683604A (zh) 生成装置
WO2020206647A1 (zh) 跟随用户运动控制播放视频内容的方法和装置
CN112288877B (zh) 视频播放方法、装置、电子设备及存储介质
CN111131900A (zh) 多媒体互动系统及多媒体互动方法
CN117354568A (zh) 一种显示方法、设备及系统
KR101572348B1 (ko) 인터렉티브 컴퓨팅 장치를 이용한 촬상 데이터 처리방법 및 그에 따른 시스템
HK40098087A (zh) 数据处理方法、装置、设备及可读存储介质
WO2025072192A1 (en) Artificial intelligence-based image generation
CN118135513A (zh) 一种虚拟人物与现实场景动态实时透视融合的视觉偏差消除方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200508