CN102819413A - 显示控制设备、显示控制方法、程序、以及记录介质 - Google Patents
显示控制设备、显示控制方法、程序、以及记录介质 Download PDFInfo
- Publication number
- CN102819413A CN102819413A CN2012101791133A CN201210179113A CN102819413A CN 102819413 A CN102819413 A CN 102819413A CN 2012101791133 A CN2012101791133 A CN 2012101791133A CN 201210179113 A CN201210179113 A CN 201210179113A CN 102819413 A CN102819413 A CN 102819413A
- Authority
- CN
- China
- Prior art keywords
- image
- display control
- displayed
- display
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
一种显示控制设备、显示控制方法、程序、以及记录介质。本发明涉及一种显示控制设备,获取多个照相机拍摄的每个图像,从获得的图像中检测某个图像中显示的特定对象,以及进行控制使得当在获得的多个图像中的不同图像中检测到相同对象时,设置在与所述某个图像不同的图像中显示对象、并且在相同屏幕上显示所述不同图像中的对象的模式,在所述不同的图像中使用该某个图像的对象作为参考检测特定对象。
Description
技术领域
本发明涉及一种显示控制设备、显示控制方法、程序、以及记录介质,并且更具体地,涉及一种当通过切换多个视角在屏幕上显示图像时可以尽可能快地完成变换并且改善用户可操作性的显示控制设备、显示控制方法、程序、以及记录介质。
背景技术
近年来,网络照相机或用于广播站的照相机的价格已经降低。与此相关联,例如,其中相同区域被多个照相机覆盖以拍摄图像的系统变得流行。
以此方式,其中相同区域被多个照相机覆盖以拍摄图像的系统变得流行;因此,例如,用于安全目的的犯罪者识别精度的改进和关于诸如体育和音乐会的事件的内容的新显示系统已经受到关注。
例如,根据用户的要显示的偏好切换其中从多个视角观察的相同物品或人员(对象)的图像已经成为可能。
此外,改善了照相机、浏览设备、和中继服务器的处理性能,并且从图像中检测诸如人员和物品的技术已经进步;因此,提取多个图像的对象的关联性(relevance)并且判断相似度(identicalness)已经变得可能。
例如,提出了一下技术:其中不存在于相同平面上作为道路表面的一部分被从已经经历适用于多个监控照相机的每个的投影转换的图像中删除的图像被综合以在地图上显示,并且在地图上系统地调整每个监控照相机的相关性,因此使得将监控区域中道路状态在地图上作为图像监控成为可能(例如,见日本专利特开第2005-286685号)。
发明内容
然而,诸如移动终端和平板电脑(tablet)的具有各种显示功能和输入系统的终端已经被用作除了传统PC以外的浏览图像的设备。此外,当通过切换多个视角来显示图像时,尽可能快地完成显示转换是优选的。
例如,在日本专利特开第2005-286685号中描述的技术中,如果终端的显示区域小,当进行到涉及高解析度显示器的地图模式的转换时、识别图像是困难的。因为需要在每种显示不同视角的图像的情况下显示地图模式,用户有时感觉操作麻烦并且难以实现高速显示转换。
考虑到这样的情况公开本技术,并且本技术使当通过切换多个视角在屏幕上显示图像时尽可能快地完成转换以及改进用户可操作性成为可能。
本发明的一个方面在于一种显示控制设备,包括:图像获取单元,获得多个照相机拍摄的每个图像;对象检测单元,检测显示在所获得的多个图像中的某个图像中的特定对象;以及显示控制单元,进行控制,从而设置一种模式,以便使用所述某个图像中的对象作为参考来显示不同于其中检测出所述特定对象的所述某个图像的图像中的对象,以及以便当在所获得的多个图像中的所述不同图像中检测到相同的对象时将所述不同图像中的对象显示在同一屏幕上。
所述显示控制单元基于拍摄所述某个图像中对象的照相机的位置和成像方向,设置在不同图像中显示对象的位置以及屏幕上不同图像中的对象的形状。
所述显示控制单元还设置所述某个图像中的对象和所述不同图像中的对象的中心轴线,并且基于用户操作,绕作为中心的中心轴线旋转所述某个图像中的对象和所述不同图像中的对象以便在屏幕上显示所述某个图像中的对象和所述不同图像中的对象。
当在与其中检测出所述特定对象的所述某个图像不同的图像中检测到相同对象时,所述显示控制单元显示围绕所述对象的某个检测框。
作为显示控制模式,所述显示控制单元包括:常规模式,其中由多个照相机拍摄的图像中的预定图像被显示为所述某个图像,以及锁定模式,其中当在所述不同图像中检测到相同对象的情况下用户选择所述某个图像中的对象时,所述某个图像中的对象和所述不同图像中的对象显示在相同屏幕上,并且在所述锁定模式中能放大将被显示的所述对象的图像。
所述对象检测单元提取检测对象的特征量并且基于所述特征量通过搜索某个数据库来获得显示所述对象的属性的信息,并且所述显示控制单元能够进行控制,以便一起显示所述属性与所述对象。
本技术的一个方面在于一种显示控制方法,包括:通过图像获取单元获得多个照相机拍摄的每个图像;通过对象检测单元检测显示在所获得的多个图像中的某个图像中的特定对象;以及通过显示控制单元进行控制,从而设置一种模式,以便使用所述某个图像中的对象作为参考来显示不同于其中检测出所述特定对象的所述某个图像的图像中的对象,以及以便当在所获得的多个图像中的所述不同图像中检测到相同的对象时将所述不同图像中的对象显示在同一屏幕上。
本技术的一个方面在于一种使计算机起到显示控制设备功能的程序,所述显示控制设备包括:图像获取单元,获得多个照相机拍摄的每个图像;对象检测单元,检测显示在所获得的多个图像中的某个图像中的特定对象;以及显示控制单元,进行控制,从而设置一种模式,以便使用所述某个图像中的对象作为参考来显示不同于其中检测出所述特定对象的所述某个图像的图像中的对象,以及以便当在所获得的多个图像中的所述不同图像中检测到相同的对象时将所述不同图像中的对象显示在同一屏幕上。
在本技术的一个方面,获得多个照相机拍摄的每个图像,检测显示在所获得的多个图像中的某个图像中的特定对象,进行控制,从而设置一种模式,以便使用所述某个图像中的对象作为参考来显示不同于其中检测出所述特定对象的所述某个图像的图像中的对象,以及以便当在所获得的多个图像中的所述不同图像中检测到相同的对象时将所述不同图像中的对象显示在同一屏幕上。
根据本技术的实施例,当通过切换多个视角在屏幕上显示图像时能尽可能快地完成显示转换并改善用户可造作性。
附图说明
图1是解释根据本技术的实施例的用于成像对象的系统的图;
图2是图示根据应用本技术的监控系统的一个实施例的配置示例的框图;
图3是图示应用本技术的实施例的监控系统的另一配置示例的框图;
图4是图示图1所示的照相机的具体配置示例的框图;
图5是图示图2或图3所示的浏览终端的具体配置示例的框图;
图6是图示诸如图5中所示的CPU中执行的程序的软件的基本配置示例的框图;
图7是图示在正常模式中在浏览终端的显示器上显示的图像的示例的图;
图8是图示显示模式的切换的示例的图;
图9是图示在锁定模式中在浏览终端的显示器上显示的图像的示例的图;
图10是通过旋转对象图像解释显示对象图像的操作的示例的图;
图11是图示显示模式的切换的另一示例的图;
图12是图示在正常模式中在浏览终端的显示器上显示的图像的另一示例的图;
图13是解释相关技术中视角的切换的图;
图14是解释图像显示处理的示例的流程图;以及
图15是解释锁定模式显示处理的示例的流程图。
具体实施方式
以下,将参照附图具体描述本公开的优选实施例。注意到,在本说明书和附图中,用相同的标号表示具有实质相同功能和结构的结构元件,并且省略这些元件的重复解释。
图1是解释根据本技术的实施例的用于成像对象的系统的图。在这个示例中,人员300和物品330通过多个个照相机成像为对象(object)。此外,在这个示例中还提供了照相机110,照相机120,照相机130,和照相机140。
在图1的示例中,目标位于照相机110,照相机120,和照相机130的成像区域内,并且位于照相机140的成像区域外。因此,由三个照相机同时成像对象。
图2是图示根据应用本技术的监控系统的一个实施例的配置示例的框图。监控系统100包括照相机101,网络200,浏览终端210,浏览终端220,浏览终端230,和浏览终端240。
照相机101包括,例如,包含如以上参照图1描述的照相机110到照相机140的四个照相机,并且成像在每个照相机的成像区域内存在的对象。由构成照相机系统的每个照相机拍摄的图像的数据被发送到网络200。此时,每个照相机的图像的数据和与例如,关于每个照相机安装位置的信息(例如,坐标位置)和关于每个照相机的成像方向的信息(例如,表示作为每个照相机的成像区域的中心的光轴的矢量)相关联的数据一起发送。
通过例如,因特网、内部网、以及移动电话网络构建网络200。
浏览终端210到240的每个被配置使得可以与网络200连接,并且可以获得从照相机101发送的图像数据以便显示图像。
浏览终端210被配置为例如个人计算机。浏览终端220被配置为例如诸如移动电话和智能电话的移动终端。浏览终端230被配置为例如诸如PDA的平板电脑终端。浏览终端210到230的每个都被配置为与诸如显示器的显示单元集成。
浏览终端240被配置为具有例如微计算机等的数字装置,并且使得在作为与浏览终端240连接的外部设备的显示器241上显示图像。
浏览终端210到240的每个都可以如以后描述的,在正常模式中并在锁定模式中显示由照相机系统101拍摄的图像。以后将描述正常模式和锁定模式的细节。
可替换地,监控系统100可以被配置为例如,如图3所示。在这个示例中,监控系统100包括照相机系统101,网络200,浏览终端210,浏览终端220,浏览终端230,浏览终端240,专用服务器260,以及外部服务器270。
专用服务器260被配置为例如由企业操作监控系统100支配的计算机等,并且在例如存储器261中积累从照相机系统101发送的数据。专用服务器260发送在存储器261中累积的数据到已经通过网络200访问的浏览终端210到240。
外部服务器270被配置为例如通过因特网服务提供商等操作的计算机等,并且是借个企业的操作监控系统100的服务器。对于专用服务器260,外部服务器270例如在存储器271中累积从照相机系统101发送的数据。外部服务器270发送在存储器271中累积的数据到已经通过网络200访问的浏览终端210到240。
即,在图3图示的配置中,浏览终端210到240不从照相机系统101直接获得数据,而是通过专用服务器260或外部服务器270间接地获得数据。
监控系统100可以以这种方式配置。
图4是图示图1所示的照相机110的具体配置示例的框图。如图4所示,照相机110包括成像单元112,编码器113,CPU 114,内存115,存储器116,以及网络接口117。
成像单元112包括诸如CCD(电荷耦合器件)成像传感器和CMOS(互补金属氧化物半导体)成像传感器的光电转换元件,并且输出图像信号。
即,从外界拍摄的光通过光学系统并且被入射到光电转换元件,并且输出作为与接收的光量对应的电信号的图像信号。这个图像信号经历A/D转换,换言之,被采样以被量化(数字化),并且经历某个图像处理来输出到编码器113。
编码器113将通过根据诸如MPEG(移动画面专家组)格式和JPEG(联合图像专家组)格式的某些格式而编码从成像单元112输出的图像信号获得的图像数据提供给CPU(中央处理单元)114。
CPU 114执行诸如使用内存115的程序的软件,并且处理从编码器113输出的数据。例如,进行诸如分组生成以连同关于每个照相机安装位置的信息(例如,坐标位置)和关于每个照相机的成像方向的信息(例如,表示作为每个照相机的成像区域的中心的光轴的矢量)发送图像数据的处理。
CPU 114在必要时将诸如图像数据的数据保留在包括HDD等的存储器116中。
网络接口117包括例如LAN卡等,并且控制使用网络200的数据的发送和接收。
照相机110以这样的方式被配置。在此,虽然将图4中示出的配置解释作为照相机110的配置示例,图4中示出的该配置应用于照相机120到140。
图5是图示图2或图3所示的浏览终端210的具体配置示例的框图。在图5中,CPU 401根据在ROM(只读存储器)中存储的程序402或从存储单元408载入到RAM(随机存取存储器)403中的程序执行各种类型的处理。对于CPU 401执行各种类型的处理等必要的数据如适当地被存储在RAM 403中。
CPU 401,ROM 402,和RAM 403通过总线404彼此连接。输入输出接口405还与总线404连接。
包括键盘,鼠标等的输入部分406,包括诸如LCD(液晶显示器)的显示器,扩音器等的输出部分407,包括硬盘等的存储单元408,以及包括诸如调制解调器和LAN卡等的网络接口卡的通信单元409被连接到输入输出接口405。通信单元409通过网络200进行通信处理。
驱动器410在必要时连接到输入输出接口405。此外,诸如磁盘、光盘、磁光盘、和半导体存储器的可移除介质411在适当时连接,并且在必要时将从其中读取的计算机程序安装到存储单元408。
例如,在浏览终端210中通过软件执行一系列处理时,从诸如因特网的网络或包括可移除介质的记录介质等安装构成软件的程序。
在此,虽然将图5中示出的配置解释作为浏览终端210的配置示例,图5中示出的该配置应用于浏览终端220到240。然而,输入部分406和输出部分407的实际配置根据模型而变化。此外,例如在必要时提供存储单元408。
图6是图示诸如图5中所示的CPU 401中执行的程序的软件的基本配置示例的框图。
图6中所示的图像获取单元451控制从照相机系统101通过网络200发送的每个照相机拍摄的图像的获取。
对象检测单元452分析由图像获取单元451获得的图像并且控制图像中显示的对象的检测。对象检测单元452确定例如在由图像获取单元451获得的数据的图像中是否显示了人员。如果确定显示了人员,对象检测单元452检测显示该人员的图像的区域。可替换地,对象检测单元452确定例如在由图像获取单元451获得的数据的图像中是否显示了特定物体。如果确定显示了特定物体,对象检测单元452检测显示该物体的图像的区域。
当检测到人员时,对象检测单元452确定是否在由照相机系统101的多个照相机拍摄的图像中显示该同一个人。对象检测单元452提取诸如头部对于该人员整个身体的比例、眼睛颜色、以及头发颜色的信息作为特征量然后,对象检测单元452通过在由多个照相机拍摄的图像中比较该人员的特征量来确定在多个照相机拍摄的图像中是否显示了该同一人。
此外,当检测到人员时,对象检测单元452例如在必要时控制通过网络200的对专用服务器260或外部服务器270的访问。对象检测单元452参照例如在存储器261、存储器271等中存储的人员数据库,并且判断在人员数据库中存储的人员和检测的人员的相似度。
在人员数据库中,存储了例如多个人员的特征量。例如,将诸如头与整个身体的比例、眼睛颜色、和头发颜色的信息存储作为特征量。对象检测单元452例如通过比较检测的人员的特征量和在人员数据库中存储的每个人员的特征量来判断在人员数据库中存储的人员和检测的人员的相似度。
此外,在人员数据库中存储例如人员的属性(例如,诸如年龄、性别、职业、和犯罪记录的信息)。因此,在每个浏览终端上还可以显示例如显示的人员的属性。
显示模式控制单元453基于例如通过输入部分406输入的用户操作确定将使用正常模式或锁定显示模式的哪一个来显示图像,并且输出指定要显示的模式的信息到显示图像生成单元454。
显示图像生成单元454生成用于正常模式或锁定显示模式的显示数据,以及与显示数据对应的图像信号以便将它们提供到输出部分407的显示器。
下一步,将给出在浏览终端210到240的显示器上显示的图像的解释。
图7是图示在浏览终端220的显示器221上显示图像的示例的图。如以上描述的,浏览终端220被配置为例如诸如移动电话和智能电话的移动终端。
图7示出正常模式中显示屏幕的示例。显示由照相机110拍摄的人员300的图像(对象图像)301和物品330的图像(对象图像)331。
此外,如图7所示,在对象图像301周围显示对象检测框321。对象检测框从对象检测单元452在由照相机110拍摄的图像中检测到人员的图像,并且同一人的图像还被不同照相机拍摄的图像检测到起显示。例如,如果在由照相机120拍摄的图像中以及由照相机130拍摄的图像中检测到同一人,显示检测框321。在本示例中,检测框321被显示为矩形虚线。
显示器221被配置为例如电容系统触摸屏,并且检测电容的改变并且检测用户手指等的靠近。例如,当用户将手指310靠近显示器221时,检测到面板上特定部分的电容改变并且输出表示该部分的信号。
在图7所示的状态中,当用户将手指310靠近对象图像301时,选择对象图像301,并且显示屏幕切换到锁定模式。当在正常模式中显示的屏幕上选择围绕其显示检测框的对象图像时,显示模式控制单元453将显示模式从正常模式切换到锁定模式。
图8解释当将在显示其221上显示的图像切换到锁定模式中的显示时的转换的图。如图8所示,对象图像301的选择首先移动对象图像301到屏幕的中央,并且然后放大对象图像301以便显示。此后,显示器221上的图像变成如图9所示的。
当放大对象图像301以便时,对象图像301经历像素补充或其它以便被转换成高解析度图像。
图9是图示锁定模式中在显示器221上的显示示例的图。如图9所示,在锁定模式中,除对象图像301以外显示由不同的照相机拍摄的对象图像。在这个示例中,与对象图像301一起显示由照相机120拍摄的作为人员300的图像的对象图像302以及由照相机130拍摄的作为人员300的图像的对象图像303。
在这个示例中,对象图像302与对象检测框322一起显示,并且对象图像303与对象检测框323一起显示。
对象图像302和对象图像303相对于照相机110到130的位置关系显示,以对象图像301的显示位置为参考。如以上描述的,从每个照相机发送的数据与关于照相机安装位置的信息(例如,坐标位置)和关于每个照相机成像方向的信息(例如,表示作为每个照相机的成像区域的中心的光轴的矢量)相关。基于该信息,显示图像生成单元454设置对象图像302的显示位置和角度,以及在将对象图像301的显示位置用于参考的情况下的对象图像303。
即,通过设置对象图像302和对象图像303的显示位置和角度,在适当时改变对象图像302和对象图像303的大小、形状等。
用户可以通过对象检测帧321到323识别拍摄的对象图像301到303的每个的方向。即,虽然与作为参考的对象图像301对应的对象检测帧321在屏幕上示出为矩形,对象检测框322和对象检测框323在屏幕上示出为平行四边形。
在锁定模式中显示的情况下,对象检测帧可以不显示。此外,例如,当在锁定模式中显示图像时,可以显示关于基于人员数据库获得的人员的属性的信息。
在对象图像301、对象图像302、和对象图像303的中心显示中心轴线340。还通过显示图像生成单元454基于关于照相机安装位置的信息(例如,坐标位置)和关于每个照相机成像方向的信息(例如,表示作为每个照相机的成像区域的中心的光轴的矢量)设置中心轴线340。即,由于人员300的图像由3个照相机从不同方向拍摄,估计人员300的深度(厚度)是可能的。例如,基于这样估计的人员300的深度,将人员300假定为几乎圆柱形并且将该圆柱体的中心轴线设置为中心轴线340。
如图9所示,当在锁定模式中显示图像时,用户可以以中心轴线340作为中心旋转对象图像。
例如,如果用户在将手指310靠近显示器221的同时从右向左滑动显示器221,人员300的对象图像旋转。例如,如图10所示,在显示器221上显示的对象图像旋转。
在如10的示例中,由于用户已经滑动手指310,对象图像以作为中心的中心轴线340逆时针方向旋转。因此,对象图像303在前面显示,尽管图9中对象图像301在前面显示(作为参考)。
在这种情况下,看上去在对象图像303中显示的人员300有枪并且是危险人物。以这种方式,从不同方向(不同视角)看到的该对象(例如,人员300)可以通过以锁定方式旋转显示的对象图像被识别。因此,例如,容易地检验图像中的人员是不是危险人物(是否该人员配有武器)是可能的。
此外,例如,通过参照基于人员数据库获得的信息检验人员的属性变成可能。
在图10中示出的状态中,当用户将手指310靠近对象图像303时,对象图像303被选择,并且显示屏幕被切换到正常模式。当在锁定模式中在屏幕上选择锁定模式中要显示的对象图像(在本情况下,人员300的图像)时,显示模式控制单元453将显示模式从锁定模式切换到正常模式。
图11解释当在正常模式中在显示器221上切换图像以便显示时的转换的图。如图11所示,对象图像303的选择将对象图像303移动到由照相机130拍摄的图像中的显示位置(在本情况下,品目的左上方)。那是,已经被放大以在锁定模式中显示的对象图像303被缩小。此后,显示器221上的图像变成如图12所示的。
图12是图示在浏览终端220的显示器221上显示的另一图像示例的图。图12是正常模式中的显示屏幕的示例,显示了由照相机130拍摄的人员300的图像(目标图像)303和物品330的图像(目标图像)333。此外,如图12所示,在对象图像303周围显示了对象检测框323。
以此方式,切换要在浏览终端220的显示器221上显示的图像的显示模式。
在相关技术中,例如,如图13所示地切换屏幕上的显示。图13,例如,假定视角1图像、视角2图像、和视角3图像被获得作为由三个不同照相机拍摄的图像。
现在,假定用户在浏览终端的显示器上显示视角1图像并且切换到视角3图像的显示。在本情况下,例如,在显示视角1的同时,用户选择在右下部分中标称“视角列表”的图标以便将在浏览终端的显示器上的显示切换到列表,如图13所示。相应地,缩小视角1图像、视角2图像、和视角3图像的每个以便在浏览终端的显示器上显示。
然后,用户在显示列表的屏幕上选择用户希望浏览的视角3图像(例如,通过将手指靠近该图像来选择图像)。相应地,视角3图像被放大以便在浏览终端的显示器上显示。
另一方面根据本技术的实施例,如以上参照例如图9和图10所描述的,在锁定模式中显示对象图像;因此,无需进行如相关技术中的到示出列表的屏幕的转换。
例如,当使用诸如移动终端的具有小显示器的浏览终端时,需要将单个图像非常小地显示以便显示具有许多视角的图像列表。因此,当进行到示出列表的屏幕的变换时很有可能屏幕上的图像难以识别。
当通过切换多个视角显示图像时,尽可能快地完成显示转换是优选的;然而,在相关技术中,每次通过列表切换视角图像,例如好比视角1图像、列表、并且然后视角3图像。因此,需要一些时间来完成显示转换。
另一方面根据本技术的实施例,如以上参照例如图9和图10描述的,仅可以通过旋转在锁定模式中显示的对象图像来切换视角图像(对象图像)。因此,快速地完成显示转换,并且还改善了用户可操作性是可能的。
以这种方式根据本技术的实施例,当通过切换多个视角在屏幕上显示图像时,尽可能快地完成显示转换并且改善用户可操作性是可能的。
下一步,将参照图14所示的流程图来解释浏览终端210到240的图像显示处理的示例。
在步骤S21,图像获取单元451获得从照相机系统101发送的由每个照相机拍摄的图像的数据。
在步骤S22,显示图像生成单元454在正常模式中显示步骤S21的处理中获得的图像的任何一个。此时,例如用过初始设置确定哪个有对应照相机拍摄的图像将被显示。相应地,例如,在浏览终端220的显示器221上显示以上参照图7描述的图像。
在步骤S23,对象检测单元452分析由图像获取单元451获得的图像。相应地,分析图像中是否显示了某个对象(例如,人员),并且获得了对象的特征量等。
在步骤S24,对象检测单元452确定是否某个对象(例如,人员)被作为步骤S23的处理结果被检测。当在步骤S24中确定检测到某个对象时,处理前进到步骤S25。
此外,此时,例如可以参照在存储器261、存储器271等中存储的人员数据以便判断在人员数据库中存储的人员和检测的人员的相似度。当判断存在高相似度时,获得人员的属性。
在步骤S25,对象检测单元452确定是否在由不同照相机拍摄的图像中(从不同视角)检测到同一人。此时,对象检测单元452比较诸如人员的头与整个身体的比例、眼睛颜色、和头发颜色的特征量以便确定是否在多个照相机拍摄的图像中显示同一人。当在步骤S25中确定从不同视角的图像中检测到同一人时,处理前进到步骤S26。
在步骤S26,在步骤24的处理中已经确定要检测的对象周围显示检测框。相应地,例如,在如图7所示的对象图像301周围显示对象检测框321。
在步骤S27中,显示模式控制单元453确定是否选择了例如在步骤S26的处理中显示的检测框所围绕的对象图像。当在步骤S27中确定了选择了检测框所围绕的对象图像时,处理前进到步骤S28。
在步骤S28中,显示图像生成单元454锁定模式显示处理,将要参照图15的流程图以后对其描述。相应地,在锁定模式中显示图像。
但在步骤S24中确定没有检测到某个对象时,跳过步骤S25到S28的处理。
此外,当在步骤S25中确定从不同视角的图像中没有检测到同一人时,跳过步骤S26到步骤S28的处理。
进一步,当在步骤S27中确定没有选择所显示的检测框所围绕的对象图像时,跳过步骤S28的处理。
以此方式,执行图像显示处理。
下一步,将参照图15所示的流程图解释图14所示的步骤S28的锁定模式显示处理的具体事例。
在步骤S41中,显示图像生成单元454将步骤S27的处理中确定要选择的对象图像移动到屏幕的中央并且放大要显示的对象图像。此时,显示例如图8所示的图像。
在步骤S42中,显示图像生成单元454设置每个对象图像的显示位置和角度。此时,基于例如,如以上描述的关于照相机安装位置的信息(例如,坐标位置)和关于每个照相机成像方向的信息(例如,表示作为每个照相机的成像区域的中心的光轴的矢量)设置每个对象图像的显示位置和角度。
在步骤S43中,显示图像生成单元454设置中心轴线。此时,例如,如以上参照图9所描述的假定人员300是几乎圆柱形的并且该圆柱体的中心轴线被设置为轴340。
在步骤S44中,基于步骤S42的处理中的设置和步骤S43的处理中的设置内容显示每个对象图像。即,例如,如以上参照图9描述的在锁定模式中显示图像。
在步骤S45中,显示图像生成单元454确定是否滑动了屏幕。即,确定是否进行了对在锁定模式中显示的对象图像的旋转操作。
当在步骤S45中确定滑动了屏幕,处理前进到步骤S46。
在步骤S46中,显示图像生成单元454旋转在锁定模式中显示的对象图像以便显示对象图像。此时,例如,如以上参照图10所描述的以作为中心的中心轴线340旋转对象图像。然后,例如,对象图像303在前面显示,尽管图9中对象图像301在前面显示(作为参考)。
当在步骤S45中确定没有滑动屏幕时,或者在步骤S46的处理以后,处理前进到步骤S47。
在步骤S47中,显示图像生成单元454确定是否选择了显示的检测框所围绕的对象图像。当在步骤S47中确定选择了显示的检测框所围绕的对象图像时,处理前进到步骤S48。
在步骤S48中,显示图像生成单元454缩小对象图像。此时,显示例如图11所示的图像。
在步骤S49中,显示图像生成单元454在正常模式中显示图像。此时,例如,在如图12所示的正常模式中显示图像。
当在步骤S47中确定没有旋转显示的检测框所围绕的对象图像时,跳过步骤S48和步骤S49的处理。
以此方式,执行锁定模式显示处理。
虽然在以上解释中使用浏览终端220上的图像的显示作为示例,相似的显示还在浏览终端210、浏览终端220、和浏览终端230上进行。
以上解释了其中应用本技术于监控系统100的实施例以及例如主要考虑预防犯罪和安全目的的监控危险人物的示例。然而,例如,本技术的实施例可以应用于考虑到用于诸如体育比赛和音乐会的事件的电视广播目的的成像系统。
通过将本技术的实施例应用于以上描述的成像系统,例如,可以在足球比赛中在锁定模式中显示关注的队员并且可以从各个角度观看该队员的表现。例如,可以根据用户偏好在适当处在从主队侧观看和从客队侧观看之间切换观看球门前的表现是可能的。
当通过软件执行以上描述的一系列处理时,从诸如因特网的网络或包括图5所示的可移除介质411的记录介质等安装构成软件的程序。
记录介质不仅包括由包括磁盘(包括软盘(注册商标))、光谱(包括CD-ROM(光盘只读存储器)和DVD(数字多功能盘))、磁光盘(包括MD(微型盘)(注册商标))、半导体内存、或其它记录程序并且向用户分发以传递程序的可移除介质411构成的记录介质,而且还包括由其中记录程序的ROM 402、在存储单元408中包括的硬盘等构成的记录介质。
在此以上描述的一系列处理当然包括遵从所描述的顺序的顺序进行的处理,而还包括如果不顺序地进行的并行或单独进行的处理。
本技术的实施例不限于以上描述的实施例,在不背离本技术的主旨的情况下可以进行各种修改。
本领域技术人员将要明白取决于设计需要和其它因素,可以产生各种修改、合并、子合并和变化,只要它们在所附权利要求或其等同物的范围以内。
本技术还可包括以下配置。
(1)一种显示控制设备,包括:
图像获取单元,获得多个照相机拍摄的每个图像;
对象检测单元,检测显示在所获得的多个图像中的某个图像中的特定对象;以及
显示控制单元,进行控制,从而设置一种模式,以便使用所述某个图像中的对象作为参考来显示不同于其中检测出所述特定对象的所述某个图像的图像中的对象,以及以便当在所获得的多个图像中的所述不同图像中检测到相同的对象时将所述不同图像中的对象显示在同一屏幕上。
(2)根据(1)的显示控制设备,
其中,所述显示控制单元基于拍摄所述某个图像中对象的照相机的位置和成像方向,设置在不同图像中显示对象的位置以及屏幕上不同图像中的对象的形状。
(3)根据(1)或(2)的显示控制设备,
其中,所述显示控制单元还设置所述某个图像中的对象和所述不同图像中的对象的中心轴线,并且基于用户操作,绕作为中心的中心轴线旋转所述某个图像中的对象和所述不同图像中的对象以便在屏幕上显示所述某个图像中的对象和所述不同图像中的对象。
(4)根据(1)到(3)中任意一个的显示控制设备,
其中,当在与其中检测出所述特定对象的所述某个图像不同的图像中检测到相同对象时,所述显示控制单元显示围绕所述对象的某个检测框。
(5)根据(1)到(4)中任意一个的显示控制设备,
其中,作为显示控制模式,所述显示控制单元包括:
常规模式,其中由多个照相机拍摄的图像中的预定图像被显示为所述某个图像,以及
锁定模式,其中当在所述不同图像中检测到相同对象的情况下用户选择所述某个图像中的对象时,所述某个图像中的对象和所述不同图像中的对象显示在相同屏幕上,并且
其中,在所述锁定模式中所述对象的图像被放大以便显示。
(6)根据(1)到(5)中任意一个的显示控制设备,
其中,所述对象检测单元提取检测对象的特征量并且基于所述特征量通过搜索某个数据库来获得显示所述对象的属性的信息,并且
其中,所述显示控制单元进行控制,以便一起显示所述属性与所述对象。
(7)一种显示控制方法,包括:
通过图像获取单元获得多个照相机拍摄的每个图像;
通过对象检测单元检测显示在所获得的多个图像中的某个图像中的特定对象;以及
通过显示控制单元进行控制,从而设置一种模式,以便使用所述某个图像中的对象作为参考来显示不同于其中检测出所述特定对象的所述某个图像的图像中的对象,以及以便当在所获得的多个图像中的所述不同图像中检测到相同的对象时将所述不同图像中的对象显示在同一屏幕上。
(8)一种使计算机起到显示控制设备功能的程序,所述显示控制设备包括:
图像获取单元,获得多个照相机拍摄的每个图像;
对象检测单元,检测显示在所获得的多个图像中的某个图像中的特定对象;以及
显示控制单元,进行控制,从而设置一种模式,以便使用所述某个图像中的对象作为参考来显示不同于其中检测出所述特定对象的所述某个图像的图像中的对象,以及以便当在所获得的多个图像中的所述不同图像中检测到相同的对象时将所述不同图像中的对象显示在同一屏幕上。
9)一种其中存储根据(8)的程序的记录介质。
本公开包含与2011年6月8日向日本专利局提交的日本优先权专利申请JP 2011-128100公开的主题有关的主题,其整体内容通过引用合并于此。
Claims (9)
1.一种显示控制设备,包括:
图像获取单元,获得多个照相机拍摄的每个图像;
对象检测单元,检测显示在所获得的多个图像中的某个图像中的特定对象;以及
显示控制单元,进行控制,从而设置一种模式,以便使用所述某个图像中的对象作为参考来显示不同于其中检测出所述特定对象的所述某个图像的图像中的对象,以及以便当在所获得的多个图像中的所述不同图像中检测到相同的对象时将所述不同图像中的对象显示在同一屏幕上。
2.根据权利要求1所述的显示控制设备,
其中,所述显示控制单元基于拍摄所述某个图像中对象的照相机的位置和成像方向,设置在不同图像中显示对象的位置以及屏幕上不同图像中的对象的形状。
3.根据权利要求1所述的显示控制设备,
其中,所述显示控制单元还设置所述某个图像中的对象和所述不同图像中的对象的中心轴线,并且基于用户操作,绕作为中心的中心轴线旋转所述某个图像中的对象和所述不同图像中的对象以便在屏幕上显示所述某个图像中的对象和所述不同图像中的对象。
4.根据权利要求1所述的显示控制设备,
其中,当在与其中检测出所述特定对象的所述某个图像不同的图像中检测到相同对象时,所述显示控制单元显示围绕所述对象的某个检测框。
5.根据权利要求1所述的显示控制设备,
其中,作为显示控制模式,所述显示控制单元包括:
常规模式,其中由多个照相机拍摄的图像中的预定图像被显示为所述某个图像,以及
锁定模式,其中当在所述不同图像中检测到相同对象的情况下用户选择所述某个图像中的对象时,所述某个图像中的对象和所述不同图像中的对象显示在相同屏幕上,并且
其中,在所述锁定模式中所述对象的图像被放大以便显示。
6.根据权利要求1所述的显示控制设备,
其中,所述对象检测单元提取检测对象的特征量并且基于所述特征量通过搜索某个数据库来获得显示所述对象的属性的信息,并且
其中,所述显示控制单元进行控制,以便一起显示所述属性与所述对象。
7.一种显示控制方法,包括:
通过图像获取单元获得多个照相机拍摄的每个图像;
通过对象检测单元检测显示在所获得的多个图像中的某个图像中的特定对象;以及
通过显示控制单元进行控制,从而设置一种模式,以便使用所述某个图像中的对象作为参考来显示不同于其中检测出所述特定对象的所述某个图像的图像中的对象,以及以便当在所获得的多个图像中的所述不同图像中检测到相同的对象时将所述不同图像中的对象显示在同一屏幕上。
8.一种使计算机起到显示控制设备功能的程序,所述显示控制设备包括:
图像获取单元,获得多个照相机拍摄的每个图像;
对象检测单元,检测显示在所获得的多个图像中的某个图像中的特定对象;以及
显示控制单元,进行控制,从而设置一种模式,以便使用所述某个图像中的对象作为参考来显示不同于其中检测出所述特定对象的所述某个图像的图像中的对象,以及以便当在所获得的多个图像中的所述不同图像中检测到相同的对象时将所述不同图像中的对象显示在同一屏幕上。
9.一种其中存储根据权利要求8的程序的记录介质。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011-128100 | 2011-06-08 | ||
| JP2011128100A JP2012257021A (ja) | 2011-06-08 | 2011-06-08 | 表示制御装置および方法、プログラム、並びに記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102819413A true CN102819413A (zh) | 2012-12-12 |
Family
ID=46578816
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2012101791133A Pending CN102819413A (zh) | 2011-06-08 | 2012-06-01 | 显示控制设备、显示控制方法、程序、以及记录介质 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20120313897A1 (zh) |
| EP (1) | EP2533533A1 (zh) |
| JP (1) | JP2012257021A (zh) |
| CN (1) | CN102819413A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109429052A (zh) * | 2017-08-30 | 2019-03-05 | 佳能株式会社 | 信息处理设备、信息处理设备的控制方法以及存储介质 |
| CN109565548A (zh) * | 2016-08-17 | 2019-04-02 | 三星电子株式会社 | 控制多视场图像的方法和支持该方法的电子设备 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6299492B2 (ja) * | 2014-07-03 | 2018-03-28 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| KR101751347B1 (ko) | 2015-06-16 | 2017-07-11 | 엘지전자 주식회사 | 이동 단말기 및 이의 제어방법 |
| JP6566799B2 (ja) * | 2015-09-07 | 2019-08-28 | キヤノン株式会社 | 提供装置、提供方法、及びプログラム |
| JP6262890B1 (ja) * | 2017-01-13 | 2018-01-17 | 株式会社日本エスシーマネージメント | 視聴装置、水中空間視聴システム及び水中空間視聴方法 |
| JP6482580B2 (ja) * | 2017-02-10 | 2019-03-13 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| WO2020059445A1 (ja) * | 2018-09-21 | 2020-03-26 | 富士フイルム株式会社 | 画像処理装置及び画像処理方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1996031047A2 (en) * | 1995-03-31 | 1996-10-03 | The Regents Of The University Of California | Immersive video |
| US20040162154A1 (en) * | 2003-02-14 | 2004-08-19 | Dejohn David | Kinetic motion analyzer |
| CN101300840A (zh) * | 2005-11-04 | 2008-11-05 | 微软公司 | 多视角视频传递 |
| CN102388406A (zh) * | 2009-01-28 | 2012-03-21 | 苹果公司 | 使用便携式电子设备记录产生三维模型 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7796162B2 (en) * | 2000-10-26 | 2010-09-14 | Front Row Technologies, Llc | Providing multiple synchronized camera views for broadcast from a live venue activity to remote viewers |
| US20030058111A1 (en) * | 2001-09-27 | 2003-03-27 | Koninklijke Philips Electronics N.V. | Computer vision based elderly care monitoring system |
| US20050273830A1 (en) * | 2002-10-30 | 2005-12-08 | Nds Limited | Interactive broadcast system |
| US20040263626A1 (en) * | 2003-04-11 | 2004-12-30 | Piccionelli Gregory A. | On-line video production with selectable camera angles |
| JP4424031B2 (ja) | 2004-03-30 | 2010-03-03 | 株式会社日立製作所 | 画像生成装置、システムまたは画像合成方法。 |
| US8184157B2 (en) * | 2005-12-16 | 2012-05-22 | Siemens Corporation | Generalized multi-sensor planning and systems |
-
2011
- 2011-06-08 JP JP2011128100A patent/JP2012257021A/ja not_active Withdrawn
-
2012
- 2012-05-25 US US13/481,149 patent/US20120313897A1/en not_active Abandoned
- 2012-05-25 EP EP12169579A patent/EP2533533A1/en not_active Withdrawn
- 2012-06-01 CN CN2012101791133A patent/CN102819413A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1996031047A2 (en) * | 1995-03-31 | 1996-10-03 | The Regents Of The University Of California | Immersive video |
| US20040162154A1 (en) * | 2003-02-14 | 2004-08-19 | Dejohn David | Kinetic motion analyzer |
| CN101300840A (zh) * | 2005-11-04 | 2008-11-05 | 微软公司 | 多视角视频传递 |
| CN102388406A (zh) * | 2009-01-28 | 2012-03-21 | 苹果公司 | 使用便携式电子设备记录产生三维模型 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109565548A (zh) * | 2016-08-17 | 2019-04-02 | 三星电子株式会社 | 控制多视场图像的方法和支持该方法的电子设备 |
| CN109565548B (zh) * | 2016-08-17 | 2021-02-12 | 三星电子株式会社 | 控制多视场图像的方法和支持该方法的电子设备 |
| CN109429052A (zh) * | 2017-08-30 | 2019-03-05 | 佳能株式会社 | 信息处理设备、信息处理设备的控制方法以及存储介质 |
| US10771760B2 (en) | 2017-08-30 | 2020-09-08 | Canon Kabushiki Kaisha | Information processing device, control method of information processing device, and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2533533A1 (en) | 2012-12-12 |
| JP2012257021A (ja) | 2012-12-27 |
| US20120313897A1 (en) | 2012-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102819413A (zh) | 显示控制设备、显示控制方法、程序、以及记录介质 | |
| KR101800617B1 (ko) | 디스플레이 장치 및 이의 화상 통화 방법 | |
| TWI554096B (zh) | 包含興趣特徵之視訊摘要 | |
| US9013604B2 (en) | Video summary including a particular person | |
| CN100550988C (zh) | 运动图像处理设备和运动图像处理方法 | |
| CN113873679B (zh) | 协同窗口处理方法、系统及电子设备 | |
| US20090251421A1 (en) | Method and apparatus for tactile perception of digital images | |
| US20100013943A1 (en) | Arrangement and method relating to an image recording device | |
| CN101489116A (zh) | 影像网络系统以及影像数据管理方法 | |
| CN108701392A (zh) | 用于执行监视的方法和装置 | |
| CN106781168A (zh) | 监视系统 | |
| TW200803477A (en) | Methods and systems for generating an image object | |
| CN103197825A (zh) | 图像处理装置、显示控制方法和程序 | |
| WO2020115910A1 (ja) | 情報処理システム、情報処理装置、情報処理方法、およびプログラム | |
| CN107360366A (zh) | 拍照方法、装置、存储介质及电子设备 | |
| JP6485978B2 (ja) | 画像処理装置および画像処理システム | |
| JPWO2014065033A1 (ja) | 類似画像検索装置 | |
| JP6214762B2 (ja) | 画像検索システム、検索画面表示方法 | |
| KR101350068B1 (ko) | 관심 영역 이미지를 출력하기 위한 전자 장치 | |
| US11153507B2 (en) | Image processing apparatus, image processing method, image providing system, and non-transitory computer-readable recording medium storing image processing program | |
| JP5532748B2 (ja) | 撮像装置 | |
| JP2013162352A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2015050697A (ja) | 映像処理装置及び映像処理装置の制御方法 | |
| MX2011009183A (es) | Dispositivo de transmision de video por red celular. | |
| HK1190545A (zh) | 包括特定人的視頻摘要 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20121212 |