[go: up one dir, main page]

CN106203300A - 内容项显示方法及装置 - Google Patents

内容项显示方法及装置 Download PDF

Info

Publication number
CN106203300A
CN106203300A CN201610511598.XA CN201610511598A CN106203300A CN 106203300 A CN106203300 A CN 106203300A CN 201610511598 A CN201610511598 A CN 201610511598A CN 106203300 A CN106203300 A CN 106203300A
Authority
CN
China
Prior art keywords
content item
video image
display
size
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610511598.XA
Other languages
English (en)
Inventor
荣智升
陈杨
梁秋实
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN201610511598.XA priority Critical patent/CN106203300A/zh
Publication of CN106203300A publication Critical patent/CN106203300A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开揭示了一种内容项显示方法及装置,属于互联网技术领域。所述内容项显示方法包括:对视频图像中预定的特征点进行识别;确定识别出的特征点在所述视频图像中的位置;将接收到的内容项叠加在所述位置上进行显示。通过识别视频图像中的特征点,将接收的内容项叠加在特征点的位置进行显示,解决了相关技术中的互动形式只是进行机械的展示,导致互动形式过于单一的问题,达到了根据视频图像中的特征点的位置决定内容项的显示位置,使得内容项与视频图像关联起来,丰富了互动形式的效果。

Description

内容项显示方法及装置
技术领域
本公开涉及互联网技术领域,特别涉及一种内容项显示方法及装置。
背景技术
随着科技的发展,人们可以通过一些应用程序进行视频通话或是视频直播。
在视频直播中,录制视频的人被称为主播,观看视频的人被称为观众,观众在观看视频的过程中,可以与主播之间有一定形式的互动,可能是在应用程序的界面上展示静态图片,也可能是发送按照预定轨迹移动的动画,比如发送动态表情或是扔鲜花、扔飞吻等等。
这些互动形式通常只是进行机械的展示,互动形式过于单一。
发明内容
本公开提供一种内容项显示方法及装置。所述技术方案如下:
根据本公开实施例的第一方面,提供一种内容项显示方法,所述方法包括:对视频图像中预定的特征点进行识别;确定识别出的特征点在所述视频图像中的位置;将接收到的内容项叠加在所述位置上进行显示。通过识别视频图像中的特征点的位置,利用特征点的位置决定内容项显示的位置,解决了相关技术中由于只进行机械的展示导致互动形式单一的技术问题,达到了将内容项与视频图像关联,丰富互动形式的效果。
可选的,所述将接收到的内容项叠加在所述位置上进行显示,包括:当所述特征点的位置变化时,移动所述内容项,在所述内容项的指定点与所述特征点变化后的位置重合后停止移动所述内容项。通过在特征点的位置变化时,移动内容项的指定点直到与特征点位置重合,使得内容项能够与视频的特征点的位置保持一致,实时的进行调整。
可选的,所述方法还包括:实时获取播放所述视频图像的终端设备的重力方向;根据所述重力方向实时确定所述内容项的显示方向,使得所述内容项的显示方向符合所述重力方向。通过实时获取终端设备的重力方向,根据该重力方向调整内容项的显示方向,在终端设备发生旋转时,视频图像也会进行相应旋转,使得内容项也进行相应的方向调整,能够按照预定效果显示在视频图像中。
可选的,所述对视频图像中预定的特征点进行识别,包括:识别出所述视频图像中的人脸区域;在所述人脸区域中识别出预定的特征点,所述预定的特征点包括人脸区域的中心点。通过识别视频图像中的人脸区域的中心点,使得在显示内容项时将人脸区域的中心点作为特征点。
可选的,所述方法还包括:实时获取所述人脸区域的大小;根据人脸区域的大小与内容项的大小之间的预定比值,实时调整所述内容项的大小,使得所述人脸区域的大小与调整后的所述内容项的大小符合所述预定比值。通过根据人脸区域的大小和内容项的大小的预定比值调整内容项的大小,使得在人脸区域的大小发生变化时,调整内容项的大小以匹配人脸区域的大小。
可选的,所述方法还包括:累加所述内容项的显示时长;在所述内容项的显示时长达到预定时长阈值时,清除显示的所述内容项。通过设定每个内容项显示的时长,清除达到预定时长的内容项,使得一个内容项不会在视频图像上持续显示,能够让其他的内容项也有机会进行显示。
根据本公开实施例的第二方面,提供一种内容项显示装置,所述装置包括:识别模块,被配置为对视频图像中预定的特征点进行识别;第一确定模块,被配置为确定所述识别模块识别出的特征点在所述视频图像中的位置;显示模块,被配置为将接收到的内容项叠加在所述第一确定模块确定出的所述位置上进行显示。
可选的,所述显示模块,还被配置为当所述特征点的位置变化时,移动所述内容项,在所述内容项的指定点与所述特征点变化后的位置重合后停止移动所述内容项。
可选的,所述装置还包括:第一获取模块,被配置为实时获取播放所述视频图像的终端设备的重力方向;第二确定模块,被配置为根据所述第一获取模块获取到的所述重力方向实时确定所述内容项的显示方向,使得所述内容项的显示方向符合所述重力方向。
可选的,所述识别模块,包括:第一识别子模块,被配置为识别出所述视频图像中的人脸区域;第二识别子模块,被配置为在所述第一识别子模块识别到的所述人脸区域中识别出预定的特征点,所述预定的特征点包括人脸区域的中心点。
可选的,所述装置还包括:第二获取模块,被配置为实时获取所述人脸区域的大小;调整模块,被配置为根据人脸区域的大小与内容项的大小之间的预定比值,实时调整所述内容项的大小,使得所述人脸区域的大小与调整后的所述内容项的大小符合所述预定比值。
可选的,所述装置还包括:累加模块,被配置为累加所述内容项的显示时长;清除模块,被配置为在所述累加模块累加的所述内容项的显示时长达到预定时长阈值时,清除显示的所述内容项。
根据本公开实施例的第三方面,提供一种内容项显示装置,所述装置包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为:对视频图像中预定的特征点进行识别;确定识别出的特征点在所述视频图像中的位置;将接收到的内容项叠加在所述位置上进行显示。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种内容项显示方法的流程图;
图2A是根据另一示例性实施例示出的一种内容项显示方法的流程图;
图2B是根据一示例性实施例中提供的对视频图像中预定的特征点进行识别的流程图;
图2C是根据一示例性实施例中示出的终端设备竖直摆放位置的重力方向的示意图;
图2D是根据一示例性实施例中示出的终端设备由竖直摆放位置旋转90度后的重力方向的示意图;
图3是根据一示例性实施例示出的一种内容项显示装置的框图;
图4是根据另一示例性实施例示出的一种内容项显示装置的框图;
图5是根据一示例性实施例示出的一种用于显示内容项的装置的框图;
图6是根据另一示例性实施例示出的一种用于显示内容项的装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种内容项显示方法的流程图,该内容项显示方法可以应用在产生视频图像的终端设备中,也可以应用在接收视频图像的终端设备中,还可以应用在服务器中。这里所讲的终端设备包括智能手机、平板电脑、多媒体播放设备等。这里所讲的服务器可以为一台服务器,也可以为多台服务器的集合,多台服务器之间信息可以共享。如图1所示,该内容项显示方法可以包括如下几个步骤。
在步骤110中,对视频图像中预定的特征点进行识别。
在步骤120中,确定识别出的特征点在视频图像中的位置。
在步骤130中,将接收到的内容项叠加在该位置上进行显示。
可选的,当该内容项显示方法应用在接收视频图像的终端设备中时,在终端设备上接收并播放一段视频图像,确定视频图像中的特征点,将需要显示的内容项叠加到特征点的位置显示。
可选的,当该内容项显示方法应用在产生视频图像的终端设备中时,用户录制完一段视频图像,希望为视频图像增加一些效果,可以选择将内容项添加进视频图像中进行叠加显示。
可选的,当该内容项显示方法应用在服务器中时,在服务器将获取的视频图像与内容项按照该方法进行叠加,将叠加后的视频图像发送给需要播放的终端设备。
在一种可能的实现方式中,多台终端设备共享服务器传输的视频图像数据,可以由一个终端设备选择需要显示的内容项,将该内容项的显示请求发送至服务器,服务器根据显示请求,将内容项与视频图像按照该方法进行叠加,将叠加后的视频图像发送至各个终端设备进行播放显示。
综上所述,本公开实施例提供的内容项显示方法,通过识别视频图像中的特征点的位置,利用特征点的位置决定内容项显示的位置,解决了相关技术中由于只进行机械的展示导致互动形式单一的技术问题,达到了将内容项与视频图像关联,丰富互动形式的效果。
图2A是根据另一示例性实施例示出的一种内容项显示方法的流程图,该内容项显示方法可以应用在产生视频图像的终端设备中,也可以应用在接收视频图像的终端设备中,还可以应用在服务器中。这里所讲的终端设备包括智能手机、平板电脑、多媒体播放设备等。这里所讲的服务器可以为一台服务器,也可以为多台服务器的集合,多台服务器之间信息可以共享。如图2A所示,该内容项显示方法可以包括以下步骤。
在步骤201中,对视频图像中预定的特征点进行识别。
在一种可能的实现方式中,这里的视频图像可能是在直播类应用程序上或是在直播网站上播放的视频图像,这类视频图像由一个终端设备录制并同步至建立的直播间,录制该视频图像的用户一般称为主播,观众只要进入直播间,就可以同步观看直播视频,观众可以与主播通过文字、图片、动画等形式进行互动。
在另一种可能的实现方式中,这里所讲的视频图像还可能是至少双方进行视频通话时的视频图像,而通话双方也可以通过图片和动画等形式进行互动。
这里所讲的特征点可以是人脸区域的中心点,也可以是眼睛、嘴巴、鼻子等生理特征点,还可以是衣领、口袋或其他符合预定条件的特征点。
在实际应用中,进行互动时通常是人与人之间进行互动,因此在实际应用时,通常可能会识别人脸,来增加互动的趣味性。如图2B所示,对视频图像中预定的特征点进行识别时,可以包括以下步骤。
在步骤201a中,识别出视频图像中的人脸区域。
人脸区域的识别属于本领域技术人员都能够实现的人脸识别技术,比如通过人脸检测技术,对于任意一幅给定的图像,采用包括人工智能、数字图像处理、计算机图形学、生理学等领域的方法进行搜索,来确定其中是否包含人脸,若包含则返回人脸的位置和大小等信息;再比如预先建立人脸的模型,通过将视频图像中的图形与模型进行比对,若是匹配程度达到一个预定值,则认为视频图像中包含人脸,返回视频图像中人脸的位置和大小等信息。在实际应用中,还可以采用其他技术来进行人脸的识别,这里就不再赘述。
在步骤201b中,在人脸区域中识别出预定的特征点。
这里所讲的预定的特征点可以为人脸区域的中心点,还可以是眼睛、嘴巴、鼻子等生理特征点。
以人脸区域为例,一般来说,当人脸正对摄像头时,采集到的视频图像中的人脸区域通常为对称图形,人脸区域的中心点可以选取人脸区域中距离最远的两点的连线的中点位置。
以眼睛的识别为例,可以通过训练建立眼睛的模型,在识别图像时,通过与模型进行比对,判断出其中人眼的位置。
对于人脸或者眼睛等特征点的识别,本领域的技术人员还可以采用其他的方法,这里就不再赘述。
在步骤202中,确定识别出的特征点在视频图像中的位置。
由于视频图像在视频播放的过程中是动态变化的,因此视频图像中的特征点在不同的视频帧中的位置可能不同,因此针对每帧视频图像,都可以先确定识别出的特征点在视频图像中的位置。
在步骤203中,当特征点的位置变化时,移动内容项,在内容项的指定点与该特征点变化后的位置重合后停止移动该内容项。
这里所讲的内容项可以是按照预定形状设计的虚拟的物品图片,比如可以是眼镜图片,可以用来显示在视频图像中主播的眼睛位置,还可以是胡子图片,显示在主播的嘴巴位置,也可以是徽章图片,显示在主播的衣领位置。
内容项还可以是其他类型的标记信息,比如指代名字的文本信息、微视频等。
为了使内容项的位置始终与特征点的位置重合,在特征点的位置变化时,也要相应的调整内容项的位置,直至内容项的位置与特征点的位置重合。
在步骤204中,实时获取播放视频图像的终端设备的重力方向。
播放视频图像的终端设备一般可以自动旋转屏幕以适应用户观看终端设备屏幕的方向。也就是说,在终端设备的摆放方向改变时,重力方向也会发生改变,对应的,根据重力方向在显示视频图像时也会发生变化。
如图2C所示,终端设备通常会具备横向边框22和纵向边框21,纵向边框21的长度通常大于横向边框22的长度。当终端设备是竖直摆放时,则终端设备的重力方向G是竖直向下的,此时的重力方向G与终端设备的纵向边框21平行。当终端设备经过90度的旋转变成如图2D所示的横向摆放方式,此时的重力方向G’依然是竖直向下的,但相对于终端设备来说,重力方向G’却是垂直于终端设备的纵向边框21。其中,内容项23在终端设备发生旋转后,也相应的调整了显示方向,以适应视频图像的显示方向的变化。
在步骤205中,根据重力方向实时确定内容项的显示方向,使得内容项的显示方向符合重力方向。
为了使得用户在面向终端设备观看视频图像时,始终观看到一个正向的视频图像,终端设备中播放的视频图像也会自动调整为与终端设备的摆放方向保持一致。这时,为了使内容项与视频图像的内容相匹配,对内容项的方向也会进行相应调整。
在实际应用时,若是人脸出现在视频图像中,会随着人脸距离摄像头的远近,导致视频图像中的人脸区域的大小发生变化,为了使显示在人脸区域的内容项与人脸区域的大小相匹配,一般会设置人脸区域的大小与内容项的大小的预定比值,当人脸区域的大小改变时,为了保持预定比值的稳定,会对内容项的大小进行调整,请参见如下对步骤206至步骤208的描述。
在步骤206中,实时获取人脸区域的大小。
想要确定人脸区域的大小,可以根据识别出的人脸区域对应地绘制闭合图形,计算该闭合图形的面积,也可以计算识别出的人脸区域的像素点的数量,根据像素点的数量多少判断人脸区域的大小。
在步骤207中,根据人脸区域的大小与内容项的大小之间的预定比值,实时调整内容项的大小,使得人脸区域的大小与调整后的内容项的大小符合预定比值。
人脸区域的大小与内容项的大小之间需要设定一个预定比值,使得内容项能够与人脸区域的大小匹配。比如,当内容项为一个面具图片,则人脸区域的大小与面具图片的大小为1:1时,看起来才像给人脸戴上了一个面具。人脸区域的大小由于人距离摄像头的远近发生变化时,根据预定比值调整内容项,才能使内容项的大小与人脸区域的大小相匹配。
在步骤208中,将接收到的内容项叠加在该位置上进行显示。
在完成了以上关于内容项的位置、方向和大小的调整后,将内容项叠加在视频图像上显示。在显示过程中,根据视频图像的内容的变化,还需要对内容项进行实时调整。
需要说明的是,在本实施例中,步骤204至步骤207是在步骤208之前执行的。可选的,步骤204至步骤207也可以在步骤208之后执行。可选的,步骤204与步骤207还可以与步骤208并行执行。
在实际应用中,比如在直播场景中,可能有不止一位观众发送内容项的显示请求,因此每一个内容项显示一段时间后便清除,以便满足更多观众的互动需求,请参见如下对步骤209和步骤210的描述。
在步骤209中,累加内容项的显示时长。
在步骤210中,在内容项的显示时长达到预定时长阈值时,清除显示的内容项。
一般来讲,当内容项被显示在特征点位置处后,会为内容项设置一个定时器,该定时器的时长设置为预定时长阈值。当该定时器结束,则表明该内容项的显示时长达到预定时长阈值,此时则清除显示的内容项。
可选的,还可以对内容项进行计时,当计时得到的显示时长达到预定时长阈值时,则清除显示的内容项。
为了保持视频图像的画面整洁度,保证视频图像的观看效果,这里的内容项可以设置为禁止同时显示,因此一个内容项被清除后才能显示下一个内容项。
可选的,还可以设置为同时显示预定数量的内容项,为了视频图像的观看效果,可以设置同时显示的内容项对应不同的特征点位置。
综上所述,本公开实施例中提供的内容项显示方法,通过识别视频图像中的特征点的位置,利用特征点的位置决定内容项显示的位置,解决了相关技术中由于只进行机械的展示导致互动形式单一的技术问题,达到了将内容项与视频图像关联,丰富互动形式的效果。
另外,通过在特征点的位置变化时,移动内容项的指定点直到与特征点位置重合,使得内容项能够与视频的特征点的位置保持一致,实时的进行调整。
另外,通过实时获取终端设备的重力方向,根据该重力方向调整内容项的显示方向,在终端设备发生旋转时,视频图像也会进行相应旋转,使得内容项也进行相应的方向调整,能够按照预定效果显示在视频图像中。
另外,通过识别视频图像中的人脸区域的中心点,使得在显示内容项时将人脸区域的中心点作为特征点。
另外,通过根据人脸区域的大小和内容项的大小的预定比值调整内容项的大小,使得在人脸区域的大小发生变化时,调整内容项的大小以匹配人脸区域的大小。
另外,通过设定每个内容项显示的时长,清除达到预定时长的内容项,使得一个内容项不会在视频图像上持续显示,能够让其他的内容项也有机会进行显示。
下述为本公开装置实施例,可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节,请参照本公开方法实施例。
图3是根据一示例性实施例示出的一种内容项显示装置的框图,该内容项显示装置可以应用在产生视频图像的终端设备中,也可以应用在接收视频图像的终端设备中,还可以应用在服务器中。这里所讲的终端设备包括智能手机、平板电脑、多媒体播放设备等。这里所讲的服务器可以为一台服务器,也可以为多台服务器的集合,多台服务器之间信息可以共享。如图3所示,该内容项显示装置包括但不限于:识别模块310、第一确定模块320和显示模块330。
识别模块310,被配置为对视频图像中预定的特征点进行识别。
第一确定模块320,被配置为确定识别模块310识别出的特征点在视频图像中的位置。
显示模块330,被配置为将接收到的内容项叠加在第一确定模块320确定出的位置上进行显示。
综上所述,本公开实施例中提供的内容项显示装置,通过识别视频图像中的特征点的位置,利用特征点的位置决定内容项显示的位置,解决了相关技术中由于只进行机械的展示导致互动形式单一的技术问题,达到了将内容项与视频图像关联,丰富互动形式的效果。
图4是根据另一示例性实施例示出的一种内容项显示装置的框图,该内容项显示装置可以应用在产生视频图像的终端设备中,也可以应用在接收视频图像的终端设备中,还可以应用在服务器中。这里所讲的终端设备包括智能手机、平板电脑、多媒体播放设备等。这里所讲的服务器可以为一台服务器,也可以为多台服务器的集合,多台服务器之间信息可以共享。如图4所示,该内容项显示装置包括但不限于:识别模块410、第一确定模块420和显示模块430。
识别模块410,被配置为对视频图像中预定的特征点进行识别。
这里所讲的特征点可以是人脸区域的中心点,也可以是眼睛、嘴巴、鼻子等生理特征点,还可以是衣领、口袋或其他符合预定条件的特征点。
第一确定模块420,被配置为确定识别模块410识别出的特征点在视频图像中的位置。
由于视频图像在视频播放的过程中是动态变化的,因此视频图像中的特征点在不同的视频帧中的位置可能不同,因此针对每帧视频图像,都可以先确定识别出的特征点在视频图像中的位置。
显示模块430,被配置为将接收到的内容项叠加在第一确定模块420确定出的位置上进行显示。
这里所讲的内容项可以是按照预定形状设计的虚拟的物品图片,还可以是其他类型的标记信息。
在实际应用中,进行互动时通常是人与人之间进行互动,因此在实际应用时,通常可能会识别人脸,来增加互动的趣味性。这种情况下,识别模块410可以包括:第一识别子模块411和第二识别子模块412。
第一识别子模块411,被配置为识别出视频图像中的人脸区域。
第二识别子模块412,被配置为在第一识别子模块411识别到的人脸区域中识别出预定的特征点。
这里所讲的预定的特征点可以为人脸区域的中心点,还可以是眼睛、嘴巴、鼻子等生理特征点。
可选的,显示模块430还被配置为当特征点的位置变化时,移动内容项,在内容项的指定点与特征点变化后的位置重合后停止移动该内容项。
为了使内容项的位置始终与特征点的位置重合,在特征点的位置变化时,也要相应的调整内容项的位置,直至内容项的位置与特征点的位置重合。
播放视频图像的终端设备一般可以自动旋转屏幕以适应用户观看终端设备屏幕的方向。也就是说,在终端设备的摆放方向改变时,重力方向也会发生改变,对应的,根据重力方向在显示视频图像时也会发生变化。
对应的,该内容项显示装置还可以包括:第一获取模块440和第二确定模块450。
第一获取模块440,被配置为实时获取播放视频图像的终端设备的重力方向。
为了使得用户在面向终端设备观看视频图像时,始终观看到一个正向的视频图像,终端设备中播放的视频图像也会自动调整为与终端设备的摆放方向保持一致。这时,为了使内容项与视频图像的内容相匹配,对内容项的方向也会进行相应调整。
第二确定模块450,被配置为根据第一获取模块440获取到的重力方向实时确定内容项的显示方向,使得该内容项的显示方向符合重力方向。
在实际应用时,若是人脸出现在视频图像中,会随着人脸距离摄像头的远近,导致视频图像中的人脸区域的大小发生变化,为了使显示在人脸区域的内容项与人脸区域的大小相匹配,一般会设置人脸区域的大小与内容项的大小的预定比值,当人脸区域的大小改变时,为了保持预定比值的稳定,会对内容项的大小进行调整。对应的,该内容项显示装置还可以包括:第二获取模块460和调整模块470。
第二获取模块460,被配置为实时获取人脸区域的大小。
想要确定人脸区域的大小,可以根据识别出的人脸区域对应地绘制闭合图形,计算该闭合图形的面积,也可以计算识别出的人脸区域的像素点的数量,根据像素点的数量多少判断人脸区域的大小。
调整模块470,被配置为根据人脸区域的大小与内容项的大小之间的预定比值,实时调整内容项的大小,使得人脸区域的大小与调整后的内容项的大小符合预定比值。
人脸区域的大小与内容项的大小之间需要设定一个预定比值,使得内容项能够与人脸区域的大小匹配。人脸区域的大小由于人距离摄像头的远近发生变化时,根据预定比值调整内容项,才能使内容项的大小与人脸区域的大小相匹配。
在实际应用中,比如在直播场景中,可能有不止一位观众发送内容项的显示请求,因此每一个内容项显示一段时间后便清除,以便满足更多观众的互动需求。在这种情况下,该内容项显示装置还可以包括:累加模块480和清除模块490。
累加模块480,被配置为累加内容项的显示时长。
清除模块490,被配置为在累加模块480累加的内容项的显示时长达到预定时长阈值时,清除显示的内容项。
一般来讲,当内容项被显示在特征点位置处后,会为内容项设置一个定时器,该定时器的时长设置为预定时长阈值。当该定时器结束,则表明该内容项的显示时长达到预定时长阈值,此时则清除显示的内容项。
可选的,还可以对内容项进行计时,当计时得到的显示时长达到预定时长阈值时,则清除显示的内容项。
为了保持视频图像的画面整洁度,保证视频图像的观看效果,这里的内容项可以设置为禁止同时显示,因此一个内容项被清除后才能显示下一个内容项。
可选的,还可以设置为同时显示预定数量的内容项,为了视频图像的观看效果,可以设置同时显示的内容项对应不同的特征点位置。
综上所述,本公开实施例中提供的内容项显示装置,通过识别视频图像中的特征点的位置,利用特征点的位置决定内容项显示的位置,解决了相关技术中由于只进行机械的展示导致互动形式单一的技术问题,达到了将内容项与视频图像关联,丰富互动形式的效果。
另外,通过在特征点的位置变化时,移动内容项的指定点直到与特征点位置重合,使得内容项能够与视频的特征点的位置保持一致,实时的进行调整。
另外,通过实时获取终端设备的重力方向,根据该重力方向调整内容项的显示方向,在终端设备发生旋转时,视频图像也会进行相应旋转,使得内容项也进行相应的方向调整,能够按照预定效果显示在视频图像中。
另外,通过识别视频图像中的人脸区域的中心点,使得在显示内容项时将人脸区域的中心点作为特征点。
另外,通过根据人脸区域的大小和内容项的大小的预定比值调整内容项的大小,使得在人脸区域的大小发生变化时,调整内容项的大小以匹配人脸区域的大小。
另外,通过设定每个内容项显示的时长,清除达到预定时长的内容项,使得一个内容项不会在视频图像上持续显示,能够让其他的内容项也有机会进行显示。
本公开一示例性实施例提供了一种内容项显示装置,能够实现本公开提供的内容项显示方法,该内容项显示装置包括:处理器、用于存储处理器可执行指令的存储器;
其中,处理器被配置为:
对视频图像中预定的特征点进行识别;
确定识别出的特征点在视频图像中的位置;
将接收到的内容项叠加在该位置上进行显示。
图5是根据一示例性实施例示出的一种用于显示内容项的装置的框图。例如,装置500可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图5,装置500可以包括以下一个或多个组件:处理组件502,存储器504,电源组件506,多媒体组件508,音频组件510,输入/输出(I/O)接口512,传感器组件514,以及通信组件516。
处理组件502通常控制装置500的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件502可以包括一个或多个处理器518来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件502可以包括一个或多个模块,便于处理组件502和其他组件之间的交互。例如,处理组件502可以包括多媒体模块,以方便多媒体组件508和处理组件502之间的交互。
存储器504被配置为存储各种类型的数据以支持在装置500的操作。这些数据的示例包括用于在装置500上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件506为装置500的各种组件提供电力。电源组件506可以包括电源管理系统,一个或多个电源,及其他与为装置500生成、管理和分配电力相关联的组件。
多媒体组件508包括在装置500和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件508包括一个前置摄像头和/或后置摄像头。当装置500处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件510被配置为输出和/或输入音频信号。例如,音频组件510包括一个麦克风(MIC),当装置500处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中,音频组件510还包括一个扬声器,用于输出音频信号。
I/O接口512为处理组件502和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件514包括一个或多个传感器,用于为装置500提供各个方面的状态评估。例如,传感器组件514可以检测到装置500的打开/关闭状态,组件的相对定位,例如组件为装置500的显示器和小键盘,传感器组件514还可以检测装置500或装置500一个组件的位置改变,用户与装置500接触的存在或不存在,装置500方位或加速/减速和装置500的温度变化。传感器组件514可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件514还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件514还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件516被配置为便于装置500和其他设备之间有线或无线方式的通信。装置500可以接入基于通信标准的无线网络,如Wi-Fi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,通信组件516还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述内容项显示方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器504,上述指令可由装置500的处理器518执行以完成上述内容项显示方法。例如,非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
图6是根据另一示例性实施例示出的一种用于显示内容项的装置的框图。例如,装置600可以被提供为一网络侧设备。参照图6,装置600包括处理组件602,其进一步包括一个或多个处理器,以及由存储器604所代表的存储器资源,用于存储可由处理组件602的执行的指令,例如应用程序。存储器604中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件602被配置为执行指令,以执行上述内容项显示方法。
装置600还可以包括一个电源组件606被配置为执行装置600的电源管理,一个有线或无线网络接口608被配置为将装置600连接到网络,和一个输入输出(I/O)接口610。装置600可以操作基于存储在存储器604的操作系统,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (13)

1.一种内容项显示方法,其特征在于,所述方法包括:
对视频图像中预定的特征点进行识别;
确定识别出的特征点在所述视频图像中的位置;
将接收到的内容项叠加在所述位置上进行显示。
2.根据权利要求1所述的方法,其特征在于,所述将接收到的内容项叠加在所述位置上进行显示,包括:
当所述特征点的位置变化时,移动所述内容项,在所述内容项的指定点与所述特征点变化后的位置重合后停止移动所述内容项。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
实时获取播放所述视频图像的终端设备的重力方向;
根据所述重力方向实时确定所述内容项的显示方向,使得所述内容项的显示方向符合所述重力方向。
4.根据权利要求1所述的方法,其特征在于,所述对视频图像中预定的特征点进行识别,包括:
识别出所述视频图像中的人脸区域;
在所述人脸区域中识别出预定的特征点,所述预定的特征点包括人脸区域的中心点。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
实时获取所述人脸区域的大小;
根据人脸区域的大小与内容项的大小之间的预定比值,实时调整所述内容项的大小,使得所述人脸区域的大小与调整后的所述内容项的大小符合所述预定比值。
6.根据权利要求1至5中任一所述的方法,其特征在于,所述方法还包括:
累加所述内容项的显示时长;
在所述内容项的显示时长达到预定时长阈值时,清除显示的所述内容项。
7.一种内容项显示装置,其特征在于,所述装置包括:
识别模块,被配置为对视频图像中预定的特征点进行识别;
第一确定模块,被配置为确定所述识别模块识别出的特征点在所述视频图像中的位置;
显示模块,被配置为将接收到的内容项叠加在所述第一确定模块确定出的所述位置上进行显示。
8.根据权利要求7所述的装置,其特征在于,所述显示模块,还被配置为当所述特征点的位置变化时,移动所述内容项,在所述内容项的指定点与所述特征点变化后的位置重合后停止移动所述内容项。
9.根据权利要求7所述的装置,其特征在于,所述装置还包括:
第一获取模块,被配置为实时获取播放所述视频图像的终端设备的重力方向;
第二确定模块,被配置为根据所述第一获取模块获取到的所述重力方向实时确定所述内容项的显示方向,使得所述内容项的显示方向符合所述重力方向。
10.根据权利要求7所述的装置,其特征在于,所述识别模块,包括:
第一识别子模块,被配置为识别出所述视频图像中的人脸区域;
第二识别子模块,被配置为在所述第一识别子模块识别到的所述人脸区域中识别出预定的特征点,所述预定的特征点包括人脸区域的中心点。
11.根据权利要求10所述的装置,其特征在于,所述装置还包括:
第二获取模块,被配置为实时获取所述人脸区域的大小;
调整模块,被配置为根据人脸区域的大小与内容项的大小之间的预定比值,实时调整所述内容项的大小,使得所述人脸区域的大小与调整后的所述内容项的大小符合所述预定比值。
12.根据权利要求7至11中任一所述的装置,其特征在于,所述装置还包括:
累加模块,被配置为累加所述内容项的显示时长;
清除模块,被配置为在所述累加模块累加的所述内容项的显示时长达到预定时长阈值时,清除显示的所述内容项。
13.一种内容项显示装置,其特征在于,所述装置包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为:
对视频图像中预定的特征点进行识别;
确定识别出的特征点在所述视频图像中的位置;
将接收到的内容项叠加在所述位置上进行显示。
CN201610511598.XA 2016-06-30 2016-06-30 内容项显示方法及装置 Pending CN106203300A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610511598.XA CN106203300A (zh) 2016-06-30 2016-06-30 内容项显示方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610511598.XA CN106203300A (zh) 2016-06-30 2016-06-30 内容项显示方法及装置

Publications (1)

Publication Number Publication Date
CN106203300A true CN106203300A (zh) 2016-12-07

Family

ID=57464210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610511598.XA Pending CN106203300A (zh) 2016-06-30 2016-06-30 内容项显示方法及装置

Country Status (1)

Country Link
CN (1) CN106203300A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107454433A (zh) * 2017-08-09 2017-12-08 广州视源电子科技股份有限公司 直播的批注方法及装置、终端及直播系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1866292A (zh) * 2005-05-19 2006-11-22 上海凌锐信息技术有限公司 一种动态眼镜试戴方法
CN101354789A (zh) * 2008-08-22 2009-01-28 北京中星微电子有限公司 一种图像面具特效的实现方法和设备
CN102055912A (zh) * 2009-10-29 2011-05-11 北京中星微电子有限公司 一种视频应用系统、视频特效处理系统和方法
CN102262788A (zh) * 2010-05-24 2011-11-30 上海一格信息科技有限公司 个人三维形象互动试妆信息数据处理方法及装置
CN103236066A (zh) * 2013-05-10 2013-08-07 苏州华漫信息服务有限公司 一种基于人脸特征分析的虚拟试妆方法
CN104077024A (zh) * 2013-03-29 2014-10-01 索尼公司 信息处理设备、信息处理方法及记录介质
CN104217350A (zh) * 2014-06-17 2014-12-17 北京京东尚科信息技术有限公司 实现虚拟试戴的方法和装置
CN104780458A (zh) * 2015-04-16 2015-07-15 美国掌赢信息科技有限公司 一种即时视频中的特效加载方法和电子设备
CN104809638A (zh) * 2015-05-20 2015-07-29 成都通甲优博科技有限责任公司 一种基于移动终端的眼镜虚拟试戴方法和系统
CN105096241A (zh) * 2015-07-28 2015-11-25 努比亚技术有限公司 人脸图像美化装置及方法
CN105334963A (zh) * 2015-10-29 2016-02-17 广州华多网络科技有限公司 一种虚拟物品展示方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1866292A (zh) * 2005-05-19 2006-11-22 上海凌锐信息技术有限公司 一种动态眼镜试戴方法
CN101354789A (zh) * 2008-08-22 2009-01-28 北京中星微电子有限公司 一种图像面具特效的实现方法和设备
CN102055912A (zh) * 2009-10-29 2011-05-11 北京中星微电子有限公司 一种视频应用系统、视频特效处理系统和方法
CN102262788A (zh) * 2010-05-24 2011-11-30 上海一格信息科技有限公司 个人三维形象互动试妆信息数据处理方法及装置
CN104077024A (zh) * 2013-03-29 2014-10-01 索尼公司 信息处理设备、信息处理方法及记录介质
CN103236066A (zh) * 2013-05-10 2013-08-07 苏州华漫信息服务有限公司 一种基于人脸特征分析的虚拟试妆方法
CN104217350A (zh) * 2014-06-17 2014-12-17 北京京东尚科信息技术有限公司 实现虚拟试戴的方法和装置
CN104780458A (zh) * 2015-04-16 2015-07-15 美国掌赢信息科技有限公司 一种即时视频中的特效加载方法和电子设备
CN104809638A (zh) * 2015-05-20 2015-07-29 成都通甲优博科技有限责任公司 一种基于移动终端的眼镜虚拟试戴方法和系统
CN105096241A (zh) * 2015-07-28 2015-11-25 努比亚技术有限公司 人脸图像美化装置及方法
CN105334963A (zh) * 2015-10-29 2016-02-17 广州华多网络科技有限公司 一种虚拟物品展示方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107454433A (zh) * 2017-08-09 2017-12-08 广州视源电子科技股份有限公司 直播的批注方法及装置、终端及直播系统

Similar Documents

Publication Publication Date Title
US11503377B2 (en) Method and electronic device for processing data
CN106791893B (zh) 视频直播方法及装置
US9674395B2 (en) Methods and apparatuses for generating photograph
KR101834674B1 (ko) 영상 촬영 방법 및 장치
CN106165430B (zh) 视频直播方法及装置
US11641493B2 (en) Method and electronic device for displaying bullet screens
CN106559696A (zh) 信息发送方法及装置
CN106507178B (zh) 视频播放方法及装置
CN104469437A (zh) 广告推送方法及装置
CN107018333A (zh) 拍摄模板推荐方法、装置及拍摄设备
CN107707954A (zh) 视频播放方法及装置
CN110677734B (zh) 视频合成方法、装置、电子设备及存储介质
CN106131393A (zh) 拍照提示方法及装置
US20190122641A1 (en) Controlling field of view
CN111240623A (zh) 信息处理方法及装置、存储介质
CN105120301A (zh) 视频处理方法和装置、智能设备
CN106997281A (zh) 共享虚拟对象的方法及智能设备
CN108108671A (zh) 产品说明信息获取方法及装置
KR101701814B1 (ko) 프레이밍 정보를 디스플레이하기 위한 방법 및 장치
CN107170048A (zh) 信息展示方法及装置
CN108986803B (zh) 场景控制方法及装置、电子设备、可读存储介质
CN107124658B (zh) 视频直播方法及装置
CN108040280A (zh) 内容项目显示方法及装置、存储介质
CN106231207A (zh) 图像处理方法及装置
EP3799415A2 (en) Method and device for processing videos, and medium

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20161207

RJ01 Rejection of invention patent application after publication