[go: up one dir, main page]

CN103838357A - 一种画面交互方法、装置、系统和移动终端 - Google Patents

一种画面交互方法、装置、系统和移动终端 Download PDF

Info

Publication number
CN103838357A
CN103838357A CN201210478609.0A CN201210478609A CN103838357A CN 103838357 A CN103838357 A CN 103838357A CN 201210478609 A CN201210478609 A CN 201210478609A CN 103838357 A CN103838357 A CN 103838357A
Authority
CN
China
Prior art keywords
user
picture material
palmic rate
image
translational speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201210478609.0A
Other languages
English (en)
Other versions
CN103838357B (zh
Inventor
周彬
王明亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Beijing Co Ltd
Original Assignee
Tencent Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Beijing Co Ltd filed Critical Tencent Technology Beijing Co Ltd
Priority to CN201210478609.0A priority Critical patent/CN103838357B/zh
Priority to US14/646,633 priority patent/US9565413B2/en
Priority to PCT/CN2013/083917 priority patent/WO2014079269A1/zh
Publication of CN103838357A publication Critical patent/CN103838357A/zh
Application granted granted Critical
Publication of CN103838357B publication Critical patent/CN103838357B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/024—Measuring pulse rate or heart rate
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Social Psychology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Cardiology (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physiology (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明实施方式提出了一种画面交互方法、装置、系统和移动终端。方法包括：设置画面素材移动速度与用户心跳频率的对应关系，展示画面素材；拍摄用户肢体图像组，分析用户肢体图像组以监测血液颜色差异，并根据血液颜色差异计算用户的心跳频率；根据计算出的用户心跳频率确定对应于该用户心跳频率的画面素材移动速度，并基于所确定的画面素材移动速度控制画面素材的移动。本发明实施方式可以由用户基于心跳频率来控制画面素材的移动方式，有效地提高画面素材的交互成功率。

Description

一种画面交互方法、装置、系统和移动终端
技术领域
本发明实施方式涉及信息处理技术领域，更具体地，涉及一种画面交互方法、装置、系统和移动终端。
背景技术
随着计算机技术和网络技术的飞速发展，互联网（Internet）和即时通信技术在人们的日常生活、学习和工作中发挥的作用也越来越大。而且，随着移动互联网的发展，互联网也在向移动化发展。
当今社会已经进入了高度发达的信息时代，其企业竞争形态也已经由过去主要以产品功能质量为主的单一竞争形态转变为以企业形象、商品、品牌等作为重要手段和主要倾向的复合竞争形态。这种形态的转变与现代画面展示事业的迅速发展是分不开的。
在传统的画面展示活动中，画面主、画面内容、画面内容受众、画面表现等基本要素都在一定的区域里反映着各个时期的文明程度。所有的这些图像元素，都在不同程度上作为一种文化反映着社会、经济的时代痕迹。
在目前的画面展示方法中，通常由画面提供商自己直接提供画面素材，而且单向在网络上主动展示画面。然而，这种展示方式并没有考虑到画面受众的个人参与程度，因此仅是一种片面的画面展示，与画面浏览受众缺乏有效交互，因此交互成功率很低。
发明内容
本发明实施方式提出一种画面交互方法，以提高交互成功率。
本发明实施方式还提出了一种画面交互装置，以提高交互成功率。
本发明实施方式还提出了一种移动终端，以提高交互成功率。
本发明实施方式还提出了一种画面交互系统，以提高交互成功率。
本发明实施方式的具体方案如下：
一种画面交互方法，设置画面素材移动速度与用户心跳频率的对应关系，该方法还包括：
展示画面素材；
拍摄用户肢体图像组，分析所述用户肢体图像组以监测血液颜色差异，并根据所述血液颜色差异计算用户的心跳频率；
根据计算出的所述用户心跳频率确定对应于该用户心跳频率的画面素材移动速度，并基于所确定的画面素材移动速度控制所述画面素材的移动。
一种画面交互装置，包括对应关系设置单元、画面素材展示单元、心跳频率计算单元和画面素材移动单元，其中：
对应关系设置单元，用于设置画面素材移动速度与用户心跳频率的对应关系；
画面素材单元，用于展示画面素材；
心跳频率计算单元，用于拍摄用户肢体图像组，分析所述用户肢体图像组以监测血液颜色差异，并根据所述血液颜色差异计算用户的心跳频率；
画面素材移动单元，用于根据计算出的所述用户心跳频率确定对应于该用户心跳频率的画面素材移动速度，并基于所确定的画面素材移动速度控制所述画面素材的移动。
一种移动终端，该移动终端包括显示单元、摄像单元和计算单元，其中：
显示单元，用于展示画面素材；
摄像单元，用于拍摄用户肢体图像组；
计算单元，用于保存画面素材移动速度与用户心跳频率的对应关系，分析由摄像单元所提供的用户肢体图像组以监测血液颜色差异，根据所述血液颜色差异计算用户的心跳频率；并根据计算出的所述用户心跳频率确定对应于该用户心跳频率的画面素材移动速度，并基于所确定的画面素材移动速度控制显示单元中所述画面素材的移动。
一种画面交互系统，该系统包括移动终端和服务器，其中：
服务器，用于接收画面素材，并将画面素材发送到移动终端；
移动终端，用于设置画面素材移动速度与用户心跳频率的对应关系；展示从服务器接收的画面素材；拍摄用户肢体图像组，分析所述用户肢体图像组以监测血液颜色差异，根据所述血液颜色差异计算用户的心跳频率；根据计算出的所述用户心跳频率确定对应于该用户心跳频率的画面素材移动速度，并基于所确定的画面素材移动速度控制所述画面素材的移动。
从上述技术方案可以看出，在本发明实施方式中，设置画面素材移动速度与用户心跳频率的对应关系，展示画面素材；拍摄用户肢体图像组，分析所述用户肢体图像组以监测血液颜色差异，并根据所述血液颜色差异计算用户的心跳频率；根据计算出的所述用户心跳频率确定对应于该用户心跳频率的画面素材移动速度，并基于所确定的画面素材移动速度控制所述画面素材的移动。由此可见，应用本发明实施方式之后，不再是画面素材提供商（比如广告商）单向提供图像素材，而是可以由用户基于心跳频率来控制画面素材的移动方式，因此本发明实施方式有效地提高画面素材的交互成功率。
而且，本发明实施方式通过感应用户心跳来控制画面素材，同时还提高了画面素材的曝光程度，从而进一步能够提高画面素材投放效果。
附图说明
图1为根据本发明实施方式的画面交互方法流程图；
图2为根据本发明实施方式的汽车类型的画面素材示意图；
图3为根据本发明实施方式的汽车类型的画面素材交互移动示意图；
图4为根据本发明实施方式的画面交互装置结构图；
图5为根据本发明实施方式的移动终端结构示意图；
图6为根据本发明实施方式的画面交互系统结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。
图1为根据本发明实施方式的画面交互方法流程图。
如图1所示，该方法包括：
步骤101：设置画面素材移动速度与用户心跳频率的对应关系。
在这里，优选设置画面素材移动速度与用户心跳频率成递增关系。这样，当感应到的用户心跳频率越快时，后续所控制的画面素材移动速度则越快。
可选地，还可以设置画面素材移动速度与用户心跳频率成递减关系。这样，当感应到的用户心跳频率越慢时，后续所控制的画面素材移动速度则越慢。
在一个实施方式中，可以将画面素材移动速度与用户心跳频率的对应关系保存在移动终端上。移动终端可以包括但是不局限于：功能手机、智能手机、掌上电脑、个人电脑（PC）、平板电脑或个人数字助理（PDA），等等。
以上虽然详细罗列了移动终端的具体实例，本领域人员可以意识到，这些罗列仅是阐述目的，并不用于限定本发明实施方式的保护范围。移动终端可以适用于任意的智能终端操作系统，具体可以采用的操作系统包括但是不局限于：安卓（Andorid）、Palm OS、Symbian（塞班）、Windows mobile、Linux、Android（安卓）、iPhone（苹果）OS、Black Berry（黑莓）OS 6.0、Windows Phone系列，等等。
优选地，移动终端具体可以采用安卓操作系统，而且移动终端可以采用到Andorid的各个版本之中，包括但是不局限于：阿童木（Android Beta）、发条机器人（Android 1.0）、纸杯蛋糕（Android 1.5）、甜甜圈（Android 1.6）、松饼（Android2.0/2.1），冻酸奶（Android 2.2）、姜饼（Android 2.3）、蜂巢（Android 3.0）、冰激凌三明治（Android 4.0）、果冻豆（Jelly Bean，Android 4.1）等版本。以上详细罗列了Android平台的具体版本，本领域技术人员可以意识到，本发明实施方式并不局限于上述罗列版本，而还可以适用于其他基于Android软件架构的任意版本之中。
步骤102：展示画面素材，拍摄用户肢体图像组，分析所述用户肢体图像组以监测血液颜色差异，并根据所述血液颜色差异计算用户的心跳频率。
在这里，图像受众、图像提供商或任意的第三方都可以通过各种信息传输方式，将画面素材上传到位于网络侧的服务器中，然后由移动终端从服务器中获取到画面素材，并展示画面素材。
画面素材的具体内容与期望向用户展示的素材本身相关。比如，假设期望投放关于品牌汽车的信息推送，则可以上传品牌汽车的实物模型图像；假如期望投放关于某款电子产品的信息推送，则可以上传该款电子产品的实物模型图像；等等。
在移动终端上还可以展示与画面素材相对应的背景图像。背景图像和画面素材的种类可以有多种。比如，背景图像和画面素材可以分别为：位图；联合照片专家组（JPEG）；签图像文件格式（TIFF）；图像互换格式（GIF）；流式网络图形格式（PNG）；或三维图像，等等。GIF图像文件的数据是经过压缩的，而且是采用了可变长度等压缩算法。GIF格式的另一个特点是其在一个GIF文件中可以存多幅彩色图像，如果把存于一个文件中的多幅图像数据逐幅读出并显示到屏幕上，就可构成一种最简单的画面。
本发明实施方式中，可以通过将该画面类型的画面素材叠加到背景图像上，实现共同显示。
示范性地，图2为根据本发明实施方式的汽车类型的画面素材示意图。由图2可见，画面素材为汽车模型，背景图像为房屋。汽车模型与房屋融合显示在一起，而且汽车模型停留在房屋之中。
而且，信息推送受众、图像提供商或任意的第三方还可以通过多种方式上传画面素材。比如，可以由图像受众直接在移动终端上，通过无线上网的方式将画面素材上传到服务器；也可以由图像提供商通过个人计算机（PC）等方式将画面素材上传到服务器，等等。
优选的，移动终端可以通过通用网关接口（CGI）的方式从服务器获取到背景图像和画面素材，并在移动终端的浏览器窗口上显示背景图像和画面素材。
移动终端浏览器是运行在移动终端上的浏览器，可以通过通用分组无线服务技术（GPRS）等多种方式上网浏览互联网内容。目前，一些移动终端浏览器需要JAVA或移动终端的系统（如苹果的IOS系统以及Android平台等）支持。
服务器可以向移动终端提供背景图像，也可以在移动终端本地预先存储背景图像。优选在服务器中保存背景图像，这是因为相比较移动终端，服务器可以具有更大的储存空间，因此可以在服务器中保存海量的背景图像。示范性地，背景图像可以包括：蓝天、白云、大桥、公路等等。
在一个实施方式中，图像受众、图像提供商或任意第三方除了上传画面素材之外，还进一步上传用于描述该画面素材类型的图像属性信息。图像属性信息可以是文本信息。还可以直接通过画面素材的命名来描述其类型。服务器可以根据图像属性信息确定出画面素材的类型，并检索与该画面素材相匹配的背景图像。
比如，假设画面素材是针对汽车的信息推送，则服务器可以检索出适于汽车的背景图像（比如为跑道）；假设画面素材是针对电子产品的信息推送，则服务器可以检索出适于电子产品的背景图像（比如为办公桌）。
在这里，当由服务器提供背景图像时，服务器可以首先将上传来的画面素材和自身保存的背景图像发送到移动终端，而且优选顺带发送定单信息和/或广告位信息等，并提供给移动终端进行相应展示。
在移动终端上将背景图像和画面素材共同显示，从而实现融合显示。优选地，画面素材显示在背景图像的上面或前面。
当向用户展示画面素材之后，可以基于用户的心跳频率实现针对画面素材的互动过程。用户每次心脏脉动都将富氧血液泵到身体各个器官，富氧血液和贫氧血液的颜色不一样。因此，可以通过检测富氧血液和贫氧血液的颜色差异实现针对心脏频率的检测。优选地，由于手指尖和脚趾尖的血流速度较慢，便于区分颜色差异，因此一般利用指尖或趾尖图像来计算用户心跳频率。
当用户把手指或脚趾靠近或贴上移动终端摄像头后，触发了摄像头和LED闪光灯启动，在强光下，由摄像头来感应血液流过手指或脚趾对反射光的周期性影响，从而计算出心跳频率。
具体地，摄像头首先捕获一组手指或脚趾图像；再从这组手指或脚趾图像中取出中心区域的图像区域，并转换为灰度图，然后取每一幅灰度图的灰度中位数。当采集到一定数量的灰度图后，会得到一组灰度中位数，从该租灰度中位数数据中取最小值与最大值，并根据时间来统计最大值出现频率，同时用最小值进行校验，即可计算出心跳频率。
在一个实施方式中，所述用户肢体图像组为用户手指图像组或用户脚趾图像组。此时首先从用户肢体图像组中提取出预定数目的用户肢体图像，并从所述用户肢体图像中截取中心区域图像；然后将所述中心区域图像转换为灰度图，并且计算每个灰度图的灰度中位数，并根据灰度中位数峰值的出现频率计算用户的心跳频率。
在另外一个实施方式中，所述用户肢体图像组为用户手指图像组或用户脚趾图像组。此时，首先从用户肢体图像组中提取出预定数目的用户肢体图像，并从所述用户肢体图像中截取中心区域图像；将所述中心区域图像转换为灰度图，并且计算每个灰度图的灰度中位数，并根据灰度中位数谷值的出现频率计算用户的心跳频率。
优选地，用户肢体图像组为用户手指图像组或用户脚趾图像组。此时，首先从用户肢体图像组中提取出预定数目的用户肢体图像，并从所述用户肢体图像中截取中心区域图像；将所述中心区域图像转换为灰度图，并且计算每个灰度图的灰度中位数，并根据灰度中位数峰值的出现频率计算用户的心跳频率，其中进一步根据灰度中位数谷值的出现频率校验所计算出的用户的心跳频率。
步骤103：根据计算出的所述用户心跳频率确定对应于该用户心跳频率的画面素材移动速度，并基于所确定的画面素材移动速度控制所述画面素材的移动。
在这里，当设置的画面素材移动速度与用户心跳频率成递增关系时，如果心跳频率越快，则画面素材移动速度越快；当设置的画面素材移动速度与用户心跳频率成递减关系时，如果心跳频率越快，则画面素材移动速度越慢。
还可以预先设置用户心跳频率级别区间，并设置画面素材移动速度与用户心跳频率级别区间的对应关系。然后，首先确定计算出的用户心跳频率所处的用户心跳频率级别区间，并确定对应于该用户心跳频率级别区间的画面素材移动速度；再基于所确定的画面素材移动速度控制所述画面素材的移动。
比如：摄像头感应出心跳频率后，可以将心跳频率数值归类到很快、一般、较慢等级别类型中的一种，最后将对应的数值反馈在画面素材的转动效果上。
优选地，当浏览者手指离开摄像头后，画面素材以最后获得速度情况迅速移动，移动出可见显示范围。
图3为根据本发明实施方式的汽车类型的画面素材交互移动示意图。
由图3可见，画面素材为汽车模型，背景图像为房屋。汽车模型与房屋融合显示在一起，而且汽车模型停留在房屋之上。当感应到用户的心跳频率后，可以根据对应于该心跳频率的移动速度，汽车模型从该房屋中移开。而且，在用户将手指或脚趾放到摄像头附近时，可以由摄像头的热传感器检测到用户的热量，并开始播放预先设定的引擎启动声音，以预示汽车模型已经启动。
基于上述详细分析，本发明实施方式还提出了一种画面交互装置。
图4为根据本发明实施方式的画面交互装置结构图。
如图4所示，该装置包括对应关系设置单元401、画面素材展示单元402、心跳频率计算单元403和画面素材移动单元404，其中：
对应关系设置单元401，用于设置画面素材移动速度与用户心跳频率的对应关系；
画面素材单元402，用于展示画面素材；
心跳频率计算单元403，用于拍摄用户肢体图像组，分析所述用户肢体图像组以监测血液颜色差异，并根据所述血液颜色差异计算用户的心跳频率；
画面素材移动单元404，用于根据计算出的所述用户心跳频率确定对应于该用户心跳频率的画面素材移动速度，并基于所确定的画面素材移动速度控制所述画面素材的移动。
在一个实施方式中，所述用户肢体图像组为用户手指图像组或用户脚趾图像组；
心跳频率计算单元403，用于从用户肢体图像组中提取出预定数目的用户肢体图像，并从所述用户肢体图像中截取中心区域图像；将所述中心区域图像转换为灰度图，并且计算每个灰度图的灰度中位数，并根据灰度中位数峰值的出现频率计算用户的心跳频率。
在一个实施方式中，用户肢体图像组为用户手指图像组或用户脚趾图像组；
心跳频率计算单元403，用于从用户肢体图像组中提取出预定数目的用户肢体图像，并从所述用户肢体图像中截取中心区域图像；将所述中心区域图像转换为灰度图，并且计算每个灰度图的灰度中位数，并根据灰度中位数谷值的出现频率计算用户的心跳频率。
在一个实施方式中，用户肢体图像组为用户手指图像组或用户脚趾图像组；
心跳频率计算单元403，用于从用户肢体图像组中提取出预定数目的用户肢体图像，并从所述用户肢体图像中截取中心区域图像；将所述中心区域图像转换为灰度图，并且计算每个灰度图的灰度中位数，并根据灰度中位数峰值的出现频率计算用户的心跳频率，其中进一步根据灰度中位数谷值的出现频率校验所计算出的用户的心跳频率。
优选地，对应关系设置单元401，用于设置画面素材移动速度与用户心跳频率成递增关系。
优选地，对应关系设置单元401，用于设置用户心跳频率级别区间，并设置画面素材移动速度与用户心跳频率级别区间的对应关系；
画面素材移动单元402，用于确定所述用户心跳频率所处的用户心跳频率级别区间，并确定对应于该用户心跳频率级别区间的画面素材移动速度；基于所确定的画面素材移动速度控制所述画面素材的移动。
可以基于上述方法和装置，在多种应用环境中实施本发明实施方式。比如，可以将本发明实施方式应用到移动终端的广告应用中。在用户点击广告后，触发了移动终端摄像头和LED闪光灯启动。在LED闪光灯的强光下，由移动终端摄像头来感应血液流过手指对反射光的周期性影响，从而计算出心跳频率，并控制广告中的物体，因此更能提高广告的互动性和新颖性。
比如：当移动终端登录微博或者移动即时通讯软件启动后，首先播放启动画面广告，广告内是一个物体（如汽车）。在用户看到广告后，通过点击广告内的文字，可以根据广告内文字提示，将手指按在移动终端的摄像头上。然后，通过应用本发明实施方式可快速计算出用户心跳速度，从而启动广告内的汽车，从而达到用户心跳和广告的交互。
基于上述分析，本发明实施方式还提出了一种移动终端。
图5为根据本发明实施方式的移动终端结构示意图。
如图5所示，该移动终端包括显示单元501、摄像单元502和计算单元503。其中：
显示单元501，用于展示画面素材；
摄像单元502，用于拍摄用户肢体图像组；
计算单元503，用于保存画面素材移动速度与用户心跳频率的对应关系，分析由摄像单元所提供的用户肢体图像组以监测血液颜色差异，根据所述血液颜色差异计算用户的心跳频率；并根据计算出的所述用户心跳频率确定对应于该用户心跳频率的画面素材移动速度，并基于所确定的画面素材移动速度控制显示单元中所述画面素材的移动。
优选地，该移动终端进一步包括闪光单元504。所述闪光单元504，用于在所述摄像单元拍摄用户肢体图像组时提供闪光光源。
在一个实施方式中，计算单元503，用于设置用户心跳频率级别区间以及画面素材移动速度与用户心跳频率级别区间的对应关系，确定所述用户心跳频率所处的用户心跳频率级别区间，确定对应于该用户心跳频率级别区间的画面素材移动速度；并基于所确定的画面素材移动速度控制所述画面素材的移动。
优选地，摄像单元502，进一步用于感应用户的热量，并在感应到用户热量后向显示单元发出热量提示消息；
显示单元501，进一步用于收到热量提示消息之后，播放画面素材移动启动音频。
基于上述详细分析，本发明实施方式还提出了一种画面交互系统。
图6为根据本发明实施方式的画面交互系统结构图。
如图6所示，该系统包括移动终端601和服务器602，其中：
服务器602，用于接收画面素材，并将画面素材发送到移动终端601；
移动终端601，用于设置画面素材移动速度与用户心跳频率的对应关系；展示从服务器接收的画面素材；拍摄用户肢体图像组，分析所述用户肢体图像组以监测血液颜色差异，根据所述血液颜色差异计算用户的心跳频率；根据计算出的所述用户心跳频率确定对应于该用户心跳频率的画面素材移动速度，并基于所确定的画面素材移动速度控制所述画面素材的移动。
其中，移动终端601可以包括但是不局限于：功能手机、智能手机、掌上电脑、个人电脑（PC）、平板电脑或个人数字助理（PDA），等等。
而且，在这里，图像受众、图像提供商或任意的第三方都可以通过各种信息传输方式，将画面素材上传到位于网络侧的服务器602中，然后由移动终端601从服务器602中获取到画面素材，并展示画面素材。
综上所述，在本发明实施方式中，设置画面素材移动速度与用户心跳频率的对应关系，展示画面素材；拍摄用户肢体图像组，分析所述用户肢体图像组以监测血液颜色差异，并根据所述血液颜色差异计算用户的心跳频率；根据计算出的所述用户心跳频率确定对应于该用户心跳频率的画面素材移动速度，并基于所确定的画面素材移动速度控制所述画面素材的移动。由此可见，应用本发明实施方式之后，不再是画面素材提供商（比如广告商）单向提供图像素材，而是可以由用户基于心跳频率来控制画面素材的移动方式，因此本发明实施方式有效地提高画面素材的交互成功率。
而且，本发明实施方式通过感应用户心跳来控制画面素材，同时还提高了画面素材的曝光程度，从而进一步能够提高画面素材投放效果。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (17)

1.一种画面交互方法，其特征在于，设置画面素材移动速度与用户心跳频率的对应关系，该方法还包括：
展示画面素材；
拍摄用户肢体图像组，分析所述用户肢体图像组以监测血液颜色差异，并根据所述血液颜色差异计算用户的心跳频率；
根据计算出的所述用户心跳频率确定对应于该用户心跳频率的画面素材移动速度，并基于所确定的画面素材移动速度控制所述画面素材的移动。
2.根据权利要求1所述的画面交互方法，其特征在于，所述用户肢体图像组为用户手指图像组或用户脚趾图像组；
所述分析用户肢体图像组以监测血液颜色差异，并根据所述血液颜色差异计算用户的心跳频率包括：
从用户肢体图像组中提取出预定数目的用户肢体图像，并从所述用户肢体图像中截取中心区域图像；
将所述中心区域图像转换为灰度图，并且计算每个灰度图的灰度中位数，并根据灰度中位数峰值的出现频率计算用户的心跳频率。
3.根据权利要求1所述的画面交互方法，其特征在于，所述用户肢体图像组为用户手指图像组或用户脚趾图像组；
所述分析用户肢体图像组以监测血液颜色差异，并根据所述血液颜色差异计算用户的心跳频率包括：
从用户肢体图像组中提取出预定数目的用户肢体图像，并从所述用户肢体图像中截取中心区域图像；
将所述中心区域图像转换为灰度图，并且计算每个灰度图的灰度中位数，并根据灰度中位数谷值的出现频率计算用户的心跳频率。
4.根据权利要求1所述的画面交互方法，其特征在于，所述用户肢体图像组为用户手指图像组或用户脚趾图像组；
所述分析用户肢体图像组以监测血液颜色差异，并根据所述血液颜色差异计算用户的心跳频率包括：
从用户肢体图像组中提取出预定数目的用户肢体图像，并从所述用户肢体图像中截取中心区域图像；
将所述中心区域图像转换为灰度图，并且计算每个灰度图的灰度中位数，并根据灰度中位数峰值的出现频率计算用户的心跳频率，其中进一步根据灰度中位数谷值的出现频率校验所计算出的用户的心跳频率。
5.根据权利要求1所述的画面交互方法，其特征在于，所述设置画面素材移动速度与用户心跳频率的对应关系为：设置画面素材移动速度与用户心跳频率成递增关系。
6.根据权利要求1所述的画面交互方法，其特征在于，所述设置画面素材移动速度与用户心跳频率的对应关系为：
设置用户心跳频率级别区间，并设置画面素材移动速度与用户心跳频率级别区间的对应关系；
所述根据计算出的所述用户心跳频率确定对应于该用户心跳频率的画面素材移动速度，并基于所确定的画面素材移动速度控制所述画面素材的移动包括：
确定所述用户心跳频率所处的用户心跳频率级别区间，并确定对应于该用户心跳频率级别区间的画面素材移动速度；
基于所确定的画面素材移动速度控制所述画面素材的移动。
7.一种画面交互装置，其特征在于，包括对应关系设置单元、画面素材展示单元、心跳频率计算单元和画面素材移动单元，其中：
对应关系设置单元，用于设置画面素材移动速度与用户心跳频率的对应关系；
画面素材单元，用于展示画面素材；
心跳频率计算单元，用于拍摄用户肢体图像组，分析所述用户肢体图像组以监测血液颜色差异，并根据所述血液颜色差异计算用户的心跳频率；
画面素材移动单元，用于根据计算出的所述用户心跳频率确定对应于该用户心跳频率的画面素材移动速度，并基于所确定的画面素材移动速度控制所述画面素材的移动。
8.根据权利要求7所述的画面交互装置，其特征在于，所述用户肢体图像组为用户手指图像组或用户脚趾图像组；
心跳频率计算单元，用于从用户肢体图像组中提取出预定数目的用户肢体图像，并从所述用户肢体图像中截取中心区域图像；将所述中心区域图像转换为灰度图，并且计算每个灰度图的灰度中位数，并根据灰度中位数峰值的出现频率计算用户的心跳频率。
9.根据权利要求7所述的画面交互装置，其特征在于，所述用户肢体图像组为用户手指图像组或用户脚趾图像组；
心跳频率计算单元，用于从用户肢体图像组中提取出预定数目的用户肢体图像，并从所述用户肢体图像中截取中心区域图像；将所述中心区域图像转换为灰度图，并且计算每个灰度图的灰度中位数，并根据灰度中位数谷值的出现频率计算用户的心跳频率。
10.根据权利要求7所述的画面交互装置，其特征在于，所述用户肢体图像组为用户手指图像组或用户脚趾图像组；
心跳频率计算单元，用于从用户肢体图像组中提取出预定数目的用户肢体图像，并从所述用户肢体图像中截取中心区域图像；将所述中心区域图像转换为灰度图，并且计算每个灰度图的灰度中位数，并根据灰度中位数峰值的出现频率计算用户的心跳频率，其中进一步根据灰度中位数谷值的出现频率校验所计算出的用户的心跳频率。
11.根据权利要求7所述的画面交互装置，其特征在于，
对应关系设置单元，用于设置画面素材移动速度与用户心跳频率成递增关系。
12.根据权利要求7所述的画面交互装置，其特征在于，
对应关系设置单元，用于设置用户心跳频率级别区间，并设置画面素材移动速度与用户心跳频率级别区间的对应关系；
画面素材移动单元，用于确定所述用户心跳频率所处的用户心跳频率级别区间，并确定对应于该用户心跳频率级别区间的画面素材移动速度；基于所确定的画面素材移动速度控制所述画面素材的移动。
13.一种移动终端，其特征在于，该移动终端包括显示单元、摄像单元和计算单元，其中：
显示单元，用于展示画面素材；
摄像单元，用于拍摄用户肢体图像组；
计算单元，用于保存画面素材移动速度与用户心跳频率的对应关系，分析由摄像单元所提供的用户肢体图像组以监测血液颜色差异，根据所述血液颜色差异计算用户的心跳频率；并根据计算出的所述用户心跳频率确定对应于该用户心跳频率的画面素材移动速度，并基于所确定的画面素材移动速度控制显示单元中所述画面素材的移动。
14.根据权利要求13所述的移动终端，其特征在于，该移动终端进一步包括闪光单元；
所述闪光单元，用于在所述摄像单元拍摄用户肢体图像组时提供闪光光源。
15.根据权利要求13所述的移动终端，其特征在于，
计算单元，用于设置用户心跳频率级别区间以及画面素材移动速度与用户心跳频率级别区间的对应关系，确定所述用户心跳频率所处的用户心跳频率级别区间，确定对应于该用户心跳频率级别区间的画面素材移动速度；并基于所确定的画面素材移动速度控制所述画面素材的移动。
16.根据权利要求13所述的移动终端，其特征在于，
摄像单元，进一步用于感应用户的热量，并在感应到用户热量后向显示单元发出热量提示消息；
显示单元，进一步用于收到热量提示消息之后，播放画面素材移动启动音频。
17.一种画面交互系统，其特征在于，该系统包括移动终端和服务器，其中：
服务器，用于接收画面素材，并将画面素材发送到移动终端；
移动终端，用于设置画面素材移动速度与用户心跳频率的对应关系；展示从服务器接收的画面素材；拍摄用户肢体图像组，分析所述用户肢体图像组以监测血液颜色差异，根据所述血液颜色差异计算用户的心跳频率；根据计算出的所述用户心跳频率确定对应于该用户心跳频率的画面素材移动速度，并基于所确定的画面素材移动速度控制所述画面素材的移动。
CN201210478609.0A 2012-11-22 2012-11-22 一种画面交互方法、装置、系统和移动终端 Active CN103838357B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201210478609.0A CN103838357B (zh) 2012-11-22 2012-11-22 一种画面交互方法、装置、系统和移动终端
US14/646,633 US9565413B2 (en) 2012-11-22 2013-09-22 Picture interaction method, apparatus, system and mobile terminal
PCT/CN2013/083917 WO2014079269A1 (zh) 2012-11-22 2013-09-22 一种画面交互方法、装置、系统和移动终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210478609.0A CN103838357B (zh) 2012-11-22 2012-11-22 一种画面交互方法、装置、系统和移动终端

Publications (2)

Publication Number Publication Date
CN103838357A true CN103838357A (zh) 2014-06-04
CN103838357B CN103838357B (zh) 2018-03-06

Family

ID=50775491

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210478609.0A Active CN103838357B (zh) 2012-11-22 2012-11-22 一种画面交互方法、装置、系统和移动终端

Country Status (3)

Country Link
US (1) US9565413B2 (zh)
CN (1) CN103838357B (zh)
WO (1) WO2014079269A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106557162A (zh) * 2016-11-02 2017-04-05 邹操 基于自然人机交互技术的艺术展示系统及方法
CN110621214A (zh) * 2017-02-01 2019-12-27 合意骨科有限公司 利用用户界面监测物理治疗和康复的系统和方法
JP2024524014A (ja) * 2021-06-04 2024-07-05 北京字跳▲網▼絡技▲術▼有限公司 ビデオ編集方法、装置、機器および記憶媒体

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9609385B2 (en) * 2014-08-28 2017-03-28 The Nielsen Company (Us), Llc Methods and apparatus to detect people
US20180295317A1 (en) * 2017-04-11 2018-10-11 Motorola Mobility Llc Intelligent Dynamic Ambient Scene Construction
CN112533138B (zh) * 2020-12-07 2021-08-03 广州悦跑信息科技有限公司 跑步社交方法、终端、服务器及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1397904A (zh) * 2001-07-18 2003-02-19 张煌东 一种以运动产生的参数作为互动游戏进行操控系统
US20030158692A1 (en) * 2000-05-08 2003-08-21 Ken Tamada Human interface method and apparatus
CN1510903A (zh) * 2002-11-25 2004-07-07 ��˹���´﹫˾ 成像方法与系统
CN201299557Y (zh) * 2008-09-01 2009-09-02 李雲仲 生理检测互动系统
CN201418109Y (zh) * 2009-06-26 2010-03-03 英华达（上海）科技有限公司 具有变化外观功能的手持式电子装置
US20100328088A1 (en) * 2009-06-25 2010-12-30 Chyi-Cheng Lin Mood-Interacting Shoe Device
CN102488508A (zh) * 2011-12-29 2012-06-13 哈尔滨工业大学 一种基于图像捕获的心率测量方法
CN102525442A (zh) * 2011-12-21 2012-07-04 Tcl集团股份有限公司 一种测量人体脉搏的方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080262328A1 (en) * 2005-01-21 2008-10-23 Medrad, Inc. Pulse Oximetry Grip Sensor and Method of Making Same

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030158692A1 (en) * 2000-05-08 2003-08-21 Ken Tamada Human interface method and apparatus
CN1397904A (zh) * 2001-07-18 2003-02-19 张煌东 一种以运动产生的参数作为互动游戏进行操控系统
CN1510903A (zh) * 2002-11-25 2004-07-07 ��˹���´﹫˾ 成像方法与系统
CN201299557Y (zh) * 2008-09-01 2009-09-02 李雲仲 生理检测互动系统
US20100328088A1 (en) * 2009-06-25 2010-12-30 Chyi-Cheng Lin Mood-Interacting Shoe Device
CN201418109Y (zh) * 2009-06-26 2010-03-03 英华达（上海）科技有限公司 具有变化外观功能的手持式电子装置
CN102525442A (zh) * 2011-12-21 2012-07-04 Tcl集团股份有限公司 一种测量人体脉搏的方法及装置
CN102488508A (zh) * 2011-12-29 2012-06-13 哈尔滨工业大学 一种基于图像捕获的心率测量方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106557162A (zh) * 2016-11-02 2017-04-05 邹操 基于自然人机交互技术的艺术展示系统及方法
CN110621214A (zh) * 2017-02-01 2019-12-27 合意骨科有限公司 利用用户界面监测物理治疗和康复的系统和方法
JP2024524014A (ja) * 2021-06-04 2024-07-05 北京字跳▲網▼絡技▲術▼有限公司 ビデオ編集方法、装置、機器および記憶媒体
JP7739470B2 (ja) 2021-06-04 2025-09-16 北京字跳▲網▼絡技▲術▼有限公司 ビデオ編集方法、装置、機器および記憶媒体

Also Published As

Publication number Publication date
US20150296196A1 (en) 2015-10-15
CN103838357B (zh) 2018-03-06
WO2014079269A1 (zh) 2014-05-30
US9565413B2 (en) 2017-02-07

Similar Documents

Publication Publication Date Title
US10592929B2 (en) Systems and methods for delivering content
CN103838357A (zh) 一种画面交互方法、装置、系统和移动终端
US12449891B2 (en) Timelapse re-experiencing system
US12341738B2 (en) Contextual reply augmentation system
CN107257338A (zh) 媒体数据处理方法、装置及存储介质
US10388034B2 (en) Augmenting web content to improve user experience
US12073641B2 (en) Systems, devices, and/or processes for dynamic surface marking
WO2024050229A1 (en) Contextual memory experience triggers system
US20250227336A1 (en) Recommending relevant content augmentations based on context
CN114339375B (zh) 视频播放方法、生成视频目录的方法及相关产品
US12353398B2 (en) Automatically estimating place data accuracy
US20250016126A1 (en) Presentation of media content as flashbacks
CN103389849A (zh) 一种基于移动终端的图像展示方法、系统和移动终端
US11380215B2 (en) Reward-based ecosystem for tracking nutritional consumption
US12073640B2 (en) Systems, devices, and/or processes for dynamic surface marking
US11995904B2 (en) Systems, devices, and/or processes for dynamic surface marking
CN116710911B (zh) 基于标注的参与分析
US20220207080A1 (en) Messaging system for engagement analysis based on labels
US20250392787A1 (en) Server-driven updates for send button
US12530852B2 (en) Optical character recognition for augmented images
US20250392788A1 (en) Server-driven updates for boost and comment buttons
US20250342615A1 (en) Virtual camera augmented reality system
WO2022207145A1 (en) Systems, devices, and/or processes for dynamic surface marking
CN119832130A (zh) 一种图像处理方法、系统、产品、设备及存储介质
TW202125372A (zh) 通用式客製化之智慧手環贈禮品處理方法及其系統

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant