[go: up one dir, main page]

CN105009598A - 获取观看者观看内容时的兴趣的设备 - Google Patents

获取观看者观看内容时的兴趣的设备 Download PDF

Info

Publication number
CN105009598A
CN105009598A CN201480013190.9A CN201480013190A CN105009598A CN 105009598 A CN105009598 A CN 105009598A CN 201480013190 A CN201480013190 A CN 201480013190A CN 105009598 A CN105009598 A CN 105009598A
Authority
CN
China
Prior art keywords
glasses
user
sensor
biometric data
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480013190.9A
Other languages
English (en)
Other versions
CN105009598B (zh
Inventor
C·迈考伊
L·佩德罗
T·熊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Interactive Entertainment LLC
Original Assignee
Sony Corp
Sony Network Entertainment International LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Network Entertainment International LLC filed Critical Sony Corp
Publication of CN105009598A publication Critical patent/CN105009598A/zh
Application granted granted Critical
Publication of CN105009598B publication Critical patent/CN105009598B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Neurosurgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Biomedical Technology (AREA)
  • Analytical Chemistry (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

为了获取观看者在消费电子设备上观看三维内容时的喜好和兴趣，观看者的眼睛被实时监控。来自监控的生物特征数据被用来为观看者传送高度精确和个性化的观看体验。

Description

获取观看者观看内容时的兴趣的设备
技术领域
公开了在消费电子设备上观看内容时通过人类生物特征获取实时观看者兴趣程度的设备。本发明涉及能够在消费电子设备上实时跟踪和监控观看者的视线生物特征，特别是观看内容时观看者的眼睛。
背景技术
媒体内容的生产者和传播者当前获取关于消费电子设备消费内容的类型、数量、流派等商业信息。但是，电子设备制造商拥有的消费电子设备所消费类容的百分比是不知道的。此外，电子设备的制造商不能确定有多大百分比的类型、流派等是被电子设备制造商的消费者喜欢的此外，目前为止，还没有以不显眼的方式获取生物特征信息的方法。
发明内容
本发明涉及在观看3D内容时在用户穿戴的三维(3D)眼镜上安装多个传感器，以不显眼地获取关于用户的生物特征信息，使得高度精确个性化的内容能够在任何地方传送给用户。
附图说明
图1示出了3D显示设备以及穿戴有追踪器的3D眼镜的用户如何观看3D显示器。
图2A示出了观看者的眼睛在显示设备上的位置并且图2B示出了基于图2A的自校准图。
图3示出了使用本发明的方法。
图4示出了用于3D眼镜的附加传感器。
具体实施方式
本发明涉及当观看包括互联网协议(IP)内容在内的内容时，通过人体生物特征在消费电子设备上用于获取实时观看者兴趣的设备。消费电子设备可以是具有互联网功能的消费电子设备。实时跟踪和监控观看者的视线生物特征被使用。具体地，当在消费电子设备上观看内容时用户的眼睛被监控。获取的生物特征数据是眼睛凝视、注视、运动和瞳孔放大以及其它将在下面讨论的生物特征数据。获取的生物特征数据被用来确定兴趣的程度及推断关于观看者内容观看体验的观看者的满意程度。
图1示出了通过嵌入或者可插拔模块二者任一附连到3D眼镜5上的眼睛追踪器4。该追踪器4用来追踪用户的眼睛。眼睛或一双眼睛被绑定到用户配置文件。跨用户观看历史的跨度维护视线生物特征数据。随着时间的推移，示出用户兴趣程度的生物特征数据被知道。可选择地，生物特征数据也能够被显示以实时示出生物特征数据指向场景中特定物体的相关性。
本发明的结果是在任何地方或位置以及在任何时间，基于眼睛识别提供观看者访问高度精确个性化的内容的入口点。
如图1所示，用于显示图像和3D图像的显示设备1与3D眼镜5一起使用。3D眼镜5包括框架3、3D镜片7和相机/眼睛追踪器4(传感器)。显示设备1被附连到消费电子设备2，该消费电子设备2可以具有互联网功能并且包括诸如机顶盒、游戏站、录像机(VCR)、磁带录像机(VTR)、数字多功能光盘(DVD)等设备。为了在显示设备1上观看三维图像，用户需要穿戴3D眼镜5。消费电子设备2是通过诸如无线上网(Wi-Fi)、红外线、蓝牙等具有无线功能的。此外，消费电子设备2可以通过互联网8与服务器6通信或者消费电子设备可以自身使用生物特征数据。
3D眼镜5具有为了将获取的生物特征数据发送到消费电子设备2的无线发射器10(参见图4)。图4中发射器10的放置仅是说明性的并且其能够放置在3D眼镜5上的任何地方。在消费电子设备2接收生物特征数据之后，可以通过互联网8将生物特征数据发射到服务器6以供分析和储存或消费电子设备自身可以使用该信息。例如，基于用户关注内容的部分，生物特征数据能够被服务器或者消费电子设备二者任一用来选择哪个内容接下来播放。可选择地，消费电子设备能够分析生物特征数据并且然后将诸如在内容播放期间在每一点的用户兴趣程度(或者凝视点)的摘要信息发送到服务器。
如在图1中所示，追踪器4被安装到3D眼镜5上。虽然图1示出追踪器4安装在靠近3D眼镜5中间的部分，但是确切的位置是可变的，只要追踪器4能够不显眼地追踪观看者的眼睛运动。通过使用追踪器4，观看者的眼睛凝视、注视、运动和瞳孔放大能够被实时追踪和监控。追踪器4能够检测眨眼、眯眼以及何时用户闭上他/她的眼睛。这能够至少部分地用来告诉在用户不能或者不想观看内容的情形下何时用户闭上他的/她的眼睛。追踪器4也能检测用户睡觉的点。
通过使用追踪器4，用户能够在服务器6或者消费电子设备上注册他的/她的眼睛以建立内容兴趣或满意度的配置文件。追踪器4能够通过(over)时间函数(见图2B)自校准观看者的眼睛位于3D电视屏幕或者3D显示设备1的何处。关于用户兴趣的信息能够基于用户看在屏幕上的何处来确定并且该信息能够被相关到关于在那一帧物体在屏幕上的位置所已知的元数据。元数据能够被消费类电子产品解析出、与内容通信、在稍后的点被确认、或者元数据对于服务器已知但是在该消费电子设备上未知。因此，本发明能够生成能被关联到在一个位置和一个时间处什么在屏幕上的目光位置信息。该目光位置信息被不显眼地收集并且数据与观看者在看的物体相关联。
来自追踪器4的生物特征数据被用来确定将要推荐给用户的最佳内容。这几乎能够实时完成，例如在通告插播期间确定下一内容并且之后该下一内容被提供到用户的显示设备。
追踪器4能被用来感测用户的眼睛集中在显示器上的位置，并且该集中位置在服务器或者消费电子设备上因此已知。如果产品位于显示器上的那个位置，然后知道用户感兴趣的产品。这能够被用来选择针对用户兴趣的通告。
眼镜5能够针对知道用户身份和配置文件的每个用户是个性化的。当用户拿起他的/她的眼镜5时，基于用户的身份和配置文件，用户的兴趣将已知。此外，基于来自消费电子设备和/或服务器的信息，用户优选的电视设置也将已知以使得内容和通告能够基于用户的兴趣被送到用户。
当用户的优选设置通过生物特征数据确定后，消费电子设备2和显示设备1的电视设置能够经由互联网被服务器6控制。可选择的，用户的电视设置能够经由互联网被服务器6覆盖。
为了从追踪器4获取用户的基准生物特征数据，获取的多个用户的生物特征数据被作比较以解释每个用户的数据。例如在图2A中所示的，基准数据是从几个在相同时间看相同内容的观看者累积而来的。
在优选实施例中，因为用户的眼睛和追踪器4之间的距离接近眼睛导致精确数据，因此3D眼镜5优选追踪眼睛运动。追踪器4被设在用户为了看3D内容需要使用的3D眼镜5上。该发明的重要特点为眼镜5包含不显眼地获取生物特征数据的传感器4。
为了获取生物特征信息，如在图3中所示，以下发生：(1)观看者穿上配备有眼睛运动追踪器的3D眼镜，(2)观看者通过提供用户身份识别号码(ID)或者通过用户的眼镜身份识别号码(ID)二者任一向系统/服务器注册他的/他的眼睛；可替代地用户眼睛瞳孔中的视觉模式允许不显眼地识别用户；新用户可以创建新的配置文件，(3)追踪器开始校准观看者的眼睛在显示屏幕上的位置；由于观看者的眼镜在显示屏幕1和该显示屏幕位于的房间中的其他位置周围移动，随着时间的推移，会有多个(虚拟)眼点在显示屏幕上；为了获取该显示屏幕和眼睛位置的精确边界，一阶微分随着时间推移被施加到眼点上；这是自校准(见图2B)，可替代地用于步骤3，当用户第一次戴上眼镜时，用户可以通过主动的校准步骤；这可以通过眼睛运动来实现，例如眼睛注视在屏幕的每个角数次；这能够是加快眼镜具有好的校准的时间的可选步骤，(4)在3D内容观看期间，追踪器4将追踪和监控观看者的眼睛凝视(在什么位置)、注视(多长时间)、运动(眼睛运动的模式/方向)以及瞳孔放大(压力的指示)；注意：如果眼镜在2D内容观看期间被选择地穿戴，追踪器也能够追踪和监控用户的生物特征，即使眼镜对于2D内容并不需要，(5)生物特征数据点被实时输入到数据处理单元(未示出)，该数据处理单元可以内置于眼镜，内置于消费电子设备或者发送到服务器6以建立兴趣程度的配置文件，生物特征信息由两部分组成：(a)兴趣程度：凝视、注视、眼睛运动/路径以及(b)满意水平：凝视、注视、眼睛运动/路径和瞳孔放大，关于特定使用的生物特征配置文件可以包括诸如能够用来被动地识别相同用户的瞳孔视觉模式的特征，生物特征配置文件也可以包含有关用户的基准信息，例如用户的典型静息心率或者各种光照水平下的瞳孔放大量，(6)如果未注册的新观看者加入观看，生物特征数据将为这个新的观看者被动地收集以建立该用户能够注册的新的配置文件，用户的配置文件通过被动的生物特征数据来标识，因此注册是可选的，但是，注册可以允许用户限制他们的账号到他/她能够直接访问的账号以使得直接关联配置文件到其他账号或者输入兴趣，可选择地，如果该新用户不想注册，基于跨在该人所在地点、语言、日期/时间等内的所有设备的客户默认的生物特征配置文件被最初使用，该默认的生物特征配置文件由于默认的配置文件跨所有客户持续重新计算而随着时间变化，由于新用户持续使用系统，一般默认配置文件基于特定于用户的传感器数据(即生物特征数据)能够然后为新用户定制，(7)用户的配置文件被检索和更新，(8)随着时间推移，对于特定的用户/观看者，关于一段内容的精确和实际的感兴趣和满意程度能够被确定，同时确定场景中的哪一部分或者哪种类型的物体对用户来说最感兴趣，以使得内容、兴趣和满意程度能够被确定。
除了追踪器4，3D眼镜5也可以包含在图4中一般标记为附图标记11的多个其他传感器，传感器11的放置仅是为说明性目的并且能够放置在眼镜5上的任何地方。一个这样的传感器11可以是用来检测头部运动和方向，诸如加速度计和/或陀螺仪。例如，基于头部运动传感器，服务器6或者消费电子设备能够确定用户在看屏幕或者看其他地方。此外，当内容有突然变化时，突然的头部运动将会指示用户沉浸在观看内容中。陀螺仪该和/或加速度计将会是空间方向检测器的一部分。
除陀螺仪和加速度计外，或者替代陀螺仪和加速度计，眼镜中的相机也能够被用来视觉感测到屏幕的方向，其在暗室中在黑暗的场景期间会是有问题的。可选择地，屏幕可以发射用于眼镜检测的信号以使得总是有用于眼镜检测的一致的信号。这些信号可以是可见的，例如发光的边框，或在不能被人检测到的频率中。这些信号可以是屏幕自身、边框或者屏幕周围设备的其他部分产生的，或者由单独的发射器产生，这对给现存的不支持感测的显示器添加感测时将会是有用的。
对于显示器不固定的系统，例如手持平板显示器而不是客厅的电视，将有可能在显示器和眼镜上有空间方向探测器。在这种情况下，如果显示器发射由眼镜检测的信号，然后该信号的检测将会是与显示器相关，虽然诸如陀螺仪的传感器将会感测用户在空间中的方向但是需要与显示器在空间中的方向进行协调。
此外，3D眼镜5可以包含传感器11以感测用户触摸眼镜。该传感器将拾取诸如流汗的电活动。作为替换，可以提供传感器11以使得与用户的头部直接接触以感测大脑活动。温度传感器11可以设在眼镜5上以感测体温和/或感测房间的环境温度。
检测器11也能够检测环境光照水平。环境光照能够用来标准化由于光照水平的影响导致的瞳孔放大量，以检测何时瞳孔放大变化是对内容而不是光照变化的反应。检测器11可以感测的其他事情包括用户的心率和用户的呼吸。例如，当内容有突然变化时，用户突然的喘息将会指示用户沉浸在观看内容中。
互联网协议消费电子设备2可以经由互联网发送诸如电视设置的设置到服务器6。消费电子设备也能够确定显示器1不同的内容设置，例如图片亮度、暗度以及该显示的内容是否涉及运动、戏剧等，这也能够被发送到服务器6以建立用户配置文件。
3D眼镜5可以包括音频传感器11以感测至少用户的音频。尽管消费电子设备将知道基于内容产生的音频音量，但是音频传感器也能够用于该目的。可以安装在3D眼镜5上的额外的传感器11可以包括用于确定背景噪声或者任何声音干扰的传感器。背景噪声水平能够分解成确定用户对内容的兴趣水平。此外，3D眼镜可以有安装在其上的耳机11。类似于噪音消除耳机的工作方式，来自麦克风的环境声音能够用于从用户检测到的定向声音中减去环境声音，以获取由用户产生的更加清晰的音频流。服务器6或者消费电子设备2能因此控制这些耳机的音频水平以克服音频干扰。
定向麦克风11可以安装在3D眼镜5上。定向麦克风11可以拾取来自用户的音频以拾取用户的喘息、对节目的讲话、与其他人的谈话等。因此，来自该定向麦克风11的输出能够被服务器6或者消费电子设备2使用以确定用户对该内容的兴趣水平。
最重要的是，安装在3D眼镜5上的追踪器4和传感器11被用于校准和建立用户的配置文件并且它们不显眼以使得被动地完成监控生物特征信息。此外，本发明能够与不那么显眼(less unobtrusive)的感测方法和设备结合使用。
通过将传感器11和4绑定到3D眼镜，被动校准能被获取以使得用户不知道数据在被收集。此外，因为3D眼镜5包含传感器11和4，因而感测是不显眼的。服务器的将从传感器/追踪器获取的生物特征数据和从消费电子设备2获取的内容相关联可以为用户确定。使用加速度计和陀螺仪11来感测眼镜5在用户头部上的移动能够用来关联信息。使用在3D眼镜上的传感器能够是使用在蜂窝电话中的类型。皮肤传感器可以是金属接触板。追踪器/相机被用来感测有头部运动的眼睛聚焦。该3D眼镜5能够因此对每个用户配置文件是个性化的。使用环境数据能够用来经由耳机阻挡背景噪声和环境干扰。应当注意到在图4中多个传感器11的放置仅是说明性的而并不限制其类型、数量或者放置。
本发明允许实时监控观看者的眼镜凝视、注视、运动和瞳孔放大以获取观看者通过互联网协议在消费电子设备上观看3D内容时的喜好和兴趣。源自生物特征数据的用户兴趣能够被用来传递高度精确个性化的观看体验，例如在其他目的中发送对用户量身定做的命令和内容。
将被那些本领域的技术人员认识到，在不背离本发明的精神和范围的情况下，可以使用各种修改、替代结构和等同。相应地，以上描述不应该被认为是限制本发明的范围。

Claims (35)

1.一种用于在显示设备上观看图像的眼镜，包括：
框架；以及
获取生物特征数据的传感器，用于获取用户对在显示设备上显示的内容的反应以及对所述内容的兴趣水平中的至少一种。
2.如权利要求1所述的眼镜，其中所述传感器被嵌入在所述框架中。
3.如权利要求1所述的眼镜，其中所述传感器可以插拔到所述框架中。
4.如权利要求1所述的眼镜，还包括将所述生物特征数据发射到消费电子设备的无线发射器。
5.如权利要求4所述的眼镜，其中所述消费电子设备经由互联网将所述生物特征数据从所述传感器发射到服务器。
6.如权利要求1所述的眼镜，其中所述传感器监控眼睛凝视。
7.如权利要求1所述的眼镜，其中所述传感器监控眼睛注视。
8.如权利要求1所述的眼镜，其中所述传感器监控眼睛运动。
9.如权利要求1所述的眼镜，其中所述传感器检测瞳孔放大。
10.如权利要求1所述的眼镜，其中所获取的生物特征数据是为了能够在所述显示设备上显示个性化的内容。
11.如权利要求1所述的眼镜，还包括用来监控附加生物特征信息的多个传感器。
12.如权利要求11所述的眼镜，其中所述传感器包括眼睛追踪传感器、空间方向传感器、温度传感器、音频传感器、麦克风传感器、脑波长传感器、环境光传感器、环境声音传感器、心脏传感器和电流传感器中的至少一种。
13.如权利要求12所述的眼镜，其中所述空间方向传感器包括陀螺仪、加速度计和相机中的一种以检测以下中的一个：(1)所述显示设备的屏幕，以及(2)由所述眼镜检测的所发射的可见或不可见信号。
14.如权利要求12所述的眼镜，其中所述环境光传感器用于标准化瞳孔放大水平。
15.如权利要求12所述的眼镜，其中所述环境声音传感器用于确定用户对环境干扰的反应。
16.如权利要求1所述的眼镜，其中所述传感器被动地自校准所述用户的眼睛随着时间的推移集中在所述显示设备的位置以确定所述用户的反应和兴趣水平中的一种。
17.如权利要求1所述的眼镜，其中所述生物特征数据被用来自动地确定用户的配置文件。
18.如权利要求1所述的眼镜，其中所述生物特征数据被用来创建新的用户配置文件。
19.一种使用用于在显示设备上观看图像的眼镜获取生物特征数据的方法，包括以下步骤：
为眼镜提供传感器；以及
不显眼地获取用户的生物特征数据以获取用户对在显示设备上显示的内容的反应以及对所述内容的兴趣水平中的一种。
20.如权利要求19所述的方法，还包括：经由无线发射器将所述生物特征数据发射到消费电子设备的步骤。
21.如权利要求20所述的方法，还包括：所述消费电子设备经由互联网将所述生物特征数据从所述传感器发射到服务器的步骤。
22.如权利要求19所述的方法，还包括：监控眼睛凝视的步骤。
23.如权利要求19所述的方法，还包括：监控眼睛注视的步骤。
24.如权利要求19所述的方法，还包括：监控眼睛运动的步骤。
25.如权利要求19所述的方法，还包括：监控瞳孔放大的步骤。
26.如权利要求19所述的方法，还包括：使得基于所述生物特征数据能够为用户在显示设备上显示个性化的内容的步骤。
27.如权利要求19所述的方法，还包括：经由多个传感器监控附加生物特征信息的步骤。
28.如权利要求27所述的方法，还包括：至少监控用户的眼睛生物特征、空间方向、温度、音频、脑波长、环境光、环境声音、心跳和电活性的步骤。
29.如权利要求28所述的方法，其中所述监控空间方向包括检测所述显示设备的屏幕和检测由所述眼镜检测的所发射的可见或不可见信号。
30.如权利要求28所述的方法，其中所述监控环境光是为了标准化瞳孔放大水平。
31.如权利要求28所述的方法，其中所述监控环境声音是为了确定用户对环境干扰的反应。
32.如权利要求19所述的方法，其中所述生物特征数据通过被动自校准用户的眼睛随着时间的推移集中在显示设备的位置而获得以确定所述用户的反应和兴趣水平中的一种。
33.如权利要求19所述的方法，还包括：基于所述生物特征数据自动确定用户的配置文件的步骤。
34.如权利要求19所述的方法，还包括：使用所述生物特征数据创建新的用户配置文件的步骤。
35.一种用于获取当在显示设备上观看内容时观看者兴趣的设备，包括：
包含获取生物特征数据的传感器的眼镜；
基于接收到的所述生物特征数据确定用户的喜好和兴趣的服务器；以及
显示与用户的兴趣和喜好一致的内容和通告的显示设备。
CN201480013190.9A 2013-03-15 2014-03-14 获取观看者观看内容时的兴趣的设备 Active CN105009598B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/832,510 US9596508B2 (en) 2013-03-15 2013-03-15 Device for acquisition of viewer interest when viewing content
US13/832,510 2013-03-15
PCT/US2014/027241 WO2014143654A1 (en) 2013-03-15 2014-03-14 Device for acquisition of viewer interest when viewing content

Publications (2)

Publication Number Publication Date
CN105009598A true CN105009598A (zh) 2015-10-28
CN105009598B CN105009598B (zh) 2019-05-10

Family

ID=51534822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480013190.9A Active CN105009598B (zh) 2013-03-15 2014-03-14 获取观看者观看内容时的兴趣的设备

Country Status (5)

Country Link
US (1) US9596508B2 (zh)
CN (1) CN105009598B (zh)
BR (1) BR112015021920B1 (zh)
RU (1) RU2601287C1 (zh)
WO (1) WO2014143654A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056405A (zh) * 2016-05-27 2016-10-26 上海青研科技有限公司 基于虚拟现实视觉兴趣区域的广告定向推送技术
CN107817899A (zh) * 2017-11-24 2018-03-20 姜翠英 一种用户观看内容实时分析方法
CN108256910A (zh) * 2018-01-10 2018-07-06 京东方科技集团股份有限公司 内容推荐方法、装置及电子设备
CN108447129A (zh) * 2017-12-27 2018-08-24 广东鸿威国际会展集团有限公司 一种在线三维编辑方法及系统
CN109791295A (zh) * 2016-07-25 2019-05-21 奇跃公司 使用增强和虚拟现实眼镜的成像修改、显示和可视化
CN109858399A (zh) * 2019-01-15 2019-06-07 上海理工大学 一种基于眼神注视的喜好判别方法及判别系统
CN110268370A (zh) * 2017-01-19 2019-09-20 惠普发展公司，有限责任合伙企业 在远程会议中的眼睛凝视角反馈

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8539359B2 (en) * 2009-02-11 2013-09-17 Jeffrey A. Rapaport Social network driven indexing system for instantly clustering people with concurrent focus on same topic into on-topic chat rooms and/or for generating on-topic search results tailored to user preferences regarding topic
US8676937B2 (en) * 2011-05-12 2014-03-18 Jeffrey Alan Rapaport Social-topical adaptive networking (STAN) system allowing for group based contextual transaction offers and acceptances and hot topic watchdogging
HK1160574A2 (zh) * 2012-04-13 2012-07-13 邝景熙 防盗电子付款系统和方法
US9571822B2 (en) * 2012-08-28 2017-02-14 Samsung Electronics Co., Ltd. Display system with display adjustment mechanism for viewing aide and method of operation thereof
US11228805B2 (en) * 2013-03-15 2022-01-18 Dish Technologies Llc Customized commercial metrics and presentation via integrated virtual environment devices
CN104166835A (zh) * 2013-05-17 2014-11-26 诺基亚公司 用于识别活体用户的方法和装置
US10635167B2 (en) * 2013-05-30 2020-04-28 Umoove Services Ltd. Smooth pursuit gaze tracking
US10073518B2 (en) * 2013-08-19 2018-09-11 Qualcomm Incorporated Automatic calibration of eye tracking for optical see-through head mounted display
JP6417676B2 (ja) * 2014-03-06 2018-11-07 ソニー株式会社 情報処理装置、情報処理方法、アイウェア端末および認証システム
CN104093061B (zh) * 2014-07-18 2020-06-02 北京智谷睿拓技术服务有限公司 内容分享方法和装置
CN104077149B (zh) * 2014-07-18 2018-02-02 北京智谷睿拓技术服务有限公司 内容分享方法和装置
US9836755B2 (en) * 2014-08-06 2017-12-05 Ebay Inc. Determining a user's event experience through user actions
US9936195B2 (en) * 2014-11-06 2018-04-03 Intel Corporation Calibration for eye tracking systems
US9782069B2 (en) * 2014-11-06 2017-10-10 International Business Machines Corporation Correcting systematic calibration errors in eye tracking data
US10303245B2 (en) * 2015-05-04 2019-05-28 Adobe Inc. Methods and devices for detecting and responding to changes in eye conditions during presentation of video on electronic devices
CN104836703A (zh) * 2015-05-12 2015-08-12 百度在线网络技术（北京）有限公司 信息投放效果的监测方法、系统以及服务器和可穿戴设备
US9936250B2 (en) * 2015-05-19 2018-04-03 The Nielsen Company (Us), Llc Methods and apparatus to adjust content presented to an individual
CN108024768B (zh) * 2015-05-27 2021-02-05 斋藤粮三 可移动终端压力评估程序及包含该程序的可移动终端
US10795692B2 (en) 2015-07-23 2020-10-06 Interdigital Madison Patent Holdings, Sas Automatic settings negotiation
WO2017014921A1 (en) * 2015-07-23 2017-01-26 Thomson Licensing Automatic settings negotiation
US10210318B2 (en) * 2015-12-09 2019-02-19 Daon Holdings Limited Methods and systems for capturing biometric data
US10719193B2 (en) * 2016-04-20 2020-07-21 Microsoft Technology Licensing, Llc Augmenting search with three-dimensional representations
US10469653B2 (en) * 2016-05-15 2019-11-05 Fmr Llc Proximity and movement detection of a mobile computing device during a user session
US10937041B2 (en) * 2016-07-29 2021-03-02 Popdust, Inc. Forward context browsing
CN106097801B (zh) * 2016-08-30 2018-12-18 四川汉博德信息技术有限公司 一种利于提高学习兴趣的智慧课堂系统
US10110950B2 (en) * 2016-09-14 2018-10-23 International Business Machines Corporation Attentiveness-based video presentation management
US10045076B2 (en) * 2016-11-22 2018-08-07 International Business Machines Corporation Entertainment content ratings system based on physical expressions of a spectator to scenes of the content
US10171862B2 (en) * 2017-02-16 2019-01-01 International Business Machines Corporation Interactive video search and presentation
US10521662B2 (en) * 2018-01-12 2019-12-31 Microsoft Technology Licensing, Llc Unguided passive biometric enrollment
CN108595011A (zh) * 2018-05-03 2018-09-28 北京京东金融科技控股有限公司 信息展示方法、装置、存储介质及电子设备
GB2576905B (en) * 2018-09-06 2021-10-27 Sony Interactive Entertainment Inc Gaze input System and method
GB2576904B (en) * 2018-09-06 2021-10-20 Sony Interactive Entertainment Inc Content modification system and method
US11119573B2 (en) 2018-09-28 2021-09-14 Apple Inc. Pupil modulation as a cognitive control signal
US11064255B2 (en) * 2019-01-30 2021-07-13 Oohms Ny Llc System and method of tablet-based distribution of digital media content
US11178389B2 (en) 2019-03-25 2021-11-16 Microsoft Technology Licensing, Llc Self-calibrating display device
US11354805B2 (en) 2019-07-30 2022-06-07 Apple Inc. Utilization of luminance changes to determine user characteristics
US11327636B2 (en) * 2019-08-20 2022-05-10 Dell Products L.P. Dynamically scale complexity of a user interface based on cognitive load
US11379338B2 (en) * 2019-10-23 2022-07-05 EMC IP Holding Company LLC Customizing option-selections in application based on usage pattern
CN116569124A (zh) 2020-06-03 2023-08-08 苹果公司 基于眼睛注视的生物反馈
US11750883B2 (en) * 2021-03-26 2023-09-05 Dish Network Technologies India Private Limited System and method for using personal computing devices to determine user engagement while viewing an audio/video program
WO2022225518A1 (en) * 2021-04-21 2022-10-27 Google Llc Implicit calibration from screen content for gaze tracking
US11948043B2 (en) * 2021-06-02 2024-04-02 Apple Inc. Transparent insert identification
US12099654B1 (en) 2021-06-21 2024-09-24 Apple Inc. Adaptation of electronic content
WO2023049089A1 (en) 2021-09-24 2023-03-30 Chinook Labs Llc Interaction events based on physiological response to illumination
WO2024006966A1 (en) * 2022-06-30 2024-01-04 Apple Inc. Eye-tracking system

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020090119A1 (en) * 2001-01-08 2002-07-11 Motoaki Saito Displaying multiple slice images
US20100061611A1 (en) * 2008-09-11 2010-03-11 Siemens Corporate Research, Inc. Co-registration of coronary artery computed tomography and fluoroscopic sequence
US20100211439A1 (en) * 2006-09-05 2010-08-19 Innerscope Research, Llc Method and System for Predicting Audience Viewing Behavior
CN102577367A (zh) * 2009-09-11 2012-07-11 伊斯曼柯达公司 时移视频通信
CN102710991A (zh) * 2011-03-04 2012-10-03 索尼公司 信息处理设备、信息处理方法和程序
US20130012829A1 (en) * 2011-07-07 2013-01-10 Samsung Electronics Co., Ltd. Method for controlling display apparatus using brain wave and display apparatus thereof
US20130021373A1 (en) * 2011-07-22 2013-01-24 Vaught Benjamin I Automatic Text Scrolling On A Head-Mounted Display
CN103064188A (zh) * 2011-11-30 2013-04-24 微软公司 基于头戴式显示器的教育和指导

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7006881B1 (en) * 1991-12-23 2006-02-28 Steven Hoffberg Media recording device with remote graphic user interface
US8561095B2 (en) * 2001-11-13 2013-10-15 Koninklijke Philips N.V. Affective television monitoring and control in response to physiological data
US8292433B2 (en) * 2003-03-21 2012-10-23 Queen's University At Kingston Method and apparatus for communication between humans and devices
US20060106646A1 (en) * 2004-11-18 2006-05-18 Eastman Kodak Company Medical kiosk with multiple input sources
RU68719U1 (ru) 2007-06-19 2007-11-27 Александр Александрович Чубаев Очковая оправа
WO2009046224A1 (en) 2007-10-02 2009-04-09 Emsense Corporation Providing remote access to media, and reaction and survey data from viewers of the media
EP2306891A1 (en) 2008-07-08 2011-04-13 IT University of Copenhagen Eye gaze tracking
US20100010370A1 (en) * 2008-07-09 2010-01-14 De Lemos Jakob System and method for calibrating and normalizing eye data in emotional testing
DK2389095T3 (da) 2009-01-26 2014-11-17 Tobii Technology Ab Detektering af blikpunkt hjulpet af optiske referencesignaler
US8613008B2 (en) * 2010-01-11 2013-12-17 Lead Technology Capital Management, Llc System and method for broadcasting media
WO2012009419A2 (en) * 2010-07-16 2012-01-19 Michael Arnouse Portable computing system and portable computer for use with same
WO2012083415A1 (en) 2010-11-15 2012-06-28 Tandemlaunch Technologies Inc. System and method for interacting with and analyzing media on a display using eye gaze tracking
US8510166B2 (en) 2011-05-11 2013-08-13 Google Inc. Gaze tracking system
CA2847975A1 (en) 2011-09-07 2013-03-14 Tandemlaunch Technologies Inc. System and method for using eye gaze information to enhance interactions
US20130219417A1 (en) * 2012-02-16 2013-08-22 Comcast Cable Communications, Llc Automated Personalization
US20130340006A1 (en) * 2012-06-14 2013-12-19 Mobitv, Inc. Eye-tracking navigation
US20140096152A1 (en) * 2012-09-28 2014-04-03 Ron Ferens Timing advertisement breaks based on viewer attention level

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020090119A1 (en) * 2001-01-08 2002-07-11 Motoaki Saito Displaying multiple slice images
US20100211439A1 (en) * 2006-09-05 2010-08-19 Innerscope Research, Llc Method and System for Predicting Audience Viewing Behavior
US20100061611A1 (en) * 2008-09-11 2010-03-11 Siemens Corporate Research, Inc. Co-registration of coronary artery computed tomography and fluoroscopic sequence
CN102577367A (zh) * 2009-09-11 2012-07-11 伊斯曼柯达公司 时移视频通信
CN102710991A (zh) * 2011-03-04 2012-10-03 索尼公司 信息处理设备、信息处理方法和程序
US20130012829A1 (en) * 2011-07-07 2013-01-10 Samsung Electronics Co., Ltd. Method for controlling display apparatus using brain wave and display apparatus thereof
US20130021373A1 (en) * 2011-07-22 2013-01-24 Vaught Benjamin I Automatic Text Scrolling On A Head-Mounted Display
CN103064188A (zh) * 2011-11-30 2013-04-24 微软公司 基于头戴式显示器的教育和指导

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056405A (zh) * 2016-05-27 2016-10-26 上海青研科技有限公司 基于虚拟现实视觉兴趣区域的广告定向推送技术
CN109791295A (zh) * 2016-07-25 2019-05-21 奇跃公司 使用增强和虚拟现实眼镜的成像修改、显示和可视化
US11327312B2 (en) 2016-07-25 2022-05-10 Magic Leap, Inc. Imaging modification, display and visualization using augmented and virtual reality eyewear
US11808943B2 (en) 2016-07-25 2023-11-07 Magic Leap, Inc. Imaging modification, display and visualization using augmented and virtual reality eyewear
US12253680B2 (en) 2016-07-25 2025-03-18 Magic Leap, Inc. Imaging modification, display and visualization using augmented and virtual reality eyewear
US12504634B2 (en) 2016-07-25 2025-12-23 Magic Leap, Inc. Imaging modification, display and visualization using augmented and virtual reality eyewear
CN110268370A (zh) * 2017-01-19 2019-09-20 惠普发展公司，有限责任合伙企业 在远程会议中的眼睛凝视角反馈
CN107817899A (zh) * 2017-11-24 2018-03-20 姜翠英 一种用户观看内容实时分析方法
CN108447129A (zh) * 2017-12-27 2018-08-24 广东鸿威国际会展集团有限公司 一种在线三维编辑方法及系统
CN108256910A (zh) * 2018-01-10 2018-07-06 京东方科技集团股份有限公司 内容推荐方法、装置及电子设备
CN109858399A (zh) * 2019-01-15 2019-06-07 上海理工大学 一种基于眼神注视的喜好判别方法及判别系统

Also Published As

Publication number Publication date
WO2014143654A1 (en) 2014-09-18
US20140282646A1 (en) 2014-09-18
US9596508B2 (en) 2017-03-14
BR112015021920B1 (pt) 2023-04-25
RU2601287C1 (ru) 2016-10-27
BR112015021920A2 (pt) 2017-07-18
CN105009598B (zh) 2019-05-10

Similar Documents

Publication Publication Date Title
CN105009598A (zh) 获取观看者观看内容时的兴趣的设备
US10593167B2 (en) Crowd-based haptics
JP6929644B2 (ja) 注視によるメディア選択及び編集のためのシステム並びに方法
US20150082167A1 (en) Intelligent device mode shifting based on activity
JP7092108B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US9054819B2 (en) System to identify a user of television services by using biometrics
US20150264432A1 (en) Selecting and presenting media programs and user states based on user states
JP2011505175A (ja) 視聴者からの生理的反応の分散収集および集中処理を提供するシステムおよび方法
JP2012141965A (ja) 非触覚ユーザインタフェース用場面プロファイル
JP2013258555A (ja) ヘッドマウントディスプレイ、生体情報管理装置、および生体情報表示方法
WO2020050186A1 (ja) 情報処理装置、情報処理方法及び記録媒体
EP2208346A1 (en) System and method for detecting viewer attention to media delivery devices
JPWO2020016970A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2006020131A (ja) 関心度測定装置および関心度測定方法
US20250269268A1 (en) Using eye-tracking / eye metrics to detect vr eye-strain-levels, then using adaptive rendering to lower levels of eye-strain
CN109240498B (zh) 交互方法、装置、穿戴式设备及存储介质
JP6336414B2 (ja) 画像集中誘導装置及びそれを用いた画像集中誘導方法
US11816886B1 (en) Apparatus, system, and method for machine perception
JP6856959B1 (ja) 情報処理装置、システム、方法及びプログラム
KR102786933B1 (ko) 초음파를 이용한 콘텐츠 기반 체감각 제공 전자 장치, 웨어러블 디바이스, 및 방법
GB2507111A (en) User-based sensing with biometric data-based processing to assess an individual's experience
US20250389372A1 (en) Automatically adjusting monitor screen angle and height
US20240205614A1 (en) Integrated camera and hearing interface device
CN118625930A (zh) 近眼显示设备的控制方法、近眼显示设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant