CN104395903A - 增强所捕捉到的数据 - Google Patents

Abstract

获取所捕捉到的数据，这些数据可包括各种类型的所捕捉或所记录的数据(例如，图像数据、音频数据、视频数据等)和/或描述捕捉设备的各个方面和/或数据被捕捉的方式的元数据。确定所捕捉到的数据中可由一个或多个替代元素替换的一个或多个元素，从所捕捉到的数据移除可替换元素，使对替代元素的链接与所捕捉到的数据相关联。也使对用来增强所捕捉到的数据的附加元素的链接与所捕捉到的数据相关联。随后可基于所捕捉到的数据以及对替代元素和附加元素的链接来构造增强的内容。

Description

增强所捕捉到的数据

背景

现在可以在各种不同类型的设备中找到数码相机，包括专用数码相机、蜂窝电话、计算机、游戏控制台等。数码相机的这种广泛可用性允许用户拍摄大量数码相片，但是仍存在问题。一个这样的问题是当前的数码相机通常是具有基本功能的简单图像捕捉设备。这可能对用户造成限制，因为用户仅能够在特定场景的时候捕捉作为快照的数码相片。

概述

提供本概述是为了以简化的形式介绍将在以下具体实施方式中进一步描述的概念选择。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。

根据一个或多个方面，获取关于环境的所捕捉到的数据。至少部分基于所捕捉到的数据，确定一个或多个附加元素，且将对该一个或多个附加元素的链接添加为与所捕捉到的数据相关联。使得能够使用该一个或多个附加元素和所捕捉到的数据的至少一部分来构造增强的内容。

根据一个或多个方面，判断照片的照相元素是否可替换，包括标识可替换的照相元素和一个或多个替代照相元素。从照片移除可替换的照相元素，并添加对该一个或多个替代照相元素的一个或多个链接，生成经压缩的照片。对与可替换照相元素或替代照相元素相关联的附加元素的链接也被添加。使得能够使用经压缩的照片以及对该一个或多个替代照相元素和该附加元素的链接来构造增强照片。

附图简述

在全部附图中，使用相同的附图标记来指示相同的特征。

图1示出根据一个或多个实施例的实现增强所捕捉到的数据的示例系统。

图2示出根据一个或多个实施例的示例数据增强系统。

图3是示出根据一个或多个实施例的用于增强所捕捉到的数据的示例过程的流程图。

图4是示出根据一个或多个实施例的用于增强所捕捉到的数据的另一示例过程的流程图。

图5示出根据一个或多个实施例的可被配置成实现增强所捕捉到的数据的示例计算设备。

详细描述

本文讨论增强所捕捉到的数据。获取所捕捉到的数据，这些数据可包括各种类型的所记录的数据(例如，图像数据、音频数据、视频数据等)和/或描述捕捉设备的各个方面和/或数据被记录的方式的元数据。确定所记录的数据中可由一个或多个替代元素来替换的一个或多个元素。从所记录的数据移除可替换元素，且使对替代元素的链接与所捕捉到的数据相关联。也使对用来增强所捕捉到的数据的附加元素的链接与所捕捉到的数据相关联。随后可基于所记录的数据以及对替代元素和附加元素的链接来构造增强的内容。

图1示出根据一个或多个实施例的实现增强所捕捉到的数据的示例系统100。系统100包括捕捉数据并将数据提供给一个或多个回放设备104的一个或多个捕捉设备102。回放设备104经由网络108与众包(crowd sourcing)数据服务106通信。网络108可以是各种不同的网络，包括因特网、局域网(LAN)、公共电话网、内联网、其他公共和/或专有网络、它们的组合等等。一个或多个捕捉设备102也可任选地经由网络108与众包数据服务106和/或一个或多个回放设备104通信。虽然被示为分开的服务，但是应该注意到，特定的设备既可以是捕捉设备102又可以是回放设备104。

捕捉设备102捕捉关于特定环境的数据，该环境也被称为与所捕捉的数据相关联的环境。与所捕捉的数据相关或为其捕捉数据的环境指的是当数据被捕捉时捕捉设备102的周围情况。环境例如可以是建筑物内、建筑外、在音乐会处、在体育比赛处、在聚会处等。每一捕捉设备102可以是能够捕捉关于环境的数据的各种不同类型的设备中的任何一个，诸如相机或录像机、平板或笔记本计算机、蜂窝或其它无线电话、游戏控制台、车用计算机、专用数据捕捉设备(除捕捉数据以外提供很少(若有)附加功能)等。捕捉设备102中的不同的设备可以是相同或不同类型的设备。

捕捉数据指的是记录关于环境的数据和/或元数据。记录关于环境的数据指的是记录或传感环境本身的特征。关于环境的各种数据中的任何一种或多种可被记录，诸如静态图像数据、视频数据、音频数据、其组合等。例如，捕捉设备102可记录特定环境的静态图像(例如，照片)、特定环境中感测到的音频等。

记录关于环境的元数据指的是记录描述捕捉设备102的各方面、数据被捕捉的方式和/或环境的其它方面的元数据。这种元数据可包括在关于环境的数据被记录时捕捉设备的视角或方向(例如，由罗盘或捕捉设备的其它定向组件确定)。这种元数据还可包括关于环境的数据被记录时捕捉设备(因此以及环境)的地理位置，诸如由全球导航卫星系统(GNSS)或捕捉设备的其它定位组件确定的地理位置。这种元数据还可包括关于环境的数据被记录的日期和/或时间。在其中捕捉设备102在关于环境的数据被设备102记录的同时(或在关于环境的数据被设备102记录的阈值时间量之内)记录元数据的情况下，该元数据也被称为与所记录的数据相关联。

在一个或多个实施例中，仅仅在接收用户同意这样做以后才执行对捕捉设备102的地理位置的记录。该用户同意可以是选择同意，其中用户采取肯定动作来请求地理位置被记录。或者，该用户同意可以是选择不同意，其中用户采取肯定动作来请求地理位置不被记录。如果该用户没有选择不进行该地理位置记录，那么它是地理位置被记录的用户默示同意。还可向用户显示隐私声明，向用户解释所记录的地理位置被如何保持机密。而且，应注意到，对设备的地理位置的记录不需要且通常不包括标识特定用户的任何个人信息。因此，尽管特定用户的地理位置可被记录，但没有对该特定用户的指示被记录。

在一个或多个实施例中，捕捉设备102记录描述捕捉设备的各个方面、数据被捕捉的方式和/或环境的其它方面的元数据，但不捕捉或记录关于环境的其它数据。例如，捕捉设备102可记录捕捉设备的视角或方向以及捕捉设备的地理位置(以及可任选的元数据被记录的日期和/或时间)，但不记录环境的任何静态图像、视频和/或音频。因此，捕捉设备102可仅记录捕捉设备的位置(以及可任选地视角或方向、日期和/或时间等)，这些可由下述的增强所捕捉到的数据的技术来使用。

回放设备104是回放使用本文所述的技术来增强的所捕捉到的数据的设备。所捕捉到的数据可通过用对替代元素或部分的链接替换所捕捉到的数据的元素或部分来被增强。所捕捉到的数据还可通过添加对一个或多个附加元素的链接来被增强。用替代元素或部分来替换元素或部分和/或添加对一个或多个附加元素的链接，使得能够或允许基于所捕捉到的数据来构造增强的内容。用于增强所捕捉到的数据的这些技术在以下更详细讨论。

每一回放设备104可以是各种不同的设备，诸如台式计算机、服务器计算机、膝上型或上网本计算机、平板或笔记本计算机、移动站、娱乐设备、通信地耦合到显示设备的机顶盒、电视机或其他显示设备、蜂窝式或其他无线电话、游戏控制台、车载计算机等等。因而，回放设备104的范围可以从具有充足存储器和处理器资源的全资源设备(如个人计算机、游戏控制台)到具有有限存储器和/或处理资源的低资源设备(如传统机顶盒、电视机)。不同的回放设备104可以是相同和/或不同类型的设备。

捕捉设备102向一个或多个回放设备104提供所捕捉到的数据和所记录的元数据。或者，所捕捉到的数据可在捕捉设备上回放，在这种情况下，捕捉设备102也是回放设备104。捕捉设备102可按照各种方式向回放设备提供所捕捉到的数据和所记录的元数据，诸如经由网络108、经由另一链路或连接(例如，有线或无线连接，诸如通用串行总线(USB)或无线USB连接)、经由可移动存储器设备(例如，从捕捉设备102移除并插入回放设备104的闪存设备)或其它存储设备等。

众包数据服务106维护被用于增强所捕捉到的数据的数据。在一个或多个实施例中，捕捉设备102所捕捉到的数据被提供给众包数据服务106。另外或替换地，用于增强所捕捉到的数据的数据可从其它源提供给服务106。例如，数据集合或库可从各个源被提供给服务106。服务106被称为众包服务是因为服务106依赖从多个源接收到的数据而非来自单个源的数据来增强所捕捉到的数据。

使用各种不同类型的设备中的一种或多种来实现众包服务106。例如，服务106可使用以上结合回放设备104讨论的各种类型的设备中的任何一种来实现。服务106可以使用相同和/或不同类型的设备中的一种或多种来实现。

图2示出根据一个或多个实施例的示例数据增强系统200。系统200包括环境捕捉模块202、链接插入模块204、众包数据模块206和回放模块208。尽管在图2中示出了特定的模块，但应认识到，可在数据增强系统200中包括附加的模块。另外，应注意，数据增强系统200中所示的多个模块的功能可被组合成单个模块，和/或数据增强系统200中所示的一个或多个模块的功能可被分解成多个模块。

模块202-208可由一个或多个设备来实现。在一个或多个实施例中，模块202-208各自由不同的设备实现。或者，可在同一设备中至少部分实现模块202-208中的两个或更多个。

环境捕捉模块202被包括在捕捉设备中，诸如图1的捕捉设备102中，并捕捉关于环境的数据。所捕捉到的数据212如上所述可以是可被捕捉的关于环境的各种类型的数据和/或元数据，被提供给链接插入模块204。链接插入模块204可被包括在与环境捕捉模块202相同的设备中，或者替换地被包括在不同的设备中。捕捉模块202可经由各种方式将所捕捉到的数据212提供给链接插入模块204，诸如当调用模块204的接口时将所捕捉到的数据212作为参数来包括，将所捕捉到的数据212存储在模块204可访问的位置中、发送电子邮件或使用其它消息收发协议来将所捕捉到的数据212传输给模块204等。

链接插入模块204标识所捕捉到的数据212中可由来自存储在数据存储210中的其它数据的元素替换的元素。对所捕捉到的数据212中模块204标识为可由来自其它数据的元素替换的元素(也被称为可替换元素)，链接插入模块204从所捕捉到的数据212移除可被替换的元素，并添加(与所捕捉到的数据212相关联)对正替换所标识的元素的替代元素的链接。可基于所捕捉到的数据的类型来标识不同类型的元素，诸如如果所捕捉到的数据212包括照相或图像数据则标识照相元素，如果所捕捉到的数据212包括音频数据则标识音频元素等等。

数据存储210维护被用于增强所捕捉到的数据的数据，且可由图1的众包数据服务106实现。包括在数据存储210中的数据可从各种源获得，诸如图1的各种捕捉设备102、其它数据集合或库等。

链接插入模块204通过标识与数据存储210中的数据相同或相似的所捕捉到的数据212的元素(也被称为部分)来确定所捕捉到的数据212中可由来自其它数据的元素替换的元素。这些元素可使用用于执行模式匹配和/或对象匹配的各种不同的公开可用和/或专用技术中的任意来标识。所捕捉到的数据212中的对象或模式可使用这样的技术来标识，且可标识数据存储210中包括相同或相似对象或模式的其它数据。例如，如果所捕捉到的数据212是照片，则照片中的建筑物或地标被模块204标识，且数据存储210中包括相同建筑物或地标的一个或多个其它照片也可被标识。

模式匹配和/或对象匹配可考虑来自被包括在所捕捉到的数据212中的所记录数据的各种因素，诸如图像中线和顶点位置、图像中的色彩、音频中的声音模式等。模式匹配和/或对象匹配还可考虑来自包括在所捕捉到的数据212中的元数据的各种因素。例如，来自元数据的这些因素可包括捕捉数据的设备的地理位置、设备捕捉数据时设备的视角或方向、数据被捕捉时的日期和/或时间等。

对所捕捉的数据212中的链接插入模块204标识为可由来自其它数据的元素替换的元素，链接插入模块204从所捕捉到的数据212移除可被替换的所标识的元素。这种可替换元素可按照不同的方式从所捕捉到的数据212移除。在一个或多个实施例中，用于所标识的元素的数据用某种其它数据(通常可用高压缩比率来压缩)替换，诸如一连串全“0”比特值或全“1”比特值。例如，如果照片(所捕捉到的数据212)的一元素被移除，则在用于照片的数据中，用于该元素中所包括的像素的数据可用值“0”或“1”替换。在其它实施例中，标识所移除的元素及其在数据中的相应位置的表或其它记录可被维护，且用于所标识的元素的数据可简单地被删除。例如，如果照片(所捕捉到的数据212)的一元素被移除，则标识照片中的哪些像素对应于该元素的表或其它记录可被维护，且在用于该照片的数据中，用于对应于该元素的像素的数据可简单地被删除。

对所捕捉到的数据212中链接插入模块204移除的每一元素，链接插入模块204将对正替换所标识的元素的替代元素的链接添加为与所捕捉到的数据212相关联。对替代元素的链接包括标识替代元素被存储在哪里和/或可如何检索替代元素的各种信息，允许替代元素被随后检索，如下更详细讨论。

在一个或多个实施例中，替代元素被存储为其自己的个别数据(例如，其自己的文件)，且链接指示该个别数据被存储在数据存储210中的何处。对个别数据被存储在何处的指示可采用不同的形式，诸如文件路径名、统一资源指示符(URI)、数据库中的位置等。个别数据可用不同方式生成，诸如由另一设备或服务、由链接插入模块204(例如，响应于标识可由替代元素替换的元素，模块204可将该替代元素保存为单独的文件)。

在其它实施例中，替代元素被存储为其它数据的一部分(例如，作为存储其它数据的文件的一部分被包括)，且链接指示该其它数据被存储在数据存储210中的何处以及该替代元素被存储在该其它数据中的何处两者。对该其它数据被存储在何处的指示可采用不同的形式，诸如文件路径名、URI、数据库中的位置等。对该替代元素被存储在其它数据中的何处的指示可采用不同的形式，诸如特定数据范围、与特定像素相关联的数据等。

指示还可记录可替换元素位于所捕捉到的数据212中的何处。对该可替换元素被存储在所捕捉到的数据212中的何处的指示可采用不同的形式，诸如特定数据范围、与特定像素相关联的数据等。维护对可替换元素位于所捕捉到的数据212中的何处的这一指示允许当生成增强的内容时添加替代元素，如下更详细讨论。对可替换元素在所捕捉到的数据212中的何处的指示可用不同方式来存储，诸如存储为对替代元素的链接的一部分、存储在与所捕捉到的数据212相关联的附加数据中等。

应认识到，用于标识所捕捉到的数据212中可用替代元素替换的元素的模式匹配和/或对象匹配技术可选择相似于所捕捉到的数据212中的所标识的元素的替代元素。相似于所标识的元素的替代元素指的是与所标识的元素不完全相同、但与所标识的元素的区别小于阈值区别的元素。这一阈值区别可按照不同方式确定，诸如具有完全相同的至少阈值部分(例如，照片中至少阈值数目的像素是相同值的)、具有在所标识的元素的阈值量内的至少阈值部分(例如，照片中至少阈值数目的像素彼此处于阈值量内)、具有彼此处于阈值内的所生成的分数、等等。

在一个或多个实施例中，在其中可替换元素和替代元素不完全相同的情况下，链接插入模块204还记录指示可替换元素和替代元素之间的差别的改变数据。这种改变数据可按照不同方式记录。例如，如果所捕捉到的数据212是照片，则改变数据可以是可替换元素和替代元素的相应像素的值的差。这种改变数据可按照不同的方式存储，诸如存储为至替代元素的链接的一部分、存储在与所捕捉到的数据212相关联的附加数据中等等。

或者，在其中可替换元素和替代元素不完全相同的情况下，链接插入模块204不记录关于可替换元素和替代元素之间的差异的改变数据。因此，链接插入模块204可用图像的元素的其它视图(例如，其中地标上的涂鸦被移除的视图、其中站在地标前的人被移除的视图等)来替换该元素。用户界面可任选地由链接插入模块204呈现，允许模块204接收标识元素的多个可能视图中的哪些要被用作可替换元素的替代元素的用户输入。

链接插入模块204向回放模块208提供链接的数据214。链接的数据214是移除了可替换元素的所捕捉到的数据212。在一个或多个实施例中，链接的数据214还包括(例如，作为相关联的元数据)对替换可替换元素的替代元素的链接，且可任选地包括与所捕捉到的数据212相关联的其它附加数据。因此，在这样的实施例中，链接的数据214包括所捕捉到的数据212(除去移除的元素)以及对替代元素的链接(以及可任选地与所捕捉到的数据212相关联的其它附加数据)。

或者，代替在链接的数据214中包括对替代元素和/或与所捕捉到的数据212相关联的其它附加数据的链接，链接的数据214和链接和/或与所捕捉到的数据相关联的其它附加数据之间的关联可按照其它方式维护。在一个或多个实施例中，链接和/或与所捕捉到的数据212相关联的其它附加数据被维护在回放模块208可访问的表或其它记录中。链接和/或与所捕捉到的数据212相关联的其它附加数据可按照不同方式被标识为与所捕捉到的数据212相关联，诸如基于所捕捉到的数据212的标识符(例如，由捕捉设备分配、基于所捕捉到的数据212本身生成(例如，基于所捕捉到的数据212生成的散列值)等)。链接和/或与所捕捉到的数据212相关联的其它附加数据可被存储在数据存储210中，或可替换地作为另一服务或模块的一部分，且可被访问以生成增强内容，如以下更详细讨论。

应认识到，链接插入模块204可标识所捕捉到的数据212中可用不同替代元素替换的多个元素。在这样的情形下，对多个所标识的元素中的每一个，模块204从所捕捉到的数据212移除所标识的元素，并添加对正替换所标识的该元素的替代元素的链接。

还应认识到，所链接到的替代元素可具有与被替换的元素不同的分辨率。例如，如果所捕捉到的数据212是具有特定分辨率的照片，则替代元素可被包括在具有更高分辨率(例如，每平方英寸更多像素)的照片中。因此，替代元素可具有在被替换的所标识元素中不可用的附加细节。这一附加细节可例如允许用户在随后查看增强内容时在替代元素上放大，并看到在被替换的所标识元素中不可用的细节(例如，文本、人、插图等)。

链接插入模块204还可向链接的数据214添加对一个或多个附加元素的链接。在一个或多个实施例中，模块204除了移除可替换元素和添加对替代元素的链接以外还添加对一个或多个附加元素的链接。在其它实施例中，模块204添加对一个或多个附加元素的链接而非移除可替换元素和添加对替代元素的链接。因此，在一些实施例中，系统200不用替代元素替换所捕捉到的数据的元素。

对一个或多个附加元素的链接可以是对数据存储210中的数据的链接，且这些链接可标识附加元素被存储在何处和/或附加元素可如何按照各种方式检索，相似于上述的替代元素的链接。这些对一个或多个附加元素的链接可被包括为与链接的数据214相关联的元数据，或者以其它方式与链接的数据214相关联，相似于上述对替代元素的链接。

对一个或多个附加元素的链接通过向所捕捉到的数据212添加各种类型的数据来增强所捕捉到的数据。一个或多个附加元素可以是与所捕捉到的数据212类型相同的数据和/或与所捕捉到的数据212类型不同的数据。

在一个或多个实施例中，一个或多个附加元素包括与所捕捉到的数据212类型相同的数据的元素。例如，如果所捕捉到的数据212是图像(照片)，则一个或多个附加元素包括图像数据。链接插入模块204可按照各种方式确定要包括的附加元素。在一个或多个实施例中，模块204使用各种模式匹配和/或对象匹配技术来标识所捕捉到的数据212(和/或对与所捕捉到的数据212相关联的替代元素的链接)中与数据存储210中的数据相同或相似的元素。这种对与数据存储210中的数据相同或相似的元素的标识可按照与如上所述标识所捕捉到的数据中可由来自其它其它数据的元素替换的元素的相同方式来执行。因为附加元素是基于所捕捉到的元素和/或对与所捕捉到的数据212相关联的替代元素的链接标识的，这些附加元素也被称为与所捕捉到的数据的元素和/或替代元素相关联。

类型相同的附加元素可以是包括比所标识的元素更多数据或细节的元素。例如，如果所捕捉到的数据212是包括特定地标作为所标识的元素的照片，则附加元素可以是提供关于同一地标的附加细节的照片。链接插入模块204可按照不同方式确定包括比所标识的元素更多数据或细节的附加元素。在一个或多个实施例中，模块204确定以高于所标识的元素的分辨率(例如，对于图像数据的每平方英寸更多像素、对音频数据的更高采样频率等)捕捉的数据中所包括的附加元素包括比所标识的元素更多的数据或细节。在其它实施例中，模块204确定所标识的元素和附加元素两者的元素分辨率。元素的分辨率指的是有多少数据或细节被包括在元素中(例如，多少像素、数据字节数目等)。模块204确定如果附加元素具有高于所标识的元素的元素分辨率，则附加元素包括比所标识的元素更多的数据或细节。

应认识到，链接插入模块204可确定具有比同一所标识的元素更多的数据或细节的多个附加元素。在这样的情况下，模块204可在链接的数据214中包括对多个附加元素之一的链接，或对多个附加元素中的多个元素(例如，每一个元素)的链接。

链接插入模块204可另外或替换地按照其它方式确定要包括地与所捕捉到的数据212类型相同的数据的一个或多个附加元素。在一个或多个附加实施例中，链接插入模块204基于所捕捉到的数据212的元数据确定要包括在链接的数据214中的一个或多个附加元素。这一元数据可包括各种信息，诸如上述捕捉设备的地理位置、捕捉设备的视角或方向以及数据被捕捉的日期和/或时间。数据存储210中包括的数据还包括相关联的元数据，它可包括与所捕捉到的数据212相关联的元数据相同的信息。例如，数据存储210中包括的数据可具有标识捕捉数据的设备在数据被捕捉时的地理位置、捕捉数据的设备在数据被捕捉时的视角或方向、数据被捕捉的日期和/或时间等的相关联的元数据。

链接插入模块204标识数据存储210中具有匹配所捕捉到的数据212的元数据的相关联的元数据的数据。如果元数据中的信息相同或彼此在阈值量之内，则元数据匹配。例如，如果所捕捉到的数据212的元数据包括捕捉设备的地理位置，且与数据存储210中的数据相关联的元数据包括地理位置，则如果两个元数据中的地理位置相同或彼此在阈值距离(例如，10米、50米等)之内，则这两个元数据匹配。作为又一示例，如果所捕捉到的数据212的元数据还包括捕捉设备的方向，且与数据存储210中的数据相关联的元数据包括方向，则如果两个元数据中的地理位置相同或彼此在阈值距离之内且方向相同或彼此在阈值量(例如，3度、10度等)之内，则这两个元数据匹配。

因此，链接插入模块204可标识数据存储210中增强所捕捉到的数据212的附加元素，即使该附加元素不是与所捕捉到的数据212中的元素相同或相似的元素。这些附加元素例如可扩展图像或视频的视野、扩展所捕捉到的音频等。例如，如果所捕捉到的数据212是在特定地理位置处且在一天中特定的时间捕捉到的图像，其中捕捉设备指向特定方向，则附加元素可以是不包括在所捕捉到的数据212中的、但从该同一(或附近)地理位置捕捉、由指向相同(或相似)方向的设备捕捉、以及在一天中相同(或相似)时间捕捉的环境的附加部分(例如，当捕捉图像时捕捉设备的视野之外的人、建筑物、场景等)。因此，即使所捕捉到的数据212不包括环境的这些附加部分，这些部分仍被包括在链接的数据214中。

在一个或多个实施例中，一个或多个附加元素包括与所捕捉到的数据212类型不同的数据的元素。例如，如果所捕捉到的数据212是图像(照片)，则一个或多个附加元素可包括音频数据、视频数据等。这些不同类型的数据可以是可由捕捉设备(例如，图1的捕捉设备102)捕捉的任何类型的数据或可替换地其它类型的数据。例如，一个或多个附加元素可以是文本类型的数据(例如，百科全书条目或其它书面描写)、绘图类型的数据等。一个或多个附加元素还可包括除捕捉设备所支持的那些数据类型以外的类型的数据。例如，如果所捕捉到的数据212由不记录音频数据的设备捕捉，则一个或多个附加元素可包括音频数据。

链接插入模块204可按照各种方式确定要包括在链接的数据214中的附加元素。在一个或多个实施例中，链接插入模块24基于与所捕捉到的数据212相关联的元数据和与数据存储210中的数据相关联的元数据确定要包括在链接的数据214中的不同数据类型的附加元素。链接插入模块204标识数据存储210中具有和与所捕捉到的数据212相关联的元数据相匹配的相关联元数据的数据，类似于以上关于确定与所捕捉到的数据212相同数据类型的附加元素，尽管附加元素是与所捕捉到的数据212不同类型的数据。

因此，链接插入模块204可通过提供未被包括在所捕捉到的数据212中的数据的类型来标识数据存储210中增强所捕捉到的数据212的附加元素。例如，如果所捕捉到的数据212是在特定地理位置处并在特定一天的特定时间捕捉的图像，则附加元素可以是未被包括在所捕捉到的数据212中、但是在同一天的相同(或相似)时间从该同一(或附近)地理位置捕捉到的该环境的附加类型的数据(例如，音频数据)。因此，即使所捕捉到的数据212不包括这些附加类型的数据，这些数据仍被包括在链接的数据214中。

链接插入模块204还可按照除使用所捕捉到的数据212的元数据以外或代替使用所捕捉到的数据212的元数据的其它方式来确定要包括在链接的数据214中的不同数据类型的附加元素。在一个或多个实施例中，链接插入模块24基于所捕捉到的数据212(或对与所捕捉到的数据212相关联的替代元素的链接)确定要包括在链接的数据214中的不同数据类型的附加元素。例如，模块204可使用各种模式匹配和/或对象匹配技术来标识所捕捉到的数据212(或对替代元素的链接)的特定元素，诸如特定地标、特定个体等。这些技术还可用于标识各种大体环境类型，诸如音乐会、体育比赛等。诸如基于数据本身或基于对包括在与数据存储210中的数据相关联的元数据中的所标识的元素或大体环境类型的指示，还可标识用于数据存储210中的数据的所标识的元素或大体环境类型。因为附加元素是基于所捕捉到的元素和/或对与所捕捉到的数据212相关联的替代元素的链接标识的，这些附加元素也被称为与所捕捉到的数据和/或替代元素相关联。

这些各种模式匹配和/或对象匹配技术可用于(基于数据存储210中的数据本身或与数据存储210中的数据相关联的元数据)标识数据存储210中的数据的特定元素，且链接插入模块204可标识数据存储210中包括相同特定元素的数据。例如，模块204可确定所捕捉到的数据212的特定环境类型(例如，体育比赛的图像数据)，并将数据存储210中具有该相同环境类型的其它类型的数据(例如，体育比赛的音频数据)标识为附加元素。作为另一示例，模块204可确定所捕捉到的数据212(例如，图像和/或视频数据)的特定地标，并将数据存储210中具有该相同特定地标的其它类型的数据(例如，文本描述)标识为附加元素。

应认识到，由链接插入模块204确定的附加元素可以是其它数据的各部分或其它数据整体。例如，所捕捉到的数据212可以是图像或视频，附加元素可以是其它图像、视频和/或音频的各部分，或者替换地可以是其它图像、视频和/或音频整体。附加元素可由模块204按照上述不同方式、基于与所捕捉到的数据212相关联的元数据、所捕捉到的数据212本身和/或替代元素来确定。例如，模块204可将所捕捉到的数据212被捕捉的时间之前阈值时间量(例如，15秒)内的一个或多个图像标识为附加数据。

还应认识到，环境捕捉模块202可捕捉描述捕捉设备的各个方面(例如，设备的地理位置、设备的方向或视角等)的元数据，但不记录关于环境的任何其它数据(例如，不捕捉图像、不捕捉音频、不捕捉视频等)。捕捉模块202因此可被包括在没有用于感测环境的特征的环境传感器(例如，没有记录环境中的图像或音频的传感器)的设备中，或被包括在记录元数据但不使用用于感测环境的特征的环境传感器来记录关于环境的数据的设备中。然而，基于元数据，链接插入模块204可确定一个或多个附加元素，从而将图像、音频、视频等添加到链接的数据214。因此，捕捉设备可不包括图像捕捉组件、不包括音频捕捉组件等，而仅记录描述捕捉设备的各方面的元数据(例如，设备的地理位置和方向或视角)。如上所述，数据存储210中的图像数据和/或音频数据可基于元数据被标识为附加元素，且对附加元素的链接可由模块204添加到链接的数据214。

可能会出现所捕捉到的数据212包括多种类型的数据(例如，视频数据和音频数据)的情况。链接插入模块204可任选地通过确定替代元素和/或附加元素来替换这些类型中一种类型的数据。例如，一种类型的数据(例如，图像数据或视频数据)可被用于为所捕捉到的数据标识特定环境类型，且可标识具有相同环境类型的附加元素(例如，音频数据)。模块204可用对附加元素的链接来替换所捕捉到的数据212中相应类型的数据。因此，例如，所捕捉到的数据212中这一种类型的数据(例如，图像数据或视频数据)可保留在链接的数据214中，而所捕捉到的数据212中其它类型的数据(例如，音频数据)可用对附加元素的链接来替换。

链接的数据214被提供给回放模块208。链接插入模块204可经由各种方式将链接的数据214提供给回放模块208，诸如当调用模块208的接口时将数据214作为参数来包括，将数据214存储在模块208可访问的位置中、发送电子邮件或使用其它消息收发协议来将数据214传输给模块208等。回放模块208向众包数据模块206请求在数据214中链接的元素。如上所述，由对元素的链接来标识替代(和/或附加元素)被存储在何处和/或替代(和/或附加元素)可如何被检索。众包数据模块206从数据存储210获取对元素的链接，并将对元素的链接提供给回放模块208作为增强数据216。

回放模块208接收增强数据216，并将增强数据216与链接的数据214组合以生成或构造增强的内容218。数据214和216可基于增强数据216中包括的元素的类型按照不同方式来被组合。例如，替代元素可(在可替换元素在所捕捉到的数据212中的位置)被添加到数据214。作为另一示例，附加元素可被添加到数据214。例如，照片可被增强以包括不被包括在所捕捉到的数据212中的附加部分，音频数据可被添加到图像数据，所捕捉到的音频数据可用其它音频数据替换，所捕捉到的不具有关于环境的其它所捕捉到的数据的元数据可被增强以包括音频和/或视频数据等等。回放模块208可回放(例如，显示或以其它方式呈现)增强的内容218，或替换地对增强的内容218采取其它动作(例如，将增强的内容218存储在特定存储设备上、将增强的内容218传送到另一设备或模块等)。

图3是示出了根据一个或多个实施例的用于增强所捕捉到的数据的示例过程300的流程图。过程300是由一个或多个模块，诸如图2的链接插入模块204实现的方法或方案，并可以以软件、固件、硬件或其组合来实现。过程300被示为一组动作，并且不仅限于所示出的用于执行各种动作的操作的顺序。过程300是用于增强所捕捉到的数据的示例过程；参考不同附图，此处包括了用于增强所捕捉到的数据的附加讨论。

在过程300中，获取关于环境的所捕捉到的数据(动作302)。所捕捉到的数据可按照各种方式被捕捉或被提供给实现过程300的一个或多个模块，如上所述。

确定一个或多个附加元素(动作304)。如上所述，这一个或多个附加元素基于所捕捉到的数据来被确定。可任选地接收促进确定一个或多个附加元素的用户输入(例如，指示用来标识附加元素的因素或技术的用户输入、指示附加元素的数据的类型的用户输入、用户对多个附加元素中一个或多个附加元素的选择等)。

对一个或多个附加元素的一个或多个链接可被添加为与所捕捉到的数据相关联(动作306)。如上所述，可按照各种不同的方式添加这一个或多个链接。

使得能够使用该一个或多个附加元素和所捕捉到的数据的至少一部分来构造增强的内容(动作308)。对一个或多个附加元素的链接允许构造增强的内容。如上所述，这种构造包括组合一个或多个附加元素和所捕捉到的数据的至少一部分。

图4是示出根据一个或多个实施例的用于增强所捕捉到的数据的另一示例过程400的流程图。过程400是由一个或多个模块，诸如图2的链接插入模块204实现的方法或方案，并可以以软件、固件、硬件或其组合来实现。过程400被示为一组动作，并且不仅限于所示出的用于执行各种动作的操作的顺序。过程400是用于增强所捕捉到的数据的示例过程；参考不同附图，此处包括了增强所捕捉到的数据的附加讨论。

在过程400中，获取关于环境的所捕捉到的数据(动作402)。所捕捉到的数据可被捕捉或被提供给按照各种方式实现过程400的一个或多个模块，如上所述。

作出所捕捉到的数据中是否有一个或多个元素可用一个或多个替代元素替换的判断(动作404)。如上所述，这种判断包括标识一个或多个可替换元素和一个或多个替代元素。

从所捕捉到的数据移除一个或多个所标识的、可替换元素(动作406)以生成经压缩的照片。如上所述，这些可替换元素可按照不同方式被移除。

添加对一个或多个替代元素的一个或多个链接(动作408)。如上所述，这一个或多个链接被添加为与所捕捉到的数据相关联，并可按照各种不同方式添加。可任选地接收促进确定一个或多个替代元素的用户输入(例如，指示要用来标识替代元素的因素或技术的用户输入、用户对多个替代元素之一的选择等)。

还确定一个或多个附加元素(动作410)。如上所述，这一个或多个附加元素基于所捕捉到的数据(和/或替代元素)来确定，并与可替换元素和/或替代元素相关联。可任选地接收促进确定一个或多个附加元素的用户输入(例如，指示用来标识附加元素的因素或技术的用户输入、指示附加元素的数据的类型的用户输入、用户对多个附加元素中一个或多个元素的选择等)。

添加对一个或多个附加元素的一个或多个链接(动作412)。如上所述，这一个或多个链接被添加为与所捕捉到的数据相关联，并可按照各种不同方式添加。照片例如因从照片移除了可替换元素、且对增强照片的附加元素的链接被链接而非附加元素本身被包括在照片中而被压缩。

使得能够使用经压缩的所捕捉到的数据和对一个或多个替代和附加元素的链接来构造增强的内容(动作414)。对一个或多个替代元素和/或一个或多个附加元素的链接允许构造增强的内容。如上所述，这种构造包括组合一个或多个附加元素、替代元素和经压缩的所捕捉到的数据。

文本所述的增强所捕捉到的数据的技术支持各种使用情景。例如，用户可拍摄各种地标、艺术品、风景等的相片。其相片的各部分然后可用同一地标、艺术品、风景等的其它更高分辨率的相片的各部分来替换，向用户提供比他或她所拍摄的分辨率高(且可能比他或她的相机能够拍摄的分辨率高)的相片。用户因此能够看到附加的细节，可任选地能够在相片的各部分中放大以看到否则在他或她所拍摄的相片中不可见的人、作品、设计等。音频数据也可被添加到相片，允许在相片随后被显示时回放音频。因此，可向用户呈现与该地标、艺术品、风景等对应的音频数据，即使用户没有随他或她的相片捕捉这样的音频。

尽管参考所捕捉到的数据是照片而在本文中包括了各种讨论，但应认识到，本文所讨论的技术也可用于各种其它类型的所捕捉到的数据，诸如视频数据。视频数据可被视为为帧的序列或阵列，每一帧被对待为本文所述的一照片。本文所讨论的技术可被应用于序列或阵列中的帧中的多个(例如，每一个帧)。对视频中的特定帧，一个或多个替代元素可以是来自其它照片或视频的元素和/或来自同一视频的其它帧中的元素。因此，代替基于关键帧和关键帧和视频中的后续帧之间的差异来压缩视频，视频可通过用对视频中其它帧中或其它地方的替代元素的链接来替换视频的各帧中的元素来被压缩。

本文讨论了由各模块执行的诸如传递、接收、提供、记录、存储、生成、获取等各个动作。本文讨论的执行某一动作的特定模块包括该特定模块本身执行该动作或另选地该特定模块调用或与其他方式访问执行该动作的另一组件或模块(或与该特定模块联合执行该动作)。因而，执行某一动作的特定模块包括该特定模块本身执行该动作或该特定模块调用或以其他方式访问的另一模块执行该动作。

图5示出根据一个或多个实施例的可被配置成实现增强所捕捉到的数据的示例计算设备500。计算设备500可以是例如图1的计算设备102或104，实现图1的众包数据服务106的至少一部分，实现图2的一个或多个模块202-208等。

所示的计算设备500包括处理系统502、一个或多个计算机可读介质504、以及彼此通信地耦合的一个或多个I/O接口506。尽管没有示出，计算设备500可进一步包括系统总线或将各种组件彼此耦合的其它数据和命令传输系统。系统总线可包括不同总线结构中的任一个或组合，诸如存储器总线或存储器控制器、外围总线、通用串行总线、和/或利用各种总线架构中的任一种的处理器或局部总线。也构想了各种其它示例，诸如控制和数据线。

处理系统502表示使用硬件执行一个或多个操作的功能。因此，处理系统502被示为包括可被配置为处理器、功能块等的硬件元件508。这可包括在作为专用集成电路或使用一个或多个半导体构成的其它逻辑设备的硬件中的实现。硬件元件508不受形成它们的材料或者其中使用的处理机制的限制。例如，处理器可以由半导体和/或晶体管(例如，电子集成电路(IC))构成。在这一上下文中，处理器可执行指令可以是可电子地执行的指令。

计算机可读介质504被示为包括存储器/存储510。存储器/存储510表示与一个或多个计算机可读介质相关联的存储器/存储容量。存储器/存储510可包括易失性介质(诸如随机存取存储器(RAM))和/或非易失性介质(诸如只读存储器(ROM)、闪存、光盘、磁盘等等)。存储器/存储510可包括固定介质(例如，RAM、ROM、固定硬盘驱动器等)以及可移动介质(例如闪存、可移动硬盘驱动器、光盘等等)。计算机可读介质504可以下面进一步描述的各种方式来配置。

输入/输出接口506表示允许用户向计算设备500输入命令和信息的功能，并且还允许使用各种输入/输出设备向用户和/或其他组件或设备呈现信息。输入设备的示例包括键盘、光标控制设备(例如，鼠标)、麦克风(例如，用于语音或其它可听数据如)、扫描仪、触摸功能(例如，电容性的或被配置来检测物理触摸的其它传感器)、相机(例如，可采用可见或诸如红外频率的不可见波长来将不涉及触摸的移动检测为姿势)，等等。输出设备的示例包括显示设备(例如，监视器或投影仪)、扬声器、打印机、网卡、触觉响应设备，等等。因此，计算设备500可以按照各种方式来配置以支持用户交互。

计算设备500还包括所捕捉到的数据增强系统520。所捕捉到的数据的增强系统520提供用于增强所捕捉到的数据的各种功能，包括捕捉数据、插入链接、构造增强的内容用于回放和/或提供众包数据，如上所述。所捕捉到的数据的增强系统520可以例如是图2的一个或多个模块202-208。

此处可以在软件、硬件元件或程序模块的一般上下文中描述各种技术。一般而言，这种模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元件、组件、数据结构等等。本文使用的术语“模块”、“功能”和“组件”一般表示软件、固件、硬件或其组合。本文描述的技术的各个特征是平台无关的，从而意味着该技术可在具有各种处理器的各种商用计算平台上实现。

所描述的模块和技术的实现可以存储在某种形式的计算机可读介质上或通过某种形式的计算机可读介质传输。计算机可读介质可包括可由计算设备500访问的各种介质。作为示例而非限制，计算机可读介质可包括“计算机可读存储介质”和“计算机可读信号介质”。

计算机可读存储介质可以指相对于仅信号传输、载波、或信号本身而言，启用对信息的持久和/或非瞬态存储的介质和/或设备。由此，计算机可读存储介质是指非信号承载介质。计算机可读存储介质包括以适合于存储如计算机可读指令、数据结构、程序模块、逻辑元件/电路、或其他数据等的方法或技术来实现的诸如易失性和非易失性、可移动和不可移动介质和/或存储设备的硬件。该计算机可读存储介质的示例包括但不限于，RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光存储、硬盘、磁带盒、磁带、磁盘存储或其它磁存储设备、或者可适用于存储所需信息并可由计算机访问的其它存储设备、有形介质或制品。

“计算机可读信号介质”可以指被配置为诸如经由网络向计算设备500的硬件传输指令的信号承载介质。信号介质通常用诸如载波、数据信号、或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其他数据。信号介质还包括任何信息传送介质。术语“已调制数据信号”是指使得以在信号中编码信息的方式来设置或改变其一个或多个特性的信号。作为示例而非限制，通信介质包括有线介质，诸如有线网络或直接线路连接，以及无线介质，诸如声学、RF、红外线和其他无线介质。

如前面所述描述的，硬件元件508和计算机可读介质504是表示以硬件形式实现的指令、模块、可编程设备逻辑和/或所固定设备逻辑，其可被某些实施例采用来实现此处描述的技术的至少某些方面。硬件元件508可包括集成电路或片上系统、应用专用集成电路(ASIC)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)，和用硅或其它硬件设备实现的组件。在此上下文中，硬件元件可以充当处理设备，该处理设备执行由该硬件元件以及用于存储供执行的指令的硬件设备(例如前面描述的计算机可读存储介质)所体现的指令、模块和/或逻辑所定义的程序任务。

前面的组合也可被采用来实现在此描述的各种技术。因此，软件、硬件，或模块和其他程序模块可被实现为一个或多个指令和/或在某种形式的计算机可读存储介质上和/或由一个或多个硬件元件508实现的逻辑。计算设备500可被配置成实现特定指令和/或对应于软件和/或硬件模块的功能。因此，可由计算设备500执行为软件的模块的实现可至少部分以硬件完成，例如，通过使用计算机可读存储介质和/或处理系统的硬件元件508。指令和/或功能可以是一个或多个制品(例如，一个或多个计算设备500和/或处理系统502)可执行/可操作的，以实现此处描述的技术、模块，以及示例。

尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims (10)

1.一个或多个其上存储有多个指令的计算机存储介质，所述指令在由设备的一个或多个处理器执行时使得所述一个或多个处理器执行以下动作，包括：

获取关于环境的所捕捉到的数据；

至少部分地基于所捕捉的数据，确定一个或多个附加元素：

将对所述一个或多个附加元素的一个或多个链接添加为与所捕捉到的数据相关联；以及

使得能够使用所述一个或多个附加元素和所捕捉到的数据的至少一部分来构造增强的内容。

2.如权利要求1所述的一个或多个计算机存储介质，其特征在于，所捕捉到的数据包括描述当所捕捉到的数据被一设备捕捉时所述设备的地理位置的元数据，但所捕捉到的数据不包括在所述地理位置处捕捉的图像或音频。

3.如权利要求2所述的一个或多个计算机存储介质，其特征在于，所述一个或多个附加元素包括由另一设备在所述地理位置处捕捉到的图像。

4.如权利要求1所述的一个或多个计算机可读存储介质，其特征在于，还包括：

标识所捕捉到的数据中的一个或多个元素；以及

所述确定包括基于所标识的一个或多个元素确定所述一个或多个附加元素。

5.一种用于增强的照片的压缩方案，包括：

确定一照片是否有照相元素是可替换的，包括标识所述可替换的照相元素以及一个或多个替代照相元素；

移除所述可替换的照相元素以生成经压缩的照片；

添加对所述一个或多个替代照相元素的一个或多个链接；

添加对与所述可替换的照相元素或所述替代照相元素相关联的附加元素的链接；以及

使得能够使用所述经压缩的照片以及对所述一个或多个替代照相元素和所述附加元素的链接来构造所述增强的照片。

6.如权利要求5所述的压缩方案，其特征在于，所述确定包括：

标识所述可替换照的相元素；以及

响应于所述可替换的照相元素与替代照相元素相同或具有小于阈值的差异，确定所述可替换的照相元素是可替换的。

7.如权利要求5所述的压缩方案，其特征在于，所述添加对所述一个或多个替代照相元素的一个或多个链接还包括，对每一个可替换的元素，存储指示所述可替换的照相元素和所述替代照相元素之间的差异的改变数据。

8.如权利要求5所述的压缩方案，其特征在于，所述替代照相元素包括比所述可替换的照相元素高的分辨率。

9.如权利要求5所述的压缩方案，其特征在于，所述附加元素扩展所述照片的视野。

10.如权利要求5所述的压缩方案，其特征在于，所述附加元素包括与图像数据类型不同的数据。