[go: up one dir, main page]

CN107810505A - 实时图像捕获参数的机器学习 - Google Patents

实时图像捕获参数的机器学习 Download PDF

Info

Publication number
CN107810505A
CN107810505A CN201680019143.4A CN201680019143A CN107810505A CN 107810505 A CN107810505 A CN 107810505A CN 201680019143 A CN201680019143 A CN 201680019143A CN 107810505 A CN107810505 A CN 107810505A
Authority
CN
China
Prior art keywords
parameter
image
candidate
image capture
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680019143.4A
Other languages
English (en)
Other versions
CN107810505B (zh
Inventor
E.查洛姆
D.鲁多伊
N.莱维
H.埃萨基桑卡兰
J.尼卡南
J-M.马塔
G.沃洛诺夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Kia Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN107810505A publication Critical patent/CN107810505A/zh
Application granted granted Critical
Publication of CN107810505B publication Critical patent/CN107810505B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211Selection of the most significant subset of features
    • G06F18/2113Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

方法、设备和系统可规定通过以下步骤操作机器学习装置:获得训练图像数据;关于图像捕获装置的一个或多个实时参数进行训练图像数据的离线预测分析;以及基于离线预测分析生成一个或多个参数预测模型。另外,方法、设备和系统可规定通过以下步骤操作图像捕获装置:获得与图像捕获装置相关联的候选图像;确定候选图像对应于在参数预测模型中表示的特定类型的场景;以及至少部分地基于与特定类型的场景相关联的一个或多个参数值调整图像捕获装置的一个或多个实时参数。

Description

实时图像捕获参数的机器学习
对相关申请的交叉引用
本申请主张对2015年3月27日提交的美国非临时专利申请号14/670642的优先权权益。
背景技术
摄像机可利用自动曝光模式来确定对于图像的正确曝光,而无需末端用户(例如,拍摄者)输入。更具体来说,常规自动曝光解决方案可尝试确定使得最终图像能够满足亮度目标的曝光参数值,诸如曝光时间、模拟增益、数字增益等。由于与实时摄像机操作相关联的计时约束和处理限制,摄像机的制造商可固定亮度目标。但是,从视觉的角度,不同类型的场景可能不具有相同的最佳亮度等级。因此,对于一种类型的场景的固定亮度目标可能会对另一类型的场景呈现次优结果。另一方面,对于不同类型的场景将不同亮度目标硬编码到摄像机中可能会涉及耗时且高成本的代码编写、编译和制造活动。
附图说明
通过阅读以下说明书和随附权利要求以及通过参考以下的图,实施例的各种优点将对于本领域技术人员而言变得显而易见,图中:
图1A是根据一实施例用于确定实时图像捕获参数的机器学习途径的示例的框图;
图1B是根据一实施例的亮度目标确定的示例的图示;
图2是根据一实施例操作机器学习装置的方法的示例的流程图;
图3是根据一实施例的机器学习装置的示例的框图;
图4是根据一实施例操作图像捕获装置的方法的示例的流程图;
图5是根据一实施例的图像捕获装置的示例的框图;
图6是根据一实施例的多层感知器(MLP)神经网络的信号节点的示例的图示;
图7是根据一实施例具有部署在多个组件中的目标覆写设备的图像捕获装置的示例的框图;
图8是根据一实施例具有导航控制器的系统的示例的框图;以及
图9是根据一实施例具有小形状因子的系统的示例的框图。
具体实施方式
图1A示出用于确定实时图像捕获参数的机器学习途径。在所示示例中,机器学习装置10(例如,服务器、桌面型计算机、笔记本型计算机、平板计算机、可变形平板等)利用训练图像数据12来生成表示包含在训练图像数据12中的各种类型的场景的预测模型14。更具体来说,训练图像数据12可包括特定类型的场景的参考图像16以及与图像捕获装置20(例如,数码摄像机、智能电话、可变形平板、平板计算机等)相关联的候选图像18。所示参考图像16具有最佳的亮度、聚焦和/或白平衡特性,而候选图像18可包含由图像捕获装置在没有关于亮度、聚焦、白平衡等进行增强的情况下生成的原始图像。正如将更详细地论述的,机器学习装置10可关于一个或多个实时参数(例如,曝光控制亮度参数、色调映射亮度参数、聚焦参数、白平衡参数等)进行训练图像数据12的离线预测分析,其中基于离线预测分析生成所示预测模型14。
此外,所示图像捕获装置20检测随后图像何时对应于在预测模型14中反映的特定类型的场景,并至少部分地基于与特定类型的场景相关联的预测模型14中的参数值调整图像捕获装置20的实时参数(例如,曝光控制亮度参数、色调映射亮度参数、聚焦参数、白平衡参数等)。例如,预测模型14可包括对于特定类型的高动态范围场景(诸如,例如其中人站在前景中的明亮天空)的曝光控制亮度参数(例如,曝光时间、模拟增益、数字增益、闪光),其中图像捕获装置20可确定正在实时拍摄类似类型的场景。在这种情况下,图像捕获装置20可利用预测模型14中的曝光控制亮度参数来生成图像22,图像22取决于包含在图像22中的场景的类型而被优化(例如,针对其中人在前景中的明亮天空的图像来优化图像22)。
特别要注意的是,在所示示例中,并没有用任何固定的亮度目标来硬编码图像捕获装置20。而是,预测模型14可简单地为图像捕获装置20提供对于图像捕获装置20快速检测特殊场景并收敛于相对于参考图像16优化图像22的最佳实时参数的适合的场景特性和对应参数值。在这方面,可由图像捕获装置20的制造商和/或末端用户(例如,拍摄者)生成(例如,利用离线图像处理工具和/或不同图像捕获装置)的参考图像16可表示各种各样的场景类型。例如,参考图像16中也可能包含另一类型的高动态范围场景,诸如例如有明亮窗户的室内空间,其中预测模型14可提供与对于另一类型的高动态范围场景(例如,其中人在前景中的明亮天空)不同的场景特性和对应参数值。因此,所示机器学习途径使得图像捕获装置20能够优化许多不同类型的场景的图像,而无需顾虑与实时摄像机操作相关联的计时约束和处理限制。机器学习装置10和图像捕获装置20可在相同或不同平台上实现。
图1B示出具有用于对与候选图像30相关联的默认亮度目标等级28进行实时覆写的亮度目标等级26的参考图像24。参考图像24一般可在离线预测分析中用于生成诸如例如预测模型14(图1A)的参数预测模型,其中候选图像30一般可表示待优化的图像,诸如例如优化图像22(图1A)之一。在所示示例中,参考图像24和候选图像30均包含其中人在前景中的明亮天空,图像捕获装置的制造商或末端用户可将它视为是“特殊场景”。因此,可利用在离线预测分析期间学习到的关于该特定类型的场景的知识,来采用与参考图像24相关联的亮度目标等级26覆写默认亮度目标等级28。
现在转到图2,示出操作机器学习装置的方法32。方法32一般可在诸如例如已经论述过的机器学习装置10(图1)的机器学习装置中实现。更具体来说,方法32可实现为可执行软件中、可配置逻辑中、固定功能性逻辑硬件中、或其的任何组合中的一个或多个模块,其中可执行软件作为存储在存储器(诸如随机存取存储器(RAM)、只读存储器(ROM)、可编程ROM(PROM)、固件、闪速存储器等)的机器或计算机可读存储介质中的逻辑指令的集合,可配置逻辑诸如例如是可编程逻辑阵列(PLA)、现场可编程门阵列(FPGA)、复杂可编程逻辑装置(CPLD),固定功能性逻辑硬件利用诸如例如专用集成电路(ASIC)、互补金属氧化物半导体(CMOS)或晶体管-晶体管逻辑(TTL)技术的电路技术。
所示处理框34规定获得训练图像数据,其中训练图像数据可包括特定类型的场景的参考图像和与图像捕获装置相关联的候选图像。所示框36关于图像捕获装置的一个或多个实时参数进行训练图像数据的离线预测分析。框36可包括:基于训练图像数据标识“候选”特征(例如,边缘、拐角、直方图和/或其它统计)集合;并从候选特征集合选择“分析”特征集合。
更具体来说,图像捕获管线可包含计算图像统计的自动曝光、自动聚焦、及自动白平衡组件。可在图像中的每个“图块(tile)”处计算这些统计中的大多数(例如,如果图像大小为1000×1000像素,并且图块大小为50×50像素,那么图块的数量为每图像20×20=400个图块),同时可对于整个图像全局地计算其它统计(诸如全局直方图)。另外,统计可利用颜色和发光信息二者以及相关图像过滤器的输出和直方图数据。
因此,特征的数量可相对地高。例如,即使当图块的数量为8×8=64时,图像维度的数量可约为1700。因此,一旦已标识了候选特征集合,便可利用特征/属性排序或选择解决方案来选择分析特征集合。特征选择一般可通过在属性值类似/接近时测量预测的类别值有多类似/接近来评估属性的价值/排名。特征选择可利用可在机器学习(ML)软件包中容易地获得的算法/库,诸如例如来自WEKA(Waikato大学)的“ReliefFAttributeEval”库。在一个示例中,可利用一定数量的(例如,200个)排在前面的属性作为选择的分析特征集合。
处理框36还可规定:基于发光强度和候选特征集合将训练图像数据中的图像分割成多个区域;以及在每区域基础上从训练图像数据提取参考标准(ground truth)数据,其中进一步基于参考标准数据进行离线预测分析。更具体来说,可提取三种类型的像素:“阴影”,“中间色调”,和“高亮”。可在线性空间中(即,不应用Gamma校正)对灰度图像(亮度通道)执行分割,并且分割可不使用特殊图像信息。
为了增加分割的鲁棒性,可先定位白和黑像素。为了这么做,可假设,图像灰度值将缩放至0…1范围。可将白像素定义为具有g>=0.95的像素,其中g是像素灰值。可将黑像素定义为具有g<0.05的像素,其中对于分割过程的剩余部分可忽略白和黑像素。为了构建与曝光无关的分割,可对图像(白和黑区域除外)执行直方图均衡化。该色调操作可修正像素值,使得所得图像的直方图尽可能接近于均匀直方图。在均衡化后的图像上,可根据它们的灰度值按照如下来拆分像素:
阴影:0.05≤g<0.25
中间色调:0.25≤g<0.75
高亮:0.75≤g<0.95
本文提供的值只是为了便于论述,并且它们可依赖情况而变化。此外,可基于诸如例如聚焦等级、白平衡状态等的其它属性定义所述区域。然后,每个区域的亮度可按照该区域中的像素的平均值来演算,其中该演算可在全尺寸图像或从图像统计(例如,自动白平衡以及红、绿、蓝、同步/RGBS)输出得到的约化尺寸图像上操作。因此,可基于分割结果和候选特征集合在每区域基础上从训练图像数据提取诸如例如平均亮度的参考标准数据。此外,可利用参考标准数据和分析特征集合来进行离线预测分析。
框38可基于离线预测分析生成一个或多个参数预测模型。每个参数预测模型一般可包括具有参数值的多个神经网络节点。更具体来说,参数预测模型可利用每个节点处的特征权重和阈值以及模型本身的节点权重和阈值。例如,当利用神经网络多层感知器模型来执行数值预测(或回归)时,可利用诸如例如MATLAB(Mathworks, Inc.的注册商标)训练组件软件工具的神经网络库工具来直接计算阈值。在一个示例中,可将包含例如200个特征的分析特征集合与100个节点的单层神经网络模型进行组合。也可使用其它预测模型,诸如例如基于树的预测模型、非线性最小二乘法、最小二乘法支持向量机等。
图3示出机器学习装置40(40a-40e)。机器学习装置40可容易地替代已经论述过的机器学习装置10(图1A)。在所示示例中,机器学习装置40获得训练图像数据42(例如,特定类型的场景的参考图像和与图像捕获装置相关联的候选图像),其中预测模型生成器40a关于图像捕获装置的一个或多个实时参数进行训练图像数据42的离线预测分析。实时参数可包括例如曝光控制亮度参数、色调映射亮度参数、聚焦参数、白平衡参数等。机器学习装置40可包括用于基于训练图像数据42标识候选特征集合的特征演算器40b(例如,统计演算器)以及用于从候选特征集合选择分析特征集合的特征选择器40c,其中预测模型生成器40a可基于分析特征集合的集合进行离线预测分析。
机器学习装置40还可包括用于基于发光强度将训练图像数据42中的图像分割成多个区域的分割组件40d。参考标准提取器40e可在每区域基础上从训练图像数据提取参考标准数据(例如,平均亮度),其中预测模型生成器40a可进一步基于参考标准数据进行离线预测分析。所示的预测模型生成器40a基于离线预测分析生成一个或多个参数预测模型44。如已经指出的,每个参数预测模型44可对应于一种类型的场景,并且包括具有参数值的多个神经网络节点。
现在转到图4,示出操作图像捕获装置的方法46。方法46一般可在诸如例如已经论述过的机器学习装置20(图1)的图像捕获装置中实现。更具体来说,方法46可实现为可执行软件中、可配置逻辑中、固定功能性逻辑硬件中、或其的任何组合中的一个或多个模块,其中可执行软件作为存储在存储器(诸如RAM、ROM、PROM、固件、闪速存储器等)的机器或计算机可读存储介质中的逻辑指令的集合,可配置逻辑诸如例如是PLA、FPGA、CPLD,固定功能性逻辑硬件利用诸如例如ASIC、CMOS或TTL技术的电路技术。
所示处理框48规定获得(例如,作为收敛于对于特定类型的场景的最佳实时参数的迭代过程的部分)与图像捕获装置相关联的候选图像。因此,候选图像可包括经过预处理的原始Bayer数据。框50可确定候选图像对应于在参数预测模型中表示的特定类型的场景。在一个示例中,框50包括:基于候选图像标识候选特征(例如,边缘、拐角、直方图和/或其它统计)集合;以及从候选特征集合选择分析特征集合。框50还可包括从多个参数预测模型选择参数预测模型,该选择基于与候选图像相关联的分析特征集合与选择的参数预测模型之间的对应性等级。
在框52,可基于与特定类型的场景相关联的一个或多个参数值调整图像捕获装置的一个或多个实时参数(例如,亮度参数、聚焦参数、白平衡参数)。框52可包括从参数预测模型中的一个或多个神经网络节点计算所述一个或多个参数值。例如,如果对应于候选图像的分析特征集合与参数预测模型中的某些节点高度相关,那么可在每个相关节点处计算双弯曲(sigmoid)函数(例如,具有“S”形状的逻辑函数),以便确定该节点对涉及的场景类型的贡献。然后,可将双弯曲函数的结果进行线性组合以便计算对于图像的估计参数值。例如,在亮度的情况下,该计算可确定曝光控制参数值(例如,曝光时间、模拟增益、数字增益、闪光等)、色调映射参数值等。正如已经论述过的,框52还可规定基于例如发光强度将候选图像分割成多个区域。分割信息可供图像捕获装置中的其它图像管线组件使用。
图5示出图像捕获装置54。图像捕获装置54可容易地替代已经论述过的图像捕获装置20(图1A)。在所示示例中,图像捕获装置20包括用于捕获候选图像(例如,迭代地收敛于对于特定类型的场景的最佳实时参数)的传感器模块56以及用于从传感器模块56获得候选图像的预处理器58。预处理器58可对候选图像执行某些操作,诸如例如缺陷像素校正、噪声消减、线性化、阴影校正等。
所示图像捕获装置54还包括耦合到预处理器58的目标覆写设备60(60a-60e)。目标覆写设备60一般可包括用于确定/检测候选图像何时对应于在参数预测模型62中表示的特定类型的场景的预测器60a。另外,参数控制器60b可基于与特定类型的场景相关联的一个或多个参数值调整图像捕获装置54的一个或多个实时参数(例如,亮度参数、聚焦参数、白平衡参数等)。在一个示例中,预测器60a从参数预测模型62中的一个或多个神经网络节点计算所述一个或多个参数值。
目标覆写设备60还可包括用于基于候选图像标识候选特征集合的特征演算器60c(例如,统计演算器)以及用于从候选特征集合选择分析特征集合的特征选择器60d,其中参数控制器60b可进一步基于分析特征集合调整所述一个或多个实时参数。图6示出多层感知器(MLP)神经网络的信号节点61的示例,其中在每个节点处利用相同的特征向量,但是权重和偏置值可在每个节点处改变。可利用输出层的合适权重和偏置值来组合所有节点的输出。在所示示例中,
表示特征向量,并且Nf是特征的数量;
表示第i个节点中的每个特征的权重;
表示第i个节点的值,并且Bi是第i个节点的偏置(或阈值);
是激活函数,它能够是线性、双弯曲、双曲正切函数等,如下所示:
表示在输出层被组合以便计算最终预测的每个节点的值的向量,并且Nn是节点的数量;
表示输出层中的权重(例如,每个节点对最终预测计算的贡献;
表示预测的最终值,其中b0是输出层的偏置(或阈值),并且输出层处的激活函数是线性函数。
如已经指出的,也可使用其它预测模型,诸如例如基于树的预测模型、非线性最小二乘法、最小二乘法支持向量机等。所示的目标覆写设备60还包括基于例如发光强度将候选图像分割成多个区域的分割组件60e。分割信息可供图像捕获装置54中的其它图像管线组件(未示出)使用。
现在转到图7,更详细地示出图像捕获装置64的一个示例。在所示示例中,传感器模块66捕获候选图像(例如,原始Bayer数据),其中预处理器68从传感器模块66获得候选图像,并对它们进行处理(例如,经由缺陷像素校正、噪声消减、线性化、阴影校正等)。特征演算器70可利用图像统计来基于候选图像标识候选特征集合。可将特征演算器70的输出提供给自动曝光控制(AEC)组件72、自动聚焦(AF)组件74、色调映射(TM)组件76、自动白平衡(AWB)组件78等。AEC组件72一般可使图像的信息内容最大化,并且TM组件76可决定图像的最终亮度。
特别要注意的是,目标覆写设备(TOA)80可部署在以下一个或多个组件中:AEC组件72、AF组件74、TM组件76、以及AWB组件78,其中每个TOA 80可与已经论述过的目标覆写设备60(图5)类似地运行。因此,AEC组件72中的TOA 80可以用被适应于由机器学习装置生成的参数预测模型中所表示的特定类型的场景的曝光控制参数来控制对于传感器模块66的亮度。类似地,TM组件76中的TOA 86可以用被适应于参数预测模型中所表示的特定类型的场景的色调映射参数经由其它管线组件82(例如,gamma和色调映射)来控制亮度。另外,AF组件74中的所示TOA 80可以用被适应于在参数预测模型中所表示的特定类型的场景的聚焦参数来控制传感器模块66中的聚焦相关致动器。此外,AWB组件78中的TOA 80可以用被适应于在参数预测模型中所表示的特定类型的场景的白平衡参数来对白平衡增益组件84进行RGB增益控制。
图8示出系统700的实施例。在实施例中,系统700可以是媒体系统,但是系统700不限于该上下文。例如,系统700可以并入到个人计算机(PC)、膝上型计算机、超级膝上型计算机、平板、触摸板、便携式计算机、手持式计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、蜂窝电话/PDA组合、电视、智能装置(例如,智能电话、智能平板或智能电视)、移动互联网装置(MID)、通讯装置、数据通信装置等。
在实施例中,系统700包括耦合到呈现视觉内容的显示器720的平台702。平台702可从诸如内容服务装置730或内容递送装置740或其它类似内容源的内容装置接收视频位流内容。可利用包括一个或多个导航特征的导航控制器750来与例如平台702和/或显示器720交互。下面更详细地描述这些组件中的每个组件。
在实施例中,平台702可包括芯片集705、处理器710、存储器712、存储装置714、图形子系统715、应用716和/或无线电718(例如,网络控制器)的任意组合。芯片集705可在处理器710、存储器712、存储装置714、图形子系统715、应用716和/或无线电718中提供相互通信。例如,芯片集705可包括能够提供与存储装置714的相互通信的存储适配器(未描绘)。
处理器710可被实现为复杂指令集计算机(CISC)或精简指令集计算机(RISC)处理器、与x86指令集兼容的处理器、多核、或任何其它微处理器或中央处理单元(CPU)。在实施例中,处理器710可包括双核处理器、双核移动处理器等。
存储器712可被实现为易失性存储器装置,诸如但不限于随机存取存储器(RAM)、动态随机存取存储器(DRAM)、或静态RAM(SRAM)。
存储装置714可被实现为非易失性存储装置,诸如但不限于磁盘驱动器、光盘驱动器、磁带驱动器、内部存储装置、附连存储装置、闪速存储器、电池备份SDRAM(同步DRAM)、和/或可接入到网络的存储装置。在实施例中,存储装置714可包括在例如包括多个硬盘驱动器时用来增加对有价值数字媒体的存储性能增强保护的技术。
图形子系统715可对用于显示的诸如静止图像或视频的图像执行处理。图形子系统715可以是例如图形处理单元(GPU)或视觉处理单元(VPU)。可利用模拟或数字接口来在通信上耦合图形子系统715和显示器720。例如,该接口可以是高清多媒体接口、显示器端口(DisplayPort)、无线HDMI、和/或无线HD兼容(compliant)技术中的任何一个。图形子系统715能够集成到处理器710或芯片集705中。图形子系统715能够是在通信上耦合到芯片集705的独立卡。在一个示例中,图形子系统715包括如本文中所描述的图像捕获装置。
本文中描述的图形和/或视频处理技术可在各种硬件架构中实现。例如,图形和/或视频功能性可集成在芯片集内。备选的是,可使用离散图形和/或视频处理器。作为仍有的另一个实施例,图形和/或视频功能可由包括多核处理器在内的通用处理器实现。在进一步的实施例中,这些功能可在消费电子装置中实现。
无线电718可以是包括能够利用各种合适的无线通信技术传送和接收信号的一个或多个无线电的网络控制器。此类技术可涉及跨越一个或多个无线网络的通信。示例性无线网络包括(但不限于)无线局域网(WLAN)、无线个人域网(WPAN)、无线城域网(WMAN)、蜂窝网络、和卫星网络。在跨越这些网络通信时,无线电718可根据以任何版本形式的一个或多个可应用标准操作。
在实施例中,显示器720可包括任何电视型监视器或显示器。例如,显示器720可包括例如计算机显示屏、触摸屏显示器、视频监视器、电视类装置、和/或电视。显示器720可以是数字式和/或模拟式的。在实施例中,显示器720可以是全息显示器。并且,显示器720可以是可接收视觉投影的透明表面。这些投影可传达各种形式的信息、图像和/或对象。例如,这些投影可以是对于移动增强现实(MAR)应用的视觉叠加。在一个或多个软件应用716的控制下,平台702可在显示器720上显示用户接口722。
在实施例中,内容服务装置730可由任何国家、国际和/或独立服务托管,并且因此可经由例如因特网接入到平台702。内容服务装置730可耦合到平台702和/或耦合到显示器720。平台702和/或内容服务装置730可耦合到网络760以便向/从网络760传递(例如,发送和/或接收)媒体信息。内容递送装置740也可耦合到平台702和/或耦合到显示器720。
在实施例中,内容服务装置730可包括有线电视盒、个人计算机、网络、电话、能够递送数字信息和/或内容的因特网使能装置或设备、以及能够在内容提供商与平台702和/显示器720之间经由网络760或直接单向或双向传递内容的任何其它类似装置。将领会到的是,可经由网络760向/从系统700中的任一组件和内容提供商单向和/或双向地传递内容。内容的示例可包括任何媒体信息,包括例如视频、音乐、医疗和游戏信息等。
内容服务装置730接收诸如包括媒体信息、数字信息、和/或其它内容的有线电视节目的内容。内容提供商的示例可包括任何有线或卫星电视或无线电或因特网内容提供商。提供的示例不意在限制实施例。
在实施例中,平台702可从具有一个或多个导航特征的导航控制器750接收控制信号。控制器750的导航特征可用于与例如用户接口722交互。在实施例中,导航控制器750可以是指向装置,它可以是允许用户将空间(例如,连续且多维度的)数据输入到计算机中的计算机硬件组件(更确切地说是人接口装置)。诸如图形用户接口(GUI)、以及电视和监视器的许多系统允许用户利用物理姿势来控制和将数据提供给计算机或电视。
控制器750的导航特征的移动可由显示器上显示的指针、光标、聚焦环、或其它可视指示符的移动而被反应在显示器(例如,显示器720)上。例如,在软件应用716的控制下,可将位于导航控制器750上的导航特征映射到例如在用户接口722上显示的虚拟导航特征。在实施例中,控制器750可能不是独立组件,而是集成到平台702和/或显示器720中。但是,实施例不限于本文中示出或描述的元件或上下文中。
在实施例中,驱动器(未示出)可包括使得用户能够在例如启用时在初始启动之后通过触摸按钮来即刻打开和关闭平台702(如同电视)的技术。程序逻辑可允许平台702在平台“关闭”时向媒体适配器或其它内容服务装置730或内容递送装置740流播内容。另外,芯片集705可包括对例如5.1环绕立体声音频和/或高清7.1环绕立体声音频的硬件和/或软件支持。驱动器可包括用于集成图形平台的图形驱动器。在实施例中,图形驱动器可包括外围组件互连(PCI)高速图形卡。
在各种实施例中,系统700中示出的组件中的任意一个或多个可被集成。例如,平台702和内容服务装置730可被集成,或者平台702和内容递送装置740可被集成,或者例如平台702、内容服务装置730、和内容递送装置740可被集成。在各种实施例中,平台702和显示器720可以是集成单元。例如,显示器720和内容服务装置730可被集成,或者显示器720和内容递送装置740可被集成。这些示例并不意在限制实施例。
在各种实施例中,系统700可被实现为无线系统、有线系统或两者的组合。当被实现为无线系统时,系统700可包括适合通过无线共享媒体通信的组件和接口,诸如一个或多个天线、传送器、接收器、收发器、放大器、滤波器、控制逻辑等。无线共享媒体的示例可包括无线频谱的部分(诸如RF频谱等)。当被实现为有线系统时,系统700可包括适合通过有线通信媒体通信的组件和接口,诸如输入/输出(I/O)适配器、用于连接I/O适配器与对应的有线通信媒体的物理连接器、网络接口卡(NIC)、盘控制器、视频控制器、音频控制器等。有线通信媒体的示例可包括导线、线缆、金属引线、印刷电路板(PCB)、底板、交换结构、半导体材料、双绞线、同轴线缆、光纤等。
平台702可建立一个或多个逻辑或物理通道以便传递信息。信息可包括媒体信息和控制信息。媒体信息可以指表示打算给用户的内容的任何数据。内容的示例可包括例如来自语音对话、视频会议、流播视频、电子邮件(“email”)消息、语音邮件消息、字母数字符号、图形、图像、视频、文本等的数据。来自语音对话的数据可以是例如话语信息、静默周期、背景噪声、舒适噪声、语调等。控制信息可以指表示打算给自动化系统的命令、指令或控制字的任何数据。例如,可利用控制信息来通过系统路由媒体信息或命令节点以预定方式处理媒体信息。但是,实施例不限于在图8中示出或描述的元件或上下文中。
如以上所描述的,系统700可以用各种物理样式或形状因子来实施。图9示出可在其中实施系统700的小形状因子装置800的实施例。例如,在实施例中,装置800可被实现为具有无线能力的移动计算装置。例如,移动计算装置可以指具有处理系统和移动功率源或电源(诸如一个或多个电池)的任何装置。
如以上所描述的,移动计算装置的示例可包括个人计算机(PC)、膝上型计算机、超级膝上型计算机、平板、触摸板、便携式计算机、手持式计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、蜂窝电话/PDA组合、电视、智能装置(例如,智能电话、智能平板或智能电视)、移动互联网装置(MID)、通讯装置、数据通信装置等。
移动计算装置的示例还可包括布置成由人穿戴的计算机,例如腕计算机、手指计算机、环计算机、眼镜计算机、皮带夹计算机、臂章计算机、鞋计算机、衣着计算机、和其它可穿戴计算机。例如,在实施例中,移动计算装置可被实现为能够执行计算机应用以及语音通信和/或数据通信的智能电话。尽管可采用作为示例被实现为智能电话的移动计算装置来描述一些实施例,但可被领会到的是,也可利用其它无线移动计算装置来实现其它实施例。实施例并不被限制在该上下文中。
如图9中所示,装置800可包括外壳802、显示器804、输入/输出(I/O)装置806、和天线808。装置800还可包括导航特征812。显示器804可包括对于显示适合于移动计算装置的信息的任何合适的显示器单元。I/O装置806可包括对于将信息输入到移动计算装置中的任何合适的I/O装置。I/O装置806的示例可包括字母数字键盘、数字小键盘、触摸板、输入按键、按钮、开关、摇杆开关、麦克风、扬声器、语音识别装置和软件等。也可通过麦克风将信息输入到装置800中。可通过语音识别装置将这类信息数字化。实施例并不被限制在该上下文中。
额外注释和示例:
示例1可包括一种图像捕获装置,它包括用于捕获候选图像的传感器模块、用于从传感器模块获得候选图像的预处理器、以及耦合到预处理器的目标覆写设备,目标覆写设备包括用于确定候选图像对应于在参数预测模型中表示的特定类型的场景的预测器以及用于至少部分地基于与特定类型的场景相关联的一个或多个参数值调整图像捕获装置的一个或多个实时参数的参数控制器。
示例2可包括示例1的图像捕获装置,其中预测器将从参数预测模型中的一个或多个神经网络节点计算所述一个或多个参数值。
示例3可包括示例1的图像捕获装置,其中所述一个或多个实时参数将包括曝光控制亮度参数、色调映射亮度参数、聚焦参数或白平衡参数中的一个或多个参数。
示例4可包括示例1的图像捕获装置,其中目标覆写设备还包括用于基于发光强度将候选图像分割成多个区域的分割组件。
示例5可包括示例1到4中任一示例的图像捕获装置,其中目标覆写设备还包括用于基于候选图像标识候选特征集合的特征演算器以及用于从候选特征集合选择分析特征集合的特征选择器,其中将进一步基于分析特征集合调整所述一个或多个实时参数。
示例6可包括示例5的图像捕获装置,其中预测器将从多个参数预测模型选择参数预测模型,该选择基于分析特征集合和选择的参数预测模型之间的对应性等级。
示例7可包括至少一个包括指令集合的计算机可读存储介质,所述指令在由图像捕获装置执行时使得图像捕获装置:获得与图像捕获装置相关联的候选图像;确定候选图像对应于在参数预测模型中表示的特定类型的场景;以及至少部分地基于与特定类型的场景相关联的一个或多个参数值调整图像捕获装置的一个或多个实时参数。
示例8可包括示例7的所述至少一个计算机可读存储介质,其中所述指令在被执行时使得图像捕获装置从参数预测模型中的一个或多个神经网络节点计算所述一个或多个参数值。
示例9可包括示例7的所述至少一个计算机可读存储介质,其中所述一个或多个实时参数将包括曝光控制亮度参数、色调映射亮度参数、聚焦参数或白平衡参数中的一个或多个参数。
示例10可包括示例7的所述至少一个计算机可读存储介质,其中所述指令在被执行时使得图像捕获装置基于发光强度将候选图像分割成多个区域。
示例11可包括示例7到10中任一示例的所述至少一个计算机可读存储介质,其中所述指令在被执行时使得图像捕获装置:基于候选图像标识候选特征集合;以及从候选特征集合选择分析特征集合,其中将进一步基于分析特征集合调整所述一个或多个实时参数。
示例12可包括示例11的所述至少一个计算机可读存储介质,其中所述指令在被执行时使得图像捕获装置从多个参数预测模型选择参数预测模型,该选择基于分析特征集合和选择的参数预测模型之间的对应性等级。
示例13可包括一种操作机器学习装置的方法,该方法包括:获得训练图像数据;关于图像捕获装置的一个或多个实时参数进行训练图像数据的离线预测分析;以及基于离线预测分析生成一个或多个参数预测模型。
示例14可包括示例13的方法,其中每个参数预测模型包括具有参数值的多个神经网络节点。
示例15。示例13的方法,其中关于曝光控制亮度参数、色调映射亮度参数、聚焦参数或白平衡参数中的一个或多个参数进行离线预测分析。
示例16可包括示例13的方法,其中训练图像数据包括特定类型的场景的参考图像和与图像捕获装置相关联的候选图像。
示例17可包括任一示例13的方法,该方法还包括:基于发光强度将训练图像数据中的图像分割成多个区域;以及在每区域基础上从训练图像数据提取参考标准数据,其中至少部分地基于参考标准数据进行离线预测分析。
示例18可包括示例13到17中任一示例的方法,该方法还包括:基于训练图像数据标识候选特征集合;以及从候选特征集合选择分析特征集合,其中至少部分地基于分析特征集合进行离线预测分析。
示例19可包括至少一个包括指令集合的计算机可读存储介质,所述指令在由机器学习装置执行时使得机器学习装置:获得训练图像数据;关于图像捕获装置的一个或多个实时参数进行训练图像数据的离线预测分析;以及基于离线预测分析生成一个或多个参数预测模型。
示例20可包括示例19的所述至少一个计算机可读存储介质,其中每个参数预测模型将包括具有参数值的多个神经网络节点。
示例21可包括示例19的所述至少一个计算机可读存储介质,其中关于曝光控制亮度参数、色调映射亮度参数、聚焦参数或白平衡参数中的一个或多个参数进行离线预测分析。
示例22可包括示例19的所述至少一个计算机可读存储介质,其中训练图像数据将包括特定类型的场景的参考图像和与图像捕获装置相关联的候选图像。
示例23可包括示例19中任一示例的所述至少一个计算机可读存储介质,其中所述指令在被执行时使得机器学习装置:基于发光强度将训练图像数据中的图像分割成多个区域;以及在每区域基础上从训练图像数据提取参考标准数据,其中将至少部分地基于参考标准数据进行离线预测分析。
示例24可包括示例19到23中任一示例的所述至少一个计算机可读存储介质,其中所述指令在被执行时使得机器学习装置:基于训练图像数据标识候选特征集合;以及从候选特征集合选择分析特征集合,其中将至少部分地基于分析特征集合进行离线预测分析。
示例25可包括一种操作图像捕获装置的方法,该方法包括:获得与图像捕获装置相关联的候选图像;确定候选图像对应于在参数预测模型中表示的特定类型的场景;以及至少部分地基于与特定类型的场景相关联的一个或多个参数值调整图像捕获装置的一个或多个实时参数。
示例26可包括示例25的方法,该方法还包括从参数预测模型中的一个或多个神经网络节点计算所述一个或多个参数值。
示例27可包括示例25的方法,其中调整一个或多个实时参数包括调整曝光控制亮度参数、色调映射亮度参数、聚焦参数或白平衡参数中的一个或多个参数。
示例28可包括示例25的方法,该方法还包括基于发光强度将候选图像分割成多个区域。
示例29可包括示例25到28中任一示例的方法,该方法还包括:基于候选图像标识候选特征集合;以及从候选特征集合选择分析特征集合,其中进一步基于分析特征集合调整所述一个或多个实时参数。
示例30可包括示例29的方法,该方法还包括从多个参数预测模型选择参数预测模型,该选择基于分析特征集合与选择的参数预测模型之间的对应性等级。
示例31可包括一种目标覆写设备,该目标覆写设备包括用于获得与图像捕获装置相关联的候选图像并确定候选图像对应于在参数预测模型中表示的特定类型的场景的预测器以及用于至少部分地基于与特定类型的场景相关联的一个或多个参数值调整图像捕获装置的一个或多个实时参数的参数控制器。
示例32可包括示例31的目标覆写设备,其中预测器将从参数预测模型中的一个或多个神经网络节点计算所述一个或多个参数值。
示例33可包括示例31的目标覆写设备,其中所述一个或多个实时参数将包括曝光控制亮度参数、色调映射亮度参数、聚焦参数或白平衡参数中的一个或多个参数。
示例34可包括示例31的目标覆写设备,该目标覆写设备还包括用于基于发光强度将候选图像分割成多个区域的分割组件。
示例35可包括示例31到34中任一示例的目标覆写设备,该目标覆写设备还包括用于基于候选图像标识候选特征集合的特征演算器以及用于从候选特征集合选择分析特征集合的特征选择器,其中将进一步基于分析特征集合调整所述一个或多个实时参数。
示例36可包括示例35的目标覆写设备,其中预测器将从多个参数预测模型选择参数预测模型,该选择基于分析特征集合与选择的参数预测模型之间的对应性等级。
示例37可包括一种机器学习装置,该机器学习装置包括用于获得训练图像数据的部件、用于关于图像捕获装置的一个或多个实时参数进行训练图像数据的离线预测分析的部件、以及用于基于离线预测分析生成一个或多个参数预测模型的部件。
示例38可包括示例37的机器学习装置,其中每个参数预测模型将包括具有参数值的多个神经网络节点。
示例39可包括示例37的机器学习装置,其中将关于曝光控制亮度参数、色调映射亮度参数、聚焦参数或白平衡参数中的一个或多个参数进行离线预测分析。
示例40可包括示例37的机器学习装置,其中训练图像数据将包括特定类型的场景的参考图像和与图像捕获装置相关联的候选图像。
示例41可包括示例37的机器学习装置,该机器学习装置还包括用于基于发光强度将训练图像数据中的图像分割成多个区域的部件以及用于在每区域基础上从训练图像数据提取参考标准数据的部件,其中至少部分地基于参考标准数据进行离线预测分析。
示例42可包括示例37到41中任一示例的机器学习装置,该机器学习装置还包括用于基于训练图像数据标识候选特征集合的部件以及用于从候选特征集合选择分析特征集合的部件,其中至少部分地基于分析特征集合进行离线预测分析。
示例43可包括一种图像捕获装置,该图像捕获装置包括用于获得与图像捕获装置相关联的候选图像的部件、用于确定候选图像对应于在参数预测模型中表示的特定类型的场景的部件、以及用于至少部分地基于与特定类型的场景相关联的一个或多个参数值调整图像捕获装置的一个或多个实时参数的部件。
示例44可包括示例43的图像捕获装置,该图像捕获装置还包括用于从参数预测模型中的一个或多个神经网络节点计算所述一个或多个参数值的部件。
示例45可包括示例43的图像捕获装置,其中用于调整一个或多个实时参数的部件包括用于调整曝光控制亮度参数、色调映射亮度参数、聚焦参数或白平衡参数中的一个或多个参数的部件。
示例46可包括示例43的图像捕获装置,该图像捕获装置还包括用于基于发光强度将候选图像分割成多个区域的部件。
示例47可包括示例43到46中任一示例的图像捕获装置,该图像捕获装置还包括用于基于候选图像标识候选特征集合的部件以及用于从候选特征集合选择分析特征集合的部件,其中进一步基于分析特征集合调整所述一个或多个实时参数。
示例48可包括示例47的图像捕获装置,该图像捕获装置还包括用于从多个参数预测模型选择参数预测模型的部件,该选择基于分析特征集合和选择的参数预测模型之间的对应性等级。
技术可提供用于在运行时彼此区分冲突特殊场景并确定对于它们中的每个的最佳目标参数值,而不必为特殊场景检测编写专门代码的方法。还可学习关于图像曝光调整的用户偏好/行为并对其进行建模。可将模型实时运用于摄像机的图像处理软件/驱动器。与这种途径相关联的时间和成本节省可以是显著的。另外,分割技术可能够实现对图像中的焦点进行调整(例如,如果阴影或高亮要在焦点中,那么可单独处理那些区域)。此外,拍摄者可训练他们的图像捕获装置以便将图像处理成他们自己独特的(以及主观的)品味。
各种实施例可利用硬件元件、软件元件或两者的组合来实现。硬件元件的示例可包括处理器、微处理器、电路、电路元件(例如,晶体管、电阻器、电容器、电感器等)、集成电路、专用集成电路(ASIC)、可编程逻辑装置(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体装置、芯片、微芯片、芯片集等。软件的示例可包括软件组件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、功能、方法、规程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号、或其任意组合。确定是否利用硬件元件和/或软件元件来实现实施例可根据任意数量的因素变化,诸如期望的计算速率、功率等级、耐热性、处理循环预算、输入数据速率、输出数据速率、存储器资源、数据总线速度和其它设计或性能约束。
至少一个实施例的一个或多个方面可通过存储在表示处理器内的各种逻辑的机器可读介质上的代表性指令来实现,该机器可读介质在被机器读时使得机器制造用于执行本文中描述的技术的逻辑。被称为“IP核”的这些表示可存储在有形、机器可读介质上,并可被供应给各种客户或制造设施以便加载到实际制作逻辑或处理器的制造机器中。
实施例可应用于与所有类型的半导体集成电路(“IC”)芯片一起使用。这些IC芯片的示例包括但不限于处理器、控制器、芯片集组件、可编程逻辑阵列(PLA)、存储器芯片、网络芯片等。另外,在一些图中,用线条来表示信号传导线。一些可不同以便指示更多构成的信号路径,一些可具有数字标签以便指示多个构成的信号路径,和/或一些可在一个或多个端具有箭头以便指示主要信息流方向。但是,这不应以限制性方式被解释。而是,这些增加的细节可结合一个或多个示例性实施例一起使用以促进对电路的更容易的理解。不管是否具有额外信息,任何表示的信号线可实际上包括一个或多个信号,所述一个或多个信号可在多个方向上传播,并且可以用任何合适类型的信号方案来实现,例如采用差分对、光纤线、和/或单端线实现的数字或模拟线。
可已给出示例尺寸/模型/值/范围,但实施例不限于此。随着制造技术(例如,光刻法)随时间日益成熟,预期能够制造更小尺寸的器件。另外,为了说明和论述的简化,并且以免混淆实施例的某些方面,图中可示出或可不示出到IC芯片以及其它组件的公知的功率/接地连接。此外,可用框图形式示出布置,以避免混淆实施例,并且这还考虑到如下事实:关于这些框图布置的实现的细节高度依赖于将要在其中实现实施例的平台(即,这些细节应当很好地位于本领域技术人员的视界之内)。在阐述具体细节(例如,电路)以便描述示例实施例的地方,对本领域技术人员应显而易见的是,能够在没有这些具体细节的情况下或采用这些具体细节的变型来实践实施例。因此,本描述将视为是说明性而不是限制性的。
一些实施例可利用例如可存储指令或指令集的机器或有形计算机可读介质或物品(article)来实现,所述指令或指令集如果被机器执行则可使得机器执行根据实施例的方法和/或操作。这类机器可包括例如任何合适的处理平台、计算平台、计算装置、处理装置、计算系统、处理系统、计算机、处理器等,并且可利用硬件和/或软件的任何合适的组合来实现。机器可读介质或物品可包括例如任何合适类型的存储器单元、存储器装置、存储器物品、存储器介质、存储装置、存储物品、存储介质和/或存储单元,例如存储器、可移除或不可移除介质、可擦或不可擦介质、可写或可重写介质、数字或模拟介质、硬盘、软盘、紧致盘只读存储器(CD-ROM)、可刻录紧致盘(CD-R)、可重写紧致盘(CD-RW)、光盘、磁介质、磁-光介质、可移除存储卡或盘、各种类型的数字通用盘(DVD)、磁带、卡带等。指令可包括利用任何合适的高级、低级、面向对象、可视、编译和/或解译编程语言实现的任何合适类型的代码,诸如源代码、编译代码、解译代码、可执行代码、静态代码、动态代码、加密代码等。
除非另有特别声明,否则可领会到的是,诸如“处理”、“计算”、“演算”、“确定”等的术语是指操纵表示为计算系统的寄存器和/或存储器内的物理量(例如电子的)的数据和/或将这些数据变换为类似地表示为计算系统的存储器、寄存器或其它这样的信息存储、传送或显示装置内的物理量的其它数据的计算机或计算系统或类似电子计算装置的动作和/或过程。实施例并不被限制在该上下文中。
本文中可使用术语“耦合”来指讨论中的组件之间的任何类型的直接或间接关系,并且它可应用于电气、机械、流体、光、电磁、机电或其它连接。另外,术语“第一”、“第二”等在本文中可只用于促进论述,并且除非另外指出,否则它们不携带特定的时间或时序意义。
从以上描述,本领域技术人员将领会到的是,实施例的广泛技术能够以各种形式实现。因此,尽管这个的实施例已结合其的特定示例被描述,但实施例的真实范围不应局限于此,因为在研究了图、说明书和随附权利要求之后,其它修改将对于熟练的实践者变得显而易见。
权利要求书(按照条约第19条的修改)
1.一种图像捕获装置,包括:
传感器模块,用于捕获候选图像;
预处理器,用于从所述传感器模块获得所述候选图像;以及
目标覆写设备,其耦合到所述预处理器,所述目标覆写设备包括:
预测器,用于确定所述候选图像对应于在参数预测模型中表示的特定类型的场景,以及
参数控制器,用于至少部分地基于与所述特定类型的场景相关联的一个或多个参数值来调整所述图像捕获装置的一个或多个实时参数。
2.如权利要求1所述的图像捕获装置,其中所述预测器将从所述参数预测模型中的一个或多个神经网络节点计算所述一个或多个参数值。
3.如权利要求1所述的图像捕获装置,其中所述一个或多个实时参数将包括以下参数中的一个或多个:曝光控制亮度参数、色调映射亮度参数、聚焦参数或白平衡参数。
4.如权利要求1所述的图像捕获装置,其中所述目标覆写设备还包括用于基于发光强度将所述候选图像分割成多个区域的分割组件。
5.如权利要求1到4中任一项所述的图像捕获装置,其中所述目标覆写设备还包括:
特征演算器,用于基于所述候选图像标识候选特征集合;以及
特征选择器,用于从所述候选特征集合选择分析特征集合,其中将进一步基于所述分析特征集合调整所述一个或多个实时参数。
6.如权利要求5所述的图像捕获装置,其中所述预测器将从多个参数预测模型选择所述参数预测模型,所述选择基于所述分析特征集合与所选择的参数预测模型之间的对应性等级。
7.至少一个包括指令集合的计算机可读存储介质,所述指令在由图像捕获装置执行时使得所述图像捕获装置:
获得与所述图像捕获装置相关联的候选图像;
确定所述候选图像对应于在参数预测模型中表示的特定类型的场景;以及
至少部分地基于与所述特定类型的场景相关联的一个或多个参数值来调整所述图像捕获装置的一个或多个实时参数。
8.如权利要求7所述的至少一个计算机可读存储介质,其中所述指令在被执行时使得所述图像捕获装置从所述参数预测模型中的一个或多个神经网络节点计算所述一个或多个参数值。
9.如权利要求7所述的至少一个计算机可读存储介质,其中所述一个或多个实时参数将包括如下参数中的一个或多个:曝光控制亮度参数、色调映射亮度参数、聚焦参数或白平衡参数。
10.如权利要求7所述的至少一个计算机可读存储介质,其中所述指令在被执行时使得所述图像捕获装置基于发光强度将所述候选图像分割成多个区域。
11.如权利要求7到10中任一项所述的至少一个计算机可读存储介质,其中所述指令在被执行时使得所述图像捕获装置:
基于所述候选图像标识候选特征集合;以及
从所述候选特征集合选择分析特征集合,其中将进一步基于所述分析特征集合调整所述一个或多个实时参数。
12.如权利要求11所述的至少一个计算机可读存储介质,其中所述指令在被执行时使得所述图像捕获装置从多个参数预测模型选择所述参数预测模型,所述选择基于所述分析特征集合和所选择的参数预测模型之间的对应性等级。
13.一种操作机器学习装置的方法,包括:
获得训练图像数据;
关于图像捕获装置的一个或多个实时参数进行所述训练图像数据的离线预测分析;以及
基于所述离线预测分析生成一个或多个参数预测模型。
14.如权利要求13所述的方法,其中每个参数预测模型包括具有参数值的多个神经网络节点。
15.如权利要求13所述的方法,其中关于曝光控制亮度参数、色调映射亮度参数、聚焦参数或白平衡参数中的一个或多个参数来进行所述离线预测分析。
16.如权利要求13所述的方法,其中所述训练图像数据包括特定类型的场景的参考图像和与所述图像捕获装置相关联的候选图像。
17.如权利要求13所述的方法,还包括:
基于发光强度将所述训练图像数据中的图像分割成多个区域;以及
在每区域基础上从所述训练图像数据提取参考标准数据,其中至少部分地基于所述参考标准数据进行所述离线预测分析。
18.如权利要求13到17中任一项所述的方法,还包括:
基于所述训练图像数据标识候选特征集合;以及
从所述候选特征集合选择分析特征集合,其中至少部分地基于所述分析特征集合进行所述离线预测分析。
19.至少一个包括指令集合的计算机可读存储介质,所述指令在由机器学习装置执行时使得所述机器学习装置:
获得训练图像数据;
关于图像捕获装置的一个或多个实时参数来进行所述训练图像数据的离线预测分析;以及
基于所述离线预测分析生成一个或多个参数预测模型。
20.如权利要求19所述的至少一个计算机可读存储介质,其中每个参数预测模型将包括具有参数值的多个神经网络节点。
21.如权利要求19所述的至少一个计算机可读存储介质,其中关于曝光控制亮度参数、色调映射亮度参数、聚焦参数或白平衡参数中的一个或多个参数来进行所述离线预测分析。
22.如权利要求19所述的至少一个计算机可读存储介质,其中所述训练图像数据将包括特定类型的场景的参考图像和与所述图像捕获装置相关联的候选图像。
23.如权利要求19所述的至少一个计算机可读存储介质,其中所述指令在被执行时使得所述机器学习装置:
基于发光强度将所述训练图像数据中的图像分割成多个区域;以及
在每区域基础上从所述训练图像数据提取参考标准数据,其中将至少部分地基于所述参考标准数据进行所述离线预测分析。
24.如权利要求19到23中任一项所述的至少一个计算机可读存储介质,其中所述指令在被执行时使得所述机器学习装置:
基于所述训练图像数据标识候选特征集合;以及
从所述候选特征集合选择分析特征集合,其中将至少部分地基于所述分析特征集合进行所述离线预测分析。
25.一种操作图像捕获装置的方法,包括:
获得与所述图像捕获装置相关联的候选图像;
确定所述候选图像对应于在参数预测模型中表示的特定类型的场景;以及
至少部分地基于与所述特定类型的场景相关联的一个或多个参数值来调整所述图像捕获装置的一个或多个实时参数。

Claims (25)

1.一种图像捕获装置,包括:
传感器模块,用于捕获候选图像;
预处理器,用于从所述传感器模块获得所述候选图像;以及
目标覆写设备,其耦合到所述预处理器,所述目标覆写设备包括:
预测器,用于确定所述候选图像对应于在参数预测模型中表示的特定类型的场景,以及
参数控制器,用于至少部分地基于与所述特定类型的场景相关联的一个或多个参数值来调整所述图像捕获装置的一个或多个实时参数。
2.如权利要求1所述的图像捕获装置,其中所述预测器将从所述参数预测模型中的一个或多个神经网络节点计算所述一个或多个参数值。
3.如权利要求1所述的图像捕获装置,其中所述一个或多个实时参数将包括以下参数中的一个或多个:曝光控制亮度参数、色调映射亮度参数、聚焦参数或白平衡参数。
4.如权利要求1所述的图像捕获装置,其中所述目标覆写设备还包括用于基于发光强度将所述候选图像分割成多个区域的分割组件。
5.如权利要求1到4中任一项所述的图像捕获装置,其中所述目标覆写设备还包括:
特征演算器,用于基于所述候选图像标识候选特征集合;以及
特征选择器,用于从所述候选特征集合选择分析特征集合,其中将进一步基于所述分析特征集合调整所述一个或多个实时参数。
6.如权利要求5所述的图像捕获装置,其中所述预测器将从多个参数预测模型选择所述参数预测模型,所述选择基于所述分析特征集合与所选择的参数预测模型之间的对应性等级。
7.至少一个包括指令集合的计算机可读存储介质,所述指令在由图像捕获装置执行时使得所述图像捕获装置:
获得与所述图像捕获装置相关联的候选图像;
确定所述候选图像对应于在参数预测模型中表示的特定类型的场景;以及
至少部分地基于与所述特定类型的场景相关联的一个或多个参数值来调整所述图像捕获装置的一个或多个实时参数。
8.如权利要求7所述的至少一个计算机可读存储介质,其中所述指令在被执行时使得所述图像捕获装置从所述参数预测模型中的一个或多个神经网络节点计算所述一个或多个参数值。
9.如权利要求7所述的至少一个计算机可读存储介质,其中所述一个或多个实时参数将包括如下参数中的一个或多个:曝光控制亮度参数、色调映射亮度参数、聚焦参数或白平衡参数。
10.如权利要求7所述的至少一个计算机可读存储介质,其中所述指令在被执行时使得所述图像捕获装置基于发光强度将所述候选图像分割成多个区域。
11.如权利要求7到10中任一项所述的至少一个计算机可读存储介质,其中所述指令在被执行时使得所述图像捕获装置:
基于所述候选图像标识候选特征集合;以及
从所述候选特征集合选择分析特征集合,其中将进一步基于所述分析特征集合调整所述一个或多个实时参数。
12.如权利要求11所述的至少一个计算机可读存储介质,其中所述指令在被执行时使得所述图像捕获装置从多个参数预测模型选择所述参数预测模型,所述选择基于所述分析特征集合和所选择的参数预测模型之间的对应性等级。
13.一种操作机器学习装置的方法,包括:
获得训练图像数据;
关于图像捕获装置的一个或多个实时参数进行所述训练图像数据的离线预测分析;以及
基于所述离线预测分析生成一个或多个参数预测模型。
14.如权利要求13所述的方法,其中每个参数预测模型包括具有参数值的多个神经网络节点。
15.如权利要求13所述的方法,其中关于曝光控制亮度参数、色调映射亮度参数、聚焦参数或白平衡参数中的一个或多个参数来进行所述离线预测分析。
16.如权利要求13所述的方法,其中所述训练图像数据包括特定类型的场景的参考图像和与所述图像捕获装置相关联的候选图像。
17.如任一权利要求13所述的方法,还包括:
基于发光强度将所述训练图像数据中的图像分割成多个区域;以及
在每区域基础上从所述训练图像数据提取参考标准数据,其中至少部分地基于所述参考标准数据进行所述离线预测分析。
18.如权利要求13到17中任一项所述的方法,还包括:
基于所述训练图像数据标识候选特征集合;以及
从所述候选特征集合选择分析特征集合,其中至少部分地基于所述分析特征集合进行所述离线预测分析。
19.至少一个包括指令集合的计算机可读存储介质,所述指令在由机器学习装置执行时使得所述机器学习装置:
获得训练图像数据;
关于图像捕获装置的一个或多个实时参数来进行所述训练图像数据的离线预测分析;以及
基于所述离线预测分析生成一个或多个参数预测模型。
20.如权利要求19所述的至少一个计算机可读存储介质,其中每个参数预测模型将包括具有参数值的多个神经网络节点。
21.如权利要求19所述的至少一个计算机可读存储介质,其中关于曝光控制亮度参数、色调映射亮度参数、聚焦参数或白平衡参数中的一个或多个参数来进行所述离线预测分析。
22.如权利要求19所述的至少一个计算机可读存储介质,其中所述训练图像数据将包括特定类型的场景的参考图像和与所述图像捕获装置相关联的候选图像。
23.如权利要求19中任一项所述的至少一个计算机可读存储介质,其中所述指令在被执行时使得所述机器学习装置:
基于发光强度将所述训练图像数据中的图像分割成多个区域;以及
在每区域基础上从所述训练图像数据提取参考标准数据,其中将至少部分地基于所述参考标准数据进行所述离线预测分析。
24.如权利要求19到23中任一项所述的至少一个计算机可读存储介质,其中所述指令在被执行时使得所述机器学习装置:
基于所述训练图像数据标识候选特征集合;以及
从所述候选特征集合选择分析特征集合,其中将至少部分地基于所述分析特征集合进行所述离线预测分析。
25.一种操作图像捕获装置的方法,包括:
获得与所述图像捕获装置相关联的候选图像;
确定所述候选图像对应于在参数预测模型中表示的特定类型的场景;以及
至少部分地基于与所述特定类型的场景相关联的一个或多个参数值来调整所述图像捕获装置的一个或多个实时参数。
CN201680019143.4A 2015-03-27 2016-02-27 实时图像捕获参数的机器学习 Active CN107810505B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/670642 2015-03-27
US14/670,642 US9826149B2 (en) 2015-03-27 2015-03-27 Machine learning of real-time image capture parameters
PCT/US2016/019988 WO2016160221A1 (en) 2015-03-27 2016-02-27 Machine learning of real-time image capture parameters

Publications (2)

Publication Number Publication Date
CN107810505A true CN107810505A (zh) 2018-03-16
CN107810505B CN107810505B (zh) 2022-01-04

Family

ID=56975741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680019143.4A Active CN107810505B (zh) 2015-03-27 2016-02-27 实时图像捕获参数的机器学习

Country Status (5)

Country Link
US (1) US9826149B2 (zh)
EP (1) EP3275175A4 (zh)
CN (1) CN107810505B (zh)
TW (1) TWI620441B (zh)
WO (1) WO2016160221A1 (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108769543A (zh) * 2018-06-01 2018-11-06 北京壹卡行科技有限公司 曝光时间的确定方法及装置
CN109362092A (zh) * 2018-12-07 2019-02-19 中国移动通信集团福建有限公司 网络参数调整方法、装置、设备及介质
CN110611761A (zh) * 2018-06-14 2019-12-24 奥林巴斯株式会社 摄像装置、焦点调节方法以及存储介质
CN110708469A (zh) * 2018-07-10 2020-01-17 北京地平线机器人技术研发有限公司 用于适配曝光参数的方法和装置以及相应的相机曝光系统
CN110740264A (zh) * 2019-10-31 2020-01-31 重庆工商职业学院 一种智能摄像数据快速采集系统及采集方法
CN111246091A (zh) * 2020-01-16 2020-06-05 北京迈格威科技有限公司 一种动态自动曝光控制方法和装置及电子设备
CN111260678A (zh) * 2018-11-30 2020-06-09 百度在线网络技术(北京)有限公司 体操辅助学习的方法、装置、存储介质和终端设备
CN111355882A (zh) * 2018-12-20 2020-06-30 安讯士有限公司 用于调整图像管线设置的方法和系统
CN111614897A (zh) * 2020-05-13 2020-09-01 南京邮电大学 一种基于用户偏好多维度驱动的智能拍照方法
CN111787222A (zh) * 2020-06-30 2020-10-16 北京百度网讯科技有限公司 用于调节相机的方法、装置、电子设备与存储介质
CN111988544A (zh) * 2019-05-21 2020-11-24 三星电子株式会社 使用机器学习预测参数的最优值
CN112348838A (zh) * 2019-08-08 2021-02-09 西门子医疗有限公司 用于图像分析的方法和系统
CN113039556A (zh) * 2018-10-11 2021-06-25 特斯拉公司 用于使用增广数据训练机器模型的系统和方法
CN113507570A (zh) * 2021-07-26 2021-10-15 维沃移动通信有限公司 曝光补偿方法、装置和电子设备
CN113614498A (zh) * 2019-02-06 2021-11-05 日本电气株式会社 过滤器学习设备、过滤器学习方法和非暂时性计算机可读介质
CN113706400A (zh) * 2021-04-02 2021-11-26 腾讯科技(深圳)有限公司 图像矫正方法、装置、显微镜图像的矫正方法及电子设备
CN114283112A (zh) * 2020-09-17 2022-04-05 赢创运营有限公司 涂层表面的定性或定量表征
CN114511030A (zh) * 2022-02-11 2022-05-17 浙江大华技术股份有限公司 合格率预测模型训练方法、图像采集设备参数值确定方法
CN115204247A (zh) * 2021-03-26 2022-10-18 西门子股份公司 一种用于配置涂覆机的方法、设备及系统
CN115668967A (zh) * 2020-05-22 2023-01-31 高通股份有限公司 自动相机指导和设置调整
CN116312419A (zh) * 2017-12-15 2023-06-23 谷歌有限责任公司 自适应显示器亮度调整
CN116324827A (zh) * 2020-09-15 2023-06-23 惠普发展公司,有限责任合伙企业 图像中的眩光减少
CN116524610A (zh) * 2023-04-28 2023-08-01 支付宝(杭州)信息技术有限公司 活体检测方法及系统
CN116671116A (zh) * 2021-09-27 2023-08-29 海信视像科技股份有限公司 广播接收装置

Families Citing this family (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10290028B2 (en) * 2014-10-08 2019-05-14 Streamoid Technologies Private Limited Computer implemented system for managing advertisements and a method thereof
US10091414B2 (en) * 2016-06-24 2018-10-02 International Business Machines Corporation Methods and systems to obtain desired self-pictures with an image capture device
WO2018117662A1 (en) * 2016-12-22 2018-06-28 Samsung Electronics Co., Ltd. Apparatus and method for processing image
KR102407815B1 (ko) * 2016-12-22 2022-06-13 삼성전자주식회사 영상 처리 장치 및 방법
US20180189228A1 (en) * 2017-01-04 2018-07-05 Qualcomm Incorporated Guided machine-learning training using a third party cloud-based system
US10530991B2 (en) * 2017-01-28 2020-01-07 Microsoft Technology Licensing, Llc Real-time semantic-aware camera exposure control
KR20180092778A (ko) 2017-02-10 2018-08-20 한국전자통신연구원 실감정보 제공 장치, 영상분석 서버 및 실감정보 제공 방법
US20210264528A1 (en) 2017-02-24 2021-08-26 State Farm Mutual Automobile Insurance Company Technology for analyzing image data to automatically manage customer policies
US10607329B2 (en) * 2017-03-13 2020-03-31 Adobe Inc. Illumination estimation from a single image
US11276163B2 (en) * 2017-05-02 2022-03-15 Alvitae LLC System and method for facilitating autonomous control of an imaging system
US10751879B2 (en) 2017-06-05 2020-08-25 Autodesk, Inc. Adapting simulation data to real-world conditions encountered by physical processes
WO2019007919A1 (en) * 2017-07-03 2019-01-10 Canon Kabushiki Kaisha METHOD AND SYSTEM FOR SELF-REGULATING PHOTOGRAPHIC DEVICES
US11676547B2 (en) 2017-07-07 2023-06-13 Semiconductor Energy Laboratory Co., Ltd. Display system and operation method of the display system
EP3662413A4 (en) * 2017-08-04 2021-08-18 Outward Inc. MACHINE LEARNING BASED IMAGE PROCESSING TECHNIQUES
US10643320B2 (en) 2017-11-15 2020-05-05 Toyota Research Institute, Inc. Adversarial learning of photorealistic post-processing of simulation with privileged information
US11134221B1 (en) 2017-11-21 2021-09-28 Daniel Brown Automated system and method for detecting, identifying and tracking wildlife
US10535138B2 (en) * 2017-11-21 2020-01-14 Zoox, Inc. Sensor data segmentation
KR102438201B1 (ko) * 2017-12-01 2022-08-30 삼성전자주식회사 사진 촬영과 관련된 추천 정보를 제공하는 방법 및 시스템
CN107820020A (zh) * 2017-12-06 2018-03-20 广东欧珀移动通信有限公司 拍摄参数的调整方法、装置、存储介质及移动终端
US20210166360A1 (en) * 2017-12-06 2021-06-03 Korea Advanced Institute Of Science And Technology Method and apparatus for inverse tone mapping
US10579908B2 (en) * 2017-12-15 2020-03-03 Google Llc Machine-learning based technique for fast image enhancement
CN109951627B (zh) * 2017-12-20 2021-09-10 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN109960034B (zh) * 2017-12-25 2023-08-04 深圳点石创新科技有限公司 一种抬头显示器亮度调节系统与方法
JP2019146022A (ja) * 2018-02-21 2019-08-29 オリンパス株式会社 撮像装置及び撮像方法
US12289202B2 (en) 2018-03-19 2025-04-29 Arlo Technologies, Inc. Adjusting parameters in a network-connected security system based on content analysis
US20190289263A1 (en) * 2018-03-19 2019-09-19 Netgear, Inc. Notifications by a network-connected security system based on content analysis
WO2019190174A1 (en) * 2018-03-26 2019-10-03 Samsung Electronics Co., Ltd. Electronic device for monitoring health of eyes of user and method for operating the same
US11321618B2 (en) * 2018-04-25 2022-05-03 Om Digital Solutions Corporation Learning device, image pickup apparatus, image processing device, learning method, non-transient computer-readable recording medium for recording learning program, display control method and inference model manufacturing method
CN110149517B (zh) * 2018-05-14 2022-08-23 腾讯科技(深圳)有限公司 视频处理的方法、装置、电子设备及计算机存储介质
US10628929B2 (en) * 2018-05-28 2020-04-21 Augentix Inc. Method and computer system of image enhancement
KR102770241B1 (ko) 2018-07-13 2025-02-20 삼성전자주식회사 광원의 밝기를 제어하는 전자 장치 및 그 동작 방법
KR102661983B1 (ko) * 2018-08-08 2024-05-02 삼성전자주식회사 이미지의 인식된 장면에 기반하여 이미지를 처리하는 방법 및 이를 위한 전자 장치
US11093743B2 (en) 2018-08-10 2021-08-17 International Business Machines Corporation Intelligent personalization of operations of an image capturing device
CN109308679B (zh) * 2018-08-13 2022-08-30 深圳市商汤科技有限公司 一种图像风格转换方法及装置、设备、存储介质
US11394863B2 (en) * 2018-09-06 2022-07-19 Arlo Technologies, Inc. No-reference image quality assessment for iterative batch video analysis
US12330646B2 (en) 2018-10-18 2025-06-17 Autobrains Technologies Ltd Off road assistance
CN111178118B (zh) * 2018-11-13 2023-07-21 浙江宇视科技有限公司 图像采集处理方法、装置及计算机可读存储介质
US12254403B2 (en) * 2018-12-12 2025-03-18 Compology Llc Method and system for fill level determination
CN118570606A (zh) 2018-12-14 2024-08-30 苹果公司 机器学习辅助的图像预测
US12056925B2 (en) 2019-01-15 2024-08-06 Google Llc Determining regions of interest for photographic functions
CN109801209B (zh) * 2019-01-29 2023-12-05 爱芯元智半导体(宁波)有限公司 参数预测方法、人工智能芯片、设备及系统
US10872326B2 (en) * 2019-02-25 2020-12-22 Walmart Apollo, Llc Systems and methods of product recognition through multi-model image processing
US10990840B2 (en) * 2019-03-15 2021-04-27 Scenera, Inc. Configuring data pipelines with image understanding
US11488290B2 (en) 2019-03-31 2022-11-01 Cortica Ltd. Hybrid representation of a media unit
WO2020239204A1 (en) 2019-05-28 2020-12-03 Telefonaktiebolaget Lm Ericsson (Publ) Improved object detection
US11044450B2 (en) * 2019-06-07 2021-06-22 Adobe Inc. Image white balancing
US11165954B1 (en) * 2019-06-19 2021-11-02 Objectvideo Labs, Llc Scene-aware custom tuned video surveillance detection system
TWI773907B (zh) * 2019-07-11 2022-08-11 緯創資通股份有限公司 資料擷取裝置與資料運算系統及方法
US11436470B2 (en) * 2019-09-13 2022-09-06 Kyndryl, Inc. Generating simulated image training data
JP7317647B2 (ja) * 2019-09-19 2023-07-31 株式会社Screenホールディングス 学習装置、検査装置、学習方法および検査方法
US11849264B2 (en) 2019-11-22 2023-12-19 Samsung Electronics Co., Ltd. Apparatus and method for white balance editing
WO2021126004A1 (ru) * 2019-12-20 2021-06-24 Общество С Ограниченной Ответственностью "Дина" Способ фото/видео съемки цифровым устройством профессионально скомпанованных кадров
CN111131889B (zh) * 2019-12-31 2022-11-25 深圳创维-Rgb电子有限公司 场景自适应调整图像及声音的方法、系统及可读存储介质
KR102809406B1 (ko) 2020-01-31 2025-05-19 삼성전자 주식회사 카메라를 포함하는 전자 장치 및 그 동작 방법
CN115039394B (zh) 2020-01-31 2025-01-10 三星电子株式会社 包括相机的电子装置和运行该电子装置的方法
EP4107946B1 (en) 2020-02-19 2023-11-22 Dolby Laboratories Licensing Corporation Joint forward and backward neural network optimization in image processing
US11356600B2 (en) * 2020-03-16 2022-06-07 Microsoft Technology Licensing, Llc Machine learning operations on different location targets using camera orientation
CN111445383B (zh) * 2020-03-20 2024-02-13 北京迈格威科技有限公司 影像参数的调节方法、装置及系统
EP3886428A1 (en) * 2020-03-24 2021-09-29 Canon Kabushiki Kaisha System and edge device
WO2021102483A2 (en) * 2020-04-15 2021-05-27 Zeku, Inc. Method and apparatus for operating a companion processing unit
US12049116B2 (en) 2020-09-30 2024-07-30 Autobrains Technologies Ltd Configuring an active suspension
EP3979618A1 (en) * 2020-10-01 2022-04-06 Axis AB A method of configuring a camera
CN114415163A (zh) 2020-10-13 2022-04-29 奥特贝睿技术有限公司 基于摄像头的距离测量
US11877052B2 (en) * 2020-12-08 2024-01-16 Cortica Ltd. Filming an event by an autonomous robotic system
CN115428432B (zh) * 2020-12-28 2024-05-28 富士胶片株式会社 摄像支援装置、摄像装置、摄像支援方法及存储介质
CN112712519B (zh) * 2021-01-15 2025-02-11 清华大学 非接触式机制砂石粉含量智能化实时检测方法及装置
US12257949B2 (en) 2021-01-25 2025-03-25 Autobrains Technologies Ltd Alerting on driving affecting signal
CN112767230A (zh) * 2021-02-26 2021-05-07 清华大学 Gpu图神经网络优化方法及装置
CN113079319B (zh) * 2021-04-07 2022-10-14 杭州涂鸦信息技术有限公司 一种图像调整方法及其相关设备
US12511873B2 (en) 2021-06-07 2025-12-30 Cortica, Ltd. Isolating unique and representative patterns of a concept structure
US12139166B2 (en) 2021-06-07 2024-11-12 Autobrains Technologies Ltd Cabin preferences setting that is based on identification of one or more persons in the cabin
CN117396795A (zh) 2021-06-15 2024-01-12 三星电子株式会社 半空图像显示设备及包括该设备的电子装置
KR20230005779A (ko) 2021-07-01 2023-01-10 오토브레인즈 테크놀로지스 리미티드 차선 경계 감지
CN113591678B (zh) * 2021-07-28 2023-06-23 北京百度网讯科技有限公司 课堂注意力确定方法、装置、设备、存储介质及程序产品
US12110075B2 (en) 2021-08-05 2024-10-08 AutoBrains Technologies Ltd. Providing a prediction of a radius of a motorcycle turn
US12293560B2 (en) 2021-10-26 2025-05-06 Autobrains Technologies Ltd Context based separation of on-/off-vehicle points of interest in videos
US11509836B1 (en) 2021-12-29 2022-11-22 Insight Direct Usa, Inc. Dynamically configured processing of a region of interest dependent upon published video data selected by a runtime configuration file
US11704891B1 (en) 2021-12-29 2023-07-18 Insight Direct Usa, Inc. Dynamically configured extraction, preprocessing, and publishing of a region of interest that is a subset of streaming video data
US12260534B2 (en) 2022-04-26 2025-03-25 Communications Test Design, Inc. Method to detect camera blemishes
US12477203B2 (en) 2022-06-13 2025-11-18 Samsung Electronics Co., Ltd. Method and apparatus with image quality improvement
TWI812291B (zh) 2022-06-17 2023-08-11 緯創資通股份有限公司 連續學習的機器學習方法及電子裝置
US11778167B1 (en) 2022-07-26 2023-10-03 Insight Direct Usa, Inc. Method and system for preprocessing optimization of streaming video data
WO2024082183A1 (zh) * 2022-10-19 2024-04-25 华为技术有限公司 参数调节方法、装置以及智能终端
CN119545162A (zh) * 2023-08-28 2025-02-28 Oppo广东移动通信有限公司 一种参数配置方法及设备、存储介质
US20250260892A1 (en) * 2024-02-09 2025-08-14 Motorola Mobility Llc Aggregating capture specifications for media content using generative artificial intelligence

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6301440B1 (en) * 2000-04-13 2001-10-09 International Business Machines Corp. System and method for automatically setting image acquisition controls
CN1926851A (zh) * 2004-01-16 2007-03-07 索尼电脑娱乐公司 通过深度信息优化捕获装置设置的方法和设备
CN1960440A (zh) * 2005-10-31 2007-05-09 台湾新力国际股份有限公司 照相机系统
CN101478639A (zh) * 2008-01-04 2009-07-08 华晶科技股份有限公司 场景模式自动选择方法
CN101500082A (zh) * 2008-01-29 2009-08-05 鸿富锦精密工业(深圳)有限公司 相机及其个人化方法
US20100014776A1 (en) * 2008-07-18 2010-01-21 Xerox Corporation System and method for automatic enhancement of seascape images
CN103929631A (zh) * 2013-01-15 2014-07-16 瑞昱半导体股份有限公司 使用场景检测的白平衡调整方法及其装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7184080B2 (en) * 2001-06-25 2007-02-27 Texas Instruments Incorporated Automatic white balancing via illuminant scoring
US7313268B2 (en) * 2002-10-31 2007-12-25 Eastman Kodak Company Method for using effective spatio-temporal image recomposition to improve scene classification
US8948468B2 (en) 2003-06-26 2015-02-03 Fotonation Limited Modification of viewing parameters for digital images using face detection information
EP1748378B1 (en) 2005-07-26 2009-09-16 Canon Kabushiki Kaisha Image capturing apparatus and image capturing method
TWI452540B (zh) 2010-12-09 2014-09-11 Ind Tech Res Inst 影像式之交通參數偵測系統與方法及電腦程式產品
JP2012182572A (ja) 2011-02-28 2012-09-20 Sanyo Electric Co Ltd 電子カメラ
TW201308251A (zh) 2011-08-04 2013-02-16 Yi-Wu Chiang 水下影像強化系統
JP2013098879A (ja) * 2011-11-04 2013-05-20 Sony Corp 撮像制御装置、撮像装置、および、撮像制御装置の制御方法
US20140037135A1 (en) 2012-07-31 2014-02-06 Omek Interactive, Ltd. Context-driven adjustment of camera parameters
KR101949218B1 (ko) 2012-09-25 2019-02-18 삼성전자 주식회사 휴대 단말기의 이미지 촬영 방법 및 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6301440B1 (en) * 2000-04-13 2001-10-09 International Business Machines Corp. System and method for automatically setting image acquisition controls
CN1926851A (zh) * 2004-01-16 2007-03-07 索尼电脑娱乐公司 通过深度信息优化捕获装置设置的方法和设备
CN1960440A (zh) * 2005-10-31 2007-05-09 台湾新力国际股份有限公司 照相机系统
CN101478639A (zh) * 2008-01-04 2009-07-08 华晶科技股份有限公司 场景模式自动选择方法
CN101500082A (zh) * 2008-01-29 2009-08-05 鸿富锦精密工业(深圳)有限公司 相机及其个人化方法
US20100014776A1 (en) * 2008-07-18 2010-01-21 Xerox Corporation System and method for automatic enhancement of seascape images
CN103929631A (zh) * 2013-01-15 2014-07-16 瑞昱半导体股份有限公司 使用场景检测的白平衡调整方法及其装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吕豪杰: "基于道路交通违法行为视频智能成像技术的研究与应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116312419A (zh) * 2017-12-15 2023-06-23 谷歌有限责任公司 自适应显示器亮度调整
CN108769543A (zh) * 2018-06-01 2018-11-06 北京壹卡行科技有限公司 曝光时间的确定方法及装置
CN108769543B (zh) * 2018-06-01 2020-12-18 北京壹卡行科技有限公司 曝光时间的确定方法及装置
CN110611761A (zh) * 2018-06-14 2019-12-24 奥林巴斯株式会社 摄像装置、焦点调节方法以及存储介质
CN110708469A (zh) * 2018-07-10 2020-01-17 北京地平线机器人技术研发有限公司 用于适配曝光参数的方法和装置以及相应的相机曝光系统
US11893774B2 (en) 2018-10-11 2024-02-06 Tesla, Inc. Systems and methods for training machine models with augmented data
CN113039556A (zh) * 2018-10-11 2021-06-25 特斯拉公司 用于使用增广数据训练机器模型的系统和方法
CN113039556B (zh) * 2018-10-11 2022-10-21 特斯拉公司 用于使用增广数据训练机器模型的系统和方法
CN111260678A (zh) * 2018-11-30 2020-06-09 百度在线网络技术(北京)有限公司 体操辅助学习的方法、装置、存储介质和终端设备
CN109362092A (zh) * 2018-12-07 2019-02-19 中国移动通信集团福建有限公司 网络参数调整方法、装置、设备及介质
CN109362092B (zh) * 2018-12-07 2021-12-03 中国移动通信集团福建有限公司 网络参数调整方法、装置、设备及介质
CN111355882B (zh) * 2018-12-20 2022-08-09 安讯士有限公司 用于调整图像管线设置的方法和系统
CN111355882A (zh) * 2018-12-20 2020-06-30 安讯士有限公司 用于调整图像管线设置的方法和系统
CN113614498A (zh) * 2019-02-06 2021-11-05 日本电气株式会社 过滤器学习设备、过滤器学习方法和非暂时性计算机可读介质
CN111988544A (zh) * 2019-05-21 2020-11-24 三星电子株式会社 使用机器学习预测参数的最优值
US12437201B2 (en) 2019-05-21 2025-10-07 Samsung Electronics Co., Ltd. Predicting optimal values for parameters used in an operation of an image signal processor using machine learning
CN112348838A (zh) * 2019-08-08 2021-02-09 西门子医疗有限公司 用于图像分析的方法和系统
CN110740264B (zh) * 2019-10-31 2021-06-04 重庆工商职业学院 一种智能摄像数据快速采集系统及采集方法
CN110740264A (zh) * 2019-10-31 2020-01-31 重庆工商职业学院 一种智能摄像数据快速采集系统及采集方法
CN111246091A (zh) * 2020-01-16 2020-06-05 北京迈格威科技有限公司 一种动态自动曝光控制方法和装置及电子设备
CN111246091B (zh) * 2020-01-16 2021-09-03 北京迈格威科技有限公司 一种动态自动曝光控制方法和装置及电子设备
CN111614897A (zh) * 2020-05-13 2020-09-01 南京邮电大学 一种基于用户偏好多维度驱动的智能拍照方法
CN115668967A (zh) * 2020-05-22 2023-01-31 高通股份有限公司 自动相机指导和设置调整
CN111787222A (zh) * 2020-06-30 2020-10-16 北京百度网讯科技有限公司 用于调节相机的方法、装置、电子设备与存储介质
CN116324827A (zh) * 2020-09-15 2023-06-23 惠普发展公司,有限责任合伙企业 图像中的眩光减少
CN114283112A (zh) * 2020-09-17 2022-04-05 赢创运营有限公司 涂层表面的定性或定量表征
CN115204247A (zh) * 2021-03-26 2022-10-18 西门子股份公司 一种用于配置涂覆机的方法、设备及系统
CN113706400A (zh) * 2021-04-02 2021-11-26 腾讯科技(深圳)有限公司 图像矫正方法、装置、显微镜图像的矫正方法及电子设备
CN113507570A (zh) * 2021-07-26 2021-10-15 维沃移动通信有限公司 曝光补偿方法、装置和电子设备
CN116671116A (zh) * 2021-09-27 2023-08-29 海信视像科技股份有限公司 广播接收装置
CN114511030A (zh) * 2022-02-11 2022-05-17 浙江大华技术股份有限公司 合格率预测模型训练方法、图像采集设备参数值确定方法
CN116524610A (zh) * 2023-04-28 2023-08-01 支付宝(杭州)信息技术有限公司 活体检测方法及系统

Also Published As

Publication number Publication date
CN107810505B (zh) 2022-01-04
WO2016160221A1 (en) 2016-10-06
TW201707436A (zh) 2017-02-16
US9826149B2 (en) 2017-11-21
EP3275175A1 (en) 2018-01-31
US20160284095A1 (en) 2016-09-29
EP3275175A4 (en) 2018-11-21
TWI620441B (zh) 2018-04-01

Similar Documents

Publication Publication Date Title
CN107810505B (zh) 实时图像捕获参数的机器学习
US11882369B2 (en) Method and system of lens shading color correction using block matching
US9706111B2 (en) No-reference image and video quality evaluation
US10430694B2 (en) Fast and accurate skin detection using online discriminative modeling
US9860553B2 (en) Local change detection in video
US11721024B2 (en) Real-time mask quality predictor
US9760794B2 (en) Method and system of low-complexity histrogram of gradients generation for image processing
WO2020082382A1 (en) Method and system of neural network object recognition for image processing
CN116580305B (zh) 一种基于深度学习的茶芽检测方法及其模型搭建方法
KR101800995B1 (ko) 위상 기반 오토포커스를 위한 신뢰도 측정
US12155941B2 (en) Optimizing high dynamic range (HDR) image processing based on selected regions
US9058655B2 (en) Region of interest based image registration
US10810462B2 (en) Object detection with adaptive channel features
WO2021253148A1 (en) Input image size switchable network for adaptive runtime efficient image classification
US9148582B2 (en) Method and system for perfect shot imaging from multiple images
CN111724447B (zh) 一种图像处理方法、系统及电子设备和存储介质
US10477177B2 (en) Color parameter adjustment based on the state of scene content and global illumination changes
CN108259771A (zh) 图像处理方法、装置、存储介质和电子设备
CN104813342A (zh) 内容感知的改变视频大小
CN114979498A (zh) 曝光处理方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220128

Address after: Seoul, South Kerean

Patentee after: Hyundai Motor Co.,Ltd.

Patentee after: Kia Co.,Ltd.

Address before: California, USA

Patentee before: INTEL Corp.

TG01 Patent term adjustment
TG01 Patent term adjustment