[go: up one dir, main page]

CN111989917B - 电子设备及其控制方法 - Google Patents

电子设备及其控制方法 Download PDF

Info

Publication number
CN111989917B
CN111989917B CN201980025565.6A CN201980025565A CN111989917B CN 111989917 B CN111989917 B CN 111989917B CN 201980025565 A CN201980025565 A CN 201980025565A CN 111989917 B CN111989917 B CN 111989917B
Authority
CN
China
Prior art keywords
luminance value
image
cumulative distribution
identifying
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201980025565.6A
Other languages
English (en)
Other versions
CN111989917A (zh
Inventor
李奉瑾
安泰庆
金秀鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority claimed from PCT/KR2019/000092 external-priority patent/WO2019231068A1/en
Publication of CN111989917A publication Critical patent/CN111989917A/zh
Application granted granted Critical
Publication of CN111989917B publication Critical patent/CN111989917B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/60Image enhancement or restoration using machine learning, e.g. neural networks
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0233Improving the luminance or brightness uniformity across the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/16Calculation or use of calculated indices related to luminance levels in display data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

提供了一种电子设备。该电子设备包括存储器;以及处理器,其被配置成:基于存储在存储器中的图像的全局区域中所包括的每个像素的亮度值来识别全局区域的第一累积分布,基于图像的局部区域所包括的每个像素的亮度值来识别局部区域的第二累积分布,基于第一累积分布和第二累积分布来校正局部区域中所包括的每个像素的亮度值以生成局部区域中所包括的每个像素的校正后的亮度值,并基于局部区域中所包括的每个像素的校正后的亮度值来生成校正后的图像信号。

Description

电子设备及其控制方法
技术领域
本公开涉及一种电子设备及其控制方法,尤其涉及一种用于相对于图像执行图像处理的电子设备及其控制方法。
本公开是一种人工智能(AI)系统及其应用,该系统使用机器学习算法模拟诸如识别和确定之类的人脑功能。
背景技术
近年来,实现人类水平智能的人工智能系统已用于各个领域。与现有的基于规则的智能系统不同,人工智能系统是机器进行学习、确定并变得智能的系统。人工智能系统被使用得越多,识别率提高得越多,并且可以更准确地理解用户的品味,因此,现有的基于规则的智能系统正逐渐被基于深度学习的人工智能系统所取代。
人工智能技术包括机器学习(例如,深度学习)和利用机器学习的元素技术。
机器学习是一种本身可以对输入数据的特征进行分类/学习的算法技术。元素技术是一种使用诸如深度学习之类的机器学习算法来模拟人脑的诸如识别和确定之类的功能的技术,包括语言理解、视觉理解、推理/预测、知识表示、运动控制等。
应用人工智能技术的各个领域如下。语言理解是一种用于识别、应用/处理人类语言/字符的技术,包括自然语言处理、机器翻译、对话系统、问与答、语音识别/合成等。视觉理解是一种用于将对象识别并处理为人类视觉的技术,包括对象识别、对象跟踪、图像搜索、人类识别、场景理解、空间理解、图像增强等。推断预测是一种用于判断并且逻辑推断和预测信息的技术,包括基于知识/概率的推断、优化预测、基于偏好的计划和推荐。知识表示是一种用于将人类经验信息自动化为知识数据的技术,包括知识构建(数据生成/分类)和知识管理(数据利用)。运动控制是一种用于控制车辆的自主行驶和机器人的运动的技术,包括运动控制(导航、碰撞、驾驶)、操作控制(行为控制)等。
当在诸如普通家庭或办公室之类的显示环境中在电视机上拍摄背景时,由于外部照明的影响,图像的亮度分布可能取决于角度和位置而不均匀。
如果在不校正的情况下在电视机上显示亮度分布不均匀的图像,则当照明改变或位置改变时,电视机上显示的图像与背景不同,从而降低了电视机显示背景的效果。
因此,需要将具有不均匀的亮度分布的图像校正为具有均匀的亮度分布的图像。
发明内容
技术问题
本公开的示例性实施例克服了以上缺点以及上面未描述的其它缺点。另外,本公开不需要克服上述缺点,并且实施例可以不克服上述任何问题。
问题的解决方案
提供了一种电子设备及其控制方法,该电子设备校正由于照明而导致亮度不均匀的图像的亮度,从而以均匀的方式校正亮度。
根据本公开的一方面,提供了一种电子设备,包括:存储器;以及处理器,其被配置成:基于存储在存储器中的图像的全局区域中所包括的每个像素的亮度值来识别全局区域的第一累积分布,基于图像的局部区域中所包括的每个像素的亮度值来识别局部区域的第二累积分布,基于第一累积分布和第二累积分布来校正局部区域中所包括的每个像素的亮度值以生成局部区域中所包括的每个像素的校正后的亮度值,并基于局部区域中所包括的每个像素的校正后的亮度值来生成校正后的图像信号。
处理器还可以被配置成:相对于第一累积分布中的第一总累积像素数,识别与第一比率相对应的第一全局亮度值;相对于第二累积分布中的第二总累积像素数,识别与第一比率相对应的第一局部亮度值;基于第一全局亮度值和第一局部亮度值来识别校正函数以校正局部区域中所包括的每个像素的亮度值;并且基于校正函数生成校正后的图像信号。
处理器还可以被配置成:相对于第一累积分布中的第一总累积像素数,识别与第二比率相对应的第二全局亮度值;相对于第二累积分布,识别与第二比率相对应的第二局部亮度值;并且基于第一全局亮度值、第一局部亮度值、第二全局亮度值和第二局部亮度值来识别校正函数以校正局部区域中所包括的每个像素的亮度值。
处理器还可以被配置成:基于局部区域中所包括的每个像素的亮度值被校正,根据局部区域中所包括的每个像素的校正后的亮度值来更新第一累积分布;基于图像的另一局部区域中所包括的每个像素的亮度值来识别关于所述另一局部区域的第三累积分布;并且基于第一累积分布和第三累积分布来校正所述另一局部区域中所包括的每个像素的亮度值。
处理器还可以被配置成:通过在图像的全局区域中识别亮度值小于或等于多个亮度值中的每一个亮度值的像素数量,来识别第一累积分布;并且通过在图像的局部区域中识别亮度值小于或等于所述多个亮度值中的每一个亮度值的像素数量,来识别第二累积分布。
处理器还可以被配置成:基于亮度值小于或等于第一阈值,将局部区域中所包括的像素的亮度值校正为第三亮度值;并且基于亮度值大于或等于第二阈值,将局部区域中所包括的像素的亮度值校正为第四亮度值。
处理器还可以被配置成:基于存储在存储器中的分类模型识别图像的类型和图像的拍摄环境中的至少一个;并且基于图像的类型和图像的拍摄环境中的至少一个来校正局部区域中所包括的每个像素的亮度值。分类模型可以通过人工智能算法学习并获取多个样本图像以及与所述多个样本图像中的每一个相对应的信息。
处理器还可以被配置成:基于拍摄环境的照明类型和照明位置中的至少一个来识别图像的拍摄环境。
处理器还可以被配置成:基于图像的全局区域的全局亮度分布来识别局部区域。
该电子设备还可以包括显示器,并且处理器还可以被配置成基于校正后的图像信号来控制显示器。
根据本公开的一方面,提供了一种控制电子设备的方法,该方法包括:基于存储在存储器中的图像的全局区域中所包括的每个像素的亮度值来识别全局区域的第一累积分布;基于图像的局部区域中所包括的每个像素的亮度值来识别局部区域的第二累积分布;基于第一累积分布和第二累积分布来校正局部区域中所包括的每个像素的亮度值,以生成局部区域中所包括的每个像素的校正后的亮度值;并且基于局部区域中所包括的每个像素的校正后的亮度值生成校正后的图像信号。
校正可以包括:相对于第一累积分布中的第一总累积像素数,识别与第一比率相对应的第一全局亮度值;相对于第二累积分布中的第二总累积像素数,识别与第一比率相对应的第一局部亮度值;基于第一全局亮度值和第一局部亮度值来识别校正函数以校正局部区域中所包括的每个像素的亮度值;并且基于校正函数生成校正后的图像信号。
校正还可以包括:相对于第一累积分布中的第一总累积像素数,识别与第二比率相对应的第二全局亮度值;并且相对于第二累积分布,识别与第二比率相对应的第二局部亮度值。识别校正函数可以基于第一全局亮度值、第一局部亮度值、第二全局亮度值和第二局部亮度值。
该方法还可以包括:基于局部区域中所包括的每个像素的亮度值被校正,根据局部区域中所包括的每个像素的校正后的亮度值来更新第一累积分布;基于图像的另一局部区域中所包括的每个像素的亮度值来识别关于所述另一局部区域的第三累积分布;并且基于第一累积分布和第三累积分布来校正所述另一局部区域中所包括的每个像素的亮度值。
识别第一累积分布可以包括:通过在图像的全局区域中识别亮度值小于或等于多个亮度值中的每一个亮度值的像素数量,来识别第一累积分布;并且通过在图像的局部区域中识别亮度值小于或等于所述多个亮度值的每一个亮度值的像素数量,来识别第二累积分布。
校正可以包括:基于亮度值小于或等于第一阈值,将局部区域中所包括的像素的亮度值校正为第三亮度值;并且基于亮度值大于或等于第二阈值,将局部区域中所包括的像素的亮度值校正为第四亮度值。
该方法还可以包括:基于存储在存储器中的分类模型识别图像的类型和图像的拍摄环境中的至少一个;并且基于图像的类型和图像的拍摄环境中的至少一个来校正局部区域中所包括的每个像素的亮度值。分类模型可以通过人工智能算法学习并获取多个样本图像以及与所述多个样本图像中的每一个相对应的信息。
该方法还可以包括:基于拍摄环境的照明类型和照明位置中的至少一个来识别拍摄环境。
该方法还可以包括:基于图像的全局区域的全局亮度分布来识别局部区域。
该方法还可以包括:基于校正后的图像信号来控制电子设备的显示器。
根据本公开的一方面,提供了一种设备,该设备包括:显示接口;以及处理器,其被配置成:基于图像控制显示接口;识别图像的多个局部区域;基于图像的全局区域中所包括的每个像素的亮度值,识别全局区域的第一累积分布;基于图像的所述多个局部区域中的第一局部区域中所包括的每个像素的亮度值,识别第一局部区域的第二累积分布;基于第一累积分布和第二累积分布,校正局部区域中所包括的每个像素的亮度值,以生成第一局部区域中所包括的每个像素的校正后的亮度值;基于第一局部区域中所包括的每个像素的校正后的亮度值来更新图像;基于图像的所述多个局部区域中的第二局部区域中所包括的每个像素的亮度值,识别第二局部区域的第三累积分布;并且基于第二局部区域中所包括的每个像素的校正后的亮度值来更新图像。
该设备还可以包括通信接口,并且处理器还可以被配置成:控制通信接口以向用户终端发送使用户终端执行相机应用的命令;从用户终端接收指示相机应用被执行的通知;控制显示接口显示指导图像;从用户终端接收指导图像和背景的拍摄图像;并且基于从用户终端接收的拍摄图像来更新图像。
处理器还可以被配置成:从用户终端接收编辑命令;并且基于从用户终端接收的编辑命令来更新图像。
该设备还可以包括照度传感器,并且处理器还可以被配置成:基于由照度传感器生成的照度信号来更新图像。
发明的有益效果
附图说明
根据以下结合附图的描述,本公开的某些实施例的上述和其它方面、特征和优点将变得更加明显,其中:
图1a是示出根据实施例的电子设备的配置的方框图。
图1b是示出电子设备的详细配置的示例的方框图。
图2a、图2b和图2c是描述根据实施例的第一累积分布的视图。
图3a、图3b和图3c是描述根据实施例的第二累积分布的视图。
图4a、图4b和图4c是描述根据实施例的生成校正函数的方法的视图。
图5是示出根据实施例的用于校正亮度值的方法的流程图。
图6a、图6b、图6c和图6d是描述根据各个实施例的使用户方便的功能的视图。
图7a和图7b是描述根据另一实施例的用于校正亮度值的方法的视图。
图8a和图8b是描述根据实施例的使用人工智能算法的方法的视图。
图9是示出根据实施例的外部服务器的配置的方框图。
图10是示出根据实施例的学习单元的方框图。
图11是示出根据实施例的响应单元的方框图。
图12是示出根据实施例的通过使电子设备和外部服务器互锁来学习和确定数据的示例的视图。
图13是描述根据实施例的电子设备的控制方法的流程图。
具体实施方式
在下文中,将参考附图详细描述实施例。在以下描述中,可以省略已知配置。另外,可以将以下实施例修改为各种其它形式,并且本公开的技术精神的范围不限于以下示例。更确切而言,提供这些实施例是为了使本公开更加透彻和完整,并将向本领域技术人员充分传达本公开的技术精神的范围。
将简要描述本说明书中使用的术语,并且将详细描述本公开。
如本文所使用,术语“第一”或“第一个”和“第二”或“第二个”可以使用对应的组件,而与重要性或顺序无关,并且用于在不限制组件的情况下将一个组件与另一个组件区分开。
如本文中所使用,当诸如“...中的至少一个”之类的表达在元件列表之后时,其修饰整个元件列表而不修饰列表的单独元件。例如,表述“a、b和c中的至少一个”应理解为仅包括a,仅包括b,仅包括c,包括a和b二者,包括a和c二者,包括b和c二者,或包括a、b和c的全部。
在下文中,将使用附图更详细地描述本公开的各个实施例。
图1a是示出根据实施例的电子设备的配置的方框图。
电子设备100可以是对图像执行图像处理的设备。例如,电子设备100可以是改变图像中所包括的像素的像素值的设备。
电子设备100可以是向诸如机顶盒(STB)、服务器、蓝光盘(BD)播放器、盘播放器和流媒体盒之类的外部显示设备提供校正后的图像的设备。本文中,图像可以被预先存储在电子设备100中或从外部接收。
可替代地,电子设备100可以包括显示器,诸如台式PC、笔记本电脑、智能电话、平板PC、TV、数码相机、MP3播放器、PMP、蜂窝电话、智能眼镜、智能手表、导航之类,或者可以是直接通过显示器进行显示的电子设备。然而,本公开不限于此,并且电子设备100可以是能够对图像执行图像处理的任何设备。
根据图1a,电子设备100包括存储器110和处理器120。
存储器110可以存储图像。例如,存储器110可以存储由相机拍摄的图像。
另外,存储器110还可以存储图像分类模型。图像分类模型是通过经由算法学习多个样本图像和分别与每个样本图像相对应的信息、而获取的模型。稍后将对此进行描述。
存储器110可以被实现为硬盘、非易失性存储器、易失性存储器等,并且可以使用任何配置,只要它能够存储数据即可。
处理器120控制电子设备100的整体操作。
根据一个实施例,处理器120可以被实现为数字信号处理器(DSP)、微处理器或时间控制器(TCON),但是不限于此。处理器可以包括中央处理单元(CPU)、微控制器单元(MCU)、微处理单元(MPU)、控制器、应用处理器(AP)、通信处理器(CP)或先进的RISC机器(ARM)处理器中的一个或多个。处理器120可以被实现为片上系统(SoC)、其中嵌入有处理算法的大规模集成电路(LSI)、或者现场可编程门阵列(FPGA)。
处理器120可以基于存储在存储器110中的图像的全局区域中所包括的每个像素的亮度值来获得用于全局区域的第一累积分布。例如,处理器120可以通过从图像的全局区域中所包括的像素中获得亮度值为0的像素数量以及获得亮度值为1的像素数量来获取直至亮度值为255的像素数量。
处理器120可以累积亮度值小于或等于从0到255的每个亮度值的像素数量。例如,处理器120可以首先识别亮度值等于或小于0的像素数量。接着,处理器120可以识别亮度值等于或小于1的像素数量。处理器120可以随后识别具有每个值或更小的亮度值的像素数量,直到达到最大亮度值。例如,处理器可以识别亮度值等于或小于254的像素数量,然后识别亮度值等于或小于255的像素数量。以这种方式,处理器120可以获得第一累积分布。即,第一累积分布可以包括每个亮度值的像素累积数量。
然而,本公开不限于此,并且处理器120可以省略获取图像的全局区域中所包括的像素之中具有特定亮度值的像素数量的操作。即,处理器120可以用以下方式获得第一累积分布:其直接(immediately)获取图像的全局区域中所包括的像素之中低于特定亮度值的像素数量。
此处,图像的全局区域是指图像的整个区域,而图像的局部区域是指图像的一部分,这将在后面描述。
处理器120可以基于图像的局部区域中所包括的每个像素的亮度值来获得用于局部区域的第二累积分布。获得第二累积分布的方法类似于获得第一累积分布的方法。
即,处理器120可以通过在图像的全局区域中识别亮度值小于或等于多个亮度值中的每一个亮度值的像素数量来获得第一累积分布,并且通过在图像的局部区域中识别亮度值小于或等于多个亮度值中的每一个亮度值的像素数量来获得第二累积分布。
处理器120可以基于第一累积分布和第二累积分布来校正局部区域中所包括的每个像素的亮度值。
具体地,处理器120可以获得与第一累积分布和第二累积分布的每一个中的总像素累积数的第一比率的像素累积数相对应的第一亮度值,并且基于在第一累积分布和第二累积分布的每一个中获得的第一亮度值获得用于校正局部区域中所包括的每个像素的亮度值的校正函数。
即,处理器120可以获得第一累积分布中的第一亮度值和第二累积分布中的第一亮度值的对应关系。如果使用一种对应关系,则处理器120可以进一步使用亮度值为零的情况。也就是说,处理器120可以通过进一步考虑第一累积分布中的亮度值零与第二累积分布中的亮度值零之间的对应关系来获得线性校正函数。处理器120可以将局部区域中的当前像素值输入到校正函数中,并获得输出作为校正后的像素值。
可替代地,处理器120可以获得与第一累积分布和第二累积分布的每一个中的总像素累积数的第二比率的像素累积数相对应的第二亮度值,并且基于在第一累积分布和第二累积分布的每一个中获得的第一亮度值和第二亮度值获得用于校正局部区域中所包括的每个像素的亮度值的校正函数。
即,处理器120可以使用第一累积分布中的第一亮度值与第二累积分布中的第一亮度值的第一对应关系以及第一累积分布中的第二亮度值与第二累积分布中的第二亮度值的第二对应关系来获得线性校正函数。
可替代地,除了第一对应关系和第二对应关系之外,处理器120还可以通过进一步考虑第一累积分布中的亮度值零与第二累积分布中的亮度值零之间的对应关系来获得弯曲形状的校正函数。在这种情况下,处理器120可以使用三次方程的算法获得弯曲形状的校正函数。
随着用于获得校正函数的对应关系的数量增加,图像的亮度分布可以变得均匀。此处,对应关系的数量可以由用户输入,但是处理器120可以根据图像确定数量。
例如,与当图像的亮度分布的不均匀度低时的情况相比,在当图像的亮度分布的不均匀度高时的情况下,处理器120可以使用更大量的对应关系来获取校正函数。
可替代地,处理器120可以通过人工智能算法获得对应关系的数量,这将在后面描述。
在以上描述中,已经描述了获得校正函数并且校正图像的局部区域。然而,本公开不限于此。
例如,处理器120可以在第一累积分布和第二累积分布的每一个中将总像素累积数转换为100,并且将每个亮度值的像素累积数转换为100的比率。然后,处理器120可以校正局部区域中像素的亮度值,使得第二累积分布具有与第一累积分布相同的形式。
处理器120可以基于图像的全局区域的亮度分布来识别局部区域的数量。例如,当图像的全局区域的亮度分布被分布在预定亮度范围上时,处理器120可以增加局部区域的数量。也就是说,处理器120可以将图像划分成较小的部分以获得更多数量的局部区域,或者划分成较大的部分以获得更少数量的局部区域。
另外,处理器120可以将图像划分成不同大小的局部区域。例如,图像的暗部中的局部区域可以大于图像的亮部中的局部区域。
电子设备100还可以包括显示器,并且处理器120可以控制显示器显示具有校正后的亮度值的图像。
当局部区域中所包括的每个像素的亮度值被校正时,处理器120基于校正后的亮度值来更新第一累积分布,基于另一局部区域中所包括的每个像素的亮度值来获得另一局部区域上的第三累积分布,并且基于更新后的第一累积分布和第三累积分布来校正另一局部区域中所包括的每个像素的亮度值。
即,处理器120可以随着局部区域中所包括的每个像素的亮度值被校正而更新第一累积分布,并且基于更新后的第一累积分布来校正另一局部区域中所包括的每个像素的亮度值。
使用这种方法,可以重复执行校正。例如,即使将图像划分为四个区域并且依次完成对第一局部区域至第四局部区域的校正,也对第一累积分布进行了更新,并且第一局部区域的累积分布与更新后的第一累积分布之间可能存在差异。因此,可以从第一局部区域再次执行校正。
即,当处理器120的计算能力足够时或者当获得具有高水平的均匀亮度分布的图像时,可以应用该方法。
如果第一累积分布和第二累积分布满足预定条件,则处理器120还可以终止校正,以防止校正的无限重复。
例如,处理器120可以获得与第一累积分布和第二累积分布的每一个中的总像素累积数的第一比率的像素累积数相对应的第一亮度值,并且如果在第一累积分布中获得的第一亮度值与在第二累积分布中获得的第一亮度值之间的差在预定值内,则终止校正。
如果图像的局部区域中所包括的像素的亮度值小于或等于预定的第一阈值,则处理器120可以将亮度值校正为第三亮度值,并且如果图像的局部区域中所包括的像素的亮度值大于或等于预设的第二阈值,则可以将亮度值校正为第四亮度值。
例如,如果图像的局部区域中所包括的像素的亮度值是20或更小,则处理器120将亮度值校正为25,并且如果图像的局部区域中所包括的像素的亮度值是235或更大,则处理器可以将亮度值校正为230。
这种饱和行为可使噪声最小化。
另一方面,处理器120可以基于存储在存储器110中的图像分类模型来获得图像的类型和图像的成像环境中的至少一个,并且基于所获取的图像类型和图像的成像环境中的至少一个,可以校正局部区域中所包括的每个像素的亮度值。
此处,可以通过经由人工智能算法学习与多个样本图像中的每一个相对应的信息和多个样本图像来获得图像分类模型。然后,图像拍摄环境可以包括其中拍摄了图像的环境的照明类型和照明位置中的至少一个。
即,处理器120可以基于通过人工智能算法学习的图像分类模型来补充图像校正操作。例如,处理器120可以基于图像分类模型获得用于生成校正函数的多个对应关系。可替代地,处理器120可以基于图像分类模型获得比率以获得对应关系。可替代地,处理器120可以获得要被用于饱和操作的阈值和亮度值。可替代地,处理器120可以基于图像分类模型来确定局部区域的数量。
然而,本公开不限于此,并且处理器120可以通过校正函数来校正多个第一样本图像中的每一个,以获得多个第二样本图像,并且通过人工智能算法校正与多个第一样本图像中的每一个相对应的第二样本以获得图像校正模型。
在这种情况下,处理器120可以基于图像校正模型获得使图像的亮度值均匀的输出图像。
图1b是示出电子设备100的详细配置的示例的方框图。如图1b中所示,电子设备100包括存储器110、处理器120、通信接口130、显示器140、用户接口150、音频处理器160、视频处理器170、扬声器180、按钮181、麦克风182和照度传感器190。将不再详细描述与图1a中所示的组件重叠的图1b中所示的组件的细节。
处理器120通常使用存储在存储器110中的各种程序来控制电子设备100的操作。
具体地,处理器120包括随机存取存储器(RAM)121、只读存储器(ROM)122、主CPU123、图形处理器124、第一接口125-1至第n接口125-n以及总线126。
RAM 121、ROM 122、主CPU 123、图形处理器124、第一接口125-1至第n接口125-n等可以通过总线126相互连接。
第一接口125-1至第n接口125-n与前述各种组件连接。这些接口中的一个可以是通过网络连接到外部设备的网络接口。
主CPU 123访问存储器110,并使用存储在存储器110中的操作系统(O/S)执行启动。然后,主CPU使用存储在存储器110中的各种程序执行各种操作。
ROM 122存储用于启动系统等的命令集。当输入接通命令以供电时,主CPU 123根据存储在ROM 122中的命令集将存储在存储器110中的O/S复制到RAM 121,并执行O/S以启动系统。当启动完成时,主CPU 123将存储在存储器110中的各种应用程序复制到RAM 121,执行复制到RAM 121的应用程序,并执行各种操作。
图形处理器124可以是硬件图形处理,并且可以包括运算单元和渲染单元。图形处理器124使用运算单元和渲染单元生成包括诸如图标、图像和文本之类的各种对象在内的屏幕。运算单元基于接收到的控制命令,根据屏幕的布局,计算每个对象要显示的属性值,诸如坐标值、形状、大小和颜色。渲染单元基于由运算单元计算的属性值来生成包括对象的各种布局的屏幕。在渲染单元中生成的屏幕显示在显示器140的显示区域内。
上述处理器120的操作可以由存储在存储器110中的程序来执行。
存储器110存储各种数据,诸如用于驱动电子设备100的O/S软件模块、图像模块、图像处理模块等。
通信接口130可以是收发器(发送器和接收器)或通信接口,以根据各种类型的通信方法与各种类型的外部设备进行通信。通信接口130包括Wi-Fi芯片131、蓝牙芯片132、无线通信芯片133和NFC芯片134等。处理器120使用通信接口130执行与各种外部设备的通信。
Wi-Fi芯片131和蓝牙芯片132分别使用WiFi方法和蓝牙方法进行通信。当使用Wi-Fi芯片131或蓝牙芯片132时,可以首先发送和接收诸如服务集标识符(SSID)和会话密钥之类的各种连接信息,并且可以使用通信信息来发送和接收各种信息。无线通信芯片133是指根据各种通信标准执行通信的芯片,诸如IEEE、Zigbee、第三代(3G)、第三代合作伙伴计划(3GPP)、长期演进(LTE)和近场通信(NFC)。例如,NFC装置使用诸如135kHz、13.56MHz、433MHz、860至960MHz、2.45GHz等的各种RF-ID频带中的13.56MHz频带。
通信接口130可以与外部设备执行单向通信或双向通信。当执行单向通信时,通信接口130可以从外部设备接收图像。当执行双向通信时,通信接口130可以从外部设备接收图像,并且将校正后的图像发送到外部设备。
显示器140可以以诸如液晶显示器(LCD)、有机发光二极管(OLED)显示器和等离子体显示面板(PDP)之类的各种形式实现。显示器140还可以包括驱动电路、背光等,其可以以非晶硅薄膜晶体管(TFT)、低温多晶硅(LTPS)TFT或有机TFT(OTFT)的形式实现。显示器140可以与触摸传感器结合实现为触摸屏。
用户接口150接收各种用户交互。此处,根据电子设备100的实施例,可以以各种形式来实现用户接口150。例如,用户接口150可以是设置在电子设备100上的按钮、用于接收用户语音的麦克风、用于检测用户动作的相机等。可替代地,当电子设备100被实现为基于触摸的电子设备时,用户接口150可以被实现为具有与触摸板的相互层结构的触摸屏。在这种情况下,用户接口150可以用作上述的显示器140。
音频处理器160是对音频数据执行处理的组件。在音频处理器160中,可以执行各种处理,诸如音频数据的解码和放大、噪声过滤等。
视频处理器170是对视频数据执行处理的组件。视频处理器170可以对视频数据执行各种图像处理,诸如解码、缩放、噪声过滤、帧速率转换、分辨率转换等。
扬声器180是用于输出由音频处理器160处理的各种音频数据以及各种通知声音和语音消息的组件。
按钮181可以是形成在诸如电子设备100的主体的外表面的前表面部分、侧表面部分和后表面部分之类的区域中的各种类型的按钮,诸如机械按钮、触摸板、滚轮等。
麦克风182是用于接收用户的语音或其它声音以将声音转换为音频数据的组件。
通过上述方法,处理器120可以以均匀的方式校正图像的亮度分布。
将通过附图更详细地描述电子设备100的操作。
图2a、图2b和图2c是描述根据实施例的第一累积分布的视图。
在图像中,亮度分布可能不均匀。另外,图像可以是拍摄电子设备100的背面的墙纸的图像。
例如,如图2a中所示,照明可以位于图像的左侧,并且图像的左侧可以比右侧更亮。另外,图像的上侧可以比图像的下侧更亮。
然后,处理器120可以获得图像的全局区域中所包括的每个像素的亮度值的分布。例如,处理器120可以获得从0到255的亮度值的分布,如图2b中所示。例如,处理器120可以在图像的全局区域中识别亮度值为30的像素数量,并且通过相对于亮度值匹配识别出的像素数量来将识别出的像素数量存储在存储器110中。
在图2b中,描述了亮度值在0至255的范围内。然而,本公开不限于此,并且图像可以具有在任何范围内的亮度值。另外,为了便于描述,示出了图2b的曲线图,处理器120可以不获得如图2b中所示的曲线图。例如,处理器120可以针对图像的全局区域中的每个亮度值识别像素数量,并将其存储在存储器110中。
可替代地,处理器120可以将亮度值0至255以及与每个亮度值相对应的像素数量存储在存储器110中。然后处理器120可以根据图像的全局区域中所包括的每个像素的亮度值更新与存储在存储器110中的亮度值相对应的像素数量。
在以上描述中,已经描述了处理器120将亮度值分布存储在存储器110中,但是本公开不限于此。例如,处理器120可以包括诸如寄存器文件、高速缓冲存储器等的配置,并且可以将亮度值分布存储在处理器120内部的寄存器文件、高速缓冲存储器等中。
之后,处理器120可以获得图像的全局区域的第一累积分布。图2c示出了第一累积分布。
处理器120可以利用如图2b中所示的数据以便获得第一累积分布。例如,处理器120可以累积亮度值等于或小于0的像素数量。然后,处理器120可以累积亮度值等于或小于1的像素数量。例如,如果具有亮度值0的像素数量是5并且具有亮度值1的像素数量是10,则处理器120可以获得:存在亮度值等于或小于0的五个像素,并且存在亮度值等于或小于1的15个像素。
以这种方式,处理器120可以获得直至亮度值为255的累积像素数量。图2b和图2c是最大亮度值为255的图像的实施例,亮度值等于或小于255的像素数量可以与图像的全局区域中所包括的所有像素的数量相同。
通过前述方法,处理器120可以获得关于图像的全局区域的第一累积分布。
图3a、图3b和图3c是描述根据实施例的第二累积分布的视图。
图3a的图像类似于图2a的图像,另外识别出局部区域310。处理器120可以获得与图像的局部区域310中所包括的每个像素的亮度值相关的分布。
图3b示出了局部区域310中从0到255的亮度值的分布,图3c示出了第二累积分布,并且图3b和图3c中的处理器120的操作类似于图2b和图2c中的处理器120的操作,但仅在图像的目标区域中存在差异,因此省略重复的说明。
图4a、图4b和图4c是用于描述根据实施例的生成校正函数的方法的视图。
首先,图4a和图4b中的x轴表示亮度值,并且y轴表示像素累积数。图4a和图4b分别示出了第一累积分布和第二累积分布,并且示出了两个参考点。
处理器120可以首先获得与第一累积分布和第二累积分布的每一个中的总累积像素数的第一比率的像素累积数相对应的第一亮度值,以获得第一参考点。
因为图4a是图像的全局区域的第一累积分布,并且图4b是图像的局部区域的第二累积分布,所以全局区域的最大累积像素数可以大于局部区域的最大像素累积数。
例如,全局区域中的最大累积像素数可以是2000,局部区域中的最大像素累积数可以是100。在这种情况下,当参考点被确定为累积像素数的绝对值时,可能会出现问题。
因此,处理器120可以基于比率来确定第一参考点。例如,处理器120可以获得与占第一累积分布中2000的30%的600个累积像素数相对应的第一亮度值120,并且获得与占第二累积分布中100的30%的30个累积像素数相对应的第一亮度值180。处理器120可以将第一累积分布中的第一亮度值120和第二累积分布中的第一亮度值180用作第一参考点。
处理器120可以改变比率并以类似方式获得另外的参考点。例如,处理器120可以获得与占第一累积分布中2000的70%的1400个累积像素数相对应的第二亮度值160,并且获得与占第二累积分布中100的70%的70个累积像素数相对应的第二亮度值200。处理器120可以将第一累积分布中的第二亮度值160和第二累积分布中的第二亮度值200用作第二参考点。
处理器120可以基于第一参考点和第二参考点获得校正函数,如图4c中所示。例如,处理器120可以基于(0,0)、第一参考点和第二参考点获得三次方程,并将获得的三次方程用作校正函数。此处,图4c的x轴是像素的当前亮度值,并且y轴表示校正后的亮度值。
处理器120可以基于获得的校正函数来校正局部区域中所包括的每个像素的亮度值。例如,处理器120可以将局部区域中所包括的100个像素中的每个像素的亮度值输入到校正函数以获得校正后的亮度值。
图4c表示沿X轴方向凸出的校正函数。因为图3c的局部区域310平均而言比其它区域更亮,所以亮度值可以稍微降低,并且该局部区域变暗。
当针对该局部区域的校正完成时,处理器120可以获取针对另一局部区域的第二累积分布,获得新的校正函数,并且使用校正函数来校正该另一局部区域的亮度值。
处理器120可以重复该过程,直到完成所有局部区域。
此处,处理器120首先获得全局区域的第一累积分布,并且即使局部区域改变,也可以照原样使用第一累积分布。然而,本公开不限于此,并且当对第一局部区域的校正完成时,处理器120可以更新第一累积分布且对第二局部区域执行校正。
图5是示出根据实施例的用于校正亮度值的方法的流程图。
在步骤S510中,处理器120可以首先分析全局区域的亮度分布,并获得第一累积分布。然后,在步骤S511中,处理器120可以计算全局区域的校正参考水平。此处,校正参考水平可以表示用于设定参考点的比率、参考点的数量等。
例如,处理器120可以将与第一累积分布中的总像素累积数的比率为20%、50%和70%中的每个比率的像素累积数相对应的亮度值用作参考点。
在步骤S520中,处理器120可以分析局部区域的亮度分布以获得第二累积分布。此后,在步骤S521中,处理器120可以根据在第一累积分布中使用的校正参考水平,将第二累积分布中的亮度值用作参考点。
在步骤S522中,处理器120可以通过比较第一累积分布中的亮度值和第二累积分布中的亮度值来获得校正函数,并且可以在步骤S523中映射校正函数。
在步骤S524中,处理器120基于校正函数来校正像素,并且如果在步骤S525中完成了该局部区域的校正,则处理器120可以返回到步骤S520以在新的局部区域中执行相同的操作。即,步骤S520至S525的操作530表示处理器120针对一个局部区域的操作。
一旦已经针对所有局部区域完成步骤S530,则处理器120可以停止校正图像的亮度值的操作。
图6a、图6b和图6c是描述根据各个实施例的使用户方便的功能的视图。
如图6a中所示,电子设备100可以被安装在墙上,并且可以是具有显示器140的显示设备。显示设备可以与诸如智能电话之类的用户终端设备通信,并且可以引导拍摄显示设备的背面。
例如,显示设备可以将引导拍摄要用作背景的图像的命令发送到用户终端设备,并且用户终端设备可以根据从显示设备接收的命令来执行相机应用。
当显示设备从用户终端设备接收到相机应用被执行的信息时,显示设备可以显示引导要拍摄的被摄体的图像。例如,显示设备可以在左侧显示包括四个点的图像,如图6a的左图所示。可替代地,显示设备可以在顶部显示包括四个点的图像,如图6a的中间图所示。可替代地,显示设备可以在右侧显示包括四个点的图像,如图6a的右图所示。显示设备可以仅显示图6a的三个图像中的一个,或者可以顺序地显示三个图像。
用户可以操纵用户终端设备以包括显示在显示设备上的图像和显示设备的外部区域并执行拍摄。例如,如图6a的左图所示,用户可以通过改变用户终端设备的位置来执行拍摄,使得图像中包括的四个点位于用户终端设备的显示器的右侧。
显示设备可以从用户终端设备接收拍摄的图像,并且可以扩展拍摄的图像的除了包括显示设备的第一区域之外的其余区域,以获得最终图像。例如,显示设备可以获得其余区域的副本,并且连接其余区域并进行复制以获得最终图像。
显示设备可以针对以各种方式拍摄的所有图像生成最终图像,并按顺序显示所生成的最终图像。当选择了最终图像中的一个时,显示设备可以校正所选择的最终图像的亮度值,并以校正后的亮度值显示最终图像。亮度值校正方法可以与上述方法相同。
显示设备可以与用户终端设备交互以提供用于编辑所显示的最终图像的功能。例如,如图6b中所示,用户终端设备可以提供使用内画技术编辑最终图像的不必要空间的功能。可替代地,用户终端设备可以提供调整最终图像的色调的功能,如图6c中所示。可替代地,用户终端设备可以提供调整最终图像的亮度值的功能,如图6d中所示。当从用户终端设备接收到编辑命令时,显示设备可以编辑并显示最终图像。
图7a和图7b是描述根据另一实施例的用于校正亮度值的方法的视图。
首先,如图7a中所示,电子设备100可以是具有显示器140的显示设备。电子设备100还可以包括照度传感器190。显示设备可以显示其亮度值被校正的图像。亮度值校正方法可以与上述方法相同。此处,显示设备周围的照明可以全部关闭。
此后,如图7b中所示,当照明被打开时,显示设备可以基于照明被打开之前和之后的亮度差来校正图像的亮度值,并且显示校正后的图像。
然而,本公开不限于此,并且显示设备可以检测照明的位置和亮度,并且可以根据检测到的信息来显示和校正图像。
例如,如图7b中所示,当位于显示设备的左上端的灯被打开时,显示设备校正亮度值,使得图像的左上端变亮并且图像的右下端变暗。
在图7a和图7b中,已经描述了电子设备100是显示设备。然而,本公开不限于此。例如,电子设备100和显示设备可以分开设置,并且电子设备100可以提供要在显示设备上显示的图像。
图8a和图8b是描述根据实施例的使用人工智能算法的方法的视图。
如图8a和图8b中所示,处理器120可以基于其中学习了图像的图像拍摄环境的图像分类模型和图像类型来校正图像的亮度值。此处,可以通过经由人工智能算法学习与多个样本图像中的每一个相对应的信息和多个样本图像来获得图像分类模型。然后图像拍摄环境可以包括其中拍摄了图像的环境的照明类型和照明位置中的至少一个。
例如,如图8b中所示,处理器120可以将照明类型识别为熄灭的灯泡1000、变暗的灯泡5000或明亮的灯泡10000。
例如,处理器120可以基于图像分类模型获得用于图像的亮度值校正的信息。例如,处理器120可以基于图像分类模型获得参考点的数量、用于获取参考点的速率等。
在以上描述中,已经描述了通过一种图像分类模型获取图像的类型和拍摄环境,但是本公开不限于此。例如,人工智能模型可以包括用于获得图像类型的图像分类模型、用于获得照明的图像分类模型和用于获得照明位置的图像分类模型。
可替代地,处理器120可以仅使用人工智能算法来校正图像的亮度值。例如,处理器120可以基于图像亮度值校正模型来校正图像中所包括的每个像素的亮度值。此处,可以通过经由人工智能算法学习在亮度值校正之前的多个原始图像和根据上述方法校正了亮度值的多个校正图像来获得图像亮度值校正模型。
如上所述的学习模型可以从外部服务器提供。外部服务器提供的学习模型是基于人工智能算法的学习确定模型,例如,它可以是基于神经网络的模型。学习确定模型可以包括多个加权网络节点,它们可以被设计为在计算机上模拟人脑结构并模拟人神经网络的神经元。多个网络节点可以各自建立连接关系,使得神经元模拟通过突触发送和接收信号的神经元的突触活动。另外,学习确定模型可以包括例如神经网络模型或从神经网络模型开发的深度学习模型。在深度学习模型中,多个网络节点位于不同的深度(或层),并且可以根据卷积连接关系来发送和接收数据。学习确定模型的示例包括但不限于深度神经网络(DNN)、递归神经网络(RNN)和双向递归深度神经网络(BRDNN)。
图9是示出根据实施例的外部服务器900的配置的方框图。
参考图9,外部服务器900可以实现学习单元910和响应单元920中的至少一个。
学习单元910可以使用学习数据来生成或训练人工智能模型以校正图像的亮度值。学习单元910可以使用收集到的学习数据来生成具有确定标准的确定模型。
响应单元920可以使用预定数据作为经学习的人工智能模型的输入数据来获得校正了预定图像中所包括的每个像素的亮度的图像。
例如,响应单元920可以将图像用作经学习的人工智能模型的输入数据,并且获得对图像中所包括的每个像素的亮度值进行了校正的图像。
根据实施例,学习单元910和响应单元920可以在外部服务器900中实现,但这仅仅是示例性的,学习单元910和响应单元920可以在电子设备100内部实现。具体地,学习单元910的至少一部分和响应单元920的至少一部分可以被实现为软件模块或至少一种硬件芯片形式,并且被安装在电子设备100中。例如,学习单元910和响应单元920中的至少一个可以被制造为用于人工智能(AI)的专用硬件芯片、或常规通用处理器(例如,CPU或应用处理器)或仅图形处理器(例如,GPU)的形式,并且可以被安装在如上所述的各种电子设备上。本文中,用于人工智能的专用硬件芯片是用于概率计算的专用处理器,并且它比现有的通用处理器具有更高的并行处理性能,因此它可以快速处理诸如机器学习之类的人工智能中的计算任务。当学习单元910和响应单元920被实现为软件模块(或包括指令的程序模块)时,软件模块可以被存储在计算机可读的非暂时性计算机可读介质中。在这种情况下,软件模块可以由操作系统(OS)或由预定的应用提供。可替代地,一些软件模块可以由O/S提供,并且一些软件模块可以由预定的应用提供。
在这种情况下,学习单元910和响应单元920可以被安装在一个电子设备上,或者可以被分别安装在单独的电子设备上。例如,学习单元910和响应单元920中的一个可以在电子设备100中实现,而另一个可以在外部服务器中实现。另外,学习单元910和响应单元920可以经由有线或无线通信将由学习单元910构造的模型信息提供给响应单元920,并且将输入到响应单元920的数据作为附加数据提供给学习单元910。
图10是示出根据实施例的学习单元的方框图。
参考图10,根据一些实施例的学习单元910可以实现学习数据获取单元910-1和模型学习单元910-4。学习单元910可以进一步选择性地实现学习数据预处理器910-2、学习数据选择单元910-3和模型评估单元910-5中的至少一个。
学习数据获取单元910-1可以获得便于人工智能模型校正图像的亮度值所需的学习数据。学习数据获取单元910-1可以获得多个样本图像或与多个样本图像中的每一个相对应的信息,作为学习数据。学习数据可以是由学习单元910或学习单元910的制造商收集或测试的数据。
模型学习单元910-4可以使用学习数据,使得人工智能模型具有用于校正图像的亮度值的标准。例如,模型学习单元910-4可以通过对学习数据的至少一部分进行监督学习来学习人工智能模型。可替代地,模型学习单元910-4可以例如在没有特定指导的情况下通过自身使用学习数据来进行学习,以通过检测用于提供对亮度值的校正的标准的无监督学习来进行人工智能模型学习。此外,模型学习单元910-4可以使用例如关于根据学习提供响应的结果是否正确的反馈,通过强化学习来学习人工智能模型。模型学习单元910-4还可以使用例如包括误差反向传播方法或梯度下降在内的学习算法来进行人工智能模型学习。
另外,模型学习单元910-4可以使用输入数据来学习关于应该使用哪些学习数据来校正图像的亮度值的选择标准。
当存在预先构建的多个人工智能模型时,模型学习单元910-4可以将在输入学习数据与基本学习数据之间具有高度相关性的人工智能模型确定为要学习的人工智能模型。在这种情况下,可以根据数据的类型对基本学习数据进行预分类,并且可以针对每种类型的数据对AI模型进行预构建。
当学习了人工智能模型时,模型学习单元910-4可以存储所学习的人工智能模型。在这种情况下,模型学习单元910-4可以将所学习的人工智能模型存储在外部服务器900的存储器中。可替代地,模型学习单元910-4可以将所学习的人工智能模型存储在经由有线或无线网络连接到外部服务器900的电子设备或服务器的存储器中。
学习单元910可以进一步实现学习数据预处理器910-2和学习数据选择单元910-3,以改善人工智能模型的响应结果,或者节省生成人工智能模型所需的资源或时间。
学习数据预处理器910-2可以预处理所获取的数据,从而可以使用在用于校正图像的亮度值的学习中获得的数据。也就是说,学习数据预处理器910-2可以将所获取的数据处理成预定格式。例如,学习数据预处理器910-2可以将样本图像分类为多个局部区域。
学习数据选择单元910-3可以从由学习数据获取单元910-1获取的数据或由学习数据预处理器910-2预处理的数据中选择学习所需的数据。所选择的学习数据可以被提供给模型学习单元910-4。学习数据选择单元910-3可以根据预定的选择标准从获取的或预处理的数据中选择学习所需的学习数据。学习数据选择单元910-3还可以通过模型学习单元910-4的学习,根据预定的选择标准选择学习数据。
学习单元910可以进一步实现模型评估单元910-5以改善人工智能模型的响应结果。
模型评估单元910-5可以将评估数据输入到人工智能模型,并且如果从评估结果输出的响应结果不满足预定标准,则模型评估单元可以使模型学习单元910-4再次学习。
当存在多个经学习的人工智能模型时,模型评估单元910-5可以评估每个经学习的人工智能模型是否满足预定标准,并将满足预定标准的模型确定为最终人工智能模型。此处,当存在满足预定标准的多个模型时,模型评估单元910-5可以将以较高评估分数的顺序设置的一个或预定数量的模型确定为最终人工智能模型。
图11是示出根据实施例的响应单元的方框图。
参考图11,根据一些实施例的响应单元920可以实现输入数据获取单元920-1和响应结果提供单元920-4。
另外,响应单元920可以进一步以选择性的方式实现输入数据预处理器920-2、输入数据选择单元920-3和模型更新单元920-5中的至少一个。
输入数据获取单元920-1可以获取校正图像的亮度值所需的数据。响应结果提供单元920-4可以将从输入数据获取单元920-1获得的输入数据作为输入值应用于经学习的人工智能模型,以获得其中对图像的亮度值进行了校正的图像。响应结果提供单元920-4将由稍后将描述的输入数据预处理器920-2或输入数据选择单元920-3选择的数据应用于AI模型以获得响应结果。响应结果可以由AI模型确定。
根据实施例,响应结果提供单元920-4可以应用对从输入数据获取单元920-1获得的图像的亮度值进行校正的人工智能模型,以获得其中对亮度值进行了校正的图像。
响应单元920可以进一步实现输入数据预处理器920-2和输入数据选择单元920-3,以便改善AI模型的响应结果或节省提供响应结果的资源或时间。
输入数据预处理器920-2可以对所获取的数据进行预处理,使得所获取的数据可以被用于校正图像的亮度值。也就是说,输入数据预处理器920-2可以将获得的数据处理为通过响应结果提供单元920-4的预定义格式。
输入数据选择单元920-3可以从由输入数据获取单元920-1获取的数据或由输入数据预处理器920-2预处理的数据中选择提供响应所需的数据。所选择的数据可以被提供给响应结果提供单元920-4。输入数据选择单元920-3可以根据用于提供响应的预定选择标准来选择所获得的或预处理的数据中的一些或全部。输入数据选择单元920-3还可以通过模型学习单元910-4的学习,根据预定的选择标准选择数据。
模型更新单元920-5可以基于由响应结果提供单元920-4提供的响应结果的评估来控制人工智能模型的更新。例如,模型更新单元920-5可以将由响应结果提供单元920-4提供的响应结果提供给模型学习单元910-4,使得模型学习单元910-4可以请求进一步的学习或更新AI模型。
图12是示出根据实施例的通过使电子设备100和外部服务器(S)互锁来学习和确定数据的示例的视图。
参考图12,外部服务器(S)可以学习用于校正图像的亮度值的标准,并且电子设备100可以基于服务器(S)的学习结果来提供其中对亮度值进行了校正的图像。
在这种情况下,服务器S的模型学习单元910-4可以执行图10中所示的学习单元910的功能。即,服务器S的模型学习单元910-4可以学习关于应该使用电子设备的哪些文本信息或状态信息来校正图像的亮度值以及如何使用上述信息来校正亮度值的标准。
电子设备100的响应结果提供单元920-4将由输入数据选择单元920-3选择的数据应用于由服务器S生成的人工智能模型,以获得对亮度值进行了校正的图像。可替代地,电子设备100的响应结果提供单元920-4可以从服务器S接收由服务器S生成的人工智能模型,并且使用接收到的人工智能模型获得对亮度值进行了校正的图像。
图13是描述根据实施例的电子设备的控制方法的流程图。
首先,基于图像的全局区域中所包括的每个像素的亮度值,获得全局区域的第一累积分布(S1310)。然后,基于图像的局部区域中所包括的每个像素的亮度值,获得局部区域的第二累积分布(S1320)。然后,基于第一累积分布和第二累积分布来校正局部区域中所包括的每个像素的亮度值(S1330)。
此处,校正步骤(S1330)可以包括:获得与第一累积分布和第二累积分布的每一个中的总像素累积数的第一比率的像素累积数相对应的第一亮度值;以及基于在第一累积分布和第二累积分布的每一个中获得的第一亮度值来获得用于校正局部区域中所包括的每个像素的亮度值的校正函数。
校正步骤(S1330)还包括:获得与第一累积分布和第二累积分布的每一个中的总像素累积数的第二比率的像素累积数相对应的第二亮度值;并且获取校正函数的步骤包括如下步骤:基于在第一累积分布和第二累积分布的每一个中获得的第一亮度值和第二亮度值来计算用于校正局部区域中所包括的每个像素的亮度值的校正函数。
如果局部区域中所包括的每个像素的亮度值被校正,则还可以包括以下步骤:基于校正后的亮度值来更新第一累积分布,基于图像的另一局部区域中所包括的每个像素的亮度值来获得关于另一局部区域的第三累积分布,并基于更新后的第一累积分布和第三累积分布来校正另一局部区域中所包括的每个像素的亮度值。
另外,获取第一累积分布的步骤(S1310)可以包括:通过在图像的全局区域中识别亮度值小于或等于多个亮度值中的每一个亮度值的像素数量来获取第一累积分布,获得第二累积分布的步骤(S1320)可以包括:通过在图像的局部区域中识别亮度值小于或等于多个亮度值中的每一个亮度值的像素数量来获取第二累积分布。
如果图像的局部区域中所包括的像素的亮度值等于或小于预定的第一阈值,则校正步骤(S1330)可以包括校正图像的局部区域中所包括的像素的亮度值,并且如果亮度值等于或大于预定的第二阈值,则校正步骤可以包括校正为第四亮度值。
还可以包括基于图像分类模型获取图像的类型和图像的拍摄环境中的至少一个的步骤,并且校正步骤(S1330)可以包括:基于所获取的图像类型和图像拍摄环境中的至少一个来校正局部区域中所包括的每个像素的亮度值。此处,图像分类模型可以通过人工智能算法学习并获取多个样本图像以及与多个样本图像中的每一个相对应的信息。
此处,图像拍摄环境可以包括其中拍摄了图像的环境的照明类型和照明位置中的至少一个。
另外,还可以包括基于图像的全局区域的亮度分布来识别局部区域的步骤。
还可以包括显示对亮度值进行了校正的图像。
根据如上所述的各个实施例,电子设备将图像的全局区域的亮度分布与局部区域的亮度分布进行比较以校正局部区域的亮度值,并且可以提供亮度分布均匀的图像。
根据本公开的实施例,可以利用包括存储在机器可读存储介质上的指令的其它计算机可读介质来实践上述各个实施例。设备可以包括根据所公开的实施例的电子设备(例如,电子设备100)作为可操作以从存储介质调用所存储的指令并且对被调用的指令进行动作的设备。当指令由处理器执行时,处理器可以直接地或在处理器的控制下使用其它组件来执行与该指令相对应的功能。指令可以包括由编译器或解释器生成或执行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。此处,“非暂时性”是指存储介质不包括信号并且是有形的,但是不区分数据是永久存储还是临时存储在存储介质中。
另外,根据本公开的一个实施例,可以在计算机程序产品中提供根据上述各个实施例的方法。计算机程序产品可以作为商品在买卖双方之间进行交易。计算机程序产品可以以机器可读存储介质(例如,紧凑盘只读存储器(CD-ROM))的形式分发,或者通过应用商店(例如,PlayStoreTM)在线分发。在在线分发的情况下,计算机程序产品的至少一部分可以临时存储或至少临时存储在存储介质中,诸如制造商的服务器、应用商店的服务器或中继服务器的存储器。
另外,根据本公开的一个实施例,上述各个实施例可以被实现为使用软件、硬件的计算机或类似设备上的计算机可读代码,或者可以在记录介质中实现。在一些情况下,本文描述的实施例可以由处理器本身实现。根据软件实现方式,可以在单独的软件模块中实现诸如本文描述的过程和功能的实施例。每个软件模块可以执行本文描述的功能和操作中的一个或多个。
用于执行根据上述各个实施例的设备的处理操作的计算机指令可以存储在非暂时性计算机可读介质中。当由特定设备的处理器执行时,存储在非易失性计算机可读介质中的计算机指令使特定设备执行根据上述各个实施例的设备上的处理操作。非暂时性计算机可读介质是存储数据并且可由设备读取的介质。非暂时性计算机可读介质的特定示例包括CD、DVD、硬盘、蓝光盘、USB、存储卡、ROM等。
此外,根据上述各个实施例的每个组件(例如,模块或程序)可以由一个或多个实体组成,并且可以省略上述子组件中的一些子组件,或者可以在各个实施例中进一步包括其它子组件。可替代地或附加地,一些组件(例如,模块或程序)可以被集成到一个实体中,以执行在集成之前由每个相应组件执行的相同或相似的功能。根据各个实施例,由模块、程序或其它组件执行的操作可以顺序地、以并行、重复或启发的方式执行,或者可以按不同的顺序执行至少一些操作。
上文中,尽管已经示出并描述了本公开的实施例,但是应当理解,本公开不限于所公开的实施例,并且在不脱离本公开的精神和范围的情况下可以进行各种修改。因此,不应与本公开的技术精神或范围分开地理解所做修改。

Claims (13)

1.一种电子设备,包括:
存储器;以及
处理器,被配置成:
基于存储在所述存储器中的图像的全局区域中所包括的每个像素的亮度值来识别所述全局区域的第一累积分布,
基于所述图像的局部区域中所包括的每个像素的亮度值来识别所述局部区域的第二累积分布,
基于所述第一累积分布和所述第二累积分布来校正所述局部区域中所包括的每个像素的亮度值,以及
基于所述局部区域中所包括的每个像素的校正后的亮度值生成校正后的图像信号,
其中所述处理器还被配置成:
基于所述局部区域中所包括的每个像素的亮度值被校正,根据所述局部区域中所包括的每个像素的校正后的亮度值来更新所述第一累积分布,
基于所述图像的另一局部区域中所包括的每个像素的亮度值来识别关于所述另一局部区域的第三累积分布,以及
基于更新后的第一累积分布和所述第三累积分布来校正所述另一局部区域中所包括的每个像素的亮度值。
2.根据权利要求1所述的电子设备,其中所述处理器还被配置成:
相对于所述第一累积分布中的第一总累积像素数,识别与第一比率相对应的第一全局亮度值,
相对于所述第二累积分布中的第二总累积像素数,识别与所述第一比率相对应的第一局部亮度值,
基于所述第一全局亮度值和所述第一局部亮度值来识别校正函数以校正所述局部区域中所包括的每个像素的亮度值,以及
基于所述校正函数生成所述校正后的图像信号。
3.根据权利要求2所述的电子设备,其中所述处理器还被配置成:
相对于所述第一累积分布中的所述第一总累积像素数,识别与第二比率相对应的第二全局亮度值,
相对于所述第二累积分布,识别与所述第二比率相对应的第二局部亮度值,以及
基于所述第一全局亮度值、所述第一局部亮度值、所述第二全局亮度值和所述第二局部亮度值来识别所述校正函数以校正所述局部区域中所包括的每个像素的亮度值。
4.根据权利要求1所述的电子设备,其中所述处理器还被配置成:
通过在所述图像的所述全局区域中识别亮度值小于或等于多个亮度值中的每一个亮度值的像素的数量,来识别所述第一累积分布,以及
通过在所述图像的所述局部区域中识别亮度值小于或等于所述多个亮度值中的每一个亮度值的像素的数量,来识别所述第二累积分布。
5.根据权利要求1所述的电子设备,其中所述处理器还被配置成:
基于所述局部区域中所包括的像素的亮度值小于或等于第一阈值,将所述局部区域中所包括的像素的亮度值校正为第三亮度值,以及
基于所述局部区域中所包括的像素的亮度值大于或等于第二阈值,将所述局部区域中所包括的像素的亮度值校正为第四亮度值。
6.根据权利要求1所述的电子设备,其中所述处理器还被配置成:
基于存储在所述存储器中的分类模型识别所述图像的类型和所述图像的拍摄环境中的至少一个,以及
基于所述图像的类型和所述图像的拍摄环境中的至少一个来校正所述局部区域中所包括的每个像素的亮度值,
其中所述分类模型通过人工智能算法学习并获取多个样本图像以及与所述多个样本图像中的每一个相对应的信息。
7.根据权利要求6所述的电子设备,其中所述处理器还被配置成:基于所述拍摄环境的照明类型和照明位置中的至少一个来识别所述图像的拍摄环境。
8.根据权利要求1所述的电子设备,其中所述处理器还被配置成:基于所述图像的所述全局区域的全局亮度分布来识别所述局部区域。
9.根据权利要求1所述的电子设备,还包括:
显示器,
其中所述处理器还被配置成基于所述校正后的图像信号来控制所述显示器。
10.一种控制电子设备的方法,所述方法包括:
基于存储在存储器中的图像的全局区域中所包括的每个像素的亮度值来识别所述全局区域的第一累积分布;
基于所述图像的局部区域中所包括的每个像素的亮度值来识别所述局部区域的第二累积分布;
基于所述第一累积分布和所述第二累积分布来校正所述局部区域中所包括的每个像素的亮度值;
基于所述局部区域中所包括的每个像素的亮度值被校正,根据所述局部区域中所包括的每个像素的校正后的亮度值来更新所述第一累积分布;
基于所述图像的另一局部区域中所包括的每个像素的亮度值来识别关于所述另一局部区域的第三累积分布;
基于更新后的第一累积分布和所述第三累积分布来校正所述另一局部区域中所包括的每个像素的亮度值;以及
基于所述局部区域和所述另一局部区域中所包括的每个像素的校正后的亮度值生成校正后的图像信号。
11.根据权利要求10所述的方法,其中校正所述局部区域中所包括的每个像素的亮度值包括:
相对于所述第一累积分布中的第一总累积像素数,识别与第一比率相对应的第一全局亮度值;
相对于所述第二累积分布中的第二总累积像素数,识别与所述第一比率相对应的第一局部亮度值;以及
基于所述第一全局亮度值和所述第一局部亮度值来识别校正函数以校正所述局部区域中所包括的每个像素的亮度值。
12.根据权利要求11所述的方法,其中校正所述局部区域中所包括的每个像素的亮度值还包括:
相对于所述第一累积分布中的所述第一总累积像素数,识别与第二比率相对应的第二全局亮度值;以及
相对于所述第二累积分布,识别与所述第二比率相对应的第二局部亮度值,
其中识别所述校正函数是基于所述第一全局亮度值、所述第一局部亮度值、所述第二全局亮度值和所述第二局部亮度值。
13.根据权利要求10所述的方法,其中识别所述第一累积分布包括:通过在所述图像的所述全局区域中识别亮度值小于或等于多个亮度值中的每一个亮度值的像素的数量,来识别所述第一累积分布;以及
识别所述第二累积分布包括:通过在所述图像的所述局部区域中识别亮度值小于或等于所述多个亮度值中的每一个亮度值的像素的数量,来识别所述第二累积分布。
CN201980025565.6A 2018-05-29 2019-01-03 电子设备及其控制方法 Expired - Fee Related CN111989917B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201862677454P 2018-05-29 2018-05-29
US62/677,454 2018-05-29
US201862677917P 2018-05-30 2018-05-30
US62/677,917 2018-05-30
KR10-2018-0088934 2018-07-31
KR1020180088934A KR102562052B1 (ko) 2018-05-29 2018-07-31 전자 장치 및 그 제어 방법
PCT/KR2019/000092 WO2019231068A1 (en) 2018-05-29 2019-01-03 Electronic device and control method thereof

Publications (2)

Publication Number Publication Date
CN111989917A CN111989917A (zh) 2020-11-24
CN111989917B true CN111989917B (zh) 2022-08-05

Family

ID=68837443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980025565.6A Expired - Fee Related CN111989917B (zh) 2018-05-29 2019-01-03 电子设备及其控制方法

Country Status (3)

Country Link
EP (1) EP3738305B1 (zh)
KR (1) KR102562052B1 (zh)
CN (1) CN111989917B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112019827B (zh) * 2020-09-02 2022-01-25 上海网达软件股份有限公司 视频图像色彩增强的方法、装置、设备及存储介质
WO2022265321A1 (en) * 2021-06-15 2022-12-22 Samsung Electronics Co., Ltd. Methods and systems for low light media enhancement
EP4307089A4 (en) 2021-08-31 2024-10-23 Samsung Electronics Co., Ltd. DISPLAY DEVICE AND OPERATING METHOD THEREOF
CN121073852A (zh) * 2025-11-10 2025-12-05 中国科学院苏州生物医学工程技术研究所 一种扫描电镜序列图像全局优化方法及系统、设备、介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011076198A (ja) * 2009-09-29 2011-04-14 Mitsubishi Electric Corp 画像処理装置、画像処理用プログラムおよび画像処理方法
CN104038752A (zh) * 2014-06-04 2014-09-10 上海师范大学 基于三维高斯混合模型的多视点视频直方图颜色校正
US8885105B1 (en) * 2013-06-17 2014-11-11 Cyberlink Corp. Systems and methods for performing region-based local contrast enhancement

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100756318B1 (ko) * 2006-01-16 2007-09-06 삼성전자주식회사 이득 조절 가능한 절단 빈도함수 평활화를 이용한 영상처리 방법 및 시스템
US8477247B2 (en) * 2008-09-30 2013-07-02 Intel Corporation Joint enhancement of lightness, color and contrast of images and video
US8339475B2 (en) * 2008-12-19 2012-12-25 Qualcomm Incorporated High dynamic range image combining
TWI458341B (zh) * 2011-08-10 2014-10-21 Univ Nat Taipei Technology 用於顯示裝置之影像品質提升方法
GB2519336B (en) * 2013-10-17 2015-11-04 Imagination Tech Ltd Tone Mapping
IN2013CH06084A (zh) * 2013-12-26 2015-07-03 Infosys Ltd
WO2016056787A1 (en) * 2014-10-06 2016-04-14 Samsung Electronics Co., Ltd. Display device and method of controlling the same
US9741305B2 (en) * 2015-08-04 2017-08-22 Apple Inc. Devices and methods of adaptive dimming using local tone mapping
US10325351B2 (en) * 2016-03-11 2019-06-18 Qualcomm Technologies, Inc. Systems and methods for normalizing an image
US10147166B2 (en) * 2016-09-23 2018-12-04 Apple Inc. Methods and systems for spatially localized image editing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011076198A (ja) * 2009-09-29 2011-04-14 Mitsubishi Electric Corp 画像処理装置、画像処理用プログラムおよび画像処理方法
US8885105B1 (en) * 2013-06-17 2014-11-11 Cyberlink Corp. Systems and methods for performing region-based local contrast enhancement
CN104038752A (zh) * 2014-06-04 2014-09-10 上海师范大学 基于三维高斯混合模型的多视点视频直方图颜色校正

Also Published As

Publication number Publication date
EP3738305B1 (en) 2023-12-06
KR102562052B1 (ko) 2023-08-02
EP3738305A1 (en) 2020-11-18
CN111989917A (zh) 2020-11-24
EP3738305A4 (en) 2021-03-17
KR20190135888A (ko) 2019-12-09

Similar Documents

Publication Publication Date Title
US11470385B2 (en) Method and apparatus for filtering video
US20230316470A1 (en) Method for correcting image by device and device therefor
JP7466289B2 (ja) 映像処理装置及びその動作方法
US11379955B2 (en) Electronic device, image processing method thereof, and computer-readable recording medium
KR102735116B1 (ko) 전자 장치 및 그 제어 방법
CN110088799B (zh) 图像处理设备和图像处理方法
US11126140B2 (en) Electronic device, external device capable of being combined with the electronic device, and a display method thereof
CN111989917B (zh) 电子设备及其控制方法
US11436760B2 (en) Electronic apparatus and control method thereof for reducing image blur
KR20200008845A (ko) 전자 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
US10997947B2 (en) Electronic device and control method thereof
CN110291794B (zh) 用于对视频进行过滤的方法和设备
US11184670B2 (en) Display apparatus and control method thereof
CN109891459B (zh) 图像处理装置及图像处理方法
US20240394837A1 (en) Method for correcting image by device and device therefor
KR20260021147A (ko) 전자 장치 및 그 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220805