[go: up one dir, main page]

CN106101556B - 移动终端的图像合成方法、装置及移动终端 - Google Patents

移动终端的图像合成方法、装置及移动终端 Download PDF

Info

Publication number
CN106101556B
CN106101556B CN201610616090.6A CN201610616090A CN106101556B CN 106101556 B CN106101556 B CN 106101556B CN 201610616090 A CN201610616090 A CN 201610616090A CN 106101556 B CN106101556 B CN 106101556B
Authority
CN
China
Prior art keywords
photographed
mobile terminal
photosensitive
photosensitive element
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610616090.6A
Other languages
English (en)
Other versions
CN106101556A (zh
Inventor
韦怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201610616090.6A priority Critical patent/CN106101556B/zh
Publication of CN106101556A publication Critical patent/CN106101556A/zh
Priority to US16/302,323 priority patent/US10848678B2/en
Priority to EP17833343.1A priority patent/EP3474535B1/en
Priority to PCT/CN2017/087806 priority patent/WO2018019039A1/zh
Application granted granted Critical
Publication of CN106101556B publication Critical patent/CN106101556B/zh
Priority to US16/240,348 priority patent/US10554877B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48Increasing resolution by shifting the sensor relative to the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种移动终端的图像合成方法、装置及移动终端,该移动终端的图像合成方法包括在用户使用移动终端对待拍照物体进行拍照时,基于移动终端中的感光元件的预设像素点对待拍照物体进行相位对焦;控制感光元件在初始位置处产生位移,以使用原始像素点替换预设像素点,并得到替换像素点;基于替换像素点采集待拍照物体的第一感光数据,并控制感光元件恢复至初始位置处;对待拍照物体进行拍照,使感光元件在初始位置处采集待拍照物体的第二感光数据;根据第一感光数据和第二感光数据合成待拍照物体的图像。通过本发明能够有效提高相位对焦的准确度,补偿遮蔽像素点,有效克服由于移动终端的振动而产生的图像模糊。

Description

移动终端的图像合成方法、装置及移动终端
技术领域
本发明涉及移动终端技术领域,尤其涉及一种移动终端的图像合成方法、装置及移动终端。
背景技术
光学防抖技术(Optical Image Stabilization,OIS)能够有效避免用户在使用移动终端进行拍照的过程中由于抖动而造成的图像模糊。OIS采用磁力包裹悬浮镜头,从而有效克服因移动终端振动产生的图像模糊。相关技术中,通过感光元件实现防抖,原理为:将感光元件固定在一个能上下左右移动的支架上,通过陀螺仪传感器感应移动终端抖动的方向及幅度数据,然后陀螺仪传感器将这些数据传送至处理器侧进行筛选和放大,计算出可以抵消抖动的感光元件的移动量。在用户使用移动终端进行拍照的过程中,还需要对待拍照景象进行相位对焦,相关技术中,通过在感光元件上预留出一些遮蔽像素点,通过待拍照景象的像素点之间的距离及其变化等因素来决定对焦的偏移值,从而实现相位对焦。
这种方式下,遮蔽像素点只能用来检测相位而不能用来显示图像,遮蔽像素点会影响拍照所得图像的质量,遮蔽像素点的密度越高,相位对焦越精准,但是,拍照所得图像的质量越差。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的一个目的在于提出一种移动终端的图像合成方法,能够有效提高相位对焦的准确度,补偿遮蔽像素点,有效克服因终端移动而产生的图像模糊。
本发明的另一个目的在于提出一种微机电光学防抖系统。
本发明的另一个目的在于提出一种移动终端的图像合成装置。
本发明的另一个目的在于提出一种移动终端。
为达到上述目的,本发明第一方面实施例提出的移动终端的图像合成方法,包括:在用户使用移动终端对待拍照物体进行拍照时,基于所述移动终端中的感光元件的预设像素点对所述待拍照物体进行相位对焦;控制所述感光元件在初始位置处产生位移,以使用原始像素点替换所述预设像素点,并得到替换像素点;基于所述替换像素点采集所述待拍照物体的第一感光数据,并控制所述感光元件恢复至所述初始位置处;对所述待拍照物体进行拍照,使所述感光元件在所述初始位置处采集所述待拍照物体的第二感光数据;根据所述第一感光数据和所述第二感光数据合成所述待拍照物体的图像。
本发明第一方面实施例提出的移动终端的图像合成方法,通过控制感光元件在初始位置处产生位移,以使用原始像素点替换预设像素点,并得到替换像素点,基于替换像素点采集待拍照物体的第一感光数据,并控制感光元件恢复至初始位置处,对待拍照物体进行拍照,使感光元件在初始位置处采集待拍照物体的第二感光数据,根据第一感光数据和第二感光数据合成待拍照物体的图像,能够有效提高相位对焦的准确度,补偿遮蔽像素点,有效克服由于移动终端的振动而产生的图像模糊。
为达到上述目的,本发明第二方面实施例提出的微机电光学防抖系统,包括:感光元件,所述感光元件用于采集待拍照物体的感光数据;微机电系统,所述微机电系统用于控制所述感光元件在初始位置处产生位移。
本发明第二方面实施例提出的微机电光学防抖系统,通过感光元件来采集待拍照物体的感光数据,且通过微机电系统来控制感光元件在初始位置处产生位移能够有效提高相位对焦的准确度,补偿遮蔽像素点,有效克服由于移动终端的振动而产生的图像模糊。
为达到上述目的,本发明第三方面实施例提出的移动终端的图像合成装置,包括:处理模块,用于在用户使用移动终端对待拍照物体进行拍照时,基于所述移动终端中的感光元件的预设像素点对所述待拍照物体进行相位对焦;控制模块,用于控制所述感光元件在初始位置处产生位移,以使用原始像素点替换所述预设像素点,并得到替换像素点;采集模块,用于基于所述替换像素点采集所述待拍照物体的第一感光数据,并控制所述感光元件恢复至所述初始位置处;拍照模块,用于对所述待拍照物体进行拍照,使所述感光元件在所述初始位置处采集所述待拍照物体的第二感光数据;合成模块,用于根据所述第一感光数据和所述第二感光数据合成所述待拍照物体的图像。
本发明第三方面实施例提出的移动终端的图像合成装置,通过控制感光元件在初始位置处产生位移,以使用原始像素点替换预设像素点,并得到替换像素点,基于替换像素点采集待拍照物体的第一感光数据,并控制感光元件恢复至初始位置处,对待拍照物体进行拍照,使感光元件在初始位置处采集待拍照物体的第二感光数据,根据第一感光数据和第二感光数据合成待拍照物体的图像,能够有效提高相位对焦的准确度,补偿遮蔽像素点,有效克服由于移动终端的振动而产生的图像模糊。
为达到上述目的,本发明第四方面实施例提出的移动终端,包括:壳体;处理器;存储器;电路板和电源电路;其中,电路板安置在壳体围成的空间内部,处理器和存储器设置在电路板上;电源电路,用于为移动终端的各个电路或器件供电;存储器用于存储可执行程序代码;处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序,以用于执行:在用户使用移动终端对待拍照物体进行拍照时,基于所述移动终端中的感光元件的预设像素点对所述待拍照物体进行相位对焦;控制所述感光元件在初始位置处产生位移,以使用原始像素点替换所述预设像素点,并得到替换像素点;基于所述替换像素点采集所述待拍照物体的第一感光数据,并控制所述感光元件恢复至所述初始位置处;对所述待拍照物体进行拍照,使所述感光元件在所述初始位置处采集所述待拍照物体的第二感光数据;根据所述第一感光数据和所述第二感光数据合成所述待拍照物体的图像。
本发明第四方面实施例提出的移动终端,通过控制感光元件在初始位置处产生位移,以使用原始像素点替换预设像素点,并得到替换像素点,基于替换像素点采集待拍照物体的第一感光数据,并控制感光元件恢复至初始位置处,对待拍照物体进行拍照,使感光元件在初始位置处采集待拍照物体的第二感光数据,根据第一感光数据和第二感光数据合成待拍照物体的图像,能够有效提高相位对焦的准确度,补偿遮蔽像素点,有效克服由于移动终端的振动而产生的图像模糊。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1是本发明一实施例提出的移动终端的图像合成方法的流程示意图;
图2为本发明实施例中感光元件上预设像素点的示意图;
图3是本发明一实施例提出的微机电光学防抖系统的结构示意图;
图4为本发明实施例微机电光学防抖系统结构示意图;
图5为本发明实施例微机电系统结构俯视图;
图6是本发明另一实施例提出的微机电光学防抖系统的结构示意图;
图7为本发明实施例另一微机电光学防抖系统结构示意图;
图8为本发明实施例另一微机电光学防抖系统结构;
图9为本发明实施例微机电光学防抖系统结构俯视图;
图10为本发明一实施例提出的移动终端的图像合成装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。相反,本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
图1是本发明一实施例提出的移动终端的图像合成方法的流程示意图。本实施例以该移动终端的图像合成方法被配置为移动终端的图像合成装置中来举例说明。本发明的实施例可以应用在用户使用移动终端对待拍照物体进行拍照的过程中。
参见图1,该移动终端的图像合成方法包括:
S11:在用户使用移动终端对待拍照物体进行拍照时,基于移动终端中的感光元件的预设像素点对待拍照物体进行相位对焦。
在本发明的实施例中,移动终端可以是智能手机、平板电脑、个人数字助理、电子书等具有各种操作系统的硬件设备,对此不作限制。
在本发明的实施例中,待拍照物体可以为用户使用移动终端需要对其进行拍照的场景、人物、景物等。
在本发明的实施例中,预设像素点为遮蔽像素点(Masked Pixels),该预设像素点为成对设置。
可选地,在用户使用移动终端对待拍照物体进行拍照时,基于移动终端中的感光元件上预设像素点对待拍照物体进行相位对焦,即,通过在感光元件上预留出一些遮蔽像素点,通过待拍照景象的像素点之间的距离及其变化等因素来决定对焦的偏移值,从而实现相位对焦。
参见图2,图2为本发明实施例中感光元件上预设像素点的示意图,例如,图2中标记字母的像素点可以为预设像素点,该预设像素点为成对设置,例如,可以将预设像素点A、B、C、D、E、F、G、H、I、J标记为预设像素点对A、B,预设像素点对C、D,预设像素点对E、F,预设像素点对G、H,预设像素点对I、J。
S12:控制感光元件在初始位置处产生位移,以使用原始像素点替换预设像素点,并得到替换像素点。
在本发明的实施例中,可以通过微机电光学防抖系统控制感光元件在初始位置处产生位移。
在本发明的实施例中,初始位置为在步骤S11中基于移动终端中的感光元件的预设像素点对待拍照物体进行相位对焦时,该感光元件在移动终端中的位置。
在本发明的实施例中,原始像素点例如可以为移动终端中的感光元件未预留遮蔽像素点时的默认像素点,原始像素点例如,与预设像素点相邻的默认像素点。
可选地,可以通过微机电光学防抖系统控制感光元件移动,使感光元件在初始位置处产生位移,以使用原始像素点替换感光元件上遮蔽像素点,得到替换像素点。
作为一种示例,参见图2,图2中标记字母的像素点为遮蔽像素点,在通过微机电光学防抖系统控制感光元件移动,使感光元件在初始位置处产生位移后,可以得到替换像素点,即通过移动位于彩色滤光片阵列下方的感光元件的位置,可造成感光元件相对彩色滤光片阵列的运动,进而使得移动前后对应同一滤光片位置处的感光像素不相同,移动前那些预设像素点(预留遮蔽像素点)的位置被移动后的原始像素点(默认像素点)替换。
S13:基于替换像素点采集待拍照物体的第一感光数据,并控制感光元件恢复至初始位置处。
在本发明的实施例中,第一感光数据为移动终端中的感光元件在初始位置处产生位移后,移动终端基于替换像素点对待拍照物体进行拍照,采集到的感光数据。
在本发明的实施例中,可以在采集到第一感光数据之后,控制感光元件恢复至初始位置处,以基于预设像素点对待拍照物体进行拍照。
S14:对待拍照物体进行拍照,使感光元件在初始位置处采集待拍照物体的第二感光数据。
在本发明的实施例中,可以在控制感光元件恢复至初始位置处,基于预设像素点对待拍照物体进行拍照,以使感光元件在初始位置处采集待拍照物体的感光数据,作为第二感光数据。
在本发明的实施例中,由于通过使感光元件在初始位置处产生位移,使用原始像素点替换感光元件上遮蔽像素点,得到的替换像素点为原始像素点,因此,移动终端可以基于第一感光数据对第二感光数据进行补偿,以补偿遮蔽像素点。
S15:根据第一感光数据和第二感光数据合成待拍照物体的图像。
在本发明的实施例中,采用第一感光数据对第二感光数据进行补偿处理,以根据补偿处理后的第二感光数据合成待拍照物体的图像。
本实施例中,通过控制感光元件在初始位置处产生位移,以使用原始像素点替换预设像素点,并得到替换像素点,基于替换像素点采集待拍照物体的第一感光数据,并控制感光元件恢复至初始位置处,对待拍照物体进行拍照,使感光元件在初始位置处采集待拍照物体的第二感光数据,根据第一感光数据和第二感光数据合成待拍照物体的图像,能够有效提高相位对焦的准确度,补偿遮蔽像素点,有效克服由于移动终端的振动而产生的图像模糊。
图3是本发明一实施例提出的微机电光学防抖系统的结构示意图。
参见图3,该微机电光学防抖系统包括:感光元件100,感光元件100用于采集待拍照物体的感光数据;微机电系统200,微机电系统200用于控制感光元件100在初始位置处产生位移。
在本发明的实施例中,微机电光学防抖系统包括:
感光元件100,感光元件100用于采集待拍照物体的感光数据。
可选地,感光元件100上设置遮蔽像素点,其中,遮蔽像素点用于对待拍照物体进行相位对焦。
可选地,在用户使用移动终端对待拍照物体进行拍照时,基于移动终端中的感光元件100上预设像素点对待拍照物体进行相位对焦,即,通过在感光元件100上预留出一些遮蔽像素点,通过待拍照景象的像素点之间的距离及其变化等因素来决定对焦的偏移值,从而实现相位对焦。
在本发明的实施例中,微机电光学防抖系统还包括:
与所述感光元件100相连的微机电系统200,微机电系统200用于控制感光元件100在初始位置处产生位移。
在本发明的实施例中,初始位置为图1所示实施例中步骤S11基于移动终端中的感光元件的预设像素点对待拍照物体进行相位对焦时,该感光元件在移动终端中的位置。
可选地,感光元件100与微机电系统200采用板上芯片技术和点胶方式相连。
在本发明的实施例中,微机电系统200用于承载感光元件100,并可以在空间直角坐标系的三轴方向移动感光元件100,以在使用移动终端进行拍照的过程中起到防抖作用。
作为一种示例,参见图4,图4为本发明实施例中一微机电光学防抖系统的结构示意图,包括:感光元件41、微机电系统42,以及胶水43,其中,感光元件41采用板上芯片技术和点胶方式与微机电系统42相连,可以通过微机电系统42控制感光元件41移动。
参见图5,图5为本发明实施例中微机电系统200的俯视结构图,微机电系统200可以上下平移,左右平移,以及旋转角度,例如,当微机电系统200需要上下移动时,模块1和模块4动作使得微机电系统200上下运动;当微机电系统200需要左右移动时,模块2或模块3动作使得微机电系统200向左或向右运动;当微机电系统200需要顺时针旋转时,模块1往上移动,模块2往右移动,模块4往下移动,模块3往左移动,使得微机电系统200顺时针旋转;同理,需要微机电系统200产生逆时针旋转,则需要模块1往下移动,模块2往左移动,模块4往上移动,模块3往右移动。
根据实际需求,通过控制模块1、模块2、模块3和/或模块4可实现微机电系统200中在空间直角坐标系的三轴方向的移动(即水平面内两个正交方向的移动、以及绕垂直于水平面的轴的旋转运动),进而使得该微机电系统200牵动感光元件100在初始位置处产生位移,以在使用移动终端进行拍照的过程中对遮蔽像素点进行补偿。
可选地,一些实施例中,参见图6,该微机电光学防抖系统还可以包括:印制电路板PCB300。
在本发明的实施例中,微机电光学防抖系统还包括:
与微机电系统200相连的印制电路板PCB300。
可选地,印制电路板PCB300与微机电系统200采用板上芯片技术和点胶方式相连。
可选地,印制电路板PCB300用于承载微机电系统200和感光元件100的重量,且用于走线。
作为一种示例,参见图7,图7为本发明实施例中另一微机电光学防抖系统的结构示意图,包括:微机电系统71,印制电路板PCB72,以及胶水73,其中,微机电系统71采用板上芯片技术和点胶方式与印制电路板PCB72相连。
作为一种示例,参见图8,图8为本发明实施例另一微机电光学防抖系统结构,包括:感光元件81,微机电系统82、印制电路板PCB83、胶水84、硅线85,以及金线86,其中,硅线85用于承载微机电系统82运动部分的重量,外边镀金,同时产生导电性,用于传输感光元件81的信号和给微机电系统82供电,金线86用于传输感光元件81的信号和给感光元件81供电。
作为一种示例,参见图9,图9为本发明实施例微机电光学防抖系统结构俯视图,包括:感光元件91,微机电系统92、硅线93,以及金线94。
本实施例中,通过印制电路板PCB与微机电系统相连,能够使印制电路板PCB承载微机电系统和感光元件的重量,且给微机电光学防抖系统供电,保证微机电光学防抖系统的正常运行。
本实施例中,通过感光元件来采集待拍照物体的感光数据,且通过微机电系统来控制感光元件在初始位置处产生位移能够有效提高相位对焦的准确度,补偿遮蔽像素点,有效克服由于移动终端的振动而产生的图像模糊。
图10是本发明一实施例提出的移动终端的图像合成装置的结构示意图。该移动终端的图像合成装置100可以通过软件、硬件或者两者的结合实现,该移动终端的图像合成装置100可以包括:处理模块101、控制模块102、采集模块103、拍照模块104,以及合成模块105。其中,
处理模块101,用于在用户使用移动终端对待拍照物体进行拍照时,基于移动终端中的感光元件的预设像素点对待拍照物体进行相位对焦。
可选地,预设像素点为遮蔽像素点。
控制模块102,用于控制感光元件在初始位置处产生位移,以使用原始像素点替换预设像素点,并得到替换像素点。
可选地,控制模块102还用于:通过微机电光学防抖系统控制感光元件在初始位置处产生位移。
采集模块103,用于基于替换像素点采集待拍照物体的第一感光数据,并控制感光元件恢复至初始位置处。
拍照模块104,用于对待拍照物体进行拍照,使感光元件在初始位置处采集待拍照物体的第二感光数据。
合成模块105,用于根据第一感光数据和第二感光数据合成待拍照物体的图像。
可选地,合成模块105还用于:采用第一感光数据对第二感光数据进行补偿处理,以根据补偿处理后的第二感光数据合成待拍照物体的图像。
需要说明的是,前述图1-图2实施例中对移动终端的图像合成方法实施例的解释说明也适用于该实施例的移动终端的图像合成装置,其实现原理类似,此处不再赘述。
本实施例中,通过控制感光元件在初始位置处产生位移,以使用原始像素点替换预设像素点,并得到替换像素点,基于替换像素点采集待拍照物体的第一感光数据,并控制感光元件恢复至初始位置处,对待拍照物体进行拍照,使感光元件在初始位置处采集待拍照物体的第二感光数据,根据第一感光数据和第二感光数据合成待拍照物体的图像,能够有效提高相位对焦的准确度,补偿遮蔽像素点,有效克服由于移动终端的振动而产生的图像模糊。
本发明实施例还提供了一种移动终端,该移动终端包括壳体、处理器、存储器、电路板和电源电路,其中,电路板安置在壳体围成的空间内部,处理器和存储器设置在电路板上;电源电路,用于为移动终端的各个电路或器件供电;存储器用于存储可执行程序代码;处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序,以用于执行:
S11’:在用户使用移动终端对待拍照物体进行拍照时,基于移动终端中的感光元件的预设像素点对待拍照物体进行相位对焦。
在本发明的实施例中,移动终端可以是智能手机、平板电脑、个人数字助理、电子书等具有各种操作系统的硬件设备,对此不作限制。
在本发明的实施例中,待拍照物体可以为用户使用移动终端需要对其进行拍照的场景、人物、景物等。
在本发明的实施例中,预设像素点为遮蔽像素点(Masked Pixels),该预设像素点为成对设置。
可选地,在用户使用移动终端对待拍照物体进行拍照时,基于移动终端中的感光元件上预设像素点对待拍照物体进行相位对焦,即,通过在感光元件上预留出一些遮蔽像素点,通过待拍照景象的像素点之间的距离及其变化等因素来决定对焦的偏移值,从而实现相位对焦。
参见图2,图2为本发明实施例中感光元件上预设像素点的示意图,例如,图2中标记字母的像素点可以为预设像素点,该预设像素点为成对设置,例如,可以将预设像素点A、B、C、D、E、F、G、H、I、J标记为预设像素点对A、B,预设像素点对C、D,预设像素点对E、F,预设像素点对G、H,预设像素点对I、J。
S12’:控制感光元件在初始位置处产生位移,以使用原始像素点替换预设像素点,并得到替换像素点。
在本发明的实施例中,可以通过微机电光学防抖系统控制感光元件在初始位置处产生位移。
在本发明的实施例中,初始位置为在步骤S11’中基于移动终端中的感光元件的预设像素点对待拍照物体进行相位对焦时,该感光元件在移动终端中的位置。
在本发明的实施例中,原始像素点例如可以为移动终端中的感光元件未预留遮蔽像素点时的默认像素点,原始像素点例如,与预设像素点相邻的默认像素点。
可选地,可以通过微机电光学防抖系统控制感光元件移动,使感光元件在初始位置处产生位移,以使用原始像素点替换感光元件上遮蔽像素点,得到替换像素点。
作为一种示例,参见图2,图2中标记字母的像素点为遮蔽像素点,在通过微机电光学防抖系统控制感光元件移动,使感光元件在初始位置处产生位移后,可以得到替换像素点,即通过移动位于彩色滤光片阵列下方的感光元件的位置,可造成感光元件相对彩色滤光片阵列的运动,进而使得移动前后对应同一滤光片位置处的感光像素不相同,移动前那些预设像素点(预留遮蔽像素点)的位置被移动后的原始像素点(默认像素点)替换。
S13’:基于替换像素点采集待拍照物体的第一感光数据,并控制感光元件恢复至初始位置处。
在本发明的实施例中,第一感光数据为移动终端中的感光元件在初始位置处产生位移后,移动终端基于替换像素点对待拍照物体进行拍照,采集到的感光数据。
在本发明的实施例中,可以在采集到第一感光数据之后,控制感光元件恢复至初始位置处,以基于预设像素点对待拍照物体进行拍照。
S14’:对待拍照物体进行拍照,使感光元件在初始位置处采集待拍照物体的第二感光数据。
在本发明的实施例中,可以在控制感光元件恢复至初始位置处,基于预设像素点对待拍照物体进行拍照,以使感光元件在初始位置处采集待拍照物体的感光数据,作为第二感光数据。
在本发明的实施例中,由于通过使感光元件在初始位置处产生位移,使用原始像素点替换感光元件上遮蔽像素点,得到的替换像素点为原始像素点,因此,移动终端可以基于第一感光数据对第二感光数据进行补偿,以补偿遮蔽像素点。
S15’:根据第一感光数据和第二感光数据合成待拍照物体的图像。
在本发明的实施例中,采用第一感光数据对第二感光数据进行补偿处理,以根据补偿处理后的第二感光数据合成待拍照物体的图像。
本实施例中,通过控制感光元件在初始位置处产生位移,以使用原始像素点替换预设像素点,并得到替换像素点,基于替换像素点采集待拍照物体的第一感光数据,并控制感光元件恢复至初始位置处,对待拍照物体进行拍照,使感光元件在初始位置处采集待拍照物体的第二感光数据,根据第一感光数据和第二感光数据合成待拍照物体的图像,能够有效提高相位对焦的准确度,补偿遮蔽像素点,有效克服由于移动终端的振动而产生的图像模糊。
需要说明的是,在本发明的描述中,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种移动终端的图像合成方法,其特征在于,包括以下步骤:
在用户使用移动终端对待拍照物体进行拍照时,基于所述移动终端中的感光元件的预设像素点对所述待拍照物体进行相位对焦;
控制所述感光元件在初始位置处产生位移,以使用原始像素点替换所述预设像素点,并得到替换像素点,所述初始位置为基于所述移动终端中的感光元件的预设像素点对所述待拍照物体进行相位对焦时,所述感光元件在所述移动终端中的位置;
基于所述替换像素点采集所述待拍照物体的第一感光数据,并控制所述感光元件恢复至所述初始位置处;
对所述待拍照物体进行拍照,使所述感光元件在所述初始位置处采集所述待拍照物体的第二感光数据;
根据所述第一感光数据和所述第二感光数据合成所述待拍照物体的图像。
2.如权利要求1所述的移动终端的图像合成方法,其特征在于,所述控制所述感光元件在初始位置处产生位移,包括:
通过微机电光学防抖系统控制所述感光元件在所述初始位置处产生位移。
3.如权利要求1所述的移动终端的图像合成方法,其特征在于,所述根据所述第一感光数据和所述第二感光数据合成所述待拍照物体的图像,包括:
采用所述第一感光数据对所述第二感光数据进行补偿处理,以根据补偿处理后的所述第二感光数据合成所述待拍照物体的图像。
4.如权利要求1所述的移动终端的图像合成方法,其特征在于,所述预设像素点为遮蔽像素点。
5.一种移动终端的图像合成装置,其特征在于,包括:
处理模块,用于在用户使用移动终端对待拍照物体进行拍照时,基于所述移动终端中的感光元件的预设像素点对所述待拍照物体进行相位对焦;
控制模块,用于控制所述感光元件在初始位置处产生位移,以使用原始像素点替换所述预设像素点,并得到替换像素点,所述初始位置为基于所述移动终端中的感光元件的预设像素点对所述待拍照物体进行相位对焦时,所述感光元件在所述移动终端中的位置;
采集模块,用于基于所述替换像素点采集所述待拍照物体的第一感光数据,并控制所述感光元件恢复至所述初始位置处;
拍照模块,用于对所述待拍照物体进行拍照,使所述感光元件在所述初始位置处采集所述待拍照物体的第二感光数据;
合成模块,用于根据所述第一感光数据和所述第二感光数据合成所述待拍照物体的图像。
6.如权利要求5所述的移动终端的图像合成装置,其特征在于,所述控制模块还用于:
通过微机电光学防抖系统控制所述感光元件在所述初始位置处产生位移。
7.如权利要求5所述的移动终端的图像合成装置,其特征在于,所述合成模块还用于:
采用所述第一感光数据对所述第二感光数据进行补偿处理,以根据补偿处理后的所述第二感光数据合成所述待拍照物体的图像。
8.如权利要求5所述的移动终端的图像合成装置,其特征在于,所述预设像素点为遮蔽像素点。
9.一种移动终端,其特征在于,包括:
壳体;
处理器;
存储器;
电路板和电源电路;
其中,电路板安置在壳体围成的空间内部,处理器和存储器设置在电路板上;电源电路,用于为移动终端的各个电路或器件供电;存储器用于存储可执行程序代码;处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序,以用于执行:
在用户使用移动终端对待拍照物体进行拍照时,基于所述移动终端中的感光元件的预设像素点对所述待拍照物体进行相位对焦;
控制所述感光元件在初始位置处产生位移,以使用原始像素点替换所述预设像素点,并得到替换像素点,所述初始位置为基于所述移动终端中的感光元件的预设像素点对所述待拍照物体进行相位对焦时,所述感光元件在所述移动终端中的位置;
基于所述替换像素点采集所述待拍照物体的第一感光数据,并控制所述感光元件恢复至所述初始位置处;
对所述待拍照物体进行拍照,使所述感光元件在所述初始位置处采集所述待拍照物体的第二感光数据;
根据所述第一感光数据和所述第二感光数据合成所述待拍照物体的图像。
CN201610616090.6A 2016-07-29 2016-07-29 移动终端的图像合成方法、装置及移动终端 Expired - Fee Related CN106101556B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201610616090.6A CN106101556B (zh) 2016-07-29 2016-07-29 移动终端的图像合成方法、装置及移动终端
US16/302,323 US10848678B2 (en) 2016-07-29 2017-06-09 Image synthesis method and apparatus for mobile terminal, and mobile terminal
EP17833343.1A EP3474535B1 (en) 2016-07-29 2017-06-09 Image synthesis method and device for mobile terminal
PCT/CN2017/087806 WO2018019039A1 (zh) 2016-07-29 2017-06-09 移动终端的图像合成方法、装置及移动终端
US16/240,348 US10554877B2 (en) 2016-07-29 2019-01-04 Image synthesis method and apparatus for mobile terminal, and mobile terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610616090.6A CN106101556B (zh) 2016-07-29 2016-07-29 移动终端的图像合成方法、装置及移动终端

Publications (2)

Publication Number Publication Date
CN106101556A CN106101556A (zh) 2016-11-09
CN106101556B true CN106101556B (zh) 2017-10-20

Family

ID=57478431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610616090.6A Expired - Fee Related CN106101556B (zh) 2016-07-29 2016-07-29 移动终端的图像合成方法、装置及移动终端

Country Status (4)

Country Link
US (1) US10848678B2 (zh)
EP (1) EP3474535B1 (zh)
CN (1) CN106101556B (zh)
WO (1) WO2018019039A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106101556B (zh) 2016-07-29 2017-10-20 广东欧珀移动通信有限公司 移动终端的图像合成方法、装置及移动终端
US10554877B2 (en) 2016-07-29 2020-02-04 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image synthesis method and apparatus for mobile terminal, and mobile terminal
CN110636331B (zh) * 2019-09-26 2022-08-09 北京百度网讯科技有限公司 用于处理视频的方法和装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4558608B2 (ja) * 2005-08-25 2010-10-06 株式会社リコー 撮像装置および撮像装置における接続方法
US8477231B2 (en) * 2008-04-30 2013-07-02 Canon Kabushiki Kaisha Image sensing apparatus
JP5475384B2 (ja) * 2009-09-29 2014-04-16 富士フイルム株式会社 撮像装置及び撮像方法
JP5439270B2 (ja) * 2010-04-26 2014-03-12 オリンパスイメージング株式会社 振動装置及びそれを用いた画像機器
RU2431889C1 (ru) 2010-08-06 2011-10-20 Дмитрий Валерьевич Шмунк Способ суперразрешения изображений и нелинейный цифровой фильтр для его осуществления
EP2842077A4 (en) * 2012-04-26 2016-04-20 Univ Columbia SYSTEMS, METHODS AND MEDIA FOR INTERACTIVE REFOCUSING OF PICTURES
KR101349524B1 (ko) * 2012-06-29 2014-01-09 엘지이노텍 주식회사 카메라 모듈
KR101349473B1 (ko) * 2012-07-20 2014-01-09 엘지이노텍 주식회사 카메라 모듈
JP5838270B2 (ja) 2012-10-31 2016-01-06 富士フイルム株式会社 カメラモジュール
US9225899B2 (en) * 2012-11-16 2015-12-29 Panasonic Intellectual Property Corporation Of America Camera drive device
JP2016029750A (ja) * 2012-12-17 2016-03-03 富士フイルム株式会社 撮像装置、信号処理方法、信号処理プログラム
JP5866478B2 (ja) * 2013-03-13 2016-02-17 富士フイルム株式会社 撮像装置、信号処理方法、信号処理プログラム
CN203535350U (zh) * 2013-11-06 2014-04-09 中山联合光电科技有限公司 一种数码相机防抖补偿机构
CN108828874A (zh) 2013-12-11 2018-11-16 旭化成微电子株式会社 照相机模块及其光学元件的位置控制方法
US9810917B2 (en) * 2014-01-24 2017-11-07 Apple Inc. Passive damping for optical image stabilization
KR102197083B1 (ko) * 2014-12-18 2020-12-31 엘지이노텍 주식회사 카메라 모듈 및 이의 이미지 센싱 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체
CN105007420B (zh) 2015-07-14 2018-09-04 广东欧珀移动通信有限公司 一种对焦方法及移动终端
CN105007422B (zh) 2015-07-14 2018-01-23 广东欧珀移动通信有限公司 一种相位对焦方法及用户终端
CN105590939B (zh) 2015-12-18 2019-07-19 Oppo广东移动通信有限公司 图像传感器及输出方法、相位对焦方法、成像装置和终端
CN105763766B (zh) * 2016-02-29 2020-05-15 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
US10554877B2 (en) * 2016-07-29 2020-02-04 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image synthesis method and apparatus for mobile terminal, and mobile terminal
CN106101556B (zh) * 2016-07-29 2017-10-20 广东欧珀移动通信有限公司 移动终端的图像合成方法、装置及移动终端

Also Published As

Publication number Publication date
EP3474535B1 (en) 2022-05-04
WO2018019039A1 (zh) 2018-02-01
US10848678B2 (en) 2020-11-24
CN106101556A (zh) 2016-11-09
EP3474535A1 (en) 2019-04-24
EP3474535A4 (en) 2020-02-19
US20190306429A1 (en) 2019-10-03

Similar Documents

Publication Publication Date Title
JP6128389B2 (ja) 撮像装置
CN103412616B (zh) 装置照相机角度
KR101376936B1 (ko) 이미지 안정화를 이용한 롤링 셔터 보정
JP5040959B2 (ja) 撮像装置
CN110278360B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
KR20160134316A (ko) 촬상 장치, 이를 채용한 원격 제어 비행체 및 촬상 장치의 자세 제어 방법
JP2018189730A (ja) 像ブレ補正装置及びその制御方法、プログラム、記憶媒体
CN106254772B (zh) 多帧图像合成方法和装置
JP2014168251A (ja) 撮影装置、携帯型情報処理端末、撮影装置のモニタ表示方法およびプログラム
CN109951638A (zh) 摄像头防抖系统、方法、电子设备和计算机可读存储介质
CN101969531B (zh) 构图控制设备、成像系统、构图控制方法
KR20150129838A (ko) 곡면 광학 센서에 대한 흔들림 방지 보정 시스템
CN106101556B (zh) 移动终端的图像合成方法、装置及移动终端
JP5724057B2 (ja) 撮像装置
JP7031280B2 (ja) 画像処理装置、画像処理システムおよびプログラム
CN104660915A (zh) 全景拍照曝光的控制方法及装置
CN106254771B (zh) 拍摄防抖方法、装置和移动终端
US10554877B2 (en) Image synthesis method and apparatus for mobile terminal, and mobile terminal
CN109429004B (zh) 一种拍照方法、装置及移动终端
JP2015095670A (ja) 撮像装置、その制御方法、および制御プログラム
US9398232B2 (en) Special effect video camera
JP2010093451A (ja) 撮像装置および撮像装置用プログラム
JP5540899B2 (ja) 撮像装置,これを搭載する携帯端末機,撮像装置の制御方法,およびプログラム
JP7491657B2 (ja) 撮像システム、撮像制御方法、及びプログラム
JP2007214620A (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Patentee after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Patentee before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171020