发明内容
有鉴于此,本发明的目的在于提供一种相机视场角同步方法及装置、图像拍摄方法及装置,能够降低对于图像采集设备的算力要求以及提升场景复用度,有效提升了相机视场角同步的普适性。
为了实现上述目的,本发明实施例采用的技术方案如下:
第一方面,本发明实施例提供了一种相机视场角同步方法,所述方法应用于图像采集设备,所述图像采集设备上设置有广角相机和长焦相机,其中,所述长焦相机为可旋转相机,所述方法包括:获取所述广角相机的拍摄图像中目标区域的对焦信息;基于所述对焦信息旋转所述长焦相机直至所述长焦相机对准所述目标区域对应的目标对象,以使所述长焦相机的视场角与所述广角相机的视场角同步。
进一步,本发明实施例提供了第一方面的第一种可能的实施方式,其中,所述获取所述广角相机的拍摄图像中目标区域的对焦信息的步骤,包括:如果监测到所述广角相机的拍摄图像中确定有目标区域,触发所述广角相机的自动对焦操作,以对所述目标区域进行对焦;获取所述目标区域对焦清晰时的目标编码值;其中,所述目标编码值与所述目标区域对焦清晰时所述广角相机的镜头移动距离相关。
进一步,本发明实施例提供了第一方面的第二种可能的实施方式,其中,所述方法还包括:当监测到用户针对所述广角相机的拍摄图像的指定操作时,根据所述指定操作的位置确定所述广角相机的拍摄图像中的目标区域;或者,当预设的对象识别算法识别到所述广角相机的拍摄图像中的所述目标对象时,基于识别到的所述目标对象的位置确定所述广角相机的拍摄图像中的目标区域。
进一步,本发明实施例提供了第一方面的第三种可能的实施方式,其中,所述对焦信息包括目标编码值,所述目标编码值与所述目标区域对焦清晰时所述广角相机的镜头移动距离相关;所述基于所述对焦信息旋转所述长焦相机直至所述长焦相机对准所述目标区域对应的目标对象的步骤,包括:获取广角相机标定数据;基于所述广角相机标定数据及所述目标编码值确定像距和物距;其中,所述广角相机标定数据包括所述广角相机的远景镜头位置、远景编码值、近景镜头位置和近景编码值;所述物距为所述广角相机到所述目标对象之间的实际垂直距离;所述远景编码值与广角相机镜头的所述远景镜头位置相关,所述近景编码值与所述广角相机镜头的所述近景镜头位置相关;基于所述像距和所述物距确定所述长焦相机的目标旋转角度;基于所述目标旋转角度旋转所述长焦相机,直至所述长焦相机对准所述目标区域对应的目标对象。
进一步,本发明实施例提供了第一方面的第四种可能的实施方式,其中,所述基于所述广角相机标定数据及所述目标编码值确定像距和物距的步骤,包括:根据所述广角相机标定数据及所述目标编码值,利用预设的像距计算算式确定所述广角相机的像距;根据所述像距,利用高斯成像算式确定物距。
进一步,本发明实施例提供了第一方面的第五种可能的实施方式,其中,所述预设的像距计算算式为:(远景镜头位置-近景镜头位置)/(近景编码值-远景编码值)*(目标编码值-远景编码值)+广角相机的焦距=像距。
进一步,本发明实施例提供了第一方面的第六种可能的实施方式,其中,所述目标旋转角度包括水平旋转角度和垂直旋转角度;所述基于所述像距和所述物距确定所述长焦相机的目标旋转角度的步骤,包括:根据所述像距、所述物距和预设的水平旋转角度计算算式,得到所述长焦相机的所述水平旋转角度;所述水平旋转角度计算算式为:
θ_h=arctan((b+D*pixel_size*Pixel_num_H/(EFL+I))/D)
根据所述像距、所述物距和预设的垂直旋转角度计算算式,得到所述长焦相机的所述垂直旋转角度;所述垂直旋转角度计算算式为:
θ_v=arctan(pixel_size*Pixel_num_V/(EFL+I))
其中,I为所述像距,D为所述物距,b为所述广角相机与所述长焦相机之间的相机基距,EFL为所述广角相机的有效焦距,Pixel_num_H为所述广角相机在水平方向的像素点数目,Pixel_num_V为所述广角相机在垂直方向的像素点数目,pixel_size为单个像素点的大小。
第二方面,本发明实施例还提供了一种图像拍摄方法,所述方法应用于图像采集设备,所述图像采集设备上设置有广角相机和长焦相机,其中,所述长焦相机为可旋转相机,所述方法包括:当监测到所述广角相机的拍摄图像中有目标区域时,触发所述长焦相机利用第一方面任一项所述的相机视场角同步方法对准所述目标区域对应的目标对象进行拍摄,得到目标图像;将所述长焦相机拍摄的目标图像与所述广角相机的拍摄图像进行融合,得到融合图像。
进一步,本发明实施例提供了第二方面的第一种可能的实施方式,其中,所述将所述长焦相机拍摄的目标图像与所述广角相机的拍摄图像进行融合,得到融合图像的步骤,包括:对所述目标图像进行缩放,以使所述目标图像中目标对象的尺寸与所述广角相机的拍摄图像中目标对象的尺寸相同,得到第一图像;将所述第一图像与所述广角相机的拍摄图像进行图像配准并融合,得到所述融合图像。
进一步,本发明实施例提供了第二方面的第二种可能的实施方式,其中,所述将所述第一图像与所述广角相机的拍摄图像进行图像配准并融合,得到所述融合图像的步骤,包括:根据所述广角相机的拍摄图像中的所述目标区域生成第二图像;其中,所述第二图像包含所述目标区域且所述第二图像与所述第一图像的尺寸相同;将所述第一图像中目标对象的各像素与所述第二图像中目标对象的各像素对齐,并将像素对齐后的所述第一图像和所述第二图像进行叠加,得到第三图像;将所述第三图像与所述第二图像进行金字塔融合,得到第四图像;针对所述广角相机的拍摄图像中所述第二图像的位置区域采用所述第四图像进行覆盖,得到所述融合图像。
第三方面,本发明实施例提供了一种相机视场角同步装置,所述装置应用于图像采集设备,所述图像采集设备上设置有广角相机和长焦相机,其中,所述长焦相机为可旋转相机,所述装置包括:获取模块,用于获取所述广角相机的拍摄图像中目标区域的对焦信息;旋转模块,用于基于所述对焦信息旋转所述长焦相机直至所述长焦相机对准所述目标区域对应的目标对象,以使所述长焦相机的视场角与所述广角相机的视场角同步。
第四方面,本发明实施例提供了一种图像拍摄装置,所述装置应用于图像采集设备,所述图像采集设备上设置有广角相机和长焦相机,其中,所述长焦相机为可旋转相机,所述装置包括:图像采集模块,用于当监测到所述广角相机的拍摄图像中确定有目标区域时,触发所述长焦相机利用第一方面任一项所述的相机视场角同步方法对准所述目标区域对应的目标对象进行拍摄,得到目标图像;图像融合模块,用于将所述长焦相机拍摄的目标图像与所述广角相机的拍摄图像进行融合,得到融合图像。
第五方面,本发明实施例提供了一种图像采集设备,包括:广角相机、长焦相机、处理器和存储装置;所述长焦相机为可旋转相机;所述存储装置上存储有计算机程序,所述计算机程序在被所述处理器运行时执行如第一方面任一项所述的方法或者第二方面任一项所述的方法。
进一步,本发明实施例提供了第五方面的第一种可能的实施方式,其中,所述长焦相机的底座安装有旋转电机;或者,所述长焦相机为潜望式相机,所述潜望式相机的棱镜底座安装有旋转电机;或者,所述长焦相机的镜头前设置有平面镜,所述平面镜的底座安装有旋转电机。
第六方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述第一方面任一项所述的方法的步骤或者第二方面任一项所述的方法的步骤。
本发明实施例提供的上述相机视场角同步方法及装置,该方法应用于图像采集设备,图像采集设备上设置有广角相机和长焦相机(为可旋转相机),首先获取广角相机的拍摄图像中目标区域的对焦信息;然后基于对焦信息旋转长焦相机直至长焦相机对准目标区域对应的目标对象,以使长焦相机的视场角与广角相机的视场角同步。在该方法中,在使用广角相机拍摄较大场景的图像时,可以基于广角相机的拍摄图像中目标区域的对焦信息对长焦相机进行旋转,使长焦相机对准目标区域对应的目标对象,从而在拍摄目标对象时实现长焦相机与广角相机的视场角同步,无需使用复杂的图像处理算法,能够降低对于图像采集设备的算力要求,而且也可以不受场景的限制,场景复用度较高,有效提升了相机视场角同步的普适性。
本发明实施例提供的上述图像拍摄方法及装置,能够在监测到广角相机的拍摄图像中有目标区域时,触发长焦相机利用前述相机视场角同步方法对准目标区域对应的目标对象进行拍摄,得到目标图像,从而将长焦相机拍摄的目标图像与广角相机的拍摄图像进行融合,得到融合图像。由于广角相机和长焦相机可以实现较好的视场角同步,二者拍摄的图像进行融合后所得到的融合图像不仅视场角较大,而且也可以清晰的显示出目标对象,提升用户的拍摄体验。
本发明实施例的其他特征和优点将在随后的说明书中阐述,或者,部分特征和优点可以从说明书推知或毫无疑义地确定,或者通过实施本发明实施例的上述技术即可得知。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。
考虑到现有的相机视场角同步技术算法复杂度较高,场景适应性较差,普适性不强,为改善此问题,本发明实施例提供了一种相机视场角同步方法及装置、图像拍摄方法及装置,以下对本发明实施例进行详细介绍。
实施例一:
首先,参照图1来描述用于实现本发明实施例的一种相机视场角同步方法及装置、图像拍摄方法及装置的示例电子设备100。
如图1所示的一种电子设备的结构示意图,电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及图像采集装置110,这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意,图1所示的电子设备100的组件和结构只是示例性的,而非限制性的,根据需要,所述电子设备也可以具有其他组件和结构。
所述处理器102可以采用数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)中的至少一种硬件形式来实现,所述处理器102可以是中央处理单元(CPU)、图形处理单元(GPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元中的一种或几种的组合,并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器102可以运行所述程序指令,以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如,用户)输出各种信息(例如,图像或声音),并且可以包括显示器、扬声器等中的一个或多个。
所述图像采集装置110可以拍摄用户期望的图像(例如照片、视频等),并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。所述图像采集装置110包括广角相机和长焦相机,其中,长焦相机为可旋转相机。
示例性地,用于实现根据本发明实施例的相机视场角同步方法及装置、图像拍摄方法及装置的示例电子设备可以被实现为诸如智能手机、平板电脑、计算机等智能终端。
实施例二:
本实施例提供了一种相机视场角同步方法,该方法可以应用于图像采集设备,该图像采集设备上设置有广角相机(又可称为短焦相机)和长焦相机,广角相机和长焦相机可以是集成于同一个电子设备(诸如手机等移动终端或其它具有拍照功能的设备等)上的两个相机,在实际应用中,由于长焦相机焦距比较长,清晰度较高,但视场角较小,而广角相机焦距比较短,清晰度较低,但视场角较大,在一些特殊场合中单独使用长焦相机或广角相机都无法满足用户的需求,诸如在球赛转播时,单独使用广角相机可以拍摄出整个球场的画面,但观众关注的目标对象(诸如某个运动员)会比较模糊,而单独使用长焦相机可以拍出比较清晰的画面,但无法拍摄出整个球场的震撼画面。本实施例提供的长焦相机为可旋转相机,也即,图像采集设备上集成有广角相机和可旋转的长焦相机,诸如可以在长焦相机中安装可旋转电机,使长焦相机能够分别沿着X轴、Y轴和Z轴旋转,XYZ轴可以根据实际情况而设定,诸如,坐标原点可以是长焦相机镜头的光心,X轴可以为图像采集设备的显示屏幕的水平方向,Y轴可以为图像采集设备的显示屏幕的垂直方向,Z轴可以为垂直于图像采集设备的显示屏幕的方向。在一种具体的实施方式中,可旋转电机可以安装在长焦相机的底座,将长焦相机设计为眼球状相机,通过可旋转电机控制长焦相机的光轴方向;还可以将长焦相机设计为潜望式相机,通过对潜望式相机的棱镜安装可旋转电机,达到可调整长焦相机拍摄角度的目的;也可以在长焦相机镜头前加平面镜,并在平面镜的底座安装可旋转电机,通过旋转平面镜达到对准拍摄目标对象的目的。通过控制可旋转电机的旋转角度,对长焦相机进行旋转从而实现相机视场角同步,具体可参见图2所示的相机视场角同步方法流程图,该方法主要包括以下步骤S202~步骤S204:
步骤S202,获取广角相机的拍摄图像中目标区域的对焦信息。
为了拍摄出满足用户需求的大视场角图像,且使用户关注的目标区域比较清晰,在用户使用广角相机拍摄大视场角图像时,获取广角相机的拍摄图像(可以是图像预览或摄像过程中显示在电子设备屏幕上的拍摄画面)中用户关注的目标区域(该目标区域可以是实际场景中目标对象的成像)的对焦信息,由于用户关注的目标区域位于广角相机拍摄的图像中,因此上述目标区域的对焦信息即为广角相机拍摄图像对焦清晰时的对焦信息,该对焦信息与广角相机对焦清晰时的镜头移动距离相关。
步骤S204,基于对焦信息旋转长焦相机直至长焦相机对准目标区域对应的目标对象,以使长焦相机的视场角与广角相机的视场角同步。
由于长焦相机可以通过变焦拍摄清晰的远景图像,为了提升用户关注的目标区域的清晰度,将长焦相机设置为可旋转相机,使长焦相机可以旋转对准拍摄广角相机拍摄图像中的任意区域。在实际应用中,可以基于广角相机拍摄图像的对焦信息对长焦相机进行旋转,以使长焦相机对准拍摄目标区域对应的目标对象,诸如,上述目标区域为目标A所在区域,将长焦相机对准拍摄实际场景中的目标A,从而实现长焦相机的视场角与广角相机的视场角同步。长焦相机的视场角与广角相机的视场角同步后,可以通过长焦相机对目标A进行自动变焦拍摄,从而得到目标区域的清晰图像。
本实施例提供的上述相机视场角同步方法,在使用广角相机拍摄较大场景的图像时,可以基于广角相机的拍摄图像中目标区域的对焦信息对长焦相机进行旋转,使长焦相机对准目标区域对应的目标对象,从而在拍摄目标对象时实现长焦相机与广角相机的视场角同步,无需使用复杂的图像处理算法,能够降低对于图像采集设备的算力要求,而且也可以不受场景的限制,场景复用度较高,有效提升了相机视场角同步的普适性。
为了准确获取到广角相机拍摄图像中目标区域的对焦信息,本实施例提供了获取广角相机的拍摄图像中目标区域的对焦信息的实施方式,具体可参照如下步骤(1)~步骤(2)执行:
步骤(1):如果监测到广角相机的拍摄图像中确定有目标区域,触发广角相机的自动对焦操作,以对目标区域进行对焦。
当广角相机的拍摄图像中确定有用户关注的目标区域时,触发广角相机的自动对焦功能,以确保目标区域对焦清晰。上述用户关注的目标区域的确定方式可以参照如下方式一和/或方式二执行:
方式一:当监测到用户针对广角相机的拍摄图像的指定操作时,根据指定操作的位置确定广角相机的拍摄图像中的目标区域。诸如,上述指定操作可以是触摸操作、双击操作、画圈操作和单击操作中的任意一种,还可以是其他可以选中目标区域的任意操作,具体可以预先设定,在此不进行限定。以指定操作为单击操作为例进行说明,可以在监测到用户单击广角相机的拍摄图像中的目标A时,以目标A为中心或者以用户点击的点为中心生成预设尺寸的目标框(该目标框可以是矩形框,也可以是圆形框),该目标框即为目标区域。指定操作是触摸操作、双击操作或触摸操作时,也可以参照单击操作的实现方式确定目标区域。当上述指定操作为画圈操作时,可以直接根据用户的画圈区域生成目标区域。
方式二:当预设的对象识别算法识别到广角相机的拍摄图像中的目标对象时,基于识别到的目标对象的位置确定广角相机的拍摄图像中的目标区域。上述预设的对象识别算法可以是预存的AI(人工智能)识别算法,具体的,上述预设的对象识别算法可以是预先训练得到的神经网络模型,该神经网络模型是基于目标对象的图像样本训练得到的,其中,目标对象可以是人、车、诸如球等某种特定物品或者建筑物等,在此不进行限定。当广角相机的拍摄图像中出现目标对象时,上述预设的对象识别算法可以从广角相机的拍摄图像中自动识别出目标对象,并生成目标对象的目标框,该目标框即为识别到的目标对象的位置,也可以作为目标区域。
步骤(2):获取目标区域对焦清晰时的目标编码值;其中,目标编码值与目标区域对焦清晰时广角相机的镜头移动距离相关。
上述目标编码值为目标区域对焦清晰时广角相机对应的自动对焦编码值,也可以称为当前对焦点的Code值。在一种具体的实施方式中,上述自动对焦编码值的取值范围可以为0~1024,相应的,广角相机中驱动镜头的马达的电流值的取值范围可以为0~100mA,即当广角相机的自动对焦编码值为1024时,向马达传输100mA的电流以驱动镜头移动一定的距离,马达的电流越大镜头移动的位置越远,当上述目标区域自动对焦清晰时,获取广角相机镜头当前位置所对应的自动对焦编码值(当前对焦点的Code值),得到目标区域对焦清晰时的目标编码值。
为了使长焦相机的视场角与广角相机的视场角同步,本实施例提供了基于对焦信息旋转长焦相机直至长焦相机对准目标区域对应的目标对象的实施方式,其中,上述对焦信息包括目标编码值,该目标编码值与目标区域对焦清晰时广角相机的镜头移动距离相关,具体可参照如下步骤1)~步骤4)执行:
步骤1):获取广角相机标定数据。
上述广角相机标定数据包括广角相机的远景镜头位置、远景编码值、近景镜头位置和近景编码值。上述远景编码值与广角相机镜头的远景镜头位置相关,近景编码值与广角相机镜头的近景镜头位置相关。
上述广角相机标定数据可以是预先对广角相机标定得到的,在对广角相机进行标定时,可以将ISO12233 2X Chart作为标定图卡,将集成有广角相机和长焦相机的图像采集设备正向面对标定图卡,分别将图像采集设备移动至远景镜头位置和近景镜头位置,用镭射激光测距仪分别测出图像采集设备在远景镜头位置和近景镜头位置时广角相机的镜头移动距离。在实际应用中,上述远景镜头位置可以是将图像采集设备移动至距离标定图卡预设距离的位置时(诸如,距离标定图卡3~10m处的位置),广角相机拍摄标定图卡自动对焦清晰时广角相机的镜头移动距离,上述近景镜头位置可以是将图像采集设备移动至距离标定图卡2~5cm的位置时,广角相机拍摄标定图卡自动对焦清晰时广角相机的镜头移动距离,通过将远景镜头位置作为初始值,可以得到远景镜头位置与近景镜头位置的差值(即镜头从远景镜头位置到近景镜头位置的位移量)。上述远景编码值为广角相机在拍摄距离较远的目标对焦清晰时广角相机对应的自动对焦编码值,也可以称为远景对焦点的Code值;上述近景编码值为广角相机在拍摄近距离目标对焦清晰时广角相机对应的自动对焦编码值,也可以称为近景对焦点的Code值。相应地,也可以利用上述相机标定方式对长焦相机进行标定,得到长焦相机的相机标定数据。
步骤2):基于广角相机标定数据及目标编码值确定像距和物距。
上述物距为广角相机到目标对象之间的实际垂直距离。本实施例给出了如下一种计算物距的具体实施方式:
首先,根据广角相机标定数据及目标编码值,利用预设的像距计算算式确定广角相机的像距。将上述广角相机标定数据及目标编码值输入预设的像距计算算式,利用预设的像距计算算式计算广角相机的像距,上述预设的像距计算算式为:
(远景镜头位置-近景镜头位置)/(近景编码值-远景编码值)*(目标编码值-远景编码值)+广角相机的焦距=像距。
由于广角相机是根据编码值的大小向马达传输相对应大小的电流,以使马达驱动镜头移动相应距离的,通过(远景镜头位置-近景镜头位置)/(近景编码值-远景编码值)的计算,可以计算出一个编码值下广角相机的镜头位移量,再根据广角相机在拍摄图像时的当前目标编码值与作为初始值的远景编码值之差,可以得到广角相机相对于远景镜头位置的当前镜头位移量。根据广角相机相对于远景镜头位置的当前镜头位移量及广角相机的焦距可以得到像距。
其次,根据像距,利用高斯成像算式确定物距。通过将上述计算得到的像距输入高斯成像算式可以将像距换算为物距。上述高斯成像算式为:
1/焦距=1/物距+1/像距
上述高斯成像算式中的焦距为广角相机的焦距,上述物距为广角相机到实际的目标对象的垂直距离。
步骤3):基于像距和物距确定长焦相机的目标旋转角度。
上述目标旋转角度包括水平旋转角度和垂直旋转角度。根据像距、物距和预设的水平旋转角度计算算式,得到长焦相机的水平旋转角度。水平旋转角度计算算式为:
θ_h=arctan((b+D*pixel_size*Pixel_num_H/(EFL+I))/D)
根据像距、物距和预设的垂直旋转角度计算算式,得到长焦相机的垂直旋转角度,垂直旋转角度计算算式为:
θ_v=arctan(pixel_size*Pixel_num_V/(EFL+I))
其中,I为像距,D为物距,b为广角相机与长焦相机之间的相机基距,EFL为广角相机的有效焦距(也可以用焦距f表示),Pixel_num_H为广角相机在水平方向的像素点数目,Pixel_num_V为广角相机在垂直方向的像素点数目,pixel_size为单个像素点的大小。上述Pixel_num_H为广角相机摄像头光感元件(Sensor)的水平方向的像素点数目,Pixel_num_V为广角相机摄像头光感元件(Sensor)的水平方向的像素点数目,每个像素点pixel的大小用pixel_size表示,诸如,当上述广角相机摄像头光感元件(Sensor)的像素为4000*3000=12M像素时,上述Pixel_num_H=4000,Pixel_num_V=3000。
将上述步骤2)计算得到的物距分别代入水平旋转角度计算算式和垂直旋转角度计算算式,可以得到长焦相机的水平旋转角度和垂直旋转角度。参见如图3所示的广角相机和长焦相机的初始状态示意图,长焦相机拍摄图像中的灰色矩形框为目标对象成像得到的目标区域,为了使长焦相机对准拍摄目标对象,参见如图4所示的长焦相机垂直旋转示意图,首先使长焦相机以Y轴为中心(即保持Y轴方向不动)旋转垂直旋转角度,使长焦相机拍摄的图像沿着X轴(即长焦相机或广角相机拍摄图像的水平方向)平移;参见如图5所示的长焦相机水平旋转示意图,然后使长焦相机以X轴为中心(即保持X轴方向不动)旋转水平旋转角度,使长焦相机拍摄的图像沿着Y轴(即长焦相机或广角相机拍摄图像的竖直方向)平移,从而使长焦相机对准拍摄目标对象。
上述水平旋转角度计算算式是根据相似三角形原理得到的,参见如图6所示的相机拍摄场景示意图,广角相机与长焦相机之间的距离为b,目标A为目标区域对应的目标对象,广角相机到目标A的垂直距离为D,设长焦相机旋转θ_h(图中用θ表示)度之后可以对准拍摄目标A,根据图中的几何关系可以求解θ_h的角度值,由于AB=HO1,则长焦相机的水平旋转角度
由于A1点和B1(点分别A点和B点的成像点,因此三角形ABO1与三角形A1B1O1为相似三角形,则
进而可以得到
因此,可以得到长焦相机的水平旋转角度
相应的,上述垂直旋转角度计算算式也是根据相似三角形原理得到的,参见如图7所示的长焦相机拍摄场景示意图,设长焦相机的垂直旋转角度为θ_v(图中用Q表示),长焦相机到目标A的垂直距离为D,根据图中的几何关系可以求解θ_v的角度值,长焦相机的垂直旋转角度
由于C3点和C4点分别是C1点和C2点的成像点,因此三角形C1C2O2与三角形C3C4O2为相似三角形,则
进而可以得到
即θ_v=arctan(pixel_size*Pixel_num_V/(EFL+I))。
步骤4):基于目标旋转角度旋转长焦相机,直至长焦相机对准目标区域对应的目标对象。
根据上述步骤3)计算得到的目标旋转角度对长焦相机进行旋转,使长焦相机在旋转目标旋转角度后能够对准拍摄目标区域对应的目标对象,实现了长焦相机与广角相机的视场角同步。在实际应用中,上述相机视场角同步的方式也可以用于长焦相机对目标对象的跟踪拍摄。
本实施例提供的上述相机视场角同步方法,通过将长焦相机设置为可旋转相机,并基于广角相机拍摄图像中目标区域的对焦信息,确定长焦相机的目标旋转角度,将长焦相机进行目标旋转角度的旋转即可实现广角相机与长焦相机的视场角同步,该方法可以解决目标区域融合或目标对象的追踪等问题,且对图像采集设备的算力要求较低,可以广泛部署于移动电子设备中,而且也可以应用于各种场合,无需现有技术中需要针对不同的场景提供采用不同的软件算法进行视场角同步,场景复用度较高,综合提升了相机视场角同步的普适性。
实施例三:
本实施例提供了一种图像拍摄方法,该方法可以应用于图像采集设备,图像采集设备上设置有广角相机和长焦相机,其中,长焦相机为可旋转相机,参见图8所示的图像拍摄方法流程图,该方法主要包括以下步骤S802~步骤S804:
步骤S802,当监测到广角相机的拍摄图像中有目标区域时,触发长焦相机利用上述相机视场角同步方法对准目标区域对应的目标对象进行拍摄,得到目标图像。
当监测到用户针对广角相机的拍摄图像的指定操作时,根据指定操作的位置确定广角相机的拍摄图像中的目标区域;或者,当预设的对象识别算法识别到广角相机的拍摄图像中的目标对象时,基于识别到的目标对象的位置确定广角相机的拍摄图像中的目标区域。当广角相机的拍摄图像中确定有目标区域时,自动触发广角相机利用上述实施例二提供的相机视场角同步方法实现与广角相机的视场角同步,即控制长焦相机旋转目标旋转角度,以对准拍摄目标区域对应的目标对象,得到目标图像。
步骤S804,将长焦相机拍摄的目标图像与广角相机的拍摄图像进行融合,得到融合图像。
上述广角相机拍摄图像中的目标区域可以是用户关注的区域,当使用长焦相机旋转拍摄到目标区域对应的目标对象的清晰图像时,将长焦相机拍摄到的用户关注的目标区域的目标图像融合至广角相机拍摄的图像中,可以得到用户关注的远景清晰且视场角宽广的图像或视频,在实际应用中,可以将融合后得到的远景清晰且视场角宽广的图像或视频作为最终采集到的图像或视频展示给用户。
本实施例提供的上述图像拍摄方法,由于广角相机和长焦相机可以实现较好的视场角同步,二者拍摄的图像进行融合后所得到的融合图像不仅视场角较大,而且也可以清晰的显示出目标对象,提升了用户的拍摄体验。
为了提升融合图像的图像质量,本实施例提供了将长焦相机拍摄的目标图像与广角相机的拍摄图像进行融合,得到融合图像的实施方式,具体可参照如下步骤1~步骤2执行:
步骤1:对目标图像进行缩放,以使目标图像中目标对象的尺寸与广角相机的拍摄图像中目标对象的尺寸相同,得到第一图像。
由于长焦相机拍摄图像中目标对象的大小与广角相机拍摄图像中目标对象的大小并不相同,将长焦相机拍摄的目标图像中的各个目标缩放至与广角相机拍摄图像中对应的各个目标相同的尺寸,即长焦相机拍摄的目标图像中的目标A与广角相机拍摄图像中的目标A所占像素个数相同。将缩放尺寸后的目标图像标记为第一图像。
步骤2:将第一图像与广角相机的拍摄图像进行图像配准并融合,得到融合图像。
上述图像配准是指将长焦相机和广角相机拍摄的两幅图像进行匹配叠加的过程,具体可参照如下方式实现:
首先,根据广角相机的拍摄图像中的目标区域生成第二图像;其中,第二图像包含目标区域且第二图像与第一图像的尺寸相同。对广角相机的拍摄图像中的目标区域进行抠图操作,以从广角相机的拍摄图像中截取出目标区域,生成与第一图像的尺寸相同的第二图像。
其次,将第一图像中目标对象的各像素与第二图像中目标对象的各像素对齐,并将像素对齐后的第一图像和第二图像进行叠加,得到第三图像。由于上述第二图像是从广角相机拍摄图像中获取到的,且广角相机拍摄图像中目标区域中目标A的尺寸与第一图像中目标A的尺寸相同,即第二图像中目标A的尺寸与第一图像中目标A的尺寸相同,将第一图像中目标A的各个像素与第二图像中目标A的各个像素对齐叠加,得到第三图像。
然后,将第三图像与第二图像进行金字塔融合,得到第四图像。将图像配准后得到的第三图像与上述第二图像进行金字塔融合,在配准错误的区域(诸如遮挡区域)使用第二图像中对应的像素点区域,在配准正确的区域使用第三图像中对应的像素点区域,得到第四图像。
最后,针对广角相机的拍摄图像中第二图像的位置区域采用第四图像进行覆盖,得到融合图像。上述第四图像与第二图像的尺寸相同,将上述配准融合得到的第四图像覆盖至广角相机拍摄图像中抠图第二图像的目标区域,得到目标区域清晰的大视场角图像。
本实施例提供的上述图像拍摄方法,通过对长焦相机拍摄的目标图像和广角相机的拍摄图像进行图像配准并融合,可以拍摄出大视场角且高分辨率的图像,提升了用户的拍摄体验。
实施例四:
对于实施例二中所提供的相机视场角同步方法,本发明实施例提供了一种相机视场角同步装置,该装置应用于图像采集设备,图像采集设备上设置有广角相机和长焦相机,其中,长焦相机为可旋转相机,参见图9所示的一种相机视场角同步装置结构示意图,该装置包括以下模块:
获取模块91,用于获取广角相机的拍摄图像中目标区域的对焦信息。
旋转模块92,用于基于对焦信息旋转长焦相机直至长焦相机对准目标区域对应的目标对象,以使长焦相机的视场角与广角相机的视场角同步。
本实施例提供的上述相机视场角同步装置,在使用广角相机拍摄较大场景的图像时,可以基于广角相机的拍摄图像中目标区域的对焦信息对长焦相机进行旋转,使长焦相机对准目标区域对应的目标对象,从而在拍摄目标对象时实现长焦相机与广角相机的视场角同步,无需使用复杂的图像处理算法,能够降低对于图像采集设备的算力要求,而且也可以不受场景的限制,场景复用度较高,有效提升了相机视场角同步的普适性。
在一种实施方式中,上述获取模块91,进一步用于在监测到广角相机的拍摄图像中确定有目标区域时,触发广角相机的自动对焦操作,以对目标区域进行对焦;获取目标区域对焦清晰时的目标编码值;其中,目标编码值与目标区域对焦清晰时广角相机的镜头移动距离相关。
在一种实施方式中,上述装置还包括:
目标区域确定模块,用于在监测到用户针对广角相机的拍摄图像的指定操作时,根据指定操作的位置确定广角相机的拍摄图像中的目标区域;或者,当预设的对象识别算法识别到广角相机的拍摄图像中的目标对象时,基于识别到的目标对象的位置确定广角相机的拍摄图像中的目标区域。
在一种实施方式中,上述对焦信息包括目标编码值,目标编码值与目标区域对焦清晰时广角相机的镜头移动距离相关;上述旋转模块,进一步用于获取广角相机标定数据;基于广角相机标定数据及目标编码值确定像距和物距;其中,广角相机标定数据包括广角相机的远景镜头位置、远景编码值、近景镜头位置和近景编码值;物距为广角相机到目标对象之间的实际垂直距离;远景编码值与广角相机镜头的远景镜头位置相关,近景编码值与广角相机镜头的近景镜头位置相关;基于像距和物距确定长焦相机的目标旋转角度;基于目标旋转角度旋转长焦相机,直至长焦相机对准目标区域对应的目标对象。
在一种实施方式中,上述旋转模块92,进一步用于根据广角相机标定数据及目标编码值,利用预设的像距计算算式确定广角相机的像距;根据像距,利用高斯成像算式确定物距。
在一种实施方式中,上述预设的像距计算算式为:(远景镜头位置-近景镜头位置)/(近景编码值-远景编码值)*(目标编码值-远景编码值)+广角相机的焦距=像距。
在一种实施方式中,上述目标旋转角度包括水平旋转角度和垂直旋转角度;上述旋转模块92,进一步用于根据像距、物距和预设的水平旋转角度计算算式,得到长焦相机的水平旋转角度;水平旋转角度计算算式为:
θ_h=arctan((b+D*pixel_size*Pixel_num_H/(EFL+I))/D)
根据像距、物距和预设的垂直旋转角度计算算式,得到长焦相机的垂直旋转角度;垂直旋转角度计算算式为:
θ_v=arctan(pixel_size*Pixel_num_V/(EFL+I))
其中,I为像距,D为物距,b为广角相机与长焦相机之间的相机基距,EFL为广角相机的有效焦距,Pixel_num_H为广角相机在水平方向的像素点数目,Pixel_num_V为广角相机在垂直方向的像素点数目,pixel_size为单个像素点的大小。
本实施例提供的上述相机视场角同步装置,通过将长焦相机设置为可旋转相机,并基于广角相机拍摄图像中目标区域的对焦信息,确定长焦相机的目标旋转角度,将长焦相机进行目标旋转角度的旋转即可实现广角相机与长焦相机的视场角同步,该方法可以解决目标区域融合或目标对象的追踪等问题,且对图像采集设备的算力要求较低,可以广泛部署于移动电子设备中,提升了相机视场角同步的普适性。
本实施例所提供的装置,其实现原理及产生的技术效果和前述实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
实施例五:
对应于前述实施例所提供的图像拍摄方法,本发明实施例提供了一种图像拍摄装置,该装置应用于图像采集设备,图像采集设备上设置有广角相机和长焦相机,其中,长焦相机为可旋转相机,参见图10所示的一种图像拍摄装置结构示意图,该装置包括以下模块:
图像采集模块11,用于当监测到广角相机的拍摄图像中确定有目标区域时,触发长焦相机利用上述相机视场角同步方法对准目标区域对应的目标对象进行拍摄,得到目标图像。
图像融合模块12,用于将长焦相机拍摄的目标图像与广角相机的拍摄图像进行融合,得到融合图像。
本实施例提供的上述图像拍摄装置,由于广角相机和长焦相机可以实现较好的视场角同步,二者拍摄的图像进行融合后所得到的融合图像不仅视场角较大,而且也可以清晰的显示出目标对象,提升了用户的拍摄体验。
在一种实施方式中,上述图像融合模块12,进一步用于对目标图像进行缩放,以使目标图像中目标对象的尺寸与广角相机的拍摄图像中目标对象的尺寸相同,得到第一图像;将第一图像与广角相机的拍摄图像进行图像配准并融合,得到融合图像。
在一种实施方式中,上述图像融合模块12,进一步用于根据广角相机的拍摄图像中的目标区域生成第二图像;其中,第二图像包含目标区域且第二图像与第一图像的尺寸相同;将第一图像中目标对象的各像素与第二图像中目标对象的各像素对齐,并将像素对齐后的第一图像和第二图像进行叠加,得到第三图像;将第三图像与第二图像进行金字塔融合,得到第四图像;针对广角相机的拍摄图像中第二图像的位置区域采用第四图像进行覆盖,得到融合图像。
本实施例提供的上述图像拍摄装置,通过对长焦相机拍摄的目标图像和广角相机的拍摄图像进行图像配准并融合,可以拍摄出大视场角且高分辨率的图像,提升了用户的拍摄体验。
实施例六:
对应于前述实施例所提供的相机视场角同步方法和图像拍摄方法,本发明实施例提供了一种图像采集设备,包括:广角相机、长焦相机、处理器和存储装置;上述长焦相机为可旋转相机;其中,存储装置、广角相机和长焦相机都与存储装置相连。
上述长焦相机可以有多种可实现旋转的方式,诸如:在长焦相机的底座安装旋转电机,使旋转电机的旋转轴位于长焦相机的底部,安装方式简单,旋转电机可以沿着X轴和Y轴进行旋转,通过向旋转电机传输电流可以驱动长焦相机沿着X轴和Y轴进行旋转,因此需要给长焦相机留出较大的旋转空间,相应地旋转电机也需要较大地驱动电流;或者,长焦相机为潜望式相机,潜望式相机的棱镜底座安装有旋转电机,该潜望式相机是指将长焦相机的镜头设置为潜望镜,或在镜头前方设置潜望镜,由于潜望镜是通过反光棱镜进行光路折射的,在反光棱镜底座安装可以支持反光棱镜旋转的电机,使电机可以控制反光棱镜沿着X轴和Y轴进行旋转,从而实现了长焦相机取景角度的旋转;或者,长焦相机的镜头前设置有平面镜,平面镜的底座安装有旋转电机,旋转电机可以控制平面镜沿着X轴和Y轴进行旋转,从而实现了长焦相机取景角度的旋转。上述将长焦相机设计为潜望式相机或在长焦相机镜头前设置平面镜的方式对于反光棱镜或平面镜的安装精度较高,由于需要旋转的是反光棱镜或平面镜,所需要的旋转空间较小,同时旋转电机需要的驱动电流也比较小,因此将长焦相机设计为潜望式相机或在长焦相机镜头前设置平面镜的方式可以适用于小型化设计的图像采集设备;而在长焦相机的底座安装旋转电机的方式所需空间较大,适用于体积较大的图像采集设备。
在实际应用中,可以根据实际需求而灵活选用上述长焦相机的旋转方式,在此不进行限制。
实施例七:
本发明实施例提供了一种计算机可读介质,其中,所述计算机可读介质存储有计算机可执行指令,所述计算机可执行指令在被处理器调用和执行时,所述计算机可执行指令促使所述处理器实现上述实施例所述的相机视场角同步方法或图像拍摄方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统具体工作过程,可以参考前述实施例中的对应过程,在此不再赘述。
本发明实施例所提供的相机视场角同步方法及装置、图像拍摄方法及装置的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
另外,在本发明实施例的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。