[go: up one dir, main page]

CN108496201A - 图像处理方法和设备 - Google Patents

图像处理方法和设备 Download PDF

Info

Publication number
CN108496201A
CN108496201A CN201780005363.6A CN201780005363A CN108496201A CN 108496201 A CN108496201 A CN 108496201A CN 201780005363 A CN201780005363 A CN 201780005363A CN 108496201 A CN108496201 A CN 108496201A
Authority
CN
China
Prior art keywords
images
image
depth
depth map
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780005363.6A
Other languages
English (en)
Inventor
周游
杜劼熹
冯华亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN108496201A publication Critical patent/CN108496201A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本申请实施例提供一种图像处理方法和设备，通过将高低分辨图像得到的深度图进行融合，从而得到更精确的深度信息，并且无需较大的计算。该方法包括：获取至少两个第一图像，其中，该第一图像的分辨率为第一分辨率；获取至少两个第二图像，其中，该第二图像的分辨率为第二分辨率，该第二分辨率低于该第一分辨率；利用该至少两个第一图像，确定在第一视差阈值的限制下，该至少两个第一图像对应的第一深度图；利用该至少两个第二图像，确定在第二视差阈值的限制下，该至少两个第二图像对应的第二深度图，其中，该第二视差阈值大于该第一视差阈值；将该第一深度图与该第二深度图进行融合，以得到融合后的深度图。

Description

图像处理方法和设备
版权申明
本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
技术领域
本申请涉及图像处理领域，并且更具体地，涉及一种图像处理方法和设备。
背景技术
随着计算机技术的发展，作为智能计算的重要领域，计算机视觉得到了极大的开发应用。计算机视觉是依靠成像系统代替视觉器官作为输入敏感手段，其中，最常用的是摄像头，例如，可由双摄像头组成一个基础的视觉系统。
目前，可以通过双目摄像头系统通过两个摄像头在同一时刻拍摄的不同角度的两张照片，来得到对应的深度图。
实际在计算深度图的过程中，通常在一定的搜索范围内来计算深度图以降低计算量。然而，对于高分辨率图像来说，这种情况会造成近处的物体无法识别，若放宽搜索范围，则计算量巨大。而对于较低分辨率图像来说，限制搜索范围则会造成观测精度较低，尤其是远处的观测精度。
发明内容
本申请实施例提供一种图像处理方法和设备，通过将高低分辨图像得到的深度图进行融合，从而得到更精确的深度信息，并且无需较大的计算。
第一方面，提供了一种图像处理方法，包括：
获取至少两个第一图像，其中，该第一图像的分辨率为第一分辨率；
获取至少两个第二图像，其中，该第二图像的分辨率为第二分辨率，该第二分辨率低于该第一分辨率；
利用该至少两个第一图像，确定在第一视差阈值的限制下，该至少两个第一图像对应的第一深度图；
利用该至少两个第二图像，确定在第二视差阈值的限制下，该至少两个第二图像对应的第二深度图，其中，该第二视差阈值大于该第一视差阈值；
将该第一深度图与该第二深度图进行融合，以得到融合后的深度图。
第二方面，提供了一种图像处理设备，包括图像获取单元、深度计算单元和深度融合单元；其中，
该图像获取单元用于：获取至少两个第一图像，其中，该第一图像的分辨率为第一分辨率；获取至少两个第二图像，其中，该第二图像的分辨率为第二分辨率，该第二分辨率低于该第一分辨率；
该深度计算单元用于：利用该至少两个第一图像，确定在第一视差阈值的限制下，该至少两个第一图像对应的第一深度图；利用该至少两个第二图像，确定在第二视差阈值的限制下，该至少两个第二图像对应的第二深度图，其中，该第二视差阈值大于该第一视差阈值；
该深度融合单元用于：将该第一深度图与该第二深度图进行融合，以得到融合后的深度图。
在本申请实施例中，针对高分辨率图像，采用较小的视差阈值进行深度图的计算，以及针对低分辨率图像，采用较大的视差阈值进行深度图的计算，并将基于高分辨率图像得到的深度图以及基于低分辨率图像得到的深度图进行融合，因此，为了节省计算量，而通过高的图像分辨率以及较小的视差阈值计算的深度图死区大的问题，可以由低的图像分辨率低以及较大的视差阈值计算的深度信息来解决，以及，通过低的图像分辨率以及较大的视差阈值计算的远处深度信息精确度低的问题，可以由高的图像分辨率以及较小的视差阈值计算的深度信息来解决，从而本申请实施例的图像处理方法，通过将高低分辨图像得到的深度图进行融合，从而得到更精确的深度信息，并且无需较大的计算。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是示出了深度计算方式的示意性图。
图2是根据本申请实施例的图像处理方法的示意性流程图。
图3是低分辨率图以及对应的深度图。
图4示出了高分辨率图以及对应的深度图。
图5示出了融合后的深度图。
图6是待处理区域在图像中的位置的示意性图。
图7是待处理区域在图像中的位置的示意性图。
图8是待处理区域在图像中的位置的示意性图。
图9是待处理区域在图像中的位置的示意性图。
图10是高分辨率图进行图像块切割的示意性图。
图11是高分辨率图进行图像块切割的示意性图。
图12是根据本申请实施例的图像处理设备的示意性框图。
图13是根据本申请实施例的图像处理设备的示意性框图。
图14是根据本申请实施例的飞行器的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。
计算机视觉是依靠成像系统代替视觉器官作为输入敏感手段，其中，最常用的是摄像头，例如，可由双摄像头组成一个基础的视觉系统。
可以通过双目摄像头系统的两个摄像头在同一时刻拍摄的不同角度的照片，来得到对应的深度图。该双目摄像头系统可以是前视双目摄像头系统，后视双目摄像头系统，左视双目摄像头系统或右视双目摄像头系统等。
实际在计算深度图的过程中，可以根据两个摄像头同一时刻拍摄的两张图，来进行匹配计算，计算出每一个像素的深度信息。
可选地，可以通过以下公式1计算深度：
其中，d是深度，b是左右相机之间的距离，f是相机的焦距，dp是视差(disparity)。
从上式1可以看出，由于b和f是物理属性，一般保持不变，则d与dp成反比关系。对于近距离的物体而言，深度较小，那么视差较大，而对于远距离的物体而言，深度较大，对应的视差较小。
以下将结合图1举例说明如何计算深度。。
如图1所示，在右图中寻找与左图的一个像素点匹配的像素点，也即在右图中，在一条直线上搜索遍历，从而找出与左图的该像素点匹配的像素点，也即匹配分值(MatchScore Values)最高的像素点，并计算左图的像素点与右图的匹配的像素点之间的视差。
应理解，图1只是一个简单的匹配，实际过程中可以逐个像素进行搜索，并且图1只做了局部的匹配，后续还可以进一步优化调整，最终计算出像素点在左右图的视差(disparity)
例如，如图1所示，面具的鼻尖的一个像素点在左图的第20行，第100列，那么左右图经过预处理(rectify)后，理论上，鼻尖这个像素点在右图也是第20行，并且应该是<100列的。所以可以从右图的第20行，第100列这个像素点向左搜索，最终确定第20行，第80列的像素点和左图的鼻尖处的像素点最匹配，那么该像素点的视差(disparity)为|80-100|＝20。
由此可以看出，对于高分辨率的图像每行的每个像素都做匹配计算，所需的时间较长。所以，在实际计算中，可以限制搜索范围，比如限制在分辨率320*240的图像上最大搜索64个视差，即，左图的每个像素需要在右图搜索64次，因此，匹配计算时所限制的最大搜索范围将会降低计算耗时，以及减少利用的计算资源。
但对于更高分辨率的图像而言，例如，在分辨率640*480的图像上，同样限制最大搜索64个视差，会造成近处的物体无法识别，即死区大。若放宽搜索范围，则所需的计算量较大。
而对于较低分辨率的图像而言，例如，在分辨率320*240的图像上，限制最大搜索64个视差，则会造成远处物体的观测精度较低。这可以由公式1看出，对于较远距离的物体，即视差较小的物体，例如，视差仅为2，±0.5个视差误差就会使得计算得到的深度较大偏离于实际的深度，而对于较近距离的物体而言，例如，视差为30，则±0.5个视差误差不会使得计算得到的深度较大偏离于实际的深度。
从以上分析可知，对于近处的物体而言，如果针对分辨率320*240的图像，限制最大搜索64个视差，那么针对分辨率640*480的图像，则需要限制最大搜索128个视差，这将导致计算资源暴涨。而对于远处物体来说，如果针对分辨率640*480的图像，限制最大搜索2个视差，那么针对分辨率320*240的图像，则需要限制最大搜索1个视差，导致观测精度较低。
如果既要能够准确观测到近处物体，针对远处物体，又需要较高的观测精度，针对分辨率为640*480的图像，需要限制最大搜索128个视差，这需要较大的计算量，对于实时性要求较高的飞行器来说，这是比较难于实现。
飞行器在低空飞行时，需要近距离的避障，利用高分辨率图像计算的深度图，由于死区大的原因，可能没法采用；而飞行器在高速飞行时，对远距离的观测精度要求较高，这时候利用低分辨率图像计算的深度图不能满足该要求，有些情况下，可以使用低分辨图像计算的深度图，但是这要求飞行器限制飞行速度。
为此，本申请实施例提供一种图像处理的方案，通过将高低分辨图像得到的深度图进行融合，以得到更精确的深度信息，并且可以无需较大的计算量。
图2是根据本申请实施例图像处理方法100的示意性图。该方法100包括以下内容中的至少部分内容。
在110中，获取至少两个第一图像，其中，第一图像的分辨率为第一分辨率。
可选地，该至少两个第一图像可以源于双目摄像头，例如，可以是双目摄像头在同一时刻拍摄的图像，或者，也可以是由双目摄像头在同一时刻拍摄的图像进行降采样得到的图像。
应理解，该至少两个第一图像可以并不源于双目摄像头，例如，可以源于单目或多目(多于双目)摄像头。
在120中，获取至少两个第二图像，其中，第二图像的分辨率为第二分辨率，第二分辨率低于第一分辨率。
可选地，可以通过对至少两个第一图像分别进行降采样，得到至少两个第二图像。
可选地，该至少两个第一图像和至少两个第二图像可以是分别由更高的分辨率的图像降采样得到的。
在130中，利用至少两个第一图像，确定在第一视差阈值的限制下，至少两个第一图像对应的第一深度图。
具体地，可以以该第一视差阈值作为最大的搜索范围，在一个第一图像上，搜索与另一个第一图像的某一像素点匹配的像素点，从而找到该像素点对应的视差，从而可以得到该像素点的深度。
本申请实施例提到的深度或深度信息的取值可以是公式1中的深度d，也可以是视差，这是由于视差与深度d具有反比关系，视差直接反映了深度。
具体地，本申请实施例提到的深度图可以直接包括各个像素点的深度d或者包括各个像素点对应的视差。
在140中，利用至少两个第二图像，确定在第二视差阈值的限制下，至少两个第二图像对应的第二深度图，其中，第二视差阈值大于第一视差阈值。
具体地，可以以该第二视差阈值作为最大的搜索范围，在一个第二图像上，搜索与另一个第二图像的某一像素点匹配的像素点，从而找到该像素点对应的视差，从而可以得到该像素点的深度。
在150中，将第一深度图与第二深度图进行融合，以得到融合后的深度图。
可选地，第一深度图与第二深度图的融合可以采用以下方式：
利用第一深度图上的第一部分像素的深度，以及第二深度图上的第二部分像素的深度，得到融合后的深度图，其中，第一部分像素是第一深度图上与第三部分像素匹配的像素，其中，第三部分像素是第二深度图上除第二部分像素之外的像素。
具体地，在该种方案中，可以采用第二深度图的一部分像素在第二深度图上的深度信息，以及第二深度图的另一部分的像素在第一深度图上匹配的像素的深度信息，得到融合后的深度图。
应理解，本申请实施例的深度图的融合并不限于此，例如，可以将某一像素在第一深度图的深度信息，以及该像素匹配的像素在第二深度图的深度信息进行结合处理(也即综合两个深度信息，例如进行平均或加权处理等)，得到该像素的深度信息。
可选地，上述提到的第三部分像素的深度对应的视差小于或等于第三视差阈值。
具体地，由于较低的分辨率以及较大的视差阈值计算的第二深度图对于远处(即对应的视差较小)物或人计算的深度信息的精度较低，则可以将远处的深度信息由第一深度图上匹配的像素的深度信息来替换，从而可以解决远处的深度信息精确度不高的问题。
可选地，第三视差阈值等于第一视差阈值除以第一值所得到的值；其中，第一值是在第一方向上，第一分辨率与第二分辨率的像素比，其中，第一方向是获取第一深度图和第二深度图时的像素扫描方向。
可选地，获取深度图时是按行扫描，则该第一方向是行的方向，如果是按列扫描，则该第一方向是列的方向。当然，扫描方向也可以是其它方向,本申请实施例对此不作具体限定。
例如，第一图像的分辨率是640*480，第二图像的分辨率是320*240，且获取深度图时是按行扫描的，则该第一值可以是2。
可选地，在本申请实施例中，可以在第二深度图上，保持第二部分像素的深度；在第二深度图上，利用第一像素部分的深度对应的视差除以第一值得到的值对应的深度，对第三部分像素的深度进行替换。
应理解，除了第一视差阈值除以第一值所得到的值，第三视差阈值还可以是其它的值，例如小于第一视差阈值除以第一值所得到的值。
应理解，此处是在第二深度图的基础上，对第三部分像素的深度进行更改，但是本申请实施例也可以不在第二深度图的基础上对部分像素的深度信息进行更改，而是将第一部分像素的深度信息，以及第三部分像素的深度信息重新记录在一张新的深度图上。
为了更加清楚地理解本申请，以下将以第一图像为640*480分辨率的图像，第一视差阈值为8个视差，第二图像为320*240分辨率的图像，第二视差阈值是64为例，对本申请的计算深度图的方式进行说明。
步骤1：通过低分辨率的至少两个图像算一个深度图，即在分辨率为320*240的图像上，限制64个视差做深度图。
具体地，可以把分辨率为640*480的原图降采样成分辨率320*240的图像后，然后限制64个视差做深度图。
例如，图3左侧是分辨率为320*240的图像(至少两个图像中的一个)，图3右侧是申请人计算的深度图，从图3的深度图可以看出近处地面还较为光滑，但是到了远处地面就有明显的阶梯状，也即远处计算的深度信息精确度不高。
步骤2：通过高分辨率图，但是做更强的视差阈值限制，即在分辨率为640*480图像上做8个视差的深度图，这里目的在于计算远处的点。
例如，图4左侧是分辨率为640*480的图像(至少两张图像中的一张)，图4右侧是申请人计算的深度图，在高分辨率图上只做8个视差的搜索，从图4右侧所示的深度图可以看出，虽然近处的地面都算错了，但是远处地面更加平滑。
步骤3：将高分辨率图像得到的深度图与低分辨图像得到的深度图进行融合，也即，在低分辨率图像得到的深度图上，将小于4个视差的点的视差或深度替换为高分辨率图像得到的深度图上对应的点的视差或深度。
也即，在低分辨率图像得到的深度图上，将深度对应的视差大于4的点保留原有计算，将深度对应的视差小于或等于4的点的深度替换为高分辨率图对应的深度图匹配的像素的视差/2得到的深度。
例如，如图5所示，即为图3和图4中的深度图融合后得到的深图，该结果接近于申请人直接使用128个视差对高分辨率的图像进行深度计算的结果。
应理解，图3-5中灰色的颜色越深代表深度越大，但是由于仅用灰度图图示的原因，导致有些地方的颜色深浅度可能与深度没有较好的关联。
可选地,在本申请实施例中,在对图像进行处理时,针对有些原因(例如,系统的处理能力,处理效率),可以对图像进行分割或从图像中截取待处理区域等,并利用分割后的图像以及截取的区域,计算深度图。
为了便于理解，以下将结合两种实现方式进行详细说明，但应理解，本申请实施例的分割或获取待处理区域的实现方式并不限于此，以及，以下方式1和方式2的有些特征在不矛盾的情况下，可以结合使用。
方式1
对至少两个第一图像的每个第一图像分别进行分割处理，以得到分割后的图像块；将至少两个第一图像上具有相同位置的图像块进行组合，以得到多个图像块组；确定在第一视差阈值的限制下，多个图像块组中每个图像块组的深度图；将多个图像块组的深度图进行拼接，以得到第一深度图。
可选地，可以根据系统的处理能力(例如，计算单元的最大计算能力)，对每个第一图像分别进行分割处理。
具体地，由于系统的计算单元的最大计算能力有限，如果图像的分辨率较高且图像的尺寸较大时，则会导致无法进行深度图的计算，则可以对该高分辨的图像进行切割，切割的每个图像块可以符合计算单元的最大计算能力。
可选地，本申请实施例提到的对图像进行分割可以是对图像进行平均分割，当然，也可以不平均分割，例如，先按照最大的计算能力进行依次分割，直到剩余的最后一个图像块小于计算单元的最大计算能力。
可选地，多个计算单元可以对得到的多个图像块组进行并行处理，以得到各个图像块组对应的深度信息，从而可以提高图像处理的效率。
应理解，虽然上述实施例对第一图像进行分割为例进行说明，但是本申请实施例并不限于此，虽然第二图像的分辨率低于第一图像的分辨率，也可以对第二图像进行分割处理(例如，第二图像所需的计算能力仍然大于计算单元的最大计算能力)，并以此计算深度图，实现方式可以与第一图像一致。但是，则可以对第二图像进行分割。
方式2
在至少两个第一图像中的每个第一图像上，分别确定待处理区域；利用至少两个第一图像的待处理区域，确定在第一视差阈值的限制下的第一深度图。
可选地，根据系统的处理能力，确定待处理区域。
具体地，由于系统的计算单元的最大计算能力有限，如果图像的分辨率较高且图像的尺寸较大时，则会导致无法进行深度的计算，则可以根据系统的计算单元的最大计算能力，从每个图像上获取待处理区域。
可选地，预估可移动物体的移动位置；根据移动位置，在第一图像上，确定待处理区域。
可选地，该可移动物体可以为飞行器，无人驾驶的汽车等。
可选地，至少两个第一图像由可移动物体上的拍摄设备拍摄得到的；获取参照物在拍摄设备坐标系下的当前速度；利用该当前速度，预估移动位置。
可选地，利用可移动物体的当前移动速度，估计得到参照物在拍摄设备坐标系下的当前速度。
例如，可以通过可移动物体上设置的惯性测量单元来获取可移动物体的当前移动速度，从而估计参照物在拍摄设备坐标系下的当前速度。
可选地，利用可移动物体的已移动轨迹，估计得到参照物在拍摄设备坐标系下的当前速度。
例如，可以先得到可移动物体的移动位置，再把移动位置中的点投影到相机坐标系中，再通过前后帧该点位置的变化，来进一步计算得出参照物在相机坐标系下的速度。
可选地，该参照物可以是相对地球静止的参照物，也可以是相对地球移动的参照物。可选地，该参照物可以是需要躲避的障碍物。
可选地，可以根据参照物在拍摄设备坐标系下A时刻的速度，估计出B时刻(B时刻在A时刻之后)，该参照物质心G在拍摄设备坐标系下的位置P，将点P投影在A时刻拍摄设备拍摄的图像中，记为p，并以p为中心，确定具有特定区域大小的待处理区域。
具体地，可以根据参照物在拍摄设备坐标系下的速度来预估接下来的在图像中的位置。我们已知并知道了相机的焦距f，这里通过相似三角形关系有：
有了偏移[Δu,Δv]T，再根据标定参数给出的第一图像的光轴坐标(图像的原中心点)[u0,v0]T，就可以计算出待处理区域的中心[u0+Δu,v0+Δv]T，然后根据特定区域大小，在第一图像上，以[u0+Δu,v0+Δv]T为原点，截取具有该特定区域大小的图像，具体可以参见图6和图7所示。
在一种实现方式中，在与移动位置匹配的区域超出第一图像时，对与移动位置匹配的区域进行修正，以在第一图像上，得到具有特定区域大小的待处理区域。例如，如图8所示的待处理区域，其中，黑色填充部分为待处理区域，大矩形框为第一图像的区域。
在另一种实现方式中，在与可移动位置匹配的区域超出第一图像时，将与移动位置匹配的区域中未超出第一图像的区域，确定为待处理区域。例如，如图9所示的待处理区域，其中，黑色填充部分为待处理区域，大矩形框为第一图像的区域。
可选地，根据系统的处理能力，确定特定区域大小。例如，该特定区域大小等于计算单元的最大计算能力。
理解，虽然上述实施例以从第一图像选取待处理区域为例进行说明，但是本申请实施例并不限于此，虽然第二图像的分辨率低于第一图像的分辨率，也可从第二图像中选取待处理区域(例如，第二图像所需的计算能力仍然大于计算单元的最大计算能力)，并以此计算深度图，实现方式可以与第一图像一致。但是，则可以对第二图像进行分割。
可选地，在本申请实施例中，可以根据可移动物体的移动方向，从多个图像组中选择图像组，其中，选择的图像组包括至少两个第一图像。
具体地，可移动物体可以具有多个拍摄系统，可以根据可移动物体的移动方向，选择需要执行深度信息融合的图像。
例如，假设可移动物体需要先前移动，则可以选择前视摄像头拍摄的一组图像，利用该组图像，获取高低分辨率对应的深度图，并进行深度信息的融合。
例如，假设可移动物体需要向左前方向移动，则可以选择前视摄像头拍摄的一组图像以及左视摄像头拍摄的一组图像，利用该两组图像，分别获取各自的高低分辨率对应的深度图，对该两组图像分别得到深度图，各自进行融合。
可选地，本申请实施例的深度图可以用于避障。
可选地，本申请实施例的融合后的深度图可以结合其他非融合得到的深度图进行避障。
具体地，获取至少两个第三图像，第三图像具有第二分辨率；利用至少两个第三图像，确定在第二视差阈值的限制下，第三图像对应的第三深度图；利用第三深度图和融合后的深度图进行避障。
其中，该第三图像可以不是可移动物体的移动方向，例如，移动方向的反方向。
例如，假设可移动物体需要先前移动，则可以选择前视摄像头拍摄的一组图像，利用该组图像，获取高低分辨率对应的深度图，并进行深度信息的融合，以进行前面的避障。以及选择后视摄像头拍摄的一组图像，用低分辨的图像以及较大的视差阈值限制，得到深度图，进行后面的避障。
例如，假设可移动物体需要向左前方向移动，则可以选择前视摄像头拍摄的一组图像以及左视摄像头拍摄的一组图像，利用该两组图像，分别获取各自的高低分辨率对应的深度图，对该两组图像分别得到深度图，各自进行融合，以对移动方向进行避障。以及选择后视摄像头拍摄的一组图像，用低分辨的图像以及较大的视差阈值限制，得到深度图，进行后面的避障，以及右视摄像头拍摄的一组图像，用低分辨的图像以及较大的视差阈值限制，得到深度图，进行右边的避障。
为了便于理解，以下将结合特定场景下的飞行器，以两个具体实施例进行说明书，但应理解，以下描述的两个具体实施例仅仅为了便于读者理解本申请，不应对本申请造成特别的限定。
实施例的背景：实际使用过程中传感器获取到的原图是高分辨率图片，即分辨率为1280*800(WXGA，或者称为800p)，要保证深度信息能用做控制反馈，可以具有一定的深度图的计算频率(例如，10Hz(即，每秒钟10帧，帧间隔100ms))，但受限于飞行器上的计算资源，计算单元最大支持640*480(VGA)的图像，且100ms内，最多只能计算6组图片。
实施例1(前后避障)
步骤1：先将前后拍摄的两组高分辨率图像WXGA降采样为VGA，即得到2组低分辨率的图像；
步骤2：按照飞行方向，选取前视的图像组(向前飞行时)或者后视(向后飞行)的图像组，把图像组包括的每个WXGA切分成四块，每块略小于VGA，这里得到4张图，这里把WXGA切分但并未降采样，这里实际上可以理解成是WXGA拆成4次计算出深度图再拼接回来，所以这步相当于计算的是高分辨率图片的深度图，所以需要选取更加严格的视差阈值的限制。其中，切割后的图像中，相同位置的图像块可以组成图像块组，例如，如图10和图11所示，分别对WXGA1和WXGA2进行分割，将图像块1-1与图像块2-1组成图像块组，将图像块1-2以及图像块2-2组成图像块组，将图像块1-3与图像块2-3组成图像块组，将图像块1-4与图像块2-4组成图像块组。
步骤3：步骤1中的2个图像组，步骤2中的4个图像块组，刚好6个图像组以及图像块组，通过计算单元计算其各自的深度图，然后再把步骤1中的高分辨WXGA降采样成VGA计算的深度图作为基准图，与切分的4个小图像块组计算出来的深度图，做一个融合，从而可以得到更精准的深度图。
实施例2(前后左右全向避障)
步骤1：将前后左右拍摄的四组高分辨率WXGA降采样为VGA，即得到4组低分辨率的图。
步骤2：按照飞行方向，选取前视的图像(向前，左前或右前飞行时)或者后视(向后，向左后或右后飞行)的第一图像组，以及选取左视的图像(向左，左前或左后飞行时)或者右视(向右，向右前或右后飞行)的第二图像组，得到高分辨率WXGA的两组图像，然后根据飞行速度预测其飞行轨迹，对第一图像组的每个图像分别选取VGA，组成第一图像块组；对第二图像组的每个图像分别选取VGA，组成第二图像块组。
步骤3、针对步骤1中选取的4个图像组，以及步骤2的2个图像块组，通过计算单元计算其各自的深度图，把两组高分辨图像WXGA降采样成VGA计算的两个深度图(图视的方向与步骤2的图视的方向一致)作为基准图，分别结合步骤2中的两个图像块组分别得到深度图，做一个融合(可以每个方向分别进行融合)，从而可以得到更精准的深度图
在本申请实施例中，针对高分辨率图像，采用较小的视差阈值进行深度图的计算，以及针对低分辨率图像，采用较大的视差阈值进行深度图的计算，并将基于高分辨率图像得到的深度图以及基于低分辨率图像得到的深度图进行融合，因此，为了节省计算量，而通过高的图像分辨率以及较小的视差阈值计算的深度图死区大的问题，可以由低的图像分辨率低以及较大的视差阈值计算的深度信息来解决，以及，通过低的图像分辨率以及较大的视差阈值计算的远处深度信息精确度低的问题，可以由高的图像分辨率以及较小的视差阈值计算的深度信息来解决，从而本申请实施例的图像处理方法，通过将高低分辨图像得到的深度图进行融合，从而得到更精确的深度信息，并且无需较大的计算量，以及可以避免飞行器为了避障(采用基于低分辨率图像得到的深度图)，限制飞行速度的问题。
图12是根据本申请实施例的图像处理设备的示意性框图。如图12所示，该设备包括图像获取单元310、深度计算单元320和深度融合单元330；其中，
该图像获取单元310用于：获取至少两个第一图像，其中，该第一图像的分辨率为第一分辨率；获取至少两个第二图像，其中，该第二图像的分辨率为第二分辨率，该第二分辨率低于该第一分辨率；
该深度计算单元320用于：利用该至少两个第一图像，确定在第一视差阈值的限制下，该至少两个第一图像对应的第一深度图；利用该至少两个第二图像，确定在第二视差阈值的限制下，该至少两个第二图像对应的第二深度图，其中，该第二视差阈值大于该第一视差阈值；
该深度融合单元330用于：将该第一深度图与该第二深度图进行融合，以得到融合后的深度图。
可选地，该深度融合单元330进一步用于：
利用该第一深度图上的第一部分像素的深度，以及该第二深度图上的第二部分像素的深度，得到该融合后的深度图，其中，该第一部分像素是该第一深度图上与第三部分像素匹配的像素，其中，该第三部分像素是该第二深度图上除该第二部分像素之外的像素。
可选地，该第三部分像素的深度对应的视差小于或等于第三视差阈值。
可选地，该第三视差阈值等于该第一视差阈值除以第一值所得到的值；
其中，该第一值是在第一方向上，该第一分辨率与该第二分辨率的像素比，
其中，该第一方向是获取该第一深度图和该第二深度图时的像素扫描方向。
可选地，该深度融合单元330进一步用于：
在该第二深度图上，保持该第二部分像素的深度；
在该第二深度图上，利用该第一像素部分的深度对应的视差除以该第一值得到的值对应的深度，对该第三部分像素的深度进行替换。
可选地，该深度计算单元320进一步用于：
对该至少两个第一图像的每个第一图像分别进行分割处理，以得到分割后的图像块；
将该至少两个第一图像上具有相同位置的图像块进行组合，以得到多个图像块组；
确定在该第一视差阈值的限制下，该多个图像块组中每个图像块组的深度图；
将该多个图像块组的深度图进行拼接，以得到该第一深度图。
可选地，该深度计算单元320进一步用于：
根据系统的处理能力，对该每个第一图像分别进行分割处理。
可选地，该深度计算单元320进一步用于：
在该至少两个第一图像中的每个第一图像上，分别确定待处理区域；
利用该至少两个第一图像的该待处理区域，确定在该第一视差阈值的限制下的该第一深度图。
可选地，该深度计算单元320进一步用于：
根据系统的处理能力，确定该待处理区域。
可选地，该深度计算单元320进一步用于：
预估可移动物体的移动位置；
根据该移动位置，在该第一图像上，确定该待处理区域。
可选地，该深度计算单元320进一步用于：
以该移动位置为中心，按照特定区域大小，在该第一图像上，确定与该移动位置匹配的区域；
在与该移动位置匹配的区域超出该第一图像时，对与该移动位置匹配的区域进行修正，以在该第一图像上，得到具有该特定区域大小的该待处理区域。
可选地，该深度计算单元320进一步用于：
以该移动位置为中心，按照特定区域大小，在该第一图像上，确定与该可移动位置匹配的区域；
在与该可移动位置匹配的区域超出该第一图像时，将与该移动位置匹配的区域中未超出该第一图像的区域，确定为该待处理区域。
可选地，该深度计算单元320进一步用于:
根据系统的处理能力，确定该特定区域大小。
可选地，该至少两个第一图像由该可移动物体上的拍摄设备拍摄得到的；
该深度计算单元320进一步用于：
获取参照物在拍摄设备坐标系下的当前速度；
利用该参照物物在该拍摄设备坐标系下的当前速度，预估该移动位置。
可选地，该深度计算单元320进一步用于：
利用该可移动物体的当前移动速度，估计得到该参照物在拍摄设备坐标系下的当前速度；或，
利用该可移动物体的已移动位置，估计得到该参照物在拍摄设备坐标系下的当前速度。
可选地，该系统的处理能力为系统的计算单元的最大计算能力。
可选地，该图像获取单元310进一步用于：获取至少两个第三图像，该第三图像具有该第二分辨率；
该深度计算单元320进一步用于：利用该至少两个第三图像，确定在该第二视差阈值的限制下，该第三图像对应的第三深度图；
如图12所示，该设备还包括避障单元340，用于：利用该第三深度图和该融合后的深度图进行避障。
可选地，该图像获取单元310进一步用于：
将该至少两个第一图像进行降采样，以得到该至少两个第二图像。
可选地，该图像获取单元310进一步用于：
根据可移动物体的移动方向，从多个图像组中选择图像组，其中，选择的该图像组包括该至少两个第一图像。
应理解，该图像处理设备300可以执行方法200中的方案，为了简洁，在此不再赘述。
图13是根据本申请实施例的图像处理设备400的示意性框图
可选地，该图像处理设备400可以包括多个不同的部件，这些部件可以作为集成电路(integrated circuits，ICs)，或集成电路的部分，离散的电子设备，或其它适用于电路板(诸如主板，或附加板)的模块，也可以作为并入计算机系统的部件。
可选地，该图像处理设备可以包括处理器410和与处理器410耦合的存储介质420。
处理器410可以包括一个或多个通用处理器，诸如中央处理单元(centralprocessing unit，CPU)，或处理设备等。具体地，该处理器410可以是复杂指令集处理(complex instruction set computing，CISC)微处理器，超长指令字(very longinstruction word，VLIW)微处理器，实现多个指令集组合的微处理器。该处理器也可以是一个或多个专用处理器，诸如应用专用集成电路(application specific integratedcircuit，ASIC),现场可编程门阵列(field programmable gate array，FPGA),数字信号处理器(digital signal processor，DSP)。
处理器410可以与存储介质420通信。该存储介质420可以为磁盘、光盘、只读存储器(read only memory,ROM)，闪存，相变存储器。该存储介质420可以存储有处理器存储的指令，和/或，可以缓存一些从外部存储设备存储的信息，例如，从外部存储设备读取的金字塔的图像分层的像素信息。
可选地，除了处理器420和存储介质420，图像处理设备可以包括显示控制器和/或显示设备单元430，收发器440，视频输入输出单元450，音频输入输出单元460，其他输入输出单元470。图像处理设备400包括的这些部件可以通过总线或内部连接互联。
可选地，该收发器440可以是有线收发器或无线收发器，诸如，WIFI收发器，卫星收发器，蓝牙收发器，无线蜂窝电话收发器或其组合等。
可选地，视频输入输出单元450可以包括诸如摄像机的图像处理子系统，其包括光传感器，电荷耦合器件(charged coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide semiconductor，CMOS)光传感器，以用于实现拍摄功能。
可选地，该音频输入输出单元460可以包括扬声器，话筒，听筒等。
可选地，其他输入输出设备470可以包括存储设备，universal serial bus(USB)端口，串行端口，并行端口，打印机，网络接口等。
可选地，该图像处理设备400可以执行方法100所示的操作，为了简洁，在此不再赘述。
可选地，图像处理设备400或400可以位于可移动设备中。可移动设备可以在任何合适的环境下移动，例如，空气中(例如，定翼飞机、旋翼飞机，或既没有定翼也没有旋翼的飞机)、水中(例如，轮船或潜水艇)、陆地上(例如，汽车或火车)、太空(例如，太空飞机、卫星或探测器)，以及以上各种环境的任何组合。可移动设备可以是飞机，例如无人机(UnmannedAerial Vehicle，简称为“UAV”)。在一些实施例中，可移动设备可以承载生命体，例如，人或动物。
图14是根据本申请实施例的可移动设备500的示意性框图。如图14所示，可移动设备500包括载体510和负载520。图14中将可移动设备描述为无人机仅仅是为了描述方面。负载520可以不通过载体510连接到可移动设备上。可移动设备500还可以包括动力系统530、传感系统540和通信系统550和图像处理设备562和拍摄系统564。
动力系统530可以包括电子调速器(简称为电调)、一个或多个螺旋桨以及与一个或多个螺旋桨相对应的一个或多个电机。电机和螺旋桨设置在对应的机臂上；电子调速器用于接收飞行控制器产生的驱动信号，并根据驱动信号提供驱动电流给电机，以控制电机的转速和/或转向。电机用于驱动螺旋桨旋转，从而为UAV的飞行提供动力，该动力使得UAV能够实现一个或多个自由度的运动。在某些实施例中，UAV可以围绕一个或多个旋转轴旋转。例如，上述旋转轴可以包括横滚轴、平移轴和俯仰轴。应理解，电机可以是直流电机，也可以交流电机。另外，电机可以是无刷电机，也可以有刷电机。
传感系统540用于测量UAV的姿态信息，即UAV在空间的位置信息和状态信息，例如，三维位置、三维角度、三维速度、三维加速度和三维角速度等。传感系统例如可以包括陀螺仪、电子罗盘、惯性测量单元(Inertial Measurement Unit，简称为“IMU”)、视觉传感器、全球定位系统(Global Positioning System，简称为“GPS”)和气压计等传感器中的至少一种。飞行控制器用于控制UAV的飞行，例如，可以根据传感系统测量的姿态信息控制UAV的飞行。应理解，飞行控制器可以按照预先编好的程序指令对UAV进行控制，也可以通过响应来自操纵设备的一个或多个控制指令对UAV进行控制。
通信系统550能够与一个具有通信系统570的终端设备580通过无线信号590进行通信。通信系统550和通信系统570可以包括多个用于无线通信的发射机、接收机和/或收发机。这里的无线通信可以是单向通信，例如，只能是可移动设备500向终端设备580发送数据。或者无线通信可以是双向通信，数据即可以从可移动设备500发送给终端设备580，也可以由终端设备580发送给可移动设备500。
可选地，终端设备580能够提供针对于一个或多个可移动设备500、载体510和负载520的控制数据，并能接收可移动设备500、载体510和负载520发送的信息。终端设备580提供的控制数据能够用于控制一个或多个可移动设备500、载体510和负载520的状态。可选地，载体510和负载520中包括用于与终端设备580进行通信的通信模块。
可以理解的是，图14所示出的可移动设备包括的图像处理设备660能够执行方法100，为了简洁，在此不再赘述。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (38)

1.一种图像处理方法，其特征在于，包括：
获取至少两个第一图像，其中，所述第一图像的分辨率为第一分辨率；
获取至少两个第二图像，其中，所述第二图像的分辨率为第二分辨率，所述第二分辨率低于所述第一分辨率；
利用所述至少两个第一图像，确定在第一视差阈值的限制下，所述至少两个第一图像对应的第一深度图；
利用所述至少两个第二图像，确定在第二视差阈值的限制下，所述至少两个第二图像对应的第二深度图，其中，所述第二视差阈值大于所述第一视差阈值；
将所述第一深度图与所述第二深度图进行融合，以得到融合后的深度图。
2.根据权利要求1所述的方法，其特征在于，所述将所述第一深度图与所述第二深度图进行融合，以得到融合后的深度图，包括：
利用所述第一深度图上的第一部分像素的深度，以及所述第二深度图上的第二部分像素的深度，得到所述融合后的深度图，其中，所述第一部分像素是所述第一深度图上与第三部分像素匹配的像素，其中，所述第三部分像素是所述第二深度图上除所述第二部分像素之外的像素。
3.根据权利要求2所述的方法，其特征在于，所述第三部分像素的深度对应的视差小于或等于第三视差阈值。
4.根据权利要求3所述的方法，其特征在于，所述第三视差阈值等于所述第一视差阈值除以第一值所得到的值；
其中，所述第一值是在第一方向上，所述第一分辨率与所述第二分辨率的像素比，
其中，所述第一方向是获取所述第一深度图和所述第二深度图时的像素扫描方向。
5.根据权利要求4所述的方法，其特征在于，所述利用所述第一深度图上的第一部分像素的深度，以及所述第二深度图上的第二部分像素的深度，得到所述融合后的深度图，包括：
在所述第二深度图上，保持所述第二部分像素的深度；
在所述第二深度图上，利用所述第一像素部分的深度对应的视差除以所述第一值得到的值对应的深度，对所述第三部分像素的深度进行替换。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述利用所述至少两个第一图像，确定在第一视差阈值的限制下，所述至少两个第一图像对应的第一深度图，包括：
对所述至少两个第一图像的每个第一图像分别进行分割处理，以得到分割后的图像块；
将所述至少两个第一图像上具有相同位置的图像块进行组合，以得到多个图像块组；
确定在所述第一视差阈值的限制下，所述多个图像块组中每个图像块组的深度图；
将所述多个图像块组的深度图进行拼接，以得到所述第一深度图。
7.根据权利要求6所述的方法，其特征在于，所述对所述至少两个第一图像中的每个第一图像分别进行分割处理，包括：
根据系统的处理能力，对所述每个第一图像分别进行分割处理。
8.根据权力要求1至5中任一项所述的方法，其特征在于，所述利用所述至少两个第一图像，确定在第一视差阈值的限制下，所述至少两个第一图像对应的第一深度图，包括：
在所述至少两个第一图像中的每个第一图像上，分别确定待处理区域；
利用所述至少两个第一图像的所述待处理区域，确定在所述第一视差阈值的限制下的所述第一深度图。
9.根据权利要求8所述的方法，其特征在于，所述在所述至少两个第一图像中的每个第一图像上，分别确定待处理区域，包括：
根据系统的处理能力，确定所述待处理区域。
10.根据权利要求8或9所述的方法，其特征在于，所述在所述至少两个第一图像中的每个第一图像上，分别确定待处理区域，包括：
预估可移动物体的移动位置；
根据所述移动位置，在所述第一图像上，确定所述待处理区域。
11.根据权利要求10所述的方法，其特征在于，所述根据移动位置，在所述第一图像上，确定所述待处理区域，包括：
以所述移动位置为中心，按照特定区域大小，在所述第一图像上，确定与所述移动位置匹配的区域；
在与所述移动位置匹配的区域超出所述第一图像时，对与所述移动位置匹配的区域进行修正，以在所述第一图像上，得到具有所述特定区域大小的所述待处理区域。
12.根据权利要求10所述的方法，其特征在于，所述根据所述移动位置，在所述第一图像上，确定待处理区域，包括：
以所述移动位置为中心，按照特定区域大小，在所述第一图像上，确定与所述可移动位置匹配的区域；
在与所述可移动位置匹配的区域超出所述第一图像时，将与所述移动位置匹配的区域中未超出所述第一图像的区域，确定为所述待处理区域。
13.根据权利要求11或12所述的方法，其特征在于，所述以所述移动位置为中心，按照特定区域大小，在所述第一图像上，确定与所述移动位置匹配的区域之前，所述方法还包括:
根据系统的处理能力，确定所述特定区域大小。
14.根据权利要求10至13中任一项所述的方法，其特征在于，所述至少两个第一图像由所述可移动物体上的拍摄设备拍摄得到的；
所述预估可移动物体的移动位置，包括：
获取参照物在拍摄设备坐标系下的当前速度；
利用所述参照物物在所述拍摄设备坐标系下的当前速度，预估所述移动位置。
15.根据权利要求14所述的方法，其特征在于，所述获取参照物在拍摄设备坐标系下的当前速度，包括：
利用所述可移动物体的当前移动速度，估计得到所述参照物在拍摄设备坐标系下的当前速度；或，
利用所述可移动物体的已移动位置，估计得到所述参照物在拍摄设备坐标系下的当前速度。
16.根据权利要求7或9或13所述的方法，其特征在于，所述系统的处理能力为系统的计算单元的最大计算能力。
17.根据权利要求1至16中任一项所述的方法，其特征在于，所述方法还包括：
获取至少两个第三图像，所述第三图像具有所述第二分辨率；
利用所述至少两个第三图像，确定在所述第二视差阈值的限制下，所述第三图像对应的第三深度图；
利用所述第三深度图和所述融合后的深度图进行避障。
18.根据权利要求1至17中任一项所述的方法，其特征在于，所述获取至少两个第二图像，包括：
将所述至少两个第一图像进行降采样，以得到所述至少两个第二图像。
19.根据权利要求18所述的方法，其特征在于，所述方法还包括：
根据可移动物体的移动方向，从多个图像组中选择图像组，其中，选择的所述图像组包括所述至少两个第一图像。
20.一种图像处理设备，其特征在于，包括图像获取单元、深度计算单元和深度融合单元；其中，
所述图像获取单元用于：获取至少两个第一图像，其中，所述第一图像的分辨率为第一分辨率；获取至少两个第二图像，其中，所述第二图像的分辨率为第二分辨率，所述第二分辨率低于所述第一分辨率；
所述深度计算单元用于：利用所述至少两个第一图像，确定在第一视差阈值的限制下，所述至少两个第一图像对应的第一深度图；利用所述至少两个第二图像，确定在第二视差阈值的限制下，所述至少两个第二图像对应的第二深度图，其中，所述第二视差阈值大于所述第一视差阈值；
所述深度融合单元用于：将所述第一深度图与所述第二深度图进行融合，以得到融合后的深度图。
21.根据权利要求20所述的设备，其特征在于，所述深度融合单元进一步用于：
利用所述第一深度图上的第一部分像素的深度，以及所述第二深度图上的第二部分像素的深度，得到所述融合后的深度图，其中，所述第一部分像素是所述第一深度图上与第三部分像素匹配的像素，其中，所述第三部分像素是所述第二深度图上除所述第二部分像素之外的像素。
22.根据权利要求21所述的设备，其特征在于，所述第三部分像素的深度对应的视差小于或等于第三视差阈值。
23.根据权利要求22所述的设备，其特征在于，所述第三视差阈值等于所述第一视差阈值除以第一值所得到的值；
其中，所述第一值是在第一方向上，所述第一分辨率与所述第二分辨率的像素比，
其中，所述第一方向是获取所述第一深度图和所述第二深度图时的像素扫描方向。
24.根据权利要求23所述的设备，其特征在于，所述深度融合单元进一步用于：
在所述第二深度图上，保持所述第二部分像素的深度；
在所述第二深度图上，利用所述第一像素部分的深度对应的视差除以所述第一值得到的值对应的深度，对所述第三部分像素的深度进行替换。
25.根据权利要求20至24中任一项所述的设备，其特征在于，所述深度计算单元进一步用于：
对所述至少两个第一图像的每个第一图像分别进行分割处理，以得到分割后的图像块；
将所述至少两个第一图像上具有相同位置的图像块进行组合，以得到多个图像块组；
确定在所述第一视差阈值的限制下，所述多个图像块组中每个图像块组的深度图；
将所述多个图像块组的深度图进行拼接，以得到所述第一深度图。
26.根据权利要求25所述的设备，其特征在于，所述深度计算单元进一步用于：
根据系统的处理能力，对所述每个第一图像分别进行分割处理。
27.根据权力要求20至24中任一项所述的设备，其特征在于，所述深度计算单元进一步用于：
在所述至少两个第一图像中的每个第一图像上，分别确定待处理区域；
利用所述至少两个第一图像的所述待处理区域，确定在所述第一视差阈值的限制下的所述第一深度图。
28.根据权利要求27所述的设备，其特征在于，所述深度计算单元进一步用于：
根据系统的处理能力，确定所述待处理区域。
29.根据权利要求27或28所述的设备，其特征在于，所述深度计算单元进一步用于：
预估可移动物体的移动位置；
根据所述移动位置，在所述第一图像上，确定所述待处理区域。
30.根据权利要求29所述的设备，其特征在于，所述深度计算单元进一步用于：
以所述移动位置为中心，按照特定区域大小，在所述第一图像上，确定与所述移动位置匹配的区域；
在与所述移动位置匹配的区域超出所述第一图像时，对与所述移动位置匹配的区域进行修正，以在所述第一图像上，得到具有所述特定区域大小的所述待处理区域。
31.根据权利要求29所述的设备，其特征在于，所述深度计算单元进一步用于：
以所述移动位置为中心，按照特定区域大小，在所述第一图像上，确定与所述可移动位置匹配的区域；
在与所述可移动位置匹配的区域超出所述第一图像时，将与所述移动位置匹配的区域中未超出所述第一图像的区域，确定为所述待处理区域。
32.根据权利要求30或31所述的设备，其特征在于，所述深度计算单元进一步用于:
根据系统的处理能力，确定所述特定区域大小。
33.根据权利要求29至32中任一项所述的设备，其特征在于，所述至少两个第一图像由所述可移动物体上的拍摄设备拍摄得到的；
所述深度计算单元进一步用于：
获取参照物在拍摄设备坐标系下的当前速度；
利用所述参照物物在所述拍摄设备坐标系下的当前速度，预估所述移动位置。
34.根据权利要求33所述的设备，其特征在于，所述深度计算单元进一步用于：
利用所述可移动物体的当前移动速度，估计得到所述参照物在拍摄设备坐标系下的当前速度；或，
利用所述可移动物体的已移动位置，估计得到所述参照物在拍摄设备坐标系下的当前速度。
35.根据权利要求26或28或32所述的设备，其特征在于，所述系统的处理能力为系统的计算单元的最大计算能力。
36.根据权利要求20至35中任一项所述的设备，其特征在于，所述图像获取单元进一步用于：获取至少两个第三图像，所述第三图像具有所述第二分辨率；
所述深度计算单元进一步用于：利用所述至少两个第三图像，确定在所述第二视差阈值的限制下，所述第三图像对应的第三深度图；
所述设备还包括避障单元，用于：利用所述第三深度图和所述融合后的深度图进行避障。
37.根据权利要求20至36中任一项所述的设备，其特征在于，所述图像获取单元进一步用于：
将所述至少两个第一图像进行降采样，以得到所述至少两个第二图像。
38.根据权利要求37所述的设备，其特征在于，所述图像获取单元进一步用于：
根据可移动物体的移动方向，从多个图像组中选择图像组，其中，选择的所述图像组包括所述至少两个第一图像。
CN201780005363.6A 2017-09-27 2017-09-27 图像处理方法和设备 Pending CN108496201A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/103630 WO2019061064A1 (zh) 2017-09-27 2017-09-27 图像处理方法和设备

Publications (1)

Publication Number Publication Date
CN108496201A true CN108496201A (zh) 2018-09-04

Family

ID=63344711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780005363.6A Pending CN108496201A (zh) 2017-09-27 2017-09-27 图像处理方法和设备

Country Status (3)

Country Link
US (2) US11057604B2 (zh)
CN (1) CN108496201A (zh)
WO (1) WO2019061064A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111080527A (zh) * 2019-12-20 2020-04-28 北京金山云网络技术有限公司 一种图像超分辨率的方法、装置、电子设备及存储介质
CN111640142A (zh) * 2019-12-25 2020-09-08 珠海大横琴科技发展有限公司 一种遥感图像多特征匹配方法、装置及电子设备
CN111724421A (zh) * 2020-06-29 2020-09-29 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备及存储介质
CN112889264A (zh) * 2018-10-15 2021-06-01 华为技术有限公司 用于处理图像数据的方法、装置、程序和记录介质
CN113573038A (zh) * 2020-04-29 2021-10-29 思特威(上海)电子科技股份有限公司 双目系统及深度图获取方法
WO2022017320A1 (zh) * 2020-07-21 2022-01-27 影石创新科技股份有限公司 障碍物信息获取方法、避障方法、移动装置及计算机可读存储介质
CN114519713A (zh) * 2022-02-24 2022-05-20 银牛微电子(无锡)有限责任公司 深度测量方法、双目立体视觉系统、装置及存储介质
CN115668299A (zh) * 2020-05-22 2023-01-31 谷歌有限责任公司 用于在真实世界图像中组合增强现实对象的方法和装置
CN117132568A (zh) * 2023-08-28 2023-11-28 联想(北京)有限公司 图像处理方法、装置及电子设备
CN119071458A (zh) * 2024-09-26 2024-12-03 维沃移动通信有限公司 图像处理方法、装置、电子设备及可读存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018086133A1 (en) * 2016-11-14 2018-05-17 SZ DJI Technology Co., Ltd. Methods and systems for selective sensor fusion
US11468587B2 (en) * 2020-05-12 2022-10-11 Samsung Electronics Co., Ltd. System and method for depth map recovery
CN116228544B (zh) * 2023-03-15 2024-04-26 阿里巴巴（中国）有限公司 图像处理方法、装置及计算机设备
US20240338835A1 (en) * 2023-04-07 2024-10-10 Apple Inc. Dual image processing
US20240394839A1 (en) * 2023-05-23 2024-11-28 Disney Enterprises, Inc. Artistically controllable stereo conversion
CN119255085B (zh) * 2024-03-29 2026-01-09 荣耀终端股份有限公司 抓拍图像的生成方法、电子设备、存储介质及程序产品
FR3164307A1 (fr) * 2024-07-05 2026-01-09 Stellantis Auto Sas Procédé et dispositif de détermination rapide d’une distance séparant un objet d’un véhicule par utilisation de boîte englobante.

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040105074A1 (en) * 2002-08-02 2004-06-03 Peter Soliz Digital stereo image analyzer for automated analyses of human retinopathy
US20040252862A1 (en) * 2003-06-13 2004-12-16 Sarnoff Corporation Vehicular vision system
CN102111637A (zh) * 2011-03-29 2011-06-29 清华大学 生成立体视频深度图的方法及装置
US20120147205A1 (en) * 2010-12-14 2012-06-14 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
CN102750694A (zh) * 2012-06-04 2012-10-24 清华大学 基于局部最优置信传播算法的双目视频深度图求取方法
CN103049933A (zh) * 2011-10-17 2013-04-17 联咏科技股份有限公司 图像处理装置与其方法
CN103139469A (zh) * 2011-12-01 2013-06-05 索尼公司 利用多分辨率过程生成鲁棒深度图的系统和方法
CN103810685A (zh) * 2014-02-25 2014-05-21 清华大学深圳研究生院 一种深度图的超分辨率处理方法
CN104067612A (zh) * 2012-01-04 2014-09-24 汤姆逊许可公司 3d图像序列的处理
CN104519343A (zh) * 2013-09-26 2015-04-15 西克股份公司 根据立体视图原理的3d相机和用于获取深度图的方法
CN104935909A (zh) * 2015-05-14 2015-09-23 清华大学深圳研究生院 一种基于深度信息的多幅图超分辨方法
US20160044252A1 (en) * 2013-03-14 2016-02-11 Pelican Imaging Corporation Systems and Methods for Reducing Motion Blur in Images or Video in Ultra Low Light with Array Cameras
US20160212411A1 (en) * 2015-01-20 2016-07-21 Qualcomm Incorporated Method and apparatus for multiple technology depth map acquisition and fusion
CN105869167A (zh) * 2016-03-30 2016-08-17 天津大学 基于主被动融合的高分辨率深度图获取方法
CN106127788A (zh) * 2016-07-04 2016-11-16 触景无限科技（北京）有限公司 一种视觉避障方法和装置
CN106170978A (zh) * 2015-12-25 2016-11-30 京东方科技集团股份有限公司 深度图生成装置、方法和非短暂性计算机可读介质
CN106767682A (zh) * 2016-12-01 2017-05-31 腾讯科技（深圳）有限公司 一种获取飞行高度信息的方法及飞行器
CN106934828A (zh) * 2015-12-28 2017-07-07 纬创资通股份有限公司 深度图像处理方法及深度图像处理系统

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6556704B1 (en) * 1999-08-25 2003-04-29 Eastman Kodak Company Method for forming a depth image from digital image data
KR100918480B1 (ko) * 2007-09-03 2009-09-28 한국전자통신연구원 스테레오 비전 시스템 및 그 처리 방법
EP2184713A1 (en) * 2008-11-04 2010-05-12 Koninklijke Philips Electronics N.V. Method and device for generating a depth map
US8339470B2 (en) * 2009-11-30 2012-12-25 Indian Institute Of Technology Madras Method and system for generating a high resolution image
WO2011081646A1 (en) * 2009-12-15 2011-07-07 Thomson Licensing Stereo-image quality and disparity/depth indications
KR101888672B1 (ko) * 2011-07-27 2018-08-16 엘지디스플레이 주식회사 입체영상 표시장치와 그 구동방법
US10027952B2 (en) * 2011-08-04 2018-07-17 Trx Systems, Inc. Mapping and tracking system with features in three-dimensional space
US20130050187A1 (en) * 2011-08-31 2013-02-28 Zoltan KORCSOK Method and Apparatus for Generating Multiple Image Views for a Multiview Autosteroscopic Display Device
US8837816B2 (en) * 2011-09-27 2014-09-16 Mediatek Inc. Method and apparatus for generating final depth information related map that is reconstructed from coarse depth information related map through guided interpolation
US20140198977A1 (en) * 2012-03-21 2014-07-17 Texas Instruments Incorporated Enhancement of Stereo Depth Maps
US8792710B2 (en) * 2012-07-24 2014-07-29 Intel Corporation Stereoscopic depth reconstruction with probabilistic pixel correspondence search
US10178368B2 (en) * 2012-10-23 2019-01-08 Intuitive Surgical Operations, Inc. Stereo imaging system with automatic disparity adjustment for displaying close range objects
TWI591584B (zh) * 2012-12-26 2017-07-11 財團法人工業技術研究院 三維感測方法與三維感測裝置
US9519972B2 (en) * 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
EP2973476B1 (en) * 2013-03-15 2025-02-26 Adeia Imaging LLC Systems and methods for stereo imaging with camera arrays
US9609306B2 (en) * 2013-07-16 2017-03-28 Texas Instruments Incorporated Hierarchical binary structured light patterns
US10497140B2 (en) * 2013-08-15 2019-12-03 Intel Corporation Hybrid depth sensing pipeline
EP2887311B1 (en) * 2013-12-20 2016-09-14 Thomson Licensing Method and apparatus for performing depth estimation
US9883169B2 (en) * 2014-03-31 2018-01-30 Sony Corporation Optical system, apparatus and method for operating an apparatus using helmholtz reciprocity
US10074158B2 (en) * 2014-07-08 2018-09-11 Qualcomm Incorporated Systems and methods for stereo depth estimation using global minimization and depth interpolation
KR102172992B1 (ko) * 2014-07-31 2020-11-02 삼성전자주식회사 이미지 촬영 장치 및 이미지 촬영 방법
US9886769B1 (en) * 2014-12-09 2018-02-06 Jamie Douglas Tremaine Use of 3D depth map with low and high resolution 2D images for gesture recognition and object tracking systems
AU2014280872A1 (en) * 2014-12-22 2016-07-07 Canon Kabushiki Kaisha Multiscale depth estimation using depth from defocus
PL411631A1 (pl) * 2015-03-18 2016-09-26 Politechnika Poznańska System do generowania mapy głębi i sposób generowania mapy głębi
WO2017023210A1 (en) * 2015-08-06 2017-02-09 Heptagon Micro Optics Pte. Ltd. Generating a merged, fused three-dimensional point cloud based on captured images of a scene
WO2017030507A1 (en) * 2015-08-19 2017-02-23 Heptagon Micro Optics Pte. Ltd. Generating a disparity map having reduced over-smoothing
US10404970B2 (en) * 2015-11-16 2019-09-03 Intel Corporation Disparity search range compression
US10469821B2 (en) * 2016-06-17 2019-11-05 Altek Semiconductor Corp. Stereo image generating method and electronic apparatus utilizing the method
TWI651513B (zh) * 2016-11-15 2019-02-21 財團法人工業技術研究院 三維量測系統及其方法

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040105074A1 (en) * 2002-08-02 2004-06-03 Peter Soliz Digital stereo image analyzer for automated analyses of human retinopathy
US20040252862A1 (en) * 2003-06-13 2004-12-16 Sarnoff Corporation Vehicular vision system
US20120147205A1 (en) * 2010-12-14 2012-06-14 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
CN102111637A (zh) * 2011-03-29 2011-06-29 清华大学 生成立体视频深度图的方法及装置
CN103049933A (zh) * 2011-10-17 2013-04-17 联咏科技股份有限公司 图像处理装置与其方法
CN103139469A (zh) * 2011-12-01 2013-06-05 索尼公司 利用多分辨率过程生成鲁棒深度图的系统和方法
CN104067612A (zh) * 2012-01-04 2014-09-24 汤姆逊许可公司 3d图像序列的处理
US20150071525A1 (en) * 2012-01-04 2015-03-12 Thomson Licensing Processing 3d image sequences
CN102750694A (zh) * 2012-06-04 2012-10-24 清华大学 基于局部最优置信传播算法的双目视频深度图求取方法
US20160044252A1 (en) * 2013-03-14 2016-02-11 Pelican Imaging Corporation Systems and Methods for Reducing Motion Blur in Images or Video in Ultra Low Light with Array Cameras
CN104519343A (zh) * 2013-09-26 2015-04-15 西克股份公司 根据立体视图原理的3d相机和用于获取深度图的方法
CN103810685A (zh) * 2014-02-25 2014-05-21 清华大学深圳研究生院 一种深度图的超分辨率处理方法
US20160212411A1 (en) * 2015-01-20 2016-07-21 Qualcomm Incorporated Method and apparatus for multiple technology depth map acquisition and fusion
CN104935909A (zh) * 2015-05-14 2015-09-23 清华大学深圳研究生院 一种基于深度信息的多幅图超分辨方法
CN106170978A (zh) * 2015-12-25 2016-11-30 京东方科技集团股份有限公司 深度图生成装置、方法和非短暂性计算机可读介质
CN106934828A (zh) * 2015-12-28 2017-07-07 纬创资通股份有限公司 深度图像处理方法及深度图像处理系统
CN105869167A (zh) * 2016-03-30 2016-08-17 天津大学 基于主被动融合的高分辨率深度图获取方法
CN106127788A (zh) * 2016-07-04 2016-11-16 触景无限科技（北京）有限公司 一种视觉避障方法和装置
CN106767682A (zh) * 2016-12-01 2017-05-31 腾讯科技（深圳）有限公司 一种获取飞行高度信息的方法及飞行器

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ENLIANG ZHENG 等: "PatchMatch Based Joint View Selection and Depthmap Estimation", 《2014 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
JOSÉ M. FÁCIL 等: "Single-View and Multi-View Depth Fusion", 《ARXIV:1611.07245V2》 *
刘娇丽 等: "基于TOF与立体匹配相融合的高分辨率深度获取", 《信息技术》 *
石静: "多视点立体图像的深度提取及虚拟视点生成研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
许延辉: "融合立体视觉与深度传感器的三维重建算法", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112889264A (zh) * 2018-10-15 2021-06-01 华为技术有限公司 用于处理图像数据的方法、装置、程序和记录介质
CN111080527B (zh) * 2019-12-20 2023-12-05 北京金山云网络技术有限公司 一种图像超分辨率的方法、装置、电子设备及存储介质
CN111080527A (zh) * 2019-12-20 2020-04-28 北京金山云网络技术有限公司 一种图像超分辨率的方法、装置、电子设备及存储介质
CN111640142A (zh) * 2019-12-25 2020-09-08 珠海大横琴科技发展有限公司 一种遥感图像多特征匹配方法、装置及电子设备
CN113573038A (zh) * 2020-04-29 2021-10-29 思特威(上海)电子科技股份有限公司 双目系统及深度图获取方法
CN115668299A (zh) * 2020-05-22 2023-01-31 谷歌有限责任公司 用于在真实世界图像中组合增强现实对象的方法和装置
CN115668299B (zh) * 2020-05-22 2025-08-29 谷歌有限责任公司 用于在真实世界图像中组合增强现实对象的方法和装置
CN111724421A (zh) * 2020-06-29 2020-09-29 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备及存储介质
CN111724421B (zh) * 2020-06-29 2024-01-09 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备及存储介质
WO2022017320A1 (zh) * 2020-07-21 2022-01-27 影石创新科技股份有限公司 障碍物信息获取方法、避障方法、移动装置及计算机可读存储介质
CN114519713A (zh) * 2022-02-24 2022-05-20 银牛微电子(无锡)有限责任公司 深度测量方法、双目立体视觉系统、装置及存储介质
CN114519713B (zh) * 2022-02-24 2025-07-18 合肥芯明智能科技有限公司 深度测量方法、双目立体视觉系统、装置及存储介质
CN117132568A (zh) * 2023-08-28 2023-11-28 联想(北京)有限公司 图像处理方法、装置及电子设备
CN119071458A (zh) * 2024-09-26 2024-12-03 维沃移动通信有限公司 图像处理方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
US20210337175A1 (en) 2021-10-28
US20200221062A1 (en) 2020-07-09
WO2019061064A1 (zh) 2019-04-04
US11057604B2 (en) 2021-07-06

Similar Documents

Publication Publication Date Title
US11057604B2 (en) Image processing method and device
US11649052B2 (en) System and method for providing autonomous photography and videography
US10771699B2 (en) Systems and methods for rolling shutter correction
CN108323190B (zh) 一种避障方法、装置和无人机
CN105225241B (zh) 无人机深度图像的获取方法及无人机
US7974460B2 (en) Method and system for three-dimensional obstacle mapping for navigation of autonomous vehicles
US20200191556A1 (en) Distance mesurement method by an unmanned aerial vehicle (uav) and uav
CN117310739A (zh) 在可移动物体之间共享绘图数据的技术
WO2020113423A1 (zh) 目标场景三维重建方法、系统及无人机
CN112567201A (zh) 距离测量方法以及设备
WO2020014909A1 (zh) 拍摄方法、装置和无人机
WO2018211926A1 (ja) 画像生成装置、画像生成システム、画像生成方法、及び画像生成プログラム
JP7501535B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム
WO2019104571A1 (zh) 图像处理方法和设备
WO2021081707A1 (zh) 数据处理方法、装置、可移动平台及计算机可读存储介质
WO2019126930A1 (zh) 测距方法、装置以及无人机
WO2021217371A1 (zh) 可移动平台的控制方法和装置
US20210256732A1 (en) Image processing method and unmanned aerial vehicle
CN114638897A (zh) 基于无重叠视域的多相机系统的初始化方法、系统及装置
WO2020019175A1 (zh) 图像处理方法和设备、摄像装置以及无人机
CN112837207A (zh) 全景深度测量方法、四目鱼眼相机及双目鱼眼相机
WO2020207411A1 (zh) 一种图像数据处理方法、装置、图像处理芯片及飞行器
WO2021035746A1 (zh) 图像处理方法、装置和可移动平台
CN114353667B (zh) 基于ar与无人机单目视觉的地面目标测量方法及其应用
CN109074661A (zh) 图像处理方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20221223

AD01 Patent right deemed abandoned