[go: up one dir, main page]

CN107027329A - 将行进工具的周围环境的局部图像拼接成一个图像 - Google Patents

将行进工具的周围环境的局部图像拼接成一个图像 Download PDF

Info

Publication number
CN107027329A
CN107027329A CN201580034556.5A CN201580034556A CN107027329A CN 107027329 A CN107027329 A CN 107027329A CN 201580034556 A CN201580034556 A CN 201580034556A CN 107027329 A CN107027329 A CN 107027329A
Authority
CN
China
Prior art keywords
image
sensor
partial
stitching
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580034556.5A
Other languages
English (en)
Other versions
CN107027329B (zh
Inventor
P·霍夫曼
T·施米特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of CN107027329A publication Critical patent/CN107027329A/zh
Application granted granted Critical
Publication of CN107027329B publication Critical patent/CN107027329B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/32Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种用于将行进工具(10)的连续周围环境区域(IV)的局部图像拼接成一个图像的方法。该方法包括以下步骤:借助第一周围环境传感器(1)检测周围环境区域(IV)的第一局部区域(I),借助第二周围环境传感器(2)检测周围环境区域(IV)的第二局部区域(II),在第一周围环境传感器(1)的信号的基础上产生第一局部区域(I)的第一局部图像,在第二周围环境传感器(2)以及多个用于检测第二局部区域(II)的虚拟传感器(3)的信号的基础上产生第二局部区域(II)的第二局部图像,沿直线形的第一拼合线(4)拼接第一局部图像和第二局部图像,其中,所述虚拟传感器(3)设置在基本上垂直于第一拼合线的垂直线(6)上的位置上。

Description

将行进工具的周围环境的局部图像拼接成一个图像
技术领域
本发明涉及一种行进工具、一种驾驶员辅助系统以及一种用于将行进工具的连续周围环境区域的局部图像拼接成一个图像的方法。尤其是,本发明涉及避免在拼合线区域中的失真。
背景技术
为了使行进工具的运行更舒适及更可靠,使用通过传感器接收周围环境信号并且为驾驶员示出周围环境图像的驾驶员辅助系统。例如已知,为了监控位于本体车辆后方的交通空间而设置用于拍摄图像的相机,其图像为驾驶员复现在集成于驾驶舱或中控台中的显示器上。该系统常用于停车辅助。此外已知,该系统集成为用于车辆侧设置的后视镜的替代物。对于驾驶员来说可能的是,代替后视镜,通过示出相机图像来监控后向的交通空间。因此,驾驶员的周围环境可以通过在车辆内部的显示器展示。
DE 10 2011 079 913公开了一种用于驾驶员的视野辅助系统以及一种具有该系统的车辆。
DE 10 2010 023 591公开了使用在用于道路行驶车辆的驾驶员辅助系统范围中的立体相机系统。
US 7,139,412公开了一种用于拼接多个图像的方法以及一种用于基于车辆的相机的装置,沿拼合线拼接该相机的图像。
US 6,476,855公开了一种用于显示行进工具的周围环境图像的装置。
WO 1999/015360 A1描述了一种用于车辆的具有相机的视觉装置。在此,至少一个相机设置在车辆的一侧上。该视觉装置通过使用图像拍摄传感器能够实现例如目前车辆中车外后视镜和车内后视镜的替代物,并例如用作停车辅助装置。
尽管相机能记录径向的三维(3D)区域,但在监视器上的展示在平坦的四边形平面中失真。因此,在死角中与物体的距离特别不能轻易估计。在三个视野(反光镜)的聚焦显示中必要的是,通过相应的显示方案实现本体车辆的关联性亦或相对位置。
发明内容
为了使后视镜能够不仅适合客户地而且可允许地被取消,即使且尤其是在经拼接的局部图片的拼合线区域中依然提供无法由现有技术保证的规定图像质量。因此,本发明的目的在于满足上述需要。
按照本发明,上述目的通过一种用于将行进工具的连续周围环境区域的局部图像拼接成一个图像的方法得以实现。因此,在第一步骤中,借助周围环境传感器检测周围环境区域的第一局部区域。周围环境区域可以例如是行进工具的后向区域,其大致是行进工具的前保险杠后面的区域以及车辆左边或右边的区域。第一周围环境传感器可以例如是二维(2D)光学相机。该相机可设置在行进工具的翼子板和/或外后视镜的区域中。附加地,借助第二周围环境传感器检测同一周围环境区域的第二局部区域(该第二局部区域至少不完全与第一局部区域相同)。第二环境传感器同样可以是光学传感器。然而,不同于第一周围环境传感器,第二周围环境传感器可以接收附加的信息,由此第二周围环境传感器例如能够实现第二局部区域的三维图像。在第二步骤中,在第一周围环境传感器的信号的基础上产生周围环境区域的图像的第一局部图像,以及在第二周围环境传感器的信号的基础上产生周围环境区域的图像的第二局部图像。此外,第二局部图像基于多个用于检测第二局部区域的虚拟传感器。多个虚拟传感器也可以看作在该第二局部区域上的多个备选视角,其在借助真实传感器检测的信号的基础上形成(例如被计算出)。以这种方式,在第二局部区域上存在多个视角。按照本发明,虚拟传感器设置在基本上垂直于拼合线的垂直线的位置上,沿所述拼合线拼接第一局部图像和第二局部图像。以这种方式,每个虚拟传感器具有距第一拼合线的不同距离。尤其是,每个虚拟传感器具有特定虚拟传感器距拼合线的基本距离的整数倍,所述特定虚拟传感器相对接近地设置在拼合线上。拼合线通常垂直地设置在两个指向不同方位角的空间区域中的传感器之间,而对于三维图像区域也可以标识出如下拼合面:该拼合面定义在拼接过程中不同周围环境图像的空间边界面。关于这样的拼合面,虚拟传感器也可以设置在大致垂直线上。通过使至少一个虚拟传感器关于第一周围环境传感器的检测角度边界线与关于第二周围环境传感器的检测角度边界线具有类似的视角,提供如下可能性:通过上述虚拟传感器的信号在拼接第一局部图像和第二局部图像时产生较小的失真。尤其是在产生车辆环境的图像过程中产生这样小的失真,使得可以省去例如内后视镜/外后视镜的光学辅助工具。以这种方式减小了行进工具的阻力,这降低了其行进的能量消耗。此外存在如下可能性:利用附加信息扩充合成图像并且将相机设置在更广泛的且因此更够格的车辆周围环境图像所展示的位置上。例如,该第一局部区域可以包含所谓的“死角”,否则行进工具的驾驶员仅可以在舒适性丧失的情况下以及在损失其余周围环境区域景象的情况下检测该死角。
优选地,一个虚拟传感器可以设置在紧邻第一拼合线的附近。其在拼合线的区域上的视角因此几乎与第一周围环境传感器的视角相同。以这种方式,在该区域中的失真可以以至今不可能的水平减小,由此满足有关的标准(例如ECE-R46)。
尤其是,各个虚拟传感器水平地彼此间隔开地设置,以便其各核心检测区域复制第二局部区域的紧密并排设置的垂直条带(“区段”)。以这种方式,第二局部区域的极低失真的复现也可以实现:第二局部图像的随后转换(例如从三维数据库到二维数据库)可以低失真地进行。
虚拟传感器的核心检测区域可以用于产生垂直的图像区段,所述图像区段沿第二拼合线彼此拼合地得出该第二局部图像。该第二拼合线例如可以平行于第一拼合线设置。越多地使用虚拟传感器,第二局部图像内的失真越少。如果拼合线或拼合面基本上在直线行驶时对应于借助行进工具驶过的行驶带(或轨迹)的左侧和右侧,则行进工具后方的区域因此由多个区段拼接而成。在该区域中,例如可以使用已知的方法(例如α混合)。另一种方法称为“视线插值”并且在公开物“Megastereo:Contructing High-Resolution StereoPanoramas”中详细说明。该插值借助净流量(Net-Flow)法实现。在该方法中,像素面上的运动(“流量”)在两个视图之间构成。借助于该信息,各中间位置可以插值到两个不同的视图之间。因此这导致在距投影面的距离中具有较大偏差的物体的展示问题显著减少。
第一周围环境传感器例如可以是二维传感器。第一周围环境传感器可以作为(单)外部相机构造在行进工具的翼子板、外后视镜、门的区域中或在顶盖边缘/顶部行李架的区域中。第二周围环境传感器例如可以包括两个光学传感器或构造为立体相机。第二周围环境传感器可以设置在车辆尾部、尤其是相对于车辆宽度中间的区域中。以这种方式检测行进工具的后向区域的多个图像信息,并且将其准备好用于后续处理。对于图像处理,本领域技术人员应理解的是:按照本发明不仅可以使用光学传感器,而且可以使用任何产生或能够实现周围环境的二维或三维图像的传感器。如果第一局部区域与车辆右侧面关联且第二局部区域与行进工具的中央后向周围环境区域关联,有利的是,也为车辆左侧设置周围环境传感器,该周围环境传感器在本发明的范围中称为第三周围环境传感器。该第三周围环境传感器根据以上关于第一周围环境传感器的实施方式用于基本上镜像对称地扩大周围环境区域。换句话说,检测周围环境区域的第三局部区域,随后在第三周围环境传感器的信号的基础上产生第三局部区域的第三局部图像,并且沿直线形的第三拼合线拼接第三局部图像和第二局部图像。在此,第一拼合线和第三拼合线尤其可以构成第二局部图像的彼此对置的边界线。优选地,第一拼合线和第三拼合线在此彼此平行地定向。按照本发明也减小了在第三拼合线的区域中的失真。
为了避免例如在所谓的“α混合”中可能出现的伪像,可以在拼接前沿相应的拼合线剪切局部图像。按照本发明可以省去如对于已知算法在拼接不同图像时所需的大量叠加。按照本发明的拼合方法对于已知算法通常在其边界处出现的图像内容的易受影响性也越小。换句话说,第一局部图像沿第一拼合线、第三局部图像沿第三拼合线且第二局部图像沿第一和第三拼合线可以分别消除位于拼合线对侧的图像部分。如果所使用的传感器的视角在拼合区域中几乎相同,则与图像内容或成像的物体无关的失真明显小于根据现有技术的失真。
优选地,由第一局部图像可以产生第一二维数据集,该第一二维数据集在二维显示单元上呈现二维数据集时提供对于使用者合适的视角。在此,第一局部图像的内容在虚拟的第一投影面上“换算”,以结合周围环境传感器的不同视角。相应地,第二局部图像的各个区段和第三局部图像也可以换算成相应的二维数据集,其方式为将它们置于相应合适的虚拟投影面上。如果第二局部图像至今包含三维数据,则可以首先动态地确定距投影面的视角或合适距离(相对于行进工具的相对位置)。为此,被证实有利的是,包含在拼合线区域中的周围环境物体的当前位置考虑用于定位投影面。尤其是,投影面距行进工具的距离与周围环境物体距行进工具的距离基本上相同。通过这种关系可以再次减少失真。
同样有利于进一步减少失真的是,对与第一虚拟投影面对应的第二虚拟投影面产生作用。换句话说,投影面在拼合线的区域中具有距行进工具相同的距离。
第一虚拟投影面可以具有凹形的圆柱区段形的轮廓,其中,使用者停止在圆柱体内侧上。这对应地适用于第二虚拟投影面以及适用于必要时用于借助第三周围环境传感器形成的二维数据集的第三虚拟投影面。尤其是,各个圆柱区段形的投影面设置在一个共同的圆柱面上,而使用者或行进工具基本上位于圆柱体中心点处。
为了可以借助前述的方法替代内后视镜/外后视镜,需要在行进工具内的显示单元上显示所产生的周围环境区域图像的至少一部分。尤其是,显示单元可以是二维显示单元,该显示单元设置在仪表盘中和/或设置在行进工具的组合仪表中。为了一方面将通过图像监控的区域以及另一方面将图像分辨率彼此置于合适的关系中,要在二维显示单元上展示的空间角度范围证明有利的是在180°至45°的值之间,尤其在120°至60°之间且优选在100°至80°之间。在78°至90°的范围内,消除了对于驾驶员来说的行进工具的死角,由此提高了周围环境区域的按照本发明的成像可接受性并且明显提高了多数的道路交通安全性。
优选地,响应于相应的行驶状况改变图像的显示部分的位置。对于外后视镜已知的是,在对挂入倒挡作出的响应中展示靠近路边石的区域,这按照本发明通过修改图像的显示部分的角度范围也是可能的,在尤其优选的实施方案中提出:激活行驶方向显示器,以便修改地展示图像。例如可以扩大相应在拐弯时重要的侧向区域,其方式为相应的周围环境传感器信号的附加分量保持进入到按照本发明的图像中。
按照本发明的第二方面提出一种驾驶员辅助系统,其包括第一周围环境传感器、第二周围环境传感器、分析单元以及二维显示单元。该分析单元例如可以包括以微控制器或毫微控制器形式的可编程处理器。在汽车领域中,这种分析单元也被称为电子控制器(ECU)。该二维显示单元可以例如作为矩阵显示器设置用于装配在行进工具的仪表盘中和/或在行进工具的组合仪表中。对于第一周围环境传感器、第二周围环境传感器以及可选使用的第三周围环境传感器,结合最先提到的发明方面的描述也对应地适用。以这种方式,该驾驶员辅助系统设计为用于实现对应于最先提到的发明方面的特征、特征组合以及由此产生的优点。
按照本发明的第三方面提出一种行进工具,该行进工具例如可以构造为客车、运输车、载重汽车、水上交通工具和/或空中交通工具。按照本发明,该行进工具具有如前所述的驾驶员辅助系统。通过使行进工具以这种方式实现相同的特征、特征组合以及由此产生的优点,提高了对于使用者的使用舒适性以及对于所有位于行进工具区域中的交通参与者的交通安全性。
附图说明
本发明的其他细节、特征和优点由后面的说明书和附图给出。其中:
图1示出行驶状况的具有伪像的图像;
图2示出按照本发明的行进工具的一种实施例的组件;
图3示出周围环境区域的按照本发明形成的局部图像;
图4示出在图3中示出的局部图像的按照本发明的合成;以及
图5示出按照本发明的方法的一种实施例的说明步骤的流程图。
具体实施方式
图1示出行驶状况的根据现有技术拼接的图像,所述行驶情况例如可以通过本体车辆的后视镜观察到。在道路上在本体车辆后面行驶有一辆外部车辆13作为周围环境物体。此外,房子19围在路边。由于所使用的相机的不同位置,在图像区域18中无可供使用的图像数据。由于所使用的拼合方法出现导致图像内部失真的伪像17。
图2示出按照本发明构成的作为本体行进工具的客车10的一种实施例的行驶状况的示意性俯视图。客车10沿行驶方向P运动。在其右侧翼子板的区域中设置作为第一周围环境传感器的外部相机1,该第一周围环境传感器检测呈65°方位角的角度范围。相应地,在客车10的左侧上,在翼子板区域中设置作为第三周围环境传感器的外部相机9。在车辆尾部的中央设置立体相机2,该立体相机通过一个另外的二维外部相机20补充。全部的相机1、2、9、20与作为分析单元的电子控制装置16按照信息技术连接。此外,屏幕14作为二维显示单元连接到该电子控制装置16上。为了将借助相机1、2、9、20检测的信息低失真地拼接成周围环境IV的图像,由立体相机2和二维外部相机20的图像计算出大量的数据包,其视角对应于多个虚拟传感器3,所述多个虚拟传感器设置在基本上沿客车10的后侧保险杠的一条线上。为了更好地识别而标绘一条垂直线6,该垂直线垂直于拼合线4、5或拼合面(沿垂直于图面的方向)。所述多个虚拟传感器3的各自的圆锥形检测范围由虚线标出。各个检测范围的核心区域7构成多个区段,所述区段沿第二拼合线8拼接成局部区域II的图像II’。通过使在最外部置于第一拼合线4和第三拼合线5上的虚拟传感器3的相应视角与外部相机1和9的视角相同,在拼合局部区域I、II、III的图像I’、II’和III’时实现仅减少的不一致性。为了进一步增强该效果而标绘虚拟投影面11、12,这些投影面设置在一个共同的圆柱形表面上。在此,这样选择距圆柱形投影面12的距离,使得该距离基本上与距作为周围环境物体的外部车辆13的距离一致。周围环境区域IV的在屏幕14上示出的图像IV’根据行驶方向显示器15的运行状态来选择,以便优选示出对于客车10的驾驶员来说特别重要的周围环境区域。因为在外部相机1、9和虚拟传感器3之间的区域中不存在图像数据(本体车辆位于该区域中),所以这里也可以没有内容地生成图像信号(参见图1中的附图标记18)。
图3示出三个局部图像I’、II’、III’,在这些局部图像中作为周围环境物体的外部车辆13设置在第一拼合线4的区域中。外部车辆13的分别位于第一局部图像I’或第二局部图像II’中的部分基本上彼此对应地构造。因此,可以毫无问题地进行拼接并且预期最小的不一致性。可看出:在局部图像I’、II’、III’内目前无数据的区域18提供插入本体行进工具的部分和/或插入对其使用者的附加提示的场所。
图4示出使用在图3中示出的局部图像I’、II’、III’按照本发明实施拼合过程的结果。周围环境区域的经拼接的图像IV’具有多个经由虚拟传感器3拍摄的图像区段7,这些图像区段仅可能出现关于图像亮度的轻微变形(在附图中未示出)。在外部车辆13的不同区域上的轮廓和视角都相应彼此明显好于在根据图1的视图中的轮廓和视角。以这种方式提供对于客户来说更可接受的且更符合标准的外后视镜/内后视镜的替代物。
图5示出按照本发明的方法的一种实施例的方法步骤。在此,在步骤100中,相应的周围环境传感器包围行进工具的周围环境区域的第一局部区域、第二局部区域以及第三局部区域。所述周围环境传感器可以例如包括光学相机。尤其是,用于检测第二局部区域的第二周围环境传感器可以包括立体相机或以其他方式设计为用于形成第二局部区域的三维图像。在步骤200中,在周围环境传感器的信号的基础上产生第一局部图像、第二局部图像以及第三局部图像。随后适当剪切局部图像,以便按照本发明在第一和第三拼合线的区域中避免不需要的重叠。在经适当剪切的局部图像的基础上,在步骤400中由局部图像生成第一、第二以及第三二维数据集。为此,使用第一、第二以及第三投影面,这些投影面位于一个共同的圆柱体表面上(也就是同一圆柱体的内侧上)。在此,该圆柱体的半径借助在第二局部区域中包含的周围环境物体规定。在步骤500中,分别沿直线形的拼合线拼接第一和第二局部图像以及第二和第三局部图像,其中所述拼合线彼此平行地设置。在周围环境区域的现在已拼接的图像中,拼合线竖直地定向。在步骤600中,选择图像的一部分用于在二维显示单元上显示,该部分对应于呈81°方位角的角度范围。以这种方式,对于该方法的使用者来说除其行进工具外不再存在死角。在步骤700中,由于企图转弯行驶而操纵行驶方向显示器,在对此情况作出的响应中在周围环境区域的图像内改变该部分的位置,以使将要转弯行驶的弯道内侧更好地在二维显示单元上绘出。为此,显示的角度范围扩大或这样偏转,使得目前示出的在对置的边缘区域上的区域在短时间内不再显示。
按照本发明,所有对于驾驶员来说必要的侧向和(或后向)视野通过经由周围环境传感器生成的全景图像覆盖。由此也遵守如尤其是在ECE-R46标准中规定的法定最小视野以及最大允许失真。全景图像通过相机模型的有利定位产生并且优选替代按照本发明构造的行进工具的全部反光镜。
在本发明的一种优选的实施例中,以如下方式剪切由车辆前侧的视角构成的第一和第三局部图像:车辆轮廓不再包含在相应图像的组成部分中。后部相机构造为产生深度地图(视差图)的立体相机。当然,视差图的信息也可能通过附加的(例如非光学的)传感器获得。二维图像信息的原始图像置于三维信息上。现在,在立体相机的检测范围内产生多个虚拟相机,所述虚拟相机非常紧密地仅应检测位于车后的车辆宽度中的相应区域。通过三维信息的剪切造成在本体车辆后的车辆宽度中的“行驶带”(在假想的直线形的行驶方向的情况下)。作为最后的步骤,侧向的相机投影到圆柱形表面上并且无缝地附加到中间行驶带上。
通过按照本发明产生的全景图像可以扩大驾驶员的视野。按照本发明不存在由于车辆部分的视野遮盖。由于按照本发明剪切局部图像,在单独的视野之间也没有多余的图像内容。全景图像能够显著较好地展示用于驾驶员辅助的周围环境信息。全景展示能够实现:在同样绝对的视野中使用单独较小的监视器,这对自身带来成本优势、重量优势以及体积优势,或者给定尺寸的单独监视器展示更大的视野。此外,通过使用呈至少78°的大方位角的视角可能的是,减少或消除死角区域。
附图标记列表
1 外部相机
2 立体相机
3 虚拟传感器
4 第一拼合线
5 第三拼合线
6 拼合线4、5的垂直线
7 区段
8 第二拼合线
9 外部相机
10 客车
11、12 投影面
13 外部车辆
14 屏幕
15 行驶方向显示器
16 电子控制装置(分析单元)
17 伪像
18 无数据的图像区域
19 房子
20 二维外部相机
100-700 方法步骤
I 第一局部区域
I’ 第一局部图像
II 第二局部区域
II’ 第二局部图像
III 第三局部区域
III’ 第三局部图像
IV 周围环境区域
IV’ 周围环境区域的图像
P 箭头(行驶方向)

Claims (15)

1.用于将行进工具(10)的连续周围环境区域(IV)的局部图像(I’、II’、III’)拼接成一个图像(IV’)的方法,包括以下步骤:
借助第一周围环境传感器(1)检测(100)周围环境区域(IV)的第一局部区域(I),
借助第二周围环境传感器(2)检测(100)周围环境区域(IV)的第二局部区域(II),
在第一周围环境传感器(1)的信号的基础上产生(200)第一局部区域(I)的第一局部图像(I’),
在第二周围环境传感器(2)以及多个用于检测第二局部区域(II)的虚拟传感器(3)的信号的基础上产生(200)第二局部区域(II)的第二局部图像(II’),
沿直线形的第一拼合线(4)拼接(500)第一局部图像(I’)和第二局部图像(II’),其中,所述虚拟传感器(3)设置在基本上垂直于第一拼合线(4)的垂直线(6)上的位置上。
2.按照权利要求1所述的方法,其中,一个虚拟传感器(3)设置在紧邻第一拼合线(4)的附近。
3.按照权利要求1或2所述的方法,其中,各个虚拟传感器(3)水平地彼此间隔开地设置。
4.按照上述权利要求之一所述的方法,其中,第二局部图像(II’)包括分别配设给一个虚拟传感器(3)的区段(7),这些区段沿相对于第一拼合线(4)基本上平行延伸的第二拼合线(8)彼此拼合。
5.按照上述权利要求之一所述的方法,其中,第一周围环境传感器(1)是二维传感器,和/或第二周围环境传感器(2)是三维传感器装置。
6.按照上述权利要求之一所述的方法,其中,周围环境传感器(1、2、9、20)、尤其是全部周围环境传感器(1、2、9、20)包括光学传感器。
7.按照上述权利要求之一所述的方法,进一步包括:
借助第三周围环境传感器(III)检测(100)周围环境区域(IV)的第三局部区域(III),
在第三周围环境传感器(9)的信号的基础上产生(200)第三局部区域(III)的第三局部图像(III’),
沿直线形的第三拼合线(5)拼接(500)第三局部图像(III’)和第二局部图像(II’),其中,第一拼合线(4)与第三拼合线(5)尤其是构成第二局部图像(II’)的相对于彼此对置的边界线。
8.按照上述权利要求之一所述的方法,进一步包括:
在所述拼接前去除(300)第一局部图像(I’)的可能位于第一拼合线(4)对侧的区域,和/或
在所述拼接前去除(300)第二局部图像(II’)的可能位于第一拼合线(4)和/或第三拼合线(5)对侧的区域,和/或
在所述拼接前去除(300)第三局部图像(III’)的可能位于第三拼合线(5)对侧的区域。
9.按照上述权利要求之一所述的方法,进一步包括如下步骤:
关于虚拟的第一投影面(11)由第一局部图像(I’)产生(400)第一二维数据集,和/或
关于虚拟的第二投影面(12)由第二局部图像(II’)中产生(400)第二二维数据集,
其中尤其是周围环境物体(13)相对于行进工具(10)的位置动态地确定投影面(11、12)的位置。
10.按照权利要求9所述的方法,其中,第一虚拟投影面(11)在第一拼合线(4)上与第二虚拟投影面(12)相对应。
11.按照权利要求9或10所述的方法,其中,第一虚拟投影面(11)具有凹形的圆柱区段形的轮廓,和/或第二虚拟投影面(12)具有凹形的圆柱区段形的轮廓,其中尤其是各个圆柱区段形的轮廓属于一个共同的圆柱体。
12.按照上述权利要求之一所述的方法,进一步包括:
在行进工具(10)内的二维显示单元(14)上显示(600)图像(IV’)的一部分,其中,图像(IV’)的所述一部分复现在180°至45°之间、尤其是在120°至60°之间、优选在100°至80°之间的角度范围。
13.按照权利要求12所述的方法,进一步包括:
响应于行驶状况而改变(700)图像(IV’)的所述一部分的位置,所述行驶状况尤其是通过激活行驶方向显示器(15)和/或准备倒车行驶来识别。
14.驾驶员辅助系统,包括:
第一周围环境传感器(1),
第二周围环境传感器(2),
分析单元(16),以及
二维显示单元(14),其中,该驾驶员辅助系统设计用于实施根据上述权利要求之一所述的方法。
15.行进工具,尤其是客车、运输车、载重汽车、水上交通工具和/或空中交通工具,该行进工具包括按照权利要求14所述的驾驶员辅助系统。
CN201580034556.5A 2014-07-11 2015-06-30 将行进工具的周围环境的局部图像拼接成一个图像 Active CN107027329B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102014213536.2 2014-07-11
DE102014213536.2A DE102014213536B4 (de) 2014-07-11 2014-07-11 Verfahren zum Zusammenfügen von Teilbildern zu einem Abbild eines zusammenhängenden Umgebungsbereiches eines Fortbewegungsmittels, Fahrerassistenzsystem und Fortbewegungsmittel
PCT/EP2015/064846 WO2016005232A1 (de) 2014-07-11 2015-06-30 Zusammenfügen von teilbildern zu einem abbild einer umgebung eines fortbewegungsmittels

Publications (2)

Publication Number Publication Date
CN107027329A true CN107027329A (zh) 2017-08-08
CN107027329B CN107027329B (zh) 2021-12-14

Family

ID=53489973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580034556.5A Active CN107027329B (zh) 2014-07-11 2015-06-30 将行进工具的周围环境的局部图像拼接成一个图像

Country Status (5)

Country Link
US (1) US11087438B2 (zh)
EP (1) EP3167427A1 (zh)
CN (1) CN107027329B (zh)
DE (1) DE102014213536B4 (zh)
WO (1) WO2016005232A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764045A (zh) * 2018-04-26 2018-11-06 平安科技(深圳)有限公司 牲畜识别方法、装置及存储介质
CN112389325A (zh) * 2019-08-13 2021-02-23 奥迪股份公司 机动车
CN112997189A (zh) * 2018-10-31 2021-06-18 罗伯特·博世有限公司 借助第一超声波传感器的道路潮湿信息来支持行进工具的基于摄像机的周围环境识别的方法
CN114368346A (zh) * 2020-10-15 2022-04-19 卡特彼勒路面机械公司 用于机器的周边感知系统
CN116547690A (zh) * 2020-12-21 2023-08-04 京瓷株式会社 拍摄装置以及图像处理装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017118156A1 (de) * 2017-08-09 2019-02-14 Valeo Schalter Und Sensoren Gmbh Verfahren zum Überwachen eines Umgebungsbereiches eines Kraftfahrzeugs, Sensorsteuergerät, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102017217870B4 (de) 2017-10-09 2023-09-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Zusammenfügen von Teilbildern zu einem Abbild eines zusammenhängenden Umgebungsbereiches eines Fahrzeugs sowie Fahrerassistenzsystem und Fahrzeug
DE102018203003A1 (de) * 2017-12-20 2019-06-27 Continental Automotive Gmbh Verfahren und Vorrichtung zum Betreiben eines Kamera-Monitor-Systems für ein Kraftfahrzeug
US11458981B2 (en) 2018-01-09 2022-10-04 Motherson Innovations Company Limited Autonomous vehicles and methods of using same
US11074464B2 (en) 2019-07-25 2021-07-27 Ford Global Technologies, Llc Defining boundary for detected object
DE102019127277A1 (de) * 2019-10-10 2021-04-15 Canon Production Printing Holding B.V. Verfahren und Vorrichtung zum Synchronisieren einer ersten Druckvorrichtung mit einer zweiten Komponente, insbesondere einer zweiten Druckvorrichtung
DE102021132334A1 (de) * 2021-12-08 2023-06-15 Bayerische Motoren Werke Aktiengesellschaft Abtasten eines Umfelds eines Fahrzeugs
DE102022125210A1 (de) 2022-09-29 2024-04-04 Bayerische Motoren Werke Aktiengesellschaft Zusammenfügen von Teilbildern eines Fahrzeugumfelds

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6005987A (en) * 1996-10-17 1999-12-21 Sharp Kabushiki Kaisha Picture image forming apparatus
CN101442618A (zh) * 2008-12-31 2009-05-27 葛晨阳 用于车辆辅助驾驶的360度环形视频合成方法
EP2192552A1 (en) * 2008-11-28 2010-06-02 Fujitsu Limited Image processing apparatus, image processing method, and recording medium
US20110032374A1 (en) * 2009-08-06 2011-02-10 Nippon Soken, Inc. Image correction apparatus and method and method of making transformation map for the same
US20110074916A1 (en) * 2009-09-29 2011-03-31 Toyota Motor Engin. & Manufact. N.A. (TEMA) Electronic control system, electronic control unit and associated methodology of adapting 3d panoramic views of vehicle surroundings by predicting driver intent
WO2013126715A2 (en) * 2012-02-22 2013-08-29 Magna Electronics, Inc. Vehicle camera system with image manipulation

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5670935A (en) * 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
US6498620B2 (en) * 1993-02-26 2002-12-24 Donnelly Corporation Vision system for a vehicle including an image capture device and a display system having a long focal length
WO1999015360A1 (de) 1997-09-19 1999-04-01 Robert Bosch Gmbh Seheinrichtung für ein fahrzeug
JP3511892B2 (ja) 1998-05-25 2004-03-29 日産自動車株式会社 車両用周囲モニタ装置
JP3297040B1 (ja) 2001-04-24 2002-07-02 松下電器産業株式会社 車載カメラの画像合成表示方法及びその装置
DE102006003538B3 (de) * 2006-01-24 2007-07-19 Daimlerchrysler Ag Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive
EP2179892A1 (de) * 2008-10-24 2010-04-28 Magna Electronics Europe GmbH & Co. KG Verfahren zum automatischen Kalibrieren einer virtuellen Kamera
JP5479956B2 (ja) * 2010-03-10 2014-04-23 クラリオン株式会社 車両用周囲監視装置
DE102010023591A1 (de) 2010-06-12 2011-12-15 Conti Temic Microelectronic Gmbh Stereokamerasystem
JP2012034076A (ja) 2010-07-29 2012-02-16 Alps Electric Co Ltd 車両用視覚補助システム及び該システムを備える車両
DE102011087901A1 (de) * 2011-12-07 2013-06-13 Robert Bosch Gmbh Verfahren zur Darstellung eines Fahrzeugumfeldes
DE102012018326B4 (de) * 2012-09-15 2019-12-19 Zf Friedrichshafen Ag Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem mit verdeckungsfreier Umsichtfunktion
DE102013203404A1 (de) * 2013-02-28 2014-08-28 Robert Bosch Gmbh Verfahren und Vorrichtung zur dreidimensionalen Abbildung zumindest eines Teilbereichs eines Fahrzeugumfelds

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6005987A (en) * 1996-10-17 1999-12-21 Sharp Kabushiki Kaisha Picture image forming apparatus
EP2192552A1 (en) * 2008-11-28 2010-06-02 Fujitsu Limited Image processing apparatus, image processing method, and recording medium
CN101442618A (zh) * 2008-12-31 2009-05-27 葛晨阳 用于车辆辅助驾驶的360度环形视频合成方法
US20110032374A1 (en) * 2009-08-06 2011-02-10 Nippon Soken, Inc. Image correction apparatus and method and method of making transformation map for the same
US20110074916A1 (en) * 2009-09-29 2011-03-31 Toyota Motor Engin. & Manufact. N.A. (TEMA) Electronic control system, electronic control unit and associated methodology of adapting 3d panoramic views of vehicle surroundings by predicting driver intent
WO2013126715A2 (en) * 2012-02-22 2013-08-29 Magna Electronics, Inc. Vehicle camera system with image manipulation

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANKIT SHARMA 等: "Dynamic Steering Control of Battery Operated Car for Lane Keeping using Image Sensor", 《INTERNATIONAL JOURNAL ON COMPUTER SCIENCE AND ENGINEERING (IJCSE)》 *
马莹 等: "基于改进的投影变换公式的车道识别方法", 《清华大学学报(自然科学版)》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764045A (zh) * 2018-04-26 2018-11-06 平安科技(深圳)有限公司 牲畜识别方法、装置及存储介质
CN112997189A (zh) * 2018-10-31 2021-06-18 罗伯特·博世有限公司 借助第一超声波传感器的道路潮湿信息来支持行进工具的基于摄像机的周围环境识别的方法
CN112389325A (zh) * 2019-08-13 2021-02-23 奥迪股份公司 机动车
CN112389325B (zh) * 2019-08-13 2023-11-07 奥迪股份公司 机动车
CN114368346A (zh) * 2020-10-15 2022-04-19 卡特彼勒路面机械公司 用于机器的周边感知系统
CN116547690A (zh) * 2020-12-21 2023-08-04 京瓷株式会社 拍摄装置以及图像处理装置

Also Published As

Publication number Publication date
EP3167427A1 (de) 2017-05-17
DE102014213536A1 (de) 2016-01-14
CN107027329B (zh) 2021-12-14
US20170116710A1 (en) 2017-04-27
US11087438B2 (en) 2021-08-10
WO2016005232A1 (de) 2016-01-14
DE102014213536B4 (de) 2025-10-16

Similar Documents

Publication Publication Date Title
CN107027329B (zh) 将行进工具的周围环境的局部图像拼接成一个图像
CN102673473B (zh) 用直观显示商用车视野的显示装置
US10029621B2 (en) Rear view camera system using rear view mirror location
JP7010221B2 (ja) 画像生成装置、画像生成方法、及び、プログラム
CN102219001B (zh) 外部镜模拟装置和用于外部镜模拟的方法
US20090022423A1 (en) Method for combining several images to a full image in the bird's eye view
US10198639B2 (en) System and method for providing image information around vehicle
CN104321224B (zh) 具有摄像机监控系统的机动车
US20130096820A1 (en) Virtual display system for a vehicle
US20150042799A1 (en) Object highlighting and sensing in vehicle image display systems
US20140114534A1 (en) Dynamic rearview mirror display features
US20190174060A1 (en) Image processing apparatus, image processing method, and program
CN104859538A (zh) 车辆图像显示系统中基于视觉的物体感测和突出显示
JP2018531530A6 (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
JP2018531530A (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
CN109415018B (zh) 用于数字后视镜的方法和控制单元
CN111669543A (zh) 用于停车解决方案的车辆成像系统和方法
US20150296140A1 (en) Panoramic view blind spot eliminator system and method
KR20160145598A (ko) 어떤 차량의 차량 주변을 왜곡 없이 표시하기 위한 방법 및 장치
CN112351242B (zh) 图像处理装置以及图像处理方法
US11601621B2 (en) Vehicular display system
CN110246211A (zh) 用于监视车辆内部的可视化环视系统
JP2020120327A (ja) 周辺表示制御装置
WO2018159017A1 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
CN104735403A (zh) 车用障碍物侦测显示系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant