[go: up one dir, main page]

CN111347977B - 车辆盲点影像显示方法、装置及系统 - Google Patents

车辆盲点影像显示方法、装置及系统 Download PDF

Info

Publication number
CN111347977B
CN111347977B CN202010171825.5A CN202010171825A CN111347977B CN 111347977 B CN111347977 B CN 111347977B CN 202010171825 A CN202010171825 A CN 202010171825A CN 111347977 B CN111347977 B CN 111347977B
Authority
CN
China
Prior art keywords
face
image
driver
displacement
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010171825.5A
Other languages
English (en)
Other versions
CN111347977A (zh
Inventor
韩学新
黄宣杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Via Technologies Inc
Original Assignee
Via Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from TW109100990A external-priority patent/TWI773958B/zh
Application filed by Via Technologies Inc filed Critical Via Technologies Inc
Publication of CN111347977A publication Critical patent/CN111347977A/zh
Application granted granted Critical
Publication of CN111347977B publication Critical patent/CN111347977B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/25—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the sides of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种车辆盲点影像显示方法、装置及系统。所述装置耦接配置于车辆的外部的至少一个外部相机、配置于车辆内部且镜头朝向驾驶员的至少一个内部相机以及配置于车辆内部的至少一个显示器。所述方法包括利用外部相机撷取车辆外部的外部影像，利用内部相机撷取包含驾驶员的内部影像，并辨识内部影像中驾驶员的人脸及其位移，以及根据所辨识的位移调整外部影像中的关注区域的位置，以将关注区域的影像显示于对应的显示器。本发明可根据驾驶员坐姿或视角的改变调整所显示的车外影像，而能够正确地呈现出驾驶员当下视野死角的影像。

Description

车辆盲点影像显示方法、装置及系统
技术领域
本发明有关于一种影像处理方法及装置，且特别有关于一种车辆盲点影像显示方法、装置及系统。
背景技术
车辆驾驶因视线受到后照镜及车辆柱体的遮蔽，无法看到完整的车外景象。此被遮蔽的视野即为驾驶的盲点或死角，驾驶员在车辆行进的过程中常会因为看不到盲点或死角内出现的人或车辆而发生事故。
举例来说，由图1A所绘示的公车驾驶员的左前方视野可知，部分的车外景象会被左侧A柱(A-pillar)12及后照镜14遮蔽。而由图1B所绘示的公车驾驶员的盲点区域可知，驾驶员所看到的公车10外景象会分别被左侧A柱12及后照镜14所遮蔽，其中由于盲点区域涵盖了部分的斑马线，驾驶员可能会因为看不到盲点区域内的行人而发生事故。
为了解决上述视野盲点的问题，车辆制造商提出了许多解决方案，例如利用车侧感应技术制作盲点提示装置，利用相机撷取车侧影像并投射在屏幕上，或更改柱体设计以通过光学折射将车外影像投射在柱体上，甚至在柱体上开孔以使驾驶员能透视车外。
然而，更改柱体设计可能会弱化柱体强度而影响安全性，而直接投射车侧影像则会因为驾驶员坐姿或视角的改变而无法正确而自然地呈现出对应当下视野死角的影像。
发明内容
有鉴于此，本发明提供一种车辆盲点影像显示方法、装置及系统，可根据驾驶员坐姿或视角的改变调整所显示的车外影像，而能够正确地呈现出驾驶员当下视野死角的影像。
本发明一实施例的车辆盲点影像显示方法适用于具有连接装置及处理器的电子装置。其中，连接装置用以耦接配置于车辆的外部的至少一个外部相机、配置于车辆内部且镜头朝向驾驶员的至少一个内部相机以及配置于车辆内部的至少一个显示器。此方法包括利用外部相机撷取车辆外部的外部影像，利用内部相机撷取包含驾驶员的内部影像，并辨识内部影像中驾驶员的人脸及其位移，以及根据所辨识的位移对应调整外部影像中的关注区域(region of interest，ROI)的位置，以将关注区域的影像显示于对应的显示器。
本发明一实施例的车辆盲点影像显示装置包括连接装置、储存装置及处理器。其中，连接装置用以耦接配置于车辆的外部的至少一个外部相机、配置于车辆内部且镜头朝向驾驶员的至少一个内部相机以及配置于车辆内部的至少一个显示器。储存装置用以储存程序。处理器耦接连接装置及储存装置，用以载入并执行储存装置中的程序以利用外部相机撷取车辆外部的外部影像，利用内部相机撷取包含驾驶员的内部影像，并辨识内部影像中驾驶员的人脸及其位移，以及根据所辨识的位移对应调整外部影像中的关注区域的位置，以将关注区域的影像显示于对应的显示器。
本发明一实施例的车辆盲点影像显示系统包括至少一个外部相机、至少一个内部相机、至少一个显示器及电子装置。其中，外部相机配置于车辆的外部，内部相机配置于车辆内部且镜头朝向驾驶员，而显示器则配置于车辆内部。电子装置包括连接装置及处理器，其中连接装置用以耦接外部相机、内部相机及显示器。处理器经配置以利用外部相机撷取车辆外部的外部影像，利用内部相机撷取包含驾驶员的内部影像，并辨识内部影像中驾驶员的人脸及其位移，以及根据所辨识的位移对应调整外部影像中的关注区域的位置，以将关注区域的影像显示于对应的显示器。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。
附图说明
图1A绘示公车驾驶员的左前方视野。
图1B绘示公车驾驶员的盲点区域。
图2绘示本发明一实施例的车辆盲点影像显示装置的方块图。
图3绘示本发明一实施例的车辆盲点影像显示系统的示意图。
图4是依照本发明一实施例所绘示的车辆盲点影像显示方法的流程图。
图5A及图5B是依照本发明一实施例所绘示的车辆盲点影像显示方法的范例。
其中，附图中符号的简单说明如下：
10：公车；12、P1、P2：A柱；14：后照镜；100：车辆盲点影像显示装置；110：连接装置；120：储存装置；130：处理器；300：车辆盲点影像显示系统；510、510’：外部影像；520、520’：内部影像；512、512’：关注区域影像；522、522’：人脸方框；C1、C2：外部相机；C3：内部相机；D：驾驶员；FC、FC’：中心参考点；M1、M2：显示器；ROI、ROI’：关注区域；S402～S406：步骤。
具体实施方式
本发明除了在车辆外部(例如柱体外部)设置相机以拍摄外部影像外，还额外在车辆内部装设相机以拍摄驾驶员影像，通过深度学习(Deep Learning)演算法辨识驾驶员人脸及其位移并反馈到外部影像的显示上，因此能够适当地显示出驾驶员视野被遮蔽区域的影像，辅助驾驶员判断外部情况，进而降低事故发生的机率。
图2绘示本发明一实施例的车辆盲点影像显示装置的方块图。本实施例的车辆盲点影像显示装置100至少包括连接装置110、储存装置120以及处理器130。车辆盲点影像显示装置100例如是具备运算功能的个人计算机、服务器、平板电脑、导航装置、视频监控盒(Cambox)、车用电脑等电子装置，本实施例并不限定。
连接装置110用以耦接配置于车辆的至少一个柱体(例如左侧A柱、右侧A柱)外部的至少一个外部相机、配置于车辆内部且镜头朝向驾驶员的至少一个内部相机以及配置于柱体内部的至少一个显示器，以自外部相机及内部相机接收影像，并向显示器输出经处理的外部影像。详言之，连接装置110可以采用任何有线或无线方式与外部相机及内部相机连接，并接收由外部相机及内部相机所撷取的影像，其例如是通用序列总线(UniversalSerial Bus，USB)、RS232、蓝牙(Bluetooth，BT)、无线相容认证(Wireless fidelity，Wi-Fi)等传输接口，本实施例并不限定。另一方面，连接装置110也可以是视频图形阵列(VideoGraphics Array；VGA)或高清晰度多媒体接口(High Definition Multimedia Interface；HDMI)、雷电(Thunderbolt)等影像输出接口，用以向显示器输出经处理的外部影像，本实施例亦不限定。
举例来说，图3绘示本发明一实施例的车辆盲点影像显示系统的示意图(未绘示车辆盲点影像显示装置100)。请参照图3，本实施例的系统300绘示图2的车辆盲点影像显示装置100所连接的相机与显示器的配置。其中，本实施例的系统300分别在车辆的右侧A柱P1及左侧A柱P2的外部分别配置相机C1及C2，以分别撷取车辆右侧及左侧的外部影像。相机C1及C2例如可采用视野范围(Field of View，FOV)较广的广角相机(例如120～150度)、鱼眼相机(例如190度)或针孔相机，本实施例并不限定。在一实施例中，相机C1及C2例如是配置在车辆A柱P1、P2上离地约120～150公分(特别是140公分)的位置，以避免遭到人或外物撞击。在其他实施例中，上述的配置高度亦可根据车辆种类、驾驶员身形、外部环境等因素做调整，在此不设限。在另一些实施例中，相机C1及C2也可以配置在车辆外部的其他位置。
此外，本实施例的系统300亦分别在车辆的右侧A柱P1及左侧A柱P2的内部分别配置显示器M1及M2，以分别显示由相机C1及C2所撷取的右侧及左侧的外部影像。在一实施例中，显示器M1及M2例如是液晶显示器(Liquid Crystal Display，LCD)、发光二极管(Light-Emitting Diode，LED)显示器或其他种类的平面显示器或可挠性显示器，在此不设限。在一实施例中，显示器M1及M2例如是投影机的投影屏幕，而可显示出由投影机所投射的画面。在另一些实施例中，相机C1及C2也可以配置在车内的其他位置。在另一些实施例中，显示器可以是只有一个而只配置在右侧A柱P1及左侧A柱P2的其中之一，或者，显示器可以是二个以上。
需说明的是，本实施例的电子装置100利用配置在车辆右侧A柱P1内部的相机C3撷取包括驾驶员D的内部影像，并通过深度学习演算法侦测驾驶员D的人脸及其位移，从而调整显示在显示器M1及M2上的外部影像。在一实施例中，相机C3也可以配置在距离适当(例如距离驾驶员D约1～2公尺)的车内其他位置。在一实施例中，相机C3例如采用视野范围相对较小(例如30～60度)的相机，在此不设限。
储存装置120例如是任何型态的固定式或可移动式随机存取存储器(RandomAccess Memory，RAM)、只读存储器(read-only memory，ROM)、快闪存储器(flash memory)、硬盘或类似元件或上述元件的组合而用以储存可由处理器130执行的程序。
处理器130耦接连接装置110及储存装置120，而可载入并执行储存装置120中储存的程序。在不同实施例中，处理器130例如是中央处理单元(Central Processing Unit，CPU)、图形处理单元(Graphics Processing Unit，GPU)，或是其他可程序化的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor，DSP)、可程序化控制器、特殊应用集成电路(Application Specific IntegratedCircuits，ASIC)、可程序化逻辑装置(Programmable Logic Device，PLD)或其他类似装置或这些装置的组合，但不限于此。
图4是依照本发明一实施例所绘示的车辆盲点影像显示方法的流程图。请同时参照图2及图4，本实施例的方法适用于上述车辆盲点影像显示装置100，以下即搭配车辆盲点影像显示装置100的各项元件说明本实施例的车辆盲点影像显示方法的详细步骤。
在步骤S402中，由处理器130利用外部相机(例如C1及C2)撷取车辆柱体外部的外部影像。其中，外部相机例如是采用视野范围(FOV)较广的广角相机或鱼眼相机，而可用以撷取可涵括驾驶员在驾驶座上时所有可能的视野死角的外部影像。
在步骤S404中，由处理器130利用内部相机(例如C3)撷取包含驾驶员的内部影像，并辨识内部影像中驾驶员的人脸及其位移。在一实施例中，在车辆盲点影像显示装置100初次使用(例如驾驶员刚取得车辆)或初始使用(例如驾驶员刚发动车辆)时可以进行初始设定，处理器130例如会预先利用内部相机撷取驾驶员坐于驾驶座的初始影像，利用深度学习法侦测初始影像中驾驶员的人脸特征，并记录人脸位置。本领域技术人员可以知道现有的多种人脸辨识深度学习演算法，在此不赘述。在进行初始设定时，驾驶员可以手动调整(例如，但不限于，通过操作车辆盲点影像显示装置100的使用者界面或遥控器等)各外部相机所撷取的各外部影像中对应显示于各显示器上的各关注区域(region of interest，ROI)的视角或缩放比例(scale factor)以符合其需求，而车辆盲点影像显示装置100便可记录对应于该人脸位置的各关注区域的初始设定。在后续实际行车的过程中，处理器130可持续针对内部影像的多个帧(frame)，利用深度学习法来辨识内部影像多个帧中的人脸。
在一些实施例中，例如公车，内部影像中可能会同时出现多个人脸(例如司机与公车乘客)，处理器130可能会辨识出内部影像中的多个人脸。此时，处理器130可以判定内部影像中与前一个帧中辨识出的驾驶员人脸距离最近的人脸为本帧的驾驶员人脸。由此，即便内部影像中同时出现多个人脸(例如乘客)，处理器130仍然能够准确地辨识出驾驶员，从而正确地执行本发明实施例的车辆盲点影像显示方法。
需说明的是，为解决夜间行车灯光不足所造成的影像品质及辨识度不佳的问题，在一实施例中，内部相机可采用具有主动式光源(例如红外线补光灯)的相机，以增加夜间的摄像品质。在其他实施例中，处理器130可能无法在内部影像每个帧中都通过人脸辨识深度学习演算法辨识出人脸(例如当光源不足时)，此时车辆盲点影像显示装置100的处理器130可利用深度学习法搭配人脸区域特征点持续辨识内部影像中各帧的人脸，只要在其中几个帧中有辨识出人脸，处理器130可根据该帧中人脸的位置，锁定相邻后续帧的影像中位于该位置周围的区域，继续辨识后续帧中与该人脸区域具有相同特征点的物件区域来作为该后续帧的人脸；通过上述人脸辨识及动态预测(motion estimation)技术的结合，即可在低光源的情况下持续追踪人脸。
在步骤S406中，处理器130根据所辨识的位移对应调整外部影像中关注区域(region of interest，ROI)的位置，以在对应的显示器上显示关注区域的影像。其中，本发明实施例例如是在外部相机所撷取的外部影像中定义出一个驾驶员当前视野被遮蔽的区域作为关注区域，并根据驾驶员头部位移量与此关注区域的移动量之间的变化关系，推算当前驾驶员人脸位移时关注区域的移动量，使得最终撷取的关注区域影像能够符合或涵盖驾驶员当前视野的盲点区域。在一些实施例中，在行车过程中，可以每隔一个或多个帧反复进行图4的流程以即时地在显示器上显示关注区域的影像。
详言之，处理器130例如是利用所辨识的位移计算人脸的位移量(例如以内部影像的像素为单位)，从而根据人脸的位移量与关注区域的移动量(例如以外部影像的像素为单位)之间的变化关系，计算出人脸的移动量所对应的关注区域的移动量，最后则将关注区域朝人脸的位移的相反方向移动所计算的移动量，而决定关注区域的最终位置。
举例来说，在初始设定中，利用深度学习演算法辨识人脸可获得可涵括人脸轮廓的人脸方框的坐标(例如以内部影像的像素为单位)，包括人脸方框的左上角顶点坐标及右下角顶点坐标，透过这两个坐标可计算出人脸方框的中心点坐标，用以作为脸部中心参考点FC的坐标(FCx,FCy)。而在驾驶行车时，利用深度学习演算法持续辨识各帧的人脸，而可获得位移后的脸部中心参考点FC’的坐标(FC′x,FC′y)。在其他实施例中，辨识出来的涵括人脸轮廓的外框可以是其他形状，而脸部中心参考点的坐标可以是根据其他方式决定(例如外框形状的质心)。
基于行车过程中视野遮蔽区域的改变主要受到水平方向(即x轴方向)的头部/脸部变化量的影响，在一实施例中，仅取各帧的水平方向上的头部/脸部移动量(FC′x-FCx)来推算各帧的关注区域(ROI)相对于初始设定的关注区域的移动量，包括显示于右侧A柱显示器的右侧ROI移动量SR及显示于左侧A柱显示器的左侧ROI移动量SL，其计算公式如下：
SL＝|(FC′x-FCx)|×n×a
SR＝|(FC′x-FCx)|×n×b
其中，n为比例系数、a为左侧A柱的ROI位移系数、b为右侧A柱的ROI位移系数。在一实施例中，n为0.0005、a为1.5、b为1，上述系数的数值可根据不同情况来调整，在此不设限。在一实施例中，当A柱上的显示器较靠近驾驶员时，其所对应的ROI位移系数较大(例如离驾驶员较近的左侧A柱的ROI位移系数会大于离驾驶员较远的右侧A柱的ROI位移系数)，即对应于驾驶员头部/脸部位移的ROI移动量较大。虽然上述计算行车时关注区域的移动量是根据各帧的脸部中心参考点相对于初始设定的脸部中心参考点的位移进行计算，但在另一实施例中，也可以是根据各帧的脸部中心参考点相对于其前一帧的脸部中心参考点的位移来计算各帧对应的关注区域相对于其前一帧对应的关注区域的移动量。在又一实施例中，比例系数n、左侧A柱的ROI位移系数a、右侧A柱的ROI位移系数b可以与上述初始设定中各显示器上设定的缩放比例成正比。在又一实施例中，可以设定一脸部位移阀值，当|(FC′x-FCx)|大于该脸部位移阀值时才对应调整外部影像中关注区域的位置，否则就不调整关注区域的位置，以节省运算资源。
需说明的是，上述实施例是基于驾驶员在行车过程中较少会在垂直方向上移动头部/脸部，所以并未将垂直位移纳入考量来计算ROI移动量。然而，在其他实施例中，垂直方向的头部/脸部变化量亦可用以计算ROI移动量，并调整ROI区域的垂直位置，在此不设限。
图5A及图5B是依照本发明一实施例所绘示的车辆盲点影像显示方法的范例。请同时参照图3及图5A，图5A绘示在时间点t由外部相机C2及内部相机C3所撷取的外部影像510及内部影像520，其中通过深度学习演算法可侦测出内部影像520中驾驶员D的人脸，并取得人脸方框522的中心参考点FC的坐标，而基于此中心参考点FC的坐标，依照预先测定的变化关系可推算出外部影像510中的关注区域ROI的位置(也就是驾驶员D视野的盲点区域)，并据以撷取关注区域ROI的影像512，以显示在配置于柱体P2的显示器M2上。本领域技术人员应可以理解，如果关注区域ROI的解析度(resolution)与显示器显示画面的解析度不同，则车辆盲点影像显示装置100或显示器可以对应调整解析度。
接着，请同时参照图3及图5B，图5B绘示在时间点t+Δt由外部相机C2及内部相机C3所撷取的外部影像510’及内部影像520’，其中通过深度学习演算法可侦测出内部影像520’中驾驶员D的人脸，并取得人脸方框522’的中心参考点FC’的坐标。而基于此中心参考点FC’与先前取得的时间点t的中心参考点FC的坐标，可计算出驾驶员D头部在Δt时间内的移动量，而根据人脸位移量与关注区域移动量之间的变化关系，可计算出关注区域ROI的移动量，以将关注区域ROI朝人脸位移的相反方向移动所计算的移动量，获得新的关注区域ROI’的位置，并据以撷取关注区域ROI’的影像512’，而显示在配置于柱体P2的显示器M2上。其中，在时间点t+Δt撷取的外部影像510’及内部影像520’例如是外部相机C2及内部相机C3撷取外部影像510及内部影像520之后所撷取的下一张影像，或是间隔一固定时间后所撷取的影像，此间隔时间可由使用者自行设定，在此不限定。
在一实施例中，车辆盲点影像显示装置100可基于其所具备的人脸辨识功能，额外对外部相机所撷取的外部影像进行人脸辨识，从而辨识出外部影像中出现的行人。而在侦测到所述行人时，车辆盲点影像显示装置100可利用车内音响或显示器发出警告信息，以提醒驾驶员注意行人而减少事故发生。在一实施例中，可以是当车辆盲点影像显示装置100判定外部影像中的行人与车辆的距离低于一预设值(例如是2.5公尺)时才发出警告信息，其中行人与车辆的距离可以根据例如外部影像中行人的所占的像素数目或是行人的脚部在外部影像的画面中的位置等来估算。在其他实施例中，车辆盲点影像显示装置100亦可基于其他的行人侦测演算法来侦测外部影像中出现的行人，在此不限定。在一些实施例中，可以是当车辆停止时就不进行行人侦测或是/以及不进行上述关注区域的位置调整。
综上所述，本发明的车辆盲点影像显示方法、装置及系统，根据驾驶员头部的移动量及方向相对应地调整外部影像中的关注区域的位置，从而可根据驾驶员坐姿或视角的改变，正确地显示出驾驶员当下视野死角的影像，辅助驾驶员判断外部情况，进而降低事故发生的机率。此外，本发明的车辆盲点影像显示方法、装置及系统只需要在车身安装相机与显示器即可使用，方便在传统车辆款式上使用，也不会影响车身结构的强健性。虽然本发明的实施例主要针对公车或货车进行描述，但也可使用于例如轿车或休旅车等其他车型。
以上所述仅为本发明较佳实施例，然其并非用以限定本发明的范围，任何熟悉本项技术的人员，在不脱离本发明的精神和范围内，可在此基础上做进一步的改进和变化，因此本发明的保护范围当以本申请的权利要求书所界定的范围为准。

Claims (18)

1.一种车辆盲点影像显示方法，其特征在于，适用于具有连接装置及处理器的电子装置，所述连接装置耦接配置于车辆的外部的至少一外部相机、配置于所述车辆内部且镜头朝向驾驶员的至少一内部相机以及配置于所述车辆内部的至少一显示器，该方法包括下列步骤：
利用所述外部相机撷取所述车辆外部的外部影像；
利用所述内部相机撷取包含所述驾驶员的内部影像，并辨识所述内部影像中所述驾驶员的人脸及所述人脸的位移；以及
根据所辨识的所述位移对应调整所述外部影像中关注区域即ROI的位置，以显示所述关注区域的影像于对应的所述显示器，
其中，辨识所述内部影像中所述驾驶员的人脸及所述人脸的位移的步骤包括：
当所述内部影像被辨识出多个人脸时，判定所述内部影像中与前一个帧中辨识出的所述驾驶员的人脸距离最近的人脸为本帧的所述驾驶员的人脸，以计算所述人脸的位移。
2.根据权利要求1所述的方法，其中，在辨识所述内部影像中所述驾驶员的人脸及所述人脸的位移的步骤之前，所述方法还包括：
预先利用所述内部相机撷取所述驾驶员坐于驾驶座的初始影像；以及
侦测所述初始影像中所述驾驶员的人脸，以及记录所述人脸的位置以及对应于所述人脸的位置的所述关注区域的初始设定。
3.根据权利要求1所述的方法，其中，根据所辨识的所述位移对应调整所述外部影像中关注区域的位置的步骤还包括：
根据所述人脸的位移与所述关注区域的移动量之间的变化关系，计算所述人脸的位移所对应的所述关注区域的移动量；以及
将所述关注区域朝所述人脸的位移的相反方向移动所述移动量。
4.根据权利要求1所述的方法，其中，辨识所述内部影像中所述驾驶员的人脸及所述人脸的位移的步骤包括：
侦测所述内部影像中所述驾驶员的人脸；以及
根据所辨识的帧中所述人脸的位置，辨识相邻后续帧的影像中位于所述位置的周围区域且与所述人脸的区域具有相同特征点的物件区域作为所述后续帧的所述人脸，以计算所述人脸的位移。
5.根据权利要求3所述的方法，其中，当所述人脸的位移大于脸部位移阀值时才将所述关注区域朝所述人脸的位移的相反方向移动所述移动量，否则不移动所述关注区域。
6.根据权利要求1所述的方法，还包括：
辨识所述外部相机所撷取的所述外部影像中出现的行人；以及
当侦测到所述行人时，发出警告信息。
7.一种车辆盲点影像显示装置，其特征在于，包括：
连接装置，耦接配置于车辆的外部的至少一外部相机、配置于所述车辆内部且镜头朝向驾驶员的至少一内部相机以及配置于所述车辆内部的至少一显示器；
储存装置，储存程序；以及
处理器，耦接该连接装置及该储存装置，载入并执行该储存装置中的所述程序以：
利用所述外部相机撷取所述车辆外部的外部影像；
利用所述内部相机撷取包含所述驾驶员的内部影像，并辨识所述内部影像中所述驾驶员的人脸及所述人脸的位移；以及
根据所辨识的所述位移对应调整所述外部影像中关注区域的位置，并显示所述关注区域的影像于对应的所述显示器，
其中，当所述内部影像被辨识出多个人脸时，所述处理器判定所述内部影像中与前一个帧中辨识出的所述驾驶员的人脸距离最近的人脸为本帧的所述驾驶员的人脸，以计算所述人脸的位移。
8.根据权利要求7所述的车辆盲点影像显示装置，其中，所述处理器预先利用所述内部相机撷取所述驾驶员坐于驾驶座的初始影像，侦测所述初始影像中所述驾驶员的人脸，以及记录所述人脸的位置以及对应于所述人脸的位置的所述关注区域的初始设定。
9.根据权利要求7所述的车辆盲点影像显示装置，其中，所述处理器根据所述人脸的位移与所述关注区域的移动量之间的变化关系，计算所述人脸的位移所对应的所述关注区域的移动量，以及将所述关注区域朝所述人脸的位移的相反方向移动所述移动量。
10.根据权利要求7所述的车辆盲点影像显示装置，其中，所述处理器侦测所述内部影像中所述驾驶员的人脸，以及根据所辨识的帧中所述人脸的位置，辨识相邻后续帧的影像中位于所述位置的周围区域且与所述人脸的区域具有相同特征点的物件区域作为所述后续帧的所述人脸，以计算所述人脸的位移。
11.根据权利要求9所述的车辆盲点影像显示装置，其中，所述处理器在所述人脸的位移大于脸部位移阀值时才将所述关注区域朝所述人脸的位移的相反方向移动所述移动量，否则不移动所述关注区域。
12.根据权利要求7所述的车辆盲点影像显示装置，其中，所述处理器还辨识所述外部相机所撷取的所述外部影像中出现的行人，以及在侦测到所述行人时，发出警告信息。
13.一种车辆盲点影像显示系统，其特征在于，包括：
至少一外部相机，配置于车辆的外部；
至少一内部相机，配置于所述车辆内部且镜头朝向驾驶员；
至少一显示器，配置于所述车辆内部；以及
电子装置，具有连接装置及处理器，所述连接装置耦接所述外部相机、所述内部相机及所述显示器，所述处理器经配置以：
利用所述外部相机撷取所述车辆外部的外部影像；
利用所述内部相机撷取包含所述驾驶员的内部影像，并辨识所述内部影像中所述驾驶员的人脸及所述人脸的位移；以及
根据所辨识的所述位移对应调整所述外部影像中关注区域的位置，以显示所述关注区域的影像于对应的所述显示器，
其中，当所述内部影像被辨识出多个人脸时，所述处理器判定所述内部影像中与前一个帧中辨识出的所述驾驶员的人脸距离最近的人脸为本帧的所述驾驶员的人脸，以计算所述人脸的位移。
14.根据权利要求13所述的车辆盲点影像显示系统，其中，所述处理器预先利用所述内部相机撷取所述驾驶员坐于驾驶座的初始影像，以及侦测所述初始影像中所述驾驶员的人脸，以及记录所述人脸的位置以及对应于所述人脸的位置的所述关注区域的初始设定。
15.根据权利要求13所述的车辆盲点影像显示系统，其中，所述处理器根据所述人脸的位移与所述关注区域的移动量之间的变化关系，计算所述人脸的位移所对应的所述关注区域的移动量，以及将所述关注区域朝所述人脸的位移的相反方向移动所述移动量。
16.根据权利要求13所述的车辆盲点影像显示系统，其中，所述处理器侦测所述内部影像中所述驾驶员的人脸，以及根据所辨识的帧中所述人脸的位置，辨识相邻后续帧的影像中位于所述位置的周围区域且与所述人脸的区域具有相同特征点的物件区域作为所述后续帧的所述人脸，以计算所述人脸的位移。
17.根据权利要求15所述的车辆盲点影像显示系统，其中，所述处理器在所述人脸的位移大于脸部位移阀值时才将所述关注区域朝所述人脸的位移的相反方向移动所述移动量，否则不移动所述关注区域。
18.根据权利要求13所述的车辆盲点影像显示系统，其中，所述处理器还辨识所述外部相机所撷取的所述外部影像中出现的行人，以及在侦测到所述行人时，发出警告信息。
CN202010171825.5A 2019-06-05 2020-03-12 车辆盲点影像显示方法、装置及系统 Active CN111347977B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962857361P 2019-06-05 2019-06-05
US62/857,361 2019-06-05
TW109100990A TWI773958B (zh) 2019-06-05 2020-01-10 車輛盲點影像顯示方法、裝置及系統
TW109100990 2020-01-10

Publications (2)

Publication Number Publication Date
CN111347977A CN111347977A (zh) 2020-06-30
CN111347977B true CN111347977B (zh) 2022-06-10

Family

ID=71190702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010171825.5A Active CN111347977B (zh) 2019-06-05 2020-03-12 车辆盲点影像显示方法、装置及系统

Country Status (2)

Country Link
US (1) US10967852B2 (zh)
CN (1) CN111347977B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111923834A (zh) * 2020-08-13 2020-11-13 启明信息技术股份有限公司 一种基于眼球识别的车辆后视图像显示系统及方法
CN114735005A (zh) * 2020-12-24 2022-07-12 大陆泰密克汽车系统（上海）有限公司 盲区环境信息显示系统以及方法
EP4304897A1 (en) * 2021-03-12 2024-01-17 Stoneridge, Inc. Vehicle camera mirror system with adjustable video feed
US11794772B2 (en) 2022-01-14 2023-10-24 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods to increase driver awareness of exterior occurrences
CN116403188B (zh) * 2023-03-31 2025-10-17 武汉理工大学 一种汽车a柱盲区图像生成方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1946174A (zh) * 2005-10-07 2007-04-11 日产自动车株式会社 车辆用死角图像显示设备和显示方法
CN102254151A (zh) * 2011-06-16 2011-11-23 清华大学 一种基于面部视频分析的驾驶人疲劳检测方法
US9908470B1 (en) * 2015-03-23 2018-03-06 Rosco, Inc. Collision avoidance and/or pedestrian detection system
CN109670421A (zh) * 2018-12-04 2019-04-23 青岛小鸟看看科技有限公司 一种疲劳状态检测方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8085139B2 (en) * 2007-01-09 2011-12-27 International Business Machines Corporation Biometric vehicular emergency management system
TW201008812A (en) 2008-08-22 2010-03-01 shi-xiong Li Auxiliary video warning device for vehicle
US10967882B2 (en) * 2018-01-09 2021-04-06 Motherson Innovations Company Limited Autonomous vehicles with control retaking systems and methods of using same
CN104249655A (zh) 2013-06-26 2014-12-31 捷达世软件（深圳）有限公司 车载影像显示方法及系统
CN107566741B (zh) * 2017-10-26 2020-04-14 Oppo广东移动通信有限公司 对焦方法、装置、计算机可读存储介质和计算机设备
CN109635645A (zh) * 2018-11-01 2019-04-16 深圳云天励飞技术有限公司 非机动车交通违法监管方法、装置及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1946174A (zh) * 2005-10-07 2007-04-11 日产自动车株式会社 车辆用死角图像显示设备和显示方法
CN102254151A (zh) * 2011-06-16 2011-11-23 清华大学 一种基于面部视频分析的驾驶人疲劳检测方法
US9908470B1 (en) * 2015-03-23 2018-03-06 Rosco, Inc. Collision avoidance and/or pedestrian detection system
CN109670421A (zh) * 2018-12-04 2019-04-23 青岛小鸟看看科技有限公司 一种疲劳状态检测方法和装置

Also Published As

Publication number Publication date
CN111347977A (zh) 2020-06-30
US10967852B2 (en) 2021-04-06
US20200384986A1 (en) 2020-12-10

Similar Documents

Publication Publication Date Title
CN111347977B (zh) 车辆盲点影像显示方法、装置及系统
US10116873B1 (en) System and method to adjust the field of view displayed on an electronic mirror using real-time, physical cues from the driver in a vehicle
CN104641405B (zh) 车辆用警报装置和车辆用车外后视镜装置
US10183621B2 (en) Vehicular image processing apparatus and vehicular image processing system
TWI522257B (zh) 車用安全系統及其運作方法
JP5213063B2 (ja) 車両表示装置および表示方法
CN109263557B (zh) 车辆盲区侦测方法
TWI773958B (zh) 車輛盲點影像顯示方法、裝置及系統
US11938863B2 (en) Peripheral image generation device and display control method
US20180330619A1 (en) Display device and display method for displaying pictures, and storage medium
US12101580B2 (en) Display control apparatus, display control method, and program
US10531016B2 (en) On-vehicle display control device, on-vehicle display system, on-vehicle display control method, and non-transitory storage medium
KR20180065527A (ko) 차량 후측방 경고 장치 및 이를 이용한 경고 방법
US20240015269A1 (en) Camera system, method for controlling the same, storage medium, and information processing apparatus
KR101749873B1 (ko) 카메라 영상을 이용한 주행 정보 제공 방법 및 장치
WO2014034065A1 (ja) 移動体警告装置、および移動体警告方法
WO2016157698A1 (ja) 車両検出システム、車両検出装置、車両検出方法、及び車両検出プログラム
CN109987025A (zh) 用于夜晚环境的车辆驾驶辅助系统及方法
CN111556281B (zh) 车用安全系统及其操作方法
JP2021024402A (ja) 車両用表示制御装置、及び車両用表示システム
JP2020056717A (ja) 位置検出装置
KR20180094717A (ko) Avm을 이용한 운전 지원 장치 및 시스템
US20250262930A1 (en) Display control device for a vehicle, display system for a vehicle, display control method for a vehicle, and program
JP5245471B2 (ja) 撮像装置、並びに、画像処理装置および方法
US20240223897A1 (en) Imaging setting apparatus, image pickup apparatus, vehicle, and imaging setting method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant