[go: up one dir, main page]

CN117841908A - 一种监测泊车环境的方法、装置、车辆和存储介质 - Google Patents

一种监测泊车环境的方法、装置、车辆和存储介质 Download PDF

Info

Publication number
CN117841908A
CN117841908A CN202410090516.3A CN202410090516A CN117841908A CN 117841908 A CN117841908 A CN 117841908A CN 202410090516 A CN202410090516 A CN 202410090516A CN 117841908 A CN117841908 A CN 117841908A
Authority
CN
China
Prior art keywords
environment
vehicle
target
parking
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410090516.3A
Other languages
English (en)
Inventor
郭涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Great Wall Motor Co Ltd
Original Assignee
Great Wall Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Great Wall Motor Co Ltd filed Critical Great Wall Motor Co Ltd
Priority to CN202410090516.3A priority Critical patent/CN117841908A/zh
Publication of CN117841908A publication Critical patent/CN117841908A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30Detection related to theft or to other events relevant to anti-theft systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/305Detection related to theft or to other events relevant to anti-theft systems using a camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/34Detection related to theft or to other events relevant to anti-theft systems of conditions of vehicle components, e.g. of windows, door locks or gear selectors
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本申请提供了一种监测泊车环境的方法、装置、车辆和存储介质,该方法应用于车辆安全管理领域,该方法包括:根据车辆所处的泊车环境对应的至少一个环境信息,确定泊车环境的环境类型;在环境类型表示泊车环境中不存在障碍物的情况下,通过第一目标设备集合监测泊车环境;在环境类型表示泊车环境中存在障碍物的情况下,通过第二目标设备集合监测泊车环境。该方法能够根据泊车环境的环境类型的不同,从哨兵模式对应的多个采集设备中确定出对应的采集设备来监测泊车环境,使不同的环境类型对应不同数量的采集设备。通过上述过程使车辆在哨兵模式下监测泊车环境时,避免了采集设备资源的浪费,节省了整车的电量消耗。

Description

一种监测泊车环境的方法、装置、车辆和存储介质
技术领域
本申请涉及车辆安全管理领域,并且更具体地,涉及车辆安全管理领域中一种监测泊车环境的方法、装置、车辆和存储介质。
背景技术
用户在驾驶车辆过程中,若将车辆停靠在安全区域的情况下,车辆处于无人看管的状态,此时为保证车辆的安全,用户可以控制车辆进入哨兵模式。
哨兵模式是一种被动安全系统,它可以在用户不在车辆时,监控车辆和车辆周围环境,并保持车辆和用户的安全。具体的,在用户不在车辆时,哨兵模式可以启动车辆的安全防盗机制,防止车辆被盗或者被破坏,同时通过车载摄像头和传感器等,将车辆的泊车环境监控起来,为用户提供更加全面的视觉保障。一旦监测出泊车环境有异常情况,比如破窗、撞击等,车辆便会提醒外来闯入人员,并通过终端设备告知用户,为后续的追责提供证据。
一种可能的实现方式中,在哨兵模式下,车辆可以通过四路环视摄像头(分别安装在车辆前侧、后侧、左侧和右侧),以监测车辆的泊车环境。
上述在哨兵模式开启时,调用四路环视摄像头监测泊车环境,容易造成摄像头资源的浪费。
综上,当车辆在哨兵模式下,如何合理地控制四路环视摄像头对泊车环境进行监测,成为了亟需解决的问题。
发明内容
本申请提供了一种监测泊车环境的方法、装置、车辆和存储介质,该方法能够根据泊车环境的环境类型的不同,从哨兵模式对应的多个采集设备中确定出对应的采集设备来监测泊车环境,使不同的环境类型对应不同数量的采集设备。通过上述过程使车辆在哨兵模式下监测泊车环境时,避免了采集设备资源的浪费,节省了整车的电量消耗。
第一方面,提供了一种监测泊车环境的方法,该方法包括:根据车辆所处的泊车环境对应的至少一个环境信息,确定该泊车环境的环境类型,该环境类型用于表示该泊车环境中是否存在预设类型的障碍物;在该环境类型表示该泊车环境中不存在该障碍物的情况下,通过第一目标设备集合监测该泊车环境,该第一目标设备集合包括哨兵模式对应的多个采集设备;在该环境类型表示该泊车环境中存在该障碍物的情况下,通过第二目标设备集合监测该泊车环境,该第二目标设备集合包括该多个采集设备中,除采集该障碍物的采集设备之外的其他采集设备。
可选的,预设类型的障碍物包括:物理隔断物体,例如:超过预设高度的物理隔断物体,例如:墙体、绿化带等带有一定高度的物理隔断物体。
上述技术方案中,在车辆泊车完成之后,为保证车辆的安全,本申请提出了一种监测泊车环境的方法,当车辆在哨兵模式下,首先通过车辆所处泊车环境的至少一个环境信息,确定泊车环境的环境类型,环境类型表示泊车环境中是否存在预设类型的障碍物。在环境类型表示泊车环境中不存在障碍物时,说明车辆四周空旷,本申请为了全方位监控泊车环境,可以通过哨兵模式对应的多个采集设备对泊车环境进行无死角监控。在环境类型表示泊车环境中存在障碍物的情况下,由于存在障碍物的一侧被完全遮挡,不会有异常情况,本申请可以通过多个采集设备中除该侧采集设备之外的其他采集设备监测泊车环境。从而上述根据环境类型,从哨兵模式对应的多个采集设备中选择不同数量的采集设备监测泊车环境,在保证对泊车环境没有漏采集的情况下,还能够起到节约采集设备资源的效果,节约了整车的电量消耗。
结合第一方面和上述实现方式,在某些可能的实现方式中,该方法还包括:在通过该第一目标设备集合或者通过该第二目标设备集合监测该泊车环境的过程中,确定目标环境视频;将该目标环境视频发送至该车辆的车机控制器,以使该车机控制器存储或者删除该目标环境视频。
上述技术方案中,无论是通过第一目标设备集合还是第二目标设备集合,对泊车环境进行监测,本申请还可以确定监测过程得到的目标环境视频,并将目标环境视频发送至车机控制器进行存储或者删除。当车机控制器存储了目标环境视频的情况下,若车辆在停车过程中发生异常,目标环境视频还可以用于进行车辆异常定责,为定责提供确凿的证据。
结合第一方面和上述实现方式,在某些可能的实现方式中,该在通过该第一目标设备集合或者通过该第二目标设备集合监测该泊车环境的过程中,确定目标环境视频,包括:对该第一目标设备集合采集的多个第一环境视频进行合成处理,得到该目标环境视频;或者,将该目标环境视频确定为该第二目标设备集合采集的环境视频。
上述技术方案中,在确定目标环境视频过程中,基于目标设备集合的不同,在目标设备集合为第一目标设备集合的情况下,为了便于得到泊车环境对应的全局环境视频,本申请可以对多个采集设备采集的多个第一环境视频进行合成,得到泊车环境对应的目标环境视频,以便于用户能够更加直观清楚地观看泊车环境视频。当目标采集设备为第二目标设备集合时,由于第二目标设备集合包括的是多个采集设备中的部分采集设备,无法得到不同方向合成的全局环境视频,这种情况下,可以直接将部分采集设备采集得到的环境视频作为目标环境视频。
结合第一方面和上述实现方式,在某些可能的实现方式中,该对该第一目标设备集合采集的多个第一环境视频进行合成处理,得到该目标环境视频,包括:基于该多个第一环境视频,确定任一采集时刻的该多个采集设备采集的多张单视图像,对该多张单视图像进行鱼眼矫正,以消除该多个采集设备采集该多张单视图像过程中产生的畸变;对该多张单视图像进行透视变换,以使该多张单视图像的采集视角统一;对该多张单视图像进行拼接剪裁,得到该目标环境视频。
上述技术方案中,在对多个第一环境视频合成时,车辆外部的采集设备通常多为鱼眼摄像头,在通过鱼眼摄像头拍摄环境过程中,鱼眼镜头拍摄的图像广角更大,导致图像不是球面而不是平面。因此在合成过程中,首先要消除视频中的图像采集过程中产生的畸变。由于采集设备安装位置的差异,可能会破坏视频画面的一致性,因此在矫正之后,再对多张单视图像进行透视变换,以将多张单视图像调整为一致的视角,最后再进行图像拼接,并去除重叠的部分,即可得到目标环境视频。
结合第一方面和上述实现方式,在某些可能的实现方式中,该将该目标环境视频发送至该车辆的车机控制器,包括:根据该目标环境视频,或者,根据该目标环境视频和该车辆的状态参数,确定该车辆在停车过程中的停车状态,该状态参数用于表示该车辆的多个部件的状态,该停车状态用于表示该车辆在停车过程中是否存在异常;获取该车机控制器的存储空间;根据该存储空间,或者,根据该存储空间和该停车状态,将该目标环境视频发送至该车机控制器。
上述技术方案中,本申请在将目标环境视频发送至车机控制器的过程中,可以先结合目标环境视频,或者根据目标环境视频和车辆的状态参数,确定车辆的停车状态,以保证在车辆停车过程中实时监测车辆的异常状态,保证了车辆的安全。受限于车机控制器的存储空间,可以进一步结合车机存储器的存储空间,或者,根据存储空间和停车状态,将目标环境视频发送至车机控制器,以避免当存储空间不足时目标环境视频无法存储的问题。
结合第一方面和上述实现方式,在某些可能的实现方式中,该状态参数包括车窗状态和该车辆所承受的撞击力,该根据该目标环境视频,或者,根据该目标环境视频和该车辆的状态参数,确定该车辆在停车过程中的停车状态,包括:在该目标环境视频中存在目标用户的情况下,获取该目标用户的面部图像;将该面部图像与该车辆存储的至少一张面部图像进行匹配,判断该目标用户是否为该车辆对应的驾乘人员;在该目标用户为该驾乘人员的情况下,确定该停车状态为无异常;在该目标用户不为该驾乘人员的情况下,若该车窗状态为开启状态和/或该撞击力大于预设撞击力,确定该停车状态为有异常;在该目标用户不为该驾乘人员的情况下,若该车窗状态为关闭状态且该撞击力小于或等于该预设撞击力,确定该停车状态为无异常。
上述技术方案中,在确定车辆的停车状态时,本申请提供了如下的方式:若目标环境视频中存在目标用户,首先获取目标用户的面部图像,将该面部图像与车辆存储的至少一张面部图像进行匹配,判断目标用户是否是车辆的驾乘人员。若是,则车辆无异常。若否,为保证车辆的安全,本申请可以进一步结合车辆的状态参数,判断车辆是否有异常。具体的,当车窗状态为开启状态和/或撞击力大于预设撞击力时,表示车辆被破坏,则确定车辆有异常。相反,当车窗状态为关闭状态且撞击力小于或等于预设撞击力时,说明车辆暂无异常。上述首先通过面部图像比对,能够快速确定视频中的目标用户的身份。在目标用户为可疑人员时,再通过车辆的状态参数,实现了对车辆是否安全的准确判断,当驾乘人员不在车辆附近时,也能智能化地监控车辆。
结合第一方面和上述实现方式,在某些可能的实现方式中,该根据该存储空间,或者,根据该存储空间和该停车状态,将该目标环境视频发送至该车机控制器,包括:在该存储空间大于预设存储空间的情况下,将该目标环境视频发送至该车机控制器;在该存储空间小于或等于该预设存储空间,且该停车状态为有异常的情况下,获取当前时刻之前的至少一个历史停车状态;在该至少一个历史停车状态均为无异常的情况下,删除该至少一个历史停车状态对应的至少一个历史环境视频,并将该目标环境视频发送至该车机控制器;在该至少一个历史停车状态存在有异常的目标历史停车状态的情况下,删除该至少一个历史环境视频中除目标历史环境视频之外的其他历史环境视频,并将该目标环境视频发送至该车机控制器,该目标历史环境视频为该目标历史停车状态对应的历史环境视频。
上述技术方案中,在根据存储空间,或者,根据存储空间和停车状态,将目标环境视频发送至车机控制器时,具体分为以下几种场景:
在存储空间大于预设存储空间时,本申请可以直接将目标环境视频发送至车机控制器。
在存储空间小于或等于存储空间,且停车状态有异常的情况下,本申请需要先删除一部分历史环境视频,为目标环境视频提供存储空间。具体的,本申请可以获取当前时刻之前的至少一个历史停车状态,若至少一个历史停车状态均为无异常时,则控制车机控制器删除至少一个历史停车状态对应的至少一个历史环境视频,再将目标环境视频发送至车机控制器。当至少一个历史停车状态存在有异常的目标历史停车状态时,则控制车机控制器保留该目标历史停车状态对应的目标历史环境视频,将其他历史环境视频删除,再将目标环境视频发送至车机控制器。上述过程能够保证在存储空间不足且车辆异常时,删除一些不必要的历史环境视频,为目标环境视频腾出存储空间,以保留车辆异常的证据,便于驾驶员进行后续定责。
第二方面,提供了一种监测泊车环境的装置,该装置包括:确定模块,用于根据车辆所处的泊车环境对应的至少一个环境信息,确定该泊车环境的环境类型,该环境类型用于表示该泊车环境中是否存在预设类型的障碍物;第一监测模块,用于在该环境类型表示该泊车环境中不存在该障碍物的情况下,通过第一目标设备集合监测该泊车环境,该第一目标设备集合包括哨兵模式对应的多个采集设备;第二监测模块,用于在该环境类型表示该泊车环境中存在该障碍物的情况下,通过第二目标设备集合监测该泊车环境,该第二目标设备集合包括该多个采集设备中,除采集该障碍物的采集设备之外的其他采集设备。
结合第二方面和上述实现方式,在某些可能的实现方式中,该装置还包括:处理模块,用于在通过该第一目标设备集合或者通过该第二目标设备集合监测该泊车环境的过程中,确定目标环境视频;将该目标环境视频发送至该车辆的车机控制器,以使该车机控制器存储或者删除该目标环境视频。
结合第二方面和上述实现方式,在某些可能的实现方式中,该处理模块具体用于:对该第一目标设备集合采集的多个第一环境视频进行合成处理,得到该目标环境视频;或者,将该目标环境视频确定为该第二目标设备集合采集的环境视频。
结合第二方面和上述实现方式,在某些可能的实现方式中,该处理模块还用于:基于该多个第一环境视频,确定任一采集时刻的该多个采集设备采集的多张单视图像,对该多张单视图像进行鱼眼矫正,以消除该多个采集设备采集该多张单视图像过程中产生的畸变;对该多张单视图像进行透视变换,以使该多张单视图像的采集视角统一;对该多张单视图像进行拼接剪裁,得到该目标环境视频。
结合第二方面和上述实现方式,在某些可能的实现方式中,该处理模块还用于:根据该目标环境视频,或者,根据该目标环境视频和该车辆的状态参数,确定该车辆在停车过程中的停车状态,该状态参数用于表示该车辆的多个部件的状态,该停车状态用于表示该车辆在停车过程中是否存在异常;获取该车机控制器的存储空间;根据该存储空间,或者,根据该存储空间和该停车状态,将该目标环境视频发送至该车机控制器。
结合第二方面和上述实现方式,在某些可能的实现方式中,该状态参数包括车窗状态和该车辆所承受的撞击力,该处理模块还用于:在该目标环境视频中存在目标用户的情况下,获取该目标用户的面部图像;将该面部图像与该车辆存储的至少一张面部图像进行匹配,判断该目标用户是否为该车辆对应的驾乘人员;在该目标用户为该驾乘人员的情况下,确定该停车状态为无异常;在该目标用户不为该驾乘人员的情况下,若该车窗状态为开启状态和/或该撞击力大于预设撞击力,确定该停车状态为有异常;在该目标用户不为该驾乘人员的情况下,若该车窗状态为关闭状态且该撞击力小于或等于该预设撞击力,确定该停车状态为无异常。
结合第二方面和上述实现方式,在某些可能的实现方式中,该处理模块还用于:在该存储空间大于预设存储空间的情况下,将该目标环境视频发送至该车机控制器;在该存储空间小于或等于该预设存储空间,且该停车状态为有异常的情况下,获取当前时刻之前的至少一个历史停车状态;在该至少一个历史停车状态均为无异常的情况下,删除该至少一个历史停车状态对应的至少一个历史环境视频,并将该目标环境视频发送至该车机控制器;在该至少一个历史停车状态存在有异常的目标历史停车状态的情况下,删除该至少一个历史环境视频中除目标历史环境视频之外的其他历史环境视频,并将该目标环境视频发送至该车机控制器,该目标历史环境视频为该目标历史停车状态对应的历史环境视频。
第三方面,提供了一种车辆,包括存储器和处理器。该存储器用于存储可执行程序代码,该处理器用于从存储器中调用并运行该可执行程序代码,使得该车辆执行上述第一方面或第一方面任意一种可能的实现方式中的方法。
第四方面,提供了一种计算机程序产品,该计算机程序产品包括:计算机程序代码,当该计算机程序代码在计算机上运行时,使得该计算机执行上述第一方面或第一方面任意一种可能的实现方式中的方法。
第五方面,提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序代码,当该计算机程序代码在计算机上运行时,使得该计算机执行上述第一方面或第一方面任意一种可能的实现方式中的方法。
附图说明
图1是本申请实施例提供的一种开启哨兵模式的场景示意图;
图2是本申请实施例提供的一种哨兵模式下车辆交互的场景示意图;
图3是本申请实施例提供的另一种哨兵模式下车辆交互的场景示意图;
图4是本申请实施例提供的一种监测泊车环境的方法的示意性流程图;
图5是本申请实施例提供的一种监测泊车环境的装置的结构示意图;
图6是本申请实施例提供的一种车辆的结构示意图。
具体实施方式
下面将结合附图,对本申请中的技术方案进行清楚、详尽地描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B:文本中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为暗示或暗示相对重要性或隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者多个该特征。
图1是本申请实施例提供的一种开启哨兵模式的场景示意图。
示例性的,如图1所示,在车辆停放区域包括两个车位,分别为车位103和车位104。车位103中停靠有车辆102,车位104中停靠有车辆101。以下本申请实施例的介绍中,本车均指代的是车辆101。
在车辆101停车过程中,为了保证车辆的安全,驾驶员可以控制车辆101进入哨兵模式,以使车辆101通过各种传感器,在车辆101停车过程中进行智能化监控,保证车辆101的安全。各种传感器例如视觉传感器(例如图像/视频采集设备)、状态传感器(震动传感器)等。
对于驾驶员控制车辆101进入哨兵模式的过程,具体参见下面图2中的介绍。如图1所示,当车辆101开启哨兵模式之后,在车辆101的中控显示区域1011中,显示有哨兵模式对应的图标10111,以及在显示设备的显示区域显示有提示文字,例如“哨兵模式已激活,正在监控中”的文字。
当车辆101在哨兵模式下发现存在异常情况,车辆101可以及时提醒驾驶员,以及通过车辆101中的提醒设备发出警报,以警示陌生人员。
图2是本申请实施例提供的一种哨兵模式下车辆交互的场景示意图。
示例性的,如图2所示,结合图1,在开启哨兵模式时,本申请实施例提供了以下几种开启方式:
第一种,如图2所示,当驾驶员的终端设备208中安装有车载应用的情况下,驾驶员可以通过点击操作,选中终端设备208中哨兵模式的虚拟按键,终端设备208响应于该点击操作,生成哨兵模式的开启指令,并将该开启指令通过车辆远程服务提供商(TelematicsService Provider,TSP)209、车辆101中的远程信息处理盒子(Telematics BOX,T-BOX)210,以及包含网关的车身控制器211,发送至车机控制器206。
车机控制器206在接收到该开启指令之后,控制哨兵模式开启。
第二种,图2中未示出,在车辆101中配置有哨兵模式的物理按键或者虚拟按键的情况下,驾驶员可以通过点击操作,选中该物理按键或者点击该虚拟按键,车机控制器206响应于该点击操作,控制哨兵模式开启。
在哨兵模式开启的情况下,车机控制器206可以将哨兵模式的开启状态,以车辆101支持的信号形式发送至智能驾驶控制器205,以使智能驾驶控制器205调用车辆101周围安装的多个采集设备,对车辆101所处的泊车环境进行监测,以采集车辆101泊车环境周围的环境视频,并便于后续基于环境视频判断车辆101在停车过程中是否安全。如图2所示,本申请实施例中的多个采集设备具体为车辆101上安装的四路环视摄像头,分别为摄像头201、摄像头202、摄像头203和摄像头204。
可选的,车辆101支持的信号形式包括控制器局域网(Controller Area Network,CAN)信号、局域互联网络(Local Interconnect Network,LIN)信号、Flex Ray信号、面向媒体的系统传输(Media Oriented System Transport,MOST)信号和以太网(Ethernet)信号。
一种可能的实现方式中,智能驾驶控制器205中集成有360°全景影像模块2051。智能驾驶控制器205可以通过360°全景影像模块2051,对四路环视摄像头采集的四路环境视频进行处理。
示例性的,相关技术中,智能驾驶控制器205在得到四路环境视频之后,一方面可以通过360°全景影像模块2051对四路环境视频进行合成处理,得到合成之后的合成环境视频,然后发送至数字视频记录器(Digital Video Recorder,DVR)控制器207,以使DVR控制器207通过储存卡2071存储合成环境视频,以便于后续进行故障定责。
另一方面,智能驾驶控制器205还可以将四路环境视频不进行合成处理,直接发送至车机控制器206,以使车机控制器206根据四路环境视频,实时确定车辆101四周是否有异常情况。
当车机控制器206监测车辆101出现异常时,既可以通过车身控制器211、T-BOX210和TSP209,向终端设备208发送提示信息,以提示驾驶员车辆101存在异常,还可以控制车身控制器211进行鸣笛报警。
驾驶员在接收到提示信息之后,可以通过终端设备208、车身控制器211、T-BOX210和TSP209,从DVR控制器207中获取存储的合成环境视频进行查看。
此外,在车辆101停车过程中,驾驶员还可以实时通过终端设备208、车身控制器211、T-BOX210和TSP209,从智能驾驶控制器205中获取四路环视摄像头采集的环境视频。
上述当车辆在哨兵模式下,对泊车环境进行监测时,通常默认调用四路环视摄像头进行监测,容易造成摄像头资源的浪费。
基于上述问题,本申请实施例提供了一种监测泊车环境的方法,该方法能够根据泊车环境的环境类型的不同,从哨兵模式对应的多个采集设备中确定出对应的采集设备来监测泊车环境,使不同的环境类型对应不同数量的采集设备。通过上述过程使车辆在哨兵模式下监测泊车环境时,避免了采集设备资源的浪费,节省了整车的电量消耗。
在实现本申请实施例的方法的过程中,本申请实施例的交互场景与上述图2中的交互场景也存在差异,在介绍本申请实施例的方法之前,首先介绍本申请实施例方法所对应的交互场景。
图3是本申请实施例提供的另一种哨兵模式下车辆交互的场景示意图。
示例性的,如图3所示,结合图2和图1,与图2区别之处在于:本申请实施例中,省去了DVR控制器207的存储链路,而是直接在车机控制器206中集成了储存卡2061,通过储存卡2061存储环境视频。
此外,图3的交互场景中,取代了图2中利用车机控制器206根据四路环境视频,实时确定车辆101四周是否有异常情况的方式,而换由智能驾驶控制器205替代车机控制器206,通过四路环境视频,实现对车辆101的异常监测。
具体的,在本申请实施例提供的方法中,为节约摄像头资源,在哨兵模式开启的情况下,智能驾驶控制器205可以先接收各种摄像头采集的车辆101泊车环境的环境信息,智能驾驶控制器205根据环境信息,确定出环境类型。基于上述哨兵模式下对应的四路环视摄像头,智能驾驶控制器205可以进一步根据环境类型,从四路环视摄像头中确定出不同数量的摄像头,以监测泊车环境。
在监测泊车环境中,若同时调用四个环视摄像头监测泊车环境,智能驾驶控制器205在获取四路环视摄像头采集的四路环境视频后,可以进行视频合成,实时判断车辆是否发生异常,并将合成环境视频发送至车机控制器206进行存储。
在监测泊车环境中,若调用的是四个环视摄像头中的部分环视摄像头,智能驾驶控制器205在获取各个环视摄像头采集的环境视频之后,实时判断车辆是否发生异常,再将各个环视摄像头采集的环境视频发送至车机控制器206进行存储。
从而基于上述过程,本申请实施例一方面可以实现节约摄像头资源的效果;另外,还可以节省DVR存储器的存储链路,优化环境视频的存储方式;最后,通过智能驾驶控制器取代原有车机控制器进行车辆异常判定,能够减轻车机控制器的计算负荷。
下面通过图4中的一种监测泊车环境的方法,对本申请的技术方案的实现过程进行详细的介绍。
图4是本申请实施例提供的一种监测泊车环境的方法的示意性流程图。应理解,该方法400可以应用于图3所示的场景,具体应用于图3中的智能驾驶控制器205(以下全部简称为“智驾控制器”)。需要说明的是,除了智驾控制器之外,车辆中任意一个集成有360°全景影像模块的电子控制单元(Electronic Control Unit,ECU)都可以作为方法400的执行主体。
示例性的,如图4所示,该方法400包括:
401,根据车辆所处的泊车环境对应的至少一个环境信息,确定泊车环境的环境类型,环境类型用于表示泊车环境中是否存在预设类型的障碍物。
在车辆哨兵模式开启的情况下,车辆处于停止状态。在车辆停车的过程中,为了保证车辆的安全,智驾控制器可以通过哨兵模式下的多个采集设备,对车辆周围的泊车环境进行监测。
可选的,多个采集设备的类型可以为多个摄像头,在本申请实施例中具体为鱼眼摄像头(或者鱼眼相机),多个摄像头可以分别安装在车辆的左侧、右侧、前侧和后侧,四个鱼眼摄像头并称为车辆的“四路环视摄像头”。在本申请实施例中,多个摄像头还可以分别安装在车辆的左前、左右、右前、右后、左中和右中,本申请实施例对多个采集设备的类型和安装位置不做具体限定。
下面的介绍中均以多个采集设备为四路环视摄像头为例进行说明。
应理解,本申请实施例为节约摄像头的资源,在车辆停车过程中,智驾控制器可以先根据车辆所处泊车环境的至少一个环境信息,确定环境类型,再从四路环视摄像头中确定与环境类型对应的不同数量的环视摄像头。
其中,环境类型用于表示泊车环境中是否存在预设类型的障碍物。
可选的,预设类型的障碍物包括:物理隔断物体,例如:超过预设高度的物理隔断物体,例如:墙体、绿化带等带有一定高度的物理隔断物体。
可选的,至少一个环境信息包括至少一个环境图像或者至少一个第二环境视频。
示例性的,智驾控制器可以调用哨兵模式对应的四路环视摄像头,或者车辆中的其他摄像头(例如侧视摄像头)采集得到至少一个环境图像或者至少一个第二环境视频。
又一示例性的,智驾控制器还可以通过车联万物(Vehicle to Everything,V2X)技术,即车辆通过与道路中的其他车辆,或者与车辆路侧基础设置(例如交通摄像头、路侧单元等)之间的通信,获取到其他设备发送的至少一个环境图像或者至少一个第二环境视频。
进一步,智驾控制器可以根据获取到的至少一个环境图像或者至少一个第二环境视频,确定环境类型。
一种可能的实现方式中,根据车辆所处的泊车环境对应的至少一个环境信息,确定泊车环境的环境类型,包括:
在至少一个环境图像包括障碍物图像,或,至少一个第二环境视频包括障碍物图像的情况下,确定泊车环境中存在障碍物;
在至少一个环境图像不包括障碍物图像,或,至少一个第二环境视频不包括障碍物图像的情况下,确定泊车环境中不存在障碍物。
示例性的,智驾控制器中可以预先存储障碍物图像,在得到至少一个环境图像之后,智驾控制器可以将至少一个环境图像与障碍物图像进行图像匹配,得到至少一个环境图像对应的至少一个相似度。进一步智驾控制器可以将至少一个相似度与预先存储的第一预设相似度进行比较,判断至少一个环境图像是否包括障碍物图像。
可选的,图像匹配计算图像之间的相似度的方法包括均方误差(Mean SquaredError,MSE)、峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)、结构相似性(StructuralSimilarity,SSIM)、余弦相似度、哈希相似度、直方图距离、互信息、像素匹配等任意一种。
下面本申请实施例以SSIM计算相似度为例,对至少一个环境图像中任意一个环境图像和障碍物图像之间的相似度的计算过程进行说明。
SSIM算法主要用于检测两张相同尺寸的图像的相似度,或者检测图像的失真程度。SSIM公式基于样本x和y之间的三个参数进行衡量,分别为亮度、对比度和结构。
具体在计算过程中,可以通过下面的公式(1)来计算相似度。
其中,在公式(1)中:
μx:样本x的平均值,在本申请实施例中,任意一个环境图像即为样本x;
μy:样本y的平均值,在本申请实施例中,障碍物图像即为样本y;
σx 2:样本x的方差;
σy 2:样本y的方差;
σxy:样本x和样本y的协方差;
C1、C2:常数。
一般地,SSIM(x,y)≤1,当且仅当x=y时,SSIM(x,y)=1。
智驾控制器可以通过上述过程,计算得到至少一个环境图像分别与障碍物图像之间的至少一个相似度。
在得到至少一个相似度之后,若至少一个相似度中存在大于或等于第一预设相似度的相似度,则确定至少一个环境图像包括障碍物图像;相反,若至少一个相似度均小于第一预设相似度,则确定至少一个环境图像不包括障碍物图像。
同理,对于至少一个第二环境视频,由于视频是由一系列图像按照顺序组成的,因此,智驾控制器可以对任意一个第二环境视频中的每一帧图像,将其与障碍物图像进行图像匹配,得到每一帧图像和障碍物图像之间的相似度,从而得到该第二环境视频对应的多个相似度。由此以来,智驾控制器可以得到至少一个第二环境视频对应的多个相似度。当至少一个第二环境视频的多个相似度中至少一个相似度大于或等于第一预设相似度,则确定至少一个第二环境视频中包括障碍物图像;相反,若至少一个第二环境视频的多个相似度均小于第一预设相似度,则确定至少一个第二环境视频不包括障碍物图像。
又一示例性的,除了利用图像匹配方案,在计算机视觉领域,智驾控制器还可以通过目标检测和物体识别方法,对至少一个环境图像或者至少一个第二环境视频进行识别。目标检测通常是对环境图像进行检测,定位图像中的物体,得到检测结果。物体识别是基于目标检测的结果,对物体进行分类,确定其所属的类别。
可选的,目标检测方法包括基于特征的方法、基于机器学习的方法和基于深度学习的方法。其中,基于特征的方法中,常见的特征包括哈尔(Haar)特征、方向梯度直方图(Histogram of oriented gradient,HOG)特征、尺度不变特征变换(Scale InvariantFeature Transform,SIFT)特征。基于机器学习的方法包括支持向量机(Support VectorMachines,SVM)、随机森林(Random Forest)等、基于深度学习的方法包括快速的基于区域的卷积神经网络(Fast Region-based Convolutional Network,Faster R-CNN)、单次多盒探测器(Single Shot Multi Box Detector,SSD)等。
可选的,物体识别方法包括基于机器学习的方法和基于深度学习的方法。
根据物体识别得到的分类结果,智驾控制器也可以确定至少一个环境图像或者至少一个第二环境视频是否包括障碍物。当物体的分类结果为障碍物时,则表示至少一个环境图像或者至少一个第二环境视频中包括障碍物图像,相反,当物体的分类结果不是障碍物时,则表示至少一个环境图像或者至少一个第二环境视频中不包括障碍物图像。
通过上述过程,智驾控制器即可确定出泊车环境的环境类型。
上述技术方案中,至少一个环境信息按照类型的不同,可以为至少一个环境图像或者至少一个第二环境视频。在根据至少一个环境信息确定环境类型时,可以通过至少一个环境图像或者至少一个第二环境视频实现。当至少一个环境图像包括障碍物图像,或者至少一个第二环境视频包括障碍物图像时,确定泊车环境存在障碍物。相反,当至少一个环境图像不包括障碍物图像,或者,至少一个第二环境视频不包括障碍物图像时,确定泊车环境不存在障碍物。上述过程既可以通过图像确定环境类型,也可以通过视频确定环境类型,保证了环境类型确定的灵活性和多样性。
402,在环境类型表示泊车环境中不存在障碍物的情况下,通过第一目标设备集合监测泊车环境,第一目标设备集合包括哨兵模式对应的多个采集设备。
一种情况下,当智驾控制器确定泊车环境中不存在障碍物时,表示车辆当前周围环境较为空旷,为避免不法分子可能会从各个方向入侵损害车辆,在哨兵模式下,智驾控制器可以通过四路环视摄像头共同作用,对泊车环境从四面八方进行全方位监测,第一目标设备集合包括四路环视摄像头。
403,在环境类型表示泊车环境中存在障碍物的情况下,通过第二目标设备集合监测泊车环境,第二目标设备集合包括多个采集设备中,除采集障碍物的采集设备之外的其他采集设备。
另一种情况下,当车辆泊车环境中存在障碍物的情况下,由于存在障碍物一般为实体墙或者较为密集的绿化带,在这个方向不存在外来人员入侵的可能性,可以暂时关闭障碍物一侧的环视摄像头,而通过四路环视摄像头中,除障碍物一侧的环视摄像头之外的其他环视摄像头监测泊车环境。
示例性的,假设智驾控制器确定车辆后侧存在障碍物,则控制后侧的环视摄像头关闭,以及控制前侧、左侧和右侧的环视摄像头开启,以监测车辆前侧、左侧和右侧的泊车环境。
上述技术方案中,根据泊车环境的环境类型的不同,从车辆上的多个采集设备中确定出对应的采集设备来监测泊车环境,使不同的环境类型对应不同数量的采集设备。具体的,当环境类型表示泊车环境存在障碍物时,则通过多个采集设备监测泊车环境;当环境类型表示泊车环境不存在障碍物时,则通过多个采集设备中,除障碍物对应的采集设备之外的其他采集设备监测泊车环境,能够避免采集设备资源的浪费,节省了整车的电量消耗。
进一步,结合图3所示的交互场景,智驾控制器在通过第一目标设备集合或者通过第二目标设备集合监测泊车环境时,还可以实时判断车辆是否存在异常,以及通过车机控制器存储环境视频,以便于后续车辆的定责和驾驶员观看。
一种可能的实现方式中,该方法还包括:
在通过第一目标设备集合或者通过第二目标设备集合监测泊车环境的过程中,确定目标环境视频;
将目标环境视频发送至车辆的车机控制器,以使车机控制器存储或者删除目标环境视频。
在基于不同的目标设备集合对泊车环境进行监测时,由于不同的目标设备集合包括的环视摄像头的数量不同,因此确定的目标环境视频也可能存在差异,智驾控制器可以按照不同的环境类型,确定出不同的目标环境视频,发送至车机控制器。
上述技术方案中,无论是通过第一目标设备集合还是第二目标设备集合,对泊车环境进行监测,本申请还可以确定监测过程得到的目标环境视频,并将目标环境视频发送至车机控制器进行存储或者删除。当车机控制器存储了目标环境视频的情况下,若车辆在停车过程中发生异常,目标环境视频还可以用于进行车辆异常定责,为定责提供确凿的证据。
一种可能的实现方式中,具体按照目标设备集合的不同,通过第一目标设备集合或者通过第二目标设备集合监测泊车环境的过程中,确定目标环境视频,包括:
对第一目标设备集合采集的多个第一环境视频进行合成处理,得到目标环境视频;或者,
将目标环境视频确定为第二目标设备集合采集的环境视频。
一种情况下,当泊车环境中不存在障碍物的情况下,第一目标设备集合包括四路环视摄像头,智驾控制器可以控制四路环视摄像头全部开启,以从前侧、后侧、左侧和右侧多个方向监测泊车环境。
当四路环视摄像头全部开启的情况下,每一路环视摄像头都可以采集一个第一环境视频,由此得到多个第一环境视频。智驾控制器可以对多个第一环境视频进行合成处理,得到合成环境视频,也就是目标环境视频。
另一种情况下,当泊车环境中存在障碍物的情况下,由于障碍物对应的环视摄像头为关闭状态,其他环视摄像头开启。在这种四路环视摄像头并未全部开启的场景下,智驾控制器无法对环境视频进行合成,因此智驾控制器可以将四路环视摄像头中,处于开启状态的环视摄像头所采集的环境视频作为目标环境视频。
示例性的,若障碍物在车辆的后侧,则后侧的环视摄像头关闭,智驾控制器控制前侧、左侧和右侧的环视摄像头开启,因此,前侧、左侧和右侧的环视摄像头分别采集的环境视频就是目标环境视频。
上述技术方案中,在确定目标环境视频过程中,基于目标设备集合的不同,在目标设备集合为第一目标设备集合的情况下,为了便于得到泊车环境对应的全局环境视频,本申请可以对多个采集设备采集的多个第一环境视频进行合成,得到泊车环境对应的目标环境视频,以便于用户能够更加直观清楚地观看泊车环境视频。当目标采集设备为第二目标设备集合时,由于第二目标设备集合包括的是多个采集设备中的部分采集设备,无法得到不同方向合成的全局环境视频,这种情况下,可以直接将部分采集设备采集得到的环境视频作为目标环境视频。
一种可能的实现方式中,当目标设备集合为第一目标设备集合时,对第一目标设备集合采集的多个第一环境视频进行合成处理,得到目标环境视频,包括:
基于多个第一环境视频,确定任一采集时刻的多个采集设备采集的多张单视图像,对多张单视图像进行鱼眼矫正,以消除多个采集设备采集多张单视图像过程中产生的畸变;
对多张单视图像进行透视变换,以使多张单视图像的采集视角统一;
对多张单视图像进行拼接剪裁,得到目标环境视频。
具体的,在对多个第一环境视频进行合成处理时,结合视频拼接的原理,目前环视摄像头多为鱼眼相机,鱼眼相机的镜头的视场角可达到180°-270°,是一种极端的广角镜头,因此四路环视摄像头采集每一帧图像过程中可能存在畸变。因此,在对多个第一环境视频进行合成处理时,首先要基于同一时刻,消除四路环视摄像头采集的多张单视图像产生的畸变,也就是将多张单视图像中的每一张单视图像展开。其中,多张单视图像指的就是在同一时刻,每一个环视摄像头所采集的图像。
可选的,鱼眼矫正的方法包括棋盘标定法、横向展开法、经纬度法。本申请实施例对鱼眼矫正的方法不做限定。
在对多张单视图像矫正之后,由于不同环视摄像头安装高度的差异,拍摄的角度的不同,可能导致得到的单视图像不在同一投影平面上,如果直接对重叠的单视图像进行拼接,会破坏视频画面的视觉一致性,因此,在拼接之前,智驾控制器可以先对多张单视图像进行透视变化,将多张单视图像调整为一致的视角,再进行拼接。
在对多张单视图像进行透视变换之后,最后智驾控制器对多张单视图像进行拼接,以及剪裁以去除重叠多余的部分,得到最终的合成图像。通过对每一时刻的多张单视图像都进行上述处理,即可得到合成环境视频,即目标环境视频。
上述技术方案中,在对多个第一环境视频合成时,车辆外部的采集设备通常多为鱼眼摄像头,在通过鱼眼摄像头拍摄环境过程中,鱼眼镜头拍摄的图像广角更大,导致图像不是球面而不是平面。因此在合成过程中,首先要消除视频中的图像采集过程中产生的畸变。由于采集设备安装位置的差异,可能会破坏视频画面的一致性,因此在矫正之后,再对多张单视图像进行透视变换,以将多张单视图像调整为一致的视角,最后再进行图像拼接,并去除重叠的部分,即可得到目标环境视频。
在得到目标环境视频之后,考虑到车机控制器的存储空间以及车辆的停车状态,智驾控制器在将目标环境视频发送至车机控制器时,可以通过车辆的停车状态和存储空间来实现。停车状态用于表示车辆在停车过程中是否存在异常。例如,当存储空间充足时,智驾控制器可以将目标环境视频发送至车机控制器;当车辆停车状态异常时,考虑到后续的定责,智驾控制器可以将目标环境视频发送至车机控制器进行存储。
一种可能的实现方式中,将目标环境视频发送至车辆的车机控制器,包括:
根据目标环境视频,或者,根据目标环境视频和车辆的状态参数,确定车辆在停车过程中的停车状态,状态参数用于表示车辆的多个部件的状态,停车状态用于表示车辆在停车过程中是否存在异常;
获取车机控制器的存储空间;
根据存储空间,或者,根据存储空间和停车状态,将目标环境视频发送至车机控制器。
具体的,在根据目标环境视频,或者,根据目标环境视频和车辆的状态参数,确定车辆在停车过程中是否发生异常时,包括以下两个方面:一方面可以根据目标环境视频,确定车辆周围是否存在可疑人员,另一方面可以根据车辆的状态参数,确定车辆是否受到损伤。
在确定出车辆的停车状态之后,为了兼顾车机控制器的存储空间,避免存储空间不足时车机控制器无法存储目标环境视频的问题,智驾控制器可以结合车辆的停车状态以及存储空间,将目标环境视频发送至车机控制器。
上述技术方案中,本申请在将目标环境视频发送至车机控制器的过程中,可以先结合目标环境视频,或者根据目标环境视频和车辆的状态参数,确定车辆的停车状态,以保证在车辆停车过程中实时监测车辆的异常状态,保证了车辆的安全。受限于车机控制器的存储空间,可以进一步结合车机存储器的存储空间,或者,根据存储空间和停车状态,将目标环境视频发送至车机控制器,以避免当存储空间不足时目标环境视频无法存储的问题。
在确定车辆的停车状态时,状态参数包括车窗状态和车辆所承受的撞击力。
示例性的,智驾控制器可以通过车身控制器,获取到车窗状态具体为开启还是关闭。
示例性的,对于车辆所承受的撞击力,可以通过车辆中不同位置上的震动传感器采集得到车辆所承受的振动力,也就是撞击力。
示例性的,对于车机控制器的存储空间,具体指的是车机控制器中的储存卡的存储空间,智驾控制器可以通过车机控制器获取得到。
一种可能的实现方式中,根据目标环境视频,或者,根据目标环境视频和车辆的状态参数,确定车辆在停车过程中的停车状态,包括:
在目标环境视频中存在目标用户的情况下,获取目标用户的面部图像;
将面部图像与车辆存储的至少一张面部图像进行匹配,判断目标用户是否为车辆对应的驾乘人员;
在目标用户为驾乘人员的情况下,确定停车状态为无异常;
在目标用户不为驾乘人员的情况下,若车窗状态为开启状态和/或撞击力大于预设撞击力,确定停车状态为有异常;
在目标用户不为驾乘人员的情况下,若车窗状态为关闭状态且撞击力小于或等于预设撞击力,确定停车状态为无异常。
示例性的,智驾控制器在得到目标视频之后,首先对目标环境视频进行图像识别或者目标物体检测,以确定目标环境视频中是否存在目标用户,目标用户指的是目标环境视频画面中所出现的任意一个用户。
当目标环境视频画面中存在目标用户的情况下,智驾控制器可以从目标环境视频的多帧图像中确定该目标用户出现时的图像,从而得到目标用户的面部图像。
进一步,在车辆驾驶过程中,车辆内部的采集设备可以获取多张车辆在历史行驶过程中驾乘人员的至少一张面部图像。智驾控制器可以将该面部图像与至少一张面部图像进行图像匹配,分别得到该面部图像与至少一张面部图像对应的至少一个相似度,通过将至少一个相似度与第二预设相似度进行比较,智驾控制器可以判断目标用户是否为车辆的驾乘人员。图像匹配的方法可参见前述描述,此处不再赘述。
具体的,当至少一个相似度中存在大于或等于第二预设相似度的相似度,则说明目标用户是驾乘人员;当至少一个相似度均小于第二预设相似度,则说明目标用户不是驾乘人员。
一种情况下,当智驾控制器确定目标用户是驾乘人员时,则确定车辆在停车过程中无异常。
另一种情况下,当智驾控制器确定目标用户不是驾乘人员时,说明此时车辆存在潜在危险,为进一步确认车辆的停车状态,智驾控制器可以进一步结合车窗状态和撞击力,确定车辆是否出现异常。
当车窗状态为开启状态,和/或,撞击力大于预设撞击力时,表示车辆可能受到该目标用户的恶意损坏,智驾控制器则确定车辆发生异常;相反,当车窗状态为关闭状态,且撞击力小于或等于预设撞击力,则表示目标用户可能只是在车辆周围停留时间较长,但并未损坏车辆,智驾控制器则判断车辆未发生异常。
在上述过程中,当智驾控制器确定出车辆存在异常之后,还可以通过车身控制器,发出警报声音,以警示外来人员。此外,智驾控制器还可以根据车辆当前的状态参数,生成目标提示信息,发送至驾驶员的终端设备,以提醒驾驶员进行异常处理。
上述技术方案中,在确定车辆的停车状态时,本申请提供了如下的方式:若目标环境视频中存在目标用户,首先获取目标用户的面部图像,将该面部图像与车辆存储的至少一张面部图像进行匹配,判断目标用户是否是车辆的驾乘人员。若是,则车辆无异常。若否,为保证车辆的安全,本申请可以进一步结合车辆的状态参数,判断车辆是否有异常。具体的,当车窗状态为开启状态和/或撞击力大于预设撞击力时,表示车辆被破坏,则确定车辆有异常。相反,当车窗状态为关闭状态且撞击力小于或等于预设撞击力时,说明车辆暂无异常。上述首先通过面部图像比对,能够快速确定视频中的目标用户的身份。在目标用户为可疑人员时,再通过车辆的状态参数,实现了对车辆是否安全的准确判断,当驾乘人员不在车辆附近时,也能智能化地监控车辆。
在通过上述过程得到车辆的停车状态之后,智驾控制器可以进一步结合存储空间和停车状态,将目标环境视频发送至车机控制器。
一种可能的实现方式中,根据存储空间,或者,根据存储空间和停车状态,将目标环境视频发送至车机控制器,包括:
在存储空间大于预设存储空间的情况下,将目标环境视频发送至车机控制器;
在存储空间小于或等于预设存储空间,且停车状态为有异常的情况下,获取当前时刻之前的至少一个历史停车状态;在至少一个历史停车状态均为无异常的情况下,删除至少一个历史停车状态对应的至少一个历史环境视频,并将目标环境视频发送至车机控制器;在至少一个历史停车状态存在有异常的目标历史停车状态的情况下,删除至少一个历史环境视频中除目标历史环境视频之外的其他历史环境视频,并将目标环境视频发送至车机控制器,目标历史环境视频为目标历史停车状态对应的历史环境视频。
可选的,预设存储空间可以为在保证车机控制器中的储存卡正常使用的前提下,储存卡的临界存储空间。
示例性的,当存储空间大于该预设存储空间时,说明车机控制器的存储空间充足,完全可以存储目标环境视频,无论车辆的停车状态如何,智驾控制器都可以将目标环境视频发送至车机控制器,以使车机控制器存储目标环境视频。
又一示例性的,当存储空间小于或等于预设存储空间,且停车状态为有异常的情况下,为了便于后续追责,车机控制器需要先删除一部分已存储的历史环境视频,为目标环境视频腾出存储空间,再存储目标环境视频。
具体的,由于环视摄像头采集环境视频是按照预设时长周期进行采集的,且采集的时长也是一定的。举例来说,本申请实施例中,智驾控制器可以控制环视摄像头每隔20ms采集一次,且每次采集1分钟的环境视频。由于每一次采集的时长相同,因此每一次采集的视频所占用的存储空间也是相同的。
为了进行实时判断和监测车辆安全,每一次采集完成之后,智驾控制器得到目标环境视频之后,都可以结合目标环境视频和车辆的状态参数,确定车辆是否安全,由此在每一次采集完成之后,智驾控制器都可以得到车辆的停车状态。
基于此,在当前存储空间小于或等于预设存储空间,且停车状态为有异常时,智驾控制器可以确定当前时刻之前的至少一个历史停车状态。当至少一个历史停车状态均为无异常时,智驾控制器可以根据至少一个历史停车状态,生成第一删除指令发送至车机控制器。车机控制器接收到第一删除指令之后,基于至少一个历史停车状态确定出对应的至少一个历史环境视频并删除。智驾控制器接收到车机控制器发送的已删除的反馈信息之后,将目标环境视频发送至车机控制器进行存储。相反,当至少一个历史停车状态存在有异常的目标历史停车状态时,智驾控制器可以根据至少一个历史停车状态,生成第二删除指令发送至车机控制器。车机控制器接收到第二删除指令之后,基于至少一个历史停车状态,确定出对应的至少一个历史环境视频,并保留目标历史停车状态对应目标历史环境视频,删除至少一个历史环境视频中的其他历史环境视频。智驾控制器接收到车机控制器发送的已删除的反馈信息之后,将目标环境视频发送至车机控制器进行存储。
上述技术方案中,在根据存储空间,或者,根据存储空间和停车状态,将目标环境视频发送至车机控制器时,具体分为以下几种场景:
在存储空间大于预设存储空间时,本申请可以直接将目标环境视频发送至车机控制器。
在存储空间小于或等于存储空间,且停车状态有异常的情况下,本申请需要先删除一部分历史环境视频,为目标环境视频提供存储空间。具体的,本申请可以获取当前时刻之前的至少一个历史停车状态,若至少一个历史停车状态均为无异常时,则控制车机控制器删除至少一个历史停车状态对应的至少一个历史环境视频,再将目标环境视频发送至车机控制器。当至少一个历史停车状态存在有异常的目标历史停车状态时,则控制车机控制器保留该目标历史停车状态对应的目标历史环境视频,将其他历史环境视频删除,再将目标环境视频发送至车机控制器。上述过程能够保证在存储空间不足且车辆异常时,删除一些不必要的历史环境视频,为目标环境视频腾出存储空间,以保留车辆异常的证据,便于驾驶员进行后续定责。
综上,在车辆泊车完成之后,为保证车辆的安全,本申请提出了一种监测泊车环境的方法,当车辆在哨兵模式下,首先通过车辆所处泊车环境的至少一个环境信息,确定泊车环境的环境类型,环境类型表示泊车环境中是否存在预设类型的障碍物。在环境类型表示泊车环境中不存在障碍物时,说明车辆四周空旷,本申请为了全方位监控泊车环境,可以通过哨兵模式对应的多个采集设备对泊车环境进行无死角监控。在环境类型表示泊车环境中存在障碍物的情况下,由于存在障碍物的一侧被完全遮挡,不会有异常情况,本申请可以通过多个采集设备中除该侧采集设备之外的其他采集设备监测泊车环境。从而上述根据环境类型,从哨兵模式对应的多个采集设备中选择不同数量的采集设备监测泊车环境,在保证对泊车环境没有漏采集的情况下,还能够起到节约采集设备资源的效果,节约了整车的电量消耗。
无论是通过第一目标设备集合还是第二目标设备集合,对泊车环境进行监测,本申请还可以确定监测过程得到的目标环境视频,并将目标环境视频发送至车机控制器进行存储或者删除。当车机控制器存储了目标环境视频的情况下,若车辆在停车过程中发生异常,目标环境视频还可以用于进行车辆异常定责,为定责提供确凿的证据。
在确定目标环境视频过程中,基于目标设备集合的不同,在目标设备集合为第一目标设备集合的情况下,为了便于得到泊车环境对应的全局环境视频,本申请可以对多个采集设备采集的多个第一环境视频进行合成,得到泊车环境对应的目标环境视频,以便于用户能够更加直观清楚地观看泊车环境视频。当目标采集设备为第二目标设备集合时,由于第二目标设备集合包括的是多个采集设备中的部分采集设备,无法得到不同方向合成的全局环境视频,这种情况下,可以直接将部分采集设备采集得到的环境视频作为目标环境视频。
在对多个第一环境视频合成时,车辆外部的采集设备通常多为鱼眼摄像头,在通过鱼眼摄像头拍摄环境过程中,鱼眼镜头拍摄的图像广角更大,导致图像不是球面而不是平面。因此在合成过程中,首先要消除视频中的图像采集过程中产生的畸变。由于采集设备安装位置的差异,可能会破坏视频画面的一致性,因此在矫正之后,再对多张单视图像进行透视变换,以将多张单视图像调整为一致的视角,最后再进行图像拼接,并去除重叠的部分,即可得到目标环境视频。
本申请在将目标环境视频发送至车机控制器的过程中,可以先结合目标环境视频,或者根据目标环境视频和车辆的状态参数,确定车辆的停车状态,以保证在车辆停车过程中实时监测车辆的异常状态,保证了车辆的安全。受限于车机控制器的存储空间,可以进一步结合车机存储器的存储空间,或者,根据存储空间和停车状态,将目标环境视频发送至车机控制器,以避免当存储空间不足时目标环境视频无法存储的问题。
在确定车辆的停车状态时,本申请提供了如下的方式:若目标环境视频中存在目标用户,首先获取目标用户的面部图像,将该面部图像与车辆存储的至少一张面部图像进行匹配,判断目标用户是否是车辆的驾乘人员。若是,则车辆无异常。若否,为保证车辆的安全,本申请可以进一步结合车辆的状态参数,判断车辆是否有异常。具体的,当车窗状态为开启状态和/或撞击力大于预设撞击力时,表示车辆被破坏,则确定车辆有异常。相反,当车窗状态为关闭状态且撞击力小于或等于预设撞击力时,说明车辆暂无异常。上述首先通过面部图像比对,能够快速确定视频中的目标用户的身份。在目标用户为可疑人员时,再通过车辆的状态参数,实现了对车辆是否安全的准确判断,当驾乘人员不在车辆附近时,也能智能化地监控车辆。
在根据存储空间,或者,根据存储空间和停车状态,将目标环境视频发送至车机控制器时,具体分为以下几种场景:
在存储空间大于预设存储空间时,本申请可以直接将目标环境视频发送至车机控制器。
在存储空间小于或等于存储空间,且停车状态有异常的情况下,本申请需要先删除一部分历史环境视频,为目标环境视频提供存储空间。具体的,本申请可以获取当前时刻之前的至少一个历史停车状态,若至少一个历史停车状态均为无异常时,则控制车机控制器删除至少一个历史停车状态对应的至少一个历史环境视频,再将目标环境视频发送至车机控制器。当至少一个历史停车状态存在有异常的目标历史停车状态时,则控制车机控制器保留该目标历史停车状态对应的目标历史环境视频,将其他历史环境视频删除,再将目标环境视频发送至车机控制器。上述过程能够保证在存储空间不足且车辆异常时,删除一些不必要的历史环境视频,为目标环境视频腾出存储空间,以保留车辆异常的证据,便于驾驶员进行后续定责。
图5是本申请实施例提供的一种监测泊车环境的装置的结构示意图。
示例性的,如图5所示,该装置500包括:
确定模块501,用于根据车辆所处的泊车环境对应的至少一个环境信息,确定该泊车环境的环境类型,该环境类型用于表示该泊车环境中是否存在预设类型的障碍物;
第一监测模块502,用于在该环境类型表示该泊车环境中不存在该障碍物的情况下,通过第一目标设备集合监测该泊车环境,该第一目标设备集合包括哨兵模式对应的多个采集设备;
第二监测模块503,用于在该环境类型表示该泊车环境中存在该障碍物的情况下,通过第二目标设备集合监测该泊车环境,该第二目标设备集合包括该多个采集设备中,除采集该障碍物的采集设备之外的其他采集设备。
可选的,该装置还包括:处理模块,用于在通过该第一目标设备集合或者通过该第二目标设备集合监测该泊车环境的过程中,确定目标环境视频;将该目标环境视频发送至该车辆的车机控制器,以使该车机控制器存储或者删除该目标环境视频。
一种可能的实现方式中,该处理模块具体用于:对该第一目标设备集合采集的多个第一环境视频进行合成处理,得到该目标环境视频;或者,将该目标环境视频确定为该第二目标设备集合采集的环境视频。
一种可能的实现方式中,该处理模块还用于:基于该多个第一环境视频,确定任一采集时刻的该多个采集设备采集的多张单视图像,对该多张单视图像进行鱼眼矫正,以消除该多个采集设备采集该多张单视图像过程中产生的畸变;对该多张单视图像进行透视变换,以使该多张单视图像的采集视角统一;对该多张单视图像进行拼接剪裁,得到该目标环境视频。
一种可能的实现方式中,该处理模块还用于:根据该目标环境视频,或者,根据该目标环境视频和该车辆的状态参数,确定该车辆在停车过程中的停车状态,该状态参数用于表示该车辆的多个部件的状态,该停车状态用于表示该车辆在停车过程中是否存在异常;获取该车机控制器的存储空间;根据该存储空间,或者,根据该存储空间和该停车状态,将该目标环境视频发送至该车机控制器。
一种可能的实现方式中,该状态参数包括车窗状态和该车辆所承受的撞击力,该处理模块还用于:在该目标环境视频中存在目标用户的情况下,获取该目标用户的面部图像;将该面部图像与该车辆存储的至少一张面部图像进行匹配,判断该目标用户是否为该车辆对应的驾乘人员;在该目标用户为该驾乘人员的情况下,确定该停车状态为无异常;在该目标用户不为该驾乘人员的情况下,若该车窗状态为开启状态和/或该撞击力大于预设撞击力,确定该停车状态为有异常;在该目标用户不为该驾乘人员的情况下,若该车窗状态为关闭状态且该撞击力小于或等于该预设撞击力,确定该停车状态为无异常。
一种可能的实现方式中,该处理模块还用于:在该存储空间大于预设存储空间的情况下,将该目标环境视频发送至该车机控制器;在该存储空间小于或等于该预设存储空间,且该停车状态为有异常的情况下,获取当前时刻之前的至少一个历史停车状态;在该至少一个历史停车状态均为无异常的情况下,删除该至少一个历史停车状态对应的至少一个历史环境视频,并将该目标环境视频发送至该车机控制器;在该至少一个历史停车状态存在有异常的目标历史停车状态的情况下,删除该至少一个历史环境视频中除目标历史环境视频之外的其他历史环境视频,并将该目标环境视频发送至该车机控制器,该目标历史环境视频为该目标历史停车状态对应的历史环境视频。
图6是本申请实施例提供的一种车辆的结构示意图。
示例性的,如图6所示,该车辆101包括:存储器601和处理器602,其中,存储器601中存储有可执行程序代码6011,处理器602用于调用并执行该可执行程序代码6011执行一种监测泊车环境的方法。
此外,本申请实施例还保护一种装置,该装置可以包括存储器和处理器,其中,存储器中存储有可执行程序代码,处理器用于调用并执行该可执行程序代码执行本申请实施例提供的一种监测泊车环境的方法。
本实施例可以根据上述方法示例对该装置进行功能模块的划分,例如,可以对应各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中,上述集成的模块可以采用硬件的形式实现。需要说明的是,本实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下,该装置还可以包括确定模块、第一监测模块和第二监测模块等。需要说明的是,上述方法实施例涉及的各个步骤的所有相关内容的可以援引到对应功能模块的功能描述,在此不再赘述。
应理解,本实施例提供的装置用于执行上述一种监测泊车环境的方法,因此可以达到与上述实现方法相同的效果。
在采用集成的单元的情况下,该装置可以包括处理模块、存储模块。其中,当该装置应用于车辆上时,处理模块可以用于对车辆的动作进行控制管理。存储模块可以用于支持车辆执行相互程序代码等。
其中,处理模块可以是处理器或控制器,其可以实现或执行结合本申请公开内容所藐视的各种示例性的逻辑方框,模块和电路。处理器也可以是实现计算功能的组合,例如包括一个或多个微处理器组合,数字信号处理(digital signal processing,DSP)和微处理器的组合等等,存储模块可以是存储器。
另外,本申请的实施例提供的装置具体可以是芯片、组件或模块,该芯片可包括相连的处理器和存储器;其中,存储器用于存储指令,当处理器调用并执行指令时,可以使芯片执行上述实施例提供的一种监测泊车环境的方法。
本实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序代码,当该计算机程序代码在计算机上运行时,使得计算机执行上述相关方法步骤实现上述实施例提供的一种监测泊车环境的方法。
本实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述相关步骤,以实现上述实施例提供的一种监测泊车环境的方法。
其中,本实施例提供的装置、计算机可读存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
通过以上实施方式的描述,所属领域的技术人员可以了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种监测泊车环境的方法,其特征在于,所述方法包括:
根据车辆所处的泊车环境对应的至少一个环境信息,确定所述泊车环境的环境类型,所述环境类型用于表示所述泊车环境中是否存在预设类型的障碍物;
在所述环境类型表示所述泊车环境中不存在所述障碍物的情况下,通过第一目标设备集合监测所述泊车环境,所述第一目标设备集合包括哨兵模式对应的多个采集设备;
在所述环境类型表示所述泊车环境中存在所述障碍物的情况下,通过第二目标设备集合监测所述泊车环境,所述第二目标设备集合包括所述多个采集设备中,除采集所述障碍物的采集设备之外的其他采集设备。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在通过所述第一目标设备集合或者通过所述第二目标设备集合监测所述泊车环境的过程中,确定目标环境视频;
将所述目标环境视频发送至所述车辆的车机控制器,以使所述车机控制器存储或者删除所述目标环境视频。
3.根据权利要求2所述的方法,其特征在于,所述在通过所述第一目标设备集合或者通过所述第二目标设备集合监测所述泊车环境的过程中,确定目标环境视频,包括:
对所述第一目标设备集合采集的多个第一环境视频进行合成处理,得到所述目标环境视频;或者,
将所述目标环境视频确定为所述第二目标设备集合采集的环境视频。
4.根据权利要求3所述的方法,其特征在于,所述对所述第一目标设备集合采集的多个第一环境视频进行合成处理,得到所述目标环境视频,包括:
基于所述多个第一环境视频,确定任一采集时刻的所述多个采集设备采集的多张单视图像,对所述多张单视图像进行鱼眼矫正,以消除所述多个采集设备采集所述多张单视图像过程中产生的畸变;
对所述多张单视图像进行透视变换,以使所述多张单视图像的采集视角统一;
对所述多张单视图像进行拼接剪裁,得到所述目标环境视频。
5.根据权利要求2所述的方法,其特征在于,所述将所述目标环境视频发送至所述车辆的车机控制器,包括:
根据所述目标环境视频,或者,根据所述目标环境视频和所述车辆的状态参数,确定所述车辆在停车过程中的停车状态,所述状态参数用于表示所述车辆的多个部件的状态,所述停车状态用于表示所述车辆在停车过程中是否存在异常;
获取所述车机控制器的存储空间;
根据所述存储空间,或者,根据所述存储空间和所述停车状态,将所述目标环境视频发送至所述车机控制器。
6.根据权利要求5所述的方法,其特征在于,所述状态参数包括车窗状态和所述车辆所承受的撞击力,所述根据所述目标环境视频,或者,根据所述目标环境视频和所述车辆的状态参数,确定所述车辆在停车过程中的停车状态,包括:
在所述目标环境视频中存在目标用户的情况下,获取所述目标用户的面部图像;
将所述面部图像与所述车辆存储的至少一张面部图像进行匹配,判断所述目标用户是否为所述车辆对应的驾乘人员;
在所述目标用户为所述驾乘人员的情况下,确定所述停车状态为无异常;
在所述目标用户不为所述驾乘人员的情况下,若所述车窗状态为开启状态和/或所述撞击力大于预设撞击力,确定所述停车状态为有异常;
在所述目标用户不为所述驾乘人员的情况下,若所述车窗状态为关闭状态且所述撞击力小于或等于所述预设撞击力,确定所述停车状态为无异常。
7.根据权利要求5所述的方法,其特征在于,所述根据所述存储空间,或者,根据所述存储空间和所述停车状态,将所述目标环境视频发送至所述车机控制器,包括:
在所述存储空间大于预设存储空间的情况下,将所述目标环境视频发送至所述车机控制器;
在所述存储空间小于或等于所述预设存储空间,且所述停车状态为有异常的情况下,获取当前时刻之前的至少一个历史停车状态;在所述至少一个历史停车状态均为无异常的情况下,删除所述至少一个历史停车状态对应的至少一个历史环境视频,并将所述目标环境视频发送至所述车机控制器;在所述至少一个历史停车状态存在有异常的目标历史停车状态的情况下,删除所述至少一个历史环境视频中除目标历史环境视频之外的其他历史环境视频,并将所述目标环境视频发送至所述车机控制器,所述目标历史环境视频为所述目标历史停车状态对应的历史环境视频。
8.一种监测泊车环境的装置,其特征在于,所述装置包括:
确定模块,用于根据车辆所处的泊车环境对应的至少一个环境信息,确定所述泊车环境的环境类型,所述环境类型用于表示所述泊车环境中是否存在预设类型的障碍物;
第一监测模块,用于在所述环境类型表示所述泊车环境中不存在所述障碍物的情况下,通过第一目标设备集合监测所述泊车环境,所述第一目标设备集合包括哨兵模式对应的多个采集设备;
第二监测模块,用于在所述环境类型表示所述泊车环境中存在所述障碍物的情况下,通过第二目标设备集合监测所述泊车环境,所述第二目标设备集合包括所述多个采集设备中,除采集所述障碍物的采集设备之外的其他采集设备。
9.一种车辆,其特征在于,所述车辆包括:
存储器,用于存储可执行程序代码;
处理器,用于从所述存储器中调用并运行所述可执行程序代码,使得所述车辆执行如权利要求1至7中任意一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,当所述计算机程序被执行时,实现如权利要求1至7中任意一项所述的方法。
CN202410090516.3A 2024-01-22 2024-01-22 一种监测泊车环境的方法、装置、车辆和存储介质 Pending CN117841908A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410090516.3A CN117841908A (zh) 2024-01-22 2024-01-22 一种监测泊车环境的方法、装置、车辆和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410090516.3A CN117841908A (zh) 2024-01-22 2024-01-22 一种监测泊车环境的方法、装置、车辆和存储介质

Publications (1)

Publication Number Publication Date
CN117841908A true CN117841908A (zh) 2024-04-09

Family

ID=90534551

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410090516.3A Pending CN117841908A (zh) 2024-01-22 2024-01-22 一种监测泊车环境的方法、装置、车辆和存储介质

Country Status (1)

Country Link
CN (1) CN117841908A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118865736A (zh) * 2024-09-25 2024-10-29 杭州目博科技有限公司 一种具有哨兵模式的道路泊车检测系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118865736A (zh) * 2024-09-25 2024-10-29 杭州目博科技有限公司 一种具有哨兵模式的道路泊车检测系统及方法

Similar Documents

Publication Publication Date Title
EP3754618B1 (en) Recording control device, recording control system, recording control method, and recording control program
JP7295684B2 (ja) 事故責任特定方法、事故責任特定装置及びコンピュータプログラム
US7961953B2 (en) Image monitoring system
US9852636B2 (en) Traffic event data source identification, data collection and data storage
CN110738150B (zh) 相机联动抓拍方法、装置以及计算机存储介质
WO2012058062A1 (en) Automotive imaging system for recording exception events
CN105046951A (zh) 基于行车记录仪的车辆监测方法及监测模块
KR101729486B1 (ko) Avm 시스템에서의 사각 지대 감시 방법 및 그 avm 시스템
KR101660254B1 (ko) 주차차단기의 번호인식시스템
KR101987992B1 (ko) 충격 감지 기능을 이용한 차량용 영상 녹화 장치 및 그 방법
CN117565819A (zh) 车辆控制方法、装置和车辆
CN114347950A (zh) 车辆异常处理方法、车载设备及电子设备
CN117841908A (zh) 一种监测泊车环境的方法、装置、车辆和存储介质
WO2024260271A1 (zh) 车载监控视频拼接方法、装置、电子设备及存储介质
CN106981104B (zh) 一种收费监控方法、装置、服务器和系统
CN117774890A (zh) 车辆的控制方法、装置和车辆
KR101738025B1 (ko) 블랙박스를 이용한 사고판단시스템 및 그 구동방법
CN112241660B (zh) 一种基于视觉的防盗监测方法和装置
CN112601049B (zh) 视频的监控方法、装置、计算机设备及存储介质
CN112238819A (zh) 用于记录车辆的行驶影像的装置及方法
SE536729C2 (sv) Förfarande och system för att övervaka ett motorfordon ur intrångssynpunkt
CN111241918B (zh) 一种基于人脸识别的车用防跟踪方法及系统
CN110706115A (zh) 交通事故快速理赔方法、系统以及一种服务器
KR20190136515A (ko) 차량 인식 장치
JP5049551B2 (ja) Etc通信監視装置及びetc通信監視方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination