[go: up one dir, main page]

CN109564724A - 信息处理方法、信息处理装置和信息处理程序 - Google Patents

信息处理方法、信息处理装置和信息处理程序 Download PDF

Info

Publication number
CN109564724A
CN109564724A CN201880001560.5A CN201880001560A CN109564724A CN 109564724 A CN109564724 A CN 109564724A CN 201880001560 A CN201880001560 A CN 201880001560A CN 109564724 A CN109564724 A CN 109564724A
Authority
CN
China
Prior art keywords
information
driver
moving body
event detection
location information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880001560.5A
Other languages
English (en)
Other versions
CN109564724B (zh
Inventor
芋本征矢
久原俊介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority claimed from PCT/JP2018/010955 external-priority patent/WO2019021526A1/ja
Publication of CN109564724A publication Critical patent/CN109564724A/zh
Application granted granted Critical
Publication of CN109564724B publication Critical patent/CN109564724B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/029Location-based management or tracking services
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3647Guidance involving output of stored or live camera images or video streams
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3691Retrieval, searching and output of information related to real-time traffic, weather, or environmental conditions
    • G01C21/3694Output thereof on a road map
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)

Abstract

提供能够高效率地收集反映异常状况的拍摄图像的信息处理方法、信息处理装置和信息处理程序。管理装置获取表示检测到预定事件发生的时间点的移动体的位置的位置信息,检测到该预定事件发生作为通过设置于移动体的拍摄装置的拍摄而得到的拍摄图像的存储的触发。基于表示移动体的驾驶员的行为历史的行为历史信息以及关于驾驶员的相关人员的相关人员信息的至少一者,判定位置信息表示的位置是否是推定为驾驶员多次到访的位置,根据位置信息表示的位置是否是推定为驾驶员多次到访的位置的判定,控制拍摄图像的存储。

Description

信息处理方法、信息处理装置和信息处理程序
技术领域
本公开涉及对于通过设置于移动体的拍摄装置拍摄的拍摄图像进行处理的信息处理方法、信息处理装置和信息处理程序。
背景技术
以往,已知在车辆的加速度超过预定的阈值时,判定为发生了被称为“有可能引起大事故的失误”的没有导致事故的危险状况,并将在发生危险状况的时间点的前后所拍摄的图像信息存储的行车记录仪(例如参照专利文献1)。
另外,以往,已知将基于过去的司机的车辆驾驶时所收集的信息而生成的、存储有司机的生物信息从平常的状态开始变化的场所的危险地图信息存储于危险地图存储部,在所获取的车辆的位置为危险地图信息中存储的场所时,如果所获取的司机的实时的生物信息没有发生预定的变化,则判定为司机的状态为危险状态,对司机进行注意提醒的警告的驾驶支援装置(例如参照专利文献2)。
在先技术文献
专利文献1:日本特开2013-117777号公报
专利文献2:日本特开2011-242190号公报
发明内容
但是,专利文献1公开的发明,在行车记录仪所存储的图像信息之中,有时也会包含实际上没有发生危险状况的图像信息。
另外,专利文献2中,在车辆的当前位置为过去生物信息发生过变化的场所的情况下,判定司机的状态是否处于危险状态,但在车辆的当前位置为过去生物信息没有发生过变化的场所的情况下,不判定司机的状态是否处于危险状态。
本公开是为了解决上述问题而完成的,目的在于提供能够高效率地收集反映异常状况的拍摄图像的信息处理方法、信息处理装置和信息处理程序。
本公开的一技术方案涉及的信息处理方法,利用处理器,获取表示检测到预定事件发生的时间点的移动体的位置的位置信息,检测到所述预定事件发生作为通过设置于所述移动体的拍摄装置的拍摄而得到的拍摄图像的存储的触发,基于表示所述移动体的驾驶员的行为历史的行为历史信息以及关于所述驾驶员的相关人员的相关人员信息的至少一者,判定所述位置信息表示的位置是否是推定为所述驾驶员多次到访的位置,根据所述位置信息表示的位置是否是推定为所述驾驶员多次到访的位置的判定,控制所述拍摄图像的存储。
根据本公开,能够高效率地收集反映异常状况的拍摄图像。
附图说明
图1是概念性地表示本实施方式1中的系统的整体结构的图。
图2是表示本实施方式1中的管理装置的结构的框图。
图3是本实施方式1中用于对事件记录信息进行说明的示意图。
图4是表示本实施方式1中的拍摄装置的结构的框图。
图5是用于说明本实施方式1中的管理装置的处理的第1流程图。
图6是用于说明本实施方式1中的管理装置的处理的第2流程图。
图7是本实施方式1中用于对判定事件检测位置是否存在于车辆的行驶路线上的处理进行说明的示意图。
图8是用于说明本实施方式1中的拍摄装置的处理的流程图。
图9是表示本实施方式2中的管理装置的结构的框图。
图10是表示本实施方式2中的拍摄装置的结构的框图。
图11是用于说明本实施方式2中的拍摄装置的处理的流程图。
图12是本实施方式2中用于对将事件记录信息分类为第1组或第4组的处理进行说明的示意图。
图13是表示本实施方式3中的管理装置的结构的框图。
图14是表示本实施方式3中的拍摄装置的结构的框图。
图15是用于说明本实施方式3中的管理装置的处理的流程图。
图16是表示本实施方式4中的管理装置的结构的框图。
图17是表示本实施方式4中的拍摄装置的结构的框图。
图18是用于说明本实施方式4中的管理装置的处理的流程图。
图19是用于说明本实施方式4中的拍摄装置的处理的流程图。
具体实施方式
(成为本公开的基础的见解)
以往的行车记录仪,以车辆的加速度仅仅一次超过预定的阈值为条件而判定为发生了危险状况,因此即使在由于噪音或行驶中的干扰而暂时检测到大的加速度的情况下,也有可能判定为发生了危险状况。
因此,以往的行车记录仪所存储的图像信息之中,有时也会包含实际上没有发生危险状况的图像信息。
另外,以往的驾驶支援装置,在车辆的当前位置为过去生物信息发生过变化的场所的情况下,判定司机的状态是否处于危险状态,但在车辆的当前位置为过去生物信息没有发生过变化的场所的情况下,不判定司机的状态是否处于危险状态。
因此,像过去生物信息发生过变化的场所那样,在司机没有习惯驾驶、容易发生突然制动等预定事件的场所,判定司机的状态是否处于危险状态,但像过去生物信息没有发生过变化的场所那样,在司机习惯驾驶、难以发生突然制动等预定事件的场所,不判定司机的状态是否处于危险状态。
为解决以上课题,本公开的一技术方案涉及的信息处理方法,利用处理器,获取表示检测到预定事件发生的时间点的移动体的位置的位置信息,检测到所述预定事件发生作为通过设置于所述移动体的拍摄装置的拍摄而得到的拍摄图像的存储的触发,基于表示所述移动体的驾驶员的行为历史的行为历史信息以及关于所述驾驶员的相关人员的相关人员信息的至少一者,判定所述位置信息表示的位置是否是推定为所述驾驶员多次到访的位置,根据所述位置信息表示的位置是否是推定为所述驾驶员多次到访的位置的判定,控制所述拍摄图像的存储。
根据该技术构成,获取表示检测到预定事件发生的时间点的移动体的位置的位置信息,检测到该预定事件发生作为通过设置于移动体的拍摄装置的拍摄而得到的拍摄图像的存储的触发。基于表示移动体的驾驶员的行为历史的行为历史信息以及关于驾驶员的相关人员的相关人员信息的至少一者,判定位置信息表示的位置是否是推定为驾驶员多次到访的位置。根据位置信息表示的位置是否是推定为驾驶员多次到访的位置的判定,控制拍摄图像的存储。
因此,在检测到预定事件发生的时间点的移动体的位置是推定为驾驶员多次到访的位置的情况下,能够推定为在驾驶员习惯驾驶的场所发生了预定事件。像这样,在驾驶员习惯驾驶的场所发生了预定事件的情况下,能够推定为预定事件是由于驾驶员的异常状况而发生的,能够高效率地、即无浪费无遗漏地收集反映异常状况的拍摄图像。
再者,异常状况表示虽然没有导致事故,但根据情况有可能与事故直接相关的危险状况,表示与所谓的“有可能引起大事故的失误”相当的状况。
另外,上述信息处理方法中,可以设为:所述行为历史信息包含所述移动体的移动历史,所述判定包括基于所述移动体的移动历史,判定所述位置信息表示的位置是否是所述移动体过去多次经过的位置。
根据该技术构成,行为历史信息包含移动体的移动历史。基于移动体的移动历史,判定位置信息表示的位置是否是移动体过去多次经过的位置。
因此,在基于移动体的移动历史,判定位置信息表示的位置为移动体过去多次经过的位置的情况下,能够推定为在驾驶员习惯驾驶的场所发生了预定事件。
另外,上述信息处理方法中,可以设为:所述行为历史信息包含对所述移动体预先注册的路线或目的地,所述判定包括判定所述位置信息表示的位置是否是所述路线上存在的位置、或所述位置信息表示的位置是否是距离所述目的地预定范围内存在的位置。
根据该技术构成,行为历史信息包含对移动体预先注册的路线或目的地。判定位置信息表示的位置是否是路线上存在的位置、或位置信息表示的位置是否是距离目的地预定范围内存在的位置。
因此,在判定为位置信息表示的位置是对移动体预先注册的路线上存在的位置的情况下,或判定为位置信息表示的位置是距离对移动体预先注册的目的地预定范围内存在的位置的情况下,能够推定为在驾驶员习惯驾驶的场所发生了预定事件。
另外,上述信息处理方法中,可以设为:所述行为历史信息包含所述驾驶员的移动历史,所述判定包括基于所述驾驶员的移动历史,判定所述位置信息表示的位置是否是所述驾驶员过去多次经过的位置。
根据该技术构成,行为历史信息包含驾驶员的移动历史。基于驾驶员的移动历史,判定位置信息表示的位置是否是驾驶员过去多次经过的位置。
因此,在基于驾驶员的移动历史,判定为位置信息表示的位置是驾驶员过去多次经过的位置的情况下,能够推定为在驾驶员习惯驾驶的场所发生了预定事件。
另外,上述信息处理方法中,可以设为:所述行为历史信息包含作为所述驾驶员实施了特定行为的场所而预先注册的实施场所,所述判定包括判定所述位置信息表示的位置是否是距离所述实施场所预定范围内存在的位置。
根据该技术构成,行为历史信息包含作为驾驶员实施了特定行为的场所而预先注册的实施场所。判定位置信息表示的位置是否是距离实施场所预定范围内存在的位置。
因此,在判定为位置信息表示的位置是距离作为驾驶员实施了特定行为的场所而预先注册的实施场所预定范围内存在的位置的情况下,能够推定为在驾驶员习惯驾驶的场所发生了预定事件。
另外,上述信息处理方法中,可以设为:所述相关人员信息包含作为所述相关人员居住的场所而预先注册的居住场所,所述判定包括判定所述位置信息表示的位置是否是距离所述居住场所预定范围内存在的位置。
根据该技术构成,相关人员信息包含作为相关人员居住的场所而预先注册的居住场所。判定位置信息表示的位置是否是距离居住场所预定范围内存在的位置。
因此,在判定为位置信息表示的位置是距离作为相关人员居住的场所而预先注册的居住场所预定范围内存在的位置的情况下,能够推定为在驾驶员习惯驾驶的场所发生了预定事件。
另外,上述信息处理方法中,可以设为:所述拍摄图像的存储控制包括将所述拍摄图像分类存储。
根据该技术构成,拍摄图像被分类存储,因此能够高效率地收集反映异常状况的拍摄图像。
另外,上述信息处理方法中,可以设为:将所述拍摄图像分类存储,包括:在判定为所述位置信息表示的位置是推定为所述驾驶员多次到访的位置的情况下,将表示是推定为所述驾驶员多次到访的位置的标签赋予所述拍摄图像并存储,或者在没有判定为所述位置信息表示的位置是推定为所述驾驶员多次到访的位置的情况下,将表示不是推定为所述驾驶员多次到访的位置的标签赋予所述拍摄图像并存储。
根据该技术构成,将表示反映异常状况的拍摄图像或不反映异常状况的拍摄图像的标签赋予拍摄图像,因此能够通过参照标签来区分反映异常状况的拍摄图像。
另外,上述信息处理方法中,可以设为:所述判定包括进行以下第1~第5判定处理中的至少一者,在第1判定处理中,基于所述移动体的移动历史,判定所述位置信息表示的位置是否是所述移动体过去多次经过的位置,第2判定处理中,判定所述位置信息表示的位置是否是对所述移动体预先注册的路线上存在的位置、或所述位置信息表示的位置是否是距离对所述移动体预先注册的目的地预定范围内存在的位置,第3判定处理中,基于所述驾驶员的移动历史,判定所述位置信息表示的位置是否是所述驾驶员过去多次经过的位置,第4判定处理中,判定所述位置信息表示的位置是否是距离作为所述相关人员居住的场所而预先注册的居住场所预定范围内存在的位置,第5判定处理中,判定所述位置信息表示的位置是否是距离作为所述驾驶员实施了特定行为的场所而预先注册的实施场所预定范围内存在的位置,所述拍摄图像的存储控制包括根据所述第1判定处理、所述第2判定处理、所述第3判定处理、所述第4判定处理和所述第5判定处理之中的至少一者的判定结果,按每个进行了的判定处理,将所述拍摄图像分类存储。
根据该技术构成,进行以下第1~第5判定处理中的至少一者,在第1判定处理中,基于移动体的移动历史,判定位置信息表示的位置是否是移动体过去多次经过的位置,第2判定处理中,判定位置信息表示的位置是否是对移动体预先注册的路线上存在的位置、或位置信息表示的位置是否是距离对移动体预先注册的目的地预定范围内存在的位置,第3判定处理中,基于驾驶员的移动历史,判定位置信息表示的位置是否是驾驶员过去多次经过的位置,第4判定处理中,判定位置信息表示的位置是否是距离作为相关人员居住的场所而预先注册的居住场所预定范围内存在的位置,第5判定处理中,判定位置信息表示的位置是否是距离作为驾驶员实施了特定行为的场所而预先注册的实施场所预定范围内存在的位置。根据第1判定处理、第2判定处理、第3判定处理、第4判定处理和第5判定处理之中的至少一者的判定结果,按每个进行了的判定处理,将拍摄图像分类存储。
因此,在判定位置信息表示的位置是否是推定为驾驶员多次到访的位置的精度对于每个判定处理不同的情况下,管理者能够通过确认是否在第1判定处理、第2判定处理、第3判定处理、第4判定处理和第5判定处理之中的任一判定处理中得到了肯定的结果,从而高效率地提取反映异常状况的拍摄图像。
另外,上述信息处理方法中,可以设为:所述拍摄图像的存储控制,包括:在判定为所述位置信息表示的位置是推定为所述驾驶员多次到访的位置的情况下,存储所述拍摄图像,在没有判定为所述位置信息表示的位置是推定为所述驾驶员多次到访的位置的情况下,不存储所述拍摄图像。
根据该技术构成,由于仅存储反映异常状况的拍摄图像,因此不需要检索反映异常状况的拍摄图像。另外,能够抑制拍摄图像的存储容量增大。
另外,上述信息处理方法中,可以设为:还获取表示检测到所述预定事件发生的时刻的时间信息,所述行为历史信息包含所述移动体的移动历史和所述移动体的移动时刻,还进行第6判定处理,所述第6判定处理中,在判定为所述位置信息表示的位置是所述移动体过去多次经过的位置的情况下,判定所述时间信息表示的时刻是否包含在由所述移动体过去经过所述位置时的所述移动时刻而确定的经过时间带中,根据所述判定和所述第6判定处理,控制所述拍摄图像的存储。
根据该技术构成,获取表示检测到预定事件发生的时刻的时间信息。行为历史信息包含移动体的移动历史和移动体的移动时刻。进行第6判定处理,该第6判定处理中,在判定为位置信息表示的位置是移动体过去多次经过的位置的情况下,判定时间信息表示的时刻是否包含在由移动体过去经过位置时的移动时刻而确定的经过时间带中。根据判定和第6判定处理,控制拍摄图像的存储。
因此,在判定为检测到预定事件发生的时刻包含在由移动体过去经过位置时的移动时刻而确定的经过时间带中的情况下,能够推定为预定事件是由于驾驶员的异常状况而发生的,能够更切实地收集反映异常状况的拍摄图像。
另外,上述信息处理方法中,可以设为:还获取表示检测到所述预定事件发生的时间点的所述移动体的外部环境的环境信息,所述行为历史信息包含所述移动体的移动历史和所述移动体移动时的所述外部环境,还进行第7判定处理,所述第7判定处理中,在判定为所述位置信息表示的位置是推定为所述驾驶员多次到访的位置的情况下,判定所述环境信息表示的所述外部环境是否与所述移动体过去经过所述位置时的所述外部环境一致,根据所述判定和所述第7判定处理,控制所述拍摄图像的存储。
根据该技术构成,获取表示检测到预定事件发生的时间点的移动体的外部环境的环境信息。行为历史信息包含移动体的移动历史和移动体移动时的外部环境。进行第7判定处理,该第7判定处理中,在判定为位置信息表示的位置是推定为驾驶员多次到访的位置的情况下,判定环境信息表示的外部环境是否与移动体过去经过位置时的外部环境一致。根据判定和第7判定处理,控制拍摄图像的存储。
因此,在判定为检测到预定事件发生的时间点的移动体的外部环境与移动体过去经过位置时的外部环境一致的情况下,能够推定为预定事件是由于驾驶员的异常状况而发生的,能够更切实地收集反映异常状况的拍摄图像。
另外,上述信息处理方法中,可以设为:所述环境信息包含表示天气的信息、表示所述移动体经过的道路是否拥堵的信息、以及表示所述移动体的外部的亮度的信息之中的至少一者。
根据该技术构成,作为外部环境,能够利用天气、移动体经过的道路的拥堵状况、以及移动体的外部的亮度之中的至少一者。
本公开的另一技术方案涉及的信息处理装置,具备获取部、判定部和存储控制部,所述获取部获取表示检测到预定事件发生的时间点的移动体的位置的位置信息,检测到所述预定事件发生作为通过设置于所述移动体的拍摄装置的拍摄而得到的拍摄图像的存储的触发,所述判定部基于表示所述移动体的驾驶员的行为历史的行为历史信息以及关于所述驾驶员的相关人员的相关人员信息的至少一者,判定所述位置信息表示的位置是否是推定为所述驾驶员多次到访的位置,所述存储控制部根据所述位置信息表示的位置是否是推定为所述驾驶员多次到访的位置的判定,控制所述拍摄图像的存储。
根据该技术构成,获取表示检测到预定事件发生的时间点的移动体的位置的位置信息,检测到该预定事件发生作为通过设置于移动体的拍摄装置的拍摄而得到的拍摄图像的存储的触发。基于表示移动体的驾驶员的行为历史的行为历史信息以及关于驾驶员的相关人员的相关人员信息的至少一者,判定位置信息表示的位置是否是推定为驾驶员多次到访的位置。根据位置信息表示的位置是否是推定为驾驶员多次到访的位置的判定,控制拍摄图像的存储。
因此,在检测到预定事件发生的时间点的移动体的位置是推定为驾驶员多次到访的位置的情况下,能够推定为在驾驶员习惯驾驶的场所发生了预定事件。像这样,在驾驶员习惯驾驶的场所发生了预定事件的情况下,能够推定为预定事件是由于驾驶员的异常状况而发生的,能够高效率地收集反映异常状况的拍摄图像。
本公开的另一技术方案涉及的信息处理程序,使计算机作为获取部、判定部和存储控制部发挥作用,所述获取部获取表示检测到预定事件发生的时间点的移动体的位置的位置信息,检测到所述预定事件发生作为通过设置于所述移动体的拍摄装置的拍摄而得到的拍摄图像的存储的触发,所述判定部基于表示所述移动体的驾驶员的行为历史的行为历史信息以及关于所述驾驶员的相关人员的相关人员信息的至少一者,判定所述位置信息表示的位置是否是推定为所述驾驶员多次到访的位置,所述存储控制部根据所述位置信息表示的位置是否是推定为所述驾驶员多次到访的位置的判定,控制所述拍摄图像的存储。
根据该技术构成,获取表示检测到预定事件发生的时间点的移动体的位置的位置信息,检测到该预定事件发生作为通过设置于移动体的拍摄装置的拍摄而得到的拍摄图像的存储的触发。基于表示移动体的驾驶员的行为历史的行为历史信息以及关于驾驶员的相关人员的相关人员信息的至少一者,判定位置信息表示的位置是否是推定为驾驶员多次到访的位置。根据位置信息表示的位置是否是推定为驾驶员多次到访的位置的判定,控制拍摄图像的存储。
因此,在检测到预定事件发生的时间点的移动体的位置是推定为驾驶员多次到访的位置的情况下,能够推定为在驾驶员习惯驾驶的场所发生了预定事件。像这样,在驾驶员习惯驾驶的场所发生了预定事件的情况下,能够推定为预定事件是由于驾驶员的异常状况而发生的,能够高效率地收集反映异常状况的拍摄图像。
下面,参照附图对本公开的实施方式进行说明。再者,以下的实施方式只是将本公开具体化的一例,并不限定本公开的技术范围。
(实施方式1)
本实施方式1中,对于获取表示作为通过搭载于车辆的拍摄装置拍摄的拍摄图像的存储的触发的检测到预定事件发生的时间点的移动体的位置的位置信息,基于表示移动体的驾驶员的行为历史的行为历史信息以及关于驾驶员的相关人员的相关人员信息的至少一者,判定位置信息表示的位置是否是推定为驾驶员多次到访的位置的方法进行说明。再者,本实施方式1中的移动体是车辆。
图1是概念性地表示本实施方式1中的系统的整体结构的图。
图1所示的系统具备管理装置1和搭载于车辆4的拍摄装置2。管理装置1经由通信网络5可通信地连接到拍摄装置2。通信网络5例如是因特网。
管理装置1例如是服务器,经由通信网络5,从拍摄装置2接收包含位置信息的事件检测信息,所述位置信息表示检测到预定事件发生的时间点的车辆4的位置,检测到所述预定事件发生作为通过设置于车辆4的拍摄装置2的拍摄而得到的拍摄图像的存储的触发。另外,管理装置1判定从拍摄装置2接收的事件检测信息包含的位置信息表示的位置是否是推定为驾驶员多次到访的位置。
拍摄装置2例如是行车记录仪,担载于车辆4。拍摄装置2拍摄车辆4的行进方向。拍摄装置2将检测到预定事件发生作为触发,制作包含以检测到预定事件发生的时间点为基准的特定时间点的拍摄数据的事件记录信息。拍摄数据是至少一个拍摄图像。具体而言,拍摄装置2存储包含第3期间的拍摄数据的事件记录信息,所述第3期间包含从检测到预定事件发生的时间点向前预定时间的第1期间、和从检测到预定事件发生的时间点向后预定时间的第2期间。另外,拍摄装置2将包含表示检测到预定事件发生的时间点的车辆4的位置的位置信息的事件检测信息向管理装置1发送。
再者,拍摄装置2不限定于行车记录仪,只要具有拍摄功能,并且具有将检测到预定事件发生作为触发,存储包含检测到事件发生的时间点前后预定期间的拍摄数据的事件记录信息的功能即可,例如,拍摄装置2可以是智能手机等。另外,拍摄装置2可以具备具有拍摄功能的车载摄像头、将检测到事件发生作为触发存储包含检测到事件发生的时间点前后预定期间的拍摄数据的事件记录信息的存储装置、以及将事件检测信息向管理装置1发送的通信部。作为存储装置,例如有硬盘等。
以下,对管理装置1和拍摄装置2的结构进行详细说明。
图2是表示本实施方式1中的管理装置的结构的框图。
管理装置1具备通信部11、控制部12和存储部13。
通信部11利用无线或有线,经由因特网等通信网络5,与拍摄装置2等外部装置进行通信,发送、接收信息。
控制部12例如是CPU(Central Processing Unit:中央运算处理装置),具备事件检测信息获取部121、危险判定部122和标签赋予控制部123。
存储部13具备事件检测信息存储部131、行为历史信息存储部132、相关人员信息存储部133和其他装置信息存储部134。
事件检测信息获取部121经由通信部11获取由拍摄装置2发送的事件检测信息。事件检测信息包括表示检测到预定事件发生的时间点的车辆4的位置的事件检测位置信息和用于识别预定事件的事件识别信息,检测到所述预定事件发生作为通过设置于车辆4的拍摄装置2的拍摄而得到的拍摄图像的存储的触发。
在此,预定事件表示伴随虽然没有导致事故,但根据情况有可能与事故直接相关的“有可能引起大事故的失误”而发生的各种事件,作为预定事件的例子,有由于驾驶员突然制动的行为而产生的加速度超过阈值之类的事件。另外,作为预定事件的另一例,有由于驾驶员紧急转动方向盘的行为而产生的转向角的变化量或是车辆4的横摆率或侧倾率超过阈值之类的事件。另外,作为预定事件的另一例,有由于驾驶员从加速器快速转为踩下制动器的行为而产生的从释放加速器到踩下制动器的时间低于阈值之类的事件。
事件检测信息存储部131存储由事件检测信息获取部121获取的事件检测信息。
危险判定部122基于表示车辆4的驾驶员的行为历史的行为历史信息以及关于驾驶员的相关人员的相关人员信息的至少一者,判定事件检测位置信息表示的事件检测位置是否是推定为驾驶员多次到访的位置。
由此,在驾驶员平常经常利用的路线和平常良好经过的场所发生的事件,能够推定为是由于虽然没有导致事故,但根据情况有可能与事故直接相关的危险状况而发生的。尽管是熟悉的道路,但驾驶员突然制动也很可能导致危险状况发生。因此,在判定为事件检测位置是推定为驾驶员多次到访的位置的情况下,能够推定在事件检测位置拍摄的拍摄图像是反映危险状况的图像。
行为历史信息存储部132存储表示车辆4的驾驶员的行为历史的行为历史信息。行为历史信息存储部132具备行驶路线信息存储部1321、注册信息存储部1322和驾驶员移动历史存储部1323。
行驶路线信息存储部1321存储车辆4的移动历史。行驶路线信息存储部1321将用于识别车辆4的车辆识别信息、车辆4的过去的行驶路线、以及车辆4在该行驶路线行驶的次数相关联地存储。再者,车辆识别信息可以是用于识别配置于车辆4的拍摄装置2的拍摄装置识别信息。
危险判定部122基于车辆4的移动历史,判定事件检测位置信息表示的事件检测位置是否是车辆4过去多次经过的位置。具体而言,危险判定部122从行驶路线信息存储部1321中提取行驶次数为预定次数以上的行驶路线,判定事件检测位置信息表示的事件检测位置是否存在于提取的行驶路线上。危险判定部122在判定为事件检测位置是车辆4过去多次经过的位置的情况下,判定事件检测位置是推定为驾驶员多次到访的位置。
注册信息存储部1322存储对车辆4预先注册的路线或目的地。注册信息存储部1322存储对配置于车辆4的汽车导航装置预先注册的注册路线或对配置于车辆4的汽车导航装置预先注册的目的地。汽车导航装置接受由驾驶员输入目的地,计算从当前位置到目的地的行驶路线,将计算出的行驶路线注册为注册路线。另外,汽车导航装置按照注册路线来引导驾驶员。汽车导航装置将注册的注册路线或目的地向管理装置1发送。管理装置1的通信部11将从汽车导航装置接收的注册路线或目的地存储于注册信息存储部1322。注册信息存储部1322将用于识别车辆4的车辆识别信息和注册的注册路线或目的地相关联地存储。
危险判定部122判定事件检测位置信息表示的事件检测位置是否是注册的注册路线上存在的位置,或事件检测位置信息表示的事件检测位置是否是距离注册的目的地预定范围内存在的位置。危险判定部122在判定为事件检测位置是注册的注册路线上存在的位置的情况下,或判定为事件检测位置是距离注册的目的地预定范围内存在的位置的情况下,判定事件检测位置是推定为驾驶员多次到访的位置。
再者,注册信息存储部1322可以存储作为驾驶员实施了特定行为的场所而预先注册的实施场所。实施场所例如是驾驶员吃饭的场所、驾驶员住宿的场所、或驾驶员购物的场所等,通过汽车导航装置或终端装置输入。危险判定部122可以判定事件检测位置信息表示的事件检测位置是否是距离实施场所预定范围内存在的位置。危险判定部122在判定为事件检测位置是距离实施场所预定范围内存在的位置的情况下,判定事件检测位置是推定为驾驶员多次到访的位置。
驾驶员移动历史存储部1323存储驾驶员的移动历史。驾驶员的移动历史通过驾驶员所持的终端装置而获取。终端装置例如是智能手机、平板电脑或可穿戴设备。终端装置具备GPS(Global Positioning System:全球定位系统)接收器等位置测定部,测定终端装置的位置信息、即持有终端装置的驾驶员的位置信息。终端装置定期测定驾驶员的位置信息,将驾驶员的移动路线作为驾驶员的移动历史向管理装置1发送。管理装置1的通信部11将从终端装置接收的驾驶员的移动历史存储于驾驶员移动历史存储部1323。驾驶员移动历史存储部1323将用于识别驾驶员的驾驶员识别信息、驾驶员的过去的移动路线、以及驾驶员在该移动路线上移动的次数相关联地存储。
再者,驾驶员移动历史存储部1323可以基于位置信息所附加的驾驶员模式信息,将驾驶员乘车移动的移动路线与从下车移动的移动路线区分存储。例如,在终端装置的驾驶员模式打开的状态下测定的位置信息,作为驾驶员乘车移动的移动路线的信息进行处理。另外,在终端装置的驾驶员模式关闭的状态下测定的位置信息,作为驾驶员步行移动的移动路线的信息进行处理。并且,可以仅利用驾驶员乘车移动的移动路线进行后述的危险判定部122的处理。
危险判定部122基于驾驶员的移动历史,判定事件检测位置信息表示的事件检测位置是否是驾驶员过去多次经过的位置。具体而言,危险判定部122从驾驶员移动历史存储部1323提取移动次数为预定次数以上的移动路线,判定事件检测位置信息表示的事件检测位置是否存在于提取的移动路线上。危险判定部122在判定为事件检测位置是驾驶员过去多次经过的位置的情况下,判定事件检测位置是推定为驾驶员多次到访的位置。
相关人员信息存储部133存储关于驾驶员的相关人员的相关人员信息。驾驶员的相关人员例如是驾驶员的朋友、亲戚和恋人等,是驾驶员频繁会面的人物。相关人员信息包含作为相关人员居住的场所而预先注册的居住场所。汽车导航装置或终端装置接收由驾驶员输入的相关人员的居住场所。汽车导航装置或终端装置将表示所输入的居住场所的信息向管理装置1发送。管理装置1的通信部11将从汽车导航装置或终端装置接收的表示居住场所的信息存储于相关人员信息存储部133。相关人员信息存储部133将用于识别驾驶员的驾驶员识别信息和所注册的相关人员的居住场所相关联地存储。
再者,相关人员信息可以自动存储。具体而言,相关人员信息可以由汽车导航装置等所注册的目的地信息而生成。例如,汽车导航装置将注册的目的地信息向管理装置1发送。相关人员信息存储部133在目的地信息包含“朋友住处”等信息作为目的地的属性的情况下,将该目的地信息包含的位置的位置信息与驾驶员识别信息相关联地存储。
另外,相关人员信息可以基于驾驶员持有的终端装置所具备的限制运行中的终端装置的功能的模式(以下也称为驾驶模式)而生成。例如,相关人员信息存储部133将根据从终端装置接收的位置信息而频繁(例如预定次数以上)切换驾驶模式的开关的位置的位置信息与驾驶员识别信息相关联地存储。这是由于频繁切换驾驶模式的地点被推定为驾驶员经常上下车的地点,即经常到访的地点。
危险判定部122判定事件检测位置信息表示的事件检测位置是否是距离相关人员的居住场所预定范围内存在的位置。危险判定部122在判定为事件检测位置是距离相关人员的居住场所预定范围内存在的位置的情况下,判定事件检测位置是推定为驾驶员多次到访的位置。
标签赋予控制部123在判定为事件检测位置信息表示的事件检测位置是推定为驾驶员多次到访的位置的情况下,控制拍摄图像的存储。标签赋予控制部123在判定为事件检测位置信息表示的事件检测位置是推定为驾驶员多次到访的位置的情况下,经由通信部11将标签赋予指示信息向拍摄装置2发送,所述标签赋予指示信息指示将表示包含检测到预定事件发生的时间点的预定期间的拍摄数据是反映危险状况的拍摄数据的标签信息赋予事件记录信息。
图3是用于对本实施方式1中的事件记录信息进行说明的示意图。事件记录信息包含第3期间7A的拍摄数据,所述第3期间7A包含从检测到预定事件发生的时间点向前预定时间的第1期间、和从检测到预定事件发生的时间点向后预定时间的第2期间。再者,第1期间例如为10秒,第2期间例如为5秒,第3期间是将第1期间与第2期间合计的15秒。第1期间和第2期间的长度只是一例,并不限定于上述。
其他装置信息存储部134存储与拍摄装置2等其他装置相关的其他装置信息。其他装置信息例如包含识别拍摄装置2的识别信息。
下面,对拍摄装置2的结构进行详细说明。
图4是表示本实施方式1中的拍摄装置的结构的框图。
拍摄装置2具备通信部21、拍摄部22、位置测定部23、时间测定部24、事件检测部25、控制部26和存储部27。
通信部21利用无线,经由无线电基站和WAN(Wide Area Network:广域网)或因特网等通信网络5,与管理装置1进行通信,与管理装置1发送、接收信息。再者,通信部21只要能够与管理装置1发送、接收信息,则不限定于该结构。例如,通信部21可以中继驾驶员持有的智能手机等其它装置而与管理装置1进行通信,与管理装置1发送、接收信息。
拍摄部22是相机,担载于车辆,拍摄车辆或车辆的周围等。拍摄部22定期地(例如30毫秒1次)将拍摄的拍摄数据存储于拍摄信息存储部273。
位置测定部23例如是GPS接收器,测定拍摄装置2的位置信息、即车辆的位置信息。由位置测定部23测定的位置信息,例如作为通过事件检测部25检测到预定事件的时间点的拍摄装置2的位置信息利用。通过事件检测部25检测到预定事件的时间点的拍摄装置2的位置信息,作为事件检测位置信息赋予事件检测信息。
时间测定部24例如是表,测定当前时刻。由时间测定部24测定的时刻信息,例如作为通过事件检测部25检测到预定事件的时间点的时刻信息利用。通过事件检测部25检测到预定事件的时间点的时刻信息,作为事件检测时刻信息赋予事件记录信息。
事件检测部25检测预定事件的发生。预定事件是由驾驶员或车辆的管理者等预先设定的。在由于驾驶员突然制动的行为而产生的加速度超过阈值这样的事件的例子的情况下,事件检测部25检测加速度超过阈值。
另外,作为另一个例子,在由于驾驶员紧急转动方向盘的行为而产生的转向角的变化量超过阈值这样的事件的例子的情况下,事件检测部25检测转向角的变化量超过阈值。另外,作为另一个例子,在由于驾驶员从加速器快速转为踩下制动器的行为而产生的从释放加速器到踩下制动器的时间低于阈值这样的事件的例子的情况下,事件检测部25检测从释放加速器到踩下制动器的时间低于阈值。
存储部27例如是半导体存储器,具备自身装置信息存储部271、其他装置信息存储部272、拍摄信息存储部273和事件记录信息存储部274。
自身装置信息存储部271存储表示与拍摄装置2相关的信息的自身装置信息。自身装置信息至少包含识别拍摄装置2的识别信息。该识别信息附加于从拍摄装置2对管理装置1发送信息时的发送信息。例如,在从拍摄装置2向管理装置1发送事件检测信息时,通信部21将识别信息附加于事件检测信息,将附加有识别信息的事件检测信息发送。由此,管理装置1能够确认从哪一个拍摄装置2发送了事件检测信息。
其他装置信息存储部272存储表示与其它装置相关的信息的其他装置信息。其他装置信息至少包含管理装置1的地址信息。拍摄装置2在对管理装置1发送信息时,利用其他装置信息包含的地址信息。
拍摄信息存储部273通过拍摄部22定期地(例如30毫秒1次)存储所拍摄的拍摄数据。
事件记录信息存储部274通过事件记录信息存储控制部261,将对检测到事件发送的时间点前后预定期间的拍摄数据附加了事件检测位置信息和事件检测时刻信息的事件记录信息存储。
控制部26例如是CPU,具备事件记录信息存储控制部261、事件检测信息发送控制部262、标签赋予指示信息接收控制部263和标签赋予部264。
事件记录信息存储控制部261如果通过事件检测部25检测到预定事件发生,则从位置测定部23获取拍摄装置2的位置信息,并且从时间测定部24获取当前时刻。接着,事件记录信息存储控制部261从拍摄信息存储部273提取检测到事件发生的时间点前后预定期间的拍摄数据。事件记录信息存储控制部261将获取的位置信息和时刻信息分别作为事件检测位置信息和事件检测时刻信息包含,并且生成包含所提取的拍摄数据的事件记录信息,将生成的事件记录信息存储于事件记录信息存储部274。
事件检测信息发送控制部262经由通信部21将包含表示通过事件检测部25检测到预定事件发生的时间点的车辆4的位置的位置信息的事件检测信息向管理装置1发送。事件检测信息发送控制部262如果通过事件检测部25检测到预定事件发生,则从位置测定部23获取拍摄装置2的位置信息。事件检测信息发送控制部262生成包含所获取的位置信息作为事件检测位置信息的事件检测信息,将生成的事件检测信息向管理装置1发送。
事件检测信息发送控制部262将事件检测信息向管理装置1发送的定时可以是任意定时。例如,事件检测信息发送控制部262可以在事件记录信息存储部274存储事件记录信息的定时向管理装置1发送事件检测信息。该情况下,事件检测信息发送控制部262能够在接近实时的定时对管理装置1发送事件检测信息,因此管理装置1能够判定事件记录信息是否包含反映危险状况的拍摄数据。
再者,作为将事件检测信息向管理装置1发送的定时的另一例,可以是接收驾驶员输入发送指示的情况,也可以是定期。
标签赋予指示信息接收控制部263接收由管理装置1发送的标签赋予指示信息。
标签赋予部264将表示拍摄数据反映危险状况的标签信息赋予事件记录信息。即、在判定为事件检测位置信息表示的位置是推定为驾驶员多次到访的位置的情况下,将拍摄图像分类存储包括将表示是推定为驾驶员多次到访的位置的标签赋予拍摄图像并存储。
再者,拍摄装置2将包含由位置测定部23测定的位置和来自于时间测定部24的当前时刻的移动历史信息向管理装置1发送。管理装置1将从拍摄装置2接收的移动历史信息存储于行驶路线信息存储部1321。
<管理装置1的处理>
接着,利用图5的流程,对管理装置1利用从拍摄装置2获取的事件检测信息,判定检测到预定事件发生的时间点的车辆的位置是否是推定为驾驶员多次到访的位置,并基于该判定结果向事件记录信息赋予标签信息的处理进行详细说明。
图5是用于说明本实施方式1中的管理装置的处理的第1流程图,图6是用于说明本实施方式1中的管理装置的处理的第2流程图。
首先,管理装置1的事件检测信息获取部121从拍摄装置2获取事件检测信息(步骤S11)。具体而言,事件检测信息获取部121经由通信部11从拍摄装置2获取包含事件检测位置信息的事件检测信息,所述事件检测位置信息表示检测到预定事件发生的时间点的车辆4的事件检测位置,检测到所述预定事件发生作为通过设置于车辆4的拍摄装置2的拍摄而得到的拍摄图像的存储的触发。
然后,危险判定部122从通过事件检测信息获取部121获取的事件检测信息中提取事件检测位置信息(步骤S12)。
接着,危险判定部122从行驶路线信息存储部1321中提取行驶次数为预定次数以上的车辆4的行驶路线(步骤S13)。
然后,危险判定部122判定事件检测位置信息表示的事件检测位置是否存在于所提取的车辆4的行驶路线上(步骤S14)。在此,在判定为事件检测位置存在于车辆4的行驶路线上的情况下(步骤S14中为是),处理移至步骤S21。
图7是用于说明本实施方式1中判定事件检测位置是否存在于车辆的行驶路线上的处理的示意图。
图7中,在车辆4行驶于行驶路线101途中发生预定事件的情况下,事件检测信息获取部121获取包含事件检测位置信息的事件检测信息,所述事件检测位置信息表示检测到预定事件发生的时间点的车辆4的事件检测位置102,检测到所述预定事件发生作为通过设置于车辆4的拍摄装置2的拍摄而得到的拍摄图像的存储的触发。
接着,危险判定部122从行驶路线信息存储部1321中,提取过去的多个行驶路线111、112、113之中行驶次数为预定次数以上的车辆4的行驶路线113。图7中,行驶路线113作为行驶次数为预定次数以上的行驶路线被提取。
然后,危险判定部122判定事件检测位置102是否存在于所提取的车辆4的行驶路线113上。图7中,危险判定部122判定事件检测位置102存在于所提取的车辆4的行驶路线113上。
另一方面,在判定为事件检测位置不存在于车辆4的行驶路线上的情况下(步骤S14中为否),危险判定部122从注册信息存储部1322中提取对汽车导航装置预先注册的注册路线(步骤S15)。
接着,危险判定部122判断事件检测位置信息表示的事件检测位置是否存在于所注册的注册路线上(步骤S16)。在此,在判定为事件检测位置存在于注册路线上的情况下(步骤S16中为是),处理移至步骤S21。
另一方面,在判定为事件检测位置不存在于注册路线上的情况下(步骤S16中为否),危险判定部122从驾驶员移动历史存储部1323中提取移动次数为预定次数以上的驾驶员的移动路线(步骤S17)。驾驶员的移动路线表示驾驶员利用与车辆4不同的移动体移动后步行移动的情况下的移动路线。
然后,危险判定部122判定事件检测位置信息表示的事件检测位置是否存在于所提取的驾驶员的移动路线上(步骤S18)。在此,在判定为事件检测位置存在于驾驶员的移动路线上的情况下(步骤S18中为是),处理移至步骤S21。
另一方面,在判定为事件检测位置不存在于驾驶员的移动路线上的情况下(步骤S18中为否),危险判定部122从相关人员信息存储部133中提取作为驾驶员的相关人员居住的场所而预先注册的居住场所(步骤S19)。再者,所提取的居住场所不限于1个。可以提取与驾驶员的多个相关人员相对应的多个居住场所。
接着,危险判定部122判定事件检测位置信息表示的事件检测位置是否存在于距离驾驶员的相关人员的居住场所预定范围内(步骤S20)。在此,在判定为事件检测位置不存在于距离驾驶员的相关人员的居住场所预定范围内的情况下(步骤S20中为否),由于事件检测位置不是驾驶员频繁经过的位置,因此处理结束。
另一方面,在判定为事件检测位置存在于车辆4的行驶路线上的情况(步骤S14中为是)、判定为事件检测位置存在于注册路线上的情况(步骤S16中为是)、判定为事件检测位置存在于驾驶员的移动路线上的情况(步骤S18中为是)、或判定为事件检测位置存在于距离驾驶员的相关人员的居住场所预定范围内的情况下(步骤S20中为是),标签赋予控制部123经由通信部11将标签赋予指示信息向拍摄装置2发送(步骤S21),所述标签赋予指示信息指示将表示包含检测到预定事件发生的时间点的预定期间的拍摄数据是反映危险状况的拍摄数据的标签信息赋予事件记录信息。
再者,本实施方式1中,危险判定部122进行了判定事件检测位置是否存在于所提取的车辆4的行驶路线上的第1判定处理、判定事件检测位置是否存在于所注册的注册路线上的第2判定处理、判定事件检测位置是否存在于所提取的驾驶员的移动路线上的第3判定处理、以及判定事件检测位置是否存在于距离驾驶员的相关人员的居住场所预定范围内的第4判定处理,但本公开并不特别限定于此,危险判定部122也可以只进行第1判定处理、第2判定处理、第3判定处理和第4判定处理中的任一者。另外,危险判定部122也可以进行第1判定处理、第2判定处理、第3判定处理和第4判定处理之中的至少两者。
<拍摄装置2的处理>
下面,利用图8的流程,对将包含表示通过拍摄装置2检测到预定事件发生的时间点的车辆4的事件检测位置的事件检测位置信息的事件检测信息向管理装置1发送,并且将表示包含检测到预定事件发生的时间点的预定期间的拍摄数据是反映危险状况的拍摄数据的标签信息赋予事件记录信息的处理进行详细说明。
图8是用于说明本实施方式1中的拍摄装置的处理的流程图。
首先,拍摄装置2的拍摄部22将车辆的发动机启动作为触发开始拍摄(步骤S31)。再者,拍摄部22的拍摄开始的触发不限定于本结构。例如,拍摄部22也可以通过驾驶员的输入操作而开始拍摄。拍摄部22定期地(例如30毫秒1次)将拍摄的拍摄数据存储于拍摄信息存储部273。
然后,判定事件检测部25在拍摄部22的拍摄中是否检测到预定事件发生(步骤S32)。
在步骤S32中,判定为通过事件检测部25没有检测到预定事件发生的情况下(步骤S32中为否),处理返回步骤S31,拍摄部22继续拍摄。
另一方面,在步骤S32中,判定为通过事件检测部25检测到预定事件发生的情况下(步骤S32中为是),位置测定部23测定拍摄装置2的当前位置(步骤S33)。
接着,时间测定部24测定当前时刻(步骤S34)。
然后,事件记录信息存储控制部261从拍摄信息存储部273中提取检测到事件发生的时间点前后预定期间的拍摄数据(步骤S35)。
接着,事件记录信息存储控制部261生成包含所提取的预定期间的拍摄数据、表示在步骤S33中测定的检测到事件发生的时间点的位置的事件检测位置信息、以及表示在步骤S34中测定的当前时刻的事件检测时刻信息的事件记录信息,存储于事件记录信息存储部274(步骤S36)。
然后,事件检测信息发送控制部262经由通信部21,将包含表示在步骤S33中测定的检测到事件发生的时间点的车辆4的位置的事件检测位置信息的事件检测信息向管理装置1发送(步骤S37)。
再者,事件检测信息发送控制部262向管理装置1发送事件检测信息的定时可以是任意定时。例如,事件检测信息发送控制部262可以在事件记录信息存储于事件记录信息存储部274的定时向管理装置1发送事件检测信息。该情况下,事件检测信息发送控制部262能够在接近实时的定时向管理装置1发送事件检测信息,判定事件记录信息是否包含反映危险状况的拍摄数据。
另外,作为向管理装置1发送事件检测信息的定时的另一例,可以是事件记录信息的数量超过预定数量的定时、接收到驾驶员的发送指示输入的定时、或从管理装置1接收到发送请求的定时。
接着,判定标签赋予指示信息接收控制部263是否接收到由管理装置1发送的标签赋予指示信息(步骤S38)。在此,判定为没有接收到标签赋予指示信息的情况下(步骤S38中为否),处理移至步骤S40。
另一方面,在判定为接收到标签赋予指示信息的情况下(步骤S38中为是),标签赋予部264将表示拍摄数据反映危险状况的标签信息赋予事件记录信息。其结果,事件记录信息会包含预定期间的拍摄数据、事件检测位置信息、事件检测时刻信息和标签信息。由此,例如确认事件记录信息的内容,提取包含反映危险状况的拍摄数据的事件记录信息的管理者,通过确认标签信息,能够仅提取包含反映危险状况的拍摄数据或反映危险可能性高的状况的拍摄数据的事件记录信息,从而能够提高工作效率。
再者,实施方式1中,拍摄装置2向管理装置1发送事件检测信息,但本公开并不特别限定于此,拍摄装置2可以将包含预定期间的拍摄数据、事件检测位置信息和事件检测时刻信息的事件记录信息向管理装置1发送。该情况下,管理装置1获取事件记录信息,将事件记录信息存储于存储部13,从事件记录信息中提取事件检测位置信息。然后,管理装置1进行图5和图6的步骤S13~步骤S20的处理。在判定为事件检测位置存在于车辆4的行驶路线上的情况(步骤S14中为是)、判定为事件检测位置存在于注册路线上的情况(步骤S16中为是)、判定为事件检测位置存在于驾驶员的移动路线上的情况(步骤S18中为是)、或判定为事件检测位置存在于距离驾驶员的相关人员的居住场所预定范围内的情况下(步骤S20中为是),标签赋予控制部123将表示包含检测到预定事件发生的时间点的预定期间的拍摄数据是反映危险状况的拍摄数据的标签信息赋予事件记录信息。
另外,实施方式1中,在图6的步骤S20中,判定为事件检测位置不存在于距离驾驶员的相关人员的居住场所预定范围内的情况下,处理结束,但本公开并不特别限定于此,也可以在判定为事件检测位置不存在距离从驾驶员的相关人员的居住场所预定范围内的情况下,标签赋予控制部123将标签赋予指示信息向拍摄装置2发送,所述标签赋予指示信息指示将表示包含检测到预定事件发生的时间点的预定期间的拍摄数据不是反映危险状况的拍摄数据的标签信息赋予事件记录信息。即、将拍摄图像分类存储可以包括:在没有判定为事件检测位置信息表示的位置是推定为驾驶员多次到访的位置的情况下,将表示不是推定为驾驶员多次到访的位置的标签赋予拍摄图像并存储。
另外,也可以设为:在判定为事件检测位置不存在于距离驾驶员的相关人员的居住场所预定范围内的情况下,管理装置1将表示包含检测到预定事件发生的时间点的预定期间的拍摄数据不是反映危险状况的拍摄数据的信息向拍摄装置2发送,并且,接收到该信息的拍摄装置2将对应的事件记录信息删除。
(实施方式2)
实施方式1中,危险判定部122进行判定事件检测位置是否存在于所提取的车辆4的行驶路线上的第1判定处理、判定事件检测位置是否存在于所注册的注册路线上的第2判定处理、判定事件检测位置是否存在于所提取的驾驶员的移动路线上的第3判定处理、以及事件检测位置是否存在于距离驾驶员的相关人员的居住场所预定范围内的第4判定处理。与此相对,实施方式2中,根据第1判定处理、第2判定处理、第3判定处理和第4判定处理之中的至少一者的判定结果,按每个进行了的判定处理,将拍摄图像分类存储。
即、第1判定处理能够以最高精度判定事件检测位置是否是推定为驾驶员多次到访的位置,第2判定处理能够以第2高精度判定事件检测位置是否是推定为驾驶员多次到访的位置,第3判定处理能够以第3高精度判定事件检测位置是否是推定为驾驶员多次到访的位置,第4判定处理能够以第4高精度判定事件检测位置是否是推定为驾驶员多次到访的位置。
因此,管理者通过确认在第1判定处理、第2判定处理、第3判定处理和第4判定处理之中的任一判定处理中是否得到了肯定的结果,能够高效率地提取反映危险状况的拍摄图像。即、在第1判定处理中得到了肯定的结果的拍摄图像,更有可能是反映危险状况的拍摄图像,管理者通过优先确认在第1判定处理中得到了肯定的结果的拍摄图像,能够使提取反映危险状况的拍摄图像的工作效率提高。
图9是表示本实施方式2中的管理装置的结构的框图。再者,本实施方式2的管理装置1A中,对于与实施方式1的管理装置1相同的结构附带相同标记并省略说明。
管理装置1A具备通信部11、控制部12A和存储部13。控制部12A例如是CPU,具备事件检测信息获取部121、危险判定部122和标签赋予控制部123A。
标签赋予控制部123A确定第1判定处理、第2判定处理、第3判定处理和第4判定处理之中作出肯定判定的判定处理,按每个判定处理,将拍摄图像分类存储。
在判定为事件检测位置信息表示的事件检测位置是推定为驾驶员多次到访的位置的情况下,标签赋予控制部123A经由通信部11将标签赋予指示信息向拍摄装置2A发送,所述标签赋予指示信息指示将表示包含检测到预定事件发生的时间点的预定期间的拍摄数据是反映危险状况的拍摄数据的标签信息赋予事件记录信息。此时,标签赋予控制部123A对判定事件检测位置是否存在于所提取的车辆4的行驶路线上的第1判定处理、判定事件检测位置是否存在于所注册的注册路线上的第2判定处理、判定事件检测位置是否存在于所提取的驾驶员的移动路线上的第3判定处理、以及判定事件检测位置是否存在于距离驾驶员的相关人员的居住场所预定范围内的第4判定处理之中作出肯定判定的判定处理进行确定,生成包含用于识别所确定的判定处理的判定处理识别信息的标签赋予指示信息。
图10是表示本实施方式2中的拍摄装置的结构的框图。
拍摄装置2A具备通信部21、拍摄部22、位置测定部23、时间测定部24、事件检测部25、控制部26A和存储部27。控制部26A例如是CPU,具备事件记录信息存储控制部261、事件检测信息发送控制部262、标签赋予指示信息接收控制部263、标签赋予部264和分类控制部265。
分类控制部265参照由标签赋予指示信息接收控制部263接收的标签赋予指示信息中所含的判定处理识别信息,按第1判定处理、第2判定处理、第3判定处理和第4判定处理的每个判定处理,将事件记录信息进行分类。即、分类控制部265在第1判定处理中作出肯定判定的情况下,分类为第1组,在第2判定处理中中作出肯定判定的情况下,分类为第2组,在第3判定处理中作出肯定判定的情况下,分类为第3组,在第4判定处理中作出肯定判定的情况下,分类为第4组,存储于事件记录信息存储部274。
本实施方式2中的管理装置1A的处理,与图5和图6所示的实施方式1中的管理装置1的处理大致相同,仅步骤S21的处理不同。
即、本实施方式2中,在判定为事件检测位置存在于车辆4的行驶路线上的情况下(步骤S14中为是),在步骤S21中,标签赋予控制部123经由通信部11将包含用于识别作出肯定判定的判定处理是第1判定处理的判定处理识别信息的标签赋予指示信息向拍摄装置2A发送。
另外,在判定为事件检测位置存在于注册路线上的情况下(步骤S16中为是),在步骤S21中,标签赋予控制部123经由通信部11将包含用于识别作出肯定判定的判定处理是第2判定处理的判定处理识别信息的标签赋予指示信息向拍摄装置2A发送。
另外,在判定为事件检测位置存在于驾驶员的移动路线上的情况下(步骤S18中为是),在步骤S21中,标签赋予控制部123经由通信部11将包含用于识别作出肯定判定的判定处理是第3判定处理的判定处理识别信息的标签赋予指示信息向拍摄装置2A发送。
另外,在判定为事件检测位置存在于距离驾驶员的相关人员的居住场所预定范围内的情况下(步骤S20中为是),在步骤S21中,标签赋予控制部123经由通信部11将包含用于识别作出肯定判定的判定处理是第4判定处理的判定处理识别信息的标签赋予指示信息向拍摄装置2A发送。
图11是用于说明本实施方式2中的拍摄装置的处理的流程图。
再者,图11所示的步骤S51~步骤S59的处理,与图8所示的步骤S31~步骤S39的处理相同,因此省略说明。
然后,分类控制部265参照由标签赋予指示信息接收控制部263接收的标签赋予指示信息中所含的判定处理识别信息,按第1判定处理、第2判定处理、第3判定处理和第4判定处理的每个判定处理,将事件记录信息进行分类(步骤S60)。即、分类控制部265在判定为第1判定处理中作出肯定判定的情况下,分类为第1组,在判定为第2判定处理中作出肯定判定的情况下,分类为第2组,在判定为第3判定处理中作出肯定判定的情况下,分类为第3组,在判定为第4判定处理中作出肯定判定的情况下,分类为第4组,存储于事件记录信息存储部274。
图11所示的步骤S61的处理与图8所示的步骤S40的处理相同,因此省略说明。
图12是用于说明本实施方式2中,将事件记录信息分类为第1组或第4组的处理的示意图。
图12中,在车辆4行驶于行驶路线101的途中发生预定事件的情况下,事件检测信息获取部121获取包含事件检测位置信息的事件检测信息,所述事件检测位置信息表示检测到作为通过设置于车辆4的拍摄装置2A的拍摄而得到的拍摄图像的存储的触发点的预定事件发生的时间点的车辆4的事件检测位置102。
接着,危险判定部122从行驶路线信息存储部1321提取过去的多个行驶路线111、112、113之中行驶次数为预定次数以上的车辆4的行驶路线113。图12中,行驶路线113作为行驶次数为预定次数以上的行驶路线被提取。
然后,危险判定部122进行判定事件检测位置102是否存在于所提取的车辆4的行驶路线113上的第1判定处理。图12中,危险判定部122判定事件检测位置102存在于所提取的车辆4的行驶路线113上。该情况下,标签赋予控制部123经由通信部11将包含用于识别作出肯定判定的判定处理是第1判定处理的判定处理识别信息的标签赋予指示信息向拍摄装置2A发送。拍摄装置2A的分类控制部265,参照由标签赋予指示信息接收控制部263接收的标签赋予指示信息中所含的判定处理识别信息,将事件记录信息分类为第1组,存储于事件记录信息存储部274。
另一方面,在第1判定处理、第2判定处理和第3判定处理中得到了否定的判定结果的情况下,危险判定部122从相关人员信息存储部133提取作为驾驶员的相关人员居住的场所而预先注册的居住场所141。然后,危险判定部122进行判定事件检测位置102是否存在于距离驾驶员的相关人员的居住场所141预定范围142内的第4判定处理。图12中,危险判定部122判定事件检测位置102存在于距离驾驶员的相关人员的居住场所141预定范围142内。该情况下,标签赋予控制部123经由通信部11将包含用于识别作出肯定判定的判定处理是第4判定处理的判定处理识别信息的标签赋予指示信息向拍摄装置2A发送。拍摄装置2A的分类控制部265参照由标签赋予指示信息接收控制部263接收的标签赋予指示信息中所含的判定处理识别信息,将事件记录信息分类为第4组,存储于事件记录信息存储部274。
再者,本实施方式2中,进行以下第1~第4判定处理,所述第1判定处理中,基于移动体的移动历史,判定事件检测位置信息表示的事件检测位置是否是移动体过去多次经过的位置,所述第2判定处理中,判定事件检测位置信息表示的事件检测位置是否是对移动体预先注册的路线上存在的位置、或判定事件检测位置信息表示的事件检测位置是否是距离对移动体预先注册的目的地预定范围内存在的位置,所述第3判定处理中,基于驾驶员的移动历史,判定事件检测位置信息表示的事件检测位置是否是驾驶员过去多次经过的位置,所述第4判定处理中,判定事件检测位置信息表示的事件检测位置是否是距离作为相关人员居住的场所而预先注册的居住场所预定范围内存在的位置。但是,本公开不特别限定于此,也可以进行判定事件检测位置信息表示的事件检测位置是否是距离作为驾驶员实施了特定行为的场所而预先注册的实施场所预定范围内存在的位置的第5判定处理。该情况下,危险判定部122进行第1判定处理、第2判定处理、第3判定处理、第4判定处理和第5判定处理中的至少一者。然后,标签赋予控制部123A可以确定第1判定处理、第2判定处理、第3判定处理、第4判定处理和第5判定处理之中作出肯定判定的判定处理,按每个判定处理,将拍摄图像分类存储。
另外,实施方式2中的拍摄图像的分类,可以通过实施方式1中的标签赋予来实现。例如,可以将与各判定处理分别对应的分类信息赋予标签,通过参照标签所赋予的分类信息来区分拍摄图像。
(实施方式3)
实施方式1中,危险判定部122判定事件检测位置是否是车辆4过去多次经过的位置。与此相对,实施方式3中,管理装置获取表示检测到预定事件发生的时刻的时间信息,在判定为事件检测位置是车辆4过去多次经过的位置的情况下,判定时间信息表示的时刻是否包含在由车辆4过去经过事件检测位置时的移动时刻而确定的经过时间带中。
即、在事件检测位置是车辆4过去多次经过的位置,并且检测到事件发生的时刻包含在由车辆4过去经过事件检测位置时的移动时刻而确定的经过时间带中的情况下,发生的事件是由危险状况引起的可能性高。因此,能够使提取反映危险状况的拍摄图像的精度更高。
图13是表示本实施方式3中的管理装置的结构的框图。再者,在本实施方式3的管理装置1B中,对于实施方式1的管理装置1相同的结构附带相同标记并省略说明。
管理装置1B具备通信部11、控制部12B和存储部13B。控制部12B例如是CPU,具备事件检测信息获取部121、危险判定部122、标签赋予控制部123和时刻判定部124。
存储部13B具备事件检测信息存储部131、行为历史信息存储部132B和其他装置信息存储部134。行为历史信息存储部132B具备行驶路线信息存储部1321。
事件检测信息获取部121经由通信部11获取通过拍摄装置2B发送的事件检测信息。本实施方式3中的事件检测信息包括:表示检测到预定事件发生的时间点的车辆4的位置的事件检测位置信息、表示检测到预定事件发生的时刻的事件检测时刻信息、以及用于识别预定事件的事件识别信息,检测到所述预定事件发生作为通过设置于车辆4的拍摄装置2B的拍摄而得到的拍摄图像的存储的触发。
在通过危险判定部122判定为事件检测位置信息表示的事件检测位置是车辆4过去多次经过的位置的情况下,时刻判定部124判定事件检测时刻信息表示的事件检测时刻是否包含于通过车辆4过去经过事件检测位置时的移动时刻确定的经过时间带中。再者,行驶路线信息存储部1321存储有车辆4过去的移动时刻,例如存储有过去的行驶路线上的预定位置的经过时刻。
时刻判定部124例如可以算出经过事件检测位置的行驶次数为预定次数以上的行驶路线经过事件检测位置的平均时刻,算出对于平均时刻前后加上预定时间的期间作为经过时间带。例如,经过事件检测位置的平均时刻为上午8点的情况下,时刻判定部124可以对作为平均时刻的上午8点前后加上30分钟,将上午7点30分~上午8点30分的期间作为经过时间带。再者,关于经过时间带不限定于上述,只要是能够判定车辆4过去是否在与事件检测时刻大致相同的时刻经过事件检测位置的时间带即可。
在判定为事件检测时刻包含于由车辆4过去经过事件检测位置时的移动时刻而确定的经过时间带的情况下,标签赋予控制部123经由通信部11将标签赋予指示信息向拍摄装置2B发送,所述标签赋予指示信息指示将表示包含检测到预定事件发生的时间点的预定期间的拍摄数据是反映危险状况的拍摄数据的标签信息赋予事件记录信息。
图14是表示本实施方式3中的拍摄装置的结构的框图。再者,本实施方式3的拍摄装置2B中,对与实施方式1的拍摄装置2相同的结构附带相同标记,并省略说明。
拍摄装置2B具备通信部21、拍摄部22、位置测定部23、时间测定部24、事件检测部25、控制部26B和存储部27。控制部26B例如是CPU,具备事件记录信息存储控制部261、事件检测信息发送控制部262B、标签赋予指示信息接收控制部263和标签赋予部264。
事件检测信息发送控制部262B经由通信部21,将至少包含位置信息和时刻信息的事件检测信息向管理装置1B发送,所述位置信息表示通过事件检测部25检测到预定事件发生的时间点的车辆4的位置,所述时刻信息表示检测到预定事件发生的时刻。当通过事件检测部25检测到预定事件发生时,事件检测信息发送控制部262B从位置测定部23获取拍摄装置2B的位置信息,并且从时间测定部24获取当前时刻。然后,事件检测信息发送控制部262B生成包含所获取的位置信息作为事件检测位置信息、并且包含所获取的时刻作为事件检测时刻信息的事件检测信息,将生成的事件检测信息向管理装置1B发送。
图15是用于说明本实施方式3中的管理装置的处理的流程图。
再者,图15所示的步骤S71~步骤S74的处理与图5所示的步骤S11~步骤S14的处理相同,因此省略说明。
在步骤S74中判定为事件检测位置不存在于车辆4的行驶路线上的情况下(步骤S74中为否),处理结束。
另一方面,在步骤S74中判定为事件检测位置存在于车辆4的行驶路线上的情况下(步骤S74中为是),时刻判定部124从通过事件检测信息获取部121获取的事件检测信息中提取事件检测时刻信息(步骤S75)。
接着,时刻判定部124判定事件检测时刻信息表示的事件检测时刻是否包含于由车辆4过去经过事件检测位置时的移动时刻而确定的经过时间带。在此,在判定为事件检测时刻不包含于经过时间带的情况下(步骤S76中为否),处理结束。
另一方面,在判定为事件检测时刻包含于经过时间带的情况下(步骤S76中为是),标签赋予控制部123经由通信部11将标签赋予指示信息向拍摄装置2B发送,所述标签赋予指示信息指示将表示包含检测到预定事件发生的时间点的预定期间的拍摄数据是反应危险状况的拍摄数据的标签信息赋予事件记录信息(步骤S77)。
再者,拍摄装置2B的处理与图8所示的实施方式1中的拍摄装置2的处理大致相同,仅图8的步骤S37的处理不同。本实施方式3中,在图8的步骤S37中,事件检测信息发送控制部262B经由通信部21将包含事件检测位置信息和事件检测时刻信息的事件检测信息向管理装置1B发送,所述事件检测位置信息表示在步骤S33中测定的检测到事件发生的时间点的位置,所述事件检测时刻信息表示在步骤S34中测定的检测到事件发生的时刻。
(实施方式4)
实施方式1中,危险判定部122判定事件检测位置是否是车辆4过去多次经过的位置。与此相对,在实施方式4中,管理装置获取表示检测到预定事件发生的时间点的车辆4的外部环境的环境信息,在判定为事件检测位置是车辆4过去多次经过的位置的情况下,判定环境信息表示的外部环境是否与车辆4过去经过事件检测位置时的外部环境一致。
即、在事件检测位置是车辆4过去多次经过的位置,并且检测到事件发生时的车辆4的外部环境与车辆4过去经过事件检测位置时的外部环境一致的情况下,发生的事件很有可能是由于危险状况而发生的。因此,能够使提取反映危险状况的拍摄图像的精度更高。
图16是表示本实施方式4中的管理装置的结构的框图。再者,本实施方式4的管理装置1C中,对与实施方式1的管理装置1相同的结构附带相同标记,并省略说明。
管理装置1C具备通信部11、控制部12C和存储部13C。控制部12C例如是CPU,具备事件检测信息获取部121、危险判定部122、标签赋予控制部123和外部环境判定部125。
存储部13C具备事件检测信息存储部131、行为历史信息存储部132C和其他装置信息存储部134。行为历史信息存储部132C具备行驶路线信息存储部1321。
事件检测信息获取部121经由通信部11获取由拍摄装置2B发送的事件检测信息。本实施方式3中的事件检测信息包含表示检测到预定事件发生的时间点的车辆4的位置的事件检测位置信息、表示检测到预定事件发生的时间点的车辆4的外部环境的事件检测环境信息、以及用于识别预定事件的事件识别信息,检测到所述预定时间发生作为通过设置于车辆4的拍摄装置2B的拍摄而得到的拍摄图像的存储的触发。
事件检测环境信息包含表示天气的信息、表示车辆4经过的道路是否拥堵的信息、以及表示车辆4的外部的亮度的信息之中的至少一者。
在通过危险判定部122判定为事件检测位置信息表示的事件检测位置是推定为驾驶员多次到访的位置的情况下,外部环境判定部125判定事件检测环境信息表示的外部环境是否与车辆4过去经过事件检测位置时的外部环境一致。再者,行驶路线信息存储部1321存储有车辆4过去的外部环境,例如存储有过去的行驶路线上的预定位置的外部环境。
在判定为检测到事件发生时的外部环境与车辆4过去经过事件检测位置时的外部环境一致的情况下,标签赋予控制部123经由通信部11将标签赋予指示信息向拍摄装置2C发送,所述标签赋予指示信息指示将表示包含检测到预定事件发生的时间点的预定期间的拍摄数据是反映危险状况的拍摄数据的标签信息赋予事件记录信息。
图17是表示本实施方式4中的拍摄装置的结构的框图。再者,本实施方式4的拍摄装置2C中,对与实施方式1的拍摄装置2相同的结构附带相同标记,并省略说明。
拍摄装置2C具备通信部21、拍摄部22、位置测定部23、时间测定部24、事件检测部25、控制部26C和存储部27。控制部26C例如是CPU,具备事件记录信息存储控制部261、事件检测信息发送控制部262C、标签赋予指示信息接收控制部263、标签赋予部264和环境信息获取部266。
环境信息获取部266获取表示检测到预定事件发生的时间点的车辆4的外部环境的事件检测环境信息。事件检测环境信息包含表示天气的信息、表示车辆4经过的道路是否拥堵的信息、以及表示车辆4的外部的亮度的信息之中的至少一者。
环境信息获取部266基于由拍摄部22拍摄的车辆4的外部的拍摄图像,判断车辆4的外部的天气是晴朗、下雨、下雪、还是阴天,生成表示天气的事件检测环境信息。再者,环境信息获取部266可以经由通信部21从外部装置获取事件检测位置的天气的信息。
另外,环境信息获取部266基于由拍摄部22拍摄的车辆4的外部的拍摄图像,判断车辆4经过的道路是否拥堵,生成表示车辆4经过的道路是否拥堵的事件检测环境信息。再者,环境信息获取部266可以经由通信部21从外部装置获取表示事件检测位置的道路是否拥堵的信息。
另外,环境信息获取部266基于由拍摄部22拍摄的车辆4的外部的拍摄图像,判断车辆4的外部的亮度,生成表示车辆4的外部的亮度的事件检测环境信息。再者,可以利用配置于车辆4的照度计测定车辆4的外部的亮度。
事件检测信息发送控制部262C经由通信部21将至少包含位置信息和事件检测环境信息的事件检测信息向管理装置1C发送,所述位置信息表示由事件检测部25检测到预定事件发生的时间点的车辆4的位置,所述事件检测环境信息表示检测到预定事件发生的时间点的车辆4的外部环境。当通过事件检测部25检测到预定事件时,事件检测信息发送控制部262C从位置测定部23获取拍摄装置2C的位置信息,并且从环境信息获取部266获取事件检测环境信息。然后,事件检测信息发送控制部262C生成包含所获取的位置信息作为事件检测位置信息、并且包含所获取的事件检测环境信息的事件检测信息,将生成的事件检测信息向管理装置1C发送。
图18是用于说明本实施方式4中的管理装置的处理的流程图。
再者,图18所示的步骤S81~步骤S84的处理与图5所示的步骤S11~步骤S14的处理相同,因此省略说明。
在步骤S84中判定为事件检测位置不存在于车辆4的行驶路线上的情况下(步骤S84中为否),处理结束。
另一方面,在步骤S84中判定为事件检测位置存在于车辆4的行驶路线上的情况下(步骤S84中为是),外部环境判定部125从通过事件检测信息获取部121获取的事件检测信息中提取事件检测环境信息(步骤S85)。
接着,时刻判定部124判定事件检测环境信息表示的外部环境是否与车辆4过去经过事件检测位置时的外部环境一致。在此,在判定为外部环境与车辆4过去经过事件检测位置时的外部环境不一致的情况下(步骤S86中为否),处理结束。
另一方面,在判定为外部环境与车辆4过去经过事件检测位置时的外部环境一致的情况下(步骤S86中为是),标签赋予控制部123经由通信部11将标签赋予指示信息向拍摄装置2C发送,所述标签赋予指示信息指示将表示包含检测到预定事件发生的时间点的预定期间的拍摄数据是反应危险状况的拍摄数据的标签信息赋予事件记录信息(步骤S87)。
图19是用于说明本实施方式4中的拍摄装置的处理的流程图。
再者,图19所示的步骤S91~步骤S94的处理与图8所示的步骤S31~步骤S34的处理相同,因此省略说明。
然后,环境信息获取部266获取表示预定事件发生的时间点的车辆4的外部环境的事件检测环境信息(步骤S95)。
图19所示的步骤S96~步骤S97的处理与图8所示的步骤S35~步骤S36的处理相同,因此省略说明。
接着,事件检测信息发送控制部262C经由通信部21将包含事件检测位置信息和事件检测环境信息的事件检测信息向管理装置1C发送,所述事件检测位置信息表示在步骤S93中测定的检测到事件发生的时间点的车辆4的位置,所述事件检测环境信息表示在步骤S95中获取的检测到事件发生的时间点的车辆4的外部环境(步骤S98)。
图19所示的步骤S99~步骤S101的处理与图8所示的步骤S38~步骤S40的处理相同,因此省略说明。
以上,对于本公开的系统,基于实施方式进行说明,但本公开并不限定于该实施方式。只要不脱离本公开的主旨,将本领域技术人员能够想到的各种变形施加于本实施方式而得到的方案、将不同的实施方式中的构成要素组合而构建的方案,都可以包含在本公开的一个或多个方案的范围内。
例如,上述各实施方式中,以管理装置1是服务器为例进行了说明,但管理装置1不限定于此。具体而言,管理装置1可以是上述的智能手机等终端装置。
另外,上述各实施方式中,以存储控制是标签赋予为例进行了说明,但存储控制也可以为是否存储。例如,取代标签赋予控制部123而设置存储控制部,存储控制部可以在通过危险判定部122判定为事件检测位置信息表示的位置是推定为驾驶员多次到访的位置的情况下存储拍摄图像,在没有判定为事件检测位置信息表示的位置是推定为驾驶员多次到访的位置的情况下不存储拍摄图像。
再者,上述各实施方式中,各构成要素可以由专用硬件构成,或通过执行适合于各构成要素的软件程序来实现。各构成要素可以通过CPU或处理器等程序执行部,读取并执行存储于硬盘或半导体存储器等存储介质的软件程序来实现。
本公开的实施方式涉及的装置的功能的一部分或全部,典型地作为集成电路LSI(Large Scale Integration:大规模集成电路)而实现。它们可以分别形成一个芯片,也可以在1个芯片中包含一部分或全部。另外,集成电路化并不限定于LSI,也可以由专用电路或通用处理器来实现。也可以利用能够LSI制造后编程的FPGA(Field Programmable GateArray:现场可编程门阵列)、或能够配置LSI内部的电路单元的连接和设定的可重构处理器。
另外,本公开的实施方式涉及的装置的功能的一部分或全部,也可以通过CPU等的处理器执行程序来实现。
另外,上述中使用的数字全都是为了对本公开进行具体说明而例示的,本公开并不限定于所例示的数字。
另外,上述流程图所示的各步骤执行的顺序,是为了对本公开进行具体说明而例示的,在可得到同样效果的范围内,也可以是上述以外的顺序。另外,上述步骤的一部分可以与其它步骤同时(并行)执行。
另外,只要不脱离本公开的主旨,对本公开的各实施方式实施本领域技术人员能够想到的范围内的变更而得到的各种变形例,也包含在本公开中。
产业可利用性
本公开涉及的信息处理方法、信息处理装置和信息处理程序,能够高效率地收集反映异常状况的拍摄图像,能够用作对通过设置于移动体的拍摄装置拍摄的拍摄图像进行处理的信息处理方法、信息处理装置和信息处理程序。
附图标记说明
1、1A、1B、1C 管理装置
2、2A、2B、2C 拍摄装置
4 车辆
5 通信网络
11 通信部
12、12A、12B、12C 控制部
13、13B、13C 存储部
21 通信部
22 拍摄部
23 位置测定部
24 时间测定部
25 事件检测部
26、26A、26B、26C 控制部
27 存储部
121 事件检测信息获取部
122 危险判定部
123、123A 标签赋予控制部
124 时刻判定部
125 外部环境判定部
131 事件检测信息存储部
132、132B、132C 行为历史信息存储部
133 相关人员信息存储部
134 其他装置信息存储部
261 事件记录信息存储控制部
262、262B、262C 事件检测信息发送控制部
263 标签赋予指示信息接收控制部
264 标签赋予部
265 分类控制部
266 环境信息获取部
271 自身装置信息存储部
272 其他装置信息存储部
273 拍摄信息存储部
274 事件记录信息存储部
1321 行驶路线信息存储部
1322 注册信息存储部
1323 驾驶员移动历史存储部

Claims (15)

1.一种信息处理方法,
获取表示检测到预定事件发生的时间点的移动体的位置的位置信息,检测到所述预定事件发生作为通过设置于所述移动体的拍摄装置的拍摄而得到的拍摄图像的存储的触发,
基于表示所述移动体的驾驶员的行为历史的行为历史信息以及关于所述驾驶员的相关人员的相关人员信息的至少一者,判定所述位置信息表示的位置是否是推定为所述驾驶员多次到访的位置,
根据所述位置信息表示的位置是否是推定为所述驾驶员多次到访的位置的判定,控制所述拍摄图像的存储。
2.根据权利要求1所述的信息处理方法,
所述行为历史信息包含所述移动体的移动历史,
所述判定包括基于所述移动体的移动历史,判定所述位置信息表示的位置是否是所述移动体过去多次经过的位置。
3.根据权利要求1所述的信息处理方法,
所述行为历史信息包含对所述移动体预先注册的路线或目的地,
所述判定包括判定所述位置信息表示的位置是否是所述路线上存在的位置、或所述位置信息表示的位置是否是距离所述目的地预定范围内存在的位置。
4.根据权利要求1所述的信息处理方法,
所述行为历史信息包含所述驾驶员的移动历史,
所述判定包括基于所述驾驶员的移动历史,判定所述位置信息表示的位置是否是所述驾驶员过去多次经过的位置。
5.根据权利要求1所述的信息处理方法,
所述行为历史信息包含作为所述驾驶员实施了特定行为的场所而预先注册的实施场所,
所述判定包括判定所述位置信息表示的位置是否是距离所述实施场所预定范围内存在的位置。
6.根据权利要求1所述的信息处理方法,
所述相关人员信息包含作为所述相关人员居住的场所而预先注册的居住场所,
所述判定包括判定所述位置信息表示的位置是否是距离所述居住场所预定范围内存在的位置。
7.根据权利要求1~6的任一项所述的信息处理方法,
所述拍摄图像的存储控制包括将所述拍摄图像分类存储。
8.根据权利要求7所述的信息处理方法,
将所述拍摄图像分类存储,包括:
在判定为所述位置信息表示的位置是推定为所述驾驶员多次到访的位置的情况下,将表示是推定为所述驾驶员多次到访的位置的标签赋予所述拍摄图像并存储,或者
在没有判定为所述位置信息表示的位置是推定为所述驾驶员多次到访的位置的情况下,将表示不是推定为所述驾驶员多次到访的位置的标签赋予所述拍摄图像并存储。
9.根据权利要求7所述的信息处理方法,
所述判定包括进行以下第1~第5判定处理中的至少一者,
第1判定处理中,基于所述移动体的移动历史,判定所述位置信息表示的位置是否是所述移动体过去多次经过的位置,
第2判定处理中,判定所述位置信息表示的位置是否是对所述移动体预先注册的路线上存在的位置、或所述位置信息表示的位置是否是距离对所述移动体预先注册的目的地预定范围内存在的位置,
第3判定处理中,基于所述驾驶员的移动历史,判定所述位置信息表示的位置是否是所述驾驶员过去多次经过的位置,
第4判定处理中,判定所述位置信息表示的位置是否是距离作为所述相关人员居住的场所而预先注册的居住场所预定范围内存在的位置,
第5判定处理中,判定所述位置信息表示的位置是否是距离作为所述驾驶员实施了特定行为的场所而预先注册的实施场所预定范围内存在的位置,
所述拍摄图像的存储控制包括根据所述第1判定处理、所述第2判定处理、所述第3判定处理、所述第4判定处理和所述第5判定处理之中的至少一者的判定结果,按所进行的每个判定处理,将所述拍摄图像分类存储。
10.根据权利要求1~6的任一项所述的信息处理方法,
所述拍摄图像的存储控制,包括:
在判定为所述位置信息表示的位置是推定为所述驾驶员多次到访的位置的情况下,存储所述拍摄图像,
在没有判定为所述位置信息表示的位置是推定为所述驾驶员多次到访的位置的情况下,不存储所述拍摄图像。
11.根据权利要求1所述的信息处理方法,
还获取表示检测到所述预定事件发生的时刻的时间信息,
所述行为历史信息包含所述移动体的移动历史和所述移动体的移动时刻,
所述信息处理方法还进行第6判定处理,
所述第6判定处理中,在判定为所述位置信息表示的位置是所述移动体过去多次经过的位置的情况下,判定所述时间信息表示的时刻是否包含在由所述移动体过去经过所述位置时的所述移动时刻确定的经过时间带中,
根据所述判定和所述第6判定处理,控制所述拍摄图像的存储。
12.根据权利要求1所述的信息处理方法,
还获取表示检测到所述预定事件发生的时间点的所述移动体的外部环境的环境信息,
所述行为历史信息包含所述移动体的移动历史和所述移动体移动时的所述外部环境,
所述信息处理方法还进行第7判定处理,
所述第7判定处理中,在判定为所述位置信息表示的位置是推定为所述驾驶员多次到访的位置的情况下,判定所述环境信息表示的所述外部环境是否与所述移动体过去经过所述位置时的所述外部环境一致,
根据所述判定和所述第7判定处理,控制所述拍摄图像的存储。
13.根据权利要求12所述的信息处理方法,
所述环境信息包含表示天气的信息、表示所述移动体经过的道路是否拥堵的信息、以及表示所述移动体的外部的亮度的信息之中的至少一者。
14.一种信息处理装置,具备获取部、判定部和存储控制部,
所述获取部获取表示检测到预定事件发生的时间点的移动体的位置的位置信息,检测到所述预定事件发生作为通过设置于所述移动体的拍摄装置的拍摄而得到的拍摄图像的存储的触发,
所述判定部基于表示所述移动体的驾驶员的行为历史的行为历史信息以及关于所述驾驶员的相关人员的相关人员信息的至少一者,判定所述位置信息表示的位置是否是推定为所述驾驶员多次到访的位置,
所述存储控制部根据所述位置信息表示的位置是否是推定为所述驾驶员多次到访的位置的判定,控制所述拍摄图像的存储。
15.一种信息处理程序,能够由计算机执行,
获取表示检测到预定事件发生的时间点的移动体的位置的位置信息,检测到所述预定事件发生作为通过设置于所述移动体的拍摄装置的拍摄而得到的拍摄图像的存储的触发,
基于表示所述移动体的驾驶员的行为历史的行为历史信息以及关于所述驾驶员的相关人员的相关人员信息的至少一者,判定所述位置信息表示的位置是否是推定为所述驾驶员多次到访的位置,
根据所述位置信息表示的位置是否是推定为所述驾驶员多次到访的位置的判定,控制所述拍摄图像的存储。
CN201880001560.5A 2017-07-27 2018-03-20 信息处理方法、信息处理装置和记录介质 Active CN109564724B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2017145085 2017-07-27
JP2017-145085 2017-07-27
JP2018036598A JP7007216B2 (ja) 2017-07-27 2018-03-01 情報処理方法、情報処理装置及び情報処理プログラム
JP2018-036598 2018-03-01
PCT/JP2018/010955 WO2019021526A1 (ja) 2017-07-27 2018-03-20 情報処理方法、情報処理装置及び情報処理プログラム

Publications (2)

Publication Number Publication Date
CN109564724A true CN109564724A (zh) 2019-04-02
CN109564724B CN109564724B (zh) 2022-08-12

Family

ID=65476332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880001560.5A Active CN109564724B (zh) 2017-07-27 2018-03-20 信息处理方法、信息处理装置和记录介质

Country Status (4)

Country Link
US (1) US10785404B2 (zh)
EP (1) EP3660805A4 (zh)
JP (1) JP7007216B2 (zh)
CN (1) CN109564724B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110082128A (zh) * 2019-05-16 2019-08-02 中国汽车工程研究院股份有限公司 一种面向自然驾驶数据的危险片段采集系统及其方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102466310B1 (ko) * 2018-01-09 2022-11-15 삼성전자주식회사 차량에 부착된 전자 장치 및 그 제어 방법
JP7254000B2 (ja) * 2019-08-02 2023-04-07 株式会社デンソーテン 画像配信装置及び方法並びに画像配信システム
JP2021179718A (ja) * 2020-05-12 2021-11-18 トヨタ自動車株式会社 システム、移動体、及び、情報処理装置
JP7508971B2 (ja) * 2020-06-19 2024-07-02 株式会社Jvcケンウッド 車両用記録装置、車両用記録制御方法およびプログラム
US12099962B2 (en) * 2020-12-31 2024-09-24 Yum Connect, LLC Methods and systems for detecting delivery trip events and improving delivery driver safety
KR102843871B1 (ko) * 2022-06-14 2025-08-11 한국도로공사 차량수집영상 기반의 이동식 돌발 상황 검지 시스템

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007067772A2 (en) * 2005-12-08 2007-06-14 Smartdrive Systems, Inc. Vehicle event recorder systems
JP2010003110A (ja) * 2008-06-20 2010-01-07 Panasonic Corp 車載用動画像データ記録装置
CN101821780A (zh) * 2007-10-12 2010-09-01 富士通天株式会社 图像记录条件设定装置、图像记录条件设定方法和行车记录器
JP2012247847A (ja) * 2011-05-25 2012-12-13 Denso Corp 車両用情報伝達制御装置、及び、情報伝達制御方法
JP2013117777A (ja) * 2011-12-01 2013-06-13 Yazaki Energy System Corp ドライブレコーダおよび走行データ転送システム
US20150191122A1 (en) * 2014-01-06 2015-07-09 Harman International Industries, Incorporated In-vehicle notification presentation scheduling
US20150211870A1 (en) * 2014-01-28 2015-07-30 GM Global Technology Operations LLC Method for using street level images to enhance automated driving mode for vehicle
CN105279878A (zh) * 2015-10-27 2016-01-27 柳州市华航消防设备有限公司 无线视频防盗自动报警系统及其方法
CN105282251A (zh) * 2015-10-30 2016-01-27 小米科技有限责任公司 叫车方法和装置
CN105466449A (zh) * 2015-11-20 2016-04-06 沈阳美行科技有限公司 一种车辆环境信息的播放方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004075137A1 (ja) * 2003-02-19 2004-09-02 Matsushita Electric Industrial Co., Ltd. 情報提供装置
CN101655961A (zh) * 2003-09-05 2010-02-24 松下电器产业株式会社 访问场所确定装置及访问场所确定方法
US20100100507A1 (en) * 2008-09-04 2010-04-22 United Parcel Service Of America, Inc. Determining Vehicle Visit Costs To A Geographic Area
US10453004B2 (en) * 2008-09-04 2019-10-22 United Parcel Service Of America, Inc. Vehicle routing and scheduling systems
US20100185486A1 (en) * 2009-01-21 2010-07-22 Disney Enterprises, Inc. Determining demand associated with origin-destination pairs for bus ridership forecasting
CA2754159C (en) * 2009-08-11 2012-05-15 Certusview Technologies, Llc Systems and methods for complex event processing of vehicle-related information
JP5651994B2 (ja) * 2010-05-17 2015-01-14 富士通株式会社 運転支援装置
US10685364B2 (en) * 2014-02-27 2020-06-16 Here Global B.V. Method and apparatus for causing a recommendation of a point of interest
JP2015176324A (ja) * 2014-03-14 2015-10-05 株式会社デンソー 車両用警告装置
US10083620B2 (en) * 2016-07-29 2018-09-25 Nissan North America, Inc. Smart tutorial that learns and adapts
EP3513265B1 (en) * 2016-09-14 2024-09-18 Nauto, Inc. Method for near-collision determination
US20180096433A1 (en) * 2016-10-03 2018-04-05 At&T Intellectual Property I, L.P. Calculation of Differential for Insurance Rates
US10911725B2 (en) * 2017-03-09 2021-02-02 Digital Ally, Inc. System for automatically triggering a recording
US10458349B2 (en) * 2017-12-13 2019-10-29 GM Global Technology Operations LLC Method of start/stop engine control based on location information

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007067772A2 (en) * 2005-12-08 2007-06-14 Smartdrive Systems, Inc. Vehicle event recorder systems
CN101821780A (zh) * 2007-10-12 2010-09-01 富士通天株式会社 图像记录条件设定装置、图像记录条件设定方法和行车记录器
JP2010003110A (ja) * 2008-06-20 2010-01-07 Panasonic Corp 車載用動画像データ記録装置
JP2012247847A (ja) * 2011-05-25 2012-12-13 Denso Corp 車両用情報伝達制御装置、及び、情報伝達制御方法
JP2013117777A (ja) * 2011-12-01 2013-06-13 Yazaki Energy System Corp ドライブレコーダおよび走行データ転送システム
US20150191122A1 (en) * 2014-01-06 2015-07-09 Harman International Industries, Incorporated In-vehicle notification presentation scheduling
US20150211870A1 (en) * 2014-01-28 2015-07-30 GM Global Technology Operations LLC Method for using street level images to enhance automated driving mode for vehicle
CN105279878A (zh) * 2015-10-27 2016-01-27 柳州市华航消防设备有限公司 无线视频防盗自动报警系统及其方法
CN105282251A (zh) * 2015-10-30 2016-01-27 小米科技有限责任公司 叫车方法和装置
CN105466449A (zh) * 2015-11-20 2016-04-06 沈阳美行科技有限公司 一种车辆环境信息的播放方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110082128A (zh) * 2019-05-16 2019-08-02 中国汽车工程研究院股份有限公司 一种面向自然驾驶数据的危险片段采集系统及其方法
CN110082128B (zh) * 2019-05-16 2020-03-31 中国汽车工程研究院股份有限公司 一种面向自然驾驶数据的危险片段采集系统及其方法

Also Published As

Publication number Publication date
JP2019028986A (ja) 2019-02-21
EP3660805A1 (en) 2020-06-03
US20190082099A1 (en) 2019-03-14
CN109564724B (zh) 2022-08-12
JP7007216B2 (ja) 2022-01-24
US10785404B2 (en) 2020-09-22
EP3660805A4 (en) 2020-08-05

Similar Documents

Publication Publication Date Title
CN109564724A (zh) 信息处理方法、信息处理装置和信息处理程序
EP3078937B1 (en) Vehicle position estimation system, device, method, and camera device
EP4132030B1 (en) Verifying sensor data using embeddings
CN116391161A (zh) 在自主载具运行期间模拟情景的载具内操作
JP2014191664A (ja) 車両追跡プログラム、画像送信プログラム、サーバ装置、情報処理装置および車両追跡方法
JP2022538097A (ja) ナビゲート可能なネットワークに関するユーザ提供データの収集
US20220028262A1 (en) Systems and methods for generating source-agnostic trajectories
CN109564095A (zh) 出于路径选择或导航目的使用虚拟探测点的方法和设备
CN117392620A (zh) 一种交通行为的识别方法、装置、存储介质和电子设备
JP2018010535A (ja) 固定カメラ、サーバ、道路情報更新システム、および情報処理プログラム
CN113362645A (zh) 通信装置、车辆、计算机可读存储介质以及通信方法
JP5977681B2 (ja) 移動体端末の位置情報を用いた交通情報提供システム
CN114096996A (zh) 在交通中使用增强现实的方法和装置
JP6857211B2 (ja) 情報処理方法およびサーバ装置
JP6987199B2 (ja) 予測装置および予測システム
JP2020193956A5 (zh)
JP2020193956A (ja) 車載装置、運転支援方法、および運転支援システム
JP6933069B2 (ja) 経路探索装置
US20180073881A1 (en) Computer-Implemented Method, System, and Computer Program Product for Detecting Modes of Transportation of a User
JP7349472B2 (ja) 警告制御装置、移動体、警告制御方法及びプログラム
JP2021026354A (ja) 情報提供システム、情報提供装置、情報提供方法及びプログラム
CN115359671A (zh) 一种路口车辆协同控制方法及相关设备
JP2024025811A (ja) 地図データ管理装置、地図データ管理方法及びプログラム
CN108010319B (zh) 一种道路状态的识别方法及装置
JP2020193955A (ja) 運転情報提供システム、車載装置、および運転情報提供方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant