[go: up one dir, main page]

CN114291008B - 车辆用智能体装置、车辆用智能体系统以及计算机可读存储介质 - Google Patents

车辆用智能体装置、车辆用智能体系统以及计算机可读存储介质 Download PDF

Info

Publication number
CN114291008B
CN114291008B CN202111151427.8A CN202111151427A CN114291008B CN 114291008 B CN114291008 B CN 114291008B CN 202111151427 A CN202111151427 A CN 202111151427A CN 114291008 B CN114291008 B CN 114291008B
Authority
CN
China
Prior art keywords
vehicle
information
unit
function
occupant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111151427.8A
Other languages
English (en)
Other versions
CN114291008A (zh
Inventor
中野景子
久保智景
前田英一
西泽博之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN114291008A publication Critical patent/CN114291008A/zh
Application granted granted Critical
Publication of CN114291008B publication Critical patent/CN114291008B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593Recognising seat occupancy
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881Seat occupation; Driver or passenger presence
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/043Identity of occupants
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/10Historical data
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供一种车辆用智能体装置、车辆用智能体系统以及计算机可读存储介质。从车载器接收拍摄图像以及车辆信息,并根据拍摄图像来对乘员进行识别,从而对识别出的乘员的属性进行特定,对与所特定的属性相对应的车辆的功能进行检索,并将对车辆的功能进行引导的动画作为说明信息而发送至车载器。

Description

车辆用智能体装置、车辆用智能体系统以及计算机可读存储 介质
技术领域
本公开涉及一种实施装置的说明和操作的说明等的智能体装置、车辆用智能体系统以及计算机可读存储介质。
背景技术
日本特开2001-141500号公报(专利文献1)公开了一种提供与各种车载单元的操作有关系的信息的车辆用智能体处理装置。详细而言,当在作为由无线通信部接收到的信号而被给予了包含自然的嗓音在内的语音信息时,车辆智能体处理装置会在实施了语音识别后,在为电子邮件的情况下就此分别实施句法结构解析并进行意思解释,且取舍选择出与汽车内的各种车载单元的操作有关系的信息并优先对之进行归纳,从而对该信息进行语音合成并从扬声器输出。此外,在被推断为需要各种车载单元的操作的情况下,由智能体处理部自动地对该意思进行判断,并附加该车载单元的操作引导信息而进行语音引导。
发明内容
发明所要解决的课题
虽然在专利文献1的车辆用智能体处理装置中能够对车载单元的操作引导信息进行语音引导,但如果考虑到向乘员引导车辆中所装备的功能的那样的情况,则由于在不对乘员进行区分的条件下一律实施相同的语音引导具有根据乘员的不同而实施不必要的引导的可能性,因此存在改善的余地。
因此,本公开的目的在于,提供一种在向乘员引导车辆的功能时能够针对每个乘员而分别进行适当的引导的车辆用智能体装置、车辆用智能体系统以及车辆用智能体程序。
用于解决课题的方法
第一方式所涉及的车辆用智能体装置包括:识别部,其对乘坐于车辆中的乘员进行识别;特定部,其对由所述识别部而识别出的所述乘员的属性进行特定;控制部,其实施如下的控制,即,将对所述车辆所具有的功能中的、与所述特定部所特定的所述属性相对应的所述功能进行引导的动态图像的引导信息输出至被搭载在车辆上的车载器。
根据第一方式,在识别部中,对乘坐于车辆中的乘员进行识别,在特定部中,对由识别部而识别出的乘员的属性进行特定。作为属性的一个示例,可列举出乘员的驾驶技术、驾驶倾向、功能认识度、车辆的功能的利用有无等。
而且,在控制部中实施如下的控制,即,将对车辆所具有的功能中的、与特定部所特定的属性相对应的功能进行引导的动态图像的引导信息输出至被搭载在车辆上的车载器。由此,由于对与乘员的属性相应的功能的说明进行引导,因此在对车辆的功能进行引导时,能够针对每个乘员而分别进行适当的引导。
另外,也可以采用如下的方式,即,所述控制部还实施针对于与预先设定的条件相应的播放时间来对所述引导信息进行调整的处理,并将该引导信息输出至车载器。由此,由于能够以根据预先设定的条件而对播放时间进行了调整的动态图像来对功能进行引导,因此能够以与乘员的状况相应的播放时间来对功能的说明进行视听。
此外,也可以采用如下的方式,即,所述播放时间的调整为,对播放速度以及播放的内容数量中的至少一方进行调整。如此,通过对播放速度以及内容数量中的至少一方进行调整,从而能够对播放时间进行调整。
此外,也可以采用如下的方式,即,所述车载器在所述车辆的状况为不影响预先设定的驾驶的状况的情况下,以所述动态图像来对所述功能进行引导。由此,由于在为不影响驾驶的状况的情况下以动态图像来对功能进行引导,因此能够确保在以动态图像来对功能的引导进行视听时的安全。
此外,也可以采用如下的方式,即,所述控制部输出与所述属性相对应的所述功能中的、在预先设定的利用频率以下的所述功能或未利用的期间在预先设定的期间以上的所述功能的所述引导信息。由此,使得向乘员引导并不太利用而忘记了的功能成为可能。
此外,也可以采用如下的方式,即,所述控制部将由所述识别部识别出的乘员所乘坐的车型历史作为所述属性而进行特定,并根据所述识别部识别出的乘员的所述车型历史,而输出当前正在乘坐的车辆的所述功能中的、包括过往的车辆在内而并未利用过的所述功能的所述引导信息。由此,使得向乘员引导包括乘员过往利用过的车型历史在内而不了解的的功能成为可能。
此外,也可以采用如下的方式,即,所述控制部将由所述识别部识别出的乘员所乘坐的车型历史作为所述属性进行特定,并根据所述识别部识别出的乘员的所述车型历史,而输出与过往的操作方法不同的操作方法的所述功能的所述引导信息。由此,使得向乘员提议与过往乘坐过的车辆的操作方法为不同的操作方法的功能成为可能。
此外,也可以采用如下的方式,即,还包括:意图理解部,其对发声内容的意图进行理解;生成部,其生成对于由所述意图理解部理解到的发声内容的回复信息。由此,使得通过对话来与乘员进行对话成为可能。
另外,也可以设为一种车辆用智能体系统,包括:上述车辆用智能体装置;车载器,其被设置在车辆上,并取得用于由所述识别部来进行识别的信息,且接收由所述控制部所输出的所述引导信息并进行播放。
此外,也可以设为一种非临时性的计算机可读存储介质,其使计算机执行被存储在计算机可读存储介质中的、用于使计算机作为上述车辆用智能体装置而发挥功能的车辆用智能体程序。
发明效果
如以上所说明的那样,根据本公开,能够提供一种在向乘员引导车辆的功能时能够针对每个乘员而分别进行适当的引导的车辆用智能体装置、车辆用智能体系统以及计算机可读存储介质。
附图说明
图1为表示本实施方式所涉及的车辆用智能体系统的概要结构的图。
图2为表示本实施方式的车辆的硬件结构的一个示例的框图。
图3为表示本实施方式的智能体服务器的硬件结构的框图。
图4为表示车载器以及智能体服务器的功能结构的功能框图。
图5为表示在本实施方式所涉及的车辆用智能体系统中,在乘员乘坐于车辆中时由车载器所实施的处理的流程的一个示例的流程图。
图6为表示在本实施方式所涉及的车辆用智能体系统中,在从车载器被发送出拍摄图像以及车辆信息的情况下由智能体服务器所实施的处理的流程的一个示例的流程图。
图7为表示在本实施方式所涉及的车辆用智能体系统中,乘员经由车载器来与智能体服务器对话时的由车载器所实施的处理的流程的一个示例的流程图。
图8为表示在本实施方式所涉及的车辆用智能体系统中,乘员经由车载器来与智能体服务器对话时的由智能体服务器所实施的处理的流程的一个示例的流程图。
具体实施方式
以下,参照附图来对本发明的实施方式的一个示例进行详细的说明。在本实施方式中,作为一个示例而对向乘员提供与车辆的功能相关的信息的车辆用智能体系统进行说明。图1为表示本实施方式所涉及的车辆用智能体系统的概要结构的图。
如图1所示,车辆用智能体系统10被构成为,包括多个车辆14、和作为车辆用智能体装置的一个示例的智能体服务器12的服务器网络系统。
在各车辆14上搭载有车载器16,并经由通信网络18来实施智能体服务器12与车载器16之间的通信。
接下来,对车辆14的硬件结构进行说明。图2为表示本实施方式的车辆的硬件结构的一个示例的框图。
如图2所示,车辆14被构成为,包括车载器16、多个ECU20、话筒22、扬声器24、监视器26和摄像机28。
车载器16被构成为,包括CPU(Central Processing Unit:中央处理器)16A、ROM(Read Only Memory:只读存储器)16B、RAM(Random Access Memory,随机存取存储器)16C、车内通信I/F(Inter Face,接口)16D、无线通信I/F16E、以及输入输出I/F16F。CPU16A、ROM16B、RAM16C、车内通信I/F16D、无线通信I/F16E、以及输入输出I/F16F经由内部总线16G而以能够相互通信的方式被连接在一起。
CPU16A为中央运算处理单元,其执行各种程序或对各部分进行控制。即,CPU16A从ROM16B中读取程序,并将RAM16C作为工作区来执行程序。
ROM16B对各种程序以及各种数据进行存储。在本实施方式的ROM16B中,存储有用于对车载器16进行控制的控制程序。
如上文所述,RAM16C作为由CPU16A执行各种程序时的工作区而临时性地对程序或者数据进行存储。
车内通信I/F16D为用于与ECU20进行连接的接口。该接口使用了基于CAN协议的通信标准。车内通信I/F16D与外部总线16H相连接。ECU20针对车辆14的每个功能而分别被设置有多个。作为本实施方式的ECU20,可例示出车辆控制ECU、发动机ECU、制动器ECU、车身ECU、多媒体ECU等。
无线通信I/F16E为用于与智能体服务器12进行通信的无线通信模块。该无线通信模块例如使用了5G、LTE、Wi-Fi(注册商标)等通信标准。无线通信I/F16E与通信网络18相连接。
输入输出I/F16F为,用于与被搭载在车辆14上的话筒22、扬声器24、监视器26以及摄像机28进行通信的接口。
话筒22为,被设置在车辆14的前柱或车厢前壁等上、且对乘员所发出的语音进行收音的装置。
扬声器24被设置在车门内部装饰件等上,且其输出音乐、或基于从智能体服务器12接收到的信息而生成的语音等。
监视器26为,被设置在中央控制台或仪表面板上、且用于显示各种信息的液晶监视器等监视器。监视器26也可以被设置为包括输入开关等操作部的触摸面板。
摄像机28例如被设置在车内后视镜的附近等车厢内,并对驾驶员等乘员进行拍摄。在本实施方式中,为了对乘员进行特定而主要对乘员的脸部进行拍摄。
接下来,对智能体服务器12的硬件结构进行说明。图3为表示本实施方式的智能体服务器12的硬件结构的框图。
如图3所示,智能体服务器12被构成为,包括CPU12A、ROM12B、RAM12C、储存器12D以及通信I/F12E。CPU12A、ROM12B、RAM12C、储存器12D以及通信I/F12E经由内部总线12G而以能够相互通信的方式被连接在一起。CPU12A、ROM12B、RAM12C以及通信I/F12E的功能与上述的车载器16的CPU16A、ROM16B、RAM16C以及无线通信I/F16E相同。
储存器12D由HDD(Hard Disk Drive:硬盘驱动器)或者SSD(Solid State Drive:固态硬盘)等存储装置而构成,并对各种程序以及各种数据进行存储。
CPU12A从储存器12D中读取程序,并将RAM12C作为工作区来执行程序。
在本实施方式的储存器12D中存储有处理程序30以及数据组32。处理程序30为,用于实现智能体服务器12所具有的各功能的程序。
接下来,对车载器16以及智能体服务器12的各自的功能结构进行说明。图4为表示车载器16以及智能体服务器12的功能结构的功能框图。
车载器16通过CPU16A将被储存在ROM16B中的程序在RAM16C中展开并执行,从而具有拍摄控制部50、车辆信息取得部52、语音输入处理部54、输出处理部56以及通信部58的功能。
拍摄控制部50对由被设置在车厢内的摄像机28所实施的拍摄进行控制,并为了对乘员进行识别而实施乘员的脸部等的拍摄,从而生成表示拍摄图像的图像信息。
车辆信息取得部52取得搭载有车载器16的车辆的各种信息。作为所取得的车辆的信息,例如可列举出对车型进行识别的信息、对车辆进行识别的信息、与行驶相关的信息、以及被搭载在车辆14上的各种传感器的检测结果等,但在本实施方式中,至少取得对车型进行识别的信息以及对车辆进行识别的信息。
语音输入处理部54实施通过话筒22来对乘员的发声进行收音从而生成语音信息的处理。
输出处理部56实施将对于经由通信部58而从智能体服务器12接收到的乘员的发声的回复信息和从智能体服务器12接收到的信息作为语音而从扬声器24输出的处理、以及在监视器26上对该信息进行显示的处理等。
通信部58与智能体服务器12确立通信,并实施信息的发送及接收。例如,实施将表示由摄像机28所拍摄到的拍摄图像的图像信息、车辆信息、和由语音输入处理部54所生成的语音信息向智能体服务器12发送并且从智能体服务器12接收各种信息的处理。
另一方面,智能体服务器12通过CPU12A将被储存在ROM12B中的程序在RAM12C中展开并执行,从而具有多个功能。作为该多个功能,具有控制部70、作为生成部的一个示例的对话控制部60、意图理解部62、作为识别部的一个示例的个人识别部64、作为特定部的一个示例的属性特定部66、DB(数据库)68以及通信部72的功能。
对话控制部60将从车载器16接收到的语音信息转换为文本信息并将之输出至意图理解部62。此外,对话控制部60实施基于意图理解部62的意图理解来生成回复信息的处理。回复信息的生成例如为,预先对与意图理解结果相应的回复进行存储,并提取出对应的回复从而生成回复信息。
意图理解部62为了理解乘员的发声的意图,从而基于被转换成的文本信息来实施文本信息所表示的意图理解。由于意图理解应用众所周知的各种技术来理解乘员的发声的意图,因此省略详细的说明。
个人识别部64实施基于从车载器16接收到的乘员的拍摄图像而从被预先登记在DB68中的利用者中对乘员进行识别的处理。
属性特定部66基于被储存在DB68中的信息,来对个人识别部64识别出的乘员的驾驶技术、驾驶倾向、功能认识度、车辆的功能的利用有无等属性进行特定。
DB68为被设置在储存器12D内的区域中的存储区域,在DB68中储存有用于理解文本信息的意图的信息、用于对个人进行识别的信息、用于对属性进行特定的信息、对每个车辆的功能进行引导的信息等各种信息。另外,也可以设为,对每个车辆的功能进行引导的信息包含与功能自身相关的信息、以及与用于使用该功能的操作方法相关的信息中的至少一方的信息。
控制部70对经由通信部72而实施的信息的发送接收进行控制。例如,控制部70实施如下的处理,即,通过从DB68中提取出对与由个人识别部64所识别出且由属性特定部66所特定的乘员的属性相对应的车辆的功能进行引导的信息(文字信息或动态图像等),并从所提取出的信息中将乘员所乘坐的车辆的信息发送至车载器16,从而将对车辆的功能进行引导的息作为引导信息来输出。另外,在从DB68中提取对与乘员的属性相对应的功能进行引导的信息时,也可以提取对与属性相对应的所述功能中的、在预先设定的利用频率以下的功能或未利用的期间在预先设定的期间以上的功能进行引导的信息。或者,也可以将车型历史作为属性来进行特定,并从乘员的车型历史中提取当前正在乘坐的车辆的功能中的、包括过往的车辆在内而并未利用过的功能。或者,也可以将乘员所乘坐的车型历史作为属性来进行特定,并从乘员的所述车型历史中提取与过往的操作方法不同的操作方法的功能。此外,作为对车辆的功能进行引导的信息,既可以提取与功能本身相关的信息,也可以提取与用于使用车辆的功能的操作方法相关的信息来作为引导信息,还可以提取与车辆的功能本身相关的信息、和与用于使用该功能的操作方法相关的信息。
此外,控制部70在输出对车辆的功能进行引导的动态图像时,实施根据预先设定的条件(例如,与日期是星期几、时段、以及车辆的预测停止时间中的至少一个时间相关联的关联信息等条件)来对动态图像的播放时间进行调整的处理。播放时间的调整为,通过对播放速度以及内容数量中的至少一方进行调整来实施播放时间的调整。
通信部72与车载器16确立通信,从而实施信息的发送或接收。例如,实施从车载器16接收表示拍摄图像的图像信息、车辆信息以及语音信息,并且从智能体服务器12向车载器16发送设备的说明信息等各种信息的处理。
接下来,对以上述方式而构成的本实施方式所涉及的车辆用智能体系统10的各部分所实施的具体的处理进行说明。
首先,对乘员乘坐于车辆14中时由车载器16所实施的处理的流程的一个示例进行说明。图5为表示在本实施方式所涉及的车辆用智能体系统10中,在乘员乘坐于车辆14中时由车载器16所实施的处理的流程的一个示例的流程图。另外,图5的处理在乘员乘坐在车辆14中时开始进行。例如,既可以在点火开关被开启的情况下开始进行,也可以在通过落座传感器等而检测到乘员的乘车的情况下开始进行。
在步骤100中,CPU16A通过摄像机28而对乘员进行拍摄,并向步骤102转移。即,拍摄控制部50对由被设置在车厢内的摄像机28实施的拍摄进行控制,且为了对乘员进行识别而实施乘员的脸部等的拍摄。
在步骤102中,CPU16A取得车辆信息,并向步骤104转移。即,车辆信息取得部52取得至少包含对搭载有车载器16的车辆的车型进行识别的信息以及对车辆进行识别的信息的车辆信息。
在步骤104中,CPU16A将拍摄图像以及车辆信息发送至智能体服务器12,并向步骤106转移。即,通信部58与智能体服务器12确立通信,并将拍摄图像以及车辆信息发送至智能体服务器12。
在步骤106中,CPU16A对是否从智能体服务器12接收到了功能的说明信息进行判断。该判断为,对是否通过下文叙述的智能体服务器12的处理而接收到了智能体服务器12所发送的功能的说明信息进行判断。在该判断被肯定的情况下向步骤108转移,在被否定的情况下结束一系列处理。
在步骤108中,CPU16A对是否为功能说明时刻进行判断。该判断例如为,对是否为正处于停止等不会给驾驶带来影响的预先设定的状况等进行判断。待机至该判断被肯定为止,并向步骤110转移。
在步骤110中,CPU16A对功能说明进行引导,并结束一系列处理。例如,输出处理部56实施将经由通信部58而从智能体服务器12接收到的设备的说明信息作为语音而从扬声器24输出的处理、或在监视器26上对该信息进行显示的处理等。在本实施方式中,基于对与乘员的属性相对应的车辆的功能进行引导的信息,来对功能说明进行引导。例如,对与驾驶员的驾驶技术、驾驶倾向、功能认识度、功能的利用的有无、车辆历史等乘员的属性相应的车辆的功能说明进行提议。由此,在向乘员引导车辆的功能时,能够针对每个乘员而分别进行适当的引导。此外,由于在对驾驶没有妨碍的状况下等的功能说明时刻处实施功能说明,因此能够确保以动画方式来对功能的引导进行视听时的安全。
接下来,对在从车载器16被发送出拍摄图像以及车辆信息的情况下由智能体服务器12所实施的处理的流程的一个示例进行说明。图6为表示在本实施方式所涉及的车辆用智能体系统10中,在从车载器16被发送出拍摄图像以及车辆信息的情况下由智能体服务器12所实施的处理的流程的一个示例的流程图。另外,图6的处理在通过上述的步骤104而使得拍摄图像以及车辆信息从车载器16被发送至智能体服务器12的情况下开始进行。
在步骤150中,CPU12A从车载器16接收拍摄图像以及车辆信息,并向步骤152转移。即,接收在上述的步骤104中从车载器16被发送出的拍摄图像以及车辆信息。
在步骤152中,CPU12A根据接收到的拍摄图像来对乘员进行识别,并向步骤154转移。即,个人识别部64实施基于从车载器16接收到的乘员的拍摄图像而从被预先登记的利用者中对乘员进行识别的处理。例如,预先将拍摄到了乘员的脸部的图像、和乘员的信息(例如,姓名、住址、年龄等个人信息)登记在智能体服务器12中。而且,通过使用接收到的拍摄图像来对登记信息进行检索,并对相对应的乘员进行特定,从而对相对应的乘员进行识别。
在步骤154中,CPU12A对识别出的乘员的属性进行特定,并向步骤156转移。即,属性特定部66对个人识别部64所识别出的乘员的驾驶技术、驾驶倾向、功能认识度、车辆的功能的利用有无等属性进行特定。例如,预先在DB68中以与乘员的信息建立对应关系的方式而对乘员的属性信息进行存储,并对相对应的属性信息进行特定。
在步骤156中,CPU12A对与所特定的属性相对应的车辆的功能进行检索,并向步骤158转移。即,控制部70从DB68中提取出对与由个人识别部64所识别出且由属性特定部66所特定的乘员的属性相对应的车辆的功能进行引导的信息(文字信息或动态图像等),并基于车辆信息而从所提取出的信息中对与乘员所乘坐的车辆相对应的信息进行提取。另外,在从DB68中提取对与乘员的属性相对应的功能进行引导的信息时,也可以提取对与属性相对应的所述功能中的、在预先设定的利用频率以下的功能或未利用的期间在预先设定的期间以上的功能进行引导的信息。或者,也可以将车型历史作为属性来进行特定,并从乘员的车型历史中提取当前正在乘坐的车辆的功能中的、包括过往的车辆在内而并未利用过的功能。或者,也可以将乘员所乘坐的车型历史作为属性来进行特定,并从乘员的所述车型历史中提取与过往的操作方法不同的操作方法的功能。此外,作为对车辆的功能进行引导的信息,既可以提取与功能本身相关的信息,也可以提取与用于使用车辆的功能的操作方法相关的信息来作为引导信息,还可以提取与车辆的功能本身相关的信息、和与用于使用该功能的操作方法相关的信息。
在步骤158中,CPU12A对是否具有所检索出的功能进行判断。该判断为,控制部70对是否能够提取出对与乘员的属性相对应的车辆的功能进行引导的信息进行判断。在该判断被肯定的情况下向步骤160转移,在被否定的情况下结束一系列处理。
在步骤160中,CPU12A实施说明信息调整处理,并向步骤162转移。说明信息调整处理为,实施控制部70根据预先设定的条件(例如,与日期是星期几、时段、以及车辆的预测停止时间中的至少一个时间相关联的关联信息等条件)来调整对车辆的功能进行引导的动态图像的播放时间的处理等。例如,也可以在星期一至星期五的工作日调整为播放时间变得较短,并在星期六以及星期天等休息日设为默认的播放时间。或者,由于早晚的时段较为着急的可能性较高,因此也可以在该时段调整为播放时间变得较短,而在早晚以外的时段设为预先设定的默认的播放时间。此外,也可以在根据所取得的车辆信息等来了解车辆的停止时间(例如,红灯的停止时间等)的情况下,调整为与停止时间相匹配的播放时间。由此,使得在与乘员的状况相应的播放时间对功能的说明进行视听成为可能。另外,播放时间的调整既可以为对播放速度进行调整,也可以为对所播放的内容数量进行调整,还可以为对播放速度以及内容数量的双方进行调整。
在步骤162中,CPU12A将对通过说明信息调整处理而被调整了播放时间的车辆的功能进行引导的动画作为说明信息而发送至被发送出了拍摄图像以及车辆信息的车载器16,并结束一系列处理。由此,在车载器16中,上述的步骤106的判断被肯定,从而与乘员的属性相对应的功能说明被引导至乘员。由于与乘员的属性相对应的功能说明被引导至乘员,因此,当向乘员引导车辆的功能时,能够针对每个乘员而分别进行适当的引导。
如此,通过车载器16以及智能体服务器12实施处理,从而能够对与乘员的属性相符合的车辆的功能说明进行引导。因此,在向乘员引导车辆的功能时,能够针对每个乘员而分别进行适当的引导。
具体而言,能够针对作为乘员的属性而并不太利用车辆上所搭载的功能的功能认识度较低的乘员,来引导被忘记而并未被利用的功能(例如,自动巡航控制或车道保持辅助等)的驾驶辅助功能的使用方法等功能说明。此外,在作为乘员的属性而了解车辆历史的情况下,当针对换乘前的车型而变更了操作方法从而成为不同的操作方法时,能够作为功能说明而对换乘后的车型的操作方法进行引导。此外,能够针对作为乘员的属性而为老年人等驾驶技术较为降低的倾向的乘员,引导防止误踩踏加速器的功能的说明等来作为功能说明。
接下来,对在本实施方式所涉及的车辆用智能体系统10中乘员经由车载器16来与智能体服务器12对话时的由车载器16所实施的处理进行说明。图7为表示在本实施方式所涉及的车辆用智能体系统10中,乘员经由车载器16来与智能体服务器12对话时的由车载器16所实施的处理的流程的一个示例的流程图。另外,图7的处理例如在车载器16检测到预先设定的乘员的发声的情况下开始进行。
在步骤200中,CPU16A将发声信息发送至智能体服务器12,并向步骤202转移。即,语音输入处理部54通过话筒22来对乘员的发声进行收音,并生成语音信息,且将该信息作为发声信息而发送至智能体服务器12。
在步骤202中,CPU16A对是否从智能体服务器12接收到了回复信息进行判断。待机至该判断被肯定为止,并向步骤204转移。
在步骤204中,CPU16A对接收到的回复是否为表示无法识别的回复进行判断。在该判断被肯定的情况下向步骤206转移,在被否定的情况下向步骤208转移。
在步骤206中,CPU16A输出表示发声内容无法识别的含义的信息,并向步骤210转移。即,输出处理部56作为对于经由通信部58而从智能体服务器12接收到的乘员的发声的回复信息,而将表示无法识别发声内容的含义的信息作为语音而从扬声器24输出。此外,也可以在监视器26上对表示发声内容无法识别的含义的信息进行显示。
另一方面,在步骤208中,CPU16A输出回复,并向步骤210转移。即,输出处理部56将对于经由通信部58从智能体服务器12接收到的乘员的发声的回复信息作为语音而从扬声器24输出。此外,也可以在监视器26上对回复信息进行显示。
在步骤210中,CPU16A对是否后续具有发声进行判断。该判断为,对语音输入处理部54是否通过话筒22进行收音而后续检测到乘员的发声进行判断。在该判断被否定的情况下返回至步骤200,并重复实施上述的处理,在判断被肯定的情况下,结束一系列处理。
接下来,对在本实施方式所涉及的车辆用智能体系统10中乘员经由车载器16来与智能体服务器12对话时的由智能体服务器12所实施的处理进行说明。图8为表示在本实施方式所涉及的车辆用智能体系统10中,乘员经由车载器16来与智能体服务器12对话时的由智能体服务器12所实施的处理的流程的一个示例的流程图。另外,图8的处理在通过上述的步骤200而使得发声信息从车载器16被发送至智能体服务器12的情况下开始进行。
在步骤250中,CPU12A从车载器16接收发声信息,并向步骤252转移。即,控制部70经由通信部72而从车载器16接收发声信息。
在步骤252中,CPU12A对发声内容进行解析,并向步骤254转移。在发声内容的解析中,对话控制部60将从车载器16所接收到的语音信息转换为文本信息,意图理解部62基于被转换的文本信息来对文本信息所示的意图进行理解。文本信息的意图理解能够使用众所周知的各种技术来实施。
在步骤254中,CPU12A对是否识别出了发声内容进行判断。该判断为,对话控制部60作为理解意图的结果而对是否能够识别出发声内容进行判断。在该判断被否定的情况下向步骤256转移,在被肯定的情况下向步骤258转移。
在步骤256中,CPU12A将无法识别作为回复而发送至车载器16,并结束一系列处理。即,控制部70经由通信部72而向发送出了发声信息的车载器16发送回复信息。由此,上述的步骤202以及步骤204被肯定。
另一方面,在步骤258中,CPU12A发送相应的回复信息,并结束一系列处理。即,对话控制部60基于意图理解部62的意图理解而生成回复信息。而且,控制部70经由通信部72而向发送出了发声信息的车载器16发送回复信息。由此,上述的步骤202被肯定,而步骤204被否定,且回复信息被通知至乘员。
如此,通过车载器16以及智能体服务器12实施处理,从而能够在乘员与智能体服务器12之间实施对话。此外,在从智能体服务器12被引导车辆的功能说明的情况下,能够通过对话来实施是否要利用所引导的功能的指示、和通过对话而追加的说明等指示。
另外,虽然在上述的实施方式中,将与智能体服务器12能够进行对话的示例作为一个示例进行了说明,但并不限定于此,也可以设为省略了对话的功能的方式。在这种情况下,例如也可以设为省略对话控制部60以及意图理解部62的功能,并仅实施图5、6的处理而省略图7、8的处理的方式。
此外,虽然将由上述的实施方式中的车辆用智能体系统10的各部分所实施的处理设为通过执行程序来实施的软件处理而进行了说明,但并不限定于此。例如也可以将其设为由GPU(Graphics Processing Unit:图形处理器)、ASIC(Application SpecificIntegrated Circuit:特定应用集成电路)、以及FPGA(Field-Programmable Gate Array:现场可编程逻辑门阵列)等硬件来实施的处理。或者,也可以将其设为对软件以及硬件的双方进行了组合的处理。此外,在设为软件的处理的情况下,也可以将程序存储在各种存储介质中并使之流通。
而且,本公开并不限定于上述内容,当然,除上述之外还能够在不脱离其主旨的范围内进行各种变形而实施。

Claims (8)

1.一种车辆用智能体装置,包括:
识别部,其对乘坐于车辆中的乘员进行识别;
特定部,其对由所述识别部而识别出的所述乘员的属性进行特定;
控制部,其实施如下的控制,即,将对所述车辆所具有的功能中的、与所述特定部所特定的所述属性相对应的所述功能进行引导的动态图像的引导信息输出至被搭载在车辆上的车载器,
所述控制部还实施通过对播放速度、或者播放速度以及所播放的内容数量进行调整,从而针对于与预先设定的条件相应的播放时间来对所述引导信息进行调整的处理,并将该引导信息输出至车载器,
所述预先设定的条件为与日期是星期几以及时段中的至少一个时间相关联的关联信息的条件,
所述引导信息为与用于使用所述功能的操作方法相关的信息。
2.如权利要求1所述的车辆用智能体装置,其中,
所述车载器在所述车辆的状况为不影响预先设定的驾驶的状况的情况下,利用所述动态图像来对所述功能进行引导。
3.如权利要求1或2所述的车辆用智能体装置,其中,
所述控制部输出与所述属性相对应的所述功能中的、在预先设定的利用频率以下的所述功能或未利用的期间在预先设定的期间以上的所述功能的所述引导信息。
4.如权利要求1或2所述的车辆用智能体装置,其中,
所述控制部将由所述识别部识别出的乘员所乘坐的车型历史作为所述属性而进行特定,并根据所述识别部识别出的乘员的所述车型历史,而输出当前正在乘坐的车辆的所述功能中的、包括过往的车辆在内而并未利用过的所述功能的所述引导信息。
5.如权利要求1或2所述的车辆用智能体装置,其中,
所述控制部将由所述识别部识别出的乘员所乘坐的车型历史作为所述属性而进行特定,并根据所述识别部识别出的乘员的所述车型历史,而输出与过往的操作方法不同的操作方法的所述功能的所述引导信息。
6.如权利要求1或2所述的车辆用智能体装置,其中,
还包括:
意图理解部,其对发声内容的意图进行理解;
生成部,其生成对于由所述意图理解部所理解到的发声内容的回复信息。
7.一种车辆用智能体系统,包括:
权利要求1至6中的任意一项所述的车辆用智能体装置;
车载器,其被设置在车辆上,并取得用于由所述识别部来进行识别的信息,且接收由所述控制部所输出的所述引导信息并进行播放。
8.一种非临时性的计算机可读存储介质,其中,
存储有车辆用智能体程序,所述车辆用智能体程序用于使计算机作为权利要求1至6中的任意一项所述的车辆用智能体装置而发挥功能。
CN202111151427.8A 2020-10-07 2021-09-29 车辆用智能体装置、车辆用智能体系统以及计算机可读存储介质 Active CN114291008B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020170106A JP7609598B2 (ja) 2020-10-07 2020-10-07 車両用エージェント装置、車両用エージェントシステム、及び車両用エージェントプログラム
JP2020-170106 2020-10-07

Publications (2)

Publication Number Publication Date
CN114291008A CN114291008A (zh) 2022-04-08
CN114291008B true CN114291008B (zh) 2024-08-02

Family

ID=80931038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111151427.8A Active CN114291008B (zh) 2020-10-07 2021-09-29 车辆用智能体装置、车辆用智能体系统以及计算机可读存储介质

Country Status (3)

Country Link
US (1) US12252133B2 (zh)
JP (1) JP7609598B2 (zh)
CN (1) CN114291008B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7690932B2 (ja) * 2022-07-25 2025-06-11 トヨタ自動車株式会社 車両の運転支援システム
JP7715113B2 (ja) * 2022-09-28 2025-07-30 トヨタ自動車株式会社 提案装置及び提案システム
US20250078536A1 (en) * 2023-09-01 2025-03-06 Fca Us Llc Retrieving lost items in the vehicle

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018140766A (ja) * 2016-12-21 2018-09-13 本田技研工業株式会社 車両運転情報を提供する装置および方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4146522B2 (ja) * 1995-10-17 2008-09-10 富士通テン株式会社 車両機能説明装置
US6934759B2 (en) * 1999-05-26 2005-08-23 Enounce, Inc. Method and apparatus for user-time-alignment for broadcast works
JP2001141500A (ja) 1999-11-15 2001-05-25 Auto Network Gijutsu Kenkyusho:Kk 車載エージェント処理装置
JP2005067403A (ja) 2003-08-25 2005-03-17 Nissan Motor Co Ltd 車載運転補助装置
JP2006202402A (ja) * 2005-01-20 2006-08-03 Toshiba Corp 情報再生装置および情報再生方法
EP1934828A4 (en) * 2005-08-19 2008-10-08 Gracenote Inc METHOD AND SYSTEM FOR CONTROLLING THE FUNCTIONING OF A PLAYING DEVICE
JP5488109B2 (ja) 2010-03-29 2014-05-14 マツダ株式会社 車両用情報表示装置
WO2014002128A1 (ja) * 2012-06-25 2014-01-03 三菱電機株式会社 車載情報装置
KR101542964B1 (ko) 2013-09-26 2015-08-12 현대자동차 주식회사 자동차의 기능 안내 시스템
US10599155B1 (en) * 2014-05-20 2020-03-24 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation feature monitoring and evaluation of effectiveness
US9796391B2 (en) * 2014-10-13 2017-10-24 Verizon Patent And Licensing Inc. Distracted driver prevention systems and methods
US10336321B1 (en) * 2014-11-13 2019-07-02 State Farm Mutual Automobile Insurance Company Autonomous vehicle control assessment and selection
JP6052530B1 (ja) * 2015-04-21 2016-12-27 パナソニックIpマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム
US10759446B2 (en) * 2015-04-21 2020-09-01 Panasonic Intellectual Property Management Co., Ltd. Information processing system, information processing method, and program
US20160363935A1 (en) * 2015-06-15 2016-12-15 Gary Shuster Situational and predictive awareness system
US9820039B2 (en) * 2016-02-22 2017-11-14 Sonos, Inc. Default playback devices
WO2017156412A1 (en) * 2016-03-11 2017-09-14 Hyperloop Transportation Technologies, Inc. Augmented windows
JP6819086B2 (ja) * 2016-06-15 2021-01-27 株式会社デンソー 車両用表示制御装置
JP6766171B2 (ja) * 2016-11-11 2020-10-07 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
DE102017208806B3 (de) * 2017-05-24 2018-07-26 Audi Ag Externe Darstellung von Bildaufnahmen eines Fahrzeuginnenraums in einer VR-Brille
DE102017213249A1 (de) * 2017-08-01 2019-02-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zum Erzeugen einer auditiven Meldung in einem Innenraum eines Fahrzeugs
AU2018332988A1 (en) * 2017-09-13 2020-04-02 Alarm.Com Incorporated System and method for gate monitoring during departure or arrival of an autonomous vehicle
JP6897615B2 (ja) * 2018-03-28 2021-06-30 トヨタ自動車株式会社 車両制御装置
KR20200095636A (ko) * 2019-01-31 2020-08-11 현대자동차주식회사 대화 시스템이 구비된 차량 및 그 제어 방법
JP7606450B2 (ja) * 2019-03-26 2024-12-25 サターン ライセンシング エルエルシー 情報処理端末、情報処理方法、およびプログラム
US11688293B2 (en) * 2019-03-29 2023-06-27 Volvo Car Corporation Providing educational media content items based on a determined context of a vehicle or driver of the vehicle
US11636855B2 (en) * 2019-11-11 2023-04-25 Sonos, Inc. Media content based on operational data
US11254316B2 (en) * 2020-01-24 2022-02-22 Ford Global Technologies, Llc Driver distraction detection

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018140766A (ja) * 2016-12-21 2018-09-13 本田技研工業株式会社 車両運転情報を提供する装置および方法

Also Published As

Publication number Publication date
US12252133B2 (en) 2025-03-18
JP7609598B2 (ja) 2025-01-07
JP2022061873A (ja) 2022-04-19
CN114291008A (zh) 2022-04-08
US20220105948A1 (en) 2022-04-07

Similar Documents

Publication Publication Date Title
CN114291008B (zh) 车辆用智能体装置、车辆用智能体系统以及计算机可读存储介质
US10908677B2 (en) Vehicle system for providing driver feedback in response to an occupant's emotion
JP6515764B2 (ja) 対話装置及び対話方法
CN108725357A (zh) 基于人脸识别的参数控制方法、系统与云端服务器
JP4534925B2 (ja) 車両用情報提供装置
JP2010128099A (ja) 車載用音声情報提供システム
JP6075577B2 (ja) 運転支援装置
JP2019139354A (ja) 情報提供装置及び情報提供方法
WO2014083738A1 (ja) テキスト読み上げ装置およびその方法
CN109690601B (zh) 信息提供装置和移动体
JP2000118260A (ja) 車両用乗員対話装置
CN111267864B (zh) 信息处理系统、程序和控制方法
JP7384604B2 (ja) 車両制御計画生成装置
CN113879235A (zh) 汽车多屏控制的方法、系统、设备及存储介质
CN112750275B (zh) 乘车安全提醒方法、装置、电子设备及存储介质
CN117719445A (zh) 用户情绪调节方法、装置、车辆及存储介质
CN113450788A (zh) 声音输出的控制方法和声音输出控制装置
US12293760B2 (en) Vehicle agent device, vehicle agent system, and computer-readable storage medium
JP2006069358A (ja) 車両の運転支援装置
JP6555113B2 (ja) 対話装置
JP2021163236A (ja) 情報提供装置
CN221969529U (zh) 汽车控制紧急制动系统
EP4299399B1 (en) Method for transitioning control of a vehicle, data processing apparatus and autonomous driving system
JP2022165339A (ja) エージェント装置
CN218287648U (zh) 汽车的车载娱乐系统及汽车

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant