JP2023019244A

JP2023019244A - Agent device

Info

Publication number: JP2023019244A
Application number: JP2021123830A
Authority: JP
Inventors: 勇長澤; Isamu Nagasawa
Original assignee: Subaru Corp
Current assignee: Subaru Corp
Priority date: 2021-07-29
Filing date: 2021-07-29
Publication date: 2023-02-09
Anticipated expiration: 2041-07-29
Also published as: JP7713329B2

Abstract

To provide an agent device that a driver can understand by intuition and which allows the driver to grasp a driving environment by operations of an agent and also rapidly perform a driving operation suitable for the driving environment.SOLUTION: An agent device 100 includes: a shift position sensor 140f for detecting a shift position; an ambient surrounding recognition unit 120 for acquiring a surrounding situation; a control unit 110 for determining whether it is necessary to make a driver H take an action on the basis of the acquired surrounding situation; and an agent controller 190 for controlling a personalized agent. The agent controller 190 causes the agent 200 to point out by a finger the direction of the reason for the necessity of taking an action when it has been determined that the driver H needs to take an action, and to gesture according to the action.SELECTED DRAWING: Figure 10

Description

本発明は、擬人化されたキャラクタによる報知が可能なエージェント装置に関する。 TECHNICAL FIELD The present invention relates to an agent device capable of notification by an anthropomorphic character.

従来から、自動車などの車両での走行環境において、乗員（特に運転者）に注意喚起を促す手法として、様々な手法が提案されている。
このような手法の１つとして、乗員と、擬人化されたキャラクタ（いわゆるエージェント）とが、対話を行いながら、乗員の要求に応じた運転支援に関する情報などを提供するエージェント装置や、運転支援装置が提案されている。 2. Description of the Related Art Conventionally, various methods have been proposed as methods for calling the attention of a passenger (especially a driver) in a driving environment of a vehicle such as an automobile.
As one of such methods, there is an agent device or a driving support device in which a passenger and an anthropomorphic character (a so-called agent) interact with each other to provide information on driving support in response to requests from the passenger. is proposed.

例えば、従来の運転支援装置では、音声などによる危険回避行動の通知では、直感的に伝わり難いと考え、ダッシュボードに小型のロボットを配設し、擬人化されたエージェントとして登場させ、このエージェントに運転者が行うべき危険回避行動を模擬的に実行させるものが提案されている（特許文献１参照）。 For example, with conventional driving support devices, it is difficult to intuitively convey danger avoidance notifications by voice, etc., so we installed a small robot on the dashboard and made it appear as an anthropomorphic agent. A system has been proposed that simulates the danger avoidance behavior that a driver should take (see Patent Literature 1).

特開２０１８－０３２２０４号公報JP 2018-032204 A

しかしながら、従来のエージェントは、無機的なものであったり、突然登場して注意喚起を促すものであったりして、エージェントと、運転者と、の信頼関係が築き難かった。また、エージェントに突然回避行動と同じ動作をとられても、回避行動を取らなければならない原因となったものが解らないと、とっさにその行動を取り難く、特に信頼関係がないと回避行動に繋がらないという問題があった。
特に、走行時に危険回避行動などの運転者に所定の対応処置の必要が発生した場合に、エージェントが突然、回避行動の真似事を行っても、何故エージェントがその行動を行ったのか理解できず、考えているうちに所定の回避行動が間に合わなくなってしまう虞がある。 However, conventional agents are inorganic or appear suddenly to call attention, making it difficult to build a relationship of trust between the agent and the driver. In addition, even if the agent suddenly takes the same action as an evasive action, it is difficult to take that action immediately without knowing what caused the agent to take the evasive action, especially if there is no trusting relationship. I had a problem with not connecting.
In particular, when the driver is required to take a predetermined action such as avoiding danger while driving, even if the agent suddenly mimics the avoidance action, it is difficult to understand why the agent took that action. , while thinking, there is a possibility that the predetermined avoidance action will not be in time.

本発明は、このような従来の問題を解決するためになされたもので、運転者が直感的に理解でき、エージェントの動作により走行環境の把握と同時に、走行環境に適した運転操作を迅速に行わせることができるエージェント装置を提供することを課題とする。 The present invention has been devised to solve such conventional problems. The driver can intuitively understand the driving environment, and at the same time, the driving operation suitable for the driving environment can be quickly performed by the action of the agent. An object of the present invention is to provide an agent device capable of performing

本発明に係るエージェント装置は、シフトポジションを検知するシフトポジション検知部と、周辺状況を取得する周辺状況取得部と、取得した周辺状況により、運転者に対応処置を行わせる必要があるか否かを判断する判断部と、擬人化されたエージェントを制御するエージェント制御部と、を備え、前記エージェント制御部は、運転者に対応処置を行わせる必要があると判断した場合、対応処置を行うことが必要となった原因の方向を、前記エージェントに指差させるとともに、対応処置に応じたジェスチャーを行わせる、ことを特徴とする。 An agent device according to the present invention includes a shift position detection unit that detects a shift position, a surrounding situation acquisition unit that acquires a surrounding situation, and whether or not it is necessary for a driver to take a corresponding action based on the acquired surrounding situation. and an agent control unit for controlling an anthropomorphic agent, wherein the agent control unit performs the corresponding action when determining that the driver needs to take the corresponding action. The agent is made to point in the direction of the cause of the necessity of the action, and is made to make a gesture corresponding to the countermeasure.

本発明によれば、運転者が直感的に理解でき、エージェントの動作により走行環境の把握と同時に、走行環境に適した運転操作を迅速に行わせることができるエージェント装置を提供することができる。 According to the present invention, it is possible to provide an agent device that can be intuitively understood by the driver, and that allows the driver to grasp the driving environment by the action of the agent, and at the same time, allows the driver to quickly perform a driving operation suitable for the driving environment.

本発明の実施の一形態おける車両の車室内を示す斜視図である。1 is a perspective view showing the interior of a vehicle according to one embodiment of the present invention; FIG. 運転席前方の車室内を示す正面図である。It is a front view which shows the vehicle interior in front of a driver's seat. エージェントの配置を示す正面図である。FIG. 4 is a front view showing placement of agents; 本発明の実施の形態におけるエージェントの構成を示す概略図である。It is a schematic diagram showing the configuration of an agent in the embodiment of the present invention. エージェント装置を説明するためのブロック図である。3 is a block diagram for explaining an agent device; FIG. エージェント装置の制御部によって行われるエージェント制御処理のメインフローチャートである。4 is a main flow chart of agent control processing performed by the controller of the agent device; エージェント装置の制御部によって行われる走行時処理を示すフローチャートである。4 is a flow chart showing running processing performed by the control unit of the agent device. エージェント装置の制御部によって行われる走行中処理を示すフローチャートである。4 is a flow chart showing running processing performed by the control unit of the agent device. エージェントの動作の一例を示す動作図である。FIG. 4 is an operation diagram showing an example of an agent's operation; エージェントの動作の一例を示す動作図である。FIG. 4 is an operation diagram showing an example of an agent's operation; エージェントの動作の一例を示す動作図である。FIG. 4 is an operation diagram showing an example of an agent's operation;

以下、本発明の実施の形態について、図面を参照して説明する。
また、以下の説明で、異なる図における同一符号は同一機能の部位を示しており、各図における重複説明は適宜省略する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings.
Also, in the following description, the same reference numerals in different drawings indicate portions having the same function, and duplication of description in each drawing will be omitted as appropriate.

（車室内における各構成）
図１、図２に示すように、車両１は、運転席２の車両前方側に設けられるインストルメントパネル３と、運転席２とインストルメントパネル３との間に配置されるステアリングホイール４と、を有している。ステアリングホイール４は、ステアリングシャフト（図示省略）を介してステアリングコラム（図示省略）に回転自在に取り付けられている。また、ステアリングホイール４の内部には、車両１が衝突等した際に、運転者（以下、ドライバーという）Ｈに向けて展開するエアバッグ８が格納されている。
なお、本実施の形態のエージェント装置１００（後述）およびエージェント２００（後述）においては、ドライバーＨとの対話やジェスチャー（動作）を基本に説明しているが、他の乗員に対しても同様に行うことができる。 (Each configuration in the passenger compartment)
As shown in FIGS. 1 and 2, a vehicle 1 includes an instrument panel 3 provided on the vehicle front side of a driver's seat 2, a steering wheel 4 disposed between the driver's seat 2 and the instrument panel 3, have. The steering wheel 4 is rotatably attached to a steering column (not shown) via a steering shaft (not shown). Further, inside the steering wheel 4, an airbag 8 that deploys toward a driver (hereafter referred to as a driver) H is stored when the vehicle 1 collides or the like.
In addition, in the agent device 100 (described later) and the agent 200 (described later) of the present embodiment, the explanation is based on the interaction and gestures (movements) with the driver H, but the same applies to other passengers. It can be carried out.

図１に示すように、車両１の車室内には、第１表示用パネル３０と、第２表示用パネル４０と、の２つの表示パネルが設けられている。第１表示用パネル３０は、運転席２の前方側のインストルメントパネル３に配置され、第２表示用パネル４０は、運転席２の左前方側のインストルメントパネル３に配置されている。 As shown in FIG. 1 , two display panels, that is, a first display panel 30 and a second display panel 40 are provided in the interior of the vehicle 1 . The first display panel 30 is arranged on the instrument panel 3 on the front side of the driver's seat 2 , and the second display panel 40 is arranged on the instrument panel 3 on the left front side of the driver's seat 2 .

（第１表示用パネル３０）
図１、図２に示すように、第１表示用パネル３０は、アナログ時計のように構成された指針式メータと、液晶パネルとバックライトとが一体的に設けられたいわゆる液晶ディスプレイ装置とを備えて構成されている。ドライバーＨは、第１表示用パネル３０の第１表示領域３０ａに表示される各種情報を、ステアリングホイール４の上側空間部４ａを介して視ることが可能となっている。 (First display panel 30)
As shown in FIGS. 1 and 2, the first display panel 30 includes a pointer-type meter configured like an analog clock, and a so-called liquid crystal display device in which a liquid crystal panel and a backlight are integrally provided. configured with. The driver H can view various information displayed in the first display area 30 a of the first display panel 30 through the upper space 4 a of the steering wheel 4 .

図２に示すように、第１表示用パネル３０には、第１表示領域３０ａが設けられており、この第１表示領域３０ａの左右には、車両１の走行速度（スピードメータ）や、エンジンの単位時間当たりの回転数（タコメータ）などの情報を表示する２つの指針式メータと、２つの指針式メータの間であって第１表示用パネル３０の中央部には、一般的な車両情報を示す画像を表示する小型の液晶ディスプレイ装置とが配置される。なお、第１表示用パネル３０は、指針式メータを備えずに、全体を１つの液晶ディスプレイ装置で構成してもよい。 As shown in FIG. 2, the first display panel 30 is provided with a first display area 30a. Two pointer type meters that display information such as the number of revolutions per unit time (tachometer), and general vehicle information in the central part of the first display panel 30 between the two pointer type meters and a small liquid crystal display device for displaying an image showing It should be noted that the first display panel 30 may be entirely composed of one liquid crystal display device without including a needle-type meter.

（第２表示用パネル４０）
図１に示すように、第２表示用パネル４０は、例えば、液晶パネルとバックライトとが一体的に設けられた、いわゆる液晶ディスプレイ装置で構成されている。なお、第２表示用パネル４０には地図情報等が表示され、いわゆるカーナビゲーションシステムを担っている。 (Second display panel 40)
As shown in FIG. 1, the second display panel 40 is composed of, for example, a so-called liquid crystal display device in which a liquid crystal panel and a backlight are integrally provided. The second display panel 40 displays map information and the like, and serves as a so-called car navigation system.

なお、第１表示用パネル３０、第２表示用パネル４０において構成されている液晶ディスプレイ装置を、プラズマディスプレイや有機ＥＬ等の自発光型の表示デバイス、投影型のプロジェクタ等の表示装置で構成してもよい。 It should be noted that the liquid crystal display device constituted by the first display panel 30 and the second display panel 40 is constituted by a self-luminous display device such as a plasma display or organic EL, or a display device such as a projection type projector. may

（エージェント２００）
また、図３に示すように、運転席２の前方側のインストルメントパネル３の上部には、エージェント２００が配置されている。
なお、エージェント２００は、ドライバーＨの周辺視野に入る位置であればどこでもよく、必ずしも運転席の真正面に配置されていなくてもよい。なお、エージェント２００は、ドライバーＨの周辺視野にあって、ドライバーＨの車外の視野等を遮らない位置にあるのが望ましい。また、所定の操作デバイス、または、音声指示等により、エージェント２００の配置位置を変更できるようにしてもよい。 (Agent 200)
Further, as shown in FIG. 3, an agent 200 is arranged above the instrument panel 3 on the front side of the driver's seat 2 .
The agent 200 may be located anywhere within the peripheral vision of the driver H, and does not necessarily have to be located directly in front of the driver's seat. It is desirable that the agent 200 is in the driver H's peripheral field of vision and is positioned so as not to block the driver's H's field of view outside the vehicle. Also, the arrangement position of the agent 200 may be changed by a predetermined operation device, voice instruction, or the like.

エージェント２００は、擬人化されたキャラクタであり、人型の外形を備えた報知用および対話型の立体物である。なお、本実施の形態において、エージェント２００は、人型の実像する立体物としているが、これに限らず、ディスプレイ等の表示装置に表示されたキャラクタであっても、フォログラム等で表現された３次元表示物、仮想立体物等であってもよい。 The agent 200 is an anthropomorphic character, and is an informative and interactive three-dimensional object with a humanoid appearance. In the present embodiment, the agent 200 is a three-dimensional object that is a real image of a human. It may be a dimensional display object, a virtual three-dimensional object, or the like.

図４に示すように、エージェント２００は、頭部２１１、右眼部２１２Ｒ、左眼部２１２Ｌ、首部２１３、胸部２１４、腰部２１５、臀部２１６、右肩部２２１Ｒ、左肩部２２１Ｌ、右上腕部２２２Ｒ、左上腕部２２２Ｌ、右肘部２２３Ｒ、左肘部２２３Ｌ、右前腕部２２４Ｒ、左前腕部２２４Ｌ、右手首部２２５Ｒ、左手首部２２５Ｌ、右手部２２６Ｒ、左手部２２６Ｌ、右股関節部２３１Ｒ、左股関節部２３１Ｌ、右大腿部２３２Ｒ、左大腿部２３２Ｌ、右膝部２３３Ｒ、左膝部２３３Ｌ、右下腿部２３４Ｒ、左下腿部２３４Ｌ、右足首部２３５Ｒ、左足首部２３５Ｌ、右足部２３６Ｒ、左足部２３６Ｌを有している。 As shown in FIG. 4, agent 200 includes head 211, right eye 212R, left eye 212L, neck 213, chest 214, waist 215, buttocks 216, right shoulder 221R, left shoulder 221L, right upper arm 222R. , left upper arm 222L, right elbow 223R, left elbow 223L, right forearm 224R, left forearm 224L, right wrist 225R, left wrist 225L, right hand 226R, left hand 226L, right hip joint 231R, left hip joint 231L, right thigh 232R, left thigh 232L, right knee 233R, left knee 233L, right lower leg 234R, left lower leg 234L, right ankle 235R, left ankle 235L, right foot 236R, left foot 236L have.

また、エージェント２００には、支持コネクタ２４０が設けられており、エージェント２００が、インストルメントパネル３上に立設可能に支持されている。
なお、エージェント２００の頭部２１１の両側部には、耳が設けられている。これにより、ドライバーＨの話をエージェント２００がよく聴いているように思わせることができる。また、この耳については、実際に設けられていなくても、後述のように、エージェント２００がドライバーＨの話を聴く際に、エージェント２００の頭部２１１の側部に、右手部２２６Ｒまたは左手部２２６Ｌを当てることにより、耳に手を当てて聴いているように見せることができ、ドライバーＨとの信頼関係を深めることができる。 Further, the agent 200 is provided with a support connector 240, and the agent 200 is supported on the instrument panel 3 so as to be erectable.
Ears are provided on both sides of the head 211 of the agent 200 . As a result, the agent 200 can be made to think that the driver H is listening carefully. In addition, even if these ears are not actually provided, as will be described later, when the agent 200 listens to the driver H, they are attached to the side of the head 211 of the agent 200 on the right hand portion 226R or the left hand portion. 226L makes it look as if the listener is listening with his or her hand on the ear, and the relationship of trust with the driver H can be deepened.

なお、図４（ａ）は、エージェント２００が、ドライバーＨ側（車両１の後方側）を向いているときの基本姿勢を示す図であり、図４（ｂ）は、エージェント２００が、ドライバーＨに背を向けている（車両１の前方側を向いている）ときの基本姿勢を示す図である。
また、基本姿勢において、エージェント２００は、右手部２２６Ｒの右手掌部２２６Ｒａ、左手部２２６Ｌの左手掌部２２６Ｌａをエージェント２００の内側に向け、右手部２２６Ｒの右手甲部２２６Ｒｂ、左手部２２６Ｌの左手甲部２２６Ｌｂをエージェント２００の外側に向けて、起立している。
上記のように、エージェント２００は、ドライバーＨ側を向いた前面姿勢と、ドライバーＨに背を向けた背面姿勢と、で自由に回転できるようになっている。すなわち、エージェント２００は、支持コネクタ２４０を中心にエージェント２００自体が回転するようなものでもよいし、エージェント２００を回転体の上にのせて、この回転体を回転させることにより、前面姿勢から背面姿勢、背面姿勢から前面姿勢に回転させるようにしたものであってもよい。 FIG. 4(a) is a diagram showing the basic posture of the agent 200 when facing the driver H side (the rear side of the vehicle 1), and FIG. 1 is a diagram showing a basic posture when the back is turned to the front (facing the front side of the vehicle 1). FIG.
In the basic posture, the agent 200 directs the right palm 226Ra of the right hand 226R and the left palm 226La of the left hand 226L toward the inside of the agent 200. The part 226Lb faces the outside of the agent 200 and stands up.
As described above, the agent 200 can freely rotate between the front posture facing the driver H and the rear posture facing the driver H. That is, the agent 200 may rotate itself around the support connector 240, or the agent 200 may be placed on a rotating body and rotated to rotate from the front posture to the back posture. , and may be rotated from the back posture to the front posture.

また、エージェント２００内には、後述するエージェント制御部１９０が設けられており、エージェント２００の各関節を制御および動作させ、エージェント２００が所定の姿勢をとることができるようになっている。エージェント制御部１９０は、後述する制御部１１０（ＥＣＵ）と無線接続されており、制御部１１０による制御により、エージェント２００を動作させるようになっている。なお、本実施の形態では、エージェント制御部１９０と、制御部１１０と、を無線接続とするようにしたが、例えば、支持コネクタ２４０内に通信ラインを通して、有線接続するようにしてもよい。 An agent control unit 190, which will be described later, is provided in the agent 200 to control and operate each joint of the agent 200 so that the agent 200 can assume a predetermined posture. The agent control unit 190 is wirelessly connected to a control unit 110 (ECU), which will be described later, and operates the agent 200 under the control of the control unit 110 . Although the agent controller 190 and the controller 110 are wirelessly connected in this embodiment, they may be connected by wire through a communication line in the support connector 240, for example.

また、エージェント２００の頭部２１１内には、後述するエージェントスピーカ１９１が設けられており、エージェント制御部１９０の制御により、音声出力が行われるようになっている。なお、このエージェントスピーカ１９１は、エージェント２００の頭部２１１内に限らず、エージェント２００の他の部位であっても、車両１の他の場所に設けられたものであってもよい。ただし、エージェント２００の頭部２１１内にエージェントスピーカ１９１が設けられていた方が、ドライバーＨに対して、よりリアルにエージェント２００からの発話とらえさせることができ、感情移入もし易く、ドライバーＨのエージェント２００に対する信頼構築に、大きく寄与することができる。 An agent speaker 191, which will be described later, is provided in the head 211 of the agent 200, and voice output is performed under the control of the agent control unit 190. FIG. The agent speaker 191 is not limited to the inside of the head 211 of the agent 200 , and may be provided in another part of the agent 200 or in another location of the vehicle 1 . However, if the agent speaker 191 is provided in the head 211 of the agent 200, the driver H can catch the utterances from the agent 200 more realistically and easily empathize with the driver H's agent. It can greatly contribute to building trust in 200.

次に、本発明におけるエージェント装置１００の構成について、図５のブロック図を参照して説明する。 Next, the configuration of the agent device 100 according to the present invention will be described with reference to the block diagram of FIG.

図５に示すように、エージェント装置１００は、制御部１１０と、周辺環境認識部１２０と、乗員状態認識部１３０と、車両状態認識部１４０と、スピーカ１５０と、マイク１６０と、記憶部１７０と、送受信機１８０と、エージェント制御部１９０と、エージェントスピーカ１９１と、を備えている。 As shown in FIG. 5, the agent device 100 includes a control unit 110, a surrounding environment recognition unit 120, an occupant state recognition unit 130, a vehicle state recognition unit 140, a speaker 150, a microphone 160, and a storage unit 170. , a transmitter/receiver 180 , an agent control unit 190 , and an agent speaker 191 .

なお、図５に示すエージェント装置１００は一例にすぎず、エージェント装置１００の構成要素は適宜変更ができる。例えば、スピーカ１５０と、エージェントスピーカ１９１と、はいずれか一方のみでも、本発明のエージェント装置１００を実現できる。また、マイク１６０に加えて、エージェント２００内にエージェントマイクを備えても良く、マイク１６０の代わりに、エージェント２００内に備えたエージェントマイクのみを備えたものであっても、本発明のエージェント装置１００を実現できる。さらに、本実施の形態においては、制御部１１０とエージェント制御部１９０の双方を設けるようにしているが、これに限らず、制御部１１０、または、エージェント制御部１９０の一方のみを有し、双方の機能を行うようにしても構わない。 Note that the agent device 100 shown in FIG. 5 is merely an example, and the components of the agent device 100 can be changed as appropriate. For example, either one of the speaker 150 and the agent speaker 191 can realize the agent device 100 of the present invention. Also, in addition to the microphone 160, the agent device 100 of the present invention may have an agent microphone in the agent 200, and instead of the microphone 160, only the agent microphone provided in the agent 200 may be provided. can be realized. Furthermore, in the present embodiment, both the control unit 110 and the agent control unit 190 are provided, but the present invention is not limited to this. function may be performed.

（制御部１１０）
制御部１１０は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ（例えば、リングバッファ）、ＥＥＰＲＯＭ、入出力ポート等を備えており、例えば、入力ポートより情報入力が行われると、ＲＯＭから読み出した制御プログラムに基づいて、出力ポートを介して各種デバイスを制御するようになっている。 (control unit 110)
The control unit 110 includes a CPU, a ROM, a RAM (for example, a ring buffer), an EEPROM, and an input/output port (not shown). to control various devices through output ports.

なお、制御部１１０のＲＯＭには、エージェント２００が行う動作や、セリフのデータテーブル（図示省略）が記憶されている。また、ＡＩ等の学習機能を持たせ、記憶されている動作やセリフ以外を行うようにしてもよい。制御部１１０のＣＰＵは、後述する各認識部から取得した情報や、マイク１６０から取得した情報に基づいて、エージェント２００に行わせる動作やセリフをデータテーブルから決定する。例えば、ドライバーＨからの発話をマイク１６０から取得したら、データテーブルから「うなずき」のジェスチャーを決定し、ドライバーＨの発話が終了したら、「了解しました」といったセリフを決定する。なお、エージェント２００が行う動作や、セリフのデータテーブルは、エージェント制御部１９０のＲＯＭに記憶させるようにしてもよい。 Note that the ROM of the control unit 110 stores the actions performed by the agent 200 and a data table (not shown) of dialogue. Also, a learning function such as AI may be provided to perform actions and lines other than those stored. The CPU of the control unit 110 determines actions and lines to be performed by the agent 200 from the data table based on information acquired from each recognition unit described later and information acquired from the microphone 160 . For example, when driver H's speech is acquired from microphone 160, the gesture of "nodding" is determined from the data table, and when driver H finishes speaking, the line of "understood" is determined. The actions performed by the agent 200 and the dialogue data table may be stored in the ROM of the agent control unit 190 .

（周辺環境認識部１２０）
周辺環境認識部１２０は、車両１（自車両）の周辺環境を認識するために設けられている。また、周辺環境認識部１２０は、車外撮影用カメラ１２０ａと、レーダ１２０ｂと、気温センサ１２０ｃと、天候センサ１２０ｄと、ナビゲーション装置１２１と、を備えており、これらのデバイスによって車両１の周辺環境および周辺状況を認識することができるようになっている。例えば、周辺環境認識部１２０は、進行方向のコーナーや曲がり角の存在、接近物の有無などを検知することができるようになっている。
なお、本実施の形態においては、ナビゲーション装置１２１を、周辺環境認識部１２０の一部として有する構成としているが、これに限らず、ナビゲーション装置１２１を周辺環境認識部１２０とは別体で、単独で有するものであってもよい。 (Surrounding environment recognition unit 120)
The surrounding environment recognition unit 120 is provided to recognize the surrounding environment of the vehicle 1 (own vehicle). In addition, the surrounding environment recognition unit 120 includes a camera 120a for photographing outside the vehicle, a radar 120b, an air temperature sensor 120c, a weather sensor 120d, and a navigation device 121. These devices detect the surrounding environment of the vehicle 1 and It is designed to be able to recognize the surrounding situation. For example, the surrounding environment recognition unit 120 can detect the presence of corners and turns in the traveling direction, the presence of approaching objects, and the like.
In the present embodiment, the navigation device 121 is configured as part of the surrounding environment recognition unit 120. However, the configuration is not limited to this. may have.

（車外撮影用カメラ１２０ａ）
車外撮影用カメラ１２０ａは、例えば、図示しないルームミラーに取り付けられており、車両１の前方、および、車両１の後方を撮影できるようになっている。そして、撮影した画像情報が制御部１１０に入力されて、制御部１１０がＲＡＭに画像情報を記憶する。これにより、制御部１１０は、車両１の前方、車両１の後方の状況をリアルタイムおよび事後的に認識することができる。 (External photography camera 120a)
The exterior photographing camera 120 a is attached to, for example, a rearview mirror (not shown), and is capable of photographing the front of the vehicle 1 and the rear of the vehicle 1 . Then, the captured image information is input to the control unit 110, and the control unit 110 stores the image information in the RAM. Thereby, the control unit 110 can recognize the situation in front of the vehicle 1 and in the rear of the vehicle 1 both in real time and after the fact.

（レーダ１２０ｂ）
レーダ１２０ｂは、例えば、電波を飛ばして障害物等を検知するミリ波レーダが用いられており、当該ミリ波レーダが車両１のフロントバンパやリアバンパに取り付けられ、車両１の前方監視、車両１の前側方監視、車両１の後側方監視ができるようになっている。そして、監視情報が制御部１１０に入力されて、制御部１１０がＲＡＭに監視情報を記憶する。これにより、制御部１１０は、車両１の前方、車両１の前側方の状況、車両１の後側方の状況をリアルタイムおよび事後的に認識することができる。なお、本実施の形態においてはミリ波レーダを用いているが、他のレーダを用いてもよい。例えば、赤外線レーダでもよい。 (Radar 120b)
The radar 120b uses, for example, a millimeter-wave radar that emits radio waves to detect obstacles and the like. Front side monitoring and rear side monitoring of the vehicle 1 can be performed. Then, the monitoring information is input to the control section 110, and the control section 110 stores the monitoring information in the RAM. Thereby, the control unit 110 can recognize the situation in front of the vehicle 1, the situation in the front side of the vehicle 1, and the situation in the rear side of the vehicle 1 both in real time and after the fact. In addition, although a millimeter wave radar is used in this embodiment, other radars may be used. For example, infrared radar may be used.

（気温センサ１２０ｃ）
気温センサ１２０ｃは、例えば、車両１の後部に取り付けられており、車両１の外部の気温を検出できるようになっている。そして、検出した気温が制御部１１０に入力されて、制御部１１０がＲＡＭに気温を記憶する。これにより、制御部１１０は、車両１の外部の気温を認識することができる。 (Temperature sensor 120c)
The air temperature sensor 120c is attached to the rear part of the vehicle 1, for example, so that the air temperature outside the vehicle 1 can be detected. Then, the detected air temperature is input to the control unit 110, and the control unit 110 stores the temperature in the RAM. Thereby, the control unit 110 can recognize the temperature outside the vehicle 1 .

（天候センサ１２０ｄ）
天候センサ１２０ｄは、例えば、車両１の上部に取り付けられており、車両１にかかる雨の水滴等を検知できるようになっている。そして、検知した水滴情報が制御部１１０に入力されて、制御部１１０がＲＡＭに水滴情報を記憶する。これにより、制御部１１０は、車両１の外部の天候状況を認識することができる。 (weather sensor 120d)
The weather sensor 120 d is attached, for example, to the upper portion of the vehicle 1 so as to detect rain water droplets or the like on the vehicle 1 . Then, the detected water droplet information is input to the control section 110, and the control section 110 stores the water droplet information in the RAM. Thereby, the control unit 110 can recognize the weather conditions outside the vehicle 1 .

（ナビゲーション装置１２１）
ナビゲーション装置１２１は、目的地、経由地等に応じて、経路案内を行うものである。また、ナビゲーション装置１２１は、地図情報やＧＰＳ、ＶＩＣＳ受信機などを有しており、車両１の現在位置や周辺の地図情報、渋滞情報、道路規制情報、駐車場情報などを取得できるようになっている。したがって、制御部１１０は、ナビゲーション装置１２１に加え、車外撮影用カメラ１２０ａやレーダ１２０ｂなどが取得した情報をもとに、車両１の周辺状況をリアルタイムに認識することができる。
なお、ナビゲーション装置１２１は、地図情報についても、随時、受信可能で、最新の地図情報を取得できるようになっている。また、ナビゲーション装置１２１の送受信部は、後述する送受信機１８０と兼用するものであっても構わない。 (Navigation device 121)
The navigation device 121 provides route guidance according to destinations, waypoints, and the like. In addition, the navigation device 121 has map information, GPS, VICS receiver, etc., and can acquire the current position of the vehicle 1, map information about the surroundings, traffic information, road regulation information, parking lot information, and the like. ing. Therefore, the control unit 110 can recognize the situation around the vehicle 1 in real time based on the information acquired by the vehicle exterior photographing camera 120a and the radar 120b in addition to the navigation device 121 .
The navigation device 121 can also receive map information at any time, and can acquire the latest map information. Further, the transmitting/receiving unit of the navigation device 121 may also be used as the transmitting/receiving device 180 described later.

以上のようにして、制御部１１０は、車両１の周辺環境、周辺状況をリアルタイムおよび事後的に認識することができる。これにより、制御部１１０は、車両１の周辺環境、周辺状況の認識に基づいて、エージェント２００と、エージェントスピーカ１９１と、を制御して、車両１の周辺環境、周辺状況の情報をドライバーＨに対して報知することができる。例えば、車両１の前方に落下物があれば、「前方に落下物があります」といったジェスチャーおよび音声による報知ができる。これにより、安全性を向上させることができる。 As described above, the control unit 110 can recognize the surrounding environment and the surrounding situation of the vehicle 1 both in real time and after the fact. As a result, the control unit 110 controls the agent 200 and the agent speaker 191 based on the recognition of the surrounding environment and surrounding situation of the vehicle 1, and transmits the information of the surrounding environment and surrounding situation of the vehicle 1 to the driver H. can be notified. For example, if there is a falling object in front of the vehicle 1, it is possible to notify by gesture and voice that "there is a falling object in front". Thereby, safety can be improved.

なお、本実施の形態においては、周辺環境認識部１２０として、車外撮影用カメラ１２０ａと、レーダ１２０ｂと、気温センサ１２０ｃと、天候センサ１２０ｄと、ナビゲーション装置１２１と、を挙げたが、一例にすぎず、他のデバイスを用いても勿論よい。 In the present embodiment, as surrounding environment recognition unit 120, camera 120a for photographing outside the vehicle, radar 120b, temperature sensor 120c, weather sensor 120d, and navigation device 121 are cited, but this is merely an example. Of course, other devices may be used instead.

（乗員状態認識部１３０）
乗員状態認識部１３０は、ドライバーＨの状態を認識するために設けられている。また、乗員状態認識部１３０は、乗員撮影用カメラ１３０ａと、バイタルセンサ１３０ｂとを備えており、これらのデバイスによってドライバーＨの状態を認識することができるようになっている。 (Occupant state recognition unit 130)
The occupant state recognition unit 130 is provided for recognizing the state of the driver H. As shown in FIG. The occupant state recognizing unit 130 includes an occupant photographing camera 130a and a vital sensor 130b, and can recognize the state of the driver H by means of these devices.

（乗員撮影用カメラ１３０ａ）
乗員撮影用カメラ１３０ａは、例えば、インストルメントパネル３に取り付けられており、ドライバーＨを撮影できるようになっている。そして、撮影した画像情報が制御部１１０に入力されて、制御部１１０がＲＡＭに画像情報を記憶する。これにより、制御部１１０は、ドライバーＨの状態をリアルタイムおよび事後的に認識することができる。なお、ここでいう、ドライバーＨの状態とは、具体的には、ドライバーＨの目蓋の状態や、瞬きの回数、視線の方向、顔の向き、また、うずくまった状態であるか、動作できない状態であるか、などが想定される。 (Passenger photographing camera 130a)
The occupant imaging camera 130a is attached to the instrument panel 3, for example, so that the driver H can be photographed. Then, the captured image information is input to the control unit 110, and the control unit 110 stores the image information in the RAM. Thereby, the control part 110 can recognize the state of the driver H in real time and after the fact. The state of the driver H mentioned here specifically includes the state of the eyelids of the driver H, the number of blinks, the direction of the line of sight, the direction of the face, and the state of being crouched or unable to move. state, or the like.

（バイタルセンサ１３０ｂ）
バイタルセンサ１３０ｂは、例えば、ステアリングホイール４のドライバーＨにより把持される部位に取り付けられ、ドライバーＨの心拍数や血圧等のバイタル情報を取得できるようになっている。そして、取得したバイタル情報が制御部１１０に入力されて、制御部１１０がＲＡＭにバイタル情報を記憶する。これにより、制御部１１０は、ドライバーＨの状態をリアルタイムおよび事後的に認識することができる。 (Vital sensor 130b)
The vital sensor 130b is attached, for example, to a portion of the steering wheel 4 that is gripped by the driver H, so that vital information such as heart rate and blood pressure of the driver H can be obtained. Then, the acquired vital information is input to the control unit 110, and the control unit 110 stores the vital information in the RAM. Thereby, the control part 110 can recognize the state of the driver H in real time and after the fact.

以上のようにして、制御部１１０は、ドライバーＨの状態をリアルタイムおよび事後的に認識することができる。これにより、制御部１１０は、ドライバーＨの状態の認識に基づいて、エージェント２００と、エージェントスピーカ１９１とを制御して、所定の情報をドライバーＨに対して報知することができる。例えば、「目蓋が下がっておりますが、休憩しませんか？」といった画像および音声による報知や、「いつもより心拍数が速いですが、休憩しませんか？」といった画像および音声による報知ができる。これにより、安全性の向上に繋がる。 As described above, the control unit 110 can recognize the state of the driver H in real time and after the fact. As a result, the control unit 110 can control the agent 200 and the agent speaker 191 based on recognition of the driver H's state, and notify the driver H of predetermined information. For example, it is possible to provide an image and voice notification such as ``Your eyelids are drooping, would you like to take a break?'' and an image and voice notification such as ``Your heart rate is faster than usual. . This leads to an improvement in safety.

乗員状態認識部１３０は、乗員撮影用カメラ１３０ａやバイタルセンサ１３０ｂから取得した情報や、マイク１６０から入力した情報に基づいて、ある程度の範囲でドライバーＨの思考感情を認識することができる。例えば、乗員撮影用カメラ１３０ａよりドライバーＨの顔の表情を取得し、バイタルセンサ１３０ｂよりドライバーＨの心拍数や血圧を取得し、マイク１６０より声量および入力内容を取得し、これらの取得した情報からドライバーＨが通常の思考感情にあるか、通常とは異なる思考感情（例えば、驚いている、怒っているなど）にあるかを認識することができる。 The occupant state recognition unit 130 can recognize the thoughts and feelings of the driver H to some extent based on the information acquired from the occupant photographing camera 130a and the vital sensor 130b and the information input from the microphone 160. FIG. For example, the driver H's facial expression is acquired from the camera 130a for photographing the passenger, the heart rate and blood pressure of the driver H are acquired from the vital sensor 130b, the voice volume and input content are acquired from the microphone 160, and from these acquired information It can be recognized whether the driver H is in a normal thinking feeling or a different thinking feeling (for example, surprised, angry, etc.).

なお、本実施形態においては、乗員状態認識部１３０として、乗員撮影用カメラ１３０ａと、バイタルセンサ１３０ｂと、を挙げたが、一例にすぎず、他のデバイスを用いても勿論よい。 In this embodiment, the occupant photographing camera 130a and the vital sensor 130b are used as the occupant state recognition unit 130, but these are merely examples, and other devices may of course be used.

（車両状態認識部１４０）
車両状態認識部１４０は、車両１の状態を認識するために設けられている。また、車両状態認識部１４０は、車速センサ１４０ａと、ハンドル角センサ１４０ｂと、アクセルペダルセンサ１４０ｃと、ブレーキペダルセンサ１４０ｄと、Ｇセンサ１４０ｅと、シフトポジションセンサ１４０ｆと、を備えており、これらのデバイスによって車両１の状態を認識することができるようになっている。 (Vehicle state recognition unit 140)
Vehicle state recognition unit 140 is provided to recognize the state of vehicle 1 . The vehicle state recognition unit 140 also includes a vehicle speed sensor 140a, a steering wheel angle sensor 140b, an accelerator pedal sensor 140c, a brake pedal sensor 140d, a G sensor 140e, and a shift position sensor 140f. The state of the vehicle 1 can be recognized by the device.

（車速センサ１４０ａ）
車速センサ１４０ａは、車両１の車速を検出するためのセンサであって、検出された車速が車速信号として制御部１１０に入力されて、制御部１１０がＲＡＭに車速情報を記憶する。これにより、制御部１１０は、車両１の車速をリアルタイムおよび事後的に認識することができる。 (Vehicle speed sensor 140a)
The vehicle speed sensor 140a is a sensor for detecting the vehicle speed of the vehicle 1. The detected vehicle speed is input to the control unit 110 as a vehicle speed signal, and the control unit 110 stores the vehicle speed information in RAM. Thereby, the control part 110 can recognize the vehicle speed of the vehicle 1 in real time and after the fact.

（ハンドル角センサ１４０ｂ）
ハンドル角センサ１４０ｂは、車両１のハンドル角（ステアリングホイール４の角度）を検出するためのセンサであって、検出されたハンドル角が角度信号として制御部１１０に入力されて、制御部１１０がＲＡＭに角度情報を記憶する。これにより、制御部１１０は、車両１のハンドル角（ステアリングホイール４の角度）をリアルタイムおよび事後的に認識することができる。 (Handle angle sensor 140b)
The steering wheel angle sensor 140b is a sensor for detecting the steering wheel angle of the vehicle 1 (the angle of the steering wheel 4). to store the angle information. Thereby, the control unit 110 can recognize the steering wheel angle (the angle of the steering wheel 4) of the vehicle 1 both in real time and after the fact.

（アクセルペダルセンサ１４０ｃ）
アクセルペダルセンサ１４０ｃは、図示しないアクセルペダルの踏み込み量を検出するためのセンサであって、検出された踏み込み量が踏み込み量信号として制御部１１０に入力されて、制御部１１０がＲＡＭに踏み込み量情報を記憶する。これにより、制御部１１０は、車両１のアクセルペダルの踏み込み量をリアルタイムおよび事後的に認識することができる。 (Accelerator pedal sensor 140c)
The accelerator pedal sensor 140c is a sensor for detecting the amount of depression of an accelerator pedal (not shown). memorize Thereby, the control part 110 can recognize the depression amount of the accelerator pedal of the vehicle 1 in real time and after the fact.

（ブレーキペダルセンサ１４０ｄ）
ブレーキペダルセンサ１４０ｄは、図示しないブレーキペダルの踏み込み量を検出するためのセンサであって、検出された踏み込み量が踏み込み量信号として制御部１１０に入力されて、制御部１１０がＲＡＭに踏み込み量情報を記憶する。これにより、制御部１１０は、車両１のブレーキペダルの踏み込み量をリアルタイムおよび事後的に認識することができる。 (Brake pedal sensor 140d)
The brake pedal sensor 140d is a sensor for detecting the amount of depression of a brake pedal (not shown). memorize Thereby, the control part 110 can recognize the depression amount of the brake pedal of the vehicle 1 in real time and after the fact.

（Ｇセンサ１４０ｅ）
Ｇセンサ１４０ｅは、車両１の加速度、減速度及び傾斜を検出するためのセンサであって、加速度が検出された場合は加速度量が、減速度が検出された場合は減速度量が、傾斜が検出された場合は傾斜角度量が、それぞれ加速度量信号、減速度量信号、傾斜角度信号として制御部１１０に入力されて、制御部１１０がＲＡＭに加速度情報、減速度情報及び傾斜情報を記憶する。これにより、制御部１１０は、車両１の加速度、減速度及び傾斜をリアルタイムおよび事後的に認識することができる。 (G sensor 140e)
The G sensor 140e is a sensor for detecting the acceleration, deceleration and tilt of the vehicle 1, and detects the acceleration amount when acceleration is detected, the deceleration amount when deceleration is detected, and the tilt. In this case, the tilt angle amount is input to the control unit 110 as an acceleration amount signal, a deceleration amount signal, and a tilt angle signal, respectively, and the control unit 110 stores the acceleration information, deceleration information, and tilt information in the RAM. Thereby, the control part 110 can recognize the acceleration, deceleration, and inclination of the vehicle 1 in real time and after the fact.

（シフトポジションセンサ１４０ｆ）
シフトポジションセンサ１４０ｆは、車両１のシフトレンジ（シフトポジション）がどこになっているかを検出するためのセンサである。すなわち、シフトポジションセンサ１４０ｆは、シフトレンジが、パーキングレンジ（停車位置）、ドライブレンジ（走行位置）、リバースレンジ（後退位置）、ニュートラルレンジ（中立位置）等の、どの位置に設定されているかを検知するものである。シフトポジションセンサ１４０ｆが検知したシフトレンジは、制御部１１０に入力されて、制御部１１０がＲＡＭに現在のシフトレンジを記憶する。これにより、制御部１１０は、シフトレンジがどこに設定されているかを認識することができる。 (Shift position sensor 140f)
The shift position sensor 140f is a sensor for detecting where the shift range (shift position) of the vehicle 1 is. That is, the shift position sensor 140f detects which position the shift range is set to, such as parking range (parking position), drive range (running position), reverse range (backward position), neutral range (neutral position), and the like. It detects. The shift range detected by shift position sensor 140f is input to control unit 110, and control unit 110 stores the current shift range in RAM. This allows control unit 110 to recognize where the shift range is set.

以上のようにして、制御部１１０は、車両１の状態をリアルタイムおよび事後的に認識することができる。これにより、制御部１１０は、車両１の状態の認識に基づいて、エージェント２００と、エージェントスピーカ１９１と、を制御して、車両１の状態の情報をドライバーＨに対して報知することができる。例えば、適切な速度で走行していれば、「適切な速度で走行されていますね」といったジェスチャーおよび音声による報知ができる。これにより、安全性の向上に繋がる。 As described above, the control unit 110 can recognize the state of the vehicle 1 both in real time and after the fact. Accordingly, the control unit 110 can notify the driver H of the state information of the vehicle 1 by controlling the agent 200 and the agent speaker 191 based on the recognition of the state of the vehicle 1 . For example, if the vehicle is traveling at an appropriate speed, it can be notified by gestures and voice such as "You are traveling at an appropriate speed." This leads to an improvement in safety.

なお、本実施形態においては、車両状態認識部１４０として、車速センサ１４０ａと、ハンドル角センサ１４０ｂと、アクセルペダルセンサ１４０ｃと、ブレーキペダルセンサ１４０ｄと、Ｇセンサ１４０ｅ、シフトポジションセンサ１４０ｆと、を挙げたが、一例にすぎず、他のデバイスを用いても勿論よい。 In this embodiment, the vehicle state recognition unit 140 includes a vehicle speed sensor 140a, a steering wheel angle sensor 140b, an accelerator pedal sensor 140c, a brake pedal sensor 140d, a G sensor 140e, and a shift position sensor 140f. However, this is only an example, and other devices may of course be used.

（スピーカ１５０）
スピーカ１５０は、例えば、インストルメントパネル３に取り付けられており、エージェント２００から発せられる音声以外の音声や警告音等が出力される。なお、スピーカ１５０を設けずに、車両１に内蔵されているオーディオスピーカを用いてもよい。また、後述するように、スピーカ１５０は、エージェントスピーカ１９１を兼用するものであってもよい。 (Speaker 150)
The speaker 150 is attached to the instrument panel 3, for example, and outputs sounds other than the sound emitted from the agent 200, warning sounds, and the like. An audio speaker built in the vehicle 1 may be used without providing the speaker 150 . Also, as will be described later, the speaker 150 may double as the agent speaker 191 .

（マイク１６０）
マイク１６０は、例えば、インストルメントパネル３に取り付けられており、ドライバーＨ、その他乗員から発せられる音声が入力される。 (mic 160)
The microphone 160 is attached to the instrument panel 3, for example, and receives voices from the driver H and other passengers.

（記憶部１７０）
記憶部１７０は、上述した各認識部から取得した情報や、ドライバーＨと制御部１１０とで行われた対話等を記憶することが可能である。制御部１１０は、これらの情報を記憶部１７０に蓄積していくことで、ドライバーＨの運転傾向（例えば、どのような運転を行うドライバーであるのか）や、ドライバーＨの趣味嗜好（例えば、どのようなＢＧＭが好みであるのか）等を認識することができる。また、これらを認識することで、ドライバーＨの運転傾向や、ドライバーＨの趣味嗜好に併せた対話をエージェント装置１００側（エージェント２００）から能動的に行うこともできる。 (storage unit 170)
The storage unit 170 can store information acquired from each of the recognition units described above, dialogue between the driver H and the control unit 110, and the like. By accumulating such information in the storage unit 170, the control unit 110 can determine the driving tendency of the driver H (for example, how the driver drives) and the hobbies and preferences of the driver H (for example, which Do you like such BGM?), etc., can be recognized. In addition, by recognizing these, it is also possible to actively engage in conversations in accordance with the driving tendency of the driver H and the hobbies and tastes of the driver H from the side of the agent device 100 (agent 200).

（送受信機１８０）
送受信機１８０は、例えば、車載用の無線ＬＡＮを用いた情報の取得や、衛星測位システムを用いた位置情報の取得などが可能である。制御部１１０は、これら取得した情報や、上述の記憶部１７０に蓄積した情報に基づいて、ドライバーＨの運転傾向や、ドライバーＨの趣味嗜好に併せた対話をエージェント装置１００側（エージェント２００）から能動的に行うこともできる。 (Transceiver 180)
The transmitter/receiver 180 can, for example, acquire information using a vehicle-mounted wireless LAN, acquire position information using a satellite positioning system, and the like. Based on the acquired information and the information accumulated in the storage unit 170, the control unit 110 causes the agent device 100 side (agent 200) to communicate with the driver H's driving tendency and the driver H's hobbies and preferences. It can also be done actively.

（エージェント制御部１９０）
エージェント制御部１９０は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ、入出力ポート等を備えており、例えば、制御部１１０から情報入力が行われると、エージェント２００の各部を動作させたり、エージェントスピーカ１９１に対して所定の音声出力を行わせたりできるようになっている。 (Agent control unit 190)
The agent control unit 190 includes a CPU, a ROM, a RAM, an input/output port, etc. (not shown). It is possible to perform a predetermined audio output by pressing the button.

（エージェントスピーカ１９１）
エージェントスピーカ１９１は、前述のように、エージェント２００の頭部２１１内に設けられており、エージェント２００から発せられる音声等が出力される。なお、本実施の形態のように、エージェントスピーカ１９１をエージェント２００の頭部２１１内、特に口にあたる部分に設けることで、よりリアルになり信頼関係の構築に寄与するものであるが、エージェント２００が小さいものであり、頭部２１１内に設けることが困難である場合などには、前述のスピーカ１５０で代用したり、車両１内の他の部分にエージェントスピーカ１９１、または、その代用品となるスピーカを設けたりしてもよい。 (Agent speaker 191)
The agent speaker 191 is provided inside the head 211 of the agent 200 as described above, and outputs voices and the like emitted from the agent 200 . By providing the agent speaker 191 in the head 211 of the agent 200, particularly in the mouth, as in the present embodiment, it becomes more realistic and contributes to building a relationship of trust. If it is small and difficult to install in the head 211, the speaker 150 described above may be substituted, or the agent speaker 191 or a substitute speaker may be placed in another part of the vehicle 1. may be provided.

次に、エージェント装置１００におけるエージェント２００の動作および対話について、説明する。エージェント２００の動作および対話は、制御部１１０による制御処理によって行われ、エージェント制御部１９０によりエージェント２００の各部が動作されるとともに、エージェントスピーカ１９１から音声が出力される。なお、制御処理を行う制御フローは、制御部１１０のＲＯＭに記憶されており、制御部１１０のＣＰＵがＲＯＭから読み出して各種処理を行う。 Next, the operation and interaction of agent 200 in agent device 100 will be described. The action and dialogue of the agent 200 are performed by the control processing by the control unit 110 , each part of the agent 200 is operated by the agent control unit 190 , and voice is output from the agent speaker 191 . A control flow for performing control processing is stored in the ROM of the control unit 110, and the CPU of the control unit 110 reads it from the ROM and performs various processing.

以下、図６を用いて、制御部１１０のＣＰＵにより行われるエージェント制御処理のメイン処理について、説明する。 Main processing of the agent control processing performed by the CPU of the control unit 110 will be described below with reference to FIG.

（ステップＳ１０）
ステップＳ１０において、制御部１１０のＣＰＵは、イグニッションがオンされると、エージェント制御処理のメイン処理を開始する。具体的には、制御部１１０のＣＰＵは、ＲＯＭからエージェント制御処理のメイン処理を読み出して処理を開始し、ステップＳ１００に処理を移行する。 (Step S10)
In step S10, when the ignition is turned on, the CPU of control unit 110 starts the main processing of the agent control processing. Specifically, the CPU of the control unit 110 reads the main process of the agent control process from the ROM, starts the process, and shifts the process to step S100.

（ステップＳ１００）
ステップＳ１００において、制御部１１０のＣＰＵは、乗車時処理を行う。乗車時処理では、ドライバーＨが車両１に乗車した際の開始時の処理を行う。例えば、制御部１１０のＣＰＵは、乗車時処理において、エージェント２００をドライバーＨに正対させる処理を行う。また、制御部１１０のＣＰＵは、ドライバーＨへの会話を行ったり、天候、燃料残情報、車両メンテナンスの特筆事項などの乗車時説明事項を、エージェント２００に対して発話および動作によって行わせたりする処理などを行う。そして、乗車時処理を終えると、ステップＳ２００に処理を移行する。 (Step S100)
In step S100, the CPU of the control unit 110 performs boarding processing. In the boarding process, the process at the start when the driver H gets into the vehicle 1 is performed. For example, the CPU of the control unit 110 performs a process of causing the agent 200 to face the driver H in the boarding process. In addition, the CPU of the control unit 110 converses with the driver H, and causes the agent 200 to speak and act to provide explanations upon boarding, such as the weather, remaining fuel information, special notes on vehicle maintenance, and the like. processing, etc. Then, when the boarding process is completed, the process proceeds to step S200.

（ステップＳ２００）
ステップＳ２００において、制御部１１０のＣＰＵは、運転開始前処理を行う。運転開始前処理では、ドライバーＨが運転を開始する前の処理を行う。例えば、運転開始前処理では、目的地までの走行環境の注意事項や、休憩ポイントについての説明などを行う。運転開始前処理の説明では、エージェント２００は、ドライバーＨに正対し、項目ごとに両手を動かして説明し、項目の終了ごとに首を上下するなど完了の合図も行う。そして、運転開始前処理を終えると、ステップＳ２０に処理を移行する。 (Step S200)
In step S200, the CPU of the control unit 110 performs pre-operation processing. In the pre-driving process, the process before the driver H starts driving is performed. For example, in the pre-driving process, notes on the driving environment to the destination, explanations about rest points, and the like are performed. In the explanation of the pre-driving process, the agent 200 faces the driver H, moves both hands to explain each item, and signals the completion of each item by moving the head up and down. Then, after finishing the pre-starting process, the process proceeds to step S20.

（ステップＳ２０）
ステップＳ２０において、制御部１１０のＣＰＵは、シフトレンジが「Ｐ」（パーキングレンジ）であるか否かを判定する処理を行う。具体的には、制御部１１０のＣＰＵは、シフトポジションセンサ１４０ｆから入力されたシフトレンジが、パーキングレンジであるか否かを判定する。制御部１１０のＣＰＵは、シフトレンジがパーキングレンジでない（この場合、シフトポジションが変更された）と判定した場合には、ステップＳ３００に処理を移行し、シフトレンジがパーキングレンジである（この場合、シフトポジションが変更されていない）と判定した場合には、ステップＳ４００に処理を移行する。 (Step S20)
In step S20, the CPU of control unit 110 performs a process of determining whether or not the shift range is "P" (parking range). Specifically, the CPU of control unit 110 determines whether the shift range input from shift position sensor 140f is the parking range. When the CPU of control unit 110 determines that the shift range is not the parking range (in this case, the shift position has been changed), the process proceeds to step S300, and the shift range is the parking range (in this case, If it is determined that the shift position has not been changed, the process proceeds to step S400.

（ステップＳ３００）
ステップＳ３００において、制御部１１０のＣＰＵは、走行時処理を行う。走行時処理では、走行時におけるエージェント２００の制御処理を行う。例えば、制御部１１０のＣＰＵは、シフトポジションセンサ１４０ｆから入力されたシフトレンジが、「Ｄ」（ドライブレンジ）である場合には、エージェント２００を前方（車両１の進行方向）に向かせる（所定の姿勢をとらせる）などの前進走行時のエージェント２００の制御処理を行い、シフトレンジが「Ｒ」（リバースレンジ）である場合には、後退走行時のエージェント２００の制御処理を行う。走行時処理の詳細については、後述する。そして、走行時処理を終えると、ステップＳ３０に処理を移行する。 (Step S300)
In step S300, the CPU of the control unit 110 performs a running process. In the running process, the agent 200 is controlled during running. For example, when the shift range input from the shift position sensor 140f is "D" (driving range), the CPU of the control unit 110 directs the agent 200 forward (in the traveling direction of the vehicle 1) (predetermined If the shift range is "R" (reverse range), the agent 200 is controlled during reverse travel. The details of the running process will be described later. After the running process is completed, the process proceeds to step S30.

（ステップＳ３０）
ステップＳ３０において、制御部１１０のＣＰＵは、シフトレンジが「Ｐ」（パーキングレンジ）であるか否かを判定する処理を行う。前述のように、制御部１１０のＣＰＵは、シフトポジションセンサ１４０ｆから入力されたシフトレンジが、パーキングレンジであるか否かを判定する。制御部１１０のＣＰＵは、シフトレンジがパーキングレンジでないと判定した場合には、ステップＳ３００に処理を移行し、シフトレンジがパーキングレンジであると判定した場合には、ステップＳ４００に処理を移行する。 (Step S30)
In step S30, the CPU of control unit 110 performs a process of determining whether or not the shift range is "P" (parking range). As described above, the CPU of control unit 110 determines whether the shift range input from shift position sensor 140f is the parking range. When the CPU of control unit 110 determines that the shift range is not the parking range, the process proceeds to step S300, and when it determines that the shift range is the parking range, the process proceeds to step S400.

（ステップＳ４００）
ステップＳ４００において、制御部１１０のＣＰＵは、運転終了時処理を行う。運転終了時処理では、所定の走行が終了した際の終了時の処理を行う。例えば、制御部１１０のＣＰＵは、運転終了時処理において、エージェント２００を改めてドライバーＨに正対させ、基本姿勢を取らせる。また、制御部１１０のＣＰＵは、運転終了時の労いのための音声出力および動作を行ったり、車両における異常や告知情報などがある場合には、異常の告知、警告音の発報や、情報の告知を音声や動作で行ったりする。そして、運転終了時処理を終えると、ステップＳ４０に処理を移行する。 (Step S400)
In step S400, the CPU of the control unit 110 performs processing at the end of operation. In the end-of-driving process, a process at the end of a predetermined run is performed. For example, the CPU of the control unit 110 causes the agent 200 to again face the driver H and take the basic posture in the process at the end of driving. In addition, the CPU of the control unit 110 performs voice output and operation for the end of driving, and if there is an abnormality in the vehicle or notification information, the CPU of the control unit 110 notifies the abnormality, issues a warning sound, or The announcement is made by voice or action. When the end of operation process is completed, the process proceeds to step S40.

（ステップＳ４０）
ステップＳ４０において、制御部１１０のＣＰＵは、シフトレンジが「Ｐ」（パーキングレンジ）であるか否かを判定する処理を行う。前述のように、制御部１１０のＣＰＵは、シフトポジションセンサ１４０ｆから入力されたシフトレンジが、パーキングレンジであるか否かを判定する。制御部１１０のＣＰＵは、シフトレンジがパーキングレンジでない（この場合、シフトポジションが変更された）と判定した場合には、ステップＳ３００に処理を移行し、シフトレンジがパーキングレンジである（この場合、シフトポジションが変更されていない）と判定した場合には、ステップＳ５０に処理を移行する。 (Step S40)
In step S40, the CPU of control unit 110 performs a process of determining whether or not the shift range is "P" (parking range). As described above, the CPU of control unit 110 determines whether the shift range input from shift position sensor 140f is the parking range. When the CPU of control unit 110 determines that the shift range is not the parking range (in this case, the shift position has been changed), the process proceeds to step S300, and the shift range is the parking range (in this case, If it is determined that the shift position has not been changed, the process proceeds to step S50.

（ステップＳ５０）
ステップＳ５０において、制御部１１０のＣＰＵは、運転再開判定処理を行う。運転再開判定処理では、ドライバーＨが運転を再開する意思があるのか否かを判定する処理を行う。例えば、制御部１１０のＣＰＵは、ドライバーＨから「運転を再開します」といった音声入力が行われた場合、または、新たな目的地がナビゲーションシステムに音声入力や手入力によって入力された場合等、運転再開の意思があると判定する。制御部１１０のＣＰＵは、運転再開の意思があると判定した場合には、ステップＳ２００に処理を移行し、運転再開の意思がないと判定した場合には、ステップＳ６０に処理を移行する。 (Step S50)
In step S50, the CPU of the control unit 110 performs operation restart determination processing. In the driving resumption determination process, it is determined whether or not the driver H has an intention to resume driving. For example, the CPU of the control unit 110 receives voice input such as "I will resume driving" from the driver H, or when a new destination is input to the navigation system by voice input or manual input. It is determined that there is an intention to resume operation. If the CPU of control unit 110 determines that there is an intention to resume operation, the process proceeds to step S200, and if it determines that there is no intention to resume operation, the process proceeds to step S60.

（ステップＳ６０）
ステップＳ６０において、制御部１１０のＣＰＵは、イグニッションがオフされたか否かを判定する。制御部１１０のＣＰＵは、イグニッションがオフされた場合には、エージェント制御処理のメイン処理を終了し、イグニッションがオフされていない場合には、ステップＳ４０に処理を移行する。 (Step S60)
In step S60, the CPU of control unit 110 determines whether or not the ignition is turned off. The CPU of control unit 110 ends the main processing of the agent control processing when the ignition is turned off, and proceeds to step S40 when the ignition is not turned off.

次に、図７を用いて、制御部１１０のＣＰＵにより行われる走行時処理について説明を行う。図７は、図６のステップＳ３００（走行時処理）のサブルーチンである。 Next, with reference to FIG. 7, the running processing performed by the CPU of the control unit 110 will be described. FIG. 7 is a subroutine of step S300 (running process) in FIG.

（ステップＳ３０１）
走行時処理では、まず、ステップＳ３０１において、制御部１１０のＣＰＵは、発進時処理を行う。発進時処理では、発進時の注意喚起を行う。すなわち、発進時には、ドライバーＨの考えと動作（過去の操作を含む）が一致していない場合が発生しやすい。具体的には、高齢者等が思い込みでシフトポジション（シフトレンジの「Ｄ」（ドライブレンジ）と「Ｒ」（リバースレンジ）等）を間違え、衝突などが発生することがある。ここでは、安全だろうとの思い込みを排除するため、発進時処理を行う。例えば、制御部１１０のＣＰＵは、発進時処理において、シフトレンジの読み上げによる行動確認を行う。また、制御部１１０のＣＰＵは、進行方向の目視確認を促す。これにより、車両１に誤発進機能が搭載されていたとしても、ドライバーＨによる誤操作自体を抑制して、安全性を向上させることができる。 (Step S301)
In the running process, first, in step S301, the CPU of the control unit 110 performs starting process. In the process at the time of starting, attention is called at the time of starting. In other words, when the vehicle starts moving, it is likely that the driver H's thoughts and actions (including past operations) do not match. Specifically, elderly people and the like may misunderstand the shift positions ("D" (drive range) and "R" (reverse range) of the shift range, etc.) and cause collisions. Here, in order to eliminate the assumption that the vehicle is safe, start-up processing is performed. For example, the CPU of the control unit 110 confirms the behavior by reading out the shift range in the starting process. Further, the CPU of the control unit 110 prompts visual confirmation of the traveling direction. As a result, even if the vehicle 1 is equipped with an erroneous start function, the erroneous operation itself by the driver H can be suppressed, and safety can be improved.

（ステップＳ３０２）
ステップＳ３０２において、制御部１１０のＣＰＵは、シフトレンジが「Ｄ」（ドライブレンジ）であるか否かを判定する処理を行う。具体的には、制御部１１０のＣＰＵは、シフトポジションセンサ１４０ｆから入力されたシフトレンジが、ドライブレンジであるか否かを判定する。制御部１１０のＣＰＵは、シフトレンジがドライブレンジでないと判定した場合には、ステップＳ３０３に処理を移行し、シフトレンジがドライブレンジであると判定した場合には、ステップＳ３１０に処理を移行する。 (Step S302)
In step S302, the CPU of control unit 110 performs a process of determining whether or not the shift range is "D" (drive range). Specifically, the CPU of control unit 110 determines whether the shift range input from shift position sensor 140f is the drive range. If the CPU of control unit 110 determines that the shift range is not the drive range, it proceeds to step S303, and if it determines that the shift range is the drive range, it proceeds to step S310.

（ステップＳ３０３）
ステップＳ３０３において、制御部１１０のＣＰＵは、非ドライブレンジ時処理を行う。非ドライブレンジ時処理では、シフトレンジが「Ｄ」（ドライブレンジ）時以外の走行時の処理を行う。例えば、制御部１１０のＣＰＵは、シフトレンジが「Ｒ」（リバースレンジ）であれば、リバースレンジ時処理などを行う。リバースレンジ時処理では、駐車を想定した処理などを行う。非ドライブレンジ時処理の詳細については、説明を省略する。そして、非ドライブレンジ時処理を終えると、走行時処理を終了する。 (Step S303)
In step S303, the CPU of the control unit 110 performs non-driving range processing. In the non-driving range process, the process is performed when the vehicle is traveling when the shift range is not "D" (driving range). For example, if the shift range is "R" (reverse range), the CPU of control unit 110 performs reverse range processing. In the reverse range processing, processing assuming parking is performed. Description of the details of the non-driving range processing is omitted. When the non-driving range processing ends, the running processing ends.

（ステップＳ３１０）
ステップＳ３１０において、制御部１１０のＣＰＵは、走行中処理を行う。走行中処理では、周辺状況に応じて走行中におけるエージェント２００の制御処理を行う。例えば、制御部１１０のＣＰＵは、車両１の走行中における接近物に対する報知や回避動作への誘導などを行う。走行中処理の詳細については、後述する。そして、走行中処理が終了したら、走行時処理を終了する。 (Step S310)
In step S310, the CPU of control unit 110 performs processing during running. In the running processing, control processing of the agent 200 during running is performed according to the surrounding situation. For example, the CPU of the control unit 110 notifies an approaching object while the vehicle 1 is running, guides the vehicle to an avoidance action, and the like. The details of the running process will be described later. When the running process ends, the running process ends.

次に、図８を用いて、制御部１１０のＣＰＵにより行われる走行中処理について説明を行う。図８は、図７のステップＳ３１０（走行中処理）のサブルーチンである。 Next, the running process performed by the CPU of the control unit 110 will be described with reference to FIG. FIG. 8 is a subroutine of step S310 (running process) in FIG.

（ステップＳ３１１）
走行中処理では、まず、ステップＳ３１１において、制御部１１０のＣＰＵは、接近物があるか否かを判定する処理を行う。具体的には、制御部１１０のＣＰＵは、車外撮影用カメラ１２０ａやレーダ１２０ｂ等から入力された周辺状況の情報から、車両１に対して所定の範囲内および所定の速度以上で接近するもの（や人など）があるか否かを判定する。すなわち、制御部１１０のＣＰＵは、取得した周辺状況により、ドライバーＨに対応処置を行わせる必要があるか否かを判断する。制御部１１０のＣＰＵは、接近物があると判定した場合には、ステップＳ３１４に処理を移行し、接近物がないと判定した場合には、ステップＳ３１２に処理を移行する。 (Step S311)
In the running process, first, in step S311, the CPU of the control unit 110 performs a process of determining whether or not there is an approaching object. Specifically, the CPU of the control unit 110 determines that the vehicle 1 is approaching within a predetermined range and at a speed higher than a predetermined speed ( , people, etc.). In other words, the CPU of the control unit 110 determines whether or not it is necessary to have the driver H perform a countermeasure based on the acquired surrounding conditions. When the CPU of the control unit 110 determines that there is an approaching object, the process proceeds to step S314, and when it determines that there is no approaching object, the process proceeds to step S312.

（ステップＳ３１２）
ステップＳ３１２において、制御部１１０のＣＰＵは、通常走行中処理を行う。通常走行中処理では、所定の回避行動の必要がない場合などの通常の走行中の処理を行う。例えば、通常走行中処理では、目的地の案内、右左折地点の案内、ドライバーＨによる指示に対する処理、日常的な会話や眠気防止処置などを行う。 (Step S312)
In step S312, the CPU of control unit 110 performs normal running processing. In the normal running processing, the processing during normal running is performed, such as when there is no need for a predetermined avoidance action. For example, in the normal running processing, guidance of the destination, guidance of right and left turning points, processing for instructions from the driver H, daily conversations, drowsiness prevention measures, etc. are performed.

（ステップＳ３１３）
通常走行中処理に次いで、ステップＳ３１３において、制御部１１０のＣＰＵは、車速が「０」であるか否かを判定する処理を行う。具体的には、制御部１１０のＣＰＵは、車速センサ１４０ａから入力された車速に基づいて、車両１が停止したか否かを判定する。制御部１１０のＣＰＵは、車速が「０」でないと判定した場合には、ステップＳ３１１に処理を移行し、上記処理を繰り返し、車速が「０」であると判定した場合には、走行中処理を終了する。 (Step S313)
Following the normal running process, in step S313, the CPU of control unit 110 performs a process of determining whether or not the vehicle speed is "0". Specifically, the CPU of the control unit 110 determines whether the vehicle 1 has stopped based on the vehicle speed input from the vehicle speed sensor 140a. When the CPU of the control unit 110 determines that the vehicle speed is not "0", the process proceeds to step S311, and repeats the above process. exit.

（ステップＳ３１４）
ステップＳ３１４において、制御部１１０のＣＰＵは、即時衝突可能性があるか否かを判定する処理を行う。すなわち、車両１に対して、接近物があったとしても、緊急に回避処理を行う必要がある場合と、回避行動を行うまでの必要性はないあるいは緊急ではなく所定の回避行動を行えばよい場合と、がある。したがって、緊急時には、即時、回避行動を行い、緊急でなければ、周辺状況に応じて対応処置を行う。制御部１１０のＣＰＵは、即時衝突可能性があると判定した場合には、ステップＳ３１５に処理を移行し、即時衝突可能性がないと判定した場合には、ステップＳ３１６に処理を移行する。 (Step S314)
In step S314, the CPU of control unit 110 performs a process of determining whether or not there is an immediate collision possibility. That is, even if there is an approaching object to the vehicle 1, there is a case where it is necessary to perform the avoidance process urgently, and there is no necessity until the avoidance action is performed, or a predetermined avoidance action may be performed instead of an emergency. There are cases and cases. Therefore, in case of emergency, evasive action is immediately taken, and in non-emergency, countermeasures are taken according to the surrounding situation. If the CPU of the control unit 110 determines that there is an immediate collision possibility, the process proceeds to step S315, and if it determines that there is no immediate collision possibility, the process proceeds to step S316.

（ステップＳ３１５）
ステップＳ３１５において、制御部１１０のＣＰＵは、緊急回避処理を行って、走行中処理を終了する。緊急回避処理では、車両１が接近物に短時間で衝突する可能性があるので、制御部１１０のＣＰＵは、ドライバーＨに対して回避行動も促すが、直接、車両１の動作制御も行う。例えば、制御部１１０のＣＰＵは、緊急ブレーキの発動を行ったり、エアバッグ８の発動準備や、発動を行ったりする。 (Step S315)
In step S315, the CPU of control unit 110 performs emergency avoidance processing and ends the running processing. In the emergency avoidance process, the vehicle 1 may collide with an approaching object in a short period of time, so the CPU of the control unit 110 prompts the driver H to take avoidance action, but also directly controls the operation of the vehicle 1 . For example, the CPU of the control unit 110 activates an emergency brake, and prepares and activates the airbag 8 .

（ステップＳ３１６）
ステップＳ３１６において、制御部１１０のＣＰＵは、接近物の認識と回避行動の同時伝達動作を行う。具体的には、制御部１１０のＣＰＵは、エージェント２００に対して、一方の腕で接近物を指差しさせ、他方の腕は水平に開き、掌は下方にして、足を屈伸させる。ドライバーＨは、エージェント２００が接近物を指差すとともに、減速動作を行うので、減速動作の原因が把握でき、減速動作に移行しやすい。また、ドライバーＨは、エージェント２００によって接近物が指差されているので、一瞬の視線の移行や、周辺視野で接近物を捉えることができ、運転に支障をきたすことなく、接近物の把握と回避行動を行うことができる。なお、接近物への指差しは、短時間とする。すなわち、接近物を凝視させると、回避行動に移り難くなってしまうためである。そして、接近物の認識と回避行動の同時伝達動作後に、ステップＳ３１７に処理を移行する。 (Step S316)
In step S316, the CPU of the control unit 110 performs simultaneous transmission of recognition of the approaching object and avoidance action. Specifically, the CPU of the control unit 110 causes the agent 200 to point at an approaching object with one arm, open the other arm horizontally, place the palm downward, and bend and stretch the leg. Since the agent 200 points to the approaching object and decelerates, the driver H can grasp the cause of the deceleration and easily shifts to the deceleration. In addition, since the agent 200 is pointing at the approaching object, the driver H can see the approaching object in a momentary shift of the line of sight or in the peripheral vision. You can take evasive action. In addition, the finger pointing at the approaching object should be kept for a short time. That is, if the subject stares at an approaching object, it becomes difficult to shift to avoidance behavior. Then, after the simultaneous transmission of the recognition of the approaching object and the avoidance action, the process proceeds to step S317.

（ステップＳ３１７）
ステップＳ３１７において、制御部１１０のＣＰＵは、接近物の発見に対する発話処理を行う。具体的には、制御部１１０のＣＰＵは、接近物を発見したこと、接近物の特徴、接近物の方向などを、簡潔に音声出力する。ここで、音声出力する接近物の情報は、なるべく簡潔に伝達する。すなわち、接近物に対する情報が過多となってしまうと、かえって混乱してしまうので、最低限の情報のみとする。ドライバーＨは、この音声出力が加わることにより、上記エージェント２００による接近物の指差し（エージェント２００の動作）に対して、情報が補完されることとなる。そして、接近物の発見に対する発話処理を終了すると、ステップＳ３１８に処理を移行する。 (Step S317)
In step S317, the CPU of control unit 110 performs speech processing for detecting an approaching object. Specifically, the CPU of the control unit 110 briefly outputs information such as the discovery of the approaching object, the characteristics of the approaching object, the direction of the approaching object, and the like. Here, the information of the approaching object to be output by voice is conveyed as concisely as possible. That is, if there is too much information about the approaching object, it will conversely cause confusion, so only the minimum information is provided. By adding this voice output, the driver H will be complemented with information for the pointing of the approaching object by the agent 200 (action of the agent 200). Then, when the utterance processing for finding the approaching object is completed, the process proceeds to step S318.

（ステップＳ３１８）
ステップＳ３１８において、制御部１１０のＣＰＵは、回避行動に移るための動作を行う。すなわち、制御部１１０のＣＰＵは、ドライバーＨが接近物を回避する行動に移るように、直感的に理解できるような動作をエージェント２００に行わせる。 (Step S318)
In step S318, the CPU of the control unit 110 performs an action for transitioning to avoidance action. That is, the CPU of the control unit 110 causes the agent 200 to perform intuitively understandable actions so that the driver H moves to avoid the approaching object.

具体的には、図９に示すように、制御部１１０のＣＰＵは、エージェント２００に対して、掌を下に向け、両腕を水平に広げさせる。これにより、ドライバーＨに対して、中心視野に意識が集中していたものを、周辺の注意も必要であることを意識付けさせる。そして、制御部１１０のＣＰＵは、エージェント２００の両腕を広げたまま、両足を屈伸させて、しゃがみこませる。これにより、減速の指示を行い、ドライバーＨに減速行動を起こさせることができる。なお、減速の必要度合いに応じて、屈伸量（屈伸の深さ）を変えることで、減速の量をイメージさせることができる。 Specifically, as shown in FIG. 9, the CPU of the control unit 110 causes the agent 200 to open its arms horizontally with the palm facing downward. As a result, the driver H becomes conscious of the need to pay attention to the periphery instead of focusing on the central visual field. Then, the CPU of the control unit 110 causes the agent 200 to squat down with its arms spread out and its legs bent and stretched. As a result, it is possible to instruct the driver to decelerate and cause the driver H to decelerate. By changing the amount of bending and stretching (the depth of bending and stretching) according to the degree of necessity of deceleration, the amount of deceleration can be visualized.

次に、図１０に示すように、制御部１１０のＣＰＵは、エージェント２００に対して、一方の腕で回避方向を指差しながら、他方の腕を伸ばしたまま上下に動かす。なお、エージェント２００の屈伸は継続して行う。これにより、減速しながら、回避方向を認識させる。 Next, as shown in FIG. 10, the CPU of the control unit 110 moves the agent 200 up and down while pointing the avoidance direction with one arm while keeping the other arm stretched. In addition, bending and stretching of the agent 200 is continuously performed. As a result, the avoidance direction is recognized while decelerating.

次いで、図１１に示すように、制御部１１０のＣＰＵは、エージェント２００に対して、ハンドル（ステアリングホイール４）を握り、ブレーキペダルを踏む姿勢をとらせる。そして、制御部１１０のＣＰＵは、エージェント２００に対して、回避方向を向かせた後、回避方向を腕全体で指差しさせることにより、回避行動を促す。 Next, as shown in FIG. 11, the CPU of the control unit 110 causes the agent 200 to take a posture of gripping the steering wheel (steering wheel 4) and stepping on the brake pedal. Then, the CPU of the control unit 110 directs the agent 200 in the avoidance direction, and then makes the agent 200 point in the avoidance direction with the entire arm, thereby prompting the agent 200 to take an avoidance action.

このように、エージェント２００に一連動作を実行させることにより、ドライバーＨに対して、直感的に必要な動作を理解させ、迅速に行動を行わせることができる。そして、回避行動に移るための動作の実行後、ステップＳ３１９に処理を移行する。 By having the agent 200 execute a series of actions in this manner, the driver H can be made to intuitively understand the necessary actions and act quickly. Then, after executing the action for shifting to the avoidance action, the process proceeds to step S319.

（ステップＳ３１９）
ステップＳ３１９において、制御部１１０のＣＰＵは、対象接近物を回避したか否かを判定する処理を行う。制御部１１０のＣＰＵは、対象接近物を回避したと判定した場合には、ステップＳ３１１に処理を移行し、対象接近物を回避していないと判定した場合には、ステップＳ３１８に処理を移行する。 (Step S319)
In step S319, the CPU of the control unit 110 performs processing for determining whether or not the target approaching object has been avoided. If the CPU of the control unit 110 determines that the approaching object has been avoided, the process proceeds to step S311, and if it determines that the approaching object has not been avoided, the process proceeds to step S318. .

なお、上記ステップＳ３１８およびステップＳ３１９においては、ステップＳ３１８において一連の回避行動に移るための動作を行ってから、ステップＳ３１９で対象接近物を回避したか否かを判定する処理を行っているが、一連の回避行動に移るための動作を行っている間に、対象接近物を回避したか否かを判定する処理を行ってもよい。例えば、図９に示す回避行動に移るための動作を行った後、対象接近物を回避したか否かを判定し、次に、図１０に示す回避行動に移るための動作を行った後、対象接近物を回避したか否かを判定し、次いで、図１１に示す回避行動に移るための動作を行った後、対象接近物を回避したか否かを判定するようにしてもよい。 It should be noted that in steps S318 and S319, after performing a series of actions for transitioning to the avoidance action in step S318, the process of determining whether or not the target approaching object has been avoided is performed in step S319. A process of determining whether or not the target approaching object has been avoided may be performed while performing a series of actions for transitioning to the avoidance action. For example, after performing the action for shifting to the avoidance action shown in FIG. 9, it is determined whether or not the target approaching object has been avoided, and then after performing the action for shifting to the avoidance action shown in FIG. It may be determined whether or not the approaching object has been avoided, and then, after performing an action for shifting to the avoidance action shown in FIG. 11, it may be determined whether or not the approaching object has been avoided.

以上のように、本実施の形態のエージェント装置１００は、エージェント２００に対して、必要な回避行動の真似事だけではなく、回避行動を取らなければならない原因となった事象を即座に理解させつつ、ドライバーＨのとるべき必要な動作を直感的に理解させ、走行環境に適した運転操作を迅速に行わせることができる。 As described above, the agent device 100 of the present embodiment allows the agent 200 to immediately understand not only the imitation of the necessary avoidance action, but also the event that caused the avoidance action to be taken. , the necessary actions to be taken by the driver H can be intuitively understood, and the driving operation suitable for the driving environment can be quickly performed.

なお、本実施の形態のエージェント制御処理は、制御部１１０のＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ等に記憶されたプログラムが、制御部１１０のＲＡＭ等に展開されて、制御部１１０のＣＰＵ等によって実行される。
さらに、本実施の形態において、シフトポジションセンサ１４０ｆは、本願のシフトポジション検知部を構成する。また、本実施の形態において、周辺環境認識部１２０は、本願の周辺状況取得部を構成する。また、本実施の形態において、制御部１１０は、本願の判断部を構成する。 In the agent control process of the present embodiment, a program stored in the ROM, RAM, EEPROM, etc. of the control unit 110 is developed in the RAM, etc., of the control unit 110, and executed by the CPU, etc. of the control unit 110. .
Furthermore, in the present embodiment, the shift position sensor 140f constitutes the shift position detection section of the present application. Further, in the present embodiment, the surrounding environment recognition unit 120 constitutes the surrounding situation acquisition unit of the present application. Further, in the present embodiment, control unit 110 constitutes the determination unit of the present application.

また、本実施の形態においては、制御部１１０とエージェント制御部１９０の双方によって、本願のエージェント制御部を構成するようにしたが、前述のように、エージェント制御部１９０のみで、本実施の形態の制御部１１０とエージェント制御部１９０の双方の機能を有するようにしてもよい。 In the present embodiment, both the control unit 110 and the agent control unit 190 constitute the agent control unit of the present application. It may have the functions of both the control unit 110 and the agent control unit 190 .

１：車両、１００：エージェント装置、１１０：制御部、１２０：周辺環境認識部、１３０：乗員状態認識部、１４０：車両状態認識部、１４０ｆ：シフトポジションセンサ、１５０：スピーカ、１６０：マイク、１７０：記憶部、１８０：送受信機、１９０：エージェント制御部、１９１：エージェントスピーカ、２００：エージェント
1: vehicle, 100: agent device, 110: control unit, 120: surrounding environment recognition unit, 130: occupant state recognition unit, 140: vehicle state recognition unit, 140f: shift position sensor, 150: speaker, 160: microphone, 170 : storage unit, 180: transceiver, 190: agent control unit, 191: agent speaker, 200: agent

Claims

a shift position detection unit that detects a shift position;
a peripheral situation acquisition unit that acquires a peripheral situation;
a judgment unit for judging whether or not it is necessary for the driver to take a corresponding action according to the acquired surrounding situation;
an agent control unit that controls an anthropomorphic agent;
with
The agent control unit
When it is determined that it is necessary for the driver to take a corrective action, having the agent point in the direction of the cause of the need to take the corrective action and perform a gesture corresponding to the corrective action;
An agent device characterized by:

The agent control unit
When the determination unit determines that it is necessary to cause the driver to decelerate, spread both arms and bend and stretch, and set the amount of bending and stretching according to the degree of necessity of deceleration.
The agent device according to claim 1, characterized by:

The agent control unit
When the determination unit determines that it is necessary to cause the driver to take avoidance action, move one arm up and down and point the direction of travel with the other arm.
3. The agent device according to claim 1 or 2, characterized by:

The agent control unit
After the avoidance action, take a posture of holding the steering wheel and a posture of stepping on the brake pedal,
4. The agent device according to claim 3, characterized by:

The agent control unit
If the determination unit determines that it is necessary to prompt the driver to stop, direct the palm to the driver;
5. The agent device according to any one of claims 1 to 4, characterized by: