[go: up one dir, main page]

WO2023112120A1 - 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体 - Google Patents

通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体 Download PDF

Info

Publication number
WO2023112120A1
WO2023112120A1 PCT/JP2021/045961 JP2021045961W WO2023112120A1 WO 2023112120 A1 WO2023112120 A1 WO 2023112120A1 JP 2021045961 W JP2021045961 W JP 2021045961W WO 2023112120 A1 WO2023112120 A1 WO 2023112120A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
communication
audio
situation information
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/045961
Other languages
English (en)
French (fr)
Inventor
廣人 根岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp filed Critical Pioneer Corp
Priority to PCT/JP2021/045961 priority Critical patent/WO2023112120A1/ja
Priority to JP2023567310A priority patent/JPWO2023112120A1/ja
Publication of WO2023112120A1 publication Critical patent/WO2023112120A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a communication system, a communication device, a server device, a communication method, a communication program, and a storage medium. It relates to communication programs and storage media.
  • Patent Document 1 a voice call is performed between a driver of a vehicle and an operator of a terminal outside the vehicle.
  • a system is disclosed in which an image is transmitted to a terminal outside the vehicle and the image is displayed on the terminal outside the vehicle.
  • an in-vehicle device starts a process of transmitting data such as a call and an image based on receiving a call start notification, and transmits an audio signal of the utterance content of the driver of the vehicle to an external terminal. , and also to transmit vehicle information including forward image data to a terminal outside the vehicle.
  • Patent Document 1 One of the problems with systems such as Patent Document 1 is that, for example, a call or transmission of vehicle information may be started at a timing that the driver does not desire.
  • the present invention has been made in view of the above points, and provides a communication system, communication device, server device, communication method, and communication system that can prevent the start of communication at a timing that is not desired by the driver of a mobile object.
  • One of the purposes is to provide a program and a storage medium.
  • the invention according to claim 1 is a communication system for performing audio-visual communication for transmitting audio and video in the moving body acquired by a first device moving with the moving body to a second device, wherein the first device a driver situation information acquisition unit that acquires driver situation information indicating the situation of the driver of the moving object from and a start control unit for controlling the start of the audiovisual communication performed in response.
  • the invention according to claim 12 is a communication method executed by a communication system that performs audio-visual communication for transmitting audio and video in the moving body acquired by a first device that moves with the moving body to a second device.
  • the invention according to claim 13 is implemented by a communication system that includes a computer and performs audio-visual communication that transmits audio and video in the moving body acquired by the first device that moves with the moving body to the second device.
  • a communication program comprising: a driver situation information obtaining step of obtaining, from the first device, driver situation information indicating the situation of a driver of the moving object, into the computer; and based on the driver situation information, the and a start control step of controlling the start of the audio-visual communication in response to a request from the second device to start the audio-visual communication.
  • a communication system that includes a computer and performs audio-visual communication for transmitting audio and video in the moving body acquired by a first device that moves with the moving body to a second device.
  • a communication device that moves together with a moving object, acquires audio and video in the moving object, and performs audio-visual communication for transmitting the audio and video to another device.
  • a driver situation information acquiring unit that acquires driver situation information indicating a situation; and the audio and video communication performed in response to a request to start the audio and video communication from the other device based on the driver situation information.
  • a start control unit for controlling the start of
  • the invention according to claim 16 is a server device that performs audio-visual communication for transmitting audio and video in the moving body acquired by a first device that moves with the moving body to a second device, wherein the first device a driver situation information acquisition unit that acquires driver situation information indicating the situation of the driver of the mobile object via a communication path from the above; and a start control unit for controlling the start of the audiovisual communication performed in response.
  • FIG. 2 is a diagram showing the configuration of the front seat portion of the vehicle according to the first embodiment
  • 1 is a block diagram showing an example of a configuration of an in-vehicle device according to Embodiment 1
  • FIG. 2 is a block diagram showing an example of a configuration of a server device according to Embodiment 1
  • FIG. 10 is a diagram showing an example of a determination table according to the first embodiment
  • FIG. 4 is a diagram showing an example of driver situation information according to Embodiment 1
  • FIG. 1 is a front view of an external device according to Example 1;
  • FIG. 2 is a block diagram showing an example of the configuration of an external device according to Embodiment 1;
  • FIG. 4 is a sequence diagram showing an example of communication performed in the communication system according to the first embodiment;
  • FIG. 4 is a flow chart showing an example of a routine executed by the server device according to the first embodiment;
  • 4A and 4B are diagrams illustrating an example of a display screen displayed on an external device according to the first embodiment;
  • FIG. 4A and 4B are diagrams illustrating an example of a display screen displayed on an external device according to the first embodiment;
  • FIG. 10 is a flow chart showing an example of a routine executed by the server device according to the second embodiment;
  • FIG. 11 is a diagram showing an example of a display screen displayed on an external device according to the second embodiment;
  • FIG. FIG. 5 is a block diagram showing an example of the configuration of an in-vehicle device in a modification of the communication system according to the first or second embodiment;
  • FIG. 1 shows a communication system 100 that is Embodiment 1 of the present invention.
  • the communication system 100 includes an in-vehicle device 10 , a server 30 and an external device 40 .
  • FIG. 1 shows a case in which the in-vehicle device 10 is mounted in an automobile M as an example of a moving body.
  • FIG. 1 shows a smartphone as an example of the external device 40 .
  • the in-vehicle device 10, the server 30, and the external device 40 can mutually transmit and receive data via the network NW using a communication protocol such as TCP/IP or UDP/IP.
  • a communication protocol such as TCP/IP or UDP/IP.
  • the network NW can be constructed by Internet communication including, for example, a mobile communication network, wireless communication such as Wi-Fi (registered trademark), and wired communication.
  • audio-visual communication is possible in which audio and video in the vehicle M acquired by the in-vehicle device 10 as the first device that moves with the vehicle M are transmitted to the external device 40 as the second device.
  • the video captured in the car M is delivered from the in-vehicle device 10 to the external device 40.
  • video communication By performing such video communication, the user of the external device 40 viewing the video transmitted from the in-vehicle device 10 feels as if the driver of the car M and the car M are riding together. be able to. In other words, video communication enables the user of the external device 40 to virtually ride in the car M with the user.
  • a system such as the communication system 100 of this embodiment that can realize such video communication is also called a virtual co-riding system.
  • the in-vehicle device 10 is a car navigation device
  • the in-vehicle device 10 receives from the user a destination to which the user wishes to be guided, transmits the destination to the server 30, and the server 30 generates a route to the destination.
  • a case of a terminal device for a car navigation device of a model will be described as an example.
  • FIG. 2 is a perspective view showing the vicinity of the front seats of the automobile M equipped with the in-vehicle device 10 as a video transmission device or video generation device.
  • FIG. 1 as an installation example, the case where the in-vehicle device 10 is installed in the dashboard DB of the front seat of the automobile M is shown.
  • the GPS receiver 11 is a device that receives signals (GPS signals) from GPS (Global Positioning System) satellites.
  • GPS Global Positioning System
  • the GPS receiver 11 is arranged on the dashboard DB, for example.
  • the GPS receiver 11 may be placed anywhere as long as it can receive GPS signals.
  • the GPS receiver 11 can transmit the received GPS signal to the in-vehicle device 10 .
  • the vehicle exterior camera 13 is an imaging device that captures the front of the vehicle M.
  • the exterior camera 13 is arranged on the dashboard DB so that the forward direction is the photographing direction.
  • the vehicle exterior camera 13 is a wide-angle camera, and can photograph a wide area in front of the automobile M through the windshield.
  • the exterior camera 13 may be provided on the rearview mirror RM, or may be attached to the inside of the windshield FG.
  • the in-vehicle camera 15 is an imaging device that captures the situation inside the automobile M.
  • the in-vehicle camera 15 is provided on the upper end of the windshield FG or on the ceiling near the upper end, and is capable of photographing the driver of the automobile M.
  • images captured by the vehicle exterior camera 13 or the vehicle interior camera 15 are delivered to the external device 40 .
  • the touch panel 17 is, for example, a touch panel monitor in which a display such as a liquid crystal display capable of displaying images and a touch pad are combined.
  • the touch panel 17 is arranged, for example, on the center console CC of the dashboard DB.
  • the touch panel 17 may be arranged at a place that can be visually recognized by the driver and can be reached by the driver.
  • the touch panel 17 may be attached on the dashboard DB.
  • the touch panel 17 can perform screen display based on the control of the in-vehicle device 10. Further, the touch panel 17 can transmit to the in-vehicle device 10 a signal representing an input operation to the touch panel 17 received from the user. For example, the touch panel 17 may display guidance for car navigation. In addition, operations related to the car navigation function, such as setting a destination, may be possible via the touch panel 17 .
  • the touch panel 17 may display information related to video communication, and may display an operation reception screen for making a connection for video communication (hereinafter also referred to as video connection).
  • the occupant of the automobile M may perform a video communication connection operation by performing an input operation on the touch panel 17 .
  • the speaker 19 is provided, for example, on the interior side of the A-pillar AP.
  • the speaker 19 can emit sounds such as music and voice under the control of the in-vehicle device 10 .
  • the speaker 19 emits sound from the external device 40 in a voice call.
  • the microphone 21 is a microphone device that receives sound inside the vehicle, and is arranged on the dashboard DB, for example.
  • the microphone 21 may be provided anywhere, such as the rearview mirror RM or the steering wheel, as long as it can receive the sound inside the vehicle.
  • the sound picked up by the microphone 21 is transmitted to the external device 40 as the sound of the voice call. Further, an operation input for starting video communication may be performed by voice via the microphone 21 .
  • FIG. 3 is a block diagram showing the configuration of the in-vehicle device 10.
  • the in-vehicle device 10 is a device in which a storage unit 24, a control unit 25, and a communication unit 27 cooperate via a system bus.
  • the seating sensor 22 is capable of detecting whether or not there is a fellow passenger in the front passenger seat or other seats of the automobile M, and for example, is a sensor capable of outputting a signal indicating the presence or absence of the detected fellow passenger.
  • the seat sensor 22 is provided, for example, on the seat surface or the back surface of the passenger seat or other seats of the automobile M, and is a sensor that detects a load.
  • the fellow passenger may be detected by recognizing the image captured by the in-vehicle camera 15, or by directly detecting the fellow passenger using a photoelectric sensor such as an infrared sensor.
  • the automobile M is equipped with an acceleration sensor 23 .
  • the acceleration sensor 23 may be, for example, a MEMS acceleration sensor capable of measuring the acceleration of the vehicle M and outputting a signal indicating the measured acceleration.
  • the acceleration sensor 23 may be an inertial measurement unit (IMU).
  • the acceleration sensor 23 may be built in the in-vehicle device 10 .
  • the storage unit 24 is a storage device configured by, for example, a hard disk device, SSD (solid state drive), flash memory, or the like.
  • the storage unit 24 stores various programs executed by the in-vehicle device 10, such as an operating system and terminal software.
  • Various programs may be obtained via a network from another server device or the like, or may be recorded on a recording medium and read via various drive devices. That is, various programs stored in the storage unit 24 can be transmitted via a network, or recorded on a computer-readable recording medium and transferred.
  • the storage unit 24 also stores map information including road maps.
  • the storage unit 24 also stores information indicating the contact address of the external device 40 as the other party of the video communication, such as information such as a telephone number or an e-mail address.
  • the control unit 25 is composed of a CPU (Central Processing Unit), ROM (Read Only Memory), RAM (Random Access Memory), etc., and functions as a computer.
  • the control unit 25 realizes various functions by reading and executing various programs stored in the ROM or the storage unit 24 by the CPU.
  • the control unit 25 performs a function of presenting information regarding the start and end of video communication to the driver, a moving image distribution function during video communication, a car navigation function, and the like.
  • the control unit 25 is communicably connected to the vehicle exterior camera 13, the vehicle interior camera 15, the touch panel 17, the speaker 19, the microphone 21, the seating sensor 22, and the acceleration sensor 23 provided in the in-vehicle device 10.
  • the control unit 25 sequentially acquires images captured by the vehicle exterior camera 13 and the vehicle interior camera 15 . In addition, the control unit 25 sequentially acquires information indicating whether or not there is a fellow passenger detected by the seating sensor 22 . Also, the control unit 25 sequentially acquires the signal from the GPS receiver 11 and the signal indicating the acceleration measured by the acceleration sensor 23 .
  • the communication unit 27 is a communication device that transmits and receives data to and from an external device according to instructions from the control unit 25.
  • the communication unit 27 is, for example, a NIC (Network Interface Card) for connecting to the network NW.
  • NIC Network Interface Card
  • the communication unit 27 is connected to the network NW described above, and transmits and receives various data to and from the server 30.
  • the communication unit 27 also transmits and receives various data to and from the external device 40 via the server 30 .
  • the communication unit 27 transmits to the server 30 information such as images of the exterior or interior of the automobile M, the current position information, and the moving route. Further, the communication unit 27 receives, from the server 30, information to be displayed on the touch panel 17 regarding video communication, for example.
  • control unit 25 sequentially transmits images captured by the vehicle exterior camera 13 or the vehicle interior camera 15 to the server 30 via the communication unit 27 .
  • the control unit 25 receives display information regarding the start and end of video communication from the server 30 via the communication unit 27 and displays it on the touch panel 17 . Further, the control unit 25 may output information regarding the start and end of the video communication from the speaker 19 by voice.
  • control unit 25 of the in-vehicle device 10 supplies the server 30 via the communication unit 27 with position specifying information as position data capable of specifying the current position of the in-vehicle device 10, that is, the current position of the automobile M in this embodiment. Information can be sent. Further, for example, the control unit 25 can transmit information including the destination input by the user to the server 30 via the communication unit 27, and receive route information or navigation information to the destination from the server 30. is.
  • the control unit 25 can transmit audio data of audio picked up by the microphone 21 to the external device 40 via the communication unit 27 for voice communication in video communication. Also, the control unit 25 can receive audio data of audio input to the external device 40 for voice communication in video communication via the communication unit 27 .
  • FIG. 4 is a block diagram showing the configuration of the server 30.
  • the server 30 is a device in which a storage section 31, a communication section 33, and a control section 35 cooperate via a system bus.
  • the server 30 has a function of controlling the start of video communication between the in-vehicle device 10 and the external device 40 in response to a video communication start request from the external device 40 .
  • the server 30 permits the start of the video communication or rejects the request to start the video communication, depending on the situation of the driver of the automobile M. Also, for example, the server 30 performs control to start the video communication at a timing based on the situation of the driver.
  • the server 30 has a function like a SIP server that establishes a voice call between the in-vehicle device 10 and the external device 40 and transfers data of the voice call during video communication.
  • the server 30 receives from the in-vehicle device 10 the position specifying information of the vehicle M and the information of the destination set by the user who is the passenger of the vehicle M, and based on the position specifying information and the information of the destination. It has a function to generate a route to
  • the storage unit 31 is composed of, for example, a hard disk device and an SSD (solid state drive), and stores various programs such as an operating system and software for the server 30.
  • Various programs may be obtained via a network from another server device or the like, or may be recorded on a recording medium and read via various drive devices. That is, the various programs stored in the storage unit 31 can be transmitted via a network, or can be recorded on a computer-readable recording medium and transferred.
  • the storage unit 31 stores, for example, a communication program for the server 30 to control the start of video communication in the communication system 100 .
  • the storage unit 31 stores information indicating determination criteria when the server 30 executes the above communication program and determines whether or not to start video communication based on the situation of the driver of the automobile M.
  • the conversation with the other party in the car M It may be inconvenient if the video communication with the external device 40 is started and the video of the exterior camera 13 or the interior camera 15 in the vehicle M or the sound inside the vehicle is transmitted to the external device 40, such as when the vehicle is inside.
  • the communication system 100 defines criteria for determining whether or not to start the video communication regarding the driver's situation. Control regarding initiation of video communication is performed according to the criteria.
  • FIG. 5 is a diagram showing a determination table TB1 stored in the storage unit 31 and showing an example of criteria for determining whether video communication can be started.
  • an identifier for identifying the item is attached to each item indicating the condition of the driver.
  • the determination table TB1 for each item ID, the situation of the driver, a flag indicating whether or not to treat the situation as being taken, and a flag indicating whether or not video communication can be started are stored in association with each other.
  • the determination table TB1 may not be associated with a flag indicating whether or not capturing is in progress, and may be associated with only a flag indicating whether or not video communication can be started depending on the driver's situation.
  • the server 30 for example, when the in-vehicle device 10 is performing audio-visual communication with another external device different from the external device 40 (another audio-visual communication is "present") , the status of the driver of the automobile M is treated as "capturing", and the start of video communication with the external device 40 is determined as "impossible”. Further, when the in-vehicle device 10 is not performing audio-visual communication with the other external device (other audio-visual communication is "no"), the server 30 determines that the driver's situation of the automobile M is " It is treated as "not being captured” and the start of video communication is determined as "possible”.
  • the server 30 treats the situation of the driver of the car M as “taking in”, and the external device 40 and the external device 40 It is determined that the start of video communication during is “impossible”.
  • the server 30 reads the status of the driver of the automobile M as “captured”. It is treated as "not in progress”, and the start of video communication is determined as "possible”.
  • the magnitude of the load on the driver is specified. is associated with whether or not video communication can be started based on whether or not the standard of is exceeded.
  • the server 30 sets the status of the driver of the vehicle M to "taking in”. Handling, start of video communication with the external device 40 is determined as "impossible”. In addition, when the numerical value indicating the load on the driver of the automobile M is equal to or less than a predetermined standard (the load on the driver is “low”), the server 30 determines that the driver of the automobile M is not busy. and the start of video communication is determined to be "allowed”.
  • the server 30 treats the driver of the vehicle M as being "busy", and the start of video communication with the external device 40 is "impossible”. I judge. Further, when the driver of the automobile M is not talking, the server 30 treats the situation of the driver of the automobile M as "not busy", and determines that the start of video communication is "possible".
  • At least one of the items S1 to S4 indicating the driver's situation may be adopted in determining whether or not to start video communication, and items other than the items S1 to S4 may be further set. Also, which item to use as a criterion for determining whether or not to start video communication may be set in advance, or may be set by the driver by selection.
  • the storage unit 31 also stores a map information database (not shown) in which map information including road maps is stored.
  • the map information of the map information database is a database having information equivalent to map information used in, for example, a navigation device.
  • the communication unit 33 is connected to the network NW described above, and transmits and receives various data to and from the in-vehicle device 10 and the external device 40 .
  • the control unit 35 is composed of a CPU (Central Processing Unit), ROM (Read Only Memory), RAM (Random Access Memory), etc., and functions as a computer. Various functions are realized by the CPU reading and executing various programs stored in the ROM and the storage unit 31 .
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the control unit 35 implements control related to the start of video communication in the communication system 100 by executing the communication program described above.
  • the control unit 35 includes a driver situation information acquisition unit 37 and a start control unit 39.
  • the driver's situation information acquisition unit 37 is a functional unit that executes a driver's situation information acquisition step for acquiring driver's situation information indicating the situation of the driver of the automobile M from the in-vehicle device 10 via the communication unit 33 .
  • the driver's situation information acquisition unit 37 acquires from the in-vehicle device 10 information indicating whether or not other audiovisual communication is being performed as driver's situation information.
  • the driver status information acquisition unit 37 acquires from the in-vehicle device 10 information indicating whether communication is established between the in-vehicle device 10 and another device other than the external device 40 and video communication is being performed. .
  • the driver's situation information acquisition unit 37 acquires information indicating whether or not there is a fellow passenger in the vehicle M from the in-vehicle device 10 as driver's situation information.
  • the driver status information acquisition unit 37 receives, for example, sensor information from a seating sensor provided in the automobile M, and generates information indicating the presence or absence of a fellow passenger based on the received sensor information. Further, for example, the driver situation information acquisition unit 37 may receive an image from the in-vehicle camera 15 of the automobile M and generate information indicating the presence or absence of a fellow passenger based on the received image of the inside of the automobile M. good.
  • the driver's situation information acquisition unit 37 acquires, as driver's situation information, driving load information indicating the magnitude of the load related to driving imposed on the driver of the automobile M from the in-vehicle device 10 .
  • the driver situation information acquisition unit 37 acquires from the in-vehicle device 10 an image of the front of the automobile M acquired by the exterior camera 13, and performs image recognition using the image of the front to acquire the driving load information. do.
  • the driver situation information acquisition unit 37 performs workload estimation for estimating the magnitude of the driving load imposed on the driver of the vehicle M by image recognition using an image in front of the vehicle M, As a result of the load estimation, a numerical value indicating the magnitude of the load is calculated and used as operating load information.
  • the load is estimated according to the driving situation, such as estimating that the load is higher when turning right or left than when driving straight. Further, when a route has been generated, it may be estimated that the load is high when the vehicle is passing through a guidance point such as an intersection.
  • map information or an image linked to the map information in advance may be used.
  • the workload estimation may be performed based on the shape of the intersection corresponding to the current position of the vehicle M, or the like. For example, a numerical value indicating a greater load may be calculated as the driving load information while passing through a three-way intersection or a five-way intersection than while passing through a crossroads.
  • the driver situation information acquisition unit 37 acquires, for example, biological information such as the pulse and brain waves of the driver of the automobile M, and based on the biological information, a numerical value indicating the driver's load is used as driving load information. can be calculated.
  • the driver's situation information acquisition unit 37 acquires information indicating whether or not the driver of the automobile M is having a conversation from the in-vehicle device 10 as the driver's situation information.
  • the driver situation information acquisition unit 37 acquires, for example, an image captured by the in-vehicle camera 15 of the driver of the automobile M or a sound collected inside the automobile M from the in-vehicle device 10, and based on the acquired image or sound may be used to determine whether or not the driver is having a conversation.
  • FIG. 6 is a diagram showing an example of the driver's situation information acquired and held by the driver's situation information acquisition unit 37.
  • the driver situation information includes an in-vehicle device ID, which is an identifier capable of identifying the in-vehicle device 10 such as a MAC address, and information indicating the situation of the driver of the automobile M.
  • the driver situation information acquisition unit 37 acquires the driver situation information
  • the driver situation information acquisition unit 37 determines whether or not the information is being acquired or whether or not video communication can be started, and assigns a flag to the driver status information. may be
  • the driver's situation information acquisition unit 37 sequentially acquires and updates the driver's situation information as shown in FIG.
  • the driver situation information is acquired for four items S1 to S4 regarding the driver's situation, and is stored after distinguishing whether it is being taken in and whether it can be started or not. .
  • the in-vehicle device 10 is not performing audio-visual communication with other external devices (S1: other audio-visual communication "No"), indicating the load on the driver of the automobile M. Since the numerical value is equal to or less than a predetermined standard (S3: Driver's load "low”) and the driver of automobile M is not talking (S4: Not talking), items S1 and S3 indicating the driver's situation , and S4, the driver is treated as "not busy" and the initiation of video communication is "allowed".
  • S1 other audio-visual communication "No”
  • the driver of the automobile M is being captured as a whole, and the start of video communication is "impossible".
  • the driver situation information acquisition unit 37 is not limited to the example shown in FIG. 6, and may acquire driver situation information for at least one of S1 to S4.
  • the driver's situation information acquisition unit 37 does not have to distinguish between whether or not loading is in progress and whether it can be started.
  • the portion surrounded by the broken line in FIG. 6 may be omitted.
  • the start control unit 39 is a functional unit that executes a start control step for controlling the start of video communication in response to a video communication start request from the external device 40 based on the driver's situation information.
  • the start control unit 39 permits the start of video communication between the external device 40 and the in-vehicle device 10 based on the driver situation information acquired by the driver situation information acquisition unit 37, or Alternatively, control is performed to reject a request to start video communication.
  • the start control unit 39 when the start control unit 39 receives a request to start video communication from the external device 40, the start control unit 39 refers to the driver situation information acquired by the driver situation information acquisition unit 37 as illustrated in FIG. is being captured, that is, it is determined whether video communication can be started.
  • the start control unit 39 refers to the item itself indicating the driver's situation when referring to the driver's situation information, or whether the driver's situation is being read determined by the driver's situation. You may refer to the flag which shows whether or not, or the flag which shows distinction of start propriety. Also, all of the items S1 to S4 shown in FIG. 6 may be referred to, or only a part of the items may be referred to.
  • the start control unit 39 does not execute processing for starting video communication, and refuses the request to start video communication.
  • start control unit 39 performs control to start the video communication between the external device 40 and the in-vehicle device 10 at a timing based on the driver situation information as the start control.
  • the start control unit 39 waits for a certain period of time, and then refers to the driver situation information again to determine whether video communication can be started. make a judgment. As a result of the determination, if video communication can be started, processing for starting video communication is executed. That is, the start control unit 39 performs control to delay the start timing of video communication.
  • start control unit 39 when the start control unit 39 does not start the video communication or delays the start timing of the video communication, it performs control to notify the user of the external device 40 to that effect.
  • the start control unit 39 controls the external device 40 to display a display indicating that the driver of the automobile M is busy.
  • control unit 35 acquires position information indicating the current position of the automobile M from the in-vehicle device 10 via the communication unit 33 .
  • control unit 35 acquires destination information input to the in-vehicle device 10 by the occupant of the vehicle M from the in-vehicle device 10 via the communication unit 33 .
  • the control unit 35 generates a route to the destination based on the position information and the destination information, and transmits information indicating the route to the in-vehicle device 10 .
  • control unit 35 transfers the video and audio received from the in-vehicle device 10 to the external device 40 via the communication unit 33 .
  • control unit 35 transfers the voice received from the external device 40 to the in-vehicle device 10 via the communication unit 33 .
  • FIG. 7 is a front view of the external device 40.
  • the external device 40 is a smart phone.
  • the touch panel 41 is, for example, a touch panel monitor in which a display such as a liquid crystal display capable of displaying images and a touch pad are combined.
  • the touch panel 41 can generate a signal representing an input operation to the touch panel 41 received from the user.
  • the touch panel 41 displays an image distributed from the in-vehicle device 10 .
  • the touch panel 41 displays information related to video communication, and displays an operation reception screen for starting connection of video communication.
  • a user of the external device 40 can perform an input operation for starting video communication by performing an input operation on the touch panel 41 .
  • the speaker 43 can emit sounds such as music and voice. During video communication, the speaker 43 emits sound from the in-vehicle device 10 in a voice call.
  • the microphone 45 is a microphone device that receives sound emitted toward the external device 40 . During video communication, the sound picked up by the microphone 45 is transmitted to the in-vehicle device 10 via the server 30 as the sound of the voice call.
  • FIG. 8 is a block diagram showing an example of the configuration of the external device 40.
  • the external device 40 is a device in which a storage section 47, a control section 49, and a communication section 51 cooperate via a system bus (not shown).
  • the storage unit 47 is composed of, for example, a hard disk device, SSD (solid state drive), flash memory, etc., and stores various programs such as an operating system and software for the external device 40 .
  • the various programs may be obtained, for example, from another server device or the like via a network, or may be recorded on a recording medium and read via various drive devices. That is, various programs stored in the storage unit 47 can be transmitted via a network, or recorded on a computer-readable recording medium and transferred.
  • the control unit 49 is composed of a CPU (Central Processing Unit), ROM (Read Only Memory), RAM (Random Access Memory), etc., and functions as a computer. Various functions are realized by the CPU reading and executing various programs stored in the ROM and the storage unit 47 .
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the control unit 49 is communicably connected to the touch panel 41, the speaker 43 and the microphone 45.
  • the control unit 49 can receive a signal indicating an input operation to the touch panel 41 and an audio input signal from the microphone 45 .
  • the control unit 49 can receive a request to start video communication from the user via the touch panel 41 and the microphone 45 .
  • control unit 49 can transmit a video or image signal to the touch panel 41 for display, or transmit an audio signal to the speaker 43 to output sound.
  • control unit 49 causes the touch panel 41 to display a start screen for accepting a request to start video communication and a screen indicating that the driver of the automobile M is busy.
  • control unit 49 causes the touch panel 41 to display an image during the video communication, and causes the speaker 43 to output the sound collected in the automobile M during the video communication.
  • the communication unit 51 is connected to the network NW described above, and transmits and receives various data to and from the server 30. In addition, the communication unit 51 transmits and receives various data such as video transmitted from the in-vehicle device 10 to and from the in-vehicle device 10 via the server 30 .
  • the control unit 49 of the external device 40 receives, via the communication unit 51, information for displaying a start screen for accepting a request to start video communication and a screen indicating that the driver of the automobile M is busy. Receivable.
  • control unit 49 can transmit audio data of audio picked up by the microphone 45 to the in-vehicle device 10 via the communication unit 51 for voice communication in video communication.
  • control unit 49 can receive voice data transmitted from the in-vehicle device 10 via the communication unit 51 for voice communication in video communication.
  • control unit 49 of the external device 40 can receive position specifying information capable of specifying the current position of the vehicle M transmitted from the in-vehicle device 10 from the server 30 via the communication unit 51 . Also, for example, the control unit 49 can receive route information or navigation information of the automobile M from the server 30 via the communication unit 51 .
  • FIG. 9 is a sequence diagram showing an example of communication performed between the in-vehicle device 10 and the external device 40 via the server 30 when video communication is started in the communication system 100. As shown in FIG. A case where the driver who is the user of the in-vehicle device 10 plans to perform video communication with the virtual fellow passenger who is the user of the external device 40 when driving the automobile M will be described below.
  • the driver registers in advance the contact information of the virtual fellow passenger who is the partner of video communication with the external device 40 (step S11).
  • the registration information is sent to the server 30 and retained by the server 30 .
  • the registration information includes, for example, an identifier that can identify the in-vehicle device 10 .
  • the registration of the virtual fellow passenger is performed via the touch panel 41 of the in-vehicle device 10, but is not limited to this. It may be done by sending the information to the server 30 .
  • the timing at which the driver pre-registers the contact information of the virtual passenger may be, for example, the day before the scheduled video communication while driving the automobile M, or may be just before the video communication. good.
  • the driver when the driver starts driving the automobile M, the driver performs an input operation on the in-vehicle device 10 to instruct transmission of an invitation mail to the external device 40 .
  • the input operation may be performed via the touch panel 17 of the in-vehicle device 10 or may be performed by voice via the microphone 21 .
  • An invitation mail transmission request is transmitted to the server 30 by the driver's input operation (step S12).
  • the invitation mail transmission request includes, for example, information indicating a destination such as an e-mail address used by a pre-registered virtual fellow passenger or a telephone number of the external device 40, and a nickname by which the virtual fellow passenger can be identified.
  • the server 30 Upon receiving the invitation mail transmission request, the server 30 transmits the invitation mail to the destination of the external device 40 included in the invitation mail transmission request (step S13).
  • the invitation email includes a URL for opening a start screen for video communication with the virtual passenger.
  • step S14 When the virtual passenger opens the invitation mail using the external device 40 and taps the URL (step S14), the browser is launched and the start screen of the video communication is displayed on the touch panel 41 of the external device 40 (step S15). .
  • start screen for example, a message to the effect that the driver has invited you to video communication and a start button to operate when you wish to start video communication are displayed.
  • the start screen may be provided with an input field for inputting identification information for identity verification.
  • a request to start video communication is sent to the server 30 (step S16).
  • the server 30 When the server 30 receives the request to start video communication, it determines whether or not to start video communication based on the driver's condition. The in-vehicle device 10 is notified that there is a request to start the video communication (step S18).
  • step S18 for example, when the in-vehicle device 10 receives the notification from the server 30, a selection button for whether or not to approve the start of video communication is displayed. For example, when the driver taps the accept button, information indicating that the driver has accepted the start of video communication is transmitted to the server 30 (step S19).
  • the server 30 When the server 30 receives the information indicating that the driver has consented to the start of the video communication, the server 30 establishes a voice call between the in-vehicle device 10 and the external device 40, and transmits the image taken in the vehicle M to the in-vehicle device. 10 starts video communication to be distributed to the external device 40 (step S20).
  • the in-vehicle device 10 and the external device 40 start video communication via the server 30.
  • step S13 toward the start of video communication is started by the invitation mail transmission request from the in-vehicle device 10, but the invitation mail is sent from the external device 40. It may be possible to request the start of video communication with the in-vehicle device 10 directly without using it. In this case, each step (S17 to S20) for starting the video communication may be executed with the request for starting as a trigger.
  • the driver situation information acquisition unit 37 acquires the driver situation information at any time after, for example, the server 30 receives an invitation mail transmission request ( FIG. 9 , step S12), and obtains the latest driver situation information. Described as holding.
  • FIG. 10 is a flowchart showing a start control routine RT1 executed by the start control unit 39 of the server 30.
  • FIG. 10 For example, when an invitation mail is sent from the server 30 to the external device 40, the start control unit 39 starts the start control routine RT1.
  • step S101 the start control unit 39 determines whether or not the URL included in the invitation email has been accessed.
  • step S101 for example, when the virtual fellow passenger opens the invitation mail using the external device 40 and taps the URL included in the invitation mail, the external device 40 accesses the URL.
  • step S101 when the start control unit 39 determines that there is no access to the URL (step S101: NO), it ends the start control routine RT1, starts the next start control routine RT1, and repeats step S101. Execute.
  • step S101 when the start control unit 39 determines that the URL has been accessed (step S101: YES), the start control unit 39 presents information regarding the start of video communication to the user of the external device 40 and prompts for operation input.
  • a start screen for acceptance is displayed on the touch panel 41 of the external device 40 (step S102).
  • step S ⁇ b>102 for example, the start control unit 39 controls the external device 40 to display a pre-generated start screen.
  • FIG. 11 is a diagram showing an example of the start screen displayed on the touch panel 41 of the external device 40 in step S102. As shown in FIG. 11, the start screen displays a message prompting the start of a video communication call and a start button.
  • a PIN entry field for identity verification may be displayed on the start screen.
  • identity verification may be performed by entering the last four digits of the telephone number in the entry field.
  • the user may be able to confirm the terms of use and privacy policy regarding video communication from the start screen. For example, when the start button is pressed, there is a display to the effect that the user agrees to the terms of use and privacy policy. may be
  • step S103 the start control unit 39 determines whether or not there is a request to start video communication from the external device 40 within a predetermined time (step S103).
  • step S103 for example, the start control unit 39 receives information indicating a request to start video communication, which is transmitted when the virtual passenger taps the start button on the start screen (for example, step S16 in FIG. 9). determine whether or not
  • step S103 for example, when the start control unit 39 determines that there is no start request within a predetermined time (step S103: NO), the display of the start screen on the external device 40 is terminated, and the start control routine RT1 is terminated. Then, the next start control routine RT1 is started.
  • step S103 for example, when the start control unit 39 determines that there is a request to start (step S103: YES), it refers to the driver situation information acquired by the driver situation information acquisition unit 37 (step S104). .
  • the start control unit 39 refers to driver situation information indicating the presence or absence of another video communication, the presence or absence of an actual fellow passenger, etc., as shown in FIG. 6, for example.
  • the driver status information may be accompanied by a flag indicating whether or not the driver is taking in the information, or a flag indicating whether or not video communication can be started.
  • step S104 the start control unit 39 determines whether or not the driver is taking in, that is, whether or not video communication can be started based on the driver situation information (step S105). .
  • step S105 whether or not video communication can be started is determined for each of the plurality of items indicating the situation of the driver, for example, according to the determination criteria illustrated in FIG.
  • step S105 for example, when the in-vehicle device 10 is performing another video communication, it is determined that video communication cannot be started.
  • step S104 If the driver status information referred to in step S104 is attached with a flag indicating whether the driver is taking in the information or a flag indicating whether or not video communication can be started, the start control unit 39 sets the flag in step S105. , whether or not to start video communication may be determined based on the flag.
  • step S105 for example, when the start control unit 39 determines that the driver is not busy (step S105: NO), it transmits a notification to the in-vehicle device 10 that there is a request to start video communication. (Step S106).
  • step S107 the start control unit 39 determines whether or not the driver has consented within a predetermined time.
  • step S107 when the start control unit 39 receives information indicating the driver's consent to start video communication from the in-vehicle device 10, the start control unit 39 determines that the driver has consented.
  • step S ⁇ b>107 when the start control unit 39 determines that the driver has consented (step S ⁇ b>107 : YES), the start control unit 39 establishes a voice call between the in-vehicle device 10 and the external device 40 .
  • the video captured in the automobile M is distributed to the external device 40, and video communication is started (step S108).
  • the start control unit 39 performs control to permit the start of video communication.
  • step S106 the start control unit 39 transmits a notification to the driver that there is a request to start video communication, and then proceeds to step S108 without executing step S107.
  • Video communication may be initiated without consent.
  • the start control unit 39 may start video communication without executing step S106 and without sending a notification to the driver that the start of video communication has been requested.
  • step S105 for example, when the start control unit 39 determines that the driver is taking in (step S105: YES), or when it determines in step S107 that the driver has not consented (step S107: NO), a message to the effect that video communication cannot be started is displayed on the external device 40 (step S109).
  • step S109 for example, a message is displayed to the effect that the driver is busy and video communication cannot be started.
  • FIG. 12 is a diagram showing an example of a start-disabled screen, which is a display screen of a message to the effect that video communication cannot be started, displayed on the touch panel 41 of the external device 40 in step S109.
  • the message "Mr. ing.
  • the content of the item indicating the driver's situation itself may be displayed as the reason why video communication cannot be started. For example, if the driver is performing video communication with a user of another external device, a message such as "The driver is engaged in another video communication, so video communication cannot be started.” may
  • the display of the start screen is shaded, and the start button does not work. Note that the start screen including the start button may not be displayed at all on the start-disabled screen.
  • step S107 the start control unit 39 executes a request invalidation process for returning to a state in which no video communication start request is issued without starting video communication (step S110).
  • step S110 for example, the virtual fellow passenger cannot make a new start request unless he/she accesses the URL again, displays the start button again, and presses the start button.
  • the start control unit 39 performs control to reject the request to start video communication.
  • the start control unit 39 permits the start of the video communication between the external device 40 and the in-vehicle device 10 based on the driver situation information, or permits the start of the video communication. Controls to deny requests.
  • step S108 or step S110 the start control unit 39 ends the start control routine RT1 and starts the next start control routine RT1.
  • the communication system 100 of the present embodiment establishes a voice call between the in-vehicle device 10 and the external device 40 via the server 30, and It is possible to perform video communication in which images are transmitted to the external device 40 .
  • the communication system 100 of the present embodiment includes a driver situation information acquisition unit that acquires driver situation information indicating the situation of the driver of the mobile object from the in-vehicle device 10 as a first device, and based on the driver situation information, and a start control unit for controlling the start of audio-visual communication in response to a request to start video communication from the external device 40 as the second device.
  • the communication system 100 can permit the start of the video communication or reject the request to start the video communication based on the driver situation information.
  • control can be performed so that video communication is not started.
  • the driver is not notified that the virtual fellow passenger has requested the start of video communication, and the driver does not need to perform an operation such as acceptance while driving.
  • the driver is not required to start the communication or be asked to approve the video communication when the driver does not have time to spare or does not want to start the video communication.
  • the communication system 100 can be used with peace of mind.
  • a communication system a communication device, a server device, a communication method, a communication program, and a storage medium that can prevent the start of communication at a timing that is not desired by the driver of a mobile object are provided. can do.
  • FIG. 13 A control routine of the server 30 for realizing the operation of the communication system 100 of the second embodiment will be described with reference to FIGS. 13 and 14.
  • FIG. The communication system 100 according to the second embodiment is configured in the same manner as the communication system 100 according to the first embodiment, and differs from the first embodiment in the content of video communication start control by the start control unit 39 of the server 30 .
  • FIG. 13 is a flow chart showing the start control routine RT2 executed by the start control unit 39 of the server 30.
  • steps S201 to S208 proceed in the same manner as steps S101 to S108 of the start control routine RT1, and the contents of steps S209 and S210 are the same as the contents of steps S109 and S110 of the start control routine RT1. different.
  • step S205 determines in step S205 that the driver is taking in (step S205: YES), or if it determines in step S207 that there is no driver's consent (step S207: NO)
  • the touch panel 41 of the external device 40 is caused to display a screen including a message indicating that the driver of the automobile M is taking it (step S209).
  • step S209 for example, a message may be displayed to the effect that the start of the video communication will be delayed or to request that the user wait until the start of the video communication becomes possible.
  • FIG. 14 is a diagram showing an example of the start delay screen displayed in step S209.
  • the reason is that the driver is busy, along with the message "Mr. Please wait.” message is displayed.
  • the content of the item indicating the driver's situation may be displayed as the reason why the video communication cannot be started immediately. For example, when the driver is passing through an intersection that requires special attention and the load on the driver is high, a message such as "The load on the driver is high, please wait for a while" may be displayed.
  • the display of the start screen is shaded and the start button does not function. may not be displayed at all.
  • step S209 the start control unit 39 waits for a predetermined time (step S210), and then returns to step S204 to refer to the driver situation information again.
  • step S210 for example, the start control unit 39 may not establish communication between the in-vehicle device 10 and the external device 40, or may maintain a state in which video communication is not started after establishing communication. good.
  • the driver situation information acquisition unit 37 sequentially acquires and updates the driver situation information, so that step S204 after step S210 and subsequent processing can Proceed based on situational information.
  • the start control unit 39 performs control to start video communication between the external device 40 and the in-vehicle device 10 at a timing based on the driver situation information.
  • step S205 determines in step S205 that the driver is not taking in (step S205: NO), and determines that the driver consented in step S207 (step S207: YES)
  • step S207: YES After the video communication is started in step S208, the start control routine RT2 is terminated and the next start control routine RT2 is started.
  • the video communication between the external device 40 and the in-vehicle device 10 can be controlled to start at a timing based on the situation of the driver. can.
  • the timing of starting video communication can be delayed, and the driver's situation is being captured. You can start video communication after it's gone.
  • the driver when the driver does not want to start the video communication immediately, the driver can automatically delay the start of the video communication without any particular operation. can be used.
  • FIG. 15 is a block diagram showing an example of the configuration of the in-vehicle device 60 in the modification of the communication system 100 of the first and second embodiments.
  • the in-vehicle device 60 has the functions of the driver situation information acquisition unit 37 and the start control unit 39 that the server 30 has in the above embodiment.
  • control unit 61 of the in-vehicle device 60 has a driver situation information acquisition unit 63 and a start control unit 65 .
  • the storage unit 67 also stores a communication program for controlling the start of video communication in response to a request from the external device 40 to start video communication based on the driver situation information.
  • the driver situation information acquisition unit 63 Acquire driver status information that indicates the driver's status.
  • the start control unit 65 controls the start of video communication based on the driver's situation information acquired by the driver's situation information acquisition unit 63 . For example, when the driver's condition indicated by the driver condition information corresponds to the capturing state and video communication connection is not possible, the start control unit 65 performs control or operation to reject the request to start video communication. It is possible to control the start of video communication at a timing based on the person's status information.
  • video communication between the external device 40 and the in-vehicle device 60 can be started and controlled based on the driver's situation information without going through the server 30 .
  • the video communication in this modified example may be directly performed by P2P (Peer to Peer) communication between the in-vehicle device 10 and the external device 40 without going through the server 30 .
  • P2P Peer to Peer
  • the configurations, routines, and the like of the in-vehicle device 10, the server 30, and the external device 40 in the above-described embodiment and modification are merely examples, and can be appropriately selected or changed according to the application.
  • the example of tapping the start button displayed on the touch panel 41 has been described as a form of accepting a start request from the external device 40, but the present invention is not limited to this.
  • the request to start may be received by, for example, a voice input operation.
  • the present invention performs audio-visual communication in which audio and video in the vehicle M acquired by the in-vehicle device 10 as the first device moving with the vehicle M are transmitted to the external device 40 as the second device.
  • the present invention can be applied to communications in which voice is not transmitted from the external device 40 .
  • the in-vehicle device 10 and the external device 40 do not necessarily have to be able to make a voice call.
  • the mode of communication between the in-vehicle device 10 and the external device 40 is simply communication from the in-vehicle device 10 to the external device 40 without a two-way voice call, such as YouTube (registered trademark) or Niconico Live Broadcasting (registered trademark).
  • a mode in which video and audio are distributed may be used.
  • video communication is performed between the in-vehicle device 10 and the external device 40 via the server 30 .
  • a voice call is established between the in-vehicle device 10 and the external device 40 in parallel through a path different from the communication system 100. It's okay to be there.
  • the in-vehicle device 10 is an in-vehicle navigation device, but the in-vehicle device 10 only needs to be able to distribute video from the exterior camera 13 or the interior camera 15.
  • the in-vehicle device 10 may have a configuration in which a terminal device having the same configuration as the in-vehicle device 10, the exterior camera 13, and the touch panel 17 are integrated.
  • the in-vehicle device 10 may be a terminal device such as a camera-equipped smartphone, tablet, or PC, in which an application that exhibits the same functions as the in-vehicle device 10 is installed.
  • the in-vehicle device 10 can be mounted on the dashboard DB with a cradle or the like, for example, so that the built-in camera can photograph the front of the automobile M through the windshield of the automobile M.
  • the in-vehicle device 10 may be configured not to display the screen presented to the driver of the automobile M.
  • the in-vehicle device 10 may have a configuration like a drive recorder, and may be a device integrated with the vehicle exterior camera 13, for example.
  • the in-vehicle device 10 may be, for example, a device in which hardware that performs the video communication function of the above-described in-vehicle device 10 is built in the housing of the exterior camera 13 . In this case, the in-vehicle device 10 may not perform various display outputs as described above.
  • the external device 40 is a terminal device that can be used by the virtual passenger for video communication, presents displays or messages related to video communication, accepts operation inputs necessary for video communication, transmits and receives audio data, and receives video. and display.
  • the external device 40 may be a terminal device such as a tablet, a PC, or a wearable terminal.
  • the in-vehicle device 10 and the in-vehicle device 60 are mounted in the automobile M
  • the in-vehicle device 10 may be mounted on other moving bodies such as bicycles, motorbikes, and ships. good too.
  • the in-vehicle device 10 may have a built-in camera such as a smart phone, may be held by a person, and video may be distributed by performing video communication while walking, for example.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

移動体と共に移動する第１装置によって取得された前記移動体における音声及び映像を第２装置に送信する音声映像通信を行う通信システムであって、前記第１装置から前記移動体の運転者の状況を示す運転者状況情報を取得する運転者状況情報取得部と、前記運転者状況情報に基づいて、前記第２装置からの前記音声映像通信の開始の要求に応じてなされる前記音声映像通信の開始を制御する開始制御部と、を有する。

Description

通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体
　本発明は、通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体に関し、例えば、移動体からの映像及び音声をユーザに提供可能な通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体に関する。
　車両に搭載される車載機と当該車両の外部に位置する車外端末との間で通信を行う通信システムがある。
　例えば、特許文献１には、車両の運転者と車外端末の操作者との間で音声通話を行い、当該音声通話がなされているときに、車両の前方の映像を表す映像データを車載機から車外端末に送信し、当該映像を車外端末に表示させるシステムが開示されている。特許文献１において、車載機は、通話開始通知を受信したことに基づいて、通話及び画像等のデータ送信を行う処理を開始し、車両の運転者の発話内容の音声信号を車外端末に送信し、また、前方画像データを含む車両情報を車外端末に送信することが開示されている。
特開２０１６－２１３７９１号公報
　特許文献１のようなシステムにおいて、例えば、運転者が望まないタイミングで通話や車両情報の送信が開始されてしまう場合があることが課題の１つとして挙げられる。
　本発明は上記した点に鑑みてなされたものであり、移動体の運転者が望まないタイミングでの通信の開始を防止することを可能にする通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体を提供することを目的の１つとしている。
　請求項１に記載の発明は、移動体と共に移動する第１装置によって取得された前記移動体における音声及び映像を第２装置に送信する音声映像通信を行う通信システムであって、前記第１装置から前記移動体の運転者の状況を示す運転者状況情報 を取得する運転者状況情報取得部と、前記運転者状況情報に基づいて、前記第２装置からの前記音声映像通信の開始の要求に応じてなされる前記音声映像通信の開始を制御する開始制御部と、を有することを特徴とする。
　請求項１２に記載の発明は、移動体と共に移動する第１装置によって取得された前記移動体における音声及び映像を第２装置に送信する音声映像通信を行う通信システムによって実行される通信方法であって、前記第１装置から前記移動体の運転者の状況を示す運転者状況情報を取得する運転者状況情報取得ステップと、前記運転者状況情報に基づいて、前記第２装置からの前記音声映像通信の開始の要求に応じてなされる前記音声映像通信の開始を制御する開始制御ステップと、を含むことを特徴とする。
　請求項１３に記載の発明は、コンピュータを備え、移動体と共に移動する第１装置によって取得された前記移動体における音声及び映像を第２装置に送信する音声映像通信を行う通信システムによって実行される通信プログラムであって、前記コンピュータに、前記第１装置から前記移動体の運転者の状況を示す運転者状況情報を取得する運転者状況情報取得ステップと、前記運転者状況情報に基づいて、前記第２装置からの前記音声映像通信の開始の要求に応じてなされる前記音声映像通信の開始を制御する開始制御ステップと、を実行させるための通信プログラムである。
　請求項１４に記載の発明は、コンピュータを備え、移動体と共に移動する第１装置によって取得された前記移動体における音声及び映像を第２装置に送信する音声映像通信を行う通信システムに、前記第１装置から前記移動体の運転者の状況を示す運転者状況情報を取得する運転者状況情報取得ステップと、前記運転者状況情報に基づいて、前記第２装置からの前記音声映像通信の開始の要求に応じてなされる前記音声映像通信の開始を制御する開始制御ステップと、を実行させるための通信プログラムを記憶するコンピュータ可読記憶媒体である。
　請求項１５に記載の発明は、移動体と共に移動し、前記移動体における音声及び映像を取得して他の装置に送信する音声映像通信を行う通信装置であって、前記移動体の運転者の状況を示す運転者状況情報を取得する運転者状況情報取得部と、前記運転者状況情報に基づいて、前記他の装置からの前記音声映像通信の開始の要求に応じてなされる前記音声映像通信の開始を制御する開始制御部と、を有することを特徴とする。
　請求項１６に記載の発明は、移動体と共に移動する第１装置によって取得された前記移動体における音声及び映像を第２装置に送信する音声映像通信を行うサーバ装置であって、前記第１装置から、通信路を介して前記移動体の運転者の状況を示す運転者状況情報を取得する運転者状況情報取得部と、前記運転者状況情報に基づいて、前記音声映像通信の開始の要求に応じてなされる前記音声映像通信の開始を制御する開始制御部と、を有することを特徴とする。
本発明の実施例１に係る通信システムの概略を示す模式図である。 実施例１に係る車両の前席部分の構成を示す図である。 実施例１に係る車載装置の構成の一例を示すブロック図である。 実施例１に係るサーバ装置の構成の一例を示すブロック図である。 実施例１に係る判定テーブルの一例を示す図である。 実施例１に係る運転者状況情報の一例を示す図である。 実施例１に係る外部装置の正面図である。 実施例１に係る外部装置の構成の一例を示すブロック図である。 実施例１に係る通信システムにおいて行われる通信の一例を示すシーケンス図である。 実施例１に係るサーバ装置によって実行されるルーチンの一例を示すフローチャートである。 実施例１に係る外部装置に表示される表示画面の一例を示す図である。 実施例１に係る外部装置に表示される表示画面の一例を示す図である。 実施例２に係るサーバ装置によって実行されるルーチンの一例を示すフローチャートである。 実施例２に係る外部装置に表示される表示画面の一例を示す図である。 実施例１又は実施例２に係る通信システムの変形例における車載装置の構成の一例を示すブロック図である。
　以下に本発明の実施例について詳細に説明する。なお、以下の説明及び添付図面においては、実質的に同一又は等価な部分には同一の参照符号を付している。
　［１．システムの構成］
　実施例１に係る車載装置１０を含む通信システム１００の構成について添付図面を参照しつつ説明する。
　図１は、本発明の実施例１である通信システム１００を示している。図１に示すように、通信システム１００は、車載装置１０、サーバ３０及び外部装置４０を含んで構成されている。なお、図１においては、車載装置１０が移動体の一例としての自動車Ｍに搭載されている場合を示している。また、図１においては、外部装置４０の一例として、スマートフォンを示している。
　車載装置１０、サーバ３０及び外部装置４０は、ネットワークNWを介して、例えば、ＴＣＰ／ＩＰや、ＵＤＰ／ＩＰ等の通信プロトコルを用いて相互にデータの送受信が可能になっている。なお、ネットワークNWは、例えば、移動体通信網、Ｗｉ-Ｆｉ（登録商標）等の無線通信及び有線通信を含むインターネット通信により構築され得る。
　通信システム１００において、自動車Ｍと共に移動する第１装置としての車載装置１０によって取得された自動車Ｍにおける音声及び映像を第２装置としての外部装置４０に送信する音声映像通信が可能である。
　本実施例の通信システム１００においては、車載装置１０と外部装置４０との間で音声通話が確立された上で、車載装置１０から自動車Ｍにおいて撮影された映像が外部装置４０に配信される。
　以下の説明において、上記のように、車載装置１０と外部装置４０との間での音声通話を確立させつつ、自動車Ｍにおいて撮影された映像を車載装置１０から外部装置４０に配信する通信態様を音声映像通信の一態様としてのビデオ通信と称する。本実施例において、車載装置１０と外部装置４０とは、サーバ３０を介してビデオ通信を行っている。
　このようなビデオ通信が行われることで、車載装置１０から送信される映像を視聴している外部装置４０のユーザは、あたかも自動車Ｍの運転者と自動車Ｍに同乗しているような感覚を得ることができる。言い換えれば、ビデオ通信によって、外部装置４０のユーザの自動車Ｍへの仮想同乗を実現することができる。また、このようなビデオ通信を実現可能な本実施例の通信システム１００のようなシステムを仮想同乗システムとも称する。
　以下、実施例１においては、車載装置１０がカーナビゲーション装置である場合を例に説明する。また、実施例１においては、車載装置１０が、ユーザが案内を希望する目的地をユーザから受け付け、当該目的地をサーバ３０に送信し、サーバ３０が目的地への経路を生成する、いわゆるクラウド型のカーナビゲーション装置の端末装置である場合を例に説明する。
　図２は、映像送信装置または映像生成装置としての車載装置１０を搭載している自動車Ｍの前席付近を示す斜視図である。図１では、取り付け例として、自動車Ｍの前席のダッシュボードＤＢ内に車載装置１０が取り付けられている場合を示す。
　ＧＰＳ受信機１１は、ＧＰＳ（Global Positioning System）衛星からの信号（ＧＰＳ信号）を受信する装置である。ＧＰＳ受信機１１は、例えば、ダッシュボードＤＢ上に配されている。なお、ＧＰＳ受信機１１は、ＧＰＳ信号が受信できればどこに配されていてもよい。ＧＰＳ受信機１１は、受信したＧＰＳ信号を車載装置１０に送信することが可能である。
　車外カメラ１３は、自動車Ｍの前方を撮影する撮像装置である。本実施例において、車外カメラ１３は、前方が撮影方向となる様にダッシュボードＤＢに配されている。例えば、車外カメラ１３は、広角カメラであり、フロントガラスを介して自動車Ｍの前方の広い領域を撮影可能である。なお、車外カメラ１３は、ルームミラーＲＭに設けられても良く、フロントガラスＦＧの内側に取り付けられていてもよい。
　車内カメラ１５は、自動車Ｍの内部の状況を撮影する撮像装置である。本実施例において、車内カメラ１５は、フロントガラスＦＧの上端または当該上端付近の天井部に設けられており、自動車Ｍの運転者を撮影可能である。
　ビデオ通信時には、車外カメラ１３または車内カメラ１５によって撮像された映像が、外部装置４０に配信される。
　タッチパネル１７は、例えば、映像を表示可能な液晶ディスプレイ等のディスプレイとタッチパッドとが組み合わされたタッチパネルモニターである。タッチパネル１７は、例えば、ダッシュボードＤＢのセンターコンソールＣＣに配されている。タッチパネル１７は、運転者から視認できかつ運転者の手が届く場所に配されていればよい。例えば、タッチパネル１７は、ダッシュボードＤＢ上に取り付けられていてもよい。
　タッチパネル１７は、車載装置１０の制御に基づいて画面表示を行うことが可能である。また、タッチパネル１７は、ユーザから受け付けたタッチパネル１７への入力操作を表す信号を車載装置１０に送信することが可能である。例えば、タッチパネル１７には、カーナビゲーションの案内表示がなされても良い。また、タッチパネル１７を介して、目的地を設定する等、カーナビゲーション機能に関する操作が可能であってもよい。
　また、タッチパネル１７には、ビデオ通信に関する情報が表示されてもよく、ビデオ通信のための接続（以下、ビデオ接続とも称する）をするための操作の受付画面が表示されてもよい。自動車Ｍの乗員はタッチパネル１７への入力操作によって、ビデオ通信の接続操作を行ってもよい。
　スピーカ１９は、例えば、ＡピラーＡＰの室内側に設けられている。スピーカ１９は、車載装置１０の制御に基づいて音楽や音声等の音を発することが可能である。ビデオ通信時において、スピーカ１９からは、音声通話における外部装置４０からの音声が発せられる。
　マイク２１は、車内の音を受音するマイク装置であり、例えば、ダッシュボードＤＢ上に配されている。マイク２１は、車内の音を受音可能であれば、ルームミラーＲＭまたはハンドル等、どこに設けられていてもよい。ビデオ通信時において、マイク２１に収音された音声が音声通話の音声として外部装置４０に送信される。また、ビデオ通信の開始に関する操作入力が、マイク２１を介して音声によって行われてもよい。
　図３は、車載装置１０の構成を示すブロック図である。例えば、車載装置１０は、システムバスを介して、記憶部２４と、制御部２５と、通信部２７と、が協働する装置である。
　着座センサ２２は、自動車Ｍの助手席やその他の席に同乗者が居るか否かを検出可能であり、例えば、当該検出された同乗者の有無を示す信号を出力可能なセンサである。着座センサ２２は、例えば、自動車Ｍの助手席やその他の席のシートの座面又は背面に設けられており、荷重を検知するセンサである。なお、同乗者の検出は、車内カメラ１５の映像を画像認識することでなされても良いし、他の赤外線センサ等の光電センサによって同乗者自体を直接検出することでなされてもよい。
　また、自動車Ｍには加速度センサ２３が搭載されている。加速度センサ２３は、自動車Ｍの加速度を測定可能であり、当該測定された加速度を示す信号を出力可能な例えばＭＥＭＳ加速度センサであってもよい。なお、加速度センサ２３は慣性計測ユニット（ＩＭＵ：Inertial Measurement Unit）であってもよい。また、加速度センサ２３は、車載装置１０に内蔵されていてもよい。
　記憶部２４は、例えば、ハードディスク装置、ＳＳＤ（solid state drive）、フラッシュメモリ等により構成される記憶デバイスである。記憶部２４は、オペレーティングシステムや、端末用のソフトウェア等の、車載装置１０において実行される各種プログラムを記憶する。
　各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。すなわち、記憶部２４に記憶される各種プログラムは、ネットワークを介して伝送可能であるし、また、コンピュータ読み取り可能な記録媒体に記録して譲渡することが可能である。
　また、記憶部２４は、また、道路地図を含む地図情報を記憶している。また、記憶部２４は、ビデオ通信の相手としての外部装置４０の連絡先を示す情報、例えば電話番号又はメールアドレス等の情報を記憶している。
　制御部２５は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成され、コンピュータとして機能する。制御部２５は、ＣＰＵがＲＯＭや記憶部２４に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。本実施例においては、制御部２５によって、ビデオ通信の開始や終了に関する情報を運転者に提示する機能、ビデオ通信時の動画配信機能、カーナビゲーション機能等が発揮される。
　制御部２５は、車載装置１０内に設けられている車外カメラ１３、車内カメラ１５、タッチパネル１７、スピーカ１９、マイク２１、着座センサ２２、及び加速度センサ２３と通信可能に接続されている。
　制御部２５は、車外カメラ１３及び車内カメラ１５によって撮像された映像を逐次取得する。また、制御部２５は、着座センサ２２によって検出される同乗者の有無を示す情報を逐次取得する。また、制御部２５は、ＧＰＳ受信機１１からの信号及び加速度センサ２３によって計測された加速度を示す信号を逐次取得する。
　通信部２７は、制御部２５の指示に従って外部機器とのデータの送受信を行う通信装置である。通信部２７は、例えば、ネットワークＮＷに接続するためのＮＩＣ（Network Interface Card）である。
　通信部２７は、上記したネットワークＮＷに接続されており、種々のデータをサーバ３０との間で送受信する。また、通信部２７は、サーバ３０を介して種々のデータを外部装置４０との間で送受信する。
　通信部２７は、例えば、自動車Ｍの外部又は内部の映像、現在位置情報及び移動経路等の情報をサーバ３０に送信する。また、通信部２７は、例えば、ビデオ通信に関してタッチパネル１７に表示させるための情報をサーバ３０から受信する。
　制御部２５は、ビデオ通信中、通信部２７を介して、車外カメラ１３又は車内カメラ１５によって撮像された映像をサーバ３０に逐次送信する。
　制御部２５は、通信部２７を介してサーバ３０からビデオ通信の開始や終了に関する表示情報を受信してタッチパネル１７に表示させる。また、制御部２５は、ビデオ通信の開始や終了に関する情報をスピーカ１９から音声によって出力してもよい。
　例えば、車載装置１０の制御部２５は、通信部２７を介して、サーバ３０に車載装置１０の現在位置を特定可能な位置データとしての位置特定情報、すなわち本実施例では自動車Ｍの現在位置の情報を送信可能である。また、例えば、制御部２５は、通信部２７を介して、サーバ３０にユーザから入力された目的地を含む情報を送信し、サーバ３０から、当該目的地への経路情報またはナビゲーション情報を受信可能である。
　制御部２５は、通信部２７を介して、ビデオ通信における音声通話のために、マイク２１によって収音された音声の音声データを外部装置４０に送信可能である。また、制御部２５は、通信部２７を介して、ビデオ通信における音声通話のために、外部装置４０に入力された音声の音声データを受信可能である。
　図４は、サーバ３０の構成を示すブロック図である。例えば、サーバ３０はシステムバスを介して、記憶部３１と、通信部３３と、制御部３５と、が協働している装置である。
　サーバ３０は、車載装置１０と外部装置４０との間で、外部装置４０からのビデオ通信の開始の要求に応じてなされるビデオ通信の開始を制御する機能を有する。
　具体的には、例えば、サーバ３０は、自動車Ｍの運転者の状況に応じて、ビデオ通信の開始を許可するか若しくはビデオ通信の開始の要求を拒否する制御を行う。また、例えば、サーバ３０は、当該ビデオ通信を運転者の状況に基づいたタイミングで開始する制御を行う。
　また、サーバ３０は、ビデオ通信中において、車載装置１０と外部装置４０との間の音声通話を確立し、当該音声通話のデータを転送するＳＩＰサーバのような機能を有している。
　また、サーバ３０は、車載装置１０から自動車Ｍの位置特定情報及び自動車Ｍの乗員であるユーザが設定した目的地の情報を受信し、当該位置特定情報及び目的地の情報に基づいて当該目的地への経路を生成する機能を有する。
　記憶部３１は、例えば、ハードディスク装置及びＳＳＤ（solid state drive）等により構成されており、オペレーティングシステムや、サーバ３０用のソフトウェア等の各種プログラムを記憶する。
　各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。すなわち、記憶部３１に記憶される各種プログラムは、ネットワークを介して伝送可能であるし、また、コンピュータ読み取り可能な記録媒体に記録して譲渡することが可能である。
　記憶部３１は、例えば、サーバ３０が、通信システム１００におけるビデオ通信の開始に関する制御を行うための通信プログラムを記憶している。
　また、記憶部３１は、サーバ３０が上記の通信プログラムを実行し、自動車Ｍの運転者の状況に基づいてビデオ通信の開始の可否を判定する際の判定基準を示す情報を記憶している。
　例えば、自動車Ｍの運転者が運転に集中していて余裕がない状況下でビデオ通信が開始されると、運転者の注意力が削がれたり、パニックになったりして、運転に支障をきたす可能性がある。
　また、例えば、当該運転者が外部装置４０ではない他の装置との間でビデオ通信を行っている場合や、自動車Ｍ内に同乗者が居る場合、自動車Ｍ内や他の通話相手との会話中である場合など、外部装置４０とのビデオ通信が開始されて、自動車Ｍにおける車外カメラ１３や車内カメラ１５の映像や車内の音声が外部装置４０に送信されると都合が悪い場合もある。
　このように、運転者が望まないタイミングでビデオ通信が開始されることを防止するために、通信システム１００において、運転者の状況に関するビデオ通信を開始するか否かの判定基準が定められ、当該判定基準に従ってビデオ通信の開始に関する制御が行われる。
　図５は、記憶部３１に記憶され、ビデオ通信の開始の可否の判定基準の一例を示す判定テーブルＴＢ１を示す図である。図５に示すように、判定テーブルＴＢ１において、運転者の状況を示す項目毎に、当該項目を識別する識別子が付されている。判定テーブルＴＢ１において、項目ＩＤ毎に、運転者の状況と、当該状況を取込み中として取り扱うか否かを示すフラグと、ビデオ通信の開始可否を示すフラグとが対応付けられて記憶されている。
　図５に示すように、取込み中の場合に開始不可、取込み中ではない場合に開始可となる。なお、判定テーブルＴＢ１において、取込中か否かを示すフラグは対応付けられていなくとも良く、運転者の状況に応じてビデオ通信の開始可否を示すフラグのみが対応付けられていてもよい。
　図５に示す例においては、自動車Ｍの運転者の状況を示す項目が「他の音声映像通信」（項目ＩＤ＝Ｓ１）である場合には、車載装置１０が、外部装置４０とは異なる他の外部装置との間で音声映像通信を行っているか否かに基づくビデオ通信の開始可否が対応付けられている。
　サーバ３０は、判定テーブルＴＢ１に従って、例えば、車載装置１０が、外部装置４０とは異なる他の外部装置との間で音声映像通信を行っている（他の音声映像通信「有」）場合には、自動車Ｍの運転者の状況を「取込み中」として取り扱い、外部装置４０との間のビデオ通信の開始を「不可」と判定する。また、車載装置１０が、当該他の外部装置との間で音声映像通信を行っていない（他の音声映像通信「無」）場合には、サーバ３０は、自動車Ｍの運転者の状況は「取込み中ではない」ものとして取り扱い、ビデオ通信の開始を「可」と判定する。
　また、図５に示す例において、自動車Ｍの運転者の状況を示す項目が「現実の同乗者」（項目ＩＤ＝Ｓ２）である場合には、自動車Ｍ内に現実の同乗者が存在するか否かに基づくビデオ通信の開始可否が対応付けられている。
　サーバ３０は、例えば、自動車Ｍの助手席に現実の同乗者が居る（現実の同乗者「有」）場合には、自動車Ｍの運転者の状況を「取込み中」として取り扱い、外部装置４０との間のビデオ通信の開始を「不可」と判定する。また、車載装置１０が、当該他の外部装置との間で音声映像通信を行っていない（現実の同乗者「無」）場合には、サーバ３０は、自動車Ｍの運転者の状況は「取込み中ではない」ものとして取り扱い、ビデオ通信の開始を「可」と判定する。
　また、図５に示す例において、自動車Ｍの運転者の状況を示す項目が「運転者の負荷」（項目ＩＤ＝Ｓ３）である場合には、運転者にかかっている負荷の大きさが所定の基準を超えているか否かに基づくビデオ通信の開始可否が対応付けられている。
　サーバ３０は、例えば、自動車Ｍの運転者の負荷を示す数値が所定の基準を超えている場合（運転者の負荷「高」）には、自動車Ｍの運転者の状況を「取込み中」として取り扱い、外部装置４０との間のビデオ通信の開始を「不可」と判定する。また、自動車Ｍの運転者の負荷を示す数値が所定の基準以下である（運転者の負荷「低」）場合には、サーバ３０は、自動車Ｍの運転者の状況は「取込み中ではない」ものとして取り扱い、ビデオ通信の開始を「可」と判定する。
　自動車Ｍの運転者の状況を示す項目が「運転者が会話中か」（項目ＩＤ＝Ｓ４）である場合には、例えば、現実の同乗者と会話中であるか又は外部と通話中であるなどの運転者が会話中か否かに基づくビデオ通信の開始可否が対応付けられている。
　サーバ３０は、例えば、自動車Ｍの運転者が会話中である場合には、自動車Ｍの運転者の状況を「取込み中」として取り扱い、外部装置４０との間のビデオ通信の開始を「不可」と判定する。また、自動車Ｍの運転者が会話中ではない場合には、サーバ３０は、自動車Ｍの運転者の状況は「取込み中ではない」ものとして取り扱い、ビデオ通信の開始を「可」と判定する。
　本実施例において、例えば、ビデオ通信の開始の可否の判定において、運転者の状況を示す項目Ｓ１～Ｓ４の全てについて判定され、全ての判定結果が開始「可」となった場合に、ビデオ通信の開始に向かう処理がなされる。
　例えば、ビデオ通信の開始可否の判定結果が開始「可」となると、外部装置４０からのビデオ通信の開始の要求があった旨の通知が車載装置１０に送信される。従って、運転者は、判定結果が開始「可」の場合にのみ通知を受ける。例えば、運転者が承諾した場合にのみビデオ通信が開始される。
　なお、ビデオ通信の開始の可否の判定において、運転者の状況を示す項目Ｓ１～Ｓ４の少なくとも１つが採用されればよく、項目Ｓ１～Ｓ４以外の項目がさらに設定されていてもよい。また、ビデオ通信の開始の可否の判定基準として、いずれの項目を使用するかについて、予め設定されていてもよく、運転者が選択して設定可能であってもよい。
　また、記憶部３１は、道路地図を含む地図情報が保存されている地図情報データベース（図示せず）を記憶している。地図情報データベースの地図情報は、例えばナビゲーション装置に用いられている地図情報と同等の情報を有しているデータベースである。
　通信部３３は、上記したネットワークＮＷに接続されており、種々のデータを車載装置１０及び外部装置４０との間で送受信する。
　制御部３５は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成され、コンピュータとして機能する。そして、ＣＰＵが、ＲＯＭや記憶部３１に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。
　制御部３５は、上述の通信プログラムを実行することで、通信システム１００におけるビデオ通信の開始に関する制御を実現する。
　制御部３５は、運転者状況情報取得部３７及び開始制御部３９を含んでいる。
　運転者状況情報取得部３７は、通信部３３を介して、車載装置１０から自動車Ｍの運転者の状況を示す運転者状況情報を取得する運転者状況情報取得ステップを実行する機能部である。
　運転者状況情報取得部３７は、運転者状況情報として、他の音声映像通信が行われているか否かを示す情報を車載装置１０から取得する。運転者状況情報取得部３７は、車載装置１０と、外部装置４０ではない他の装置との間で通信が確立されてビデオ通信が行われているか否かを示す情報を車載装置１０から取得する。
　また、運転者状況情報取得部３７は、運転者状況情報として、自動車Ｍ内に同乗者が存在するか否かを示す情報を車載装置１０から取得する。運転者状況情報取得部３７は、例えば、自動車Ｍ内に備えられた着座センサのセンサ情報を受信し、当該受信したセンサ情報に基づいて同乗者の有無を示す情報を生成する。また、例えば、運転者状況情報取得部３７は、自動車Ｍの車内カメラ１５の映像を受信し、当該受信した自動車Ｍの内部の映像に基づいて、同乗者の有無を示す情報を生成してもよい。
　また、運転者状況情報取得部３７は、運転者状況情報として、自動車Ｍの運転者にかかっている運転に関する負荷の大きさを示す運転負荷情報を車載装置１０から取得する。
　運転者状況情報取得部３７は、例えば、車外カメラ１３によって取得された自動車Ｍの前方の映像を車載装置１０から取得し、当該前方の映像を用いて画像認識を行うことで運転負荷情報を取得する。例えば、運転者状況情報取得部３７は、自動車Ｍの前方の画像を用いた画像認識によって自動車Ｍの運転者にかかっている運転に関する負荷の大きさを推定するワークロード推定を実行し、当該ワークロード推定の結果として、負荷の大きさを示す数値を算出して運転負荷情報とする。
　当該ワークロード推定において、例えば、直進している場合よりも右左折をしている場合の方が負荷が高いと推定するなど、運転のシチュエーションに応じた負荷の推定が行われる。また、経路が生成されている場合は、例えば、交差点等の案内地点を通過中である場合に負荷が高いと推定されてもよい。
　当該ワークロード推定には、車外カメラ１３による前方画像に代えて、または当該前方画像に加えて、地図情報又は予め地図情報に紐づけられている画像が用いられても良い。例えば、自動車Ｍの現在位置に対応する交差点の形状等に基づいて、ワークロード推定が行われてもよい。例えば、十字路を通過中よりも三叉路や五差路を通過中に、大きい負荷を示す数値が運転負荷情報として算出されてもよい。
　なお、上記のワークロード推定は、自動車Ｍの運転者の生体情報に基づいて行われてもよい。その場合、運転者状況情報取得部３７は、例えば、自動車Ｍの運転者の脈拍や脳波等の生体情報を取得し、当該生体情報に基づいて、運転者の負荷を示す数値を運転負荷情報として算出してもよい。
　また、運転者状況情報取得部３７は、運転者状況情報として、自動車Ｍの運転者が会話中であるか否かを示す情報を車載装置１０から取得する。運転者状況情報取得部３７は、例えば、自動車Ｍの運転者を撮影した車内カメラ１５の映像又は自動車Ｍ内で収音された音声を車載装置１０から取得し、当該取得した映像又は音声に基づいて、運転者が会話中であるか否かを判定してもよい。
　図６は、運転者状況情報取得部３７が取得して保持する運転者状況情報の一例を示す図である。例えば、運転者状況情報は、例えばＭＡＣアドレス等の車載装置１０を識別可能な識別子である車載装置ＩＤと、自動車Ｍの運転者の状況を示す情報とを含む。また、運転者状況情報取得部３７は、運転者状況情報を取得すると、運転者の状況の項目毎に、取込み中か否か又はビデオ通信の開始可否を判別してフラグを付与して保持していてもよい。
　例えば、運転者状況情報取得部３７は、図６に示すような運転者状況情報を逐次取得して更新する。
　図６に示す例においては、運転者の状況についてのＳ１～Ｓ４の４つの項目について運転者状況情報が取得されて、取込み中か否かの区別及び開始可否の区別がされて保持されている。
　図６に示す例においては、車載装置１０が他の外部装置との間で音声映像通信を行っておらず（Ｓ１：他の音声映像通信「無」）、自動車Ｍの運転者の負荷を示す数値が所定の基準以下であり（Ｓ３：運転者の負荷「低」）、自動車Ｍの運転者が会話中ではない（Ｓ４：会話中ではない）ため、運転者の状況を示す項目Ｓ１，Ｓ３，及びＳ４については、運転者は「取込み中ではない」ものとして取り扱われ、ビデオ通信の開始は「可」となっている。
　一方、項目Ｓ２については、自動車Ｍの助手席に現実の同乗者が存在する（Ｓ２：現実の同乗者「有」）ため、運転者の状況は「取込み中」として取り扱われ、ビデオ通信の開始は「不可」となっている。
　従って、図６中の「Ｔｏｔａｌ」欄に示すように、全体として自動車Ｍの運転者は取込中であり、ビデオ通信の開始は「不可」となる。
　なお、運転者状況情報取得部３７は、図６に示した例に限られず、Ｓ１～Ｓ４のうちの少なくとも１つについての運転者状況情報を取得すればよい。
　また、運転者状況情報取得部３７は、取込み中か否かの区別及び開始可否の区別をしなくともよく、例えば図６中の破線で囲まれた部分は無くてもよい。
　開始制御部３９は、運転者状況情報に基づいて、外部装置４０からのビデオ通信の開始の要求に応じてなされるビデオ通信の開始を制御する開始制御ステップを実行する機能部である。
　開始制御部３９は、当該開始の制御として、運転者状況情報取得部３７が取得した運転者状況情報に基づいて、外部装置４０と車載装置１０との間のビデオ通信の開始を許可するか、又は、ビデオ通信の開始の要求を拒否する制御を行う。
　例えば、開始制御部３９は、外部装置４０からのビデオ通信の開始の要求を受信すると、図６に例示したような運転者状況情報取得部３７が取得した運転者状況情報を参照し、運転者が取込中か否かの判定、すなわち、ビデオ通信の開始可否の判定を行う。
　当該開始可否の判定において、開始制御部３９は、運転者状況情報を参照する際に、運転者の状況を示す項目自体を参照するか、または当該運転者の状況によって判定された取込中か否かを示すフラグ又は開始可否の区別を示すフラグを参照してもよい。また、図６に示すＳ１～Ｓ４の項目を全て参照してもよく、項目の一部のみを参照してもよい。
　当該判定の結果、ビデオ通信の開始が可能である場合、ビデオ通信の開始を許可し、ビデオ通信を開始するための処理を実行する。ビデオ通信の開始可否の判定の結果、ビデオ通信の開始が不可である場合、開始制御部３９は、ビデオ通信を開始するための処理を実行せず、ビデオ通信の開始の要求を拒否する。
　また、開始制御部３９は、当該開始の制御として、外部装置４０と車載装置１０との間のビデオ通信を、運転者状況情報に基づいたタイミングで開始する制御を行う。
　例えば、開始制御部３９は、ビデオ通信の開始可否の判定の結果、ビデオ通信の開始が不可である場合、一定時間待機し、その後、再び運転者状況情報を参照し、ビデオ通信の開始可否の判定を行う。当該判定の結果、ビデオ通信の開始が可能となれば、ビデオ通信を開始するための処理を実行する。すなわち、開始制御部３９は、ビデオ通信の開始のタイミングを遅らせる制御を行う。
　さらに、開始制御部３９は、ビデオ通信を開始しない場合、又はビデオ通信の開始のタイミングを遅らせる場合、その旨を外部装置４０のユーザに通知する制御を行う。開始制御部３９は、自動車Ｍの運転者が取込中である旨の表示を外部装置４０に表示させる制御を行う。
　また、制御部３５は、通信部３３を介して、車載装置１０から自動車Ｍの現在位置を示す位置情報を取得する。また、制御部３５は、通信部３３を介して、車載装置１０から自動車Ｍの乗員が車載装置１０に入力した目的地の情報を取得する。制御部３５は、当該位置情報及び目的地の情報に基づいて、当該目的地までの経路を生成し、当該経路を示す情報を車載装置１０に送信する。
　また、制御部３５は、通信部３３を介して、車載装置１０から受信した映像及び音声を外部装置４０に転送する。制御部３５は、通信部３３を介して、外部装置４０から受信した音声を車載装置１０に転送する。
　図７は、外部装置４０の正面図である。上述のように、本実施例において、外部装置４０はスマートフォンである。
　タッチパネル４１は、例えば、映像を表示可能な液晶ディスプレイ等のディスプレイとタッチパッドとが組み合わされたタッチパネルモニターである。タッチパネル４１は、ユーザから受け付けたタッチパネル４１への入力操作を表す信号を生成することが可能である。本実施例において、タッチパネル４１には、車載装置１０から配信された映像が表示される。
　また、タッチパネル４１には、ビデオ通信に関する情報が表示され、ビデオ通信の接続を開始するための操作の受付画面が表示される。外部装置４０のユーザは、タッチパネル４１への入力操作によって、ビデオ通信の開始のための入力続操作を行うことが可能である。
　スピーカ４３は、音楽や音声等の音を発することが可能である。ビデオ通信時において、スピーカ４３からは、音声通話における車載装置１０からの音声が発せられる。
　マイク４５は、外部装置４０に向けて発せられた音を受音するマイク装置である。ビデオ通信時において、マイク４５によって収音された音声が音声通話の音声としてサーバ３０を介して車載装置１０に送信される。
　図８は、外部装置４０の構成の一例を示すブロック図である。例えば、外部装置４０は、システムバス（図示せず）を介して、記憶部４７と、制御部４９と、通信部５１と、が協働する装置である。
　記憶部４７は、例えば、ハードディスク装置、ＳＳＤ（solid state drive）、フラッシュメモリ等により構成されており、オペレーティングシステムや、外部装置４０用のソフトウェア等の各種プログラムを記憶する。
　なお、各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。すなわち、記憶部４７に記憶される各種プログラムは、ネットワークを介して伝送可能であるし、また、コンピュータ読み取り可能な記録媒体に記録して譲渡することが可能である。
　制御部４９は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成され、コンピュータとして機能する。そして、ＣＰＵがＲＯＭや記憶部４７に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。
　制御部４９は、タッチパネル４１、スピーカ４３及びマイク４５に通信可能に接続されている。
　制御部４９は、タッチパネル４１への入力操作を示す信号及びマイク４５からの音声入力信号を受信することが可能である。例えば、制御部４９は、タッチパネル４１及びマイク４５によってユーザからなされたビデオ通信の開始の要求を受け付けることが可能である。
　また、制御部４９は、タッチパネル４１に映像または画像信号を送信して表示をさせたり、スピーカ４３に音声信号を送信して、音を出力させたりすることが可能である。
　例えば、制御部４９は、ビデオ通信の開始の要求を受け付けるための開始画面や自動車Ｍの運転者が取込み中であることを示す画面をタッチパネル４１に表示させる。
　また、例えば、制御部４９は、ビデオ通信中における映像をタッチパネル４１に表示させ、自動車Ｍにおいて収音されたビデオ通信中における音声をスピーカ４３に出力させる。
　通信部５１は、上記したネットワークＮＷに接続されており、種々のデータをサーバ３０との間で送受信する。また、通信部５１は、車載装置１０から送信された映像を始めとして、種々のデータをサーバ３０を介して車載装置１０との間で送受信する。
　外部装置４０の制御部４９は、通信部５１を介して、ビデオ通信の開始の要求を受け付けるための開始画面や自動車Ｍの運転者が取込み中であることを示す画面を表示させるための情報を受信可能である。
　また、制御部４９は、通信部５１を介して、ビデオ通信における音声通話のために、マイク４５によって収音された音声の音声データを車載装置１０に送信可能である。また、制御部４９は、通信部５１を介して、ビデオ通信における音声通話のために、車載装置１０から送信された音声データを受信可能である。
　例えば、外部装置４０の制御部４９は、通信部５１を介して、サーバ３０から車載装置１０から送信された自動車Ｍの現在位置を特定可能な位置特定情報を受信可能である。また、例えば、制御部４９は、通信部５１を介して、サーバ３０から、自動車Ｍの経路情報またはナビゲーション情報を受信可能である。
　［２．ビデオ通信の開始］
　図９は、通信システム１００においてビデオ通信が開始される際に、車載装置１０と外部装置４０との間でサーバ３０を介して行われる通信の一例を示すシーケンス図である。以下、車載装置１０のユーザである運転者が、自動車Ｍを運転する際に外部装置４０のユーザである仮想同乗者との間でビデオ通信を行うことを予定している場合について説明する。
　図９に示すように、運転者は、外部装置４０との間で行うビデオ通信の相手である仮想同乗者の連絡先を事前に登録しておく（ステップＳ１１）。
　仮想同乗者の登録において、例えば、ニックネーム等の仮想同乗者を識別可能な名前と、仮想同乗者に情報を送信するために必要なメールアドレス又は電話番号等の宛先を示す情報との組を含む登録情報がサーバ３０に送信され、サーバ３０によって保持される。当該登録情報には、例えば、車載装置１０を識別可能な識別子が含まれる。
　当該仮想同乗者の登録は、車載装置１０のタッチパネル４１を介して行われるが、これに限られず、車載装置１０以外の、自動車Ｍの運転者が利用しているスマートフォン等の端末装置への入力情報がサーバ３０に送信されることによって行われてもよい。
　運転者が仮想同乗者の連絡先を事前に登録するタイミングは、例えば自動車Ｍの運転中のビデオ通信を予定している日の前日以前であってもよく、当該ビデオ通信の直前であってもよい。
　その後、運転者は、自動車Ｍの運転を開始すると、外部装置４０への招待メールの送信を指示する入力操作を車載装置１０に対して行う。当該入力操作は、車載装置１０のタッチパネル１７を介して行われてもよく、マイク２１を介して音声によって行われてもよい。
　運転者の入力操作によって、招待メール送信要求がサーバ３０に送信される（ステップＳ１２）。招待メール送信要求には、例えば、事前に登録されていた仮想同乗者が使用するメールアドレス又は外部装置４０の電話番号等の宛先を示す情報及び仮想同乗者を識別可能なニックネームが含まれる。
　サーバ３０は、招待メール送信要求を受信すると、招待メール送信要求に含まれる外部装置４０の宛先に招待メールを送信する（ステップＳ１３）。招待メールには、仮想同乗者がビデオ通信を行うための開始画面を開くためのＵＲＬが含まれる。
　仮想同乗者が、外部装置４０を用いて招待メールを開き、ＵＲＬをタップすると（ステップＳ１４）、ブラウザが立ち上がり、外部装置４０のタッチパネル４１に、ビデオ通信の開始画面が表示される（ステップＳ１５）。
　開始画面には、例えば、運転者からビデオ通信の招待があった旨のメッセージ及びビデオ通信の開始を希望する場合に操作するための開始ボタン等が表示される。また、例えば、当該開始画面には、本人確認のための識別情報を入力するための入力欄が設けられていてもよい。
　仮想同乗者が開始ボタンをタップすると、ビデオ通信の開始の要求がサーバ３０に送信される（ステップＳ１６）。
　サーバ３０は、ビデオ通信の開始の要求を受信すると、運転者の状況に基づいて、ビデオ通信の開始可否の判定を行い、ビデオ通信の開始を許可する場合（ステップＳ１７）に、外部装置４０からのビデオ通信の開始の要求があったことを車載装置１０に通知する（ステップＳ１８）。
　ステップＳ１８において、例えば、車載装置１０は、サーバ３０からの通知を受信すると、ビデオ通信の開始について承諾するか否かの選択ボタンが表示される。例えば、運転者が承諾ボタンをタップすると、運転者がビデオ通信の開始を承諾したことを示す情報がサーバ３０に送信される（ステップＳ１９）。
　サーバ３０は、運転者がビデオ通信の開始を承諾したことを示す情報を受信すると、車載装置１０と外部装置４０との間の音声通話を確立させつつ、自動車Ｍにおいて撮影された映像を車載装置１０から外部装置４０に配信させるビデオ通信を開始する（ステップＳ２０）。
　このようにして、車載装置１０と外部装置４０とは、サーバ３０を介してビデオ通信を開始する。
　なお、上記に例示したシーケンスにおいては、車載装置１０からの招待メールの送信要求によってビデオ通信の開始に向けてのステップＳ１３以降のシーケンスが開始されるとしたが、外部装置４０から、招待メールを用いずに直接車載装置１０とのビデオ通信の開始の要求が可能であってもよい。この場合、当該開始の要求があったことをトリガとしてビデオ通信の開始のための各ステップ（Ｓ１７～Ｓ２０）が実行されてもよい。
　［３．サーバの動作］
　以下、実施例１の通信システム１００の動作を実現するためのサーバ３０の制御ルーチンについて説明する。以下、運転者状況情報取得部３７は、例えば、サーバ３０において招待メールの送信要求（図９、ステップＳ１２）が受信された後、運転者状況情報を随時取得し、最新の運転者状況情報を保持しているものとして説明する。
　図１０は、サーバ３０の開始制御部３９によって実行される開始制御ルーチンＲＴ１を示すフローチャートである。開始制御部３９は、例えば、サーバ３０から外部装置４０に招待メールが送信されると、開始制御ルーチンＲＴ１を開始する。
　開始制御部３９は、開始制御ルーチンＲＴ１を開始すると、招待メールに含まれるＵＲＬへのアクセスがあったか否かを判定する（ステップＳ１０１）。ステップＳ１０１において、例えば、仮想同乗者が外部装置４０を用いて招待メール開き、招待メールに含まれるＵＲＬをタップすると、外部装置４０が当該ＵＲＬにアクセスする。
　ステップＳ１０１において、開始制御部３９は、ＵＲＬへのアクセスが無いと判定する（ステップＳ１０１：ＮＯ）と、開始制御ルーチンＲＴ１を終了し、次の開始制御ルーチンＲＴ１を開始して、再びステップＳ１０１を実行する。
　ステップＳ１０１において、開始制御部３９は、ＵＲＬへのアクセスがあったと判定する（ステップＳ１０１：ＹＥＳ）と、外部装置４０のユーザに向けて提示してビデオ通信の開始に関する情報の提示及び操作入力の受付を行うための開始画面を外部装置４０のタッチパネル４１に表示させる（ステップＳ１０２）。ステップＳ１０２において、例えば、開始制御部３９は、予め生成されている開始画面を外部装置４０において表示させるように制御する。
　図１１は、ステップＳ１０２において外部装置４０のタッチパネル４１に表示される開始画面の一例を示す図である。図１１に示すように、開始画面には、ビデオ通信による通話の開始を促すメッセージ及び開始ボタンが表示されている。
　また、開始画面には、本人確認のための暗証番号入力欄が表示されていてもよい。例えば、本人確認は、当該入力欄への電話番号の下４桁の入力によって行われてもよい。
　なお、開始画面からビデオ通信に関する利用規約及びプライバシーポリシーを確認できるようになっていてもよく、例えば、開始ボタンを押すと、当該利用規約及びプライバシーポリシーに同意したものとされる旨の表示がされていてもよい。
　開始制御部３９は、ステップＳ１０２の実行後、所定時間内に外部装置４０からのビデオ通信の開始の要求があったか否かを判定する（ステップＳ１０３）。ステップＳ１０３において、例えば、開始制御部３９は、仮想同乗者が開始画面の開始ボタンをタップすることで送信される（例えば、図９のステップＳ１６）、ビデオ通信の開始の要求を示す情報を受信したか否かを判定する。
　ステップＳ１０３において、例えば、開始制御部３９は、所定時間内に開始の要求が無かったと判定する（ステップＳ１０３：ＮＯ）と、外部装置４０における開始画面の表示を終了させ、開始制御ルーチンＲＴ１を終了し、次の開始制御ルーチンＲＴ１を開始する。
　ステップＳ１０３において、例えば、開始制御部３９は、開始の要求があったと判定する（ステップＳ１０３：ＹＥＳ）と、運転者状況情報取得部３７によって取得された運転者状況情報を参照する（ステップＳ１０４）。
　ステップＳ１０４において、開始制御部３９は、例えば図６に示したように、他のビデオ通信の有無、現実の同乗者の有無等を示す運転者状況情報を参照する。上述したように、当該運転者状況情報には、運転者が取込み中か否かを示すフラグ、又はビデオ通信の開始可否を示すフラグが付されていてもよい。
　開始制御部３９は、ステップＳ１０４の実行後、運転者状況情報に基づいて、運転者は取込中か否か、すなわち、ビデオ通信の開始が可能であるか否かを判定する（ステップＳ１０５）。ステップＳ１０５において、例えば、運転者の状況を示す複数の項目の各々について、例えば図５に例示したような判定基準に従って、ビデオ通信の開始可否を判定する。ステップＳ１０５において、例えば、車載装置１０が他のビデオ通信を行っている場合には、ビデオ通信の開始は不可であると判定される。
　開始制御部３９は、ステップＳ１０４において参照した運転者状況情報に、運転者が取込み中か否かを示すフラグ、又はビデオ通信の開始可否を示すフラグが付されている場合には、ステップＳ１０５において、当該フラグに基づいて、ビデオ通信の開始可否を判定してもよい。
　ステップＳ１０５において、例えば、開始制御部３９は、運転者は取込中ではないと判定する（ステップＳ１０５：ＮＯ）と、ビデオ通信の開始の要求があった旨の通知を車載装置１０に送信する（ステップＳ１０６）。
　ステップＳ１０６の実行後、開始制御部３９は、所定時間内に運転者の承諾があったか否かを判定する（ステップＳ１０７）。ステップＳ１０７において、開始制御部３９は、ビデオ通信の開始についての運転者の承諾を示す情報を車載装置１０から受信すると、運転者の承諾があったと判定する。
　ステップＳ１０７において、開始制御部３９は、運転者の承諾があったと判定する（ステップＳ１０７：ＹＥＳ）と、車載装置１０と外部装置４０との間で音声通話を確立させ、かつ、車載装置１０から自動車Ｍにおいて撮影された映像を外部装置４０に配信させて、ビデオ通信を開始させる（ステップＳ１０８）。言い換えれば、ステップＳ１０６～ステップＳ１０８において、開始制御部３９は、ビデオ通信の開始を許可する制御を行う。
　なお、ステップＳ１０６において、例えば、開始制御部３９は、ビデオ通信の開始の要求があった旨の運転者への通知を送信後、ステップＳ１０７を実行せずに、ステップＳ１０８に移り、運転者による承諾なしにビデオ通信を開始することとしてもよい。また、例えば、開始制御部３９は、ステップＳ１０６を実行せずに、ビデオ通信の開始の要求があった旨の運転者への通知を送信することなくビデオ通信を開始することとしてもよい。
　ステップＳ１０５において、例えば、開始制御部３９は、運転者は取込中であると判定した場合（ステップＳ１０５：ＹＥＳ）、又は、ステップＳ１０７において運転者の承諾がなかったと判定した場合（ステップＳ１０７：ＮＯ）、ビデオ通信を開始できない旨のメッセージを外部装置４０において表示させる（ステップＳ１０９）。ステップＳ１０９において、例えば、運転者が取込み中であり、ビデオ通信が開始できない旨のメッセージが表示される。
　図１２は、ステップＳ１０９において外部装置４０のタッチパネル４１に表示される、ビデオ通信を開始できない旨のメッセージの表示画面である開始不可画面の一例を示す図である。図１２に示す例においては、運転者が取込み中であるという理由とともにビデオ通信を開始できないことを示す「〇〇さんは、只今取込中のためビデオ通信を開始できません。」というメッセージが表示されている。
　図１２に示す例に限られず、例えば、ビデオ通信の開始ができない理由として、運転者の状況を示す項目の内容そのものが表示されてもよい。例えば、運転者が他の外部装置のユーザとの間でビデオ通信を行っている場合には、「運転者は他のビデオ通信中のため、ビデオ通信を開始できません。」等のメッセージが表示されてもよい。
　なお、開始不可画面において、図１２中の「ブラウザを閉じてください」の代わりに、「後ほどお掛け直しください」等のメッセージが表示されていてもよい。
　また、図１２に示す例においては、開始画面の表示が網掛けになっており、開始ボタンは機能しないようになっている。なお、開始不可画面において、開始ボタンを含む開始画面の表示は全くされていなくともよい。
　ステップＳ１０７の実行後、開始制御部３９は、ビデオ通信を開始せずにビデオ通信の開始の要求がされていない状態に戻す要求無効処理を実行する（ステップＳ１１０）。ステップＳ１１０の実行によって、例えば、仮想同乗者は、改めてＵＲＬへのアクセスを行い、再度開始ボタンを表示させて開始ボタンを押さなければ、新たに開始の要求をすることができなくなる。
　開始制御部３９は、ステップＳ１０９及びステップＳ１１０において、ビデオ通信の開始の要求を拒否する制御を行う。
　言い換えれば、開始制御部３９は、ステップＳ１０５～ステップＳ１１０において、運転者状況情報に基づいて、外部装置４０と車載装置１０との間のビデオ通信の開始を許可するか又は当該ビデオ通信の開始の要求を拒否する制御を行う。
　ステップＳ１０８又はステップＳ１１０の実行後、開始制御部３９は、開始制御ルーチンＲＴ１を終了し、次の開始制御ルーチンＲＴ１を開始する。
　以上説明したように、本実施例の通信システム１００は、サーバ３０を介して、車載装置１０と外部装置４０との間で音声通話を成立させつつ、車載装置１０が搭載されている自動車Ｍにおける映像を外部装置４０に送信するビデオ通信を行うことが可能である。
　本実施例の通信システム１００は、第１装置としての車載装置１０から移動体の運転者の状況を示す運転者状況情報を取得する運転者状況情報取得部と、運転者状況情報に基づいて、第２装置としての外部装置４０からのビデオ通信の開始の要求に応じてなされる音声映像通信の開始を制御する開始制御部と、を有する。
　例えば、通信システム１００は、当該開始の制御において、運転者状況情報に基づいて、ビデオ通信の開始を許可するか又はビデオ通信の開始の要求を拒否する制御を行うことができる。
　本実施例によれば、例えば、運転者の状況が取込中に該当する場合には、ビデオ通信の開始が行われないように制御することができる。それによって、例えば、運転者には、仮想同乗者からのビデオ通信の開始の要求があった旨の通知もなされず、運転者が運転中に承諾等の操作をする必要もない。運転者は、運転中に余裕が無い場合やビデオ通信を開始したくない状況であるなどの取込中に通信が開始されることもなく、承諾を求められることもないので、安全に、かつ安心して通信システム１００を利用することができる。
　従って、本実施例によれば、移動体の運転者が望まないタイミングでの通信の開始を防止することを可能にする通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体を提供することができる。
　図１３及び図１４を参照しつつ、実施例２の通信システム１００の動作を実現するためのサーバ３０の制御ルーチンについて説明する。実施例２の通信システム１００は、実施例１の通信システム１００と同様に構成されており、サーバ３０の開始制御部３９によるビデオ通信の開始制御の内容が実施例１の場合と異なる。
　図１３は、サーバ３０の開始制御部３９によって実行される開始制御ルーチンＲＴ２を示すフローチャートである。
　開始制御ルーチンＲＴ２は、ステップＳ２０１～ステップＳ２０８については開始制御ルーチンＲＴ１のステップＳ１０１～ステップＳ１０８と同様に進行し、ステップＳ２０９及びステップＳ２１０の内容が開始制御ルーチンＲＴ１のステップＳ１０９及びステップＳ１１０の内容と異なる。
　開始制御部３９は、ステップＳ２０５において、運転者は取込中であると判定した場合（ステップＳ２０５：ＹＥＳ）、又はステップＳ２０７において運転者の承諾がなかったと判定した場合（ステップＳ２０７：ＮＯ）、自動車Ｍの運転者が取込み中である旨のメッセージを含む画面を外部装置４０のタッチパネル４１に表示させる（ステップＳ２０９）。ステップＳ２０９において、例えば、ビデオ通信の開始が遅れる旨のメッセージ又はビデオ通信の開始が可能になるまで待機を依頼する旨のメッセージが表示されてもよい。
　図１４は、ステップＳ２０９において表示される開始遅延画面の一例を示す図である。図１４に示す例においては、運転者が取込み中であるという理由とともにビデオ通信の開始が可能になるまで待機を仮想同乗者に依頼することを示す「〇〇さんは、只今取込中です。しばらくお待ちください」というメッセージが表示されている。
　図１４に示す例に限られず、例えば、ビデオ通信の開始が直ちにはできない理由として、運転者の状況を示す項目の内容そのものが表示されてもよい。例えば、運転者が特に注意が必要な交差点を通過中であり、運転者の負荷が高い場合には、「運転者の負荷が高いため、しばらくお待ちください」等のメッセージが表示されてもよい。
　なお、図１４に示す例においては、開始画面の表示が網掛けになっており、開始ボタンは機能しないようになっているが、これに限られず、開始遅延画面において、開始ボタンを含む開始画面の表示は全くされていなくともよい。
　ステップＳ２０９の実行後、開始制御部３９は、所定時間待機し（ステップＳ２１０）、その後、ステップＳ２０４に戻り、運転者状況情報を再び参照する。
　ステップＳ２１０において、例えば、開始制御部３９は、車載装置１０と外部装置４０との間で通信を確立しなくてもよく、通信を確立した上で、ビデオ通信を開始しない状態を維持してもよい。
　上述したように、運転者状況情報取得部３７は、運転者状況情報を逐次取得して更新したものを保持しているので、ステップＳ２１０の後のステップＳ２０４及びその後の処理は、最新の運転者状況情報に基づいて進行する。
　ステップＳ２０５～ステップＳ２１０において、開始制御部３９は、外部装置４０と車載装置１０との間のビデオ通信を、運転者状況情報に基づいたタイミングで開始する制御を行う。
　開始制御部３９は、ステップＳ２０５において、運転者は取込中ではないと判定し（ステップＳ２０５：ＮＯ）、かつ、ステップＳ２０７において運転者の承諾があったと判定する（ステップＳ２０７：ＹＥＳ）と、ステップＳ２０８においてビデオ通信の開始後、開始制御ルーチンＲＴ２を終了し、次の開始制御ルーチンＲＴ２を開始する。
　以上、説明したように、実施例２の通信システム１００によれば、外部装置４０と車載装置１０との間のビデオ通信を、運転者の状況に基づいたタイミングで開始するように制御することができる。例えば、本実施例によれば、運転者の状況がビデオ通信を直ちに開始できない取込中の状況である場合に、ビデオ通信の開始のタイミグを遅らせることができ、運転者の状況が取込中ではなくなってからビデオ通信を開始することができる。
　例えば、運転者は、ビデオ通信をすぐには開始したくない場合に、特に操作を行わなくても自動的にビデオ通信の開始を遅らせることができるので、安全、安心、かつ快適に通信システム１００を利用することができる。
　［変形例］
　図１５は、実施例１及び実施例２の通信システム１００の変形例における車載装置６０の構成の一例を示すブロック図である。上記の実施例においてサーバ３０が有する運転者状況情報取得部３７及び開始制御部３９の機能を、本変形例においては車載装置６０が有している。
　具体的には、車載装置６０の制御部６１は、運転者状況情報取得部６３と、開始制御部６５とを有している。また、記憶部６７は、運転者状況情報に基づいて、外部装置４０からのビデオ通信の開始の要求に対してなされるビデオ通信の開始を制御するための通信プログラムを記憶している。
　例えば、車載装置６０が外部装置４０又は外部装置４０との間の通信を仲介するサーバから開始の要求を受信すると、運転者状況情報取得部６３が、車載装置６０が搭載されている自動車Ｍの運転者の状況を示す運転者状況情報を取得する。
　開始制御部６５は、運転者状況情報取得部６３が取得した運転者状況情報に基づいて、ビデオ通信の開始を制御する。開始制御部６５は、例えば、運転者状況情報が示す運転者の状況が取込中に該当し、ビデオ通信の接続が不可である場合には、ビデオ通信の開始の要求を拒否する制御又は運転者状況情報に基づいたタイミングでビデオ通信を開始する制御を行うことが可能である。
　本変形例によれば、外部装置４０と車載装置６０との間のビデオ通信に関して、サーバ３０を介さずとも運転者状況情報に基づく開始制御が可能である。例えば、本変形例におけるビデオ通信は、サーバ３０を介さずに、車載装置１０と外部装置４０との間でＰ２Ｐ（Peer to Peer）通信などによって直接なされてもよい。
　上述した実施例及び変形例における車載装置１０、サーバ３０及び外部装置４０の構成、ルーチン等は、例示に過ぎず、用途等に応じて、適宜選択または変更することができる。
　例えば、上記の実施例及び変形例において、外部装置４０からの開始の要求を受け付ける態様として、タッチパネル４１に表示された開始ボタンをタップする例について説明したが、これに限られない。当該開始の要求は、例えば、音声による入力操作によって受付けられてもよい。
　上記の実施例及び変形例においては、通信システム１００においてビデオ通信を行う例について説明したが、これに限られない。本発明は、通信システム１００において、自動車Ｍと共に移動する第１装置としての車載装置１０によって取得された自動車Ｍにおける音声及び映像を第２装置としての外部装置４０に送信する音声映像通信を行う場合に適用可能である。つまり、本発明は、外部装置４０からは音声が送信されない態様での通信にも適用可能である。
　また、車載装置１０と外部装置４０は、必ずしも音声通話が出来なくともよい。例えば、車載装置１０と外部装置４０との間の通信態様は、ＹｏｕＴｕｂｅ（登録商標）やニコニコ生放送（登録商標）のように、双方向の音声通話を伴わず単に車載装置１０から外部装置４０に映像及び音声が配信される態様であっても良い。
　また、上記の実施例１及び実施例２においては、車載装置１０と外部装置４０とがサーバ３０を介してビデオ通信を行うこととしたが、ビデオ通信は車載装置１０と外部装置４０との間で直接なされてもよい。
　また、通信システム１００で車載装置１０から外部装置４０に上記映像配信が行われつつ、通信システム１００とは別の経路で並行して車載装置１０と外部装置４０との間の音声通話が確立されていても良い。
　上記実施例及び変形例において、車載装置１０は、車載ナビゲーション装置であるとしたが、車載装置１０は、単に車外カメラ１３又は車内カメラ１５からの動画を配信可能であればよい。
　例えば、車載装置１０は、車載装置１０と同様の構成を有する端末装置と車外カメラ１３とタッチパネル１７とが一体化された構成であってもよい。具体的には、例えば、車載装置１０は、上記車載装置１０と同様の機能を発揮するアプリケーションを搭載したカメラ付きのスマートフォン、タブレットまたはＰＣ等の端末装置であってもよい。この場合、車載装置１０は、内蔵カメラが自動車Ｍのフロントガラスを通して自動車Ｍの前方を撮影可能なように、例えばクレードル等でダッシュボードＤＢ上に取り付けられ得る。
　また、車載装置１０は、自動車Ｍの運転者に提示する画面を表示しない構成であってもよい。例えば、車載装置１０は、ドライブレコーダのような構成を有していてもよく、例えば、車外カメラ１３と一体となった装置であってもよい。具体的には、車載装置１０は、例えば、車外カメラ１３の筐体内に上記した車載装置１０のビデオ通信機能を果たすハードウェアを内蔵したような装置であってもよい。この場合、車載装置１０は、上記において説明したような種々の表示出力を行わないこととしてもよい。
　上記の実施例及び変形例において、外部装置４０はスマートフォンである場合について説明したが、これに限られない。外部装置４０は、仮想同乗者がビデオ通信に利用できる端末装置であって、ビデオ通信に関する表示又はメッセージの提示、ビデオ通信を行うために必要な操作入力の受付、音声データの送受信並びに映像の受信及び表示が可能に構成されていればよい。例えば、外部装置４０は、タブレット、ＰＣ、ウェアラブル端末等の端末装置であってもよい。
　上記の実施例及び変形例においては、車載装置１０及び車載装置６０が自動車Ｍに搭載される例を説明したが、車載装置１０は、自転車、バイク、船舶等他の移動体に搭載されていてもよい。また、車載装置１０がスマートフォンのようなカメラを内蔵したものであり、これを人が保持しており、例えば歩きながらビデオ通信を行って映像を配信することしてもよい。
１０　車載装置
１３　車外カメラ
１５　車内カメラ
１７　タッチパネル
１９　スピーカ
２１　マイク
２３　記憶部
２５　制御部
２７　通信部
３０　サーバ
３１　記憶部
３３　通信部
３５　制御部
３７　運転者状況情報取得部
３９　開始制御部
４０　外部装置
４１　タッチパネル
４３　スピーカ
４５　マイク
４７　記憶部
４９　制御部
５１　通信部

Claims (16)

  1. 　移動体と共に移動する第１装置によって取得された前記移動体における音声及び映像を第２装置に送信する音声映像通信を行う通信システムであって、
    　前記第１装置から前記移動体の運転者の状況を示す運転者状況情報を取得する運転者状況情報取得部と、
    　前記運転者状況情報に基づいて、前記第２装置からの前記音声映像通信の開始の要求に応じてなされる前記音声映像通信の開始を制御する開始制御部と、
    を有することを特徴とする通信システム。
  2. 　前記開始制御部は、前記開始の制御において、前記運転者状況情報に基づいて、前記第２装置と前記第１装置との間の前記音声映像通信の開始を許可するか、又は、前記音声映像通信の開始の要求を拒否する制御を行うことを特徴とする請求項１に記載の通信システム。
  3. 　前記開始制御部は、前記開始の制御において、前記第２装置と前記第１装置との間の前記音声映像通信を、前記運転者状況情報に基づいたタイミングで開始する制御を行うことを特徴とする請求項１又は２に記載の通信システム。
  4. 　前記開始制御部は、前記開始の制御において、前記第２装置からの前記音声映像通信の開始の要求があったことを前記運転者状況情報に基づいたタイミングで前記第１装置に通知することを特徴とする請求項１乃至３のいずれか１つに記載の通信システム。
  5. 　前記運転者状況情報は、前記第１装置と、前記第２装置ではない他の装置との間で前記音声映像通信が行われているか否かを示す情報を含み、
    　前記開始制御部は、前記他の装置との間で前記音声映像通信が行われているか否かに基づいて前記開始を制御することを特徴とする請求項１乃至４のいずれか１つに記載の通信システム。
  6. 　前記運転者状況情報は、前記移動体内に同乗者が存在するか否かを示す情報を含み、
    　前記開始制御部は、前記移動体内に同乗者が存在するか否かに基づいて前記開始を制御することを特徴とする請求項１乃至５のいずれか１つに記載の通信システム。
  7. 　前記運転者状況情報取得部は、前記移動体内の着座センサからのセンサ情報に基づいて、前記移動体内に前記同乗者が存在するか否かを示す情報を取得することを特徴とする請求項６に記載の通信システム。
  8. 　前記運転者状況情報は、前記移動体の運転者にかかっている運転に関する負荷の大きさを示す運転負荷情報を含み、
    　前記開始制御部は、前記運転負荷情報に基づいて前記開始を制御することを特徴とする請求項１乃至７のいずれか１つに記載の通信システム。
  9. 　前記運転者状況情報取得部は、前記運転者の前記負荷の大きさを推定するワークロード推定を実行し、前記ワークロード推定の結果を前記運転負荷情報として取得することを特徴とする請求項８に記載の通信システム。
  10. 　前記運転者状況情報取得部は、前記移動体の前方を撮影した画像を取得して当該画像に基づいて前記ワークロード推定を実行することを特徴とする請求項９に記載の通信システム。
  11. 　前記運転者状況情報は、前記運転者が会話中であるか否かを示す情報を含み、
    　前記開始制御部は、前記運転者が会話中であるか否かに基づいて前記開始を制御することを特徴とする請求項１乃至１０のいずれか１つに記載の通信システム。
  12. 　移動体と共に移動する第１装置によって取得された前記移動体における音声及び映像を第２装置に送信する音声映像通信を行う通信システムによって実行される通信方法であって、
    　前記第１装置から前記移動体の運転者の状況を示す運転者状況情報を取得する運転者状況情報取得ステップと、
    　前記運転者状況情報に基づいて、前記第２装置からの前記音声映像通信の開始の要求に応じてなされる前記音声映像通信の開始を制御する開始制御ステップと、
    を含むことを特徴とする通信方法。
  13. 　コンピュータを備え、移動体と共に移動する第１装置によって取得された前記移動体における音声及び映像を第２装置に送信する音声映像通信を行う通信システムによって実行される通信プログラムであって、前記コンピュータに、
    　前記第１装置から前記移動体の運転者の状況を示す運転者状況情報を取得する運転者状況情報取得ステップと、
    　前記運転者状況情報に基づいて、前記第２装置からの前記音声映像通信の開始の要求に応じてなされる前記音声映像通信の開始を制御する開始制御ステップと、
    　を実行させるための通信プログラム。
  14. 　コンピュータを備え、移動体と共に移動する第１装置によって取得された前記移動体における音声及び映像を第２装置に送信する音声映像通信を行う通信システムに、
    　前記第１装置から前記移動体の運転者の状況を示す運転者状況情報を取得する運転者状況情報取得ステップと、
    　前記運転者状況情報に基づいて、前記第２装置からの前記音声映像通信の開始の要求に応じてなされる前記音声映像通信の開始を制御する開始制御ステップと、
    　を実行させるための通信プログラムを記憶するコンピュータ可読記憶媒体。
  15. 　移動体と共に移動し、前記移動体における音声及び映像を取得して他の装置に送信する音声映像通信を行う通信装置であって、
    　前記移動体の運転者の状況を示す運転者状況情報を取得する運転者状況情報取得部と、
    　前記運転者状況情報に基づいて、前記他の装置からの前記音声映像通信の開始の要求に応じてなされる前記音声映像通信の開始を制御する開始制御部と、
    を有することを特徴とする通信装置。
  16. 　移動体と共に移動する第１装置によって取得された前記移動体における音声及び映像を第２装置に送信する音声映像通信を行うサーバ装置であって、
    　前記第１装置から、通信路を介して前記移動体の運転者の状況を示す運転者状況情報を取得する運転者状況情報取得部と、
    　前記運転者状況情報に基づいて、前記音声映像通信の開始の要求に応じてなされる前記音声映像通信の開始を制御する開始制御部と、
    を有することを特徴とするサーバ装置。
     
     
PCT/JP2021/045961 2021-12-14 2021-12-14 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体 Ceased WO2023112120A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2021/045961 WO2023112120A1 (ja) 2021-12-14 2021-12-14 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体
JP2023567310A JPWO2023112120A1 (ja) 2021-12-14 2021-12-14

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/045961 WO2023112120A1 (ja) 2021-12-14 2021-12-14 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体

Publications (1)

Publication Number Publication Date
WO2023112120A1 true WO2023112120A1 (ja) 2023-06-22

Family

ID=86774074

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/045961 Ceased WO2023112120A1 (ja) 2021-12-14 2021-12-14 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体

Country Status (2)

Country Link
JP (1) JPWO2023112120A1 (ja)
WO (1) WO2023112120A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10243464A (ja) * 1997-02-28 1998-09-11 Toyota Motor Corp 移動体用電話システム
JP2003054323A (ja) * 2001-08-10 2003-02-26 Alpine Electronics Inc 車載テレビ電話装置
JP2004147037A (ja) * 2002-10-24 2004-05-20 Auto Network Gijutsu Kenkyusho:Kk ハンズフリー式移動体電話システム、および通信可否判別方法
JP2005012243A (ja) * 2003-06-16 2005-01-13 Toyota Motor Corp 通信端末に対する着信制御装置
WO2005069675A1 (ja) * 2004-01-20 2005-07-28 Omron Corporation 運転中における電話使用時の電話対策装置及び電話対策方法
JP2013009825A (ja) * 2011-06-29 2013-01-17 Denso Corp 視認負荷量推定装置、運転支援装置、および視認負荷量推定プログラム
JP2020516110A (ja) * 2017-03-16 2020-05-28 マイクロソフト テクノロジー ライセンシング，エルエルシー デバイス通知の好都合なタイミング

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3960148B2 (ja) * 2002-06-28 2007-08-15 日産自動車株式会社 テレビ電話システム
JP2005269519A (ja) * 2004-03-22 2005-09-29 Clarion Co Ltd 車載電話装置、その制御方法、制御プログラム及び記録媒体
WO2008081543A1 (ja) * 2006-12-28 2008-07-10 Fujitsu Limited 携帯端末装置、その通話制御プログラム、その通話制御プログラムを格納した記録媒体、及びその通話制御方法
JP5555274B2 (ja) * 2011-03-28 2014-07-23 株式会社デンソーアイティーラボラトリ 情報提供タイミング管理装置、情報提供タイミング管理方法およびプログラム
US10264111B2 (en) * 2016-10-04 2019-04-16 Allstate Solutions Private Limited Mobile device communication access and hands-free device activation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10243464A (ja) * 1997-02-28 1998-09-11 Toyota Motor Corp 移動体用電話システム
JP2003054323A (ja) * 2001-08-10 2003-02-26 Alpine Electronics Inc 車載テレビ電話装置
JP2004147037A (ja) * 2002-10-24 2004-05-20 Auto Network Gijutsu Kenkyusho:Kk ハンズフリー式移動体電話システム、および通信可否判別方法
JP2005012243A (ja) * 2003-06-16 2005-01-13 Toyota Motor Corp 通信端末に対する着信制御装置
WO2005069675A1 (ja) * 2004-01-20 2005-07-28 Omron Corporation 運転中における電話使用時の電話対策装置及び電話対策方法
JP2013009825A (ja) * 2011-06-29 2013-01-17 Denso Corp 視認負荷量推定装置、運転支援装置、および視認負荷量推定プログラム
JP2020516110A (ja) * 2017-03-16 2020-05-28 マイクロソフト テクノロジー ライセンシング，エルエルシー デバイス通知の好都合なタイミング

Also Published As

Publication number Publication date
JPWO2023112120A1 (ja) 2023-06-22

Similar Documents

Publication Publication Date Title
US9924011B2 (en) Manual bluetooth hands free transfer mode
CN110493561A (zh) 服务器、车辆拍摄系统及车辆拍摄方法
CN111717083B (zh) 一种车辆交互方法和一种车辆
CN112368999A (zh) 平视显示系统
US20160065709A1 (en) Manual bluetooth hands free transfer mode
CN113556499B (zh) 一种车载视频通话方法及车载系统
JP7737891B2 (ja) 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体
JP2025172098A (ja) 情報処理装置、情報処理方法及びプログラム
WO2023112120A1 (ja) 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体
JP7662828B2 (ja) 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体
JP6979722B2 (ja) 自動運転車及び自動運転車用プログラム
JP7798560B2 (ja) 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体
JP4076747B2 (ja) Ｔｖ電話システム及びｔｖ電話接続方法
JP2021077953A (ja) 情報処理装置および連携動作制御方法
JP7778815B2 (ja) 通信システム、情報処理装置、情報処理方法、プログラム及び記録媒体
CN118118870A (zh) 行驶信息共享方法、车载终端、车辆和服务器
JP2023094982A (ja) 通信システム、情報処理装置、情報処理方法、プログラム及び記録媒体
JP7754947B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び記憶媒体
JP7685071B2 (ja) 通信システム、情報処理装置、情報処理方法、プログラム及び記録媒体
JP2022148823A (ja) エージェント装置
JP2023097576A (ja) 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体
JP2014230197A (ja) 通信装置および通信方法
US20250301532A1 (en) Vehicle communication apparatus
US20250301104A1 (en) Vehicle communication apparatus
JP2024104607A (ja) 情報処理装置、情報処理方法、情報処理プログラム及び記憶媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21968041

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023567310

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21968041

Country of ref document: EP

Kind code of ref document: A1