JP2008035201A - Camera system - Google Patents
Camera system Download PDFInfo
- Publication number
- JP2008035201A JP2008035201A JP2006206211A JP2006206211A JP2008035201A JP 2008035201 A JP2008035201 A JP 2008035201A JP 2006206211 A JP2006206211 A JP 2006206211A JP 2006206211 A JP2006206211 A JP 2006206211A JP 2008035201 A JP2008035201 A JP 2008035201A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- vehicle
- priority
- operation command
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、カメラシステムに関し、特に、車両の状態に応じたカメラ制御優先度管理技術に関する。 The present invention relates to a camera system, and more particularly, to a camera control priority management technique according to the state of a vehicle.
近年、カメラシステムが普及し、社会インフラとしてカメラシステムの利用が拡大している。これらのカメラシステムはネットワークを通じて遠隔操作が可能であり、操作内容も上下方向のチルトや、左右方向のパン、レンズ調整のズームイン・ズームアウト、絞りを用いた露光調整など多彩である。このようなカメラシステムはドライバの視界を補助するために車両にも搭載が検討されており、現在市販されている車両においても、後方確認の後方カメラや、助手席側の側方カメラ、また夜間の障害物認識を行う赤外線カメラ等、既に搭載されている。 In recent years, camera systems have become widespread, and the use of camera systems as social infrastructure is expanding. These camera systems can be remotely operated through a network, and the contents of operations are various, such as vertical tilt, horizontal pan, zoom in / out of lens adjustment, and exposure adjustment using an aperture. Such a camera system is also being considered to be installed in vehicles to assist the driver's field of view. Even in vehicles that are currently on the market, the rear camera for confirming the rear, the side camera on the passenger side, the nighttime An infrared camera that recognizes obstacles is already installed.
例えば、特許文献1には、前方または後方を監視する車載カメラを車両の速度に従ってズーム制御し車両の速度に応じて焦点距離を変えて撮影する技術が記載されている。また、車載カメラを、運転席などの操作パネルからの指令、車両外部からの信号、ナビゲーション装置からの信号など応じて調節することが記載されている。また、特許文献2には、車載カメラ画像に映った道路上の白線を認識する等、画像認識処理を用いた安全性の向上技術が記載されている。また、特許文献3には、車両に搭載された無線通信装置を介して車外からカメラ画像を参照すること、ドライバ以外のユーザが車載カメラの画像を利用することが記載されている。
しかしながら、従来の技術では車内機器、例えば車内の画像認識装置や、後席の搭乗者、また車外のユーザからカメラ操作が行われることに関して充分に検討されていなかった。このように複数の装置から同一のカメラへの操作が同時または近接した時間内に発生する状況では、カメラに対する操作命令が競合しドライバの運転に危険が生じる可能性がある。例えば、後方カメラの画像を視認して後進する際に、他のユーザが後方カメラに対してチルトやパン、ズームイン・ズームアウトなどの操作を行うことは、ドライバの運転を誤らせる可能性があり、非常に危険である。 However, the conventional technology has not been sufficiently studied about camera operations from in-vehicle devices such as in-vehicle image recognition devices, rear seat passengers, and users outside the vehicle. As described above, in a situation in which operations from a plurality of devices to the same camera occur at the same time or in close proximity, operation commands for the cameras may compete and danger may arise in driving the driver. For example, when moving backward while visually recognizing the image of the rear camera, other users performing operations such as tilt, pan, zoom in / zoom out on the rear camera may cause the driver to misoperate, Very dangerous.
本発明の目的は、上記背景技術の状況に鑑み、予め保持した優先度に基づいてカメラ制御を管理することが可能な車載カメラシステムを提供し、安全性を向上させることである。 An object of the present invention is to provide an in-vehicle camera system capable of managing camera control based on priorities held in advance and to improve safety in view of the above background art.
上記課題を解決するため、本発明では、複数の装置がネットワークを介して撮像装置を制御する撮像システムにおいて、各装置からのカメラ操作命令の実行基準を規定する優先度を予め保持した優先度保持手段と、各装置からの操作命令を受けカメラを制御するカメラ制御手段とを有し、該カメラ制御手段は少なくとも、前記優先度を前記優先度保持手段から読出し、受信したカメラ操作命令を各装置に対応する該優先度の高い順に実行することを特徴とする。 In order to solve the above-mentioned problem, in the present invention, in an imaging system in which a plurality of devices control an imaging device via a network, a priority holding that holds in advance a priority that defines an execution criterion for a camera operation command from each device. And a camera control means for controlling the camera in response to an operation command from each device, wherein the camera control means reads at least the priority from the priority holding means and sends the received camera operation command to each device. Are executed in descending order of priority.
また、本発明では、複数の装置が車内ネットワークを介して車載カメラを制御する車載カメラシステムにおいて、走行(右左折、前進後退)や停止、事故(エアバック作動)などの車両状況を取得する車両状況取得手段と、前記車両状況毎に各装置からのカメラ操作命令の実行基準を規定する優先度を予め保持した優先度保持手段と、各装置からの操作命令を受けカメラを制御するカメラ制御手段を有し、該カメラ制御手段は少なくとも前記車両状況取得手段から読み出した車両状況に応じた各機器の優先度を前記優先度保持手段から読み出し、各装置から受信したカメラ操作命令を該優先度に従って実行することを特徴とする。 Further, in the present invention, in a vehicle-mounted camera system in which a plurality of devices control a vehicle-mounted camera via an in-vehicle network, a vehicle that acquires vehicle status such as traveling (turning left and right, moving forward and backward), stopping, and accident (airbag operation) Status acquisition means, priority holding means for holding in advance a priority that defines the execution criteria for camera operation commands from each device for each vehicle situation, and camera control means for controlling the camera in response to operation commands from each device The camera control means reads at least the priority of each device according to the vehicle status read from the vehicle status acquisition means from the priority holding means, and receives the camera operation command received from each device according to the priority. It is characterized by performing.
また、本発明では、前記カメラ制御手段は、前記カメラ操作命令の実行状況を、少なくとも該カメラ操作命令の送信元を含む複数の装置へ通知することを特徴とする。 In the present invention, the camera control means notifies the execution status of the camera operation command to a plurality of devices including at least a transmission source of the camera operation command.
また、本発明では、前記カメラ制御手段は少なくとも、受信したカメラ操作命令が実行不可の場合は、該カメラ操作命令の送信元に、実行不可であることを通知することを特徴とする。 In the present invention, at least when the received camera operation command is not executable, the camera control means notifies the transmission source of the camera operation command that the camera control command cannot be executed.
また、本発明では、複数の装置がネットワークを介して撮像装置を制御する撮像システムの制御方法において、前記複数の装置からの操作命令の実行基準を規定する優先度を予め優先度保持手段に保持し、撮像装置制御手段は、前記複数の装置の各装置からの操作命令を受信すると、前記優先度保持手段に予め保持された前記優先度を前記優先度保持手段から読出し、前記受信した操作命令を各装置に対応する前記優先度の高い順に実行することを特徴とする。 According to the present invention, in a control method of an imaging system in which a plurality of devices control the imaging device via a network, a priority that prescribes an execution criterion for an operation command from the plurality of devices is held in a priority holding unit in advance. Then, when receiving an operation command from each device of the plurality of devices, the imaging device control unit reads the priority stored in advance in the priority holding unit from the priority holding unit, and receives the received operation command Are executed in descending order of the priority corresponding to each device.
本発明によれば、カメラへの操作命令が競合した場合においても安定度に関連した装置からの操作命令を優先することにより、システム全体の安定度の低下を防ぐことができる。また、車載カメラへの操作命令が競合した場合においても、ドライバの運転に支障を与えることなく、安全に制御が行われるようになる。また、車載カメラへの操作命令が実行不可の状況である場合においても、操作命令実行の有無を確認することが可能であり、システムに異常が発生していると、操作命令の送信元に誤認識されることを防ぐことができる。また、ドライバや後席搭乗者や遠隔操作者に対してカメラ操作が競合していることを通知することにより、操作内容の変更や、他のユーザの操作を監視可能となり、ユーザの利便性を向上させることができる。 According to the present invention, it is possible to prevent a decrease in the stability of the entire system by giving priority to an operation command from a device related to stability even when an operation command to the camera competes. Further, even when operation commands to the in-vehicle camera compete, control can be performed safely without hindering the driving of the driver. In addition, even when the operation command to the in-vehicle camera cannot be executed, it is possible to check whether or not the operation command has been executed. It can be prevented from being recognized. In addition, by notifying drivers, rear seat passengers, and remote operators that camera operations are competing, it is possible to monitor changes in operation details and operations of other users. Can be improved.
以下、本発明の実施の形態について、図面を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図1〜図3及び図9は本発明の実施例1の説明図である。図1は本発明である撮像システムを適用した車載カメラシステムの概念図、図2は本発明である撮像システムの構成図、図3は図2の構成機器の動作説明図である。図9は予め保持された優先度を管理する記憶情報テーブルの一例である。
1 to 3 and 9 are explanatory views of
本発明の実施例1は複数の装置から撮像装置の制御が可能なシステムにおいて、各装置に対する優先度を予め設けることにより、操作命令の競合を防ぐ場合の例である。図1において、101は車載カメラシステムを搭載した車両、102は前方に取り付けられ、車内ネットワーク(車載LAN)116に接続され、該ネットワークからの制御信号で焦点を調整したり、カメラ方向を変更することが可能な車載カメラ、103は後方に取り付けられ、車内ネットワークと接続され、該ネットワークからの制御信号で焦点を調整したり、カメラ方向を変更することが可能な車載カメラである。
104は車内ネットワークと接続され、該ネットワークへ制御信号を送信可能かつ、該ネットワークから受信したカメラデータを表示可能なカーナビ、105は前記カーナビ104に接続された前席表示装置、106は車内ネットワークと接続され、該ネットワークへ制御信号を送信可能かつ、該ネットワークから受信したカメラデータを表示可能な後席UI(User Interface)制御装置、107は前記後席UI制御装置106に接続された後席表示装置、108は車内ネットワークに接続され、車外と通信可能な無線装置、109は車内ネットワークを構成するリピータHUB、110は車内ネットワークと接続され、該ネットワークに接続されたカメラの制御可能かつ、他の装置が送信したカメラ操作命令を受信し車両の状況などに応じた優先順位に従ってカメラ操作命令を実行するカメラ制御管理装置、111は少なくとも1つのカメラ映像を処理し認識処理を行う画像認識装置である。
104 is connected to the in-vehicle network, can transmit control signals to the network, and can display camera data received from the network, 105 is a front seat display device connected to the
112は無線通信を行う通信基地局、113は通信ネットワーク網、114は車両101と通信可能な車両、115は車外にあり、基地局112と通信可能なカメラ画像表示装置である。
112 is a communication base station that performs wireless communication, 113 is a communication network, 114 is a vehicle that can communicate with the
本例の車載カメラ102、103としては、CMOS(Complementary Metal-Oxide Semiconductor)やCCD(Charge Coupled Device)の撮像素子を持ち、接続された車内ネットワークからの操作命令を受け出力するフレームレートや画質、カメラのフォーカス、カメラ方向等の制御が可能なカメラである。
The in-
また、ネットワークへの接続方式としてはIEEE1394やEthernet(登録商標)(IEEE 802.3)、情報系の車載ネットワークであるMOST(Media Oriented Systems Transport)などのデジタル有線接続や、カメラデータを転送するデータ線と制御データを転送する制御線を持つアナログ有線接続、WiFi(802.11a/b/g)やBluetooth等の無線接続、などの方式が考えられる。以降、本明細書における車内ネットワーク接続の接続方式は同様とする。 In addition, as a connection method to the network, digital wired connection such as IEEE 1394 or Ethernet (registered trademark) (IEEE 802.3), MOST (Media Oriented Systems Transport) which is an in-vehicle network of information, or data for transferring camera data A method such as an analog wired connection having a control line for transferring control data and a wire, or a wireless connection such as WiFi (802.11a / b / g) or Bluetooth is conceivable. Hereinafter, the connection method for in-vehicle network connection in this specification is the same.
カーナビ104は地図情報をHDDまたはDVDまたは通信によるダウンロードなどにより保持し、音声入出力を持つナビゲーションシステムである。音声出力としてはスピーカーやイヤホンジャックやBluetooth接続ヘッドフォンが考えられる。音声入力としてはマイクやBluetooth接続マイクが考えられる。また、前記車内ネットワーク接続を有する。
The
前席表示装置105は搭乗者に映像や地図などを表示する装置である、表示方式としては液晶や有機EL(electro luminescence)などのパネル、電源停止後も映像が残る電子ペーパー、投射方式、オーバーヘッドディスプレイなどが考えられる。カーナビ104との接続方式としては前記車内ネットワーク接続や、GVIF(Gigabit Video Interface)やLVDS(Low Voltage Differential Signaling)などの低電圧差動伝送方式や、家電やAV機器向けのデジタル映像・音声入出力 インターフェース規格であるHDMI(High Definition Multimedia Interface)などでも良い。また、ユーザからの入力インターフェースとして操作キーやタッチパネル機能を備えても良い。
The front seat display device 105 is a device for displaying images, maps, etc. to the passengers. As a display method, a panel such as a liquid crystal or an organic EL (electro luminescence), electronic paper in which the image remains even after the power is stopped, a projection method, overhead A display etc. can be considered. As the connection method with the
後席UI(User Interface)制御装置106と後席表示装置107はそれぞれ前記カーナビ104および前記前席表示装置105と同様である。
A rear seat UI (User Interface) control device 106 and a rear seat display device 107 are the same as the
無線装置108は、PHS(Personal Handy-phone System)、PDC(Personal Digital Cellular)、GSM(Global System for Mobile Communications)、CDMA(Code Division Multiple Access)、W−CDMA(Wideband Code Division Multiple Access)、CDMA−2000、DSRC(Dedicated Short Range Communication)、WiMax(Worldwide Interoperability for Microwave Access)等の通信方式を少なくとも一つは有する通信装置。また、前記車内ネットワーク接続を有する。 The wireless device 108 includes PHS (Personal Handy-phone System), PDC (Personal Digital Cellular), GSM (Global System for Mobile Communications), CDMA (Code Division Multiple Access), W-CDMA (Wideband Code Division Multiple Access), CDMA. A communication device having at least one communication method such as 2000, DSRC (Dedicated Short Range Communication), WiMax (Worldwide Interoperability for Microwave Access). The vehicle network connection is also included.
リピータHUB109は前記車内ネットワーク接続と接続され、受信した情報をネットワークへ再送する機能を有し、前記IEEE1394、Ethernet、MOST等のデジタル有線接続で用いられるリピータHUB等が考えられる。またアナログ接続では複数のカメラ画像の入力を受け一つのカメラ画像だけを出力するような画像切り替え機などが考えられる。 A repeater HUB 109 is connected to the in-vehicle network connection and has a function of retransmitting received information to the network. A repeater HUB used for digital wired connection such as IEEE1394, Ethernet, MOST, or the like can be considered. In addition, with an analog connection, an image switching machine that receives a plurality of camera images and outputs only one camera image can be considered.
カメラ制御管理装置110は車両状態に応じた各装置の優先度を保持するメモリ等の記憶装置と、CPUで構成された装置であって、各装置からの操作命令を受信し、前記優先度に従って実行するプログラムで構成される。また、前記車内ネットワーク接続を有する。
画像認識装置111は少なくとも一つのカメラ映像を解析し、人物または物体を検出する装置である。また、前記車内ネットワーク接続を有する。
The camera
The image recognition device 111 is a device that analyzes at least one camera image and detects a person or an object. The vehicle network connection is also included.
通信基地局112は前記無線装置108が用いる通信方式で接続可能な通信基地局または中継局であり、通信ネットワーク113へ接続されている。通信ネットワーク113はインターネット等の無線及び有線のネットワークである。車両114は通信により車両101や通信基地局112と通信可能な車両である。 The communication base station 112 is a communication base station or relay station that can be connected by the communication method used by the wireless device 108, and is connected to the communication network 113. The communication network 113 is a wireless or wired network such as the Internet. The vehicle 114 is a vehicle that can communicate with the vehicle 101 and the communication base station 112 by communication.
カメラ画像表示装置115はIEEE1394やEthernet(IEEE 802.3)、もしくは前記無線装置108が用いる通信方式で前記通信ネットワーク113に接続され、車両からの情報を読み取り可能で、カメラに対する操作命令も送信可能である。家庭から車両の状態を参照するためのPC端末や、コールセンタなどから緊急時に車両のサポートを行うオペレータ端末、複数の車両からの画像を集めたデータベース等が考えられる。
The camera
なお、本図1ではリピータHUB109を用いて車内ネットワーク(車載LAN)116を構成しているが、IEEE1394機器のように各機器間が直接接続されネットワークを構成する場合等であれば、リピータHUB109を使用せずに車内ネットワークを実現しても良い。
In FIG. 1, the
図2において、201は撮像装置を制御可能な装置群、202は装置201から送信された撮像装置203に対する操作命令を優先度保持手段204に保持された優先度に従って実行する撮像装置制御手段、203は静止画もしくは動画の撮像可能な撮像装置、204は各装置の優先度を保持した優先度保持手段である。
In FIG. 2,
本例の装置201としては、車内、車外に関わらず撮像装置203に対する制御を行う装置であり、車載ディスプレイと制御ボタンなどから成るナビゲーションシステムや後席ディスプレイ、または警備会社などに設置された監視カメラ管理端末などでもよい。
The
撮像装置制御手段202としてはCPU等の演算装置やメモリなどの記憶装置を持つユニットに内蔵され、優先度に従った制御処理を実行するプログラムで構成される。撮像装置203としては、CMOS(Complementary Metal−Oxide Semiconductor)やCCD(Charge Coupled Device)の撮像素子を持ち、接続された撮像装置制御手段からの操作命令を受け出力する画像データのフレームレートや画質、カメラのフォーカス、カメラ方向等の制御が可能なカメラである。優先度保持手段204としては、フラッシュメモリなどの記憶装置が考えられる。
The imaging device control means 202 is built in a unit having an arithmetic device such as a CPU and a storage device such as a memory, and is configured by a program that executes control processing according to priority. The
図3は、上記図2における装置201、撮像装置制御手段202、撮像装置203、および優先度保持手段204の動作説明図である。撮像装置制御手段202は、装置201からの撮像装置203に対する操作命令を取得し(ステップS301)、対象となる撮像装置203に対する撮像装置操作命令が存在するかどうか、即ち、撮像装置操作命令の有無を判定し(ステップS302)、優先度保持手段204に保持された優先度を参照し(ステップS303)、撮像装置操作命令のうち優先度の最も高い処理について実行する(ステップS304)。このステップS301〜S304の処理を繰り返し、操作命令が無くなると終了する。
FIG. 3 is an explanatory diagram of operations of the
ステップS301において、装置201からの撮像装置203に対する操作命令を取得する際には、撮像装置制御手段202は、装置201からの撮像装置203に対する操作命令を受信した後、受信した操作命令を図示しないバッファ等に格納し、バッファ等に格納された操作命令を読み出して、該当の操作命令を取得する。
In step S301, when acquiring an operation command for the
撮像装置制御手段202が上記図3に示す処理を実行するタイミングは、装置201からの撮像装置への操作命令を制御手段203が受信する毎や、タイマー処理により数ミリ秒などの単位時間経過毎等でも良い。
The timing at which the imaging
図9は左縦軸に車載カメラ種別を示し、右側列に各装置の優先度を示している。優先度は3が最大値で2,1と順に低くなる。また0は実施不可としている。なお、本優先度は車両メーカもしくは車載機器提供メーカなどにより予め定められたものとする。 In FIG. 9, the left vertical axis indicates the in-vehicle camera type, and the right column indicates the priority of each device. As for the priority, 3 is the maximum value, and becomes 2 and 1 in order. Also, 0 is not possible to implement. Note that this priority is determined in advance by a vehicle manufacturer or an in-vehicle device provider.
かかる構成において、例えば図9のNo.1の行に示される優先度を用いる例であれば、車両101が走行中に車載カメラ102により撮像した画像を画像認識装置111が処理し障害物認識を行い、その最中に後席搭乗者が後席UI制御装置106から車載カメラ102へチルト操作命令を入力すると、該操作命令はカメラ制御管理装置110へ送られ、該操作命令を受信したカメラ制御管理装置110は画像認識装置111が車載カメラ102を使用している状態であることを認識し、対応する優先度を参照した結果として、画像認識装置が優先度3で他の車内ディスプレイが優先度1であることから、画像認識装置111の操作命令を優先し、後席UI制御装置106からの該操作命令を受け付けない。もしくは画像認識装置111による障害物認識処理が終了し、後席UI制御装置106の優先度が最も高くなった場合に前記操作命令は実行される。
In such a configuration, for example, as shown in FIG. In the example using the priority shown in the first row, the image recognition device 111 processes an image captured by the in-
また、上記の例えば図9のNo.1の行に示される優先度を用いる例において、後席搭乗者が後席UI制御装置106から車載カメラ102へチルト操作命令を入力しチルト制御が行われている最中に、車両101が走行中に車載カメラ102により撮像した画像を画像認識装置111が処理し障害物認識を行ための操作命令がカメラ制御管理装置110へ送られると、該操作命令を受信したカメラ制御管理装置110は、チルト制御が行われている状態であることを認識し、対応する優先度を参照した結果として、画像認識装置が優先度3で他の車内ディスプレイが優先度1であることから、画像認識装置111の操作命令を優先し、画像認識装置111による障害物認識処理のための操作命令が優先的に実行される。
In addition, for example, the above-described No. 1 in FIG. In the example using the priority shown in the
上記実施例1によれば、複数の装置から同一の撮像装置に対して制御を行う場合において、各装置に対する優先度を予め設けることにより、操作命令の競合を防ぐことが可能となり、システム全体の安定度を向上させることができる。 According to the first embodiment, when the same imaging device is controlled from a plurality of devices, it is possible to prevent the conflict of operation commands by providing priorities for each device in advance. Stability can be improved.
図4〜図5および図11は、本発明の実施例2の説明図である。図4は本発明である車載カメラシステムの構成図、図5は図4の構成機器の動作説明図である。図11は予め保持され、車両状況に応じた優先度を管理する記憶情報テーブルの一例である。
4 to 5 and FIG. 11 are explanatory diagrams of
本発明の実施例2は、複数の装置から車載カメラの制御が可能なシステムにおいて、車両状況に応じて各車載機器の優先度を予め設け、該優先度に従って操作命令を実行することで操作命令の競合を防ぐ場合の例である。
図4において、401はカメラを制御する可能性の有る車載機器群、402は車載機器401から送信されたカメラ403に対する操作命令を車両状況取得手段405から読み出した車両状況に応じた優先度を優先度保持手段404から参照し、該優先度に従って制御処理を実行するカメラ制御手段、403は静止画もしくは動画の撮像可能なカメラ、404は車両状況に応じた各装置の優先度を保持した優先度保持手段、405は車両状況を取得、もしくは保持する車両状況取得手段である。
In FIG. 4, 401 is a group of in-vehicle devices that may control the camera, 402 is a priority according to the vehicle status read out from the vehicle status acquisition means 405, an operation command for the
本例の車載機器401としては車内、車外に関わらず撮像装置203に対する制御を行う装置であり、走行中にカメラを用いて障害物認識を行う障害物認識装置や、カメラ制御可能なナビゲーションシステムや、車載ディスプレイと制御ボタンなどから成る後席ディスプレイ、または警備会社などに設置されたカメラ管理端末と無線接続を行う無線通信装置等でもよい。
The in-vehicle device 401 in this example is a device that controls the
カメラ制御手段402としてはナビゲーションシステムや、CPU等の演算装置とメモリなどの記憶装置を持つユニットに内蔵され、優先度に従った制御処理を実行するプログラムで構成される電子制御ユニット(ECU)などが考えられる。
The
撮像装置203としてはCMOS(Complementary Metal−Oxide Semiconductor)やCCD(Charge Coupled Device)の撮像素子を持ち、接続された撮像装置制御手段からの操作命令を受け出力する画像データのフレームレートや画質、カメラのフォーカス、カメラ方向等の制御が可能なカメラである。優先度保持手段404としてはフラッシュメモリなどの記憶装置が考えられる。
The
車両状況保持手段405としては、自車両で実行中の画像認識処理や、ステアリングの傾きを検出する陀角センサ、ブレーキ制御で用いるABSセンサ、タイヤ圧力センサー(TPMS)、車両と障害物の距離を計測するマイクロ波センサなどの各種センサの情報、または該各種センサの情報から判定した状態を保持し、随時更新する電子制御ユニット(ECU)やカーナビゲーションなどが考えられる。 As the vehicle status holding means 405, an image recognition process being executed in the host vehicle, a depression angle sensor for detecting a steering inclination, an ABS sensor used for brake control, a tire pressure sensor (TPMS), a distance between the vehicle and an obstacle There can be considered an electronic control unit (ECU), a car navigation system, and the like that holds information updated from various sensors such as a microwave sensor to be measured or a state determined from the information of the various sensors and updates it as needed.
図5は、上記図4における車載機器401、カメラ制御手段402、カメラ403、優先度保持手段404、および車両状況取得手段405の動作説明図である。
FIG. 5 is an operation explanatory diagram of the in-vehicle device 401, the
カメラ制御手段402は車載機器401からのカメラ403に対する操作命令を取得し(ステップS501)、対象となるカメラ403に対するカメラ操作命令が存在するか有無を判定し、カメラ操作命令が無い場合は終了する(ステップS502)。カメラ操作命令が有る場合は車両状況取得手段405により取得され、図示しないバッファ等に保持された車両状況を読み出し(ステップS503)、優先度保持手段404に保持され、車両状況に応じた優先度を参照し(ステップS504)、カメラ操作命令のうち優先度の最も高い処理について実行する(ステップS505)。この後、ステップS501からの処理を繰り返す。
The
カメラ制御手段502が上記図5に示す処理を実行するタイミングは、車載機器401からカメラへの操作命令をカメラ制御手段402が受信する毎や、タイマー処理により数ミリ秒などの単位時間経過毎等でも良い。
The timing at which the camera control unit 502 executes the process shown in FIG. 5 is as follows: every time the
図11は左縦軸に車両状況とカメラ種別を示し、右側列に各装置の車両状況に応じた優先度を示す。優先度は3が最大値で2,1と順に低くなる。また0は実施不可としている。例えば、前記車両状況取得手段405がTPMSの急激な圧力低下や、エアバックの作動などの各種センサ情報からタイヤのパンク・追突などを検知・取得し、車両101が事故の状況となった場合、「事故時」に記されるように車外からの車載カメラへの操作が最優先となり、通信装置108からネットワーク113で接続され、コールセンタに設置されたカメラ画像表示装置115から車載カメラの制御を行い、車両周辺状況の確認などが可能となる。
In FIG. 11, the left vertical axis indicates the vehicle status and the camera type, and the right column indicates the priority according to the vehicle status of each device. As for the priority, 3 is the maximum value, and becomes 2 and 1 in order. Also, 0 is not possible to implement. For example, when the vehicle status acquisition means 405 detects / acquires tire puncture, rear-end collision, etc. from various sensor information such as a rapid pressure drop of TPMS and the operation of an airbag, As described in “At the time of accident”, the operation of the in-vehicle camera from outside the vehicle has the highest priority, and the in-vehicle camera is controlled from the camera
なお、車両状況としては、この例で示す「通常時」「事故時」「緊急時」等だけでなく、例えば「画像認識装置作動時」など、特定の機器が車載カメラを使用していることを示すような車両状況であっても構わない。 Note that the vehicle status is not limited to “normal”, “accident”, “emergency”, etc., as shown in this example, but specific equipment, such as “when the image recognition device is operating”, uses a vehicle-mounted camera. It may be the vehicle situation which shows.
上記実施例2によれば、複数の車載機器から同一のカメラに対して制御を行う場合において、各車載機器に対する優先度を車両状況に応じて予め設けることにより、操作命令の競合を防ぐことが可能となり、運転の安全性低下を防ぐことができる。 According to the second embodiment, when the same camera is controlled from a plurality of in-vehicle devices, the priority for each in-vehicle device is provided in advance according to the vehicle situation, thereby preventing the competition of operation instructions. This makes it possible to prevent a decrease in driving safety.
図6〜図8、及び図10は本発明の実施例3の説明図である。図6は本発明である車載カメラシステムの構成図、図7及び図8は図6の構成機器の動作説明図である。図10は車内ディスプレイに表示されたカメラ操作命令の実行不可メッセージの一例である。
6 to 8 and 10 are explanatory views of
本発明の実施例3は、複数の装置から車載カメラの制御が可能なシステムにおいて、車両状況に応じた各車載機器の優先度を予め設け、該優先度に従って操作命令を実行することで操作命令の競合を防ぎ、かつ該優先度が実施不可の操作命令に対してはユーザに実施不可であることを通知する場合の例である。
図6において、601はカメラ制御手段402において実施不可である操作命令をユーザに通知処理を行う通知手段、また図4と同様の構成部品については同一符号を付す。本例の通知手段601としてはカメラ制御手段402から車載機器401へ操作命令が実行不可であることを通知する処理を実行するプログラムで構成される。
In FIG. 6, reference numeral 601 denotes notification means for notifying the user of an operation command that cannot be executed by the camera control means 402, and components similar to those in FIG. The notification unit 601 of this example is configured by a program that executes processing for notifying that the operation command cannot be executed from the
図7は、上記図6における車載機器401、カメラ制御手段402、カメラ403、優先度保持手段404、車両状況取得手段405、および通知手段601の動作説明図である。なお図5と同様の処理手順については同一符号を付す。
FIG. 7 is an operation explanatory diagram of the in-vehicle device 401, the
カメラ制御手段402は車載機器401からのカメラ403に対する操作命令を取得し(ステップS501)、対象となるカメラ403に対するカメラ操作命令が存在するかどうかを判定し、カメラ操作命令が無い場合は終了する(ステップS502)。
The
カメラ操作命令が有る場合は車両状況取得手段405により取得・保持された車両状況を読み出し(ステップS503)、優先度保持手段404に保持され、車両状況に応じた優先度を参照し(ステップS504)、カメラ操作命令のうち優先度の最も高い処理について実行し(ステップS505)、続けてカメラ制御手段の内部で未実施のカメラ操作命令のうち実行不可である処理の有無を判定し、該当する処理が無い場合はステップS501から処理を繰り返す(ステップS701)。
該当する処理が有る場合は該当操作の命令を送信した車載機器に対し実行不可であることを通知する(ステップS702)。この後、ステップS501からの処理を繰り返す。
If there is a camera operation command, the vehicle status acquired / held by the vehicle
If there is a corresponding process, the in-vehicle device that has transmitted the command for the corresponding operation is notified that it cannot be executed (step S702). Thereafter, the processing from step S501 is repeated.
図8は、上記図6における車載機器401、カメラ制御手段402、カメラ403、優先度保持手段404、車両状況保持手段405、および通知手段601の動作説明図である。なお図5及び図7と同様の処理手順については同一符号を付す。
FIG. 8 is an operation explanatory diagram of the in-vehicle device 401, the
カメラ制御手段402は車載機器401からのカメラ403に対する操作命令を取得し(ステップS501)、対象となるカメラ403に対するカメラ操作命令が存在するかどうかを判定し、カメラ操作命令が無い場合は終了する(ステップS502)。
The
カメラ操作命令が有る場合は、車両状況取得手段405により取得され、保持された車両状況を読み出し(ステップS503)、優先度保持手段404に保持され、車両状況に応じた優先度を参照し(ステップS504)、カメラ操作命令のうち優先度の最も高い処理について実行し(ステップS505)、続けてカメラ制御手段の内部で未実施のカメラ操作命令のうち実行不可である処理の有無を判定し、該当する処理が無い場合はステップS501から処理を繰り返す。(ステップS701)
When there is a camera operation command, the vehicle status acquired and stored by the vehicle
該当する処理が有る場合は該当操作の命令を送信した車載機器に対し実行不可であることを通知し(ステップS702)、ユーザのHMI(Human Machine Interface)に対し実行不可であることを通知する(ステップS801)。この後、ステップS501からの処理を繰り返す。 If there is a corresponding process, the in-vehicle device that has transmitted the instruction for the corresponding operation is notified that it cannot be executed (step S702), and the user's HMI (Human Machine Interface) is notified that it cannot be executed ( Step S801). Thereafter, the processing from step S501 is repeated.
カメラ制御手段502が上記図5に示す処理を実行するタイミングは、車載機器401からカメラへの操作命令をカメラ制御手段402が受信する毎や、タイマー処理により数ミリ秒などの単位時間経過毎等でも良い。
The timing at which the camera control unit 502 executes the process shown in FIG. 5 is as follows: every time the
図10は車内ディスプレイと、該ディスプレイに表示されたカメラ操作命令の実行不可メッセージ一例である。例えば、前記図11のNo.11に記されるように、地デジ放送で検討されているような緊急放送を外部から通知された場合、車内の後席ディスプレイからのカメラチルトなどの命令は実施不可となり、後席ディスプレイだけでなく運転席側のディスプレイにも実行不可の内容と操作元を示すメッセージが表示される。 FIG. 10 shows an example of an in-car display and an inexecutable message of a camera operation command displayed on the display. For example, in FIG. 11, when an emergency broadcast such as that considered in terrestrial digital broadcasting is notified from the outside, commands such as camera tilt from the rear seat display in the car cannot be performed, only the rear seat display In addition, a message indicating the inexecutable contents and the operation source is also displayed on the display on the driver's seat side.
なお、車両状況取得手段405により取得され、図示しないバッファ等に保持される緊急状況としては、車両自体の状況ではなく、車両の現在の緊急状況、あるいは今後予想される車両の緊急状況等が含まれ、上述の緊急放送を外部から通知された場合のほか、道路災害の発生、急激な気象異常の発生、交通事故の発生、救急車・パトカーの接近といった車両を取り巻く緊急状況が含まれる。
Note that the emergency situation acquired by the vehicle
上記実施例3によれば、複数の車載機器から同一のカメラに対して制御を行った場合において、各車載機器に対する優先度を車両状況に応じて予め設け操作命令の競合を防ぎ、かつ操作命令が実行不可であったことを車載機器へ通知可能することで、操作命令元の車載機器において処理が実行されなかったことを認識することが可能となり、システムに異常が発生していると、操作命令の送信元に誤認識されることを防ぐことができる。 According to the third embodiment, when the same camera is controlled from a plurality of in-vehicle devices, priorities for the in-vehicle devices are set in advance according to the vehicle situation to prevent conflicts in operation commands, and the operation commands Can be notified to the in-vehicle device that it was impossible to execute, it is possible to recognize that the process was not executed in the in-vehicle device that is the source of the operation command, and if an error has occurred in the system, It can be prevented from being erroneously recognized by the instruction source.
また、操作命令が実行不可であったことをユーザのHMIへ通知することで、ユーザはカメラ制御を車載機器が試みたことを知ることができ、不要な機能が起動していることや、他のユーザの操作を監視することが可能となる。 In addition, by notifying the user's HMI that the operation command cannot be executed, the user can know that the in-vehicle device has attempted the camera control, and that an unnecessary function has been activated, etc. It is possible to monitor the user's operation.
なお、上記の説明では、実行状況の通知として、特定の操作命令の実行不可メッセージと、上記操作命令の操作元を示すメッセージしか表示されていないが、上記の実行不可のメッセージに加えて、例えば、「XXXがチルト操作中(XXX:装置名等)というように、優先度が考慮されて、どの装置がどういう操作をしているかの実行状態に関する情報をメッセージとして、あるいは、実行不可のメッセージに追加して表示して、通知するようにすることもできる。 In the above description, only the execution impossible message of the specific operation instruction and the message indicating the operation source of the operation instruction are displayed as the execution status notification. In addition to the above execution impossible message, for example, , “XXX is in tilt operation (XXX: device name, etc.), the priority is taken into account, and information on the execution state of which device is performing what operation as a message or a message that cannot be executed It can also be added and displayed for notification.
101 車両
102 車載カメラ
103 車載カメラ
104 カーナビ
105 前席表示装置
106 後席UI制御装置
107 後席表示装置
108 無線装置
109 リピータHUB
110 カメラ制御管理装置
111 画像認識装置
112 通信基地局
113 通信ネットワーク網
114 車両
115 カメラ画像表示装置
116 車載LAN
201 撮像装置を制御可能な装置群
202 撮像装置制御手段
203 撮像装置
204 優先度保持手段
401 車載機器群
402 カメラ制御手段
403 カメラ
404 優先度保持手段
405 車両状況取得手段
601 通知手段
DESCRIPTION OF SYMBOLS 101
DESCRIPTION OF
DESCRIPTION OF
Claims (5)
各装置からの撮像装置操作命令の実行基準を規定する優先度を予め保持した優先度保持手段と、各装置からの撮像装置操作命令を受け撮像装置を制御する撮像装置制御手段とを有し、
該撮像装置制御手段は少なくとも、前記優先度を前記優先度保持手段から読出し、受信した撮像装置操作命令を各装置に対応する該優先度の高い順に実行することを特徴とする撮像システム。 In an imaging system in which a plurality of devices control an imaging device via a network,
A priority holding unit that holds in advance a priority that defines an execution criterion for an imaging device operation command from each device, and an imaging device control unit that controls the imaging device in response to the imaging device operation command from each device;
The image pickup apparatus control means reads at least the priority from the priority holding means, and executes the received image pickup apparatus operation commands in descending order of priority corresponding to each apparatus.
車両状況を取得する車両状況取得手段と、前記車両状況毎に各装置からのカメラ操作命令の実行基準を規定する優先度を予め保持した優先度保持手段と、各装置からの操作命令を受けカメラを制御するカメラ制御手段とを有し、
該カメラ制御手段は少なくとも、前記車両状況取得手段から読み出した車両状況に応じた各機器の優先度を前記優先度保持手段から読み出し、各装置から受信したカメラ操作命令を該優先度に従って実行することを特徴とする車載カメラシステム。 In an in-vehicle camera system in which multiple devices control an in-vehicle camera via an in-vehicle network,
Vehicle status acquisition means for acquiring a vehicle status, priority holding means for holding in advance a priority for defining an execution standard for camera operation commands from each device for each vehicle status, and a camera that receives an operation command from each device Camera control means for controlling
The camera control means reads at least the priority of each device corresponding to the vehicle status read from the vehicle status acquisition means from the priority holding means, and executes the camera operation command received from each device according to the priority. An in-vehicle camera system.
前記カメラ制御手段は、前記カメラ操作命令の実行状況を、少なくとも該カメラ操作命令の送信元を含む複数の装置へ通知することを特徴とする車載カメラシステム。 The in-vehicle camera system according to claim 2,
The on-vehicle camera system, wherein the camera control means notifies the execution status of the camera operation command to a plurality of devices including at least a transmission source of the camera operation command.
前記カメラ制御手段は少なくとも、受信したカメラ操作命令が実行不可の場合は、該カメラ操作命令の送信元に、実行不可であることを通知することを特徴とする車載カメラシステム。 The in-vehicle camera system according to claim 2,
The on-vehicle camera system characterized in that the camera control means notifies the transmission source of the camera operation command that it is not executable at least when the received camera operation command is not executable.
前記複数の装置からの操作命令の実行基準を規定する優先度を予め優先度保持手段に保持し、
撮像装置制御手段は、前記複数の装置の各装置からの操作命令を受信すると、
前記優先度保持手段に予め保持された前記優先度を前記優先度保持手段から読出し、
前記受信した操作命令を各装置に対応する前記優先度の高い順に実行することを特徴とする撮像システムの制御方法。 In a control method of an imaging system in which a plurality of devices control an imaging device via a network,
The priority that prescribes the execution standard of the operation command from the plurality of devices is held in the priority holding means in advance,
When the imaging device control means receives an operation command from each device of the plurality of devices,
Reading the priority held in advance in the priority holding means from the priority holding means,
The control method of an imaging system, wherein the received operation command is executed in order of the priority corresponding to each device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006206211A JP2008035201A (en) | 2006-07-28 | 2006-07-28 | Camera system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006206211A JP2008035201A (en) | 2006-07-28 | 2006-07-28 | Camera system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008035201A true JP2008035201A (en) | 2008-02-14 |
Family
ID=39124167
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006206211A Pending JP2008035201A (en) | 2006-07-28 | 2006-07-28 | Camera system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2008035201A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015154269A (en) * | 2014-02-14 | 2015-08-24 | キヤノン株式会社 | Imaging apparatus and imaging system |
| JP2016178370A (en) * | 2015-03-18 | 2016-10-06 | キヤノン株式会社 | Imaging device |
| CN114579263A (en) * | 2020-11-30 | 2022-06-03 | 腾讯科技(深圳)有限公司 | Method, device, electronic device and storage medium for calling camera |
| CN115297259A (en) * | 2022-07-27 | 2022-11-04 | 天翼云科技有限公司 | Camera management method, terminal and storage medium |
| WO2023276824A1 (en) * | 2021-06-29 | 2023-01-05 | キヤノン株式会社 | Optical system, imaging device, and imaging system |
-
2006
- 2006-07-28 JP JP2006206211A patent/JP2008035201A/en active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015154269A (en) * | 2014-02-14 | 2015-08-24 | キヤノン株式会社 | Imaging apparatus and imaging system |
| JP2016178370A (en) * | 2015-03-18 | 2016-10-06 | キヤノン株式会社 | Imaging device |
| CN114579263A (en) * | 2020-11-30 | 2022-06-03 | 腾讯科技(深圳)有限公司 | Method, device, electronic device and storage medium for calling camera |
| WO2023276824A1 (en) * | 2021-06-29 | 2023-01-05 | キヤノン株式会社 | Optical system, imaging device, and imaging system |
| GB2622735A (en) * | 2021-06-29 | 2024-03-27 | Canon Kk | Optical system, imaging device, and imaging system |
| CN115297259A (en) * | 2022-07-27 | 2022-11-04 | 天翼云科技有限公司 | Camera management method, terminal and storage medium |
| CN115297259B (en) * | 2022-07-27 | 2023-10-13 | 天翼云科技有限公司 | Camera management method, terminal and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3644295B1 (en) | Parking control methods and parking control devices | |
| JP6773046B2 (en) | Driving support device, driving support method, and moving object | |
| US9043483B2 (en) | View selection in a vehicle-to-vehicle network | |
| US9758092B2 (en) | System and method for generating a parking alert | |
| CN111923921B (en) | Driving assistance method and system | |
| US11489954B2 (en) | Vehicular electronic device and operation method thereof | |
| JP6922919B2 (en) | Driving assistance devices and methods, moving objects, and programs | |
| JP5122826B2 (en) | In-vehicle device and output device | |
| CN113071503B (en) | System and method for alerting a vehicle occupant to resume vehicle operation | |
| JP2020087214A (en) | Information providing system, server, onboard device, program and information providing method | |
| JP2010205123A (en) | Method, apparatus and program for driving support | |
| JP2009130836A (en) | Emergency information receiving system, in-vehicle device and car navigation device | |
| WO2017145818A1 (en) | Signal processing device, signal processing method, and program | |
| JP2008035201A (en) | Camera system | |
| US11689797B2 (en) | Camera, method, non-transitory computer-readable medium, and system | |
| US11671700B2 (en) | Operation control device, imaging device, and operation control method | |
| US11070714B2 (en) | Information processing apparatus and information processing method | |
| US20160167581A1 (en) | Driver interface for capturing images using automotive image sensors | |
| CN115868155A (en) | Control device, projection system, control method and program | |
| US11438517B2 (en) | Recognition device, a recognition method, and a program that easily and accurately recognize a subject included in a captured image | |
| US20250332995A1 (en) | Systems and methods for detecting obstructions in driver's view and performing remidial actions | |
| JP2026010550A (en) | Emergency notification systems and vehicles | |
| JP2019151274A (en) | Operation reception control system, operation reception control program, vehicle control system, vehicle control program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20080403 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080403 |