[go: up one dir, main page]

JP2018125639A - 熱画像処理装置、赤外線撮像装置、熱画像処理方法、及び熱画像処理プログラム - Google Patents

熱画像処理装置、赤外線撮像装置、熱画像処理方法、及び熱画像処理プログラム Download PDF

Info

Publication number
JP2018125639A
JP2018125639A JP2017015158A JP2017015158A JP2018125639A JP 2018125639 A JP2018125639 A JP 2018125639A JP 2017015158 A JP2017015158 A JP 2017015158A JP 2017015158 A JP2017015158 A JP 2017015158A JP 2018125639 A JP2018125639 A JP 2018125639A
Authority
JP
Japan
Prior art keywords
thermal image
image processing
positional relationship
infrared detector
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017015158A
Other languages
English (en)
Other versions
JP6866655B2 (ja
JP2018125639A5 (ja
Inventor
成俊 鴇田
Narutoshi Tokita
成俊 鴇田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2017015158A priority Critical patent/JP6866655B2/ja
Priority to PCT/JP2017/037964 priority patent/WO2018142687A1/ja
Priority to CN201780050653.2A priority patent/CN109644237B/zh
Priority to EP17894798.2A priority patent/EP3579542A4/en
Publication of JP2018125639A publication Critical patent/JP2018125639A/ja
Priority to US16/367,028 priority patent/US10769816B2/en
Publication of JP2018125639A5 publication Critical patent/JP2018125639A5/ja
Application granted granted Critical
Publication of JP6866655B2 publication Critical patent/JP6866655B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • G01J5/0025Living bodies
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/025Interfacing a pyrometer to an external device or network; User interface
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/0275Control or determination of height or distance or angle information for sensors or receivers
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/23Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/103Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using camera systems provided with artificial illumination device, e.g. IR light source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077Imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/80Calibration
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Toxicology (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Radiation Pyrometers (AREA)
  • Emergency Alarm Devices (AREA)
  • Image Processing (AREA)

Abstract

【課題】赤外線検出器の較正を適切なタイミングにおいて行う熱画像処理装置、熱画像処理方法、及び熱画像処理プログラムを提供すること。
【解決手段】本発明にかかる熱画像処理装置100は、車両に備えられた赤外線検出器が検出した熱画像を取得する熱画像取得部101と、熱画像から物体を検出する物体検出部102と、検出された物体と車両との位置関係及び当該位置関係の変化を演算する位置関係演算部103と、演算された位置関係の変化に基づいて、前記赤外線検出器の較正を行うか否かを判定する判定部106とを備える。
【選択図】図1

Description

本発明は熱画像処理装置、赤外線撮像装置、熱画像処理方法、及び熱画像処理プログラムに関する。
近年、セキュリティ用や移動体用として、赤外線検出器を備える赤外線カメラを利用した製品が多く開発されている。赤外線カメラは、撮像画像の熱を検出するため、夜間など可視光が存在しない環境において人や物体を検出することが可能である。従って、例えば自動車等にこのようなセンサを用いることにより、夜間、ヘッドライトが届かない範囲の人や物体を検出することができる。そして、自動車等と衝突する可能性のある人や物体を運転者等に警告することにより、自動車等の安全性の向上に寄与している。
このような赤外線カメラは、環境温度の変化等の影響を受けて信号が劣化する。そのため、赤外線カメラの出力信号を適宜較正することにより、所定の精度を保つ工夫がなされている。例えば、特許文献1において提案されている赤外線撮像装置は、赤外線検出器へ入光させる開口を開閉するシャッタを備え、シャッタを閉じた状態での赤外線検出器の素子ごとの出力値及び計測したシャッタの表面温度に基づいて、素子ごとのオフセット補正値を算出する。
特開2007−201807号公報
特許文献1に記載された較正方法は、赤外線カメラのシャッタを閉じた状態にして行うものである。そのため、較正を行っている間、赤外線撮像装置は、自動車等と衝突する可能性のある人や物体の検出をすることができない。すなわち、赤外線撮像装置は、人や物体と衝突する可能性があることを警告することができない。そのため、赤外線撮像装置は、較正を行うことにより、自動車等の安全性を担保する機能が損なわれる虞がある。
本発明は、このような課題を解決するためになされたものであり、信頼性を向上させた熱画像処理装置、熱画像処理方法、及び熱画像処理プログラムを提供することを目的とする。
尚、ここで「熱画像」とは、物体から放射される赤外線を、熱分布として表した画像をいう。
本発明にかかる熱画像処理装置は、車両に備えられた赤外線検出器が検出した熱画像を取得する熱画像取得部と、前記熱画像から物体を検出する物体検出部と、検出された前記物体と前記車両との位置関係及び当該位置関係の変化を演算する位置関係演算部と、演算された前記位置関係の変化に基づいて、前記赤外線検出器の較正を行うか否かを判定する判定部と、を備えるものである。
このような構成を採用することにより、熱画像処理装置は、取得された熱画像内に検出された人や物体の動きに応じて、適切なタイミングに赤外線検出器の較正を行うことができる。
また、本発明にかかる熱画像処理方法は、車両に備えられた赤外線検出器が検出した熱画像を取得し、前記熱画像から物体を検出し、検出された前記物体と前記車両との位置関係及び当該位置関係の変化を演算し、演算された前記位置関係の変化に基づいて、前記赤外線検出器の較正を行うか否かを判定するものである。これにより、熱画像処理方法は、演算された前記位置関係の変化に基づいて、適切なタイミングに赤外線検出器の較正を行うことができる。
更に、本発明にかかる熱画像処理プログラムは、コンピュータに、車両に備えられた赤外線検出器が検出した温度分布を取得する手順と、前記温度分布から物体を検出する手順と、検出された前記物体と前記車両との位置関係及び当該位置関係の変化を演算する手順と、演算された前記位置関係の変化に基づいて、前記赤外線検出器の較正を行うか否かを判定する手順と、を実行させるものである。これにより、熱画像処理プログラムは、演算された前記位置関係の変化に基づいて、適切なタイミングに赤外線検出器の較正を行うことができる。
本発明により、赤外線検出器の較正を適切なタイミングにおいて行う熱画像処理装置、熱画像処理方法、及び熱画像処理プログラムを提供することができる。
実施の形態1にかかる熱画像処理装置100の機能ブロック図である。 実施の形態1にかかる熱画像処理方法のフローチャートである。 実施の形態1にかかる熱画像処理装置100の処理を説明するための図である。 実施の形態2にかかる熱画像処理方法のフローチャートである。 実施の形態3にかかる熱画像処理方法のフローチャートである。 実施の形態4にかかる赤外線撮像装置120の機能ブロック図である。
実施の形態1
以下、図面を参照して本発明の実施の形態1について説明する。実施の形態にかかる熱画像処理装置100は、自動車に搭載される。熱画像処理装置100は、赤外線カメラ200から取得した熱画像の信号を処理することにより、物体を検出し、自車両と検出した物体との位置関係及び当該位置関係の変化に基づき、自車両と検出した物体とが衝突する可能性がある場合は、運転者に通知する。
図1は、実施の形態にかかる熱画像処理装置100の機能ブロック図である。熱画像処理装置100は、赤外線カメラ200、表示装置201、音声出力装置202に接続している。また、熱画像処理装置100は、車内通信バスに接続されており、車速センサ300から車両の速度情報を受ける。又、熱画像処理装置100は、車内通信バスを介して、GPS(global positioning system)の自車両位置情報等を受けることもできる。
赤外線カメラ200は、対物レンズ、シャッタ、及び赤外線検出器を有する。赤外線検出器は、例えば、アモルファスシリコンにより形成されたマイクロボロメータであり、一般的に遠赤外線といわれる波長8〜14マイクロメートルの赤外線を検出する。赤外線検出器は、対物レンズを通じて受けた赤外線を電気信号に変換して熱画像として出力する。赤外線検出器は、例えば、320×240個の画素からなる熱画像を出力する。又、赤外線カメラ200は、例えば、1秒間当たり30フレームの熱画像を出力する。赤外線カメラ200は、例えば、自車両の進行方向における自車両外の熱画像を出力可能な向きに設置されている。以下、自車両の進行方向は前方である例として説明する。
表示装置201は、例えば、液晶表示装置や、ヘッドアップディスプレイ等である。表示装置201は、赤外線カメラ200から出力された画像信号を受け、これを表示する。また、表示装置201は、熱画像処理装置100から出力された画像信号を受け、これを表示する。
音声出力装置202は、例えば、スピーカや、ブザー等である。音声出力装置202は、熱画像処理装置100から出力された音声信号を受け、これを出力する。
熱画像処理装置100は、熱画像取得部101、物体検出部102、位置関係演算部103、警告信号出力部104、制御部105、及び判定部106を有する。熱画像処理装置100のハードウェア構成としては、CPU(Central Processing Unit)等の汎用的な演算装置、及びROM(Read only memory)又はRAM(Random access memory)等の記憶装置の組み合わせにより実現される。
熱画像取得部101は、赤外線カメラ200から出力された熱画像信号を取得する。また、熱画像取得部101は、取得した熱画像をフレームごとに物体検出部102に出力する。
物体検出部102は、熱画像取得部101から受けた熱画像から人や対向車などの物体を検出する。画像信号から物体を検出する手法は既に様々知られているため、ここでは詳述を省略し、概要を簡単に述べる。物体検出部102は、熱画像の画素ごとに輝度勾配を算出し、輝度勾配の特徴と、予め蓄積されたデータとを照合させ、例えば、人か否か等を検出する。物体検出部102は、かかる処理を熱画像のフレームごとに行う。また、物体検出部102は、かかる処理の結果情報を、位置関係演算部103に出力する。
位置関係演算部103は、物体検出部102から受けた情報に基づいて、検出した物体と自車両との位置関係及び当該位置関係の変化を演算する。例えば、位置関係演算部103は、検出した物体の位置、移動方向、移動速度、自車両の速度などから、衝突時間(TTC=Time To Collision)を求める。又、位置関係演算部103は、TTCに基づいて、検出した物体と自車両とが衝突する可能性を算出することもできる。その場合、位置関係演算部103は、例えば、TTCに予め記憶しておいた変数を乗じることにより、かかる衝突可能性を算出する。又、位置関係演算部103は、熱画像中に警告領域を設定することもできる。その場合、位置関係演算部103は、検出した物体が警告領域に存在するか否かを算出する。
警告信号出力部104は、位置関係演算部103の算出した結果に基づき、検出された物体が自車両と衝突する可能性が所定の値よりも高い場合には、表示装置201又は音声出力装置202に対して、所定期間、所定の警告信号を出力する。これにより、警告信号出力部104は、運転者に対して自車両が検出された物体と衝突する可能性があることを通知又は警告する。
制御部105は、上述した各機能ブロック及び判定部106に接続している。又、制御部105は、図示しないカウンタ及び図示しない温度センサに接続している。制御部105は、各機能ブロックの制御を司っている。そして、制御部105は、カウンタが所定の時間経過したことを検出した場合、赤外線検出器の較正処理を指示するトリガを出力する。又、制御部105は、温度センサが所定の温度を超えて変化した場合、赤外線検出器の較正処理を指示するトリガを出力する。又、制御部105は、図示しない記憶部を有している。記憶部は、揮発性のランダムアクセスメモリ、又は不揮発性のフラッシュメモリ等である。
次に、判定部106について説明する。判定部106は、熱画像処理装置100が赤外線検出器の較正を行うか否かを判定する。
ところで、赤外線検出器の較正方法の一例は、次のようなものである。まず、赤外線カメラ200は、内蔵するシャッタを閉じる。次に、赤外線検出器は、シャッタの閉じた状態で熱画像を取得する。すなわち、赤外線検出器は、温度分布が均一であるシャッタ表面の熱画像を取得する。続いて、図示しない較正処理部は、撮像した熱画像に基づいて、各画素の出力値が均一になるように、赤外線カメラ200の出力値にオフセット値を加えて補正する処理を行う。このような較正処理を行う場合、赤外線カメラ200は所定の時間シャッタを閉じる。そのため、シャッタを閉じている間は赤外線カメラ200による車両外の熱画像の取得が制限される。
したがって、判定部106は、赤外線検出器の較正を行う間シャッタを閉じることを踏まえ、且つ、位置関係演算部103の算出した結果に基づき、赤外線検出器の較正を行うか否かを判定する。すなわち、判定部106は、所定の時間シャッタを閉じることにより、自車両の安全性が担保できないと判断される場合には赤外線検出器の較正を行わないことを判定する。換言すると、判定部106は、所定の時間シャッタを閉じても、自車両の安全性が担保できると判断される場合には赤外線検出器の較正を行うことを判定する。
車速センサ300は、自動車に設けられたセンサ等であって、自動車の速度を検出し、検出した速度値を、車内通信バスを介して熱画像処理装置100に出力する。
次に、図2及び図3を参照しながら、熱画像処理装置100の処理について説明する。図2は、実施の形態1にかかる熱画像処理方法のフローチャートである。
本フローチャートの前提としては、熱画像処理装置100が既に動作しており、赤外線カメラ200による車両外の熱画像の出力が継続されている状態である。また、赤外線カメラ200が出力する自車両外の熱画像から、人や他の車両などの物体検出も継続されている状態である。まず、制御部105は、赤外線検出器の較正が必要か否かを判定する(ステップS10)。具体的には、例えば、熱画像処理装置100が起動してから所定の時間Tm0を経過したか、又は前回較正処理を行った時から所定の時間Tm0を経過したか否かを判定する。あるいは、図示しない温度計から赤外線検出器近傍の温度変化をモニタし、熱画像処理装置100が起動してから所定の温度ΔTp0を超える変化があったか否か、又は前回較正処理を行った時から所定の温度ΔTp0を超える変化があったか否かを判定する。
そして、制御部105は、上述した例の場合であって、所定の時間Tm0を経過しない場合、又は所定の温度ΔTp0を超える変化がなかった場合(ステップS10:No)は、赤外線カメラ200による自車両外の熱画像の出力を継続しながら、再度較正が必要か否かを判定する。一方、制御部105は、所定の時間Tm0を経過した場合、又は所定の温度ΔTp0を超える変化があった場合、つまり較正を要すると判断した場合(ステップS10:Yes)は、次のステップへ進む。
制御部105が、較正を要すると判断した場合(ステップS10:Yes)、物体検出部102は、熱画像取得部101が取得した熱画像から、物体が検出されたか否かを判定する(ステップS11)。物体検出部102が熱画像中に物体を検出しない場合(ステップS11:No)、赤外線検出器が較正処理を行うことによりシャッタを閉じても、自車両が物体と衝突する可能性はない。この場合、熱画像処理装置100は、赤外線検出器の較正処理を行う(ステップS14)。一方、物体検出部102が熱画像中に物体を検出した場合(ステップS11:Yes)、赤外線検出器が較正処理を行うことによりシャッタを閉じても良いとは直ちに判断できない。この場合、物体検出部102が検出した物体の情報を位置関係演算部103に出力する。
次に、位置関係演算部103は、物体検出部102が検出した物体と、自車両との位置関係を演算する(ステップS12)。さらに、判定部106は、位置関係演算部103が演算した結果に基づいて、赤外線検出器の較正を行うか否かを判定する(ステップS13)。具体的には、判定部106は、検出した物体のTTCが、所定の値よりも大きいか否かを判定する。
図3を参照しながら具体例を説明する。図3は、実施の形態1にかかる熱画像処理装置100の処理を説明するための図である。図3の熱画像400は、赤外線カメラ200により取得した熱画像を、説明のために模式化したものである。熱画像400は、温度が高い部分が相対的に白っぽく、温度が低い部分が相対的に黒っぽく表示されている。尚、説明の便宜上、図2の熱画像400は、画面の左上を原点として、横方向にx軸を設定し、左から右に向かってx軸プラス方向として表される。同様に、図2の熱画像400は、左上を原点として、縦方向にy軸を設定し、上から下に向かってy軸プラス方向として表される。
物体検出部102は、熱画像取得部101により取得された熱画像400から、物体402及び物体404を検出している。ところで、熱画像400を取得する赤外線カメラ200は、自動車の所定の位置に、所定の方向に向けて設置されている。図3に示した例の場合、赤外線カメラ200は、自車両の進行方向を撮像するように設置されている。熱画像400の下端すなわちY軸プラス方向の縁部は、自車両に最も近い領域が撮像されている。そして、点401が熱画像400の消失点又は無限遠である。位置関係演算部103は、熱画像400において検出された物体402及び物体404の位置関係を、例えば、熱画像400における2次元上の位置に基づいて、実際の3次元空間上における自車両と物体402及び物体404との位置関係を算出する。
例えば、位置関係演算部103は、物体402の下部の点403の座標(X3、Y3)基づいて、自車両と物体402との位置関係を算出する。同様に、位置関係演算部103は、物体404の下部の点405の座標(X5、Y5)に基づいて、自車両と物体404との位置関係を算出する。位置関係演算部103は、熱画像400において検出された物体と自車両との位置関係を、例えば、図示しない可視光カメラが取得した映像に基づいて行ってもよい。また、ミリ波レーダなどを併用してもよい。
続いて、位置関係演算部103は、熱画像400及び熱画像400よりも前に取得した別の熱画像から、物体402及び物体404の移動方向及び移動速度を算出する。又、位置関係演算部103は、算出した物体402及び物体404の位置、移動方向、移動速度、及び車内通信バスを介して取得した自車両の速度から、物体402及び物体404のTTCを算出する。
次に、判定部106は、位置関係演算部103によって算出された物体402及び物体404のTTCを取得する。そして、判定部106は、赤外線検出器を較正するか否かを判定する。図3の例の場合、判定部106は、物体402及び物体404のTTCが、所定値T1よりも大きいか否かを判定する(図2のステップS13)。
図2のフローチャートに戻り説明を続ける。判定部106が、検出された物体のTTCを所定値T1より大きいと判定しない場合(ステップS13:No)、検出された物体と自車両とが衝突する可能性が所定の値よりも高い。すなわち、このタイミングから赤外線検出器の較正処理を行った場合、検出された物体が自車両に更に近づいたときに、かかる較正処理が終了するまでの間に運転者に対して適正なタイミングに警告を出すことができない可能性が高い。よって、熱画像処理装置100は、赤外線検出器の較正を行わない。そして、熱画像処理装置100は、赤外線カメラ200による自車両外の熱画像の出力を継続しながら、再度物体が検出されたか否かの判断(ステップS11)に戻る。この場合の判断対象となる物体は、ステップS13の処理で、一旦TTCが所定値T1より大きいと判定されなかった物体とは異なる物体であってもよい。
一方、判定部106が、検出された物体のTTCを所定値T1より大きいと判定した場合(ステップS13:Yes)、検出された物体と自車両とが衝突する可能性は所定の値よりも低い。すなわち、このタイミングから赤外線検出器の較正処理を行った場合、検出された物体が自車両に更に近づいても、かかる較正処理が終了するまでの間に運転者に対して警告を出す可能性は低い。よって、熱画像処理装置100は、赤外線検出器の較正処理を行う(ステップS14)。
図3を参照しながら具体例を説明すると、物体402は自車両の前方を矢印方向すなわちX軸プラス方向に移動している。位置関係演算部103は、熱画像400中の物体402の位置、移動方向、移動速度、及び自車両の速度に基づいて、物体402のTTCを算出する。判定部106が、物体402のTTCを所定値T1よりも大きいと判定した場合、熱画像処理装置100は、赤外線検出器の較正処理を行う。一方、判定部106が、物体402のTTCを所定値T1よりも大きくないと判定した場合、熱画像処理装置100は、赤外線検出器の較正処理を行わない。物体404についても同様に処理を行う。
位置関係演算部103は、上述した処理以外の例として、熱画像400において警告領域を設定することもできる。その場合、位置関係演算部103は、物体402及び物体404の位置、移動方向、移動速度、及び自車両の速度に基づいて、物体402及び物体404が所定時間内にかかる警告領域に存在するか否かを算出する。そして、物体402及び物体404が所定時間内にかかる警告領域に存在する場合、判定部106は、赤外線検出器の較正処理を行わない。一方、物体402及び物体404が所定時間内にかかる警告領域に存在しない場合、判定部106は、赤外線検出器の較正処理を行う。
尚、物体402と自車両とが衝突する可能性が更に高まった場合、すなわち物体402のTTCがさらに小さくなった場合、警告信号出力部104は、運転者に対して衝突する可能性が高いことを警告する。
このような構成により、熱画像処理装置100は、取得された熱画像内に検出された人や物体の動きに応じて、適切なタイミングに赤外線検出器の較正処理を行うことができる。
実施の形態2
次に、実施の形態2について説明する。実施の形態2の機能ブロックは実施の形態1と同じである。そのためここでは共通する機能又は処理についての説明を適宜省略する。実施の形態2は、物体との衝突可能性が所定の値よりも高い場合において、運転者に対して警告をしている場合の処理が異なる。
図3を参照しながら具体例を説明する。図3の熱画像400において、物体402が自車両の前方を通過している。物体402のTTCが所定値T1よりも大きくない場合であって、さらにTTCが所定値T2よりも小さい場合、自車両と物体402とが衝突する危険がある。そのため、熱画像処理装置100は、運転者に対して警告を行う。そして、かかる警告は所定の期間継続して行う。そして、運転者に対して警告をしている期間は、図3に示すような画像に代えて、危険であることを知らせるための警告表示を行うことができる。したがって、そのような警告表示を行っている間に、赤外線検出器の較正を行うことができる場合がある。
図4を参照しながら、実施の形態2にかかる処理について説明する。図4は、実施の形態2にかかる熱画像処理方法のフローチャートである。図4のフローチャートは、図2のフローチャートとは、ステップS15及びステップS16が加えられた点が異なる。
判定部106は位置関係演算部103が算出した物体のTTCと所定値T1とを比較する(ステップS13)。そして、判定部106がTTCを所定値T1よりも大きいと判断しない場合(ステップS13:No)、判定部106は、警告信号出力部104の状態を参照して、警告信号出力部104が警告処理中か否かを判定する(ステップS15)。
判定部106が、警告信号出力部104の状態を警告処理中であると判定しない場合(ステップS15:No)、熱画像処理装置100は、ステップS11に戻る。一方、判定部106が、警告信号出力部104の状態を警告処理中であると判定した場合(ステップS15:Yes)、判定部106は、続いて、警告処理が終了するまでの期間に、赤外線検出器の較正を行うことが可能かどうかを判定する(ステップS16)。警告処理が終了するまでの期間に、赤外線検出器の較正を行うことが可能と判定しない場合(ステップS16:No)、熱画像処理装置100は、ステップS11に戻る。一方、警告処理が終了するまでの期間に、赤外線検出器の較正を行うことが可能と判定した場合(ステップS16:Yes)、熱画像処理装置100は、赤外線検出器の較正処理を行う(ステップS14)。
このような処理を行うことにより、熱画像処理装置100は、信頼性を損なわないタイミングにおいて、赤外線検出器の較正処理を行うことができる。
実施の形態3
次に、実施の形態3について説明する。実施の形態3の機能ブロックは実施の形態1及び実施の形態2と同じである。そのためここでは共通する機能又は処理についての説明を適宜省略する。また、実施の形態3は、強制的に較正を行う処理を追加している点において実施の形態2とは異なる。
図5を参照しながら、実施の形態3にかかる処理について説明する。図5は実施の形態3にかかる熱画像処理方法のフローチャートである。図5のフローチャートは、図4のフローチャートとは、ステップS17が加えられた点が異なる。以下にステップS17について説明する。
判定部106はステップS10において較正処理を行うと判定した場合(ステップS10:Yes)、続いて、強制的に較正処理を行う必要があるか否かを判定する(ステップS17)。
具体的には、判定部106は、例えば、熱画像処理装置100が前回較正処理を行った時から所定の時間Tm1を経過したか否かを判定する。ここで、時間Tm1は、これ以上較正処理を行わなければ熱画像処理装置100の信頼性が著しく低下してしまう時間であって、上述の時間Tm0よりも長い。熱画像処理装置100に用いられている赤外線検出器の出力信号が時間の経過とともに劣化する場合には、このような処理が有効となる。
又、判定部106は、図示しない温度センサから赤外線検出器近傍の温度変化をモニタし、前回較正処理を行った時から所定の温度ΔTp1を超える変化があったか否かを判定することもできる。ここで、温度ΔTp1は、これ以上較正処理を行わなければ熱画像処理装置100の信頼性が著しく低下してしまう温度であって、上述の温度ΔTp0よりも大きい。熱画像処理装置100に用いられている赤外線検出器の出力信号が温度の変化とともに劣化する場合には、このような処理が有効となる。
ステップS17において、判定部106が、強制的に較正処理を行う必要があると判定しない場合(ステップS17:No)、熱画像処理装置100は、ステップS11に進む。一方、判定部106が、強制的に較正処理を行う必要があると判定した場合(ステップS17:Yes)、熱画像処理装置100は、熱画像の状況にかかわらず、すなわち、自車両と自車両の前方に存在する物体との位置関係にかかわらず、赤外線検出器の較正処理を行う(ステップS14)。
このような処理を行うことにより、熱画像処理装置100は、熱画像の劣化を抑制することができる。
実施の形態4
次に、実施の形態4について説明する。実施の形態4の機能ブロックは実施の形態1〜実施の形態3とは、赤外線カメラ200の構成が異なる。そのためここでは共通する機能又は処理についての説明を適宜省略する。
図6を参照しながら、実施の形態4について説明する。図6は、実施の形態4にかかる赤外線撮像装置120の機能ブロック図である。赤外線撮像装置120は、実施の形態1〜実施の形態3において説明した熱画像処理装置100の構成に加えて、赤外線カメラ200を備える。
このような構成を採用することにより、赤外線検出器の較正を適切なタイミングにおいて行う赤外線撮像装置を提供することができる。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、熱画像処理装置100の各構成は、上述した内容に限られず、判定部106は制御部105に含まれても良い。あるいは、位置関係演算部103が行っている処理を、判定部106が行っても良い。又、熱画像処理装置は、一体となった状態に限らず、分散した状態において互いに接続されていても良い。
100 熱画像処理装置
101 熱画像取得部
102 物体検出部
103 位置関係演算部
104 警告信号出力部
105 制御部
106 判定部
120 赤外線撮像装置
200 赤外線カメラ
201 表示装置
202 音声出力装置
300 車速センサ
400 熱画像

Claims (8)

  1. 車両に備えられた赤外線検出器の較正を指示するためのトリガを出力する制御部と、
    前記赤外線検出器が検出した熱画像を取得する熱画像取得部と、
    前記熱画像から物体を検出する物体検出部と、
    検出された前記物体と前記車両との位置関係を演算する位置関係演算部と、
    前記赤外線検出器の較正を行うか否かを判定する判定部と、を備え、
    前記判定部は、前記トリガの出力にかかわらず、前記位置関係に基づいて、前記較正を停止すると判定する、熱画像処理装置。
  2. 前記位置関係演算部は、前記位置関係に基づいて、前記物体と前記車両とが衝突するまでの衝突時間を算出し、
    前記判定部は、前記衝突時間が所定値以下の場合に前記較正を停止すると判定する、
    請求項1に記載の熱画像処理装置。
  3. 前記位置関係演算部は、前記物体と前記車両とが衝突する可能性を演算し、
    前記判定部は、前記衝突する可能性が所定の値よりも低い場合に前記較正が可能であると判定する、
    請求項1又は2に記載の熱画像処理装置。
  4. 前記熱画像処理装置は、前記位置関係演算部が演算した前記衝突する可能性が高い場合に所定期間の警告信号を出力する警告信号出力部を更に備え、
    前記判定部は、前記警告信号を出力する前記所定期間が終了するまでに前記較正が終了するか否かを判定し、前記較正が終了する場合に、前記較正が可能であると判定する、
    請求項2又は3に記載の熱画像処理装置。
  5. 前記熱画像処理装置は、
    温度変化を検出する温度センサを更に備え、
    前記判定部は、所定の期間内に前記温度センサが検出した前記温度変化が所定の範囲を超えた場合に、前記位置関係にかかわらず、強制的に前記赤外線検出器の較正を行う必要があると判定する、
    請求項1〜3のうちいずれか一項に記載の熱画像処理装置。
  6. 請求項1〜5までのいずれかの熱画像処理装置と、
    前記赤外線検出器と、
    を備えた、赤外線撮像装置。
  7. 車両に備えられた赤外線検出器の較正を指示するためのトリガを出力し、
    前記赤外線検出器が検出した熱画像を取得し、
    前記熱画像から物体を検出し、
    検出された前記物体と前記車両との位置関係を演算し、
    前記赤外線検出器の較正を行うか否かを判定する熱画像処理方法であって、
    前記判定する処理においては、前記トリガの出力にかかわらず、前記位置関係に基づいて、前記較正を停止する、熱画像処理方法。
  8. コンピュータに、
    車両に備えられた赤外線検出器の較正を指示するためのトリガを出力する手順と、
    前記赤外線検出器が検出した熱画像を取得する手順と、
    前記熱画像から物体を検出する手順と、
    検出された前記物体と前記車両との位置関係を演算する手順と、
    前記赤外線検出器の較正を行うか否かを判定する手順と、を実行させる熱画像処理プログラムであって、
    前記判定する手順においては、前記トリガの出力にかかわらず、前記位置関係に基づいて、前記較正を停止する手順を実行させる、熱画像処理プログラム。
JP2017015158A 2017-01-31 2017-01-31 熱画像処理装置、赤外線撮像装置、熱画像処理方法、及び熱画像処理プログラム Active JP6866655B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017015158A JP6866655B2 (ja) 2017-01-31 2017-01-31 熱画像処理装置、赤外線撮像装置、熱画像処理方法、及び熱画像処理プログラム
PCT/JP2017/037964 WO2018142687A1 (ja) 2017-01-31 2017-10-20 熱画像処理装置、赤外線撮像装置、熱画像処理方法、及び熱画像処理プログラム
CN201780050653.2A CN109644237B (zh) 2017-01-31 2017-10-20 热图像处理装置和方法、红外线拍摄装置以及存储介质
EP17894798.2A EP3579542A4 (en) 2017-01-31 2017-10-20 THERMAL IMAGING DEVICE, INFRARED IMAGING DEVICE, THERMAL IMAGING PROCESS AND PROCESSING PROGRAM
US16/367,028 US10769816B2 (en) 2017-01-31 2019-03-27 Thermal image processing device, infrared imaging apparatus, thermal image processing method, and thermal image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017015158A JP6866655B2 (ja) 2017-01-31 2017-01-31 熱画像処理装置、赤外線撮像装置、熱画像処理方法、及び熱画像処理プログラム

Publications (3)

Publication Number Publication Date
JP2018125639A true JP2018125639A (ja) 2018-08-09
JP2018125639A5 JP2018125639A5 (ja) 2019-11-28
JP6866655B2 JP6866655B2 (ja) 2021-04-28

Family

ID=63039570

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017015158A Active JP6866655B2 (ja) 2017-01-31 2017-01-31 熱画像処理装置、赤外線撮像装置、熱画像処理方法、及び熱画像処理プログラム

Country Status (5)

Country Link
US (1) US10769816B2 (ja)
EP (1) EP3579542A4 (ja)
JP (1) JP6866655B2 (ja)
CN (1) CN109644237B (ja)
WO (1) WO2018142687A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021132566A1 (ja) * 2019-12-26 2021-07-01 パナソニックIpマネジメント株式会社 表示制御装置、表示システム、表示制御方法
WO2021251238A1 (ja) * 2020-06-10 2021-12-16 パナソニックIpマネジメント株式会社 サーモグラフィカメラの制御方法およびサーモグラフィカメラの制御装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110525352A (zh) * 2019-07-22 2019-12-03 汉腾汽车有限公司 一种把热成像用于智慧警务车的辅助驾驶方法
WO2021106322A1 (ja) * 2019-11-27 2021-06-03 パナソニックIpマネジメント株式会社 赤外線処理システム、赤外線センサシステム、赤外線処理方法、及び、プログラム
WO2021142164A1 (en) * 2020-01-10 2021-07-15 Flir Commercial Systems, Inc. Radiometric calibration systems for infrared imagers
US11402273B2 (en) * 2020-03-27 2022-08-02 Ecb Consulting Llc Systems and approaches for improving accuracy of temperature measurements using thermal imaging
US11688101B2 (en) * 2021-05-18 2023-06-27 Snap Inc. Intrinsic parameters estimation in visual tracking systems
JP2023074749A (ja) * 2021-11-18 2023-05-30 株式会社Jvcケンウッド 制御システムおよび制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009163506A (ja) * 2008-01-07 2009-07-23 Honda Motor Co Ltd 車両周辺監視装置、車両、車両周辺監視用プログラム
JP2009284224A (ja) * 2008-05-22 2009-12-03 Hitachi Kokusai Electric Inc 赤外線撮像装置
WO2011114624A1 (ja) * 2010-03-17 2011-09-22 本田技研工業株式会社 車両の周辺監視装置
US20140139685A1 (en) * 2011-06-10 2014-05-22 Flir Systems, Inc. Low power and small form factor infrared imaging
JP2016212675A (ja) * 2015-05-11 2016-12-15 株式会社デンソー 物体認識システム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2009414A1 (en) 1999-01-14 2008-12-31 Panasonic Corporation Infrared imaging device, vehicle with the same, and infrared image adjusting device
JP4094604B2 (ja) * 2004-11-30 2008-06-04 本田技研工業株式会社 車両周辺監視装置
JP4742883B2 (ja) 2006-01-26 2011-08-10 住友電気工業株式会社 遠赤外撮像装置及び出力値補正方法
CN101067879A (zh) * 2007-05-28 2007-11-07 戴宏 机动车日夜行驶观察记录装置
CN101067880A (zh) * 2007-05-28 2007-11-07 戴宏 机动车日夜行驶观察记录装置
WO2010061604A1 (ja) * 2008-11-28 2010-06-03 住友電気工業株式会社 レンズユニット及び車載用赤外線レンズユニット
CN102725192B (zh) * 2010-01-26 2015-08-26 星克跃尔株式会社 用于控制车辆的黑盒子中的视频记录的装置和方法
JP5642049B2 (ja) * 2011-11-16 2014-12-17 クラリオン株式会社 車両用外界認識装置およびそれを用いた車両システム
US9544511B2 (en) * 2013-03-15 2017-01-10 International Business Machines Corporation Large-area monitoring using infrared imaging system
CN103158620B (zh) * 2013-03-25 2015-09-16 中国电子科技集团公司第三十八研究所 一种车辆行人检测跟踪预警系统
US9365155B2 (en) * 2013-09-28 2016-06-14 Oldcastle Materials, Inc. Advanced warning and risk evasion system and method
WO2015058166A2 (en) * 2013-10-18 2015-04-23 Flir Systems, Inc. Measurement device for lighting installations and related methods
US9858806B2 (en) * 2014-04-18 2018-01-02 Gentex Corporation Trainable transceiver and camera systems and methods
JP6537385B2 (ja) * 2015-07-17 2019-07-03 日立オートモティブシステムズ株式会社 車載環境認識装置
EP3586506A4 (en) * 2017-02-27 2021-04-14 Isolynx, LLC SYSTEMS AND METHODS FOR TRACKING AND CONTROLLING A MOBILE CAMERA FOR IMAGE OBJECTS OF INTEREST
US10331728B2 (en) * 2017-05-30 2019-06-25 General Electric Company System and method of robot calibration using image data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009163506A (ja) * 2008-01-07 2009-07-23 Honda Motor Co Ltd 車両周辺監視装置、車両、車両周辺監視用プログラム
JP2009284224A (ja) * 2008-05-22 2009-12-03 Hitachi Kokusai Electric Inc 赤外線撮像装置
WO2011114624A1 (ja) * 2010-03-17 2011-09-22 本田技研工業株式会社 車両の周辺監視装置
US20140139685A1 (en) * 2011-06-10 2014-05-22 Flir Systems, Inc. Low power and small form factor infrared imaging
JP2016212675A (ja) * 2015-05-11 2016-12-15 株式会社デンソー 物体認識システム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021132566A1 (ja) * 2019-12-26 2021-07-01 パナソニックIpマネジメント株式会社 表示制御装置、表示システム、表示制御方法
US11987122B2 (en) 2019-12-26 2024-05-21 Panasonic Automotive Systems Co., Ltd. Display control device, display system, and display control method for controlling display of alert
WO2021251238A1 (ja) * 2020-06-10 2021-12-16 パナソニックIpマネジメント株式会社 サーモグラフィカメラの制御方法およびサーモグラフィカメラの制御装置
JPWO2021251238A1 (ja) * 2020-06-10 2021-12-16
JP7607204B2 (ja) 2020-06-10 2024-12-27 パナソニックIpマネジメント株式会社 サーモグラフィカメラの制御方法およびサーモグラフィカメラの制御装置

Also Published As

Publication number Publication date
CN109644237A (zh) 2019-04-16
US10769816B2 (en) 2020-09-08
US20190221004A1 (en) 2019-07-18
JP6866655B2 (ja) 2021-04-28
CN109644237B (zh) 2020-09-29
WO2018142687A1 (ja) 2018-08-09
EP3579542A4 (en) 2020-06-03
EP3579542A1 (en) 2019-12-11

Similar Documents

Publication Publication Date Title
JP6866655B2 (ja) 熱画像処理装置、赤外線撮像装置、熱画像処理方法、及び熱画像処理プログラム
RU2702291C2 (ru) Способ определения слепой зоны транспортного средства с буксируемым прицепом и транспортное средство
JP5503730B2 (ja) 車両の周辺監視装置
US10023204B1 (en) Driving assisting method and driving assisting device using the same
CN102187367B (zh) 车辆周围监测装置
TWI522257B (zh) 車用安全系統及其運作方法
JP2010033106A (ja) 運転者支援装置、運転者支援方法および運転者支援処理プログラム
TWI596580B (zh) Obstacle warning system and its operation method
KR102772501B1 (ko) 카메라 고유 파라미터에 대한 온라인 평가
JP6411933B2 (ja) 車両状態判定装置
US10586348B2 (en) Distance measurement device and image capturing control device
US20170106797A1 (en) Elctronic mirror device and non-transitory computer-readable recording medium
US11718307B2 (en) Vehicle control apparatus
JP6288204B1 (ja) 車両用制限速度検出装置
KR101629577B1 (ko) 카메라를 이용한 모니터링 방법 및 장치
JP4470070B2 (ja) 車両周辺監視装置、車両、車両周辺監視用プログラム
JP2018148530A (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP6331232B2 (ja) 車両用制限速度検出装置
TW201420398A (zh) 行車安全監控系統及方法
KR20130053605A (ko) 차량의 주변영상 표시 장치 및 그 방법
JP2018136713A (ja) ドライバの視界推定装置及び車両用制御装置
JP2017163345A (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP2015156191A (ja) 警報装置及びプログラム
JP2007133644A (ja) 歩行者認識装置
KR20120103980A (ko) 선행 차량의 사각지역 알림 장치 및 그 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191010

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210309

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210322

R150 Certificate of patent or registration of utility model

Ref document number: 6866655

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150