[go: up one dir, main page]

JP2019091997A - 撮影画像表示システム、電子ミラーシステム及び撮影画像表示方法 - Google Patents

撮影画像表示システム、電子ミラーシステム及び撮影画像表示方法 Download PDF

Info

Publication number
JP2019091997A
JP2019091997A JP2017218295A JP2017218295A JP2019091997A JP 2019091997 A JP2019091997 A JP 2019091997A JP 2017218295 A JP2017218295 A JP 2017218295A JP 2017218295 A JP2017218295 A JP 2017218295A JP 2019091997 A JP2019091997 A JP 2019091997A
Authority
JP
Japan
Prior art keywords
display
image
images
camera
light sources
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017218295A
Other languages
English (en)
Other versions
JP6944350B2 (ja
Inventor
佳洋 勝山
Yoshihiro Katsuyama
佳洋 勝山
坂本　秀樹
Hideki Sakamoto
秀樹 坂本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2017218295A priority Critical patent/JP6944350B2/ja
Priority to CN201811135736.4A priority patent/CN109788211B/zh
Priority to EP18203438.9A priority patent/EP3484144B1/en
Priority to US16/176,122 priority patent/US10757343B2/en
Publication of JP2019091997A publication Critical patent/JP2019091997A/ja
Application granted granted Critical
Publication of JP6944350B2 publication Critical patent/JP6944350B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Image Processing (AREA)

Abstract

【課題】二つの光源が一つの光源として現れてしまうことを抑制しつつ、暗い部分についても良好に視認できるよう画像を表示する「撮影画像表示システム、電子ミラーシステム及び撮影画像表示方法」を提供する。【解決手段】相互に異なるゲインの範囲のそれぞれについて、当該範囲内のゲインで、複数の光源を分離された複数の光源の像として撮影できる場合には、当該複数の光源の像として撮影できるゲインのうちの最大のゲインで撮影した画像、すなわち、最も明るく撮影した画像を使用画像として生成する（a,b,c)。そして、生成した使用画像のうち、複数の光源を分離された複数の光源の像として撮影できた使用画像(a,b)のみを合成した画像dをディスプレイ３に表示する。【選択図】図４

Description

本発明は、カメラで撮影した画像を表示する撮影画像表示システムに関するものである。
カメラで撮影した画像を表示する撮影画像表示システムとしては、ルームミラーに代えてフロントウインドシールドの上方の位置にディスプレイを配置し、自動車後方を撮影するカメラで撮影した画像をディスプレイに表示する電子ミラーシステムが知られている（たとえば、特許文献１、２）。
また、撮影画像表示システムにおける技術としては、自動車のヘッドライトを含む画像を撮影するシステムにおいて、カメラの撮影した画像中に、輝度値が飽和した画素の領域が存在する場合に、カメラのゲインを小さくしたり、カメラのシャッタースピードを早くして、サチュレーションによって二つのヘッドライトが一つの光源として撮影した画像中に現れてしまうことを抑制する技術が知られている（たとえば、特許文献３）。
特開２０１６- ６０４１１号公報 特開２００７-２１４７４９号公報 特開２００６-３３９９９４号公報
上述したカメラの撮影した画像中に輝度値が飽和した画素の領域が存在する場合に、カメラのゲインを小さくしたり、カメラのシャッタースピードを早くすることにより、二つのヘッドライトが一つの光源として現れてしまうことを抑制する技術によれば、画像の全体が暗くなるため、被撮影領域の暗い部分が黒く潰れてしまい、視認できなくなってしまうという問題が生じることがある。
そこで、本発明は、カメラで撮影した画像を表示する撮影画像表示システムにおいて、二つの光源が一つの光源として表れてしまうことを抑制しつつ、被撮影領域の暗い部分についても比較的良好に視認できるようにカメラで撮影した画像を表示することを課題とする。
前記課題達成のために、本発明は、カメラで撮影した画像をディスプレイに表示する撮影画像表示システムに、前記カメラのゲインを撮影設定値として、相互に異なる撮影設定値で前記カメラに撮影させた複数の画像である複数の表示候補画像を生成する表示候補画像生成手段と、前記複数の表示候補画像のうちに、複数の光源が連続した高輝度の像として現れている表示候補画像と、前記複数の光源が分離された複数の光源の像として現れている複数の表示候補画像が含まれている場合に、当該複数の光源の像として現れている複数の表示候補画像のみを合成した合成画像を前記ディスプレイに表示する合成画像表示手段とを備えたものである。
ここで、このような撮影画像表示システムにおいては、前記カメラのゲインに代えて、前記カメラの露出時間を撮影設定値としてもよい。または、前記カメラのゲインに代えて、前記カメラのゲイン×前記カメラの露出時間を撮影設定値としてもよい。
このような撮影画像表示システムによれば、カメラのゲイン、または、カメラの露出時間、または、カメラのゲイン×カメラの露出時間を異ならせてカメラで撮影した画像のうち、複数の光源が分離された複数の光源の像として現れている画像のみを合成して表示するので、二つの光源が一つの連続した高輝度の像として現れてしまうことを抑制しつつ、ダイナミックレンジの広い、被撮影領域の暗い部分についても比較的良好に視認できる画像を表示することができるようになる。
ここで、このような撮影画像表示システムは、前記表示候補画像生成手段において、予め定めた相互に異なる複数の撮影設定値の範囲の各々について、当該範囲内の撮影設定値のうちの、前記カメラによって複数の光源を分離された複数の光源の像として撮影できる最大の撮影設定値を探索し、探索に成功した場合には、当該最大の撮影設定値でカメラで撮影した画像を前記表示候補画像とするように構成してもよい。
このようにすることにより、複数の撮影設定値の範囲の各々について、複数の光源が分離された複数の光源の像として現れる表示候補画像を撮影できる場合には、表示候補画像として可及的に明るい画像を生成することができ、表示画像の視認性を向上することができる。
また、以上の撮影画像表示システムは、前記表示候補画像生成手段において、前記複数の撮影設定値の範囲に含まれる撮影設定値のうちの最大の撮影設定値でカメラで撮影した画像に含まれる高輝度の領域を対象高輝度領域として抽出し、予め定めた相互に異なる複数の撮影設定値の範囲の各々について、当該範囲内の撮影設定値のうちの、前記対象高輝度領域を分離された複数の高輝度の領域に分離できる最大の撮影設定値を、前記カメラによって複数の光源を分離された複数の光源の像として撮影できる最大の撮影設定値として探索するように構成してもよい。
また、以上の撮影画像表示システムは、前記合成画像表示手段において、当該複数の光源の像として現れている複数の表示候補画像のみをハイダイナミックレンジ合成を含む合成処理によって合成した合成画像を前記ディスプレイに表示するように構成してもよい。
また、本発明は、併せて、撮影画像表示システムを備えた電子ミラーシステムを提供する。ここで、本電子ミラーシステムにおいて、前記カメラは自動車に搭載された自動車の後方もしくは左後方もしくは右後方を撮影するカメラであり、前記ディスプレイは、前記自動車の運転者から視認可能な位置に配置されている。
以上のように、本発明によれば、カメラで撮影した画像を表示する撮影画像表示システムにおいて、二つの光源が一つの光源として現れてしまうことを抑制しつつ、被撮影領域の暗い部分についても比較的良好に視認できるようにカメラで撮影した画像を表示することができる。
本発明の実施形態に係る電子ミラーシステムの構成を示すブロック図である。 本発明に係る夜間表示処理を示すフローチャートである。 本発明の実施形態に係る露出調整画像撮影処理を示すフローチャートである。 本発明に係る夜間表示処理の処理例作を示す図である。
以下、本発明の実施形態について説明する。
図１ａに、本実施形態に係る電子ミラーシステムの構成を示す。
電子ミラーシステムは自動車に搭載されているシステムであり、図示するように、カメラ１、表示制御装置２2、ディスプレイ３を備えている。
ここで、カメラ１は、たとえば、図１ｂに示すように、自動車の後部に配置され自動車の後方のようすを撮影する。また、ディスプレイ３は、図１ｃに示すように、フロントウインドシールドの上方の位置、すなわち、伝統的にルームミラーが配置されてきた位置に、表示面を後方側に向けて配置されている。
次に、このような電子ミラーシステムにおいて、夜間に、表示制御装置２が行う夜間表示処理について説明する。なお、現在夜間であるかどうかは、カメラ１で撮影した画像の全体的な輝度や、別途も受けた照度センサで検出した照度や、自動車のライトのオン/オフの状態などに応じて検出する。
図２に、夜間表示処理の手順を示す。
まず、本夜間表示処理において用いる定数について示す。
本夜間表示処理においては、カメラ１のゲインを表す定数として、
miniG1＜maxG1＜miniG2＜maxG2＜miniG3＜maxG3を満たすminiG1,maxG1,miniG2,maxG2,miniG3,maxG3の定数を用いる。
さて、図示するように、夜間表示処理において、表示制御装置２は、まず、カメラ１のゲインをmaxG3に設定し画像の撮影を行う（ステップ２０２）。
そして、撮影した画像中に、所定のサイズ以上の、輝度値が予め定めたしきい値ThL以上の高輝度の画素の領域が有るかどうかを調べる（ステップ２０４）。ここで、しきい値ThLは、輝度の飽和値または輝度の飽和値未満の飽和値に近い値を設定する。また、所定のサイズは、たとえば、カメラ１から２５０ｍ離れた位置にある1.3ｍ離れた２点が写り込む撮影画像中の２点を包含するサイズとする。
そして、しきい値ThL以上の画素の領域が無ければ（ステップ２０４）、ステップ２０２で撮影した画像をディスプレイ３に表示し（ステップ２０６）、ステップ２０２からの処理に戻る。
一方、しきい値ThL以上の画素の領域が有れば（ステップ２０４）、i=1,i=2.i=3のそれぞれについて（ステップ２０８、２１４、２１６）、ステップ２１０、２１２の処理を行う。
すなわち、ステップ２１０で、miniGを定数miniGiに設定し、maxGを定数maxGiに設定した上で、ステップ２１２において、miniG、maxGを用いた露出調整画像撮影処理を行う。
ここで、図３に、ステップ２１２において行う露出調整画像撮影処理の手順を示す。
図示するように、露出調整画像撮影処理において、表示制御装置２は、まず、カメラ１のゲインをmaxGに設定する（ステップ３０２）。そして、カメラ１で画像の撮影を行う（ステップ３０４）。
そして、撮影した画像において、図２のステップ２０４で検出したしきい値ThL以上の高輝度の画素の領域が、比較的輝度の低い画素の領域で分断された複数の比較的輝度の高い画素の領域に分離されているかどうか、すなわち、複数の光源の像に分離されているかどうかを調べる（ステップ３０６）。
そして、複数の光源の像に分離されていなければ（ステップ３０６）、ThMをThL以下の所定のしきい値として、撮影した画像にThM以上の画素領域が残っているかどうかを調べ（ステップ３１２）、残っていなければ、最後にステップ３０４で撮影した画像を使用画像に設定し（ステップ３１６）、露出調整画像撮影処理を終了する。
一方、撮影した画像にThM以上の画素領域が残っている場合には（ステップ３１２）、カメラ１の現在のゲインから予め設定したステップ量S減少した値が、minG未満となるかどうかを調べる（ステップ３１４）。
そして、カメラ１の現在のゲインから予め設定したステップ量S減少した値が、minG未満となる場合には（ステップ３１４）、最後にステップ３０４で撮影した画像を使用画像に設定し（ステップ３１６）、露出調整画像撮影処理を終了する。
一方、カメラ１の現在のゲインから予め設定したステップ量S減少した値が、minG未満とならなければ（ステップ３１４）、カメラ１のゲインをステップ量S減少させ（ステップ３１８）、ステップ３０４からの処理に戻る。
そして、ステップ３０６において、しきい値ThL以上の高輝度の画素の領域が複数の光源の像に分離できたと判定された場合には、最後にステップ３０４で撮影した画像を使用画像に設定した上で（ステップ３０８）、使用画像に光源分離フラグを設定する（ステップ３１０）。
そして、露出調整画像撮影処理を終了する。
このような露出調整画像撮影処理によれば、miniG1からmaxG1のゲインの範囲、miniG2からmaxG2のゲインの範囲、miniG3からmaxG3のゲインの範囲のそれぞれについて、当該ゲインの範囲内のゲインで、図２のステップ２０４で検出したしきい値ThL以上の高輝度の画素の領域を複数の光源の像として撮影できる場合には、複数の光源の像として撮影できるゲインのうちの最大のゲインで撮影した画像が使用画像として生成され、使用画像に光源分離フラグが設定される。
また、上記のゲインの範囲のそれぞれについて、当該ゲインの範囲内のゲインで、図２のステップ２０４で検出したしきい値ThL以上の高輝度の画素の領域を複数の光源の像として撮影できない場合には、当該ゲインの範囲のうちの撮影した画像にThM以上の画素領域が残らなくゲインもしくは最小のゲインで撮影した画像が使用画像として生成され、この使用画像には光源分離フラグは設定されない。
さて、図２に戻り、i=1,i=2.i=3のそれぞれについて（ステップ２０８、２１４、２１６）、ステップ２１０のminiGをmaxGの設定と、ステップ２１２の露出調整画像撮影処理を終了したならば、i=1,i=2.i=3のそれぞれについて行った露出調整画像撮影処理によって生成された３つの使用画像のうちに、光源分離フラグが設定された使用画像が有るかどうかを調べる（ステップ２１８）。
そして、光源分離フラグが設定された使用画像がある場合には（ステップ２１８）、光源分離フラグが設定された使用画像のみを所定の画像処理Ｆで合成した画像を生成して、ディスプレイ３に表示し（ステップ２２０）、ステップ２０２からの処理に戻る。なお、ステップ２２０では、光源分離フラグが設定された使用画像が一つのみである場合には、その使用画像をディスプレイ３に表示する。
一方、光源分離フラグが設定された使用画像がない場合には（ステップ２１８）、i=1について行った露出調整画像撮影処理によって生成された使用画像をディスプレイ３に表示し（ステップ２２２）、ステップ２０２からの処理に戻る。
以上、表示制御装置２が行う夜間表示処理について説明した。
ここで、図４は、夜間に後続車両が存在するときに、各ゲインの範囲について生成された使用画像の例を示しており、図４ａはminiG1からmaxG1のゲインの範囲について生成された使用画像、図４ｂはminiG2からmaxG2のゲインの範囲について生成された使用画像、図４ｃはminiG3からmaxG3の範囲について生成された使用画像を表している。
図示するように、この例では、図４ａのminiG1からmaxG1のゲインの範囲について生成された使用画像、図４ｂのminiG2からmaxG2のゲインの範囲について生成された使用画像については、後続車の二つのヘッドライトが二つの光源の像として分離して現れているが、４ｃのminiG3からmaxG3の範囲について生成された使用画像では、サチュレーションにより、後続車の二つのヘッドライトが連続した一つの光源の像として現れている。
そして、本夜間表示処理によれば、このようにして生成された３つの使用画像のうち、後続車の二つのヘッドライトが二つの光源の像として分離して現れている図４ａの使用画像と図４ｂの使用画像のみを所定の画像処理Ｆで合成した図４ｄに示すような画像がディスプレイ３に表示される。
ここで、画像処理Ｆとしては、たとえば、露出の異なる複数の画像から当該複数の画像よりもダイナミックレンジの広い画像を生成するHDR（ハイダイナミックレンジ合成；High-dynamic-range rendering）とHDRで生成した画像のダイナミックレンジをディスプレイ３のダイナミックレンジに縮小するトーンマッピング等を行うことができる。
また、画像処理Ｆとしては、平均、加算等の他の画像処理を行うこともできる。
ここで、後続車の二つのヘッドライトが二つの光源の像として分離して現れている図４ａの使用画像と図４ｂの使用画像に加えて、後続車の二つのヘッドライトが一つの光源の像として現れている図４ｃの使用画像も含めて合成を行った場合、表示される画像は、後続車の二つのヘッドライトが、二つの光源の像としての分離せずに、もしくは、分離の有無が不明瞭な形態で現れるものとなる場合がある。
しかし、夜間表示処理では、後続車の二つのヘッドライトが二つの光源の像として分離して現れている使用画像のみを合成してディスプレイ３に表示するので、表示される画像においても後続車の二つのヘッドライトが二つの光源の像として明瞭に分離して現れることとなる。
また、使用画像は、各ゲインの範囲内において、後続車の二つのヘッドライトを二つの光源の像として撮影できるゲインのうちの最大のゲインで撮影した画像であるので、可及的に明るい画像となる。
したがって、夜間表示処理によれば、二つのヘッドライト等の二つの光源が一つの光源として現れてしまうことを抑制しつつ、ダイナミックレンジの広い、被撮影領域の暗い部分についても比較的良好に視認できる画像を表示することができるようになる。
以上、本発明の実施形態について説明した。
ところで、以上の実施形態では、夜間表示処理において、カメラ１のゲインの異なる複数の範囲について露出調整画像撮影処理を行ったが、これは、カメラ１の露出時間（シャッタースピード）、または、カメラ１の露出時間（シャッタースピード）×ゲインの異なる複数の範囲について露出調整画像撮影処理を行うようにしてもよい。
すなわち、カメラ１の露出時間（シャッタースピード）の異なる複数の範囲の各々に対応する、露出調整画像撮影処理を行い、各露出調整画像撮影処理において、対応する範囲内の露出時間で、図２のステップ２０４で検出したしきい値ThL以上の高輝度の画素の領域を複数の光源の像として撮影できる場合には、撮影できる露出時間のうちの最長の露出時間で撮影した画像を、光源分離フラグを設定した使用画像として生成し、対応する範囲内の露出時間で、図２のステップ２０４で検出したしきい値ThL以上の高輝度の画素の領域を複数の光源の像として撮影できない場合には、対応する範囲のうちの撮影した画像にThM以上の画素領域が残らなく露出時間もしくは最小の露出時間で撮影した画像を、光源分離フラグが設定されない使用画像として生成するようにしてもよい。
または、カメラ１の露出時間（シャッタースピード）×ゲインの異なる複数の範囲の各々に対応する、露出調整画像撮影処理を行い、各露出調整画像撮影処理において、対応する範囲内の露出時間×ゲインで、図２のステップ２０４で検出したしきい値ThL以上の高輝度の画素の領域を複数の光源の像として撮影できる場合には、撮影できる露出時間×ゲインのうちの最大の露出時間×ゲインで撮影した画像を、光源分離フラグを設定した使用画像として生成し、対応する範囲内の露出時間×ゲインで、図２のステップ２０４で検出したしきい値ThL以上の高輝度の画素の領域を複数の光源の像として撮影できない場合には、対応する範囲のうちの撮影した画像にThM以上の画素領域が残らなく最小の露出時間×ゲインもしくは最小の露出時間×ゲインで撮影した画像を、光源分離フラグが設定されない使用画像として生成するようにしてもよい。
また、以上では、カメラ１で撮影した画像を、フロントウインドシールドの上方の位置に配置したディスプレイ３に表示する電子ミラーシステムについて説明したが、以上の夜間表示処理は、カメラ１で撮影した左後方/右後方の画像を、左/右に配置したディスプレイ３に表示する電子ミラーシステム、すなわち、伝統的なサイドミラーを代替する電子ミラーシステム等の、カメラ１で光源を含む画像を撮影して表示する、その他の任意の撮影画像表示システムに同様に適用することができる。
１…カメラ、２…表示制御装置、３…ディスプレイ。

Claims (11)

  1. カメラで撮影した画像をディスプレイに表示する撮影画像表示システムであって、
    前記カメラのゲインを撮影設定値として、相互に異なる撮影設定値で前記カメラに撮影させた複数の画像である複数の表示候補画像を生成する表示候補画像生成手段と、
    前記複数の表示候補画像のうちに、複数の光源が連続した高輝度の像として現れている表示候補画像と、前記複数の光源が分離された複数の光源の像として現れている複数の表示候補画像が含まれている場合に、当該複数の光源の像として現れている複数の表示候補画像のみを合成した合成画像を前記ディスプレイに表示する合成画像表示手段とを有することを特徴とする撮影画像表示システム。
  2. カメラで撮影した画像をディスプレイに表示する撮影画像表示システムであって、
    前記カメラの露出時間を撮影設定値として、相互に異なる撮影設定値で前記カメラに撮影させた複数の画像である複数の表示候補画像を生成する表示候補画像生成手段と、
    前記複数の表示候補画像のうちに、複数の光源が連続した高輝度の像として現れている表示候補画像と、前記複数の光源が分離された複数の光源の像として現れている複数の表示候補画像が含まれている場合に、当該複数の光源の像として現れている複数の表示候補画像のみを合成した合成画像を前記ディスプレイに表示する合成画像表示手段とを有することを特徴とする撮影画像表示システム。
  3. カメラで撮影した画像をディスプレイに表示する撮影画像表示システムであって、
    前記カメラのゲイン×前記カメラの露出時間を撮影設定値として、相互に異なる撮影設定値で前記カメラに撮影させた複数の画像である複数の表示候補画像を生成する表示候補画像生成手段と、
    前記複数の表示候補画像のうちに、複数の光源が連続した高輝度の像として現れている表示候補画像と、前記複数の光源が分離された複数の光源の像として現れている複数の表示候補画像が含まれている場合に、当該複数の光源の像として現れている複数の表示候補画像のみを合成した合成画像を前記ディスプレイに表示する合成画像表示手段とを有することを特徴とする撮影画像表示システム。
  4. 請求項１、２または３記載の撮影画像表示システムであって、
    前記表示候補画像生成手段は、予め定めた相互に異なる複数の撮影設定値の範囲の各々について、当該範囲内の撮影設定値のうちの、前記カメラによって複数の光源を分離された複数の光源の像として撮影できる最大の撮影設定値を探索し、探索に成功した場合には、当該最大の撮影設定値でカメラで撮影した画像を前記表示候補画像とすることを特徴とする撮影画像表示システム。
  5. 請求項４記載の撮影画像表示システムであって、
    前記表示候補画像生成手段は、前記複数の撮影設定値の範囲に含まれる撮影設定値のうちの最大の撮影設定値でカメラで撮影した画像に含まれる高輝度の領域を対象高輝度領域として抽出し、予め定めた相互に異なる複数の撮影設定値の範囲の各々について、当該範囲内の撮影設定値のうちの、前記対象高輝度領域を分離された複数の高輝度の領域に分離できる最大の撮影設定値を、前記カメラによって複数の光源を分離された複数の光源の像として撮影できる最大の撮影設定値として探索することを特徴とする撮影画像表示システム。
  6. 請求項１、２、３、４または５記載の撮影画像表示システムであって、
    前記合成画像表示手段は、当該複数の光源の像として現れている複数の表示候補画像のみをハイダイナミックレンジ合成を含む合成処理によって合成した合成画像を前記ディスプレイに表示することを特徴とする撮影画像表示システム。
  7. 請求項１、２、３、４、５または６記載の撮影画像表示システムを備えた電子ミラーシステムであって、
    前記カメラは自動車に搭載された自動車の後方もしくは左後方もしくは右後方を撮影するカメラであり、
    前記ディスプレイは、前記自動車の運転者から視認可能な位置に配置されていることを特徴とする電子ミラーシステム。
  8. カメラとディスプレイとを備えた撮影画像表示システムにおいて、前記カメラで撮影した画像を前記ディスプレイに表示する撮影画像表示方法であって、
    前記撮影画像表示システムが、前記カメラのゲインを撮影設定値として、相互に異なる撮影設定値で前記カメラに撮影させた複数の画像である複数の表示候補画像を生成する表示候補画像生成ステップと、
    前記撮影画像表示システムが、前記複数の表示候補画像のうちに、複数の光源が連続した高輝度の像として現れている表示候補画像と、前記複数の光源が分離された複数の光源の像として現れている複数の表示候補画像が含まれている場合に、当該複数の光源の像として現れている複数の表示候補画像のみを合成した合成画像を前記ディスプレイに表示する合成画像表示ステップとを有することを特徴とする撮影画像表示方法。
  9. カメラとディスプレイとを備えた撮影画像表示システムにおいて、前記カメラで撮影した画像を前記ディスプレイに表示する撮影画像表示方法であって、
    前記撮影画像表示システムが、前記カメラの露出時間を撮影設定値として、相互に異なる撮影設定値で前記カメラに撮影させた複数の画像である複数の表示候補画像を生成する表示候補画像生成ステップと、
    前記撮影画像表示システムが、前記複数の表示候補画像のうちに、複数の光源が連続した高輝度の像として現れている表示候補画像と、前記複数の光源が分離された複数の光源の像として現れている複数の表示候補画像が含まれている場合に、当該複数の光源の像として現れている複数の表示候補画像のみを合成した合成画像を前記ディスプレイに表示する合成画像表示ステップとを有することを特徴とする撮影画像表示方法。
  10. カメラとディスプレイとを備えた撮影画像表示システムにおいて、前記カメラで撮影した画像を前記ディスプレイに表示する撮影画像表示方法であって、
    前記撮影画像表示システムが、前記カメラのゲイン×前記カメラの露出時間を撮影設定値として、相互に異なる撮影設定値で前記カメラに撮影させた複数の画像である複数の表示候補画像を生成する表示候補画像生成ステップと、
    前記撮影画像表示システムが、前記複数の表示候補画像のうちに、複数の光源が連続した高輝度の像として現れている表示候補画像と、前記複数の光源が分離された複数の光源の像として現れている複数の表示候補画像が含まれている場合に、当該複数の光源の像として現れている複数の表示候補画像のみを合成した合成画像を前記ディスプレイに表示する合成画像表示ステップとを有することを特徴とする撮影画像表示方法。
  11. 請求項８、９または１０記載の撮影画像表示方法であって、
    前記表示候補画像生成ステップにおいて、予め定めた相互に異なる複数の撮影設定値の範囲の各々について、当該範囲内の撮影設定値のうちの、前記カメラによって複数の光源を分離された複数の光源の像として撮影できる最大の撮影設定値を探索し、探索に成功した場合には、当該最大の撮影設定値でカメラで撮影した画像を前記表示候補画像とすることを特徴とする撮影画像表示方法。
JP2017218295A 2017-11-13 2017-11-13 撮影画像表示システム、電子ミラーシステム及び撮影画像表示方法 Active JP6944350B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017218295A JP6944350B2 (ja) 2017-11-13 2017-11-13 撮影画像表示システム、電子ミラーシステム及び撮影画像表示方法
CN201811135736.4A CN109788211B (zh) 2017-11-13 2018-09-28 拍摄图像显示系统、电子镜系统以及拍摄图像显示方法
EP18203438.9A EP3484144B1 (en) 2017-11-13 2018-10-30 Captured image display system, electronic mirror system, and captured image display method
US16/176,122 US10757343B2 (en) 2017-11-13 2018-10-31 Captured image display system, electronic mirror system, and captured image display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017218295A JP6944350B2 (ja) 2017-11-13 2017-11-13 撮影画像表示システム、電子ミラーシステム及び撮影画像表示方法

Publications (2)

Publication Number Publication Date
JP2019091997A true JP2019091997A (ja) 2019-06-13
JP6944350B2 JP6944350B2 (ja) 2021-10-06

Family

ID=64083013

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017218295A Active JP6944350B2 (ja) 2017-11-13 2017-11-13 撮影画像表示システム、電子ミラーシステム及び撮影画像表示方法

Country Status (4)

Country Link
US (1) US10757343B2 (ja)
EP (1) EP3484144B1 (ja)
JP (1) JP6944350B2 (ja)
CN (1) CN109788211B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019224648A1 (en) * 2018-05-24 2019-11-28 Gentex Corporation Multi-functional exterior mirror with integrated camera
KR20250147520A (ko) * 2024-04-04 2025-10-13 주식회사 에이치엘클레무브 저조도 환경에서의 서라운드뷰 제어 방법 및 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002223387A (ja) * 2001-01-26 2002-08-09 Olympus Optical Co Ltd 撮像装置
JP2014179980A (ja) * 2013-03-14 2014-09-25 Konicaminolta Laboratory Usa Inc 高ダイナミックレンジ画像を生成するために画像のセットからサブセットを選択する方法
JP2017005678A (ja) * 2015-06-04 2017-01-05 ソニー株式会社 車載カメラ・システム並びに画像処理装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60411A (ja) 1983-06-16 1985-01-05 Matsushita Electric Ind Co Ltd レ−ザモジユ−ル装置
US4703496A (en) * 1985-12-30 1987-10-27 General Electric Company Automatic x-ray image brightness control
KR100470535B1 (ko) 2002-06-27 2005-02-22 재단법인서울대학교산학협력재단 유피에이 항체 부착 이뮤노리포좀
US7565006B2 (en) * 2002-08-21 2009-07-21 Gentex Corporation Image acquisition and processing methods for automatic vehicular exterior lighting control
JP2004260699A (ja) * 2003-02-27 2004-09-16 Canon Inc 撮像装置、撮像方法、及びプログラム
AU2003296128A1 (en) * 2003-12-25 2005-07-21 Niles Co., Ltd. Imaging system
JP4400512B2 (ja) 2005-06-01 2010-01-20 株式会社デンソー 車載カメラ制御装置
CN101326545B (zh) * 2005-08-19 2012-05-30 松下电器产业株式会社 图像处理方法和图像处理系统
JP2007214749A (ja) 2006-02-08 2007-08-23 Rung-Ting Chen 自動車後方撮影影像表示システム
US8184926B2 (en) * 2007-02-28 2012-05-22 Microsoft Corporation Image deblurring with blurred/noisy image pairs
JP4952499B2 (ja) * 2007-10-12 2012-06-13 株式会社デンソー 画像処理装置
JP5761946B2 (ja) * 2010-09-02 2015-08-12 キヤノン株式会社 画像処理装置、画像処理方法及び記憶媒体
JP5892876B2 (ja) * 2011-07-28 2016-03-23 クラリオン株式会社 車載用環境認識装置
JP6120500B2 (ja) * 2012-07-20 2017-04-26 キヤノン株式会社 撮像装置およびその制御方法
US9275445B2 (en) * 2013-08-26 2016-03-01 Disney Enterprises, Inc. High dynamic range and tone mapping imaging techniques
JP2016060411A (ja) 2014-09-19 2016-04-25 株式会社Ｊｖｃケンウッド 確認支援装置および確認支援システム
WO2016055090A1 (en) * 2014-10-06 2016-04-14 Leica Microsystems (Schweiz) Ag Microscope and method for obtaining a high dynamic range synthesized image of an object
WO2016194296A1 (en) * 2015-06-04 2016-12-08 Sony Corporation In-vehicle camera system and image processing apparatus
US11057573B2 (en) * 2017-12-20 2021-07-06 Texas Instruments Incorporated Multi camera image processing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002223387A (ja) * 2001-01-26 2002-08-09 Olympus Optical Co Ltd 撮像装置
JP2014179980A (ja) * 2013-03-14 2014-09-25 Konicaminolta Laboratory Usa Inc 高ダイナミックレンジ画像を生成するために画像のセットからサブセットを選択する方法
JP2017005678A (ja) * 2015-06-04 2017-01-05 ソニー株式会社 車載カメラ・システム並びに画像処理装置

Also Published As

Publication number Publication date
US20190149712A1 (en) 2019-05-16
CN109788211A (zh) 2019-05-21
EP3484144A1 (en) 2019-05-15
EP3484144B1 (en) 2021-06-16
JP6944350B2 (ja) 2021-10-06
CN109788211B (zh) 2022-11-25
US10757343B2 (en) 2020-08-25

Similar Documents

Publication Publication Date Title
KR101367637B1 (ko) 감시장치
CN100593341C (zh) 摄像装置
JP2002324235A (ja) 車載カメラの画像合成表示方法及びその装置
JP6740866B2 (ja) 画像出力装置
WO2015033640A1 (ja) 撮像装置、撮像方法およびプログラム
WO2017022172A1 (ja) 車両用表示装置及び表示方法
JP4952499B2 (ja) 画像処理装置
JP2019189081A (ja) 画像表示装置
US20170347008A1 (en) Method for adapting a brightness of a high-contrast image and camera system
JP6944350B2 (ja) 撮影画像表示システム、電子ミラーシステム及び撮影画像表示方法
JP2013162339A (ja) 撮像装置
JP6991664B2 (ja) 撮影画像表示システム及び電子ミラーシステム
CN114097216B (zh) 图像处理装置
JP6168024B2 (ja) 撮影画像表示装置、撮影画像表示方法および撮影画像表示プログラム
KR101822344B1 (ko) 히스토그램 스프레딩을 갖는 자동차 카메라 장치
JP7213732B2 (ja) 画像表示装置
US11410274B2 (en) Information processing device and program
JP6713938B2 (ja) 周辺状況把握支援システム
JP6327388B2 (ja) 撮影画像表示装置、撮影画像表示方法および撮影画像表示プログラム
JP2014098859A (ja) 撮像装置および撮像方法
JP2013009041A (ja) 車両用撮影表示制御システム
JP2011181019A (ja) 俯瞰画像生成装置
EP4554243A1 (en) Method of operating a camera arrangement
JP2020101624A (ja) 撮像装置、電子機器、撮像装置の制御方法およびプログラム
WO2022059139A1 (ja) 画像表示装置および画像表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200827

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210910

R150 Certificate of patent or registration of utility model

Ref document number: 6944350

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150