[go: up one dir, main page]

KR101816423B1 - 사이드 미러 대체 디스플레이 장치 및 이의 출력 밝기 제어 방법 - Google Patents

사이드 미러 대체 디스플레이 장치 및 이의 출력 밝기 제어 방법 Download PDF

Info

Publication number
KR101816423B1
KR101816423B1 KR1020160088166A KR20160088166A KR101816423B1 KR 101816423 B1 KR101816423 B1 KR 101816423B1 KR 1020160088166 A KR1020160088166 A KR 1020160088166A KR 20160088166 A KR20160088166 A KR 20160088166A KR 101816423 B1 KR101816423 B1 KR 101816423B1
Authority
KR
South Korea
Prior art keywords
vehicle
brightness
display unit
output
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020160088166A
Other languages
English (en)
Inventor
최재섭
성갑제
김준형
이중렬
안준식
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020160088166A priority Critical patent/KR101816423B1/ko
Priority to US15/344,823 priority patent/US10431185B2/en
Priority to CN201611011976.4A priority patent/CN107599974A/zh
Priority to DE102016222931.1A priority patent/DE102016222931A1/de
Application granted granted Critical
Publication of KR101816423B1 publication Critical patent/KR101816423B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B60K35/234—Head-up displays [HUD] controlling the brightness, colour or contrast of virtual images depending on the driving conditions or on the condition of the vehicle or the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/34—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating change of drive direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/02—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the intensity of light
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명의 일예와 관련된 사이드 미러 대체 디스플레이 장치는 사이드 미러 대체 디스플레이 장치는 자차의 양측면에서 후방 영상을 획득하는 카메라, 상기 카메라가 획득한 후방 영상을 출력하는 디스플레이부, 상기 자차의 주행 상황을 감지하는 주행 상황 감지부 및 상기 자차의 주행 상황을 기반으로 상기 디스플레이부의 출력 밝기를 제어하는 제어부를 포함할 수 있다.

Description

사이드 미러 대체 디스플레이 장치 및 이의 출력 밝기 제어 방법 {DISPLAYING APPARATUS REPLACING SIDE MIRROR AND METHOD FOR CONTROLLING OUTPUT BRIGHTNESS THEREOF}
본 발명은 사이드 미러 대체 디스플레이 장치 및 이의 출력 밝기 제어 방법 에 관한 것이다.
차량의 양측에는 운전자가 후방 차량을 인식하도록 하는 사이드 미러가 장착되어 있다. 이러한 사이드 미러는 운전자의 안전 운전을 도와주지만 차량의 주행시 사이드 미러로 인해 공기 역학적 저항이 발생하여 연비 감소, 소음 발생 등의 문제가 있다. 또한, 사이드 미러는 거울이므로 빛이 부족한 어두운 환경에서는 운전자의 후방 감시에 도움을 주지 못한다는 문제가 있다.
최근에는 이러한 사이드 미러의 문제를 해결하기 위하여 사이드 미러를 대체하는 사이드 카메라와 디스플레이 시스템이 개발되고 있다. 사이드 카메라는 사이드 미러보다 작은 크기로 구성될 수 있어 공기 저항을 줄일 수 있고, 빛이 부족한 환경에서도 카메라의 감도 조절을 통해 시인성을 확보할 수 있기 때문이다.
이러한 사이드 미러 대체 디스플레이 시스템의 디스플레이부는 주변 환경의 변화와 무관하게 일정한 밝기로 화면을 출력하여 운전자는 실제 주행 환경과 다소 이질적으로 후방을 인식할 수 있다는 문제가 있다.
본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로서, 주행 상황에 적합한 밝기의 사이드 카메라 화면을 운전자에게 제공하여 운전 편의를 향상하는 데 그 목적이 있다.
한편, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 실현하기 위한 본 발명의 일예와 관련된 사이드 미러 대체 디스플레이 장치는 자차의 양측면에서 후방 영상을 획득하는 카메라, 상기 카메라가 획득한 후방 영상을 출력하는 디스플레이부, 상기 자차의 주행 상황을 감지하는 주행 상황 감지부 및 상기 자차의 주행 상황을 기반으로 상기 디스플레이부의 출력 밝기를 제어하는 제어부를 포함할 수 있다.
일 실시예에서, 상기 제어부는 소정 주행 상황이 감지되는 경우, 상기 디스플레이부의 출력 밝기를 상기 소정 주행 상황이 감지되지 않을 때보다 밝도록 제어할 수 있다.
일 실시예에서, 상기 제어부는, 소정 주행 상황이 감지된 시간이 경과할수록 누적값을 증가시키고, 상기 소정 주행 상황이 감지되지 않는 시간이 경과할수록 상기 누적값을 감소시키며, 상기 누적값이 기준값을 초과하는 경우, 상기 디스플레이부의 출력 밝기를 상기 누적값이 상기 기준값 이하일 때보다 밝도록 제어할 수 있다.
일 실시예에서, 상기 제어부는 소정 주행 상황의 감지가 기 설정된 시간 이상 유지되는 경우, 상기 디스플레이부의 출력 밝기를 제어할 수 있다.
일 실시예에서, 상기 주행 상황 감지부는 상기 자차의 속도를 측정하는 속도 측정부를 포함하고, 상기 제어부는 상기 자차의 속도가 기 설정된 속도이하인 경우, 상기 디스플레이부의 출력 밝기를 상기 자차의 속도가 상기 기 설정된 속도초과일 때 보다 밝도록 제어할 수 있다.
일 실시예에서, 상기 주행 상황 감지부는 상기 자차로부터 상기 자차의 후방에 위치하는 차량까지의 거리를 측정하는 후방 차량 거리 측정부를 포함하고, 상기 제어부는 상기 거리가 기 설정된 거리 이하인 경우, 상기 디스플레이부의 출력 밝기를 상기 거리가 상기 기 설정된 거리 초과일 때보다 밝도록 제어할 수 있다.
일 실시예에서, 상기 제어부는 상기 자차를 기준으로 상기 차량의 위치를 판단하고, 상기 차량이 상기 자차의 좌측에 위치하는 경우, 상기 카메라 중 상기 자차의 좌측면에 위치한 카메라가 획득한 후방 영상 출력 밝기를 제어하고, 상기 차량이 상기 자차의 우측에 위치하는 경우, 상기 카메라 중 상기 자차의 우측면에 위치한 카메라가 획득한 후방 영상 출력 밝기를 제어할 수 있다.
일 실시예에서, 상기 제어부는 상기 자차로부터 상기 자차의 후방에 위치하는 차량까지의 거리를 기반으로 상기 자차에 대한 상기 차량의 상대속도를 산출하고, 상기 상대 속도가 0 초과인 경우, 상기 디스플레이부의 출력 밝기를 상기 상대 속도가 0 이하일 때보다 밝도록 제어할 수 있다.
일 실시예에서, 상기 제어부는 상기 상대 속도의 크기를 기반으로 상기 후방 영상의 출력 밝기를 제어할 수 있다.
일 실시예에서, 상기 제어부는 상기 상대 속도를 기반으로 상기 자차에 대한 상기 차량의 상대 가속도를 산출하고, 상기 상대 가속도가 0 초과인 경우, 상기 디스플레이부의 출력 밝기를 상기 상대 가속도가 0 이하일 때보다 밝도록 제어할 수 있다.
일 실시예에서, 상기 제어부는 상기 상대 가속도의 크기를 기반으로 상기 후방 영상의 출력 밝기를 제어할 수 있다.
일 실시예에서, 상기 주행 상황 감지부는 상기 자차의 방향 지시등의 작동을 감지하는 방향 지시등 작동 감지부를 포함하고, 상기 제어부는 상기 방향 지시등이 작동하는 경우, 상기 디스플레이부의 출력 밝기를 상기 방향 지시등이 작동하지 않을 때보다 밝도록 제어할 수 있다.
일 실시예에서, 상기 제어부는 상기 방향 지시등 중 좌측 방향 지시등이 작동하는 경우, 상기 카메라 중 상기 자차의 좌측면에 위치한 카메라가 획득한 후방 영상 출력 밝기를 제어하고, 상기 방향 지시등 중 우측 방향 지시등이 작동하는 경우, 상기 카메라 중 상기 자차의 우측면에 위치한 카메라가 획득한 후방 영상 출력 밝기를 제어할 수 있다.
일 실시예에서, 상기 주행 상황 감지부는 상기 자차의 차선 이탈을 감지하는 차선 이탈 감지부를 포함하고, 상기 제어부는 상기 자차가 상기 차선을 이탈하는 경우, 상기 디스플레이부의 출력 밝기를 상기 자차가 상기 차선을 이탈하지 않을 때보다 밝도록 제어할 수 있다.
일 실시예에서, 상기 제어부는 상기 자차를 기준으로 상기 자차가 이탈한 차선의 위치를 판단하고, 상기 이탈한 차선이 상기 자차의 좌측에 위치하는 경우, 상기 카메라 중 상기 자차의 좌측면에 위치한 카메라가 획득한 후방 영상 출력 밝기를 제어하고, 상기 이탈한 차선이 상기 자차의 우측에 위치하는 경우, 상기 카메라 중 상기 자차의 우측면에 위치한 카메라가 획득한 후방 영상 출력 밝기를 제어할 수 있다.
일 실시예에서, 상기 주행 상황 감지부는 상기 자차에 조사되는 빛의 밝기인 조도를 측정하는 조도 측정부를 포함하고, 상기 제어부는 상기 조도가 기 설정된 조도 이상인 경우, 상기 디스플레이부의 출력 밝기를 상기 조도가 상기 기 설정된 조도 미만일 때보다 밝도록 제어할 수 있다.
일 실시예에서, 상기 디스플레이부는 상기 자차의 클러스터에 위치할 수 있다.
일 실시예에서, 상기 디스플레이부는 복수이고, 상기 복수의 디스플레이부 중 상기 자차의 운전대를 기준으로 좌측에 위치하는 디스플레이부는 상기 카메라 중 상기 자차의 좌측면에 위치한 카메라가 획득한 후방 영상을 출력하고, 상기 복수의 디스플레이부 중 상기 자차의 운전대를 기준으로 우측에 위치하는 디스플레이부는 상기 카메라 중 상기 자차의 우측면에 위치한 카메라가 획득한 후방 영상을 출력할 수 있다.
본 발명의 실시예들은 주행 상황에 적합한 밝기의 사이드 카메라 화면을 운전자에게 제공하여 운전 편의를 향상할 수 있다.
한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 일 실시예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술적 사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석 되어서는 아니 된다.
도 1은 본 발명의 일 실시예에 따른 사이드 미러 대체 디스플레이 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 카메라가 차량에 장착된 것을 나타내는 도면이다.
도 3a는 본 발명의 일 실시예에 따른 디스플레이부가 차량의 센터페시아에 위치하여 후방 영상을 출력하는 것을 나타내는 도면이다.
도 3b는 본 발명의 일 실시예에 따른 디스플레이부가 차량의 클러스터에 위치하여 좌측 후방 영상을 출력하는 것을 나타내는 도면이다.
도 3c는 본 발명의 일 실시예에 따른 디스플레이부가 차량의 운전석측에 위치하여 좌측 후방 영상을 출력하는 것을 나타내는 도면이다.
도 3d는 본 발명의 일 실시예에 따른 디스플레이부가 차량의 조수석측에 위치하여 우측 후방 영상을 출력하는 것을 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 시간과 소정 주행상황 감지여부에 따라 출력되는 영상 밝기를 나타내는 그래프이다.
도 5는 본 발명의 일 실시예에 따른 시간과 소정 주행 상황 감지여부에 누적값 처리를 하여 출력되는 영상 밝기를 나타내는 그래프이다.
도 6은 본 발명의 일 실시예에 따른 사이드 미러 대체 디스플레이 출력 밝기 제어 방법을 나타내는 흐름도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 사이드 미러 대체 디스플레이 장치의 블록도이다. 도 2는 본 발명의 일 실시예에 따른 카메라가 차량에 장착된 것을 나타내는 도면이다. 도 3a는 본 발명의 일 실시예에 따른 디스플레이부가 차량의 센터페시아에 위치하여 후방 영상을 출력하는 것을 나타내는 도면이다. 도 3b는 본 발명의 일 실시예에 따른 디스플레이부가 차량의 클러스터에 위치하여 좌측 후방 영상을 출력하는 것을 나타내는 도면이다. 도 3c는 본 발명의 일 실시예에 따른 디스플레이부가 차량의 운전석측에 위치하여 좌측 후방 영상을 출력하는 것을 나타내는 도면이다. 도 3d는 본 발명의 일 실시예에 따른 디스플레이부가 차량의 조수석측에 위치하여 우측 후방 영상을 출력하는 것을 나타내는 도면이다.
도 1을 참조하면, 사이드 미러 대체 디스플레이 장치는 카메라(110), 디스플레이부(120), 제어부(130) 및 주행 상황 감지부(140) 등을 포함할 수 있다.
다만, 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 사이드 미러 대체 디스플레이 장치가 구현될 수도 있다.
카메라(110)는 자차의 양측면에서 후방 영상을 획득할 수 있다. 카메라(110)는 도 2와 같이 일반적인 차량의 사이드 미러가 장착되는 위치에서 사이드 미러가 운전자에게 제공하는 시야에서 후방 영상을 획득할 수 있다. 도 2에는 도시되지 않았지만 카메라(110)는 차량의 좌측면뿐만 아니라 우측면에도 장착될 수 있고, 차량의 후면에도 장착될 수 있다.
디스플레이부(120)는 카메라(110)가 획득한 후방 영상을 출력할 수 있다. 디스플레이부(120)는 일반적인 차량의 사이드 미러가 제공하는 시야를 운전자에게 제공할 수 있다.
디스플레이부(120)는 차량의 다양한 위치에 위치할 수 있다. 디스플레이부(120)가 위치하는 예에 대하여 도 3a 내지 도 3d를 참조하여 설명한다.
디스플레이부(120)는 도 3a과 같이 차량의 센터페시아(Center fascia)에 위치할 수 있다. 디스플레이부(120)는 2개(120a, 120b)로 분리되어 각 카메라(110)가 획득한 영상을 출력할 수 있다.
또한, 디스플레이부(120)는 도 3b와 같이 차량의 클러스터에 위치할 수 있다. 디스플레이부(120)가 차량의 클러스터에 위치하는 경우, 클러스터가 운전자의 정면에 위치하므로 운전자는 고개를 돌리지 않고 차량의 양측 후방을 인지할 수 있다. 도 3b의 디스플레이부(120)는 차량의 좌측 카메라(110)가 획득한 영상을 출력하지만, 차량의 우측 카메라(110)가 획득한 영상을 출력할 수 있으며, 도 3a에 나타난 디스플레이부(120)와 같이 동시에 좌우측 카메라(110)가 획득한 영상을 동시에 출력할 수도 있다.
또한, 디스플레이부(120)는 복수개로서, 도 3c 및 도 3d와 같이 차량의 내부 일측에 위치할 수 있다. 도 3c 및 도 3d는 운전자가 종래의 사이드 미러를 바라보는 시각과 동일한 시각에 디스플레이부(120c, 120d)가 위치한 예를 나타내는 것이다. 이러한 도 3c의 디스플레이부(120c)는 좌측 카메라(110)가 획득한 영상을 출력할 수 있고, 도 3d는 디스플레이부(120d)는 우측 카메라(110)가 획득한 영상을 출력할 수 있다.
한편, 디스플레이부(120)는 디스플레이부(120)의 위치에 상응하는 위치의 카메라(110)가 획득한 영상을 출력할 수 있다. 예를 들어, 도 3a와 같이 센터페시아에 위치하는 디스플레이부(120)가 좌우측 카메라(110)가 획득한 영상을 동시에 출력하는 경우, 좌측 디스플레이부(120a)는 좌측 카메라(110)가 획득한 영상을 출력하고 우측 디스플레이부(120b)는 우측 카메라(110)가 획득한 영상을 출력할 수 있다.
또한, 도 3c 및 도 3d와 같이 차량의 내부에 복수개의 디스플레이부(120c, 120d)가 위치하는 경우, 자차의 운전대를 기준으로 좌측에 위치하는 디스플레이부(120c)는 좌측 카메라(110)가 획득한 영상을 출력하고, 운전대를 기준으로 우측에 위치하는 디스플레이부(120d)는 우측 카메라(110)가 획득한 영상을 출력할 수 있다.
다만, 디스플레이부(120)가 위치할 수 있는 위치 및 영상을 출력하는 방법은 도 3a 내지 도 3d의 예시에 한정되지 않고, 도 3a 내지 도 3d의 위치예 일부 또는 전부가 적용될 수 있다.
디스플레이부(120)가 후방 영상을 출력하는 밝기는 제어부(130)에 의해 제어될 수 있으며, 이에 대해서는 아래에서 상세히 설명한다.
제어부(130)는 주행 상황 감지부가 감지한 주행 상황을 기반으로 디스플레이부(120)의 출력 밝기를 제어할 수 있다. 제어부(130)는 소정 주행 상황이 감지되는 경우 디스플레이부(120)의 출력 밝기를 소정 주행 상황이 감지되지 않을 때보다 밝도록 제어할 수 있다. 제어부(130)가 후방 영상 출력 밝기를 제어하는 방법에 대해서는 아래에서 상세히 설명한다.
주행 상황 감지부(140)는 자차의 주행 상황을 감지할 수 있으며, 속도 측정부(141), 후방 차량 감지부(142), 방향 지시등 작동 감지부(143), 차선 이탈 감지부(144) 및 조도 측정부(145) 등을 포함할 수 있다.
속도 측정부(141)는 자차의 속도를 측정할 수 있다. 속도 측정부(141)는 차량의 바퀴 회전수와 바퀴의 둘레를 이용하여 속도를 측정할 수 있을뿐만 아니라, GPS(Global Positioning System)를 이용하여 이동 거리를 산출함으로써 속도를 측정할 수도 있다.
후방 차량 감지부(142)는 자차의 후방에 위치하는 차량을 감지할 수 있다. 후방 차량 감지부(142)는 RCA(Rear Cross Alert) 또는 BSD(Blind Spot Detection) 센서 등을 이용할 수 있다. 후방 차량 감지부(142)는 차량을 감지하여 후방 차량의 속도 및 위치를 판단할 수 있다.
방향 지시등 작동 감지부(143)는 자차의 방향 지시등의 작동을 감지할 수 있다. 방향 지시등 작동 감지부(143)는 좌측 방향 지시등과 우측 방향 지시등 각각의 작동 여부를 감지할 수 있으며, 비상등으로서 좌측 방향 지시등 및 우측 방향 지시등 모두가 작동하는 경우도 감지할 수 있다.
차선 이탈 감지부(144)는 자차의 차선 이탈을 감지할 수 있다. 차선 이탈 감지부(144)는 카메라(110), 블랙박스 카메라 등 자차에 설치된 카메라가 획득한 영상으로부터 자차가 차선을 이탈하는지 여부를 감지할 수 있다.
조도 측정부(145)은 자차에 조사되는 빛의 밝기를 측정할 수 있다. 조도 측정부(145)은 카메라(110)가 획득한 영상으로부터 빛의 밝기를 측정할 수 있고, 별도의 센서로서 빛의 밝기를 측정할 수 있다.
이하에서는 제어부(130)가 디스플레이부(120)의 출력 밝기를 제어하는 방법에 대해 설명한다.
제어부(130)는 자차의 속도가 기 설정된 속도 이하가 되는 주행 상황이 감지되는 경우, 디스플레이부의 출력 밝기를 자차의 속도가 기 설정된 속도 초과일 때보다 밝도록 제어할 수 있다.
예를 들어, 차량을 주차하는 경우 또는 좁은 골목을 지나가는 경우에는 차량 주변 주시의 필요성이 높아지므로 속도가 낮을 때 디스플레이부(120)의 출력 밝기가 높아지도록 할 수 있다. 또한, 고속 주행을 할 때에는 전방을 주시해야 하며 운전자의 시선이 디스플레이부(120)로 집중되는 것을 방지하기 위해 자차의 속도가 클 때 디스플레이부(120)의 출력 밝기가 어두워지도록 할 수 있다.
또한, 제어부(130)는 자차로부터 후방 차량 감지부(142)가 감지한 자차의 후방에 위치하는 차량까지의 거리가 기 설정된 거리 이하가 되는 주행 상황이 감지되는 경우, 디스플레이부(120)의 출력 밝기를 기 설정된 거리 초과일 때보다 밝도록 제어할 수 있다.
예를 들어, 자차로부터 후방 차량까지의 거리가 50m 이내인 경우, 충돌의 위험성이 높아지므로 디스플레이부(120)의 출력 밝기가 높아지도록 할 수 있다.
이 때, 제어부(130)는 후방 차량까지의 거리가 가까울수록 후방 영상의 출력 밝기가 밝아지도록 제어할 수 있다.
또한, 제어부(130)는 자차를 기준으로 후방 차량의 위치를 판단하고, 기 설정된 거리 이내의 후방 차량이 자차의 좌측에 위치하는 경우, 카메라(110) 중 자차의 좌측면에 위치한 카메라(110)가 획득한 후방 영상 출력 밝기를 제어하고, 기 설정된 거리 이내의 후방 차량이 자차의 우측에 위치하는 경우, 카메라(110) 중 자차의 우측면에 위치한 카메라(110)가 획득한 후방 영상 출력 밝기를 제어할 수 있다.
또한, 제어부(130)는 자차로부터 자차의 후방에 위치하는 차량까지의 거리를 기반으로 자차에 대한 차량의 상대속도를 산출하고, 상대 속도가 0 초과가 되는 주행 상황기 감지되는 경우, 디스플레이부(120)의 출력 밝기를 상대 속도가 0 이하일 때보다 밝도록 제어할 수 있다.
예를 들어, 자차가 50km/h로 주행하고 있을 때 후방 차량이 70km/h로 주행하는 경우, 상대 속도가 20km/h 이므로 디스플레이부(120)의 출력 밝기를 제어할 수 있다. 후방 차량이 자차로부터 멀리 떨어져 있더라고 자차에 대한 후방 차량의 상대 속도가 0보다 크면 후방 차량과 자차 사이의 거리는 가까워질 것이고, 이에 따라 충돌의 위험성이 발생하기 때문이다.
이 때, 제어부(130)는 상대 속도의 크기를 기반으로 후방 영상의 출력 밝기를 제어할 수 있다. 예를 들어, 상대 속도의 크기가 클수록 디스플레이부(120)의 출력 밝기를 높일 수 있다.
또한, 제어부(130)는 상대 속도 뿐만 아니라 상대 가속도가 0 초과가 되는 주행상황이 감지되는 경우에도 디스플레이부(120)의 출력 밝기를 상대 가속도가 0 이하일 때보다 밝도록 제어할 수 있고, 상대 가속도의 크기를 기반으로 후방 영상의 출력 밝기를 제어할 수 있다.
그리고 제어부(130)는 방향 지시등이 작동하는 주행 상황이 감지되는 경우, 제어부(130)는 디스플레이부(120)의 출력 밝기를 방향 지시등이 작동하지 않을 때보다 밝도록 제어할 수 있다.
예를 들어, 운전자는 우측 차로로 차로 변경을 하기 전, 우측 방향 지시등을 작동시킬 수 있다. 이 때, 방향 지시등 작동 감지부(143)는 우측 방향 지시등이 작동함을 감지할 수 있고, 제어부(130)는 우측 방향 지시등이 작동하는 경우, 방향 지시등이 작동하는 방향의 출력 화면의 밝기를 밝게 하여 후방 차량의 접근 여부를 보다 명확히 판단하도록 할 수 있다. 즉, 제어부(130)는 우측 방향 지시등이 작동하는 경우, 카메라(110) 중 자차의 우측면에 위치한 카메라(110)가 획득한 후방 영상 출력 밝기를 제어하고, 제어부(130)는 좌측 방향 지시등이 작동하는 경우, 카메라(110) 중 자차의 좌측면에 위치한 카메라(110)가 획득한 후방 영상 출력 밝기를 제어할 수 있다.
또한, 제어부(130)는 자차가 상기 차선을 이탈하는 주행 상황이 감지되는 경우, 디스플레이부(120)의 출력 밝기를 상기 자차가 상기 차선을 이탈하지 않을 때보다 밝도록 제어할 수 있다.
제어부(130)는 자차가 직진 중 차선을 이탈하는 경우, 출력 화면의 밝기를 밝게 함으로써 자차가 차선을 이탈하였음을 운전자가 인지하도록 할 수 있다.
제어부(130)는 자차를 기준으로 자차가 이탈한 차선의 위치를 판단하고, 이탈한 차선이 자차의 좌측에 위치하는 경우, 카메라(110) 중 자차의 좌측면에 위치한 카메라(110)가 획득한 후방 영상 출력 밝기를 제어하고, 이탈한 차선이 자차의 우측에 위치하는 경우, 카메라(110) 중 자차의 우측면에 위치한 카메라(110)가 획득한 후방 영상 출력 밝기를 제어할 수 있다.
또한, 제어부(130)는 자차에 조사되는 빛의 밝기인 조도가 기 설정된 조도 이상인 주행 상황이 감지되는 경우, 디스플레이부(120)의 출력 밝기를 조도가 기 설정된 조도 미만일 때보다 밝도록 제어할 수 있다.
예를 들어, 자차가 터널에서 나오는 경우 자차에 조사되는 빛의 밝기는 터널 내에 있을 때 보다 높아진다. 빛의 밝기가 높을 때 운전자의 동공은 작아지고, 이 때 디스플레이부(120)의 밝기가 낮으면 운전자는 출력 화면을 명확히 인식하기 어려울 수 있다.
이와 반대로 빛의 밝기가 낮은 곳에서는 운전자의 동공이 커져 디스플레이부(120)의 영상 출력 밝기가 높은 경우, 운전자는 눈부심을 느낄 수 있다. 제어부(130)는 자차에 조사되는 빛의 밝기가 높으면 디스플레이부(120)의 출력 밝기를 크게 하고, 조사되는 빛의 밝기가 낮으면 디스플레이부(120)의 출력 밝기를 낮게할 수 있다.
한편, 상술한 소정 주행 상황이 감지될 때마다 제어부(130)가 디스플레이부(120)의 츌력 밝기가 밝아지도록 제어한다면, 방향 지시등이 작동할 때와 같이 짧은 순간 이벤트가 발생하는 경우, 디스플레이부(120)의 밝기가 빈번하게 변경된다. 이러한 경우, 디스플레이부(120)의 밝기 변화는 운전자의 운전을 방해하게 된다. 이러한 문제를 해결하기 위한 제어부(130)의 디스플레이부(120) 제어방법에 대해 도 4 및 도 5를 참조하여 설명한다.
도 4는 본 발명의 일 실시예에 따른 시간과 소정 주행상황 감지여부에 따라 출력되는 영상 밝기를 나타내는 그래프이다. 도 5는 본 발명의 일 실시예에 따른 시간과 소정 주행상황 감지여부에 누적값 처리를 하여 출력되는 영상 밝기를 나타내는 그래프이다.
소정 주행상황이 발생할 때마다 디스플레이부(120)의 출력 밝기를 제어하면 도 4와 같이 방향 지시등이 동작할 때 영상의 밝기가 짧은 시간에 빈번하게 변하는 문제가 발생할 수 있다.
제어부(130)는 소정 주행 상황 감지시 바로 디스플레이부(120)의 영상 밝기를 제어하지 않고, 소정 주행 상황이 감지된 시간이 경과할수록 누적값을 증가시킬 수 있다. 그리고 소정 주행 상황이 감지되지 않는 시간이 경과할수록 누적값을 감소시킬 수 있다. 누적값이 기준값을 초과하는 경우, 제어부(130)는 디스플레이부(120)의 출력 밝기를 기준값 이하일 때보다 밝아지도록 제어할 수 있다.
도 5를 참조하면 소정 주행 상황 감지 여부와 시간에 따른 누적값 변화와 영상 밝기 변화를 확인할 수 있다.
제어부(130)는 자차의 속도가 30km/s 미만이 되는 주행 상황이 감지되는 시간이 경과할수록 누적값을 증가시킨다. 그러나 주행 상황 감지 지속 시간이 짧아 누적값은 기준값을 초과하지 못하여 제어부(130)는 디스플레이부(120)의 후방 영상 밝기를 제어하지 않는다.
그 후, 제어부(130)는 소정 주행 상황의 미감지 시간동안 누적값을 감소시킨다. 다시 자차의 속도가 30km/s 미만이 되는 주행 상황이 발생하는 시간이 경과할수록 누적값을 감소시킨다. 제어부(130)는 누적값이 기준값을 초과하는 시간 동안 영상의 밝기가 밝아지도록 제어할 수 있다.
이후, 우측 후방 차량이 접근하는 주행 상황이 감지되어 제어부(130)는 누적값을 증가시키고 누적값이 기준값을 초과하여 제어부(130)는 디스플레이부의 출력 밝기를 제어한다.
이후, 방향 지시등이 동작하는 주행 상황이 짧은 시간에 빈번하게 발생한다. 도 4를 참조하면, 제어부(130)의 제어에 누적값 처리가 적용되지 않는 경우, 영상의 밝기는 방향 지시등이 동작할 때마다 제어부(130)는 디스플레이부(120)의 영상 밝기를 제어하게 된다.
그러나 도 5와 같이 누적값 처리가 적용되는 경우, 방향 지시등이 동작할 때 제어부(130)는 누적값을 증가시키고, 방향 지시등이 동작하지 않을 때 누적값을 감소시킨다. 그러나 방향 지시등이 동작하지 않아 누적값이 감소하더라도 누적값이 이미 증가한 상태이므로 누적값이 기준값을 초과하는 상태임을 확인할 수 있다. 제어부(130)는 방향 지시등이 동작하지 않더라도 동작하지 않는 시간이 매우 짧아서 누적값이 기준값을 초과하므로, 디스플레이부(120)의 후방 영상 밝기가 밝아진 상태에서 유지되도록 제어할 수 있다.
이 후, 자차가 차선을 이탈하여 누적값이 증가하지만 기준값을 초과하지 못하므로 제어부(130)는 영상의 밝기가 어두운 상태로 유지되도록 제어한다.
도면에는 나타나지 않았지만 제어부(130)는 영상의 밝기를 조절할 때, 밝기가 서서히 밝아지고 어두워지도록 페이드인(Fade-in), 페이드 아웃(Fade-out) 방식으로 디스플레이부(120)의 출력 밝기를 제어할 수 있다.
또 다른 방법으로, 제어부(130)는 소정 주행 상황의 감지가 기 설정된 시간 이상 유지되는 경우, 디스플레이부의 출력 밝기를 제어할 수 있다. 예를 들어, 자차가 30km/h 이하로 주행하는 상황이 3초 이상 유지되는 경우 디스플레이부의 출력 밝기를 제어할 수 있다.
이하에서는 도 6을 참조하여 전술한 구성들을 기초로 사이드 미러 대체 디스플레이 출력 밝기 제어 방법에 대해 구체적으로 설명한다.
도 6은 본 발명의 일 실시예에 따른 사이드 미러 대체 디스플레이 출력 밝기 제어 방법을 나타내는 흐름도이다.
도 6을 참조하면, 사이드 미러 대체 디스플레이 출력 밝기 제어 방법은 자차의 양측면에서 후방 영상을 획득하는 단계(S100), 자차의 주행 상황을 감지하는 단계(S200), 자차의 주행 상황을 기반으로 디스플레이부의 출력 밝기를 결정하는 단계(S300) 및 결정된 출력 밝기로 카메라가 획득한 후방 영상을 출력하는 단계(S400)를 포함할 수 있다.
이하에서, 상술한 S100 단계 내지 S400 단계가 구체적으로 설명될 것이다.
S100 단계에서, 카메라(110)는 자차의 양측면에서 후방 영상을 획득할 수 있다. 카메라는 복수개일 수 있고, 자차의 양측 후방 영상을 획득할 수 있다.
S200 단계에서, 주행 상황 감지부(140)는 자차의 주행 상황을 감지할 수 있다. 전술한 바와 같이 주행 상황 감지부(140)는 속도 측정부(141), 후방 차량 감지부(142), 방향 지시등 작동 감지부(143), 차선 이탈 감지부(144) 및 조도 측정부(145) 등을 포함하여, 자차의 속도 측정, 후방 차량 감지, 방향 지시등 작동 여부 감지, 자차의 차선 이탈 여부 감지, 자차에 조사되는 빛의 밝기 감지 등을 할 수 있다.
S300 단계에서, 제어부(130)는 자차의 주행 상황을 기반으로 디스플레이부(130)의 출력 밝기를 결정할 수 있다. 제어부(130)는 소정 주행 상황이 감지되는 경우, 디스플레이부(130)의 출력 밝기를 소정 주행 상황이 감지되지 않을 때보다 밝도록 결정할 수 있다.
또한, 소정 주행 상황의 감지가 기 설정된 시간 이상 유지되는 경우, 디스플레이부(130)의 출력 밝기가 변경되도록 결정할 수 있고, 소정 주행 상황의 감지에 전술한 누적값 처리를 하여 출력 밝기를 결정할 수도 있다.
S400 단계에서, 디스플레이부(120)는 제어부(130)가 결정한 출력 밝기로 카메라가 획득한 후방 영상을 출력할 수 있다.
상기와 같이 설명된 사이드 카메라 대체 디스플레이 장치는 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
100 : 사이드 카메라 대체 디스플레이 장치
110 : 카메라
120 : 디스플레이부
120a : 좌측 디스플레이부
120a : 우측 디스플레이부
120c : 좌측 디스플레이부
120d : 우측 디스플레이부
130 : 제어부
140 : 주행 상황 감지부
141 : 속도 측정부
142 : 후방 차량 감지부
143 : 방향 지시등 작동 감지부
144 : 차선 이탈 감지부
145 : 조도 측정부

Claims (19)

  1. 자차의 양측면에서 후방 영상을 획득하는 카메라;
    상기 카메라가 획득한 후방 영상을 출력하는 디스플레이부;
    상기 자차의 주행 상황을 감지하되, 상기 자차의 차선 이탈을 감지하는 차선 이탈 감지부를 포함하는 주행 상황 감지부; 및
    상기 자차의 주행 상황을 기반으로 상기 디스플레이부의 출력 밝기를 제어하는 제어부를 포함하되, 상기 주행 상황 감지부는 상기 자차로부터 상기 자차의 후방에 위치하는 차량까지의 거리를 측정하는 후방 차량 거리 측정부를 포함하고, 상기 제어부는 상기 거리가 기 설정된 거리 이하인 경우, 상기 디스플레이부의 출력 밝기를 상기 거리가 상기 기 설정된 거리 초과일 때보다 밝도록 제어하고, 상기 자차가 상기 차선을 이탈하는 경우, 상기 디스플레이부의 출력 밝기를 상기 자차가 상기 차선을 이탈하지 않을 때보다 밝도록 제어하는 것을 특징으로 하는 사이드 미러 대체 디스플레이 장치.
  2. 제 1 항에 있어서,
    상기 제어부는,
    소정 주행 상황이 감지되는 경우, 상기 디스플레이부의 출력 밝기를 상기 소정 주행 상황이 감지되지 않을 때보다 밝도록 제어하는 것을 특징으로 하는 사이드 미러 대체 디스플레이 장치.
  3. 제 1 항에 있어서,
    상기 제어부는,
    소정 주행 상황이 감지된 시간이 경과할수록 누적값을 증가시키고, 상기 소정 주행 상황이 감지되지 않는 시간이 경과할수록 상기 누적값을 감소시키며,
    상기 누적값이 기준값을 초과하는 경우, 상기 디스플레이부의 출력 밝기를 상기 누적값이 상기 기준값 이하일 때보다 밝도록 제어하는 것을 특징으로 하는 사이드 미러 대체 디스플레이 장치.
  4. 제 1 항에 있어서,
    상기 제어부는,
    소정 주행 상황의 감지가 기 설정된 시간 이상 유지되는 경우, 상기 디스플레이부의 출력 밝기를 제어하는 것을 특징으로 하는 사이드 미러 대체 디스플레이 장치.
  5. 제 1 항에 있어서,
    상기 주행 상황 감지부는 상기 자차의 속도를 측정하는 속도 측정부를 포함하고,
    상기 제어부는 상기 자차의 속도가 기 설정된 속도이하인 경우, 상기 디스플레이부의 출력 밝기를 상기 자차의 속도가 상기 기 설정된 속도초과일 때 보다 밝도록 제어하는 것을 특징으로 하는 사이드 미러 대체 디스플레이 장치.
  6. 삭제
  7. 제 1 항에 있어서,
    상기 제어부는 상기 자차를 기준으로 상기 차량의 위치를 판단하고,
    상기 차량이 상기 자차의 좌측에 위치하는 경우, 상기 카메라 중 상기 자차의 좌측면에 위치한 카메라가 획득한 후방 영상 출력 밝기를 제어하고,
    상기 차량이 상기 자차의 우측에 위치하는 경우, 상기 카메라 중 상기 자차의 우측면에 위치한 카메라가 획득한 후방 영상 출력 밝기를 제어하는 것을 특징으로 하는 사이드 미러 대체 디스플레이 장치.
  8. 제 1 항에 있어서,
    상기 제어부는 상기 자차로부터 상기 자차의 후방에 위치하는 차량까지의 거리를 기반으로 상기 자차에 대한 상기 차량의 상대속도를 산출하고,
    상기 상대 속도가 0 초과인 경우, 상기 디스플레이부의 출력 밝기를 상기 상대 속도가 0 이하일 때보다 밝도록 제어하는 것을 특징으로 하는 사이드 미러 대체 디스플레이 장치.
  9. 제 8 항에 있어서,
    상기 제어부는 상기 상대 속도의 크기를 기반으로 상기 후방 영상의 출력 밝기를 제어하는 것을 특징으로 하는 사이드 미러 대체 디스플레이 장치.
  10. 제 8 항에 있어서,
    상기 제어부는 상기 상대 속도를 기반으로 상기 자차에 대한 상기 차량의 상대 가속도를 산출하고,
    상기 상대 가속도가 0 초과인 경우, 상기 디스플레이부의 출력 밝기를 상기 상대 가속도가 0 이하일 때보다 밝도록 제어하는 것을 특징으로 하는 사이드 미러 대체 디스플레이 장치.
  11. 제 10 항에 있어서,
    상기 제어부는 상기 상대 가속도의 크기를 기반으로 상기 후방 영상의 출력 밝기를 제어하는 것을 특징으로 하는 사이드 미러 대체 디스플레이 장치.
  12. 제 1 항에 있어서,
    상기 주행 상황 감지부는 상기 자차의 방향 지시등의 작동을 감지하는 방향 지시등 작동 감지부를 포함하고,
    상기 제어부는 상기 방향 지시등이 작동하는 경우, 상기 디스플레이부의 출력 밝기를 상기 방향 지시등이 작동하지 않을 때보다 밝도록 제어하는 것을 특징으로 하는 사이드 미러 대체 디스플레이 장치.
  13. 제 12 항에 있어서,
    상기 제어부는,
    상기 방향 지시등 중 좌측 방향 지시등이 작동하는 경우, 상기 카메라 중 상기 자차의 좌측면에 위치한 카메라가 획득한 후방 영상 출력 밝기를 제어하고,
    상기 방향 지시등 중 우측 방향 지시등이 작동하는 경우, 상기 카메라 중 상기 자차의 우측면에 위치한 카메라가 획득한 후방 영상 출력 밝기를 제어하는 것을 특징으로 하는 사이드 미러 대체 디스플레이 장치.
  14. 삭제
  15. 제 1 항에 있어서,
    상기 제어부는 상기 자차를 기준으로 상기 자차가 이탈한 차선의 위치를 판단하고,
    상기 이탈한 차선이 상기 자차의 좌측에 위치하는 경우, 상기 카메라 중 상기 자차의 좌측면에 위치한 카메라가 획득한 후방 영상 출력 밝기를 제어하고,
    상기 이탈한 차선이 상기 자차의 우측에 위치하는 경우, 상기 카메라 중 상기 자차의 우측면에 위치한 카메라가 획득한 후방 영상 출력 밝기를 제어하는 것을 특징으로 하는 사이드 미러 대체 디스플레이 장치.
  16. 제 1 항에 있어서,
    상기 주행 상황 감지부는 상기 자차에 조사되는 빛의 밝기인 조도를 측정하는 조도 측정부를 포함하고,
    상기 제어부는 상기 조도가 기 설정된 조도 이상인 경우, 상기 디스플레이부의 출력 밝기를 상기 조도가 상기 기 설정된 조도 미만일 때보다 밝도록 제어하는 것을 특징으로 하는 사이드 미러 대체 디스플레이 장치.
  17. 제 1 항에 있어서,
    상기 디스플레이부는 상기 자차의 클러스터에 위치하는 것을 특징으로 하는 사이드 미러 대체 디스플레이 장치.
  18. 제 1 항에 있어서,
    상기 디스플레이부는 복수개이고,
    상기 복수의 디스플레이부 중 상기 자차의 운전대를 기준으로 좌측에 위치하는 디스플레이부는 상기 카메라 중 상기 자차의 좌측면에 위치한 카메라가 획득한 후방 영상을 출력하고,
    상기 복수의 디스플레이부 중 상기 자차의 운전대를 기준으로 우측에 위치하는 디스플레이부는 상기 카메라 중 상기 자차의 우측면에 위치한 카메라가 획득한 후방 영상을 출력하는 것을 특징으로 하는 사이드 미러 대체 디스플레이 장치.
  19. 자차의 양측면에서 후방 영상을 획득하는 단계;
    상기 자차의 차선 이탈의 감지를 포함하는 주행 상황을 감지하는 단계;
    상기 자차로부터 상기 자차의 후방에 위치하는 차량까지의 거리를 측정하는 단계;
    상기 자차의 주행 상황을 기반으로 디스플레이부의 출력 밝기를 결정하는 단계; 및
    상기 결정된 출력 밝기로 상기 획득한 후방 영상을 출력하는 단계를 포함하되, 상기 디스플레이부의 출력 밝기를 결정하는 단계에서, 상기 거리가 기 설정된 거리 이하인 경우, 상기 디스플레이부의 출력 밝기를 상기 거리가 상기 기 설정된 거리 초과일 때보다 밝도록 제어하고, 상기 자차가 상기 차선을 이탈하는 경우, 상기 디스플레이부의 출력 밝기를 상기 자차가 상기 차선을 이탈하지 않을 때보다 밝도록 제어하는 것을 특징으로 하는 사이드 미러 대체 디스플레이 출력 밝기 제어 방법.
KR1020160088166A 2016-07-12 2016-07-12 사이드 미러 대체 디스플레이 장치 및 이의 출력 밝기 제어 방법 Active KR101816423B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020160088166A KR101816423B1 (ko) 2016-07-12 2016-07-12 사이드 미러 대체 디스플레이 장치 및 이의 출력 밝기 제어 방법
US15/344,823 US10431185B2 (en) 2016-07-12 2016-11-07 Display system replacing side mirror and method for controlling output brightness thereof
CN201611011976.4A CN107599974A (zh) 2016-07-12 2016-11-17 取代侧视镜的显示系统以及用于控制其输出亮度的方法
DE102016222931.1A DE102016222931A1 (de) 2016-07-12 2016-11-21 Anzeigesystem, welches einen Seitenspiegel ersetzt, und Verfahren für das Steuern der Wiedergabehelligkeit desselben

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160088166A KR101816423B1 (ko) 2016-07-12 2016-07-12 사이드 미러 대체 디스플레이 장치 및 이의 출력 밝기 제어 방법

Publications (1)

Publication Number Publication Date
KR101816423B1 true KR101816423B1 (ko) 2018-01-08

Family

ID=60783013

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160088166A Active KR101816423B1 (ko) 2016-07-12 2016-07-12 사이드 미러 대체 디스플레이 장치 및 이의 출력 밝기 제어 방법

Country Status (4)

Country Link
US (1) US10431185B2 (ko)
KR (1) KR101816423B1 (ko)
CN (1) CN107599974A (ko)
DE (1) DE102016222931A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102070831B1 (ko) * 2019-07-08 2020-01-29 강진범 차량 후방광고 사이니지 장치
US11912198B2 (en) 2020-07-23 2024-02-27 Samsung Display Co., Ltd. Display device and vehicle having the same
US12491766B2 (en) 2022-11-16 2025-12-09 Hyundai Motor Company Apparatus and method of controlling vehicle equipped with operating switch linked to touch panel of digital side mirror system

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107776487B (zh) * 2016-08-24 2021-01-15 京东方科技集团股份有限公司 汽车用辅助显示系统及显示方法、汽车
US10334156B2 (en) * 2016-12-01 2019-06-25 GM Global Technology Operations LLC Systems and methods for varying field of view of outside rear view camera
EP4520636A3 (en) * 2016-12-09 2025-06-11 Kyocera Corporation Imaging apparatus, image processing apparatus, display system, and vehicle
JP6680254B2 (ja) * 2017-03-22 2020-04-15 トヨタ自動車株式会社 車両用表示制御装置
US11498485B2 (en) * 2017-05-19 2022-11-15 Georgios Zafeirakis Techniques for vehicle collision avoidance
CN108845851A (zh) * 2018-05-24 2018-11-20 北京长城华冠汽车科技股份有限公司 图形用户界面的页面切换方法
JP7051667B2 (ja) * 2018-11-26 2022-04-11 本田技研工業株式会社 車載装置
CN112996695B (zh) 2018-11-26 2024-04-05 本田技研工业株式会社 车身构造
JP7116670B2 (ja) * 2018-11-26 2022-08-10 本田技研工業株式会社 走行制御装置、制御方法およびプログラム
JP7125893B2 (ja) * 2018-11-26 2022-08-25 本田技研工業株式会社 走行制御装置、制御方法およびプログラム
KR102625960B1 (ko) * 2019-02-28 2024-01-18 삼성디스플레이 주식회사 차량용 표시 장치 및 이의 구동 방법
CN113661085B (zh) * 2019-03-29 2023-08-18 本田技研工业株式会社 车载驾驶辅助装置
US11089205B2 (en) 2019-08-16 2021-08-10 Toyota Motor Engineering & Manufacturing North America, Inc. Window position monitoring system
KR102854553B1 (ko) * 2019-09-02 2025-09-03 삼성전자주식회사 조수석 디스플레이를 제어하는 전자 장치 및 조수석 디스플레이 제어 방법
CN111845347B (zh) * 2020-07-30 2022-03-15 广州小鹏汽车科技有限公司 车辆行车安全的提示方法、车辆和存储介质
US12235411B2 (en) 2020-12-18 2025-02-25 Orlaco Products, B.V. Mirror replacement system
FR3121901A1 (fr) * 2021-04-14 2022-10-21 Psa Automobiles Sa Procédé de gestion du fonctionnement d’un appareillage de surveillance de l’environnement de conduite d’un véhicule automobile, système et véhicule automobile associés
WO2024036568A1 (zh) * 2022-08-18 2024-02-22 嘉兴尚坤科技有限公司 一种工作中高速精密齿轮的齿隙温度检测机构
DE102023127318B4 (de) * 2023-10-06 2025-04-30 Man Truck & Bus Se Aktivierung und Optimierung eines Nachtmodus in Kamera-Monitor-Anwendungen

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005014782A (ja) * 2003-06-26 2005-01-20 Matsushita Electric Ind Co Ltd 車載表示装置
KR101605660B1 (ko) * 2015-10-15 2016-03-22 (주) 코스텍 상용차용 사각지대 정보 표시장치 및 사각지대 정보 표시방법

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05319174A (ja) 1991-05-17 1993-12-03 Mutsurou Buntou 自動車視界表示装置
JPH05318174A (ja) 1992-04-28 1993-12-03 Nippon Steel Corp 耐熱鋼の横向サブマージアーク溶接方法
US6498620B2 (en) * 1993-02-26 2002-12-24 Donnelly Corporation Vision system for a vehicle including an image capture device and a display system having a long focal length
JP2751847B2 (ja) 1993-12-28 1998-05-18 日本電気株式会社 表示装置
JP4201155B2 (ja) * 2000-11-22 2008-12-24 道弘 観音寺 車間距離警報装置
JP3620443B2 (ja) * 2000-12-05 2005-02-16 日産自動車株式会社 自動車用表示装置
AU2003300514A1 (en) * 2003-12-01 2005-06-24 Volvo Technology Corporation Perceptual enhancement displays based on knowledge of head and/or eye and/or gaze position
US7432800B2 (en) * 2004-07-07 2008-10-07 Delphi Technologies, Inc. Adaptive lighting display for vehicle collision warning
KR20060096885A (ko) 2005-03-04 2006-09-13 삼성에스디아이 주식회사 평판 표시소자의 배기구조 및 배기방법
JP2007087337A (ja) * 2005-09-26 2007-04-05 Toyota Motor Corp 車輌周囲情報表示装置
JP5117003B2 (ja) 2006-07-11 2013-01-09 本田技研工業株式会社 運転支援装置
KR101326502B1 (ko) 2007-04-30 2013-11-08 현대자동차주식회사 차선 이탈 감지 장치 및 방법
CN101237739B (zh) * 2007-05-18 2011-04-20 张福明 Hid镇流器及控制方法
JP2010163879A (ja) * 2009-01-13 2010-07-29 Honda Motor Co Ltd アイドルストップ制御装置
US8482486B2 (en) * 2009-04-02 2013-07-09 GM Global Technology Operations LLC Rear view mirror on full-windshield head-up display
JP5287746B2 (ja) * 2009-05-21 2013-09-11 日産自動車株式会社 運転支援装置、及び運転支援方法
JP5286214B2 (ja) * 2009-09-30 2013-09-11 日立オートモティブシステムズ株式会社 車両制御装置
KR101111548B1 (ko) 2009-10-08 2012-02-22 콘티넨탈 오토모티브 일렉트로닉스 유한회사 자동차의 사각지대 경고 장치 및 방법
US8633810B2 (en) * 2009-11-19 2014-01-21 Robert Bosch Gmbh Rear-view multi-functional camera system
DE102010008346A1 (de) * 2010-02-17 2011-08-18 GM Global Technology Operations LLC, ( n. d. Ges. d. Staates Delaware ), Mich. Rückblickvorrichtung eines Personenkraftwagens
CN102175461A (zh) * 2010-12-21 2011-09-07 奇瑞汽车股份有限公司 一种车用电驱动系统故障检测及诊断方法
JP5700111B2 (ja) * 2011-02-21 2015-04-15 トヨタ自動車株式会社 走行支援装置及び方法
US20150042797A1 (en) 2013-08-06 2015-02-12 GM Global Technology Operations LLC Motor vehicle rear side view display system
JP6364797B2 (ja) * 2014-02-06 2018-08-01 株式会社デンソー 画像解析装置、および画像解析方法
KR102256987B1 (ko) 2014-06-11 2021-05-26 현대모비스 주식회사 자동차 운전자의 시야 확보 장치 및 방법
CN104802712B (zh) * 2015-05-16 2016-01-27 江苏意迪驱动设备有限公司 基于图像通信的电子辅助后视系统
JP6644509B2 (ja) * 2015-10-01 2020-02-12 アルパイン株式会社 車両検知警報装置および車両検知警報方法
KR101770642B1 (ko) * 2016-05-16 2017-09-05 엘지전자 주식회사 차량용 조명 장치 및 차량
US10286913B2 (en) * 2016-06-23 2019-05-14 Honda Motor Co., Ltd. System and method for merge assist using vehicular communication

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005014782A (ja) * 2003-06-26 2005-01-20 Matsushita Electric Ind Co Ltd 車載表示装置
KR101605660B1 (ko) * 2015-10-15 2016-03-22 (주) 코스텍 상용차용 사각지대 정보 표시장치 및 사각지대 정보 표시방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102070831B1 (ko) * 2019-07-08 2020-01-29 강진범 차량 후방광고 사이니지 장치
US11912198B2 (en) 2020-07-23 2024-02-27 Samsung Display Co., Ltd. Display device and vehicle having the same
US12491766B2 (en) 2022-11-16 2025-12-09 Hyundai Motor Company Apparatus and method of controlling vehicle equipped with operating switch linked to touch panel of digital side mirror system

Also Published As

Publication number Publication date
US20180018939A1 (en) 2018-01-18
US10431185B2 (en) 2019-10-01
DE102016222931A1 (de) 2018-01-18
CN107599974A (zh) 2018-01-19

Similar Documents

Publication Publication Date Title
KR101816423B1 (ko) 사이드 미러 대체 디스플레이 장치 및 이의 출력 밝기 제어 방법
KR101737737B1 (ko) 차량용 카메라 hud 통합 클러스터 시스템
US10170002B2 (en) In-vehicle lighting apparatus having a lighting device including a light source in each of the direct and indirect lighting parts thereof
CN100408383C (zh) 用于车辆的信息提供设备
CN104823122B (zh) 用于检测明亮的城市条件的成像系统和方法
CN105593061B (zh) 用于在快车道上控制外部车灯的系统和方法
US20160343254A1 (en) Vehicular headlight warning system
CN105579289B (zh) 具有自身运动检测的成像系统和方法
EP3036130B1 (en) Vehicle imaging system and method for distinguishing between vehicle tail lights and flashing red stop lights
WO2021022853A1 (zh) 车辆尾灯自适应控制系统、方法和车辆
KR101624188B1 (ko) 조명 제어 장치, 그를 가지는 차량 및 그의 제어 방법
JP2013147083A (ja) 車両の挙動伝達装置
US11052822B2 (en) Vehicle control apparatus, control method, and storage medium for storing program
KR102830233B1 (ko) 차량 및 그 제어 방법
US7425085B2 (en) Vehicle headlight apparatus
JP3345699B2 (ja) 車両用走行支援装置
JP4730589B2 (ja) 車両周辺監視システム
US20140153782A1 (en) Imaging system and method for detecting a winding road
KR101510949B1 (ko) 차량용 헤드업 디스플레이 장치
JP4849298B2 (ja) 車両周辺監視システム
JPH10129375A (ja) 車載用前方車両認識装置
US9937863B2 (en) Forward viewing camera configured to control outside electro-optic mirror
US20250026265A1 (en) Collision avoidance system and method
KR20010059067A (ko) 도로 곡률 변화에 따른 패닝/틸팅 제어 시스템
KR20240146994A (ko) 이륜차용 주행 정보 시각화 장치 및 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160712

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170621

Patent event code: PE09021S01D

AMND Amendment
PE0601 Decision on rejection of patent

Patent event date: 20170927

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20170621

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20170927

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20170817

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20171113

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20171025

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20170927

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20170817

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20180102

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20180102

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20210104

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20220103

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20231218

Start annual number: 7

End annual number: 7