[go: up one dir, main page]

KR102300836B1 - 자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법 - Google Patents

자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법 Download PDF

Info

Publication number
KR102300836B1
KR102300836B1 KR1020170116449A KR20170116449A KR102300836B1 KR 102300836 B1 KR102300836 B1 KR 102300836B1 KR 1020170116449 A KR1020170116449 A KR 1020170116449A KR 20170116449 A KR20170116449 A KR 20170116449A KR 102300836 B1 KR102300836 B1 KR 102300836B1
Authority
KR
South Korea
Prior art keywords
lane
road
autonomous driving
information
recognized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020170116449A
Other languages
English (en)
Other versions
KR20190029192A (ko
Inventor
이종혁
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020170116449A priority Critical patent/KR102300836B1/ko
Publication of KR20190029192A publication Critical patent/KR20190029192A/ko
Application granted granted Critical
Publication of KR102300836B1 publication Critical patent/KR102300836B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/072—Curvature of the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0061—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • G06K9/00798—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/05—Type of road, e.g. motorways, local streets, paved or unpaved roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/30—Road curve radius
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Navigation (AREA)

Abstract

본 발명의 자율 주행 제어 장치는 입력부를 통해 자율 주행 모드 및 목적지가 입력되면 통신부에 수신된 현재 위치와 목적지에 기초하여 경로를 탐색하고, 탐색된 경로에 기초하여 길 안내 정보를 출력하고, 수신된 현재 위치에 기초하여 현재 위치가 고속도로인지 판단하고, 현재 위치가 고속도로이면 자율 주행을 수행하고, 자율 주행 중 통신부를 통해 현재 위치가 미수신되면 도로의 영상에서 표지판을 인식하고, 영상 내 인식된 표지판의 위치에 기초하여 자 차로의 위치가 고속도로의 본선인지, 분기선인지를 인식하고, 저장부에 저장된 경로 내 표지판들의 표기 정보 및 표지판의 설치 위치를 확인하고, 영상 내 표지판의 표기 정보를 인식하고, 경로 내 표지판들의 표기 정보, 설치 위치 및 인식된 영상 내 표지판의 표기 정보를 비교하여 현재 위치를 예측하고, 예측된 현재 위치에 기초하여 본선 주행 또는 분기선 주행의 수행 여부를 판단하고, 인식된 자 차로의 위치 및 본선, 분기선 주행 여부에 기초하여 자율 주행의 유지 또는 해제를 제어한다.

Description

자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법 {Automatic Driving control apparatus, vehicle having the same and method for controlling the same}
본 발명은 현재 위치를 인식하기 위한 자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법에 관한 것이다.
차량은 차륜을 구동시켜 도로를 주행하는 기계로, 차량에는 탑승자 보호, 운행 보조 및 승차감의 향상을 위한 다양한 장치들이 탑재되어 있다.
또한 차량은 기본적인 주행 기능 외에도 오디오 기능, 비디오 기능, 내비게이션 기능, 공조 제어, 시트 제어, 조명 제어 등의 사용자 편의를 위한 부가적인 기능을 더 수행한다.
이러한 차량에는 내비게이션 기능, 오디오 기능 및 비디오 기능이 통합된 AVN 장치가 마련될 수 있다.
또한 차량은 오디오 기능, 비디오 기능, 내비게이션 기능, 지도 기능, 전화 기능, 라디오 기능, 방송 기능, 문자 메시지 서비스 기능, 인터넷 기능이 가능한 단말기와 통신을 수행한다.
여기서 내비게이션 기능을 수행하는 내비게이션 모드는 다수의 위성위치확인시스템(Global Positioning System: 이하 "GPS"라 함)을 통해 위성들로부터 위치 정보를 각각 제공받아 현재 차량의 위치를 계산하고, 계산된 위치를 지도에 맵 매칭(Map Matching)시켜 표시하고, 사용자로부터 목적지를 입력받아 미리 설정된 경로탐색 알고리즘에 따라 계산된 현재 위치부터 목적지까지의 경로탐색을 수행하고, 탐색된 경로를 지도에 매칭시켜 표시하고, 경로를 따라 사용자를 목적지까지 안내하는 기능이다.
차량은 내비게이션 기능을 이용하여 자율 주행을 수행한다.
차량은 내비게이션 모드 또는 자율 주행 모드 수행 시 GPS 신호의 수신 불가로 자신의 위치를 정확하게 인식하지 못하는 문제점이 있다.
일 측면은 도로 영상 내 표지판의 위치 정보를 이용하여 주행 차로를 인식하고 인식된 주행 차로에 기초하여 이동 정보를 안내하는 자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법을 제공한다.
다른 측면은 표지판의 기재 정보, 도로의 차로의 곡률 및 차선의 타입 중 적어도 하나에 기초하여 주행 차로를 재인식하는 자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법을 제공한다.
일 측면에 따른 자율 주행 제어 장치는 도로의 영상, 장애물의 검출 정보 및 현재 위치를 수신하는 통신부; 및 수신된 현재 위치가 고속도로이면 자율 주행 모드를 수행하고, 자율 주행 모드의 수행 중 현재 위치가 수신되지 않으면 도로의 영상에서 표지판을 인식하고 영상 내의 표지판의 위치에 기초하여 자율 주행 모드의 유지 및 해제를 제어하는 제어부를 포함한다.
자율 주행 제어 장치의 제어부는, 도로의 영상에서 소실점을 획득하고 획득된 소실점의 위치를 기준으로 영상 내 표지판의 위치가 우측이면 자 차로가 본선이라고 인식하고 영상 내 표지판의 위치가 좌측이면 자 차로가 분기선이라고 인식하는 것을 포함한다.
자율 주행 제어 장치는 지도 정보, 지도 내 도로의 명칭, 위치, 종류, 노선 번호를 저장하고, 도로의 표지판의 설치 위치 및 표지판의 표기 정보를 저장하는 저장부를 더 포함하고, 제어부는 내비게이션 모드와 연동하고, 저장부에 저장된 정보에 기초하여 목적지까지의 경로 내 표지판들의 표기 정보 및 표지판의 설치 위치를 확인하고, 영상 내 표지판의 표기 정보를 인식하고, 경로 내 표지판들의 표기 정보, 설치 위치 및 인식된 표지판의 표기 정보를 비교하여 현재 위치를 예측하고, 예측된 현재 위치에 기초하여 본선 주행 또는 분기선 주행의 수행 여부를 판단한다.
자율 주행 제어 장치의 제어부는, 분기선 주행을 수행해야 한다고 판단되면 자율 주행 모드를 해제하고, 본선 주행을 수행해야 한다고 판단되면 자율 주행 모드를 유지시키는 것을 포함한다.
자율 주행 제어 장치의 제어부는, 자 차로가 본선이라고 인식되면 분기선 주행 여부를 판단하고, 분기선 주행을 수행해야 한다고 인식되면 자율 주행 모드를 해제하는 것을 포함한다.
자율 주행 제어 장치의 제어부는, 자 차로가 분기선이라고 판단되면 본선 주행 여부를 판단하고, 본선 주행을 수행해야 한다고 판단되면 주행 방향을 제어하여 본선으로 이동되도록 한다.
자율 주행 제어 장치는 제어부는, 영상 내 표지판의 표기 정보 중 도로의 노선 번호를 인식하고 인식된 노선 번호와 경로 내 노선 번호를 비교하여 자 차로가 본선인지 분기선인지 판단하는 것을 포함한다.
자율 주행 제어 장치의 제어부는, 획득된 소실점에 기초하여 X, Y축을 생성하고, 획득된 소실점, X축과 Y축, 도로의 영상의 픽셀에 기초하여 표지판의 꼭지점의 좌표값을 생성하고, 생성된 좌표값에 기초하여 영상 내 표지판의 위치를 인식하는 것을 더 포함한다.
자율 주행 제어 장치는 자율 주행 모드의 수행 정보를 표시하고, 자율 주행 모드의 해제 시 자율 주행 모드의 해제 정보를 표시하는 표시부를 더 포함한다.
자율 주행 제어 장치는 도로의 영상을 획득하는 영상 획득부; 및 도로의 장애물과의 거리를 검출하는 거리 검출부를 더 포함하는 자율 주행 제어 장치.
자율 주행 제어 장치의 제어부는,영상 내 표지판들 중 자 차량과 가장 근접한 표지판을 확인하고 확인된 표지판의 표기 정보 중 도로의 노선 번호를 인식하고 영상 내 인식된 노선 번호의 위치에 기초하여 자 차로가 본선인지, 분기선인지 인식하는 것을 포함한다.
자율 주행 제어 장치의 제어부는, 영상 내 도로의 차선을 인식하고 인식된 차선에 기초하여 자 차로의 곡률을 판단하고 판단된 곡률에 기초하여 자 차로가 고속도로의 본선인지 분기선인지를 인식하는 것을 포함한다.
자율 주행 제어 장치의 제어부는, 영상 내 도로의 차선을 인식하고 인식된 차선의 타입을 확인하고 확인된 차선의 타입에 기초하여 자 차로가 고속도로의 본선인지 분기선인지를 인식하는 것을 포함한다.
다른 측면에 따른 차량은 현재 위치를 수신하는 통신부; 도로의 영상을 획득하는 영상 획득부; 도로를 주행하는 타 차량과의 거리를 검출하는 거리 검출부; 수신된 현재 위치에 기초하여 현재 위치가 고속도로인지 판단하고, 현재 위치가 고속도로이면 도로의 영상에서 차선을 인식하고, 목적지까지의 경로, 수신된 현재 위치, 인식된 차선 및 타 차량과의 거리에 기초하여 자율 주행을 제어하고, 자율 주행 중 현재 위치가 미수신되면 도로의 영상에서 표지판을 인식하고, 영상 내 인식된 표지판의 위치에 기초하여 자율 주행 유지 및 자율 주행의 해제를 제어하는 자율 주행 제어 장치를 포함한다.
차량의 자율 주행 제어 장치는, 도로의 영상에서 소실점을 획득하고 획득된 소실점의 위치를 기준으로 영상 내 표지판의 위치가 우측이면 자 차로가 본선이라고 인식하고 영상 내 표지판의 위치가 좌측이면 자 차로가 분기선이라고 인식하는 것을 포함한다.
차량의 자율 주행 제어 장치는, 경로 내 표지판들의 표기 정보 및 표지판의 설치 위치를 확인하고, 영상 내 표지판의 표기 정보를 인식하고, 경로 내 표지판들의 표기 정보, 설치 위치 및 인식된 영상 내 표지판의 표기 정보를 비교하여 현재 위치를 예측하고, 예측된 현재 위치에 기초하여 본선 주행 또는 분기선 주행의 수행 여부를 판단하는 것을 포함한다.
차량의 자율 주행 제어 장치는, 자 차로가 본선이라고 인식되면 분기선 주행 여부를 판단하고, 분기선 주행을 수행해야 한다고 판단되면 자율 주행 모드를 해제하고 자율 주행 모드의 해제 정보를 표시하도록 표시부를 제어하는 것을 포함한다.
차량의 자율 주행 제어 장치는, 자 차로가 분기선이라고 인식되면 본선 주행 여부를 판단하고, 본선 주행을 수행해야 한다고 판단되면 주행 방향을 제어하여 본선으로 이동되도록 하는 것을 포함한다.
차량의 자율 주행 제어 장치는, 영상 내 표지판의 표기 정보 중 도로의 노선 번호를 인식하고, 영상 내 차선을 인식하고 인식된 차선의 타입을 확인하고, 인식된 차선에 기초하여 자 차로의 곡률을 판단하고, 인식된 도로의 노선 번호, 차선의 타입 및 자 차로의 곡률 중 적어도 하나에 기초하여 자 차로가 본선인지 분기선인지 재인식하는 것을 포함한다.
또 다른 측면에 따른 차량의 제어 방법은 입력부를 통해 자율 주행 모드 및 목적지가 입력되면 통신부에 수신된 현재 위치와 목적지에 기초하여 경로를 탐색하고, 탐색된 경로에 기초하여 길 안내 정보를 출력하고, 수신된 현재 위치에 기초하여 현재 위치가 고속도로인지 판단하고, 현재 위치가 고속도로이면 자율 주행을 수행하고, 자율 주행 중 통신부를 통해 현재 위치가 미수신되면 도로의 영상에서 표지판을 인식하고, 영상 내 인식된 표지판의 위치에 기초하여 자 차로의 위치가 고속도로의 본선인지, 분기선인지를 인식하고, 저장부에 저장된 경로 내 표지판들의 표기 정보 및 표지판의 설치 위치를 확인하고, 영상 내 표지판의 표기 정보를 인식하고, 경로 내 표지판들의 표기 정보, 설치 위치 및 인식된 영상 내 표지판의 표기 정보를 비교하여 현재 위치를 예측하고, 예측된 현재 위치에 기초하여 본선 주행 또는 분기선 주행의 수행 여부를 판단하고, 인식된 자 차로의 위치 및 본선, 분기선 주행 여부에 기초하여 자율 주행의 유지 또는 해제를 제어한다.
자율 주행의 유지 또는 해제를 제어하는 것은, 자 차로가 본선이라고 인식되면 분기선 주행 여부를 판단하고, 분기선 주행을 수행해야 한다고 판단되면 자율 주행 모드를 해제하며, 자율 주행 모드의 해제 정보를 표시부에 표시하고, 자 차로가 분기선이라고 인식되면 본선 주행 여부를 판단하고, 본선 주행을 수행해야 한다고 판단되면 주행 방향을 제어하여 본선으로 이동되도록 하고 자율 주행을 유지시키는 것을 포함한다.
차량의 제어 방법은 영상 내 표지판의 위치 인식이 불가하면 영상 내 표지판의 표기 정보 중 도로의 노선 번호를 인식하고, 인식된 노선 번호에 기초하여 자차로의 위치를 인식하는 것을 더 포함한다.
차량의 제어 방법은 영상 내 차선을 인식하고, 인식된 차선의 타입을 확인하고, 인식된 차선에 기초하여 자 차로의 곡률을 판단하고, 차선의 타입 및 자 차로의 곡률 중 적어도 하나에 기초하여 자 차로가 본선인지 분기선인지 재인식하는 것을 더 포함한다.
본 발명은 고속도로를 자율 주행할 때GPS 신호의 수신이 양호하지 못해도 도로 영상 내 표지판의 위치를 인식하여 주행 차로를 인식함으로써 고속도로에서의 주행 차로를 정확하게 인식할 수 있다.
즉 본 발명은 고속도로를 자율 주행할 때 주행 차로가 본선인지, IC/JC의 분기선인지 정확하게 인식할 수 있고, IC/JC를 진입해야 할 때 IC/JC 진입 여부를 정확하게 판단할 수 있으며, 이로 인해 고속도로에서의 자율 주행의 사용성을 증대시킬 수 있고, 이에 따라 고속도로에서 안정적으로 자율 주행할 수 있다.
또한 본 발명은 고속도로 지원 기능(HDA:Highway Driving Assist)을 이용한 자율 주행 모드를 해제해야 하는 시점을 정확하게 판단할 수 있고 이로 인해 자율 주행의 오작동 상황을 개선할 수 있다.
또한 본 발명은 주행 차로 인식 시 표지판의 표기 정보인 도로의 노선 번호, 차선 타입 및 차로의 곡률 정보에 기초하여 주행 차로를 재인식할 수 있고, 이로 인해 자율 주행 모드 및 내비게이션 모드의 성능을 향상시킬 수 있다.
이와 같이 본 발명은 내비게이션 모드 및 자율 주행 모드를 수행하는 차량 또는 단말기의 품질 및 상품성을 향상시킬 수 있고 나아가 사용자의 만족도를 높일 수 있으며 제품의 경쟁력을 확보할 수 있다.
도 1은 실시 예에 따른 자율 주행 제어 장치가 마련된 차량의 외관 예시도이다.
도 2는 실시 예에 따른 자율 주행 제어 장치가 마련된 차량의 내부 예시도이다.
도 3은 실시 예에 따른 자율 주행 제어 장치가 마련된 차량의 제어 구성도이다.
도 4는 실시 예에 따른 자율 주행 제어 장치가 마련된 차량의 제어 순서도이다.
도 5는 실시 예에 따른 차량에서 획득된 영상 내 표지판의 위치 인식 예시도이다.
도 6a, 6b는 실시 예에 따른 차량의 본선 위치 및 분기선 위치에서 획득된 영상의 예시도이다.
도 7은 실시 예에 따른 차량에서 획득된 영상 내 표지판의 표기 정보의 예시도이다.
도 8은 실시 예에 따른 차량이 본선 위치일 때 도로의 예시도이다.
도 9는 실시 예에 따른 차량이 분기선 위치일 때 도로의 예시도이다.
도 10은 다른 실시 예에 따른 단말기의 제어 구성도이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부'라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를"포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.
도 1은 실시 예에 따른 자율 주행 제어 장치가 마련된 차량의 외관 예시도이고 도 2는 실시 예에 따른 자율 주행 제어 장치가 마련된 차량의 내부 예시도이다.
차량(1)은 내장과 외장을 갖는 차체(Body)와, 차체를 제외한 나머지 부분으로 주행에 필요한 기계 장치가 설치되는 차대(Chassis)를 포함한다.
도 1 에 도시된 바와 같이 차체의 외장(110)은 프론트 패널(111), 본네트(112), 루프 패널(113), 리어 패널(114), 트렁크(115), 전후좌우 도어(116), 전후좌우 도어(116)에 개폐 가능하게 마련된 윈도우 글래스(117)를 포함한다.
그리고 차체의 외장은 프론트 패널, 본네트, 루프 패널, 리어 패널, 트렁크, 전후좌우 도어의 윈도우 글래스 사이의 경계에 마련된 필러(118)와, 운전자에게 차량(1) 후방의 시야를 제공하는 사이드 미러(119)를 더 포함한다.
도 2에 도시된 바와 같이, 차체의 내장(120)은 탑승자가 앉는 시트(121)와, 대시 보드(122)와, 대시 보드 상에 배치되고 타코미터, 속도계, 냉각수 온도계, 연료계, 방향전환 지시등, 상향등 표시등, 경고등, 안전벨트 경고등, 주행 거리계, 주행 기록계, 자동변속 선택레버 표시등, 도어 열림 경고등, 엔진 오일 경고등, 연료부족 경고등이 배치된 계기판(즉 클러스터, 123)과, 공기조화기의 송풍구와 조절판이 배치되고 오디오 기기가 배치된 센터 페시아(124)를 포함한다.
클러스터(123)은 차량의 주행 정보 및 고장 정보를 표시하는 표시부(123a)를 더 포함할 수 있다. 여기서 주행 정보는 연비 정보, 주행 가능 거리 정보, 총 주행 거리 정보, 주행 모드를 포함할 수 있고, 고장 정보는 타이어 공기압 이상 정보 등을 포함할 수 있다.
센터 페시아(124)에는 오디오 기기, 공기 조화기 및 히터를 제어하기 위한 헤드유닛(125)과, 멀티단자(126) 등이 설치될 수 있다.
여기서 멀티단자(126)는 헤드 유닛(125)과 인접한 위치에 배치될 수 있고, USB 포트, AUX단자를 포함하고, SD슬롯을 더 포함할 수 있다.
멀티단자(126)는 USB 포트를 통해 사용자용 단말기와 통신을 수행하는 것도 가능하다. 여기서 사용자용 단말기는 이동 및 통신이 가능한 디바이스로, 스마트 폰, 노트북, 태블릿 및 웨어러블 디바이스 등을 포함할 수 있다.
차량(1)은 각종 기능의 동작 명령을 입력받기 위한 입력부(127)를 더 포함할 수 있다.
입력부(127)는 헤드 유닛(125) 및 센터페시아(124)에 마련될 수 있고, 각종 기능의 동작 온 오프 버튼, 각종 기능의 설정값을 변경하기 위한 버튼 등과 같은 적어도 하나의 물리적인 버튼을 포함한다.
입력부(127)는 차량용 단말기(130)의 표시부에 일체로 마련된 터치 패널을 포함할 수 있다. 이러한 입력부(127)는 단말기(130)의 표시부에 표시된 버튼의 위치 정보를 입력받는다.
입력부(127)는 차량용 단말기(130)의 표시부에 표시된 커서의 이동 명령 및 선택 명령 등을 입력하기 위한 조그 다이얼 또는 터치 패드를 더 포함하는 것도 가능하다.
여기서 조그 다이얼 또는 터치 패드는 센터페시아 등에 마련될 수 있다.
차량(1)은 헤드 유닛에 마련되고, 차량에서 수행 중인 기능에 대한 정보 및 사용자에 의해 입력된 정보를 표시하는 표시부(128)를 더 포함할 수 있다.
표시부(128)는 플라즈마 디스플레이 패널(Plasma Display Penal), 액정 디스플레이(Liquid Crystal Display: LCD) 패널, 전기 발광(Electro Luminescence: EL) 패널, 전기영동 디스플레이(Electrophoretic Display: EPD) 패널, 전기변색 디스플레이(Electrochromic Display: ECD) 패널, 발광 다이오드(Light Emitting Diode: LED) 패널 또는 유기 발광 다이오드(Organic Light Emitting Diode: OLED) 패널 등으로 마련될 수 있으나, 이에 한정되지는 않는다.
차량은 오디오 기능, 비디오 기능, DMB 기능, 라디오 기능, 내비게이션 모드 및 자율 주행 모드에 대한 정보를 입력받고, 수행 중인 정보를 표시하는 차량용 단말기(130)를 더 포함할 수 있다.
차량용 단말기(130)는 자율 주행 모드 시 전후좌우 방향의 영상을 표시하는 것도 가능하고, 내비게이션 모드와 연동하여 지도 정도 및 길 안내 정보를 표시하는 것도 가능하다.
이러한 차량용 단말기(130)는 대시 보드 상에 거치식으로 설치될 수도 있고 센터 페시아 상에 매립식으로 설치될 수도 있다.
단말기(130)의 표시부는 수행 중인 기능에 대한 정보 및 사용자에 의해 입력된 정보를 표시하는 것도 가능하다.
차량(1)은 센터페시아(124)에 마련되고 조작 위치를 입력받는 변속 레버와, 변속 레버의 주변 또는 헤드 유닛(125)에 위치하고 전자식 주차 브레이크 장치(미도시)의 동작 명령을 입력받는 주차 버튼(EPB 버튼)을 더 포함한다.
차량(1)은 주행 방향을 조절하기 위한 조향 장치의 스티어링 휠(141)과, 사용자의 제동 의지에 따라 사용자에 의해 가압되는 브레이크 페달(142)과, 사용자의 가속 의지에 따라 사용자에 의해 가압되는 엑셀러레이터 페달(143)을 포함할 수 있다(도 2 참조).
스티어링 휠(141)은 차량(1)의 주행 방향을 조절하기 위한 장치로, 운전자에 의해 파지되는 림 및 차량(1)의 조향 장치와 연결되고 림과 조향을 위한 회전축의 허브를 연결하는 스포크를 포함할 수 있다.
아울러 스포크에는 차량(1) 내의 각종 장치, 일례로 오디오 기기 등을 제어하고, 자율 주행 모드 시 주행 속도를 설정하기 위한 조작 장치(미도시)가 마련될 수 있다.
차량은 동력 장치, 차량의 주행 방향을 변경하는 조향 장치, 차량의 제동력을 발생시키는 제동 장치, 차량의 댐핑을 조절하는 현가 장치, 변속 장치, 연료 장치를 더 포함한다. 여기서 동력 장치는 동력을 발생시키는 동력 발생 장치와, 발생된 동력을 차륜에 전달하는 동력 전달 장치를 포함할 수 있다.
도 3은 실시 예에 따른 자율 주행 제어 장치가 마련된 차량의 제어 구성도로, 차량(1)은 단말기(130), 영상 획득부(150), 검출부(160), 자율 주행 제어 장치(170)를 포함한다.
단말기(130)는 오디오 기능, 비디오 기능, DMB 기능, 라디오 기능, 내비게이션 모드 및 자율 주행 모드에 대한 정보를 입력받고, 수행 중인 기능이나 모드에 대한 동작 정보를 표시한다.
본 실시 예의 자율 주행 모드는 차량의 위치가 고속도로일 때에만 자동으로 주행하도록 하는 고속도로 지원 기능(HDA:Highway Driving Assist)을 가진 자율 주행 모드를 포함한다.
단말기(130)는 자율 주행 모드이면 자율 주행 모드와 내비게이션 모드의 동작 정보 및 동작 명령을 수신하고, 자율 주행 모드와 내비게이션 모드의 동작 정보를 표시한다.
즉 단말기(130)는 주행 모드가 자율 주행 모드이면 전후좌우 방향의 영상을 표시하는 것도 가능하고, 내비게이션 모드와 연동하여 지도 정도 및 길 안내 정보를 표시하는 것도 가능하다.
이러한 단말기(130)는 입력부(131)와 표시부(132)를 포함할 수 있다. 이러한 단말기(130)의 입력부는 터치패널일 수 있고, 표시부는 디스플레이 패널일 수 있다.
단말기(130)는 터치 패널과 디스플레이 패널이 일체화된 터치 스크린으로 마련될 수 있다.
아울러 단말기(130)는 표시부인 디스플레이 패널만을 포함하는 것도 가능하고, 이때 입력부(127)를 통해 동작 정보 및 동작 명령을 입력받는 것도 가능하다.
단말기의 입력부(131)는 자율 주행 모드를 수신한다. 아울러 단말기의 입력부(131)는 운전자의 조작 정보에 기초하여 주행하는 수동 주행 모드를 수신하는 것도 가능하다.
단말기의 입력부(131)는 내비게이션 모드 및 목적지를 입력받는 것도 가능하다.
단말기의 표시부(132)는 지도 정보를 표시하고, 경로가 매칭된 지도 정보와 길 안내 정보를 표시하는 것도 가능하다.
단말기의 표시부(132)는 인식된 표지판의 정보를 표시하는 것도 가능하고, 영상 획득부를 통해 획득된 도로의 영상을 표시하는 것도 가능하다.
단말기의 표시부(132)는 자율 주행 모드 수행에 대한 HDA 수행 및 자율 주행 모드의 해제에 대한 HAD 해제의 정보를 표시하는 것도 가능하다.
단말기(130)는 내비게이션 모드 및 자율 주행 모드를 수행하기 위한 제어부(172)를 포함할 수 있다.
아울러, 단말기(130)는 내비게이션 모드 및 자율 주행 모드를 수행하기 위한 제어부(172)와 통신을 수행하고, 통신을 통해 수신된 제어부(172)의 제어 명령에 기초하여 표시 동작을 수행하는 것도 가능하다.
영상 획득부(150)는 도로의 영상을 획득하고, 획득된 영상을 제어부(172)에 전송한다. 여기서 도로의 영상은 자 차량의 주행 방향을 기준으로 전진 방향의 도로의 영상일 수 있다.
영상 획득부(150)는 카메라로, CCD 또는 CMOS 이미지 센서를 포함할 수 있다.
영상 획득부(150)는 전면의 윈도우 글래스에 마련되되 차량 내부의 윈도 글래스에 마련될 수도 있고, 차량 내부의 룸 미러에 마련될 수도 있으며, 루프 패널(113)의 마련되되 외부로 노출되도록 마련될 수도 있다(도 1 참조).
검출부(160)는 자율 주행을 위한 도로 정보와, 자 차량의 위치 인식을 위한 주행 정보를 검출한다.
도로 정보는 도로에 주행 중인 타 차량 및 주정차된 타 차량의 위치와, 그 외 가로수 등과 같은 장애물들의 위치를 포함한다. 여기서 위치는 거리와 방향을 포함할 수 있다.
차량의 주행 정보는 차량의 주행 거리, 주행 속도, 주행 방향에 대한 정보를 포함할 수 있다.
검출부(160)는 주변의 타 차량 및 장애물과의 거리를 검출하는 복수 개의 거리 검출부(161)를 포함한다. 이러한 복수 개의 거리 검출부(161)는 차량의 외장의 전후좌우에 각각 마련될 수 있다(도 1 참조).
이러한 거리 검출부(161)는 라이더 센서를 포함한다.
라이다(LiDAR: Light Detection And Ranging)센서는 레이저 레이다(Laser Radar) 원리를 이용한 비접촉식 거리 검출 센서이다.
라이다 센서는 레이저를 송신하는 송신부와, 센서 범위 내에 존재하는 물체의 표면에 반사되어 돌아오는 레이저를 수신하는 수신부를 포함할 수 있다.
여기서 레이저는 단일레이저 펄스일 수 있다.
거리 검출부(161)는 초음파 센서 또는 레이더 센서를 포함할 수도 있다.
초음파 센서는 초음파를 일정시간 발생시킨 뒤 물체에 반사되어 돌아오는 신호를 검출한다.
초음파 센서는 근거리 범위 내에서 보행자 등의 장애물의 유무를 판별하는데 사용될 수 있다.
레이더(Radar) 센서는 발신 및 수신을 같은 장소에서 행할 때, 전파의 방사에 의하여 생긴 반사파를 이용하여 물체의 위치를 탐지하는 장치이다.
이러한 레이더 센서는 송신한 전파와 수신되는 전파가 겹쳐서 구별이 곤란하게 되는 것을 방지하기 위하여 도플러 효과를 이용하거나 송신전파의 주파수를 시간에 따라 변경하거나 송신전파로 펄스파를 출력하기도 한다.
참고로, 라이다 센서는 레이더(RaDAR: Radio Detecting And Ranging) 센서에 비해 횡방향에 대한 감지 정확도가 높기 때문에 전방에 통로가 존재하는지 판단하는 과정의 정확도를 높일 수 있다.
검출부(160)는 차량의 조향각을 검출하기 위한 스티어링 휠의 각속도를 검출하는 각속도 검출부(162)와, 자 차량의 주행 속도를 검출하는 속도 검출부(163)와, 차량의 요 모멘트를 검출하는 요레이트 검출부(164)와, 차량의 가속도를 검출하는 가속도 검출부(165) 중 적어도 하나를 더 포함하는 것도 가능하다.
여기서 자 차량의 주행 속도는 차체의 속도일 수 있다.
속도 검출부(163)는 전후좌우의 차륜에 마련된 휠 속도 센서 또는 차량의 가속도를 검출하는 가속도 센서일 수 있다.
차량은 외부 조도를 검출하는 조도 검출부(166)를 더 포함하는 것도 가능하다.
자율 주행 제어 장치(170)는 입력부의 입력 정보, 영상 획득부(150)의 영상, 검출부(160)의 검출 정보에 기초하여 차량의 자율 주행을 제어한다.
이러한 자율 주행 제어 장치(170)는 차량의 현재 위치가 고속도로일 때 자율 주행을 수행하고, 고속도로에서 다른 도로로 이동해야 할 때 자율 주행 모드를 해제한다.
자율 주행 제어 장치(170)는 통신부(171), 제어부(172), 저장부(173) 및 구동부(174)를 포함한다.
통신부(171)는 영상 획득부(150), 검출부(160), 제어부(172)에 연결되어 있고, 영상 획득부(150)에서 획득된 영상 정보와, 검출부(160)에서 검출된 검출정보를 제어부(172)에 전송한다.
통신부(171)는 외부 장치와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어 근거리 통신 모듈, 유선 통신 모듈 및 무선 통신 모듈 중 적어도 하나를 포함할 수 있다.
근거리 통신 모듈은 블루투스 모듈, 적외선 통신 모듈, RFID(Radio Frequency Identification) 통신 모듈, WLAN(Wireless Local Access Network) 통신 모듈, NFC 통신 모듈, 지그비(Zigbee) 통신 모듈 등 근거리에서 무선 통신망을 이용하여 신호를 송수신하는 다양한 근거리 통신 모듈을 포함할 수 있다.
유선 통신 모듈은 캔(Controller Area Network; CAN) 통신 모듈, 지역 통신(Local Area Network; LAN) 모듈, 광역 통신(Wide Area Network; WAN) 모듈 또는 부가가치 통신(Value Added Network; VAN) 모듈 등 다양한 유선 통신 모듈뿐만 아니라, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), DVI(Digital Visual Interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 다양한 케이블 통신 모듈을 포함할 수 있다.
무선 통신 모듈은 와이파이(Wifi) 모듈, 와이브로(Wireless broadband) 모듈 외에도, GSM(global System for Mobile Communication), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), UMTS(universal mobile telecommunications system), TDMA(Time Division Multiple Access), LTE(Long Term Evolution) 등 다양한 무선 통신 방식을 지원하는 무선 통신 모듈을 포함할 수 있다.
통신부(171)는 복수 개의 위성과 통신을 수행하는 GPS(Global Positioning System) 수신기(171a)를 더 포함할 수 있다.
제어부(172)는 단말기의 입력부(131)를 통해 선택된 내비게이션 모드의 선택 신호가 수신되면 GPS 수신기(171a)에 수신된 현재 위치를 확인하고, 단말기의 입력부(131)를 통해 선택된 목적지를 확인하며 현재 위치에서 목적지까지의 경로를 탐색하고 탐색된 경로를 표시한다.
제어부(172)는 단말기의 입력부(131)를 통해 선택된 자율 주행 모드의 선택 신호가 수신되면 영상 획득부(150), 검출부(160) 및 통신부(171)의 동작을 활성화시키고, 내비게이션 모드와 연동을 수행한다.
즉 제어부(172)는 내비게이션 모드에 기초하여 고속도로에 진입한 것으로 판단되면 고속도로 지원 기능(HDA:Highway Driving Assist)을 이용하여 자율 주행 모드를 수행한다.
제어부(172)는 자율 주행 모드의 수행 시 영상 획득부를 통해 획득된 자 차량의 전후좌우 방향의 영상을 표시하도록 하는 것도 가능하고, 내비게이션 모드와 연동하여 경로가 매칭된 지도 정도 및 길 안내 정보를 표시하도록 하는 것도 가능하다.
아울러 차량은 센터페시아에 마련된 버튼, 터치 패드, 조그 다이얼 등을 통해 내비게이션 모드를 선택받고, 목적지를 입력받는 것도 가능하고 자율 주행 모드를 선택받는 것도 가능하다.
제어부(172)는 내비게이션 정보 중 경로와 GPS 수신기(171a)에 수신된 현재 위치를 확인하고, 현재 위치가 고속도로라고 판단되면 조향 장치, 제동 장치 및 동력 장치를 제어하여 자율 주행이 수행되도록 한다.
여기서 내비게이션 정보는 지도 정보를 포함하고 지도 내 도로의 명칭, 도로의 종류, 도로의 노선 번호를 더 포함하며, 표지판에 표기된 표기 정보 및 표지판이 설치된 설치 위치를 더 포함한다.
표지판의 표기 정보는, 방향, 지명, 도로의 노선 번호, 예고거리 등을 포함할 수 있다.
제어부(172)는 고속도로에 진입하였다고 판단되면 클러스터의 표시부(123a)를 통해 HDA(Highway Driving Assist) 수행에 대한 정보가 표시되도록 제어하고, 고속도로의 분기선에 진입하였다고 판단되면 HDA(Highway Driving Assist) 해제에 대한 정보가 표시되도록 한다.
제어부(172)는 헤드 유닛에 마련된 표시부(128) 또는 단말기의 표시부(132)를 통해 HDA(Highway Driving Assist) 수행 및 HDA(Highway Driving Assist) 해제에 대한 정보를 텍스트로 표시하도록 하는 것도 가능하다.
즉 제어부(172)는 차량 내 표시부를 통해 자율 주행 모드의 수행 및 해제 정보를 표시할 수 있다.
제어부(172)는 자율 주행 모드 수행 시 GPS 수신기(171a)의 신호 수신 상태를 확인하고, GPS 수신기(171a)의 신호 수신 상태가 정상 상태라고 판단되면 영상 획득부(150)의 영상과 검출부(160)의 검출 정보에 기초하여 제동 장치, 동력 장치 및 조향 장치를 제어함으로써 차량의 주행 및 조향이 자동으로 수행되도록 한다.
여기서 GPS 수신기(171a)의 신호 수신 상태는 위치 신호의 수신 여부 및 수신 강도를 포함할 수 있다.
좀 더 구체적으로, 제어부(172)는 자율 주행 모드 수행 시에 미리 설정된 주행 속도로 주행하도록 제어하거나, 사용자에 의해 입력된 주행 속도로 주행하도록 제어할 수 있다.
제어부(172)는 검출부의 검출 정보 중 장애물과의 거리 정보에 기초하여 자 차로의 좌측 방향과 우측 방향의 차로를 주행하는 타 차량의 위치를 확인하고, 확인된 타 차량의 위치에 대응하는 타 차량의 거리를 확인한다. 아울러 제어부(172)는 확인된 타 차량의 거리에 기초하여 자 차량의 속도를 조절한다.
제어부(172)는 자율 주행 모드 수행 중 도로의 영상 정보가 수신되면 영상 처리를 수행하여 도로의 차선을 인식하고, 인식된 차선의 위치 정보에 기초하여 자 차량이 주행하는 차로를 인식한다.
제어부(172)는 자율 주행 모드 수행 중 타 차량과의 거리, 현재 위치, 인식된 차선, 인식된 차로 및 탐색된 경로에 기초하여 차로가 유지 또는 변경되도록 차량의 주행 방향(즉 조향)을 제어한다.
제어부(172)는 자율 주행 모드 수행 중 GPS 수신기(171a)에 수신된 현재 위치와 탐색된 경로에 기초하여 인터체인지나 분기점으로 이동해야 한다고 판단되면 자율 주행 모드의 해제 정보가 표시부에 표시되도록 제어한다.
제어부(172)는 자율 주행 모드가 해제되었을 때 제동 장치와 동력 장치만을 제어하여 차량의 속도가 자동으로 조절되도록 하고, 운전자에 의해 조작된 스티어링 휠의 조향 정보에 기초하여 조향 장치를 제어함으로써 차량의 주행 방향이 조절되도록 한다.
아울러 제어부(172)는 자율 주행 모드가 해제되었을 때 운전자에 의해 조작된 브레이크 페달의 조작 정보, 엑셀러레이터 페달의 조작 정보에 기초하여 동력장치와 제동 장치를 제어함으로써 차량의 속도가 조절되도록 하고, 운전자에 의해 조작된 스티어링 휠의 조향 정보에 기초하여 조향 장치를 제어함으로써 차량의 주행 방향이 조절되도록 하는 것도 가능하다.
제어부(172)는 자율 주행 모드 수행 시 GPS 수신기의 신호 수신 상태가 이상 상태라고 판단되면 영상 획득부(150)를 통해 획득된 도로의 영상의 영상 처리를 수행하고 영상 내 표지판을 인식하고 영상 내에서 인식된 표지판의 위치를 확인하고 확인된 표지판의 위치에 기초하여 자 차량의 차로가 고속도로 상의 본선인지 인터체인지(IC)나 분기점(JC)의 분기선인지를 판단한다.
여기서 분기선은, 인터체인지(IC, 나들목)나 분기점(JC)으로 진출하기 위한 선으로, 본선에서 분기된 선일 수 있다.
좀 더 구체적으로, 제어부(172)는 획득된 영상 내의 소실점을 획득하고 획득된 소실점을 기준으로 인식된 표지판의 위치가 좌측인지 우측인지를 확인하고 표지판의 위치가 좌측이면 자 차량의 위치를 분기선으로 인식하고, 표지판의 위치가 우측이면 자 차량의 위치를 본선으로 인식한다.
여기서 영상 내의 소실점은 카메라의 소실점일 수 있다.
제어부(172)는 획득된 영상 내의 표지판의 위치와 탐색된 경로의 표지판의 위치에 기초하여 자 차량의 위치가 분기선인지 본선인지 인식하는 것도 가능하다.
제어부(172)는 인식된 표지판의 표기 정보와 탐색된 경로의 표지판의 표기 정보를 비교하여 분기선으로 이동해야 하는지를 판단한다.
좀 더 구체적으로 제어부(172)는 탐색된 경로의 표지판의 표기 정보 중 인식된 표지판의 표기 정보와 대응하는 경로의 표지판의 표기 정보를 확인하고 확인된 경로의 표지판의 설치 위치를 확인하고 확인된 표지판의 설치 위치에 기초하여 자 차량의 현재 위치를 예측하고 예측된 자 차량의 현재 위치에 기초하여 자 차량의 차로를 본선으로 유지해야 하는지, 분기선으로 이동해야 하는지를 판단한다.
제어부(172)는 탐색된 경로의 표지판의 표기 정보 중 인식된 표지판의 표기 정보와 대응하는 경로의 표지판의 표기 정보를 확인하고 확인된 경로의 표지판의 표기 정보에 기초하여 자 차량의 현재 위치를 예측하고 예측된 자 차량의 현재 위치에 기초하여 자 차량의 차로를 본선으로 유지해야 하는지, 분기선으로 이동해야 하는지를 판단하는 것도 가능하다.
즉 제어부(172)는 탐색된 경로 내의 표지판의 표기 정보와 영상 획득부(150)에 의해 인식된 표지판의 표기 정보를 비교하여 자 차량의 차로를 본선 또는 분기선으로 이동하도록 제어한다.
제어부(172)는 본선으로 주행해야 한다고 판단되면 자율 주행 모드를 유지시키고, 분기선으로 주행해야 한다고 판단되면 차량 내 표시부를 통해 자율 주행 모드의 해제 정보를 표시하도록 제어함으로써 분기선으로 이동하도록 하고, 분기선에서 운전자가 수동으로 운전할 수 있도록 한다.
제어부(172)는 차량이 본선에 위치한 상태에서 분기선으로 이동해야 할 때 차량이 분기선으로 자율 주행을 통해 이동하도록 하고, 분기선으로 이동이 완료된 후에는 운전자가 운전하도록 하는 것도 가능하다.
제어부(172)는 차량이 본선에 위치한 상태에서 분기선으로 이동해야 때 운전자가 분기선으로 이동하도록 안내 정보를 출력하는 것도 가능하다.
여기서 안내 정보는 차량에 마련된 표시부 또는 차량에 마련된 스피커(미도시)를 통해 출력할 수 있다.
제어부(172)는 자율 주행 모드 수행 시 GPS 수신기(171a)의 신호 수신 상태가 이상 상태라고 판단되면 영상 획득부(150)를 통해 획득된 도로의 영상의 영상 처리를 수행하고 영상 내 표지판들 중 자 차량과 가장 가까운 표지판을 확인하고, 확인된 표지판의 표기 정보 중 도로의 노선 번호를 인식하고 인식된 노선 번호와 탐색된 경로 내 표지판의 노선 번호에 기초하여 자 차량의 차로가 고속도로 상의 본선인지 인터체인지(IC)나 분기점(JC)의 분기선인지를 판단하는 것도 가능하다.
아울러 제어부(172)는 조도 검출부(166)에서 검출된 조도가 기준 조도 미만이면 표지판에 표기된 도로의 노선 번호에 기초하여 자 차량의 차로를 인식하는 것도 가능하다.
즉 제어부(172)는 영상 내 표지판의 바탕 색상 인식과 글씨 색상 인식을 통해 표지판인지 인식하고, 이때 검출된 조도가 기준 조도 미만이면 표지판의 꼭지점 인식을 생략하고 영상 내 표지판의 노선 번호를 인식하여 자 차량의 차로를 인식한다.
아울러 제어부(172)는 영상 내 표지판의 바탕 색상 인식과 글씨 색상 인식을 통해 표지판인지 인식하고, 표지판이라고 인식되면 표지판의 꼭지점을 인식하고 이때 표지판의 꼭지점이 미인식되면 영상 내 표지판의 노선 번호를 인식하여 자 차량의 차로를 인식하는 것도 가능하다.
제어부(172)는 영상 내 소실점의 위치와 영상 내 표지판의 노선 번호의 위치에 기초하여 자 차량의 차로를 인식하는 것도 가능하다.
제어부(172)는 자율 주행 모드 수행 시 GPS 수신기의 신호 수신 상태가 이상 상태라고 판단되면 영상 획득부(150)를 통해 획득된 도로의 영상의 내 표지판들 중 자 차량과 가장 가까운 표지판을 확인하고, 확인된 표지판의 표기 정보 중 지명을 인식하고 인식된 지명과 탐색된 경로 내 표지판의 지명에 기초하여 자 차량의 차로가 고속도로 상의 본선인지 인터체인지(IC)나 분기점(JC)의 분기선인지를 판단하는 것도 가능하다.
제어부(172)는 영상 내 표지판의 위치 정보에 기초하여 자 차로가 본선인지 분기선인지 인식하고, 차로의 곡률 및 차선의 타입 중 적어도 하나에 기초하여 자 차로의 위치를 보정한다.
좀 더 구체적으로, 제어부(172)는 자율 주행 모드 수행 시 GPS 수신기(171a)의 신호 수신 상태가 이상 상태라고 판단되면 영상 획득부(150)를 통해 획득된 영상에서 도로의 차선을 인식하고, 인식된 차선에 기초하여 자 차로를 인식하고 인식된 자 차로의 곡률을 판단하고, 판단된 자 차로의 곡률에 기초하여 자 차량의 위치가 고속도로 상의 본선인지 인터체인지(IC)나 분기점(JC)의 분기선인지를 판단하는 것도 가능하다.
즉, 제어부(172)는 자 차로의 곡률이 기준 곡률 이상이면 본선이라고 판단하고, 자 차로의 곡률이 기준 곡률 미만이면 분기선이라고 판단한다.
또한 제어부(172)는 자 차로와, 자 차로의 좌우 차로들 중 곡률이 가장 큰 차로를 본선으로 판단하고, 곡률이 작은 차로를 분기선이라고 판단하는 것도 가능하다.
제어부(172)는 인식된 표지판의 표기 정보에 기초하여 탐색된 경로 내 자 차량의 위치를 예측하고 탐색된 경로 내 현재 위치에 대응하는 도로의 본선과 분기선의 곡률을 각각 확인하고, 영상 내 자 차로의 곡률을 판단하고, 영상 인식에 의한 자 차로의 곡률과 탐색된 경로 내 본선과 분기선의 곡률에 기초하여 자 차량의 차로가 고속도로 상의 본선인지 인터체인지(IC)나 분기점(JC)의 분기선인지를 판단하는 것도 가능하다.
아울러 제어부(172)는 속도 검출부(163) 또는 가속도 검출부(165) 의해 검출된 속도 정보에 기초하여 신호 수신 상태가 이상 상태인 시점부터 이동한 차량의 주행 거리를 예측하고, 확인된 위치, 주행 거리 및 탐색된 경로에 기초하여 현재 위치를 예측하고 탐색된 경로 내 도로 중 예측된 현재 위치의 도로의 곡률을 확인하는 것도 가능하다.
제어부(172)는 GPS 수신기의 신호 수신 상태가 정상 상태일 때 마지막으로 수신된 위치를 확인하고, 각속도 검출부(162)에서 검출된 각속도에 기초하여 조향각을 판단하고 판단된 조향각에 기초하여 자 차로의 곡률을 예측하는 것도 가능하다.
제어부(172)는 속도 검출부(163)에서 검출된 전후좌우 차륜의 휠 속도를 확인하고 확인된 전후좌우 휠 속도의 차이에 기초하여 차량의 조향각을 판단하고 판단된 조향각에 기초하여 자 차로의 곡률을 예측하는 것도 가능하다.
제어부(172)는 요 레이트 검출부(164)에서 검출된 요 레이트에 기초하여 차량의 요 모멘트를 판단하고 판단된 요 모멘트에 기초하여 자 차로의 곡률을 판단하는 것도 가능하다.
제어부(172)는 가속도 검출부(165)에서 검출된 가속도 정보에 기초하여 자 차로의 곡률을 예측하는 것도 가능하다.
제어부(172)는 자율 주행 모드 수행 시 GPS 수신기(171a)의 신호 수신 상태가 이상 상태라고 판단되면 영상 획득부(150)를 통해 획득된 영상 내 도로의 차선을 인식하고, 인식된 차선에 기초하여 자 차로를 인식하고 인식된 자 차로의 양 측의 차선의 타입이 점선인지 실선인지 인식하고 인식된 차선의 타입에 기초하여 자 차량의 차로가 고속도로 상의 본선인지 인터체인지(IC)나 분기점(JC)의 분기선인지를 판단하는 것도 가능하다.
즉 제어부(172)는 자 차로의 좌측 차선이 점선이거나, 자 차로의 우측 차선이 점선과 실선의 복선이면 자 차로의 위치가 본선이라 판단한다.
제어부(172)는 자 차로의 좌측 차선이 점선이고 우측 차선이 실선이면 자 차로의 위치가 본선이라 판단하고, 좌측 차선이 점선이고 우측 차선이 점선과 실선의 복선이면 자 차로의 위치가 본선이라 판단하는 것도 가능하다.
제어부(172)는 자 차로의 우측 차선이 점선과 실선의 복선이면 자 차로의 위치가 본선이라 판단하는 것도 가능하다.
제어부(172)는 자 차로의 양쪽 차선이 실선이거나, 자 차로의 좌측 차선이 점선과 실선의 복선이면 자 차로의 위치가 분기선이라 판단한다.
제어부(172)는 자율 주행 모드 수행 시 GPS 수신기의 신호 수신 상태가 이상 상태라고 판단되면 영상 획득부(150)를 통해 획득된 자 차로의 양쪽 차선을 인식하고, 인식된 차선과 탐색된 경로 내 예측된 현재 위치의 도로의 차선 정보에 기초하여 자 차량의 위치가 고속도로 상의 본선인지 인터체인지(IC)나 분기점(JC)의 분기선인지를 판단하는 것도 가능하다.
아울러 제어부(172)는 스티어링 휠의 조향 정보에 기초하여 조향 장치의 제어 명령을 생성하고, 브레이크 페달의 가압 정보에 기초하여 제동 장치의 제어 명령을 생성하며, 엑셀러레이터 페달의 가압 정보에 기초하여 동력 장치의 제어 명령을 생성하고, 생성된 제어 명령을 각각의 장치에 전달한다.
이러한 제어부(172)는 CPU 또는 MCU일 수 있고, 프로세서일 수 있다.
제어부(172)는 차량 내 구성요소들의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리(미도시), 및 메모리에 저장된 데이터를 이용하여 전술한 동작을 수행하는 프로세서(미도시)로 구현될 수 있다. 이때, 메모리와 프로세서는 각각 별개의 칩으로 구현될 수 있다. 또는, 메모리와 프로세서는 단일 칩으로 구현될 수도 있다.
아울러 저장부(173)는 지도 정보, 지도 내 도로 명칭, 도로 종류, 도로의 노선 번호를 저장하고, 도로의 표지판의 설치 위치와 표지판의 표기 정보를 저장한다.
저장부(173)는 지도 내 차로의 곡률 정보 및 차선의 타입 등의 도로 정보를 더 저장한다.
저장부(173)는 캐쉬, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 및 플래쉬 메모리(Flash memory)와 같은 비휘발성 메모리 소자 또는 RAM(Random Access Memory)과 같은 휘발성 메모리 소자 또는 하드디스크 드라이브(HDD, Hard Disk Drive), CD-ROM과 같은 저장 매체 중 적어도 하나로 구현될 수 있으나 이에 한정되지는 않는다. 저장부는 제어부와 관련하여 전술한 프로세서와 별개의 칩으로 구현된 메모리일 수 있고, 프로세서와 단일 칩으로 구현될 수도 있다.
구동부(174)는 제어부(172)의 제어 명령에 기초하여 제동 장치, 동력 장치 및 조향 장치 중 적어도 하나를 동작시킨다.
도 1에 도시된 차량의 구성 요소들의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성 요소들의 상호 위치는 시스템의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
한편, 도 3 에서 도시된 각각의 구성요소는 소프트웨어 및/또는 Field Programmable Gate Array(FPGA) 및 주문형 반도체(ASIC, Application Specific Integrated Circuit)와 같은 하드웨어 구성요소를 의미한다.
도 4는 실시 예에 따른 차량의 제어 방법의 순서도로, 도 5 내지 도 9를 참조하여 설명한다.
차량은 센터페시아에 마련된 입력부(127) 또는 단말기의 입력부(131)를 통해 자율 주행 모드가 선택(201)되면 내비게이션 모드와 연동을 수행한다.
차량은 GPS 수신기(171a)에 수신된 현재 위치를 확인(202)하고, 센터페시아에 마련된 입력부(127) 또는 단말기의 입력부(131)를 통해 입력된 목적지를 확인하며 현재 위치에서 목적지까지의 경로를 탐색하고 탐색된 경로를 지도에 매칭시켜 단말기의 표시부(132)를 통해 표시한다.
차량은 지도 정보와 확인된 현재 위치에 기초하여 고속도로에 진입하였는지 판단(203)하고, 고속도로에 진입하였다고 판단되면 클러스터의 표시부(123a), 헤드 유닛에 마련된 표시부(128) 또는 단말기의 표시부(132)를 통해 HDA(Highway Driving Assist) 수행에 대한 정보를 표시하고 고속도로 지원 기능(HDA:Highway Driving Assist)을 이용하여 자율 주행 모드를 수행(204)한다.
차량은 자율 주행 모드 수행 중 GPS 수신기의 신호 수신 상태가 정상 상태인지 이상 상태인지를 판단한다.
즉 차량은 GPS 수신기(171a)를 통해 현재 위치에 대한 신호가 정상적으로 수신되는지를 판단(205)한다.
여기서 위치 신호가 정상적으로 수신되었는지 판단하는 것은, GPS 수신기(171a)의 신호 수신 여부 및 신호 강도에 기초하여 위치 신호가 정상적으로 수신되었는지를 판단하는 것을 포함한다.
차량은 GPS 수신기에 위치 신호가 정상으로 수신되었다고 판단되면 GPS 수신기에 수신된 현재 위치를 확인하고 확인된 현재 위치와 탐색된 경로에 기초하여 자율 주행을 제어한다.
좀 더 구체적으로, 차량은 자율 주행 모드 수행 중 미리 설정된 주행 속도로 주행하도록 제어하거나, 사용자에 의해 입력된 주행 속도로 주행하도록 제어할 수 있다.
차량은 자율 주행 모드 수행 중 영상 획득부에서 획득된 도로의 영상이 수신되면 영상 처리를 수행하여 도로의 차선을 인식하고, 인식된 차선에 기초하여 자 차로로 주행하고, 거리 검출부(161)에서 검출된 장애물과의 거리 정보에 기초하여 자 차로의 전후좌우 방향의 타 차량의 위치를 확인하고, 확인된 타 차량의 위치에 대응하는 타 차량의 거리를 확인하며 확인된 타 차량의 거리에 기초하여 자 차량의 속도를 조절하면서 자율 주행을 수행한다.
차량은 자율 주행 모드 수행 중 타 차량과의 거리, 확인된 현재 위치, 인식된 차선, 인식된 차로 및 탐색된 경로에 기초하여 자 차로를 유지 또는 변경하면서 자율 주행을 수행한다.
차량은 자율 주행 모드의 수행 중 자 차량의 전후좌우 방향의 영상을 단말기의 표시부에 표시하는 것도 가능하고, 경로가 매칭된 지도 정도 및 길 안내 정보를 표시부에 표시하는 것도 가능하다.
그리고 차량은 자율 주행 모드 수행 중 현재 위치를 확인(206)하고 확인된 현재 위치와 탐색된 경로에 기초하여 분기선으로 이동해야 하는지 판단(215)하고 분기선으로 이동해야 한다고 판단되면 자율 주행 모드를 해제하고 자율 주행 모드의 해제 정보를 표시부에 표시(216)한다.
차량은 자율 주행 모드가 해제되었을 때 제동 장치와 동력 장치만을 제어하여 주행 속도를 자동으로 조절하고, 운전자에 의해 조작된 스티어링 휠(141)의 조향 정보에 기초하여 조향 장치를 제어함으로써 차량의 주행 방향을 조절한다.
아울러 차량은 자율 주행 모드가 해제되었을 때 운전자에 의해 조작된 브레이크 페달(142)의 조작 정보, 엑셀러레이터 페달(143)의 조작 정보에 기초하여 동력장치와 제동 장치를 제어함으로써 주행 속도를 조절하고, 운전자에 의해 조작된 스티어링 휠(141)의 조향 정보에 기초하여 조향 장치를 제어함으로써 차량의 주행 방향을 변경하는 것도 가능하다.
차량은 자율 주행 모드 수행 중 GPS 수신기(171a)에 위치 신호가 정상적으로 수신되지 않는다고 판단(즉, 이상 상태로 판단)되면 영상 획득부(150)를 통해 획득된 도로의 영상의 영상 처리를 수행하고 영상 내 표지판을 인식(207)한다.
여기서 표지판을 인식하는 것은, 표지판의 바탕 색상(녹색)과 표지판의 글씨 색상(흰색)을 인식함으로써 영상 내 도로의 시설물 중 표지판을 인식하는 것을 포함한다.
차량은 영상 내 표지판의 위치를 확인(208)하고 확인된 표지판의 위치에 기초하여 자 차량의 위치가 고속도로 상의 본선인지 인터체인지(IC)나 분기점(JC)의 분기선인지를 판단한다.
여기서 분기선은, 인터체인지(IC, 나들목)나 분기점(JC)으로 진출하기 위한 선으로, 본선에서 분기된 선일 수 있다.
도 5에 도시된 바와 같이, 차량은 획득된 영상(Im) 내의 소실점(P)을 획득하고 획득된 소실점(P)을 기준으로 가로를 X축, 세로를 Y축으로 설정하고, 소실점의 좌표를 (0, 0)으로 설정하며, 획득된 소실점(P)을 기준으로 인식된 표지판의 위치가 좌측인지 우측인지를 확인하고, 표지판의 위치가 우측이면 자 차량의 차로를 본선으로 인식하며 표지판의 위치가 좌측이면 자 차량의 차로를 분기선으로 인식한다.
여기서 영상 내의 소실점은 카메라의 소실점일 수 있다.
아울러 차량은 복수 개의 표지판의 꼭지점을 인식하고 설정된 X축, Y축과 소실점을 기준으로 복수 개의 표지판의 꼭지점의 좌표값을 생성하고, 생성된 좌표값들 중 적어도 하나의 좌표값을 선택하고 선택된 좌표값 중 X축 값에 기초하여 자 차량의 차로를 인식하는 것도 가능하다.
X축, Y축의 좌표값은 소실점의 픽셀에서 표지판의 꼭지점까지의 영상의 픽셀 개수에 기초하여 설정될 수 있다.
아울러 차량은 생성된 좌표값들에 기초하여 자 차량과 가장 가까운 표지판을 확인하고 확인된 가장 가까운 표지판을 선택하고, 선택된 표지판의 꼭지점에 대한 좌표를 확인하되, 선택된 표지판의 네 꼭지점 (X1, Y1), (X1, Y2), (X2, Y1), (X2, Y2) 중 어느 하나의 꼭지점의 X값으로부터 표지판의 위치를 확인하는 것도 가능하다.
즉 차량은 X값이 음수인지 양수인지에 따라 표지판의 위치가 좌측인지 우측인지 알 수 있다.
도 6a에 도시된 바와 같이, 영상 내 소실점(P)을 획득하고, 영상 내의 표지판들 중 차량과 가장 가까운 표지판(2a)을 선택하고 선택된 표지판(2a)의 X축 좌표 값들이 소실점을 기준으로 양의 방향에 위치하면(즉 양수이면), 영상 내 표지판의 위치가 우측에 있다고 판단하고, 자 차량의 차로를 본선으로 인식한다.
도 6b에 도시된 바와 같이, 영상 내 소실점(P)을 획득하고, 영상 내의 표지판들 중 차량과 가장 가까운 표지판(2b)을 선택하고 선택된 표지판(2b)의 X축 좌표 값들이 소실점을 기준으로 음의 방향에 위치하면(즉 음수이면), 영상 내 표지판(2b)의 위치가 좌측에 있다고 판단하고, 자 차량의 차로를 분기선으로 인식한다.
차량은 영상 내 표지판들 중 자 차량과 가장 가까운 표지판을 확인하고, 확인된 표지판의 표기 정보 중 도로의 노선 번호를 인식하고 인식된 노선 번호와 탐색된 경로 내 표지판의 노선 번호에 기초하여 자 차량의 위치가 고속도로 상의 본선인지 인터체인지(IC)나 분기점(JC)의 분기선인지를 판단하는 것도 가능하다.
도 7에 도시된 바와 같이, 차량은 가장 가까운 표지판이 좌측 표지판(2a)이라고 판단되면 좌측 표지판(2a)에 표기된 표기 정보인 도로의 노선 번호(A1)를 확인하고, 확인된 노선 번호와 탐색된 경로 내 표지판의 노선 번호를 비교하여 확인된 노선 번호와 탐색된 경로 내 표지판의 노선 번호가 동일하면 차량의 위치가 본선이라고 인식한다.
도 7에 도시된 바와 같이, 차량은 가장 가까운 표지판이 우측 표지판(2b)이라고 판단되면 우측 표지판(2a)에 표기된 표기 정보인 도로의 노선 번호(A2)를 확인하고, 확인된 노선 번호와 탐색된 경로 내 표지판의 노선 번호를 비교하여 확인된 노선 번호와 탐색된 경로 내 표지판의 노선 번호가 동일하면 차량의 위치가 분기선이라고 인식한다.
아울러 차량은 조도 검출부(166)에 의해 검출된 조도가 기준 조도보다 낮으면 표지판에 표기된 도로의 노선 번호에 기초하여 자 차량의 위치를 인식하는 것도 가능하다.
차량은 차로의 곡률 및 차선의 타입 중 적어도 하나에 기초하여 자 차로의 위치를 재인식(211)한다.
여기서 차로의 곡률 및 차선의 타입 중 적어도 하나에 기초하여 자 차로의 위치를 인식하는 것을 추측항법이라고 한다.
즉 차량은 추측항법을 이용하여 자 차로의 위치를 재인식함으로써 자 차로의 인식 정확도를 향상시킬 수 있다.
좀 더 구체적으로, 차량은 영상 획득부(150)를 통해 획득된 도로의 차선을 인식하고, 인식된 차선에 기초하여 자 차로를 인식하며 인식된 자 차로의 곡률을 획득하고, 획득된 곡률에 기초하여 본선인지 분기선인지를 인식한다.
도 8 및 도 9에 도시된 바와 같이, 차량은 획득된 자 차로의 곡률(c1)과 기준 곡률을 비교하며 자 차로의 곡률이 기준 곡률 이상이면 자 차로를 본선(R1)이라고 인식하고, 자 차로의 곡률(c2)이 기준 곡률 미만이면 자 차로를 분기선(R2)이라고 인식한다.
또한 차량은 주행 중인 자 차로, 자 차로의 좌측 차로, 자 차로의 우측 차로의 곡률을 각각 획득하고 획득된 차로의 곡률들 중 곡률이 가장 큰 차로를 본선으로 인식하고, 곡률이 작은 차로를 분기선이라고 인식하는 것도 가능하다.
또한 차량은 영상을 통해 인식된 표지판의 표기 정보, 탐색된 경로 내 표지판의 표기 정보 및 표지판의 설치 위치에 기초하여 자 차량의 위치를 예측하고 탐색된 경로 내 현재 위치에 대응하는 도로의 본선과 분기선의 곡률을 각각 확인하고, 영상 내 자 차로의 곡률을 판단하고, 영상 인식에 의한 자 차로의 곡률과 탐색된 경로 내 본선과 분기선의 곡률에 기초하여 자 차량의 위치가 고속도로 상의 본선인지 인터체인지(IC)나 분기점(JC)의 분기선인지를 인식하는 것도 가능하다.
아울러 차량은 신호 수신 상태가 이상 상태이면 마지막으로 수신된 차량의 위치를 확인하고, 신호 수신 상태가 이상 상태인 시점부터 속도 검출부(163) 또는 가속도 검출부(165) 의해 검출된 검출 정보를 확인하고 확인된 검출 정보에 기초하여 차량의 주행 속도를 획득하고 획득된 주행 속도에 기초하여 차량의 주행 거리를 예측하고, 마지막으로 확인된 차량의 위치, GPS 수신기가 이상 상태인 시점부터 주행한 주행 거리 및 탐색된 경로에 기초하여 차량의 현재 위치를 예측하고 탐색된 경로 내 예측된 현재 위치의 도로의 곡률을 확인하는 것도 가능하다.
또한 차량은 각속도 검출부에서 검출된 각속도에 기초하여 조향각을 판단하고 판단된 조향각에 기초하여 자 차로의 곡률을 획득하는 것도 가능하다.
또한 차량은 전후좌우 차륜의 휠 속도를 확인하고 확인된 전후좌우 휠 속도의 차이에 기초하여 차량의 조향각을 판단하고 판단된 조향각에 기초하여 자 차로의 곡률을 획득하는 것도 가능하다.
또한 차량은 가속도 검출부에서 검출된 가속도 정보에 기초하여 자 차로의 곡률을 획득하는 것도 가능하고, 요 레이트 검출부에서 검출된 요 레이트에 기초하여 차량의 요 모멘트를 판단하고 판단된 요 모멘트에 기초하여 자 차로의 곡률을 획득하는 것도 가능하다.
차량은 영상 획득부(150)를 통해 획득된 영상 내 도로의 차선을 인식하고, 인식된 차선에 기초하여 자 차로를 인식하고 인식된 자 차로의 양 측의 차선의 타입이 점선인지, 실선인지, 복선인지를 인식하고 인식된 차선의 타입에 기초하여 자 차량의 위치를 고속도로 상의 본선인지 인터체인지(IC)나 분기점(JC)의 분기선인지를 인식하는 것도 가능하다.
도 8에 도시된 바와 같이, 차량은 자 차로의 좌측 차선(L11)이 점선이고, 자 차로의 우측 차선이 점선과 실선의 복선(L12)이면 자 차로의 위치를 본선(R1)으로 인식한다.
차량은 자 차로의 좌측 차선이 점선이고 우측 차선이 실선이면 자 차로의 위치가 본선이라 판단하는 것도 가능하고, 좌측 차선이 점선이면 자 차로의 위치가 본선이라 판단하는 것도 가능하다.
도 9에 도시된 바와 같이 차량은 자 차로의 좌측 차선이 실선과 점선의 복선(L21)이고, 자 차로의 우측 차선이 실선(L22)이면 자 차로를 분기선(R2)으로 인식한다.
차량은 자 차로의 우측 차선이 점선과 실선의 복선이면 자 차로의 위치를 본선으로 인식하는 것도 가능하다.
차량은 자 차로의 양쪽 차선이 실선이면 자 차로의 위치를 본선으로 인식하는 것도 가능하다.
이와 같이 차량은 자 차로의 곡률과 자 차로의 양측 차선의 타입 중 적어도 하나에 기초하여 인식된 차량의 위치를 재인식할 수 있다.
차량은 자 차량의 위치가 본선인지 판단(212)하고 자 차량의 위치가 분기선이라고 판단되면 본선으로 이동해야 하는지 판단(213)하며, 본선으로 이동해야 한다고 판단되면 조향 장치를 제어하여 주행 방향을 변경(214)함으로써 본선으로 이동한다.
여기서 본선으로 이동해야지 하는지 판단하는 것은, 탐색된 경로 정보 내의 표지판의 표기 정보와 인식된 표지판의 표기 정보를 비교하여 본선으로 이동해야 하는지를 판단하는 것을 포함한다.
즉, 차량은 인식된 표지판의 표기 정보로부터 차량의 현재 위치를 예측하고 예측된 차량의 현재 위치와 탐색된 경로에 기초하여, 고속도로를 계속적으로 주행해야 하는지를 판단한다.
이러한 차량은 탐색된 경로의 표지판의 표기 정보 중 인식된 표지판의 표기 정보와 대응하는 경로의 표지판의 표기 정보를 확인하고 확인된 경로의 표지판의 설치 위치를 확인하고 확인된 표지판의 설치 위치에 기초하여 차량의 현재 위치를 예측할 수 있다.
차량은 자 차량의 차로가 본선이라고 판단되면 분기선으로 이동해야 하는지 판단(215)하며, 분기선으로 이동해야 한다고 판단되면 자율 주행 모드를 해제하고 자율 주행 모드의 해제 정보를 표시부에 표시(216)한다.
이를 통해 운전자가 수동으로 운전할 수 있도록 한다.
여기서 분기선으로 이동해야지 하는지 판단하는 것은, 탐색된 경로 정보 내의 표지판의 표기 정보와 인식된 표지판의 표기 정보를 비교하여 분기선으로 이동해야 하는지를 판단하는 것을 포함한다.
즉, 차량은 인식된 표지판의 표기 정보로부터 차량의 현재 위치를 예측하고 예측된 차량의 현재 위치와 탐색된 경로에 기초하여, 고속도로에서 인터체인지나 분기점으로 빠져 나가야 하는지를 판단한다.
도 10은 다른 실시 예에 따른 차량과 통신하는 단말기의 제어 구성도이다.
단말기(3)는 차량에 배치될 수 있고, 차량과 통신을 수행할 수 있다.
이러한 단말기(3)는 네트워크를 통해 차량에 접속할 수 있는 컴퓨터나 휴대용 단말기로 구현될 수 있다.
여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), 태블릿 PC, 슬레이트 PC 등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), WiBro(Wireless Broadband Internet) 단말, 스마트 폰(Smart Phone) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치와 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD) 등과 같은 웨어러블 장치를 포함할 수 있다.
단말기(3)는 입력부(310), 표시부(320), 영상 획득부(330), 통신부(340), 제어부(350) 및 저장부(360)를 포함한다.
입력부(310)는 내비게이션 모드 및 목적지를 입력받는다.
표시부(320)는 내비게이션 모드 수행에 대응하는 동작 정보를 표시한다.
즉 표시부(320)는 경로가 매칭된 지도 정보를 표시하고, 길 안내 정보를 표시한다.
통신부(340)는 차량(1)과 통신을 수행하고, 차량(1)에서 획득된 도로의 영상을 수신할 수 있다.
이러한 통신부(340)는 무선 또는 유선 통신일 수 있다.
아울러 단말기(3)는 영상 획득부(330)를 더 포함할 수 있고, 이 영상 획득부(330)는 도로의 영상을 직접 획득하는 것도 가능하다.
제어부(350)는 내비게이션 모드가 선택되고 목적지가 입력되면 GPS 수신기에서 수신된 현재 위치와 목적지까지의 경로를 탐색하고 탐색된 경로가 매칭된 지도 정보의 표시를 제어한다.
제어부(350)는 GPS 수신기가 이상 상태일 때 차량(1)으로부터 도로의 영상 정보를 수신하고 수신된 영상 내 표지판을 인식하고, 저장부(360)에 저장된 표지판의 표기 정보들 중 영상 인식된 표지판의 표기 정보와 대응하는 표지판의 설치 위치를 획득하고, 획득된 표지판의 설치 위치에 기초하여 차량의 현재 위치를 예측하고 예측된 현재 위치에 기초하여 내비게이션 모드를 수행할 수 있다.
아울러, 제어부(350)는 단말기의 영상 획득부(330)에서 획득된 영상에 기초하여 표지판의 표기 정보를 인식하는 것도 가능하다.
또한 제어부(350)는 차량으로부터 표지판의 표기 정보를 수신하고 수신된 표기 정보에 기초하여 차량의 위치를 인식하는 것도 가능하다.
저장부(360)는 지도 정보를 저장하고, 도로의 명칭, 노선 번호, 표지판의 설치 위치와 표기 정보를 저장한다.
아울러 저장부(360)는 내비게이션 모드 수행을 위한 앱을 저장할 수 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다.본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
1: 차량 170: 자율 주행 제어 장치
3: 단말기

Claims (23)

  1. 도로의 영상, 장애물의 검출 정보 및 현재 위치를 수신하는 통신부; 및
    상기 수신된 현재 위치가 고속도로이면 자율 주행 모드를 수행하고, 상기 자율 주행 모드의 수행 중 상기 통신부를 통해 현재 위치가 수신되지 않으면 상기 도로의 영상에서 차선을 인식하고 상기 인식된 차선의 정보에 기초하여 본선과 분기선이 존재하는지 판단하고, 상기 인식된 차선의 정보에 본선과 분기선이 존재한다고 판단되면 목적지까지의 경로 정보에 기초하여 본선 및 분기선 중 주행해야 할 차로를 판단하고 상기 주행해야 할 차로가 분기선이라고 판단되면 상기 자율 주행 모드를 해제하고, 상기 주행해야 할 차로가 본선이라고 판단되면 상기 자율 주행 모드를 유지시키는 제어부를 포함하고,
    상기 제어부는, 상기 도로의 영상에서 소실점을 획득하고 상기 획득된 소실점의 위치를 기준으로 상기 도로의 영상 내 표지판의 위치가 우측이면 자 차로가 본선이라고 인식하고 상기 도로의 영상 내 표지판의 위치가 좌측이면 자 차로가 분기선이라고 인식하고, 상기 인식된 자 차로와 상기 주행해야 할 차로를 비교하여 차로 변경을 제어하는 자율 주행 제어 장치.
  2. 삭제
  3. 제 1항에 있어서,
    지도 정보, 지도 내 도로의 명칭, 위치, 종류, 노선 번호를 저장하고, 도로의 표지판의 설치 위치 및 표지판의 표기 정보를 저장하는 저장부를 더 포함하고,
    상기 제어부는, 내비게이션 모드와 연동하고, 상기 저장부에 저장된 정보에 기초하여 목적지까지의 경로 정보 내 표지판들의 표기 정보 및 표지판의 설치 위치를 확인하고, 상기 도로의 영상 내 표지판의 표기 정보를 인식하고, 상기 경로 정보 내 표지판들의 표기 정보, 설치 위치 및 상기 인식된 도로의 영상 내 표지판의 표기 정보를 비교하여 현재 위치를 예측하고, 상기 예측된 현재 위치에 기초하여 차로 변경 여부를 판단하는 자율 주행 제어 장치.
  4. 삭제
  5. 제 1 항에 있어서, 상기 제어부는,
    상기 자 차로가 본선이라고 인식되면 상기 주행해야 할 차로가 분기선인지를 판단하고, 상기 주행해야 할 차로가 분기선이라고 판단되면 상기 자율 주행 모드를 해제하는 것을 포함하는 자율 주행 제어 장치.
  6. 제 1항에 있어서, 상기 제어부는,
    상기 자 차로가 분기선이라고 판단되면 상기 주행해야 할 차로가 본선인지를 판단하고, 상기 주행해야 할 차로가 본선이라고 판단되면 상기 차로 변경을 제어하여 본선으로 이동되도록 하는 자율 주행 제어 장치.
  7. 제 1 항에 있어서, 상기 제어부는,
    상기 도로의 영상 내 표지판의 표기 정보 중 도로의 노선 번호를 인식하고 상기 인식된 노선 번호와 상기 경로 정보 내 노선 번호를 비교하여 상기 자 차로가 본선인지, 분기선인지를 판단하는 것을 포함하는 자율 주행 제어 장치.
  8. 제 1 항에 있어서, 상기 제어부는,
    상기 획득된 소실점에 기초하여 X, Y축을 생성하고, 상기 획득된 소실점, X축과 Y축, 상기 도로의 영상의 픽셀에 기초하여 상기 표지판의 꼭지점의 좌표값을 생성하고, 상기 생성된 좌표값에 기초하여 상기 도로의 영상 내 표지판의 위치를 인식하는 것을 포함하는 자율 주행 제어 장치.
  9. 제 1 항에 있어서,
    상기 자율 주행 모드의 수행 정보를 표시하고, 상기 자율 주행 모드의 해제 시 상기 자율 주행 모드의 해제 정보를 표시하는 표시부를 더 포함하는 자율 주행 제어 장치.
  10. 제 1항에 있어서,
    상기 도로의 영상을 획득하는 영상 획득부; 및
    상기 도로의 장애물과의 거리를 검출하는 거리 검출부를 더 포함하는 자율 주행 제어 장치.
  11. 제 1 항에 있어서, 상기 제어부는,
    상기 도로의 영상 내 표지판들 중 자 차량과 가장 근접한 표지판을 확인하고 상기 확인된 표지판의 표기 정보 중 도로의 노선 번호를 인식하고 상기 도로의 영상 내 인식된 노선 번호의 위치에 기초하여 상기 자 차로가 본선인지, 분기선인지를 인식하는 것을 포함하는 자율 주행 제어 장치.
  12. 제 1 항에 있어서, 상기 제어부는,
    상기 인식된 차선에 기초하여 상기 자 차로의 곡률을 판단하고 상기 판단된 곡률에 기초하여 상기 자 차로가 고속도로의 본선인지, 분기선인지를 인식하는 것을 포함하는 자율 주행 제어 장치.
  13. 제 1 항에 있어서, 상기 제어부는,
    상기 인식된 차선의 타입을 확인하고 상기 확인된 차선의 타입에 기초하여 상기 자 차로가 고속도로의 본선인지, 분기선인지를 인식하는 것을 포함하는 자율 주행 제어 장치.
  14. 현재 위치를 수신하는 통신부;
    도로의 영상을 획득하는 영상 획득부;
    상기 도로를 주행하는 타 차량과의 거리를 검출하는 거리 검출부;
    상기 수신된 현재 위치에 기초하여 현재 위치가 고속도로인지 판단하고, 현재 위치가 고속도로이면 상기 도로의 영상에서 차선을 인식하고, 목적지까지의 경로 정보, 상기 수신된 현재 위치 정보, 상기 인식된 차선 정보 및 상기 타 차량과의 거리 정보에 기초하여 자율 주행 모드의 수행을 제어하고, 상기 자율 주행 모드의 수행 중 상기 현재 위치가 미수신되면 상기 인식된 차선 정보에 기초하여 본선과 분기선이 존재하는지 판단하고, 상기 인식된 차선 정보에 본선과 분기선이 존재한다고 판단되면 상기 경로 정보에 기초하여 본선 및 분기선 중 주행해야 할 차로를 판단하고 상기 주행해야 할 차로가 분기선이라고 판단되면 상기 자율 주행 모드를 해제하고, 상기 주행해야 할 차로가 본선이라고 판단되면 상기 자율 주행 모드를 유지시키는 자율 주행 제어 장치를 포함하고,
    상기 자율 주행 제어 장치는, 상기 도로의 영상에서 소실점을 획득하고 상기 획득된 소실점의 위치를 기준으로 상기 도로의 영상 내 표지판의 위치가 우측이면 자 차로가 본선이라고 인식하고 상기 도로의 영상 내 표지판의 위치가 좌측이면 자 차로가 분기선이라고 인식하고, 상기 인식된 자 차로와 상기 주행해야 할 차로를 비교하여 차로 변경을 제어하는 것을 포함하는 차량.
  15. 삭제
  16. 제 14항에 있어서, 상기 자율 주행 제어 장치는,
    상기 경로 정보 내 표지판들의 표기 정보 및 표지판의 설치 위치를 확인하고, 상기 도로의 영상 내 표지판의 표기 정보를 인식하고, 상기 경로 정보 내 표지판들의 표기 정보, 설치 위치 및 상기 인식된 도로의 영상 내 표지판의 표기 정보를 비교하여 현재 위치를 예측하고, 상기 예측된 현재 위치에 기초하여 차로 변경 여부를 판단하는 것을 포함하는 차량.
  17. 제 14 항에 있어서, 상기 자율 주행 제어 장치는,
    상기 인식된 자 차로가 본선이라고 인식되면 상기 주행해야 할 차로가 분기선인지를 판단하고, 상기 주행해야 할 차로가 분기선이라고 판단되면 상기 자율 주행 모드를 해제하고 상기 자율 주행 모드의 해제 정보를 표시하도록 표시부를 제어하는 것을 포함하는 차량.
  18. 제 14항에 있어서, 상기 자율 주행 제어 장치는,
    상기 인식된 자 차로가 분기선이라고 인식되면 상기 주행해야 할 차로가 본선인지를 판단하고, 상기 주행해야 할 차로가 본선이라고 판단되면 상기 차로 변경을 제어하여 본선으로 이동되도록 하는 것을 포함하는 차량.
  19. 제 14 항에 있어서, 상기 자율 주행 제어 장치는,
    상기 도로의 영상 내 표지판의 표기 정보 중 도로의 노선 번호를 인식하고, 상기 도로의 영상 내 차선을 인식하고 상기 인식된 차선의 타입을 확인하고, 상기 인식된 차선에 기초하여 자 차로의 곡률을 판단하고, 상기 인식된 도로의 노선 번호, 상기 차선의 타입 및 상기 자 차로의 곡률 중 적어도 하나에 기초하여 상기 자 차로가 본선인지, 분기선인지를 재인식하는 것을 포함하는 차량.
  20. 입력부를 통해 자율 주행 모드 및 목적지가 입력되면 통신부에 수신된 현재 위치와 목적지에 기초하여 경로를 탐색하고,
    상기 탐색된 경로에 대한 경로 정보에 기초하여 길 안내 정보를 출력하고,
    상기 수신된 현재 위치에 기초하여 현재 위치가 고속도로인지 판단하고,
    상기 현재 위치가 고속도로이면 자율 주행 모드의 수행을 제어하고,
    상기 자율 주행 모드의 수행 중 상기 통신부를 통해 현재 위치가 미수신되면 도로의 영상에서 표지판을 인식하고,
    상기 도로의 영상에서 소실점을 획득하고,
    상기 획득된 소실점의 위치를 기준으로 상기 인식된 표지판의 위치가 우측이면 자 차로가 본선이라고 인식하고 상기 인식된 표지판의 위치가 좌측이면 자 차로가 분기선이라고 인식하고,
    저장부에 저장된 상기 경로 내 표지판들의 표기 정보 및 표지판의 설치 위치를 확인하고,
    상기 도로의 영상 내 표지판의 표기 정보를 인식하고,
    상기 경로 정보 내 표지판들의 표기 정보, 설치 위치 및 상기 인식된 영상 내 표지판의 표기 정보를 비교하여 현재 위치를 예측하고,
    상기 예측된 현재 위치에 기초하여 본선 주행 및 분기선 중 주행해야 할 차로를 판단하고,
    상기 주행해야 할 차로가 분기선이라고 판단되면 상기 자율 주행 모드를 해제하고,
    상기 주행해야 할 차로가 본선이라고 판단되면 상기 자율 주행 모드를 유지시키고,
    상기 인식된 자 차로와 상기 주행해야 할 차로를 비교하여 차로 변경을 제어하는 차량의 제어 방법.
  21. 제 20 항에 있어서,
    상기 자 차로가 분기선이라고 인식되면 상기 주행해야 할 차로가 본선인지를 판단하고, 상기 주행해야 할 차로가 본선이라고 판단되면 주행 방향을 제어하여 상기 본선으로 이동되도록 하고 자율 주행 모드를 유지시키는 것을 포함하는 차량의 제어 방법.
  22. 제 20 항에 있어서,
    상기 도로의 영상 내 표지판의 위치 인식이 불가하면 상기 도로의 영상 내 표지판의 표기 정보 중 도로의 노선 번호를 인식하고,
    상기 인식된 노선 번호에 기초하여 자 차로의 위치를 인식하는 것을 더 포함하는 차량의 제어 방법.
  23. 제 20 항에 있어서,
    상기 도로의 영상 내 차선을 인식하고,
    상기 인식된 차선의 타입을 확인하고,
    상기 인식된 차선에 기초하여 자 차로의 곡률을 판단하고,
    상기 차선의 타입 및 상기 자 차로의 곡률 중 적어도 하나에 기초하여 상기 자 차로가 본선인지, 분기선인지를 재인식하는 것을 더 포함하는 차량의 제어 방법.
KR1020170116449A 2017-09-12 2017-09-12 자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법 Expired - Fee Related KR102300836B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170116449A KR102300836B1 (ko) 2017-09-12 2017-09-12 자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170116449A KR102300836B1 (ko) 2017-09-12 2017-09-12 자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20190029192A KR20190029192A (ko) 2019-03-20
KR102300836B1 true KR102300836B1 (ko) 2021-09-13

Family

ID=66036668

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170116449A Expired - Fee Related KR102300836B1 (ko) 2017-09-12 2017-09-12 자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법

Country Status (1)

Country Link
KR (1) KR102300836B1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200348669A1 (en) * 2019-05-02 2020-11-05 Hyundai Motor Company Autonomous driving control apparatus, vehicle including autonomous driving control apparatus, and method of controlling vehicle
CN111381592A (zh) * 2019-12-13 2020-07-07 智博汽车科技(上海)有限公司 车辆控制方法、装置及车辆
JP7358990B2 (ja) * 2020-01-06 2023-10-11 トヨタ自動車株式会社 自動運転車管理システム、管理装置、管理方法、自動運転車、及びプログラム
KR20210124602A (ko) 2020-04-06 2021-10-15 현대자동차주식회사 차량의 자율 주행 제어 장치, 그를 포함한 시스템 및 그 방법
CN111523471B (zh) 2020-04-23 2023-08-04 阿波罗智联(北京)科技有限公司 车辆所在车道的确定方法、装置、设备以及存储介质
CN113758490B (zh) * 2020-06-01 2024-06-14 南宁富联富桂精密工业有限公司 进入匝道判断方法及导航系统
CN112885132A (zh) * 2021-01-27 2021-06-01 安徽蓝鸟智能停车科技产业化有限公司 一种基于ai无人驾驶智能调度系统及自动驾驶方法
CN114427876B (zh) * 2021-12-15 2023-11-28 武汉中海庭数据技术有限公司 一种交通看板关联关系的自动化检查方法及系统
CN115512541B (zh) * 2022-09-20 2023-09-01 浙江大学 一种用于车辆安全驾驶的路面精确信息服务系统
CN117818651B (zh) * 2022-09-27 2025-12-16 比亚迪股份有限公司 一种车辆控制方法、装置及车辆
CN116714596A (zh) * 2023-06-13 2023-09-08 北京速度时空信息有限公司 一种自动驾驶数据处理系统及方法
CN116588112B (zh) * 2023-07-11 2024-01-30 广汽埃安新能源汽车股份有限公司 交叉路口的车辆控制方法、装置及车辆

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013108371A1 (ja) * 2012-01-17 2013-07-25 パイオニア株式会社 画像処理装置、画像処理サーバ、画像処理方法、画像処理プログラム、及び記録媒体
JP2014002603A (ja) 2012-06-19 2014-01-09 Ricoh Co Ltd 自動運転ナビゲーションシステム
JP2015141478A (ja) 2014-01-27 2015-08-03 アイシン・エィ・ダブリュ株式会社 自動運転支援システム、自動運転支援方法及びコンピュータプログラム
JP2016194817A (ja) 2015-03-31 2016-11-17 アイシン・エィ・ダブリュ株式会社 自動運転支援システム、自動運転支援方法及びコンピュータプログラム
WO2016194296A1 (en) 2015-06-04 2016-12-08 Sony Corporation In-vehicle camera system and image processing apparatus

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8825258B2 (en) * 2012-11-30 2014-09-02 Google Inc. Engaging and disengaging for autonomous driving
KR101843773B1 (ko) * 2015-06-30 2018-05-14 엘지전자 주식회사 차량 운전 보조 장치, 차량용 디스플레이 장치 및 차량

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013108371A1 (ja) * 2012-01-17 2013-07-25 パイオニア株式会社 画像処理装置、画像処理サーバ、画像処理方法、画像処理プログラム、及び記録媒体
JP2014002603A (ja) 2012-06-19 2014-01-09 Ricoh Co Ltd 自動運転ナビゲーションシステム
JP2015141478A (ja) 2014-01-27 2015-08-03 アイシン・エィ・ダブリュ株式会社 自動運転支援システム、自動運転支援方法及びコンピュータプログラム
JP2016194817A (ja) 2015-03-31 2016-11-17 アイシン・エィ・ダブリュ株式会社 自動運転支援システム、自動運転支援方法及びコンピュータプログラム
WO2016194296A1 (en) 2015-06-04 2016-12-08 Sony Corporation In-vehicle camera system and image processing apparatus

Also Published As

Publication number Publication date
KR20190029192A (ko) 2019-03-20

Similar Documents

Publication Publication Date Title
KR102300836B1 (ko) 자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법
US10497263B2 (en) Apparatus and method for estimating a position of a vehicle and a vehicle using same
KR102464607B1 (ko) 차량 및 그 제어 방법
US11126877B2 (en) Predicting vehicle movements based on driver body language
US12045064B2 (en) Electronic device and vehicle control method of electronic device, server and method for providing precise map data of server
EP3106838B1 (en) Display apparatus for vehicle
KR102513941B1 (ko) 자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법
EP3112810B1 (en) Advanced driver assistance apparatus, display apparatus for vehicle and vehicle
US20190193738A1 (en) Vehicle and Control Method Thereof
KR102104500B1 (ko) 정보 제공 방법 및 이를 위한 정보 제공 차량
JP7079747B2 (ja) 表示装置、表示制御方法、およびプログラム
KR102791689B1 (ko) 영상 출력 장치
US20240391484A1 (en) Vehicle, display method, and non-transitory computer storage medium
CN113167592A (zh) 信息处理设备、信息处理方法和信息处理程序
KR102611338B1 (ko) 차량의 ar 디스플레이 장치 및 그것의 동작방법
US20230304822A1 (en) Route guidance device and route guidance method thereof
JPWO2018180756A1 (ja) 運転支援システム
US12122405B2 (en) Vehicle control device, storage medium for storing computer program for vehicle control, and method for controlling vehicle
US20210163043A1 (en) Vehicle and method of controlling the same
US20240336266A1 (en) Driving assistance device, driving assistance method, and storage medium
US12243451B2 (en) Apparatus for displaying at least one virtual lane line based on environmental condition and method of controlling same
US12146748B2 (en) Power management apparatus and vehicle having the same
KR102030693B1 (ko) 차량 제어 방법
KR102282368B1 (ko) 정보 제공 방법 및 이를 위한 정보 제공 차량
KR102556616B1 (ko) 차량 및 그 제어 방법

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20240907

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20240907

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000