[go: up one dir, main page]

KR102303224B1 - 주차 지원 시스템 - Google Patents

주차 지원 시스템 Download PDF

Info

Publication number
KR102303224B1
KR102303224B1 KR1020140141128A KR20140141128A KR102303224B1 KR 102303224 B1 KR102303224 B1 KR 102303224B1 KR 1020140141128 A KR1020140141128 A KR 1020140141128A KR 20140141128 A KR20140141128 A KR 20140141128A KR 102303224 B1 KR102303224 B1 KR 102303224B1
Authority
KR
South Korea
Prior art keywords
parking
vehicle
section
unit
recognition unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020140141128A
Other languages
English (en)
Other versions
KR20160045484A (ko
Inventor
이성수
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020140141128A priority Critical patent/KR102303224B1/ko
Publication of KR20160045484A publication Critical patent/KR20160045484A/ko
Application granted granted Critical
Publication of KR102303224B1 publication Critical patent/KR102303224B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06Automatic manoeuvring for parking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차량 측방 영상을 출력하는 카메라부, 상기 차량 측방 영상에서 주차선 및 상기 주차선의 교차점을 검출하여 주차구획을 인식하는 주차구획인식부, 상기 인식된 주차구획에서 차량 존재 여부를 판단하여 주차 가능 여부를 판단하는 주차가능여부판단부 및 상기 차량의 주차가 가능한 구획을 운전자에게 알려주는 주차가능표시부 및 상기 주차 가능 구획이 선택될 때, 주차 경로를 생성하여 상기 주차구획에 상기 차량을 자동으로 주차 시키는 주차보조부; 를 포함하는 주차 지원 시스템에 관한 것이다.

Description

주차 지원 시스템 {Parking assistance system}
본 발명은 주차 지원 시스템에 관한 것으로, 보다 상세하게는 측방 카메라가 출력한 차량 측방 영상을 이용하여 차량의 주차구획을 검출하고, 검출된 주차구획에 차량의 주차 가능 여부를 판단하여 운전자가 주차가 가능한 주차구획을 선택하여 차량이 자동으로 주차되도록 하는 주차 지원 시스템에 관한 것이다.
차량 증가와 더불어 차량의 주차 공간이 협소해 지면서 크고 작은 사고들이 일어난다. 이에 운전자가 차량의 주차 시에 운전자를 보조하는 많은 차량 기술이 차량에 적용되고 있다. 차량이 주차 되기 전에 주차구획을 검출함에 있어서 정확한 주차구획을 검출하고 주차구획에 차량이 주차가 가능한지 판단하는 것은 매우 중요하다. 오류가 발생할 경우 밀집해 있는 주변 차량과 사고가 발생되기 쉽기 때문이다.
이에 최근에 카메라를 이용하여 차선을 검출하고 정확히 주차구획을 검출한 후에 운전자가 원하는 주차구획을 선택하여 차량이 자동으로 주차되도록 하는 기술이 연구 중에 있다.
본 발명이 해결하고자 하는 과제는 측방 카메라가 출력한 차량 측방 영상을 이용하여 차량의 주차구획을 검출하고, 검출된 주차구획에 차량의 주차 가능 여부를 판단하여 운전자가 주차가 가능한 주차구획을 선택하여 차량이 자동으로 주차되도록 하는 주차 지원 시스템을 제공함에 있다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위하여, 본 발명의 실시예에 따른 주차 지원 시스템은, 차량 측방 영상을 출력하는 카메라부, 상기 차량 측방 영상을 탑뷰 영상으로 변환하고, 변환된 상기 탑뷰 영상을 그레이스케일 영상으로 변환하고 상기 그레이스케일 영상의 수평방향으로 탑햇(top-hat) 필터를 적용한 후 국부영역에서의 최대값을 검출하여 주차선의 중심점을 산출하고, 상기 중심점을 기준으로 상기 주차선의 좌측 및 우측 경계부에 대해 윤곽선 영상에서의 최대값을 검출하여 상기 주차선의 좌측 및 우측의 특징점을 추출하고, 상기 주차선 및 주차선의 교차점을 검출하여 주차구획을 인식하는 주차구획인식부, 상기 인식된 주차구획에서 차량 존재 여부를 판단하여 주차 가능 여부를 판단하는 주차가능여부판단부, 상기 차량의 주차가 가능한 구획을 운전자에게 알려주는 주차가능표시부 및 상기 주차 가능 구획이 선택될 때, 주차 경로를 생성하여 상기 주차구획에 상기 차량을 자동으로 주차 시키는 주차보조부를 포함하고, 상기 주차구획인식부는 주차구획인식부 관심 영역 내에서 그라디언트(Gradient) 분포가 크게 분포하는 위치를 코너로 검출하여 해리스 코너(Harris Corner)를 추출해서 상기 해리스 코너의 모양을 인식하여 T자형 연결지점, L자형 연결지점, 및 교차점을 검출하고, 상기 해리스 코너에서 좌측부터 시작하여 밝기가 어두운 부분과 밝은 부분이 연속되지 않고 누적된 밝기 정도의 계산에 기초하여 차선의 모양을 판단한다.
상기 주차구획인식부는 설정된 유효 간격을 고려하여 직각 주차구획 및 평행 주차구획을 판단한다.
상기 주차구획인식부는 상기 주차구획이 인식될 때 상기 인식된 누적 횟수를 고려하여 유효한 주차구획을 출력한다.
상기 주차가능여부판단부는 상기 차량의 크기 및 주차구획의 간격을 고려하여 상기 차량의 진입 가능 여부를 판단한다.
상기 주차가능여부판단부는 상기 차량의 번호판을 인식하여 차량 존재 여부를 판단한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 주차 지원 시스템에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
첫째, 설정된 유효 간격을 고려하여 직각 주차구획 및 평행 주차구획을 판단함으로써 차량의 주차구획을 정확히 인식하는 장점이 있다.
둘째, 주차구획이 인식될 때 상기 인식된 누적 횟수를 고려하여 유효한 주차구획을 출력함으로써 정확히 주차구획을 인식하는 장점도 있다.
셋째, 차량의 주차가 가능한 구획을 운전자에게 알려줌으로써 운전자가 원하는 주차구획에 차량이 주차되도록 하는 장점도 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일실시례에 따른 주차 지원 시스템의 구성을 도시한 구성도이다.
도 2는 T자형 연결지점, L자형 연결지점을 검출하기 위한 모양, 밝기 프로파일 및 탑뷰 영상에서 T자형 연결지점, L자형 연결지점을 도시한 것이다.
도 3은 주차가능여부판단부가 번호판의 위치를 산출하기 위한 가상의 삼각형을 도시한 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 본 발명의 실시예들에 의하여 주차 지원 시스템을 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.
도 1은 본 발명의 일실시례에 따른 주차 지원 시스템의 구성을 도시한 구성도이다. 일실시례에 따른 주차 지원 시스템은 카메라부(100), 주차구획인식부(200), 주차가능여부판단부(300), 주차가능표시부(400) 및 주차보조부(500)를 포함한다.
카메라부(100)는 차량 측방 영상을 출력한다. 카메라부(100)는 차량의 측면에 설치된다. 카메라부(100)는 차량의 측면 중에 사이드 미러에 설치될 수 있다. 카메라부(100)는 핀홀(Pinhole) 카메라일 수 있다.
주차구획인식부(200)는 차량 측방 영상을 이용하여 차량의 위에서 보는 모양의 탑뷰(top view) 영상으로 변환하여 출력한다. 주차구획인식부(200)는 탑뷰 영상에서 주차선 및 주차선의 교차점을 검출하여 주차구획을 인식한다. 주차구획인식부(200)는 자신 차량을 기준으로 수직 방향인 주차선의 특징점을 추출한다. 주차구획인식부(200)는 탑뷰 영상을 그레이스케일(gray scale)영상으로 변환한다. 주차구획인식부(200)는 그레이스케일 영상에서 수평방향 즉 좌에서 우로 탑햇필터(Top-Hat filter)를 적용한다. 주차구획인식부(200)는 국부영역에서의 최대값을 검출하여 주차선의 중심점을 산출한다. 주차구획인식부(200)는 주차선의 중심점을 기준으로 주차선의 좌측 및 우측 경계부에 대해 윤곽선 영상에서 최대값을 검출하여 주차선의 좌측 및 우측의 특징점을 추출한다.
주차구획인식부(200)는 라인피팅(Line fitting) 기법 즉 다음의 방법으로 주차선 후보군을 검출한다. 주차구획인식부(200)는 변환된 탑뷰 영상에서 주차구획 가이드라인을 인식한다. 주차구획인식부(200)는 주차선의 특징점을 기준으로 방사형 방향으로 360도를 회전하며 선 성분을 추출한다. 주차구획인식부(200)는 좌측 및 우측의 특징점에 대한 선 성분을 추출한다. 주차구획인식부(200)는 선 성분을 추출하고, 주차선 중심점을 기준으로 주차선 후보군을 검출한다. 주차구획인식부(200)는 자신 차량을 기준으로 좌측 및 우측의 영역으로 나누어 대표 차선을 인식하여 주차구획가이드라인을 인식한다.
주차구획인식부(200)는 변환된 탑뷰 영상에서 관심 영역을 설정한다.
주차구획인식부(200)는 인식된 주차구획 가이드라인에서 T자형 연결지점(TR), L자형 연결지점(LR) 및 주차선 간 교차점(CR)을 검출한다. 주차구획인식부(200)가 검출하는 T자형 연결지점(TR), L자형 연결지점(LR) 및 주차선 간 교차점(CR)은 도 2에서 추후 설명한다. 주차구획인식부(200) 관심 영역 내에서 해리스 코너(Harris Corner)를 추출한다. 주차구획인식부(200)는 그라디언트(Gradient) 분포(C)가 크게 분포하는 위치를 코너로 검출하여 해리스 코너를 추출한다. 주차구획인식부(200)는 추출된 해리스 코너에서 도 2에 나타낸 A타입 및 B타입의 모양을 인식하여 T자형 연결지점(TR), L자형 연결지점(LR)을 검출한다.
주차구획인식부(200)는 주차선 간 교차점(CR)을 검출하기 위해 수평 방향 즉 왼쪽에서 오른쪽 방향으로 주차선의 특징점을 추출한다. 여기서 주차선 간 교차점(CR)은 횡 방향 주차선과 종 방향 주차선이 만나는 지점을 뜻한다. 주차구획인식부(200)는 라인피팅 기법으로 주차선 후보군을 검출하며, 이는 위에서 기 설명하였다. 주차구획인식부(200)는 추출된 특징점들과 검출된 주차선 후보군 간의 교차점을 검출한다.
주차구획인식부(200)는 주차구획이 인식될 때 인식된 누적 횟수를 고려하여 유효한 주차구획을 출력한다. 주차구획인식부(200)는 주차구획의 간격을 판단하며, 이때 간격은 차량과 주차선이 수평인 방향을 말한다.
주차가능여부판단부(300)는 인식된 주차구획에서 차량 존재 여부를 판단하여 주차 가능 여부를 판단한다. 주차가능여부판단부(300)는 차량의 크기 및 주차구획의 간격을 고려하여 차량의 진입 가능 여부를 판단한다. 주차가능여부판단부(300)는 직각 주차구획과 평행 주차구획을 구분하여 차량을 주차시킨다. 일실시례에 따른 주차가능여부판단부(300)는 직각 주차구획에 주차 시 주차구획이 일반적인 주차구획인지 장애인을 위한 주차구획인지 판단한다. 주차가능여부판단부(300)는 주차 간격이 190cm 내지 270cm 이내이면 일반적인 주차구획인 것으로 인식한다. 주차가능여부판단부(300)는 주차 간격이 300cm 내지 400cm 이내이면 장애인을 위한 주차구획인 것으로 인식한다. 주차가능여부판단부(300)는 일반적인 주차구획에 대해 차량이 진입 가능하면 주차 가능 구획으로 인식한다.
주차가능여부판단부(300)는 일반적인 주차구획에 대해 차량이 진입 불가능하면, 장애인을 위한 주차구획인지 판단한다. 주차가능여부판단부(300)는 장애인을 위한 주차구획에 대해 차량이 진입 가능하면 주차 가능 구획으로 인식한다.
주차가능여부판단부(300)는 직각 주차구획이 유효하지 않으면 평행 주차구획인지 판단한다. 주차가능여부판단부(300)는 주차 간격이 450cm 내지 610cm 이내이면 평행 주차가 가능한 구획인 것으로 인식한다.
다른 일실시례에 따른 주차가능여부판단부(300)는 주차가능여부판단부(300)는 차량의 번호판(P)을 인식하여 차량 존재 여부를 판단한다. 주차가능여부판단부(300)는 주차구획 교차점 후보군 즉, T자형 연결지점(TR), L자형 연결지점(LR) 및 주차선 간 교차점(CR)을 고려하여 주차구획의 간격을 판단할 수 있다. 주차가능여부판단부(300)는 주차구획 교차점 후보군을 이용하여 주차구획 타입에 따른 모든 조합을 계산한다. 주차가능여부판단부(300)는 주차구획 타입에 따른 조합 중에서 주차구획 코너 사이에 다른 주차구획 코너가 존재하는 경우를 제외시킨다. 주차가능여부판단부(300)는 차량 측방 영상 내에서 인식된 2 개의 주차구획의 간격이 설정된 오차 범위 이내이면 차량의 주차가 가능한 것으로 판단한다. 주차가능여부판단부(300)는 가장 최근에 판단된 주차구획 간격과 현재의 변환된 탑뷰 영상에서 판단된 주차구획 간격이 설정된 오차 범위 이내이면 차량의 주차가 가능한 것으로 판단할 수도 있다. 일실시례에 따른 주차가능여부판단부(300)는 20cm 로 설정된 오차 범위를 가질 수 있다.
주차가능여부판단부(300)는 하나의 탑뷰 영상에서 주차구획 후보군을 검출한다. 주차가능여부판단부(300)는 주차구획 간격의 유효성이 판단되고, 주차구획 간격과 설정된 오차 범위 내에 존재하는 주차구획 코너 조합, 즉 T자형 연결지점(TR), L자형 연결지점(LR) 및 주차선 간 교차점(CR)을 주차구획 후보군으로 검출한다.
주차가능여부판단부(300)는 주차구획 후보군 별로 누적 인식 횟수를 계산하여 유효 구획을 판단한다. 주차가능여부판단부(300)는 코너 트래킹(corner tracking) 기법을 이용하여 주차구획을 인식한다. 주차가능여부판단부(300)는 코너 트래킹에 성공하면 이전 주차구획 인식 결과를 현재 차량 측방 영상으로 예측한다. 주차가능여부판단부(300)는 각 주차구획 별로 주차구획을 갱신하며, 인식된 누적 횟수를 계산한다. 주차가능여부판단부(300)는 현재 주차구획 코너를 이용하여 이전에 인식된 코너 위치를 보정한다. 주차가능여부판단부(300)는 누적된 인식 횟수 결과에 따른 최종 주차구획을 인식한다. 주차가능여부판단부(300)는 코너 트래킹이 되지 않으면 이전에 인식한 주차구획의 결과를 초기화하고 다시 새롭게 인식한 주차구획의 결과를 저장한다.
주차가능여부판단부(300)는 주차구획에 차량이 존재하는지 여부를 판단한다. 주차가능여부판단부(300)는 차량 측방 영상에서 관심 영역을 설정하여 물체가 존재하는지 여부를 판단하여 차량이 존재하는지 여부를 판단한다. 주차가능여부판단부(300)는 주차구획에서 차량의 번호판(P)을 인식하여 차량 존재 여부를 판단한다. 주차가능여부판단부(300)는 카메라부(100)가 설치된 위치와 차량의 번호판(P) 사이의 거리 및 카메라부(100)와 번호판(P)이 형성하는 각도를 고려하여 카메라와 번호판(P) 사이의 거리를 산출한다. 주차가능여부판단부(300)는 카메라부(100)와 번호판(P) 사이의 거리를 구하여 카메라부(100)의 설정에 따른 좌표를 설정하여 번호판(P)의 위치를 산출한다. 주차가능여부판단부(300)는 카메라부(100)의 수직화각(VFOV) 및 카메라부(100)와 번호판(P)을 연결하는 선과 지면이 연결하는 선이 형성하는 각도를 구하여 번호판(P)의 위치를 산출한다. 주차가능여부판단부(300)가 번호판(P)의 위치를 산출하는 것은 도 3에서 추후 설명한다.
주차가능표시부(400)는 차량의 주차가 가능한 구획을 운전자에게 알려준다. 일실시례에 따른 주차가능표시부(400)는 AVM 시스템의 모니터화면에 탑뷰 영상을 출력하고, 주차가 가능한 구획을 표시하여 운전자에게 알려준다. 주차가능표시부(400)는 터치스크린일 수 있다. 주차가능표시부(400)는 운전자가 주차가 가능한 구획에 터치 입력하여 주차 가능 구획을 선택할 수 있다.
주차보조부(500)는 주차 가능 구획이 선택될 때, 주차 경로를 생성하여 주차구획에 차량을 자동으로 주차 시킨다. 일실시례에 따른 주차보조부(500)는 주차 지원 시스템(Parking assist system)일 수 있다. 주차보조부(500)는 전자식 자동 조향(MDPS, Motor-Driven Power Steering) 시스템을 포함할 수 있다. 주차보조부(500)는 운전자가 주차가 가능한 구획에 터치 입력하면 주차 경로를 생성하여 주차구획에 차량을 자동으로 주차 시킨다.
도 2는 T자형 연결지점(TR), L자형 연결지점(LR)을 검출하기 위한 모양, 밝기 프로파일 및 탑뷰 영상에서 T자형 연결지점(TR), L자형 연결지점(LR)을 도시한 것이다.
도 2(a)에서 주차구획인식부(200)는 인식된 주차구획 가이드라인에서 T자형 연결지점(TR), L자형 연결지점(LR) 및 주차선 간 교차점(CR)을 검출한다. 주차구획인식부(200) 관심 영역 내에서 해리스 코너(Harris Corner)를 추출한다. 주차구획인식부(200)는 그라디언트(Gradient) 분포(C)가 크게 분포하는 위치를 코너로 검출하여 해리스 코너를 추출한다. 주차구획인식부(200)는 추출된 해리스 코너에서 도 2에 나타낸 A타입 및 B타입의 모양을 인식하여 T자형 연결지점(TR), L자형 연결지점(LR)을 검출한다.
도 2(b)에서 주차구획인식부(200)는 일실시례에 의한 밝기 프로파일에 따라 모양 A 및 모양 B를 검출한다. 일실시례에 따른 주차구획인식부()는 해리스 코너에서 좌측을 기준으로 원주를 따라 시계 방향으로 360도의 밝기를 측정한다. 주차구획인식부(200)는 해리스 코너에서 좌측부터 시작하여 270도는 밝기가 어둡고 나머지 90도는 밝기가 밝으면 차선 모양이 모양 A인 것으로 판단한다. 주차구획인식부()는 해리스 코너에서 좌측부터 시작하여 270도는 밝기가 밝고 나머지 90도는 밝기가 밝으면 차선모양이 모양 B인 것으로 판단한다. 주차구획인식부(200)는 해리스 코너에서 좌측부터 시작하여 밝기가 어두운 부분과 밝은 부분이 연속되지 않고 누적된 밝기 정도를 계산하여 차선의 모양을 판단한다.
도 2(c)에서 주차구획인식부(200)는 주차선 간 교차점(CR)을 검출하기 위해 수평 방향 즉 왼쪽에서 오른쪽 방향으로 주차선의 특징점을 추출한다. 여기서 주차선 간 교차점(CR)은 횡 방향 주차선과 종 방향 주차선이 만나는 지점을 뜻한다. 주차구획인식부(200)는 라인피팅 기법으로 주차선 후보군을 검출하며, 이는 위에서 기 설명하였다. 주차구획인식부(200)는 추출된 특징점들과 검출된 주차선 후보군 간의 교차점을 검출한다. 주차구획인식부(200)는 모양 A를 조합하여 T자형 연결지점(TR)을 검출한다. 주차구획인식부(200)는 모양 B를 이용하여 L자형 연결지점(LR)을 검출한다.
도 3은 주차가능여부판단부(300)가 번호판(P)의 위치를 산출하기 위한 가상의 삼각형을 도시한 것이다. 카메라부(100)는 지면에서 높이(H)에 설치된다. 카메라부(100)가 설치되는 높이(H)는 차량에 따라 변할 수 있다. 카메라부(100)가 설치되는 높이(H)는 기 설정된 값이다. 카메라부(100)와 번호판(P)의 아래 부분의 중앙과의 각도인 카메라각도(C)는 차량 및 설정에 따라 변할 수 있다. 카메라부(100)의 수직화각(VFOV)은 카메라의 성능에 따라 변할 수 있으며, 설정에 따른 일정한 값이다.
주차가능여부판단부(300)는 카메라각도(C)와 카메라부(100)의 수직화각(VFOV)을 이용하여 번호판(P)의 아래 부분의 중앙(P)을 포함하는 번호판(P)의 아래 부분 그리고 카메라부(100)와 번호판(P)의 아래 부분이 이루는 선이 형성하는 각도(S)를 산출할 수 있다. 주차가능여부판단부(300)는 차량과 번호판(P) 사이의 거리(d)를 산출할 수 있다. 주차가능여부판단부(300)는 (수학식 1)에 의해 카메라부(100)와 검출된 번호판(P)을 포함하는 사각형의 아래 부분과의 거리(Z)를 산출할 수 있다.
Figure 112014099346516-pat00001
주차가능여부판단부(300)는 점 P(x, y)의 좌표를 계산한다. 주차가능여부판단부(300)가 계산하는 점 P(x, y)는 차량을 포함하는 사각형에서 지면과 닿는 부분의 중앙(P)의 좌표이다. 주차가능여부판단부(300)는 카메라부(100)가 촬영한 영상의 좌표계에서 XY면에 평행한 면에 X'Y'좌표계를 설정한다. 주차가능여부판단부(300)는 후방 차량 영상의 왜곡을 보정한다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100 : 카메라부
200 : 주차구획인식부
300 : 주차가능여부판단부
400 : 주차가능표시부
500 : 주차보조부

Claims (5)

  1. 차량 측방 영상을 출력하는 카메라부;
    상기 차량 측방 영상을 탑뷰 영상으로 변환하고, 변환된 상기 탑뷰 영상을 그레이스케일 영상으로 변환하고 상기 그레이스케일 영상의 수평방향으로 탑햇(top-hat) 필터를 적용한 후 국부영역에서의 최대값을 검출하여 주차선의 중심점을 산출하고, 상기 중심점을 기준으로 상기 주차선의 좌측 및 우측 경계부에 대해 윤곽선 영상에서의 최대값을 검출하여 상기 주차선의 좌측 및 우측의 특징점을 추출하고, 상기 주차선 및 주차선의 교차점을 검출하여 주차구획을 인식하는 주차구획인식부;
    상기 인식된 주차구획에서 차량 존재 여부를 판단하여 주차 가능 여부를 판단하는 주차가능여부판단부;
    상기 차량의 주차가 가능한 구획을 운전자에게 알려주는 주차가능표시부; 및
    상기 주차 가능 구획이 선택될 때, 주차 경로를 생성하여 상기 주차구획에 상기 차량을 자동으로 주차 시키는 주차보조부; 를 포함하고,
    상기 주차구획인식부는 주차구획인식부 관심 영역 내에서 그라디언트(Gradient) 분포가 크게 분포하는 위치를 코너로 검출하여 해리스 코너(Harris Corner)를 추출해서 상기 해리스 코너의 모양을 인식하여 T자형 연결지점, L자형 연결지점, 및 교차점을 검출하고, 상기 해리스 코너에서 좌측부터 시작하여 밝기가 어두운 부분과 밝은 부분이 연속되지 않고 누적된 밝기 정도의 계산에 기초하여 차선의 모양을 판단하는 주차 지원 시스템.
  2. 제 1 항에 있어서
    상기 주차구획인식부는 설정된 유효 간격을 고려하여 직각 주차구획 및 평행 주차구획을 판단하는 주차 지원 시스템.
  3. 제 1 항에 있어서
    상기 주차구획인식부는 상기 주차구획이 인식될 때 상기 인식된 누적 횟수를 고려하여 유효한 주차구획을 출력하는 주차 지원 시스템.
  4. 제 1 항에 있어서
    상기 주차가능여부판단부는 상기 주차구획의 간격을 고려하여 상기 차량의 진입 가능 여부를 판단하는 주차 지원 시스템.
  5. 제 1 항에 있어서
    상기 주차가능여부판단부는 상기 차량의 번호판을 인식하여 차량 존재 여부를 판단하는 주차 지원 시스템.
KR1020140141128A 2014-10-17 2014-10-17 주차 지원 시스템 Active KR102303224B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140141128A KR102303224B1 (ko) 2014-10-17 2014-10-17 주차 지원 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140141128A KR102303224B1 (ko) 2014-10-17 2014-10-17 주차 지원 시스템

Publications (2)

Publication Number Publication Date
KR20160045484A KR20160045484A (ko) 2016-04-27
KR102303224B1 true KR102303224B1 (ko) 2021-09-16

Family

ID=55914749

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140141128A Active KR102303224B1 (ko) 2014-10-17 2014-10-17 주차 지원 시스템

Country Status (1)

Country Link
KR (1) KR102303224B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102403867B1 (ko) * 2021-11-25 2022-05-31 임철수 주차지원시스템이 형성된 자동차 및 주차지원방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6828501B2 (ja) * 2017-02-21 2021-02-10 アイシン精機株式会社 駐車支援装置
JP7160014B2 (ja) * 2019-10-11 2022-10-25 トヨタ自動車株式会社 駐車支援装置
KR102260556B1 (ko) * 2020-03-26 2021-06-03 세종대학교산학협력단 전역 정보와 지역 정보 통합을 통한 딥러닝 기반 주차구획 검출 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012001081A (ja) * 2010-06-16 2012-01-05 Nissan Motor Co Ltd 駐車支援システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10221438A (ja) * 1997-02-07 1998-08-21 Mazda Motor Corp 物体認識装置
KR101251729B1 (ko) * 2009-02-25 2013-04-05 주식회사 만도 주차 제어 방법 및 그 장치
KR20110136056A (ko) * 2010-06-14 2011-12-21 윤주열 주차유도 및 주차위치확인시스템
KR20130050682A (ko) * 2011-11-08 2013-05-16 현대자동차주식회사 주차 지원 장치
KR101327736B1 (ko) * 2011-12-23 2013-11-11 현대자동차주식회사 Avm탑뷰 기반 주차지원 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012001081A (ja) * 2010-06-16 2012-01-05 Nissan Motor Co Ltd 駐車支援システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102403867B1 (ko) * 2021-11-25 2022-05-31 임철수 주차지원시스템이 형성된 자동차 및 주차지원방법

Also Published As

Publication number Publication date
KR20160045484A (ko) 2016-04-27

Similar Documents

Publication Publication Date Title
US9902426B2 (en) Apparatus and method for driver assistance
KR102207325B1 (ko) 운전자 지원 장치
KR101692628B1 (ko) 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법 및 이를 이용한 차량용 영상 모니터링 시스템
US11482013B2 (en) Object tracking method, object tracking apparatus, vehicle having the same, and computer-program product
US20160019429A1 (en) Image processing apparatus, solid object detection method, solid object detection program, and moving object control system
KR101362324B1 (ko) 차선 이탈 경보 시스템 및 방법
US20170270370A1 (en) In-vehicle image processing device
KR102303224B1 (ko) 주차 지원 시스템
US20150227800A1 (en) Marking line detection system and marking line detection method
EP2958054A2 (en) Hazard detection in a scene with moving shadows
EP2720193A2 (en) Method and system for detecting uneven road surface
KR20150102546A (ko) 차선 인식 장치 및 방법
US20160012283A1 (en) Stereoscopic Camera Apparatus
CN110088801B (zh) 可行驶区域检测装置以及行驶辅助系统
CN103630122A (zh) 一种单目视觉车道线检测方法及其测距方法
WO2014104183A1 (ja) 境界線認識装置及び分岐路判定装置
EP3282389A1 (en) Image processing apparatus, image capturing apparatus, moving body apparatus control system, image processing method, and program
CN108197590B (zh) 一种路面检测方法、装置、终端及存储介质
JP2014089548A (ja) 路面段差検出方法、路面段差検出装置、路面段差検出装置を備えた車両
WO2017154389A1 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
US9519833B2 (en) Lane detection method and system using photographing unit
KR101721655B1 (ko) 객체 검출 시스템 및 방법
KR102028964B1 (ko) 주행 보조 시스템 및 그 방법
JP2017167608A (ja) 物体認識装置、物体認識方法及び物体認識プログラム
JP6812701B2 (ja) 画像処理装置、移動体機器制御システム、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

AMND Amendment
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

AMND Amendment
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E601 Decision to refuse application
PE0601 Decision on rejection of patent

St.27 status event code: N-2-6-B10-B15-exm-PE0601

AMND Amendment
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PX0901 Re-examination

St.27 status event code: A-2-3-E10-E12-rex-PX0901

PX0701 Decision of registration after re-examination

St.27 status event code: A-3-4-F10-F13-rex-PX0701

X701 Decision to grant (after re-examination)
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 5