KR102200807B1

KR102200807B1 - 자율주행차량의 속도 제어 장치 및 방법

Info

Publication number: KR102200807B1
Application number: KR1020200041889A
Authority: KR
Inventors: 임수정; 강홍석; 노영기
Original assignee: 인포뱅크 주식회사
Priority date: 2020-04-07
Filing date: 2020-04-07
Publication date: 2021-01-11
Anticipated expiration: 2040-04-07

Abstract

자율주행차량이 획득한 센서 데이터를 활용하여 탑승자의 행위와 감정을 분석하고 분석 결과를 기반으로 자율주행차량의 속도 제어가 가능하도록 하는 자율주행차량의 속도 제어 장치 및 방법을 제시한다. 제시된 장치는 자율주행중인 차량내의 탑승자의 상태를 검출하는 탑승자 상태 검출부; 상기 자율주행중인 차량의 외부 환경 정보 및 상기 탑승자 상태 검출부로부터의 탑승자의 상태 정보를 근거로 상기 자율주행중인 차량의 차속을 제어할 필요가 있는지를 판단하는 속도 제어 판단부; 및 상기 속도 제어 판단부로부터의 자율주행 속도 제어 요청을 수신함에 따라 상기 자율주행중인 차량의 주행 환경 정보 및 상기 탑승자의 상태 정보를 토대로 상기 자율주행중인 차량에 대한 속도 제어를 실행하는 속도 제어부;를 포함한다.

Description

자율주행차량의 속도 제어 장치 및 방법{Speed control apparatus and method for autonomous vehicles}

본 발명은 자율주행차량의 속도 제어 장치 및 방법에 관한 것으로, 보다 상세하게는 자율주행차량의 탑승자의 상태에 기반하여 해당 자율주행차량의 속도를 제어하는 장치 및 방법에 관한 것이다.

주행 레벨 4 이상의 완전 자율주행차량을 도입하는 경우, 운전자는 운전이라는 행동으로부터 벗어나서 차량에 탑승 후 이동하는 시간을 활용할 수 있게 된다. 즉, 단순히 이동 수단에 불과했던 차량이 제 2의 주거공간으로 되어 가정과 사무실의 역할까지 수행하면서 새로운 개인 공간으로 거듭나게 되는 것이다.

자율주행기술이 발전함에 따라, 이른바 "지능형 자동차(Smart Vehicle)"라는 개념이 확산되면서 차량은 각종 서비스 및 컨텐츠를 소비하는 공간으로 진화하고 있으며, 영화 감상, 독서, 회의, 수면 등 주행과 관련 없는 행위를 할 수 있을 것으로 예상되고 있다.

현재의 운전자 및 탑승자 모니터링 시스템은 운전자가 졸거나 한눈을 파는 등의 위험한 상황을 감지하여 운전자에게 경고하는 정도의 자동차 사고 예방에 중점을 두고 있다.

또한, 생체 기반 기술과 차량 내부 모니터링 시스템을 결합하여 편리한 사용자 경험과 상호 작용을 위한 생체 기술 인식을 갖춘 디지털 조종석 향상에 중점을 두고 있다.

선행기술 1 : 대한민국 공개특허 10-2020-0001553호(탑승자 거동에 기초한 자율 주행 차량 제어) 선행기술 2 : 대한민국 등록특허 10-2060303호(자율 주행 제어 장치 및 방법) 선행기술 3 : 대한민국 등록특허 10-1619257호(운전자 감성 제어 장치 및 그 방법)

본 발명은 상기한 종래의 사정을 감안하여 제안된 것으로, 자율주행차량이 획득한 센서 데이터를 활용하여 탑승자의 행위와 감정을 분석하고 분석 결과를 기반으로 자율주행차량의 속도 제어가 가능하도록 하는 자율주행차량의 속도 제어 장치 및 방법을 제공함에 그 목적이 있다.

상기와 같은 목적을 달성하기 위하여 본 발명의 바람직한 실시양태에 따른 자율주행차량의 속도 제어 장치는, 자율주행중인 차량내의 탑승자의 상태를 검출하는 탑승자 상태 검출부; 상기 자율주행중인 차량에 대한 외부 환경 정보 및 주행 환경 정보를 검출하는 환경 검출부; 상기 탑승자 상태 검출부로부터의 탑승자의 상태 정보를 기본 정보로 하고 상기 외부 환경 정보를 옵션 정보로 하여 상기 자율주행중인 차량의 차속을 제어할 필요가 있는지를 판단하고, 상기 자율주행중인 차량의 차속을 제어할 필요가 있다고 판단되면 자율주행 속도 제어 요청을 출력하는 속도 제어 판단부; 및 상기 자율주행 속도 제어 요청을 수신함에 따라 상기 주행 환경 정보를 토대로 상기 자율주행중인 차량에 대한 속도 제어를 하여도 되는 상황인지를 판단하고, 상기 자율주행중인 차량에 대한 속도 제어를 하여도 되는 상황이면 상기 자율주행중인 차량에 대한 속도 제어를 실행하는 속도 제어부;를 포함한다.

상기 탑승자 상태 검출부는, 상기 탑승자의 행위를 인식하는 행위 인식부;를 포함할 수 있다.

상기 속도 제어 판단부는, 상기 행위 인식부에서 인식된 탑승자의 행위 유형이 수면중, 독서중, 음료를 마시는 중, 화장중, 휴대전화 응시중, 아이의 돌발행위, 통화중, 탑승자간의 대화중, 영화 감상중, 및 음악 감상중 에서 하나 이상이면 해당 탑승자의 행위 유형과 함께 상기 자율주행 속도 제어 요청을 상기 속도 제어부에게로 보낼 수 있다.

상기 속도 제어부는, 상기 탑승자의 행위 유형 및 상기 주행 환경 정보를 근거로 상기 자율주행중인 차량에 대한 속도 제어를 실행할 수 있다.

상기 탑승자 상태 검출부는, 상기 탑승자의 감정을 인식하는 감정 인식부;를 추가로 포함할 수 있다.

상기 속도 제어 판단부는, 상기 행위 인식부에서 인식된 탑승자의 행위 유형이 일정시간동안 창밖 주시이면 상기 감정 인식부에게로 감정 인식 요청을 보내고, 상기 감정 인식부로부터의 탑승자 감정 인식 결과가 희로애락중 어느 하나 이상인 경우 상기 환경 검출부에게 외부 환경 정보를 요청하고, 상기 환경 검출부로부터의 외부 환경 정보를 근거로 해당 자율주행중인 차량의 현재의 외부 환경을 파악하여 상기 자율주행중인 차량의 차속을 제어할 필요가 있는지를 판단할 수 있다.

상기 속도 제어 판단부는, 상기 자율주행중인 차량의 차속을 제어할 필요가 있다고 판단되면 해당 탑승자의 행위 유형 및 감정과 함께 상기 자율주행 속도 제어 요청을 상기 속도 제어부에게로 보낼 수 있다.

상기 속도 제어부는, 상기 탑승자의 행위 유형 및 감정과 함께 상기 주행 환경 정보를 근거로 상기 자율주행중인 차량에 대한 속도 제어를 실행할 수 있다.

한편, 본 발명의 바람직한 실시양태에 따른 자율주행차량의 속도 제어 방법은, 탑승자 상태 검출부가, 자율주행중인 차량내의 탑승자의 상태를 검출하는 단계; 속도 제어 판단부가, 상기 검출된 탑승자의 상태 정보를 기본 정보로 하고 외부 환경 정보를 옵션 정보로 하여 상기 자율주행중인 차량의 차속을 제어할 필요가 있는지를 판단하는 단계; 상기 속도 제어 판단부가, 상기 자율주행중인 차량의 차속을 제어할 필요가 있다고 판단되면 자율주행 속도 제어 요청을 출력하는 단계; 속도 제어부가, 상기 자율주행 속도 제어 요청을 수신함에 따라 주행 환경 정보를 토대로 상기 자율주행중인 차량에 대한 속도 제어를 하여도 되는 상황인지를 판단하는 단계; 및 상기 속도 제어부가, 상기 자율주행중인 차량에 대한 속도 제어를 하여도 되는 상황이면 상기 자율주행중인 차량에 대한 속도 제어를 실행하는 단계;를 포함한다.

이러한 구성의 본 발명에 따르면, 자율주행차량의 센서를 통해 탑승자의 행위와 감정을 파악함과 동시에 GIS, HD Map과 C-ITS 정보 등을 활용하여 도로 환경이나 상황을 정밀하게 판단할 수 있다.

그에 따라, 자율주행차량의 탑승자에게 목적지까지 이동하는 시간 동안의 탑승자의 행위와 감정에 기반하여 해당 자율주행차량의 속도를 적절하게 제어해 줌으로써, 탑승자로 하여금 탑승자 상태와 자율 주행 환경에 따른 소음 최소화, 승차감 고려 등의 편의를 경험할 수 있게 해준다.

도 1은 본 발명의 실시예에 따른 자율주행차량의 속도 제어 장치의 구성도이다.
도 2 내지 도 9는 도 1의 설명에 채용되는 도면들이다.
도 10은 본 발명의 실시예에 따른 자율주행차량의 속도 제어 방법을 설명하기 위한 플로우차트이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 실시예에 따른 자율주행차량의 속도 제어 장치의 구성도이고, 도 2 내지 도 9는 도 1의 설명에 채용되는 도면들이다.

본 발명의 실시예에 따른 자율주행차량의 속도 제어 장치는, 탑승자 상태 검출부(10), 속도 제어 판단부(20), 환경 검출부(30), 및 속도 제어부(40)를 포함할 수 있다.

탑승자 상태 검출부(10)는 자율주행중인 자차량내의 탑승자의 상태(예컨대, 행위, 감정 등)를 검출한다.

탑승자 상태 검출부(10)는 카메라 기반의 차량 내부 모니터링 시스템과 센서를 통해 자율주행중인 자차량내의 탑승자 및 사물(예컨대, 책, 음료, 휴대폰, 이어폰, 유/무선 헤드셋, 화장품 등)을 감지하여 탑승자의 현재 상태를 인식할 수 있다.

탑승자 상태 검출부(10)는 행위 인식부(11) 및 감정 인식부(12)를 포함할 수 있다.

행위 인식부(11)는 탑승자의 머리 위치, 손 위치, 팔 위치, 시선(주시 지각), 눈 감김 수준 등과 같이 탑승자의 다양한 행위를 실시간으로 인식할 수 있다.

다시 말해서, 행위 인식부(11)는 탑승자와 상호 작용하는 객체(예컨대, 책, 음료, 휴대폰, 이어폰, 유/무선 헤드셋, 화장품 등)를 인식할 수 있을 뿐만 아니라, 탑승자의 팔다리와 신체의 윤곽과 같은 주요 지점을 정확하게 찾고 주요 지점을 통해 탑승자 행위 유형을 인식할 수 있다. 예를 들어, 행위 인식부(11)는 도 2에서와 같이 자율주행중인 자차량내의 탑승자의 신체의 주요 지점을 정확하게 찾을 수 있다. 여기서, 탑승자 신체의 주요 지점을 찾는 기술은 동종업계에 종사하는 자라면 주지의 기술로 충분히 이해할 수 있으므로, 그에 대한 상세한 설명은 생략하기로 한다.

이에 의해, 행위 인식부(11)는 자율주행중인 자차량내의 탑승자의 다양한 행위 유형을 인식할 수 있다.

즉, 행위 인식부(11)는 탑승자와 상호 작용하는 객체 및 탑승자의 신체를 인식하여 도출된 탑승자의 특정 행위를 실시간으로 인식할 수 있다. 예를 들어, 행위 인식부(11)는 도 3에서와 같이 탑승자가 독서중인 상태, 도 4에서와 같이 탑승자가 음료를 마시는 중인 상태, 도 5에서와 같이 탑승자가 화장을 하는 중인 상태, 도 6에서와 같이 탑승자가 창밖 풍경을 감상하는 중인 상태 등과 같은 특정한 행위 유형을 인식할 수 있다. 물론, 그 이외에도 행위 인식부(11)는 탑승자가 수면중인 상태, 탑승자가 통화중인 상태, 탑승자가 휴대전화(또는 모바일 기기)를 응시중인 상태, 탑승자(예컨대, 아이)가 돌발행위(자리이동, 안전벨트를 푼 경우)를 하는 중인 상태, 탑승자간의 대화중인 상태, 탑승자가 영화 감상중인 상태, 탑승자가 음악 감상중인 상태 등의 행위 유형을 인식할 수 있다.

감정 인식부(12)는 인공지능과 머신 러닝 기술을 탑재한 차량 내부의 카메라 센서를 통해 탑승자의 얼굴의 특징을 감지하여 해당 탑승자의 감정을 동적으로 분석(또는 인식)할 수 있다.

즉, 감정 인식부(12)는 도 7에 예시한 바와 같이 탑승자의 얼굴의 감정점을 바탕으로 해당 탑승자의 표정 특징을 포착하여 감정을 인식해 낼 수 있다. 여기서, 탑승자의 감정을 분석 또는 인식하는 기술은 동종업계에 종사하는 자라면 주지의 기술로 충분히 이해할 수 있으므로, 그에 대한 상세한 설명은 생략하기로 한다.

다시 말해서, 감정 인식부(12)는 자율주행중인 자차량내의 탑승자의 희로애락(기쁨, 노여움, 슬픔, 즐거움)과 같은 감정 및 기타 감정(예컨대, 우울, 절망, 호기심, 심술 등)을 인식할 수 있다.

예를 들어, 도 8 및 도 9에서와 같이, 감정 인식부(12)는 행복(Happy), 슬픔(Sad), 분노(Angry), 놀라움(Surprised) 등과 같은 탑승자의 감정을 인식할 수 있다. 물론, 감정 인식부(12)는 상기 예시한 행복, 슬픔, 분노, 놀라움 이외로 혐오(Disgusted), 무서움(Frightened) 등도 인식할 수 있다. 그리고, 감정 인식부(12)는 상기 예시한 행복(Happy), 슬픔(Sad), 혐오(Disgusted), 무서움(Frightened), 분노(Angry), 놀라움(Surprised) 이외의 경우를 중립(Neutral)의 감정으로 인식할 수 있다. 여기서, 중립은 무표정 또는 그에 근사한 경우를 의미할 수 있다.

상술한 감정 인식부(12)는 차량이 자율주행중이면 탑승자의 다양한 감정을 실시간으로 인식하는 것으로 할 수 있겠으나, 보다 바람직하게는 후술할 속도 제어 판단부(20)에서의 감정 인식 요청이 있을 때에만 탑승자의 감정을 인식하는 것으로 하는 것이 좋다. 왜냐하면 본 발명의 실시예에서는 감정 인식이 필요한 탑승자의 행위 유형을 "일정시간(예컨대, 적어도 4초 내지 n초 이하(n<600) 또는 15초 이상)동안 창밖 주시"로만 하였고, 탑승자의 행위 유형이 "수면중, 독서중, 음료를 마시는 중, 화장중, 휴대전화(또는 모바일 기기) 응시중, 아이의 돌발행위(자리이동, 안전벨트를 푼 경우), 통화중, 탑승자간의 대화중, 영화 감상중, 음악 감상중"일 경우에는 탑승자의 감정 인식이 필요없는 것으로 하였기 때문이다.

속도 제어 판단부(20)는 탑승자 상태 검출부(10)에 의해 검출된 탑승자의 상태 정보 및 환경 검출부(30)로부터의 외부 환경 정보를 근거로 자율주행중인 자차량의 현재 차속을 제어(예컨대, 가속 또는 감속 등의 제어)할 필요가 있는지를 판단한다. 필요에 따라서는, 환경 검출부(30)를 속도 제어 판단부(20)에 포함시켜서, 속도 제어 판단부(20)가 직접적으로 외부의 GIS시스템으로부터 GIS 정보를 외부 환경 정보로서 제공받을 수 있게 하여도 무방하다.

예를 들어, 속도 제어 판단부(20)는 탑승자 상태 검출부(10)에서 검출된 탑승자의 행위 유형이 "수면중, 독서중, 음료를 마시는 중, 화장중, 휴대전화(또는 모바일 기기) 응시중, 아이의 돌발행위(자리이동, 안전벨트를 푼 경우), 통화중, 탑승자간의 대화중, 영화 감상중, 음악 감상중"에서 적어도 하나인 경우에는 자율주행중인 자차량의 현재 차속을 제어(예컨대, 가속 또는 감속 등의 제어)할 필요가 있다고 판단할 수 있다. 이때에는 속도 제어 판단부(20)는 탑승자 상태 정보(이 경우에는 해당하는 탑승자 행위 유형만을 포함)와 함께 자율주행 속도 제어 요청을 속도 제어부(40)에게로 보낸다.

한편, 속도 제어 판단부(20)는 탑승자 상태 검출부(10)에서 검출된 탑승자의 행위 유형이 "일정시간동안 창밖 주시"인 경우에는 탑승자 상태 검출부(10)의 감정 인식부(12)에 의한 탑승자 감정 인식이 필요한 것으로 판단하여 감정 인식부(12)에게로 감정 인식 요청을 보낸다. 이후, 감정 인식부(12)에서의 탑승자 감정 인식 결과가 "희, 로, 애, 락"중에서 어느 하나 이상인 경우에는 속도 제어 판단부(20)는 환경 검출부(30)에게 외부 환경 정보를 요청한다. 이어, 속도 제어 판단부(20)는 외부의 GIS 정보를 토대로 하는 환경 검출부(30)로부터의 외부 환경 정보를 수신하여 해당 자율주행차량의 현재의 외부 환경을 파악하고, 파악된 결과에 따라 자율주행중인 자차량의 현재 차속을 제어(예컨대, 가속 또는 감속 등의 제어)할 필요가 있는지를 판단한다. 여기서, 외부 환경으로는 해안도로, 산 등의 풍경이 있을 수 있는데, 이러한 해안도로, 산 등의 풍경은 환경 검출부(30)가 외부로부터 제공받은 GIS 정보라고 할 수 있다. 다시 말해서, 예를 들어 탑승자가 일정시간동안 창밖을 주시하고 행복한 감정 상태인 것이 자율주행차량 외부의 해안도로, 산 등의 풍경으로 인한 것이면 속도 제어 판단부(20)는 해당 해안도로, 산 등의 풍경을 좀 더 오랬동안 천천히 바라볼 수 있도록 하기 위해 감속이 필요하다고 판단할 수 있다. 이와 같이 속도 제어 판단부(20)는 탑승자 행위 유형 및 감정과 함께 자율주행중인 자차량 외부의 지리 및 지형 등의 외부 환경을 근거로 자율주행중인 자차량의 현재 차속을 제어(예컨대, 가속 또는 감속 등의 제어)할 필요가 있다고 판단되면 탑승자 상태 정보(이 경우에는 해당하는 탑승자 행위 유형 및 감정 포함)와 함께 자율주행 속도 제어 요청을 속도 제어부(40)에게로 보낸다.

이와 같이 상술한 외부 환경 정보는 탑승자의 행위 유형이 어떠하든지 간에 요구되는 정보가 아니라, 탑승자의 행위 유형이 "일정시간동안 창밖 주시"이고, 탑승자 감정 인식 결과가 "희, 로, 애, 락"중에서 하나 이상(예컨대, 희, 락)인 경우에만 요구되는 정보라고 할 수 있다.

환경 검출부(30)는 속도 제어 판단부(20)로부터의 외부 환경 정보 요청을 수신함에 따라 외부 환경 정보(즉, 자율주행중인 자차량 외부의 지리 및 지형에 관련된 정보)를 검출하여 속도 제어 판단부(20)에게로 전송할 수 있다.

또한, 환경 검출부(30)는 속도 제어부(40)로부터의 주행 환경 정보 요청을 수신함에 따라 자율주행중인 자차량 주변의 주행 환경 정보를 검출하여 속도 제어부(40)에게로 전송할 수 있다.

환경 검출부(30)는 라이다(Lidar) 센서, 레이더(Radar) 센서, 카메라 센서, 초음파 센서 등을 포함하는데, 이러한 센서들은 자율주행차량의 전방, 후방 또는 측방에 위치하는 주변 차량 및 객체 등을 감지하기 위해 자율주행차량의 외부의 적절한 위치에 배치될 수 있다.

환경 검출부(30)는 외부 지형 검출부(31), 거리 검출부(32) 및 교통상황 검출부(33)를 포함할 수 있다.

외부 지형 검출부(31)는 자율주행중인 자차량 외부의 지리 및 지형에 관련된 GIS 정보를 외부 환경 정보로서 외부의 GIS시스템으로부터 전달받아 속도 제어 판단부(20)에게로 전송할 수 있다.

거리 검출부(32)는 자율주행중인 자차량의 전방과 후방의 좌우에서 주행하는 타차량 및 객체를 검출하고, 검출된 타차량과 자율주행중인 자차량간의 거리, 검출된 객체와 자율주행중인 자차량간의 거리 등의 정보를 속도 제어부(40)에게로 전송할 수 있다.

교통상황 검출부(33)는 자율주행중인 자차량과 주변차량의 위치정보, 자율주행중인 자차량 주변의 급정거, 낙하물, 차선, 신호등, 로드킬(roadkill), 사고 발생, 노면 상태 등의 C-ITS 및 HD Map 정보를 외부로부터 전달받아 속도 제어부(40)에게로 전송할 수 있다.

이와 같이 거리 검출부(32) 및 교통상황 검출부(33)가 속도 제어부(40)에게로 제공하는 정보를 주행 환경 정보라고 할 수 있다.

속도 제어부(40)는 속도 제어 판단부(20)로부터의 자율주행 속도 제어 요청을 수신하게 되면 자율주행 속도 제어 요청과 함께 수신한 탑승자 상태 정보(즉, 행위 및 감정) 및 환경 검출부(30)로부터의 자율주행중인 자차량의 주행 환경 정보를 토대로 자율주행중인 자차량에 대한 속도 제어(예컨대, 감속 또는 가속)를 하여도 되는 상황인지를 판단한다. 그리고, 속도 제어부(40)는 판단 결과에 따라 자율주행중인 자차량의 가감속 변화를 결정하여 속도 제어를 실행한다.

즉, 속도 제어부(40)는 자율주행중인 자차량에 대한 속도 제어를 함에 있어서, 주행주행중인 자차량 주변의 주행 환경을 고려하여 볼 때 자율주행중인 자차량에 대한 속도 제어를 하여도 되는 상황으로 판단되면 해당 자율주행차량에 대한 속도 제어를 실행한다. 필요에 따라서는, 환경 검출부(30)를 속도 제어부(40)에 포함시켜서, 속도 제어부(40)가 직접적으로 주행 환경 정보를 취득하게 하여도 무방하다.

속도 제어부(40)는 감속 제어부(41) 및 가속 제어부(42)를 포함할 수 있다.

감속 제어부(41)는 브레이크(brake)를 포함하고, 자율주행중인 차량의 현재 차속의 감속을 제어할 수 있다.

가속 제어부(42)는 액셀러레이터(accelerator)를 포함하고, 자율주행중인 차량의 현재 차속의 가속을 제어할 수 있다.

본 발명의 실시예에서, 속도 제어 판단부(20)와 속도 제어부(40)를 각각 구성시킨 이유는 하기와 같다.

예를 들어, 속도 제어 판단부(20)가 자율주행중인 자차량의 현재 차속을 제어할 필요가 있다고 판단하여 바로 해당 자율주행중인 자차량의 차속을 가속 또는 감속하게 되면 주행 환경(예컨대, 자율주행중인 자차량 주변의 교통상황 등)을 고려하지 않은 것이 되므로, 사고가 발생할 수 있다. 다시 말해서, 자율주행중인 자차량의 전방 또는 후방, 측방에 다수의 타차량이 존재하고 있다고 가정하고서 설명한다. 속도 제어 판단부(20)가 자율주행중인 자차량의 현재 차속을 제어할 필요가 있는 것으로 판단한 후에 주행 환경을 고려하지 않은 채로 바로 가속 또는 감속하게 되면 본의아니게 주변의 타차량 또는 객체와 충돌 내지는 추돌하게 되는 경우가 발생할 수 있다. 따라서, 이와 같은 상황을 방지하기 위해, 본 발명의 실시예에서는 자율주행중인 자차량의 속도 제어가 필요하다고 판단한 경우에라도 재차 주행 환경을 파악하여 자율주행차량의 속도 제어를 하여도 괜찮은지를 판단하도록 하였다.

물론, 상술한 본 발명의 실시예에서는 속도 제어 판단부(20)와 속도 제어부(40)를 별개로 구성시켰으나, 필요에 따라서는 속도 제어 판단부(20)와 속도 제어부(40)를 제어부라는 하나의 유닛(unit)으로 통합하여도 무방하다.

상술한 속도 제어부(40)에서의 속도 제어 예를 나타내면 하기의 표 1 및 표 2와 같을 수 있다.

탑승자 행위 유형	속도 제어 목적	속도 제어 예
수면중	탑승자 수면 유지	- 일반도로 주행시 50km/h 정속 주행 - 고속도로 주행시 80km/h 정속 주행 - 비정상도로(예; 요철, 포트홀 등) 주행시, 천천히 감속 주행 - 과속 방지턱 주행시, 5km/h 이하 주행 - 커브길 주행시 30km/h 이하 주행
독서중	멀미 유발 최소화
음료를 마시는 중	음료 흘림 방지
화장중	화장 실수 최소화
휴대전화(또는 모바일 기기) 응시중	멀미 유발 최소화
아이의 돌발행위(자리이동, 안전벨트를 푼 경우)	아이의 안전보호
통화중	음성 전달 최적화, 통화, 대화 방해 최소화	- 노면 소음, 타이어 소음 최소화를 위한 감속 주행 - 고속도로 주행 시 풍절음 유입을 감소시키기 위한 감속 주행
-
탑승자간의 대화중
영화 감상중	소음 발생 미고려, 주행시간 최소화	- 고속도로 주행 시, 풍절음 발생을 고려하지 않은 고속 주행
음악 감상중	소음 발생 미고려, 주행시간 최소화	- 고속도로 주행 시, 풍절음 발생을 고려하지 않은 고속 주행

탑승자 행위 유형	감정 인식	외부 환경, 주행환경 파악	속도 제어 예
일정시간 동안 창밖 주시	희, 락	- 해안 도로, 산 등의 풍경	- 시선이 머무는 동안 감속 주행 - 탑승자의 주시 지각 또는 감정 상태가 변경될 경우, 감속 주행 모드 해제
일정시간 동안 창밖 주시	로, 애	- 로드킬, 사고발생	- 위험 객체가 탑승자의 주시 지각 범위에서 사라질 때까지 가속 주행 - 화재 사고 발생 등으로 주행 환경이 위험하다 판단되는 경우, 탑승자의 주시 지각과 상관없이 가속 주행

상술한 표 1 및 표 2는 자율주행차량이 평균 50km/h로 주행하고 있으며, 속도 제어가 가능한 주행 환경에서 자율주행중인 것으로 가정할 수 있다.

표 1에서와 같이, 탑승자의 행위 유형이 "수면중"이면 속도 제어부(40)는 탑승자의 수면 유지를 위해, 탑승자의 행위 유형이 "독서중" 또는 휴대전화(또는 모바일 기기) 응시중"이면 속도 제어부(40)는 탑승자의 멀미 유발을 최소화하기 위해, 탑승자의 행위 유형이 "음료를 마시는 중"이면 속도 제어부(40)는 음료 흘림을 방지하기 위해, 탑승자의 행위 유형이 "화장중"이면 속도 제어부(40)는 화장 실수를 최소화하기 위해, 탑승자의 행위 유형이 "아이의 돌발행동(자리이동, 안전벨트를 푼 경우)"이면 속도 제어부(40)는 아이의 안전보호를 위해, 자율주행중인 자차량에 대한 속도 제어를 행하게 된다. 예를 들어, 탑승자의 행위 유형이 상기 예시한 "수면중", "독서중", "음료를 마시는 중", "화장중", "휴대전화(또는 모바일 기기) 응시중", "아이의 돌발행동(자리이동, 안전벨트를 푼 경우)" 에서 적어도 하나이면 속도 제어부(40)는 해당 자율주행차량이 일반도로를 주행시에는 대략 50km/h로 정속 주행하게 제어할 수 있고, 해당 자율주행차량이 고속도로를 주행시에는 대략 80km/h로 정속 주행하게 제어할 수 있고, 해당 자율주행차량이 비정상도로(예컨대, 요철, 포트홀 등)를 주행시에는 천천히 감속 주행하게 제어할 수 있고, 해당 자율주행차량이 과속방지턱을 주행시에는 대략 5km/h 이하로 주행하게 제어할 수 있고, 해당 자율주행차량이 커브길을 주행시에는 대략 30km/h 이하로 주행하게 제어할 수 있다.

한편, 표 1에서와 같이 탑승자의 행위 유형이 "통화중" 또는 "탑승자간의 대화중"이면 속도 제어부(40)는 음성 전달 최적화, 통화, 대화 방해를 최소화하기 위해 노면 소음 최소화 및 타이어 소음 최소화를 위한 감속 주행을 실시할 수 있다. 이때, 속도 제어부(40)는 해당 자율주행차량이 고속도로를 주행하는 경우에는 풍절음 유입을 감소시키기 위한 감속 주행(즉, 50km/h 보다는 낮은 차속으로 주행)을 실시할 수 있다.

한편, 표 1에서와 같이 탑승자의 행위 유형이 "영화 감상중" 또는 "음악 감상중"이면 속도 제어부(40)는 주행시간 최소화를 위해 소음 발생은 고려하지 않을 수 있다. 그에 따라, 탑승자의 행위 유형이 "영화 감상중" 또는 "음악 감상중"이고 해당 자율주행차량이 고속도로를 주행하는 경우에는 속도 제어부(40)는 풍절음 발생을 고려하지 않은 고속 주행(즉, 50km/h 보다는 높은 차속으로 주행)을 실시할 수 있다.

한편, 표 2에서와 같이 탑승자의 행위 유형이 "일정시간(예컨대, 적어도 4초 내지 n초 이하(n<600) 또는 15초 이상) 동안 창밖 주시"이고, 탑승자 감정이 "희(喜), 락(樂)"중에서 어느 하나이고, 파악된 외부 환경이 "해안도로, 산 등의 풍경"인 경우에는, 속도 제어부(40)는 해당 탑승자의 시선이 머무는 동안 감속 주행(즉, 50km/h 보다는 낮은 차속으로 주행)을 실시하고, 해당 탑승자의 주시 지각 또는 감정상태가 변경될 경우에는 감속 주행 모드를 해제할 수 있다. 상술한 일정시간에 대한 예시는 하나의 예시일 뿐 상술한 수치로 한정되지 않고 얼마든지 조정가능하다.

한편, 표 2에서와 같이 탑승자의 행위 유형이 "일정시간(예컨대, 적어도 4초 내지 n초 이하(n<600) 또는 15초 이상) 동안 창밖 주시"이고 탑승자 감정이 "로(怒), 애(哀)"중에서 어느 하나이고, 파악된 주행 환경이 "로드킬" 또는 "사고 발생"이면 탑승자의 입장에서는 해당 지역을 빨리 벗어나고 싶어할 것이므로, 속도 제어부(40)는 위험 객체가 해당 탑승자의 주시 지각 범위에서 사라질 때까지 가속 주행(즉, 50km/h 보다는 높은 차속으로 주행)을 실시할 수 있다. 특히, 속도 제어부(40)는 화재 사고 발생 등으로 현재의 주행 환경이 위험하다고 판단되는 경우에는 해당 탑승자의 주시 지각과는 상관없이 가속 주행(즉, 50km/h 보다는 높은 차속으로 주행)을 실시할 수 있다.

물론, 필요에 따라서는 상술한 외부 환경 정보 및 주행 환경 정보를 환경 정보로 통칭하여도 된다. 이 경우, 탑승자의 행위 유형과 감정 및 환경 정보를 근거로 자율주행중인 자차량의 속도 제어가 필요한지를 판단할 수 있을 뿐만 아니라 자율주행중인 자차량에 대한 속도 제어를 할 수 있다.

도 10은 본 발명의 실시예에 따른 자율주행차량의 속도 제어 방법을 설명하기 위한 플로우차트이다.

먼저, 탑승자 상태 검출부(10)가 카메라 기반의 차량 내부 모니터링 시스템과 센서를 통해 자율주행중인 차량내의 탑승자 및 사물(예컨대, 책, 음료, 휴대폰, 이어폰, 유/무선 헤드셋, 화장품 등)을 감지하여 해당 탑승자의 상태(예컨대, 행위)를 검출한다(S10). 이때의 탑승자 상태 검출시에는 탑승자 상태 검출부(10)의 행위 인식부(11)에서 인식된 정보를 근거로 상태 검출을 실시한다. 즉, 행위 인식부(11)는 탑승자와 상호 작용하는 객체 및 탑승자의 신체를 인식하여 도출된 탑승자의 특정 행위를 실시간으로 인식할 수 있다.

이와 같이 탑승자 상태 검출부(10)에서의 탑승자 상태 정보는 속도 제어 판단부(20)에게로 전송되고, 속도 제어 판단부(20)는 탑승자 상태 검출부(10)로부터의 탑승자 상태 정보를 기반으로 해당 탑승자의 행위 유형을 파악한다(S12). 여기서, 파악되는 해당 탑승자의 행위 유형은 예를 들어 "수면중", "독서중", "음료를 마시는 중", "화장중", "휴대전화(또는 모바일 기기) 응시중", "아이의 돌발행위(자리이동, 안전벨트를 푼 경우)", "통화중", "탑승자간의 대화중", "영화 감상중", "음악 감상중", "일정시간동안 창밖 주시" 중에서 하나일 수 있다.

상술한 해당 탑승자의 행위 유형이 파악되면, 속도 제어 판단부(20)는 탑승자의 감정 인식이 필요한지를 판단한다(S14).

만약, 파악된 해당 탑승자의 행위 유형이 "일정시간동안 창밖 주시"인 경우에는 속도 제어 판단부(20)는 탑승자의 감정 인식이 필요한 것으로 판단(S14에서 "Yes")하여 감정 인식 요청을 탑승자 상태 검출부(10)에게로 보낸다. 그에 따라, 탑승자 상태 검출부(10)의 감정 인식부(12)는 해당 탑승자의 감정을 인식한다(S16). 그리고, 감정 인식부(12)에서 인식된 해당 탑승자의 감정(예컨대, 희로애락중에서 희 또는 락)은 속도 제어 판단부(20)에게로 인가한다.

이어, 속도 제어 판단부(20)는 외부의 GIS 정보를 토대로 하는 환경 검출부(30)로부터의 외부 환경 정보를 수신하여 해당 자율주행차량의 현재의 외부 환경을 파악한다(S18).

그리고 나서, 속도 제어 판단부(20)는 탑승자 행위 유형 및 감정(예컨대, 희로애락중에서 희 또는 락)과 함께 자율주행중인 자차량의 외부 환경을 근거로 자율주행중인 자차량의 현재 차속을 제어(예컨대, 가속 또는 감속 등의 제어)할 필요가 있는지를 판단한다(S20). 예를 들어, 탑승자가 일정시간동안 창밖을 주시하고 기쁘거나 즐거운 감정 상태인 것이 자율주행차량 외부의 해안도로, 산 등의 풍경으로 인한 것이면 속도 제어 판단부(20)는 해당 해안도로, 산 등의 풍경을 좀 더 오랬동안 천천히 바라볼 수 있도록 하기 위해 감속이 필요하다고 판단할 것이다. 만약, 상술한 단계 S12에서 파악된 탑승자의 행위 유형이 "수면중", "독서중", "음료를 마시는 중", "화장중", "휴대전화 응시중", "아이의 돌발행위", "통화중", "탑승자간의 대화중", "영화 감상중", "음악 감상중" 중에서 어느 하나이면 속도 제어 판단부(20)는 탑승자의 감정 인식이 필요없는 것으로 판단(S14에서 "No")하여 상술한 단계 S20을 바로 진행할 것이다.

상술한 단계 S20에서, 속도 제어 판단부(20)는 자율주행중인 자차량의 현재 차속을 제어할 필요가 있다고 판단되면(S20에서 "Yes") 탑승자 상태 정보(이 경우에는 탑승자 행위 유형 및 감정 포함)와 함께 자율주행 속도 제어 요청을 속도 제어부(40)에게로 보낸다.

그에 따라, 속도 제어부(40)는 환경 검출부(30)에게로 주행 환경 정보 요청을 하고, 환경 검출부(30)로부터의 자율주행중인 자차량의 주행 환경 정보를 토대로 해당 자율주행차량의 주행 환경을 파악한다(S22).

이후, 속도 제어부(40)는 파악된 주행 환경을 근거로 자율주행중인 자차량의 현재 차속을 제어하여도 되는 상황인지를 판단한다(S24). 예를 들어, 탑승자의 행위 유형이 "일정시간동안 창밖 주시"이고, 탑승자 감정이 희로애락중에서 어느 하나(예컨대, 로 또는 애) 이상이고, 파악된 주행 환경이 "로드킬" 또는 "사고 발생"인 경우에는 속도 제어부(40)는 자율주행중인 자차량의 현재 차속을 제어하여도 되는 상황으로 판단할 것이다.

자율주행중인 자차량에 대한 속도 제어를 하여도 되는 상황으로 판단되면(S24에서 "Yes") 속도 제어부(40)는 자율주행중인 자차량의 가감속 변화를 결정하여 속도 제어를 실행한다(S26). 여기서, 속도 제어부(40)에서의 속도 제어의 예는 상기 표 1 및 표 2를 참고하여 설명한 속도 제어의 예들이 있을 수 있다.

또한, 상술한 본 발명의 자율주행차량의 속도 제어 방법은, 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.

10 : 탑승자 상태 검출부 11 : 행위 인식부
12 : 감정 인식부 20 : 속도 제어 판단부
30 : 환경 검출부 31 : 외부 지형 검출부
32 : 거리 검출부 33 : 교통상황 검출부
40 : 속도 제어부 41 : 감속 제어부
42 : 가속 제어부

Claims

자율주행중인 차량내의 탑승자의 상태를 검출하는 탑승자 상태 검출부;
상기 탑승자 상태 검출부로부터의 탑승자의 상태 정보를 근거로 상기 차량의 차속을 제어할 필요가 있는지를 판단하는 속도 제어 판단부; 및
상기 속도 제어 판단부로부터의 자율주행 속도 제어 요청을 수신함에 따라 상기 탑승자의 상태 정보 및 상기 차량의 환경 정보를 토대로 상기 차량에 대한 속도 제어를 실행하는 속도 제어부;를 포함하고,
상기 탑승자 상태 검출부는 상기 탑승자의 행위 및 감정중에서 하나 이상을 인식하되, 상기 인식된 탑승자의 행위에 근거한 상기 탑승자의 상태 정보를 상기 속도 제어 판단부에게로 보내고,
상기 속도 제어 판단부는 상기 탑승자의 행위 유형이 제 2 특정 행위이면 상기 탑승자 상태 검출부에게 감정 인식을 요청하여 감정 인식 결과를 수신한 후에, 상기 제 2 특정 행위와 상기 감정 인식 결과 및 상기 환경 정보의 외부 환경 정보를 근거로 상기 차량의 차속을 제어할 필요가 있다고 판단되면 상기 자율주행 속도 제어 요청을 상기 속도 제어부에게로 보내고,
상기 속도 제어부는 상기 자율주행 속도 제어 요청을 수신함에 따라 상기 제 2 특정 행위와 상기 감정 인식 결과 및 상기 환경 정보의 주행 환경 정보를 토대로 상기 차량에 대한 감속 또는 가속을 결정하여 상기 차량에 대한 속도 제어를 실행하고,
상기 제 2 특정 행위는 일정시간동안 창밖 주시이고,
상기 외부 환경 정보는 상기 차량의 외부의 지리 및 지형에 관련된 GIS 정보를 포함하고,
상기 주행 환경 정보는 상기 차량 주변의 타차량 및 객체, 상기 차량과 상기 타차량간의 거리, 상기 차량과 상기 객체간의 거리, C-ITS 정보, HD map 정보를 포함하고,
상기 속도 제어부는, 상기 탑승자의 행위 유형이 일정시간동안 창밖 주시이고, 상기 탑승자의 감정이 희, 락 중에서 어느 하나이고, 상기 주행 환경 정보가 해안 도로 또는 산을 포함하는 풍경이면 상기 차량에 대한 감속 주행 모드를 실행하고,
상기 속도 제어부는, 상기 탑승자의 행위 유형이 일정시간동안 창밖 주시이고, 상기 탑승자의 감정이 로, 애 중에서 어느 하나이고, 상기 주행 환경 정보가 위험 객체 또는 사고발생이면 상기 차량에 대한 가속 주행 모드를 실행하는 것을 특징으로 자율주행차량의 속도 제어 장치.
제 1항에 있어서,
상기 속도 제어 판단부는,
상기 인식된 탑승자의 행위가 제 1 특정 행위이면 상기 감정 인식 요청이 필요없는 것으로 판단한 후에 해당 탑승자의 행위 유형과 함께 상기 자율주행 속도 제어 요청을 상기 속도 제어부에게로 보내는 것을 특징으로 자율주행차량의 속도 제어 장치.
제 2항에 있어서,
상기 제 1 특정 행위는,
수면중, 독서중, 음료를 마시는 중, 화장중, 휴대전화 응시중, 아이의 돌발행위, 통화중, 탑승자간의 대화중, 영화 감상중, 및 음악 감상중 중에서 어느 하나인 것을 특징으로 자율주행차량의 속도 제어 장치.
제 3항에 있어서,
상기 속도 제어부는,
상기 탑승자의 제 1 특정 행위 및 상기 환경 정보를 근거로 상기 차량에 대한 속도 제어를 실행하는 것을 특징으로 자율주행차량의 속도 제어 장치.
삭제
삭제
삭제
삭제
탑승자 상태 검출부가, 자율주행중인 차량내의 탑승자의 상태를 검출하는 단계;
속도 제어 판단부가, 상기 탑승자의 상태 정보를 근거로 상기 차량의 차속을 제어할 필요가 있는지를 판단하는 단계; 및
속도 제어부가, 상기 판단하는 단계에서의 자율주행 속도 제어 요청을 수신함에 따라 상기 탑승자의 상태 정보 및 상기 차량의 환경 정보를 토대로 상기 차량에 대한 속도 제어를 실행하는 단계;를 포함하고,
상기 검출하는 단계는 상기 탑승자의 행위 및 감정중에서 하나 이상을 인식하되, 상기 인식된 탑승자의 행위에 근거한 상기 탑승자의 상태 정보를 상기 속도 제어 판단부에게로 보내고,
상기 판단하는 단계는 상기 탑승자의 행위 유형이 제 2 특정 행위이면 상기 탑승자 상태 검출부에게 감정 인식을 요청하여 감정 인식 결과를 수신한 후에, 상기 제 2 특정 행위와 상기 감정 인식 결과 및 상기 환경 정보의 외부 환경 정보를 근거로 상기 차량의 차속을 제어할 필요가 있다고 판단되면 상기 자율주행 속도 제어 요청을 상기 속도 제어부에게로 보내고,
상기 실행하는 단계는 상기 자율주행 속도 제어 요청을 수신함에 따라 상기 제 2 특정 행위와 상기 감정 인식 결과 및 상기 환경 정보의 주행 환경 정보를 토대로 상기 차량에 대한 감속 또는 가속을 결정하여 상기 차량에 대한 속도 제어를 실행하고,
상기 제 2 특정 행위는 일정시간동안 창밖 주시이고,
상기 외부 환경 정보는 상기 차량의 외부의 지리 및 지형에 관련된 GIS 정보를 포함하고,
상기 주행 환경 정보는 상기 차량 주변의 타차량 및 객체, 상기 차량과 상기 타차량간의 거리, 상기 차량과 상기 객체간의 거리, C-ITS 정보, HD map 정보를 포함하고,
상기 실행하는 단계는, 상기 탑승자의 행위 유형이 일정시간동안 창밖 주시이고, 상기 탑승자의 감정이 희, 락 중에서 어느 하나이고, 상기 주행 환경 정보가 해안 도로 또는 산을 포함하는 풍경이면 상기 차량에 대한 감속 주행 모드를 실행하고,
상기 실행하는 단계는, 상기 탑승자의 행위 유형이 일정시간동안 창밖 주시이고, 상기 탑승자의 감정이 로, 애 중에서 어느 하나이고, 상기 주행 환경 정보가 위험 객체 또는 사고발생이면 상기 차량에 대한 가속 주행 모드를 실행하는 것을 특징으로 자율주행차량의 속도 제어 방법.
제 9항에 있어서,
상기 판단하는 단계는,
상기 인식된 탑승자의 행위가 제 1 특정 행위이면 상기 감정 인식 요청이 필요없는 것으로 판단한 후에 해당 탑승자의 행위 유형과 함께 상기 자율주행 속도 제어 요청을 상기 속도 제어부에게로 보내는 것을 특징으로 자율주행차량의 속도 제어 방법.
제 10항에 있어서,
상기 제 1 특정 행위는,
수면중, 독서중, 음료를 마시는 중, 화장중, 휴대전화 응시중, 아이의 돌발행위, 통화중, 탑승자간의 대화중, 영화 감상중, 및 음악 감상중 중에서 어느 하나인 것을 특징으로 자율주행차량의 속도 제어 방법.
제 11항에 있어서,
상기 실행하는 단계는,
상기 탑승자의 제 1 특정 행위 및 상기 환경 정보를 근거로 상기 차량에 대한 속도 제어를 실행하는 것을 특징으로 자율주행차량의 속도 제어 방법.
삭제
삭제
삭제
삭제