KR102735463B1

KR102735463B1 - 원격 주행 시스템에서의 사고 인식 및 예방 방법 및 그를 위한 장치 및 시스템

Info

Publication number: KR102735463B1
Application number: KR1020220052372A
Authority: KR
Inventors: 김성민
Original assignee: 주식회사 엘지유플러스
Priority date: 2022-04-27
Filing date: 2022-04-27
Publication date: 2024-11-29
Anticipated expiration: 2042-04-27
Also published as: KR20230152901A

Abstract

본 발명은 원격 제어 센터에서의 사고 인식 및 예방 방법 및 그를 위한 장치 및 시스템에 관한 것으로서, 본 개시의 일측면에 따른 네트워크를 통해 원격 제어 차량과 연동되는 원격 제어 센터에서의 사고 인식 및 예방 방법은 상기 원격 제어 차량에 상응하는 차량 영상 정보 및 차량 센서 정보를 수신하는 단계와 상기 차량 영상 정보 및 차량 센서 정보에 상응하는 차량 제어 정보를 획득하는 단계와 상기 차량 영상 정보, 상기 차량 센서 정보 및 상기 차량 제어 정보에 기반하여 차량 상태 및 충격 상태를 추정하는 단계와 상기 추정된 차량 상태 및 충격 상태에 기반하여 사고 인식 및 사고 예방을 위한 제어 신호를 생성하는 단계를 포함할 수 있다.

Description

원격 주행 시스템에서의 사고 인식 및 예방 방법 및 그를 위한 장치 및 시스템{METHOD FOR RECOGNIZING AND PREVENTING ACCIDENT IN TELE-OPERATED DRIVING SYSTEM AND APPARATUS AND SYSTEM THEREFOR}

본 발명은 원격 주행에 관한 것으로서, 상세하게 원격 주행 시스템 운영 시 원격지 센터에서 원격 제어 차량의 사고 발생 인식할 수 있을 뿐만 아니라 사고 발생 위험을 사전 감지함으로써, 원격 주행 시 사고 위험을 완화하고 사고 발생을 미연에 방지하기 위한 기술에 관한 것이다.

자율 주행 차량이란 운전자 또는 승객의 조작 없이 차량 스스로 운행이 가능한 차량을 말한다. 또한, 통신 기술이 발전함에 따라 고속으로 대용량의 데이터 전송이 가능해지면서, 무선 통신 시스템에 의해 더 다양한 서비스를 제공할 수 있게 된다.

현재 자율 주행 차량은 기술적으로도 아직 폭우나 폭설, 짙은 안개가 있는 환경이나 돌발 상황에서 문제 없이 주행할 수 있는 수준이 아니다. 구글이 네바다주에서 무인 자동차로 면허를 받았을 때 검사관은 여러 가지 기상 상황이나 비포장 도로 같은 환경에 적응하지 못하는 문제점을 지적한 바 있다.

이러한 자율 주행 차량의 문제점을 보완하기 위해, 원격지에서 자율 주행 차량의 주행 지점에 대한 정보, 자율 주행 차량의 위치 정보, 자율 주행 차량에 의해 수집된 각종 센싱 정보 등을 기초로 자율 주행 차량을 원격지에서 상시 감시하고 조작하는 것이 가능한 원격 제어 자율 주행 제어 시스템, 즉 원격 주행(Tele-operated Driving, ToD)에 대한 연구가 활발히 진행되고 있다.

다양한 교통 수단이나 서비스가 보급 및 확대됨에 따라 자율 주행 차량의 원격 제어는 매우 중요한 교통의 요소가 될 전망이다.

하지만, 종래 원격 주행 시스템 운영 시 원격지에서는 실제 자율 주행 차량의 각종 물리적 현상 및 위험 상황들-예를 들면, 물체와의 충돌에 의한 충격, 흔들림, 방지턱/요철/물웅덩이/결빙지역 등의 헤저드(Hazard) 진입 등-을 인지하지 못해 사고 발생을 효과적으로 예방하기 힘든 문제점이 있었다.

한국 특허공개 제10-2015-0115069호(2015.10.14)에는 차량과 통신 연동된 제어 플랫폼에서 대리 운전 기사가 차량을 원격으로 운전하여 차량 주행을 제어하는 원격 차량 제어 장치 및 원격 운전 시스템이 개시되어 있다.

한국 공개특허 제10-2020-0055596호(2020.05.21)에는 차량 단말 장치가 복수의 카메라로부터 복수의 입력 영상들을 획득하고 이를 네트워크를 통해 원격 제어 장치에 전송하면, 원격 제어 장치가 수신된 영상을 기초로 패킹 영상을 구성하는 기술이 개시되어 있다.

한국 공개특허 제10-2018-012625(2018.11.27)에는 무인차량에 탑재된 다양한 센서들로부터 생성된 환경 정보 지도 및 영상 정보를 기반으로 원격 통제 장치가 무인 차량이 추종할 경로점 및 가감속 명령을 생성하는 기술이 개시되어 있다.

본 개시의 목적은 원격 주행 시스템의 사고 인식 및 예방 방법 및 그를 위한 장치 및 시스템을 제공하는 것이다.

본 개시의 다른 목적은 원격 제어 차량으로부터 수집된 각종 센싱 정보에 기반하여 원격 제어 센터가 원격 제어 차량의 사고 발생을 즉시 인식할 수 있을 뿐만 아니라 사고 발생 위험을 사전 감지하여 예방하는 것이 가능한 원격 주행 시스템의 사고 인식 및 예방 방법 및 그를 위한 장치 및 시스템을 제공하는 것이다.

본 개시의 다른 목적은 원격 제어 차량으로부터 수집된 각종 센싱 정보 및 원격 제어 센터에 의해 생성된 원격 제어 명령을 분석하여 현재 차량의 주행 상태 및 충격 상태를 판단하고, 판단 결과에 기초하여 생성된 제어 신호를 원격 제어 센터에 구비된 인포테인먼트 장치 및/또는 각종 엑추에이터(Actuator)에 전송함으로써, 원격지 운전자에게 사고 발생 인식 및 사고 예방을 위한 각종 경고 알람을 출력하는 것이 가능한 원격 주행 시스템의 사고 인식 및 예방 방법 및 그를 위한 장치 및 시스템을 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 개시의 일측면에 따른 네트워크를 통해 원격 제어 차량과 연동되는 원격 제어 센터에서의 사고 인식 및 예방 방법은 상기 원격 제어 차량에 상응하는 차량 영상 정보 및 차량 센서 정보를 수신하는 단계와 상기 차량 영상 정보 및 차량 센서 정보에 상응하는 차량 제어 정보를 획득하는 단계와 상기 차량 영상 정보, 상기 차량 센서 정보 및 상기 차량 제어 정보에 기반하여 차량 상태 및 충격 상태를 추정하는 단계와 상기 추정된 차량 상태 및 충격 상태에 기반하여 사고 인식 및 사고 예방을 위한 제어 신호를 생성하는 단계를 포함할 수 있다.

실시 예로, 상기 원격 제어 센터는 인포테인먼트 장치 및 4D 엑추에이터를 포함하되, 상기 제어 신호는 상기 인포테인먼트 장치의 화면에 표시될 경고 알람 메시지 및/또는 상기 인포테인먼트 장치의 스피커를 통해 출력될 음성 알람 메시지를 출력하기 위한 인포테인먼트 제어 신호와 상기 4D 엑추에이터의 동작을 제어하기 위한 햅틱 제어 신호를 포함할 수 있다.

실시 예로, 상기 원격 제어 센터는 원격 운전 장치를 포함하고, 상기 차량 제어 정보는 상기 원격 제어 센터에 구비된 원격 운전 장치에 의해 생성되는 차량 제어 명령인 것을 특징으로 한다.

실시 예로, 상기 추정하는 단계는 상기 차량 영상 정보, 상기 차량 센서 정보 및 상기 차량 제어 정보를 전처리 후 분석하여 각 정보 별 특성 값을 추출하는 단계와 상기 추출된 특성 값에 기반한 소정 연산을 수행하여 상기 차량 상태 및 상기 충돌 상태를 추정하는 단계를 포함할 수 있다.

실시 예로, 상기 특성 값은 상기 차량 영상 정보를 기반으로 분석되어 추출되고, 상기 원격 제어 차량의 실-상태와 관련된 제1 특성 값과 상기 차량 센서 정보를 기반으로 분석되어 추출되고, 상기 원격 제어 차량의 실-자세와 관련된 제2 특성 값과 상기 차량 제어 정보를 기반으로 분석되어 추출되고, 상기 원격 제어 차량의 기대-상태와 관련된 제3 특성 값과 상기 차량 제어 정보를 기반으로 분석되어 추출되고, 상기 원격 제어 차량의 기대-자세와 관련된 제4 특성 값 중 적어도 하나를 포함할 수 있다.

실시 예로, 상기 제1 특성 값 및 상기 제3 특성 값은 상기 원격 제어 차량의 주행 방향에 상응하는 직진 상태 값, 좌회전 상태 값, 우회전 상태 값, 후진 상태 값 및 정지 상태 값 중 적어도 하나를 포함하고, 상기 제2 특성 값 및 상기 제4 특성 값은 상기 원격 제어 차량의 자세에 상응하는 요(Yaw) 값, 피치(Pitch) 값 및 롤(Roll) 값 중 적어도 하나를 포함할 수 있다.

실시 예로, 상기 전처리는 동기 신호를 기반으로 상기 차량 영상 정보, 상기 차량 센서 정보 및 상기 차량 제어 정보를 시계열적으로 동기화시키는 단계와 상기 동기화된 정보를 정규화시키는 단계를 포함할 수 있다.

실시 예로, 상기 연산은 딥러닝 또는 머신러닝 또는 확률 추론에 기반하여 제1 차량 상태 및 제1 충돌 상태를 출력하는 제1 연산 단계와 특정 함수에 기반한 결정적(deterministic) 연산을 통해 제2 차량 상태 및 제2 충돌 상태를 출력하는 제2 연산 단계를 포함하고, 상기 제1 내지 2 차량 상태 및 상기 제1 내지 2 충돌 상태에 대한 데이터 퓨전을 통해 최종 차량 상태 및 충돌 상태가 추정될 수 있다.

실시 예로, 상기 차량 상태는 추정된 주행 방향에 관한 정보 및 상기 추정된 주행 방향에 상응하여 정규화된 크기 정보를 포함하고, 상기 충격 상태는 추정된 충격 상태에 관한 정보 및 상기 추정된 충격 상태에 상응하는 정규화된 크기 정보를 포함할 수 있다.

본 개시의 다른 측면에 따른 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서가 네트워크를 통해 원격 제어 차량과 연동되는 원격 제어 센터에서 사고 인식 및 예방을 위한 동작들을 수행하게 하는 명령을 포함하는 적어도 하나의 컴퓨터 프로그램을 저장하는 비휘발성 컴퓨터 판독 가능 저장 매체에 있어서, 상기 동작들은 상기 원격 제어 장치로부터 차량 영상 정보 및 차량 센서 정보를 수신하는 단계와 상기 차량 영상 정보 및 차량 센서 정보에 상응하는 차량 제어 정보를 획득하는 단계와 상기 차량 영상 정보, 상기 차량 센서 정보 및 상기 차량 제어 정보에 기반하여 차량 상태 및 충격 상태를 추정하는 단계와 상기 추정된 차량 상태 및 충격 상태에 기반하여 사고 인식 및 사고 예방을 위한 제어 신호를 생성하는 단계를 포함할 수 있다.

본 개시의 또 다른 측면에 따른 네트워크를 통해 원격 제어 차량과 연동되는 원격 제어 센터는 상기 원격 제어 차량에 상응하는 차량 영상 정보 및 차량 센서 정보를 수신하는 송수신기와 차량 제어 정보를 생성하는 원격지 운전 장치와 상기 차량 영상 정보, 차량 센서 정보 및 상기 차량 제어 정보를 기반으로 차량 상태 및 충돌 상태를 추정하여 사고 인식 및/또는 사고 예방을 위한 제어 신호를 생성하는 사고 인식 및 예방 장치와 상기 제어 신호에 따라 알람 메시지를 출력하는 출력 장치를 포함할 수 있다.

실시 예로, 상기 출력 장치는 인포테인먼트 장치 및 4D 엑추에이터를 포함하되, 상기 제어 신호는 상기 인포테인먼트 장치의 화면에 표시될 경고 알람 메시지 및/또는 상기 인포테인먼트 장치의 스피커를 통해 출력될 음성 알람 메시지를 출력하기 위한 인포테인먼트 제어 신호와 상기 4D 엑추에이터의 동작을 제어하기 위한 햅틱 제어 신호를 포함할 수 있다.

실시 예로, 상기 차량 제어 정보는 원격지 운전자에 의한 상기 원격 운전 장치의 조작에 따라 생성되는 차량 제어 명령일 수 있다.

실시 예로, 상기 사고 인식 및 예방 장치는 상기 차량 영상 정보, 상기 차량 센서 정보 및 상기 차량 제어 정보를 전처리 후 분석하여 각 정보 별 특성 값을 추출하고, 상기 추출된 특성 값에 기반한 소정 연산을 수행하여 상기 차량 상태 및 상기 충돌 상태를 추정할 수 있다.

실시 예로, 상기 전처리는 동기 신호를 기반으로 상기 차량 영상 정보, 상기 차량 센서 정보 및 상기 차량 제어 정보를 시계열적으로 동기화시키는 수단과 상기 동기화된 정보를 정규화시키는 수단을 포함할 수 있다.

실시 예로, 상기 연산은 딥러닝 또는 머신러닝 또는 확률 추론에 기반하여 제1 차량 상태 및 제1 충돌 상태를 출력하는 제1 연산부와 특정 함수에 기반한 결정적(deterministic) 연산을 통해 제2 차량 상태 및 제2 충돌 상태를 출력하는 제2 연산부를 통해 수행되고, 상기 제1 내지 2 차량 상태 및 상기 제1 내지 2 충돌 상태에 대한 데이터 퓨전을 통해 최종 차량 상태 및 충돌 상태가 추정될 수 있다.

실시 예로, 상기 사고 인식 및 예방 장치는 상기 원격 제어 센터에 탈부착이 가능하도록 구현될 수 있다.

본 개시의 또 다른 실시 예에 따른 네트워크를 통해 원격 제어 차량과 연동되는 원격 제어 센터에 탈부착이 가능하도록 구현되는 사고 인식 및 예방 장치는 상기 원격 제어 차량 및 상기 원격 제어 센터에 구비된 원격 운전 장치로부터 수집된 복수의 정보를 전처리 후 분석하여 정보 별 특성 값을 추출하는 분석부와 상기 추출된 특성 값에 기반한 소정 연산을 통해 차량 상태 및 충격 상태를 추정하는 판단부와 상기 추정된 차량 상태 및 상기 충격 상태에 기반하여 사고 인식 및 예방을 위한 제어 신호를 생성하는 생성부를 포함하고, 상기 복수의 정보는 상기 원격 제어 차량으로부터 획득되는 차량 영상 정보 및 차량 센서 정보와 상기 원격 운전 장치에 의해 생성된 차량 제어 정보를 포함할 수 있다.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 개시에 따른 다양한 실시 예들은 원격 주행 시스템의 사고 인식 및 예방 방법 및 그를 위한 장치 및 시스템을 제공하는 장점이 있다.

또한, 본 개시에 따른 다양한 실시 예들은 원격 제어 차량으로부터 수집된 각종 센싱 정보에 기반하여 원격 제어 센터가 원격 제어 차량의 사고 발생을 실시간 인식할 수 있을 뿐만 아니라 사고 발생 위험을 사전 감지하여 예방하는 것이 가능한 원격 주행 시스템의 사고 인식 및 예방 방법 및 그를 위한 장치 및 시스템을 제공하는 장점이 있다.

또한, 본 개시에 따른 다양한 실시 예들은 원격 제어 차량으로부터 수집된 각종 센싱 정보 및 원격 제어 센터에 의해 생성된 원격 제어 명령을 분석하여 현재 차량의 주행 상태 및 충격 상태 등을 판단하고, 판단 결과에 기초하여 생성된 제어 신호를 원격 제어 센터에 구비된 인포테인먼트 장치 및/또는 각종 엑추에이터(Actuator)에 전송함으로써, 원격지 운전자에게 사고 발생 인식 및 사고 예방을 위한 각종 경고 알람을 출력하는 것이 가능한 원격 주행 시스템의 사고 인식 및 예방 방법 및 그를 위한 장치 및 시스템을 제공하는 장점이 있다.

또한, 본 개시에 따른 다양한 실시 예들은 기존 원격 주행 시스템의 하드웨어를 그대로 사용하고, 소프트웨어 업그레이드를 통해 구현될 수 있으며, 이를 통해 비용 효율적으로 원격지에서 원격 제어 차량의 사고 발생을 인식하고 예방할 수 있는 장점이 있다.

다양한 실시 예에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 명세서에 첨부되는 도면은 본 발명에 대한 이해를 제공하기 위한 것으로서 본 발명의 다양한 실시형태들을 나타내고 명세서의 기재와 함께 본 발명의 원리를 설명하기 위한 것이다.
도 1은 본 개시의 일 실시예의 원격 주행 시스템을 설명하는 도면이다.
도 2는 본 개시의 일 실시예에 따른 원격 주행 시스템의 세부 구성을 설명하기 위한 도면이다.
도 3은 본 개시의 일 실시 예에 따른 원격 제어 차량의 일반적인 동작을 설명하기 위한 도면이다.
도 4는 본 개시의 실시 예에 따른 원격 주행 시스템의 상세 구조를 설명하기 위한 도면이다.
도 5는 본 개시의 실시 예에 따른 사고 인식 및 예방 장치의 상세 동작을 설명하기 위한 블록도이다.
도 6은 본 개시의 실시 예에 따른 사고 인식 및 예방 장치의 분석부 동작을 설명하기 위한 블록도이다.
도 7은 본 개시의 실시 예에 따른 사고 인식 및 예방 장치의 판단부 동작을 설명하기 위한 블록도이다.
도 8은 본 개시의 실시 예에 따른 사고 인식 및 예방 장치의 생성부 동작을 설명하기 위한 블록도이다.
도 9는 본 개시의 실시 예에 따른 원격 제어 센터에 구비될 수 있는 엑추에이터의 예시이다.
도 10은 본 개시의 실시 예에 따른 원격 주행 시스템의 동작을 설명하기 위한 흐름도이다.
도 11은 본 개시의 일 실시 예에 따른 사고 인식 및 예방 장치의 동작을 설명하기 위한 순서도이다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "부" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 도 1 내지 11을 참조하여 본 개시에 따른 원격 주행 시스템에서의 사고 인식 및 예방 방법 및 그를 위한 장치 및 시스템에 대해 상세히 설명하기로 한다.

도 1은 본 개시의 일 실시예의 원격 주행 시스템을 설명하는 도면이다.

원격 주행(Tele-operated Driving, ToD) 시스템(100)은 자율 주행 기능이 탑재된 차량, 즉, 자율 주행 차량과 원격지 서버(또는 원격 제어 센터)가 유/무선 네트워크를 통해 연동되어, 자율 주행 차량의 운행 중 더 이상 자율 주행 유지가 어려운 문제가 발생되었거나 운전자 또는 원격지 서버의 요청 등에 따라 원격 주행 모드로의 전환이 요청된 경우, 원격지 서버의 원격 제어(tele-operated)를 통해 자율 주행 차량을 직-간접적으로 원격지에서 감시 및 제어하는 기술로서 최근 다방면으로 연구 개발되고 있다.

원격 주행 기술은 원격지 센터(120)에서 자율 주행 차량(110)을 원격으로 조작하는 기술로서 원격 주행 시스템(100)은 크게 세가지 구성 요소로 이루어진다.

도 1을 참조하면, 원격 주행 시스템(100)은 원격 제어가 가능한 자율 주행 차량인 원격 제어 차량(Tele-operated vehicle, ToV, 110), 네트워크(network, 130) 및 네트워크(130)를 통해 원격으로 차량을 제어하는 원격 제어 센터(Tele-operated center, ToC, 120)로 구성될 수 있다. 여기서, 원격 제어 차량(110)은 자율 주행이 가능하며, 환경모델(E/M) 부호화가 가능하다.

또한, 네트워크(130)는 5G 통신망이 이용될 수 있으나 이에 한정되지는 않으며, 당업자의 설계에 따라 4G 통신망 또는 6G 통신망 또는 다른 이동 통신망 및 유선 통신망이 이용될 수 있다.

또한, 원격 제어 센터(120)는 환경모델(E/M) 복호화가 가능하며, 디스플레이를 통한 원격 감시 및 원격지 운전 장치를 통한 차량의 원격 조작이 가능할 수 있다.

원격 제어 차량(110)은 원격 제어를 수행하기 위한 대상 차량으로서, 자율 주행 기능을 반드시 탑재하고, 각종 자율 주행에 필요한 각종 안전 센서(Safety Sensor)를 구비할 수 있다. 여기서, 안전 센서는 첨단 운전자 보조 장치인 ADAS(Advanced Driver Assistance System)를 구현하기 위한 카메라, 레이다(Radar), 라이다(Lidar), 소나(Sound Navigation And Ranging, SONAR) 센서 등을 포함할 수 있으나, 이에 한정되지는 않는다.

카메라는 인간의 눈에 해당되는 차량 센서로서, 렌즈를 통해 시각적으로 주변 사물을 인식하고, 인식된 주변 사물을 통해 주행 상황을 인식하기 위한 용도로 사용될 수 있다.

카메라는 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리할 수 있다. 이때 처리된 화상 프레임은 디스플레이에 표시되거나 메모리에 저장될 수 있다.

또한, 자율주행 차량에 설치되는 복수의 카메라는 매트릭스 구조를 이루도록 배치될 수 있으며, 이와 같은 매트릭스 구조를 이루는 카메라를 통하여 다양한 각도 또는 초점을 갖는 복수의 영상 정보가 입력될 수 있다.

또한, 복수의 카메라는 입체영상을 구현하기 위한 좌 영상 및 우 영상을 획득하도록 스테레오 구조로 배치될 수 있다.

본 발명의 일 실시예에서, 카메라는 자율 주행 차량의 운전자 시야 데이터를 센싱할 수도 있다. 여기에서, 운전자 시야 데이터는 차량 외부 영상을 포함할 수 있다.

레이다는 전자기파를 발사하고 반사돼 돌아오는 신호를 기반으로 주변 사물과의 거리, 속도, 방향 등의 정보를 추출할 수 있다. 레이다는 사용 주파수에 따라 단거리부터 중거리, 장거리를 모두 감지할 수 있으며, 긴급자동제동장치, 스마트 크루즈 컨트롤 등에 활용될 수 있다.

자율주행차량에 3대의 레이다 센서를 나란히 설치하면, 전방 180도 시야를 확보할 수 있다. 레이다는 날씨 등에 영향을 받지 않고, 먼 거리에 있는 장애물의 존재를 확인할 수 있기 때문에 현재 운행 중인 차량에도 많이 적용되어 있는 센서이다.

라이다는 레이저(빛)를 물체와 주고받으며 3차원 지도를 형성하여 사물의 원근감, 형태, 거리, 속도를 인식할 수 있다. 라이다는 주로 905나노미터(nm)의 짧은 파장을 이용해 레이더보다 공간 분해능력이 훨씬 정밀할 뿐만 아니라 자체 광원으로 빛이 부족환 환경에서도 성능에 영향을 덜 받는 장점이 있다. 따라서, 라이다는 자율 주행 시스템의 신뢰도를 높이는데 중요한 역할을 수행한다.

소나는 레이더와 용도가 유사하나, 전자파가 아닌 음파 전송 후 객체에 충돌한 후 다시 반사되어 수신되는 시간을 측정하여 전방 또는 후방 객체를 감지하고, 객체까지의 거리를 측정하는 센서이다. 소나는 주로 차량이 후진할 때 후방의 시야 사각지대의 객체를 감지하고, 이를 운전자에게 알리는 용도로 사용되고 있다. 음파는 전자파에 비해 훨씬 느린 속도로 전파되기 때문에 작은 물체도 높은 해상도로 확인할 수 있는 장점이 있다.

원격 제어 차량(110)은 각 센서로부터 수집된 센싱 데이터를 결합 및 융합하는 센서 퓨전 기술 및 AI 기술 등을 적용하여 자율 주행을 위한 최적의 주행 알고리즘을 제공할 수 있다.

원격 제어 차량(110)은 수집된 센싱 데이터-즉, 차량 센서 정보-를 네트워크(130)를 통해 원격 제어 센터(120)로 전송할 수 있다.

원격 제어 센터(120)는 수집된 센싱 데이터를 기초로 제어 데이터를 생성하고, 생성된 제어 데이터를 네트워크(130)를 통해 원격 제어 차량(110)에 전송할 수 있다. 여기서, 제어 데이터는 원격지 운전자의 원격지 운전 장치 조작에 따라 발생되는 차량 제어 명령일 수 있다.

환경모델은 차량의 속도/위치/방향/차량 상태 등을 식별하기 위한 센싱 정보를 제공하는 차량 센서(속도, 위치, 방향, 차량 상태) 및 주변 객체 인식 및 인식된 객체의 이동 궤적을 추정하여 차량의 주행을 제어하는 자율 주행 센서들-예를 들면, 라이다, 레이다, 소나, V2X 통신 모듈, 카메라 등-를 이용하여 주변 환경 데이터를 모델링한 것에 대응한다.

특히, 원격 주행 시스템(100)을 보다 안전하고 신뢰성 있게 구현하기 위하여 열악한 통신환경 극복을 위한 네트워크 적응(network adaptation) 기술, 업링크(uplink) 및 다운링크(downlink) 기술 및 자율 주행 기술 등을 제공할 수 있으며, 이 중 업링크 기술은 카메라 촬영된 영상 및 차량 센서로부터 수집된 센싱 데이터의 전송과 관련되고, 다운링크 기술은 원격 제어 센터(120)에서 원격 제어 차량(110)을 제어하기 위해 생성된 제어 데이터-즉, 차량 제어 명령-의 전송과 관련될 수 있다.

이하, 업링크 전송에 대하여 설명한다.

원격 제어 차량(ToV, 110)은 적어도 두 가지 환경모델을 부호화하여 원격 제어 센터(ToC, 120)로 전송할 수 있다. 이때, 원격 제어 차량(110)은 센싱 데이터를 포함하는 환경모델을 인코더(encoder)를 통해 부호화하여 네트워크(130, 예를 들어, 5G)를 통해 원격 제어 센터(120)로 전송할 수 있다. 한편, 원격 제어 센터(120)는 수신된 환경모델을 디코더(decoder)를 통해 복호화하여 구비된 디스플레이(display)을 통해 출력할 수 있다. 여기서, 센싱 데이터는 영상 데이터 및 차량 센서 데이터 중 적어도 하나를 포함할 수 있다.

일 예로, 두 가지 환경모델은 운전자 시야 데이터 및 차량 센서 데이터를 포함할 수 있다. 이때, 운전자 시야 데이터는 차량 외부 영상(4채널 또는 2채널) 데이터를 압축하여 전송할 수 있고, 차량 센서 데이터는 차량 위치에 대한 센싱 정보 및 차량 운행 상태에 관한 각종 센싱 정보를 포함할 수 있다. 차량 운행 상태에 대한 센싱 정보는 주행 속도에 관한 정보, 제동(브레이크) 제어 정보, 가속(악셀) 제어 정보, 조향 제어 정보, 충격 감지 정보 등을 포함할 수 있으나, 이에 한정되지는 않는다.

이를 위하여, 저지연 영상통신 기술, 빠르고 안정적인 네트워크 기술, 저지연 디스플레이 기술 등이 요구된다. 이를 통하여 영상 및 네트워크의 delay 및 latency를 최대한 줄여 데이터의 정확하고 빠른 통신 달성이 가능하다.

이하, 다운링크 전송에 대하여 설명한다.

원격 제어 센터(ToC, 120)는 원격 제어 차량(110)의 상태를 파악하여 직/간접적인 제어 신호를 생성하고, 생성된 제어 신호를 원격 제어 차량(110)으로 전송할 수 있다. 여기에서, 직접적인 제어 신호는 차량 구동 장치를 제어하기 위한 제어 데이터를 포함할 수 있다. 이에 따라, 원격 제어 센터(ToC, 120)는 차량 구동 장치를 위한 제어 데이터-즉, 차량 제어 명령-을 생성하여 원격 제어 차량(110)에 전송할 수 있다. 또한, 간접적인 제어 신호는 운전자 가이드 데이터를 포함할 수 있다. 이에 따라, 원격 제어 센터(120)는 운전자 가이드 데이터를 생성하여 원격 제어 차량(110)에게 전송할 수 있다.

이를 위하여, 전송된 환경모델 이해를 통한 차량 상태 및 제어 형태 추론 기술 등이 요구되며, 환경모델 이해를 통한 정확한 차량 제어 형태 정의가 중요하게 된다.

도 2는 본 개시의 일 실시예에 따른 원격 주행 시스템의 세부 구성을 설명하기 위한 도면이다. 이하, 도 1에서 상술한 설명과 중복되는 부분은 생략하도록 한다.

도 2를 참조하면, 원격 주행 시스템(200)은 원격 제어 차량(210), 데이터부호화부(211), 제1 네트워크 적응부(212), 원격 제어 센터(220), 데이터 복호화부(221), 제2 네트워크 적응부(222) 및 네트워크(230)를 포함할 수 있다. 다만, 여기에서, 원격 주행 시스템(200)이 상술한 구성을 모두 포함한다는 의미는 물리적으로 포함한다는 의미가 아닌 원격 주행 시스템(200) 내에서 서로 연결되어 동작 가능함을 의미한다.

원격 제어 차량(210)은 데이터부호화부(211)를 통하여 센싱된 데이터를 압축 및/또는 부호화하고 원격 제어 센터(220)로 전송할 수 있다. 이때, 제1 네트워크 적응부는 네트워크(230)의 상태를 모니터링하면서 시스템 파라미터를 조절할 수 있다. 여기서, 시스템 파라미터는 원격 제어 센터(220)와의 통신에 사용되는 각종 물리적, 소프트웨어적 파라메터를 포함할 수 있다. 일 예로, 시스템 파라미터는 무선 접속 방식을 제어하기 위한 파라메터, 주파수 대역을 설정하기 위한 파라메터, 송수신 전력 범위를 설정하기 위한 파라메터 등을 포함할 수 있으나, 이에 한정되지는 않는다.

또한, 원격 제어 센터(220)는 데이터 복호화부(221)를 통하여 원격 제어 차량(210)이 전송한 각종 센싱 데이터를 수신하고 복호화 및/또는 압축 해제할 수 있다.

이때, 제 1 네트워크 적응부(212)은 원격 제어 차량(210)의 로직을 수행할 수 있고, 제 2 네트워크 적응 부(222)는 원격 제어 센터(220)의 로직을 수행할 수 있다.

도 3은 본 개시의 일 실시 예에 따른 원격 제어 차량의 일반적인 동작을 설명하기 위한 도면이다.

도 3을 참조하면, 원격 제어 차량은 크게 정보 제공 주체(301), 처리 및 판단 주체(302), 동작 주체(303)를 포함하여 구성될 수 있다.

정보 제공 주체(301)는 처리 및 판단 주체(302)로 고정밀 지도 정보 및 각종 센싱 정보를 제공할 수 있다.

도 3에 도시된 바와 같이, 정보 제공 주체(301)는 고정밀 지도 저장소, 안전 센서(Safety Sensor) 및 차량 센서(Vehicle Sensor)를 포함할 수 있다.

고정밀 지도(또는 HD 지도)는 차선, 교차로, 공사 구간, 도로 표지판 등 도로나 교차로의 표면에 대한 세부적인 정보를 포함하고 있다. 고정밀 지도는 단순히 자율 주행 차량의 위치를 파악하기 위한 용도 이외에도 차량 운행에 필요한 경로를 결정하기 위한 다양한 정보를 제공할 수 있다.

일 예로, 안전 센서는 카메라, 소나 센서, 라이다, 레이다 등을 포함하고, 차량 센서는 스티어링 조향각 센서, 속도 센서, 가속도 센서, 타이어 공기압 감지 시스템(Tire Pressure Monitoring System), 휠 스피드 센서, 차량 자세 제어(Electronic Stability Control, ESC)를 위한 자이로 센서, 관성 센서(Inertial Measurement Unit, IMU), 위성항법시스템(Global Navigation Satellite System, GNSS) 등을 포함할 수 있다.

GNSS와 IMU는 차량의 위치를 측정하고, 관성 정보 및 지리적 위치에 대한 측정 값을 200Hz 이상의 빠른 주기로 처리 및 판단 주체(302)에 제공할 수 있다. GPS의 느린 주기와 높은 정확도, IMU의 빠른 주기와 큰 누적 오차의 장/단점들을 잘 융합하도록　칼만 필터가 사용될 수 있다.

라이다는 지도 매핑, 로컬라이제이션, 장애물 회피 등에 사용될 수 있으며, 레이저 빛의 ToF(Time of Flight)를 측정해 거리를 측정하고 단색 3D 맵을 생성할 수 있다. 라이다는 정확도가 높기 때문에 HD맵을 생성하고 이동중인 차량 위치를 로컬라이제이션(추정)한 뒤, 전방의 장애물을 감지하는 작업에 주로 사용될 수 있다.

카메라는 차로, 신호등, 보행자 감지 등과 같이, 객체 인지 및 추적 작업에 활용될 수 있다. 일 예로, 안전성을 높이기 위해 1080p 카메라가 8개 이상 사용될 수 있다. 카메라 센싱 정보를 기초로 처리 및 판단 주체(302)는 전방, 후방, 좌/우 측장의 객체를 감지 및 인지하여 추적할 수 있다.

레이더와 소나는 장애물 회피를 위한 최후의 수단으로 사용될 수 있다. 레이더와 소나의 센싱 정보는 차량 이동 경로 선상에서 가장 가까이 있는 대상까지의 거리와 속도 정보를 제공할 수 있다.

처리 및 판단 주체(302)는 자율 주행 제어기에 해당될 수 있다.

자율 주행 제어기는 고정밀 측위부, 경로 생성부, V2X(Vehicle to Everything) 통신부, 자율 주행 판단부, 센서 퓨전부, 제어명령생성부 및 원격 주행 연결부를 포함하여 구성될 수 있다.

고정밀 측위부는 센싱 정보를 기초로 차량의 위치 및 자세를 측정 및/또는 추정할 수 있다.

경로 생성부는 센싱 정보를 기초로 차량의 주행 경로를 생성할 수 있다.

V2X 통신부는 V2X 통신 기능을 제공할 수 있다. V2X 통신은 유/무선 통신을 통해 다른 차량, 보행자, 인프라가 구축된 사물 등과 정보를 교환하는 통신 기술을 의미한다. V2X는 V2V(vehicle-to-vehicle), V2I(vehicle-to-infrastructure), V2N(vehicle-to- network) 및 V2P(vehicle-to-pedestrian)와 같은 4 가지 유형으로 구분될 수 있다. V2X 통신은 PC5 인터페이스 및/또는 Uu 인터페이스를 통해 제공될 수 있다.

자율 주행 판단부는 운전자의 자율 주행 요청에 따라 자율 주행이 가능한 경우, 자율 주행 모드로 진입하도록 제어할 수 있다.

센서퓨전부는 각 센서로부터 수집된 센싱 정보가 가지는 장점 및 특성들을 융합하여 차량 근거리 주변의 정보들을 HD-MAP상에 표현할 수 있다.

센서 퓨전을 통해 고정밀 측위부는 차선 단위 고정밀 측위가 가능하고, 경로 생성부는 차량의 지근 거리 경로를 생성할 수 있다.

제어명령생성부는 V2X 통신을 통해 근거리 상황 정보를 획득할 수 있으며, 상술한 고정밀 측위 결과 및 경로 생성 결과, 그리고 V2X 통신을 통해 획득된 근거리 상황 정보를 종합적으로 고려하여 객체 인지 및 객체의 위치를 추적하고, 이를 기반으로 동작 주체(303)를 위한 제어 명령을 생성할 수 있다.

원격 주행 연결부(또는 ToD 연결부)는 자율 주행 중 최근 법제화되고 있는 원격 주행으로의 전환 기능을 수행할 수 있다.

원격 주행 연결부는 자율 주행 중 전방 도로 구간의 자율 주행이 불가하거나, 또는 원격 제어 센터의 제어권 전환 요청이 수신되거나, 또는 운전자로부터 원격 주행이 요청된 경우 자율 주행 모드를 원격 주행 모드로 전환시킬 수 있다.

동작 주체(303)는 엔진 ECU(Electronic Control Unit), 제동 ECU, 조향 ECU, 변속 ECU 등을 포함할 수 있다. 동작 주체(303)는 처리 및 판단 주체(302)로부터 수신되는 제어 명령에 따라 동작할 수 있다.

모든 자율 주행 차량은 스스로의 정보를 이용하여, 자율 주행 가능성과 가능하지 않음을 판단하고 자율 주행이 가능할 때 자율 주행을 수행한다.

모든 자율 주행 기술들은 이러한 정보를 이용하여 주변 상황을 얼마나 정확하게 판단하느냐가 중요한 요소이며, 이를 위해 좀더 정확한 센서, 좀더 정확한 알고리즘, 좀더 정확한 제어 방법이 요구되고 있다.

하지만, 현재 자율 주행 기술은 아직 인식할 수 없는 객체가 존재하며, 이에 따라 인식하지 못한 객체로 인한 충돌 사고가 빈번히 발생되고 있다.

센서 정보를 기초로 감지 및 인식된 객체 정보와 지도상의 객체 정보가 상이한 복잡한 트래픽지역-예를 들면, 차선이 막힌 공사 구간-에서는 기존의 주행 규칙 -예를 들면, 실선을 넘어갈 수 없거나, 도로 밖으로는 차량이 진입할 수 없음-를 따를 경우, 더 이상 자율 주행이 불가할 수 있다.

이와 같은 자율 주행의 문제점을 극복하기 위해, 최근 원격 주행(Teleoperated Drivingm, ToD) 기술이 법제화되고 있으며, 이 기술은 자율 주행 차량이 자율 주행이 불가한 경우, 원격지에서 원격으로 차량을 제어하는 기술이다

즉, 현재 자율 주행 기술들은, “자율 주행 센서들이 검출한 정보를 기반으로 자율 주행을 하거나, 상술한 바와 같이, 특수한 경우 중앙선을 넘는 등의 법규 위반을 할 수 없다거나, 주변 정보가 갱신되기 전까지는 그 지역의 자율 주행이 불가능하다거나, 차량이 갖는 자율 주행 능력(level.1 ~ level.5)을 벗어나는 자율 주행을 수행할 수 없다-예를 들면, lv.2 자율 주행 차량은 상기와 같은 경우 차선을 바꾸어 가면서 자율 주행을 수행할 수 없음)"는 점이 단점으로 작용한다.

따라서 이러한 지역에서는 자율 주행 차량은 원격 제어 센터로 ToD 로의 전환을 요청하고, 원격지에서는 사람이 주행 상황을 모니터링하면서 차량을 원격으로 제어함으로써 자율 주행의 상술한 단점을 극복할 수 있다.

도 4는 본 개시의 실시 예에 따른 원격 주행 시스템의 상세 구조를 설명하기 위한 도면이다.

도 4를 참조하면, 원격 주행 시스템(400)은 크게 원격 제어 차량(ToV, 410), 원격 제어 센터(ToC, 420) 및 네트워크(430)을 포함하여 구성될 수 있다.

원격 제어 차량(410)은 차량 센서(411), 자율주행제어기(412), 차량 ECU(413), ToD 카메라(414), 영상압축기(415), 원격주행제어기(416), 네트워크상태예측기(417) 및 송수신기(418) 중 적어도 하나, 또는 그것들의 조합을 통해서 구성될 수 있다.

상기 도 4에 도시되어 있지는 않지만, 원격 제어 차량(410)은 지도저장소(미도시)를 더 포함하여 구성될 수 있다. 지도저장소는 자율 주행에 필요한 고정밀 지도를 유지하고, 해당 고정밀 지도에 대한 정보를 자율 주행 제어기(412)에 제공하기 위해 사용될 수 있다.

차량 센서(411)는 ADAS를 위한 안전 센서들로부터 수신되는 각종 센싱 정보 및 그 외의 다양한 차량 내 구비된 다른 센서 및/또는 차량 ECU(413)로부터의 각종 센싱 정보를 수집하여 자율 주행 제어기(412)에 제공할 수 있다.

일 예로, 차량 센서(411)에 의해 수집되는 정보는 네-바퀴 휠틱, 스티어링 조향각, 속도, 가속도, 차량 자세 제어, 타이어 압력 등 차량의 OBD(On-Board Diagnostic) 장치로부터 쉽게 취득할 수 있는 정보들을 포함할 수 있다.

차량 ECU(413)는 자율 주행 제어기(412)의 제어 명령에 따라 동작하는 다양한 ECU들을 포함할 수 있다.

차량 센서(411) 및 차량 ECU(413)에 대한 구체적인 설명은 상술한 도면들의 설명으로 대체한다.

실시 예에 따른 자율 주행 제어기(412)는 자율 주행 모드로 주행 중 더 이상 자율 주행 유지가 불가하거나, 운전자 또는 원격지 요청에 따라 원격 주행 모드로의 전환이 요청된 경우, 원격 주행 모드로의 전환을 원격 주행 제어기9416)에 요청할 수 있다.

일 예로, 자율 주행 제어기(412)는 전방 도로 구간에 대한 고정밀 지도 정보가 존재하지 않거나, 전방 장애물 식별이 불가한 상황 등이 감지되었거나, 기준치 이상의 외부 충격이 감지된 경우 자율 주행 유지가 더 이상 어려운 것으로 판단할 수 있다.

원격주행제어기(416)는 자율 주행 모드에서 원격 주행 모드로 전환된 경우, ToD 카메라(414)를 구동시킬 수 있다.

ToD 카메라(414)에 의해 촬영된 영상은 영상압축기(415)를 통해 압축된 후 송수신기(418)를 통해 원격 제어 센터(420)로 전송될 수 있다. 일 예로, ToD 카메라(414)는 원격 제어 차량(410)의 전/후/좌/우 4개의 영상을 촬영할 수 있으며, 원격 제어 센터(420)로 전송되는 차량 영상 정보는 촬영된 4개의 영상 중 적어도 하나를 포함할 수 있다.

네트워크상태예측기(417)는 현재 네트워크 상태를 모니터링하여 원격 제어 센터(420)와의 통신에 적합한 채널을 선택할 수 있다.

영상압축기(415)에 의해 압축된 영상 데이터 및 차량 센서(411)로부터 수집된 차량 센싱 데이터는 송수신기(418)를 통해 인코딩 및 변조되어 네트워크상태예측기(417)에 의해 선택된 채널을 통해 전송될 수 있다.

실시 예에 따른 원격주행제어기(416)는 네트워크상태예측기(417)에 의해 선택된 채널 정보에 기반하여 영상압축기(415)의 압축률을 결정할 수 있으며, 영상압축기(415)는 결정된 압축률에 따라 영상 압축을 수행할 수 있다. 일 예로, 채널 상태가 양호할수록, 영상 압축률은 높게 결정되고, 채널 상태가 열악할수록 영상 압축률은 낮게 결정될 수 있다.

원격주행제어기(416)는 송수신기(418)를 통해 원격 제어 센터(420)로부터 차량 제어 명령을 수신할 수 있다.

원격주행제어기(416)는 수신된 차량 제어 명령을 자율주행제어기(412)로 전달할 수 있다. 자율주행제어기(412)는 수신된 차량 제어 명령에 따라 차량 ECU(413)를 제어할 수 있다.

원격제어센터(420)는 원격제어센터제어기(ToC controller, 421), 송수신기(422), 영상복호기(423), 모니터링장치(424), 원격지운전장치(425), 4D 엑추에이터(426), 스피커(428) 및 사고 인식 및 예방 장치(427) 중 적어도 하나 또는 그것들의 조합들로 포함하여 구성될 수 있다.

원격지 운전자는 디스플레이 화면에 표시되는 영상을 모니터링하면서 원격지 운전 장치(425)를 이용하여 원격지 운전을 수행할 수 있다. 여기서, 원격지 운전 장치(425)는 조향 핸들, 악셀 패달, 브레이크 패달, 기어 장치 등의 기본적인 주행 제어 수단뿐만 아니라 인포테인먼트 시스템, 램프 및 와이퍼 등 각종 차량 기능을 제어할 수 있는 수단을 구비할 수 있다.

실시 예에 따른 사고 인식 및 예방 장치(427)는 소프웨어적으로 로딩(Loading)/언로딩(Unloading) 및/또는 하드웨어적으로 장착/탈착이 가능한 구조로 구현될 수 있다. 따라서, 사고 인식 및 예방 장치(427)는 기존 원격 제어 센터(420)와 독립적으로 구현되어 적용될 수 있다. 즉, 사용자의 선택에 사고 인식 및 예방 장치(427)는 원격 제어 센터(420)에 포함되거나 포함되지 않을 수 있다.

송수신기(422)는 네트워크(430)를 통해 수신된 신호를 복조 및 디코딩하여 원격제어센터제어기(421)에 제공할 수 있다.

원격제어센터제어기(421)는 송수신기(422)를 통해 원격 제어 차량(410)으로부터의 영상 정보 및 차량 센서 정보를 수신할 수 있다. 여기서, 영상 정보는 압축된 영상 정보일 수 있다.

원격제어센터제어기(421)는 영상 정보를 영상복호기(423)로 전달하여 압축 해제하고, 압축 해제된 영상 정보를 모니터링장치(424)로 전송하고, 모니터링장치(424)는 영상 정보를 구비된 화면에 표시할 수 있다.

원격지 운전자는 모니터링 화면을 보면서 원격지 운전 장치(425)를 조작할 수 있다.

원격지 운전 장치(425)의 조작에 따라 생성된 차량 제어 명령은 원격제어센터제어기(421) 및/또는 송수신기(422)를 통해 원격 제어 차량(410)에 전송될 수 있다.

실시 예로, 차량 제어 명령은 사고 인식 및 예방 장치(427)에 제공될 수도 있다. 이때, 차량 제어 명령은 원격제어센터제어기(421)를 통해 제공될 수 있으나, 이는 하나의 실시 예에 불과하며, 원격지 운전 장치(425)와 사고 인식 및 예방 장치(427) 사이에 직접 연결 선로가 구성된 경우, 원격지 운전 장치(425)에 의해 생성된 차량 제어 명령이 직접 사고 인식 및 예방 장치(427)에 제공될 수도 있다.

실시 예로, 원격제어센터제어기(421)는 압축 해제된 영상 정보를 사고 인식 및 예방 장치(427)에 제공할 수 있으나, 이는 하나의 실시 예에 불과하며, 영상복호기(423)와 사고 인식 및 예방 장치(427) 사이에 직접 연결 선로가 구성된 경우, 원격제어센터제어기(421)를 경유하지 않고, 압축 해제된 영상 정보는 영상복호기(423)로부터 사고 인식 및 예방 장치(427)에 직접 전달될 수 있다.

사고 인식 및 예방 장치(427)는 차량 센서 정보를 원격제어센터제어기(421)로부터 수신할 수 있으나, 이는 하나의 실시 예에 불과하며, 송수신기(422)와 사고 인식 예방 장치(427) 사이에 직접 연결 선로가 구현된 경우, 차량 센서 정보는 송수신기(422)로부터 사고 인식 예방 장치(427)에 직접 제공될 수도 있다.

사고 인식 및 예방 장치(427)는 영상 정보, 차량 센서 정보 및 차량 제어 명령 중 적어도 하나, 또는 그것들의 조합에 기반하여 차량 상태 및 충격 상태를 결정하고, 결정된 차량 상태 및 충격 상태에 기반하여 인포테인먼트 장치 및/또는 4D 엑추에이터(426) 및/또는 스피커(428)의 출력을 제어하기 위한 제어 신호를 생성할 수 있다.

사고 인식 및 예방 장치(427)는 영상 정보, 차량 센서 정보 및 차량 제어 명령을 전처리 과정을 통해 시계열적으로 동기화한 후 각각에 대한 분석을 수행하여 특성 값들을 추출할 수 있다.

사고 인식 및 예방 장치(427)는 추출된 특성 값들에 대한 학습-예를 들면, 딥러닝 또는 머신 러닝- 또는 함수 연산을 통해 차량 상태 및 충격 상태를 추정할 수 있다.

사고 인식 및 예방 장치(427)는 추정된 차량 상태 및 충격 상태에 기반하여 인포테인먼트 제어 신호 및/또는 햅틱 제어 신호를 생성할 수 있다. 여기서, 인포테인먼트 제어 신호는 모니터링장치(424)의 화면 일측에 표시될 그래픽/문자 알람 메시지 및/또는 스피커(428)를 통해 출력될 음성 알람 메시지를 포함하고, 햅틱 제어 신호는 해당 4D 엑추에이터(426)의 동작을 제어하기 위한 엑추에이터 제어 신호를 포함할 수 있다.

상술한 바와 같이, 본 개시에 따른 원격지 제어 센터(420)는 사고 인식 및 예방 장치(427)를 구비함으로써, 각종 경고 알람 메시지 출력 및 엑추에이터 출력을 제어할 수 있으며, 이를 통해, 원격지 운전자가 보다 정확하고 빠르게 실제 사고 발생 인지 및/또는 사고 발생 위험을 감지하여 사고에 따른 피해를 경감시키거나 사고 발생을 미연에 방지할 수 있는 장점이 있다.

도 5는 본 개시의 실시 예에 따른 사고 인식 및 예방 장치의 상세 동작을 설명하기 위한 블록도이다.

도 5를 참조하면, 사고 인식 및 예방 장치(540)는 입력부(510), 분석부(520), 판단부(530), 생성부(540), 출력부(550) 및 동기화부(560) 중 적어도 하나 또는 그것들의 조합을 통해 구성될 수 있다.

입력부(510)는 차량 센서 정보, 차량 영상 정보 및 차량 제어 정보(또는 차량 제어 명령)을 입력 받을 수 있다.

동기화부(560)는 분석부(520), 판단부(530) 및 생성부(540) 중 적어도 하나에 동기 신호를 제공할 수 있다. 여기서, 동기 신호는 차량 센서 정보, ToD 영상 정보 및 차량 제어 정보를 시간축에서 동기화시키기 위한 용도로 사용될 수 있다. 즉, 사고 인식 및 예방 장치(540)는 입력된 차량 센서 정보, 차량 영상 정보 및 차량 제어 정보를 동기 신호를 이용하여 시계열적으로 상호 연관시켜 처리할 수 있다.

분석부(520)는 입력부(510)로부터 수신된 정보들을 시간축에서 동기화시키고, 모든 입력 정보(또는 데이터)가 동일한 정도의 스케일 및/또는 중요도로 반영되도록 정규화(Normalization)시키는 전처리 동작을 수행할 수 있다.

분석부(520)는 전처리된 데이터에 대한 분석을 통해 각각의 정보에 상응하는 특성 값을 추출할 수 있다. 여기서, 추출된 특성 값들은 차량의 실-자세 및 실-상태와 관련된 특성 값들뿐만 아니라 차량의 기대-자세 및 기대-상태와 관련된 특성 값들을 포함할 수 있다.

판단부(530)는 추출된 특성 값을 분석부(520)로부터 입력 받고, 입력된 특성 값들에 대한 학습 및/또는 소정 함수 연산을 통해 차량 상태 및 충격 상태를 추정 또는 결정할 수 있다. 여기서, 학습은 딥러닝, 머신 러닝 및 확률 추론 중 적어도 하나 또는 그것들의 조합일 수 있으나, 이에 한정되지는 않는다.

생성부(540)는 추정 또는 결정된 차량 상태 및 충격 상태를 입력으로 인포테인먼트 장치 및/또는 4D 엑추에이터를 제어하기 위한 제어 신호를 생성할 수 있다. 여기서, 제어 신호는 인포테인먼트 장치의 출력을 제어하기 위한 인포테인먼트 제어 신호와 4D 엑추에이터의 출력을 제어하기 위한 햅틱 제어 신호 중 적어도 하나를 포함할 수 있다.

출력부(550)는 생성된 인포테인먼트 제어 신호 및/또는 햅틱 제어 신호를 해당 인포테인먼트 장치 및/또는 해당 4D 에추에이터에 전송할 수 있다.

상술한 분석부(520), 판단부(530) 및 생성부(540)의 상세 구성 및 동작은 후술할 도면들의 설명을 통해 보다 명확해질 것이다.

도 6은 본 개시의 실시 예에 따른 사고 인식 및 예방 장치의 분석부 동작을 설명하기 위한 블록도이다.

도 6을 참조하면, 분석부(520)는 크게 전처리가(610)와 정보분석기(610)를 포함하여 구성될 수 있다.

전처리기(610)는 차량 센서 정보를 입력 받아 전처리를 수행하는 센서정보전처리기(611), 차량 영상 정보를 입력 받아 전처리를 수행하는 영상정보전처리기(612) 및 차량 제어 정보를 입력 받아 전처리를 수행하는 제어정보전처리기(613)을 포함하여 구성될 수 있다.

전처리기(610)는 동기 신호에 기반하여 차량 센서 정보, 차량 영상 정보 및 차량 제어 정보를 시간축에 동기화시키고, 동기화된 정보를 정규화시킬 수 있다.

영상정보전처리기(612)는 영상에 포함된 노이즈를 제거하는 기능, 영상의 크기-즉, 화소-를 축소시키는 기능 등을 포함하는 일반적인 영상정보처리 기능을 제공할 수 있다.

제어정보전처리기(613)는 차량 제어 정보에 포함된 아웃라이어(out-lier) 제거하는 기능 및 상술한 동기화 및 정규화 기능을 제공할 수 있다.

정보분석기(620)는 전처리된 차량 센서 정보를 입력 받아 분석하는 센서정보분석기(621), 전처리된 차량 영상 정보를 입력 받아 분석하는 영상정보분석기(622) 및 전처리된 차량 제어 정보를 입력 받아 분석하는 제어정보분석기(623)를 포함하여 구성될 수 있다.

실시 예로, 센서정보분석기(621)는 전처리된 차량 센서 정보를 분석하여 원격 제어 차량(410)의 실-자세(real_posture)와 관련된 특성 값들을 추출할 수 있다. 일 예로, 차량의 실-자세와 관련된 특성 값들은 요(Yaw) 값, 피치(Pitch) 값 및 롤(Roll) 값을 포함할 수 있다. 여기서, Yaw는 차량 이동방향에 대해 수직의 수직면에 있는 축 주위의 회전을 의미하고, Pitch는 차량 이동 방향에 대해 수직의 수평면에 있는 축 주위의 회전을 의미하고, Roll은 차량 이동방향에 대해 평행한 수평면에 있는 축 주위의 회전을 의미한다. 일 예로, 차량의 실-자세와 관련된 특성 값들은 차량이 요철/싱크홀/과속방지턱 등을 통과할 때, 급격히 변경될 수 있다. 또한, 차량의 실-자세와 관련된 특성 값들은 차량에 충격이 가해졌을 때도 급격히 변경될 수 있다.

실시 예로, 영상정보분석기(622)는 전처리된 차량 영상 정보를 분석하여 원격 제어 차량(410)의 실-상태와 관련된 특성 값들을 추출할 수 있다. 일 예로, 차량의 실-상태(real_state)와 관련된 특성 값들은 차량의 주행 상태와 관련될 수 있으며, 직진, 좌회전, 우회전, 후진 및 정지 등의 차량 주행 상태와 관련된 특성 값들을 포함할 수 있다. 또한, 차량의 실-상태와 관련된 특성 값들은 요철/싱크홀/과속방지턱 등을 통과하는 상황, 전방/후방/측방에 위치한 장애물 및/또는 차량이 감지되는 상황 및 차량 충돌이 발생하는 상황 등의 차량 주변 상태에 관련된 특성 값들을 추출할 수도 있다.

실시 예로, 제어정보분석기(633)는 전처리된 차량 제어 정보를 분석하여 차량의 기대_상태(desired_state) 및/또는 기대_자세(desired_posture)와 관련된 특성 값들을 추출할 수 있다. 일 예로, 차량의 기대-상태(real_state)와 관련된 특성 값들은 차량의 바람직한 주행 상태와 관련될 수 있으며, 직진, 좌회전, 우회전, 후진 및 정지 등의 바람직한 차량의 주행 상태와 관련된 특성 값들을 포함할 수 있다. 차량의 기대-자세와 관련된 특성 값들은 요(Yaw) 값, 피치(Pitch) 값 및 롤(Roll) 값 등의 바람직한 차량의 자세와 관련된 특성 값들을 포함할 수 있다.

차량 제어 정보는 시트/원격운전장치/모니터링장치 등으로 구성된 원격 제어 시스템에서 원격지 운전자의 차량 조작에 따라 발생되는 모든 차량 제어 신호(또는 명령)과 관련된 정보를 포함할 수 있다. 일 예로, 차량 제어 정보는 브레이크 가압 정보, 스티어링 조향각 정보, 악셀 가압 정보, 기어 조작 정보, 각종 램프 조작 정보, 와이퍼 조작 정보, 공조기 제어 정보, 인포테인먼트 시스템 제어 정보, 네비게이션 제어 정보, 좌석 제어 정보 등을 포함할 수 있다.

도 7은 본 개시의 실시 예에 따른 사고 인식 및 예방 장치의 판단부 동작을 설명하기 위한 블록도이다.

도 7을 참조하면, 판단부(540)는 제1 연산부(710), 제2 연산부(720) 및 데이터퓨전부(730) 중 적어도 하나를 포함하거나, 또는 그것들을 조합하여 구성될 수 있다.

제1 연산부(710)는 시계열로 정렬된 특성 값(들)을 입력 받아 인공 지능을 통한 기계 학습 또는 딥러닝 또는 확률 추론을 수행하고, 결과로서, {제1 차량 상태, 제1 충격 상태}를 출력할 수 있다.

제2 연산부(720)는 시계열로 정렬된 특성 값(들)을 입력 받아 결정적(deterministic) 연산-예를 들면, 함수 연산-을 수행하고, 결과로서, {제2 차량 상태, 제2 충격 상태}를 출력할 수 있다.

여기서, 차량 상태는 직진/후진/좌회전/우회전/정지 등의 정보와 함께 그 크기가 출력될 수 있다. 충격 상태는 상/하/좌/우 등의 충격 방향과 함께 그 크기가 출력될 수 있다.

예를 들면, {직진(5), 위(3)}와 같은 출력은 차량이 크기 5만큼으로 직진하고 있는 상태에서 위 방향으로 3만큼의 충격이 발생되었음을 의미한다.

일 예로, 시속 1~100km를 0~10으로 정규화한 경우, 직진(5)는 약 50km 속도로 직진 중인 상태임을 의미할 수 있다.

만약, 시속 50km 에서의 최대 충격을 10이라고 한다면, 위(3)은 3만큼의 세기로 차량 바닥에서 하늘 방향으로 충격이 발생하였음을 의미할 수 있다.

일 예로, 싱크홀을 밟았을 때는 {직진(5), 아래(3)} 의 형태가 출력되고, 후진중 진입금지 철봉을 들이 받았을 때는 {후진(3), 앞(5)} 로 출력되고, 주행 행 중 옆차가 우측 방향에서 충돌하였을 때는 {직진(5), 좌측(3)} 출력될 수 있다. 다른 일 예로, 차량 상태와 충격 상태가 모든 방향에 대한 크기로 나열되어 출력될 수도 있다.

예를 들면, 차량 상태가 {직진(5), 좌회전(1), 우회전(0), 후진(0)}로 출력된 경우, 차량이 약간 왼쪽으로 휜 도로에서 직진 중인 상태인 것으로 추정될 수 있다, 충격 상태가 {위(1), 아래(0), 전방(0), 후방(2), 우측(0), 좌측(3)}으로 출력된 경우, 차량의 좌측/후방에서 다른 물체와 충돌하여 타이어가 터진 상태로 추정될 수 있다.

데이터 퓨전부(730)는 제1 연산부(710)의 출력 값과 제2 연산부(720)의 출력 값을 기반으로 최종 차량 상태 및 충돌 상태를 결정하여 출력할 수 있다. 일 예로, 데이터 퓨전부(730)는 제1 연산부(710) 및 제2 연산부(720) 출력 값에 대한 각각의 가중치를 부여할 있으며, 가중치 반영된 값에 평균을 취하여 최종 차량 상태 및 충돌 상태 값을 산출할 수 있다.

도 8은 본 개시의 실시 예에 따른 사고 인식 및 예방 장치의 생성부 동작을 설명하기 위한 블록도이다.

도 8을 참조하면, 생성부(530)는 인포테인먼트 신호 생성부(810)와 햅틱 제어 신호 생성부(820)를 포함하여 구성될 수 있다.

인포테인먼트 생성부(810)는 차량 상태 및 충돌 상태를 입력 받아 인포테인먼트 장치를 위한 각종 알람 메시지(또는 알람 제어 신호)를 생성하여 출력할 수 있다.

햅틱 제어 신호 생성부(820)는 차량 상태 및 충돌 상태를 입력 받아 각종 4D 엑츄에이터 구동을 위한 제어 신호를 생성하여 출력할 수 있다.

도 9는 본 개시의 실시 예에 따른 원격 제어 센터에 구비될 수 있는 엑추에이터의 예시이다.

도 9를 참조하면, 엑추에이터는 원격지 운전자에게 4차원 환경을 제공할 수 있다.

일 예로, 엑추에이터는 안개 효과를 제공하는 엑추에이터(Fog Effect Actuator), 차량 주변의 조도 변화에 따라 조명을 제어하기 위한 엑추에이터(Light Effect Actuator), 천둥 소리 효과를 제공하는 엑추에이터(Thunder Actuator), 냄새 효과를 제공하는 엑추에이터(Smell Actuator), 바람 효과를 제공하는 엑추에이터(Wind Effect Actuator) 및 원격지 운전석 및 발판 등에 진동 효과를 제공하는 엑추에이터(Vibration Effect Actuator) 등을 포함할 수 있으나, 이에 한정되지는 않으며, 원격지 운전석의 회전 효과를 제공하는 엑추에이터, 원격지 운전석의 후방/측방/전방 충격을 제공하는 엑추에이터 등을 더 포함하여 구성될 수도 있다.

상술한 엑추에이터는 본 개시에 따른 사고 인식 및 예방 장치에 의한 햅틱 제어 신호에 따라 동작할 수 있다.

도 10은 본 개시의 실시 예에 따른 원격 주행 시스템의 동작을 설명하기 위한 흐름도이다.

도 10을 참조하면, 원격 제어 차량(410)은 자율 주행 모드로 주행 중 원격 주행 모드로의 전환이 필요한지 판단할 수 있다(S1001 내지 S1002).

판단 결과, 원격 주행 모드로의 전환이 필요한 경우, 원격 제어 차량(410)은 원격 제어 센터(420)와 통신 채널을 설정하여 원격 제어 모드로 전환할 수 있다(S1003).

원격 제어 모드에 진입한 원격 제어 차량(410)은 ToD 카메라를 구동하여 차량 영상 정보를 획득하고, 차량 센서 정보를 획득할 수 있다.

원격 제어 차량(410)은 획득된 차량 영상 정보 및 차량 센서 정보를 원격 제어 센터(420)로 전송할 수 있다(S1004).

원격 제어 센터(420)는 원격 제어 차량(410)으로부터 수신된 차량 영상 정보 및 차량 센서 정보뿐만 아니라 원격지 운전 장치에 의해 생성된 차량 제어 정보에 기반하여 차량 상태 및 충격 상태를 추정할 수 있다(S1005). 여기서, 차량 제어 정보는 차량 영상 정보 및 차량 센서 정보에 시계열적으로 대응되는 정보일 수 있다.

원격 제어 센터(430)는 추정된 차량 상태 및 충격 상태에 기반하여 사고 인식 및/또는 사고 예방을 위한 제어 신호를 생성할 수 있다(S1006).

원격 제어 센터(430)는 생성된 제어 신호에 따라 해당 인포테인먼트 장치의 출력 및/또는 해당 엑추에이터의 동작을 제어할 수 있다(S1007).

도 11은 본 개시의 일 실시 예에 따른 사고 인식 및 예방 장치의 동작을 설명하기 위한 순서도이다.

도 11을 참조하면, 사고 인식 및 예방 장치(427)는 원격 제어 차량(410)에 대한 차량 영상 정보 및 차량 센서 정보를 획득할 수 있다(S1101).

사고 인식 및 예방 장치(427)는 원격지 운전 장치(425)에 의해 생성된 차량 제어 정보를 획득할 수 있다(S1102).

사고 인식 및 예방 장치(427)는 차량 영상 정보, 차량 센서 정보 및 차량 제어 신호에 기반하여 차량 상태 및 충격 상태를 추정할 수 있다(S1103). 여기서, 차량 영상 정보, 차량 센서 정보 및 차량 제어 신호는 전처리 절차를 통해 시계열적으로 동기화된 후 정규화되어 처리될 수 있다.

사고 인식 및 예방 장치(427)는 추정된 차량 상태 및 충격 상태에 기반하여 사고 인식 및 사고 예방을 위한 제어 신호를 생성할 수 있다(S1104).

사고 인식 및 예방 장치(427)는 생성된 제어 신호를 해당 인포테인먼트 장치 및/또는 해당 4D 엑추에이터로 전송할 수 있다(S1105).

실시 예에 따른, 원격 제어 차량은 네트워크를 통해 원격 제어 센터와 직접적인 통신 연결이 불가한 경우, 주변 다른 차량 또는 RSU(Road Side Unit)을 통해 릴레이하여 자신의 차량 영상 정보 및 차량 센서 정보를 원격 제어 센터에 전송하고, 차량 제어 명령도 다른 주변 차량 및 RSU를 통해 수신할 수도 있다.

이상의 실시 예에서 설명된 바와 같이, 본 개시에 따른 원격 주행 시스템은 원격 제어 차량의 사고 발생 유무 및 사고 위험 유무를 원격지 운전자에게 실시간 제공함으로써, 원격 제어 차량의 사고 피해를 최소화시킬 수 있을 뿐만 아니라 잠정적인 사고 위험을 미연에 방지할 수 있는 장점이 있다

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

이상 본 발명의 실시예에 따른 단말기, 클라우드 서버, 클라우드 AR 플랫폼의 영상 송수신 시스템 및 방법을 구체적인 실시 형태로서 설명하였으나, 이는 예시에 불과한 것으로서 본 발명은 이에 한정되지 않는 것이며, 본 명세서에 개시된 기초 사상에 따르는 최광의 범위를 갖는 것으로 해석되어야 한다. 당업자는 개시된 실시 형태들을 조합, 치환하여 적시되지 않은 실시 형태를 실시할 수 있으나, 이 역시 본 발명의 권리범위를 벗어나지 않는 것이다. 이외에도 당업자는 본 명세서에 기초하여 개시된 실시형태를 용이하게 변경 또는 변형할 수 있으며, 이러한 변경 또는 변형도 본 발명의 권리범위에 속함은 명백하다.

Claims

네트워크를 통해 원격 제어 차량과 연동되는 원격 제어 센터에서의 사고 인식 및 예방 방법에 있어서,
상기 원격 제어 차량에 상응하는 차량 영상 정보 및 차량 센서 정보를 수신하는 단계;
상기 차량 영상 정보 및 차량 센서 정보에 상응하는 차량 제어 정보를 획득하는 단계;
상기 차량 영상 정보, 상기 차량 센서 정보 및 상기 차량 제어 정보에 기반하여 차량 상태 및 충격 상태를 추정하는 단계; 및
상기 추정된 차량 상태 및 충격 상태에 기반하여 사고 인식 및 사고 예방을 위한 제어 신호를 생성하는 단계
를 포함하고,
상기 차량 상태는 추정된 주행 방향에 관한 정보 및 상기 추정된 주행 방향에 상응하여 정규화된 크기 정보를 포함하고,
상기 충격 상태는 추정된 충격 상태에 관한 정보 및 상기 추정된 충격 상태에 상응하는 정규화된 크기 정보를 포함하는, 방법.
제1항에 있어서,
상기 원격 제어 센터는 인포테인먼트 장치 및 4D 엑추에이터를 포함하되,
상기 제어 신호는,
상기 인포테인먼트 장치의 화면에 표시될 경고 알람 메시지 및/또는 상기 인포테인먼트 장치의 스피커를 통해 출력될 음성 알람 메시지를 출력하기 위한 인포테인먼트 제어 신호 및
상기 4D 엑추에이터의 동작을 제어하기 위한 햅틱 제어 신호
를 포함하는, 방법.
제1항에 있어서,
상기 원격 제어 센터는 원격 운전 장치를 포함하고,
상기 차량 제어 정보는 상기 원격 제어 센터에 구비된 원격 운전 장치에 의해 생성되는 것을 특징으로 하는, 방법.
제1항에 있어서,
상기 추정하는 단계는,
상기 차량 영상 정보, 상기 차량 센서 정보 및 상기 차량 제어 정보를 전처리 후 분석하여 각 정보 별 특성 값을 추출하는 단계; 및
상기 추출된 특성 값에 기반한 소정 연산을 수행하여 상기 차량 상태 및 상기 충격 상태를 추정하는 단계
를 포함하는, 방법.
제4항에 있어서,
상기 특성 값은,
상기 차량 영상 정보를 기반으로 분석되어 추출되고, 상기 원격 제어 차량의 실-상태와 관련된 제1 특성 값;
상기 차량 센서 정보를 기반으로 분석되어 추출되고, 상기 원격 제어 차량의 실-자세와 관련된 제2 특성 값;
상기 차량 제어 정보를 기반으로 분석되어 추출되고, 상기 원격 제어 차량의 기대-상태와 관련된 제3 특성 값; 및
상기 차량 제어 정보를 기반으로 분석되어 추출되고, 상기 원격 제어 차량의 기대-자세와 관련된 제4 특성 값
중 적어도 하나를 포함하는, 방법.
제5항에 있어서,
상기 제1 특성 값 및 상기 제3 특성 값은 상기 원격 제어 차량의 주행 방향에 상응하는 직진 상태 값, 좌회전 상태 값, 우회전 상태 값, 후진 상태 값 및 정지 상태 값 중 적어도 하나를 포함하고,
상기 제2 특성 값 및 상기 제4 특성 값은 상기 원격 제어 차량의 자세에 상응하는 요(Yaw) 값, 피치(Pitch) 값 및 롤(Roll) 값 중 적어도 하나를 포함하는, 방법.
제 4항에 있어서,
상기 전처리는,
동기 신호를 기반으로 상기 차량 영상 정보, 상기 차량 센서 정보 및 상기 차량 제어 정보를 시계열적으로 동기화시키는 단계; 및
상기 동기화된 정보를 정규화시키는 단계
를 포함하는, 방법.
제 4 항에 있어서,
상기 연산은,
딥러닝 또는 머신러닝 또는 확률 추론에 기반하여 제1 차량 상태 및 제1 충격 상태를 출력하는 제1 연산 단계; 및
특정 함수에 기반한 결정적(deterministic) 연산을 통해 제2 차량 상태 및 제2 충격 상태를 출력하는 제2 연산 단계
를 포함하고,
상기 제1 내지 2 차량 상태 및 상기 제1 내지 2 충격 상태에 대한 데이터 퓨전을 통해 최종 차량 상태 및 충격 상태가 추정되는, 방법.
삭제
적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서가 네트워크를 통해 원격 제어 차량과 연동되는 원격 제어 센터에서 사고 인식 및 예방을 위한 동작들을 수행하게 하는 명령을 포함하는 적어도 하나의 컴퓨터 프로그램을 저장하는 비휘발성 컴퓨터 판독 가능 저장 매체에 있어서,
상기 동작들은,
상기 원격 제어 차량으로부터 차량 영상 정보 및 차량 센서 정보를 수신하는 단계;
상기 차량 영상 정보 및 차량 센서 정보에 상응하는 차량 제어 정보를 획득하는 단계;
상기 차량 영상 정보, 상기 차량 센서 정보 및 상기 차량 제어 정보에 기반하여 차량 상태 및 충격 상태를 추정하는 단계; 및
상기 추정된 차량 상태 및 충격 상태에 기반하여 사고 인식 및 사고 예방을 위한 제어 신호를 생성하는 단계
를 포함하고,
상기 차량 상태는 추정된 주행 방향에 관한 정보 및 상기 추정된 주행 방향에 상응하여 정규화된 크기 정보를 포함하고,
상기 충격 상태는 추정된 충격 상태에 관한 정보 및 상기 추정된 충격 상태에 상응하는 정규화된 크기 정보를 포함하는, 저장 매체.
네트워크를 통해 원격 제어 차량과 연동되는 원격 제어 센터에 있어서,
상기 원격 제어 차량에 상응하는 차량 영상 정보 및 차량 센서 정보를 수신하는 송수신기;
차량 제어 정보를 생성하는 원격지 운전 장치;
상기 차량 영상 정보, 차량 센서 정보 및 상기 차량 제어 정보를 기반으로 차량 상태 및 충격 상태를 추정하여 사고 인식 및/또는 사고 예방을 위한 제어 신호를 생성하는 사고 인식 및 예방 장치; 및;
상기 제어 신호에 따라 알람 메시지를 출력하는 출력 장치
를 포함하고,
상기 차량 상태는 추정된 주행 방향에 관한 정보 및 상기 추정된 주행 방향에 상응하여 정규화된 크기 정보를 포함하고,
상기 충격 상태는 추정된 충격 상태에 관한 정보 및 상기 추정된 충격 상태에 상응하는 정규화된 크기 정보를 포함하는, 원격 제어 센터.
제11항에 있어서,
상기 출력 장치는 인포테인먼트 장치 및 4D 엑추에이터를 포함하되,
상기 제어 신호는,
상기 인포테인먼트 장치의 화면에 표시될 경고 알람 메시지 및/또는 상기 인포테인먼트 장치의 스피커를 통해 출력될 음성 알람 메시지를 출력하기 위한 인포테인먼트 제어 신호; 및
상기 4D 엑추에이터의 동작을 제어하기 위한 햅틱 제어 신호
를 포함하는, 원격 제어 센터.
제11항에 있어서,
상기 차량 제어 정보는 원격지 운전자에 의한 상기 원격지 운전 장치의 조작에 따라 생성되는 차량 제어 명령인 것을 특징으로 하는, 원격 제어 센터.
제11항에 있어서,
상기 사고 인식 및 예방 장치는,
상기 차량 영상 정보, 상기 차량 센서 정보 및 상기 차량 제어 정보를 전처리 후 분석하여 각 정보 별 특성 값을 추출하고, 상기 추출된 특성 값에 기반한 소정 연산을 수행하여 상기 차량 상태 및 상기 충격 상태를 추정하는, 원격 제어 센터.
제14항에 있어서,
상기 특성 값은,
상기 차량 영상 정보를 기반으로 분석되어 추출되고, 상기 원격 제어 차량의 실-상태와 관련된 제1 특성 값;
상기 차량 센서 정보를 기반으로 분석되어 추출되고, 상기 원격 제어 차량의 실-자세와 관련된 제2 특성 값;
상기 차량 제어 정보를 기반으로 분석되어 추출되고, 상기 원격 제어 차량의 기대-상태와 관련된 제3 특성 값; 및
상기 차량 제어 정보를 기반으로 분석되어 추출되고, 상기 원격 제어 차량의 기대-자세와 관련된 제4 특성 값
중 적어도 하나를 포함하는, 원격 제어 센터.
제15항에 있어서,
상기 제1 특성 값 및 상기 제3 특성 값은 상기 원격 제어 차량의 주행 방향에 상응하는 직진 상태 값, 좌회전 상태 값, 우회전 상태 값, 후진 상태 값 및 정지 상태 값 중 적어도 하나를 포함하고,
상기 제2 특성 값 및 상기 제4 특성 값은 상기 원격 제어 차량의 자세에 상응하는 요(Yaw) 값, 피치(Pitch) 값 및 롤(Roll) 값 중 적어도 하나를 포함하는, 원격 제어 센터.
제14항에 있어서,
상기 전처리는,
동기 신호를 기반으로 상기 차량 영상 정보, 상기 차량 센서 정보 및 상기 차량 제어 정보를 시계열적으로 동기화시키는 수단; 및
상기 동기화된 정보를 정규화시키는 수단
을 포함하는, 원격 제어 센터.
제14항에 있어서,
상기 연산은,
딥러닝 또는 머신러닝 또는 확률 추론에 기반하여 제1 차량 상태 및 제1 충격 상태를 출력하는 제1 연산부; 및
특정 함수에 기반한 결정적(deterministic) 연산을 통해 제2 차량 상태 및 제2 충격 상태를 출력하는 제2 연산부
를 통해 수행되고,
상기 제1 내지 2 차량 상태 및 상기 제1 내지 2 충격 상태에 대한 데이터 퓨전을 통해 최종 차량 상태 및 충격 상태가 추정되는, 원격 제어 센터.
삭제
제11항에 있어서,
상기 사고 인식 및 예방 장치는 상기 원격 제어 센터에 탈부착이 가능하도록 구현된 것을 특징으로 하는, 원격 제어 센터.
네트워크를 통해 원격 제어 차량과 연동되는 원격 제어 센터에 탈부착이 가능하도록 구현되는 사고 인식 및 예방 장치에 있어서,
상기 원격 제어 차량 및 상기 원격 제어 센터에 구비된 원격 운전 장치로부터 수집된 복수의 정보를 전처리 후 분석하여 정보 별 특성 값을 추출하는 분석부;
상기 추출된 특성 값에 기반한 소정 연산을 통해 차량 상태 및 충격 상태를 추정하는 판단부; 및
상기 추정된 차량 상태 및 상기 충격 상태에 기반하여 사고 인식 및 예방을 위한 제어 신호를 생성하는 생성부
를 포함하고, 상기 복수의 정보는 상기 원격 제어 차량으로부터 획득되는 차량 영상 정보 및 차량 센서 정보와 상기 원격 운전 장치에 의해 생성된 차량 제어 정보를 포함하고,
상기 차량 상태는 추정된 주행 방향에 관한 정보 및 상기 추정된 주행 방향에 상응하여 정규화된 크기 정보를 포함하고,
상기 충격 상태는 추정된 충격 상태에 관한 정보 및 상기 추정된 충격 상태에 상응하는 정규화된 크기 정보를 포함하는, 사고 인식 및 예방 장치.