[go: up one dir, main page]

KR102785794B1 - 운동 정보 추정 방법 및 장치 - Google Patents

운동 정보 추정 방법 및 장치 Download PDF

Info

Publication number
KR102785794B1
KR102785794B1 KR1020190163932A KR20190163932A KR102785794B1 KR 102785794 B1 KR102785794 B1 KR 102785794B1 KR 1020190163932 A KR1020190163932 A KR 1020190163932A KR 20190163932 A KR20190163932 A KR 20190163932A KR 102785794 B1 KR102785794 B1 KR 102785794B1
Authority
KR
South Korea
Prior art keywords
motion information
information
image feature
feature information
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020190163932A
Other languages
English (en)
Other versions
KR20210073281A (ko
Inventor
강철우
전현철
정경부
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190163932A priority Critical patent/KR102785794B1/ko
Priority to US16/916,669 priority patent/US11983890B2/en
Publication of KR20210073281A publication Critical patent/KR20210073281A/ko
Application granted granted Critical
Publication of KR102785794B1 publication Critical patent/KR102785794B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/009—Priority selection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Navigation (AREA)

Abstract

운동 정보 추정 방법 및 장치가 개시된다. 운동 정보 추정 장치는 적어도 하나의 프로세서, 뉴럴 네트워크를 저장하는 메모리, 차량 주변에 대한 입력 이미지를 획득하는 이미지 센서 및 하나 이상의 비 이미지 센서를 포함하고, 상기 하나 이상의 비 이미지 센서는 상기 차량의 운동과 관련된 하나 이상의 센서 정보를 획득한다. 상기 프로세서는 상기 하나 이상의 센서 정보를 기초로 상기 차량의 하나 이상의 초기 운동를 계산한다. 상기 프로세서는 상기 하나 이상의 초기 운동 정보를 기초로 추정 운동 정보를 추정한다. 상기 프로세서는 상기 추정 운동 정보를 기초로 상기 차량의 주변에 대한 복수의 예측 이미지 특징 정보를 예측한다. 상기 프로세서는 상기 뉴럴 네트워크를 이용하여 상기 입력 이미지로부터 복수의 검출 이미지 특징 정보 및 각각의 정확도를 획득한다. 상기 프로세서는 상기 복수의 예측 이미지 특징 정보 및 상기 복수의 검출 이미지 특징 정보를 각각 비교하여 상기 각각의 검출 이미지 특징 정보의 신뢰도를 평가한다. 상기 프로세서는 상기 신뢰도의 평가 결과 및 상기 정확도를 기초로 선택된 하나 이상의 검출 이미지 특징 정보를 기초로 상기 추정 운동 정보를 보정한다.

Description

운동 정보 추정 방법 및 장치{METHOD AND APPARATUS FOR ESTIMATING MOTION INFORMATION}
이하, 운동 정보를 추정하는 기술에 관련된다.
차량용 네비게이션 시스템은 자동차 등이 이동하고 있을 때 복수 개의 전세계 위치 측정 시스템(GPS, Global Positioning System)에 속하는 인공위성으로부터 나오는 전파를 수신하여 이동체의 현재위치를 확인하고, 또한 이동체의 속도를 확인하여야 한다. 이와 같은 차량용 네비게이션 장치는 GPS수신기에서 수신한 정보를 이용하여 위도, 경도 및 고도정보를 포함하는 3차원의 차량 현재위치를 계산할 수 있다. 그러나 GPS 신호는 약 10m 내지 100m정도의 GPS 위치오차를 포함할 수 있다. 이러한 위치의 오차는 다른 센서를 이용하여 보정될 수 있다.
일 실시예에 따른 운동 정보 추정 방법은, 프로세서에 의해 수행되는 운동 정보 추정 방법에 있어서, 하나 이상의 센서로부터 획득한 차량의 하나 이상의 초기 운동 정보를 기초로 추정 운동 정보를 추정하는 단계; 상기 추정 운동 정보를 기초로 상기 차량의 주변에 대한 복수의 예측 이미지 특징 정보를 예측하는 단계; 뉴럴 네트워크를 이용하여 이미지 센서로부터 획득한 입력 이미지로부터 복수의 검출 이미지 특징 정보 및 각각의 정확도를 획득하는 단계; 상기 복수의 예측 이미지 특징 정보 및 상기 복수의 검출 이미지 특징 정보를 각각 비교하여 상기 각각의 검출 이미지 특징 정보의 신뢰도를 평가하는 단계; 및 상기 신뢰도의 평가 결과 및 상기 정확도를 기초로 선택된 하나 이상의 검출 이미지 특징 정보를 기초로 상기 추정 운동 정보를 보정하는 단계를 포함한다.
상기 보정하는 단계는, 상기 신뢰도의 평가 결과 및 상기 정확도를 기초로 융합 모드를 선택하는 단계; 및 상기 융합 모드에 대응하는 하나 이상의 검출 이미지 특징 정보를 기초로 상기 추정 운동 정보를 보정하는 단계를 포함할 수 있다.
상기 융합 모드를 선택하는 단계는, 상기 하나 이상의 검출 이미지 특징 정보 또는 상기 하나 이상의 초기 운동 정보를 사용하는 복수의 모드 중에서 상기 융합 모드를 선택하는 단계를 포함할 수 있다.
상기 융합 모드를 선택하는 단계는, 상기 복수의 모드의 우선순위에 따라 상기 복수의 모드 중에서 상기 융합 모드를 선택하는 단계를 포함할 수 있다.
상기 융합 모드를 선택하는 단계는, 이전 시각에 선택된 융합 모드의 우선순위가 현재 시각에 선택될 융합 모드의 우선순위보다 높은 경우, 일정 시간 지연 이후에 상기 현재 시각에 대한 융합 모드를 선택하는 단계를 더 포함할 수 있다.
상기 신뢰도를 평가하는 단계는, 상기 복수의 예측 이미지 특징 정보 및 상기 복수의 검출 이미지 특징 정보 간의 차이를 기초로 상기 신뢰도를 평가하는 단계를 포함할 수 있다.
상기 예측하는 단계는, 상기 추정 운동 정보를 상기 이미지 센서의 시야각에 기초하여 이미지 상의 2차원 좌표로 변환함으로써, 상기 복수의 예측 이미지 특징 정보를 예측하는 단계를 포함할 수 있다.
상기 보정하는 단계는, 상기 선택된 하나 이상의 검출 이미지 특징 정보의 2차원 좌표를 상기 추정 운동 정보의 차원으로 변환하는 단계; 상기 변환된 결과를 기초로 상기 추정 운동 정보를 보정하는 단계를 포함할 수 있다.
상기 추정하는 단계는, IMU 센서로부터 상기 차량의 위치, 속도 및 자세를 계산하는 단계; GPS 센서로부터 위치를 획득하는 단계; 차량 속도계로부터 속도를 획득하는 단계; 및 상기 복수의 센서로부터 획득된 정보들을 융합하여 상기 추정 운동 정보를 추정하는 단계를 포함할 수 있다.
운동 정보 추정 방법은 차량 속도계로부터 획득한 속도에 기초하여 상기 운동 정보 추정 방법을 수행할지 여부를 판단하는 단계를 더 포함할 수 있다.
일 실시예에 따른 운동 정보 추정 장치는, 적어도 하나의 프로세서; 뉴럴 네트워크를 저장하는 메모리; 차량 주변에 대한 입력 이미지를 획득하는 이미지 센서; 및 하나 이상의 비 이미지 센서를 포함하고, 상기 하나 이상의 비 이미지 센서는 상기 차량의 운동과 관련된 하나 이상의 센서 정보를 획득하고, 상기 프로세서는, 상기 하나 이상의 센서 정보를 기초로 상기 차량의 하나 이상의 초기 운동을 계산하고, 상기 하나 이상의 초기 운동 정보를 기초로 추정 운동 정보를 추정하고, 상기 추정 운동 정보를 기초로 상기 차량의 주변에 대한 복수의 예측 이미지 특징 정보를 예측하고, 상기 뉴럴 네트워크를 이용하여 상기 입력 이미지로부터 복수의 검출 이미지 특징 정보 및 각각의 정확도를 획득하고, 상기 복수의 예측 이미지 특징 정보 및 상기 복수의 검출 이미지 특징 정보를 각각 비교하여 상기 각각의 검출 이미지 특징 정보의 신뢰도를 평가하고, 상기 신뢰도의 평가 결과 및 상기 정확도를 기초로 선택된 하나 이상의 검출 이미지 특징 정보를 기초로 상기 추정 운동 정보를 보정한다.
상기 프로세서는, 상기 신뢰도의 평가 결과 및 상기 정확도를 기초로 융합 모드를 선택하고, 상기 융합 모드에 대응하는 하나 이상의 검출 이미지 특징 정보를 기초로 상기 추정 운동 정보를 보정할 수 있다.
상기 프로세서는, 상기 하나 이상의 검출 이미지 특징 정보 또는 상기 하나 이상의 초기 운동 정보를 사용하는 복수의 모드 중에서 상기 융합 모드를 선택할 수 있다.
상기 프로세서는, 상기 복수의 모드의 우선순위에 따라 상기 복수의 모드 중에서 상기 융합 모드를 선택할 수 있다.
상기 프로세서는, 이전 시각에 선택된 융합 모드의 우선순위가 현재 시각에 선택될 융합 모드의 우선순위보다 높은 경우, 일정 시간 지연 이후에 상기 현재 시각에 대한 융합 모드를 선택할 수 있다.
상기 프로세서는, 상기 복수의 예측 이미지 특징 정보 및 상기 복수의 검출 이미지 특징 정보 간의 차이를 기초로 상기 신뢰도를 평가할 수 있다.
상기 프로세서는, 상기 추정 운동 정보를 상기 이미지 센서의 시야각에 기초하여 이미지 상의 2차원 좌표로 변환함으로써, 상기 복수의 예측 이미지 특징 정보를 예측할 수 있다.
상기 프로세서는, 상기 선택된 하나 이상의 검출 이미지 특징 정보의 2차원 좌표를 상기 추정 운동 정보의 차원으로 변환하고, 상기 변환된 결과를 기초로 상기 추정 운동 정보를 보정할 수 있다.
상기 프로세서는, IMU 센서로부터 상기 차량의 위치, 속도 및 자세를 계산하고, GPS 센서로부터 위치를 획득하고, 차량 속도계로부터 속도를 획득하고, 상기 복수의 센서로부터 획득된 정보들을 융합하여 상기 추정 운동 정보를 추정할 수 있다.
도 1은 일 실시예에 따른 차량의 위치를 추정하는 상황을 도시한 도면이다.
도 2는 일 실시예에 따른 운동 정보 추정 방법의 전체 동작을 도시한 순서도이다.
도 3은 일 실시예에 따른 보정 단계를 구체화한 순서도이다.
도 4는 다른 실시예에 따른 보정 단계를 구체화한 순서도이다.
도 5는 일 실시예에 따른 운동 정보 추정 장치에 의해 최종 운동 정보가 도출되는 과정을 도시한 도면이다.
도 6은 일 실시예에 따른 운동 정보 추정 장치의 전체 구성을 도시한 도면이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
한편, 어떤 실시예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도와 다르게 수행될 수 있다. 예를 들어, 연속하는 두 블록들이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 해당 블록들의 순서가 뒤바뀌어 수행될 수도 있다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 일 실시예에 따른 차량의 위치를 추정하는 상황을 도시한 도면이다.
일 실시예에 따르면, 차량의 운동 정보 추정 장치는 이미지 센서 및 비 이미지 센서의 센서 정보를 이용하여 차량의 위치를 추정할 수 있다. 운동 정보 추정 장치는 비 이미지 센서의 센서 정보를 이용하여 추정된 차량의 위치를 이미지 센서의 센서 정보를 이용하여 보정할 수 있다. 예를 들어, 운동 정보 추정 장치는 관성 센서 및 이미지 센서의 센서 정보를 융합할 수 있다. 이처럼, 운동 정보 추정 장치는 서로 다른 종류의 센서의 센서 정보를 융합함으로써 보다 정밀하게 차량의 위치를 추정할 수 있다.
일 실시예에 따르면, 운동 정보 추정 장치는 이미지 센서의 센서 정보 및 비 이미지 센서의 센서 정보를 신뢰도 또는 정확도를 기초로 선택적으로 융합할 수 있다. 운동 정보 추정 장치는 이미지 센서로부터 검출된 특징 정보들 및 비 이미지 센서로부터 도출된 운동 정보들을 신뢰도 또는 정확도를 기초로 선택적으로 융합할 수 있다. 이처럼, 운동 정보 추정 장치는 운동 정보를 도출하기 위해 사용될 정보들을 취사선택 함으로써 최종 운동 정보의 신뢰도를 높일 수 있다.
일 실시예에 따르면, 운동 정보 추정 장치는 이미지 센서로부터 검출된 특징 정보 및 비 이미지 센서로부터 도출된 운동 정보를 선택적으로 포함하는 복수의 모드 중에서 하나의 모드를 신뢰도 또는 정확도를 기초로 선택함으로써 융합에 사용될 정보들을 선택할 수 있다. 여기서, 복수의 모드는 정밀도를 기준으로 우선순위를 가질 수 있다. 예를 들어, 운동 정보 추정 장치는 관성 센서 및 이미지 센서의 융합을 이용한 다중 모드의 정밀한 운동 정보 추정 기법을 제공할 수 있다. 이처럼, 운동 정보 추정 장치는 우선순위에 따라 융합 모드를 선택함으로써 보다 정밀한 최종 운동 정보를 도출할 수 있다.
일 실시예에 따르면, 이전 시각에 선택된 모드의 우선순위 보다 현재 시각에 선택된 모드의 우선순위가 높은 경우, 운동 정보 추정 장치는 바로 현재 시각에 선택된 모드를 이용하여 운동 정보를 도출할 수 있다. 이를 통해, 운동 정보 추정 장치는 정밀도가 높은 모드를 현재 시각에 바로 반영함으로써 최종 운동 정보의 정밀도를 높일 수 있다. 반대로, 이전 시각에 선택된 모드의 우선순위 보다 현재 시각에 선택된 모드의 우선 순위가 낮은 경우, 운동 정보 추정 장치는 일정한 시간 간격 이후에 현재 시각에 선택된 모드를 이용하여 운동 정보를 도출할 수 있다. 이를 통해, 운동 정보 추정 장치는 정밀도가 높았던 이전 시각의 운동 정보를 일정 시간 유지함으로써 정밀도가 낮은 모드로 인해 발생될 현재 시각의 운동 정보의 정밀도의 열화를 완화할 수 있다.
운동 정보 추정 장치는 차량용 운동 정보의 추정 뿐만 아니라 항공용 운동 정보의 추정에도 적용될 수 있다. 운동 정보 추정 장치는 기존의 차량용 측위 뿐만 아니라 자율 주행 및 지능형운전자보조시스템(Advanced Driver Assistance Systems, ADAS)와 같은 차량 제어 시스템에 적용될 수 있다. 운동 정보 추정 장치는 자율 주행이나 차량용 증강현실(Augmented Reality, AR)의 구현을 위하여 요구되는 정밀도의 측위 시스템에 대한 솔루션을 제공할 수 있다.
정밀한 측위 시스템의 필요성에 따라 이종 센서 융합 시스템에 대한 연구가 활발히 이루어지고 있다. 이미지 센서 및 관성 센서의 융합은 크게 두 가지 방향으로 연구가 되고 있다. 첫번째는 SLAM(Simultaneous Localization and Mapping)이나 VO(Visual Odometry)와 같은 상대 위치를 추정하는 기법이다. 두번째는 맵 정보 상의 랜드마크를 이용하여 절대 위치를 추정하는 기법이다. 운동 정보 추정 장치는 절대 위치를 추정하는 기법에 주로 적용될 수 있다. 다만, 이에 한정되지 않으며, 운동 정보 추정 장치는 상대 위치를 추정하는 기법과 절대 위치를 추정하는 기법을 함께 사용하는 경우에도 적용될 수 있다.
운동 정보 추정 장치는 각각의 센서만을 이용하여 차량의 운동 정보를 추정하는 경우에 비해 추정된 운동 정보의 신뢰도 및 정밀도가 높다는 장점이 있다. GNSS(Global Navigation Satellite System)와 IMU(Inertial Measurement Unit)의 융합을 통해 운동 정보를 추정하는 경우에 비해, 운동 정보 추정 장치는 GNSS 보다 높은 정밀도를 달성할 수 있고 IMU의 적분 오류 누적 문제를 완화할 수 있다.
센서 퓨전을 이용하지 않고 이미지만을 이용하는 이미지 기반 측위 기술, 즉, 랜드마크의 검출 및 맵 정보 매칭에 기반한 측위 기술의 경우, 잘못 정합되는 경우가 빈번하여 불안정한 결과를 도출한다. 단순히 이미지 센서를 사용하여 특징 정보를 검출하는 경우에 비해, 운동 정보 추정 장치는 이미지 센서의 비선형적으로 발생하는 오류로 인한 신뢰도 문제를 완화할 수 있다.
이미지 센서와 관성 센서의 센서 정보를 결합하고 칼만필터를 이용하여 차량의 기존 위치, 속도, 자세의 오차를 통해 운동 정보에 시간적인 보정을 수행하는 기법의 경우, 이미지 자체의 비선형적인 에러로 인해 성능을 담보할 수 없다. 단순히 관성 센서 정보 등으로부터 칼만 필터를 이용하여 도출된 이전 시각의 운동 정보를 통해 이미지 센서의 정보의 에러를 잡아주는 경우에 비해, 운동 정보 추정 장치는 동일한 이미지 내에서 다양한 특징 정보를 검출하고 상황에 따라 적절한 정보를 취사선택함으로써 보다 높은 신뢰도를 달성할 수 있다. 운동 정보 추정 장치는 각각의 운동 정보 또는 특징 정보를 신뢰도 등에 따라 선택적으로 수용함으로써 보다 높은 신뢰도를 달성할 수 있다.
이를 위하여, 운동 정보 추정 장치는 이미지 센서 및 비 이미지 센서를 포함할 수 있다. 이미지 센서는 외부의 이미지를 촬영하는 카메라를 포함할 수 있다. 비 이미지 센서는 각속도 및 가속도를 측정하는 IMU, 위치, 속도 및 자세를 측정하는 GPS를 포함할 수 있다. 비 이미지 센서는 레이더 또는 라이다를 더 포함할 수 있다. 여기서, 레이더 및 라이다는 공간적인 해상도를 가질 수 있기 때문에 이미지 센서에 포함될 수도 있다.
운동 정보 추정 장치는 차량 속도계를 사용하여 측정된 속도를 기준으로 이미지 정보를 이용한 운동 정보의 추정을 수행할지 여부를 결정할 수 있다. 여기서, 차량 속도계는 OBD 센서를 포함할 수 있다. 운동 정보 추정 장치는 속도가 0인 경우를 정지 상태로 판단하고 ZUPT(zero velocity update)를 수행할 수 있다. 정지 상태에서 센서 정보는 노이즈를 포함할 수 있다. 예를 들어, IMU 센서의 센서 정보는 속도가 1km/h라고 나타낼 수 있지만 실제로는 정지 상태이므로 IMU 센서의 노이즈는 쉽게 파악될 수 있다. 운동 정보 추정 장치는 센서로부터 수신되는 센서 정보를 무시하고 이전 시각에 추정된 운동 정보를 바탕으로 현재 시각의 운동 정보를 갱신할 수 있다. 이처럼, 운동 정보 추정 장치는 정지 상태에서 불필요한 연산을 중단함으로써 컴퓨팅 리소스 등을 절약할 수 있다.
운동 정보 추정 장치는 비 이미지 센서들로부터 운동 정보를 1차적으로 추정할 수 있다. 예를 들어, 운동 정보 추정 장치는 GPS 센서, IMU 센서 또는 OBD로부터 비동기적 센서 정보를 수집할 수 있다. IMU의 센서 정보는 INS(inertial navigation system)을 이용하여 업데이트될 수 있다. 운동 정보 추정 장치는 INS를 통해 위치, 속도 및 자세를 계산할 수 있고, GPS의 센서 정보로부터 위치 정보를 계산할 수 있다. 이렇게 계산된 운동 정보는 초기 운동 정보로 지칭될 수 있다.
운동 정보 추정 장치는 각 센서로부터 도출된 초기 운동 정보들을 융합하여 1차적으로 현재 시각의 차량의 운동 정보를 추정할 수 있다. 이렇게 추정된 운동 정보는 추정 운동 정보로 지칭될 수 있다. 추정 운동 정보는 3차원 공간 상의 정보일 수 있다.
운동 정보 추정 장치는 추정 운동 정보의 3차원 정보를 2차원 정보로 변환할 수 있다. 일 실시예에 따르면 운동 정보 추정 장치는 맵 정보에 포함된 특징 정보의 3차원 좌표를 이미지 센서의 시야각에 기초하여 2차원 좌표로 변환함으로써, 2차원의 특징 정보를 획득할 수 있다. 이렇게 변환된 결과는 예측 이미지 특징 정보로 지칭될 수 있다. 예를 들어, 운동 정보 추정 장치는 추정된 위치 주변의 후보 랜드마크들을 추출할 수 있다. 운동 정보 추정 장치는 3차원 좌표를 가지는 후보 랜드마크를 현재 추정된 위치 및 자세에 기초하여 카메라 프레임에 대응하는 2차원 좌표로 변환할 수 있다. 운동 정보 추정 장치는 맵 정보로부터 추출된 후보 랜드마크들 중 이미지 센서의 시야각에 나타날 랜드마크를 예측할 수 있다. 따라서, 운동 정보 추정 장치는 추정된 위치 및 대상의 자세에 기초하여, 맵 정보의 랜드마크들 중 이미지 데이터를 획득하는 이미지 센서의 시야각에 나타날 랜드마크를 예측할 수 있다. 운동 정보 추정 장치는 차량의 운동정보에 기초하여 특정 미래 시간의 차량의 위치와 자세를 예측하고, 이러한 예측치로부터 이미지 센서에서 보이는 정보를 예측할 수 있다.
운동 정보 추정 장치는 이미지 예측치를 직접 쓰지 않고 예측된 위치, 자세를 지도상에서 바로 정합할 수도 있다.
운동 정보 추정 장치는 이미지 센서로부터 획득한 이미지에 대해 전처리 과정을 수행할 수 있다. 운동 정보 추정 장치는 전처리 과정을 통해 뉴럴 네트워크의 입력에 적합한 형태로의 이미지를 가공할 수 있다.
운동 정보 추정 장치는 이미지로부터 특징 정보를 검출할 수 있다. 운동 정보 추정 장치는 이미지 센서를 통하여 이미지를 획득할 수 있다. 운동 정보 추정 장치는 영상 처리 알고리즘을 이용하여 이미지에서 맵 정보에 표시된 특징 정보들을 검출할 수 있다. 예를 들어, 운동 정보 추정 장치는 하나의 이미지로부터 다양한 이미지 프로세싱 기법을 이용하여 복수의 특징 정보를 검출 할 수 있다. 여기서, 이미지 프로세싱 기법은 DNN 기반 방식 또는 전통적 CV 알고리즘을 모두 포함할 수 있다. 운동 정보 추정 장치는 신호등이나 표지판 등의 landmark 를 검출하는 뉴럴 네트워크, 차선을 검출하는 뉴럴 네트워크 및 차선을 식별하는 뉴럴 네트워크를 이용하여 각각의 특징 정보를 하나의 이미지로부터 검출할 수 있다. 여기서, 뉴럴 네트워크는 미리 풍부한 학습 데이터를 통해 학습된 것일 수 있다. 다만, 특징 정보의 종류에 따라 각각의 뉴럴 네트워크가 설정되는 실시예에 한정되지 않으며, 복수의 특징 정보를 한꺼번에 검출하는 뉴럴 네트워크가 사용될 수도 있다.
특징 정보는 운전자에게 도로를 주행하는데 필요한 정보를 제공하기 위해 임의의 지리적 위치에 고정된 객체를 나타낼 수 있다. 특징 정보는 랜드마크(landmark), 레인마크(lane mark) 및 레인넘버(lane number)를 포함할 수 있다. 예를 들어, 도로 표지판 및 신호등 등이 특징 정보에 속할 수 있다. 예를 들어, 랜드마크는, 주의 표지, 규제 표지, 지시 표지, 보조 표지, 노면 표시, 신호기 등으로 분류될 수 있다. 다만, 랜드마크의 각 클래스 별 분류를 상술한 바로 한정하는 것은 아니다.
특징 정보는 랜드마크, 레인마크 또는 레인 넘버를 포함할 수 있으나, 이에 한정되는 것은 아니다. 이미지 내에서 차량의 운동 정보의 파악에 도움이 되는 정보는 모두 특징 정보에 포함될 수 있다. 랜드마크(landmark)는 특징(feature) 또는 오브젝트(object)로 지칭될 수 있다. 레인마크(lane mark)는 차선으로 지칭될 수 있다. 레인넘버(lane number)는 차선 번호로 지칭될 수 있다. 예를 들어, 레인넘버는 1차선, 2차선 등으로 식별될 수 있다.
각각의 특징 정보들이 독립적으로 검출되는 경우 한 이미지 내에서 특정 특징 정보가 검출되지 않을 수 있고, 잘못된 특징 정보가 검출될 수도 있고, 검출은 잘 되었으나 맵 정보 매칭 과정에서 잘못된 정보가 생성될 수도 있다. 운동 정보 추정 장치는 각각의 정보에 대한 신뢰도 또는 정확도를 기준으로 모드를 선택함으로써 영상처리 과정에서 일어날 수 있는 이러한 오류들에 대한 강건함(robustness)를 높일 수 있다.
현재 센서의 센서 정보의 신뢰도는 다른 센서의 센서 정보를 이용하여 판단된다. 운동 정보 추정 장치는 서로 다른 종류의 센서 데이터를 이용하여 상호 간의 고장 검증(Fault detection)을 수행할 수 있다. 예를 들어, 신뢰도는 잔차(residual) 기반의 상호 검증 방식을 통해 판단될 수 있다.
현재 센서의 센서 정보의 정확도는 다른 센서의 센서 정보를 이용하지 않고 현재 센서의 센서 정보에 의해 자체적으로 판단된다. 예를 들어, GPS의 센서 정보의 정확도는 사용된 가시위성 개수로부터 도출될 수 있고, 이미지로부터 검출된 특징 정보의 정확도는 뉴럴 네트워크를 이용한 자체 평가(self validation)로부터 도출될 수 있다.
운동 정보 추정 장치는 정밀도를 기준으로 설정된 우선순위를 가지는 모드 중의 하나를 선택할 수 있다. 여기서, 정밀도는 센서 정보로부터 도출되는 운동 정보의 정밀함을 의미한다. 예를 들어, A 센서가 10m 수준의 오차로 위치를 파악하고, B 센서가 1m 수준의 오차로 위치를 파악하는 경우에, A 센서의 정밀도보다 B 센서의 정밀도가 더 높다고 판단된다.
복수의 모드는 센서 정보의 신뢰도 또는 정확도에 따라 선택될 수 있다. 운동 정보 추정 장치는 후보 랜드마크의 위치와 실제 검출된 랜드마크의 위치와의 차이를 이용하여 고장 검출을 수행할 수 있다. 운동 정보 추정 장치는 예측된 위치와 검출된 위치의 차이를 기초로 신뢰도를 계산하고, 신뢰도가 임계값 미만인 경우 이미지 센서로부터 검출된 특징 정보의 이미지 프로세싱 과정에서 오작동이 발생한 것으로 판단할 수 있다. 운동 정보 추정 장치는 오작동으로 잘못된 결과를 계산한 경우와 아예 결과를 계산하지 못하는 경우를 측정치가 없는 케이스로 구분할 수 있다. 운동 정보 추정 장치는 측정치의 유무에 따라 대응되는 모드를 선택할 수 있다.
예를 들어, 전방의 랜드마크를 검출할 수 있는 제1 케이스, 랜드마크의 신뢰도 또는 정확도가 낮아 레인마크만 검출할 수 있는 제2 케이스, 랜드마크 및 레인마크의 신뢰도 또는 정확도가 낮아 레인 넘버만 인식될 수 있는 제3 케이스, 신뢰도 또는 정확도의 열화로 인해 이미지 센서의 센서 정보를 아예 사용할 수 없고 GPS는 정상적으로 작동하는 제4 케이스, 이미지 센서 및 GPS를 모두 사용할 수 없는 제5 케이스 등이 상정될 수 있다. 다만, 이러한 상황들은 예시에 불과하며 다양한 상황들이 존재할 수 있다.
상기 다양한 상황에 대응하여 복수의 모드가 설정될 수 있다. 예를 들어, 제1 케이스에 대응하는 제 1 모드는 이미지 센서의 특징 정보 중의 랜드 마크가 사용되는 모드일 수 있다. 제1 모드에서는 랜드 마크로부터 도출되는 6 차원의 정보가 사용될 수 있다. 6차원의 정보는 3축의 위치 정보 및 3축의 자세 정보를 포함할 수 있다. 제2 케이스에 대응하는 제2 모드는 이미지 센서의 특징 정보 중의 레인 마크 및 GPS가 사용되는 모드일 수 있다. 제2 모드에서는 레인마크로부터 도출되는 측면 방향과 고도의 2축의 위치 정보, 3축의 자세 정보가 사용될 수 있고, GPS로부터 도출되는 전후의 위치 정보가 사용될 수 있다. 제3 케이스에 대응하는 제3 모드는 이미지 센서의 특징 정보 중의 차선 번호 및 GPS가 사용되는 모드일 수 있다. 제3 모드에서는 측면 방향 및 고도 방향의 2축의 위치 정보가 사용될 수 있다. 여기서, 레인 넘버에 대응하여 레인 넘버에 대응하는 차선 중앙으로 측면 방향의 위치 조정이 수행될 수 있다. 전방방향 GPS 기반 추정 제4 케이스에 대응하는 제4 모드는 INS와 GPS가 사용되는 모드일 수 있다. 제5 케이스에 대응하는 제5 모드는 INS만 사용되는 모드일 수 있다.
복수의 모드는 정밀도를 기준으로 우선순위가 설정될 수 있다. 예를 들어, 제1 모드에서 제5 모드로 갈수록 정밀도가 낮아질 수 있다. 이 때, 상위 모드에서 하위 모드로의 전환은 일정한 시간 간격을 두고 수행될 수 있다. 여기서, 시간 간격은 히스테리시스(hysteresis)로 지칭될 수 있다. 이를 통해, 상위 모드에서 하위 모드로 빠른 전환이 이루어짐으로써 정밀도가 열화되는 문제를 방지할 수 있다. 반면에, 하위 모드에서 상위 모드로의 전환은 정밀도의 열화가 없기 때문에 바로 수행될 수 있다.
운동 정보 추정 장치는 선택된 모드에 포함된 정보를 이용하여 추정된 운동 정보를 보정할 수 있다. 운동 정보 추정 장치는 선택된 모드에 포함된 정보의 차원을 추정 운동 정보의 차원으로 변환할 수 있다. 예를 들어, 운동 정보 추정 장치는 선택된 모드에 포함된 정보를 2차원에서 3차원으로 변환할 수 있다.
운동 정보 추정 장치는 GPS, IMU, OBD 및 이미지 센서를 처리한 결과를 모두 통합하여 현재 위치를 계산할 수 있다. 예를 들어, 운동 정보 추정 장치는 multi model Kalman filter, Extended Kalman filter, Unscented Kalman filter, Cabature Kalman filter 또는 Particle filter 등의 비선형 필터를 사용하여 상이한 종류의 정보를 통합할 수 있다. 이처럼, 운동 정보 추정 장치는 GPS, IMU, OBD 또는 이미지 센서의 센서 정보를 융합하여 정밀한 운동 정보를 도출할 수 있다.
도 1을 참조하면, 차량(100)은 이미지 센서(101) 및 이종 센서를 포함할 수 있다. 이종 센서는, 예를 들어, GPS, IMU 및 OBD를 포함할 수 있다. 차량(100)에 적재된 운동 정보 추정 장치는 GPS, IMU 및 OBD의 센서 정보를 바탕으로 각각의 초기 운동 정보를 계산할 수 있다. 운동 정보 추정 장치는 복수의 초기 운동 정보를 기초로 각각의 초기 운동 정보보다 정밀한 추정 운동 정보를 추정할 수 있다. 예를 들어, 차량(100)의 위치는 맵(130)의 위치(141)로 추정될 수 있다.
이미지 센서(101)는 차량(100)의 전방을 촬영할 수 있다. 촬영된 이미지(120)는 안테나(121), 레인마크(122) 및 레인마크(123)를 포함할 수 있다. 운동 정보 추정 장치는 랜드 마크를 검출하는 뉴럴 네트워크를 이용하여 이미지(120)로부터 안테나(121)를 검출할 수 있다. 운동 정보 추정 장치는 레인마크를 검출하는 뉴럴 네트워크를 이용하여 이미지(120)로부터 레인마크(122) 및 레인마크(123)를 검출 할 수 있다.
운동 정보 추정 장치는 추정 운동 정보 및 맵 정보를 기초로 안테나(111), 레인마크(112) 및 레인마크(113)의 위치를 예측할 수 있다. 안테나(111)의 위치와 안테나(121)의 위치의 차이가 임계값 보다 크고, 레인마크(112)의 위치와 레인마크(122)의 위치가 임계값 보다 작고, 레인마크(113)의 위치와 레인마크(123)의 위치가 임계값 보다 작은 상황을 가정할 수 있다. 운동 정보 추정 장치는 잘못된 위치에서 검출된 안테나(121)를 오정합으로 판단할 수 있다. 안테나(121)가 주는 정보가 레인마크(122) 및 레인마크(123)이 주는 정보(132, 133)보다 더욱 정밀하지만 안테나(121)의 정보가 오정합으로 판단되었기 때문에, 운동 정보 추정 장치는 레인마크(122) 및 레인마크(123)의 위치 정보(132, 133)만 이용하는 융합 모드를 선택할 수 있다.
운동 정보 추정 장치는 레인마크(122) 및 레인마크(123)의 위치 정보를 이용하여 추정 운동 정보를 보정할 수 있다. 운동 정보 추정 장치는 맵(130) 상의 위치(141)에서 위치(142)로 차량(100)의 위치를 보정할 수 있다. 결과적으로 운동 정보 추정 장치는 레인마크(112, 113)로부터 계산된 측정치만 사용 가능하고 안테나(111) 의한 측정치를 사용할 수 없다. 레인마크의 정보는 차량의 측면 방향에 대한 정보만을 줄 수 있지만 신뢰도가 높기 때문에, 운동 정보 추정 장치는 신뢰도와 정밀도의 만족스러운 균형을 달성할 수 있다.
도 2는 일 실시예에 따른 운동 정보 추정 방법의 전체 동작을 도시한 순서도이다.
선택적으로, 운동 정보 추정 장치는 ZUPT(zero velocity update) 테스트를 수행할 수 있다. 운동 정보 추정 장치는 차량 속도계로부터 획득한 속도에 기초하여 운동 정보 추정 방법을 수행할지 여부를 판단할 수 있다. 운동 정보 추정 장치는 센서로부터 수신되는 센서 정보를 무시하고 이전 시각에 추정된 운동 정보를 바탕으로 현재 시각의 운동 정보를 갱신할 수 있다.
일 실시예에 따르면, 단계(201)에서, 운동 정보 추정 장치는 하나 이상의 센서로부터 획득한 차량의 하나 이상의 초기 운동 정보를 기초로 추정 운동 정보를 추정한다. 운동 정보 추정 장치는 IMU 센서로부터 차량의 위치, 속도 및 자세를 계산할 수 있다. 운동 정보 추정 장치는 GPS 센서로부터 위치를 획득할 수 있다. 운동 정보 추정 장치는 차량 속도계로부터 속도를 획득할 수 있다. 일들은 초기 운동 정보로 지칭될 수 있다.
운동 정보 추정 장치는 복수의 센서로부터 획득된 정보들을 융합하여 추정 운동 정보를 추정할 수 있다. 운동 정보 추정 장치는 각 센서로부터 도출된 초기 운동 정보들을 융합하여 1차적으로 현재 시각의 차량의 운동 정보를 추정할 수 있다.
일 실시예에 따르면, 단계(203)에서, 운동 정보 추정 장치는 추정 운동 정보를 기초로 차량의 주변에 대한 복수의 예측 이미지 특징 정보를 예측한다. 운동 정보 추정 장치는 추정 운동 정보를 이미지 센서의 시야각에 기초하여 이미지 상의 2차원 좌표로 변환함으로써, 복수의 예측 이미지 특징 정보를 예측할 수 있다. 예를 들어, 운동 정보 추정 장치는 추정된 위치 주변의 후보 랜드마크들을 추출할 수 있다. 운동 정보 추정 장치는 3차원 좌표를 가지는 후보 랜드마크를 현재 추정된 위치 및 자세에 기초하여 카메라 프레임에 대응하는 2차원 좌표로 변환할 수 있다.
일 실시예에 따르면, 단계(205)에서, 운동 정보 추정 장치는 뉴럴 네트워크를 이용하여 이미지 센서로부터 획득한 입력 이미지로부터 복수의 검출 이미지 특징 정보 및 각각의 정확도를 획득한다. 운동 정보 추정 장치는 이미지로부터 검출된 특징 정보의 정확도를 뉴럴 네트워크를 이용한 자체 평가에 의해 도출할 수 있다.
일 실시예에 따르면, 단계(207)에서, 운동 정보 추정 장치는 복수의 예측 이미지 특징 정보 및 복수의 검출 이미지 특징 정보를 각각 비교하여 각각의 검출 이미지 특징 정보의 신뢰도를 평가한다. 운동 정보 추정 장치는 복수의 예측 이미지 특징 정보 및 복수의 검출 이미지 특징 정보 간의 차이를 기초로 신뢰도를 평가할 수 있다. 운동 정보 추정 장치는 예측된 위치와 검출된 위치의 차이를 기초로 신뢰도를 계산하고, 신뢰도가 임계값 미만인 경우 이미지 센서로부터 검출된 특징 정보의 이미지 프로세싱 과정에서 오작동이 발생한 것으로 판단할 수 있다.
일 실시예에 따르면, 단계(209)에서, 운동 정보 추정 장치는 신뢰도의 평가 결과 및 정확도를 기초로 선택된 하나 이상의 검출 이미지 특징 정보를 기초로 추정 운동 정보를 보정한다. 운동 정보 추정 장치는 오작동으로 판단되거나 측정치가 없는 것으로 판단되는 특징 정보를 배제하는 방식으로 보정에 사용될 검출 이미지 특징 정보를 선택할 수 있다. 보정에 사용될 검출 이미지 특징 정보의 집합에 따라 복수의 모드가 미리 설정될 수 있다.
도 3은 일 실시예에 따른 보정 단계를 구체화한 순서도이다.
일 실시예에 따르면, 단계(301)에서, 운동 정보 추정 장치는 신뢰도의 평가 결과 및 정확도를 기초로 융합 모드를 선택할 수 있다. 운동 정보 추정 장치는 하나 이상의 검출 이미지 특징 정보 또는 하나 이상의 초기 운동 정보를 사용하는 복수의 모드 중에서 융합 모드를 선택할 수 있다. 운동 정보 추정 장치는 복수의 모드의 우선순위에 따라 복수의 모드 중에서 융합 모드를 선택할 수 있다.
이전 시각에 선택된 융합 모드의 우선순위가 현재 시각에 선택될 융합 모드의 우선순위보다 높은 경우, 운동 정보 추정 장치는 일정 시간 지연 이후에 현재 시각에 대한 융합 모드를 선택할 수 있다. 이를 통해, 상위 모드에서 하위 모드로 빠른 전환이 이루어짐으로써 정밀도가 열화되는 문제를 방지할 수 있다. 반면에, 하위 모드에서 상위 모드로의 전환은 정밀도의 열화가 없기 때문에 바로 수행될 수 있다.
일 실시예에 따르면, 단계(303)에서, 운동 정보 추정 장치는 융합 모드에 대응하는 하나 이상의 검출 이미지 특징 정보를 기초로 추정 운동 정보를 보정할 수 있다. 운동 정보 추정 장치는 GPS, IMU, OBD 및 이미지 센서를 처리한 결과를 모두 통합하여 현재 위치를 계산할 수 있다. 예를 들어, 운동 정보 추정 장치는 multi model Kalman filter, Extended Kalman filter, Unscented Kalman filter, Cabature Kalman filter 또는 Particle filter 등의 비선형 필터를 사용하여 상이한 종류의 정보를 통합할 수 있다.
도 4는 다른 실시예에 따른 보정 단계를 구체화한 순서도이다.
다른 실시예에 따르면, 단계(401)에서, 운동 정보 추정 장치는 선택된 하나 이상의 검출 이미지 특징 정보의 2차원 좌표를 추정 운동 정보의 차원으로 변환할 수 있다. 예를 들어, 운동 정보 추정 장치는 선택된 모드에 포함된 정보를 2차원에서 3차원으로 변환할 수 있다.
단계(403)에서, 운동 정보 추정 장치는 변환된 결과를 기초로 추정 운동 정보를 보정할 수 있다. 이처럼, 운동 정보 추정 장치는 GPS, IMU, OBD 또는 이미지 센서의 센서 정보를 융합하여 정밀한 운동 정보를 도출할 수 있다.
도 5는 일 실시예에 따른 운동 정보 추정 장치에 의해 최종 운동 정보가 도출되는 과정을 도시한 도면이다.
IMU(501)의 센서 정보는 각속도 및 가속도 정보를 포함할 수 있다. INS 연산부(511)는 IMU(501)의 센서 정보를 기초로 차량의 위치, 속도, 자세를 계산할 수 있다. INS 연산부(511)는 각속도 및 가속도를 적분하여 차량의 위치, 속도, 자세를 계산할 수 있다. GPS(502)의 센서 정보는 차량의 위치 정보를 포함할 수 있다. OBD(503)의 센서 정보는 차량의 속도 정보를 포함할 수 있다.
운동 정보 추정부(512)는 IMU(501), GPS(502) 및 OBD(503)로부터 도출된 초기 운동 정보를 기초로 추정 운동 정보를 추정할 수 있다. 운동 정보 추정부(512)는 복수의 초기 운동 정보를 융합함으로써 초기 운동 정보보다 정밀한 추정 운동 정보를 추정할 수 있다.
운동 정보 추정부(512)는 추정 운동 정보의 차원을 2차원으로 변환할 수 있다. 운동 정보 추정부(512)는 추정 운동 정보의 차원을 2차원의 좌표의 위치로 변환할 수 있다. 운동 정보 추정부(512)는 추정 운동 정보를 이용하여 차량의 위치를 2차원의 맵 정보 상에서 특정할 수 있다. 예를 들어, 운동 정보 추정부(512)는 추정 운동 정보의 3차원 좌표를 맵 상의 2차원 좌표로 변환할 수 있다. 이러한 결과는 예측 이미지 특징 정보로 지칭될 수 있다.
이미지 처리부(513)는 Camera(504)에 의해 촬영된 이미지로부터 복수의 특징 정보를 검출할 수 있다. 예를 들어, 이미지 처리부(513)는 이미지로부터 랜드마크, 레인마크 또는 레인 넘버를 검출할 수 있다. 검출 결과는 검출 이미지 특징 정보로 지칭될 수 있다. 이미지 처리부(513)는 미리 학습된 뉴럴 네트워크를 포함할 수 있다. 특징 정보의 종류에 별로 고유한 뉴럴 네트워크가 대응될 수 있다.
신뢰도 평가부(514)는 검출 이미지 특징 정보 각각을 예측 이미지 특징 정보 각각과 비교할 수 있다. 신뢰도 평가부(514)는 비교 결과를 기초로 각각의 검출 이미지 특징 정보의 신뢰도를 평가할 수 있다. 예를 들어, 검출된 랜드마크의 위치가 예측된 랜드마크의 위치와 상이한 경우, 신뢰도 평가부(514)는 오차를 계산하고 오차를 임계값과 비교하여 신뢰도를 평가할 수 있다.
융합 모드 선택부(515)는 신뢰도 및 자체 평가에 기초한 정확도를 기초로 보정에 사용될 특징 정보를 선택할 수 있다. 융합 모드 선택부(515)는 신뢰도 도는 정확도가 낮은 특징 정보를 배제하고 나머지 특징 정보를 선택할 수 있다. 여기서, 선택되는 특징 정보의 종류 별로 미리 복수의 모드가 설정될 수 있다. 복수의 모드는 포함되는 특징 정보로부터 달성할 수 있는 정밀도를 기준으로 우선순위를 가질 수 있다. 융합 모드 선택부(515)는 신뢰도 및 정확도의 기준을 만족하면서도 우선순위가 높은 모드를 선택할 수 있다.
운동 정보 추정부(516)는 선택된 모드에 포함된 특징 정보를 기초로 추정 운동 정보를 보정할 수 있다. 운동 정보 추정부(516)는 특징 정보의 차원을 추정 운동 정보의 차원으로 변환할 수 있다. 예를 들어, 운동 정보 추정부(516)는 2차원의 특징 정보를 3차원의 좌표로 변환할 수 있다.
운동 정보 추정부(516)는 변환 결과를 기초로 추정 운동 정보를 보정할 수 있다. 운동 정보 추정부(516)는, 예를 들어, 칼만 필터를 이용하여 추정 운동 정보를 보정할 수 있다. 운동 정보 추정부(516)는 최종 운동 정보(517)를 출력할 수 있다.
도 6은 일 실시예에 따른 운동 정보 추정 장치의 전체 구성을 도시한 도면이다.
일 실시예에 따르면, 운동 정보 추정 장치(600)는 적어도 하나의 프로세서(601), 뉴럴 네트워크를 저장하는 메모리(603), 차량 주변에 대한 입력 이미지를 획득하는 이미지 센서(611) 및 하나 이상의 비 이미지 센서를 포함한다. 여기서, 비 이미지 센서는 IMU(605), GPS(607) 및 OBD(609)을 포함할 수 있다. 다만, 이는 예시에 불과하며, 비 이미지 센서는 레이더 또는 라이다와 같은 다양한 센서를 더 포함할 수 있다.
하나 이상의 비 이미지 센서는 차량의 운동과 관련된 하나 이상의 센서 정보를 획득한다. 예를 들어, 프로세서(601)는 IMU 센서로부터 차량의 위치, 속도 및 자세를 계산할 수 있다. 프로세서(601)는 GPS 센서로부터 위치를 획득할 수 있다. 프로세서(601)는 차량 속도계로부터 속도를 획득할 수 있다. 프로세서(601)는 하나 이상의 센서 정보를 기초로 차량의 하나 이상의 초기 운동를 계산할 수 있다. 프로세서(601)는 하나 이상의 초기 운동 정보를 기초로 추정 운동 정보를 추정할 수 있다. 프로세서(601)는 복수의 센서로부터 획득된 정보들을 융합하여 추정 운동 정보를 추정할 수 있다.
프로세서(601)는 추정 운동 정보를 기초로 차량의 주변에 대한 복수의 예측 이미지 특징 정보를 예측할 수 있다. 프로세서(601)는 추정 운동 정보를 이미지 센서의 시야각에 기초하여 이미지 상의 2차원 좌표로 변환함으로써, 복수의 예측 이미지 특징 정보를 예측할 수 있다.
프로세서(601)는 뉴럴 네트워크를 이용하여 입력 이미지로부터 복수의 검출 이미지 특징 정보 및 각각의 정확도를 획득할 수 있다. 프로세서(601)는 복수의 예측 이미지 특징 정보 및 복수의 검출 이미지 특징 정보를 각각 비교하여 각각의 검출 이미지 특징 정보의 신뢰도를 평가할 수 있다. 프로세서(601)는 신뢰도의 평가 결과 및 정확도를 기초로 선택된 하나 이상의 검출 이미지 특징 정보를 기초로 추정 운동 정보를 보정할 수 있다.
프로세서(601)는 복수의 예측 이미지 특징 정보 및 복수의 검출 이미지 특징 정보 간의 차이를 기초로 신뢰도를 평가할 수 있다. 프로세서(601)는 서로 다른 종류의 센서 데이터를 이용하여 상호 간의 고장 검증(Fault detection)을 수행할 수 있다. 예를 들어, 신뢰도는 잔차(residual) 기반의 상호 검증 방식을 통해 판단될 수 있다.
프로세서(601)는 융합 모드를 선택할 수 있다. 프로세서(601)는 신뢰도의 평가 결과 및 정확도를 기초로 융합 모드를 선택할 수 있다. 프로세서(601)는 융합 모드에 대응하는 하나 이상의 검출 이미지 특징 정보를 기초로 추정 운동 정보를 보정할 수 있다. 여기서, 프로세서(601)는 하나 이상의 검출 이미지 특징 정보 또는 하나 이상의 초기 운동 정보를 사용하는 복수의 모드 중에서 융합 모드를 선택할 수 있다.
프로세서(601)는 복수의 모드의 우선순위에 따라 복수의 모드 중에서 융합 모드를 선택할 수 있다. 여기서, 우선순위는 모드에 포함된 특징 정보의 조합으로 달성될 수 있는 정밀도를 기준으로 설정될 수 있다. 예를 들어, 랜드마크는 6차원 정보를 제공하고, 레인마크는 2차원 정보를 제공하므로, 랜드마크를 포함하는 모드는 레인마크를 포함하는 모드보다 높은 우선순위를 갖는다.
프로세서(601)는 모드 전환 시 시간 지연을 적용할 수 있다. 프로세서(601)는 이전 시각에 선택된 융합 모드의 우선순위가 현재 시각에 선택될 융합 모드의 우선순위보다 높은 경우, 일정 시간 지연 이후에 현재 시각에 대한 융합 모드를 선택할 수 있다. 프로세서(601)는 시간에 따라 성능의 우위가 사라져 갈 때쯤 하위 모드로 모드를 전환할 수 있다.
프로세서(601)는 선택된 하나 이상의 검출 이미지 특징 정보의 2차원 좌표를 추정 운동 정보의 차원으로 변환할 수 있다. 프로세서(601)는 변환된 결과를 기초로 추정 운동 정보를 보정할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (19)

  1. 프로세서에 의해 수행되는 운동 정보 추정 방법에 있어서,
    하나 이상의 센서로부터 획득한 차량의 하나 이상의 초기 운동 정보를 기초로 추정 운동 정보를 추정하는 단계;
    상기 추정 운동 정보를 기초로 상기 차량의 주변에 대한 복수의 예측 이미지 특징 정보를 예측하는 단계;
    뉴럴 네트워크를 이용하여 이미지 센서로부터 획득한 입력 이미지로부터 복수의 검출 이미지 특징 정보 및 각각의 정확도를 획득하는 단계;
    상기 복수의 예측 이미지 특징 정보 및 상기 복수의 검출 이미지 특징 정보를 각각 비교하여 상기 각각의 검출 이미지 특징 정보의 신뢰도를 평가하는 단계; 및
    상기 신뢰도의 평가 결과 및 상기 정확도를 기초로 선택된 하나 이상의 검출 이미지 특징 정보를 기초로 상기 추정 운동 정보를 보정하는 단계를 포함하고,
    상기 보정하는 단계는,
    상기 신뢰도의 평가 결과 및 상기 정확도를 기초로 융합 모드를 선택하는 단계를 포함하고,
    상기 융합 모드를 선택하는 단계는,
    상기 하나 이상의 검출 이미지 특징 정보 또는 상기 하나 이상의 초기 운동 정보를 사용하는 복수의 모드 중에서 상기 융합 모드를 선택하는 단계를 포함하는,
    운동 정보 추정 방법.
  2. 제1항에 있어서,
    상기 보정하는 단계는,
    상기 융합 모드에 대응하는 하나 이상의 검출 이미지 특징 정보를 기초로 상기 추정 운동 정보를 보정하는 단계를 포함하는, 운동 정보 추정 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 융합 모드를 선택하는 단계는,
    상기 복수의 모드의 우선순위에 따라 상기 복수의 모드 중에서 상기 융합 모드를 선택하는 단계를 포함하는, 운동 정보 추정 방법.
  5. 제4항에 있어서,
    상기 융합 모드를 선택하는 단계는,
    이전 시각에 선택된 융합 모드의 우선순위가 현재 시각에 선택될 융합 모드의 우선순위보다 높은 경우, 일정 시간 지연 이후에 상기 현재 시각에 대한 융합 모드를 선택하는 단계를 더 포함하는, 운동 정보 추정 방법.
  6. 제1항에 있어서,
    상기 신뢰도를 평가하는 단계는,
    상기 복수의 예측 이미지 특징 정보 및 상기 복수의 검출 이미지 특징 정보 간의 차이를 기초로 상기 신뢰도를 평가하는 단계를 포함하는, 운동 정보 추정 방법.
  7. 제1항에 있어서,
    상기 예측하는 단계는,
    상기 추정 운동 정보를 상기 이미지 센서의 시야각에 기초하여 이미지 상의 2차원 좌표로 변환함으로써, 상기 복수의 예측 이미지 특징 정보를 예측하는 단계를 포함하는, 운동 정보 추정 방법.
  8. 제1항에 있어서,
    상기 보정하는 단계는,
    상기 선택된 하나 이상의 검출 이미지 특징 정보의 2차원 좌표를 상기 추정 운동 정보의 차원으로 변환하는 단계;
    상기 변환된 결과를 기초로 상기 추정 운동 정보를 보정하는 단계
    를 포함하는, 운동 정보 추정 방법.
  9. 제1항에 있어서,
    상기 추정하는 단계는,
    IMU 센서로부터 상기 차량의 위치, 속도 및 자세를 계산하는 단계;
    GPS 센서로부터 위치를 획득하는 단계;
    차량 속도계로부터 속도를 획득하는 단계; 및
    상기 복수의 센서로부터 획득된 정보들을 융합하여 상기 추정 운동 정보를 추정하는 단계
    를 포함하는, 운동 정보 추정 방법.
  10. 프로세서에 의해 수행되는 운동 정보 추정 방법에 있어서,
    하나 이상의 센서로부터 획득한 차량의 하나 이상의 초기 운동 정보를 기초로 추정 운동 정보를 추정하는 단계;
    상기 추정 운동 정보를 기초로 상기 차량의 주변에 대한 복수의 예측 이미지 특징 정보를 예측하는 단계;
    뉴럴 네트워크를 이용하여 이미지 센서로부터 획득한 입력 이미지로부터 복수의 검출 이미지 특징 정보 및 각각의 정확도를 획득하는 단계;
    상기 복수의 예측 이미지 특징 정보 및 상기 복수의 검출 이미지 특징 정보를 각각 비교하여 상기 각각의 검출 이미지 특징 정보의 신뢰도를 평가하는 단계;
    상기 신뢰도의 평가 결과 및 상기 정확도를 기초로 선택된 하나 이상의 검출 이미지 특징 정보를 기초로 상기 추정 운동 정보를 보정하는 단계; 및
    차량 속도계로부터 획득한 속도에 기초하여 상기 운동 정보 추정 방법을 수행할지 여부를 판단하는 단계
    를 포함하는, 운동 정보 추정 방법.
  11. 적어도 하나의 프로세서;
    뉴럴 네트워크를 저장하는 메모리;
    차량 주변에 대한 입력 이미지를 획득하는 이미지 센서; 및
    하나 이상의 비 이미지 센서를 포함하고,
    상기 하나 이상의 비 이미지 센서는 상기 차량의 운동과 관련된 하나 이상의 센서 정보를 획득하고,
    상기 프로세서는,
    상기 하나 이상의 센서 정보를 기초로 상기 차량의 하나 이상의 초기 운동 정보를 계산하고,
    상기 하나 이상의 초기 운동 정보를 기초로 추정 운동 정보를 추정하고,
    상기 추정 운동 정보를 기초로 상기 차량의 주변에 대한 복수의 예측 이미지 특징 정보를 예측하고,
    상기 뉴럴 네트워크를 이용하여 상기 입력 이미지로부터 복수의 검출 이미지 특징 정보 및 각각의 정확도를 획득하고,
    상기 복수의 예측 이미지 특징 정보 및 상기 복수의 검출 이미지 특징 정보를 각각 비교하여 상기 각각의 검출 이미지 특징 정보의 신뢰도를 평가하고,
    상기 신뢰도의 평가 결과 및 상기 정확도를 기초로 선택된 하나 이상의 검출 이미지 특징 정보를 기초로 상기 추정 운동 정보를 보정하고,
    상기 신뢰도의 평가 결과 및 상기 정확도를 기초로 융합 모드를 선택하고,
    상기 하나 이상의 검출 이미지 특징 정보 또는 상기 하나 이상의 초기 운동 정보를 사용하는 복수의 모드 중에서 상기 융합 모드를 선택하는,
    운동 정보 추정 장치.
  12. 제11항에 있어서,
    상기 프로세서는,
    상기 융합 모드에 대응하는 하나 이상의 검출 이미지 특징 정보를 기초로 상기 추정 운동 정보를 보정하는, 운동 정보 추정 장치.
  13. 삭제
  14. 제11항에 있어서,
    상기 프로세서는,
    상기 복수의 모드의 우선순위에 따라 상기 복수의 모드 중에서 상기 융합 모드를 선택하는, 운동 정보 추정 장치.
  15. 제14항에 있어서,
    상기 프로세서는,
    이전 시각에 선택된 융합 모드의 우선순위가 현재 시각에 선택될 융합 모드의 우선순위보다 높은 경우, 일정 시간 지연 이후에 상기 현재 시각에 대한 융합 모드를 선택하는, 운동 정보 추정 장치.
  16. 제11항에 있어서,
    상기 프로세서는,
    상기 복수의 예측 이미지 특징 정보 및 상기 복수의 검출 이미지 특징 정보 간의 차이를 기초로 상기 신뢰도를 평가하는, 운동 정보 추정 장치.
  17. 제11항에 있어서,
    상기 프로세서는,
    상기 추정 운동 정보를 상기 이미지 센서의 시야각에 기초하여 이미지 상의 2차원 좌표로 변환함으로써, 상기 복수의 예측 이미지 특징 정보를 예측하는, 운동 정보 추정 장치.
  18. 제11항에 있어서,
    상기 프로세서는,
    상기 선택된 하나 이상의 검출 이미지 특징 정보의 2차원 좌표를 상기 추정 운동 정보의 차원으로 변환하고,
    상기 변환된 결과를 기초로 상기 추정 운동 정보를 보정하는,
    운동 정보 추정 장치.
  19. 제11항에 있어서,
    상기 프로세서는,
    IMU 센서로부터 상기 차량의 위치, 속도 및 자세를 계산하고,
    GPS 센서로부터 위치를 획득하고,
    차량 속도계로부터 속도를 획득하고,
    상기 복수의 센서로부터 획득된 정보들을 융합하여 상기 추정 운동 정보를 추정하는,
    운동 정보 추정 장치.



KR1020190163932A 2019-12-10 2019-12-10 운동 정보 추정 방법 및 장치 Active KR102785794B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190163932A KR102785794B1 (ko) 2019-12-10 2019-12-10 운동 정보 추정 방법 및 장치
US16/916,669 US11983890B2 (en) 2019-12-10 2020-06-30 Method and apparatus with motion information estimation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190163932A KR102785794B1 (ko) 2019-12-10 2019-12-10 운동 정보 추정 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210073281A KR20210073281A (ko) 2021-06-18
KR102785794B1 true KR102785794B1 (ko) 2025-03-26

Family

ID=76209802

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190163932A Active KR102785794B1 (ko) 2019-12-10 2019-12-10 운동 정보 추정 방법 및 장치

Country Status (2)

Country Link
US (1) US11983890B2 (ko)
KR (1) KR102785794B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11713978B2 (en) * 2019-08-31 2023-08-01 Nvidia Corporation Map creation and localization for autonomous driving applications
KR20220025585A (ko) 2020-08-24 2022-03-03 삼성전자주식회사 위치 추정 방법 및 장치
US20220137626A1 (en) * 2020-11-04 2022-05-05 Canon Kabushiki Kaisha Apparatus, method, and non-transitory computer-readable storage medium
CN113899363B (zh) * 2021-09-29 2022-10-21 北京百度网讯科技有限公司 车辆的定位方法、装置及自动驾驶车辆

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010157093A (ja) * 2008-12-26 2010-07-15 Toyota Central R&D Labs Inc 運動推定装置及びプログラム
JP2015205522A (ja) * 2014-04-17 2015-11-19 いすゞ自動車株式会社 車両状態推定装置
JP2019530608A (ja) * 2016-09-29 2019-10-24 ザ・チャールズ・スターク・ドレイパー・ラボラトリー・インコーポレイテッド 物体レベル融合の自律走行車両

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6052647A (en) 1997-06-20 2000-04-18 Stanford University Method and system for automatic control of vehicles based on carrier phase differential GPS
KR100556104B1 (ko) 2005-10-04 2006-03-03 (주)아세아항측 Ｇｐｓ／ｉｎｓ 비행선을 이용한 항공측량방법
US7646336B2 (en) * 2006-03-24 2010-01-12 Containertrac, Inc. Automated asset positioning for location and inventory tracking using multiple positioning techniques
KR100945447B1 (ko) 2007-11-30 2010-03-05 삼성전기주식회사 오차를 보정하기 위한 ｇｐｓ 시스템 및 오차보정방법
JP2009198185A (ja) 2008-02-19 2009-09-03 Toyota Motor Corp 車両位置姿勢推測装置
KR101014070B1 (ko) 2008-08-11 2011-02-14 대성전기공업 주식회사 차량의 위치확인장치와 그 확인방법
US7868821B2 (en) 2009-01-15 2011-01-11 Alpine Electronics, Inc Method and apparatus to estimate vehicle position and recognized landmark positions using GPS and camera
KR101239864B1 (ko) 2010-04-13 2013-03-18 위드로봇 주식회사 다중 센서를 이용한 항법시스템 및 그 제공방법
US8676498B2 (en) 2010-09-24 2014-03-18 Honeywell International Inc. Camera and inertial measurement unit integration with navigation data feedback for feature tracking
KR101183866B1 (ko) 2011-04-20 2012-09-19 서울시립대학교 산학협력단 Ｇｐｓ／ｉｎｓ／영상ａｔ를 통합한 실시간 위치／자세 결정 장치 및 방법
KR101394546B1 (ko) 2012-07-31 2014-05-13 울산대학교 산학협력단 Ｇｐｓ와 ｉｍｕ의 데이터 융합에 의한 위치 정보 획득장치 및 그의 위치 정보 획득방법
KR101470103B1 (ko) 2012-12-26 2014-12-05 현대자동차주식회사 위치정보 추정 방법 및 시스템
JP6337961B2 (ja) * 2014-05-20 2018-06-06 日産自動車株式会社 信号機認識装置及び信号機認識方法
KR20160027739A (ko) * 2014-09-02 2016-03-10 현대모비스 주식회사 차량의 위치 추정 장치 및 그 방법
EP3399381A1 (en) 2014-09-05 2018-11-07 SZ DJI Technology Co., Ltd. Context-based flight mode selection
KR102201649B1 (ko) 2016-07-28 2021-01-12 한국전자통신연구원 분산 융합 필터 기반 자세 인식 장치 및 방법
EP3497405B1 (en) 2016-08-09 2022-06-15 Nauto, Inc. System and method for precision localization and mapping
US10395127B2 (en) * 2016-09-13 2019-08-27 Hitachi Information & Telecommunication Engineering, Ltd. State prediction device and state prediction method
KR102529903B1 (ko) * 2016-12-14 2023-05-08 현대자동차주식회사 차량의 위치 추정 장치 및 방법
CN112703457A (zh) * 2018-05-07 2021-04-23 强力物联网投资组合2016有限公司 用于使用工业物联网进行数据收集、学习和机器信号流传输实现分析和维护的方法和系统
KR20200044420A (ko) 2018-10-19 2020-04-29 삼성전자주식회사 위치 추정 방법 및 장치
US10943401B2 (en) * 2019-02-01 2021-03-09 International Business Machines Corporation Active visual recognition in mobile augmented reality
US11170238B2 (en) * 2019-06-26 2021-11-09 Woven Planet North America, Inc. Approaches for determining traffic light state
CN110458895B (zh) * 2019-07-31 2020-12-25 腾讯科技（深圳）有限公司 图像坐标系的转换方法、装置、设备及存储介质
WO2021097426A1 (en) * 2019-11-15 2021-05-20 Brain Corporation Systems and methods for training neural networks on a cloud server using sensory data collected by robots

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010157093A (ja) * 2008-12-26 2010-07-15 Toyota Central R&D Labs Inc 運動推定装置及びプログラム
JP2015205522A (ja) * 2014-04-17 2015-11-19 いすゞ自動車株式会社 車両状態推定装置
JP2019530608A (ja) * 2016-09-29 2019-10-24 ザ・チャールズ・スターク・ドレイパー・ラボラトリー・インコーポレイテッド 物体レベル融合の自律走行車両

Also Published As

Publication number Publication date
US20210174516A1 (en) 2021-06-10
US11983890B2 (en) 2024-05-14
KR20210073281A (ko) 2021-06-18

Similar Documents

Publication Publication Date Title
KR102463176B1 (ko) 위치 추정 장치 및 방법
US11915099B2 (en) Information processing method, information processing apparatus, and recording medium for selecting sensing data serving as learning data
KR102785794B1 (ko) 운동 정보 추정 방법 및 장치
KR20200044420A (ko) 위치 추정 방법 및 장치
CN111721285B (zh) 在自动代客泊车系统中用于估计位置的设备及方法
CN108828527B (zh) 一种多传感器数据融合方法、装置、车载设备及存储介质
Atia et al. A low-cost lane-determination system using GNSS/IMU fusion and HMM-based multistage map matching
US10369993B2 (en) Method and device for monitoring a setpoint trajectory to be traveled by a vehicle for being collision free
KR102627453B1 (ko) 위치 추정 장치 및 방법
CN111176270B (zh) 使用动态地标的定位
US11321572B2 (en) Self-position estimation method and self-position estimation device
US11260861B2 (en) Method, device and computer-readable storage medium with instructions for determining the lateral position of a vehicle relative to the lanes on a roadway
JP2018155732A (ja) 自己位置推定装置
KR102565482B1 (ko) 차량의 측위 장치 및 그 방법
KR20180106417A (ko) 차량의 위치 인식 시스템 및 방법
JP7113134B2 (ja) 車両制御装置
KR101803195B1 (ko) 차량의 주행 환경에 따라 적응적으로 다중센서를 제어하는 장치 및 방법
US20190331496A1 (en) Locating a vehicle
JP7275553B2 (ja) 移動体、移動体の制御方法及びプログラム
KR20220025585A (ko) 위치 추정 방법 및 장치
WO2018168961A1 (ja) 自己位置推定装置
KR20220068710A (ko) 차량 측위 방법 및 장치
US11061145B2 (en) Systems and methods of adjusting position information
CN108776333B (zh) 一种数据二次级联融合方法、系统、车载设备及存储介质
Li et al. Indoor localization for an autonomous model car: A marker-based multi-sensor fusion framework

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601