KR20240151970A

KR20240151970A - Method and apparatus for planning reference local path on local semantic navigation map for low-cost sensor-based autonomous driving

Info

Publication number: KR20240151970A
Application number: KR1020230047924A
Authority: KR
Inventors: 강태원; 조성우; 박창현; 강기혁
Original assignee: (주)뉴빌리티
Priority date: 2023-04-12
Filing date: 2023-04-12
Publication date: 2024-10-21
Also published as: WO2024214860A1

Abstract

본 발명은 지역 의미론적 정보가 저장된 주행용 지도에서 레퍼런스 지역 경로 계획 방법 및 장치에 관한 것으로, 본 발명의 일 실시예에 따른 지역 의미론적 정보가 저장된 주행용 지도에서 레퍼런스 지역 경로 계획 방법은, 지역 의미론적 정보가 저장된 주행용 지도(LSN, Local semantic navigation map)에서 로봇의 위치 정보와 매칭된 주행 정보와 상기 로봇의 비전 정보로부터 인식된 주행 영역을 추출하는 단계, 상기 추출된 주행 영역 또는 상기 로봇의 위치 정보 기반의 전역 경로를 이용하여 적어도 하나의 후보 경로를 추출하는 단계, 상기 추출된 적어도 하나의 후보 경로의 신뢰도 비용을 계산하여 후보 경로의 신뢰도를 판별하는 단계, 및 상기 판별된 적어도 하나의 후보 경로 중에서 가장 높은 신뢰도를 갖는 후보 경로를 레퍼런스(Reference) 지역 경로로 도출하여 상기 로봇의 목표 구간으로 설정하는 단계를 포함한다.The present invention relates to a method and device for planning a reference local path in a driving map having local semantic information stored therein, and according to one embodiment of the present invention, a method for planning a reference local path in a driving map having local semantic information stored therein comprises the steps of: extracting a driving area recognized from driving information matched with position information of a robot and vision information of the robot in a driving map (LSN, Local semantic navigation map) having local semantic information stored therein, extracting at least one candidate path using the extracted driving area or a global path based on the position information of the robot, calculating a reliability cost of the at least one extracted candidate path to determine the reliability of the candidate path, and deriving a candidate path having the highest reliability among the at least one determined candidate path as a reference local path and setting the same as a target section of the robot.

Description

Method and apparatus for planning reference local path on local semantic navigation map for low-cost sensor-based autonomous driving

본 발명은 지역 경로 계획 방법 및 장치에 관한 것으로, 더욱 상세하게는 지역 의미론적 정보가 저장된 주행용 지도에서 레퍼런스 지역 경로 계획 방법 및 장치에 관한 것이다.The present invention relates to a method and device for regional route planning, and more particularly, to a method and device for referencing a regional route planning in a driving map in which regional semantic information is stored.

최근 자율주행 기술의 발달에 따라 자동차, 항공기, 드론, 로봇, 선박 등의 여러 플랫폼을 이용한 자율주행이 시도되고 있다.Recently, with the development of autonomous driving technology, autonomous driving is being attempted using various platforms such as automobiles, aircraft, drones, robots, and ships.

4륜 모바일 로봇의 정밀한 움직임 제어를 위해서는 주변 환경으로부터 발생하는 많은 위험에 대해 강인하게 대처하는 것이 중요하다. 자동차의 자율주행의 경우 주행하는 곳이 주로 차도이기 때문에 장애물이나 주행 영역이 규칙적이다. 반면 실외 배달 로봇은 더욱 복잡하고 다양한 장애물들이 존재하는 인도, 횡단보도, 실내 공간 등을 주행한다. 따라서 주행을 위한 의미론적인 지도를 기반한 로봇의 루트에서 직면하게 되는 다양한 주행 가능 영역에 대응해야 하고 위치 정보가 음영인 지역에 대해서 대응 해야한다.In order to control the precise movement of a four-wheeled mobile robot, it is important to robustly cope with many risks arising from the surrounding environment. In the case of autonomous driving of a car, the driving area is mainly on the road, so obstacles and driving areas are regular. On the other hand, outdoor delivery robots drive on sidewalks, crosswalks, and indoor spaces where there are more complex and diverse obstacles. Therefore, the robot's route based on a semantic map for driving must respond to various driving areas and respond to areas where location information is shaded.

배달 로봇의 실외 자율주행에서 이용하는 GNSS(Global Navigation Satellite System) 정보를 활용한 지도의 경우에는 지역 좌표에서는 루트에 따라 주행 가능 영역의 유형이 바뀌며 주행 가능 영역의 범위도 바뀌는 상황이 생긴다. 이러한 경우 위치 정보가 매우 정확하거나 혹은 위치 정보가 매우 정확하고 지도를 구축하는 사용자 에러가 없다면 어떤 경우에서든 대응 가능하다. 하지만, 높은 건물들이 밀집해서 위치하거나 인터넷이 잘 안되는 상황 등의 위치 정보의 음영인 경우에 대비하여 비전 센서 정보를 활용해서 중첩한 감지 결과를 활용하여 주행해야 한다. 또한, 카메라 기반의 자율주행 시스템에서 낮은 정확도의 비전 센서 정보에도 대응할 수 있어야 한다.In the case of maps utilizing GNSS (Global Navigation Satellite System) information used in outdoor autonomous driving of delivery robots, the type of drivable area changes depending on the route in the local coordinates, and the range of the drivable area also changes. In such cases, if the location information is very accurate, or if the location information is very accurate and there is no user error in constructing the map, it is possible to respond in any case. However, in case of shadows in the location information, such as when there are many tall buildings or the Internet is not working well, vision sensor information should be used to drive using the overlapping detection results. In addition, the camera-based autonomous driving system should be able to respond to low-accuracy vision sensor information.

모바일 로봇은 주행 중 센서의 인지 성능이 떨어질 수 있다. 주행용 지도에 있는 라벨(label) 이외의 특징이 학습되지 않은 특징인 경우 전체적인 비전 센서의 인지 성능이 저하될 수 있어 주행 경로 도출이 부정확할 수 있다.Mobile robots may experience reduced sensor recognition performance while driving. If features other than the labels on the driving map are unlearned features, the overall vision sensor recognition performance may deteriorate, resulting in inaccurate driving path derivation.

그리고 전역 경로가 지역 좌표에서 떨어져 있을 경우에는 모바일 로봇의 위치 선정에 오류가 발생할 수 있다. 전역 경로를 작성할 때, 사용자가 배달 로봇의 노드를 찍어주기 때문에, 사용자 에러(human error)가 일어날 수 있다. 또한, 위치 정보는 언제든 오류가 날 수 있어 갑자기 위치가 시프팅(Shifting)되는 경우가 일어날 수 있다. 또한, 모바일 로봇의 위치 정보가 나오지 않을 경우에는 현재 로봇의 위치를 알기 힘들다. 이와 같이, 모바일 로봇의 위치 정보 또는 비전 정보를 통한 인지 성능이 부족하여 주행 경로 도출이 부정확할 수 있다.And if the global path is far from the local coordinates, errors may occur in selecting the location of the mobile robot. When creating a global path, since the user marks the node of the delivery robot, human error may occur. In addition, the location information may have errors at any time, and the location may suddenly shift. In addition, if the location information of the mobile robot is not provided, it is difficult to know the current location of the robot. In this way, the driving path derivation may be inaccurate due to insufficient recognition performance through the location information or vision information of the mobile robot.

본 발명의 실시예들은 지역 의미론적 정보가 저장된 주행용 지도(Local semantic navigation map, LSN)를 이용하여 레퍼런스 지역 경로를 추출함으로써, 위치 정보와 비전 정보를 통한 인지의 부족한 성능을 보완하기 위한, 지역 의미론적 정보가 저장된 주행용 지도에서 레퍼런스 지역 경로 계획 방법 및 장치를 제공하고자 한다.Embodiments of the present invention aim to provide a reference local route planning method and device from a driving map storing local semantic information, by extracting a reference local route using a driving map storing local semantic information (LSN), thereby supplementing the insufficient performance of recognition using location information and vision information.

다만, 본 발명의 해결하고자 하는 과제는 이에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위의 환경에서도 다양하게 확장될 수 있을 것이다.However, the problem to be solved by the present invention is not limited thereto, and may be expanded in various ways in environments that do not deviate from the spirit and scope of the present invention.

본 발명의 일 실시예에 따르면, 레퍼런스 지역 경로 계획 장치에 의해 수행되는 레퍼런스 지역 경로 계획 방법에 있어서, 지역 의미론적 정보가 저장된 주행용 지도(LSN, Local semantic navigation map)에서 로봇의 위치 정보와 매칭된 주행 정보와 상기 로봇의 비전 정보로부터 인식된 주행 영역을 추출하는 단계; 상기 추출된 주행 영역 또는 상기 로봇의 위치 정보 기반의 전역 경로를 이용하여 적어도 하나의 후보 경로를 추출하는 단계; 상기 추출된 적어도 하나의 후보 경로의 신뢰도 비용을 계산하여 후보 경로의 신뢰도를 판별하는 단계; 및 상기 판별된 적어도 하나의 후보 경로 중에서 가장 높은 신뢰도를 갖는 후보 경로를 레퍼런스(Reference) 지역 경로로 도출하여 상기 로봇의 목표 구간으로 설정하는 단계를 포함하는, 지역 의미론적 정보가 저장된 주행용 지도에서 레퍼런스 지역 경로 계획 방법이 제공될 수 있다.According to one embodiment of the present invention, a reference local route planning method performed by a reference local route planning device may be provided, the method including: extracting a driving area recognized from driving information matched with position information of a robot and vision information of the robot from a driving map (LSN, Local semantic navigation map) in which local semantic information is stored; extracting at least one candidate route using the extracted driving area or a global route based on the position information of the robot; calculating a reliability cost of the at least one extracted candidate route to determine the reliability of the candidate route; and deriving a candidate route having the highest reliability among the at least one determined candidate route as a reference local route and setting it as a target section of the robot.

상기 방법은, 기구축되지 않은 라벨링된 지역 의미론적 정보를 이용하여 상기 주행용 지도를 업데이트하는 단계를 더 포함할 수 있다.The method may further include a step of updating the driving map using unstructured labeled local semantic information.

상기 후보 경로를 추출하는 단계는, 상기 로봇의 지역 좌표에 근접한 전역 경로의 경향성을 유지한 상태로 후보 경로를 추출할 수 있다.The step of extracting the above candidate path can extract the candidate path while maintaining the tendency of the global path close to the local coordinates of the robot.

상기 후보 경로를 추출하는 단계는, 상기 추출된 주행 영역에서 양쪽 가장자리와 중심부 각각에 대한 후보 경로를 추출할 수 있다.The step of extracting the above candidate path can extract candidate paths for each of the two edges and the center in the extracted driving area.

상기 후보 경로를 추출하는 단계는, 상기 추출된 후보 경로가 사용된 점의 개수가 기설정된 임계개수 미만이거나 상기 로봇과의 거리가 기설정된 임계거리 초과인 경우 상기 로봇에서 후보 경로를 추출할 수 있다.The step of extracting the above candidate path can extract the candidate path from the robot when the number of points where the extracted candidate path is used is less than a preset threshold number or the distance from the robot exceeds a preset threshold distance.

상기 후보 경로의 신뢰도를 판별하는 단계는, 상기 추출된 적어도 하나의 후보 경로에 대해 후보 경로의 추출에 사용된 점의 개수에 따라 신뢰도 비용을 가중할 수 있다.The step of determining the reliability of the above candidate path may include weighting the reliability cost of at least one extracted candidate path according to the number of points used to extract the candidate path.

상기 후보 경로의 신뢰도를 판별하는 단계는, 상기 추출된 적어도 하나의 후보 경로에 대해 상기 로봇과의 거리에 따라 신뢰도 비용을 가중할 수 있다.The step of determining the reliability of the above candidate path may include weighting the reliability cost according to the distance from the robot for at least one of the extracted candidate paths.

상기 방법은, 상기 판별된 적어도 하나의 후보 경로의 신뢰도가 기설정된 임계치 미만이면 상기 로봇의 위치 정보와 전역 경로를 이용하여 레퍼런스 지역 경로를 도출하는 단계를 더 포함할 수 있다.The method may further include a step of deriving a reference local path using the position information of the robot and the global path if the reliability of at least one of the determined candidate paths is less than a preset threshold.

한편, 본 발명의 다른 실시예에 따르면, 하나 이상의 프로그램을 저장하는 메모리; 및 상기 저장된 하나 이상의 프로그램을 실행하는 프로세서를 포함하고, 상기 프로세서는, 지역 의미론적 정보가 저장된 주행용 지도에서 로봇의 위치 정보와 매칭된 주행 정보와 상기 로봇의 비전 정보로부터 인식된 주행 영역을 추출하고, 상기 추출된 주행 영역 또는 상기 로봇의 위치 정보 기반의 전역 경로를 이용하여 적어도 하나의 후보 경로를 추출하고, 상기 추출된 적어도 하나의 후보 경로의 신뢰도 비용을 계산하여 후보 경로의 신뢰도를 판별하고, 상기 판별된 적어도 하나의 후보 경로 중에서 가장 높은 신뢰도를 갖는 후보 경로를 레퍼런스(Reference) 지역 경로로 도출하여 상기 로봇의 목표 구간으로 설정하는, 지역 의미론적 정보가 저장된 주행용 지도에서 레퍼런스 지역 경로 계획 장치가 제공될 수 있다.Meanwhile, according to another embodiment of the present invention, a memory storing one or more programs; and a processor executing the stored one or more programs, wherein the processor extracts a driving area recognized from driving information matched with position information of a robot and vision information of the robot from a driving map storing regional semantic information, extracts at least one candidate path using the extracted driving area or a global path based on the position information of the robot, calculates a reliability cost of the at least one extracted candidate path to determine the reliability of the candidate path, and derives a candidate path having the highest reliability among the at least one determined candidate path as a reference regional path and sets it as a target section of the robot.

상기 프로세서는, 기구축되지 않은 라벨링된 지역 의미론적 정보를 이용하여 상기 주행용 지도를 업데이트할 수 있다.The above processor can update the driving map using the unstructured labeled local semantic information.

상기 프로세서는, 상기 로봇의 지역 좌표에 근접한 전역 경로의 경향성을 유지한 상태로 후보 경로를 추출할 수 있다.The above processor can extract candidate paths while maintaining the tendency of a global path close to the local coordinates of the robot.

상기 프로세서는, 상기 추출된 주행 영역에서 양쪽 가장자리와 중심부 각각에 대한 후보 경로를 추출할 수 있다.The above processor can extract candidate paths for each of the two edges and the center in the extracted driving area.

상기 프로세서는, 상기 추출된 후보 경로가 사용된 점의 개수가 기설정된 임계개수 미만이거나 상기 로봇과의 거리가 기설정된 임계거리 초과인 경우 상기 로봇에서 후보 경로를 추출할 수 있다.The above processor can extract a candidate path from the robot when the number of points where the extracted candidate path is used is less than a preset threshold number or when the distance from the robot exceeds a preset threshold distance.

상기 프로세서는, 상기 추출된 적어도 하나의 후보 경로에 대해 후보 경로의 추출에 사용된 점의 개수에 따라 신뢰도 비용을 가중할 수 있다.The above processor may weight a reliability cost for at least one extracted candidate path based on the number of points used to extract the candidate path.

상기 프로세서는, 상기 추출된 적어도 하나의 후보 경로에 대해 상기 로봇과의 거리에 따라 신뢰도 비용을 가중할 수 있다.The above processor may weight a reliability cost for at least one of the extracted candidate paths according to a distance from the robot.

상기 프로세서는, 상기 판별된 적어도 하나의 후보 경로의 신뢰도가 기설정된 임계치 미만이면 상기 로봇의 위치 정보와 전역 경로를 이용하여 레퍼런스 지역 경로를 도출할 수 있다.The above processor can derive a reference local path using the position information of the robot and the global path if the reliability of at least one of the determined candidate paths is less than a preset threshold.

개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The disclosed technology may have the following effects. However, this does not mean that a specific embodiment must include all or only the following effects, and thus the scope of the disclosed technology should not be construed as being limited thereby.

본 발명의 실시예들은 지역 의미론적 정보가 저장된 주행용 지도(LSN map)를 이용하여 레퍼런스 지역 경로를 추출함으로써, 위치 정보와 비전 정보를 통한 인지의 부족한 성능을 보완할 수 있다.Embodiments of the present invention can complement the insufficient performance of recognition through location information and vision information by extracting a reference local route using a driving map (LSN map) in which local semantic information is stored.

본 발명의 실시예들은 모바일 로봇의 지역 센서를 통해 추출된 데이터를 이용하여 레퍼런스 지역 경로를 추출함으로써, 전역 센서인 GPS(Global Positioning System), IMU(Inertial Measurement Unit) 등을 통해 처리한 위치 정보만을 통해 레퍼런스 지역 경로를 추출하여 제어하는 방식보다 더 안전하고 지속적으로 모바일 로봇을 강건하고 지속적인 횡 방향 제어를 수행할 수 있다.Embodiments of the present invention extract a reference area path using data extracted through a local sensor of a mobile robot, thereby enabling a mobile robot to perform robust and continuous lateral control more safely and continuously than a method of extracting and controlling a reference area path only through location information processed through a global sensor such as a GPS (Global Positioning System) or an IMU (Inertial Measurement Unit).

위치 정보만을 활용한 주행에서는 높고 빽빽한 건물이 있거나 유리 벽으로 둘러싸인 도심지에서는 높은 정확도를 얻기 어렵다. 위치 오차가 수십 센티 혹은 수 미터 정도로 부정확해지면 안전하고 부드러운 움직임으로 제어하기 어렵다. 또한, 비전 센서 정보는 확률적인 결과이기 때문에 항상 높은 정확도의 인지 결과를 기대하기 어렵고 낮은 정확도의 인지 결과에서는 주행 가능 영역이 실제보다 더 넓어지거나 더 좁아진다. 이 또한 인지 결과를 신뢰하기 어려워 안전을 위해 주행하기 어렵기 때문에 레퍼런스 지역 경로는 중첩된 센서를 활용하여 도출해야 한다. 본 발명의 실시예들은 위와 같은 문제들을 해결하며 특정 도심지 또는 가끔 도출되는 낮은 정확도의 인지 결과에도 강인하고 부드럽게 주행을 제어할 수 있다. 이와 같이, 본 발명의 실시예들은 높은 정확도의 위치 정보 및 인지 결과에 의존하지 않는 범용적인 자율주행을 수행할 수 있다.In driving using only location information, it is difficult to obtain high accuracy in urban areas with tall and dense buildings or surrounded by glass walls. If the location error becomes inaccurate by tens of centimeters or several meters, it is difficult to control with safe and smooth movement. In addition, since vision sensor information is a probabilistic result, it is difficult to always expect a high-accuracy recognition result, and in case of a low-accuracy recognition result, the driving area becomes wider or narrower than the actual area. Since it is also difficult to trust the recognition result, it is difficult to drive safely, so the reference area path must be derived using overlapping sensors. Embodiments of the present invention solve the above problems and can control driving robustly and smoothly even in a specific urban area or in a low-accuracy recognition result that is occasionally derived. In this way, embodiments of the present invention can perform general-purpose autonomous driving that does not depend on high-accuracy location information and recognition results.

본 발명의 실시예들은 라이다(Lidar)에 비해 비교적 저렴한 비전 센서 정보를 통해 인지된 비전 정보와 저가형 GPS, IMU를 통한 위치 정보를 이용하여 레퍼런스 지역 경로를 도출함으로써, 모바일 로봇의 단가를 절감할 수 있다.Embodiments of the present invention can reduce the unit cost of a mobile robot by deriving a reference area path using vision information recognized through vision sensor information that is relatively inexpensive compared to Lidar and location information through low-cost GPS and IMU.

도 1은 본 발명의 일 실시예에 따른 지역 의미론적 정보가 저장된 주행용 지도에서 레퍼런스 지역 경로 계획 장치가 구현된 모바일 로봇에서의 레퍼런스 지역 경로 계획 동작을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 지역 의미론적 정보가 저장된 주행용 지도에서 레퍼런스 지역 경로 계획 방법에 대한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 지역 의미론적 정보가 저장된 주행용 지도에서 레퍼런스 지역 경로 도출 동작을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에서 모바일 로봇의 주행 중 특정 위치에서 유형이 매칭된 경우 인지 성능 평가 방법을 나타낸 도면이다.
도 5 내지 도 8은 본 발명의 일 실시예에 따른 지역 의미론적 정보가 저장된 주행용 지도에서 레퍼런스 지역 경로 계획 방법의 프로세스 예시를 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 지역 의미론적 정보가 저장된 주행용 지도에서 레퍼런스 지역 경로 계획 장치의 구성도이다.FIG. 1 is a diagram illustrating a reference area path planning operation in a mobile robot in which a reference area path planning device is implemented in a driving map in which local semantic information is stored according to one embodiment of the present invention.
FIG. 2 is a flowchart of a reference area route planning method in a driving map storing area semantic information according to one embodiment of the present invention.
FIG. 3 is a diagram for explaining a reference area route derivation operation from a driving map in which area semantic information is stored according to one embodiment of the present invention.
FIG. 4 is a diagram illustrating a method for evaluating cognitive performance when a type is matched at a specific location while a mobile robot is driving in one embodiment of the present invention.
FIGS. 5 to 8 are diagrams showing process examples of a reference area route planning method in a driving map storing area semantic information according to one embodiment of the present invention.
FIG. 9 is a block diagram of a reference local route planning device in a driving map storing local semantic information according to one embodiment of the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 기술적 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해될 수 있다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.The present invention can be modified in various ways and has various embodiments, and specific embodiments are illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and it can be understood that it includes all modifications, equivalents, or substitutes included in the technical spirit and technical scope of the present invention. In describing the present invention, if it is determined that a specific description of a related known technology may obscure the gist of the present invention, the detailed description thereof will be omitted.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들이 용어들에 의해 한정되는 것은 아니다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.The terms first, second, etc. may be used to describe various components, but the components are not limited by the terms. The terms are used only to distinguish one component from another.

본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 본 발명에서 사용한 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나 이는 당 분야에 종사하는 기술자의 의도, 판례, 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.The terms used in the present invention are only used to describe specific embodiments and are not intended to limit the present invention. The terms used in the present invention were selected from widely used general terms as much as possible while considering the functions of the present invention, but this may vary depending on the intention of a technician working in the relevant field, precedents, or the emergence of new technologies. In addition, in certain cases, there are terms arbitrarily selected by the applicant, and in this case, the meanings thereof will be described in detail in the description of the relevant invention. Therefore, the terms used in the present invention should be defined based on the meanings of the terms and the overall contents of the present invention, rather than simply the names of the terms.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present invention, it should be understood that terms such as "comprise" or "have" are intended to specify the presence of a feature, number, step, operation, component, part or combination thereof described in the specification, but do not preclude the possibility of the presence or addition of one or more other features, numbers, steps, operations, components, parts or combinations thereof.

이하, 본 발명의 실시예들을 첨부 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. When describing with reference to the accompanying drawings, identical or corresponding components are assigned the same drawing numbers and redundant descriptions thereof are omitted.

도 1은 본 발명의 일 실시예에 따른 지역 의미론적 정보가 저장된 주행용 지도에서 레퍼런스 지역 경로 계획 장치가 구현된 모바일 로봇에서의 레퍼런스 지역 경로 계획 동작을 나타낸 도면이다.FIG. 1 is a diagram illustrating a reference area path planning operation in a mobile robot in which a reference area path planning device is implemented in a driving map in which local semantic information is stored according to one embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 지역 의미론적 정보가 저장된 주행용 지도에서 레퍼런스 지역 경로 계획 장치(100)는 모바일 로봇(10)에 구현될 수 있다. 여기서, 모바일 로봇(10)은 현재 위치 좌표에서 목적지 좌표까지의 경로나 구간을 자율 또는 비자율 방식으로 주행 가능한 모든 형태의 로봇을 포함할 수 있으며, 특정 모바일 로봇으로 한정되지 않는다.As illustrated in FIG. 1, a reference local path planning device (100) in a driving map storing local semantic information according to one embodiment of the present invention may be implemented in a mobile robot (10). Here, the mobile robot (10) may include any type of robot capable of autonomously or non-autonomously driving a path or section from a current location coordinate to a destination coordinate, and is not limited to a specific mobile robot.

지역 의미론적 정보가 저장된 주행용 지도(Local semantic navigation map, LSN)가 사전에 구축될 수 있다. 지역 의미론적 정보가 저장된 주행용 지도에는 지역 의미론적 정보(예컨대, 점자블록, 맨홀 등)와 위치 정보 기반의 전역 경로가 저장된다. 여기서, LSN 지도는 주행을 위한 모바일 로봇(10)의 카메라에서 인지할 수 있는 의미론적인 정보를 담은 주행용 지도를 나타낸다. 예를 들면, 이러한 주행용 지도에는 차량의 차선의 경우처럼 주행할 때, 모바일 로봇(10)이 인지하여 주행하면 안전하고 신뢰하여 주행할 수 있는 지역 의미론적인 정보가 포함될 수 있다.A driving map (LSN) storing local semantic information can be constructed in advance. The driving map storing local semantic information stores local semantic information (e.g., tactile blocks, manholes, etc.) and a global route based on location information. Here, the LSN map represents a driving map containing semantic information that can be recognized by a camera of a mobile robot (10) for driving. For example, such a driving map may include local semantic information that enables safe and reliable driving when the mobile robot (10) recognizes and drives, such as in the case of a vehicle lane.

특정 위치에 있는 모바일 로봇의 주행을 위한 다양한 의미론적인 정보들은 주행 전에 LSN 지도에 구축될 수 있다. 특정 위치에 있는 다양한 의미론적인 정보들이 구축된 LSN 지도와 모바일 로봇이 주행할 때 인지할 수 있는 특정 위치의 의미론적인 정보가 매칭될 수 있다. 따라서, 레퍼런스 지역 경로 계획 장치(100)는 주행 유형이 하나라도 매칭이 되면 매칭이 된 인지 정보로 주행하며 위치 정보를 갱신할 수 있다.Various semantic information for driving of a mobile robot at a specific location can be built on an LSN map before driving. The LSN map on which various semantic information at a specific location is built can be matched with semantic information of a specific location that can be recognized when the mobile robot drives. Accordingly, the reference area path planning device (100) can drive with the matched recognition information and update the location information if even one driving type is matched.

레퍼런스 지역 경로 계획 장치(100)는 미리 구축된 LSN 지도에서 주행 정보들을 현재의 위치 정보와 매칭하고 저장된 LSN 지도의 다양한 유형의 주행 정보들을 추출한다. 여기서, 다양한 유형의 주행 정보는 로봇이 인도 및 골목길 등의 주행에서 차량의 차선과 같은 역할을 할 수 있는 다양한 의미론적인 정보의 유형을 포함할 수 있다. The reference area path planning device (100) matches driving information with current location information in a pre-built LSN map and extracts various types of driving information from the stored LSN map. Here, the various types of driving information may include various types of semantic information that can play a role like a vehicle lane when the robot drives on sidewalks and alleys.

그리고 레퍼런스 지역 경로 계획 장치(100)는 추출된 다양한 유형의 주행 정보와 비전 센서로부터 인지된 주행 영역과 유형을 매칭한다. And the reference area path planning device (100) matches the various types of driving information extracted with the driving area and type recognized from the vision sensor.

이어서, 레퍼런스 지역 경로 계획 장치(100)는 매칭된 주행 영역들의 후보 경로들과 모바일 로봇 위치에서의 후보 경로를 추출하여 추출된 후보 경로들에 대해서 경로들의 신뢰도를 판별한다. 또한, 레퍼런스 지역 경로 계획 장치(100)는 위치 정보의 정확도가 추종 가능한 지의 정도에 따라 위치 정보를 통한 레퍼런스 지역 경로의 신뢰도를 판별할 수 있다.Next, the reference area path planning device (100) extracts candidate paths of matched driving areas and candidate paths at the location of the mobile robot and determines the reliability of the paths for the extracted candidate paths. In addition, the reference area path planning device (100) can determine the reliability of the reference area path through the location information depending on the degree to which the accuracy of the location information can be tracked.

하지만, 레퍼런스 지역 경로 계획 장치(100)는 위 후보 경로들의 신뢰도가 추종할 만한 정도가 아니라면 모바일 로봇(10)의 위치 정보와 전역 경로를 활용해서 레퍼런스 지역 경로를 도출하여 모바일 로봇(10)의 주행 구간으로 추종할 수 있다.However, if the reliability of the above candidate paths is not sufficient to be followed, the reference area path planning device (100) can derive a reference area path by utilizing the location information and global path of the mobile robot (10) and follow it as the driving section of the mobile robot (10).

도 2는 본 발명의 일 실시예에 따른 지역 의미론적 정보가 저장된 주행용 지도에서 레퍼런스 지역 경로 계획 방법에 대한 흐름도이다.FIG. 2 is a flowchart of a reference area route planning method in a driving map storing area semantic information according to one embodiment of the present invention.

단계 S101에서, 본 발명의 일 실시예에 따른 레퍼런스 지역 경로 계획 장치(100)는 지역 의미론적 정보가 저장된 주행용 지도(LSN)를 사전에 구축한다.In step S101, a reference local route planning device (100) according to one embodiment of the present invention pre-builds a driving map (LSN) in which local semantic information is stored.

단계 S102에서, 본 발명의 일 실시예에 따른 레퍼런스 지역 경로 계획 장치(100)는 지역 의미론적 정보가 저장된 주행용 지도(LSN, Local semantic navigation map)에서 로봇의 위치 정보와 매칭된 주행 정보와 로봇의 비전 정보로부터 인식된 주행 영역을 추출한다.In step S102, a reference local path planning device (100) according to one embodiment of the present invention extracts a driving area recognized from the vision information of the robot and the driving information matched with the position information of the robot from a driving map (LSN, Local semantic navigation map) in which local semantic information is stored.

단계 S103에서, 본 발명의 일 실시예에 따른 레퍼런스 지역 경로 계획 장치(100)는 추출된 주행 영역 또는 로봇의 위치 정보 기반의 전역 경로를 이용하여 적어도 하나의 후보 경로를 추출한다. In step S103, a reference area path planning device (100) according to one embodiment of the present invention extracts at least one candidate path using a global path based on the extracted driving area or position information of the robot.

단계 S104에서, 본 발명의 일 실시예에 따른 레퍼런스 지역 경로 계획 장치(100)는 추출된 적어도 하나의 후보 경로의 신뢰도 비용을 계산하여 후보 경로의 신뢰도를 판별한다.In step S104, the reference area path planning device (100) according to one embodiment of the present invention calculates the reliability cost of at least one extracted candidate path to determine the reliability of the candidate path.

단계 S105에서, 본 발명의 일 실시예에 따른 레퍼런스 지역 경로 계획 장치(100)는 판별된 적어도 하나의 후보 경로 중에서 가장 높은 신뢰도를 갖는 후보 경로를 레퍼런스(Reference) 지역 경로로 도출하여 로봇의 목표 구간으로 설정한다.In step S105, the reference area path planning device (100) according to one embodiment of the present invention derives a candidate path with the highest reliability among at least one determined candidate path as a reference area path and sets it as the target section of the robot.

도 3은 본 발명의 일 실시예에 따른 지역 의미론적 정보가 저장된 주행용 지도에서 레퍼런스 지역 경로 도출 동작을 설명하기 위한 도면이다.FIG. 3 is a diagram for explaining a reference area route derivation operation from a driving map in which area semantic information is stored according to one embodiment of the present invention.

도 3에 도시된 모바일 로봇(10)이 주행하는 주행 도로에서, 초록 선(301)은 인도에 대한 가장자리를 나타내고, 파랑 선(302)은 점자 블록에 대한 가장자리를 나타내고, 빨강 선(303)은 위치 정보로 인지한 전역 경로를 나타낸다.In the driving road on which the mobile robot (10) shown in Fig. 3 is driving, the green line (301) represents the edge of the sidewalk, the blue line (302) represents the edge of the Braille block, and the red line (303) represents the global path recognized by the location information.

본 발명의 일 실시예에 따른 지역 의미론적 정보가 저장된 주행용 지도에서 레퍼런스 지역 경로 도출 동작에 대해서 살펴보면, Let us look at the operation of deriving a reference area route from a driving map in which local semantic information is stored according to one embodiment of the present invention.

레퍼런스 지역 경로 계획 장치(100)는 후 처리된 위치 정보의 정확도 및 정밀도를 측정한 후, 위치 정보 신뢰하여 주행할 수 있을 정도의 위치 오차인지 판별한다. 이후, 레퍼런스 지역 경로 계획 장치(100)는 위치 정보로 인지한 전역 경로를 활용한 후보 경로에 점수를 부여할 수 있다. The reference area path planning device (100) measures the accuracy and precision of the post-processed location information and then determines whether the location error is sufficient to drive with confidence in the location information. Thereafter, the reference area path planning device (100) can assign a score to a candidate path utilizing the global path recognized by the location information.

그리고 레퍼런스 지역 경로 계획 장치(100)는 위치 정보와 사전에 작성된 LSN 지도에서 현 위치에서 이용할 수 있는 지역 의미론적 정보의 유형들을 저장한다.And the reference local path planning device (100) stores the types of local semantic information available at the current location in the location information and the pre-created LSN map.

레퍼런스 지역 경로 계획 장치(100)는 비전 센서로 인지된 주행 영역과 저장된 지역 의미론적 정보의 유형들을 매칭한다.The reference area path planning device (100) matches the types of driving areas recognized by the vision sensor and stored area semantic information.

이어서, 레퍼런스 지역 경로 계획 장치(100)는 매칭된 주행 영역들에 대해서 최대한 많은 픽셀을 확보한 가장자리를 다항식의 무작위 추출로 도출할 수 있다. 여기서, 무작위 추출은 모바일 로봇(10)의 지역 정보와 전역 경로의 다항식의 계수 의미를 활용해서 동작하며, 레퍼런스 지역 경로 계획 장치(100)는 추출된 가장자리의 후보 경로들에 점수를 부여할 수 있다.Next, the reference local path planning device (100) can derive edges that secure as many pixels as possible for the matched driving areas by randomly extracting a polynomial. Here, the random extraction operates by utilizing the local information of the mobile robot (10) and the coefficient meaning of the polynomial of the global path, and the reference local path planning device (100) can assign scores to the candidate paths of the extracted edges.

레퍼런스 지역 경로 계획 장치(100)는 모바일 로봇(10)의 지역 정보를 통해 점수를 재구성하고, 이를 활용하여 신뢰도를 구분하여 가장 높은 신뢰도의 다항식을 도출한다. 여기서, 점수 재구성을 활용하여 신뢰도를 구분하여 가장 높은 신뢰도의 다항식을 도출하는 것은 레퍼런스 지역 경로 계획 장치(100)가 모바일 로봇(10)과의 유클리디안 거리를 각 후보경로들에 대해 비교를 하여 신뢰도 비용을 가중하며 가장 큰 가중치의 후보 경로를 선택한다는 것이다. The reference local path planning device (100) reconstructs scores using local information of the mobile robot (10), and derives a polynomial with the highest reliability by using this to distinguish reliability. Here, the reference local path planning device (100) compares the Euclidean distances with respect to each candidate path, weights the reliability cost, and selects the candidate path with the largest weight.

한편, 신뢰할 만한 다항식이 없을 경우, 레퍼런스 지역 경로 계획 장치(100)는 로봇의 지역 정보와 전역 정보를 통해 다항식을 재구성할 수 있다. 추출된 후보 경로가 사용된 점의 수가 부족하거나 로봇과의 거리가 많이 떨어져 사용이 힘든 후보 경로일 경우, 레퍼런스 지역 경로 계획 장치(100)는 모바일 로봇(10)에서 추출된 후보 경로를 레퍼런스 지역 경로로 사용할 수 있다.Meanwhile, if there is no reliable polynomial, the reference local path planning device (100) can reconstruct the polynomial using the local information and global information of the robot. If the extracted candidate path is difficult to use due to an insufficient number of used points or a large distance from the robot, the reference local path planning device (100) can use the candidate path extracted from the mobile robot (10) as the reference local path.

레퍼런스 지역 경로 계획 장치(100)는 다항식의 계수들과 주변 물체와의 일정 시간 간격으로 도출된 간격 정책을 고려해서 후보 경로의 점수를 계산할 수 있다. 레퍼런스 지역 경로 계획 장치(100)는 일정 시간의 주변 물체와의 간격 정책을 고려해서 후보 경로의 점수를 계산할 수 있다. 여기서, 요구 간격은 모바일 로봇에서의 주변 물체방향으로의 로봇의 길이와 요구 시간 및 주변 물체방향으로의 속도의 곱을 더한 값이다. 해당 간격 정책은 모바일 로봇에서 주변 물체방향으로 해당 물체와의 간격과 요구 간격을 더한 값을 나타낼 수 있다. The reference area path planning device (100) can calculate the score of the candidate path by considering the coefficients of the polynomial and the interval policy derived at a certain time interval with the surrounding objects. The reference area path planning device (100) can calculate the score of the candidate path by considering the interval policy with the surrounding objects for a certain time. Here, the required interval is a value obtained by adding the product of the length of the robot in the direction of the surrounding object from the mobile robot and the required time and the speed in the direction of the surrounding object. The corresponding interval policy can represent a value obtained by adding the required interval to the interval with the corresponding object in the direction of the surrounding object from the mobile robot.

레퍼런스 지역 경로 계획 장치(100)는 이러한 과정을 통해 도출된 다항식인 레퍼런스 지역 경로로 모바일 로봇(10)의 주행을 유도한다.The reference area path planning device (100) guides the driving of the mobile robot (10) along the reference area path, which is a polynomial derived through this process.

도 4는 본 발명의 일 실시예에서 모바일 로봇의 주행 중 특정 위치에서 유형이 매칭된 경우 인지 성능 평가 방법을 나타낸 도면이다.FIG. 4 is a diagram illustrating a method for evaluating cognitive performance when a type is matched at a specific location while a mobile robot is driving in one embodiment of the present invention.

우선, 모바일 로봇(10)의 주행 중 특정 위치에서 A 클래스와 B 클래스의 유형이 매칭이 되었다고 가정하기로 한다. 이때, 레퍼런스 지역 경로 계획 장치(100)는 A 클래스와 B 클래스의 인지 성능에 대한 신뢰도를 평가할 수 있다. 해당 평가는 도 4와 같이 진행될 수 있다. First, let's assume that the types of class A and class B are matched at a specific location during the driving of the mobile robot (10). At this time, the reference area path planning device (100) can evaluate the reliability of the recognition performance of class A and class B. The evaluation can be performed as shown in Fig. 4.

단계 S201에서, 레퍼런스 지역 경로 계획 장치(100)는 먼저, 모바일 로봇(10)의 지역 좌표와 가장 가까운 전역 경로의 점에서 모바일 로봇(10)이 인지하는 전/후방 거리만큼 경로를 추출한다.In step S201, the reference local path planning device (100) first extracts a path equal to the forward/backward distance recognized by the mobile robot (10) from the point of the global path closest to the local coordinates of the mobile robot (10).

단계 S202에서, 레퍼런스 지역 경로 계획 장치(100)는 지역 좌표 근접한 전역 경로의 경향성을 유지한 상태로 A 클래스와 B 클래스에서의 점을 무작위 추출한다. 이때, 레퍼런스 지역 경로 계획 장치(100)는 더 많이 추출된 유형에 신뢰도 비용을 가중할 수 있다. 레퍼런스 지역 경로 계획 장치(100)는 후보 경로를 추출하지 않고 주행 영역에 대한 신뢰도만을 평가할 수 있다.In step S202, the reference local path planning device (100) randomly extracts points from classes A and B while maintaining the tendency of the global path close to the local coordinates. At this time, the reference local path planning device (100) can weight the reliability cost to a more frequently extracted type. The reference local path planning device (100) can only evaluate the reliability of the driving area without extracting candidate paths.

단계 S203에서, 레퍼런스 지역 경로 계획 장치(100)는 무작위 추출 방법을 통해 A 클래스와 B 클래스에서의 후보 경로들을 추출하여 경로 추출에 사용된 점의 양으로 신뢰도 비용을 가중한다. 레퍼런스 지역 경로 계획 장치(100)는 위치 정보, 지역 의미론적 정보 및 비전 정보를 통해 후보 경로를 추출할 수 있다. 여기서, 후보 경로는 A와 B에서 특정 개수만큼을 추출하는 것으로 한정되지 않는다. 레퍼런스 지역 경로 계획 장치(100)는 신뢰할 수 있는 후보 경로를 적어도 하나 이상 추출할 수 있다.In step S203, the reference local path planning device (100) extracts candidate paths from classes A and B through a random extraction method and weights the reliability cost by the amount of points used for path extraction. The reference local path planning device (100) can extract candidate paths through location information, local semantic information, and vision information. Here, the candidate paths are not limited to extracting a specific number from A and B. The reference local path planning device (100) can extract at least one reliable candidate path.

단계 S204에서, 레퍼런스 지역 경로 계획 장치(100)는 모바일 로봇(10)과의 유클리디안 거리를 비교하여 더 가까운 경로에 신뢰도 비용을 가중한다. In step S204, the reference local path planning device (100) compares the Euclidean distance with the mobile robot (10) and weights the reliability cost to a closer path.

단계 S205에서, 레퍼런스 지역 경로 계획 장치(100)는 전역 경로와 로봇과의 유클리디안 거리 차이와 주행 가능 영역과의 유클리디안 거리 차이를 통해 신뢰도 비용을 가중한다. 또한, 레퍼런스 지역 경로 계획 장치(100)는 전역 경로 곡선 정보를 주행 가능 영역에서 무작위 추출하여 점을 개수를 저장하여 신뢰도 비용을 가중할 수 있다. 레퍼런스 지역 경로 계획 장치(100)는 단계 S203에서 전역 경로를 통해 후보 경로 1개를 추출할 수 있다. In step S205, the reference local path planning device (100) weights the reliability cost by the difference between the global path and the Euclidean distance between the robot and the Euclidean distance between the robot and the drivable area. In addition, the reference local path planning device (100) can randomly extract global path curve information from the drivable area and store the number of points to weight the reliability cost. The reference local path planning device (100) can extract one candidate path through the global path in step S203.

단계 S206에서, 레퍼런스 지역 경로 계획 장치(100)는 A 클래스, B 클래스에 대한 주행 영역의 양쪽 가장자리를 후보 경로로 추출하고 중심 부분과 함께 3 개의 후보 경로에 대해 적합한 점을 무작위 추출한다. 이후, 레퍼런스 지역 경로 계획 장치(100)는 점의 개수로 신뢰도 비용을 가중할 수 있다. 레퍼런스 지역 경로 계획 장치(100)는 단계 S204에서 A, B 전체에서 신뢰할 수 있는 영역의 지역 좌표 기반으로 양쪽 가장자리와 중심으로 후보 경로 3개를 추출할 수 있다. 여기서, 레퍼런스 지역 경로 계획 장치(100)는 최대한 많은 픽셀을 확보한 가장자리를 다항식의 무작위 추출로 도출할 수 있다. 이는 가장자리의 후보 경로들을 추출할 때 사용한 점의 수를 비교하여 신뢰도 비용으로 가중하여 가중치가 가장 큰 후보 경로를 추출하는 것이다. In step S206, the reference local path planning device (100) extracts both edges of the driving area for class A and class B as candidate paths and randomly extracts suitable points for three candidate paths together with the center. Thereafter, the reference local path planning device (100) can weight the reliability cost by the number of points. In step S204, the reference local path planning device (100) can extract three candidate paths by both edges and the center based on the local coordinates of the reliable area in the entirety of A and B. Here, the reference local path planning device (100) can derive the edge that secures the maximum number of pixels by randomly extracting a polynomial. This is to compare the number of points used when extracting the candidate paths of the edges, weight them by the reliability cost, and extract the candidate path with the largest weight.

단계 S207에서, 레퍼런스 지역 경로 계획 장치(100)는 모바일 로봇(10)에서 후보 경로를 추출하여 후보 경로에 대해 적합한 점을 무작위 추출한다. 레퍼런스 지역 경로 계획 장치(100)는 추출된 점의 개수로 신뢰도 비용을 가중할 수 있다. 레퍼런스 지역 경로 계획 장치(100)는 모바일 로봇(10)에서 후보 경로가 1개를 추출할 수 있다. In step S207, the reference area path planning device (100) extracts a candidate path from the mobile robot (10) and randomly extracts suitable points for the candidate path. The reference area path planning device (100) can weight the reliability cost by the number of extracted points. The reference area path planning device (100) can extract one candidate path from the mobile robot (10).

이와 같이, 레퍼런스 지역 경로 계획 장치(100)는 단계 S201 내지 S205를 통해 신뢰도를 판별할 수 있다. 여기서, 레퍼런스 지역 경로 계획 장치(100)는 모든 후보 경로를 지역 좌표 근접한 전역 경로의 경향성을 유지한 상태로 추출할 수 있다. 레퍼런스 지역 경로 계획 장치(100)는 전역 경로의 경향성을 유지한 상태로 무작위 추출을 수행할 수 있다.In this way, the reference local path planning device (100) can determine reliability through steps S201 to S205. Here, the reference local path planning device (100) can extract all candidate paths while maintaining the tendency of the global path near the local coordinates. The reference local path planning device (100) can perform random extraction while maintaining the tendency of the global path.

도 5 내지 도 8은 본 발명의 일 실시예에 따른 지역 의미론적 정보가 저장된 주행용 지도에서 레퍼런스 지역 경로 계획 방법의 프로세스 예시를 나타낸 도면이다.FIGS. 5 to 8 are diagrams showing process examples of a reference area route planning method in a driving map storing area semantic information according to one embodiment of the present invention.

도 5에 도시된 바와 같이, 레퍼런스 지역 경로 계획 장치(100)는 자율주행을 위한 국소 주행용 지도를 사전에 구축한다. 모바일 로봇(10)이 A 구간에서 C 구간으로 주행한다고 가정할 때를 레퍼런스 지역 경로 계획 방법의 예시를 설명하기로 한다. As shown in Fig. 5, the reference area path planning device (100) builds a local driving map for autonomous driving in advance. An example of a reference area path planning method will be described assuming that a mobile robot (10) drives from section A to section C.

일례로, 도 5에는 주행용 지도에는 A 노드(510), B 노드(520) 및 C 노드(530)가 포함되어 있다. 주행용 지도에는 점자블록(501), 보도블록(502) 및 빨간 점선인 전역 경로(503)가 포함되어 있다. For example, in Fig. 5, the driving map includes A node (510), B node (520), and C node (530). The driving map includes a tactile block (501), a sidewalk block (502), and a global route (503) which is a red dotted line.

A 노드 정보에는 위치 정보와 학습된 의미론적 주행 영역이 포함되어 있다. A 노드의 위치 정보에는 위도 값 37.548030와, 경도 값 127.044344 이 포함되어 있다. A 노드의 학습된 의미론적 주행 영역에는 점자블록(end node)과 보도블록(end node)이 포함되어 있다. Node A information includes location information and learned semantic driving area. Node A's location information includes latitude value 37.548030 and longitude value 127.044344. Node A's learned semantic driving area includes Braille blocks (end nodes) and sidewalk blocks (end nodes).

B 노드 정보에는 위치 정보와 학습된 의미론적 주행 영역이 포함되어 있다. B 노드의 위치 정보에는 위도 값 37.545263와, 경도 값 127.044612 이 포함되어 있다. B 노드의 학습된 의미론적 주행 영역에는 점자블록(end node), 가로수, 보도블록(way)이 포함되어 있다. The B node information includes location information and learned semantic driving area. The location information of the B node includes latitude value 37.545263 and longitude value 127.044612. The learned semantic driving area of the B node includes tactile blocks (end node), street trees, and sidewalk blocks (way).

C 노드 정보에는 위치 정보와 학습된 의미론적 주행 영역이 포함되어 있다. C 노드의 위치 정보에는 위도 값 37.545245와, 경도 값 127.044710 이 포함되어 있다. C 노드의 학습된 의미론적 주행 영역에는 점자블록(way), 신호등, 보도블록(end node)이 포함되어 있다. The C node information includes location information and learned semantic driving area. The location information of the C node includes latitude value 37.545245 and longitude value 127.044710. The learned semantic driving area of the C node includes tactile blocks (way), traffic lights, and sidewalk blocks (end nodes).

여기서, 끝 노드(End node)는 연속된 의미론적 정보의 끝 부분을 나타내고, 길(Way)은 연속된 의미론적 정보의 끝 부분 외의 부분을 나타내고, 빨간 점선은 전역 경로를 나타낸다.Here, the end node represents the end of the continuous semantic information, the way represents a part other than the end of the continuous semantic information, and the red dotted line represents the global path.

도 6에 도시된 바와 같이, 레퍼런스 지역 경로 계획 장치(100)는 모바일 로봇(10)의 위치 정보와 매칭하고, 사전에 구축되어 저장된 주행용 지도에서 적어도 하나의 유형의 주행 정보들을 추출한다. As illustrated in FIG. 6, the reference area path planning device (100) matches the location information of the mobile robot (10) and extracts at least one type of driving information from a driving map constructed and stored in advance.

도 6을 참조하여, 모바일 로봇(10)이 A 구간에서 C 구간으로 주행한다고 가정할 때를 위치 정보의 매칭 동작과 주행 정보들을 추출하는 동작의 예시를 설명하기로 한다. Referring to Fig. 6, an example of a matching operation of position information and an operation of extracting driving information will be described assuming that a mobile robot (10) is driving from section A to section C.

도 6에는 모바일 로봇(10)이 주행하는 주행용 지도에는 A 노드(510), B 노드(520) 및 C 노드(530)가 포함되어 있다. 주행용 지도에는 점자블록(501), 보도블록(502), 빨간 점선인 전역 경로(503) 및 주황색 차선(504)가 포함되어 있다. In Fig. 6, the driving map along which the mobile robot (10) drives includes A node (510), B node (520), and C node (530). The driving map includes a tactile block (501), a sidewalk block (502), a global route (503) which is a red dotted line, and an orange lane (504).

도 6에서 모바일 로봇(10)의 측정 지역 좌표는 위도 값 37.548030, 경도 값 127.044343일 수 있다. In Fig. 6, the measurement area coordinates of the mobile robot (10) may be latitude value 37.548030 and longitude value 127.044343.

이때, 레퍼런스 지역 경로 계획 장치(100)는 모바일 로봇(10)의 위치 정보 매칭을 수행한다. 레퍼런스 지역 경로 계획 장치(100)는 모바일 로봇(10)의 지역 좌표와 A 노드, B 노드, C 노드의 위치 정보와의 유클리디안 거리 계산을 통해 가장 가까운 노드로 매칭한다. 도 6에서는 레퍼런스 지역 경로 계획 장치(100)는 모바일 로봇(10)의 지역 좌표와 가장 가까운 A 노드로 위치 정보를 매칭할 수 있다.At this time, the reference local path planning device (100) performs location information matching of the mobile robot (10). The reference local path planning device (100) matches the local coordinates of the mobile robot (10) with the location information of the A node, the B node, and the C node to the closest node by calculating the Euclidean distance. In Fig. 6, the reference local path planning device (100) can match the location information to the A node, which is the closest to the local coordinates of the mobile robot (10).

그리고 레퍼런스 지역 경로 계획 장치(100)는 주행용 지도에서 학습된 의미론적 주행 영역을 매칭한다. 일례로, 레퍼런스 지역 경로 계획 장치(100)는 모바일 로봇(10)과 가장 가까운 A 노드에서 학습된 의미론적 주행 영역인 점자블록(end node)과 보도블록(end node)을 매칭할 수 있다. And the reference area path planning device (100) matches the semantic driving area learned from the driving map. For example, the reference area path planning device (100) can match the semantic driving area learned from the A node closest to the mobile robot (10), which is the end node and the sidewalk block (end node).

이때, 레퍼런스 지역 경로 계획 장치(100)는 주행용 지도에 기구축되지 않은 라벨링된 의미론적 주행 영역(예컨대, 주황색 차선)을 매칭할 수 있다. 이어서, 레퍼런스 지역 경로 계획 장치(100)는 구축 요청 알람을 통해 지역 의미론적 정보가 저장된 주행용 지도를 구축할 수 있다. At this time, the reference local route planning device (100) can match a labeled semantic driving area (e.g., an orange lane) that has not been built on the driving map. Then, the reference local route planning device (100) can build a driving map in which local semantic information is stored through a construction request alarm.

도 7에 도시된 바와 같이, 레퍼런스 지역 경로 계획 장치(100)는 의미론적 주행 영역에서 추출된 후보 경로들의 신뢰도를 판별한다.As illustrated in FIG. 7, the reference area path planning device (100) determines the reliability of candidate paths extracted from the semantic driving area.

도 7을 참조하여, 모바일 로봇(10)이 A 구간에서 C 구간으로 주행한다고 가정할 때를 의미론적 주행 영역에서 추출된 후보 경로들의 신뢰도를 판별하는 동작의 예시를 설명하기로 한다. Referring to Fig. 7, an example of an operation for determining the reliability of candidate paths extracted from a semantic driving area when a mobile robot (10) is assumed to drive from section A to section C will be described.

도 7에는 모바일 로봇(10)이 주행하는 주행용 지도에는 A 노드(510), B 노드(520) 및 C 노드(530)가 포함되어 있다. 주행용 지도에는 점자블록(501), 보도블록(502), 빨간 점선인 전역 경로(503) 및 주황색 차선(504)가 포함되어 있다. In Fig. 7, the driving map on which the mobile robot (10) is driving includes A node (510), B node (520), and C node (530). The driving map includes a tactile block (501), a sidewalk block (502), a global route (503) which is a red dotted line, and an orange lane (504).

도 7에서 모바일 로봇(10)의 측정 지역 좌표는 위도 값 37.548030, 경도 값 127.044343일 수 있다. In Fig. 7, the measurement area coordinates of the mobile robot (10) may be latitude value 37.548030 and longitude value 127.044343.

이때, 레퍼런스 지역 경로 계획 장치(100)는 각종 학습된 의미론적 주행 영역의 가장자리와 중심부에 대한 후보 경로(예컨대, 3차 다항식 등)를 도출할 수 있다. 여기서, 경로는 3차 다항식으로 도출될 수 있다.At this time, the reference area path planning device (100) can derive candidate paths (e.g., third-order polynomials, etc.) for the edges and centers of various learned semantic driving areas. Here, the paths can be derived as third-order polynomials.

일례로, 레퍼런스 지역 경로 계획 장치(100)는 도 7의 주행 상황에서는 점자블록과 보도블록의 가장자리와 중심부의 3차 다항식을 후보 경로로 도출할 수 있다. For example, the reference area path planning device (100) can derive a third-order polynomial of the edges and center of the tactile blocks and sidewalk blocks as a candidate path in the driving situation of Fig. 7.

그리고 레퍼런스 지역 경로 계획 장치(100)는 각종 학습된 의미론적 주행 영역의 가장자리와 중심부의 3차 다항식을 도출하고, 모바일 로봇(10)의 지역 좌표 기준의 3차 다항식과 전역 경로 기반의 3차 다항식을 도출할 수 있다. And the reference local path planning device (100) can derive a third-order polynomial of the edges and center of various learned semantic driving areas, and derive a third-order polynomial based on the local coordinates of the mobile robot (10) and a third-order polynomial based on the global path.

이어서, 레퍼런스 지역 경로 계획 장치(100)는 각각 도출된 3차 다항식에 대한 비용 함수를 계산하여 가장 높은 신뢰도를 가지는 3차 다항식을 도출할 수 있다.Next, the reference area path planning device (100) can calculate a cost function for each derived third-order polynomial to derive the third-order polynomial with the highest reliability.

도 8에 도시된 바와 같이, 레퍼런스 지역 경로 계획 장치(100)는 가장 높은 신뢰도의 경로를 매번 계산하여 모바일 로봇(10)의 목표구간을 설정할 수 있다. 이를 통해, 모바일 로봇(10)은 설정된 목표구간에 따라 주행할 수 있다. As illustrated in Fig. 8, the reference area path planning device (100) can set the target section of the mobile robot (10) by calculating the path with the highest reliability each time. Through this, the mobile robot (10) can drive according to the set target section.

도 8을 참조하여, 모바일 로봇(10)이 A 구간에서 C 구간으로 주행한다고 가정할 때를 가장 높은 신뢰도의 경로를 매번 계산하여 모바일 로봇(10)의 목표구간을 설정하는 동작의 예시를 설명하기로 한다. Referring to Fig. 8, an example of an operation of setting a target section of a mobile robot (10) by calculating the path with the highest reliability each time when the mobile robot (10) is assumed to drive from section A to section C will be described.

도 8에는 모바일 로봇(10)이 주행하는 주행용 지도에는 A 노드(510), B 노드(520) 및 C 노드(530)가 포함되어 있다. 주행용 지도에는 점자블록(501), 보도블록(502), 빨간 점선인 전역 경로(503) 및 주황색 차선(504)가 포함되어 있다. In Fig. 8, the driving map on which the mobile robot (10) is driving includes A node (510), B node (520), and C node (530). The driving map includes a tactile block (501), a sidewalk block (502), a global route (503) which is a red dotted line, and an orange lane (504).

도 8에서 모바일 로봇(10)의 측정 지역 좌표는 위도 값 37.548030, 경도 값 127.044343일 수 있다. In Fig. 8, the measurement area coordinates of the mobile robot (10) may be latitude value 37.548030 and longitude value 127.044343.

이때, 레퍼런스 지역 경로 계획 장치(100)는 각종 학습된 의미론적 주행 영역의 가장자리와 중심부의 3차 다항식을 도출한다. 일례로, 레퍼런스 지역 경로 계획 장치(100)는 도 8에 도시된 주행 상황에서는 가로수, 점자블록 그리고 보도블록의 가장자리와 중심부의 3차 다항식을 도출할 수 있다.At this time, the reference area path planning device (100) derives a third-order polynomial of the edges and centers of various learned semantic driving areas. For example, the reference area path planning device (100) can derive a third-order polynomial of the edges and centers of street trees, tactile blocks, and sidewalk blocks in the driving situation illustrated in Fig. 8.

이후, 레퍼런스 지역 경로 계획 장치(100)는 이러한 과정을 매번 반복하여 A 구간에서 B 구간을 거쳐 C 구간으로 모바일 로봇(10)의 목표구간을 설정할 수 있다. 이를 통해, 모바일 로봇(10)은 A 구간에서 C 구간으로 주행할 수 있다. Thereafter, the reference area path planning device (100) can set the target section of the mobile robot (10) from section A to section B to section C by repeating this process each time. Through this, the mobile robot (10) can drive from section A to section C.

도 9는 본 발명의 일 실시예에 따른 지역 의미론적 정보가 저장된 주행용 지도에서 레퍼런스 지역 경로 계획 장치의 구성도이다.FIG. 9 is a block diagram of a reference local route planning device in a driving map storing local semantic information according to one embodiment of the present invention.

도 9에 도시된 바와 같이, 본 발명의 일 실시예에 따른 지역 의미론적 정보가 저장된 주행용 지도에서 레퍼런스 지역 경로 계획 장치(100)는 메모리(110) 및 프로세서(120)를 포함한다. 여기서, 레퍼런스 지역 경로 계획 장치(100)는 위치 센서 및 비전 센서로부터 위치 정보 및 비전 정보를 획득할 수 있다. 또는 레퍼런스 지역 경로 계획 장치(100)는 위치 정보 및 비전 정보를 센싱하는 위치 센서 또는 비전 센서를 더 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수 구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 레퍼런스 지역 경로 계획 장치(100)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 레퍼런스 지역 경로 계획 장치(100)가 구현될 수 있다.As illustrated in FIG. 9, a reference local path planning device (100) in a driving map storing local semantic information according to an embodiment of the present invention includes a memory (110) and a processor (120). Here, the reference local path planning device (100) can obtain location information and vision information from a location sensor and a vision sensor. Alternatively, the reference local path planning device (100) may further include a location sensor or a vision sensor that senses location information and vision information. However, not all of the illustrated components are essential components. The reference local path planning device (100) may be implemented by more components than the illustrated components, or may be implemented by fewer components.

이하, 도 9의 레퍼런스 지역 경로 계획 장치(100)의 각 구성요소들의 구체적인 구성 및 동작을 설명한다.Below, the specific configuration and operation of each component of the reference area path planning device (100) of Fig. 9 are described.

메모리(110)는 지역 의미론적 정보가 저장된 주행용 지도에서 레퍼런스 지역 경로 계획 동작과 관련된 하나 이상의 프로그램을 저장한다.The memory (110) stores one or more programs related to reference area route planning operations on a driving map in which local semantic information is stored.

프로세서(120)는 메모리(110)에 저장된 하나 이상의 프로그램을 실행한다. 프로세서(120)는 지역 의미론적 정보가 저장된 주행용 지도에서 로봇의 위치 정보와 매칭된 주행 정보와 로봇의 비전 정보로부터 인식된 주행 영역을 추출하고, 추출된 주행 영역 또는 로봇의 위치 정보 기반의 전역 경로를 이용하여 적어도 하나의 후보 경로를 추출하고, 추출된 적어도 하나의 후보 경로의 신뢰도 비용을 계산하여 후보 경로의 신뢰도를 판별하고, 판별된 적어도 하나의 후보 경로 중에서 가장 높은 신뢰도를 갖는 후보 경로를 레퍼런스(Reference) 지역 경로로 도출하여 로봇의 목표 구간으로 설정한다.The processor (120) executes one or more programs stored in the memory (110). The processor (120) extracts a driving area recognized from driving information matched with the position information of the robot and the vision information of the robot from a driving map in which local semantic information is stored, extracts at least one candidate path using the extracted driving area or a global path based on the position information of the robot, calculates a reliability cost of the at least one extracted candidate path to determine the reliability of the candidate path, and derives a candidate path with the highest reliability among the at least one determined candidate path as a reference local path and sets it as the target section of the robot.

실시예들에 따르면, 프로세서(120)는 기구축되지 않은 라벨링된 지역 의미론적 정보를 이용하여 주행용 지도를 업데이트할 수 있다.According to embodiments, the processor (120) can update the driving map using unstructured labeled local semantic information.

실시예들에 따르면, 프로세서(120)는 로봇의 지역 좌표에 근접한 전역 경로의 경향성을 유지한 상태로 후보 경로를 추출할 수 있다.According to embodiments, the processor (120) can extract candidate paths while maintaining the tendency of a global path close to the local coordinates of the robot.

실시예들에 따르면, 프로세서(120)는 추출된 주행 영역에서 양쪽 가장자리와 중심부 각각에 대한 후보 경로를 추출할 수 있다.According to embodiments, the processor (120) can extract candidate paths for each of the two edges and the center in the extracted driving area.

실시예들에 따르면, 프로세서(120)는 추출된 후보 경로가 사용된 점의 개수가 기설정된 임계개수 미만이거나 로봇과의 거리가 기설정된 임계거리 초과인 경우 로봇에서 후보 경로를 추출할 수 있다.According to embodiments, the processor (120) may extract a candidate path from the robot when the number of points at which the extracted candidate path is used is less than a preset threshold number or when the distance from the robot exceeds a preset threshold distance.

실시예들에 따르면, 프로세서(120)는 추출된 적어도 하나의 후보 경로에 대해 후보 경로의 추출에 사용된 점의 개수에 따라 신뢰도 비용을 가중할 수 있다.According to embodiments, the processor (120) may weight a reliability cost for at least one extracted candidate path based on the number of points used to extract the candidate path.

실시예들에 따르면, 프로세서(120)는 추출된 적어도 하나의 후보 경로에 대해 로봇과의 거리에 따라 신뢰도 비용을 가중할 수 있다.According to embodiments, the processor (120) may weight the reliability cost for at least one extracted candidate path based on the distance from the robot.

실시예들에 따르면, 프로세서(120)는 판별된 적어도 하나의 후보 경로의 신뢰도가 기설정된 임계치 미만이면 로봇의 위치 정보와 전역 경로를 이용하여 레퍼런스 지역 경로를 도출할 수 있다.According to embodiments, the processor (120) can derive a reference local path using the robot's location information and the global path if the reliability of at least one determined candidate path is less than a preset threshold.

이와 같이, 본 발명의 실시예에 따른 레퍼런스 지역 경로 계획 장치(100)는 모바일 로봇의 지역 센서를 통해 추출된 데이터를 이용하여 레퍼런스 지역 경로를 추출함으로써, 전역 센서인 GPS(Global Positioning System), IMU(Inertial Measurement Unit) 등을 통해 처리한 위치 정보만을 통해 레퍼런스 지역 경로를 추출하여 제어하는 방식보다 더 안전하고 지속적으로 모바일 로봇을 강건하고 지속적인 횡 방향 제어를 수행할 수 있다.In this way, the reference area path planning device (100) according to the embodiment of the present invention extracts a reference area path using data extracted through a local sensor of a mobile robot, thereby enabling the mobile robot to perform robust and continuous lateral control more safely and continuously than a method of extracting and controlling a reference area path only through location information processed through a global sensor such as a GPS (Global Positioning System) or an IMU (Inertial Measurement Unit).

본 발명의 실시예에 따른 레퍼런스 지역 경로 계획 장치(100)는 음영 지역에서의 위치 오차나 비전 정보의 인지 오류 등에 따른 문제들을 해결하며 특정 도심지 또는 가끔 도출되는 낮은 정확도의 인지 결과에도 강인하고 부드럽게 주행을 제어할 수 있다. 이와 같이, 레퍼런스 지역 경로 계획 장치(100)는 높은 정확도의 위치 정보 및 인지 결과에 의존하지 않는 범용적인 자율주행을 수행할 수 있다.The reference area path planning device (100) according to an embodiment of the present invention can solve problems such as positional errors in shaded areas or recognition errors of vision information, and can control driving robustly and smoothly even in a specific urban area or in a recognition result with low accuracy that is occasionally derived. In this way, the reference area path planning device (100) can perform general-purpose autonomous driving that does not depend on high-accuracy positional information and recognition results.

본 발명의 실시예에 따른 레퍼런스 지역 경로 계획 장치(100)는 라이다(Lidar)에 비해 비교적 저렴한 비전 센서 정보를 통해 인지된 비전 정보와 저가형 GPS, IMU를 통한 위치 정보를 이용하여 레퍼런스 지역 경로를 도출함으로써, 모바일 로봇의 단가를 절감할 수 있다.The reference area path planning device (100) according to an embodiment of the present invention can reduce the unit cost of a mobile robot by deriving a reference area path using vision information recognized through vision sensor information that is relatively inexpensive compared to Lidar and location information through low-cost GPS and IMU.

한편, 본 발명의 일 실시예에 따르면, 이상에서 설명된 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다. Meanwhile, according to one embodiment of the present invention, the various embodiments described above may be implemented as software including instructions stored in a machine-readable storage medium that can be read by a machine (e.g., a computer). The device may include an electronic device (e.g., an electronic device (A)) according to the disclosed embodiments, which is a device that calls instructions stored from the storage medium and can operate according to the called instructions. When the instructions are executed by the processor, the processor may directly or under the control of the processor use other components to perform a function corresponding to the instructions. The instructions may include codes generated or executed by a compiler or an interpreter. The machine-readable storage medium may be provided in the form of a non-transitory storage medium. Here, 'non-transitory' means that the storage medium does not include a signal and is tangible, but does not distinguish between data being stored semi-permanently or temporarily in the storage medium.

또한, 본 발명의 일 실시예에 따르면, 이상에서 설명된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.In addition, according to one embodiment of the present invention, the method according to the various embodiments described above may be provided as included in a computer program product. The computer program product may be traded between sellers and buyers as a commodity. The computer program product may be distributed in the form of a storage medium that can be read by a machine (e.g., compact disc read only memory (CD-ROM)) or online through an application store (e.g., Play StoreTM). In the case of online distribution, at least a part of the computer program product may be temporarily stored or temporarily generated in a storage medium such as a memory of a manufacturer's server, an application store's server, or a relay server.

또한, 본 발명의 일 실시예에 따르면, 이상에서 설명된 다양한 실시예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.In addition, according to one embodiment of the present invention, the various embodiments described above can be implemented in a recording medium that can be read by a computer or a similar device using software, hardware, or a combination thereof. In some cases, the embodiments described in this specification can be implemented by the processor itself. According to a software implementation, embodiments such as the procedures and functions described in this specification can be implemented by separate software modules. Each of the software modules can perform one or more functions and operations described in this specification.

한편, 상술한 다양한 실시예들에 따른 기기의 프로세싱 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시예에 따른 기기에서의 처리 동작을 특정 기기가 수행하도록 한다. 비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.Meanwhile, computer instructions for performing processing operations of a device according to the various embodiments described above may be stored in a non-transitory computer-readable medium. The computer instructions stored in the non-transitory computer-readable medium, when executed by a processor of a specific device, cause the specific device to perform processing operations in the device according to the various embodiments described above. The non-transitory computer-readable medium refers to a medium that stores data semi-permanently and can be read by the device, rather than a medium that stores data for a short period of time, such as a register, a cache, or a memory. Specific examples of the non-transitory computer-readable medium may include a CD, a DVD, a hard disk, a Blu-ray disk, a USB, a memory card, or a ROM.

또한, 상술한 다양한 실시예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.In addition, each of the components (e.g., modules or programs) according to the various embodiments described above may be composed of a single or multiple entities, and some of the corresponding sub-components described above may be omitted, or other sub-components may be further included in various embodiments. Alternatively or additionally, some of the components (e.g., modules or programs) may be integrated into a single entity, which may perform the same or similar functions performed by each of the corresponding components prior to integration. Operations performed by modules, programs or other components according to various embodiments may be executed sequentially, in parallel, iteratively or heuristically, or at least some of the operations may be executed in a different order, omitted, or other operations may be added.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.Although the preferred embodiments of the present invention have been illustrated and described above, the present invention is not limited to the specific embodiments described above, and various modifications may be made by those skilled in the art without departing from the gist of the present invention as claimed in the claims. Furthermore, such modifications should not be individually understood from the technical idea or prospect of the present invention.

10: 모바일 로봇
100: 레퍼런스 지역 경로 계획 장치
110: 메모리
120: 프로세서10: Mobile Robots
100: Reference area path planning device
110: Memory
120: Processor

Claims

In a reference area path planning method performed by a reference area path planning device,
A step of extracting driving information matched with the position information of the robot from a driving map (LSN, Local semantic navigation map) where local semantic information is stored and a driving area recognized from the vision information of the robot;
A step of extracting at least one candidate path using the extracted driving area or the global path based on the position information of the robot;
A step of calculating the reliability cost of at least one candidate path extracted above to determine the reliability of the candidate path; and
A reference area path planning method in a driving map storing local semantic information, comprising the step of deriving a candidate path with the highest reliability from among at least one candidate path determined above as a reference area path and setting it as a target section of the robot.

In the first paragraph,
A method for planning a reference local route from a driving map having local semantic information stored therein, further comprising the step of updating the driving map using unlabeled local semantic information that has not been constructed.

In the first paragraph,
The steps for extracting the above candidate paths are:
A reference local path planning method from a driving map storing local semantic information, which extracts candidate paths while maintaining the tendency of a global path close to the local coordinates of the above robot.

In the first paragraph,
The steps for extracting the above candidate paths are:
A reference local route planning method from a driving map storing local semantic information, extracting candidate routes for each of the two edges and the center in the above-mentioned extracted driving area.

In the first paragraph,
The steps for extracting the above candidate paths are:
A reference local path planning method in a driving map storing local semantic information, wherein the candidate path is extracted from the robot when the number of points where the extracted candidate path is used is less than a preset threshold number or the distance from the robot exceeds a preset threshold distance.

In the first paragraph,
The step of determining the reliability of the above candidate path is:
A reference local route planning method in a driving map storing local semantic information, wherein a reliability cost is weighted according to the number of points used to extract the candidate route for at least one candidate route extracted above.

In the first paragraph,
The step of determining the reliability of the above candidate path is:
A reference local path planning method in a driving map storing local semantic information, wherein the reliability cost is weighted according to the distance from the robot for at least one candidate path extracted above.

In the first paragraph,
A method for planning a reference local path in a driving map storing local semantic information, further comprising a step of deriving a reference local path using the position information of the robot and the global path if the reliability of at least one candidate path determined above is less than a preset threshold.

Memory for storing one or more programs; and
comprising a processor for executing one or more of the stored programs;
The above processor,
Extract the driving information matched with the robot's location information from the driving map where the local semantic information is stored and the driving area recognized from the robot's vision information,
Extracting at least one candidate path using the extracted driving area or the global path based on the position information of the robot,
The reliability of the candidate path is determined by calculating the reliability cost of at least one candidate path extracted above,
A reference region path planning device in a driving map storing regional semantic information, which derives a candidate path with the highest reliability from among at least one candidate path determined above as a reference region path and sets it as the target section of the robot.

In Article 9,
The above processor,
A reference local route planning device for updating said driving map using unconstructed labeled local semantic information, wherein the driving map is stored in a driving map of the local semantic information.

In Article 9,
The above processor,
A reference local path planning device for extracting candidate paths from a driving map storing local semantic information while maintaining the tendency of a global path close to the local coordinates of the robot.

In Article 9,
The above processor,
A reference local path planning device for extracting candidate paths for each of the two edges and the center in the above-mentioned extracted driving area from a driving map storing local semantic information.

In Article 9,
The above processor,
A reference local path planning device for extracting a candidate path from a driving map storing local semantic information, when the number of points where the extracted candidate path is used is less than a preset threshold number or the distance from the robot exceeds a preset threshold distance.

In Article 9,
The above processor,
A reference local route planning device in a driving map storing local semantic information, which weights the reliability cost of at least one candidate route extracted above according to the number of points used for extracting the candidate route.

In Article 9,
The above processor,
A reference local path planning device in a driving map storing local semantic information, which weights the reliability cost according to the distance from the robot for at least one candidate path extracted above.

In Article 9,
The above processor,
A reference local path planning device for deriving a reference local path from a driving map storing local semantic information, using the position information of the robot and the global path if the reliability of at least one candidate path determined above is below a preset threshold.