[go: up one dir, main page]

KR102047303B1 - 저조도 영상 내 소실점에 기반하여 방향을 추정하는 로봇 및 방법 - Google Patents

저조도 영상 내 소실점에 기반하여 방향을 추정하는 로봇 및 방법 Download PDF

Info

Publication number
KR102047303B1
KR102047303B1 KR1020180063666A KR20180063666A KR102047303B1 KR 102047303 B1 KR102047303 B1 KR 102047303B1 KR 1020180063666 A KR1020180063666 A KR 1020180063666A KR 20180063666 A KR20180063666 A KR 20180063666A KR 102047303 B1 KR102047303 B1 KR 102047303B1
Authority
KR
South Korea
Prior art keywords
robot
image
vanishing point
angle
azimuth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020180063666A
Other languages
English (en)
Inventor
이동훈
장재원
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020180063666A priority Critical patent/KR102047303B1/ko
Priority to PCT/KR2019/005506 priority patent/WO2019231127A1/ko
Priority to US16/652,401 priority patent/US11801604B2/en
Application granted granted Critical
Publication of KR102047303B1 publication Critical patent/KR102047303B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2894—Details related to signal transmission in suction cleaners
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1684—Tracking a line or surface by means of sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/009—Carrying-vehicles; Arrangements of trollies or wheels; Means for avoiding mechanical obstacles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B25J11/0085—Cleaning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39391—Visual servoing, track end effector with camera image feedback
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명은 저조도 영상 내 소실점에 기반하여 방향을 추정하는 로봇 및 방법에 관한 것으로, 본 발명의 일 실시예에 의한 저조도 영상 내 소실점에 기반하여 방향을 추정하는 로봇은 로봇의 전방 또는 상방 중 어느 한 영역 이상의 영상을 촬영하는 카메라부와, 카메라부가 촬영한 제1영상에 대해 히스토그램 평활화 및 롤링 가이던스 필터를 적용하여 제1영상 내에서 선분을 추출하여 소실점을 산출하고, 소실점에 대응하여 로봇의 글로벌 각도를 추정하는 영상처리부를 포함한다.

Description

저조도 영상 내 소실점에 기반하여 방향을 추정하는 로봇 및 방법{ROBOT OF ESTIMATING DIRECTION BASED ON VANISHING POINT OF LOW LUMINANCE IMAGE AND METHOD ESTIMATING THEREOF}
본 발명은 저조도 영상 내 소실점에 기반하여 방향을 추정하는 로봇 및 방법에 관한 기술이다.
공항, 학교, 관공서, 호텔, 사무실, 공장, 아파트, 혹은 주택 등의 공간에서 로봇이 동작하기 위해서는 로봇이 자신의 위치를 확인하고 이동하려는 방향을 판단하는 것이 필요하다. 그러나, 로봇이 이동하는 과정에서 방위각이 변하거나 로봇이 위치를 정확하게 식별할 수 없기에 다양한 기술이 제안되었다.
등록특허 10-0749923호는 로봇이 방향을 정확하게 판단하기 위해 카메라가 외부의 표식을 촬영하여 이에 기반하여 위치를 계산하는 과정을 제시하고 있다. 이에 대해 도 1에서 보다 상세히 살펴본다.
도 1은 등록특허 10-0749923호에서 로봇의 주행을 위해 위치와 방위를 계산하는 과정을 보여주는 도면이다. 로봇에 부착된 무선 수신 모듈을 통해 표식의 ID를 수신하고, 적외선 필터가 장착된 카메라를 통해 표식을 촬영한다(S1). 촬영된 영상에 대해 이진 탐색 방법을 이용하여 2개의 표식을 검출한다(S2). S2는 이진 탐색 방법(Binary search method)으로 검색을 반복하여 2개의 표식을 검출하는 것을 일 실시예로 한다.
이렇게 구해진 2개의 표식을 이용하여 이동 로봇의 위치 및 방위를 구한다(S3). 이동 로봇의 위치 및 방위는 로봇의 상태에 따라 구하는 방법이 다르다. 로봇의 위치가 구해지면, 작업 공간에 새로운 표식에 대해 표식의 위치를 계산하고(S4), 이 표식을 토폴로지 맵을 생성하기 위한 노드로 설정하여 토폴로지 맵을 구성한다(S5). 그리고 만들어진 토폴로지 맵을 이용하여 로봇의 주행을 제어한다(S6).
도 1의 구성은 카메라가 위치를 확인하기 위해 외부의 표식을 촬영하고 촬영한 표식에서 위치와 방위를 산출한다. 그런데, 이는 로봇이 외부의 표식을 촬영할 수 있도록 표식이 미리 부착되어야 하는데 이와 같은 표식을 모든 공간에 배치하는 것은 한계가 있다. 뿐만 아니라, 표식을 로봇이 촬영함에 있어 외부 방해 요소가 제거되어야 하는데, 유동 인구가 있는 공간에서 이러한 방해 요소의 제거를 보장할 수는 없다.
특히, 카메라로 위치를 확인하기 위해서는 공간 내에 조도가 일정 수준 이상이어야 하는데, 저조도의 환경에서는 로봇이 영상을 촬영하는데 한계가 있으며, 이로 인해 로봇이 위치를 명확하게 확인하지 못하는 문제가 있다.
따라서, 로봇이 이동 과정에서 현재의 방향을 확인할 수 있는 방안이 필요하다.
본 명세서에서는 전술한 문제점을 해결하기 위한 것으로 저조도에서 촬영한 영상에서 로봇이 방향을 추정할 수 있도록 한다.
또한, 본 명세서에서는 로봇이 저조도로 촬영된 영상에서 선분을 추출하여 소실점에 기반하여 로봇의 방향을 추정할 수 있도록 한다.
또한, 본 명세서에서는 로봇이 저조도 상황에서도 바닥의 영상을 확인하여 재질의 변화에 따른 위치 오차를 보정할 수 있도록 한다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명의 일 실시예에 의한 저조도 영상 내 소실점에 기반하여 방향을 추정하는 로봇은 로봇의 전방 또는 상방 중 어느 한 영역 이상의 영상을 촬영하는 카메라부와, 카메라부가 촬영한 제1영상에 대해 히스토그램 평활화 및 롤링 가이던스 필터를 적용하여 제1영상 내에서 선분을 추출하여 소실점을 산출하고, 소실점에 대응하여 로봇의 글로벌 각도를 추정하는 영상처리부를 포함한다.
본 발명의 다른 실시예에 의한 저조도 영상 내 소실점에 기반하여 로봇이 방향을 추정하는 방법은 카메라부가 촬영한 제1영상에 대해 영상처리부가 히스토그램 평활화 및 롤링 가이던스 필터를 적용하여 제1영상 내에서 선분을 추출하는 단계와 영상 처리부가 선분을 이용하여 소실점을 산출하고, 소실점에 대응하여 로봇의 글로벌 각도를 추정하는 단계를 포함한다.
본 발명의 실시예들을 적용할 경우, 로봇은 저조도 상황에서도 영상을 통해 로봇의 방향을 추정할 수 있다.
또한, 본 발명의 실시예를 적용할 경우, 로봇은 소실점의 각도에 기반하여 다중 맨하탄 프레임 구조에서도 방향을 추정할 수 있다.
또한, 본 발명의 실시예를 적용할 경우, 저조도의 바닥 재질의 변화를 확인하여 로봇의 위치 오차를 보정할 수 있다.
본 발명의 효과는 전술한 효과에 한정되지 않으며, 본 발명의 당업자들은 본 발명의 구성에서 본 발명의 다양한 효과를 쉽게 도출할 수 있다.
도 1은 등록특허 10-0749923호에서 로봇의 주행을 위해 위치와 방위를 계산하는 과정을 보여주는 도면이다.
도 2는 본 발명의 일 실시예에 의한 로봇(100)의 구성을 보여주는 도면이다.
도 3은 본 발명의 일 실시예에 의한 로봇이 주행하는 과정에서 저조도의 실내를 확인하여 경로나 현재 위치를 최적화하는 과정을 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 의한 AOFS 처리부가 미끄러운 환경에서도 주행 거리를 정확하게 추정하는 과정을 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 의한 영상 처리부가 영상을 처리하는 과정을 보여주는 도면이다.
도 6은 본 발명의 일 실시예에 의한 히스토그램 평활화를 수행한 것을 보여주는 도면이다.
도 7은 본 발명의 일 실시예에 의한 영상 내의 경계선을 명확하게 산출하도록 롤링 가이던스 필터를 적용하는 과정을 보여주는 도면이다.
도 8은 본 발명의 일 실시예에 의한 이미지에서 소실점을 추정하는데 필요한 선분을 검출하는 과정을 보여주는 도면이다.
도 9는 본 발명의 일 실시예에 의한 불필요한 선분을 삭제하는 과정을 보여주는 도면이다.
도 10은 로봇과 벽과의 상대 각도를 보여주는 도면이다.
도 11은 본 발명의 일 실시예에 의한 공간 내의 선분에 기반하여 소실점을 추정할 수 있도록 선분이 강조된 이미지이다.
도 12 및 도 13은 본 발명의 일 실시예에 의한 소실점에 기반하여 글로벌 각도를 추정하는 과정을 보여주는 도면이다.
도 14는 본 발명의 일 실시예에 의한 방위각 추정 과정을 보여주는 도면이다.
도 15는 본 발명의 로봇이 이동하는 공간의 예시를 보여주는 도면이다.
도 16은 본 발명의 일 실시예에 의한 다중 맨하탄 프레임 공간에서의 각도 보정 과정을 보여주는 도면이다.
도 17은 본 발명의 일 실시예에 의한 로봇 상에서 카메라가 배치된 도면이다.
이하, 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다. 또한, 본 발명의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.
본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 다른 구성 요소가 "개재"되거나, 각 구성 요소가 다른 구성 요소를 통해 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
또한, 본 발명을 구현함에 있어서 설명의 편의를 위하여 구성요소를 세분화하여 설명할 수 있으나, 이들 구성요소가 하나의 장치 또는 모듈 내에 구현될 수도 있고, 혹은 하나의 구성요소가 다수의 장치 또는 모듈들에 나뉘어져서 구현될 수도 있다.
이하, 본 명세서에서 로봇은 특정한 목적(청소, 보안, 모니터링, 안내 등)을 가지거나 혹은 로봇이 이동하는 공간의 특성에 따른 기능을 제공하며 이동하는 장치를 포함한다. 따라서, 본 명세서에서의 로봇은 소정의 정보와 센서를 이용하여 이동할 수 있는 이동수단을 보유하며 소정의 기능을 제공하는 장치를 통칭한다.
전술한 도 1에서 살펴본 바와 같이, 로봇이 위치를 확인하기 위해서는 외부의 영상을 촬영하여 현재 위치의 정보를 유추하여 주행 경로를 설정할 수 있다. 그런데, 로봇이 이동하는 공간은 조명의 상태, 외부 빛의 입사량 등에 따라 밝기의 변화가 다양할 수 있다. 고조도의 경우에 영상을 촬영할 수 있으나, 저조도의 상태에서 로봇은 외부를 촬영함에 있어 한계가 있다. 즉, 저조도 상태에서도 로봇이 현재 위치를 확인하는 방안이 필요하다.
이를 위해, 본 명세서에서는 기존 영상 기반 SLAM(Simultaneous localization and mapping)이 동작하기 어려운 10 lx(lux) 이하의 저조도 환경에서도 로봇이 강인하게 방위각을 보정할 수 있는 방법에 대해 살펴본다.
위치인식에 있어서 이동거리 오차에 의한 위치오차보다 로봇 방위각 오차에 의한 로봇위치오차가 더욱 크게 작용하는데, 기존 기술의 경우, 도 1과 같이 특징점을 추출하여 위치 추정을 하는 기술을 제시하였다. 그러나, 조도가 낮을 경우에는 특징점 추출 자체가 되지 않아 비전 슬램(Vision SLAM)이 동작하지 않는다.
이에, 어두운 공간에서 촬영된 영상, 즉 저조도 영상에서도 로봇이 영상처리를 통해 방위각을 보정하는 방법에 대해 살펴본다. 저조도 영상을 히스토그램 평활화(Histogram equalization), 혹은 레티넥스(Retinex) 알고리즘을 통해 전반적인 명도 상태를 밝게 조정하면, 영상잡음이 증폭되어 특징점을 추출하기 어렵게 된다.
이를 해결하기 위해, 본 명세서는 잡음은 제거하면서 이미지 경계를 뚜렷하게 한 후, 영상 내 소실점을 추출하여 공간 구조를 인식한 후 로봇이 주위 공간과 이루는 각도를 계산하여, 로봇의 자이로 센서에 의한 각도 오차를 보정하는 방안에 대해 살펴본다. 잡음 제거에는 다양한 필터를 적용할 수 있으며, 본 명세서에서는 롤링 가이던스 필터(Rolling Guidance Filtering)를 사용할 수 있다.
어두운 공간에서는 영상을 촬영하여도 벽과 바닥, 천정을 구분하기 어려울 수 있다. 특히, 특징점(keypoint)에 기반하여 동작하는 슬램(SLAM) 방식의 경우 공간 내에 배치된 사물들 혹은 공간의 형태에서 특징점이 적거나 주위가 어두운 상황 또는 해당 상황에서 미끄러짐이 발생하면 위치 오차가 증가하는 문제가 발생한다.
이는 일반적인 실내 환경에서 조도에 따라 카메라를 이용하여 사물을 감지할 수 있는 한계가 있으며, 빛이 약한 상황에서 감지할 수 있는 거리나 종류가 줄어들게 되는 문제가 있다. 이로 인해 어두운 곳에서 로봇이 주행할 경우 카펫, 문턱, 타일 등 바닥의 변화 요소를 감지하지 못함으로 인해 로봇이 미끄러질 수 있으며, 이로 인해 로봇이 이동 거리를 측정하거나 정확한 위치를 확인함에 있어 한계가 있다.
이에, 본 명세서에서는 로봇이 슬램을 수행함에 있어서 조도가 낮은 환경에서도 슬램의 성능을 확보하기 위한 구성 및 방법을 제시하고자 한다.
도 2는 본 발명의 일 실시예에 의한 로봇(100)의 구성을 보여주는 도면이다. 도 2에서 로봇은 3개의 카메라를 포함한다. 일 실시예로 상방 카메라(111), 전상방 카메라(113), 전방 카메라(115)를 포함한다. 이들 카메라는 로봇의 전방 또는 상방 중 어느 한 영역 이상의 영상을 촬영한다.
또한, 로봇이 이동할 수 있는 수단을 제공하여 로봇을 이동시키는 이동부(130)와 로봇의 방위 변화를 인지하는 자이로 센서(135)를 포함한다. 그리고 로봇(100)이 특정한 기능(청소, 보안, 안내 등)을 수행하도록 기능을 제공하는 기능부(141), 그리고 다른 장치와 통신을 수행하는 통신부(143), 외부에 청각 정보 또는 시각 정보를 출력하는 인터페이스부(145)들이 선택적으로 로봇에 배치될 수 있다.
또한, AOFS(Afocal Optical Flow Sensor) 처리부(160)는 로봇이 어두운 곳에서 미끄러지지 않도록 이동할 수 있게 공간을 확인할 수 있도록 한다. AOFS 처리부(160)는 이동부(130)가 이동하는 이동한 영역의 바닥 재질의 변화를 센싱하여 바닥 재질의 변화에 따라 발생한 로봇의 미끄러짐을 보정하여 로봇의 궤적을 추정한다. 이에 대해서는 도 4에서 상세히 살펴본다.
한편, 영상 처리부(170)는 롤링 가이던스 필터(Rolling Guidance Filter)를 적용하여 어두운 영상을 개선하고 소실점 추정을 통해 각도를 인식할 수 있도록 한다. 즉, 영상 처리부(170)는 카메라부(111, 113, 115)가 촬영한 제1영상에 대해 히스토그램 평활화 및 롤링 가이던스 필터를 적용하여 제1영상 내에서 선분을 추출하고 이에 기반하여 소실점을 산출하며, 산출된 소실점에 대응하여 로봇의 글로벌 각도를 추정한다.
저장부(180)는 다중 맨하탄 프레임 구조에서 공간 내의 랜드마크의 소실점 각도를 저장하여, 이후 로봇이 이동 과정에서 산출한 영상의 소실점의 각도와 비교하여 로봇이 어느 공간에 위치하는지 확인할 수 있다.
로봇의 제어부(150)는 이들 구성요소들을 제어하며, 저조도 상황에서도 로봇이 이동할 수 있도록 제어한다. 각 구성요소에 대해 보다 상세히 살펴본다.
어두운 공간, 즉 저조도의 상황에서는 로봇이 촬영한 이미지를 이용하여도 공간 내의 구조가 명확하게 이미지에 저장되지 않아 로봇이 공간의 구조를 인식하지 못할 가능성이 높아진다. 따라서, 공간이 가지는 특징, 즉 직선적인 구조에 기반하여 직선적 구조들의 소실점(vanishing point)에 대한 정보를 산출하여 3차원의 공간을 파악하여 절대 방위각을 보정할 수 있다.
이를 위해 AOFS 처리부(160)는 어두운 지역, 미끄러짐 감지 및 보정을 위해 AOFS를 적용하여 카펫과 문턱과 같은 외부 상황에서 발생 가능한 문제를 하드웨어적으로 해결하여 로봇의 이동을 지원한다. 저조도의 미끄러짐이 발생할 수 있는 환경에서 이동 거리를 추정하여 이동의 정확도를 높일 수 있다.
또한, 영상 처리부(170)는 롤링 가이던스 필터를 적용하여 어두운 영상(어두운 이미지)을 개선하고 실내 환경을 맨하탄월드(Manhattan world)로 가정하여 수평, 수직 라인 세그먼트(Line segment)를 활용하여 3D 공간 파악 후 절대 방위각을 보정할 수 있다. 그 결과 저조도의 미끄러짐이 발생할 수 있는 환경에서 로봇이 각도를 추정하여 정확도를 향상시킬 수 있다.
이를 위해 로봇(100)은 전상방 카메라(113) 또는 전방카메라(115)를 이용하여 영상을 취득하여 정보를 처리할 수 있다.
도 3은 본 발명의 일 실시예에 의한 로봇이 주행하는 과정에서 저조도의 실내를 확인하여 경로나 현재 위치를 최적화하는 과정을 보여주는 도면이다. 로봇(100)은 AOFS 처리부(160)와 이동부(130)의 이동 과정에서 이동 거리를 산출하는 휠 인코더에서 산출된 데이터, 그리고 자이로 센서(135)가 센싱한 방위 정보와 전방의 영상 데이터를 취합한다(S11). 그리고 제어부(150)는 AOFS 처리부(160)에서 산출된 정보와 휠 인코더의 이동 거리에 대한 정보들을 융합하여 오도메터리(odometry) 데이터를 생성한다(S12). 또한, 영상처리부(170)는 전방 영상 데이터의 낮은 조도를 해소하기 위해 히스토그램 평활화 알고리즘을 적용하고 이 과정에서 발생하는 영상 잡음을 제거하며 경계 부분을 선명하게 만들기 위해 롤링 가이던스 필터링(RGF)를 적용한다(S13).
이후, 조정된 영상에서 소실점(VP)을 추출하고 제어부(150)는 로봇의 각도를 추정한다(S14). 추정한 결과에 기반하여 로봇의 위치를 확인함에 있어 최적화가 되었는지 확인하고(S15), 최적화가 된 경우 로봇의 포즈(Robot Pose)를 최적화한다(S16). 이는 오도메트리와 소실점에 기반할 수 있다. 만약 최적화가 되지 않은 경우 S11 단계부터 진행할 수 있다.
도 4는 본 발명의 일 실시예에 의한 AOFS 처리부가 미끄러운 환경에서도 주행 거리를 정확하게 추정하는 과정을 보여주는 도면이다.
AOFS 처리부(160)는 로봇(100)의 하단부에 배치될 수 있으며, 하단부의 재질의 변화를 확인할 수 있다. 무한초점의 광학 흐름 센서(Afocal Optical Flow Sensor)(161)를 포함하며, 이 센서가 센싱하는 영상의 차이에 기반하여 카펫이나 문턱 등반 시의 높이 변화에 적응적으로 주행 거리를 추정한다. 센서는 저해상도의 카메라와 디지털 신호 처리 장치를 포함하여 카메라로 촬영한 연속 이미지를 분석하여 미세 패턴이 움직인 상대 변위를 추정한다.
특히 AOFS 처리부(160)는 영상 처리의 정확도를 높이기 위해 핀홀(163)을 센서에 배치하여 거리 추정에서의 오차를 줄일 수 있다. 핀홀(163)는 매우 작은 크기의 구멍으로 AOF 센서(161)와 바닥 사이에 배치되어 바닥의 선명한 이미지가 입력되도록 유도한다. AOF 센서(161)에 가까이 핀홀(163)이 배치될 수 있다. 또한, AOFS 처리부(160)는 바닥의 영상을 쉽게 인식할 수 있도록 발광 다이오드를 포함하는 다이오드부(165)를 선택적으로 포함할 수 있다.
도 4와 같이 구성된 AOFS 처리부(160)는 바닥의 미세한 변화로 인해 발생하는 로봇의 미끄러짐을 보정하여 로봇의 궤적을 정확하게 추정할 수 있다. 이를 위해 이동부(130)를 구성하는 휠 인코더와 자이로 센서(135)를 이용하여 오도메터리 데이터를 생성할 수 있다.
다음으로 영상처리부(170)가 촬영된 이미지에 기반하여 로봇의 방위각을 보정하는 과정에 대해 살펴본다. 실내 공간은 대부분 직선들이 직교하는 구성이다. 이를 맨하탄 월드라는 가정(Manhattan world assumption) 하에 소실점을 추정하여 공간을 인식할 수 있으며, 카메라의 상대 각도 역시 추정할 수 있다.
즉, 영상처리부(170)는 촬영된 영상에서 3개의 직교 방향을 만족하는 직선들을 선정하여 이에 기반하여 소실점을 추정하여 공간의 꼭지점 지점을 식별할 수 있다. 그런데 영상처리부(170)가 촬영한 이미지가 어두울 경우 직선을 추출할 수 없는 문제가 있으며, 이로 인해 소실점 역시 확인할 수 없고 소실점 추정의 신뢰도가 낮아진다.
이에 영상 처리부(170)는 촬영된 영상에 대해 히스토그램 평활화(histogram equalizer)를 적용하여 영상 내의 선(line)의 추출이 용이하도록 한다. 영상 처리부(170)는 선분(라인)을 추출하고 이들 선분 중에서 소실점과 관련도가 높은 선분들만을 선택하여 소실점의 추정 결과의 신뢰도를 높일 수 있다.
도 5는 본 발명의 일 실시예에 의한 영상 처리부가 영상을 처리하는 과정을 보여주는 도면이다. 도 5의 S21 내지 S25 단계는 도 3의 S13 단계의 일 실시예에 대응한다.
전방 카메라(115) 또는 전상방 카메라(113) 또는 상방 카메라(111) 등을 이용하여 제1영상을 촬영한다. 제1영상은 저조도 상태에서 촬영된 것이므로 어두운 이미지를 일 실시예로 한다. 히스토그램 평활화(histogram equalizer)는 영상의 인텐시티 히스토그램(intensity histogram)이 일부에 몰려 전체적으로 너무 어둡거나 밝은 경우 제1영상에 대해 전체적으로 히스토그램을 평활화 시켜주는 것을 의미한다. 이에 대해서는 도 6에서 보다 상세히 살펴본다.
히스토그램 평활화를 진행한 결과 제2영상이 산출되면 제2영상에 대해 RGF를 적용하는 S22 내지 S24를 수행한다. 이는 히스토그램 평활화 과정에서 발생한 영상 잡음을 제거하는 것으로, 본 발명에서는 소실점을 확인하기 위한 선분이 중요하므로 제2영상 내에서 선분을 확인하기 위해 경계 부분을 선명하게 부각시키도록 제2영상을 변환한다.
영상 처리부(170)는 제2영상에 가우시안 필터를 적용하여 영상을 부드럽게 처리하여 제3영상을 산출한다(S22). 여기에 제2영상의 경계선 부분이 제3영상에서 강해지도록 제2영상의 경계 부분을 제3영상에 적용하여 제4영상을 산출한다(S23). 전체적으로 부드러워진 제3영상에 제2영상을 적용하면 경계 부분이 부각된다.
따라서 제4영상은 경계선 부분이 뚜렷해진 영상이 된다. 여기에서 영상 처리부(170)는 충분히 유효한 선을 추출할 수 있는지 확인하여(S24) 부족한 경우 S25와 같이 다시 제2영상 및 제4영상을 기반으로 S22 내지 S23 단계를 반복한다. 그리고 소실점을 확인하는데 충분히 유효한 선을 추출할 수 있는 경우 종료한다.
도 5를 정리하면 다음과 같다. 영상 처리부(170)는 촬영한 제1영상의 히스토그램을 평활화시켜 제2영상을 생성한다. 그리고 생성된 제2영상에 롤링 가이던스 필터를 적용하여 선분이 강조된 영상을 생성한다. 선분을 강조시키기 위한 과정은 도 7에 상세히 제시되어 있다.
도 6은 본 발명의 일 실시예에 의한 히스토그램 평활화를 수행한 것을 보여주는 도면이다. 31은 로봇(100)의 전상방 카메라(113)가 촬영한 영상이며 32는 이에 대한 인텐시티 히스토그램이다. 인텐시티가 특정 영역에 집중된 것을 확인할 수 있다. 33는 31의 영상에서 히스토그램을 평활화시킨 것으로 이미지 내의 사물들이 보다 명확하게 확인할 수 있는 상태이다. 34는 33에 대한 인텐시티 히스토그램이다. 32와 비교할 때, 인텐시티가 전체 영역으로 분포된 것을 확인할 수 있다.
도 6과 같이 영상 처리부(170)가 영상을 처리할 경우 사물이 명확해지며 여기에서 경계선을 확정할 수 있다. 다만, 영상 처리 과정에서 잡음이 발생할 수있으므로, RGF(롤링 가이던스 필터)를 적용할 수 있다.
도 7은 본 발명의 일 실시예에 의한 영상 내의 경계선을 명확하게 산출하도록 롤링 가이던스 필터를 적용하는 과정을 보여주는 도면이다. 41은 원본 영상이다. 또는 41은 도 6의 히스토그램 평활화를 적용한 영상일 수 있다. 영상 내에는 사물의 경계선도 있으나, 41a와 같이 평활화 과정에서 잡음으로 추가된 선이 존재할 수 있다. 영상 처리부(170)는 41의 영상에 가우시안 필터를 적용하여 이미지를 부드럽게 한다.
가우시안 필터는 영상을 전체적으로 블러링처리하는데, 블러링 처리한 영상에 원본 영상을 적용하면 에지영역(선분 영역과 같이 짙은 색상인 경역)에서 경계가 뚜렷해진다. 그리고 다시 경계가 뚜렷해진 영상에 대해 가우시안 필터를 적용하여 블러링하여 원본 영상을 적용하면 점차적으로 경계는 뚜렷해지고 경계가 아닌 영역은 블러링된다. 일정한 횟수 이상 적용시 경계 영역이 선명해져서 이미지 내에서 선분을 명확하게 확인할 수 있다.
영상 처리부(170)가 이미지를 부드럽게 처리하는 과정에서 잡음과 같은 선(41a)은 색상이 옅어져서 더 이상 영상 내에서 지워질 수 있다. 영상 처리부(170)가 42의 영상에 41의 영상을 겹치는 방식으로 경계선을 부각시키면 43과 같이 중첩되는 부분과 그렇지 않은 부분으로 나뉘게 된다. 중첩된 부분만을 강조할 경우 44와 같이 잡음에 대응하던 선들이 제거되고 경계선이 명확해진 상태가 된다.
영상 처리부(170)는 44의 이미지를 원본 이미지로 하거나, 44 이미지를 블러링한 것에 41이미지를 적용하는 등 경계선을 강화시키는 영상 처리를 수행하여 주요 경계선 만이 영상 내에 배치되도록 영상을 처리할 수 있다.
영상 처리 결과 선들이 확인되면 선들에 기반하여 영상 처리부(170)는 소실점을 추출할 수 있으며, 소실점 및 선들의 각도에 기반하여 로봇의 각도를 보정할 수 있다.
저조도에서 촬영된 이미지를 선을 추출할 수 있는 이미지로 변환한 후, 로봇은 이미지에서 소실점을 추출하고 이에 기반하여 로봇의 각도를 추정한다(도 3의 S14). 이를 보다 상세히 살펴보면 다음과 같다.
도 8은 본 발명의 일 실시예에 의한 이미지에서 소실점을 추정하는데 필요한 선분을 검출하는 과정을 보여주는 도면이다. 선분은 영상 내에 매우 많이 배치될 수 있으므로, 이들 중에서 소실점을 확인하는데 필요한 선분들만을 선택한다. 이를 위해 영상처리부(170)는 영상 내에 추출된 선분들 중 길이, 위치 및 선분의 지향점에 기반하여 소실점을 구성하는데 적합한 선분을 선택하고, 이들 선택된 선분들에 기반하여 소실점을 구성한다. 보다 상세히 살펴본다.
먼저 영상 처리부(170)는 이미지에서 소실점과 무관한 선분을 제거하는 과정에 대해 살펴본다. 영상 내에 추출된 선분들이 다수 존재할 경우 선분의 길이에 따라 영상 처리부(170)는 필터링을 수행할 수 있다(S51). 매우 짧은 선분(예를 들어 15 픽셀과 같이 전체 이미지의 크기와 비교하여 길이가 짧은 선분)은 영상 처리부(170)가 영상 내에서 제거하거나 소실점 확인 시 해당 선분을 포함시키지 않을 수 있다. 이는 매우 짧은 선분은 일종의 잡음과 같이 영상 내에 배치될 가능성이 높기 때문이다.
또는 영상 내의 선분의 위치에 따라 영상 처리부(170)는 필터링을 수행할 수 있다(S52). 이는 실제 로봇이 각도를 확인하는데 필요한 선분만을 확인하기 위한 것으로 이동 과정에서 참조할 가능성이 낮은 하단에 배치된 선분들을 제거하는 것을 일 실시예로 한다. 예를 들어 하단 20% 정도에 배치된 선분은 이동 과정에서 참조할 가능성이 낮기 때문이 이들은 제거하거나 혹은 소실점 확인 시 해당 선분을 포함시키지 않을 수 있다.
이후, 중요도가 높거나 유의미한 선분들에 대해 영상 처리부(170)는 각 이들 선분 별로 지향점을 확인한다(S53). 이 과정에서 영상 처리부(170)는 공간이 맨하탄 월드라는 가정을 만족시키는 선분을 선별할 수 있다. 지향점은 선분의 끝부분을 확장하여 다른 선분과 만나는 점을 의미한다.
만약 다른 선과 만나지 않는다면 이 선분은 소실점과 연관성이 낮은 것으로 판단할 수 있다. 따라서, 영상 처리부(170)는 많은 선분이 지향하는 지향점을 지향하는 선분을 선택한다(S54). 그리고 선택한 선분들을 이용하여 소실점을 구성하고 이를 3차원으로 재구성한다.
이후 소실점의 방향 벡터를 산출하여 로봇과의 상대 각도를 추출한다(S56). 이 과정에서 소실점을 활용하여 글로벌(Global) 각도를 보정할 수 있는데, 이는 글로벌 각도 보정을 위한 X축 회전 각도를 추출하여 구현할 수 있다.
그리고 추출된 상대각도에 기반하여 소실점에서 벽으로 추정된 특정한 벽을 중심으로 산출된 방위각을 로봇 중심 방위각으로 변환한다(S57).
도 9는 본 발명의 일 실시예에 의한 불필요한 선분을 삭제하는 과정을 보여주는 도면이다. 61은 공간 내의 작은 선분들도 배치된 상태를 보여준다. 여기에서 도 8의 S51 및 S52와 같이 짧은 길이의 선분을 제거하거나 혹은 하단에 배치된 선분을 삭제하여 62와 같이 변환하면, 소실점을 추정함에 있어 정확도를 높일 수 있다.
불필요한 선분을 제거한 후, 선분들을 기준으로 소실점을 추정하면 로봇과 공간 과의 상대 각도를 산출할 수 있다.
도 10은 로봇과 벽과의 상대 각도를 보여주는 도면이다. 로봇이 벽을 마주보는 직선(65)과 현재 로봇이 바라보는 방향(66) 사이의 각도가 벽과의 상대 각도(θ)이며, 로봇은 영상 내의 소실점과 관련된 선분들의 각도를 통해 로봇이 벽과 가지는 상대 각도를 산출할 수 있다.
도 11은 본 발명의 일 실시예에 의한 공간 내의 선분에 기반하여 소실점을 추정할 수 있도록 선분이 강조된 이미지이다. 도 11과 같은 이미지에서는 좌측 상단에서 우측 하단으로 뻗은 직선들(68)을 이용하여 로봇은 전면 공간의 벽과 로봇이 이루는 상대 각도를 산출할 수 있다. 도 11과 같은 구성에서 로봇은 상대 각도를 -44.29도 라고 판단할 수 있는데 이는 68에서 지시되는 선분을 기준으로 로봇의 각도를 비교하여 산출할 수 있다.
여기서 소실점 추정 결과의 신뢰도를 높이기 위해서는 카메라 광축 상위에 존재하는 수평 선분의 수가 일정 이상 존재해야 하며, 추정된 소실점의 Z축(로봇을 기준으로 위쪽 방향) 각도는 0도 이어야 한다. 그리고 x, y, z 각 축 별 최소 선분수를 확인하여 신뢰성을 높일 수 있다.
도 12 및 도 13은 본 발명의 일 실시예에 의한 소실점에 기반하여 글로벌 각도를 추정하는 과정을 보여주는 도면이다. 앞서 도 11에서 공간 내의 선분에 기반하여 소실점을 추정하고 로봇은 상대 각도를 산출할 수 있음을 확인하였다. 로봇이 소실점으로 추정된 방위각의 범위와 로봇의 이동부(130)에서 오도메트리에 의한 각도 정보를 비교하여 로봇의 각도를 추정할 수 있다.
일 실시예로 오도메트리에 의한 각도 정보를 이용하여 로봇의 각도를 도 12의 70과 같이 4가지로 분류할 수 있다. 이는 도 10에서 벽 중심(65)을 기준으로 방위각을 산출하는 것이다. 이와 같은 방식으로 로봇은 4 가지의 범위를 70과 같이 구분할 수 있다. 영상 처리부(170)는 로봇을 중심으로 4가지의 범위로 구분되는 방위각을 분류한다. 그리고 앞서 오도메트리에 의한 각도 정보를 이용하여 영상 처리부(170)는 로봇의 방위각이 이들 4 개의 범위 중 어느 하나에 속하는 것을 1차적으로 확인한다.
이들 4개의 범위는 로봇을 기준으로 360도 각도 범위를 나눈 것을 일 실시예로 한다. 즉 로봇의 방위각은 -179도 내지 180도가 될 수 있고 소실점으로 추정되는 방위각은 -45도 내지 45도이므로, 로봇 방위각을 소실점으로 추정되는 방위각의 크기(-45도 내지 45도)로 나누어 4개의 범위를 구분할 수 있다.
한편, 로봇이 방위각을 산출하기 위해서는 카메라(111, 113, 115)의 틸팅 각도를 보정하는 것을 선택적으로 수행할 수 있다. 틸팅은 영상처리부(170)가 카메라부(111, 113, 115)의 각도와 로봇의 각도의 차이에 따라 소실점으로 산출한 방위각을 보정하는 것을 의미한다. 예를 들어, 틸팅 각 보정을 위해 로테이션 매트릭스 연산을 적용할 수 있는데, 이는 도 13과 같다.
도 13은 본 발명의 일 실시예에 의한 전방 카메라의 상방 틸팅 각도를 보정하여 방위각을 추정하는 과정을 보여준다.
Figure 112018054342214-pat00001
수학식 1의 좌측 행렬(
Figure 112018054342214-pat00002
)이 지시하는 부분은 월드 기준 소실점의 좌표계를 지시하며, 수학식 우측의 행렬(
Figure 112018054342214-pat00003
) 지시하는 부분은 전방 카메라(115)의 기준 좌표계이다. 중앙의 행렬은 틸트 각도가 입력된다. 틸트 각도란 카메라와 로봇 간의 각도 차이를 의미한다. 전방 카메라의 각도x', y', z'는 수학식 1의 로테이션 매트릭스에 의해 x. y, z로 보정된다. 그 결과 도 13과 같이 71 상태에서 73과 같이 좌표계가 보정된다.
도 13에서 틸팅 각 보정을 수행한 후, 로봇의 영상 처리부(170)는 소실점으로 산출한 방위각과 로봇의 방위각의 차이가 미리 설정된 범위 이내인 경우 소실점으로 산출한 방위각을 4가지 범위의 따라 로봇의 방위각으로 달리 적용하여 로봇의 방위각을 보정한다.
예를 들어 벽을 기준으로 도 12에서 제시된 바와 같이, 현재 방위각이 1~4 중 어디에 속하는지를 확인하여 로봇 방위각이 2 구간(45도~135도)에 존재할 경우, 소실점 추정 방위각에 90도를 더한다. 한편 로봇의 방위각이 3 구간(135도~ -135도)에 속하면 소실점 추정 방위각에 180도를 추가한다. 또한 로봇의 방위각이 4 구간(-45도 ~ -135도)에 속하면 소실점 추정 방위각에 270도를 추가한다.
그 결과 맨하탄 프레임 기준 로봇의 절대 각도를 확인할 수 있으며, 보정 전 로봇 방위각과 소실점으로 보정한 방위각과의 차이가 일정 기준(예를 들어 20도 이내)일 경우에만 보정된 방위각을 채택하여 방위각 보정에 안정성을 제공할 수 있다. 도 14에서 보다 상세히 살펴본다.
도 14는 본 발명의 일 실시예에 의한 방위각 추정 과정을 보여주는 도면이다. 로봇은 75에서 지시하는 바와 같이 Z축 방향으로 회전만 하므로 X축 방향 계수가 가장 큰 소실점(VP)을 선정하여 로봇의 헤딩 벡터(Heading Vector)와의 각도 차이를 계산한다. 예를 들어 77과 같이 로봇의 헤딩 방향(77h)과 평면 백터 방향(77p) 간의 각도(θ)를 이용하여 소실점이 왼쪽에 있으면 각도를 더하고, 소실점이 오른쪽에 있으면 각도를 뺀다. 도 14의 각도(θ)는 맨하탄 프레임과 로봇의 헤딩간의 차이를 지시한다.
도 15는 본 발명의 로봇이 이동하는 공간의 예시를 보여주는 도면이다. 78은 단일 맨하탄 프레임 공간이며 79는 다중 맨하탄 프레임 공간이다. 단일 맨하탄 프레임은 공간 내의 직선들이 교차하거나 소실점을 이루는 것이 단일한 직각 구조를 일 실시예로 한다. 다중 맨하탄 프레임 공간은 직교하지 않는 공간들이 결합될 수 있으므로, 다중 맨하탄 프레임 공간에서는 각도를 보정하는 것이 필요하다. 이를 위해 로봇은 소실점을 랜드마크로 사용할 수 있다. 도 16에서 보다 상세히 살펴본다.
도 16은 본 발명의 일 실시예에 의한 다중 맨하탄 프레임 공간에서의 각도 보정 과정을 보여주는 도면이다. 다중 맨하탄 프레임 공간과 같이 직각을 유지하지 않는 공간들(도 15의 79a, 79b, 79c)에 대해 랜드마크가 되는 각도를 저장하여 로봇이 이를 비교할 수 있도록 한다. 이를 위해, 로봇의 영상처리부(170)는 다수의 월드 기준의 소실점의 각도 샘플이 확보되면, 이를 평균한 각도(
Figure 112018054342214-pat00004
)를 산출한다(S81). 예를 들어, 도 15의 79a에서 산출되는 소실점의 각도 샘플들에서 평균한 각도와 도 15의 79b에서 산출되는 소실점의 각도 샘플들에서 평균한 각도는 다를 것이다. 따라서 영상처리부(170)는 평균한 각도가 이전에 저장된 소실점 랜드마크와 비교하여 일정 각도 이상 차이가 있는 경우에 평균한 각도(
Figure 112018054342214-pat00005
)를 새로운 랜드마크로 저장한다(S83).
이후 로봇이 주행 과정에서 현재 영상 프레임에서 검출된 소실점을 이용하여 구한 수평 선분들과의 상대 각도(
Figure 112018054342214-pat00006
)를 산출한다(S84). 이는 로봇이 새로이 취득한 상대 각도를 의미한다. 이 각도를 앞서 S83 단계에서 저장한 랜드마크와 비교한다. 즉 산출된 상대 각도와 저장된 랜드마크의 차이가 일정 각도 이하인 경우(S85), 저장되었던 랜드마크가 현재 영상 프레임에서 검출된 것으로 확인한다. 그 결과 현재 로봇의 각도(
Figure 112018054342214-pat00007
)는 수학식 2와 같이 산출할 수 있다. 수학식 2는 저장된 랜드마크의 각도와 상대 각도의 차이를 계산하여 로봇의 각도를 산출한다.
Figure 112018054342214-pat00008
도 15 및 도 16의 다중 맨하탄 구조에서의 동작을 정리하면 다음과 같다. 다중 맨하탄 구조는 직각으로 이어지지 않는 개별 공간들(79a, 79b, 79c)을 각각 랜드마크로 지정하고, 이들 공간에서 산출된 소실점의 평균 각도를 각각 저장한다. 그리고 로봇이 이동하는 과정에서 소실점이 산출되면 저장한 랜드마크들의 평균 각도와 일정한 크기 이내로 차이가 있는 경우 해당 랜드마크인 공간으로 확인한다.
예를 들어, 로봇이 79a, 79b, 79c 로 이동하는 과정에서 79c에 도착한 상태를 가정한다. 이 경우 로봇은 저장부(180)에 79a로 지시되는 공간을 랜드마크로 하여 소실점의 각도를 저장하며, 마찬가지로 79b로 지시되는 공간을 랜드마크로 하여 소실점의 각도를 저장한 상태이다.
여기서 영상 처리부(170)가 소실점의 평균 각도를 산출하며 저장부(180)에 저장된 하나 이상의 랜드마크(79a, 79b)의 소실점 각도와의 차이를 계산하여 차이가 미리 설정된 제1차이값(예를 들어 30도) 이상인 경우에 이는 새로운 랜드마크로 구분하는 공간에 로봇이 진입한 것으로 판단한다. 그 결과, 산출된 소실점의 평균 각도를 새로운 랜드마크에 대한 지시정보(79c를 79a 및 79b와 구별하는데 필요한 정보)와 함께 저장부(180)에 저장한다.
그리고 로봇이 이동하는 과정에서 영상에서 소실점의 평균 각도를 산출하여 저장부(180)에 저장된 하나 이상의 랜드마크의 소실점 각도와의 차이를 계산하여 이 차이가 미리 설정된 제2차이값(예를 들어 30도) 이하인 경우에 이는 해당 랜드마크가 지시하는 공간에 로봇이 이동한 것으로 판단한다. 즉, 랜드마크가 제1영상에서 검출된 것으로 확인하고 로봇의 각도를 추정할 수 있다.
공간 내의 일부가 직교하지 않는 영역에 대해 로봇이 소실점 추정 과정에서 오류를 발생시키기 않도록, 직교하지 않는 영역들 각각의 소실점 평균 각도를 저장하여 유사하나 범위 내의 소실점 평균 각도가 산출되면 로봇이 대항 영역으로 이동한 것으로 판단하고, 유사하지 않은 경우, 로봇이 새로운 영역으로 이동한 것으로 판단하여 다중 맨하탄 프레임 구조에 대응할 수 있다.
도 17은 본 발명의 일 실시예에 의한 로봇 상에서 카메라가 배치된 도면이다. 도 2에서 살펴본 바와 같이 로봇의 상측 방향에 상방 카메라(111), 전방 상측 방향에 전상방 카메라(113), 그리고 로봇의 이동 방향으로 촬영하는 전방 카메라(115)가 배치된다.
상방 카메라(111)는 로봇의 바로 윗쪽의 영상을 촬영하며 천장 쪽에 배치된 선분들을 이용하여 소실점을 확인할 수 있다. 천장은 Z축으로 직각인 영역이므로 X/Y축으로 로봇이 선분들을 확인하여 소실점을 쉽게 확인할 수 있다.
전상방 카메라(113)는 로봇의 진행 방향의 상측에 배치된 영상을 촬영한다. 천장 및 진행 방항의 전면의 상측부에 배치된 선분들을 이용하여 소실점을 확인할 수 있다.
전방 카메라(115)는 로봇의 진행 방향의 전면에 배치된 사물들의 영상을 촬영한다. 전방 카메라(115)는 바닥에 배치된 벽면을 촬영하여 벽면과 바닥이 접하는 영역의 선분을 이용하여 소실점을 확인할 수 있다.
도 17의 3 종류의 카메라들은 로봇의 구동 방식 또는 이동 속도나 공간의 특성에 따라 선택적으로 배치될 수 있다. 예를 들어 높이가 높은 로봇의 경우에는 전방 카메라(115)가 촬영하는 영상에 바닥 및 천장의 이미지가 입력되지 않을 수 있으므로, 전상방 카메라(113)가 배치될 수 있다. 반면, 로봇의 높이가 낮은 경우에는 전방 카메라(115)가 촬영하는 영상에 바닥의 이미지가 입력될 수 있으므로 배치될 수 있다. 또한, 전상방 카메라(113)와 상방 카메라(111) 모두 배치되거나 어느 하나만 배치될 수 있다.
본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니며, 본 발명의 목적 범위 내에서 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 반도체 기록소자를 포함하는 저장매체를 포함한다. 또한 본 발명의 실시예를 구현하는 컴퓨터 프로그램은 외부의 장치를 통하여 실시간으로 전송되는 프로그램 모듈을 포함한다.
이상에서는 본 발명의 실시예를 중심으로 설명하였지만, 통상의 기술자의 수준에서 다양한 변경이나 변형을 가할 수 있다. 따라서, 이러한 변경과 변형이 본 발명의 범위를 벗어나지 않는 한 본 발명의 범주 내에 포함되는 것으로 이해할 수 있을 것이다.
100: 로봇 111: 상방 카메라
113: 전상방 카메라 115: 전방 카메라
130: 이동부 160: AOFS 처리부
170: 영상처리부 180: 저장부

Claims (14)

  1. 로봇을 이동시키는 이동부;
    상기 로봇의 전방 또는 상방 중 어느 한 영역 이상의 영상을 촬영하는 카메라부;
    상기 카메라부가 촬영한 제1영상에 대해 히스토그램 평활화 및 롤링 가이던스 필터를 적용하여 상기 제1영상 내에서 선분을 추출하여 소실점을 산출하고, 상기 소실점에 대응하여 상기 로봇의 글로벌 각도를 추정하는 영상처리부; 및
    상기 이동부와 상기 카메라부와 상기 영상 처리부를 제어하는 제어부를 포함하는, 저조도 영상 내 소실점에 기반하여 방향을 추정하는 로봇.
  2. 제1항에 있어서,
    상기 이동부가 이동하는 이동한 영역의 바닥 재질의 변화를 센싱하여 상기 변화에 따라 발생한 로봇의 미끄러짐을 보정하여 로봇의 궤적을 추정하는 AOFS(Afocal Optical Flow Sensor) 처리부를 더 포함하는, 저조도 영상 내 소실점에 기반하여 방향을 추정하는 로봇.
  3. 제1항에 있어서,
    상기 영상 처리부는 상기 제1영상의 히스토그램을 평활화시켜 제2영상을 생성하며,
    상기 영상 처리부는 상기 제2영상에 롤링 가이던스 필터를 적용하여 선분이 강조된 제3영상을 생성하는, 저조도 영상 내 소실점에 기반하여 방향을 추정하는 로봇.
  4. 제3항에 있어서,
    상기 영상처리부는 상기 제3영상 내에 추출된 선분들 중 길이, 위치 및 선분의 지향점에 기반하여 선분을 선택하고, 상기 선택된 선분들에 기반하여 소실점을 구성하는, 저조도 영상 내 소실점에 기반하여 방향을 추정하는 로봇.
  5. 제4항에 있어서,
    상기 영상처리부는 상기 로봇을 중심으로 4가지 범위의 방위각을 분류하고 상기 로봇의 방위각이 상기 4가지 범위에 속함을 확인하며,
    상기 영상처리부는 상기 소실점으로 산출한 방위각과 상기 로봇의 방위각의 차이가 미리 설정된 범위 이내인 경우 상기 소실점으로 산출한 방위각을 상기 4가지 범위의 따라 로봇의 방위각으로 달리 적용하는, 저조도 영상 내 소실점에 기반하여 방향을 추정하는 로봇.
  6. 제1항에 있어서,
    상기 영상처리부는 상기 카메라부의 각도와 상기 로봇의 각도의 차이에 따라 상기 소실점으로 산출한 방위각을 보정하는, 저조도 영상 내 소실점에 기반하여 방향을 추정하는 로봇.
  7. 제1항에 있어서,
    공간 내의 랜드마크의 소실점 각도를 저장하는 저장부를 더 포함하며,
    상기 영상처리부는 소실점의 평균 각도를 산출하며 상기 저장부에 저장된 하나 이상의 랜드마크의 소실점 각도와의 차이를 계산하여 상기 차이가 미리 설정된 제1차이값 이상인 경우 상기 평균 각도를 상기 저장부에 저장하며,
    상기 영상처리부는 소실점의 평균 각도를 산출하여 상기 저장부에 저장된 하나 이상의 랜드마크의 소실점 각도와의 차이를 계산하여 상기 차이가 미리 설정된 제2차이값 이하인 경우 상기 랜드마크가 제1영상에서 검출된 것으로 확인하는, 저조도 영상 내 소실점에 기반하여 방향을 추정하는 로봇.
  8. 이동하는 로봇이 방향을 추정하는 방법에 있어서,
    카메라부가 상기 로봇의 전방 또는 상방 중 어느 한 영역 이상의 영상을 촬영하는 단계;
    상기 카메라부가 촬영한 제1영상에 대해 영상처리부가 히스토그램 평활화 및 롤링 가이던스 필터를 적용하여 상기 제1영상 내에서 선분을 추출하는 단계; 및
    상기 영상 처리부가 상기 선분을 이용하여 소실점을 산출하고, 상기 소실점에 대응하여 상기 로봇의 글로벌 각도를 추정하는 단계를 포함하는, 저조도 영상 내 소실점에 기반하여 로봇이 방향을 추정하는 방법.
  9. 제8항에 있어서,
    상기 로봇은 AOFS(Afocal Optical Flow Sensor) 처리부를 더 포함하며,
    상기 AOFS 처리부가 상기 로봇이 이동하는 이동한 영역의 바닥 재질의 변화를 센싱하는 단계;
    상기 AOFS 처리부가 상기 센싱한 재질의 변화에 따라 발생한 상기 로봇의 미끄러짐을 보정하여 로봇의 궤적을 추정하는 단계를 더 포함하는, 저조도 영상 내 소실점에 기반하여 로봇이 방향을 추정하는 방법.
  10. 제8항에 있어서,
    상기 영상 처리부가 상기 제1영상의 히스토그램을 평활화시켜 제2영상을 생성하는 단계; 및
    상기 영상 처리부가 상기 제2영상에 롤링 가이던스 필터를 적용하여 선분이 강조된 제3영상을 생성하는 단계를 포함하는, 저조도 영상 내 소실점에 기반하여 로봇이 방향을 추정하는 방법.
  11. 제10항에 있어서,
    상기 영상 처리부가 상기 제3영상 내에 추출된 선분들 중 길이, 위치 및 선분의 지향점에 기반하여 선분을 선택하는 단계; 및
    상기 영상 처리부가 상기 선택된 선분들에 기반하여 소실점을 구성하는 단계를 포함하는, 저조도 영상 내 소실점에 기반하여 로봇이 방향을 추정하는 방법.
  12. 제11항에 있어서,
    상기 영상처리부가 상기 로봇을 중심으로 4가지 범위의 방위각을 분류하고 상기 로봇의 방위각이 상기 4가지 범위에 속함을 확인하는 단계;
    상기 영상처리부가 상기 소실점으로 산출한 방위각과 상기 로봇의 방위각의 차이가 미리 설정된 범위 이내인 경우 상기 소실점으로 산출한 방위각을 상기 4가지 범위의 따라 로봇의 방위각으로 달리 적용하는 단계를 포함하는, 저조도 영상 내 소실점에 기반하여 로봇이 방향을 추정하는 방법.
  13. 제8항에 있어서,
    상기 영상 처리부가 상기 카메라부의 각도와 상기 로봇의 각도의 차이에 따라 상기 소실점으로 산출한 방위각을 보정하는 단계를 더 포함하는, 저조도 영상 내 소실점에 기반하여 로봇이 방향을 추정하는 방법.
  14. 제8항에 있어서,
    상기 로봇은 공간 내의 랜드마크의 소실점 각도를 저장하는 저장부를 더 포함하며,
    상기 영상 처리부가 소실점의 평균 각도를 산출하며 상기 저장부에 저장된 하나 이상의 랜드마크의 소실점 각도와의 차이를 계산하여 상기 차이가 미리 설정된 제1차이값 이상인 경우 상기 평균 각도를 상기 저장부에 저장하는 단계; 및
    상기 영상처리부가 소실점의 평균 각도를 산출하여 상기 저장부에 저장된 하나 이상의 랜드마크의 소실점 각도와의 차이를 계산하여 상기 차이가 미리 설정된 제2차이값 이하인 경우 상기 랜드마크가 제1영상에서 검출된 것으로 확인하는 단계를 포함하는, 저조도 영상 내 소실점에 기반하여 로봇이 방향을 추정하는 방법.
KR1020180063666A 2018-06-01 2018-06-01 저조도 영상 내 소실점에 기반하여 방향을 추정하는 로봇 및 방법 Active KR102047303B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180063666A KR102047303B1 (ko) 2018-06-01 2018-06-01 저조도 영상 내 소실점에 기반하여 방향을 추정하는 로봇 및 방법
PCT/KR2019/005506 WO2019231127A1 (ko) 2018-06-01 2019-05-08 저조도 영상 내 소실점에 기반하여 방향을 추정하는 로봇 및 방법
US16/652,401 US11801604B2 (en) 2018-06-01 2019-05-08 Robot of estimating direction based on vanishing point of low luminance image and method estimating thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180063666A KR102047303B1 (ko) 2018-06-01 2018-06-01 저조도 영상 내 소실점에 기반하여 방향을 추정하는 로봇 및 방법

Publications (1)

Publication Number Publication Date
KR102047303B1 true KR102047303B1 (ko) 2019-11-21

Family

ID=68692183

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180063666A Active KR102047303B1 (ko) 2018-06-01 2018-06-01 저조도 영상 내 소실점에 기반하여 방향을 추정하는 로봇 및 방법

Country Status (3)

Country Link
US (1) US11801604B2 (ko)
KR (1) KR102047303B1 (ko)
WO (1) WO2019231127A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019217160A1 (de) * 2019-11-07 2021-05-12 Robert Bosch Gmbh Computer-implementiertes Verfahren zum Erstellen einer Umgebungskarte für das Betreiben eines mobilen Agenten
CN117359608A (zh) * 2022-06-30 2024-01-09 北京极智嘉科技股份有限公司 机器人运动控制法以及装置
US20240036582A1 (en) * 2022-07-26 2024-02-01 Objectvideo Labs, Llc Robot navigation
CN115570568B (zh) * 2022-10-11 2024-01-30 江苏高倍智能装备有限公司 一种多机械手协同控制方法及系统
CN120917483A (zh) * 2023-03-23 2025-11-07 松下知识产权经营株式会社 信息处理装置、信息处理方法以及信息处理程序
CN119772880A (zh) * 2024-12-13 2025-04-08 厦门钨业股份有限公司 一种人形机器人可通行区域生成方法、装置及人形机器人

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070108815A (ko) * 2006-05-08 2007-11-13 삼성전자주식회사 바닥 영상 정보를 이용하여 청소용 로봇 및 로봇의 제어방법
KR20100098999A (ko) * 2009-03-02 2010-09-10 엘지전자 주식회사 로봇 청소기 및 그의 위치 검출 방법
KR20110039037A (ko) * 2009-10-09 2011-04-15 고려대학교 산학협력단 로봇 이동 장치 지도 작성 방법
KR20140087485A (ko) * 2012-12-31 2014-07-09 노틸러스효성 주식회사 광선추적법을 이용한 이동 로봇의 실내 위치 추정방법
KR20180040314A (ko) * 2016-10-12 2018-04-20 충북대학교 산학협력단 소실점 위치를 이용한 이동 로봇의 복도 주행 방법 및 장치

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5579444A (en) * 1987-08-28 1996-11-26 Axiom Bildverarbeitungssysteme Gmbh Adaptive vision-based controller
US20160267720A1 (en) * 2004-01-30 2016-09-15 Electronic Scripting Products, Inc. Pleasant and Realistic Virtual/Augmented/Mixed Reality Experience
KR100612858B1 (ko) * 2004-08-23 2006-08-14 삼성전자주식회사 로봇을 이용하여 사람을 추적하는 방법 및 장치
KR100749923B1 (ko) 2005-12-08 2007-08-21 한국전자통신연구원 카메라와 표식을 이용한 이동 로봇의 측위 시스템 및 방법
KR100834577B1 (ko) * 2006-12-07 2008-06-02 한국전자통신연구원 스테레오 비전 처리를 통해 목표물 검색 및 추종 방법, 및이를 적용한 가정용 지능형 서비스 로봇 장치
JP5266953B2 (ja) * 2008-08-19 2013-08-21 セイコーエプソン株式会社 投写型表示装置および表示方法
US8564657B2 (en) * 2009-05-29 2013-10-22 Honda Research Institute Europe Gmbh Object motion detection system based on combining 3D warping techniques and a proper object motion detection
DE102009046114B4 (de) * 2009-10-28 2011-09-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zum Erzeugen einer kalibrierten Projektion
TWI417207B (zh) * 2010-12-28 2013-12-01 Automotive Res & Testing Ct Image - based obstacle detection reversing warning system and method
CN103459099B (zh) * 2011-01-28 2015-08-26 英塔茨科技公司 与一个可移动的远程机器人相互交流
US9852512B2 (en) * 2013-03-13 2017-12-26 Electronic Scripting Products, Inc. Reduced homography based on structural redundancy of conditioned motion
US9519286B2 (en) * 2013-03-19 2016-12-13 Robotic Research, Llc Delayed telop aid
US9358685B2 (en) * 2014-02-03 2016-06-07 Brain Corporation Apparatus and methods for control of robot actions based on corrective user inputs
US9751210B2 (en) * 2014-11-26 2017-09-05 Irobot Corporation Systems and methods for performing occlusion detection
US9519289B2 (en) * 2014-11-26 2016-12-13 Irobot Corporation Systems and methods for performing simultaneous localization and mapping using machine vision systems
US9744670B2 (en) * 2014-11-26 2017-08-29 Irobot Corporation Systems and methods for use of optical odometry sensors in a mobile robot
US9630319B2 (en) * 2015-03-18 2017-04-25 Irobot Corporation Localization and mapping using physical features
CA2997656A1 (en) * 2015-09-04 2017-03-09 Crown Equipment Corporation Industrial vehicle with feature-based localization and navigation
GB201518652D0 (en) * 2015-10-21 2015-12-02 F Robotics Acquisitions Ltd Domestic robotic system and method
EP3371671B1 (en) * 2015-11-02 2020-10-21 Starship Technologies OÜ Method, device and assembly for map generation
US9757859B1 (en) * 2016-01-21 2017-09-12 X Development Llc Tooltip stabilization
US10059003B1 (en) * 2016-01-28 2018-08-28 X Development Llc Multi-resolution localization system
US9996752B2 (en) * 2016-08-30 2018-06-12 Canon Kabushiki Kaisha Method, system and apparatus for processing an image
IT201600094858A1 (it) * 2016-09-21 2018-03-21 St Microelectronics Srl Procedimento per un cross traffic alert avanzato a basso costo, corrispondente sistema di elaborazione, sistema per cross traffic alert e veicolo
JP2018155709A (ja) * 2017-03-21 2018-10-04 キヤノン株式会社 位置姿勢推定装置および位置姿勢推定方法、運転支援装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070108815A (ko) * 2006-05-08 2007-11-13 삼성전자주식회사 바닥 영상 정보를 이용하여 청소용 로봇 및 로봇의 제어방법
KR20100098999A (ko) * 2009-03-02 2010-09-10 엘지전자 주식회사 로봇 청소기 및 그의 위치 검출 방법
KR20110039037A (ko) * 2009-10-09 2011-04-15 고려대학교 산학협력단 로봇 이동 장치 지도 작성 방법
KR20140087485A (ko) * 2012-12-31 2014-07-09 노틸러스효성 주식회사 광선추적법을 이용한 이동 로봇의 실내 위치 추정방법
KR20180040314A (ko) * 2016-10-12 2018-04-20 충북대학교 산학협력단 소실점 위치를 이용한 이동 로봇의 복도 주행 방법 및 장치

Also Published As

Publication number Publication date
WO2019231127A1 (ko) 2019-12-05
US20200282566A1 (en) 2020-09-10
US11801604B2 (en) 2023-10-31

Similar Documents

Publication Publication Date Title
KR102047303B1 (ko) 저조도 영상 내 소실점에 기반하여 방향을 추정하는 로봇 및 방법
KR20110011424A (ko) 이동 로봇의 위치 인식 및 주행 제어 방법과 이를 이용한 이동 로봇
CN102596517B (zh) 移动机器人定位和导航控制方法及使用该方法的移动机器人
KR101083394B1 (ko) 이동 로봇의 위치 인식을 위한 지도 생성 및 갱신 방법
KR101152720B1 (ko) 이동 로봇의 슬립 감지 장치 및 방법
KR101776622B1 (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR101776621B1 (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR100877071B1 (ko) 파티클 필터 기반의 이동 로봇의 자세 추정 방법 및 장치
KR101708659B1 (ko) 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법
KR102242744B1 (ko) 이동 로봇과 이동 로봇의 엘리베이터 인식 방법
US10165246B2 (en) Method and device for processing stereoscopic data
JP4042517B2 (ja) 移動体およびその位置検出装置
KR101850835B1 (ko) 광선추적법을 이용한 이동 로봇의 실내 위치 추정방법
KR20150144726A (ko) 검색 기반 상관 매칭을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
CN114089364A (zh) 一种集成化的感知系统装置及实现方法
KR100906991B1 (ko) 로봇의 비시인성 장애물 탐지방법
KR20140053712A (ko) 센서 융합에 의한 실내로봇용 위치인식 방법
KR102048999B1 (ko) 자율 주행 장치 및 방법
KR20120108277A (ko) 자연랜드마크와 인공랜드마크를 인식하는 지능형 이동로봇의 위치인식 방법
KR101305405B1 (ko) 측면의 랜드마크를 인식하는 지능형 이동로봇의 위치인식 방법
KR102135672B1 (ko) 자율 주행 장치 및 방법
KR20140032113A (ko) 자연랜드마크 및 인공랜드마크와 엔코더를 이용한 지능형 이동로봇의 위치인식 방법
KR101979003B1 (ko) 자연랜드마크 및 인공랜드마크와 관성센서를 이용한 지능형 이동로봇의 위치인식 방법
CN118990522B (zh) 一种机器人自主作业方法、系统、存储介质和电子设备
KR20240098303A (ko) 가변네트워크환경의 slam 시스템 및 이를 이용한 적응형 키프레임 선택 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20180601

PA0201 Request for examination
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20190819

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20191115

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20191115

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20221021

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20231020

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20241022

Start annual number: 6

End annual number: 6