[go: up one dir, main page]

JP7671391B2 - 障害物検出方法および装置、自走式ロボット並びに記憶媒体 - Google Patents

障害物検出方法および装置、自走式ロボット並びに記憶媒体 Download PDF

Info

Publication number
JP7671391B2
JP7671391B2 JP2024073586A JP2024073586A JP7671391B2 JP 7671391 B2 JP7671391 B2 JP 7671391B2 JP 2024073586 A JP2024073586 A JP 2024073586A JP 2024073586 A JP2024073586 A JP 2024073586A JP 7671391 B2 JP7671391 B2 JP 7671391B2
Authority
JP
Japan
Prior art keywords
obstacle
coordinate data
reference points
automatic cleaning
cleaning device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2024073586A
Other languages
English (en)
Other versions
JP2024109610A (ja
Inventor
濠鍵 謝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Roborock Innovation Technology Co Ltd
Original Assignee
Beijing Roborock Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Roborock Innovation Technology Co Ltd filed Critical Beijing Roborock Innovation Technology Co Ltd
Publication of JP2024109610A publication Critical patent/JP2024109610A/ja
Application granted granted Critical
Publication of JP7671391B2 publication Critical patent/JP7671391B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/06Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/24Floor-sweeping machines, motor-driven
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/28Floor-scrubbing machines, motor-driven
    • A47L11/282Floor-scrubbing machines, motor-driven having rotary tools
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4002Installations of electric equipment
    • A47L11/4008Arrangements of switches, indicators or the like
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4011Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4061Steering means; Means for avoiding obstacles; Details related to the place where the driver is accommodated
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805Parameters or conditions being sensed
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2847Surface treating elements
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2852Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0014Image feed-back for automatic industrial control, e.g. robot with camera
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04Automatic control of the travelling movement; Automatic obstacle detection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Robotics (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Electric Vacuum Cleaner (AREA)
  • Image Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Manipulator (AREA)

Description

<関連出願>
本出願は、2020年8月26日に提出された中国特許出願202010872327.3号の優先権を主張し、上記の中国特許出願の開示内容の全体が参照により本出願に組み込まれる。
本開示は、自走式ロボットの技術分野に関し、特に障害物検出方法および装置、自走式ロボット並びに記憶媒体に関する。
人工知能技術の発展に伴い、掃除ロボット、モップがけロボット、掃除機、除草機などの様々な知能ロボットが出現している。これらの掃除ロボットは、動作中に周囲の障害物を自動的に識別し、障害物に対して回避動作を行うことができ、これらの掃除ロボットは、労働力を解放し、人件費を削減するだけでなく、掃除効率を向上させることができる。
しかし、既存の掃除ロボットの画像収集装置は、限られた種類の障害物しか識別することができず、通常、撮影された障害物画像は、過去のデータベースに格納されている画像と照合され、照合に成功すると、撮影対象が靴などの特定の種類の障害物であると特定される。さらに、掃除ロボットは、レーザー装置を用いて障害物を特定してもよい。しかし、レーザー装置は通常、掃除ロボットの上面に配置され、レーザー装置は掃除ロボットの周囲の障害物を特定するために水平方向に信号を送受信し、掃除ロボット自体に高さがあり、レーザー装置も高さがあるため、レーザー装置は、掃除ロボットの高さより高い障害物しか検出できず、高さの低い障害物に誤って接触してしまい、使用感が悪くなることがある。
これに鑑み、本開示の実施例は、自走式ロボットが一定の高さ範囲内のあらゆる障害物を回避できるように、障害物検出方法および装置、自走式ロボット並びに記憶媒体を提供する。
本開示の実施例は、自走式ロボットに適用される障害物検出方法を提供し、この方法は、画像収集装置によって収集された障害物情報を深度情報に変換するステップと、前記深度情報をポイントクラウドマップに転換し、前記障害物の各基準点の座標データを決定するステップと、前記ポイントクラウドマップから高さ方向上の有効分析範囲を選択するステップと、前記有効分析範囲内で、前記各基準点の座標データに基づいて、前記有効分析範囲内に障害物が存在するかどうかを分析するステップとを含む。
選択可能に、前記有効分析範囲内で、前記各基準点の座標データに基づいて、前記有効分析範囲内に障害物が存在するかどうかを分析するステップは、前記有効分析範囲内の前記各基準点の3D座標データを2D座標データに変換するステップと、前記有効分析範囲内で、前記各基準点の2D座標データに基づいて、前記有効分析範囲内に障害物が存在するかどうかを分析するステップと、を含む。
選択可能に、前記有効分析範囲内で、前記各基準点の2D座標データに基づいて、前記有効分析範囲内に障害物が存在するかどうかを分析するステップは、前記自走式ロボットの走行過程で形成される確率マップを取得するステップと、前記確率マップに基づいて、前記各基準点の2D座標データ中のノイズポイント座標データをフィルタリングし、フィルタリング後の前記各基準点の2D座標データに基づいて前記有効分析範囲内に障害物が存在するかどうかを分析するステップとを含む。
選択可能に、前記確率マップに基づいて、前記各基準点の2D座標データ中のノイズポイント座標データをフィルタリングするステップは、前記確率マップにおいて、前記障害物の確率値が予め設定された確率閾値よりも大きい場合に、前記確率マップ内の障害物の位置座標データを取得するステップと、前記障害物の位置座標データと前記各基準点の2D座標データを比較し、前記障害物の位置座標データと前記各基準点の2D座標データとの距離が所定値よりも大きい場合、前記2D座標データをフィルタリングするステップとを含む。
選択可能に、前記有効分析範囲内で、前記各基準点の2Dまたは3D座標データに基づいて、前記有効分析範囲内に障害物が存在するかどうかを分析するステップは、前記有効分析範囲内で、前記各基準点をクラスタリングし、隣接する基準点の座標データからの距離が第2所定値よりも小さいすべての基準点を1つの領域とするステップと、各領域のサイズをそれぞれ判断し、前記サイズが第3所定値以上である場合、前記有効分析範囲内に障害物が存在すると判断するステップとを含む。
選択可能に、前記領域のサイズは、領域の面積/体積、領域の直径、および、領域の幾何学的中心を横切る最小距離のうちの少なくとも1つを含む。
選択可能に、前記有効分析範囲内に障害物が存在するかどうかを分析した後、さらに、前記有効分析範囲内に障害物が存在するとき、前記障害物のサイズ範囲が予め設定された閾値未満であるかどうかを判断するステップと、前記障害物のサイズ範囲が予め設定された閾値未満であるとき、前記障害物からの予め設定された距離範囲内でサイドブラシ回転速度を低下させるように前記自走式ロボットを制御するステップとを含む。
本開示の実施例は、自走式ロボットに適用される障害物検出方法を提供し、それは、画像収集装置によって収集された障害物情報を深度情報に変換するステップと、前記深度情報をポイントクラウドマップに転換し、前記ポイントクラウドマップから有効分析範囲を選択するステップと、前記有効分析範囲内で、障害物が存在すると判断された場合、前記障害物のサイズに応じたナビゲーションを行うステップとを含む。
選択可能に、前記障害物のサイズに応じたナビゲーションを行うステップは、具体的に、前記障害物のサイズが予め設定された閾値未満であるとき、前記障害物からの予め設定された距離範囲内でサイドブラシ回転速度を低下させるように前記自走式ロボットを制御するステップを含む。
選択可能に、前記障害物のサイズに応じたナビゲーションを行うステップは、具体的に、前記障害物のサイズまたはこの障害物が位置する範囲に応じて、その障害物回避距離を決定し、前記障害物回避距離で障害物回避ポリシーの実行を開始させるように前記自走式ロボットを制御するステップを含む。
選択可能に、前記深度情報をポイントクラウドマップに転換した後、さらに、
前記障害物上の各基準点の座標データを決定するステップと、
前記有効分析範囲内で、前記各基準点をクラスタリングし、隣接する基準点の座標データからの距離が第2所定値よりも小さいすべての基準点を1つの領域とするステップと、
各領域のサイズをそれぞれ判断し、前記領域のサイズが第3所定値以上である場合、前記有効分析範囲内に障害物が存在すると判断するステップとを含む。
選択可能に、前記領域のサイズは、領域の面積/体積、領域の直径、および、領域の幾何学的中心を横切る最小距離、領域の高さのうちの少なくとも1つを含む。
選択可能に、前記障害物のサイズに応じたナビゲーションを行うステップは、具体的に、前記障害物の高さが予め設定された高さよりも大きいと判断された場合、障害物回避ポリシーを実行するステップを含む。
本開示の実施例は、自走式ロボットに適用される障害物検出装置を提供し、それは、画像収集装置によって収集された障害物情報を深度情報に変換するために使用される変換ユニットと、前記深度情報をポイントクラウドマップに転換し、前記障害物上の各基準点の座標データを決定するために使用される転換ユニットと、前記ポイントクラウドマップから高さ方向上の有効分析範囲を選択するために使用される決定ユニットと、前記有効分析範囲内で、前記各基準点の座標データに基づいて、前記有効分析範囲内に障害物が存在するかどうかを分析するために使用される分析ユニットとを含む。
本開示の実施例は、自走式ロボットを提供し、それは、プロセッサとメモリとを備え、前記メモリに前記プロセッサによって実行可能なコンピュータープログラムコマンドが記憶され、前記プロセッサによって前記コンピュータープログラムコマンドが実行されると、上記のいずれか1つに記載の方法のステップが実行される。
本開示の実施例は、コンピュータープログラムコマンドが記憶される非一時的なコンピューター可読記憶媒体を提供し、前記コンピュータープログラムコマンドがプロセッサによって呼び出され実行されると上記のいずれか1つに記載の方法のステップが実行される。
従来の技術に比較すると、本発明は少なくとも以下の技術的効果を有する。
本開示の実施例は、障害物検出方法および装置、自走式ロボット並びに記憶媒体を提供し、障害物検出方法は、自走式ロボット自身によって得られた一定高さ範囲内の深度画像を用いて、深度画像に対して座標変換、データクラスタリングなどの処理を行い、現在の深度画像に障害物が存在するかどうかを正確に判断することができる。この方法は、自走式ロボットの走行経路中のあらゆるオブジェクトを検出し、従来手法における障害物の種類の制限を打破することができると同時に、レーザー装置の検出高さの不具合を改善し、自走式ロボットの障害物検出能力をさらに向上させ、自走式ロボットの障害物回避性能を高めることができる。
本開示の実施例または従来技術における技術的解決策をより明確に説明するために、以下、実施例または従来技術の説明で使用する必要がある図面を簡単に説明するが、明らかに、以下で説明される図面は本開示のいくつかの実施例に過ぎず、当業者にとって、創造的な労働をすることなく、これらの図面に基づいて他の図面を得ることができる。
本開示の実施例によって提供される応用シナリオの概略図である。 本開示の実施例によって提供される自走式ロボット構造の斜視図である。 本開示の実施例によって提供される自走式ロボット構造の上面図である。 本開示の実施例によって提供される自走式ロボット構造の底面図である。 本開示の実施例によって提供される自走式ロボット障害物検出方法のフローチャートである。 本開示の実施例によって提供される両眼測距原理の構造図である。 本開示の実施例によって提供される両眼測距幾何学的構造の概略図である。 本開示の実施例によって提供される平面座標系の概略図である。 本開示の実施例によって提供される三次元座標系の概略図である。 本開示の実施例によって提供されるクラスタリング方法の構造概略図である。 本開示の別の実施例によって提供される自走式ロボット障害物検出方法のフローチャートである。 本開示の実施例によって提供される障害物検出装置の構造概略図である。 本開示の別の実施例によって提供される障害物検出装置の構造概略図である。 本開示の実施例によって提供されるロボットの電子構造の概略図である。
本開示の実施例の目的、技術的解決策、および利点をより明確にするために、以下、本開示の実施例の図面を参照して、本開示の実施例における技術的解決策を明確かつ完全に説明する。明らかに、説明される実施例は本開示の一部の実施例に過ぎず、すべての実施例ではない。本開示の実施例に基づいて、当業者が創造的な労働をすることなく得られた他の実施例は、すべて本開示の保護範囲に含まれる。
本開示の実施例は、可能な応用シナリオを提供する。いくつかの実施例では、この応用シナリオは自走式ロボット、モップ掛けロボット、掃除機、除草機などの自動掃除装置100を含む。本実施例では、図1に示すように、家庭用自走式ロボットを例にして説明すると、自走式ロボットの作業過程中、自走式ロボットの先端に設けられた画像収集装置によって前方の視野画像をリアルタイムで取得し、視野画像の分析により障害物200などの有無を判断し、認識結果に応じて自走式ロボットの走行経路を制御する。本実施例では、ロボットは、走行経路中の画像を取得するための1つまたは複数の画像収集装置を備えてもよく、ロボットは、ユーザによって入力された操作コマンドを受け取るためにタッチセンシティブディスプレイまたは携帯端末により制御されてもよい。自走式ロボットは、様々なセンサー、例えばバッファ、クリフセンサー、超音波センサー、赤外線センサー、地磁気センサー、加速度計、ジャイロスコープ、またはオドグラフなどのセンシング装置を備えてもよく、ロボットは、WIFIモジュール、Bluetooth(登録商標)モジュールなどの無線通信モジュールを備え、知能端末またはサーバーに接続されて、無線通信モジュールを介して知能端末またはサーバーからの操作コマンドを受け取ってもよい。
図2に示すように、自動掃除装置100は本体110によって規定される以下の3つの互いに垂直な軸、すなわち前後軸X、横軸Y、および中心縦軸Zの移動の種々の組合せに対して地面を移動し得る。前後軸Xに沿って進む駆動方向を「前進」と表記し、前後軸Xに沿って後退する駆動方向を「後進」と表記する。横軸Yの方向は、実質的に駆動輪モジュール141の中心点によって定義される軸に沿ってロボットの右輪と左輪間に延在する方向である。
自動掃除装置100は、Y軸周りに回転することができる。自動掃除装置100の前進部分が上方に傾き、後進部分が下方に傾く場合を「ピッチアップ」と呼び、自動掃除装置100の前進部分が下方に傾き、後進部分が上方に傾く場合を「ピッチダウン」と呼ぶ。さらに、ロボット100はZ軸周りに回転してもよい。自動掃除装置100の前進方向において、自動掃除装置100がX軸の右側に傾く場合を「右回り」と呼び、自動掃除装置100がX軸の左側に傾く場合を「左回り」と呼ぶ。
図3に示すように、自動掃除装置100は、機器本体110、感知システム120、制御システム、駆動システム140、掃除システム、エネルギーシステム、およびマンマシンインタラクションシステム180を備える。
機器本体110は、前進部分111と後進部分112を備え、ほぼ円形状(前方および後方の両方とも円形)を有するか、長方形の前方および円形の後方のほぼD字形の形状や長方形の前方および長方形の後方の長方形、または正方形の形状などの他の形状であり得るが、これらに限定されない。
図3に示すように、感知システム120は、機器本体110上の位置決定装置121と、機器本体110の前進部分111のバッファ122に設けられた衝突センサーおよび近接センサーと、機器本体の下部に設けられたクリフセンサー、および機器本体の内部に設けられた地磁気センサー、加速度計、ジャイロスコープ(Gyro)、オドグラフ(ODO、odograph)などのセンシング装置と、を含み、機器の各種位置情報および運動状態情報を制御システム130へ提供するように構成される。位置決定装置121は、カメラ、レーザー測距装置(LDS、Laser Direct Structuring)などを含むが、これらに限定されない。
図3に示すように、機器本体110の前進部分111はバッファ122を搭載し、掃除過程中、駆動輪モジュール141がロボットを押して地面を移動するとき、バッファ122はその上に設けられたセンサーシステム、例えば赤外線センサーを用いて、自動掃除装置100の走行経路における1つまたは複数のイベントを検出し、自動掃除装置100は、バッファ122で検出したイベント、例えば障害物、壁などに基づいて、駆動輪モジュール141を制御して、自動掃除装置100が前記イベントに応答する、例えば障害物から離れる。
制御システム130は機器本体110内の回路基板上に配置され、ハードディスク、フラッシュメモリ、またはランダムアクセスメモリなどの非一時的なメモリと通信する、中央処理ユニット、アプリケーションプロセッサなどの演算プロセッサを含み、アプリケーションプロセッサは、レーザー測距装置からフィードバックされた障害物情報に従ってインスタントロケーションとマップ構築との同時実行(SLAM、Simultaneous Localization And Mapping)などの位置特定アルゴリズムを利用し、ロボットが位置する環境におけるインスタントマップを描画する。また、バッファ122上に設けられたセンサー、クリフセンサー、地磁気センサー、加速度計、ジャイロスコープ、オドグラフなどのセンシング装置からフィードバックされた距離情報、速度情報を参照して、敷居越え、カーペット上の移動、クリフでの位置特定、上部または下部での立ち往生、ダストボックス満杯、拾い上げなどの自己移動ロボットの現在の作業状態、位置、現在の姿勢を総合的に判断し、さらに、異なるケースに対して特定の次の動作ポリシーを提供することで、ロボットの作業が所有者の要求をより良く満たし、より良いユーザーエクスペリエンスを提供する。
図4に示すように、駆動システム140は、距離および角度情報(例えばx、yおよびθ成分)を有する駆動命令に基づいて、ロボット100を動作させて地面を横切って移動させることができる。駆動システム140は駆動輪モジュール141を含み、駆動輪モジュール141は左輪と右輪を同時に制御でき、機器の運動をより精度よく制御するために、駆動輪モジュール141はそれぞれ左駆動輪モジュールおよび右駆動輪モジュールを含むことが好ましい。左駆動輪モジュールおよび右駆動輪モジュールは本体110によって規定される横軸に沿って対向している。ロボットが地面上でより安定的にまたはより強く移動できるようにするために、ロボットは1つまたは複数の従動輪142を含み、従動輪は、ユニバーサル輪を含むが、これに限定されない。駆動輪モジュールは走行輪、駆動モータおよび駆動モータを制御するための制御回路を含み、駆動輪モジュールは駆動電流を測定するための回路、オドグラフをさらに接続してもよい。駆動輪モジュール141は、分解および修理を容易にするために、本体110に着脱可能に接続される。駆動輪は、ロボット本体110に回転可能な態様で取り付けられ移動可能に固定され、ロボット本体110から下方にオフセットして離れているバネオフセットを受け入れるオフセットドロップサスペンションシステムを含んでもよい。バネオフセットにより、駆動輪が一定の力で地面との接触および牽引を維持する同時に、自動掃除装置100の掃除要素も一定の圧力で地面10に接触する。
掃除システムは、乾式掃除システムおよび/または湿式掃除システムであってもよい。乾式掃除システムとして、ローラーブラシ、ダストボックス、ファン、空気排出口およびそれらの間の接続部品によって形成されるクリーニングシステム151から主な掃除機能が得られる。地面に干渉するローラーブラシは、地面上のゴミを掃き、ローラーブラシとダストボックスとの間の吸込口の前まで転がした後、ファンによって発生したダストボックスを通過させる吸引ガスによって、ゴミをダストボックス内に吸引させる。乾式掃除システムは、ゴミを掃除システムのローラーブラシ領域に移動させるために地面に対して角度を有する回転軸を有するサイドブラシ152をさらに含んでもよい。
エネルギーシステムは、ニッケル水素電池やリチウム電池などの充電電池を含む。充電電池は充電制御回路、電池パック充電温度検出回路および電池電圧低下監視回路に接続される。充電制御回路、電池パック充電温度検出回路、および電池電圧低下監視回路はワンチップマイコン制御回路に接続される。ホストは本体の側面または下方に配置された充電電極を介して充電パイルに接続することにより充電される。裸の充電電極にゴミが付着すると、充電過程の電荷蓄積効果により電極周囲のプラスチック体が溶融変形し、電極自体も変形してしまい、充電が正常に継続できなくなる。
マンマシンインタラクションシステム180は、ホストパネル上のボタンを含み、ボタンはユーザが機能を選択するために使用され、表示画面および/またはインジケータおよび/またはスピーカをさらに含む。表示画面、インジケータ、およびスピーカ、はユーザに機器の現在状態または機能選択肢を提示するために使用される。マンマシンインタラクションシステム180は、携帯電話クライアントプログラムをさらに含んでもよい。パスナビゲーション型自動掃除装置の場合、携帯電話クライアントは、装置の環境地図、および機器の位置をユーザに表示し、ユーザにより豊かで個別化された機能項目を提供することができる。
本開示の実施例は、障害物検出方法を提供し、この方法は、上記の自走式ロボットに適用され、自走式ロボット本体に設けられた画像収集装置により正面画像を取得し、この画像を分析し、画像内に障害物が存在するかどうかを判断し、認識結果に応じて自走式ロボットの走行経路を制御するようにする。
図5の方法ステップのように、障害物検出方法は、自走式ロボットに応用され、具体的に以下の方法のステップを含み、方法のステップ番号は必ずしも順番を問わない。
ステップS502:画像収集装置によって収集された障害物情報を深度情報に変換する。画像収集装置はカメラであり得るが、これに限定されない。
3Dコンピューターグラフィックスおよびコンピュータービジョンにおいて、オブジェクトの深度情報は、シナリオ対象の表面から視点までの距離に関する情報を含む画像または画像チャンネルである。深度画像の各画素点のグレースケール値は、シナリオ中のある点と画像収集装置との距離を表すために使用されてもよい。
例えば、深度情報の取得方法は両眼立体ビジョンであり、この方法は、ある距離だけ離れた2台のカメラが同時に同じシナリオの2つの画像を取得し、三次元マッチングアルゴリズムを用いて2つの画像内の対応する画素点を見つけ、三角測量原理に従って視差情報を計算する。視差情報は、変換されてシナリオ中のオブジェクトの深度情報を表示するために使用され得る。三次元マッチングアルゴリズムに基づき、同じシナリオ内の異なる角度の画像群を撮影することでこのシナリオの深度情報を取得することも可能である。
図6は両眼立体ビジョンの原理図であり、OL、ORは左右のカメラの光学中心であり、それらの光軸とそれぞれの撮影面は図6に示される。両眼カメラの内部および外部パラメータは同じであり、焦点距離をf、光学中心間の距離(基線)をB、両眼カメラが同一平面上にあり、すなわち、それらの投影中心のY座標が等しいと仮定している。同じ時刻の両眼カメラ上の空間点P(x、y、z)の撮影点をそれぞれP、Pとする。
図7に示すように、数1の式は、三角形の相似則である。
数1の式を変換した後、次の数2および数3の式が得られる。
上記の式から分かるように、カメラの焦点距離f、左右のカメラ基線b(事前情報やカメラキャリブレーションを用いて得られる)、視差d(左カメラの画素点(xl、yl)と右カメラの対応点(xr、yr)との関係)が求められると、空間点Pと自走式ロボットの距離(深度)zを求めることができる。
ステップS504:前記深度画像をポイントクラウドマップに転換し、前記障害物の各基準点の3D座標データを決定する。なお、基準点とは、広義的に、障害物上の距離を検出できる点を指し、障害物上の境界点、特徴点などが考えられるが、これらに限定されない。
深度画像の各画素は画素座標系と画像座標系とを満たし、ポイントクラウドマップ内の各点は世界座標系を満たす。深度画像をポイントクラウドマップに転換する具体的な転換原理を以下に説明する。
カメラ撮像過程中、画素座標系、画像座標系、カメラ座標系および世界座標系の4つの座標系が存在する。図8に示すように、画素座標系は画像の左上隅を原点Oとし、水平座標(u、v)はそれぞれ画像中の画素の列数と行数を示し、画像座標系の原点はカメラの光軸と画像平面の交点であり、一般に画像平面の中心であり、x軸はu軸と平行、y軸はv軸と平行である。画素座標系O0-uvにおけるOの座標を(u、v)とし、dx、dyは横軸と縦軸上の単位画素の物理寸法とすると、2つの座標系間には次の数4の式の関係が存在する。
同次行列は次の数5の式のように表される。
さらに、次の数6の式のように変換される。
図9は、カメラの撮像原理図であり、Oはカメラの光学中心であり、zはカメラの光軸であり、光軸と画像平面の交点はOである。また、座標系O-xをカメラ座標系、Ow-xを世界座標系とし、OO間の距離をカメラの焦点距離fとする。
カメラ座標系から画像座標系への式変換関係は、以下の数7の式の通りである。
同次行列は以下の数8の式のように表される。
世界座標系とカメラ座標系の変換関係は次の数9の式の通りである。
Rは回転行列であり、Tはトランスレーション行列である。
なお、上記の原理の説明は導入的な記述にのみ使用され、変換原理を限定する唯一の解として理解されないことに留意されたい。
ステップS506:前記ポイントクラウドマップから高さ方向上の有効分析範囲を選択する。
通常、自走式ロボットの高さは10cm以上であるため、自走式ロボットの上部に設けられたレーザーレーダー装置は高さ10cm以上の障害物のみを検出することができる。自走式ロボットの障害物を越えられる高さが1~2cmであるため、選択される高さ範囲は3~9cmであることが好ましく、この場合、カメラの視野方向が自走式ロボットの動作時の移動方向に向くため、レーザーレーダーの不感区域が検出されることがある。この場合、得られたポイントクラウドマップの高さ範囲が3~9cmの3Dデータ点を分析し、理想的な目標障害物を正確に求めることができる。
ステップS508:前記有効分析範囲内で、前記各基準点の座標データに基づいて、前記有効分析範囲内に障害物が存在するかどうかを分析する。
選択可能な具体的な実施形態において、前記有効分析範囲内で、前記各基準点の座標データに基づいて、前記有効分析範囲内に障害物が存在するかどうかを分析するステップは、以下の方法のステップを含む。
ステップS508-2:座標データが3D座標である場合、前記有効分析範囲内の前記各基準点の3D座標データを2D座標データに変換することができる。具体的な変換過程は上記したとおりであり、ここで詳細な説明を省略し、3Dポイントクラウドデータを2D座標データに転換することにより、データ処理量を効果的に削減でき、データ処理効率を向上させることができる。
ステップS508-4:前記有効分析範囲内で、前記各基準点の2D座標データに基づいて、前記有効分析範囲内に障害物が存在するかどうかを分析する。
選択可能な具体的な実施形態において、前記有効分析範囲内で、前記各基準点の2D座標データに基づいて、前記有効分析範囲内に障害物が存在するかどうかを分析するステップは、以下のサブステップを含む。
ステップS508-4-2:前記自走式ロボットの走行過程で形成される確率マップを取得する。
自走式ロボットは走行過程中、リアルタイムで障害物検出を行い、障害物が検出された場合、マップ上の対応する推定位置の確率値を増加させ、障害物が検出されない部分について、対応のマップ領域を算出し、この領域内における確率値を下げる。
確率マップは、システム状態ベクトルの平均と分散の現在推定値を含む。前者は、世界基準システムの下でのマップ内のオブジェクトの公称位置を示し、後者は、マップ内の各基準点の不確実性、およびこれらの不確実性の相互依存度合いを示す。
前記確率マップは、自走式ロボットの履歴走行軌跡過程中、複数回の履歴経験を用いて、その位置に障害物が存在するかどうかを判断し、障害物が存在するかどうかの位置をマークし、同時にその位置が障害物である確率値をマークする。例えば、その位置に障害物が存在する確率値は80%または30%である。確率マップは自走式ロボット自体の記憶装置に格納され、確率データおよび位置データは自走式ロボットの動作に伴って連続的に更新される。
ステップS508-4-4:前記確率マップに基づいて、前記各基準点の2D座標データ中のノイズポイント座標データをフィルタリングし、フィルタリング後の前記各基準点の2D座標データに基づいて前記有効分析範囲内に障害物が存在するかどうかを分析する。
選択可能な具体的な実施形態として、前記確率マップに基づいて、前記各基準点の2D座標データ中のノイズポイント座標データをフィルタリングするステップは、以下のサブステップを含む。
ステップS508-4-4-2:前記確率マップにおいて、前記障害物の確率値が予め設定された確率閾値よりも大きい場合に、前記確率マップ内の障害物の位置座標データを取得する。
確率マップにおいて、選択された障害物目標は、その確率値が予め設定された閾値よりも大きい障害物目標である。例えば、ある障害物目標Aの確率が50%、他の障害物目標Bの確率が60%である場合、確率閾値を55%とすると、障害物目標Bの座標データを考慮し、障害物目標Aを無視する。選択する確率マップ内の障害物目標が決定された場合、各障害物目標の座標データは、例えばB(x、y)と表されるように取得され得る。
ステップS508-4-4-4:前記障害物の位置座標データと前記各基準点の2D座標データを比較し、前記障害物の位置座標データと前記各基準点の2D座標データの距離が所定値よりも大きい場合、前記2D座標データをフィルタリングする。
例えば、確率マップから選択された障害物目標B(x、y)の座標値と両眼カメラで得られた2Dデータ中のある点Cの座標値C(x、y)とを比較し、前記障害物の位置座標データと前記各基準点の2D座標データの距離が所定値よりも大きい場合、前記2D座標データをフィルタリングする。すなわち、B(x、y)とC(x、y)の距離が十分に遠い場合、前記2D座標データをフィルタリングし、この場合、点C(x、y)がノイズであると判断される。なお、所定値は実験データに従って決定されてもよく、ここで限定されない。
選択可能な具体的な実施形態として、前記有効分析範囲内で、前記各基準点の2D座標データに基づいて、前記有効分析範囲内に障害物が存在するかどうかを分析するステップは、以下のステップを含む。
前記有効分析範囲内で、前記各基準点をクラスタリングし、隣接する基準点の座標データからの距離が第2所定値よりも小さいすべての基準点を1つの領域とし、各領域のサイズをそれぞれ判断し、前記サイズが第3所定値以上である場合、前記有効分析範囲内に障害物が存在すると判断する。
図10に示すように、例えば3~9cmの高さ距離範囲内で、画像中のこの範囲内の各基準点と隣接する点との座標データの距離を算出し、距離値が第2所定値よりも小さいすべての基準点を1つの領域、例えば領域D、E、F、Gとし、点H、Kは第2所定値を超えるので、ノイズポイントとして判断することができる。なお、第2、第3所定値は画素サイズに応じて設定され、ここで限定されない。
次に、各領域のサイズをそれぞれ判断し、前記大きさが第3所定値以上である場合、前記有効分析範囲内に障害物が存在すると判断する。前記サイズは、各領域の面積、各領域の直径(領域がほぼ円形の領域を形成する場合に領域の直径を取得)、および、各領域の幾何学的中心を横切る最小距離のうちの少なくとも1つを含む。図10に示すように、領域D、E、F、Gについては、障害物に属し、領域中の各点が障害物表面の点に属し、点H、Kが非障害物であると判断する。
別の選択可能な具体的な実施形態として、前記有効分析範囲内で、前記各基準点の座標データに基づいて、前記有効分析範囲内に障害物が存在するかどうかを分析するステップは、以下のステップを含む。
前記有効分析範囲内で、前記各基準点をクラスタリングし、隣接する点の3D座標データとの距離が第4所定値よりも小さいすべての基準点を1つの三次元領域とし、各三次元領域のサイズをそれぞれ判断し、前記大きさが第5所定値以上である場合、前記有効分析範囲内に障害物が存在すると判断する。
例えば、3~9cmの高さ距離範囲内で、範囲内の各基準点と3D空間範囲内で隣接する点の座標データとの距離を算出し、距離値が第4所定値よりも小さいすべての基準点を1つの領域とし、すべての座標点を処理した後、各三次元領域のサイズをそれぞれ判断し、前記サイズが第5所定値以上である場合、前記有効分析範囲内に障害物が存在すると判断する。前記サイズは、各領域の体積、各領域の直径(領域がほぼ円形の領域を形成する場合領域の直径を取得)、各領域の幾何学的中心を横切る最小距離、および、領域の高さのうちの少なくとも1つを含む。なお、第4、第5所定値は、画素大きさに応じて設定され、ここで限定されない。
選択可能な具体的な実施形態として、前記有効分析範囲内に障害物が存在するかどうかを分析した後、以下のステップを含む。
ステップS510:前記有効分析範囲内に障害物が存在するとき、前記障害物のサイズ範囲が予め設定された閾値未満であるかどうかを判断し、前記障害物のサイズ範囲が予め設定された閾値未満であるとき、前記障害物からの予め設定された距離範囲内でサイドブラシ回転速度を低下させるように前記自走式ロボットを制御する。
上記方法のステップによれば、障害物であるかどうかを判断でき、さらに、領域面積の大きさに従って障害物の大きさを決定し、実験データを参照して1つの予め設定された閾値を設定する。この閾値は領域面積または画素量であってもよいが、具体的な閾値に限定されない。この閾値を超えると、大サイズの障害物、それ以外の場合小サイズの障害物と判断する。小サイズ障害物に対して、障害物回避を行わず、前記障害物からの予め設定された距離範囲内でサイドブラシの回転速度を低下させ、小型障害物を吹き飛ばさないように前記自走式ロボットを制御する。大サイズ障害物に対して、前記障害物からの予め設定された距離範囲内で障害物回避操作を行うように前記自走式ロボットを制御する。
本開示の実施例は、障害物検出方法を提供し、この方法は、自走式ロボット自身で取得した一定高さ範囲内の深度画像を用いて、深度画像に対して座標変換、データクラスタリングなどの処理を行い、現在深度画像内に障害物が存在するかどうかを正確に判断する。この方法は、自走式ロボット走行経路中のあらゆるオブジェクトを検出し、従来方法における障害物種類の制限を打破すると同時に、レーザー装置の検出高さの不具合を改善し、自走式ロボットの障害物検出能力をさらに高め、自走式ロボットの障害物回避性能を向上させることができる。
図11に示すように、本開示の別の実施例は、障害物検出方法を提供し、自走式ロボットに応用され、以下の方法のステップを含む。
ステップS1102:画像収集装置によって収集された障害物情報を深度情報に変換する。
このステップの過程は上記実施例ステップS502を参照し、ここで詳細な説明を省略する。
ステップS1104:前記深度情報をポイントクラウドマップに転換し、前記ポイントクラウドマップから有効分析範囲を選択する。
前記深度情報をポイントクラウドマップに転換する過程は上記実施例ステップS504を参照し、前記ポイントクラウドマップから有効分析範囲を選択する過程は上記実施例ステップS5011を参照し、ここで詳細な説明を省略する。
ステップS1108:前記有効分析範囲内で、障害物が存在するかどうかを決定し、前記障害物のサイズに応じたナビゲーションを行う。
一実施形態として、前記有効分析範囲内で、障害物が存在するかどうかを決定するステップは、以下のサブステップを含む。
ステップS1108-1:前記有効分析範囲内で、前記各基準点をクラスタリングする。
ステップS1108-2:隣接する基準点の座標データからの距離が第2所定値よりも小さいすべての基準点を1つの領域とする。
ステップS1108-3:各領域のサイズをそれぞれ判断する。
ステップS1108-4:前記領域のサイズが第3所定値以上である場合、前記有効分析範囲内に障害物が存在すると判断する。選択可能に、前記サイズは、各領域の面積/体積、各領域の直径、および、各領域の幾何学的中心を横切る最小距離のうちの少なくとも1つを含む。
一実施形態として、前記障害物のサイズに応じたナビゲーションを行うステップは、前記障害物のサイズ範囲が予め設定された閾値未満であるとき、前記障害物からの予め設定された距離範囲内でサイドブラシ回転速度を低下させるように前記自走式ロボットを制御することを含む。
例えば、小サイズの障害物に対して、近距離でこの障害物を吹き飛ばさないように、比較的遠い障害物回避距離を選択することができる。具体的に、領域面積の大きさに応じて障害物のサイズを判断し、実験データを参照して1つの予め設定された閾値を設定する。この閾値は領域面積または画素量であってもよいが、具体的な閾値に限定されない。この閾値を超えた場合、大サイズの障害物、それ以外の場合小サイズの障害物であると判断する。小サイズの障害物に対して、障害物回避を行わず、小サイズの障害物を吹き飛ばさないために、前記障害物からの予め設定された距離範囲内でサイドブラシ回転速度を低下させるように前記自走式ロボットを制御することができる。
一実施形態として、前記障害物のサイズに応じたナビゲーションを行うステップは、前記障害物のサイズまたはこの障害物が位置する範囲に応じて、その障害物回避距離を決定し、前記障害物回避距離で障害物回避ポリシーの実行を開始させるように前記自走式ロボットを制御することをさらに含む。
予め設定された閾値を超えた大サイズの障害物に対して、前記障害物からの予め設定された距離範囲内で障害物回避操作を行うように前記自走式ロボットを制御する。通常、判断された障害物のサイズが大きいほど、障害物回避を実行する距離が小さくなり、障害物が大きいほど、サイドブラシからの影響を受けにくく、ロボットは障害物に沿って移動することも可能である。
一実施例として、前記障害物のサイズに応じたナビゲーションを行うステップは、具体的に、前記障害物の高さが予め設定された高さよりも大きいと判断された場合、障害物回避ポリシーを実行することを含む。このように、高さが一定値を超える障害物のみを回避する必要があり、高さが小さい場合、この障害物を直接越えることで、掃き出し欠落領域をさらに小さくすることができる。
図12に示すように、本開示の実施例は、障害物検出装置を提供し、上記の実施例に記載の方法のステップを実施するために使用される。同様の方法のステップは同じ技術的効果を有する。ここで詳細な説明を省略する。具体的に、前記障害物検出装置は、
画像収集装置によって収集された障害物情報を深度情報に変換するために使用される変換ユニット1202と、
前記深度情報をポイントクラウドマップに転換し、前記障害物の各基準点の座標データを決定するために使用される転換ユニット1204と、
前記ポイントクラウドマップから高さ方向上の有効分析範囲を選択する決定ユニット1206と、
前記有効分析範囲内で、前記各基準点の座標データに基づいて、前記有効分析範囲内に障害物が存在するかどうかを分析するために使用される分析ユニット1208と、を含む。
選択可能に、前記分析ユニット1208は、さらに、前記有効分析範囲内の前記各基準点の3D座標データを2D座標データに変換するために使用される。前記有効分析範囲内で、前記各基準点の2D座標データに基づいて、前記有効分析範囲内に障害物が存在するかどうかを分析する。
選択可能に、前記分析ユニット1208は、さらに、前記自走式ロボットの走行過程で形成される確率マップを取得し、前記確率マップに基づいて、前記各基準点の2D座標データ中のノイズポイント座標データをフィルタリングし、フィルタリング後の前記各基準点の2D座標データに基づいて前記有効分析範囲内に障害物が存在するかどうかを分析するために使用される。
選択可能に、前記分析ユニット1208は、さらに、前記確率マップにおいて、前記障害物の確率値が予め設定された確率閾値よりも大きいときに、前記確率マップ内の障害物の位置座標データを取得し、前記障害物の位置座標データと前記各基準点の2D座標データを比較し、前記障害物の位置座標データと前記各基準点の2D座標データの距離が所定値よりも大きい場合、前記2D座標データをフィルタリングするために使用される。
選択可能に、前記分析ユニット1208は、さらに、前記有効分析範囲内で、前記各基準点をクラスタリングし、隣接する点の座標データからの距離が第2所定値未満のすべての基準点を1つの領域とし、各領域のサイズをそれぞれ判断し、前記サイズが第3所定値以上である場合、前記有効分析範囲内に障害物が存在すると判断する。前記サイズは、各領域の面積/体積、各領域の直径、および、各領域の幾何学的中心を横切る最小距離のうちの少なくとも1つを含む。
制御ユニット(図示しない)をさらに含み、前記有効分析範囲内に障害物が存在するとき、前記障害物のサイズ範囲が予め設定された閾値未満であるかどうかを判断し、前記障害物のサイズ範囲が予め設定された閾値未満であるとき、前記障害物から予め設定された距離範囲内でサイドブラシ回転速度を低下させるように前記自走式ロボットを制御し、上記障害物のサイズ範囲が予め設定された閾値以上である場合、前記障害物からの予め設定された距離範囲内で障害物回避操作を行うように前記自走式ロボットを制御するために使用される。
本開示の実施例は、障害物検出装置を提供し、自走式ロボットの両眼カメラで取得した自走式ロボットの一定の高さ範囲内の深度画像を用いて、深度画像に対して座標変換、データクラスタリングなどの処理を行い、現在深度画像内に障害物が存在するかどうかをより正確に判断する。この方法は、自走式ロボット走行経路中のあらゆるオブジェクトを検出し、従来方法における障害物種類の制限を打破すると同時に、レーザー装置の検出高さの不具合を改善し、自走式ロボットの検出障害物能力をさらに高め、自走式ロボットの障害物回避性能をさらに向上させることができる。
図13に示すように、本開示の別の実施例は、障害物検出装置を提供し、上記の実施例に記載の方法のステップを実施する。同様の方法のステップは同じ技術的効果を有する。ここで詳細な説明を省略する。具体的に、前記障害物検出装置は、
画像収集装置によって収集された障害物情報を深度情報に変換するために使用される画像変換ユニット1302と、
前記深度画像をポイントクラウドマップに転換し、前記障害物の各基準点の座標データを決定するために使用される画像転換ユニット1304と、
前記ポイントクラウドマップから有効分析範囲を選択するために使用される範囲選択ユニット1306と、
前記有効分析範囲内で、障害物が存在するかどうかを決定し、前記障害物のサイズに応じたナビゲーションを行うために使用されるナビゲーション実行ユニット1308と、を含む。
一実施形態として、決定ユニット1308は、さらに、前記有効分析範囲内で、前記各基準点をクラスタリングし、隣接する点の座標データからの距離が第2所定値未満のすべての基準点を1つの領域とし、各領域のサイズをそれぞれ判断し、前記領域のサイズが第3所定値以上である場合、前記有効分析範囲内に障害物が存在すると判断するために使用される。選択可能に、前記サイズは、各領域の面積/体積、各領域の直径、各領域の幾何学的中心を横切る最小距離、および、領域の高さのうちの少なくとも1つを含む。
一実施形態として、前記障害物のサイズに応じたナビゲーションを行うステップは、前記障害物のサイズ範囲が予め設定された閾値未満であるとき、前記障害物からの予め設定された距離範囲内でサイドブラシ回転速度を低下させるように前記自走式ロボットを制御することを含む。
一実施形態として、前記障害物のサイズに応じたナビゲーションを行うステップは、前記障害物のサイズまたはその範囲に応じて、その障害物回避距離を決定し、前記障害物回避距離で障害物回避ポリシーの実行を開始させるように前記自走式ロボットを制御することをさらに含む。
本開示の実施例は、非一時的なコンピューター可読記憶媒体を提供し、コンピュータープログラムコマンドが記憶され、前記コンピュータープログラムコマンドはプロセッサによって呼び出され実行されると、上記のいずれか1つに記載の方法のステップが実行される。
本開示の実施例は、プロセッサとメモリとを含むロボットを提供し、前記メモリは前記プロセッサによって実行され得るコンピュータープログラムコマンドを記憶し、前記プロセッサは前記コンピュータープログラムコマンドを実行するとき、上記のいずれか1つの実施例の方法のステップを実行する。
図14に示すように、ロボットは、リードオンリーメモリ(ROM:Read Only Memory)1402に格納されたプログラムまたは記憶装置1408からランダムアクセスメモリ(RAM:Randam Access Memory)1403にロードされたプログラムに従って、各種の適切な動作および処理を実行し得る処理装置(例えば中央プロセッサ、グラフィックスプロセッサ等)1401をさらに含み得る。RAM1403には、電子ロボット1400の動作に必要な各種プログラムやデータが格納される。処理装置1401、ROM1402およびRAM1403は、バス1404を介して互いに接続される。入力/出力(I/O)インタフェース1405もバス1404に接続される。
通常、I/Oインタフェース1405には、例えばタッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイク、加速度計、ジャイロスコープなどの入力装置1406、液晶ディスプレイ(LCD)、スピーカ、振動子などの出力装置1407、ハードディスクなどの記憶装置1408、および、通信装置1409が接続され得る。通信装置1409は、電子ロボットが他のロボットと無線または有線で通信してデータを交換することを可能にし得る。図14は各種装置を有する電子ロボットを示しているが、すべての装置を実装または提供する必要がないことを理解されたい。代替的に、より多くまたは少ない装置を実行または提供してもよい。
特に、本開示の実施例によれば、上記のフローチャートを参照して説明された過程はロボットソフトウエアプログラムとして実装されてもよい。例えば、本開示の実施例は、ロボットソフトウエアプログラム製品を提供し、可読媒体に格納されたコンピュータープログラムを含む。このコンピュータープログラムは、フローチャートに示される方法のプログラムコードを含む。このような実施例では、このコンピュータープログラムは、通信装置1409を使用してネットワークからダウンロードされインストールされてもよく、または記憶装置1408からインストールされてもよく、またはROM1402からインストールされてもよい。このコンピュータープログラムは処理装置1401によって実行されると、本開示の実施例の方法で定義される上記機能が実行される。
なお、本開示のコンピューター可読媒体は、コンピューター可読信号媒体、またはコンピューター可読記憶媒体、または上記両者の任意の組み合わせであってもよいことに留意されたい。コンピューター可読記憶媒体は、例えば電気、磁気、光学、電磁、赤外線、または半導体のシステム、装置またはデバイス、または任意の組み合わせであってもよいが、これらに限定されない。コンピューター可読記憶媒体は、より具体的に、1つまたは複数の導電線を有する電気接続、携帯用コンピューターディスク、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、消去可能プログラム可能リードオンリーメモリ(EPROMまたはフラッシュメモリ)、光ファイバー、携帯用コンパクトディスクリードオンリーメモリ(CD-ROM)、光学記憶デバイス、磁気記憶デバイス、または上記の任意の適切な組み合わせであってもよいが、これらに限定されない。本開示において、コンピューター可読記憶媒体は、プログラムを含むか、格納するあらゆる有形媒体であってもよく、このプログラムはコマンド実行システム、装置またはデバイスによって使用され、または組み合わせて使用されてもよい。本開示において、コンピューター可読信号媒体は、コンピューター可読プログラムコードを含み、ベースバンドで伝搬される、またはキャリアの一部として伝搬されるデータ信号を含んでもよい。このような伝搬データ信号は、電磁信号、光信号または上記の任意の適切な組み合わせを含むが、これらに限定されない。コンピューター可読信号媒体は、コンピューター可読記憶媒体以外のあらゆるコンピューター可読媒体であってもよく、このコンピューター可読信号媒体は、コマンド実行システム、装置またはデバイスによって使用され、または組み合わせて使用されるプログラムを送信、伝搬または転送する。コンピューター可読媒体に含まれるプログラムコードは、電線、光ケーブル、RF(無線周波数)、または上記の任意の適切な組み合わせを含むあらゆる適切な媒体によって転送され得るが、これらに限定されない。
上記コンピューター可読媒体は、上記ロボットに含まれてもよいし、別々に存在し、このロボットに組み立てられなくてもよい。
本開示の動作を実行するためのコンピュータープログラムコードは、1つまたは複数のプログラム設計言語またはその組み合わせで書かれてもよく、上記プログラム設計言語は、オブジェクト指向のプログラム言語、例えばJava、Smalltalk、C++、および通常の手続き型プログラム言語、例えばC言語または類似のプログラム言語を含む。プログラムコードは完全にユーザコンピューター上で実行されてもよいし、部分的にユーザコンピューター上で実行されてもよく、1つの独立したソフトウエアパッケージとして実行されてもよいし、一部はユーザのコンピューター上で、他の一部はリモートコンピューター上で実行されてもよいし、または完全にリモートコンピューターまたはサーバー上で実行されてもよい。リモートコンピューターの場合、リモートコンピューターはローカルエリアネットワーク(LAN)またはワイドエリアネットワーク(WAN)を含む任意のネットワークを介してユーザコンピューターに接続されてもよいし、または、外部コンピューターに(例えばインターネットサービスプロバイダーを使用することによりインターネットを介して)接続されてもよい。
添付図面におけるフローチャートおよびブロック図は、本開示の様々な実施例によるシステム、方法およびコンピュータープログラム製品の可能なアーキテクチャ、機能および動作を示すものである。この点に関して、フローチャートまたはブロック図中の各ブロックは、1つまたは複数の指定された論理機能を実施するための実行可能コマンドを含むモジュール、プログラムセグメント、またはコードの一部を表す。また、いくつかの代替的な態様では、ブロックに記された機能は、図面の順序と異なる順序で発生する可能性もあることに留意されたい。例えば、連続して図示された2つのブロックは、実際には実質的に並行して実行され得、関連機能に応じて、逆順に実行される場合もある。なお、ブロック図および/またはフローチャート中の各ブロック、およびブロック図および/またはフローチャート中のブロックの組み合わせは、所定の機能または動作を実行する専用のハードウェアベースのシステムによって実現されるか、または専用のハードウェアとコンピューターコマンドの組み合わせによって実現され得ることに留意されたい。
以上、説明した装置の実施例は単なる例示に過ぎず、前記の分離部品として説明されたユニットは、物理的に別個であってもなくてもよく、ユニットとして表示された部品は物理的なユニットであってもなくてもよく、つまり1つの場所に配置してもよいし、または複数のネットワークユニットに分布させてもよい。実際のニーズに応じて、モジュールの一部または全部を選択して本実施例の目的を実現することができる。当業者は創造的な労働をすることなく本願を理解し、実施することができる。
最後に、以上の実施例は本開示の技術的解決策を説明するために使用され、本開示を限定するものではなく、前記の実施例を参照して本開示を詳細に説明したが、当業者であれば、前記の各実施例の技術的解決策を修正し、またはその一部の技術的特徴を同等のものに置換することがでる。これらの修正または置換は、対応の技術的解決策の本質を本開示の各実施例の技術的解決策の精神および範囲から脱離させないことを理解されたい。

Claims (8)

  1. 画像収集装置と、レーザー測距装置と、制御システムとを含む自動掃除装置であって、
    前記画像収集装置は、障害物情報を収集するように構成され、
    前記レーザー測距装置は、前記自動掃除装置が位置する環境、即ちインスタントマップを描画するための障害物情報をフィードバックするように構成され、
    前記制御システムは、前記レーザー測距装置によりフィードバックされた障害物情報を利用して前記インスタントマップを描画し、障害物が存在するかどうかを示す履歴経験に基づいて確率マップを描画し、前記画像収集装置によって収集された障害物情報を深度情報に変換し、前記深度情報をポイントクラウドマップに転換し、前記障害物上の各基準点の座標データを決定し、前記各基準点の座標データと前記確率マップとに基づいて、前記自動掃除装置が位置する環境に障害物が存在するかどうかを決定するように構成される、ことを特徴とする自動掃除装置。
  2. 分析ユニットをさらに含み、
    前記分析ユニットは、決定された前記障害物における前記各基準点の3D座標データを2D座標データに変換し、前記各基準点の2D座標データと前記確率マップとに基づいて、前記自動掃除装置が位置する環境に障害物が存在するかどうかを決定するように構成される、ことを特徴とする請求項1に記載の自動掃除装置。
  3. 前記各基準点の2D座標データと前記確率マップとに基づいて、前記自動掃除装置が位置する環境に障害物が存在するかどうかを決定することは、
    前記確率マップに基づいて、前記各基準点の2D座標データにおけるノイズポイント座標データをフィルタリングし、フィルタリングされた前記各基準点の2D座標データに基づいて前記自動掃除装置が位置する環境に障害物が存在するかどうかを分析すること、を含むことを特徴とする請求項1に記載の自動掃除装置。
  4. 前記確率マップに基づいて、前記各基準点の2D座標データにおけるノイズポイント座標データをフィルタリングすることは、
    前記確率マップにおける障害物の位置座標データを取得し、前記確率マップにおいて前記障害物の確率値が予め設定された確率閾値よりも大きいことと、
    前記障害物の位置座標データと前記各基準点の2D座標データとを比較し、前記障害物の位置座標データと前記各基準点の2D座標データとの距離が第1所定値よりも大きい場合、前記座標データをフィルタリングすることと、を含むことを特徴とする請求項3に記載の自動掃除装置。
  5. 前記各基準点の座標データと前記確率マップとに基づいて、前記自動掃除装置が位置する環境に障害物が存在するかどうかを決定することは、
    前記各基準点をクラスタリングし、隣接する基準点の座標データからの距離が第2所定値よりも小さいすべての基準点を1つの領域とすることと、
    各領域のサイズをそれぞれ分析して判断し、前記領域のサイズが第3所定値以上である場合、前記自動掃除装置が位置する環境に障害物が存在すると判断することとを含む、ことを特徴とする請求項1~4のいずれか1項に記載の自動掃除装置。
  6. 前記領域のサイズは、
    領域の面積/体積、領域の直径、および、領域の幾何学的中心を横切る最小距離のうちの少なくとも1つを含む、ことを特徴とする請求項5に記載の自動掃除装置。
  7. 前記制御システムは、さらに、
    前記自動掃除装置が位置する環境に障害物が存在すると決定した場合、前記障害物のサイズが予め設定された閾値未満であるかどうかを判断し、前記障害物のサイズが予め設定された閾値未満であるとき、前記障害物からの予め設定された距離範囲内でサイドブラシ回転速度を低下させるように前記自動掃除装置を制御するように構成される、ことを特徴とする請求項1に記載の自動掃除装置。
  8. 前記制御システムは、さらに、
    前記ポイントクラウドマップから高さ方向上の有効分析範囲を選択し、前記有効分析範囲内における前記各基準点の座標データと前記確率マップに基づいて、前記有効分析範囲内に障害物が存在するかどうかを決定するように構成される、ことを特徴とする請求項1に記載の自動掃除装置。
JP2024073586A 2020-08-26 2024-04-30 障害物検出方法および装置、自走式ロボット並びに記憶媒体 Active JP7671391B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN202010872327.3 2020-08-26
CN202010872327.3A CN111990929B (zh) 2020-08-26 2020-08-26 一种障碍物探测方法、装置、自行走机器人和存储介质
JP2023513541A JP7484015B2 (ja) 2020-08-26 2021-04-08 障害物検出方法および装置、自走式ロボット並びに記憶媒体
PCT/CN2021/085960 WO2022041740A1 (zh) 2020-08-26 2021-04-08 一种障碍物探测方法、装置、自行走机器人和存储介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2023513541A Division JP7484015B2 (ja) 2020-08-26 2021-04-08 障害物検出方法および装置、自走式ロボット並びに記憶媒体

Publications (2)

Publication Number Publication Date
JP2024109610A JP2024109610A (ja) 2024-08-14
JP7671391B2 true JP7671391B2 (ja) 2025-05-01

Family

ID=73470968

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2023513541A Active JP7484015B2 (ja) 2020-08-26 2021-04-08 障害物検出方法および装置、自走式ロボット並びに記憶媒体
JP2024073586A Active JP7671391B2 (ja) 2020-08-26 2024-04-30 障害物検出方法および装置、自走式ロボット並びに記憶媒体

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2023513541A Active JP7484015B2 (ja) 2020-08-26 2021-04-08 障害物検出方法および装置、自走式ロボット並びに記憶媒体

Country Status (7)

Country Link
US (1) US20230305573A1 (ja)
EP (1) EP4193897A4 (ja)
JP (2) JP7484015B2 (ja)
KR (1) KR20230050396A (ja)
CN (2) CN114521836B (ja)
CA (1) CA3190361A1 (ja)
WO (1) WO2022041740A1 (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114521836B (zh) * 2020-08-26 2023-11-28 北京石头创新科技有限公司 一种自动清洁设备
CN114633248B (zh) * 2020-12-16 2024-04-12 北京极智嘉科技股份有限公司 一种机器人及定位方法
CN114690755B (zh) * 2020-12-25 2025-05-20 尚科宁家(中国)科技有限公司 清洁机器人及其绕障方法
CN112684801B (zh) * 2020-12-25 2022-08-23 珠海格力电器股份有限公司 一种机器人回充控制方法、装置、电器设备及存储介质
CN112783158A (zh) * 2020-12-28 2021-05-11 广州辰创科技发展有限公司 多种无线传感识别技术融合方法、设备及存储介质
CN112883128A (zh) * 2020-12-30 2021-06-01 杭州图歌科技有限公司 一种封闭环境下机器人自主建图方法
CN112857254B (zh) * 2021-02-02 2022-02-08 北京大成国测科技有限公司 基于无人机数据的参数测量方法、装置及电子设备
CN113031648A (zh) * 2021-02-26 2021-06-25 华南理工大学 一种基于实感深度相机的旋翼无人机避障的方法
US12085944B2 (en) * 2021-03-02 2024-09-10 Yujin Robot Co., Ltd. Moving path planning apparatus and method for robot
CN113075692A (zh) * 2021-03-08 2021-07-06 北京石头世纪科技股份有限公司 目标检测及控制方法、系统、设备及存储介质
CN114625116A (zh) * 2021-05-06 2022-06-14 北京石头世纪科技股份有限公司 自行走设备避障方法、装置、介质和电子设备
CN113485359A (zh) * 2021-07-29 2021-10-08 北京超维世纪科技有限公司 一种工业类巡检机器人多传感器融合避障系统
CN115235482B (zh) * 2021-09-28 2025-08-22 上海仙途智能科技有限公司 地图更新方法、装置、计算机设备及介质
CN114549576B (zh) * 2022-01-26 2023-05-23 广州方图科技有限公司 行走能力检测方法、装置、存储介质及体检机
CN114557640B (zh) * 2022-02-21 2023-08-01 广州宝乐软件科技有限公司 清洁机器人的数据处理方法、装置及清洁机器人
CN114451830B (zh) * 2022-03-17 2023-06-16 上海飞博激光科技股份有限公司 激光清洗玻璃幕墙装置及其清洗方法
CN114662760A (zh) * 2022-03-23 2022-06-24 青岛海信网络科技股份有限公司 一种基于机器人的配送方法和机器人
CN114777759B (zh) * 2022-03-23 2025-03-25 北京石头创新科技有限公司 机器人地图中障碍物的标记方法及装置
CN116945148B (zh) * 2022-04-15 2025-09-09 追觅创新科技(苏州)有限公司 机器人控制方法、装置、机器人及存储介质
CN114740867B (zh) * 2022-05-10 2025-08-19 丰疆智能(深圳)有限公司 基于双目视觉的智能避障方法、装置、机器人及介质
CN114937079B (zh) * 2022-05-27 2025-10-03 杭州海康机器人股份有限公司 一种障碍物检测方法、装置及一种机器人
CN114967691B (zh) * 2022-05-27 2025-06-27 美智纵横科技有限责任公司 机器人的控制方法、装置、可读存储介质和机器人
KR102611481B1 (ko) * 2022-05-27 2023-12-08 주식회사 쓰리아이 이미지 내의 좌표들 간의 실제 거리를 계산하는 방법 및 장치
CN117333837A (zh) * 2022-06-22 2024-01-02 鸿海精密工业股份有限公司 行车安全辅助方法、电子设备及存储介质
CN115177186B (zh) * 2022-07-21 2024-12-03 美智纵横科技有限责任公司 清扫方法、装置、扫地机器人及计算机可读存储介质
CN115562305B (zh) * 2022-11-01 2025-09-09 科沃斯机器人股份有限公司 自行走设备移动控制方法、装置以及自行走设备
CN115626588A (zh) * 2022-11-10 2023-01-20 未来机器人(深圳)有限公司 无人叉车的避障方法、无人叉车及存储介质
CN115830142A (zh) * 2022-12-13 2023-03-21 重庆长安汽车股份有限公司 相机标定和相机的目标检测与定位方法、装置及电子设备
CN116051347A (zh) * 2022-12-23 2023-05-02 达闼科技(北京)有限公司 跌落区域检测方法、自移动设备及存储介质
CN117958650A (zh) * 2023-04-27 2024-05-03 北京石头创新科技有限公司 自动清洁设备控制方法、装置、自动清洁设备和存储介质
CN116797506A (zh) * 2023-06-15 2023-09-22 深圳市唯特视科技有限公司 障碍物判断方法、系统、设备与存储介质
CN116859380B (zh) * 2023-09-05 2023-11-21 长沙隼眼软件科技有限公司 目标航迹的测量方法、装置、电子设备及存储介质
KR102679734B1 (ko) * 2023-12-04 2024-07-01 주식회사 메이사 수치 표고 모델을 생성하는 전자 장치
CN118192610A (zh) * 2024-03-14 2024-06-14 追觅创新科技(苏州)有限公司 一种自移动机器人、越障方法、越障系统及计算机可读存储介质
WO2025199896A1 (zh) * 2024-03-28 2025-10-02 智橙动力(苏州)科技有限公司 泳池清扫方法、装置、电子设备及泳池清洁机器人
WO2025218028A1 (zh) * 2024-04-18 2025-10-23 追觅创新科技(苏州)有限公司 一种清洁机器人的控制方法、清洁机器人及电子设备
CN118625041B (zh) * 2024-08-15 2024-10-22 中汽研新能源汽车检验中心(天津)有限公司 机器人电磁兼容测试方法和系统
CN119826836B (zh) * 2025-03-17 2025-05-30 卧安科技(深圳)有限公司 具身机器人及其避障控制方法、装置及程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010114235A1 (en) 2009-03-31 2010-10-07 Lg Electronics Inc. Mobile robot with single camera and method for recognizing 3d surroundings of the same
CN107491070A (zh) 2017-08-31 2017-12-19 成都通甲优博科技有限责任公司 一种移动机器人路径规划方法及装置
CN109645897A (zh) 2019-01-10 2019-04-19 轻客小觅智能科技(北京)有限公司 一种扫地机的障碍物检测方法及系统
JP2019126427A (ja) 2018-01-22 2019-08-01 東芝ライフスタイル株式会社 自走式電気掃除機
WO2020049650A1 (ja) 2018-09-05 2020-03-12 三菱電機株式会社 運転支援装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3548315B2 (ja) * 1996-02-20 2004-07-28 富士通株式会社 認知地図を持つ装置
US10809071B2 (en) * 2017-10-17 2020-10-20 AI Incorporated Method for constructing a map while performing work
JP2008281385A (ja) * 2007-05-09 2008-11-20 Olympus Corp 画像処理装置
KR20090018336A (ko) * 2007-08-17 2009-02-20 삼성전자주식회사 로봇 청소기 및 그 제어방법
CN104236548B (zh) * 2014-09-12 2017-04-05 清华大学 一种微型无人机室内自主导航方法
JP6464410B2 (ja) * 2014-09-26 2019-02-06 シャープ株式会社 障害物判定装置および障害物判定方法
US9519289B2 (en) * 2014-11-26 2016-12-13 Irobot Corporation Systems and methods for performing simultaneous localization and mapping using machine vision systems
KR101659037B1 (ko) * 2015-02-16 2016-09-23 엘지전자 주식회사 로봇 청소기, 이를 포함하는 원격 제어 시스템 및 이의 제어 방법
CN105204510B (zh) * 2015-10-09 2016-06-22 福州华鹰重工机械有限公司 一种用于精确定位的概率地图的生成方法及装置
JP6666695B2 (ja) * 2015-11-16 2020-03-18 シャープ株式会社 自走式電子機器および自走式電子機器の走行方法
US20170357267A1 (en) * 2016-06-10 2017-12-14 Cnh Industrial America Llc Autonomous work vehicle obstacle detection system
JP2018057615A (ja) * 2016-10-06 2018-04-12 日立アプライアンス株式会社 自走式電気掃除機
US20180190014A1 (en) * 2017-01-03 2018-07-05 Honeywell International Inc. Collaborative multi sensor system for site exploitation
CN111164529B (zh) * 2017-10-02 2023-09-05 索尼公司 环境信息更新装置、环境信息更新方法以及程序
CN107775640B (zh) * 2017-12-05 2024-06-18 深圳银星智能集团股份有限公司 移动机器人
CN107966989A (zh) * 2017-12-25 2018-04-27 北京工业大学 一种机器人自主导航系统
US10795377B2 (en) * 2018-01-03 2020-10-06 AI Incorporated Method for autonomously controlling speed of components and functions of a robot
CN108663681B (zh) * 2018-05-16 2021-01-19 华南理工大学 基于双目摄像头与二维激光雷达的移动机器人导航方法
CN108983248A (zh) * 2018-06-26 2018-12-11 长安大学 一种基于3d激光雷达及v2x的网联车定位方法
US11199853B1 (en) * 2018-07-11 2021-12-14 AI Incorporated Versatile mobile platform
CN109645892B (zh) * 2018-12-12 2021-05-28 深圳乐动机器人有限公司 一种障碍物的识别方法及清洁机器人
CN110070570B (zh) * 2019-03-20 2023-05-26 重庆邮电大学 一种基于深度信息的障碍物检测系统及方法
WO2020215172A1 (zh) * 2019-04-20 2020-10-29 深圳市大疆创新科技有限公司 一种障碍物检测方法、设备、可移动平台及存储介质
CN110045376B (zh) * 2019-04-28 2021-06-01 森思泰克河北科技有限公司 可行驶区域获取方法、计算机可读存储介质及终端设备
CN111329398A (zh) * 2020-03-27 2020-06-26 上海高仙自动化科技发展有限公司 机器人控制方法、机器人、电子设备和可读存储介质
CN111521184A (zh) * 2020-04-13 2020-08-11 轻客小觅机器人科技(成都)有限公司 一种扫地机器人的建图方法、装置及系统
CN114521836B (zh) * 2020-08-26 2023-11-28 北京石头创新科技有限公司 一种自动清洁设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010114235A1 (en) 2009-03-31 2010-10-07 Lg Electronics Inc. Mobile robot with single camera and method for recognizing 3d surroundings of the same
CN107491070A (zh) 2017-08-31 2017-12-19 成都通甲优博科技有限责任公司 一种移动机器人路径规划方法及装置
JP2019126427A (ja) 2018-01-22 2019-08-01 東芝ライフスタイル株式会社 自走式電気掃除機
WO2020049650A1 (ja) 2018-09-05 2020-03-12 三菱電機株式会社 運転支援装置
CN109645897A (zh) 2019-01-10 2019-04-19 轻客小觅智能科技(北京)有限公司 一种扫地机的障碍物检测方法及系统

Also Published As

Publication number Publication date
CN111990929B (zh) 2022-03-22
JP7484015B2 (ja) 2024-05-15
JP2024109610A (ja) 2024-08-14
EP4193897A4 (en) 2024-07-24
CN111990929A (zh) 2020-11-27
EP4193897A1 (en) 2023-06-14
CN114521836B (zh) 2023-11-28
WO2022041740A1 (zh) 2022-03-03
CN114521836A (zh) 2022-05-24
CA3190361A1 (en) 2022-03-03
US20230305573A1 (en) 2023-09-28
KR20230050396A (ko) 2023-04-14
JP2023540909A (ja) 2023-09-27

Similar Documents

Publication Publication Date Title
JP7671391B2 (ja) 障害物検出方法および装置、自走式ロボット並びに記憶媒体
US12390069B2 (en) Obstacle avoidance method and device for self-walking robot, robot, and storage medium
CN109947109B (zh) 机器人工作区域地图构建方法、装置、机器人和介质
CN111990930B (zh) 一种测距方法、装置、机器人和存储介质
US20230200613A1 (en) Obstacle avoidance method for robot, obstacle avoidance device for robot, and non-transitory computer readable storage medium
CN114468898B (zh) 机器人语音控制方法、装置、机器人和介质
CN114595354B (zh) 机器人的建图方法、装置、机器人和存储介质
EA039532B1 (ru) Автоматическое устройство для уборки и способ уборки
CN112034837A (zh) 确定移动机器人工作环境的方法、控制系统及存储介质
WO2025190403A1 (zh) 自行走设备的地面信息确定方法及装置、设备和介质
CN114010102B (zh) 一种清洁机器人
CN114879691A (zh) 自行走机器人的控制方法、存储介质和自行走机器人
CN113625700A (zh) 自行走机器人控制方法、装置、自行走机器人和存储介质
US20240212182A1 (en) Distance measurement method and device, and robot and storage medium
TWI824503B (zh) 自移動設備及其控制方法
RU2833581C2 (ru) Устройство автоматической уборки
RU2819023C1 (ru) Способ и устройство для обнаружения препятствий, самоходный робот и носитель для хранения данных
AU2023201499A1 (en) Method and apparatus for detecting obstacle, self-moving robot, and storage medium
CN117990143A (zh) 自行走机器人及其传感器脏污检测方法、装置和存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240430

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240430

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20250228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250401

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250418

R150 Certificate of patent or registration of utility model

Ref document number: 7671391

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150