CN111168722A - 一种基于单目摄像头测距的机器人跟随系统及方法 - Google Patents
一种基于单目摄像头测距的机器人跟随系统及方法 Download PDFInfo
- Publication number
- CN111168722A CN111168722A CN201911272958.5A CN201911272958A CN111168722A CN 111168722 A CN111168722 A CN 111168722A CN 201911272958 A CN201911272958 A CN 201911272958A CN 111168722 A CN111168722 A CN 111168722A
- Authority
- CN
- China
- Prior art keywords
- image
- marker
- pixel
- pixel value
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 239000003550 marker Substances 0.000 claims abstract description 70
- 230000007246 mechanism Effects 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 abstract description 3
- 238000005259 measurement Methods 0.000 abstract description 2
- 230000007547 defect Effects 0.000 description 3
- 238000002955 isolation Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
Abstract
一种基于单目摄像头测距的机器人跟随系统及方法，该系统包括摄像头、图像处理器、中央控制器、存储器及运动机构，所述中央控制器连接所述图像处理器、存储器及运动机构；所述摄像头用于实时捕获包括标记物的且具有设定总像素值的图像；所述图像处理器用于对图像进行处理并识别出所述标记物占所述图像中的像素值；所述存储器预先存储有前进阈值像素及停止阈值像素；所述中央控制器在所述标记物占所述图像中的像素值大于或等于所述前进阈值像素时控制所述运动机构前进，或者在所述标记物占所述图像中的像素值小于所述停止阈值像素时控制所述运动机构停止前进。本发明基于单目摄像头测距的机器人跟随系统结构更简单，更易用，成本更低。
Description
技术领域
本发明涉及机器人技术领域，特别是涉及一种基于单目摄像头测距的机器人跟随方法及系统。
背景技术
目前，机器人跟随一般使用红外传感器或超声波传感器，通过红外传感器或超声波传感器测量目标物距离变化进行跟随。但他们各自都存在着明显的缺陷，红外传感器由于光线的影响只能用于室内，而超声波传感器由于障碍物反射的影响只能用于室外，且他们都无法辨别特定的目标物，无法实现特定目标物的跟随。超声波雷达跟超声波传感器存在同样的问题，虽然激光雷达克服了红外传感器容易受光线影响的的弱点能够用于室外测距，但也无法辨别特定的目标物，无法实现特定目标物的跟随。
深度相机的产生克服了传统传感器的不足，既能辨别特定目标物，又能测距，但成本较高，使用比较复杂，一般用于三维成像领域，很少用于目标物跟随。
发明内容
基于此，本发明提供一种可以让机器人跟随目标物行进的方法更简单，更易用，成本更低的基于单目摄像头测距的机器人跟随系统及方法。
一种基于单目摄像头测距的机器人跟随系统，包括摄像头、图像处理器、中央控制器、存储器及运动机构，所述中央控制器连接所述图像处理器、存储器及运动机构；所述摄像头用于实时捕获包括标记物的且具有设定总像素值的图像；所述图像处理器用于对图像进行处理并识别出所述标记物占所述图像中的像素值；所述存储器预先存储有前进阈值像素及停止阈值像素；所述中央控制器在所述标记物占所述图像中的像素值大于或等于所述前进阈值像素时控制所述运动机构前进，或者在所述标记物占所述图像中的像素值小于所述停止阈值像素时控制所述运动机构停止前进。
一种基于单目摄像头测距的机器人跟随方法，包括以下步骤：
实时捕获包括标记物的且具有设定总像素值的图像；
对图像进行处理并识别出所述标记物占所述图像中的像素值；
预先存储前进阈值像素及停止阈值像素；
在所述标记物占所述图像中的像素值大于或等于所述前进阈值像素时控制所述运动机构前进，或者在所述标记物占所述图像中的像素值小于所述停止阈值像素时控制所述运动机构停止前进。
本发明机器人利用单目相机实现目标物跟随的方法及系统，从来获知标记物的距离大小，如果计算出来的像素值大于前进阈值，机器人就开始前进，直到所获得的图像中标记物的像素值小于停止阈值再停止；如果计算出来的像素值小于停止阈值，机器人就停止前进，直到所获得的图像中标记物的像素值大于前进阈值再前进，系统简单、成本低且具有很好的跟随性能。
附图说明
图1为本发明提供的基于单目摄像头测距的机器人跟随系统的原理示意图。
图2为图1所示的基于单目摄像头测距的机器人跟随系统的摄像头获取的图像的示意图。
图3为本发明提供的基于单目摄像头测距的机器人跟随方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人士在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供的一种基于单目摄像头测距的机器人跟随系统 100，包括摄像头、图像处理器、中央控制器、存储器及运动机构，所述中央控制器连接所述图像处理器、存储器及运动机构；所述摄像头用于实时捕获包括标记物的且具有设定总像素值的图像；所述图像处理器用于对图像进行处理并识别出所述标记物占所述图像中的像素值；所述存储器存储有预先设定的前进阈值像素及停止阈值像素；所述中央控制器在所述标记物占所述图像中的像素值大于或等于所述前进阈值时控制所述运动机构前进，或者在所述标记物占所述图像中的像素值小于所述停止阈值时控制所述运动机构停止前进。
请参阅图2，为了便于理解本发明，在一个举例中，所述摄像头实时捕获包括标记物101的且具有设定总像素值的图像10，其中图像10为矩形且总设定像素为2048×1536像素(长×宽)。所述图像处理器对图像10进行处理并识别出所述标记物101占所述图像10中的像素值，其中图像处理器可以通过基于神经网络、基于小波矩、基于分开特征等现有的方法对标识物101进行识别。例如标记物101为人体，由于人体为非规则的矩形，因此图像处理器识别到的标记物以总像素计算，而非以长×宽的方式计算，对应的所述存储器存储的前进阈值像素为300000像素以及停止阈值像素为200000像素。例如，所述图像处理器识别出所述标记物101占所述图像101中的像素值为310000像素，此时，所述中央控制器比较出所述标记物101占所述图像101中的像素值为310000大于所述前进阈值像素310000，因此，控制所述运动机构前进以对标记物101进行跟随。可以理解的是，若所述图像处理器识别出所述标记物101占所述图像101中的像素值为190000，此时，所述中央控制器比较出所述标记物101占所述图像101 中的像素值为190000h于所述停止阈值像素200000，因此，控制所述运动机构停止运动以停止对标记物101进行跟随。在其他实施方式中，所述前进阈值像素和停止阈值像素也可是占所述图像的总设定像素的比例，例如，前进阈值像素为占所述图像的总设像素的10％，停止阈值像素为占所述图像的总设定像素的5％。以上举例的数值仅为了便于理解本发明，并不是对本发明的限定，在实际设计中，可以根据需求设置图像的总设定像素、前进阈值像素和停止阈值像素。
在本实施方式中，所述存储器还存储有所述标记物占所述图像中的像素值与标记物相对于摄像头的距离关系；在所述标记物占所述图像中的像素值大于或等于所述前进阈值像素时，所述标记物相对于摄像头的距离小于或等于第一距离；所述标记物占所述图像中的像素值小于所述停止阈值像素时，所述标记物相对于摄像头的距离大于第二距离。以图2的图像10为例，所述标记物101 占所述图像101中的像素值为310000像素时，例如在存储器中存储的与标记物相对于摄像头的距离为4米，所述第一距离例如可以为5米，所述第二距离可以为8米。
在本实施方式中，所述摄像头采用RGB单目相机。所述前进阈值像素大于所述停止阈值像素，机器人在前进阈值像素与停止阈值像素之间为隔离距离，在间隔距离范围上机器人可以为待机状态，等待控制指令，可以减少扰动。
本发明基于单目摄像头测距的机器人跟随系统100结构更简单，更易用，成本更低，由于前进阈值像素和停止阈值像素不同，中间有段隔离距离，避免了机器人扰动。
如图3所示，为本发明提供的一种基于单目摄像头测距的机器人跟随方法，包括以下步骤：
S1：实时捕获包括标记物的且具有设定总像素值的图像；
S2：对图像进行处理并识别出所述标记物占所述图像中的像素值；
S3：预先存储前进阈值像素及停止阈值像素；
S4：在所述标记物占所述图像中的像素值大于或等于所述前进阈值时控制所述运动机构前进，或者在所述标记物占所述图像中的像素值小于所述前进阈值时控制所述运动机构停止前进。
步骤S2“对图像进行处理并识别出所述标记物占所述图像中的像素值”还进一步包括：存储所述标记物占所述图像中的像素值与标记物相对于摄像头的距离关系；在所述标记物占所述图像中的像素值大于或等于所述前进阈值时，所述标记物相对于摄像头的距离小于或等于第一距离；所述标记物占所述图像中的像素值小于所述停止阈值时，所述标记物相对于摄像头的距离大于第二距离。
在步骤S3“预先存储前进阈值像素及停止阈值像素”之后及步骤S4之前进一步包括以下步骤：将识别出的所述标记物占所述图像中的像素值与前进阈值像素及停止阈值像素进行比对。
在本实施方式中，所述前进阈值像素的值大于所述停止阈值像素的值。
以上所述实施例仅表达了本发明的一种或几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (9)
1.一种基于单目摄像头测距的机器人跟随系统，其特征在于，包括摄像头、图像处理器、中央控制器、存储器及运动机构，所述中央控制器连接所述图像处理器、存储器及运动机构；所述摄像头用于实时捕获包括标记物的且具有设定总像素值的图像；所述图像处理器用于对图像进行处理并识别出所述标记物占所述图像中的像素值；所述存储器预先存储有前进阈值像素及停止阈值像素；所述中央控制器在所述标记物占所述图像中的像素值大于或等于所述前进阈值像素时控制所述运动机构前进，或者在所述标记物占所述图像中的像素值小于所述停止阈值像素时控制所述运动机构停止前进。
2.根据权利要求1所述的基于单目摄像头测距的机器人跟随系统，其特征在于，所述存储器还存储有所述标记物占所述图像中的像素值与标记物相对于摄像头的距离关系；在所述标记物占所述图像中的像素值大于或等于所述前进阈值像素时，所述标记物相对于摄像头的距离小于或等于第一距离；所述标记物占所述图像中的像素值小于所述停止阈值像素时，所述标记物相对于摄像头的距离大于第二距离。
3.根据权利要求1所述的基于单目摄像头测距的机器人跟随系统，其特征在于，所述摄像头采用RGB单目相机。
4.根据权利要求1所述的基于单目摄像头测距的机器人跟随系统，其特征在于，所述中央处理器还用于将所述图像处理器并识别出的所述标记物占所述图像中的像素值与前进阈值像素及停止阈值像素进行比较。
5.根据权利要求4所述的基于单目摄像头测距的机器人跟随系统，其特征在于，所述前进阈值像素大于所述停止阈值像素。
6.一种基于单目摄像头测距的机器人跟随方法，其特征在于，包括以下步骤：
实时捕获包括标记物的且具有设定总像素值的图像；
对图像进行处理并识别出所述标记物占所述图像中的像素值；
预先存储前进阈值像素及停止阈值像素；
在所述标记物占所述图像中的像素值大于或等于所述前进阈值像素时控制所述运动机构前进，或者在所述标记物占所述图像中的像素值小于所述停止阈值像素时控制所述运动机构停止前进。
7.根据权利要求6所述的基于单目摄像头测距的机器人跟随方法，其特征在于，步骤“对图像进行处理并识别出所述标记物占所述图像中的像素值”还进一步包括：存储所述标记物占所述图像中的像素值与标记物相对于摄像头的距离关系；在所述标记物占所述图像中的像素值大于或等于所述前进阈值像素时，所述标记物相对于摄像头的距离小于或等于第一距离；所述标记物占所述图像中的像素值小于所述停止阈值像素时，所述标记物相对于摄像头的距离大于第二距离。
8.根据权利要求6所述的基于单目摄像头测距的机器人跟随方法，其特征在于，在步骤“预先存储前进阈值像素及停止阈值像素”之后进一步包括以下步骤：将识别出的所述标记物占所述图像中的像素值与前进阈值像素及停止阈值像素进行比较。
9.根据权利要求6所述的基于单目摄像头测距的机器人跟随方法，其特征在于，所述前进阈值像素大于所述停止阈像素。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911272958.5A CN111168722A (zh) | 2019-12-12 | 2019-12-12 | 一种基于单目摄像头测距的机器人跟随系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911272958.5A CN111168722A (zh) | 2019-12-12 | 2019-12-12 | 一种基于单目摄像头测距的机器人跟随系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111168722A true CN111168722A (zh) | 2020-05-19 |
Family
ID=70618034
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911272958.5A Withdrawn CN111168722A (zh) | 2019-12-12 | 2019-12-12 | 一种基于单目摄像头测距的机器人跟随系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111168722A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112561947A (zh) * | 2020-12-10 | 2021-03-26 | 中国科学院深圳先进技术研究院 | 一种图像自适应运动估计方法及应用 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105841675A (zh) * | 2016-05-03 | 2016-08-10 | 北京光年无限科技有限公司 | 一种用于智能机器人的测距方法及系统 |
| CN106127163A (zh) * | 2016-06-29 | 2016-11-16 | 深圳大学 | 一种单目测距定位检测系统及其检测方法 |
| CN109318227A (zh) * | 2018-09-21 | 2019-02-12 | 厦门理工学院 | 一种基于人形机器人的掷骰子方法及人形机器人 |
| CN109446909A (zh) * | 2018-09-27 | 2019-03-08 | 山东省科学院自动化研究所 | 一种单目测距辅助泊车系统及方法 |
| CN109959919A (zh) * | 2017-12-22 | 2019-07-02 | 比亚迪股份有限公司 | 汽车及单目摄像头测距方法、装置 |
| US10399227B1 (en) * | 2019-03-29 | 2019-09-03 | Mujin, Inc. | Method and control system for verifying and updating camera calibration for robot control |
-
2019
- 2019-12-12 CN CN201911272958.5A patent/CN111168722A/zh not_active Withdrawn
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105841675A (zh) * | 2016-05-03 | 2016-08-10 | 北京光年无限科技有限公司 | 一种用于智能机器人的测距方法及系统 |
| CN106127163A (zh) * | 2016-06-29 | 2016-11-16 | 深圳大学 | 一种单目测距定位检测系统及其检测方法 |
| CN109959919A (zh) * | 2017-12-22 | 2019-07-02 | 比亚迪股份有限公司 | 汽车及单目摄像头测距方法、装置 |
| CN109318227A (zh) * | 2018-09-21 | 2019-02-12 | 厦门理工学院 | 一种基于人形机器人的掷骰子方法及人形机器人 |
| CN109446909A (zh) * | 2018-09-27 | 2019-03-08 | 山东省科学院自动化研究所 | 一种单目测距辅助泊车系统及方法 |
| US10399227B1 (en) * | 2019-03-29 | 2019-09-03 | Mujin, Inc. | Method and control system for verifying and updating camera calibration for robot control |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112561947A (zh) * | 2020-12-10 | 2021-03-26 | 中国科学院深圳先进技术研究院 | 一种图像自适应运动估计方法及应用 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108986164B (zh) | 基于图像的位置检测方法、装置、设备及存储介质 | |
| US20200288065A1 (en) | Target tracking method and device, movable platform, and storage medium | |
| US12219269B2 (en) | Method and system for determining occlusion within a camera field of view | |
| CN106909911A (zh) | 图像处理方法、图像处理装置和电子装置 | |
| JP2014192700A (ja) | 追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法 | |
| US20220270282A1 (en) | Information processing device, data generation method, and non-transitory computer-readable medium storing program | |
| CN101271333A (zh) | 移动机器人的定位方法 | |
| CN105043395B (zh) | 一种飞行器月表软着陆的实时动态选址方法 | |
| JP2010183190A5 (zh) | ||
| JP2015069253A (ja) | 個体状態判定装置、個体状態判定方法および個体状態判定プログラム | |
| CN114705691B (zh) | 一种工业机器视觉控制方法及装置 | |
| JP2020149641A (ja) | 物体追跡装置および物体追跡方法 | |
| KR101889051B1 (ko) | 모니터링 시스템들에서 신뢰성을 증가시키는 방법 | |
| CN113252007B (zh) | 用于工件质检的飞拍控制参数确定方法和装置 | |
| CN111043981A (zh) | 一种非接触式自动检测规则表面变形的测量装置 | |
| CN111168722A (zh) | 一种基于单目摄像头测距的机器人跟随系统及方法 | |
| CN108470165B (zh) | 一种采摘机器人果实视觉协同搜索方法 | |
| US11151727B2 (en) | Image processing devices with efficient motion blur detection and methods of operating same | |
| CN117830292A (zh) | 空调内机缺陷检测系统及其控制方法、存储介质 | |
| JP2022095994A (ja) | 画像処理システム、画像処理プログラム、および画像処理方法 | |
| WO2020019111A1 (zh) | 一种目标对象的深度信息获取方法及可移动平台 | |
| US20220156958A1 (en) | Moving image distance calculator and computer-readable storage medium storing moving image distance calculation program | |
| CN119089375A (zh) | 一种基于双目视觉信息与激光信息的融合技术方法及系统 | |
| JP2020160901A (ja) | 物体追跡装置および物体追跡方法 | |
| Su et al. | Fast detection method of checkerboard corners based on the combination of template matching and Harris Operator |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200519 |
|
| WW01 | Invention patent application withdrawn after publication |