JP2016120585A - ロボット識別システム - Google Patents
ロボット識別システム Download PDFInfo
- Publication number
- JP2016120585A JP2016120585A JP2014263537A JP2014263537A JP2016120585A JP 2016120585 A JP2016120585 A JP 2016120585A JP 2014263537 A JP2014263537 A JP 2014263537A JP 2014263537 A JP2014263537 A JP 2014263537A JP 2016120585 A JP2016120585 A JP 2016120585A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- image
- model
- unit
- generation unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39451—Augmented reality for robot programming
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/46—Sensing device
- Y10S901/47—Optical
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
Abstract
【解決手段】ロボット識別システムは、回動可能なアーム10を有するロボット1と、ロボット1を撮像する撮像装置2と、アーム10の回動角度を検出する角度検出部14と、角度検出部14により検出された回動角度に基づき、ロボット1の形態を表すロボットモデルMを生成するモデル生成部31と、撮像装置2により得られた画像8とモデル生成部31により生成されたロボットモデルMとを比較し、画像8中のロボット画像81を識別する画像識別部51とを備える。
【選択図】図1
Description
(1)ロボット識別システムは、角度検出器14により検出された回動角度に基づき、複数箇所からロボット1を見たときのロボット1の形態を表す複数のロボットモデルMを生成するモデル生成部31と、カメラ2により得られたカメラ画像8とモデル生成部31により生成された複数のロボットモデルM(テンプレート画像8M)とを比較し、カメラ画像8中のロボット画像81を識別する画像識別部51とを備える。これにより、ロボット1の姿勢変化に拘わらず、カメラ画像8中のロボット画像81を容易に識別することができ、ロボット画像81にコンピュータを用いて情報を付加する、いわゆる拡張現実を良好に適用することができる。また、複数のカメラ2を準備する必要がなく、ロボット1に固体識別用のマーカを取り付ける必要もないため、ロボット識別システム全体のコストを低減することができる。
上記実施形態は以下のような変形が可能である。ロボットモデルMは、図4に示したものに限らない。すなわち、ロボットモデルMはロボット1を識別可能であればよく、ロボット1の形状を詳細にモデル化したものでなくてもよい。図7は、ロボットモデルMの変形例を示す図である。図7では、前方からロボット1を見た前ロボットモデルM1から特徴点(関節部等)を抽出し、特徴点を棒線で結んで簡易的なロボットモデルM11を形成している。この場合、カメラ画像8とロボットモデルM11とのパターンマッチングを行い、ロボットモデルM11の特徴点を有する画像がカメラ画像8中にあるか否かを判定することにより、カメラ画像8中のロボット画像81を識別することができる。なお、特徴点の抽出には、種々の方法があり、一例としてHarris作用素による方法がある。
時点t1の関節位置=(t1-t2)/(t3-t2)X(時点t3の関節位置)
+(t3-t1)/(t3-t2)X(時点t2の関節位置)・・・ (I)
2 カメラ
8 カメラ画像
14 角度検出器
31 モデル生成部
51 画像識別部
53 位置姿勢特定部
54 モデル修正部
81 ロボット画像
M ロボットモデル
Claims (5)
- 回動可能なアームを有するロボットと、
前記ロボットを撮像する撮像装置と、
前記アームの回動角度を検出する角度検出部と、
前記角度検出部により検出された回動角度に基づき、ロボットの形態を表すロボットモデルを生成するモデル生成部と、
前記撮像装置により得られた画像と前記モデル生成部により生成された前記ロボットモデルとを比較し、前記画像中のロボット画像を識別する画像識別部と、を備えることを特徴とするロボット識別システム。 - 請求項1に記載のロボット識別システムにおいて、
前記モデル生成部は、前記角度検出部により検出された回動角度に基づき、複数箇所からロボットを見たときのロボットの形態を表す複数のロボットモデルを生成し、
前記画像識別部は、前記撮像装置により得られた画像と前記モデル生成部により生成された前記複数のロボットモデルとを比較し、前記画像中のロボット画像を識別することを特徴とするロボット識別システム。 - 請求項1または2に記載のロボット識別システムにおいて、
前記ロボットは、回動可能なアームを有する第1ロボットと、回動可能なアームを有する第2ロボットとを有し、
前記角度検出部は、前記第1ロボットのアームの回動角度を検出する第1角度検出部と、前記第2ロボットのアームの回動角度を検出する第2角度検出部とを有し、
前記モデル生成部は、前記第1角度検出部により検出された前記第1ロボットのアームの回動角度に基づき、前記第1ロボットの形態を表す第1ロボットモデルを生成するとともに、前記第2角度検出部により検出された前記第2ロボットのアームの回動角度に基づき、前記第2ロボットの形態を表す第2ロボットモデルを生成し、
前記画像識別部は、前記撮像装置により得られた画像と前記モデル生成部により生成された前記第1ロボットモデルおよび前記第2ロボットモデルとを比較し、前記画像中の第1ロボットを表す第1ロボット画像および第2ロボットを表す第2ロボット画像を識別することを特徴とするロボット識別システム。 - 請求項1〜3のいずれか1項に記載のロボット識別システムにおいて、
前記画像識別部により識別された前記ロボット画像に対応する前記ロボットモデルに基づき、前記撮像装置に対する前記ロボットの相対的な位置および姿勢を特定する位置姿勢特定部をさらに備えることを特徴とするロボット識別システム。 - 請求項1〜4のいずれか1項に記載のロボット識別システムにおいて、
前記撮像装置により前記ロボットが撮像された時点と、前記モデル生成部により前記複数のロボットモデルが生成された時点とがずれているとき、そのずれ時間に応じて、前記モデル生成部により生成された前記複数のロボットモデルを修正するモデル修正部をさらに備えることを特徴とするロボット識別システム。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014263537A JP6068429B2 (ja) | 2014-12-25 | 2014-12-25 | ロボット識別システム |
| CN201510702226.0A CN105729466B (zh) | 2014-12-25 | 2015-10-26 | 机器人识别系统 |
| US14/937,876 US9905016B2 (en) | 2014-12-25 | 2015-11-11 | Robot identification system |
| DE102015016530.5A DE102015016530B4 (de) | 2014-12-25 | 2015-12-18 | Roboter-Identifizierungssystem |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014263537A JP6068429B2 (ja) | 2014-12-25 | 2014-12-25 | ロボット識別システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016120585A true JP2016120585A (ja) | 2016-07-07 |
| JP6068429B2 JP6068429B2 (ja) | 2017-01-25 |
Family
ID=56116749
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014263537A Active JP6068429B2 (ja) | 2014-12-25 | 2014-12-25 | ロボット識別システム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9905016B2 (ja) |
| JP (1) | JP6068429B2 (ja) |
| CN (1) | CN105729466B (ja) |
| DE (1) | DE102015016530B4 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108408395A (zh) * | 2018-03-05 | 2018-08-17 | 江南大学 | 一种移动式非对称双臂协作机器人 |
| WO2021019948A1 (ja) * | 2019-07-29 | 2021-02-04 | コベルコ建機株式会社 | 建設機械の位置特定システム |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10245724B2 (en) * | 2016-06-09 | 2019-04-02 | Shmuel Ur Innovation Ltd. | System, method and product for utilizing prediction models of an environment |
| JP6809245B2 (ja) * | 2017-01-20 | 2021-01-06 | セイコーエプソン株式会社 | ロボット |
| JP6915288B2 (ja) * | 2017-02-08 | 2021-08-04 | オムロン株式会社 | 画像処理システム、画像処理装置、FPGA(Field Programmable Gate Array)における回路の再構成方法、および、FPGAにおける回路の再構成プログラム |
| KR102499576B1 (ko) * | 2018-01-08 | 2023-02-15 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
| DE102018112365B3 (de) | 2018-05-23 | 2019-10-10 | ERO GmbH | Haltevorrichtung für eine Maschine zur Pflanzenbearbeitung und Verfahren zum Steuern solch einer Haltevorrichtung |
| DE102018113336A1 (de) | 2018-06-05 | 2019-12-05 | GESTALT Robotics GmbH | Verfahren zum Verwenden mit einer Maschine zum Einstellen einer Erweiterte-Realität-Anzeigeumgebung |
| GB2581843B (en) * | 2019-03-01 | 2021-06-02 | Arrival Ltd | Calibration system and method for robotic cells |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004243516A (ja) * | 2003-02-11 | 2004-09-02 | Kuka Roboter Gmbh | コンピュータによって生成された情報を現実環境の画像へとフェードインするための方法、およびコンピュータによって生成された情報を現実環境の画像に視覚化するための装置 |
| JP2007245283A (ja) * | 2006-03-15 | 2007-09-27 | Nissan Motor Co Ltd | ワーク姿勢検知装置、ワーク姿勢検知方法、ピッキングシステム、およびピッキング方法 |
| JP2011189431A (ja) * | 2010-03-12 | 2011-09-29 | Denso Wave Inc | ロボットシステム |
| JP2012218120A (ja) * | 2011-04-12 | 2012-11-12 | Seiko Epson Corp | マニピュレーター動作予告装置、ロボットシステム及びマニピュレーター動作予告方法 |
| JP2014161965A (ja) * | 2013-02-26 | 2014-09-08 | Toyota Industries Corp | 物品取り出し装置 |
| JP2014180707A (ja) * | 2013-03-18 | 2014-09-29 | Yaskawa Electric Corp | ロボット装置及び被加工物の製造方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6845295B2 (en) * | 2002-03-07 | 2005-01-18 | Fanuc Robotics America, Inc. | Method of controlling a robot through a singularity |
| JP4460528B2 (ja) * | 2004-12-14 | 2010-05-12 | 本田技研工業株式会社 | 識別対象識別装置およびそれを備えたロボット |
| EP2431138A4 (en) * | 2009-01-09 | 2014-06-04 | Panasonic Corp | CONTROL DEVICE AND CONTROL METHOD FOR A ROBOT ARM, ROBOT, CONTROL PROGRAM FOR THE ROBOT ARM AND INTEGRATED ELECTRONIC CIRCUIT |
| JP5489000B2 (ja) * | 2010-08-31 | 2014-05-14 | 株式会社安川電機 | 作業装置及び部品ピッキングシステム |
| JP4821934B1 (ja) * | 2011-04-14 | 2011-11-24 | 株式会社安川電機 | 3次元形状計測装置およびロボットシステム |
| US9367770B2 (en) * | 2011-08-30 | 2016-06-14 | Digimarc Corporation | Methods and arrangements for identifying objects |
| US9463574B2 (en) * | 2012-03-01 | 2016-10-11 | Irobot Corporation | Mobile inspection robot |
| US9258550B1 (en) * | 2012-04-08 | 2016-02-09 | Sr2 Group, Llc | System and method for adaptively conformed imaging of work pieces having disparate configuration |
| US9495788B2 (en) * | 2013-03-22 | 2016-11-15 | Kt Corporation | Apparatus and method for developing robot contents |
-
2014
- 2014-12-25 JP JP2014263537A patent/JP6068429B2/ja active Active
-
2015
- 2015-10-26 CN CN201510702226.0A patent/CN105729466B/zh active Active
- 2015-11-11 US US14/937,876 patent/US9905016B2/en active Active
- 2015-12-18 DE DE102015016530.5A patent/DE102015016530B4/de active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004243516A (ja) * | 2003-02-11 | 2004-09-02 | Kuka Roboter Gmbh | コンピュータによって生成された情報を現実環境の画像へとフェードインするための方法、およびコンピュータによって生成された情報を現実環境の画像に視覚化するための装置 |
| JP2007245283A (ja) * | 2006-03-15 | 2007-09-27 | Nissan Motor Co Ltd | ワーク姿勢検知装置、ワーク姿勢検知方法、ピッキングシステム、およびピッキング方法 |
| JP2011189431A (ja) * | 2010-03-12 | 2011-09-29 | Denso Wave Inc | ロボットシステム |
| JP2012218120A (ja) * | 2011-04-12 | 2012-11-12 | Seiko Epson Corp | マニピュレーター動作予告装置、ロボットシステム及びマニピュレーター動作予告方法 |
| JP2014161965A (ja) * | 2013-02-26 | 2014-09-08 | Toyota Industries Corp | 物品取り出し装置 |
| JP2014180707A (ja) * | 2013-03-18 | 2014-09-29 | Yaskawa Electric Corp | ロボット装置及び被加工物の製造方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108408395A (zh) * | 2018-03-05 | 2018-08-17 | 江南大学 | 一种移动式非对称双臂协作机器人 |
| CN108408395B (zh) * | 2018-03-05 | 2023-07-11 | 江南大学 | 一种移动式非对称双臂协作机器人 |
| WO2021019948A1 (ja) * | 2019-07-29 | 2021-02-04 | コベルコ建機株式会社 | 建設機械の位置特定システム |
| CN114174608A (zh) * | 2019-07-29 | 2022-03-11 | 神钢建机株式会社 | 工程机械的位置确定系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6068429B2 (ja) | 2017-01-25 |
| US9905016B2 (en) | 2018-02-27 |
| DE102015016530B4 (de) | 2018-05-09 |
| CN105729466A (zh) | 2016-07-06 |
| CN105729466B (zh) | 2017-08-08 |
| DE102015016530A1 (de) | 2016-06-30 |
| US20160184998A1 (en) | 2016-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6068429B2 (ja) | ロボット識別システム | |
| JP6222898B2 (ja) | 3次元計測装置及びロボット装置 | |
| JP6527178B2 (ja) | 視覚センサのキャリブレーション装置、方法及びプログラム | |
| US10786904B2 (en) | Method for industrial robot commissioning, industrial robot system and control system using the same | |
| JP6420229B2 (ja) | 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム | |
| US10818099B2 (en) | Image processing method, display device, and inspection system | |
| JP5815761B2 (ja) | 視覚センサのデータ作成システム及び検出シミュレーションシステム | |
| JP4844453B2 (ja) | ロボットの教示装置及び教示方法 | |
| US10427298B2 (en) | Robot system displaying information for teaching robot | |
| JP6589604B2 (ja) | ティーチング結果表示システム | |
| JP2020071718A5 (ja) | ||
| JP7674464B2 (ja) | 視覚センサの出力から得られる3次元位置情報を用いるシミュレーション装置 | |
| JP2014170483A5 (ja) | ||
| WO2017155005A1 (en) | Image processing method, display device, and inspection system | |
| JP2015062017A (ja) | モデル作成装置、モデル作成プログラム、および画像認識システム | |
| JP2023007233A5 (ja) | ||
| US20190318503A1 (en) | Non-transitory computer-readable storage medium, display apparatus, head-mounted display apparatus, and marker | |
| JP6659641B2 (ja) | 3次元モデル作成装置 | |
| KR20200069713A (ko) | 용접로봇의 작업 경로 생성방법 | |
| JP6220514B2 (ja) | ロボット制御システムおよびロボット制御方法 | |
| CN110900606B (zh) | 一种基于小型机械臂手眼联动系统及其控制方法 | |
| JP7799330B2 (ja) | ロボット操作システムの動作方法 | |
| KR101973675B1 (ko) | 3d 영상 기반 로봇 원격 조작 방법 및 3d 영상 기반 원격 조작 로봇 | |
| TW202430336A (zh) | 程式編寫裝置 | |
| TW202529973A (zh) | 工具座標系統之設定裝置及設定方法以及機器人系統 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160809 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161006 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161222 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6068429 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |