JP2017068553A - Analysis system - Google Patents
Analysis system Download PDFInfo
- Publication number
- JP2017068553A JP2017068553A JP2015192820A JP2015192820A JP2017068553A JP 2017068553 A JP2017068553 A JP 2017068553A JP 2015192820 A JP2015192820 A JP 2015192820A JP 2015192820 A JP2015192820 A JP 2015192820A JP 2017068553 A JP2017068553 A JP 2017068553A
- Authority
- JP
- Japan
- Prior art keywords
- data
- acquisition means
- analysis
- production system
- data acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004519 manufacturing process Methods 0.000 claims abstract description 133
- 230000006872 improvement Effects 0.000 claims abstract description 23
- 238000010801 machine learning Methods 0.000 claims abstract description 8
- 230000005856 abnormality Effects 0.000 claims description 35
- 230000002159 abnormal effect Effects 0.000 claims description 12
- 230000007257 malfunction Effects 0.000 abstract 1
- 230000008859 change Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 7
- 238000000034 method Methods 0.000 description 5
- 238000009434 installation Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- General Factory Administration (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、画像認識する対象物に対して作業を行うロボットを有する生産システム内の状況を解析する解析システムに関する。 The present invention relates to an analysis system for analyzing a situation in a production system having a robot that performs an operation on an object for image recognition.
生産ラインにおいて、ロボットのハンド等により部品等に対して正確な操作を可能とするために、バラ積みにされた部品等を個々に認識し、各部品の位置及び姿勢を認識するための3次元物体認識装置が近年開発されている。 3D for recognizing individual parts in a production line and recognizing the position and orientation of each part individually to enable accurate operations on parts, etc. using robot hands Object recognition devices have been developed in recent years.
従来、このような3次元物体認識装置では、例えば、3次元形状を有する認識対象物を所定方向からカメラで撮影した画像から認識対象物のエッジすなわち輪郭等の特徴を抽出し、撮影画像を構成する各画素について最も近いエッジまでの距離をそれぞれ計算し、認識対象物の輪郭形状を表わす3次元モデルを撮影画像上に射影して照合することにより認識対象物の位置姿勢を認識するもの等がある(例えば、特許文献1参照)。そして、生産ライン等においては、このように3次元物体認識装置によって得られた認識対象物の位置姿勢の情報に基づいて、ロボットコントローラ等によって認識対象物に対して正確な作業を行うようにロボットの動作が制御される。 Conventionally, in such a three-dimensional object recognition device, for example, a feature such as an edge of a recognition object, that is, a contour, is extracted from an image obtained by photographing a recognition object having a three-dimensional shape with a camera from a predetermined direction, thereby forming a photographed image For example, the distance to the nearest edge is calculated for each pixel to be recognized, and a three-dimensional model representing the outline shape of the recognition target object is projected onto the captured image and collated to recognize the position and orientation of the recognition target object, etc. Yes (see, for example, Patent Document 1). In a production line or the like, the robot performs an accurate operation on the recognition target object by the robot controller or the like based on the position / orientation information of the recognition target object obtained by the three-dimensional object recognition device. Is controlled.
しかしながら、ロボットや他のマニピュレータ等を有する生産システムの現場では、時々刻々と状況が変化する。具体的には、例えば、ロボットや他のマニピュレータ等の機器の消耗、治具の緩み、生産対象の変更、生産量の変化、環境(温度、外乱光、振動、ノイズ等)の変化といった様々な事柄が生産システムでは変化していくことが想定される。そして、このような様々な要因によって、生産システム内に異常が発生すると、生産が停止してしまう虞がある。また、生産システムの開発側では、生産システムを利用するそれぞれのユーザの操作状況、生産状況、稼動状況等に応じて、それぞれのユーザから様々な異なる要求がなされることがあるため、ユーザニーズの本質を取り入れた開発が困難であった。 However, the situation changes from moment to moment in the field of production systems having robots and other manipulators. Specifically, for example, various consumptions such as wear of devices such as robots and other manipulators, loosening of jigs, change of production target, change of production volume, change of environment (temperature, disturbance light, vibration, noise, etc.) It is assumed that things will change in the production system. Then, if an abnormality occurs in the production system due to such various factors, production may be stopped. Also, on the development side of the production system, various different requests may be made by each user depending on the operation status, production status, operation status, etc. of each user who uses the production system. Development incorporating the essence was difficult.
本発明は、上記のような課題に鑑みてなされたものであって、生産システム内の所望のデータを逐次取得し、そのデータを解析することにより、生産システム内の異常発生を未然に防止したり、生産システムの改善点やユーザのニーズを抽出したりするための解析システムを提供することを目的とする。 The present invention has been made in view of the problems as described above, and obtains desired data in the production system sequentially and analyzes the data to prevent the occurrence of abnormality in the production system. Another object of the present invention is to provide an analysis system for extracting improvement points of a production system and user needs.
上記目的を達成するために、本発明に係る解析システムは、画像認識する対象物に対して作業を行うロボットを有する生産システム内の状況を解析する解析システムであって、1つ又は複数の生産システム内の所望のデータを時系列的に逐次取得するデータ取得手段と、前記データ取得手段によって取得された前記データを記憶する記憶手段と、前記記憶手段に記憶されている前記データを用いて、機械学習を行うことにより解析情報を生成する解析手段と、を備えることを特徴としている。 In order to achieve the above object, an analysis system according to the present invention is an analysis system that analyzes a situation in a production system having a robot that performs an operation on an object for image recognition, and includes one or more productions. Using data acquisition means for sequentially acquiring desired data in the system in time series, storage means for storing the data acquired by the data acquisition means, and using the data stored in the storage means, And an analysis unit that generates analysis information by performing machine learning.
また、本発明に係る解析システムは、前記解析手段によって生成された前記解析情報を用いて、前記生産システム内に改善事項が生じるか否かを判定する判定手段と、前記判定手段によって前記生産システム内に前記改善事項が生じると判定された場合に、前記改善事項を提示する提示手段と、を備えることを特徴としている。尚、改善事項とは、例えば、生産システム内における異常や生産システムの改善を図るために必要となる設定等を含むものである。 Moreover, the analysis system according to the present invention uses the analysis information generated by the analysis unit to determine whether or not an improvement matter occurs in the production system, and the determination unit determines the production system. And presenting means for presenting the improvement item when it is determined that the improvement item will occur in the device. Note that the improvement items include, for example, abnormalities in the production system and settings necessary for improving the production system.
また、本発明に係る解析システムは、前記データ取得手段が、前記画像認識する対象物を撮像して画像データを取得する画像データ取得手段を有しており、前記記憶手段は、前記画像データ取得手段によって取得された前記画像データを記憶し、前記解析手段は、前記記憶手段に記憶された前記画像データを用いて、前記解析情報を生成することを特徴としている。 In the analysis system according to the present invention, the data acquisition unit includes an image data acquisition unit that captures an image recognition target and acquires image data, and the storage unit acquires the image data acquisition unit. The image data acquired by the means is stored, and the analysis means generates the analysis information using the image data stored in the storage means.
また、本発明に係る解析システムは、前記データ取得手段が、前記生産システム内の温度データを取得する温度データ取得手段、前記システムの稼動経過時間を取得する経過時間取得手段、前記生産システム内の湿度データを取得する湿度データ取得手段、前記生産システム内の気圧データを取得する気圧データ取得手段、前記生産システム内の前記ロボットの動作データを取得するロボット動作データ取得手段、前記生産システム内に設けられる各設備の動作データを取得する設備動作データ取得手段、前記生産システム内の異常データを取得する異常データ取得手段の少なくともいずれかを有し、前記記憶手段は、前記温度データ取得手段によって取得された前記温度データ、前記経過時間取得手段によって取得された前記稼動経過時間、前記湿度データ取得手段によって取得された前記湿度データ、前記気圧データ取得手段によって取得された前記気圧データ、前記ロボット動作データ取得手段によって取得された前記ロボットの動作データ、前記設備動作データ取得手段によって取得された前記各設備の動作データ、前記異常データ取得手段によって取得された前記異常データの少なくともいずれかを記憶し、前記解析手段は、前記記憶手段に記憶された前記温度データ、前記稼動経過時間、前記湿度データ、前記気圧データ、前記ロボットの動作データ、前記各設備の動作データ、前記異常データの少なくともいずれかを用いて、前記解析情報を生成することを特徴としている。 Further, in the analysis system according to the present invention, the data acquisition means includes temperature data acquisition means for acquiring temperature data in the production system, elapsed time acquisition means for acquiring an operation elapsed time of the system, Humidity data acquisition means for acquiring humidity data, atmospheric pressure data acquisition means for acquiring atmospheric pressure data in the production system, robot operation data acquisition means for acquiring operation data of the robot in the production system, provided in the production system At least one of equipment operation data acquisition means for acquiring operation data of each equipment and abnormality data acquisition means for acquiring abnormality data in the production system, and the storage means is acquired by the temperature data acquisition means. The temperature data, the elapsed operating time acquired by the elapsed time acquiring means The humidity data acquired by the humidity data acquisition means, the atmospheric pressure data acquired by the atmospheric pressure data acquisition means, the robot operation data acquired by the robot operation data acquisition means, and acquired by the equipment operation data acquisition means Stored at least one of the abnormal data acquired by the abnormal data acquired by the abnormal data acquisition means, the analysis means, the temperature data stored in the storage means, the operation elapsed time, The analysis information is generated using at least one of the humidity data, the atmospheric pressure data, the operation data of the robot, the operation data of each facility, and the abnormality data.
本発明に係る解析システムによれば、データ取得手段によって時系列的に逐次取得した1つ又は複数の生産システム内の所望のデータを記憶手段に記憶し、この記憶手段に記憶されたデータを用いて、機械学習を行うことにより、所望のデータの関係性を示す解析情報を自動的に生成することができるので、この解析情報を活用することによって、生産システム内の異常発生を未然に防止したり、生産システムの改善点やユーザのニーズを抽出したりすることができる。 According to the analysis system of the present invention, desired data in one or a plurality of production systems sequentially acquired in time series by the data acquisition unit is stored in the storage unit, and the data stored in the storage unit is used. By using machine learning, it is possible to automatically generate analysis information that shows the relationship between the desired data. By using this analysis information, it is possible to prevent the occurrence of abnormalities in the production system. It is possible to extract improvement points of the production system and user needs.
また、本発明に係る解析システムによれば、データ取得手段によって新たに取得されるデータと、解析手段によって生成された解析情報を用いて、生産システム内に改善事項が生じるか否かを判定手段によって判定し、生産システム内に改善事項が生じると判定された場合に、提示手段によって改善事項を提示するので、ユーザや生産システムの管理センター等は、生産システム内の改善事項を容易に把握することができる。これにより、ユーザや生産システムの管理センター等は、提示手段に提示された改善事項に基づいて、改善が必要とされる箇所の交換や修理、改修等を事前に行うことによって、未然に異常発生等を防いだり、生産システムの効率化等を図ることができる。また、異常が発生するとされる箇所の交換や修理を事前に行うことができず、異常が発生したような場合でも、異常の発生箇所を迅速に特定することができるで、被害を最小限に抑えることができる。 Further, according to the analysis system according to the present invention, using the data newly acquired by the data acquisition unit and the analysis information generated by the analysis unit, it is determined whether or not an improvement item occurs in the production system. When the improvement items are determined to occur in the production system, the improvement items are presented by the presentation means. Therefore, the management center of the user or the production system can easily grasp the improvement items in the production system. be able to. As a result, the user or the production system management center, etc., will generate an abnormality in advance by exchanging, repairing, or refurbishing parts that require improvement based on the improvement items presented on the presentation means. Can be prevented, and the production system can be made more efficient. Also, it is impossible to replace or repair the location where an abnormality occurs in advance, and even if an abnormality occurs, the location where the abnormality has occurred can be identified quickly, minimizing damage. Can be suppressed.
また、本発明に係る解析システムによれば、記憶手段は、3次元認識を行うために画像認識する対象物の画像データを取得する画像データ取得手段によって取得される画像データを記憶し、解析手段は、記憶手段に記憶された画像データを用いて、解析情報を生成するので、ユーザや生産システムの管理センター等は、画像データ特有の解析情報を得ることができ、この解析情報を活用することによって、生産システム内の改善事項等を把握することができる。 Further, according to the analysis system of the present invention, the storage means stores the image data acquired by the image data acquisition means for acquiring the image data of the object to be recognized for performing three-dimensional recognition, and the analysis means Uses the image data stored in the storage means to generate the analysis information, so that the user or the production system management center can obtain the analysis information specific to the image data, and use this analysis information. Thus, improvement items in the production system can be grasped.
また、本発明に係る解析システムによれば、記憶手段は、温度データ取得手段によって取得された生産システム内の温度データ、経過時間取得手段によって取得された生産システムの稼動経過時間、湿度データ取得手段によって取得された生産システム内の湿度データ、気圧データ取得手段によって取得された生産システム内の気圧データ、ロボット動作データ取得手段によって取得された生産システム内のロボットの動作データ、設備動作データ取得手段によって取得された生産システム内の各設備の動作データ、異常データ取得手段によって取得された生産システム内の異常データの少なくともいずれかを記憶し、解析手段は、記憶手段に記憶された温度データ、稼動経過時間、湿度データ、気圧データ、ロボットの動作データ、各設備の動作データ、異常データの少なくともいずれかを用いて、前記解析情報を生成するので、ユーザや生産システムの管理センター等は、生産システム内の様々な関係性を示す特有の解析情報を得ることができ、この解析情報を活用することによって、生産システム内の改善事項等を把握することができる。 Further, according to the analysis system of the present invention, the storage means includes temperature data in the production system acquired by the temperature data acquisition means, elapsed operation time of the production system acquired by the elapsed time acquisition means, and humidity data acquisition means. The humidity data in the production system acquired by the above, the atmospheric pressure data in the production system acquired by the atmospheric pressure data acquisition means, the operation data of the robot in the production system acquired by the robot operation data acquisition means, and the equipment operation data acquisition means The acquired operation data of each facility in the production system and at least one of abnormal data in the production system acquired by the abnormal data acquisition means are stored, and the analysis means stores the temperature data stored in the storage means, operation progress Time, humidity data, atmospheric pressure data, robot operation data, each equipment Since the analysis information is generated using at least one of operation data and abnormality data, the user or the management center of the production system can obtain specific analysis information indicating various relationships in the production system. By utilizing this analysis information, improvement items in the production system can be grasped.
以下に本発明の実施形態に係る解析システム1について、図面を参照しつつ説明する。解析システム1は、例えば、図1に示すように、画像認識する対象物であるワーク2に対して作業を行うロボット3を有する生産システム100内の状況の解析を行うためのものであって、生産システム100内に設けられる各種設備の一つであるコンベア4によって搬送されてくるトレー5にバラ積みにされているワーク2の画像データを取得するための画像データ取得部6(6a、6b)と、生産システム100内の温度データを取得する温度センサ(温度データ取得手段)7aと、生産システム100内の湿度データを取得する湿度センサ(湿度データ取得手段)7bと、生産システム100内の気圧データを取得する気圧センサ(気圧データ取得手段)7cと、生産システム100内の電磁ノイズを検出する電磁ノイズ検出センサ8と、生産システム100内の振動を検出する振動センサ9と、詳しくは図示しないが、生産システム100内に設けられる各種設備であるコンベア、ロボット、加工機、搬送機等の動作データを取得するための圧力センサ、光電センサ、画像センサ、力覚センサ、エンコーダ等のセンサである設備動作データ取得手段と、これらの設備動作データ取得手段に接続され、ロボット3の動作制御やコンベア4等の生産システム100内に設けられる各種設備の動作制御を行ったり、設備動作データ取得手段から設備動作データ取得手段自身の故障等を示す異常データを取得する異常データ取得手段としても機能するロボットコントローラ22及びPLC(プログラマブルコントローラ)23と、これらの各種センサやロボットコントローラ22、PLC23等によって取得されたそれぞれのデータ等を集めて記憶したり、それらのデータ等を用いて各種の演算等を行うためのコンピュータ10とを備えている。
Hereinafter, an analysis system 1 according to an embodiment of the present invention will be described with reference to the drawings. For example, as shown in FIG. 1, the analysis system 1 is for analyzing a situation in a
ロボット3は、ワーク2に対して所定の作業を行うためのものであって、図1に示すように、ワーク2に対して作業を行えるように、ワーク2がバラ積みされているトレー5が搬送されてくるコンベア4の近傍に配置されている。このロボット3は、生産システム100内の床や壁等の設置面に固定される土台31と、土台31に対して基端が回転可能に連結されているロボットアーム部32と、ロボットアーム部32の先端に取り付けられ、ワークWを把持するためのロボットハンド33等を備えている。
The robot 3 is for performing a predetermined work on the
ロボット3は、詳しくは図示しないが、それぞれの回転軸にサーボモータ及びそれぞれの回転位置を検出するエンコーダ等が設けられており、ロボットコントローラ22から送られる制御信号に基づいて、それぞれのサーボモータが動作するように構成されている。尚、ワーク2に対して作業を行うロボット3は、これに限定されるものではなく、例えば、ロボットハンド33として真空ポンプ等の吸引装置を用いてワーク2を吸着して保持するようなものであっても良い。
Although not shown in detail, the robot 3 is provided with a servo motor and an encoder for detecting the rotational position of each rotary shaft. Based on the control signal sent from the
コンベア4は、生産システム100内に設けられる各種設備の一つであって、例えば、図1に示すように、ベルト41に載置されているトレー5をロボット3が作業可能な位置へと搬送するための搬送機構であり、詳しくは図示しないが、搬送ローラを回転させることによりベルト41を搬送方向へと動作させるものである。このコンベア4では、例えば、搬送ローラの回転を検出するエンコーダ等が設けられており、PLC23から送られる制御信号に基づいて、搬送ローラの回転速度が調節されることによって、搬送速度が制御される。
The conveyor 4 is one of various facilities provided in the
また、コンベア4には、詳しくは図示しないが、ベルト41が動作することにより搬送路上の所定の位置を通過するワーク2がバラ積みされているトレー5を検出する光電センサが設けられており、トレー5を検出した情報はコンピュータ10やPLC23へと送られ、ロボット3がワーク2に対して作業可能な位置にトレー5が来るようにコンベア4が制御される。尚、トレー5を検出する検出センサは、光電センサに限定されるものではなく、例えば、画像センサや力覚センサ等の他のセンサによってトレー5を検出するようにしても良い。また、搬送装置は、本実施形態のようなコンベア4に限定されるものではなく、ワーク2がバラ積みされているトレー5をロボット3が作業可能な位置に搬送することができるものであれば良く、例えば、トレーチェンジャー等であっても良い。
In addition, although not shown in detail in the conveyor 4, a photoelectric sensor that detects the tray 5 on which the
画像データ取得部6は、例えば、図1に示すように、コンベア4によって搬送されてくるトレー5にバラ積みにされているワーク2を異なる方向から撮像する2台のカメラ6a、6bであって、このカメラ6a、6bによって取得した画像データはコンピュータ10へと送られる。尚、画像データ取得部6は、本実施形態に限定されるものではなく、例えば、レーザのワーク2による反射を用いてワーク2の表面の点の3次元座標を示す3次元点群を計測するもの等、ワーク2の位置姿勢を求めるために、ワーク2の各種画像やワーク2の表面の点の3次元座標を示す3次元点群を取得できるものであれば良く、従来公知のものを用いることができる。また、カメラの台数は、2台に限定されるものではなく、3台以上設けられていても良い。
For example, as shown in FIG. 1, the image data acquisition unit 6 includes two
コンピュータ10は、図1に示すように、例えば、生産システム100内のLAN上のサーバーとして設けられており、画像データ取得部6により取得された画像データ等を記憶する画像メモリ(記憶手段)11と、ワーク2の認識を行うための処理プログラムや各種センサ等によって取得されたデータ等を用いて解析を行うための処理プログラム等を格納するハードディスク12と、該ハードディスク13から読み出された処理プログラムを一時記憶するRAM(Random Access Memory:記憶手段)13と、この処理プログラムに従って3次元認識処理や解析処理等を行うCPU(Central Proceessing Unit)14と、画像メモリ11に記憶された画像データ、CPU14によって求められた認識結果や解析結果等を提示するためのディスプレイ等によって構成される提示手段15と、ユーザからの入力データを受け付けるためのマウスやキーボード等で構成される入力データ取得手段16と、生産システム100の稼働時間を取得する経過時間取得手段20と、これら各部を互いに接続するシステムバス21とを有している。尚、本実施形態では、ワーク2の認識を行う処理プログラムや各種センサ等によって取得されたデータ等を用いて解析を行うための処理プログラム等をハードディスク12に格納している例を示しているが、これに代えて、コンピュータ読み取り可能な記憶媒体(不図示)に格納しておき、この記録媒体から処理プログラムを読み出すように構成することも可能である。
As shown in FIG. 1, the
3次元認識手段17では、ロボット3がコンベア4によって搬送されてきたトレー5内にバラ積みされているワーク2に対して所定の作業を行うために、カメラ6a、6bによって取得した画像データを用いてワーク2の位置姿勢を求める。この3次元認識手段17によるワーク2の位置姿勢を求めるための方法として、従来公知の方法を用いることができ、カメラ6a、6bによって取得した画像データや、3次元点群を用いて、例えば、特開2010−205095号公報、特開2011−129082号公報、特開2012−026974号公報等に開示されている位置姿勢を求める方法等を用いることができる。また、ロボットコントローラ22は、所望のロボットプログラムに従って、3次元認識手段17によって求められたワーク2の位置姿勢に基づいて、ロボット3を制御するための制御信号を生成し、ロボット3へと送信することにより、ロボット3の動作を制御する。また、ロボットコントローラ22では、このようにロボット3の動作を制御するので、ロボット3の移動先の位置姿勢情報である動作データを取得して保持するロボット動作データ取得手段としての役割も果たすことができる。
In the three-dimensional recognition means 17, the robot 3 uses image data acquired by the
PLC23は、例えば、生産システム100内に設けられる各種設備の動作の制御を行うためのものであって、図1に示すように、例えば、コンベア4等に接続されている。PLC23では、例えば、コンピュータ10から受信した制御信号に応じて、トレー5が搬送路上の所定の位置にいるかを検出して結果を出力するように、光電センサ(不図示)に指令を送って制御したり、ロボット3がワーク2に対して作業可能な位置にトレー5が来るように、コンベア4に指令を送って制御する。また、詳しくは図示しないが、このPLC23が制御する各種瀬粒は、コンベア4に限定されるものではなく、PLC23は、生産システム100に応じて、その他のワーク2に対して切断や組立等の加工を行うための加工機構等も制御するように構成されていても良い。
The
以下、本実施形態に係る生産システム100内での解析システム1の処理の一例について図面を参照しつつ説明する。解析システム1では、図2に示すように、生産システム100内の各種の所望のデータを時系列的に逐次取得する(S101)。解析システム1では、入力データ取得手段16によって、ユーザが入力した認識対象であるワーク2の3次元モデルデータを取得する。この3次元モデルデータは、例えば、ワーク2の3次元形状情報を含むものであって、3次元認識手段17によってワーク2の位置姿勢を認識するために、ワーク2の輪郭形状を表わす3次元輪郭点データ及び表面形状を表わす3次元面点データ等を有しており、3次元CAD等を利用して作成されるものである。このような3次元モデルデータは、RAM13等の記憶手段に記憶される。また、入力データ取得手段16では、例えば、ユーザからの入力を受け付けたことに応じて、タイムスタンプを含むユーザの操作履歴情報を取得し、RAM13等の記憶手段へ記憶する。
Hereinafter, an example of processing of the analysis system 1 in the
また、解析システム1では、画像データ取得手段6によって、ワーク2を撮像した画像データを取得する。この画像データ取得手段6によって取得された画像データは、画像メモリ11等の記憶手段に記憶される。また、解析システム1では、例えば、温度センサ7a、湿度センサ7b、気圧センサ7cによって生産システム100内の温度データ、湿度データ、気圧データを逐次取得し、電磁ノイズ検出器8によって生産システム100内の電磁ノイズを逐次検出して取得し、振動センサ9によって生産システム100内の振動を逐次検出して取得し、経過時間取得手段20によって生産システム100の稼動経過時間を取得し、設備動作データ取得手段によって生産システム100内に設けられる各設備の動作データを取得し、更に設備動作データ取得手段に接続されるコントローラ22やPLC23によって設備動作データ取得手段自身の故障等を示す異常データを取得し、ロボットコントローラ22によってロボット3の移動先の位置姿勢情報である動作データを取得する。これらの各種センサ、経過時間取得手段20、コントローラ22、及びPLC23等によって取得されたそれぞれのデータは、RAM13等の記憶手段に逐次記憶される。尚、温度センサ7a、湿度センサ7b、気圧センサ7c、電磁ノイズ検出器8、振動センサ9等の設置場所及び個数は、特に限定されるものではなく、生産システム100内の異なる場所に複数設けておくようにしても良い。
In the analysis system 1, image data obtained by capturing the
次に、解析システム1では、解析手段18によって、S101で取得したそれぞれのデータを用いて、機械学習を行うことにより各種の解析情報を生成する(S102)。解析手段18では、機械学習によって、例えば、それぞれのデータから有用な規則や生産システム100内の異常検知等を行うための判定基準等となる解析情報を生成する。
Next, in the analysis system 1, the
本実施形態に係る解析手段18では、例えば、所定期間中に入力データ取得手段16によって逐次取得したワーク2の3次元モデルデータを用いて、ワーク2の形状に関する解析情報を生成する。これにより、ユーザが、どのような形状のワーク2に対して作業を行っているかの傾向を定量的な情報として把握することができる。また、解析手段18では、更に入力データ取得手段16によって取得したタイムスタンプを含むユーザの操作履歴情報を用いて、時間経過と生産量と生産対象物の形状特性との関係性を示す解析情報等を生成するようにしても良い。
In the
また、解析手段18では、例えば、画像データ取得手段6によって取得した画像データを用いて抽出したワーク2周辺の輝度値(明るさ)と、その輝度値の際にロボット3の動作エラーが発生したか否かの情報との関係性を示す解析情報を生成する。これにより、生産システム100内の照明等の変化によってワーク2の周辺環境の明るさが変化することで、3次元認識手段17によってワーク2の位置姿勢を正確に認識できずにロボット3がワーク2に対して正確な作業を行うことができない動作エラーが生じるか否かの判定基準となる解析情報を生成することができる。
Further, in the analysis means 18, for example, the brightness value (brightness) around the
また、解析手段18では、温度センサ7aによって取得した温度データと、経過時間取得手段によって取得した稼動経過時間とを用いて、生産システム100内の温度と生産システム100内に異常が生じる時間間隔との関係性を示す解析情報を生成する。具体的には、解析手段18では、生産システム100内に異常が生じた際の稼動経過時間と、その際の温度データとを用いて、機械学習を行うことにより生産システム100内の温度と生産システム100内に異常が生じる時間間隔との関係性を示す解析情報を生成する。これにより、温度データの変化や稼働時間によって生産システム100内に異常が生じるか否かの判定基準となる解析情報を生成することができる。また、解析手段18では、温度センサ7aによって取得した温度データに代えて又は加えて、湿度センサ7bによって取得した湿度データや気圧センサ7cによって取得した気圧データを用いるようにしても良い。
The
また、解析手段18では、例えば、電磁ノイズ検出器8によって取得した電磁ノイズデータと、その電磁ノイズデータの際に生産システム100内に異常が発生したか否かの情報との関係性を示す解析情報を生成する。これにより、生産システム100内の電磁ノイズの変化によって、生産システム100内に異常が生じるか否かの判定基準となる解析情報を生成することができる。また、解析情報では、例えば、振動センサ9によって取得した振動データと、その振動データの際に生産システム100内に異常が発生したか否かの情報との関係性を示す解析情報を生成する。これにより、生産システム100内の振動の変化によって、生産システム100内に異常が生じるか否かの判定基準となる解析情報を生成することができる。更に、解析システム1では、画像データ取得手段6によって生産システム100内の治具を撮像した画像データを取得し、解析手段18では、その治具の画像データと、経過時間取得手段によって取得した稼動経過時間とを用いて、時間経過と治具の緩み等の変化の関係性を示す解析情報を生成するようにしても良い。また、更に解析手段18では、例えば、設備動作データ取得手段によって取得した生産システム100内の各種設備の動作データ、コントローラ22やPLC23によって取得した設備動作データ取得手段自身の故障等を示す異常データ、ロボットコントローラ22によって取得したロボット3の動作データ等を用いて、解析情報を生成するようにしても良い。また、このように解析手段18によって生成されたそれぞれの解析情報は、RAM13等の記憶手段に記憶される。
Further, the
そして、解析システム1では、例えば、解析手段18によって生成された解析情報のうち、ユーザのニーズの抽出に活用することができそうなワーク2の形状に関する解析情報や時間経過と生産量と生産対象物の形状特性との関係性を示す解析情報等の解析結果を提示手段15によって提示する(S103)。
In the analysis system 1, for example, out of the analysis information generated by the analysis means 18, analysis information regarding the shape of the
また、解析システム1では、判定手段19によって、各種のセンサ等によって新たに取得される各種データと、S102で生成した生産システム100内に異常等の改善すべき事項が生じるか否かの判定基準となる解析情報を用いて、生産システム100内に異常等の改善すべき事項が生じるか否かを判定する(S104)。本実施形態に係る判定手段19では、例えば、画像データ取得手段6によって新たに取得される画像データと、解析手段18によって生成されたワーク2周辺の明るさとロボット3の動作エラーとの関係性を示す解析情報を用いて、ロボット3の動作エラーが生じるか否かを判定する。また、判定手段19では、温度センサ7aによって新たに取得される温度データと、経過時間取得手段20によって新たに取得される生産システム100の稼動経過時間と、解析手段18によって生成された生産システム100内の温度と生産システム100内に異常が生じる時間間隔との関係性を示す解析情報とを用いて、生産システム100内に異常が生じるか否かを判定する。
In the analysis system 1, the
また、判定手段19では、電磁ノイズ検出器8によって新たに取得される電磁ノイズデータと、解析手段18によって生成された電磁ノイズデータと生産システム100内の異常発生との関係性を示す解析情報とを用いて、生産システム100内に異常が生じるか否かを判定する。また、判定手段19では、振動センサ9によって新たに取得される振動データと、解析手段18によって生成された振動データと生産システム100内の異常発生との関係性を示す解析情報とを用いて、生産システム100内に異常が生じるか否かを判定する。
The
そして、解析システム1では、判定手段19によって生産システム100内に異常等の改善事項(ロボット3の動作エラーを含む)が生じると判定された場合には、その改善事項等の警告を提示手段15によって提示する(S105)。これにより、ユーザや管理センター等に、事前に生産システム100内に改善事項が生じる可能性を知らせることができるので、必要に応じてメンテナンス等を行うことによって、異常が生じることを未然に防いだり、生産システム100の効率化等を図ることができる。
In the analysis system 1, when it is determined by the
このように本発明に係る解析システム1では、生産システム100内の所望のデータを逐次取得してRAM13等の記憶手段に記憶し、この記憶手段に記憶されたそれぞれのデータを用いて、解析手段18で機械学習を行うことにより、それぞれのデータの関係性を示す解析情報を自動的に生成することができるので、これらの解析情報を活用することによって、生産システム100内の異常発生を未然に防止したり、ユーザのニーズを抽出したりすることが可能になる。
As described above, in the analysis system 1 according to the present invention, desired data in the
尚、生産システム100内の各種の所望のデータは、これらのデータに限定されるものではなく、その他の従来公知のセンサ等を用いて、生産システム100内に生じる可能性のある改善事項に関連するデータを取得するようにしても良い。また、本実施形態に係る解析システム1では、取得したデータをオンラインで自動的に解析手段18に送る例を示しているが、これに限定されるものではなく、例えば、取得したデータを記憶手段に所定期間だけ記憶させておいた後に、それらのデータをオフラインで別のコンピュータ等に移行して、別のコンピュータ側で解析情報を生成するように構成しても良い。
The various desired data in the
また、本実施形態に係る解析システム1では、図1に示すように、1つの生産システム100内に設けられており、その生産システム100内の過去の時系列的に取得した種々のデータを用いて、コンピュータ10が有する解析手段18により解析情報を生成する例を示しているが、このような構成に限定されるものではなく、例えば、図3に示すように、解析システム1aのコンピュータ10aを生産システム100の外部のWAN上のサーバーとして設けておき、多数の異なるユーザの生産システム100からそれぞれ時系列的に取得して集めたデータ(ビッグデータ)をコンピュータ10aの記憶手段で記憶し、それらのデータを用いて、コンピュータ10aの解析手段によって機械学習を行うことにより解析情報を生成し、各生産システム100にその解析情報等の結果をサービスとして提供できるように構成しても良い。尚、図3では、コンピュータ10aが有する各部及び各生産システム100内の構成については省略して図示している。また、解析システム1aでは、更に各生産システム100内のLAN上にも解析手段18を有するコンピュータ10を設けておくことにより、各コンピュータ10の解析手段18で生成された解析情報を各生産システム100の外部のWAN上のサーバーとして設けられるコンピュータ10aへと転送し、それらの解析情報を用いて、コンピュータ10aの解析手段によって複合的な解析を行うこともできる。
Further, in the analysis system 1 according to the present embodiment, as shown in FIG. 1, provided in one
尚、本発明の実施の形態は上述の形態に限るものではなく、本発明の思想の範囲を逸脱しない範囲で適宜変更することができる。 The embodiment of the present invention is not limited to the above-described embodiment, and can be appropriately changed without departing from the scope of the idea of the present invention.
本発明に係る解析システムは、生産システム内の状況を解析し、生産システムに生じる異常を防止したり、生産システムの改善点やユーザのニーズを抽出したりするための技術として有効に利用することができる。 The analysis system according to the present invention is used effectively as a technique for analyzing a situation in a production system, preventing an abnormality occurring in the production system, and extracting improvements of the production system and user needs. Can do.
1、1a 解析システム
2 ワーク(画像認識する対象物)
3 ロボット
4 コンベア
6 画像データ取得部(画像データ取得手段)
7a 温度センサ
7b 湿度センサ
7c 気圧センサ
11 画像メモリ(記憶手段)
13 RAM(記憶手段)
15 提示手段
16 入力データ取得手段
18 解析手段
19 判定手段
20 経過時間取得手段
22 ロボットコントローラ
23 PLC(プログラマブルコントローラ)
100 生産システム
1,
3 Robot 4 Conveyor 6 Image data acquisition unit (image data acquisition means)
7a Temperature sensor 7b Humidity sensor 7c
13 RAM (storage means)
DESCRIPTION OF
100 production system
Claims (4)
1つ又は複数の生産システム内の所望のデータを時系列的に逐次取得するデータ取得手段と、
前記データ取得手段によって取得された前記データを記憶する記憶手段と、
前記記憶手段に記憶されている前記データを用いて、機械学習を行うことにより解析情報を生成する解析手段と、を備えることを特徴とする解析システム。 An analysis system for analyzing a situation in a production system having a robot that performs an operation on an object for image recognition,
Data acquisition means for sequentially acquiring desired data in one or a plurality of production systems in time series;
Storage means for storing the data acquired by the data acquisition means;
An analysis system comprising: analysis means for generating analysis information by performing machine learning using the data stored in the storage means.
前記判定手段によって前記生産システム内に前記改善事項が生じると判定された場合に、前記改善事項を提示する提示手段と、を備えることを特徴とする請求項1に記載の解析システム。 Using the analysis information generated by the analysis means, determination means for determining whether or not an improvement item occurs in the production system;
The analysis system according to claim 1, further comprising: a presentation unit that presents the improvement item when the determination unit determines that the improvement item is generated in the production system.
前記記憶手段は、前記画像データ取得手段によって取得された前記画像データを記憶し、
前記解析手段は、前記記憶手段に記憶された前記画像データを用いて、前記解析情報を生成することを特徴とする請求項1又は2に記載の解析システム。 The data acquisition means includes image data acquisition means for capturing the image recognition target and acquiring image data,
The storage means stores the image data acquired by the image data acquisition means,
The analysis system according to claim 1, wherein the analysis unit generates the analysis information using the image data stored in the storage unit.
前記記憶手段は、前記温度データ取得手段によって取得された前記温度データ、前記経過時間取得手段によって取得された前記稼動経過時間、前記湿度データ取得手段によって取得された前記湿度データ、前記気圧データ取得手段によって取得された前記気圧データ、前記ロボット動作データ取得手段によって取得された前記ロボットの動作データ、前記設備動作データ取得手段によって取得された前記各設備の動作データ、前記異常データ取得手段によって取得された前記異常データの少なくともいずれかを記憶し、
前記解析手段は、前記記憶手段に記憶された前記温度データ、前記稼動経過時間、前記湿度データ、前記気圧データ、前記ロボットの動作データ、前記各設備の動作データ、前記異常データの少なくともいずれかを用いて、前記解析情報を生成することを特徴とする請求項1又は2に記載の解析システム。 The data acquisition means includes temperature data acquisition means for acquiring temperature data in the production system, elapsed time acquisition means for acquiring the operation elapsed time of the system, humidity data acquisition means for acquiring humidity data in the production system, Pressure data acquisition means for acquiring pressure data in the production system, robot operation data acquisition means for acquiring operation data of the robot in the production system, equipment for acquiring operation data of each facility provided in the production system Operation data acquisition means, having at least one of abnormal data acquisition means for acquiring abnormal data in the production system,
The storage means includes the temperature data acquired by the temperature data acquisition means, the operating elapsed time acquired by the elapsed time acquisition means, the humidity data acquired by the humidity data acquisition means, and the atmospheric pressure data acquisition means. The atmospheric pressure data acquired by the above, the robot operation data acquired by the robot operation data acquisition means, the operation data of each equipment acquired by the equipment operation data acquisition means, and acquired by the abnormal data acquisition means Storing at least one of the abnormal data;
The analysis means includes at least one of the temperature data, the elapsed operation time, the humidity data, the atmospheric pressure data, the operation data of the robot, the operation data of each facility, and the abnormality data stored in the storage means. The analysis system according to claim 1, wherein the analysis information is generated.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015192820A JP2017068553A (en) | 2015-09-30 | 2015-09-30 | Analysis system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015192820A JP2017068553A (en) | 2015-09-30 | 2015-09-30 | Analysis system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017068553A true JP2017068553A (en) | 2017-04-06 |
Family
ID=58492618
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015192820A Pending JP2017068553A (en) | 2015-09-30 | 2015-09-30 | Analysis system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017068553A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019025618A (en) * | 2017-08-01 | 2019-02-21 | オムロン株式会社 | Robot control apparatus, robot control method, and robot control program |
| JP2020138254A (en) * | 2019-02-27 | 2020-09-03 | ファナック株式会社 | Machine tool machining defect occurrence prediction system |
-
2015
- 2015-09-30 JP JP2015192820A patent/JP2017068553A/en active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019025618A (en) * | 2017-08-01 | 2019-02-21 | オムロン株式会社 | Robot control apparatus, robot control method, and robot control program |
| JP7116901B2 (en) | 2017-08-01 | 2022-08-12 | オムロン株式会社 | ROBOT CONTROL DEVICE, ROBOT CONTROL METHOD AND ROBOT CONTROL PROGRAM |
| JP2020138254A (en) * | 2019-02-27 | 2020-09-03 | ファナック株式会社 | Machine tool machining defect occurrence prediction system |
| CN111618656A (en) * | 2019-02-27 | 2020-09-04 | 发那科株式会社 | System for predicting occurrence of machining failure in machine tool |
| US11307558B2 (en) | 2019-02-27 | 2022-04-19 | Fanuc Corporation | Machining defect occurrence prediction system for machine tool |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6978454B2 (en) | Object detector, control device and computer program for object detection | |
| CN107561082B (en) | Inspection system | |
| JP6856590B2 (en) | Sensing systems, work systems, augmented reality image display methods, and programs | |
| EP2916189A1 (en) | Quality assured manufacturing | |
| JP6856583B2 (en) | Sensing system, work system, augmented reality image display method, augmented reality image storage method, and program | |
| CN108713175B (en) | Method for operating a straight-through processor and straight-through processor | |
| US12083685B2 (en) | Control system and control device | |
| JP5725708B2 (en) | Sensor position and orientation measurement method | |
| JP6703812B2 (en) | 3D object inspection device | |
| CN107097226A (en) | The trouble-shooter of robot system | |
| JP6514264B2 (en) | Machine tool control system | |
| CN109916346B (en) | A detection device and detection method for workpiece flatness based on vision system | |
| JP2016147330A (en) | Control apparatus based on object recognition | |
| CN105856216A (en) | Workpiece taking out robot system and workpiece taking out method | |
| JP7660586B2 (en) | Industrial system, anomaly detection system, and anomaly detection method | |
| WO2018225159A1 (en) | Information processing device and machining defect identification method | |
| JP2009291895A (en) | Handling apparatus, control device, and control method | |
| JP2021033555A (en) | Object detection device and computer program for object detection | |
| JP6788758B1 (en) | Information processing equipment and machine tools | |
| JP6424560B2 (en) | Abnormality cause estimation device, picking device, and abnormality cause estimation method in picking device | |
| JP2017068553A (en) | Analysis system | |
| JP7450517B2 (en) | Machining surface determination device, machining surface determination program, machining surface determination method, and machining system | |
| WO2021149646A1 (en) | Image analyzing device, control device, mechanical system, image analysis method, and computer program for image analysis | |
| US11660757B2 (en) | Robot control system simultaneously performing workpiece selection and robot task | |
| CN118254483B (en) | Laser printing control method and system |