JP2022554044A - Real-time work monitoring and alarm system at substation site based on machine vision - Google Patents
Real-time work monitoring and alarm system at substation site based on machine vision Download PDFInfo
- Publication number
- JP2022554044A JP2022554044A JP2021575905A JP2021575905A JP2022554044A JP 2022554044 A JP2022554044 A JP 2022554044A JP 2021575905 A JP2021575905 A JP 2021575905A JP 2021575905 A JP2021575905 A JP 2021575905A JP 2022554044 A JP2022554044 A JP 2022554044A
- Authority
- JP
- Japan
- Prior art keywords
- apriltag
- machine vision
- icon
- real
- time monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
- G05B19/048—Monitoring; Safety
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C11/00—Arrangements, systems or apparatus for checking, e.g. the occurrence of a condition, not provided for elsewhere
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Alarm Systems (AREA)
- Emergency Alarm Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本発明は、マシンビジョンに基づく変電所現場における作業リアルタイムモニタリングと警報システムを開示する。これは、一意的ＩＤ番号を有するＡｐｒｉｌＴａｇアイコンが設けられるウェアラブルデバイスと、ＡｐｒｉｌＴａｇ画像処理技術に基づいて、ウェアラブルデバイスにおけるＡｐｒｉｌＴａｇアイコンに対して処理を行い、アイコンの一意的ＩＤ番号を識別するプロセッサと、画像情報を収集し、ウェアラブルデバイスにおけるＡｐｒｉｌＴａｇアイコンを捉え、プロセッサに伝送するように構成されるカメラと、作業フローと作業上の注意事項を音声により提示するか又は音声警報信号を出すように構成される音声システムと、警報情報とビデオをアップロードし、上位マシンからの指示を受信するように構成される通信システムと、を備える。本発明は、収集された画像情報に対してインテリジェント分析と処理を行い、電力作業者の作業空間の位置決めを行い、空間位置決めにより、作業者の作業内容と対応する作業の装着要件を判定し、安全上のリスクを減少させることができ、モニタリングシステムが確実であり、判定結果が正確である。
【選択図】図１
The present invention discloses a work real-time monitoring and alarm system in substation field based on machine vision. a wearable device provided with an AprilTag icon having a unique ID number; a processor, based on AprilTag image processing technology, that operates on the AprilTag icon on the wearable device to identify the icon's unique ID number; A camera configured to collect image information, capture the AprilTag icon on the wearable device, and transmit to a processor; and a communication system configured to upload alarm information and video and receive instructions from the host machine. The present invention performs intelligent analysis and processing on the collected image information to perform the positioning of the work space of the power worker, and through the spatial positioning, determines the worker's work content and the corresponding work wearing requirements, Safety risks can be reduced, the monitoring system is reliable, and the judgment results are accurate.
[Selection drawing] Fig. 1
Description
本発明は、安全監視技術分野に関し、より具体的には、マシンビジョンに基づく変電所現場における作業リアルタイムモニタリングと警報システムに関する。 Field of the Invention The present invention relates to the field of safety monitoring technology, and more particularly to a machine vision-based substation site work real-time monitoring and alarm system.
変電所は、電力システムの重要なインフラストラクチャとして、地域電圧クラス変換、使用及び送電タスクを担っている。変電所の確実な運転を確保するために、現場での作業は、安全規範に厳しく従い、規範に合致した安全施工を確保し、規範に違反した施工による人的被害と経済的損失を避けなければならない。変電所における作業は、地域が広く、施工位置が決まっていないなどの特徴を有するため、固設されたカメラは各シーンをカバーできなくなる。なお、従来のビデオモニタリングシステムは、収集、記憶及び再生機能のみを有し、インテリジェント分析と処理能力に欠ける。 Substations, as critical infrastructures of the power system, are responsible for regional voltage class conversion, usage and transmission tasks. In order to ensure the reliable operation of substations, on-site work must strictly follow safety norms, ensure safe construction that conforms to norms, and avoid human injury and economic loss caused by construction that violates norms. must. Since work at substations is characterized by wide areas and undetermined construction positions, fixed cameras cannot cover each scene. In addition, conventional video monitoring systems only have acquisition, storage and playback functions, and lack intelligent analysis and processing capabilities.
従って、従来の変電所現場での作業は、当直員による巡回検査により、安全性を確保する必要がある。しかしながら、人工的手段により、全方向に死角なく管理を実現させることができず、現在での作業に規範に違反した短時間の行為があっても気づかれにくく、現在での作業に安全上のリスクがある。作業シーンに係わる点が多くて範囲が広く、固定されたカメラが複数の作業シーンをカバーできないため、制御可能な多次元ビデオ収集と透過を実現させるように、固定されたカメラの欠点を解消するための多次元ビジョンインテリジェント端末を開発する必要がある。 Therefore, it is necessary to ensure the safety of conventional substation site work through patrol inspections by duty personnel. However, with artificial means, it is not possible to realize management without blind spots in all directions. There are risks. Overcome the shortcomings of fixed cameras, so as to achieve controllable multi-dimensional video acquisition and transmission, because there are many points involved in the work scene and the range is wide, and fixed cameras cannot cover multiple work scenes. It is necessary to develop a multi-dimensional vision intelligent terminal for
本発明の目的は、従来技術における欠点に対して、ＡｐｒｉｌＴａｇ画像処理技術を利用して、電力作業者の作業位置と作業内容を位置決めにより決定し、作業者のワークステーション位置をリアルタイムにモニタリングするマシンビジョンに基づく変電所現場における作業リアルタイムモニタリングと警報システムを提供することである。 The object of the present invention is to overcome the shortcomings of the prior art by using AprilTag image processing technology to determine the working position and work content of the electric power worker by positioning, and to monitor the worker's workstation position in real time. It is to provide a work real-time monitoring and alarm system in substation field based on vision.
本発明の目的は、下記技術的解決手段により実現される。 The objectives of the present invention are achieved by the following technical solutions.
マシンビジョンに基づく変電所現場における作業リアルタイムモニタリングと警報システムであって、
一意的ＩＤ番号を有するＡｐｒｉｌＴａｇアイコンが設けられるウェアラブルデバイスと、
ＡｐｒｉｌＴａｇ画像処理技術に基づいて、ウェアラブルデバイスにおけるＡｐｒｉｌＴａｇアイコンに対して処理を行い、アイコンの一意的ＩＤ番号を識別するプロセッサと、
画像情報を収集し、ウェアラブルデバイスにおけるＡｐｒｉｌＴａｇアイコンを捉え、プロセッサに伝送するように構成されるカメラと、
作業フローと作業上の注意事項を音声により提示するか又は音声警報信号を出すように構成される音声システムと、
警報情報とビデオをアップロードし、上位マシンからの指示を受信するように構成される通信システムと、を備える。
A substation field work real-time monitoring and alarm system based on machine vision,
a wearable device provided with an AprilTag icon having a unique ID number;
a processor that operates on the AprilTag icon in the wearable device based on AprilTag image processing technology to identify a unique ID number for the icon;
a camera configured to collect image information, capture the AprilTag icon on the wearable device, and transmit to the processor;
an audio system configured to audibly present workflows and work instructions or to provide audio alert signals;
a communication system configured to upload alarm information and video and receive instructions from the host machine.
更に、前記カメラは、複数の独立した角度をカメラを含み、収集される画像の範囲は、作業領域における全てのワークステーションをカバーする。 Further, the camera may include multiple independent angle cameras, and the range of images collected covers all workstations in the work area.
更に、前記ウェアラブルデバイスは、絶縁手袋と、絶縁靴と、作業服と、ヘルメットと、を含む。 Furthermore, the wearable device includes insulating gloves, insulating shoes, work clothes, and a helmet.
更に、前記ウェアラブルデバイスに、複数のＡｐｒｉｌＴａｇアイコンが取り付けられており、それぞれウェアラブルデバイスの正面、背面又は左右両側に設けられる。 Further, a plurality of AprilTag icons are attached to the wearable device, and are respectively provided on the front, back, or left and right sides of the wearable device.
更に、前記プロセッサにＡｐｒｉｌＴａｇアイコンコードライブラリが含まれる。 Additionally, the processor includes an AprilTag icon code library.
更に、前記プロセッサは、カメラによって収集された画像情報に基づいて、作業者の位置とワークステーションに対して判定を行い、判定状況に基づいて、音声システムを、相応する応答を行うように制御する。 Further, the processor makes judgments on the position of the worker and the work station according to the image information collected by the camera, and controls the audio system to make corresponding responses according to the judgment situations. .
更に、前記判定プロセスは、
カメラによって捉えられたＡｐｒｉｌＴａｇアイコンの一意的ＩＤ番号とプロセッサにおけるＡｐｒｉｌＴａｇアイコンコードライブラリをマッチングするステップ５１と、
矩形枠を用いて、検出された画像ｔａｇ部分を囲み、ｔａｇのコーナー点の、画像画素座標系での座標を得て、ｔａｇの実際の大きさに基づいて、ｔａｇの各コーナー点のワールド座標系座標を算出し、具体的な演算式は、
三列目を除去し、ｔａｇ座標系を二次元座標系に変換し、並進行列を補充してＥを得て、具体的な演算式は、
式中、ｈｉｊとｆｘは、既知であり、ＲｉｊとＴｋを算出し、ｓは、スケールファクタとして未知であり、回転行列の列が単位化したものでなければならないため、Ｒｉｊに基づいて、ｓの大きさを制約し、回転行列の列は直行したものであり、三列目は、最初の２つの列のクロス積により得られたものであり、回転行列と並進行列が得られ、前記並進行列Ｔｘ、Ｔｙ、Ｔｚは、カメラ中心に対するｔａｇの座標値であり、ＴＸは、カメラ中心に対するｔａｇ中心の横オフセットであり、Ｔｚは、ｔａｇ中心からカメラまでの深さであるステップＳ３と、
ＴＸ、Ｔｚの値とデータベースにおけるワークステーション座標系を比較し、位置と作業ワークステーション情報を得るステップＳ５と、を含む。
Further, the determination process includes:
a step 51 of matching the unique ID number of the AprilTag icon captured by the camera with the AprilTag icon code library in the processor;
Use a rectangular frame to enclose the detected image tag portion, obtain the coordinates of the corner points of the tag in the image pixel coordinate system, and the world coordinates of each corner point of the tag based on the actual size of the tag. The system coordinates are calculated, and the specific formula is
The third column is removed, the tag coordinate system is transformed into a two-dimensional coordinate system, and the translation matrix is supplemented to obtain E. The specific arithmetic expression is
where h ij and f x are known to compute R ij and T k , s is unknown as a scale factor and the columns of the rotation matrix must be unitized, so R ij , the columns of the rotation matrix are orthogonal, the third column is obtained by the cross product of the first two columns, and the rotation matrix and the translation matrix are The translation matrix T x , T y , T z is the coordinate value of the tag with respect to the camera center, T x is the lateral offset of the tag center with respect to the camera center, and T z is the distance from the tag center to the camera. Step S3, which is the depth of
a step S5 of comparing the values of T x , T z with the workstation coordinate system in the database to obtain the position and working workstation information.
更に、前記データベースに、異なるワークステーションに求められる着装要件の装置の一意的ＩＤ番号が記憶されており、ステップＳ１は、ＡｐｒｉｌＴａｇアイコンの一意的ＩＤ番号とデータベースにおける該ワークステーションの着装需要の一意的ＩＤ番号を比較し、規定された着装であるかどうかを判断することを更に含む。 In addition, the database stores the unique ID numbers of the devices of the wearing requirements required for different workstations, and step S1 is to store the unique ID numbers of the AprilTag icons and the unique ID numbers of the dressing requirements of the workstations in the database. It further includes comparing the ID numbers and determining if it is a prescribed outfit.
更に、ステップＳ１において、カメラを切り替えて、別の角度で、画像サンプリングを行い、比較を行うことができる。 Further, in step S1, the camera can be switched to perform image sampling and comparison at different angles.
更に、ステップＳ１において、複数回の比較に失敗した後、前記音声システムは、音声警報信号を出し、前記通信システムは、警報情報とビデオ画像をアップロードする。 Further, in step S1, after multiple unsuccessful comparisons, the audio system issues an audio alarm signal, and the communication system uploads alarm information and video images.
従来技術に比べて、本発明の有益な効果は以下のとおりである。
本発明は、収集された画像情報に対してインテリジェント分析と処理を行い、電力作業者の作業位置と作業内容を決定し、作業フローと作業上の注意事項を音声により提示することができる。作業者の装着が規範に違反すると、音声警報信号を適時に出し、安全上のリスクを減少させることができる。本発明は、判定プロセスにおいて、全方位でのカメラにより、比較を複数回行うことができる。モニタリングシステムが確実であり、判定結果が正確である。
The beneficial effects of the present invention compared to the prior art are as follows.
The present invention can intelligently analyze and process the collected image information, determine the work position and work content of the electric power worker, and present the work flow and work precautions by voice. When the worker's wearing violates the norm, it can issue an audio warning signal in time to reduce the safety risk. The present invention allows multiple comparisons with an omnidirectional camera in the decision process. The monitoring system is reliable and the judgment results are accurate.
本発明を理解しやすくするために、以下では、実施例を参照しながら、本発明をより完全かつ詳細に記述するが、本発明の保護範囲は、下記具体的な実施例に限られない。 In order to facilitate the understanding of the present invention, the following describes the present invention more completely and in detail with reference to examples, but the protection scope of the present invention is not limited to the following specific examples.
特に定義されていない限り、以下に使用されるすべての用語は、当業者が通常に理解されている意味と同じである。本明細書に使用される用語は、単に具体的な実施例を説明するためのものであり、本発明の保護範囲を限定するものではない。 Unless otherwise defined, all terms used below have the same meaning as commonly understood by one of ordinary skill in the art. The terms used in this specification are merely for describing specific embodiments and do not limit the protection scope of the present invention.
特に説明しない限り、本発明で用いる各種の原材料、試薬、機器、装置などは全て、市販されているか、従来方法で調製し得るものである。 Unless otherwise specified, all of the various raw materials, reagents, instruments, equipment, etc. used in the present invention are commercially available or can be prepared by conventional methods.
実施例１
図１～２に示すように、本実施例は、マシンビジョンに基づく変電所現場における作業リアルタイムモニタリングと警報システムを提供する。これは、
一意的ＩＤ番号を有するＡｐｒｉｌＴａｇアイコンが設けられるウェアラブルデバイスと、
ＡｐｒｉｌＴａｇ画像処理技術に基づいて、ウェアラブルデバイスにおけるＡｐｒｉｌＴａｇアイコンに対して処理を行い、アイコンの一意的ＩＤ番号を識別するプロセッサと、
画像情報を収集し、ウェアラブルデバイスにおけるＡｐｒｉｌＴａｇアイコンを捉え、プロセッサに伝送するように構成されるカメラと、
作業フローと作業上の注意事項を音声により提示するか又は音声警報信号を出すように構成される音声システムと、
警報情報とビデオをアップロードし、上位マシンからの指示を受信するように構成される通信システムと、を備える。
Example 1
As shown in FIGS. 1-2, the present embodiment provides a machine vision-based real-time work monitoring and alarm system in the substation field. this is,
a wearable device provided with an AprilTag icon having a unique ID number;
a processor that operates on the AprilTag icon in the wearable device based on AprilTag image processing technology to identify a unique ID number for the icon;
a camera configured to collect image information, capture the AprilTag icon on the wearable device, and transmit to the processor;
an audio system configured to audibly present workflows and work instructions or to provide audio alert signals;
a communication system configured to upload alarm information and video and receive instructions from the host machine.
本実施例において、作業領域に、複数の独立した角度のカメラが取り付けられており、収集される画像の範囲が作業領域における全てのワークステーションをカバーし、それにより、作業領域に対する完全なカバーを実現させる。作業者が使用するウェアラブルデバイスは、絶縁手袋と、絶縁靴と、作業服と、ヘルメットと、を含む。上記ウェアラブルデバイスに、複数のＡｐｒｉｌＴａｇアイコンが取り付けられており、それぞれウェアラブルデバイスの正面、背面又は左右両側に設けられる。プロセッサにＡｐｒｉｌＴａｇアイコンコードライブラリが含まれ、カメラによって収集された画像情報に基づいて、作業者の位置とワークステーションを判定し、判定状況に基づいて、音声システムを、相応する応答を行うように制御する。 In this embodiment, the work area is equipped with multiple independent angle cameras and the range of images collected covers all workstations in the work area, thereby providing complete coverage for the work area. make it happen. Wearable devices used by workers include insulating gloves, insulating shoes, work clothes, and helmets. A plurality of AprilTag icons are attached to the wearable device, and are provided on the front, back, or left and right sides of the wearable device, respectively. The processor contains the AprilTag icon code library, determines the worker's position and workstation based on the image information collected by the camera, and controls the audio system to give a corresponding response based on the determined situation. do.
具体的には、本実施例における判定プロセスは、
カメラによって捉えられたＡｐｒｉｌＴａｇアイコンの一意的ＩＤ番号とプロセッサにおけるＡｐｒｉｌＴａｇアイコンコードライブラリをマッチングするステップＳ１と、
矩形枠を用いて、検出された画像ｔａｇ部分を囲み、ｔａｇのコーナー点の、画像画素座標系での座標を得て、ｔａｇの実際の大きさに基づいて、ｔａｇの各コーナー点のワールド座標系座標を算出し、具体的な演算式は、
三列目を除去し、ｔａｇ座標系を二次元座標系に変換し、並進行列を補充してＥを得て、具体的な演算式は、
式中、ｈｉｊとｆｘは、既知であり、ＲｉｊとＴｋを算出することができ、ｓは、スケールファクタとして未知であり、回転行列の列が単位化したものでなければならないため、Ｒｉｊに基づいて、ｓの大きさを制約し、回転行列の列は直行したものであり、三列目は、最初の２つの列のクロス積により得られたものであってもよく、回転行列と並進行列が得られ、前記並進行列Ｔｘ、Ｔｙ、Ｔｚは、カメラ中心に対するｔａｇの座標値であり、ＴＸは、カメラ中心に対するｔａｇ中心の横オフセットであり、Ｔｚは、ｔａｇ中心からカメラまでの深さであるステップＳ３と、
ＴＸ、Ｔｚの値とデータベースにおけるワークステーション座標系を比較し、位置と作業ワークステーション情報を得て、現場での作業の状況をモニタリングするステップＳ５と、を含む。
Specifically, the determination process in this example includes:
step S1 of matching the unique ID number of the AprilTag icon captured by the camera with the AprilTag icon code library in the processor;
Use a rectangular frame to enclose the detected image tag portion, obtain the coordinates of the corner points of the tag in the image pixel coordinate system, and the world coordinates of each corner point of the tag based on the actual size of the tag. The system coordinates are calculated, and the specific formula is
The third column is removed, the tag coordinate system is transformed into a two-dimensional coordinate system, and the translation matrix is supplemented to obtain E. The specific arithmetic expression is
where h ij and f x are known, R ij and T k can be calculated, and s is unknown as a scale factor, since the columns of the rotation matrix must be unitized , R ij , the columns of the rotation matrix may be orthogonal and the third column obtained by the cross product of the first two columns, A rotation matrix and a translation matrix are obtained, the translation matrix T x , T y , T z being the coordinate values of the tag with respect to the camera center, T x being the lateral offset of the tag center with respect to the camera center, and T z being , the depth from the tag center to the camera, step S3;
a step S5 of comparing the values of T x , T z with the workstation coordinate system in the database to obtain the position and working workstation information to monitor the working situation on site.
実施例２
本実施例は、実施例１を参照しながら、作業者の作業位置の決定方法を提供する。データベースに、異なるワークステーションに求められる着装要件の装置の一意的ＩＤ番号が記憶されており、ステップＳ１は、ＡｐｒｉｌＴａｇアイコンの一意的ＩＤ番号とデータベースにおける該ワークステーションの着装需要の一意的ＩＤ番号を比較し、規定された着装であるかどうかを判断することを更に含む。本実施例において、判定プロセスにおいて、カメラを切り替えて、別の角度で、画像サンプリングを行い、比較を行うことができる。ステップＳ１において、複数回の比較に失敗した後、前記音声システムは、音声警報信号を出し、前記通信システムは、警報情報とビデオ画像をアップロードする。
Example 2
This embodiment provides a method for determining a worker's working position while referring to the first embodiment. A database stores the unique ID numbers of the devices of the wearing requirements required for different workstations, and step S1 combines the unique ID numbers of the AprilTag icons and the unique ID numbers of the wearing requirements of the workstations in the database. It further includes comparing and determining if it is a prescribed outfit. In this embodiment, the camera can be switched to sample images at different angles and make comparisons in the determination process. In step S1, after multiple unsuccessful comparisons, the audio system issues an audio alarm signal, and the communication system uploads alarm information and video images.
無論、上記実施例は、本発明の技術的解決手段を明確に説明するための例に過ぎず、本発明の実施形態を限定するものではない。当業者にとって、上記説明を基に、他の異なる形式の変更又は変動を行うことができる。ここで、あらゆる実施形態を挙げる必要がなく、また、それも不可能である。本発明の精神と原則を脱逸することなく行う修正、同等置換や改良等はいずれも、本発明の特許の請求の範囲に含まれるべきである。 Of course, the above examples are merely examples for clearly describing the technical solutions of the present invention, and do not limit the embodiments of the present invention. Persons skilled in the art can make other different types of modifications or variations based on the above description. It is neither necessary nor possible to list every embodiment here. Any modification, equivalent substitution, improvement, etc. made without departing from the spirit and principle of the present invention should be included in the claims of the present invention.
Claims (10)
一意的ＩＤ番号を有するＡｐｒｉｌＴａｇアイコンが設けられるウェアラブルデバイスと、
ＡｐｒｉｌＴａｇ画像処理技術に基づいて、ウェアラブルデバイスにおけるＡｐｒｉｌＴａｇアイコンに対して処理を行い、アイコンの一意的ＩＤ番号を識別するプロセッサと、
画像情報を収集し、ウェアラブルデバイスにおけるＡｐｒｉｌＴａｇアイコンを捉え、プロセッサに伝送するように構成されるカメラと、
作業フローと作業上の注意事項を音声により提示するか又は音声警報信号を出すように構成される音声システムと、
警報情報とビデオをアップロードし、上位マシンからの指示を受信するように構成される通信システムと、を備える、マシンビジョンに基づく変電所現場における作業リアルタイムモニタリングと警報システム。 A substation field work real-time monitoring and alarm system based on machine vision,
a wearable device provided with an AprilTag icon having a unique ID number;
a processor that operates on the AprilTag icon in the wearable device based on AprilTag image processing technology to identify a unique ID number for the icon;
a camera configured to collect image information, capture the AprilTag icon on the wearable device, and transmit to the processor;
an audio system configured to audibly present workflows and work instructions or to provide audio alert signals;
A machine vision based substation field real-time monitoring and alarm system comprising: a communication system configured to upload alarm information and video and receive instructions from a host machine.
請求項１に記載のマシンビジョンに基づく変電所現場における作業リアルタイムモニタリングと警報システム。 2. The machine vision based substation site of claim 1, wherein the camera comprises a plurality of independent angle cameras, and the range of images collected covers all workstations in the work area. Working real-time monitoring and alarm system.
請求項１に記載のマシンビジョンに基づく変電所現場における作業リアルタイムモニタリングと警報システム。 The machine vision based substation site real-time monitoring and alarm system of claim 1, wherein the wearable device comprises insulating gloves, insulating shoes, work clothes, and a helmet.
請求項１に記載のマシンビジョンに基づく変電所現場における作業リアルタイムモニタリングと警報システム。 The machine vision based real-time monitoring of substation site work according to claim 1, characterized in that the wearable device is equipped with a plurality of AprilTag icons, which are respectively installed on the front, back or left and right sides of the wearable device. and alarm system.
請求項１に記載のマシンビジョンに基づく変電所現場における作業リアルタイムモニタリングと警報システム。 The substation field work real-time monitoring and alarm system based on machine vision of claim 1, wherein the processor includes AprilTag icon code library.
請求項５に記載のマシンビジョンに基づく変電所現場における作業リアルタイムモニタリングと警報システム。 The processor makes a decision on the position of the worker and the workstation based on the image information collected by the camera, and controls the audio system to give a corresponding response based on the decision situation. The work real-time monitoring and alarm system at substation site based on machine vision as claimed in claim 5.
カメラによって捉えられたＡｐｒｉｌＴａｇアイコンの一意的ＩＤ番号とプロセッサにおけるＡｐｒｉｌＴａｇアイコンコードライブラリをマッチングするステップ５１と、
矩形枠を用いて、検出された画像ｔａｇ部分を囲み、ｔａｇのコーナー点の、画像画素座標系での座標を得て、ｔａｇの実際の大きさに基づいて、ｔａｇの各コーナー点のワールド座標系座標を算出し、具体的な演算式は、
三列目を除去し、ｔａｇ座標系を二次元座標系に変換し、並進行列を補充してＥを得て、具体的な演算式は、
式中、ｈｉｊとｆｘは、既知であり、ＲｉｊとＴｋを算出し、ｓは、スケールファクタとして未知であり、回転行列の列が単位化したものでなければならないため、Ｒｉｊに基づいて、ｓの大きさを制約し、回転行列の列は直行したものであり、三列目は、最初の２つの列のクロス積により得られたものであり、回転行列と並進行列が得られ、前記並進行列Ｔｘ、Ｔｙ、Ｔｚは、カメラ中心に対するｔａｇの座標値であり、ＴＸは、カメラ中心に対するｔａｇ中心の横オフセットであり、Ｔｚは、ｔａｇ中心からカメラまでの深さであるステップＳ３と、
Ｔｘ、Ｔｚの値とデータベースにおけるワークステーション座標系を比較し、位置と作業ワークステーション情報を得るステップＳ５と、を含むことを特徴とする
請求項６に記載のマシンビジョンに基づく変電所現場における作業リアルタイムモニタリングと警報システム。 The determination process includes:
a step 51 of matching the unique ID number of the AprilTag icon captured by the camera with the AprilTag icon code library in the processor;
Use a rectangular frame to enclose the detected image tag portion, obtain the coordinates of the corner points of the tag in the image pixel coordinate system, and the world coordinates of each corner point of the tag based on the actual size of the tag. The system coordinates are calculated, and the specific formula is
The third column is removed, the tag coordinate system is transformed into a two-dimensional coordinate system, and the translation matrix is supplemented to obtain E. The specific arithmetic expression is
where h ij and f x are known to compute R ij and T k , s is unknown as a scale factor and the columns of the rotation matrix must be unitized, so R ij , the columns of the rotation matrix are orthogonal, the third column is obtained by the cross product of the first two columns, and the rotation matrix and the translation matrix are The translation matrix T x , T y , T z is the coordinate value of the tag with respect to the camera center, T x is the lateral offset of the tag center with respect to the camera center, and T z is the distance from the tag center to the camera. Step S3, which is the depth of
The machine vision based substation site of claim 6, comprising a step S5 of comparing the values of Tx , Tz and the workstation coordinate system in the database to obtain the position and working workstation information. Working real-time monitoring and alarm system.
請求項７に記載のマシンビジョンに基づく変電所現場における作業リアルタイムモニタリングと警報システム。 The database stores the unique ID numbers of the devices of the wearing requirements required for different workstations, and step S1 is to store the unique ID numbers of the AprilTag icons and the unique ID numbers of the dressing requirements of the workstations in the database. The substation field work real-time monitoring and alarm system based on machine vision as claimed in claim 7, further comprising comparing and determining whether it is the prescribed wearing.
請求項８に記載のマシンビジョンに基づく変電所現場における作業リアルタイムモニタリングと警報システム。 The machine vision based substation field work real-time monitoring and warning system according to claim 8, characterized in that in step S1, the camera can be switched to perform image sampling and comparison at different angles.
請求項９に記載のマシンビジョンに基づく変電所現場における作業リアルタイムモニタリングと警報システム。 10. The machine vision of claim 9, wherein in step S1, after multiple unsuccessful comparisons, the audio system issues an audio warning signal, and the communication system uploads warning information and video images. Work real-time monitoring and alarm system at substation site based on.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010837588.1 | 2020-08-19 | ||
| CN202010837588 | 2020-08-19 | ||
| PCT/CN2021/103959 WO2022037281A1 (en) | 2020-08-19 | 2021-07-01 | Real-time substation field operation monitoring and alarm system based on machine vision |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022554044A true JP2022554044A (en) | 2022-12-28 |
| JPWO2022037281A5 JPWO2022037281A5 (en) | 2024-03-11 |
Family
ID=80322525
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021575905A Pending JP2022554044A (en) | 2020-08-19 | 2021-07-01 | Real-time work monitoring and alarm system at substation site based on machine vision |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2022554044A (en) |
| WO (1) | WO2022037281A1 (en) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114782893A (en) * | 2022-04-20 | 2022-07-22 | 杭州海潮橡胶有限公司 | An AI intelligent monitoring method for safe production of tire fiber calendering |
| CN114998271B (en) * | 2022-06-10 | 2023-06-13 | 海南浙江大学研究院 | A substation high-voltage switchgear secondary warehouse panel image recognition system |
| CN115497268A (en) * | 2022-09-19 | 2022-12-20 | 中铁第四勘察设计院集团有限公司 | Personnel positioning management system based on intelligent construction site and application |
| CN115567690A (en) * | 2022-09-22 | 2023-01-03 | 国网山东省电力公司莒县供电公司 | Intelligent monitoring system capable of automatically identifying dangerous points of field operation |
| CN115760976B (en) * | 2022-11-08 | 2026-02-03 | 国网江西省电力有限公司超高压分公司 | Non-contact type non-inductive substation operation risk identification method for substation |
| CN115767036B (en) * | 2022-12-01 | 2026-01-30 | 国网福建省电力有限公司经济技术研究院 | A method and system for optimizing the timing configuration of video surveillance equipment in substation projects |
| CN116030399A (en) * | 2022-12-22 | 2023-04-28 | 广西科技大学 | Machine vision-based loader three-item and time online detection system and method |
| CN118627911B (en) * | 2024-08-09 | 2024-10-29 | 国网四川省电力公司 | Intelligent safety control method for electric power field operation personnel |
| CN118627871B (en) * | 2024-08-15 | 2024-11-12 | 国网安徽省电力有限公司信息通信分公司 | Intelligent verification method for unplanned operations in substations based on artificial intelligence platform |
| CN119274110A (en) * | 2024-09-03 | 2025-01-07 | 广州境开科技有限公司 | Substation operation risk identification method based on multi-view video and high-precision positioning |
| CN120833545B (en) * | 2025-09-17 | 2026-01-09 | 成都飞机工业（集团）有限责任公司 | Restricted space quality detection method based on multi-mode edge cloud transmission |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011227619A (en) * | 2010-04-16 | 2011-11-10 | Chugoku Electric Power Co Inc:The | Area management system |
| CN104318732A (en) * | 2014-10-27 | 2015-01-28 | 国网冀北电力有限公司张家口供电公司 | Transformer substation field worker monitoring and management system and method based on video analysis and RFID |
| CN107240063A (en) * | 2017-07-04 | 2017-10-10 | 武汉大学 | A kind of autonomous landing method of rotor wing unmanned aerial vehicle towards mobile platform |
| CN109398302A (en) * | 2018-10-30 | 2019-03-01 | 四川长虹电器股份有限公司 | Children in vehicles's condition monitoring system based on AprilTag label |
| WO2019087870A1 (en) * | 2017-10-30 | 2019-05-09 | Ｎｅｃフィールディング株式会社 | Work assistance device, work assistance method, and program |
| US20200094401A1 (en) * | 2018-09-21 | 2020-03-26 | Beijing Jingdong Shangke Information Technology Co., Ltd. | System and method for automatic learning of product manipulation |
| CN111273679A (en) * | 2020-02-14 | 2020-06-12 | 南京航空航天大学 | Visual-guided network-collision recovery longitudinal guidance method for small fixed-wing unmanned aerial vehicle |
| JP2020119550A (en) * | 2019-01-15 | 2020-08-06 | エヌビディア コーポレーション | Graphical fiducial marker identification for augmented reality, virtual reality and robotics |
| JP2020524863A (en) * | 2017-06-22 | 2020-08-20 | ビト ロボティクス， インコーポレイテッド | System and method for fast identification and processing of image areas of interest |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7151454B2 (en) * | 2003-01-02 | 2006-12-19 | Covi Technologies | Systems and methods for location of objects |
| WO2017167813A1 (en) * | 2016-03-30 | 2017-10-05 | Koninklijke Philips N.V. | An arm position tracking system and method for use during a shoulder flexion exercise |
| CN105957169B (en) * | 2016-04-19 | 2018-05-11 | 唐山新质点科技有限公司 | A kind of detection method based on ibeacon technologies, apparatus and system |
| CN105844846B (en) * | 2016-04-19 | 2018-01-12 | 唐山新质点科技有限公司 | A kind of method for safety monitoring based on Ibeacon technologies, apparatus and system |
| CN107544326A (en) * | 2017-08-30 | 2018-01-05 | 深圳市易联智道科技有限公司 | Ensure the multifunction monitoring system of construction site security |
| CN109189073A (en) * | 2018-09-28 | 2019-01-11 | 华南理工大学 | A kind of robot and patrol method based on apriltag positioning |
-
2021
- 2021-07-01 JP JP2021575905A patent/JP2022554044A/en active Pending
- 2021-07-01 WO PCT/CN2021/103959 patent/WO2022037281A1/en not_active Ceased
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011227619A (en) * | 2010-04-16 | 2011-11-10 | Chugoku Electric Power Co Inc:The | Area management system |
| CN104318732A (en) * | 2014-10-27 | 2015-01-28 | 国网冀北电力有限公司张家口供电公司 | Transformer substation field worker monitoring and management system and method based on video analysis and RFID |
| JP2020524863A (en) * | 2017-06-22 | 2020-08-20 | ビト ロボティクス， インコーポレイテッド | System and method for fast identification and processing of image areas of interest |
| CN107240063A (en) * | 2017-07-04 | 2017-10-10 | 武汉大学 | A kind of autonomous landing method of rotor wing unmanned aerial vehicle towards mobile platform |
| WO2019087870A1 (en) * | 2017-10-30 | 2019-05-09 | Ｎｅｃフィールディング株式会社 | Work assistance device, work assistance method, and program |
| US20200094401A1 (en) * | 2018-09-21 | 2020-03-26 | Beijing Jingdong Shangke Information Technology Co., Ltd. | System and method for automatic learning of product manipulation |
| CN109398302A (en) * | 2018-10-30 | 2019-03-01 | 四川长虹电器股份有限公司 | Children in vehicles's condition monitoring system based on AprilTag label |
| JP2020119550A (en) * | 2019-01-15 | 2020-08-06 | エヌビディア コーポレーション | Graphical fiducial marker identification for augmented reality, virtual reality and robotics |
| CN111273679A (en) * | 2020-02-14 | 2020-06-12 | 南京航空航天大学 | Visual-guided network-collision recovery longitudinal guidance method for small fixed-wing unmanned aerial vehicle |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022037281A1 (en) | 2022-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2022554044A (en) | Real-time work monitoring and alarm system at substation site based on machine vision | |
| CN110188724B (en) | Method and system for helmet positioning and color recognition based on deep learning | |
| EP2659465B1 (en) | Tracking moving objects using a camera network | |
| KR101988356B1 (en) | Smart field management system through 3d digitization of construction site and analysis of virtual construction image | |
| CN110874866B (en) | Video-based three-dimensional monitoring method and system for transformer substation | |
| KR101715001B1 (en) | Display system for safety evaluation in construction sites using of wearable device, and thereof method | |
| EP2274654B1 (en) | Method for controlling an alarm management system | |
| CN108802758B (en) | Intelligent security monitoring device, method and system based on laser radar | |
| CN119810757A (en) | Early warning analysis method and server based on intelligent vision | |
| CN111583334B (en) | Three-dimensional space positioning method, device and equipment for transformer substation personnel | |
| JPWO2022037281A5 (en) | ||
| CN118644892A (en) | Method, device and storage medium for identifying working behavior of personnel working at heights | |
| CN113469150B (en) | Method and system for identifying risk behaviors | |
| CN116311034A (en) | A robot inspection system based on contrast detection | |
| CN114363578A (en) | Monitoring alarm prompting method and system combining video analysis and single chip microcomputer | |
| CN114387391A (en) | Safety monitoring method, device, computer equipment and medium for substation equipment | |
| CN114007047B (en) | Machine vision-based real-time monitoring and alarming system for operation of power transformation site | |
| CN116973939B (en) | Safety monitoring method and device | |
| CN112001296A (en) | Three-dimensional safety monitoring method and device for transformer substation, server and storage medium | |
| CN117636235A (en) | Safety helmet detection system and method based on Feiteng education development board | |
| CN118170956A (en) | Abnormal data association display device, method and equipment for multiple data sources | |
| CN214896722U (en) | Millimeter wave radar fuses transformer substation's operation orbit management and control device of video analysis | |
| CN117119009A (en) | A computer room visual management and operation platform based on the Internet of Things | |
| CN116523492A (en) | Hydropower station supervision method and system, electronic equipment and storage medium | |
| KR20020015505A (en) | Intelligent robotic camera and distributed control apparatus thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211216 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230228 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230530 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230912 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20231212 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240206 |
|
| A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20240227 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240507 |