[go: up one dir, main page]

JP7779325B2 - 施設点検表示装置、情報処理装置、施設点検表示方法及び施設点検表示プログラム - Google Patents

施設点検表示装置、情報処理装置、施設点検表示方法及び施設点検表示プログラム

Info

Publication number
JP7779325B2
JP7779325B2 JP2023554144A JP2023554144A JP7779325B2 JP 7779325 B2 JP7779325 B2 JP 7779325B2 JP 2023554144 A JP2023554144 A JP 2023554144A JP 2023554144 A JP2023554144 A JP 2023554144A JP 7779325 B2 JP7779325 B2 JP 7779325B2
Authority
JP
Japan
Prior art keywords
coordinates
trajectory
image data
point cloud
facility
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023554144A
Other languages
English (en)
Other versions
JPWO2023067717A5 (ja
JPWO2023067717A1 (ja
Inventor
隆輔 今井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2023067717A1 publication Critical patent/JPWO2023067717A1/ja
Publication of JPWO2023067717A5 publication Critical patent/JPWO2023067717A5/ja
Application granted granted Critical
Publication of JP7779325B2 publication Critical patent/JP7779325B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/16Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50Systems of measurement based on relative movement of target
    • G01S17/58Velocity or trajectory determination systems; Sense-of-movement determination systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/51Display arrangements

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Navigation (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、施設点検表示装置、情報処理装置、施設点検表示方法及び非一時的なコンピュータ可読媒体に関する。
水力発電所にある導水路の点検を目的として、ロボットやドローン等の移動体を用いる技術が知られている。また、導水路に発生したひび割れ等をLiDAR(Light Detection and Ranging)で取得した点群データから検知する劣化事象点検ソルーションも検討されている。
LiDARで取得した点群データの粒度が粗い場合には、劣化事象の大きさや種別の判別が難しいため、カメラで撮影した動画もしくは静止画等の画像データによる確認を併用する必要がある。しかし、動画撮影の場合、長時間の点検が想定される導水路では、大容量のバッテリやストレージが必要となるため、機材の重量やサイズが増大し、導水路内への搬入が困難となる。
特許文献1には、点群データ及び画像データを用いて施設を点検することが記載されている。
特開2021-015572号公報
特許文献1の表示方法では、点群データと画像データ(静止画)とを位置同期することが難しい。特に、点群データに含まれる劣化事象の座標と画像データを紐づけることが困難である。
IMU(Inertial Measurement Unit)と呼ばれる3次元の慣性運動を検出する装置が搭載されたLiDARがあり、この場合には、点群データ取得時の位置情報(軌跡データ)を時系列で記録することができる。IMUを用いることにより、点群データと画像データ(静止画)とを位置同期させ、劣化事象と、劣化事象に対応する画像データとを紐づけ、劣化事象の視認性を向上させることが所望されている。
また、目視や過去の点検結果に基づき劣化事象の場所を特定する場合、劣化事象に対応する画像データに漏れが発生する可能性がある。画像データの漏れが発生した劣化事象の座標を表示させ、劣化事象の視認性を向上させることが所望されている。
本開示の目的は、このような課題を解決するためになされたものであり、劣化事象の位置の表示における視認性を向上させることができる施設点検表示装置、情報処理装置、施設点検表示方法及び非一時的なコンピュータ可読媒体を提供することにある。
本開示に係る施設点検表示装置は、施設においてLiDARを移動させることにより前記LiDARを用いた前記施設の点群データを取得した際の基点となる座標の軌跡を表示する軌跡表示手段と、前記軌跡表示手段においてユーザによって指定された軌跡上のユーザ指定位置におけるユーザ指定座標を前記基点として取得された前記点群データを表示する点群データ表示手段と、前記施設の劣化事象を含む前記点群データが取得された際の前記基点となる劣化事象座標を劣化事象位置として前記軌跡表示手段に表示させる劣化事象表示手段と、を備える。
また、本開示に係る情報処理装置は、施設においてLiDARを移動させることによって前記LiDARを用いた前記施設の点群データを取得した際の基点となる座標の軌跡、前記軌跡を構成する複数の前記基点の各座標、及び、前記各座標を前記LiDARが通過した各時刻を含む軌跡情報を保持する軌跡情報保持手段と、前記各座標を前記基点として取得された各点群データ、及び、前記各点群データが取得された際の前記基点となる前記各座標を前記LiDARが通過した前記各時刻を含む点群データ情報を保持する点群データ情報保持手段と、前記軌跡情報及び前記点群データ情報から前記施設の劣化事象を含む前記点群データが取得された際の前記基点となる劣化事象座標を抽出する劣化事象座標抽出手段と、を備える。
さらに、本開示に係る施設点検表示方法は、施設においてLiDARを移動させることにより前記LiDARを用いた前記施設の点群データを取得した際の基点となる座標の軌跡を軌跡表示手段に表示させるステップと、前記軌跡表示手段においてユーザによって指定された軌跡上のユーザ指定位置におけるユーザ指定座標を前記基点として取得された前記点群データを点群データ表示手段に表示させるステップと、前記施設の劣化事象を含む前記点群データが取得された際の前記基点となる劣化事象座標を劣化事象位置として前記軌跡表示手段に表示させるステップと、を備える。
また、本開示に係る施設点検表示プログラムは、施設においてLiDARを移動させることにより前記LiDARを用いた前記施設の点群データを取得した際の基点となる座標の軌跡を軌跡表示手段に表示させるステップと、前記軌跡表示手段においてユーザによって指定された軌跡上のユーザ指定位置におけるユーザ指定座標を前記基点として取得された前記点群データを点群データ表示手段に表示させるステップと、前記施設の劣化事象を含む前記点群データが取得された際の前記基点となる劣化事象座標を劣化事象位置として前記軌跡表示手段に表示させるステップと、をコンピュータに実行させる。
本開示によれば、劣化事象の位置の表示における視認性を向上させることができる施設点検表示装置、情報処理装置、施設点検表示方法及び非一時的なコンピュータ可読媒体を提供することができる。
実施形態1に係る施設点検システムを例示した構成図である。 実施形態1に係る情報処理装置を例示したブロック図である。 実施形態1に係る施設点検表示装置の表示画面を例示した平面図である。 実施形態1に係る施設点検方法を例示したフローチャート図である。 実施形態1に係る施設点検表示方法を例示したフローチャート図である。 実施形態2に係る施設点検表示装置の表示画面を例示した平面図である。 実施形態2に係る施設点検表示方法を例示したフローチャート図である。 実施形態2に係る情報処理装置を例示したブロック図である。
以下、実施形態について、図面を参照しながら説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
(実施形態1)
実施形態1に係る施設点検システムを説明する。本実施形態の施設点検システムは、施設の点群データ及び施設の画像データを用いて施設を点検する。施設は、例えば、水力発電所における導水路等であるが、これに限らず、点群データ及び画像データを取得することができれば、発電所の変電所、道路のトンネル等のように施設を限定しない。
図1は、実施形態1に係る施設点検システムを例示した構成図である。図1に示すように、施設点検システム1は、慣性運動検出装置10、点群データ取得装置20、画像データ取得装置30、移動体40、移動体41、情報処理装置50、及び、施設点検表示装置100を備えている。慣性運動検出装置10、点群データ取得装置20、画像データ取得装置30、移動体40、移動体41、情報処理装置50、及び、施設点検表示装置100は、それぞれ、慣性運動検出手段、点群データ取得手段、画像データ取得手段、移動手段、移動手段、情報処理手段、及び、施設点検表示手段としての機能を有している。以下で、各構成を説明する。
<慣性運動検出装置>
慣性運動検出装置10は、慣性運動を検出する。慣性運動検出装置10は、例えば、IMUである。なお、慣性運動検出装置10は、慣性運動を検出する装置であれば、IMUに限らず、当業者が想到するような慣性運動を検出する装置でもよい。以下では、慣性運動検出装置10の一例としてIMUを用いて説明する。
IMUは、点群データ取得装置20とともに移動体40に搭載されている。IMUは、施設60を移動する移動体40の軌跡11を取得する。移動体40には点群データ取得装置20も搭載されているので、IMUは、施設60の点群データを取得した際の基点となる座標の軌跡11を取得する。また、IMUは、軌跡11を構成する複数の基点の各座標を取得する。さらに、IMUは、タイマーを用いることにより、軌跡11を構成する複数の基点の各座標を通過した時刻を取得する。
軌跡11を構成する各座標は、軌跡11に沿って連続的に続いているが、例えば、図1に示すように、座標P1及び座標P2を一例として説明する。軌跡11を構成する各座標P1及びP2は、IMUが各座標P1及びP2を通過した各時刻t1及びt2に紐づけられる。
IMUが取得した軌跡11、軌跡11を構成する各座標、及び、各座標をIMUが通過した各時刻を軌跡情報と呼ぶ。すなわち、軌跡情報は、施設60の点群データを取得した際の基点となる座標の軌跡11、軌跡11を構成する複数の基点の各座標、及び、各座標をIMUが通過した各時刻を含む。
IMUは、取得した軌跡情報を情報処理装置50に出力する。IMUは、無線または有線の通信回線を介して情報処理装置50に軌跡情報を出力してもよいし、記憶媒体を介して情報処理装置50に軌跡情報を出力してもよい。
<点群データ取得装置>
点群データ取得装置20は、点群データを取得する。点群データ取得装置20は、例えば、LiDARである。なお、点群データ取得装置20は、点群データを取得する装置であれば、LiDARに限らず、当業者が想到するような点群データを取得する装置でもよい。以下では、点群データ取得装置20の一例としてLiDARを用いて説明する。
LiDARは、IMUとともに移動体40に搭載されている。LiDARは、施設60の点群データを取得する。具体的には、LiDARは、基点となる座標から施設60の点群データを取得しながら、移動体40によって基点となる座標を移動させる。よって、施設60の点群データが取得された際の基点となる座標は軌跡11を形成する。この軌跡11は、IMUによって取得される。LiDARは、軌跡11に含まれた各座標を基点として各点群データを取得する。また、LiDARは、各座標をLiDARが通過した各時刻を取得する。そして、軌跡11を構成する各座標は、LiDARが各座標を通過した各時刻に紐づけられる。また、軌跡11を構成する各座標を基点として取得された各点群データは、LiDARが各座標を通過した各時刻に紐づけられる。
例えば、図1に示すように、座標P1及びP2を一例として説明する。軌跡11を構成する各座標P1及びP2は、LiDARが各座標P1及びP2を通過した各時刻t1及びt2に紐づけられる。また、軌跡11を構成する各座標P1及びP2を基点として取得された各点群データG1及びG2は、LiDARが各座標P1及びP2を通過した各時刻t1及びt2に紐づけられる。
LiDARが取得した各点群データ、及び、各点群データの基点となる各座標をLiDARが通過した各時刻を点群データ情報と呼ぶ。すなわち、点群データ情報は、各座標を基点として取得された各点群データ、及び、各点群データが取得された際の基点となる各座標をLiDARが通過した各時刻を含む。
LiDARは、取得した点群データ情報を情報処理装置50に出力する。LiDARは、無線または有線の通信回線を介して情報処理装置50に点群データ情報を出力してもよいし、記憶媒体を介して情報処理装置50に点群データ情報を出力してもよい。
<画像データ取得装置>
画像データ取得装置30は、画像データを取得する。画像データ取得装置30は、例えば、カメラである。なお、画像データ取得装置30は、画像データを取得する装置であれば、カメラに限らず、当業者が想到するような画像データを取得する装置でもよい。以下では、画像データ取得装置30の一例としてカメラを用いて説明する。
画像データは、静止画であることが望ましい。例えば、導水路等のように、長時間の施設60の点検が想定される場合には、動画は、大容量のバッテリ及び記憶装置を必要とする。このため、機材の重量及びサイズにより、施設60の点検が困難になる。ししながら、施設60の点検が困難にならない程度であれば、画像データは、例えば、数秒程度の断片的な動画を含むことを排除しない。以下では、画像データの一例として静止画を用いて説明する。
カメラは、移動体41によって移動される。移動体41は、例えば、作業員等の人である。なお、移動体41は、作業員等の人に限らず、移動体40と同様の装置であって、移動体40と別個のものでもよい。また、移動体41及び移動体40は、一体となって移動することを排除しない。カメラは、IMU及びLiDARとともに施設60を移動する。
カメラは、作業員による目視、及び、過去の点検情報等に基づいて、施設60の劣化事象を撮影する。劣化事象は、例えば、壁面のひび割れ、壁面の剥離、壁面からの水漏れ等を含む。なお、劣化事象は、壁面の劣化に限らず、当業者が想到するような施設の劣化でもよい。カメラは、劣化事象を撮影する際の基点となる座標から劣化事象までの方向を取得してもよい。
カメラは、タイマーを有している。タイマーは、LiDARによる点群データ取得開始に連動している。カメラは、画像データ取得時にタイマーの時刻を取得する。これにより、画像データは、カメラが画像データを撮影した時刻に紐づけされている。
例えば、図1に示すように、座標P1及びP2を一例として説明する。軌跡11を構成する各座標P1及びP2は、LiDARが各座標P1及びP2を通過した時刻t1及びt2に紐づけられる。カメラは、画像データH1を時刻t1に撮影する。そうすると、画像データH1は、時刻t1に紐づけされる。これにより、後述する情報処理装置50によって、画像データH1は、時刻t1に紐づけされた軌跡11上の座標P1に紐づけされる。
カメラが取得した画像データ、及び、画像データが撮影された時刻を画像データ情報と呼ぶ。すなわち、画像データ情報は、施設60を撮影した画像データ、及び、画像データが撮影された時刻を含む。
カメラは、取得した画像データ情報を情報処理装置50に出力する。カメラは、無線または有線の通信回線を介して情報処理装置50に画像データ情報を出力してもよいし、記憶媒体を介して情報処理装置50に画像データ情報を出力してもよい。
<移動体>
移動体40及び41は、施設60を移動する。移動体40及び41は、例えば、移動ロボット、ドローン、車両、作業員等である。なお、移動体40及び41は、IMU、LiDAR及びカメラを搭載して施設60を移動できれば、これらに限らず、当業者が想到するようなものでもよい。移動体40は、IMU及びLiDARを搭載し、移動体41は、カメラを搭載してもよい。移動体41は、例えば、作業員である。なお、移動体40及び41は、一体となって、IMU、LiDAR及びカメラを移動させることを排除しない。
<情報処理装置>
図2は、実施形態1に係る情報処理装置を例示したブロック図である。図2に示すように、情報処理装置50は、軌跡情報保持部51、点群データ情報保持部52、画像データ情報保持部53、劣化事象座標抽出部54、及び、区別抽出部55を備えている。軌跡情報保持部51、点群データ情報保持部52、画像データ情報保持部53、劣化事象座標抽出部54、及び、区別抽出部55は、それぞれ、軌跡情報保持手段、点群データ情報保持手段、画像データ情報保持手段、劣化事象座標抽出手段、及び、区別抽出手段としての機能を有している。
情報処理装置50は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、インターフェイス部(I/F)等からなるマイクロコンピュータを含むハードウェアで構成されてもよい。CPUは、保持処理、抽出処理及び制御処理等を行う。ROMは、CPUによって実行される保持プログラム、抽出プログラム及び制御プログラム等を記憶する。RAMは、軌跡情報、点群データ情報及び画像データ情報等の各種のデータを記憶する。インターフェイス部(I/F)は、外部と信号の入出力を行う。インターフェイス部は、キーボード、タッチパネル又はマウス等の入力装置を含んでもよいし、ディスプレイ又はスピーカ等の出力装置を含んでもよい。インターフェイス部は、ユーザによるデータの入力の操作を受け付け、ユーザに対して情報を出力する。CPU、ROM、RAM及びインターフェイス部は、データバスなどを介して相互に接続されている。
軌跡情報保持部51は、IMUから出力された軌跡情報を保持する。軌跡情報は、施設60においてLiDARを移動させることによってLiDARを用いた施設60の点群データを取得した際の基点となる座標の軌跡11、軌跡11を構成する複数の基点の各座標、及び、各座標をLiDARが通過した各時刻を含む。軌跡情報保持部51は、軌跡11を構成する各座標を、LiDARが各座標を通過した各時刻に紐づけて保持してもよい。
点群データ情報保持部52は、LiDARから出力された点群データ情報を保持する。点群データ情報は、軌跡11を構成する各座標を基点として取得された各点群データ、及び、各点群データが取得された際の基点となる各座標をLiDARが通過した各時刻を含んでいる。点群データ情報保持部52は、軌跡11を構成する各座標を基点として取得された各点群データを、LiDARが各座標を通過した各時刻に紐づけて保持してもよい。
画像データ情報保持部53は、カメラから出力された画像データ情報を保持する。画像データ情報は、施設60を撮影した画像データ、及び、画像データが取得された時刻を含む。画像データ情報保持部53は、画像データを、撮影された時刻と同じ時刻に紐づけられた軌跡11上の座標に紐づけて保持してもよい。
劣化事象座標抽出部54は、軌跡情報及び点群データ情報から施設60の劣化事象を解析する。劣化事象座標抽出部54は、過去の点検結果を用いて、劣化事象を解析してもよい。例えば、劣化事象座標抽出部54は、施設60の過去の点群データと、今回の点群データとを比較し、変化した部分から劣化事象を解析してもよい。また、劣化事象座標抽出部54は、施設60の設計データと、今回の点群データとを比較し、変化した部分から劣化事象を解析してもよい。
そして、劣化事象座標抽出部54は、軌跡情報及び点群データ情報から施設60の劣化事象を含む点群データが取得された際の基点となる劣化事象座標を抽出する。劣化事象座標抽出部54は、抽出した劣化事象座標を軌跡情報保持部51に保持させてもよい。
区別抽出部55は、抽出された劣化事象座標に紐づけられた画像データの有無によって劣化事象座標を区別して抽出する。具体的には、区別抽出部55は、各劣化事象座標に画像データが紐づけられているか判断する。そして、画像データが紐づけられた劣化事象座標と、画像データが紐づけられない劣化事象座標とを区別して抽出する。
情報処理装置50は、取得した軌跡情報、点群データ情報、画像データ情報及び劣化事象座標を施設点検表示装置100に出力する。情報処理装置50は、無線または有線の通信回線を介して施設点検表示装置100にこれらの情報を出力してもよいし、記憶媒体を介して施設点検表示装置100にこれらの情報を出力してもよい。
<施設点検表示装置>
図3は、実施形態1に係る施設点検表示装置の表示画面を例示した平面図である。図3に示すように、施設点検表示装置100は、軌跡表示部110、点群データ表示部120、画像データ表示部130、劣化事象表示部140、座標表示部150及び区別表示部160を備えている。軌跡表示部110、点群データ表示部120、画像データ表示部130、劣化事象表示部140、座標表示部150及び区別表示部160は、それぞれ、軌跡表示手段、点群データ表示手段、画像データ表示手段、劣化事象表示手段、座標表示手段及び区別表示手段としての機能を有している。
施設点検表示装置100は、ユーザインターフェースであり、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、インターフェイス部(I/F)等からなるマイクロコンピュータを含むハードウェアで構成されてもよい。CPUは、表示処理及び制御処理等を行う。ROMは、CPUによって実行される表示プログラム及び制御プログラム等を記憶する。RAMは、軌跡情報、点群データ情報及び画像データ情報等の各種のデータを記憶する。インターフェイス部(I/F)は、外部と信号の入出力を行う。インターフェイス部は、キーボード、タッチパネル又はマウス等の入力装置を含んでもよいし、ディスプレイ又はスピーカ等の出力装置を含んでもよい。インターフェイス部は、ユーザによるデータの入力の操作を受け付け、ユーザに対して情報を出力する。CPU、ROM、RAM及びインターフェイス部は、データバスなどを介して相互に接続されている。
軌跡表示部110は、施設60においてLiDARを移動させることによってLiDARを用いた施設60の点群データを取得した際の基点となる座標の軌跡11を表示する。軌跡表示部110は、例えば、一方向から見た軌跡11を、線を用いて表示する。例えば、軌跡表示部110は、導水路の側面から見た軌跡11を、線を用いて表示してもよいし、導水路の上方から見た軌跡11を、線を用いて表示してもよい。軌跡11を構成する各座標は、LiDARが各座標を通過した各時刻に紐づけられている。
点群データ表示部120は、軌跡表示部110においてユーザにより指定された軌跡11上のユーザ指定位置12におけるユーザ指定座標を基点として取得された点群データG1を表示する。軌跡表示部110において、位置は、例えば、軌跡11上の座標と交差する縦線として示されてもよい。具体的には、ユーザ指定位置12は、例えば、軌跡表示部110において、軌跡11上のユーザ指定座標と交差する縦線として示されてもよい。ユーザ指定位置12は、例えば、ユーザにより軌跡表示部110上でタッチパネル機能を用いて軌跡11上の座標を選択されてもよいし、マウスのポインター機能を用いて軌跡11上の座標を選択されてもよい。軌跡11を構成する各座標を基点として取得された各点群データは、LiDARが各座標を通過した各時刻に紐づけられている。
画像データ表示部130は、施設60を撮影した画像データを表示する。画像データは、取得された時刻と同じ時刻に紐づけられた軌跡11上の座標に紐づけられている。ユーザがユーザ指定位置12を指定した場合に、ユーザ指定位置12におけるユーザ指定座標に紐づけられた画像データがある場合に、画像データ表示部130は、当該ユーザ指定座標に紐づけられた画像データを表示する。
劣化事象表示部140は、施設60の劣化事象を含む点群データが取得された際の基点となる劣化事象座標を劣化事象位置13として軌跡表示部110に表示させる。具体的には、劣化事象位置13は、軌跡表示部110において、軌跡11上の劣化事象座標と交差する縦線として示されてもよい。
座標表示部150は、点群データが取得された際の基点となる座標を表示する。例えば、座標表示部150は、劣化事象座標を表示する。ユーザがユーザ指定位置12として、劣化事象位置13を指定した場合には、座標表示部150は、劣化事象座標を表示する。ユーザ指定位置12の劣化事象座標に画像データが紐づけられていた場合には、画像データ表示部130は、当該劣化事象座標に紐づけされた画像データを表示する。よって、座標表示部150が表示する座標は、画像データが取得された際の基点となる座標ということもできる。
座標表示部150は、劣化事象座標から劣化事象までの方向、及び、劣化事象座標をLiDARが通過した時刻の少なくともいずれかを表示してもよい。
区別表示部160は、劣化事象座標に紐づけられた画像データの有無によって劣化事象位置13を区別して表示させる。具体的には、例えば、区別表示部160は、画像データが紐づけされた劣化事象座標を含む劣化事象位置13を実線で示し、画像データが紐づけされない劣化事象座標を含む劣化事象位置14を点線で示す。これにより、区別表示部160は、劣化事象位置13及び14を区別して表示させる。
<施設点検方法>
次に、本実施形態の施設点検方法を説明する。図4は、実施形態1に係る施設点検方法を例示したフローチャート図である。図4に示すように、ステップS11~ステップS14は、例えば、導水路等の施設60における動作である。ステップS15~S19は、情報処理装置50及び施設点検表示装置100を配置された事務所等における動作である。
ステップS11に示すように、施設60において、LiDAR及びIMUによる計測を開始する。これにより、LiDAR及びIMUを使用して施設60の点検を実施し、施設60の点群データ及び軌跡データを取得する。
一方、ステップS12に示すように、施設60において、LiDAR及びIMUによる計測の開始に同期させて、カメラのタイマーを起動させる。
次に、ステップS13に示すように、施設60の劣化事象を確認する。具体的には、作業員の目視や過去の点検結果に基づき、施設60の劣化事象の位置を確認する。
次に、ステップS14に示すように、施設60の劣化事象の撮影を行い、撮影時のタイマーを記録する。具体的には、作業員または移動体41が施設60の劣化事象をカメラで撮影し、画像データを取得する。そして、画像データ取得時にタイマーの時刻情報を記録する。このようにして、施設60の点群データ情報、軌跡情報及び画像データ情報を取得する。
次に、ステップS15及びステップS16に示すように、データを出力する。具体的には、施設60の点検終了後、LiDAR及びIMUで取得した点群データ及び軌跡データを情報処理装置50に出力する。また、カメラで取得した画像データを情報処理装置50に出力する。
次に、ステップS17に示すように、データを保持する。具体的には、情報処理装置50において、軌跡情報保持部51は、IMUから出力された軌跡情報を保持する。軌跡情報保持部51は、軌跡11を構成する各座標を、LiDARが各座標を通過した各時刻に紐づけて保持してもよい。点群データ情報保持部52は、LiDARから出力された点群データ情報を保持する。点群データ情報保持部52は、軌跡11を構成する各座標を基点として取得された各点群データを、LiDARが各座標を通過した各時刻に紐づけて保持してもよい。画像データ情報保持部53は、カメラから出力された画像データ情報を保持する。画像データ情報保持部53は、画像データを、撮影された時刻と同じ時刻に紐づけられた軌跡11上の座標に紐づけて保持してもよい。
次に、ステップS18に示すように、データの解析を行う。具体的には、情報処理装置50において、劣化事象座標抽出部54は、軌跡情報及び点群データ情報から施設60の劣化事象を解析する。そして、劣化事象座標抽出部54は、軌跡情報及び点群データ情報から施設60の劣化事象を含む点群データが取得された際の基点となる劣化事象座標を抽出する。劣化事象座標抽出部54は、抽出した劣化事象座標を軌跡情報保持部51に保持させてもよい。
また、区別抽出部55は、抽出された劣化事象座標に紐づけられた画像データの有無によって劣化事象座標を区別して抽出する。具体的には、区別抽出部55は、各劣化事象座標に画像データが紐づけられているか判断する。そして、画像データが紐づけられた劣化事象座標と、画像データが紐づけられない劣化事象座標とを区別して抽出する。
次に、ステップS19に示すように、保持したデータ及び解析したデータを施設点検表示装置100に出力する。具体的には、情報処理装置50は、軌跡情報、点群データ情報、画像データ情報及び劣化事象座標等を施設点検表示装置100に出力する。
<施設点検表示方法>
次に、施設点検表示装置100を用いた施設点検表示方法を説明する。図5は、実施形態1に係る施設点検表示方法を例示したフローチャート図である。図5のステップS110に示すように、軌跡11を軌跡表示部110に表示させる。具体的には、施設60においてLiDARを移動させることによってLiDARを用いた施設60の点群データを取得した際の基点となる座標の軌跡11を軌跡表示部110に表示させる。
次に、ステップS120に示すように、点群データを点群データ表示部120に表示させる。具体的には、軌跡表示部110においてユーザにより指定された軌跡11上のユーザ指定位置12におけるユーザ指定座標を基点として取得された点群データを点群データ表示部120に表示させる。
次に、ステップS130に示すように、画像データを画像データ表示部130に表示させる。具体的には、施設60を撮影した画像データを画像データ表示部130に表示させる。この際に、軌跡11を構成する各座標は、LiDARが各座標を通過した各時刻に紐づけられている。また、軌跡11を構成する各座標を基点として取得された各点群データは、LiDARが各座標を通過した各時刻に紐づけられている。そして、画像データは、取得された時刻と同じ時刻に紐づけられた軌跡11上の座標に紐づけられている。よって、ユーザ指定座標に紐づけられた画像データがある場合に、画像データ表示部130に、画像データを表示させる。
次に、ステップS140に示すように、劣化事象位置13を軌跡表示部110に表示させる。具体的には、施設60の劣化事象を含む点群データが取得された際の基点となる劣化事象座標を劣化事象位置として軌跡表示部110に表示させる。
次に、ステップS150に示すように、軌跡11上の座標を座標表示部150に表示させる。具体的には、点群データが取得された際の基点となる座標を座標表示部150に表示させる。例えば、施設60の劣化事象を含む点群データが取得された際の基点となる劣化事象座標を座標表示部150に表示させてもよい。なお、劣化事象座標を表示させる際には、劣化事象座標から劣化事象までの方向、及び、劣化事象座標をLiDARが通過した時刻の少なくともいずれかを座標表示部150に表示させてもよい。
次に、ステップS160に示すように、各々の劣化事象座標に画像データが紐づけされているか判断する。ステップS160において、各々の劣化事象座標に画像データが紐づけされているYESの場合には処理を終了する。一方、ステップS160において、各々の劣化事象座標に画像データが紐づけされていないNOの場合には、ステップS170に示すように、画像データの有無によって劣化事象位置13及び14を区別して軌跡表示部110に表示させる。具体的には、区別表示部160は、劣化事象座標に紐づけられた画像データがある場合に、劣化事象位置13を実線の縦線で示し、劣化事象座標に紐づけされた画像データがない場合に、劣化事象位置14を点線の縦線で示す。このようにして、区別表示部160は、画像データの有無によって劣化事象位置13及び14を区別する。そして、処理を終了する。
次に、本実施形態の効果を説明する。本実施形態では、施設60においてLiDARをIMUとともに移動させることによって、施設60の点群データを取得した際の基点となる座標の軌跡を取得する。よって、点群データに座標及び時刻を紐づけすることができ、施設60の点群データにおける位置の精度を向上させることができる。
また、LiDAR及びIMUの検出に同期させたタイマーを用いて、施設60の画像データを取得する。よって、画像データを時刻及び座標に紐づけすることができ、施設60の画像データにおける位置の精度を向上させることができる。このように、本実施形態は、点群データと画像データの同期にIMUで取得する軌跡データを用いている。よって、点群データと画像データとを紐づけることができ、劣化事象座標と画像データとを紐づけることができる。
さらに、本実施形態では、施設60の劣化事象を含む点群データが取得された際の基点となる劣化事象座標を劣化事象位置として軌跡表示部110に表示させる。また、劣化事象座標を座標表示部150に表示させてもよい。また、座標表示部150は、劣化事象座標から劣化事象までの方向、及び、劣化事象座標をLiDARが通過した時刻の少なくともいずれかを表示してもよい。これにより、劣化事象の位置の表示における視認性を向上させることができる。
また、本実施形態では、劣化事象座標に紐づけられた画像データの有無によって劣化事象位置13及び14を区別して軌跡表示部110に表示させる。よって、対応する画像データがない劣化事象座標を表示することができる。
(実施形態2)
次に、実施形態2に係る施設点検表示装置及び情報処理装置を説明する。本実施形態では、施設点検表示装置及び情報処理装置の主な特徴を抽出する。図6は、実施形態2に係る施設点検表示装置の表示画面を例示した平面図である。図6に示すように、施設点検表示装置200は、軌跡表示部110、点群データ表示部120及び劣化事象表示部140を備えている。
軌跡表示部110は、施設60においてLiDARを移動させることによってLiDARを用いた施設60の点群データを取得した際の基点となる座標の軌跡を表示する。点群データ表示部120は、軌跡表示部110においてユーザにより指定された軌跡11上のユーザ指定位置12におけるユーザ指定座標を基点として取得された点群データG1を表示する。劣化事象表示部140は、施設60の劣化事象を含む点群データが取得された際の基点となる劣化事象座標を劣化事象位置13として軌跡表示部110に表示させる。
図7は、実施形態2に係る施設点検表示方法を例示したフローチャート図である。図7のステップS210に示すように、軌跡11を軌跡表示部110に表示させる。具体的には、施設60においてLiDARを移動させることによりLiDARを用いた施設60の点群データを取得した際の基点となる座標の軌跡11を軌跡表示部110に表示させる。
次に、ステップS220に示すように、点群データを点群データ表示部120に表示させる。具体的には、軌跡表示部110においてユーザにより指定された軌跡11上のユーザ指定位置12におけるユーザ指定座標を基点として取得された点群データを点群データ表示部120に表示させる。
次に、ステップS230に示すように、劣化事象位置13を軌跡表示部110に表示させる。具体的には、施設60の劣化事象を含む点群データが取得された際の基点となる劣化事象座標を劣化事象位置として軌跡表示部110に表示させる。
図8は、実施形態2に係る情報処理装置を例示したブロック図である。図8に示すように、情報処理装置70は、軌跡情報保持部51、点群データ情報保持部52及び劣化事象座標抽出部54を備えている。
軌跡情報保持部51は、施設60においてLiDARを移動させることによってLiDARを用いた施設60の点群データを取得した際の基点となる座標の軌跡11、軌跡11を構成する複数の基点の各座標、及び、各座標をLiDARが通過した各時刻を含む軌跡情報を保持する。
点群データ情報保持部52は、各座標を基点として取得された各点群データ、及び、各点群データが取得された際の基点となる各座標をLiDARが通過した各時刻を含む点群データ情報を保持する。
劣化事象座標抽出部54は、軌跡情報及び点群データ情報から施設60の劣化事象を含む点群データが取得された際の基点となる劣化事象座標を抽出する。
本実施形態によれば、劣化事象位置の表示における視認性を向上させることができる。実施形態2におけるこれ以外の構成及び効果は、実施形態1の記載に含まれている。
以上、実施形態1及び2を参照して本願発明を説明したが、本願発明は、上記実施形態1及び2に限られたものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることが可能である。例えば、実施形態1及び2の各構成を組み合わせた実施形態も、技術的思想の範囲に含まれる。また、実施形態1及び2の施設点検表示方法を、コンピュータに実行させる施設点検表示プログラムも実施形態1及び2の技術的範囲に含まれる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
施設においてLiDARを移動させることにより前記LiDARを用いた前記施設の点群データを取得した際の基点となる座標の軌跡を表示する軌跡表示手段と、
前記軌跡表示手段においてユーザによって指定された軌跡上のユーザ指定位置におけるユーザ指定座標を前記基点として取得された前記点群データを表示する点群データ表示手段と、
前記施設の劣化事象を含む前記点群データが取得された際の前記基点となる劣化事象座標を劣化事象位置として前記軌跡表示手段に表示させる劣化事象表示手段と、
を備えた施設点検表示装置。
(付記2)
前記点群データが取得された際の前記基点となる前記座標を表示する座標表示手段をさらに備え、
前記座標表示手段は、前記劣化事象座標を表示する、
付記1に記載の施設点検表示装置。
(付記3)
前記座標表示手段は、前記劣化事象座標から前記劣化事象までの方向、及び、前記劣化事象座標を前記LiDARが通過した時刻の少なくともいずれかを表示する、
付記2に記載の施設点検表示装置。
(付記4)
前記施設を撮影した画像データを表示する画像データ表示手段をさらに備え、
前記軌跡を構成する各座標は、前記LiDARが前記各座標を通過した各時刻に紐づけられ、
前記軌跡を構成する前記各座標を前記基点として取得された各点群データは、前記LiDARが前記各座標を通過した前記各時刻に紐づけられ、
前記画像データは、取得された前記時刻と同じ前記時刻に紐づけられた前記軌跡上の前記座標に紐づけられ、
前記ユーザ指定座標に紐づけられた前記画像データがある場合に、前記画像データ表示手段は、前記画像データを表示する、
付記1~3のいずれか1項に記載の施設点検表示装置。
(付記5)
前記劣化事象座標に紐づけられた前記画像データの有無によって前記劣化事象位置を区別して前記軌跡表示手段に表示させる区別表示手段と、をさらに備えた、
付記4に記載の施設点検表示装置。
(付記6)
施設においてLiDARを移動させることによって前記LiDARを用いた前記施設の点群データを取得した際の基点となる座標の軌跡、前記軌跡を構成する複数の前記基点の各座標、及び、前記各座標を前記LiDARが通過した各時刻を含む軌跡情報を保持する軌跡情報保持手段と、
前記各座標を前記基点として取得された各点群データ、及び、前記各点群データが取得された際の前記基点となる前記各座標を前記LiDARが通過した前記各時刻を含む点群データ情報を保持する点群データ情報保持手段と、
前記軌跡情報及び前記点群データ情報から前記施設の劣化事象を含む前記点群データが取得された際の前記基点となる劣化事象座標を抽出する劣化事象座標抽出手段と、
を備えた情報処理装置。
(付記7)
前記施設を撮影した画像データ、及び、前記画像データが取得された時刻を含む画像データ情報を保持する画像データ情報保持手段と、をさらに備え、
前記軌跡情報保持手段は、前記軌跡を構成する前記各座標を、前記LiDARが前記各座標を通過した前記各時刻に紐づけて保持し、
前記点群データ情報保持手段は、前記軌跡を構成する前記各座標を前記基点として取得された前記各点群データを、前記LiDARが前記各座標を通過した前記各時刻に紐づけて保持し、
前記画像データ情報保持手段は、前記画像データを、取得された前記時刻と同じ前記時刻に紐づけられた軌跡上の前記座標に紐づけて保持する、
付記6に記載の情報処理装置。
(付記8)
抽出された前記劣化事象座標に紐づけられた前記画像データの有無によって前記劣化事象座標を区別して抽出する区別抽出手段をさらに備えた、
付記7に記載の情報処理装置。
(付記9)
施設においてLiDARを移動させることにより前記LiDARを用いた前記施設の点群データを取得した際の基点となる座標の軌跡を軌跡表示手段に表示させるステップと、
前記軌跡表示手段においてユーザによって指定された軌跡上のユーザ指定位置におけるユーザ指定座標を前記基点として取得された前記点群データを点群データ表示手段に表示させるステップと、
前記施設の劣化事象を含む前記点群データが取得された際の前記基点となる劣化事象座標を劣化事象位置として前記軌跡表示手段に表示させるステップと、
を備えた施設点検表示方法。
(付記10)
前記点群データが取得された際の前記基点となる前記座標を座標表示手段に表示させるステップをさらに備え、
前記座標表示手段に表示させるステップにおいて、前記劣化事象座標を前記座標表示手段に表示させる、
付記9に記載の施設点検表示方法。
(付記11)
前記座標表示手段に表示させるステップにおいて、前記劣化事象座標から前記劣化事象までの方向、及び、前記劣化事象座標を前記LiDARが通過した時刻の少なくともいずれかを前記座標表示手段に表示させる、
付記10に記載の施設点検表示方法。
(付記12)
前記施設を撮影した画像データを画像データ表示手段に表示させるステップをさらに備え、
前記画像データを画像データ表示手段に表示するステップにおいて、
前記軌跡を構成する各座標は、前記LiDARが前記各座標を通過した各時刻に紐づけられ、
前記軌跡を構成する前記各座標を前記基点として取得された各点群データは、前記LiDARが前記各座標を通過した前記各時刻に紐づけられ、
前記画像データは、取得された前記時刻と同じ前記時刻に紐づけられた前記軌跡上の前記座標に紐づけられ、
前記ユーザ指定座標に紐づけられた前記画像データがある場合に、前記画像データ表示手段に、前記画像データを表示させる、
付記9~11のいずれか1項に記載の施設点検表示方法。
(付記13)
前記劣化事象座標に紐づけられた前記画像データの有無によって前記劣化事象位置を区別して前記軌跡表示手段に表示させるステップをさらに備えた、
付記12に記載の施設点検表示方法。
(付記14)
施設においてLiDARを移動させることにより前記LiDARを用いた前記施設の点群データを取得した際の基点となる座標の軌跡を軌跡表示手段に表示させるステップと、
前記軌跡表示手段においてユーザによって指定された軌跡上のユーザ指定位置におけるユーザ指定座標を前記基点として取得された前記点群データを点群データ表示手段に表示させるステップと、
前記施設の劣化事象を含む前記点群データが取得された際の前記基点となる劣化事象座標を劣化事象位置として前記軌跡表示手段に表示させるステップと、
をコンピュータに実行させる施設点検表示プログラムが格納された非一時的なコンピュータ可読媒体。
(付記15)
前記点群データが取得された際の前記基点となる前記座標を座標表示手段に表示させるステップをさらに備え、
前記座標表示手段に表示させるステップにおいて、前記劣化事象座標を前記座標表示手段に表示させる、
ことをコンピュータに実行させる付記14に記載の施設点検表示プログラムが格納された非一時的なコンピュータ可読媒体。
(付記16)
前記座標表示手段に表示させるステップにおいて、前記劣化事象座標から前記劣化事象までの方向、及び、前記劣化事象座標を前記LiDARが通過した時刻の少なくともいずれかを前記座標表示手段に表示させる、
ことをコンピュータに実行させる付記15に記載の施設点検表示プログラムが格納された非一時的なコンピュータ可読媒体。
(付記17)
前記施設を撮影した画像データを画像データ表示手段に表示させるステップをさらに備え、
前記画像データを画像データ表示手段に表示するステップにおいて、
前記軌跡を構成する各座標は、前記LiDARが前記各座標を通過した各時刻に紐づけられ、
前記軌跡を構成する前記各座標を前記基点として取得された各点群データは、前記LiDARが前記各座標を通過した前記各時刻に紐づけられ、
前記画像データは、取得された前記時刻と同じ前記時刻に紐づけられた前記軌跡上の前記座標に紐づけられ、
前記ユーザ指定座標に紐づけられた前記画像データがある場合に、前記画像データ表示手段に、前記画像データを表示させる、
ことをコンピュータに実行させる付記14~16のいずれか1項に記載の施設点検表示プログラムが格納された非一時的なコンピュータ可読媒体。
(付記18)
前記劣化事象座標に紐づけられた前記画像データの有無によって前記劣化事象位置を区別して前記軌跡表示手段に表示させるステップをさらにコンピュータに実行させる付記17に記載の施設点検表示プログラムが格納された非一時的なコンピュータ可読媒体。
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
1 施設点検システム
10 慣性運動検出装置
11 軌跡
12 ユーザ指定位置
13、14 劣化事象位置
20 点群データ取得装置
30 画像データ取得装置
40、41 移動体
50 情報処理装置
51 軌跡情報保持部
52 点群データ情報保持部
53 画像データ情報保持部
54 劣化事象座標抽出部
55 区別抽出部
60 施設
70 情報処理装置
100、200 施設点検表示装置
110 軌跡表示部
120 点群データ表示部
130 画像データ表示部
140 劣化事象表示部
150 座標表示部
160 区別表示部

Claims (10)

  1. 施設においてLiDARを移動させることにより前記LiDARを用いた前記施設の点群データを取得した際の基点となる座標の軌跡を表示する軌跡表示手段と、
    前記軌跡表示手段においてユーザによって指定された軌跡上のユーザ指定位置におけるユーザ指定座標を前記基点として取得された前記点群データを表示する点群データ表示手段と、
    前記施設の劣化事象を含む前記点群データが取得された際の前記基点となる劣化事象座標を劣化事象位置として前記軌跡表示手段に表示させる劣化事象表示手段と、
    前記施設を撮影した画像データを表示する画像データ表示手段と、
    を備え、
    前記軌跡を構成する各座標は、前記LiDARが前記各座標を通過した各時刻に紐づけられ、
    前記軌跡を構成する前記各座標を前記基点として取得された各点群データは、前記LiDARが前記各座標を通過した前記各時刻に紐づけられ、
    前記画像データは、取得された前記時刻と同じ前記時刻に紐づけられた前記軌跡上の前記座標に紐づけられ、
    前記ユーザ指定座標に紐づけられた前記画像データがある場合に、前記画像データ表示手段は、前記画像データを表示し、
    前記劣化事象座標に紐づけられた前記画像データの有無によって前記劣化事象位置を区別して前記軌跡表示手段に表示させる区別表示手段と、をさらに備えた
    施設点検表示装置。
  2. 前記点群データが取得された際の前記基点となる前記座標を表示する座標表示手段をさらに備え、
    前記座標表示手段は、前記劣化事象座標を表示する、
    請求項1に記載の施設点検表示装置。
  3. 前記座標表示手段は、前記劣化事象座標から前記劣化事象までの方向、及び、前記劣化事象座標を前記LiDARが通過した時刻の少なくともいずれかを表示する、
    請求項2に記載の施設点検表示装置。
  4. 施設においてLiDARを移動させることによって前記LiDARを用いた前記施設の点群データを取得した際の基点となる座標の軌跡、前記軌跡を構成する複数の前記基点の各座標、及び、前記各座標を前記LiDARが通過した各時刻を含む軌跡情報を保持する軌跡情報保持手段と、
    前記各座標を前記基点として取得された各点群データ、及び、前記各点群データが取得された際の前記基点となる前記各座標を前記LiDARが通過した前記各時刻を含む点群データ情報を保持する点群データ情報保持手段と、
    前記軌跡情報及び前記点群データ情報から前記施設の劣化事象を含む前記点群データが取得された際の前記基点となる劣化事象座標を抽出する劣化事象座標抽出手段と、
    前記施設を撮影した画像データ、及び、前記画像データが取得された時刻を含む画像データ情報を保持する画像データ情報保持手段と、
    を備え、
    前記軌跡情報保持手段は、前記軌跡を構成する前記各座標を、前記LiDARが前記各座標を通過した前記各時刻に紐づけて保持し、
    前記点群データ情報保持手段は、前記軌跡を構成する前記各座標を前記基点として取得された前記各点群データを、前記LiDARが前記各座標を通過した前記各時刻に紐づけて保持し、
    前記画像データ情報保持手段は、前記画像データを、取得された前記時刻と同じ前記時刻に紐づけられた軌跡上の前記座標に紐づけて保持し、
    抽出された前記劣化事象座標に紐づけられた前記画像データの有無によって前記劣化事象座標を区別して抽出する区別抽出手段をさらに備えた、
    情報処理装置。
  5. 施設においてLiDARを移動させることにより前記LiDARを用いた前記施設の点群データを取得した際の基点となる座標の軌跡を軌跡表示手段に表示させるステップと、
    前記軌跡表示手段においてユーザによって指定された軌跡上のユーザ指定位置におけるユーザ指定座標を前記基点として取得された前記点群データを点群データ表示手段に表示させるステップと、
    前記施設の劣化事象を含む前記点群データが取得された際の前記基点となる劣化事象座標を劣化事象位置として前記軌跡表示手段に表示させるステップと、
    前記施設を撮影した画像データを画像データ表示手段に表示させるステップと、
    を備え、
    前記画像データを画像データ表示手段に表示するステップにおいて、
    前記軌跡を構成する各座標は、前記LiDARが前記各座標を通過した各時刻に紐づけられ、
    前記軌跡を構成する前記各座標を前記基点として取得された各点群データは、前記LiDARが前記各座標を通過した前記各時刻に紐づけられ、
    前記画像データは、取得された前記時刻と同じ前記時刻に紐づけられた前記軌跡上の前記座標に紐づけられ、
    前記ユーザ指定座標に紐づけられた前記画像データがある場合に、前記画像データ表示手段に、前記画像データを表示させ、
    前記劣化事象座標に紐づけられた前記画像データの有無によって前記劣化事象位置を区別して前記軌跡表示手段に表示させるステップをさらに備えた、
    施設点検表示方法。
  6. 前記点群データが取得された際の前記基点となる前記座標を座標表示手段に表示させるステップをさらに備え、
    前記座標表示手段に表示させるステップにおいて、前記劣化事象座標を前記座標表示手段に表示させる、
    請求項5に記載の施設点検表示方法。
  7. 前記座標表示手段に表示させるステップにおいて、前記劣化事象座標から前記劣化事象までの方向、及び、前記劣化事象座標を前記LiDARが通過した時刻の少なくともいずれかを前記座標表示手段に表示させる、
    請求項6に記載の施設点検表示方法。
  8. 施設においてLiDARを移動させることにより前記LiDARを用いた前記施設の点群データを取得した際の基点となる座標の軌跡を軌跡表示手段に表示させるステップと、
    前記軌跡表示手段においてユーザによって指定された軌跡上のユーザ指定位置におけるユーザ指定座標を前記基点として取得された前記点群データを点群データ表示手段に表示させるステップと、
    前記施設の劣化事象を含む前記点群データが取得された際の前記基点となる劣化事象座標を劣化事象位置として前記軌跡表示手段に表示させるステップと、
    前記施設を撮影した画像データを画像データ表示手段に表示させるステップと、
    を備え、
    前記画像データを画像データ表示手段に表示するステップにおいて、
    前記軌跡を構成する各座標は、前記LiDARが前記各座標を通過した各時刻に紐づけられ、
    前記軌跡を構成する前記各座標を前記基点として取得された各点群データは、前記LiDARが前記各座標を通過した前記各時刻に紐づけられ、
    前記画像データは、取得された前記時刻と同じ前記時刻に紐づけられた前記軌跡上の前記座標に紐づけられ、
    前記ユーザ指定座標に紐づけられた前記画像データがある場合に、前記画像データ表示手段に、前記画像データを表示させ、
    前記劣化事象座標に紐づけられた前記画像データの有無によって前記劣化事象位置を区別して前記軌跡表示手段に表示させるステップをさらにコンピュータに実行させる、
    施設点検表示プログラム。
  9. 前記点群データが取得された際の前記基点となる前記座標を座標表示手段に表示させるステップをさらに備え、
    前記座標表示手段に表示させるステップにおいて、前記劣化事象座標を前記座標表示手段に表示させる、
    ことをコンピュータに実行させる請求項8に記載の施設点検表示プログラム。
  10. 前記座標表示手段に表示させるステップにおいて、前記劣化事象座標から前記劣化事象までの方向、及び、前記劣化事象座標を前記LiDARが通過した時刻の少なくともいずれかを前記座標表示手段に表示させる、
    ことをコンピュータに実行させる請求項9に記載の施設点検表示プログラム。
JP2023554144A 2021-10-20 2021-10-20 施設点検表示装置、情報処理装置、施設点検表示方法及び施設点検表示プログラム Active JP7779325B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/038709 WO2023067717A1 (ja) 2021-10-20 2021-10-20 施設点検表示装置、情報処理装置、施設点検表示方法及び非一時的なコンピュータ可読媒体

Publications (3)

Publication Number Publication Date
JPWO2023067717A1 JPWO2023067717A1 (ja) 2023-04-27
JPWO2023067717A5 JPWO2023067717A5 (ja) 2024-07-01
JP7779325B2 true JP7779325B2 (ja) 2025-12-03

Family

ID=86057990

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023554144A Active JP7779325B2 (ja) 2021-10-20 2021-10-20 施設点検表示装置、情報処理装置、施設点検表示方法及び施設点検表示プログラム

Country Status (3)

Country Link
US (1) US20240329222A1 (ja)
JP (1) JP7779325B2 (ja)
WO (1) WO2023067717A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012018170A (ja) 2008-08-29 2012-01-26 Mitsubishi Electric Corp 俯瞰画像生成装置、地図データ生成システム、俯瞰画像生成装置の俯瞰画像生成方法および俯瞰画像生成プログラム
JP2017083619A (ja) 2015-10-27 2017-05-18 三菱電機株式会社 道路監視装置および道路監視プログラム
JP2018017102A (ja) 2016-07-29 2018-02-01 エヌ・ティ・ティ・コムウェア株式会社 情報処理装置、情報処理方法、及びプログラム
WO2019087467A1 (ja) 2017-10-30 2019-05-09 株式会社日立ソリューションズ 計測システム、計測装置、及び計測方法
JP2020197467A (ja) 2019-06-04 2020-12-10 俊雄 小泉 Slamによる自律飛行機能を備えた無人機を用いた構造物の検査方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012018170A (ja) 2008-08-29 2012-01-26 Mitsubishi Electric Corp 俯瞰画像生成装置、地図データ生成システム、俯瞰画像生成装置の俯瞰画像生成方法および俯瞰画像生成プログラム
JP2017083619A (ja) 2015-10-27 2017-05-18 三菱電機株式会社 道路監視装置および道路監視プログラム
JP2018017102A (ja) 2016-07-29 2018-02-01 エヌ・ティ・ティ・コムウェア株式会社 情報処理装置、情報処理方法、及びプログラム
WO2019087467A1 (ja) 2017-10-30 2019-05-09 株式会社日立ソリューションズ 計測システム、計測装置、及び計測方法
JP2020197467A (ja) 2019-06-04 2020-12-10 俊雄 小泉 Slamによる自律飛行機能を備えた無人機を用いた構造物の検査方法

Also Published As

Publication number Publication date
WO2023067717A1 (ja) 2023-04-27
US20240329222A1 (en) 2024-10-03
JPWO2023067717A1 (ja) 2023-04-27

Similar Documents

Publication Publication Date Title
EP3690800B1 (en) Information processing apparatus, information processing method, and program
CN108540754A (zh) 用于视频监控中多视频拼接的方法、装置和系统
RU2019115873A (ru) Система слежения за объектами
CN105741379A (zh) 一种变电站全景巡检方法
EP2405393A1 (en) Device for creating information for positional estimation of matter, method for creating information for positional estimation of matter, and program
CN110619314A (zh) 安全帽检测方法、装置及电子设备
JP6702097B2 (ja) 画像処理プログラム、画像処理方法および画像処理装置
CN107037496A (zh) 一种露天矿山的实地动态检测方法
CN110266938A (zh) 基于深度学习的变电站设备智能拍摄方法及装置
CN107945103A (zh) 无人机图像的隐私遮挡方法、装置及无人机
KR20180011794A (ko) 오브젝트 시각화 방법
JP2016090547A (ja) ひび割れ情報収集装置及びひび割れ情報を収集するためのサーバ装置
CN108921840A (zh) 显示屏外围电路检测方法、装置、电子设备及存储介质
JP2016168937A (ja) 画像処理によるハンガー検出装置
CN118941507A (zh) 无人机巡检光伏阵列的缺陷检测方法、装置、电子设备及存储介质
CN113516120A (zh) 扬尘检测方法、图像处理方法、装置、设备及系统
JP7779325B2 (ja) 施設点検表示装置、情報処理装置、施設点検表示方法及び施設点検表示プログラム
CN109887090A (zh) 基于ar的桥梁养护巡查方法及装置
CN111738312B (zh) 基于gis和虚拟现实融合的输电线状态监控方法、装置及计算机可读存储介质
JP2009162563A (ja) デバイス外観検査装置及び方法、プログラム
JP6479881B2 (ja) 点検支援装置、点検支援方法、およびプログラム
CN114241404A (zh) 卸料小车定位方法、装置、设备及存储介质
JP2003329780A (ja) 夜間雲量測定方法および夜間雲量測定装置
JP2025021541A (ja) 鉄道沿線設備点検システムおよび鉄道沿線設備点検処理方法
KR102588141B1 (ko) 드론 영상정보를 이용한 딥러닝 기반 구조물 손상 점검 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240412

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250610

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20251021

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20251103

R150 Certificate of patent or registration of utility model

Ref document number: 7779325

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150