JP7619185B2

JP7619185B2 - 制御システム

Info

Publication number: JP7619185B2
Application number: JP2021108844A
Authority: JP
Inventors: 直浩河合; 正渡邊
Original assignee: Omron Corp
Current assignee: Omron Corp
Priority date: 2021-06-30
Filing date: 2021-06-30
Publication date: 2025-01-22
Anticipated expiration: 2041-06-30
Also published as: EP4365692A4; JP2023006307A; CN117396822A; US20240255926A1; EP4365692A1; WO2023276401A1

Description

本技術は、制御対象を制御する制御システムに関し、特に、制御に関する制御データを収集する制御システムに関する。

ＦＡ（Factory Automation）が適用される様々な生産現場において、生産設備としての機械や装置に対する予知保全により設備稼働率を向上させたいというニーズが存在する。予知保全とは、機械や装置に生じる何らかの異常を検知して、設備を停止すべき状態になる前に、整備や交換などの保守作業を行うような保全形態を意味する。このような予知保全を実現するために、運転中の機械や装置から収集されるデータを用いて、当該機械や装置に何らかの異常が生じているか否かをユーザが判断するのをサポートする仕組みが実用化されている。

例えば、特開２０１２－９９９７２号公報（特許文献１）は、対象物の出力信号に基づく波形データとカメラが撮像した動画とを同一画面で表示する画像処理装置を開示する。

特開２０１２－９９９７２号公報

カメラに撮像開始指令を送信してから、実際にカメラが撮像開始するまでには、少なくとも指令の送信にかかる時間だけずれる。したがって、動画を再生した場合、波形の表示時間から、当該ずれに基づく時間だけ遅れて動画が表示されるから、このような表示情報を上記の予知保全のためのサポート情報として利用することは適当でない。特開２０１２－９９９７２号公報（特許文献１）は、波形データとカメラが撮像した動画との時間的なずれを管理する構成は開示しない。

本開示の一つの目的は、制御対象の制御に関する制御データと撮像部の撮像画像との間の時間的なずれを管理可能な環境を提供することである。

この開示に係る制御システムは、制御対象を制御する制御部と、制御対象を被写体として撮像可能な撮像範囲を有する撮像部とを備え、制御部は、イベントを検出すると撮像部に撮像開始指令を送信する通信部と、制御に関する制御データを、収集時間と関連付けて収集するデータ収集部とを有し、撮像部は、制御部から転送された撮像開始指令に従い撮像を開始し、撮像された画像を撮像時間と関連付けて収集する画像収集部を、有し、制御システムは、さらに、データ収集部が収集する制御データと画像収集部が収集する画像との間の時間的なずれを示す時間情報を管理する時間管理部を備える。

この開示によれば、収集時間が関連付けて収集される制御データと、制御対象を撮像した画像であって撮像時間が関連付けされた撮像画像との間の時間的なずれを管理できる。

上述の開示において、時間的なずれは、制御部が、撮像部に撮像開始指令を送信してから、撮像開始の応答を撮像部から受信するまでの時間を含む。

この開示によれば、時間的なずれを、撮像開始指令の送信から、その応答を受信するまでの時間として取得できる。

上述の開示において、データ収集部が収集する収集時間が関連付けられた制御データと、画像収集部が収集する撮像時間が関連付けられた画像と、時間的なずれを示す時間情報とを互いに関連付けて管理する情報管理部をさらに備える。

この開示によれば、情報管理部において、収集時間が関連付けられた制御データと、撮像時間が関連付けられた画像と、両者の時間的なずれを示す時間情報とを、互いに関連付けて管理できる。

上述の開示において、制御部は、情報管理部および撮像部が属するネットワークと接続する第１コネクタを有し、ネットワークを介して撮像部と、撮像開始指令および応答を通信する。

この開示によれば、時間的なずれを、制御部がネットワークを介して撮像開始指令を送信してから、その応答をネットワークを介して受信するまでの時間として取得できる。

上述の開示において、制御部は、撮像部と信号線を介して、撮像開始指令および応答を通信する。

この開示によれば、時間的なずれを、制御部が信号先を介して撮像開始指令を送信してから、その応答を信号線を介して受信するまでの時間として取得できる。

上述の開示において、イベントを検出する毎に、時間的なずれを検出する。
この開示によれば、イベントの検出の都度、時間的なずれを取得できる。したがって、ネットワークの負荷または撮像部の処理負荷の変動に伴い、撮像開始指令および応答の通信に係る時間が変動し得るとしても、当該負荷変動を考慮した時間的なずれを取得できる。

上述の開示において、データ収集部が収集した制御データに関連付けられた収集時間は収集開始時間を含み、画像収集部が収集した撮像された画像に関連付けられた撮像時間は撮像開始時間を含み、時間的なずれは、収集開始時間と撮像開始時間との時間差を含む。

この開示によれば、時間的なずれを、制御データの収集開始時間と画像の撮像開始時間との時間差から取得できる。

上述の開示において、イベントは、制御対象の制御に関する予め定められたイベントを含む。

この開示によれば、制御に関するイベントが検出される毎に、収集時間が関連付けられた制御データと、撮像時間が関連付けられた画像と、両者の時間的なずれを示す時間情報とを取得できる。

上述の開示において、制御部は、制御対象を周期的に制御し、予め定められたイベントは、制御に関する予め定められた周期の経過を検出したことを含む。

この開示によれば、制御に関する予め定められた周期の経過を検出する都度、収集時間が関連付けられた制御データと、撮像時間が関連付けられた画像と、両者の時間的なずれを示す時間情報とを取得できる。

上述の開示において、ＵＩ（ユーザインターフェイス）部を、さらに備え、制御部は、制御対象を周期的に制御し、ＵＩ部は、データ収集部によって収集された複数の制御データを、各複数の制御データに関連付けられた収集時間に基づき波形に変換し、変換後の波形を表示する波形表示部と、画像収集部によって収集された画像を、当該画像に関連付けられた撮像時間に従い再生する画像再生部と、を有する。

この開示によれば、ＵＩ部によって、制御データを関連付けられた収集時間に基づき変換された波形として、ユーザに提示でき、また、収集された画像を、当該画像に関連付けられた撮像時間に従い再生しユーザに提示できる。

上述の開示において、画像は、それぞれに撮像時間が関連付けられる複数のフレーム画像から構成される動画を含み、ＵＩ部は、表示される波形の上のユーザ指定のポイントに対応の制御データに関連付けられた収集時間と、時間的なずれとから、当該ユーザ指定のポイントに対応の撮像時間が関連付けられたフレーム画像を、複数のフレーム画像から特定して再生する画像調整部を有する。

この開示によれば、ＵＩ部は、波形上でユーザがポイントを指定すると、指定されたポイントの収集時間と時間的なずれとから、当該ポイントに対応の撮像時間を取得し、この撮像時間に関連付けられた画像を再生し、ユーザに提示できる。

上述の開示において、撮像部は、制御対象を被写体として撮像可能な撮像範囲を有し、当該制御対象の撮像方向が異なる複数の撮像部を含み、時間管理部は、各複数の撮像部について、データ収集部が収集する制御データと当該撮像部が有する画像収集部が収集する画像との間の時間的なずれを示す時間情報を管理する。

この開示によれば、制御システムは、制御対象を異なる撮像方向から撮像する複数の撮像部を備えることができる。この場合は、各撮像部について、収集時間が関連付けて収集される制御データと、制御対象を当該撮像部が撮像した画像であって撮像時間が関連付けされた撮像画像との間の時間的なずれを管理できる。

上述の開示において、画像調整部は、各撮像部について、ユーザ指定のポイントに対応の制御データに関連付けられた収集時間と、当該撮像部の時間情報が示す時間的なずれとから、当該ユーザ指定のポイントに対応の撮像時間が関連付けられたフレーム画像を、当該撮像部が撮像した画像を構成する複数のフレーム画像から特定して再生する。

この開示によれば、波形上でユーザがポイントを指定すると、画像調整部は、各撮像部について、当該撮像部が撮像した複数のフレーム画像から、この指定ポイントに対応の撮像時間、すなわち時間的なずれを考慮した撮像時間が関連付けられた画像を特定して再生する。

上述の開示において、ＵＩ部は、画像再生部によって再生中にユーザ操作を受付けたとき、当該受付け時点に対応する複数のフレーム画像における再生位置を特定し、特定された再生位置を始点とする画像に対するユーザ操作量に基づく所定区間の情報を当該画像に関連付けて格納する。

この開示によれば、ＵＩ部は、画像を再生中にユーザ操作を受付けると、受付けたユーザ操作に基づき特定した再生位置を始点とした所定区間に該当するフレームの情報を、当該画像に関連付けて格納できる。

上述の開示において、画像調整部は、画像を再生する場合、当該画像に関連付けられた所定区間の情報に基づき、当該画像の再生速度を調整する。

この開示によれば、画像調整部は、画像を再生する場合、ユーザが指定した所定区間の情報に基づき、当該画像のうち所定区間に該当するフレームの再生速度を調整して再生する。

本開示によれば、収集時間が関連付けられた制御データを収集するとともに、制御対象を撮像した画像であって撮像時間が関連付けされた撮像画像を収集し、収集された制御データと撮像画像との間の時間的なずれを管理できる。

本実施の形態に係る制御システム１ａの全体構成を模式的に示す図である。本実施の形態に係る制御システム１ｂの全体構成を模式的に示す図である。本実施の形態に係るＰＬＣ１００のハードウェア構成例を示すブロック図である。本実施の形態に係るサーバ２００のハードウェア構成例を示すブロック図である。図４のＤＢ管理プログラム２１１が実行されることで提供されるＤＢマネージャーを模式的に示す図である。本実施の形態に係る端末３００のハードウェア構成例を示すブロック図である。本実施の形態に係る撮像装置４０の構成の一例を模式的に示す図である。本実施の形態に係るモニタ処理のために提供されるＵＩツール３４０のモジュール構成の一例を示す図である。本実施の形態に係る収集処理のシーケンスの一例を模式的に示す図である。本実施の形態に係る時系列ＤＢ２５０の一例を模式的に示す図である。本実施の形態に係るずれと表示の関係を模式的に示す図である。本実施の形態に係るずれと表示の関係を模式的に示す図である。本実施の形態に係る表示の一例を模式的に示す図である。本実施の形態に係る表示の一例を模式的に示す図である。本実施の形態に係る表示の一例を模式的に示す図である。本実施の形態に係る表示の他の例を模式的に示す図である。本実施の形態に係るモニタ処理のフローチャートの一例を示す図である。

本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。

＜Ａ．適用例＞
まず、本発明が適用される場面の一例について説明する。

図１は、本実施の形態に係る制御システム１ａの全体構成を模式的に示す図である。図１を参照して、制御システム１ａは、ＦＡに適用されて、ＰＬＣシステム２と、「情報管理部」の一実施例であるサーバ２００と、制御システム１ａの開発および保守を担う端末３００とを含む。

ＰＬＣシステム２は、ラインとも称され、ＦＡの工場全体を制御するものであってもよいし、工場に設置された特定の製造設備や製造装置を制御するものであってもよい。ＰＬＣシステム２は、主たる構成要素として、制御対象を制御する「制御部」の典型例であるＰＬＣ（Programmable Logic Controller）１００と、「撮像部」の一例である撮像装置４０とを含んで構成される。撮像装置４０は、制御対象を被写体として撮像可能な撮像範囲を有するようアングルまたは光学系等が調整され得る。撮像装置４０に関連して、照明装置が設けられてもよい。

ＰＬＣ１００は、フィールド機器１０に接続される。フィールド機器１０は、制御対象を制御するために必要な任意の装置を包含する。より具体的には、フィールド機器１０は、制御対象（例えば、製造設備、製造装置、製造設備あるいは製造装置に含まれるセンサおよびアクチュエータなど）との間で情報をやり取りするための装置を含む。図１に示す例では、フィールド機器１０はリレー群１４とサーボモータ１８を含む。フィールド機器１０は、さらに、図１に示すサーボドライバ１６およびリモートＩ／Ｏ（Input/Output）１２など、任意のデバイスを含み得る。

ＰＬＣ１００は、フィールド機器１０からデータを取得し、予め作成されたユーザプログラムに従って制御演算を実行することで、フィールド機器１０へ与えられるデータを生成する。以下では、ＰＬＣ１００がフィールド機器１０から取得するデータを「入力データ」とも称し、フィールド機器１０へ与えられる情報を「出力データ」とも称す。また、入力データおよび出力データを「入出力データ」あるいは「Ｉ／Ｏデータ」とも総称する。入力データは、フィールド機器１０の状態を示す値（例えば、センサの出力値）を含み、出力データは、制御演算の結果に基づき、フィールド機器１０を制御する指令値を含み得る。

図１に示す例では、ＰＬＣ１００とフィールド機器１０とは、制御系ネットワーク４を介して接続されているが、これに限らず、ハードワイヤーで接続されていてもよい。

制御系ネットワーク４としては、産業用の通信プロトコルを採用することが好ましい。このような通信プロトコルとしては、ＥｔｈｅｒＣＡＴ（登録商標）、ＥｔｈｅｒＮｅｔ／ＩＰ（登録商標）、ＤｅｖｉｃｅＮｅｔ（登録商標）、ＣｏｍｐｏＮｅｔ（登録商標）などが知られている。

ＰＬＣシステム２は、情報系ネットワーク６およびゲートウェイまたはルータなどの中継装置２０を介して、インターネット８上に存在するクラウドベースのサーバ２００にアクセス可能になっている。情報系ネットワーク６は、例えばＥｔｈｅｒＮｅｔ／ＩＰ（登録商標）のプロトコルが適用され得る。

サーバ２００は、ＰＬＣ１００および撮像装置４０と情報系ネットワーク６およびインターネット８を介して通信する。サーバ２００は、主に、ＰＬＣシステム２に関する情報を管理するととともに、各種サービスを提供する。

サーバ２００は、インターネット８を介してクラウド上に配置してもよいし、インターネット８を介することなく、ＰＬＣシステム２が存在するローカルネットワーク内に配置してもよい。サーバ２００の実装形態としては、要求される性能および機能などに応じて、任意に決定できる。

端末３００は、例えば汎用コンピュータから構成される。端末３００は、サーバ２００にアクセスして、後述するような各種処理を実現するためのユーザ操作が可能になっている。本実施の形態では、このユーザ操作は、端末３００の後述するアプリケーション３１１およびＵＩプログラム３１３が協働して、端末３００からインターネット８で接続されたサーバ２００のデスクトップ環境を操作するＧＵＩ（Graphical User Interface）を提供することで実現されてもよい。また、端末３００は、情報系ネットワーク６およびインターネット８を介さずに、ＰＬＣ００とＵＳＢ（Universal Serial Bus）通信によって情報を遣り取りしてもよい。ＰＬＣ１００が、汎用コンピュータの構成も兼ね備える場合は、ＰＬＣ１００によって、端末３００が提供するＵＩ（User Interface），ＧＵＩ等のサービスが提供されてもよい。

ＰＬＣ１００は、制御演算を実行することにより制御指令を算出し、算出した制御指令を制御対象に出力することで、制御対象を制御する。ＰＬＣ１００は、制御対象を、予め定められた制御周期に従い周期的に制御する。ＰＬＣ１００は、周期制御の過程で、その制御に関するデータを、収集時間と関連付けて収集するデータ収集部１１８ａを有する。データ収集部１１８ａが収集するデータは、制御指令および制御対象の状態を示す状態値を含む。ＰＬＣ１００は、収集される状態値を用いて制御演算を実施し、制御指令を算出する。

ＰＬＣ１００は、予め定められたイベントを検出したとき、撮像装置４０に撮像開始指令１を送信する（ステップＳ１）。この予め定められたイベントは異常、または異常の予兆が検出されたこと、または、予め定められた周期の経過が検出されたことを含み得る。予め定められた周期は、例えば制御周期に基づく周期を含む。

撮像装置４０は、ＰＬＣ１００から撮像開始指令１を受信すると、受信した撮像開始指令１に従い撮像を開始するとともに（ステップＳ５ａ）、撮像開始指令１に対する応答２１をＰＬＣ１００に送信する（ステップＳ２ａ）。撮像装置４０は、応答２１を、撮像を開始する前後で送信することができる。撮像装置４０は、撮像を開始し、撮像開始以降に撮像された画像を、撮像時間と関連付けて収集する画像収集部４６を有する。

ＰＬＣ１００は、撮像開始指令１を送信してから、撮像開始の応答２１を撮像装置４０から受信するまでの所要時間を計測し、計測に基づく時間情報１１０を管理する時間管理部１１９ａを有する。この時間情報１１０は撮像装置４０の撮像タイミングのずれを示す。このずれは、ＰＬＣ１００が撮像開始指令１を送信してから撮像装置４０が撮像開始指令１に従い撮像を開始するまでの所要時間に相当する。より具体的には、ずれは、撮像開始指令１を出力したときにデータ収集部１１８ａが収集する制御に関するデータである制御データの収集時間から、撮像開始指令１に応じて撮像を開始されて画像収集部４６で収集された画像の撮像時間がする時間が遅れていることを表す。このずれは、ＰＬＣ１００と撮像装置４０の間の通信に係る負荷（情報系ネットワーク６のトラフィック等の通信負荷を含む）、撮像装置４０の処理に係る負荷などに応じて、動的に変化する。

ＰＬＣ１００は撮像開始指令１を送信する都度、応答２１を受信するまでの時間をタイマで計測することで時間的な遅れをずれとして検出し（ステップＳ３）、時間管理部１１９ａは、検出されたずれの時間情報１１０を管理する（ステップＳ４）。このように、イベントを検出する都度、言い換えると撮像開始指令１を送信する都度、時間的なずれを検出することで、上記に述べた負荷の動的変化があるとしても、変化に追従して最新のずれを検出することができる。

これにより、ＰＬＣ１００は、時間管理部１１９ａによって、制御対象の制御に関連して収集される制御データと撮像装置４０の撮像画像との間の時間的なずれを管理できる。

撮像装置４０は、撮像時間が関連付けられた撮像画像をサーバ２００に送信する（ステップＳ５ｂ）。ＰＬＣ１００は、収集時間が関連付けられた制御データをサーバ２００に送信する（ステップＳ６）とともに、ずれの時間情報１１０をサーバ２００に送信する（ステップＳ６ａ）。

サーバ２００は、ＰＬＣ１００から転送される収集時間が関連付けられた制御データと撮像装置４０から転送される撮像時間が関連付けられた撮像画像とを、時間的に関連付けた関連付情報としてストレージに格納することにより管理する（ステップＳ１４）。これにより、制御データと撮像画像とは、それぞれ、時系列に検索可能な態様で格納されるとともに、両者は、収集時間と撮像時間とに基づき時間的に対応付けられて管理される。また、サーバ２００は、ＰＬＣ１００から転送されるずれを示す時間情報１１０を、ストレージに格納される上記に述べた関連付情報に紐付ける、すなわち関連付ける（ステップＳ１５）。

これにより、制御システム１ａは、サーバ２００のストレージにおいて、制御対象の制御に関連して収集される制御に関する制御データと撮像装置の撮像画像とを、両者の時間的なずれを関連付けて管理できる。

以下、本発明のより具体的な応用例について説明する。
図２は、本実施の形態に係る制御システム１ｂの全体構成を模式的に示す図である。図２の制御システム１ｂは、図１に示したＰＬＣシステム２と撮像装置４０を、それぞれ、複数台有する。図２の制御システム１ｂは、異なる製造工程に設けられたＰＬＣシステム２－１，ＰＬＣシステム２－２，およびＰＬＣシステム２－３（以下、「ＰＬＣシステム２」とも総称する。）と、これら製造工程に設けられる撮像装置４０－１，撮像装置４０－２と有する。制御システム１ｂは、例えば、ＰＬＣシステム２－１を部品工程に設け、ＰＬＣシステム２－２を組み立て工程に設け、およびＰＬＣシステム２－３を検査工程に設けることで、一連の工程に対する分散制御を実現する。制御システム１ｂの他の構成は図１の制御システム１ａと同様なので説明は繰り返さない。撮像装置４０－１と撮像装置４０－２は、例えばカメラのアングルを異ならせることで、同じ制御対象（被写体）に対するカメラの向き（撮像方向）を異ならせた画像を撮像する。

以下の説明において、ＰＬＣシステム２－１，ＰＬＣシステム２－２，ＰＬＣシステム２－３は、図１に示すＰＬＣシステム２と同様の構成を有する。また、撮像装置４０－１と撮像装置４０－２は、図１の撮像装置４０と同様の構成を有する。ここでは３つのＰＬＣシステム２と２台の撮像装置４０とを示したが、ＰＬＣシステム２と撮像装置４０の台数は、これらに限定されない。以下では、ＰＬＣシステム２－１，ＰＬＣシステム２－２およびＰＬＣシステム２－３に共通の機能または構成の説明では「ＰＬＣシステム２」と総称し、撮像装置４０－１と撮像装置４０－２に共通の機能または構成の説明では「撮像装置４０」と総称する。

＜Ｂ．各装置の構成＞
次に、本実施の形態に係る制御システムを構成する装置のハードウェア構成の一例について説明する。

（ｂ１：ＰＬＣ１００）
図３は、本実施の形態に係るＰＬＣ１００のハードウェア構成例を示すブロック図である。図４を参照して、ＰＬＣ１００は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro-Processing Unit）などのプロセッサ１０２と、チップセット１０４と、主メモリ１０６と、ストレージ１０９と、物理的回路で構成されるコネクタ１２１と接続する情報系ネットワークコントローラ１２０と、物理的回路で構成されるコネクタ１２３と接続する制御系ネットワークコントローラ１２２と、ＵＳＢ（Universal Serial Bus）コントローラ１２４と、カウンタ回路を含んで構成されるタイマ１２５と、メモリカードインターフェイス１２６とを含む。コネクタ１２１は、サーバ２００、ＰＬＣ１００および撮像装置４０が属する情報系ネットワーク６と接続し、コネクタ１２３は、情報系ネットワーク６とは異なるネットワークであって制御対象のフィールド機器１０が属する制御系ネットワーク４と接続する。

プロセッサ１０２は、ストレージ１０９に格納された各種プログラムを読み出して、主メモリ１０６に展開して実行することで、制御対象を制御するための制御演算および外部装置（サーバ２００、端末３００、撮像装置４０およびフィールド機器１０）と通信するための通信処理を実現する。チップセット１０４は、プロセッサ１０２と各コンポーネントとのデータ伝送などを制御する。

ストレージ１０９には、ＯＳ(Operating System)１１１と、システムプログラム１１３と、ユーザプログラム１１４とが格納される。システムプログラム１１３は、情報系ネットワーク６を介してサーバ２００を含む外部装置と通信するための通信ファームウェアおよび制御系ネットワーク４を介してフィールド機器１０と通信するための通信ファームウェアを含む。

ユーザプログラム１１４は、制御プログラム１１５、通信プログラム１１６およびＩＯ（Input／Output）リフレッシュ１１７、収集プログラム１１８、およびカメラ通信プログラム１１９を含む。ＩＯリフレッシュ１１７は、制御対象であるフィールド機器１０の状態値を、制御系ネットワーク４を介して収集しＩＯリフレッシュ領域１１２に格納する。また、ＩＯリフレッシュ１１７は、ＩＯリフレッシュ領域１１２に格納された制御指令を、制御系ネットワーク４を介して制御対象に送信する。制御プログラム１１５は、ＩＯリフレッシュ領域１１２に格納された状態値を用いて制御対象の制御演算を実施して上記の制御指令を算出する。収集プログラム１１８は、実行されると上記に述べたデータ収集部１１８ａのモジュールを実現する。カメラ通信プログラム１１９は、実行されると上記に述べた時間管理部１１９ａのモジュールを実現する。ストレージ１０９は、時間管理部１１９ａにより取得される時間情報１１０と、データ収集部１１８ａにより収集される収集制御データ４００を格納する。ユーザプログラム１１４には、時刻同期プログラムを含む他の各種処理プログラムが含まれてもよい。

時間管理部１１９ａは、イベントを検出し撮像開始指令１を送信する都度、時間情報１１０を生成して格納し時間情報１１０を管理する。図３を参照して、時間情報１１０は、イベントが検出された時間を示すイベントタイミングＳＴと、撮像装置４０の識別子を示すカメラＩＤと、ずれＤＴとを含む。カメラＩＤは、撮像開始指令１に対する応答２１を転送した撮像装置４０の識別子を示し、ずれＤＴは、当該撮像装置４０に撮像開始指令１を送信した時間と、当該撮像装置４０から応答２１を受信した時間との時間差を示す。この時間差は、撮像開始指令１を送信してから応答２１を受信するまでの所要時間に相当する。イベントタイミングＳＴおよびずれＤＴは、タイマ１２５を用いて計測される。

各ＰＬＣシステム２のＰＬＣ１００は、時刻同期プログラムに従い、情報系ネットワーク６に接続される他のＰＬＣ１００と、タイマ１２５の計時時間を一致させる時刻同期処理を実施する。また、各ＰＬＣシステム２のＰＬＣ１００は、時刻同期プログラムに従い、制御系ネットワーク４に接続されるフィールド機器１０が有するタイマと計時時間を一致させる時刻同期処理を実施する。

情報系ネットワークコントローラ１２０は、コネクタ１２１に接続される情報系ネットワーク６を介した外部装置とのデータのやり取りを制御する。

制御系ネットワークコントローラ１２２は、コネクタ１２３に接続される制御系ネットワーク４を介したフィールド機器１０とのデータのやり取りを制御する。

ＵＳＢコントローラ１２４は、ＵＳＢ接続を介した外部装置（例えば、サポート装置、端末３００など）とのデータのやり取りを制御する。

メモリカードインターフェイス１２６は、メモリカード１２８が脱着自在に構成されており、メモリカード１２８に対してデータを書き込み、メモリカード１２８から各種データ（ユーザプログラム１１４およびデータなど）を読み出すことが可能になっている。

ＰＬＣ１００は、光学ドライブを有していてもよい。光学ドライブは、コンピュータ読取可能なプログラムを非一過的に格納する記録媒体（例えば、ＤＶＤ（Digital Versatile Disc）などの光学記録媒体）からプログラムを読み取って、ストレージ１０９などに格納する。

ＰＬＣ１００で実行される各種プログラムは、コンピュータ読取可能な記録媒体またはメモリカード１２８を介してインストールされてもよいが、ネットワーク上の任意のコンピュータなどのデバイスからダウンロードする方法でインストールするようにしてもよい。

図３には、プロセッサ１０２がプログラムを実行することで必要な処理が提供される構成例を示したが、これらの提供される処理の一部または全部を、専用のハードウェア回路（例えば、ＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＧＡ（Field-Programmable Gate Array）など）を用いて実装してもよい。あるいは、ＰＬＣ１００の主要部を、汎用的なアーキテクチャに従うハードウェア（例えば、汎用パソコンをベースとした産業用パソコン）を用いて実現してもよい。この場合には、仮想化技術を用いて、用途の異なる複数のＯＳを並列的に実行させるとともに、各ＯＳ上で必要なアプリケーションを実行させるようにしてもよい。

（ｂ２：サーバ２００）
図４は、本実施の形態に係るサーバ２００のハードウェア構成例を示すブロック図である。図４を参照して、サーバ２００は、プロセッサ２０２と、メインメモリ２０４と、入力部２０６と、出力部２０８と、ストレージ２１０と、光学ドライブ２１５と、外部装置と通信するためのＵＳＢコントローラ２２０と、インターネット８を含むネットワークを接続するネットワークコントローラ４１３を含む。これらのコンポーネントは、プロセッサバス２１８を介して接続されている。

プロセッサ２０２は、ＣＰＵやＧＰＵなどで構成され、ストレージ２１０に格納されたプログラムを読出して、メインメモリ２０４に展開して実行することで、後述するような各種処理を実現する。

メインメモリ２０４は、ＤＲＡＭやＳＲＡＭなどの揮発性記憶装置などで構成される。ストレージ２１０は、例えば、ＨＤＤやＳＳＤなどの不揮発性記憶装置などで構成される。

ストレージ２１０には、基本的な機能を実現するためのＯＳ２１２に加えて、サーバ２００としての機能を提供するための各種プログラムが格納される。各種プログラムは、ＤＢ（Data Base）管理プログラム２１１を含む。また、ストレージ２１０は、時系列ＤＢ２５０を格納する領域を有する。

入力部２０６は、キーボードやマウスなどで構成され、サーバ２００に対するユーザ操作を受付ける。出力部２０８は、ディスプレイ、各種インジケータ、プリンタなどで構成され、プロセッサ２０２からの処理結果などを出力する。

サーバ２００は、光学ドライブ２１５を有しており、コンピュータ読取可能なプログラムを非一過的に格納する記録媒体２１４（例えば、ＤＶＤ（Digital Versatile Disc）などの光学記録媒体）から、その中に格納されたプログラムが読取られてストレージ２１０などにインストールされる。

図４には、プロセッサ２０２がプログラムを実行することで、サーバ２００として必要な機能が提供される構成例を示したが、これらの提供される機能の一部または全部を、専用のハードウェア回路（例えば、ＡＳＩＣまたはＦＰＧＡなど）を用いて実装してもよい。

図５は、図４のＤＢ管理プログラム２１１が実行されることで提供されるＤＢマネージャーを模式的に示す図である。図５を参照して、プロセッサ２０２により、ＤＢ管理プログラム２１１が実行されることで提供されるＤＢマネージャー２５１は、例えば、ＳＱＬ（Structured Query Language）に従うデータベース操作命令に従い、時系列ＤＢ２５０を管理（例えば、ＤＢの生成，集約，編集，解析，出力等）する。時系列ＤＢ２５０の詳細は後述する。

（ｂ３：端末３００）
図６は、本実施の形態に係る端末３００のハードウェア構成例を示すブロック図である。図６を参照して、端末３００は、ＣＰＵやＭＰＵなどのプロセッサ３０２と、光学ドライブ３０４と、主メモリ３０６と、ストレージ３１０と、ネットワークコントローラ３２０と、ＵＳＢコントローラ３２４と、入力部３２６と、表示部３２８とを含む。これらのコンポーネントは、バス３０８を介して接続される。

プロセッサ３０２は、ストレージ３１０に格納された各種プログラムを読み出して、主メモリ３０６に展開して実行することで、端末３００で必要な処理を実現する。

ストレージ３１０は、例えば、ＨＤＤやＳＳＤなどで構成される。ストレージ３１０には、ＯＳ３１２と、アプリケーション３１１と、ＵＩ（User Interface）プログラム３１３とを格納する。ＵＩプログラム３１３は、アプリケーション３１１と協働して実行されることで、は、後述のＵＩツール３４０を提供する。ＵＩプログラム３１３は、ＰＬＣ１００によって収集された収集制御データ４００と、撮像装置４０によって収集された画像とを、個別に、または、両者を関連付けて、表示部３２８のディスプレイに表示するとともに、表示される制御データまたは画像に対するユーザ操作を受付ける。ＵＩプログラム３１３は、制御データを収集時間に従い波形データに変換して出力する波形変換プログラム３１４と、撮像装置４０によって収集された画像（静止画、動画）を再生する画像再生プログラム３１５と、表示されている制御データをユーザ操作に従い調整するデータ調整プログラム３１６と、表示されている画像をユーザ操作に従い調整する画像調整プログラム３１７と、ユーザ操作に基づく調整量を画像に反映するためのツールを提供する調整反映プログラム３１８を含む。

なお、ストレージ３１０には、図５に示すプログラム以外の必要なプログラムが格納されてもよい。

ネットワークコントローラ３２０は、情報系ネットワーク６を介した各ＰＬＣ１００およびサーバ２００などの機器とのデータのやり取りを制御する。

ＵＳＢコントローラ３２４は、ＵＳＢ接続を介した外部装置とのデータのやり取りを制御する。

入力部３２６は、マウス、キーボード、タッチパネルなどで構成され、ユーザからの指示を受け付ける。表示部３２８は、ディスプレイ、各種インジケータなどで構成され、プロセッサ３０２からの処理結果などを出力する。入力部３２６および表示部３２８は、ディスプレイ一体型のタッチスクリーンを構成してもよい。

端末３００は、光学ドライブ３０４を有していてもよい。光学ドライブ３０４は、コンピュータ読取可能なプログラムを非一過的に格納する記録媒体３０５（例えば、ＤＶＤ（Digital Versatile Disc）などの光学記録媒体）からプログラムを読み取って、ストレージ３１０などに格納する。

端末３００で実行される各種プログラムは、コンピュータ読取可能な記録媒体３０５を介してインストールされてもよいが、ネットワーク上の任意のサーバからダウンロードする形でインストールするようにしてもよい。

図６には、プロセッサ３０２がプログラムを実行することで必要な処理が提供される構成例を示したが、これらの提供される処理の一部または全部を、専用のハードウェア回路（例えば、ＡＳＩＣまたはＦＰＧＡなど）を用いて実装してもよい。

（ｂ４：撮像装置）
図７は、本実施の形態に係る撮像装置４０の構成の一例を模式的に示す図である。図７を参照して、撮像装置４０は、基本的な構成要素として、レンズを含む光学系４１、撮像素子４２、画像処理エンジン４４および画像メモリ４７を有するプロセッサ回路を構成するＤＳＰ（Digital Signal Processor）４３、および情報系ネットワーク６に接続する通信回路を含む通信Ｉ／Ｆ（Inter Face）４８を備える。撮像装置４０は、ＤＳＰ４３および通信Ｉ／Ｆ４８の処理系と、光学系４１と撮像素子４２の撮像系とを一体的に有するが、処理系は撮像系から分離して構成されてもよい。

撮像範囲にある被写体からの反射光は光学系４１のレンズを介して、撮像素子４２が有する、たとえばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの光電変換素子に入射し、イメージセンサによって画像信号に変換される。画像処理エンジン４４は、撮像素子４２から画像信号を入力し、画像信号をタイマ４５が出力する時間に基づき処理し、フレーム単位のデジタルデータの画像に変換する。例えば１秒間にＮ（Ｎ＞１）枚のフレーム画像に変換する。画像処理エンジン４４は、フレーム画像を、タイマ４５が計時する撮像時間と関連付けて静止画または動画として画像メモリ４７に格納する。画像メモリ４７は、画像処理エンジン４４と協働することで、画像をタイマ４５が計時する撮像時間と関連付けて収集する画像収集部４６を構成する。

通信Ｉ／Ｆ４８は、情報系ネットワーク６を介してＰＬＣ１００から転送された撮像開始指令１を受信し、受信した撮像開始指令１をＤＳＰ４３に出力する。ＤＳＰ４３は、撮像開始指令１に応答して、撮像系から出力される画像信号の画像処理を開始するとともに、応答２１を情報系ネットワーク６に送出するよう通信Ｉ／Ｆ４８を制御する。

例えば、本実施の形態では、撮像装置４０は、撮像開始指令１に応答して、撮像を開始し、撮像開始以後から予め定められた期間にわたり撮像する。この期間の長さは、設定可能である。撮像開始の以降に撮像されたフレーム単位の画像は、画像メモリ４７において、例えば静止画のファイル、または、動画のファイルとして格納される。

（ｂ５：ＵＩツールの構成）
図８は、本実施の形態に係るモニタ処理のために提供されるＵＩツール３４０のモジュール構成の一例を示す図である。ＵＩツール３４０は、端末３００のプロセッサ３０２がＵＩプログラム３１３を実行することで実現される。ＵＩツール３４０は、プロセッサ３０２が、波形変換プログラム３１４、画像再生プログラム３１５、データ調整プログラム３１６、画像調整プログラム３１７、および調整反映プログラム３１８を実行することにより実現される、波形表示モジュール３４１、画像再生モジュール３４２、データ調整モジュール３４３、画像調整モジュール３４４、および調整反映モジュール３４５をそれぞれ含む。

＜Ｃ．収集処理シーケンスの概要＞
図９は、本実施の形態に係る収集処理のシーケンスの一例を模式的に示す図である。図９のシーケンスは、制御データおよび撮像画像の収集に係るＰＬＣ１００と、撮像装置４０と、サーバ２００を含む装置間の通信と、各装置が実施する処理を含む。

ＰＬＣ１００は、予め定められたイベントを検出するかを判定する（ステップＳ０）。イベントが検出されたと判定されないとき（ステップＳ０でＮＯ）、ＰＬＣ１００はステップＳ０を繰り返すが、イベントが検出されたと判定すると（ステップＳ０でＹＥＳ）、撮像装置４０に撮像開始指令１を送信する（ステップＳ１）。

撮像装置４０は、ＰＬＣ１００から撮像開始指令１を受信すると（ステップＳ１ａ）、受信した撮像開始指令１に従い撮像を開始して画像処理を実施するとともに（ステップＳ５ａ）、撮像開始指令１に対する応答２１をＰＬＣ１００に送信する（ステップＳ２ａ）。

ＰＬＣ１００は、応答２１を受信する（ステップＳ２ｂ）。ＰＬＣ１００は、時間管理部１１９ａとして、撮像開始指令１を送信してから、撮像開始の応答２１を受信するまでの時間のずれである「遅れ」を、タイマ１２５を用いて検出し（ステップＳ３）、検出されたずれの時間を時間情報１１０として格納することにより管理する（ステップＳ４）。

撮像装置４０は、撮像開始指令１に応答して撮像を開始し、撮像開始以降に撮像時間が関連付けられて画像メモリ４７に収集された撮像画像をサーバ２００に送信する（ステップＳ５ｂ）。例えば、撮像画像は、ファイル単位でサーバ２００に転送されてもよい。ＰＬＣ１００も、また、収集時間が関連付けられた制御に関する収集制御データ４００をサーバ２００に送信する（ステップＳ６）とともに、ずれの時間情報１１０をサーバ２００に送信する（ステップＳ６ａ）。

サーバ２００は、ＰＬＣ１００から転送される収集時間が関連付けられた制御データと撮像装置４０から転送される撮像時間が関連付けられた画像とを受信する（ステップＳ１１、ステップＳ１２）。また、サーバ２００は、ＰＬＣ１００から転送される遅れの時間情報１１０を受信する（ステップＳ１３）。

サーバ２００は、ＤＢマネージャー２５１として、時系列ＤＢ２５０において、受信した制御データと撮像画像とについて、収集時間および撮像時間に基づき、制御データと撮像画像とを関連付けて格納する処理を実施する（ステップＳ１４）。また、サーバ２００は、ＤＢマネージャー２５１として、ＰＬＣ１００から受信した時間情報１１０を関連付情報に紐付ける（関連付ける）（ステップＳ１５）。より具体的には、サーバ２００は、時間情報１１０が有するイベントタイミングＳＴと略同時期を示す収集時間または撮像時間が関連付けられている、ステップＳ１４で取得した関連付情報に、当該時間情報１１０を紐付ける（関連付ける）（ステップＳ１５）。

これにより、サーバ２００の時系列ＤＢ２５０において、制御対象の制御に関連して収集される制御に関するデータと撮像装置４０の撮像画像とを、両者の時間的なずれを関連付けて管理できる。

＜Ｄ．時系列ＤＢの一例＞
図１０は、本実施の形態に係る時系列ＤＢ２５０の一例を模式的に示す図である。図１０を参照して、サーバ２００のプロセッサ２０２は、ＤＢマネージャー２５１として、ＰＬＣ１００から転送される制御に関するデータおよび撮像装置４０から転送された撮像画像を、時系列ＤＢ２５０に格納する。より具体的には、プロセッサ２０２は、イベント毎に、当該イベントについて収集された収集制御データ４００および画像メモリ４７において収集されたファイル単位の撮像画像を、それぞれ、収集制御データ４００および収集画像データ５００として格納する。

収集制御データ４００は、イベントが検出された時間を示すイベントタイミング４１０と、収集対象である１つ以上の制御指令または状態値を示す制御データの収集を開始した収集開始時間４１１と、時系列データ４２０とを含む。時系列データ４２０は、時系列のデータ４２１、４２２，・・・を含む。時系列のデータ４２１、４２２，・・・は、それそれ、制御データと関連付けされた収集時間とを含む。ＰＬＣ１００は、制御データを、制御周期に同期した周期で収集することで、収集時間は、制御周期に同期した周期に基づく時間を示す。収集画像データ５００は、撮像開始指令１を受信した時間を示す撮像タイミング５１０と、当該撮像開始指令１に応答して予め定められた期間にわたり撮像した時系列の画像データ５５０とを含む。画像データ５５０は、制御システム１ｂに設けられた撮像装置４０のそれぞれについてデータ５１５を含む。データ５１５は、対応の撮像装置４０の識別子５２０と、収集開始時間５２５と、時系列フレーム５３０と、ずれ５３５と、調整量５３６を含む。収集開始時間５２５は、当該撮像装置４０が撮像開始指令１に応答して撮像し撮像画像の収集を開始した時間を示す。時系列フレーム５３０は、収集開始時間５２５以降から、すなわち撮像開始の以降に撮像して得られたフレームの時系列の集合を示す。各フレームは、収集時間が関連付けされている。

ずれ５３５は、対応の撮像開始指令１について取得された時間情報１１０のずれＤＴがセットされる。より具体的には、プロセッサ２０２は、ＤＢマネージャー２５１として、ＰＬＣ１００から転送された時間情報１１０のイベントタイミングＳＴが示す時間とカメラＩＤとに基づき、収集画像データ５００から、当該時間およびカメラＩＤを示す撮像タイミング５１０および識別子５２０に対応したデータ５１５を検索する。プロセッサ２０２は、検索されたデータ５１５のずれ５３５に、当該時間情報１１０のずれＤＴをセットする。

これにより、サーバ２００は、データ収集部１１８ａが収集する収集時間が関連付けられた制御データと、画像収集部４６が収集する撮像時間が関連付けられた画像と、ずれＤＴ（ずれ５３５）を示す時間情報１１０とを互いに関連付けて管理することができる。

＜Ｅ．制御データと画像間のずれと表示の関係＞
本実施の形態では、撮像装置４０によって撮像された時系列フレーム５３０は、再生可能なように時系列ＤＢ２５０などの記憶装置に格納される。本実施の形態では、画像の「再生」とは、記憶装置に格納された画像データ（静止画データまたは動画データ）を読出し、読出された画像データに基づきディスプレイを駆動することを意味する。これにより、ディスプレイは、画像データに基づく画像を表示する。

図１１と図１２は、本実施の形態に係るずれと表示の関係を模式的に示す図である。図１１は、端末３００のプロセッサ３０２が、ＵＩツール３４０を介して表示部３２８に画面を表示するために、時系列ＤＢ２５０に基づき、サーバ２００と協働して作成するデータの一例を示す。より具体的には、データは、各イベントについて、ＰＬＣ１００が取得したデータ（イベントタイミング４１０と収集開始時間４１１）と、撮像装置４０のデータ（撮像装置４０－１および撮像装置４０－２のそれぞれについて、当該撮像装置の識別子５２０と、収集開始時間５２５と、ずれ５３５）を含む。図１１のデータは、２つのイベントタイミング４１０のそれぞれについて、時系列データ４２０の収集開始時間４１１と撮像装置４０－１と撮像装置４０－２による時系列フレーム５３０の収集開始時間５２５とずれ５３５とを有する。

ＵＩツール３４０によって、端末３００が、図１０のデータに従い、ＰＬＣ１００の時系列データ４２０の「データ１」と、撮像装置４０－１の時系列フレーム５３０に従う「動画１－１」と撮像装置４０－２の時系列フレーム５３０に従う「動画１－２」とを表示部３２８において再生する。ＰＬＣ１００は、例えば制御周期に従う周期に同期して、同じ動作を繰り返す機器、例えば産業用ロボットを制御対象とする。繰り返し動作は、例えば、産業用ロボットのアームがワークをピック＆プレースする動作を含み得るが、これに限定されない。「データ１」は、繰り返しのある回のピック＆プレース動作において収集される産業用ロボットのサーボモータの制御指令または状態値を示す。「動画１－１」および「動画１－１」は、当該回のピック＆プレース動作をする産業用ロボットを撮像した動画であって、異なるアングルから撮像した動画を示す。

図１１のデータは、さらに次回のピック＆プレース動作において収集される産業用ロボットのサーボモータの制御指令または状態値を示す「データ２」と、撮像された「動画２－１」および「動画２－２」とを含む。

図１２は、図１１に示す「データ１」と「動画１－１」および「動画１－２」との間のずれ５３５を示す。図１２を参照して、ＵＩツール３４０は同一時間軸において、表示部３２８に「データ１」と「動画１－１」および「動画１－２」を出力する場合、「データ１」を波形として出力開始する。「動画１－１」は当該波形の出力開始からずれ５３５が示す0.506秒後に再生が開始されて、「動画１－２」は当該波形の出力開始からずれ５３５が示す0.672秒後に再生が開始される。

例えば、ユーザ操作などによって「データ１」の収集開始後のある時間１３２が波形上のあるポイント（位置）が指定されたケースを説明する。プロセッサ３０２は、ＵＩツール３４０として、指定ポイントの時間１３２に基づき、当該指定ポイントに対応の制御データの収集時間を、収集開始から1.606秒と特定する。プロセッサ３０２は、「動画１－１」について、当該指定ポイントの画像を、ずれ５３５に基づき、時系列フレーム５３０から、撮像開始から1.1秒（すなわち1.606秒－0.506秒＝1.1秒）後のフレーム画像（例えば、静止画）と特定し再生する。また、プロセッサ３０２は、「動画１－２」について、当該指定ポイントの画像を、ずれ５３５に基づき、時系列フレーム５３０から、撮像開始から0.934秒（すなわち1.606秒－0.672秒＝0.934秒）後のフレーム画像と特定し再生する。

このように、「データ１」の波形の出力と並行して「動画１－１」および「動画１－２」を再生する場合、プロセッサ３０２は、ＵＩツール３４０として、「動画１－１」および「動画１－２」を、それぞれ、関連付けられたずれ５３５に基づき、時間的なずれが補正した上で、「データ１」の波形出力と同期して再生することができる。これを、本実施の形態では“同期再生”ともいう。

（ｅ１：表示と調整の一例）
図１３と図１４と図１５は、本実施の形態に係る表示の一例を模式的に示す図である。図１３は、表示部３２８における収集制御データ４００の例えば時系列の状態値を、波形で示す画面の一例である。図１３の画面は、「データ１」と「データ２」について、それぞれの波形を含む。図１３の画面の縦軸（Ｙ軸）は「データ１」と「データ２」の値を示し、横軸（Ｘ軸）は、時間を示す。図１３では、「データ１」と「データ２」の波形は時間軸（Ｘ軸）が延びる方向にずれている。ユーザは、ＵＩツール３４０を操作して、一方の波形を時間軸方向にスライドさせて、他方の波形に合わせるよう調整することができる。波形調整後の波形の表示の一例が図１５に示される。

図１３では、ＵＩツールによって、各波形について、関連付けられた「動画１－ｘ」または「動画２－ｘ」のユーザ操作を可能にするボタン１２ａ、１２ｂが表示される。ユーザは、「動画１－ｘ」のボタン１２ａを操作することで、当該ボタン１２ａに関連付けされた「動作１－１」と「動画１－２」を、ＵＩツール３４０を介して、再生させることができる。ユーザは、「動画２－ｘ」のボタン１２ｂを操作することで、当該ボタン１２ｂに関連付けされた「動作２－１」と「動画２－２」を、ＵＩツール３４０を介し、再生させることができる。

再生される「動画１－ｘ」の画面と、「動画２－ｘ」の画面の表示の一例が、図１４に示される。図１４では、タイトル１３１で示す「動画１－ｘ」と「動画２－ｘ」の計４個の動画を、１つの画面で同時に表示する態様が採用されるが、表示態様はこれに限定されず、各動画を切り替え表示してもよい。また、「動画１－ｘ」の動画が、図１３のボタン１２ａにサムネイルとして表示されてもよく、また、「動画２－ｘ」の動画が、図１３のボタン１２ｂにサムネイルとして表示されてもよい。また、ＵＩツール３４０によって、表示部３２８において、図１３の画面と図１４の画面がマルチウィンドウで表示されてもよい。

図１３と図１４の画面では、図１０および図１２で示したように、「データ１」の波形が出力開始されると、「動画１－１」は当該出力開始から0.506秒後に再生が開始されて、「動画１－２」は当該出力開始から0.672秒後に再生が開始される。

ＵＩツール３４０によって、図１３のボタン１２ａとボタン１２ｂは、それぞれ、「動画１－ｘ」と「動画２－ｘ」の再生速度に従ってＸ軸（時間軸）が延びる方向に自動的にスライド移動する。

また、ユーザは、図１３のボタン１２ａまたはボタン１２ｂを操作して手動でスライド移動させることもできる。この場合は、ユーザ操作に基づく移動方向に従い、ＵＩツール３４０によって画像は巻き戻しまたは早送り再生される。また、ユーザ操作に基づき、ボタンの１２ａ、１２ｂの移動速度に従い、ＵＩツール３４０に再生速度を変更させることができる。

図１５では、「データ１」と「データ２」の波形がずれているポイント１４ａが示される。ユーザは、ボタン１２ａ，１２ｂからＹ軸方向に延びるライン１２ｃを、波形上のポイント１４ｃの位置に到達するようにボタン１２ａ，１２ｂをスライド移動させる。ライン１２ｃがポイント１４ａの位置に到達すると、ＵＩツール３４０は、「動画１－ｘ」と「動画２－ｘ」は、当該ポイント１４ｃに対応の時間のフレームを、時系列フレーム５３０から検索することで特定し再生する。

（ｅ２：表示と調整の他の例）
図１６は、本実施の形態に係る表示の他の例を模式的に示す図である。ユーザは、ＵＩツール３４０を操作することにより、画像間の再生時間のずれを調整することができる。

図１６を参照して、プロセッサ３０２は、ＵＩツール３４０として、表示部３２８に「動画１－１」、「動画１－２」、「動画２－１」および「動画２－２」の４個の画像を同一画面に表示する。画面の各画像を表示するウィンドウには、画像を識別するタイトル１３１も表示され得る。

図１６の各ウィンドウの画像は、例えば時間１３２について、「データ１」の“再生同期”がされた「動画１－１」と「動画１－２」のフレーム画像（静止画）と、「データ２」の“再生同期”がされた「動画２－１」と「動画２－２」のフレーム画像（静止画）を示す。

ユーザは、時間１３２のタイミングで撮像された４個の再生画像から、これら画像の撮像タイミングが一致しているか、ずれているかを視覚的に判断できる。また、判断結果に基づき、ユーザは、画像をフレーム単位でコマ送りまたはコマ戻し再生を、ＵＩツール３４０に対して指示することができる。

例えば、ユーザは「動画２－２」のフレーム画像は、他の３個のフレーム画像とは撮像タイミングがずれていると判断するケースを説明する。ユーザは、「動画２－２」のウィンドウのエリア１５１ａのあたりを指定操作すると、ＵＩツール３４０は、当該指定操作を受付けて、当該指定操作に従ってエリア１５１ａに、ユーザ操作が可能なボタン１５１を表示する。ボタン１５１は、ウィンドウの画像をフレーム単位でコマ送り再生、または、コマ戻し再生するために、ユーザによって操作される。

ユーザは、ボタン１５１を操作すると、ＵＩツール３４０は、受付けた操作量に従って、「動画２－２」のウィンドウの画像を、フレーム単位でコマ送り再生、または、コマ戻し再生する。ユーザは、コマ送り、または、コマ戻しされる画像と、他のウィンドウの画像とを照合して、これら画像の撮像タイミングが一致したと判断したときは、ボタン１５１のコマ送り、またはコマ戻し操作を停止し、決定操作をする。ＵＩツール３４０は、ボタン１５１の決定操作を受付けると、「動画２－２」のウィンドウの画像のコマ送り、またはコマ戻しを停止する。

プロセッサ３０２は、ＵＩツール３４０として、コマ送り、またはコマ戻しのコマ操作量を格納してもよい。より具体的には、プロセッサ３０２は、ユーザのボタン１５１に対するコマ操作量を取得し、取得したコマ操作量を、時系列ＤＢ２５０の「データ２」に関連付けられた「動画２－２」のデータ５１５に関連付けて、調整量５３６として格納する。「データ２」に関連付けられた「動画１－ｘ」および「動画２－ｘ」の次回の再生時には、プロセッサ３０２は、ＵＩツール３４０として、関連付けられた調整量５３６を「動画２－２」のコマ送り、または、コマ戻し操作をサポートする情報として表示してもよい。プロセッサ３０２は、ＵＩツール３４０として、再生時にユーザ操作入力を受付けた時点、例えば時間１３２における画像データの再生位置を特定し、特定した再生位置を始点として、当該画像データの時系列フレーム５１５における特定区間を示す区間情報を調整量５３６として用いることができる。例えば、調整量５３６が示す区間情報は、始点からのコマ送りまたはコマ戻しのユーザ操作量に基づくフレーム数を含む。図１０では、時系列フレーム５１５は、それぞれ、区間情報Ｓ（１）および区間情報Ｓ（２）が関連付けされている。

このような画像間の撮像タイミングのずれの要因は、例えば撮像装置４０の画像処理に係る負荷のバラツキ、またはフレーム単位の画像処理に係る負荷のバラツキなどを含み得る。

＜Ｆ．モニタ処理＞
図１７は、本実施の形態に係るモニタ処理のフローチャートの一例を模式的に示す図である。図１７のフローチャートは、主に、プログラムとして格納されて、端末３００のプロセッサ３０２が当該プログラムを読出し、実行することで処理が実現される。本実施の形態に係るモニタ処理は、上記に説明した表示と調整に係る処理を含む。

図１７を参照して、プロセッサ３０２は、ＵＩツール３４０として、図１７の処理を実施する。まず、プロセッサ３０２は、波形表示モジュール３４１として、入力部３２６から受付けた端末３００に対するユーザ操作に基づき、制御データに基づく波形の画面、例えば図１３の画面を表示部３２８に表示させる（ステップＲ１、Ｒ２）。

プロセッサ３０２は、データ調整モジュール３４３として、ユーザ操作に基づき、図１３の画面に表示された波形を時間軸方向にスライド移動するなどして、調整し、例えば図１５の調整後の波形を、表示部３２８に表示させる（ステップＲ５）。

プロセッサ３０２は、ユーザ操作に基づき、「動画１－ｘ」または「動画２－ｘ」に対するユーザ操作を受付ける（ステップＲ７）。ユーザ操作によって指定される「動画１－ｘ」または「動画２－ｘ」は、ステップＲ３において操作対象とされた収集制御データ４００に関連付けられた収集画像データ５００に対応する。

プロセッサ３０２は、画像再生モジュール３４２として、「動画１－ｘ」または「動画２－ｘ」を再生し、例えば図１４の画面を表示部３２８に表示させる（ステップＲ９）。再生シーンでは、例えば図１５に示すように、プロセッサ３０２は、画像調整モジュール３４４として、各動画の時系列フレーム５３０を、当該動画に関連付けされたずれ５３５に基づき、“同期再生”を施して再生する（ステップＲ１１）。

プロセッサ３０２は、ユーザ操作に基づき、画像のコマ送り、またはコマ戻しの操作を受付けたかを判断する（ステップＲ１３）。プロセッサ３０２は、当該操作を受付けていないと判断すると（ステップＲ１３でＮＯ）、モニタ処理を終了するか否かを判断する（ステップＲ１９）。例えば、ユーザ操作に基づき、モニタ処理を終了すると判断したとき（ステップＲ１９でＹＥＳ）、プロセッサ３０２は、一連の処理を終了するが、モニタ処理は終了しないと判断すると（ステップＲ１９でＮＯ）、ステップＲ９に戻り、画像の再生を継続する。

プロセッサ３０２は、ユーザ操作に基づき、画像のコマ送り、またはコマ戻しの操作を受付けたと判断すると（ステップＲ１３でＹＥＳ）、プロセッサ３０２は、画像調整モジュール３４４として、図１６に示したように、ボタン１５１に対するコマ送り、または、コマ戻しのユーザ操作量に基づき、画像をフレーム単位でコマ送り、または、コマ戻しで再生する（ステップＲ１５）。

プロセッサ３０２は、調整反映モジュール３４５として、ステップＲ１５において操作された画像のデータ５１５に関連付けて、ステップＲ１５で取得されたコマ送り、またはコマ戻しの操作量を、図１０に示した調整量５３６として格納する（ステップＲ１７）。その後、ステップＲ１９に移行する。

実施の形態では、ユーザ操作量から１フレーム（コマ）単位で調整量５３６が取得されたが、調整量５３６は１フレーム単位に限定されない。１操作量で複数フレーム単位の調整を可能なように構成することもできる。また、フレーム単位に限定されず、ユーザ操作量から時間単位（例えば、０．１秒など）で調整量５３６を取得することもできる。

また、撮像装置４０の収集画像データ５００を再生するシーンでは、プロセッサ３０２は、画像調整モジュール３４４として、当該収集画像データ５００に関連付けられた調整量５３６が示す区間情報（図１０の区間情報Ｓ（１）または区間情報Ｓ（２））に基づき、当該区間に該当するフレームの再生速度（例えば、単位時間あたりの再生フレーム数）を調整する。この調整は、限定されないが、早送り、巻き戻し、飛ばし再生などを含む。これにより、プロセッサ３０２は、再生時に、撮像装置４０間の撮像タイミングのずれを上記の区間において補正し、それにより、撮像装置４０間で収集画像データ５００の再生タイミンを一致させて再生することができる。

＜Ｇ．変形例＞
上記の実施の形態では、収集制御データ４００と、これに関連付けされる収集画像データ５００とは、サーバ２００において管理されたが、管理する装置はサーバ２００に限定されず、ＰＬＣ１００であってもよい。ＰＬＣ１００は、収集制御データ４００と、これに関連付けされる収集画像データ５００とをストレージ１０９に格納する。

また、収集制御データ４００と、これに関連付けされる収集画像データ５００との間の時間的なずれ５３５は、ＰＬＣ１００の時間管理部１１９ａが撮像装置４０－１および撮像装置４０－２のそれぞれに撮像開始指令１を送信してから、撮像開始の応答２１を各撮像装置４０から受信するまでの時間として取得したが、ずれ５３５の取得方法は、このような通信時間から取得する方法に限定されない。

例えば、ＰＬＣ１００の時間管理部１１９ａは、ストレージ１０９に格納された収集制御データ４００の収集開始時間４１１と、収集画像データ５００の各データ５１５の収集開始時間５２５との時間差を算出することで、ずれ５３５を取得してもよい。また、時間管理部１１９ａの機能はサーバ２００において構成されてもよい。より具体的には、サーバ２００は、時系列ＤＢ２５０に格納された収集制御データ４００の収集開始時間４１１と、収集画像データ５００の各データ５１５の収集開始時間５２５との時間差を算出することで、ずれ５３５を取得してもよい。また、時間管理部１１９ａの機能は端末３００において構成されてもよい。より具体的には、端末３００は、ＵＩツール３４０として、モニタ処理の対象となるデータ、すなわちサーバ２００から提供される収集制御データ４００と、これに関連付けられた収集画像データ５００とについて、収集開始時間４１１と、各データ５１５の収集開始時間５２５との時間差を算出することで、ずれ５３５を取得してもよい。

また、ずれ５３５に関して、上記に述べた通信時間と、収集開始時間４１１収集開始時間５２５との時間差との両方を検出し、両者の代表値（例えば、平均）をずれ５３５に設定してもよい。

上記の実施の形態では、撮像開始指令１と応答２１は、情報系ネットワーク６上を転送されたが、転送経路は情報系ネットワーク６に限定されない。例えば、ＰＬＣ１００は撮像装置４０－１および撮像装置４０－２それぞれと、ワイヤまたはケーブルの信号線で直接に接続する、すなわちＰＬＣ１００は、他のデバイスを経由せずに信号線で各撮像装置４０を接続し、信号線を介して、撮像開始指令１と応答２１を通信する。この場合、上記の時間差にＰＬＣ１００と撮像装置４０との間の信号線上のトラフィックが影響することはない。したがって、時間的なずれ５３５は撮像装置４０における通信処理の負荷に依存することになる。

上記の実施の形態では、ＰＬＣ１００は、タイマ１２５が計時する時間を制御データの収集時間として当てる。ＰＬＣ１００は、タイマ１２５が、制御系ネットワーク４に属するフィールド機器１０が有する図示しないタイマと同じ時間を計時するように時刻同期する。フィールド機器１０は検出した状態値に検出時間を付してＰＬＣ１００に転送することができる。この場合、ＰＬＣ１００は、フィールド機器１０から収集する状態値に付された検出時間を、収集時間として利用できるから、ＰＬＣ１００は、フィールド機器１０から収集する制御データ（状態値）にタイマ１２５が示す収集時間を関連付ける処理を省略することができる。

また、ＰＬＣ１００は撮像装置４０と時刻同期して、タイマ１２５とタイマ４５が同じ時間を計時するように構成されてもよい。このようにＰＬＣ１００と撮像装置４０が時刻同期する場合、上記に述べた時間的なずれ５３５は、時刻同期のずれを含み得る。

また、ＰＬＣ１００は制御システム１ｂの他のＰＬＣ１００と時刻同期して、各ＰＬＣ１００のタイマ１２５が同じ時間を計時するように構成されてもよい。

＜Ｈ．付記＞
上述したような本実施の形態は、以下のような技術思想を含む。
［構成１］
制御システム（１ａ、１ｂ）であって、
制御対象（１０）を制御する制御部（１００）と、
前記制御対象を被写体として撮像可能な撮像範囲を有する撮像部（４０）とを備え、
前記制御部は、
イベントを検出すると前記撮像部に撮像開始指令（１）を送信する通信部（１１９）と、
制御に関する制御データを、収集時間と関連付けて収集するデータ収集部（１１８ａ）とを有し、
前記撮像部は、
前記制御部から転送された前記撮像開始指令に従い撮像を開始し、撮像された画像を撮像時間と関連付けて収集する画像収集部（４６）を、有し、
前記制御システムは、さらに、
前記データ収集部が収集する前記制御データと前記画像収集部が収集する前記画像との間の時間的なずれ（ＤＴ）を示す時間情報（１０）を管理する時間管理部（１１９ａ）を備える、制御システム。
［構成２］
前記時間的なずれは、
前記制御部が、前記撮像部に前記撮像開始指令を送信してから、撮像開始の応答を前記撮像部から受信するまでの時間を含む、構成１に記載の制御システム。
［構成３］
前記データ収集部が収集する前記収集時間が関連付けられた前記制御データと、前記画像収集部が収集する前記撮像時間が関連付けられた画像と、前記時間的なずれを示す時間情報とを互いに関連付けて管理する情報管理部（２００、２５０）をさらに備える、構成２に記載の制御システム。
［構成４］
前記制御部は、
前記情報管理部および前記撮像部が属するネットワーク（６）と接続する第１コネクタ（１２１）を有し、
前記ネットワークを介して前記撮像部と、前記撮像開始指令および前記応答を通信する、構成３に記載の制御システム。
［構成５］
前記制御部は、前記撮像部と信号線を介して、前記撮像開始指令および前記応答を通信する、構成３に記載の制御システム。
［構成６］
前記イベントを検出する毎に、前記時間的なずれを検出する、構成１～５のいずれか１に記載の制御システム。
［構成７］
前記データ収集部が収集した前記制御データに関連付けられた前記収集時間は収集開始時間（４１１）を含み、
前記画像収集部が収集した前記撮像された画像に関連付けられた前記撮像時間は撮像開始時間（５２５）を含み、
前記時間的なずれは、前記収集開始時間と前記撮像開始時間との時間差を含む、構成１～６のいずれか１に記載の制御システム。
［構成８］
前記イベントは、前記制御対象の制御に関する予め定められたイベントを含む、構成１から７のいずれか１に記載の制御システム。
［構成９］
前記制御部は、前記制御対象を周期的に制御し、
前記予め定められたイベントは、制御に関する予め定められた周期の経過を検出したことを含む、構成７に記載の制御システム。
［構成１０］
前記制御システムは、ＵＩ（ユーザインターフェイス）部（３４０）を、さらに備え、
前記制御部は、前記制御対象を周期的に制御し、
前記ＵＩ部は、
前記データ収集部によって収集された複数の前記制御データを、各前記複数の制御データに関連付けられた前記収集時間に基づき波形に変換し、変換後の波形を表示する波形表示部（３４１）と、
前記画像収集部によって収集された前記画像を、当該画像に関連付けられた前記撮像時間に従い再生する画像再生部（３４２）と、を有する、構成１から９のいずれか１に記載の制御システム。
［構成１１］
前記画像は、それぞれに前記撮像時間が関連付けられる複数のフレーム画像から構成される動画を含み、
前記ＵＩ部は、表示される前記波形の上のユーザ指定のポイントに対応の前記制御データに関連付けられた前記収集時間と、前記時間的なずれとから、当該ユーザ指定のポイントに対応の前記撮像時間が関連付けられた前記フレーム画像を、前記複数のフレーム画像から特定して再生する画像調整部（３４４）を有する、構成１０に記載の制御システム。
［構成１２］
前記撮像部は、
前記制御対象を被写体として撮像可能な撮像範囲を有し、当該制御対象の撮像方向が異なる複数の撮像部（４０－１、４０－２）を含み、
前記時間管理部は、
各前記複数の撮像部について、前記データ収集部が収集する前記制御データと当該撮像部が有する前記画像収集部が収集する前記画像との間の前記時間的なずれを示す時間情報を管理する、構成１１に記載の制御システム。
［構成１３］
前記画像調整部は、
前記各撮像部について、前記ユーザ指定のポイントに対応の前記制御データに関連付けられた前記収集時間と、当該撮像部の前記時間情報が示す前記時間的なずれとから、当該ユーザ指定のポイントに対応の前記撮像時間が関連付けられた前記フレーム画像を、当該撮像部が撮像した画像を構成する前記複数のフレーム画像から特定して再生する、構成１２に記載の制御システム。
［構成１４］
前記ＵＩ部は、
前記画像再生部によって再生中にユーザ操作を受付けたとき、当該受付け時点に対応する前記複数のフレーム画像における再生位置を特定し、特定された再生位置を始点とする前記画像に対するユーザ操作量に基づく所定区間の情報を当該画像に関連付けて格納する、構成１１から１３のいずれか１に記載の制御システム。
［構成１５］
前記画像調整部は、前記画像を再生する場合、当該画像に関連付けられた前記所定区間の情報に基づき、当該画像の再生速度を調整する、構成１１から１３のいずれか１に記載の制御システム。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１撮像開始指令、１ａ，１ｂ制御システム、２ＰＬＣシステム、４制御系ネットワーク、６情報系ネットワーク、８インターネット、１０フィールド機器、１２ａ，１２ｂ，１５１ボタン、１２ｃライン、１４リレー群、１４ａ，１４ｃポイント、１６サーボドライバ、１８サーボモータ、２０中継装置、２１応答、４０撮像装置、４１光学系、４２撮像素子、４３ＤＳＰ、４４画像処理エンジン、４５，１２５タイマ、４６画像収集部、４７画像メモリ、１０２，２０２，３０２プロセッサ、１０４チップセット、１０６，３０６主メモリ、１０９，２１０，３１０ストレージ、１１０時間情報、１１２ＩＯリフレッシュ領域、１１３システムプログラム、１１４ユーザプログラム、１１５制御プログラム、１１６通信プログラム、１１７ＩＯリフレッシュ、１１８収集プログラム、１１８ａデータ収集部、１１９カメラ通信プログラム、１１９ａ時間管理部、１２０情報系ネットワークコントローラ、１２１，１２３コネクタ、１２２制御系ネットワークコントローラ、１２４，２２０，３２４ＵＳＢコントローラ、１２６メモリカードインターフェイス、１２８メモリカード、１３１タイトル、１３２時間、１５１ａエリア、２００サーバ、２０４メインメモリ、２０６，３２６入力部、２０８出力部、２１１管理プログラム、２１４，３０５記録媒体、２１５，３０４光学ドライブ、２１８プロセッサバス、３４０ツール、２５１ＤＢマネージャー、３００端末、３０８バス、３１１アプリケーション、３１３ＵＩプログラム、３１４波形変換プログラム、３１５画像再生プログラム、３１６データ調整プログラム、３１７画像調整プログラム、３１８調整反映プログラム、３２０，４１３ネットワークコントローラ、３２８表示部、３４１波形表示モジュール、３４２画像再生モジュール、３４３データ調整モジュール、３４４画像調整モジュール、３４５調整反映モジュール、４００収集制御データ、４１０，ＳＴイベントタイミング、４１１，５２５収集開始時間、４２０時系列データ、５００収集画像データ、５１０撮像タイミング、５２０識別子、５３０時系列フレーム、５３５，ＤＴずれ、５３６調整量、５５０画像データ、２５０時系列ＤＢ、４８通信Ｉ／Ｆ、Ｒ１，Ｒ３，Ｒ５，Ｒ７，Ｒ９，Ｒ１１，Ｒ１３，Ｒ１５，Ｒ１７，Ｒ１９，Ｓ０，Ｓ１，Ｓ１ａ，Ｓ２ａ，Ｓ２ｂ，Ｓ３，Ｓ４，Ｓ５ａ，Ｓ５ｂ，Ｓ６，Ｓ６ａ，Ｓ１１，Ｓ１２，Ｓ１３，Ｓ１４，Ｓ１５ステップ。

Claims

制御システムであって、
制御対象を制御する制御部と、
前記制御対象を被写体として撮像可能な撮像範囲を有する撮像部とを備え、
前記制御部は、
イベントを検出すると前記撮像部に撮像開始指令を送信する通信部と、
制御に関する制御データを、収集時間と関連付けて収集するデータ収集部とを有し、
前記撮像部は、
前記制御部から転送された前記撮像開始指令に従い撮像を開始し、撮像された画像を撮像時間と関連付けて収集する画像収集部を、有し、
前記制御システムは、さらに、
前記データ収集部が収集する前記制御データと前記画像収集部が収集する前記画像との間の時間的なずれを示す時間情報を管理する時間管理部を備え、
前記時間的なずれは、
前記制御部が、前記撮像部に前記撮像開始指令を送信してから、撮像開始の応答を前記撮像部から受信するまでの時間を含む、制御システム。
前記データ収集部が収集する前記収集時間が関連付けられた前記制御データと、前記画像収集部が収集する前記撮像時間が関連付けられた画像と、前記時間的なずれを示す時間情報とを互いに関連付けて管理する情報管理部をさらに備える、請求項１に記載の制御システム。
前記制御部は、
前記情報管理部および前記撮像部が属するネットワークと接続する第１コネクタを有し、
前記ネットワークを介して前記撮像部と、前記撮像開始指令および前記応答を通信する、請求項２に記載の制御システム。
前記制御部は、前記撮像部と信号線を介して、前記撮像開始指令および前記応答を通信する、請求項２に記載の制御システム。
前記イベントを検出する毎に、前記時間的なずれを検出する、請求項１～４のいずれか１項に記載の制御システム。
前記データ収集部が収集した前記制御データに関連付けられた前記収集時間は収集開始時間を含み、
前記画像収集部が収集した前記撮像された画像に関連付けられた前記撮像時間は撮像開始時間を含み、
前記時間的なずれは、前記収集開始時間と前記撮像開始時間との時間差を含む、請求項１から５のいずれか１項に記載の制御システム。
前記イベントは、前記制御対象の制御に関する予め定められたイベントを含む、請求項１から６のいずれか１項に記載の制御システム。
前記制御部は、前記制御対象を周期的に制御し、
前記予め定められたイベントは、制御に関する予め定められた周期の経過を検出したことを含む、請求項７に記載の制御システム。
前記制御システムは、ＵＩ（ユーザインターフェイス）部を、さらに備え、
前記制御部は、前記制御対象を周期的に制御し、
前記ＵＩ部は、
前記データ収集部によって収集された複数の前記制御データを、各前記複数の制御データに関連付けられた前記収集時間に基づき波形に変換し、変換後の波形を表示する波形表示部と、
前記画像収集部によって収集された前記画像を、当該画像に関連付けられた前記撮像時間に従い再生する画像再生部と、を有する、請求項１から８のいずれか１項に記載の制御システム。
前記画像は、それぞれに前記撮像時間が関連付けられる複数のフレーム画像から構成される動画を含み、
前記ＵＩ部は、表示される前記波形の上のユーザ指定のポイントに対応の前記制御データに関連付けられた前記収集時間と、前記時間的なずれとから、当該ユーザ指定のポイントに対応の前記撮像時間が関連付けられた前記フレーム画像を、前記複数のフレーム画像から特定して再生する画像調整部を有する、請求項９に記載の制御システム。
前記撮像部は、
前記制御対象を被写体として撮像可能な撮像範囲を有し、当該制御対象の撮像方向が異なる複数の撮像部を含み、
前記時間管理部は、
各前記複数の撮像部について、前記データ収集部が収集する前記制御データと当該撮像部が有する前記画像収集部が収集する前記画像との間の前記時間的なずれを示す時間情報を管理する、請求項１０に記載の制御システム。
前記画像調整部は、
前記各撮像部について、前記ユーザ指定のポイントに対応の前記制御データに関連付けられた前記収集時間と、当該撮像部の前記時間情報が示す前記時間的なずれとから、当該ユーザ指定のポイントに対応の前記撮像時間が関連付けられた前記フレーム画像を、当該撮像部が撮像した画像を構成する前記複数のフレーム画像から特定して再生する、請求項１１に記載の制御システム。
前記ＵＩ部は、
前記画像再生部によって再生中にユーザ操作を受付けたとき、当該受付け時点に対応する前記複数のフレーム画像における再生位置を特定し、特定された再生位置を始点とする前記画像に対するユーザ操作量に基づく所定区間の情報を当該画像に関連付けて格納する、請求項１０から１２のいずれか１項に記載の制御システム。
前記画像調整部は、前記画像を再生する場合、当該画像に関連付けられた前記所定区間の情報に基づき、当該画像の再生速度を調整する、請求項１３に記載の制御システム。