JP2013513328A

JP2013513328A - 映像信号とセンサー信号の同期化システム及び方法

Info

Publication number: JP2013513328A
Application number: JP2012543019A
Authority: JP
Inventors: チョイ、ソンファン
Original assignee: アールディ−テックシーオーエルティディ
Priority date: 2009-12-08
Filing date: 2010-12-03
Publication date: 2013-04-18
Also published as: WO2011071277A3; KR20110064377A; US20120274793A1; WO2011071277A2; CN102652288A; CN102652288B; KR101121153B1

Abstract

本発明は、カメラから入力される映像信号と、それぞれの映像信号に対応するセンサー信号に対して、それぞれのセンサーモジュールとカメラ装置に同期用時計が内蔵されており、同期化装置でそれぞれの装置に同期信号を伝送して同期用時計を同期化させた後、それぞれのセンサーモジュールとカメラ装置で獲得した信号に取得時間を付加し、中央制御装置及びコンピューター装置に伝送して映像信号とセンサー信号の同期化を行うことができる映像信号とセンサー信号の同期化システム及び方法に関する。本発明による映像信号とセンサー信号の同期化システムは、第１同期用時計が内蔵されており、被写体を撮影して映像信号を獲得し、前記獲得した映像信号に前記第１同期用時計による取得時間情報を付加して出力するカメラ装置と、第２同期用時計が内蔵されており、前記映像信号に対応したセンサー信号をセンシング動作によって生成し、前記生成されたセンサー信号に前記第２同期用時計による取得時間情報を付加して出力するセンサー装置と、前記センサー装置から前記取得時間情報の付加されたセンサー信号を受信してコンピューター装置に伝送するように制御する中央制御装置と、基準時計を内蔵し、前記第１同期用時計と前記第２同期用時計の同期のための基準時間を所定の間隔で前記カメラ装置及び前記センサー装置に同時に伝送する同期化装置と、前記中央制御装置から前記取得時間情報の付加されたセンサー信号を受信し、前記カメラ装置から前記取得時間情報の付加された映像信号を受信してそれぞれの信号の取得時間情報を確認し、それぞれの信号を同じ時間帯に再構成して前記映像信号と前記センサー信号を同期化するコンピューター装置と、を備える。本発明によれば、周辺環境によって収集された映像信号及びセンサー信号の同期性を確保することができる。また、多チャンネルであり、高速である映像信号とそれに対応したセンサー信号の同期化を通じてユーザーに向上したサービスを提供することができる。さらに、映像信号及びセンサー信号を獲得して有線または無線で伝送する通信手段に関係なく、両信号の同期化を容易に具現することができ、それにより、映像信号とセンサー信号を正確かつ便利に分析することができる。
【選択図】図１

Description

本発明は、有無線環境で多チャンネル映像信号とセンサー信号の分析の際に、映像信号とセンサー信号を同期化するシステム及び方法に係り、さらに詳細には、カメラから入力される映像信号と、それぞれの映像信号に対応するセンサー信号に対して、それぞれのセンサーモジュールとカメラ装置に同期用時計が内蔵されており、同期化装置でそれぞれの装置に同期信号を伝送して同期用時計を同期化させた後、それぞれのセンサーモジュールとカメラ装置で獲得した信号に取得時間を付加し、中央制御装置及びコンピューター装置に伝送して映像信号とセンサー信号の同期化を行うことができる映像信号とセンサー信号の同期化システム及び方法に関する。

最近、被写体を撮影して映像信号を獲得するカメラを、ユーザーが携帯する携帯電話やノート・パソコンに採用して使用している。また、カメラによって獲得した映像信号を、例えば、洋弓分析器のようなゲーム機などに活用する装置が登場している。

ゲーム装置などには、周辺の状況をセンシングする、例えば、風向きや風速をセンシングするか、または張力、勾配、温度、圧力などをセンシングするセンサーが備えられている。

ところが、カメラから獲得した映像信号とセンサーを通じてセンシングしたセンサー信号とをマッチしてユーザーに提供すべき場合に、サービスの品質のためには両信号の同期化が非常に重要である。

しかし、最小２チャンネル以上の多チャンネルであり、高速であり、さらに無線通信で映像信号やセンサー信号を伝送すべき場合に、周辺環境によって収集された個別信号の同期性を確保することが非常に難しいという問題点がある。

前述の問題点を解決するための本発明の目的は、カメラから入力される映像信号と、それぞれの映像信号に対応するセンサー信号に対して、それぞれのセンサーモジュールとカメラ装置に同期用時計が内蔵されており、同期化装置でそれぞれの装置に同期信号を伝送して同期用時計を同期化させた後、それぞれのセンサーモジュールとカメラ装置で獲得した信号に取得時間を付加し、中央制御装置及びコンピューター装置に伝送して映像信号とセンサー信号の同期化を行うことができる映像信号とセンサー信号の同期化システム及び方法、カメラ装置、同期化装置及びその映像信号とセンサー信号の同期化方法、及びコンピューター装置及びその映像信号とセンサー信号の同期化方法を提供するところにある。

前述の目的を達成するための本発明による映像信号とセンサー信号の同期化システムは、第１同期用時計が内蔵されており、被写体を撮影して映像信号を獲得し、前記獲得した映像信号に前記第１同期用時計による取得時間情報を付加して出力するカメラ装置と、第２同期用時計が内蔵されており、前記映像信号に対応したセンサー信号をセンシング動作によって生成し、前記生成されたセンサー信号に前記第２同期用時計による取得時間情報を付加して出力するセンサー装置と、前記センサー装置から前記取得時間情報の付加されたセンサー信号を受信してコンピューター装置に伝送するように制御する中央制御装置と、基準時計を内蔵し、前記第１同期用時計と前記第２同期用時計の同期のための基準時間を所定の間隔で前記カメラ装置及び前記センサー装置に同時に伝送する同期化装置と、前記中央制御装置から前記取得時間情報の付加されたセンサー信号を受信し、前記カメラ装置から前記取得時間情報の付加された映像信号を受信してそれぞれの信号の取得時間情報を確認し、それぞれの信号を同じ時間帯に再構成して前記映像信号と前記センサー信号を同期化するコンピューター装置と、を備える。

また、前記カメラ装置は、前記同期化装置から受信した基準時間に基づいて前記第１同期用時計を同期化した後、前記撮影して獲得した映像信号に前記第１同期用時計による取得時間情報を付加して前記コンピューター装置に伝送する。

また、前記センサー装置は、前記同期化装置から受信した基準時間に基づいて前記第２同期用時計を同期化した後、前記センシング動作によって生成された前記センサー信号に前記第２同期用時計による取得時間情報を付加して前記中央制御装置に伝送する。

また、前記センサー装置は、前記同期化装置から受信した前記基準時間を前記第２同期用時計の時間と比較して誤差だけ補正し、補正された時間に基づいて前記センサー信号に取得時間情報を付加して前記中央制御装置に伝送する。

また、前記カメラ装置と前記センサー装置は、前記同期化装置から受信した前記基準時間を前記第１同期用時計の時間及び前記第２同期用時計の時間と比較して時間誤差を獲得し、前記獲得した時間誤差をそれぞれ前記コンピューター装置に伝送し、前記コンピューター装置は、前記映像信号及び前記センサー信号に対して前記時間誤差だけ時間軸で補正する。

また、前記同期化装置は、前記センサー装置に現在時間情報を要請して獲得し、前記獲得した現在時間情報を前記基準時間情報と比較して誤差範囲を確認し、校正が必要な場合は、時間情報及び時間校正命令を前記センサー装置に伝送する。

そして、前記センサー装置は、前記時間校正命令を受信すれば、前記時間情報に基づいて校正を行い、第二のクロックで前記同期化装置から受信したクロックで同期化を行い、校正完了命令を前記同期化装置に伝送する。

一方、前述の目的を達成するための本発明による同期化装置は、カメラ装置、センサー装置、中央制御装置及びコンピューター装置と通信するための通信部と、前記カメラ装置、センサー装置、中央制御装置及びコンピューター装置に同期化のための基準時間情報を伝送するために周波数信号を生成する周波数生成部（Ｏｓｃｉｌｌａｔｏｒ）と、前記生成された周波数信号をクロック信号として生成する同期化クロック部と、前記生成されたクロック信号を前記基準時間情報として生成する基準時間モジュール部（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ：ＦＰＧＡ）と、前記基準時間モジュール部にリアルタイムクロック（ＲｅａｌＴｉｍｅＣｌｏｃｋ：ＲＴＣ）を提供するリアルタイムクロック部と、前記周波数生成部、前記同期化クロック部及び前記基準時間モジュール部を制御して前記基準時間情報を生成し、前記生成された基準時間情報が前記カメラ装置、センサー装置、中央制御装置及びコンピューター装置に伝送されるように制御する制御部と、を備える。

また、前記制御部は、前記センサー装置に現在時間情報を要請して獲得し、前記獲得した現在時間情報を前記基準時間情報と比較して誤差範囲を確認し、校正が必要な場合は、現在時間情報及び時間校正命令を前記センサー装置に伝送する。

そして、前記カメラ装置、センサー装置、中央制御装置及びコンピューター装置から入力されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換部（ＡｎａｌｏｇｔｏＤｉｇｉｔａｌＣｏｎｖｅｒｔｅｒ）と、前記デジタル信号を出力するための出力部と、前記基準時間情報の生成動作、前記現在時間情報及び前記時間校正命令に関する伝送動作などを表示するためのディスプレイ部と、をさらに備える。

一方、前述の目的を達成するための本発明によるセンサー装置は、勾配、張力、重量などをセンシングしたセンサー信号を生成するセンサーと、アナログ型の前記センサー信号をデジタル型のセンサーデータに変換する信号変換部と、前記センサーデータを同期化装置及び中央制御装置に伝送するための通信部と、前記同期化装置から提供された基準時間で同期化するための同期用時計部と、前記センサーデータを保存するためのメモリ部と、前記センサーデータが前記中央制御装置に伝送されるように制御し、前記同期化装置から前記基準時間を受信して同期化した後、前記センサーデータを取得した取得時間情報を前記センサーデータとともに前記中央制御装置に伝送する制御部と、周波数信号を生成して前記制御部に提供する周波数生成部と、前記制御部にリアルタイムクロックを提供するリアルタイム（ＲＴＣ）モジュール部と、を備える。

一方、前述の目的を達成するための本発明によるカメラ装置は、被写体を撮影して映像信号を獲得する撮影部と、前記映像信号をコンピューター装置または中央制御装置に伝送し、同期化装置と通信するための通信部と、前記同期化装置から提供された基準時間で同期化され、前記映像信号を取得した時間を提供するための同期用時計部と、を備える。

一方、前述の目的を達成するための本発明による映像信号とセンサー信号の同期化方法は、カメラ装置、センサー装置、中央制御装置、同期化装置及びコンピューター装置を備えるシステムの映像信号とセンサー信号の同期化方法であって、（ａ）前記同期化装置が同期化時間情報を前記カメラ装置及び前記センサー装置に伝送するステップと、（ｂ）前記カメラ装置及び前記センサー装置が前記同期化時間情報に基づいてそれぞれに内蔵された同期用時計を同期させるステップと、（ｃ）前記カメラ装置及び前記センサー装置が映像信号及びセンサー信号をそれぞれ獲得し、取得時間情報を付加して前記中央制御装置または前記コンピューター装置に伝送するステップと、（ｄ）前記コンピューター装置が前記取得時間情報に基づいて前記映像信号と前記センサー信号の同期化を行うステップと、を含む。

また、前記ステップ（ｃ）は、前記中央制御装置は、前記取得時間情報の付加された前記センサー信号を前記コンピューター装置に伝送する。

そして、前記ステップ（ｄ）は、前記コンピューター装置が、前記カメラ装置及び前記センサー装置の取得時間情報を比較して時間誤差を計算し、前記映像信号と前記センサー信号に対して時間軸で時間誤差だけ補正して前記映像信号と前記センサー信号を同期化する。

一方、前述の目的を達成するための本発明による同期化装置の映像信号とセンサー信号を同期化する方法は、カメラ装置、センサー装置、中央制御装置及びコンピューター装置を備える装置と有線または無線で通信する同期化装置の映像信号とセンサー信号を同期化する方法であって、（ａ）前記装置に現在時間情報を要請して現在時間情報を受信するステップと、（ｂ）前記現在時間情報を基準時間情報と比較して誤差情報を獲得するステップと、（ｃ）前記誤差情報を補正する時間情報を生成し、前記装置に前記時間情報及び時間校正命令を伝送するステップと、（ｄ）前記装置から前記時間情報による時間校正で同期化が完了したことを知らせる同期完了命令を受信するステップと、を含む。

一方、前述の目的を達成するための本発明によるコンピューター装置の映像信号とセンサー信号を同期化する方法は、カメラ装置、センサー装置、中央制御装置及び同期化装置と有線または無線で通信するコンピューター装置の映像信号とセンサー信号を同期化する方法であって、（ａ）前記同期化装置から基準時間情報を受信して、内蔵された同期用時計を同期させるステップと、（ｂ）前記カメラ装置から取得時間情報を含む映像信号を受信し、前記中央制御装置から前記センサー装置によって獲得されて、取得時間情報を含むセンサー信号を受信するステップと、（ｃ）前記取得時間情報に基づいて前記映像信号と前記センサー信号を同期化するステップと、を含む。

そして、前記ステップ（ｃ）は、前記カメラ装置及び前記センサー装置の取得時間情報を比較して時間誤差を計算し、前記映像信号と前記センサー信号に対して時間軸で前記時間誤差だけ補正して前記映像信号と前記センサー信号を同期化する。

本発明によれば、周辺環境によって収集された映像信号及びセンサー信号の同期性を確保することができる。

また、多チャンネルであり、高速である映像信号とそれに対応したセンサー信号の同期化を通じてユーザーに向上したサービスを提供することができる。

さらに、映像信号及びセンサー信号を獲得して有線または無線で伝送する通信手段に関係なく、両信号の同期化を容易に具現することができ、それにより、映像信号とセンサー信号を正確かつ便利に分析することができる。

本発明の実施形態による映像信号とセンサー信号の同期化システムの構成を概略的に示す構成図であり、本発明の実施形態による同期化装置の内部構成を概略的に示す構成図であり、本発明の実施形態によるセンサー装置の内部構成を概略的に示す構成図であり、本発明の実施形態によるカメラ装置の内部構成を概略的に示す構成図であり、本発明の実施形態による映像信号とセンサー信号の同期化方法を説明するための全体フローチャートであり、本発明の実施形態による同期化装置の映像信号とセンサー信号を同期化する方法を説明するための動作フローチャートであり、本発明の実施形態による同期化過程及びタイミング図を示し、本発明の実施形態によるコンピューター装置の映像信号とセンサー信号を同期化する方法を説明するための動作フローチャートである。

本発明の目的、技術的構成及びそれによる作用効果に関する詳細な事項は、本発明の明細書に添付された図面に基づく、以下の詳細な説明によってさらに明確に理解できるであろう。以下、添付図面を参照して本発明による実施形態を詳細に説明する。

図１は、本発明の実施形態による映像信号とセンサー信号の同期化システムの構成を概略的に示す構成図である。

図１に示すように、本発明による映像信号とセンサー信号の同期化システム１００は、カメラ装置１１０、同期化装置１２０、複数のセンサー装置１３０ないし１３４、中央制御装置１４０及びコンピューター装置１５０を備える。

カメラ装置１１０は、第１同期用時計が内蔵されており、被写体を撮影して映像信号を獲得し、獲得した映像信号に第１同期用時計による取得時間情報を付加してコンピューター装置１５０に出力及び伝送する。

同期化装置１２０は基準時計を内蔵し、カメラ装置１１０、センサー装置１３０ないし１３４及び中央制御装置１４０の同期のための基準時間を所定の間隔でカメラ装置１１０、センサー装置１３０ないし１３４及び中央制御装置１４０に同時に伝送する。

複数のセンサー装置１３０ないし１３４は、第２同期用時計が内蔵されており、映像信号に対応したセンサー信号をセンシング動作によって生成し、生成されたセンサー信号に第２同期用時計による取得時間情報を付加して中央制御装置１４０に出力及び伝送する。

ここで、複数のセンサー装置１３０ないし１３４は、例えば、矢の勾配や張力などをセンシングする洋弓分析器、ユーザーの足動作を前後左右にセンシングする足動作分析器（Ｘ−ｂａｌａｎｃｅ）、周辺の風向きや風速をセンシングする気候分析器などであってもよい。このとき、洋弓分析器の場合、張力や勾配などがセンサー信号になり、足動作分析器の場合、前、後、左、右などがセンサー信号になり、気候分析器の場合、風向きや風速などがセンサー信号になり得る。その他、センサーのセンシング特性によって温度、圧力などをセンサー信号とすることができる。

中央制御装置１４０は、センサー装置１３０ないし１３４から取得時間情報の付加されたセンサー信号を受信してコンピューター装置１５０に伝送するように制御する。

コンピューター装置１５０は、中央制御装置１４０から取得時間情報の付加されたセンサー信号を受信し、カメラ装置１１０から取得時間情報の付加された映像信号を受信してそれぞれの信号の取得時間情報を確認し、それぞれの信号を同じ時間帯に再構成して映像信号とセンサー信号を同期化する。ここで、コンピューター装置は、デスクトップ型のＰＣであってもよく、移動可能なノート・パソコン型のＰＣであってもよい。

また、カメラ装置１１０は、同期化装置１２０から受信した基準時間に基づいて第１同期用時計を同期化した後、撮影して獲得した映像信号に第１同期用時計による取得時間情報を付加してコンピューター装置１５０に伝送する。

また、センサー装置１３０ないし１３４は、同期化装置１２０から受信した基準時間に基づいて第２同期用時計を同期化した後、センシング動作によって生成されたセンサー信号に第２同期用時計による取得時間情報を付加して中央制御装置１４０に伝送する。

また、センサー装置１３０ないし１３４は、同期化装置１２０から受信した基準時間を第２同期用時計の時間と比較して誤差だけ補正し、補正された時間に基づいてセンサー信号に取得時間情報を付加して中央制御装置１４０に伝送する。

また、カメラ装置１１０及びセンサー装置１３０ないし１３４は、同期化装置１２０から受信した基準時間を第１同期用時計の時間及び第２同期用時計の時間と比較して時間誤差を獲得し、獲得した時間誤差をそれぞれのコンピューター装置１５０に伝送し、コンピューター装置１５０は、映像信号及びセンサー信号に対して時間誤差だけ時間軸で補正する。

また、同期化装置１２０は、センサー装置１３０ないし１３４に現在時間情報を要請して獲得し、獲得した現在時間情報を基準時間情報と比較して誤差範囲を確認し、校正が必要な場合は、時間情報及び時間校正命令をセンサー装置１３０ないし１３４に伝送する。

そして、センサー装置１３０ないし１３４は、時間校正命令を受信すれば、受信した時間情報に基づいて校正を行い、第二のクロックで同期化装置１２０から受信したクロックで同期化を行い、同期（校正）完了命令を同期化装置１２０に伝送する。

図２は、本発明の実施形態による同期化装置の内部構成を概略的に示す構成図である。

図２に示すように、本発明による同期化装置１２０は、通信部２１０、周波数生成部２２０、同期化クロック部２３０、基準時間モジュール部２４０、リアルタイムクロック部２５０、制御部２６０、Ａ／Ｄ変換部２７０、出力部２８０及びディスプレイ部２９０を備える。

通信部２１０は、カメラ装置１１０、センサー装置１３０ないし１３４、中央制御装置１４０及びコンピューター装置１５０と通信する。

周波数生成部２２０は、カメラ装置１１０、センサー装置１３０ないし１３４、中央制御装置１４０及びコンピューター装置１５０に同期化のための基準時間情報を伝送するために周波数信号を生成する。

同期化クロック部２３０は、周波数生成部２２０によって生成された周波数信号をクロック信号として生成する。

基準時間モジュール部２４０は、生成されたクロック信号を基準時間情報として生成する。

リアルタイムクロック部２５０は、基準時間モジュール部２４０にリアルタイムクロックを提供する。

制御部２６０は、周波数生成部２２０、同期化クロック部２３０及び基準時間モジュール部２４０を制御して基準時間情報を生成し、生成された基準時間情報がカメラ装置１１０、センサー装置１３０ないし１３４、中央制御装置１４０及びコンピューター装置１５０に伝送されるように制御する。

また、制御部２６０は、センサー装置１３０ないし１３４に現在時間情報を要請して獲得し、獲得した現在時間情報を基準時間情報と比較して誤差範囲を確認し、校正が必要な場合は、時間情報と時間校正命令をセンサー装置１３０ないし１３４に伝送する。

Ａ／Ｄ変換部２７０は、カメラ装置１１０、センサー装置１３０ないし１３４、中央制御装置１４０及びコンピューター装置１５０から入力されたアナログ信号をデジタル信号に変換する。

出力部２８０は、デジタル信号をポートを介して外部に出力する。

ディスプレイ部２９０は、基準時間情報の生成動作、現在時間情報及び時間校正命令に関する伝送動作などを表示する。

図３は、本発明の実施形態によるセンサー装置の内部構成を概略的に示す構成図である。

図３に示すように、本発明によるセンサー装置１３０は、通信部３１０、センサー３２０、信号変換部３３０、同期用時計部３４０、メモリ部３５０、制御部３６０、周波数生成部３７０及びリアルタイムクロック部３８０を備える。

通信部３１０は、センサーデータを同期化装置１２０及び中央制御装置１４０に伝送する。

センサー３２０は、勾配、張力、重量などをセンシングしたセンサー信号を生成する。

信号変換部３３０は、アナログ型のセンサー信号をデジタル型のセンサーデータに変換する。

同期用時計部３４０は、同期化装置１２０から提供された基準時間で同期化する。

メモリ部３５０はセンサーデータを保存する。

制御部３６０は、センサーデータが中央制御装置１４０に伝送されるように制御し、同期化装置１２０から基準時間を受信して同期化した後、センサーデータを取得した取得時間情報をセンサーデータとともに中央制御装置１４０に伝送するように制御する。

周波数生成部３７０は、周波数信号を生成して制御部４６０に提供する。

リアルタイムクロック部３８０は、制御部４６０にリアルタイムクロックを提供する。

図４は、本発明の実施形態によるカメラ装置の内部構成を概略的に示す構成図である。

図４に示すように、本発明によるカメラ装置１１０は、撮影部４１０、同期用時計部４２０及び通信部４３０を備える。

撮影部４１０は、被写体を撮影して映像信号を獲得する。

同期用時計部４２０は、同期化装置１２０から提供された基準時間で同期化され、同期化された時間に基づいて映像信号を取得した時間を提供する。

通信部４３０は、映像信号をコンピューター装置１５０または中央制御装置１４０に伝送し、同期化装置１２０と有線または無線で通信する。

図５は、本発明の実施形態による映像信号とセンサー信号の同期化方法を説明するための全体フローチャートである。

図５に示すように、まず、同期化装置１２０は、同期化時間情報をカメラ装置１１０及びセンサー装置１３０ないし１３４に伝送する（Ｓ５１０）。

したがって、カメラ装置１１０及びセンサー装置１３０ないし１３４が同期化時間情報に基づいてそれぞれに内蔵された同期用時計を同期させる（Ｓ５２０）。

次いで、カメラ装置１１０及びセンサー装置１３０ないし１３４が映像信号及びセンサー信号をそれぞれ獲得し、取得時間情報を付加して中央制御装置１４０またはコンピューター装置１５０に伝送する（Ｓ５３０）。

ここで、映像信号は一般的に大容量であるため、中央制御装置１４０を経由せずに、取得時間情報が付加されたままの状態で直ぐにコンピューター装置１５０に伝送される。

このとき、センサー装置１３０ないし１３４は、取得時間情報の付加されたセンサー信号を中央制御装置１４０に伝送し、中央制御装置１４０は、取得時間情報の付加されたセンサー信号をコンピューター装置１５０に伝送する。

したがって、コンピューター装置１５０は、取得時間情報に基づいて映像信号とセンサー信号の同期化を行う（Ｓ５４０）。

このとき、コンピューター装置１５０は、カメラ装置１１０及びセンサー装置１３０ないし１３４の取得時間情報を比較して時間誤差を計算し、映像信号とセンサー信号に対して時間軸で時間誤差だけ補正して映像信号とセンサー信号を同期化する。

図６は、本発明の実施形態による同期化装置の映像信号とセンサー信号を同期化する方法を説明するための動作フローチャートである。

図６に示すように、本発明による同期化装置１２０は、システムが初期化された状態で基準時間モジュール部２４０を介して基準時間情報を獲得する（Ｓ６０２）。

次いで、同期化装置１２０は、カメラ装置１１０、センサー装置１３０ないし１３４及び中央制御装置１４０などを備える装置に、図７に示すように、現在時間情報を要請して現在時間情報を受信する（Ｓ６０４）。図７は、本発明の実施形態による同期化過程及びタイミング図を示す。図７で、△Ｔ１は校正以前の同期化装置１２０とセンサー装置１３０ないし１３４間の誤差時間を示し、△ｔ１はシリアル通信による時間情報送信遅延時間を示し、△ｔ２はセンサー装置１３０ないし１３４で現在時間情報を送信した時間を示し、△ｔ３は同期化装置１２０で誤差時間を確認し、設定時間と命令伝達遅延時間を示し、△ｔ４は同期化装置１２０から時間情報を受信して校正を待機する時間を示す。

次いで、同期化装置１２０は、受信した現在時間情報を基準時間情報と比較して誤差情報を獲得する（Ｓ６０６）。

次いで、同期化装置１２０は、誤差情報を補正する校正時間情報を生成する（Ｓ６０８）。

次いで、同期化装置１２０は、生成した校正時間情報及び時間校正命令をカメラ装置１１０、センサー装置１３０ないし１３４及び中央制御装置１４０などを備える装置に伝送する（Ｓ６１０）。

したがって、カメラ装置１１０、センサー装置１３０ないし１３４及び中央制御装置１４０などを備える装置は、同期化装置１２０から受信した時間情報及び時間校正命令に基づいて、内蔵された同期用時計を時間情報で校正して同期化し、同期化が完了したことを知らせる同期完了命令を同期化装置１２０に伝送する。

したがって、同期化装置１２０は、カメラ装置１１０、センサー装置１３０ないし１３４及び中央制御装置１４０などを備える装置から校正時間情報による時間校正で同期化が完了したことを知らせる同期完了命令を受信する（Ｓ６１２）。

図８は、本発明の実施形態によるコンピューター装置の映像信号とセンサー信号を同期化する方法を説明するための動作フローチャートである。

図８に示すように、本発明によるコンピューター装置１５０は、同期化装置１２０から基準時間情報を受信して、コンピューター装置１５０に内蔵された同期用時計を同期させる（Ｓ８１０）。

次いで、コンピューター装置１５０は、カメラ装置１１０から取得時間情報を含む映像信号を受信し、中央制御装置１４０からセンサー装置１３０ないし１３４によって獲得されて、取得時間情報を含むセンサー信号を受信する（Ｓ８２０）。

次いで、コンピューター装置１５０は、取得時間情報に基づいて映像信号とセンサー信号を同期化する（Ｓ８３０）。

すなわち、コンピューター装置１５０は、カメラ装置１１０及びセンサー装置１３０ないし１３４の取得時間情報を比較して時間誤差を計算し、映像信号とセンサー信号に対して時間軸で時間誤差だけ補正して映像信号とセンサー信号を同期化する。

一方、コンピューター装置１５０は、カメラ装置１１０及びセンサー装置１３０ないし１３４から映像信号及びセンサー信号を取得する途中にも同期化が駄目になり得るため、取得が終了した後にこれを検証せねばならない。したがって、中央制御装置１４０がそれぞれのカメラ装置１１０及びセンサー装置１３０ないし１３４の時間誤差を計算した後にコンピューター装置１５０に伝達して、コンピューター装置１５０が受信した時間誤差だけ該当情報を時間軸で補正すれば良い。また、中央制御装置１４０で時間誤差を計算せずに、コンピューター装置１５０が直接時間誤差を算出して、それによって映像信号とセンサー信号を時間誤差だけ補正することが可能であることは言うまでもない。

前述のように、本発明によれば、カメラから入力される映像信号と、それぞれの映像信号に対応するセンサー信号に対して、それぞれのセンサーモジュール及びカメラ装置に同期用時計が内蔵されており、同期化装置でそれぞれの装置に同期信号を伝送して同期用時計を同期化させた後、それぞれのセンサーモジュール及びカメラ装置で獲得した信号に取得時間を付加し、中央制御装置及びコンピューター装置に伝送して映像信号とセンサー信号の同期化を行うことができる映像信号とセンサー信号の同期化システム及び方法、カメラ装置、同期化装置及びその映像信号とセンサー信号の同期化方法、及びコンピューター装置及びその映像信号とセンサー信号の同期化方法を実現することができる。

本発明が属する技術分野の当業者は本発明がその技術的思想や必須的な特徴を変更せずに他の具体的な形態で実施されうるということを理解しうる。したがって、以上で記述した実施形態はあらゆる面で例示的なものであり、限定的ではないものと理解せねばならない。本発明の範囲は発明の詳細な説明よりは特許請求の範囲により示され、特許請求の範囲の意味及び範囲、そしてその等価概念から導出されるあらゆる変更または変形された形態が本発明の範囲に含まれると解釈されねばならない。

本発明は、カメラ装置で獲得した映像信号とセンサー装置から獲得したセンサー信号とを同時に画面及び音響として提供するシステム及びサービスに適用することができる。

また、映像信号及びセンサー信号を生成して無線通信及び有線通信で伝送する装置に適用することができる。

さらに、多チャンネル映像信号及びセンサー信号を分析する装置やシステムなどに適用することができる。

Claims

第１同期用時計が内蔵されており、被写体を撮影して映像信号を獲得し、前記獲得した映像信号に前記第１同期用時計による取得時間情報を付加して出力するカメラ装置と、
第２同期用時計が内蔵されており、前記映像信号に対応したセンサー信号をセンシング動作によって生成し、前記生成されたセンサー信号に前記第２同期用時計による取得時間情報を付加して出力するセンサー装置と、
前記センサー装置から前記取得時間情報の付加されたセンサー信号を受信してコンピューター装置に伝送するように制御する中央制御装置と、
基準時計を内蔵し、前記第１同期用時計と前記第２同期用時計の同期のための基準時間を所定の間隔で前記カメラ装置及び前記センサー装置に同時に伝送する同期化装置と、
前記中央制御装置から前記取得時間情報の付加されたセンサー信号を受信し、前記カメラ装置から前記取得時間情報の付加された映像信号を受信してそれぞれの信号の取得時間情報を確認し、それぞれの信号を同じ時間帯に再構成して前記映像信号と前記センサー信号を同期化するコンピューター装置と、を備える映像信号とセンサー信号の同期化システム。
前記カメラ装置は、前記同期化装置から受信した基準時間に基づいて前記第１同期用時計を同期化した後、前記撮影して獲得した映像信号に前記第１同期用時計による取得時間情報を付加して前記コンピューター装置に伝送することを特徴とする請求項１に記載の映像信号とセンサー信号の同期化システム。
前記センサー装置は、前記同期化装置から受信した基準時間に基づいて前記第２同期用時計を同期化した後、前記センシング動作によって生成された前記センサー信号に前記第２同期用時計による取得時間情報を付加して前記中央制御装置に伝送することを特徴とする請求項１に記載の映像信号とセンサー信号の同期化システム。
前記センサー装置は、前記同期化装置から受信した前記基準時間を前記第２同期用時計の時間と比較して誤差だけ補正し、補正された時間に基づいて前記センサー信号に取得時間情報を付加して前記中央制御装置に伝送することを特徴とする請求項３に記載の映像信号とセンサー信号の同期化システム。
前記カメラ装置と前記センサー装置は、前記同期化装置から受信した前記基準時間を前記第１同期用時計の時間及び前記第２同期用時計の時間と比較して時間誤差を獲得し、前記獲得した時間誤差をそれぞれ前記コンピューター装置に伝送し、前記コンピューター装置は、前記映像信号及び前記センサー信号に対して前記時間誤差だけ時間軸で補正することを特徴とする請求項１に記載の映像信号とセンサー信号の同期化システム。
前記同期化装置は、前記センサー装置に現在時間情報を要請して獲得し、前記獲得した現在時間情報を前記基準時間情報と比較して誤差範囲を確認し、校正が必要な場合は、時間情報及び時間校正命令を前記センサー装置に伝送することを特徴とする請求項１に記載の映像信号とセンサー信号の同期化システム。
前記センサー装置は、前記時間校正命令を受信すれば、前記時間情報に基づいて校正を行い、第二のクロックで前記同期化装置から受信したクロックで同期化を行い、校正完了命令を前記同期化装置に伝送することを特徴とする請求項６に記載の映像信号とセンサー信号の同期化システム。
カメラ装置、センサー装置、中央制御装置及びコンピューター装置と通信するための通信部と、
前記カメラ装置、センサー装置、中央制御装置及びコンピューター装置に同期化のための基準時間情報を伝送するために周波数信号を生成する周波数生成部と、
前記生成された周波数信号をクロック信号として生成する同期化クロック部と、
前記生成されたクロック信号を前記基準時間情報として生成する基準時間モジュール部と、
前記基準時間モジュール部にリアルタイムクロックを提供するリアルタイムクロック部と、
前記周波数生成部、前記同期化クロック部及び前記基準時間モジュール部を制御して前記基準時間情報を生成し、前記生成された基準時間情報が前記カメラ装置、センサー装置、中央制御装置及びコンピューター装置に伝送されるように制御する制御部と、を備える同期化装置。
前記制御部は、前記センサー装置に現在時間情報を要請して獲得し、前記獲得した現在時間情報を前記基準時間情報と比較して誤差範囲を確認し、校正が必要な場合は、時間情報及び時間校正命令を前記センサー装置に伝送することを特徴とする請求項８に記載の同期化装置。
前記カメラ装置、センサー装置、中央制御装置及びコンピューター装置から入力されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換部と、
前記デジタル信号を出力するための出力部と、
前記基準時間情報の生成動作、前記現在時間情報及び前記時間校正命令に関する伝送動作などを表示するためのディスプレイ部と、をさらに備えることを特徴とする請求項８に記載の同期化装置。
勾配、張力、重量などをセンシングしたセンサー信号を生成するセンサーと、
アナログ型の前記センサー信号をデジタル型のセンサーデータに変換する信号変換部と、
前記センサーデータを同期化装置及び中央制御装置に伝送するための通信部と、
前記同期化装置から提供された基準時間で同期化するための同期用時計部と、
前記センサーデータを保存するためのメモリ部と、
前記センサーデータが前記中央制御装置に伝送されるように制御し、前記同期化装置から前記基準時間を受信して同期化した後、前記センサーデータを取得した取得時間情報を前記センサーデータとともに前記中央制御装置に伝送する制御部と、
周波数信号を生成して前記制御部に提供する周波数生成部と、
前記制御部にリアルタイムクロックを提供するリアルタイム（ＲＴＣ）モジュール部と、を備えるセンサー装置。
被写体を撮影して映像信号を獲得する撮影部と、
前記映像信号をコンピューター装置または中央制御装置に伝送し、同期化装置と通信するための通信部と、
前記同期化装置から提供された基準時間で同期化され、前記映像信号を取得した時間を提供するための同期用時計部と、を備えるカメラ装置。
カメラ装置、センサー装置、中央制御装置、同期化装置及びコンピューター装置を備えるシステムの映像信号とセンサー信号の同期化方法であって、
（ａ）前記同期化装置が同期化時間情報を前記カメラ装置及び前記センサー装置に伝送するステップと、
（ｂ）前記カメラ装置及び前記センサー装置が前記同期化時間情報に基づいてそれぞれに内蔵された同期用時計を同期させるステップと、
（ｃ）前記カメラ装置及び前記センサー装置が映像信号及びセンサー信号をそれぞれ獲得し、取得時間情報を付加して前記中央制御装置または前記コンピューター装置に伝送するステップと、
（ｄ）前記コンピューター装置が前記取得時間情報に基づいて前記映像信号と前記センサー信号の同期化を行うステップと、を含む映像信号とセンサー信号の同期化方法。
前記ステップ（ｃ）は、前記中央制御装置は、前記取得時間情報の付加された前記センサー信号を前記コンピューター装置に伝送することを特徴とする請求項１３に記載の映像信号とセンサー信号の同期化方法。
前記ステップ（ｄ）は、前記コンピューター装置が、前記カメラ装置及び前記センサー装置の取得時間情報を比較して時間誤差を計算し、前記映像信号と前記センサー信号に対して時間軸で時間誤差だけ補正して前記映像信号と前記センサー信号を同期化することを特徴とする請求項１３に記載の映像信号とセンサー信号の同期化方法。
カメラ装置、センサー装置、中央制御装置及びコンピューター装置を備える装置と有線または無線で通信する同期化装置の映像信号とセンサー信号を同期化する方法であって、
（ａ）前記装置に現在時間情報を要請して現在時間情報を受信するステップと、
（ｂ）前記現在時間情報を基準時間情報と比較して誤差情報を獲得するステップと、
（ｃ）前記誤差情報を補正する時間情報を生成し、前記装置に前記時間情報及び時間校正命令を伝送するステップと、
（ｄ）前記装置から前記時間情報による時間校正で同期化が完了したことを知らせる同期完了命令を受信するステップと、を含む同期化装置の映像信号とセンサー信号を同期化する方法。
カメラ装置、センサー装置、中央制御装置及び同期化装置と有線または無線で通信するコンピューター装置の映像信号とセンサー信号を同期化する方法であって、
（ａ）前記同期化装置から基準時間情報を受信して、内蔵された同期用時計を同期させるステップと、
（ｂ）前記カメラ装置から取得時間情報を含む映像信号を受信し、前記中央制御装置から前記センサー装置によって獲得されて、取得時間情報を含むセンサー信号を受信するステップと、
（ｃ）前記取得時間情報に基づいて前記映像信号と前記センサー信号を同期化するステップと、を含むコンピューター装置の映像信号とセンサー信号を同期化する方法。
前記ステップ（ｃ）は、前記カメラ装置及び前記センサー装置の取得時間情報を比較して時間誤差を計算し、前記映像信号と前記センサー信号に対して時間軸で前記時間誤差だけ補正して前記映像信号と前記センサー信号を同期化することを特徴とする請求項１７に記載のコンピューター装置の映像信号とセンサー信号を同期化する方法。