JP2004032012A

JP2004032012A - Multi-view image recording apparatus, multi-view image frame synchronization processing method, and computer program

Info

Publication number: JP2004032012A
Application number: JP2002180750A
Authority: JP
Inventors: Ikoku Go; 呉　偉国; Kazunori Hayashi; 林　和慶
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-06-21
Filing date: 2002-06-21
Publication date: 2004-01-29
Anticipated expiration: 2022-06-21
Also published as: JP4186520B2

Abstract

【課題】複数視点位置からの画像データ記録処理におけるフレーム間同期を正確に効率よく実行する装置および方法を提供する。
【解決手段】多視点画像を撮影するカメラの撮影画像を記録する複数の画像記録処理装置に対して、収録画像フレーム番号保存要求コマンドを複数回出力し、各コマンドに対応する収録画像フレーム番号に基づいて各画像記録処理装置における処理フレーム番号の差を算出し、算出データに基づいて各画像記録処理装置のフレーム同期処理を実行する。本構成により、正確な各画像記録処理装置間の差分算出、正確な同期処理が実現され、撮影後の映像についての再生、カメラ切り換え処理を行なった場合において、切り換え時の被写体のぶれ等、表示態様の突然の変化が発生することのない良好な画像が提供可能となる。
【選択図】　図５An apparatus and method for accurately and efficiently performing inter-frame synchronization in image data recording processing from a plurality of viewpoint positions.
Kind Code: A1 A recording image frame number storage request command is output a plurality of times to a plurality of image recording processing devices that record images captured by a camera that captures a multi-viewpoint image, and a recording image frame number corresponding to each command is output. Based on the calculated data, a difference between processing frame numbers in each image recording processing apparatus is calculated, and the frame synchronization processing of each image recording processing apparatus is executed based on the calculated data. With this configuration, accurate calculation of the difference between the image recording processing devices and accurate synchronization processing are realized, and when the playback of the video after shooting and the camera switching processing are performed, the display such as the movement of the subject at the time of switching is displayed. A good image can be provided without a sudden change of the mode.
[Selection diagram] FIG.

Description

【０００１】
【発明の属する技術分野】
本発明は、多視点画像記録装置、および多視点画像フレーム同期処理方法、並びにコンピュータ・プログラムに関する。さらに詳細には、異なる位置に配置した複数のカメラで被写体を撮影した多視点画像の効率的な記録を可能とするものであり、複数のカメラ観測映像をそれぞれデジタル映像に変換し、それらの映像をネットワーク同期機構を備えた汎用ＰＣ上のハードディスクまたはメモリなどの蓄積装置にフレーム同期で収録することを可能とした多視点画像記録装置、および多視点画像フレーム同期処理方法、並びにコンピュータ・プログラムに関する。
【０００２】
【従来の技術】
近年、パノラマ、全天球画像など、視点を様々に移動可能とした画像データの利用が盛んになりつつある。例えば、ＤＶＤ、ＣＤ等の記憶媒体に複数の視点位置、視線方向からある被写体を撮影した画像を蓄積し、蓄積画像をＣＲＴ、液晶表示装置等に表示する際に、ユーザがコントローラの操作によって、自由な位置に視点を移動させて、被写体の像を観察するシステムが実現されている。また、インターネット等の通信システムを介して複数の視点位置、視線方向からある被写体を撮影した画像を配信し、ユーザがＰＣ等のマウス操作により、好みの視点位置、視線方向からの画像をディスプレイに表示するシステム等が構築されている。
【０００３】
コンピュータの処理能力の向上や多様な映像メディア再生機器の発展に伴って、以前困難とされた膨大なポリゴンデータや映像データ（コンテンツ）の処理が可能となり、視点の異なる複数台カメラで撮影された実世界の映像データをコンピュータや映像機器等により処理し、ユーザーの要望に応じた任意視点映像を実時間に生成し表現することができるようになってきている。
【０００４】
コンピュータ処理で任意視点映像コンテンツを生成し表現するために、複数カメラからの映像を同期的に収録することが必要である。従来の多視点映像記録システムとしては、例えば、（１）同期機構を有する専用の画像入力システムと専用のリアルタイム映像記録装置を備えることで、複数カメラ映像を同期的に収録するシステムや、（２）デジベター等の映像記録装置を用いて複数カメラ映像を収録すると同時に、音声やキーフレーム画像も記録し、その後のマニュアル操作で複数カメラ映像間の同期を合わせていくといったシステムがある。
【０００５】
しかし、これらのシステムにおいて、上記（１）のシステムは、同期機構を有する専用の画像入力システムと映像記録装置が高価であり、また大型化してしまうこと、さらに、長時間映像記録が困難となるといった欠点がある。また、上記（２）の、デジベター等によって映像を収録して、その後のマニュアル操作により各カメラ映像の同期を行うシステムは、同期合わせ作業に膨大な時間と手間がかかり、映像データフォーマット変換にも多くの労力や時間を費やすことになるという欠点がある。
【０００６】
【発明が解決しようとする課題】
本発明は、上記問題点に鑑みてなされたものであり、視点の異なる複数のカメラで撮影した映像をそれぞれＤＶコンバータによってデジタル映像に圧縮変換し、それらの映像をネットワーク同期機構を備えた汎用ＰＣ上のハードディスクに直接に収録することで、多視点映像の記録を小型で簡易なシステムによって実現し、また長時間記録を可能とし、同期合わせ等のマニュアル作業を行なう必要性も排除可能とした多視点画像記録装置、および多視点画像フレーム同期処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
【０００７】
具体的には、外部同期機構を備える全てのカメラに対して、同期信号を供給し、それぞれのカメラで観測された映像をＤＶコンバータによってデジタル映像に圧縮変換し、ネットワーク同期機構を備えた各汎用ＰＣに装着された例えば１３９４キャプチャ基板を通して、それらの映像をハードディスクに直接に収録する。
【０００８】
その際、汎用ＰＣの１台をサーバーＰＣにして、その他はクライアントＰＣに名付けした。映像収録を行う際、まずサーバーＰＣから各クライアントＰＣに「キャプチャ開始」のコマンドを送信する。その後、ある時間を経過したら、再びサーバーＰＣから各クライアントＰＣに「現在収録中のフレーム番号を記録」（計測ポイント）というコマンドを送信し、各クライアントＰＣの現在の動作状況（何フレーム目をキャプチャ中）を調べ、計測データとして保存する。さらに、それらの計測データを各クライアントＰＣよりサーバーＰＣに報告し、報告された各クライアントＰＣの計測データ（収録中のフレーム番号）に基づいて、収録映像の同期合わせ処理を自動的に行う。また、同期処理の精度を上げるために、サーバーＰＣから一定時間間隔内に数回も各クライアントＰＣに「計測ポイント」コマンドを送信し、各時刻におけるクライアントＰＣの動作状況（収録中のフレーム番号）を調べる。また、それらの結果をサーバーＰＣに報告され、サーバーＰＣ上の統計的データ処理によって各クライアントＰＣに対してより確実な同期合わせ処理を行うことを可能とした装置および方法を提供する。
【０００９】
【課題を解決するための手段】
本発明の第１の側面は、
複数視点からの画像を複数カメラによって撮影し記録する多視点画像記録装置であり、
各々が前記複数カメラを構成する各カメラの撮影画像データを入力するとともに、該入力画像データを記録する記憶手段を備えた複数の画像記録処理装置と、前記複数の画像記録処理装置に対して処理コマンドを出力するサーバ装置とを有し、
前記サーバ装置は、
前記複数の画像記録処理装置に対して、所定時刻における収録画像フレーム番号の保存要求を出力するとともに、前記複数の画像記録処理装置に保存された収録画像フレーム番号に基づいて各画像記録処理装置における処理フレーム番号の差分データを算出し、該算出差分データに基づいて各画像記録処理装置のフレーム同期処理を実行する構成を有することを特徴とする多視点画像記録装置にある。
【００１０】
さらに、本発明の多視点画像記録装置の一実施態様において、前記サーバ装置は、前記複数の画像記録処理装置に対して、収録画像フレーム番号の保存要求コマンドを複数回出力する処理を実行する構成であり、前記複数の画像記録処理装置は、複数回のコマンドの受領に応じて、各コマンドに対応する時刻における収録画像フレーム番号を保存する処理を実行する構成を有し、前記サーバ装置は、前記複数の画像記録処理装置に保存された異なる時刻における複数の収録画像フレーム番号に基づいて各画像記録処理装置における処理フレーム番号の差分データを算出し、該算出差分データに基づいて各画像記録処理装置のフレーム同期処理を実行する構成を有することを特徴とする。
【００１１】
さらに、本発明の多視点画像記録装置の一実施態様において、前記サーバ装置は、前記複数の画像記録処理装置に保存された異なる時刻における複数の収録画像フレーム番号に基づいて、前記複数の画像記録処理装置から選択された基準画像記録処理装置との処理フレーム番号の差分データの平均値を算出し、該算出差分データ平均値に基づいて各画像記録処理装置のフレーム同期処理を実行する構成を有することを特徴とする。
【００１２】
さらに、本発明の多視点画像記録装置の一実施態様において、前記サーバ装置は、前記複数の画像記録処理装置に対して、収録画像フレーム番号の保存要求コマンドを複数回出力する処理を実行する構成であり、前記保存要求コマンドの先行コマンド送信終了後から次コマンド出力開始間隔：Ｔを、Ｔ＝処理画像フレーム間隔×ｎ、ただしｎは自然数とした設定において実行する構成であることを特徴とする。
【００１３】
さらに、本発明の第２の側面は、
複数視点からの画像を複数カメラによって撮影し、記録した多視点画像に関する多視点画像フレーム同期処理方法であり、
複数の画像記録処理装置において、前記複数カメラを構成する各カメラの撮影画像データを入力し、該入力画像データを記録する画像記録ステップと、
前記複数の画像記録処理装置に対して処理コマンドを出力可能なサーバ装置から、前記複数の画像記録処理装置に対して、所定時刻における収録画像フレーム番号の保存要求を出力するフレーム番号保存要求コマンド出力ステップと、
前記複数の画像記録処理装置においてフレーム番号保存要求コマンドを受領し、コマンドに対応する時刻における収録画像フレーム番号を保存する処理を実行する収録画像フレーム番号保存ステップと、
前記複数の画像記録処理装置に保存された収録画像フレーム番号に基づいて各画像記録処理装置における処理フレーム番号の差分データを算出し、該算出差分データに基づいて各画像記録処理装置のフレーム同期処理を実行する同期処理実行ステップと、
を有することを特徴とする多視点画像フレーム同期処理方法にある。
【００１４】
さらに、本発明の多視点画像フレーム同期処理方法の一実施態様において、前記多視点画像フレーム同期処理方法において、前記フレーム番号保存要求コマンド出力ステップ、および、前記収録画像フレーム番号保存ステップとは、所定時間間隔毎に複数回連続して実行するステップであり、前記同期処理実行ステップは、前記複数の画像記録処理装置に保存された異なる時刻における複数の収録画像フレーム番号に基づいて各画像記録処理装置における処理フレーム番号の差分データを算出し、該算出差分データに基づいて各画像記録処理装置のフレーム同期処理を実行するステップであることを特徴とする。
【００１５】
さらに、本発明の多視点画像フレーム同期処理方法の一実施態様において、前記同期処理実行ステップは、前記複数の画像記録処理装置に保存された異なる時刻における複数の収録画像フレーム番号に基づいて、前記複数の画像記録処理装置から選択された基準画像記録処理装置との処理フレーム番号の差分データの平均値を算出し、該算出差分データ平均値に基づいて各画像記録処理装置のフレーム同期処理を実行するステップであることを特徴とする。
【００１６】
さらに、本発明の多視点画像フレーム同期処理方法の一実施態様において、前記フレーム番号保存要求コマンド出力ステップにおける、フレーム番号保存要求コマンド出力処理において、先行コマンド送信終了後から次コマンド出力開始間隔：Ｔを、Ｔ＝処理画像フレーム間隔×ｎ、ただしｎは自然数とした設定で実行することを特徴とする。
【００１７】
さらに、本発明の第３の側面は、
複数視点からの画像を複数カメラによって撮影し、記録した多視点画像に関する多視点画像フレーム同期処理を実行するコンピュータ・プログラムであって、複数の画像記録処理装置において、前記複数カメラを構成する各カメラの撮影画像データを入力し、該入力画像データを記録する画像記録ステップと、
前記複数の画像記録処理装置に対して処理コマンドを出力可能なサーバ装置から、前記複数の画像記録処理装置に対して、所定時刻における収録画像フレーム番号の保存要求を出力するフレーム番号保存要求コマンド出力ステップと、
前記複数の画像記録処理装置においてフレーム番号保存要求コマンドを受領し、コマンドに対応する時刻における収録画像フレーム番号を保存する処理を実行する収録画像フレーム番号保存ステップと、
前記複数の画像記録処理装置に保存された収録画像フレーム番号に基づいて各画像記録処理装置における処理フレーム番号の差分データを算出し、該算出差分データに基づいて各画像記録処理装置のフレーム同期処理を実行する同期処理実行ステップと、
を有することを特徴とするコンピュータ・プログラムにある。
【００１８】
【作用】
本発明の構成によれば、多視点画像を撮影するカメラ撮影画像のフレーム間の同期合わせが正確に実行可能となり、撮影後の映像についての再生、カメラ切り換え処理を行なった場合において、切り換え時の被写体のぶれ等、表示態様の突然の変化が発生することのない良好な画像が提供可能となる。
【００１９】
また、本発明の構成によれば、画像記録処理装置に対して、収録画像フレーム番号の保存要求コマンドを複数回出力する処理を実行し、各コマンドに対応する時刻における収録画像フレーム番号に基づいて各画像記録処理装置における処理フレーム番号の差分データを算出し、該算出差分データに基づいて各画像記録処理装置のフレーム同期処理を実行する構成としたので、正確な各画像記録処理装置間の差分算出が可能となり、より正確な同期処理が実現される。
【００２０】
さらに、本発明の構成によれば、収録画像フレーム番号の保存要求コマンドの先行コマンド送信終了後から次コマンド出力開始間隔：Ｔを、Ｔ＝処理画像フレーム間隔×ｎ、ただしｎは自然数とした設定において実行する構成としたので、各画像記録紙を理装置におけるフレーム処理同一タイミングでのフレーム番号保存が実行されることがなく、例えば２フレームの中間での保存要求が連続して発生することがなく、より正確なフレーム番号保存が可能となる。
【００２１】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００２２】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【００２３】
【発明の実施の形態】
以下、本発明の多視点画像記録装置、および多視点画像フレーム同期処理方法の実施例について、図面を参照して詳細に説明する。
【００２４】
図１は、本発明の多視点画像記録装置の一実施例を示すブロック図である。異なる視点からの被写体画像を撮影するカメラ１〜Ｋのカメラ１１０は、同期信号発生器１２０より出力された同期信号（水平、垂直同期信号）を各カメラの外部同期入力端子を介して入力し、複数のカメラ１〜Ｋにより観測された多視点の複数映像を同期映像として出力する。
【００２５】
各カメラ出力映像は、例えば輝度信号（Ｙ）とＲＧＢ色成分信号の差信号（Ｃ）としてのＹ／Ｃ信号等の映像信号であり、各カメラは、映像信号を各カメラに対応して設定されたＤＶコンバータ１３０に入力する。ＤＶコンバータ１３０では、カメラ１１０から入力する映像信号のデジタルデータへの変換、さらに必要に応じて圧縮データ（例えばモーションＪＰＥＧ等）への変換処理を実行し、処理後のデータをそれぞれのデータを記録する画像記録処理装置としてのクライアントＰＣ（ＰＣ１〜ＰＣｋ）１５０、画像モニタ１６０に出力する。
【００２６】
画像記録処理装置としてのクライアントＰＣ（ＰＣ１〜ＰＣｋ）１５０は、データを記録する記録媒体１５６、例えばハードディスク、ＤＶＤ、ＣＤ等を備えている。
【００２７】
クライアントＰＣ（ＰＣ１〜ＰＣｋ）１５０にＤＶコンバータ１３０から入力した映像信号は、クライアントＰＣ（ＰＣ１〜ＰＣｋ）１５０内の映像信号処理部１５５に入力される。映像信号処理部１５５は、例えば１３９４ＤＶキャプチャボードにより構成される。
【００２８】
クライアントＰＣ１５０を構成する複数のＰＣ１〜ＰＣｋは、汎用ＰＣ上で実行可能なＤＶキャプチャソフトによって、各カメラからのＤＶ映像をそれぞれのＰＣ内ハードディスク１５６に収録する。各クライアントＰＣ（ＰＣ１〜ＰＣｋ）１５０とサーバーＰＣ１７０は、各ＰＣに装着されたネットワークインタフェースとしてのネットワークカード１５７、およびネットワーク１８０によって接続されており、サーバーＰＣ１７０から各クライアントＰＣ（ＰＣ１〜ＰＣｋ）１５０に対して録画開始コマンドを出力することにより、各クライアントＰＣ１５０が一斉に録画を開始することが可能となる。
【００２９】
クライアントＰＣ１５０内の例えば１３９４ＤＶキャプチャボードにより構成される映像信号処理部１５５の構成例を図２に示す。
【００３０】
ＩＥＥＥ１３９４ポート（以下、１３９４ポート）２１４と、ＬＩＮＫ／ＰＨＹ２１５は、ＤＶコンバータ１３０によって処理されたＤＶ（デジタルビデオ）信号を取り込む。１３９４ポート２１４は、ＤＶ信号を取り込む入力ポートであり、入力したＤＶ信号はＬＩＮＫ／ＰＨＹ２１５へ送出される。ＬＩＮＫ／ＰＨＹ２１５は、入力したＤＶ画像データをバッファ手段としてのＲＡＭ２１２に一次蓄積する。
【００３１】
ＲＡＭ２１２は、取り込まれたＤＶ画像データを記憶するバッファを備えた画像データ記憶手段として機能する。ＲＡＭ２１２に一次記録された画像データは、ＣＰＵ２１１の制御のもとにＨＤＤ、ＤＶＤ等の記憶手段２９０に記憶手段Ｉ／Ｆ２１７を介して出力され、格納される。前述したように、各クライアントＰＣ（ＰＣ１〜ＰＣｋ）１５０とサーバーＰＣ１７０は、各ＰＣに装着されたネットワークインタフェースとしてのネットワークカード１５７、およびネットワーク１８０によって接続されており、サーバーＰＣ１７０から各クライアントＰＣ（ＰＣ１〜ＰＣｋ）１５０に対して録画開始コマンドを出力することにより、各クライアントＰＣ１５０が一斉に録画、すなわち、ＨＤＤ、ＤＶＤ等の記憶手段２９０に対するデー格納処理を開始することが可能である。
【００３２】
ＣＰＵ２１１は、画像データの撮り込み、格納に関する装置全体の制御を行ない、ＤＶ画像データの流れ全般を制御する画像データ制御手段として機能する。ＣＰＵ２１１は、ＲＯＭ２１６に記憶されたプログラムに従って、画像データの流れを制御する。
【００３３】
ＲＯＭ２１６に記憶されたプログラムは、例えば汎用ＰＣ上で実行可能なＤＶキャプチャソフトであり、サーバーＰＣからの録画開始コマンドによって、プログラムが実行され、クライアントＰＣが一斉に録画を開始する。
【００３４】
しかし、一般に、サーバーＰＣ１７０より各クライアントＰＣ１５０に対してＤＶキャプチャ実行のコマンドを送信しても、それぞれのＰＣの状態・個体差によって、必ずしも同時刻のフレーム映像をキャプチャ、すなわち記憶手段に格納することができないので、各クライアントＰＣにより収録された映像の同期合わせ処理を行う必要がある。
【００３５】
図３は、各クライアントＰＣの収録フレーム番号計測による多視点映像同期方法・タイミングを示す。
【００３６】
図３は、左から右に時間（ｔ）経過を示し、図３（ａ）は、各時刻における各カメラ１１０がＤＶコンバータ１３０に対して出力する出力時系列映像のフレーム番号（フレームＮｏ．）を示している。図３（ｂ）は、ＤＶコンバータ１３０において、入力フレームの処理を行なってクライアントＰＣ１５０に出力する出力時系列映像のフレーム番号（フレームＮｏ．）を示している。
【００３７】
ＤＶコンバータ１３０は、カメラ１１０からの入力画像のデジタル変換および必要に応じて圧縮処理を実行する。図３の例では、その処理時間として、２フレーム画像相当時間（３３．３×２）を要することを示している。すなわち、ＤＶコンバータ１３０は、映像遅延として、２フレーム遅延を発生されている。
【００３８】
図３（ｃ）は、サーバーＰＣ１７０から、各クライアントＰＣ１５０に対する録画開始及び同期合わせコマンドの送信タイミングを示す。サーバーＰＣ１７０から録画開始コマンドを各クライアントＰＣ１５０に送信し、各クライアントＰＣは、コマンドに基づいて映像収録を開始することになるが、各クライアントＰＣの状況、例えば他のプログラムの実行状況の差等により、コマンドに対応する処理時間に差が発生することになる。
【００３９】
このコマンドに対する応答時間の差異によって、各クライアントＰＣ１〜ｋの記録映像のフレーム番号が、それぞれ互いに異なるフレームに対して、同一のフレーム番号を付与することになる。
【００４０】
例えば図では、（ｄ）クライアントＰＣ１は、自己の設定フレーム番号１を、ＤＶ出力フレーム４に対して付与している。図において、（ｄ），（ｅ），（ｆ）に示す２段のフレームＮｏ．中、下段が各クライアントＰＣが記憶手段に格納したフレームに対して設定する自己設定フレームＮｏ．であり、上段の（ｘ）がＤＶ出力フレームを示している。すなわち、（ｄ）クライアントＰＣ１は、コマンド受信から３フレーム相当分の時間遅延の後、データ記録処理を開始し、ＤＶ出力フレーム（４）を自己設定フレームＮｏ．＝１として設定している。以降、ＤＶ出力フレーム（５）を自己設定フレームＮｏ．＝２、さらに、（６）→３・・とした設定を実行している。
【００４１】
（ｅ）クライアントＰＣ２は、自己の設定フレーム番号１を、ＤＶ出力フレーム７に対して付与している。すなわち、（ｅ）クライアントＰＣ２は、コマンド受信から６フレーム相当分の時間遅延の後、データ記録処理を開始し、ＤＶ出力フレーム（７）を自己設定フレームＮｏ．＝１として設定している。以降、ＤＶ出力フレーム（８）を自己設定フレームＮｏ．＝２、さらに、（９）→３・・とした設定を実行している。
【００４２】
（ｆ）クライアントＰＣｋは、自己の設定フレーム番号１を、ＤＶ出力フレーム５に対して付与している。すなわち、（ｆ）クライアントＰＣｋは、コマンド受信から４フレーム相当分の時間遅延の後、データ記録処理を開始し、ＤＶ出力フレーム（５）を自己設定フレームＮｏ．＝１として設定している。以降、ＤＶ出力フレーム（６）を自己設定フレームＮｏ．＝２、さらに、（７）→３・・とした設定を実行している。
【００４３】
このように、図３の例では、ＰＣ１が３フレーム遅延、ＰＣ２が６フレーム遅延、ＰＣｋが４フレーム遅延を持った画像データ格納処理を実行していることになる。
【００４４】
上述のように、それぞれのクライアントＰＣにおいて自己の記憶手段に格納する画像データの設定フレームが不一致となると、このまま再生を実行した場合、フレームＮｏ＝１フレームの画像は、ＰＣ１の場合は、ＤＶ出力フレーム（４）であり、ＰＣ２の場合は、ＤＶ出力フレーム（７）であり、ＰＣｋの場合は、ＤＶ出力フレーム（５）となってしまい、多視点画像の合成あるいは切り換えにおいて不都合が発生することになる。
【００４５】
そこで、各クライアントＰＣに収録された映像のフレーム番号を合わせる作業が必要になる。この作業は、例えば、収録開始後の一定時間（各クライアントＰＣの中に反応時間が最も長いもの以上）を経過してから、サーバーＰＣから各クライアントＰＣに「現在収録中のフレーム番号を保存せよ」といったコマンドを送信し、各クライアントＰＣがその時の計測データ（フレーム番号）を保存し、収録終了後、それぞれの計測データをサーバーＰＣに報告する。最終的には、それらの計測データに基づいて、サーバーＰＣにより同期合わせ処理を行うことができる。
【００４６】
図３においては、録画フレーム計測点３０１が、サーバーＰＣから各クライアントＰＣに対する「現在収録中のフレーム番号の保存」コマンドに相当する。
【００４７】
この補正処理について、図３および図４を参照して説明する。図３に示す録画フレーム計測点において、クライアントＰＣ１〜ｋにおいて、記録画像フレームに対して設定しているフレームＮｏ．は、ＰＣ１がフレームＮｏ．６、ＰＣ２がフレームＮｏ．３、ＰＣｋがフレームＮｏ．５である。
【００４８】
すなわち、図４の（ａ）同期補正前のＰＣ収録時刻τの各ＰＣの設定フレームＮｏ．列に示すように、各クライアントＰＣは、同時刻に格納する本来同一時刻のフレーム（９）に対してそれぞれ異なるフレームＮｏ．６，３，・・５を設定することになる。このずれは、その後の時刻（τ＋１）でも同様であり、本来同一時刻のフレーム（１０）に対しては、各クライアントＰＣは、異なるフレームＮｏ．７，４，・・６を設定することになる。
【００４９】
そこで、各クライアントＰＣに収録された映像のフレーム番号を合わせる作業を実行する。各クライアントＰＣの中に反応時間が最も長いもの、この場合、最も数値の小さいフレームＮｏ．（時刻τでは、ＰＣ２の設定しているフレームＮｏ．＝３）に、各クライアントＰＣの設定フレームＮｏ．を合わせる処理を行なう。
【００５０】
この処理を行なったフレームＮｏ．設定状態が、図４（ｂ）同期補正後のデータ状態である。補正の結果、収録時間τにおいて各クライアントＰＣ１〜ｋが収録したフレームに統一されたフレームＮｏ．＝３が再設定される。以下、同様、収録時間τ＋１において各クライアントＰＣ１〜ｋが収録したフレームに統一されたフレームＮｏ．＝４が設定され、以下は、同一時間に収録したフレームには、統一されたフレームＮｏ．が設定され、再生時には、フレームＮｏ．の指定により同一時刻の多視点画像を正確に取り出すことが可能となる。
【００５１】
しかしながら、上述の補正処理を実行する際、サーバーＰＣ１７０から各クライアントＰＣ１５０に送信される録画フレーム計測コマンド（図３の３０１）の発行タイミングが、各クライアントＰＣ１５０におけるフレームを切換る時間に相当していた場合、連続する２フレームのどちらのフレーム番号を記録し報告したら良いかを判断できないことがあり、フレーム番号報告を誤ることもある。このような１フレームの同期ずれを防ぐために、各クライアントＰＣから報告された計測データの精度をあげる必要がある。
【００５２】
図５は、本発明の多視点画像記録装置において実行される各クライアントＰＣにおける記録画像フレームの同期処理を説明する図である。本発明の多視点画像記録装置においては、同期合わせ精度を向上させるために、複数フレーム番号計測を実行する。
【００５３】
本発明の多視点画像記録装置では、サーバーＰＣ１７０から各クライアントＰＣ１５０に対して、一定時間間隔内に複数回、「現在収録フレーム番号保存」コマンドを送信する。図５に示す計側点１〜４が、これらのコマンド送信タイミングである。
【００５４】
各クライアントＰＣ１５０は、サーバーＰＣ１７０からの複数回のコマンドに応じて、複数個の計測データ、すなわち、サーバーＰＣ１７０からのコマンド受信時において、ＨＤＤ等の記憶手段にデータ記憶を実行中のフレーム番号を保存する。
【００５５】
各クライアントＰＣ１５０は、画像データの収録処理終了後、それらの計測データ、すなわち複数回の計側点に対応する収録フレームデータ、例えば図６に示すような計測点１〜ｎに対応する収録フレームＮｏ．データを一括してサーバーＰＣ１７０に送信して報告する。
【００５６】
サーバーＰＣ１７０は、各クライアントＰＣ１５０より報告された計測データに対して、統計的な処理、例えば、各計測ポイント間の時間差の平均値取得処理を行うことによって、各ＰＣの個体差によるフレームずれを精度よく補正することができる。
【００５７】
また、サーバーＰＣ１７０からクライアントＰＣ１５０に対して繰り返し送信される「現在収録フレーム番号保存」コマンドが、各クライアントＰＣにおける同一のフレーム処理タイミングとなることを避けるために先行コマンド送信終了後から次コマンド出力開始間隔：Ｔを、
Ｔ＝フレーム間隔×ｎ、
ただしｎは自然数とした。
【００５８】
フレーム間隔が例えば３３．３ｍｓであるとき、Ｔ＝３３．３×ｎに設定される。このようにコマンド送信間隔：Ｔを設定することで、コマンドの識別に要するタイマーの時間幅をｔとすれば、第ｐ回目の「現在収録フレーム番号保存」コマンドと、第ｐ＋１回目の「現在収録フレーム番号保存」コマンドとの、各クライアントＰＣにおける受信タイミングは、Ｔ＋ｔとなり、Ｔがフレーム間隔×ｎであるので、フレーム処理の同一タイミングでの計側が防止される。なお、計測点の数は最大で３３．３ｍｓ／ｔ（回数）とする。
【００５９】
例えば、クライアントＰＣが、第ｐ回目の「現在収録フレーム番号保存」コマンドを、２つの処理フレームの中間点で受信した場合であっても、次の計測点は、２つの処理フレームの中間点となることはない。このような設定とすることで、複数回の「現在収録フレーム番号保存」処理は、少なくとも、ほとんどの「現在収録フレーム番号保存処理」を正確に実行することが可能となる。
【００６０】
図７を参照して、サーバーＰＣとクライアントＰＣにおける処理手順を説明する。図７において、左側列の各処理ステップＳ１０１〜Ｓ１０６がサーバーＰＣの処理であり、右側列の各処理ステップＳ２０１〜Ｓ２０５が各クライアントＰＣの処理である。
【００６１】
まず、ステップＳ１０１において、サーバーＰＣより録画開始コマンドを各クライアントＰＣに送信する。ステップＳ２０１において、各クライアントＰＣは録画開始コマンドを受信する。
【００６２】
次に、サーバーＰＣは、一定時間間隔経過後、フレーム計測点１のコマンドを各クライアントＰＣに送信する。最初のフレーム計測点１のコマンドは、録画開始コマンド出力後、一定時間間隔経過後に行なう。この一定時間とは、すべてのクライアントＰＣにおいてデータ収録処理が介しされているであろうと判断される時間として予め設定された時間であり、クライアントＰＣの処理応答時間の予測最長時間以上の時間として設定される。
【００６３】
各クライアントＰＣは、ステップＳ２０２においてフレーム計測点１のコマンドを受信すると、計測点１での収録中フレーム番号を保存する。
【００６４】
サーバーＰＣは、ステップＳ１０３において、フレーム計測点１のコマンド出力後、時間間隔Ｔ（ｎ×３３．３ｍｓ）を経過した後、フレーム計測点２のコマンドを各クライアントＰＣに送信する。各クライアントＰＣは、ステップＳ２０３において、フレーム計測点２のコマンドを受信し、計測点２での収録中フレーム番号を保存する。
【００６５】
このような計測を複数回（ｋ回：例えばｋ＝１０）を行う。サーバーＰＣは、ステップＳ１０４において、フレーム計測点ｋ−１のコマンド出力後、時間間隔Ｔ（ｎ×３３．３ｍｓ）を経過した後、フレーム計測点ｋのコマンドを各クライアントＰＣに送信する。各クライアントＰＣは、ステップＳ２０４において、フレーム計測点ｋのコマンドを受信し、計測点ｋでの収録中フレーム番号を保存する。
【００６６】
各クライアントＰＣによる映像収録が完了したら、各クライアントＰＣはステップＳ２０５において、各クライアントＰＣに保存された計測点１〜ｋでのフレーム番号をサーバーＰＣに報告する。
【００６７】
サーバーＰＣは、ステップＳ１０５において、各クライアントＰＣからの計測点（フレーム番号）データを受信する。このデータは、先に説明した図６のような計測点と収録フレームとの対応データである。
【００６８】
次に、サーバーＰＣは、ステップＳ１０６において、各クライアントＰＣからの受信データ（図６参照）に基づいて統計的な処理、例えば、各計測点の時間差の平均値取得処理を行うことによって、各ＰＣの個体差によるフレームずれを補正し、各カメラ映像間の同期調整を実現する。
【００６９】
次に、図８を参照して、サーバーＰＣで実行する同期調整処理の詳細について説明する。まず、ステップＳ３０１において、サーバーＰＣは、各クライアントＰＣから入力した各計測点における各ＰＣの収録フレーム番号データを読込む。これは、例えば図８のデータ例（ａ）に示すデータである。
【００７０】
ここでは、サーバーＰＣが複数のクライアントＰＣ（ＰＣ１〜ＰＣｋ）から４回の計測点（計測点１〜４）における収録フレーム番号を取得したものとして説明する。
【００７１】
図８の（ａ）各クライアントＰＣから入力した各計測点における各ＰＣの収録フレーム番号のリストによれば、例えばＰＣ１は、
計側点１において、収録処理フレーム＝６、
計側点２において、収録処理フレーム＝１０、
計側点３において、収録処理フレーム＝１４、
計側点４において、収録処理フレーム＝１９、
を各計測点において、サーバーＰＣからの「現在収録フレーム番号保存」コマンドに応じて保存したフレーム番号であることを示している。
【００７２】
次に、サーバーＰＣは、ステップＳ３０２において、処理遅延量の大きいＰＣ、ここでは、計側点１において、フレームＮｏ．３を処理しているＰＣ２を基準ＰＣとして、各ＰＣにおける基準ＰＣからのフレームずれ量を算出する。
【００７３】
この処理の結果、図８に示す（ｂ）各計測点における各ＰＣ内収録映像のフレームずれ量が求められる。図８に示す例では、ＰＣ２が基準となり、ＰＣ２はすべての計測点においてずれ量＝０となる。また、例えばＰＣ１のずれ量は、各計測点において、ＰＣ１の収録処理フレーム−ＰＣ２の収録処理フレームによって求める。その結果、ＰＣ１のずれ量は、
計側点１において、ずれ量＝６−３＝３
計側点２において、ずれ量＝１０−７＝３
計側点３において、ずれ量＝１４−１１＝３
計側点４において、ずれ量＝１９−１５＝３
となる。
【００７４】
他のＰＣ、ＰＣ３〜ＰＣｋについてもＰＣ２との収録フレームＮｏ．との差分がズレ量として求められる。
【００７５】
次に、ステップＳ３０３において、基準ＰＣ＝ＰＣ２からの各ＰＣのずれ量の決定処理を行なう。これは、例えば各ＰＣの各計測点におけるずれ量の平均値を算出し、その平均値に基づく整数値を四捨五入により算出することにより実行する。
【００７６】
図８（ｃ）が、各ＰＣの各計測点におけるずれ量の平均値を算出したデータである。ＰＣ１のＰＣ２に対するずれ量は、
（３＋３＋３＋４）／４＝３．２５
となる。
【００７７】
図８（ｄ）が、各ＰＣの各計測点におけるずれ量の平均値を四捨五入したデータである。
ＰＣ１のＰＣ２に対するずれ量は３、
ＰＣｋのＰＣ２に対するずれ量は２となる。
このようにして、各クライアントＰＣの基準ＰＣ（ＰＣ２）からのずれ量が決定される。
【００７８】
次に、ステップＳ３０４において、サーバーＰＣは、算出した各ＰＣのずれ量に基づいて、各クライアントＰＣの同期調整処理を実行する。
【００７９】
各クライアントＰＣの各時刻１〜４における処理フレームＮｏ．を統一する処理として実行される。図８（ｅ）に示すように、時刻１〜４において、
時刻１においては、全てのＰＣの収録フレーム＝３
時刻２においては、全てのＰＣの収録フレーム＝７
時刻３においては、全てのＰＣの収録フレーム＝１１
時刻４においては、全てのＰＣの収録フレーム＝１５
とした設定が実行される。
【００８０】
例えばＰＣ１設定フレームＮｏ．は、基準ＰＣ（ＰＣ２）の設定フレームＮｏ．との差が３であると判定されるので、ＰＣ１設定フレームＮｏから差３を差し引いた値を、ＰＣ１における新たなフレームＮｏ．として設定する。また、ＰＣｋ設定フレームＮｏ．は、基準ＰＣ（ＰＣ２）の設定フレームＮｏ．との差が２であると判定されるので、ＰＣｋ設定フレームＮｏから差２を差し引いた値を、ＰＣ１における新たなフレームＮｏ．として各時刻において設定する。
【００８１】
このように各クライアントＰＣにおける同期調整処理を実行することにより、正確なフレーム間同期が可能となる。
【００８２】
上述した本発明の多視点画像記録装置における処理の効果について、図９および図１０を参照して説明する。図９は、上述の同期合わせ処理を実行しない場合における各カメラ画像の各時間における収録フレームを示したものである。横軸が時間経過であり、上段からカメラ１の収録映像、カメラ２の収録映像、カメラｋの収録映像を示している。同一時刻における各カメラのフレーム（縦列３画像）において、人物の手の上げ下ろしに差があり、異なる時間におけるフレーム画像が混在してしまっていることが分かる。
【００８３】
一方、図１０は、上述の同期合わせ処理を実行した場合における各カメラ画像の各時間における収録フレームを示したものである。横軸が時間経過であり、上段からカメラ１の収録映像、カメラ２の収録映像、カメラｋの収録映像を示している。同一時刻における各カメラのフレーム（縦列３画像）において、人物の手の上げ下ろしに差がなく、同一時間におけるフレーム画像が各視点画像として設定され、正しい同期処理がなされていることが理解される。
【００８４】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【００８５】
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【００８６】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ），ＭＯ（Ｍａｇｎｅｔｏ　ｏｐｔｉｃａｌ）ディスク，ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【００８７】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【００８８】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【００８９】
【発明の効果】
以上説明してきたように、本発明の構成によれば、多視点画像を撮影するカメラ撮影画像のフレーム間の同期合わせが正確に実行可能となり、撮影後の映像についての再生、カメラ切り換え処理を行なった場合において、切り換え時の被写体のぶれ等、表示態様の突然の変化が発生することのない良好な画像が提供可能となる。
【００９０】
また、本発明の構成によれば、画像記録処理装置に対して、収録画像フレーム番号の保存要求コマンドを複数回出力する処理を実行し、各コマンドに対応する時刻における収録画像フレーム番号に基づいて各画像記録処理装置における処理フレーム番号の差分データを算出し、該算出差分データに基づいて各画像記録処理装置のフレーム同期処理を実行する構成としたので、正確な各画像記録処理装置間の差分算出が可能となり、より正確な同期処理が実現される。
【００９１】
さらに、本発明の構成によれば、収録画像フレーム番号の保存要求コマンドの先行コマンド送信終了後から次コマンド出力開始間隔：Ｔを、Ｔ＝処理画像フレーム間隔×ｎ、ただしｎは自然数とした設定において実行する構成としたので、各画像記録紙を理装置におけるフレーム処理同一タイミングでのフレーム番号保存が実行されることがなく、例えば２フレームの中間での保存要求が連続して発生することがなく、より正確なフレーム番号保存が可能となる。
【図面の簡単な説明】
【図１】多視点画像記録装置の構成を示す図である。
【図２】多視点画像記録装置の画像記録処理装置における映像信号処理部の詳細を示すブロック図である。
【図３】多視点画像記録装置における各時間における処理フレームの遷移を説明する図である。
【図４】多視点画像記録装置における画像記録処理装置におけるフレーム同期処理について説明する図である。
【図５】多視点画像記録装置における各時間における処理フレームの遷移、および処理フレームの保存要求コマンドの発行タイミングについて説明する図である。
【図６】処理フレームの保存要求コマンドに対して画像記録処理装置の生成するデータ例を説明する図である。
【図７】多視点画像記録装置におけるサーバと画像記録処理装置における処理について説明するフロー図である。
【図８】多視点画像記録装置におけるサーバの実行するフレーム同期処理について説明する図である。
【図９】フレーム同期処理を実行していない多視点画像におけるフレーム画像構成について説明する図である。
【図１０】フレーム同期処理を実行した多視点画像におけるフレーム画像構成について説明する図である。
【符号の説明】
１１０　カメラ
１２０　同期信号発生器
１３０　ＤＶコンバータ
１５０　クライアントＰＣ
１５１　映像信号処理部
１５２　記憶手段
１５３　ネットワークカード
１６０　画像モニタ
１７０　サーバーＰＣ
２１１　ＣＰＵ
２１２　ＲＡＭ
２１３　ＲＯＭ
２１４　１３９４ポート
２１５　ＬＩＮＫ／ＰＨＹ
２１６　記憶手段Ｉ／Ｆ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a multi-view image recording device, a multi-view image frame synchronization processing method, and a computer program. More specifically, it enables efficient recording of multi-viewpoint images obtained by photographing a subject with a plurality of cameras arranged at different positions. -View image recording apparatus, a multi-view image frame synchronization processing method, and a computer program, which are capable of recording in a storage device such as a hard disk or a memory on a general-purpose PC having a network synchronization mechanism in a frame synchronization manner.
[0002]
[Prior art]
2. Description of the Related Art In recent years, use of image data, such as panorama and omnidirectional images, in which a viewpoint can be variously moved has become active. For example, when an image of a subject captured from a plurality of viewpoint positions and line-of-sight directions is stored in a storage medium such as a DVD or a CD, and the stored image is displayed on a CRT or a liquid crystal display device, the user operates the controller to operate the controller. A system for observing an image of a subject by moving a viewpoint to a free position has been realized. In addition, images obtained by photographing a subject from a plurality of viewpoint positions and line-of-sight directions are distributed via a communication system such as the Internet, and a user operates a mouse on a PC or the like to display an image from a desired viewpoint position and line-of-sight direction on a display. A display system and the like are constructed.
[0003]
With the improvement of computer processing capability and the development of various video media playback devices, it became possible to process huge polygon data and video data (content), which were previously difficult, and images were taken with multiple cameras with different viewpoints. 2. Description of the Related Art Real world video data is processed by a computer, a video device, or the like, and an arbitrary viewpoint video according to a user's request can be generated and expressed in real time.
[0004]
In order to generate and represent arbitrary viewpoint video content by computer processing, it is necessary to synchronously record video from a plurality of cameras. Conventional multi-view video recording systems include, for example, (1) a system for synchronously recording a plurality of camera images by providing a dedicated image input system having a synchronization mechanism and a dedicated real-time video recording device; There is a system in which a plurality of camera images are recorded using a video recording device such as a dibetter, and at the same time, audio and key frame images are also recorded, and the synchronization between the plurality of camera images is synchronized by a manual operation thereafter.
[0005]
However, among these systems, in the system (1), a dedicated image input system and a video recording device having a synchronization mechanism are expensive and large, and video recording for a long time becomes difficult. There are drawbacks. Further, the system of (2) for recording video by a digibetter or the like and synchronizing the video of each camera by manual operation after that requires a huge amount of time and labor for synchronizing, and conversion of video data format is also required. The disadvantage is that much effort and time is spent.
[0006]
[Problems to be solved by the invention]
SUMMARY OF THE INVENTION The present invention has been made in view of the above-mentioned problems, and has been made in consideration of the above-described problems. A general-purpose PC equipped with a network synchronization mechanism converts images captured by a plurality of cameras having different viewpoints into digital images using a DV converter. By recording directly on the upper hard disk, it is possible to record multi-view images with a small and simple system, record for a long time, and eliminate the need for manual work such as synchronization. It is an object of the present invention to provide a viewpoint image recording device, a multi-view image frame synchronization processing method, and a computer program.
[0007]
Specifically, a synchronization signal is supplied to all cameras equipped with an external synchronization mechanism, and the video observed by each camera is compressed and converted into a digital video by a DV converter, and each general-purpose video camera equipped with a network synchronization mechanism is provided. The images are directly recorded on a hard disk through, for example, a 1394 capture board mounted on a PC.
[0008]
At that time, one of the general-purpose PCs was named a server PC, and the others were named client PCs. When recording video, first, a command of “capture start” is transmitted from the server PC to each client PC. After a certain period of time, the server PC sends a command “record frame number currently being recorded” (measurement point) to each client PC again, and the current operation status of each client PC (the number of frames captured) Investigate) and save as measurement data. Further, the measurement data is reported from each client PC to the server PC, and the synchronization processing of the recorded video is automatically performed based on the reported measurement data (frame number being recorded) of each client PC. Also, in order to improve the accuracy of the synchronization process, a "measurement point" command is transmitted from the server PC to each client PC several times within a certain time interval, and the operation status of the client PC at each time (frame number being recorded). Find out. Further, the present invention provides an apparatus and a method in which those results are reported to a server PC, and more reliable synchronization processing can be performed on each client PC by statistical data processing on the server PC.
[0009]
[Means for Solving the Problems]
According to a first aspect of the present invention,
A multi-view image recording device that captures and records images from multiple viewpoints with multiple cameras,
A plurality of image recording processing devices each including a storage unit for inputting captured image data of each camera constituting the plurality of cameras and recording the input image data; and processing the plurality of image recording processing devices. A server device for outputting a command,
The server device,
A request to save the recorded image frame number at a predetermined time is output to the plurality of image recording processing devices, and in each image recording processing device based on the recorded image frame numbers stored in the plurality of image recording processing devices. A multi-view image recording apparatus is characterized in that it has a configuration for calculating difference data of a processing frame number and executing frame synchronization processing of each image recording processing apparatus based on the calculated difference data.
[0010]
Further, in one embodiment of the multi-viewpoint image recording apparatus of the present invention, the server apparatus executes a process of outputting a stored image frame number storage request command to the plurality of image recording processing apparatuses a plurality of times. Wherein the plurality of image recording processing devices have a configuration for executing a process of storing a recorded image frame number at a time corresponding to each command in response to reception of a command a plurality of times, and the server device includes: The difference data of the processing frame number in each image recording processing device is calculated based on the plurality of recorded image frame numbers at different times stored in the plurality of image recording processing devices, and each image recording process is performed based on the calculated difference data. It is characterized by having a configuration for executing frame synchronization processing of the device.
[0011]
Further, in one embodiment of the multi-viewpoint image recording device of the present invention, the server device records the plurality of image recordings based on a plurality of recorded image frame numbers at different times stored in the plurality of image recording processing devices. The average value of the difference data of the processing frame number with the reference image recording processing device selected from the processing device is calculated, and the frame synchronization process of each image recording processing device is executed based on the calculated difference data average value. It is characterized by the following.
[0012]
Further, in one embodiment of the multi-viewpoint image recording apparatus of the present invention, the server apparatus executes a process of outputting a stored image frame number storage request command to the plurality of image recording processing apparatuses a plurality of times. And after the transmission of the preceding command of the save request command, the next command output start interval: T is executed at a setting of T = processed image frame interval × n, where n is a natural number. .
[0013]
Further, a second aspect of the present invention provides
This is a multi-view image frame synchronization processing method related to a multi-view image recorded by capturing images from a plurality of viewpoints by a plurality of cameras,
In a plurality of image recording processing devices, an image recording step of inputting captured image data of each camera constituting the plurality of cameras, and recording the input image data;
A frame number storage request command output for outputting a storage request of a recorded image frame number at a predetermined time from the server device capable of outputting a processing command to the plurality of image recording processing devices to the plurality of image recording processing devices. Steps and
Receiving a frame number storage request command in the plurality of image recording processing devices, a recorded image frame number saving step of executing a process of saving a recorded image frame number at a time corresponding to the command,
Calculating difference data of a processing frame number in each image recording processing apparatus based on the recorded image frame numbers stored in the plurality of image recording processing apparatuses; and performing frame synchronization processing of each image recording processing apparatus based on the calculated difference data. A synchronous processing execution step of executing
And a multi-view image frame synchronization processing method.
[0014]
Further, in one embodiment of the multi-view image frame synchronization processing method according to the present invention, in the multi-view image frame synchronization processing method, the frame number storage request command output step and the recorded image frame number storage step may be performed in a predetermined manner. Executing a plurality of times consecutively at each time interval, wherein the synchronizing process execution step is performed based on a plurality of recorded image frame numbers at different times stored in the plurality of image recording processing devices. And calculating the difference data of the processing frame number in the step (a), and executing the frame synchronization process of each image recording processing device based on the calculated difference data.
[0015]
Further, in one embodiment of the multi-view image frame synchronization processing method of the present invention, the synchronization processing execution step is based on a plurality of recorded image frame numbers at different times stored in the plurality of image recording processing devices, The average value of the difference data of the processing frame numbers with the reference image recording processing device selected from the plurality of image recording processing devices is calculated, and the frame synchronization process of each image recording processing device is executed based on the calculated difference data average value. The step of performing
[0016]
Further, in one embodiment of the multi-viewpoint image frame synchronization processing method according to the present invention, in the frame number storage request command output process in the frame number storage request command output step, a next command output start interval: T after completion of transmission of the preceding command. T = processed image frame interval × n, where n is a natural number.
[0017]
Further, a third aspect of the present invention provides
A computer program for taking images from a plurality of viewpoints by a plurality of cameras and executing a multi-view image frame synchronization process on the recorded multi-view images, wherein each of the plurality of cameras constituting the plurality of cameras in a plurality of image recording processing devices An image recording step of inputting captured image data and recording the input image data,
A frame number storage request command output for outputting a storage request of a recorded image frame number at a predetermined time from the server device capable of outputting a processing command to the plurality of image recording processing devices to the plurality of image recording processing devices. Steps and
Receiving a frame number storage request command in the plurality of image recording processing devices, a recorded image frame number saving step of executing a process of saving a recorded image frame number at a time corresponding to the command,
Calculating difference data of a processing frame number in each image recording processing apparatus based on the recorded image frame numbers stored in the plurality of image recording processing apparatuses; and performing frame synchronization processing of each image recording processing apparatus based on the calculated difference data. A synchronous processing execution step of executing
A computer program characterized by having:
[0018]
[Action]
According to the configuration of the present invention, it is possible to accurately perform synchronization between frames of a camera-captured image that captures a multi-viewpoint image. It is possible to provide a good image without a sudden change in the display mode such as blurring of a subject.
[0019]
Further, according to the configuration of the present invention, the image recording processing device executes a process of outputting a stored image frame number storage request command a plurality of times, based on the recorded image frame number at the time corresponding to each command. Since the difference data of the processing frame number in each image recording processing device is calculated, and the frame synchronization process of each image recording processing device is executed based on the calculated difference data, the difference between each image recording processing device can be accurately calculated. Calculation becomes possible, and more accurate synchronization processing is realized.
[0020]
Furthermore, according to the configuration of the present invention, after the transmission of the preceding command of the storage request command of the recorded image frame number, the next command output start interval: T is set, where T = processed image frame interval × n, where n is a natural number. , The frame number is not saved at the same timing as the frame processing of each image recording paper in the physical device. For example, a save request in the middle of two frames may occur continuously. And save more accurate frame numbers.
[0021]
The computer program of the present invention is provided, for example, in a computer-readable format for a general-purpose computer system capable of executing various program codes, in a storage medium or communication medium such as a CD, FD, or MO. And a computer program that can be provided by a communication medium such as a network. By providing such a program in a computer-readable format, processing according to the program is realized on a computer system.
[0022]
Further objects, features, and advantages of the present invention will become apparent from a more detailed description based on embodiments of the present invention described below and the accompanying drawings. In this specification, the term “system” refers to a logical set of a plurality of devices, and is not limited to a device having each configuration in the same housing.
[0023]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of a multi-view image recording apparatus and a multi-view image frame synchronization processing method of the present invention will be described in detail with reference to the drawings.
[0024]
FIG. 1 is a block diagram showing one embodiment of the multi-viewpoint image recording apparatus of the present invention. The cameras 110 of the cameras 1 to K, which capture subject images from different viewpoints, input the synchronization signals (horizontal and vertical synchronization signals) output from the synchronization signal generator 120 via external synchronization input terminals of the cameras, A plurality of videos of multiple viewpoints observed by a plurality of cameras 1 to K are output as synchronized videos.
[0025]
Each camera output video is a video signal such as a Y / C signal or the like as a difference signal (C) between a luminance signal (Y) and an RGB color component signal, and each camera sets a video signal corresponding to each camera. Input to the converted DV converter 130. The DV converter 130 converts a video signal input from the camera 110 into digital data and, if necessary, converts the video signal into compressed data (for example, motion JPEG), and records the processed data. The image data is output to client PCs (PC1 to PCk) 150 and an image monitor 160 as image recording processing devices.
[0026]
The client PC (PC1 to PCk) 150 as an image recording processing device includes a recording medium 156 for recording data, for example, a hard disk, a DVD, a CD, and the like.
[0027]
The video signal input from the DV converter 130 to the client PC (PC1 to PCk) 150 is input to the video signal processing unit 155 in the client PC (PC1 to PCk) 150. The video signal processing unit 155 is composed of, for example, a 1394 DV capture board.
[0028]
The plurality of PCs 1 to PCk constituting the client PC 150 record DV images from each camera on the hard disk 156 in each PC by DV capture software executable on a general-purpose PC. The client PCs (PC1 to PCk) 150 and the server PC 170 are connected by a network card 157 as a network interface mounted on each PC and a network 180. By outputting a recording start command to the client PCs 150, each client PC 150 can start recording simultaneously.
[0029]
FIG. 2 shows a configuration example of the video signal processing unit 155 in the client PC 150, which is configured by, for example, a 1394 DV capture board.
[0030]
An IEEE 1394 port (hereinafter, 1394 port) 214 and a LINK / PHY 215 take in a DV (digital video) signal processed by the DV converter 130. The 1394 port 214 is an input port for receiving a DV signal, and the input DV signal is transmitted to the LINK / PHY 215. The LINK / PHY 215 temporarily stores the input DV image data in the RAM 212 as buffer means.
[0031]
The RAM 212 functions as an image data storage unit including a buffer that stores the captured DV image data. The image data primarily recorded in the RAM 212 is output to and stored in a storage unit 290 such as an HDD or a DVD via the storage unit I / F 217 under the control of the CPU 211. As described above, the client PCs (PC1 to PCk) 150 and the server PC 170 are connected by the network card 157 as a network interface mounted on each PC and the network 180. ＰＣPCk) 150 by outputting a recording start command to each client PC 150, so that each client PC 150 can simultaneously start recording, that is, start data storage processing in storage means 290 such as an HDD or a DVD.
[0032]
The CPU 211 controls the entire apparatus relating to capturing and storing image data, and functions as image data control means for controlling the entire flow of DV image data. The CPU 211 controls the flow of image data according to a program stored in the ROM 216.
[0033]
The program stored in the ROM 216 is, for example, DV capture software that can be executed on a general-purpose PC. The program is executed by a recording start command from a server PC, and the client PCs start recording all at once.
[0034]
However, in general, even if a command to execute DV capture is transmitted from the server PC 170 to each of the client PCs 150, frame images at the same time are not necessarily captured, that is, stored in the storage means, depending on the state and individual difference of each PC. Therefore, it is necessary to perform synchronization processing of the video recorded by each client PC.
[0035]
FIG. 3 shows a method and timing of synchronizing a multi-view video by measuring the recording frame number of each client PC.
[0036]
3 shows the lapse of time (t) from left to right. FIG. 3A shows the frame number (frame No.) of the output time-series video output from each camera 110 to the DV converter 130 at each time. Is shown. FIG. 3B shows the frame number (frame No.) of the output time-series video to be processed by the DV converter 130 and output to the client PC 150.
[0037]
The DV converter 130 performs digital conversion of an input image from the camera 110 and performs compression processing as necessary. The example in FIG. 3 shows that the processing time required is a time equivalent to two frame images (33.3 × 2). That is, the DV converter 130 is delayed by two frames as the video delay.
[0038]
FIG. 3C shows the transmission timing of the recording start and synchronization command from the server PC 170 to each client PC 150. A recording start command is transmitted from the server PC 170 to each client PC 150, and each client PC starts video recording based on the command. However, due to the status of each client PC, for example, a difference in the execution status of other programs, etc. , A difference occurs in the processing time corresponding to the command.
[0039]
Due to the difference in the response time to this command, the same frame number is assigned to frames in which the frame numbers of the recorded images of the client PCs 1 to k are different from each other.
[0040]
For example, in the figure, (d) the client PC 1 assigns its own set frame number 1 to the DV output frame 4. In the figure, two-stage frame numbers shown in (d), (e), and (f) are used. The lower and middle rows indicate the self-set frame Nos. Set for the frames stored in the storage means by each client PC. And (x) at the top indicates a DV output frame. That is, (d) the client PC 1 starts the data recording process after a time delay equivalent to three frames from the reception of the command, and sets the DV output frame (4) to the self-set frame No. = 1. Thereafter, the DV output frame (5) is set to the self-set frame No. = 2 and (6) → 3...
[0041]
(E) The client PC 2 assigns its own set frame number 1 to the DV output frame 7. That is, (e) the client PC 2 starts the data recording process after a time delay equivalent to six frames from the command reception, and sets the DV output frame (7) to the self-set frame No. = 1. Thereafter, the DV output frame (8) is set to the self-set frame No. = 2 and (9) → 3...
[0042]
(F) The client PCk assigns its own set frame number 1 to the DV output frame 5. That is, (f) the client PCk starts the data recording process after a time delay equivalent to four frames from the command reception, and sets the DV output frame (5) to the self-set frame No. = 1. Thereafter, the DV output frame (6) is set to the self-set frame No. = 2, and (7) → 3...
[0043]
As described above, in the example of FIG. 3, the PC1 is executing the image data storing process with the delay of 3 frames, the PC2 with the delay of 6 frames, and the PCk with the delay of 4 frames.
[0044]
As described above, when the setting frame of the image data stored in the storage means of each client PC does not match, if the reproduction is executed as it is, the image of the frame No. 1 frame is output as the DV output in the case of PC1. The frame (4), in the case of PC2, is a DV output frame (7), and in the case of PCk, it is a DV output frame (5), which causes inconvenience in synthesizing or switching multi-viewpoint images. become.
[0045]
Therefore, it is necessary to match the frame numbers of the videos recorded in each client PC. This operation is performed, for example, after a lapse of a certain period of time after the start of recording (the response time is longer than that of each client PC), the server PC transmits to each client PC “Save the currently recorded frame number. Is transmitted, each client PC saves the measurement data (frame number) at that time, and after the recording is completed, reports each measurement data to the server PC. Finally, a synchronization process can be performed by the server PC based on the measurement data.
[0046]
In FIG. 3, the recording frame measurement point 301 corresponds to a “save frame number currently recorded” command from the server PC to each client PC.
[0047]
This correction processing will be described with reference to FIGS. At the recording frame measurement point shown in FIG. 3, the client PCs 1 to k set the frame No. set for the recording image frame. Indicates that the frame number is PC1. 6, PC2 is the frame No. 3, PCk is the frame No. 5
[0048]
That is, the setting frame No. of each PC at the PC recording time τ before the synchronization correction in FIG. As shown in the column, each client PC stores a different frame No. for the frame (9) originally stored at the same time and at the same time. 6, 3,... 5 will be set. This shift is the same at the subsequent time (τ + 1). For the frame (10) originally at the same time, each client PC sends a different frame No. 7, 4,... 6 are set.
[0049]
Therefore, an operation of matching the frame numbers of the images recorded in each client PC is executed. Among the client PCs, the one with the longest response time, in this case, the frame number with the smallest numerical value. (At time τ, the frame number set by the PC2 = 3) is set to the set frame number of each client PC. Is performed.
[0050]
The frame No. The setting state is the data state after the synchronization correction in FIG. As a result of the correction, at the recording time τ, the frame No. unified to the frame recorded by each of the client PCs 1 to k. = 3 is reset. Hereinafter, similarly, at the recording time τ + 1, the frame No. unified to the frame recorded by each of the client PCs 1 to k. = 4 is set, and the frames recorded at the same time are unified frame Nos. Is set, and at the time of reproduction, the frame No. , The multi-view images at the same time can be accurately extracted.
[0051]
However, when executing the above-described correction processing, the issuance timing of the recording frame measurement command (301 in FIG. 3) transmitted from the server PC 170 to each client PC 150 corresponds to the time for switching frames in each client PC 150. In this case, it may not be possible to determine which frame number of two consecutive frames should be recorded and reported, and the frame number report may be erroneously made. In order to prevent such a one-frame synchronization shift, it is necessary to increase the accuracy of the measurement data reported from each client PC.
[0052]
FIG. 5 is a diagram for explaining a process of synchronizing a recorded image frame in each client PC executed in the multi-viewpoint image recording apparatus of the present invention. In the multi-viewpoint image recording apparatus of the present invention, a plurality of frame number measurements are performed to improve the synchronization accuracy.
[0053]
In the multi-viewpoint image recording apparatus of the present invention, the “save current recording frame number” command is transmitted from the server PC 170 to each client PC 150 a plurality of times within a certain time interval. The measuring points 1 to 4 shown in FIG. 5 are these command transmission timings.
[0054]
Each client PC 150 stores a plurality of measurement data, that is, a frame number of which data is being stored in a storage unit such as an HDD when receiving a command from the server PC 170, in response to a plurality of commands from the server PC 170. I do.
[0055]
After the recording process of the image data is completed, each client PC 150 obtains the measurement data, that is, the recording frame data corresponding to a plurality of measurement points, for example, the recording frame numbers corresponding to the measurement points 1 to n shown in FIG. . The data is collectively transmitted to the server PC 170 and reported.
[0056]
The server PC 170 performs a statistical process on the measurement data reported from each client PC 150, for example, a process of obtaining an average value of a time difference between each measurement point, thereby accurately detecting a frame shift due to an individual difference of each PC. It can be corrected well.
[0057]
Also, in order to prevent the “current recording frame number storage” command repeatedly transmitted from the server PC 170 to the client PC 150 from having the same frame processing timing in each client PC, the output of the next command is started after the transmission of the preceding command is completed. Interval: T,
T = frame interval × n,
Here, n is a natural number.
[0058]
When the frame interval is, for example, 33.3 ms, T is set to 33.3 × n. By setting the command transmission interval: T in this way, if the time width of the timer required for command identification is t, the p-th “current recording frame number storage” command and the p + 1-th “current recording frame number” The reception timing of the “frame number storage” command in each client PC is T + t, and T is the frame interval × n, so that the counting at the same timing of the frame processing is prevented. The maximum number of measurement points is 33.3 ms / t (number of times).
[0059]
For example, even if the client PC receives the p-th “save current recording frame number” command at the midpoint between two processing frames, the next measurement point is the same as the midpoint between the two processing frames. It will not be. With such a setting, it is possible to accurately execute at least most of the “current recording frame number storage processing” in the multiple “current recording frame number storage” processing.
[0060]
The processing procedure in the server PC and the client PC will be described with reference to FIG. In FIG. 7, each processing step S101 to S106 in the left column is processing of the server PC, and each processing step S201 to S205 in the right column is processing of each client PC.
[0061]
First, in step S101, a recording start command is transmitted from the server PC to each client PC. In step S201, each client PC receives a recording start command.
[0062]
Next, the server PC transmits the command of the frame measurement point 1 to each client PC after a predetermined time interval has elapsed. The command of the first frame measurement point 1 is issued after a predetermined time interval has elapsed after the output of the recording start command. The certain time is a time that is set in advance as a time when it is determined that the data recording process is going to be performed in all the client PCs, and is set as a time longer than the predicted maximum time of the processing response time of the client PC. Is done.
[0063]
Upon receiving the command of the frame measurement point 1 in step S202, each client PC stores the frame number during recording at the measurement point 1.
[0064]
In step S103, the server PC transmits the command at the frame measurement point 2 to each client PC after a lapse of a time interval T (n × 33.3 ms) after outputting the command at the frame measurement point 1. Each client PC receives the command of the frame measurement point 2 in step S203, and stores the frame number during recording at the measurement point 2.
[0065]
Such measurement is performed a plurality of times (k times: for example, k = 10). In step S104, the server PC transmits the command at the frame measurement point k to each client PC after a time interval T (n × 33.3 ms) has elapsed after outputting the command at the frame measurement point k-1. In step S204, each client PC receives the command of the frame measurement point k, and stores the currently-recorded frame number at the measurement point k.
[0066]
When the video recording by each client PC is completed, each client PC reports the frame numbers at the measurement points 1 to k stored in each client PC to the server PC in step S205.
[0067]
In step S105, the server PC receives measurement point (frame number) data from each client PC. This data is the correspondence data between the measurement points and the recording frames as described above with reference to FIG.
[0068]
Next, in step S106, the server PC performs a statistical process based on the data received from each client PC (see FIG. 6), for example, a process of acquiring the average value of the time difference between the measurement points, thereby obtaining To correct the frame shift due to the individual difference of the camera and realize the synchronization adjustment between the camera images.
[0069]
Next, the details of the synchronization adjustment process executed by the server PC will be described with reference to FIG. First, in step S301, the server PC reads the recording frame number data of each PC at each measurement point input from each client PC. This is the data shown in the data example (a) of FIG. 8, for example.
[0070]
Here, it is assumed that the server PC has acquired the recording frame numbers at four measurement points (measurement points 1 to 4) from a plurality of client PCs (PC1 to PCk).
[0071]
According to the list of recording frame numbers of each PC at each measurement point input from each client PC in FIG. 8A, for example, PC1
At measuring point 1, recording processing frame = 6,
At measuring point 2, recording processing frame = 10,
At measuring point 3, recording processing frame = 14,
At measuring point 4, recording processing frame = 19,
Indicates that the frame number is stored at each measurement point in response to the “save current recording frame number” command from the server PC.
[0072]
Next, in step S302, the server PC receives the frame No. in the PC having a large processing delay amount, in this case, the measurement side point 1. 3 is set as a reference PC, and a frame shift amount of each PC from the reference PC is calculated.
[0073]
As a result of this processing, the frame shift amount of the video recorded in each PC at each measurement point (b) shown in FIG. 8 is obtained. In the example shown in FIG. 8, PC2 is used as a reference, and PC2 has a displacement amount = 0 at all measurement points. Further, for example, the displacement amount of PC1 is obtained at each measurement point by the recording processing frame of PC1−the recording processing frame of PC2. As a result, the displacement amount of PC1 is
At measurement side point 1, shift amount = 6−3 = 3
At measurement side point 2, deviation amount = 10−7 = 3
At the measurement point 3, the shift amount = 14−11 = 3
At measurement side point 4, deviation amount = 19−15 = 3
It becomes.
[0074]
For other PCs, PC3 to PCk, the recording frame No. with PC2. Is obtained as a deviation amount.
[0075]
Next, in step S303, a process of determining the shift amount of each PC from the reference PC = PC2 is performed. This is performed, for example, by calculating the average value of the shift amounts at each measurement point of each PC, and calculating an integer value based on the average value by rounding.
[0076]
FIG. 8C shows data obtained by calculating the average value of the shift amount at each measurement point of each PC. The deviation amount of PC1 from PC2 is
(3 + 3 + 3 + 4) /4=3.25
It becomes.
[0077]
FIG. 8D shows data obtained by rounding off the average value of the shift amount at each measurement point of each PC.
The shift amount of PC1 with respect to PC2 is 3,
The shift amount of PCk with respect to PC2 is 2.
In this way, the amount of deviation of each client PC from the reference PC (PC2) is determined.
[0078]
Next, in step S304, the server PC executes a synchronization adjustment process of each client PC based on the calculated shift amount of each PC.
[0079]
The processing frame No. at each time 1 to 4 of each client PC. This is executed as a process for unifying. As shown in FIG. 8E, at times 1 to 4,
At time 1, the recording frames of all PCs = 3
At time 2, the recording frames of all PCs = 7
At time 3, the recording frames of all PCs = 11
At time 4, the recording frames of all PCs = 15
Is set.
[0080]
For example, the PC1 setting frame No. Is the setting frame No. of the reference PC (PC2). Is determined to be 3, and a value obtained by subtracting the difference 3 from the PC1 set frame No. is added to the new frame No. in PC1. Set as The PCk setting frame No. Is the setting frame No. of the reference PC (PC2). Is determined to be 2, the value obtained by subtracting the difference 2 from the PCk setting frame No. is used as the new frame No. in PC1. Is set at each time.
[0081]
Executing the synchronization adjustment processing in each client PC in this manner enables accurate inter-frame synchronization.
[0082]
The effects of the processing in the above-described multi-viewpoint image recording apparatus of the present invention will be described with reference to FIGS. FIG. 9 shows recording frames of each camera image at each time when the above-described synchronization processing is not performed. The horizontal axis indicates the time elapsed, and shows the recorded image of camera 1, the recorded image of camera 2, and the recorded image of camera k from the top. It can be seen that there is a difference in raising and lowering the hand of the person in the frames (three images in a column) of each camera at the same time, and the frame images at different times are mixed.
[0083]
On the other hand, FIG. 10 shows recording frames of each camera image at each time when the above-described synchronization processing is executed. The horizontal axis indicates the time elapsed, and shows the recorded image of camera 1, the recorded image of camera 2, and the recorded image of camera k from the top. It can be understood that there is no difference in raising and lowering the hand of the person in the frames (three images in a column) of the cameras at the same time, and the frame images at the same time are set as the viewpoint images, and the correct synchronization processing is performed.
[0084]
The present invention has been described in detail with reference to the specific embodiments. However, it is obvious that those skilled in the art can modify or substitute the embodiment without departing from the spirit of the present invention. That is, the present invention has been disclosed by way of example, and should not be construed as limiting. In order to determine the gist of the present invention, the claims described at the beginning should be considered.
[0085]
The series of processes described in the specification can be executed by hardware, software, or a combined configuration of both. When executing the processing by software, the program recording the processing sequence is installed in a memory in a computer embedded in dedicated hardware and executed, or the program is stored in a general-purpose computer capable of executing various processing. It can be installed and run.
[0086]
For example, the program can be recorded in a hard disk or a ROM (Read Only Memory) as a recording medium in advance. Alternatively, the program is temporarily or permanently stored on a removable recording medium such as a flexible disk, a CD-ROM (Compact Disc Only Memory), an MO (Magneto optical) disk, a DVD (Digital Versatile Disc), a magnetic disk, or a semiconductor memory. It can be stored (recorded). Such a removable recording medium can be provided as so-called package software.
[0087]
The program is installed in the computer from the removable recording medium as described above, and is wirelessly transferred from the download site to the computer, or is transferred to the computer by wire via a network such as a LAN (Local Area Network) or the Internet. The computer can receive the program transferred in this way and install it on a recording medium such as a built-in hard disk.
[0088]
The various processes described in the specification may be executed not only in chronological order according to the description but also in parallel or individually according to the processing capability of the device that executes the processes or as necessary. Further, in this specification, a system is a logical set configuration of a plurality of devices, and is not limited to a device having each configuration in the same housing.
[0089]
【The invention's effect】
As described above, according to the configuration of the present invention, it is possible to accurately execute synchronization between frames of a camera captured image for capturing a multi-viewpoint image, perform playback of a captured video, and perform camera switching processing. In such a case, it is possible to provide a good image without a sudden change in the display mode such as a blur of the subject at the time of switching.
[0090]
Further, according to the configuration of the present invention, the image recording processing device executes a process of outputting a stored image frame number storage request command a plurality of times, based on the recorded image frame number at the time corresponding to each command. Since the difference data of the processing frame number in each image recording processing device is calculated, and the frame synchronization process of each image recording processing device is executed based on the calculated difference data, the difference between each image recording processing device can be accurately calculated. Calculation becomes possible, and more accurate synchronization processing is realized.
[0091]
Furthermore, according to the configuration of the present invention, after the transmission of the preceding command of the storage request command of the recorded image frame number, the next command output start interval: T is set, where T = processed image frame interval × n, where n is a natural number. , The frame number is not saved at the same timing as the frame processing of each image recording paper in the physical device. For example, a save request in the middle of two frames may occur continuously. And save more accurate frame numbers.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of a multi-viewpoint image recording device.
FIG. 2 is a block diagram illustrating details of a video signal processing unit in an image recording processing device of the multi-viewpoint image recording device.
FIG. 3 is a diagram illustrating transition of a processing frame at each time in a multi-viewpoint image recording apparatus.
FIG. 4 is a diagram illustrating frame synchronization processing in an image recording processing device in a multi-viewpoint image recording device.
FIG. 5 is a diagram for explaining transition of a processing frame at each time in the multi-viewpoint image recording apparatus, and timing of issuing a processing frame storage request command.
FIG. 6 is a diagram illustrating an example of data generated by the image recording processing apparatus in response to a processing frame storage request command.
FIG. 7 is a flowchart illustrating processing in a server and an image recording processing device in the multi-viewpoint image recording device.
FIG. 8 is a diagram illustrating a frame synchronization process executed by a server in the multi-viewpoint image recording apparatus.
FIG. 9 is a diagram illustrating a frame image configuration in a multi-viewpoint image in which frame synchronization processing has not been performed.
FIG. 10 is a diagram illustrating a frame image configuration in a multi-viewpoint image that has undergone frame synchronization processing.
[Explanation of symbols]
110 camera
120 Synchronous signal generator
130 DV Converter
150 Client PC
151 Video signal processing unit
152 storage means
153 network card
160 Image Monitor
170 Server PC
211 CPU
212 RAM
213 ROM
214 1394 ports
215 LINK / PHY
216 Storage means I / F

Claims

A multi-view image recording device that captures and records images from multiple viewpoints with multiple cameras,
A plurality of image recording processing devices each including a storage unit for inputting captured image data of each camera constituting the plurality of cameras and recording the input image data; and processing the plurality of image recording processing devices. A server device for outputting a command,
The server device,
A request to save the recorded image frame number at a predetermined time is output to the plurality of image recording processing devices, and in each image recording processing device based on the recorded image frame numbers stored in the plurality of image recording processing devices. A multi-viewpoint image recording apparatus having a configuration for calculating difference data of a processing frame number and executing frame synchronization processing of each image recording processing apparatus based on the calculated difference data.

The server device,
For the plurality of image recording processing devices, it is configured to execute a process of outputting a storage request command of the recorded image frame number a plurality of times,
The plurality of image recording processing devices,
In response to receiving the command a plurality of times, having a configuration for executing processing to save the recorded image frame number at the time corresponding to each command,
The server device,
The difference data of the processing frame number in each image recording processing device is calculated based on the plurality of recorded image frame numbers at different times stored in the plurality of image recording processing devices, and each image recording process is performed based on the calculated difference data. The multi-viewpoint image recording apparatus according to claim 1, further comprising a configuration for executing a frame synchronization process of the apparatus.

The server device,
Based on a plurality of recorded image frame numbers at different times stored in the plurality of image recording processing devices,
Calculate the average value of the difference data of the processing frame numbers with the reference image recording processing device selected from the plurality of image recording processing devices, and perform the frame synchronization processing of each image recording processing device based on the calculated difference data average value. 3. The multi-viewpoint image recording apparatus according to claim 2, wherein the apparatus has a configuration for executing the processing.

The server device,
For the plurality of image recording processing devices, it is configured to execute a process of outputting a storage request command of the recorded image frame number a plurality of times,
After the transmission of the preceding command of the storage request command is completed, the next command output start interval: T
T = processed image frame interval × n,
3. The multi-viewpoint image recording apparatus according to claim 2, wherein the configuration is executed in a setting where n is a natural number.

This is a multi-view image frame synchronization processing method related to a multi-view image recorded by capturing images from a plurality of viewpoints by a plurality of cameras,
In a plurality of image recording processing devices, an image recording step of inputting captured image data of each camera constituting the plurality of cameras, and recording the input image data;
A frame number storage request command output for outputting a storage request of a recorded image frame number at a predetermined time from the server device capable of outputting a processing command to the plurality of image recording processing devices to the plurality of image recording processing devices. Steps and
Receiving a frame number storage request command in the plurality of image recording processing devices, a recorded image frame number saving step of executing a process of saving a recorded image frame number at a time corresponding to the command,
Calculating difference data of a processing frame number in each image recording processing apparatus based on the recorded image frame numbers stored in the plurality of image recording processing apparatuses; and performing frame synchronization processing of each image recording processing apparatus based on the calculated difference data. A synchronous processing execution step of executing
And a multi-view image frame synchronization processing method.

In the multi-view image frame synchronization processing method,
Outputting the frame number storage request command, and
The recording image frame number storage step,
A step of continuously executing a plurality of times at predetermined time intervals,
The synchronous processing execution step includes:
The difference data of the processing frame number in each image recording processing device is calculated based on the plurality of recorded image frame numbers at different times stored in the plurality of image recording processing devices, and each image recording process is performed based on the calculated difference data. 6. The method according to claim 5, further comprising the step of executing a frame synchronization process of the apparatus.

The synchronous processing execution step includes:
Based on a plurality of recorded image frame numbers at different times stored in the plurality of image recording processing devices, an average of difference data of a processing frame number with a reference image recording processing device selected from the plurality of image recording processing devices 7. The multi-view image frame synchronization processing method according to claim 6, comprising calculating a value, and executing a frame synchronization process of each image recording processing device based on the calculated difference data average value.

In the frame number storage request command output process in the frame number storage request command output step, the next command output start interval: T after completion of the transmission of the preceding command,
T = processed image frame interval × n,
7. The method according to claim 6, wherein n is a natural number.

A computer program that performs multi-view image frame synchronization processing on a recorded multi-view image by capturing images from multiple viewpoints by a plurality of cameras,
In a plurality of image recording processing devices, an image recording step of inputting captured image data of each camera constituting the plurality of cameras, and recording the input image data;
A frame number storage request command output for outputting a storage request of a recorded image frame number at a predetermined time from the server device capable of outputting a processing command to the plurality of image recording processing devices to the plurality of image recording processing devices. Steps and
Receiving a frame number storage request command in the plurality of image recording processing devices, a recorded image frame number saving step of executing a process of saving a recorded image frame number at a time corresponding to the command,
Calculating difference data of a processing frame number in each image recording processing apparatus based on the recorded image frame numbers stored in the plurality of image recording processing apparatuses; and performing frame synchronization processing of each image recording processing apparatus based on the calculated difference data. A synchronous processing execution step of executing
A computer program comprising: