JP6218060B2 - Imaging apparatus and video data switching method - Google Patents
Imaging apparatus and video data switching method Download PDFInfo
- Publication number
- JP6218060B2 JP6218060B2 JP2013044358A JP2013044358A JP6218060B2 JP 6218060 B2 JP6218060 B2 JP 6218060B2 JP 2013044358 A JP2013044358 A JP 2013044358A JP 2013044358 A JP2013044358 A JP 2013044358A JP 6218060 B2 JP6218060 B2 JP 6218060B2
- Authority
- JP
- Japan
- Prior art keywords
- video data
- unit
- video
- imaging
- substitution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
Description
本発明は、映像データを切り替える撮像装置及び映像データ切替方法に関する。 The present invention relates to an imaging apparatus and a video data switching method for switching video data.
近年、撮像装置として、ウェアラブルカメラ装置又はアクションカメラ装置と呼ばれ、使用中には常時、周囲の状況の映像を録画（記録）可能なカメラ装置が知られている。カメラ装置のレンズは外見上露出していることが多いので、周囲の環境によっては、例えばレンズにキャップを装着させる等、第三者のプライバシーを侵害しないようなカメラ装置の使用がユーザには求められる。 2. Description of the Related Art In recent years, a camera device that is called a wearable camera device or an action camera device is known as an imaging device, and can record (record) images of surrounding conditions at all times during use. Since the lens of the camera device is often exposed in appearance, depending on the surrounding environment, the user is required to use a camera device that does not infringe the privacy of a third party, for example, by attaching a cap to the lens. It is done.
ここで、レンズの使用可否状態に応じて、動作モードを変更する先行技術として、例えば特許文献１に示す撮像装置が知られている。
Here, for example, an imaging apparatus disclosed in
特許文献１に示す撮像装置は、例えばレンズ鏡筒が撮像装置本体に装着されていない場合には、動作モードを音声記録モードに変更して音声データのみを記録する。また、撮像装置は、レンズ鏡筒が撮像装置本体に装着されている場合、レンズを通過する光量が所定のしきい値より小さいと動作モードを音声記録モードに変更して音声データのみを記録し、所定のしきい値より大きいと動作モードを動画記録モードに変更して動画像を記録する。
For example, when the lens barrel is not attached to the main body of the imaging apparatus, the imaging apparatus shown in
しかし、特許文献１の撮像装置の構成を例えば上述したウェアラブルカメラ装置又はアクションカメラ装置に適用すると、レンズキャップが装着されている場合には音声記録モードとなるので、ウェアラブルカメラ装置は、音声データのみ記録することができ、映像を撮像することができないという課題が生じる。
However, when the configuration of the imaging apparatus of
映像の撮像が困難な状況であったとしても、撮像時の周囲の状況を示す情報は、例えば何かの手掛かり若しくは根拠に使える等、有用性が高いことがある。このため、ユーザの使用目的によっては、映像の撮像の継続が困難な状況でも撮像時の周囲の状況を示す情報を取得できることは、撮像装置における一つの付加価値と考えることができる。 Even when it is difficult to capture a video, information indicating the surrounding situation at the time of imaging may be highly useful, for example, as a clue or basis for something. For this reason, depending on the user's purpose of use, it can be considered as one added value in the imaging apparatus to be able to acquire information indicating a surrounding situation at the time of imaging even in a situation where it is difficult to continue imaging.
本発明は、上述した従来の課題又は経緯に鑑みて、撮像の継続が困難な状況においても、撮像映像の代わりに、撮像時の状況を表す映像データを便宜的に得る撮像装置及び映像データ切替方法を提供することを目的とする。 In view of the above-described conventional problems or circumstances, the present invention provides an imaging device and video data switching that conveniently obtains video data representing a situation at the time of imaging instead of a captured video even in a situation where imaging is difficult to continue. It aims to provide a method.
本発明は、入力映像を撮像する撮像部と、所定のイベントとして、前記撮像部に入射する光の遮光を検出するイベント検出部と、前記撮像中における前記所定のイベントの検出に応じて、前記入力映像の撮像状況を表す代入映像データを生成する代入映像生成部と、前記所定のイベントの検出前又は検出後に応じて、符号化に用いる映像データを、撮像された入力映像データ又は生成された前記代入映像データに切り替える切替部と、前記所定のイベントの検出前に前記撮像された入力映像データと、前記所定のイベントの検出後に前記生成された代入映像データとを符号化する映像データ処理部と、符号化された前記入力映像データ及び前記代入映像データを映像ファイルとして蓄積する蓄積部と、を備える撮像装置である。 According to the present invention, an imaging unit that captures an input video, an event detection unit that detects a blocking of light incident on the imaging unit as a predetermined event, and the detection of the predetermined event during the imaging, Substitute video generation unit that generates substitution video data representing the imaging state of the input video, and video data used for encoding, or input video data used for encoding, according to before or after the detection of the predetermined event A switching unit that switches to the substitution video data, a video data processing unit that encodes the input video data captured before detection of the predetermined event, and the substitution video data generated after detection of the predetermined event And an accumulating unit that accumulates the encoded input video data and the substituted video data as a video file.
また、本発明は、入力映像を撮像するステップと、所定のイベントとして、前記入力映像を撮像する撮像部に入射する光の遮光を検出するステップと、前記撮像中における前記所定のイベントの検出に応じて、前記入力映像の撮像状況を表す代入映像データを生成するステップと、前記所定のイベントの検出前又は検出後に応じて、符号化に用いる映像データを、撮像された入力映像データ又は生成された前記代入映像データに切り替えるステップと、前記所定のイベントの検出前に撮像された入力映像データと、前記所定のイベントの検出後に生成された前記代入映像データとを符号化するステップと、符号化された前記入力映像データ及び前記代入映像データを映像ファイルとして蓄積するステップと、を有する映像データ切替方法である。 In addition, the present invention provides a step of capturing an input video, a step of detecting light shielding incident on an imaging unit that captures the input video as a predetermined event, and a detection of the predetermined event during the imaging. In response, the step of generating substitution video data representing the imaging state of the input video, and the video data used for encoding is generated or input video data to be encoded depending on before or after the detection of the predetermined event. Switching to the substituted video data; encoding input video data imaged before detection of the predetermined event; and encoding the substituted video data generated after detection of the predetermined event; And storing the input video data and the substituted video data as a video file. .
本発明によれば、撮像の継続が困難な状況においても、撮像映像の代わりに、撮像時の状況を表す映像データを便宜的に得ることができる。 According to the present invention, even in a situation where it is difficult to continue imaging, video data representing the situation at the time of imaging can be conveniently obtained instead of the captured video.
以下、本発明に係る撮像装置及び映像データ切替方法の実施形態について、図面を参照して説明する。本実施形態の撮像装置は、例えば撮影者が首に吊り下げて携帯し、常時、周囲の映像を記録（録画）可能なウェアラブルカメラに用いられる。 Embodiments of an imaging apparatus and a video data switching method according to the present invention will be described below with reference to the drawings. The imaging apparatus according to the present embodiment is used for a wearable camera that can be carried by a photographer hanging around a neck and capable of recording (recording) surrounding images at all times.
なお、本発明は、装置カテゴリの発明以外に、撮像装置が映像データを切り替える映像データ切替方法、即ち方法カテゴリの発明として表現することも可能である。 In addition to the device category invention, the present invention can also be expressed as a video data switching method in which the imaging device switches video data, that is, a method category invention.
（撮像装置の構成）
図１は、本実施形態の撮像装置１の内部構成を示すブロック図である。図１に示す撮像装置１は、レンズキャップ１１と、レンズ１２と、イメージセンサ１３と、映像生成切替部１４と、映像符号化部１５と、映像・音声蓄積部１６と、レンズキャップ装着判定部１７と、レンズキャップ装着時映像処理決定部１８と、代入映像生成部１９と、自位置取得部２１と、マイク部２２と、音声認識部２３と、音声符号化部２４と、画像処理部２５と、ネットワーク伝送部２６とを含む構成である。
(Configuration of imaging device)
FIG. 1 is a block diagram showing an internal configuration of the
遮光物の一例としてのレンズキャップ１１は、撮像装置１の筐体１ａの例えば前面に配置されたレンズ１２を覆い、レンズ１２に対して着脱自在である。
A
レンズ１２は、撮像装置１外から入射する光（光線）を集光し、イメージセンサ１３の所定の撮像面に結像させる。
The
イメージセンサ１３は、例えばＣＣＤ（Charged-Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）の固体撮像素子であり、撮像面に結像した光学像を電気信号に変換する。イメージセンサ１３の出力は、入力映像信号として、映像生成切替部１４に入力される。なお、レンズ１２及びイメージセンサ１３は、撮像装置１における撮像部としての機能を有する。
The
切替部としての映像生成切替部１４は、イメージセンサ１３の出力として入力された入力映像信号の電気信号を用いて、人が認識可能なＲＧＢ（Red Green Blue）又はＹＵＶ（輝度・色差）などにより規定される入力映像データを生成する。
The video
また、映像生成切替部１４は、レンズキャップ１１が筐体１ａに装着されているか否か、即ち後述するレンズキャップ装着判定部１７からのレンズキャップ装着有無情報に応じて、後述する映像符号化部１５における符号化処理に用いる映像データを、イメージセンサ１３の出力に対して生成された入力映像データ、又は後述する代入映像生成部１９が生成した代入映像データに切り替える。映像生成切替部１４は、切り替えられた入力映像データ又は代入映像データを映像符号化部１５に出力する。
Further, the video
具体的には、映像生成切替部１４は、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されたイベントが検出される前では、イメージセンサ１３の出力に対して生成された入力映像データを映像符号化部１５に出力する。また、映像生成切替部１４は、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されたイベントが検出された後では、代入映像生成部１９が生成した代入映像データを映像符号化部１５に出力する。
Specifically, the video
映像データ処理部としての映像符号化部１５は、映像生成切替部１４における切り替えによって出力された入力映像データ又は代入映像データを符号化して映像データを生成する。
A
具体的には、映像符号化部１５は、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されたイベントが検出される前では、イメージセンサ１３の出力に対して生成された入力映像データを符号化する。また、映像符号化部１５は、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されたイベントが検出された後では、代入映像生成部１９が生成した代入映像データを符号化する。映像符号化部１５は、符号化された入力映像データと代入映像データとを映像・音声蓄積部１６に出力する。
Specifically, the
蓄積部としての映像・音声蓄積部１６は、例えばハードディスク装置又はフラッシュメモリの記録媒体と、この記録媒体にデータを書き込んだり読み出したりするデータ管理部（不図示）とを含む構成である。
The video /
映像・音声蓄積部１６は、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されたイベントの検出前にイメージセンサ１３の出力に対して生成された入力映像データと、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されたイベントの検出後に代入映像生成部１９が生成した代入映像データとが符号化された映像データを映像ファイルとして蓄積する。
The video /
この映像ファイルは、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されたイベントの検出前にイメージセンサ１３の出力に対して生成された入力映像データの内容と、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されたイベントの検出後に代入映像生成部１９が生成した代入映像データの内容とが、時間的に連続するものである。
This video file includes the contents of the input video data generated for the output of the
また、映像・音声蓄積部１６は、後述する音声認識部２３が音声認識した認識結果データ又は音声符号化部２４が符号化した音声データを入力した場合には、映像符号化部１５が符号化した入力映像データ及び代入映像データと、認識結果データ又は符号化された音声データとを同期させた映像音声データを映像音声ファイルとして蓄積する。
In addition, the video /
また、映像・音声蓄積部１６は、映像ファイル又は映像音声ファイルのデータを、筐体１ａに挿抜自在に装着されるメモリカード３０に記録し、ネットワーク伝送部２６に出力する。
The video /
イベント検出部としてのレンズキャップ装着判定部１７は、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されたイベントを検出する。レンズキャップ装着判定部１７は、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されたイベントを検出した場合には、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着された旨のレンズキャップ装着有無情報を映像生成切替部１４に出力する。なお、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されたか否かは、種々の方法により判断可能である。
The lens cap
例えば、レンズキャップ装着判定部１７は、イメージセンサ１３に入力される光量が所定の閾値以下である場合に、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されたと判定する。また、レンズキャップ装着判定部１７は、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されたことでオン又はオフするスイッチ（不図示）が筐体１ａに設けられている場合に、スイッチのオン状態又はオフ状態を用いて判定しても良い。これにより、撮像装置１は、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されているか又は装着されていないかの状態を簡易に検出することができる。
For example, the lens cap
レンズキャップ装着時映像処理決定部１８は、イメージセンサ１３による入力映像の撮像中にレンズキャップ１１が筐体１ａのレンズ１２を覆うように装着された場合の入力映像データの撮像状況を表す代入映像データの生成のための映像処理として、予め一つ又は複数の映像処理内容を登録している。
When the lens cap is mounted, the video
レンズキャップ装着時映像処理決定部１８は、予め登録された映像処理内容が一つである場合には、当該映像処理内容を代入映像生成部１９に通知し、予め登録された映像処理内容が複数である場合には、例えば撮影者（ユーザ）の入力操作に応じて指定された映像処理内容を代入映像生成部１９に通知する。なお、映像処理内容については、図４及び図５を参照して後述する。
When there is only one pre-registered video processing content, the lens cap-mounted video
代入映像生成部１９は、レンズキャップ装着時映像処理決定部１８が通知した映像処理内容に従って、イメージセンサ１３が撮像した入力映像の撮像状況を表す代入映像データ又は代入画像データを生成して映像生成切替部１４に出力する。
The substitution
また、代入映像生成部１９は、入力映像の撮像状況を、例えば撮像地点の位置を地図によって表す場合には、例えば代入映像生成部１９自身が保持している地図画像データ又は外部の地図情報保持サーバから取得した地図画像データを、代入映像データ又は代入画像データに用いる。
Further, the substitution
また、代入映像生成部１９は、入力映像の撮像状況としてレンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されている状態を示すメッセージ映像データ又はメッセージ画像データを生成しても良い。
Further, the substitution
また、代入映像生成部１９は、入力映像の撮像状況として後述する音声認識部２３の音声認識結果として得られたメタデータに人の会話の音声のテキストデータが含まれている場合には、音声認識部２３が出力した人の会話の音声のテキストデータを含む代入映像データ又は代入画像データを生成しても良い。
In addition, the substitution
更に、代入映像生成部１９は、入力映像データから代入映像データに切り替える場合、又は反対に代入映像データから入力映像データに切り替える場合に、所定の演出映像データ（例えばワイプ処理された映像データ）を生成しても良い。
Further, the substitution
自位置取得部２１は、ＧＰＳ（Global Positioning System）受信回路（不図示）を有し、ＧＰＳ衛星からの送信信号を受信して撮像装置１の現在位置情報を取得して代入映像生成部１９に出力する。
The own
マイク部２２は、周囲の音声を収音する一つ又は複数のマイクロホンを有し、各マイクロホンが収音した音声信号を音声認識部２３及び音声符号化部２４に出力する。
The
音声認識部２３は、マイク部２２が収音した音声信号を音声認識し、音声認識結果として得られたメタデータを映像・音声蓄積部１６に出力する。また、音声認識部２３は、音声認識結果として得られたメタデータの中から例えば人の会話のテキストデータを代入映像生成部１９に出力する。
The
音声符号化部２４は、マイク部２２が収音した音声信号を符号化し、音声データとして映像・音声蓄積部１６に出力する。これにより、撮像装置１は、符号化された音声データと映像符号化部１５が符号化した入力映像データ及び代入映像データとを同期させて蓄積することができる。
The
画像処理部２５は、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されたイベントがレンズキャップ装着判定部１７により検出された場合に、映像・音声蓄積部１６に蓄積された入力映像データを解析（例えば所定の画像処理）し、解析結果として得られたメタデータを映像・音声蓄積部１６に出力する。
The image processing unit 25 receives the input video stored in the video /
例えば、画像処理部２５は、入力映像データの連続する画像フレーム間の差分情報を基に、動体の位置及び動きの各情報をメタデータとして抽出する。また、例えば画像処理部２５は、入力映像データを構成する各画像フレームから人物の顔を検出し、検出された顔の位置、サイズ及び個数の各情報をメタデータとして抽出する。これにより、撮像装置１は、レンズキャップ１１が筐体１ａに装着されている間、即ち入力映像の撮像が中断している期間を有効に利用して、入力映像データの動体に関する情報又は人物に関する情報を得ることができる。
For example, the image processing unit 25 extracts information on the position and movement of moving objects as metadata based on difference information between successive image frames of input video data. Further, for example, the image processing unit 25 detects a human face from each image frame constituting the input video data, and extracts each piece of information on the detected face position, size and number as metadata. Thereby, the
送信部としてのネットワーク伝送部２６は、映像・音声蓄積部１６に蓄積された映像ファイル又は映像音声ファイルを有線若しくは無線にて外部機器としての再生装置４０に送信する。また、ネットワーク伝送部２６は、レンズキャップ１１が筐体１ａに装着されたイベントがレンズキャップ装着判定部１７により検出された場合に、レンズキャップ１１が筐体１ａに装着されて入力映像の撮像が中断するまでに撮像されて蓄積された入力映像データを外部機器としての再生装置４０に送信する。
The
表示制御部２７は、例えば撮影者の入力操作に応じて、映像・音声蓄積部１６に蓄積された映像ファイル又は映像音声ファイルを表示部２８の画面に表示させる。
The
表示部２８は、データを画面に表示する機能を有し、表示制御部２７の制御の下で、映像・音声蓄積部１６に蓄積された映像ファイル又は映像音声ファイルを表示部２８の画面に表示する。
The
再生装置４０は、ネットワーク伝送部２６から有線若しくは無線にて送信された映像ファイル又は映像音声ファイルのデータを受信し、受信した映像ファイル又は映像音声ファイルのデータを再生して再生装置の表示部（不図示）の画面に表示する。また、再生装置４０は、音声出力部としてのスピーカを有する場合には、映像音声ファイルの再生時に、映像音声ファイルの映像データと同期された音声データをスピーカから音声出力させる。
The
また、再生装置４０は、映像・音声蓄積部１６に蓄積された映像ファイル又は映像音声ファイルのデータが記録されたメモリカード３０を挿抜自在に装着し、メモリカード３０に記録された映像を再生装置４０の表示部（不図示）の画面に再生可能である。再生装置４０は、例えばスマートフォン、ＰＣ（Personal Computer）、ＴＶ（Television）、タブレット端末等が挙げられる。
Further, the
（撮像装置の動作：映像の記録動作）
次に、本実施形態の撮像装置１の映像の記録動作手順について、図２を参照して説明する。図２は、本実施形態の撮像装置１における映像の記録動作手順を説明するフローチャートである。図２の説明の前提として、撮像装置１は、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されていない状態であり、レンズ１２及びイメージセンサ１３によって、入力映像を撮像している状態とする。
(Imaging device operation: Video recording operation)
Next, the video recording operation procedure of the
図２において、レンズキャップ装着判定部１７は、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されているか否かを判定する（Ｓ１）。
In FIG. 2, the lens cap
レンズキャップ装着判定部１７は、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されていないと判定した場合（Ｓ２、ＮＯ）、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されていない旨のレンズキャップ装着有無情報を映像生成切替部１４に出力する。映像生成切替部１４は、イメージセンサ１３の出力に対して生成された入力映像データを映像符号化部１５に出力する（Ｓ３）。
When the lens cap
一方、レンズキャップ装着判定部１７は、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されたと判定した場合、即ちレンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されたことを検出した場合には（Ｓ２、ＹＥＳ）、レンズキャップ装着有無情報を映像生成切替部１４に出力する。
On the other hand, when the lens cap mounting
代入映像生成部１９は、レンズキャップ装着時映像処理決定部１８が通知した映像処理内容に従って、イメージセンサ１３が撮像した入力映像の撮像状況を表す代入映像データ又は代入画像データを生成して映像生成切替部１４に出力する（Ｓ４）。
The substitution
映像生成切替部１４は、レンズキャップ装着判定部１７が出力したレンズキャップ装着有無情報に応じて、映像符号化部１５における符号化処理に用いる映像データを、イメージセンサ１３の出力に対して生成された入力映像データから、代入映像生成部１９が生成した代入映像データに切り替える（Ｓ５）。映像生成切替部１４は、切り替えられた入力映像データ又は代入映像データを映像符号化部１５に出力する。
The video
映像符号化部１５は、映像生成切替部１４における切り替えによって出力された入力映像データ又は代入映像データを符号化して映像データを生成する（Ｓ６）。
The
具体的には、映像符号化部１５は、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されたイベントが検出される前では、イメージセンサ１３の出力に対して生成された入力映像データを符号化する。また、映像符号化部１５は、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されたイベントが検出された後では、代入映像生成部１９が生成した代入映像データを符号化する。映像符号化部１５は、符号化された入力映像データと代入映像データとを映像・音声蓄積部１６に出力する。
Specifically, the
映像・音声蓄積部１６は、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されたイベントの検出前にイメージセンサ１３の出力に対して生成された入力映像データと、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されたイベントの検出後に代入映像生成部１９が生成した代入映像データとが符号化された映像データを映像ファイルとして蓄積する（Ｓ７）。
The video /
また、映像・音声蓄積部１６は、音声認識部２３が音声認識した認識結果データ又は音声符号化部２４が符号化した音声データを入力した場合には、映像符号化部１５が符号化した入力映像データ及び代入映像データと、認識結果データ又は符号化された音声データとを同期させた映像音声データを映像音声ファイルとして蓄積する。また、映像・音声蓄積部１６は、映像ファイル又は映像音声ファイルを蓄積する際、メモリカード３０に記録し、又はネットワーク伝送部２６を介して再生装置４０に送信する。
In addition, the video /
撮像装置１は、例えば電源オフの入力操作による映像の記録が終了するか否かを判別する（Ｓ８）。映像の記録が終了しない場合には（Ｓ８、ＮＯ）、撮像装置１の動作はステップＳ１に戻り、一方、映像の記録が終了する場合には（Ｓ８、ＹＥＳ）、撮像装置１の図３に示す映像の記録動作手順は終了する。
For example, the
図３（Ａ）は、撮影者７１が映像を記録する時の撮像装置１の装着状態の一例を示す図である。図３（Ａ）では、撮影者７１は、撮像装置１を首に吊り下げた状態で映像を撮影している。撮影者７１は、撮像装置１において映像の撮影を開始した後、途中、レンズキャップ１１を装着することで映像の撮影を中断する。更に、撮影者７１は、再びレンズキャップ１１を外すことで映像の撮影を再開する。
FIG. 3A is a diagram illustrating an example of a mounting state of the
図３（Ｂ）は、記録された映像のフレームの遷移状態の一例を示す図である。図３（Ｂ）では、図３（Ａ）に示す撮影開始時、中断時、再開時にそれぞれ撮影（撮像）された映像８１，…，映像８２，…，映像８３がコマ単位にて示されている。
FIG. 3B is a diagram illustrating an example of a transition state of a recorded video frame. 3B,
中断時では、撮像装置１は、レンズ１２及びイメージセンサ１３が撮像した入力映像データの代わりに、代入映像生成部１９が生成した代入映像データを記録している。映像８２には、撮像地点、即ち撮像装置１の自位置の周囲を表す地図画像データ８２ａが記録されている。
At the time of interruption, the
また、地図画像データ８２ａには、自位置取得部２１が取得した撮像装置１の自位置情報を表すマーカ８２ｂと、現在の撮像装置１においてレンズキャップ１１が装着されている状態を示す「キャップ取付中」のメッセージ８２ｃとが地図画像データ８２ａ上に図示されている。撮像装置１は、マーカ８２ｂを図示した地図画像データ８２ａを記録することで、入力映像の撮像が中断された位置を地図画像データ８２ａ上において明示的に識別させることができる。
Further, the
図３（Ｃ）は、本実施形態の撮像装置１から外部機器としての再生装置４０に映像ファイルのデータを送信する様子の一例を示す図である。図３（Ｃ）では、撮像装置１に蓄積された映像ファイルのデータを記録したメモリカード３０が再生装置４０の一例としてのテレビ４０Ａに装着されると、テレビ４０Ａは映像ファイルのデータを再生できる。また、撮像装置１のネットワーク伝送部２６が送信した映像ファイルのデータが再生装置４０の他の一例としてのスマートフォン４０Ｂが受信すると、スマートフォン４０Ｂは、スマートフォン４０Ｂの画面に映像ファイルのデータを再生できる。
FIG. 3C is a diagram illustrating an example of a state in which video file data is transmitted from the
図４（Ａ）〜（Ｃ）は、レンズキャップ１１の装着前後における映像の各フレームの遷移状態の一例を示す図である。これらの映像ファイルのデータは、表示部２８の画面、又は外部機器としての再生装置４０の画面に表示される。
4A to 4C are diagrams illustrating an example of the transition state of each frame of the image before and after the
図４（Ａ）では、レンズキャップ１１が筐体１ａのレンズ１２に装着された後の映像８２として、図３（Ｂ）に示す地図画像データ８２ａが表示部２８又は再生装置４０の画面に表示される。地図画像データ８２ａには、マーカ８２ｂと現在の撮像装置１においてレンズキャップ１１が装着されている状態を示す「キャップ取付中」のメッセージ８２ｃとが表示されている。
In FIG. 4A, the
なお、地図画像データ８２ａは、レンズキャップ装着時映像処理決定部１８若しくは代入映像生成部１９により保持されても良いし、代入映像生成部１９が外部の地図情報保持サーバから取得しても良い。
The
図４（Ｂ）では、レンズキャップ１１が筐体１ａのレンズ１２に装着された後の映像８５として、マイク部２２が収音した音声データが音声認識部２３の音声認識結果として得られたテキストデータが表示部２８又は再生装置４０の画面に表示される。映像８５には、ブラックアウトによって真っ黒となった背景８５ａの上に、音声認識結果として得られたテキストデータである「次の駅で降りて食事にしよう」のメッセージ８５ｂが表示される。また、撮像装置１の位置を表すマーカ８５ｃと、現在の撮像装置１においてレンズキャップ１１が筐体１ａのレンズ１２を覆うように装着されている状態を示す「キャップ取付中」のメッセージ８５ｄとが表示される。これにより、撮像装置１は、入力映像の撮像が中断した場合でも、撮像時の周囲の状況を音声から得た情報を根拠として推定できる。
In FIG. 4B, as the
図４（Ｃ）では、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着された後の映像８７として、撮像装置１の自位置に対応した拡張現実技術を用いた立体的な３Ｄ映像としての代入映像データ８７ａが表示される。代入映像データ８７ａには、撮像装置１の位置を表すマーカ８７ｂと、現在の撮像装置１においてレンズキャップ１１が装着されている状態を示す「キャップ取付中」のメッセージ８７ｃとが表示される。これにより、撮像装置１は、入力映像の撮像が中断した場合でも、拡張現実技術を用いた３Ｄ映像を代入映像データとして用いることで、撮影時の周囲の状況を把握させることができる。
In FIG. 4C, a stereoscopic 3D image using augmented reality technology corresponding to the position of the
図５（Ａ）〜（Ｄ）は、レンズキャップの装着前後における映像の各フレームの遷移状態の他の一例を示す図である。これらの映像ファイルのデータは、表示部２８の画面、又は外部機器としての再生装置４０の画面に表示される。
5A to 5D are diagrams showing another example of the transition state of each frame of the video before and after the lens cap is attached. The data of these video files is displayed on the screen of the
図５（Ａ）では、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着された後の映像８９として、撮像装置１が画像処理を行っている状態を表すテキストデータである「画像処理実施」のメッセージ８９ａが代入映像データとして表示される。なお、撮像装置１は、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着された場合に、撮像装置が画像処理を行っている状態を表すテキストデータである「画像処理実施」のメッセージ８９ａを代入映像データとして表示しなくても良い。
In FIG. 5A, “image processing” is text data representing a state in which the
図５（Ｂ）では、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着された後の映像９１として、撮像装置１が入力映像の中断時までに撮像されて蓄積した入力映像データの映像ファイルを順次、例えば外部機器としての再生装置４０に送信している状態を表すテキストデータである「蓄積映像送信」のメッセージ９１ａが代入映像データとして表示される。
In FIG. 5B, as the
これにより、撮像装置１は、入力映像の撮像の中断期間を利用して、画像処理又はデータ送信等の他の処理にＣＰＵ（Central Processing Unit）のリソースを振り分けることで、ＣＰＵを有効に活用することができる。
As a result, the
図５（Ｃ）では、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着された後の映像９３として、入力映像データ（例えば駅のホームの映像）がフェードイン又はフェードアウトする時のワイプ効果９３ａが適用された映像が表示される。これにより、撮像装置１は、入力映像データからワイプ効果９３ａが適用された映像を経て、代入映像データを表示することができ、演出性の高い映像の切り替えを行うことができる。
In FIG. 5C, as the
図５（Ｄ）では、レンズキャップ１１が筐体１ａのレンズ１２を覆うように装着された後の映像９５として、入力映像の撮像の中断の原因として「ただいまキャップ装着中」のメッセージ９５ａの代入映像データが表示される。
In FIG. 5D, as the
以上により、本実施形態の撮像装置１は、レンズキャップ１１が筐体１ａのレンズ１２に装着されたイベントが検出された場合、符号化に用いる映像データを、イベント検出前に撮像されていた入力映像データから、撮像時の状況を表す代入映像データ（例えば撮影地点の地図画像データ）に切り替える。更に、撮像装置１は、入力映像データと代入映像データとを符号化した映像データを映像ファイルとして蓄積することができる。
As described above, when an event in which the
これにより、本実施形態の撮像装置１は、例えば映像ファイルを撮像装置１又は外部機器としての再生装置４０において映像ファイルを視聴する際、撮影者が撮像時にどこにいたか等の情報を便宜的に得ることができる。
As a result, for example, when the
このように、本実施形態の撮像装置１は、入力映像の撮像の継続が困難な状況においても、撮影者の周囲の状況を表す代入映像データを、レンズキャップ１１が筐体１ａのレンズ１２に装着される前までに撮像された入力映像の撮影時の状況を表す代入映像データを便宜的に得ることができる。
As described above, in the
以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。 While various embodiments have been described above with reference to the drawings, it goes without saying that the present invention is not limited to such examples. It will be apparent to those skilled in the art that various changes and modifications can be made within the scope of the claims, and these are naturally within the technical scope of the present invention. Understood.
例えば、上記実施形態では、入力映像の撮像を中断するイベントは、レンズキャップ１１が撮影者によって筐体１ａのレンズ１２を覆うように装着されたことが検出されたことであるとして説明したが、例えば撮影者が撮像装置１に設けられたスイッチ（不図示）を操作することで、レンズ１２の前面に配置された可動式のカバーが閉じることで遮光したことが検出されたことでも良い。
For example, in the above-described embodiment, the event that interrupts the capturing of the input video has been described as the fact that the
また、本実施形態の撮像装置１は、撮影者自身が携帯するウェアラブルカメラ装置に限らず、自転車又はボート等の乗り物に装着されるアクションカメラ装置でも良い。
Further, the
以下、上述した本発明に係る映像データ管理装置、映像データ管理方法及びプログラムの構成、作用及び効果を説明する。 Hereinafter, the configuration, operation, and effect of the above-described video data management apparatus, video data management method, and program according to the present invention will be described.
本発明の一実施形態は、入力映像を撮像する撮像部と、所定のイベントを検出するイベント検出部と、前記撮像中における前記所定のイベントの検出に応じて、前記入力映像の撮像状況を表す代入映像データを生成する代入映像生成部と、前記所定のイベントの検出前又は検出後に応じて、符号化に用いる映像データを、撮像された入力映像データ又は生成された前記代入映像データに切り替える切替部と、前記所定のイベントの検出前に前記撮像された入力映像データと、前記所定のイベントの検出後に前記生成された代入映像データとを符号化する映像データ処理部と、符号化された前記入力映像データ及び前記代入映像データを映像ファイルとして蓄積する蓄積部と、を備える撮像装置である。 An embodiment of the present invention represents an imaging state of the input video in response to detection of the predetermined event during the imaging, an imaging unit that captures the input video, an event detection unit that detects the predetermined event, and Substitution video generation section for generating substitution video data, and switching for switching the video data used for encoding to the captured input video data or the generated substitution video data according to before or after the detection of the predetermined event A video data processing unit that encodes the input video data captured before detection of the predetermined event and the generated substitution video data after detection of the predetermined event, and the encoded data And a storage unit that stores the input video data and the substitution video data as a video file.
この構成によれば、撮像装置は、入力映像データの撮像の継続が困難な状況になり、例えばレンズキャップが撮像装置に装着された等のイベントを検出した場合に、入力映像データの撮像時の状況を表す代入映像データを生成し、符号化に用いる映像データを、イベントが検出される前までに撮像された入力映像データから、イベントが検出された後に生成された代入映像データに切り替える。また、撮像装置は、入力映像データと代入映像データとを符号化したデータを映像ファイルとして蓄積する。 According to this configuration, the imaging apparatus is in a situation where it is difficult to continue capturing the input video data. For example, when an event such as a lens cap being attached to the imaging apparatus is detected, Substitution video data representing a situation is generated, and video data used for encoding is switched from input video data captured before the event is detected to substitution video data generated after the event is detected. Further, the imaging apparatus accumulates data obtained by encoding the input video data and the substitution video data as a video file.
これにより、撮像装置は、入力映像データの撮像の継続が困難な状況においても、撮像映像の代わりに、映像データの撮像時の状況を表す代入映像データを便宜的に得ることができる。 Thereby, the imaging device can conveniently obtain substitution video data representing a situation at the time of imaging of video data instead of the captured video even in a situation where it is difficult to continue imaging of the input video data.
本発明の一実施形態は、前記イベント検出部が、前記所定のイベントとして、前記撮像部に入射する光を遮る遮光物が前記撮像部に装着された状態を検出する、撮像装置である。 One embodiment of the present invention is an imaging apparatus in which the event detection unit detects a state in which a light shielding object that blocks light incident on the imaging unit is attached to the imaging unit as the predetermined event.
これにより、撮像装置は、入力映像データの撮像の継続が困難な状況の一例として、撮像部のレンズに入射する光を遮る遮光物（例えばレンズキャップ）が装着された状態の検出を用いることができる。 Thereby, the imaging apparatus uses detection of a state in which a light blocking object (for example, a lens cap) that blocks light incident on the lens of the imaging unit is mounted as an example of a situation where it is difficult to continue imaging of input video data. it can.
本発明の一実施形態は、前記蓄積部に蓄積された前記映像ファイルを有線若しくは無線にて外部機器に送信する送信部と、を更に備える、撮像装置である。 One embodiment of the present invention is an imaging apparatus further comprising: a transmission unit that transmits the video file stored in the storage unit to an external device by wire or wirelessly.
これにより、撮像装置は、符号化により生成された映像ファイルを外部機器に送信することができる。 Thereby, the imaging device can transmit the video file generated by the encoding to the external device.
本発明の一実施形態は、撮像装置の位置情報を取得する位置取得部と、を更に備え、前記代入映像生成部が、前記位置取得部が取得した前記撮像装置の位置情報を含む前記代入映像データを生成する、撮像装置である。 One embodiment of the present invention further includes a position acquisition unit that acquires position information of the imaging device, and the substitution video generation unit includes the position information of the imaging device acquired by the position acquisition unit. An imaging device that generates data.
これにより、撮像装置は、入力映像データの撮像時の状況を表す代入映像データとして、位置取得部が取得した撮像装置の位置情報を用いることができ、撮影者に有用な情報を便宜的に得ることができる。 Thereby, the imaging apparatus can use the position information of the imaging apparatus acquired by the position acquisition unit as substitution video data representing the situation at the time of imaging of the input video data, and conveniently obtain information useful for the photographer. be able to.
本発明の一実施形態は、前記代入映像生成部が、前記位置取得部が取得した前記撮像装置の位置情報を示す地図データを前記代入映像データとして生成する、撮像装置である。 One embodiment of the present invention is an imaging apparatus in which the substitution video generation unit generates map data indicating the position information of the imaging device acquired by the position acquisition unit as the substitution video data.
これにより、撮像装置は、位置取得部が取得した撮像装置の位置情報の一例として地図データを用いることができ、撮影者に有用な情報を便宜的に得ることができる。 Thereby, the imaging apparatus can use map data as an example of the position information of the imaging apparatus acquired by the position acquisition unit, and can obtain useful information for the photographer for convenience.
本発明の一実施形態は、前記撮像装置の位置情報を示す地図データが、前記撮像装置の撮影者の現在位置を示すマーカを含む、撮像装置である。 One embodiment of the present invention is an imaging apparatus in which map data indicating position information of the imaging apparatus includes a marker indicating a current position of a photographer of the imaging apparatus.
これにより、撮像装置は、位置取得部が取得した撮像装置の位置情報の一例として、撮影者自身の現在位置を含む地図データを用いることができ、撮影者に有用な情報を便宜的に得ることができる。 Thereby, the imaging apparatus can use map data including the current position of the photographer as an example of the position information of the imaging apparatus acquired by the position acquisition unit, and obtain useful information for the photographer for convenience. Can do.
本発明の一実施形態は、前記撮像装置の周囲の音声を収音するマイク部と、前記マイク部が収音した音声データを符号化する音声データ処理部と、を更に備え、前記蓄積部は、符号化された前記音声データと、前記入力映像データ及び前記代入映像データとが同期されたデータを映像音声ファイルとして蓄積する、撮像装置である。 One embodiment of the present invention further includes a microphone unit that collects sound around the imaging device, and an audio data processing unit that encodes audio data collected by the microphone unit, and the storage unit includes The imaging apparatus stores the data obtained by synchronizing the encoded audio data, the input video data, and the substitution video data as a video audio file.
これにより、撮像装置は、映像だけでなく、マイク部が収音した周囲の音声データが符号化された音声データと入力映像データ及び代入映像データとが同期された映像音声ファイルを蓄積することができる。 Accordingly, the imaging apparatus can store not only video but also video and audio files in which the audio data obtained by encoding the surrounding audio data collected by the microphone unit, the input video data, and the substituted video data are synchronized. it can.
本発明の一実施形態は、前記マイク部が収音した音声データを音声認識する音声認識部と、を備え、前記蓄積部が、前記音声認識部の音声認識結果として得られた音声データの人の会話のテキストデータと、前記入力映像データ及び前記代入映像データとが同期されたデータを前記映像音声ファイルとして蓄積する、撮像装置である。 One embodiment of the present invention includes a voice recognition unit that recognizes voice data collected by the microphone unit, and the storage unit is a person who is a voice data obtained as a voice recognition result of the voice recognition unit. The image data is stored as the video / audio file by synchronizing the text data of the conversation with the input video data and the substituted video data.
これにより、撮像装置は、マイク部が収音した音声データの音声認識結果から、人の会話のテキストデータと入力映像データ及び代入映像データとが同期された映像音声ファイルを蓄積することができ、撮影者に有用な情報を便宜的に得ることができる。 Thereby, the imaging device can accumulate a video / audio file in which the text data of the human conversation, the input video data, and the substituted video data are synchronized from the voice recognition result of the voice data collected by the microphone unit, Information useful to the photographer can be obtained for convenience.
本発明の一実施形態は、前記撮像中における前記所定のイベントの検出に応じて、前記所定のイベントの検出までに撮像された前記入力映像データを解析する画像処理部と、を更に備え、前記蓄積部が、前記画像処理部の解析結果としてのメタデータを含む前記映像ファイルを蓄積する、撮像装置である。 One embodiment of the present invention further includes an image processing unit that analyzes the input video data captured before the detection of the predetermined event in response to detection of the predetermined event during the imaging, The storage unit is an imaging apparatus that stores the video file including metadata as an analysis result of the image processing unit.
これにより、撮像装置は、入力映像データの解析結果としてのメタデータを含む映像ファイルを蓄積することができる。 Thereby, the imaging apparatus can accumulate video files including metadata as an analysis result of input video data.
本発明の一実施形態は、前記画像処理部が、前記入力映像の連続するフレーム間の差分情報を基に、動体の位置及び動きの各情報を前記メタデータとして抽出する、撮像装置である。 One embodiment of the present invention is an imaging apparatus in which the image processing unit extracts each piece of information on the position and movement of a moving object as the metadata based on difference information between successive frames of the input video.
これにより、撮像装置は、入力映像の連続するフレーム間の差分情報から得られた動体の位置及び動きの各情報を含むメタデータを含む映像ファイルを蓄積することができる。 As a result, the imaging apparatus can store a video file including metadata including information on the position and motion of the moving object obtained from the difference information between successive frames of the input video.
本発明の一実施形態は、前記画像処理部が、前記入力映像の各フレームから人物の顔を検出し、検出された前記人物の顔の位置、サイズ及び個数の各情報を前記メタデータとして抽出する、撮像装置である。 In one embodiment of the present invention, the image processing unit detects a person's face from each frame of the input video, and extracts information about the detected position, size, and number of faces of the person as the metadata. It is an imaging device.
これにより、撮像装置は、入力映像の各フレームから検出された人物の顔の位置、サイズ及び個数の各情報を含むメタデータを含む映像ファイルを蓄積することができる。 As a result, the imaging apparatus can store a video file including metadata including information on the position, size, and number of faces of a person detected from each frame of the input video.
本発明の一実施形態は、前記送信部が、前記所定のイベントの検出までに撮像された前記入力映像データが符号化された映像ファイルを送信する、撮像装置である。 One embodiment of the present invention is an imaging apparatus in which the transmission unit transmits a video file in which the input video data captured before the detection of the predetermined event is encoded.
これにより、撮像装置は、例えばバックアップの目的のために、所定のイベントの検出までに撮像された入力映像データが符号化された映像ファイルを送信することができる。 Accordingly, the imaging device can transmit a video file in which input video data captured before detection of a predetermined event is encoded, for the purpose of backup, for example.
本発明の一実施形態は、前記代入映像生成部が、前記映像ファイルにおいて、前記入力映像データの内容から前記代入映像データの内容に、又は前記代入映像データの内容から前記入力映像データの内容に切り替える所定の演出映像データを生成し、前記蓄積部が、前記入力映像データと前記所定の演出映像データと前記代入映像データとが符号化された前記映像ファイルを蓄積する、撮像装置である。 In one embodiment of the present invention, the substitution video generation unit converts the content of the input video data from the content of the input video data to the content of the substitution video data or the content of the substitution video data from the content of the input video data in the video file. The imaging device generates predetermined effect video data to be switched, and the storage unit stores the video file in which the input video data, the predetermined effect video data, and the substitution video data are encoded.
これにより、撮像装置は、撮像装置の外部機器において入力映像データと所定の演出映像データと代入映像データとが符号化された映像ファイルを再生した場合に、入力映像データから代入映像データに切り替わるタイミングを、演出映像データによって明確に認識させることができる。 As a result, when the imaging device plays back a video file in which the input video data, the predetermined effect video data, and the substitution video data are reproduced in an external device of the imaging device, the timing at which the input video data is switched to the substitution video data Can be clearly recognized by the effect video data.
本発明の一実施形態は、前記代入映像生成部が、前記位置取得部が取得した前記撮像装置の位置情報を含む所定の拡張現実空間映像データを前記代入映像データとして生成する、撮像装置である。 One embodiment of the present invention is the imaging apparatus, wherein the substitution video generation unit generates predetermined augmented reality space video data including the position information of the imaging device acquired by the position acquisition unit as the substitution video data. .
これにより、撮像装置は、位置取得部が取得した撮像装置の位置情報を、所定の拡張現実空間の映像データを用いて立体的に表す代入映像データを生成することができ、撮影者に有用な情報を便宜的に得ることができる。 Thus, the imaging apparatus can generate substitution video data that represents the position information of the imaging apparatus acquired by the position acquisition unit in three dimensions using video data in a predetermined augmented reality space, which is useful for a photographer. Information can be obtained for convenience.
本発明の一実施形態は、画面にデータを表示する表示部と、所定の入力操作に応じて、前記蓄積部に蓄積された前記映像ファイルの内容を前記画面に表示させる表示制御部と、を更に備える、撮像装置である。 One embodiment of the present invention includes: a display unit that displays data on a screen; and a display control unit that displays the content of the video file stored in the storage unit on the screen according to a predetermined input operation. Furthermore, it is an imaging device provided.
これにより、撮像装置は、表示部を有する場合に、撮影者の入力操作に応じて、蓄積部に蓄積された映像ファイルを表示して内容を撮影者に閲覧させることができる。 Accordingly, when the imaging apparatus has a display unit, the video file stored in the storage unit can be displayed and the content can be viewed by the photographer in accordance with the input operation of the photographer.
本発明の一実施形態は、入力映像を撮像するステップと、所定のイベントを検出するステップと、前記撮像中における前記所定のイベントの検出に応じて、前記入力映像の撮像状況を表す代入映像データを生成するステップと、前記所定のイベントの検出前又は検出後に応じて、符号化に用いる映像データを、撮像された入力映像データ又は生成された前記代入映像データに切り替えるステップと、前記所定のイベントの検出前に撮像された入力映像データと、前記所定のイベントの検出後に生成された前記代入映像データとを符号化するステップと、符号化された前記入力映像データ及び前記代入映像データを映像ファイルとして蓄積するステップと、を有する、映像データ切替方法である。 According to an embodiment of the present invention, the step of capturing an input video, the step of detecting a predetermined event, and substitution video data representing an imaging state of the input video in response to detection of the predetermined event during the imaging Generating video data used for encoding, depending on before or after detection of the predetermined event, switching to the captured input video data or the generated substitution video data, and the predetermined event Encoding the input video data captured before the detection of the predetermined event and the substitution video data generated after the detection of the predetermined event, and encoding the input video data and the substitution video data as a video file As a video data switching method.
この方法によれば、撮像装置は、入力映像データの撮像の継続が困難な状況になり、例えばレンズキャップが撮像装置に装着された等のイベントを検出した場合に、入力映像データの撮像時の状況を表す代入映像データを生成し、符号化に用いる映像データを、イベントが検出される前までに撮像された入力映像データから、イベントが検出された後に生成された代入映像データに切り替える。また、撮像装置は、入力映像データと代入映像データとを符号化したデータを映像ファイルとして蓄積する。 According to this method, the imaging apparatus is in a situation where it is difficult to continue capturing the input video data. For example, when an event such as a lens cap being attached to the imaging apparatus is detected, Substitution video data representing a situation is generated, and video data used for encoding is switched from input video data captured before the event is detected to substitution video data generated after the event is detected. Further, the imaging apparatus accumulates data obtained by encoding the input video data and the substitution video data as a video file.
これにより、撮像装置は、入力映像データの撮像の継続が困難な状況においても、撮像映像の代わりに、映像データの撮像時の状況を表す代入映像データを便宜的に得ることができる。 Thereby, the imaging device can conveniently obtain substitution video data representing a situation at the time of imaging of video data instead of the captured video even in a situation where it is difficult to continue imaging of the input video data.
本発明は、撮像の継続が困難な状況においても、撮像映像の代わりに、撮像時の状況を表す映像データを便宜的に得る撮像装置及び映像データ切替方法として有用である。 INDUSTRIAL APPLICABILITY The present invention is useful as an imaging apparatus and a video data switching method for conveniently obtaining video data representing a situation at the time of imaging instead of a captured video even in a situation where it is difficult to continue imaging.
１ 撮像装置
１１ レンズキャップ
１２ レンズ
１３ イメージセンサ
１４ 映像生成切替部
１５ 映像符号化部
１６ 映像・音声蓄積部
１７ レンズキャップ装着判定部
１８ レンズキャップ装着時映像処理決定部
１９ 代入映像生成部
２１ 自位置取得部
２２ マイク部
２３ 音声認識部
２４ 音声符号化部
２５ 画像処理部
３０ メモリカード
４０ 再生装置
DESCRIPTION OF
Claims (14)
所定のイベントとして、前記撮像部に入射する光の遮光を検出するイベント検出部と、
前記入力映像の撮像中における前記所定のイベントの検出に応じて、前記入力映像の撮像状況を表す代入映像データを生成する代入映像生成部と、
前記所定のイベントの検出前又は検出後に応じて、符号化に用いる映像データを、撮像された入力映像データ又は生成された前記代入映像データに切り替える切替部と、
前記所定のイベントの検出前に前記撮像された入力映像データと、前記所定のイベントの検出後に前記生成された代入映像データとを符号化する映像データ処理部と、
符号化された前記入力映像データ及び前記代入映像データを映像ファイルとして蓄積する蓄積部と、を備える、
撮像装置。 An imaging unit for imaging an input video;
As a predetermined event, an event detection unit that detects a blocking of light incident on the imaging unit;
In response to detection of the predetermined event during imaging of the input video, a substitution video generation unit that generates substitution video data representing the imaging situation of the input video;
A switching unit that switches video data used for encoding to captured input video data or generated substitution video data before or after detection of the predetermined event;
A video data processing unit that encodes the captured input video data before detection of the predetermined event and the generated substitution video data after detection of the predetermined event;
A storage unit for storing the encoded input video data and the substitution video data as a video file;
Imaging device.
前記イベント検出部は、
前記撮像部に入射する光の遮光として、前記撮像部に入射する光を遮る遮光物が前記撮像部に装着された状態を検出する、
撮像装置。 The imaging apparatus according to claim 1,
The event detection unit
Detecting a state in which a light blocking object that blocks light incident on the imaging unit is attached to the imaging unit as a shield of light incident on the imaging unit;
Imaging device.
前記蓄積部に蓄積された前記映像ファイルを有線若しくは無線にて外部機器に送信する送信部と、を更に備える、
撮像装置。 The imaging apparatus according to claim 1 or 2,
A transmission unit that transmits the video file stored in the storage unit to an external device by wire or wirelessly,
Imaging device.
所定のイベントとして、前記撮像部に入射する光の遮光を検出するイベント検出部と、
前記入力映像の撮像中における前記所定のイベントの検出に応じて、前記入力映像の撮像状況を表す代入映像データを生成する代入映像生成部と、
前記所定のイベントの検出前又は検出後に応じて、符号化に用いる映像データを、撮像された入力映像データ又は生成された前記代入映像データに切り替える切替部と、
前記所定のイベントの検出前に前記撮像された入力映像データと、前記所定のイベントの検出後に前記生成された代入映像データとを符号化する映像データ処理部と、
符号化された前記入力映像データ及び前記代入映像データを映像ファイルとして蓄積する蓄積部と、
自己の位置情報を取得する位置取得部と、を備え、
前記代入映像生成部は、
前記位置取得部が取得した前記位置情報を含む地図データ上に前記位置情報を示すマーカと、前記撮像部に入射する光を遮る遮光物が前記撮像部に装着された状態であるメッセージとを表示可能に含めた映像データを前記代入映像データとして生成する、
撮像装置。 An imaging unit for imaging an input video;
As a predetermined event, an event detection unit that detects a blocking of light incident on the imaging unit;
In response to detection of the predetermined event during imaging of the input video, a substitution video generation unit that generates substitution video data representing the imaging situation of the input video;
A switching unit that switches video data used for encoding to captured input video data or generated substitution video data before or after detection of the predetermined event;
A video data processing unit that encodes the captured input video data before detection of the predetermined event and the generated substitution video data after detection of the predetermined event;
A storage unit for storing the encoded input video data and the substitution video data as a video file;
A position acquisition unit for acquiring self position information;
The substitution video generation unit
Table and the marker indicating the position information on the map data, and a message is a state where the light-shielding material is mounted on the imaging unit to block light incident on the imaging unit which includes the location information the position acquisition unit acquires generating a viewable on video data included as the substituted video data,
Imaging device.
前記撮像装置の周囲の音声を収音するマイク部と、
前記マイク部が収音した音声データを符号化する音声データ処理部と、を更に備え、
前記蓄積部は、
符号化された前記音声データと、前記入力映像データ及び前記代入映像データとが同期されたデータを映像音声ファイルとして蓄積する、
撮像装置。 The imaging apparatus according to claim 1 or 2,
A microphone unit that collects sound around the imaging device;
An audio data processing unit that encodes audio data collected by the microphone unit;
The storage unit
Storing the encoded audio data, the input video data and the substituted video data synchronized with each other as a video / audio file;
Imaging device.
前記マイク部が収音した音声データを音声認識する音声認識部と、を備え、
前記蓄積部は、
前記音声認識部の音声認識結果として得られた音声データの人の会話のテキストデータと、前記入力映像データ及び前記代入映像データとが同期されたデータを前記映像音声ファイルとして蓄積する、
撮像装置。 The imaging apparatus according to claim 5 ,
A voice recognition unit that recognizes voice data collected by the microphone unit;
The storage unit
Storing the text data of the human conversation of the voice data obtained as the voice recognition result of the voice recognition unit, the data obtained by synchronizing the input video data and the substitution video data as the video / audio file,
Imaging device.
所定のイベントを検出するイベント検出部と、
前記入力映像の撮像中における前記所定のイベントの検出に応じて、前記入力映像の撮像状況を表す代入映像データを生成する代入映像生成部と、
前記所定のイベントの検出前又は検出後に応じて、符号化に用いる映像データを、撮像された入力映像データ又は生成された前記代入映像データに切り替える切替部と、
前記所定のイベントの検出前に前記撮像された入力映像データと、前記所定のイベントの検出後に前記生成された代入映像データとを符号化する映像データ処理部と、
符号化された前記入力映像データ及び前記代入映像データを映像ファイルとして蓄積する蓄積部と、
前記撮像中における前記所定のイベントの検出に応じて、前記所定のイベントの検出までに撮像された前記入力映像データを解析する画像処理部と、を備え、
前記蓄積部は、
前記画像処理部の解析結果としてのメタデータを含む前記映像ファイルを蓄積する、
撮像装置。 An imaging unit for imaging an input video;
An event detector for detecting a predetermined event;
In response to detection of the predetermined event during imaging of the input video, a substitution video generation unit that generates substitution video data representing the imaging situation of the input video;
A switching unit that switches video data used for encoding to captured input video data or generated substitution video data before or after detection of the predetermined event;
A video data processing unit that encodes the captured input video data before detection of the predetermined event and the generated substitution video data after detection of the predetermined event;
A storage unit for storing the encoded input video data and the substitution video data as a video file;
An image processing unit that analyzes the input video data captured before the detection of the predetermined event in response to the detection of the predetermined event during the imaging,
The storage unit
Storing the video file including metadata as an analysis result of the image processing unit;
Imaging device.
前記画像処理部は、
前記入力映像の連続するフレーム間の差分情報を基に、動体の位置及び動きの各情報を前記メタデータとして抽出する、
撮像装置。 The imaging apparatus according to claim 7 ,
The image processing unit
Based on the difference information between successive frames of the input video, to extract each information of the position and movement of the moving body as the metadata,
Imaging device.
前記画像処理部は、
前記入力映像の各フレームから人物の顔を検出し、検出された前記人物の顔の位置、サイズ及び個数の各情報を前記メタデータとして抽出する、
撮像装置。 The imaging apparatus according to claim 7 ,
The image processing unit
Detecting a face of a person from each frame of the input video, and extracting each piece of information of the detected position, size and number of faces of the person as the metadata;
Imaging device.
前記送信部は、
前記所定のイベントの検出までに撮像された前記入力映像データが符号化された映像ファイルを送信する、
撮像装置。 The imaging apparatus according to claim 3,
The transmitter is
Transmitting a video file in which the input video data imaged before detection of the predetermined event is encoded;
Imaging device.
前記代入映像生成部は、
前記映像ファイルにおいて、前記入力映像データの内容から前記代入映像データの内容に、又は前記代入映像データの内容から前記入力映像データの内容に切り替える所定の演出映像データを生成し、
前記蓄積部は、
前記入力映像データと前記所定の演出映像データと前記代入映像データとが符号化された前記映像ファイルを蓄積する、
撮像装置。 The imaging apparatus according to claim 1 or 2,
The substitution video generation unit
In the video file, to generate predetermined effect video data to switch from the content of the input video data to the content of the substitution video data, or from the content of the substitution video data to the content of the input video data,
The storage unit
Storing the video file in which the input video data, the predetermined effect video data, and the substitution video data are encoded;
Imaging device.
所定のイベントとして、前記撮像部に入射する光の遮光を検出するイベント検出部と、
前記入力映像の撮像中における前記所定のイベントの検出に応じて、前記入力映像の撮像状況を表す代入映像データを生成する代入映像生成部と、
前記所定のイベントの検出前又は検出後に応じて、符号化に用いる映像データを、撮像された入力映像データ又は生成された前記代入映像データに切り替える切替部と、
前記所定のイベントの検出前に前記撮像された入力映像データと、前記所定のイベントの検出後に前記生成された代入映像データとを符号化する映像データ処理部と、
符号化された前記入力映像データ及び前記代入映像データを映像ファイルとして蓄積する蓄積部と、
自己の位置情報を取得する位置取得部と、を備え、
前記代入映像生成部は、
前記位置取得部が取得した前記位置情報を含む地図データ上に前記位置情報を示すマーカを表示可能に含めた映像データを前記代入映像データとして生成し、
前記代入映像生成部は、さらに、
前記位置取得部が取得した前記位置情報を含む所定の拡張現実空間映像データを前記代入映像データとして生成する、
撮像装置。 An imaging unit for imaging an input video;
As a predetermined event, an event detection unit that detects a blocking of light incident on the imaging unit;
In response to detection of the predetermined event during imaging of the input video, a substitution video generation unit that generates substitution video data representing the imaging situation of the input video;
A switching unit that switches video data used for encoding to captured input video data or generated substitution video data before or after detection of the predetermined event;
A video data processing unit that encodes the captured input video data before detection of the predetermined event and the generated substitution video data after detection of the predetermined event;
A storage unit for storing the encoded input video data and the substitution video data as a video file;
A position acquisition unit for acquiring self position information;
The substitution video generation unit
Generating video data including a marker indicating the position information on the map data including the position information acquired by the position acquisition unit as displayable video data,
The substitution video generation unit further includes:
Generating a predetermined extended real space image data including the pre-Symbol position location information the position acquisition unit has acquired as the assignment image data,
Imaging device.
画面にデータを表示する表示部と、
所定の入力操作に応じて、前記蓄積部に蓄積された前記映像ファイルの内容を前記画面に表示させる表示制御部と、を更に備える、
撮像装置。 The imaging apparatus according to claim 1 or 2,
A display for displaying data on the screen;
A display control unit for displaying the content of the video file stored in the storage unit on the screen in accordance with a predetermined input operation;
Imaging device.
所定のイベントとして、前記入力映像を撮像する撮像部に入射する光の遮光を検出するステップと、
前記入力映像の撮像中における前記所定のイベントの検出に応じて、前記入力映像の撮像状況を表す代入映像データを生成するステップと、
前記所定のイベントの検出前又は検出後に応じて、符号化に用いる映像データを、撮像された入力映像データ又は生成された前記代入映像データに切り替えるステップと、
前記所定のイベントの検出前に撮像された入力映像データと、前記所定のイベントの検出後に生成された前記代入映像データとを符号化するステップと、
符号化された前記入力映像データ及び前記代入映像データを映像ファイルとして蓄積するステップと、を有する、
映像データ切替方法。 Imaging the input video;
Detecting a blocking of light incident on an imaging unit that images the input video as a predetermined event;
Generating substitution video data representing an imaging state of the input video in response to detection of the predetermined event during imaging of the input video;
Switching video data used for encoding to captured input video data or generated substitution video data before or after detection of the predetermined event;
Encoding the input video data imaged before detection of the predetermined event and the substitution video data generated after detection of the predetermined event;
Storing the encoded input video data and the substituted video data as a video file;
Video data switching method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013044358A JP6218060B2 (en) | 2013-03-06 | 2013-03-06 | Imaging apparatus and video data switching method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013044358A JP6218060B2 (en) | 2013-03-06 | 2013-03-06 | Imaging apparatus and video data switching method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014175714A JP2014175714A (en) | 2014-09-22 |
| JP6218060B2 true JP6218060B2 (en) | 2017-10-25 |
Family
ID=51696582
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013044358A Active JP6218060B2 (en) | 2013-03-06 | 2013-03-06 | Imaging apparatus and video data switching method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6218060B2 (en) |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11220684A (en) * | 1998-01-30 | 1999-08-10 | Sony Corp | Recording device |
| JP2003008948A (en) * | 2001-06-22 | 2003-01-10 | Fuji Photo Film Co Ltd | Electronic camera and its image display method, and image recording method |
| JP2004201282A (en) * | 2002-12-06 | 2004-07-15 | Casio Comput Co Ltd | Imaging device and imaging method |
| JP2005277780A (en) * | 2004-03-24 | 2005-10-06 | Sharp Corp | Videophone and videophone system |
| JP2010050878A (en) * | 2008-08-25 | 2010-03-04 | Nikon Corp | Imaging apparatus |
| JP2010278758A (en) * | 2009-05-28 | 2010-12-09 | Nikon Corp | Imaging device |
| JP2012100216A (en) * | 2010-11-05 | 2012-05-24 | Nikon Corp | Camera and moving image capturing program |
-
2013
- 2013-03-06 JP JP2013044358A patent/JP6218060B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014175714A (en) | 2014-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9940969B2 (en) | Audio/video methods and systems | |
| US8144233B2 (en) | Display control device, display control method, and display control program for superimposing images to create a composite image | |
| JP5685732B2 (en) | Video extraction device, program, and recording medium | |
| JP5456023B2 (en) | Image photographing apparatus, image photographing method, program, and integrated circuit | |
| KR20150090999A (en) | Image processing apparatus, image processing method and computer readable recording medium having program for generating time-lapse moving image | |
| US20110199496A1 (en) | Image capturing apparatus, image capturing control method, and storage medium | |
| CN113810596B (en) | Time-lapse photography method and device | |
| CN104811592A (en) | Imaging apparatus, imaging control method and storage medium | |
| US20150281586A1 (en) | Method and apparatus for forming a video sequence | |
| KR20150088200A (en) | Imaging apparatus, imaging control method and program | |
| JP2010245856A (en) | Video editing device | |
| JP6341814B2 (en) | Imaging device, control method thereof, and program | |
| JP2011119936A (en) | Photographing device and reproducing method | |
| JP6218060B2 (en) | Imaging apparatus and video data switching method | |
| WO2015104780A1 (en) | Image pickup apparatus | |
| JP2012034128A (en) | Image processing apparatus and imaging apparatus using the same | |
| KR20150109254A (en) | Imaging apparatus, imaging method and recording medium having program for performing self-timer shooting | |
| JP2011119934A (en) | Image shooting device and image shooting method | |
| JP2014072642A (en) | Moving image data processing system, moving image data transmission device, and moving image data reception device | |
| JP2017063276A (en) | Video display device, video display method, and program | |
| JP2015159406A (en) | Image pickup device and control method of the same | |
| WO2016175003A1 (en) | Imaging device, control method for imaging device, and control program | |
| Hong et al. | Method of Capturing a Video and a Set of Selected High-Quality Images During Camera Shutter Long-Press | |
| JP5774731B2 (en) | Digital camera and composite image display method of digital camera | |
| CN119383476A (en) | Image processing method, device, electronic device and computer storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20150116 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160129 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20160224 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170124 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170321 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170411 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170620 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20170629 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170822 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170915 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6218060 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |