[go: up one dir, main page]

JP2005311674A - VIDEO RECORDING / DISPLAY DEVICE AND VIDEO RECORDING / DISPLAY METHOD - Google Patents

VIDEO RECORDING / DISPLAY DEVICE AND VIDEO RECORDING / DISPLAY METHOD Download PDF

Info

Publication number
JP2005311674A
JP2005311674A JP2004125495A JP2004125495A JP2005311674A JP 2005311674 A JP2005311674 A JP 2005311674A JP 2004125495 A JP2004125495 A JP 2004125495A JP 2004125495 A JP2004125495 A JP 2004125495A JP 2005311674 A JP2005311674 A JP 2005311674A
Authority
JP
Japan
Prior art keywords
video
subject
display
shaking
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004125495A
Other languages
Japanese (ja)
Inventor
Takashi Ida
孝 井田
Nobuyuki Matsumoto
信幸 松本
Yoshinori Yuki
義徳 結城
Masato Tabuchi
正人 田渕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2004125495A priority Critical patent/JP2005311674A/en
Publication of JP2005311674A publication Critical patent/JP2005311674A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Studio Circuits (AREA)

Abstract

【課題】 利用者に手ぶれなどによる被写体映像の揺れを示す揺れ情報を発することで、揺れのない被写体映像の撮影を可能とする。
【解決手段】 本発明の映像記録表示装置は、被写体映像を取得する被写体映像取得手段101と、被写体映像取得手段101によって撮影された前記被写体映像の揺れを示す揺れ情報を生成する揺れ情報生成手段102と、揺れ情報生成手段102からの前記揺れ情報を表示する表示手段103とで構成する。この映像記録表示装置により、表示手段102に表示される揺れ情報を見ながら、揺れのない支持状態であることを確認して被写体映像の撮影が行える。
【選択図】 図1
PROBLEM TO BE SOLVED: To shoot a subject video without shaking by issuing shaking information indicating shaking of the subject video due to camera shake to a user.
A video recording and display device according to the present invention includes a subject video acquisition unit 101 that acquires a subject video, and a shake information generation unit that generates shaking information indicating a shake of the subject video captured by the subject video acquisition unit 101. 102 and display means 103 for displaying the shake information from the shake information generating means 102. With this video recording and display device, it is possible to shoot a subject video by confirming that the support state is free from shaking while viewing the shaking information displayed on the display means 102.
[Selection] Figure 1

Description

本発明は、カメラを搭載した携帯電話やデジタルスチルカメラあるいはビデオカメラなどの映像記録表示装置および映像記録表示方法に係わり、特に揺れのない被写体映像を撮影できるようにした映像記録表示装置および映像記録表示方法に関する。   The present invention relates to a video recording / displaying device and a video recording / displaying method such as a mobile phone equipped with a camera, a digital still camera, or a video camera, and a video recording / displaying device and video recording capable of capturing a subject video without shaking. It relates to the display method.

カメラを搭載した携帯電話やデジタルスチルカメラあるいはビデオカメラなどの従来の映像記録表示装置には、手ぶれなどにより被写体映像に生じた揺れを自動的に補正する機能を有するものがあった(例えば、特許文献1参照)。しかし、自動的に揺れを補正するものであっても、完全に揺れを抑止することはできない場合が多かった。また、自動的に揺れを補正する場合には、手ぶれなどによる揺れなどが発生していても利用者の感覚として、手ぶれしたことを意識することがない。そのため、利用者が手ぶれが発生しないように映像記録表示装置を保持したつもりでも、実際の映像に手ぶれにより揺れが生じていることがある。したがって、自動的に補正できる範囲を超えて手ぶれが生じているような場合には、もはや被写体映像に生じた揺れを抑制することはできないという問題があった。   Some conventional video recording and display devices such as a mobile phone equipped with a camera, a digital still camera, or a video camera have a function of automatically correcting shaking generated in a subject video due to camera shake (for example, a patent) Reference 1). However, even if it automatically corrects the shaking, there are many cases where the shaking cannot be completely suppressed. In the case of automatically correcting shaking, even if shaking due to shaking or the like occurs, the user is not aware of shaking as a user's feeling. For this reason, even if the user intends to hold the video recording and display device so as not to cause camera shake, the actual video may be shaken by camera shake. Accordingly, there has been a problem that when the camera shake occurs beyond the range that can be automatically corrected, it is no longer possible to suppress the shake generated in the subject image.

また映像記録表示装置には、被写体映像から合成映像を生成する機能を有するものがあった。しかし、手ぶれなどにより被写体映像に揺れが生じる場合には、合成映像の品質が劣化するという問題があった。   Some video recording and display devices have a function of generating a composite video from a subject video. However, when the subject video is shaken due to camera shake or the like, there is a problem that the quality of the synthesized video is deteriorated.

また合成映像としては、撮影した映像から移動する物体を切り出し、それらを貼り合わせることで合成されるストロボ映像が用いられることがあった(例えば、非特許文献1参照)。この場合、被写体映像に揺れが生じると、被写体映像からストロボ合成の対象となる移動する物体を正確に切り出すことができず、合成後の映像が著しく劣化するという問題があった。
特開平4‐157987号公報(第3頁) 井田孝ほか3名:「運動フォームの軌跡を合成する全自動FlashMotionシステムの開発」、第9回 画像センシングシンポジウム講演論文集、平成15年6月、pp. 495-500
Further, as a composite video, a strobe video synthesized by cutting out moving objects from the captured video and pasting them together may be used (for example, see Non-Patent Document 1). In this case, when the subject video fluctuates, there is a problem in that the moving object that is the target of the strobe synthesis cannot be accurately extracted from the subject video, and the synthesized video is significantly deteriorated.
JP-A-4-157987 (page 3) Takashi Ida and three others: “Development of a fully automatic FlashMotion system that synthesizes the trajectory of a motion form”, Proceedings of the 9th Image Sensing Symposium, June 2003, pp. 495-500

本発明は、上記従来技術の問題点を解決するためになされたものであって、利用者に手ぶれなどによる被写体映像の揺れの抑止を促すための揺れ情報を発することで、揺れのない被写体映像の撮影を可能とする映像記録表示装置および映像記録表示方法を提供することを目的とする。   The present invention has been made in order to solve the above-described problems of the prior art, and by generating shaking information for prompting the user to suppress shaking of the subject video due to camera shake or the like, there is no subject video. It is an object of the present invention to provide a video recording / displaying apparatus and a video recording / displaying method that enable shooting of a video.

また本発明は、揺れのない被写体映像を加工して合成映像を生成することにより、高品質の合成映像の生成を可能とする映像記録表示装置および映像記録表示方法を提供することを目的とする。   It is another object of the present invention to provide a video recording and display apparatus and a video recording and display method that can generate a high-quality composite video by processing a subject video without shaking to generate a composite video. .

また本発明は、揺れのない被写体映像を加工してストロボ映像を合成することにより、高品質のストロボ映像の生成を可能とする映像記録表示装置および映像記録表示方法を提供することを目的とする。   It is another object of the present invention to provide a video recording and display device and a video recording and display method that enable generation of a high-quality strobe video by processing a subject video without shaking and synthesizing the strobe video. .

上記目的を達成するために、本発明の映像記録表示装置は、被写体映像を取得する被写体映像取得手段と、前記被写体映像取得手段によって撮影された前記被写体映像の揺れを示す揺れ情報を生成する揺れ情報生成手段と、前記揺れ情報生成手段からの前記揺れ情報を表示する表示手段とを備えることを特徴とする。   In order to achieve the above object, a video recording / displaying apparatus according to the present invention includes a subject video acquisition unit that acquires a subject video, and a shake that generates shaking information indicating the shake of the subject video captured by the subject video acquisition unit. It is characterized by comprising information generating means and display means for displaying the shaking information from the shaking information generating means.

また本発明の映像記録表示装置は、被写体映像を取得する被写体映像取得手段と、前記被写体映像取得手段によって撮影された前記被写体映像の揺れを示す揺れ情報を生成する揺れ情報生成手段と、前記被写体映像を加工して合成映像を生成する映像合成手段と、前記揺れ情報生成手段で生成された前記揺れ情報又は前記映像合成手段で生成された前記合成映像を表示する少なくとも1つの表示手段とを備えることを特徴とする。   The video recording and display device of the present invention includes a subject video acquisition unit that acquires a subject video, a shaking information generation unit that generates shaking information indicating a shaking of the subject video captured by the subject video acquisition unit, and the subject Video synthesizing means for processing a video to generate a synthesized video, and at least one display means for displaying the shaking information generated by the shaking information generating means or the synthesized video generated by the video synthesizing means. It is characterized by that.

また本発明の映像記録表示方法は、被写体映像取得手段で取得した被写体映像を表示手段に表示するステップと、前記被写体映像の揺れを示す揺れ情報を生成し、その揺れ情報を前記表示手段に表示するステップと、前記被写体映像を加工して合成映像を生成し、その合成映像を前記表示手段に表示するステップとを有することを特徴とする。   The video recording / displaying method of the present invention includes a step of displaying the subject video acquired by the subject video acquisition unit on the display unit, generating shaking information indicating the shaking of the subject video, and displaying the shaking information on the display unit. And a step of processing the subject video to generate a composite video and displaying the composite video on the display means.

本発明によれば、揺れ情報を表示することによって、利用者に被写体映像の揺れを抑止するように促すことができるため、揺れのない被写体映像を取得することが可能になる。また、利用者に手ぶれなどによる被写体映像の揺れを示す揺れ情報を発することで、揺れのない被写体映像の撮影が可能となり、揺れのない被写体映像を用いて合成映像を生成することにより高品質な合成映像の生成が可能となる。   According to the present invention, it is possible to prompt the user to suppress the shaking of the subject video by displaying the shaking information, and thus it is possible to acquire a subject video without shaking. In addition, it is possible to shoot the subject video without shaking by issuing shaking information indicating the shaking of the subject video due to camera shake, etc., and to generate high quality video by using the subject video without shaking. A composite video can be generated.

以下、本発明の実施形態について説明する。   Hereinafter, embodiments of the present invention will be described.

図1は、本発明の第1の実施形態を示す図である。   FIG. 1 is a diagram showing a first embodiment of the present invention.

この第1の実施形態の映像記録表示装置は、被写体映像取得手段101、揺れ情報生成手段102、表示手段103を備えている。   The video recording / display apparatus according to the first embodiment includes subject video acquisition means 101, shaking information generation means 102, and display means 103.

被写体映像取得手段101は、被写体映像を映像記録表示装置に取り込む機能を有するカメラである。揺れ情報生成手段102は、被写体映像取得手段101によって撮影された被写体映像の揺れを利用者に表示するための揺れ情報を生成する機能を有する。表示手段103は、揺れ情報生成手段102で生成された揺れ情報を利用者に対して表示する機能を有する。   The subject video acquisition unit 101 is a camera having a function of taking a subject video into a video recording display device. The shake information generating unit 102 has a function of generating shake information for displaying the shake of the subject video captured by the subject video acquiring unit 101 to the user. The display unit 103 has a function of displaying the shake information generated by the shake information generation unit 102 to the user.

次に、第1の実施形態に係わる映像記録表示装置の動作について説明する。   Next, the operation of the video recording / displaying apparatus according to the first embodiment will be described.

被写体映像取得手段101は、被写体映像を撮影して揺れ情報生成手段102に送る。揺れ情報生成手段102は、被写体映像取得手段101からの被写体映像に生じている揺れを検出して、利用者に表示するための揺れ情報を生成する。   The subject video acquisition unit 101 captures the subject video and sends it to the shake information generation unit 102. The shaking information generation unit 102 detects shaking generated in the subject video from the subject video acquisition unit 101 and generates shaking information to be displayed to the user.

被写体映像に生じている揺れを検出する方法としては、振動体に角速度が加わったときに振動方向の変化を検知することのできる角速度センサーを被写体映像取得手段101に取り付けることにより、被写体映像取得手段101の揺れの角速度を検出する方法がある。この場合、角速度の大きさの値自体をそのまま揺れ情報としてもよいし、角速度の大きさをあらかじめ定めた閾値と比較して、閾値以上であれば「1」、すなわち被写体映像の揺れがあり、閾値未満であれば「0」、すなわち被写体映像の揺れがないとして、揺れの有無を2値化したものを揺れ情報としてもよい。   As a method for detecting the shaking generated in the subject video, the subject video acquisition unit is provided with an angular velocity sensor capable of detecting a change in the vibration direction when an angular velocity is applied to the vibrating body. There is a method of detecting the angular velocity of the 101 swing. In this case, the value of the magnitude of the angular velocity itself may be used as the shake information as it is, or when the magnitude of the angular velocity is compared with a predetermined threshold, if it is equal to or greater than the threshold, “1”, that is, the subject video is shaken, If it is less than the threshold value, “0”, that is, the subject image is not shaken, and the presence / absence of the shake is binarized may be used as the shake information.

また、時間が前後する被写体映像のフレームに対して画素ごとに画素値の平均値を求めて加工映像を生成し、この加工映像を揺れ情報としてもよい。ここで、この方法により加工画像を生成した例を図4および図5に示す。図4(a)は被写体映像に揺れがない場合の時間が前後する2枚の被写体映像のフレームである。この場合、図4(b)に示すように加工映像は被写体映像と変わりがない。一方、図5(a)は被写体映像に揺れがある場合の時間が前後する2枚の被写体映像のフレームである。この場合、図5(b)に示すように、加工映像では被写体映像に含まれる物体の輪郭が2重に見える。そのため、この方法で生成した加工映像を利用者に対して提示すれば、利用者は容易に被写体映像が揺れていることを把握することができる。   In addition, a processed image may be generated by obtaining an average value of pixel values for each pixel with respect to a frame of a subject image whose time varies, and the processed image may be used as shaking information. Here, an example in which a processed image is generated by this method is shown in FIGS. FIG. 4A shows two frames of the subject video whose time is around when the subject video is not shaken. In this case, the processed image is the same as the subject image as shown in FIG. On the other hand, FIG. 5A is a frame of two subject images where the time when the subject image is shaken varies. In this case, as shown in FIG. 5B, the contour of the object included in the subject image appears double in the processed image. Therefore, when the processed video generated by this method is presented to the user, the user can easily grasp that the subject video is shaking.

さらに、上記方法で生成した加工映像とともに、被写体映像自身を並べて表示してもよい。被写体映像自身を並べて表示することにより、利用者は加工映像と被写体映像を見比べることが可能になるため、被写体映像に含まれる物体の輪郭が2重になっている状態を検知しやすくなる。   Further, the subject video itself may be displayed side by side with the processed video generated by the above method. By displaying the subject videos themselves side by side, the user can compare the processed video with the subject video, so that it is easy to detect a state in which the contours of the objects included in the subject video are doubled.

また、時間が前後する被写体映像のフレーム対して画素ごとにフレーム間の画素値の差の絶対値を求めて、その絶対値が大きい画素ほど明るく表したモノクロ映像を生成し、この映像を揺れ情報としてもよい。この方法によれば、被写体映像に揺れがない場合には、画素ごとの画素値の差が0となるため、加工映像は黒一色の画面となる。一方、被写体映像に揺れがある場合には、画素値の差の絶対値は必ずしも0とはならないため、加工映像は黒一色とはならない。そのため、この方法で生成した加工映像を利用者に対して提示すれば、利用者は容易に被写体映像が揺れていることを把握することができる。   In addition, the absolute value of the difference in pixel value between frames is calculated for each pixel of the frame of the subject video whose time fluctuates, and a monochrome image in which the larger the absolute value is expressed brighter is generated. It is good. According to this method, when there is no shaking in the subject image, the difference in pixel value for each pixel is 0, so that the processed image is a black screen. On the other hand, when the subject image is shaken, the absolute value of the difference between the pixel values is not necessarily 0, so that the processed image is not black. Therefore, when the processed video generated by this method is presented to the user, the user can easily grasp that the subject video is shaking.

表示手段103では、揺れ情報生成手段102で生成された揺れ情報を利用者に対して表示する。被写体映像に生じている揺れを検出する方法が前述した角速度センサーを用いる方法である場合には、映像を表示するためのディスプレイに角速度の大きさを数値で表示してもよい。また、数値を図6に示すようなメータに加工してディスプレイに表示してもよい。また、角速度の大きさに対応して明るさが変わるLEDを設けて、LEDを点灯させることによって揺れ情報を表示してもよい。更に、揺れ情報が、被写体映像の揺れの有無を表す2値である場合には、それぞれの値に対応してLEDを点灯、消灯させてもよい。更にまた、揺れ情報が、前述した加工映像である場合には、被写体映像を表示するためのディスプレイに加工映像を表示させてもよい。   The display means 103 displays the shake information generated by the shake information generation means 102 to the user. When the method of detecting the shaking generated in the subject video is the method using the angular velocity sensor described above, the magnitude of the angular velocity may be displayed numerically on a display for displaying the video. Further, the numerical value may be processed into a meter as shown in FIG. 6 and displayed on the display. Further, an LED whose brightness changes according to the magnitude of the angular velocity may be provided, and the shaking information may be displayed by turning on the LED. Further, when the shake information is a binary value indicating whether or not the subject video is shaken, the LED may be turned on / off in accordance with each value. Furthermore, when the shake information is the above-described processed image, the processed image may be displayed on a display for displaying the subject image.

利用者は、このようにして表示手段103に表示された揺れ情報にしたがって、被写体映像に揺れが生じないように被写体映像取得手段101を支持することが可能になる。例えば、前述した角速度の大きさをディスプレイに数値で表す場合には、数値が0に近づくように被写体映像取得手段101を支持して撮影すれば揺れのない被写体映像を得ることができる。また、被写体映像の揺れの有無をLEDの点灯、消灯で表示する場合には、LEDが消灯するように被写体映像取得手段101を支持して撮影すれば、同様に揺れのない被写体映像を得ることができる。   The user can support the subject video acquisition unit 101 in accordance with the shaking information displayed on the display unit 103 in this way so that the subject video does not shake. For example, when the magnitude of the angular velocity described above is represented by a numerical value on a display, a subject image without shaking can be obtained by shooting with support of the subject video acquisition unit 101 so that the numerical value approaches zero. In addition, when the presence / absence of the subject video is displayed by turning on / off the LED, if the subject video acquisition unit 101 is supported so that the LED is turned off, the subject video can be obtained similarly. Can do.

また、時間が前後する被写体映像のフレームに対して画素ごとに画素値の平均値を求めて加工映像生成し、この加工映像をディスプレイに表示させる場合には、被写体映像に揺れが生じていれば、被写体映像に含まれる物体の輪郭が2重に見えているので、物体の輪郭が2重にならないように被写体映像取得手段101を支持して撮影すれば、同様に揺れのない被写体映像を得ることができる。   In addition, when an average value of pixel values is obtained for each pixel with respect to a frame of a subject video whose time fluctuates, a processed video is generated, and when this processed video is displayed on a display, if the subject video is shaken, Since the contour of the object included in the subject video looks double, if the subject video acquisition unit 101 is supported so that the contour of the object is not doubled, the subject video without shaking is obtained similarly. be able to.

また、時間が前後する被写体映像のフレーム対して画素ごとにフレーム間の画素値の差の絶対値を求めて、その絶対値が大きい画素ほど明るく表したモノクロ映像を生成し、この加工映像をディスプレイに表示させる場合には、被写体映像に揺れが生じていれば、表示された加工映像は黒一色とはならないので、表示された映像が黒一色に近づくように被写体映像取得手段101を支持して撮影すれば、同様に揺れのない被写体映像を得ることができる。     In addition, the absolute value of the difference between the pixel values for each pixel is obtained for each frame of the subject video frame, and a monochrome image is generated in which the larger the absolute value is, the brighter the pixel is displayed. When the subject image is shaken, if the subject image is shaken, the displayed processed image will not be black, so the subject image acquisition unit 101 is supported so that the displayed image approaches black. If a picture is taken, a subject image without shaking can be obtained similarly.

なお、このようにして撮影された被写体映像は、動画像として記録してもよく、1枚の静止画像として記録してもよく、時間的に連続する複数の静止画像として記録してもよい。   The subject video imaged in this way may be recorded as a moving image, may be recorded as a single still image, or may be recorded as a plurality of still images that are temporally continuous.

このように、第1の実施形態に係わる映像記録表示装置によれば、利用者に手ぶれなどによる被写体映像の揺れを示す揺れ情報を発することで、利用者はこの揺れ情報にしたがって揺れのない支持状態であることを確認しながら被写体映像の撮影が可能となる。   As described above, according to the video recording and display apparatus according to the first embodiment, the user can support the user without shaking according to the shaking information by issuing the shaking information indicating the shaking of the subject image due to camera shake or the like to the user. It is possible to shoot the subject video while confirming the state.

図2は、本発明の第2の実施形態を示す図である。   FIG. 2 is a diagram showing a second embodiment of the present invention.

この第2の実施形態の映像記録表示装置は、被写体映像取得手段201、揺れ情報生成手段202、揺れ情報表示手段203、映像合成手段204、合成映像表示手段205を備えている。   The video recording / display apparatus of the second embodiment includes subject video acquisition means 201, shaking information generation means 202, shaking information display means 203, video composition means 204, and composite video display means 205.

被写体映像取得手段201は、被写体映像を映像記録表示装置に取り込む機能を有するカメラである。揺れ情報生成手段202は、被写体映像取得手段201で撮影された被写体映像の揺れを利用者に表示するための揺れ情報を生成する機能を有する。揺れ情報表示手段203は、揺れ情報生成手段202で生成された揺れ情報を利用者に対して表示する機能を有する。映像合成手段204は、被写体映像取得手段201で撮影された被写体映像から合成映像を生成する機能を有する。合成映像表示手段205は、映像合成手段204で生成された合成映像を表示する機能を有する。   The subject video acquisition unit 201 is a camera having a function of taking a subject video into a video recording / displaying device. The shake information generation unit 202 has a function of generating shake information for displaying the shake of the subject video captured by the subject video acquisition unit 201 to the user. The shake information display unit 203 has a function of displaying the shake information generated by the shake information generation unit 202 to the user. The video composition unit 204 has a function of generating a composite video from the subject video captured by the subject video acquisition unit 201. The synthesized video display unit 205 has a function of displaying the synthesized video generated by the video synthesis unit 204.

次に、第2の実施形態に係わる映像記録表示装置の動作について説明する。なお、以下では第1の実施形態と共通する部分(201〜203)については説明を省略する。   Next, the operation of the video recording / displaying apparatus according to the second embodiment will be described. In addition, below, description is abbreviate | omitted about the part (201-203) which is common in 1st Embodiment.

映像合成手段204では、被写体映像取得手段201で撮影された被写体映像から合成映像が生成される。この映像合成手段204によって生成される合成映像は、例えば被写体映像の時間が異なる2枚以上のフレームで画素値が変化する領域を切り出し、その領域の画像を時間の順序で1枚ずつ上重ねすることにより得られるストロボ映像である。また合成映像は、あらかじめ人物が映っていない背景画像を撮影しておき、この背景画像を被写体映像と比較して画素値の差が大きい部分を人物として切り出し、これを別の画像に貼り付けた映像(例えば、井田孝ほか2名:「顔チャットシステム」、東芝レビュー、平成14年6月、pp. 26-29参照)であってもよい。   The video composition unit 204 generates a composite video from the subject video captured by the subject video acquisition unit 201. In the synthesized video generated by the video synthesizing unit 204, for example, an area where the pixel value changes in two or more frames having different time periods of the subject video is cut out, and images in the area are overlaid one by one in time order. It is a strobe image obtained by this. In addition, the synthesized video is a background image on which a person is not shown in advance, and the background image is compared with the subject video, and a portion with a large pixel value difference is cut out as a person and pasted on another image. It may be a video (for example, Takashi Ida and two others: “Face Chat System”, Toshiba Review, June 2002, pp. 26-29).

合成映像表示手段205は、映像合成手段204で生成された合成映像を利用者に対して表示する。合成映像表示手段205には、映像を表示するためのディスプレイを用いることができる。また図2では、揺れ情報表示手段203と合成映像表示手段205を別に設けているが、ひとつのディスプレイに揺れ情報および合成映像を表示できるようにすることも可能である。   The synthesized video display unit 205 displays the synthesized video generated by the video synthesis unit 204 to the user. The composite video display means 205 can be a display for displaying video. In FIG. 2, the shake information display means 203 and the composite video display means 205 are provided separately, but it is also possible to display the shake information and the composite video on one display.

次に、図7を用いて被写体映像からストロボ映像を合成するための手段について詳細に説明する。ここでは被写体映像からストロボ映像を合成するための方法の例として、フレーム間差分AND法(例えば、非特許文献1参照)を用いる。   Next, means for synthesizing a strobe image from a subject image will be described in detail with reference to FIG. Here, as an example of a method for synthesizing a strobe video from a subject video, an inter-frame difference AND method (see, for example, Non-Patent Document 1) is used.

フレーム間差分AND法では、まず移動する物体を切り出そうとするフレーム(現在フレーム)と、そのフレームに対して所定の時間だけ過去のフレーム(過去フレーム)との間で、画素ごとに画素値の差分を求める。次に、求められた画素値の差分を所定の閾値と比較して、画素値の差分が閾値よりも大きい画素を1、閾値以下の画素を0とする画像(アルファマスク)を生成する。同様に、現在フレームと、現在フレームに対して所定の時間だけ未来のフレーム(未来フレーム)との間で、画素ごとに画素値の差分を求めて、アルファマスクを生成する。次に、求められた2枚のアルファマスクについて画素ごとに画素値の論理積を求めることによって、現在フレームにおける物体領域を検出する。この物体領域の画素を背景画像に上書きすれば、1枚の画像の中に移動する物体の移動前と移動後の両方の画像が同時に表示できる。このようにして合成されたものがストロボ映像である。   In the inter-frame difference AND method, first, a pixel value for each pixel between a frame (current frame) in which a moving object is to be cut out and a past frame (past frame) for a predetermined time with respect to the frame. Find the difference between Next, the obtained pixel value difference is compared with a predetermined threshold value to generate an image (alpha mask) in which a pixel having a pixel value difference larger than the threshold value is 1 and a pixel equal to or smaller than the threshold value is 0. Similarly, an alpha mask is generated by obtaining a pixel value difference for each pixel between the current frame and a future frame (future frame) for a predetermined time with respect to the current frame. Next, the object region in the current frame is detected by obtaining a logical product of pixel values for each pixel for the two obtained alpha masks. By overwriting the pixels of the object area on the background image, both the images before and after the movement of the moving object in one image can be displayed simultaneously. The composite image is a strobe image.

次に、図8乃至図11を用いて、揺れが生じている被写体映像を用いてストロボ映像を合成したときの問題点について説明する。   Next, with reference to FIG. 8 to FIG. 11, problems that occur when a strobe image is synthesized using a subject image in which shaking has occurred will be described.

図8および図9のそれぞれに示される3枚の画像は、家屋や樹木といった背景の前を自動車が通過する映像を表している。図8は被写体映像に揺れがない場合の映像であり、図9は被写体映像が時間ごとに上にずれていく場合(すなわちカメラが下にずれていく場合)の映像である。いずれの場合も3枚の画像は左から右に向かって時間が経過しているものとする。   Each of the three images shown in FIGS. 8 and 9 represents an image of a car passing in front of a background such as a house or a tree. FIG. 8 is an image when the subject image is not shaken, and FIG. 9 is an image when the subject image is shifted upward with time (that is, when the camera is shifted downward). In any case, it is assumed that three images have elapsed from left to right.

図10は被写体映像に揺れがない場合のストロボ映像を表している。前述したようにストロボ映像では、移動する物体領域の画素のみが上重ねされるため、移動する物体である自動車の映像のみがストロボ映像に複数現れることになる。   FIG. 10 shows a stroboscopic image when the subject image is not shaken. As described above, in the stroboscopic image, only the pixels of the moving object region are overlaid, so that only a plurality of images of the automobile that is the moving object appear in the stroboscopic image.

一方、図11は被写体映像に揺れがある場合のストロボ映像を表している。この場合、画像全体が上にずれていくため、実際には静止している家屋や樹木に対応する画素についても、フレーム間の画素値の差分が大きくなり、移動する物体領域として切り出されることになる。そのため、ストロボ映像を合成すると、移動する物体である自動車のほかに、家屋や樹木といった実際には静止している物体についてもストロボ映像に複数表れることになる。   On the other hand, FIG. 11 shows a stroboscopic image when the subject image is shaken. In this case, since the entire image is shifted upward, the difference in pixel value between frames becomes large even for pixels corresponding to still houses and trees, which are actually cut out as moving object regions. Become. Therefore, when the stroboscopic image is synthesized, a plurality of objects that are actually stationary, such as a house and a tree, will appear in the stroboscopic image in addition to the automobile that is a moving object.

このように被写体映像に揺れが生じている場合には、ストロボ合成を行うことで実際には静止している物体についてもストロボ映像に複数表れることになるため、合成映像の品質が劣化することになる。   In this way, when the subject video is shaking, the strobe compositing will cause multiple objects that are actually stationary to appear in the strobe video, resulting in a deterioration in the quality of the composite video. Become.

これに対して本実施形態に係わる映像記録表示装置によれば、利用者は揺れ情報表示手段203に表示された揺れ情報にしたがって被写体映像に揺れが生じないように被写体映像取得手段201を支持して撮影すれば揺れのない被写体映像を得ることができる。そのため、このようにして取得された被写体映像を用いて合成映像を生成することによって、合成映像の品質の劣化を防ぐことが可能になる。   On the other hand, according to the video recording and display apparatus according to the present embodiment, the user supports the subject video acquisition unit 201 so that the subject video does not shake according to the shake information displayed on the shake information display unit 203. If you shoot, you can get a subject image without shaking. Therefore, it is possible to prevent deterioration of the quality of the composite video by generating the composite video using the subject video acquired in this way.

このようにして、本実施形態に係わる映像記録表示装置によれば、利用者に手ぶれなどによる被写体映像の揺れを示す揺れ情報を発することで、揺れのない被写体映像であることを確認しながら撮影が可能となり、揺れのない被写体映像を用いて合成映像を生成することにより高品質な合成映像の生成が可能となる。   As described above, according to the video recording and display apparatus according to the present embodiment, shooting is performed while confirming that the subject video is not shaken by issuing shaking information indicating shaking of the subject video due to camera shake to the user. Therefore, it is possible to generate a high-quality composite video by generating a composite video using a subject video without shaking.

図3は、本発明の第3の実施形態を示す図である。   FIG. 3 is a diagram showing a third embodiment of the present invention.

この第3の実施形態に係わる映像記録表示装置は、被写体映像取得手段301、揺れ情報生成手段302、映像合成手段303、表示映像切り替え手段304、映像表示手段305、表示映像の切り替えを指示する操作手段306を備えている。   The video recording and display apparatus according to the third embodiment includes a subject video acquisition unit 301, a shake information generation unit 302, a video synthesis unit 303, a display video switching unit 304, a video display unit 305, and an operation for instructing switching of the display video. Means 306 are provided.

被写体映像取得手段301は、被写体映像を映像記録表示装置に取り込む機能を有するカメラである。揺れ情報生成手段302は、被写体映像取得手段301によって撮影された被写体映像の揺れを利用者に表示するための揺れ情報を生成する機能を有する。映像合成手段303は、被写体映像取得手段301によって撮影された被写体映像から合成映像を生成する機能を有する。   The subject video acquisition unit 301 is a camera having a function of taking a subject video into a video recording / displaying device. The shake information generating unit 302 has a function of generating shake information for displaying the shake of the subject video captured by the subject video acquisition unit 301 to the user. The video composition unit 303 has a function of generating a composite video from the subject video photographed by the subject video acquisition unit 301.

表示映像切り替え手段304は、被写体映像取得手段301からの被写体映像、または揺れ情報生成手段302からの揺れ情報、または映像合成手段303からの合成映像のいずれかを選択して表示映像として映像表示手段に出力する表示切り替え機能を有する。映像表示手段305は、表示映像切り替え手段304で選択された表示映像を表示する機能を有する。表示映像の切り替えを指示する操作手段306は、表示映像切り替え手段304に対して表示映像の切り替えを指示する機能を有する。   The display video switching unit 304 selects either the subject video from the subject video acquisition unit 301, the shaking information from the shaking information generation unit 302, or the synthesized video from the video synthesizing unit 303, and displays the video as a display video. It has a display switching function to output to. The video display unit 305 has a function of displaying the display video selected by the display video switching unit 304. The operation means 306 for instructing display video switching has a function of instructing the display video switching means 304 to switch display video.

次に、第3の実施形態に係わる映像記録表示装置の動作について説明する。   Next, the operation of the video recording / display apparatus according to the third embodiment will be described.

被写体映像取得手段301は、被写体映像を取得して表示映像切り替え手段304、揺れ情報生成手段302および映像合成手段303に送る。揺れ情報生成手段302は、被写体映像取得手段301によって撮影された被写体映像の揺れ情報を生成して表示映像切り替え手段304に送る。また映像合成手段303も、被写体映像取得手段301によって撮影された被写体映像から合成映像を生成して表示映像切り替え手段304に送る。   The subject video acquisition unit 301 acquires the subject video and sends it to the display video switching unit 304, the shake information generation unit 302, and the video synthesis unit 303. The shake information generation unit 302 generates shake information of the subject video imaged by the subject video acquisition unit 301 and sends it to the display video switching unit 304. The video composition unit 303 also generates a composite video from the subject video captured by the subject video acquisition unit 301 and sends it to the display video switching unit 304.

表示映像切り替え手段304は、操作手段306からの切り替え指示信号に基づいて前記被写体映像または前記揺れ情報または前記合成映像のいずれかを表示映像として選択して、選択した表示映像を映像表示手段305に送る。映像表示手段305は、表示映像切り替え手段304によって選択出力された表示映像を表示する。ここで表示映像切り替え手段304では、表示映像として被写体映像取得手段301からの被写体映像が選択されている場合、次に揺れ情報生成手段302からの揺れ情報を選択するように切り替えられる。また、表示映像として揺れ情報が選択されている場合、次に映像合成手段303からの合成映像を選択するように切り替えられる。   The display video switching unit 304 selects either the subject video, the shaking information, or the composite video as a display video based on the switching instruction signal from the operation unit 306, and the selected display video is displayed in the video display unit 305. send. The video display unit 305 displays the display video selected and output by the display video switching unit 304. Here, when the subject video from the subject video acquisition unit 301 is selected as the display video, the display video switching unit 304 is switched to select the shake information from the shake information generation unit 302 next. In addition, when shake information is selected as the display video, switching is performed so as to select the synthesized video from the video synthesizing means 303 next.

このようにすることで、利用者は、まず映像表示手段305に表示されている被写体映像取得手段301からの被写体映像をプレビューとして確認でき、この被写体映像を見ながら、撮影をしようとする対象に被写体映像取得手段301を向けることができる。   In this way, the user can first confirm the subject video from the subject video acquisition unit 301 displayed on the video display unit 305 as a preview, and set the target video to be shot while viewing the subject video. The subject video acquisition means 301 can be directed.

次に、表示映像を切り替えて揺れ情報生成手段302からの揺れ情報を映像表示手段305に表示することで、利用者は手ぶれなどによって被写体映像に揺れが生じていないかを確認することができ、揺れが生じている場合には揺れが生じないように映像表示手段305の画面を確認しながら被写体映像取得手段301を支持する。次に、手ぶれがない状態で表示映像を切り替えて映像合成手段303からの合成映像を映像表示手段305に表示することで、利用者は揺れの生じていない被写体映像を用いて合成した高品質の合成映像を得ることができる。   Next, by switching the display video and displaying the shake information from the shake information generating unit 302 on the video display unit 305, the user can check whether the subject video is shaken due to camera shake or the like, When shaking occurs, the subject video acquisition unit 301 is supported while checking the screen of the video display unit 305 so that the shaking does not occur. Next, the display video is switched in a state where there is no camera shake, and the synthesized video from the video synthesizing unit 303 is displayed on the video displaying unit 305, so that the user can synthesize the high-quality synthesized video using the subject video that does not shake. A composite image can be obtained.

この表示映像切り替えのタイミングは、表示映像切り替えを指示する操作手段306を操作することによって行われる。即ち、被写体映像が表示されている場合に操作手段306の操作がなされると、表示映像は前記揺れ情報に切り替えられる。この場合、揺れ情報生成手段302ではそのとき撮影している被写体映像の揺れ情報が生成され、ただちに映像表示手段305に表示される。なお、揺れ情報生成手段302では、表示映像切り替え手段304で選択されている表示映像によらず、常に揺れ情報を生成していてもよいし、操作手段306が操作された際に、操作手段306から信号を受け取り、揺れ情報の生成を開始してもよい。   This display video switching timing is performed by operating the operating means 306 for instructing display video switching. That is, when the operation unit 306 is operated while the subject image is displayed, the display image is switched to the shaking information. In this case, the shake information generating unit 302 generates shake information of the subject image being photographed at that time and immediately displays it on the video display unit 305. Note that the shaking information generating unit 302 may always generate shaking information regardless of the display video selected by the display video switching unit 304, or the operating unit 306 when the operating unit 306 is operated. A signal may be received from, and generation of shaking information may be started.

次に操作手段306の操作がなされると表示映像は前記合成映像に切り替えられる。映像合成手段303で映像合成を行うための初めの被写体映像のフレームは、この操作の時に表示されていたフレームとし、終わりのフレームは、初めのフレームから一定時間経過した後のフレームとする。この初めのフレームから終わりのフレームまでの映像合成が終わり次第、合成映像を映像表示手段305に表示する。なお、映像合成を行うための終わりのフレームを別途ボタン操作することにより決定してもよい。   Next, when the operation means 306 is operated, the display image is switched to the composite image. The first subject video frame for video synthesis by the video synthesis unit 303 is the frame displayed at the time of this operation, and the last frame is the frame after a certain time has elapsed from the first frame. As soon as video synthesis from the first frame to the last frame is completed, the synthesized video is displayed on the video display means 305. Note that the final frame for video composition may be determined by operating another button.

ここで、表示映像が合成映像に切り替えられてから、映像合成が終了し合成映像が表示されるまでの間は、映像合成中であることを示すメッセージを表示していてもよいし、映像合成の進行状況を表示していてもよい。   Here, a message indicating that video synthesis is in progress may be displayed from when the display video is switched to the composite video until the video synthesis is completed and the composite video is displayed. The progress status of may be displayed.

また、映像合成は、前記揺れ情報を生成するのに用いた被写体映像を用いて行うことも可能である。この場合、揺れ情報として前述した被写体映像の時間が異なる2枚以上のフレームを平均することで生成される加工映像を用いると、被写体映像に含まれる移動する物体は加工映像の中に2重に見えることになるが、移動する物体以外の部分が2重にならないように被写体映像取得手段301を支持すればよい。これにより、揺れのない被写体映像を取得することができるため、この被写体映像を用いて合成映像を生成すれば、高品質な合成映像を得ることができる。   In addition, the video composition can be performed using the subject video image used to generate the shaking information. In this case, if a processed image generated by averaging two or more frames having different time periods of the subject video is used as shaking information, the moving object included in the subject video is duplicated in the processed video. Although it can be seen, it is only necessary to support the subject video acquisition unit 301 so that portions other than the moving object do not double. As a result, it is possible to obtain a subject video without shaking, and if a synthesized video is generated using this subject video, a high-quality synthesized video can be obtained.

また、表示映像の切り替えを指示する操作手段306を圧力を加えると押し下げられ、離すと元の位置に戻るボタンとすることもできる。この場合の動作のフローチャートを図12に示す。   In addition, the operation means 306 for instructing switching of the display image can be a button that is depressed when pressure is applied and returns to the original position when released. A flowchart of the operation in this case is shown in FIG.

まずステップS101では、表示映像切り替え手段304にあっては被写体映像が表示映像として選択されており、映像表示手段305には被写体映像取得手段301からの被写体映像が表示される。この被写体映像をプレビューとして見ながら、利用者は撮影をしようとする対象に被写体映像取得手段301を向けることができる。   First, in step S 101, the subject video is selected as the display video in the display video switching unit 304, and the subject video from the subject video acquisition unit 301 is displayed on the video display unit 305. While viewing this subject video as a preview, the user can point the subject video acquisition means 301 toward the subject to be photographed.

次にステップS102に進み、操作手段306のボタンの状態が確認される。ボタンが押し下げられた状態ではないときにはステップS101に戻り、ボタンが押し下げられた状態であるときにはステップS103に進む。   In step S102, the state of the button of the operation unit 306 is confirmed. When the button is not depressed, the process returns to step S101, and when the button is depressed, the process proceeds to step S103.

ステップS103では、表示映像切り替え手段304にあっては揺れ情報が表示映像として選択される状態となり、揺れ情報生成手段302では被写体映像の揺れが検出されて揺れ情報が生成される。その生成された揺れ情報はステップS104で映像表示手段305に表示される。この揺れ情報を見ながら、利用者は手ぶれなどによって被写体映像に揺れが生じていないかを確認することができる。   In step S103, the display video switching means 304 is in a state where the shake information is selected as the display video, and the shake information generation means 302 detects the shake of the subject video and generates the shake information. The generated shaking information is displayed on the video display means 305 in step S104. While viewing this shaking information, the user can confirm whether or not the subject video is shaking due to camera shake or the like.

次にステップS105で、操作手段306のボタンの状態が確認される。ボタンが押し下げられた状態ではないときにはステップS106に進み、ボタンが押し下げられた状態であるときにはステップS103に戻る。   Next, in step S105, the state of the button of the operation means 306 is confirmed. When the button is not depressed, the process proceeds to step S106, and when the button is depressed, the process returns to step S103.

ステップS106では、表示映像切り替え手段304にあっては合成映像が表示映像として選択される状態となり、映像合成手段303で被写体映像が加工されて合成映像が生成される。その生成された合成映像はステップS107で映像表示手段305に表示される。   In step S106, the display video switching unit 304 enters a state in which the composite video is selected as the display video, and the video image synthesizing unit 303 processes the subject video to generate a composite video. The generated composite video is displayed on the video display means 305 in step S107.

以上のような動作によれば、ボタンを1回押して離すだけで被写体映像の表示から合成映像の表示までを行うことができる。ボタンを操作する回数を減らすことができれば、ボタンを押し下げたり離したりすることによって被写体映像に揺れが生じる機会を減らすことができるため、合成映像の品質の劣化を防ぐことが可能になる。   According to the operation as described above, from the display of the subject video to the display of the composite video can be performed by pressing and releasing the button once. If the number of times the button is operated can be reduced, it is possible to reduce the chance that the subject image is shaken by pressing and releasing the button, so that deterioration of the quality of the composite image can be prevented.

本実施形態によれば、揺れ情報を利用者に提示することにより、被写体映像の揺れを抑止するよう利用者に促すことが可能である。しかし、利用者がカメラなどを腕で支持しているような場合には、完全に被写体映像の揺れを抑止することができない場合も多い。そこで、揺れ情報が表示された後、映像合成が開始される前に、被写体映像の揺れを自動的に補正するステップをさらに設けることも可能である。この場合の動作のフローチャートを図13に示す。   According to the present embodiment, it is possible to prompt the user to suppress the shaking of the subject video by presenting the shaking information to the user. However, when the user is supporting the camera or the like with his / her arm, there are many cases where the shaking of the subject image cannot be completely suppressed. Therefore, it is possible to further provide a step of automatically correcting the shake of the subject video before the video composition is started after the shake information is displayed. A flowchart of the operation in this case is shown in FIG.

まずステップS201では、表示映像切り替え手段304にあっては被写体映像が表示映像として選択されており、映像表示手段305には被写体映像取得手段301からの被写体映像が表示される。この被写体映像をプレビューとして見ながら、利用者は撮影をしようとする対象に被写体映像取得手段301を向けることができる。   First, in step S201, the subject video is selected as the display video in the display video switching means 304, and the subject video from the subject video acquisition means 301 is displayed on the video display means 305. While viewing this subject video as a preview, the user can point the subject video acquisition means 301 toward the subject to be photographed.

次にステップS202に進み、揺れ情報生成手段302では被写体映像の揺れが検出されて揺れ情報が生成される。その生成された揺れ情報はステップS203で映像表示手段305に表示される。この揺れ情報を見ながら、利用者は手ぶれなどによって被写体映像に揺れが生じていないかを確認することができる。   In step S202, the shaking information generating unit 302 detects shaking of the subject video and generates shaking information. The generated shaking information is displayed on the video display means 305 in step S203. While viewing this shaking information, the user can confirm whether or not the subject video is shaking due to camera shake or the like.

次にステップS204に進み、被写体映像の各フレームの画面全体の動きが検出され、被写体映像の揺れが自動的に補正される。   In step S204, the movement of the entire frame of the subject image is detected, and the shake of the subject image is automatically corrected.

画面全体の動きの検出は、例えば、画面をいくつかのブロックに分割し、ブロックごとの動きベクトルをブロックマッチングなどにより検出する方法で行うことができる。この方法によれば、ブロックごとの動きベクトルのうち、頻度が多いものの方向に画面が移動していると判断できるので、その動きと逆向きに画面全体を動かすことで、被写体映像の揺れを補正した映像を生成することが可能になる。   For example, the motion of the entire screen can be detected by dividing the screen into several blocks and detecting a motion vector for each block by block matching or the like. According to this method, it is possible to determine that the screen is moving in the direction of the most frequent motion vector for each block, so the motion of the subject image is corrected by moving the entire screen in the opposite direction to that motion. Video can be generated.

なお、上述した方法では、画面の移動方向を正確に検出するためには、ブロックごとの動きベクトルを正確に求める必要がある。しかし、ブロックに移動する物体が含まれていると、そのブロックは被写体映像の揺れのほかに移動する物体の影響も受けるため、動きベクトルを正確に求めることができなくなる。そのため、ブロックマッチングを用いる方法では、被写体映像の揺れに関係なく、移動する物体を含むブロックを少なくするため、移動する物体が被写体映像の中に小さく表れるようにすることが望ましい。そこで図14のように、映像表示手段305に被写体映像を表示する場合に、被写体映像に一定の大きさの枠を重ねて表示するとよい。利用者が、この枠の中に移動する物体が含まれるように被写体映像を撮影すれば、移動する物体が被写体映像の画面の中に占める割合は一定以下に保たれるため、移動する物体を含むブロックを減らすことができ、正確に画面の移動方向を検出することが可能になる。   In the above-described method, it is necessary to accurately obtain the motion vector for each block in order to accurately detect the moving direction of the screen. However, if a moving object is included in the block, the block is also affected by the moving object in addition to the shaking of the subject image, and the motion vector cannot be obtained accurately. Therefore, in the method using block matching, it is desirable to make the moving object appear small in the subject video in order to reduce the block including the moving object regardless of the shake of the subject video. Therefore, as shown in FIG. 14, when a subject video is displayed on the video display means 305, a frame of a certain size may be displayed on the subject video. If the user shoots the subject video so that the moving object is included in this frame, the proportion of the moving object in the subject video screen is kept below a certain level. The number of blocks to be included can be reduced, and the moving direction of the screen can be accurately detected.

被写体映像の中に移動する物体が小さく表れるように撮影するよう利用者に促すためには、図15または図16のように、映像表示手段305に被写体映像の一定幅の外周を表示しない方法や被写体映像を一定の倍率で拡大して表示する方法を用いてもよい。このようにすることで、利用者に対して、自然に表示されている被写体映像の中に移動する物体が含まれるよう撮影することを促すことが可能になる。一方、被写体映像の画面の移動方向の検出および合成映像の生成には、表示されているかいないかに係わらず、被写体映像全体の画像を用いればよい。   In order to urge the user to shoot so that the moving object appears small in the subject video, a method of not displaying the outer periphery of a certain width of the subject video on the video display means 305 as shown in FIG. 15 or FIG. A method of enlarging and displaying the subject image at a certain magnification may be used. In this way, it is possible to prompt the user to shoot so that the moving object is included in the naturally displayed subject image. On the other hand, an image of the entire subject video may be used for detection of the moving direction of the subject video screen and generation of the composite video regardless of whether or not it is displayed.

ステップS204で被写体映像の自動補正が完了すると、ステップS205に進む。ステップS205では被写体映像から映像合成手段303で合成映像が生成される。その生成された合成映像はステップS206で映像表示手段305に表示される。   When the automatic correction of the subject video is completed in step S204, the process proceeds to step S205. In step S205, a composite video is generated from the subject video by the video synthesis unit 303. The generated composite video is displayed on the video display means 305 in step S206.

以上のような動作によれば、利用者が揺れ情報にしたがって被写体映像を取得した場合に、多少の揺れがある被写体映像であってもその揺れを自動補正によって補正できることから、このように補正された被写体映像を用いて映像合成を生成すれば、より高品質な合成映像の生成が可能となる。   According to the operation as described above, when the user acquires the subject video according to the shake information, even if the subject video has a slight shake, the shake can be corrected by automatic correction. If a video composition is generated using the subject video, a higher quality composite video can be generated.

このようにして、本実施形態に係わる映像記録表示装置によれば、利用者に手ぶれなどによる被写体映像の揺れを示す揺れ情報を発することで、揺れのない被写体映像の撮影が可能となり、揺れのない被写体映像を用いて合成映像を生成することにより高品質な合成映像の生成が可能となる。   In this way, according to the video recording and display apparatus according to the present embodiment, it is possible to shoot a subject video without shaking by emitting shaking information indicating shaking of the subject video due to camera shake to the user. By generating a composite video using a non-subject video, it is possible to generate a high-quality composite video.

本発明の第1の実施形態に係わる映像記録表示装置の構成を示すブロック図。1 is a block diagram showing a configuration of a video recording / display apparatus according to a first embodiment of the present invention. 本発明の第2の実施形態に係わる映像記録表示装置の構成を示すブロック図。The block diagram which shows the structure of the video recording display apparatus concerning the 2nd Embodiment of this invention. 本発明の第3の実施形態に係わる映像記録表示装置の構成を示すブロック図。The block diagram which shows the structure of the video recording display apparatus concerning the 3rd Embodiment of this invention. 被写体映像に揺れがない場合の揺れ情報(加工映像)を示す図。The figure which shows the shake information (processed image) when there is no shake in the subject image. 被写体映像に揺れがある場合の揺れ情報(加工映像)を示す図。The figure which shows the shake information (processed image) when there is a shake in the subject image. 第1及び第2の実施形態の揺れ情報の表示例。The example of a display of the shake information of 1st and 2nd embodiment. 被写体映像に含まれる移動する物体を切り出す方法を示す図。The figure which shows the method of cutting out the moving object contained in a to-be-photographed image. 被写体映像に揺れがない場合の映像を示す図。The figure which shows an image | video when there is no shaking in a to-be-photographed image. 被写体映像に揺れがある場合の映像を示す図。The figure which shows an image | video when there exists a shake in a to-be-photographed image | video. 被写体映像に揺れがない場合のストロボ合成後の合成映像の例。An example of a composite image after strobe composition when the subject image is not shaken. 被写体映像に揺れがある場合のストロボ合成後の合成映像の例。An example of a composite image after strobe composition when the subject image is shaken. 本発明の第3の実施形態の一動作例を示すフローチャート。The flowchart which shows one operation example of the 3rd Embodiment of this invention. 被写体映像の揺れの自動補正を行う実施形態の動作を示すフローチャート。6 is a flowchart showing an operation of an embodiment for automatically correcting shaking of a subject image. 被写体映像の一表示例。An example of a subject image display. 被写体映像の一表示例。An example of a subject image display. 被写体映像の一表示例。An example of a subject image display.

符号の説明Explanation of symbols

101、201、301・・・被写体映像取得手段
102、202、302・・・揺れ情報生成手段
103・・・表示手段
203・・・揺れ情報表示手段
204、303・・・映像合成手段
205・・・合成映像表示手段
304・・・表示映像切り替え手段
305・・・映像表示手段
306・・・操作手段
101, 201, 301 ... subject video acquisition means 102, 202, 302 ... shaking information generation means 103 ... display means 203 ... shaking information display means 204, 303 ... video composition means 205 ... Composite video display means 304 ... display video switching means 305 ... video display means 306 ... operation means

Claims (13)

被写体映像を取得する被写体映像取得手段と、
前記被写体映像取得手段によって撮影された前記被写体映像の揺れを示す揺れ情報を生成する揺れ情報生成手段と、
前記揺れ情報生成手段からの前記揺れ情報を表示する表示手段と
を備えることを特徴とする映像記録表示装置。
Subject image acquisition means for acquiring a subject image;
Shaking information generating means for generating shaking information indicating shaking of the subject video imaged by the subject video obtaining means;
A video recording / display apparatus comprising: display means for displaying the shaking information from the shaking information generating means.
被写体映像を取得する被写体映像取得手段と、
前記被写体映像取得手段によって撮影された前記被写体映像の揺れを示す揺れ情報を生成する揺れ情報生成手段と、
前記被写体映像を加工して合成映像を生成する映像合成手段と、
前記揺れ情報生成手段で生成された前記揺れ情報又は前記映像合成手段で生成された前記合成映像を表示する少なくとも1つの表示手段と
を備えることを特徴とする映像記録表示装置。
Subject image acquisition means for acquiring a subject image;
Shaking information generating means for generating shaking information indicating shaking of the subject video imaged by the subject video obtaining means;
Image synthesizing means for processing the subject image and generating a synthesized image;
A video recording / display apparatus comprising: at least one display unit configured to display the shaking information generated by the shaking information generation unit or the synthesized video generated by the video synthesis unit.
前記表示手段は、前記揺れ情報生成手段で生成された前記揺れ情報を表示する第1の表示手段と、前記映像合成手段で生成された前記合成映像を表示する第2の表示手段とから構成されることを特徴とする請求項2に記載の映像記録表示装置。   The display means includes first display means for displaying the shake information generated by the shake information generation means, and second display means for displaying the synthesized video generated by the video synthesis means. The video recording / displaying apparatus according to claim 2, wherein 被写体映像を取得する被写体映像取得手段と、
前記被写体映像取得手段によって撮影された前記被写体映像の揺れを示す揺れ情報を生成する揺れ情報生成手段と、
前記被写体映像を加工して合成映像を生成する映像合成手段と、
前記被写体映像または前記揺れ情報または前記合成映像のいずれかを表示映像として選択する表示映像切り替え手段と、
前記表示映像切り替え手段から選択出力された前記表示映像を表示する映像表示手段と、前記表示映像切り替え手段に対し切り替えを指示する操作手段と
を備えることを特徴とする映像記録表示装置。
Subject image acquisition means for acquiring a subject image;
Shaking information generating means for generating shaking information indicating shaking of the subject video imaged by the subject video obtaining means;
Image synthesizing means for processing the subject image and generating a synthesized image;
Display video switching means for selecting either the subject video or the shaking information or the composite video as a display video;
A video recording / display apparatus comprising: video display means for displaying the display video selected and output from the display video switching means; and operating means for instructing the display video switching means to switch.
前記表示映像切り替え手段は、前記被写体映像が選択されているときには次に前記揺れ情報に切り替え、前記揺れ情報が選択されているときには次に前記合成映像に切り替えることを特徴とする請求項4に記載の映像記録表示装置。   5. The display image switching unit according to claim 4, wherein when the subject image is selected, the display image is switched to the shake information next, and when the shake information is selected, the display image is switched to the synthesized image next. Video recording and display device. 前記操作手段は、圧力が加わると押し下げられ、離すと元の位置に戻るボタンであり、前記被写体映像が選択されているときに前記ボタンが押し下げられると前記映像表示手段の表示が前記揺れ情報に切り替えられ、前記ボタンが元の位置に戻ると前記映像表示手段の表示が前記合成映像に切り替えられることを特徴とする請求項4に記載の映像記録表示装置。   The operation means is a button that is depressed when pressure is applied and returns to its original position when released, and when the button is depressed while the subject image is selected, the display of the image display means is displayed as the shaking information. 5. The video recording and display device according to claim 4, wherein when the button is switched and the button returns to the original position, the display of the video display means is switched to the synthesized video. 前記合成映像が前記被写体映像の時間が異なる2枚以上のフレームで画素値が変化する領域を切り出し、その領域の画像を時間の順序で1枚ずつ上重ねすることにより得られるストロボ映像であることを特徴とする請求項2乃至請求項6のいずれか1項に記載の映像記録表示装置。   The composite video is a strobe video obtained by cutting out an area where the pixel value changes in two or more frames having different time periods of the subject video, and superimposing the images in the area one by one in time order. The video recording / displaying device according to claim 2, wherein 前記揺れ情報が映像であることを特徴とする請求項1乃至請求項6のいずれか1項に記載の映像記録表示装置。   The video recording / displaying device according to claim 1, wherein the shaking information is a video. 前記揺れ情報が前記被写体映像の時間が異なる2枚以上のフレームを平均することで生成される加工映像であることを特徴とする請求項8に記載の映像記録表示装置。   9. The video recording / displaying apparatus according to claim 8, wherein the shake information is a processed video generated by averaging two or more frames having different times of the subject video. 被写体映像取得手段で取得した被写体映像を表示手段に表示するステップと、
前記被写体映像の揺れを示す揺れ情報を生成し、その揺れ情報を前記表示手段に表示するステップと、
前記被写体映像を加工して合成映像を生成し、その合成映像を前記表示手段に表示するステップと
を有することを特徴とする映像記録表示方法。
Displaying the subject video acquired by the subject video acquisition means on the display means;
Generating shaking information indicating shaking of the subject image, and displaying the shaking information on the display means;
Processing the subject video to generate a composite video, and displaying the composite video on the display means.
被写体映像取得手段で取得した被写体映像を表示手段に表示するステップと、
前記被写体映像が表示されているときに操作手段のボタンが押し下げられると、前記被写体映像の揺れを示す揺れ情報を生成し、その揺れ情報を前記表示手段に表示するステップと、
前記揺れ情報が表示されているときに前記操作手段のボタンが元に戻ると、前記被写体映像を加工して生成された合成映像を前記表示手段に表示するステップと
を有することを特徴とする映像記録表示方法。
Displaying the subject video acquired by the subject video acquisition means on the display means;
When the button of the operation means is pressed while the subject video is displayed, generating swing information indicating the shake of the subject video, and displaying the swing information on the display means;
And a step of displaying a composite image generated by processing the subject image on the display means when the button of the operation means returns to the original state when the shaking information is displayed. Record display method.
前記揺れ情報が前記被写体映像の時間が異なる2枚以上のフレームを平均することで生成される加工映像であることを特徴とする請求項10または請求項11に記載の映像記録表示方法。   The video recording / displaying method according to claim 10 or 11, wherein the shake information is a processed video generated by averaging two or more frames having different time periods of the subject video. 前記合成映像が前記被写体映像の時間が異なる2枚以上のフレームで画素値が変化する領域を切り出し、その領域の画像を時間の順序で1枚ずつ上重ねすることにより得られるストロボ映像であることを特徴とする請求項10または請求項11に記載の映像記録表示方法。   The composite video is a strobe video obtained by cutting out an area where the pixel value changes in two or more frames having different time periods of the subject video, and superimposing the images in the area one by one in time order. The video recording / displaying method according to claim 10 or 11, wherein:
JP2004125495A 2004-04-21 2004-04-21 VIDEO RECORDING / DISPLAY DEVICE AND VIDEO RECORDING / DISPLAY METHOD Pending JP2005311674A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004125495A JP2005311674A (en) 2004-04-21 2004-04-21 VIDEO RECORDING / DISPLAY DEVICE AND VIDEO RECORDING / DISPLAY METHOD

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004125495A JP2005311674A (en) 2004-04-21 2004-04-21 VIDEO RECORDING / DISPLAY DEVICE AND VIDEO RECORDING / DISPLAY METHOD

Publications (1)

Publication Number Publication Date
JP2005311674A true JP2005311674A (en) 2005-11-04

Family

ID=35439935

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004125495A Pending JP2005311674A (en) 2004-04-21 2004-04-21 VIDEO RECORDING / DISPLAY DEVICE AND VIDEO RECORDING / DISPLAY METHOD

Country Status (1)

Country Link
JP (1) JP2005311674A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110228102A1 (en) * 2008-11-28 2011-09-22 Hideyuki Hashi Shake measurement system, shake measurement method, and imaging device
JP2012109898A (en) * 2010-11-19 2012-06-07 Aof Imaging Technology Ltd Imaging device, imaging method, and program
JP2016535552A (en) * 2014-08-29 2016-11-10 シャオミ・インコーポレイテッド Method and apparatus for obtaining a photograph
JP2017046162A (en) * 2015-08-26 2017-03-02 隆正 光信 Synthetic video creation system, synthetic video creation auxiliary system, and synthetic video creation program

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110228102A1 (en) * 2008-11-28 2011-09-22 Hideyuki Hashi Shake measurement system, shake measurement method, and imaging device
US8754949B2 (en) * 2008-11-28 2014-06-17 Panasonic Corporation Shake measurement system, shake measurement method, and imaging device
JP2012109898A (en) * 2010-11-19 2012-06-07 Aof Imaging Technology Ltd Imaging device, imaging method, and program
JP2016535552A (en) * 2014-08-29 2016-11-10 シャオミ・インコーポレイテッド Method and apparatus for obtaining a photograph
JP2017046162A (en) * 2015-08-26 2017-03-02 隆正 光信 Synthetic video creation system, synthetic video creation auxiliary system, and synthetic video creation program

Similar Documents

Publication Publication Date Title
KR101247645B1 (en) Display control apparatus, display control method and storage medium
JP4915420B2 (en) Electronic camera
JP5235798B2 (en) Imaging apparatus and control method thereof
US8810664B2 (en) Imaging apparatus, imaging method and computer program
US8441554B2 (en) Image capturing apparatus capable of extracting subject region from captured image
JP2017509259A (en) Imaging method for portable terminal and portable terminal
JP6361931B2 (en) Image processing apparatus, imaging system including the same, and image processing method
JP2013062741A (en) Image processing apparatus, imaging apparatus, and image processing method
JP2012248937A (en) Imaging apparatus, image processor, and imaging method
JP4631558B2 (en) Imaging apparatus and image processing program
JP2010187250A (en) Image correction device, image correction program, and image capturing apparatus
JP2008306508A (en) Image processing apparatus, image processing method, and image processing program
JP2018186514A (en) Image processing device, imaging system having the same and image processing method
JP2005311674A (en) VIDEO RECORDING / DISPLAY DEVICE AND VIDEO RECORDING / DISPLAY METHOD
US9438822B2 (en) Image processing device, display device, image processing method, and computer-readable recording medium
JP5951988B2 (en) Image composition apparatus and image composition method
JP2004312218A (en) Digital camera and image reproducing apparatus
EP1519386A3 (en) Signal processor
JP7316105B2 (en) Video correction device and program
JP5493839B2 (en) Imaging apparatus, image composition method, and program
JP2008270983A (en) Camera shake correction device and camera shake correction method
KR101677394B1 (en) Image acquiring system and image acquiring method therefor
JP6211139B2 (en) Image synthesizer
JP4686406B2 (en) Imaging apparatus and control method thereof
JP2006157101A (en) Imaging apparatus

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070223

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070622