JP2008141698A - Chroma key device and video composition device - Google Patents
Chroma key device and video composition device Download PDFInfo
- Publication number
- JP2008141698A JP2008141698A JP2006328682A JP2006328682A JP2008141698A JP 2008141698 A JP2008141698 A JP 2008141698A JP 2006328682 A JP2006328682 A JP 2006328682A JP 2006328682 A JP2006328682 A JP 2006328682A JP 2008141698 A JP2008141698 A JP 2008141698A
- Authority
- JP
- Japan
- Prior art keywords
- video
- foreground
- background color
- key
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Of Color Television Signals (AREA)
- Studio Circuits (AREA)
Abstract
【課題】画面表示されている前景映像の中から、背景色としたい色が表示されている部分を範囲指定した後、範囲指定結果を即時に実際の合成映像から確認する。
【解決手段】前景映像が供給され、前景映像と背景映像との合成比率を示すキー信号を生成するキー処理手段1と、制御手段2と、前景映像を書込むための画像メモリ3とを備える。制御手段2は、画面上で指定された範囲を示す外部からの情報に基づき、画像メモリ3に書き込まれた前景映像のうち、指定された範囲の画素データをサンプリングし、サンプリング結果に基づいて色空間上での背景色の値を求め、求めた背景色の値を示す情報をキー処理手段1に送る。キー処理手段1は、前景映像の各画素のデータをこの背景色の値と比較することによってキー信号を生成する。
【選択図】図3
To specify a range where a color desired to be a background color is displayed from a foreground image displayed on a screen, and immediately confirm a range specification result from an actual synthesized image.
A foreground video is supplied, and a key processing unit for generating a key signal indicating a synthesis ratio of the foreground video and the background video, a control unit, and an image memory for writing the foreground video are provided. . The control unit 2 samples pixel data in the specified range from the foreground video written in the image memory 3 based on information from the outside indicating the specified range on the screen, and determines the color based on the sampling result. A background color value in space is obtained, and information indicating the obtained background color value is sent to the key processing means 1. The key processing means 1 generates a key signal by comparing the data of each pixel of the foreground video with the background color value.
[Selection] Figure 3
Description
本発明は、前景映像のうち、画面上で範囲指定された部分の色を背景色として別の背景映像に置き換えるためのキー信号を生成するクロマキー装置や、そうしたクロマキー機能を有する映像合成装置に関する。 The present invention relates to a chroma key device that generates a key signal for replacing the color of a portion of a foreground image whose range is designated on a screen with another background image as a background color, and a video composition device having such a chroma key function.
映像コンテンツの制作分野では、クロマキー装置を用いて2つの映像信号を合成することが一般に行われている。クロマキー装置は、カラー映像信号の色成分における色相の差を利用して、一方の映像信号(前景映像)のうちの特定の背景色の部分を別の映像信号(背景映像)に置き換えるためのキー信号を生成するものである。 In the field of video content production, two video signals are generally synthesized using a chroma key device. The chroma key device is a key for replacing a specific background color portion of one video signal (foreground video) with another video signal (background video) using the difference in hue in the color components of the color video signal. A signal is generated.
前景映像における背景色は、予め設定されている場合(例えば青色または緑色のスクリーンをバックに人物を撮影して、そのスクリーンの色を背景色と設定している場合)もあるが、操作者が背景色指定用の画面上で任意の背景色を指定可能になっているものもある(例えば特許文献1参照)。 The background color in the foreground image may be preset (for example, when a person is photographed against a blue or green screen and the screen color is set as the background color), In some cases, an arbitrary background color can be designated on a background color designation screen (see, for example, Patent Document 1).
上記特許文献1に記載の背景色指定用画面は、横軸,縦軸にそれぞれクロマ信号Cr,Cbの値をとった色空間の画面である。したがって、この画面上で背景色を指定することによって直ちに色空間上での背景色の値が確定するので、前景映像の映像信号の各画素のデータをこの背景色の値と比較することにより、前景映像と背景映像との合成比率を示すキー信号を生成する。
The background color designation screen described in
しかし、背景色指定用画面としては、実際に画面表示される前景映像そのものを用いることも行われている。これは、図1に例示するように、前景映像70が表示されている画面に、位置及び大きさを調整可能な枠状のカーソル71を表示し、前景映像70のうち背景色としたい色が表示されている部分を、このカーソル71で囲むようにしたものである。この場合、クロマキー装置は、前景映像70の映像信号のうち、カーソル71で指定された範囲の各画素のデータをサンプリングした結果に基づき、どのような色が背景色として指定されたか(色空間上での背景色の値)を判別する必要がある。 However, the foreground video itself actually displayed on the screen is also used as the background color designation screen. As illustrated in FIG. 1, a frame-like cursor 71 whose position and size can be adjusted is displayed on the screen on which the foreground image 70 is displayed. The displayed portion is surrounded by the cursor 71. In this case, the chroma key device determines which color is designated as the background color based on the result of sampling the data of each pixel in the range designated by the cursor 71 in the video signal of the foreground video 70 (on the color space). It is necessary to determine the background color value).
図2は、前景映像のうち図1のカーソルで範囲指定された部分の色を背景色として別の背景映像に置き換えるためのキー信号を生成するクロマキー装置の、従来の構成例を示す。前景映像としての映像信号が、キー処理回路80に供給される。キー処理回路80は、前景映像からキー信号を生成し、生成したキー信号を前景映像とともに出力するハードウェア回路である。
FIG. 2 shows an example of a conventional configuration of a chroma key device for generating a key signal for replacing the color of the portion of the foreground video whose range is specified by the cursor of FIG. 1 as another background video. A video signal as a foreground video is supplied to the
また、画面表示されている前景映像のうち図1のカーソルで指定された範囲を示す範囲指定情報が、外部の操作パネル等(図示略)から、クロマキー装置全体を制御するCPU81に供給される。CPU81は、この情報に基づき、このカーソルで指定された範囲の画素データのサンプリングを指示するコマンドを、制御信号線を介してキー処理回路80に送る。
Further, range designation information indicating the range designated by the cursor of FIG. 1 in the foreground video displayed on the screen is supplied from an external operation panel or the like (not shown) to the
キー処理回路80は、内部を通過する前景映像の映像信号の波形から、CPU81によって指示された範囲の画素データを、数フィールド期間に1画素分ずつ抽出することによってサンプリングする。そして、例えばサンプリングした各データを平均化することにより、色空間上での背景色の値を求める演算を行う。そして、前景映像の映像信号の各画素のデータをこの背景色の値と比較することにより、前景映像と背景映像との合成比率を示すキー信号を生成する。
The
このキー信号及び前景映像と、背景映像のとしての映像信号とを合成回路(図示略)に供給することにより、前景映像の背景映像とが合成回路で合成される。 By supplying the key signal, the foreground video, and the video signal as the background video to a synthesis circuit (not shown), the background video of the foreground video is synthesized by the synthesis circuit.
ところで、図2に示した構成のクロマキー装置では、前述のように、キー処理回路80が、内部を通過する前景映像の映像信号の波形から、数フィールド期間に1画素分ずつを抽出することによってサンプリングを行うので、図1のようなカーソルの内側の画素のデータを全てサンプリングし終えるまでに、数秒の時間を要する。このサンプリング処理の後の背景色の値の演算処理やキー信号の生成処理はリアルタイムに(数フィールド程度の期間内に)行われるが、サンプリング処理に時間を要した結果、キー信号が生成されるのは、カーソルで範囲指定が行われてから数秒後になってしまう。
By the way, in the chroma key apparatus having the configuration shown in FIG. 2, as described above, the
そのため、操作者は、カーソルでの範囲指定結果が妥当であったか否かを前景映像と背景映像との実際の合成映像から確認できるようになるまでに、数秒待たなければならない。そして、妥当でなかった場合、範囲指定をやり直した後、再び数秒待つという過程が繰り返されることになる。その結果、希望通りの合成映像を得るまでに時間がかかっていた。 For this reason, the operator must wait for several seconds before the operator can confirm from the actual composite video of the foreground video and the background video whether or not the range designation result with the cursor is valid. If it is not valid, the process of repeating the range specification and waiting for a few seconds again is repeated. As a result, it took time to obtain the desired composite video.
本発明は、上述の点に鑑み、前景映像のうち、図1に例示したように画面上で範囲指定された部分の色を背景色として別の背景映像に置き換えるためのキー信号を生成するクロマキー機能において、操作者が、範囲指定を行った後、その範囲指定結果を即時に実際の合成映像で確認できるようにすることを課題とする。 In view of the above points, the present invention provides a chroma key for generating a key signal for replacing the background color of the portion of the foreground image whose range is designated as illustrated in FIG. 1 with the background color as another background image. In the function, it is an object to allow the operator to immediately confirm the range designation result with an actual synthesized video after performing the range designation.
上記課題を解決するために、本発明に係るクロマキー装置は、
前景映像としての映像信号が供給され、前記前景映像と背景映像との合成比率を示すキー信号を生成するキー処理手段と、
制御手段と、
前記前景映像を書き込むための画像メモリと
を備えており、
前記制御手段は、
画面上で指定された範囲を示す情報が外部から供給されたことに基づき、前記画像メモリに書き込まれた前記前景映像のうち、前記指定された範囲の画素データをサンプリングする処理と、
前記サンプリングの結果に基づき、色空間上での背景色の値を求め、求めた背景色の値を示す情報を前記キー処理手段に送る処理と
を行い、
前記キー処理手段は、
前記前景映像の各画素のデータを、前記制御手段から送られた前記情報が示す背景色の値と比較することによって前記キー信号を生成する
ことを特徴とする。
In order to solve the above problems, a chroma key device according to the present invention provides:
A key processing unit that is supplied with a video signal as a foreground video and generates a key signal indicating a synthesis ratio of the foreground video and the background video;
Control means;
An image memory for writing the foreground video,
The control means includes
Based on the fact that information indicating the range specified on the screen is supplied from the outside, a process of sampling pixel data in the specified range of the foreground video written in the image memory;
Based on the result of the sampling, a value of a background color in a color space is obtained, and information indicating the obtained background color value is sent to the key processing means.
The key processing means includes
The key signal is generated by comparing the data of each pixel of the foreground image with the value of the background color indicated by the information sent from the control means.
このクロマキー装置は、図2に示した従来のクロマキー装置のように、キー処理手段の内部を通過する前景映像をサンプリングするのではなく、画像メモリに書き込まれた前景映像をサンプリングする。ここで、画像メモリへの1フレーム分の映像データの書き込みは1フレーム期間で完了し、また、画像メモリに書き込まれた映像データ中の複数の画素データは一括してリアルタイムにサンプリングすることができるので、前景映像のうちの指定された範囲の画素データを、リアルタイムに全てサンプリングすることができる。 Unlike the conventional chroma key device shown in FIG. 2, this chroma key device samples the foreground video written in the image memory instead of sampling the foreground video passing through the inside of the key processing means. Here, writing of one frame of video data to the image memory is completed in one frame period, and a plurality of pixel data in the video data written to the image memory can be sampled in real time. Therefore, it is possible to sample all the pixel data in the designated range in the foreground video in real time.
したがって、画面表示されている前景映像のうち背景色としたい色が表示されている部分を範囲指定する操作を行うことにより、リアルタイムにキー信号を生成させることができる。これにより、操作者は、こうした範囲指定を行った後、その範囲指定結果を即時に前景映像と背景映像との実際の合成映像から確認できるようになる。 Therefore, a key signal can be generated in real time by performing an operation of designating a range of a portion in which a color desired to be a background color is displayed in the foreground video displayed on the screen. As a result, after performing the range designation, the operator can immediately confirm the range designation result from the actual composite video of the foreground video and the background video.
次に、本発明に係る映像合成装置は、
前景映像としての映像信号が供給され、前記前景映像と背景映像との合成比率を示すキー信号を生成するキー処理手段と、
前記背景映像としての映像信号と、前記前景映像と、前記キー信号とが供給され、前記キー信号を用いて前記前景映像と前記背景映像とを合成する合成手段と
映像表示部と、
前記映像表示部を制御する制御手段と
前記映像表示部に表示する映像データを書き込むための画像メモリと
を備えており、
前記制御手段は、
画面表示されている色の中から背景色としたい色が表示されている部分を範囲指定するための背景色指定用画面の映像データを、前記画像メモリに書き込ませ、前記画像メモリから読み出させて、前記映像表示部に表示させる処理と、
前記画像メモリに書き込まれた前記映像データのうち、前記背景色指定用画面上で指定された範囲の画素データをサンプリングする処理と、
前記サンプリングの結果に基づき、色空間上での背景色の値を求め、求めた背景色の値を示す情報を前記キー処理手段に送る処理と
を行い、
前記キー処理手段は、
前記前景映像の各画素のデータを、前記制御手段から送られた前記情報が示す背景色の値と比較することによって前記キー信号を生成する
ことを特徴とする。
Next, the video composition device according to the present invention is as follows.
A key processing unit that is supplied with a video signal as a foreground video and generates a key signal indicating a synthesis ratio of the foreground video and the background video;
A video signal as the background video, the foreground video, and the key signal are supplied, and a synthesizing unit that synthesizes the foreground video and the background video using the key signal, a video display unit,
Control means for controlling the video display unit, and an image memory for writing video data to be displayed on the video display unit,
The control means includes
The video data of the background color designating screen for designating the range where the background color is displayed from among the colors displayed on the screen is written to the image memory and read from the image memory. Processing to be displayed on the video display unit,
A process of sampling pixel data in a range designated on the background color designation screen among the video data written in the image memory;
Based on the result of the sampling, a value of a background color in a color space is obtained, and information indicating the obtained background color value is sent to the key processing means.
The key processing means includes
The key signal is generated by comparing the data of each pixel of the foreground video with the value of the background color indicated by the information sent from the control means.
この映像合成装置は、図2に示した従来のクロマキー装置のように、キー処理手段の内部を通過する前景映像をサンプリングするのではなく、画像メモリに書き込まれた映像データをサンプリングするので、指定された範囲の画素データを、リアルタイムに全てサンプリングすることができる。 This video synthesizer does not sample the foreground video that passes through the inside of the key processing means like the conventional chroma key device shown in FIG. 2, but samples video data written in the image memory. All of the pixel data in the specified range can be sampled in real time.
したがって、背景色指定用画面上で背景色としたい色が表示されている部分を範囲指定する操作を行うことにより、リアルタイムにキー信号を生成させることができる。これにより、操作者は、こうした範囲指定を行った後、その範囲指定結果を即時に前景映像と背景映像との実際の合成映像から確認できるようになる。 Therefore, a key signal can be generated in real time by performing an operation of specifying a range of a portion where a color desired to be a background color is displayed on the background color specifying screen. As a result, after performing the range designation, the operator can immediately confirm the range designation result from the actual composite video of the foreground video and the background video.
また、映像表示部を制御する制御手段が、映像表示部に表示する映像データを書き込むための画像メモリを用いて背景色指定用画面を表示させるので、前景映像以外の映像データを画像メモリに書き込ませることにより、前景映像以外の映像を背景色指定用画面として映像表示部に表示させることも可能になる。 In addition, since the control means for controlling the video display unit displays the screen for specifying the background color using the image memory for writing the video data to be displayed on the video display unit, video data other than the foreground video is written to the image memory. This makes it possible to display a video other than the foreground video on the video display unit as a background color designation screen.
本発明に係るクロマキー装置によれば、操作者は、画面表示されている前景映像のうち、背景色としたい色が表示されている部分を範囲指定する操作を行った後、その範囲指定結果を即時に前景映像と背景映像との実際の合成映像から確認できるようになるという効果が得られる。 According to the chroma key device of the present invention, the operator performs an operation for specifying the range of the portion of the foreground video displayed on the screen in which the color desired to be the background color is displayed, and then displays the range specification result. There is an effect that it is possible to immediately confirm the actual composite video of the foreground video and the background video.
本発明に係る映像合成装置によれば、操作者は、背景色指定用画面上で背景色としたい色が表示されている部分を範囲指定した後、その範囲指定結果を即時に前景映像と背景映像との実際の合成映像から確認でき、しかも、前景映像以外の映像を背景色指定用画面として映像表示部に表示させることも可能になるという効果が得られる。 According to the video composition device according to the present invention, the operator designates a range where the color desired to be the background color is displayed on the background color designation screen, and then immediately designates the range designation result as the foreground video and the background. It is possible to confirm the actual synthesized video with the video, and it is possible to display the video other than the foreground video on the video display unit as the background color designation screen.
〔本発明に係るクロマキー装置の実施の形態〕
以下、本発明の実施の形態を、図面を用いて具体的に説明する。最初に、本発明に係るクロマキー装置の実施の形態について説明する。
[Embodiment of chroma key device according to the present invention]
Embodiments of the present invention will be specifically described below with reference to the drawings. First, an embodiment of a chroma key device according to the present invention will be described.
図3は、本発明に係るクロマキー装置の一実施形態を示すブロック図である。このクロマキー装置には、キー信号を生成するハードウェア回路であるキー処理回路1と、CPU2と、画像メモリ3と、ビデオキャプチャデバイス4とが設けられている。前景映像としての映像信号が、キー処理回路1に供給される。キー処理回路1は、前景映像からキー信号を生成し、生成したキー信号を前景映像とともに出力するハードウェア回路である。
FIG. 3 is a block diagram showing an embodiment of the chroma key device according to the present invention. This chroma key device is provided with a
キー処理回路1から出力された前景映像は、ビデオキャプチャデバイス4を介してCPU2にも送られる。
The foreground video output from the
また、CPU2には、外部の操作パネル等(図示略)から、画面上で指定された範囲を示す範囲指定情報(例えば、図1に示したように、画面表示されている前景映像のうち、背景色としたい色が表示されている部分をカーソルで囲む操作によって生成される情報)が供給される。
Further, the
CPU2は、ビデオキャプチャデバイス4から前景映像が供給されると、図4に示すような処理を開始する。この処理では、最初に、供給される前景映像を、画像メモリ3に順次書き込む(ステップS1)。続いて、新たな範囲指定情報が供給されるまで待機する(ステップS2)。
When the foreground video is supplied from the
そして、範囲指定情報が供給されると、画像メモリ3に書き込まれた最新のフレームの前景映像のうち、指定された範囲の画素データを全てサンプリングする(ステップS3)。続いて、このサンプリング結果に基づき、色空間上での背景色の値を求める(例えば、サンプリングした各画素データの色空間上での値の平均値を求める)演算を行う(ステップS4)。そして、求めた背景色の値を示す情報をキー処理回路1に送って(ステップS5)、ステップS2に戻る。 When the range designation information is supplied, all the pixel data in the designated range are sampled from the foreground video of the latest frame written in the image memory 3 (step S3). Subsequently, based on this sampling result, an operation for obtaining a background color value in the color space (for example, obtaining an average value of the sampled pixel data in the color space) is performed (step S4). Then, information indicating the obtained background color value is sent to the key processing circuit 1 (step S5), and the process returns to step S2.
キー処理回路1は、この図4の処理のステップS5によってCPU2から情報が送られると、現在のフレームの前景映像の各画素のデータを背景色の値と比較することにより、例えば、背景色の値との差が一定の下限の閾値未満である画像位置では前景映像の比率が0となり、背景色の値との差が一定の上限の閾値以上である画像位置では前景映像の比率が1となり、背景色の値との差がこの下限の閾値以上且つこの上限の閾値未満である画像位置では前景映像の比率が0と1との間の値となる(差の大きさに応じて値が大きくなる)ようなキー信号を生成する。
When the
このキー信号及び前景映像と、背景映像のとしての映像信号とを合成回路(図示略)に供給することにより、前景映像と背景映像とが合成回路で合成される。 By supplying the key signal, the foreground video, and the video signal as the background video to a synthesis circuit (not shown), the foreground video and the background video are synthesized by the synthesis circuit.
このように、このクロマキー装置では、図2に示した従来のクロマキー装置のように、キー処理回路1の内部を通過する前景映像をサンプリングするのではなく、画像メモリ3に書き込まれた前景映像をサンプリングする。ここで、画像メモリ3への1フレーム分の映像データの書き込みは1フレーム期間で完了し、また、画像メモリ3に書き込まれた映像データ中の複数の画素データは一括してリアルタイムに(数フィールド程度の期間内に)サンプリングすることができるので、前景映像のうちの指定された範囲の画素データを、リアルタイムに全てサンプリングすることができる。
In this manner, in this chroma key device, the foreground video written in the
また、このサンプリング処理の後の背景色の値の演算処理やキー処理回路1でのキー信号の生成処理もリアルタイムに(数フィールド程度の期間内に)行われるので、画面上で指定された範囲を示す情報が供給されたことに応じて、リアルタイムにキー信号が生成される。
In addition, since the background color value calculation processing after the sampling processing and the key signal generation processing in the
したがって、図1に例示したように画面表示されている前景映像のうち背景色としたい色が表示されている部分を範囲指定する操作を行うことにより、リアルタイムにキー信号を生成させることができる。これにより、操作者は、こうした範囲指定を行った後、その範囲指定結果が妥当であったか否かを、即時に前景映像と背景映像との実際の合成映像から確認できるようになる。 Therefore, as shown in FIG. 1, a key signal can be generated in real time by performing an operation of designating a range of a portion of the foreground image displayed on the screen where the color desired to be the background color is displayed. As a result, after performing the range designation, the operator can immediately confirm from the actual synthesized video of the foreground video and the background video whether the range designation result is appropriate.
そして、範囲指定結果が妥当でなかった場合にも、合成映像がどのように変化するかをリアルタイムに確認しながら範囲指定のやり直しを行うことができるので、希望通りの合成映像を短時間で得ることができる。 And even if the range specification result is not valid, the range specification can be redone while checking in real time how the composite video will change, so the desired composite video can be obtained in a short time. be able to.
図5は、本発明に係るクロマキー装置の別の一実施形態を示すブロック図であり、図3と共通する部分には同一符号を付している。このクロマキー装置では、CPU2と画像メモリ3とビデオキャプチャデバイス4とがPCIバス5で接続されている。
FIG. 5 is a block diagram showing another embodiment of the chroma key device according to the present invention, and the same reference numerals are given to the portions common to FIG. In this chroma key device, a
CPU2は、図4に示した処理のうちの、画像メモリ3への書き込みを、直接実行する代わりに、ビデオキャプチャデバイス4に実行させる。
The
図6は、本発明に係るクロマキー装置のさらに別の一実施形態を示すブロック図であり、図3と共通する部分には同一符号を付している。このクロマキー装置では、CPU2と画像メモリ3との間にメモリコントローラ6が介在しており、ビデオキャプチャデバイス4からメモリコントローラ6に前景映像が送られる。
FIG. 6 is a block diagram showing still another embodiment of the chroma key device according to the present invention, and the same reference numerals are given to the portions common to FIG. In this chroma key device, a memory controller 6 is interposed between the
CPU2は、図4に示した処理のうちの、画像メモリ3への書き込みと、画像メモリ3に書き込まれた画素データのサンプリングとを、直接実行する代わりに、メモリコントローラ6に実行させる。
The
この図5,図6のクロマキー装置でも、図3のクロマキー装置について述べたのと全く同様な効果が得られる。 The chroma key device shown in FIGS. 5 and 6 can provide the same effect as described for the chroma key device shown in FIG.
〔本発明に係る映像合成装置の実施の形態〕
次に、本発明に係る映像合成装置の実施の形態について説明する。図7は、本発明に係る映像合成装置の一実施形態の外観を示す斜視図である。この映像合成装置10は、ノート型のパーソナルコンピュータを一回り大きくしたような形状及び大きさをしており、例えば、イベント等が行われる各地の会場に持ち運び、ビデオカメラやパーソナルコンピュータからの映像信号を入力して、そのイベント等の様子を紹介する映像コンテンツを制作するために使用することができる。
[Embodiment of video composition apparatus according to the present invention]
Next, an embodiment of a video composition device according to the present invention will be described. FIG. 7 is a perspective view showing the external appearance of an embodiment of the video composition apparatus according to the present invention. The
映像合成装置10には、ノート型パーソナルコンピュータのキーボード部分に相当する位置に、入力映像の選択,映像に施す特殊効果の指定(後述するような、前景映像中の背景色の指定を含む)等の各種の操作を行うための操作部11が設けられている。また、映像合成装置10には、ノート型パーソナルコンピュータにおけるのと同様にして液晶ディスプレイ12が設けられている。
The
図8は、この映像合成装置10の回路構成を示すブロック図である。映像合成装置10には、6系統の映像入力部20と、映像処理部30と、制御部40とが設けられている。
FIG. 8 is a block diagram showing a circuit configuration of the
映像入力部20は、コンポジット信号,S−Video信号,DV信号,RGB信号,SDI信号等の入力端子(図示略)を有しており、入力した映像信号を、フレームシンクロナイザ&リサイザ21により、映像合成装置10内の基準同期信号と同期をとった後、映像合成装置10の内部処理における統一画サイズであるSXGA(1280×1024ピクセル)と、サムネイル表示用の画サイズとに変換する。
The video input unit 20 has input terminals (not shown) for composite signals, S-Video signals, DV signals, RGB signals, SDI signals, etc., and the input video signals are converted into video by a frame synchronizer &
各映像入力部20でSXGAに画サイズ変換された最大6系統の映像信号は、映像処理部30に送られる。また、映像入力部20内ではフレームシンクロナイザ&リサイザ21とローカルCPU22とイーサネットコントローラ(イーサネットは登録商標)23とがローカルバス24で接続されており、各映像入力部20でサムネイル表示用に画サイズ変換された最大6系統の映像信号が、イーサネットコントローラ23から映像合成装置10内部のイーサネット25を介して制御部40内のイーサネットコントローラ45に送られる。
The video signals of up to six lines whose image size has been converted to SXGA by each video input unit 20 are sent to the video processing unit 30. In the video input unit 20, a frame synchronizer &
映像処理部30には、クロスポイント部31と、キー処理回路32と、合成回路33と、ローカルCPU34と、NTSC/PALコンバータ35とが設けられている。キー処理回路32と合成回路33とローカルCPU34とは、ローカルバス36で接続されている。
The video processing unit 30 includes a
クロスポイント部31は、各映像入力部20から送られる最大6系統の映像信号の中から、キー処理回路32に前景映像として供給する映像信号と、合成回路33に背景映像として供給する映像信号(現在表示させる背景映像であるプログラム映像と、次に表示させようとする背景映像であるネクスト映像との最大2系統)とを選択するためのスイッチの集合である。
The
キー処理回路32は、前景映像からキー信号を生成し、生成したキー信号を前景映像とともに出力するハードウェア回路である。
The
キー処理回路32からは、合成回路33に前景映像及びキー信号が送られる。また、キー処理回路32からは、ローカルバス36を介してローカルCPU34にも前景映像が送られる。
From the
合成回路33は、キー処理回路32からの前景映像及びキー信号を用いてプログラム映像に前景映像を合成したり(キーイング)、ワイプ等の背景映像の切り替え(トランジション)を行う回路である。
The synthesizing
合成回路33の処理を経たプログラム映像は、NTSC/PALコンバータ35でNTSCまたはPAL方式の映像信号にフォーマット変換され、映像合成装置10の出力端子(図示略)から出力するとともに、制御部40内のビデオキャプチャデバイス46に送られる。また、合成回路33からは、ローカルバス36を介して、ネクスト映像がそのままプレビュー用にローカルCPU34に送られる。
The program video that has undergone the processing of the
制御部40には、メインCPU41と、グラフィックプロセッサ及びメモリコントローラを搭載したチップセット42と、画像メモリ43と、グラフィックコントローラ44と、イーサネットコントローラ45と、ビデオキャプチャデバイス46とが設けられている。チップセット42とグラフィックコントローラ44とイーサネットコントローラ45とビデオキャプチャデバイス46と映像処理部30内のローカルCPU34とは、PCIバス47に接続されている。
The control unit 40 is provided with a
画像メモリ43は、液晶ディスプレイ12(図7)に表示する映像データを書き込むためのメモリである。
The
メインCPU41は、操作部11(図7)の操作等に基づき、チップセット42を介して映像入力部20内のローカルCPU22や映像処理部30内のローカルCPU34にコマンドを送ったり、チップセット42を制御して画像メモリ43への書き込みや読み出しを行わせたり、チップセット42を介してグラフィックコントローラ44を制御して液晶ディスプレイ12に各種の画面を表示させる。
The
次に、この映像合成装置10におけるキー信号の生成処理について説明する。図9は、制御部40内のメインCPU41が、映像処理部30内のキー処理回路32にキー信号を生成させるために実行する処理の一例を示すフローチャートである。
Next, a key signal generation process in the
この処理は、操作部11から、背景色の指定を開始する操作が行われたことを示す信号が供給されたことによってスタートし、最初に、映像処理部30内のローカルCPU34に、キー処理回路32からの前景映像をPCIバス47経由でチップセット42に送信することを要求する(ステップS11)。そして、チップセット42を制御して、ローカルCPU34からの前景映像を用いた背景色指定用画面と、NTSC/PALコンバータ35からビデオキャプチャデバイス46に送られたプログラム映像と、各映像入力部20からイーサネットコントローラ45に送られた映像信号によるサムネイル画像とが一画面に表示される映像データを、画像メモリ43に書き込ませる(ステップS12)。
This process starts when the
そして、チップセット42を制御して、この映像データを画像メモリ43から読み出してグラフィックコントローラ44に送らせるとともに、グラフィックコントローラ44を制御して、液晶ディスプレイ12にこの映像データを表示させる(ステップS13)。
Then, the chip set 42 is controlled to read this video data from the
図10は、この映像データによる液晶ディスプレイ12への背景色指定用画面,プログラム映像及びサムネイル画像の表示例を示す図である。背景色指定用画面50は、図1に示したのと同様、前景映像が表示されている画面に、位置及び大きさを調整可能な枠状のカーソル51を表示し、前景映像のうち背景色としたい色が表示されている部分を、このカーソル51で囲むようにしたものである。背景色指定用画面50の横には、プログラム映像52が表示される。背景色指定用画面50及びプログラム映像52の下には、映像入力部20の系統数に対応した6つのサムネイル画像53が表示される。
FIG. 10 is a diagram showing a display example of a background color designation screen, program video, and thumbnail image on the
図9に示すように、ステップS13を終えると、操作部11から、この背景色指定用画面上で指定された範囲を示す範囲指定情報(図10の例では、カーソル51で囲んだ範囲を確定させる操作が行われることによって生成される情報)が新たに供給されるまで待機する(ステップS14)。 As shown in FIG. 9, when step S13 is completed, range designation information indicating the range designated on the background color designation screen is determined from the operation unit 11 (in the example of FIG. 10, the range enclosed by the cursor 51 is confirmed. (Information generated by the operation to be performed) is waited until it is newly supplied (step S14).
そして、この情報が供給されると、チップセット42を制御して、画像メモリ43に書き込まれた映像データのうち、指定された範囲の画素データを全てサンプリングさせる(ステップS15)。続いて、このサンプリング結果に基づき、色空間上での背景色の値を求める(例えば、サンプリングした各画素データの色空間上での値の平均値を求める)演算を行う(ステップS16)。そして、求めた背景色の値を示す情報を、映像処理部30内のローカルCPU34に、キー処理回路32宛の情報として送る(ステップS17)。
When this information is supplied, the chip set 42 is controlled to sample all the pixel data in the specified range from the video data written in the image memory 43 (step S15). Subsequently, based on this sampling result, an operation for obtaining a background color value on the color space (for example, obtaining an average value of the sampled pixel data on the color space) is performed (step S16). Then, information indicating the obtained background color value is sent to the
続いて、操作部11から、背景色の指定を終了する操作が行われたことを示す信号が供給されたか否かを判断する(ステップS18)。ノーであればステップS14に戻る。ステップS18でイエスになると、処理を終了する。 Subsequently, it is determined whether or not a signal indicating that an operation for ending designation of the background color has been performed is supplied from the operation unit 11 (step S18). If no, the process returns to step S14. If the answer is yes in step S18, the process is terminated.
キー処理回路32は、この図9の処理のステップS17によるメインCPU41からの情報がローカルCPU34から転送されると、現在のフレームの前景映像の各画素のデータを背景色の値と比較することにより、例えば、背景色の値との差が一定の下限の閾値未満である画像位置では前景映像の比率が0となり、背景色の値との差が一定の上限の閾値以上である画像位置では前景映像の比率が1となり、背景色の値との差がこの下限の閾値以上且つこの上限の閾値未満である画像位置では前景映像の比率が0と1との間の値となる(差の大きさに応じて値が大きくなる)ようなキー信号を生成する。
When the information from the
そして、このキー信号と前景映像とがキー処理回路32から合成回路33に送られて、合成回路33でプログラム映像に前景映像が合成される。その結果、図9の処理のステップS12,S13により、液晶ディスプレイ12にも、前景映像が合成されたプログラム映像が表示される。
The key signal and the foreground video are sent from the
このように、この映像合成装置10では、図2に示した従来のクロマキー装置のように、キー処理回路32の内部を通過する前景映像をサンプリングするのではなく、画像メモリ43に書き込まれた前景映像をサンプリングする。ここで、画像メモリ43への1フレーム分の映像データの書き込みは1フレーム期間で完了し、また、画像メモリ43に書き込まれた映像データ中の複数の画素データは一括してリアルタイムに(数フィールド程度の期間内に)サンプリングすることができるので、前景映像のうちの指定された範囲の画素データを、リアルタイムに全てサンプリングすることができる。
In this way, the
また、このサンプリング処理の後の背景色の値の演算処理やキー処理回路32でのキー信号の生成処理もリアルタイムに(数フィールド程度の期間内に)行われるので、背景色指定用画面上で指定された範囲を示す情報が操作部11から供給されたことに応じて、リアルタイムにキー信号が生成される。
Also, the background color value calculation processing after the sampling processing and the key signal generation processing in the
したがって、図10に例示したような背景色指定用画面上で前景映像のうち背景色としたい色が表示されている部分を範囲指定する操作を行うことにより、リアルタイムにキー信号を生成させることができる。これにより、操作者は、こうした範囲指定を行った後、その範囲指定結果が妥当であったか否かを、即時に前景映像とプログラム映像との実際の合成映像(液晶ディスプレイ12に前景映像と並列して表示されるプログラム映像)から確認することができる。 Therefore, a key signal can be generated in real time by performing an operation of specifying a range of a portion of the foreground video where the color to be set as the background color is displayed on the background color specifying screen as illustrated in FIG. it can. Thus, after performing the range designation, the operator immediately determines whether or not the range designation result is valid, and immediately determines the actual synthesized video of the foreground video and the program video (in parallel with the foreground video on the liquid crystal display 12). Program image displayed on the screen).
そして、範囲指定結果が妥当でなかった場合にも、合成映像がどのように変化するかをリアルタイムに確認しながら範囲指定のやり直しを行うことができるので、希望通りの合成映像を短時間で得ることができる。 And even if the range specification result is not valid, the range specification can be redone while checking in real time how the composite video will change, so the desired composite video can be obtained in a short time. be able to.
ところで、この映像合成装置10では、液晶ディスプレイ12の表示を制御するメインCPU41が、液晶ディスプレイ12に表示する映像データを書き込むための画像メモリ43を用いて背景色指定用画面を表示させるので、前景映像以外の映像データを画像メモリ43に書き込ませることにより、前景映像以外の映像を背景色指定用画面として液晶ディスプレイ12に表示させることも可能である。
By the way, in this
そこで、メインCPU41がキー処理回路32にキー信号を生成させるために実行する処理の別の例として、カラーパレットの画面を背景色指定用画面として表示させる例について説明する。図11は、この別の処理例を示すフローチャートであり、図9の処理と同じ内容のステップには同一符号を付している。
Therefore, as another example of processing executed by the
この処理では、最初に、図9の処理と同じ内容のステップS11を実行した後、チップセット42を制御して、複数の色見本を配列した静止画を用いた背景色指定用画面と、ローカルCPU34からの前景映像と、NTSC/PALコンバータ35からビデオキャプチャデバイス46に送られたプログラム映像と、各映像入力部20からイーサネットコントローラ45に送られた映像信号によるサムネイル画像とが一画面に表示される映像データを、画像メモリ43に書き込ませる(ステップS21)。そして、図9の処理と同じ内容のステップS13〜S18を実行する。
In this process, first, after executing step S11 having the same contents as the process of FIG. 9, the chip set 42 is controlled, a background color designation screen using a still image in which a plurality of color samples are arranged, The foreground video from the
図12は、図11の処理による液晶ディスプレイ12への背景色指定用画面,前景映像,プログラム映像及びサムネイル画像の表示例を示す図である。背景色指定用画面60は、複数の色見本をマトリクス状に配列したカラーパレット(図示の都合上、個々の色見本は白地で描いている)に、図10に示したのと同様、位置及び大きさを調整可能な枠状のカーソル61を表示し、背景色としたい色見本が表示されている部分を、このカーソル61で囲むようにしたものである。背景色指定用画面60の横には、前景映像62とプログラム映像63とが表示される。背景色指定用画面60,前景映像62及びプログラム映像63の下には、6つのサムネイル画像64が表示される。
FIG. 12 is a diagram showing a display example of a background color designation screen, foreground video, program video, and thumbnail image on the
このカラーパレットのような、複数の色見本が配列された画面を背景色指定用画面として表示させることにより、背景色としたい色が表示されている範囲を指定する操作を、一層容易に行うことが可能になる。 By displaying a screen in which multiple color samples, such as this color palette, are arranged as a background color designating screen, the operation for designating the range in which the color to be used as the background color is displayed can be performed more easily. Is possible.
なお、図3,図5または図6に示したクロマキー装置を例えばこの映像合成装置に適用する場合には、映像処理部30内に画像メモリを設けて、ローカルCPU34に図3や図5や図6のCPU2としての処理を実行させるようにしてもよい。
When the chroma key device shown in FIG. 3, FIG. 5 or FIG. 6 is applied to this video composition device, for example, an image memory is provided in the video processing unit 30, and the
また、図7の実施形態では本発明に係る映像合成装置を持ち運び可能な形状及び大きさにしているが、本発明に係る映像合成装置は据え置き型の装置として実施してもよい。 In the embodiment of FIG. 7, the video composition apparatus according to the present invention has a shape and size that can be carried, but the video composition apparatus according to the present invention may be implemented as a stationary apparatus.
1 キー処理回路、 2 CPU、 3 画像メモリ、 4 ビデオキャプチャデバイス、 5 PCIバス、 6 メモリコントローラ、 10 映像合成装置、 11 操作部、 12 液晶ディスプレイ、 20 映像入力部、 21 フレームシンクロナイザ&リサイザ、 22 ローカルCPU、 23 イーサネットコントローラ、 24 ローカルバス、 30 映像処理部、 31 クロスポイント部、 32 キー処理回路、 33 合成回路、 34 ローカルCPU、 35 NTSC/PALコンバータ、 36 ローカルバス、 40 制御部、 41 メインCPU、 42 チップセット、 43 画像メモリ、 44 グラフィックコントローラ、 45 イーサネットコントローラ、 46 ビデオキャプチャデバイス、 47 PCIバス
DESCRIPTION OF
Claims (4)
制御手段と、
前記前景映像を書き込むための画像メモリと
を備えており、
前記制御手段は、
画面上で指定された範囲を示す情報が外部から供給されたことに基づき、前記画像メモリに書き込まれた前記前景映像のうち、前記指定された範囲の画素データをサンプリングする処理と、
前記サンプリングの結果に基づき、色空間上での背景色の値を求め、求めた背景色の値を示す情報を前記キー処理手段に送る処理と
を行い、
前記キー処理手段は、
前記前景映像の各画素のデータを、前記制御手段から送られた前記情報が示す背景色の値と比較することによって前記キー信号を生成する
ことを特徴とするクロマキー装置。 A key processing unit that is supplied with a video signal as a foreground video and generates a key signal indicating a synthesis ratio of the foreground video and the background video;
Control means;
An image memory for writing the foreground video,
The control means includes
Based on the fact that information indicating the range specified on the screen is supplied from the outside, a process of sampling pixel data in the specified range of the foreground video written in the image memory;
Based on the result of the sampling, a value of a background color in a color space is obtained, and information indicating the obtained background color value is sent to the key processing means.
The key processing means includes
A chroma key device, wherein the key signal is generated by comparing data of each pixel of the foreground image with a background color value indicated by the information sent from the control means.
前記背景映像としての映像信号と、前記前景映像と、前記キー信号とが供給され、前記キー信号を用いて前記前景映像と前記背景映像とを合成する合成手段と
映像表示部と、
前記映像表示部を制御する制御手段と
前記映像表示部に表示する映像データを書き込むための画像メモリと
を備えており、
前記制御手段は、
画面表示されている色の中から背景色としたい色が表示されている部分を範囲指定するための背景色指定用画面の映像データを、前記画像メモリに書き込ませ、前記画像メモリから読み出させて、前記映像表示部に表示させる処理と、
前記画像メモリに書き込まれた前記映像データのうち、前記背景色指定用画面上で指定された範囲の画素データをサンプリングする処理と、
前記サンプリングの結果に基づき、色空間上での背景色の値を求め、求めた背景色の値を示す情報を前記キー処理手段に送る処理と
を行い、
前記キー処理手段は、
前記前景映像の各画素のデータを、前記制御手段から送られた前記情報が示す背景色の値と比較することによって前記キー信号を生成する
ことを特徴とする映像合成装置。 A key processing unit that is supplied with a video signal as a foreground video and generates a key signal indicating a synthesis ratio of the foreground video and the background video;
A video signal as the background video, the foreground video, and the key signal are supplied, and a synthesizing unit that synthesizes the foreground video and the background video using the key signal, a video display unit,
Control means for controlling the video display unit, and an image memory for writing video data to be displayed on the video display unit,
The control means includes
The video data of the screen for designating the background color for designating the range where the color to be set as the background color is displayed from among the colors displayed on the screen is written to the image memory and read from the image memory. Processing to be displayed on the video display unit,
A process of sampling pixel data in a range designated on the background color designation screen among the video data written in the image memory;
Based on the result of the sampling, a value of a background color in a color space is obtained, and information indicating the obtained background color value is sent to the key processing means.
The key processing means includes
An image synthesizing apparatus, wherein the key signal is generated by comparing data of each pixel of the foreground image with a value of a background color indicated by the information sent from the control means.
前記制御手段は、
前記前景映像を、前記背景色指定用画面の映像データとして前記画像メモリに書き込ませる
ことを特徴とする映像合成装置。 The video composition device according to claim 2,
The control means includes
The video synthesizing apparatus, wherein the foreground video is written in the image memory as video data of the background color designation screen.
前記制御手段は、
複数の色見本を配列した静止画データを生成し、前記静止画データを、前記背景色指定用画面の映像データとして前記画像メモリに書き込ませる
ことを特徴とする映像合成装置。 The video composition device according to claim 2,
The control means includes
An image synthesizing apparatus, comprising: generating still image data in which a plurality of color samples are arranged, and writing the still image data in the image memory as video data of the background color designating screen.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006328682A JP2008141698A (en) | 2006-12-05 | 2006-12-05 | Chroma key device and video composition device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006328682A JP2008141698A (en) | 2006-12-05 | 2006-12-05 | Chroma key device and video composition device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008141698A true JP2008141698A (en) | 2008-06-19 |
Family
ID=39602662
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006328682A Pending JP2008141698A (en) | 2006-12-05 | 2006-12-05 | Chroma key device and video composition device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2008141698A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011242700A (en) * | 2010-05-20 | 2011-12-01 | Nec Casio Mobile Communications Ltd | Display control unit, display control program and display control method |
| JP5231260B2 (en) * | 2008-08-11 | 2013-07-10 | 株式会社エム・ソフト | Background image generation method and background image generation system |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1127693A (en) * | 1997-07-03 | 1999-01-29 | Sony Corp | Chroma key device |
-
2006
- 2006-12-05 JP JP2006328682A patent/JP2008141698A/en active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1127693A (en) * | 1997-07-03 | 1999-01-29 | Sony Corp | Chroma key device |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5231260B2 (en) * | 2008-08-11 | 2013-07-10 | 株式会社エム・ソフト | Background image generation method and background image generation system |
| US8611647B2 (en) | 2008-08-11 | 2013-12-17 | M. Soft Co., Ltd. | Method for generating background image and system for generating background image |
| JP2011242700A (en) * | 2010-05-20 | 2011-12-01 | Nec Casio Mobile Communications Ltd | Display control unit, display control program and display control method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3490472B2 (en) | Architecture for transferring pixel streams | |
| JPH089411A (en) | Processing system and method of pixel data | |
| JPH06100910B2 (en) | Overscan image display method and display device | |
| US20080018964A1 (en) | Apparatus and method for processing, storing and displaying digital images | |
| CN110825334A (en) | Display control apparatus, control method thereof, and computer readable medium | |
| US20080030478A1 (en) | Digital photo frame | |
| JP2003050694A (en) | Presentation system, image display device, program, and recording medium | |
| JP2007214659A (en) | Osd apparatus | |
| JP2008141698A (en) | Chroma key device and video composition device | |
| US20120188457A1 (en) | Image processing apparatus and image processing method | |
| CN102404523A (en) | TV screen menu display system and display method thereof | |
| CN1949888B (en) | A system and method for generating high-definition television test signals | |
| JP2002500478A (en) | Method and apparatus for reducing flicker in a television display of network application data | |
| JP4849302B2 (en) | Display control apparatus, display control method, and program | |
| JP3834322B2 (en) | Image display device and image display method | |
| JP6942493B2 (en) | Display device and display control method | |
| JPH06351048A (en) | Video signal analysis display device | |
| JP3013336B2 (en) | Chroma key signal generator | |
| JP3985451B2 (en) | Image processing apparatus and image display apparatus | |
| JPH0259795A (en) | Multi-video system | |
| JPH11102428A (en) | Image processing apparatus and medium storing image processing apparatus control program | |
| KR20010035778A (en) | Overlay apparatus of video and graphic signal | |
| JP2003189178A (en) | On-screen display device | |
| JP2007139923A (en) | OSD generator | |
| JP2025178918A (en) | Image processing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091015 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111222 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111227 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120612 |