JP2007036502A

JP2007036502A - Data processing apparatus, data processing method, and computer program

Info

Publication number: JP2007036502A
Application number: JP2005215102A
Authority: JP
Inventors: Daisuke Kobayashi; 大輔小林; Mutsuhiro Harada; 睦弘原田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2005-07-25
Filing date: 2005-07-25
Publication date: 2007-02-08

Abstract

【課題】映像信号の特定のフレームを容易に指定することができる。
【解決手段】複数のフレームで構成された映像信号とこの映像信号に関連付けられたタイムコードとを含む入力映像信号を再生する再生部１３と、再生部１３で再生されている入力映像信号の映像信号とタイムコードとを表示する映像表示部１４と、映像表示部１４に表示されている映像信号の中の特定フレームを指定する指定部１５と、指定部１５で指定された特定フレームのタイムコードと特定フレームのメタデータとを関連付ける関連付け部１６と、特定フレームのタイムコードと特定フレームのメタデータと関連付けた関連付けデータをリスト表示するリスト表示部１７と、関連付けデータを出力する出力データ生成部１８とを備える。
【選択図】図２PROBLEM TO BE SOLVED: To easily designate a specific frame of a video signal.
A playback unit for playing back an input video signal including a video signal composed of a plurality of frames and a time code associated with the video signal, and a video of the input video signal being played back by the playback unit. A video display unit 14 for displaying a signal and a time code, a designation unit 15 for designating a specific frame in the video signal displayed on the video display unit 14, and a time code of the specific frame designated by the designation unit 15 The association unit 16 that associates the metadata of the specific frame with the metadata of the specific frame, the list display unit 17 that displays the association data associated with the time code of the specific frame and the metadata of the specific frame, and the output data generation unit 18 that outputs the association data With.
[Selection] Figure 2

Description

本発明は、タイムコードに関連付けられた映像信号の特定フレームを選択するデータ処理装置、データ処理方法及びコンピュータプログラムに関する。 The present invention relates to a data processing device, a data processing method, and a computer program that select a specific frame of a video signal associated with a time code.

ＤＶＤ（Digital Versatile Disc）制作に使用されるコンテンツの中には、従来制作されたアナログのアニメーションや映画等がある。近年、これらアナログのコンテンツをディジタルのコンテンツマスターに変換する作業が行われている。 Among the contents used for DVD (Digital Versatile Disc) production, there are analog animations and movies produced conventionally. In recent years, work for converting these analog contents into digital contents masters has been performed.

これらの作業は、企画構成の後、映像制作や音声制作が行われ、ディジタルのコンテンツマスターが作成される。具体的に、このマスターの作成は、アナログコンテンツのディジタル変換の後、色補正、輪郭補正、画面サイズの決定、傷消し等を行い、更に、ロゴの挿入、特典映像編集、メニュー画面編集、サウンドデザイン等の編集を行い、この後、Ｄβカム、ＨＤカム、ＤＴＲＳ等のディジタルのフォーマットに変換することによって作成される。 In these operations, video production and audio production are performed after planning and composition, and a digital content master is created. Specifically, this master is created after digital conversion of analog content, color correction, contour correction, screen size determination, scratch removal, etc., logo insertion, privilege video editing, menu screen editing, sound It is created by editing the design, etc., and then converting to a digital format such as Dβ cam, HD cam, DTRS.

この後、ディジタルマスターは、圧縮後の画質や音質が決定され、ＭＰＥＧ２圧縮がされ、次いで、オーサリング処理がされ、次いで、プレビューチェックがされる。具体的に、オーサリング工程では、字幕、映像、音声のインタラクティブ機能を付加し、この後、エミュレータを用いてメニュー、動き、映像、音声のチェックが行われる。 Thereafter, the image quality and sound quality after compression are determined for the digital master, MPEG2 compression is performed, then authoring processing is performed, and then a preview check is performed. Specifically, in the authoring process, an interactive function of subtitles, video, and audio is added, and then menus, movements, video, and audio are checked using an emulator.

以上のような処理によって、プルーフ盤が作成され、この後、頒布のためＤＶＤ等が製造される。 A proof board is created by the above processing, and then a DVD or the like is manufactured for distribution.

ところで、上述したマスターが作成されると、通常、コンテンツの所有者である依頼者によって、ディジタルのコンテンツマスターのノイズ等のチェックが行われ、映像制作会社では、依頼者から指定されたノイズ除去の作業が行われる。このノイズ除去の作業は、ディジタルコンテンツの画質や音質に大きく影響するものであり、重要な作業である。 By the way, when the above-mentioned master is created, the requester who is the owner of the content usually checks the noise of the digital content master, and the video production company performs the noise removal specified by the requester. Work is done. This noise removal work is an important work because it greatly affects the image quality and sound quality of digital contents.

しかしながら、映像信号は、時間軸上に並んだ複数のフレームで構成されていることから、依頼者において、再生される映像の中から傷のあるフレームを指定することは、極めて面倒な作業であり、また、映像制作会社において、指定されたフレームを特定することも極めて面倒な作業となっている。また、ＤＶＤの映像信号は、複数のチャプタで構成されることから、依頼者の側では、チャプタの開始位置を特定する必要がある。しかしながら、このチャプタの指定作業や特定作業も極めて面倒な作業となっている。 However, since the video signal is composed of a plurality of frames arranged on the time axis, it is extremely troublesome for the client to specify a damaged frame from the reproduced video. Also, it is extremely troublesome to specify a designated frame in a video production company. Further, since the DVD video signal is composed of a plurality of chapters, it is necessary to specify the chapter start position on the client side. However, the chapter designation work and the specific work are extremely troublesome work.

特開平１０−９８６４５号公報JP-A-10-98645

本発明は、以上のような問題点に鑑みてなされたものであり、その目的は、映像信号の特定のフレームを容易に指定することができるデータ処理装置、データ処理方法及びコンピュータプログラムを提供することにある。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a data processing device, a data processing method, and a computer program capable of easily specifying a specific frame of a video signal. There is.

更に、本発明の目的は、指定された特定フレームのメタデータを容易に作成し又見ることができるデータ処理装置、データ処理方法及びコンピュータプログラムを提供することにある。 It is another object of the present invention to provide a data processing apparatus, a data processing method, and a computer program that can easily create and view metadata of a specified specific frame.

更に、本発明の目的は、特定されたフレームの中で傷等がある位置を容易に特定することができるデータ処理装置、データ処理方法及びコンピュータプログラムを提供することにある。 Furthermore, an object of the present invention is to provide a data processing apparatus, a data processing method, and a computer program that can easily specify a position where there is a scratch or the like in a specified frame.

本発明に係るデータ処理装置は、複数のフレームで構成された映像信号とこの映像信号と関連付いたタイムコードとを含む入力映像信号が入力される入力手段と、上記入力手段より入力された入力映像信号を再生する再生手段と、上記再生手段で再生されている入力映像信号の映像信号とタイムコードとを表示する映像表示手段と、上記映像表示手段に表示されている映像信号の中の特定フレームを指定し、この指定した特定フレームのメタデータを生成する指定手段と、上記指定手段で指定された特定フレームのタイムコードと上記特定フレームのメタデータとを関連付ける関連付け手段と、上記特定フレームのタイムコードと特定フレームのメタデータと関連付けた関連付けデータをリスト表示するリスト表示手段とを備える。 The data processing apparatus according to the present invention includes an input means for receiving an input video signal including a video signal composed of a plurality of frames and a time code associated with the video signal, and an input input from the input means. Reproduction means for reproducing the video signal, video display means for displaying the video signal and time code of the input video signal reproduced by the reproduction means, and identification of the video signal displayed on the video display means Designation means for designating a frame and generating metadata for the designated specific frame; association means for associating the time code of the specific frame designated by the designation means with the metadata for the specific frame; and List display means for displaying a list of association data associated with the time code and the metadata of the specific frame.

また、本発明に係るデータ処理方法は、複数のフレームで構成された映像信号とこの映像信号と関連付いたタイムコードとを含む入力映像信号を再生手段で再生するステップと、上記再生手段で再生されている入力映像信号の映像信号とタイムコードとを表示手段に表示するステップと、上記表示手段に表示されている映像信号の中の特定フレームを指定し、この指定した特定フレームのメタデータを指定手段で生成するステップと、上記指定手段で指定された特定フレームのタイムコードと上記特定フレームのメタデータとを関連付け手段で関連付けるステップと、上記特定フレームのタイムコードと特定フレームのメタデータと関連付けた関連付けデータを上記表示手段にリスト表示するステップとを有する。 Also, the data processing method according to the present invention includes a step of playing back an input video signal including a video signal composed of a plurality of frames and a time code associated with the video signal by the playback means, and playback by the playback means. Displaying the video signal and the time code of the input video signal being displayed on the display means, designating a specific frame in the video signal displayed on the display means, and storing the metadata of the designated specific frame A step of generating by the specifying means, a step of associating the time code of the specific frame specified by the specifying means with the metadata of the specific frame by the associating means, and associating the time code of the specific frame with the metadata of the specific frame Displaying the associated data as a list on the display means.

更に、本発明に係るプログラムは、コンピュータにインストールされて、このコンピュータに上述のデータ処理方法を実行させるものであり、光ディスク等の可搬性記録媒体やネットワークを介して拡布される。 Furthermore, the program according to the present invention is installed in a computer and causes the computer to execute the above-described data processing method, and is spread via a portable recording medium such as an optical disk or a network.

本発明によれば、特定のフレームを容易に指定することができ、また、指定された特定フレームのタイムコードと特定フレームのメタデータと関連付けた関連付けデータをリスト表示するので、指定されたフレームとそのフレームのメタデータを容易に見ることができ、ユーザが指定したフレームを容易に特定し、更に、そのフレームのメタデータを簡単に知ることができる。特定フレームのタイムコードと特定フレームのメタデータと関連付けた関連付けデータは、複数台で共有することができ、それぞれの操作者が、入力映像信号中の特定フレームを容易に見つけ出すことができる。 According to the present invention, a specific frame can be easily specified, and the association data associated with the time code of the specified specific frame and the metadata of the specific frame is displayed in a list. The metadata of the frame can be easily viewed, the frame designated by the user can be easily identified, and the metadata of the frame can be easily known. The association data associated with the time code of the specific frame and the metadata of the specific frame can be shared by a plurality of units, and each operator can easily find the specific frame in the input video signal.

以下、本発明を適用したデータ処理装置について図面を参照して説明する。 A data processing apparatus to which the present invention is applied will be described below with reference to the drawings.

本発明は、例えばコンピュータプログラムをコンピュータ等のデータ処理装置にインストールすることによってその機能を実現することができる。すなわち、図１に示すように、本発明のデータ処理装置１は、コンピュータと同様な構成であり、オペレーティングシステム、アプリケーションプログラム、コンピュータで処理される処理データ、コンテンツデータ等が格納されるハードディスク２と、制御プログラム等が格納されるＲＯＭ（Read Only Memory）３と、処理データ等がロードされるＲＡＭ４（Random Access Memory）と、全体を制御するＣＰＵ（Central Processing Unit）５と、キーボード、マウス等で構成される操作部６と、ＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）等で構成される表示部７と、光ディスク等のディスクドライブ８と、外部と通信をするための通信Ｉ／Ｆ９と、音声信号を可聴音にして出力するスピーカ１０とを備えている。以上のようなデータ処理装置に本発明の機能を実現させるコンピュータプログラムは、光ディスク等の記録媒体、ネットワークを介して拡布され、ディスクドライブ８や通信Ｉ／Ｆ９からハードディスク２にインストールされる。 The present invention can realize its function by installing a computer program in a data processing apparatus such as a computer, for example. That is, as shown in FIG. 1, the data processing apparatus 1 of the present invention has a configuration similar to that of a computer, and an operating system, application programs, processing data processed by the computer, content data, etc. A ROM (Read Only Memory) 3 in which a control program and the like are stored, a RAM 4 (Random Access Memory) in which processing data and the like are loaded, a CPU (Central Processing Unit) 5 that controls the whole, a keyboard, a mouse, and the like An operation unit 6 configured, a display unit 7 configured by a CRT (Cathode Ray Tube), an LCD (Liquid Crystal Display), and the like, a disk drive 8 such as an optical disk, and a communication I / F 9 for communicating with the outside. And a speaker 10 that outputs an audio signal as an audible sound. The computer program that causes the data processing apparatus as described above to realize the functions of the present invention is expanded via a recording medium such as an optical disk or a network, and is installed in the hard disk 2 from the disk drive 8 or the communication I / F 9.

本発明が適用されたコンピュータプログラムがインストールされたデータ処理装置１の機能について、図２を参照して説明すると、素材となるディジタルのコンテンツデータが入力される入力端子１１と、入力端子１１より入力されたコンテンツデータの暗号を復号する暗号復号部１２と、暗号復号部１２で復号されたコンテンツデータの再生処理を行う再生部１３と、再生部１３で再生されたコンテンツデータを表示する映像表示部１４と、コンテンツデータを構成する映像信号の特定フレームを指定する指定部１５と、指定部１５で指定された特定フレームと映像信号に含まれるタイムコードとを関連付ける関連付け部１６と、関連付け部１６で関連付けられた関連付けデータをリスト表示するリスト表示部１７と、出力データを生成する出力データ生成部１８と、出力データを出力する出力端子１９とを備える。 The function of the data processing apparatus 1 in which the computer program to which the present invention is applied is installed will be described with reference to FIG. 2. An input terminal 11 to which digital content data as material is input and an input from the input terminal 11 are input. The encryption / decryption unit 12 that decrypts the encrypted content data, the reproduction unit 13 that reproduces the content data decrypted by the encryption / decryption unit 12, and the video display unit that displays the content data reproduced by the reproduction unit 13 14, a designation unit 15 for designating a specific frame of the video signal constituting the content data, an association unit 16 for associating the specific frame designated by the designation unit 15 with a time code included in the video signal, and an association unit 16 A list display unit 17 for displaying a list of associated data and output data And an output data generating unit 18, and an output terminal 19 for outputting the output data.

ここで、コンテンツデータは、例えば、既存のアナログのコンテンツデータを素材とした、例えば、過去に作成されたアニメーションデータ、映画データ等であり、映画制作者が制作した上述したマスターとなるディジタルのコンテンツデータのチェック用データである。この入力されるチェック用のデータは、例えばＤβカム、ＨＤカム、ＤＴＲＳ等のディジタルのフォーマットで構成されている。このコンテンツデータは、タイムコードによって映像信号と音声信号とが関連付けられており、映像信号は、タイムコードによって複数のフレームが時間軸上に並べられて構成されている。このようなコンテンツデータは、更に、映像制作会社の専用機によって暗号化され、チェック用のデータとして安全な状態で依頼者に提供することができるようになっている。以上のようなチェック用のコンテンツデータは、インターネット等のネットワークを介して通信Ｉ／Ｆ９より又はディスクドライブ８よりデータ処理装置１の入力端子１１を介して入力される。 Here, the content data is, for example, existing analog content data, for example, animation data and movie data created in the past, and the above-mentioned digital content that is the master produced by the movie producer This is data for checking data. The input check data is configured in a digital format such as Dβ cam, HD cam, or DTRS. In the content data, a video signal and an audio signal are associated with each other by a time code, and the video signal is configured by arranging a plurality of frames on the time axis by a time code. Such content data is further encrypted by a dedicated machine of the video production company, and can be provided to the client in a safe state as check data. The content data for checking as described above is input from the communication I / F 9 or the disk drive 8 via the input terminal 11 of the data processing device 1 via a network such as the Internet.

暗号復号部１２は、暗号復号用鍵データを格納しており、入力端子１１より入力された入力された暗号化コンテンツデータの復号処理を行い、再生部１３に出力する。 The encryption / decryption unit 12 stores encryption / decryption key data, decrypts the input encrypted content data input from the input terminal 11, and outputs the decrypted content data to the reproduction unit 13.

再生部１３は、暗号が復号されたコンテンツデータの映像信号に対して復調処理、エラー訂正復号処理等を行って再生映像信号を生成すると共にコンテンツデータの音声信号に対して復調処理、エラー訂正復号処理等を行って再生音声信号を生成し、タイムコードで再生映像信号と再生音声信号とを同期させて、再生映像信号を映像表示部１４に出力し表示部７で表示できるようにし、再生音声信号をスピーカ１０に出力する。 The reproduction unit 13 performs a demodulation process, an error correction decoding process, and the like on the video signal of the content data whose encryption has been decrypted to generate a reproduction video signal, and a demodulation process, an error correction decoding on the audio signal of the content data A playback audio signal is generated by performing processing, etc., and the playback video signal and the playback audio signal are synchronized with the time code so that the playback video signal is output to the video display unit 14 and can be displayed on the display unit 7. The signal is output to the speaker 10.

ここで、再生部１３には、再生速度変更部１３ａが接続されている。再生速度変更部１３ａは、順方向及び逆方向に標準再生速度を速く又は遅くする再生速度変更信号を生成する。具体的に、再生速度変更部１３ａは、標準的再生速度を１０倍、８倍、６倍、４倍、２倍、０．５倍、０．２倍、０．１倍等にする速度変更信号を再生部１３に入力し、再生速度を変更できるようにする。再生速度変更部１３ａは、速度変更信号を、後述するコマ送りボタン２１ｂや操作部６を構成するキーボードからの入力に応じた速度変更信号を生成し、再生部１３に入力する。例えば、ここでは、キーボードの「Shift」キー＋「↑」キーで再生速度を増加する再生速度変更信号を生成し、「Shift」キー＋「↓」キーで再生速度を減少する再生速度変更信号を生成し、「Space」キー又は「Enter」キーで再生停止の停止信号を生成し、操作を簡素化し容易にしている。 Here, a playback speed changing unit 13 a is connected to the playback unit 13. The playback speed changing unit 13a generates a playback speed change signal that increases or decreases the standard playback speed in the forward and backward directions. Specifically, the playback speed changing unit 13a changes the standard playback speed to 10 times, 8 times, 6 times, 4 times, 2 times, 0.5 times, 0.2 times, 0.1 times, etc. A signal is input to the playback unit 13 so that the playback speed can be changed. The playback speed changing unit 13 a generates a speed change signal according to an input from a frame advance button 21 b (described later) or a keyboard constituting the operation unit 6, and inputs the speed change signal to the playback unit 13. For example, here, the “Shift” key + “↑” key on the keyboard generates a playback speed change signal that increases the playback speed, and the “Shift” key + “↓” key generates a playback speed change signal that decreases the playback speed. Generate a stop signal for playback stop with the “Space” key or “Enter” key, simplifying and facilitating the operation.

映像表示部１４は、表示部１７の表示画面に再生映像信号を表示する。ここで、図３に、映像表示部１４によって表示されるメインダイアログのページを示す。このメインダイアログのページは、コンテンツデータを構成する映像信号が表示されるプレビューウィンドウ２１と、再生するコンテンツデータに関連する情報が表示されるインフォメーションウィンドウ２２と、タイムコードを表示するタイムコードウィンドウ２３と、ユーザが指定した映像信号の特定フレームに関連する情報を表示するリストウィンドウ２４と、指定された特定フレームに関連したコメントが入力されるコメントウィンドウ２５と、リストウィンドウ２４に挙げられたリストの表示内容を選択するフィルタウィンドウ２６とから構成されている。 The video display unit 14 displays the playback video signal on the display screen of the display unit 17. Here, FIG. 3 shows a page of the main dialog displayed by the video display unit 14. The main dialog page includes a preview window 21 in which video signals constituting content data are displayed, an information window 22 in which information related to content data to be reproduced is displayed, and a time code window 23 in which time codes are displayed. A list window 24 for displaying information related to a specific frame of the video signal designated by the user, a comment window 25 for inputting a comment related to the designated specific frame, and a list displayed in the list window 24 It is composed of a filter window 26 for selecting contents.

プレビューウィンドウ２１は、コンテンツデータの映像が表示されると共に、再生位置に合わせて再生時間２１ｄが表示される。また、プレビューウィンドウ２１には、映像下に、再生バー２１ａが表示され、再生位置を確認することができる。再生バー２１ａの一端部には、画面上で再生速度を可変することができるように順方向と逆方向のコマ送りボタン２１ｂが設けられ、他端部には、画面上でスピーカ１０から放音される再生音の音量を調整することができるように音量つまみ２１ｃが設けられている。 The preview window 21 displays content data video and a playback time 21d in accordance with the playback position. In the preview window 21, a playback bar 21a is displayed below the video so that the playback position can be confirmed. One end of the playback bar 21a is provided with a forward and reverse frame advance button 21b so that the playback speed can be varied on the screen, and the other end is sounded from the speaker 10 on the screen. A volume knob 21c is provided so that the volume of the reproduced sound can be adjusted.

インフォメーションウィンドウ２２は、プロジェクトファイル、すなわちコンテンツデータの再生を開始した際に、再生するコンテンツデータに関連した情報を表示し、再生前に、これから再生するコンテンツデータの確認を行うことができるようにしている。例えば、インフォメーションウィンドウ２２には、再生するコンテンツデータのハードディスク２等の保存先、映像信号の総フレーム数、スタートタイムコード、エンドタイムコード等が表示される。 The information window 22 displays information related to the content data to be reproduced when the reproduction of the project file, that is, the content data is started, so that the content data to be reproduced can be confirmed before the reproduction. Yes. For example, the information window 22 displays the storage destination of the content data to be reproduced such as the hard disk 2, the total number of frames of the video signal, the start time code, the end time code, and the like.

タイムコードウィンドウ２３は、プレビューウィンドウ２１で表示されている映像のタイムコードを表示する。なお、ここでは、データ処理装置１に対する負荷を下げるために間隔を置いてカウントアップする。 The time code window 23 displays the time code of the video displayed in the preview window 21. Here, in order to reduce the load on the data processing device 1, the counter is counted up at intervals.

リストウィンドウ２４は、指定したレベル、すなわち重要度で指定されたフレームの上方がリスト表示される。このリストウィンドウ２４では、図示した指定したフレームの重要度を示すスポッティングレベル、チャプタの開始位置を特定するチャプタフラグ、特定フレームに同期した音声信号を特定するオーディオフラグ、指定したフレームのINタイムコード、Outタイムコードと、図示しないが指定したフレームに関連したコメント、指定したフレームのIn点フレーム番号、詳細データ欄を有している。そして、スポッティングレベルの変更、チャプタフラグの有無、オーディオフラグの有無、IN及びOutタイムコードの変更、リスト表示された項目の削除等は、事後的に変更削除可能となっている。 In the list window 24, the specified level, that is, the upper part of the frame specified by the importance level is displayed as a list. In this list window 24, a spotting level indicating the importance of the designated frame shown in the figure, a chapter flag for identifying the start position of the chapter, an audio flag for identifying an audio signal synchronized with the specific frame, an IN time code of the designated frame, It has an Out time code, a comment related to a specified frame (not shown), an In point frame number of the specified frame, and a detailed data column. Changes in spotting levels, presence / absence of chapter flags, presence / absence of audio flags, changes in IN and Out time codes, deletion of items displayed in a list, and the like can be changed and deleted later.

コメントウィンドウ２５は、リストウィンドウ２４のコメント欄に表示させるコメントが入力される。また、リストウィンドウ２４において、コメントが付加されているフレームが選択された場合には、そのコメントがコメントウィンドウに表示される。 In the comment window 25, a comment to be displayed in the comment field of the list window 24 is input. When a frame with a comment is selected in the list window 24, the comment is displayed in the comment window.

フィルタウィンドウ２６は、リストウィンドウ２４にリスト表示するフレームの条件を入力することができる。例えば、フィルタウィンドウ２６では、すべてを表示、重要度がHighのみ表示、Lowのみ表示、チャプタのみ表示等の条件を選択することができ、選択された条件に合致したものをリストウィンドウ２４に表示するようにする。 The filter window 26 can input conditions for frames to be displayed in a list on the list window 24. For example, in the filter window 26, it is possible to select conditions such as displaying all, displaying only High, displaying only Low, displaying only chapters, etc., and display the list window 24 that matches the selected condition. Like that.

図２に示すように、指定部１５は、再生されているコンテンツデータのフレームを特定する。具体的に、指定部１５は、指定された時間軸上の所定範囲を、開始位置のタイムコード（INタイムコード）と終了位置のタイムコード（Outタイムコード）で特定する。この指定は、操作部６を構成するキーボードによって行うことができる。例えば、指定部１５は、キーボードの「Ｆ１」キー乃至「Ｆ３」キーが押されている間のフレームをタイムコードで特定する。すなわち、「Ｆ１」キー乃至「Ｆ３」キーが押されたときのタイムコードをINタイムコードとし、押圧が解除されたときのタイムコードをOutタイムコードとし、極めて容易に所定範囲の映像をタイムコードと関連付けて特定することができるようにしている。以上のようにして特定された所定範囲のフレームは、図３に示すリストウィンドウ２４の指定したフレームのINタイムコード、Outタイムコードに表示される。 As shown in FIG. 2, the specifying unit 15 specifies the frame of the content data being reproduced. Specifically, the specifying unit 15 specifies a predetermined range on the specified time axis by a time code (IN time code) at the start position and a time code (Out time code) at the end position. This designation can be performed by a keyboard constituting the operation unit 6. For example, the specification unit 15 specifies a frame while the “F1” key to “F3” key of the keyboard is being pressed by using a time code. That is, the time code when the “F1” key to the “F3” key is pressed is set as the IN time code, the time code when the press is released is set as the Out time code, and a video in a predetermined range is time code very easily. It can be specified in association with. The frames within the predetermined range specified as described above are displayed in the IN time code and Out time code of the frame specified in the list window 24 shown in FIG.

なお、以上の操作を行うにあたっては、キーボードの他のキーやマウスを用いて行っても良く、更に、他の操作装置を用いても良い。 In addition, in performing the above operation, you may perform using other keys and a mouse | mouth of a keyboard, Furthermore, you may use another operating device.

また、関連付け部１６は、指定部１５で指定された所定範囲のフレームに関連したメタデータを操作部６からの入力に応じて生成する。ここでは、例えば、上述の「Ｆ１」キーが押されたとき、指定したフレームのINタイムコード、Outタイムコードを特定すると共に、メタデータとして、スポッティングレベルが「高」のスポッティングデータを生成する。また、「Ｆ２」キーが押されたとき、指定したフレームのINタイムコード、Outタイムコードを特定すると共に、メタデータとして、スポッティングレベルが「中」のスポッティングデータを生成する。更に、「Ｆ３」キーが押されたとき、指定したフレームのINタイムコード、Outタイムコードを特定すると共に、メタデータとして、スポッティングレベルが「低」のスポッティングデータを生成する。 Further, the associating unit 16 generates metadata related to a predetermined range of frames specified by the specifying unit 15 in response to an input from the operation unit 6. Here, for example, when the above-described “F1” key is pressed, the IN time code and the Out time code of the designated frame are specified, and spotting data with a spotting level of “high” is generated as metadata. When the “F2” key is pressed, the IN time code and the Out time code of the designated frame are specified, and spotting data with a spotting level of “medium” is generated as metadata. Further, when the “F3” key is pressed, the IN time code and the Out time code of the designated frame are specified, and spotting data with a spotting level “low” is generated as metadata.

また、関連付け部１６は、チャプタの開始位置を特定するチャプタフラグを、指定したフレームのタイムコードに関連付けて生成する。ここでは、例えば、「Ｆ４」キーが押されたとき、チャプタフラグを生成し設定する。なお、チャプタフラグは、チャプタの先頭となるフレームを特定するものであるから、時間軸上所定範囲のフレームに関連付けられるのではなく、一のフレーム、例えばキーの押圧開始時点のフレームに関連付けられることになる。 Further, the associating unit 16 generates a chapter flag that specifies the start position of the chapter in association with the time code of the designated frame. Here, for example, when the “F4” key is pressed, a chapter flag is generated and set. Note that the chapter flag specifies the frame that is the head of the chapter, so it is not associated with a frame in a predetermined range on the time axis, but is associated with a single frame, for example, a frame at the time when a key is pressed. become.

更に、関連付け部１６は、特定フレームに同期した音声信号を特定するオーディオフラグを、指定したタイムコードに関連付けて生成する。ここでは、例えば、「Ｆ５」キーが押されたとき、オーディオフラグを生成し設定する。 Further, the associating unit 16 generates an audio flag that specifies the audio signal synchronized with the specific frame in association with the specified time code. Here, for example, when the “F5” key is pressed, an audio flag is generated and set.

リスト表示部１７は、指定部１５で指定されたフレーム及び指定されたフレームのメタデータを図３に示したリストウィンドウ２４に表示する。すなわち、リスト表示部１７は、指定部１５で所定範囲又は一時点のフレームが特定されると、特定されたフレームのフレームのINタイムコード、Outタイムコードをリストウィンドウ２４に表示する。また、リスト表示部１７は、特定されたフレームのメタデータをリストウィンドウ２４に表示する。すなわち、関連付け部１６では、操作部１６からの入力に応じて、スポッティングデータ、チャプタフラグ、オーディオフラグを生成する。リスト表示部１７は、これらのデータをリストウィンドウ２４に特定されたフレームのフレームのINタイムコード、Outタイムコードに関連付けて表示する。 The list display unit 17 displays the frame specified by the specifying unit 15 and the metadata of the specified frame in the list window 24 shown in FIG. That is, the list display unit 17 displays the IN time code and the Out time code of the frame of the specified frame on the list window 24 when the frame of the predetermined range or the temporary point is specified by the specifying unit 15. The list display unit 17 displays the metadata of the specified frame on the list window 24. That is, the associating unit 16 generates spotting data, chapter flags, and audio flags in accordance with the input from the operation unit 16. The list display unit 17 displays these data in association with the IN time code and Out time code of the frame specified in the list window 24.

また、リスト表示部１７は、リストウィンドウ２４のリストの一が操作部１６のマウス等で選択されたとき、再生部１３が選択されたINタイムコードから再生を開始するようにする。なお、図３では、リストウィンドウ２４のリスト表示されたものの最下段が選択された状態を示している。 Further, the list display unit 17 causes the playback unit 13 to start playback from the selected IN time code when one of the lists in the list window 24 is selected with the mouse of the operation unit 16 or the like. Note that FIG. 3 shows a state in which the bottom of the list window 24 displayed as a list is selected.

ところで、上述した映像表示部１４は、例えば操作部１６のマウスでプレビューウィンドウ２１上を右クリックされたとき、図４に示す詳細ダイアログのページを表示する。この詳細ダイアログのページは、現在表示している映像信号の一フレームを表示する詳細プレビューウィンドウ３１と、詳細プレビューウィンドウ３１において操作部６となっているマウスのカーソル下のグリッドを拡大表示するグリッド拡大ウィンドウ３２を有している。 By the way, the above-described video display unit 14 displays a page of the detailed dialog shown in FIG. 4 when the preview window 21 is right-clicked with the mouse of the operation unit 16, for example. This detailed dialog page includes a detailed preview window 31 that displays one frame of the currently displayed video signal, and a grid enlargement that displays a grid under the mouse cursor that is the operation unit 6 in the detailed preview window 31. A window 32 is provided.

詳細プレビューウィンドウ３１は、詳細ダイアログ内で映像信号のフレームに対する詳細情報を与えるために用いられるものであり、映像表示部１４は、グリッド表示のチェックボックス３１ａがチェックされたとき、グリッド３１ｄを表示する。例えば、このグリッド３１ｄは、２０ピクセル毎に区画されている。このサイズは、適宜設定データを変更することによって可変することができ、用途に応じて区画部３１ｂの大きさを決めることができる。グリッド３１ｄの各区画部３１ｂは、操作部６となっているマウスでクリックすることによって選択／非選択を切り換えることができる。指定部１５は、所定の区画部３１ｂが選択されると、その区画を太枠表示３１ｅをし、関連付け部１６は、詳細プレビューウィンドウ３１に表示されているフレームのタイムコードに関連付けた区画指定データを生成すると共にリスト表示部１７の表示に、区画指定マーク３１ｃを表示する。ここでは、リスト表示部１７は、リストウィンドウ２４の指定したフレームの重要度を示すスポッティングレベルに重畳して区画指定マーク３１ｃを表示する。 The detailed preview window 31 is used to give detailed information on the frame of the video signal in the detailed dialog, and the video display unit 14 displays the grid 31d when the grid display check box 31a is checked. . For example, the grid 31d is partitioned every 20 pixels. This size can be changed by appropriately changing the setting data, and the size of the partition portion 31b can be determined according to the application. Each partition 31b of the grid 31d can be switched between selection / non-selection by clicking with the mouse serving as the operation unit 6. When the predetermined section 31b is selected, the designation section 15 displays the section with a thick frame 31e, and the association section 16 associates the section designation data associated with the time code of the frame displayed in the detailed preview window 31. And a section designation mark 31c is displayed on the display of the list display unit 17. Here, the list display unit 17 displays the partition designation mark 31c superimposed on the spotting level indicating the importance of the frame designated in the list window 24.

また、詳細プレビューウィンドウ３１の上部には、選択された区画部３１ｂのポイント数が表示される。なお、図４の例では、指定ポイント数が３になっている。グリッド拡大ウィンドウ３２は、詳細プレビューウィンドウ３１において操作部６となっているマウスのカーソル下のグリッドを拡大表示するものであり、各区画部３１ｂの詳細を拡大して見ることができる。ユーザは、ノイズのある区画部３１ｂを選択状態にすることによって表示されているフレーム内におけるノイズ等の位置を特定することができる。 In the upper part of the detailed preview window 31, the number of points of the selected partition portion 31b is displayed. In the example of FIG. 4, the number of designated points is 3. The grid enlargement window 32 enlarges and displays the grid under the cursor of the mouse that is the operation unit 6 in the detailed preview window 31, and the details of each partition 31b can be enlarged and viewed. The user can specify the position of noise or the like in the displayed frame by setting the noisy partition portion 31b to the selected state.

このグリッド３１ｄを構成する各区画部３１ｂの選択／非選択は、例えばフレームに存在するノイズの位置を特定するのに有用である。フレームに存在するノイズは、明るさ、色等がことなり、種類によっては、特定しづらいものもある。そこで、更に詳細プレビューウィンドウ３１では、表示されているフレームのネガ反転を、ネガ反転チェックボタン３３をチェックすることによって行うことができる。ここでは、映像表示部１４が詳細プレビューウィンドウ３１に表示されているフレームのネガ反転処理を行う。また、詳細プレビューウィンドウ３１では、コントラスト調整バー３４によってコントラストの変更を行うことができる。ここでは、映像表示部１４が詳細プレビューウィンドウ３１に表示されているフレームのコントラストの調整処理を行う。以上のようなネガ反転処理やコントラスト調整処理によって、ユーザは、よりフレーム内に存在するノイズを発見しやすくすることができる。 The selection / non-selection of each partition 31b constituting the grid 31d is useful for specifying the position of noise present in the frame, for example. The noise present in the frame is different in brightness, color, etc., and depending on the type, it is difficult to specify. Therefore, in the detailed preview window 31, negative reversal of the displayed frame can be performed by checking the negative reversal check button 33. Here, the video display unit 14 performs negative inversion processing of the frame displayed in the detailed preview window 31. In the detailed preview window 31, the contrast can be changed by the contrast adjustment bar 34. Here, the video display unit 14 performs a process of adjusting the contrast of the frame displayed in the detailed preview window 31. By the negative inversion process and the contrast adjustment process as described above, the user can more easily find noise existing in the frame.

なお、グリッド初期化ボタン３５を押すと選択グリッド情報をリセットすることができる。 Note that when the grid initialization button 35 is pressed, the selected grid information can be reset.

この図４に示す詳細ダイアログのページでは、図３のメインダイアログのページのように、ユーザが指定した映像信号の特定フレームに関連する情報を表示するリストウィンドウ２４が表示されていない。そこで、図４に示す詳細ダイアログのページでは、詳細プレビューウィンドウ３１に現在表示されているフレームに、そのフレームのタイムコードと関連付けたスポッティングデータを設定できるように、スポッティングレベル「高」の「High」ボタン３６、スポッティングレベル「中」の「Midium」ボタン３７、スポッティングレベル「低」の「Low」ボタン３８が設けられている。また、既に、リストウィンドウ２４にリストとして挙げられているフレームのときには、そのフレームのスポッティングレベルのボタンに「既定」と表示される。 In the detailed dialog page shown in FIG. 4, the list window 24 for displaying information related to the specific frame of the video signal designated by the user is not displayed unlike the main dialog page in FIG. Therefore, in the page of the detailed dialog shown in FIG. 4, the spotting level “High” “High” is set so that the spotting data associated with the time code of the frame can be set in the frame currently displayed in the detailed preview window 31. A button 36, a “medium” button 37 having a spotting level “medium”, and a “low” button 38 having a spotting level “low” are provided. When a frame is already listed in the list window 24, “default” is displayed on the spotting level button of the frame.

既に設定されているスポッティングレベルをキャンセルするキャンセルボタン３９が設けられている。更に、詳細ダイアログのページ内において、詳細プレビューウィンドウ３１に表示されているフレームを順方向にコマ送りするための進むボタン４０と逆方向にコマ送りするための戻るボタン４１が設けられている。これにより、再生速度変更部１３ａは、ボタン４０，４１に従った速度変更信号を再生部１３に入力し、再生部１３は、速度変更信号に応じた映像を、詳細プレビューウィンドウ３１に表示する。これにより、フレーム内におけるノイズ等を見つけ出す作業を図４に示す詳細ダイアログのページ内で容易に行うことができる。 A cancel button 39 for canceling the already set spotting level is provided. Further, in the page of the detailed dialog, a forward button 40 for frame-forwarding the frame displayed in the detailed preview window 31 and a back button 41 for frame-forwarding in the reverse direction are provided. As a result, the playback speed changing unit 13 a inputs a speed change signal according to the buttons 40 and 41 to the playback unit 13, and the playback unit 13 displays the video corresponding to the speed change signal on the detailed preview window 31. This makes it possible to easily find out noise or the like in the frame within the details dialog page shown in FIG.

以上のような機能を実行するプログラムがインストールされたデータ処理装置１では、図２に示すように、出力データ生成部１８より出力データが生成され、出力データが出力端子１９に接続されたディスクドライブ８の光ディスク等の記録媒体やハードディスク２や通信Ｉ／Ｆ９を介した外部コンピュータの記憶部に保存される。出力データ生成部１８で生成される出力データは、具体的に、図３のメインダイアログのページのリストウィンドウ２４に表示されたタイムコードとメタデータとを関連付けた関連付けデータである。すなわち、出力データ生成部１８は、特定されたフレームのフレームのINタイムコード、Outタイムコードに関連付けたスポッティングデータ、チャプタフラグ、オーディオフラグ、区画指定データを含む出力データを、ＣＳＶ（Comma Separated Value）形式、ＰＤＦ（Portable Document Format）形式、ＥＤＬ（Edit Decision List）形式等の二次利用可能な簡易なファイル形式で生成する。更に、画像データを取り扱うことができる保存形式、例えばＰＤＦ形式では、指定されたフレームの代表画像を表示し、この代表画像に関連付けてテキスト形式でINタイムコード、Outタイムコードに関連付けたスポッティングデータ、チャプタフラグ、オーディオフラグ、区画指定データ等の関連付けデータを保存するようにしても良い。チェックの対象となっているコンテンツデータは、映画制作者と依頼者とが既に所有していることから、この出力データは、コンテンツデータそのものは含まれてない小さいサイズのデータとすることができ、取り扱いを容易にすることができる。 In the data processing apparatus 1 in which the program for executing the functions as described above is installed, as shown in FIG. 2, the output data is generated from the output data generation unit 18 and the output data is connected to the output terminal 19. 8 is stored in a storage unit of an external computer via the recording medium such as the optical disk 8, the hard disk 2, or the communication I / F 9. The output data generated by the output data generation unit 18 is specifically association data in which the time code displayed in the list window 24 on the page of the main dialog in FIG. 3 is associated with the metadata. That is, the output data generation unit 18 generates CSV (Comma Separated Value) output data including spotting data, chapter flags, audio flags, and partition designation data associated with the IN time code and Out time code of the specified frame. Format, PDF (Portable Document Format) format, EDL (Edit Decision List) format and other simple file formats that can be used secondarily. Further, in a storage format that can handle image data, for example, in the PDF format, a representative image of a designated frame is displayed, and spotting data associated with IN time code and Out time code in text format in association with the representative image, You may make it preserve | save association data, such as a chapter flag, an audio flag, and division designation data. Since the content data being checked is already owned by the filmmaker and the client, this output data can be small data that does not include the content data itself, Handling can be facilitated.

このような出力データは、コンテンツデータの所有者である依頼者と映像制作会社とで共有することによって、ディジタルのコンテンツデータのノイズ等のチェック作業を容易にすることができる。例えば、以上のように説明したプログラムを、依頼者のコンピュータと映画制作者のコンピュータとにインストールする。そして、依頼者のコンピュータにおいて、コンテンツデータの再生を行ってノイズ等のチェック作業を行い、出力データを生成する。そして、この出力データを、光ディスク等の可搬性の記録媒体やネットワークを介して映画制作者のコンピュータにも供給する。そして、映画制作者のコンピュータで、依頼者からの出力データを読み込んで、コンテンツデータと合わせて再生する。これによって、依頼者と映画制作者とで同じデータを共有することができ、両者でチャプタの開始位置やノイズ除去が必要なフレームの特定を容易に行うことができるようになる。 By sharing such output data between the client who is the owner of the content data and the video production company, it is possible to easily check the noise of the digital content data. For example, the program described above is installed on the requester's computer and the movie producer's computer. Then, in the client computer, the content data is reproduced to check for noise and the like, and output data is generated. Then, the output data is also supplied to a movie producer's computer via a portable recording medium such as an optical disk or a network. Then, the output data from the client is read by the movie producer's computer and reproduced together with the content data. As a result, the client and the movie producer can share the same data, and both can easily specify the start position of the chapter and the frame that needs noise removal.

なお、以上、コンピュータ等でなるデータ処理装置に本発明の機能を実行するコンピュータプログラムをインストールして行う例を説明したが、本発明の機能は、ハードウェアによっても実現可能である。 Although an example has been described above in which a computer program for executing the functions of the present invention is installed in a data processing apparatus such as a computer, the functions of the present invention can also be realized by hardware.

データ処理装置のブロック図である。It is a block diagram of a data processor. データ処理装置にインストールされるコンピュータプログラムの機能ブロック図である。It is a functional block diagram of the computer program installed in a data processor. メインダイアログのページを示す図である。It is a figure which shows the page of a main dialog. 詳細ダイアログのページを示す図である。It is a figure which shows the page of a detail dialog.

Explanation of symbols

１データ処理装置、１１入力端子、１２暗号復号部、１３再生部、１３ａ再生速度変更部、１４映像表示部、１５指定部、１６関連付け部。１７リスト表示部、１８出力データ生成部、１９出力端子、２１プレビューウィンドウ、２１ａ再生バー、２１ｂコマ送りボタン、２１ｃ音量つまみ、２１ｄ再生時間、２２インフォメーションウィンドウ、２３タイムコードウィンドウ、２４リストウィンドウ、２５コメントウィンドウ、２６フィルタウィンドウ、３１詳細プレビューウィンドウ、３１ａチェックボックス、３１ｂ区画部、３１ｃ区画指定マーク、３１ｄグリッド、３１ｅ太枠表示 DESCRIPTION OF SYMBOLS 1 Data processing apparatus, 11 Input terminal, 12 Encryption / decryption part, 13 Playback part, 13a Playback speed change part, 14 Video display part, 15 Designation part, 16 Association part 17 List display section, 18 Output data generation section, 19 Output terminal, 21 Preview window, 21a Playback bar, 21b Frame advance button, 21c Volume knob, 21d Playback time, 22 Information window, 23 Time code window, 24 List window, 25 Comment window, 26 filter window, 31 detailed preview window, 31a check box, 31b section, 31c section designation mark, 31d grid, 31e thick frame display

Claims

An input means for receiving an input video signal including a video signal composed of a plurality of frames and a time code associated with the video signal;
Reproduction means for reproducing the input video signal input from the input means;
Video display means for displaying the video signal and time code of the input video signal being played back by the playback means;
Designating means for designating a specific frame in the video signal displayed on the video display means and generating metadata of the designated specific frame;
An associating means for associating the time code of the specific frame specified by the specifying means with the metadata of the specific frame;
A data processing apparatus comprising: a list display means for displaying a list of association data associated with the time code of the specific frame and the metadata of the specific frame.

2. The data processing according to claim 1, further comprising output data generation means for generating and outputting output data including association data associated with the time code of the specific frame and the metadata of the specific frame. apparatus.

3. The data processing apparatus according to claim 2, wherein the output data is in an EDL (Edit Decision List) format.

The video display means displays the video signal reproduced by the reproduction means on a grid,
The designation means designates one or a plurality of compartments constituting the grid, generates compartment designation data serving as the metadata,
2. The data processing apparatus according to claim 1, wherein the associating means generates associating data associating the time code of the specific frame with the section designation data.

5. The data processing apparatus according to claim 4, wherein the video display means varies the size of the partition section.

2. The data processing apparatus according to claim 1, further comprising reproduction speed changing means for changing a reproduction speed of the video signal in the reproduction means.

The designation means generates chapter flag data for specifying a chapter start position in the video signal serving as the metadata,
2. The data processing apparatus according to claim 1, wherein the associating means generates associating data associating the time code of the specific frame with the chapter flag data.

The designation means generates importance data indicating the importance of the specific frame serving as the metadata,
2. The data processing apparatus according to claim 1, wherein the associating means generates associating data associating the time code of the specific frame with the importance data.

The input video signal further includes an audio signal associated with the video signal by the time code,
The designation means generates voice flag data for designating a specific voice signal as the metadata,
2. The data processing apparatus according to claim 1, wherein the associating means generates associating data associating a time code of the specific audio signal with audio flag data.

The input video signal is encrypted,
2. The data processing apparatus according to claim 1, further comprising an encryption / decryption unit that decrypts the encryption of the input video signal before the reproducing unit.

A step of playing back an input video signal including a video signal composed of a plurality of frames and a time code associated with the video signal by a playback means;
Displaying on the display means the video signal and time code of the input video signal being played back by the playback means;
Designating a specific frame in the video signal displayed on the display means, and generating metadata of the designated specific frame by the designation means;
Associating the time code of the specific frame specified by the specifying means with the metadata of the specific frame by the associating means;
A data processing method comprising: displaying a list of association data associated with the time code of the specific frame and the metadata of the specific frame on the display means.

On the computer,
A step of playing back an input video signal including a video signal composed of a plurality of frames and a time code associated with the video signal by a playback means;
Displaying on the display means the video signal and time code of the input video signal being played back by the playback means;
Designating a specific frame in the video signal displayed on the display means, and generating metadata of the designated specific frame by the designation means;
Associating the time code of the specific frame specified by the specifying means with the metadata of the specific frame by the associating means;
And a step of displaying a list of association data associated with the time code of the specific frame and the metadata of the specific frame on the display means.