JP2005222329A - Metadata granting apparatus, metadata granting method, and metadata granting program - Google Patents
Metadata granting apparatus, metadata granting method, and metadata granting program Download PDFInfo
- Publication number
- JP2005222329A JP2005222329A JP2004029791A JP2004029791A JP2005222329A JP 2005222329 A JP2005222329 A JP 2005222329A JP 2004029791 A JP2004029791 A JP 2004029791A JP 2004029791 A JP2004029791 A JP 2004029791A JP 2005222329 A JP2005222329 A JP 2005222329A
- Authority
- JP
- Japan
- Prior art keywords
- metadata
- input
- time code
- key
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
【課題】 動画データの各シーンにきめ細かくメタデータを付与し得るメタデータ付与装置、メタデータ付与方法およびメタデータ付与プログラムを提供する。
【解決手段】 メタデータ付与装置１０は、動画データを入力し、映像表示部３に表示する（ステップＳ１０）。利用者は、この表示された動画データを見ながら、メタデータ入力部２を介してキー入力を行うと、メタデータ付与装置１０は、入力キーを検知するので、入力キーを検知したときの動画データのタイムコードを取得し（ステップＳ２０，Ｓ３０）。入力された入力キーと動画データのタイムコードを関連づける（ステップＳ４０）。
メタデータ付与が終了すると、入力された入力キーと動画データのタイムコードを関連づけたタイムコード付きメタデータをメタデータ記憶部５４に登録する（ステップＳ６０）
【選択図】 図５PROBLEM TO BE SOLVED: To provide a metadata providing apparatus, a metadata providing method, and a metadata providing program capable of finely assigning metadata to each scene of moving image data.
A metadata providing apparatus 10 inputs moving image data and displays it on a video display unit 3 (step S10). When the user performs key input via the metadata input unit 2 while watching the displayed moving image data, the metadata providing apparatus 10 detects the input key, so that the moving image when the input key is detected is detected. The data time code is acquired (steps S20 and S30). The inputted input key is associated with the time code of the moving image data (step S40).
When the addition of metadata ends, the metadata with time code that associates the input key with the time code of the video data is registered in the metadata storage unit 54 (step S60).
[Selection] Figure 5
Description
本発明は、動画データにメタデータを付与するメタデータ付与装置、メタデータ付与方法およびメタデータ付与プログラムに関する。 The present invention relates to a metadata grant apparatus, a metadata grant method, and a metadata grant program that grant metadata to moving image data.
ブロードバンドの普及に伴い様々なコンテンツ配信サービスが開始されている。その結果、大量のコンテンツが流通する一方、大量のコンテンツの中から利用者が求めるコンテンツが探しにくくなっているという問題が起きている。 Various content distribution services have been started with the spread of broadband. As a result, while a large amount of content is distributed, there is a problem that it is difficult to find the content that the user wants out of the large amount of content.
特に、映像コンテンツに関しては、全体を概観しにくく客観的にその内容を少数の単純なテキスト情報では表現しきれないという性質を有するので、キーワードやジャンルによる従来のコンテンツ検索では、不十分である。 In particular, with regard to video content, it is difficult to view the whole content and the content cannot be expressed objectively with a small number of simple text information, so conventional content search using keywords and genres is insufficient.
これに対して、コンテンツのメタデータを利用した検索システムが構築されており、映像コンテンツに対しては従来のキーワードやジャンルによる検索に加えて、シーン検索を可能とし、利用者が求めるコンテンツを迅速かつ容易に探し出せるようになっている。 On the other hand, a search system using content metadata has been built, and in addition to the conventional search by keyword or genre for video content, scene search is possible and the content requested by the user can be quickly retrieved. And it can be easily found.
尚、この出願に関連する先行技術文献情報としては、次のものがある。
上述したシーン検索を可能とするには、シーンごとにメタデータを付与することが不可欠であるが、メタデータの付与にはシーン作成後、各シーンに対してテキスト情報を手入力しなければならないため、手間がかかり、各シーンに対してきめ細かくメタデータを付与することが従来においては困難であるという課題がある。 In order to enable the scene search described above, it is indispensable to add metadata for each scene. However, to add metadata, text information must be manually input to each scene after the scene is created. For this reason, there is a problem that it takes time and it is difficult in the prior art to add detailed metadata to each scene.
本発明は、上記の課題を解決するためになされたものであり、動画データの各シーンにきめ細かくメタデータを付与し得るメタデータ付与装置、メタデータ付与方法およびメタデータ付与プログラムを提供することを目的とする。 The present invention has been made to solve the above-described problems, and provides a metadata providing apparatus, a metadata providing method, and a metadata providing program capable of finely assigning metadata to each scene of moving image data. Objective.
上記目的を達成するため、請求項１記載の本発明は、動画データにメタデータを付与するメタデータ付与装置であって、前記動画データをシーン分割した各シーンをタイムコードと対応付けたシーンデータを記憶するシーンデータ記憶手段と、前記メタデータを入力するメタデータ入力手段と、前記メタデータが入力されたときの前記動画データのタイムコードと入力されたメタデータとを対応づけて、タイムコード付きメタデータを作成するメタデータ対応付け手段と、前記タイムコード付きメタデータを記憶するメタデータ記憶手段と、を有することを特徴とする。 In order to achieve the above object, the present invention according to claim 1 is a metadata adding apparatus for adding metadata to moving image data, wherein each scene obtained by dividing the moving image data into scenes is associated with a time code. The time data of the moving image data when the metadata is input and the input metadata, the scene data storage means for storing the metadata, the metadata input means for inputting the metadata, and the time code And metadata association means for creating attached metadata and metadata storage means for storing the metadata with time code.
請求項２記載の本発明は、請求項１記載の発明において、前記メタデータ入力手段は、それぞれ異なるメタデータ内容を各キーに割り当てられたキー入力装置からのキー入力によりメタデータを入力することを特徴とする。 According to a second aspect of the present invention, in the first aspect of the invention, the metadata input means inputs the metadata by key input from a key input device in which different metadata contents are assigned to each key. It is characterized by.
請求項３記載の本発明は、請求項１又は２記載の発明において、前記メタデータ対応付け手段は、所定の時間間隔以内に複数のメタデータが入力された場合には、この複数のメタデータそれぞれに同一のタイムコードを対応付けることを特徴とする。 According to a third aspect of the present invention, in the first or second aspect of the present invention, the metadata association unit, when a plurality of metadata is input within a predetermined time interval, Each is associated with the same time code.
請求項４記載の本発明は、請求項１乃至３のいずれか１項に記載の発明において、前記メタデータ対応付け手段は、所定の時間間隔以内に同一のメタデータ内容を有する複数のメタデータが入力された場合には、最初に入力されたメタデータのタイムコードから最後に入力されたメタデータのタイムコードまでの時間幅を有するタイムコード付きメタデータを作成することを特徴とする。
The present invention according to
請求項５記載の本発明は、動画データにメタデータを付与するメタデータ付与方法であって、前記動画データをシーン分割した各シーンをタイムコードと対応付けたシーンデータを記憶するシーンデータ記憶ステップと、前記メタデータを入力するメタデータ入力ステップと、前記メタデータが入力されたときの前記動画データのタイムコードと入力されたメタデータとを対応づけて、タイムコード付きメタデータを作成するメタデータ対応付けステップと、前記タイムコード付きメタデータを記憶するメタデータ記憶ステップと、
を有することを特徴とする。
The present invention according to
It is characterized by having.
請求項６記載の本発明は、動画データにメタデータを付与するためのコンピュータが読み取り可能なメタデータ付与プログラムであって、前記動画データをシーン分割した各シーンをタイムコードと対応付けたシーンデータを記憶するシーンデータ記憶ステップと、前記メタデータを入力するメタデータ入力ステップと、前記メタデータが入力されたときの前記動画データのタイムコードと入力されたメタデータとを対応づけて、タイムコード付きメタデータを作成するメタデータ対応付けステップと、前記タイムコード付きメタデータをメタデータ記憶手段に記憶するメタデータ記憶ステップと、を前記コンピュータに実行させることを特徴とする。 The present invention according to claim 6 is a computer-readable metadata adding program for adding metadata to moving image data, wherein each scene obtained by dividing the moving image data into scenes is associated with a time code. A scene data storage step for storing the metadata, a metadata input step for inputting the metadata, a time code of the video data when the metadata is input, and the input metadata, The computer is caused to execute a metadata associating step for creating attached metadata and a metadata storing step for storing the metadata with time code in metadata storing means.
請求項７記載の本発明は、請求項６記載の発明において、前記メタデータ入力ステップは、それぞれ異なるメタデータ内容を各キーに割り当てられたキー入力装置からのキー入力によりメタデータを入力することを特徴とする。 According to a seventh aspect of the present invention, in the sixth aspect of the present invention, the metadata input step inputs the metadata by key input from a key input device in which different metadata contents are assigned to each key. It is characterized by.
請求項８記載の本発明は、請求項６又は７記載の発明において、前記メタデータ対応付けステップは、所定の時間間隔以内に複数のメタデータが入力された場合には、この複数のメタデータそれぞれに同一のタイムコードを対応付けることを特徴とする。 The invention according to claim 8 is the invention according to claim 6 or 7, wherein in the metadata association step, when a plurality of metadata is inputted within a predetermined time interval, the plurality of metadata Each is associated with the same time code.
請求項９記載の本発明は、請求項６乃至８のいずれか１項に記載の発明において、前記メタデータ対応付けステップは、所定の時間間隔以内に同一のメタデータ内容を有する複数のメタデータが入力された場合には、最初に入力されたメタデータのタイムコードから最後に入力されたメタデータのタイムコードまでの時間幅を有するタイムコード付きメタデータを作成することを特徴とする。 The present invention according to claim 9 is the invention according to any one of claims 6 to 8, wherein the metadata association step includes a plurality of metadata having the same metadata contents within a predetermined time interval. Is input, the time-coded metadata having a time width from the time code of the first input metadata to the time code of the last input metadata is created.
本発明によれば、動画データのタイムコードとメタデータを対応付けて保持するので、動画データの各シーンに対してきめ細かくメタデータを付与することができる。 According to the present invention, since the time code of the moving image data and the metadata are stored in association with each other, the metadata can be finely assigned to each scene of the moving image data.
この結果、利用者は映像コンテンツをよりきめ細かく検索することができるので、所望の映像コンテンツを容易に探し出すことができる。 As a result, the user can search for the video content more finely, and can easily find the desired video content.
以下、本発明の実施の形態を図面を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図１は、本発明の実施の形態に係るメタデータ付与装置１０の概略構成図である。図１に示すメタデータ付与装置１０は、映像入力部１、メタデータ入力部２、映像表示部３、映像制御部４、およびデータ記憶部５を有する構成となっている。
FIG. 1 is a schematic configuration diagram of a
映像入力部１は、動画データを入力するもので、例えば、映像コンテンツを受信する映像受信装置（ＴＶチューナ、ＳＴＢなど）や映像コンテンツを再生する映像再生装置（ＤＶＤプレーヤなど）が該当する。 The video input unit 1 inputs moving image data, and corresponds to, for example, a video receiving device (TV tuner, STB, etc.) that receives video content and a video playback device (DVD player, etc.) that plays back video content.
メタデータ入力部２は、動画データに対するメタデータを入力するもので、例えば、図２（ａ）に示すようなキー入力装置２１からメタデータが入力されるようになっている。ここで、図２（ａ）は、人物が登場する映像コンテンツに対するメタデータ入力を想定しており、例えば、人物名、人物の画像位置、人物の表情、人物の姿勢、人物の向き、人物の動きをメタデータとして対応する各キーを押下することにより入力するようになっている。勿論、上述したメタデータの項目は、人物が登場する映像コンテンツに対する一具体例であり、他の項目を設定してもよく（客観的な項目が望ましい）、また、映像コンテンツに登場する対象物は、特に人物に限定されるものではなく、動物、乗り物など動きがある対象物であれば何であってもよいが、以下においては、人物が登場する映像コンテンツに対するメタデータ（人物名、人物の画像位置、人物の表情、人物の姿勢、人物の向き、人物の動き）入力を具体例として説明する。尚、メタデータ入力部２は、図２（ｂ）に示すように通常のキーボード２２の各キーにそれぞれ異なるメタデータの内容を割り当てるようにしてもよい。
The
映像表示部３は、動画データを表示するものであり、利用者がこれを視聴しながら動画データにメタデータを入力するようになっている。尚、映像表示部３は、例えば、メタデータとして人物の画像位置を採用した場合には、図１に示すように所定の数に分割設定された映像コンテンツを表示して、メタデータ入力を支援するようにしてもよい。
The
映像制御部４は、ＣＰＵ、メモリ等から構成され、映像入力部１、メタデータ入力部２、映像表示部３およびデータ記憶部５の制御や、データの転送、種々の演算、データの一時的な格納等を行うことにより、入力された動画データのタイムコードに、入力されたメタデータを関連付けて、関連付けられたメタデータ（以下、タイムコード付きメタデータという）をデータ記憶部５に出力するようになっている。
The
尚、本実施の形態においては、動画データを所定の方法でシーン分割した後にメタデータを付与してよいし、また、メタデータを付与後、動画データを所定の方法でシーン分割してもよいものである。 In the present embodiment, the metadata may be assigned after the moving image data is divided into scenes by a predetermined method, or the moving image data may be divided into scenes by a predetermined method after the metadata is added. Is.
また、映像制御部４は、上述したように映像表示部３の画面を所定の数に分割設定したり（図１においては９分割）、サムネイル画像を生成したりする機能を有している。
Further, the
データ記憶部５は、動画データおよびメタデータを記憶するもので、より詳しくは、入力された動画データを記憶するコンテンツ記憶部５１、動画データの各シーンをタイムコードで管理しているシーンデータを記憶するシーンデータ記憶部５２、キー入力装置２１の各キーに割り当てられたキーデータの内容を記憶するキーデータ記憶部５３、映像制御部４で作成されたタイムコード付きメタデータを記憶するメタデータ記憶部５４、および動画データの各シーンのサムネイルを記憶するサムネイル記憶部５５を備えている。
The
ここで、シーンデータ記憶部５２は、具体的には、図３（ａ）に示すように、シーンＩＤ（シーンを一意に決定する識別情報）、タイムコードＩＮ点、タイムコードＯＵＴ点を具備するデータ構成となっている。
Here, as shown in FIG. 3A, the scene
また、キーデータ記憶部５３は、具体的には、図３（ｂ）に示すように、キーデータ、メタデータ項目（人物名、人物の画像位置、人物の表情、人物の姿勢、人物の向き、人物の動き）、メタデータ内容を具備するデータ構成となっている。
Further, as shown in FIG. 3B, the key
また、メタデータ記憶部５４は、動画データのタイムコードと入力されたキーデータを関連付けて管理するようになっており、具体的には、図３（ｃ）に示すように、キーＩＤ（メタデータを一意に決定する識別情報）、タイムコードＩＮ、タイムコードＯＵＴ、キーデータを具備する構成である。
Further, the
尚、シーンデータ記憶部５２およびメタデータ記憶部５４の各データを関連づけることで、メタデータは、タイムコードとともにシーンとも関連づけられるようになっている。図４は、このことを示しており、シーン分割された動画データの各シーンＡ，…，Ｊに対してメタデータｍ１，…，ｍ１４をそれぞれ入力した例を示している。ここで、メタデータは動画データのタイムコードと関連付けて記憶されているため、１シーンに１メタデータというように限定されることはなく、より柔軟にメタデータを付与することができるようになっている。
Incidentally, by associating the data in the scene
次に、本実施の形態に係るメタデータ付与装置１０におけるメタデータ付与の動作を図５乃至図７を用いて説明する。ここで、図５は、動画データのタイムコードと入力されたメタデータを１対１に対応させてメタデータを付与する場合の動作を示すフローチャートであり、図６は、動画データの同一タイムコードと入力されたメタデータを１対ｎに対応させてメタデータを付与する場合の動作を示すフローチャートであり、図７は、同一内容のメタデータが連続的に入力された場合の動作を示すフローチャートである。
Next, the operation of providing metadata in the
まず、動画データのタイムコードと入力されたメタデータを１対１に対応させてメタデータを付与する場合の動作について説明する。これは、メタデータ付与装置１０のメタデータ付与に関する基本的機能を説明するものである。
First, the operation in the case of assigning metadata by associating the time code of moving image data with the input metadata on a one-to-one basis will be described. This explains a basic function related to metadata assignment of the
利用者は、メタデータ付与装置１０に対して動画データの入力開始を指示すると、メタデータ付与装置１０は、動画データを入力し、映像表示部３に表示する（ステップＳ１０）。そして、利用者は、この表示された動画データを見ながら、メタデータ入力部２を介してキー入力を行う。これにより、メタデータ付与装置１０は、入力キーを検知するので、入力キーを検知したときの動画データのタイムコード（動画データに埋め込まれている）を取得する（ステップＳ２０，Ｓ３０）。次に、メタデータ付与装置１０は、入力された入力キーと動画データのタイムコードを関連づける（ステップＳ４０）。
When the user instructs the
利用者がキー入力によりメタデータを付与し続ける限り、メタデータ付与装置１０は、上述した入力キーの検知（ステップＳ２０）、動画データのタイムコード取得（ステップＳ３０）、入力キーとタイムコードの関連付け（ステップＳ４０）の動作を繰り返す（ステップＳ５０）。そして、利用者がメタデータの入力終了の指示を出すと、メタデータ付与装置１０は、入力された入力キーと動画データのタイムコードを関連づけたタイムコード付きメタデータすべてをメタデータ記憶部５４に登録する（ステップＳ６０）。尚、図５に示すメタデータ付与方法においては、タイムコードＩＮだけにタイムコードが設定されるタイムコード付きメタデータが作成される。
As long as the user continues to provide metadata by key input, the
最後に、利用者は、メタデータ付与装置１０に対して動画データの入力終了を指示すると、メタデータ付与装置１０は、動画データを入力を終了させ、処理は終了する（ステップＳ７０）。尚、タイムコード付きメタデータのメタデータ記憶部５４への登録は、上述したように入力終了の指示とともにまとめて登録する他、入力キーとタイムコードを関連付けるたびに、随時登録してもよい。
Finally, when the user instructs the
図８は、図５に示したメタデータ付与の動作の具体例を挙げたものであるが、図８（ａ）のように入力されたメタデータに対しては、図８（ｂ）に示すようなタイムコード付きメタデータが作成され、メタデータ記憶部５４に登録されるものである。
FIG. 8 shows a specific example of the operation of adding metadata shown in FIG. 5, but the metadata input as shown in FIG. 8 (a) is shown in FIG. 8 (b). Such metadata with time code is created and registered in the
従って、本実施の形態に係るメタデータ付与装置１０によれば、それぞれ異なるメタデータ内容を各キーに割り当てられたキー入力装置２１からのキー入力によりメタデータを入力して、動画データのタイムコードと入力されたメタデータを対応付けてタイムコード付きメタデータとして保持するので、リアルタイムかつ簡易なメタデータ入力を実現するとともに動画データの各シーンに対してきめ細かくメタデータを付与することができる。
Therefore, according to the
次に、動画データの同一タイムコードと入力されたメタデータを１対ｎに対応させてメタデータを付与する場合の動作を説明する。これは、図５に示すメタデータ付与の基本的機能にオプション機能として付加されたものであり、短時間（予め決められた閾値）内に複数のメタデータを入力する場合には、メタデータが入力された各時点のタイムコードがそれぞれ与えられるではなく、それぞれのメタデータに対して同一のタイムコードが与えられるというものである。 Next, the operation in the case of assigning metadata by associating the same time code of moving image data with input metadata in a one-to-n correspondence will be described. This is added as an optional function to the basic function of adding metadata shown in FIG. 5, and when a plurality of metadata are input within a short time (predetermined threshold), the metadata is The input time code at each time point is not given, but the same time code is given to each metadata.
利用者は、メタデータ付与装置１０に対して動画データの入力開始を指示すると、メタデータ付与装置１０は、動画データを入力し、映像表示部３に表示する（ステップＳ１１０）。そして、利用者は、この表示された動画データを見ながら、メタデータ入力部２を介してキー入力を行う。これにより、メタデータ付与装置１０は、入力キーを検知するので、入力キーを検知したときの動画データのタイムコード（動画データに埋め込まれている）を取得する（ステップＳ１２０，Ｓ１３０）。
When the user instructs the
次に、メタデータ付与装置１０は、後述する方法で設定された前タイムコードを取得し、取得した動画データのタイムコードと前タイムコードの時間差が予め設定された閾値より大きいか否かを判断する（ステップＳ１４０，Ｓ１５０）。
Next, the
タイムコードと前タイムコードの時間差が予め設定された閾値より大きい場合には、取得したタイムコードを採用し、該タイムコードを前タイムコードに設定する（ステップＳ１６０）。そして、入力された入力キーと動画データのタイムコードを関連づける（ステップＳ１８０）。 If the time difference between the time code and the previous time code is larger than a preset threshold, the acquired time code is adopted and the time code is set as the previous time code (step S160). Then, the input key and the time code of the moving image data are associated (step S180).
これに対して、タイムコードと前タイムコードの時間差が予め設定された閾値以下の場合には、前タイムコードをタイムコードとして設定し、入力された入力キーと動画データのタイムコード（前タイムコード）を関連づける（ステップＳ１７０，Ｓ１８０）。 On the other hand, if the time difference between the time code and the previous time code is less than or equal to a preset threshold, the previous time code is set as the time code, and the input key and the time code of the video data (previous time code) are set. ) Are associated (steps S170 and S180).
利用者がキー入力によりメタデータを付与し続ける限り、メタデータ付与装置１０は、上述したステップＳ１２０からステップＳ１８０までの動作を繰り返す（ステップＳ１９０）。そして、利用者がメタデータの入力終了の指示を出すと、メタデータ付与装置１０は、入力された入力キーと動画データのタイムコードを関連づけたタイムコード付きメタデータすべてをメタデータ記憶部５４に登録する（ステップＳ２００）。尚、図６に示すメタデータ付与方法においては、タイムコードＩＮだけにタイムコードが設定されるタイムコード付きメタデータが作成される。
As long as the user continues to provide metadata by key input, the
最後に、利用者は、メタデータ付与装置１０に対して動画データの入力終了を指示すると、メタデータ付与装置１０は、動画データの入力を終了させ、処理は終了する（ステップＳ２１０）。尚、タイムコード付きメタデータのメタデータ記憶部５４への登録は、上述したように入力終了の指示とともにまとめて登録する他、入力キーとタイムコードを関連付けるたびに、随時登録してもよい。
Finally, when the user instructs the
図９は、図６に示したメタデータ付与の動作の具体例を挙げたものであるが、図９（ａ）のように入力されたメタデータに対しては、図９（ｂ）に示すようなタイムコード付きメタデータが作成され、メタデータ記憶部５４に登録されるものである。ここで、キーＰ、キー４、キー５およびキーＰは、それぞれメタデータが入力された際の動画データのタイムコードは異なっているが、閾値（図９においては２ｓｅｃ）以内にあるので、キーＰ、キー４、キー５およびキーＰのタイムコードはすべて同一となっている。
FIG. 9 shows a specific example of the operation of adding metadata shown in FIG. 6, but the metadata input as shown in FIG. 9 (a) is shown in FIG. 9 (b). Such metadata with time code is created and registered in the
従って、本実施の形態に係るメタデータ付与装置１０によれば、基本的機能による効果に加えて、予め決められた閾値の時間内に複数のメタデータを入力しても、それぞれのメタデータに対して同一のタイムコードを与えることができるので、複数の異なるメタデータを同時に入力したつもりだが微妙な時間差を生じて入力してしまった場合であってもタイムコードを補正して、同一タイムコードのメタデータとして管理することができる。
Therefore, according to the
次に、同一内容のメタデータが連続的に入力された場合の動作を説明する。これは、図５に示すメタデータ付与の基本的機能にオプション機能として付加されたものであり、短時間（予め決められた閾値）内に同一内容のメタデータを続けて入力した場合には、同一メタデータが連続しているとみてメタデータ１つに対して時間幅を有するタイムコードを与えるというものである。 Next, an operation when metadata having the same content is continuously input will be described. This is added as an optional function to the basic function of giving metadata shown in FIG. 5, and when the same content metadata is continuously input within a short time (predetermined threshold), Assuming that the same metadata is continuous, a time code having a time width is given to one piece of metadata.
利用者は、メタデータ付与装置１０に対して動画データの入力開始を指示すると、メタデータ付与装置１０は、動画データを入力し、映像表示部３に表示する（ステップＳ３１０）。そして、利用者は、この表示された動画データを見ながら、メタデータ入力部２を介してキー入力を行う。これにより、メタデータ付与装置１０は、入力キーを検知するので、入力キーを検知したときの動画データのタイムコード（動画データに埋め込まれている）を取得する（ステップＳ３２０，Ｓ３３０）。
When the user instructs the
次に、メタデータ付与装置１０は、後述する方法で設定された同一のメタデータ内容を有する入力キーの前タイムコードを取得し、取得した動画データのタイムコードと前タイムコードの時間差が予め設定された閾値より大きいか否かを判断する（ステップＳ３４０，Ｓ３５０）。
Next, the
タイムコードと前タイムコードの時間差が予め設定された閾値より大きい場合には、取得したタイムコードをタイムコードＩＮとして採用し、取得したタイムコードを前タイムコードに設定する（ステップＳ３６０）。そして、入力された入力キーと動画データのタイムコードＩＮを関連づける（ステップＳ３７０）。 If the time difference between the time code and the previous time code is larger than a preset threshold, the acquired time code is adopted as the time code IN, and the acquired time code is set as the previous time code (step S360). Then, the input key and the time code IN of the moving image data are associated (step S370).
これに対して、タイムコードと前タイムコードの時間差が予め設定された閾値以下の場合には、まず、前タイムコードからタイムコードまでの間に同一のメタデータ項目であるが異なるメタデータ内容を有するようなメタデータが存在するか否かを確かめる（ステップＳ３８０）。これは、同一のメタデータ内容を有するメタデータ双方の間に同一のメタデータ項目ではあるが異なるメタデータ内容を有するメタデータが存在する場合（例えば、人物の向きが右向きのメタデータの間に、人物の向きが左向きのメタデータが存在するような場合）には、厳密には、同一のメタデータ内容が連続しているわけではないので、この場合には、取得したタイムコードをタイムコードＩＮとして採用し、取得したタイムコードを前タイムコードに設定するものである（ステップＳ３６０）。そして、入力された入力キーと動画データのタイムコードＩＮを関連づける（ステップＳ３７０）。 On the other hand, if the time difference between the time code and the previous time code is less than or equal to a preset threshold, first, the same metadata item between the previous time code and the time code, but different metadata contents are displayed. It is ascertained whether or not such metadata exists (step S380). This is the case when metadata having the same metadata item but different metadata content exists between both metadata having the same metadata content (for example, between metadata with the person facing right) Strictly speaking, the same metadata content is not continuous in the case where there is metadata with the person facing to the left). In this case, the acquired time code is the time code. It is adopted as IN, and the acquired time code is set as the previous time code (step S360). Then, the input key and the time code IN of the moving image data are associated (step S370).
一方、ステップＳ３８０で、前タイムコードからタイムコードまでの間に同一のメタデータ項目であるが異なるメタデータ内容を有するメタデータが存在しない場合には、同一のメタデータ内容が連続しているとみなし、取得したタイムコードをタイムコードＯＵＴとし、直前の同一入力キーとタイムコードＯＵＴを関連付ける（ステップＳ３９０）。 On the other hand, in step S380, if there is no metadata having the same metadata item but different metadata content between the previous time code and the time code, the same metadata content is continuous. Assuming that the acquired time code is the time code OUT, the same input key immediately before is associated with the time code OUT (step S390).
利用者がキー入力によりメタデータを付与し続ける限り、メタデータ付与装置１０は、上述したステップＳ３２０からステップＳ３９０までの動作を繰り返す（ステップＳ４００）。そして、利用者がメタデータの入力終了の指示を出すと、メタデータ付与装置１０は、入力された入力キーと動画データのタイムコードを関連づけたタイムコード付きメタデータすべてをメタデータ記憶部５４に登録する（ステップＳ４１０）。尚、図７に示すメタデータ付与方法においては、タイムコードＩＮだけでなく、タイムコードＯＵＴにもタイムコードが設定されるタイムコード付きメタデータが作成される。
As long as the user continues to provide metadata by key input, the
最後に、利用者は、メタデータ付与装置１０に対して動画データの入力終了を指示すると、メタデータ付与装置１０は、動画データの入力を終了させ、処理は修了する（ステップＳ４２０）。尚、タイムコード付きメタデータのメタデータ記憶部５４への登録は、上述したように入力終了の指示とともにまとめて登録する他、入力キーとタイムコードを関連付けるたびに、随時登録してもよい。
Finally, when the user instructs the
図１０は、図７に示したメタデータ付与の動作の具体例を挙げたものであるが、図１０（ａ）のように入力されたメタデータに対しては、図１０（ｂ）に示すようなタイムコード付きメタデータが作成され、メタデータ記憶部５４に登録されるものである。ここで、２つのキーＰは、閾値（図１０においては２ｓｅｃ）以内にあるので、キーＰは連続して押下されているものとみなし、キーＰのタイムコードＩＮには、最初にキーＰが押下されたときのタイムコード、キーＰのタイムコードＯＵＴには、次にキーＰが押下されたときのタイムコードが設定されている。
FIG. 10 shows a specific example of the operation of adding metadata shown in FIG. 7, but the metadata input as shown in FIG. 10 (a) is shown in FIG. 10 (b). Such metadata with time code is created and registered in the
従って、本実施の形態に係るメタデータ付与装置１０によれば、基本的機能による効果に加えて、予め決められた閾値内に同一内容のメタデータを続けて入力した場合には、同一メタデータが連続しているとみてメタデータ１つに対して時間幅を有するタイムコードを与えることができるので、利用者は、同一のメタデータ内容を続けて入力する場合であっても、同一入力キーを押下し続ける必要はないという効果を得ることができる。
Therefore, according to the
次に、このようにして入力されたメタデータを活用する動作を図１１および図１２を用いて説明する。ここで、図１１は、メタデータを検索キーとして検索した場合の一般的な検索処理を示すフローチャートであり、図１２は、メタデータを利用した類似画像検索処理を示すフローチャートである。 Next, an operation for utilizing the metadata input in this way will be described with reference to FIGS. Here, FIG. 11 is a flowchart showing a general search process when searching using metadata as a search key, and FIG. 12 is a flowchart showing a similar image search process using metadata.
まず、メタデータを検索キーとして検索した場合の一般的な検索処理について説明する。 First, a general search process when searching using metadata as a search key will be described.
図１１に示すように、メタデータ項目（人物名、人物の画像位置、人物の表情、人物の姿勢、人物の向き、人物の動き）の少なくとも１つに検索値を設定し、検索を指示すると、該当するメタデータをメタデータ記憶部５４を検索して、検索されたメタデータのタイムコードからシーンを特定し、該シーンを検索結果として表示する（ステップＳ５１０〜Ｓ５３０）。
As shown in FIG. 11, when a search value is set for at least one of metadata items (person name, person image position, person facial expression, person posture, person orientation, person movement) and a search is instructed. Then, the
これにより、利用者は映像コンテンツをよりきめ細かく検索することができるので、所望の映像コンテンツを容易に探し出すことができる。 As a result, the user can search for the video content more finely, and thus can easily find the desired video content.
次に、メタデータを利用した類似画像検索処理について説明する。これは、サムネイル記憶部５５に記憶された各シーンのサムネイルを活用して類似検索するものであるが、まず各シーンのメタデータで検索対象のシーン（サムネイル）を絞り込んでから、類似画像検索を行うものである。
Next, a similar image search process using metadata will be described. In this case, similar searches are performed using the thumbnails of the scenes stored in the
図１２に示すように、類似画像検索処理においては、まず、利用者はシーンのサムネイルを選択する（例えば、図４に示すようにシーンＡ〜Ｊにメタデータｍ１〜ｍ１４を入力した場合において、シーンＡのサムネイルを選択する）（ステップＳ６１０）。 As shown in FIG. 12, in the similar image search process, first, the user selects a thumbnail of a scene (for example, when metadata m1 to m14 is input to scenes A to J as shown in FIG. A thumbnail of scene A is selected) (step S610).
次に、選択されたサムネイルのメタデータが含まれるサムネイルを抽出し、これらを検索対象とする（図４のシーンＡのメタデータｍ１およびｍ２を含むシーンは、シーンＣ、Ｄ、Ｇ、Ｈ、Ｊであったので、該シーンが抽出される）（ステップＳ６２０）。 Next, thumbnails including metadata of the selected thumbnail are extracted, and these are searched (the scenes including the metadata m1 and m2 of the scene A in FIG. 4 are scenes C, D, G, H, Since it is J, the scene is extracted) (step S620).
次に、検索対象のサムネイルの中から類似画像検索を行う（ステップＳ６３０）。これは、例えば、検索キーの画像と検索対象の画像のオブジェクトを抽出して、オブジェクトごとの特徴（色、形など）を抽出し、このオブジェクトごとの特徴量により類似度を算出するものである。 Next, a similar image search is performed from the search target thumbnails (step S630). In this method, for example, an object of a search key image and a search target image are extracted, features (color, shape, etc.) for each object are extracted, and a similarity is calculated based on the feature amount for each object. .
次に、検索対象のサムネイルを類似度順に並べ替えて、検索結果として表示する（図４においては、類似度順はコンテンツＨ、Ｄ、Ｃ、Ｊ、Ｇであったので、該順番で表示される）（ステップＳ６４０）。 Next, the thumbnails to be searched are rearranged in order of similarity and displayed as search results (in FIG. 4, since the order of similarity was contents H, D, C, J, and G, they are displayed in that order. (Step S640).
これにより、利用者は類似画像検索においても映像コンテンツをよりきめ細かく検索することができるので、所望の映像コンテンツを容易に探し出すことができる。 As a result, the user can search for the video content more finely even in the similar image search, and thus can easily find the desired video content.
尚、上記実施の形態に係るメタデータ付与装置１０の動作は、メタデータ付与装置１０に格納されたプログラムを実行することにより実現される。そして、このプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ−ＲＯＭなどのコンピュータ読み取り可能な記録媒体に記録することも、通信ネットワークを介して配信することも可能である。
The operation of the
以上、本発明の実施の形態について説明してきたが、本発明の要旨を逸脱しない範囲において、本発明の実施の形態に対して種々の変形や変更を施すことができる。例えば、上記実施の形態においては、入力キーにマッピングされたメタデータを選択する方式を採用しているが、入力キーにマッピングされていないメタデータを入力したい場合には、テキスト入力により対応してもよい。そして、テキスト入力後、このテキスト入力されたメタデータを新たなキーに割り当てれば、その後の検索においても該メタデータを活用できるものである。 While the embodiments of the present invention have been described above, various modifications and changes can be made to the embodiments of the present invention without departing from the spirit of the present invention. For example, in the above embodiment, a method of selecting metadata mapped to the input key is adopted. However, when it is desired to input metadata that is not mapped to the input key, a text input is used. Also good. If the text input metadata is assigned to a new key after the text is input, the metadata can be used in subsequent searches.
また、メタデータ入力部２として、キー入力装置２１やキーボード２２を例示したが、メタデータ入力部２はこれに限定されるものではなく、キー入力が可能であれば何であってもよい（例えば、リモコンような入力装置であってもよい）。
Moreover, although the
さらに、上記実施の形態においては、動画データを再生しつつメタデータを入力するというリアルタイムでのメタデータ入力を重視しているが、メタデータの入力に不慣れであったり、より多様なメタデータを入力したいという場合には、再生している動画データを一時停止してメタデータを入力するようにしてもよいのは勿論である。 Furthermore, in the above-described embodiment, emphasis is placed on real-time metadata input in which metadata is input while playing back video data. Of course, when the user wants to input, the moving image data being reproduced may be paused and the metadata may be input.
１ 映像入力部
２ 映像制御部
３ メタデータ入力部
４ 映像表示部
５ データ記憶部
１０ メタデータ付与装置
２１ キー入力装置
２２ キーボード
５１ コンテンツ記憶部
５２ シーンデータ記憶部
５３ キーデータ記憶部
５４ メタデータ記憶部
５５ サムネイル記憶部
DESCRIPTION OF SYMBOLS 1 Image |
Claims (9)
前記動画データをシーン分割した各シーンをタイムコードと対応付けたシーンデータを記憶するシーンデータ記憶手段と、
前記メタデータを入力するメタデータ入力手段と、
前記メタデータが入力されたときの前記動画データのタイムコードと入力されたメタデータとを対応づけて、タイムコード付きメタデータを作成するメタデータ対応付け手段と、
前記タイムコード付きメタデータを記憶するメタデータ記憶手段と、
を有することを特徴とするメタデータ付与装置。 A metadata adding device for adding metadata to video data,
Scene data storage means for storing scene data in which each scene obtained by dividing the moving image data into scenes is associated with a time code;
Metadata input means for inputting the metadata;
Metadata associating means for associating the time code of the video data when the metadata is input and the input metadata to create metadata with time code;
Metadata storage means for storing the metadata with the time code;
A metadata providing apparatus characterized by comprising:
前記動画データをシーン分割した各シーンをタイムコードと対応付けたシーンデータを記憶するシーンデータ記憶ステップと、
前記メタデータを入力するメタデータ入力ステップと、
前記メタデータが入力されたときの前記動画データのタイムコードと入力されたメタデータとを対応づけて、タイムコード付きメタデータを作成するメタデータ対応付けステップと、
前記タイムコード付きメタデータを記憶するメタデータ記憶ステップと、
を有することを特徴とするメタデータ付与方法。 A method for giving metadata to video data,
A scene data storing step of storing scene data in which each scene obtained by dividing the moving image data into scenes is associated with a time code;
A metadata input step for inputting the metadata;
A metadata associating step of associating the time code of the video data when the metadata is input with the input metadata to create metadata with time code;
A metadata storage step for storing the metadata with the time code;
A method for providing metadata, comprising:
前記動画データをシーン分割した各シーンをタイムコードと対応付けたシーンデータを記憶するシーンデータ記憶ステップと、
前記メタデータを入力するメタデータ入力ステップと、
前記メタデータが入力されたときの前記動画データのタイムコードと入力されたメタデータとを対応づけて、タイムコード付きメタデータを作成するメタデータ対応付けステップと、
前記タイムコード付きメタデータをメタデータ記憶手段に記憶するメタデータ記憶ステップと、
を前記コンピュータに実行させることを特徴とするメタデータ付与プログラム。 A computer readable metadata adding program for adding metadata to video data,
A scene data storing step of storing scene data in which each scene obtained by dividing the moving image data into scenes is associated with a time code;
A metadata input step for inputting the metadata;
A metadata associating step of associating the time code of the video data when the metadata is input and the input metadata to create metadata with time code;
A metadata storage step of storing the metadata with time code in a metadata storage means;
A metadata grant program that causes the computer to execute.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004029791A JP2005222329A (en) | 2004-02-05 | 2004-02-05 | Metadata granting apparatus, metadata granting method, and metadata granting program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004029791A JP2005222329A (en) | 2004-02-05 | 2004-02-05 | Metadata granting apparatus, metadata granting method, and metadata granting program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005222329A true JP2005222329A (en) | 2005-08-18 |
Family
ID=34997904
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004029791A Withdrawn JP2005222329A (en) | 2004-02-05 | 2004-02-05 | Metadata granting apparatus, metadata granting method, and metadata granting program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2005222329A (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007213350A (en) * | 2006-02-09 | 2007-08-23 | Fuji Xerox Co Ltd | Information processing apparatus and information processing method |
| JP2009212935A (en) * | 2008-03-05 | 2009-09-17 | Omron Corp | Image processing device and method, and program |
| JP2009540447A (en) * | 2006-06-16 | 2009-11-19 | ノキア コーポレイション | Method, apparatus and computer readable storage medium for providing metadata entry |
| US7979432B2 (en) | 2006-09-28 | 2011-07-12 | Kabushiki Kaisha Toshiba | Apparatus, computer program product and system for processing information |
| JP2013536969A (en) * | 2010-09-03 | 2013-09-26 | フル・エルエルシー | Method and apparatus for providing community-based metadata |
| JP2015007980A (en) * | 2008-03-24 | 2015-01-15 | スー カン，ミン | Keyword advertisement method using digital content related meta-information and related system therefor |
| WO2017221857A1 (en) * | 2016-06-21 | 2017-12-28 | 日本電気株式会社 | Similarity calculation device and method, and recording medium |
| JP2020523825A (en) * | 2017-05-30 | 2020-08-06 | ホーム ボックス オフィス， インコーポレイテッド | Video content graph with enhanced metadata |
-
2004
- 2004-02-05 JP JP2004029791A patent/JP2005222329A/en not_active Withdrawn
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007213350A (en) * | 2006-02-09 | 2007-08-23 | Fuji Xerox Co Ltd | Information processing apparatus and information processing method |
| JP2009540447A (en) * | 2006-06-16 | 2009-11-19 | ノキア コーポレイション | Method, apparatus and computer readable storage medium for providing metadata entry |
| US7979432B2 (en) | 2006-09-28 | 2011-07-12 | Kabushiki Kaisha Toshiba | Apparatus, computer program product and system for processing information |
| JP2009212935A (en) * | 2008-03-05 | 2009-09-17 | Omron Corp | Image processing device and method, and program |
| JP2015007980A (en) * | 2008-03-24 | 2015-01-15 | スー カン，ミン | Keyword advertisement method using digital content related meta-information and related system therefor |
| JP2013536969A (en) * | 2010-09-03 | 2013-09-26 | フル・エルエルシー | Method and apparatus for providing community-based metadata |
| WO2017221857A1 (en) * | 2016-06-21 | 2017-12-28 | 日本電気株式会社 | Similarity calculation device and method, and recording medium |
| JPWO2017221857A1 (en) * | 2016-06-21 | 2019-04-11 | 日本電気株式会社 | Similar arithmetic device, method and storage medium |
| US11113314B2 (en) | 2016-06-21 | 2021-09-07 | Nec Corporation | Similarity calculating device and method, and recording medium |
| JP7099316B2 (en) | 2016-06-21 | 2022-07-12 | 日本電気株式会社 | Similarity arithmetic units, methods, and programs |
| JP2020523825A (en) * | 2017-05-30 | 2020-08-06 | ホーム ボックス オフィス， インコーポレイテッド | Video content graph with enhanced metadata |
| JP7163316B2 (en) | 2017-05-30 | 2022-10-31 | ホーム ボックス オフィス， インコーポレイテッド | Video content graph with extended metadata |
| US11960446B2 (en) | 2017-05-30 | 2024-04-16 | Home Box Office, Inc. | Video content graph including enhanced metadata |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110209843B (en) | Multimedia resource playing method, device, equipment and storage medium | |
| CN108984081A (en) | A search page interaction method, device, terminal and storage medium | |
| CN105635764B (en) | Method and device for playing push information in live video | |
| CN112291609A (en) | Video display and push method, device, storage medium and system thereof | |
| JP2019525272A (en) | Approximate template matching for natural language queries | |
| US10491968B2 (en) | Time-based video metadata system | |
| JP2013070155A (en) | Moving image scoring system, server device, moving image scoring method, and moving image scoring program | |
| JP5376442B2 (en) | Client terminal and computer program for video distribution service | |
| JP2005222329A (en) | Metadata granting apparatus, metadata granting method, and metadata granting program | |
| JP2006139408A (en) | Feature vector generation device, search device, feature vector generation method, search method, and program | |
| JP4966408B1 (en) | Content continuous playback device, playback method thereof, and playback control program thereof | |
| JP5884805B2 (en) | Information processing apparatus and program | |
| JP2009069875A (en) | Content search device, content search method, program, and recording medium | |
| CN101169794A (en) | Database generating method, program, device and image content recording device | |
| JP2007129531A (en) | Program presentation system | |
| JP2020009018A (en) | Communication terminal, content server, content recommendation system, control device, and control method | |
| JP5037645B2 (en) | Related information providing server, related information providing system, and related information providing method | |
| US7947890B2 (en) | Program recording medium, playback device, and playback control method | |
| CN114117120A (en) | Video file intelligent index generation system and method based on content analysis | |
| JP4710000B2 (en) | Program presentation system | |
| JP5303079B2 (en) | Content search service system and content search service method | |
| JP6867541B1 (en) | Image display device and program | |
| JP5318245B2 (en) | Content continuous playback device, playback method thereof, and playback control program thereof | |
| JP4944574B2 (en) | Program selection device, content selection device, program selection program, and content selection program | |
| JP4794610B2 (en) | Related information assigning apparatus and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20070501 |