JP2005115607A

JP2005115607A - 映像検索装置

Info

Publication number: JP2005115607A
Application number: JP2003348187A
Authority: JP
Inventors: Shingo Miyauchi; 進吾宮内
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2003-10-07
Filing date: 2003-10-07
Publication date: 2005-04-28

Abstract

【課題】映像の検索を自動化するために、蓄積された映像コンテンツの中から所望のシーンを抽出する手段が求められている。
【解決手段】映像データに多重化されている字幕（文字放送）情報を取り出し、映像と共に蓄積し、これを手掛りとして映像の検索を行う。
まず、蓄積された字幕情報に対して文字列探索などを行うことにより、ユーザの要求するシーンに適合すると思われる字幕を探し出し、その字幕の提示タイミングに相当する映像を要求シーンの候補とする。さらに、画像解析および音声解析をこの候補シーンに対して適用し、その結果ユーザの要求を満たすと判断されるシーンを抽出する。
【選択図】図１

Description

本発明は、蓄積された映像コンテンツの中から、所望の映像シーンを検索する装置に関するものである。

従来、蓄積された映像コンテンツの中からユーザ所望のシーンを検索するには、映像に対して何らかの画像解析あるいは音声解析を適用し、この結果に基づいて当該シーンを抽出する方法があった。また、コンテンツに関する情報を記述したメタデータを人手により作成し、これを用いて映像の検索を行う手段が取られていた。
特開２００１−６９４３７号公報特開２００１−１４３４５１号公報

従来の特許文献１に記載の画像解析や特許文献２に記載の音声解析を用いる方法は処理の負荷が大きく、検索に時間がかかるという課題があった。また、コンテンツに関する情報を人手で作成しようとすると、膨大な手間が必要であった。

上記を解決するため、本発明装置は映像データに多重化されている字幕（文字放送）情報を取り出し、映像と共に蓄積し、これを手掛りとして映像の検索を行うことを特徴とするものである。

まず、蓄積された字幕情報に対して文字列探索などを行うことにより、ユーザの要求するシーンに適合すると思われる字幕を探し出し、その字幕の提示タイミングに相当する映像を要求シーンの候補とする。さらに、画像解析および音声解析をこの候補シーンに対して適用し、その結果ユーザの要求を満たすと判断されるシーンを抽出する。

本発明によれば、字幕情報を利用することにより、画像あるいは音声解析のみを用いた従来の映像検索手段より高速に所望のシーンを抽出することが可能となる。また、映像コンテンツに関する情報を人手により作成する手間が省ける。

（実施の形態１）
図１は、本発明の映像検索装置の実施の形態の一例の構成を示したブロック図である。以下、この図を参照し本発明の実施形態を説明する。なお本形態における映像データとは、動画像と音声、およびこれに付随する字幕（発話内容などをテキスト化したもの）が符号化され多重化されたものと定義する。また、ここで抽出対象とするシーンとは、例えばスポーツ中継における得点シーン、ドラマやバラエティにおける特定人物の登場シーン、ニュースにおける特定のトピックなど、意味的なまとまりを有する映像のセグメントを指す。

はじめに、本装置に映像データが入力されると、多重分離処理部１００において字幕データが取り出される。この字幕データは字幕データ処理部１１０に入力され復号化され、また併せて入力された映像の時刻情報と対応付けられる。これにより、発話内容等とその提示タイミング（映像と同期を取るために必要な時刻情報）を含む字幕情報が生成される。得られた字幕情報は映像と共に映像蓄積部２００に蓄積される。

蓄積された映像に対し、ユーザ要求受付部４００よりユーザから特定シーンの検索要求があると、シーン抽出部３００はその要求に合致するシーンの抽出を開始する。まず、シーン抽出部において抽出シーンに関連する字幕的な特徴が設定されると、字幕解析部３１０は映像蓄積部に蓄積された字幕情報の中からその設定にマッチする箇所を検出する。そして、シーン抽出部は検出された字幕の時刻情報を参照し、このタイミングに相当する映像を候補シーンとして映像蓄積部から選び出す。

字幕情報の中には発話内容や話者名、情景のナレーションなどが含まれていることから、ここでの字幕的な特徴とはシーンに関するキーワードや人物名の有無など、ここでの字幕解析とは文字列探索や自然言語処理などを想定する。例えば処理の一例を図２を用いて説明すると、サッカーのゴールシーンを検索する場合、蓄積された字幕情報の中から「ゴール」という文字列を探し出し、それら字幕の提示タイミングにあたる周辺の映像を当該シーンの候補として選出する、といった方法を取ることが考えられる。

次に画像解析あるいは音声解析、または両者を用いることにより、前記で得られた候補シーンの精査を行う。シーン抽出部において抽出シーンに関連する画像的な特徴が設定されると、画像解析部３２０は候補シーンがその設定にマッチするかを判別する。ここでの画像解析としては、上記の従来技術にあるようなモデル画像とのマッチングや、オブジェクト／顔認識、輝度や色情報に基づく判定、カット分割、などの利用が考えられる。

本例のサッカーのゴールシーンを検索する場合であれば、まず前記字幕解析により得られた候補映像を、カット分割を用いてカットに分割する。そして、分割されたカットの各先頭フレームと、ゴールポストを特徴とするゴールシーンのモデル画像とのマッチングを行う。この類似度が閾値以上であれば、そのカット（および前後数カット）は所望のシーンに相当すると判断することができる。

同様に音声解析部３３０は、抽出シーンに関連する音声的な特徴が設定されると、候補シーンがその設定にマッチするかを判別する。ここでの音声解析としては、上記の従来技術にあるような周波数解析や歓声／特定音検出、スペクトル分析、話者判定、などの利用が考えられる。サッカーのゴールシーンを検索する場合を例に挙げると、まず前記字幕解析により得られた候補映像に対して、音声のパワーレベルと周波数の解析を行う。この結果、大きな歓声を含む区間の前後を、所望のシーンに相当すると判断することができる。

シーン抽出部は以上の解析結果から総合的に判断し、ユーザの要求に合致するシーンを映像蓄積部から抽出する。そして、抽出された映像は映像提示部５００においてユーザに提示される。

上記のように本発明によれば、字幕情報を利用することにより、画像あるいは音声解析のみを用いた従来の映像検索手段より高速に所望のシーンを抽出することが可能となる。また、映像コンテンツに関する情報を人手により作成する手間を省略することができる。

本発明の映像検索装置は、字幕情報を有する映像コンテンツが蓄積されている環境において、シーンの検索を実現する機能を持つことより、デジタル放送受信端末や映像記録・再生装置、メディアサーバなどの映像機器において有用である。

本発明の実施の形態の構成を示したブロック図字幕解析の実施例の概観図

符号の説明

１００多重分離処理部
１１０字幕データ処理部
２００映像蓄積部
３００シーン抽出部
３１０字幕解析部
３２０画像解析部
３３０音声解析部
４００ユーザ要求受付部
５００映像提示部

Claims

映像データに多重化された字幕情報を取り出して前記映像と共に蓄積し、蓄積された字幕情報の中からユーザが所望するシーンに適合する箇所を検出し、その字幕の提示タイミングに相当する映像に画像解析あるいは音声解析を適用し、シーンを抽出することを特徴とした映像検索装置。