JP2010028651A - Identification model reconstruction apparatus, identification model reconstruction method, and identification model reconstruction program - Google Patents
Identification model reconstruction apparatus, identification model reconstruction method, and identification model reconstruction program Download PDFInfo
- Publication number
- JP2010028651A JP2010028651A JP2008189890A JP2008189890A JP2010028651A JP 2010028651 A JP2010028651 A JP 2010028651A JP 2008189890 A JP2008189890 A JP 2008189890A JP 2008189890 A JP2008189890 A JP 2008189890A JP 2010028651 A JP2010028651 A JP 2010028651A
- Authority
- JP
- Japan
- Prior art keywords
- program
- identification model
- identification
- digest
- sport
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
- Image Analysis (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
【課題】本発明は、識別モデルを利用してダイジェスト番組データにおいて所望のスポーツ種目と共に当該所望のスポーツ種目のダイジェスト部分を精度良く識別させる。
【解決手段】本発明は、中継番組データを記録し特徴量を抽出して蓄積し、その特徴量をスポーツ種目の名称と共に用いて、ダイジェスト番組データにおいてスポーツ種目とそのダイジェスト部分を識別するための識別モデルを再構築することにより、試合を撮影するためのアングルが変更されても、アングルの変更された複数の中継番組データから抽出して蓄積していた特徴量を所望のスポーツ種目の名称と共に用いて識別モデルを再構築して識別精度の低下を低減させることができ、識別モデルを利用してダイジェスト番組データにおいて所望のスポーツ種目と共に当該所望のスポーツ種目のダイジェスト部分を精度良く識別させることができる。
【選択図】図12The present invention uses an identification model to accurately identify a digest portion of a desired sport event and a digest portion of the desired sport event in digest program data.
The present invention records relay program data, extracts and accumulates feature values, and uses the feature values together with the names of sports events to identify sports events and their digest parts in digest program data. By reconstructing the identification model, even if the angle for shooting the game is changed, the feature quantity extracted and accumulated from the plurality of relay program data with the changed angle together with the name of the desired sport item It is possible to reconstruct the identification model and reduce the degradation of the identification accuracy, and to use the identification model to accurately identify the digest part of the desired sport event together with the desired sport event in the digest program data. it can.
[Selection] Figure 12
Description
本発明は識別モデル再構築装置、識別モデル再構築方法及び識別モデル再構築プログラムに関し、例えば、番組を録画し得る番組録画装置に適用して好適なものである。 The present invention relates to an identification model reconstruction device, an identification model reconstruction method, and an identification model reconstruction program, and is suitable for application to, for example, a program recording device capable of recording a program.
従来の再生システムは、スポーツの野球やサッカーのような種目(以下、これをスポーツ種目とも呼ぶ)の試合を中継するための番組の番組データを記録するようにして、その番組を録画する。 The conventional playback system records the program so as to record program data of a program for relaying a game such as sports baseball or soccer (hereinafter also referred to as a sports event).
因みに、以下の説明では、スポーツ種目の試合を中継するための番組を、中継番組とも呼び、当該中継番組の番組データを、中継番組データとも呼ぶ。 Incidentally, in the following description, a program for relaying a sport-type game is also called a relay program, and program data of the relay program is also called relay program data.
また再生システムは、録画した中継番組の中継番組データに含まれる、時間的に連続する複数フレームの画像データや音声データ等を解析して当該複数フレームの画像データの特徴量や音声データ等の特徴量を抽出する。 Also, the playback system analyzes temporally continuous multiple frames of image data, audio data, etc. included in the relay program data of the recorded relay program, and features such as feature quantities of the multiple frames of image data, audio data, etc. Extract the amount.
因みに、以下の説明では、複数フレームの画像データから抽出された特徴量を、画像特徴量とも呼び、その画像特徴量と、音声データ等から抽出された他の特徴量とをまとめて番組特徴量とも呼ぶ。 Incidentally, in the following description, a feature amount extracted from image data of a plurality of frames is also called an image feature amount, and the program feature amount is combined with the image feature amount and other feature amounts extracted from audio data or the like. Also called.
さらに再生システムは、中継番組の番組特徴量を用いて、当該中継番組で中継されていた試合のスポーツ種目を識別する。 Furthermore, the playback system identifies the sport item of the game that was relayed by the relay program using the program feature amount of the relay program.
そして再生システムは、その識別したスポーツ種目に応じた再生ルールで、中継番組データの再生対象部分を再生指示するための再生指示データを生成し、その再生指示データに従い、中継番組データから再生対象部分を抽出して再生する。 Then, the reproduction system generates reproduction instruction data for instructing reproduction of the reproduction target portion of the relay program data with the reproduction rule corresponding to the identified sport event, and the reproduction target portion is generated from the relay program data according to the reproduction instruction data. Extract and play.
これにより再生システムは、録画していた中継番組において、例えば、野球のホームランシーンやサッカーのゴールシーンのようなハイライトシーンのみを視聴させていた(例えば、特許文献1参照)。
ところで中継番組については、スポーツ種目毎に、試合を撮影するためのテレビジョンカメラの設置位置や撮影角度等が決められている。 By the way, for the relay program, the installation position and shooting angle of the television camera for shooting the game are determined for each sporting event.
そして中継番組については、同じスポーツ種目の試合であれば、異なる日時に行われる試合でも、同じようなシーンをほぼ同じアングルで撮影して中継するように制作されている。 The relay program is produced so that a similar scene can be filmed and relayed at almost the same angle even in a match held at different dates if the game is the same sport.
このため、かかる構成の再生システムのような従来の番組録画装置には、例えば、番組録画装置の製造メーカにより、すでに放送された中継番組の画像徴量を用いて、スポーツ種目を識別するための識別モデルが構築されている。 For this reason, in a conventional program recording apparatus such as a playback system having such a configuration, for example, a manufacturer of a program recording apparatus uses a video collection amount of a broadcast program already broadcast to identify a sport item. An identification model has been built.
そして従来の番組録画装置は、識別モデルの構築後に中継番組を録画しても、その識別モデルを利用して、当該録画した中継番組の画像特徴量を用いることで、その中継番組で中継されていた試合のスポーツ種目を識別することができる。 And even if a conventional program recording apparatus records a relay program after construction of an identification model, it uses the identification model to use the image feature quantity of the recorded relay program and relays it on the relay program. Can identify the sporting event of the match.
ここでスポーツに関する番組としては、上述した中継番組の他にも、一日や一週間のような所定期間に行われた複数のスポーツ種目の試合のハイライトシーン等の種々のシーンを、当該スポーツ種目毎にダイジェストとしてまとめて放送するための番組もある。 Here, in addition to the above-described relay program, various programs such as highlight scenes of a plurality of sporting events held during a predetermined period such as one day or one week are included in the sports program. There are also programs to broadcast together as a digest for each event.
因みに、以下の説明では、スポーツ種目毎に、その試合の種々のシーンをダイジェストとしてまとめて放送するための番組を、ダイジェスト番組とも呼ぶ。 Incidentally, in the following description, a program for broadcasting various scenes of the game together as a digest for each sport item is also called a digest program.
ただしダイジェスト番組については、複数のダイジェストが、放送局側で任意に決められた順番で放送するように制作されている。 However, the digest program is produced so that a plurality of digests are broadcast in an order arbitrarily determined by the broadcasting station.
このためユーザは、ダイジェスト番組をその放送時間帯にリアルタイムで視聴すると、自分の好みのスポーツ種目のダイジェストを視聴する前に、あまり好まないスポーツ種目のダイジェストまでも視聴することになる場合がある。 For this reason, when a user views a digest program in real time during the broadcast time zone, the user may also view a digest of a sport event that is not preferred before watching the digest of the sport event of his / her favorite.
しかしながらダイジェスト番組については、個々のスポーツ種目のダイジェストが、当該スポーツ種目の試合を中継する中継番組から当該試合の種々のシーンを集めるようにして生成されている。 However, with respect to the digest program, digests of individual sport events are generated by collecting various scenes of the game from a relay program that relays the sport event.
このため従来の番組録画装置は、ダイジェスト番組を録画し、当該ダイジェスト番組の番組データ(以下、これをダイジェスト番組データとも呼ぶ)に含まれる複数フレームの画像データから画像特徴量を抽出する。 For this reason, a conventional program recording apparatus records a digest program, and extracts image feature amounts from image data of a plurality of frames included in program data of the digest program (hereinafter also referred to as digest program data).
そして従来の番組録画装置は、識別モデルを利用して、ダイジェスト番組の画像特徴量を用いれば、ダイジェスト番組データにおいてスポーツ種目と共に、当該スポーツ種目のダイジェスト部分を識別し得ると考えられる。 Then, it is considered that the conventional program recording apparatus can identify the digest part of the sport item together with the sport item in the digest program data by using the image feature amount of the digest program using the identification model.
すなわち、従来の番組録画装置は、ダイジェスト番組内の個々のダイジェストが、何れのスポーツ種目のダイジェストであるかを識別し得ると考えられる。 That is, it is considered that the conventional program recording apparatus can identify which sport event the individual digest in the digest program is.
また従来の番組録画装置は、その識別結果をもとに、ダイジェスト番組データから所望のスポーツ種目のダイジェスト部分を切り出して再生すれば、当該所望のスポーツ種目のダイジェストのみを視聴させることができるとも考えられる。 In addition, based on the identification result, the conventional program recording apparatus may be able to view only the digest of the desired sport event by cutting out and playing back the digest portion of the desired sport event from the digest program data. It is done.
ところが中継番組については、例えば、視聴者に試合の臨場感をより良く伝えるために、テレビジョンカメラの設置位置や撮影角度等と共に試合を撮影するためのアングル(すなわち、試合を撮影するための視点)が見直される場合がある。 However, for relay programs, for example, in order to better convey the realism of the game to the viewer, the angle for shooting the game together with the installation position of the television camera, the shooting angle, etc. (ie, the viewpoint for shooting the game) ) May be reviewed.
そして中継番組については、その見直しの結果として、テレビジョンカメラの設置位置や撮影角度、台数等と共に試合を撮影するためのアングルが、それまでは異なるように変更される場合がある。 As for the relay program, as a result of the review, the angle for shooting the game together with the installation position, shooting angle, number, etc. of the television camera may be changed so as to be different.
因みに中継番組については、試合を撮影するためのアングルが新たなアングルに変更されると、この後、試合を撮影するためのアングルが再び見直されて変更されるまでの期間は、当該新たなアングルで試合を撮影するようにして制作される。 By the way, for the relay program, if the angle for shooting the game is changed to a new angle, the period until the angle for shooting the game is reviewed and changed is changed. It is produced like shooting a game.
また何れかのスポーツ種目の中継番組において試合を撮影するためのアングルが変更されると、これに伴いダイジェスト番組についても、当該スポーツ種目のダイジェストに含まれる種々のシーンのアングルが、以前とは異なるものになる。 In addition, when the angle for shooting a game is changed in any sporting event broadcast program, the angle of various scenes included in the digest of the sporting event is also different from the previous one for the digest program. Become a thing.
このため従来の番組録画装置では、すでに識別モデルが構築されている状態でアングルが変更されると、その変更後に録画したダイジェスト番組の画像特徴量が、当該識別モデルの構築に使用された中継番組の画像特徴量とは、大幅に異なる場合がある。 For this reason, in the conventional program recording apparatus, when the angle is changed in a state where the identification model has already been constructed, the image feature amount of the digest program recorded after the change is used as the relay program used to construct the identification model. The image feature amount may be significantly different.
そして従来の番組録画装置は、このような場合、識別モデルを利用してダイジェスト番組の画像特徴量を用いても、スポーツ種目の識別精度が低下して、ダイジェスト番組データにおいてスポーツ種目と共に当該スポーツ種目のダイジェスト部分を正確には識別し得なくなるという問題があった。 In such a case, the conventional program recording apparatus uses the identification model to use the image feature amount of the digest program, so that the identification accuracy of the sport item is reduced, and the sport event is included together with the sport item in the digest program data. There was a problem that the digest part of could not be accurately identified.
本発明は以上の点を考慮してなされたもので、識別モデルを利用してダイジェスト番組データにおいて所望のスポーツ種目と共に当該所望のスポーツ種目のダイジェスト部分を精度良く識別させ得る識別モデル再構築装置、識別モデル再構築方法及び識別モデル再構築プログラムを提案しようとするものである。 The present invention has been made in consideration of the above points, and an identification model reconstructing apparatus capable of accurately identifying a digest portion of a desired sport event together with the desired sport event in the digest program data using the identification model, An identification model reconstruction method and an identification model reconstruction program are proposed.
かかる課題を解決するため本発明においては、識別モデル再構築装置において、スポーツ種目の試合を中継する中継番組の中継番組データを記録すると共に、当該記録した中継番組データから特徴量を抽出し、当該中継番組データから抽出した特徴量を蓄積して、当該蓄積した特徴量を、対応するスポーツ種目の名称と共に用いて、複数のスポーツ種目のダイジェストを順番に放送するダイジェスト番組のダイジェスト番組データにおいてスポーツ種目と共に、当該スポーツ種目のダイジェストのダイジェスト部分を識別するための識別モデルを再構築するようにした。 In order to solve such a problem, in the present invention, the identification model reconstructing apparatus records the relay program data of the relay program that relays the sporting event, extracts the feature amount from the recorded relay program data, and The feature amount extracted from the relay program data is accumulated, and the accumulated feature amount is used together with the name of the corresponding sport item, and the digest type data of the digest program that sequentially broadcasts the digest of a plurality of sport items is used in the sport program. At the same time, an identification model for recognizing the digest portion of the digest of the sport event is reconstructed.
従って本発明では、識別モデル再構築装置において、所望のスポーツ種目の中継番組において試合を撮影するためのアングルが変更されても、当該アングルの変更された複数の中継番組の中継番組データから抽出して蓄積していた特徴量を所望のスポーツ種目の名称と共に用いて識別モデルを再構築して、ダイジェスト番組データにおいて所望のスポーツ種目の識別精度が低下することを低減させることができる。 Therefore, in the present invention, even if the angle for shooting a game in a relay program of a desired sport type is changed in the identification model reconstructing device, it is extracted from the relay program data of a plurality of relay programs with the changed angle. Thus, it is possible to reconstruct the identification model by using the feature amount accumulated in combination with the name of the desired sport item, and to reduce the decrease in the identification accuracy of the desired sport item in the digest program data.
本発明によれば、識別モデル再構築装置において、スポーツ種目の試合を中継する中継番組の中継番組データを記録すると共に、当該記録した中継番組データから特徴量を抽出し、当該中継番組データから抽出した特徴量を蓄積して、当該蓄積した特徴量を、対応するスポーツ種目の名称と共に用いて、複数のスポーツ種目のダイジェストを順番に放送するダイジェスト番組のダイジェスト番組データにおいてスポーツ種目と共に、当該スポーツ種目のダイジェストのダイジェスト部分を識別するための識別モデルを再構築するようにしたことにより、所望のスポーツ種目の中継番組において試合を撮影するためのアングルが変更されても、当該アングルの変更された複数の中継番組の中継番組データから抽出して蓄積していた特徴量を所望のスポーツ種目の名称と共に用いて識別モデルを再構築して、ダイジェスト番組データにおいて所望のスポーツ種目の識別精度が低下することを低減させることができ、かくして識別モデルを利用してダイジェスト番組データにおいて所望のスポーツ種目と共に当該所望のスポーツ種目のダイジェスト部分を精度良く識別させ得る識別モデル再構築装置、識別モデル再構築方法及び識別モデル再構築プログラムを実現することができる。 According to the present invention, in the identification model reconstructing apparatus, the relay program data of a relay program that relays a sport-type game is recorded, and the feature amount is extracted from the recorded relay program data and extracted from the relay program data The collected feature quantity is used together with the name of the corresponding sport item, and the digest type data of the digest program that sequentially broadcasts the digests of the plurality of sport types, together with the sport type, the sport type By reconstructing the identification model for identifying the digest part of the digest, even if the angle for shooting the game in the relay program of the desired sporting event is changed, Desired feature values extracted and stored from relay program data of other relay programs It can be used together with the name of a sport event to reconstruct the identification model to reduce the degradation of the identification accuracy of the desired sport event in the digest program data, and thus use the identification model to reduce the desired accuracy in the digest program data. It is possible to realize an identification model reconstruction device, an identification model reconstruction method, and an identification model reconstruction program that can accurately identify the digest portion of the desired sport event together with the sport event.
以下図面について、本発明の一実施の形態を詳述する。 Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.
(1)実施の形態
(1−1)番組録画装置の回路構成
図1において、1は全体として本発明を適用した番組録画装置を示す。かかる番組録画装置1は、デジタル系放送及びアナログ系放送の番組の録画再生機能や、電子番組案内(EPG:Electronic Program Guide)情報の取得機能等を有している。
(1) Embodiment (1-1) Circuit Configuration of Program Recording Device In FIG. 1,
番組録画装置1は、例えば、マイクロコンピュータ構成の制御部2を有している。制御部2は、ハードディスクドライブ3又は不揮発性メモリ4に予め記憶された基本プログラムやアプリケーションプログラム等の各種プログラムを、バス5を介して読み出す。
The
そして制御部2は、各種プログラムに従って、番組録画装置1全体を制御すると共に、所定の演算処理を実行する。また制御部2は、リモートコントローラRMの操作に応じて入力処理部6から与えられる操作コマンドに応じた各種処理も実行する。因みに、以下の説明では、リモートコントローラRMを、リモコンRMとも呼ぶ。
Then, the
これにより制御部2は、リモコンRMの操作等に応じて、デジタル系アンテナ7によって受信したデジタル放送信号をデジタルチューナ部8に取り込む。
As a result, the
デジタルチューナ部8は、デジタル系アンテナ7からデジタル放送信号を取り込みながら、当該デジタル放送信号から任意のチャンネル(例えば、リモコンRMの操作により指定されたチャンネル)の放送データを抽出する。 The digital tuner unit 8 extracts broadcast data of an arbitrary channel (for example, a channel designated by an operation of the remote controller RM) from the digital broadcast signal while taking in the digital broadcast signal from the digital system antenna 7.
またデジタルチューナ部8は、デジタル放送信号から抽出している放送データを、ストリームバッファ9を介して番組単位の番組データとしてハードディスクドライブ3に記録する。このようにして制御部2は、デジタル系放送の番組を録画することができる。
The digital tuner unit 8 records broadcast data extracted from the digital broadcast signal on the hard disk drive 3 as program data in units of programs via the stream buffer 9. In this way, the
また制御部2は、リモコンRMの操作等に応じて、アナログ系アンテナ10によって受信したアナログ放送信号をアナログチューナ部11に取り込む。
Further, the
アナログチューナ部11は、アナログ系アンテナ10からアナログ放送信号を取り込みながら、当該アナログ放送信号から任意のチャンネルの放送信号を抽出して、当該抽出した放送信号を復調器12に送出する。
The analog tuner unit 11 extracts a broadcast signal of an arbitrary channel from the analog broadcast signal while taking in the analog broadcast signal from the
復調器12は、放送信号をNTSC(National Television Standards Committee)規格に準じて復調することによりNTSC信号を生成し、当該生成したNTSC信号をMPEG(Moving Picture Experts Group)エンコーダ13に送出する。
The
MPEGエンコーダ13は、NTSC信号をMPEG規格に準じてエンコードすることでエンコードデータを生成すると共に、当該生成したエンコードデータを、ストリームバッファ9を介して番組単位の番組データとしてハードディスクドライブ3に記録する。このようにして制御部2は、アナログ系放送の番組も録画することができる。
The
さらに制御部2は、リモコンRMの操作等に応じて、ハードディスクドライブ3から番組データを読み出してストリームバッファ9を介してデマルチプレクサ14に送出する。
Further, the
ここで、番組の番組データは、番組映像の映像データと、番組音声の音声データとが時分割多重化されて構成されている。因みに、番組映像の映像データは、時間的に連続な複数フレームの画像データから構成されている。 Here, the program data of the program is configured by time-division multiplexing video data of program video and audio data of program audio. Incidentally, the video data of the program video is composed of a plurality of frames of image data continuous in time.
また番組の番組データは、例えば、番組映像にクローズドキャプションと呼ばれる字幕が重畳される場合、その字幕のテキストデータも映像データ及び音声データと共に時分割多重化されて構成されている。 The program data of a program is configured, for example, when a caption called closed caption is superimposed on a program video, the text data of the caption is time-division multiplexed together with video data and audio data.
さらに番組データを構成する映像データ及び音声データ(またテキストデータ)には、番組の放送時間の時間軸に沿って、当該映像データ及び音声データ(またテキストデータ)の再生を同期させるための時間情報としてのタイムコードが付加されている。 Furthermore, the video data and audio data (or text data) constituting the program data includes time information for synchronizing the reproduction of the video data and audio data (or text data) along the time axis of the broadcast time of the program. Is added as a time code.
デマルチプレクサ14は、番組データを映像データと音声データ(またテキストデータタ)とに分離して、これらをAV(Audio Visual)デコーダ15に送出する。
The
AVデコーダ15は、映像データ及び音声データ(またテキストデータ)それぞれをデコード(すなわち、復号)した後、デジタルアナログ変換することにより映像信号及び音声信号(またテキスト信号)を生成する。
The
そしてAVデコーダ15は、その映像信号(及びテキスト信号)をGUI(Graphical User Interface)重畳器16に送出する。
Then, the
GUI重畳器16は、映像信号にOSD(On Screen Display)等のグラフィックス信号(またテキスト信号)を重畳して、その映像信号を、番組録画装置1にビデオケーブル等を介して外部接続されたディスプレイ17に送出する。
The
またAVデコーダ15は、音声信号を、番組録画装置1にオーディオケーブル等を介して外部接続されたスピーカ18に送出する。
The
これにより制御部2は、ディスプレイ17に対し映像信号に基づく番組映像を表示すると共に、その番組映像の表示に合せてスピーカ18から音声信号に基づく番組音声を出力する。このようにして制御部2は、録画した番組を視聴させることができる。
Thereby, the
さらにデジタルチューナ部8は、デジタル放送信号から抽出した任意のチャンネルの放送データをデマルチプレクサ19にも送出する。
Further, the digital tuner unit 8 sends broadcast data of an arbitrary channel extracted from the digital broadcast signal to the
デマルチプレクサ19は、放送データから電子番組案内情報を抽出して、これをデジタル系放送の電子番組案内情報として不揮発性メモリ4に記録する。
The
ここで、電子番組案内情報が各チャンネルで別々に配信されている場合、デマルチプレクサ19は、デジタル系アンテナ7で受信可能な各チャンネルの放送データから電子番組案内情報を抽出して、不揮発性メモリ4に記録する。
Here, when the electronic program guide information is distributed separately for each channel, the
さらにアナログチューナ部11は、アナログ放送信号から、電子番組案内情報を配信している所定のチャンネルの放送信号を抽出し、当該抽出した放送信号を復調器12に送出する。
Further, the analog tuner unit 11 extracts a broadcast signal of a predetermined channel that distributes the electronic program guide information from the analog broadcast signal, and sends the extracted broadcast signal to the
この際、復調器12は、放送信号をもとにNTSC信号を生成して、当該生成したNTSC信号をVBI(Vertical Blanking Interval)スライサ20に送出する。
At this time, the
VBIスライサ20は、NTSC信号から、これに含まれる映像信号を分離すると共に、当該映像信号から、電子番組案内情報が格納されている垂直帰線期間部分を切り出してEPGデコーダ21に送出する。
The
EPGデコーダ21は、映像信号から切り出された垂直帰線期間部分をデコードすることで電子番組案内情報を得て、これをアナログ系放送の電子番組案内情報として不揮発性メモリ4に記録する。このようにして制御部2は、アナログ系放送及びデジタル系放送の電子番組案内情報を取得する。
The
因みに、電子番組案内情報には、例えば、現時点からむこう1週間に放送予定の番組毎の番組情報として、放送局名、放送日時、番組タイトル、ジャンル、番組概要、番組詳細、出演者名等が記述されている。 Incidentally, the electronic program guide information includes, for example, broadcast station name, broadcast date / time, program title, genre, program overview, program details, performer name, etc. as program information for each program scheduled to be broadcast in the next week from now. is described.
制御部2は、不揮発性メモリ4から電子番組案内情報を読み出し、当該読み出した電子番組案内情報をもとに、放送予定の複数の番組の放送スケジュールを表にした番組表の画面データ(以下、これを番組表画面データとも呼ぶ)を生成する。また制御部2は、その番組表画面データをRAM(Random Access Memory)22に送出して一時記録する。
The
そしてGUI重畳器16は、制御部2の制御のもと、RAM22から番組表画面データを読み出して番組表画面信号を生成しディスプレイ17に送出する。これにより制御部2は、ディスプレイ17に番組表画面信号に基づき、アナログ系放送やデジタル系放送の番組表画面を表示することができる。
Then, under the control of the
制御部2は、リモコンRMの操作等により、ディスプレイ17に表示している番組表画面上で任意の番組が選択され視聴予約が指示されると、選択された番組の番組情報(放送局名及び放送日時等)を利用して、番組の視聴日時等を示す視聴予約情報を生成する。
When an arbitrary program is selected on the program guide screen displayed on the
そして制御部2は、その視聴予約情報を、例えば不揮発性メモリ4に記録することにより、視聴予約の指示された番組を視聴予約する。
Then, the
また制御部2は、リモコンRMの操作等により、ディスプレイ17に表示している番組表画面上で任意の番組が選択され録画予約が指示されると、選択された番組の番組情報(放送局名及び放送日時等)を利用して、番組の録画日時等を示す録画予約情報を生成する。
When an arbitrary program is selected on the program guide screen displayed on the
そして制御部2は、その録画予約情報を、例えば不揮発性メモリ4に記録することにより、録画予約の指示された番組を録画予約する。
Then, the
因みに、制御部2は、番組を録画した場合、その番組の番組情報を番組データと共にハードディスクドライブ3に記録する。
Incidentally, when the
さらに制御部2は、リモコンRMの操作等に応じて、図示しないネットワーク機器(例えば、サーバ)から配信される各種データを、ネットワーク端子23及びネットワークコントローラ24を順次介して受信してハードディスクドライブ3に記録する。
Further, the
さらに制御部2は、リモコンRMの操作等に応じて、ハードディスクドライブ3から各種データを読み出すと共に、当該読み出した各種データを、ネットワークコントローラ24及びネットワーク端子23を順次介してネットワーク機器に送信する。このようにして制御部2は、ネットワーク機器との間で各種データの送受を行うこともできる。
Further, the
さらに制御部2は、リモコンRMの操作等に応じて、各種画面データを生成して、当該生成した各種画面データをRAM22に送出して一時記録する。
Furthermore, the
そしてGUI重畳器16は、制御部2の制御のもと、RAM22から各種画面データを読み出して画面信号を生成しディスプレイ17に送出する。これにより制御部2は、ディスプレイ17に画面信号に基づき、各種画面(録画番組一覧画面等)を表示する。
The
ところで上述したアナログ系放送やデジタル系放送の番組としては、スポーツの野球やサッカーのような種目(以下、これをスポーツ種目とも呼ぶ)の試合を中継するための番組がある。 By the way, the analog broadcast and digital broadcast programs described above include programs for relaying sports such as sports baseball and soccer (hereinafter also referred to as sports events).
またアナログ系放送やデジタル系放送の番組としては、一日や一週間のような所定期間に行われた複数のスポーツ種目の試合のハイライトシーンのような種々のシーンを、当該スポーツ種目毎にダイジェストとしてまとめて放送するための番組もある。 In addition, for analog broadcasting and digital broadcasting programs, various scenes such as highlight scenes of games of a plurality of sports events performed for a predetermined period such as one day or one week are displayed for each sport event. There is also a program for broadcasting as a digest.
因みに、以下の説明では、スポーツ種目の試合を中継するための番組を、中継番組とも呼び、当該中継番組の番組データを、中継番組データとも呼ぶ。 Incidentally, in the following description, a program for relaying a sport-type game is also called a relay program, and program data of the relay program is also called relay program data.
また、以下の説明では、スポーツ種目毎に、その試合の種々のシーンをダイジェストとしてまとめて放送するための番組を、ダイジェスト番組とも呼び、当該ダイジェスト番組の番組データを、ダイジェスト番組データとも呼ぶ。 Further, in the following description, for each sport item, a program for broadcasting various scenes of the game together as a digest is also referred to as a digest program, and the program data of the digest program is also referred to as digest program data.
図2に示すように、ダイジェスト番組は、放送時間の時間軸に沿って、野球やサッカーのような種々のスポーツ種目のダイジェストと、番組スポンサのコマーシャルメッセージ(CM)とが所定の順番で並べられて構成されている。 As shown in FIG. 2, in the digest program, a digest of various sports such as baseball and soccer and a commercial message (CM) of the program sponsor are arranged in a predetermined order along the time axis of the broadcast time. Configured.
実際にダイジェスト番組は、当該ダイジェスト番組の先頭や後尾、途中等の所定位置にコマーシャルメッセージが挿入されて構成されている。 Actually, the digest program is configured by inserting a commercial message at a predetermined position such as the head, tail or middle of the digest program.
またダイジェスト番組において個々のスポーツ種目のダイジェストは、1又は複数のシーンから構成されており、個々のシーンは1又は複数のショットから構成されている。 In the digest program, the digest of each sport event is composed of one or a plurality of scenes, and each scene is composed of one or a plurality of shots.
一方、中継番組(図示せず)は、放送時間の時間軸に沿って、試合の中継部分と、番組スポンサのコマーシャルメッセージとが順次交互に並べられて構成されている。 On the other hand, a relay program (not shown) is configured such that a game relay portion and a program sponsor's commercial message are alternately arranged along a broadcast time axis.
実際に中継番組は、当該中継番組の先頭や後尾、途中等の所定位置にコマーシャルメッセージが挿入されて構成されている。 Actually, the relay program is configured by inserting a commercial message at a predetermined position such as the head, tail, or middle of the relay program.
また中継番組についても、試合の中継部分は1又は複数のシーンから構成されており、個々のシーンは1又は複数のショットから構成されている。 As for the relay program, the relay part of the game is composed of one or a plurality of scenes, and each scene is composed of one or a plurality of shots.
ここで、ダイジェスト番組や中継番組において個々のシーンは、例えば、テレビジョンカメラを切り換えずに1つのテレビジョンカメラで撮影され続けた一場面の先頭から後尾まである。 Here, the individual scenes in the digest program and the relay program are, for example, from the beginning to the end of one scene that is continuously photographed by one television camera without switching the television camera.
またダイジェスト番組や中継番組において個々のショットは、1つのシーンの中でテレビジョンカメラのパンニングやズームによりアングルが変化し始めた時点から、再びパンニングやズームによりアングルが変化し始める時点までの場面である。 In addition, each shot in a digest program or a relay program is a scene from the time when the angle starts to change due to panning or zooming of the television camera in one scene to the time when the angle starts to change again due to panning or zooming. is there.
よってダイジェスト番組や中継番組では、上述のように1つのシーンの中に複数のショットが含まれる(すなわち、複数のショットにより1つのシーンが構成される)場合がある。 Therefore, in a digest program or a relay program, as described above, a plurality of shots may be included in one scene (that is, one scene is constituted by a plurality of shots).
またダイジェスト番組や中継番組では、1つのシーンの中でアングルがほとんど変化しないと、当該1つのシーンがそのまま1つのショットになる場合もある。 In addition, in a digest program or a relay program, if the angle hardly changes in one scene, the one scene may become one shot as it is.
因みに、コマーシャルメッセージは、15秒や30秒、45秒等のように予め決められた種々の放送時間の中から、任意に選択された放送時間で制作されている。 Incidentally, the commercial message is produced at a broadcast time arbitrarily selected from various broadcast times determined in advance such as 15 seconds, 30 seconds, 45 seconds, and the like.
ところで、番組録画装置1には、例えば、当該番組録画装置1の製造メーカにより、ダイジェスト番組データにおいてスポーツ種目と共に、当該スポーツ種目のダイジェスト部分を識別するための識別モデルが予め構築されている。
By the way, in the
すなわち、言い換えれば、番組録画装置1には、ダイジェスト番組内の個々のダイジェストが、何れのスポーツ種目のダイジェストであるかを識別するための識別モデルが予め構築されている。
That is, in other words, in the
実際に番組録画装置1の製造メーカにより、当該番組録画装置1に識別モデルを予め構築するには、例えば、コンピュータ装置のようなモデル構築装置(図示せず)が用いられる。
In order to actually build an identification model in advance in the
モデル構築装置は、すでに放送された中継番組の中継番組データから映像データを分離し、当該映像データからコマーシャルメッセージ部分を削除する。 The model construction device separates the video data from the relay program data of the broadcast program already broadcast, and deletes the commercial message portion from the video data.
そしてモデル構築装置は、そのコマーシャルメッセージ部分を削除した映像データ(以下、これをコマーシャル削除映像データとも呼ぶ)を構成する複数フレームの画像データからそれぞれ特徴量(以下、これを画像特徴量とも呼ぶ)を抽出する。 Then, the model construction apparatus respectively includes feature amounts (hereinafter also referred to as image feature amounts) from a plurality of frames of image data constituting the video data from which the commercial message portion has been deleted (hereinafter also referred to as commercial deleted video data). To extract.
またモデル構築装置は、オペレータに中継番組の内容を実際に視聴させて当該中継番組で中継されていた試合のスポーツ種目を指定させる。 In addition, the model construction apparatus causes the operator to actually view the contents of the relay program and to specify the sport item of the game being relayed on the relay program.
さらにモデル構築装置は、その中継番組の画像特徴量を、オペレータによって指定されたスポーツ種目と対応付けるようにしてデータベースに登録する。 Further, the model construction apparatus registers the image feature amount of the relay program in the database so as to be associated with the sport item designated by the operator.
そしてモデル構築装置は、スポーツ種目毎にある程度の数の画像特徴量を蓄積すると、その画像特徴量を学習データとして用いて所定の学習アルゴリズムで演算処理を実行することにより、スポーツ種目の識別に用いる識別関数を求める。 When the model construction apparatus accumulates a certain number of image feature quantities for each sport event, the model construction apparatus uses the image feature quantities as learning data and executes arithmetic processing using a predetermined learning algorithm, thereby using the sport feature identification. Find the discriminant function.
モデル構築装置は、識別関数を求めると、当該識別関数を、番組録画装置1の例えば、ハードディスクドライブ3に記憶させる。
When the model construction device obtains the discriminant function, it stores the discriminant function in, for example, the hard disk drive 3 of the
またモデル構築装置は、番組録画装置1の例えば、ハードディスクドライブ3に、その識別関数を用いてダイジェスト番組データのダイジェスト部分毎に、当該ダイジェストのスポーツ種目を識別するための種目識別プログラムも記憶させる。
The model construction device also stores, for example, a discriminating program for discriminating the sporting event of the digest for each digest portion of the digest program data using the discriminant function in the hard disk drive 3 of the
このようにしてモデル構築装置は、番組録画装置1において、録画したダイジェスト番組のダイジェスト番組データにおいてスポーツ種目と共に、当該スポーツ種目のダイジェスト部分を識別するための識別モデルを予め構築している。
In this way, the model construction device pre-constructs an identification model for identifying the sport event and the digest part of the sport event in the digest program data of the recorded digest program in the
そして番組録画装置1の制御部2は、ディスプレイ17に表示した、アナログ系放送やデジタル系放送の番組表画面上でダイジェスト番組の録画予約が指示されると、上述したように録画予約情報を生成して当該ダイジェスト番組を録画予約する。
When the recording reservation of the digest program is instructed on the analog broadcast or digital broadcast program guide screen displayed on the
そして制御部2は、現在日時が録画予約情報の示すダイジェスト番組の放送日時に到達したことを検出すると、上述と同様にハードディスクドライブ3にダイジェスト番組データを記録するようにしてダイジェスト番組を録画する。
When the
制御部2は、例えば、ダイジェスト番組の録画が完了すると、図3に示すように、ダイジェスト番組の映像データを構成する複数フレームの画像データを用いて、当該画像データ毎にスポーツ種目を識別する画像単位識別処理を実行する。
For example, when the recording of the digest program is completed, the
この場合、制御部2は、ハードディスクドライブ3から当該ダイジェスト番組のダイジェスト番組データを読み出してストリームバッファ9を介してデマルチプレクサ14に送出する。
In this case, the
この際、デマルチプレクサ14は、例えば、ダイジェスト番組データから映像データ及び音声データを分離して、これら映像データ及び音声データをAVデコーダ15に送出する。
At this time, for example, the
またAVデコーダ15は、デマルチプレクサ14から与えられた映像データ及び音声データをデコード(すなわち、復号)した後、制御部2に送出する。
Further, the
制御部2は、AVデコーダ15からダイジェスト番組の映像データ及び音声データが与えられると、例えば、その音声データのデータレベルに基づき、当該音声データの先頭から後尾にわたり無音位置をタイムコードとして順次検出する。
When the video data and audio data of the digest program are given from the
また制御部2は、音声データの先頭から後尾にわたり順次検出したタイムコードに基づき、順次前後2つの無音位置間の時間を検出して、当該検出した時間をもとに、個々のコマーシャルメッセージ部分の先頭位置及び後尾位置のタイムコードを検出する。
In addition, the
そして制御部2は、その検出したコマーシャルメッセージ部分の先頭位置及び後尾位置のタイムコードをもとに、ダイジェスト番組の映像データから、コマーシャルメッセージ部分を削除してコマーシャル削除映像データを生成する。
Then, the
さらに制御部2は、コマーシャル削除映像データから、その先頭から後尾にわたり、例えば0.5秒のような比較的短い所定時間間隔で順次1フレームの画像データを抜き出す。
Further, the
そして制御部2は、コマーシャル削除映像データから順次抜き出した1フレームの画像データ(以下、これを抜出画像データとも呼ぶ)から、当該抜出画像データの画像特徴量を抽出する。
Then, the
実際に制御部2は、抜出画像データに対して間引き処理を施すと共に、個々の画素に対する彩度を変更することにより、当該抜出画像データに基づくフレーム画像よりもサイズの小さい白黒の縮小画像の縮小画像データを生成する。
Actually, the
また制御部2は、抜出画像データをグレースケールの画像データに変換した後、当該画像データに基づく画像を複数のブロックに分割する。
The
さらに制御部2は、そのブロック毎に当該ブロック内のエッジ部分の1又は複数箇所で当該エッジ部分の輝度勾配ベクトル(明るさの変化の方向を表すベクトル)を算出する。
Furthermore, the
そして制御部2は、ブロック毎に最大の値を示す輝度勾配ベクトルを検出し、全てのブロックで検出した輝度勾配ベクトルのヒストグラム(以下、これを輝度勾配ヒストグラムとも呼ぶ)を算出する。
Then, the
このようにして制御部2は、抜出画像データから、当該抜出画像データに基づくフレーム画像の絵の形状の特徴を数値化して抽出し、当該フレーム画像の絵の形状の特徴を表す画像特徴量としての縮小画像データ及び輝度勾配ヒストグラムを生成する。
In this way, the
さらに制御部2は、抜出画像データに基づき、当該抜出画像データに基づくフレーム画像内の明度(Y)及び色差(Cb、Cr)の分布を表す16ビンのヒストグラム(以下、これを明度色差ヒストグラムとも呼ぶ)を算出する。
Further, the
さらに制御部2は、抜出画像データに基づくフレーム画像を複数のブロックに分割し、そのブロック毎に色空間としての色相、彩度及び輝度の3次元ヒストグラムを算出する。
Further, the
そして制御部2は、そのブロック毎に3次元ヒストグラムの算出結果に基づき、最も度数の高い色を当該ブロックの代表色として検出し、全てのブロックで検出した代表色をまとめた代表色データを生成する。
The
このようにして制御部2は、抜出画像データから、当該抜出画像データに基づくフレーム画像の色の特徴を数値化して抽出し、当該フレーム画像の色の特徴を表す画像特徴量としての明度色差ヒストグラム及び代表色データも生成する。
In this way, the
そして制御部2は、複数の抜出画像データから、このような種々の画像特徴量を抽出し終えると、ハードディスクドライブ3から上述した識別関数を読み出す。
When the
また制御部2は、その識別関数に順次1つの抜出画像データの画像特徴量を変数として代入すると共に、当該1つの抜出画像データの画像特徴量を変数として代入した識別関数の演算を実行する。
Further, the
これにより制御部2は、抜出画像データ毎に、当該抜出画像データに基づくフレーム画像が個々のスポーツ種目として、それぞれどの程度確からしいかを百分率で表す割合(以下、これを確からしさ率とも呼ぶ)を算出する。
As a result, the
そして制御部2は、抜出画像データ毎に、その算出結果をもとに、最も確からしい(すなわち、確からしさ率が最も高い)1つのスポーツ種目を、当該抜出画像データに基づくフレーム画像のスポーツ種目とする。
Then, for each extracted image data, the
すなわち、制御部2は、抜出画像データ毎に、当該抜出画像データに基づくフレーム画像が何れのスポーツ種目のダイジェストのフレーム画像であるかを識別する。そして制御部2は、全ての抜出画像データについてスポーツ種目を識別すると、画像単位識別処理を終了する。
That is, for each extracted image data, the
また制御部2は、画像単位識別処理においてコマーシャル削除映像データから抜出画像データを抜き出すと、当該画像単位識別処理と並行に、ダイジェスト番組内のショット毎にスポーツ種目を識別するショット単位識別処理も実行する。
In addition, when the extracted image data is extracted from the commercial deleted video data in the image unit identification process, the
図3及び図4に示すように、制御部2は、ショット単位識別処理を開始すると、複数の抜出画像データFD1のうち再生時間軸に沿って順次前後2つの抜出画像データFD1の対応する画素の値を比較し、当該前後2つの抜出画像データFD1の類似度を算出する。
As shown in FIGS. 3 and 4, when the shot unit identification process is started, the
因みに、かかる類似度は、例えば、前後2つの抜出画像データFD1各々に基づく2つのフレーム画像の絵が似ているほど高い値を示し、当該前後2つの抜出画像データFD1各々に基づく2つのフレーム画像の絵が異なるほど低い値を示す。 Incidentally, for example, the degree of similarity indicates a higher value as the pictures of two frame images based on the two extracted front and rear extracted image data FD1 are similar to each other. The lower the value, the different the picture of the frame image.
そして制御部2は、その類似度に基づき、コマーシャル削除映像データVD1において、ダイジェスト番組の番組映像における個々のショット部分の先頭位置及び後尾位置を、それぞれ抜出画像データFD1に付加されているタイムコードとして順次検出する。
Then, based on the degree of similarity, the
実際に制御部2は、コマーシャル削除映像データVD1の先頭の抜出画像データFD1の位置や、互いの類似度が所定の閾値よりも低い前後2つの抜出画像データFD1のうち後側の抜出画像データFD1の位置を個々のショット部分の先頭位置として検出する。
Actually, the
また制御部2は、互いの類似度が所定の閾値よりも低い前後2つの抜出画像データFD1のうち前側の抜出画像データFD1の位置や、コマーシャル削除映像データVD1の後尾の抜出画像データFD1の位置を、個々のショット部分の後尾位置として検出する。
The
そして図3及び図5に示すように、制御部2は、個々のショット部分の先頭位置及び後尾位置のタイムコードに基づき、当該ショット部分に含まれる(すなわち、ショット部分の先頭位置から後尾位置までに位置する)複数の抜出画像データFD1を判別する。
As shown in FIGS. 3 and 5, the
また制御部2は、ショット部分毎に、当該ショット部分の複数の抜出画像データについて識別したスポーツ種目を集計して、これら複数の抜出画像データについて最も多く識別したスポーツ種目を、当該ショット部分のスポーツ種目にする。
Further, the
すなわち、制御部2は、コマーシャル削除映像データのショット部分毎に、当該ショット部分に基づくショット(すなわち、映像)が、何れのスポーツ種目のダイジェスト内のショットであるかを識別する。そして制御部2は、全てのショット部分についてスポーツ種目を識別すると、ショット単位識別処理を終了する。
That is, for each shot portion of the commercial-deleted video data, the
このようにして制御部2は、ダイジェスト番組データにおいてスポーツ種目を識別すると共に、当該スポーツ種目のダイジェスト部分をショット単位で識別する。
In this way, the
ところで、図6に示すように、制御部2は、個々のショット部分についてスポーツ種目を識別し終えると、再生時間軸に沿って順次前後2つのショット部分について識別したスポーツ種目を比較する。
By the way, as shown in FIG. 6, when the
また制御部2は、その比較結果に基づいて、コマーシャル削除映像データVD1の先頭から後尾にわたり、同一のスポーツ種目であると識別したショット部分の連続の有無を検出する。
Further, the
その結果、制御部2は、同一のスポーツ種目であると識別した複数のショット部分が再生時間軸に沿って連続している場合、当該連続する複数のショット部分を、当該スポーツ種目のダイジェスト部分として1つの再生区間に設定する。
As a result, when the plurality of shot portions identified as the same sport event are continuous along the playback time axis, the
また制御部2は、何れかのスポーツ種目であると識別したショット部分が単独で存在する場合、当該ショット部分をそのまま、当該スポーツ種目のダイジェスト部分として1つの再生区間に設定する。
In addition, when there is a shot part that is identified as any sport event, the
さらに制御部2は、再生区間毎に、当該再生区間の先頭位置及び後尾位置と、その再生区間の再生により視聴可能なダイジェストのスポーツ種目とを示す再生区間情報を生成する。
Further, for each playback section, the
そして制御部2は、再生区間毎の再生区間情報を、コマーシャル削除映像データVD1の先頭から後尾にわたって再生区間を検出した順番でリスト化して示す種目別再生区間リストを生成する。
Then, the
因みに、以下の説明では、再生区間の先頭位置(すなわち、イン点)を、再生開始位置とも呼び、当該再生区間の後尾位置(すなわち、アウト点)を、再生終了位置とも呼ぶ。 Incidentally, in the following description, the beginning position (that is, the In point) of the playback section is also referred to as a playback start position, and the tail position (that is, the Out point) of the playback section is also referred to as a playback end position.
実際に制御部2は、連続する複数のショット部分を1つの再生区間とした場合、当該再生区間の再生開始位置を、その再生区間内で最も前に位置する1つのショット部分の先頭位置とする。
Actually, when a plurality of continuous shot portions are set as one playback section, the
また制御部2は、連続する複数のショット部分を1つの再生区間とした場合、当該再生区間の再生終了位置を、その再生区間内で最も後に位置する1つのショット部分の後尾位置とする。
In addition, when a plurality of continuous shot portions are set as one playback section, the
これに対して制御部2は、1つのショット部分をそのまま1つの再生区間とした場合、当該再生区間の再生開始位置及び再生終了位置を、そのショット部分の先頭位置及び後尾位置とする。
On the other hand, when one shot portion is directly used as one playback section, the
そして制御部2は、再生区間情報において再生開始位置や再生終了位置を、対応する抜出画像データに付加されているタイムコードで記述する。
Then, the
このようにして制御部2は、種目別再生区間リストを生成すると、当該種目別再生区間リストをハードディスクドライブ3に送出し、このときスポーツ種目の識別に用いていたダイジェスト番組データに対応付けて記録する。
When the
ところで、制御部2は、録画したダイジェスト番組についてダイジェストのスポーツ種目を識別した後、ユーザによりリモコンRMを介して当該ダイジェスト番組の再生が指示され、所望のスポーツ種目が指定されると、ハードディスクドライブ3からダイジェスト番組データと、これに対応付けている種目別再生区間リストとを読み出す。
By the way, the
また制御部2は、ダイジェスト番組データについてはストリームバッファ9を介してデマルチプレクサ14に送出し、当該デマルチプレクサ14においてダイジェスト番組データから映像データ及び音声データ(またテキストデータ)を分離させてAVデコーダ15に送出させる。
The
さらに制御部2は、このとき種目別再生区間リストに含まれる複数の再生区間情報の内容を、その並びの順番に従って順次確認するようにして、ユーザにより指定された所望のスポーツ種目と同一のスポーツ種目を示す再生区間情報を検索する。そして制御部2は、その検索した再生区間情報の示す再生開始位置及び再生終了位置をAVデコーダ15に通知する。
Further, at this time, the
これによりAVデコーダ15は、デマルチプレクサ14から与えられた映像データ及び音声データ(またテキストデータ)において再生開始位置から再生終了位置までの再生区間をデコード(すなわち、復号)した後、デジタルアナログ変換することにより再生区間映像信号及び再生区間音声信号(また再生区間テキスト信号)を生成する。
As a result, the
そしてAVデコーダ15は、その再生区間映像信号(及び再生区間テキスト信号)をGUI重畳器16に送出する。
Then, the
GUI重畳器16は、再生区間映像信号にグラフィックス信号(また再生区間テキスト信号)を重畳して、その再生区間映像信号をディスプレイ17に送出する。またAVデコーダ15は、再生区間音声信号をスピーカ18に送出する。
The
これにより制御部2は、ディスプレイ17に再生区間映像信号に基づきダイジェスト番組内の所望のスポーツ種目のダイジェストの映像を表示すると共に、その表示に合せてスピーカ18から再生区間音声信号に基づき当該ダイジェストの音声を出力する。
As a result, the
このようにして制御部2は、録画したダイジェスト番組において、所望のスポーツ種目のダイジェストのみを視聴させることができる。
In this manner, the
かかる構成に加えて、この番組録画装置1の場合、制御部2は、予め構築されている識別モデルを適宜、再構築し得るようになされている。
In addition to such a configuration, in the case of this
制御部2は、例えば、番組録画装置1を始めて起動させたとき、RAM22に予め記憶している所望のスポーツ種目を入力させるための種目入力画面データを、GUI重畳器16を介してディスプレイ17に送出する。
For example, when the
これにより制御部2は、ディスプレイ17に対し、その種目入力画面データに基づく種目入力画面(図示せず)を表示する。
As a result, the
ここで、種目入力画面には、複数のスポーツ種目の名称を入力するための複数の名称入力欄が設けられている。そして種目入力画面には、スポーツ種目毎の名称入力欄に、例えば、「野球」や「やきゅう」、「ベースボール」、「Baseball」等のように、1つのスポーツ種目の名称を漢字や平仮名、カタカナ、ローマ字等のように表記を変えて複数入力し得るようになされている。 Here, the item input screen has a plurality of name input fields for inputting names of a plurality of sports items. On the event input screen, in the name input field for each sport event, the name of one sport event such as “baseball”, “Yakyu”, “baseball”, “Baseball”, etc. is written in kanji or hiragana. , Katakana, romaji, etc., so that you can change the notation and input multiple items.
また種目入力画面には、例えば、「プロ野球」や「高校野球」、「オリンピックの野球」のような1つのスポーツ種目の詳細な分類の名称を、1つのスポーツ種目とみなして、1つのスポーツ種目の名称入力欄に入力することもできる。 In addition, on the event input screen, for example, a name of a detailed classification of one sport event such as “professional baseball”, “high school baseball”, and “Olympic baseball” is regarded as one sport event, and one sport is recorded. It can also be entered in the event name input field.
さらに種目入力画面には、これら「プロ野球」や「高校野球」、「オリンピックの野球」のような1つのスポーツ種目の詳細な分類の名称を、別々のスポーツ種目とみなして、別々のスポーツ種目の名称入力欄に入力することもできる。 Furthermore, on the event input screen, the names of detailed classifications of one sport event such as “professional baseball”, “high school baseball”, and “Olympic baseball” are regarded as different sport events, and different sport events. It can also be entered in the name input field.
すなわち、種目入力画面は、ユーザに対し所望のスポーツ種目を、「野球」や「サッカー」のような大きな分類や、「プロ野球」や「高校野球」のような詳細な分類として選択させて入力させ得るようになされている。 In other words, the event input screen allows the user to select and input a desired sport event as a large category such as “baseball” or “soccer” or a detailed category such as “professional baseball” or “high school baseball”. It is made to be able to let you.
この状態で制御部2は、例えば、ユーザによりリモコンRMを介して種目入力画面上で1又は複数の所望のスポーツ種目の名称が入力されると、当該入力されたスポーツ種目の名称の単語一覧表を作成する。そして制御部2は、その単語一覧表を例えば、不揮発性メモリ4に記録する。
In this state, for example, when the user inputs the name of one or a plurality of desired sport items on the event input screen via the remote controller RM, the
制御部2は、不揮発性メモリ4に単語一覧表を記録すると、例えば、不揮発性メモリ4に記録している電子番組案内情報を更新する毎に、当該不揮発性メモリ4から、その更新した電子番組案内情報を読み出すと共に、その際に単語一覧表も読み出す。
When the
そして制御部2は、単語一覧表に掲載している所望のスポーツ種目の名称を、電子番組案内情報内の番組情報と比較するようにして、ユーザにより指定されていた所望のスポーツ種目の中継番組に関する番組情報を探し出す。
Then, the
制御部2は、このようにしてユーザにより指定されていた所望のスポーツ種目の中継番組の番組情報を探し出すと、その番組情報に基づいて上述と同様に録画予約情報を生成するようにして、当該中継番組を自動的に録画予約する。
When the
この状態で制御部2は、現在日時が録画予約情報の示す所望のスポーツ種目の中継番組の放送日時に到達したことを検出すると、上述と同様にハードディスクドライブ3に中継番組データと番組情報とを対応付けて記録するようにして、その中継番組を録画する。
In this state, when the
このようにして制御部2は、録画予約情報に従い、所望のスポーツ種目の中継番組を順次録画する。ただし制御部2は、所望のスポーツ種目の中継番組の録画を始めると、その後、順次録画する所望のスポーツ種目の中継番組の中で、例えば、録画の順番が偶数番目となる中継番組と当該録画の順番が奇数番目となる中継番組とを区別可能にする。
In this way, the
すなわち、制御部2は、録画の順番が偶数番目となる所望のスポーツ種目の中継番組を録画する場合、ハードディスクドライブ3に中継番組データと共に、後述するデータベースの構築に利用することを示す構築利用識別情報も送出する。そして制御部2は、ハードディスクドライブ3に対し、その中継番組データと構築利用識別情報とを対応付けて記録する。
That is, the
また制御部2は、録画の順番が奇数番目となる所望のスポーツ種目の中継番組を録画する場合、ハードディスクドライブ3に中継番組データと共に、後述する所望のスポーツ種目の識別精度の確認に利用することを示す精度確認用識別情報も送出する。そして制御部2は、ハードディスクドライブ3に対し、その中継番組データと精度確認用識別情報とを対応付けて記録する。
In addition, when recording a relay program of a desired sport type in which the recording order is an odd number, the
このようにして制御部2は、録画の順番が偶数番目の中継番組を録画すると、図7に示すように、ハードディスクドライブ3から構築利用識別情報をもとに、その偶数番目に録画した当該中継番組の中継番組データを検出して、対応する番組情報と共に読み出す。
In this way, when recording the even-numbered relay program, the
そして制御部2は、その中継番組データを、ストリームバッファ9を介してデマルチプレクサ14に送出する。
Then, the
この際、デマルチプレクサ14は、例えば、中継番組データから映像データ及び音声データを分離して、これら映像データ及び音声データをAVデコーダ15に送出する。
At this time, for example, the
またAVデコーダ15は、デマルチプレクサ14から与えられた映像データ及び音声データをデコード(すなわち、復号)した後、制御部2に送出する。
Further, the
制御部2は、AVデコーダ15から中継番組の映像データ及び音声データが与えられると、例えば、上述したダイジェスト番組データにおいてスポーツ種目を識別する場合と同様に、当該中継番組の映像データからコマーシャル削除映像データを生成する。
When the video data and audio data of the relay program are given from the
また制御部2は、上述したダイジェスト番組データにおいてスポーツ種目を識別する場合と同様に、そのコマーシャル削除映像データから複数の抜出画像データを順次抜き出すと共に、その抜出画像データ毎に種々の画像特徴量を抽出する。
The
さらに制御部2は、このとき番組情報に基づき、このとき画像特徴量の抽出に用いた中継番組(すなわち、このとき録画した中継番組)のスポーツ種目の名称を検出する。
Further, based on the program information at this time, the
そして制御部2は、抜出画像データ毎の画像特徴量を、スポーツ種目の名称を示す種目情報と共にハードディスクドライブ3に送出する。
Then, the
これにより制御部2は、抜出画像データ毎の画像特徴量を、種目情報と対応付けて画像特徴量管理用のデータベースに登録するようにして、抜出画像データ毎の画像特徴量を種目情報と共にハードディスクドライブ3に記録する。
Thus, the
因みに、以下の説明では、抜出画像データ毎の画像特徴量を種目情報と対応付けて登録する画像特徴量管理用のデータベースを、特徴量データベースとも呼ぶ。 Incidentally, in the following description, an image feature quantity management database that registers image feature quantities for each extracted image data in association with item information is also referred to as a feature quantity database.
このようにして制御部2は、録画の順番が偶数番目の中継番組を録画する毎に、当該中継番組の抜出画像データから画像特徴量を抽出し、その画像特徴量を種目情報に対応付けて特徴量データベースに登録するようにして、当該特徴量データベースを構築する。
In this way, every time an even-numbered relay program is recorded, the
因みに、制御部2は、電子番組案内情報の更新に応じて自動的に中継番組を録画予約した場合には、その録画予約情報に対し、当該制御部2による自動的な録画予約であることを示す識別情報(以下、これを自動予約識別情報とも呼ぶ)を付加している。
Incidentally, when the
また制御部2は、ユーザによるリモコンRMの操作に応じて中継番組の録画予約が指示されると、不揮発性メモリ4から単語一覧表を読み出す。
The
さらに制御部2は、単語一覧表と、その録画予約が指示された中継番組の番組情報とに基づき、当該中継番組が、ユーザにより指定されていた所望のスポーツ種目の中継番組であるか否かを判別する。
Further, the
その結果、制御部2は、録画予約が指示された中継番組が、所望のスポーツ種目の中継番組であると、すでに自動的に録画予約していた中継番組の録画予約情報の中から、当該録画予約が指示された中継番組の録画予約情報を探し出す。
As a result, if the relay program for which recording reservation is instructed is a relay program of a desired sport type, the
そして制御部2は、その探し出した録画予約情報に対し、すでに付加していた自動予約識別情報に代えて、ユーザの指示に応じた録画予約であることを示す識別情報(以下、これをユーザ予約識別情報とも呼ぶ)を付加し直す。
Then, the
この状態で制御部2は、録画予約情報に従い所望のスポーツ種目の中継番組を録画すると、その録画した中継番組の録画予約情報に付加していた自動予約識別情報やユーザ予約識別情報も、ハードディスクドライブ3に送出し中継番組データに対応付けて記録する。
In this state, when the
これにより制御部2は、所望のスポーツ種目の中継番組を録画した場合、ユーザによる録画予約の指示と、当該制御部2による自動的な録画予約との何れに従って、その中継番組を録画したのかを判別し得るようにしている。
Thus, when the relay program of the desired sport type is recorded, the
そして制御部2は、特徴量データベースに画像特徴量を種目情報と対応付けて登録する毎に、その画像特徴量の抽出に用いた中継番組を、ユーザによる録画予約の指示と自動的な録画予約との何れに従って録画したのかを判別する。
Each time the
その結果、制御部2は、画像特徴量の抽出に用いた中継番組を、ユーザによる録画予約の指示に応じて録画していると、この後、ユーザにより削除が指示されるまでの間、その中継番組の中継番組データをハードディスクドライブ3に記録したままにする。
As a result, when the relay program used to extract the image feature value is recorded in accordance with the recording reservation instruction from the user, the
これに対して制御部2は、画像特徴量の抽出に用いた中継番組を、自動的な録画予約に従い録画していると、特徴量データベースに対する画像特徴量の登録が完了した時点に、当該中継番組の中継番組データをハードディスクドライブ3から自動的に消去する。
On the other hand, when the relay program used to extract the image feature amount is recorded in accordance with the automatic recording reservation, the
これにより制御部2は、ハードディスクドライブ3の空容量が無駄に減らないようにして、所望のスポーツ種目の中継番組が放送される毎に、その中継番組をほぼ確実に録画し得るようにしている。
As a result, the
ところで制御部2は、例えば、単語一覧表を記録すると、そのときの日時から、識別モデルを利用した所望のスポーツ種目の識別精度を定期的に確認するために予め選定された2週間又は3週間等のような所定期間を経たときの日時(以下、これを精度確認日時とも呼ぶ)を算出する。
By the way, for example, when the word list is recorded, the
また制御部2は、単語一覧表を記録したときの日時から、識別モデルを定期的に再構築するために、予め精度確認用の所定期間によりも長く選定された3ヶ月又は半年等のような所定期間を経たときの日時(以下、これを再構築実行日時とも呼ぶ)も算出する。
In addition, the
そして制御部2は、その精度確認日時を示す精度確認日時情報と、再構築実行日時を示す再構築実行日時情報とを、例えば不揮発性メモリ4に記録する。
Then, the
制御部2は、現在日時が精度確認日時情報の示す精度確認日時に到達すると、識別精度確認処理を開始する。
When the current date / time reaches the accuracy check date / time indicated by the accuracy check date / time information, the
この際、図8に示すように、制御部2は、ハードディスクドライブ3から精度確認用識別情報をもとに、録画の順番が奇数番目の1つの中継番組の中継番組データを、対応する番組情報と共に読み出す。そして制御部2は、その中継番組データを、ストリームバッファ9を介してデマルチプレクサ14に送出する。
At this time, as shown in FIG. 8, the
この際、デマルチプレクサ14は、例えば、中継番組データから映像データ及び音声データを分離して、これら映像データ及び音声データをAVデコーダ15に送出する。
At this time, for example, the
またAVデコーダ15は、デマルチプレクサ14から与えられた映像データ及び音声データをデコード(すなわち、復号)した後、制御部2に送出する。
Further, the
制御部2は、AVデコーダ15から映像データ及び音声データが与えられると、上述したダイジェスト番組データにおいてスポーツ種目を識別する場合と同様に、当該映像データからコマーシャル削除映像データを生成する。
When the video data and the audio data are given from the
また制御部2は、上述したダイジェスト番組データにおいてスポーツ種目を識別する場合と同様に、そのコマーシャル削除映像データから複数の抜出画像データを順次抜き出すと共に、その抜出画像データ毎に種々の画像特徴量を抽出する。
The
さらに制御部2は、上述したダイジェスト番組データにおいてスポーツ種目を識別する場合と同様に、ハードディスクドライブ3から識別関数を読み出すと共に、その識別関数に順次1つの抜出画像データの画像特徴量を変数として代入して演算を実行する。
Further, the
これにより制御部2は、抜出画像データ毎に、当該抜出画像データに基づくフレーム画像に対する個々のスポーツ種目の確からしさ率を算出し、その算出結果をもとに、当該抜出画像データに基づくフレーム画像のスポーツ種目を識別する。
Thereby, the
また制御部2は、この際、上述したダイジェスト番組データにおいてスポーツ種目を識別する場合と同様に、コマーシャル削除映像データにおいて、中継番組の番組映像における個々のショット部分を検出する。
At this time, the
そして制御部2は、その検出したショット部分毎に複数の抜出画像データについて識別したスポーツ種目を集計して当該ショット部分のスポーツ種目も識別する。
And the
ところで制御部2は、コマーシャル削除映像データにおいて個々のショット部分のスポーツ種目を識別すると、当該ショット部分毎に識別したスポーツ種目を集計する。
By the way, if the
その結果、制御部2は、これら複数のショット部分について最も多く識別したスポーツ種目を、コマーシャル削除映像データのスポーツ種目にする。すなわち、制御部2は、録画の順番が奇数番目であった中継番組のスポーツ種目を識別する。
As a result, the
また制御部2は、このときハードディスクドライブ3から中継番組データと共に読み出していた番組情報に基づき、その録画の順番が奇数番目であった中継番組の本来のスポーツ種目(すなわち、正解のスポーツ種目)を検出する。
Further, the
さらに制御部2は、その中継番組の本来のスポーツ種目と、当該中継番組に対して識別したスポーツ種目とを比較して、その中継番組に対しスポーツ種目を正しく識別し得たか否かを判定する。
Further, the
制御部2は、このように1つの中継番組に対するスポーツ種目の識別の良否を判定すると、引き続きハードディスクドライブ3から、録画の順番が奇数番目であった他の1つの中継番組の番組データも、対応する番組情報と共に読み出す。
When the
制御部2は、この場合も同様に中継番組のスポーツ種目を識別し、所望のスポーツ種目を正しく識別し得たか否かを判定する。
In this case as well, the
すなわち、制御部2は、ハードディスクドライブ3から、録画の順番が奇数番目であった他の中継番組の番組データと、対応する番組情報とを順次読み出すようにして、同様に中継番組のスポーツ種目を識別して、その識別の良否を判定する。
That is, the
このようにして制御部2は、例えば、この時点までにハードディスクドライブ3に記録していた、録画の順番が奇数番目の全ての中継番組についてスポーツ種目の識別の良否を判別し終えると、その判定結果を集計する。
In this way, for example, when the
すなわち、制御部2は、所望のスポーツ種目を正しく識別し得た中継番組の個数を、録画の順番が奇数番目であった中継番組の全数で除算するようにして、当該所望のスポーツ種目の識別に対する正解率(以下、これを識別正解率とも呼ぶ)を算出する。
That is, the
また制御部2は、その識別正解率を、予め選定された規定正解率と比較する。その結果、制御部2は、所望のスポーツ種目に対する識別正解率が規定正解率以上であると、現在の識別モデルによる所望のスポーツ種目の識別精度が規定以上であるとして、識別モデルの再構築を見送り、識別精度確認処理を終了する。
Moreover, the
これに対して制御部2は、所望のスポーツ種目に対する識別正解率が規定正解率よりも低いと、現在の識別モデルによる所望のスポーツ種目の識別精度が規定よりも低下しているとして、一旦は識別精度確認処理を終了するものの、引き続き再構築処理を開始する。
On the other hand, if the identification accuracy rate for the desired sport item is lower than the specified accuracy rate, the
この際、図9に示すように、制御部2は、ハードディスクドライブ3から、その時点までに蓄積していた(すなわち、特徴量データベースに登録していた)全ての画像特徴量を、種目情報に従い所望のスポーツ種目毎に読み出す。
At this time, as shown in FIG. 9, the
また制御部2は、ハードディスクドライブ3から、所望のスポーツ種目毎の画像特徴量の読み出しに合せて、特徴量データベースに登録した種目情報も順次読み出す。
Further, the
そして制御部2は、例えば、サポートベクターマシン(SVM:Support Vector Machine)と呼ばれるクラス分類手法を利用し、サポートベクターライブラリ(LIBSVM)と呼ばれるソフトウェアに従い、スポーツ種目毎の画像特徴量を当該スポーツ種目の名称を示す種目情報と共に学習データとして用いて演算処理を実行する。
The
これにより制御部2は、画像特徴量に基づき、所望のスポーツ種目は識別し、例えば所望のスポーツ種目とは異なるスポーツ種目については、その他として識別するように学習して、その学習結果を反映させた所望のスポーツ種目識別用の識別関数を生成する。
Thereby, the
これにより制御部2は、新たな識別モデルを仮構築する。ここで、識別モデルの仮構築とは、新たに生成した識別関数をスポーツ種目の識別に用いることができるものの、再構築前の(すなわち、現在の)識別モデルの識別関数もスポーツ種目の識別に用いることができることを示す。
Thereby, the
すなわち、識別モデルの仮構築とは、新たに識別関数を生成しても、再構築前の識別モデルの識別関数を、その新たな識別関数に更新してはいないこと、言い換えると、再構築前の識別モデルを、新たな識別モデルに更新してはいないことを示す。 In other words, provisional construction of an identification model means that, even if a new identification function is generated, the identification function of the identification model before reconstruction is not updated to the new identification function, in other words, before reconstruction. This indicates that the identification model has not been updated to a new identification model.
そして制御部2は、仮構築した識別モデルを利用して(すなわち、新たに生成した識別関数を用いて)、上述した識別精度確認処理と同様の処理を実行する。
And the
これにより制御部2は、このとき生成した識別関数を用いて、実際に複数の中継番組のスポーツ種目を識別し、その識別結果をもとに、所望のスポーツ種目に対する識別正解率を算出する。
Thereby, the
ただし制御部2は、このときには特に、前段の識別精度確認処理で算出していた識別正解率を一時的に規定正解率に設定して、予め選定されていた規定正解率に替えて、当該一時的に設定した規定正解率を、識別精度の良否の判定に用いる。
However, at this time, the
すなわち、制御部2は、新たな識別関数を用いてスポーツ種目を識別するようにして得た所望のスポーツ種目に対する識別正解率を、その一時的に設定した規定正解率と比較するようにして、当該所望のスポーツ種目の識別精度の良否を判定する。
That is, the
その結果、制御部2は、所望のスポーツ種目の識別精度が規定以上(すなわち、識別正解率が一時的に設定した規定正解率以上)であると、このとき生成した識別関数をハードディスクドライブ3に送出して、すでに記録していた識別関数に上書きするように記録する。
As a result, if the identification accuracy of the desired sport item is not less than a specified value (that is, the identification accuracy rate is not less than the specified accuracy rate temporarily set), the
すなわち、制御部2は、再構築前の識別モデルを仮構築していた識別モデルに更新することにより、識別モデルを再構築して、再構築処理を終了する。
That is, the
これに対して制御部2は、所望のスポーツ種目の識別精度が規定よりも低下している(すなわち、識別正解率が一時的に設定した規定正解率よりも小さい)と、このとき生成した識別関数を破棄して、再構築処理を終了する。
On the other hand, if the identification accuracy of the desired sport item is lower than the regulation (that is, the identification accuracy rate is smaller than the temporarily specified accuracy rate), the
すなわち、制御部2は、再構築前の識別モデルを、仮構築していた識別モデルには更新せずに、当該再構築前の識別モデルを、その後も所望のスポーツ種目の識別に利用する。
In other words, the
ところで制御部2は、識別モデルの再構築を見送るようにして識別精度確認処理を終了すると、当該終了したときの日時から、再び所定期間を経たときの精度確認日時を算出する。
By the way, when the identification accuracy confirmation process is terminated so as to forego the reconstruction of the identification model, the
また制御部2は、その新たに算出した精度確認日時を示す精度確認日時情報を不揮発性メモリ4に送出して、すでに記録していた精度確認日時情報に上書きするように記録し、かくして精度確認日時を更新する。
Further, the
これに対して制御部2は、識別精度確認処理に引き続き再構築処理を実行した場合は、その再構築処理が終了すると、当該終了したときの日時から、再び所定期間を経たときの精度確認日時を算出する。
On the other hand, when the reconstruction process is executed subsequent to the identification accuracy confirmation process, the
また制御部2は、その新たに算出した精度確認日時を示す精度確認日時情報を不揮発性メモリ4に送出して、すでに記録していた精度確認日時情報に上書きするように記録し、かくして精度確認日時を更新する。
Further, the
そして制御部2は、現在日時が、更新した精度確認日時に到達すると、再び上述と同様に識別精度確認処理を実行する。このようにして制御部2は、識別精度確認処理を定期的に実行し、その処理結果に応じて、適宜、再構築処理も実行して識別モデルを再構築する。
When the current date and time reaches the updated accuracy confirmation date and time, the
また制御部2は、現在日時が再構築実行日時情報の示す再構築実行日時に到達すると、図9について上述した場合と同様の再構築処理を実行する。
Further, when the current date / time reaches the rebuild execution date / time indicated by the rebuild execution date / time information, the
ただし、制御部2は、この際、所望のスポーツ種目の識別に対する識別正解率を算出すると、当該算出した識別正解率を、予め選定されていた規定正解率と比較するようにして、当該所望のスポーツ種目の識別精度の良否を判定する。
However, at this time, when the
その結果、制御部2は、所望のスポーツ種目の識別精度が規定以上(すなわち、識別正解率が、予め選定されていた規定正解率以上)であると、このとき生成した識別関数をハードディスクドライブ3に送出して、すでに記録していた識別関数に上書きするように記録する。
As a result, if the identification accuracy of the desired sport item is not less than a specified value (that is, the identification accuracy rate is not less than the pre-specified accuracy rate selected in advance), the
すなわち、制御部2は、再構築前の識別モデルを仮構築していた識別モデルに更新することにより、識別モデルを再構築して、再構築処理を終了する。
That is, the
これに対して制御部2は、所望のスポーツ種目の識別精度が規定よりも低下している(すなわち、識別正解率が、予め選定されていた規定正解率よりも小さい)と、このとき生成した識別関数を破棄して、再構築処理を終了する。
On the other hand, the
すなわち、制御部2は、再構築前の識別モデルを、仮構築していた識別モデルには更新せずに、当該再構築前の識別モデルを、その後も所望のスポーツ種目の識別に利用する。
In other words, the
そして制御部2は、再構築処理が終了すると、当該終了したときの日時から、再び所定期間を経たときの再構築実行日時を算出する。
Then, when the rebuilding process ends, the
また制御部2は、その新たに算出した再構築実行日時を示す再構築実行日時情報を不揮発性メモリ4に送出して、すでに記録していた再構築実行日時情報に上書きするように記録し、かくして再構築実行日時を更新する。
Further, the
よって制御部2は、現在日時、更新した再構築実行日時に到達すると、再び上述と同様に再構築処理を実行する。このようにして制御部2は、再構築処理を定期的に実行して、適宜、識別モデルを再構築する。
Therefore, when the
ところで、制御部2は、再構築処理が終了すると、その時点にハードディスクドライブ3から中継番組データの画像特徴量を消去するようにして特徴量データベースを一旦初期化する。
By the way, when the reconstruction process ends, the
そして制御部2は、再び所望のスポーツ種目の中継番組を自動的に録画予約し、これに応じて中継番組を録画しながら、上述と同様にして特徴量データベースを再構築する。
Then, the
これにより制御部2は、再構築処理を実行すると、その後は、古い中継番組は用いずに、最近の(すなわち、新たに録画した)中継番組を用いて、所望のスポーツ種目の識別精度の確認や識別モデルの新たな再構築を実行している。
As a result, when the reconstructing process is executed, the
因みに、制御部2は、識別モデルを再構築した後に、ダイジェスト番組を録画すると、図3について上述した場合と同様に画像単位識別処理を実行する。
Incidentally, when the digest unit is recorded after reconstructing the identification model, the
これにより制御部2は、ハードディスクドライブ3から、そのダイジェスト番組の番組データを読み出すようにして、コマーシャル削除映像データを生成する。
Thereby, the
また制御部2は、そのコマーシャル削除映像データから複数の抜出画像データを順次抜き出すと共に、その抜出画像データ毎に種々の画像特徴量を抽出する。
The
さらに制御部2は、ハードディスクドライブ3から、識別関数を読み出すと共に、その識別関数に順次1つの抜出画像データの画像特徴量を変数として代入して演算を実行する。
Further, the
これにより制御部2は、抜出画像データ毎に、当該抜出画像データに基づくフレーム画像に対する所望のスポーツ種目及びその他のスポーツ種目の確からしさ率を算出し、その算出結果をもとに、当該抜出画像データに基づくフレーム画像のスポーツ種目を識別する。
Thereby, the
また制御部2は、この際、上述と同様にショット単位識別処理も実行することにより、コマーシャル削除映像データにおいて個々のショット部分を検出する。
At this time, the
そして図10に示すように、制御部2は、その検出したショット部分毎に複数の抜出画像データについて識別した所望のスポーツ種目及びその他のスポーツ種目を集計して当該ショット部分のスポーツ種目を識別する。
And as shown in FIG. 10, the
このようにして図11に示すように、制御部2は、再構築した識別モデルを利用して、ダイジェスト番組データにおいて所望のスポーツ種目と共に当該所望のスポーツ種目のダイジェスト部分を精度良く識別することができる。
Thus, as shown in FIG. 11, the
なお、この実施の形態の場合、制御部2は、ユーザにより所望のスポーツ種目が指定され不揮発性メモリ4に単語一覧表を記録しても、リモコンRMの操作により種目入力画面を表示するように要求されると、ディスプレイ17に種目入力画面を再び表示する。
In the case of this embodiment, the
この状態で制御部2は、ユーザによりリモコンRMが操作され、その種目入力画面上で1又は複数の所望のスポーツ種目の名称が改めて入力されると、当該入力されたスポーツ種目の名称の単語一覧表を作成する。
In this state, when the remote controller RM is operated by the user and the name of one or a plurality of desired sport events is newly input on the event input screen, the
そして制御部2は、その単語一覧表を不揮発性メモリ4に送出して、すでに記録していた単語一覧表に上書きするように記録し、かくして単語一覧表を更新する。
Then, the
制御部2は、このように単語一覧表を更新すると、ハードディスクドライブ3から、その時点までに蓄積していた画像特徴量を消去するようにして、特徴量データベースを一旦初期化する。
When the word list is updated in this way, the
そして制御部2は、その更新した単語一覧表に従い、改めて指定された所望のスポーツ種目の中継番組を自動的に録画予約し、これに応じて中継番組を録画しながら、上述と同様にして特徴量データベースを再構築する。また制御部2は、その再構築した特徴量データベースを用いて上述と同様に識別モデルを再構築する。
Then, the
これにより制御部2は、ユーザのスポーツ種目に対する好みが変化しても、これに対応して、改めて指定された所望のスポーツ種目を識別し得るように識別モデルを再構築することができる。
Thereby, even if a user's liking with respect to a sporting event changes, the
次いで、図12及び図13に示すフローチャートを用いて、上述した一連の識別モデル再構築処理について説明する。 Next, the series of identification model reconstruction processes described above will be described using the flowcharts shown in FIGS. 12 and 13.
制御部2は、番組録画装置1を始めて起動すると(又はユーザにより種目入力画面の表示が要求されると)、ハードディスクドライブ3又は不揮発性メモリ4に予め記憶している識別モデル再構築プログラムに従って図12に示す識別モデル再構築処理手順RT1を開始する。因みに、識別モデル再構築プログラムは、上述した種目識別プログラムを含んで構成されている。
When the
制御部2は、かかる識別モデル再構築処理手順RT1を開始すると、ステップSP1においてディスプレイ17に種目入力画面を表示する。
When starting the identification model reconstruction processing procedure RT1, the
この状態で制御部2は、種目入力画面上で所望のスポーツ種目の名称が入力されると、当該入力されたスポーツ種目の名称の単語一覧表を作成すると共に、当該作成した単語一覧表を不揮発性メモリ4に記録して、次のステップSP2に移る。
In this state, when a name of a desired sport event is input on the event input screen, the
ステップSP2において制御部2は、特徴量データベースを構築するデータベース構築処理を実行する。すなわち、制御部2は、ステップSP2に移ると、図13に示すデータベース構築処理サブルーチンSRT1を開始する。
In step SP2, the
制御部2は、かかるデータベース構築処理サブルーチンSRT1を開始すると、ステップSP21において、不揮発性メモリ4に記録している電子番組案内情報の更新時に、所望のスポーツ種目の中継番組に対する録画予約情報を生成する。
When starting the database construction processing subroutine SRT1, the
そして制御部2は、その録画予約情報に従い、所望のスポーツ種目の中継番組を録画して、次のステップSP22に移る。
And the
ステップSP22において制御部2は、録画した中継番組の複数の抜出画像データから画像特徴量を抽出して、次のステップSP23に移る。
In step SP22, the
ステップSP23において制御部2は、所望のスポーツ種目の中継番組において抽出した画像特徴量を、当該中継番組のスポーツ種目の名称を示す種目情報と共にハードディスクドライブ3に送出する。
In step SP23, the
そして制御部2は、複数の画像特徴量を、種目情報と対応付けて特徴量データベースに登録するようにしてハードディスクドライブ3に記録することにより、当該特徴量データベースを構築して、次のステップSP24に移る。
Then, the
ステップSP24において制御部2は、データベース構築処理サブルーチンSRT1を終了する。このようにして制御部2は、データベース構築処理サブルーチンSRT1を終了すると、識別モデル再構築処理手順RT1のステップSP3に移る。
In step SP24, the
ステップSP3において制御部2は、現在日時が精度確認日時に到達したか否かを判別する。このステップSP3において否定結果が得られると、このことは、所望のスポーツ種目に対する定期的な識別精度の確認時期ではないために、当該所望のスポーツ種目の識別精度は確認しないことを表している。制御部2は、ステップSP3において、かかる否定結果を得ると、ステップSP4に移る。
In step SP3, the
ステップSP4において制御部2は、現在日時が再構築実行日時に到達したか否かを判別する。このステップSP4において否定結果が得られると、このことは、識別モデルに対する定期的な再構築の実行時期ではないため、識別モデルの再構築は実行しないことを表している。制御部2は、ステップSP4において、かかる否定結果を得ると、ステップSP2に戻る。
In step SP4, the
よって制御部2は、この後、ステップSP3やステップSP4において肯定結果を得るまでの間は、ステップSP2乃至ステップSP4の処理を繰り返し実行する。
Therefore, after that, the
これにより制御部2は、所望のスポーツ種目の中継番組を録画する毎に、当該中継番組の画像特徴量を種目情報と対応付けて特徴量データベースに登録するようにして、画像特徴量を蓄積する。
Thus, each time a desired sports event relay program is recorded, the
ところでステップSP3において肯定結果が得られると、このことは、所望のスポーツ種目に対する定期的な識別精度の確認時期となったため、当該所望のスポーツ種目の識別精度を確認することを表している。制御部2は、ステップSP3において、かかる肯定結果を得ると、ステップSP5に移る。
By the way, if a positive result is obtained in step SP3, this means that the identification accuracy of the desired sport event is confirmed because it is the time for periodically identifying the accuracy of the desired sport event. If the
また上述のステップSP4において肯定結果が得られると、このことは、識別モデルに対する定期的な再構築の実行時期となったため、識別モデルの再構築を実行することを表している。制御部2は、ステップSP4において、かかる肯定結果を得ると、ステップSP8に移る。
If a positive result is obtained in step SP4 described above, this means that it is time to periodically rebuild the identification model, and therefore the identification model is rebuilt. When the
ステップSP5において制御部2は、現在の識別モデルを利用して、所望のスポーツ種目の中継番組において複数の抜出画像データから画像特徴量を抽出すると共に、当該抽出した画像特徴量をもとに当該中継番組のスポーツ種目を識別する。
In step SP5, the
また制御部2は、同様に所望のスポーツ種目の他の複数の中継番組についてもスポーツ種目を順次識別して、次のステップSP6に移る。
Similarly, the
ステップSP6において制御部2は、複数の中継番組に対するスポーツ種目の識別結果をもとに、所望のスポーツ種目の識別正解率を算出して、次のステップSP7に移る。
In step SP6, the
ステップSP7において制御部2は、その識別正解率をもとに、所望のスポーツ種目の識別精度が規定よりも低下しているか否かを判別する。
In step SP7, the
このステップSP7において否定結果が得られると、このことは、例えば、所望のスポーツ種目の中継番組において試合撮影用のアングルが未だ変更されてはいないため、現在の識別モデルを利用しても、所望のスポーツ種目を正しく識別し得ることを表している。制御部2は、このステップSP7において、かかる否定結果を得ると、ステップSP2に戻る。
If a negative result is obtained in this step SP7, this means that, for example, the angle for shooting the game has not been changed in the desired sports-type relay program, so even if the current identification model is used, This means that the sports event can be correctly identified. If the
またステップSP7において肯定結果が得られると、このことは、例えば、所望のスポーツ種目の中継番組において試合撮影用のアングルが変更され、現在の識別モデルを利用したのでは、所望のスポーツ種目を正しく識別し難い可能性があることを表している。制御部2は、このステップSP7において、かかる肯定結果を得ると、次のステップSP8に移る。
If an affirmative result is obtained in step SP7, this means that, for example, the angle for shooting a game is changed in a relay program for a desired sport event, and the desired sport event is correct if the current identification model is used. Indicates that it may be difficult to identify. If the
ステップSP8において制御部2は、その時点までに構築した特徴量データベース内の画像特徴量と、対応する所望のスポーツ種目の名称とを利用して、新たな識別関数を生成することで、識別モデルを仮構築して、次のステップSP9に移る。
In step SP8, the
ステップSP9において制御部2は、所望のスポーツ種目の中継番組において複数の抜出画像データから画像特徴量を抽出すると共に、仮構築した識別モデルを利用して、その画像特徴量を用いて当該中継番組のスポーツ種目を識別する。
In step SP9, the
また制御部2は、同様に所望のスポーツ種目の他の複数の中継番組についてもスポーツ種目を順次識別して、次のステップSP10に移る。
Similarly, the
ステップSP10において制御部2は、仮構築した識別モデルを利用して複数の中継番組について識別したスポーツ種目の識別結果をもとに、所望のスポーツ種目の識別正解率を算出して、次のステップSP11に移る。
In step SP10, the
ステップSP11において制御部2は、その識別正解率をもとに、所望のスポーツ種目の識別精度が規定以上であるか否かを判別する。
In step SP11, the
このステップSP11において否定結果が得られると、このことは、例えば、試合撮影用のアングルの変更後よりも、当該アングルの変更前の画像特徴量をより多く用いて新たな識別関数を生成したため、その識別関数では、当該アングルの変更後の中継番組の所望のスポーツ種目を正しく識別し難い可能性があることを表している。制御部2は、このステップSP11において、かかる否定結果を得ると、ステップSP13に移る。
If a negative result is obtained in this step SP11, this is because, for example, a new discriminant function is generated using more image feature values before the change of the angle than after the change of the angle for game shooting. The identification function indicates that it may be difficult to correctly identify the desired sport item of the relay program after the angle change. When the
またステップSP11において肯定結果が得られると、このことは、例えば、試合撮影用のアングルの変更前よりも、当該アングルの変更後の画像特徴量をより多く用いて新たな識別関数を生成したため、その識別関数を用いて、当該アングルの変更後の中継番組の所望のスポーツ種目を正しく識別し得ることを表している。制御部2は、このステップSP11において、かかる肯定結果を得ると、次のステップSP12に移る。
If a positive result is obtained in step SP11, this means that, for example, a new discriminant function is generated using more image feature amounts after the angle change than before the angle change for game shooting. It shows that the desired sport item of the relay program after the change of the angle can be correctly identified using the identification function. When the
ステップSP12において制御部2は、再構築前の識別モデルを仮構築した識別モデルに更新すことにより(すなわち、現在の識別モデルの識別関数を新たな識別関数に更新するすることで)、識別モデルを再構築して、次のステップSP13に移る。
In step SP12, the
ステップSP13において制御部2は、画像特徴量を消去するようにして特徴量データベースを一旦初期化して、ステップSP2に戻ることにより、ステップSP2乃至ステップSP13の処理を繰り返し実行する。
In step SP13, the
このようにして制御部2は、識別モデル再構築処理手順RT1を実行した場合、ステップSP1の処理を実行した後には、ステップSP2乃至ステップSP13の処理を繰り返し実行する。
In this way, when the identification model reconstruction processing procedure RT1 is executed, the
これにより制御部2は、例えば、所望のスポーツ種目の中継番組において試合を撮影するためのアングルが変更されても、アングルの変更後に蓄積していた画像特徴量を用いて、その変更を反映させるように識別モデルを再構築することができる。
As a result, for example, even if the angle for shooting a game in a desired sports-type relay program is changed, the
よって制御部2は、識別モデルを利用した所望のスポーツ種目の識別精度が低下すること低減させ得るようになされている。
Therefore, the
次いで、図14に示すフローチャートを用いて、ダイジェスト番組データにおいて所望のスポーツ種目のダイジェスト部分を選択的に再生するダイジェスト選択再生処理について説明する。 Next, a digest selection reproduction process for selectively reproducing a digest portion of a desired sport item in the digest program data will be described with reference to the flowchart shown in FIG.
制御部2は、例えば、ユーザによりリモコンRMを介してダイジェスト番組の再生が指示され、所望のスポーツ種目が指定されると、ハードディスクドライブ3に記憶しているダイジェスト選択再生プログラムに従って、図14に示すダイジェスト選択再生処理手順RT2を開始する。
When the user is instructed to play a digest program via the remote controller RM and a desired sport item is specified, the
制御部2は、かかるダイジェスト選択再生処理手順RT2を開始すると、ステップSP31においてハードディスクドライブ3からダイジェスト番組データと、これに対応付けている種目別再生区間リストとを読み出して、次のステップSP32に移る。
When the digest selection / playback processing procedure RT2 is started, the
ステップSP32において制御部2は、デマルチプレクサ14においてダイジェスト番組データから映像データ及び音声データ(またテキストデータ)を分離させてAVデコーダ15に供給させる。
In step SP32, the
また制御部2は、このとき種目別再生区間リストに含まれる複数の再生区間情報のうち、その並びの順番に従って1番目の再生区間情報の内容に基づき、当該再生区間情報が示す再生区間のスポーツ種目が所望のスポーツ種目であるか否かを判別する。
At this time, the
このステップSP32において否定結果が得られると、このことは、ダイジェスト番組データにおいて注目した1つの再生区間が所望のスポーツ種目とは異なる他のスポーツ種目の再生区間であることを表している。制御部2は、このステップSP32において、かかる否定結果を得ると、ステップSP33に移る。
If a negative result is obtained in this step SP32, this indicates that one playback section focused on the digest program data is a playback section of another sport type different from the desired sport type. If the
そしてステップSP33において制御部2は、種目別再生区間リストにおいて内容確認用の再生区間情報を、複数の再生区間情報の並びの順番に従って次の再生区間情報に切り換えて、ステップSP32に戻る。
In step SP33, the
このようにして制御部2は、この後、ステップSP32において肯定結果を得るまでの間は、ステップSP32及びステップSP33の処理を繰り返し実行する。
In this way, the
これにより制御部2は、種目別再生区間リストに含まれる複数の再生区間情報の内容を、その並びの順番に従って順次確認するようにして、所望のスポーツ種目を示す再生区間の再生区間情報を検索する。
As a result, the
そしてステップSP32において肯定結果が得られると、このことは、ダイジェスト番組データにおいて注目した1つの再生区間が所望のスポーツ種目の再生区間であることを表している。制御部2は、このステップSP32において、かかる肯定結果を得ると、次のステップSP34に移る。
If an affirmative result is obtained in step SP32, this indicates that one reproduction section focused on the digest program data is a reproduction section of a desired sport item. If the
ステップSP34において制御部2は、検索した再生区間情報が示す再生開始位置及び再生終了位置をAVデコーダ15に通知する。
In step SP34, the
よって制御部2は、AVデコーダ15においてダイジェスト番組データの映像データ及び音声データ(またテキストデータ)の再生開始位置から再生終了位置までの再生区間をもとに、再生区間映像信号及び再生区間音声信号(また再生区間テキスト信号)を生成して再生させる。
Therefore, the
これにより制御部2は、ディスプレイ17に再生区間映像信号に基づき、ダイジェスト番組内の所望のスポーツ種目のダイジェストの映像を表示させると共に、その表示に合せてスピーカ18から再生区間音声信号に基づき、当該ダイジェストの音声を出力させる。
As a result, the
このようにして制御部2は、ユーザに対しダイジェスト番組において、所望のスポーツ種目のダイジェストのみを視聴させて、次のステップSP35に移り、ダイジェスト選択再生処理手順RT2を終了する。
In this way, the
(1−2)実施の形態の動作及び効果
以上の構成において、番組録画装置1は、ユーザにより所望のスポーツ種目が指定されると、当該指定された所望のスポーツ種目の中継番組を順次録画すると共に、当該録画した中継番組の映像データに含まれる複数の抜出画像データから画像特徴量を抽出する。
(1-2) Operation and Effect of Embodiment In the above configuration, when a desired sports item is designated by the user, the
また番組録画装置1は、中継番組の複数の抜出画像データから抽出した画像特徴量を、当該中継番組のスポーツ種目の名称と対応付けて特徴量データベースに登録するようにして当該画像特徴量を構築する。
Further, the
さらに番組録画装置1は、現在日時が、識別モデルの再構築を実行する再構築実行日時に到達すると、特徴量データベースに対しその時点まで登録していた画像特徴量を所望のスポーツ種目の名称と共に用いて新たな識別関数を生成するようにして識別モデルを再構築する。
Further, when the current date / time reaches the reconstruction execution date / time for executing the reconstruction of the identification model, the
従って番組録画装置1は、例えば、所望のスポーツ種目の中継番組において試合を撮影するためのアングルが変更されても、当該アングルの変更された中継番組の複数の抜出画像データから抽出して蓄積していた画像特徴量を所望のスポーツ種目の名称と共に用いて識別モデルを再構築することができる。
Therefore, for example, even if the angle for shooting a game in a relay program of a desired sport type is changed, the
よって番組録画装置1は、所望のスポーツ種目の中継番組におけるアングルの変更に伴い、ダイジェスト番組における所望のスポーツ種目のダイジェストを構成するシーンのアングルが変更されても、ダイジェスト番組データにおいて所望のスポーツ種目と、当該所望のスポーツ種目のダイジェスト部分との識別精度が低下することを低減させることができる。
Therefore, the
以上の構成によれば、番組録画装置1は、所望のスポーツ種目の中継番組を順次録画して、当該中継番組の複数の画像データから画像特徴量を抽出し、その画像特徴量を所望のスポーツ種目の名称と対応付けて蓄積しておき、所定の時点に、それまで蓄積していた画像特徴量を所望のスポーツ種目の名称と共に用いて新たな識別関数を生成するようにして識別モデルを再構築するようにした。これにより番組録画装置1は、所望のスポーツ種目の中継番組において試合を撮影するためのアングルが変更されても、当該アングルの変更された中継番組の複数の画像データから抽出して蓄積していた画像特徴量を所望のスポーツ種目の名称と共に用いて識別モデルを再構築し、ダイジェスト番組データにおいて所望のスポーツ種目と、当該所望のスポーツ種目のダイジェスト部分との識別精度が低下することを低減させることができる。よって番組録画装置1は、識別モデルを利用してダイジェスト番組データにおいて所望のスポーツ種目と共に当該所望のスポーツ種目のダイジェスト部分を精度良く識別することができる。
According to the above configuration, the
また番組録画装置1は、識別モデルの再構築を実行する毎に、特徴量データベースを一旦初期化して、その時点までに蓄積していた画像特徴量を消去し、改めて所望の中継番組を録画しながら当該中継番組の画像特徴量を所望のスポーツ種目の名称と対応付けて蓄積するようにした。
Further, each time the identification model is reconstructed, the
これにより番組録画装置1は、識別モデルの再構築を実行するときに、古い中継番組の画像特徴量を用いて、所望のスポーツ種目の識別精度が低い識別モデルを無駄に仮構築することなく、所望のスポーツ種目の識別精度にアングルの変更をより迅速に反映させ易い、最近放送された中継番組の画像特徴量を用いて識別モデルを仮構築することができる。
Thereby, the
そして番組録画装置1は、このような識別モデルの再構築を定期的に実行するようにした。従って番組録画装置1は、所望のスポーツ種目の識別精度が低い識別モデルを、そのまま長期にわたり利用し続けることを防止することができる。
The
また番組録画装置1は、識別モデルの再構築の実行周期よりも短い周期で定期的に識別精度の確認も実行するようにした。従って番組録画装置1は、アングルの変更に伴い所望のスポーツ種目の識別精度が低下しても、その低下を極力早い時点に検出することができる。
In addition, the
そして番組録画装置1は、このように所望のスポーツ種目の識別精度が低下したことを検出すると、引き続き識別モデルの再構築を実行するようにした。よって番組録画装置1は、識別モデルの再構築の実行時期前でも、所望のスポーツ種目の識別精度が低下したことを検出したときには、識別モデルを再構築して所望のスポーツ種目の識別精度を向上させることができる。
Then, when the
さらに番組録画装置1は、再構築処理を実行して識別モデルを仮構築すると、当該仮構築した識別モデルを試験的に利用して、所望のスポーツ種目の複数の中継番組各々のスポーツ種目を識別すると共に、その所望のスポーツ種目の識別正解率を規定正解率と比較して当該識別正解率が規定正解率以上のときのみ(すなわち、識別精度が規定以上のときのみ)、再構築前の識別モデルを仮構築した識別モデルに更新して、かくして識別モデルを再構築するようにした。
Further, when the
従って番組録画装置1は、再構築処理を実行した場合に、再構築前(すなわち、現在)の識別モデルによる所望のスポーツ種目の識別精度を低下させるように、識別モデルを再構築することを回避することができる。すなわち、番組録画装置1は、識別モデルの再構築により、所望のスポーツ種目の識別精度が低下することを防止することができる。
Therefore, the
特に番組録画装置1は、識別モデルによる所望のスポーツ種目の識別精度を確認し、その結果、当該識別精度が規定よりも低下しているために、再構築処理を実行して識別モデルを仮構築したときには、その仮構築した識別モデルを試験的に利用して所望のスポーツ種目を識別して求めた識別正解率を、規定正解率として、先の識別精度の確認の際に求めていた識別正解率と比較する。
In particular, the
そして番組録画装置1は、識別正解率が規定正解率以上のときのみ、再構築前(すなわち、現在)の識別モデルを仮構築した識別モデルに更新して、かくして識別モデルを再構築するようにした。
The
従って番組録画装置1は、仮構築した識別モデルを試験的に利用して所望のスポーツ種目を識別したときの識別正解率が、予め規定された規定正解率より低くても、再構築処理に先立って求めていた識別正解率よりも高いと、再構築前の識別モデルによる所望のスポーツ種目の識別精度よりも、再構築後の識別モデルによる所望のスポーツ種目の識別精度を向上させることができる。
Therefore, the
さらにまた番組録画装置1は、中継番組の映像データからコマーシャルメッセージ部分を削除したうえで画像特徴量を抽出して、識別モデルの再構築に用いるようにした。
Furthermore, the
従って番組録画装置1は、所望のスポーツ種目の中継番組の映像データに含まれるコマーシャルメッセージ部分が識別関数の生成に影響して、所望のスポーツ種目の識別精度が低下することを未然に回避することができる。
Therefore, the
また番組録画装置1は、ダイジェスト番組についても映像データからコマーシャルメッセージ部分を削除したうえで画像特徴量を抽出して用いて、当該ダイジェスト番組データにおいて所望のスポーツ種目と共に、当該所望のスポーツ種目のダイジェスト部分を識別するようにした。
Further, the
よって番組録画装置1は、ダイジェスト番組データにおいて、所望のスポーツ種目の映像を使用して制作されたコマーシャルメッセージ部分を、所望のスポーツ種目のダイジェスト部分として誤って識別することを、確実に回避することができる。
Therefore, the
(2)他の実施の形態
(2−1)他の実施の形態1
なお上述した実施の形態においては、製造メーカにより番組録画装置1に対し予め識別モデルを構築した状態から、識別モデルを適宜再構築するようにした場合について述べた。
(2) Other embodiments (2-1)
In the above-described embodiment, the case where the identification model is appropriately reconstructed from the state in which the manufacturer has previously constructed the identification model for the
しかしながら本発明は、これに限らず、図15に示すように、例えば、番組録画装置1に対し何ら識別モデルを構築してはおかずに、当該番組録画装置1が始めて起動したときに、ユーザに所望のスポーツ種目を指定させ、その指定された所望のスポーツ種目の中継番組を録画しながら画像特徴量を蓄積する。
However, the present invention is not limited to this, and as shown in FIG. 15, for example, an identification model is not constructed for the
そして番組録画装置1は、所定期間が経過した時点、又はある程度の画像特徴量を蓄積したときに、その時点までに蓄積した画像特徴量を所望のスポーツ種目の名称と共に用いて識別関数を生成して識別モデルを構築するようにしても良い。
Then, the
また番組録画装置1は、このようにして識別モデルを構築した後には、上述した実施の形態と同様に、定期的に識別精度を確認し、また識別モデルの再構築を試みて、当該識別モデルを再構築するようにしても良い。
In addition, after constructing the identification model in this way, the
(2−2)他の実施の形態2
また上述した実施の形態においては、識別モデルの再構築に、所望のスポーツ種目の中継番組の画像特徴量を用いるようにした場合について述べた。
(2-2)
In the above-described embodiment, the case has been described in which the image feature amount of a desired sports event relay program is used for the reconstruction of the identification model.
しかしながら本発明は、これに限らず、識別モデルの再構築に、中継番組の特徴量として画像特徴量と共に、音声データから抽出した音声特徴量、字幕(クローズドキャプション)のテキストデータ、番組情報から抽出した出演者の名前、中継番組に関する詳細情報、放送時間や放送局名等のように、この他種々の情報を特徴量として用いることができる。 However, the present invention is not limited to this. For reconstructing the identification model, the image feature amount as the feature amount of the relay program, the audio feature amount extracted from the audio data, the caption data (closed caption) text data, and the program information are extracted. Various other information such as the name of the performer, detailed information on the relay program, broadcast time, broadcast station name, and the like can be used as the feature amount.
かかる構成の場合、番組録画装置1は、ダイジェスト番組を録画して所望のスポーツ種目を識別するときにも、当該ダイジェスト番組の画像特徴量と共に、音声データから抽出した音声特徴量、字幕(クローズドキャプション)のテキストデータ、番組情報から抽出した出演者の名前、中継番組に関する詳細情報、放送時間や放送局名等のように、この他種々の情報を特徴量として用いることができる。
In the case of such a configuration, the
(2−3)他の実施の形態3
さらに上述した実施の形態においては、所望のスポーツ種目の中継番組を録画して識別モデルの再構築に利用するようにした場合について述べた。
(2-3) Other Embodiment 3
Furthermore, in the above-described embodiment, a case has been described in which a relay program of a desired sport item is recorded and used for reconstruction of an identification model.
しかしながら本発明は、これに限らず、全てのスポーツ種目の中継番組を録画して識別モデルの再構築に利用するようにしても良い。 However, the present invention is not limited to this, and all sports program relay programs may be recorded and used to reconstruct the identification model.
かかる構成によれば、ユーザのスポーツ種目の好みが変化しても、その際にユーザに対し改めて所望のスポーツ種目を指定させて、中継番組を録画し直すことなく、ダイジェスト番組データにおいて、新たな所望のスポーツ種目と共に当該スポーツ種目のダイジェスト部分を識別することができる。 According to such a configuration, even if the user's preference for a sporting event changes, the user can again specify a desired sporting event and re-record the relay program without re-recording the relay program. The digest portion of the sport event can be identified along with the desired sport event.
(2−4)他の実施の形態4
さらに上述した実施の形態においては、定期的に識別精度を確認したうえで識別モデルの再構築を実行し、また定期的に識別モデルの再構築を実行するようにした場合について述べた。
(2-4)
Furthermore, in the above-described embodiment, the case has been described in which the identification model is reconstructed after periodically confirming the identification accuracy, and the identification model is reconstructed periodically.
しかしながら本発明は、これに限らず、所定量の画像特徴量を蓄積したときや、ユーザにより識別モデルの再構築を実行するように要求されたときに、これ応じて識別モデルの再構築を実行するようにしても良い。 However, the present invention is not limited to this. When a predetermined amount of image feature amount is accumulated or when the user requests to reconstruct the identification model, the identification model is reconstructed accordingly. You may make it do.
ところで、所定量の画像特徴量を蓄積したときに、これ応じて識別モデルの再構築を実行するような構成によれば、蓄積している画像特徴量が少なすぎて、所望のスポーツ種目を規定以上の識別精度で識別可能な識別モデルをなかなか再構築し得なくなることを防止することができる。 By the way, when a predetermined amount of image feature amount is accumulated, according to the configuration in which the identification model is reconstructed accordingly, the accumulated image feature amount is too small and the desired sport item is defined. It is possible to prevent the identification model that can be identified with the above identification accuracy from being easily reconstructed.
またユーザにより識別モデルの再構築を実行するように要求されたときに、これ応じて識別モデルの再構築を実行するような構成によれば、例えば、ユーザが中継番組を視聴してアングルの変更に築いたときに、識別モデルの再構築を実行することができ、アングルの変更に、より迅速に対応することができる。 In addition, when the user is requested to execute reconstruction of the identification model, according to the configuration in which the reconstruction of the identification model is performed accordingly, for example, the user changes the angle by watching the relay program When it is built, the identification model can be reconstructed, and the angle change can be dealt with more quickly.
(2−5)他の実施の形態5
さらに上述した実施の形態においては、映像データから順次抜出画像データを抜き出し、当該抜き出した抜出画像データから抽出した画像特徴量を、特徴量データベースの構築や所望のスポーツ種目の識別に用いるようにした場合について述べた。
(2-5) Other Embodiment 5
Further, in the above-described embodiment, the extracted image data is sequentially extracted from the video data, and the image feature amount extracted from the extracted extracted image data is used for the construction of the feature amount database and the identification of the desired sport item. I mentioned the case.
しかしながら本発明は、これに限らず、映像データを構成する複数フレームの画像データのうち、所定間隔又は連続する所定枚数の画像データを合成して1フレーム分の画像データを生成し、当該生成した画像データから抽出した画像特徴量を、特徴量データベースの構築や所望のスポーツ種目の識別に用いるようにしても良い。 However, the present invention is not limited to this, and the image data for one frame is generated by synthesizing a predetermined number of image data of a predetermined interval or a continuous number of image data among a plurality of frames of image data constituting the video data. You may make it use the image feature-value extracted from image data for the construction of a feature-value database, or identification of a desired sport item.
また本発明は、映像データを構成する全ての画像データそれぞれから抽出した画像特徴量を、特徴量データベースの構築や所望のスポーツ種目の識別に用いるようにしても良い。そして本発明は、これらの構成によっても、上述した実施の形態と同様に効果を得ることができる。 In the present invention, image feature amounts extracted from all the image data constituting the video data may be used for construction of feature amount databases and identification of desired sport items. The present invention can achieve the same effects as those of the above-described embodiments even with these configurations.
(2−6)他の実施の形態6
さらに上述した実施の形態においては、再構築処理を実行する毎に画像特徴量を消去するようにして特徴量データベースを一旦初期化するようにした場合について述べた。
(2-6)
Furthermore, in the above-described embodiment, the case has been described in which the feature amount database is temporarily initialized by deleting the image feature amount each time the reconstruction process is executed.
しかしながら本発明は、これに限らず、再構築処理を実行する毎に画像特徴量を消去して特徴量データベースを一旦初期化するのではなく、再構築処理を実行する毎に特徴量データベースをもとに現在に最も時点に登録した画像特徴量から順次過去に登録した所定数の画像特徴量を検索して識別関数の生成に用いるようにしても良い。 However, the present invention is not limited to this. Instead of deleting the image feature amount and initializing the feature amount database every time the reconstruction process is executed, the feature amount database is stored every time the reconstruction process is executed. In addition, a predetermined number of image feature amounts registered in the past may be sequentially searched from the image feature amount registered at the most current point in time and used for generation of an identification function.
(2−7)他の実施の形態7
さらに上述した実施の形態においては、再構築処理を実行したとき、所望のスポーツ種目の識別精度が規定より低いと、識別モデルの再構築を見送り、次の識別精度の確認時期や識別モデルの再構築時期を待ち受けるようにした場合について述べた。
(2-7) Other Embodiment 7
Further, in the above-described embodiment, when the reconstruction process is executed, if the identification accuracy of the desired sport item is lower than the specified level, the identification model is not reconstructed. The case where it waits for construction time was described.
しかしながら本発明は、これに限らず、再構築処理を実行したとき、所望のスポーツ種目の識別精度が規定より低いと、識別モデルの再構築を一旦は見送るものの、次の識別精度の確認時期や識別モデルの再構築時期を待ち受けずに、例えば、識別モデルの再構築を一旦は見送った時点から新たに中継番組を録画するようにして画像特徴量を蓄積し直し、ある程度の画像特徴量を蓄積した時点又は蓄積開始から数日又は1週間のように所定日時に達した時点に、その画像特徴量を用いて、改めて再構築処理を実行するようにしても良い。 However, the present invention is not limited to this, and when the reconstruction process is executed, if the identification accuracy of a desired sport item is lower than the specified level, the identification model is temporarily reconstructed. Without waiting for the reconstruction time of the identification model, for example, once the reconstruction of the identification model is postponed, the relay program is newly recorded to accumulate the image feature amount, and a certain amount of image feature amount is accumulated. The reconstruction processing may be executed again using the image feature amount at the time when the predetermined date and time is reached, such as several days or one week from the start of accumulation.
かかる構成によれば、再構築処理を実行したとき、所望のスポーツ種目の識別精度が規定より低いために識別モデルの再構築を見送っても、極力早い時点に識別モデルを再構築して、所望のスポーツ種目に対する識別精度を向上させることができる。 According to such a configuration, when the reconstruction process is executed, the identification model is reconstructed at the earliest possible point even if the identification model is not reconstructed because the identification accuracy of the desired sport item is lower than the specified level. It is possible to improve the identification accuracy for sports events.
(2−8)他の実施の形態8
さらに上述した実施の形態においては、識別モデルの再構築にサポートベクターマシンを利用するようにした場合について述べた。
(2-8) Other embodiment 8
Furthermore, in the above-described embodiment, the case where the support vector machine is used for the reconstruction of the identification model has been described.
しかしながら本発明は、これに限らず、ニューラルネットワークや隠れマルコムモデル等のように、この他種々のクラス分類手法を利用して識別モデルを構築及び再構築することができる。 However, the present invention is not limited to this, and an identification model can be constructed and reconstructed using various other classification methods such as a neural network and a hidden Malcolm model.
(2−9)他の実施の形態9
さらに上述した実施の形態においては、本発明による識別モデル再構築装置を、図1乃至図15について上述した番組録画装置1に適用するようにした場合について述べた。
(2-9) Other Embodiment 9
Further, in the above-described embodiment, the case where the identification model reconstructing apparatus according to the present invention is applied to the
しかしながら本発明は、これに限らず、番組の録画機能を有するコンピュータ装置や携帯電話機、PDA(Personal Digital Assistance )、ゲーム機器等の情報処理装置、またネットワークに接続され、識別モデルを構築して、すでに識別モデルを構築している他の装置に提供することにより、当該他の装置において識別モデルを再構築するサーバ装置等のように、この他種々の構成の識別モデル再構築装置に広く適用することができる。 However, the present invention is not limited to this, and is connected to an information processing device such as a computer device or mobile phone having a program recording function, a PDA (Personal Digital Assistance), a game device, or a network, and constructs an identification model, By providing it to other devices that have already constructed an identification model, it can be widely applied to identification model reconstruction devices of various other configurations, such as a server device that reconstructs an identification model in the other device. be able to.
(2−10)他の実施の形態10
さらに上述した実施の形態においては、本発明による識別モデル再構築プログラムを、図1乃至図15について上述した番組録画装置1のハードディスクドライブ3又は不揮発性メモリ4に予め記憶された識別モデル再構築プログラムに適用し、番組録画装置1の制御部2が、その識別モデル再構築プログラムに従って図12について上述した識別モデル再構築処理手順RT1を実行するようにした場合について述べた。
(2-10)
Further, in the embodiment described above, the identification model reconstruction program according to the present invention is stored in the identification model reconstruction program stored in advance in the hard disk drive 3 or the
しかしながら本発明は、これに限らず、番組録画装置1が識別モデル再構築プログラムの記録されたコンピュータ装置読取可能な記録媒体によって識別モデル再構築プログラムをインストールして、制御部2が、そのインストールした識別モデル再構築プログラムに従って図12について上述した識別モデル再構築処理手順RT1を実行するようにしても良い。
However, the present invention is not limited to this, and the
さらに番組録画装置1では、ローカルエリアネットワークやインターネット、デジタル衛星放送等の有線及び無線通信媒体を利用して外部から識別モデル再構築プログラムをインストールするようにしても良い。
Further, in the
そして識別モデル再構築プログラムを番組録画装置1にインストールして実行可能な状態にするためのコンピュータ装置読取可能な記録媒体としては、例えばフレキシブルディスクのようなパッケージメディアで実現しても良い。
The computer apparatus-readable recording medium for installing the identification model restructuring program in the
また識別モデル再構築プログラムを番組録画装置1にインストールして実行可能な状態にするためのコンピュータ装置読取可能な記録媒体としては、CD−ROM(Compact Disc-Read Only Memory)のようなパッケージメディアで実現しても良い。
A computer-readable recording medium for installing the identification model restructuring program in the
さらに識別モデル再構築プログラムを番組録画装置1にインストールして実行可能な状態にするためのコンピュータ装置読取可能な記録媒体としては、DVD(Digital Versatile Disc)等のパッケージメディアで実現しても良い。
Furthermore, as a computer-readable recording medium for installing the identification model reconstruction program in the
さらに、かかるコンピュータ装置読取可能な記録媒体としては、パッケージメディアのみならず、各種プログラムが一時的もしくは永続的に記録される半導体メモリや磁気ディスク等で実現しても良い。 Further, the computer-readable recording medium is not limited to a package medium, but may be realized by a semiconductor memory, a magnetic disk, or the like in which various programs are recorded temporarily or permanently.
また、これらコンピュータ装置読取可能な記録媒体に識別モデル再構築プログラムを記録する手段としては、ローカルエリアネットワークやインターネット、デジタル衛星放送等の有線及び無線通信媒体を利用しても良い。 Further, as means for recording the identification model reconstruction program on these computer-readable recording media, wired and wireless communication media such as a local area network, the Internet, and digital satellite broadcasting may be used.
さらにコンピュータ装置読取可能な記録媒体に識別モデル再構築プログラムを記録する手段としては、ルータやモデム等の各種通信インタフェースを介して記録するようにしても良い。 Further, as a means for recording the identification model reconstruction program on a computer-readable recording medium, it may be recorded via various communication interfaces such as a router and a modem.
(2−11)他の実施の形態11
さらに上述した実施の形態においては、スポーツ種目の試合を中継する中継番組の中継番組データを記録する記録部として、図1乃至図15について上述したハードディスクドライブ3を適用するようにした場合について述べた。
(2-11) Other Embodiment 11
Further, in the above-described embodiment, the case where the hard disk drive 3 described above with reference to FIGS. 1 to 15 is applied as a recording unit that records relay program data of a relay program that relays a sporting event is described. .
しかしながら本発明は、これに限らず、半導体メモリや、光ディスクドライブ等ように、この他種々の構成の記録部を広く適用することができる。 However, the present invention is not limited to this, and recording units having various other configurations such as a semiconductor memory and an optical disk drive can be widely applied.
(2−12)他の実施の形態12
さらに上述した実施の形態においては、記録部に記録された中継番組データから特徴量を抽出する特徴量抽出部として、図1乃至図15について上述した制御部2を適用するようにした場合について述べた。
(2-12)
Furthermore, in the above-described embodiment, a description will be given of a case where the
しかしながら本発明は、これに限らず、CPU(Central Processing Unit)や、記録部に記録された中継番組データから特徴量を抽出するハードウェア回路構成の特徴量抽出回路等のように、この他種々の構成の特徴量抽出部を広く適用することができる。 However, the present invention is not limited to this, and various other features such as a CPU (Central Processing Unit) and a feature amount extraction circuit having a hardware circuit configuration for extracting feature amounts from relay program data recorded in a recording unit. It is possible to widely apply the feature amount extraction unit having the configuration described above.
(2−13)他の実施の形態13
さらに上述した実施の形態においては、特徴量抽出部によって中継番組データから抽出された特徴量を蓄積する蓄積部として、図1乃至図15について上述したハードディスクドライブ3を適用するようにした場合について述べた。
(2-13)
Further, in the above-described embodiment, a description will be given of a case where the hard disk drive 3 described above with reference to FIGS. 1 to 15 is applied as a storage unit that stores the feature amount extracted from the relay program data by the feature amount extraction unit. It was.
しかしながら本発明は、これに限らず、半導体メモリや、光ディスクドライブ等ように、この他種々の構成の記録部を広く適用することができる。 However, the present invention is not limited to this, and recording units having various other configurations such as a semiconductor memory and an optical disk drive can be widely applied.
(2−14)他の実施の形態14
さらに上述した実施の形態においては、蓄積部に蓄積された特徴量を、対応するスポーツ種目の名称と共に用いて、複数のスポーツ種目のダイジェストを順番に放送するダイジェスト番組のダイジェスト番組データにおいてスポーツ種目と共に、当該スポーツ種目のダイジェストのダイジェスト部分を識別するための識別モデルを再構築するモデル再構築部として、図1乃至図15について上述した制御部2を適用するようにした場合について述べた。
(2-14)
Furthermore, in the above-described embodiment, the feature amount stored in the storage unit is used together with the name of the corresponding sport item, and the digest program data of the digest program that broadcasts a plurality of sport event digests in order is included with the sport event. The case where the
しかしながら本発明は、これに限らず、CPUや、蓄積部に蓄積された特徴量を、対応するスポーツ種目の名称と共に用いて、複数のスポーツ種目のダイジェストを順番に放送するダイジェスト番組のダイジェスト番組データにおいてスポーツ種目と共に、当該スポーツ種目のダイジェストのダイジェスト部分を識別するための識別モデルを再構築するハードウェア回路構成のモデル再構築回路等のように、この他種々の構成のモデル再構築部を広く適用することができる。 However, the present invention is not limited to this, and digest program data of a digest program that sequentially broadcasts digests of a plurality of sports items using the feature amounts stored in the CPU or storage unit together with the names of the corresponding sports items. In addition to sports events, there are a wide variety of model reconstruction units with various configurations such as a model reconstruction circuit with a hardware circuit configuration that reconstructs an identification model for identifying the digest portion of the digest of the sport event. Can be applied.
(2−15)他の実施の形態15
さらに上述した実施の形態においては、識別モデルを利用して、当該識別モデルの再構築には用いない中継番組の特徴量を用いて当該中継番組のスポーツ種目を識別する種目識別部として、図1乃至図15について上述した制御部2を適用するようにした場合について述べた。
(2-15)
Further, in the above-described embodiment, as the item identification unit that uses the identification model and identifies the sport item of the relay program using the feature amount of the relay program that is not used for the reconstruction of the identification model, FIG. The case where the
しかしながら本発明は、これに限らず、CPUや、識別モデルを利用して、当該識別モデルの再構築には用いない中継番組の特徴量を用いて当該中継番組のスポーツ種目を識別するハードウェア回路構成の種目識別回路等のように、この他種々の構成の種目識別部を広く適用することができる。 However, the present invention is not limited to this, and a hardware circuit that uses a CPU or an identification model to identify a sport item of the relay program using a feature amount of the relay program that is not used for reconstructing the identification model In addition to the configuration item identification circuit, various other configuration item identification units can be widely applied.
(2−16)他の実施の形態16
さらに上述した実施の形態においては、種目識別部により複数の中継番組について識別されたスポーツ種目の識別正解率を検出する正解率検出部として、図1乃至図15について上述した制御部2を適用するようにした場合について述べた。
(2-16)
Further, in the above-described embodiment, the
しかしながら本発明は、これに限らず、CPUや、種目識別部により複数の中継番組について識別されたスポーツ種目の識別正解率を検出するハードウェア回路構成の正解率検出回路等のように、この他種々の構成の正解率検出部を広く適用することができる。 However, the present invention is not limited to this, such as a correct rate detection circuit of a hardware circuit configuration that detects the correct rate of identification of sports items identified for a plurality of relay programs by the CPU or the event identifying unit, etc. A correct rate detection unit with various configurations can be widely applied.
(2−17)他の実施の形態17
さらに上述した実施の形態においては、モデル再構築部により識別モデルが再構築されると、当該再構築の時点までに蓄積部に蓄積されていた特徴量を消去して当該蓄積部を一旦初期化する初期化部として、図1乃至図15について上述した制御部2を適用するようにした場合について述べた。
(2-17)
Furthermore, in the above-described embodiment, when the identification model is reconstructed by the model reconstructing unit, the feature quantity accumulated in the accumulating unit up to the time of the reconstructing is deleted and the accumulating unit is initialized once The case where the
しかしながら本発明は、これに限らず、CPUや、モデル再構築部により識別モデルが再構築されると、当該再構築の時点までに蓄積部に蓄積されていた特徴量を消去して当該蓄積部を一旦初期化するハードウェア回路構成の初期化回路等のように、この他種々の構成の初期化部を広く適用することができる。 However, the present invention is not limited to this, and when the identification model is reconstructed by the CPU or the model reconstructing unit, the feature amount accumulated in the accumulating unit up to the time of the reconstructing is deleted, and the accumulating unit In addition, initialization units having various configurations can be widely applied, such as an initialization circuit having a hardware circuit configuration that temporarily initializes.
本発明は、中継番組を録画可能な番組録画装置やコンピュータ装置、携帯再生機器等の識別モデル再構築装置に利用することができる。 INDUSTRIAL APPLICABILITY The present invention can be used for an identification model reconstruction device such as a program recording device, a computer device, or a portable playback device that can record a relay program.
1……番組録画装置、2……制御部、3……ハードディスクドライブ、4……不揮発性メモリ、RT1……識別モデル再構築処理手順、SRT1……データベース構築処理サブルーチン。
DESCRIPTION OF
Claims (9)
上記記録部に記録された上記中継番組データから特徴量を抽出する特徴量抽出部と、
上記特徴量抽出部によって上記中継番組データから抽出された上記特徴量を蓄積する蓄積部と、
上記蓄積部に蓄積された上記特徴量を、対応する上記スポーツ種目の名称と共に用いて、複数のスポーツ種目のダイジェストを順番に放送するダイジェスト番組のダイジェスト番組データにおいて上記スポーツ種目と共に、当該スポーツ種目の上記ダイジェストのダイジェスト部分を識別するための識別モデルを再構築するモデル再構築部と
を具える識別モデル再構築装置。 A recording unit that records relay program data of a relay program that relays a sporting event;
A feature amount extraction unit that extracts a feature amount from the relay program data recorded in the recording unit;
A storage unit that stores the feature amount extracted from the relay program data by the feature amount extraction unit;
The feature amount stored in the storage unit is used together with the name of the corresponding sport event, and the digest program data of a digest program that sequentially broadcasts a digest of a plurality of sport events, together with the sport event, An identification model reconstruction device comprising: a model reconstruction unit that reconstructs an identification model for identifying a digest portion of the digest.
上記種目識別部により複数の上記中継番組について識別された上記スポーツ種目の識別正解率を検出する正解率検出部と
を具え、
上記モデル再構築部は、
上記蓄積部に蓄積された上記特徴量を、対応する上記スポーツ種目の名称と共に用いて上記識別モデルを仮構築し、上記種目識別部により、上記仮構築した識別モデルが利用されて複数の上記中継番組の上記スポーツ種目が識別されて、上記正解率検出部により、上記仮構築の識別モデルで識別された複数の上記中継番組の上記スポーツ種目について検出された上記識別正解率が規定正解率以上であると、再構築前の識別モデルを上記仮構築した識別モデルに更新することにより上記識別モデルを再構築する
請求項1に記載の識別モデル再構築装置。 Using the identification model, an item identification unit for identifying the sport item of the relay program using the feature quantity of the relay program that is not used to reconstruct the identification model;
A correct rate detection unit that detects the correct rate of identification of the sport item identified for the plurality of relay programs by the event identification unit,
The model rebuilding unit
The feature model stored in the storage unit is used together with the name of the corresponding sport event to provisionally construct the identification model, and the event identification unit uses the provisionally constructed identification model to generate a plurality of relays. The sports item of the program is identified, and the correct answer rate detection unit detects the correct answer rate detected for the sport event of the plurality of relay programs identified by the provisionally constructed identification model is greater than or equal to a specified correct answer rate. The identification model reconstructing apparatus according to claim 1, wherein the identification model is reconstructed by updating the identification model before reconstruction to the provisionally constructed identification model.
上記再構築前の識別モデルを利用して、当該識別モデルの再構築には用いない上記中継番組の上記特徴量を用いて当該中継番組の上記スポーツ種目を識別し、
上記正解率検出部は、
上記種目識別部により、上記再構築前の識別モデルが利用されて複数の上記中継番組について識別された上記スポーツ種目の上記識別正解率を検出し、
上記モデル再構築部は、
上記正解率検出部によって検出された上記識別正解率が上記規定正解率よりも低いと、上記蓄積部に蓄積された上記特徴量を、対応する上記スポーツ種目の名称と共に用いて上記識別モデルを仮構築する
請求項2に記載の識別モデル再構築装置。 The event identification part
Using the identification model before the reconstruction, identifying the sport item of the relay program using the feature amount of the relay program that is not used for the reconstruction of the identification model,
The accuracy rate detection unit is
The identification identification rate of the sports item identified for the plurality of relay programs using the identification model before the reconstruction by the event identification unit is detected,
The model rebuilding unit
If the identification accuracy rate detected by the accuracy rate detection unit is lower than the specified accuracy rate, the feature model stored in the storage unit is used together with the name of the corresponding sport item to temporarily use the identification model. The identification model reconstruction device according to claim 2 to be constructed.
上記正解率検出部により、上記仮構築の識別モデルで識別された複数の上記中継番組の上記スポーツ種目について検出された上記識別正解率が、上記規定正解率として、上記再構築前の識別モデルで識別された複数の上記中継番組の上記スポーツ種目について検出された上記識別正解率以上であると、再構築前の識別モデルを上記仮構築した識別モデルに更新することにより上記識別モデルを再構築する
請求項3に記載の識別モデル再構築装置。 The model rebuilding unit
The identification accuracy rate detected for the sport item of the plurality of relay programs identified by the provisional construction identification model by the accuracy rate detection unit is the identification model before the reconstruction as the specified accuracy rate. The identification model is reconstructed by updating the identification model before the reconstruction to the provisionally constructed identification model if the identification accuracy rate is equal to or higher than the identification accuracy rate detected for the sport item of the plurality of identified relay programs The identification model reconstruction apparatus according to claim 3.
定期的に、上記蓄積部に蓄積された上記特徴量を、対応する上記スポーツ種目の名称と共に用いて上記識別モデルを仮構築する
請求項4に記載の識別モデル再構築装置。 The model rebuilding unit
The identification model reconstructing apparatus according to claim 4, wherein the identification model is temporarily constructed by periodically using the feature amount accumulated in the accumulation unit together with a name of the corresponding sport item.
上記モデル再構築部により定期的に上記識別モデルが仮構築される周期よりも短い周期で定期的に、上記再構築前の識別モデルを利用して、当該識別モデルの再構築には用いない複数の上記中継番組の上記特徴量を用いて当該中継番組の上記スポーツ種目を識別する
請求項5に記載の識別モデル再構築装置。 The event identification part
A plurality of items that are not used for reconstructing the identification model at regular intervals with a period shorter than the period in which the identification model is provisionally reconstructed periodically by the model reconstruction unit. The identification model reconstructing device according to claim 5, wherein the sports item of the relay program is identified using the feature amount of the relay program.
を具える請求項6に記載の識別モデル再構築装置。 When the identification model is reconstructed by the model reconstructing unit, an initialization unit that erases the feature quantity accumulated in the accumulating unit up to the time of the reconstruction and initializes the accumulating unit once The identification model reconstructing device according to claim 6.
上記蓄積した上記特徴量を、対応する上記スポーツ種目の名称と共に用いて、複数のスポーツ種目のダイジェストを順番に放送するダイジェスト番組のダイジェスト番組データにおいて上記スポーツ種目と共に、当該スポーツ種目の上記ダイジェストのダイジェスト部分を識別するための識別モデルを再構築するモデル再構築ステップと
を具える識別モデル再構築方法。 Recording relay program data of a relay program that relays a sporting event, extracting a feature value from the recorded relay program data, and storing the feature value extracted from the relay program data;
The digest of the digest of the sport event together with the sport event in the digest program data of the digest program that broadcasts the digest of a plurality of sport events in order using the accumulated feature quantity together with the name of the corresponding sport event. An identification model reconstruction method comprising: a model reconstruction step of reconstructing an identification model for identifying a part.
スポーツ種目の試合を中継する中継番組の中継番組データを記録すると共に、当該記録した上記中継番組データから特徴量を抽出し、当該中継番組データから抽出した上記特徴量を蓄積する蓄積ステップと、
上記蓄積した上記特徴量を、対応する上記スポーツ種目の名称と共に用いて、複数のスポーツ種目のダイジェストを順番に放送するダイジェスト番組のダイジェスト番組データにおいて上記スポーツ種目と共に、当該スポーツ種目の上記ダイジェストのダイジェスト部分を識別するための識別モデルを再構築するモデル再構築ステップと
を実行させるための識別モデル再構築プログラム。 Computer equipment,
Recording relay program data of a relay program that relays a sporting event, extracting a feature value from the recorded relay program data, and storing the feature value extracted from the relay program data;
The digest of the digest of the sport event together with the sport event in the digest program data of the digest program that broadcasts the digest of a plurality of sport events in order using the accumulated feature quantity together with the name of the corresponding sport event. An identification model reconstruction program for executing a model reconstruction step for reconstructing an identification model for identifying a part.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008189890A JP2010028651A (en) | 2008-07-23 | 2008-07-23 | Identification model reconstruction apparatus, identification model reconstruction method, and identification model reconstruction program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008189890A JP2010028651A (en) | 2008-07-23 | 2008-07-23 | Identification model reconstruction apparatus, identification model reconstruction method, and identification model reconstruction program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010028651A true JP2010028651A (en) | 2010-02-04 |
Family
ID=41734022
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008189890A Pending JP2010028651A (en) | 2008-07-23 | 2008-07-23 | Identification model reconstruction apparatus, identification model reconstruction method, and identification model reconstruction program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010028651A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014145645A (en) * | 2013-01-29 | 2014-08-14 | Chugoku Electric Power Co Inc:The | Sound identification condition selecting device and abnormal sound determination device |
| JP2014149244A (en) * | 2013-02-01 | 2014-08-21 | Chugoku Electric Power Co Inc:The | Sound discrimination condition selecting device and discrimination function generating device |
| JPWO2022149218A1 (en) * | 2021-01-06 | 2022-07-14 | ||
| JPWO2022149216A1 (en) * | 2021-01-06 | 2022-07-14 | ||
| WO2022149217A1 (en) * | 2021-01-06 | 2022-07-14 | 日本電気株式会社 | Information processing device, information processing method, and recording medium |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10150629A (en) * | 1996-11-15 | 1998-06-02 | Sony Corp | Transmission / reception system, reception device, and transmission device |
| JP2007060606A (en) * | 2005-08-25 | 2007-03-08 | Yoshiaki Ito | Computer program comprised of automatic video structure extraction/provision scheme |
| JP2008022103A (en) * | 2006-07-11 | 2008-01-31 | Matsushita Electric Ind Co Ltd | Apparatus and method for extracting TV program moving picture highlights |
-
2008
- 2008-07-23 JP JP2008189890A patent/JP2010028651A/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10150629A (en) * | 1996-11-15 | 1998-06-02 | Sony Corp | Transmission / reception system, reception device, and transmission device |
| JP2007060606A (en) * | 2005-08-25 | 2007-03-08 | Yoshiaki Ito | Computer program comprised of automatic video structure extraction/provision scheme |
| JP2008022103A (en) * | 2006-07-11 | 2008-01-31 | Matsushita Electric Ind Co Ltd | Apparatus and method for extracting TV program moving picture highlights |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014145645A (en) * | 2013-01-29 | 2014-08-14 | Chugoku Electric Power Co Inc:The | Sound identification condition selecting device and abnormal sound determination device |
| JP2014149244A (en) * | 2013-02-01 | 2014-08-21 | Chugoku Electric Power Co Inc:The | Sound discrimination condition selecting device and discrimination function generating device |
| JPWO2022149218A1 (en) * | 2021-01-06 | 2022-07-14 | ||
| JPWO2022149216A1 (en) * | 2021-01-06 | 2022-07-14 | ||
| WO2022149218A1 (en) * | 2021-01-06 | 2022-07-14 | 日本電気株式会社 | Information processing device, information processing method, and recording medium |
| WO2022149217A1 (en) * | 2021-01-06 | 2022-07-14 | 日本電気株式会社 | Information processing device, information processing method, and recording medium |
| JPWO2022149217A1 (en) * | 2021-01-06 | 2022-07-14 | ||
| WO2022149216A1 (en) * | 2021-01-06 | 2022-07-14 | 日本電気株式会社 | Information processing device, information processing method, and recording medium |
| JP7552733B2 (en) | 2021-01-06 | 2024-09-18 | 日本電気株式会社 | Information processing device, information processing method, and program |
| JP7552731B2 (en) | 2021-01-06 | 2024-09-18 | 日本電気株式会社 | Information processing device, information processing method, and program |
| JP7552732B2 (en) | 2021-01-06 | 2024-09-18 | 日本電気株式会社 | Information processing device, information processing method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240276050A1 (en) | In-band data recognition and synchronization system | |
| JP4584250B2 (en) | Video processing device, integrated circuit of video processing device, video processing method, and video processing program | |
| ES2399625T3 (en) | Procedure and device for creating and viewing custom multimedia segments | |
| KR101419937B1 (en) | A symbol extracting apparatus, a symbol extracting method, and a computer readable recording medium on which a symbol extracting program is recorded | |
| US9098172B2 (en) | Apparatus, systems and methods for a thumbnail-sized scene index of media content | |
| TW200533193A (en) | Apparatus and method for reproducing summary | |
| KR20040086363A (en) | Visual summary for scanning forwards and backwords in video content | |
| US20100257156A1 (en) | Moving picture indexing method and moving picture reproducing device | |
| JP2010028651A (en) | Identification model reconstruction apparatus, identification model reconstruction method, and identification model reconstruction program | |
| US8244100B2 (en) | Information apparatus for reproducing commercial broadcast information and method of same | |
| JP4556752B2 (en) | Recording / playback apparatus having commercial viewing control function | |
| JP2011239247A (en) | Digital broadcast receiver and related information presentation program | |
| JP2012089186A (en) | Content management device and content reproduction device | |
| KR101401974B1 (en) | Method and apparatus for browsing recorded news programs | |
| CN102611863A (en) | Motion picture recording/reproducing apparatus | |
| CN101169958B (en) | Method and device for storing and reproducing interactive digital broadcasting signals | |
| JP2007073123A (en) | Content storage device, content storage method, and program recording medium | |
| US20090214174A1 (en) | Selection apparatus and method | |
| KR20020014857A (en) | A system for video skimming using shot segmentation information | |
| KR101234005B1 (en) | Method for recording content and application corresponding to the content and apparatus therefor, Method for reproducing the content and apparatus therefor | |
| JP4806331B2 (en) | Recording system that can automatically record back programs | |
| KR20060028157A (en) | Apparatus and method for generating model based segment metadata |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110711 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120704 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120807 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20121204 |