[go: up one dir, main page]

WO2006075457A1 - 記録装置 - Google Patents

記録装置 Download PDF

Info

Publication number
WO2006075457A1
WO2006075457A1 PCT/JP2005/022270 JP2005022270W WO2006075457A1 WO 2006075457 A1 WO2006075457 A1 WO 2006075457A1 JP 2005022270 W JP2005022270 W JP 2005022270W WO 2006075457 A1 WO2006075457 A1 WO 2006075457A1
Authority
WO
WIPO (PCT)
Prior art keywords
recording
signal
video
audio
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2005/022270
Other languages
English (en)
French (fr)
Inventor
Yoshiharu Morita
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to US11/794,952 priority Critical patent/US20080089668A1/en
Priority to JP2006552856A priority patent/JPWO2006075457A1/ja
Publication of WO2006075457A1 publication Critical patent/WO2006075457A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers

Definitions

  • the present invention relates to a video / audio recording apparatus such as a hard disk recorder or a DVD recorder that encodes a video signal and an audio signal and stores them on a magnetic disk, an optical disk, etc., and particularly, for example, a commercial message (CM) broadcast.
  • CM commercial message
  • the present invention relates to a device having a function of extracting a feature amount of voice, which is used for discrimination of a voice and summary playback.
  • the audio / video signal is encoded and recorded, and the apparatus for detecting the CM has a CM detecting unit provided independently of the encoding unit.
  • An apparatus for detecting CM based on an audio signal that has been encoded and held in a memory is known (see, for example, Patent Document 2).
  • Patent Document 1 Japanese Patent Laid-Open No. 8-317342
  • Patent Document 2 Japanese Patent Laid-Open No. 2002-247516
  • the present invention can easily take a correspondence relationship between a feature amount extracted from a video signal or an audio signal and the video / audio signal, etc., and information for association
  • the purpose is to reduce or eliminate the processing and to easily reduce the circuit scale.
  • a first device according to an embodiment of the present invention provides:
  • Encoding means for encoding at least one of a video signal and an audio signal and generating an encoded signal having a header
  • a feature extraction means for extracting a predetermined feature state or feature amount in the video signal or audio signal
  • An extraction result setting means for setting the extraction result of the feature extraction means in a fixed value area where the same value is set in a plurality of sign key signals in the header of the sign key signal;
  • a first recording device comprising:
  • the feature extraction means includes a silence state, an amplitude, and a frequency component in the audio signal. It is configured to extract at least one of the fabrics.
  • a first recording device comprising:
  • the feature extraction means is configured to extract at least one of an amplitude and a frequency distribution in the video signal.
  • the feature amount extracted from the video signal or the audio signal is set in the fixed value area of the header, and is associated with the video / audio signal or the like.
  • the data set in the fixed value area is overwritten by the above feature amount or the like, it can be easily restored because it is a common value for a plurality of headers.
  • a first recording device comprising:
  • the feature extraction means is configured to perform the extraction using a result of an operation for encoding a video signal or an audio signal.
  • the fifth device of the embodiment of the present invention is
  • a first recording device comprising:
  • the sixth device of the embodiment of the present invention provides:
  • the encoding unit and the feature extraction unit perform the encoding or extraction based on the contents held in the buffer,
  • the encoding means is configured to hold the generated code key signal in the buffer.
  • a first recording device further comprising:
  • It is characterized by comprising fixed value restoration means for restoring the encoded signal in which the extraction result is set in the fixed value area of the header to the encoded signal in which the original fixed value is set.
  • the eighth device according to the embodiment of the present invention provides:
  • the recording means is configured to record the encoded signal restored by the fixed value restoring means on the recording medium.
  • the ninth device according to the embodiment of the present invention provides:
  • the recording means records the encoded signal in which the extraction result is set in the fixed value area of the header on the recording medium
  • the fixed value restoration means is configured to perform the restoration on an encoded signal reproduced from the recording medium.
  • FIG. 1 is a block diagram showing a configuration of a main part of a video / audio recording apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing a specific configuration of the speech code key unit 101.
  • FIG. 3 is a flowchart showing an example of the operation of speech encoding section 101 in the same manner.
  • FIG. 4 is an explanatory diagram showing an example of the contents stored in the hard disk.
  • an audio / video recording apparatus includes, for example, an audio code input unit 101 that encodes an audio signal or an image signal that is input by video and audio broadcasting, and an image.
  • a code key unit 102 and a code multiplexing unit 103 that multiplexes the encoded audio signal and video signal are provided.
  • Such a video / audio recording device is not particularly limited.
  • a hard disk recorder that encodes an image signal and stores it on a hard disk, an electric device with a built-in hard disk recorder, a television device with a built-in hard disk recorder, or a video recorder with a built-in hard disk recorder. It is used in DVD players with built-in hard disk recorders, etc., and is formed as part of semiconductor integrated circuits for these devices.
  • the speech code key unit 101 includes a work memory 101a, a feature extraction unit 101b, and a code key processing unit 101c.
  • the work memory 101a holds audio signals before and after the sign! Note that the work memory 101a is also used before and after the sign ⁇ , so that the number of circuits and input signal lines can be reduced and the circuit scale can be easily reduced. However, the present invention is not limited to this.
  • the feature extraction unit 101b is, for example, a silence unit, and extracts feature quantities such as the amplitude level and frequency distribution of the audio signal based on the audio signal before the sign stored in the work memory 101a. It is supposed to be. As will be described in detail later, the extraction result is embedded in a fixed value area in the header of the packet generated by the sign key.
  • the encoding processing unit 101c performs the encoding process by a method such as MPEG2, for example.
  • a packet including a header is generated.
  • a PES (Packetized Elementary Stream) packet including a PES header is generated.
  • the feature extraction unit 101b is, for example, when the code key processing unit 101c is configured to perform voice code key processing by software processing using a microcode or the like. Can be easily realized simply by providing software code without providing a feature extraction circuit.
  • the present invention is not limited to this, and if the silence detection process or the feature amount extraction process cannot be realized only by software processing, a part or all of the silence detection process or the like may be performed by hardware.
  • the feature amount is extracted in the silent portion as shown in FIG.
  • the amount of data before encoding is larger than the amount of data after encoding, but for the sake of convenience of explanation, FIG. 3 shows the same amount of data.
  • a header [n] including a fixed value [n] is generated along with time information.
  • the fixed value [n] is, for example, a value that does not change for each packet, that is, is set equal to a series (at least a plurality of) packets.
  • the generated header [n] is stored in the work memory 101a (header [n ⁇ l] is overwritten).
  • the feature extraction unit 101b Based on the input voice signal [n] held in the work memory 101a, the feature extraction unit 101b extracts whether the voice is silent, amplitude, frequency distribution, and the like. .
  • the audio signal held in the work memory 101a is read into the digital signal processing circuit or the like by execution of the software.
  • silence detection or the like is performed by hardware, a signal output from the work memory 101a is input to a silence detection circuit or the like.
  • Information indicating whether there is a silence part or various feature quantities as a detection result of silence or the like is embedded as a feature quantity [n] in the header [n] by replacing the fixed value [n]. .
  • the extracted feature value is embedded in the fixed value part. Therefore, the extracted feature value can be saved or transmitted to the part that performs processing based on the feature value, and it is not necessary to secure a new register area or external memory area. If necessary, a flag may be set to indicate that the fixed value portion has been multiplexed.
  • the fixed value is already known information in the subsequent processing section of the DVD recorder, and therefore needs to be transmitted at all. There is no. (It is necessary to maintain compatibility with DVD players and recorders of other standards and specifications, such as when packets are output to DVD recorders, etc., that is, when writing to exchangeable recording media such as DVDs. In such a case, it is sufficient to restore a predetermined fixed value at that time.)
  • the fixed value needs to be transmitted. In that case, it is only necessary to multiplex only the first packet, so it is not necessary to transmit it by the header of each packet. Therefore, as described above, it is possible to easily multiplex the extracted feature quantity into the fixed value portion. It may be embedded in an unused area such as a header.
  • the code signal audio signal output from the audio code key unit 101 is multiplexed with the video signal packet output from the video code key unit 102 by the code multiplexing unit 103 to generate an audio video ( A V) Output as multiplexed stream data and recorded on a recording medium.
  • the audio signal and video signal at the time of multiplexing are synchronized by time information such as PTS and DTS embedded in the PES header.
  • a packet in which information indicating a feature value is embedded in a fixed value portion or an unused region portion of the header is transmitted from each packet by the code multiplexing unit 103 or a processing unit (not shown) in the subsequent stage. Based on the extracted features, automatic CM detection, removal, and highlight scene detection to enable summary playback are performed.
  • the information indicating the feature value is embedded in the header of each packet, so that the process of associating each packet with the feature value can be easily performed.
  • information and processing for associating the feature values with audio signals, etc. are required, but such processing is performed only by processing each packet. The attachment is guaranteed.
  • the code multiplexing unit 103 since the synchronization between the audio signal and the video signal can be easily achieved by the time information or the like, as a result, for example, the feature amount extracted from the audio signal and the video signal It is easy to synchronize with the signal.
  • the processing power based on the processing result such as the above-mentioned automatic CM detection is performed by a processing unit at a later stage, the processing result is embedded in a fixed value portion or an unused region portion of the header.
  • the processing result is embedded in a fixed value portion or an unused region portion of the header.
  • the original fixed amount is necessary. Overwrites the value part and restores the original packet.
  • the feature amount obtained for the sign key is sequentially updated before being referred to for processing such as silence detection
  • the feature amount is not changed until the time of embedding. You can save it in a separate memory area. For this purpose, it is only necessary to secure a memory area that is smaller than the memory capacity in which uncompressed video and audio information should be saved.
  • the apparatus as described above may be applied to an apparatus for receiving and recording a digital broadcast. That is, in digital broadcasting, since it is distributed as video / audio broadcasting that has already been encoded and audio encoded, it is necessary to pass through the code part at the time of recording, as in a recording device that records analog broadcasting digitally. Not necessarily. However, when the encoded video / audio broadcast is de-encoded and re-encoded such that it is encoded again, the encoded video / audio broadcast passes through the encoding unit, so it is characterized by the encoding unit. With the function of extracting the volume, it is possible to detect silence for digital broadcasting.
  • a feature extraction unit may be provided in the video code input unit 102 so that the same feature extraction is performed on the video signal. It should be noted that even when both the audio encoding unit 101 and the video encoding unit 102 are provided with a feature extraction unit, they may be operated separately, or both may be operated or only one may be operated. Let's make it possible, too.
  • the feature value may be overwritten in a fixed value portion of the packet, recorded on a recording medium such as a hard disk, and restored at the time of reproduction or the like.
  • efficient recording or the like can be realized.
  • it may be necessary to have more storage capacity in order to save the feature values in a separate area from the code voice signal.
  • Which features correspond to which packet In addition to this, it is necessary to have more storage capacity in order to hold the information as a set together with the feature amount.
  • the feature amount is embedded in the fixed value portion of the header and recorded on the recording medium. As a result, such an increase in storage capacity can be avoided.
  • the recording apparatus can easily take the correspondence between the feature amount extracted from the video signal or the audio signal and the video / audio signal, and reduce the information and processing for the association.
  • a recording device such as a hard disk recorder or a DVD recorder that has the effect of being able to easily reduce the circuit scale and the like, and that encodes the video / audio signal and stores it on a magnetic disk or optical disk. Useful as such.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

　映像音声記録装置は、それぞれ映像音声放送されて入力された音声信号または映像信号を符号化する音声符号化部１０１および映像符号化部１０２と、符号化された音声信号と映像信号とを多重化する符号多重化部１０３を備えている。音声符号化部１０１は、符号化前の音声信号に基づいて、無音部であることや、音声信号の振幅レベル、周波数分布などの特徴量の抽出をする。抽出結果は、符号化によって生成されるパケットのヘッダにおける固定値領域に埋め込まれる。そこで、映像音声信号から抽出された特徴量等と映像音声信号との対応付けのための情報や処理を要することなく両者の対応関係を容易にとることができる。

Description

明 細 書
記録装置
技術分野
[0001] 本発明は、映像信号や音声信号を符号ィ匕して磁気ディスクや光ディスクなどに保 存するハードディスクレコーダや DVDレコーダなどの映像音声記録装置等に関し、 特に、例えば、コマーシャルメッセージ（CM)放送の判別や要約再生などのために 用いられる、音声の特徴量を抽出する機能等を有する装置に関するものである。 背景技術
[0002] 従来の映像音声記録装置には、例えば、放送された映像音声信号などに対する自 動 CM検出を行うために、無音状態等を検出する手法を用いたものが知られている（ 例えば、特許文献 1参照。）。
[0003] また、近年では、映像音声信号をディジタルィ匕してハードディスクなどの記憶装置 に記録する記録装置が用いられつつある。これらの記録装置では、記憶装置の大容 量ィ匕により、映像音声放送等を大量に録画できるようになってきたが、非圧縮の映像 音声信号を記録していくのは非効率的であるため、通常、映像音声信号を MPEG ( Motion Picture Expert Group) 2などの圧縮手段を用いて符号化して記録し ている。再生時には、それが伸張されて再生される。
[0004] この種の装置では、映像音声放送を大量に録画できるようになつてきたため、一層 、必要なシーンのみを視聴できるようにすることが望まれている。すなわち、自動 CM 検出、除去などの必要性が一層高まっているうえ、ハイライトシーン検出機能などもよ り重要となっている。これらの機能を実現するには、映像音声信号の内容を解析する 必要がある。
[0005] 上記のように映像音声信号を符号ィ匕して記録するとともに、 CMの検出等を行う装 置としては、符号ィ匕部とは独立して設けられた CM検出部などを有し、符号化されて メモリに保持された音声信号に基づ 、て CMを検出する装置が知られて 、る（例えば 、特許文献 2参照。）。
特許文献 1：特開平 8 - 317342号公報 特許文献 2 :特開 2002— 247516号公報
発明の開示
発明が解決しょうとする課題
[0006] し力しながら、上記のように符号ィ匕部とは独立して設けられた CM検出部などによつ て CMの検出などをする場合、自動 CM除去などの処理を行うためには、検出結果 が映像音声信号のどの部分に対応するものなの力の対応関係をとることが困難であ る。すなわち、符号ィ匕部で符号化された映像音声信号と、抽出された特徴量等とで、 どの時刻の映像音声信号と一致するものであるか、同期を取ることや対応付けが困 難である。それゆえ、対応関係を示す情報を記憶するようにしたり、その情報を用い た対応付け処理が行われるようにしたりするために、回路やマイクロコードなどが複雑 化し、回路規模の増大等を招くと 、う問題点を有して 、た。
[0007] 本発明は、上記の点に鑑み、映像信号や音声信号から抽出された特徴量等と映像 音声信号等との対応関係を容易にとることができ、しかも、対応付けのための情報や 処理を低減または不要にして、回路規模の低減等も容易に図り得るようにすることを 目的としている。
課題を解決するための手段
[0008] 上記の課題を解決するため、本発明の実施形態の第 1の装置は、
映像信号および音声信号の少なくとも一方を符号化し、ヘッダを有する符号化信 号を生成する符号化手段と、
上記符号化信号を記録媒体に記録する記録手段と、
上記映像信号または音声信号における所定の特徴状態、または特徴量を抽出す る特徴抽出手段と、
符号ィ匕信号のヘッダにおける、複数の符号ィ匕信号で同じ値が設定される固定値領 域に、上記特徴抽出手段の抽出結果を設定する抽出結果設定手段と、
を備えたことを特徴とする。
[0009] また、本発明の実施形態の第 2の装置は、
第 1の記録装置であって、
上記特徴抽出手段は、上記音声信号における、無音状態、振幅、および周波数分 布のうちの少なくとも 1つを抽出するように構成されていることを特徴とする。
[0010] また、本発明の実施形態の第 3の装置は、
第 1の記録装置であって、
上記特徴抽出手段は、上記映像信号における、振幅、および周波数分布のうちの 少なくとも 1つを抽出するように構成されていることを特徴とする。
[0011] これらにより、映像信号や音声信号から抽出された特徴量等が、ヘッダの固定値領 域に設定され、映像音声信号等と対応づけられる。また、固定値領域に設定されて いたデータは、上記特徴量等によって上書きされたとしても、複数のヘッダについて 共通の値なので、容易に復元することができる。
[0012] また、本発明の実施形態の第 4の装置は、
第 1の記録装置であって、
上記特徴抽出手段は、映像信号または音声信号を符号ィ匕するための演算の結果 を用いて、上記抽出を行うように構成されて ヽることを特徴とする。
[0013] これにより、特徴抽出手段と符号化手段との回路やプログラムコードの共通化を容 易に図ることができる。
[0014] また、本発明の実施形態の第 5の装置は、
第 1の記録装置であって、
上記特徴抽出手段による抽出が行われた後に、上記符号化が行われるように構成 されていることを特徴とする。
[0015] また、本発明の実施形態の第 6の装置は、
第 5の記録装置であって、
さらに、ノッファ記憶部を有し、
上記符号化手段、および特徴抽出手段は、上記バッファの保持内容に基づいて、 上記符号ィ匕または抽出を行うとともに、
上記符号化手段は、生成された符号ィ匕信号を上記バッファに保持させるように構成 されていることを特徴とする。
[0016] これにより、符号ィ匕前のバッファの保持内容が符号ィ匕によって書き換えられる場合 でも、特徴抽出手段による抽出が適切に行われる。 [0017] また、本発明の実施形態の第 7の装置は、
第 1の記録装置であって、さらに、
上記ヘッダの固定値領域に抽出結果が設定された符号化信号を、元の固定値が 設定された符号化信号に復元する固定値復元手段を備えたことを特徴とする。
[0018] また、本発明の実施形態の第 8の装置は、
第 7の記録装置であって、
上記記録手段は、上記固定値復元手段によって復元された符号化信号を上記記 録媒体に記録するように構成されて ヽることを特徴とする。
[0019] これにより、特徴抽出が行われない装置との互換性などを容易に図ることができる。
[0020] また、本発明の実施形態の第 9の装置は、
第 7の記録装置であって、
上記記録手段は、上記ヘッダの固定値領域に抽出結果が設定された符号化信号 を上記記録媒体に記録する一方、
上記固定値復元手段は、上記記録媒体から再生される符号化信号に対して、上記 復元を行うように構成されて 、ることを特徴とする。
[0021] これにより、特徴抽出が行われない装置との互換性などを容易に図ることができると ともに、記録媒体に必要な記憶容量を低減することも容易にできる。
発明の効果
[0022] 本発明によれば、映像音声信号カゝら抽出された特徴量等と映像音声信号との対応 関係を容易にとることができ、し力も、対応付けのための情報や処理を低減または不 要にして、回路規模の低減等も容易に図ることができる。
図面の簡単な説明
[0023] [図 1]図 1は、本発明の実施形態の映像音声記録装置の要部の構成を示すブロック 図である。
[図 2]図 2は、同、音声符号ィ匕部 101の具体的な構成を示すブロック図である。
[図 3]図 3は、同、音声符号化部 101の動作の例を示すフローチャートである。
[図 4]図 4は、ハードディスクへの記憶内容等の例を示す説明図である。
符号の説明 [0024] 101 音声符号化部
101a ワークメモリ
101b 特徴抽出部
101c 符号化処理部
102 映像符号化部
103 符号多重化部
発明を実施するための最良の形態
[0025] 以下、本発明の実施形態を図面に基づいて詳細に説明する。
[0026] 本発明の実施形態の映像音声記録装置は、図 1に示すように、例えばそれぞれ映 像音声放送されて入力された音声信号または映像信号を符号化する音声符号ィ匕部 101および映像符号ィ匕部 102と、符号化された音声信号と映像信号とを多重化する 符号多重化部 103を備えて構成されている。このような映像音声記録装置は、特に 限定されないが、例えば、画像信号を符号化してハードディスクに保存するハードデ イスタレコーダや、ハードディスクレコーダ内蔵電気機器、ハードディスクレコーダ内 蔵テレビジョン装置、ハードディスクレコーダ内蔵ビデオレコーダ、ハードディスクレコ ーダ内蔵 DVDプレーヤなどに用いられ、これらの装置用の半導体集積回路の一部 などとして形成される。
[0027] 上記音声符号ィ匕部 101には、例えば図 2に示すように、ワークメモリ 101a、特徴抽 出部 101b、および符号ィ匕処理部 101cが設けられている。
[0028] 上記ワークメモリ 101aは、符号ィ匕前後の音声信号を保持するようになって!/、る。な お、符号ィ匕前後でワークメモリ 101aが兼用されることによって、回路や入力信号線数 を少なく抑えることができ、回路規模の低減が容易になるが、これに限るものではな い。
[0029] 特徴抽出部 101bは、例えばワークメモリ 101aに保持された符号ィ匕前の音声信号 に基づいて、無音部であることや、音声信号の振幅レベル、周波数分布などの特徴 量の抽出をするようになっている。抽出結果は、後に詳述するように、符号ィ匕によって 生成されるパケットのヘッダにおける固定値領域に埋め込まれる。
[0030] また、符号化処理部 101cは、例えば MPEG2などの方式で符号ィ匕処理を行い、へ ッダを含むパケットを生成するようになっている。具体的には、例えば PESヘッダを含 む PES (Packetized Elementary Stream)のパケットが生成される。
[0031] 上記特徴抽出部 101bは、具体的には、例えば符号ィ匕処理部 101cが、マイクロコ ードなどを用いたソフトウェア処理によって音声符号ィ匕処理を行うように構成されてい る場合には、特に特徴抽出用の回路を設けることなぐソフトウェアのコードを設ける のみで容易に実現することができる。ただし、これに限定されず、ソフトウェア処理の みで無音検出処理や特徴量抽出処理を実現できない場合などには、無音検出処理 等の一部または全部がハードウェアによって行われるようにしてもよい。
[0032] 上記のように構成された映像音声記録装置では、図 3に示すようにして無音部ゃ特 徴量の抽出が行われる。ここで、通常は符号化後のデータ量よりも符号化前のデー タ量の方が多いが、図 3では説明の便宜上、同じデータ量として描いている。
[0033] (S101) 音声符号ィ匕部 101で、例えば n—l番目の音声信号に対する符号ィ匕処 理が行われて、符号ィ匕音声信号 [n—l]がワークメモリ 101aに保持されていた状態 で、次の所定量の入力音声信号 [n]が入力されると、その入力音声信号 [n]によって 符号化音声信号 [n— 1]が上書きされる。
[0034] (S102) 例えば符号ィ匕処理部 101cにより、ワークメモリ 101aに保持されている入 力音声信号 [n]に基づいて、 PTS (Presentation Time Stamp)や DTS (Decod eing Time Stamp)などの時刻情報等とともに固定値 [n]を含むヘッダ [n]が生成 される。上記固定値 [n]は、例えばパケットごとに変化のない、すなわち一連の (少な くとも複数の)パケットに対して等しく設定される値である。生成されたヘッダ [n]はヮ ークメモリ 101aに保持される（ヘッダ [n—l]が上書きされる。）。
[0035] (S103) 特徴抽出部 101bにより、ワークメモリ 101aに保持されている入力音声信 号 [n]に基づいて、その音声が無音であるかどうかや、振幅、周波数分布などが抽出 される。ここで、例えば、ソフトウェアによって無音検出などが行われる場合には、その ソフトウェアの実行によって、ワークメモリ 101aに保持されている音声信号がディジタ ル信号処理回路などに読み込まれる。また、ハードウェアによって無音検出などが行 われる場合には、ワークメモリ 101aから出力された信号が無音検出回路などに入力 される。 [0036] 無音等の検出結果としての、無音部であるかどうかや種々の特徴量を示す情報は 、特徴量 [n]として、ヘッダ [n]に固定値 [n]と置換して埋め込まれる。すなわち、符 号ィ匕が行われる際には、符号化データの内容を示すためや、符号化データの時刻 情報を示すなどのためにヘッダの付カ卩が行われる力 そのようなヘッダ部分に、（符 号ィ匕状態のときに)符号ィ匕用およびその他のパラメータが変更されない限り変化しな い固定値部分が存在する場合には、そのような固定値部分に抽出した特徴量を埋め 込むことによって、抽出された特徴量を保存したり、その特徴量に基づく処理を行う 部分に伝達したりすることができ、新たにレジスタ領域や外部メモリ領域等を確保する 必要がない。なお、必要に応じて、固定値部分に多重化したことを示すためのフラグ を立てるようにしてもよい。また、例えば DVDレコーダとして全てのパケットに対して 固定値であるというような場合ならば、その固定値は、その DVDレコーダにおける後 段の処理部においても既知の情報であるため、全く伝達する必要はない。（パケット が DVDレコーダ等の外部に出力される際など、すなわち DVDなどの交換可能な記 録媒体に書き出す場合など、他の規格や仕様の DVDプレーヤやレコーダなどとの 互換性を保つ必要がある場合などには、その際に、所定の固定値が復元されるよう にすればよい。）一方、ある符号ィ匕状態においては固定値というような場合には、そ の固定値は伝達する必要がある力 その場合は、はじめの 1パケット目のみに多重す るとかにより伝達すればよいので、各パケットのヘッダによって伝達する必要はない。 したがって、上記のように、抽出された特徴量を固定値部分に多重化することが容易 に行える。なお、ヘッダなどの未使用領域部分に埋め込まれるようにしてもよい。
[0037] (S104) 符号ィ匕処理部 101cによって、ワークメモリ 101aに保持されている入力音 声信号 [n]の符号化が行われる。符号化前の入力音声信号 [n]は、符号化によって 生成された符号化音声信号 [n]によって上書きされる。
[0038] (S105) 上記のようにして生成され、ワークメモリ 101aに保持されたヘッダ [n]お よび符号化音声信号 [n]が、パケットとして音声符号化部 101から出力される。以下 、 n+ 1以降の入力音声信号に対しても同様の処理が繰り返される。
[0039] 音声符号ィ匕部 101から出力された符号ィ匕音声信号は、符号多重化部 103により、 映像符号ィ匕部 102から出力された映像信号のパケットと多重化されて、音声映像 (A V)多重ストリームデータとして出力され、記録媒体への記録等がなされる。上記多重 化の際の音声信号と映像信号との同期は、 PESヘッダに埋め込まれた PTSや DTS などの時刻情報によって行われる。
[0040] 上記のようにヘッダの固定値部分または未使用領域部分に特徴量を示す情報が 埋め込まれたパケットは、符号多重化部 103やその後段の図示しない処理部などに よって、各パケットから切り出された特徴量に基づいて、自動 CM検出、除去や、要約 再生を可能にするためのハイライトシーン検出などの処理が行われる。この場合、上 記のように各パケットのヘッダに特徴量を示す情報が埋め込まれて 、るので、各パケ ットと特徴量とを対応づけた処理が容易に行える。すなわち、特徴量を別途保存する 場合には、その特徴量と音声信号等とを対応づけるための情報や処理が必要となる のに対して、パケットごとに処理を行うだけで、そのような対応付けが保証されることに なる。また、符号多重化部 103の動作について説明したように、音声信号と映像信号 との同期は時刻情報等によって容易にとられるので、結果的に、例えば音声信号に ついて抽出された特徴量と映像信号との同期をとることも容易にできることになる。
[0041] また、上記自動 CM検出などの処理結果に基づいた処理力 さらに後段の処理部 によって行われる場合などには、その処理結果がヘッダの固定値部分や未使用領域 部分に埋め込まれるようにしてもょ 、。
[0042] また、特徴量の埋め込みがヘッダなどの未使用領域部分ではなく固定値部分に行 われている場合には、無音検出等の処理が行われた後、必要に応じて、元の固定値 部分の値を上書きし、元のパケットが復元される。ここで、特徴量が埋め込まれた固 定値部分を元の固定値の値に復元するためには、特徴量の埋め込みの際に、元の 固定値の値を保存しておく必要がある場合もあるが、例えば図 4に示すように、破線 で示す固定値 [ 1]〜固定値 [n]が共通の値であれば、 1つの固定値を保存する少量 の記憶領域を用意して保存するようにすれば、固定値を n— 1個分保存するための 記憶容量の削減が可能となる。
[0043] なお、上記のような特徴抽出処理と符号化処理とに共通の処理が含まれる場合に は、これらの処理が兼用の処理回路や処理プログラムによって行われるようにしても よい。具体的には、例えば符号ィ匕処理部 101cでは、音声符号化処理を行うために、 無音検出、振幅レベル、周波数分布などの特徴量を抽出していることがある。これら の情報は、本来は符号ィ匕のために用いられるものであっても、無音検出や CM検出 などの特徴量として用いるようにしてもょ 、。このように符号ィ匕のための特徴量を CM 検出などの特徴量として用いるようにする場合には、特徴量抽出のためのソフトゥェ ァのコードや回路を設ける必要がなぐ回路規模等を容易に低減することができる。
[0044] ここで、符号ィ匕のために求められた特徴量が、無音検出などの処理のために参照さ れる前に逐次更新されるような場合には、埋め込む時点まで、上記特徴量を別のメモ リ領域に退避して残しておくようにすればよい。そのためのメモリ領域の容量は、非圧 縮の映像音声情報を退避しておくべきメモリ容量に比べて小容量だけ確保すればよ い。
[0045] また、上記のような装置は、ディジタル放送を受信して記録する装置などに適用し てもよい。すなわち、ディジタル放送では、既に映像符号化、音声符号化された映像 音声放送として配信されるため、アナログ放送をディジタル記録する録画装置のよう に、記録時点で必ずしも符号ィ匕部を通す必要があるとは限らない。しかし、符号化さ れた映像音声放送を、符号化解除し、再度、符号化を行うといった再符号化をする 場合などには、符号ィ匕部を通ることになるため、符号化部に特徴量を抽出する機能 を持たせて、ディジタル放送に関しても無音検出などを行わせることができる。
[0046] また、上記の例では、音声信号につ!、て特徴抽出が行われる例を示したが、音声 符号ィ匕部 101に特徴抽出部 101bを設けるのに代えて、またはこれとともに、映像符 号ィ匕部 102に特徴抽出部を設けて、映像信号について同様の特徴抽出が行われる ようにしてもよい。なお、音声符号化部 101と映像符号化部 102との両方に特徴抽出 部が設けられる場合でも、それぞれ別個に動作するようにしてもよいし、両方動作す ることも、片方のみ動作することも可能なようにしてもょ 、。
[0047] また、パケットの固定値部分に特徴量が上書きされた状態のままで、ハードディスク などの記録媒体に記録等され、再生時等に復元されるようにしてもよい。これによつて 、効率的な記録等を実現できる。すなわち、各パケットなどに必要な特徴量を保存し ておく必要がある場合、その特徴量を符号ィ匕音声信号などとは別領域に保存してお くには、さらなる記憶容量が必要であったり、その特徴量がどのパケットと対応するも のであるかの情報を特徴量とセットで保持しておくためにさらに記憶容量が必要であ つたりする力 これに対して、ヘッダの固定値部分に特徴量を埋め込んで記録媒体 に記録等することによって、そのような記憶容量の増大などを回避することができる。 産業上の利用可能性
本発明にかかる記録装置は、映像信号や音声信号から抽出された特徴量等と映 像音声信号等との対応関係を容易にとることができ、しかも、対応付けのための情報 や処理を低減または不要にして、回路規模の低減等も容易に図ることができるという 効果を有し、映像音声信号を符号化して磁気ディスクや光ディスクなどに保存するハ ードディスクレコーダや DVDレコーダなどの記録装置等として有用である。

Claims

請求の範囲
[1] 映像信号および音声信号の少なくとも一方を符号化し、ヘッダを有する符号化信 号を生成する符号化手段と、
上記符号化信号を記録媒体に記録する記録手段と、
上記映像信号または音声信号における所定の特徴状態、または特徴量を抽出す る特徴抽出手段と、
符号ィ匕信号のヘッダにおける、複数の符号ィ匕信号で同じ値が設定される固定値領 域に、上記特徴抽出手段の抽出結果を設定する抽出結果設定手段と、
を備えたことを特徴とする記録装置。
[2] 請求項 1の記録装置であって、
上記特徴抽出手段は、上記音声信号における、無音状態、振幅、および周波数分 布のうちの少なくとも 1つを抽出するように構成されていることを特徴とする記録装置。
[3] 請求項 1の記録装置であって、
上記特徴抽出手段は、上記映像信号における、振幅、および周波数分布のうちの 少なくとも 1つを抽出するように構成されていることを特徴とする記録装置。
[4] 請求項 1の記録装置であって、
上記特徴抽出手段は、映像信号または音声信号を符号ィ匕するための演算の結果 を用いて、上記抽出を行うように構成されて ヽることを特徴とする記録装置。
[5] 請求項 1の記録装置であって、
上記特徴抽出手段による抽出が行われた後に、上記符号化が行われるように構成 されて ヽることを特徴とする記録装置。
[6] 請求項 5の記録装置であって、
さらに、ノッファ記憶部を有し、
上記符号化手段、および特徴抽出手段は、上記バッファの保持内容に基づいて、 上記符号ィ匕または抽出を行うとともに、
上記符号化手段は、生成された符号ィ匕信号を上記バッファに保持させるように構成 されて ヽることを特徴とする記録装置。
[7] 請求項 1の記録装置であって、さらに、 上記ヘッダの固定値領域に抽出結果が設定された符号化信号を、元の固定値が 設定された符号化信号に復元する固定値復元手段を備えたことを特徴とする記録装 置。
[8] 請求項 7の記録装置であって、
上記記録手段は、上記固定値復元手段によって復元された符号化信号を上記記 録媒体に記録するように構成されて ヽることを特徴とする記録装置。
[9] 請求項 7の記録装置であって、
上記記録手段は、上記ヘッダの固定値領域に抽出結果が設定された符号化信号 を上記記録媒体に記録する一方、
上記固定値復元手段は、上記記録媒体から再生される符号化信号に対して、上記 復元を行うように構成されて ヽることを特徴とする記録装置。
PCT/JP2005/022270 2005-01-11 2005-12-05 記録装置 Ceased WO2006075457A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US11/794,952 US20080089668A1 (en) 2005-01-11 2005-12-05 Recording Apparatus
JP2006552856A JPWO2006075457A1 (ja) 2005-01-11 2005-12-05 記録装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005004377 2005-01-11
JP2005-004377 2005-01-11

Publications (1)

Publication Number Publication Date
WO2006075457A1 true WO2006075457A1 (ja) 2006-07-20

Family

ID=36677490

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/022270 Ceased WO2006075457A1 (ja) 2005-01-11 2005-12-05 記録装置

Country Status (4)

Country Link
US (1) US20080089668A1 (ja)
JP (1) JPWO2006075457A1 (ja)
CN (1) CN101099197A (ja)
WO (1) WO2006075457A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110173235A1 (en) * 2008-09-15 2011-07-14 Aman James A Session automated recording together with rules based indexing, analysis and expression of content
US8451312B2 (en) 2010-01-06 2013-05-28 Apple Inc. Automatic video stream selection
KR20130134195A (ko) * 2012-05-30 2013-12-10 삼성전자주식회사 오디오 스트림을 고속 시각화시키는 전자 장치 및 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000057749A (ja) * 1998-08-17 2000-02-25 Sony Corp 記録装置および記録方法、再生装置および再生方法、ならびに、記録媒体
JP2000069414A (ja) * 1998-08-17 2000-03-03 Sony Corp 記録装置および記録方法、再生装置および再生方法、ならびに、ｃｍ検出方法
JP2000152179A (ja) * 1998-11-17 2000-05-30 Pioneer Electronic Corp 映像データ再生方法、映像データ再生装置、映像データ記録方法及び映像データ記録装置
JP2002158971A (ja) * 2000-04-21 2002-05-31 Sony Corp 情報処理装置および方法、記録媒体、プログラム、並びに記録媒体
JP2002281431A (ja) * 2001-03-15 2002-09-27 Fujitsu Ltd 編集機能付き映像再生装置及び映像記録再生装置
JP2003101938A (ja) * 2001-09-26 2003-04-04 Sony Corp 再生装置および方法、記録媒体、並びにプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6002831A (en) * 1995-05-16 1999-12-14 Hitachi, Ltd. Image recording/reproducing apparatus
EP1280348A4 (en) * 2000-04-21 2004-10-06 Sony Corp INFORMATION PROCESSING DEVICE AND PROCEDURE, PROGRAM AND RECORDING MEDIUM
JP2002049631A (ja) * 2000-08-01 2002-02-15 Sony Corp 情報提供装置および方法、並びに記録媒体
US7071994B2 (en) * 2001-01-04 2006-07-04 Telisar Corporation System and method for nondisruptively embedding an OFDM modulated data signal into a composite video signal
JP4335516B2 (ja) * 2001-12-04 2009-09-30 パナソニック株式会社 複数のプロセッサを用いた動画像符号化装置およびその方法
US7206494B2 (en) * 2002-05-09 2007-04-17 Thomson Licensing Detection rules for a digital video recorder

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000057749A (ja) * 1998-08-17 2000-02-25 Sony Corp 記録装置および記録方法、再生装置および再生方法、ならびに、記録媒体
JP2000069414A (ja) * 1998-08-17 2000-03-03 Sony Corp 記録装置および記録方法、再生装置および再生方法、ならびに、ｃｍ検出方法
JP2000152179A (ja) * 1998-11-17 2000-05-30 Pioneer Electronic Corp 映像データ再生方法、映像データ再生装置、映像データ記録方法及び映像データ記録装置
JP2002158971A (ja) * 2000-04-21 2002-05-31 Sony Corp 情報処理装置および方法、記録媒体、プログラム、並びに記録媒体
JP2002281431A (ja) * 2001-03-15 2002-09-27 Fujitsu Ltd 編集機能付き映像再生装置及び映像記録再生装置
JP2003101938A (ja) * 2001-09-26 2003-04-04 Sony Corp 再生装置および方法、記録媒体、並びにプログラム

Also Published As

Publication number Publication date
CN101099197A (zh) 2008-01-02
JPWO2006075457A1 (ja) 2008-06-12
US20080089668A1 (en) 2008-04-17

Similar Documents

Publication Publication Date Title
KR100811962B1 (ko) 기록 장치 및 기록 방법, 재생 장치 및 재생 방법과 그기록 매체
US7675555B2 (en) Recording method, recording apparatus, recording medium, reproduction method, reproduction apparatus and image pickup apparatus
US7742687B2 (en) Digital television recorders and stream format conversion and methods thereof
JP2006295344A (ja) コンテンツ処理装置
JPH1173737A (ja) 記録装置及び方法、再生装置及び方法並びに記録媒体
US8509590B2 (en) Metadata recording device and method thereof
WO2006075457A1 (ja) 記録装置
JP4288549B2 (ja) 記録装置および方法、並びに再生装置および方法
JPH10241288A (ja) 多重情報受信復元装置
KR20050055621A (ko) 정보 기록 처리 장치, 정보 재생 처리 장치, 및 방법, 및컴퓨터 프로그램
US20080031597A1 (en) Stream Recording/Reproducing Apparatus
JP4254007B2 (ja) 再生装置および方法、並びに記録媒体
KR100376578B1 (ko) 디지털 데이터 스트림 기록방법 및 그에 따른 표현제어정보 제공방법
JP3436505B2 (ja) デジタル情報信号記録方法、デジタル情報信号記録装置、及びデジタル情報信号記録媒体
JP2002033712A (ja) パケット処理装置及びそのパケット出力方法
JP5191294B2 (ja) 情報処理装置及びプログラム
US7248780B2 (en) Reproducing device, medium, information aggregate, transmitting medium, and recording medium
JP2001298715A (ja) ストリーム記録装置、ストリーム編集装置、ストリーム再生装置および記録媒体
EP1148723B1 (en) Special reproduction data generating device, medium, and information aggregate
JP2004254244A (ja) 監視カメラシステム、及びその画像記録再生方法
US20060078276A1 (en) Optical disk recording and reproducing apparatus
JP4654798B2 (ja) セクション分散方法
JPH10136301A (ja) 画像記録装置及び画像再生装置
JP2009100114A (ja) データ記録再生方法
KR20000046816A (ko) 전송 스트림 저장 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2006552856

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 11794952

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 200580046385.4

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 05811481

Country of ref document: EP

Kind code of ref document: A1

WWW Wipo information: withdrawn in national office

Ref document number: 5811481

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 11794952

Country of ref document: US