JP3290851B2 - ストリーム多重化装置、ストリーム多重化方法及び記録媒体 - Google Patents
ストリーム多重化装置、ストリーム多重化方法及び記録媒体Info
- Publication number
- JP3290851B2 JP3290851B2 JP13417695A JP13417695A JP3290851B2 JP 3290851 B2 JP3290851 B2 JP 3290851B2 JP 13417695 A JP13417695 A JP 13417695A JP 13417695 A JP13417695 A JP 13417695A JP 3290851 B2 JP3290851 B2 JP 3290851B2
- Authority
- JP
- Japan
- Prior art keywords
- sub
- stream
- picture
- display period
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
- H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Television Systems (AREA)
- Signal Processing Not Specific To The Method Of Recording And Reproducing (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、例えば映像、音声、副
映像等の各種ストリームを多重化して１つのシステムス
トリームとして生成するストリーム多重化装置及びスト
リーム多重化方法に関する。また、本発明はシステムス
トリームが記録されるディスク等の記録媒体に関する。
映像等の各種ストリームを多重化して１つのシステムス
トリームとして生成するストリーム多重化装置及びスト
リーム多重化方法に関する。また、本発明はシステムス
トリームが記録されるディスク等の記録媒体に関する。
【０００２】
【従来の技術】複数のデータ種別のストリームを多重化
する方式としてＭＰＥＧ２システムレイヤが知られてい
る。これは、ビデオ、オーディオ、副映像等の各ストリ
ームをそれぞれ適当な長さに分割してパケット化し、こ
のパケット単位で各ストリームを多重化して１本のデー
タストリーム（システムストリーム）とする方式であ
る。 このＭＰＥＧ２システムレイヤのストリーム多重
化方式について図１２を用いてさらに説明する。
する方式としてＭＰＥＧ２システムレイヤが知られてい
る。これは、ビデオ、オーディオ、副映像等の各ストリ
ームをそれぞれ適当な長さに分割してパケット化し、こ
のパケット単位で各ストリームを多重化して１本のデー
タストリーム（システムストリーム）とする方式であ
る。 このＭＰＥＧ２システムレイヤのストリーム多重
化方式について図１２を用いてさらに説明する。
【０００３】同図において、（ａ）はＭＰＥＧ２ビデオ
ストリームであり、そのビットレートは１ＧＯＰ毎に可
変である。（ｂ）はオーディオストリームであり、ビッ
トレートは固定である。（ｃ）は副映像ストリームであ
る。副映像とは、映画の字幕やカラオケの歌詞といった
ビデオデータに対する補助的なデータである。副映像ス
トリームは１画面分の画素データ及び表示期間情報を含
む副映像データユニットｃ１を副映像１画面毎に配置し
てなる。図の例において、副映像データユニットｃ１の
表示期間はＡであり、ビデオストリーム（ａ）における
３つのＧＯＰ（ＧＯＰ１〜３）の再現期間中に表示され
るものとする。
ストリームであり、そのビットレートは１ＧＯＰ毎に可
変である。（ｂ）はオーディオストリームであり、ビッ
トレートは固定である。（ｃ）は副映像ストリームであ
る。副映像とは、映画の字幕やカラオケの歌詞といった
ビデオデータに対する補助的なデータである。副映像ス
トリームは１画面分の画素データ及び表示期間情報を含
む副映像データユニットｃ１を副映像１画面毎に配置し
てなる。図の例において、副映像データユニットｃ１の
表示期間はＡであり、ビデオストリーム（ａ）における
３つのＧＯＰ（ＧＯＰ１〜３）の再現期間中に表示され
るものとする。
【０００４】以上各ストリームをそれぞれパケット化
し、多重化して得たシステムストリームは（ｄ）のよう
になる。ここで、前述したように副映像データユニット
ｃ１はビデオストリーム（ａ）における３つのＧＯＰ
（ＧＯＰ１〜３）の再現期間中に表示されることから、
システムストリーム上において副映像パケットＳＰは、
前記３つのＧＯＰのうちの先頭のＧＯＰ１以前に配置さ
れる。
し、多重化して得たシステムストリームは（ｄ）のよう
になる。ここで、前述したように副映像データユニット
ｃ１はビデオストリーム（ａ）における３つのＧＯＰ
（ＧＯＰ１〜３）の再現期間中に表示されることから、
システムストリーム上において副映像パケットＳＰは、
前記３つのＧＯＰのうちの先頭のＧＯＰ１以前に配置さ
れる。
【０００５】以上のように構成されたシステムストリー
ムは、図１３に示すように、システムデコーダ５１にて
パケット毎に、その中のヘッダに示されるデータ種別情
報に基づいてビデオ、オーディオ、副映像毎に分離さ
れ、それぞれ対応する入力バッファ５２、５３、５４に
入力され、各バッファより元の個別のストリームとなっ
て出力される。
ムは、図１３に示すように、システムデコーダ５１にて
パケット毎に、その中のヘッダに示されるデータ種別情
報に基づいてビデオ、オーディオ、副映像毎に分離さ
れ、それぞれ対応する入力バッファ５２、５３、５４に
入力され、各バッファより元の個別のストリームとなっ
て出力される。
【０００６】ところで、システムストリームは必ずしも
先頭から再生されるとは限らず、例えば伝送においては
チャンネルの切り換え時、ディスク等の記録再生装置で
は特殊再生から通常再生への復帰時など、ストリーム途
中からの再生が要求される場合がある。このような場
合、例えば、図１２（ｄ）のＰａの位置から再生を開始
しようとすると、副映像パケットはＰａの位置よりも前
に配置されているため、本来表示されるべき副映像を表
示させることができない。
先頭から再生されるとは限らず、例えば伝送においては
チャンネルの切り換え時、ディスク等の記録再生装置で
は特殊再生から通常再生への復帰時など、ストリーム途
中からの再生が要求される場合がある。このような場
合、例えば、図１２（ｄ）のＰａの位置から再生を開始
しようとすると、副映像パケットはＰａの位置よりも前
に配置されているため、本来表示されるべき副映像を表
示させることができない。
【０００７】
【発明が解決しようとする課題】このように、副映像を
含む複数のストリームをパケット化し、パケット単位で
多重化して得たストリームにおいて、副映像パケットを
配置した位置よりも後の位置から再生を開始した場合、
副映像ユニットの表示期間にその副映像を表示させるこ
とができないと言う問題があった。
含む複数のストリームをパケット化し、パケット単位で
多重化して得たストリームにおいて、副映像パケットを
配置した位置よりも後の位置から再生を開始した場合、
副映像ユニットの表示期間にその副映像を表示させるこ
とができないと言う問題があった。
【０００８】この発明はこのような課題を解決するため
もので、ストリーム途中から再生が開始された場合の副
映像の表示不可期間を大幅短縮することのできるストリ
ーム多重化装置、ストリーム多重化方法及び記録媒体の
提供を目的とする。
もので、ストリーム途中から再生が開始された場合の副
映像の表示不可期間を大幅短縮することのできるストリ
ーム多重化装置、ストリーム多重化方法及び記録媒体の
提供を目的とする。
【０００９】
【課題を解決するための手段】 発明のストリーム多重
化装置は上記した目的を達成するために、副映像画面を
構成する画素データとこの副映像画面の表示期間を示す
表示期間情報とを有する第１の副映像ユニットが時間軸
に沿って配置された副映像ストリームを一時的に記憶す
るバッファ部を有し、このバッファ部に記憶された表示
期間情報を読み出して前記副映像画面の表示期間を複数
の表示期間に分割し、前記画素データと分割された表示
期間に合わせて変更された表示期間情報とを有する第２
の副映像ユニットを前記分割された表示期間にそれぞれ
に配置した副映像変形ストリームを作成するストリーム
変形手段と、このストリーム変形手段によって作成され
た副映像変形ストリーム及びこれと同期して再現される
他のデータストリームを入力し、これら各ストリームを
それぞれ所定の単位でパケット化して多重化する多重化
手段とを具備することを特徴とする。
化装置は上記した目的を達成するために、副映像画面を
構成する画素データとこの副映像画面の表示期間を示す
表示期間情報とを有する第１の副映像ユニットが時間軸
に沿って配置された副映像ストリームを一時的に記憶す
るバッファ部を有し、このバッファ部に記憶された表示
期間情報を読み出して前記副映像画面の表示期間を複数
の表示期間に分割し、前記画素データと分割された表示
期間に合わせて変更された表示期間情報とを有する第２
の副映像ユニットを前記分割された表示期間にそれぞれ
に配置した副映像変形ストリームを作成するストリーム
変形手段と、このストリーム変形手段によって作成され
た副映像変形ストリーム及びこれと同期して再現される
他のデータストリームを入力し、これら各ストリームを
それぞれ所定の単位でパケット化して多重化する多重化
手段とを具備することを特徴とする。
【００１０】さらに、上記ストリーム多重化装置におい
て、前記ストリーム変形手段は前記バッファ手段に記憶
された表示期間情報を均等な複数の表示期間に分割する
ことを特徴とする。
て、前記ストリーム変形手段は前記バッファ手段に記憶
された表示期間情報を均等な複数の表示期間に分割する
ことを特徴とする。
【００１１】さらに、上記ストリーム多重化装置におい
て、前記ストリーム変形手段は単位時間当たりの前記副
映像変形ストリームのデータ量と前記他のデータストリ
ームであるビデオストリームのデータ量との和が平均化
されるように、前記バッファ手段に記憶された表示期間
情報を分割して前記第２の副映像ユニットを配置するこ
とを特徴とする。
て、前記ストリーム変形手段は単位時間当たりの前記副
映像変形ストリームのデータ量と前記他のデータストリ
ームであるビデオストリームのデータ量との和が平均化
されるように、前記バッファ手段に記憶された表示期間
情報を分割して前記第２の副映像ユニットを配置するこ
とを特徴とする。
【００１２】さらに、上記ストリーム多重化装置におい
て、前記ストリーム変形手段は、前記バッファ手段に記
憶された表示期間情報が所定値を超える場合に前記副映
像変形ストリームを作成することを特徴とする。
て、前記ストリーム変形手段は、前記バッファ手段に記
憶された表示期間情報が所定値を超える場合に前記副映
像変形ストリームを作成することを特徴とする。
【００１３】本発明のストリーム多重化装置は上記した
目的を達成するために、副映像画面を構成する画素デー
タとこの副映像画面の表示期間を示す表示期間情報と表
示時刻に応じて前記副映像画面を表示制御するための制
御データとを有する第１の副映像ユニットが時間軸に沿
って配置された副映像ストリームから前記画素データと
前記制御データとを分離する分離手段と、この分離手段
により分離されたユニット単位の制御データを分割する
制御データ分割手段と、この制御データ分離手段により
分割された各制御データと前記分割手段により分離され
た画素データとをそれぞれ連結して複数の第２の副映像
ユニットを作成し、前記副映像画面の表示期間を複数の
表示期間に分割して、前記第２の副映像ユニットを前記
分割された表示期間に配置した副映像変形ストリームを
作成するストリーム変形手段と、このストリーム変形手
段によって作成された副映像変形ストリーム及びこれと
同期して再現される他のデータストリームを入力し、こ
れら各ストリームをそれぞれ所定の単位でパケット化し
て多重化する多重化手段とを具備することを特徴とす
る。
目的を達成するために、副映像画面を構成する画素デー
タとこの副映像画面の表示期間を示す表示期間情報と表
示時刻に応じて前記副映像画面を表示制御するための制
御データとを有する第１の副映像ユニットが時間軸に沿
って配置された副映像ストリームから前記画素データと
前記制御データとを分離する分離手段と、この分離手段
により分離されたユニット単位の制御データを分割する
制御データ分割手段と、この制御データ分離手段により
分割された各制御データと前記分割手段により分離され
た画素データとをそれぞれ連結して複数の第２の副映像
ユニットを作成し、前記副映像画面の表示期間を複数の
表示期間に分割して、前記第２の副映像ユニットを前記
分割された表示期間に配置した副映像変形ストリームを
作成するストリーム変形手段と、このストリーム変形手
段によって作成された副映像変形ストリーム及びこれと
同期して再現される他のデータストリームを入力し、こ
れら各ストリームをそれぞれ所定の単位でパケット化し
て多重化する多重化手段とを具備することを特徴とす
る。
【００１４】本発明のストリーム多重化方法は上記した
目的を達成するために、副映像画面を構成する画素デー
タとこの副映像画面の表示期間を示す表示期間情報とを
有する第１の副映像ユニットが時間軸に沿って配置され
た副映像ストリームから前記表示期間情報を読み出して
前記副映像画面の表示期間を複数の表示期間に分割し、
前記画素データと分割された表示期間に合わせて変更さ
れた表示期間情報とを有する第２の副映像ユニットを前
記分割された表示期間にそれぞれに配置した副映像変形
ストリームを作成し、この副映像変形ストリーム及びこ
れと同期して再現される他のデータストリームをそれぞ
れ所定の単位でパケット化して多重化することを特徴と
する。
目的を達成するために、副映像画面を構成する画素デー
タとこの副映像画面の表示期間を示す表示期間情報とを
有する第１の副映像ユニットが時間軸に沿って配置され
た副映像ストリームから前記表示期間情報を読み出して
前記副映像画面の表示期間を複数の表示期間に分割し、
前記画素データと分割された表示期間に合わせて変更さ
れた表示期間情報とを有する第２の副映像ユニットを前
記分割された表示期間にそれぞれに配置した副映像変形
ストリームを作成し、この副映像変形ストリーム及びこ
れと同期して再現される他のデータストリームをそれぞ
れ所定の単位でパケット化して多重化することを特徴と
する。
【００１５】さらに、ストリーム多重化方法は、前記第
２の副映像ユニットは前記副映像画面の表示期間を均等
な複数の表示期間に分割する前記副映像ストリーム上に
配置されることを特徴とする。さらに、ストリーム多重
化方法は、、前記第２の副映像ユニットは、単位時間当
たりの前記副映像変形ストリームのデータ量と前記他の
データストリームであるビデオストリームのデータ量と
の和が平均化されるように、前記副映像ストリーム上に
配置されることを特徴とする。さらに、ストリーム多重
化方法は、請求項６乃至８記載のいずれかのストリーム
多重化方法において、前記副映像変形ストリームは前記
第１の副映像ユニットの表示期間情報が所定値を超える
場合に作成されることを特徴とする。
２の副映像ユニットは前記副映像画面の表示期間を均等
な複数の表示期間に分割する前記副映像ストリーム上に
配置されることを特徴とする。さらに、ストリーム多重
化方法は、、前記第２の副映像ユニットは、単位時間当
たりの前記副映像変形ストリームのデータ量と前記他の
データストリームであるビデオストリームのデータ量と
の和が平均化されるように、前記副映像ストリーム上に
配置されることを特徴とする。さらに、ストリーム多重
化方法は、請求項６乃至８記載のいずれかのストリーム
多重化方法において、前記副映像変形ストリームは前記
第１の副映像ユニットの表示期間情報が所定値を超える
場合に作成されることを特徴とする。
【００１６】本発明のストリーム多重化方法は上記した
目的を達成するために、副映像画面を構成する画素デー
タとこの副映像画面の表示期間を示す表示期間情報と表
示時刻に応じて前記副映像画面を表示制御するための制
御データとを有する第１の副映像ユニットが時間軸に沿
って配置された副映像ストリームから前記画素データと
前記制御データとを分離し、この分離されたユニット単
位の制御データを分割し、この分割された各制御データ
と分離された画素データとをそれぞれ連結して複数の第
２の副映像ユニットを作成し、前記副映像画面の表示期
間を複数の表示期間に分割して、前記第２の副映像ユニ
ットを前記分割された表示期間に配置した副映像変形ス
トリームを作成し、この副映像変形ストリーム及びこれ
と同期して再現される他のデータストリームをそれぞれ
所定の単位でパケット化して多重化することを特徴とす
る。
目的を達成するために、副映像画面を構成する画素デー
タとこの副映像画面の表示期間を示す表示期間情報と表
示時刻に応じて前記副映像画面を表示制御するための制
御データとを有する第１の副映像ユニットが時間軸に沿
って配置された副映像ストリームから前記画素データと
前記制御データとを分離し、この分離されたユニット単
位の制御データを分割し、この分割された各制御データ
と分離された画素データとをそれぞれ連結して複数の第
２の副映像ユニットを作成し、前記副映像画面の表示期
間を複数の表示期間に分割して、前記第２の副映像ユニ
ットを前記分割された表示期間に配置した副映像変形ス
トリームを作成し、この副映像変形ストリーム及びこれ
と同期して再現される他のデータストリームをそれぞれ
所定の単位でパケット化して多重化することを特徴とす
る。
【００１７】
【作用】本発明においては、副映像ストリーム上の副映
像ユニット（第１の副映像ユニット）の表示期間内に、
該副映像ユニットとほぼ同一内容、例えば互いに同一の
画素データを有し且つ表示期間の実質的に連続した第２
の副映像ユニットを少なくとも１つ追加配置してなる副
映像変形ストリームから生成された副映像パケット群を
多重化ストリーム上に配置することで、ストリーム途中
から再生が開始された場合でも、その再生位置より後に
配置された副映像パケットのデータによって副映像の表
示が可能になる。
像ユニット（第１の副映像ユニット）の表示期間内に、
該副映像ユニットとほぼ同一内容、例えば互いに同一の
画素データを有し且つ表示期間の実質的に連続した第２
の副映像ユニットを少なくとも１つ追加配置してなる副
映像変形ストリームから生成された副映像パケット群を
多重化ストリーム上に配置することで、ストリーム途中
から再生が開始された場合でも、その再生位置より後に
配置された副映像パケットのデータによって副映像の表
示が可能になる。
【００１８】また、本発明においては、表示時刻に応じ
て副映像画面を表示制御するための１ユニット分の制御
データを複数の副映像ユニットに分割して、各副映像ユ
ニットから生成された副映像パケット群を多重化ストリ
ーム上に配置することで、ストリーム途中から再生が開
始された場合でも、その再生位置より後に配置された副
映像パケットによって副映像の表示が可能になると共
に、デコーダに要求される入力バッファサイズの縮小化
を実現できる。
て副映像画面を表示制御するための１ユニット分の制御
データを複数の副映像ユニットに分割して、各副映像ユ
ニットから生成された副映像パケット群を多重化ストリ
ーム上に配置することで、ストリーム途中から再生が開
始された場合でも、その再生位置より後に配置された副
映像パケットによって副映像の表示が可能になると共
に、デコーダに要求される入力バッファサイズの縮小化
を実現できる。
【００１９】
【実施例】以下、本発明の実施例を図面に基づいて説明
する。
する。
【００２０】図１は第１の実施例であるストリーム多重
化装置の構成を示す図である。
化装置の構成を示す図である。
【００２１】同図に示すように、本装置は、入力した副
映像ストリームから、この副映像ストリーム上の副映像
データユニットの表示期間内に該副映像データユニット
とほぼ同一内容のデータユニットを追加配置してなる副
映像変形ストリームを作成するストリーム変形手段１
と、ビデオストリーム、オーディオストリーム及び副映
像変形ストリームをそれぞれ所定の単位でパケット化し
且つ多重化してシステムストリームを生成するシステム
化手段２と、システムストリームをディスク等の記録媒
体３に記録する記録装置４とから構成される。
映像ストリームから、この副映像ストリーム上の副映像
データユニットの表示期間内に該副映像データユニット
とほぼ同一内容のデータユニットを追加配置してなる副
映像変形ストリームを作成するストリーム変形手段１
と、ビデオストリーム、オーディオストリーム及び副映
像変形ストリームをそれぞれ所定の単位でパケット化し
且つ多重化してシステムストリームを生成するシステム
化手段２と、システムストリームをディスク等の記録媒
体３に記録する記録装置４とから構成される。
【００２２】図２に本実施例によるストリーム多重化の
際の各ストリームを示す。
際の各ストリームを示す。
【００２３】同図において、（ａ）はＭＰＥＧ２ビデオ
ストリーム、（ｂ）は副映像ストリーム、（ｃ）は副映
像変形ストリーム、（ｄ）はシステムストリームであ
る。ここで副映像ストリーム（ｂ）は、副映像の１画面
を構成する画素データ及び表示期間情報等を含む副映像
データユニットｂ１を副映像１画面毎に配置してなる。
図の例において、副映像データユニットｂ１の表示期間
はＡであり、ビデオストリームにおける３つのＧＯＰ
（ＧＯＰ１〜３）の再現期間中に表示されるものとす
る。
ストリーム、（ｂ）は副映像ストリーム、（ｃ）は副映
像変形ストリーム、（ｄ）はシステムストリームであ
る。ここで副映像ストリーム（ｂ）は、副映像の１画面
を構成する画素データ及び表示期間情報等を含む副映像
データユニットｂ１を副映像１画面毎に配置してなる。
図の例において、副映像データユニットｂ１の表示期間
はＡであり、ビデオストリームにおける３つのＧＯＰ
（ＧＯＰ１〜３）の再現期間中に表示されるものとす
る。
【００２４】以下、図１及び図２を参照しつつ本実施例
のストリーム多重化方式を詳しく説明する。
のストリーム多重化方式を詳しく説明する。
【００２５】ストリーム変形手段１は、副映像ストリー
ムを入力すると、これをバッファ５に蓄える共にシステ
ム化手段２に送る。次にストリーム変形手段１は読み出
し制御手段６にて、バッファ５に蓄えられた副映像デー
タユニットｂ１から表示期間情報を読み込み、その表示
期間Ａがある基準値を越えているかどうかを判定する。
表示期間Ａが基準値を越える場合、読み出し制御手段６
は、その表示期間Ａを分割する複数の表示期間Ａ１、Ａ
２、Ａ３を決定する。例えば、表示期間Ａをほぼ均等に
複数の表示期間Ａ１、Ａ２、Ａ３に分割する。
ムを入力すると、これをバッファ５に蓄える共にシステ
ム化手段２に送る。次にストリーム変形手段１は読み出
し制御手段６にて、バッファ５に蓄えられた副映像デー
タユニットｂ１から表示期間情報を読み込み、その表示
期間Ａがある基準値を越えているかどうかを判定する。
表示期間Ａが基準値を越える場合、読み出し制御手段６
は、その表示期間Ａを分割する複数の表示期間Ａ１、Ａ
２、Ａ３を決定する。例えば、表示期間Ａをほぼ均等に
複数の表示期間Ａ１、Ａ２、Ａ３に分割する。
【００２６】その後、バッファ５から副映像データユニ
ットｂ１を２つ目の表示期間Ａ２の副映像データユニッ
トｃ２として読み出し、その中の表示期間情報に対して
必要な変更（表示期間情報が表示開始時刻と表示終了時
刻からなる場合に表示開始時刻を変更する。）を加えて
システム化手段２に送る。続いて、バッファ５から再
度、副映像データユニットを３つ目の表示期間Ａ３の副
映像データユニットｃ３として読み出し、表示期間情報
に変更を加えてシステム化手段２に送る。このようにし
て、図２（ｃ）に示すように、副映像データユニットｂ
１を先頭とする複数の副映像データユニットｃ１、ｃ
２、ｃ３からなる副映像変形ストリームが得られる。
ットｂ１を２つ目の表示期間Ａ２の副映像データユニッ
トｃ２として読み出し、その中の表示期間情報に対して
必要な変更（表示期間情報が表示開始時刻と表示終了時
刻からなる場合に表示開始時刻を変更する。）を加えて
システム化手段２に送る。続いて、バッファ５から再
度、副映像データユニットを３つ目の表示期間Ａ３の副
映像データユニットｃ３として読み出し、表示期間情報
に変更を加えてシステム化手段２に送る。このようにし
て、図２（ｃ）に示すように、副映像データユニットｂ
１を先頭とする複数の副映像データユニットｃ１、ｃ
２、ｃ３からなる副映像変形ストリームが得られる。
【００２７】一方、システム化手段２に入力されたビデ
オストリーム、オーディオストリーム及び副映像変形ス
トリームはそれぞれ対応するバッファ７ａ、７ｂ、７ｃ
に蓄えられる。この後、各バッファ７ａ、７ｂ、７ｃに
蓄えられた各ストリームは、制御手段８の制御の下それ
ぞれ所定の単位で読み出され、パケット化される。各パ
ケットデータは、制御手段８によって決定された各パケ
ットの配置に従ってマルチプレクサ９にて多重化された
後、図２（ｄ）に示すようなシステムストリームとなっ
て出力され、記録装置４によってディスク３に記録され
る。
オストリーム、オーディオストリーム及び副映像変形ス
トリームはそれぞれ対応するバッファ７ａ、７ｂ、７ｃ
に蓄えられる。この後、各バッファ７ａ、７ｂ、７ｃに
蓄えられた各ストリームは、制御手段８の制御の下それ
ぞれ所定の単位で読み出され、パケット化される。各パ
ケットデータは、制御手段８によって決定された各パケ
ットの配置に従ってマルチプレクサ９にて多重化された
後、図２（ｄ）に示すようなシステムストリームとなっ
て出力され、記録装置４によってディスク３に記録され
る。
【００２８】以上のストリーム多重化方式によって得た
システムストリームにおいて、副映像パケットであるＳ
Ｐ１〜ＳＰ３は、ビデオストリームにおける３つのＧＯ
Ｐ（ＧＯＰ１〜３）の各期間にそれぞれ配置されてい
る。従って、例えば図２（ｄ）に示すシステムストリー
ム上のＰａ或いはＰｂの位置から再生が開始された場合
でも、副映像パケットＳＰ２またはＳＰ３のデータによ
って副映像を表示させることができる。
システムストリームにおいて、副映像パケットであるＳ
Ｐ１〜ＳＰ３は、ビデオストリームにおける３つのＧＯ
Ｐ（ＧＯＰ１〜３）の各期間にそれぞれ配置されてい
る。従って、例えば図２（ｄ）に示すシステムストリー
ム上のＰａ或いはＰｂの位置から再生が開始された場合
でも、副映像パケットＳＰ２またはＳＰ３のデータによ
って副映像を表示させることができる。
【００２９】このように本実施例のストリーム多重化方
式によれば、副映像ストリーム上の副映像データユニッ
トの表示期間内に該副映像データユニットとほぼ同一の
データユニットを追加配置することによって、システム
ストリームの途中から再生を開始した場合の副映像の表
示不可期間をほぼ一定の短い時間に食い止めることがで
きる。
式によれば、副映像ストリーム上の副映像データユニッ
トの表示期間内に該副映像データユニットとほぼ同一の
データユニットを追加配置することによって、システム
ストリームの途中から再生を開始した場合の副映像の表
示不可期間をほぼ一定の短い時間に食い止めることがで
きる。
【００３０】なお、システムストリームにおいて副映像
パケットは必ずしも全てのＧＯＰの期間に配置する必要
はなく、副映像データユニットの表示期間Ａ内のいずれ
かのＧＯＰの期間に配置したり、或いは複数のＧＯＰの
各期間に分散して複数配置してもよい。また、表示期間
Ａの長さに応じた数で表示期間を分割するようにしても
よい。
パケットは必ずしも全てのＧＯＰの期間に配置する必要
はなく、副映像データユニットの表示期間Ａ内のいずれ
かのＧＯＰの期間に配置したり、或いは複数のＧＯＰの
各期間に分散して複数配置してもよい。また、表示期間
Ａの長さに応じた数で表示期間を分割するようにしても
よい。
【００３１】次に本発明の第２の実施例を説明する。
【００３２】図３は第２の実施例であるストリーム多重
化装置の構成を示す図である。
化装置の構成を示す図である。
【００３３】同図に示すように、本装置は、複数の副映
像ストリームを入力し、入力した個々の副映像ストリー
ムから、この副映像ストリーム上の副映像データユニッ
トの表示期間内に該副映像データユニットとほぼ同一の
データユニットを追加配置してなる副映像変形ストリー
ムをそれぞれ作成するストリーム変形手段１１と、ビデ
オストリーム、オーディオストリーム及び複数の副映像
変形ストリームをそれぞれ所定の単位でパケット化し且
つ多重化してシステムストリームを生成するシステム化
手段１２と、システムストリームをディスク等の記録媒
体１３に記録する記録装置１４とから構成される。
像ストリームを入力し、入力した個々の副映像ストリー
ムから、この副映像ストリーム上の副映像データユニッ
トの表示期間内に該副映像データユニットとほぼ同一の
データユニットを追加配置してなる副映像変形ストリー
ムをそれぞれ作成するストリーム変形手段１１と、ビデ
オストリーム、オーディオストリーム及び複数の副映像
変形ストリームをそれぞれ所定の単位でパケット化し且
つ多重化してシステムストリームを生成するシステム化
手段１２と、システムストリームをディスク等の記録媒
体１３に記録する記録装置１４とから構成される。
【００３４】図４に本実施例によるストリーム多重化の
際の各ストリームを示す。
際の各ストリームを示す。
【００３５】同図において、（ａ）はＭＰＥＧ２ビデオ
ストリームであり、そのビットレートは１ＧＯＰ毎に可
変である。（ｂ）及び（ｃ）はマルチリンガルのための
第１の副映像ストリーム及び第２の副映像ストリーム、
（ｄ）及び（ｅ）は第１の副映像変形ストリーム及び第
２の副映像変形ストリーム、（ｆ）はシステムストリー
ムである。
ストリームであり、そのビットレートは１ＧＯＰ毎に可
変である。（ｂ）及び（ｃ）はマルチリンガルのための
第１の副映像ストリーム及び第２の副映像ストリーム、
（ｄ）及び（ｅ）は第１の副映像変形ストリーム及び第
２の副映像変形ストリーム、（ｆ）はシステムストリー
ムである。
【００３６】第１の副映像ストリーム及び第２の副映像
ストリームはそれぞれ、副映像の１画面を構成する画素
データ及び表示期間情報等を含む副映像データユニット
ｂ１、ｂ２を副映像１画面毎に配置してなる。またその
データ量は画面毎に可変である。図の例において、各副
映像データユニットｂ１、ｂ２の表示期間はそれぞれＡ
で同一であり、ビデオストリームにおける３つのＧＯＰ
（ＧＯＰ１〜３）の再現期間中に表示されるものとす
る。
ストリームはそれぞれ、副映像の１画面を構成する画素
データ及び表示期間情報等を含む副映像データユニット
ｂ１、ｂ２を副映像１画面毎に配置してなる。またその
データ量は画面毎に可変である。図の例において、各副
映像データユニットｂ１、ｂ２の表示期間はそれぞれＡ
で同一であり、ビデオストリームにおける３つのＧＯＰ
（ＧＯＰ１〜３）の再現期間中に表示されるものとす
る。
【００３７】以下、図３及び図４を参照しつつ本実施例
のストリーム多重化方式を説明する。 ストリーム変形
手段１１は、第１、第２の副映像ストリームを入力する
と、これらを各バッファ１５、１６に蓄える共にシステ
ム化手段１２に送る。次にストリーム変形手段１１は読
み出し制御手段１７にて、各バッファ１５、１６に蓄え
られた副映像データユニットｂ１、ｂ２から表示期間情
報を読み込み、その表示期間Ａがある基準値を越えてい
るかどうかを判定する。表示期間Ａが基準値を越える場
合、読み出し制御手段１７は、各副映像ストリームの単
位時間当たりのデータ量及びビデオストリームのビット
レートの各情報を各バッファ１５、１６、１８ａより読
み込み、これらの情報を基に、単位時間当たりの各副映
像データユニットｂ１、ｂ２のデータ量とビデオストリ
ームのデータ量との和がより平均化されるように、各副
映像変形ストリームにおける各副映像データユニットｃ
１、ｃ２、ｃ３及びｃ４、ｃ５、ｃ６の表示期間Ａ１、
Ａ２、Ａ３及びＡ４、Ａ５、Ａ６を決定する。
のストリーム多重化方式を説明する。 ストリーム変形
手段１１は、第１、第２の副映像ストリームを入力する
と、これらを各バッファ１５、１６に蓄える共にシステ
ム化手段１２に送る。次にストリーム変形手段１１は読
み出し制御手段１７にて、各バッファ１５、１６に蓄え
られた副映像データユニットｂ１、ｂ２から表示期間情
報を読み込み、その表示期間Ａがある基準値を越えてい
るかどうかを判定する。表示期間Ａが基準値を越える場
合、読み出し制御手段１７は、各副映像ストリームの単
位時間当たりのデータ量及びビデオストリームのビット
レートの各情報を各バッファ１５、１６、１８ａより読
み込み、これらの情報を基に、単位時間当たりの各副映
像データユニットｂ１、ｂ２のデータ量とビデオストリ
ームのデータ量との和がより平均化されるように、各副
映像変形ストリームにおける各副映像データユニットｃ
１、ｃ２、ｃ３及びｃ４、ｃ５、ｃ６の表示期間Ａ１、
Ａ２、Ａ３及びＡ４、Ａ５、Ａ６を決定する。
【００３８】この後、各バッファ１５、１６から副映像
データユニットを２つ目の表示期間Ａ２、Ａ５の副映像
データユニットｃ２、ｃ５としてそれぞれ読み出し、そ
の中の表示期間情報に必要な変更（表示期間情報が表示
開始時刻と表示終了時刻からなる場合に表示開始時刻を
変更する。）を加えてシステム化手段１２に送る。続い
て各バッファ１５、１６から再度、副映像データユニッ
トを３つ目の表示期間Ａ３、Ａ６の副映像データユニッ
トｃ３、ｃ６としてそれぞれ読み出し、表示期間情報に
変更を加えてシステム化手段１２に送る。このようにし
て、図４（ｄ）及び（ｅ）に示すような各副映像変形ス
トリームが得られる。
データユニットを２つ目の表示期間Ａ２、Ａ５の副映像
データユニットｃ２、ｃ５としてそれぞれ読み出し、そ
の中の表示期間情報に必要な変更（表示期間情報が表示
開始時刻と表示終了時刻からなる場合に表示開始時刻を
変更する。）を加えてシステム化手段１２に送る。続い
て各バッファ１５、１６から再度、副映像データユニッ
トを３つ目の表示期間Ａ３、Ａ６の副映像データユニッ
トｃ３、ｃ６としてそれぞれ読み出し、表示期間情報に
変更を加えてシステム化手段１２に送る。このようにし
て、図４（ｄ）及び（ｅ）に示すような各副映像変形ス
トリームが得られる。
【００３９】一方、システム化手段１２に入力されたビ
デオストリーム、オーディオストリーム及び各副映像変
形ストリームはそれぞれ対応するバッファ１８ａ、１８
ｂ、１８ｃ、１８ｄに蓄えられる。この後、各バッファ
１８ａ〜１８ｄに蓄えられた各ストリームは、制御手段
１９の制御の下それぞれ所定の単位で読み出され、パケ
ット化される。各パケットデータは、制御手段１９によ
って決定された各パケットの配置に従ってマルチプレク
サ２０にて多重化された後、図４（ｆ）に示すようなシ
ステムストリームとなって出力され、記録装置１４によ
ってディスク１３に記録される。
デオストリーム、オーディオストリーム及び各副映像変
形ストリームはそれぞれ対応するバッファ１８ａ、１８
ｂ、１８ｃ、１８ｄに蓄えられる。この後、各バッファ
１８ａ〜１８ｄに蓄えられた各ストリームは、制御手段
１９の制御の下それぞれ所定の単位で読み出され、パケ
ット化される。各パケットデータは、制御手段１９によ
って決定された各パケットの配置に従ってマルチプレク
サ２０にて多重化された後、図４（ｆ）に示すようなシ
ステムストリームとなって出力され、記録装置１４によ
ってディスク１３に記録される。
【００４０】以上のストリーム多重化方式によって得た
システムストリームにおいて、副映像パケットであるＳ
Ｐ１〜ＳＰ６は、ビデオストリームにおける先頭のＧＯ
Ｐ１の期間に２つ、ビットレートの比較的低い次のＧＯ
Ｐ２の期間には３つ、ビットレートの比較的高い次のＧ
ＯＰ３の期間には１つ配置されたものとなる。従って、
例えば図４（ｄ）のシステムストリーム上のＰａ或いは
Ｐｂの位置から再生が開始された場合でも、副映像パケ
ットＳＰ２，ＳＰ５、ＳＰ３、ＳＰ６のデータによって
副映像を表示させることができる。
システムストリームにおいて、副映像パケットであるＳ
Ｐ１〜ＳＰ６は、ビデオストリームにおける先頭のＧＯ
Ｐ１の期間に２つ、ビットレートの比較的低い次のＧＯ
Ｐ２の期間には３つ、ビットレートの比較的高い次のＧ
ＯＰ３の期間には１つ配置されたものとなる。従って、
例えば図４（ｄ）のシステムストリーム上のＰａ或いは
Ｐｂの位置から再生が開始された場合でも、副映像パケ
ットＳＰ２，ＳＰ５、ＳＰ３、ＳＰ６のデータによって
副映像を表示させることができる。
【００４１】次に本発明の第３の実施例を説明する。
【００４２】図５は第３の実施例であるストリーム多重
化装置の構成を示す図、図６は本実施例によるストリー
ム多重化の際の各ストリームを示す図である。
化装置の構成を示す図、図６は本実施例によるストリー
ム多重化の際の各ストリームを示す図である。
【００４３】図６において、（ａ）は副映像ストリーム
である。この副映像ストリームは、副映像の１画面を構
成する画素データと、時間経過とともに副映像の表示色
や表示位置を変化させるための表示制御データ（０〜
２）とを含む副映像データユニットａ１を副映像１画面
毎に配置してなる。個々の表示制御データはそれぞれ、
表示制御を行う時刻等、個々の表示期間に関する情報を
有している。
である。この副映像ストリームは、副映像の１画面を構
成する画素データと、時間経過とともに副映像の表示色
や表示位置を変化させるための表示制御データ（０〜
２）とを含む副映像データユニットａ１を副映像１画面
毎に配置してなる。個々の表示制御データはそれぞれ、
表示制御を行う時刻等、個々の表示期間に関する情報を
有している。
【００４４】以下、図５及び図６を参照しつつ本実施例
のストリーム多重化方式を説明する。 ストリーム変形
手段２１は、図６（ａ）に示す副映像ストリームを入力
すると、その中の副映像データユニットａ１を画素デー
タと表示制御データとに分離して各バッファ２５、２６
に蓄える。次にストリーム変形手段２１は読み出し制御
手段２７にて、バッファ２６に蓄えられた表示制御デー
タの中から表示期間及び表示制御データ量の各情報を読
み込む。そして図６（ｂ）及び（ｃ）に示すように、上
記各情報を基に、１ユニット分の表示制御データを、そ
の表示期間Ａ内においてほぼ均等なデータ量毎に区切る
ようにバッファ２６から表示制御データｃ１，ｃ２、ｃ
３を分割して読み出すと共に、これに対応して他方のバ
ッファ２５から画素データｂ１、ｂ２、ｂ３を繰り返し
読み出す。
のストリーム多重化方式を説明する。 ストリーム変形
手段２１は、図６（ａ）に示す副映像ストリームを入力
すると、その中の副映像データユニットａ１を画素デー
タと表示制御データとに分離して各バッファ２５、２６
に蓄える。次にストリーム変形手段２１は読み出し制御
手段２７にて、バッファ２６に蓄えられた表示制御デー
タの中から表示期間及び表示制御データ量の各情報を読
み込む。そして図６（ｂ）及び（ｃ）に示すように、上
記各情報を基に、１ユニット分の表示制御データを、そ
の表示期間Ａ内においてほぼ均等なデータ量毎に区切る
ようにバッファ２６から表示制御データｃ１，ｃ２、ｃ
３を分割して読み出すと共に、これに対応して他方のバ
ッファ２５から画素データｂ１、ｂ２、ｂ３を繰り返し
読み出す。
【００４５】各バッファ２５、２６から読み出された画
素データ及び表示制御データは結合手段２８にて結合さ
れ、この結果、図６（ｄ）に示すように、複数の副映像
データユニットｄ１、ｄ２、ｄ３からなる副映像変形ス
トリームが得られる。ここで、Ａ１、Ａ２、Ａ３は各副
映像データユニットｄ１、ｄ２、ｄ３の表示期間であ
る。 一方、システム化手段２２は、入力したビデオス
トリーム、オーディオストリーム及び副映像変形ストリ
ームをそれぞれパケット化し、多重化して図６（ｅ）に
示すようなシステムストリームを生成する。このシステ
ムストリームは記録装置２４に送られ、ディスク２３に
記録される。
素データ及び表示制御データは結合手段２８にて結合さ
れ、この結果、図６（ｄ）に示すように、複数の副映像
データユニットｄ１、ｄ２、ｄ３からなる副映像変形ス
トリームが得られる。ここで、Ａ１、Ａ２、Ａ３は各副
映像データユニットｄ１、ｄ２、ｄ３の表示期間であ
る。 一方、システム化手段２２は、入力したビデオス
トリーム、オーディオストリーム及び副映像変形ストリ
ームをそれぞれパケット化し、多重化して図６（ｅ）に
示すようなシステムストリームを生成する。このシステ
ムストリームは記録装置２４に送られ、ディスク２３に
記録される。
【００４６】従って、本実施例によれば、先の実施例と
同様、システムストリームの途中から再生を開始した場
合の副映像の表示不可期間をほぼ一定の短い時間に食い
止めることができる。
同様、システムストリームの途中から再生を開始した場
合の副映像の表示不可期間をほぼ一定の短い時間に食い
止めることができる。
【００４７】また、本実施例によれば、１ユニット分の
表示制御データを複数のユニットに分割することによっ
て、デコーダに要求される入力バッファサイズの縮小化
を実現できる。
表示制御データを複数のユニットに分割することによっ
て、デコーダに要求される入力バッファサイズの縮小化
を実現できる。
【００４８】次に本発明の第４の実施例を説明する。
【００４９】上記第３の実施例においては、１ユニット
分の表示制御データをそのデータ量がほぼ均一になるよ
うに分割したが、本実施例においては図７に示すよう
に、分割後の副映像データユニットの表示期間がほぼ均
一になるように表示制御データを分割する。
分の表示制御データをそのデータ量がほぼ均一になるよ
うに分割したが、本実施例においては図７に示すよう
に、分割後の副映像データユニットの表示期間がほぼ均
一になるように表示制御データを分割する。
【００５０】即ち、本実施例においては、個々の表示制
御データが有する表示期間に関する情報を基に、１ユニ
ット分の表示制御データを、分割後の副映像データユニ
ットの表示期間Ａ１、Ａ２、Ａ３がほぼ均一になるよう
に、バッファから表示制御データｃ１、ｃ２、ｃ３を分
割して読み出すと共に、これに対応して他方のバッファ
から画素データｂ１、ｂ２、ｂ３を繰り返し読み出す。
そして、これら表示制御データ及び画素データを結合
（ユニット化）することにより、図７（ｄ）に示すよう
な複数の副映像データユニットｄ１、ｄ２、ｄ３からな
る副映像変形ストリームを得る。この後、ビデオストリ
ーム、オーディオストリーム及び副映像変形ストリーム
をそれぞれパケット化し、多重化して図７（ｅ）に示す
ようなシステムストリームを生成する。
御データが有する表示期間に関する情報を基に、１ユニ
ット分の表示制御データを、分割後の副映像データユニ
ットの表示期間Ａ１、Ａ２、Ａ３がほぼ均一になるよう
に、バッファから表示制御データｃ１、ｃ２、ｃ３を分
割して読み出すと共に、これに対応して他方のバッファ
から画素データｂ１、ｂ２、ｂ３を繰り返し読み出す。
そして、これら表示制御データ及び画素データを結合
（ユニット化）することにより、図７（ｄ）に示すよう
な複数の副映像データユニットｄ１、ｄ２、ｄ３からな
る副映像変形ストリームを得る。この後、ビデオストリ
ーム、オーディオストリーム及び副映像変形ストリーム
をそれぞれパケット化し、多重化して図７（ｅ）に示す
ようなシステムストリームを生成する。
【００５１】次に本発明の第５の実施例を説明する。
【００５２】図８はカラオケにおける歌詞（副映像）の
表示例を示している。ここで、副映像は時間経過ととも
に表示色がＰ１地点からＰ２地点、さらに行が移ってＰ
３地点からＰ４地点へと変化して行くものとする。
表示例を示している。ここで、副映像は時間経過ととも
に表示色がＰ１地点からＰ２地点、さらに行が移ってＰ
３地点からＰ４地点へと変化して行くものとする。
【００５３】本実施例においては、副映像における個々
の行を制御対象とする表示制御データ毎に１ユニット分
の表示制御データを分割する。
の行を制御対象とする表示制御データ毎に１ユニット分
の表示制御データを分割する。
【００５４】即ち、本実施例においては、図９に示すよ
うに、個々の表示制御データが有する表示制御対象位置
に関する情報に基づき、１ユニット分の表示制御データ
を個々の行を制御対象とする表示制御データ毎に区切る
ようにバッファから表示制御データｃ１、ｃ２を分割し
て読み出すと共に、これに対応して他方のバッファから
画素データｂ１、ｂ２を繰り返し読み出す。そして、こ
れら表示制御データ及び画素データを結合（ユニット
化）することにより、図９（ｄ）に示すような複数の副
映像データユニットｄ１、ｄ２からなる副映像変形スト
リームを得る。この後、ビデオストリーム、オーディオ
ストリーム及び副映像変形ストリームをそれぞれパケッ
ト化し、多重化して図９（ｅ）に示すようなシステムス
トリームを生成する。
うに、個々の表示制御データが有する表示制御対象位置
に関する情報に基づき、１ユニット分の表示制御データ
を個々の行を制御対象とする表示制御データ毎に区切る
ようにバッファから表示制御データｃ１、ｃ２を分割し
て読み出すと共に、これに対応して他方のバッファから
画素データｂ１、ｂ２を繰り返し読み出す。そして、こ
れら表示制御データ及び画素データを結合（ユニット
化）することにより、図９（ｄ）に示すような複数の副
映像データユニットｄ１、ｄ２からなる副映像変形スト
リームを得る。この後、ビデオストリーム、オーディオ
ストリーム及び副映像変形ストリームをそれぞれパケッ
ト化し、多重化して図９（ｅ）に示すようなシステムス
トリームを生成する。
【００５５】以上、ディスクにシステムストリームを記
録する装置に本発明を適用した実施例について説明した
が、本発明は、図１０に示すように、磁気テープ１０１
にシステムストリームを記録する装置、その他の磁気デ
ィスク、光磁気ディスク、半導体メモリ等の様々な記録
装置に適用することができる。また、図１１に示すよう
に、システムストリームの伝送装置１０２にも適用でき
る。
録する装置に本発明を適用した実施例について説明した
が、本発明は、図１０に示すように、磁気テープ１０１
にシステムストリームを記録する装置、その他の磁気デ
ィスク、光磁気ディスク、半導体メモリ等の様々な記録
装置に適用することができる。また、図１１に示すよう
に、システムストリームの伝送装置１０２にも適用でき
る。
【００５６】
【発明の効果】以上説明したように本発明によれば、副
映像ストリーム上の副映像ユニット（第１の副映像ユニ
ット）の表示期間内に、該副映像ユニットとほぼ同一内
容、例えば互いに同一の画素データを有し且つ表示期間
の実質的に連続した第２の副映像ユニットを少なくとも
１つ追加配置してなる副映像変形ストリームから生成さ
れた副映像パケット群を多重化ストリーム上に配置した
ので、ストリーム途中から再生が開始された場合でも、
その再生位置より後に配置された副映像パケットによっ
て副映像の表示が可能になる。
映像ストリーム上の副映像ユニット（第１の副映像ユニ
ット）の表示期間内に、該副映像ユニットとほぼ同一内
容、例えば互いに同一の画素データを有し且つ表示期間
の実質的に連続した第２の副映像ユニットを少なくとも
１つ追加配置してなる副映像変形ストリームから生成さ
れた副映像パケット群を多重化ストリーム上に配置した
ので、ストリーム途中から再生が開始された場合でも、
その再生位置より後に配置された副映像パケットによっ
て副映像の表示が可能になる。
【００５７】また、本発明によれば、表示時刻に応じて
副映像画面を表示制御するための１ユニット分の制御デ
ータを複数の副映像ユニットに分割して、各副映像ユニ
ットから生成された副映像パケット群を多重化ストリー
ム上に配置したので、ストリーム途中から再生が開始さ
れた場合でも、その再生位置より後に配置された副映像
パケットによって副映像の表示が可能になると共に、デ
コーダに要求される入力バッファサイズの縮小化を実現
できる。
副映像画面を表示制御するための１ユニット分の制御デ
ータを複数の副映像ユニットに分割して、各副映像ユニ
ットから生成された副映像パケット群を多重化ストリー
ム上に配置したので、ストリーム途中から再生が開始さ
れた場合でも、その再生位置より後に配置された副映像
パケットによって副映像の表示が可能になると共に、デ
コーダに要求される入力バッファサイズの縮小化を実現
できる。
【図面の簡単な説明】
【図１】本発明の第１の実施例であるストリーム多重化
装置の構成を示す図
装置の構成を示す図
【図２】第１の実施例によるストリーム多重化の際の各
ストリームを示す図
ストリームを示す図
【図３】本発明の第２の実施例であるストリーム多重化
装置の構成を示す図
装置の構成を示す図
【図４】第２の実施例によるストリーム多重化の際の各
ストリームを示す図
ストリームを示す図
【図５】本発明の第３の実施例であるストリーム多重化
装置の構成を示す図
装置の構成を示す図
【図６】第３の実施例によるストリーム多重化の際の各
ストリームを示す図
ストリームを示す図
【図７】本発明の第４の実施例によるストリーム多重化
の際の各ストリームを示す図
の際の各ストリームを示す図
【図８】カラオケにおける歌詞（副映像）の表示例を示
す図
す図
【図９】本発明の第５の実施例によるストリーム多重化
の際の各ストリームを示す図
の際の各ストリームを示す図
【図１０】本発明のさらに他の実施例を説明するための
図
図
【図１１】本発明のさらに他の実施例を説明するための
図
図
【図１２】従来のストリーム多重化方式について説明す
るための図
るための図
【図１３】システムストリームのデコーダの構成を示す
図
図
１、１１、２１……ストリーム変形手段 ２，１２、２２……システム化手段 ３，１３、２３……記録媒体 ４、１４、２４……記録装置
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ Ｈ０４Ｎ 7/08 Ｈ０４Ｎ 7/08 Ｚ 7/081 7/13 Ｚ 7/24 (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 7/00 - 7/088 H04N 5/91 - 5/956 H04N 7/24 - 7/68
Claims (10)
- 【請求項１】 副映像画面を構成する画素データとこの
副映像画面の表示期間を示す表示期間情報とを有する第
１の副映像ユニットが時間軸に沿って配置された副映像
ストリームを一時的に記憶するバッファ部を有し、この
バッファ部に記憶された表示期間情報を読み出して前記
副映像画面の表示期間を複数の表示期間に分割し、前記
画素データと分割された表示期間に合わせて変更された
表示期間情報とを有する第２の副映像ユニットを前記分
割された表示期間にそれぞれに配置した副映像変形スト
リームを作成するストリーム変形手段と、 このストリーム変形手段によって作成された副映像変形
ストリーム及びこれと同期して再現される他のデータス
トリームを入力し、これら各ストリームをそれぞれ所定
の単位でパケット化して多重化する多重化手段とを具備
することを特徴とするストリーム多重化装置。 - 【請求項２】請求項１項記載のストリーム多重化装置に
おいて、前記ストリーム変形手段は前記バッファ手段に
記憶された表示期間情報を均等な複数の表示期間に分割
することを特徴とするストリーム多重化装置。 - 【請求項３】請求項１項記載のストリーム多重化装置に
おいて、前記ストリーム変形手段は単位時間当たりの前
記副映像変形ストリームのデータ量と前記他のデータス
トリームであるビデオストリームのデータ量との和が平
均化されるように、前記バッファ手段に記憶された表示
期間情報を分割して前記第２の副映像ユニットを配置す
ることを特徴とするストリーム多重化装置。 - 【請求項４】請求項１乃至３記載のいずれかのストリー
ム多重化装置において、前記ストリーム変形手段は、前
記バッファ手段に記憶された表示期間情報が所定値を超
える場合に前記副映像変形ストリームを作成することを
特徴とするストリーム多重化装置。 - 【請求項５】副映像画面を構成する画素データとこの副
映像画面の表示期間を示す表示期間 情報と表示時刻に応
じて前記副映像画面を表示制御するための制御データと
を有する第１の副映像ユニットが時間軸に沿って配置さ
れた副映像ストリームから前記画素データと前記制御デ
ータとを分離する分離手段と、 この分離手段により分離されたユニット単位の制御デー
タを分割する制御データ分割手段と、この 制御データ分離手段により分割された各制御データ
と前記分割手段により分離された画素データとをそれぞ
れ連結して複数の第２の副映像ユニットを作成し、前記
副映像画面の表示期間を複数の表示期間に分割して、前
記第２の副映像ユニットを前記分割された表示期間に配
置した副映像変形ストリームを作成するストリーム変形
手段と、 このストリーム変形手段によって作成された副映像変形
ストリーム及びこれと同期して再現される他のデータス
トリームを入力し、これら各ストリームをそれぞれ所定
の単位でパケット化して多重化する多重化手段とを具備
することを特徴とするストリーム多重化装置。 - 【請求項６】副映像画面を構成する画素データとこの副
映像画面の表示期間を示す表示期間情報とを有する第１
の副映像ユニットが時間軸に沿って配置された副映像ス
トリームから前記表示期間情報を読み出して前記副映像
画面の表示期間を複数の表示期間に分割し、 前記画素データと分割された表示期間に合わせて変更さ
れた表示期間情報とを有する第２の副映像ユニットを前
記分割された表示期間にそれぞれに配置した 副映像変形
ストリームを作成し、 この副映像変形ストリーム及びこれと同期して再現され
る他のデータストリームをそれぞれ所定の単位でパケッ
ト化して多重化することを特徴とするストリーム多重化
方法。 - 【請求項７】請求項６項記載のストリーム多重化方法に
おいて、前記第２の副映像ユニットは前記副映像画面の
表示期間を均等な複数の表示期間に分割する前記副映像
ストリーム上に配置されることを特徴とするストリーム
多重化方法。 - 【請求項８】請求項６項記載のストリーム多重化方法に
おいて、前記第２の副映像ユニットは、単位時間当たり
の前記副映像変形ストリームのデータ量と前記他のデー
タストリームであるビデオストリームのデータ量との和
が平均化されるように、前記副映像ストリーム上に配置
されることを特徴とするストリーム多重化方法。 - 【請求項９】請求項６乃至８記載のいずれかのストリー
ム多重化方法において、前記副映像変形ストリームは前
記第１の副映像ユニットの表示期間情報が所定値を超え
る場合に作成されることを特徴とするストリーム多重化
方法。 - 【請求項１０】副映像画面を構成する画素データとこの
副映像画面の表示期間を示す表示期間情報と表示時刻に
応じて前記副映像画面を表示制御するための制御データ
とを有する第１の副映像ユニットが時間軸に沿って配置
された副映像ストリームから前記画素データと前記制御
データとを分離し、 この分離されたユニット単位の制御データを分割し、 この分割された各制御データと分離された画素データと
をそれぞれ連結して複数の第２の副映像ユニットを作成
し、前記副映像画面の表示期間を複数の表示期間に分割し
て、前記第２の副映像ユニットを前記分割された表示期
間に配置した 副映像変形ストリームを作成し、この 副映像変形ストリーム及びこれと同期して再現され
る他のデータストリームをそれぞれ所定の単位でパケッ
ト化して多重化することを特徴とするストリーム多重化
方法。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13417695A JP3290851B2 (ja) | 1995-05-31 | 1995-05-31 | ストリーム多重化装置、ストリーム多重化方法及び記録媒体 |
| CN96110492A CN1151585A (zh) | 1995-05-31 | 1996-05-31 | 数据流多路化装置、数据流多路化方法及记录媒体 |
| US08/658,824 US5742732A (en) | 1995-05-31 | 1996-05-31 | Data stream multiplexing apparatus and method and record medium therefor |
| EP19960303956 EP0746162A2 (en) | 1995-05-31 | 1996-05-31 | Data stream multiplexing apparatus and method, and record medium therefor |
| CA 2177946 CA2177946A1 (en) | 1995-05-31 | 1996-05-31 | Data stream multiplexing apparatus and method, and record medium therefor |
| KR1019960019056A KR960042680A (ko) | 1995-05-31 | 1996-05-31 | 스트림 다중화 장치, 스트립 다중화 방법 및 기록 매체 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13417695A JP3290851B2 (ja) | 1995-05-31 | 1995-05-31 | ストリーム多重化装置、ストリーム多重化方法及び記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08331526A JPH08331526A (ja) | 1996-12-13 |
| JP3290851B2 true JP3290851B2 (ja) | 2002-06-10 |
Family
ID=15122228
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13417695A Expired - Lifetime JP3290851B2 (ja) | 1995-05-31 | 1995-05-31 | ストリーム多重化装置、ストリーム多重化方法及び記録媒体 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US5742732A (ja) |
| EP (1) | EP0746162A2 (ja) |
| JP (1) | JP3290851B2 (ja) |
| KR (1) | KR960042680A (ja) |
| CN (1) | CN1151585A (ja) |
| CA (1) | CA2177946A1 (ja) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6091768A (en) * | 1996-02-21 | 2000-07-18 | Bru; Bernard | Device for decoding signals of the MPEG2 type |
| KR19990021831A (ko) * | 1996-03-19 | 1999-03-25 | 이데이 노부유끼 | 데이터다중화장치및그방법 |
| JP3345019B2 (ja) | 1996-03-29 | 2002-11-18 | 松下電器産業株式会社 | インタラクティブな再生進行の性能を向上させた記録媒体の記録方法、再生装置および再生方法 |
| US6798981B1 (en) | 1996-04-05 | 2004-09-28 | Matsushita Electric Industrial Co., Ltd. | Multimedia optical disc for storing audio data and sub-picture data in a plurality of channels as well as moving picture data and apparatus and method for reproducing the multimedia optical disc |
| TW332890B (en) * | 1996-04-05 | 1998-06-01 | Matsushita Electric Industrial Co Ltd | Multimedia optical disk |
| CN1260970C (zh) | 1996-05-09 | 2006-06-21 | 松下电器产业株式会社 | 用于多媒体光盘的记录方法、再生装置及再生方法 |
| FR2749468B1 (fr) * | 1996-05-29 | 1998-08-14 | Sgs Thomson Microelectronics | Systeme de conversion de signaux de television numeriques avec insertion de menus interactifs |
| US7292604B2 (en) * | 1996-09-05 | 2007-11-06 | The Directv Group, Inc. | Device and method for efficient delivery of redundant national television signals |
| US5886995A (en) * | 1996-09-05 | 1999-03-23 | Hughes Electronics Corporation | Dynamic mapping of broadcast resources |
| US6728269B1 (en) | 1996-09-05 | 2004-04-27 | Hughes Electronics Corporation | Device and method for efficient delivery of redundant national television signals |
| JPH10108135A (ja) * | 1996-09-25 | 1998-04-24 | Sony Corp | 編集装置及びデータ編集方法 |
| US6008856A (en) * | 1997-03-07 | 1999-12-28 | Advanced Micro Devices Inc. | Method of using an audio transmission signal to transmit video data |
| KR100327211B1 (ko) * | 1998-05-29 | 2002-05-09 | 윤종용 | 부영상부호화방법및장치 |
| KR100296967B1 (ko) | 1999-01-30 | 2001-09-26 | 구자홍 | 멀티미디어 스트림의 다단계 요약 세그먼트 정보 스킴 구성 방법 및 구성된 다단계 요약 세그먼트 정보 스킴으로 부터 요약 스트림 발생 방법과 이러한 방법에 의해 제공되는 다단계 요약 스트림의 브라우징/녹화/편집 장치 |
| GB0007868D0 (en) * | 2000-03-31 | 2000-05-17 | Koninkl Philips Electronics Nv | Methods and apparatus for editing digital video recordings and recordings made by such methods |
| MXPA03011572A (es) * | 2001-07-19 | 2004-03-19 | Thomson Licensing Sa | Sistema de transmision y recepcion digital resistente al desvanecimiento. |
| JP3704107B2 (ja) * | 2002-07-30 | 2005-10-05 | 株式会社東芝 | 映像データ再生装置及び映像データ再生方法 |
| US7580614B2 (en) * | 2002-12-09 | 2009-08-25 | Kabushiki Kaisha Toshiba | Information playback apparatus having expansion information storage unit and information playback method |
| JP4830535B2 (ja) | 2006-02-22 | 2011-12-07 | ソニー株式会社 | 再生装置、再生方法および再生プログラム |
| JP5158225B2 (ja) * | 2011-04-18 | 2013-03-06 | ソニー株式会社 | 再生装置、再生方法および再生プログラム |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| NL8601182A (nl) * | 1986-05-12 | 1987-12-01 | Philips Nv | Werkwijze en inrichting voor het opnemen en/of weergeven van een beeldsignaal en een bijbehorend audiosignaal in respektievelijk van een registratiedrager, en een registratiedrager verkregen volgens de werkwijze. |
| JPH01314080A (ja) * | 1988-06-13 | 1989-12-19 | Hitachi Ltd | 画像データ転送方式 |
| JPH0793612B2 (ja) * | 1991-06-10 | 1995-10-09 | 浜松ホトニクス株式会社 | ビデオ信号多重化方式およびその装置 |
| JP2785220B2 (ja) * | 1992-09-22 | 1998-08-13 | ソニー株式会社 | データ符号化装置および方法、並びにデータ復号化装置および方法 |
| JPH0759082A (ja) * | 1993-08-09 | 1995-03-03 | Toshiba Corp | 符号化装置及び復号化装置 |
| KR100330292B1 (ko) * | 1993-09-21 | 2002-03-27 | 이데이 노부유끼 | 데이타 기록 매체 |
| US5400077A (en) * | 1993-10-29 | 1995-03-21 | Time Warner Entertainment Co., L.P. | System for generating multiple aspect ratio video signals from motion picture disk recorded in a single aspect ratio |
-
1995
- 1995-05-31 JP JP13417695A patent/JP3290851B2/ja not_active Expired - Lifetime
-
1996
- 1996-05-31 KR KR1019960019056A patent/KR960042680A/ko not_active Abandoned
- 1996-05-31 EP EP19960303956 patent/EP0746162A2/en not_active Withdrawn
- 1996-05-31 US US08/658,824 patent/US5742732A/en not_active Expired - Lifetime
- 1996-05-31 CN CN96110492A patent/CN1151585A/zh active Pending
- 1996-05-31 CA CA 2177946 patent/CA2177946A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08331526A (ja) | 1996-12-13 |
| KR960042680A (ko) | 1996-12-21 |
| CA2177946A1 (en) | 1996-12-01 |
| EP0746162A2 (en) | 1996-12-04 |
| US5742732A (en) | 1998-04-21 |
| CN1151585A (zh) | 1997-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3290851B2 (ja) | ストリーム多重化装置、ストリーム多重化方法及び記録媒体 | |
| US8886010B2 (en) | Apparatus and method for decoding data for providing browsable slide show, and data storage medium therefor | |
| US6512552B1 (en) | Subpicture stream change control | |
| US6327421B1 (en) | Multiple speed fast forward/rewind compressed video delivery system | |
| JP3943516B2 (ja) | 画像再生装置 | |
| JP3405034B2 (ja) | ディジタル信号多重化方法及び装置、並びにディジタル信号記録媒体 | |
| JP2001229616A (ja) | データ記録方法及びそれを用いたデータ記録装置 | |
| US20120179475A1 (en) | Reproducing apparatus and method, and recording medium | |
| JPH09509036A (ja) | エンコーダシステムのレベルバッファ管理 | |
| US6718119B1 (en) | Video/audio decoding apparatus and method | |
| EP2200297B1 (en) | System comprising a video data reproducing apparatus and a recording medium for special mode reproduction in a picture-in-picture or double-frame display mode | |
| RU2308098C2 (ru) | Воспроизводящее устройство и способ и записывающий носитель | |
| JP2010161808A (ja) | 記録媒体及びプログラムが記録された記録媒体 | |
| RU2401465C2 (ru) | Устройство и способ воспроизведения | |
| JPH10271466A (ja) | 複合ストリーム作成装置、複合ストリーム作成方法および記録媒体 | |
| JP3425297B2 (ja) | システムストリーム作成装置とシステムストリーム作成方法 | |
| JP2002344901A (ja) | データ再生装置及びデータ再生方法 | |
| JP4325074B2 (ja) | データ記録再生装置及び方法 | |
| JP4325073B2 (ja) | データ記録再生装置及び方法 | |
| JPH1066047A (ja) | データ送信装置およびデータ送信方法 | |
| JP2001268542A (ja) | 配信システム、送信システム及び受信システム | |
| HK1098867B (en) | Reproducing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20020305 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080322 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090322 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100322 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100322 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110322 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120322 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130322 Year of fee payment: 11 |