CN101401130A - 提供视频帧序列的设备和方法,提供场景模型的设备和方法,场景模型,创建菜单结构的设备和方法,以及计算机程序 - Google Patents
提供视频帧序列的设备和方法,提供场景模型的设备和方法,场景模型,创建菜单结构的设备和方法,以及计算机程序 Download PDFInfo
- Publication number
- CN101401130A CN101401130A CN200780008655.1A CN200780008655A CN101401130A CN 101401130 A CN101401130 A CN 101401130A CN 200780008655 A CN200780008655 A CN 200780008655A CN 101401130 A CN101401130 A CN 101401130A
- Authority
- CN
- China
- Prior art keywords
- video
- scene model
- sequence
- user
- menu
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2537—Optical discs
- G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
一种用于根据定义场景的场景模型提供视频帧序列的设备,包括适于根据场景模型提供多个视频帧的序列的视频帧发生器。视频帧发生器适于在场景模型中对具有预定的对象名称或预定的对象属性的场景模型对象进行标识,以获得标识后的场景模型对象。视频帧发生器还适于产生视频帧序列,使得将用户提供的内容显示在标识后的场景模型对象的表面上或显示为对标识的场景模型的替换。一种用于创建视频媒体的菜单结构的设备,包括用于提供视频帧序列的设备。用于提供视频帧序列的设备适于根据场景模型、根据附加信息、以及根据菜单结构相关特性产生视频帧序列,所述视频帧序列是视频媒体的菜单结构的一部分。以上构思允许用户友好地产生视频过渡和菜单结构。
Description
技术领域
本发明一般涉及:用于提供视频帧序列的设备和方法,用于提供场景模型的设备和方法,场景模型,用于创建菜单结构的设备和方法,以及计算机程序。具体地,本发明涉及自动产生动画场景以创建交互式菜单和视频场景的构思。
在过去的几年中,家庭娱乐装置的性能稳固地提高了。其间,消费者甚至能够产生他们自己的数字视频并且将数字视频保存到存储介质。然而,到目前为止都无法容易地在对编程语言没有深入了解的情况下在视频场景之间、或在菜单页面之间、或在菜单页面与视频场景之间创建精细的过渡。
此外,因为典型地有必要为任何用于产生过渡的算法提供单独的代码(separate code),所以对于试图为消费者提供创建精细视频过渡的解决方案的软件公司而言为该任务付出了非常大的努力。
发明内容
鉴于以上,本发明的目的是提出提供视频帧序列的构思,该构思允许灵活生成定制的视频帧序列。另外的目的是为创建视频媒体的菜单结构提供用户友好的构思。
利用根据权利要求1的设备、根据权利要求16的设备、根据权利要求18的设备、根据权利要求23或24的方法、根据权利要求25的用于创建视频媒体的菜单结构的设备、根据权利要求30的用于创建视频媒体的菜单结构的方法、以及权利要求31的计算机程序实现了该目的。
本发明提出了根据权利要求1的用于根据定义场景的场景模型提供视频帧序列的设备。
本发明的关键思想是,通过将用户提供的内容显示在场景模型的标识后的场景模型对象的标识后的表面上或显示为对场景模型的标识后的场景模型对象的替换,能够有效并且灵活地产生视频帧序列。
发现了在场景模型中,能够利用预定的对象名称、表面名称、对象属性或表面属性来标识场景模型对象或场景模型对象的表面。一旦标识了对象或其表面,则能够使适于根据包括标识后的对象或表面的场景模型产生视频帧序列的视频帧发生器将用户提供的内容(例如用户提供的图像、用户提供的视频帧或用户提供的视频序列)显示在标识后的表面上或显示为对标识后的对象的替换。
因此,能够将二维的用户定义的内容引入预定义的场景模型中,其中预定义的场景模型的对象的表面或面用作占位符表面。
可选地,通过利用用户提供的三维对象替换场景模型中标识后的占位符,能够将三维用户提供的对象(或用户提供的内容)引入根据场景模型描述的视频帧序列中。
换言之,发现在场景模型中表面和对象都可以用作用于(例如,图像、视频帧、视频帧序列、或三维对象形式的)用户提供的内容的占位符。
可以利用预定的名称或预定的对象属性标识占位符对象。因此能够利用适于根据场景模型和用户提供的内容生成多个视频帧的序列的视频帧发生器将提供的内容引入场景模型中。
本发明还提供了根据权利要求16的用于提供定义了三维视频场景的场景模型的设备。该设备包括用于接收对视频场景的描述的界面以及占位符插入器(inserter)。根据本发明的关键思想,占位符插入器适于将占位符名称或占位符属性插入场景模型中,使得占位符名称或占位符属性指定将要与用户提供的内容相关联的对象或表面。换言之,用于提供场景模型的设备创建了场景模型,所述场景模型供用于提供视频帧序列的本发明的设备所使用。为此,用于提供场景模型的设备将占位符表面或占位符对象引入场景模型中,其中能够利用用于提供视频帧序列的设备标识所述占位符表面或占位符对象,并且所述占位符表面或占位符对象能够用于显示用户提供的内容。
本发明还提出了根据权利要求18的场景模型,所述场景模型具有至少一个占位符对象、或至少一个占位符名称、或将占位符对象或占位符表面与用户提供的内容相关联的至少一个占位符属性。因此,本发明的场景模型适于与用于提供视频帧序列的设备一起使用。
本发明还提出了根据权利要求23和24的方法。
本发明提出了根据权利要求25的用于创建视频媒体的菜单结构的设备。
本发明的用于创建视频媒体的菜单结构的方法带来的优点是,通过将菜单结构相关信息与场景模型组合,使视频结构自动地适应菜单结构相关信息。因此,使用菜单结构相关信息对由用于创建菜单结构的设备产生的视频帧进行调节。
换言之,根据菜单结构相关信息修改由场景模型描述的场景。因此,尽管仍然基于场景模型,然而视频帧序列适于用户的需求。因此,将用户提供的内容引入视频帧序列,定制视频帧序列。然而,仍然由场景模型描述全部场景,所述场景模型用作预定义场景的模板。
本发明还提出了根据权利要求30的创建视频媒体的菜单结构的方法以及根据权利要求31的计算机程序。
由从属权利要求定义本发明的其它有利实施例。
附图说明
随后将参考附图对本发明的优选实施例进行描述,附图中:
图1示出了用于根据定义场景的场景模型以及根据用户提供的内容提供视频帧序列的本发明的设备的方框图;
图2示出了表示立方体的场景模型的图形表示;
图3示出了描述图2所示的场景模型的列表;
图4示出了按照由时变场景模型和两个用户定义的视频帧序列所定义的在第一视频帧序列与第二视频帧序列之间的过渡的图形表示;
图5示出了根据场景模型和用户提供的内容来呈现帧的方法的流程图;
图6示出了使用用户提供的内容和场景几何产生特定视频帧的方法的流程图;
图7示出了在所产生的视频帧序列的产生过程中对第一视频帧序列和第二视频帧序列的帧的使用的图形表示;
图8示出了利用三维文本对象替换占位符对象的图形表示;
图9示出了两个菜单页面之间的序列的图形表示;
图10示出了示意性概述介绍性电影的行进的图形表示;
图11示出了示意性概述中间序列“章选择菜单→电影开始”的动画的图形表示;
图12示出了在主菜单与子菜单之间的序列的图形表示;
图13示出了具有6个章按钮的智能3D场景图的图形表示;
图14示出了具有4章的菜单的示例的图形表示;
图15示出了对于具有8个主章的菜单的示例的图形表示,其中用户能够导航至下一个和上一个菜单页面;
图16示出了对于具有8个主章的菜单的示例的图形表示,其中第一主章具有4个另外的子章,并且其中用户能够通过选择“上”按钮导航回主菜单;
图17示出了对于在智能3D内部表示中呈现的主菜单的模板的示例的图形表示,其中以上示例基于所述主菜单的模板;
图18示出了产生视频帧序列的本发明的方法的流程图;
图19示出了用于选择视频标题的用户界面的图形表示;
图20示出了用于选择预定义的智能3D模板的用户界面的图形表示;
图21示出了用于使智能3D模板适应用户需求的用户界面的图形表示;
图22示出了呈现由智能3D装置创建的用户定义的菜单的用户界面的图形表示;
图23示出了“监视器”菜单的高亮掩蔽的图形表示,包括6个按钮和3个导航键(箭头);以及
图24示出了Nero智能3D环境的一般工作流程的图形表示。
具体实施方式
图1示出了用于根据定义场景的场景模型提供视频帧序列的本发明的设备的方框图。采用100整体上指示图1的设备。设备100包括视频帧发生器110。视频帧发生器110适于接收场景模型112和用户提供的内容114。此外,视频帧发生器适于提供视频帧序列116。
应该注意的是,由视频帧发生器接收的场景模型112包括具有对象名称或对象属性的至少一个场景模型对象。例如,场景模型可以包括对布置在二维或优选地三维空间中的多个对象的描述。至少一个对象至少具有与各个对象相关联的对象名称或对象属性。
此外,例如,用户提供的内容114可以包括:图像、视频帧、视频帧序列或对至少一个二维或三维对象的描述。
视频帧发生器110适于根据场景模型和用户提供的内容生成多个视频帧的序列116。帧发生器110适于在场景模型112内对具有预定的对象名称或预定的对象属性的场景模型对象进行标识,以得到标识后的场景模型对象。对具有预定的对象名称或预定的对象属性的场景模型对象进行标识可以包括:对所标识后的场景模型对象的特定表面进行标识。
此外,视频帧发生器110适于产生视频帧序列,使得将用户提供的内容114显示在标识后的场景模型对象的表面上。可选地,视频帧序列发生器110可以适于显示用户提供的内容114作为对标识后的场景模型对象的替换。
这里应该注意的是,如果用户提供的内容114是图像、视频帧或视频帧序列,则优选将用户提供的内容显示在标识后的场景模型对象的表面上。另一方面,如果用户提供的内容114是对二维替换场景模型对象或三维替换场景模型对象的描述,则优选利用用户提供的内容替换标识后的场景模型对象。
因此,视频帧发生器110提供了视频帧序列116,在视频帧序列116中采用由场景模型112控制的形式对用户提供的内容进行显示。因此,可以认为场景模型112是描述将要显示的场景的视频帧序列116的模板,其中利用用户提供的内容对所显示的场景加以补充。
在下文中,将对与场景模型112、用户提供的内容114以及视频帧序列116的产生有关的进一步详情进行描述。
图2示出了供本发明使用的示例场景模型的图形表示。采用200整体上指示场景模型。场景模型200包括立方体210和观测点212。将立方体210和观测点212布置在三维空间中,其中,可以参考坐标系220描述立方体210和观测点212的位置和定向。尽管仅示出了多个可能坐标系中的一个(具有方向x,y,z),然而能够使用任何任意的坐标系。
这里应该注意的是,还指定为“立方体1”的立方体210总计包括6个表面,这里示出了其中的三个。例如,立方体210包括第一表面230、第二表面232以及第三表面234。此外,应该注意的是,可以定义立方体内部的优选点和立方体内部的优选方向,以对立方体的位置和定向进行描述。例如,可以根据立方体210的中心(或重心)的位置以及立方体的优选方向对立方体的位置和定向进行描述。例如,优选方向可以是垂直在第一表面230上自第一表面230指向外部的方向。因此,可以利用相对于坐标系220的原点222指示立方体210的位置的三个标量坐标(例如坐标x,y,z)对立方体210的位置进行描述。此外,可以使用两个附加坐标(例如2个角坐标φ,θ)定义立方体210的优选方向或定向)。
此外,场景模型220包括观测点212,例如,可以利用参考坐标系220的原点222的三个坐标对观测点的位置进行描述。此外,可选地,可以针对观测点212定义观察方向或观察扇形。换言之,可以定义假设处于观测点212处的观测者正在沿哪个方向观看,和/或场景模型的哪个区域是对观测者可见的。例如,可以根据指定方向的两个坐标对观测的方向进行描述。此外,相对于观测点212,可以定义水平观察角和/或垂直观察角指示位于观测点212的观测者能够看见场景模型220的哪个部分。
通常,场景模型200包括:场景模型220的哪个部分(例如,根据观察角)对于位于观测点212的观测者是可见的定义。
换言之,场景模型200包括:至少一个对象(也就是立方体210)、至少一个对象的特性(例如名称或属性)、以及任选地与观测者有关并定义了对于位于观测点212的观测者可见的场景模型200的部分的特性的定义。
图3示出了针对图2的场景模型的场景模型的示例列表。采用300整体地指示图3的列表。
应该注意的是,例如,可以以结构描述语言(例如XML描述语言,或专有描述语言)定义场景模型的列表,并且场景模型的列表可以采用任何可能的描述形式。还应该注意的是,应该认为在以下示例中概述的所有特性是任选的,并且可以利用其它特性替换在以下示例中概述的所有特性,或可以完全省略在以下示例中概述的所有特性。
参考图3,列表300指示场景模型200包括立方体210。在列表300中,标识符“立方体1”用于指定立方体210。列表300包括立方体210的许多特性。例如,该特性可以包括:立方体210的名称(特性“名称”)以及立方体210的位置(属性“位置”),例如立方体210在笛卡尔坐标系(x,y,z)中的位置。定义了场景模型的列表300还可以包括定义了立方体210的旋度(rotation)的参数(例如,根据2个角参数φ、θ进行描述)。
此外,对场景模型200的描述300可以包括关于立方体210的表面的其它详情。例如,对第一表面230的描述(由属性“表面1”指示)可以包括:与第一表面230的纹理有关的信息(属性“纹理”)、与第一表面230的材料有关的信息(属性“材料”)和/或第一表面230的附加信息(“属性”)。
在给出的示例中,对场景模型200的场景模型描述300定义了第一表面230具有纹理“视频1”,所述纹理“视频1”指示应该将第一用户提供的视频内容显示在立方体210的第一表面230上。
还可以针对第二表面(在列表或场景模型描述300中指示为“表面2”)给出其它属性。例如,定义第二表面232(“表面2”)具有名称为“视频2”的纹理,所述纹理“视频2”指示应该将第二用户提供的视频内容显示在第二表面232上。可以针对立方体210的其它表面给出类似的特性或属性。
列表300的场景模型描述还包括:与观测点212有关的信息。例如,可以根据笛卡尔坐标(x,y,z)(参看属性“位置”)和观测点给出观测点212的位置。此外,可以根据各个参数为观测点定义观察方向(也就是位于观测点212的观测者正在观看的方向)(属性“观察方向”)。此外,任选地,可以为处于观测点212处的观测者定义观察角(属性“观察角”)。观察角定义了对于处于观测点212处的观测者而言场景模型的哪部分是可见的。
此外,任选地,列表300的场景模型描述可以对场景模型内部任何对象的运动进行描述。例如,可以描述立方体210是如何随时间移动的,其中可以根据立方体210的位置和/或定位参数的序列给出描述。可选地,可以利用列表300的场景模型描述对立方体210的移动方向和/或立方体210的移动速度进行描述。这里应该注意的是,列表300的场景模型描述可以包括对立方体210的位置随时间的演变以及立方体210的方位随时间的演变的描述。
此外,可选地或附加地,列表300的场景模型描述可以包括对观测点的位置随时间变化、和/或观测者的观察方向随时间变化、和/或观测者的观察角随时间变化的描述。
换言之,场景模型描述可以包括:在给定的时间实例处对场景模型的描述,以及对场景模型随时间进行时间演变的描述。
在优选实施例中,视频帧发生器110适于评估(例如由列表300给出的)场景模型描述,并且适于根据该场景模型描述产生视频帧序列316。例如,视频帧发生器110可以对在第一时间实例处有效的场景模型描述进行评估以得到第一视频帧。视频帧发生器110还可以对在第二时间实例处有效的场景模型描述进行评估以得到针对第二时间实例的第二视频帧。还可以在对于第二时间实例有效的独立场景模型描述中给出针对第二时间示例的场景模型描述,或可以使用针对第一时间实例的场景模型描述以及(描述了场景模型在第一时间实例与第二时间实例之间的改变的)时间演变(time development)描述或运动描述确定针对第二时间示例的场景模型描述。
图4示出了使用视频帧发生器110根据场景模型112和用户提供的内容114产生视频帧序列的图形表示的示例。采用400整体地指示图4的图示。图示400的左列410示出了在不同时间实例的场景模型的顶视图。另一列420示出了对于不同的时间实例所产生的视频帧序列116的视频帧。第一行430示出了在第一时间实例处场景模型的顶视图以及视频帧序列116中相应的视频帧。针对第一时间实例的场景模型示出了具有第一表面434和第二表面436的立方体432的顶视图。这里应该注意的是,立方体432等同于图2的立方体210。立方体432的第一表面434等同于立方体210的第一表面230,立方体432的第二表面436等同于立方体210的第二表面232。立方体432的第一表面434具有指示第一表面432与第一用户提供的内容相关联的属性(例如,名称、材料指示符、纹理指示符或特性)。在图4的示例中,假设第一表面434与第一用户提供的图像、第一用户提供的视频帧或第一用户提供的视频帧序列相关联。此外,假设第二表面136(通过对属性进行相应的设置)与第二用户提供的图像、第二用户提供的视频帧或第二用户提供的视频帧序列关联。在第一时间实例处,场景模型还包括对观测点438以及观察角439的描述。选择观察角439使得在观测点438处的观测者看见第一表面434的全屏图像。
如观测点438处的观测者所看到的(观测点438处的观测者能够以观察角439查看),根据针对第一时间实例的场景模型,视频帧发生器110产生示出了由场景模型描述的场景的视图的视频帧。因此由视频帧发生器110产生的视频帧440示出了在观测点438处的观测者可见的场景模型的区域。如以上定义的,定义场景模型,使得观测点438处的观测者感知第一表面434的全屏图像,并且使得帧440示出表面434的全屏图像。如在场景模型中定义的,第一用户提供的图像、第一用户提供的视频帧或第一用户提供的视频序列与第一表面434相关联,针对第一时间实例产生的所产生的视频帧440示出了第一用户提供的图像的全屏图像、第一用户提供的视频帧的全屏图像或第一用户提供的视频序列的视频帧的全屏图像。
第二行444示出了在第二时间实例处的场景模型以及相应的所产生的视频帧。在第二时间实例处的场景模型446与第一时间实例处的场景模型431相类似。然而,应该注意的是,在第一时间实例与第二时间实例之间观测点438远离立方体432移动。因此,与先前的观测点相比,第二时间实例处的新的观测点448离立方体432更远。然而,为了简单,假设第二时间实例处的观察角449与第一时间实例处的观察角439相等(尽管观察角449有可能与观察角439不同)。因此,与在第一时间实例处的情况相比,在第二时间实例处在观测点448的观测者将看到更大一部分场景。换言之,在观测点448处的观测者在第二时间实例不仅看到立方体432的第一表面436,还看到立方体432的周围的一部分(以及可能看到立方体的顶面)。
因此,根据在第二时间实例处的场景模型446,视频帧发生器110产生第二视频帧450,第二视频帧450示出了立方体432的图像(例如,三维图像)。因为在第二帧450中立方体的第一表面436是可见的,并且由于第一表面436与第一用户提供的图像、第一用户提供的视频帧或第一用户提供的视频帧序列(以下将这三个可选对象描述为第一用户提供的内容)相关联,所以在第二视频帧430中将第一用户提供的内容显示在立方体432的第一表面436上。为了实现这个,例如,在产生第二产生的视频帧450时,视频帧发生器410可以将第一用户提供的内容用作立方体432的第一表面436的纹理。
这里应该注意的是,在第一时间实例提供的第一用户提供的内容可以与在第二时间实例的第一用户提供的内容不同。例如,视频帧发生器110可以使用在第一时间实例的(例如用户提供的视频帧序列的)第一视频帧,以及在第二时间实例的(例如用户提供的视频帧序列的)第二视频帧。
还应该注意的是,在第二时间实例,在第二产生的视频帧中不再将第一用户提供的内容显示为全屏图像,而是显示为填充了立方体432的第一表面434的纹理。因此,第一用户提供的内容仅填满第二产生的视频帧450的一部分。
第三行454示出场景模型456,以及所产生的第三产生的视频帧460。应该注意的是,为了图4所示的示例,假设在第三时间实例的场景模型456与第二时间实例处的场景模型446的不同仅在于立方体434沿着垂直轴(垂直轴与图示平面垂直)旋转了。
因此,在观测点448处的观测者能看到立方体432的第一表面434和第二表面436。还示出了所产生的第三产生的视频帧460。应该注意的是,第二用户提供的内容(例如,第二用户提供的图像、第二用户提供的视频帧或第二用户提供的视频帧序列)与立方体432的第二表面436相关联。因此,在第三产生的视频帧460中将第二用户提供的内容显示在立方体432的第二表面436上。换言之,在视频帧发生器110根据场景模型456和第二用户提供的内容产生视频帧460时,将第二用户提供的内容用作帧432的第二表面436的纹理。类似地,在视频帧发生器110产生第三产生的视频帧460时,将第一用户提供的内容用作立方体432的第一表面434的纹理。此外,应该注意的是,在第三产生的视频帧460中同时显示第一用户提供的内容和第二用户提供的内容,其中将第一用户提供的内容和第二用户提供的内容显示在立方体432的两个不同表面上。
为了更一般化,本发明提供了在不同表面上同时显示第一用户提供的内容和第二用户提供的内容的解决方案,其中显示第一用户提供的内容和第二用户提供的内容的表面可以属于单个(典型地三维的)对象或不同(典型地三维的)对象。
第四行464示出了在第四时间实例处的场景模型466和相应的产生的视频帧470。如从场景模型466能够看到的,场景模型466与场景模型456的不同之处仅在于:将立方体432进一步旋转,使得立方体432的第二表面436朝向观测点448。视频帧发生器110根据场景模型446产生第四产生的视频帧470。所产生的第四产生的视频帧470与第二产生的视频帧450类似,其中将第二用户提供的内容显示为立方体432的第二表面436上的纹理,以及立方体432的第二表面436朝向观测点。
第五行474示出了场景模型476和第五产生的视频帧480。第五场景模型476与第四场景模型466的不同之处在于,在第五场景模型476中的观测点482比第四场景模型466中的观测点448更接近立方体432。优选地,观测点482和立方体432位于场景模型476中,以至于观测点482处的观测者以全屏图像看见(或感知)第二表面436。因此,第五产生的视频帧将第二用户提供的内容作为全屏图像示出。
综上所述,五个产生的视频帧440、450、460、470、480的序列示出了在第一用户提供的内容与第二用户提供的内容之间的过渡,其中,第一产生的视频帧440示出了第一用户提供的内容的全屏图像,其中第五产生的视频帧示出了第二用户提供的内容的全屏图像。
在备选实施例中,场景模型431、446、456、466、476可以表示在两个场景之间的另一过渡。例如,场景模型431、446、456、466、476可以描述示出了多个菜单项目的菜单页面与用户提供的内容之间的过渡。例如,第一场景模型431可以描述菜单页面的全屏图像,最后的场景模型476可以描述用户提供的内容的全屏图像。这样,中间的场景模型446、456、466描述在第一场景模型431与最后的场景模型476之间优选地平滑过渡的中间步骤。
在备选实施例中,场景模型431、446、456、466、476可以描述在示出第一多个菜单项目的菜单页面与示出第二多个菜单项目的菜单页面之间的过渡。这样,第一场景模型可以描述第一菜单页面的全屏图像,第二场景模型476可以描述第二菜单页面的全屏图像。中间的场景模型446、456、466描述在第一场景模型431与最后的场景模型476之间的过渡的中间步骤。
在备选实施例中,场景模型431、446、456、466、476可以描述在用户提供的内容与菜单页面之间的过渡。这样,第一场景模型431可以优选地描述用户提供的内容的图像,最后的场景模型476可以描述菜单页面的图像。菜单是在第一时间实例处(例如,对于标准化的时间参数在时间t=0处)或在第二时间实例处(例如,对于标准化的时间参数在时间t=1处)的3D场景的图像。中间的场景模型446、456、466描述在第一场景模型431与最后的场景模型476之间(优选地平滑的)过渡的中间步骤。
另一可能的应用是,第一行430表示对用户提供的内容的呈现,将用户提供的内容示出在视频帧440中。此外,第三行454示出了对具有三个按钮(通常,而不是6个按钮)的菜单的呈现。如第三行454所示,立方体的三个可见表面(视频帧460中所示)可以用作场景中的按钮。
图5示出了呈现视频帧的方法的方框图,该方法适用于视频帧发生器110。采用500整体地指示图5的方法。应该注意的是,可以将图5的方法500针对多个帧执行多次以产生视频帧序列。
方法500包括:在第一步骤510中,针对视频帧获得用户内容,所述视频帧具有用于说明的索引f。
方法500还包括:在第二步骤520中,获得针对视频帧f的场景几何。
方法500还包括:在第三步骤530中,使用(对于视频帧f的)用户提供的内容和(对于视频帧f的)场景几何产生视频帧f。
方法500还包括:在第四步骤540中,提供所呈现的视频帧f。
如果在判决步骤550中发现存在更多要呈现的帧,则重复步骤510、520、530、540。
获得针对帧f的用户内容的第一步骤510包括:确定哪个用户内容将用于视频帧f。例如,如果发现将要呈现的视频帧序列的所有帧都使用相同的(稳定的)用户提供的内容,则可以对针对先前处理的视频帧获得的用户提供的内容进行重新使用。然而,如果发现不同的用户提供的内容应该用于产生的(或呈现的)视频序列的不同帧,则获得相关联的用户提供的内容。
例如,如果用户提供的内容是视频帧序列,则用户提供的视频帧序列的不同帧可以与产生的(或呈现的)视频帧序列的不同帧相关联。因此,在步骤10中,标识出应该将用户提供的视频帧序列的哪个帧用于产生当前呈现的视频帧。
这里应该注意的是,对于单个的产生的(或呈现的)视频帧的产生,可以使用一个或更多个用户提供的视频帧。例如,能够使单个的产生的(或呈现的)视频帧的内部具有:第一用户提供的视频帧序列的相应视频帧,以及第二用户提供的视频帧序列的相应视频帧。参考图7示出了使用的视频帧的示例。
在第二步骤520中,获得针对当前处理的帧f的场景几何。例如,可以采用描绘当前在各个帧中的几何对象的特征的描述语言的形式给出场景几何。例如,可以以与图3的列表300相类似的描述语言描述针对帧f的场景几何。换言之,场景描述可以包括:将要在各个帧中显示的几何形状或元素的列表,以及与几何对象或形状相关联的多个特性或属性。例如,这样的特征可以包括:对象的位置和/或定位,对象的大小、对象的名称、对象的材料、将与对象或与对象的独立表面相关联的纹理、对象的透明度,等等。这里应该注意的是,可以将任何属性用于从虚拟现实世界的描述获知的几何对象或几何形状。
此外,场景几何可以包括与观测者或观测点有关的信息,定义了根据其产生由场景几何描述的场景的图像的观察场景的点。对观测点和/或观测者的描述可以包括:观测点的位置,观测的方向以及观察角。
这里应该注意的是,可以直接根据可用于帧f的场景模型得到针对帧f的场景几何。可选地,可以使用针对帧e(在帧f之前曾显示过)的场景模型以及利用与在帧e与帧f的时间内对象的移动有关的信息获得针对帧f的场景几何。还可以对与观测点的移动、观测的方向或观察角有关的信息进行评估,以获得针对帧f的场景几何。因此,针对帧f的场景几何是对将要在帧f中显示的几何对象和/或几何形状的描述。
在第三步骤530中,使用用户提供的内容以及在第二步骤520中获得的场景几何产生视频帧f。随后将参考图6对产生视频帧f的详情进行描述。在第三步骤530中,根据针对视频帧f的用户内容以及针对视频帧f的场景几何获得呈现的视频帧。
因此,在第四步骤540中,为进一步的处理(例如,为了形成帧序列,或为了对帧或帧序列的原始材料执行进一步的编码)提供呈现的帧f。
图6示出了对使用用户提供的内容和场景几何产生视频帧f进行描述的方框图。采用600整体地指示图6的方法。
视频帧f的产生包括:第一步骤610,针对具有预定的名称或预定的对象属性的视频帧f标识场景模型中的对象。如果能够在第一步骤610中标识这样的对象,则在第二步骤620中利用用户提供的对象替换标识后的对象。在第三步骤630中,在具有带有预定的表面属性的表面的场景模型中标识对象。例如,预定的表面属性可以是表面纹理属性、表面材料属性或表面名称属性。然而,还应该认识到,如果具有预定的名称的对象出现在场景模型中,则这样可以自动假设对象的至少一个特定表面具有预定的表面属性。例如,可以定义:如果场景模型包括具有预定的名称(例如video_object或NSG_Mov,其中Mov代表电影)的立方体,则各个立方体的表面具有适于在其上示出视频的预定的表面属性。
换言之,第三步骤630的关键目的是:标识适于将用户提供的内容显示在其上的至少一个表面;或标识至少一个对象,所述对象具有指示意在将用户提供的内容显示在所述对象的表面上的属性。
如果标识了意在显示用户提供的内容的表面,则将用户提供的内容显示在各个表面上。为了达到这个效果,视频帧发生器可以将用户提供的内容用作表面的纹理,其中认识到意在将用户提供的内容显示在所述表面上。
例如,视频帧发生器可以对针对帧f的场景描述或场景模型进行解析,以标识意在显示用户提供的内容的至少一个表面。例如,视频帧发生器可以将参考(例如,链接)插入场景模型,该参考指示将用户提供的内容用作特定表面的纹理。换言之,视频帧发生器可以对场景模型或场景描述进行解析以标识对象或表面的特征名称或特征属性,并且对标识后的对象或表面的纹理属性进行设置以将用户提供的内容指定为将要应用的纹理。
例如,对于解析,视频帧发生器可以服从预定的解析规则,例如定义:应该根据用户提供的内容利用纹理来填充具有预定表面名称或表面属性的表面。
可选地,解析规则还可以指示:应该根据用户提供的内容对具有预定名称的对象的预定的第i个表面给出纹理。
如果根据用户提供的内容在场景模型或场景描述中标识了意在具有纹理的表面,则随后视频帧发生器110将用户提供的内容显示在标识后的表面上。为此,产生由场景模型或场景描述所描述的场景的图形表示。考虑对象相对于彼此且相对于观测点的相对位置,将在场景模型或场景描述中根据对象的属性(如位置、大小、定向、颜色、材料、纹理、透明度)来描述的对象转化成对象的图形表示。换言之,将如场景模型或场景描述所描述的对象的布置转化成如从观测点所见的图形表示。在图形表示的产生中,考虑第二步骤620中对象的替换,以及用户提供的内容是意在具有这样的纹理的标识后的表面的纹理的事实。
应该注意,通过场景模型或场景描述所描述的场景的图形表示的产生对于艺术家/设计者来说是已知的。
还应该注意的是,不必执行所有步骤610、620、630、640。相反,在实施例中,执行步骤610和步骤620就足够了(如果步骤610成功的话)。这样,视频帧发生器110产生显示如场景模型所描述的场景的视频帧,其中根据第二步骤620利用用户提供的对象替换标识后的对象。最后,执行步骤640以产生图形表示。
然而,例如,在不必替换任何对象的情况下,不必执行第一步骤610和第二步骤620。这样,执行在场景模型中标识在其上(例如以纹理)显示用户提供的内容的表面的步骤630就足够了。在步骤630之后,执行第四步骤640。在步骤640中,视频帧发生器110产生将用户提供的内容显示在标识后的表面上的视频帧。
换言之,能够:仅利用用户提供的对象执行对标识后的对象的替换(步骤610和620);仅利用用户定义的对象执行对表面的纹理的替换(步骤630);或利用用户提供的对象执行对标识后的对象的替换(步骤610和620)并且利用用户提供的对象执行对表面纹理的替换(步骤630)。
图7示出了针对产生在第一用户提供的视频帧序列与第二用户提供的视频帧序列之间的过渡的两个用户提供的帧序列的视频帧的图形表示。这里假设过渡包括:时间间隔,在该时间间隔内将第一用户提供的视频帧序列和第二用户提供的视频帧序列的内容显示在所产生的视频帧序列116中。
为此,用户可以定义重叠区域。换言之,例如,重叠区域可以包括(与特定持续时间相对应的)F个帧。因此,在过渡中使用第一用户提供的视频帧序列的最后F帧。在图7的第一图形表示710中示出了第一用户提供的视频帧序列的帧,其中第一用户的视频帧序列的最后F帧具有索引(n-F+1)至n。这里假设第一用户提供的视频帧序列的最后F帧用于过渡。然而不一定使用最后F帧。而是,可以使用布置在第一用户提供的视频帧序列中的F个帧。
此外,假设第二用户提供的视频帧序列的前F帧用于所产生的视频帧序列的产生。
还假设所产生的视频帧序列包括具有索引1-F的F个视频帧。因此,具有第一用户提供的视频帧序列的索引n-F+1的帧以及具有第二用户提供的视频帧序列的索引1的帧与所产生的视频帧序列的第一个帧相关联。因此,所关联的视频帧用于产生第一所产生的视频帧序列。换言之,为了计算所产生的视频帧序列的第一帧,应用第一用户提供的视频帧序列第(n-F+1)帧和第二用户提供的视频帧序列的第一帧。
相反,第一用户提供的视频帧序列的第n帧和第二用户提供的视频帧序列的第F帧与产生的视频序列的第F帧相关联。
这里应该注意的是,在用户提供的视频帧序列的帧与所产生的视频帧序列的帧之间的关联不自动意味着为了计算所产生的视频帧序列的特定帧而需要所关联的帧。然而,如果在呈现所产生的视频帧序列的第f帧的过程期间发现需要第一用户提供的视频帧序列和/或第二用户提供的视频帧序列的帧,则使用所关联的帧。
换言之,以上描述的在第一用户提供的视频帧序列、第二用户提供的视频帧序列以及所产生的视频帧序列之间的关联允许有效计算所产生的视频帧序列,其中能够将可变的(或正在移动的)用户提供的内容嵌入所产生的视频帧序列中。
换言之,第一用户提供的视频帧序列的帧用作意在(或被标识以)显示第一用户提供的视频帧序列的表面的帧变(frame-variant)纹理。
第二用户提供的视频帧序列的帧构成意在(或被标识以)显示第二用户提供的视频帧序列的表面的帧变纹理。
因此,使用帧变纹理提供所产生的视频序列。
还应该注意的是,为了计算所产生的视频帧序列,可以相对于所产生的视频帧序列切换第一用户提供的视频帧序列和/或第二用户提供的视频帧序列。此外,可以相对于时间对第一用户提供的视频帧序列进行扩展或压缩。同样适合第二用户提供的视频帧序列。仅需要的是,第一用户提供的视频帧序列的一帧和第二用户提供的视频帧序列的一帧与所产生的视频帧序列的每一帧(在其中使用了那些用户提供的内容)相关联。
图8示出了利用文本替换文本占位符对象的图示。
采用800整体地指示图8的图形表示。从图形表示800能看出,场景描述810(这里以视频帧形式表示的)可以包括文本占位符对象。例如,场景描述810可以描述具有指示了立方体或矩形体是文本占位符对象的名称或属性的立方体或矩形体。因此,如果视频帧序列发生器110认出场景模型112包括具有指示了场景模型对象是文本占位符对象的预定的名称或预定的对象属性的场景模型对象,则视频帧发生器利用文本的表示替换文本占位符对象。例如,视频帧发生器110可以利用表示用户提供的文本的一个或更多个对象替换文本占位符对象。换言之,视频帧发生器可以将对象(所述对象表示用户提供的文本)的描述引入场景模型。例如,场景模型发生器可以适于接收串输入形式的文本,并且适于产生表示串输入的文本的对象。可选地,视频帧发生器可以采用一个或更多个对象的形式接收用户提供的文本的描述,所述一个或多个对象的形状表示文本。这样,例如,视频帧发生器可以适于将文本的用户提供的描述(以对多个对象的描述的形式)包括在场景模型中,并且适于根据包括对表示文本的对象的描述的场景模型产生视频帧。
如从图8能够看到的,视频帧发生器110产生包含了用户提供的文本的图示的视频帧820。这里应该注意的是,在优选实施例中,使用户提供的内容的图示的大小适合文本占位符对象812的大小。例如,可以将文本占位符对象用作用户提供的文本的外边界。此外,可以将与文本占位符对象812相关联的属性(例如,颜色属性或透明度属性)应用到用户提供的文本,而与是否以串或以多个对象提供用户提供的文本无关。
因此,场景模型112用作模板,定义在视频帧序列116中用户提供的文本的外观。
在下文中,将对本发明进行进一步的描述。此外,将对应用本发明产生视频数据媒体的菜单结构进行描述。此外,将描述如何能够根据本发明的思想建立不同视频内容之间的过渡。此外,将描述如何能够产生视频效果和文本效果。
在下文中,将给出与DVD菜单、视频过渡、视频效果以及文本效果有关的一些一般信息。首先,将对视频过渡、视频效果和文本效果进行描述。
尽管本发明的关键应用是创建三维(3D)DVD菜单,然而将对三维视频过渡、和三维视频效果以及三维文本效果进行描述。可以认为三维视频过渡、三维视频效果以及三维文本效果是较复杂的DVD创作的较简单版本。
典型地,在组合或链接两个视频序列(或视频电影)时插入视频过渡以避免突变(abrupt transition)。例如,将非常简单的二维(2D)视频过渡渐变以使第一视频变黑,随后相反地将第二视频渐变。通常,视频过渡是视频帧序列(或电影序列),所述视频帧序列(或电影序列)开始示出与第一视频相同的帧,最后示出与第二视频相同的帧。然后在两个视频之间剪辑(或插入)该(视频帧)序列,从而允许在两个视频之间的连续(或平滑)过渡。
对于三维视频过渡,视频帧序列(或电影序列)是呈现三维视频过渡的产物。此外,在三维视频过渡的情况下,优选地序列的第一帧与第一视频的帧相同,优选地序列的最后一帧与第二视频的帧相同。除了3D场景及其动画以外,呈现引擎接收第一视频和第二视频的同步帧作为输入。通过假设将两个视频以重叠的方式放在彼此之上,以及假设覆盖区域定义视频过渡的长度并且利用呈现的场景替换所述覆盖的区域,可以设想(产生过渡的)该过程。三维视频过渡的简单示例可以是平面,第一视频在正面上可见,第二视频在后背面上可见。然后,该平面需要以这样的方式移动:在动画(或过渡)的开始正面是可见的全屏,在动画的结束背面是可见的全屏。例如,该平面可以远离摄像机(或观测者、或观测点)移动,绕对称的水平轴执行旋转半周,再次向摄像机移动。
通常三维视频效果和三维文本效果是添加到视频电影(或视频帧序列)的三维对象。这样,3D场景及其动画以及原始视频(或起始视频)的帧是呈现装置的输入。
对于文本效果,必须确定(或设置)文本串。可以将三维文本效果的示例设想为序列(例如视频帧序列),其中构建串,呈现为用于字符的三维文本字符,随后再次消失。这样原始视频(或起始视频)继续在后台运行。
例如,三维视频效果可以是突发至帧中并且随后再次突然消失的三维对象(例如,幼儿电影中的橡皮奶头、或足球世界锦标赛电影中的足球)。
例如,在3D视频过渡的情况下,将3D视频效果和3D文本效果相结合。呈现引擎接收3D场景以及来自一个或更多个视频和(任选地)一个或更多个文本串的同步帧作为输入。然后呈现引擎逐帧产生短电影,其中随后利用外部单元对电影进行进一步的处理(例如,与另外的视频材料一起对所述电影进行组合或剪辑)。
三维场景可以适用于专有数据格式或通用数据格式,或可以采用专有数据格式或通用数据格式给出三维场景,其中通常所述专有数据格式或通用数据格式可以是任何3D建模软件的标准输出数据格式。原则上,可以有任意的3D数据格式(也就是描述三维场景的数据格式)的输入。数据文件格式的详细结构与本发明无关。
此外,优选的是,能够将几何对象分组并且为组、对象和/或表面定义给出名称(其中,例如材料等同于颜色和纹理:材料=颜色+纹理)。这样,例如,可以通过使用在以上对于三维视频过渡的示例中平面的正面上的材料的特定名称(也就是特性或预定的名称)通知呈现引擎:将要在所述表面上放置(或示出)第一视频的帧。换言之,为平面正页面的材料给出特定名称(例如NSG_Mov)。该特定名称(NSG_Mov)向呈现引擎指示:将要在特定表面也就是平面的正面上示出第一视频的帧。以同样的方式,利用特定材料名称命令呈现引擎在平面的背面显示第二视频的帧。
为了将用户可编辑文本插入三维场景中,使用诸如矩形体之类的三维对象,其中利用特定的(或特性的)名称将所述三维对象标记为用于三维文本对象的占位符。然后呈现引擎能够预先(例如在产生三维场景的图形表示之前)将这些对象去除,并且在这些图像的位置处呈现由端用户定义的文本。所绘制的三维文本的大小符合(或取决于)占位符对象的大小。
这样,3D建模者能够创建三维场景,由智能3D引擎通过给出名称和分组将所述三维场景解释为视频过渡、文本效果或视频效果,其中可以使用商业工具(例如,能够以3D描述数据格式输出数据的任何程序)。3D建模者不需要任何编程知识。尽管在考虑(视频)过渡和(视频)效果的情况下仅存在少数对象名称形式的规则,然而功能性DVD菜单的创建更为复杂。然而,基本过程保持相同。
在下文中,将对DVD菜单的产生进行描述。这里将要注意的是,除了主电影以外,大多数商业DVD包括附加视频材料,如演员花絮或与采访。此外,通常将主电影分成章。为了允许DVD的端用户通过DVD进行导航,除了以上描述的视频材料以外,DVD还包括视频序列,其中由DVD播放器将附加视频序列解释为菜单结构。在规范中定义视频DVD的数据格式(或数据格式的详情),利用智能3D构思产生的DVD不脱离该规范。
DVD菜单可以包括多个菜单页面。用户能够通过诸如选择按钮之类的动作在页面之间进行改变。此外,用户能够通过动作开始特定的视频或开始视频的特定章。
在两个菜单页面的显示之间、在菜单页面与视频的显示之间、或直接在插入DVD之后的黑屏与主菜单页面之间,能够定义与视频过渡类似的、避免突然变化的小视频序列。图9、10、11、12、13、14、15、16和17示出了具有菜单间序列的DVD菜单的示意布置(或结构)。本发明的构思(也被称为智能3D)提供了使用三维模型(也被称为场景模型)定义菜单页面和菜单间序列的可能性。
DVD菜单页面自身也是短视频序列,从而即使在DVD用户(也就是使用DVD的人)能够进行选择的阶段期间也不必显示完全静态的图像。相反,在DVD用户能够进行选择的阶段期间可以运行一个或更多个动画。由DVD创作程序使用智能3D呈现这些电影序列(也就是小动画)。
因此,在创作程序或创作软件的用户的计算机上执行:从三维场景(或根据三维场景)产生序列(例如视频帧序列)。DVD播放器仅以固定的顺序或根据DVD用户的动作来播放(包含在由DVD创作程序产生的DVD上的)视频。
随后将参考图9、10、11和12对出现在DVD媒体上的典型过渡进行描述。图9示出了在两个菜单页面之间的序列(例如视频帧序列)的图示。采用900整体地指示图9的图示。图9示出了第一菜单页面910。第一菜单页面910包括:可以用于对包含在视频DVD媒体上的DVD内容的特定章进行选择的按钮912、914、916、918、920、922。可以利用一个或多个图形对象表示按钮912、914、916、918、920、922。此外,按钮912、914、916、918、920、922可以包括可选区域和/或高亮区域,使得可以将指针移动到按钮中的一个高亮按钮用于选择。还应该注意的是,按钮912、914、916、918、920、922的图形表示可以包括用户提供的图像、用户提供的视频帧或用户提供的视频帧序列作为用户提供的内容。换言之,按钮的图形表示可以包括静态或动态,也就是可改变的图形内容。
还应该注意的是,优选地,根据由3D建模者产生的场景模型来描述菜单页面910。因此以场景描述语言的形式对菜单页面910的元件(例如几何对象)进行描述。此外,菜单页面910的场景模型可以包括占位符对象或占位符表面,使得能够利用用户提供的对象(也就是用户提供的内容)替换占位符对象,并且使得占位符表面能够(例如以纹理)显示用户提供的内容(例如用户提供的图像、用户提供的视频帧、或用户提供的视频帧序列)。
图9示出了第二菜单页面930。第二菜单页面930包括多个按钮932、934、936、938、940、942。按钮932、934、936、938、940、942可以具有与按钮912、914、916、918、920、922相类似的外观和功能。
图9还示出了在执行在第一菜单页面910与第二菜单页面930之间的过渡时要由DVD播放器播放的菜单间序列或菜单-菜单序列950。优选地,位于第一菜单页面910与第二菜单页面930之间的菜单间序列950(典型地是动画场景或动画)关心的是:旧的、先前的(或先前显示的)菜单的内容消失,以及构建新的(随后或随后显示的)菜单的场景(或内容)。根据菜单的结构,优选的是显示一些导航箭头(例如绿色的箭头)。这里应该注意的是,如参考图9所描述的菜单结构不是本发明的关键部分,而应该看作是示例。换言之,本发明不限于特定的菜单结构。示例菜单的图形表示仅意在解释动态菜单创建的问题。在本文中,“动态”是指在设计菜单时的时间点处(也就是例如在创建菜单模板时的时间点)菜单的最终外观是未知的。例如,在设计菜单时的时间点处,单独的按钮(或有效开关区)以及任选的附加(三维)对象的占用(或分配)和使用是未知的。
图10示出了示意性地概述的介绍性电影的进程。采用1000整体地指示图10的图形表示。图形表示1000示出了具有多个按钮1012、1014、1016、1018、1020、1022的第一菜单页面1010。例如,第一菜单页面1010可以与菜单页面910相同。图形表示1000还示出了菜单尾部序列1030(也被称为“介绍(intro)”)。在将DVD插入DVD播放器时将介绍性电影(“介绍”)或尾部播放一次。介绍性电影或尾部结束于DVD的第一主菜单。
换言之,菜单尾部1030是以黑屏开始并且以第一主菜单结束的视频帧序列。此外,应该注意的是,优选地,如以前概述过的,根据场景模型描述菜单尾部序列1030。
图11示出了示意性概述的中间序列的动画“章选择菜单→电影开始”的图形表示。采用1100整体地指示图11的图形表示,并且图11的图形表示示出了菜单页面1110。例如,菜单页面1110可以与图9的菜单页面910、图9的菜单页面930或图10的菜单页面1010相同。图11的图形表示还示出了电影(也就是视频帧序列)的第一帧1120。图形表示1100还示出了菜单中间序列或菜单至标题序列1130。
优选地,菜单中间序列1130以示出了菜单页面1110的视频帧开始,以与用户提供的视频帧1120的第一帧相同的视频帧结束。这里应该注意的是,例如,如以前概述的,可以根据场景模型描述菜单中间序列1130。
在备选实施例中,可以将菜单中间序列整合到反向的菜单中。因此,可以在结束视频(其帧被示为帧1120)时以及在将向后过渡执行回主菜单时播放菜单中间序列1130。换言之,可以提供用于从标题向菜单过渡的菜单中间序列。相应过渡可以以视频帧序列的帧(最后帧)开始并且可以以菜单页面1110结束。
图12示出了在主菜单与子菜单之间的序列的图形表示。采用1200整体地指示图12的图形表示。图形表示1200示出了主菜单1212和子菜单1220。例如,主菜单1212可以与图9的第一菜单页面910或第二菜单页面930、图10的菜单页面1010、或图11的菜单页面1110相同。子菜单页面1220可以具有与主菜单页面1212的结构相似或相同的结构。然而,例如,子菜单页面1220可以包括允许访问DVD上的子章的按钮。因此,子菜单页面1220可以包括多个按钮1222、1224、1226、1228、1230、1232。图形表示1200还示出了菜单中间序列或菜单至子菜单序列1240。
在图12所示的情况下,(根据示例实施例)可以每菜单出现高达n=6个章。对于典型菜单中间序列的模板,优选地由设计者(例如由3D建模者)提供n*4+10个指定的对象。因此,如果假设可以每菜单页面出现最大数目n=6个章,则应该由设计者提供34个适当指定的对象。具体地,应该为示例性菜单至菜单动画序列提供以下对象:
n个“旧”章图像;
n个“旧”章文本;
3个“旧”导航箭头;
1个“旧”页眉(header);
1个“旧”页脚(footer);
n个“新”章图像;
n个“新”章文本;
3个“新”导航箭头;
1个“新”页眉;
1个“新”页脚。
与以上提到的对象接近地链接,必须在三维场景中相应地安排n个“旧”的和n个“新”的相应组。“旧”和“新”组定义了哪些对象属于菜单按钮。在以下详细描述的示例“监视器”中,将第一章图像、第一章文本以及第一监视器的全部机构概括为第一组。
因此,3D建模者能够通过使用商业软件创建一系列动画来创建3D菜单,使得动画符合上述规则。3D建模者不需要具有任何编程知识。此外,创作程序的用户也不需要具有任何关于3D建模的知识。智能3D引擎读取(由3D建模者创建的)3D场景,并且根据3D序列以及从DVD创作程序的用户处获得的信息创建短电影序列。电影序列与关于菜单结构的信息一起构成符合规范的DVD上的动态DVD菜单。
在下文中,将描述智能3D引擎是如何与来自创作程序的信息一起处理3D场景以产生菜单中间序列的。
将不同的信息从创作程序传递至智能3D引擎。用户可能想要将不同数目的(主)视频整合到DVD中。用户能够确定针对3D场景中的按钮图像的视频帧或视频帧序列,用户可以给出页眉、页脚或按钮的标签的文本,并且用户能够选择高亮掩蔽(mask)的颜色和透明度。然而,另外的信息也是可能的,如三维场景或背景图像中的材料颜色。为了分别调节3D场景,首先将3D场景转化为单独的数据结构,所谓的场景图。
图13示出了场景图的图形表示。在呈现过程期间,通过场景图,并且根据位于上面的变换和材料(也就是根据位于场景图的更高层上的材料和变换)绘制几何对象(矩形节点)。在场景树(或场景图)中采用“组”指定的节点供分组对象使用。发生器供位于下面的对象的动画使用。
在读入3D场景数据以及把3D场景数据转换成内部数据格式时,实时地(on the fly)将用于文本的占位符对象转化成动态三维文本对象。采用场景树中的“文本”指定3D文本对象,在呈现的三维场景中三维文本对象期望文本串作为输入值并且产生三维文本。
在实际呈现过程之前,能够根据创作软件的用户的喜好对出现在存储器中的数据结构进行调整。
例如,如果用户仅包括(或链接)4个视频而不是6个视频,则仅有4个视频按钮是必要的。例如,如果用户为按钮提供了6个三维对象,则需要掩蔽或省略两个按钮。因为能够利用特定的(或特征的)名称来标识按钮,所以这是很有可能的。因此,在呈现过程期间,智能3D引擎仅需要省去场景树中的相应分支。对于以上给出的示例(4个视频按钮),智能3D引擎能够省去在图13的场景图中由5和6指示的分支。
在呈现每个菜单中间序列帧之前,可以将应该在三维按钮上附上或示出的视频材料(例如用户提供的内容)的帧引入(或标识、或链接)至相应材料。例如,采用“章图像1”指示将要在由图13的场景图描述的菜单的第一按钮(按钮1)上示出的图像。
因此使用智能3D产生的DVD的用户可以通过3D菜单在DVD上进行导航。例如,中间序列是不变地记录在DVD上的短视频电影。用户不需要任何个人计算机知识。DVD创作程序的用户预先通过输入标题字符串、通过选择用于整合的视频电影或通过固定章,确定了DVD菜单的外观。智能3D引擎根据这些条目或信息(标题串输入;视频电影的选择;章的选择;将要显示在按钮上的图像的选择或视频帧序列的选择)并且通过动画三维场景的帮助产生视频中间序列。创作软件的用户不需要任何3D知识或编程知识。
可以由使用标准软件的3D建模者产生3D场景,其中仅需要保留几个规则。3D建模者不需要任何编程知识。能够添加任意数目的三维菜单、三维过渡以及三维效果而不对源代码进行任何改变。
这里应该注意的是,图14、15和16示出了现有的三维DVD菜单在使用时的截屏。如3D建模者定义的,图17示出了三维菜单的模型。
插入章对象包括:用于章图像、章文本和任选的附加模型对象(例如,在以下示出的称为“监视器”的示例中监视器的移动机构)的图像区和视频帧(或视频图像)。
如果可选区域(或高亮区域)包括多个对象,则能够将对象概括在相应命名的组中。由屏幕上的组对象所占据的区域的边界框自动地定义由鼠标(或指针)有效可选的区域。
在下文中,将对如何创建菜单页面以及菜单页面之间的过渡进行描述。这里应该注意的是,假设3D建模者产生场景的场景模型(或场景描述)。例如,场景模型根据三维建模语言对随后补充了用户提供的内容并且然后转化成视频帧序列的场景进行描述。换言之,场景模型包括根据对象和对象属性对场景的描述、场景模型的随时间演变的描述(例如对象的运动和/或观测者或观测点的运动)以及对用于嵌入用户提供的内容的占位符对象或占位符表面的描述。
在下文中,假设建模者是创建(优选地三维)场景的场景模型的人或设备。
为了创建能够在DVD菜单中使用的3D(三维)场景,建模者需要服从一组规则。这些规则中的一些由DVD菜单的逻辑结构或逻辑构成给出。需要其它规则以将三维对象的附加属性(如,例如将要成为按钮的属性,或将要用于对高亮掩蔽进行计算的属性)通知给智能3D引擎。在显示菜单页面时,高亮掩蔽在选择阶段是可见的,并且通过采用由创作程序的用户所定义的颜色覆盖所选的按钮,利用所选的按钮标识高亮掩蔽。如相对于图9、10、11和12示出的,相对于规则的定义,有必要对智能3D构思所支持的菜单结构进行更详细的描述。
可以根据主菜单和多个子菜单构建智能3D菜单。在主菜单页面上能够放置高达6个按钮。优选地,由3D建模者安排按钮,并且为按钮给出特定的(或特征)名称。例如,可以为6个按钮给出名称“NSG_BS01”至“NSG_BS06”。例如,如果由于在DVD创作的过程期间将要在DVD上烧制10个视频而导致需要更多的按钮,则可以添加附加菜单页,在所述附加菜单页之间可以通过左/右箭头按钮执行水平方向上的导航。在DVD创作的过程中将章标记附加地插入视频中的情况下,添加子菜单的一个或更多个菜单页面。利用向上按钮,能够再次回到更高层(位于上面的)菜单页面。优选地,还将箭头按钮放在在3D场景中,并且利用名称标识箭头按钮(例如:NSG_Up,NSG_Nxt,NSG_Pre)。
除了以上提到的元件以外,在本发明实施例中还支持按钮的标签、页眉文本以及页脚文本。为此,3D建模者将具有指定的名称(如在文本效果中所使用的名称)的占位符对象添加到3D场景。出于特定原因,矩形体是优选的(例如:NSG_Hdr,NSG_Ftr)。
三维对象的进一步命名和分组确定应该为高亮掩蔽的计算考虑哪些对象。然后高亮掩蔽的计算以黑白图像设置这些对象的轮廓。图23示出了对于6个菜单按钮和3个导航箭头的高亮掩蔽的示例。
相应分组还允许对高亮区域的精确添加(或定义),例如,响应于对章进行用户定义的选择,对将要利用颜色高亮的对象的定义。典型地,该区域(也就是高亮区域)与相应章图像所位于的区相同。
在下文中,将对高亮掩蔽的计算进行简要论述。为此,图23示出了针对图17所示的菜单结构的高亮掩蔽的图形表示。
按照以下执行高亮掩蔽的产生:仅将具有特定(高亮掩蔽)名称(或属于特定的对象组)的对象以全光亮(full-bright)白色绘制在黑色背景的前面。
这产生了高亮对象的轮廓,其中在提取物中将所述高亮对象的轮廓与呈现的主菜单视频叠置,以高亮特定的对象(例如按钮)。
除了按钮的标签之外,在按钮上某处附上或显示的图像(或视频帧)使对于DVD用户而言在按钮与视频之间的关联变得容易。典型地,图像是来自关联的视频或视频章的帧或短电影序列(视频帧序列)。3D建模者通过占位符纹理确定在三维场景内如何以及在哪里附上(或示出)图像。为此,3D建模者为相应材料给出标识名称(例如NSG_BS01至NSG_BS06)。
针对3D建模者的另外的边界条件是由3D模型的逻辑结构引起的。因此,优选地,(如,例如参考图19所示出的)介绍性动画以黑色图像开始并且结束于菜单页面。菜单至菜单动画(或菜单至菜单过渡)以及菜单至子菜单动画或子菜单至菜单动画以菜单页面(或子菜单页面)开始并且以菜单页面(或子菜单页面)结束。菜单至视频动画以菜单页面开始并且以全屏大小的相应视频结束。在选择阶段(也就是在示出菜单页面并且用户能够进行选择时的时间期间)示出的动画可以仅将较小的移动引入菜单中,例如在DVD用户在任意时间点选择按钮时在菜单至视频过渡的开始另外感知到阶跃(或不连续性)。在从第一菜单页面通往第二菜单页面的动画中,必须对按钮、标签以及箭头进行调换,必须由3D建模者将所有对象(或至少与按钮、标签以及箭头相关联的对象)提供两次(例如,NSG_BS01I至NSG_BS06I,NSG_UpI,等等;后缀“I”指示“输入的”)。
在下文中,将参考图14至17对针对DVD菜单的示例进行描述。图14至17的示例基于三维模板,所述三维模型描述(或示出)了由连杆和活塞的系统所支持的建模后的监视器。将示例的模板称为“监视器模板”。
图14示出了针对具有4个章的菜单的示例的图形表示。采用1400整体地指示图14的图形表示。
图15示出了对于具有8个主章的菜单的示例的图形表示,其中用户能够导航至下一个和上一个菜单页面(或第一个和第二个菜单页面)。采用1500整体地指示图15的图形表示。
图形表示1400示出了4个监视器屏幕1410、1412、1414、1416。监视器屏幕中的每一个表示用于对DVD上的视频内容的章进行选择的一个菜单项目或菜单按钮。应该注意的是,根据描述了总计6个监视器的三维场景模型或三维场景模型模板产生如图14所示的菜单场景。例如,在图15的图形表示1500的左边菜单页面1510中能够看见具有6个监视器的菜单页面。因此,从图形表示1400能够看出,从三维场景中去除了最后两个监视器(也就是较低行的监视器中中间的监视器以及较低行监视器中右边的监视器)以及(相应的)章标号。此外,在将图14的菜单场景与图15的菜单场景相比较时,能够看出图14的菜单场景不包括任何箭头。这归因于以下事实:由于不存在由图14的菜单场景所表示的菜单的附加菜单页面,所以不需要箭头。
应该注意的是,对于图15的图形表示1500,由图15的菜单场景所描述的菜单包括两个菜单页面。采用1510指示包括6个菜单条目的第一菜单页面,采用1520指示包括2个菜单条目的第二菜单页面。换言之,假设定义了菜单场景的模板包括6个菜单条目,则完全填充第一主菜单页面1510。第一菜单页面1510还包括导航箭头1530。导航箭头1530用作导航元件,并且还可以称作“下一个”箭头。
在第二菜单页面1520(也称为主菜单页面2)上,总计8个视频中仅保留了2个,并且相应地,叠加(或显示)“后退”箭头(或“上一个”箭头)。“后退”箭头1540允许导航回先前的页面,也就是,导航回第一菜单页面1510。
图16示出了对于具有8个主章的菜单的示例的图形表示。采用1600整体地指示图16的图形表示。这里应该注意的是,图16的示例的主菜单可以与图15的示例的主菜单相同。换言之,图形表示1600示出了与图15的第一主菜单页面1510相同的第一主菜单页面1610。图示1600还示出了子菜单1620。这里应该注意的是,第一主章具有5个另外的子章。换言之,通过对第一菜单页面1610的第一监视器(或按钮)1630进行选择和激活,可以显示子菜单1620。因为第一监视器或第一按钮1630表示第一主章,所以能够在菜单页面1620上访问第一主章的四个子章。还应该注意的是,通过选择子菜单页面1620的“向上”按钮1640,用户能够(从子菜单页面1620)导航回主菜单(或主菜单页面1610)。此外,菜单页面1610包括“下一个”-按钮1650,以访问(例如与菜单页面1520相同的)下一个主菜单页面。
换言之,在图16的示例中设立了子菜单,其中能够经由(或通过)第一按钮1630对所述子菜单进行寻址。在短中间序列之后,用户能够看见子菜单(或子菜单页面1620),其中(任选地)在动画期间,两个菜单(也就是主菜单页面1610和子菜单页面1620)均是可见的。在示例实施例中,主菜单页面1610中的6个监视器向上移出图像(或向上移出可见屏幕),新的监视器(例如子菜单页面1620的4个监视器)从下面跟上。在给定的示例中,子菜单(或子菜单页面1620)包括4个视频以及允许向上导航回主菜单或主菜单页面1610的相应导航键头1660。
图17示出了在智能3D内部表示中呈现的主菜单的模板的图形表示,以上描述的示例基于所述主菜单的模板。
在模板中,设计者提供最大可用数目的6个监视器1710、1712、1714、1716、1718、1720。此外,需要出现三个导航元件1730“箭头后退”、“箭头下一个”以及“箭头向上”。页眉1740和页脚1750以及章标题必须服从预定的名称约定。此外,针对章图像(或章视频帧)的图像区域必须具有预定的材料名称(NSG_BS01、NSG_BS02、NSG_BS03、NSG_BS04、NSG_BS05、NSG_BS06)。
必须将单独的监视器概括在分别由相应名称定义的组中(也就是,每个监视器一组,使得属于特定监视器的所有元件和/或对象包含在属于特定监视器的组中)。如从以上示例中能够看到的,如果满足这些条件,则智能3D引擎能够使场景动态地适应菜单内容。
这里应该注意的是,采用1700整体地指示图形表示1700。应该注意的是,模板1700包括多个菜单项目。在典型的实施例中,相应的多个几何对象与菜单项目相关联。将与特定菜单项目相关联的几何对象分组在一起,也就是包含在几何对象的组中。因此,通过标识一组几何对象,能够标识属于菜单项目的几何对象。假设场景模型或场景模板描述n个菜单项目,模板包括n个组,n个组的每个概括了属于特定菜单项目的对象。例如,属于特定菜单项目的对象可以包括:
- 具有预定的名称或属性的表面,所述预定的名称或属性指示:该表面意在显示与菜单项目相关联的用户提供的内容,而不指定特定的用户提供的内容。换言之,各个表面是由特性名称或属性指定的针对用户提供的内容的占位符表面。
- 具有预定的名称的占位符对象,所述预定的名称对意在被用户提供的文本替换的文本占位符对象进行标识。例如,文本占位符可以意在提供与菜单项目相关联的视频序列有关的“标题”和/或信息。
因此,视频帧发生器110可以适于基于菜单场景模型标识应该将多少个菜单条目显示在菜单场景(或菜单页面)中。视频帧发生器还可以适于确定在菜单模板中有多少个定义了独立或单独的菜单条目的组出现。根据以上描述的信息,如果菜单场景模型或菜单模板包括比实际需要更多的菜单条目,则视频帧发生器110可以将属于菜单条目的多于对象取消选择或去除。因此,能够保证的是,即使需要比包含在模板中的更少的菜单条目,也能够应用包括一定数目的视频条目在内的模板。
图18示出了用于产生视频帧序列的本发明的方法的流程图。采用1800整体地指示图18的方法。在第一步骤1810中,接收定义了场景的场景模型。优选地,场景模型包括具有对象名称和对象属性的至少一个场景模型对象。
方法1800还包括第二步骤1820,在第二步骤1820中接收用户提供的内容。
在第三步骤1830中,在场景模型内对具有预定的对象名称和预定的对象属性的场景模型对象进行标识。因此,获得标识后的场景模型对象。在第四步骤1840中,产生视频帧序列,使得将用户提供的内容显示在标识的场景模型的表面上,或显示为针对标识后的场景模型对象的替换。
这里应该注意的是,可以利用以上描述的步骤中的任何步骤(例如,利用由本发明的视频帧序列所执行的步骤中的任何步骤)对图18的方法1800进行补充。
在下文中,将对用于创建DVD(或通常视频媒体)的菜单结构的本发明的设备和方法的示例实施例进行描述。为此,图19示出了用于选择或输入视频序列的用户界面的图形表示。采用1900整体地指示图19的图形表示。根据本发明的实施例,在第一步骤中,用户输入该用户想要呈现在DVD上(或在诸如HD-DVD之类的任何视频媒体上、在蓝光盘上、或在任何其它视频媒体上)的视频标题。任选地,可以为各个视频给出章标记。如果为视频定义了章标记,则将为该视频标题创建一个或更多个子菜单。子菜单中的每一个按钮表示一个章位置。因此,视频标题能够以定义的章位置开始。
图20示出了用于选择模板或场景模型的用户界面页面的图形表示。换言之,在本发明的实施例中,在第二步骤中用户选择预定义的或预定的智能3D模板(也就是预先创建的场景模型)。图21示出了用于对DVD菜单结构的属性进行选择的用户界面的截屏的图形表示。
换言之,根据本发明实施例,在第三步骤中用户能够调节3D模板设置以适合该用户的需要。这允许按钮文本、页眉文本、页脚文本、和/或背景音乐是可改变的。换言之,例如,用户能够在场景模型或场景模板中输入相对于将要显示的章标题的设置或调整,来代替占位符对象。类似地,可以将页眉文本和页脚文本定义为对模板中文本占位符对象的替换。
此外,用户能够定义使用(来自以下可能菜单过渡的列表的)哪些菜单过渡:
- 介绍性动画;
- 两个菜单之间的过渡动画;
- 在菜单与章菜单之间的过渡动画;
- 在菜单与视频标题之间的过渡动画;以及
- 在视频标题与菜单之间的过渡动画。
根据本发明实施例,在第四步骤中,能够使用虚拟遥控器在预览中观测由智能3D引擎创建的菜单结构。任选地,可以利用智能3D引擎实时地计算菜单过渡。因此,图22示出了允许用户预览菜单过渡的用户界面的截屏的图形表示。
根据本发明的实施例,在第五(任选的)步骤中烧制或准备DVD(或蓝光媒体、HD-DVD或另一视频媒体)。
这里应该注意的是,参考图19至22,从用户的观点示出了创建智能3D菜单的过程。还应该注意的是,可以将参考图19至22或其中任选所描述的用户条目输入至视频帧发生器,以控制:利用用户提供的内容替换占位符对象或将用户提供的内容显示在占位符表面上。
因此,用户输入控制:根据场景模型(还被称为场景模板或仅称为“模板”)以及根据用户提供的内容产生视频帧序列。
在下文中,将对根据本发明实施例的菜单创作构思的概要进行描述。
应该注意的是,一个DVD典型地包含一定数量的视频。通过一个或更多个菜单页面访问这些视频,其中,利用选择按钮(例如,利用菜单页面中的按钮)表示每个视频、视频章标记、或另一菜单。能够通过将按钮与菜单页面或视频链接来导航DVD的内容。因此,不同固定的短视频序列或静止图像表示不同的菜单页面。
本发明的构思(也称为智能3D技术)以允许根据用户定义的视频量自动产生以上提到的菜单页面。此外,在两个菜单页面之间或在菜单页面(或至少一个菜单页面)与用户定义的视频标题之间计算过渡视频。这为用户给出了无缝、交错并且交互的视频场景的错觉(illusion)。单独的菜单页面和视频不再是逐一放置的硬切换,而是在虚拟三维世界中看似融于彼此。
利用智能3D引擎自动地执行对动画菜单结构的创建。用户简单地指定该用户想要将哪个内容(一个或多个视频标题)出现在磁盘上并且选择预定义的智能3D模板(例如,来自预定模板列表中的一个模板)。然后智能3D引擎计算在2个菜单之间或在菜单与视频标题之间的菜单、每个菜单的按钮以及过渡视频的必要数目。
单独的、预定的智能3D模板演示(或表示)三维视频场景(或至少一个三维视频场景)。例如,能够将单独的菜单页面解释为模板中房间的不同侧。如果用户通过不同的菜单进行导航,则智能3D引擎创建的视频序列被播放为过渡。该过渡示出了无缝地适于两个菜单场景的视频过渡场景。在菜单页面与视频标题之间创建无缝适应的视频过渡场景。
因为将智能3D引擎集成在创作应用程序与创作引擎之间,所以还能够为DVD视频、以及为蓝光媒体以及HD-DVD媒体创建相同的动画菜单结构。
在下文中,将与相对于一般安装的需求和备注一起对本发明实施例的一些特性进行描述。
为了概括本发明实施例的一些方面,可以进行以下陈述:
- 通过串联,经由流畅的3D过渡,能够合并任何数目的电影序列。
- 能够将链接的(或合并的或串联的)电影序列装配成通用菜单结构。
- 菜单包括介绍性序列以及一个或更多个主菜单页面。任选地,菜单结构可以提供子菜单页面以寻址电影流的各个章。通过平滑的过渡链接菜单页面,其中平滑过渡包括:至每个电影的第一帧的过渡(或至少至一个电影的第一帧的过渡)。
- 菜单场景动态地调节内容。菜单按钮(或相应地,导航按钮)的存在和/或出现取决于菜单章的数目。智能3D引擎关心对菜单场景的动态调整。
- 智能3D引擎将高层内容(用户输入)与低层内容(具有特殊标签以使能动态解释的菜单场景的一般模型)和元数据(一般菜单序列信息,时间戳)相结合,以产生单独呈现的视频帧形式的视频输出。此外,智能3D引擎提供与用于菜单导航的高亮区和选择区有关的信息。
- 在菜单场景的3D模型中使用特殊标签(例如名称或属性)利用智能3D引擎自动地产生以上描述的数据。
- 每个菜单能够具有各行三维文本,例如页眉、页脚或章题目。文本是可编辑的,也就是优选地实时地产生字体字符的3D网格。
- 对过渡、三维效果以及菜单的呈现是交互式的。为三维场景的高性能可视化开发通过现代图形卡的硬件加速。
在下文中,将描述一些实施例详情。
根据本发明的一个实施例,基于智能3D构思的想法将使带有结构信息的三维数据(3D数据)与解释结构并且呈现动态三维模型的引擎分离。对于数据的组织,将使用针对3D数据的通用装置。
在优选实施例中,所有元件将得到名称,并且存在允许对其它元件进行分组的数据元件。名称和分组能够为3D对象或组指定特殊的功能(例如,如以上描述的作为按钮的功能)。
在智能3D的实现中,引擎读取一般3D数据格式。在那里,元数据块将定义3D模型的功能。例如,对于DVD菜单,该元数据能够将3D场景概述为菜单至视频过渡,这将在端用户选择DVD菜单中的视频按钮时并且在将要示出所选的视频之前播放。包含在元数据块中的其他信息能够确定该过渡所属的DVD菜单的按钮数目或名称。
然后,用于创作视频内容的整套3D数据包括:具有(针对菜单或视频效果的任何可能部分的)3D和结构数据的文件。为了使这个内容创建的方法适用于其它,可以输入除了一般文件格式以外的其它文件格式。作为另外的部件,存在指定将要在特定菜单部分或视频效果内部(或期间)播放的音乐或噪声的声音文件。
为了使智能3D引擎能够灵活地对用户的需要作出反应,在3D模型中存在一些针对3D对象或分组元件的命名约定。例如,“NSG_BS04”的特殊名称能够指定对象为DVD菜单中的第四个按钮。采用该名称,如果不需要四个按钮,例如用户仅插入了3个视频片断,则引擎将去除该对象。另一名称如“NSG_NxtH”(注意名称最后的“H”代表“高亮”)能够确定为DVD菜单中可能的下一按钮的高亮区域定义的对象或组。采用分组的方式,能够具有(如果不是必须的话)将被智能3D引擎去除的几何结构,以及在计算高亮区域时将要考虑的较小的几何结构。在图23中示出了具有6个菜单按钮和3个导航箭头的“监视器”菜单的高亮掩蔽的示例。
在外部数据文件中,将会把文本解释为普通几何对象。因此,该对象作为可读字符的集合的意义丢失,并且不能对该对象的意义进行重新解释以改变文本。然而,这对于给予用户将自己的文本(之后将会是DVD菜单或视频内容的一部分)插入3D场景的可能性来说是必需的。
为此,确立了一种方法,以利用可编辑3D文本替换具有诸如“页眉”之类的特殊名称的对象,在本示例中所述可编辑文本表示DVD菜单部分的标题(heading)。
在该场景中,智能3D的实现允许独立的建模者创建任意数目的创作和视频内容,而不需要对软件开发进行研究。智能3D的引擎能够解释3D模型的结构和元数据,从而知道3D场景的每部分的功能。
通常,本申请包括用于产生动画场景以创建交互式菜单和视频场景的方法、设备以及计算机程序。
在下文中,将参考图24对另外的实现细节进行描述。图24是用于创作视频媒体的内容的模块的层次的图形表示。采用2400整体地指示图24的图形表示。利用视频编辑和创作应用程序2410控制对视频媒体的内容进行创作的过程。视频编辑和创作应用程序2410接收一个或更多个用户视频片断2420。视频编辑和创作应用软件还接收图24的图形表示中未示出的用户输入。例如,至视频编辑和创作应用软件2410的用户输入可以包括:与有多少用户视频片断2420将要包含在视频媒体上有关的信息。该用户信息还可以包括:与将要包括在视频媒体上的视频片断(或视频帧序列)的标题名称有关的信息。用户输入还可以包括:与菜单结构的详情有关的用户选择。例如,该用户输入可以包括:对应该将多个可用菜单模板(或场景模型)中的哪个菜单模板用于产生视频媒体的菜单结构作出定义。用户信息还可以包括附加设置,如颜色设置、背景图像的选择、音乐标题的选择,等等。
利用等同于视频帧发生器110的所谓的智能3D引擎2430执行对将要存储在视频媒体上的视频序列的呈现。智能3D引擎2430接收针对场景和视频效果的一个或更多个模板定义。模板定义2440等同于场景模型112并且根据对象以及分组信息和属性信息对场景进行描述。
智能3D引擎还从视频编辑和创作应用程序2410接收一个或更多个视频流以及一个或更多个属性设置,采用2450指示视频流和属性设置。这里应该注意的是,视频流等同于用户视频片断2420,或根据用户视频片断利用视频编辑和创作应用软件2410创作所述视频流。智能3D引擎适于创建一个或更多个视频流2460以及将一个或更多个视频流2640发送回视频编辑或创作应用程序2410。应该注意的是,视频流2460与等同于视频帧序列116。
视频编辑和创作应用程序2410适于根据由智能3D引擎2430提供的视频流2460构建视频媒体的菜单和内容结构。为此,视频编辑和创作应用程序适于(根据某元信息)对视频流2460表示哪种类型的视频内容进行标记。例如,视频编辑和创作应用程序2410可以适于认识到:特定的视频屏幕2460是否表示菜单至菜单过渡、菜单至视频帧序列过渡、视频帧序列至菜单过渡、(在黑屏与菜单之间的)介绍性过渡或视频帧序列至视频帧序列过渡。根据与视频流的类型有关的信息,视频编辑和创作应用程序2410将视频流放置在视频媒体的数据结构内部的合适位置中。
例如,如果视频编辑和创作应用程序2410认识到特定视频流2460是菜单至视频过渡,则视频编辑和创作应用程序2410设立视频媒体的结构,使得如果特定菜单中用户选择播放特定的电影,则在特定的相应菜单与特定的相应视频(或电影)之间播放菜单至视频过渡。
在另一示例中,如果用户例如通过第一菜单页面上的特定按钮(下一个按钮)的选择,从第一菜单页面改变至第二菜单页面,则应该向用户显示第一菜单页面与第二菜单页面之间的菜单至菜单过渡。因此,视频编辑和创作应用程序2410在视频媒体上布置相应的菜单至菜单过渡,使得在用户在第一菜单页面上选择以上提到的按钮时播放菜单至菜单过渡。
在视频编辑和创作应用程序2410创建了结构(具体地,视频媒体的菜单结构)的情况下,视频编辑和创作应用程序把将要存储在视频媒体上的信息传输至创作引擎2470。创作引擎2470适于将视频编辑和创作应用程序2410提供的数据格式化,这样数据符合相应视频媒体(例如DVD媒体、蓝光盘、HD-DVD或任何其它视频媒体)的规范。创作装置2470还适于将视频编辑和创作应用程序2410提供的数据写入视频媒体。
综上所述,能够陈述的是,图24示出了智能3D引擎的一般工作流程图。
在下文中,将给出与以上描述的发明有关的特定细节。
首先,将对与过渡视频的计算有关的一些附加细节进行描述。应该注意的是,对于过渡视频的计算,视频帧发生器接收两个视频图像或视频帧,其中,从消失的视频中得到一个视频帧,并从显现的视频中得到一个视频帧。
图像或视频帧都与作为最终的视频流(或最终的视频帧序列116)的相同时间点相对应。在输入视频流中两个图像或视频帧的时间上的位置取决于各个输入视频流(或输入视频)的长度以及重叠或过渡的持续时间。然而,在优选实施例中,3D引擎不考虑绝对时间信息。
根据两个输入图像或输入视频帧,产生单个的输出图像或输出视频帧。在输出视频帧的产生中,利用输入视频帧替换(由场景模型描述的)三维场景中分别命名的材料的纹理。因此,输出图像或输出视频帧是三维场景的图像,其中利用第一输入视频帧替换对象的纹理,利用第二输入视频帧替换对象的另一纹理。
此外,将对哪些文件或软件用于产生DVD菜单进行描述:
- 在三维动画中描述三维场景的一个或更多个文件;
- 对场景图的结构以及附加动画数据进行描述的一个或更多个描述文件(例如,3D模板的名称、中间序列的类型,等等);
- 提供图像数据或视频数据并且重新结合视频数据的视频图像软件;
- 将图像数据和文本数据整合到3D场景中、根据输入数据将场景格式化、以及随后呈现3D场景的3D引擎;
为了产生DVD菜单,在本发明的实施例中,在产生DVD时根据章的数目和划分呈现任何可能的菜单组合以及菜单中间序列。此外,在视频文件中将菜单组合和菜单中间序列烧制到DVD上。此外,产生(具有文件名扩展“.ifo”并且从DVD视频盘规范中已知)导航文件。该导航文件允许DVD播放器跳转到相应序列(也就是,例如跳转到过渡视频的开始)。
为了确定菜单结构,根据可用视频章的数目和结构调节相应建模的3D场景。将不需要的部分建模的三维场景(也就是不需要的菜单项目)自动地去除,使得不在最终产生的视频帧序列中显示它们。此外,产生用户可编辑文本块。
从而,产生三维菜单,其中在菜单页面之间播放动画序列。此外,根据具有预定的名称的三维对象自动地产生高亮掩蔽。因此,能够创建任意形状的高亮掩蔽。
本发明实施例的关键优点之一是,菜单设计者(例如3D建模者)仅需要预先建模一般的菜单序列。在该任务中不包含DVD创作软件的用户。根据章划分的特性自动地执行对菜单视频序列的调节和产生。
在下文中,将描述如何通过串联来链接(或组合)多个电影序列。这里假设视频电影包括30个独立的电影片段。因此,例如包括30个独立电影片段的整个电影可以具有29个过渡的序列。可选地,例如,如果考虑在开始的淡入效果以及在电影的结束的淡出效果,则存在31个过渡的序列。
3D装置仅对当前过渡的数据进行处理。换言之,在第一步骤中,执行在第一电影片段与第二电影片段之间的过渡,在第二步骤中,计算在第二电影片段与第三电影片段之间的过渡,等等。根据剪辑(cutting)软件的观点,时间进程如以下所述:
- 对第一电影片段的前面部分进行编码,将编码的信息存储在整个电影的视频流中;
- 将所需的图像数据(或视频数据、或电影数据)从第一视频片段(视频片段1)的结束和第二视频片段(视频片段2)的开始上载至智能3D引擎(其中第一视频片段的结束部分和第二视频片段的开始部分组成用户提供的内容);
- 从智能3D引擎读取所呈现的过渡的图像数据(或视频数据、或电影数据、或视频帧序列);
- 对独立呈现的图像(或视频帧)进行编码,并且将编码的信息存储到整个电影的视频流中;
- 对第二视频片段的中间部分进行编码,并且将处理的信息存储到整个电影的视频流中;
- 将所需的视频数据从第二视频帧(视频片段2)的结束和第三视频片段(视频片段3)上载至智能3D引擎;
- 从智能3D引擎读取所呈现的过渡的图像数据;
- 对独立呈现的图像(或视频帧)进行编码,并且将所呈现的信息存储到整个电影的视频流中。
可以重复所描述的过程直到计算了任何所需的过渡为止。应该注意的是,因为将独立的视频片段以及过渡序列存储在单个的视频文件中,所以通过以上描述的串联可以产生单个视频文件。
相对于菜单场景的动态调节,应该注意的是,创作软件决定章按钮的分配(分配给图像数据和文本数据)。此外,创作软件决定在特定场景中需要(来自场景模型的)哪些对象以及需要调节哪个对象(例如文本内容)。例如在呈现菜单视频时,在创建DVD时的时间点处做出相应决定。在本发明的优选实施例中,在创建DVD之后不再可能对菜单结构进行修改。
此外,应该注意的是,在本发明的外围之内,术语“高层内容”指定用户提供的数据,例如视频流、章图像、图像标题或高亮颜色。另一方面,术语“低层内容”描述一般建模的3D场景(例如,不适于用户提供的内容然而包括占位符对象或占位符表面的场景模型)。此外,术语“元数据”描述哪些3D模型文件一起组成菜单。应该注意的是,整个菜单包括:针对一般选择页面的场景,以及通过独立对象的移动来链接独立菜单页面的多个动画中间序列。在优选实施例中,为采用第一章按钮的交互以及采用第二章按钮的交互定义不同的动画序列。元数据还包括与独立菜单序列有关的信息、与菜单的名称或附加音频轨迹的参考有关的信息。
相对于高亮区域和选择区域,应该注意的是,利用有关对象的各个分组和命名来指定高亮区域和选择区域。
相对于字体特性的网格的产生,应该注意的是,对于字体字符的3D网格的产生,不将包含在字体文件中的所有字体都表示为三维网格。相反,在第一次使用字体字符时计算字体字符的网格。随后,计算的网格用于表示特定的字体字符。作为示例,对字体字符的所述处理允许将文本“Hello World”表示为三维文本,其中,因为能够将针对字符“1”的三维网格(以切换的方式)使用3次并且能够将字符“o”使用2次,所以仅需要7个三维网格(而不是10个三维网格)。
这里应该注意的是,字体字符的产生与其余视频帧的产生不同。由设计者(例如创建了场景模型的人(还被称为“场景建模者”))提供除了针对字体字符的三维网格以外的任何对象或网格。设计者分别放置命名了的框来代替针对字体字符的3D网格,其中利用用户输入的文本在运行时间替换所述框(也就是文本的三维表示)。框的高度和厚度(为了更普通:框的尺寸)定义三维字体字符的尺寸。还从框得到纹理属性和材料属性(以图示文本字符)。换言之,由用户输入的文本字符的三维表示具有与框相同的纹理和材料属性。
在下文中,将对可以用于呈现过渡的可能用户交互进行描述。为了普通,能够通过对话从外界(也就是由用户)影响三维场景的外观。在以上描述的描述文件中,能够将各个属性标记为可编辑的。在对话中根据这些属性的类型表示这些属性。用户一改变该属性,就在该场景中考虑改变的属性。这样,例如,能够在预定的范围内改变对象颜色、背景图像和/或(对象的)飞行轨道。
还应该注意的是,在本发明的实施例中,相对于呈现的速度,呈现可以是交互式的。传统的剪辑程序典型地使用计算机的中心处理器以表示效果。典型地这是非常慢的,并且表示不平滑。因此,本发明的构思(例如智能3D引擎)使用(现在可用于几乎任何计算机的)3D图形硬件。只有在3D图形卡没有出现的情况下,才选择比较慢的基于CPU的解决方案。对用于表示三维场景的场景图的使用贡献了高性能的表示。
还应该注意的是,能够采用类似的方式(如传统的2D引擎)从外界访问智能3D引擎。然而,在菜单的处理中,考虑附加中间序列。此外,在智能3D引擎内部封装了大部分逻辑。
还应该注意的是,能够采用计算机程序的形式实现本发明。换言之,根据本发明方法的某些实现需求,能够在硬件或软件中实现本发明的方法。能够使用数字存储介质(例如存储有电可读控制信号的磁盘、DVD、CD、ROM、PROM、EPROM或闪存)执行实现,所数字存储介质与可编程计算机系统协作使得执行本发明的方法。因此,通常本发明是具有存储在及其可读载体上的程序代码的计算机程序产品,在计算机程序产品在计算机上运行时所述程序代码对于执行本发明的方法是有效的。换言之,因此本发明的方法是计算机程序,所述计算机程序具有用于在计算机程序在计算机上运行时执行本发明的方法中的至少一个的程序代码。
综上所述,本发明创建了基于时间产生视频过渡、菜单至视频过渡以及菜单至菜单过渡的构思。此外,本发明允许基于时间产生交互式菜单。因此,本发明允许用户友好地创建视频媒体。
Claims (31)
1、一种用于根据定义了场景的场景模型(200,300;431,446,456,466,476;810;2440)以及根据用户提供的内容(114;2450)来提供视频帧(1,2,...F-1,F)序列(116;440,450,460,470,480;2460)的设备(100;2400),所述场景模型包括具有对象名称(立方体1)或对象属性的至少一个场景模型对象(210;432;812),所述设备包括:
视频帧发生器(110;2430),适于根据场景模型生成多个视频帧的序列(440,450,460,470,480;1,2,...,F-1,F),其中所述视频帧发生器适于在所述场景模型内对具有预定的对象名称或预定的对象属性的一个或更多个场景模型对象进行标识,以获得标识后的场景模型对象;以及
其中所述视频帧发生器适于产生视频帧序列,使得将用户提供的内容显示在标识后的场景模型对象的表面(230,232,234;432,436)上或显示为针对标识后的场景模型对象(812)的替换。
2、根据权利要求1的设备(100;2400),其中,所述场景模型(112;200,300;431,446,456,466,476)根据出现在场景中的对象的几何特性来定义场景。
3、根据权利要求1或2的设备(100;2400),其中,所述场景模型(112;200,300;431,446,456,466,476;810;2440)根据对象(210;432;812)相对于观测者(212;438,448,482)的运动来定义场景。
4、根据权利要求1至3之一的设备(100;2400),其中,所述场景模型(112;200,300;431,446,456,466,476;810;2440)根据至少一个场景模型对象(210;432)的材料特性或表面纹理特性来定义场景。
5、根据权利要求1至4之一的设备(100;2400),其中,所述视频帧发生器(110;2430)适于对具有预定的名称、材料特性、纹理特性或表面特性的场景模型对象(210;432)的表面(230,232,234;434,436)进行标识,以获得标识后的表面;以及
其中所述视频帧发生器适于产生所产生的视频帧序列(116;2460)的帧(440,450,460,470,480),使得将用户提供的视频序列(114;2450)或用户提供的图像的帧显示在标识后的表面上。
6、根据权利要求1至5之一的设备(100;2400),其中,所述视频帧发生器(110,2430)适于对场景模型对象(230;432)的第一表面(230;434)以及所述场景模型对象的第二表面(232;436)进行标识,其中所述第一表面具有第一预定的名称、预定的材料特性或预定的纹理特性,所述第二表面具有第二预定的名称、预定的材料特性或预定的纹理特性,
所述第一预定的名称与所述第二预定的名称不同,所述第一预定的材料特性与所述第二预定的材料特性不同,或所述第一预定的纹理特性与所述第二预定的纹理特性不同;
其中所述视频帧发生器适于产生视频序列(116;2460)的帧(440,450,460,470,480),使得将第一用户提供的视频序列(114;2450)或第一用户提供的图像的帧显示在第一标识后的表面上,并且使得第二用户提供的视频序列(414;2450)或第二用户提供的图像的帧显示在第二标识后的表面上。
7、根据权利要求1至6之一的设备(100;2400),其中,所述视频帧序列发生器(110;2430)适于对场景模型对象(210;432)的第一表面(230;434)以及场景模型对象的第二表面(232;436)进行标识,
所述第一表面具有第一预定的名称、第一预定的材料特性或第一预定的纹理特性,以及
所述第二表面具有第二预定的名称、第二预定的材料特性或第二预定的纹理特性,
所述第一名称与所述第二名称不同,所述第一材料特性与所述第二材料特性不同,或所述第一纹理特性与所述第二纹理特性不同;
其中视频帧发生器适于产生视频序列(116,440,450,460,470,480;2460),使得将第一用户提供的视频帧序列(114;2450)的帧的序列显示在标识后的第一表面上,并且使得将第二用户提供的视频序列(114;2450)的帧的序列显示在标识后的第二表面上。
8、根据权利要求7的设备(100;2400),其中,所述设备适于接收定义了第一用户提供的视频序列(114;2450)和第二用户提供的视频序列(114;2450)的用户输入。
9、根据权利要求7或8的设备(100;2400),其中,所述视频帧发生器(110;2430)适于产生视频帧序列(116;440,450,460,470,480;2460),使得所产生的视频帧序列的第一帧(440)是第一用户提供的视频序列的帧的全屏版本,并且使得所产生的视频帧序列的最后帧(480)是第二用户提供的视频序列的帧的全屏版本。
10、根据权利要求7至9之一的设备(100;2400),其中,所述视频帧发生器(110;2430)适于在所产生的视频序列(116;440,450,460,470,480;2460)的第一帧(440)与所产生的视频帧序列的最后帧(480)之间提供渐进的或平滑的过渡。
11、根据权利要求1至10之一的设备(100;2400),其中,所述视频帧发生器(110;2430)适于获得显示了用户定义的文本的用户定义的文本对象作为用户提供的内容(114;2450);
其中所述视频帧发生器(110;2430)适于在场景模型(112;200,300;431,446,456,466,476,810;2440)内对具有预定的对象名称或预定的对象属性的场景模型对象(812)进行标识,所述预定的对象名称和所述预定的对象属性指示标识后的场景模型对象是文本占位符对象;以及
其中所述视频帧发生器适于产生序列(116;440,450,460,470,480;2460),使得显示用户定义的文本对象来代替标识后的文本占位符对象(812)。
12、根据权利要求11的设备(100;2400),其中,所述视频帧发生器(110;2430)适于产生视频帧序列(116;440,450,460,470,480;2460),使得所述视频帧序列中所述用户定义的文本对象表示的尺寸适于遍及所述视频帧序列的文本占位符对象(812)的尺寸。
13、根据权利要求1至12之一的设备(100;2400),其中,所述设备适于根据将要在所产生的视频帧序列(116;440,450,460,470,480;2460)中显示的菜单项目(912,914,916,918,920,922,932,934,936,938,940,942;1012,1014,1016,1018,1020,1024,1222,1224,1226,1228,1230,1232)个数,从形成所述场景模型的多个场景模型对象中选择所选场景模型对象的子集,使得所选场景模型对象描述视频帧序列(116;440,450,460,470,480;2460),在所述视频序列中所显示的菜单项目个数适于将要显示的菜单项目个数,以及
其中所述视频帧发生器适于根据所选场景模型对象生成所述视频帧序列。
14、根据权利要求1至13之一的设备(100;2400),其中,所述设备包括高亮区域场景模型对象标识符,所述高亮区域场景模型对象标识符适于从场景模型(112;200,300;431,446,456,466,476;2440)中确定包括至少一个高亮区域场景模型对象的集合,
所述高亮场景模型对象具有预定的对象名称或对象属性;以及
其中,所述设备包括高亮区域描述提供器,所述高亮区域描述提供器适于提供高亮区域的描述,所述高亮区域的描述定义了其中显示高亮区域场景模型对象的集合中的至少一个对象的视频帧(440,450,460,470,480)的区。
15、根据权利要求14的设备(100;2400),其中,所述高亮区域描述提供器适于将高亮区域描述为由显示高亮区域场景模型对象的全部像素所定义的视频帧(440,450,460,470,480)的区。
16、一种用于提供定义三维视频场景的场景模型的设备,所述设备包括:
用于输入场景描述(112;200,300;431,446,456,466,476;2440)的界面;以及
占位符插入器,用于将占位符名称或占位符属性插入场景模型,使得占位符名称或占位符属性指示将要与用户提供的内容(114;2450)相关联的对象(210;432;812)或表面(230,232,234;434,436)。
17、根据权利要求16的设备,其中,所述占位符插入器适于得知与占位符名称或占位符属性有关的句法。
18、一种定义了场景的场景模型(112;200,300;431,446,456,466,476;800,2400),所述场景模型具有至少一个占位符对象
(210;432;812),所述占位符对象具有与用户提供的内容(114;2450)相关联的占位符名称或占位符属性。
19、根据权利要求18的场景模型(112;200,300;431,446,456,466,476;800,2400),其中,所述场景模型包括第一占位符对象和第二占位符对象,
所述第一占位符对象具有第一占位符表面,所述第一占位符表面的名称或表面属性指示所述第一占位符表面与第一用户提供的图像或用户提供的视频帧相关联,
所述第二占位符对象具有第二占位符表面,所述第二占位符表面的名称或表面属性指示所述第二占位符表面与第二用户提供的图像或用户提供的视频帧相关联;
其中所述场景模型描述了观测者所位于的观测点(212;438,448,482)相对于所述对象的位置;以及
其中对所述场景模型进行调节使得所述场景模型最初对第一占位符对象和观测者的布置进行描述,使得从观测点(212;438,448,482)看到第一占位符表面的全屏图像,以及
使得所述场景模型最终描述对第二占位符和观测者的布置,使得从观测点(212;438,448,482)看到第二占位符表面的全屏图像。
20、根据权利要求18的场景模型(112;200,300;431,446,456,466,476;800,2400),其中,所述场景模型(112;200,300;431,446,456,466,476;2400)适于如观测点处的观测者所见到的、最初对数字视频媒体的导航菜单的菜单页面(910,930,1010;1110;1212,1220;1400,1510,1520,1610,1620,1700)进行描述;
其中所述场景模型(112;200,300;431,446,456,466,476;2400)包括具有占位符表面(230,232,234;434,436)的占位符对象(210;432;812),所述占位符表面的名称或表面属性指示所述占位符表面与用户提供的图像或用户提供的视频帧(114;2430)相关联;以及
其中对所述场景模型进行调节使得所述场景模型最终对所述占位符对象和观测者的布置进行描述,使得从观测点(212;438,448,482)看到所述占位符表面的全屏图像。
21、根据权利要求18的场景模型(112;200,300;431,446,456,466,476;800,2400),其中,所述场景模型(112;200,300;431,446,456,466,476;800;2400)包括:具有占位符表面(230,232,234;434,436)的占位符对象(210;432;812),所述占位符表面的名称或表面属性指示所述占位符表面(230,232,234;434,436)与用户提供的图像或用户提供的视频帧(114;2450)相关联;
其中对所述场景模型(112;200,300;431,446,456,466,476;800;2400)进行调节,使得所述场景模型最初对所述占位符对象(210;432;812)和观测点(212;438,448,482)的布置进行描述,使得从所述观测点看到所述占位符表面(230,232,234;434,436)的全屏图像;以及
其中对所述场景模型(112;200,300;431,446,456,466,476;800,2400)进行调节,使得所述场景模型如观测点(212;438,448,482)处的观测者所看到的、最终对数字视频媒体的导航菜单的菜单页面(910,930,1010,1110,1212,1220,1400,1510,1520,1610,1620,1700)进行描述。
22、根据权利要求18的场景模型(112;200,300;431,446,456,466,476;800,2400),其中,对所述场景模型(112;200,300;431,446,456,466,476;800;2400)进行调节,使得所述场景模型如第一观测点处的观测者所看到的、最初对数字视频媒体的导航菜单的第一菜单页面(910;1212;1510;1610)进行描述;以及
其中对所述场景模型进行调节,使得所述场景模型如第二观测点处的观测者所看到的、最终对数字视频媒体的导航菜单的第二菜单页面(930;1220;1520;1620)进行描述。
23、一种用于根据定义了场景的场景模型(200,300;431,446,456,466,476;810;2440)以及根据用户提供的内容(114;2450)来提供视频帧(1,2,...F-1,F)序列(116;440,450,460,470,480;2460)的方法,所述场景模型包括具有对象名称(立方体1)或对象属性的至少一个场景模型对象(210,立方体1;432;812),所述方法包括:
根据所述场景模型生成多个视频帧的序列(440,450,460,470,480;1,2,...,F-1,F);
其中生成多个视频帧的序列包括:
在所述场景模型内对具有预定的对象名称或预定的对象属性的场景模型对象进行标识(1830),以获得标识后的场景模型对象;以及
产生(1840)视频帧序列,使得将用户提供的内容显示在标识后的场景模型对象的表面(230,232,234;432,436)上或显示为针对标识后的场景模型对象(812)的替换。
24、一种提供定义了三维场景的场景模型(112;200,300;431,446,456,466,476;2440)的方法,所述方法包括:
输入对场景的描述(112;200,300;431,446,456,466,476,2440);以及
将占位符名称或占位符属性插入场景模型,使得所述占位符名称或占位符属性指示将要与用户提供的内容(114;2450)相关联的对象(210;432;812)或表面(230,232,234;434,436)。
25、一种设备(2400),用于根据定义了场景的场景模型(112;200,300;431,446,456,466,476;800;2440)、根据定义了至少一个菜单结构相关特性、以及根据用户提供的内容(114;2450)来创建视频媒体的菜单结构,所述场景模型包括具有对象名称或对象属性的至少一个场景模型对象(210;432;812),所述设备包括:
根据权利要求1至15的用于提供视频帧序列(116;440,450,460,470,480;2460)的设备(100;2430),
其中所述用于提供视频帧序列的设备(2430)适于根据场景模型、根据定义了至少一个菜单结构相关特性的附加信息、以及根据用户提供的内容产生所述视频帧序列。
26、根据权利要求25的设备(2400),其中,所述菜单结构相关信息包括:与元件的分组有关的信息;
其中所述场景模型(112;200,300;431,446,456,466,476;800;2440)的第i组元件描述用于访问用户提供的视频帧序列(114;2450)的第i个菜单按钮(912,914,916,918,920,922,932,934,936,938,940,942,1012,1014,1016,1018,1020,1024,1222,1224,1226,1228,1230,1232,1410,1412,1414,1416);
其中用于提供视频帧序列(116;440,450,460,470,480;2460)的设备(110;2430)适于接收与将要包含在视频媒体中的用户提供的视频序列个数有关的信息;
其中用于提供视频帧序列的设备(110;2430)适于使用与用户提供的视频帧序列个数有关的信息来确定访问用户提供的视频序列所需要的菜单按钮个数;
其中用于提供视频帧序列的设备(110;2430)适于在所述场景模型中标识元件组,每个标识后的元件组描述菜单按钮;
其中用于提供视频帧序列的设备(110;2430)适于从所述场景模型中选择多个元件组,每个所选元件组描述菜单按钮,使得由所选的元件组所描述的菜单按钮个数适于访问用户提供的视频序列所需的菜单按钮个数;以及
其中用于提供视频序列的设备(110;2430)适于产生视频帧序列,使得所述视频帧序列显示所选元件组的元件,并且使得取消或减少场景模型的附加对象,所述场景模型的附加对象描述了用于访问用户提供的序列的未使用过的菜单按钮。
27、根据权利要求25或26的的设备(2400),其中所述菜单结构相关信息包括:与场景模型(112;200,300;431,446,456,466,476;800;2440)的哪些元件属于高亮组有关的信息;
其中用于提供视频帧序列(116;440,450,460,470,480;2460)的设备(110;2430)适于产生在其中显示了高亮组的对象的视频帧(440,450,460,470,480)的区域的描述。
28、根据权利要求27的设备,其中对显示高亮组的对象的视频帧(440,450,460,470,480)的区域的描述包括:在显示了高亮组的对象处以第一颜色像素描述、以及在不显示高亮组的对象处以第二颜色像素描述的单色图像。
29、根据权利要求25至28之一的设备(2400),其中所述菜单结构相关信息包括:与所述场景模型(112;200,300;431,446,456,466,476;800;2440)描述了何种类型的视频过渡有关的信息;
其中用于创建所述菜单结构的设备包括用于将由视频帧发生器(110;2430)产生的视频帧序列(116;440,450,460,470,480;2460)插入视频媒体的菜单结构中的设备;
其中用于创建菜单结构的设备适于根据与场景模型(112;200,300;431,446,456,466,476;800;2440)描述了何种类型的视频过渡有关的信息来确定菜单结构中视频帧序列(112;200,300;431,446,456,466,476;800;2440)的位置;以及
其中用于创建菜单结构的设备适于认识到并且处理以下类型的视频过渡中的至少一个:
菜单至菜单过渡,
黑屏至菜单过渡,
菜单至视频帧序列过渡,
视频帧序列至菜单过渡,
视频帧序列至视频帧序列过渡。
30、一种用于根据定义了场景的场景模型(112;200,300;431,446,456,466,476;800;2440)、根据定义了至少一个菜单结构相关特性的菜单结构相关信息、以及根据用户提供的内容(114;2450)来创建视频媒体的菜单结构的方法,所述场景模型包括具有对象名称或对象属性的至少一个场景模型对象(210;432;812),所述方法包括:
根据权利要求23提供视频帧序列(116;440,450,460,470,480;2460),
其中提供视频帧序列包括:根据场景模型、根据定义了至少一个菜单结构相关特性的附加信息、以及根据用户提供的内容来提供视频帧序列。
31、一种用于在计算机上运行时执行根据权利要求23、24或30的方法的计算机程序。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US78100606P | 2006-03-10 | 2006-03-10 | |
| US60/781,006 | 2006-03-10 | ||
| EP06005001 | 2006-03-10 | ||
| EP06005001.0 | 2006-03-10 | ||
| PCT/EP2007/000024 WO2007104372A1 (en) | 2006-03-10 | 2007-01-03 | Apparatus and method for providing a sequence of video frames, apparatus and method for providing a scene model, scene model, apparatus and method for creating a menu structure and computer program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101401130A true CN101401130A (zh) | 2009-04-01 |
| CN101401130B CN101401130B (zh) | 2012-06-27 |
Family
ID=40518515
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200780008655.1A Expired - Fee Related CN101401130B (zh) | 2006-03-10 | 2007-01-03 | 提供视频帧序列的设备和方法,提供场景模型的设备和方法,场景模型,创建菜单结构的设备和方法,以及计算机程序 |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP4845975B2 (zh) |
| CN (1) | CN101401130B (zh) |
| RU (1) | RU2433480C2 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103325135A (zh) * | 2013-07-17 | 2013-09-25 | 天脉聚源(北京)传媒科技有限公司 | 一种资源展示方法、装置和终端 |
| CN107180136A (zh) * | 2017-06-02 | 2017-09-19 | 王征 | 一种基于内墙对象记录器的3d房间纹理加载的系统和方法 |
| CN112947817A (zh) * | 2021-02-04 | 2021-06-11 | 汉纳森(厦门)数据股份有限公司 | 智能设备页面切换方法及装置 |
| CN118762645A (zh) * | 2024-09-07 | 2024-10-11 | 深圳市伽彩光电有限公司 | 一种led显示屏节能显示方法和系统 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2523980C2 (ru) * | 2012-10-17 | 2014-07-27 | Корпорация "САМУНГ ЭЛЕКТРОНИКС Ко., Лтд." | Способ и система для визуализации набора мультимедиа объектов на 3d дисплее |
| WO2022124419A1 (ja) * | 2020-12-11 | 2022-06-16 | 株式会社 情報システムエンジニアリング | 情報処理装置、情報処理方法及び情報処理システム |
| CN114677320B (zh) * | 2020-12-24 | 2025-03-25 | 深圳云天励飞技术股份有限公司 | 视频帧选取方法、装置、电子设备及存储介质 |
| JP2022136068A (ja) * | 2021-03-05 | 2022-09-15 | 株式会社 情報システムエンジニアリング | 情報表示装置、情報表示システム、情報表示プログラム、学習方法及びデータ構造 |
| CN113392231B (zh) * | 2021-06-30 | 2025-05-27 | 中国平安人寿保险股份有限公司 | 基于文本生成手绘视频的方法、装置、设备及存储介质 |
| CN119767103B (zh) * | 2024-12-20 | 2025-10-21 | 北京字跳网络技术有限公司 | 多场景视频生成方法、装置、电子设备、存储介质及程序产品 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000196971A (ja) * | 1998-12-25 | 2000-07-14 | Matsushita Electric Ind Co Ltd | 映像表示装置 |
-
2007
- 2007-01-03 RU RU2008140163/08A patent/RU2433480C2/ru active
- 2007-01-03 CN CN200780008655.1A patent/CN101401130B/zh not_active Expired - Fee Related
- 2007-01-03 JP JP2008558656A patent/JP4845975B2/ja not_active Expired - Fee Related
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103325135A (zh) * | 2013-07-17 | 2013-09-25 | 天脉聚源(北京)传媒科技有限公司 | 一种资源展示方法、装置和终端 |
| CN107180136A (zh) * | 2017-06-02 | 2017-09-19 | 王征 | 一种基于内墙对象记录器的3d房间纹理加载的系统和方法 |
| CN112947817A (zh) * | 2021-02-04 | 2021-06-11 | 汉纳森(厦门)数据股份有限公司 | 智能设备页面切换方法及装置 |
| CN112947817B (zh) * | 2021-02-04 | 2023-06-09 | 汉纳森(厦门)数据股份有限公司 | 智能设备页面切换方法及装置 |
| CN118762645A (zh) * | 2024-09-07 | 2024-10-11 | 深圳市伽彩光电有限公司 | 一种led显示屏节能显示方法和系统 |
| CN118762645B (zh) * | 2024-09-07 | 2024-11-05 | 深圳市伽彩光电有限公司 | 一种led显示屏节能显示方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101401130B (zh) | 2012-06-27 |
| RU2433480C2 (ru) | 2011-11-10 |
| JP2009529736A (ja) | 2009-08-20 |
| RU2008140163A (ru) | 2010-04-20 |
| JP4845975B2 (ja) | 2011-12-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100989459B1 (ko) | 비디오 프레임 시퀀스를 제공하는 장치 및 방법, 장면 모델을 제공하는 장치 및 방법, 장면 모델, 메뉴 구조를 생성하는 장치 및 방법 그리고 컴퓨터 프로그램 | |
| JP4507013B2 (ja) | コンテンツ編集生成システム | |
| KR100960504B1 (ko) | 감성표현이 적용된 디지털 스토리보드 생성 방법 및 시스템 | |
| TWI413017B (zh) | 用於混合式物件屬性關鍵製格模組之方法與電腦系統 | |
| JP5522894B2 (ja) | 動画のフレーム情報を生成する装置及び方法並びに動画を再生する装置及び方法 | |
| JP2010073126A (ja) | 情報可視化装置および情報可視化方法 | |
| JP2004145832A (ja) | コンテンツ作成装置、コンテンツ編集装置、コンテンツ再生装置、コンテンツ作成方法、コンテンツ編集方法、コンテンツ再生方法、コンテンツ作成プログラム、コンテンツ編集プログラム、および携帯通信端末 | |
| CN101401130B (zh) | 提供视频帧序列的设备和方法,提供场景模型的设备和方法,场景模型,创建菜单结构的设备和方法,以及计算机程序 | |
| US20060022983A1 (en) | Processing three-dimensional data | |
| US8363055B1 (en) | Multiple time scales in computer graphics | |
| JP5063810B2 (ja) | アニメーション編集装置、アニメーション再生装置及びアニメーション編集方法 | |
| KR20110049257A (ko) | 사용자와의 대화형 인터페이스를 통한 만화를 움직이는 애니메이션으로 만들어 주는 시스템 및 기술 | |
| US9620167B2 (en) | Broadcast-quality graphics creation and playout | |
| US9396574B2 (en) | Choreography of animated crowds | |
| KR20200093295A (ko) | 가상현실 기반의 전시회 컨텐츠 제공 방법 | |
| EP3246921B1 (en) | Integrated media processing pipeline | |
| US12505614B2 (en) | Editing mixed-reality recordings | |
| US20100225648A1 (en) | Story development in motion picture | |
| CN121239924B (zh) | 一种基于交互标注的漫画视频生成方法及装置 | |
| HK40094515A (zh) | 虚拟摄像机的配置方法、装置、设备及存储介质 | |
| KR20070098364A (ko) | 3차원 영상 데이터를 코드화하여 저장하는 장치 및 방법 | |
| Beales et al. | Automated 3d pre-vis for modern production | |
| CN121239924A (zh) | 一种基于交互标注的漫画视频生成方法及装置 | |
| JP2006178575A (ja) | メディアコンテンツ生成方法およびシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C56 | Change in the name or address of the patentee | ||
| CP02 | Change in the address of a patent holder |
Address after: Karlsruhe Patentee after: NERO AG Address before: Byrd, Germany Patentee before: Nero AG |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120627 Termination date: 20220103 |