[go: up one dir, main page]

CN109564700B - 用于取决于纹理的丢弃操作的分级式Z剔除(HiZ)优化 - Google Patents

用于取决于纹理的丢弃操作的分级式Z剔除(HiZ)优化 Download PDF

Info

Publication number
CN109564700B
CN109564700B CN201780050322.9A CN201780050322A CN109564700B CN 109564700 B CN109564700 B CN 109564700B CN 201780050322 A CN201780050322 A CN 201780050322A CN 109564700 B CN109564700 B CN 109564700B
Authority
CN
China
Prior art keywords
processor
operations
texture
graphics
shader
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780050322.9A
Other languages
English (en)
Other versions
CN109564700A (zh
Inventor
M·安德森
R·M·托特
J·N·哈塞尔格林
T·G·阿凯奈-莫勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN109564700A publication Critical patent/CN109564700A/zh
Application granted granted Critical
Publication of CN109564700B publication Critical patent/CN109564700B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/40Hidden part removal
    • G06T15/405Hidden part removal using Z-buffer
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/40Hidden part removal
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/62Semi-transparency

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Image Generation (AREA)

Abstract

描述了涉及用于针对纹理相关的丢弃操作来提供分级式Z剔除(HiZ)优化的技术的方法和设备。在实施例中,处理器响应于判定了图像图块的纹理空间边界是完全不透明的而对图像图块的深度数据执行一个或多个操作(诸如,HiZ或分级式模板印刷测试)。无论是否启用丢弃操作,处理器都执行这一个或多个操作。还公开并要求保护了其他实施例。

Description

用于取决于纹理的丢弃操作的分级式Z剔除(HiZ)优化
相关申请
本申请根据35U.S.C.§365(c)要求于2016年9月16日提交的名称为“HIERARCHICALZ-CULLING(HIZ)OPTIMIZATION FOR TEXTURE-DEPENDENT DISCARD OPERATIONS(用于取决于纹理的丢弃操作的分级式Z剔除(HIZ)优化)”的美国申请号15/267,631的优先权。这些文档的全部公开内容出于所有目的通过引用结合在此。
技术领域
本公开内容总体上涉及电子装置领域。更具体地,一些实施例涉及用于针对纹理相关的丢弃操作提供分级式Z剔除(HiZ)优化的技术。
背景技术
大多数计算系统倾向于包括用于执行图形(或甚至通用)指令的一个或多个图形处理器。这些图形处理器可能需要执行大量的操作来处理图像。帮助减小图形操作数量的一项技术是剔除。
剔除一般是指用于移除不重要细节、进而减小图形处理器需要执行的工作量的技术。因此,如何实施剔除可能对图形处理器的性能和/或功率效率具有直接影响。
附图说明
参照附图提供了详细说明。在附图中,附图标记最左边的(多个)数字标识所述附图标记首次出现的附图。在不同的附图中使用相同的附图标记指示相似或完全相同的项。
图1和图10展示了计算系统的实施例的框图,所述计算系统可以用来实施本文讨论的各个实施例。
图2、图3、图4、图5、图6、图8、图13和图14展示了根据一些实施例的处理器的各部件。
图7展示了根据一些实施例的图形核指令格式。
图9A和图9B分别展示了根据一些实施例的图形处理器命令格式和序列。
图11展示了根据实施例的IP核开发的简图。
图12展示了根据实施例的芯片上系统(SoC或SOC)集成电路的部件。
图15A和图15B展示了根据一些实施例的流程图。
图16、图17和图18展示了根据一些实施例的样本图像。
具体实施方式
在以下描述中,阐述了许多特定细节以便提供对各实施例的透彻理解。然而,可以在没有特定细节的情况下实践各实施例。在其他实例中,未详细地描述熟知的方法、程序、部件以及电路,以便不使具体实施例模糊。此外,可以使用各种装置执行实施例的各方面,诸如集成半导体电路(“硬件”)、被组织到一个或多个程序(“软件”)中的计算机可读指令或硬件与软件的某种组合。就本公开内容的目的而言,对“逻辑”的引用将指硬件、软件、固件或其某种组合。
如以上提及的,如何实施剔除可能对图形处理器的性能和/或功率效率具有直接影响。更具体地,分级式Z剔除(也被称为HiZ)是用于执行早期且便宜剔除的高效机制,并且大多数现代图形处理器和GPU(图形处理器单元)具有以硬件方式实施的HiZ的某种变体。Z剔除一般指应用于图像的Z分量或深度分量的(多个)剔除操作。这种HiZ实施方式可以例如通过保持深度缓冲器中的每个图块(其中,图块一般指矩形像素区域)的深度边界[z最小,z最大](或者分别为最小深度边界和最大深度边界)来进行操作。然后可以使用传入三角形(例如,图像图块内部的)来完成相对快速的间隔重叠测试。然而,在某些情况下,可以以最佳方式更新HiZ的分级式深度表示。例如,当渲染状态指示使用丢弃操作时,然后HiZ更新可能是非常保守的,并且因此,剔除效率将更低。更新操作考虑到在每个样本中结束的深度值是来自三角形的传入内插值,还是(在像素着色器中发生丢弃操作的情况下)保持先前深度值。因此,可以更新HiZ中的z最小值,同时保留相同的z最大值。由此,对于这些情况,HiZ缓冲器将是过于保守的。同样的问题适用于类似于丢弃操作的α测试。
此外,像素着色器可以利用丢弃操作。在某一纹理样本的α值是否低于某一阈值的条件检查内经常执行丢弃操作。同时,不是所有的边界纹理都可以具有比阈值T小的任一α值(或者甚至在所有边界纹理处具有α通道,在这种情况下,行为就好像全部为1)。假设T=1,对于现在(这可能是非常常见的),α/丢弃测试的条件语句是:
如果(来自纹理的每像素α<T),丢弃;
如可见的,即使事先已知整个纹理中没有像素具有小于T=1.0的任何α,当前流水线仍会犹如丢弃会发生一样来处理每个事件,并且因此z最大HiZ更新将被禁用,因此具有明显更差的HiZ剔除。
为此,一些实施例提供了用于纹理相关的丢弃操作的分级式Z剔除(HiZ)优化的技术。在一个实施例中,即使在着色器中启用了丢弃操作,在某些情况下也会启用HiZ更新。这实现了更高效的渲染,由于禁用的丢弃操作导致更好的HiZ更新,因此这导致更高效的剔除(进而导致更好性能和/或功率效率)。如果片段着色器具有丢弃操作,则一个或多个实施例是适用的,所述丢弃操作取决于进而具有为1的恒定α的纹理或纹理集合的α通道。
此外,分析并存储轻量级的每纹理和每着色器程序信息,以便辅助实现HiZ优化。然后利用这种收集的信息来更改HiZ路径以获得更好的HiZ更新。一些实施例可以在图形驱动器中实施并且可以使用HiZ单元的小变化。此外,HiZ优化还可以应用于其他情况。例如,可以存储每纹理的α间隔,并且这个间隔存储整个纹理上的最小α以及整个纹理上的最大α。由此,在更多情况下,可以启用HiZ优化。
此外,一些实施例可以应用于包括一个或多个处理器(例如,具有一个或多个处理器核)的计算系统,诸如参照附图1至18所讨论的那些,包括例如移动计算装置,例如智能手机、平板计算机、UMPC(超级移动个人计算机)、膝上型计算机、UltrabookTM计算装置、可穿戴装置(诸如智能手表、或智能眼镜)等。
系统概述
图1是根据实施例的处理系统100的框图。在各实施例中,系统100包括一个或多个处理器102以及一个或多个图形处理器108,并且可以是单处理器台式系统、多处理器工作站系统或具有大量处理器102或处理器核107的服务器系统。在一个实施例中,系统100是被并入用于在移动装置、手持式装置或嵌入式装置内使用的芯片上系统(SoC)集成电路内的处理平台。
系统100的实施例可以包括基于服务器的游戏平台、游戏控制台,或被并入基于服务器的游戏平台、游戏控制台内,该游戏控制台包括游戏与媒体控制台、移动游戏控制台、手持式游戏控制台、或在线游戏控制台。在一些实施例中,系统100是移动电话、智能电话、平板计算装置或移动互联网装置。数据处理系统100还可以包括可穿戴装置、与可穿戴装置耦合、或者集成在可穿戴装置中,该可穿戴装置诸如智能手表可穿戴装置、智能眼镜装置、增强现实装置、或虚拟现实装置。在一些实施例中,数据处理系统100是电视或机顶盒装置,该电视或机顶盒装置具有一个或多个处理器102以及由一个或多个图形处理器108生成的图形界面。
在一些实施例中,一个或多个处理器102各自包括用于处理指令的一个或多个处理器核107,这些指令在被执行时执行系统和用户软件的操作。在一些实施例中,一个或多个处理器核107中的每个处理器核被配置成用于处理特定的指令集109。在一些实施例中,指令集109可促进复杂指令集计算(CISC)、精简指令集计算(RISC)、或经由超长指令字(VLIW)的计算。多个处理器核107可各自处理不同的指令集109,该指令集109可包括用于促进对其他指令集进行仿真的指令。处理器核107还可包括其他处理装置,诸如,数字信号处理器(DSP)。
在一些实施例中,处理器102包括高速缓存存储器104。取决于架构,处理器102可以具有单个内部高速缓存或多个层级的内部高速缓存。在一些实施例中,在处理器102的各部件之间共享高速缓存存储器。在一些实施例中,处理器102还使用外部高速缓存(例如,第3级(L3)高速缓存或末级高速缓存(LLC))(未示出),可使用已知的高速缓存一致性技术在处理器核107之间共享外部高速缓存。另外,寄存器堆106被包括在处理器102中,该处理器102可包括用于存储不同类型的数据的不同类型的寄存器(例如,整数寄存器、浮点寄存器、状态寄存器、以及指令指针寄存器)。一些寄存器可以是通用寄存器,而其他寄存器可特定于处理器102的设计。
在一些实施例中,处理器102与处理器总线110耦合,以在处理器102与系统100中的其他部件之间传输诸如地址、数据、或控制信号之类的通信信号。在一个实施例中,系统100使用示例性“中枢”系统架构,该示例性“中枢”系统架构包括存储器控制器中枢116和输入输出(I/O)控制器中枢130。存储器控制器中枢116促进存储器装置与系统100的其他部件之间的通信,而I/O控制器中枢(ICH)130提供经由本地I/O总线至I/O设备的连接。在一个实施例中,存储器控制器中枢116的逻辑被集成在处理器内。
存储器装置120可以是动态随机存取存储器(DRAM)装置、静态随机存取存储器(SRAM)装置、闪存装置、相变存储器装置、或具有合适的性能以充当进程存储器的某种其他存储器装置。在一个实施例中,存储器装置120可以作为系统100的系统存储器来进行操作,以存储数据122和指令121,以供在一个或多个处理器102执行应用或进程时使用。存储器控制器中枢116还与任选的外部图形处理器112耦合,该任选的外部图形处理器112可与处理器102中的一个或多个图形处理器108通信以执行图形和媒体操作。
在一些实施例中,ICH 130启用外围设备以经由高速I/O总线连接到存储器装置120和处理器102。I/O外围设备包括但不限于音频控制器146、固件接口128、无线收发机126(例如,Wi-Fi、蓝牙)、数据存储设备124(例如,硬盘驱动器、闪存等)以及用于将传统(legacy)(例如,个人系统2(PS/2))装置耦合至系统的传统I/O控制器。一个或多个通用串行总线(USB)控制器142连接输入装置,这些输入装置诸如键盘和鼠标144的组合。网络控制器134还可与ICH 130耦合。在一些实施例中,高性能网络控制器(未示出)与处理器总线110耦合。将会领会,所示的系统100是示例性的而非限制性的,因为也可使用以不同方式配置的其他类型的数据处理系统。例如,I/O控制器中枢130可被集成在一个或多个处理器102内,或者存储器控制器中枢116和I/O控制器中枢130可被集成到诸如外部图形处理器112之类的分立的外部图形处理器中。
图2是处理器200的实施例的框图,该处理器200具有一个或多个处理器核202A-202N、集成存储器控制器214、以及集成图形处理器208。图2的具有与本文中任何其他附图的元件相同的附图标记(或名称)的那些元件能以与在本文中其他地方描述的方式类似的任何方式进行操作或起作用,但不限于此。处理器200可包括附加核,这些附加核多达且包括由虚线框表示的附加核202N。处理器核202A-202N中的每一个都包括一个或多个内部高速缓存单元204A-204N。在一些实施例中,每个处理器核还可访问一个或多个共享高速缓存单元206。
内部高速缓存单元204A-204N和共享高速缓存单元206表示处理器200内的高速缓存存储器层级结构。高速缓存存储器层级结构可包括每个处理器核内的至少一个层级的指令和数据高速缓存、以及一个或多个层级的共享中级高速缓存,诸如,第2级(L2)、第3级(L3)、第4级(L4)、或其他层级的高速缓存,其中,在外部存储器之前的最高层级的高速缓存被分类为LLC。在一些实施例中,高速缓存一致性逻辑维持各高速缓存单元206与204A-204N之间的一致性。
在一些实施例中,处理器200还可包括一组一个或多个总线控制器单元216和系统代理核210。一个或多个总线控制器单元216管理一组外围总线,诸如,一个或多个外围部件互连总线(例如,PCI、PCI快速)。系统代理核210提供对各处理器部件的管理功能。在一些实施例中,系统代理核210包括一个或多个集成存储器控制器214,以管理对各外部存储器装置(未示出)的访问。
在一些实施例中,处理器核202A-202N中的一个或多个包括对同步多线程的支持。在此类实施例中,系统代理核210包括用于在多线程处理期间对核202A-202N进行协调和操作的部件。系统代理核210可附加地包括功率控制单元(PCU),该功率控制单元包括用于调节处理器核202A-202N以及图形处理器208的功率状态的逻辑和部件。
在一些实施例中,处理器200附加地包括用于执行图形处理操作的图形处理器208。在一些实施例中,图形处理器208与共享高速缓存单元的集合206以及系统代理核210耦合,该系统代理核210包括一个或多个集成存储器控制器214。在一些实施例中,显示控制器211与图形处理器208耦合,以将图形处理器输出驱动到一个或多个耦合的显示器。在一些实施例中,显示控制器211可以是经由至少一个互连与图形处理器耦合的分开的模块,或者可被集成在图形处理器208或系统代理核210内。
在一些实施例中,基于环的互连单元212用于耦合处理器200的内部部件。然而,可使用替代的互连单元,诸如,点对点互连、切换式互连、或其他技术,包括本领域公知的技术。在一些实施例中,图形处理器208经由I/O链路213与环形互连212耦合。
示例性I/O链路213表示各种各样的I/O互连中的至少一者,包括促进各处理器部件与高性能嵌入式存储器模块218(诸如,eDRAM模块)之间的通信的封装上I/O互连。在一些实施例中,处理器核202A-202N中的每个处理器核以及图形处理器208将嵌入式存储器模块218用作共享末级高速缓存。
在一些实施例中,处理器核202A-202N是执行同一指令集架构的同构核。在另一实施例中,处理器核202A-202N就指令集架构(ISA)而言是异构的,其中,处理器核202A-202N中的一者或多者执行第一指令集,而其他核中的至少一者执行第一指令集的子集或不同的指令集。在一个实施例中,处理器核202A-202N就微架构而言是同质的,其中,具有相对较高功耗的一个或多个核与具有较低功耗的一个或多个功率核耦合。另外,处理器200可被实现在一个或多个芯片上或者被实现为除其他部件之外还具有所图示的部件的SoC集成电路。
图3是图形处理器300的框图,该图形处理器300可以是分立的图形处理单元、或者可以是与多个处理核集成的图形处理器。在一些实施例中,图形处理器经由至图形处理器上的寄存器的存储器映射的I/O接口并且利用被置入处理器存储器中的命令进行通信。在一些实施例中,图形处理器300包括用于访问存储器的存储器接口314。存储器接口314可以是到本地存储器、一个或多个内部高速缓存、一个或多个共享外部高速缓存、和/或到系统存储器的接口。
在一些实施例中,图形处理器300还包括用于将显示输出数据驱动到显示装置320的显示控制器302。显示控制器302包括用于显示器的一个或多个重叠平面以及视频或用户接口元件的多个层的组合的硬件。在一些实施例中,图形处理器300包括视频编解码器引擎306,以将媒体编码、解码或转码为一种或多种媒体编码格式,从一种或多种媒体编码格式编码、解码或转码媒体,或在一种或多种媒体编码格式之间进行对媒体进行编码、解码或转码,这些媒体编码格式包括但不限于:运动图像专家组(MPEG)格式(诸如,MPEG-2)、高级视频译码(AVC)格式(诸如,H.264/MPEG-4AVC)、以及电影&电视工程师协会(SMPTE)421M/VC-1、和联合图像专家组(JPEG)格式(诸如,JPEG、以及运动JPEG(MJPEG)格式)。
在一些实施例中,图形处理器300包括用于执行包括例如位边界块传递的二维(2D)光栅化器操作的块图像传递(BLIT)引擎304。然而,在一个实施例中,使用图形处理引擎(GPE)310的一个或多个部件执行2D图形操作。在一些实施例中,GPE 310是用于执行图形操作的计算引擎,这些图形操作包括三维(3D)图形操作和媒体操作。
在一些实施例中,GPE 310包括用于执行3D操作的3D流水线312,3D操作诸如,使用作用于3D图元形状(例如,矩形、三角形等)的处理功能来渲染三维图像和场景。3D流水线312包括可编程的固定功能元件,这些可编程的固定功能元件执行元件内的各种任务和/或将执行线程生成(spawn)至3D/媒体子系统315。虽然3D流水线312可以用于执行媒体操作,但是GPE 310的实施例还包括专门用于执行诸如视频后处理和图像增强之类的媒体操作的媒体流水线316。
在一些实施例中,媒体流水线316包括固定功能或可编程逻辑单元以便代替、或代表视频编解码器引擎306来执行一种或多种专业的媒体操作,诸如,视频解码加速、视频解交织、以及视频编码加速。在一些实施例中,媒体流水线316附加地包括用于生成供在3D/媒体子系统315上执行的线程的线程生成单元。所生成的线程对3D/媒体子系统315中所包括的一个或多个图形执行单元执行对媒体操作的计算。
在一些实施例中,3D/媒体子系统315包括用于执行由3D流水线312和媒体流水线316生成的线程的逻辑。在一个实施例中,流水线向3D/媒体子系统315发送线程执行请求,该3D/媒体子系统包括用于仲裁并将各请求分派到可用的线程执行资源的线程分派逻辑。执行资源包括用于处理3D和媒体线程的图形执行单元阵列。在一些实施例中,3D/媒体子系统315包括用于线程指令和数据的一个或多个内部高速缓存。在一些实施例中,子系统还包括用于在线程之间共享数据并用于存储输出数据的共享存储器,包括寄存器和可寻址存储器。
图形处理引擎
图4是根据一些实施例的图形处理器的图形处理引擎410的框图。在一个实施例中,图形处理引擎(GPE)410是图3中所示GPE 310的一个版本。图4的具有与此处任何其他附图中的元件相同的附图标记(或名称)的那些元件可采用与在本文中其他地方描述的方式相类似的任何方式进行操作或起作用,但不限于这些。例如,展示了图3的3D流水线312和媒体流水线316。媒体流水线316在GPE 410的一些实施例中是可选的,并且可以不显式地包括在GPE 410内。例如以及在至少一个实施例中,单独的媒体和/或图像处理器被耦合至GPE410。
在一些实施例中,GPE 410与命令流转化器403耦合或包括所述命令流转化器,所述命令流转化器向3D流水线312和/或媒体流水线316提供命令流。在一些实施例中,命令流转化器403与存储器耦合,所述存储器可以是系统存储器、或者是内部高速缓存存储器和共享高速缓存存储器中的一个或多个。在一些实施例中,命令流转化器403从存储器接收命令并将这些命令发送至3D流水线312和/或媒体流水线316。所述命令是从环形缓冲器获取的指示,所述环形缓冲器存储用于3D流水线312和媒体流水线316的命令。在一个实施例中,环形缓冲器可以另外包括存储多批多命令的批命令缓冲器。用于3D流水线312的命令还可以包括对在存储器中存储的数据的引用,诸如但不限于用于3D流水线312的顶点数据和几何数据和/或用于媒体流水线316的图像数据和存储器对象。3D流水线312和媒体流水线316通过经由各自流水线内的逻辑执行操作或者通过将一个或多个执行线程分派至图形核阵列414来处理所述命令和数据。
在各个实施例中,3D流水线312可以通过处理指令并将执行线程分派给图形核阵列414来执行一个或多个着色器程序,诸如顶点着色器、几何着色器、像素着色器、片段着色器、计算着色器或其他着色器程序。图形核阵列414提供统一的执行资源块。图形核阵列414内的多用途执行逻辑(例如,执行单元)包括对各种3D API着色器语言的支持,并且可以执行与多个着色器相关联的多个同时执行线程。
在一些实施例中,图形核阵列414还包括用于执行诸如视频和/或图像处理的媒体功能的执行逻辑。在一个实施例中,除了图形处理操作之外,执行单元还包括可编程以执行并行通用计算操作的通用逻辑。通用逻辑可以与图1的(多个)处理器核107或如图2中的核202A至202N内的通用逻辑并行地或结合地执行处理操作。
由在图形核阵列414上执行的线程生成的输出数据可以将数据输出到统一返回缓冲器(URB)418中的存储器。URB 418可以存储多个线程的数据。在一些实施例中,URB 418可以用于在图形核阵列414上执行的不同线程之间发送数据。在一些实施例中,URB 418可以另外用于图形核阵列上的线程与共享功能逻辑420内的固定功能逻辑之间的同步。
在一些实施例中,图形核阵列414是可扩展的,使得所述阵列包括可变数量的图形核,这些图形核各自具有基于GPE 410的目标功率和性能等级的可变数量个执行单元。在一个实施例中,执行资源是动态可扩展的,从而可以根据需要启用或禁用执行资源。
图形核阵列414与共享功能逻辑420耦合,所述共享功能逻辑包括在图形核阵列中的图形核之间共享的多个资源。共享功能逻辑420内的共享功能是向图形核阵列414提供专用补充功能的硬件逻辑单元。在各个实施例中,共享功能逻辑420包括但不限于采样器421、数学422、和线程间通信(ITC)423逻辑。另外,一些实施例实施共享功能逻辑420内的一个或多个高速缓存425。在给定的专用功能的需求不足以包含在图形核阵列414中的情况下实施共享功能。相反,所述专用功能的单个实例被实施为共享功能逻辑420中的独立实体并且在图形核阵列414内的执行资源之间共享。在图形核阵列414之间共享并包括在图形核阵列414内的精确的一组功能在各实施例之间变化。
图5是图形处理器500的另一实施例的框图。图5的具有与本文中的任何其他附图的元件相同的附图标记(或名称)的元件能以与在本文中其他地方描述的方式类似的任何方式进行操作或起作用,但不限于此。
在一些实施例中,图形处理器500包括环形互连502、流水线前端504、媒体引擎537和图形核580A-580N。在一些实施例中,环形互连502将图形处理器耦合至其他处理单元,其他处理单元包括其他图形处理器或者一个或多个通用处理器核。在一些实施例中,图形处理器是集成在多核处理系统内的许多处理器中的一个。
在一些实施例中,图形处理器500经由环形互连502接收多批命令。传入的命令由流水线前端504中的命令流转化器503解释。在一些实施例中,图形处理器500包括用于经由(多个)图形核580A-580N来执行3D几何处理和媒体处理的可缩放执行逻辑。对于3D几何处理命令,命令流转化器503将命令供应至几何流水线536。对于至少一些媒体处理命令,命令流转化器503将命令供应至视频前端534,该视频前端534与媒体引擎537耦合。在一些实施例中,媒体引擎537包括用于视频和图像后处理的视频质量引擎(VQE)530以及用于提供硬件加速的媒体数据编码和解码的多格式编码/解码(MFX)533引擎。在一些实施例中,几何流水线536和媒体引擎537各自生成用于由至少一个图形核580A提供的线程执行资源的执行线程。
在一些实施例中,图形处理器500包括可缩放线程执行资源,这些可缩放线程执行资源以模块化核580A-580N(有时称为核片(core slice))为特征,这些模块化核各自具有多个子核550A-550N、560A-560N(有时称为核子片(core sub-slice))。在一些实施例中,图形处理器500可具有任何数量的图形核580A至580N。在一些实施例中,图形处理器500包括图形核580A,该图形核580A至少具有第一子核550A和第二子核560A。在其他实施例中,图形处理器是具有单个子核(例如,550A)的低功率处理器。在一些实施例中,图形处理器500包括多个图形核580A-580N,每一个图形核都包括第一子核550A-550N的集合以及第二子核560A-560N的集合。第一子核550A-550N的集合中的每个子核至少包括执行单元552A-552N和媒体/纹理采样器554A-554N的第一集合。第二子核560A-560N的集合中的每一个子核至少包括执行单元562A-562N和采样器564A-564N的第二集合。在一些实施例中,每个子核550A-550N、560A-560N共享共享资源570A-570N的集合。在一些实施例中,共享资源包括共享高速缓存存储器和像素操作逻辑。其他共享资源也可被包括在图形处理器的各实施例中。
执行单元
图6示出线程执行逻辑600,该线程执行逻辑600包括在GPE的一些实施例中采用的处理元件的阵列。图6的具有与本文中任何其他附图的元件相同的附图标记(或名称)的元件能以与在本文中其他地方描述的方式类似的任何方式进行操作或起作用,但不限于此。
在一些实施例中,线程执行逻辑600包括着色器处理器602、线程分派器604、指令高速缓存606、包括多个执行单元608A至608N的可扩展执行单元阵列、采样器610、数据高速缓存612、以及数据端口614。在一个实施例中,可扩展执行单元阵列可以通过基于工作负荷的计算需求来启用或禁用一个或多个执行单元(例如,执行单元608A、608B、608C、608D、一直到608N-1和608N中的任一个)来动态地扩展。在一个实施例中,所包括的部件经由互连结构而互连,所述互连结构链接到部件中的每个部件。在一些实施例中,线程执行逻辑600包括通过指令高速缓存606、数据端口614、采样器610、以及执行单元阵列608A至608N中的一者或多者到存储器(如系统存储器或高速缓存存储器)的一个或多个连接件。在一些实施例中,每个执行单元(例如,608A)是能够执行多个同步硬件线程同时针对每个线程并行地处理多个数据元素的独立可编程通用计算单元。在各个实施例中,执行单元608A至608N的阵列是可扩展的以包括任意数量个单独执行单元。
在一些实施例中,执行单元608A至608N主要用于执行着色器程序。着色器处理器602可以处理各种着色器程序并且经由线程分派器604分派与着色器程序相关联的执行线程。在一个实施例中,线程分派器包括用于对来自图形和媒体流水线的线程发起请求进行仲裁并且在一个或多个执行单元608A至608N上实例化所请求的线程的逻辑。例如,几何流水线(例如,图5的536)可以将顶点、曲面细分或几何着色器分派至线程执行逻辑600(图6)以进行处理。在一些实施例中,线程分派器604还可处理来自执行着色器程序的运行时间线程生成请求。
在一些实施例中,执行单元608A至608N支持指令集(所述指令集包括对许多标准3D图形着色器指令的本机支持),从而使得以最小的转换执行来自图形库(例如,Direct 3D和OpenGL)的着色器程序。这些执行单元支持顶点和几何处理(例如,顶点程序、几何程序、顶点着色器)、像素处理(例如,像素着色器、片段着色器)以及通用处理(例如,计算和媒体着色器)。执行单元608A至608N中的每一个都能够执行多发布单指令多数据(SIMD),并且多线程操作能够在面对较高等待时间的存储器访问时实现有效的执行环境。每个执行单元内的每个硬件线程都具有专用的高带宽寄存器堆和相关的独立线程状态。对于具有整数、单精度浮点运算和双精度浮点运算、SIMD分支功能、逻辑运算、超越运算和其他混杂运算的流水线,执行是每个时钟的多发布。在等待来自存储器或共享功能之一的数据时,执行单元608A至608N内的依赖性逻辑使等待线程休眠,直到所请求的数据已返回。当等待线程正在休眠时,硬件资源可能会专门用于处理其他线程。例如,在与顶点着色器操作相关联的延迟期间,执行单元可以执行像素着色器、片段着色器或包括不同顶点着色器的另一种类型的着色器程序的操作。
执行单元608A-608N中的每个执行单元对数据元素阵列进行操作。数据元素的数量是“执行大小”、或指令的通道数量。执行通道是执行数据元素访问、掩码、和指令内的流控制的逻辑单元。通道的数量可与针对特定的图形处理器的物理算术逻辑单元(ALU)或浮点单元(FPU)的数量无关。在一些实施例中,执行单元608A-608N支持整数和浮点数据类型。
执行单元指令集包括SIMD指令。各种数据元素可作为紧缩数据类型存储在寄存器中,并且执行单元将基于元素的数据大小来处理各种元素。例如,当对256位宽的向量进行操作时,该256位的向量被存储在寄存器中,并且执行单元作为四个单独的64位紧缩数据元素(四字(QW)大小的数据元素)、八个单独的32位紧缩数据元素(双字(DW)大小的数据元素)、十六个单独的16位紧缩数据元素(字(W)大小的数据元素)、或三十二个单独的8位数据元素(字节(B)大小的数据元素)对向量进行操作。然而,不同的向量宽度和寄存器大小是可能的。
一个或多个内部指令高速缓存(例如,606)被包括在线程执行逻辑600中,以对用于执行单元的线程指令进行高速缓存。在一些实施例中,一个或多个数据高速缓存(例如,612)被包括,以对在线程执行期间的线程数据进行高速缓存。在一些实施例中,采样器610被包括,从而为3D操作提供纹理采样并且为媒体操作提供媒体采样。在一些实施例中,采样器610包括专业的纹理或媒体采样功能,以在向执行单元提供所采样的数据之前在采样过程中处理纹理或媒体数据。
在执行期间,图形和媒体流水线经由线程生成和分派逻辑向线程执行逻辑600发送线程发起请求。一旦一组几何对象已经被处理并被光栅化成像素数据,着色器处理器602内的像素处理器逻辑(例如,像素着色器逻辑、片段着色器逻辑等)就被调用,以进一步计算输出信息并且使得结果被写入到输出表面(例如,颜色缓冲器、深度缓冲器、模板印刷(stencil)缓冲器等)。在一些实施例中,像素着色器或片段着色器计算各顶点属性的值,各顶点属性的这些值将跨光栅化的对象被内插。在一些实施例中,着色器处理器602内的像素处理器逻辑随后执行应用编程接口(API)供应的像素着色器程序或片段着色器程序。为了执行着色器程序,着色器处理器602经由线程分派器604将线程分派至执行单元(例如,608A)。在一些实施例中,像素着色器602使用采样器610中的纹理采样逻辑来访问存储器中所存储的纹理图中的纹理数据。对纹理数据和输入几何数据的算术运算计算每个几何片段的像素颜色数据,或丢弃一个或多个像素而不进行进一步处理。
在一些实施例中,数据端口614提供存储器访问机制,以供线程执行逻辑600将经处理的数据输出至存储器以便在图形处理器输出流水线上进行处理。在一些实施例中,数据端口614包括或耦合至一个或多个高速缓存存储器(例如,数据高速缓存612),从而对用于经由数据端口进行的存储器访问的数据进行高速缓存。
图7是图示出根据一些实施例的图形处理器指令格式700的框图。在一个或多个实施例中,图形处理器执行单元支持具有以多种格式的指令的指令集。实线框图示出一般被包括在执行单元指令中的组成部分,而虚线包括任选的或仅被包括在指令子集中的组成部分。在一些实施例中,所描述和图示的指令格式700是宏指令,因为它们是供应至执行单元的指令,这与从一旦指令被处理就进行的指令解码产生的微操作相对照。
在一些实施例中,图形处理器执行单元原生地支持采用128位指令格式710的指令。64位紧凑指令格式730可用于基于所选择的指令、多个指令选项和操作数数量的一些指令。原生的128位指令格式710提供对所有指令选项的访问,而一些选项和操作在64位格式730中受限。64位格式730中可用的原生指令根据实施例而不同。在一些实施例中,使用索引字段713中的一组索引值将指令部分地压缩。执行单元硬件基于索引值来引用一组压缩表,并使用压缩表输出来重构采用128位指令格式710的原生指令。
针对每种格式,指令操作码712限定执行单元要执行的操作。执行单元跨每个操作数的多个数据元素并行地执行每条指令。例如,响应于添加指令,执行单元跨标识纹理元素或图片元素的每个颜色通道执行同步添加操作。默认地,执行单元跨操作数的所有数据通道执行每条指令。在一些实施例中,指令控制字段714实现对某些执行选项的控制,这些执行选项诸如通道选择(例如,断言)以及数据通道排序(例如,混合)。针对按照128位指令格式710的指令,执行大小字段716限制了将并行地执行的数据通道的数量。在一些实施例中,执行大小字段716不可用于64位紧凑指令格式730。
一些执行单元指令具有多达三个操作数,包括两个源操作数src0 720、src1722和一个目的地718。在一些实施例中,执行单元支持双目的地指令,其中这些目的地中的一个是隐式的。数据操纵指令可以具有第三源操作数(例如,SRC2 724),其中,指令操作码712确定源操作数的数量。指令的最后的源操作数可以是利用该指令传递的立即数(例如,硬编码的)值。
在一些实施例中,128位指令格式710包括访问/地址模式信息726,该访问/地址模式字段726指定例如是使用直接寄存器寻址模式还是间接寄存器寻址模式。当使用直接寄存器寻址模式时,由指令中的位直接提供一个或多个操作数的寄存器地址。
在一些实施例中,128位指令格式710包括访问/地址模式字段726,该访问/地址模式字段726指定针对指令的地址模式和/或访问模式。在一个实施例中,访问模式用于限定针对指令的数据访问对齐。一些实施例支持包括16字节对齐访问模式和1字节对齐访问模式的访问模式,其中,访问模式的字节对齐确定指令操作数的访问对齐。例如,当处于第一模式时,指令可将字节对齐的寻址用于源操作数和目的地操作数,并且当处于第二模式时,指令可将16字节对齐的寻址用于所有的源操作数和目的地操作数。
在一个实施例中,访问/地址模式字段726的地址模式部分确定指令要使用直接寻址还是间接寻址。当使用直接寄存器寻址模式时,指令中的位直接提供一个或多个操作数的寄存器地址。当使用间接寄存器寻址模式时,可基于指令中的地址寄存器值和地址立即数字段来计算一个或多个操作数的寄存器地址。
在一些实施例中,基于操作码712的位字段对指令进行分组从而简化操作码解码740。针对8位的操作码,位4、5、和6允许执行单元确定操作码的类型。所示出的确切的操作码分组仅为示例。在一些实施例中,移动和逻辑操作码组742包括数据移动和逻辑指令(例如,移动(mov)、比较(cmp))。在一些实施例中,移动和逻辑组742共享五个最高有效位(MSB),其中移动(mov)指令采用0000xxxxb的形式,并且逻辑指令采用0001xxxxb的形式。流控制指令组744(例如,调用(call)、跳转(jmp))包括采用0010xxxxb形式(例如,0x20)的指令。混杂指令组746包括指令的混合,包括采用0011xxxxb形式(例如,0x30)的同步指令(例如,等待(wait)、发送(send))。并行数学指令组748包括采用0100xxxxb形式(例如,0x40)的按分量的算术指令(例如,加(add)、乘(mul))。并行数学组748跨数据通道并行地执行算术运算。向量数学组750包括采用0101xxxxb形式(例如,0x50)的算术指令(例如,dp4)。向量数学组对向量操作数执行算术运算,诸如,点积计算。
图形流水线
图8是图形处理器800的另一实施例的框图。图8的具有与本文中任何其他附图中的元件相同的附图标记(或名称)的元件能以与在本文中其他地方描述的方式类似的任何方式进行操作或起作用,但不限于此。
在一些实施例中,图形处理器800包括图形流水线820、媒体流水线830、显示引擎840、线程执行逻辑850、以及渲染输出流水线870。在一些实施例中,图形处理器800是包括一个或多个通用处理核的多核处理系统内的图形处理器。图形处理器通过至一个或多个控制寄存器(未示出)的寄存器写入或者经由通过环形互连802发布至图形处理器800的命令而受控。在一些实施例中,环形互连802将图形处理器800耦合至其他处理部件,其他处理部件诸如其他图形处理器或通用处理器。来自环形互连802的命令由命令流转化器803解译,该命令流转化器803将指令供应至图形流水线820或媒体流水线830的单独部件。
在一些实施例中,命令流转化器803引导顶点获取器805的操作,该顶点获取器805从存储器读取顶点数据并执行由命令流转化器803提供的顶点处理命令。在一些实施例中,顶点获取器805将顶点数据提供给顶点着色器807,该顶点着色器807对每个顶点执行坐标空间变换和照明操作。在一些实施例中,顶点获取器805和顶点着色器807通过经由线程分派器831向执行单元852A、852B分派执行线程来执行顶点处理指令。
在一些实施例中,执行单元852A、852B是具有用于执行图形和媒体操作的指令集的向量处理器阵列。在一些实施例中,执行单元852A、852B具有专用于每个阵列或在多个阵列之间被共享的附加的L1高速缓存851。高速缓存可以被配置为数据高速缓存、指令高速缓存、或被分区以不同分区中包含数据和指令的单个高速缓存。
在一些实施例中,图形流水线820包括用于执行3D对象的硬件加速的曲面细分的曲面细分部件。在一些实施例中,可编程的外壳着色器811配置曲面细分操作。可编程域着色器817提供对曲面细分输出的后端评估。曲面细分器813在外壳着色器811的指示下进行操作,并且包含专用逻辑,该专用逻辑用于基于作为输入被提供至图形流水线820的粗糙的几何模型来生成详细的几何对象的集合。在一些实施例中,如果未使用曲面细分,则可以绕过曲面细分部件(例如,外壳着色器811、曲面细分器813和域着色器817)。
在一些实施例中,完整的几何对象可以由几何着色器819经由被分派至所述执行单元852A、852B的一个或多个线程来处理、或者可以直接行进至剪辑器829。在一些实施例中,几何着色器对整个几何对象进行操作,而不是如在图形流水线的先前级中那样对顶点或顶点补片(patch))进行操作。如果禁用曲面细分,则几何着色器819从顶点着色器807接收输入。在一些实施例中,几何着色器819是可由几何着色器程序编程的,以便在曲面细分单元被禁用时执行几何曲面细分。
在光栅化之前,剪辑器829处理顶点数据。剪辑器829可以是固定功能剪辑器或者具有剪辑和几何着色器功能的可编程剪辑器。在一些实施例中,渲染输出流水线870中的光栅化器和深度测试部件873分派像素着色器,以将几何对象转换为它们的每像素表示。在一些实施例中,像素着色器逻辑被包括在线程执行逻辑850中。在一些实施例中,应用可绕过光栅化器和深度测试部件873,并且经由流出单元823访问未光栅化的顶点数据。
图形处理器800具有允许数据和消息在处理器的主要部件之间传递的互连总线、互连结构或某个其他互连机制。在一些实施例中,执行单元852A、852B和(多个)相关联的高速缓存851、纹理和媒体采样器854、以及纹理/采样器高速缓存858经由数据端口856进行互连,以执行存储器访问并且与处理器的渲染输出流水线部件进行通信。在一些实施例中,采样器854、高速缓存851、858以及执行单元852A、852B各自都具有单独的存储器访问路径。
在一些实施例中,渲染输出流水线870包含光栅化器和深度测试部件873,该光栅化器和深度测试部件873将基于顶点的对象转换为相关联的基于像素的表示。在一些实施例中,光栅化器逻辑包括用于执行固定功能三角形和线光栅化的窗口器/掩蔽器单元。相关联的渲染高速缓存878和深度高速缓存879在一些实施例中也是可用的。像素操作部件877对数据执行基于像素的操作,然而在一些实例中,与2D操作(例如,利用混合的位块图像传递)相关联的像素操作由2D引擎841执行,或者在显示时间由显示控制器843使用重叠显示平面来代替。在一些实施例中,共享L3高速缓存875可用于所有的图形部件,从而允许在无需使用主系统存储器的情况下共享数据。
在一些实施例中,图形处理器媒体流水线830包括媒体引擎837和视频前端834。在一些实施例中,视频前端834从命令流转化器803接收流水线命令。在一些实施例中,媒体流水线830包括单独的命令流转化器。在一些实施例中,视频前端834在将命令发送至媒体引擎837之前处理媒体命令。在一些实施例中,媒体引擎837包括用于生成线程以用于经由线程分派器831分派至线程执行逻辑850的线程生成功能。
在一些实施例中,图形处理器800包括显示引擎840。在一些实施例中,显示引擎840在处理器800外部,并且经由环形互连802、或某个其他互连总线或结构与图形处理器耦合。在一些实施例中,显示引擎840包括2D引擎841和显示控制器843。在一些实施例中,显示引擎840包含能够独立于3D流水线而操作的专用逻辑。在一些实施例中,显示控制器843与显示装置(未示出)耦合,该显示装置可以是系统集成的显示装置(如在膝上型计算机中)、或者经由显示装置连接器附接的外部显示装置。
在一些实施例中,图形流水线820和媒体流水线830可被配置成用于基于多个图形和媒体编程接口执行操作,并且并非专用于任何一种应用编程接口(API)。在一些实施例中,图形处理器的驱动器软件将专用于特定图形或媒体库的API调用转换为可由图形处理器处理的命令。在一些实施例中,为开放图形库(OpenGL)、开放计算语言(OpenCL)和/或Vulkan图形和计算API提供支持,它们全都来自Khronos Group。在一些实施例中,还可为来自微软公司的Direct3D库提供支持在一些实施例中,可支持这些库的组合。还可为开源计算机视觉库(OpenCV)提供支持。如果可做出从未来API的流水线到图形处理器的流水线的映射,则具有兼容的3D流水线的未来API也将受到支持。
图形流水线编程
图9A是图示出根据一些实施例的图形处理器命令格式900的框图。图9B是图示出根据实施例的图形处理器命令序列910的框图。图9A中的实线框图示出一般被包括在图形命令中的组成成分,而虚线包括任选的或者仅被包括在图形命令的子集中的组成部分。图9A的示例性图形处理器命令格式900包括用于标识命令的目标客户端902、命令操作代码(操作码)904、以及用于命令的有关数据906的数据字段。一些命令中还包括子操作码905和命令大小908。
在一些实施例中,客户端902指定处理命令数据的图形装置的客户端单元。在一些实施例中,图形处理器命令解析器检查每个命令的客户端字段,以调整对命令的进一步处理,并将命令数据路由至合适的客户端单元。在一些实施例中,图形处理器客户端单元包括存储器接口单元、渲染单元、2D单元、3D单元、和媒体单元。每个客户端单元具有对命令进行处理的相应的处理流水线。一旦命令被客户端单元接收到,客户端单元就读取操作码904以及子操作码905(如果存在),从而确定要执行的操作。客户端单元使用数据字段906中的信息来执行命令。针对一些命令,期望显式的命令大小908来指定命令的大小。在一些实施例中,命令解析器基于命令操作码自动地确定命令中的至少一些命令的大小。在一些实施例中,经由双字的倍数使命令对齐。
图9B中的流程图示出了示例性图形处理器命令序列910。在一些实施例中,以图形处理器的实施例为特征的数据处理系统的软件或固件使用所示出的命令序列的版本来启动、执行并终止图形操作集合。仅出于示例性目的示出并描述了样本命令序列,因为实施例并不限于这些特定命令,也不限于此命令序列。而且,所述命令可以作为批量命令以命令序列被发布,以使得图形处理器将以至少部分同时的方式处理命令序列。
在一些实施例中,图形处理器命令序列910可开始于:流水线转储清除命令912,以使得任一活跃的图形流水线完成该流水线的当前未决的命令。在一些实施例中,3D流水线922和媒体流水线924不同时进行操作。执行流水线转储清除,以使得活跃的图形流水线完成任何未决的命令。响应于流水线转储清除,用于图形处理器的命令解析器将暂停命令处理,直到活跃的绘图引擎完成未决的操作并且相关的读高速缓存被无效。任选地,渲染高速缓存中被标记为‘脏’的任何数据可以被转储清除到存储器。在一些实施例中,流水线转储清除命令912可以用于流水线同步或者用在将图形处理器置于低功率状态之前。
在一些实施例中,当命令序列需要图形处理器在流水线之间显式地切换时,使用流水线选择命令913。在一些实施例中,除非上下文是发布用于这两条流水线的命令,否则在发布流水线命令之前,在执行上下文中仅需要一次流水线选择命令913。在一些实施例中,在经由流水线选择命令913的流水线切换之前正好需要流水线转储清除命令912。
在一些实施例中,流水线控制命令914配置用于操作的图形流水线,并且用于对3D流水线922和媒体流水线924进行编程。在一些实施例中,流水线控制命令914配置用于活跃流水线的流水线状态。在一个实施例中,流水线控制命令914用于流水线同步,并且用于在处理批量命令之前清除来自活跃的流水线内的一个或多个高速缓存存储器的数据。
在一些实施例中,返回缓冲器状态命令916用于配置返回缓冲器的集合以供相应的流水线写入数据。一些流水线操作需要分配、选择、或配置一个或多个返回缓冲器,在处理期间,所述操作将中间数据写入到该一个或多个返回缓冲器中。在一些实施例中,图形处理器还使用一个或多个返回缓冲器以存储输出数据并且执行跨线程通信。在一些实施例中,返回缓冲器状态916包括选择用于流水线操作集合的返回缓冲器的大小和数量。
命令序列中的剩余命令基于用于操作的活跃的流水线而不同。基于流水线判定920,命令序列被定制用于以3D流水线状态930开始的3D流水线922、或者开始于媒体流水线状态940的媒体流水线924。
用于配置3D流水线状态930的命令包括用于顶点缓冲器状态、顶点元素状态、常量颜色状态、深度缓冲器状态、以及有待在处理3D图元命令之前配置的其他状态变量的3D状态设置命令。这些命令的值至少部分地基于使用中的特定3D API来确定。在一些实施例中,如果将不使用某些流水线元件,则3D流水线状态930命令还能够选择性地禁用或绕过这些特定的流水线元件。
在一些实施例中,3D图元932命令用于提交待由3D流水线处理的3D图元。经由3D图元932命令传递给图形处理器的命令和相关联参数将被转发到图形流水线中的顶点获取功能。顶点获取功能使用3D图元932命令数据来生成顶点数据结构。顶点数据结构被存储在一个或多个返回缓冲器中。在一些实施例中,3D图元932命令用于经由顶点着色器对3D图元执行顶点操作。为了处理顶点着色器,3D流水线922将着色器执行线程分派至图形处理器执行单元。
在一些实施例中,经由执行934命令或事件来触发3D流水线922。在一些实施例中,寄存器写入触发命令执行。在一些实施例中,经由命令序列中的‘前进’(‘go’)或‘踢除’(‘kick’)命令来触发执行。在一个实施例中,使用流水线同步命令来触发命令执行,以对通过图形流水线的命令序列进行转储清除。3D流水线将针对3D图元来执行几何处理。一旦完成操作,则对所得到的几何对象进行光栅化,并且像素引擎对所得到的像素进行着色。对于那些操作,还可以包括用于控制像素着色和像素后端操作的附加命令。
在一些实施例中,当执行媒体操作时,图形处理器命令序列910跟随媒体流水线924路径。一般地,针对媒体流水线924进行编程的具体用途和方式取决于待执行的媒体或计算操作。在媒体解码期间,特定的媒体解码操作可被卸载到媒体流水线。在一些实施例中,还可绕过媒体流水线,并且可使用由一个或多个通用处理核提供的资源来整体地或部分地执行媒体解码。在一个实施例中,媒体流水线还包括用于通用图形处理器单元(GPGPU)操作的元件,其中,图形处理器用于使用计算着色器程序来执行SIMD向量运算,该计算着色器程序与渲染图形图元不是显式地相关的。
在一些实施例中,以与3D流水线922相似的方式对媒体流水线924进行配置。将用于配置媒体流水线状态940的一组命令分派或放置到命令队列中,在媒体对象命令942之前。在一些实施例中,媒体流水线状态命令940包括用于配置媒体流水线元件的数据,这些媒体流水线元件将用于处理媒体对象。这包括用于在媒体流水线内配置视频解码和视频编码逻辑的数据,诸如,编码或解码格式。在一些实施例中,媒体流水线状态命令940还支持将一个或多个指针用于包含批量的状态设置的“间接”状态元件。
在一些实施例中,媒体对象命令942将指针供应至媒体对象以用于由媒体流水线进行处理。媒体对象包括存储器缓冲器,该存储器缓冲器包含待处理的视频数据。在一些实施例中,在发布媒体对象命令942之前,所有的媒体流水线状态必须是有效的。一旦流水线状态被配置并且媒体对象命令942被排队,则经由执行944命令或等效的执行事件(例如,寄存器写入)来触发媒体流水线924。随后可通过由3D流水线922或媒体流水线924提供的操作对来自媒体流水线924的输出进行后处理。在一些实施例中,以与媒体操作类似的方式来配置和执行GPGPU操作。
图形软件架构
图10图示出根据一些实施例的用于数据处理系统1000的示例性图形软件架构。在一些实施例中,软件架构包括3D图形应用1010、操作系统1020、以及至少一个处理器1030。在一些实施例中,处理器1030包括图形处理器1032以及一个或多个通用处理器核1034。图形应用1010和操作系统1020各自在数据处理系统的系统存储器1050中执行。
在一些实施例中,3D图形应用1010包含一个或多个着色器程序,该一个或多个着色器程序包括着色器指令1012。着色器语言指令可以采用高级着色器语言,诸如,高级着色器语言(HLSL)或OpenGL着色器语言(GLSL)。应用还包括可执行指令1014,该可执行指令1014采用适合用于由通用处理器核1034执行的机器语言。应用还包括由顶点数据限定的图形对象1016。
在一些实施例中,操作系统1020是来自微软公司的操作系统、专用类UNIX操作系统、或使用Linux内核的变体的开源类UNIX操作系统。操作系统1020可以支持图形API 1022,诸如,Direct3D API、OpenGL API或Vulkan API。当Direct3DAPI正在使用时,操作系统1020使用前端着色器编译器1024以将采用HLSL的任何着色器指令1012编译成较低级的着色器语言。编译可以是即时(JIT)编译,或者应用可以执行着色器预编译。在一些实施例中,在对3D图形应用1010进行编译期间,将高级着色器编译成低级着色器。在一些实施例中,以中间形式提供着色器指令1012,该中间形式诸如由Vulkan API使用的某个版本的标准便携式中间表示(SPIR)。
在一些实施例中,用户模式图形驱动器1026包含后端着色器编译器1027,该后端着色器编译器1027用于将着色器指令1012转换为硬件专用的表示。当OpenGL API正在使用时,将采用GLSL高级语言的着色器指令1012传递至用户模式图形驱动器1026以用于编译。在一些实施例中,用户模式图形驱动器1026使用操作系统内核模式功能1028来与内核模式图形驱动器1029进行通信。在一些实施例中,内核模式图形驱动器1029与图形处理器1032进行通信以分派命令和指令。
IP核实现
至少一个实施例的一个或多个方面可以由存储在机器可读介质上的表示性代码实现,该机器可读介质表示和/或限定集成电路(诸如,处理器)内的逻辑。例如,机器可读介质可包括表示处理器内的各个逻辑的指令。当由机器读取时,指令可使机器制造用于执行本文中所描述的技术的逻辑。此类表示(称为“IP核”)是集成电路的逻辑的可重复使用单元,这些可重复使用单元可以作为对集成电路的结构进行描述的硬件模型而被存储在有形的机器可读介质上。可将该硬件模型供应给各消费者或制造设施,这些消费者或制造设施将该硬件模型加载在制造集成电路的制造机器上。可制造集成电路,以使得电路执行与本文中所描述的实施例中的任一实施例相关联地描述的操作。
图11是图示出根据实施例的可以用于制造集成电路以执行操作的IP核开发系统1100的框图。IP核开发系统1100可用于生成可以并入到更大的设计中或用于构建整个集成电路(例如,SOC集成电路)的模块化、可重复使用的设计。设计设施1130可以采用高级编程语言(例如,C/C++)来生成对IP核设计的软件仿真1110。软件仿真1110可以用于使用仿真模型1112来设计、测试并验证IP核的行为。仿真模型1112可以包括功能、行为和/或时序仿真。然后可从仿真模型1112创建或合成寄存器传输级(RTL)设计1115。RTL设计1115是对硬件寄存器之间的数字信号的流动进行建模的集成电路(包括使用建模的数字信号执行的相关联的逻辑)的行为的抽象。除了RTL设计1115之外,还可以创建、设计或合成处于逻辑级或晶体管级的较低层级的设计。由此,初始设计和仿真的具体细节可有所不同。
可由设计设施将RTL设计1115或等效方案进一步合成为硬件模型1120,该硬件模型1120可采用硬件描述语言(HDL)或物理设计数据的某种其他表示。可以进一步仿真或测试HDL以验证IP核设计。可使用非易失性存储器1140(例如,硬盘、闪存、或任何非易失性存储介质)来存储IP核设计以用于递送至第3方制造设施1165。替代地,可以通过有线连接1150或无线连接1160来传输(例如,经由互联网)IP核设计。制造设施1165随后可制造至少部分地基于IP核设计的集成电路。所制造的集成电路可以被配置成用于执行根据本文中所描述的至少一个实施例的操作。
示例性芯片上系统集成电路
图12-图14图示出根据本文中所描述的各实施例的可使用一个或多个IP核来制造的示例性集成电路和相关联的图形处理器。除了所图示的之外,还可包括其他逻辑和电路,包括附加的图形处理器/核、外围接口控制器或通用处理器核。
图12是图示出根据实施例的可使用一个或多个IP核来制造的示例性芯片上系统集成电路1200的框图。示例性集成电路1200包括一个或多个应用处理器1205(例如,CPU)、至少一个图形处理器1210,并且可附加地包括图像处理器1215和/或视频处理器1220,其中的任一项都可以是来自相同的或多个不同的设计设施的模块化IP核。集成电路1200包括外围或总线逻辑,该外围或总线逻辑包括USB控制器1225、UART控制器1230、SPI/SDIO控制器1235和I2S/I2C控制器1240。另外,集成电路可以包括显示装置1245,该显示装置1245耦合至高清晰度多媒体接口(HDMI)控制器1250和移动产业处理器接口(MIPI)显示接口1255中的一个或多个。可由闪存子系统1260(包括闪存和闪存控制器)来提供存储。可经由存储器控制器1265来提供存储器接口以访问SDRAM或SRAM存储器装置。另外,一些集成电路附加地包括嵌入式安全引擎1270。
图13是图示出根据实施例的可使用一个或多个IP核来制造的芯片上系统集成电路的示例性图形处理器1310的框图。图形处理器1310可以是图12的图形处理器1210的变体。图形处理器1310包括顶点处理器1305以及一个或多个片段处理器1315A-1315N(例如,1315A、1315B、1315C、1315D至1315N-1和1315N)。图形处理器1310可以经由分开的逻辑执行不同的着色器程序,以使得顶点处理器1305被优化成执行用于顶点着色器程序的操作,而一个或多个片段处理器1315A-1315N执行用于片段或像素着色器程序的片段(例如,像素)着色操作。顶点处理器1305执行3D图形流水线的顶点处理级,并生成图元和顶点数据。(多个)片段处理器1315A-1315N使用由顶点处理器1305生成的图元和顶点数据来产生显示在显示装置上的帧缓冲器。在一个实施例中,(多个)片段处理器1315A-1315N被优化成执行如提供用于OpenGL API中的片段着色器程序,片段处理器1315A-1315N可用于执行与如提供用于Direct 3D API中的像素着色器程序类似的操作。
图形处理器1310附加地包括一个或多个存储器管理单元(MMU)1320A-1320B、(多个)高速缓存1325A-1325B和(多个)电路互连1330A-1330B。一个或多个MMU 1320A-1320B提供用于集成电路1310的虚拟到物理地址映射,包括用于顶点处理器1305和/或(多个)片段处理器1315A-1315N的虚拟到物理地址映射,除了存储在一个或多个高速缓存1325A-1325B中的顶点或图像/纹理数据之外,顶点处理器1305和/或(多个)片段处理器1315A-1315N还可引用存储在存储器中的顶点或图像/纹理数据。在一个实施例中,一个或多个MMU 1325A-1325B可与系统内的其他MMU同步,以使得每个处理器1205-1220可以参与共享或统一虚拟存储器系统,其他MMU包括与图12的一个或多个应用处理器1205、图像处理器1215和/或视频处理器1220相关联的一个或多个MMU。根据实施例,一个或多个电路互连1330A-1330B使得图形处理器1310能够经由SoC的内部总线或经由直接连接与SoC内的其他IP核接口连接。
图14是图示出根据实施例的可使用一个或多个IP核来制造的芯片上系统集成电路的附加示例性图形处理器1410的框图。图形处理器1410可以是图12的图形处理器1210的变体。图形处理器1410包括图13的集成电路1300的一个或多个MMU 1320A-1320B、高速缓存1325A-1325B和电路互连1330A-1330B。
图形处理器1410包括一个或多个着色器核1415A-1415N(例如,1415A、1415B、1415C、1415D、1415E、1415F至1415N-1和1415N),该一个或多个着色器核1415A-1415N提供统一着色器核架构,在该统一着色器核架构中,单个核或单类型的核可以执行所有类型的可编程着色器代码,包括用于实现顶点着色器、片段着色器和/或计算着色器的着色器程序代码。存在的着色器核的确切数量在各实施例和各实现方式之间可以有所不同。另外,图形处理器1410包括核间任务管理器1405和分块单元(tiling unit),该核间任务管理器1405充当线程分派器以将执行线程分派给一个或多个着色器核1415A-1415N,该分块单元1418用于加速用于基于图块的渲染的分块操作,在用于基于图块的渲染的分块操作中,对场景的渲染操作被细分在图像空间中,以便例如利用场景内的局部空间一致性,或优化内部高速缓存的使用。
如以上提及的,即使丢弃操作处于着色器中,在某些情况下也会启用HiZ更新。这实现了更高效的渲染,由于禁用的丢弃操作导致更好的HiZ更新,因此这导致更高效的剔除(进而导致更好性能和/或功率效率)。如果片段着色器具有丢弃操作,则一个或多个实施例是适用的,所述丢弃操作取决于进而具有为1的恒定α的纹理或纹理集合的α通道。
此外,分析并存储轻量级的每纹理和每着色器程序信息,以便辅助实现HiZ优化。然后利用这种收集的信息来更改HiZ路径以获得更好的HiZ更新。一些实施例可以在图形驱动器中实施并且可能导致HiZ单元的小变化。此外,HiZ优化还可以应用于其他情况。例如,可以存储每纹理的α间隔,并且这个间隔存储整个纹理上的最小α以及整个纹理上的最大α。由此,在更多情况下,可以启用HiZ优化。
HiZ和深度测试
一般而言,HiZ和早期深度测试是由深度缓冲系统使用的两个优化。HiZ单元是深度缓冲系统中的优化,所述深度缓冲系统用于快速地判定图块内的所有样本将通过深度测试还是未通过深度测试,或者是否有待执行每样本测试。通过保持深度缓冲器中的每个图块的深度边界[z最小,z最大],可以使用传入三角形完成快速间隔重叠测试。如果存在重叠,则执行每样本测试。
由深度系统使用的另一优化是早期深度测试。根据规范,在片段着色器之后执行深度测试。然而,取决于当前渲染状态,在片段着色器之前执行测试经常也是可能的(例如,使用早期深度测试),这避免了一些不必要的着色工作。除了启用或禁用早期深度测试之外,可以基于所述状态,保守地进行对粗糙深度缓冲器的HiZ剔除决定和更新。在图15A和15B所示的流程图中展示了执行剔除、深度测试和片段着色的顺序以及使用哪些更新策略。
图15A和图15B展示了根据一些实施例的HiZ剔除决定的流程图。在图15A和图15B中,矩形/正方形框对应于在深度测试和片段着色中涉及的不同阶段。菱形是取决于当前渲染状态的条件并且指示采用通过流程图的那条路径。图中采用的路径基于以下列出的从渲染状态中提取的三个布尔条件。这些主要影响HiZ单元的行为。如果他们中任一个为真,则禁用早期深度测试(如由图15A和图15B中的大X指示的)。布尔条件包括:
(1)深度输出1506-片段着色器程序可以选择提供样本1508的深度值,而不是使用固定函数内插值。HiZ单元无法知道给定样本的深度将是多少,并假设其可以是任何值。
(2)副作用1510-片段着色器可以将数据写入辅助缓冲器,而不是当前颜色缓冲器和深度缓冲器。因此,即使其可能未通过深度测试,也可能具有确保其运行的副作用。操作1512使用HiZ信息来判定在图块中的所有片段是否明确地未通过深度测试。操作1514使用HiZ信息来判定在图块中的所有片段是否明确地通过深度测试。在操作1512或1514处,粗糙测试因此在这些场景下被禁用,并且在片段着色器之后执行深度测试。
(3)可以丢弃1518-如果片段着色器1519具有丢弃操作,则可以在操作1520或1521处更改由HiZ单元假设的三角形/图块覆盖。HiZ单元将每个样本处理为或者具有内插深度或者如果覆盖被更改则保持其先前的值。另外,深度缓冲器更新是在已经执行片段着色器之后完成的。如图15B中所示的,更新可以是非保守的1520或保守的1521。在操作1522处考虑了副作用或深度输出改变,并且如所示,在片段着色1519之前,在操作1524处可以可选地进行早期深度测试,如果需要则随后进行深度测试1526(例如,图15B中的顶部分支)。在实施例中,在操作1524和/或1526之后,可以根据深度测试在操作1528处提供反馈更新。
在多个场景下,这些条件之一可以为真,即使当前渲染实际上可能不需要这个信息。由于HiZ更新不必要地过度保守并且禁用早期深度测试,因此这导致性能恶化。具体地,片段着色器可以包含丢弃操作,所述丢弃操作取决于小于一的采样纹理的α通道。在纹理不包含任何这种值的情况下;然而,“可以丢弃”标准的“是”分支实际上可能从未发生。
解决这个问题的一个简单方法可以是简单地具有根本没有丢弃操作的另一个片段着色器,并在任何适当的时候使用所述着色器。不幸的是,开发人员可能不采用这种方法的原因有很多,包括以下列出的原因:
(a)改变渲染状态不是免费的并且可能造成性能折损。
(b)在许多情况下,状态改变可能不会显著地影响性能,但开发人员避免改变状态,因为这样做的成本被认为是昂贵的。
(c)不知道资产事先包含等于1的所有α值。
(d)开发人员简单地不关心这个问题,因为其涉及使代码膨胀并使其可读性降低的软件改变。
在实施例中,可以在“可以丢弃”分支之前添加附加标准(操作1516),可能跳过所述分支。以这种方式,将更少频率地访问“可以丢弃”的“是”分支,这进而意味着可以以更有利的方式更新HiZ图块表示。
在一些设计中,片段着色器可以丢弃片段的事实意味着必须执行保守更新。然而,根据以下列出的标准,由于对于片段着色器来说实际地达到并执行丢弃操作是不可能的,因此可能执行HiZ更新。所述标准如下:(1)对于一个或多个采样纹理,丢弃操作取决于小于1的α分量;和/或(2)当前结合到采样器的纹理(丢弃所取决的纹理)具有等于1的α值。如果满足这些标准中的两个,则来自操作1516的“完全不透明”是分支可以前进至HiZ“更新”框,而不是前进至图15B中的“可以丢弃”。
为了发现是否可以进行优化,可以进行以下修改中的一项或多项:(1)每纹理分配被表示为AlphalsAllOnes的额外位;(2)当通过图形API(应用编程接口)来加载纹理时,扫描所有的α通道值(并且如果他们全部都等于1,则设置AlphalsAllOnes位,否则清除所述位);(3)如果片段着色器程序被加载并且其包含丢弃操作,则确定这些操作的纹理依赖性;和/或(4)如果片段着色器和当前结合的纹理允许所提出的优化,则通知HiZ单元。如果片段着色器丢弃操作取决于纹理集合(所有纹理都具有AlphalsAllOnes位组),则采用“完全不透明”标准的“是”分支。在启用丢弃操作但纹理不具有任何α通道(例如,R8G8B8)的情况下,然后AlphasAllOnes仍然可以被设置为1,并且图15B的流程仍然有效。
在一些实施例中,为了使这些技术适用于更多情况,可以存储整个纹理内的α值的上限(例如,最大值或最大数)和下限(例如,最小值或最小数),而不是存储每纹理的单个位。因此,存储每个纹理的[α最小值,α最大值]。当执行着色器分析时,仍然可以使用以上讨论的优化,例如,对于Alpha<0.5执行丢弃操作,并且纹理具有[0.7,1.0]范围内的α值,然后丢弃可能不发生并且优化技术是可能的。
另外,由于模板印刷测试可以非常类似,因此一个或多个实施例还可以用于更高效的模板印刷更新。一般而言,在深度测试之前且在片段着色器之后模板印刷测试在概念上正每样本操作发生。针对当前模板印刷缓冲器中的值来测试片段模板印刷值,并且如果测试未通过,则剔除所述片段。因此,本文所讨论的实施例也应用于分级式模板印刷(HiStencil)单元,例如,包括当存在丢弃时需要放弃更新HiStencil表示。由于丢弃结果在流水线中较早已知,因此完整更新也可用于具有本文所讨论的优化技术的HiStencil。
在另一实施例中,作为进一步优化,如果纹理是渲染目标,则可以对输出至所述渲染目标的片段着色器进行分析以确定AlphalsAllOnes值。
此外,一些应用可以基于另一通道(例如,红色通道)来执行丢弃测试。也就是:如果(红色_值_来自_纹理<T)丢弃。
可以容易地扩展一些实施例,使得优化技术可以用于任何一个通道或通道的组合。所需要的所有通道是每颜色通道一位/一个有界范围。
广告牌和子画面在游戏中大量用于渲染诸如颗粒和树叶等物品。如以上描述的,一旦片段着色器中存在丢弃操作,HiZ单元的剔除功效就可能就会受到影响。对于子画面/广告牌,此丢弃操作通常取决于单个纹理查找的α值。为此,实施例检测纹理的子区域,在所述子区域中,α值是完全透明的(即,α=0)或完全不透明的(即,α=1)。然后使用这个信息来改进HiZ更新。更好的HiZ边界将在HiZ单元中导致改进的剔除,即可以跳过片段着色器执行并且执行更少的深度测试。
更具体地,所提出的扩展可以更加通用,并且可以覆盖更广泛的用例,包括在游戏中非常常用的烟雾颗粒和树叶。分层1向HiZ单元引入了“完全不透明”的分支标准,如图15B中所示。
虽然分层1变体提供了改进的HiZ边界,但在纹理具有不同的α值的情况下,其是没有帮助的。因此,一个或多个实施例基于α通道改进了剔除和HiZ边界。如前,流程分析片段着色器程序和纹理。另外,分层2变体执行对HiZ单元的一些进一步更新,包括例如:针对一个或多个采样纹理,丢弃操作取决于小于1或等于0的α分量。
为了确定HiZ单元行为如何,可以例如在通过图形API上载纹理时在图形驱动器中为每个纹理确定/提取一些辅助信息。辅助信息包含基于其α值针对每个纹素的分类:
(1)如果α值为0,则纹素被分类为透明;
(2)如果α值为1,则纹素被分类为不透明;和/或
(3)否则,纹素被分类为模糊。
如本文所讨论的,“纹素”一般是指在计算机图形中使用的纹理图的基本单元的纹理要素或纹理像素。在图16中示出了示例纹理的这个分类。更具体地,图16展示了根据实施例的纹素分类。更具体地,图16中的左侧图像示出了纹理的α通道,而图16中的右侧图像示出了被分类成透明(围绕1604的黑色区域)、不透明(圆形1602)或模糊(环1604)的每个纹素。
因此,分层2解决方案背后的一个想法是,可以在更精细的粒度上做出决定,而不是在每纹理基础上。对于现在,假设已知当前处理的HiZ图块的边界内的所有纹素查找的分类状态。如果所有纹素都是透明的,则图块将不会有助于最终图像,并且可以在此阶段终止对图块的处理。如果所有纹素都是不透明的,则可以获得与分层1中描述的相同的益处,这次是在HiZ图块粒度下获得的。
更具体地,如图15A中示出的,操作1502和1504提供附加的剔除/更好的HiZ更新能力。这些标准是按HiZ图块评估的,而不是按纹理评估(如在分层1中)。循环遍历HiZ图块内的所有纹素以找到其分类状态可能是不可行的。另外,为每个纹素存储分类状态可能涉及大量的附加存储器(每个纹素存储三种状态单纯地使用两位/纹素存储)。可以以较低分辨率和/或使用分级式表示来存储分类,如图17中所示。这种方法减小了存储,并且如接下来描述的,简化了透明/混合/不透明状态确定。
更具体地,图17展示了根据一个或多个实施例的与分类分级式结构相对应的样本图像。所述分类不是必须在每个纹素基础上给出。可以使用任何数量的分级式结构等级来存储。可以使用分级式结构的任何子集,以允许准确度与速度之间的折中。图17中的顶部图像示出了由许多不同透明度的纹素组成的纹理,白色指示不透明、黑色指示完全透明、并且介于中间的阴影指示部分透明。第二行中的图像示出了图17中从左到右逐渐变粗的分级式分类。在第二行中,灰色表示图块既不是完全不透明的也不是完全透明的。
图18展示了根据一些实施例的样本图像。更具体地,在图18中,左侧图像示出了纹理在3D渲染中被用作广告牌子画面。由于相机的视角,将扭曲子画面。在屏幕空间中框1802对应于一个HiZ图块。图18中的右侧图像示出了在纹理空间中与1802相比时HiZ图块扩展区(1804)被扭曲。轴线1806对准框对应于纹理空间中保守有界的HiZ图块扩展区。
在图18的示例中,对包含使用透视相机粘贴在四边形上的α纹理的场景进行渲染。由HiZ图块覆盖的区域是空间1806中的框,但是所述空间被转换为纹理空间,HiZ图块边界被扭曲。通过轴线对准框界定这些图块边界,针对HiZ图块边界的大小和位置提供保守估计。为了获得透明/混合/不透明分类状态,可以选择适当的分级式结构等级,使得边界框被多达固定数量个条目覆盖,例如四个条目。使用更多条目可改善剔除效果,但会增加剔除成本。此外,为了使分层2算法变体工作,HiZ单元知悉顶点属性到分类图条目的映射。最常见的情况是使用在三角形表面上线性变化的纹理坐标。在这些情况下,纹理空间边界可以被计算为由在HiZ图块的四个角处内插的纹理坐标所跨越的间隔。
在各实施例中,可以由参照图1至图14中任一个讨论的一个或多个部件(本文可互换地称为逻辑)来执行参照图15A至图18讨论的一个或多个操作。
以下示例涉及进一步实施例。示例1可以可选地包括一种设备,所述设备包括:存储器,用于存储与图像图块相对应的深度数据;以及处理器,耦合至所述存储器,用于响应于判定了所述图像图块的纹理空间边界是完全不透明的或完全透明的而对所述深度数据执行一个或多个操作,其中,无论是否启用丢弃操作,所述处理器都执行所述一个或多个操作。示例2可以可选地包括如示例1所述的设备,其中,所述一个或多个操作包括分级式Z剔除(HiZ)操作或分级式模板印刷测试。示例3可以可选地包括如示例1所述的设备,其中,所述处理器用于对每纹理和每着色器程序信息进行分析。示例4可以可选地包括如示例3所述的设备,其中,所述处理器用于引起存储所分析的每纹理和每着色器程序信息以辅助执行所述一个或多个操作。示例5可以可选地包括如示例4所述的设备,其中,所述处理器用于基于所存储的信息来修改所述一个或多个操作中的至少一个。示例6可以可选地包括如示例1所述的设备,其中,片段着色器用于对所述图像图块进行操作,其中,所述片段着色器用于执行丢弃操作,所述丢弃操作取决于与所述图像图块相对应的纹理或纹理集合的α通道或颜色通道。示例7可以可选地包括如示例6所述的设备,其中,所述纹理集合具有为1的恒定α通道或颜色通道。示例8可以可选地包括如示例1所述的设备,其中,所述处理器用于引起存储每纹理的α间隔。示例9可以可选地包括如示例8所述的设备,其中,所述α间隔存储整个纹理上的最小α以及所述整个纹理上的最大α。示例10可以可选地包括如示例1所述的设备,其中,所述处理器用于获得按照与所述图像图块的所述纹理空间边界相对应的针对每个纹素的分类信息。示例11可以可选地包括如示例10所述的设备,其中,所述处理器至少部分地基于所述分类信息来执行所述一个或多个操作。示例12可以可选地包括如示例1所述的设备,其中,所述处理器响应于判定所述图像图块的所述纹理空间边界是否是透明的而执行所述一个或多个操作。示例13可以可选地包括如示例1所述的设备,其中,所述深度数据包括所述图块的最小深度边界和最大深度边界。示例14可以可选地包括如示例1所述的设备,其中,所述存储器包括深度缓冲器。示例15可以可选地包括如示例1所述的设备,其中,所述图像图块包括一个或多个像素。示例16可以可选地包括如示例1所述的设备,其中,所述处理器包括具有一个或多个图形处理核的图形处理单元(GPU)。示例17可以可选地包括如示例1所述的设备,其中,所述处理器包括一个或多个处理器核。示例18可以可选地包括如示例1所述的设备,其中,所述处理器包括所述存储器的至少一部分。示例19可以可选地包括如示例1所述的设备,其中,所述处理器和所述存储器位于单个集成电路管芯上。
示例20可以可选地包括一种方法,所述方法包括:将与图像图块相对应的深度数据存储在存储器中;以及响应于判定了所述图像图块的纹理空间边界是完全不透明的或完全透明的而对所述深度数据执行一个或多个操作,其中,无论是否启用丢弃操作,都执行所述一个或多个操作。示例21可以可选地包括如示例20所述的方法,其中,所述一个或多个操作包括分级式Z剔除(HiZ)操作或分级式模板印刷测试。示例22可以可选地包括如示例20所述的方法,进一步包括:对每纹理和每着色器程序信息进行分析。示例23可以可选地包括如示例22所述的方法,进一步包括使存储所分析的每纹理和每着色器程序信息以辅助对所述一个或多个操作的执行。示例24可以可选地包括如示例23所述的方法,进一步包括基于所存储的信息来修改所述一个或多个操作中的至少一个。示例25可以可选地包括如示例20所述的方法,进一步包括片段着色器对所述图像图块进行操作,其中,所述片段着色器执行丢弃操作,所述丢弃操作取决于与所述图像图块相对应的纹理或纹理集合的α通道或颜色通道。示例26可以可选地包括如示例20所述的方法,进一步包括引起存储每纹理的α间隔。示例27可以可选地包括如示例20所述的方法,进一步包括获得按照与所述图像图块的所述纹理空间边界相对应的针对每个纹素的分类信息。示例28可以可选地包括如示例20所述的方法,进一步包括响应于判定所述图像图块的所述纹理空间边界是否是透明的而执行所述一个或多个操作。示例29可以可选地包括如示例20所述的方法,其中,所述深度数据包括所述图块的最小深度边界和最大深度边界。示例30可以可选地包括如示例20所述的方法,其中,所述存储器包括深度缓冲器。示例31可以可选地包括如示例20所述的方法,其中,所述图像图块包括一个或多个像素。
示例32包括一种或多种计算机可读介质,所述一种或多种计算机可读介质包括一条或多条指令,所述一条或多条指令当在至少一个处理器上被执行时将所述至少一个处理器配置用于执行以下一个或多个操作:将与图像图块相对应的深度数据存储在存储器中;并且响应于判定了所述图像图块的纹理空间边界是完全不透明的或完全透明的而对所述深度数据执行一个或多个操作,其中,无论是否启用丢弃操作,所述处理器都执行所述一个或多个操作。示例33可以可选地包括如示例32所述的计算机可读介质,其中,所述一个或多个操作包括分级式Z剔除(HiZ)操作或分级式模板印刷测试。示例34可以可选地包括如示例32所述的计算机可读介质,进一步包括一条或多条指令,所述指令当在所述至少一个处理器上被执行时将所述至少一个处理器配置成执行一个或多个操作:使对每纹理和每着色器程序信息进行分析。
示例35可以可选地包括一种设备,所述设备包括用于执行如以上任一示例所述的方法的装置。示例36可以可选地包括一种机器可读存储设备,所述机器可读存储设备包括机器可读指令,所述机器可读指令当被执行时用于实施如任一前述示例所阐述的方法或实现如任一前述示例所阐述的设备。
在各实施例中,在此(例如,参照附图1至18)所讨论的操作可以被实施为硬件(例如,逻辑电路系统)、软件、固件或其组合,其可以被提供为计算机程序产品,例如包括具有存储在其上用于对计算机编程以执行在此所讨论的过程的指令(或软件程序)的一个或多个有形(例如,非暂态)机器可读或计算机可读介质。所述机器可读介质可以包括存储装置,诸如参照图1至图18所讨论的那些。
另外,这种计算机可读介质可以作为计算机程序产品被下载,其中,所述程序可以经由通信链路(例如,总线、调制解调器或网络连接)以载波或其他传播介质中所提供的数据信号的方式从远程计算机(例如,服务器)传送到进行请求的计算机(例如,客户端)。
本说明书中对“一个实施例”或“实施例”的引用意味着结合所述实施例所描述的具体特征、结构、和/或特性可以包括在至少一种实施方式中。短语“在一个实施例中”在本说明书中各地方的出现可以或可以不全都引用相同的实施例。
同样,在说明书和权利要求中,可以使用术语“耦合”和“连接”及其衍生词。在一些实施例中,“连接”可以用于指示两个或更多元件彼此进行直接物理或电气接触。“耦合”可以意指两个或更多个元件进行直接物理或电气接触。然而,“耦合”还可以意指两个或更多个元件可以并非彼此直接接触,但仍可以彼此合作或交互。
因此,虽然已经使用特定于结构特征和/或方法行为的语言描述了实施例,将理解的是,所要求保护的主题可以不限于所述的特定特征或行为。相反,所述特定特征和行为被作为实施所要求保护的主题的示例形式而公开。

Claims (25)

1.一种用于为取决于纹理的丢弃操作提供分级式Z剔除(HiZ)优化的设备,所述设备包括:
存储器,用于存储与图像图块相对应的深度数据;以及
处理器,耦合至所述存储器,用于响应于判定了所述图像图块的纹理空间边界是完全不透明的或完全透明的而对所述深度数据执行一个或多个操作,
其中,所述处理器用于无论是否启用丢弃操作都执行所述一个或多个操作,其中,所述一个或多个操作包括分级式模板印刷测试,其中,片段着色器用于对所述图像图块进行操作,其中,在对所述深度数据执行操作之前且在所述片段着色器对所述图像图块进行操作之后执行所述分级式模板印刷测试,其中所述丢弃操作响应于判定了所述图像图块的纹理空间边界是完全不透明的而被跳过。
2.如权利要求1所述的设备,其中,所述一个或多个操作进一步包括分级式Z剔除(HiZ)操作。
3.如权利要求1所述的设备,其中,所述处理器用于分析每纹理程序信息和每着色器程序信息。
4.如权利要求3所述的设备,其中,所述处理器用于引起存储所分析的每纹理程序信息和每着色器程序信息以辅助执行所述一个或多个操作。
5.如权利要求4所述的设备,其中,所述处理器用于基于所存储的信息来修改所述一个或多个操作中的至少一个操作。
6.如权利要求1所述的设备,其中,所述片段着色器用于执行丢弃操作,所述丢弃操作取决于与所述图像图块相对应的纹理或纹理集合的α通道或颜色通道。
7.如权利要求6所述的设备,其中,所述纹理集合具有为1的恒定的α通道或颜色通道。
8.如权利要求1所述的设备,其中,所述处理器用于引起存储每纹理的α间隔。
9.如权利要求8所述的设备,其中,所述α间隔存储对于整个纹理的最小α以及对于所述整个纹理的最大α。
10.如权利要求1所述的设备,其中,所述处理器用于获得与所述图像图块的所述纹理空间边界相对应的针对每个纹素的分类信息。
11.如权利要求10所述的设备,其中,所述处理器用于至少部分地基于所述分类信息来执行所述一个或多个操作。
12.如权利要求1所述的设备,其中,所述处理器用于响应于判定所述图像图块的所述纹理空间边界是否是透明的而执行所述一个或多个操作。
13.如权利要求1所述的设备,其中,所述深度数据包括所述图块的最小深度边界和最大深度边界。
14.如权利要求1所述的设备,其中,所述存储器包括深度缓冲器。
15.如权利要求1所述的设备,其中,所述图像图块包括一个或多个像素。
16.如权利要求1所述的设备,其中,所述处理器包括具有一个或多个图形处理核的图形处理单元(GPU)。
17.如权利要求1所述的设备,其中,所述处理器包括一个或多个处理器核。
18.如权利要求1所述的设备,其中,所述处理器包括所述存储器的至少部分。
19.如权利要求1所述的设备,其中,所述处理器和所述存储器位于单个集成电路管芯上。
20.一种用于为取决于纹理的丢弃操作提供分级式Z剔除(HiZ)优化的方法,所述方法包括:
将与图像图块相对应的深度数据存储在存储器中;以及
响应于判定了所述图像图块的纹理空间边界是完全不透明的或完全透明的而对所述深度数据执行一个或多个操作,
其中,无论是否启用丢弃操作,都执行所述一个或多个操作,其中,所述一个或多个操作包括分级式模板印刷测试,其中,片段着色器对所述图像图块进行操作,其中,在对所述深度数据执行操作之前且在所述片段着色器对所述图像图块进行操作之后执行所述分级式模板印刷测试,其中所述丢弃操作响应于判定了所述图像图块的纹理空间边界是完全不透明的而被跳过。
21.如权利要求20所述的方法,其中,所述一个或多个操作进一步包括分级式Z剔除(HiZ)操作。
22.如权利要求20所述的方法,进一步包括:分析每纹理程序信息和每着色器程序信息。
23.如权利要求22所述的方法,其中,所述处理器用于引起存储所分析的每纹理程序信息和每着色器程序信息以辅助执行所述一个或多个操作。
24.一种计算机可读介质,包括一条或多条指令,所述一条或多条指令当在处理器上被执行时将所述处理器配置成执行如权利要求20至23中任一项所述的一个或多个操作。
25.一种设备,包括用于执行如权利要求20至23中任一项所述的方法的装置。
CN201780050322.9A 2016-09-16 2017-08-15 用于取决于纹理的丢弃操作的分级式Z剔除(HiZ)优化 Active CN109564700B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/267,631 US10540808B2 (en) 2016-09-16 2016-09-16 Hierarchical Z-culling (HiZ) optimization for texture-dependent discard operations
US15/267,631 2016-09-16
PCT/US2017/046985 WO2018052617A1 (en) 2016-09-16 2017-08-15 Hierarchical z-culling (hiz) optimization for texture-dependent discard operations

Publications (2)

Publication Number Publication Date
CN109564700A CN109564700A (zh) 2019-04-02
CN109564700B true CN109564700B (zh) 2024-01-02

Family

ID=61619660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780050322.9A Active CN109564700B (zh) 2016-09-16 2017-08-15 用于取决于纹理的丢弃操作的分级式Z剔除(HiZ)优化

Country Status (3)

Country Link
US (1) US10540808B2 (zh)
CN (1) CN109564700B (zh)
WO (1) WO2018052617A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10540808B2 (en) 2016-09-16 2020-01-21 Intel Corporation Hierarchical Z-culling (HiZ) optimization for texture-dependent discard operations
US10235811B2 (en) 2016-12-29 2019-03-19 Intel Corporation Replicating primitives across multiple viewports
US10580200B2 (en) 2017-04-07 2020-03-03 Intel Corporation Virtual reality apparatus and method including prioritized pixel shader operations, alternate eye rendering, and/or augmented timewarp
US10628910B2 (en) 2018-09-24 2020-04-21 Intel Corporation Vertex shader with primitive replication
US11107269B2 (en) 2019-12-09 2021-08-31 Intel Corporation Enhancing hierarchical depth buffer culling efficiency via mask accumulation
US11030783B1 (en) * 2020-01-21 2021-06-08 Arm Limited Hidden surface removal in graphics processing systems
US11049216B1 (en) 2020-01-21 2021-06-29 Arm Limited Graphics processing systems
US11080814B1 (en) 2020-02-03 2021-08-03 Sony Interactive Entertainment Inc. System and method for efficient multi-GPU rendering of geometry by pretesting against screen regions using prior frame information
US11514549B2 (en) * 2020-02-03 2022-11-29 Sony Interactive Entertainment Inc. System and method for efficient multi-GPU rendering of geometry by generating information in one rendering phase for use in another rendering phase
US11321800B2 (en) 2020-02-03 2022-05-03 Sony Interactive Entertainment Inc. System and method for efficient multi-GPU rendering of geometry by region testing while rendering
US11170461B2 (en) 2020-02-03 2021-11-09 Sony Interactive Entertainment Inc. System and method for efficient multi-GPU rendering of geometry by performing geometry analysis while rendering
US11508110B2 (en) 2020-02-03 2022-11-22 Sony Interactive Entertainment Inc. System and method for efficient multi-GPU rendering of geometry by performing geometry analysis before rendering
US11263718B2 (en) 2020-02-03 2022-03-01 Sony Interactive Entertainment Inc. System and method for efficient multi-GPU rendering of geometry by pretesting against in interleaved screen regions before rendering
US11120522B2 (en) 2020-02-03 2021-09-14 Sony Interactive Entertainment Inc. System and method for efficient multi-GPU rendering of geometry by subdividing geometry
CN116710965B (zh) * 2020-09-29 2025-08-01 华为技术有限公司 粗粒度深度测试方法以及图形处理器
US11875445B2 (en) * 2021-10-12 2024-01-16 Electronic Arts Inc. Seamless image processing of a tiled image region
US12524948B2 (en) 2022-11-17 2026-01-13 Arm Limited Graphics processors and graphics processing method for achieving increased hidden surface removal efficiency
US12322023B2 (en) * 2022-11-17 2025-06-03 Arm Limited Graphics processing method, system and storage medium for achieving increased hidden surface removal efficiency
US12266052B2 (en) 2022-11-17 2025-04-01 Arm Limited Graphics processors
CN120182458B (zh) * 2025-05-20 2025-08-26 武汉凌久微电子有限公司 一种基于着色器的OpenGL虚线功能实现方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101091203A (zh) * 2004-05-14 2007-12-19 辉达公司 图形处理系统和方法
CN101101667A (zh) * 2006-05-08 2008-01-09 辉达公司 使用早期z模式优化可配置的图形渲染管线
CN104137152A (zh) * 2012-03-01 2014-11-05 高通股份有限公司 用于基于目的地阿尔法值减少图形处理系统中的存储器存取带宽的技术

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2378108B (en) * 2001-07-24 2005-08-17 Imagination Tech Ltd Three dimensional graphics system
US7030887B2 (en) 2003-09-12 2006-04-18 Microsoft Corporation Methods and systems for transparent depth sorting
US8184118B2 (en) * 2007-05-01 2012-05-22 Advanced Micro Devices, Inc. Depth operations
US20090322777A1 (en) * 2008-06-26 2009-12-31 Microsoft Corporation Unified texture compression framework
KR101719485B1 (ko) 2010-09-20 2017-03-27 삼성전자주식회사 그래픽 처리 유닛에서의 사전 픽셀 제거를 위한 장치 및 방법
US8643666B2 (en) 2011-02-25 2014-02-04 Adobe Systems Incorporated Stenciled layer peeling graphics processing
US8970587B2 (en) 2012-01-16 2015-03-03 Intel Corporation Five-dimensional occlusion queries
US10803655B2 (en) 2012-06-08 2020-10-13 Advanced Micro Devices, Inc. Forward rendering pipeline with light culling
US9214006B2 (en) 2013-06-04 2015-12-15 Arm Limited Hidden surface removal in graphics processing systems
GB201223089D0 (en) 2012-12-20 2013-02-06 Imagination Tech Ltd Hidden culling in tile based computer generated graphics
WO2014115489A1 (ja) 2013-01-25 2014-07-31 パナソニック株式会社 ステレオカメラ
US9916675B2 (en) * 2013-05-31 2018-03-13 Arm Limited Graphics processing systems
KR102101834B1 (ko) * 2013-10-08 2020-04-17 삼성전자 주식회사 영상 처리 장치 및 방법
US9536333B2 (en) 2013-10-17 2017-01-03 Arm Limited Method and apparatus for improved processing of graphics primitives
US20150145875A1 (en) 2013-11-27 2015-05-28 Aashish Pangam Command scheduler for a display device
US9324180B2 (en) 2013-12-09 2016-04-26 Intel Corporation Culling using masked depths
US9514537B2 (en) 2013-12-27 2016-12-06 Xerox Corporation System and method for adaptive depth map reconstruction
GB2522868B (en) * 2014-02-06 2016-11-02 Imagination Tech Ltd Opacity testing for processing primitives in a 3D graphics processing systemm
US9824412B2 (en) 2014-09-24 2017-11-21 Intel Corporation Position-only shading pipeline
GB2537137B (en) * 2015-04-08 2021-02-17 Advanced Risc Mach Ltd Graphics processing systems
US10621690B2 (en) * 2015-09-17 2020-04-14 Qualcomm Incorporated Storing bandwidth-compressed graphics data
US10540808B2 (en) 2016-09-16 2020-01-21 Intel Corporation Hierarchical Z-culling (HiZ) optimization for texture-dependent discard operations
US20180082468A1 (en) 2016-09-16 2018-03-22 Intel Corporation Hierarchical Z-Culling (HiZ) Optimized Shadow Mapping

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101091203A (zh) * 2004-05-14 2007-12-19 辉达公司 图形处理系统和方法
CN101101667A (zh) * 2006-05-08 2008-01-09 辉达公司 使用早期z模式优化可配置的图形渲染管线
CN104137152A (zh) * 2012-03-01 2014-11-05 高通股份有限公司 用于基于目的地阿尔法值减少图形处理系统中的存储器存取带宽的技术

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
图形处理器片段处理单元的设计与实现;田泽等;《计算机应用》;20141215;全文 *
基于GPU的遥感影像加速处理算法;喻君君等;《北京测绘》;20100625(第02期);全文 *

Also Published As

Publication number Publication date
US20180082467A1 (en) 2018-03-22
WO2018052617A1 (en) 2018-03-22
US10540808B2 (en) 2020-01-21
CN109564700A (zh) 2019-04-02

Similar Documents

Publication Publication Date Title
CN109564700B (zh) 用于取决于纹理的丢弃操作的分级式Z剔除(HiZ)优化
CN109564695B (zh) 用于高效3d图形流水线的装置和方法
US11210841B2 (en) Apparatus and method for implementing bounding volume hierarchy (BVH) operations on tesselation hardware
CN109923519B (zh) 用于加速多核计算架构中的图形工作负荷的机制
CN114549518B (zh) 使用三角形的属性的加权平均来合并粗像素着色的片段
US10580189B2 (en) Apparatus and method for optimized ray tracing
CN109643463B (zh) 预设图形处理器内的分级式深度逻辑
US20180005345A1 (en) Reducing memory latency in graphics operations
CN109196550B (zh) 用于针对虚拟现实和多视图系统进行交织光栅化和像素着色的架构
US11551400B2 (en) Apparatus and method for optimized tile-based rendering
US10191724B2 (en) Compiler-based instruction scoreboarding
WO2018052592A1 (en) Method and apparatus for efficient depth prepass
CN110673946A (zh) 在特权域上高效地将工作负荷从用户模式入队到硬件
US20170372448A1 (en) Reducing Memory Access Latencies During Ray Traversal
KR20200002608A (ko) 그래픽 엔진 상에서 다수의 컨텍스트를 동시에 실행하는 방법 및 장치
CN107533463A (zh) 用于软件不可知多gpu处理的设备和方法
CN110634106A (zh) 用于利用多重采样进行保守形态抗混叠的设备和方法
US10026153B2 (en) Varying image quality rendering in a sort middle architecture
US20180122037A1 (en) Offloading fused kernel execution to a graphics processor
US9830676B2 (en) Packet processing on graphics processing units using continuous threads
WO2017112158A1 (en) Rasterization based on partial spans
CN109643279B (zh) 使用虚拟到虚拟地址表进行存储器压缩的方法和装置
CN109791527B (zh) 延迟丢弃
US20180082468A1 (en) Hierarchical Z-Culling (HiZ) Optimized Shadow Mapping
CN112292665A (zh) 具有后期同步的图形虚拟化的装置和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant