1.游戏引擎随笔 0x36:UE5.x Nanite 源码解析之可编程光栅化(下)
2.游戏服务端开源引擎GoWorld教程——(1)安装和运行
3.Yiso搜索引擎源码
游戏引擎随笔 0x36:UE5.x Nanite 源码解析之可编程光栅化(下)
书接上回。引擎源码引擎源码
在展开正题之前,视频视频先做必要的引擎源码引擎源码铺垫,解释纳尼特(Nanite)技术方案中的视频视频Vertex Reuse Batch。纳尼特在软光栅路径实现机制中,引擎源码引擎源码将每个Cluster对应一组线程执行软光栅,视频视频ce源码添加功能每ThreadGroup有个线程。引擎源码引擎源码在光栅化三角形时访问三角形顶点数据,视频视频但顶点索引范围可能覆盖整个Cluster的引擎源码引擎源码个顶点,因此需要在光栅化前完成Cluster顶点变换。视频视频纳尼特将变换后的引擎源码引擎源码顶点存储于Local Shared Memory(LDS)中,进行组内线程同步,视频视频确保所有顶点变换完成,引擎源码引擎源码光栅化计算时直接访问LDS,视频视频实现软光栅高性能。引擎源码引擎源码
然而,在使用PDO(Masked)等像素可编程光栅化时,纳尼特遇到了性能问题。启用PDO或Mask时,可能需要读取Texture,根据读取的Texel决定像素光栅化深度或是否被Discard。读取纹理需计算uv坐标,而uv又需同时计算重心坐标,增加指令数量,降低寄存器使用效率,影响Active Warps数量,降低延迟隐藏能力,导致整体性能下降。复杂材质指令进一步加剧问题。
此外,omcat底层源码当Cluster包含多种材质时,同一Cluster中的三角形被重复光栅化多次,尤其是材质仅覆盖少数三角形时,大量线程闲置,浪费GPU计算资源。
为解决这些问题,纳尼特引入基于GPU SIMT/SIMD的Vertex Reuse Batch技术。技术思路如下:将每个Material对应的三角形再次分为每个为一组的Batch,每Batch对应一组线程,每个ThreadGroup有个线程,正好对应一个GPU Warp。利用Wave指令共享所有线程中的变换后的顶点数据,无需LDS,减少寄存器数量,增加Warp占用率,提升整体性能。
Vertex Reuse Batch技术的启用条件由Shader中的NANITE_VERT_REUSE_BATCH宏控制。
预处理阶段,纳尼特在离线时构建Vertex Reuse Batch,核心逻辑在NaniteEncode.cpp中的BuildVertReuseBatches函数。通过遍历Material Range,统计唯一顶点数和三角形数,达到顶点去重和优化性能的目标。
最终,数据被写入FPackedCluster,根据材质数量选择直接或通过ClusterPageData存储Batch信息。Batch数据的Pack策略确保数据对齐和高效存储。
理解Vertex Reuse Batch后,再来回顾Rasterizer Binning的roid源码导入数据:RasterizerBinData和RasterizerBinHeaders。在启用Vertex Reuse Batch时,这两者包含的是Batch相关数据,Visible Index实际指的是Batch Index,而Triangle Range则对应Batch的三角形数量。
当Cluster不超过3个材质时,直接从FPackedCluster中的VertReuseBatchInfo成员读取每个材质对应的BatchCount。有了BatchCount,即可遍历所有Batch获取对应的三角形数量。在Binning阶段的ExportRasterizerBin函数中,根据启用Vertex Reuse Batch的条件调整BatchCount,表示一个Cluster对应一个Batch。
接下来,遍历所有Batch并将其对应的Cluster Index、Triangle Range依次写入到RasterizerBinData Buffer中。启用Vertex Reuse Batch时,通过DecodeVertReuseBatchInfo函数获取Batch对应的三角形数量。对于不超过3个材质的Cluster,DecodeVertReuseBatchInfo直接从Cluster的VertReuseBatchInfo中Unpack出Batch数据,否则从ClusterPageData中根据Batch Offset读取数据。
在Binning阶段的AllocateRasterizerBinCluster中,还会填充Indirect Argument Buffer,将当前Cluster的Batch Count累加,用于硬件光栅化Indirect Draw的Instance参数以及软件光栅化Indirect Dispatch的ThreadGroup参数。这标志着接下来的光栅化Pass中,每个Instance和ThreadGroup对应一个Batch,以Batch为光栅化基本单位。
终于来到了正题:光栅化。本文主要解析启用Vertex Reuse Batch时的软光栅源码,硬件光栅化与之差异不大,ioc容器源码此处略过。此外,本文重点解析启用Vertex Reuse Batch时的光栅化源码,对于未启用部分,除可编程光栅化外,与原有固定光栅化版本差异不大,不再详细解释。
CPU端针对硬/软光栅路径的Pass,分别遍历所有Raster Bin进行Indirect Draw/Dispatch。由于Binning阶段GPU中已准备好Draw/Dispatch参数,因此在Indirect Draw/Dispatch时只需设置每个Raster Bin对应的Argument Offset即可。
由于可编程光栅化与材质耦合,导致每个Raster Bin对应的Shader不同,因此每个Raster Bin都需要设置各自的PSO。对于不使用可编程光栅化的Nanite Cluster,即固定光栅化,为不降低原有性能,在Shader中通过两个宏隔绝可编程和固定光栅化的执行路径。
此外,Shader中还包括NANITE_VERT_REUSE_BATCH宏,实现软/硬光栅路径、Compute Pipeline、Graphics Pipeline、Mesh Shader、Primitive Shader与材质结合生成对应的Permutation。这部分代码冗长繁琐,不再详细列出讲解,建议自行阅读源码。
GPU端软光栅入口函数依旧是pdf上传源码MicropolyRasterize,线程组数量则根据是否启用Vertex Reuse Batch决定。
首先判断是否使用Rasterizer Binning渲染标记,启用时根据VisibleIndex从Binning阶段生成的RasterizerBinHeaders和RasterizerBinData Buffer中获取对应的Cluster Index和光栅化三角形的起始范围。当启用Vertex Reuse Batch,这个范围是Batch而非Cluster对应的范围。
在软光栅中,每线程计算任务分为三步。第一步利用Wave指令共享所有线程中的Vertex Attribute,线程数设置为Warp的Size,目前为,每个Lane变换一个顶点,最多变换个顶点。由于三角形往往共用顶点,直接根据LaneID访问顶点可能重复,为确保每个Warp中的每个Lane处理唯一的顶点,需要去重并返回当前Lane需要处理的唯一顶点索引,通过DeduplicateVertIndexes函数实现。同时返回当前Lane对应的三角形顶点索引,用于三角形设置和光栅化步骤。
获得唯一顶点索引后,进行三角形设置。这里代码与之前基本一致,只是写成模板函数,将Sub Pixel放大倍数SubpixelSamples和是否背面剔除bBackFaceCull作为模板参数,通过使用HLSL 语法实现。
最后是光栅化三角形写入像素。在Virtual Shadow Map等支持Nanite的场景下,定义模板结构TNaniteWritePixel来实现不同应用环境下Nanite光栅化Pipeline的细微差异。
在ENABLE_EARLY_Z_TEST宏定义时,调用EarlyDepthTest函数提前剔除像素,减少后续重心坐标计算开销。当启用NANITE_PIXEL_PROGRAMMABLE宏时,可以使用此机制提前剔除像素。
最后重点解析前面提到的DeduplicateVertIndexes函数。
DeduplicateVertIndexes函数给每个Lane返回唯一的顶点索引,同时给当前Lane分配三角形顶点索引以及去重后的顶点数量。
首先通过DecodeTriangleIndices获取Cluster Local的三角形顶点索引,启用Cluster约束时获取所有Lane中最小的顶点索引,即顶点基索引。将当前三角形顶点索引(Cluster Local)减去顶点基索引,得到相对顶点基索引的局部顶点索引。
接下来生成顶点标志位集合。遍历三角形三个顶点,将局部顶点索引按顺序设置到对应位,表示哪些顶点已被使用。每个标志位是顶点的索引,并在已使用的顶点位置处设置为1。使用uint2数据类型,最多表示个顶点位。
考虑Cluster最多有个顶点,为何使用位uint2来保存Vertex Mask而非位?这是由于Nanite在Build时启用了约束机制(宏NANITE_USE_CONSTRAINED_CLUSTERS),该机制保证了Cluster中的三角形顶点索引与当前最大值之差必然小于(宏CONSTRAINED_CLUSTER_CACHE_SIZE),因此,生成的Triangle Batch第一个索引与当前最大值之差将不小于,并且每个Batch最多有个唯一顶点,顶点索引差的最大值为,仅需2个位数据即可。约束机制确保使用更少数据和计算。
将所有Lane所标记三个顶点的Vertex Mask进行位合并,得到当前Wave所有顶点位掩码。通过FindNthSetBit函数找出当前Lane对应的Mask索引,加上顶点基索引得到当前Lane对应的Cluster Local顶点索引。
接下来获取当前Lane对应的三角形的Wave Local的三个顶点索引,用于后续通过Wave指令访问其他Lane中已经计算完成的顶点属性。通过MaskedBitCount函数根据Vertex Mask以及前面局部顶点索引通过前缀求和得到当前Lane对应的Vertex Wave Local Index。
最后统计Vertex Mask所有位,返回总计有效的顶点数量。
注意FindNthSetBit函数,实现Lane与顶点局部索引(减去顶点基索引)的映射,返回当前Lane对应的Vertex Mask中被设置为1的位索引。如果某位为0,则返回下一个位为1的索引。如果Mask中全部位都设置为1,则实际返回为Lane索引。通过二分法逐渐缩小寻找索引范围,不断更新所在位置,最后返回找到的位置索引。
最后,出于验证目的进行了Vertex Reuse Batch的性能测试。在材质包含WPO、PDO或Mask时关闭Vertex Reuse Batch功能,与开启功能做对比。测试场景为由每颗万个三角形的树木组成的森林,使用Nsight Graphics进行Profiling,得到GPU统计数据如下:
启用Vertex Reuse Batch后,软光栅总计耗时减少了1.毫秒。SM Warp总占用率有一定提升。SM内部工作量分布更加均匀,SM Launch的总Warp数量提升了一倍。长短板Stall略有增加,但由于完全消除了由于LDS同步导致的Barrier Stall,总体性能还是有很大幅度的提升。
至此,Nanite可编程光栅化源码解析讲解完毕。回顾整个解析过程,可以发现UE5团队并未使用什么高深的黑科技,而是依靠引擎开发者强悍的工程实现能力完成的,尤其是在充分利用GPU SIMT/SIMD机制榨干机能的同时,保证了功能与极限性能的实现。这种能力和精神,都很值得我们学习。
游戏服务端开源引擎GoWorld教程——(1)安装和运行
GoWorld是一套分布式开源Go语言游戏服务器引擎,采用Entity/Space的逻辑抽象结构,适用于MMORPG、RTS、射击等类型游戏。这种结构使得游戏的网络通信模式较为统一,能够在框架层实现更多功能,顶层逻辑无需关心数据同步,能提高游戏开发效率。 GoWorld结构图展示了它会开启3类进程。其中dispatcher和gate是固定的程序,需要我们自己编写的game是游戏逻辑所在,也是Entity/Space活动的地方。客户端连接到gate,它负责网络消息的接收和转发;dispatcher负责消息分发;game处理游戏逻辑。 安装GoWorld项目后,可以通过命令行goworld进行操作,如使用goworld start examples/chatroom_demo开启聊天服务器。安装过程包括安装Go语言、设置Go路径、安装goworld所需的依赖包,以及手动安装某些依赖包。测试安装是否成功的方法是执行goworld指令。 GoWorld提供了聊天室示例,是运行它的起点。聊天室示例包含4个go文件,后续可以仿照示例编写自己的游戏逻辑。安装和运行聊天室示例的步骤包括安装依赖包、编译代码并生成可执行文件,以及运行示例程序。执行goworld指令查看服务器状态,执行stop指令关闭服务器。 推荐学习资料包括收听关于网络游戏同步算法的课程,以及阅读《Unity3D网络游戏实战(第2版)》书籍,这是一本专门介绍多人网络游戏开发的实战书籍,手把手教你搭建网络框架,制作大型项目。 以下为GoWorld教程系列文章链接:罗培羽:游戏服务端开源引擎GoWorld教程—— (1)安装和运行
罗培羽:游戏服务端开源引擎GoWorld教程——(2)Unity示例双端联调
罗培羽:游戏服务端开源引擎GoWorld教程——(3)手把手写一个聊天室
罗培羽:游戏服务端开源引擎GoWorld教程——(4)制作多频道聊天室
罗培羽:游戏服务端开源引擎GoWorld教程——(5)登录注册和存储
罗培羽:游戏服务端开源引擎GoWorld教程——(6)移动同步和AOI
罗培羽:游戏服务端开源引擎GoWorld教程——(7)源码解析之启动流程和热更新
罗培羽:游戏服务端开源引擎GoWorld教程——(8)源码解析之gate
罗培羽:游戏服务端开源引擎GoWorld教程——(9)源码解析之dispatcher
罗培羽:游戏服务端开源引擎GoWorld教程——()源码解析之entity
Yiso搜索引擎源码
Yiso,一款性能卓越的搜索引擎,以其自主研发的BiuSQL数据库储存数据,无需安装数据库,仅需下载源码解压即可使用。
Yiso的文件结构清晰,便于管理和维护。主要文件夹如下:
./css - 专门存放用于渲染的CSS资源文件。
./help - 提供Yiso的使用指南和声明文件,帮助用户快速上手。
./img - 存储Yiso相关的文件,用于显示和美化搜索结果。
./js - 收集JavaScript脚本资源,增强交互性和功能特性。
./s - 存放Yiso搜索功能的核心算法代码,确保高效搜索。
./console - 用于Yiso控制台操作,便于开发者进行调试和管理。
./备份 - 用于储存Yiso的开发过程和不同版本,方便回溯和更新。
./index.php - Yiso的首页初始化文件,启动应用并提供访问入口。
./verification.html - 实现Yiso的验证功能,增强系统安全,防止攻击。
./项目结构 - 详细描述项目组织结构,便于理解与开发。
获取Yiso源码的方式简单便捷,直接点击下载链接即可。
我们诚挚地提供这份免费资源,感谢您的支持与使用。