1.[3D游戏开发实践] Cocos Cyberpunk 源码解读-目录结构
2.TiFlash 源码阅读(一) TiFlash 存储层概览
3.解Bug之路-Nginx 502 Bad Gateway
[3D游戏开发实践] Cocos Cyberpunk 源码解读-目录结构
在深入解读Cocos Cyberpunk源码之前,游游戏首先,戏源让我们打开scene-game-start场景,游游戏启动游戏预览,戏源进入游戏场景。游游戏点击START按钮,戏源ps tga源码游戏正式开始。游游戏漫游摄像机将带你漫游整个场景,戏源再次点击START,游游戏可以进入游戏。戏源
在电脑端按ESC键或手机端点击设置按钮,游游戏查看操作说明。戏源接下来,游游戏让我们浏览Cocos Cyberpunk项目的戏源目录结构。在左下角的游游戏Assets窗口中,我们可以看到项目文件的分层。
首先,animations目录中仅包含用于场景漫游的大户指标源码摄像机动画文件。LightFX目录存储了光照贴图,这些是光照烘焙系统自动生成的,无需手动修改。res目录是整个游戏资源的集中地,包括动画、特效、模型、shader、UI、音效等资源。
resources目录则存放动态加载的资源,当前内容较少,随着游戏的完善,资源将会增多。scene目录包含了环境反射探针文件,与场景文件名对应的文件夹存放反射贴图。scene-development目录则包含一些用于单元测试的仙剑1 源码开发场景。
scripts目录存放所有游戏逻辑脚本,而src目录可能包含项目开发过程中的测试文件。test目录同样是用于测试的,存放的文件与项目无关。scene目录则是游戏主场景,而scene-game-start则为游戏启动场景,进行UI逻辑初始化,并加载游戏主场景。
自定义管线以编辑器扩展的形式存在,可将其移至项目中。管线对应自定义管线,通过在场景中新建节点并添加pipeline/graph/pipeline-graph.ts组件来查看可视化管线图。实时探针相关组件在反射探针节点上挂载,提供实时更新功能。
反射探针节点上的ReflectionUtils脚本组件实现了实时更新探针的逻辑,适用于需要实时探针的项目。此外,ios 源码加密Cocos Cyberpunk还实现了SphereProjection修正,使得反射更符合物体形状。
静态遮挡剔除机制在Cocos Cyberpunk中实现,通过将可见关系预存入空间格子,渲染时直接查表获得渲染列表,极大提升效率。这一部分主要在scene场景中的static-occlusion-culling结点中处理。
机型适配策略在Cocos Cyberpunk中实现,根据设备性能选择渲染效果,确保流畅帧率。处理了不同设备上的效果调整,包括性能开关策略、机型分档策略,主要在href-settings.ts、gpu.ts和gpu-mobiles.ts文件中实现。
游戏逻辑方面,Cocos Cyberpunk包含完整的telnetd 包源码TPS游戏逻辑,init节点包含了特效、UI、对象池等节点,挂载的init.ts脚本组件确保游戏逻辑在主场景加载后持续运行。接下来,我们将对游戏逻辑相关源码进行深入解读。
TiFlash 源码阅读(一) TiFlash 存储层概览
本系列文章聚焦于 TiFlash,读者需具备基本的 TiDB 知识。TiFlash 是 TiDB HTAP 模式的关键组件,作为 TiKV 的列存扩展,通过 Raft Learner 协议实现异步复制,并提供与 TiKV 相同的快照隔离支持。自 5.0 引入 MPP 后,TiDB 的实时分析场景下计算加速能力得到了增强。
TiFlash 整体逻辑模块划分如下:通过 Raft Learner Proxy 接入多 Raft 体系,计算层 MPP 在 TiFlash 间进行数据交换,提供更强的分析计算能力。Schema 模块与 TiDB 表结构同步,将 TiKV 同步数据转换为列形式,并写入列存引擎。底层为 DeltaTree 引擎。
TiFlash 基于 ClickHouse fork,沿用了 ClickHouse 的向量化执行引擎,并加入针对 TiDB 的对接、MySQL 兼容、Raft 协议、集群模式、实时更新列存引擎、MPP 架构等特性。DeltaTree 引擎解决了高频率数据写入、实时更新读性能优化、符合 TiDB 事务模型、支持 MVCC 过滤、数据分片便于分析场景等需求。
DeltaTree 引擎不同于 MergeTree,具备原生支持高频率写入、列存实时更新下读性能优化、支持 TiDB 事务模型、数据分片便于提供分析特性等优势。MergeTree 引擎存在写入碎片、Scan 时 CPU cache miss 严重、清理过期数据时 compaction 导致性能波动等问题,而 DeltaTree 通过横向分割数据管理、delta-stable 数据组织、PageStorage 存储等设计优化了性能。
DeltaTree 引擎通过在表内按 handle 列分段管理数据,采用 delta-stable 数据组织,PageStorage 存储小数据块,构建 DeltaIndex 和 Rough Set Index 等组件优化读性能。DeltaIndex 帮助减少 CPU bound 的 merge 操作,Rough Set Index 用于过滤数据块,减少不必要的 IO 操作。
TiFlash 存储层 DeltaTree 引擎在不同数据量和更新 TPS 下读性能表现优于基于 MergeTree 的实现,提供更稳定、高效的读、写性能。TiFlash 中的 PageStorage、DeltaIndex、Rough Set Index 等组件协同作用,优化数据管理和查询性能。
DeltaTree 引擎在 TiFlash 内部实现中,通过 PageStorage 存储数据,DeltaIndex 提高读性能,Rough Set Index 优化查询效率,提供了对 HTAP 场景的优化和支持。TiFlash 存储层 DeltaTree 引擎的设计和实现细节将在后续章节中详细展开。
解Bug之路-Nginx Bad Gateway
读过Linux内核源码的好处,尤其在处理问题时,能迅速识别现象、原因及解决方案。以解决Linux TCP协议栈源码中的问题为例,有流畅的感觉。
现象描述:对自研的dubbo协议隧道网关进行压测时,两端网关为gateway1和gateway2,压测过程中gateway1出现大量报错,而gateway2无问题。
网关情况分析:gateway2的负载情况良好,无瓶颈迹象。Nginx所在机器CPU利用率接近%,Nginx的4个Worker分别占了一个核,CPU被吃满。去掉Nginx后,Gateway1和Gateway2直连,压测TPS飙升。
Nginx日志分析:发现大量报错,确为Nginx问题。通过阅读TCP源码,发现是端口号耗尽导致的。
原因分析:Nginx upstream和后端Backend默认为短连接,大量请求流量产生大量TIME_WAIT连接,占据端口号,而TIME_WAIT连接需1分钟左右才能被Kernel回收。
解决方案:调整端口号范围、将tcp_max_tw_bucket调小、开启tcp_tw_reuse等。Nginx upstream改成长连接也是一种有效方案。
总结:解决线上问题,内核参数调优和阅读内核源码有重要意义,能帮助我们避开一些坑。