1.DETR3D模型源码导读 & MMDetection3D构建流程
2.[技术随笔]🛠🛠从源码安装Pytorch3D详细记录及学习资料
3.[3D游戏开发实践] Cocos Cyberpunk 源码解读-目录结构
4.《Unity 3D 内建着色器源码剖析》第七章 Unity3D全局光照和阴影
5.3d稀疏卷积——spconv源码剖析（五）
6.3d稀疏卷积——spconv源码剖析（一）

DETR3D模型源码导读 & MMDetection3D构建流程

       本文主要梳理了学习理解DETR3D模型源码与MMDetection3D构建流程的棋棋牌过程。首先，牌组介绍model dict的组件配置与模型参数设置，指出在模型部分按照backbone、源码neck、大全head顺序定义，棋棋牌如何解读ginx源码体现模型结构。牌组

       MMDetection3D在模型构建中利用类之间的组件包含关系递归实例化组件。在构建模型后，源码借助于registry机制实例化每一个组件，大全展现其层次性与模块化设计。棋棋牌

       在初始化流程中，牌组首先在train.py的组件build_model开始，通过调用build方法逐级初始化各子结构，源码直至最底层结构，大全遵循初始化顺序：Detr3D -> backbone -> neck -> head -> head_transformer -> head_transformer_decoder -> 最终组件。其中，许多类继承自官方提供的框架结构，通过super()调用在父类中实现子结构初始化。

       关于DETR3D的组件，backbone、neck、head分别负责特征提取、融合、和目标检测的关键阶段。Detr3DHead继承自mmdet3d的DetrHead类，是模型的头部组件，实现特定检测任务。

       DETR3DTransformer位于模型底层，是实现论文创新点的关键部分。其通过传感器转换矩阵预测reference points，并将投影到特征图，结合Bilinear Interpolation抓取固定区域特征，通过object queries refinement改善queries，用于目标预测。mfc打开文件源码这一部分负责查询、特征捕捉与优化。

       Decoder是DETR3D的核心，专注于实现object queries refinement。这一过程在论文中被详细探讨，并在代码中得到具体实现。值得注意的是，F.grid_sample()在特征处理过程中扮演着关键角色，展示其在变换与映射任务中的应用。

[技术随笔]🛠🛠从源码安装Pytorch3D详细记录及学习资料

       在启动安装Pytorch3D之前，首要任务是选择合适的pytorch基础镜像。我选择了包含CUDA组件和驱动的pytorch 1.9的devel版本，以确保满足Pytorch3D对于pytorch和cuda版本的要求。我使用的是python 3.7、pytorch 1.9和cuda.2，前提是你已经在宿主机上配置好了显卡驱动和nvidia-docker，以便在容器内映射宿主机的显卡信息。

       在安装前，确保nvcc编译器、CUDA工具箱和驱动正常运行，并且安装了git、vim、sudo和curl等基础工具。

       下一步是配置CUB工具。按照Pytorch3D的安装文档，为了支持CUDA，需要先配置CUB，并设置CUB_HOME环境变量。由于选择的镜像包含CUDA，编译过程中会自动包含cuda。为保险起见，可以指定FORCE_CUDA环境变量为1。

       从源码编译Pytorch3D时，避免了使用conda可能遇到的网吧电影asp源码依赖冲突问题。在确认前两步没有问题后，编译过程通常顺利。安装完成后，检查日志和pytorch3d的版本信息。

       为了验证Pytorch3D的正常运行，从ARkit中导出BS系数，尝试使用它渲染一个简单的白模，并利用GPU。观察到显卡被充分利用，表明设置正确，可以进行后续操作。

       在完成安装并验证Pytorch3D的功能后，可以参考收集的资料来探索其更高级的用法。以下是几个示例：

       从Pytorch3D文档中获取的教程和代码示例。

       开源社区的讨论和问题解答，特别是与Pytorch3D相关的话题。

       个人经验分享和案例研究，可以在GitHub、Stack Overflow等平台找到。

       通过这些资源，您可以深入学习Pytorch3D的功能和应用，进一步拓展其在计算机图形学、三维重建和深度学习等领域的应用。

[3D游戏开发实践] Cocos Cyberpunk 源码解读-目录结构

       在深入解读Cocos Cyberpunk源码之前，首先，让我们打开scene-game-start场景，启动游戏预览，进入游戏场景。点击START按钮，游戏正式开始。漫游摄像机将带你漫游整个场景，再次点击START，可以进入游戏。

       在电脑端按ESC键或手机端点击设置按钮，会员结算系统源码查看操作说明。接下来，让我们浏览Cocos Cyberpunk项目的目录结构。在左下角的Assets窗口中，我们可以看到项目文件的分层。

       首先，animations目录中仅包含用于场景漫游的摄像机动画文件。LightFX目录存储了光照贴图，这些是光照烘焙系统自动生成的，无需手动修改。res目录是整个游戏资源的集中地，包括动画、特效、模型、shader、UI、音效等资源。

       resources目录则存放动态加载的资源，当前内容较少，随着游戏的完善，资源将会增多。scene目录包含了环境反射探针文件，与场景文件名对应的文件夹存放反射贴图。scene-development目录则包含一些用于单元测试的开发场景。

       scripts目录存放所有游戏逻辑脚本，而src目录可能包含项目开发过程中的测试文件。test目录同样是用于测试的，存放的文件与项目无关。scene目录则是游戏主场景，而scene-game-start则为游戏启动场景，进行UI逻辑初始化，并加载游戏主场景。

       自定义管线以编辑器扩展的形式存在，可将其移至项目中。kafka scala ide 源码管线对应自定义管线，通过在场景中新建节点并添加pipeline/graph/pipeline-graph.ts组件来查看可视化管线图。实时探针相关组件在反射探针节点上挂载，提供实时更新功能。

       反射探针节点上的ReflectionUtils脚本组件实现了实时更新探针的逻辑，适用于需要实时探针的项目。此外，Cocos Cyberpunk还实现了SphereProjection修正，使得反射更符合物体形状。

       静态遮挡剔除机制在Cocos Cyberpunk中实现，通过将可见关系预存入空间格子，渲染时直接查表获得渲染列表，极大提升效率。这一部分主要在scene场景中的static-occlusion-culling结点中处理。

       机型适配策略在Cocos Cyberpunk中实现，根据设备性能选择渲染效果，确保流畅帧率。处理了不同设备上的效果调整，包括性能开关策略、机型分档策略，主要在href-settings.ts、gpu.ts和gpu-mobiles.ts文件中实现。

       游戏逻辑方面，Cocos Cyberpunk包含完整的TPS游戏逻辑，init节点包含了特效、UI、对象池等节点，挂载的init.ts脚本组件确保游戏逻辑在主场景加载后持续运行。接下来，我们将对游戏逻辑相关源码进行深入解读。

《Unity 3D 内建着色器源码剖析》第七章 Unity3D全局光照和阴影

       在Unity 3D中，全局光照和阴影是实现逼真渲染的重要手段。全局光照分为烘焙式和实时两种方式。静态物体通过烘焙式全局照明（Baked GI）处理，预先计算间接照明并存储，而动态物体则通过光探针获取静态物体的反射光。引擎提供了点光源、聚光灯、有向平行光源和区域面光源等光源类型，其中环境光源与天空盒系统关联，可模拟日出日落效果。

       实时光照模式下的光源仅产生直接照明，不涉及间接照明，但在Unity 3D的Lighting设置中，勾选Realtime Global Illumination选项，可实现全局照明，主要适用于主机平台游戏。烘焙式光照贴图通过预先计算并存储直接和间接照明信息，节省运行时计算，但内存占用较大。

       混合光照模式允许光源实时调整属性，提供动态照明，包括Baked Indirect（仅预计算间接照明）、Shadowmask（预计算静态阴影）和Subtractive（烘焙光源信息）等。其中，Shadowmask存储静态阴影信息，Subtractive模式下动态阴影实时投射到静止物体。

       光探针技术弥补了光照贴图对动态物体的限制，通过预计算并插值光照信息，提供更真实的动态物体照明效果。然而，光探针有其局限性，如不适用于大物体内部和大凹面表面。此外，还有反射用光探针，用于环境映射。

       渲染阴影功能通过光源空间和屏幕空间确定阴影区域，使用阴影贴图（如阴影映射）和层叠式阴影贴图技术来减少透视走样的问题，提高渲染效率和精度。通过这些技术，Unity 3D能为游戏场景提供丰富多样的光照效果和阴影细节。

3d稀疏卷积——spconv源码剖析（五）

       介绍在构建的Rulebook指导下执行特定的稀疏卷积计算，关注于类SparseConvolution，其代码位于spconv/conv.py。

       Fsp.indice_subm_conv和Fsp.indice_conv经过spconv/functional.py中的SubMConvFunction和SparseConvFunction对象转换，最终会调用spconv/ops.py模块中的indice_conv等函数。

       专注于子流线卷积接口：indice_subm_conv，其代码位于spconv/functional.py。

       通过Python接口调用底层C++函数可能不够直观，因此使用torch.autograd.Function封装算子底层调用，该类表示PyTorch中的可导函数，具备前向推理和反向传播实现时，即可作为普通PyTorch函数使用。

       值得注意的是，Function类在模型部署中具有优势，若定义了symbolic静态方法，此Function在执行torch.onnx.export()时，可依据symbolic定义规则转换为ONNX算子。

       apply方法是torch.autograd.Function的一部分，此方法负责在前向推理或反向传播时的调度工作。通过将indice_subm_conv = SubMConvFunction.apply简化为indice_subm_conv接口，简化了算子使用，屏蔽了SubMConvFunction的具体实现。

       SubMConvFunction的前向传播方法forward调用spconv/ops.py的indice_conv函数。在src/spconv/all.cc文件中，通过PyTorch提供的OP Register对底层C++API进行注册。

       通过torch.ops.load_library加载.so文件，使用torch.ops.spconv.indice_conv调用src/spconv/spconv_ops.cc文件中的indiceConv函数。

       深入探索src/spconv/spconv_ops.cc文件中的indiceConv函数。

       代写部分代码内容...

3d稀疏卷积——spconv源码剖析（一）

       本文主要阐述卷积的基本理论，并以spconv源码为例进行解析。首先，介绍2D与3D卷积的基础知识及其分类。随后，深入探讨3D稀疏卷积的工作原理。

       2D卷积涉及卷积核在二维图像空间上的滑动操作。它分为单通道卷积与多通道卷积。单通道卷积在输入图像的单一通道上进行，得到特征图。多通道卷积在同一图像中不同通道上进行，每个通道得到一个对应的新通道，最终通过相加生成特征图。

       3D卷积在此基础上扩展到三维空间，涉及单通道与多通道情况。三维单通道卷积在立方体上进行，而三维多通道卷积则处理拥有多个通道的三维图像。

       2D与3D卷积计算涉及输入层、输出层与参数关系的数学公式。考虑偏置参数与计算量，FLOPS（浮点运算量）也在此阶段被计算。

       稀疏卷积分为SC（Sparse Convolution）与VSC（Valid Sparse Convolution）两种类型。SC卷积计算激活站点并丢弃非激活站点，而VSC卷积在SC的基础上进行了简化。

       卷积神经网络对三维点云数据处理时，面临计算量增加的问题，而SC与VSC卷积利用稀疏性实现高效处理。构建输入与输出哈希表，对点云数据进行快速访问。GetOffset()函数用于定位卷积操作的位置，Rulebook用于存储原子操作规则，指导稀疏卷积过程。

       稀疏卷积的关键在于构建输入、输出哈希表以及建立两者之间的联系，实现对稀疏数据的有效处理。spconv库中的get_indice_pairs函数通过调用getIndicePairs实现这一过程。

3d稀疏卷积——spconv源码剖析（三）

       构建Rulebook

       下面看ops.get_indice_pairs，位于：spconv/ops.py

       构建Rulebook由ops.get_indice_pairs接口完成

       get_indice_pairs函数具体实现：

       主要就是完成了一些参数的校验和预处理。首先，对于3d普通稀疏卷积，根据输入shape大小，kernel size，stride等参数计算出输出输出shape，子流行稀疏卷积就不必计算了，输出shape和输入shape一样大小

       准备好参数之后就进入最核心的get_indice_pairs函数。因为spconv通过torch.ops.load_library加载.so文件注册,所以这里通torch.ops.spconv.get_indice_pairs这种方式来调用该函数。

       算子注册：在src/spconv/all.cc文件中通过Pytorch提供的OP Register(算子注册的方式)对底层c++ api进行了注册，可以python接口形式调用c++算子

       同C++ extension方式一样，OP Register也是Pytorch提供的一种底层扩展算子注册的方式。注册的算子可以通过 torch.xxx或者 tensor.xxx的方式进行调用，该方式同样与pytorch源码解耦，增加和修改算子不需要重新编译pytorch源码。用该方式注册一个新的算子，流程非常简单：先编写C++相关的算子实现，然后通过pytorch底层的注册接口（torch::RegisterOperators），将该算子注册即可。

       构建Rulebook实际通过python接口get_indice_pairs调用src/spconv/spconv_ops.cc文件种的getIndicePairs函数

       代码位于：src/spconv/spconv_ops.cc

       分析getIndicePairs直接将重心锁定在GPU逻辑部分，并且子流行3d稀疏卷积和正常3d稀疏卷积分开讨论，优先子流行3d稀疏卷积。

       代码中最重要的3个变量分别为：indicePairs，indiceNum和gridOut，其建立过程如下：

       indicePairs代表了稀疏卷积输入输出的映射规则，即Input Hash Table 和 Output Hash Table。这里分配理论最大的内存，它的shape为{ 2,kernelVolume,numAct}，2表示输入和输出两个方向，kernelVolume为卷积核的volume size。例如一个3x3x3的卷积核，其volume size就是(3*3*3)。numAct表示输入有效(active)特征的数量。indiceNum用于保存卷积核每一个位置上的总的计算的次数，indiceNum对应中的count

       代码中关于gpu建立rulebook调用create_submconv_indice_pair_cuda函数来完成，下面具体分析下create_submconv_indice_pair_cuda函数

       子流线稀疏卷积

       子流线稀疏卷积是调用create_submconv_indice_pair_cuda函数来构建rulebook

       在create_submconv_indice_pair_cuda大可不必深究以下动态分发机制的运行原理。

       直接将重心锁定在核函数：

       prepareSubMGridKernel核函数中grid_size和block_size实则都是用的整形变量。其中block_size为tv::cuda::CUDA_NUM_THREADS,在include/tensorview/cuda_utils.h文件中定义，大小为。而grid_size大小通过tv::cuda::getBlocks(numActIn)计算得到,其中numActIn表示有效(active)输入数据的数量。

       prepareSubMGridKernel作用：建立输出张量坐标(通过index表示)到输出序号之间的一张哈希表

       见：include/spconv/indice.cu.h

       这里计算index换了一种模板加递归的写法，看起来比较复杂而已。令：new_indicesIn = indicesIn.data()，可以推导得出index为：

       ArrayIndexRowMajor位于include/tensorview/tensorview.h，其递归调用写法如下：

       接着看核函数getSubMIndicePairsKernel3：

       位于：include/spconv/indice.cu.h

       看：

       上述写法类似我们函数中常见的循环的写法，具体可以查看include/tensorview/kernel_utils.h

       NumILP按默认值等于1的话，其stride也是gridDim.x*blockDim.x。索引最大值要小于该线程块的线程上限索引blockDim.x * gridDim.x，功能与下面代码类似：

       参考： blog.csdn.net/ChuiGeDaQ...

MMDetection3D之DETR3D源码解析：整体流程篇

       关于torch.distributed.launch的更多细节： blog.csdn.net/magic_ll/...

       设置config file和work dir，work dir保存最终config，log等信息，work dir默认为path/to/user/work_dir/

       作者将自定义的部分放在 'projects/mmdet3d_plugin/' 文件夹下，通过registry类注册模块，这里利用importlib导入模块并初始化自定义的类。

       这里设置模型的输出信息保存路径、gpus等模型的运行时环境参数

       这里初始化模型，初始化train_dataset和val_dataset

       这部分完成了DataLoader的初始化，runner和hooks的初始化，并且按照workflow运行runner。