1.TensorFlow 源码大坑(2) Session
2.TFlite 源码分析(一) 转换与量化
3.序列化推荐中的源码GRU与Transformer源码解析之一
4.极简入门TensorFlow C++源码
5.bert源码解析
6.tf.embedding_lookup(sparse)详解

TensorFlow 源码大坑(2) Session

       深入探讨TensorFlow源码中的Session机制，揭示其运行机制和复杂性。解读从Python和C++两端的源码Session API入手，解析其调用栈，解读解析内部工作流程。源码Python端的解读招聘管理系统 源码tf.Session().run()方法，通过初始化调用栈，源码实现计算图的解读执行。C++端的源码ClientSession.run()同样展示了Session运行机制，揭示了底层实现细节。解读对比之下，源码DirectSession作为Session的解读基类，展示了如何构建Executor并具体运行计算图，源码为理解TensorFlow的解读高效计算逻辑提供了深入视角。

       深入解析Python端tf.Session().run()方法的源码调用栈，揭示了其如何通过初始化调用栈来执行计算图的全过程。从创建Session到调用run方法，每一次调用都紧锣密鼓地执行一系列操作，确保计算图能够正确运行，这使得理解TensorFlow的执行流程变得清晰。

       同时，C++端的ClientSession.run()方法提供了另一种视角，展示了Session运行机制在底层语言中的实现。通过对比Python和C++端的实现，可以更深入地理解TensorFlow在不同环境下的兼容性和性能优化。

       DirectSession作为Session的基类，展示了如何构建Executor并具体运行计算图。通过分析DirectSession的run方法和构建过程，可以理解TensorFlow在执行计算图时的灵活性和高效性，以及如何通过Executor优化计算流程。

       总之，深入研究TensorFlow源码中的Session机制，不仅能够揭示其复杂性，还能为开发者提供优化计算图执行流程、提升模型训练效率的策略，是理解TensorFlow内核机制的关键。

TFlite 源码分析(一) 转换与量化

       TensorFlow Lite 是 Google 推出的用于设备端推断的开源深度学习框架，其主要目的是将 TensorFlow 模型部署到手机、嵌入式设备或物联网设备上。它由两部分构成：模型转换工具和模型推理引擎。

       TFLite 的核心组成部分是转换（Converter）和解析（interpreter）。转换主要负责将模型转换成 TFLite 模型，并完成优化和量化的过程。解析则专注于高效执行推理，在端侧设备上进行计算。

       转换部分，主要功能是通过 TFLiteConverter 接口实现。转换过程涉及确定输入数据类型，abp api项目源码如是否为 float、int8 或 uint8。优化和转换过程主要通过 Toco 完成，包括导入模型、模型优化、转换以及输出模型。

       在导入模型时，`ImportTensorFlowGraphDef` 函数负责确定输入输出节点，并检查所有算子是否支持，同时内联图的节点进行转换。量化过程则涉及计算网络中单层计算的量化公式，通常针对 UINT8（范围为 0-）或 INT8（范围为 -~）。量化功能主要通过 `CheckIsReadyForQuantization`、`Quantize` 等函数实现，确保输入输出节点的最大最小值存在。

       输出模型时，根据指定的输出格式（如 TensorFlow 或 TFLite）进行。TFLite 输出主要分为数据保存和创建 TFLite 模型文件两部分。

       量化过程分为选择量化参数和计算量化参数两部分。选择量化参数包括为输入和权重选择合适的量化参数，这些参数在 `MakeInitialDequantizeOperator` 中计算。计算参数则使用 `ChooseQuantizationParamsForArrayAndQuantizedDataType` 函数，该函数基于模板类模板实现。

       TFLite 支持的量化操作包括 Post-training quantization 方法，实现相关功能的代码位于 `tools\optimize\quantize_model.cc`。

序列化推荐中的GRU与Transformer源码解析之一

       GRU4Rec源码(TF版本)：github.com/Songweiping/...

       Transformer源码：github.com/kang/SASR...

       序列化推荐领域中，GRU4Rec成功地将循环神经网络(NLP和时序预测常用)应用至推荐领域，此模型取得了良好效果。紧随其后的是"SASR"，基于注意力机制的自适应序列推荐模型，实验表明其性能超越了GRU4Rec。

       两篇论文的作者均在源码公开阶段，为研究者提供参考。我们深入剖析源码，后续系列文章将比较GRU4Rec与SASR的差异、联系与优缺点。

       GRU4Rec模型结构简洁，采用门限循环神经网络，Embedding层处理item_id的one_hot编码，降低维度，便于优化。

       并行化训练数据集优化了模型训练速度，构建了training_batch，便于使用GPU加速矩阵运算。

       负采样技术提高了训练频率，利用同一时刻不同session中的item作为负样本。

       模型设计了贝叶斯排序和TOP1等pairwise方法计算排序损失，鼠标自动点击 源码认为pairwise结果优于pointwise。

       实验数据集包括RSC和私有VIDEO集，结果表明GRU4Rec模型性能优秀，测试集评价指标包括召回率(recall)和倒序排名得分(mrr)。

       深入分析模型的Tensorflow版本代码，主要从main.py和model.py文件开始，重点解析模型定义、损失函数、GRU4Rec核心代码、数据集初始化、模型训练与预测以及评估函数。

       GRU4Rec的代码分析暂告一段落，后续将详细梳理SASR代码，目标是通过三篇文章全面探讨两个模型的细节。感谢关注。

极简入门TensorFlow C++源码

       前一段时间，我专注在框架开发上，并偶尔协助业务同学优化使用TensorFlow的代码。在观看dmlc/relay、nnvm的代码时，我发现了它们的有趣之处。我也对TensorFlow的Graph IR、PaddlePaddle的Graph IR产生了兴趣，上周五在阅读代码时，无意间听到了一个数据竞赛群讨论框架的底层实现。几位算法大佬提到了看底层源码可能较为繁琐，因为这类代码通常相对容易理解。在与群内伙伴的交流后，我萌生了撰写一篇关于如何阅读TensorFlow或其他框架底层源码的文章。

       选择合适版本的bazel，对于阅读TensorFlow源码至关重要。应使用版本为0..0的bazel来拉取TF2.0代码，因为太高的版本或太低的版本可能影响阅读体验。在安装了合适的bazel版本后，使用clion上的bazel插件进行导入，然后配置编译，导入项目，等待clion编译整个项目。完成编译后，就能愉快地阅读代码，甚至于protobuf生成的文件也能轻松跳转。

       使用c++编译模型是TensorFlow的另一面。尝试使用c++编写模型代码，可以深入理解TensorFlow的底层机制。主要函数包括CreateGraphDef、ConcurrentSteps、ConcurrentSessions等。kx驱动源码构建通过这些函数，可以构建计算图，定义节点、常量变量、操作符等。这为理解TensorFlow的逻辑提供了直观的视角。

       深入分析代码后，可以了解到TensorFlow的GraphDef机制、Square类的实现、注册到特定op的过程、functor的使用以及最终的实现逻辑。这有助于理解TensorFlow的核心原理，并在阅读源码时进行更深入的思考。

       除了阅读源码，还可以通过编写测试用例来增强理解。TensorFlow提供了丰富的测试用例，如在client_session_test.cc中运行测试程序，可以验证代码的正确性。这不仅有助于理解代码，还能提高对TensorFlow框架的掌握程度。

       阅读源码只是理解TensorFlow原理的开始，深入行业论文和请教行业专家是进一步深入学习的关键。网络上关于机器学习系统的资料丰富多样，但缺少系统性的课程。希望官方能够分享更多框架的干货，并期待在学习过程中总结和分享更多资源。阅读源码虽然复杂，但其背后蕴含的原理和逻辑十分有趣。

bert源码解析

       训练数据生成涉及将原始文章语料转化为训练样本，这些样本按照目标（如Mask Language Model和Next Sentence Prediction）被构建并保存至tf_examples.tfrecord文件。此过程的核心在于函数create_training_instances，它接受原始文章作为输入，输出为训练instance列表。在这一过程中，文章首先被分词，随后通过create_instances_from_document函数构建具体训练实例。构建实例流程如下：

       确定最大序列长度后，Next Sentence Prediction任务被构建。选取文章的开始位置至结尾，确保生成的句子集长度至少等于最大序列长度。在此集合中随机挑选一个位置（a_end），将句子集分为两部分：前部分作为序列A，而后部分有%的概率成为序列B，剩余%则随机选择另一篇文章的句子集（总长度不小于「max_seq_length-序列A」），形成Next Sentence Prediction任务。

       Mask language model任务构建通过将序列A和序列B组合成一个训练序列tokens，并对其进行掩码操作实现。app的源码销售掩码操作以token为单位，利用WordPiece进行分词，确保全词掩码模式下的整体性，无论是全掩码还是全不掩码。每个序列以masked_lm_prob（0.）概率进行掩码，对于被掩码的token，%情况下替换为[MASK]，%保持不变，%则替换为词表中随机选择的单词。返回结果包括掩码操作后的序列、掩码token索引及真实值。

       训练样本结构由上述处理后形成，每条样本包含经过掩码操作的序列、掩码token的索引及真实值。

       分词器包括全词分词器（FullTokenizer），它首先使用BasicTokenizer进行基础分词，包括小写化、按空格和标点符号分词，以及中文的字符分词，随后使用WordpieceTokenizer基于词表文件对分词后的单词进行WordPiece分词。

       模型结构从输入开始，经过BERT配置参数，包括WordEmbedding、初始化embedding_table、embedding_postprocessor等步骤，最终输出sequence和pooled out结果。WordEmbedding负责将输入token（input_ids）转换为其对应的embedding，包括token embedding、segment embedding和position embedding。embedding_postprocessor在得到的token embedding上加上position embedding和segment embedding，然后进行layer_norm和dropout处理。

       Transformer Model中的attention mask根据input_mask构建，用于计算attention score。self attention过程包括query、key、value层的生成，query与key相乘得到attention score，经过归一化处理，并结合attention_mask和dropout，形成输出向量context_layer。随后是feed forward过程，包括两个网络层：中间层（intermediate_size，激活函数gelu）和输出层（hidden_size，无激活函数）。

       sequence和pooled out分别代表最后一层的序列向量和[CLS]向量的全连接层输出，维度为hidden_size，激活函数为tanh。

       训练过程基于BERT产生的序列向量和[CLS]向量，分别训练Mask Language Model和Next Sentence Prediction。Mask Language Model训练通过get_masked_lm_output函数，主要输入为序列向量、embedding table和mask token的位置及真实标签，输出为mask token的损失。Next Sentence Predication训练通过get_next_sentence_output函数，本质为一个二分类任务，通过全连接网络将[CLS]向量映射，计算交叉熵作为损失。

tf.embedding_lookup(sparse)详解

       嵌入查找是一种从矩阵中根据ID索引对应值的方法，适用于处理离散特征。

       假设embw1为一个行5列的矩阵，即表示一个拥有个类别的单值离散特征（例如商品ID）的初始化权重嵌入矩阵，嵌入大小为5。如果feature1是一个序列多值稀疏特征，批量大小为4，序列特征长度为3，经过嵌入查找后，转换为(4,3,5)的张量。这种方法在DIN源码中有所应用。

       如果feature2是单值稀疏特征，批量大小为4，经过嵌入查找后，转换为(4,5)的张量。这表示是从emb_w1的特定行进行行索引。

       第二部分，嵌入查找稀疏主要参考博客，引入了从CSV文件中读取和解析数据的操作。需要注意在CSV解析时，确保每一行前有固定的索引值，否则可能会报错。假设CSV解析的index是固定的使用方法，若采用逐行解析的reader形式，则index是自带的。目前尚未实现使用reader形式解析的博客链接。

       总体而言，嵌入查找和嵌入查找稀疏在处理稀疏数据时，提供了高效的方法来转换和处理特征，为模型训练提供了有力的支持。

Dive into TensorFlow系列（1）-静态图运行原理

       接触过TensorFlow v1的朋友都知道，训练一个TF模型有三个步骤：定义输入和模型结构，创建tf.Session实例sess，执行sess.run()启动训练。不管是因为历史遗留代码或是团队保守的建模规范，其实很多算法团队仍在大量使用TF v1进行日常建模。但背后的运行原理大家是否清楚呢？今天让我们一起来探个究竟。

       学习静态图运行原理能干什么？掌握它对我们TF实践中的错误排查、程序定制、性能优化至关重要，是必备的前置知识。

一、何为静态图？

       众所周知，TensorFlow程序有两种运行选择，即静态图模式与动态图模式。

1.1 静态图

       静态图采用声明式编程范式（先编译后执行），根据前端语言（如python）描述的神经网络结构和参数信息构建固定的静成计算图。静态图在执行期间不依赖前端语言，而是由TF框架负责调度执行，因此非常适合做神经网络模型的部署。用户定义的静态图经序列化后用GraphDef表达，其包含的信息有：网络连接、参数设置、损失函数、优化器等。

       有了完整的静态图定义后，TF编译器将计算图转化成IR（中间表示）。初始IR会经TF编译器一系列的转换和优化策略生成等价的计算图。编译器前端转换和优化包括：自动微分、常量折叠、公共子表达式消除；编译器后端与硬件相关，其转换和优化包括：代码指令生成和编译、算子选择、内存分配、内存复用等。

二、Session是干啥的？

2.1 Session定义

       tf.Session代表用户程序和C++运行时之间的连接。一个Session类对象session可以用来访问本机计算设备，也可访问TF分布式运行时环境中的远程设备。session也能缓存tf.Graph信息，使得相同计算逻辑的多次执行得以高效实现。

       tf.Session的构造方法定义如下：我们来看一下__init__()方法的三个参数：

2.2 Session.run()

tf.Session.run()实际是调用tf.BaseSession.run()方法，其函数签名如下：

       run()方法的参数说明如下：当Session指定fetches后，根据要获取的结果决定tf.Graph实际执行的subgraph（并非整个tf.Graph都要执行）。执行静态图还有三个要点：首先我们看一下和用户直接打交道的前端Session，具体分为普通Session和交互式InteractiveSession。前者全称为tf.Session，需要在启动之前先构建完整的计算图；后者全称为tf.InteractiveSession，它是先构建一个session，然后再定义各种操作，适用于shell和IPython等交互式环境。这两个类均继承自BaseSession，这个基类实现了整个生命周期的所有会话逻辑（相关代码在tensorflow/python/client/session.py中）。前端Session类的继承关系如下图：

       TensorFlow后端会根据前端tf.Session(target='', graph=None, config=None)创建时指定的target来创建不同的后端Session。target是要连接的TF后端执行引擎，默认为空字符串。后端Session的创建采用抽象工厂模式，如果为空字符串，则创建本地DirectionSession；如果是grpc://开头的URL串，则创建分布式GrpcSession。

三、静态图执行过程

       为便于大家理解，我们先给出粗粒度的静态图执行原理如下：静态图的实际执行过程要比上文描述的复杂得多。由于本篇的初衷不是做源码的完整剖析，因此我们仅就Client向Master的处理过程做详细说明，旨在让读者亲身体会一下交互过程的复杂性。Client创建GrpcSession，控制Client会话的生命周期；Master运行时被MasterSession控制。GrpcSession通过抽象工厂模式得到，首先得到工厂类GrpcSessionFactory的对象，并用SessionFactory句柄factory存储。然后通过factory的多态方法生成GrpcSession，如果target为grpc://的话。Master本质上是一个Server，每个Server均有一个MasterService和一个WorkerService。Client通过GrpcSession调用Master节点的MasterService，这个过程需借助MasterInterface才可完成。MasterInterface用来和MasterService进行通信，它有两种不同的场景实现：如果读者想对上述过程做更为深入的了解，可以参考关键类的源码。

四、总结

       作为Dive into TensorFlow系列第一讲，本文由浅入深、系统讲解了静态图及其运行原理，以及支撑这些功能的架构设计与部分源码解析。回到文章开头提到的用户读懂全文能有什么收益？（尝试提几点）

       参考文献：

Graphs and Sessions：github.com/tensorflow/d... 《机器学习系统：设计与实现》：openmlsys.github.io/cha... 前后端连接的桥梁Session：likecs.com/show-... TensorFlow v1..5源码：github.com/tensorflow/t... TensorFlow Architecture：github.com/tensorflow/d... TensorFlow分布式环境Session：cnblogs.com/rossiXYZ/p...

[推理部署]👉Mac源码编译TensorFlow C++指北

       在Mac环境下编译TensorFlow C++源码，需要完成以下步骤，以避免可能的编译问题，确保顺利构建。

       首先，确认系统环境满足要求。需有Xcode和Command Line Tools，JDK 1.8.0版本以支持编译过程中所需的Java环境，以及Bazel工具，TensorFlow依赖此工具进行编译。特别注意Bazel版本需与TensorFlow对应，如TensorFlow 1.对应Bazel 0..1。

       接下里，安装依赖，包括JDK和Bazel。JDK安装时需检查电脑中是否已安装，并确保正确安装。使用HomeBrew安装Bazel，通过命令行接受协议，并使用`--user`指令确保安装在个人目录的`bin`文件夹下，同时设置`.bazelrc`路径为`$HOME/.bazelrc`。

       安装自动化工具`automake`和使用Python3.7.5在虚拟环境中构建TensorFlow C++源码。推荐使用清华镜像源加速`pip`的安装过程。通过`git clone`方式下载TensorFlow源码，确保checkout至r1.分支。调整域名映射以提升`git clone`速度。

       进行编译选项配置，通常在TensorFlow文件夹内运行命令，根据提示选择默认选项。

       开始编译TensorFlow，此过程可能需要较长时间，完成后，应在`bazel-bin/tensorflow`目录下找到编译好的`libtensorflow_cc.so`和`libtensorflow_framework.1.dylib`文件。

       若遇到`Undefined symbols for architecture x_: “_CFRelease”`错误，这通常与创建软连接有关，无需特别处理。若需要手动安装额外依赖库，如Eigen3，可参考相关指南。

       编译完成后，可对C++接口进行测试，验证编译过程的正确性。通常情况下，Mac下的TensorFlow 1. C++源码编译完成。

       最后，编译TFLite，生成的动态链接库将保存在指定目录下。在`CMakelists.txt`文件中增加对应配置项，以完成TFLite的构建。

       总结而言，Mac下TensorFlow 1. C++源码编译及TFLite的构建，需要遵循上述步骤，并确保环境与工具版本的兼容性，以顺利进行编译过程。Linux系统下的编译方式相似，但具体细节可能有所不同。

探索TensorFlow核心组件系列之Session的运行源码分析

       TensorFlow作为一个前后端分离的计算框架，旨在实现前端在任何设备、任何位置上使用API构建模型，而不受硬件资源限制。那么，TensorFlow是如何建立前后端的连接呢？在这一过程中，Session起着关键桥梁作用，它连接前后端通道，并通过session.run()触发计算，将前端的计算图转化为graphdef pb格式发送至后端。后端接收此格式，将计算图重建、剪枝、分裂，并分配到设备上，最终在多个Executor上执行计算。

       Session管理着计算图、变量、队列、锁、设备和内存等多种资源，确保资源安全、高效地使用。在Session生命周期中，包含创建、运行、关闭和销毁四个阶段，确保模型运行的正确性和效率。

       在Session创建时，使用BaseSession初始化，通过调用TF_NewSessionRef创建实例。此过程涉及确定图实例、判断混合精度设置以及创建Session。在分布式框架中，Python通过swig自动生成的函数符号映射关系调用C++层实现。

       Session运行主要通过session.run()触发，该方法在BaseSession的run()中实现，涉及创建fetch处理器、获取最终fetches和targets，调用_do_run方法启动计算，并输出结果。在本地模式下，Session初始化会生成DirectSession对象。

       综上所述，Session在TensorFlow架构中扮演着核心角色，连接前后端，管理资源，并确保模型高效、安全地运行。