1.Unity-GameFramework框架（四）—— 对象池
2.Jedis连接池究竟是源码何物？
3.[UVM源代码研究] 如何定制一款个性化的打印格式
4.PolarDB-X 源码解读（七）：私有协议连接的一生（CN篇）

Unity-GameFramework框架（四）—— 对象池

       对象池与引用池具有相似的功能，都是源码为了避免频繁创建和销毁对象而设计，常用于游戏实例中，源码并且加入了释放事件和更新机制。源码

       引用池主要用于代码中频繁使用的源码对象，例如任务、源码仿wps表单源码事件参数以及各种模块信息。源码

       获取对象池组件的源码成员函数可以在ObjectPoolComponent类中找到。

       创建对象池时，源码我们需要在源码中定义字典的源码key为名字和对象类型，value为对应类型的源码对象池。

       创建的源码对象池统一放置在m_ObjectPools这个总的对象池中。

       allowMultiSpawn表示是源码否允许对象被多次获取。

       atutoReleaseInterval表示对象池自动释放可释放对象的源码间隔。

       capacity表示对象池的源码容量，超过容量会自动释放对象。

       expireTime表示对象池中对象的过期时间，到时间会自动释放。

       priority表示对象池的优先级。

       获取对象时，会根据传入的key查询value列表，循环查询对象是否被占用，如果没有被占用则返回。

       IsInUse并不是bool类型管理，而是类似引用计数，将m_SpawnCount的数加1，参数表示对象被占用的次数，这样做主要是为了兼容m_AllowMultiSpawn参数，以了解对象被占用的次数和是否被占用。

       如果所有对象都被占用，会返回null，这时我们可以调用Register函数，多添加一个对象。

       在注册对象时，如果超过了设置的容量，对象池会自动释放所有对象。

       合理设置对象池容量和用完对象后进行释放是必要的。

       在GF中，多键值对字典的数据结构继承了.Net的迭代器接口，Key对应一个GF自身实现的列表。

Jedis连接池究竟是在线制作二维码简单源码何物？

       连接池是管理并回收资源的对象集合，以减少系统资源的创建和销毁开销，提升系统吞吐量，适用于创建/销毁资源耗时的场景。以Jedis为例，其底层使用的是GenericObjectPool作为连接池实现。业务从空闲连接队列获取连接，最长等待时间由maxWaitMillis决定。获取后，检查是否有效，关闭后再次放入空闲队列或销毁。连接池的参数如配置文件中详细列出，Spring-Data-Redis将参数进行收敛，用户主要配置参数较少，关键参数包括验证方法的启用和关闭。Jedis实例通过Spring-Data-Redis封装后，实现对连接池的管理，提供了BorrowObject方法获取连接和ReturnObject方法归还连接。其中BorrowObject方法可能从空闲队列获取或创建新连接，超过最大等待时间则抛出异常。ReturnObject方法负责归还连接并进行有效性验证。连接池还包括定期驱逐/保活机制、检查机制和抛弃机制，通过配置参数、源码分析和JMX工具实现连接状态监控和问题排查。了解连接池原理有助于提升资源管理效率，并在实际应用中根据业务需求优化配置。

[UVM源代码研究] 如何定制一款个性化的打印格式

       使用默认的打印格式时，执行如下代码：

       实际打印结果格式如下：

       查看UVM源代码，我们首先定位`uvm_info宏定义的位置：

       这段代码对uvm_info/uvm_warning/uvm_error/uvm_fatal等宏进行了描述，实际上是对uvm_report_*函数的封装。以`uvm_info为例，分析其执行过程，其中使用了全局函数uvm_report_enabled。

       这里又调用了uvm_root中定义的uvm_report_enabled函数。需要注意的是，在uvm_root中并未找到这个函数的定义。经过查找源代码，发现uvm_report_object中定义了uvm_report_enabled。

       为什么要通过uvm_root实例调用这个函数呢？这需要了解uvm类库的继承关系。通过分析，干溯源码燕窝一斤的价格我们发现通过调用uvm_root中uvm_report_enabled的函数，是因为uvm_root支持单例模式，可以获取uvm_root的单例句柄执行uvm_report_object中定义的自动继承的函数，避免了创建额外的实例。

       接下来分析函数执行过程，原本简单的获取severity对应的verbosity阈值设置，却涉及了severity的override问题。我们可以通过调用函数或运行时传入参数来对severity进行override。

       所有severity的override都记录在uvm_pool键值对severity_id_verbosities中。

       severity和verbosity枚举类型定义如下：

       回到uvm_report_object中行的代码，可以认为调用`uvm宏传入的verbosity值如果大于设置的verbosity阈值，则uvm_report_enabled返回0。另外行还有一种函数返回0的情况。

       关于uvm_action和verbosity的设置类似，不再展开。执行`uvm_info系列宏时，不仅需要考虑severity对应的verbosity_level的设置是否大于阈值，还需要考虑对severity设置的行为是否为UVM_NO_ACTION来判断uvm_report_enabled的返回值。

       本质上，执行的是uvm_report_server中的compose_message函数，该函数规定了uvm_info系列宏的打印格式。

       这个函数的参数filename和line是我们调用uvm_report_info传入的`uvm_file和`uvm_line。

       `__FILE__和`__LINE__是systemverilog的编译指令，在编译阶段被替换：`__FILE__被替换为当前文件的文件名，以字符串形式存在；`__LINE__被替换为当前文件的行号，以十进制数字形式存在。

       如果需要定义个性化的打印格式，可以通过从uvm_report_server继承一个类重写compose_message函数实现。需要注意的是，这里不能用set_type_override_by_type/name，因为uvm_report_server类没有使用uvm_object_utils注册，也没有实现get_type()函数，所以不能用传统的factory的override方法进行override。好在uvm_report_server已经预留好了子类server的覆盖函数set_server。

       这个静态函数可以直接使用类uvm_report_server进行调用。接下来，我们通过一个例子来看看如何实现个性化打印的定制。

       首先，我们定制自己的report_server：

       然后，在base_test中实例化并set_server：

       现在，两天成交量相同的源码我们来看看最初那句打印的执行情况：

       通过以上步骤，我们便实现了个性化的打印定制，该定制对4种severity同时生效。

PolarDB-X 源码解读（七）：私有协议连接的一生（CN篇）

       通过前文的介绍，大家基本了解了一条SQL在polardbx-sql中的解析和执行流程。由于polardbx-sql是无状态的计算节点，真正数据需要从存储节点传输到计算节点，这部分工作由私有协议完成。本文将详细介绍从发送请求到存储节点，接收返回数据的完整流程，重点在于私有协议连接的生命周期和关键代码解析。

       概述

       为了提高数据节点本地计算能力，同时减少网络数据传输量，计算节点会尽可能下推计算内容。一个逻辑表可能需要多个物理分片，因此计算节点与存储节点的请求会话数量会随着分片数增加而增加。传统MySQL协议+连接池架构已不能满足PolarDB-X的需求，因此私有协议在这一需求场景下应运而生。

       如图所示，私有协议采用连接与会话分离的RPC协议设计理念，支持多个会话在同一个TCP通道中并行运行，具备流控机制、全双工响应式工作模式和高吞吐、可扩展等特性。

       更多关于私有协议解决上述问题的设计详情，可以参考《PolarDB-X私有协议设计》一文。本文主要从代码层面详细描述私有协议的工作流程。

       我们将从计算节点和存储节点两个角度完整解析私有协议连接的生命周期。篇幅限制，本文仅关注计算节点上私有协议的处理，存储节点部分将在后续文章中详细说明。

       计算节点

       计算节点作为私有协议的客户端，负责发送下推请求，并接收返回的数据。

       网络层框架

       PolarDB-X私有协议网络层采用定制化Reactor框架实现，基于Java的NIO，改进自polardbx-sql中的Reactor框架。网络层初始化时，设置CPU核心数的2倍（上限为）作为NIOProcessor，每个Reactor使用独立的以一敌十指标源码堆外内存池作为收发包缓冲，总缓冲内存大小限制为堆内存大小的%。

       NIO接收的包直接调用注册的处理函数，发送数据仅写入send buf，网络写入由单独线程完成。线程优先写入TCP send buf，当无法写入时，注册OP_WRITE事件等待可写后再写入剩余内容。

       数据包的编码和解码在NIOClient中实现。为实现最佳性能，解包流程直接在堆外内存上进行，使用protobuf对流直接解析，将结果放入堆内。堆外内存被切分为KB chunk，每个Reactor独占一个chunk，连续解析和复用，最大化接收、解析效率。对于特大包，额外构造堆内大buffer接收和解析，回退标志在定时任务中重置，连续s无超大包时释放堆内内存，恢复高性能堆外KB buffer接收。

       请求发送集成在NIOClient中，writer优先尝试写入发送缓冲队列尾部的buffer，不足时新申请buffer填充并追加到队尾。buffer来自预分配的堆外缓冲池，超过chunk大小时分配堆内buf进行序列化。

       同时，NIOClient负责TCP连接的建立和断开资源释放，作为独立的底层网络资源管理实现。

       连接及会话

       网络层之后，我们聚焦连接与会话分离的具体实现。通过剥离连接及收发包的具体实现，连接和会话的管理变得更加清晰简洁。

       首先，一个TCP连接的逻辑抽象结构在XClient中实现，为避免误解，取名为client与JDBC中的Connection区别。该类管理TCP连接和并行运行的会话，负责TCP完整生命周期的管理、认证鉴权，并维护公共信息。其中，workingSessionMap记录了连接上并行运行的所有会话映射关系，可快速通过会话ID找到对应的会话抽象结构XSession。

       XSession提供了所有会话相关的请求函数和信息存储，包括执行计划请求、SQL查询请求、SQL更新请求、TSO请求、会话变量处理、数据包处理及异步唤醒等。

       连接池及全局单例管理器

       为了提高性能，TCP连接和会话的复用必不可少。由于连接和会话的解绑，连接池不仅缓存了到计算节点的TCP连接，也缓存了到计算节点的会话。

       XClientPool管理到一个存储节点的连接池，通过IP，端口，用户名三元组唯一确定目标存储节点，同时存储该节点的全部TCP连接（XClient）和建立的会话（XSession）。

       XClientPool实现存储节点会话获取，对应JDBC接口中的getConnection，同时实现连接和会话生命周期管理、连接探活、会话预分配等功能。实现单个存储节点连接池后，XConnectionManager维护目标存储节点三元组到实例连接池的映射，管理定时任务线程池，实现定时探活、会话&连接最长生命控制以及连接池预热等功能。

       JDBC兼容层

       新的SQL协议层对上层使用者要求较高，为了提高开发效率，私有协议提供兼容JDBC的使用方法，实现从JDBC平滑切换至私有协议，并支持协议热切换。

       JDBC兼容层代码目录在compatible目录下，Connection继承在XConnection文件中。提供包括DataSource、Connection、Statement、PreparedStatement、ResultSet、ResultSetMetaData在内的大部分常用接口函数实现，不支持的函数会明确抛出异常避免误用。

       整体关系

       至此，私有协议计算节点端的大部分结构已说明完成。给出一个整体的关系图。

       私有协议连接的一生（CN视角）

       了解了私有协议各层实现后，我们以发到存储节点的请求为例，完整梳理执行流程。绕开计算节点复杂流程，直接运行代码示例（注：需将com.alibaba.polardbx.rpc.XConfig#GALAXY_X_PROTOCOL设置为true）。

       直接运行playground看到预期的select 1的结果。接下来，我们深入跟踪说明。

       数据源初始化

       要使用私有协议，需要初始化对应存储节点的XDataSource。构造过程中，XDataSource会到XConnectionManager注册新的实例连接池，已存在的连接池引用计数加一。

       获取Connection

       当需要执行查询时，首先获取会话。无论是显式开启事务还是使用auto commit事务，会话都是执行请求的最小上下文。通过XDataSource的getConnection方法获取到对应存储节点的会话。XDataSource根据存储的IP，端口，用户名三元组查找到XConnectionManager中的连接池，在最高并发检查后，会话获取逻辑在XClientPool实现。首先尝试在空闲会话池中拿会话，通过重置检查和初始化后返回给调用者。大部分场景下，ConcurrentLinkedQueue提供较好的并发性能。

       在代码场景下，数据源刚新建，后台定时任务未运行，流程进入连接创建流程。会有一把大锁锁住连接池，在TCP连接未达上限且没有超时的情况下，快速新建一个XClient占坑。若超限，则进入busy waiting循环。真正的TCP connect（waitChannel）在锁外被调用，首先client以阻塞模式带超时方式connect，然后切换为非阻塞模式，round robin策略注册到NIOProcesser上，返回时，TCP连接已建立。

       为了兼顾安全和性能，连接鉴权在TCP建连后只用做一次，会话创建不需要鉴权。鉴权在initClient中完成，发送SESS_AUTHENTICATE_START_VALUE包，后续校验由回调完成。认证采用标准的MySQL认证流程，server端返回challenge值，库名、用户名和加盐hash后的密码返回给MySQL即可完成认证。

       至此，到存储节点的TCP连接已建立，创建会话是一个异步流程。在创建新XClient时，XConnection已new好，通过下断点跟进去可看到newXSession流程，分配session id，设置状态为init，将XSession绑定到XConnection上。

       最后，XConnection经过初始化（重置auto commit状态）、重置默认DB、默认字符集（lazy操作）和统计信息记录，返回给用户使用。

       发送查询请求

       拿到初始化好的兼容JDBC的Connection，为了简化流程，直接调用XConnection中的execQuery。XConnection的execQuery包装了XSession的execQuery，执行前执行了设置流式模式。

       首先记录调用信息进行统计，进入关键的initForRequest流程。XSession初始化流程lazy，仅分配session id，设置状态为Init，真正创建session时发送SESS_NEW给server，绑定新session和session id。如果session已复用，则状态为Ready。

       执行字符集更改的lazy操作，session可能在其他请求中切换字符集，根据目标字符集和当前字符集对比，决定是否发送额外的字符集更改请求。

       经过一系列变量设置、lazy DB设置和protobuf包构造，请求发送到存储节点执行。发送后，同步生成XResult负责结果解析，同时XResult按照请求顺序依次拉链表，确保结果与请求一一对应。

       请求流水线结构如下图所示，处理完成前序请求后，才能解析后续结果。

       接收结果集

       请求已发送到存储节点执行，拿到XResult，通过XResult收集查询结果集。XResult与发送请求一一对应，存储节点处理也是在会话上排队进行，不会影响流水线上其他请求的返回，保证流水线正常工作。

       首先，查看结果集处理的状态机，主要状态包括获取元数据、获取数据行、获取额外信息等，顺序固定，根据请求类型，部分环节可能被省略。报错处理贯穿整个状态机，任何报错信息都会导致状态机进入错误处理环节。

       对于非流式数据读取，请求结束时主动调用finishBlockMode将所有数据读出并缓存到rows中。对于流式执行的情况，结果集状态机消费数据包队列由XResult的next函数推动，内部函数internalFetchOneObject递归调用前序XResult，消费前序请求结果，从数据包队列中消费并推动状态机流转。

       对于查询，首先收到RESULTSET_COLUMN_META_DATA包，表示返回数据列定义，一个包表示一列。元数据包后，收到包含数据行的RESULTSET_ROW包，一个包对应一行。数据行传输完成后，server端发送RESULTSET_FETCH_DONE标示数据发送完成。请求结束前，NOTICE包用于告知客户端rows affected等信息。最后，SQL_STMT_EXECUTE_OK包标示请求结束。

       至此，完整请求处理完成，控制台应显示查询结果。

       总结

       本文详细描述了私有协议连接流程中的关键点和关键数据结构，相信通过本文描述，大家掌握了私有协议连接流程的基本点，在调试和修改使用中能够更加得心应手。虽然本文篇幅较长，但实际使用中涉及更多高级特性的使用，如多请求流水线、流控、执行计划传输、chunk结果集传输等。通过本文，我们对私有协议连接流程有了深入理解，为在实际场景中应用提供坚实基础。