1.MySQL XA事务源码分析
2.MySQL全文索引源码剖析之Insert语句执行过程
3.MySQL · 源码分析 · Subquery代码分析
4.100061深入理解MySQL数据库100061mysql
5.MySQL源码阅读1-启动初始化
6.MySQL源码包下载与使用教程详解mysql下载源码包教程
MySQL XA事务源码分析
事务类型外部 XA PREPARE 流程
省流版:
详细版:
外部 XA COMMIT 过程
省流版:
详细版:
外部 XA 2PC 阶段 Log 落盘顺序
------------------- XA PREPARE START -------------------------
------------------- XA PREPARE END -------------------------
.
.
.
.
.
.
------------------- XA COMMIT START -------------------------
------------------- XA COMMIT END -------------------------
本地事务 commit 流程
省流版
与外部 XA PREPARE 2PC 的码解不同
与外部 XA COMMIT 的不同
详细版:
------------------- PREPARE START -------------------------
------------------- PREPARE END -------------------------
------------------- COMMIT START -------------------------
------------------- COMMIT END -------------------------
外部 XA ROLLBACK 流程
省流版(Not Prepared Rollback 和 Prepared Rollback 的不同之处)
详细版
Not Prepared Rollback(在 end - prepare 之间 rollback)
Prepared Rollback(在 prepare 之后 rollback)
外部 XA RECOVERY 流程
省流版
详细版
本地事务 RECOVERY 流程
省流版
详细版
为什么只遍历最后一个binlog文件:
rotate 到新的 binlog 文件前,redo log 强制落盘,码解因此redo commit记录会落盘,码解保证老的码解binlog文件没有正在提交的事务
MySQL全文索引源码剖析之Insert语句执行过程
本文来源于华为云社区,作者为GaussDB数据库,码解探讨了MySQL全文索引源码中Insert语句的码解delphi项目源码执行过程。
全文索引是码解一种常用于信息检索的技术,它通过倒排索引实现,码解即单词和文档的码解映射关系,如(单词,码解(文档,码解偏移))。码解以创建一个表并在opening_line列上建立全文索引为例,码解插入'Call me Ishmael.'时,码解文档会被分为'call',码解 'me', 'ishmael'等单词,并记录在全文索引中。
全文索引Cache的作用类似于Change Buffer,用于缓存分词结果,避免频繁刷盘。Innodb使用fts_cache_t结构来管理cache,每个全文索引的表都会在内存中创建一个fts_cache_t对象。
Insert语句的执行分为三个阶段:写入行记录阶段、事务提交阶段和刷脏阶段。写入行记录阶段生成doc_id并写入Innodb的行记录,并将doc_id缓存。事务提交阶段对文档进行分词,获取{ 单词,升跌源码(文档,偏移)}关联对,并插入到cache。刷脏阶段后台线程将cache刷新到磁盘。
全文索引的并发插入可能导致OOM问题,可通过修复patch #解决。当MySQL进程崩溃时,fts_init_index函数会恢复crash前的cache数据。
MySQL · 源码分析 · Subquery代码分析
MySQL中的子查询源码分析深入探讨
在了解了MySQL中衍生表的前篇内容后,现在我们将聚焦于条件和投影中嵌套的子查询,这些在MySQL内部是通过Item_subselect来处理的。子查询在SQL中分为相关和非相关两种,MySQL在解析和语义检查后能判断其相关性,并可能在后续优化中调整。
所有子查询都属于Item_subselect类的子类,这个类的继承结构展示了MySQL支持的子查询类型和它们的标记。执行方式则由Subquery_strategy枚举决定,总共分为五种可能的策略,尽管优化过程涉及复杂函数,但重点在于理解整体流程。
MySQL对查询处理分为三个阶段:prepare、optimize和execute。在prepare阶段,从抽象语法树(AST)构建开始,主要针对子查询进行转换,虽涉及规则和复杂函数,glm源码解析但核心思路清晰。在这个阶段,仅留下标记为CANDIDATE_FOR_IN2EXISTS_OR_MAT的子查询,其执行方式在优化阶段决定。
优化阶段则基于代价估算,选择子查询的执行方式,是物化执行还是EXISTS方式。这个阶段的逻辑相当丰富,但这里仅关注子查询部分。
到了execute阶段,执行逻辑相对简单,根据先前的分析,总结了执行子查询的几种方式。总的来说,子查询处理的复杂性高于衍生表,特别是prepare阶段的变换,这为深入源码研究提供了初步框架。
深入理解MySQL数据库mysql
MySQL是一种开源的关系型数据库管理系统,被广泛应用于网站后台、企业级应用层等领域。尽管有不少人都能轻易地使用MySQL执行基本的查询、插入、更新等操作,但是如果想真正将MySQL用好,我们就需要深入了解MySQL的运行过程和工作原理。在这篇文章中,mpv源码开发我们将会探讨一些MySQL数据库的核心概念和技术,并通过代码来说明其细节。
一、MySQL的基本部分
MySQL由几个基本组件构成:服务器,存储引擎以及客户端。服务器处理HTTP请求并与存储引擎通信,存储引擎负责存储和检索数据,客户端则负责处理用户和服务器之间的通信。每个MySQL实例都是由一个服务器和一个或多个存储引擎组成。MySQL的存储引擎是插件式的,这意味着它可以通过插件的形式对数据库进行优化,以满足不同的需要。
二、MySQL的存储引擎
MySQL默认使用的存储引擎是InnoDB,它是一个事务性存储引擎,可以锁定表或行、执行事务以及处理外键约束。InnoDB使用B+树结构进行索引文件的存储,以提高创建索引的效率。MyISAM则是另一个MySQL存储引擎,它使用B树进行索引文件的存储,并在存储表中具有更好的性能。但是,MyISAM不支持事务和外键约束,可能会出现一些数据损坏的问题。
三、etl源码解析MySQL的查询优化
对于任何数据库管理系统而言,查询优化都是一项至关重要的任务。MySQL查询优化的目的是提高查询处理器的性能,让查询结果能够更快地返回给客户端。MySQL的查询优化器包含许多基本组件,如文本扫描器、联接优化器、排序器等。通过分析分区表、使用正确的索引以及选择正确的存储引擎,我们可以大大提高MySQL查询的效率。
四、MySQL的性能优化
要提高MySQL的性能,需要考虑多种因素,例如服务器硬件、存储引擎、查询效率、系统资源等等。我们还可以通过修改配置文件、增加缓存大小、使用数据分区以及优化查询语句来提高MySQL的性能。在MySQL查询执行期间,我们可以通过查看进程、配置缓存和追踪查询等方式来监控感兴趣的任务,以便及时调整和提高MySQL的性能。
综上所述,MySQL数据库是一款非常强大和易于使用的工具。当我们了解MySQL的各个方面时,就可以更好地控制和优化它以满足各种不同的需求。MySQL的源代码非常稳健,易于修改,这也是它成为全球主流数据库管理系统的一个原因。无论你是新手还是专业人士,深入了解MySQL都能让你受益匪浅。
MySQL源码阅读1-启动初始化
通过深入阅读MySQL源码,旨在学习并记录其内核知识。初次探索难免有错误或遗漏,欢迎指正,并期待在后续阅读中对笔记进行修正。
MySQL的启动初始化是关键步骤,涉及核心逻辑与执行流程。关注的入口函数位于`mysql-server-8.0/sql/mysqld.cc::mysqld_main`。
初始化阶段主要关注点包括启动MySQL中的线程,负责执行各种任务。MySQL在初始化时启动的线程种类多样,确保数据管理、查询执行与系统功能高效运作。
调用链显示了初始化过程中的函数调用关系,每个缩进代表一个函数调用,清晰地展示了初始化的执行流程。
总结而言,MySQL服务的初始化步骤复杂且关键,但通常不在日常关注范围内。初次阅读可能存在疏漏,期待在后续阅读中深入探索初始化与终止阶段的代码细节,持续优化理解。
MySQL源码包下载与使用教程详解mysql下载源码包教程
MySQL源码包下载和使用教程详解
MySQL是一种流行的开源关系型数据库管理系统,广泛应用于Web应用程序和企业级应用程序中。MySQL有一个庞大的社区贡献了大量的代码和文档,所以它拥有丰富的特性和功能。这篇文章将向您介绍如何下载和使用MySQL源码包。
下载MySQL源码包
MySQL源码包可以从官方网站下载(/downloads/mysql/)。在下载界面,您可以选择下载不同版本的源码包,包括社区版本和商业版本。社区版本可以免费下载,而商业版本则需要购买许可证才能使用。
使用Git获取MySQL源码
您也可以使用Git来获取MySQL源码,Git是Linux社区开发的分布式版本控制系统。在Linux终端窗口中,可以使用以下命令来安装Git:
sudo apt-get install git
安装之后,可以通过以下命令获取MySQL源码:
git clone /mysql/mysql-server.git
这将下载MySQL源码并将其存储在当前目录中。
编译MySQL源码
下载MySQL源码后,需要编译源代码才能使用。以下是一些最基本的编译源码的步骤。
1.进入MySQL源码目录:
cd mysql-server
2.创建一个构建目录:
mkdir build
cd build
3.运行CMake来为编译配置MySQL:
cmake ..
4.运行make命令来开始编译MySQL:
make
这将花费一段时间来编译MySQL。如果一切顺利,您应该看到”SUCCESS”的消息。
安装MySQL
编译完成后,需要将MySQL安装到系统中。以下是一些基本的安装步骤。
1.运行以下命令以开始安装:
sudo make install
2.将MySQL添加到系统PATH变量(可选):
export PATH=$PATH:/usr/local/mysql/bin
3.启动MySQL:
sudo /usr/local/mysql/support-files/mysql.server start
此操作将启动MySQL服务器,并将它设置为在系统启动时自动启动。现在,您可以使用MySQL了。
总结
MySQL是一个功能强大的开源关系型数据库管理系统。有了MySQL源码包,您可以更好地理解MySQL的内部工作原理,并编写更高效的应用程序。本篇文章向您介绍了如何下载MySQL源码包以及如何使用Git从GitHub获取源代码。我们还介绍了基本的编译和安装步骤。
MySQL源码阅读4-do_command函数/功能类命令
do_command函数在MySQL的线程循环中执行,分为读取命令和分发执行命令两个主要步骤。
在读取命令阶段,首先设置读取超时(my_net_set_read_timeout),通过vio(Virtual I/O)接口从连接中读取数据。读取时,先解析包头,然后根据包头大小读取数据,同时检查是否超过最大包限制。若数据被压缩,使用zstd_uncompress或zlib_uncompress解压。解析数据并校验,将结果存储到thd对象中。
执行命令阶段,依据获取到的命令执行逻辑,分配内存给String对象。通过dispatch_command函数,进入switch...case...结构,执行不同命令的特定逻辑。功能类命令包括初始化数据库(COM_INIT_DB)、注册从节点(COM_REGISTER_SLAVE)、重置连接(COM_RESET_CONNECTION)、克隆插件(COM_CLONE)、修改用户(COM_CHANGE_USER)等。其他类如数据操作、未实现命令则在后续阅读。
以功能类命令为例,COM_INIT_DB用于改变当前连接的默认数据库。COM_REGISTER_SLAVE则在master节点上注册从节点,启动从节点与master节点的同步。COM_RESET_CONNECTION重置连接,但不创建新连接或更新授权。COM_CLONE命令用于克隆远程插件到本地,并确保一致性。COM_CHANGE_USER允许修改当前连接的用户,并重置连接。
具体操作包括解析请求包、验证、更新thd信息、保存用户连接信息、证书验证、检查密码有效期、限制最大连接数、更新schema属性等。COM_QUIT命令用于清除数据并退出循环。COM_BINLOG_DUMP_GTID和COM_BINLOG_DUMP用于请求发送binlog数据流,而COM_REFRESH命令用于刷新缓存、权限、日志、表、连接主机信息等数据。
在COM_PROCESS_INFO命令中获取进程处理信息,COM_SET_OPTION设置连接属性,COM_DEBUG触发打印调试信息,而COM_PROCESS_KILL用于终止连接。最后,检查是否具有RELOAD_ACL权限并加载数据。
本文总结了do_command函数的命令读取和执行流程,详细介绍了功能类命令的执行情况,为理解MySQL核心工作原理提供了深入洞察。