皮皮网

1.BI 数据可视化平台建设（1）—交叉表组件演变实战
2.大数据分析R语言RStudio使用教程
3.TiDB 源码阅读系列文章（五）TiDB SQL Parser 的大数大数实现
4.什么是指标源码
5.一文深入了解Linux内核源码pdflush机制

BI 数据可视化平台建设（1）—交叉表组件演变实战

       在大数据可视化平台的建设中，交叉表组件的据值据演进历程是一个关键环节。vivo互联网大数据团队的指标Zhu Jianchen在系列文章中深入剖析了这一组件的发展，从性能优化到特定场景的源码应用，展现了其在BI平台中的大数大数重要地位。

       交叉表作为数据分析中的据值据艾瑞克溯源码得力工具，其强大功能在于其行、指标列和汇总字段的源码组合，能够直观呈现多列查询和分类汇总，大数大数是据值据BI平台中占比高的组件之一。文章详细介绍了敏捷BI中的指标术语，如数据的源码图表类型、交互方式、大数大数度量值和指标，据值据强调了组件设计的指标灵活性和定制性。

       从最初的jQuery拼接，经过组件化和微前端架构的升级，性能瓶颈得到了解决，大数据量的渲染问题得到了优化。V1版本的局限性显而易见，而Vue2版表格基于ant-design-vue，提供了丰富的功能，如列配置、交互式数据获取，以及排序、过滤、条件格式化和多级表头等。特别是引入Service Worker技术，使得处理大数据量时的性能有了显著提升。

       V3版进一步聚焦于数据处理和高级分析，选择了React表格组件，其中ali-react-table凭借其对大量增删改查场景的优秀设计和大数据渲染优势，成为了技术选型的亮点。架构设计上，采用了微前端架构，通过虚拟滚动技术实现了按需渲染，显著提高了渲染效率。

       对比来看，Quick BI凭借其简单的源码和接口，虽在旧版表格性能上有所不足，但新版本引入虚拟滚动后有所改善。而敏捷BI则更倾向于复杂的布局和功能扩展，其基于table布局，支持在线主题编辑，渲染性能在不同数据量级下保持稳定。

       网易有数则侧重于基础的明细表，提供主题和样式配置，数据集字段支持下钻，但未采用虚拟滚动技术。而Quick BI和敏捷BI在功能上相当，Quick BI在小数据量时表现优秀，波背离指标公式源码但需要进一步优化以应对大数据场景。

       在未来的规划中，数据预处理将更多地依赖后端处理，同时表格的扩展性将通过Headless UI实现。这些演进都是为了更好地满足用户需求，提升数据可视化平台的整体性能和用户体验。

       总之，交叉表组件的演变是BI平台建设中的重要篇章，每个版本的进步都为数据分析和可视化带来了新的可能性。借助ali-react-table、ant-design table等组件，我们看到了一个不断优化、适应复杂场景的高效可视化工具的诞生。

大数据分析R语言RStudio使用教程

       RStudio是用于R编程的开源工具，其功能丰富，帮助用户创建可读的分析，并将代码、图像、注释和图解整合在一起。在本大数据分析R语言RStudio使用教程中，我们将聚焦于RStudio Desktop的一些最佳功能，以及一些快速提升您成为高级用户所需的技巧、快捷方式和实用资源。

       为了提高工作效率，掌握在RStudio窗格之间快速导航的快捷方式至关重要。只需使用以下快捷键：Control/Ctrl + 1：打开源代码编辑器(您的脚本)；Control/Ctrl + 2：打开安慰；Control/Ctrl + 3：打开历史记录；Control/Ctrl + 4：打开文件管理；Control/Ctrl + 5：打开情节；Control/Ctrl + 6：打开笔记本；Control/Ctrl + 7：打开打包；Control/Ctrl + 8：打开环境；Control/Ctrl + 9：打开查看器。若希望在当前使用的R脚本、笔记本或R Markdown文件中最大化视图，可使用Control/Ctrl + Shift + 1。要恢复标准的四窗格视图，请输入Control/Ctrl + Shift + 0。

       了解RStudio键盘快捷键对于编程效率的提升极为重要。通过访问Tools > Keyboard Shortcuts Help菜单或使用快捷键Option + Shift + K在Mac上或Alt + Shift + K在Linux和Windows上，您可以访问RStudio的键盘快捷键列表。以下是一些我们常用的快捷键：Mac或Linux和Windows上输入Option + -、Alt + -用于快速插入<-赋值运算符；Mac或Linux和Windows上输入Command + Shift + M用于插入管道运算符%&gt%；Mac或Linux和Windows上输入Command + Enter用于运行当前代码行；Mac或Linux和Windows上输入Command + A + Enter用于运行所有代码行；Mac或Linux和Windows上输入Command + Shift + F用于重新启动当前的R会话；Mac或Linux和Windows上输入Command + Shift + C用于在行上添加注释或取消注释。

       通过代码完成功能，您可以在开始输入后，RStudio会弹出一个包含匹配函数、对象和代码片段名称的建议窗口，通过向上或向下箭头切换并在输入Return/Enter键进行选择。此外，模糊匹配功能允许您通过输入匹配项的唯一字母缩小搜索范围，即使不输入所有字母也能实现匹配。具体操作如下：首先，通过部分函数名称键入选择函数，使用箭头进行选择；接着，输入instd仅进一步缩小选择范围。

       RStudio提供了一种快速查找文件和功能的方法，只需输入Control/ctrl + .即可打开Go to File/Function窗口，程式单源码是什么并使用模糊匹配技能来缩小选择范围。

       在自定义外观方面，RStudio提供了丰富的选项供您根据个人喜好进行个性化设置。通过Preferences > Appearance导航，浏览许多可用选项。RStudio的一个不错功能是可快速单击Editor theme窗口以预览每个主题。

       在RStudio中轻松链接到文档是关键。在Help右下方窗口的标签下，您会找到指向R函数和R软件包在线文档的便捷链接。例如，使用搜索栏搜索install.packages功能可返回官方文档。同样，您还可以在Help选项卡中访问文档，只需在软件包或函数前添加?，例如?install.packages，然后在控制台中运行命令。无论使用哪种方法，RStudio都会在您键入时自动填充匹配的函数名称。

       预览并保存绘图是RStudio的另一个优势。在RStudio会话期间生成的图将显示在Plots右下方窗口的选项卡下，您可在此窗口中放大和缩小检查图。如需保存绘图，可将其另存为PDF或图像文件。

       RStudio简化了导入和预览数据集的过程。在Environment右上方窗口的选项卡下，您可以导入数据集并支持多种格式。您甚至可以在加载数据集之前对其进行预览。加载数据集后，可使用View()命令或单击数据集名称来查看它。

       一键查看命令历史记录是RStudio的实用功能。使用快捷键Command + Enter在Mac或Control + Enter在Linux和Windows上即可实现。另外，您可以访问History选项卡在右上窗口中查看整个命令历史记录。

       为了保持良好的内务管理，确保每次打开RStudio时从一个空会话开始。避免将工作区保存，以防不可预见的挑战。通过打开Preferences > General并取消选择.RData在启动时还原到工作区的选项来实现这一目标。确保永远不要保存工作空间，如下所示。

       组织项目工作对于多个分析尤为重要。RStudio提供了强大的项目功能，可让您将所有重要工作放在一个地方，包括代码脚本、绘图、图形、结果和数据集。通过File选项卡导航，选择创建新项目New Project...。您可以选择在新目录或现有目录中创建新项目。优秀个人网站源码下载如果您使用的是R软件包或Shiny Web应用程序，RStudio提供专用的项目类型。

       如果需要与同事共享工作，RStudio项目非常有用。您可以将项目文件(.Rproj)与所有支持文件一起发送，使您的同事轻松重新创建工作环境并重现结果。若希望实现无缝协作，引入软件包管理流程是明智之举。RStudio提供了renv软件包，它简化了R包管理，现在与RStudio项目兼容。

       使用renv管理软件包版本将替代RStudio维护的Packrat软件包。要开始使用renv，请在RStudio中安装renv库。选择renv与所有新项目一起使用，或在现有项目中启用renv，通过Tools > Project Options > Environments并选中相应的框。

       除了在RStudio中管理软件包，您还可以将GitHub与RStudio集成，以维护项目和R脚本的版本控制。查阅相关文章以了解GitHub与RStudio的集成。

       RStudio提供了一个称为代码段的非常有用功能，用于插入通用代码块。我们推荐使用lib代码段，在调用library()函数加载R包时节省输入时间。另一个我们喜爱的fun片段是用于编写自定义函数的基本模板。您甚至可以添加自己的代码段，了解更多信息请查阅RStudio的代码片段文章。

       如果您想研究某个函数的源代码，请将光标移至所需的函数并输入F2（Mac上可能需要输入fn + F2）。此功能适用于您使用的任何R包中的任何功能。若已编写要转换为函数的代码块，请突出显示该代码块，然后使用control + option X（Mac上为Ctrl + Alt + X）或control + option V（Mac上为Ctrl + Alt + V）在Linux / Windows上输入，将代码自动转换为所需的功能结构。

       在某些情况下，您可能需要更改函数名称或函数中使用的变量。使用查找和替换可能令人不安，但RStudio提供了在范围内重命名的功能，仅限于感兴趣的变量或功能，防止意外替换代码脚本中其他位置的同名变量。通过选择要更改的函数或变量，然后使用control + shift + option + M（Mac）或Ctrl + Shift + Alt + M（Linux / Windows）进行操作。

       RStudio支持多光标操作。按住option键（Mac）或Alt键（Linux / Windows）单击并拖动鼠标以实现多光标。

       RStudio还支持Python编码。在RStudio中启动并运行Python的过程包括安装基本版本的Python、pip和virtualenv，创建Python环境，激活环境，mysql官网源码包安装所需的Python软件包，安装并配置R Reticulate软件包以使用Python等步骤。使用提供的代码可快速在RStudio中运行Python。

       在RStudio中使用DBI包查询SQL非常容易。从生成内存中的SQL数据库开始，使用标准SQL查询从数据库中选择特定数据。查询结果可保存为数据框，并用于后续分析或生成图表。

       RStudio现在提供了一个名为RStudio Desktop的基于云的版本，即RStudio Cloud。它允许您在无需安装软件的情况下在Web浏览器中进行编码，工作被组织为类似于桌面版本的项目，并允许您指定用于每个项目的R版本。RStudio Cloud还能轻松、安全地与同事共享项目，并确保每次访问项目时都能完全再现工作环境。RStudio Cloud的布局与RStudio Desktop非常相似。

       总结，RStudio是一个功能丰富的工具，为R编程提供了强大的支持。通过掌握上述技巧和功能，您将能够更高效地进行数据分析、编写代码、管理项目、查询数据库以及与他人协作。RStudio Cloud扩展了这一能力，使您能够在云端进行编码，无需安装任何软件，只需一个Web浏览器即可。借助RStudio，您可以充分利用R语言的强大功能，进行高效且专业的数据分析工作。

TiDB 源码阅读系列文章（五）TiDB SQL Parser 的实现

       本文是 TiDB 源码阅读系列文章的第五篇，主要内容围绕 SQL Parser 功能实现进行讲解。内容源自社区伙伴马震（GitHub ID：mz）的投稿。系列文章的目的是与数据库研究者及爱好者深入交流，收到了社区的积极反馈。后续，期待更多伙伴加入 TiDB 的探讨与分享。

       TiDB 的源码阅读系列文章，帮助读者系统性地学习 TiDB 内部实现。最近的《SQL 的一生》一文，全面阐述了 SQL 语句处理流程，从接收网络数据、MySQL 协议解析、SQL 语法解析、查询计划制定与优化、执行直至返回结果。

       其中，SQL Parser 的功能是将 SQL 语句按照 SQL 语法规则进行解析，将文本转换为抽象语法树（AST）。此功能需要一定背景知识，下文将尝试介绍相关知识，以帮助理解这部分代码。

       TiDB 使用 goyacc 根据预定义的 SQL 语法规则文件 parser.y 生成 SQL 语法解析器。这一过程可在 TiDB 的 Makefile 文件中看到，通过构建 goyacc 工具，使用 goyacc 依据 parser.y 生成解析器 parser.go。

       goyacc 是 yacc 的 Golang 版本，因此理解语法规则定义文件 parser.y 及解析器工作原理之前，需要对 Lex & Yacc 有所了解。Lex & Yacc 是用于生成词法分析器和语法分析器的工具，它们简化了编译器的编写。

       下文将详细介绍 Lex & Yacc 的工作流程，以及生成解析器的过程。我们将从 Lex 根据用户定义的 patterns 生成词法分析器，词法分析器读取源代码并转换为 tokens 输出，以及 Yacc 根据用户定义的语法规则生成语法分析器等角度进行阐述。

       生成词法分析器和语法分析器的过程，用户需为 Lex 提供 patterns 的定义，为 Yacc 提供语法规则文件。这两种配置都是文本文件，结构相同，分为三个部分。我们将关注中间规则定义部分，并通过一个简单的例子来解释。

       Lex 的输入文件中，规则定义部分使用正则表达式定义了变量、整数和操作符等 token 类型。例如整数 token 的定义，当输入字符串匹配正则表达式时，大括号内的动作会被执行，将整数值存储在变量yylval 中，并返回 token 类型 INTEGER 给 Yacc。

       而 Yacc 的语法规则定义文件中，第一部分定义了 token 类型和运算符的结合性。四种运算符都是左结合，同一行的运算符优先级相同，不同行的运算符，后定义的行具有更高的优先级。语法规则使用 BNF 表达，大部分现代编程语言都可以使用 BNF 表示。

       表达式解析是生成表达式的逆向操作，需要将语法树归约到一个非终结符。Yacc 生成的语法分析器使用自底向上的归约方式进行语法解析，同时使用堆栈保存中间状态。通过一个表达式 x + y * z 的解析过程，我们可以理解这一过程。

       在这一过程中，读取的 token 压入堆栈，当发现堆栈中的内容匹配了某个产生式的右侧，则将匹配的项从堆栈中弹出，将该产生式左侧的非终结符压入堆栈。这个过程持续进行，直到读取完所有的 tokens，并且只有启始非终结符保留在堆栈中。

       产生式右侧的大括号中定义了该规则关联的动作，例如将三项从堆栈中弹出，两个表达式相加，结果再压回堆栈顶。这里可以使用 $position 的形式访问堆栈中的项，$1 引用第一项，$2 引用第二项，以此类推。$$ 代表归约操作执行后的堆栈顶。本例的动作是将三项从堆栈中弹出，两个表达式相加，结果再压回堆栈顶。

       在上述例子中，动作不仅完成了语法解析，还完成了表达式求值。一般希望语法解析的结果是一颗抽象语法树（AST），可以定义语法规则关联的动作。这样，解析完成时，我们就能得到由 nodeType 构成的抽象语法树，对这个语法树进行遍历访问，可以生成机器代码或解释执行。

       至此，我们对 Lex & Yacc 的原理有了大致了解，虽然还有许多细节，如如何消除语法的歧义，但这些概念对于理解 TiDB 的代码已经足够。

       下一部分，我们介绍 TiDB SQL Parser 的实现。有了前面的背景知识，对 TiDB 的 SQL Parser 模块的理解会更易上手。TiDB 使用手写的词法解析器（出于性能考虑），语法解析采用 goyacc。我们先来看 SQL 语法规则文件 parser.y，这是生成 SQL 语法解析器的基础。

       parser.y 文件包含 多行代码，初看可能令人感到复杂，但该文件仍然遵循我们之前介绍的结构。我们只需要关注第一部分 definitions 和第二部分 rules。

       第一部分定义了 token 类型、优先级、结合性等。注意 union 结构体，它定义了在语法解析过程中被压入堆栈的项的属性和类型。压入堆栈的项可能是终结符，也就是 token，它的类型可以是 item 或 ident；也可能是非终结符，即产生式的左侧，它的类型可以是 expr、statement、item 或 ident。

       goyacc 根据这个 union 在解析器中生成对应的 struct。在语法解析过程中，非终结符会被构造成抽象语法树（AST）的节点 ast.ExprNode 或 ast.StmtNode。抽象语法树相关的数据结构定义在 ast 包中，它们大都实现了 ast.Node 接口。

       ast.Node 接口有一个 Accept 方法，接受 Visitor 参数，后续对 AST 的处理主要依赖这个 Accept 方法，以 Visitor 模式遍历所有的节点以及对 AST 做结构转换。例如 plan.preprocess 是对 AST 做预处理，包括合法性检查以及名字绑定。

       union 后面是对 token 和非终结符按照类型分别定义。第一部分的最后是对优先级和结合性的定义。文件的第二部分是 SQL 语法的产生式和每个规则对应的 aciton。SQL 语法非常复杂，大部分内容都是产生式的定义。例如 SELECT 语法的定义，我们可以在 parser.y 中找到 SELECT 语句的产生式。

       完成语法规则文件 parser.y 的定义后，使用 goyacc 生成语法解析器。TiDB 对 lexer 和 parser.go 进行封装，对外提供 parser.yy_parser 进行 SQL 语句的解析。

       最后，我们通过一个简单的例子，使用 TiDB 的 SQL Parser 进行 SQL 语法解析，构建出抽象语法树，并通过 visitor 遍历 AST。我实现的 visitor 只输出节点的类型，运行结果依次输出遍历过程中遇到的节点类型。

       了解 TiDB SQL Parser 的实现后，我们有可能实现当前不支持的语法，如添加内置函数。这为我们学习查询计划以及优化打下了基础。希望这篇文章对读者有所帮助。

       作者介绍：马震，金蝶天燕架构师，负责中间件、大数据平台的研发，今年转向 NewSQL 领域，关注 OLTP/AP 融合，目前在推动金蝶下一代 ERP 引入 TiDB 作为数据库存储服务。

什么是指标源码

       指标源码是指用于定义和描述某种特定指标或数据的原始代码。

       以下是关于指标源码的详细解释：

       1. 指标源码的概念：在数据分析、软件开发或业务运营等领域，指标源码是用于标识和描述某一特定数据指标或性能的原始代码。它是记录和分析数据的基础，有助于实现对数据的准确理解和高效管理。指标源码往往与具体的数据场景紧密相关，对于数据分析人员或开发人员来说非常重要。

       2. 指标源码的作用：指标源码的主要作用是标准化和规范化数据指标，确保数据的准确性和一致性。通过定义明确的指标源码，可以避免因数据混乱或不统一导致的误解和错误。此外，指标源码还有助于追踪数据变化、构建数据分析模型、实现业务流程自动化等功能。通过监控指标源码的变化，企业可以及时发现问题、调整策略并优化业务流程。此外，一些专业的数据分析工具平台会根据不同的应用场景和行业需求制定不同的指标源码标准，便于用户进行数据分析和业务决策。

       这为各行各业带来了极大的便利性和实用价值。同时，指标源码的编写和解读需要一定的专业知识和经验，以确保其准确性和有效性。因此，掌握指标源码对于提高数据处理和分析能力具有重要意义。同时也要注意防范安全风险，确保数据安全。总的来说，指标源码是一种重要的数据处理工具，有助于实现数据的高效管理和精准分析。它能够确保数据的准确性和一致性，为企业决策提供有力支持。在未来的发展中，随着大数据技术的不断进步和应用领域的不断拓展，指标源码的作用将会愈发重要。 

一文深入了解Linux内核源码pdflush机制

       在进程安全监控中，遇到进程长时间处于不可中断的睡眠状态（D状态，超过8分钟），可能导致系统崩溃。这种情况下，涉及到Linux内核的pdflush机制，即如何将内存缓存中的数据刷回磁盘。pdflush线程的数量可通过/proc/sys/vm/nr_pdflush_threads调整，范围为2到8个。

       当内存不足或需要强制刷新时，脏页的刷新会通过wakeup_pdflush函数触发，该函数调用background_writeout函数进行处理。background_writeout会监控脏页数量，当超过脏数据临界值（脏背景比率，通过dirty_background_ratio调整）时，会分批刷磁盘，直到比率下降。

       内核定时器也参与脏页刷新，启动wb_timer定时器，周期性地检查脏页并刷新。系统会在脏页存在超过dirty_expire_centisecs（可以通过/proc/sys/vm/dirty_expire_centisecs设置）后启动刷新。用户态的WRITE写文件操作也会触发脏页刷新，以平衡脏页比率，避免阻塞写操作。

       总结系统回写脏页的三种情况：定时器触发、内存不足时分批写、写操作触发pdflush。关键参数包括dirty_background_ratio、dirty_expire_centisecs、dirty_ratio和dirty_writeback_centisecs，它们分别控制脏数据比例、回写时间、用户自定义回写和pdflush唤醒频率。

       在大数据项目中，写入量大时，应避免依赖系统缓存自动刷回，尤其是当缓存不足以满足写入速度时，可能导致写操作阻塞。在逻辑设计时，应谨慎使用系统缓存，对于对性能要求高的场景，建议自定义缓存，同时在应用层配合使用系统缓存以优化高楼贴等特定请求的性能。预读策略是提升顺序读性能的重要手段，Linux根据文件顺序性和流水线预读进行优化，预读大小通过快速扩张过程动态调整。

       最后，注意pread和pwrite在多线程io操作中的优势，以及文件描述符管理对性能的影响。在使用pread/pwrite时，即使每个线程有自己的文件描述符，它们最终仍作用于同一inode，不会额外提升IO性能。