1.Linux性能观测之dstat命令详解
2.由Docker BUG引起的源码Linux宕机事故及解决办法

Linux性能观测之dstat命令详解

       dstat是一个强大的系统信息统计工具，集成了vmstat、源码iostat、源码netstat、源码nfsstat和ifstat的源码功能，能够全面观测Linux性能。源码d58源码

       要深入理解dstat，源码首先回顾其安装方式。源码请按照以下步骤操作：

       1. 打开终端。源码

       2. 使用命令 `sudo apt-get install dstat` 在Debian/Ubuntu系统上安装dstat，源码或使用 `yum install dstat` 在CentOS/RHEL系统上安装。源码

       3. 若遇到问题，源码可以参考社区资源或官方文档寻求解决方案。源码

       dstat的源码使用简单高效。它能以图形或文本形式提供系统性能指标，源码如CPU使用率、磁盘IO、网络I/O、分页活动和系统统计。以下是常用命令形式：

       - `total-cpu-usage`：查看CPU的总体使用情况。

       - `dsk/total`：展示磁盘IO的开发贷源码总情况。

       - `net/total`：显示网络I/O的总览。

       - `paging`：监测系统的分页活动。

       - `system`：收集系统统计信息。

       若需查阅更多dstat的英文说明或功能细节，可参考以下资源：

       - Linux manpage dstat

       此外，了解如何优化Linux性能和排查内存泄漏问题同样重要。我们整理了一些学习资料和书籍，欢迎加入我们的Linux内核源码交流群。前名加入的成员将获得免费的内核资料包，包含视频教程、解析源码搭建电子书、实战项目及代码。加入时请使用真实信息，我们期待与您分享知识和经验。

       学习Linux内核源码的路径包括：内核源码解析、内存调优、文件系统、进程管理、设备驱动、网络协议栈等。停车收费源码

由Docker BUG引起的Linux宕机事故及解决办法

       1背景

       某运营商业务系统的服务器发生宕机，针对本次宕机事故进行排查。

       文章福利小编推荐自己的Linux内核源码交流群: 整理了一些个人觉得比较好的学习书籍、视频资料共享在群文件里面，有需要的可以自行添加哦！！！前名可进群领取，并额外赠送一份价值的内核资料包（含视频教程、电子书、spark源码collection实战项目及代码)！

       学习直通车： Linux内核源码/内存调优/文件系统/进程管理/设备驱动/网络协议栈

       2解决过程

       我们都知道kdump是在Linux系统崩溃、死锁、死机的时候用来转储内存运行参数的服务。系统崩溃后内核无法正常工作，这时kdump会产生一个用于capture当前运行信息的内核，将此时的内存中的所有运行状态和数据信息收集到vmcore文件中，收集完成后系统将自动重启。本次使用crash分析linux kdump日志。

       进入crash控制台

       PANIC为内核崩溃类型，这里是一个BUG，内核无法处理空指针

       在crash查看log，发现有很多Out-of-Memory

       通过bt查看系统崩溃前内核依次调用的一系列函数，查看内核在何处崩溃。以"# 数字"开头的行为调用堆栈:

       通过bt分析，可以定位到崩溃前的一个exception是ip寄存器RIP的异常，使用dis命令来看一下该地址的反汇编结果：

       从上面的反汇编结果中，我们看到问题出在ip6mr.c文件行代码，翻开linux源码的相应位置:

       撸内核源码 + Google

       通过走读Linux源码和Google，发现当系统创建新的namespaces时，会因为ip6mr_sk_done的值为空而引起系统混乱，从而导致内核无法正常分配内存，所以我们在log文件中看到了许多Out-of-Memory。

       在Kubernetes环境，提到namespaces就能想到docker，因为namespaces是docker的核心技术之一，容器的资源隔离由namespace来实现。

       通过检查docker的网络，发现其中一个子网为空

       解决办法

       内核配置加入"net.ipv6.conf.all.disable_ipv6 = 1",关闭 IPV6，防止触发 docker BUG；

       从内核的层面看，目前该Issue仍然没有close。在开启IPv6的环境，docker为什么会出现这个BUG，后续有空再研究，欢迎大家指正。

       3END

       Linux 内核虽然号称“不死族”,几乎不会崩溃或死机，但也有特殊情况，设备也有一定的使用周期，系统的高可用还是要的。

       虽然你单点运行服务时很帅，但是你处理故障时的样子真的很狼狈。

       往期精彩推荐：

       最新干货！使用eBPF LSM热修复Linux内核漏洞

       盘点那些Linux内核调试手段——内核打印

       Linux 环境下网络分析和抓包是怎么操作的？

       浅谈ARMLinux内核页表的块映射

       Linux性能观测之dstat命令详解