1.Linux性能观测之dstat命令详解
2.freebsd下jail命令说明
3.linux查看cpu占用率的源码方法：
4.26期内存持续上升，如何排查?源码

Linux性能观测之dstat命令详解

       dstat是一个强大的系统信息统计工具，集成了vmstat、源码iostat、源码netstat、源码nfsstat和ifstat的源码websocket聊天源码功能，能够全面观测Linux性能。源码

       要深入理解dstat，源码首先回顾其安装方式。源码请按照以下步骤操作：

       1. 打开终端。源码

       2. 使用命令 `sudo apt-get install dstat` 在Debian/Ubuntu系统上安装dstat，源码或使用 `yum install dstat` 在CentOS/RHEL系统上安装。源码

       3. 若遇到问题，源码可以参考社区资源或官方文档寻求解决方案。源码

       dstat的源码使用简单高效。它能以图形或文本形式提供系统性能指标，如CPU使用率、磁盘IO、网络I/O、分页活动和系统统计。以下是常用命令形式：

       - `total-cpu-usage`：查看CPU的总体使用情况。

       - `dsk/total`：展示磁盘IO的总情况。

       - `net/total`：显示网络I/O的总览。

       - `paging`：监测系统的分页活动。

       - `system`：收集系统统计信息。

       若需查阅更多dstat的英文说明或功能细节，可参考以下资源：

       - Linux manpage dstat

       此外，了解如何优化Linux性能和排查内存泄漏问题同样重要。我们整理了一些学习资料和书籍，欢迎加入我们的Linux内核源码交流群。前名加入的成员将获得免费的内核资料包，包含视频教程、电子书、实战项目及代码。加入时请使用真实信息，我们期待与您分享知识和经验。

       学习Linux内核源码的路径包括：内核源码解析、内存调优、css页面源码文件系统、进程管理、设备驱动、网络协议栈等。

freebsd下jail命令说明

       Jail 命令在FreeBSD 4.0中首次出现。用于“监禁”进程以及其衍生的子进程。而且jail和FreeBSD本身的secure_level合并使用可以显著限制（jail中的）root的能力。

       假设某一个应用程序在系统内中运行，一段时间之后该应用程序被发现包含有致命的安全漏洞，如果在通常的系统中，这个应用程序可能已经在这个上面构成了漏洞，甚至cracker们已经成功地攻破这一应用并且成为root，控制了系统；但假如该应用程序放在jail内运行，即使cracker们已经攻破系统，也无法访问到jail之外系统的其他部分。因为尽管应用程序可以在jail之中自由活动，但是无法获得更多权限以及访问在jail之外的任何资源。通过这一特性，在系统管理上面可以做到防范未知漏洞，避免这些潜在的漏洞对整个系统的安全构成威胁。

       jail通常有两类应用方向：

       一、对应用程序的活动能力进行限制。

       比如ftp服务器，DNS服务器，这样一些东西，比如wu-ftpd,bind这样一些隔三岔五就会爆出漏洞的“著名”软件放到jail里面会让人更加放心。

       二、受控制的主机。

       某些时候，需要对外提供有shell的管理性访问，比如作为某公司A，其合作单位B有某项目需要在A的机器上获得shell乃至root权限，这就需要提供受控制的主机，用户可以在jail里面控制几乎所有他需要的资源（除了jail不允许他访问的部分）。

       第一类应用并不是非常复杂，实际上这类应用实现方法相对简单，只要在Linux下面玩过chroot就没有什么大问题；第二类应用则有很多有趣的windows 源码 gui特性，而jail最吸引人的部分也是这些很有趣的特性。

       下面从最简单的部分开始：

       第一类：限制应用程序活动能力

       首先按照通常习惯的方式安装好你想要jail的应用程序，下面我们将会使用pure-ftpd（我不是很熟悉它，只不过顺手拿过来而已，据说还算好用）作为例子。

       这个ftpd的安装位置，默认为：/usr/local/sbin;/usr/local/bin;在/etc下面还有一些相关的文件，整个结构感觉不是特别干净，不过它运行需要的东西并不很多，包括 /usr/local/sbin/pure-ftpd , /etc/xxx /etc/xxxx 这样一些文件。

       接下来先用ldd看看/usr/local/sbin/pure-ftpd需要的那些运行库：

       tester# cd /usr/local/sbin

       tester# ldd pure-ftpd

       pure-ftpd:

       libcrypt.so.2 = /usr/lib/libcrypt.so.2 (0xb)

       libpam.so.1 = /usr/lib/libpam.so.1 (0x)

       libc.so.4 = /usr/lib/libc.so.4 (0xd)

       这样我们的工作任务清单上面就多出来这样一些东西了： /usr/lib/......

       使用ldd我们还可以获得其他一些需要放入jail的程序的运行库位置，信息搜集完成之后，我们开始建立jail目录树（这里我们假定jail环境构造在/jail内，当然你也可以选择你喜欢的位置）：

       tester# mkdir -p /jail/usr/{ lib,libexec,local/sbin,local/bin,local/etc,etc,var/run,var/log}

       然后将上面列出的，libcrypt.so.2 等这些文件都复制到对应位置。当然还有我们FreeBSD下非常重要的一个文件ld-elf.so.1，尽管ldd没有给出提示，也还需要复制过去，否则应用程序也跑不起来。这样我们就获得了一个很干净（最小化）的应用程序运行环境jail命令的格式是：

       jail path hostname ip-number command

       下面开始在jail里面运行它：

       tester# jail /jail jailed.host.name $JAILED_IP_ADDR /usr/local/sbin/pure-ftpd [options]

       这里，/jail是你的jail环境的位置，也就是被jail之后，应用程序“以为”自己所在的“/”的位置；jailed.host.name是你打算提供给这个jail环境的主机名，某些情况下，应用程序需要知道这个变量；$JAILED_IP_ADDR是你打算提供ftp服务（如果是其他应用软件，那就是其他服务咯，比如web服务）的那个IP地址，至于/usr/local/sbin/pure-ftpd [options] 则是你打算运行的那个应用程序在jail里面的所在位置以及运行所需的参数。

       然后用ps 查看一下进程状态：

       tester# ps -axf |grep pureftpd

        ? IsJ 0:. pure-ftpd (SERVER) (pure-ftpd)

       可以看到所有这些pure-ftpd的进程都有一个J，标志这这一程序正在jail下面运行。

       这时候可能会有一些管理用的程序无法正常工作，因为这些管理用程序无法找到他们需要访问的那些文件，只要找到这些应用程序需要调用的文件（比如日志文件）的位置，然后制造一个soft link就可以了，通常这些管理程序都可以继续正常运行。

       到此为止，一个针对应用程序的头条系统源码jail构造完成。

       第二类，构造受控制的主机

       在这种情况下面，我们首先需要构造一个当前版本操作系统的完整镜像（下面这个脚本是从FreeBSD 4.6r的man page里面来的，实际上4.5以及之前的man page在构造jail目录树脚本上面都有一定的问题，4.6才纠正过来）：

       tester# cat /root/mkjail.sh

       jailhome=/data/jail

       cd /usr/src

       mkdir -p $jailhome

       make world DESTDIR=$jailhome

       cd etc

       make distribution DESTDIR=$jailhome -DNO_MAKEDEV_RUN

       cd $jailhome/dev

       sh MAKEDEV jail

       cd $jailhome

       ln -sf dev/null kernel

       ^D

       tester# sh /root/mkjail.sh

       最后在/data/jail下面获得一个完整的根据当前源码树编译得来的jail目录树。

       接下来：

       /

*

       tester# mkdir $jailhome/stand

       tester# cp /stand/sysinstall $jailhome/stand

       tester# jail $jailhome jailed.system.box ..0. /bin/csh

       （这时候就获得了一个jail下面的shell）

       jailed# /stand/sysinstall

       */

       通过sysinstall这个程序可以对jail系统的常用变量进行设置，比如时区，DNS，Mail。还有jail系统在“启动”的时候需要执行的程序。

       如果你足够熟悉这个系统，可以考虑自己手工一个个的做过来。

       复制/etc/localtime 到 $jailhome/etc，使jail环境下的应用程序可以得到正确的时间；

       复制/etc/resolv.conf 到 $jailhome/etc/resolv.conf 使jail下面可以正确解释域名；

       在jail里面运行newaliases 避免sendmail的不断抱怨；

       如果打算运行inetd，需要修改inetd的启动参数，加上 -a $LISTEN_ADDR 选项（因为jail无法自己获得当前系统的ip地址，所以必须提供一个ip地址给它）在rc.conf里面看起来应该是这样：

       inetd_flags="-wW -a ..0."

       将系统本身的syslogd 运行加上 -ss 选项，避免这个syslog启动****端口；修改/etc/rc.conf 加上 syslogd_flags="-ss" （对$jailhome/etc/rc.conf也如法炮制）

       在jail内创建一个空的/etc/fstab，在rc.conf里面去掉网卡地址的绑定，这样在jail系统在启动的时候不会抱怨。

       为了实际运行这个jail系统，还需要为jail提供一个可以连接的IP地址，这个地址可以与实际环境同一个子网，也可以处于另外一个子网中。

       tester# ifconfig fxp0 ..0. netmask 0xffffffff alias

       （这里为网卡fxp0绑定了一个别名，准备提供服务。）

       所有这些东西都执行完了以后，可以有几个方法把jail系统启动起来，一个是在jail外面运行

       tester# jail $jailhome jailed.system.box $jail_IP_ADDR /bin/sh $jailhome/etc/rc

       一个是单纯把ssh/telnetd这样一些提供远程访问的服务在jail内启动起来：

       tester# jail $jailhome jailed.system.box $jail_IP_ADDR /bin/sh $jailhome/bin/inetd -wW -a $jail_IP_ADDR

       然后从外面登录系统，运行、配置jail系统环境，或者手工启动需要的应用服务。

       如果打算运行一个用于生产环境的jail系统的话，推荐使用第一种方法，并且把启动jail的命令放到（实际环境的）/etc/rc.local脚本里面去，这样jail系统可以有比较完备，与实际机器相类似的git源码算法环境。

       这样一个jail系统就算构造完成并且可以正常运作，加上在实际环境里面定期的严格的备份，安全检查与审计，就可以得到一个很不错的安全系统。一般的scriptkids已经无法对你的系统构成实际威胁，即使是某些与黑帽子走得很近的人在漏洞公开之前得到实际的攻击脚本，并且进入你的系统，他也只能在jail里面活动，而且你可以知道他什么时候进入和离开系统，做了什么。这样你可以很轻松的恢复系统和防范下一次未知的攻击。

       在jail系统的管理上面有几个问题需要注意：

       1. jail里面的帐号、密码是跟实际系统不同的，但是在jail之外ps或者查看jail目录树内的文件时，那些jail内部的uid会被看成外部的uid，因此最好把jail里面的/etc/adduser.conf进行修改，把他们的uid起始号码放大，比如：uid_start=""，这样当你在jail外部进行文件、进程管理的时候不至于误会文件或者进程的宿主。

       2. jail内的任何活动，其能力都受到了限制。比如top/vmstat这样的东西都不能使用，mknod,dd等等这样需要访问直接硬件的东西也无法工作。所以在jail内监控系统运行状态也比较难。

       3. 当想要远程关闭jail系统的时候，可以有两种方法，一是进入jail之后kill -TERM -1 或者 kill -KILL -1 ，这样向所有该jail内的进程发送SIGTERM或者SIGKILL信号，也可以在jail里面运行/etc/rc.shutdown来关闭jail。如果是本地想要关闭jail倒是简单，只要把所有带有J标记的进程干掉就可以了。

       4. 一个系统可以运行多个jail，各个jail之间无法互相干涉，如果在jail外面使用

       tester# jail $jailhome jailed.system.box $jail_IP_ADDR /path/to/application

       这种方式运行某个应用程序，下一次试图通过运行

       tester# jail $jailhome jailed.system.box $jail_IP_ADDR /bin/csh

       这种方式获得的jail过的shell来管理该应用程序将会失败。因为这时是两个各自独立的jail，互相不能干涉。为了能对jail系统内进程灵活地进行管理，推荐在jail里面除开应用软件之外，再启动telnetd或者sshd之类的服务，这些服务此时与应用程序运行在同一个jail里面，就可以通过远程登入系统后获得与那些应用程序在同一个jail内的shell。

       5. jail系统内的所有应用软件版本号应该与外部实际系统保持一致。当外部系统的源码同步到某个版本并且重新做过make world之后，推荐也重新生成一次jail，以避免某些可能的莫名其妙的错误。

       6. 另外有一个做法不知道是否正确，在jail里面每次使用ps的时候，系统都会报告没有/var/run/dev.db文件，让人感觉很不舒服，复制实际系统的/var/run/dev.db 到 $jailhome/var/run/ ，就不会再碰到这个问题。

linux查看cpu占用率的方法：

       top

       top是最常用的查看系统资源使用情况的工具，包括CPU、内存等等资源。这里主要关注CPU资源。

       1.1 /proc/loadavg

       load average取自/proc/loadavg。

       9. 9. 8. 3/

       前三个数字是1、5、分钟内进程队列中平均进程数，包括正在运行的进程+准备好等待运行的进程。

       第四个数字分子表示正在运行的进程数，分母是进程总数。

       最后一个数字是最近运行的进程ID号。

       其中top取的是/proc/loadavg的前三个数。

       1.2 top使用

       打开top，可以指定更新的周期。

       输入H，打开隐藏的线程；输入1，可以显示单核CPU使用情况。

       top -H -b -d 1 -n > top.txt，每个1秒统计一次，共次，显示线程细节，并保存到top.txt中。

       top采样来源你还依赖于/proc/stat和/proc//stat两个，这两个的详细介绍参考：/proc/stat和/proc//stat。

       其中CPU信息对应的含义如下：

       us是user的意思，统计nice小于等于0的用户空间进程，也即优先级为~。 ni是nice的意思，统计nice大于0的用户空间进程，也即优先级为~。 sys是system的意思，统计内核态运行时间，不包括中断。 id是idle的意思，几系统处于空闲态。 wa是iowait的意思，统计io等待时间。 hi是hardware interrupt，统计硬件中断时间。 si是software interrupt，统计软中断时间。 最后的st是steal的意思。

       perf

       通过sudo perf top -s comm，可以查看当前系统运行进程占比。

       这里不像top一样区分idle、system、user，这里的占比是各个进程在总运行时间里面占比。

       通过sudo perf record记录采样信息，然后通过sudo perf report -s comm。

       sar、ksar

       sar是System Activity Report的意思，可以用于实时观察当前系统活动，也可以生成历史记录的报告。

       要使用sar需要安装sudo apt install sysstat，然后对sysstat进行配置。

       sar用于记录统计信息，ksar用于将记录的信息图形化输出。

       ksar下载地址在： github.com/vlsi/ksar/re...

       sudo gedit /etc/default/sysstat--------------------------------将 ENABLED=“false“ 改为ENABLED=“true“。 sudo gedit /etc/cron.d/sysstat--------------------------------修改sar的周期等配置。 sudo /etc/init.d/sysstat restart--------------------------------重启sar服务 /var/log/sysstat/--------------------------------------------------sar log存放目录

       使用sar记录开机到目前的统计信息到文件sar.txt。

       LC_ALL=C sar -A > sar.txt

       PS：这里直接使用sar -A，在ksar中无法正常显示。

       如下执行java -jar ksar.jar，然后Data->Load from text file...选择保存的sar.txt文件。

       得到如下的图表。

       还可以通过sar记录一段时间的信息，指定采样周期和采样次数。

       这些命令前加上LC_ALL=C之后保存到文件中，都可以在ksar中图形化显示。

       collectl、colplot

       collectl是一款非常优秀并且有着丰富的命令行功能的实用程序，你可以用它来采集描述当前系统状态的性能数据。

       不同于大多数其它的系统监控工具，collectl 并非仅局限于有限的系统度量，相反，它可以收集许多不同类型系统资源的相关信息，如 cpu 、disk、memory 、network 、sockets 、 tcp 、inodes 、infiniband 、 lustre 、memory、nfs、processes、quadrics、slabs和buddyinfo等。

       同时collectl还可以替代常用工具，比如top、vmstat、ps、iotop等。

       安装collectl：

       sudo apt-get install collectl

       collectl的使用很简单，默认collectl显示cpu、磁盘、网络信息。

       collectl还可以显示更多的子系统信息，如果选项存在对应的大写选项，大写选项表示更细节的设备统计信息。

       b – buddy info (内存碎片) c – 所有CPU的合一统计信息；C - 单个CPU的统计信息。 d – 整个文件系统Disk合一统计信息；C - 单个磁盘的统计信息。 f – NFS V3 Data i – Inode and File System j – 显示每个CPU的Interrupts触发情况；J - 显示每个中断详细触发情况。 l – Lustre m – 显示整个系统Memory使用情况；M - 按node显示内存使用情况。 n – 显示整个系统的Networks使用情况；N - 分网卡显示网络使用情况。 s – Sockets t – TCP x – Interconnect y – 对系统所有Slabs (系统对象缓存)使用统计信息；Y - 每个slab使用的详细信息。

       collectl --all显示所有子系统的统计信息，包括cpu、终端、内存、磁盘、网络、TCP、socket、文件系统、NFS。

       collectl --top可以代替top命令：

       collectl --vmstat可以代替vmstat命令：

       collectl -c1 -sZ -i:1可以代替ps命令。

       collectl和一些处理分析数据工具(比如colmux、colgui、colplot)结合能提供可视化图形。

       colplot是collectl工具集的一部分，其将collectl收集的数据在浏览器中图形化展示。

       colplot的介绍 在此，相关源码可以再 collectl-utils下载。

       解压下载的colplot之后，sudo ./INSTALL安装colplot。

       安装之后重启apache服务：

       suod systemctl reload apache2 sudo systemctl restart apache2

       在浏览器中输入 .0.0.1/colplot/，即可使用colplot。

       通过Change Dir选择存放经过collectl -P保存的数据，然后设置Plot细节、显示那些子系统、plot大小等等。

       最后Generate Plot查看结果。

期内存持续上升，如何排查?

       面对内存持续上升的挑战，如何在众多进程和业务线程中找出问题根源？首先，正确选择和运用工具是关键。在Linux下，我们常借助top命令实时监控CPU和内存使用，top -Hp pid则能详细查看线程资源。vmstat则提供了更深入的采样分析，尤其是进程上下文切换，而pidstat则进一步到达线程层面，其参数如-p, -r和-t帮助我们深入了解内存使用。

       对于Java应用，JVM内存管理尤为重要。jstat命令能够监测Java堆内存和垃圾回收情况，帮助我们理解内存分配。jstack则用于堆栈分析，有助于死锁排查。jmap不仅可以查看堆内存配置和使用，还能输出对象信息，进行详细统计和分析。

       在复杂业务场景中，排查内存问题可能需要深入源码分析，甚至结合MAT工具进行堆内存dump。尽管工具是我们的助手，但实际问题的解决往往需要丰富的经验和个人的专业判断。记住，性能调优并非易事，它需要我们熟练运用这些工具，同时不断积累实战经验。