本文主要介绍当Linux系统服务器CPU使用率或CPU负载较高时，如何排查分析及常见案例说明。

操作场景

在您使用轻云互联服务器过程中，可能会遇到服务器CPU使用率或CPU负载持续较高的情况，您可以按照以下步骤排查定位具体问题。

1. 找到影响CPU使用率或CPU负载过高的具体进程。

2. 排查影响CPU使用率或CPU负载过高的进程是否正常，并分类进行处理。

   • 对于正常进程：您需要对程序进行优化或者升配云服务器配置。

   • 对于异常进程：您可以手动对进程进行查杀，也可以使用第三方安全工具去查杀。

CPU负载的查询分析

在Linux系统中，查看进程的常用命令如下所示。本文主要介绍vmstat和top常用命令的使用。

• vmstat

• top

• ps -aux

• ps -ef

vmstat命令的使用：

vmstat（VirtualMeomoryStatistics，虚拟内存统计），通过vmstat命令，从系统维度查看操作系统的虚拟内存、进程、CPU等的整体情况。

vmstat命令

常用vmstat命令如下所示。

vmstat [-n] [delay [count]] 

说明

• [-n]：只在开始时显示一次各字段名称。

• [delay]：刷新时间间隔。如果不指定，只显示一条结果。

• [count]：刷新次数。如果不指定刷新次数，但指定了刷新时间间隔，这时刷新次数为无穷。

使用示例

执行如下命令，使用vmstat每1秒统计一次各进程的CPU使用情况，连续统计4次。

vmstat -n 1 4

返回示例类似如下。

procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 1  0      0 2684984 310452 2364304    0    0     5    17   19   35  4  2 94  0  0
 0  0      0 2687504 310452 2362268    0    0     0   252 1942 4326  5  2 93  0  0
 0  0      0 2687356 310460 2362252    0    0     0    68 1891 4449  3  2 95  0  0
 0  0      0 2687252 310460 2362256    0    0     0     0 1906 4616  4  1 95  0  0

显示结果主要字段说明

• r：表示系统中CPU等待处理的线程。一个CPU每次只能处理一个线程，所以该数值越大，通常表示系统运行越慢。

• us：用户模式消耗的CPU时间百分比。该值较高时，说明用户进程消耗的CPU时间比较多。如果该值长期超过50%，则需要对程序算法或代码等进行优化。

• sy：内核模式消耗的CPU时间百分比。

• wa：I/O等待消耗的CPU时间百分比。该值较高时，说明IO等待比较严重，这可能是磁盘大量作随机访问造成的，也可能是磁盘性能出现了瓶颈。

• id：处于空闲状态的CPU时间百分比。如果该值持续为0，同时sy是us的两倍，则通常说明系统面临CPU资源短缺。

常见CPU资源过高案例分析

案例一：CPU使用率较低但负载较高

问题现象

当前Linux系统没有业务程序运行。通过top命令观察，发现CPU使用率不高，但是CPU负载（load average）却非常高，如下图所示。

问题原因

该问题可能是因为僵死（zombie）进程过多导致。

load average是对CPU负载进行评估的，其值越高说明其任务队列越长，处于等待执行的任务越多。

解决方案

您可以通过ps -axjf命令查看是否存在D+状态进程，该状态是指不可中断的睡眠状态。

处于该状态的进程无法终止，也无法自行退出，只能通过恢复其依赖的资源或者重启系统来解决。

案例二：kswapd0进程占用CPU较高

问题现象

轻云互联云服务器运行卡顿，使用top命令查看，kswapd0进程占用了99% CPU。

问题原因

出现该问题可能是系统此时在持续进行换页操作，导致占用大量CPU资源。

kswapd0是虚拟内存管理中负责换页的进程，当ECS实例物理内存不足时，kswapd0会执行换页操作，换页操作会消耗大量的CPU资源。

解决方案

您可以通过修改vm.swappiness内核参数来控制交换空间的大小，来解决kswapd0进程占用CPU较高的问题。

1. 使用电脑内远程桌面连接您的服务器或者使用面板内控制台VNC方式登录机器实例

2. 查看swappiness参数。

   cat /proc/sys/vm/swappiness

   系统显示类似如下，表示当物理内存低于60%（100-40）时使用swap空间。

   说明 

   swappiness参数越低，表示Linux系统尽量少用swap分区，多用物理内存；swappiness参数值越高，表示使内核更多的去使用swap空间。

   

3. 根据业务需要，修改swappiness参数。

   1. 打开内核参数配置文件sysctl.conf。

      vi /etc/sysctl.conf

   2. 根据业务需要，修改swappiness参数值。

      如在sysctl.conf文件中，修改vm.swappiness = 10。

   3. 按Esc键，输入:wq保存修改。

   4. 重新加载sysctl配置文件，使配置生效。

      sysctl -p

      若该问题还未解决，建议您升配配置规格。

案例三：CPU使用率过高100%问题排查

问题现象

使用轻云互联服务器的过程中，如果遇到CPU使用率高达100%等异常情况，且无法通过top、htop等命令查询到消耗CPU资源的具体进程。

问题原因

该问题可能是病毒导致。

解决方案

1. 查看官网面板内的监控报表。

2. 查看Linux服务器的命令修改记录。

   1. 使用电脑内远程桌面连接您的云服务器或者使用面板内控制台VNC方式登录机器实例

   2. 执行如下命令，查看当前Linux系统命令最近是否被修改过。

      stat /usr/bin/top

      系统显示类似如下，系统命令有被修改。查看更改时间是否和云监控中CPU使用率出现100%的时间点吻合。

      

3. 分别执行如下命令，查看ps或top命令是否被修改过。

   rpm -Vf /bin/ps
   rpm -Vf /usr/bin/top

   • 正常情况下，系统无返回修改信息。

   • 系统异常情况下，显示类似如下，表示ps和top命令被修改过。

     

4. 执行如下命令，查看当前实例是否连接到异常域名。

   iftop -i [$Device] -n -P

   说明 

   [$Device]请替换为当前系统使用的网卡，如eth0。

   系统显示类似如下，若您没有连接过crypto-pool.fr，则crypto-pool.fr是异常域名。

   

5. 综合以上表现，top、ps命令被修改，并且连接到异常域名，判断您的服务器已被病毒入侵，可以参考以下方案。

   1. 备份轻云互联服务器数据

   2. 重新重装系统盘

top命令的使用：

top命令是Linux系统中常用的性能分析工具，可以实时显示系统中各进程的资源占用情况。

top命令

top [-n] [-d] 

说明 

[-n]：刷新次数。如果不指定刷新次数，但指定了刷新时间间隔，这时刷新次数为无穷。

[-d] ：刷新时间间隔。

使用示例

1. 使用电脑内远程桌面连接您的服务器或者使用面板内控制台VNC方式登录机器实例

2. 执行如下命令，查看系统中各进程的资源占用情况。

   如下命令表示：每2秒统计一次各进程相关信息，统计5次后停止。

   top -n 5 -d 2

   系统显示类似如下。

   top - 17:27:13 up 27 days,  3:13,  1 user,  load average: 0.02, 0.03, 0.05
   Tasks:  94 total,   1 running,  93 sleeping,   0 stopped,   0 zombie
   %Cpu(s):  0.3 us,  0.1 sy,  0.0 ni, 99.5 id,  0.0 wa,  0.0 hi,  0.0 si,  0.1 st
   KiB Mem:   1016656 total,   946628 used,    70028 free,   169536 buffers
   KiB Swap:        0 total,        0 used,        0 free.   448644 cached Mem
   PID USER      PR  NI    VIRT    RES    SHR S %CPU %MEM     TIME+ COMMAND
   1 root        20   0   41412   3824   2308 S  0.0  0.4   0:19.01 systemd
   2 root        20   0       0      0      0 S  0.0  0.0   0:00.04 kthreadd

   显示结果主要字段说明

   针对CPU使用率和CPU负载问题，您只需关注回显的第一行和第三行信息，详细说明如下。

   • 第一行：显示的内容17:27:13 up 27 days, 3:13, 1 user, load average: 0.02, 0.03, 0.05，依次为系统当前时间、系统到目前为止已运行的时间、当前登录系统的用户数量、系统负载。

   • 第三行：显示当前CPU资源的总体使用情况，下方会显示各个进程的资源占用情况。

3. 在top命令执行过程中，可以使用一些交互命令。

   • 通过P键，可以对CPU使用率进行倒序排列，方便定位系统中占用CPU较高的进程。

   • 通过M键，您可以对系统内存使用情况进行排序。如果有多核CPU，数字键1可以显示每核CPU的负载状况。

4. 执行ll /proc/PID/exe命令，可以查看每个进程ID对应的程序文件。

5. 终止CPU消耗较大的进程。

   1. 先写入小写字母k。

   2. 输入想要终止的进程PID，按Enter键。

      默认为输出结果的第一个PID，如下图所示，假如想要终止PID为23的进程，输入23后按Enter键。

      

   3. 操作成功后，界面会出现类似Send pid 23 signal [15/sigterm]的提示信息，按Enter键确认即可。