如何监测 Linux 的磁盘 I/O 性能

TrumanWong
4/23/2022
TrumanWong

背景

Linux存储系统I/O栈由文件系统层(file system layer)、**通用块层(general block layer)设备层(device layer)**构成。

其中,通用块层Linux磁盘I/O的核心。向上,它为访问文件系统和应用程序的块设备提供了标准接口;向下,它将各种异构磁盘设备抽象为一个统一的块设备,并响应文件系统和应用程序发送的I/O

接下来本来将主要介绍磁盘的性能指标以及如何查看这些指标。

Linux磁盘性能指标

在衡量磁盘性能时,我们经常提到五个常见指标:利用率、饱和度、IOPS、吞吐量和响应时间。这五个指标是衡量磁盘性能的基本指标。

这里需要注意的是:关于利用率,我们只考虑有无I/O,而不考虑I/O的大小。也就是说,当利用率为100%时,磁盘仍有可能接受新的I/O请求

一般来说,在为应用选择服务器时,首先要对磁盘的I/O性能进行基准测试,这样才能准确评估磁盘性能,以判断是否能够满足应用的需求。

当然,这需要你在随机读顺序读随机写顺序写等各种应用场景下测试不同I/O大小(通常是512B~1MB之间)的性能。

磁盘I/O观察

首先要观察的是每个磁盘的使用情况。iostat是最常用的磁盘I/O性能观察工具。它提供了各种常用的性能指标,例如每个磁盘的利用率IOPS吞吐量。当然,这些指标实际上来自/proc/diskstats

以下是iostat的输出示例:

# -d -x means display all disk I/O performance
$ iostat -d -x 1 
Device            r/s     rkB/s   rrqm/s  %rrqm r_await rareq-sz     w/s     wkB/s   wrqm/s  %wrqm w_await wareq-sz     d/s     dkB/s   drqm/s  %drqm d_await dareq-sz  aqu-sz  %util
loop0            0.00      0.00     0.00   0.00    4.07     8.05    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00   0.00
loop1            0.00      0.00     0.00   0.00    3.29     6.29    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00   0.00
loop10           0.00      0.00     0.00   0.00    0.02    13.17    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00   0.00
loop2            0.02      0.02     0.00   0.00    0.59     1.01    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00   0.00
loop3            0.00      0.00     0.00   0.00    7.65    17.10    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00   0.00
loop4            0.01      0.01     0.00   0.00    0.17     1.12    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00   0.00
loop5            0.00      0.00     0.00   0.00    1.81    14.51    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00   0.00
loop6            0.00      0.00     0.00   0.00    1.53     1.19    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00   0.00
loop7            0.00      0.00     0.00   0.00    1.91    11.93    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00   0.00
loop8            0.03      0.03     0.00   0.00    1.93     1.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00   0.00
loop9            0.00      0.00     0.00   0.00    7.84     1.05    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00   0.00
scd0             0.00      0.00     0.00   0.00    0.58     3.76    0.00      0.00     0.00   0.00    0.00     0.00    0.00      0.00     0.00   0.00    0.00     0.00    0.00   0.00
vda              0.19      5.44     0.08  28.61    2.30    28.86    2.10     21.96     1.82  46.45    1.89    10.45    0.00      0.00     0.00   0.00    0.00     0.00    0.00   0.28
vdb              0.01      0.34     0.00  13.51    3.37    29.35    1.40     18.69     2.19  60.91    1.52    13.31    0.00      0.00     0.00   0.00    0.00     0.00    0.00   0.17

在上述指标中,需要注意的是:

您可能已经注意到iostat不能直接获取磁盘的饱和度。事实上,通常没有什么简单的方法可以测量饱和度。但是,您可以将观察到的平均请求队列长度完成读写请求的等待时间基准测试(例如通过fio)的结果进行比较,以综合评估磁盘饱和度。

进程I/O观察

除了每个磁盘的I/O情况,每个进程的I/O情况也是关注的重点。

上面提到的iostat只提供了观察磁盘的整体I/O性能数据,缺点是无法知道哪些进程正在读写磁盘。要观察进程的I/O,还可以使用pidstatiotop工具。

例如,使用pidstat

$ pidstat -d 1
03:51:19 PM   UID       PID   kB_rd/s   kB_wr/s kB_ccwr/s iodelay  Command
03:51:20 PM     0       676     -1.00     -1.00     -1.00       1  jbd2/vdb-8

pidstat的输出可以看出,它可以实时查看每个进程的I/O情况,这包括以下内容:

除了使用pidstat实时查看进程磁盘I/O外,还有一个磁盘性能分析的常用方法是根据I/O大小对进程进行排序。在此推荐使用iotop工具。它类似于top工具,可以按I/O大小对进程进行排序,并找到具有更大I/O的进程。

$ sudo iotop
Total DISK READ:         0.00 B/s | Total DISK WRITE:        10.42 K/s
Current DISK READ:       0.00 B/s | Current DISK WRITE:      24.31 K/s
    TID  PRIO  USER     DISK READ  DISK WRITE  SWAPIN     IO>    COMMAND                                  
    290 be/3 root        0.00 B/s   10.42 K/s  0.00 %  0.37 % [jbd2/vda2-8]

从上面的输出可以看到,前两行分别代表进程的磁盘读写总大小磁盘的实际读写总大小。由于缓存缓冲区I/O合并等因素,它们可能不相等。

剩下的部分从各个角度代表了进程的I/O情况,包括 线程 IDI/O优先级每秒磁盘读取大小每秒磁盘写入大小换入百分比等待I/O时钟百分比

总结

在本文中,介绍了Linux磁盘I/O的性能指标和查看性能工具。我们通常使用**IOPS吞吐量利用率饱和度响应时间**等几个指标来评估磁盘的I/O性能。

可以使用 iostat 获取磁盘的I/O情况,也可以使用pidstatiotop等观察进程的I/O情况。但在分析这些性能指标时,要注意结合读写比率I/O类型I/O大小等综合分析。