熟悉運(yùn)維的人員，可能經(jīng)常會遇到系統(tǒng)的監(jiān)控的報(bào)警。通過這些警報(bào)，我們們就會分析出系統(tǒng)的故障以及問題的根源，然后進(jìn)行及時處理。那么Linux如何排查思路問題的？其實(shí)分析問題是需要贏經(jīng)驗(yàn)的，這也是提升運(yùn)維工程師能力進(jìn)步的方法之一。所以如果運(yùn)維工程師擁有自己特有的分析方法，就可以快速處理問題。

　　分析問題的方法論

我們常用5W2H方法提出性能分析的問題

1.What-什么現(xiàn)象表現(xiàn)

2.When-什么時間出現(xiàn)

3.Why-為什么發(fā)生問題

4.Where-哪個組件性能發(fā)生問題

5.How much-消耗多少資源

6.How to do-如何解決問題

　　常見系統(tǒng)資源問題分析

針對目前服務(wù)器提供的應(yīng)用服務(wù)，通常需要關(guān)注內(nèi)核CPU調(diào)度器功能和性能。

主要是分析線程狀態(tài)，線程的時間用在什么地方。線程狀態(tài)的分類一般分為：

on-CPU：執(zhí)行中，分為用戶態(tài)時間user和系統(tǒng)態(tài)時間sys。

off-CPU：等待，等待CPU、I/O、鎖、換頁等等，其狀態(tài)可以細(xì)分為可執(zhí)行、匿名換頁、睡眠、鎖、空閑等狀態(tài)。

如果大量時間在on-CPU上，對CPU剖析能夠迅速定位問題原因。

如果大量時間處于off-CPU狀態(tài)，定位問題就會變得復(fù)雜費(fèi)時。

　　舉例說明

查看系統(tǒng)cpu使用情況：

top

查看所有cpu核信息：

mpstat -P ALL 1

查看cpu使用情況及平均負(fù)載：

vmstat 1

某個進(jìn)程cpu的統(tǒng)計(jì)信息：

pidstat -u 1 -p pid

跟蹤進(jìn)程內(nèi)部函數(shù)級cpu使用情況：

perf top -p pid -e cpu-clock

　　MEM

內(nèi)存是為提高效率，實(shí)際分析問題的時候，內(nèi)存出現(xiàn)問題可能不只是影響性能，而是影響服務(wù)或者引起其他的問題。

對于內(nèi)存的一些概念需要清楚：

主存

緩存

虛擬內(nèi)存

地址空間

OOM

LINUX內(nèi)核級SLUB分配器

舉例說明

查看系統(tǒng)內(nèi)存使用情況：

free -m

虛擬內(nèi)存統(tǒng)計(jì)信息：

vmstat 1

查看系統(tǒng)內(nèi)存情況：

top

獲取內(nèi)存1s采集周期統(tǒng)計(jì)信息：

pidstat -p pid -r 1

查看進(jìn)程的內(nèi)存映像信息：

pmap -d pid

檢測程序內(nèi)存問題：

valgrind --tool=memcheck --leak-check=full --log-file=./log.txt ./程序名

DISK I/O

在SSD未成為主流之前，磁盤基本都是機(jī)械設(shè)備，通常是計(jì)算機(jī)最慢的子系統(tǒng)，也是容易出現(xiàn)性能瓶頸的設(shè)備，因?yàn)樵L問磁盤要涉及到機(jī)械操作，訪問硬盤和訪問內(nèi)存之間的速度差別是以數(shù)量級來計(jì)算的。

同樣對磁盤的一些概念需要理解：

　　文件系統(tǒng)

VFS

文件系統(tǒng)緩存

頁緩存page cache

緩沖區(qū)高速緩存buffer cache

目錄緩存

inode

舉例說明

查看系統(tǒng)io信息：

iotop

統(tǒng)計(jì)io詳細(xì)信息：

iostat -d -x -k 1 10

查看進(jìn)程級io的信息：

pidstat -d 1 -p pid

查看系統(tǒng)io請求：

perf record -e block:block_rq_issue -ag

perf report

NETWORK

網(wǎng)絡(luò)監(jiān)測是Linux子系統(tǒng)里面最復(fù)雜的，有太多太多的原因會引起系統(tǒng)問題，常見的如：延遲、阻塞、沖突、丟包等。而且連接服務(wù)器的路由器、交換機(jī)、無線設(shè)備都可能影響網(wǎng)絡(luò)，所以很難判斷是因?yàn)長inux系統(tǒng)網(wǎng)絡(luò)問題還是其它設(shè)備的問題。

　　舉例說明

顯示網(wǎng)絡(luò)統(tǒng)計(jì)信息：

netstat -s

顯示當(dāng)前UDP連接狀況：

netstat -nu

顯示UDP端口號的使用情況：

netstat -apu

顯示TCP連接：

ss -t -a

顯示sockets摘要信息：

ss -s

顯示所有udp sockets：

ss -u -a

顯示tcp,etcp狀態(tài)：

sar -n TCP,ETCP 1

查看網(wǎng)絡(luò)IO：

sar -n DEV 1

抓包（包為單位輸出）：

tcpdump -i eth1 host 192.168.1.1 and port 80

抓包（流為單位顯示數(shù)據(jù)內(nèi)容）：

tcpflow -cp host 192.168.1.1

以上就是關(guān)于Linux如何排查思路問題的全部內(nèi)容，想了解更多關(guān)于Linux的信息，請繼續(xù)關(guān)注中培偉業(yè)。