一、起始

二、系統(tǒng)監(jiān)控

1、USE 法

• 使用率，表示資源用于服務(wù)的時間或容量百分比。100% 的使用率，表示容量已經(jīng)用盡或者全部時間都用于服務(wù)。
• 飽和度，表示資源的繁忙程度，通常與等待隊(duì)列的長度相關(guān)。100% 的飽和度，表示資源無法接受更多的請求。
• 錯誤數(shù)表示發(fā)生錯誤的事件個數(shù)。錯誤數(shù)越多，表明系統(tǒng)的問題越嚴(yán)重。

2、性能指標(biāo)

3、監(jiān)控系統(tǒng)

4、最后總結(jié)

三、應(yīng)用監(jiān)控

1、應(yīng)用監(jiān)控指標(biāo)

有了應(yīng)用程序之間的調(diào)用指標(biāo)，你可以迅速分析出一個請求處理的調(diào)用鏈中，到底哪個組件才是導(dǎo)致性能問題的罪魁禍?zhǔn)祝?/section>

而有了應(yīng)用程序內(nèi)部核心邏輯的運(yùn)行性能，你就可以更進(jìn)一步，直接進(jìn)入應(yīng)用程序的內(nèi)部，定位到底是哪個處理環(huán)節(jié)的函數(shù)導(dǎo)致了性能問題。

基于這些思路，我相信你就可以構(gòu)建出，描述應(yīng)用程序運(yùn)行狀態(tài)的性能指標(biāo)。再將這些指標(biāo)納入我們上一期提到的監(jiān)控系統(tǒng)（比如 Prometheus + Grafana）中，就可以跟系統(tǒng)監(jiān)控一樣，一方面通過告警系統(tǒng)，把問題及時匯報(bào)給相關(guān)團(tuán)隊(duì)處理；另一方面，通過直觀的圖形界面，動態(tài)展示應(yīng)用程序的整體性能。

2、全鏈路監(jiān)控

業(yè)務(wù)系統(tǒng)通常會涉及到一連串的多個服務(wù)，形成一個復(fù)雜的分布式調(diào)用鏈。為了迅速定位這類跨應(yīng)用的性能瓶頸，你還可以使用 Zipkin、Jaeger、Pinpoint 等各類開源工具，來構(gòu)建全鏈路跟蹤系統(tǒng)。比如，下圖就是一個 Jaeger 調(diào)用鏈跟蹤的示例。

全鏈路跟蹤可以幫你迅速定位出，在一個請求處理過程中，哪個環(huán)節(jié)才是問題根源。比如，從上圖中，你就可以很容易看到，這是 Redis 超時導(dǎo)致的問題。

全鏈路跟蹤除了可以幫你快速定位跨應(yīng)用的性能問題外，還可以幫你生成線上系統(tǒng)的調(diào)用拓?fù)鋱D。這些直觀的拓?fù)鋱D，在分析復(fù)雜系統(tǒng)（比如微服務(wù)）時尤其有效。

3、日志監(jiān)控

性能指標(biāo)的監(jiān)控，可以讓你迅速定位發(fā)生瓶頸的位置，不過只有指標(biāo)的話往往還不夠。比如，同樣的一個接口，當(dāng)請求傳入的參數(shù)不同時，就可能會導(dǎo)致完全不同的性能問題。所以，除了指標(biāo)外，我們還需要對這些指標(biāo)的上下文信息進(jìn)行監(jiān)控，而日志正是這些上下文的最佳來源。

對比來看，指標(biāo)是特定時間段的數(shù)值型測量數(shù)據(jù)，通常以時間序列的方式處理，適合于實(shí)時監(jiān)控。

而日志則完全不同，日志都是某個時間點(diǎn)的字符串消息，通常需要對搜索引擎進(jìn)行索引后，才能進(jìn)行查詢和匯總分析。

對日志監(jiān)控來說，最經(jīng)典的方法，就是使用 ELK 技術(shù)棧，即使用 Elasticsearch、Logstash 和 Kibana 這三個組件的組合。

如下圖所示，就是一個經(jīng)典的 ELK 架構(gòu)圖：

Logstash 負(fù)責(zé)對從各個日志源采集日志，然后進(jìn)行預(yù)處理，最后再把初步處理過的日志，發(fā)送給 Elasticsearch 進(jìn)行索引。

Elasticsearch 負(fù)責(zé)對日志進(jìn)行索引，并提供了一個完整的全文搜索引擎，這樣就可以方便你從日志中檢索需要的數(shù)據(jù)。

Kibana 則負(fù)責(zé)對日志進(jìn)行可視化分析，包括日志搜索、處理以及絢麗的儀表板展示等。

下面這張圖，就是一個 Kibana 儀表板的示例，它直觀展示了 Apache 的訪問概況。

值得注意的是，ELK 技術(shù)棧中的 Logstash 資源消耗比較大。所以，在資源緊張的環(huán)境中，我們往往使用資源消耗更低的 Fluentd，來替代 Logstash（也就是所謂的 EFK 技術(shù)棧）。

四、最后總結(jié)

應(yīng)用程序的監(jiān)控，可以分為指標(biāo)監(jiān)控和日志監(jiān)控兩大部分：

指標(biāo)監(jiān)控主要是對一定時間段內(nèi)性能指標(biāo)進(jìn)行測量，然后再通過時間序列的方式，進(jìn)行處理、存儲和告警。

日志監(jiān)控則可以提供更詳細(xì)的上下文信息，通常通過 ELK 技術(shù)棧來進(jìn)行收集、索引和圖形化展示。

在跨多個不同應(yīng)用的復(fù)雜業(yè)務(wù)場景中，你還可以構(gòu)建全鏈路跟蹤系統(tǒng)。這樣可以動態(tài)跟蹤調(diào)用鏈中各個組件的性能，生成整個流程的調(diào)用拓?fù)鋱D，從而加快定位復(fù)雜應(yīng)用的性能問題。

作者：-零

鏈接：https://www.cnblogs.com/-wenli/p/14017850.html