作者：湯哥-馬哥Python自動(dòng)化運(yùn)維課程助理研發(fā)人

導(dǎo)言：2017年無(wú)疑是Python最火的一年，為什么Python這么火，這里面功勞最大的或許就是AlphaGo了，你知道嗎？AlphaGo是用Python開(kāi)發(fā)的哦！從技術(shù)領(lǐng)先的運(yùn)維工具到人工智能學(xué)習(xí)程序，你都能看到Python的身影。那么對(duì)于運(yùn)維來(lái)說(shuō)，不會(huì)Python就將要失業(yè)嗎?我想看了作者對(duì)在Linux 系統(tǒng)運(yùn)維中Python都有哪些應(yīng)用的分析你就會(huì)知道Python對(duì)運(yùn)維的重要性了。

Python現(xiàn)階段分析

現(xiàn)階段，掌握一門開(kāi)發(fā)語(yǔ)言已經(jīng)成為高級(jí)運(yùn)維工程師的必備技能。如果你不會(huì)開(kāi)發(fā)，那么你就不能充分理解你們系統(tǒng)的業(yè)務(wù)流程，那么你就不能幫助調(diào)試和優(yōu)化開(kāi)發(fā)人開(kāi)發(fā)的程序。開(kāi)發(fā)人員有的時(shí)候很少關(guān)注性能相關(guān)的問(wèn)題，這些問(wèn)題誰(shuí)來(lái)做呢？還是得運(yùn)維人員來(lái)做。

不信？舉個(gè)栗子一個(gè)業(yè)務(wù)上線了，導(dǎo)致 CPU 使用過(guò)高，內(nèi)存占用過(guò)大。怎么辦？這是運(yùn)維來(lái)解決還是開(kāi)發(fā)來(lái)解決？

如果你不會(huì)開(kāi)發(fā)，你可能只能查到進(jìn)程級(jí)別，也就是哪個(gè)進(jìn)程占用這么多，然后呢？通常情況下就直接交給開(kāi)發(fā)人員處理了，開(kāi)發(fā)人員一頭霧水的處理問(wèn)題，不能交付問(wèn)題原因這樣咋體現(xiàn)你運(yùn)維的價(jià)值？

另外，大一點(diǎn)的公司，服務(wù)器都上幾百，上千，甚至數(shù)萬(wàn)臺(tái)，這種情況下怎樣做自動(dòng)化運(yùn)維？用 SHELL 寫腳本 FOR 循環(huán)？呵呵，歇了吧， SHELL腳本數(shù)量一多，你用什么來(lái)管理SHELL腳本？ SHELL腳本也就適合簡(jiǎn)單的系統(tǒng)管理工作。

構(gòu)建復(fù)雜的自動(dòng)化任務(wù)還得是要用專門的開(kāi)發(fā)語(yǔ)言?，F(xiàn)有的開(kāi)源軟件如 puppetsaltstackzabbix agio 這類軟件很多。

但這些都是獨(dú)立的系統(tǒng)軟件，在運(yùn)維自動(dòng)化追求統(tǒng)一管理的今天，跨平臺(tái)的維護(hù)你還能忍嗎？不做定制、不做二次開(kāi)發(fā)可行嗎？可是你不會(huì)，咋辦嘞？找開(kāi)發(fā)部門？開(kāi)發(fā)部門不懂運(yùn)維的實(shí)際業(yè)務(wù)邏輯，寫出來(lái)的東西爛，爛到不能用，這活最后還得交給運(yùn)維開(kāi)發(fā)人員來(lái)做。

其次，不會(huì)運(yùn)維開(kāi)發(fā)，你就不能自己寫運(yùn)維平臺(tái)＼復(fù)雜的運(yùn)維工具，一切要借助于找一些開(kāi)源軟件拼拼湊湊，如果是這樣，那就請(qǐng)不要抱怨你的工資低，你的工作不受重視了。

那為什么是Python?

PYTHON 第一是個(gè)非常牛 B 的膠水語(yǔ)言， 能滿足絕大部分自動(dòng)化運(yùn)維的需求，又能做后端 C/S 架構(gòu)，又能用 WEB 框架快速開(kāi)發(fā)出高大上的 WEB 界面，還能做機(jī)器學(xué)習(xí)，只有當(dāng)你自已有能力做出一套運(yùn)維自動(dòng)化系統(tǒng)的時(shí)候，你的價(jià)值才體現(xiàn)出來(lái)，你才有資格跟老板談重視， 否則，還是老老實(shí)實(shí)回去裝機(jī)器吧。

Python在Linux運(yùn)維中的常見(jiàn)應(yīng)用

第一、靜態(tài)文件服務(wù)器

重點(diǎn)練習(xí)使用redux管理狀態(tài)。前端api與后端交互、數(shù)據(jù)封裝、狀態(tài)變化等。

第二、Python開(kāi)發(fā)的jumpserver跳板機(jī)

jumpserver跳板機(jī)是一款由Python編寫開(kāi)源的跳板機(jī)(堡壘機(jī))系統(tǒng)，實(shí)現(xiàn)了跳板機(jī)應(yīng)有的功能?；趕sh協(xié)議來(lái)管理，客戶端無(wú)需安裝agent。

企業(yè)主要用于解決：
可視化安全管理

• 特點(diǎn)：
  完全開(kāi)源，GPL授權(quán)，Python編寫，Django開(kāi)發(fā)框架，容易再次開(kāi)發(fā)
• 實(shí)現(xiàn)了跳板機(jī)基本功能：
  認(rèn)證、授權(quán)、審計(jì)。集成了Ansible、批量命令等。功能強(qiáng)大。

通俗點(diǎn)就是起到監(jiān)控誰(shuí)在服務(wù)器上做了什么操作等。錄像回放、命令搜索、實(shí)時(shí)監(jiān)控、批量上傳下載等。

第三：Python開(kāi)發(fā)的Magedu分布式監(jiān)控系統(tǒng)

以自動(dòng)化運(yùn)維視角為出發(fā)點(diǎn)，自動(dòng)化功能、監(jiān)控告警、性能調(diào)優(yōu)，結(jié)合saltstack實(shí)現(xiàn)自動(dòng)化配置管理等內(nèi)容進(jìn)行了全方位的深入剖析。

企業(yè)主要用于解決：
自動(dòng)化監(jiān)控常用系統(tǒng)服務(wù)、應(yīng)用、網(wǎng)絡(luò)設(shè)備等。分布式可監(jiān)控更多服務(wù)器，分區(qū)域監(jiān)控再匯總。Zabbix監(jiān)控結(jié)合Python自定義監(jiān)控腳本。

• 監(jiān)控系統(tǒng)需求分析：
  監(jiān)控常用系統(tǒng)服務(wù)、應(yīng)用、網(wǎng)絡(luò)設(shè)備等？一臺(tái)主機(jī)上可監(jiān)控多個(gè)不同服務(wù)、不同服務(wù)的監(jiān)控間隔可不同？同一個(gè)服務(wù)在不同主機(jī)上的監(jiān)控間隔、報(bào)警閾值可不同？告警級(jí)別？數(shù)據(jù)可視化，如何做出簡(jiǎn)潔美觀的用戶界面？如何實(shí)現(xiàn)單機(jī)支持5000+機(jī)器監(jiān)控需求？采取何種通信方式？主動(dòng)or被動(dòng)？

第四：Python開(kāi)發(fā)的Magedu的CMDB

企業(yè)主要用于解決：
項(xiàng)目功能，采集硬件數(shù)據(jù)、Api、頁(yè)面管理。統(tǒng)計(jì)資產(chǎn)，例如服務(wù)器存放位置，服務(wù)器上的賬號(hào)等等。

• cmdb的開(kāi)發(fā)需要包含三部分功能：
  采集硬件數(shù)據(jù)、API、頁(yè)面管理。
• 執(zhí)行服務(wù)的過(guò)程如下：
  服務(wù)器的客戶端采集硬件數(shù)據(jù)，然后將硬件信息發(fā)送到API，API負(fù)責(zé)將獲取到的數(shù)據(jù)保存到數(shù)據(jù)庫(kù)中，后臺(tái)管理程序負(fù)責(zé)對(duì)服務(wù)器信息的配置和展示。

第五：Python開(kāi)發(fā)的任務(wù)調(diào)度系統(tǒng)

Python任務(wù)調(diào)度系統(tǒng)的multiprocessing模塊不但支持多進(jìn)程，其中managers子模塊還支持把多進(jìn)程分布到多臺(tái)機(jī)器上。

企業(yè)主要用于解決:批量管理crontab定時(shí)任務(wù)。原理用戶通過(guò)web頁(yè)面設(shè)置任務(wù)，傳輸?shù)饺蝿?wù)調(diào)度系統(tǒng)服務(wù)器上的客戶端，客戶端收集數(shù)據(jù)反饋給服務(wù)器端，服務(wù)器端根據(jù)任務(wù)具體內(nèi)容調(diào)度后端的集群服務(wù)器做定時(shí)任務(wù)。

一個(gè)服務(wù)進(jìn)程可以作為調(diào)度者，依靠網(wǎng)絡(luò)通信將任務(wù)分布到其他多個(gè)機(jī)器的多個(gè)進(jìn)程中。想到這，就在想是不是可以使用此模塊來(lái)實(shí)現(xiàn)一個(gè)簡(jiǎn)單的作業(yè)調(diào)度系統(tǒng)。

第六：Python運(yùn)維流程系統(tǒng)

使用Python語(yǔ)言編寫的調(diào)度和監(jiān)控工作流的平臺(tái)內(nèi)部用來(lái)創(chuàng)建、監(jiān)控和調(diào)整數(shù)據(jù)管道。任何工作流都可以在這個(gè)使用Python來(lái)編寫的平臺(tái)上運(yùn)行。

企業(yè)主要用于解決：通俗點(diǎn)說(shuō)就是規(guī)范運(yùn)維的操作，加入審批，一步一步操作的概念。

是一種允許工作流開(kāi)發(fā)人員輕松創(chuàng)建、維護(hù)和周期性地調(diào)度運(yùn)行工作流（即有向無(wú)環(huán)圖或成為DAGs）的工具。這些工作流包括了如數(shù)據(jù)存儲(chǔ)、增長(zhǎng)分析、Email發(fā)送、A/B測(cè)試等等這些跨越多部門的用例。

這個(gè)平臺(tái)擁有和 Hive、Presto、MySQL、HDFS、Postgres和S3交互的能力，并且提供了鉤子使得系統(tǒng)擁有很好地?cái)U(kuò)展性。除了一個(gè)命令行界面，該工具還提供了一個(gè)基于Web的用戶界面讓您可以可視化管道的依賴關(guān)系、監(jiān)控進(jìn)度、觸發(fā)任務(wù)等。

來(lái)個(gè)小總結(jié)

幾個(gè)實(shí)戰(zhàn)項(xiàng)目之間的結(jié)合，可以理解成，運(yùn)維流程系統(tǒng)，就是規(guī)范運(yùn)維的每一步操作，審批通過(guò)后，通過(guò)調(diào)用任務(wù)調(diào)度系統(tǒng)來(lái)定制批量操作。任務(wù)調(diào)度系統(tǒng)操作的過(guò)程中，可以通過(guò)CMDB資產(chǎn)管理系統(tǒng)來(lái)獲取服務(wù)器的詳細(xì)信息，ip地址，用戶名，密碼等。

如果是需要運(yùn)維人員直接登陸到服務(wù)器上操作，需要通過(guò)跳板機(jī)來(lái)登陸服務(wù)器，記錄誰(shuí)登陸了哪臺(tái)服務(wù)器，具體做了什么操作等。

以上為常見(jiàn)的五種應(yīng)用，請(qǐng)指點(diǎn)！

Python自動(dòng)化主要幫助企業(yè)解決日常繁雜的工作事務(wù)，數(shù)據(jù)化、可視化的監(jiān)控日常的業(yè)務(wù)運(yùn)行情況。

歡迎一起交流和補(bǔ)充！

馬哥教育2017年P(guān)ython自動(dòng)化運(yùn)維開(kāi)發(fā)實(shí)戰(zhàn)班，馬哥聯(lián)合BAT、豆瓣等一線互聯(lián)網(wǎng)Python開(kāi)發(fā)達(dá)人，根據(jù)目前企業(yè)需求的Python開(kāi)發(fā)人才進(jìn)行了深度定制，加入了大量一線互聯(lián)網(wǎng)公司：大眾點(diǎn)評(píng)、餓了么、騰訊等生產(chǎn)環(huán)境真是項(xiàng)目，課程由淺入深，從Python基礎(chǔ)到Python高級(jí)，讓你融匯貫通Python基礎(chǔ)理論，手把手教學(xué)讓你具備Python自動(dòng)化開(kāi)發(fā)需要的前端界面開(kāi)發(fā)、Web框架、大監(jiān)控系統(tǒng)、CMDB系統(tǒng)、認(rèn)證堡壘機(jī)、自動(dòng)化流程平臺(tái)六大實(shí)戰(zhàn)能力，讓你從0開(kāi)始蛻變成Hold住年薪20萬(wàn)的Python自動(dòng)化開(kāi)發(fā)人才。

咨詢方式：微信搜索：18614299620（豌豆）