作為程序員或者軟件測(cè)試員們的一員，置信大家一定都聽(tīng)說(shuō)過(guò)Python語(yǔ)言。

Python語(yǔ)言這兩年是越來(lái)越火了，它漸漸崛起也是有緣由的。

比如市場(chǎng)需求、入門簡(jiǎn)單易學(xué)、支持多種語(yǔ)言……當(dāng)然這些都是很官方的。

說(shuō)白了，就是

寫(xiě)個(gè)web服務(wù)，可以用Python；

寫(xiě)個(gè)服務(wù)器腳本，可以用Python；

寫(xiě)個(gè)桌面客戶端，可以用Python；

做機(jī)器學(xué)習(xí)數(shù)據(jù)挖掘，可以用Python；

寫(xiě)測(cè)試工具自動(dòng)化腳本依舊可以用Python……

Python語(yǔ)言是免費(fèi)支持的！

既然那么好，如何利用Python進(jìn)行有意義的行（zhuan）為（錢）呢？

今天，小編和大家一起學(xué)習(xí)Python爬蟲(chóng)技術(shù)呢？

一、老生常談-學(xué)習(xí)準(zhǔn)備

學(xué)會(huì)提前準(zhǔn)備是一切好的開(kāi)始，學(xué)習(xí)語(yǔ)言更是如此。興趣是最好的老師，學(xué)習(xí)爬蟲(chóng)技術(shù)，可以給自己定個(gè)目標(biāo)，比如為了妹紙，爬取時(shí)尚網(wǎng)站的數(shù)據(jù)信息，打包給那個(gè)她······

基礎(chǔ)知識(shí)必須掌握

什么是爬蟲(chóng)？數(shù)據(jù)是從哪里來(lái)的？這些基礎(chǔ)到不行的知識(shí)點(diǎn)，請(qǐng)自行搜索！你還得掌握：

·HTML，了解網(wǎng)頁(yè)的結(jié)構(gòu)，內(nèi)容等，幫助后續(xù)的數(shù)據(jù)爬取。

·Python

因?yàn)楸容^簡(jiǎn)單，零基礎(chǔ)可以聽(tīng)一些大牛的博客文章，或者聽(tīng)別人是怎么說(shuō)

Python玩轉(zhuǎn)自動(dòng)化測(cè)試，這個(gè)點(diǎn)有基礎(chǔ)的同學(xué)，可以略過(guò)哈~

·TCP/IP協(xié)議，HTTP協(xié)議

了解在網(wǎng)絡(luò)請(qǐng)求和網(wǎng)絡(luò)傳輸上的基本原理，幫助今后寫(xiě)爬蟲(chóng)的時(shí)候理解爬蟲(chóng)的邏輯。

二、爬取整個(gè)網(wǎng)站的構(gòu)思

當(dāng)用戶在瀏覽網(wǎng)頁(yè)時(shí)，會(huì)看圖片。

點(diǎn)擊網(wǎng)址看到的圖片，是用戶輸入網(wǎng)址-DNS服務(wù)器-服務(wù)器主機(jī)-服務(wù)器請(qǐng)求-服務(wù)器解析-發(fā)送瀏覽器HTML、JS、CSS-瀏覽器解析-解析圖片

爬蟲(chóng)需要爬取，有HTML代碼構(gòu)成的網(wǎng)頁(yè)，然后獲取圖片和文字！

三、環(huán)境配置

環(huán)境配置總是最重要的一個(gè)環(huán)境，做過(guò)測(cè)試的都知道。Python也一樣，需要掌握幾款好用的IDE，我們來(lái)看看常用的幾個(gè)：

1、Notepad++，簡(jiǎn)單，但是提示功能不強(qiáng)

2、PyCharm，用于一般IDE具備的功能，比如，調(diào)試、語(yǔ)法高亮、代碼跳轉(zhuǎn)、等等，同時(shí)可用于Django開(kāi)發(fā)，支持Google App Engine，更酷的是，PyCharm支持IronPython！

好的開(kāi)發(fā)工具是一切工作完成的前提。

爬取這么多數(shù)據(jù)，賺錢豈不是分分鐘~技藝快學(xué)起來(lái)吧！

馬哥學(xué)習(xí)交流群

馬哥教育-Python開(kāi)發(fā)-1群 335068227

馬哥教育-Python開(kāi)發(fā)-2群 608459685