Python爬取百度貼吧圖片
描述:用Python爬去百度貼吧圖片并保存到本地。
本人剛學(xué)爬蟲還不是很熟練,其中難點(diǎn)在于正則表達(dá)式的理解;

01
獲取整個(gè)頁面數(shù)據(jù)
Urllib 模塊提供了讀取web頁面數(shù)據(jù)的接口,我們可以像讀取本地文件一樣讀取www和ftp上的數(shù)據(jù)。首先,我們定義了一個(gè)getHtml()函數(shù):
urllib.urlopen()方法用于打開一個(gè)URL地址。
read()方法用于讀取URL上的數(shù)據(jù),向getHtml()函數(shù)傳遞一個(gè)網(wǎng)址,并把整個(gè)頁面下載下來。執(zhí)行程序就會(huì)把整個(gè)網(wǎng)頁打印輸出。
02
篩選頁面中想要的數(shù)據(jù)
Python 提供了非常強(qiáng)大的正則表達(dá)式,我們需要先要了解一點(diǎn)Python 正則表達(dá)式的知識(shí)才行。
假如我們百度貼吧找到了幾張漂亮的壁紙,通過到前段查看工具。找到了圖片的地址,如:src=”http://imgsrc.baidu.com/forum……jpg”pic_ext=”jpeg”

我們又創(chuàng)建了getImg()函數(shù),用于在獲取的整個(gè)頁面中篩選需要的圖片連接。re模塊主要包含了正則表達(dá)式:
re.compile() 可以把正則表達(dá)式編譯成一個(gè)正則表達(dá)式對(duì)象.
re.findall() 方法讀取html 中包含 imgre(正則表達(dá)式)的數(shù)據(jù)。
運(yùn)行腳本將得到整個(gè)頁面中包含圖片的URL地址。
03
將頁面篩選的數(shù)據(jù)保存到本地
通過一個(gè)for循環(huán)對(duì)獲取的圖片連接進(jìn)行遍歷,為了使圖片的文件名看上去更規(guī)范,對(duì)其進(jìn)行重命名,命名規(guī)則通過x變量加1。保存的位置默認(rèn)為程序的存放目錄。
程序運(yùn)行完成,將在目錄下看到下載到本地的文件。
馬哥教育精英線下Linux班鄭州校區(qū)開班倒計(jì)時(shí),優(yōu)惠四重享,贈(zèng)送高達(dá)4000元的學(xué)習(xí)大禮包:
第一重:4月30日前報(bào)名,立減400元,名額有限搶完為止;
第二重:4月30日前報(bào)名,贈(zèng)送馬哥教育內(nèi)部Linux知識(shí)精講教材一本(價(jià)值666元);
第三重:4月30日前報(bào)名,贈(zèng)送馬哥教育實(shí)體服務(wù)器使用資格(價(jià)值1666元);
第四重:4月30日前報(bào)名,贈(zèng)送馬哥教育云學(xué)堂學(xué)習(xí)權(quán)限1個(gè)(價(jià)值1999元);