亚洲熟女综合色一区二区三区,亚洲精品中文字幕无码蜜桃,亚洲va欧美va日韩va成人网,亚洲av无码国产一区二区三区,亚洲精品无码久久久久久久

Python爬取百度貼吧圖片

描述:用Python爬去百度貼吧圖片并保存到本地。
本人剛學(xué)爬蟲還不是很熟練,其中難點(diǎn)在于正則表達(dá)式的理解;

Python爬取百度貼吧圖片
說明

01

獲取整個(gè)頁面數(shù)據(jù)

Urllib 模塊提供了讀取web頁面數(shù)據(jù)的接口,我們可以像讀取本地文件一樣讀取www和ftp上的數(shù)據(jù)。首先,我們定義了一個(gè)getHtml()函數(shù):

urllib.urlopen()方法用于打開一個(gè)URL地址。

read()方法用于讀取URL上的數(shù)據(jù),向getHtml()函數(shù)傳遞一個(gè)網(wǎng)址,并把整個(gè)頁面下載下來。執(zhí)行程序就會(huì)把整個(gè)網(wǎng)頁打印輸出。

02

篩選頁面中想要的數(shù)據(jù)

Python 提供了非常強(qiáng)大的正則表達(dá)式,我們需要先要了解一點(diǎn)Python 正則表達(dá)式的知識(shí)才行。
假如我們百度貼吧找到了幾張漂亮的壁紙,通過到前段查看工具。找到了圖片的地址,如:src=”http://imgsrc.baidu.com/forum……jpg”pic_ext=”jpeg”

Python爬取百度貼吧圖片

我們又創(chuàng)建了getImg()函數(shù),用于在獲取的整個(gè)頁面中篩選需要的圖片連接。re模塊主要包含了正則表達(dá)式:

re.compile() 可以把正則表達(dá)式編譯成一個(gè)正則表達(dá)式對(duì)象.

re.findall() 方法讀取html 中包含 imgre(正則表達(dá)式)的數(shù)據(jù)。

運(yùn)行腳本將得到整個(gè)頁面中包含圖片的URL地址。

03

將頁面篩選的數(shù)據(jù)保存到本地

  通過一個(gè)for循環(huán)對(duì)獲取的圖片連接進(jìn)行遍歷,為了使圖片的文件名看上去更規(guī)范,對(duì)其進(jìn)行重命名,命名規(guī)則通過x變量加1。保存的位置默認(rèn)為程序的存放目錄。

程序運(yùn)行完成,將在目錄下看到下載到本地的文件。

————金三銀四課程特惠————

馬哥教育精英線下Linux班鄭州校區(qū)開班倒計(jì)時(shí),優(yōu)惠四重享,贈(zèng)送高達(dá)4000元的學(xué)習(xí)大禮包:

第一重:4月30日前報(bào)名,立減400元,名額有限搶完為止;

第二重:4月30日前報(bào)名,贈(zèng)送馬哥教育內(nèi)部Linux知識(shí)精講教材一本(價(jià)值666元);

第三重:4月30日前報(bào)名,贈(zèng)送馬哥教育實(shí)體服務(wù)器使用資格(價(jià)值1666元);

第四重:4月30日前報(bào)名,贈(zèng)送馬哥教育云學(xué)堂學(xué)習(xí)權(quán)限1個(gè)(價(jià)值1999元);

相關(guān)新聞

歷經(jīng)多年發(fā)展,已成為國(guó)內(nèi)好評(píng)如潮的Linux云計(jì)算運(yùn)維、SRE、Devops、網(wǎng)絡(luò)安全、云原生、Go、Python開發(fā)專業(yè)人才培訓(xùn)機(jī)構(gòu)!