前面說(shuō)到了urllib2的簡(jiǎn)單入門(mén)，下面整理了一部分urllib2的使用細(xì)節(jié)。

1.Proxy 的設(shè)置

urllib2 默認(rèn)會(huì)使用環(huán)境變量 http_proxy 來(lái)設(shè)置 HTTP Proxy。

如果想在程序中明確控制 Proxy 而不受環(huán)境變量的影響，可以使用代理。

新建test14來(lái)實(shí)現(xiàn)一個(gè)簡(jiǎn)單的代理Demo：

這里要注意的一個(gè)細(xì)節(jié)，使用 urllib2.install_opener() 會(huì)設(shè)置 urllib2 的全局 opener 。

這樣后面的使用會(huì)很方便，但不能做更細(xì)致的控制，比如想在程序中使用兩個(gè)不同的 Proxy 設(shè)置等。

比較好的做法是不使用 install_opener 去更改全局的設(shè)置，而只是直接調(diào)用 opener 的 open 方法代替全局的 urlopen 方法。

2.Timeout 設(shè)置
在老版 Python 中（Python2.6前），urllib2 的 API 并沒(méi)有暴露 Timeout 的設(shè)置，要設(shè)置 Timeout 值，只能更改 Socket 的全局 Timeout 值。

在 Python 2.6 以后，超時(shí)可以通過(guò) urllib2.urlopen() 的 timeout 參數(shù)直接設(shè)置。

3.在 HTTP Request 中加入特定的 Header

要加入 header，需要使用 Request 對(duì)象：

對(duì)有些 header 要特別留意，服務(wù)器會(huì)針對(duì)這些 header 做檢查
User-Agent : 有些服務(wù)器或 Proxy 會(huì)通過(guò)該值來(lái)判斷是否是瀏覽器發(fā)出的請(qǐng)求
Content-Type : 在使用 REST 接口時(shí)，服務(wù)器會(huì)檢查該值，用來(lái)確定 HTTP Body 中的內(nèi)容該怎樣解析。常見(jiàn)的取值有：
application/xml ： 在 XML RPC，如 RESTful/SOAP 調(diào)用時(shí)使用
application/json ： 在 JSON RPC 調(diào)用時(shí)使用
application/x-www-form-urlencoded ： 瀏覽器提交 Web 表單時(shí)使用
在使用服務(wù)器提供的 RESTful 或 SOAP 服務(wù)時(shí)， Content-Type 設(shè)置錯(cuò)誤會(huì)導(dǎo)致服務(wù)器拒絕服務(wù)

4.Redirect
urllib2 默認(rèn)情況下會(huì)針對(duì) HTTP 3XX 返回碼自動(dòng)進(jìn)行 redirect 動(dòng)作，無(wú)需人工配置。要檢測(cè)是否發(fā)生了 redirect 動(dòng)作，只要檢查一下 Response 的 URL 和 Request 的 URL 是否一致就可以了。

如果不想自動(dòng) redirect，除了使用更低層次的 httplib 庫(kù)之外，還可以自定義HTTPRedirectHandler 類(lèi)。

5.Cookie

urllib2 對(duì) Cookie 的處理也是自動(dòng)的。如果需要得到某個(gè) Cookie 項(xiàng)的值，可以這么做：

運(yùn)行之后就會(huì)輸出訪(fǎng)問(wèn)百度的Cookie值：

6.使用 HTTP 的 PUT 和 DELETE 方法

urllib2 只支持 HTTP 的 GET 和 POST 方法，如果要使用 HTTP PUT 和 DELETE ，只能使用比較低層的 httplib 庫(kù)。雖然如此，我們還是能通過(guò)下面的方式，使 urllib2 能夠發(fā)出 PUT 或DELETE 的請(qǐng)求：

7.得到 HTTP 的返回碼

對(duì)于 200 OK 來(lái)說(shuō)，只要使用 urlopen 返回的 response 對(duì)象的 getcode() 方法就可以得到 HTTP 的返回碼。但對(duì)其它返回碼來(lái)說(shuō)，urlopen 會(huì)拋出異常。這時(shí)候，就要檢查異常對(duì)象的 code 屬性了：

8.Debug Log

使用 urllib2 時(shí)，可以通過(guò)下面的方法把 debug Log 打開(kāi)，這樣收發(fā)包的內(nèi)容就會(huì)在屏幕上打印出來(lái)，方便調(diào)試，有時(shí)可以省去抓包的工作

這樣就可以看到傳輸?shù)臄?shù)據(jù)包內(nèi)容了：

9.表單的處理

登錄必要填表，表單怎么填？

首先利用工具截取所要填表的內(nèi)容。
比如我一般用firefox+httpfox插件來(lái)看看自己到底發(fā)送了些什么包。
以verycd為例，先找到自己發(fā)的POST請(qǐng)求，以及POST表單項(xiàng)。
可以看到verycd的話(huà)需要填username,password,continueURI,fk,login_submit這幾項(xiàng)，其中fk是隨機(jī)生成的（其實(shí)不太隨機(jī)，看上去像是把epoch時(shí)間經(jīng)過(guò)簡(jiǎn)單的編碼生成的），需要從網(wǎng)頁(yè)獲取，也就是說(shuō)得先訪(fǎng)問(wèn)一次網(wǎng)頁(yè)，用正則表達(dá)式等工具截取返回?cái)?shù)據(jù)中的fk項(xiàng)。continueURI顧名思義可以隨便寫(xiě)，login_submit是固定的，這從源碼可以看出。還有username，password那就很顯然了：

10.偽裝成瀏覽器訪(fǎng)問(wèn)
某些網(wǎng)站反感爬蟲(chóng)的到訪(fǎng)，于是對(duì)爬蟲(chóng)一律拒絕請(qǐng)求。

這時(shí)候我們需要偽裝成瀏覽器，這可以通過(guò)修改http包中的header來(lái)實(shí)現(xiàn)

11.對(duì)付"反盜鏈"
某些站點(diǎn)有所謂的反盜鏈設(shè)置，其實(shí)說(shuō)穿了很簡(jiǎn)單，就是檢查你發(fā)送請(qǐng)求的header里面，referer站點(diǎn)是不是他自己，所以我們只需要像把headers的referer改成該網(wǎng)站即可，以cnbeta為例：

headers是一個(gè)dict數(shù)據(jù)結(jié)構(gòu)，你可以放入任何想要的header，來(lái)做一些偽裝。

例如，有些網(wǎng)站喜歡讀取header中的X-Forwarded-For來(lái)看看人家的真實(shí)IP，可以直接把X-Forwarde-For改了。