-
Python面試真題 - 分布式爬蟲(chóng)主要解決什么問(wèn)題 ？
【Python面試真題】- 分布式爬蟲(chóng)主要解決什么問(wèn)題 ？ 1)ip 2)帶寬 3）cpu 4）io
-
【Python面試真題】- scrapy和scrapy-redis有什么區(qū)別？為什么選擇redis數(shù)據(jù)庫(kù)？
【Python面試真題】- scrapy和scrapy-redis有什么區(qū)別？為什么選擇redis數(shù)據(jù)庫(kù)？ 1) scrapy是一個(gè)Python爬蟲(chóng)框架，爬取效率極高，具有高度定制性，但是不支持分布式。而scrapy-redis一套基于redis數(shù)據(jù)庫(kù)、運(yùn)行在scrapy框架之上的組件，可以讓scrapy支持分布式策略，Slaver端共享Master端redis數(shù)據(jù)庫(kù)里的item隊(duì)列、請(qǐng)求隊(duì)列和請(qǐng)求指紋集合。 2) 為什么選擇redis數(shù)據(jù)庫(kù)，因?yàn)閞edis支持主從同步，而且數(shù)據(jù)都是緩存在內(nèi)存中…
-
Python面試真題 - 常見(jiàn)的反爬蟲(chóng)和應(yīng)對(duì)方法？
【Python面試真題】- 常見(jiàn)的反爬蟲(chóng)和應(yīng)對(duì)方法？ 1）.通過(guò)Headers反爬蟲(chóng) 從用戶請(qǐng)求的Headers反爬蟲(chóng)是最常見(jiàn)的反爬蟲(chóng)策略。很多網(wǎng)站都會(huì)對(duì)Headers的User-Agent進(jìn)行檢測(cè)，還有一部分網(wǎng)站會(huì)對(duì)Referer進(jìn)行檢測(cè)（一些資源網(wǎng)站的防盜鏈就是檢測(cè)Referer）。如果遇到了這類反爬蟲(chóng)機(jī)制，可以直接在爬蟲(chóng)中添加Headers，將瀏覽器的User-Agent復(fù)制到爬蟲(chóng)的Headers中；或者將Referer值修改為目標(biāo)網(wǎng)站域名。對(duì)于檢測(cè)Headers的反爬蟲(chóng)，在爬蟲(chóng)中修改或者…
-
【Python面試真題】- 描述下scrapy框架運(yùn)行的機(jī)制？
【Python面試真題】- 描述下scrapy框架運(yùn)行的機(jī)制？ 從start_urls里獲取第一批url并發(fā)送請(qǐng)求，請(qǐng)求由引擎交給調(diào)度器入請(qǐng)求隊(duì)列，獲取完畢后，調(diào)度器將請(qǐng)求隊(duì)列里的請(qǐng)求交給下載器去獲取請(qǐng)求對(duì)應(yīng)的響應(yīng)資源，并將響應(yīng)交給自己編寫(xiě)的解析方法做提取處理：1. 如果提取出需要的數(shù)據(jù)，則交給管道文件處理;2. 如果提取出url，則繼續(xù)執(zhí)行之前的步驟(發(fā)送url請(qǐng)求，并由引擎將請(qǐng)求交給調(diào)度器入隊(duì)列...)，直到請(qǐng)求隊(duì)列里沒(méi)有請(qǐng)求，程序結(jié)束。
-
Python面試真題- Django重定向你是如何實(shí)現(xiàn)的？用的什么狀態(tài)碼？
【Python面試真題】- Django重定向你是如何實(shí)現(xiàn)的？用的什么狀態(tài)碼？ 使用HttpResponseRedirect redirect和reverse 狀態(tài)碼：302,301
-
Python面試真題 - 迭代器和生成器的區(qū)別 ？
【Python面試真題】- 迭代器和生成器的區(qū)別 ？ 1）迭代器是一個(gè)更抽象的概念，任何對(duì)象，如果它的類有next方法和iter方法返回自己本身。對(duì)于string、list、dict、tuple等這類容器對(duì)象，使用for循環(huán)遍歷是很方便的。在后臺(tái)for語(yǔ)句對(duì)容器對(duì)象調(diào)用iter()函數(shù)，iter()是Python的內(nèi)置函數(shù)。iter()會(huì)返回一個(gè)定義了next()方法的迭代器對(duì)象，它在容器中逐個(gè)訪問(wèn)容器內(nèi)元素，next()也是Python的內(nèi)置函數(shù)。在沒(méi)有后續(xù)元素時(shí)，next()會(huì)拋出一個(gè)S…
-
Python面試真題 - 寫(xiě)爬蟲(chóng)是用多進(jìn)程好?還是多線程好? 為什么?
【Python面試真題】- 寫(xiě)爬蟲(chóng)是用多進(jìn)程好?還是多線程好? 為什么? IO密集型代碼(文件處理、網(wǎng)絡(luò)爬蟲(chóng)等)，多線程能夠有效提升效率(單線程下有IO操作會(huì)進(jìn)行IO等待，造成不必要的時(shí)間浪費(fèi)，而開(kāi)啟多線程能在線程A等待時(shí)，自動(dòng)切換到線程B，可以不浪費(fèi)CPU的資源，從而能提升程序執(zhí)行效率)。在實(shí)際的數(shù)據(jù)采集過(guò)程中，既考慮網(wǎng)速和響應(yīng)的問(wèn)題，也需要考慮自身機(jī)器的硬件情況，來(lái)設(shè)置多進(jìn)程或多線程
-
Python面試真題- scrapy和scrapy-redis有什么區(qū)別？為什么選擇redis數(shù)據(jù)庫(kù)？
【Python面試真題】- scrapy和scrapy-redis有什么區(qū)別？為什么選擇redis數(shù)據(jù)庫(kù)？ 1)scrapy是一個(gè)Python爬蟲(chóng)框架，爬取效率極高，具有高度定制性，但是不支持分布式。而scrapy-redis一套基于redis數(shù)據(jù)庫(kù)、運(yùn)行在scrapy框架之上的組件，可以讓scrapy支持分布式策略，Slaver端共享Master端redis數(shù)據(jù)庫(kù)里的item隊(duì)列、請(qǐng)求隊(duì)列和請(qǐng)求指紋集合。 2)為什么選擇redis數(shù)據(jù)庫(kù)，因?yàn)閞edis支持主從同步，而且數(shù)據(jù)都是緩存在內(nèi)…
-
Python面試真題 - Tornado 的核是什么 ？
【Python面試真題】- Tornado 的核是什么 ？ Tornado 的核心是 ioloop 和 iostream 這兩個(gè)模塊，前者提供了一個(gè)高效的 I/O 事件循環(huán)，后者則封裝了 一個(gè)無(wú)阻塞的 socket 。通過(guò)向 ioloop 中添加網(wǎng)絡(luò) I/O 事件，利用無(wú)阻塞的 socket ，再搭配相應(yīng)的回調(diào) 函數(shù)，便可達(dá)到夢(mèng)寐以求的高效異步執(zhí)行。
-
Python面試真題 - Django重定向你是如何實(shí)現(xiàn)的？用的什么狀態(tài)碼？
【Python面試真題】- Django重定向你是如何實(shí)現(xiàn)的？用的什么狀態(tài)碼？ 使用HttpResponseRedirect redirect和reverse 狀態(tài)碼：302,301
