【Python面試真題】- 描述下scrapy框架運(yùn)行的機(jī)制？

從start_urls里獲取第一批url并發(fā)送請(qǐng)求，請(qǐng)求由引擎交給調(diào)度器入請(qǐng)求隊(duì)列，獲取完畢后，調(diào)度器將請(qǐng)求隊(duì)列里的請(qǐng)求交給下載器去獲取請(qǐng)求對(duì)應(yīng)的響應(yīng)資源，并將響應(yīng)交給自己編寫的解析方法做提取處理：1. 如果提取出需要的數(shù)據(jù)，則交給管道文件處理;2. 如果提取出url，則繼續(xù)執(zhí)行之前的步驟(發(fā)送url請(qǐng)求，并由引擎將請(qǐng)求交給調(diào)度器入隊(duì)列...)，直到請(qǐng)求隊(duì)列里沒有請(qǐng)求，程序結(jié)束。