Python培訓(xùn)入門 | python定期爬取GitHub上每日流行項(xiàng)目
介紹一個(gè)在GitHub上看到的通用的Python爬蟲(chóng)，難度不大，是一個(gè)蠻好玩的點(diǎn)，順便總結(jié)一下Python爬蟲(chóng)的一些需要注意的點(diǎn)。
先上鏈接：github源碼
1. 項(xiàng)目簡(jiǎn)介
大家可以看一下這個(gè)網(wǎng)站 https://github.com/trending
隨時(shí)關(guān)注最新的技術(shù)動(dòng)向，永遠(yuǎn)是一個(gè)程序員應(yīng)該做到的，但我們不能做到每天去查看，于是就誕生了這個(gè)repo（更正為原作者寫(xiě)了這個(gè)repo），我們將爬蟲(chóng)掛在Linux服務(wù)器上，定期爬取并且推送到自己的repo上，只要有時(shí)間，就可以看到之前的所有熱門項(xiàng)目。
順便說(shuō)一句這樣是不是還可以刷一波GitHub commit
代碼po在了最后面
2. 關(guān)于Python的私人總結(jié)
使用Python開(kāi)發(fā)爬蟲(chóng)的時(shí)候需要注意哪些？
1.區(qū)分Python版本
Python 2.x 3.x 差別很大，如果遇到就編譯通不過(guò)，及早意識(shí)到進(jìn)行修正還好，若是語(yǔ)法差別不大卻沒(méi)有意識(shí)到，有時(shí)候會(huì)給自己惹來(lái)很大的麻煩
2.關(guān)注幾種易于混淆的數(shù)據(jù)類型
- Tuples
- Lists
- Dictionary
- Json
需要格外關(guān)注這幾種類型之間的轉(zhuǎn)換，我們知道Python是一種弱數(shù)據(jù)類型語(yǔ)言，但不代表著它的數(shù)據(jù)類型可以混用，反而，正因?yàn)槿趸寺暶鳎抛層行┎僮鞲尤菀壮鲥e(cuò)，這時(shí)候我們需要做的，就是仔細(xì)閱讀文檔，熟悉不同的用法。Tuples
推薦文檔：Tuples, Lists, and Dictionaries
3.注意合理使用第三方類庫(kù)
Python相對(duì)于java等語(yǔ)言，最大的優(yōu)勢(shì)就在于其具有很大規(guī)模的封裝良好的類庫(kù)，可以讓我們使用短短的幾行代碼，實(shí)現(xiàn)很多功能。這里列舉幾個(gè)常用的庫(kù)和框架：
- virtualenv 創(chuàng)建獨(dú)立 Python 環(huán)境的工具。
- Beautiful Soup 提供一些簡(jiǎn)單的、Python式的函數(shù)用來(lái)處理導(dǎo)航、搜索、修改分析樹(shù)等功能 簡(jiǎn)單的說(shuō)就是解析網(wǎng)頁(yè)
- Scrapy 強(qiáng)大的爬蟲(chóng)框架Scrapy
限于篇幅，放幾個(gè)鏈接大家自己進(jìn)去看
哪些 Python 庫(kù)讓你相見(jiàn)恨晚？
Python 常用的標(biāo)準(zhǔn)庫(kù)以及第三方庫(kù)有哪些？
3. 代碼
下面是注釋版代碼，Python2.7 用了requests PyQuery等幾個(gè)類庫(kù)
代碼寫(xiě)的比較明確了，就沒(méi)有過(guò)多注釋
#!/usr/local/bin/Python2.7
# coding:utf-8
import datetime
import codecs
import requests
import os
import time
from pyquery import PyQuery as pq
#git操作 推送到遠(yuǎn)程repo
def git_add_commit_push(date, filename):
cmd_git_add = 'git add .'
cmd_git_commit = 'git commit -m "{date}"'.format(date=date)
cmd_git_push = 'git push -u origin master'
os.system(cmd_git_add)
os.system(cmd_git_commit)
os.system(cmd_git_push)
def createMarkdown(date, filename):
with open(filename, 'w') as f:
f.write("###" + date + "\n")
def scrape(language, filename):
HEADERS = {
'User-Agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.7; rv:11.0) Gecko/20100101 Firefox/11.0',
'Accept' : 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
'Accept-Encoding' : 'gzip,deflate,sdch',
'Accept-Language' : 'zh-CN,zh;q=0.8'
}
url = 'https://github.com/trending/{language}'.format(language=language)
r = requests.get(url, headers=HEADERS)
assert r.status_code == 200
# print(r.encoding)
d = pq(r.content)
items = d('ol.repo-list li')
# codecs to solve the problem utf-8 codec like chinese
with codecs.open(filename, "a", "utf-8") as f:
f.write('\n####{language}\n'.format(language=language))
for item in items:
i = pq(item)
title = i("h3 a").text()
owner = i("span.prefix").text()
description = i("p.col-9").text()
url = i("h3 a").attr("href")
url = "https://github.com" + url
# ownerImg = i("p.repo-list-meta a img").attr("src")
# print(ownerImg)
f.write(u"* [{title}]({url}):{description}\n".format(title=title, url=url, description=description))
#定時(shí)爬取對(duì)應(yīng)語(yǔ)言的并寫(xiě)入到markdown文本中
def job():
strdate = datetime.datetime.now().strftime('%Y-%m-%d')
filename = '{date}.md'.format(date=strdate)
# create markdown file
createMarkdown(strdate, filename)
# write markdown
scrape('Python', filename)
scrape('swift', filename)
scrape('javascript', filename)
scrape('go', filename)
scrape('Objective-C', filename)
scrape('Java', filename)
scrape('C++', filename)
scrape('C#', filename)
# git add commit push
git_add_commit_push(strdate, filename)
#主函數(shù)
if __name__ == '__main__':
while True:
job()
time.sleep(12 * 60 * 60)4. 擴(kuò)展及埋坑 下集預(yù)告
這里分享幾個(gè)Python相關(guān)的重要鏈接，看了一定會(huì)有收獲（尤其是前兩者），而且很大，沒(méi)效果你回來(lái)打我（匿
下面準(zhǔn)備把oschina一個(gè)類似的東西一塊爬一下，push到repo里
接下來(lái)準(zhǔn)備寫(xiě)一個(gè)爬取學(xué)校教務(wù)系統(tǒng)驗(yàn)證碼并訓(xùn)練識(shí)別的文章，敬請(qǐng)期待。
- 資源匯總：Python框架、類庫(kù)、軟件和資源匯總repo
- 爬蟲(chóng)集合：各種Python爬蟲(chóng)集合
- Python爬蟲(chóng)教程: 靜覓 崔慶才的個(gè)人博客
- Python學(xué)習(xí)路線: 知乎：如何入門 Python 爬蟲(chóng)?
- 原repo go語(yǔ)言版本: github-trending
- Python版本: github-trending