-
太好玩了，爬蟲、部署API、加小程序，一條龍玩轉(zhuǎn)知乎熱榜
一直想做一個從爬蟲到數(shù)據(jù)處理，到API部署，再到小程序展示的一條龍項目，最近抽了些時間，實現(xiàn)了一個關(guān)于知乎熱榜的，今天就來分享一下！ 由于代碼還沒有完全整理好，今天只給出一個大致的思路和部分代碼，最終的詳細(xì)代碼可以關(guān)注后續(xù)的文章！ 數(shù)據(jù)爬取 首先我們看下需要爬取的知乎熱榜 https://www.zhihu.com/billboard 這個熱榜可以返回50條熱榜數(shù)據(jù)，而這些數(shù)據(jù)都是通過頁面的一個 JavaScript 返回的 于是我們就可以通過解析這段 JS 代碼來獲取對應(yīng)數(shù)據(jù) url='htt…
-
「Python實戰(zhàn)項目」針對醫(yī)療數(shù)據(jù)進(jìn)行命名實體識別
一．什么是命名實體識別 二．基于NLTK的命名實體識別 三．基于Stanford的NER 四．【實戰(zhàn)案例】醫(yī)學(xué)糖尿病數(shù)據(jù)命名實體識別 一 、什么是命名實體識別？ 命名實體識別（Named Entity Recognition，簡稱NER），又稱作“專名識別”，是指識別文本中具有特定意義的實體，主要包括人名、地名、機構(gòu)名、專有名詞等。通常包括兩部分：（1）實體邊界識別；（2） 確定實體類別（人名、地名、機構(gòu)名或其他）。 命名實體識別通常是知識挖掘、信息抽取的第一步，被廣泛應(yīng)用在自然語言處理領(lǐng)域。接…
-
你應(yīng)該知道關(guān)于Python的這幾個技巧！
隨著大數(shù)據(jù)時代的到來，我們每天都在接觸爬蟲相關(guān)的事情，這其中就不得不提及Python這門編程語言。我已經(jīng)使用Python編程有多年了，即使今天我仍然驚奇于這種語言所能讓代碼表現(xiàn)出的整潔和對DRY編程原則的適用。這些年來的經(jīng)歷讓我學(xué)到了很多的小技巧和知識，大多數(shù)是通過閱讀很流行的開源軟件，如Django, Flask,Requests中獲得的。 1. 字典推導(dǎo)(Dictionary comprehensions)和集合推導(dǎo)(Set comprehensions) 大多數(shù)的Python程序員都知道且…
-
學(xué)了這么久，你知道Python機器學(xué)習(xí)全流程是怎樣的么？
萬事開頭難，首先Python機器學(xué)習(xí)整個流程的第一步就是學(xué)習(xí)Python這門編程語言的相關(guān)基礎(chǔ)知識。 第一步：基本 Python 技能 如果要使用 Python 進(jìn)行機器學(xué)習(xí)，擁有對 Python 有基礎(chǔ)的理解非常關(guān)鍵。幸運的是，Python 是當(dāng)前普遍使用的流行語言，并納入了科學(xué)計算和機器學(xué)習(xí)的內(nèi)容，所以找到入門教程并不困難。在選擇起點時，很大程度上要取決于你之前的 Python 經(jīng)驗和編程經(jīng)驗。 這里推薦幾本python入門必讀書籍： 別再說你不知道怎么學(xué)習(xí)Python了,13本書給你安排的…
-
3 個常識點必須先了解!0基礎(chǔ)入門Python！
學(xué)習(xí)一門新的語言之前，首先簡單了解下這門語言的背景。Python 是一種面向?qū)ο蟮慕忉屝陀嬎銠C程序設(shè)計語言，由荷蘭人 Guido van Rossum 于 1989 年發(fā)明，第一個公開發(fā)行版發(fā)行于 1991 年。 Python 在設(shè)計上堅持了清晰劃一的風(fēng)格，這使得 Python 成為一門易讀、易維護(hù)，并且被大量用戶所歡迎的、用途廣泛的語言。Python 具有豐富和強大的庫。它常被昵稱為膠水語言，能夠把用其他語言制作的各種模塊(尤其是 C/C++)很輕松地聯(lián)結(jié)在一起。 Python 技術(shù)浪潮 IT…
-
為什么Python類語法應(yīng)該不同?
如果您已經(jīng)使用了任何編程語言很長一段時間，您就會發(fā)現(xiàn)您想要的東西跟它原有的是不同的。Python對我來說是真的是這樣。如果可以的話，對于Python中很多的我想要改的東西，我有很多的想法。現(xiàn)在我向您講述其中一個：類定義的語法。 但是，讓我們先從定義函數(shù)的語法開始。它有一個非常好的特性：函數(shù)定義看起來像它們相應(yīng)的函數(shù)調(diào)用。函數(shù)定義如下： def func_name(arg1, arg2): 當(dāng)您調(diào)用該函數(shù)時，您使用類似的語法：函數(shù)名稱和括號中以逗號分隔的參數(shù)列表： x = func_name(12…
-
Python with提前退出：坑與解決方案
問題的起源 早些時候使用with實現(xiàn)了一版全局進(jìn)程鎖，希望實現(xiàn)以下效果： 全局進(jìn)程鎖本身不用多說，大部分都依靠外部的緩存來實現(xiàn)的，redis上用的是setnx，有時候根據(jù)需要加上緩存擊穿問題、隨機延后以防止對緩存本身造成壓力。 當(dāng)時同樣寫了單元測試來測試這段代碼的有效性： 看起來非常完美地通過了。 這樣的一個全局進(jìn)程鎖是通過__enter__方法拋出異常, __exit__方法中捕獲異常來實現(xiàn)的: 看起來還不錯，畢竟單元測試都過了。 但是，這樣的實現(xiàn)是有問題的： 原因在于__exit__ 的執(zhí)行…
-
車牌檢測和識別的Python應(yīng)用軟件實現(xiàn)
1.車牌檢測和識別項目介紹 車牌的檢測和識別的應(yīng)用非常廣泛，比如交通違章車牌追蹤，小區(qū)或地下車庫門禁。在對車牌識別和檢測的過程中，因為車牌往往是規(guī)整的矩形，長寬比相對固定，色調(diào)紋理相對固定，常用的方法有：基于形狀、基于色調(diào)、基于紋理、基于文字特征等方法，近年來隨著深度學(xué)習(xí)的發(fā)展也會使用目標(biāo)檢測的一些深度學(xué)習(xí)方法。該項目主要的流程如下圖所示： 1.輸入原始圖片，通過二值化，邊緣檢測，和基于色調(diào)的顏色微調(diào)等辦法檢測出原圖中的車牌號的位置；2.把檢測到的車牌(ROI)裁剪，為車牌號的識別做準(zhǔn)備；3.基…
-
Python with提前退出：坑與解決方案
問題的起源 早些時候使用with實現(xiàn)了一版全局進(jìn)程鎖，希望實現(xiàn)以下效果： 全局進(jìn)程鎖本身不用多說，大部分都依靠外部的緩存來實現(xiàn)的，redis上用的是setnx，有時候根據(jù)需要加上緩存擊穿問題、隨機延后以防止對緩存本身造成壓力。 當(dāng)時同樣寫了單元測試來測試這段代碼的有效性： 看起來非常完美地通過了。 這樣的一個全局進(jìn)程鎖是通過__enter__方法拋出異常, __exit__方法中捕獲異常來實現(xiàn)的: 看起來還不錯，畢竟單元測試都過了。 但是，這樣的實現(xiàn)是有問題的： 原因在于__exit__ 的執(zhí)行…
-
說聲謝謝!給你需要的NumPy知識
Python雖然是一門比較好入門的語言，相較于其他語言來說是一門比較簡單的語言。不過有一個很重要的問題就是，即使Python 語言的很多方法不用手打都已經(jīng)被封裝，可以Python初學(xué)者還是要學(xué)習(xí)很多東西。下面我結(jié)合了一些經(jīng)常用到的NumPy基礎(chǔ)知識送給大家。 基礎(chǔ)知識 NumPy 主要的運算對象為同質(zhì)的多維數(shù)組，即由同一類型元素(一般是數(shù)字)組成的表格，且所有元素通過正整數(shù)元組進(jìn)行索引。在 NumPy 中，維度 (dimension) 也被稱之為軸線(axes)。 比如坐標(biāo)點 [1, 2, 1]…
