Python協(xié)程深入理解 | Python基礎(chǔ)教程
從語(yǔ)法上來看,協(xié)程和生成器類似,都是定義體中包含yield關(guān)鍵字的函數(shù)。
yield在協(xié)程中的用法:
- 在協(xié)程中yield通常出現(xiàn)在表達(dá)式的右邊?,例如:datum = yield,可以產(chǎn)出值,也可以不產(chǎn)出--如果yield關(guān)鍵字后面沒有表達(dá)式,那么生成器產(chǎn)出None.
- 協(xié)程可能從調(diào)用方接受數(shù)據(jù),調(diào)用方是通過send(datum)的方式把數(shù)據(jù)提供給協(xié)程使用,而不是next(...)函數(shù),通常調(diào)用方會(huì)把值推送給協(xié)程。
- 協(xié)程可以把控制器讓給中心調(diào)度程序,從而激活其他的協(xié)程
所以總體上在協(xié)程中把yield看做是控制流程的方式。
了解協(xié)程的過程
先通過一個(gè)簡(jiǎn)單的協(xié)程的例子理解:

對(duì)上述例子的分析:
yield 的右邊沒有表達(dá)式,所以這里默認(rèn)產(chǎn)出的值是None
剛開始先調(diào)用了next(...)是因?yàn)檫@個(gè)時(shí)候生成器還沒有啟動(dòng),沒有停在yield那里,這個(gè)時(shí)候也是無(wú)法通過send發(fā)送數(shù)據(jù)。所以當(dāng)我們通過?next(...)激活協(xié)程后?,程序就會(huì)運(yùn)行到x = yield,這里有個(gè)問題我們需要注意,?x = yield這個(gè)表達(dá)式的計(jì)算過程是先計(jì)算等號(hào)右邊的內(nèi)容,然后在進(jìn)行賦值,所以當(dāng)激活生成器后,程序會(huì)停在yield這里,但并沒有給x賦值。
當(dāng)我們調(diào)用send方法后yield會(huì)收到這個(gè)值并賦值給x,而當(dāng)程序運(yùn)行到協(xié)程定義體的末尾時(shí)和用生成器的時(shí)候一樣會(huì)拋出StopIteration異常
如果協(xié)程沒有通過next(...)激活(同樣我們可以通過send(None)的方式激活),但是我們直接send,會(huì)提示如下錯(cuò)誤:

關(guān)于調(diào)用next(...)函數(shù)這一步通常稱為”預(yù)激(prime)“協(xié)程,即讓協(xié)程向前執(zhí)行到第一個(gè)yield表達(dá)式,準(zhǔn)備好作為活躍的協(xié)程使用
協(xié)程在運(yùn)行過程中有四個(gè)狀態(tài):
- GEN_CREATE:等待開始執(zhí)行
- GEN_RUNNING:解釋器正在執(zhí)行,這個(gè)狀態(tài)一般看不到
- GEN_SUSPENDED:在yield表達(dá)式處暫停
- GEN_CLOSED:執(zhí)行結(jié)束
通過下面例子來查看協(xié)程的狀態(tài):

接著再通過一個(gè)計(jì)算平均值的例子來繼續(xù)理解:

這里是一個(gè)死循環(huán),只要不停send值給協(xié)程,可以一直計(jì)算下去。
通過上面的幾個(gè)例子我們發(fā)現(xiàn),我們?nèi)绻胍_始使用協(xié)程的時(shí)候必須通過next(...)方式激活協(xié)程,如果不預(yù)激,這個(gè)協(xié)程就無(wú)法使用,如果哪天在代碼中遺忘了那么就出問題了,所以有一種預(yù)激協(xié)程的裝飾器,可以幫助我們干這件事
預(yù)激協(xié)程的裝飾器
下面是預(yù)激裝飾器的演示例子:
1 from functools import wraps 2 3 4 def coroutine(func): 5 @wraps(func) 6 def primer(*args,**kwargs): 7 gen = func(*args,**kwargs) 8 next(gen) 9 return gen 10 return primer 11 12 13 @coroutine 14 def averager(): 15 total = 0.0 16 count = 0 17 average = None 18 while True: 19 term = yield average 20 total += term 21 count += 1 22 average = total/count 23 24 25 coro_avg = averager() 26 from inspect import getgeneratorstate 27 print(getgeneratorstate(coro_avg)) 28 print(coro_avg.send(10)) 29 print(coro_avg.send(30)) 30 print(coro_avg.send(5))
關(guān)于預(yù)激,在使用yield from句法調(diào)用協(xié)程的時(shí)候,會(huì)自動(dòng)預(yù)激活,這樣其實(shí)與我們上面定義的coroutine裝飾器是不兼容的,在Python3.4里面的asyncio.coroutine裝飾器不會(huì)預(yù)激協(xié)程,因此兼容yield from
終止協(xié)程和異常處理
協(xié)程中為處理的異常會(huì)向上冒泡,傳給next函數(shù)或send函數(shù)的調(diào)用方(即觸發(fā)協(xié)程的對(duì)象)
拿上面的代碼舉例子,如果我們發(fā)送了一個(gè)字符串而不是一個(gè)整數(shù)的時(shí)候就會(huì)報(bào)錯(cuò),并且這個(gè)時(shí)候協(xié)程是被終止了

從Python2.5開始客戶端代碼在生成器對(duì)象上調(diào)用兩個(gè)方法,顯示的把異常發(fā)送給協(xié)程
分別為:?throw和close
generator.throw:會(huì)讓生成器在暫停的yield表達(dá)式處拋出指定的異常,如果生成器處理了拋出的異常,代碼會(huì)向前執(zhí)行到下一個(gè)yield表達(dá)式,而產(chǎn)出的值會(huì)成為調(diào)用generator.throw方法代碼的返回值。如果生成器沒有處理拋出的異常,異常會(huì)向上冒泡,傳到調(diào)用方的上下文中。
generator.close:會(huì)讓生成器在暫停的yield表達(dá)式處拋出GeneratorExit異常。如果生成器沒有處理這個(gè)異常,或者拋出了StopIteration異常,調(diào)用方不會(huì)報(bào)錯(cuò),如果收到GeneratorExit異常,生成器一定不能產(chǎn)出值,否則解釋器會(huì)拋出RuntimeError異常。生成器拋出的異常會(huì)向上冒泡,傳給調(diào)用方。
下面是一個(gè)例子:

當(dāng)傳入我們定義的異常時(shí)不會(huì)影響協(xié)程,協(xié)程不會(huì)停止,可以繼續(xù)send,但是如果是沒有處理的異常的時(shí)候,就會(huì)報(bào)錯(cuò),并且協(xié)程會(huì)被終止
讓協(xié)程返回值
通過下面的例子進(jìn)行演示如何獲取協(xié)程的返回值:
這樣就可以獲取到最后的結(jié)果:

其實(shí)相對(duì)來說上面這種方式獲取返回值比較麻煩,而yield from 結(jié)構(gòu)會(huì)自動(dòng)捕獲StopIteration異常,這種處理方式與for循環(huán)處理StopIteration異常的方式一樣,循環(huán)機(jī)制使我們更容易理解處理異常,對(duì)于yield from來說,解釋器不僅會(huì)捕獲StopIteration異常,還會(huì)把value屬性的值變成yield from表達(dá)式的值
關(guān)于yield from
在生成器gen中使用yield from subgen()時(shí),subgen會(huì)獲得控制權(quán),把產(chǎn)出的值傳給gen的調(diào)用方,即調(diào)用方可以直接控制subgen,同時(shí),gen會(huì)阻塞,等待subgen終止
yield from x表達(dá)式對(duì)x對(duì)象所做的第一件事是,調(diào)用iter(x),從中獲取迭代器,因此x可以是任何可迭代的對(duì)象
下面是yield from可以簡(jiǎn)化yield表達(dá)式的例子:
1 def gen(): 2 for c in "AB": 3 yield c 4 for i in range(1,3): 5 yield i 6 7 print(list(gen())) 8 9 def gen2(): 10 yield from "AB" 11 yield from range(1,3) 12 13 print(list(gen2()))
這兩種的方式的結(jié)果是一樣的,但是這樣看來yield from更加簡(jiǎn)潔,但是yield from的作用可不僅僅是替代產(chǎn)出值的嵌套for循環(huán)。
yield from的主要功能是打開雙向通道,把最外層的調(diào)用方與最內(nèi)層的子生成器連接起來,這樣二者可以直接發(fā)送和產(chǎn)出值,還可以直接傳入異常,而不用再像之前那樣在位于中間的協(xié)程中添加大量處理異常的代碼
通過yield from還可以鏈接可迭代對(duì)象

委派生成器在yield from 表達(dá)式處暫停時(shí),調(diào)用方可以直接把數(shù)據(jù)發(fā)給子生成器,子生成器再把產(chǎn)出產(chǎn)出值發(fā)給調(diào)用方,子生成器返回之后,解釋器會(huì)拋出StopIteration異常,并把返回值附加到異常對(duì)象上,此時(shí)委派生成器會(huì)恢復(fù)。
下面是一個(gè)完整的例子代碼
1 from collections import namedtuple 2 3 4 Result = namedtuple('Result', 'count average') 5 6 7 # 子生成器 8 def averager(): 9 total = 0.0 10 count = 0 11 average = None 12 while True: 13 term = yield 14 if term is None: 15 break 16 total += term 17 count += 1 18 average = total/count 19 return Result(count, average) 20 21 22 # 委派生成器 23 def grouper(result, key): 24 while True: 25 result[key] = yield from averager() 26 27 28 # 客戶端代碼,即調(diào)用方 29 def main(data): 30 results = {} 31 for key,values in data.items(): 32 group = grouper(results,key) 33 next(group) 34 for value in values: 35 group.send(value) 36 group.send(None) #這里表示要終止了 37 38 report(results) 39 40 41 # 輸出報(bào)告 42 def report(results): 43 for key, result in sorted(results.items()): 44 group, unit = key.split(';') 45 print('{:2} {:5} averaging {:.2f}{}'.format( 46 result.count, group, result.average, unit 47 )) 48 49 data = { 50 'girls;kg': 51 [40.9, 38.5, 44.3, 42.2, 45.2, 41.7, 44.5, 38.0, 40.6, 44.5], 52 'girls;m': 53 [1.6, 1.51, 1.4, 1.3, 1.41, 1.39, 1.33, 1.46, 1.45, 1.43], 54 'boys;kg': 55 [39.0, 40.8, 43.2, 40.8, 43.1, 38.6, 41.4, 40.6, 36.3], 56 'boys;m': 57 [1.38, 1.5, 1.32, 1.25, 1.37, 1.48, 1.25, 1.49, 1.46], 58 } 59 60 61 if __name__ == '__main__': 62 main(data)
關(guān)于上述代碼著重解釋一下關(guān)于委派生成器部分,這里的循環(huán)每次迭代時(shí)會(huì)新建一個(gè)averager實(shí)例,每個(gè)實(shí)例都是作為協(xié)程使用的生成器對(duì)象。
grouper發(fā)送的每個(gè)值都會(huì)經(jīng)由yield from處理,通過管道傳給averager實(shí)例。grouper會(huì)在yield from表達(dá)式處暫停,等待averager實(shí)例處理客戶端發(fā)來的值。averager實(shí)例運(yùn)行完畢后,返回的值會(huì)綁定到results[key]上,while 循環(huán)會(huì)不斷創(chuàng)建averager實(shí)例,處理更多的值
并且上述代碼中的子生成器可以使用return 返回一個(gè)值,而返回的值會(huì)成為yield from表達(dá)式的值。
關(guān)于yield from的意義
關(guān)于yield from 六點(diǎn)重要的說明:
- 子生成器產(chǎn)出的值都直接傳給委派生成器的調(diào)用方(即客戶端代碼)
- 使用send()方法發(fā)送給委派生成器的值都直接傳給子生成器。如果發(fā)送的值為None,那么會(huì)給委派調(diào)用子生成器的__next__()方法。如果發(fā)送的值不是None,那么會(huì)調(diào)用子生成器的send方法,如果調(diào)用的方法拋出StopIteration異常,那么委派生成器恢復(fù)運(yùn)行,任何其他異常都會(huì)向上冒泡,傳給委派生成器
- 生成器退出時(shí),生成器(或子生成器)中的return expr表達(dá)式會(huì)出發(fā)StopIteration(expr)異常拋出
- yield from表達(dá)式的值是子生成器終止時(shí)傳給StopIteration異常的第一個(gè)參數(shù)。yield from 結(jié)構(gòu)的另外兩個(gè)特性與異常和終止有關(guān)。
- 傳入委派生成器的異常,除了GeneratorExit之外都傳給子生成器的throw()方法。如果調(diào)用throw()方法時(shí)拋出StopIteration異常,委派生成器恢復(fù)運(yùn)行。StopIteration之外的異常會(huì)向上冒泡,傳給委派生成器
- 如果把GeneratorExit異常傳入委派生成器,或者在委派生成器上調(diào)用close()方法,那么在子生成器上調(diào)用clsoe()方法,如果它有的話。如果調(diào)用close()方法導(dǎo)致異常拋出,那么異常會(huì)向上冒泡,傳給委派生成器,否則委派生成器拋出GeneratorExit異常