Python中的生成器和yield詳細(xì)介紹
來(lái)源:易賢網(wǎng) 閱讀:796 次 日期:2015-01-16 14:48:04
溫馨提示:易賢網(wǎng)小編為您整理了“Python中的生成器和yield詳細(xì)介紹”,方便廣大網(wǎng)友查閱!

列表推導(dǎo)與生成器表達(dá)式

當(dāng)我們創(chuàng)建了一個(gè)列表的時(shí)候,就創(chuàng)建了一個(gè)可以迭代的對(duì)象:

代碼如下:

>>> squares=[n*n for n in range(3)]

>>> for i in squares:

print i

0

1

4

這種創(chuàng)建列表的操作很常見(jiàn),稱為列表推導(dǎo)。但是像列表這樣的迭代器,比如str、file等,雖然用起來(lái)很方便,但有一點(diǎn),它們是儲(chǔ)存在內(nèi)存中的,如果值很大,會(huì)很麻煩。

而生成器表達(dá)式不同,它執(zhí)行的計(jì)算與列表包含相同,但會(huì)迭代的生成結(jié)果。它的語(yǔ)法與列表推導(dǎo)一樣,只是要用小括號(hào)來(lái)代替中括號(hào):

代碼如下:

>>> squares=(n*n for n in range(3))

>>> for i in squares:

print i

0

1

4

生成器表達(dá)式不會(huì)創(chuàng)建序列形式的對(duì)象,不會(huì)把所有的值都讀取到內(nèi)存中,而是會(huì)創(chuàng)建一個(gè)通過(guò)迭代并按照需求生成值的生成器對(duì)象(Generator)。

那么,還有沒(méi)有其它方法來(lái)產(chǎn)生生成器呢?

例子:斐波那契數(shù)列

例如有個(gè)需求,要生成斐波那契數(shù)列的前10位,我們可以這樣寫(xiě):

代碼如下:

def fib(n):

result=[]

a=1

b=1

result.append(a)

for i in range(n-1):

a,b=b,a+b

result.append(a)

return result

if __name__=='__main__':

print fib(10)

數(shù)字很少時(shí),函數(shù)運(yùn)行良好,但數(shù)字很多時(shí),問(wèn)題就來(lái)了,顯然生成一個(gè)幾千幾萬(wàn)長(zhǎng)度的列表并不是一個(gè)很好的主意。

這樣,需求就變成了:寫(xiě)一個(gè)可以生成可迭代對(duì)象的函數(shù),或者說(shuō),不要讓函數(shù)一次返回全部的值,而是一次返回一個(gè)值。

這好像與我們的常識(shí)相違背,當(dāng)我們調(diào)用一個(gè)普通的Python函數(shù)時(shí),一般是從函數(shù)的第一行代碼開(kāi)始執(zhí)行,結(jié)束于return語(yǔ)句、異?;蛘吆瘮?shù)結(jié)束(可以看作隱式的返回None):

代碼如下:

def fib(n):

a=1

b=1

for i in range(n-1):

a,b=b,a+b

return a

if __name__=='__main__':

print fib(10)

>>>

1 #返回第一個(gè)值時(shí)就卡住了

函數(shù)一旦將控制權(quán)交還給調(diào)用者,就意味著全部結(jié)束。函數(shù)中做的所有工作以及保存在局部變量中的數(shù)據(jù)都將丟失。再次調(diào)用這個(gè)函數(shù)時(shí),一切都將從頭創(chuàng)建。函數(shù)只有一次返回結(jié)果的機(jī)會(huì),因而必須一次返回所有的結(jié)果。通常我們都這么認(rèn)為的。但是,如果它們并非如此呢?請(qǐng)看神奇的yield:

代碼如下:

def fib(n):

a=1

yield a

b=1

for i in range(n-1):

a,b=b,a+b

yield a

if __name__=='__main__':

for i in fib(10):

print i

>>>

1

1

2

3

5

8

13

21

34

生成器Generator

python中生成器的定義很簡(jiǎn)單,使用了yield關(guān)鍵字的函數(shù)就可以稱之為生成器,它生成一個(gè)值的序列:

代碼如下:

def countdown(n):

while n>0:

yield n

n-=1

if __name__=='__main__':

for i in countdown(10):

print i

生成器函數(shù)返回生成器。要注意的是生成器就是一類特殊的迭代器。作為一個(gè)迭代器,生成器必須要定義一些方法,其中一個(gè)就是__next__()。如同迭代器一樣,我們可以使用next()函數(shù)(Python3是__next__() )來(lái)獲取下一個(gè)值:

代碼如下:

>>> c=countdown(10)

>>> c.next()

10

>>> c.next()

9

每當(dāng)生成器被調(diào)用的時(shí)候,它會(huì)返回一個(gè)值給調(diào)用者。在生成器內(nèi)部使用yield來(lái)完成這個(gè)動(dòng)作。為了記住yield到底干了什么,最簡(jiǎn)單的方法是把它當(dāng)作專門(mén)給生成器函數(shù)用的特殊的return。調(diào)用next()時(shí),生成器函數(shù)不斷的執(zhí)行語(yǔ)句,直至遇到y(tǒng)ield為止,此時(shí)生成器函數(shù)的”狀態(tài)”會(huì)被凍結(jié),所有的變量的值會(huì)被保留下來(lái),下一行要執(zhí)行的代碼的位置也會(huì)被記錄,直到再次調(diào)用next()繼續(xù)執(zhí)行yield之后的語(yǔ)句。

next()不能無(wú)限執(zhí)行,當(dāng)?shù)Y(jié)束時(shí),會(huì)拋出StopIteration異常。迭代未結(jié)束時(shí),如果你想結(jié)束生成器,可以使用close()方法。

代碼如下:

>>> c.next()

1

>>> c.next()

StopIteration

>>> c=countdown(10)

>>> c.next()

10

>>> c.close()

>>> c.next()

StopIteration

協(xié)程與yield表達(dá)式

yield語(yǔ)句還有更給力的功能,作為一個(gè)語(yǔ)句出現(xiàn)在賦值運(yùn)算符的右邊,接受一個(gè)值,或同時(shí)生成一個(gè)值并接受一個(gè)值。

代碼如下:

def recv():

print 'Ready'

while True:

n=yield

print 'Go %s'%n

>>> c=recv()

>>> c.next()

Ready

>>> c.send(1)

Go 1

>>> c.send(2)

Go 2

以這種方式使用yield語(yǔ)句的函數(shù)稱為協(xié)程。在這個(gè)例子中,對(duì)于next()的初始調(diào)用是必不可少的,這樣協(xié)程才能執(zhí)行可通向第一個(gè)yield表達(dá)式的語(yǔ)句。在這里協(xié)程會(huì)掛起,等待相關(guān)生成器對(duì)象send()方法給它發(fā)送一個(gè)值。傳遞給send()的值由協(xié)程中的yield表達(dá)式返回。

協(xié)程的運(yùn)行一般是無(wú)限期的,使用方法close()可以顯式的關(guān)閉它。

如果yield表達(dá)式中提供了值,協(xié)程可以使用yield語(yǔ)句同時(shí)接收和發(fā)出返回值。

代碼如下:

def split_line():

print 'ready to split'

result=None

while True:

line=yield result

result=line.split()

>>> s=split_line()

>>> s.next()

ready to split

>>> s.send('1 2 3')

['1', '2', '3']

>>> s.send('a b c')

['a', 'b', 'c']

注意:理解這個(gè)例子中的先后順序非常重要。首個(gè)next()方法讓協(xié)程執(zhí)行到y(tǒng)ield result,這將返回result的值None。在接下來(lái)的send()調(diào)用中,接收到的值被放到line中并拆分到result中。send()方法的返回值就是下一條yield語(yǔ)句的值。也就是說(shuō),send()方法可以將一個(gè)值傳遞給yield表達(dá)式,但是其返回值來(lái)自下一個(gè)yield表達(dá)式,而不是接收send()傳遞的值的yield表達(dá)式。

如果你想用send()方法來(lái)開(kāi)啟協(xié)程的執(zhí)行,必須先send一個(gè)None值,因?yàn)檫@時(shí)候是沒(méi)有yield語(yǔ)句來(lái)接受值的,否則就會(huì)拋出異常。

代碼如下:

>>> s=split_line()

>>> s.send('1 2 3')

TypeError: can't send non-None value to a just-started generator

>>> s=split_line()

>>> s.send(None)

ready to split

使用生成器與協(xié)程

乍看之下,如何使用生成器和協(xié)程解決實(shí)際問(wèn)題似乎并不明顯。但在解決系統(tǒng)、網(wǎng)絡(luò)和分布式計(jì)算方面的某些問(wèn)題時(shí),生成器和協(xié)程特別有用。實(shí)際上,yield已經(jīng)成為Python最強(qiáng)大的關(guān)鍵字之一。

比如,要建立一個(gè)處理文件的管道:

代碼如下:

import os,sys

def default_next(func):

def start(*args,**kwargs):

f=func(*args,**kwargs)

f.next()

return f

return start

@default_next

def find_files(target):

topdir=yield

while True:

for path,dirname,filelist in os.walk(topdir):

for filename in filelist:

target.send(os.path.join(path,filename))

@default_next

def opener(target):

while True:

name=yield

f=open(name)

target.send(f)

@default_next

def catch(target):

while True:

f=yield

for line in f:

target.send(line)

@default_next

def printer():

while True:

line=yield

print line

然后將這些協(xié)程連接起來(lái),就可以創(chuàng)建一個(gè)數(shù)據(jù)流處理管道了:

代碼如下:

finder=find_files(opener(catch(printer())))

finder.send(toppath)

程序的執(zhí)行完全由將數(shù)據(jù)發(fā)送到第一個(gè)協(xié)程find_files()中來(lái)驅(qū)動(dòng),協(xié)程管道會(huì)永遠(yuǎn)保持活動(dòng)狀態(tài),直到它顯式的調(diào)用close()。

總之,生成器的功能非常強(qiáng)大。協(xié)程可以用于實(shí)現(xiàn)某種形式的并發(fā)。在某些類型的應(yīng)用程序中,可以用一個(gè)任務(wù)調(diào)度器和一些生成器或協(xié)程實(shí)現(xiàn)協(xié)作式用戶空間多線程,即greenlet。yield的威力將在協(xié)程,協(xié)同式多任務(wù)處理(cooperative multitasking),以及異步IO中得到真正的體現(xiàn)。

更多信息請(qǐng)查看IT技術(shù)專欄

更多信息請(qǐng)查看腳本欄目
易賢網(wǎng)手機(jī)網(wǎng)站地址:Python中的生成器和yield詳細(xì)介紹
由于各方面情況的不斷調(diào)整與變化,易賢網(wǎng)提供的所有考試信息和咨詢回復(fù)僅供參考,敬請(qǐng)考生以權(quán)威部門(mén)公布的正式信息和咨詢?yōu)闇?zhǔn)!

2025國(guó)考·省考課程試聽(tīng)報(bào)名

  • 報(bào)班類型
  • 姓名
  • 手機(jī)號(hào)
  • 驗(yàn)證碼
關(guān)于我們 | 聯(lián)系我們 | 人才招聘 | 網(wǎng)站聲明 | 網(wǎng)站幫助 | 非正式的簡(jiǎn)要咨詢 | 簡(jiǎn)要咨詢須知 | 加入群交流 | 手機(jī)站點(diǎn) | 投訴建議
工業(yè)和信息化部備案號(hào):滇ICP備2023014141號(hào)-1 云南省教育廳備案號(hào):云教ICP備0901021 滇公網(wǎng)安備53010202001879號(hào) 人力資源服務(wù)許可證:(云)人服證字(2023)第0102001523號(hào)
云南網(wǎng)警備案專用圖標(biāo)
聯(lián)系電話:0871-65099533/13759567129 獲取招聘考試信息及咨詢關(guān)注公眾號(hào):hfpxwx
咨詢QQ:526150442(9:00—18:00)版權(quán)所有:易賢網(wǎng)
云南網(wǎng)警報(bào)警專用圖標(biāo)