python中的多線程其實并不是真正的多線程,如果想要充分地使用多核CPU資源,在python中大部分情況需要使用多進程。
python提供了非常好用的多進程包Multiprocessing,只需要定義一個函數(shù),python會完成其它所有事情。借助這個包,可以輕松完成從單進程到并發(fā)執(zhí)行的轉(zhuǎn)換。
multiprocessing支持子進程、通信和共享數(shù)據(jù)、執(zhí)行不同形式的同步,提供了Process、Queue、Pipe、LocK等組件
一、Process
語法:Process([group[,target[,name[,args[,kwargs]]]]])
參數(shù)含義:target表示調(diào)用對象;args表示調(diào)用對象的位置參數(shù)元祖;kwargs表示調(diào)用對象的字典。name為別名,groups實際上不會調(diào)用。
方法:
is_alive():
join(timeout):
run():
start():
terminate():
屬性:authkey、daemon(要通過start()設(shè)置)、exitcode(進程在運行時為None、如果為-N,表示被信號N結(jié)束)、name、pid。其中daemon是父進程終止后自動終止,且自己不能產(chǎn)生新的進程,必須在start()之前設(shè)置。
1.創(chuàng)建函數(shù),并將其作為單個進程
from multiprocessing import Process
def func(name):
print("%s曾經(jīng)是好人"%name)
if __name__ == "__main__":
p = Process(target=func,args=('kebi',))
p.start() #start()通知系統(tǒng)開啟這個進程
2.創(chuàng)建函數(shù)并將其作為多個進程
from multiprocessing import Process
import random,time
def hobby_motion(name):
print('%s喜歡運動'% name)
time.sleep(random.randint(1,3))
def hobby_game(name):
print('%s喜歡游戲'% name)
time.sleep(random.randint(1,3))
if __name__ == "__main__":
p1 = Process(target=hobby_motion,args=('小明',))
p2 = Process(target=hobby_game,args=('張三',))
p1.start()
p2.start()
執(zhí)行結(jié)果:
小明喜歡運動
張三喜歡游戲
3.將進程定義為類(開啟進程的另一種方法,并不是很常用)
from multiprocessing import Process
class MyProcess(Process):
def __init__(self,name):
super().__init__()
self.name = name
def run(self): #start()時,run自動調(diào)用,而且此處只能定義為run。
print("%s曾經(jīng)是好人"%self.name)
if __name__ == "__main__":
p = MyProcess('kebi')
p.start() #將Process當(dāng)作父類,并且自定義一個函數(shù)。
4.daemon程序?qū)Ρ刃Ч?/h4>
不加daemon屬性
import time
def func(name):
print("work start:%s"% time.ctime())
time.sleep(2)
print("work end:%s"% time.ctime())
if __name__ == "__main__":
p = Process(target=func,args=('kebi',))
p.start()
print("this is over")
#執(zhí)行結(jié)果
this is over
work start:Thu Nov 30 16:12:00 2017
work end:Thu Nov 30 16:12:02 2017
加上daemon屬性
from multiprocessing import Process
import time
def func(name):
print("work start:%s"% time.ctime())
time.sleep(2)
print("work end:%s"% time.ctime())
if __name__ == "__main__":
p = Process(target=func,args=('kebi',))
p.daemon = True #父進程終止后自動終止,不能產(chǎn)生新進程,必須在start()之前設(shè)置
p.start()
print("this is over")
#執(zhí)行結(jié)果
this is over
設(shè)置了daemon屬性又想執(zhí)行完的方法:
import time
def func(name):
print("work start:%s"% time.ctime())
time.sleep(2)
print("work end:%s"% time.ctime())
if __name__ == "__main__":
p = Process(target=func,args=('kebi',))
p.daemon = True
p.start()
p.join() #執(zhí)行完前面的代碼再執(zhí)行后面的
print("this is over")
#執(zhí)行結(jié)果
work start:Thu Nov 30 16:18:39 2017
work end:Thu Nov 30 16:18:41 2017
this is over
5.join():上面的代碼執(zhí)行完畢之后,才會執(zhí)行后i面的代碼。
先看一個例子:
from multiprocessing import Process
import time,os,random
def func(name,hour):
print("A lifelong friend:%s,%s"% (name,os.getpid()))
time.sleep(hour)
print("Good bother:%s"%name)
if __name__ == "__main__":
p = Process(target=func,args=('kebi',2))
p1 = Process(target=func,args=('maoxian',1))
p2 = Process(target=func,args=('xiaoniao',3))
p.start()
p1.start()
p2.start()
print("this is over")
執(zhí)行結(jié)果:
this is over #最后執(zhí)行,最先打印,說明start()只是開啟進程,并不是說一定要執(zhí)行完
A lifelong friend:kebi,12048
A lifelong friend:maoxian,8252
A lifelong friend:xiaoniao,6068
Good bother:maoxian #最先打印,第二位執(zhí)行
Good bother:kebi
Good bother:xiaoniao
添加join()文章來源:http://www.zghlxwxcb.cn/news/detail-624217.html
from multiprocessing import Process
import time,os,random
def func(name,hour):
print("A lifelong friend:%s,%s"% (name,os.getpid()))
time.sleep(hour)
print("Good bother:%s"%name)
start = time.time()
if __name__ == "__main__":
p = Process(target=func,args=('kebi',2))
p1 = Process(target=func,args=('maoxian',1))
p2 = Process(target=func,args=('xiaoniao',3))
p.start()
p.join() #上面的代碼執(zhí)行完畢之后,再執(zhí)行后面的
p1.start()
p1.join()
p2.start()
p2.join()
print("this is over")
print(time.time() - start)
#執(zhí)行結(jié)果
A lifelong friend:kebi,14804
Good bother:kebi
A lifelong friend:maoxian,11120
Good bother:maoxian
A lifelong friend:xiaoniao,10252 #每個進程執(zhí)行完了,才會執(zhí)行下一個
Good bother:xiaoniao
this is over
6.497815370559692 #2+1+3+主程序執(zhí)行時間
改變一下位置文章來源地址http://www.zghlxwxcb.cn/news/detail-624217.html
from multiprocessing import Process
import time,os,random
def func(name,hour):
print("A lifelong friend:%s,%s"% (name,os.getpid()))
time.sleep(hour)
print("Good bother:%s"%name)
start = time.time()
if __name__ == "__main__":
p = Process(target=func,args=('kebi',2))
p1 = Process(target=func,args=('maoxian',1))
p2 = Process(target=func,args=('xiaoniao',3))
p.start()
p1.start()
p2.start()
p.join() #需要2秒
p1.join() #到這時已經(jīng)執(zhí)行完
p2.join() #已經(jīng)執(zhí)行了2秒,還要1秒
print("this is over")
print(time.time() - start)
#執(zhí)行結(jié)果
#Python小白學(xué)習(xí)交流群:711312441
A lifelong friend:kebi,13520
A lifelong friend:maoxian,11612
A lifelong friend:xiaoniao,17064 #幾乎是同時開啟執(zhí)行
Good bother:maoxian
Good bother:kebi
Good bother:xiaoniao
this is over
3.273620367050171 #以最長時間的為主
6.其它屬性和方法
from multiprocessing import Process
import time
def func(name):
print("work start:%s"% time.ctime())
time.sleep(2)
print("work end:%s"% time.ctime())
if __name__ == "__main__":
p = Process(target=func,args=('kebi',))
p.start()
p.terminate() #將進程殺死,而且必須放在start()后面,與daemon的功能類似
#執(zhí)行結(jié)果
this is over
from multiprocessing import Process
import time
def func(name):
print("work start:%s"% time.ctime())
time.sleep(2)
print("work end:%s"% time.ctime())
if __name__ == "__main__":
p = Process(target=func,args=('kebi',))
# p.daemon = True
print(p.is_alive())
p.start()
print(p.name) #獲取進程的名字
print(p.pid) #獲取進程的pid
print(p.is_alive()) #判斷進程是否存在
print("this is over")
到了這里,關(guān)于python多進程編程常用到的方法的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!