Python进程池：multiprocessing.pool

在利用Python进行系统管理的时候，特别是同时操作多个文件目录，或者远程控制多台主机，并行操作可以节约大量的时间。当被操作对象数目不大时，可以直接利用multiprocessing中的Process动态成生多个进程，十几个还好，但如果是上百个，上千个目标，手动的去限制进程数量却又太过繁琐，此时可以发挥进程池的功效。Pool可以提供指定数量的进程供用户调用，当有新的请求提交到pool中时，如果池还没有满，那么就会创建一个新的进程用来执行该请求；但如果池中的进程数已经达到规定最大值，那么该请求就会等待，直到池中有进程结束，才会创建新的进程来它。例1：使用进程池#coding: utf-8
import multiprocessing
import timedef func（msg）:
print "msg:", msg
time.sleep（3）
print "end"if __name__ == "__main__":
pool = multiprocessing.Pool（processes = 3）
for i in xrange（4）:
msg = "hello %d" %（i）
pool.apply_async（func, （msg, ）） #维持执行的进程总数为processes，当一个进程执行完毕后会添加新的进程进去 print "Mark~ Mark~ Mark~~~~~~~~~~~~~~~~~~~~~~"
pool.close（）
pool.join（） #调用join之前，先调用close函数，否则会出错。执行完close后不会有新的进程加入到pool,join函数等待所有子进程结束
print "Sub-process（es） done."一次执行结果mMsg: hark~ Mark~ Mark~~~~~~~~~~~~~~~~~~~~~~ello 0 msg: hello 1msg: hello 2endmsg: hello 3endendendSub-process（es） done.函数解释：
•apply_async（func[, args[, kwds[, callback]]]）它是非阻塞，apply（func[, args[, kwds]]）是阻塞的（理解区别，看例1例2结果区别）
•close（）关闭pool，使其不在接受新的任务。
•terminate（）结束工作进程，不在处理未完成的任务。
•join（）主进程阻塞，等待子进程的退出， join方法要在close或terminate之后使用。执行说明：创建一个进程池pool，并设定进程的数量为3，xrange（4）会相继产生四个对象[0, 1, 2, 4]，四个对象被提交到pool中，因pool指定进程数为3，所以0、1、2会直接送到进程中执行，当其中一个执行完事后才空出一个进程处理对象3，所以会出现输出“msg: hello 3”出现在"end"后。因为为非阻塞，主函数会自己执行自个的，不搭理进程的执行，所以运行完for循环后直接输出“mMsg: hark~ Mark~ Mark~~~~~~~~~~~~~~~~~~~~~~”，主程序在pool.join（）处等待各个进程的结束。例2：使用进程池（阻塞）#coding: utf-8
import multiprocessing
import timedef func（msg）:
print "msg:", msg
time.sleep（3）
print "end"if __name__ == "__main__":
pool = multiprocessing.Pool（processes = 3）
for i in xrange（4）:
msg = "hello %d" %（i）
pool.apply（func, （msg, ）） #维持执行的进程总数为processes，当一个进程执行完毕后会添加新的进程进去 print "Mark~ Mark~ Mark~~~~~~~~~~~~~~~~~~~~~~"
pool.close（）
pool.join（） #调用join之前，先调用close函数，否则会出错。执行完close后不会有新的进程加入到pool,join函数等待所有子进程结束
print "Sub-process（es） done."一次执行的结果msg: hello 0endmsg: hello 1endmsg: hello 2endmsg: hello 3endMark~ Mark~ Mark~~~~~~~~~~~~~~~~~~~~~~Sub-process（es） done.例3：使用进程池，并关注结果import multiprocessing
import timedef func（msg）:
print "msg:", msg
time.sleep（3）
print "end"
return "done" + msgif __name__ == "__main__":
pool = multiprocessing.Pool（processes=4）
result = []
for i in xrange（3）:
msg = "hello %d" %（i）
result.append（pool.apply_async（func, （msg, ）））
pool.close（）
pool.join（）
for res in result:
print ":::", res.get（）
print "Sub-process（es） done."一次执行结果msg: hello 0msg: hello 1msg: hello 2endendend::: donehello 0::: donehello 1::: donehello 2Sub-process（es） done. 例4：使用多个进程池#coding: utf-8
import multiprocessing
import os, time, randomdef Lee（）:
print " Run task Lee-%s" %（os.getpid（）） #os.getpid（）获取当前的进程的ID
start = time.time（）
time.sleep（random.random（） * 10） #random.random（）随机生成0-1之间的小数
end = time.time（）
print "Task Lee, runs %0.2f seconds." %（end - start）def Marlon（）:
print " Run task Marlon-%s" %（os.getpid（））
start = time.time（）
time.sleep（random.random（） * 40）
end=time.time（）
print "Task Marlon runs %0.2f seconds." %（end - start）def Allen（）:
print " Run task Allen-%s" %（os.getpid（））
start = time.time（）
time.sleep（random.random（） * 30）
end = time.time（）
print "Task Allen runs %0.2f seconds." %（end - start）def Frank（）:
print " Run task Frank-%s" %（os.getpid（））
start = time.time（）
time.sleep（random.random（） * 20）
end = time.time（）
print "Task Frank runs %0.2f seconds." %（end - start）

if __name__=="__main__":
function_list= [Lee, Marlon, Allen, Frank]
print "parent process %s" %（os.getpid（）） pool=multiprocessing.Pool（4）
for func in function_list:
pool.apply_async（func） #Pool执行函数，apply执行函数,当有一个进程执行完毕后，会添加一个新的进程到pool中 print "Waiting for all subprocesses done..."
pool.close（）
pool.join（） #调用join之前，一定要先调用close（）函数，否则会出错, close（）执行后不会有新的进程加入到pool,join函数等待素有子进程结束
print "All subprocesses done."一次执行结果parent process 7704
Waiting for all subprocesses done...
Run task Lee-6948
Run task Marlon-2896
Run task Allen-7304
Run task Frank-3052
Task Lee, runs 1.59 seconds.
Task Marlon runs 8.48 seconds.
Task Frank runs 15.68 seconds.
Task Allen runs 18.08 seconds.
All subprocesses done.--------------------------------------分割线 --------------------------------------CentOS上源码安装Python3.4 http://www.linuxidc.com/Linux/2015-01/111870.htm《Python核心编程第二版》.（Wesley J. Chun ）.[高清PDF中文版] http://www.linuxidc.com/Linux/2013-06/85425.htm《Python开发技术详解》.（周伟,宗杰）.[高清PDF扫描版+随书视频+代码] http://www.linuxidc.com/Linux/2013-11/92693.htmPython脚本获取Linux系统信息 http://www.linuxidc.com/Linux/2013-08/88531.htm在Ubuntu下用Python搭建桌面算法交易研究环境 http://www.linuxidc.com/Linux/2013-11/92534.htmPython 语言的发展简史 http://www.linuxidc.com/Linux/2014-09/107206.htmPython 的详细介绍：请点这里
Python 的下载地址：请点这里 本文永久更新链接地址：http://www.linuxidc.com/Linux/2015-05/116914.htm