Python中的线程池教程
线程池是一种多线程编程的优化技术,它预先创建一定数量的线程,并将任务放入队列中。当有新的任务需要执行时,线程池会从队列中取出一个任务并分配给空闲的线程执行,而不是每次都创建新的线程。这种方式可以减少线程的创建和销毁开销,提高系统资源的利用率和程序的性能。
在Python中,我们可以使用内置的concurrent.futures
模块来实现线程池。
1. 线程池基础
1.1 ThreadPoolExecutor类
ThreadPoolExecutor
是concurrent.futures
模块提供的线程池实现。以下是一个简单的例子:
import concurrent.futures
import time
def worker(num):
time.sleep(1)
print(f"Worker {
num} finished.")
with concurrent.futures.ThreadPoolExecutor(max_workers=5) as executor:
for i in range(10):
executor.submit(worker, i)
在这个例子中,我们创建了一个最大工作线程数为5的线程池,并提交了10个任务到线程池中。每个任务都是调用worker()
函数并传入一个参数。
1.2 Future对象
submit()
方法返回一个Future
对象,它代表了线程池中一个正在执行或已经完成的任务。可以通过调用Future
对象的result()
或exception()
方法来获取任务的结果或异常。
import concurrent.futures
import time
def worker(num):
if num == 3:
raise Exception("线程 3 抛出异常.")
time.sleep(0.3)
return f"线程 {
num} 的结果."
if __name__ == '__main__':
with concurrent.futures.ThreadPoolExecutor(max_workers=5) as executor:
futures = [executor.submit(worker, i) for i in range(10)]
for future in concurrent.futures.as_completed(futures):
try:
result = future.result()
print(result)
except Exception as e:
print("exception:", e)
在这个例子中,我们使用as_completed()
函数来迭代所有已完成的Future
对象,并获取它们的结果或处理异常。
2. 线程池高级用法
2.1 控制最大工作线程数
通过设置max_workers
参数,可以控制线程池中的最大工作线程数。如果未指定该参数,Python将默认使用系统的CPU核心数作为最大工作线程数。
import concurrent.futures
import time
def worker(num):
time.sleep(1)
print(f"Worker {
num} finished.")
with concurrent.futures.ThreadPoolExecutor(max_workers=3) as executor:
for i in range(10):
executor.submit(worker, i)
在这个例子中,我们将最大工作线程数设置为3,这意味着线程池最多同时运行3个任务。
2.2. 使用map()和starmap()方法
线程池还提供了map()
和starmap()
方法,它们类似于内置的map()
和itertools.starmap()
函数,但可以在多个线程上并行执行。
import concurrent.futures
import time
def worker(num):
time.sleep(1)
return f"Result from Worker {
num}"
with concurrent.futures.ThreadPoolExecutor(max_workers=5) as executor:
# 使用map()方法
results1 = executor.map(worker, range(10))
# 使用starmap()方法
results2 = executor.starmap(worker, [(i, ) for i in range(10)])
for result in results1:
print(result)
for result in results2:
print(result)
在这个例子中,我们使用map()
和starmap()
方法分别并行执行了10个任务,并打印了结果。
3. 总结
Python的线程池通过concurrent.futures.ThreadPoolExecutor
类提供了方便且高效的多线程编程方式。通过合理地使用线程池,可以有效地管理线程资源,减少线程创建和销毁的开销,提高程序的性能和响应速度。在实际应用中,可以根据任务的特性选择合适的线程池大小和使用方式,以达到最佳的并发效果。
文章评论