python并行计算之pool.apply_async()与pool.imap()的异同点
·
1. 框架和技术概要: 🎨🖥️
multiprocessing 模块中的 pool.apply_async() 与 pool.imap() 都用于并行处理,但它们在使用方式和返回结果上有所不同。
2. 相似点: 🧩💡
- 并行处理: 两者都用于在多个进程中并行执行函数。
- 适用于多核处理: 都可以充分利用多核 CPU 来加速计算。
3. 不同点: 📊👣
| 特性 | pool.apply_async() | pool.imap() |
|---|---|---|
| 返回类型 | 返回一个 AsyncResult 对象,可以通过 get() 方法获取结果 | 返回一个迭代器,可以逐个获取结果 |
| 执行方式 | 提交任务并立即返回,适合独立任务 | 适合处理可迭代对象中的每个元素,按顺序返回结果 |
| 阻塞行为 | 不会阻塞主线程,可以同时提交多个任务 | 迭代器会按顺序阻塞,直到结果可用 |
| 错误处理 | 可通过 AsyncResult 对象捕获异常 | 迭代器会在遍历时抛出异常 |
4. 使用示例: 😊👨💻
pool.apply_async():
from multiprocessing import Pool
def square(x):
return x * x
with Pool(processes=4) as pool:
results = [pool.apply_async(square, (i,)) for i in range(10)]
output = [result.get() for result in results]
print(output)
或
from multiprocessing import Pool
with Pool(processes=4) as pool:
processes = [pool.apply_async(cal_max_speed, args=(file_path,)) for file_path in file_paths]
results = [process.get() for process in processes]
pool.imap():
from multiprocessing import Pool
def square(x):
return x * x
with Pool(processes=4) as pool:
output = pool.imap(square, range(10))
print(list(output))
或者
with multiprocessing.Pool(processes=processes) as pool:
results = list(tqdm(pool.imap(cal_max_speed, file_generator(root_dir, ids_set)),
total=len(ids_set)))
5. 总结: 🎉
- 如果需要立即提交多个独立任务,并在之后获取结果,可以使用
apply_async()。 - 如果处理的是一个可迭代对象,并希望按顺序获取结果,
imap()是更好的选择。
更多推荐


所有评论(0)