198 lines
4.3 KiB
Markdown
198 lines
4.3 KiB
Markdown
|
# Python 中的多重处理
|
|||
|
|
|
|||
|
|
> 原文：<https://www.askpython.com/python-modules/multiprocessing-in-python>
|
|||
|
|
|
|||
|
|
嘿伙计们！在本文中，我们将学习 Python 中的多重处理。那么，我们开始吧。
|
|||
|
|
|
|||
|
|
## 什么是多重处理？
|
|||
|
|
|
|||
|
|
多重处理是 python 中的一个包，它支持生成利用 Python API 的进程的能力。它类似于 Python 中的线程模块。
|
|||
|
|
|
|||
|
|
## 理解 Python 中的多重处理
|
|||
|
|
|
|||
|
|
多处理器是指计算机有一个以上的中央处理器。如果一台计算机只有一个多核处理器，可以使用 Python 中的[多线程并行运行任务。](https://www.askpython.com/python-modules/multithreading-in-python)
|
|||
|
|
|
|||
|
|
多处理器系统能够同时支持多个处理器。为了找到我们系统中可用的 CPU 内核的数量，我们使用了 ***mp.cpu_count()*** 函数。
|
|||
|
|
|
|||
|
|
在本文中，我们将使用 Python 的多重处理模块
|
|||
|
|
|
|||
|
|
**下面是使用多处理模块在 Python 中查找处理器数量的示例代码:**
|
|||
|
|
|
|||
|
|
```py
|
|||
|
|
import multiprocessing as mp
|
|||
|
|
|
|||
|
|
print(mp.cpu_count())
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
输出: **12**
|
|||
|
|
|
|||
|
|
这里的计数是多个处理器之间的内核总数。
|
|||
|
|
|
|||
|
|
**该模块的四个最重要的类是-**
|
|||
|
|
|
|||
|
|
* 流程类
|
|||
|
|
* 锁定级
|
|||
|
|
* 队列类别
|
|||
|
|
* 池类
|
|||
|
|
|
|||
|
|
让我们分别看看这些类中的每一个…
|
|||
|
|
|
|||
|
|
### 1.流程类
|
|||
|
|
|
|||
|
|
进程是当前进程的分叉副本。它创建一个新的进程标识符，任务作为独立的子进程运行。
|
|||
|
|
|
|||
|
|
***start()*** 和 ***join()*** 函数都属于这个类。为了在进程中传递一个参数，我们使用 ***args*** 关键字。
|
|||
|
|
|
|||
|
|
start()函数示例-
|
|||
|
|
|
|||
|
|
在这里，我们创建了一个函数 *calc_square* 和 *calc_cube* ，分别用于求数字的平方和立方。在主函数中，我们创建了对象 *p1* 和 *p2* 。 *p1.start()* 和 *p2.start()* 将启动函数，调用 *p1.join()和 p2.join* 将终止进程。
|
|||
|
|
|
|||
|
|
```py
|
|||
|
|
import time
|
|||
|
|
import multiprocessing
|
|||
|
|
|
|||
|
|
def calc_square(numbers):
|
|||
|
|
for n in numbers:
|
|||
|
|
print('square ' + str(n*n))
|
|||
|
|
|
|||
|
|
def calc_cube(numbers):
|
|||
|
|
for n in numbers:
|
|||
|
|
print('cube '+ str(n*n*n))
|
|||
|
|
|
|||
|
|
if __name__ == "__main__":
|
|||
|
|
arr=[2,3,8,9]
|
|||
|
|
p1=multiprocessing.Process(target=calc_square,args=(arr,))
|
|||
|
|
p2=multiprocessing.Process(target=calc_cube,args=(arr,))
|
|||
|
|
|
|||
|
|
p1.start()
|
|||
|
|
p2.start()
|
|||
|
|
|
|||
|
|
p1.join()
|
|||
|
|
p2.join()
|
|||
|
|
|
|||
|
|
print("Done")
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
输出:
|
|||
|
|
|
|||
|
|
```py
|
|||
|
|
square 4
|
|||
|
|
square 9
|
|||
|
|
square 64
|
|||
|
|
square 81
|
|||
|
|
cube 8
|
|||
|
|
cube 27
|
|||
|
|
cube 512
|
|||
|
|
cube 729
|
|||
|
|
Done
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### 2.锁定级
|
|||
|
|
|
|||
|
|
lock 类允许代码被锁定，以确保没有其他进程可以执行类似的代码，直到它被释放。
|
|||
|
|
|
|||
|
|
要认领锁， ***使用获取()*** 函数，要释放锁， ***使用释放()*** 函数。
|
|||
|
|
|
|||
|
|
```py
|
|||
|
|
from multiprocessing import Process, Lock
|
|||
|
|
|
|||
|
|
lock=Lock()
|
|||
|
|
def printer(data):
|
|||
|
|
lock.acquire()
|
|||
|
|
try:
|
|||
|
|
print(data)
|
|||
|
|
finally:
|
|||
|
|
lock.release()
|
|||
|
|
|
|||
|
|
if __name__=="__main__":
|
|||
|
|
items=['mobile','computer','tablet']
|
|||
|
|
for item in items:
|
|||
|
|
p=Process(target=printer,args=(item,))
|
|||
|
|
p.start()
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
输出
|
|||
|
|
|
|||
|
|
```py
|
|||
|
|
mobile
|
|||
|
|
computer
|
|||
|
|
tablet
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### 3.队列类别
|
|||
|
|
|
|||
|
|
队列是一种使用先进先出(FIFO)技术的数据结构。它帮助我们使用本地 Python 对象执行进程间通信。
|
|||
|
|
|
|||
|
|
当作为参数传递时，队列使进程能够使用共享数据。
|
|||
|
|
|
|||
|
|
***put()*** 函数用于向队列中插入数据， ***get()*** 函数用于从队列中消耗数据。
|
|||
|
|
|
|||
|
|
```py
|
|||
|
|
import multiprocessing as mp
|
|||
|
|
|
|||
|
|
def sqr(x,q):
|
|||
|
|
q.put(x*x)
|
|||
|
|
|
|||
|
|
if __name__ == "__main__":
|
|||
|
|
q=mp.Queue() # Instance of queue class created
|
|||
|
|
processes=[mp.Process(target=sqr,args=(i,q))for i in range (2,10)] # List of processes within range 2 to 10
|
|||
|
|
for p in processes:
|
|||
|
|
p.start()
|
|||
|
|
|
|||
|
|
for p in processes:
|
|||
|
|
p.join()
|
|||
|
|
|
|||
|
|
result = [q.get() for p in processes]
|
|||
|
|
print(result)
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
输出:
|
|||
|
|
|
|||
|
|
```py
|
|||
|
|
[4, 9, 16, 25, 36, 64, 49, 81]
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### 4.池类
|
|||
|
|
|
|||
|
|
pool 类帮助我们针对多个输入值并行执行一个函数。这个概念叫做数据并行。
|
|||
|
|
|
|||
|
|
这里，数组[5，9，8]被映射为函数调用中的输入。pool.map()函数用于传递多个参数的列表。
|
|||
|
|
|
|||
|
|
```py
|
|||
|
|
import multiprocessing as mp
|
|||
|
|
|
|||
|
|
def my_func(x):
|
|||
|
|
print(x**x)
|
|||
|
|
|
|||
|
|
def main():
|
|||
|
|
pool = mp.Pool(mp.cpu_count())
|
|||
|
|
result = pool.map(my_func, [5,9,8])
|
|||
|
|
|
|||
|
|
if __name__ == "__main__":
|
|||
|
|
main()
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
输出:
|
|||
|
|
|
|||
|
|
```py
|
|||
|
|
3125
|
|||
|
|
387420489
|
|||
|
|
16777216
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
## 结论
|
|||
|
|
|
|||
|
|
在本文中，我们学习了 Python 中多处理的四个最重要的类——进程、锁、队列和池，它们可以更好地利用 CPU 内核并提高性能。
|
|||
|
|
|
|||
|
|
## 参考
|
|||
|
|
|
|||
|
|
[官方模块文档](https://docs.python.org/3/library/multiprocessing.html)
|