导读
很多时候，当我们需要使用Python来处理大量的数据的时候，为了缩短处理的时间，我们会使用多线程或多进程来并行处理任务。
由于Python全局解释器锁的存在，导致在执行多线程的时候实际上只有一个线程在运行，这使得多核CPU无法发挥它真正的效率。而多进程就可以很好地解决这个问题。如果你打开多进程的姿势不对，会导致它比单进程更慢，下面我们就来看看如何正确地打开多进程。
实验环境
- 系统：Ubuntu16.04
- Python：3.7
示例
这个示例是基于Python对图片做一个预处理
- 图片预处理
- 读取图片将图片转换为bytes数组
- 采用for循环处理批量图片
这里我们直接通过循环调用图片的预处理函数，其实也就是单进程。处理了1349张图片，一共花了将近10s。这里我为了方便就没有采用多次调用来取平均值了，如果大家想要计算得更加准确，可以采用取平均值。
- 采用进程池多进程处理图片
使用4个进程居然花了将近13s，按道理来说这不科学呀？4个进程的处理速度应该要快于单个进程，现在看来居然还更慢。也就是说，我们花了更多的硬件资源，居然还花费了更多的时间。这是为什么呢？
接下来看看，我们使用Queue来改进使用多进程对图片进行预处理
惊讶地发现，当我们将进程池改为根据进程的个数来分发任务时，居然速度要快将近一倍左右。
特别注意：这里其实使用多线程来处理会比多进程的速度更快，而且消耗的资源也要少点。举这个例子只是为了说明，影响多进程速度的原因。
影响进程速度的原因
进程池速度慢可能有下面几个原因：
- CPU资源不足，开启更多的进程只会导致速度更慢
- 进程之间通信传输的数据量大
- 使用了Lock处理共享的数据
- 进程使用了大量的os.fork()
在上面的例子中，其实影响多进程速度的主要原因是因为调用preprocess函数每次都会返回一个image array占用的内存比较大，如果你将返回值由image array改为一个字符串你会发现最终它们的速度会差不多。
那为什么使用Queue的速度会比进程池快那么多呢？这里主要也是因为进程池在保存数据与Queue的差异导致的。
虽然说，我们在使用进程池的时候采用的也是异步调用的方式。但是，进程池在接受返回结果的时候使用了self.wait(timeout)，而进程池最终返回结果的顺序也和调用的时候保持一致。而Queue在保存数据的时候，会通过后台的线程来写数据，所以它最终保存的结果是乱序的，相对来说它的速度会更快点。