榨干CPU的每一滴油

Posted on

计算机多如牛毛的硬件设备中，有三个部件最为关键，它们分别是中央处理器CPU、内存和I/O控制芯片。为了协调CPU、内存和高速的图形设备，人们专门设计了一个高速的北桥芯片，以便它们之间能够高速地交换数据。

由于北桥运行的速度非常高，所有相对低速的设备如果全都直接连接在北桥上，北桥既须处理高速设备，又须处理低速设备，设计就会十分复杂。于是人们又设计了专门处理低速设备的南桥（Southbridge）芯片，磁盘、USB、键盘、鼠标等设备都连接在南桥上，由南桥将它们汇总后连接到北桥上。

SMP（Symmetrical Multi-Processing）&MP（Multi-core Processor）

对称多处理器（SMP，Symmetrical Multi-Processing），简单地讲就是每个CPU在系统中所处的地位和所发挥的功能都是一样的，是相互对称的。理论上讲，增加CPU的数量就可以提高运算速度，并且理想情况下，速度的提高与CPU的数量成正比。但实际上并非如此，因为我们的程序并不是都能分解成若干个完全不相干的子问题。

多核处理器（MP，Multi-core Processor）处理器的厂商开始考虑将多个处理器“合并在一起打包出售”，这些“被打包”的处理器之间共享比较昂贵的缓存部件，只保留多个核心，并且以一个处理器的外包装进行出售，售价比单核心的处理器只贵了一点，这就是多核处理器的基本想法。

区别：多核是指一个CPU有多个核心处理器，处理器之间通过CPU内部总线进行通讯。而多CPU是指简单的多个CPU工作在同一个系统上，多个CPU之间的通讯是通过主板上的总线进行的。从以上原理可知，N个核的CPU，要比N个CPU在一起的工作效率要高（单核性能一致的情况下）

优化程序就是榨干CPU的每一滴油水，哈哈哈

Python实现多进程的方式主要有两种，一种方法是使用os模块中的fork方法，另一种方法是使用multiprocessing模块。这两种方法的区别在于前者仅适用于Unix/Linux操作系统，对Windows不支持，后者则是跨平台的实现方式。

fork & multiprocessing

Unix/Linux操作系统中提供的一个fork系统调用，这个方法非常特殊。普通的方法都是调用一次，返回一次，而fork方法是调用一次，返回两次。

1
2
3
4
5
6
7
8
9
10
11
import os
     if __name__ == '__main__':
        print 'current Process (%s) start ...'%(os.getpid())
        pid = os.fork()
        if pid < 0:
                print 'error in fork'
        elif pid == 0:
                print 'I am child process(%s) and my parent process is (%s)',(os.getpid(),
                os.getppid())
        else:
                print 'I(%s) created a chlid process (%s).',(os.getpid(),pid)

multiprocessing模块提供了一个Process类来描述一个进程对象。创建子进程时，只需要传入一个执行函数和函数的参数，即可完成一个Process实例的创建，用start（）方法启动进程，用join（）方法实现进程间的同步。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
import os 
from multiprocessing import Process

def run_proc(name):
    print('Child process %s (%s) Running...' % (name, os.getpid()))

if __name__=='__main__':
    print('Parent process %s.' % os.getpid())
    for i in range(5):
        p=Process(target=run_proc, args=(str(i)))
        print('Process will start.')
        p.start()
    p.join()
    prnit('Process end.')

Pool对象调用join（）方法会等待所有子进程执行完毕，调用join（）之前必须先调用close（），调用close（）之后就不能继续添加新的Process了。

参考：
Python爬虫开发与项目实战
程序员的自我修养

欢迎打赏小鱼干