数据小站
数据科学成长之路

python中的GIL小结

进程线程的区别

进程和线程都可以批量处理,在工作模式中不尽相同。

开启多进程,进程之间数据不共享,相互独立,可以充分使用CPU多核资源,缺点是进程开启比线程更消耗资源。

python中多线程,线程之间数据可以共享。python的官方python版本为CPython,存在GIL全局解释器锁问题。每个线程在运行时都需要先获取GIL许可。GIL只能在同一时间,执行一个线程。 这个问题是C语言解释器的问题,与Python本身无关。

线程释放GIL锁的情况,当IO操作可能会引起阻塞,会暂时释放GIL锁,或者执行时间计数器达到阈值时。

在python多线程任务中,多线程仍然只使用了一个单核CPU资源,各个线程之间由CPU分配时间运行,不能同时执行,同一时间只运行一个线程。

多线程的模式下,在IO密集型的程序中,由于交换数据需要CPU等待时间,在数据等待环节,单线程任务会阻塞,等待数据交换完成后才能往下执行,当开启多线程后,虽然同一时间只能执行一个线程,但是在数据等待环节,可以执行下一个线程,提高CUP使用率。

如果要真正实现批量任务,需要使用进程而不是线程。

python提高多线程的方法

方式1:采用多进程

方式2:在开启线程时,使用其他语言嵌入

赞(0) 打赏
未经允许不得转载:技术文档分享 » python中的GIL小结

评论 抢沙发