在后台的Python:众多程序员无法攻克的难题

开发 后端
本文就将解答“运行python代码时会发生什么?”,重点介绍很流行的Python工具CPython。如果你不知道正在使用何种Python工具,那么你90%使用的是CPython。

本文转载自公众号“读芯术”(ID:AI_Discovery)

[[377997]] 

 先看两个超级简单的代码。

  1. for i inrange(10**7): 
  2.                 x = i %5 

代码1:简单代码

  1. defmain(): 
  2.  
  3. for i inrange(10**7): 
  4.  
  5. x = i %5 
  6.  
  7. main() 

代码2:定义了一个主函数来运行相同的简单代码。

两个代码都执行一个虚拟任务。取0到1000万之间的数字(通过for循环),并计算其模(余数)为5,到目前为止操作非常简单。那么,测量代码的运行时间是多少呢?

  1. import time 
  2.              start_time = time.time() 
  3.       for i inrange(10**7): 
  4.          x = i %5 
  5.       finish_time = time.time() 
  6.              print("Duration:{} msec".format((finish_time-start_time)*1000)) 

在代码1中添加一个简单的计时器

  1. import time 
  2.              defmain(): 
  3.           for i inrange(10**7): 
  4.              x = i %5 
  5.              start_time = time.time() 
  6.       main() 
  7.       finish_time = time.time() 
  8.              print("Duration:{} msec".format((finish_time-start_time)*1000)) 

在代码2中添加一个简单的计时器

在两个代码中添加一个简单的计时器来测量各自的运行时间。由于两个代码执行相同的简单任务,预计运行时间也相同。当然,如果运行时间真的相同,本文就没有存在的必要了。事实上,代码1和代码2的运行时间分别为739毫秒和434毫秒,惊讶吧!

很多Python程序员并不知道这个难题,因为这需要深入理解Python的运行原理。本文就将解答“运行python代码时会发生什么?”,重点介绍很流行的Python工具CPython。如果你不知道正在使用何种Python工具,那么你90%使用的是CPython。

以下是运行源代码时的情况:

首先,源代码通过“词法分析”程序被分解成标记,例如, x=1将被分解成x, =,和1。然后,通过“句法分析”的过程,这些标记被组织成抽象语法树(AST),之后“编译器”将所有内容转换成为一个叫做“字节码”的抽象代码。

在Python中,不像C、C++、Java等语言,编译器不会获取“源代码”并将其转换为“机器代码”,理解这一点很重要。与之相反,编译器可接受“源代码”并且将其转换为“字节码”。解释器的任务是获取字节码并以机器能够理解的方式运行。

在Python运行代码的四个步骤中,解释器负责最繁重的工作。而其他三个步骤不会处理太多的任务。因此,任何时候想要研究Python程序的性能时,应该查看解释步骤并寻找一些线索。

解释器读取字节码并运行其指令。如果字节码类似于菜谱,那么指令便是菜谱中的不同步骤。如果字节码可读取,就可能找到关于上述谜题的一些线索。使用 dis包来查看字节码指令。dis是一个Python包,用于分析和解码字节码,并以人们可以理解的方式显示出来。dis.dis() 的输出结构如下:

本文不详细介绍dis包的细节,只关注Operation Named的一列。Operation name指示Python解释器的行为。如果你非常好奇,那么名为ceval.c的文件可以回答。以上两个代码都运行了dis.dis(),为了简化操作,本文突出显示重要部分,即循环部分。下图显示了这两个代码的字节码:

 

如图所示,两个代码在给定的指令方面非常相似。但是,仔细观察,会发现字节码中有一些细微的(但是很重要的)差异。在代码1中,可以看到STORE_NAME和LOAD_NAME,但是在代码2中,可以看到STORE_FAST和LOAD_FAST。运行时间的差异似乎是由于这两种指令类型的不同造成的。可以查看ceval.c文件来了解其中的差异。

简而言之,在代码1中,解释器处理变量i和x的方式与代码2不同(注意_NAME和_FAST后缀)。代码1中,i和x都是全局变量,而CPython将这些变量存储在字典数据结构中,这使得加载过程比存储在固定大小数组中的局部变量耗时更久。与字典相比,从固定大小的数组中检索变量要快得多。

为什么Python这么做?很简单,因为在主代码中,不知道有多少变量会出现,但是在一个函数中变量的数量是固定的。

如果这是原因所在,来做个测试:把解释器打乱,在代码2(快速代码)中将x和i变量定义为全局变量,并再次测量运行时间。这是改变后的代码2:

  1. defmain(): 
  2.           global i, x 
  3.           for i inrange(10**7): 
  4.               x = i %5 
  5.        main() 

代码3与代码2相同,只是定义了变量i和x,以查看全局变量是否是导致难题代码性能变慢的原因。

运行代码3,用时805毫秒(代码2用时434 毫秒)。代码3的用时非常接近于代码1(即739毫秒)。这正如预计的,处理全局变量比处理局部变量(固定大小的数组与字典)花费更多的时间。

如你所见,只需要了解一点关于Python解释器的工作原理,以及从dis库中得到帮助,这个难题即可迎刃而解。

 

 

责任编辑:华轩 来源: 读芯术
相关推荐

2021-01-26 05:30:44

python程序员代码

2015-06-17 10:05:41

编程 程序员

2013-08-20 09:33:59

程序员

2011-05-13 14:34:02

程序员

2018-10-31 11:17:55

程序员女朋友面试

2017-11-14 21:30:15

2012-11-22 14:00:26

程序员

2009-06-18 13:36:00

乱码问题

2012-06-23 17:21:18

程序员

2015-09-24 08:43:13

程序员未来

2012-03-13 10:55:00

程序员

2012-02-14 09:13:51

程序员

2010-08-27 10:34:51

程序员

2009-12-14 09:29:00

程序员

2023-09-26 01:27:09

AI程序员软件

2013-04-15 10:55:09

程序员

2012-11-08 09:49:30

C++Java程序员

2015-05-26 09:17:34

程序员泛泛涉猎

2009-06-29 18:26:48

虚拟化灾难恢复数据中心

2017-01-13 13:42:04

程序员技术
点赞
收藏

51CTO技术栈公众号