2022年 11月 5日

5个小技巧提升Python运行速度

Python 是世界上使用最广泛的编程语言之一。它是一种解释型高级通用编程语言，具有广泛的用途，几乎可以将其用于所有事物。其以简单的语法、优雅的代码和丰富的第三方库而闻名。python除了有很多优点外，但在速度上还有一个非常大的缺点。

虽然Python代码运行缓慢，但可以通过下面分享的5个小技巧提升Python运行速度！

首先，定义一个计时函数timeshow，通过简单的装饰，可以打印指定函数的运行时间。

这个函数在下面的例子中会被多次使用。 

  1. def timeshow(func):
  2.     from time import time
  3.     def newfunc(*arg, **kw):
  4.         t1 = time()
  5.         res = func(*arg, **kw)
  6.         t2 = time()
  7.         print(f"{func.__name__: >10} : {t2-t1:.6f} sec")
  8.         return res
  9.     return newfunc
  10.  
  11. @timeshow
  12. def test_it():
  13.     print("hello pytip")
  14.  
  15. test_it()

1. 选择合适的数据结构

使用正确的数据结构对python脚本的运行时间有显着影响。Python 有四种内置的数据结构： – 列表: List – 元组: Tuple – 集合: Set – 字典: Dictionary

但是，大多数开发人员在所有情况下都使用列表。这是不正确的做法，应该根据任务使用合适数据结构。

运行下面的代码，可以看到元组执行简单检索操作的速度比列表快。其中dis模块反汇编了一个函数的字节码，这有利于查看列表和元组之间的区别。

  1. import dis
  2. def a():
  3.     data = [1, 2, 3, 4, 5,6,7,8,9,10]
  4.     x =data[5]
  5.     return x
  6. def b():
  7.     data = (1, 2, 3, 4, 5,6,7,8,9,10)
  8.     x =data[5]
  9.     return x
  10.  
  11. print("-----:使用列表的机器码:------")
  12. dis.dis(a)
  13. print("-----:使用元组的机器码:------")
  14. dis.dis(b)

运行输出:

  1. -----:使用列表的机器码:------
  2.       3           0 LOAD_CONST               1 (1)
  3.                   2 LOAD_CONST               2 (2)
  4.                   4 LOAD_CONST               3 (3)
  5.                   6 LOAD_CONST               4 (4)
  6.                   8 LOAD_CONST               5 (5)
  7.                  10 LOAD_CONST               6 (6)
  8.                  12 LOAD_CONST               7 (7)
  9.                  14 LOAD_CONST               8 (8)
  10.                  16 LOAD_CONST               9 (9)
  11.                  18 LOAD_CONST              10 (10)
  12.                  20 BUILD_LIST              10
  13.                  22 STORE_FAST               0 (data)
  14.  
  15.       4          24 LOAD_FAST                0 (data)
  16.                  26 LOAD_CONST               5 (5)
  17.                  28 BINARY_SUBSCR
  18.                  30 STORE_FAST               1 (x)
  19.  
  20.       5          32 LOAD_FAST                1 (x)
  21.                  34 RETURN_VALUE
  22.     -----:使用元组的机器码:------
  23.       7           0 LOAD_CONST               1 ((1, 2, 3, 4, 5, 6, 7, 8, 9, 10))
  24.                   2 STORE_FAST               0 (data)
  25.  
  26.       8           4 LOAD_FAST                0 (data)
  27.                   6 LOAD_CONST               2 (5)
  28.                   8 BINARY_SUBSCR
  29.                  10 STORE_FAST               1 (x)
  30.  
  31.       9          12 LOAD_FAST                1 (x)
  32.                  14 RETURN_VALUE

看下列表的机器码，冗长而多余！

2. 善用强大的内置函数和第三方库

如果你正在使用python并且仍在自己编写一些通用函数(比如加法、减法)，那么是在侮辱python。 Python有大量的库和内置函数来帮助你不用编写这些函数。 如果研究下，那么你会惊奇地发现几乎90%的问题已经有第三方包或内置函数来解决。

可以通过访问
官方文档查看所有内置函数。你也可以在
wiki python上找到更多使用内置函数的场景。

比如，现在我们想合并列表中的所有单词为一个句子，比较法自己编写和调用库函数的区别:

  1. # ❌ 正常人能想到的方法
  2. @timeshow
  3. def f1(list):
  4.     s =""
  5.     for substring in list:
  6.         s += substring
  7.     return s
  8.  
  9. # ✅ pythonic 的方法
  10. @timeshow
  11. def f2(list):
  12.     s = "".join(list)
  13.     return s
  14.  
  15.  
  16. l = ["I", "Love", "Python"] * 1000 # 为了看到差异，我们把这个列表放大了
  17. f1(l)
  18. f2(l)

运行输出:

  1. f1 : 0.000227 sec
  2.         f2 : 0.000031 sec

3. 少用循环

  • 用 列表推导式 代替循环
  • 用 迭代器 代替循环
  • 用 filter() 代替循环
  • 减少循环次数，精确控制，不浪费CPU
  1. ## 返回n以内的可以被7整除的所有数字。
  2.  
  3. # ❌ 正常人能想到的方法:
  4. @timeshow
  5. def f_loop(n): 
  6.     L=[]
  7.     for i in range(n):
  8.         if i % 7 ==0:
  9.             L.append(i)
  10.     return L
  11.  
  12.  
  13. #  ✅ 列表推导式
  14. @timeshow
  15. def f_list(n):
  16.     L = [i for i in range(n) if i % 7 == 0]
  17.     return L
  18.  
  19. # ✅  迭代器
  20. @timeshow
  21. def f_iter(n):
  22.     L = (i for i in range(n) if i % 7 == 0)
  23.     return L
  24.  
  25. # ✅ 过滤器 
  26. @timeshow
  27. def f_filter(n):
  28.     L = filter(lambda x: x % 7 == 0, range(n))
  29.     return L
  30.  
  31. # ✅ 精确控制循环次数 
  32. @timeshow
  33. def f_mind(n):
  34.     L = (i*7 for i in range(n//7))
  35.     return L
  36.  
  37. n = 1_000_000
  38. f_loop(n)
  39. f_list(n)
  40. f_iter(n)
  41. f_filter(n)
  42. f_mind(n)

输出为:

  1. f_loop : 0.083017 sec
  2.     f_list : 0.056110 sec
  3.     f_iter : 0.000015 sec
  4.   f_filter : 0.000003 sec
  5.     f_mind : 0.000002 sec

谁快谁慢，一眼便知！

filter 配合lambda大法就是屌！！！

4. 避免循环重复计算

如果你有一个迭代器，必须用它的元素做一些耗时计算，比如匹配正则表达式。你应该将正则表达式模式定义在循环之外，因为最好只编译一次模式，而不是在循环的每次迭代中一次又一次地编译它。

只要有可能，就应该尝试在循环外进行尽可能多的运算，比如将函数计算分配给局部变量，然后在函数中使用它。

  1. # ❌ 应改避免的方式：
  2. @timeshow
  3. def f_more(s):
  4.     import re
  5.     for i in s:
  6.         m = re.search(r'a*[a-z]?c', i)
  7.  
  8.  
  9. # ✅ 更好的方式：
  10. @timeshow
  11. def f_less(s):
  12.     import re
  13.     regex = re.compile(r'a*[a-z]?c')
  14.     for i in s:
  15.         m = regex.search(i)
  16. s = ["abctestabc"] * 1_000
  17. f_more(s)
  18. f_less(s)

输出为:

  1. f_more : 0.001068 sec
  2.     f_less : 0.000365 sec

5. 少用内存、少用全局变量

内存占用是指程序运行时使用的内存量。为了让Python代码运行得更快，应该减少程序的内存使用量，即尽量减少变量或对象的数量。

Python 访问局部变量比全局变量更有效。在有必要之前，应该始终尝试忽略声明全局变量。一个在程序中定义过的全局变量会一直存在，直到整个程序编译完成，所以它一直占据着内存空间。另一方面，局部变量访问更快，且函数完成后即可回收。因此，使用多个局部变量比使用全局变量会更好。

  1. # ❌ 应该避免的方式：
  2.  
  3. message = "Line1\n"
  4. message += "Line2\n"
  5. message += "Line3\n"
  6.  
  7. # ✅ 更好的方式：
  8.  
  9. l = ["Line1","Line2","Line3"]
  10. message = '\n'.join(l)
  11.  
  12.  
  13. # ❌ 应该避免的方式：
  14.  
  15. x = 5
  16. y = 6 
  17. def add():
  18.     return x+y
  19. add()
  21. # ✅ 更好的方式：
  23. def add():
  24.     x = 5
  25.     y = 6
  26.     return x+y
  27. add()

小节

以上就是我们分享的5个加速python运行的小技巧，希望对你有用！

欢迎大家点赞、收藏，支持！