Profiler性能分析工具

Profiler (性能分析器) 是一种工具的类别。Python 的标准库内置了两个主要的 profiler 模块：cProfile 和 profile。

我们将重点介绍 cProfile，因为它是用 C 语言编写的，性能开销小，是事实上的标准选择。

定义

想象一下你的代码是一辆赛车，你感觉它跑得不够快，但你不确定是引擎、轮胎还是空气动力学出了问题。

Profiler 就是这辆赛车的性能诊断工具。 它会告诉你：

哪个函数被调用了多少次？ (调用次数)
哪个函数花费的总时间最长？ (累积时间)
哪个函数本身的执行时间最长（不包括它调用的其他函数）？ (内部时间)
代码的瓶颈到底在哪里？

核心作用：Profiler 帮助你停止猜测，通过精确的数据找到代码中最慢的部分，从而让你能把优化的精力花在刀刃上。

cProfile

cProfile 是 Python 内置的、最常用的性能分析工具。

使用方法

方式一：在命令行中直接运行 (最推荐)

这是最快捷、无代码侵入的方式。你只需要在正常的运行命令前加上 python -m cProfile。

准备一个需要分析的脚本 假设你有一个 slow_script.py 文件：

# slow_script.py
def slow_function():
    total = 0
    for i in range(10_000_000):
        total += i
    return total

def fast_function():
    return "Done"

def main():
    slow_function()
    fast_function()

if __name__ == "__main__":
    main()

在终端中运行 Profiler
```
python -m cProfile -s tottime slow_script.py
```
- -m cProfile: 告诉 Python 以模块方式运行 cProfile。
- -s tottime: -s 代表 sort (排序)，tottime 是排序的依据。tottime 是“内部时间”，这是找到性能瓶颈最关键的指标。

分析输出结果 会看到类似下面这样的表格：

5 function calls in 0.252 seconds

   Ordered by: internal time

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
        1    0.251    0.251    0.251    0.251 slow_script.py:2(slow_function)
        1    0.001    0.001    0.252    0.252 slow_script.py:10(main)
        1    0.000    0.000    0.252    0.252 {built-in method exec}
        1    0.000    0.000    0.000    0.000 slow_script.py:7(fast_function)
        1    0.000    0.000    0.000    0.000 {method 'disable' of '_lsprof.Profiler' objects}

如何读懂这个表格？

ncalls: 函数被调用的次数。
tottime: （最重要的指标） 函数内部花费的总时间，不包括它调用的子函数的时间。这个值越高，说明这个函数本身越慢。
percall (第一个): tottime / ncalls，即每次调用的平均内部时间。
cumtime: 函数从开始到结束花费的累计时间，包括它调用的所有子函数的时间。
percall (第二个): cumtime / ncalls，即每次调用的平均累计时间。
filename:lineno(function): 函数所在的文件、行号和函数名。

从上面的结果可以一目了然地看到，slow_function 的 tottime 占据了几乎全部时间 (0.251秒)，它就是性能瓶颈。

方式二：在代码中调用

如果你想更精细地控制只分析某一段代码，可以在脚本内部使用 cProfile。

import cProfile

# ... (slow_function, fast_function 的定义和上面一样) ...

def main():
    slow_function()
    fast_function()

if __name__ == "__main__":
    # 只对 main() 函数进行性能分析
    profiler = cProfile.Profile()
    profiler.enable()

    main()

    profiler.disable()
    # 将分析结果保存到文件，而不是直接打印
    profiler.dump_stats("profile_output.prof")

dump_stats(”…”): 这种方式更强大，因为它将原始分析数据保存到了一个文件中。然后我们可以用更专业的工具来分析这个文件。

结果可视化：snakeviz

cProfile 的文本输出对于小程序来说尚可，但对于复杂项目就很难阅读了。我们需要图形化工具。

snakeviz 是一个非常受欢迎的选择。

安装 snakeviz
```
pip install snakeviz
```
使用 snakeviz 分析数据文件 首先，你需要用上面的方式二生成一个 .prof 文件：
```
# 运行脚本生成数据文件
python your_script_with_profiler.py
```
然后，运行 snakeviz：
```
snakeviz profile_output.prof
```
查看结果 snakeviz 会自动打开一个浏览器页面，显示一个交互式的火焰图 (Flame Chart)。
- 如何阅读火焰图：
  - 图表从上到下代表了函数调用的栈。
  - 条块的宽度代表了该函数占用的时间。越宽的条块，越值得你关注！
  - 你可以点击任何一个条块来放大，查看它内部的调用细节。
snakeviz 能让你非常直观地看到时间都花在了哪里，比纯文本报告高效得多。

另一个工具：line_profiler

cProfile 告诉你哪个函数慢，但如果这个函数很长，你想知道是函数里的哪一行慢呢？这时就需要 line_profiler。

安装
```
pip install line_profiler
```

修改代码 你需要在你想分析的函数上面加上一个装饰器 @profile。

# slow_script_for_line_profiler.py

# 注意：这个 @profile 不是内置的，
# 运行工具会把它注入进来
@profile
def slow_function():
    total = 0
    for i in range(10_000_000): # 我们怀疑是这行慢
        total += i
    return total

# ... (其他代码) ...

使用 kernprof 运行 line_profiler 包提供了一个叫 kernprof 的命令行工具。
```
kernprof -l -v slow_script_for_line_profiler.py
```
- -l: 表示 line-by-line (逐行)。
- -v: 表示 verbose (详细)，分析完后立即显示结果。

分析输出 它会输出一个非常详细的报告，告诉你函数内每一行的执行时间、命中次数等。

Timer unit: 1e-07 s

Total time: 0.81241 s
File: slow_script_for_line_profiler.py
Function: slow_function at line 5

Line #      Hits         Time  Per Hit   % Time  Line Contents
==============================================================
     5                                           @profile
     6                                           def slow_function():
     7         1         12.0     12.0      0.0      total = 0
     8  10000001    4012589.0      0.4     49.4      for i in range(10_000_000):
     9  10000000    4111499.0      0.4     50.6          total += i
    10         1          1.0      1.0      0.0      return total

结果清晰地显示，% Time 几乎 100% 都消耗在了 for 循环和 total += i 这两行。

总结与选择

工具	优点	缺点	适用场景
cProfile	标准库自带，无需安装，宏观分析整个调用栈	文本输出不直观，只能定位到函数级别	第一步，快速找到项目中整体的性能瓶颈函数。
snakeviz	cProfile 的图形化界面，直观易懂，交互式	需要额外安装，依赖浏览器	分析 cProfile 的输出文件，宏观地、可视化地找到瓶颈。
line_profiler	能精确定位到函数内部的某一行代码的性能	需要修改代码（加装饰器），开销比 cProfile 大	当你已经用 cProfile 找到慢的函数后，用它来深入分析这个函数内部的具体问题。

Profiler

性能分析工具：Profiler的介绍和使用