TorchDynamo 概述¶
TorchDynamo 是一个 Python 级别的 JIT 编译器，旨在使 PyTorch 编程速度更快。TorchDynamo 挂接到帧评估 API 中 在 CPython （PEP 523） 中更改为 在执行 Python 字节码之前动态修改 Python 字节码。它 重写 Python 字节码以提取 PyTorch 序列 作转换为 FX Graph，然后使用可自定义的后端进行即时编译。 它通过字节码分析创建此 FX Graph，旨在 将 Python 执行与编译后端混合使用，以充分利用两者 worlds — 可用性和性能。
TorchDynamo 使尝试不同的编译器变得容易
backends 使 PyTorch 代码更快，使用单行装饰器为方便起见，该装饰器由torch._dynamo.optimize()torch.compile()
TorchInductor 是后端之一 由 TorchDynamo Graph 支持用于 GPU 的 Triton 或用于 CPU 的 C++/OpenMP。我们有一个训练性能仪表板，可以为不同的训练后端提供性能比较。您可以阅读 更多内容，请参阅 PyTorch 上的 TorchInductor 博文 dev-discuss 的