ExecuTorch 概述¶
ExecuTorch 是一种用于实现设备端推理的端到端解决方案 跨移动和边缘设备(包括可穿戴设备、嵌入式设备)的功能 设备和微控制器。它是 PyTorch Edge 生态系统的一部分,并且 支持将 PyTorch 模型高效部署到边缘设备。
ExecuTorch 的关键价值主张是:
可移植性:与各种计算平台兼容, 从高端移动电话到高度受限的嵌入式系统,以及 微控制器。
生产力:使开发人员能够使用相同的工具链和 Developer 从 PyTorch 模型创作和转换到调试和部署的工具 到各种平台。
性能:为最终用户提供无缝的高性能 由于轻量级运行时和利用完整硬件而获得的体验 CPU、NPU 和 DSP 等功能。
为什么选择 ExecuTorch?¶
支持设备端 AI 会带来不同的硬件挑战, 关键电源要求、低/无 Internet 连接和实时 处理需求。这些限制在历史上阻碍或减缓了 创建可扩展且高性能的设备端 AI 解决方案。我们设计了 ExecuTorch 得到了 Meta、Arm、Apple 和 Qualcomm 等行业合作伙伴的支持, 高度可移植,提供卓越的开发人员生产力而不会丢失 在性能上。
ExecuTorch 与 PyTorch Mobile (Lite Interpreter) 有何不同?¶
PyTorch Mobile 使用 TorchScript 来 允许 PyTorch 模型在资源有限的设备上运行。ExecuTorch 有一个 显著减小内存大小和动态内存占用,从而 与 PyTorch Mobile 相比,性能卓越且可移植性更高。此外,ExecuTorch 不依赖 TorchScript,而是利用 PyTorch 2 编译器和导出 用于在设备上执行 PyTorch 模型的功能。
阅读有关 ExecuTorch 的更多深入技术概述主题: