TorchServe 是一种高性能、灵活且易于使用的工具，用于在生产环境中为 PyTorch 模型提供服务。
PyTorch on XLA DevicesPyTorch 在具有 torch_xla 软件包的 XLA 设备（如 TPU）上运行。本文档介绍如何在这些设备上运行模型。
TensorDicttensordict 是一个类似字典的类，它简化了对批量张量的操作，通过抽象定制的操作来增强代码的可读性、紧凑性和模块化，并通过叶子上的自动操作调度来减少错误。
TorchXTorchX 是 PyTorch 应用程序的通用作业启动器。 TorchX 旨在为培训/研究和支持提供快速迭代时间 用于 E2E 生产 ML 管道。
ExecuTorchExecuTorch 是一个 PyTorch 平台，它提供基础设施，可在从 AR/VR 可穿戴设备到标准设备上的 iOS 和 Android 移动部署等任何地方运行 PyTorch 程序。
Torchaudio 是一个使用 PyTorch 进行音频和信号处理的库。它提供 I/O、信号和数据处理功能、数据集、模型实现和应用程序组件。
TorchTune一个 PyTorch 原生库，专为微调大型语言模型 （LLM） 而设计。Torchtune 支持完整的微调工作流，并提供与流行的生产推理系统的兼容性。
TorchText此库是 PyTorch 项目的一部分。PyTorch 是一个开源机器学习框架。torchtext 包由数据处理实用程序和自然语言的常用数据集组成。
TorchVision此库是 PyTorch 项目的一部分。PyTorch 是一个开源机器学习框架。torchvision 软件包由常用的数据集、模型架构和计算机视觉的常见图像转换组成。
TorchArrowTorchArrow 是一个Torch 张量的 Python DataFrame 库，用于深度学习中的数据预处理。它支持多个执行运行时和 Arrow 作为通用格式。
TorchData一个包含常见模块化数据加载基元的 Beta 库，用于轻松构建灵活且高性能的数据管道。而且，还有一些功能仍处于原型阶段。
TorchRecTorchRec是一个PyTorch域库，旨在提供大规模推荐系统（RecSys）所需的常见稀疏性和并行性基元。它允许作者使用跨多个 GPU 分片的大型嵌入表来训练模型。
TorchRLtorchrl 是一个开源的、Python 优先的 PyTorch 强化学习库，专注于高模块化和良好的运行时性能，为成本函数、返回和数据处理提供低级和高级 RL 抽象和可重用函数。
TorchServe 使用 RESTful API 进行推理和管理调用。API 符合 OpenAPI 规范 3.0。 您可以使用 swagger codegen 轻松生成 Java、Scala、C# 或 Javascript 的客户端代码。
当 TorchServe 启动时，它会启动两个 Web 服务：
默认情况下，TorchServe 在推理 API 的端口 8080 和管理 API 的端口 8081 上侦听。 默认情况下，这两个 API 都只能从 localhost 访问。要启用来自远程主机的访问，请参阅 TorchServe 配置。