注意力
2024 年 6 月状态更新:删除 DataPipes 和 DataLoader V2
我们将 torchdata 存储库重新调整为torch.utils.data.DataLoader的迭代增强。我们不打算 继续开发或维护 [DataPipes] 和 [DataLoaderV2] 解决方案,它们将从 torchdata 存储库。我们还将重新访问 pytorch/pytorch 中的 DataPipes 引用。在 torchdata==0.8.0(2024 年 7 月)版本中,它们将被标记为已弃用,而在 0.10.0(2024 年末)中,它们将被删除。现存 建议用户固定到 torchdata<=0.9.0 或更早版本,直到他们能够迁移出去。随后的 版本将不包含 DataPipes 或 DataLoaderV2。 如果您有建议或评论,请联系我们(请使用此问题进行反馈)
TorchData¶
此库是 PyTorch 项目的一部分。PyTorch 是一个开源 机器学习框架。
torchdata
是一个常见的模块化数据加载原语的 Beta 库,用于
轻松构建灵活且高性能的数据管道。而且,还有
一些功能仍处于原型阶段。
本文档中描述的功能按版本状态分类:
稳定:这些功能将长期维护,通常应该有 在文档中没有重大的性能限制或差距。 我们还希望保持向后兼容性(尽管 可能会发生重大更改,并且将提前一个版本发出通知 的时间)。
试用版:功能被标记为 Beta 版,因为 API 可能会根据 用户反馈,因为性能需要改进,或者因为 跨 Operators 的覆盖范围尚未完成。对于 Beta 版功能,我们是 致力于将该功能一直持续到 Stable 分类。 但是,我们并不承诺向后兼容。
原型:这些功能通常不作为 PyPI 或 Conda 等二进制发行版,但有时落后于运行时 标志,并且处于反馈和测试的早期阶段。