注意力
2024年6月更新:移除DataPipes和DataLoader V2
我们正在重新聚焦torchdata仓库,使其成为torch.utils.data.DataLoader的迭代增强。我们不计划继续开发或维护[DataPipes]和[DataLoaderV2]解决方案,并且它们将从torchdata仓库中移除。我们还将重新审视pytorch/pytorch中的DataPipes引用。在torchdata==0.8.0版本(2024年7月)中,它们将被标记为已弃用,并在0.9.0版本(2024年10月)中删除。现有用户建议固定到torchdata==0.8.0或更早版本,直到他们能够迁移为止。后续版本将不再包含DataPipes或DataLoaderV2。如果您有任何建议或评论,请使用此问题反馈。
实用函数¶
数据管道图可视化¶
通过返回一个 |
常用公用函数¶
调用各种obj清理程序,例如:- 关闭流 |
|
用于将数据移动到已绑定内存的实用函数。 |
文件对象和流实用工具¶
流封装器被引入,用于包裹由DataPipe操作生成的文件处理器,例如FileOpener。 |
DataLoader¶
有关 DataLoader 的文档,请参阅
torch.utils.data 文档。或者,更具体地说,是
DataLoader API 部分。
DataLoader v2 正在开发中。有关更多信息,请参阅 DataLoader2。
采样器¶
有关 Sampler 的文档,请参阅
torch.utils.data
数据加载顺序的文档。
Sampler API 部分在此处 这里。