torchtext.utils

举报钩子

torchtext.utils.reporthook(t）

https://github.com/tqdm/tqdm。

download_from_url

torchtext.utils.download_from_url(url， path=None， root='.data'， overwrite=False， hash_value=None， hash_type='sha256'）

下载文件，其中包含 Google Drive 的逻辑（来自 tensor2tensor）。返回 下载文件的路径。

参数

• url – 来自 URL 标头的文件的 URL。（无）

• root – 用于存储文件的下载文件夹 （.data）

• overwrite – 覆盖现有文件 （False）

• hash_value （str， optional） – url 的哈希值 （Default： ）。None

• hash_type （str， optional） – 哈希类型，在 “sha256” 和 “md5” 之间 （默认值： ）。"sha256"

例子

>>> url = 'http://www.quest.dcs.shef.ac.uk/wmt16_files_mmt/validation.tar.gz'
>>> torchtext.utils.download_from_url(url)
>>> url = 'http://www.quest.dcs.shef.ac.uk/wmt16_files_mmt/validation.tar.gz'
>>> torchtext.utils.download_from_url(url)
>>> '.data/validation.tar.gz'

unicode_csv_reader

torchtext.utils.unicode_csv_reader(unicode_csv_data，**kwargs）

由于标准 csv 库不处理 Python 2 中的 unicode，因此我们需要一个包装器。 借用并略微修改自 Python 文档：https://docs.python.org/2/library/csv.html#csv-examples

参数

unicode_csv_data – Unicode CSV 数据（请参阅下面的示例）

例子

>>> from torchtext.utils import unicode_csv_reader
>>> import io
>>> with io.open(data_path, encoding="utf8") as f:
>>>     reader = unicode_csv_reader(f)

extract_archive

torchtext.utils.extract_archive(from_path，to_path=无，覆盖=False）

提取存档。

参数

• from_path – 存档的路径。

• to_path – 提取文件的根路径（from_path目录）

• overwrite – 覆盖现有文件 （False）

返回

提取文件的路径列表，即使未覆盖。

例子

>>> url = 'http://www.quest.dcs.shef.ac.uk/wmt16_files_mmt/validation.tar.gz'
>>> from_path = './validation.tar.gz'
>>> to_path = './'
>>> torchtext.utils.download_from_url(url, from_path)
>>> torchtext.utils.extract_archive(from_path, to_path)
>>> ['.data/val.de', '.data/val.en']
>>> torchtext.utils.download_from_url(url, from_path)
>>> torchtext.utils.extract_archive(from_path, to_path)
>>> ['.data/val.de', '.data/val.en']