torchtext.utils

报告挂钩

torchtext.utils.reporthook(t)

https://github.com/tqdm/tqdm.

download_from_url

torchtext.utils.download_from_url(url, path=None, root='.data', overwrite=False, hash_value=None, hash_type='sha256')

下载文件（包含来自 tensor2tensor 的 Google Drive 逻辑）。返回下载文件的路径。

Parameters

• url – 文件的 URL （来自 URL 标头）。(None)

• 路径 – 文件将被保存的位置

• 根目录 – 用于存储文件的下载文件夹 (.data)

• 覆盖 – 覆盖现有文件（False）

• hash_value (str, 可选) – url 的哈希值 (默认: None)。

• hash_type (str, optional) – 散列类型，包括“sha256”和“md5”（默认："sha256"）。

示例

>>> url = 'http://www.quest.dcs.shef.ac.uk/wmt16_files_mmt/validation.tar.gz'
>>> torchtext.utils.download_from_url(url)
>>> url = 'http://www.quest.dcs.shef.ac.uk/wmt16_files_mmt/validation.tar.gz'
>>> torchtext.utils.download_from_url(url)
>>> '.data/validation.tar.gz'

unicode_csv_reader

torchtext.utils.unicode_csv_reader(unicode_csv_data, **kwargs)

由于标准的csv库在Python 2中不处理unicode，我们需要一个包装器。 借鉴并稍作修改自Python文档： https://docs.python.org/2/library/csv.html#csv-examples

Parameters

unicode_csv_data – Unicode CSV 数据（参见下面的示例）

示例

>>> from torchtext.utils import unicode_csv_reader
>>> import io
>>> with io.open(data_path, encoding="utf8") as f:
>>>     reader = unicode_csv_reader(f)

extract_archive

torchtext.utils.extract_archive(from_path, to_path=None, overwrite=False)

解压档案。

Parameters

• from_path – 存档的路径。

• to_path – 提取文件的根路径（from_path 的目录）

• 覆盖 – 覆盖现有文件（False）

Returns

已提取文件的路径列表，即使未被覆盖。

示例

>>> url = 'http://www.quest.dcs.shef.ac.uk/wmt16_files_mmt/validation.tar.gz'
>>> from_path = './validation.tar.gz'
>>> to_path = './'
>>> torchtext.utils.download_from_url(url, from_path)
>>> torchtext.utils.extract_archive(from_path, to_path)
>>> ['.data/val.de', '.data/val.en']
>>> torchtext.utils.download_from_url(url, from_path)
>>> torchtext.utils.extract_archive(from_path, to_path)
>>> ['.data/val.de', '.data/val.en']