torchtext.utils

举报钩子

torchtext.utils 中。reporthook（t）

https://github.com/tqdm/tqdm。

download_from_url

torchtext.utils 中。download_from_url（url， path=None， root='.data'， overwrite=False， hash_value=无， hash_type='sha256'）

下载文件，其中包含 Google Drive 的逻辑（来自 tensor2tensor）。返回 下载文件的路径。 :p aram url：来自 URL 标头的文件的 URL。（无） :p aram path：保存文件的路径 :p aram root：用于存储文件的下载文件夹 （.data） :p aram overwrite：覆盖现有文件 （False） :p aram hash_value： url 的哈希值 （默认值： ）。 ：type hash_value： str，可选 :p aram hash_type： hash 类型，在 “sha256” 和 “md5” 之间 （默认： ）。 ：type hash_type： str，可选None"sha256"

例子

>>> url = 'http://www.quest.dcs.shef.ac.uk/wmt16_files_mmt/validation.tar.gz'
>>> torchtext.utils.download_from_url(url)
>>> url = 'http://www.quest.dcs.shef.ac.uk/wmt16_files_mmt/validation.tar.gz'
>>> torchtext.utils.download_from_url(url)
>>> '.data/validation.tar.gz'

extract_archive

torchtext.utils 中。extract_archive（from_path， to_path=无， overwrite=False）

提取存档。 :p aram from_path：存档的路径。 :p aram to_path：解压文件的根路径（from_path目录） :p aram overwrite：覆盖现有文件 （False）

结果

提取文件的路径列表，即使未覆盖。

例子

>>> url = 'http://www.quest.dcs.shef.ac.uk/wmt16_files_mmt/validation.tar.gz'
>>> from_path = './validation.tar.gz'
>>> to_path = './'
>>> torchtext.utils.download_from_url(url, from_path)
>>> torchtext.utils.extract_archive(from_path, to_path)
>>> ['.data/val.de', '.data/val.en']
>>> torchtext.utils.download_from_url(url, from_path)
>>> torchtext.utils.extract_archive(from_path, to_path)
>>> ['.data/val.de', '.data/val.en']