torchtext.models

罗伯塔捆绑

类 torchtext.models 中。RobertaBundle（_params： torchtext.models.RobertaEncoderParams， _path： Optional[str] = None， _head： 可选[torch.nn.Module] = 无，转换： 可选[可调用] = 没有）

示例 - 预训练的基础 xlmr 编码器

>>> import torch, torchtext
>>> from torchtext.functional import to_tensor
>>> xlmr_base = torchtext.models.XLMR_BASE_ENCODER
>>> model = xlmr_base.get_model()
>>> transform = xlmr_base.transform()
>>> input_batch = ["Hello world", "How are you!"]
>>> model_input = to_tensor(transform(input_batch), padding_value=1)
>>> output = model(model_input)
>>> output.shape
torch.Size([2, 6, 768])

示例 - 连接到未初始化的分类头的预训练大型 xlmr 编码器

>>> import torch, torchtext
>>> from torchtext.models import RobertaClassificationHead
>>> from torchtext.functional import to_tensor
>>> xlmr_large = torchtext.models.XLMR_LARGE_ENCODER
>>> classifier_head = torchtext.models.RobertaClassificationHead(num_classes=2, input_dim = 1024)
>>> model = xlmr_large.get_model(head=classifier_head)
>>> transform = xlmr_large.transform()
>>> input_batch = ["Hello world", "How are you!"]
>>> model_input = to_tensor(transform(input_batch), padding_value=1)
>>> output = model(model_input)
>>> output.shape
torch.Size([1, 2])

示例 - 用户指定的配置和检查点

>>> from torchtext.models import RobertaEncoderConf, RobertaBundle, RobertaClassificationHead
>>> model_weights_path = "https://download.pytorch.org/models/text/xlmr.base.encoder.pt"
>>> encoder_conf = RobertaEncoderConf(vocab_size=250002)
>>> classifier_head = RobertaClassificationHead(num_classes=2, input_dim=768)
>>> model = RobertaBundle.build_model(encoder_conf=encoder_conf, head=classifier_head, checkpoint=model_weights_path)

get_model（head： 可选[torch.nn.Module] = 无， load_weights： bool = True， freeze_encoder： bool = False， *， dl_kwargs=None） → torchtext.models.RobertaModel

参数

• 头 （nn.Module） – 要附加到编码器以执行特定任务的模块。如果提供，它将替换默认的 member head（默认的：None)

• load_weights （bool） – 指示是否加载权重（如果可用）。（默认：True)

• freeze_encoder （bool） – 指示是否冻结编码器权重。（默认：False)

• dl_kwargs （关键字参数字典） – 传递给torch.hub.load_state_dict_from_url().（默认：None)

XLMR_BASE_ENCODER

torchtext.models 中。XLMR_BASE_ENCODER

带基本配置的 XLM-R 编码器

XLM-RoBERTa 模型是在 Unsupervised Cross-lingual Representation Learning 中提出的 在 Scale <https://arxiv.org/abs/1911.02116>。它是一个大型多语言语言模型， 在 2.5TB 的过滤 CommonCrawl 数据上进行训练，并基于 RoBERTa 模型架构。

最初由 XLM-RoBERTa 的作者在 MIT 许可下发布 并使用相同的许可证重新分发。 [许可证、来源]

请参考torchtext.models.RobertaBundle()对于用途。

XLMR_LARGE_ENCODER

torchtext.models 中。XLMR_LARGE_ENCODER

大型配置 XLM-R 编码器

XLM-RoBERTa 模型是在 Unsupervised Cross-lingual Representation Learning 中提出的 在 Scale <https://arxiv.org/abs/1911.02116>。它是一个大型多语言语言模型， 在 2.5TB 的过滤 CommonCrawl 数据上进行训练，并基于 RoBERTa 模型架构。

最初由 XLM-RoBERTa 的作者在 MIT 许可下发布 并使用相同的许可证重新分发。 [许可证、来源]

请参考torchtext.models.RobertaBundle()对于用途。

ROBERTA_BASE_ENCODER

torchtext.models 中。ROBERTA_BASE_ENCODER

具有 Base 配置的 Roberta Encoder

RoBERTa 迭代了 BERT 的预训练程序，包括更长时间地训练模型， 更大的批次而不是更多的数据;删除 next sentence prediction 目标; 在较长序列上进行训练;并动态更改应用的遮罩图案 添加到训练数据中。

RoBERTa 模型在五个数据集的重新组合上进行了预训练：BookCorpus、 英文维基百科、CC-News、OpenWebText 和 STORIES。将这些数据集放在一起 包含超过 160GB 的文本。

最初由 RoBERTa 的作者在 MIT 许可下发布 并使用相同的许可证重新分发。 [许可证、来源]

请参考torchtext.models.RobertaBundle()对于用途。

ROBERTA_LARGE_ENCODER

torchtext.models 中。ROBERTA_LARGE_ENCODER

具有大型配置的 Roberta 编码器

RoBERTa 迭代了 BERT 的预训练程序，包括更长时间地训练模型， 更大的批次而不是更多的数据;删除 next sentence prediction 目标; 在较长序列上进行训练;并动态更改应用的遮罩图案 添加到训练数据中。

RoBERTa 模型在五个数据集的重新组合上进行了预训练：BookCorpus、 英文维基百科、CC-News、OpenWebText 和 STORIES。将这些数据集放在一起 包含超过 160GB 的文本。

最初由 RoBERTa 的作者在 MIT 许可下发布 并使用相同的许可证重新分发。 [许可证、来源]

请参考torchtext.models.RobertaBundle()对于用途。