torchtext.functional

to_tensor

torchtext.functional.to_tensor(input： Any， padding_value： Optional[int] = None， dtype： torch.dtype = torch.int64） → 割torch。张量

将输入转换为 torch 张量

参数

• padding_value （Optional[int]） – 填充值，使批次中的每个输入的长度等于批次中最长的序列。

• dtype （） – 输出张量

• input （Union[List[int]， List[List[int]]]） – 令牌 ID 的序列或批次

返回类型

张肌

教程使用：to_tensor

SST-2 使用 XLM-RoBERTa 模型的二进制文本分类

截断

torchtext.functional.truncate(input： Any， max_seq_len： int） → Any

截断输入序列或批处理

参数

• input （Union[List[Union[str， int]]]， List[List[Union[str， int]]]） – 输入序列或批次截断

• max_seq_len （int） – 丢弃输入的最大长度

返回

截断序列

返回类型

Union[List[Union[str， int]]， List[List[Union[str， int]]]]

add_token

torchtext.functional.add_token(input： Any， token_id： Any， begin： bool = True） → Any

将令牌添加到序列的开头或结尾

参数

• input （Union[List[Union[str， int]]]， List[List[Union[str， int]]]]]） – 输入序列或批次

• token_id （Union[str， int]） – 要添加的令牌

• begin （bool， optional） – 是在开始或结束还是序列处插入标记，默认为 True

返回

将 token_id 添加到 Begin 或 End 或 Input 的序列或批处理

返回类型

Union[List[Union[str， int]]， List[List[Union[str， int]]]]

str_to_int

torchtext.functional.str_to_int(input： Any） → Any

将字符串标记转换为整数（单个序列或批处理）。

参数

input （Union[List[str]， List[List[str]]]） – 输入序列或批次

返回

转换为整数的字符串标记序列或批次

返回类型

Union[List[int]， List[List[int]]]