torchtext.functional

to_tensor

torchtext.functional 中。to_tensor（input： Any， padding_value： Optional[int] = None， dtype： dtype = torch.int64） → 张量

将输入转换为 torch 张量

参数

• padding_value （Optional[int]） – 填充值，使批次中的每个输入的长度等于批次中最长的序列。

• DTYPE (torch.dtype) –torch.dtype输出张量

• input （Union[List[int]， List[List[int]]]） – 令牌 ID 的序列或批次

返回类型：

张肌

教程使用：to_tensor

SST-2 使用 XLM-RoBERTa 模型的二进制文本分类

SST-2 使用 XLM-RoBERTa 模型的二进制文本分类

截断

torchtext.functional 中。truncate（input： Any， max_seq_len： int） → Any

截断输入序列或批处理

参数

• input （Union[List[Union[str， int]]]， List[List[Union[str， int]]]） – 输入序列或批次截断

• max_seq_len （int） – 丢弃输入的最大长度

结果

截断序列

返回类型：

Union[List[Union[str， int]]， List[List[Union[str， int]]]]

add_token

torchtext.functional 中。add_token（输入：任意，token_id：任意，开始：bool = True） → 任何

将令牌添加到序列的开头或结尾

参数

• input （Union[List[Union[str， int]]]， List[List[Union[str， int]]]]]） – 输入序列或批次

• token_id （Union[str， int]） – 要添加的令牌

• begin （bool， optional） – 是在开始或结束还是序列处插入标记，默认为 True

结果

将 token_id 添加到 Begin 或 End 或 Input 的序列或批处理

返回类型：

Union[List[Union[str， int]]， List[List[Union[str， int]]]]

str_to_int

torchtext.functional 中。str_to_int（input： Any） → Any

将字符串标记转换为整数（单个序列或批处理）。

参数

input （Union[List[str]， List[List[str]]]） – 输入序列或批次

结果

转换为整数的字符串标记序列或批次

返回类型：

Union[List[int]， List[List[int]]]