torchtext.functional¶ to_tensor¶ torchtext.functional 中。to_tensor（input： Any， padding_value： Optional[int] = None， dtype： dtype = torch.int64） → 张量[来源]¶ 将输入转换为 torch 张量 参数 padding_value （Optional[int]） – 填充值，使批次中的每个输入的长度等于批次中最长的序列。 dtype （） – 输出张量 input （Union[List[int]， List[List[int]]]） – 令牌 ID 的序列或批次 返回类型： 张肌 教程使用：to_tensor SST-2 使用 XLM-RoBERTa 模型的二进制文本分类 SST-2 使用 XLM-RoBERTa 模型的二进制文本分类 截断¶ torchtext.functional 中。truncate（input： Any， max_seq_len： int） → Any[来源]¶ 截断输入序列或批处理 参数 input （Union[List[Union[str， int]]]， List[List[Union[str， int]]]） – 输入序列或批次截断 max_seq_len （int） – 丢弃输入的最大长度 结果 截断序列 返回类型： Union[List[Union[str， int]]， List[List[Union[str， int]]]] add_token¶ torchtext.functional 中。add_token（输入：任意，token_id：任意，开始：bool = True） → 任何[来源]¶ 将令牌添加到序列的开头或结尾 参数 input （Union[List[Union[str， int]]]， List[List[Union[str， int]]]]]） – 输入序列或批次 token_id （Union[str， int]） – 要添加的令牌 begin （bool， optional） – 是在开始或结束还是序列处插入标记，默认为 True 结果 将 token_id 添加到 Begin 或 End 或 Input 的序列或批处理 返回类型： Union[List[Union[str， int]]， List[List[Union[str， int]]]] str_to_int¶ torchtext.functional 中。str_to_int（input： Any） → Any[来源]¶ 将字符串标记转换为整数（单个序列或批处理）。 参数 input （Union[List[str]， List[List[str]]]） – 输入序列或批次 结果 转换为整数的字符串标记序列或批次 返回类型： Union[List[int]， List[List[int]]]
