torchtext.functional¶ to_tensor¶ torchtext.functional.to_tensor(input: Any, padding_value: Optional[int] = None, dtype: torch.dtype = torch.int64) → 割torch。张量[来源]¶ 将输入转换为 torch 张量 参数 padding_value (Optional[int]) – 填充值,使批次中的每个输入的长度等于批次中最长的序列。 dtype () – 输出张量torch.dtypetorch.dtype input (Union[List[int], List[List[int]]]) – 令牌 ID 的序列或批次 返回类型 张肌 教程使用:to_tensor SST-2 使用 XLM-RoBERTa 模型的二进制文本分类¶ 截断¶ torchtext.functional.truncate(input: Any, max_seq_len: int) → Any[来源]¶ 截断输入序列或批处理 参数 input (Union[List[Union[str, int]]], List[List[Union[str, int]]]) – 输入序列或批次截断 max_seq_len (int) – 丢弃输入的最大长度 返回 截断序列 返回类型 Union[List[Union[str, int]], List[List[Union[str, int]]]] add_token¶ torchtext.functional.add_token(input: Any, token_id: Any, begin: bool = True) → Any[来源]¶ 将令牌添加到序列的开头或结尾 参数 input (Union[List[Union[str, int]]], List[List[Union[str, int]]]]]) – 输入序列或批次 token_id (Union[str, int]) – 要添加的令牌 begin (bool, optional) – 是在开始或结束还是序列处插入标记,默认为 True 返回 将 token_id 添加到 Begin 或 End 或 Input 的序列或批处理 返回类型 Union[List[Union[str, int]], List[List[Union[str, int]]]]