torchtune.models¶

羊驼3¶

来自Llama3 系列的所有模型。

tune download meta-llama/Meta-Llama-3-8B --hf-token <ACCESS_TOKEN>

`llama3.llama3_8b`	用于创建使用默认 80 亿参数值初始化的 Llama3 模型的构建器。
`llama3.lora_llama3_8b`	用于创建启用 LoRA 的 Llama3 8B 模型的构建器。
`llama3.qlora_llama3_8b`	用于创建启用 QLoRA 的 Llama3 模型的构建器。

Llama2系列的所有模型。

预训练模型可以从 Hugging Face Hub 通过以下命令下载：

tune download meta-llama/Llama-2-7b-hf --hf-token <ACCESS_TOKEN>

`llama2.llama2_7b`	用于创建 Llama2 模型的构建器，使用来自 https://arxiv.org/abs/2307.09288 的默认 7B 参数值进行初始化
`llama2.lora_llama2_7b`	用于创建启用 LoRA 的 Llama2 7B 模型的构建器。
`llama2.qlora_llama2_7b`	用于创建启用了QLoRA的Llama2模型的构建器。
`llama2.llama2_13b`	用于创建 Llama2 模型的构建器，使用来自 https://arxiv.org/abs/2307.09288 的默认 13B 参数值进行初始化
`llama2.lora_llama2_13b`	用于创建启用 LoRA 的 Llama2 13B 模型的构建器。
`llama2.qlora_llama2_13b`	用于创建启用 LoRA 的 Llama2 13B 模型的构建器。
`llama2.llama2_70b`	用于创建初始化为默认70个参数值的Llama2模型的构建器，这些参数值来自https://arxiv.org/abs/2307.09288
`llama2.lora_llama2_70b`	用于创建启用 LoRA 的 Llama2 70B 模型的构建器。

所有来自 Mistral AI 系列的模型。

预训练模型可以从 Hugging Face Hub 通过以下命令下载：

tune download mistralai/Mistral-7B-v0.1

`mistral.mistral_7b`	用于创建 Mistral 7B 模型的构建器，使用来自 https://mistral.ai/news/announcing-mistral-7b/ 的默认 7B 参数值进行初始化
`mistral.lora_mistral_7b`	用于创建启用 LoRA 的 Mistral 7B 模型的构建器。
`mistral.qlora_mistral_7b`	用于创建启用 QLoRA 的 Mistral 模型的构建器。

Gemma 系列的所有模型。

预训练模型可以从 Hugging Face Hub 通过以下命令下载：

tune download google/gemma-2b --hf-token <ACCESS_TOKEN> --ignore-patterns ""

用于创建Gemma 2B模型的构建器，使用默认的2B参数值初始化： https://blog.google/technology/developers/gemma-open-models/