torchtune.models¶

美洲驼3¶

所有型号均来自 Llama3 系列。

tune download meta-llama/Meta-Llama-3-8B --hf-token <ACCESS_TOKEN>

`llama3.llama3_8b`	用于创建使用默认 8b 参数值初始化的 Llama3 模型的构建器。
`llama3.lora_llama3_8b`	用于创建启用了 LoRA 的 Llama3 8B 模型的生成器。
`llama3.qlora_llama3_8b`	用于创建启用了 QLoRA 的 Llama3 模型的生成器。

所有型号均来自 Llama2 系列。

可以使用以下命令从 Hugging Face Hub 下载预训练模型：

tune download meta-llama/Llama-2-7b-hf --hf-token <ACCESS_TOKEN>

`llama2.llama2_7b`	用于创建 Llama2 模型的构建器，该模型使用 https://arxiv.org/abs/2307.09288 中的默认 7b 参数值进行初始化
`llama2.lora_llama2_7b`	用于创建启用了 LoRA 的 Llama2 7B 模型的生成器。
`llama2.qlora_llama2_7b`	用于创建启用了 QLoRA 的 Llama2 模型的构建器。
`llama2.llama2_13b`	用于创建 Llama2 模型的构建器，该模型使用 https://arxiv.org/abs/2307.09288 中的默认 13b 参数值进行初始化
`llama2.lora_llama2_13b`	用于创建启用了 LoRA 的 Llama2 13B 模型的构建器。
`llama2.qlora_llama2_13b`	用于创建启用了 LoRA 的 Llama2 13B 模型的构建器。
`llama2.llama2_70b`	用于创建 Llama2 模型的构建器，该模型使用 https://arxiv.org/abs/2307.09288 中的默认 70 个参数值进行初始化
`llama2.lora_llama2_70b`	用于创建启用了 LoRA 的 Llama2 70B 模型的生成器。

所有型号均来自 Mistral AI 系列。

可以使用以下命令从 Hugging Face Hub 下载预训练模型：

tune download mistralai/Mistral-7B-v0.1

`mistral.mistral_7b`	用于创建使用 https://mistral.ai/news/announcing-mistral-7b/ 中的默认 7b 参数值初始化的 Mistral 7B 模型的生成器
`mistral.lora_mistral_7b`	用于创建启用了 LoRA 的 Mistral 7B 模型的生成器。
`mistral.qlora_mistral_7b`	用于创建启用了 QLoRA 的 Mistral 模型的构建器。

所有型号均来自 Gemma 系列。

可以使用以下命令从 Hugging Face Hub 下载预训练模型：

tune download google/gemma-2b --hf-token <ACCESS_TOKEN> --ignore-patterns ""

用于创建 Gemma 2B 模型的构建器，该模型使用默认 2b 参数值初始化，来自：https://blog.google/technology/developers/gemma-open-models/