欢迎来到torchtune文档¶ torchtune 是一个用于大语言模型微调的原生 PyTorch 库。 开始使用¶ 本节主题将帮助您快速上手 torchtune。 什么是 torchtune？ 一个关于torchtune的简单介绍，以及你如何在项目中使用该库。 overview.html 安装说明 分步教程：如何安装 torchtune。 install.html 微调您的第一个模型 跟随一个简单的教程，使用 torchtune 微调 Llama2。 tutorials/first_finetune_tutorial.html 教程¶ 准备好进行实验了吗？查看一些交互式的 torchtune 教程。 所有 在 torchtune 中的 Llama3 主题: 微调, llama3 在torchtune中使用LoRA进行微调 主题: 微调, llama2, LoRA 使用LoRA对Llama2进行参数高效的微调 理解 torchtune 中的 QLoRA 主题: 微调, llama2, qlora 使用 QLoRA 对基础模型权重进行量化，以最大化内存节省 使用 QAT 在 torchtune 中进行微调 主题: 微调, llama3, QAT, 量化, 评估 使用 QAT 对 Llama3 进行微调 使用 torchtune 的端到端工作流 主题: 微调, 量化, 推理, 评估, llama2 训练、评估、量化，然后生成你的大型语言模型。 将Llama3 8B蒸馏为1B 主题: 微调,Llama3,知识蒸馏 使用知识蒸馏将Llama3 8B蒸馏为1B
