欢迎来到torchtune文档

torchtune 是一个用于大语言模型微调的原生 PyTorch 库。

开始使用

本节主题将帮助您快速上手 torchtune。

什么是 torchtune？

一个关于torchtune的简单介绍，以及你如何在项目中使用该库。

overview.html

安装说明

分步教程：如何安装 torchtune。

install.html

微调您的第一个模型

跟随一个简单的教程，使用 torchtune 微调 Llama2。

tutorials/first_finetune_tutorial.html

教程

准备好进行实验了吗？查看一些交互式的 torchtune 教程。

---

在 torchtune 中的 Llama3

主题: 微调, llama3

在torchtune中使用LoRA进行微调

主题: 微调, llama2, LoRA

使用LoRA对Llama2进行参数高效的微调

理解 torchtune 中的 QLoRA

主题: 微调, llama2, qlora

使用 QLoRA 对基础模型权重进行量化，以最大化内存节省

使用 torchtune 的端到端工作流

主题: 微调, 量化, 推理, 评估, llama2

训练、评估、量化，然后生成你的大型语言模型。