transformers

这个库是关于大模型transformers相关的教程

更新

• 2024/4/3 上传原始的教程代码，包括transformers的基础使用，简单的实战项目，高效微调实战
• 2024/4/19 更新关于accelerate 分布式训练代码
• 2024/6/16 更新了关于使用accelerate进行分布式训练的脚本模板，在模板中可以定义模型，优化器，修改数据类以及训练简单的脚本，即可实现模型的训练
• 后续待更新：
• 低精度训练
• deepseed 分布式训练
• 后续会专门再出一个关于diffusers的github仓库

目录

01-快速开始（01-getting started）
02-参数高效微调（02-PEFT）
03-分布式训练（03-distribute training）
04-AIGC分布式训练项目脚本模板（05-item demo）
05-低精度训练（05-kbit training）

个人知乎

https://www.zhihu.com/column/c_1679808023575572480

参考

https://www.bilibili.com/video/BV18N411C71F/?spm_id_from=333.788&vd_source=742ee2c1b3ed79e53ea6d6292e661363