这个库是关于大模型transformers相关的教程
- 2024/4/3 上传原始的教程代码,包括transformers的基础使用,简单的实战项目,高效微调实战
- 2024/4/19 更新关于accelerate 分布式训练代码
- 2024/6/16 更新了关于使用accelerate进行分布式训练的脚本模板,在模板中可以定义模型,优化器,修改数据类以及训练简单的脚本,即可实现模型的训练
- 后续待更新:
- 低精度训练
- deepseed 分布式训练
- 后续会专门再出一个关于diffusers的github仓库
01-快速开始(01-getting started)
02-参数高效微调(02-PEFT)
03-分布式训练(03-distribute training)
04-AIGC分布式训练项目脚本模板(05-item demo)
05-低精度训练(05-kbit training)