模型加载问题

[447428054]

@zzy14 @t1101675 模型加载代码似乎微调模型必须有latest_checkpointed_iteration文件,此外加载的也是pt，想要微调huggingface的bin文件该怎么做呢

[t1101675]

可以使用 huggingface 版本的 checkpoint https://huggingface.co/TsinghuaAI/CPM-Generate 然后直接用 huggingface 的框架加载、微调

[t1101675]

也可以从新的下载链接下载模型 https://model.baai.ac.cn/model-detail/100017

[447428054]

可以使用 huggingface 版本的 checkpoint https://huggingface.co/TsinghuaAI/CPM-Generate 然后直接用 huggingface 的框架加载、微调

你好，请问huggingface微调的代码链接方便贴一下吗，我看CPM的tokenizer编码处理过程与一般的GPT2是不一样的

[t1101675]

higgingface 实现了 CPM 的模型和编码 https://huggingface.co/docs/transformers/model_doc/cpm 其他部分和 GPT2 微调是一样的