本文并非基于微调训练模型，而是从头开始训练出一个全新的大语言模型的硬核教程。看完本篇，你将了解训练出一个大模型的环境准备、数据准备，生成分词，模型训练、测试模型等环节分别需要做什么。AI 小白友好~文中代码可以直接实操运行。欢迎阅读体验。

　　全新训练的好处是训练的数据、训练的参数都是可修改的，通过调试运行我们可以更好的理解大模型训练过程。我们可以用特定类型数据的训练，来完成特定类型数据的输出。

　　关于大模型已经有很多文章，微调模型的文章比较多，全新预训练全新模型的文章很少。个人觉得有的也讲的很复杂，代码也很难跑通。本文不会讲的很复杂，代码也很容易运EBET易博官网行。仅用61行代码，就能训练出一个全新大语言模型。

　　首先我们要为训练准备数据，比如我就想基于《三国演义》训练一个模型。三国演义下载地址：

　　分词（tokenization）是把输入文本切分成有意义的子单元（tokens）。通过以下代码，根据我们的数据生成一个新的分词器：

　　运行显示模型输出了三国相关的文本：“吕布十二回 张翼德 张翼德时曹操 武侯计计计”

　　这内容不忍直视，如果想优化，我们也可以基于全新的模型进行微调训练；我们也可以适当地调整下训练参数，以达到较好的效果。

　　本文代码模型是基于 GPT2 的，当然你也可以基于 LLama 或者 Bert 等模型去实现全新的大语言模型。

　　代码虽然不是很多，但是如果初次尝试运行的话你也许会遇到很多问题，比如环境搭建。为了避免其他烦恼，我建议用 docker 方式运行代码:

　　你觉得大模型有哪些应用场景？欢迎在腾讯云开发者公众号评论区讨论。我们将选取1则最有意义的分享，送出腾讯云开发者 - 马克杯1个（见下图）。7月24日中午12点开奖。