AI基础课02：28分钟给你讲清楚ChatGPT是怎么被训练出来的

合集 · ChatGPT从0到1 (26)

Description
28分钟给你讲清楚ChatGPT训练的四大阶段：
阶段一：预训练（Pretraining），这是大型语言模型（LLM）训练的最主要阶段，大概会占用模型95%以上的训练时间，花费数百万美元。该阶段模型会有上千亿的从网络爬取的语料（低质量，高数量）进行训练，模型训练的目标是预测下一个单词，训练完成后会得到一个基础模型（Base model），像GPT-3,LLaMA,PaLM都是这样的基础模型。
阶段二：监督微调（Supervised Finetuning），这个过程会使用专门的由人类外包商生成的结构化的包含提示词和理想结果的语料（高质量，低数量）进行训练，通常只需要几天的时间，这个阶段模型训练的目标依然是预测下一个单词，完成后会得到一个监督微调模型（SFT Model），除ChatGPT和Claude外，大多数和用户对话的模型都是这种类型的模型，如Vicuna-13B。
阶段三：奖励建模（Reward Modeling），在上一个阶段训练得到的监督微调模型已经可以生成输出了，到了这个阶段，会由人类外包商对SFT model在同一个prompt下生成的结果进行评价比较，在这个阶段，模型训练的目标是预测一个回答可能得到的人类评分，这是个用于训练的过程模型，不是给用户使用的，通常会花费几天的训练时间。
阶段四：强化学习（Reinforcement Learning），在这个阶段，训练的语料是人类外包商提供的提示词（prompt），而模型训练的目标是根据这些提示词生成内容，目标是获得最大化的Reward Model提供的奖励，通常也是花费几天的训练时间就能完成，最终得到的强化学习模型（RL Model），像ChatGPT和Claude就是这样的模型。