百元成本训练LlaMA【教程全集】分布式预训练+指令微调+成果展示、数据代码全公开！

菜菜TsaiTsai

Parts

  1. P1 · 01 环境准备与算力准备
  2. P2 · 【正课】大模型训练课！完整课程介绍！
  3. P3 · 02 预训练微调数据集准备
  4. P4 · 03 训练定制化Tokenizer_new
  5. P5 · 04 预训练数据预处理
  6. P6 · 05 LlaMA模型预训练全流程
  7. P7 · 06 指令微调 + 结果展示
Description 
从0训练你的LlaMA-like架构，仅需百元算力成本，数据代码全公开！0.02B小模型、2张3090 + deepspeed小训3天已进入说人话状态，自己的小模型有时候比微调大模型更好用，全套训练流程开源给大家学习！~这套公开课节选自《大模型原理与训练实战》课程，完整版课为付费课程，感兴趣的小伙伴按照视频里的流程扫麻回复“秒杀”咨询课程详情吧，回复“菜菜”领取课件哦~