百元成本训练LlaMA【教程全集】分布式预训练+指令微调+成果展示、数据代码全公开！
Parts
Description
从0训练你的LlaMA-like架构，仅需百元算力成本，数据代码全公开！0.02B小模型、2张3090 + deepspeed小训3天已进入说人话状态，自己的小模型有时候比微调大模型更好用，全套训练流程开源给大家学习！~这套公开课节选自《大模型原理与训练实战》课程，完整版课为付费课程，感兴趣的小伙伴按照视频里的流程扫麻回复“秒杀”咨询课程详情吧，回复“菜菜”领取课件哦~
从0训练你的LlaMA-like架构，仅需百元算力成本，数据代码全公开！0.02B小模型、2张3090 + deepspeed小训3天已进入说人话状态，自己的小模型有时候比微调大模型更好用，全套训练流程开源给大家学习！~这套公开课节选自《大模型原理与训练实战》课程，完整版课为付费课程，感兴趣的小伙伴按照视频里的流程扫麻回复“秒杀”咨询课程详情吧，回复“菜菜”领取课件哦~
Comments
[给心心][给心心][给心心]讲的好清楚
♥ 2 ↩ 1
[打call]新课上线！全网首发的《大模型原理与训练实战》！菜菜老师和九天老师时隔5年再度联手~
♥ 1 ↩ 1
[打call]全网首发哦~体系化教如何训练大模型！
♥ 1 ↩ 1
[打call][喜欢][打call][喜欢][星星眼][星星眼]
♥ 1 ↩ 1
这个源码能不能发下
百度网盘怎么下载不了数据集了啊
这么好的课程
讲的非常好啊 [doge]
[星星眼]双11狂欢盛典！！《大模型原理与训练实战》底价入手！大模型原理+NLP原理+大模型训练+大模型实战系列公开课来袭👇全套公开课视频+大纲+资料已全面上线，全新领域、完全免费、一次学到爽！ ✅【课程大纲及其他信息】🌍长按识别保存下图，茴复“秒杀”，获取完整课程大纲&抱名连接哦
Instruct 方式的数据集怎么做？有没有这样的教程？
↩ 3
model文件夹下是不是少了一个dataset的python文件？
↩ 7
视频有点糊，影响我欣赏菜菜老师的美貌了
↩ 2