【全网独家】手动复现DeepSeek v3！从零训练Mini DeepSeek v3！模型预训练+全量指令微调+DPO强化学习微调全流程实战
合集 · DeepSeek干货实战教程 (17)
-
DeepSeek v3本地部署与调用实战｜vLLM、SGLang、LMDeploy+DeepSeek v3部署调用实战
33:40
-
DeepSeek-v3调用指南与Function calling技术实战｜DeepSeek v3模型参数详解与Tool Use功能实战
1:37:25
-
手动复现DeepSeek v3！从零训练Mini DeepSeek v3！模型预训练+全量指令微调+DPO强化学习微调全流程实战
2:00:14
-
DeepSeek v3搭建Multi-Agent技术入门实战｜DeepSeek v3+OpenAI Swarm技术实战
1:00:04
-
DeepSeek v3+GraphRAG技术实战｜DeepSeek v3知识图谱检索增强技术实战
44:01
-
DeepSeek R1本地部署与调用指南｜transformer、Ollama、vLLM、LMDeploy、SGLang部署与调用R1与蒸馏模型组
54:58
-
DeepSeek R1 API调用实战！DeepSeek R1模型参数详解与模型功能介绍｜自动编程、自动机器学习项目入门实战
23:52
-
借助DeepSeek R1进行模型蒸馏，模型蒸馏入门实战！从零训练DeepSeek R1 Distill模型｜模型蒸馏技术实战
1:19:22
-
DeepSeek R1搭建本地知识库问答系统｜DeepSeek+Ollama+RAG本地知识库问答实战｜AnythingLLM快速部署与应用实战
47:16
-
DeepSeek Janus Pro重磅开源！文生图+图像识别，统一多模态大模型奠基之作！超越DALL-E 3、SD3 Medium
25:10
-
DeepSeek Janus Pro本地部署与调用实战！图像识别+文生图统一多模态大模型本地部署与调用流程详解！
34:13
-
【全网独家】训练定制化DeepSeek R1！零基础DeepSeek R1高效微调实战｜知识灌注+对话风格微调，推理模型+Cot数据集微调实战！
1:51:26
-
【全网最强】DeepSeek R1论文逐段精读与训练流程代码复现｜R1强化学习训练流程详解、模型蒸馏方法介绍｜GRPO原理介绍与代码复现
2:42:26
-
联网+本地知识问答+外部工具调用+代码解释器+多用户并发+多模型切换，DeepSeek+Open-WebUI终极部署指南！
1:49:52
-
最低0显存，独家Unsloth动态量化部署满血DeepSeek｜纯CPU推理、CPU+GPU混合推理、纯GPU推理方案详解｜企业级最佳部署方案
1:43:00
-
【全网独家】训练定制化DeepSeek R1！零基础DeepSeek R1高效微调实战｜知识灌注+对话风格微调，推理模型+Cot数据集微调实战！
1:50:46
-
独家KTransformers技术实战，手把手跑通4090运行DeepSeek满血版，独家FastAPI脚本编写&Open-WebUI结合方案深度讲解
1:53:14
Parts
- P1 · 1.从零训练Mini DeepSeek v3
- P2 · 2.DeepSeek v3模型基本情况介绍
- P3 · 3.DeepSeek v3模型GitHub开源情况详解
- P4 · 4.DeepSeek v3技术报告快速解读
- P5 · 5.训练环境部署与分词器训练过程
- P6 · 6.MiniDeepSeek v3架构设计
- P7 · 7.Mini DeepSeek v3预训练过程
- P8 · 8.Mini DeepSeek v3全量指令微调流程
- P9 · 9.指令微调后模型对话性能测试
- P10 · 10.DPO强化学习微调与对话效果测试
- P11 · 11.搭建Web前端执行Mini DeepSeek
Description
全网独家！手动复现DeepSeek v3架构，从零训练Mini DeepSeek v3教程来啦！分词器训练+预训练+全量指令微调+DPO强化学习微调全流程实战！提供全套训练代码+数据+模型权重！ ✅置顶评论扫码加入【赋范大模型技术社区】，领【本视频完整课件】，以及更多【海量硬核独家技术干货】内容+无门槛技术交流，期待你的加入！
Comments
令人信任的发量
♥ 59 ↩ 1
老师您好，请问在P2中您提到的“400多个G的显存运行1天差不多是2000块钱”，这个开销是指电费吗
♥ 6 ↩ 2
老师这语速，一按播放键，根本停不下来。太上头了！
♥ 5
这周末有的看了，需要充电！
♥ 5 ↩ 1
半精度 8 张 H20 800g 显存根本跑不动[doge]
♥ 4 ↩ 6
666已三连，求课件
♥ 4 ↩ 1
[给心心]下图扫码加入【赋范大模型技术社区】，领取全套《Deepseek v3技术实战教程》，社区更有海量硬核独家技术干货内容+无门槛技术交流，期待你的加入[星星眼] ✅高质量公开课：30+套团队自研大模型学习课程； ✅新知速递：大模型重大技术突破&最新技术信息通报； ✅干货分享：每月2-3场硬核干货&前沿技术公开课； ✅独家团队自研高品质技术教程&追更最新技术内容； 感兴趣的小伙伴抓紧时间扫码入群吧～
♥ 2 ↩ 5
deep seek V3 强化微调是让GRPO 不是DPO。
♥ 1
前面产生了pretrain_data.bin，在哪里使用呢？
♥ 1 ↩ 3
关于数据类型，精度的概念老师没有讲得很对，精度不单单是小数位这么简单
♥ 1 ↩ 1
求资料
♥ 1 ↩ 1
课件和网盘根本找不到啊
♥ 1 ↩ 4
前排，先三连再观看
♥ 1 ↩ 1
是GRPO 不是DPO
请问预训练为什么需要加bos？感觉直接eos做样本间的分割就可以吧。另外如果直接将一维数据reshape，对于长度短的序列可能有跨样本的注意力，对于长度长的序列可能会丢失上下文，这些如何通过数据构造来避免呢？
代码能力实战起来还是不如claude[笑哭]
你好，我想问一下这个网盘资源我们是否能免费获取？
↩ 2
助教不回复啊[笑哭]，有没有朋友拿到的可以分享一下吗[星星眼]
请问671B微调需要多大算力
求资料，已加助教，但是没有发公开课的课件[吃瓜]