【中英双语】12步搞定LLM训练全流程:数据、分词、预训练、LoRA微调,大模型微调

合集 · AI大模型实战 (41)

  1. 49:01
    B站最好的CUDA系列课程04-CUDA编程前置技能精讲|C/C++底层关键点速通
  2. 24:43
    【中英双语】Kimi K3实测:2.8万亿参数开源模型,编程能力真香还是翻车? | Fahd Mirza
  3. 22:30
    【中英双语】vLLM vs 传统推理:KV缓存如何让GPU吞吐量翻倍?实测对比
  4. 8:37:21
    【中文配音】大模型+机器学习面试通关全攻略| meta高级工程师主讲
  5. 27:23
    【中英双语】10分钟掌握vLLM:从KV缓存瓶颈到生产级API服务全流程
  6. 1:39:58
    【中文配音】约翰霍普金斯CUDA并行编程:从核函数到寄存器调优
  7. 2:03:58
    【中文配音】C++校招方向-CUDA系列课程06-编写首个CUDA核函数|向量加法实战与内存模型
  8. 2:23:05
    【中文配音】B站最好的CUDA系列课程11-从零实现MNIST GPU训练|CPU→CUDA全栈移植
  9. 0:40
    【中文配音】B站最好的CUDA系列课程13-CUDA学习路径全景图|进阶方向与资源指南
  10. 13:38
    【中文配音】B站最好的CUDA系列课程12-CUDA项目调优与调试|性能分析工具实战
  11. 5:49
    【中文配音】AI infra基础设施详解
  12. 30:12
    【中英双语】6GB显存跑Qwen 3.6 35B大模型llama.cpps实战?GTX 1060速度飙到17 token/s | Codacus
  13. 16:36
    【中英双语】LTX 2.3 vs Wan 2.2:免费开源AI视频模型对决,谁才是最强? | MDMZ
  14. 16:48
    【中英双语】llama.cpp更新让本地AI速度飙升65%,MacBook Pro实测 | Codacus
  15. 46:00
    【中英双语】Ornith 35B vs Qwen 35B 本地大模型对决,16G显存实测谁更强? | Luke's Dev Lab
  16. 21:40
    【中英双语】DeepSeek V4本地部署实测:3090/4090能跑吗?什么样的显卡可以跑DeepSeek,什么样的显卡可以跑qwen
  17. 7:00:32
    【中英双语】12步搞定LLM训练全流程:数据、分词、预训练、LoRA微调,大模型微调
  18. 9:46:17
    【中英双语】ComfyUI课程:从零学习ComfyUI, 短句/漫剧如何制作?
  19. 6:21:18
    【中文配音】大模型面试必问的10个问题——从Transformer到Agent一次讲透
  20. 24:16
    【中英双语】10分钟搞懂KV Cache:预填充与解码分离,让大模型推理效率飙升10倍,GPU内存省一半
  21. 19:50:18
    【中英双语】保姆级机器学习从入门到实战:线性回归、SVM、聚类、集成学习全涵盖
  22. 1:12:01
    【中英双语】大模型面试必问:KV Cache到底是什么?从零拆解推理加速原理
  23. 2:47:23
    【中文配音】C++校招方向-CUDA系列课程08-加速矩阵乘法实战|Shared Memory优化技巧
  24. 20:57
    【中文配音】B站最好的CUDA系列课程02-GPU加速深度学习实战 | GPU高性能计算实战
  25. 16:55
    【中文配音】B站最好的CUDA系列课程01-课程导览 | GPU高性能计算实战
  26. 42:17
    【中文配音】B站最好的CUDA系列课程09-Triton入门实战|简化CUDA编程新范式
  27. 11:38:32
    【中英双语】通过5个项目学习PyTorch,学习底层AI必备PyTorch,PyTorch项目实战
  28. 13:02
    【中英双语】同一个提示词,第一次1美元第二次5美分?大模型省钱的隐藏技巧 | Adam Rosler
  29. 13:30
    【中文配音】C++校招方向-CUDA系列课程10-PyTorch CUDA扩展开发|自定义算子实战
  30. 1:45:54
    【中英双语】从零手写大模型架构,我学到了什么?
  31. 2:04
    【中英双语】学AI前必须先学机器学习?别走弯路,这才是正确入门路线 | Gaurav Sen
  32. 41:11:30
    【中英双语】卡内基-深度学习系统课全解析-CMU Deep Learning Systems 10-414/714
  33. 9:33
    【中文配音】B站最好的CUDA系列课程03-Windows/Linux双平台CUDA环境搭建|一键启用GPU开发
  34. 1:40:12
    【中文配音】C++校招方向-CUDA系列课程07-CUDA API核心接口精解|内存管理与核函数调用
  35. 15:52
    【中文配音】B站最好的CUDA系列课程05-GPU硬件架构全景解析|读懂显卡如何并行计算
  36. 26:12:14
    【中英双语】从零手写Transformer到LLaMA|原片合计145万+ 2023–2024
  37. 1:35:11
    【中英双语】AI基础设施(AI Infra)全解析:从单卡到千卡集群,GPU/vLLM/LLM-D实战 | KodeKloud
  38. 18:56
    【中英双语】Llama.cpp vs vLLM:本地大模型引擎谁更强?实测对比帮你选 | IBM Technology
  39. 24:15
    【中英双语】本地AI到底怎么跑?8B模型要16G显存?Ollama vs vLLM核心原理和工具选择 | Dots and Arrows
  40. 13:18
    【中英双语】AI编程实战:LLM还是智能体?一次讲清怎么选怎么用
  41. 38:03
    【中英双语】本地跑大模型加速:量化到底怎么选,实测省一半显存

Parts

  1. P1 · [中文] 01-关于本课程
  2. P2 · [中文] 02-引言
  3. P3 · [中文] 03-训练数据
  4. P4 · [中文] 04-分词
  5. P5 · [中文] 05-Transformer架构
  6. P6 · [中文] 06-预训练
  7. P7 · [中文] 07-微调数据集
  8. P8 · [中文] 08-指令微调
  9. P9 · [中文] 09-使用LoRA微调
  10. P10 · [中文] 10-全面扩展
  11. P11 · [中文] 11-附加内容
  12. P12 · [中文] 12-总结
  13. P13 · [英文] 01-关于本课程
  14. P14 · [英文] 02-引言
  15. P15 · [英文] 03-训练数据
  16. P16 · [英文] 04-分词
  17. P17 · [英文] 05-Transformer架构
  18. P18 · [英文] 06-预训练
  19. P19 · [英文] 07-微调数据集
  20. P20 · [英文] 08-指令微调
  21. P21 · [英文] 09-使用LoRA微调
  22. P22 · [英文] 10-全面扩展
  23. P23 · [英文] 11-附加内容
  24. P24 · [英文] 12-总结
Description
从零开始训练一个大语言模型,这个过程听起来遥远,但其实每一步都可以拆解成清晰可上手的阶段。这十二期内容围绕“亲手构建 LLM”这件事展开,不假设你已经有深厚的背景知识,而是沿着数据准备、核心架构、预训练与微调这条主线逐步深入。前三期先帮你建立整体认知,并细看训练数据的来源与清洗思路;接着用专门的一期厘清分词原理,再进入 Transformer 结构,把注意力机制、编码解码等关键组件拆开讲透。有了架构基础后,你会看到预训练阶段的实际推进方式,以及如何构建一个高质量的指令微调数据集,让模型变得更听话。为了让微调门槛进一步降低,还会介绍基于 LoRA 的参数高效方法,显著节省计算资源。之后一起讨论规模化扩展的核心思路,再通过额外内容拓宽视野,最后做系统性收束。整个过程兼顾原理讲解和实操提示,适合对语言模型感兴趣、想动手跑通训练流程的开发者或学习者,也适合希望理解 LLM 内里工作机制的技术爱好者。

Comments

名校课程-顶级中配 2026-06-12

往期精彩视频推荐: https://www.bilibili.com/video/BV1RC796WEeu https://www.bilibili.com/video/BV1JGEB6WEss https://www.bilibili.com/video/BV16PEo6rEiZ https://www.bilibili.com/video/BV1DBE96DEBF https://www.bilibili.com/video/BV1XzEg6wEVv https://www.bilibili.com/video/BV133Et65E1Z https://www.bilibili.com/video/BV12eEw6YEqu https://www.bilibili.com/video/BV1N2Vr6FERw https://www.bilibili.com/video/BV16u5F6TE8H https://www.bilibili.com/video/BV1B9V56zEVx

♥ 1