【中英双语】12步搞定LLM训练全流程:数据、分词、预训练、LoRA微调,大模型微调
合集 · AI大模型实战 (41)
-
B站最好的CUDA系列课程04-CUDA编程前置技能精讲|C/C++底层关键点速通
49:01
-
【中英双语】Kimi K3实测:2.8万亿参数开源模型,编程能力真香还是翻车? | Fahd Mirza
24:43
-
【中英双语】vLLM vs 传统推理:KV缓存如何让GPU吞吐量翻倍?实测对比
22:30
-
【中文配音】大模型+机器学习面试通关全攻略| meta高级工程师主讲
8:37:21
-
【中英双语】10分钟掌握vLLM:从KV缓存瓶颈到生产级API服务全流程
27:23
-
【中文配音】约翰霍普金斯CUDA并行编程:从核函数到寄存器调优
1:39:58
-
【中文配音】C++校招方向-CUDA系列课程06-编写首个CUDA核函数|向量加法实战与内存模型
2:03:58
-
【中文配音】B站最好的CUDA系列课程11-从零实现MNIST GPU训练|CPU→CUDA全栈移植
2:23:05
-
【中文配音】B站最好的CUDA系列课程13-CUDA学习路径全景图|进阶方向与资源指南
0:40
-
【中文配音】B站最好的CUDA系列课程12-CUDA项目调优与调试|性能分析工具实战
13:38
-
【中文配音】AI infra基础设施详解
5:49
-
【中英双语】6GB显存跑Qwen 3.6 35B大模型llama.cpps实战?GTX 1060速度飙到17 token/s | Codacus
30:12
-
【中英双语】LTX 2.3 vs Wan 2.2:免费开源AI视频模型对决,谁才是最强? | MDMZ
16:36
-
【中英双语】llama.cpp更新让本地AI速度飙升65%,MacBook Pro实测 | Codacus
16:48
-
【中英双语】Ornith 35B vs Qwen 35B 本地大模型对决,16G显存实测谁更强? | Luke's Dev Lab
46:00
-
【中英双语】DeepSeek V4本地部署实测:3090/4090能跑吗?什么样的显卡可以跑DeepSeek,什么样的显卡可以跑qwen
21:40
-
【中英双语】12步搞定LLM训练全流程:数据、分词、预训练、LoRA微调,大模型微调
7:00:32
-
【中英双语】ComfyUI课程:从零学习ComfyUI, 短句/漫剧如何制作?
9:46:17
-
【中文配音】大模型面试必问的10个问题——从Transformer到Agent一次讲透
6:21:18
-
【中英双语】10分钟搞懂KV Cache:预填充与解码分离,让大模型推理效率飙升10倍,GPU内存省一半
24:16
-
【中英双语】保姆级机器学习从入门到实战:线性回归、SVM、聚类、集成学习全涵盖
19:50:18
-
【中英双语】大模型面试必问:KV Cache到底是什么?从零拆解推理加速原理
1:12:01
-
【中文配音】C++校招方向-CUDA系列课程08-加速矩阵乘法实战|Shared Memory优化技巧
2:47:23
-
【中文配音】B站最好的CUDA系列课程02-GPU加速深度学习实战 | GPU高性能计算实战
20:57
-
【中文配音】B站最好的CUDA系列课程01-课程导览 | GPU高性能计算实战
16:55
-
【中文配音】B站最好的CUDA系列课程09-Triton入门实战|简化CUDA编程新范式
42:17
-
【中英双语】通过5个项目学习PyTorch,学习底层AI必备PyTorch,PyTorch项目实战
11:38:32
-
【中英双语】同一个提示词,第一次1美元第二次5美分?大模型省钱的隐藏技巧 | Adam Rosler
13:02
-
【中文配音】C++校招方向-CUDA系列课程10-PyTorch CUDA扩展开发|自定义算子实战
13:30
-
【中英双语】从零手写大模型架构,我学到了什么?
1:45:54
-
【中英双语】学AI前必须先学机器学习?别走弯路,这才是正确入门路线 | Gaurav Sen
2:04
-
【中英双语】卡内基-深度学习系统课全解析-CMU Deep Learning Systems 10-414/714
41:11:30
-
【中文配音】B站最好的CUDA系列课程03-Windows/Linux双平台CUDA环境搭建|一键启用GPU开发
9:33
-
【中文配音】C++校招方向-CUDA系列课程07-CUDA API核心接口精解|内存管理与核函数调用
1:40:12
-
【中文配音】B站最好的CUDA系列课程05-GPU硬件架构全景解析|读懂显卡如何并行计算
15:52
-
【中英双语】从零手写Transformer到LLaMA|原片合计145万+ 2023–2024
26:12:14
-
【中英双语】AI基础设施(AI Infra)全解析:从单卡到千卡集群,GPU/vLLM/LLM-D实战 | KodeKloud
1:35:11
-
【中英双语】Llama.cpp vs vLLM:本地大模型引擎谁更强?实测对比帮你选 | IBM Technology
18:56
-
【中英双语】本地AI到底怎么跑?8B模型要16G显存?Ollama vs vLLM核心原理和工具选择 | Dots and Arrows
24:15
-
【中英双语】AI编程实战:LLM还是智能体?一次讲清怎么选怎么用
13:18
-
【中英双语】本地跑大模型加速:量化到底怎么选,实测省一半显存
38:03
Parts
- P1 · [中文] 01-关于本课程
- P2 · [中文] 02-引言
- P3 · [中文] 03-训练数据
- P4 · [中文] 04-分词
- P5 · [中文] 05-Transformer架构
- P6 · [中文] 06-预训练
- P7 · [中文] 07-微调数据集
- P8 · [中文] 08-指令微调
- P9 · [中文] 09-使用LoRA微调
- P10 · [中文] 10-全面扩展
- P11 · [中文] 11-附加内容
- P12 · [中文] 12-总结
- P13 · [英文] 01-关于本课程
- P14 · [英文] 02-引言
- P15 · [英文] 03-训练数据
- P16 · [英文] 04-分词
- P17 · [英文] 05-Transformer架构
- P18 · [英文] 06-预训练
- P19 · [英文] 07-微调数据集
- P20 · [英文] 08-指令微调
- P21 · [英文] 09-使用LoRA微调
- P22 · [英文] 10-全面扩展
- P23 · [英文] 11-附加内容
- P24 · [英文] 12-总结
Description
从零开始训练一个大语言模型,这个过程听起来遥远,但其实每一步都可以拆解成清晰可上手的阶段。这十二期内容围绕“亲手构建 LLM”这件事展开,不假设你已经有深厚的背景知识,而是沿着数据准备、核心架构、预训练与微调这条主线逐步深入。前三期先帮你建立整体认知,并细看训练数据的来源与清洗思路;接着用专门的一期厘清分词原理,再进入 Transformer 结构,把注意力机制、编码解码等关键组件拆开讲透。有了架构基础后,你会看到预训练阶段的实际推进方式,以及如何构建一个高质量的指令微调数据集,让模型变得更听话。为了让微调门槛进一步降低,还会介绍基于 LoRA 的参数高效方法,显著节省计算资源。之后一起讨论规模化扩展的核心思路,再通过额外内容拓宽视野,最后做系统性收束。整个过程兼顾原理讲解和实操提示,适合对语言模型感兴趣、想动手跑通训练流程的开发者或学习者,也适合希望理解 LLM 内里工作机制的技术爱好者。
Comments
往期精彩视频推荐: https://www.bilibili.com/video/BV1RC796WEeu https://www.bilibili.com/video/BV1JGEB6WEss https://www.bilibili.com/video/BV16PEo6rEiZ https://www.bilibili.com/video/BV1DBE96DEBF https://www.bilibili.com/video/BV1XzEg6wEVv https://www.bilibili.com/video/BV133Et65E1Z https://www.bilibili.com/video/BV12eEw6YEqu https://www.bilibili.com/video/BV1N2Vr6FERw https://www.bilibili.com/video/BV16u5F6TE8H https://www.bilibili.com/video/BV1B9V56zEVx
♥ 1