【中英双语】从零手写分布式训练框架：PP/TP/MoE 2026

名校课程-顶级中配

合集 · 人工智能-大模型 (53)

  1. 38:46:57
    【计算机-大三/研一】李飞飞计算机视觉斯坦福CS231n | 2026最新版18讲 中英双语 深度学习必修【计算机-大四/研一】
  2. 30:36:48
    【中英双语】谷歌DeepMind强化学习公开课｜现行最新版仍是这套
  3. 19:06:46
    【中英双语】2026最新版 Stanford CS547: 斯坦福HCI AI时代人机交互前沿讲座全集
  4. 18:13:41
    【中英双语】MIT最新AI神课！《如何用AI搞定几乎所有事》多模态大模型完整12讲｜2026重制|How to AI (Almost) Anything
  5. 28:57:49
    【中英双语】大模型面试必修课！斯坦福2026重制-CME295 Transformers & LLMs：RLHF·GRPO·DeepSeek R1全讲透｜全9讲
  6. 36:50:07
    【中英双语】Stanford CS234: 强化学习最新完整版
  7. 73:13:26
    【中英双语】CUDA从入门到硬核实战：PyTorch+Triton+LLM优化全攻略，GPU mode课程
  8. 59:03:41
    【中英双语】麻省理工24讲吃透深度学习：从理论到PyTorch实战
  9. 23:51:31
    【中英双语】伯克利 Agentic AI 智能体与大模型｜CS294 Fall 2025，提供中文/英文双配音
  10. 43:32:25
    【中英双语】MIT 6.034 人工智能 (Patrick Winston)-配套中文讲义
  11. 6:16:06
    【中文配音】14讲吃透Faiss向量搜索：LSH/PQ/HNSW/评估/过滤/索引选型
  12. 2:58:57
    【中英双语】C++从零实现神经网络：手写MLP、反向传播，3小时吃透底层原理
  13. 15:10:51
    【中英双语】麻省理工最新深度学习入门，2026新版一口气讲明白｜6.S191
  14. 23:59:08
    【中英双语】斯坦福CS153全12讲拆解：黄仁勋讲算力，剩下11位大佬讲了什么|2026年最新版
  15. 12:21:15
    【中英双语】MIT 6.S184: 流匹配与扩散模型，生成式AI模型｜2026最新版
  16. 43:59:02
    【中英双语】想自己训练一个GPT？斯坦福这门课教你从零构建大模型｜CS336 2026最新·36讲·中英双语·附资料
  17. 3:42:54
    【中英双语】OpenCV Python从零入门：图像视频摄像头边缘检测全流程
  18. 21:59:36
    【中英双语】CMU最新！语言模型推理算法全讲 | 思维链·Agent·推理模型一次搞懂
  19. 4:15:53
    【中英双语】全网6883万播放的神经网络教程，看完真的懂了
  20. 6:38:16
    【中英双语】ChatGPT背后的技术，前OpenAI创始成员花了3小时讲透了|YouTube 800万播放的硬核LLM教程
  21. 49:15:32
    【中英双语】想系统搞懂大模型，但不知从哪开始？CMU这门课把路线画好了——23讲全梳理 | CMU 高级自然语言处理 Advanced NLP
  22. 16:08
    【中英双语】8分钟看懂GPT 5.6：Sol/Terra/Luna三合一，OpenAI模型命名终于不乱了
  23. 25:58
    【中英双语】GPT-5.6 Pro 泄露！Mythos 5 级性能，10分钟看懂有多强 | WorldofAI
  24. 19:21:02
    【中文配音】MIT 9.40 神经计算导论 全20讲｜2026中文最流畅配音重制
  25. 36:07:19
    【中英双语】谷歌AlphaGo背后的算法课！DeepMind强化学习完整13讲｜UCL中英双版本
  26. 40:11
    【中英双语】李飞飞预言：10年后只剩2种打工人，你是哪一种？ | Silicon Valley Girl
  27. 2:48:16
    【中英双语】AI如何斩获诺贝尔奖？揭秘DeepMind造神之路｜官方纪录片 | Google DeepMind
  28. 9:16
    【中文配音】什么是多模态AI？大语言模型如何处理文本、图像等多类型数据
  29. 44:54:33
    【中英双语】斯坦福CS221人工智能原理完整课！｜2026最新中文语音重制版
  30. 2:31:29
    【中文配音】IBM神经网络与PyTorch入门｜2026中文重制
  31. 3:13:18
    【中英双语】吴恩达ChatGPT API：从提示链到评估｜2026中文重制
  32. 50:08:40
    【中英双语】斯坦福CS224N深度学习自然语言处理：最新中文配音
  33. 38:06:49
    【中英双语】斯坦福CS224R深度强化学习：从策略梯度到LLM×RL·完整19讲
  34. 3:48:06
    【中文配音】LLM微调与优化：LoRA·量化·部署全流程
  35. 3:31:09
    【中文配音】RAG系统实战｜检索增强生成从入门到落地
  36. 2:16:35
    【中英双语】YOLO目标检测完整实战｜原片合计50万+·v8到v11检测分割
  37. 25:37:11
    【中英双语】2026最新版斯坦福CME296: 扩散与视觉大模型
  38. 20:07:17
    【中文配音】Caltech CS156机器学习理论：Learning From Data 525万播放
  39. 3:23:58
    【中文配音】n8n+ChatGPT智能体自动化：工作流到RAG客服
  40. 23:54:16
    【中英双语】CMU 10799 S26：扩散与流动匹配 |2026春季最新版本
  41. 1:05:05
    【中英双语】Claude Code创始人揭秘：砍掉80%提示词，AI编程反而更强了，如何重建系统提示词 | Y Combinator
  42. 1:18:08
    【中英双语】李飞飞正在攻克机器人领域最难的难题，探讨空间智能如何突破机器人学习的数据瓶颈 | a16z
  43. 37:44:35
    【中英双语】首发斯坦福CS229机器学习 | 2026 年春季最新版本 | cs229最流畅中文版本
  44. 12:28:42
    【中文配音】MIT 15.773实践深度学习｜油管合计62万+
  45. 23:11:52
    【中文配音】2026最新版 CMU Advanced NLP：从Transformer到智能体
  46. 6:32:25
    【中英双语】NVIDIA生成式AI与大模型全栈｜Transformer到RAG·生产部署48讲
  47. 22:25:53
    【中文配音】Berkeley CS188人工智能导论｜原片合计71万+·搜索到贝叶斯
  48. 1:44:55
    【中英双语】谷歌大神：人工智能构建的1%法则，自我进化的AI系统，AI工程师的新思维模型 | Y Combinator
  49. 10:02:51
    【中文配音】哈佛CS50 AI导论｜原片合计276万+·Python人工智能入门
  50. 47:10:08
    【中英双语】斯坦福CS229机器学习：监督学习到深度学习·完整19讲
  51. 1:00:20
    【中英双语】Grug 35B vs Qwen 35B本地实测：16GB显存跑35B大模型，谁更强？ | Luke's Dev Lab
  52. 7:57:26
    人工智能-大模型
  53. 35:56:23
    【中英双语】从零手写分布式训练框架：PP/TP/MoE 2026

Parts

  1. P1 · [中文] 导论
  2. P2 · [中文] 模型结构、参数与训练FLOPs
  3. P3 · [中文] 从原理推导RoPE
  4. P4 · [中文] 实现RoPE与YaRN
  5. P5 · [必看] 1分钟：双语怎么切-充电解锁课程站
  6. P6 · [中文] 搭建Transformer与权重初始化
  7. P7 · [中文] 注意力、KV Cache与算术强度
  8. P8 · [中文] 编写MLA多头潜在注意力
  9. P9 · [中文] 分块矩阵乘法与MLA内部
  10. P10 · [中文] 推导MLA与解耦RoPE
  11. P11 · [中文] MLA权重吸收
  12. P12 · [中文] Autograd与分布式训练数学
  13. P13 · [中文] 分布式计算图与DDP
  14. P14 · [中文] 搭建训练循环
  15. P15 · [中文] 从原理推导流水线并行
  16. P16 · [中文] 流水线调度：GPipe、1F1B与零气泡
  17. P17 · [中文] 数据集、分词与数据并行
  18. P18 · [中文] 编写流水线并行
  19. P19 · [中文] Device Mesh：PP与DP组合
  20. P20 · [中文] 分布式通信原语
  21. P21 · [中文] 实现Device Mesh、DDP与FSDP
  22. P22 · [中文] 从原理推导张量并行
  23. P23 · [中文] 编写张量并行
  24. P24 · [中文] 上下文并行与环形注意力
  25. P25 · [中文] 指标、优化器、调度与检查点
  26. P26 · [中文] 训练循环里组合并行
  27. P27 · [中文] 从原理推导MoE
  28. P28 · [中文] MoE上的张量并行
  29. P29 · [中文] 专家并行
  30. P30 · [中文] All-to-All token分发与合并
  31. P31 · [中文] 专家张量并行
  32. P32 · [英文] Introduction
  33. P33 · [英文] Model Architecture, Parameters and FLOPs
  34. P34 · [英文] RoPE from First Principles
  35. P35 · [英文] Implementing RoPE and YaRN
  36. P36 · [英文] Building the Transformer
  37. P37 · [英文] Attention, KV Cache and Arithmetic Intensity
  38. P38 · [英文] Coding Multi-head Latent Attention
  39. P39 · [英文] Block Matmul and MLA Internals
  40. P40 · [英文] Deriving MLA and Decoupled RoPE
  41. P41 · [英文] MLA Weight Absorption
  42. P42 · [英文] Autograd and Distributed Training Math
  43. P43 · [英文] Distributed Computation Graphs and DDP
  44. P44 · [英文] Building the Training Loop
  45. P45 · [英文] Pipeline Parallelism from First Principles
  46. P46 · [英文] Pipeline Schedules: GPipe, 1F1B, Zero Bubble
  47. P47 · [英文] Datasets, Tokenization and Data Parallelism
  48. P48 · [英文] Coding Pipeline Parallelism
  49. P49 · [英文] Device Meshes: Combining PP with DP
  50. P50 · [英文] Distributed Communication Collectives
  51. P51 · [英文] Implementing Device Meshes, DDP and FSDP
  52. P52 · [英文] Tensor Parallelism from First Principles
  53. P53 · [英文] Coding Tensor Parallelism
  54. P54 · [英文] Context Parallelism and Ring Attention
  55. P55 · [英文] Metrics, Optimizers, Schedulers, Checkpointing
  56. P56 · [英文] Combining Parallelism in the Training Loop
  57. P57 · [英文] Mixture of Experts from First Principles
  58. P58 · [英文] Tensor Parallelism for MoE
  59. P59 · [英文] Expert Parallelism
  60. P60 · [英文] All-to-All Token Dispatch and Combine
  61. P61 · [英文] Expert Tensor Parallelism
Description 
从零手写分布式训练框架｜RoPE、MLA、流水线/张量/专家并行与FSDP｜中英双语可切换

📌 本期看点
· 从 Transformer 原理推到 RoPE、MLA 与 KV Cache
· 流水线调度 GPipe / 1F1B / Zero Bubble，再接到 Device Mesh
· 张量并行、环形注意力、MoE All-to-All 怎么落到训练循环

🧭 观看指南
共 30 讲。P1–P30 为中文配音版，P31–P60 为英文原声版，可按需切换。

🎯 适合人群
已经会单卡训小模型、想自己写多卡并行的算法工程与大模型开发同学。

持续更新海外名校硬核课程，点赞收藏关注三连，你的支持是更新的最大动力！