【中英双语】本地AI到底怎么跑?8B模型要16G显存?Ollama vs vLLM核心原理和工具选择 | Dots and Arrows
合集 · AI大模型实战 (41)
-
B站最好的CUDA系列课程04-CUDA编程前置技能精讲|C/C++底层关键点速通
49:01
-
【中英双语】Kimi K3实测:2.8万亿参数开源模型,编程能力真香还是翻车? | Fahd Mirza
24:43
-
【中英双语】vLLM vs 传统推理:KV缓存如何让GPU吞吐量翻倍?实测对比
22:30
-
【中文配音】大模型+机器学习面试通关全攻略| meta高级工程师主讲
8:37:21
-
【中英双语】10分钟掌握vLLM:从KV缓存瓶颈到生产级API服务全流程
27:23
-
【中文配音】约翰霍普金斯CUDA并行编程:从核函数到寄存器调优
1:39:58
-
【中文配音】C++校招方向-CUDA系列课程06-编写首个CUDA核函数|向量加法实战与内存模型
2:03:58
-
【中文配音】B站最好的CUDA系列课程11-从零实现MNIST GPU训练|CPU→CUDA全栈移植
2:23:05
-
【中文配音】B站最好的CUDA系列课程13-CUDA学习路径全景图|进阶方向与资源指南
0:40
-
【中文配音】B站最好的CUDA系列课程12-CUDA项目调优与调试|性能分析工具实战
13:38
-
【中文配音】AI infra基础设施详解
5:49
-
【中英双语】6GB显存跑Qwen 3.6 35B大模型llama.cpps实战?GTX 1060速度飙到17 token/s | Codacus
30:12
-
【中英双语】LTX 2.3 vs Wan 2.2:免费开源AI视频模型对决,谁才是最强? | MDMZ
16:36
-
【中英双语】llama.cpp更新让本地AI速度飙升65%,MacBook Pro实测 | Codacus
16:48
-
【中英双语】Ornith 35B vs Qwen 35B 本地大模型对决,16G显存实测谁更强? | Luke's Dev Lab
46:00
-
【中英双语】DeepSeek V4本地部署实测:3090/4090能跑吗?什么样的显卡可以跑DeepSeek,什么样的显卡可以跑qwen
21:40
-
【中英双语】12步搞定LLM训练全流程:数据、分词、预训练、LoRA微调,大模型微调
7:00:32
-
【中英双语】ComfyUI课程:从零学习ComfyUI, 短句/漫剧如何制作?
9:46:17
-
【中文配音】大模型面试必问的10个问题——从Transformer到Agent一次讲透
6:21:18
-
【中英双语】10分钟搞懂KV Cache:预填充与解码分离,让大模型推理效率飙升10倍,GPU内存省一半
24:16
-
【中英双语】保姆级机器学习从入门到实战:线性回归、SVM、聚类、集成学习全涵盖
19:50:18
-
【中英双语】大模型面试必问:KV Cache到底是什么?从零拆解推理加速原理
1:12:01
-
【中文配音】C++校招方向-CUDA系列课程08-加速矩阵乘法实战|Shared Memory优化技巧
2:47:23
-
【中文配音】B站最好的CUDA系列课程02-GPU加速深度学习实战 | GPU高性能计算实战
20:57
-
【中文配音】B站最好的CUDA系列课程01-课程导览 | GPU高性能计算实战
16:55
-
【中文配音】B站最好的CUDA系列课程09-Triton入门实战|简化CUDA编程新范式
42:17
-
【中英双语】通过5个项目学习PyTorch,学习底层AI必备PyTorch,PyTorch项目实战
11:38:32
-
【中英双语】同一个提示词,第一次1美元第二次5美分?大模型省钱的隐藏技巧 | Adam Rosler
13:02
-
【中文配音】C++校招方向-CUDA系列课程10-PyTorch CUDA扩展开发|自定义算子实战
13:30
-
【中英双语】从零手写大模型架构,我学到了什么?
1:45:54
-
【中英双语】学AI前必须先学机器学习?别走弯路,这才是正确入门路线 | Gaurav Sen
2:04
-
【中英双语】卡内基-深度学习系统课全解析-CMU Deep Learning Systems 10-414/714
41:11:30
-
【中文配音】B站最好的CUDA系列课程03-Windows/Linux双平台CUDA环境搭建|一键启用GPU开发
9:33
-
【中文配音】C++校招方向-CUDA系列课程07-CUDA API核心接口精解|内存管理与核函数调用
1:40:12
-
【中文配音】B站最好的CUDA系列课程05-GPU硬件架构全景解析|读懂显卡如何并行计算
15:52
-
【中英双语】从零手写Transformer到LLaMA|原片合计145万+ 2023–2024
26:12:14
-
【中英双语】AI基础设施(AI Infra)全解析:从单卡到千卡集群,GPU/vLLM/LLM-D实战 | KodeKloud
1:35:11
-
【中英双语】Llama.cpp vs vLLM:本地大模型引擎谁更强?实测对比帮你选 | IBM Technology
18:56
-
【中英双语】本地AI到底怎么跑?8B模型要16G显存?Ollama vs vLLM核心原理和工具选择 | Dots and Arrows
24:15
-
【中英双语】AI编程实战:LLM还是智能体?一次讲清怎么选怎么用
13:18
-
【中英双语】本地跑大模型加速:量化到底怎么选,实测省一半显存
38:03
Parts
Description
想在本地跑大模型却不知从何下手?这期视频从显存计算、量化到Ollama和vLLM,一次讲透本地AI的核心原理和工具选择。 📌 本期看点 · 本地AI vs 云端推理:隐私、离线、零月费的优势 · 显存计算:为什么8B模型需要超过16GB内存 · 量化技术:4-bit为何是消费级硬件的甜点 · GGUF与Ollama架构:轻松上手的本地推理 · vLLM与多GPU并行:企业级高吞吐部署方案 🎬 章节 00:00 本地AI是什么 02:08 参数与显存计算 03:24 训练与推理区别 04:48 GPU核心与PCIe瓶颈 05:40 量化 FP16到4-bit 07:54 GGUF与Ollama架构 08:52 vLLM与多GPU并行 10:03 KV缓存与性能指标 11:38 如何选择本地方案