AI 本地部署全科普！为什么你本地跑 AI 模型又慢又卡？

自己玩玩或者做研究可以。要是实打实想正常用。用性能强的模型，老老实实买API.[doge][doge]。能力强的大模型，你就当它是电，如果不是特殊需求，你用电是买发电机吗？

♥ 118 ↩ 4

几个典型速度: 3token/s 通常是大模型文件比显存大不少，这时候就是大量数据在内存和显存之间搬来搬去。 15-30koken/s通常是大模型略小于显存，不过因为还有其它一些数据需要占显存，所以显存还是没法全部装下，这时只有少量在显存内存之间频繁搬运。 60-70token/s通常就是显存比大模型大5-6g甚至更多，这时就是一切尽在显存掌控中。 另外，上下文长度非常占显存，稍微大一些，显存就爆炸。但设置上下文长度的时候，可以额外设置一个参数对上下文进行量化压缩，可以压缩掉一半左右且不明显影响性能。省下来的显存空间用于多装大模型的层数，会更快。

♥ 58 ↩ 2

感觉跟芯片的AI能力也有关系，m5 对比 m4 提升太多了。m4pro 64g 在 minimax h3 上效率基本只有m5 16g的一半[doge]可能是因为 m4 的时候端侧模型还没这么火

♥ 26 ↩ 21

我都不敢想象我当年是怎么忍受在一个核显轻薄笔记本上部署 Deepseek R1，14B 模型的输出速度

♥ 23 ↩ 8

CPU:我呢我呢，我也想涨价

♥ 8 ↩ 3

用云服务器能部署吗

♥ 6 ↩ 5

这个居然是个广子。

♥ 4

我是华为轻薄本能跑大模型吗[doge]

♥ 4 ↩ 10

一句话绝杀：配置不够不要跑ai！ 现在大模型对显存和内存的需求越来越大了，在下模型前一定要看一眼自己的配置，在根据你自己的配置选择版本，要不然就白下！

♥ 4 ↩ 1

本地部署真不行26B模型太垃圾了还浪费实话说模型低于700B就不要部署了

♥ 5 ↩ 10

三星打钱！！

♥ 3

直接用微型服务器部署不香吗

♥ 3 ↩ 1

我有个疑问：既然内存只是起到一个“中转站”的作用，那为什么非要一次性把所有模型数据都加载到内存里然后在整个传给显存呢？为什么不可以进行流式传输呢？这在技术上是不是有什么不可逾越的高山？[小会员绿豆人_难过]

♥ 2 ↩ 5

本地跑大模型需要半辆车

♥ 2 ↩ 1

说白了，成本根本划不来，先不说装机成本什么的，就举个前两天我在用的语音合成模型，在电脑5090上面，满载微调大概要跑四十多小时，电脑峰值功耗大概800W，换算下来大概五毛钱一个小时，也就是做完一轮微调，大概要20块钱。 如果使用官方的服务API作为微调的话，仅需要花费30分钟，价格还更便宜，大概几块钱，云商可以通过大规模的服务器来极大的降低成本，而且速度快的多，如果不是没服务肯定优先选云服务厂商。

♥ 2

媲美api速度如果只要单发需要20张h200算卡。家里没有9位数身价就别考虑了。

♥ 2

跑大模型不行，那就跑小模型[doge]

♥ 1

推广一下我的本地大模型费用计算器[doge]https://li-hikinghat.github.io/llm_cost_calculator

♥ 1

这玩意那得多贵啊

♥ 1

Ollama性能和llama.cpp区别很大吗？

♥ 1 ↩ 3