本地一键运行各种大模型 - 完全免费，无限制！- LM Studio 使用教程
合集 · AI 使用指南 (3)
Description
本地的大语言模型真的自由多啦！！！！！ —————————— LM Studio：https://lmstudio.ai/ 加速镜像设置教程：https://henjihenji.feishu.cn/wiki/V7h6wpmCwi2mgXk9xAEcBarynEe LM Studio 可用的模型：https://hf-mirror.com/lmstudio-community （其实别的很多 gguf 模型也可以用，但需要自己分辨一下） 推荐模型 - CausalLM-14B：https://hf-mirror.com/TheBloke/CausalLM-14B-GGUF/tree/main 推荐模型 - Qwen2.5-32B-AGI：https://hf-mirror.com/bartowski/Qwen2.5-32B-AGI-GGUF/tree/main
Comments
我本来是不想用本地AI的，直到我用的国内AI给我弹出了限制使用，从此我发出内心感想，我一定要用一个本地的无限制AI，我要给我的AI完整的一生
♥ 515 ↩ 32
笑死 国内也可以
♥ 327 ↩ 26
是否无审查还是要看不同模型的，比如本地开源的Qwen就是有审查的，只是相比于GPT来说容易破解一些，也可以通过使用对应模型的破解版本（比如dolphin-...）来解决。 包括其实也有一些线上大模型几乎无审查，最好用的就是Gemini（API版本）了。
♥ 298 ↩ 18
其实本地也有限制，也要用一些prompt去绕[doge]
♥ 117 ↩ 19
提醒一下，如果你下载了模型之后刷新不出来，你可以试试建立二级目录，然后把模型放进去。比如你选择的模型目录是C:\Users\zk\.cache\lm-studio\models，那么你的模型应该放在C:\Users\zk\.cache\lm-studio\models\qwen\7B这个地方。
♥ 126 ↩ 10
那肯定是显存够用的情况下，显卡性能越高越好，问了下gpt： 7B参数模型： INT8：可能需要7-10GB显存。 BF16：可能需要14-20GB显存。 13B参数模型： INT8：可能需要13-18GB显存。 BF16：可能需要26-36GB显存。 30B参数模型： INT8：可能需要30-42GB显存。 BF16：可能需要60-84GB显存。 70B参数模型： INT8：可能需要70-98GB显存。 BF16：可能需要140-196GB显存。 转载
♥ 86 ↩ 2
[笑哭]我想用的模型123b，大小有200多g，3090能跑吗？
♥ 83 ↩ 41
限制我的是部署ai有多复杂吗？明明是我的钱包[生气]
♥ 50 ↩ 1
完整看完了,我之前也一直用本地AI ,用KOBOLDCPP和Next-webui加载,最常用的还是狗头 说说自己使用这个的感受,和一些小经验 1-模型放置的地方可以随便建一个文件夹,名字随便,然后第二层直接建立一个名字叫"gguf"的就行,这个文件夹可以同时放很多模型,不用挨个重新取名字 2-加载选项那里默认的是4096,看个人需求,如果随便聊聊就默认;如果用来AI角色扮演,建议拉高一些,他提示可以到8192,点击下面的框框之后可以输入默认的数字,显卡比较强建议拉到16384,这样不容易忘记你之前聊天的内容,角色扮演更加自然 3-关于模型大小的选择,我个人用过4060-16G,可以在8192的上下文下流畅运行10GB大小的模型,稍微大一点就跑不动,输出很慢很慢;4090-24G一般可以下14B参数左右,Q8量化的模型,量化后容量大概14-16G,在8192的上下文很流畅,再大就很慢很慢,输出的速度跟上下文,模型大小,显卡有直接的关系,一味求大容量的模型,下载到本地也跑不动,浪费流量 4-最后类OPEN接口调用,默认是http://127.0.0.1:1234,如果放在你要用的前端没卵用,在后面加个v1;http://127.0.0.1:1234/v1 5-Silly Tavern可以用
♥ 61 ↩ 10
线上的ai太多限制，反而显得降智了不少[笑哭]
♥ 54 ↩ 7
现在市面上有没有啥本地的可以把我搜集的乱七八糟知识扔给他，然后想知道的时候直接用自然语言问知识库内的内容。。类似那种本地知识管家？
♥ 43 ↩ 13
[doge]
♥ 28 ↩ 4
笔记本6G显存，有推荐的吗，太难了孩子
♥ 36 ↩ 7
有没有那种本地运行的ai绘画软件，可以生成我想要的内容[doge]
♥ 28 ↩ 26
lm studio 最大的好处是有一个，llama cpp Vulkan。可以利用amd显卡甚至核显，比cpu跑起来快多了。[吃瓜]
♥ 25 ↩ 4
Lm studio的主要优势就是可以用内存和cpu跑，内存便宜，显存可以调为0全部用内存跑，64g可以跑72b的参数量
♥ 20 ↩ 6
我最想要的就是自己整一个本地AI，最好这个AI具备操作电脑能力，这样我就可以对它进行训练，让它做一些重复性的工作，而我呢，可以喝茶摸鱼，岂不快哉。不过，目前只做到前面一点，做了一个知识库。具备操作电脑能力的大模型没找到，不知道有没有这个开源的
♥ 19 ↩ 6
标准结局 🥲 加载模型失败 Model loading aborted due to insufficient system resources. Overloading the system will likely cause it to freeze. If you believe this is a mistake, you can try to change the model loading guardrails in the settings.
♥ 33 ↩ 4
[笑哭]
♥ 14 ↩ 2
这些模型都没多大意思，跟最新的模型真没法比，尤其集成了他们的cursor
♥ 13