君何栖 2025-01-29 我现在和他聊，基本聊几个问题他就宕机了，要不是人数太多，要不是服务器炸了，但是另开对话又可以聊，可这样联系不了之前的对话，很多对话环境需要提供关键词，反正不能延续，除了本地部署，还有别的办法吗 ↩ 1
Comments
笔记本，6G显存+40G内存+13500hx，用llm studio 运行32B Q4，可以用，但速度慢，估计一秒吐两三个字吧
♥ 8 ↩ 4
我去看了，这好像只是用了r1训练集知识库的模型，真r1模型是上百B的那个
♥ 2 ↩ 1
大佬会搞janus pro的一键包🐴
♥ 2 ↩ 1
摸摸g喵
♥ 1
充电动态是关于云镜像的吗？如果是，确实值得充电[星星眼]
♥ 1 ↩ 1
苹果16g的m2可以跑几b模型呢
↩ 3
跑了llama3-q8-70b和qwen2.5-q8-70b，还要再找这个70b的吗？
↩ 1
如何量化4运行呢？
来了来了，他来了
Tgw还没更新好难顶啊
如何卸载呢？部署了14b,显存太小了。
↩ 1
我现在和他聊，基本聊几个问题他就宕机了，要不是人数太多，要不是服务器炸了，但是另开对话又可以聊，可这样联系不了之前的对话，很多对话环境需要提供关键词，反正不能延续，除了本地部署，还有别的办法吗
↩ 1
大佬新年好🎉
↩ 1
请问如何让他只用GPU 我的CPU不太行
↩ 3
open webui不支持deepseek的api吧
↩ 1
这么快，up好勤快