芝士德克士 2025-08-14 4台512G的M3 Ultra Mac studio要30多W，而且集群互联是有损耗的，能耗比苹果确实无敌。不过能花这么多钱买设备的也不太可能在意这点电费的差距[doge] ♥ 413 ↩ 40
young1lin 2025-08-14 公司要搞智能客服，必须本地跑，选来选去，我看上了 QWen3-4B-Instruct，但是一想到要微调，我就头大，看似我都会了，实际上一看到 LLama Factory 那么多参数，感觉什么都不会。还要本地化部署 Coze Studio，还要用 vLLM 将微调后的模型暴露出 HTTP 服务。有没有全部一站式的，好麻烦啊。后面如果要优化 RAG，还要存稀疏向量，还要自己选适合英文和印尼语的向量模型。 看起来简单，实际本地化部署，优化，头都要大了。 ♥ 179 ↩ 23
sadforever 2025-08-14 MacBook的内存是我这辈子买过的最贵的内存，但也让我体会到了跑32b的deepseek-r1模型的快乐，在这个意义上比老黄的振金显存性价比高多了。 ♥ 158 ↩ 28
铁屋假寐 2025-08-14 本地消费级，那么价格呢？[笑哭]成本多少，能压下来，应该有很多人都会都ai的网络部署的隐私问题不满，真的有搞头吧？勾艹的老黄没有这种推广消费级的需求[笑哭] ♥ 72 ↩ 12
就叫我赵二晗吧 2025-08-14 苹果可以就推理场景出服务器，从硬件层面上设计应该能减少不小的性能消耗。而且能比老黄的同规格硬件价格便宜好几倍。再给各种开源团队投钱让他们对这套硬件做优化。感觉能从老黄手上切出一大块蛋糕。 ♥ 18
Comments
4台512G的M3 Ultra Mac studio要30多W，而且集群互联是有损耗的，能耗比苹果确实无敌。不过能花这么多钱买设备的也不太可能在意这点电费的差距[doge]
♥ 413 ↩ 40
公司要搞智能客服，必须本地跑，选来选去，我看上了 QWen3-4B-Instruct，但是一想到要微调，我就头大，看似我都会了，实际上一看到 LLama Factory 那么多参数，感觉什么都不会。还要本地化部署 Coze Studio，还要用 vLLM 将微调后的模型暴露出 HTTP 服务。有没有全部一站式的，好麻烦啊。后面如果要优化 RAG，还要存稀疏向量，还要自己选适合英文和印尼语的向量模型。 看起来简单，实际本地化部署，优化，头都要大了。
♥ 179 ↩ 23
主要是老黄的显存是振金做的，苹果是金子做的，相对便宜很多[笑哭]
♥ 160 ↩ 4
MacBook的内存是我这辈子买过的最贵的内存，但也让我体会到了跑32b的deepseek-r1模型的快乐，在这个意义上比老黄的振金显存性价比高多了。
♥ 158 ↩ 28
本地消费级，那么价格呢？[笑哭]成本多少，能压下来，应该有很多人都会都ai的网络部署的隐私问题不满，真的有搞头吧？勾艹的老黄没有这种推广消费级的需求[笑哭]
♥ 72 ↩ 12
是挺省电的，但是算一下总价，你会发现 5090 真便宜
♥ 62 ↩ 6
等单机1tb的Macstudio出来，单机运行deepseek，功耗一百多W
♥ 39 ↩ 7
在这上面一边跑Unity一边跑qwen 30b一边跑qwen 2.5 coder 7b，然后再挂一个WoA虚拟机还挺爽的。。
♥ 35 ↩ 1
主要是速度呢，多少token每秒，然后价格咋样
♥ 23 ↩ 15
苹果可以就推理场景出服务器，从硬件层面上设计应该能减少不小的性能消耗。而且能比老黄的同规格硬件价格便宜好几倍。再给各种开源团队投钱让他们对这套硬件做优化。感觉能从老黄手上切出一大块蛋糕。
♥ 18
视频说内存标题说显存你让我信哪个
♥ 16 ↩ 21
互联的带宽是最大的短板
♥ 12 ↩ 8
给罗永浩声援的罕见同路人~~~~~
♥ 11
我不仅想要一个帮我工作的而且想要一个灵魂伴侣。如果达不到圈养全人类（盘古混沌的小说）那给我一个失控机仆的结局也凑合
♥ 11
至少30万[吃瓜]
♥ 9 ↩ 10
BV1TxbazoEBo
♥ 6
适合研究员吧，未来一段时间只会是云到端，22世纪倒是有可能本地端
♥ 5
太君太君太君[喜欢]
♥ 5
比5090贵好多[笑哭]
♥ 4 ↩ 17
我穷鬼，我买不起，我最多订阅个gemini或者gpt! 自己定制模型，费钱不说，估计还非时间与精力！大好年华！辛巴克喝咖啡看美女不香吗
♥ 3