苹果M2 Ultra：AI大模型的新希望

llama 70B，没有4bit，思考的时候吃掉140G，速度和高峰期用gpt4没太多区别

♥ 3548 ↩ 44

首先，M2U跟3080TI比是不讲武德的，三棒8nm跟台积电5nm差了近两代制程，功耗比不过很正常。 然后，苹果大有打破cuda垄断的趋势，虽然个人很反感库克把内存显存当金子卖，但现在能逼老黄降价的可能真的只有苹果了

♥ 1630 ↩ 165

我的态度是拱火，英伟达你行不行啊，细狗英伟达敢不敢加点儿内存[doge]

♥ 906 ↩ 27

苹果的电脑硬件就喜欢吹牛逼。我记得b站的生产力=剪辑视频

♥ 867 ↩ 147

从视频理论内容来看，目前实验得出的结论并不严谨。由于rl的训练中很大的时间花在了环境的sample中, 在replaybuffer较小的情况下，大部分时间都花在了cpu和gpu的io中，对于gpu的算力并没有充分利用到。建议在训练的时候监控一下gpu的使用率再分析。或者将环境用torch实现一下再进行对比。

♥ 746 ↩ 27

猴式对比法，弄了半天就显存能干翻了，只是能跑，算力时间根本不能看

♥ 592 ↩ 58

还是喜欢你昨天的标题，8张4090[打call]

♥ 561 ↩ 20

这个视频会害很多人，以前不知道我也以为M2系列画图性能也不会太差， 直到在公开数据库里看到 Mac Studio 2022, Mac13,1, Apple M1 Max with additional GPU option，性能评分是1.17it/s 而4090高于40it/s。实践是检验理论的唯一标准。

♥ 422 ↩ 43

1. 视频论点有误导，这并不是一个能跑一个不能跑的区别。考虑仅推理情况，通信带宽需求远比训练要小，4090不是不能跑大模型 只是卡多了会卡pcie通信瓶颈拖慢速度，但是跑肯定是能跑的。目前deepspeed，flexgen的各种方案都在降低通信要求和显存需求。 2. up忽视了生态问题，只测试了对m2适配的模型，存在取样失衡的问题。m2u能跑基本的，已经适配好的大模型，但是对于其他不那么“知名”或者没做好适配的模型，一旦涉及到自定义cuda算子，m2u则无能为力。而自己实现cuda算子对于大模型来说这是一件非常常见的事情。 3. 成本问题，对于普通玩家/小型工作室来说，六万你可以咸鱼买几个二手洋垃圾，洋垃圾p6000服务器整机跑大模型起来不比m2u慢。买4090你还可以变成臭打游戏的自己爽一爽，万一你兴趣爱好变成剪视频/做游戏了呢。对于企业而言，为什么不买专业卡？专业的人做专门的事才是最省钱的 4. 这up还会删评控评的，建议知乎品鉴一波

♥ 419 ↩ 58

懂了，赶紧趁着美国没有禁运，多买点回来存着。[星星眼][星星眼][星星眼][星星眼]，，，以后被封了以后高价卖给腾讯跟阿里。

♥ 408 ↩ 24

成功在 M1 Ultra 128G 上跑过大模型的路过。 M1U M2U 就是现在可尝试复现大模型最便宜的设备。 Apple 这东西跑不跑得快，另说，能跑起来就是胜利。 在不考虑 P40 Link 这种操作下，M2U 就是你能买到的，最便宜的大显存设备。 M2U，M1U 不是给大厂，大型工作室，实验室去干活的。 M2U 是拿来个小工作室/个人学习的。 你拿 M1U，M2U，跑得很慢，但是最起码人家能跑起来啊。 有人说是不是 3060 12G 和 3080 12G 是一样的。 有些 11G 的模型，3060 12G 就是能跑，3070 8G 就是跑不了。 对于 M2U 192G 来说，单设备 190G 显存 已经非常难得了。 那些动辄几十万上百万的设备，学生/小工作室 确实买不起。 通过 Apple M2U，能在很低的成本下尝试，进行技术验证。 验证通过在利用云服务商进行大范围的推理。不行就换方案。 而直接通过云服务商验证，各种资源排队，等待，包括各种资源的付费成本，时间成本，人员成本，并不一定比 M2U 便宜。 而现在大模型和传统模型根本不一样，参数量直接影响质量。 不是说你搞个低参数模型只是精度问题，而是参数量会影响一些模型能不能用的判断。 Apple 这破玩意虽说性能不是很强，但是人家最起码真的能跑得动。 至于有些人说，明年 NV 出一个类似的，Apple 是不是又凉了。 先不谈 Apple 会不会凉，NV 就靠显存割你韭菜，苹果只是在一个小众领域提供了一个 “降级” 方案，NV 为什么要自己放弃本来能赚到的钱去 “狙击” Apple。 M2U 卖的再好也只是 M2U，M2U 也影响不了顶级 AI 卡的销量，NV 为啥要自己放弃赚钱呢？ Apple 这玩意和 NV 的计算卡不是一个塞到的，他不会干扰 NV 顶级卡的销量。 为什么要买 Apple 这玩意验证模型呢，因为买不起 NV 的设备才使用 Apple 作为替代方案。 能买得起 NV 设备的自然不买这玩意。 本来就买不起又何谈影响销量呢？

♥ 373 ↩ 40

这是直接把AI和显存画等号了？算力不需要的吗？是不是我GT610 1TB疯牛病版也能直接跑AI了？

♥ 373 ↩ 45

最后说的好，网上一堆只是用了大模型然后尬吹大模型或者尬黑大模型的，但真的开始了解AI的具体知识的很少很少，基本上聊不到深入的专业性问题，在外表的所谓大格局大方向上谈得唾沫飞溅，动不动就中国命运，人类未来，把自己参的那点野狐禅摆出来讨论一些几十年甚至几百年前就讨论过的讨论更深的问题，然后开始升华反思，写出一堆高中生作文让你BB友“唉，唉唉”，然而一旦有业内人士过来指正一些知识性错误就开始玩“业内人高度不够，看不到未来”之类的话术，总之就是不愿意花时间去了解，只愿意开始畅想未来，让人忍俊不禁。

♥ 365 ↩ 30

如果仅仅是大显存的优势的话，下一代英特尔和英伟达搞个统一内存出来，不就又超越苹果了吗[笑哭]而且到时候估计游戏性能直接起飞了。

♥ 317 ↩ 127

经典苹果对比法，你跟他说算力，他跟你说显存，跑大模型显存大就行?放是放进去了，跑几辈子出结果?真就把网友当傻子忽悠，经典gt610 1t 狂牛版吊打gtx690

♥ 314 ↩ 35

去掉噱头，本视频所强调的统一内存架构的重要性还是非常正确的。

♥ 303 ↩ 25

Mac Studio很好，在同体积里算好的了，但是Mac Pro嘛，我只能说没活别硬整。[星星眼]

♥ 302 ↩ 31

@英伟达GeForce @AMD中国 据说m2 u顶8张4090。不知二位有没有啥说法

♥ 279 ↩ 6

艹，比雷式对比法还离谱。光看内存能装载了，你看实际速度没？跟12900k和3080ti比？甚至都不是3090？跟别提4090了。SD开640分辨率瞅瞅你那个it/S，说出去不嫌丢人啊，我特么笑死，1.多到8的迭代速度？一张4090是这玩意的5倍速度，价格是他的1/5。除去NLP，CV领域大量新方向突破都是从CG来做的，全部要用CUDA，没得比。

♥ 242 ↩ 5