Surpassbefore 28d ago 我就知道推理的终点一定是造芯片,之前就有家公司将模型直接嵌在芯片上只不过模型参数很小,但是推理速度能逆天达到上万tps,要知道现在的API服务器能有400+tps就算很快了,未来的模型推理发展下去只有这几个方向:要么性能持平的同时缩小参数以能够嵌在芯片上,要么就是研发模型芯片。 ♥ 83 ↩ 10
纯阳道士夏夷则 27d ago 三者赛道彻底错开、互不冲突、长期互补共存👇 1、华为昇腾(910B/950DT/950PR) - 定位:云端大规模训练+通用大数据AI运算 - 干活:DeepSeek模型预训练、迭代微调、海量分布式算力集群 - 场景:公有智算中心、大厂云端底座、大数据AI批量处理 - 优势:集群互联强、全栈国产、训练天花板最高 2、DeepSeek自研芯片(实锤新闻,不是假消息) - 定位:纯云端专属推理ASIC,只做模型答题交互 - 干活:用户对话API、高并发问答、私有化在线服务 - 场景:自家模型线上高吞吐、压低单Token推理成本、软硬极致适配MoE架构 - 逻辑:不做训练,只优化推理,不抢昇腾饭碗,只补昇腾做不到的极致性价比 3、龙芯DeepSeek一体机 - 定位:信创内网安全私有化本地推理 - 干活:政务/国企/军工内网、数据不出本地、全栈自主可控 - 场景:涉密办公、本地私有化部署、断网可用、国密安全合规 - 优势:龙架构自主指令、麒麟/统信原生、零海外依赖、信创必选 一句话格局 - 昇腾:造模型(训练大数据) - DeepSeek自研:跑模型(云端极致省钱推理) - 龙芯一体机:安全用模型(内网信创本地闭环) 三者长期混合组网、分工互补,DeepSeek不会换掉昇腾,也不会替代龙芯,只是补齐自己商业化算力短板。 ♥ 19 ↩ 9
OSCAR-巛 28d ago 真难勾8崩了这评论区,这方面瞎阴阳华为的都来了,问说半导体领域国家牵头的是华为国吗?春到不想回答。如果deepseek有长远规划打算就此借势好好研发几年芯片,搞出来个自研芯片是相当好的,我深知自研整合的威力,以前说deepseek没这方面实力,现在不一定。 ♥ 16
那一年の秋天 28d ago 我的观点是这是个危险的信号,透过现象看本质,扎堆搞ai芯片就是把模型固化成电路降低推理成本,缺点就是模型没办法再升级了,要升级就得再订做新的ai芯片,理论上必须要模型成熟了才会这么干,但是现在都着急做芯片了,恰恰说明现在的推理成本和市场token需求相比根本没办法盈利,ai目前没办法让普通老百姓付费,这是最大的问题,也是最致命的。 ♥ 13 ↩ 4
77搬运工 28d ago 确实,DeepSeek在算力和硬件层面的优化思路非常超前,这也是他们能把推理成本压下来的关键。我们平时做开发,除了关注模型本身的硬件底座,最头疼的还是API的线路抖动。我自己跑测试时,会用 infistar.ai 这个模型聚合平台做多线路兜底,它把不同源头和线路分得很清楚,调用记录也透明,比较适合用来做稳定性对照。 ♥ 11 ↩ 2
天王乔嘉 28d ago 现在自研芯片什么的已经非常基操的,根本不复杂,华为,小米,oppo,赵一鸣零食,古茗,哪吒仙饮也介入进来了,玩跨界。都可以进行自主研发芯片的,而且芯片的精度不输阿斯麦尔的evu,甚至比他们还更先进。 ♥ 6 ↩ 3
Comments
我就知道推理的终点一定是造芯片,之前就有家公司将模型直接嵌在芯片上只不过模型参数很小,但是推理速度能逆天达到上万tps,要知道现在的API服务器能有400+tps就算很快了,未来的模型推理发展下去只有这几个方向:要么性能持平的同时缩小参数以能够嵌在芯片上,要么就是研发模型芯片。
♥ 83 ↩ 10
缺的不是芯片设计,是芯片制造
♥ 50 ↩ 33
联想到前一段时间外媒报道的一台euv光刻机已经偷偷进入中国,我估计极大可能,就在深度求索公司的地下厂房里。
♥ 49 ↩ 21
openai 也有自研芯片,自研芯片对这些 ai 厂来说可能是很有诱惑力的
♥ 44 ↩ 2
设计应该可以 但是自己怎么造呢。华为现在这条线是靠国字头牵头整合了多少国内资源攻坚的的啊。
♥ 34 ↩ 18
路透社全是假消息,别看了[笑哭]
♥ 31 ↩ 24
三者赛道彻底错开、互不冲突、长期互补共存👇 1、华为昇腾(910B/950DT/950PR) - 定位:云端大规模训练+通用大数据AI运算 - 干活:DeepSeek模型预训练、迭代微调、海量分布式算力集群 - 场景:公有智算中心、大厂云端底座、大数据AI批量处理 - 优势:集群互联强、全栈国产、训练天花板最高 2、DeepSeek自研芯片(实锤新闻,不是假消息) - 定位:纯云端专属推理ASIC,只做模型答题交互 - 干活:用户对话API、高并发问答、私有化在线服务 - 场景:自家模型线上高吞吐、压低单Token推理成本、软硬极致适配MoE架构 - 逻辑:不做训练,只优化推理,不抢昇腾饭碗,只补昇腾做不到的极致性价比 3、龙芯DeepSeek一体机 - 定位:信创内网安全私有化本地推理 - 干活:政务/国企/军工内网、数据不出本地、全栈自主可控 - 场景:涉密办公、本地私有化部署、断网可用、国密安全合规 - 优势:龙架构自主指令、麒麟/统信原生、零海外依赖、信创必选 一句话格局 - 昇腾:造模型(训练大数据) - DeepSeek自研:跑模型(云端极致省钱推理) - 龙芯一体机:安全用模型(内网信创本地闭环) 三者长期混合组网、分工互补,DeepSeek不会换掉昇腾,也不会替代龙芯,只是补齐自己商业化算力短板。
♥ 19 ↩ 9
是不是某家想用芯片卡ds脖子,想要ds的核心机密,导致ds被迫自研[doge]
♥ 16 ↩ 17
真难勾8崩了这评论区,这方面瞎阴阳华为的都来了,问说半导体领域国家牵头的是华为国吗?春到不想回答。如果deepseek有长远规划打算就此借势好好研发几年芯片,搞出来个自研芯片是相当好的,我深知自研整合的威力,以前说deepseek没这方面实力,现在不一定。
♥ 16
路边社信誉几乎为零,前几天一条假消息干崩美股的好像就是它
♥ 15 ↩ 4
我的观点是这是个危险的信号,透过现象看本质,扎堆搞ai芯片就是把模型固化成电路降低推理成本,缺点就是模型没办法再升级了,要升级就得再订做新的ai芯片,理论上必须要模型成熟了才会这么干,但是现在都着急做芯片了,恰恰说明现在的推理成本和市场token需求相比根本没办法盈利,ai目前没办法让普通老百姓付费,这是最大的问题,也是最致命的。
♥ 13 ↩ 4
ai人读ai稿。援引还是路透社这种没什么可性度的媒体
♥ 13 ↩ 2
不用华为是对的,哪怕华为实力再强也需要多腿走路不能把鸡蛋都放在一个篮子里。而且以后也需要与华为产生竞争,这样才可以加速国产的技术提高。
♥ 12 ↩ 11
确实,DeepSeek在算力和硬件层面的优化思路非常超前,这也是他们能把推理成本压下来的关键。我们平时做开发,除了关注模型本身的硬件底座,最头疼的还是API的线路抖动。我自己跑测试时,会用 infistar.ai 这个模型聚合平台做多线路兜底,它把不同源头和线路分得很清楚,调用记录也透明,比较适合用来做稳定性对照。
♥ 11 ↩ 2
扯半天,的确可以自研,核心问题是谁来造呢?
♥ 11 ↩ 22
现在自研芯片什么的已经非常基操的,根本不复杂,华为,小米,oppo,赵一鸣零食,古茗,哪吒仙饮也介入进来了,玩跨界。都可以进行自主研发芯片的,而且芯片的精度不输阿斯麦尔的evu,甚至比他们还更先进。
♥ 6 ↩ 3
华为要把盘古做到第一,DS不造芯能睡得着吗?
♥ 6 ↩ 8
因为 AI 本身就是一个谎言,再多的钱投进去都没有用。现在要平稳降落,还是要用在传统科技
♥ 5 ↩ 27
故意透露的不是秘密。
♥ 4
芯片关键是硬件生产设备,那是需要很多工业精密技术的,有那么容易自研。
♥ 4 ↩ 7