Taalas为什么只是实验室玩具&营销鬼才

忽略细节上的争议，硬编解码必然会带来极大性能提升，一般来讲在极度吃性能/功耗的场合下是刚需，比如音视频编解码。固化神经网络目前最大的问题就是模型和架构迭代太快，但方向上绝对是正确的。未来边缘端设备一定会有很大的市场需求，比如自动驾驶、具身智能以及各种实时性很强的产品，依靠云服务可靠性会比较差，一旦量上去了软编解码在成本上毫无竞争力，可能会差10倍100倍。从现在开始做技术积累其实是很明智的，就跟以前做CV芯片一样。

♥ 120 ↩ 7

其实可以拆分为矩阵乘法模块，加法模块，几种激活函数模块，几种norm模块，加一个调度器，就可以完整复现现在的绝大多数llm了，不需要完整的将整个模型硬编码到芯片里。这样应该比这个灵活性高，也远比cuda成本低。唯一的缺点就是需要外部存储器（比如ram）了

♥ 38 ↩ 1

taalas作为一家练习时长两年半[doge]的年轻公司第一步走llama这种很基础的架构做prototype是没问题的，模型性能什么的都无所谓，他们也没拿这个当卖点。因为整个公司24个人要解决从6nm工艺到网站，没做过整个链条的人很难理解第一次有多麻烦。所以从产品侧去评价，比如说拿来和gpu对比或者诟病模型性能，是有失公正的吧[doge] 其次视频中讨论的一条主线就是应用场景，先不说评论区大有人幻想拿这个做翻译（真的划算吗），其实很主要的一个应用视频里也讨论了吧就是做pd分离，gpu去做需要大kv cache的prefill，taalas去做decode就行。其外还可以做多智能体orchestration。 当然这家公司是包要复刻groq的诏安路径的，估计也不会有下一代产品了[doge]

♥ 38 ↩ 2

讲的很对、太专业了，而且8b啥也干不了，一更新模型显卡就报废了，大概是为了骗一些外行买他们家股票吧，除了这点我再想不出公司其他挣钱的方法了[笑哭]

♥ 37 ↩ 14

Taalas的产品目前来说并没有实用价值。但几十倍的性能提升，可不是小数字，这会使商业人士寻找这种技术路线的实用价值。如果沿着这条技术路线不断研发下去，必将结出重大商业成果。这就象快速傅里叶变换（FFT）算法把傅里叶变换的计算速度提升了无数倍，数学家在很多不相干的领域都找到了这种算法的巧妙应用。

♥ 31 ↩ 34

推荐寒武纪的2508.16151这篇论文，我觉得比taalas的报告更详细[黑洞]

♥ 19 ↩ 1

也不算玩具，这个技术最大的两个问题是目前模型还在发展，芯片工艺也没到头(虽然也快到头了)。等一切技术发展到平台期甚至末期了，这个技术就有用了，真正意义上的把模型固化为芯片提供实时响应，不过得说一句，按目前主流Transfotmer架构模型来说，把一个足够聪明的模型焊死成芯片，哪怕是目前2nm的制程，也需要非常大的芯片面积，并且长上下文kvcache是个问题，这会带来巨大的存储开销，甚至可以用T来记了[辣眼睛]

♥ 12 ↩ 3

销售比技术更重要，技术可以慢慢改进，拉不到钱是真会倒闭

♥ 10 ↩ 2

这个其实没啥新鲜的。现在模型底座更新太快了。等什么时候到头了这个就有意义了。

♥ 10 ↩ 1

虽然它官网那种对比图一眼就能看出水分十足，但你挑刺的角度也挺好笑的

♥ 9 ↩ 1

你说的很有道理。但是1w+的token/s，这么美妙的速度……我现在玩酒馆，api连到n8n上，才配了两个agent节点就要跑10分钟以上了。要这技术真能发展出来，我都不敢想到时候玩酒馆和搭工作流得有多丝滑多大胆。可惜现在还是太早了

♥ 8 ↩ 11

那么能不能把claude4.6, deepseek v4, gemini 3pro刻进硅片里呢

♥ 7 ↩ 5

0.017秒，约等于没有思考时间了，这个速度，无敌了，而且我是认同，应该专业芯片和通用芯片混合的模式的，没那么聪明，但是很快，这个未来的潜力是非常非常非常巨大的

♥ 5

Taalas单一款芯片可能看不出啥, 但是如果这个思路可行的话, 可以把功耗做低, 做一些边缘计算的场景(譬如AI录音笔, AI眼镜), 也可以说AI硬件的故事, 模型一更新换代就必须更换新的硬件, 这个也能match商业上消费品更新换代的需求.[妙啊] 不过ASIC性能和功耗都由于GPU这个是业界的共识, 为什么一直没法大规模推广开来, 就是因为模型能力实在更新得太快了, 这个得在模型基本成熟或者hit到瓶颈的时候应该就能比较合适.[藏狐]

♥ 5

他这个只要发展到可堆叠（跑更大的模型）、快速低成本流片生产，就能真正的在推理侧吃下一部分市场了，这个的主要成本还是在生产和部署上，但是这个是一个相对固定的成本而不是一个递增的成本。

♥ 5 ↩ 1

我喜欢你[Ave Mujica_我有话说]

♥ 5

端侧，嵌入式很有用啊，其实都不需要8b，1b成本更低点，能用的地方就非常多了。

♥ 4

事实上同赛道的groq直接被老黄收了走向人生巅峰，prefill和decode分离也是高速推理的必然路线，不理解为啥要看衰一个已经公布了的正确答案。

♥ 4 ↩ 2

找到元结构元函数元算法元路径，把这些硬件话，是好思路，流片贵，但fpga？不是很好的验证芯片吗？最重要的是找到关键节点，我是这么想的

♥ 4

提醒大家，如果是工业生产固定需要某个小模型，实现一个简单重复性的功能，后继不会改，那么这个路线合理。@

♥ 4 ↩ 3