NVIDIA又要跌?DeepSeek 刚用 FP8 没多久,这 FP4 训练要来了
合集 · 大模型竞技场 (78)
-
全网首测!DeepSeek 4 小时之前又发布了一个多模态模型 Janus-pro
1:40
-
5分钟教你使用AI写一个风扇控制器
4:24
-
10小时前发布的大模型 Mistral-small-24B 马上开测!
2:46
-
NVIDIA又要跌?DeepSeek 刚用 FP8 没多久,这 FP4 训练要来了
0:51
-
一招解决DeepSeek-R1无法连接网络问题!还能白嫖DeepSeek-R1!
1:43
-
国产视频生成框架!能让老黄唱野狼 Disco!
1:17
-
大模型竞技场 - Gemini-2.0-Flash 全网首测!
4:03
-
微信刚上线 DeepSeek, 腾讯又把 AI 知识库也接入 DeepSeek 了?
2:10
-
来啦!Grok-3 全网首测!登陆火星 demo!
2:52
-
视觉大模型也能推理了?来看Ovis-2视觉模型的效果如何!
1:55
-
谁是最强写代码模型? 我使用了最好的21个模型, 花了50刀, 总计测试252次
7:32
-
全站最速!DeepSeek-V3-0324 写代码能力评测!不仅 OpenAI, Claude 也要颤抖了
2:06
-
我用AI做了个网页版我的世界,还能用砸瓦鲁多
4:18
-
全站最速!GPT-4.1 写代码能力评测!啊?又拉了?
2:25
-
极限测试!Qwen3 写代码+画画!究竟是不是开源最强模型?
5:53
-
我发现了AI最有用的用途——整理桌面!来看 Kimi-K2 Agent 能力实测!
12:42
-
使用 AI 做了个以《三体》中叶文洁为视角的小短片——三体·独白
2:02
-
nano-banana 幼儿园级教程① 如何将照片转换为城市天际线风格的建筑!
0:37
-
nano-banana 幼儿园教程第②弹! 教你如何做模特图!
1:06
-
nano-banana 幼儿园级教程第③弹! 如何实现贴纸自由!
0:55
-
nano-banana 幼儿园教程第四弹! 教你如何克隆喜欢的图标!
0:46
-
nano-banana 教程第五弹! 如何万物像素化!
0:41
-
nano-banana 生成 8K 分辨率图片教程!
1:10
-
Kimi-K2-0905 实测! 一口气输出1100行代码
3:06
-
Qwen3-Max-Preview 实测! 给大家放个鞭炮
1:41
-
Qwen3-Next-80B-A3B 实测! 能跟头部模型对打吗?
2:20
-
刚发布的 Qwen3-TTS-Flash 实测!
1:31
-
DeepSeek-V3.2 实测! 真就只提升了0.1?
2:54
-
Claude-Sonnet-4.5 实测! 口嫌体正直国庆献礼?
2:18
-
GLM-4.6 实测! 最近都很流行更新一大截然后版本就增加0.1嘛?
2:22
-
DeepSeek 竟然是 INTJ, 如果改成 INFP 会怎样?
2:22
-
claude-haiku-4.5 实测! 便宜大碗?
2:05
-
Vibe Coding 不流行了? Spec Coding 教程来啦
2:15
-
KAT-Coder-Pro-V1 实测! 早放3个月就好了?
2:36
-
Minimax M2 实测! 你也晚了3个月?
2:07
-
Cursor 推出炼蛊模式!一口气能开8个代理!
1:16
-
Cursor 终于有自己的大模型啦!来看实测!
2:32
-
Qwen3-Max-Thinking 实测! 呃......
2:28
-
Kimi-K2-Thinking 实测! 差距继续缩小!
2:17
-
Gemini 3.0 Pro 实测! SOTA! 不过发现两个重要问题!
3:17
-
nano banana pro 幼儿园教程! 如何合成橱窗图片!
0:52
-
Meta 的新模型 SAM 3 实测!
4:31
-
什么? 用 Claude Code 剪视频?
2:05
-
DeepSeek V3.2 正式版实测! 提升真的有限?
2:50
-
教程来啦! 如何使用AI打造自媒体博主军火库
2:57
-
GPT-5.2 实测! 美是真的美, 卡是真的卡
2:54
-
一秒生成高斯点云? Apple新模型SHARP实测!
1:25
-
AI送外卖到底有多强? 来看 Doubao-Seed-1.8 Agent 能力评测!
4:38
-
现在都流行大模型月更吗? MiniMax-M2.1 实测!
4:33
-
2025年全球大模型厂商下载量排行榜
3:42
-
500张图片测试! 一个视频告诉你GLM-Image怎么用!
3:27
-
不写 prompt 改看视频了! Kimi-K2.5 实测!
5:58
-
提升明显! Qwen3-Max 正式版 vs Preview版 实测!
4:55
-
不是说好了年前不发吗? DeepSeek 你个大猪蹄子
2:29
-
GLM-5发布啦! 给大家带来实测! 国产大模型正式进入月更节奏!
7:04
-
啊?一个月一个版本? MiniMax-M2.5 4000万 token 实测!
5:06
-
Qwen3.5实测! 来看贺岁档大模型的实力!
7:01
-
Gemini-3.1-pro 实测! 更新了个寂寞?
4:32
-
inclusionAI Ling&Ring 2.5-1T 大模型实测!
5:15
-
Agent 能力有多强? 来看豆包 Seed 2.0 实测!
6:07
-
龙虾专用大模型? GLM-5-Turbo 实测!
5:10
-
如何做一个生产级SKILL? 用MiniMax-M2.7给龙虾写SKILL的保姆教程
3:44
-
从国产SOTA走向世界SOTA? GLM-5.1 实测!
8:01
-
AI能帮我拍照了? Qwen3.5-Omni实测!
6:06
-
花费106刀测试! Claude-Opus-4.7 到底更新了啥?
8:51
-
Kimi-K2.6 前端/后端/Agent编程能力实测! 甚至还帮我做了个游戏!
9:04
-
大模型写代码比说话还快是什么体验?
2:32
-
Agentic Coding 能力大幅提升! Qwen3.7-Max实测!
7:36
-
MiniMax-M3 最佳实践? 这个视频告诉你!
5:39
-
Fable 5 超越人类还为时尚早!
1:06
-
单卡 700TPS! Diffusion Gemma 来了!
0:44
-
GLM-5.2实测! 什么才是Agent能力的提升?
5:40
-
2分钟教你做一个可以自我迭代的 Agent
1:43
-
Flash模型横评! 性价比之选竟然是这个?
6:12
-
混元3实测! 300B参数竟然有这种Agent能力!
6:33
-
1B就能达到这种效果?LingBot-Vision实测!
1:13
-
Kimi-K3 全方位实测! 我竟然打游戏输给了她?!
14:05
-
我用 LongCat-2.0 省了 88% 的 Agent 输入成本!
4:57
Description
我的天!DeepSeek 刚用 FP8 没多久,这 FP4 训练要来了??? 一篇 28 号的预印论文引入了两项关键创新可以做到 划重点,FP4能达到与FP8和BF16相当的精度 划重点2,能扩展到13B大小 具体我们看图2的红线,即论文里面的FP4训练方法,重合度跟BF16(蓝线)非常高! 而传统方法FP4(绿线)在达到2.4B后就开始崩了。 这要是真的FP4训练出来模型了,估计NVIDIA是不是又要来个暴跌了我的妈 (搜了下几个作者,应该是微软亚洲研究院的) 关注我带你看最前沿的AI资讯
Comments
[doge]
♥ 986 ↩ 13
建议英伟达宣布dlss4可以把fp4补到fp16[doge]
♥ 712 ↩ 9
英伟达升级说明:由于fp16以下训练存在严重漏洞,我们将关闭fp4,fp8的接口,只保留f16
♥ 238 ↩ 9
fp4权重分辨率很烂的,低了十六倍[吃瓜]其实我觉得六位不错,可以省去两位寄存器[吃瓜]提升百分之二十五晶体管能效,只是没人这么傻造六位的寄存器
♥ 154 ↩ 15
英伟达也在推FP4诶
♥ 104 ↩ 26
那老黄要笑死了,Blackwell专门优化的就是fp4精度,当时都觉得做ppt骗人用的,如果fp4可用那就歪打正着了,或者说黄狗早就知道了故意往这个方向研究的。
♥ 77 ↩ 8
所以现在建议买A卡玩ai吗[doge]
♥ 76 ↩ 49
推fp4英伟达不是应该涨才对吗 50系最大的新特效就是支持fp4
♥ 62 ↩ 12
蛤,这下英伟达那个破烂主机不是有用了嘛[笑哭][笑哭]
♥ 51 ↩ 4
这不是利好英伟达的project digits。
♥ 35 ↩ 3
ds开源之后,连closeai都在最新o3 mini(就是新免费的)里面大量改用中文来推理了,还有人觉得需求继续涨? ds的api价格是16块每m token,closeai需要降两个数量级才能做到,这不,降本增笑马上就来了[笑哭]
♥ 31 ↩ 10
英伟达50系显卡就在着重推进fp4,企业总不能自己把自己整崩吧
♥ 28
巨硬这次真要抱大腿了,能不能翻身就看能在DS开源项目里面贡献多少资源并且说上话了
♥ 19
不是利好吗?老黄吹的FLOPS能用上了。 FP16 tensor core刚出的时候是NVIDIA教大家怎么用,很成功。 FP8的时候NV也有些用法建议,用的人不多。另外MSRA也有FP8的论文。deepseek是自己探索出了合适的用法。
♥ 18
因为禁售和加关税,再加上微软砍单,nv反正很难上去了[doge]
♥ 14 ↩ 2
中国这边还没过完年,等过完年它英伟达还得跌[doge]
♥ 13 ↩ 2
又是一年耍猴,4090的含金量还在上升
♥ 12
5090fp4的3352tflops的算力终于有用了?看来是联合好的[吃瓜],本来觉得fp32才提升了二三十的算力非常挤牙膏,但现在看来提升有点太巨大了[doge]
♥ 11
当然是故意的。老黄招了很多搞ai的人很大原因就是为了软硬件协同设计。一开始是nv先推出int8,其他家跟进的时候又推出fp8,因为int8只能推理很难训练。现在敢用fp4当然也是内部初步跑通的。可以说nv在引领低精度训练的软硬件栈。
♥ 10 ↩ 3
精度丢失,根本不好用
♥ 9