越大越聪明？小模型正悄悄改变世界

小模型只能是一种妥协 算力够的话狗都不用[doge][doge]

♥ 106 ↩ 8

模型参数量相当于知识量，算法相当于智商，智商高的人不需要过多的知识也可以完成工作，再加上那么多知识里也会有重复的知识 但是我依然看好超大规模模型，毕竟知识量摆在那里，学术研究中，小的模型偶尔还是会出现知识盲区，但商业应用可能真的是小模型的天下了

♥ 65 ↩ 8

前几个月用过1.5b的，只能说他连话都说不清楚，人称语态都分不清

♥ 64 ↩ 19

喜欢通义千问！😊❤️

♥ 53 ↩ 7

现在想想。感觉AI大模型或许不需要那么大的算子。DeepSeek。能用560万美元。训练出一个大模型。那说明传统的大模型策略。已经不够用了。传统的AI模型策略是大模型+数据=百亿和千亿的大模型质量。但有一个缺点。就是太消耗算力和显卡了。而小模型策略。是算法+优化训练=百亿的小模型质量。但优点就是。可以不消耗算子和显卡。并利用算法的优势。来构建一个整套的大模型质量。这放在任何一个模型身上。都非常的可观

♥ 48 ↩ 10

这么说吧，当你很熟练一项技能时，这件事对你来说应该是轻而易举不费脑子。把模型做小要用到蒸馏，这个过程就相当于对知识的熟练和强化

♥ 41

小模型才能部署在内存与算力紧张的离线设备上，只要保证基本性能就有发挥空间，大尺寸的个人电脑都不一定有条件跑起来。2b以内模型个人觉得更有边缘部署价值，感觉再发展发展，强化一下指令跟随与逻辑推理，本地小模型+数据库的当时可能会更有用。

♥ 37 ↩ 3

确实，测过那么多种大模型工具，想要全面的大模型工具真的太难了，不如专攻某个领域的深度发展，可惜大厂胃口都太大了[脱单doge]

♥ 33 ↩ 2

微软、阿里，本质都是云服务商，不卖模型卖的是云服务，所以才乐意推小模型

♥ 21

满血的大模型普通用户能用到的也只是被括住的满血，虽然智商是100%，但是输出能力只有10%，他不会让普通用户随便用的[笑哭]

♥ 9 ↩ 1

现阶段感觉14B，12B才算可以用，7B可以处理一些简单的事情。

♥ 9 ↩ 1

先做大再做小

♥ 8

别问~问就是全尺寸。[doge_金箍]

♥ 8

小模型真是妥协，口袋决定性能，27B和32B其实也够大部分人使用了

♥ 6

gemma通义千问真神吧[Neuro sama收藏集_姐姐打call]

♥ 6

看到网上一个文章说的很精确，语言大模型（LLMs）是基于统计模型的理解，而非因果模型的理解。所以小模型是有极限的，大模型并不是从新华字典来理解组成的这段话的意思，而是以这段话的上下文来理解他们的相关性，基于这个理论，要缩小自然语言模型是极为困难的。ai大模型更像是统计学上的突破，像视频里说的洛书的模型，只要给模型输入过往所有水资源的情况，就能通过统计模型来预测未来的资源状况。

♥ 5

app上的模型是什么

♥ 5 ↩ 2

本地 14b 勉强能用了

♥ 4 ↩ 2

UP讲的很好！不过个人认为，多模态模型不是不想做大，而是目前没法做大，自回归的架构很容易引起模态间参数竞争。其次高质量的数据有限，一定程度上只能全参微调给小模型。

♥ 4

up能做一期微调这些小模型的视频吗

♥ 3 ↩ 1