本地部署AI小模型真的没有意义？我为什么如此上头AI~

Description

大家好！我是司波图。这期视频我来跟大家聊聊我最近沉迷AI的经历，以及我对小型AI模型本地部署的一些看法。
AI在生活和工作中的应用：分享如何利用大语言模型解决生活中的实际问题，例如育儿喂养建议。
探讨AI在技术方面的帮助，例如在Linux下部署深度学习环境。
展示如何使用Cursor等工具，通过AI代理控制电脑，实现自动化操作。
AI在技术方面的应用：介绍如何使用Dify工作流，结合大语言模型和API，自制刮削器。
探讨AI在处理多模态任务方面的潜力，例如图像识别和信息整理。
介绍一些AI工具，例如：OmniParser，Qwen2.5-vl。
本地部署小型AI模型的意义：分析小型AI模型在特定任务中的实用性，例如文本识别和图像处理。
讨论本地部署的优势，包括隐私保护和稳定性。
介绍一些小的模型，例如：Gemma3 27b，QwQ32b，以及Qwen模型。
介绍一些AI应用，例如：F5-TTS。
总结：分享个人对AI发展的看法，鼓励大家保持学习和尝试的心态。
呼吁大家关注小型AI模型的潜力，不要忽视它们的价值。

Comments

dafeinie 2025-03-25

确实，好多年没碰到想通宵研究的东西了。上一个是五六年前的 nas 系统+docker ，再上一个是十多年前的虚拟机和硬件桥接，再上一个快二十年前路由交换技术，再上一个是 386 时代第一次接触命令行直到 diy 年代…前面的这些都是钢筋水泥一样的技术味很重的基础技术提升。ai 也提出来很多年了，但是从未感受到像大语言模型这样深入生活的直接浸润到每一个非技术人员的技术。

♥ 109 ↩ 11

AyeUniCute 2025-03-28

我个人觉得大模型是很有用的，但是对于多数人而言，除非你有极致的隐私性需求，从成本、速度、质量方面考虑，本地部署远不如直接用厂商提供的api。多数的nas，本地撑死跑一个量化后的32b模型，速度也就20-30token/s，上下文长度还非常受限。但是用api的话，比如gemeni flash这种，1m上下文，200token/s，还可以十几个并发，完全碾压。

♥ 99 ↩ 6

小灰机灰呀灰 2025-03-25

dify的最终结局就是自己开发，他的sandbox限制很怪，能力范围仅限于菜鸟编程里面的案例，你虽然可以用requirements-sandbox.txt之类的导入新的包，但最后还是会很高概率出现OS权限问题和SSL请求问题。除此之外前期的插件1.0.0生态搞得官网和自建全部炸了，已有的合作项目和个人使用项目基本都停摆或者是临时关闭了。我的评价是如果你想用来尝鲜那是没问题，因为目前AI生态基建差到爆炸的情况下dify算是里面比较OK的。但是如果你想用来自己使，建议github项目切换到0.1X.X版本以避免系统问题。如果你遇到的甲方特别喜欢dify也需要去做好风险告知。（为什么官网的应用炸了，自建也会炸呢，怎么回事呢）

♥ 77 ↩ 28

万年蹲站 2025-03-27

关于AI本地部署这个事情，感觉网上很多人，包括up，都有了点跑偏的倾向。绝大多数精力投入在怎么安装、怎么使用、怎么优化AI这个工具本身。没有实际的应用指向，可有可无，有点空对空的自嗨的感觉。用通俗的话讲，类似于出现了一个新奇玩具，就全身心的去研究它为什么新奇、有没有办法让它更新奇的思路。其实本地部署，对于像我们这种更接近基础需求的人，除了搜索资料，它更大的作用是结合一线的原料、物料参数、结合十几几十年的人类实际操作经验，代替人工接管本地的生产设备。这对我们是一种绝对有必要的存在。

♥ 80 ↩ 21

The0ther 2025-03-25

小模型可以用，但是不是类似于现在这种，蒸馏14B、7B这类的玩意。大模型是全科生，这种小模型是全科小学生，就啥都懂，但是啥都只懂皮毛，硬让他结题就胡言乱语。真正可用的小模型需要有些技术门槛，比如拿671B的全量模型，把你不用的领域裁剪了，剪了只剩基本语言生成和育儿、医学、营养学的内容，把别的例如code、高级数学、法律……的内容裁剪掉。缩小模型体积的同时不丢失指定专业的知识库

♥ 59 ↩ 4