【官方教程】ChatGLM2-6B 部署与微调

我问一下哈，自己是个学生。比如我想弄个ai蜂巢，里面塞一排多线程的机器人，结合gpt的思考能力和rpa的自动办公能力以及python的胶水语言，让工蜂1号ai去帮我规划时间，让工蜂2号ai去帮我白嫖学习资料，让虫后号ai检测工蜂们是否运行合理，然后人去学习，啥资料都不找了，这样能用chatglm实现吗[星星眼]

♥ 47 ↩ 12

请问大佬 申请商用许可大概要多久呀

♥ 17 ↩ 15

微调需要什么样的硬件呢？

♥ 17 ↩ 22

GLM系列追剧中。。。悄悄问下，这个文档稍后会放出来吗

♥ 15 ↩ 5

听着有回音，人声不清晰，下次可以先写稿子然后AI tts 合成人声吗

♥ 13 ↩ 4

一、如何使用Cheat GM6B模型进行本地部署和微调，同时介绍了该模型的特点和使用成本。视频详细介绍了如何下载、安装和配置该模型，并给出了具体的使用场景和示例。 二、如何在GITHUB上安装和使用模型，包括基础环境的配置、模型权重的下载和本地模型的加载等步骤。同时介绍了一些基本的操作和注意事项。 08:20 - 建议使用Python环境，可以从GITHUB上下载基础包 09:10 - 下载模型权重，有两种方式，一种通过Python代码调用，另一种国内可访问的模型权重下载方式 11:56 - 本地跑模型，需要手动设置加载模型路径，使用Python命令行运行模型 三、如何通过参数化、压缩等方式优化模型，从而本地部署和使用。同时，我们还介绍了模型微调的概念和常见方式。 四、基于prompt和微调的模型优化，以及高效参数微调的原理和优势。同时，也提到了在使用tensorflow时需要留意参数的大小和数量。 25:01 - 模型有多种方式来完成任务，如微调、全参数微调、高效参数微调等 26:03 - 基于prompt优化模型效果不稳定，一般不使用 31:03 - 高效参数微调实现简单微调，成本较低，适合资源有限场景 五、介绍envillage sage和BALIZATION的发展，以及高效参数微调的实现方法，包括使用JSON和CSV格式保存模型参数等。 六、如何使用微调模型来提高模型的效果，同时介绍了一些相关的技术和方法。此外，我们还讨论了多轮模型和一些行业专用模型的问题。 七、如何使用法律知识微调模型来提高法律聊天能力，避免幻觉性问题，并介绍了该模型的具体实现过程。 八、法律模型，包括问答、合同生成等内容。通过使用领域知识和数据微调，可以提高模型专业能力。同时介绍了开源法律模型和部署方式。 58:20 - 左边模板可迁移到类似问题 59:44 - 合同生成模型可支撑法律分析 01:02:10 - 领域知识库模型可注入更多知识 --本内容由AI视频小助理生成，关注解锁AI助理，由@海吧哀 召唤发送

♥ 11 ↩ 1

视频简介: ChatGLM2-6B 部署与微调的详细介绍

♥ 7 ↩ 1

拯救者的3060laptop只有6g显存，不知道能不能本地部署[笑哭]

♥ 5 ↩ 7

好欸，先mark下。6B全参微调的话要多大显存啊？

♥ 5 ↩ 4

请问如果我想用chatglm2-6b做一个领域知识问答的微调，那这个数据集的格式应该是怎样呢？只需要包含问答对的'content'和'summary'两个key就行了吗？[抓狂]

♥ 4 ↩ 6

21:45 模型微调

♥ 2

有上大学念ppt的感觉了，微调前效果和微调后的效果动手跑一下看看啊[灵魂出窍]

♥ 2

这段视频是一个对 ChatGLM6B 模型的微调实践的介绍。视频首先简要介绍了 ChatGLM2-6B 模型以及模型的应用场景，然后详细解析了在微调实践中遇到的问题，包括模型效果不理想、无法理解某个问题、无法回答某些问题等。接着视频介绍了如何通过调整参数、增加训练数据、优化模型等方式来提高模型性能，并给出了具体可行的建议。最后，视频呼吁大家多关注模型微调实践，共同推动模型技术的发展。该视频为中文视频，约4分30秒。【本号由AI运营，私聊时由AI回复】

♥ 2

找到模型下载到的本地文件夹了，在C:\Users\用户名\.cache\huggingface\hub\models--THUDM--chatglm2-6b\snapshots\里

♥ 2

ChatGLM2的模型文件放在了哪个文件夹？我安装部署成功，并且运行成功了，推理都正常，怎么在安装目录里找不到模型文件bin？ 哪位大神指点一下

♥ 2 ↩ 1

试了下int4，但是居然爆显存了。。。。。。是我哪里没设置对吗？另外改用cpu后报 TypeError: 'NoneType' object is not callable是什么原因？

♥ 2 ↩ 3

能不能给我个机会赞助你个好点的麦克风[大哭]

♥ 2 ↩ 2

弱问用hugging face的那种run法，之后我问的（比如敏感，隐私）问题会传到hugging face的server上去吗？还是说由于模型/权重都下下来了，计算都在自己电脑上进行？谢谢

♥ 2 ↩ 1

想请教下各位 如果想用glm对外提供服务 怎么实现并发？比如我要同时对5个用户服务 只能启动5个模型实例嘛？感觉这样还挺消耗资源的 即使是6B[辣眼睛]

♥ 2 ↩ 5

结合行业库知识库，使用langchain吗

♥ 2 ↩ 1