「官方教程」GLM-4-9B 实战部署和微调

合集 · 模型部署和微调 (9)

Description

自 2023 年 3 月 14 日开源 ChatGLM-6B 以来，GLM 系列模型受到广泛关注和认可。特别是 ChatGLM3-6B开源以后，开发者对智谱AI 第四代模型的开源充满期待。

为了使小模型（10B 以下）具备更加强大的能力，GLM 技术团队进行了大量探索工作。经过近半年的探索，我们推出了第四代 GLM 系列开源模型：GLM-4-9B。

在预训练方面，我们引入了大语言模型进入数据筛选流程，最终获得了 10T 高质量多语言数据，数据量是 ChatGLM3-6B 模型的 3 倍以上。同时，我们采用了 FP8 技术进行高效的预训练，相较于第三代模型，训练效率提高了 3.5 倍。在有限显存的情况下，我们探索了性能的极限，并发现 6B 模型性能有限。因此，在考虑到大多数用户的显存大小后，我们将模型规模提升至 9B，并将预训练计算量增加了 5 倍。

综合以上技术升级和其他经验，GLM-4-9B 模型具备了更强大的推理性能、更长的上下文处理能力、多语言、多模态和 All Tools 等突出能力。GLM-4-9B 系列模型包括：基础版本 GLM-4-9B（8K）、对话版本 GLM-4-9B-Chat（128K）、超长上下文版本 GLM-4-9B-Chat-1M（1M）和多模态版本 GLM-4V-9B-Chat（8K）。

 GitHub仓库链接：https://github.com/THUDM/GLM-4

本期分享嘉宾：@zR_ZYX

Comments

AI视频小助理 2024-06-27

--本内容由 @完美困惑度大佬下凡召唤，热心市民@AI视频小助理闪现赶来一、开源模型的实战部署和微调，包括模型下载、部署、微调和工具调用等，同时分享了收到大家需求和改进的内容。 00:01 - 介绍GM4-9B开源模型的实战部署和微调 02:01 - 下载模型的注意事项和不同模型的区别 06:09 - OpenAI接口的改进和建议使用V2M相关操作来部署二、VLLM底座的基本demo的使用方法以及注意事项，包括显存限制、微调模型、模型推理等。同时还提到了一些常见问题的解决方法。 08:22 - 设置8K是因为显存限制，推荐微调模型使用 10:15 - 王者demo集成了gm4开源模型和AUTOOLS能力 13:05 - 推荐使用bf16进行推理，勿调用LP16进行微调模型训练三、在模型部署中需要注意的几个点，包括显存限制、数据集构建和模型微调等。同时还讲解了如何使用flash attention和修改代码等。 16:40 - 需要注意显卡数量和模型长度 18:20 - 数据集有非工具微调和工具微调两种类型 20:48 - 数据处理单元是微调最重要的部分，需要重写数据单元四、如何通过微调配置文件来更改LOLA be tning和SFT的学习力和训练、验证、测试集等文件，以及数据集的格式和注意事项。 25:02 - 可以修改学习力以及训练的文件，包括测试集的文件 26:26 - 代码中不会改动，只需要指定数据集的位置即可推理 30:01 - 正在适配欧AMA和拉玛CPP，以及gm4V9B的VM推比，其他需求正在调研和设计阶段五、一个简单的微调效果实现过程，包括模型推理和保存点导入等操作。同时提到注意事项和建议，以及一些常见问题的解答。 33:20 - 实现一个简单效果的微调，推理过程简单。 35:25 - 建议使用其他微调方案，因为这个方案不是高效的。 38:38 - gm49B不支持多角色对话应用，但GM4支持多达28种小语种。六、一个语音识别框架，该框架可以进行微调，适用于LOLA和STOK等语音识别任务，同时作者也提到了该框架在内存和显存方面的要求。 41:40 - 该框架不需要额外的操作，可微调性高 42:13 - 在GIT 实名羡慕up这溢出屏幕的才华[点赞][点赞][点赞]，YYDS！快来一键三连吧[热词系列_优雅]

♥ 10