5分钟学会微调大模型Qwen2

训练样本格式必须是 { "question": "", "answer": "" } 吗？ 下面的格式可不可以？ { "instruction": "", "output": "" }

♥ 100 ↩ 8

GPUEZ智能算力云平台: https://gpuez.com/ 懒人包下载地址: 链接：https://pan.baidu.com/s/1nHs1WEzbC64GiKbNqiWpJw?pwd=4pje 预训练模型在model文件夹中，大家也可以下载其他的模型放到这个文件夹里面微调哦 （需要修改train.py 第10行的模型路径） 简介大家习惯性忽略[偷笑]看这里吧[脱单doge][脱单doge][脱单doge]

♥ 95 ↩ 17

想练个特定角色的大模型，打算用qwen1.5 14B，训练数据大概400句问答，这个需要多少显存，我有个4060 16G能本地整吗

♥ 80 ↩ 23

helloworld会了，进阶的方向怎么走

♥ 39 ↩ 2

9.11和9.9谁更大，这不是大模型的错，是人类的错误，因为从序列角度看，一篇文章的第九章第11节肯定是在第9节后面啊，所以9.11肯定是比9.9大。而从数值角度看9.9要和9.11对比，实际也应该是9.90和9.11对比，位数相同才可以比大小嘛

♥ 30 ↩ 5

花子，微调大模型之后是不是安排下rag[doge]

♥ 20 ↩ 1

如对[doge_金箍][doge_金箍][doge_金箍]

♥ 16 ↩ 3

除了训练大模型，部署大模型也是一个很重要的环节，尤其是当你希望把大模型做成API的形式，以便接入可穿戴设备，目前国外部署大模型的平台有hugging face，国内不知道。

♥ 16 ↩ 2

挺好的，感谢科普~ 有个小建议，如果可以在训练前先问下同样的问题，得到错误答案，可能更加有说服力。。因为像我这样的吃瓜群众其实是不知道千问2-0.5B本身是否具备回答这个问题的能力的。。毕竟千问2是出的相对晚的模型。。

♥ 15 ↩ 1

有视觉大模型吗？项目需要做复杂环境下的人物识别，想拿来打标[笑哭]

♥ 15 ↩ 4

up好多细节都没讲，买服务器这关就卡住了，怎么配置呀。框架名称，框架版本啥的，能给一个推荐的不

♥ 12 ↩ 1

请问一下你这里微调的是qwen2几b的模型哇，我想使用unsloth如何实现呢？

♥ 11 ↩ 9

三连了，但是报错了，能指导我安装一下吗？4090显卡等待进行微调。

♥ 9 ↩ 7

想知道用CPU能训练吗？会不会超级久[笑哭]实验室有闲置服务器，128核，内存也有512G

♥ 9 ↩ 7

求你别教了，我是真用这东西写了论文😭

♥ 7

up讲的很好，但我有个疑问，13.11和13.9比大小为什么ai不直接调用计算器来计算呢？如果正那就左边大于右边，如果负那就左边小于右边，我们思考13.11和13.9哪个大时不也是计算一遍就知道哪个大吗？如果增加很多解决这种小问题的训练样本来训练的话，不会导致模型越来越大吗？我之前看一个up的视频讲，内容记不清，大致意思就是模型越大，学习新内容时需要投入的资料、训练时间就更多

♥ 6 ↩ 5

算力才是根本啊，[星星眼]

♥ 6

博主能不能再只发下代码呀，预训练模型已经有了，在百度网盘上下载太麻烦了[委屈]

♥ 5 ↩ 4

up主好，请教一个问题。我没有设备，准备用魔搭或者百炼用平台来微调，但是我初步了解了一下百炼，发现数据要求是问-答对。但是有些我这里的数据，比如好多都是教师讨论的数据，要怎么转换成问答比较好呢？我有一个初步想法是用大模型来生成问答对，但是不知道是否可行？我也很疑惑，难道非要用问答对吗？还请up有空了指教一下。

♥ 4 ↩ 1