【ChatGLM3-6B】本地部署一键包
Description
更新内容详见BV1c34y1w75K和BV1434y1F7JT 提取码一键三连+关注可见（x 什么？关注了也没有？那你看完简介再说 ==================== 解压后，把ChatGLM3和models文件夹放到同级目录 ==================== 恭喜你发现了小秘密 提取码glut 拿了资源就给个免费的赞吧~
更新内容详见BV1c34y1w75K和BV1434y1F7JT 提取码一键三连+关注可见（x 什么？关注了也没有？那你看完简介再说 ==================== 解压后，把ChatGLM3和models文件夹放到同级目录 ==================== 恭喜你发现了小秘密 提取码glut 拿了资源就给个免费的赞吧~
Comments
up，你这个包如何开启glm3的api服务器？和glm2一样吗
♥ 14 ↩ 3
你好，我想问一下这个可以自己加别的东西吗（就比如那个官方展示视频中让glm绘画这种功能）这个可以自己加吗，我看如果只用这个包好像是出不来的，还有就是在官方展示的事例里有那种在线运行Python代码的功能，这种功能这个包可以实现吗（我试的时候好像结果出不来，不知道是操作不对还是什么东西丢了）
♥ 9 ↩ 7
up你的一键包被别人盗用做视频了，是另一个叫”程序员老张b站“的up猪[辣眼睛]
♥ 9 ↩ 4
[打call]已三连，求up主教学glm3本地部署后如何链接网络的教程，[星星眼]if有一键部署包就更美好了[星星眼]
♥ 5 ↩ 4
启动api会报找不到os的错，根据路径找到代码，加上import os就行了
♥ 4 ↩ 2
已三连，[呲牙]请问up主我装了一块p100显卡，调整哪个参数能让模型跑在第二块显卡？
♥ 3 ↩ 4
大佬，”RuntimeError:CachingAllocator option max_split_size_mb too small, must be > 20“是什么原因，还有我看整个过程中GPU一点反应都没有，我是16G内存+4060，处理器有核显，是因为内存以及遇到瓶颈了吗？还是说我机子里的环境配置有问题？
♥ 2 ↩ 4
up主好，请问一下量化类型能自己更改吗，我是移动端的4070，看别人也是8g显存跑int8，但我这边好像一直都是int4[tv_委屈] ps:已经三连支持了，希望up主越做越好[打call]
♥ 2
非常棒！如果能出个本地知识库微调的教程就更完美了！
♥ 2 ↩ 3
支持本地知识库训练吗？
♥ 2 ↩ 3
显存最低要求多少啊？
♥ 2 ↩ 10
[doge]这次改好了吧，明天下班回来下载试试，新加的那个调用工具挺有意思看着，利用工具可以让glm3联网，玩法说不定会更多点
♥ 2 ↩ 2
出现以下问题怎么解决啊？救救我！！！raise HFValidationError( huggingface_hub.utils._validators.HFValidationError: Repo id must use alphanumeric chars or '-', '_', '.', '--' and '..' are forbidden, '-' and '.' cannot start or end the name, max length is 96: '..\..\models\THUDM_chatglm3-6b'.
♥ 1 ↩ 1
为什么我的不加载呢？
♥ 1
你币有了
♥ 1
大佬，运行到任意键继续后程序直接崩溃了，后面什么反应都没了，下面是驱动版本 CUDA也是刚下的2.3
♥ 1 ↩ 3
能出个api的教程吗，只往content里面写东西，其它的用默认值，虽然能返回结果，但是会报一堆错[笑哭]
♥ 1 ↩ 1
up你好请问steamlit打开后很多东西加载不出来是为啥呀？
♥ 1 ↩ 3
已经成功在本地部署，已投币，如果能出个api调用教程就更好了[支持]
♥ 1 ↩ 2
能添加一个手动设置量化参数的吗，不想一次性用那么多，挂后台用于局域网服务的，前台要干别的，要显存
♥ 1 ↩ 2