小天fotos 2024-06-06 我也刚测了，我的场景，大部分任务都跑不通，没法用 另外，用vllm部署时，可以创建一个generation_config.json,在里面设置好 "eos_token_id": 【 151329, 151336, 151338 】, 就不会重复了。（qwen系列都会提供这个文件） 感觉智谱没有太认真做开源，这些配合推理框架的工作都没做好，模型发布时也不提供量化版 ♥ 4
爱摸鱼的zzc 2024-06-05 新发布一个说明，本次测试是我疏忽了，GLM4-9B使用官方demo无重复的问题，并且逻辑也好一点，个人推测是chat template和其他模型不通用，并且stop token也与其他模型不通用，text-generation-webui和vllm未适配这两个特性，个人推测不一定对，希望官方多多指教[doge]@ChatGLM ♥ 2 ↩ 3
爱摸鱼的zzc 2024-06-05 github repo:https://github.com/THUDM/GLM-4 huggingface repo:https://huggingface.co/THUDM/glm-4-9b-chat 不量化占用18G左右，20G显存就能玩，AWQ量化一下大概8G显存就能玩 ♥ 1
Comments
终于发现只有开源才有前途了？终于发现比不了openai，也比不过千问然后终于开源了[doge]
♥ 6 ↩ 8
我也刚测了，我的场景，大部分任务都跑不通，没法用 另外，用vllm部署时，可以创建一个generation_config.json,在里面设置好 "eos_token_id": 【 151329, 151336, 151338 】, 就不会重复了。（qwen系列都会提供这个文件） 感觉智谱没有太认真做开源，这些配合推理框架的工作都没做好，模型发布时也不提供量化版
♥ 4
刚测了一下RAG，一言难尽，材料抄都能抄错[吃瓜]，P1 qwen1.5-32-Chat-AWQ，P2P3 GLM4-9B-Chat
♥ 3 ↩ 10
新发布一个说明，本次测试是我疏忽了，GLM4-9B使用官方demo无重复的问题，并且逻辑也好一点，个人推测是chat template和其他模型不通用，并且stop token也与其他模型不通用，text-generation-webui和vllm未适配这两个特性，个人推测不一定对，希望官方多多指教[doge]@ChatGLM
♥ 2 ↩ 3
为什么glm系列都没人搞gguf格式
♥ 2 ↩ 4
[doge]
♥ 2
大佬，有什么模型是16G显存的4070tis能玩的吗？
♥ 1 ↩ 1
哇 UP好牛
♥ 1
哇 UP好牛
♥ 1
哇 UP好牛
♥ 1
首发，首发
♥ 1
github repo:https://github.com/THUDM/GLM-4 huggingface repo:https://huggingface.co/THUDM/glm-4-9b-chat 不量化占用18G左右，20G显存就能玩，AWQ量化一下大概8G显存就能玩
♥ 1
新开源？拿来吧你[五月织姬ctsu_我是牛忙]
♥ 1
我去，是音理！glm4v9b up有测过吗，4bit量化大概占多少显存[doge]
那我就不下载了[吃瓜]
upup TTS 用的 gpt-sovits 嗎？
↩ 1
有笨蛋
↩ 1
UP主加油！看好你噢~