【教程】ChatGPT小型平替？ChatGLM从零开始本地离线部署教程！

合集 · 教程 (1)

9:11
【教程】ChatGPT小型平替？ChatGLM从零开始本地离线部署教程！

Description

第一次做教程和在视频中说话，可能有些不足，请大家谅解！

教程提到的地址：

https://github.com/THUDM/ChatGLM-6B

https://git-scm.com/

https://pytorch.org/

https://download.pytorch.org/whl/torch_stable.html

Comments

zf481464 2023-04-02

GLM差远了，真的想用离线版本的建议尝试gpt4all，效果好得多。并且这类小模型的通病是没有逻辑，这个没办法，根据google 2022年那个COT的论文，出现逻辑是175B级以上的模型的专属能力，也就是最起码你的模型要是100B以上的参数，或者最少最少也要是最大的那个LLAMA才能跑。所以我觉得接下来最有戏的反而不是微调这种6B 7B的玩具，而是直接部署蒸馏175B甚至更大的模型。最近github上有个框架叫colossalAI，可以显著减少部署的消耗，什么时候能把175B的模型压缩下来，什么时候就真的是人人都能玩类人智能的时候了。

♥ 45 ↩ 7

resohn 2023-03-15

厉害吧，我室友[doge]

♥ 43 ↩ 5

瞾天p 2023-03-15

在环境配置的时候，如果要使用web_demo，可能还需要安装gradio，大家在进入虚拟环境之后，输入pip install gradio就行了

♥ 29 ↩ 4

兔大将 2023-03-29

实测有用的环境： win11笔记本 rtx3060 6g python 3.10 cuda11.6 cuDNN8.5 torch1.13 模型是开着梯子直接运行的web_demo.py直接下的最近仓库好像更新了，我试了下问答反应挺快的，几秒即答 Facebook 的llama不知道能不能本地部署一下，有空试下[打call]

♥ 20 ↩ 2