纳西妲测试最新发布的Internlm2.5-7B-Chat | 使用lmdeploy推理与量化

本视频使用的AI配音：来自@FloratinaSounds  提供的纳西妲GPT-SoVITS模型
internlm2.5-7b在huggingface上的介绍：
https://huggingface.co/internlm/internlm2_5-7b-chat

internlm2.5-7b在github上的介绍：
https://github.com/InternLM/InternLM/tree/main
https://github.com/InternLM/InternLM/blob/main/model_cards/internlm2.5_7b.md

推理backend：
https://github.com/InternLM/lmdeploy

lmdeploy的官方文档链接：
https://lmdeploy.readthedocs.io/en/latest/index.html

本次演示使用的设备：
3090 24G