什么显卡能让ChatGPT跑在本地? 计算卡语言模型性能需求分析
合集 · 芯片技术 (37)
-
M1 Pro|Max 性能分析: 拳打i9, 脚踢3080?
8:43
-
【芯观察】M1 Ultra GPU TLB 翻车? 内存子系统深度科普
4:52
-
【M1 Ultra】 大了又大的芯片, 背后到底用了什么技术?
12:26
-
【堆料之王】Apple A15 全面解析: 系统缓存规模赶超6600XT
6:35
-
14nm芯片叠加能超车7nm? 全自研28nm已经量产? 都是胡扯
7:22
-
APU核显交火再现?CCD胶水故技重施?锐龙6000前瞻: 6nm Chiplets 加持, 16核秒Intel,核显追1650,交火秒3050
8:12
-
【芯观察】ARM 要断气了?生态带头者要何去何从?
10:49
-
【芯知识】英特尔12代小核提升不了续航?深入大小核架构与调度
7:49
-
全新RDNA3架构要来了,6000系列值不值得上? AMD路线图+架构深度分析
8:03
-
极客湾芯片能效测试方法不对, 还用错了算数平均? 聊聊能效分析背后的知识
12:38
-
苹果没告诉你的秘密: M1芯片背后的PMIC, 在能效上发挥了什么作用?
11:54
-
AMD自研架构换掉CUDA: 美国Frontier超算如何承上启下, 成为最强最高效的超算?
10:34
-
【M2深度分析】牙膏挤得不多不少, 也是种技术 | MBA 配置解析
10:23
-
【多大才够用?】内存深度科普: 从堆内存到虚拟内存管理
6:24
-
极客湾又错了? M2功耗测试软件解析, 顺带再聊聊数据处理问题
5:25
-
为啥安卓比iOS更吃内存? 从二进制/JVM到App框架设计全面分析
9:00
-
RDNA3架构解析: 优秀的成本控制, 全面跟进的图形技术
4:37
-
四倍性能提升, 追赶PS4/SD? 次世代Switch Orin芯片分析
10:02
-
高通联发科真的超越A16了?聊聊性能量化分析方法, 以及跑分和真实体验的关联
9:26
-
SD能连Switch游戏都能玩? 图形API发展/转译技术大科普
8:52
-
手机平板芯片那么强了, 为何除了原神没有3A大作?
12:24
-
叠了缓存, 但没都叠, 这咋调度? AMD 7950X3D 深度解析
8:01
-
一年提升15-40%性能是什么体验? M2 Pro|Max 分析
5:45
-
N3E青春版是3nm正统? N3B又是啥? 台积电3nm工艺x苹果芯片路线图分析
4:29
-
什么显卡能让ChatGPT跑在本地? 计算卡语言模型性能需求分析
7:23
-
锐评跑分软件Geekbench6: 不伦不类, 货不对板
4:00
-
财报大亏损,服务器大翻车, 还被批评出货「半破坏市场」? 深度解读Intel22财报&研发
8:03
-
拯救信号差,告别双层主板?苹果自研5G基带深度分析
12:11
-
M1大量SWAP+内存压缩还不卡,pSLC让SSD更耐用? 苹果存储协处理器&内存压缩交换机制深度解析
20:22
-
OPPO哲库为何光速解散?深度分析自研芯片失败症结
11:49
-
内存能差两三倍? 两大平台/海内外App内存占用实测
3:05
-
A17 Pro性能前瞻分析: IPC没变? 全靠提频?
14:54
-
M3系列深度解析: 新智能缓存/光追架构, 生产力爆发?
8:58
-
为什么「统一内存」是PC的未来? 从内存技术的瓶颈、芯片封装和HSA软件架构来分析
17:40
-
美术榨干光追性能, 本世代最强实机画质: GTA6首发预告分析, PC显存危机?
14:02
-
Apple R1深度解析: 不止是「信号处理器」
13:46
-
安卓多两倍,推送服务少不了: 双平台/海内外内存占用大横评
15:31
Description
相信最近不少玩 ChatGPT 的小伙伴经常碰到输出速度慢, 甚至是平台算力满载的情况. 与此同时 ChatGPT 加持的新版 Bing 又处在排队中, 这说明大语言模型的应用是建立在高算力和大显存的基础上. 那什么显卡能跑得动 ChatGPT? ChatGPT 资源的瓶颈在哪里? 今天这期视频就来分析一下
Comments
就这么说吧，盘古16b全精度模型是250g左右（github上有，感兴趣自己搜）而chatgpt可以算是gpt-3.5，直接按照gpt-3的1750亿参数来点的话，一个gpt-3的全精度模型需要几t显存才能跑起来，哪怕迁移训练、用半精度模型等操作减小模型，所需的显存大小也绝非个人电脑可能达到的[吃瓜]甚至于一些企业的服务器也没能力部署
♥ 2011 ↩ 64
谁要给ChatGPT完整的一生[doge]
♥ 932 ↩ 24
本地就不要想了，苹果那个弱鸡gpu就更加不要想了。我用两块 3090 跑一个 6B （24G 参数大小）的语言模型，生成一次要等半分钟。
♥ 556 ↩ 60
ChatGPT是一个大型语言模型，需要大量的计算资源才能运行。为了让ChatGPT在本地运行，需要一张强大的显卡。下面是一些显卡性能需求分析的建议： 1. 计算能力：ChatGPT需要大量的浮点计算能力来处理自然语言处理任务。为了达到最佳性能，建议选择具有高计算能力的显卡。例如，Nvidia的GeForce RTX 3090或Titan RTX。 2. 显存大小：显存大小也是一个重要的考虑因素。ChatGPT需要大量的显存来存储模型参数和中间计算结果。建议选择至少16GB显存的显卡，例如，Nvidia的GeForce RTX 3080或RTX 3090。 3. 性价比：显卡价格相差巨大，高端显卡性能强大但价格昂贵，不一定是最优选择。性价比更高的显卡选择可能更加合适。例如，Nvidia的GeForce RTX 3070显卡在性价比方面表现出色，同时也具有足够的性能和显存。 总之，如果想要在本地运行ChatGPT，建议选择具有高计算能力、足够显存以及良好性价比的显卡，例如Nvidia的GeForce RTX 3070/3080/3090或AMD的Radeon RX 6800 XT/6900 XT。
♥ 481 ↩ 12
主要是模型保密，不开源。说实话真的能搞到模型的话，肯花一辆BBA的钱把它跑起来的绝不在少数。
♥ 469 ↩ 34
我问ChatGPT的回答： GPT-3是由OpenAI开发的大规模预训练语言模型，需要较为强大的硬件环境才能运行。具体来说，以下是运行GPT-3所需的最低硬件要求： GPU：至少需要一张16GB的GPU，建议使用Nvidia V100或Nvidia A100 CPU：建议使用16核或更高核心数的CPU 内存：至少需要64GB的内存 存储：至少需要500GB的存储空间，建议使用固态硬盘 需要注意的是，这些是最低硬件要求，如果想要更好的性能和速度，可以使用更高端的硬件配置。同时，为了更好地利用GPT-3的能力，还需要配备适当的软件环境和相应的API密钥。[吃瓜]
♥ 249 ↩ 9
直接跳转到2025年m4芯片内部集成了一套完整的gpt6.0全模型[doge]可满血离线运行
♥ 236 ↩ 25
为了早日实现人手一只AI老婆，我们要支持人工智能技术的发展[脱单doge]
♥ 217 ↩ 3
luv老师的话就像chatgpt生成的一般, 每句都对, 但又好像没什么新内容. (还以为会讲些ZeRO啥的, 专业略相关)("上过大学的观众"这种话说出来纯纯看不起b友了是吧[冷])(以luv老师的气度估计我得进光荣榜)
♥ 187 ↩ 16
拿M2跑大模型真是太酷了，你能不能表演一个多个M芯片交火
♥ 176 ↩ 12
刚读到一篇讲LLM碳足迹的paper,据较为可靠的消息，GPT-3 175B的预训练是在微软提供的具有10000张V100的数据集群上完成的，耗时14.8天。虽然做inference并不需要那么多显存，我们也不知道ChatGPT的具体技术细节，但是合情推理，其开销也是巨大的。
♥ 144 ↩ 18
我把目光投到我的显卡上，我在瞅它，它也在瞅我，算了，让它跑跑色图AI就行了。
♥ 134 ↩ 4
[doge]死心吧，单张消费级显卡一百年后说不定都跑不起来，想下载到本地的用户可以死心了，而且别人也不开源
♥ 126 ↩ 30
意识到微软云计算的强大吧？ 这波是给azure打了波广告啊，算力需求这么高的应用也能玩的转，上亿用户了响应还挺快。 亚马逊应该急了吧
♥ 114 ↩ 9
之前美国限制大显存显存显卡给中，考虑的还挺远。能限制ai发展，ai在未来绝对重要
♥ 84 ↩ 6
计算卡没用，信用卡可以，直接租云服务器不好吗
♥ 83 ↩ 13
很期待chatgpt运用到开放世界游戏的npc上面。真正的开放剧情开放世界游戏就靠chatgpt了
♥ 61 ↩ 6
老黄：这得多亏了全球矿佬的支持。
♥ 56
据chatgpt自述，如果使用已经训练好的预训练模型，只部署推理部分，只要一张4090就够了，乐
♥ 53 ↩ 2
chatGPT是同时应对上亿的用户，如果简化成个人模式，即只需要应答单个用户，是不是家里的设备也能搭建呢？大不了应答得慢点，我问她一个问题，她连线上网搜索再组织成人话告诉我，如果把时延控制在10秒内，感觉应该能接受。。。。。。吧
♥ 42 ↩ 15