rexis888 2024-05-26 郑院士说的都是干货啊，大模型不是纯攻算力和电供就够了，还有超高速数据连线网络，超大型超高性能存储等等。比如说英威达另一个出名的强项是百TB级别的交换机（没错插显卡的PCIe 4.0也就16GB/s）。 ♥ 30 ↩ 5
AI全文总结 2024-05-23 概述: 曾伟明教授介绍了设计大模型基础设施时需要考虑的五个关键问题，包括半精度和双精度运算性能平衡、网络连接设计、内存与数据负载平衡、IO子系统与检查点平衡，以及国产芯片的软件支持。 要点: - 📊 半精度与双精度运算平衡：追求半精度运算性能，同时保持一定双精度运算能力，理想比例为1:50或1:100。 - 🌐 网络连接设计：优化互联网络，降低连接成本和卡位限制，采用多计算机互联降低单台计算机卡位压力。 - 💾 内存与数据负载平衡：确保内存请求流畅，避免堵塞，优化数据负载分配。 - 🔄 IO子系统与检查点：支持高效检查点机制，快速恢复训练，避免长时间写入硬盘导致的延迟。 - 💻 国产芯片软件支持：针对国产芯片，需开发和优化相关软件以支持大模型训练。 ♥ 14 ↩ 3
Comments
郑院士说的都是干货啊，大模型不是纯攻算力和电供就够了，还有超高速数据连线网络，超大型超高性能存储等等。比如说英威达另一个出名的强项是百TB级别的交换机（没错插显卡的PCIe 4.0也就16GB/s）。
♥ 30 ↩ 5
郑老师，我们公司正在做这部分的软硬件开发，希望得到您的指导[呲牙]
♥ 15 ↩ 2
是您吗[捂眼][捂眼][捂眼]
♥ 14
概述: 曾伟明教授介绍了设计大模型基础设施时需要考虑的五个关键问题，包括半精度和双精度运算性能平衡、网络连接设计、内存与数据负载平衡、IO子系统与检查点平衡，以及国产芯片的软件支持。 要点: - 📊 半精度与双精度运算平衡：追求半精度运算性能，同时保持一定双精度运算能力，理想比例为1:50或1:100。 - 🌐 网络连接设计：优化互联网络，降低连接成本和卡位限制，采用多计算机互联降低单台计算机卡位压力。 - 💾 内存与数据负载平衡：确保内存请求流畅，避免堵塞，优化数据负载分配。 - 🔄 IO子系统与检查点：支持高效检查点机制，快速恢复训练，避免长时间写入硬盘导致的延迟。 - 💻 国产芯片软件支持：针对国产芯片，需开发和优化相关软件以支持大模型训练。
♥ 14 ↩ 3
工程技术问题我国科研前辈值得信赖
♥ 10
地级搞不起超算也配不齐人搞大模型，所以还是普遍使用大型机甚至是普通服务器作为大数据处理中枢，应该制定相关政策防止地方用大型机冒充超算骗补。
♥ 5
多卡训练一直是一个有意思的东西，但是现有的方案都是用的国外的[吃瓜]
♥ 5 ↩ 2
老航天
♥ 3
老爷子中气足啊！
♥ 2
呼叫章北海同志
♥ 2
[doge]国内年轻人都出不了东西，老头们把持这个世界
♥ 1
什么时候有类似免费版ChatGPT4o的国产化大模型可以用？
♥ 1
区块链是不是可以解决这个问题 就是效率有点差