Meta披露Muse基础模型与Prometheus训练基础设施
Meta官方称,Muse系列(含Muse Wonder)在俄亥俄州纽奥尔巴尼的Prometheus“吉瓦级”超算上训练;该集群横跨数十万GPU。官方给出的工程指标为预训练goodput 85%+、强化学习90%+,Muse Wonder训练中断的平均间隔约4.7万GPU小时,重点是让单个掉队主机不致拖垮全局作业。
超大规模训练的瓶颈不只在算力,还在调度、故障隔离和有效吞吐;公开这类运行指标,有助于评估大模型训练基础设施的工程成熟度。
原始来源与证据范围 1 条
- X · @AIatMeta ↗
已读取原帖正文;所附视频/图片未核验