DeepInfer开源:DeepSeek公开V4.1-Flash离线推理框架
DeepSeek官方开源内部大规模推理框架DeepInfer(Apache 2.0),用于离线运行DeepSeek-V4.1-Flash。仓库提供FlashMLA、DeepGEMM、DeepEP等优化内核,以及注意力DP/CP、MoE EP+EPLB、DSpark草稿验证、异步批调度、批不变推理、确定性采样和结构化输出,支持NVIDIA SM100与昇腾950。
开放对象从模型权重延伸到生产推理栈,开发者可研究批一致性和多类并行策略;但完整服务仍需自行补齐关键组件。
原始来源与证据范围 1 条
- X · @deepseek_ai ↗
已读取原帖正文;已读取所附允许域名页面(不证明视频画面)