DeepSeek通过工程化能力创新,实现了大模型训练和推理算力成本的极致优化,也为端侧部署高性能模型提供新的方向。本篇报告我们通过分析DeepSeek V3和R1模型论文,理解其核心逻辑是“按需分配算力,最小化冗余计算”,使得千亿级模型在低成本硬件(甚至边缘设备)上高效运行成为可能,为大规模商业化落地提供了技术基础。我们看好DeepSeek新一代模型带动云端推理需求爆发,加速AI应用端侧落地:建议核心关注晶圆代工、国产算力芯片、定制化存储、终端品牌、SoC五大方向。
▍DeepSeek如何实现的训练成本降低?
1)架构创新: DeepSeek-V3的基础架构中采用了DeepSeekMoE专家架构和MLA多头潜在注意力机制,DeepSeekMoE通过细粒度专家分配、共享专家及无辅助损失负载均衡策略优化传统MoE,提升计算资源效率;MLA通过低秩联合压缩减少注意力键值缓存占用,提升计算效率、减少内存消耗。
2)FP8混合精度训练:在全球主流大模型中率先采用FP8低精度数据进行大规模训练,大部分核心计算用FP8提升速度、降低内存用量,部分关键操作保留高精度确保动态稳定性。
3)训练工程优化:DeepSeek在主流大模型中率先采用硬盘充当输入端缓存,设计DualPipe算法实现高效流水线并行,融合前后向通信阶段,减少阻塞;采用定制化高效跨节点all-to-all通信内核降低通信开销;通过重计算、EMA、共享向量和输出头减少内存占用。
4)数据策略优化:应用多token预测机制MTP,增加训练信号密度,减少20%训练迭代次数,帮助模型捕捉长距离依赖关系。
▍DeepSeek如何实现的推理成本降低?
DeepSeek-V3对推理的预填充和解码两个阶段都优化了专家使用效率:预填充阶段MoE用EP32及冗余专家策略提升效率,解码阶段探索动态路由减少通信开销;还通过支持FP8、INT8量化和提供蒸馏版本,实现低精度量化与模型压缩,减少显存占用。DeepSeek的开源生态可以更好支持硬件厂商适配,例如可以对MLA算子优化提升推理效率,DeepSeek-R1发布后国内外芯片厂商快速响应支持DeepSeek。1月25日,AMD宣布已将新的DeepSeek-V3集成到Instinct MI300X GPU上并经过SGLang对推理过程进行了优化,英伟达、英特尔也随后在1月31日官宣支持。国内厂商都已经官宣完成对DeepSeek的适配,国产算力成为相对稳定可靠的选项,支撑国产大模型从研发走向商业化。
▍从DeepSeek算力需求看AI芯片设计方向?
DeepSeek 在论文的芯片设计意见指导中指出通信和计算同等重要,计算方面降低精度和内存需求是关键。在通信硬件优化上,DeepSeek建议开发独立通信协处理器,实现计算与通信物理分离,同时建议融合网络架构,统一IB和 NVLink的网络协议栈,统一通信接口以简化编程复杂度和降低通信延迟;在计算硬件优化上,建议提升 FP8 计算精度,并支持分块量化与在线量化,减少访存开销,提升推理效率。我们认为DeepSeek建议带来两点启示:
1)“推理速度”基本90%是由decoding阶段决定的,因此内存容量决《BET9九卅最新官网》定大模型推理速度,我们认为内存升级仍是算力芯片升级的重点方向,看好近存计算发展。
2)我们认为在模型开源的策略下,DeepSeek-R1蒸馏后的小模型性能有望持续快速提升,帮助端侧硬件加速接入,助力AI应用全面落地。我们看好品牌商和SoC芯片厂商的成长机遇。
▍风险因素:
算力芯片供应链风险;芯片产能供给不足的风险;互联网大厂资本开支不及预期;相关产业政策出台力度不及预期;AI技术及应用发展不及预期;芯片技术迭代不及预期;国产先进制程量产进展不及预期;行业竞争加剧等。
▍投资策略:
我们看好DeepSeek新一代模型带动云端推理需求爆发,加速AI应用端侧落地:
1)云端:DeepSeek有望开启全新的Scaling Law,模型重心逐步从预训练切换到强化学习、推理阶段,助力算力需求持续增长。
2)终端:我们看好DeepSeek带来模型轻量化的全面升级,端侧硬件接入有望加速爆发,助力AI应用全面落地,建议关注品牌厂商,SoC芯片厂商。
责任编辑:凌辰
比起八强的王牌球队,昔日冠军德国队未能从小组出线的 ☼命BET9九卅最新官网运更是让人唏嘘。“汉斯·弗里斯克曾经是德国队上一次获得世界 ⏫杯冠军时的助理教练,他知道该如何获得世界杯,但是他手头目前没 ✌有合适位置上可用的人才,德国队的球迷一直希望他们传统意义上的 ♊中锋能够存在。”解说员冷静分析了德国队连续两届世界杯小组未能 ❧出线的关键后,也用“最德国”的方式表达了遗憾与祝福 ♏,“德国足 ⚓球能踢出像贝多芬的音乐一样强烈而激情的不朽咆哮。但是德国队没 ❗有做到这一点,连续两届世界杯,他们踢出来的,像是瓦格纳的歌剧 ☺《尼伯龙根的指环》,人们想起了当中著名的乐章《诸神的黄昏》。 ♏”让广大球迷衷心期待 ♎,重新上路的德国,能够早日“战车”归来。
很多人不认同他在此前离开巴塞罗那、转会巴黎圣日耳曼的决 ♐定,他们惋惜MSN的故事过早画上句号,认为内马尔加盟巴黎是为 ⛪了金钱和享乐,即使他不断强调是希望换个环境证明自己 ♎。BET9九卅最新官网
本报记者 张荫麟 【编辑:侯炜 】