国泰君安主要观点如下:
DeepSeek《足彩310预测推荐分析》通过多处工程创新,实现降低训练成本、降低推理成本、提高模型效果等进展
1)降低训练成本:DeepSeek使用较宽的MOE架构,且提出共享专家机制,每次训练只激活需要的专家(按需调用),而非激活全部专家,从而大大降低训练成本。此外,使用fp8低精度训练、双管道训练、多Token预测等方法进一步降低训练成本。
2)降低推理成本:DeepSeek提出多头潜在注意力(MLA),在不牺牲模型质量的前提下,大幅减少KV缓存的大小。此外,低精度存储和通信、推理阶段动态专家选择等方法进一步降低推理成本。
3)提高模型效果:不同于传统的SFT,DeepSeek使用强化学习做post-training,大幅提升模型推理能力。此外,DeepSeek针对中文做了大量风格对齐,大幅提升模型可用性。
DeepSeek触发模型降本,长期看,打开AI应用产业上升通道,算力需求不降反增
蒸汽机效率提升并没有导致煤炭少用,DeepSeek虽然触发模型大幅降本,但长期看将打开AI应用产业上升通道,算力需求不降反增,因算力需求具备多样性:1)模型向更高智能维度跃迁,训练需要更多算力。2)AI应用的推理需要广泛算力,更多人会去训练和推理自己的模型。3)转向对等异构计算的新主流计算形态需要更多GPU。4)目前模型仅仅停留在对话,未来从对话到任务、到多模态还需要更多算力加持。
根据AI产品榜,DeepSeek应用(APP,非网页)成为增速最快的AI产品,上线20天即达成DAU 2000万,反映出模型能力提升对于用户的巨大吸引力,带来潜在的巨大推理算力需求。
DeepSeek并没有真正绕过CUDA架构
DeepSeek没有使用CUDA的API,而是直接使用PTX,从而对计算过程进行更细粒度的控制。PTX仍然是英伟达GPU架构中的技术,是CUDA编程模型中的中间表示,用于连接CUDA高级语言代码和GPU底层硬件指令。编写PTX代码的做法,首先非常复杂且难以维护,对技术人员要求极高,其次移植性较差,较难移植到不同型号的GPU。
DeepSeek基于PTX进行优化代表他们有优化其他GPU的能力,但既不意味着完全脱离了CUDA生态,也不意味着其他团队有能力直接使用PTX,因此英伟达的CUDA护城河仍在。
风险提示:地缘政治风险;大模型迭代进展不及预期;监管风险;商业化进度不及预期。
责任编辑:史丽君
经历2年零5个月的波动,全国新房价格每平方米只变化了53元。全国新房价格从2020年6月攀上10113元/平方米的 ❧万元整数关口后,历经两年多,一直在万元左右震荡。从那时到现在 ☾,新房价格经历了3轮上涨和3轮下降。3轮上涨分别是2020年6月至8月、2020年12月到2021年2月、今年4月到7月 ❤。3轮下降分别是2020年8月到2020年12月、2021年2月到今年4月、今年8月到11月。这期间 ❦,新房价格最高曾达11228元/平方米,较低时曾探至9671元/平方米 ⛳。今年11♈月与2020年6月,时间相差2年零5个月 ⚾,足彩310预测推荐分析新房价格每平方米相 ♌差53元。
不仅外观设计上传承经典,在交互体验中,魅族也对 M3 Pro 全场景 Hi-Fi 播放器进行了一系列的优化配置。例 ❌如mBack 轻触返回,也被运用到了 M3 Pro 全场景 Hi-Fi 播放器上 ❎。
本报记者 陈淑琬 【编辑:朱勇均 】