DeepSeek v3因为是后发，完全可以避开前人走的坑，用更高效方式避坑，也就是“站在巨人的肩膀上”。真实逻辑应该是：榨干同等算力去攫取10倍收益。就比如o1的训练成本远超GPT-4，而o3的训练成本大概率远超o1。从前沿探索角度看，训练所需算力只会越来越多。应用生态越繁荣，只会让训练投入的支付能力更强；而算力通缩，只会让同等投入买到更多训练Flops。
首先训练同一代模型所需算力每隔N个月就是指数级降低，这里面有算法进步、算力本身通缩、数据蒸馏等等因素，这也是为什么说“模型后发更省力”。援引下星球内一则评论：“就好像看过几遍答案，水平很一般的学生也能在1小时内把高考数学卷整出满分”。 DeepSeek v3因为是后发，完全可以避开前人走的坑，用更高效方式避坑，也就是“站在巨人的肩膀上”。因《求可以购买足球的app》此幻方在GPT4o发布7个月后，用1/10算力实现几乎同等水平，是合理的，甚至可以作为未来对同代模型训练成本下降速度的预测。但这里面依然有几个概念上的误解。
首先是“训练”范围上的混淆。幻方的论文明确说明了：“上述成本仅包括DeepSeek-V3 的正式训练，不包括与架构、算法、数据相关的前期研究、消融实验的成本。” 也就是星球内一位算法工程师说的“有点断章取义，幻方在训这个模型之前，用了他们自己的r1模型（对标openai o1）来生成数据，这个部分的反复尝试要不要算在成本里呢？单就在训练上做降本增效这件事，这不代表需求会下降，只代表大厂可以用性价比更高的方式去做模型极限能力的探索。应用端只要有增长的逻辑，推理的需求依然是值得期待的。”
随着Ilya说的“公开互联网数据穷尽”，未来合成数据是突破数据天花板的重要来源，且天花板理论上足够高。相当于过去的预训练范式从卷参数、卷数据总量，到了卷数据质量，卷新的Scaling因子（RL、测试时间计算等），而算力只不过换了个地方，继续被其他训练环节榨干。
从目前各大实验室的实际情况看也是，OpenAI、Anthropic至今仍处于缺卡状态，相信幻方也是。看训练算力是否下降，不应该只看某代模型某次训练这种切面，而应该从“总量”以及“自上而下”去看，这些实验室的训练算力总需求是下降了吗？反而一直在上升。预训练的经济效益下降，那就把卡挪给RL post train，发现模型实现同等提升所需卡减少了，那就减少投入了吗？不会，真实逻辑应该是：榨干同等算力去攫取10倍收益。就比如o1的训练成本远超GPT-4，而o3的训练成本大概率远超o1。从前沿探索角度看，训练所需算力只会越来越多。应用生态越繁荣，只会让训练投入的支付能力更强；而算力通缩，只会让同等投入买到更多训练Flops。
就好比幻方这次发布的模型，依然是LLM路线下，将MoE压榨到了极致。但相信幻方自己的推理模型r1（对标o1）也在探索r2/r3，这显然需要更多算力。而r2/r3训完，又被用来消耗大量算力为deepseek v4合成数据。发现没，pre-train scaling、RL scaling、test-time compute scaling三条线甚至还有正反馈。因此，只会在可获得最大资源的前提下，用最高效的算法/工程手段，压榨出最大的模型能力提升。而不会因为效率提升而减少投入，个人认为这是个伪逻辑。
对于推理，不必多说了，一定是上升。引用下星球内洪博的评论：DeepSeek-V3的出现（可能还包括轻量版V3-Lite），将支持私有部署和自主微调，为下游应用提供远大于闭源模型时代的发展空间。未来一两年，大概率将见证更丰富的推理芯片产品、更繁荣的LLM应用生态。
文章来源：信息平权，原文标题：《训练算力真的下降了吗？》
责任编辑：丁文武
北京圣运律师事务所管委会主任王有银表示，在这起纠纷中， ❢经营者门头上的字样中有“ABC”，店内摆放的样品也都是ABC ⏳品牌家具，甚至太原居然之家河西店的正规销售合同上对商品名称也 ⚓明确标明了“LHABC”，给消费者营造出ABC品牌家具专卖店 ♊的感觉。消费者出于对品牌的信任购买了商品 ❓，但事实上所购商品与ABC品牌并无关联。一方面，商家这种以“没说清楚”“漏洞”为♈由造成消费者被误导的行为涉嫌欺诈。依据我国《消费者权益保护法 ⛸》第二十条、第五十五条的规定，此种行为侵犯了消费者知悉其购买 ❍、使用的商品或者接受的服务的真实情况的权利，给消费者造成的损 ⛻失，应当适用三倍的惩罚性赔偿。另一方面，提供销售场所和管理服 ☸务的居然之家河西店与各商铺是密切联系的管理者与被管理者的关系 ⛄，消费者也可据此考虑向居然之家河西店要求赔偿。求可以购买足球的app
画中右边身材矮胖、头戴巾帽、身穿便服正在踢 ♍球的为宋太祖赵匡胤。太祖对面侧脸有须、高帽长袍、手撩袍角作势 ♏接球的为赵普。赵普后边衣着相似 ♐，年少无须者为楚昭辅 ⚾。楚昭辅身 ♎后并排三人 ⛽，由左向右 ➥，依次为石守信、宋太宗赵匡义、党进，他们 ➨都是宋朝的开国功勋。后面三人边看球边点评 ❌。左侧的人被他们精湛 ⛹的球技惊呆 ➧，忘了说话 ♿。这幅表现帝王生活的绘画，没有描绘威严与 ♓奢华的宫廷场景，而是一幅轻松、日常运动场面。让观画人很容易跨 ♌越时空感知北宋君臣同乐、感情融洽、祥和闲适的气氛。
本报记者 岳雷 【编辑:汪荣宝 】
