英伟达也认可了!
据英伟达官网最新消息,为了帮助开发人员安全地试验这些功能并构建自己的专用代理,6710亿参数的DeepSeek-R1模型现已作为NVIDIA NIM微服务预览版在Build.nvidia.com上提供。DeepSeek-R1 NIM微服务可以在单个NVIDIA HGX H200系统上每秒提供多达3872个令牌。开发人员可以使用应用程序编程接口(API)进行测试和试验,该接口预计很快将作为可下载的NIM微服务提供,是NVIDIA AI Enterprise软件平台的一部分。
此外,英伟达还在官网中表示,DeepSeek-R1是一个具有最先进推理能力的开放模型。DeepSeek-R1等推理模型不会提供直接响应,而是对查询进行多次推理,采用思路链、共识和搜索方法来生成最佳答案。
来自英伟达的认可
英伟达称,DeepSeek-R1等推理模型不会提供直接响应,而是对查询进行多次推理,采用思路链、共识和搜索方法来生成最佳答案。执行这一系列推理过程(使用推理得出最佳答案)称为测试时间扩展。DeepSeek-R1是此扩展定律的完美示例,证明了加速计算对于代理AI推理的需求至关重要。
由于模型可以反复“思考”问题,因此它们会创建更多输出标记和更长的生成周期,因此模型质量会不断提高。大量的测试时计算对于实现实时推理和来自DeepSeek-R1等推理模型的更高质量响应至关重要,这需要更大规模的推理部署。R1在需要逻辑推理、推理、数学、编码和语言理解的任务中提供了领先的准确性,同时还提供了高推理效率。
为了帮助开发人员安全地试验这些功能并构建自己的专用代理,6710亿参数的DeepSeek-R1模型现已作为NVIDIA NIM微服务预览版在Build.nvidia.com上提供。DeepSeek-R1 NIM微服务可以在单个NVIDIA HGX H200系统上每秒提供多达3872个令牌。开发人员可以使用应用程序编程接口(API)进行测试和试验,该接口预计很快将作为可下载的NIM微服务提供,是NVIDIA AI Enterprise软件平台的一部分。
DeepSeek-R1 NIM微服务通过支持行业标准API简化了部署。企业可以通过在其首选的加速计算基础设施上运行NIM微服务来最大限度地提高安全性和数据隐私。通过使用NVIDIA AI Foundry和NVIDIA NeMo软件,企业还可以为专门的AI代理创建定制的DeepSeek-R1 NIM微服务。
DeepSeek-R1是一个大型混合专家(MoE)模型。它包含了令人印象深刻的6710亿个参数——比许多其他流行的开源LLM多10倍——支持128000个Token的大输入上下文长度。该模型还在每个层中使用了极多的专家。R1的每一层都有256位专家,每个Token并行路由到八个不同的专家进行评估。
为R1提供实时答案需要许多具有高计算性能的GPU,并通过高带宽和低延迟通信进行连接,以将提示令牌路由到所有专家进行推理。结合NVIDIA NIM微服务中提供的软件优化,一台使用NVLink和NVLink Switch连接的带有八个H200 GPU的服务器可以以每秒高达3872个令牌的速度运行完整的6710亿参数DeepSeek-R1模型。这种吞吐量是通过在每一层使用 NVIDIA Hopper 架构的FP8 Transformer Engine实现的,并且使用900GB/s的NVLink带宽进行MoE专家通信。
充分利用GPU的每秒浮点运算(FLOPS)性能对于实时推理至关重要。下一代NVIDIA Blackwell架构将通过第五代Tensor Core大幅提升 DeepSeek-R1等推理模型的测试时间扩展,第五代Tensor Core可提供高达20 petaflops的峰值FP4计算性能,以及专门针对推理优化的72-GPU NVLink域。
从开源到复现
近日,加州大学伯克利分校的研究人员开发出了中国开发的 AI 语言模型DeepSeek R1-Zero的小规模语言模型复制品,成本约为30美元。语言模型TinyZero是由校园研究生Jiayi Pan和其他三名研究人员领导的项目,由校园教授Alane Suhr教授和伊利诺伊大学厄巴纳-香槟分校助理教授Hao Peng指导。
DeepSeek的R1模型权重和代码库采用公共MIT许可证,因此Pan和他的团队能够访问基础代码来训练一个明显小得多的模型。潘表示,TinyZero同样是开源的,这意味着代码可供公众使用。他说,TinyZero 的开源性质允许人们下载代码并尝试训练和修改模型。“小规模复制非常容易实现,而且成本非常低,即使人们将其作为实验的副项目,”潘说。“从项目一开始,我们的目标基本上就是揭开如何训练这些模型的神秘面纱,更好地理解它们背后的科学和设计决策。”
本周,硅谷、华盛顿、华尔街等地的领导人因中国人工智能公司DeepSeek的意外崛起而陷入混乱。许多分析师认为DeepSeek的成功动摇了推动美国人工智能行业发展的核心信念。
但人工智能科学家反驳说,许多担忧都是夸大其词。他们表示,尽管DeepSeek确实代表了人工智能效率的真正进步,但美国人工智能行业仍然具有关键优势。兰德公司人工智能研究员伦纳特·海姆表示:“这并不是人工智能前沿能力的飞跃。我认为市场只是搞错了。”
另外,截至目前,私募股权巨头、全球主要人工智能系统数据中心投资者黑石集团仍持乐观态度。“我们仍然认为,实体基础设施、数据中心和电力的需求十分迫切,”黑石总裁乔纳森·格雷(Jonathan Gray)周四在与投资者举行的第四季度财报电话会议上表示。“这些需求的使用方式可能会发生变化。”
格雷表示,与投资界和企业界的大多数人一样,黑石集团的高管在过去一周花了大量时间来权衡DeepSeek的影响。近年来,黑石集团积极购买和建设数据中心,这是科技公司运行人工智能系统所使用的物理基础设施。2021年,黑石集团以100亿美元收购了美国数据中心公司QTS,去年,黑石集团牵头以约160亿美元收购了在亚洲运营数据中心的AirTrunk。
格雷同时预计,随着人工智能计算能力成本的大幅下降,人工智能将得到更广泛的应用。换句话说,虽然人工智能模型回答特定问题所需的能力可能会减少,但人们会提出更多问题。格雷表示,黑石集团只为签订长《bet9官网》期租约的科技公司建造数据中心。“我们不会投机性地建造它们。”他指出,客户使用这些数据中心的方式很可能会改变。
责编:罗晓霞
巧立名目接受差价赠送。2016年4月,浙江省开化县供销 ♎社原党委书记、主任张德平向某建设集团总经理姚某某口头预订房屋2套,支付预订款20万元,并签订1套房屋协议,约定确定购买即 ✋支付尾款,不购买即退还订金并支付1%利息 ✋。2018年1月,姚 ♌某某以房款订金利息名义送给张德平2.04万元;同年2月,姚某 ♍某在张德平要求下将未办理预订手续的另1套房屋出售,并以房屋销 ⛸售差价名义送给张德平约54.96万元。张德平因还存在其他问题 ♌,bet9官网于2020年11月被“双开” ♎。2021年2月,其被判处有期 ♒徒刑四年六个月,并处罚金28万元,违纪违法所得予以收缴。
上周海外各资产表现:股市方面,美、港股涨跌互现。美股标 ✅普、纳斯达克分别下跌0.2%、2.3%,道琼斯上涨0.9%。 ❣尽管耐用品订单下滑幅度高于预期 ⏱,且11月个人支出增长停滞,但 ➤美国第三季度GDP增速上修,密西根大学消费者信心指数终值升至 ⛷八个月来最高水平,首次申领失业救济人数也低于预期。总体强韧的 ❦经济表现引发了美联储抗通胀之路仍然漫长的担忧,紧缩预期有所反 ➡复。港股恒生指数、国企指数分别上涨0.7%、0.1%,科技指 ⛲数下跌0.6%,高层坚定执行重新放开,各级政府也都将经济发展 ❦放在突出位置,市场对于经济长期向好信心得以巩固。另外,港股通 ➡股票标的范围将进一步扩大,或将改善港股流动性,促进港股市场良 ♑性发展。十二大恒生一级行业中,必需性消费(+1.3%)、资讯 科技(+1.1%)、综合业(+1.0%)领涨,公用事业(-2.2%)、原材料(-3.8%)、工业(-4.0%)领跌。南向 ♌资金本周净流出6.3亿元。债市方面,10Y美债利率大涨。10 ❤年期美债利率大幅提高26.5bp至3.75%,日本央行意外调 ♒高10Y日本国债收益率波动范围上限,此举可能吸引日本资本回流 ♍,削弱美债的吸引力。汇市方面,美元下跌。美元指数下滑0.5% ☾至104.32,日本央行意外“加息”导致日元大涨。美元对在岸 ⛷、离岸人民币分别报6.987和7.001 ⏫。大宗方面 ❤,黄金上涨 ✊,原油大涨 ♌。COMEX黄金微涨0.2%至1806.0,美元大 ♏跌支撑金价 ⛺。WTI原油大涨6.5%至79.35美元 ❤,连续第二 ♐周上涨。俄罗斯警告称或减产多达70万桶/日,以回应七国集团对 ♒俄罗斯石油的制裁。美国原油库存超预期下降 ♊,且寒潮天气影响美国 ♏原油供给。
本报记者 喜多郎 【编辑:沈钧儒 】