斯坦福新突破:50美元打造AI推理模型s1,媲美业界顶尖

   时间:2025-02-06 22:46 来源:天脉网作者:冯璃月

人工智能领域近期迎来了一项重大进展,斯坦福大学与华盛顿大学的科研团队携手打造了一款名为s1的人工智能模型,该模型以不到50美元的云计算成本(按当前汇率换算约为364元人民币)展现了卓越的推理能力。

据悉,s1模型在数学与编程能力测试中,表现与OpenAI的o1、DeepSeek的r1等业界顶尖推理模型不相上下。更为引人注目的是,s1模型及其相关的训练数据和代码已在GitHub平台上全面开源,为全球开发者提供了一个宝贵的研究和使用资源。

s1团队透露,他们采用了“蒸馏”技术来创建这款模型。该技术通过让模型学习另一个AI模型的答案,从而提炼出其核心推理能力。具体而言,s1模型是从谷歌提供的Gemini 2.0 Flash Thinking Experimental模型中蒸馏而来。值得注意的是,上个月加州大学伯克利分校的研究人员也运用了相同的蒸馏方法,以约450美元的成本开发出了一款AI推理模型。

随着s1等类似模型的涌现,人工智能领域的商品化问题逐渐浮出水面。当有人能够以极低的成本复制出价值数百万美元的模型时,大型科技公司的竞争优势无疑受到了挑战。这一问题在业界引发了广泛的关注和讨论。

面对这一挑战,大型AI实验室纷纷表达了自己的担忧。例如,OpenAI曾指责DeepSeek不当获取其API数据用于模型蒸馏。而s1团队则专注于探索实现强大推理性能和“测试时扩展”的最简洁途径,这些正是OpenAI的o1模型所取得的突破。为了实现这一目标,s1团队采用了监督微调(SFT)方法,该方法使用较小的数据集来蒸馏推理模型,相较于DeepSeek用于训练R1模型的大规模强化学习方法,SFT更具成本效益。

谷歌通过其Google AI Studio平台免费提供Gemini 2.0 Flash Thinking Experimental模型的访问权限,但设有每日使用限制。然而,其使用条款明确禁止对模型进行逆向工程,以开发与谷歌自身AI产品竞争的服务。尽管如此,s1团队还是巧妙地利用了这一资源,基于阿里巴巴旗下中国人工智能实验室Qwen提供的一款小型、现成的免费AI模型,成功训练出了s1。

在训练过程中,研究人员精心策划了一个包含1000个问题及其答案的数据集,并收集了谷歌Gemini 2.0 Flash Thinking Experimental对每个答案背后“思考”过程的输出。他们使用了16个Nvidia H100 GPU,仅耗时不到30分钟便成功训练出了s1模型。据参与该项目的斯坦福大学研究员透露,目前租用这些计算资源的成本约为20美元,这一低廉的成本再次凸显了s1模型的性价比优势。

为了进一步提升s1的性能,研究人员还采用了一个创新的技巧:在推理过程中让s1“等待”。论文显示,在s1的推理步骤中添加“等待”一词,有助于模型获得更为准确的答案。这一发现为AI模型的优化提供了新的视角和思路。

 
反对 0举报 0 收藏 0
 
更多>同类天脉资讯
全站最新
热门内容
媒体信息
新传播周刊
新传播,传播新经济之声!
网站首页  |  关于我们  |  联系方式  |  版权隐私  |  网站留言  |  RSS订阅  |  违规举报