近期，人工智能在编程领域的应用日益广泛，引起了科技巨头们的密切关注。谷歌CEO桑达尔·皮查伊透露，谷歌内部已有25%的新代码是由AI生成的，而meta的CEO马克·扎克伯格也表达了在公司内部大规模部署AI编码模型的意愿。
然而，尽管AI模型在编程辅助方面取得了显著进展，但在解决软件漏洞这一关键问题上，它们的表现却远不及经验丰富的开发者。微软研究院的一项新研究揭示了这一现状，该研究针对包括Anthropic的Claude 3.7 Sonnet和OpenAI的o3-mini在内的多款AI模型进行了测试。
在这项研究中，研究人员设计了一个名为“基于单个提示词的智能体”，它能够利用包括Python调试器在内的多种调试工具。智能体被分配了一组从SWE-bench Lite基准测试中筛选出来的300项软件调试任务。然而，测试结果并不理想，即便是最先进的模型，成功完成的调试任务也极少超过一半。
具体而言，Claude 3.7 Sonnet的平均成功率最高，但也仅为48.4%；OpenAI的o1模型成功率为30.2%，而o3-mini的成功率更是低至22.1%。这一结果引发了人们对AI模型在编程领域应用能力的质疑。
研究人员指出，AI模型在使用调试工具以及理解不同工具如何帮助解决不同问题方面存在困难。但更深层次的问题在于数据稀缺，特别是缺乏足够多的“顺序决策过程”数据，即人类调试痕迹的数据。这意味着当前的AI模型在训练过程中未能充分学习到人类调试的逻辑思维和方法。
尽管AI在编程领域的应用仍存在诸多挑战，但这一领域的研究仍在不断深入。然而，微软的这项研究提醒我们，开发者及其上级领导在将编程工作交给AI主导时需要三思而后行。事实上，越来越多的科技界领袖已经开始对AI取代编程工作的观点表示质疑。
微软联合创始人比尔·盖茨认为，编程作为一种职业将会长期存在。这一观点得到了Replit CEO阿姆贾德·马萨德、Okta CEO托德·麦金农以及IBM CEO阿尔温德·克里希纳等人的支持。他们一致认为，尽管AI在编程领域取得了显著进展，但人类开发者的专业知识和经验仍然是不可或缺的。
