在人工智能领域，大模型展现出的能力日益令人瞩目，从围棋战场到电子游戏世界，它们正逐步探索并拓宽自己的能力边界。近日，一项由淘天集团未来生活实验室算法工程师主导的研究，将国产动作角色扮演游戏《黑神话：悟空》作为试验田，通过多模态大模型进行了前所未有的尝试，研究成果已在学术预印本平台arXiv上发布，引发了广泛关注。
《黑神话：悟空》作为一款高难度、高自由度的游戏，以其复杂的战斗系统和精美的画面设计著称，成为了测试AI智能的新阵地。研究团队选择这款游戏，旨在探索大模型在纯视觉输入与复杂动作输出双重挑战下的表现。不同于传统方法依赖游戏API，此次研究完全基于游戏截图进行决策，让大模型学会从视觉信息中提炼策略，并执行一系列精细的操作。
面对直接视觉输入和动作任务执行两大难题，研究团队创新性地提出了VARP Agent（视觉动作角色扮演智能体）框架。该框架以游戏截图为唯一信息源，通过多模态大模型的深度解析，将视觉信息转化为控制游戏角色的具体指令。这些指令由一系列原子命令构成，如轻击、重击、闪避及恢复等，组合成复杂的动作序列，实现了对游戏角色的精准操控。
VARP Agent框架的核心在于其三大知识库：情境库、动作库和人类引导库。这些库不仅存储了丰富的游戏知识，还具备自我学习和人类指导的能力，能够根据游戏进展动态调整策略。研究团队设定了涵盖基础到挑战级别的多项任务，特别是在战斗场景中，通过模拟真实玩家对抗，评估大模型的实际表现。
实验结果显示，VARP Agent在大多数基础任务及中低难度战斗中表现出色，胜率高达90%，展现出了强大的学习与适应能力。然而，在面对高难度任务时，其性能仍显不足，未能达到高水平人类玩家的水平。这一发现既肯定了大模型在游戏控制领域的潜力，也揭示了其进一步提升的空间。
尽管如此，该研究成果仍具有重要的学术价值和实践意义。它不仅为设计更智能、更适应复杂环境的人工智能体提供了宝贵经验，也为未来AI在游戏娱乐、虚拟现实等领域的应用开辟了新思路。随着技术的不断进步和研究的深入，我们有理由相信，大模型将在更多领域展现出其独特的魅力和无限可能。
