近日,贝壳找房技术效能部门的质量架构团队在2024 AI + 研发数字峰会上,深入探讨了大型语言模型在端到端交互测试领域的创新应用与实践。
贝壳找房作为一站式居住服务平台,其业务形态多样,服务链路长且场景复杂。面对这样的业务特点,传统的开发测试流程显得力不从心,存在多角色协同效率低、工具提效有限以及质量反馈滞后等显著痛点。特别是在AI技术提效方面,贝壳找房面临着工具结合、架构迭代以及用户体验等方面的诸多挑战。
为了破解这些难题,贝壳找房的技术团队积极探索大型语言模型在端到端测试中的应用。他们最初以copilot的方式,实现了个人工作效率的提升,随后逐步发展到以agent模式驱动全流程的协同增效。这一整体方案设计以端到端全链路智能化测试能力为核心,旨在实现AI化和标准化的测试策略生成、灵活高效的测试执行、智能验证以及效果分析。
在技术实践层面,贝壳找房建立了模型工程标准化基础设施,重塑了测试工作流程。在需求端,他们基于assistantApi,以需求为原点生成测试策略,推动岗位角色的转型;在服务端,大型语言模型与传统工具深度融合,在代码开发阶段就能生成适配用例,实现端到端智能化能力的迭代。同时,他们还建立了与研发工具协同的应用双通道,确保测试流程的顺畅进行。
在用户交付端,贝壳找房利用多模态大型语言模型理解UI图,实现了UI测试用例的自动生成和多端运行,同时能够自动上报bug。这一功能极大地提升了测试工作的自动化程度,减轻了测试人员的负担。而在用户交互端,他们则借助多模态、Prompts和知识库,打造了一个业务大脑,为测试工作提供了更加智能和便捷的支持。
通过在实际业务场景中的应用,如提佣推城项目,贝壳找房利用动态prompt技术,成功实现了从需求到上线流程的自动化,显著提升了测试效率。这一成果不仅验证了大型语言模型在端到端测试中的可行性,也为后续的技术创新和应用提供了宝贵的经验。
贝壳找房的技术团队表示,未来他们将继续深耕模型工程原子能力,融合传统技术与大型语言模型方法,沉淀领域知识,关注全流程提效。他们将持续探索测试领域的场景应用,强化测试与agent的协同,推动AI技术在测试领域的创新应用和持续发展。