网易有道近期在翻译技术领域取得了重大突破,成功推出了基于自研“有道翻译大模型2.0”的140亿参数小模型域定制化版本,这一消息由AsianFin获悉。
该定制化模型不仅保持了高水平的翻译质量,还显著降低了计算资源消耗和部署成本,使得该技术更易融入现有系统和设备,拓宽了应用场景。
网易有道已将这一大型模型驱动的翻译技术应用于有道词典、有道翻译及有道翻译官等产品中。用户现在可以在标准模型与高级模型间自由切换,体验不同参数选项带来的翻译服务。
网易有道还将其大型模型整合进了智能硬件产品中,有道词典笔X7系列已率先升级至最新版本,其他设备也将陆续跟进。
大型语言模型的性能不仅取决于参数数量,还依赖于数据质量、领域适应性和算法优化。网易有道的140亿参数小模型域定制化版本在数据处理方面取得了进展,采用了经过专业英语教师和翻译人员精心标注的高质量翻译语料库,这一庞大的数据资源增强了模型应对多样化翻译场景的能力。
在算法层面,有道基于“有道翻译大模型2.0”进行了二次预训练,打造出兼顾专业准确性和领域特异性的翻译基础模型。通过大模型蒸馏、模型融合及在线直接偏好优化(DPO)等技术,有效避免了灾难性遗忘问题,显著提升了翻译在运算效率、准确性和流畅性方面的表现。
为了评估模型性能,有道开发了一款名为“奖励模型”的翻译评估工具,该工具利用累积的翻译数据为评估提供可靠的量化基础,并结合全面的人工评估框架,实现了对模型翻译结果的多维度分析。
据有道内部评估显示,“有道翻译大模型2.0”在中文到英文的翻译,特别是在垂直领域场景中,展现出了更高的准确性和流畅性。在人文、商务、生活服务、医疗及科学等19个垂直领域,新模型在专业度、准确性、语言规范及风格方面都优于前代。
网易有道相关负责人强调了垂直模型的重要性:“通用大模型在参数和计算能力上竞争,但翻译的专业性不能仅靠参数堆叠实现。在通用大模型竞相扩大规模的同时,我们坚信垂直模型的未来价值。我们专注于用专业应用解决专业场景中的痛点。”
在大模型技术兴起之前,有道的翻译解决方案主要基于统计机器翻译和神经机器翻译。如今,有道的翻译产品已拥有超过10亿用户。据Quest Mobile数据,网易有道词典月活跃用户已超过1亿,自2019年以来连续六年蝉联教育工具类应用排行榜首位。