现代语言人工智能正以前所未有的速度向前发展,创新和研究推动开发人员创造出最先进的语言模型,这些模型不断向人类自然语音模式和认知推理靠拢。在我们正在进行的关于语言AI和自然语言处理(NLP)的讨论中,我们讨论了这些技术在能力上扩展的方式,以及它们如何继续融入全球市场和行业。然而,开发人员正在积极创造更小的模型,在与现有的一些大型模型竞争时,这些模型的成本效益和效率都要高得多。那么,这些较小的模型如何在理解和处理语言的领域与较大的模型竞争呢?
本周,NLP AI领域的进展再次让经常亮相的DeepMind的开发人员向创建语言模型又近了一步,这些语言模型可以生成与人类在所有编程任务中无法区分的智能对话。DeepMind最新的NLP模型被命名为Gopher,它拥有2800亿个参数,比其他更多语言的人工智能模型提供了更小的计算模型,这些模型通常依赖于庞大的规模和能力来达到最好的效果。具体地说,地鼠模型在阅读理解,事实检查和语言偏见检测等领域表现突出,这些领域不仅对提高具有挑战性的主观知识领域的NLP交流的准确性,而且对提高其伦理质量都很重要。更重要的是,据说这一模型能够将著名的GTP-3模型所展示的人工智能与人类交流之间的准确性差距缩小一半,标志着专家知识交流的自动化迈出了重要的一步。
与已经很小的地鼠模型几乎同时,DeepMind还推出了更小的RETRO模型,这是一个70亿参数的模型,它是在10种语言的高质量数据集的精选集合上开发的。与大型的同类研究一样,RETRO在发现语言偏见和回答特定问题方面的任务也有所改进。然而,RETRO的不同之处在于,它可以更快地从更小的数据集中学习,而这些数据集是针对特定的知识领域精确定制的。具体地说,RETRO使用外部记忆的概念--类似于备忘单--以最小的计算压力快速制定熟悉的,连贯的反应。简而言之,复古不是一个万事通,而是一个在需要的时候“能找到万事通”。在Gopher和RETRO之间,DeepMind正在推进一种NLP方法,它不是指拥有一个可以处理任何语言的至高无上的算法,而是一个对一般情况有足够了解的算法,当提示太具挑战性时,如果需要的话,它可以得到额外的帮助。所有这些都使得一种语言AI能够比大型模型更便宜地训练,更高效地计算,同时仍然能够与它们竞争,甚至超过它们。
正如我们在之前的文章中所强调的,语言AI的这些实验性进展与语言服务中的语言AI有着显著的相似之处。最值得注意的是,机器翻译后期编辑(MTPE)应用了与DeepMind在RETRO和Gopher中所利用的相同的基本策略,将稀缺资源分配给最需要他们关注的功能和用途。在MTPE中,需要保存的是人类专家语言学家,而不是计算资源,有效地这样做是关于让他们参与机器翻译引擎独自挣扎的过程。随着人工智能在语言服务以外的行业中不断进步,像CSOFT这样的LSP应用于我们自己的人工智能和语言技术领域的创新正在得到验证,我们可以看到神一样的人工智能模型在竞争最佳翻译解决方案的相同优势:准确性,细微差别和伦理性。从确保临床文件的质量和支持临床试验的患者招募,到为大量文件需求提供准确,实用的翻译,CSOFT擅长于设计自动化和人性化的认证翻译服务的正确组合。
欲了解更多信息,请访问csoftintl.com!
以上中文文本为机器翻译,存在不同程度偏差和错误,请理解并参考英文原文阅读。
阅读原文