翻译技术速递
2024年8月20日，来自东北大学、暨南大学、哈尔滨工程大学和NiuTrans Research的研究人员发表了一份关于同步语音翻译（SimulST）领域挑战和进展的全面概述。
作者将SimulST描述为“在需要快速流畅通信的场景中特别有益”，例如实时对话和语音会议。
鉴于其在实时通信中的关键作用，该领域近年来受到了极大的关注并取得了显著进展。然而，根据作者的说法，这仍然是一项“艰巨的任务”，他们确定并概述了使SimulST复杂化的四个关键挑战：
“这些因素共同导致了SimulST任务的复杂性，”作者指出。
虽然以前的研究已经提出了解决这些挑战的办法，但一直缺乏对这些做法的全面概述。在本文中，作者的目标是通过提供“更完整和全面的SimulST介绍”来填补这一空白。
“通过我们对这些挑战和拟议解决方案的探索，我们的目标是为SimulST研究的当前格局提供有价值的见解，并为未来的探索提出有希望的方向，”他们说。
为了有效地实时管理冗长、连续的语音处理，SimulST系统应该依赖于强大的分割策略，这些策略允许生成部分翻译，而无需等待说话者完成输入。鉴于口语通常缺乏清晰的边界，准确的分割成为一项复杂的任务。
作者认为，可以使用以下方法来应对这一挑战：
为了确定翻译的最佳时刻，SimulST系统应该在无法访问整个输入的情况下及时决定何时开始翻译。同时读写（R-W）策略对于在处理流式语音时生成部分翻译至关重要，可确保自然的会话流。
根据作者的说法，推荐以下R-W策略：
在翻译质量和延迟之间进行权衡对SimulST至关重要。采用不同的评估指标可以提供对系统行为的独特见解-一些指标侧重于翻译的准确性（与质量相关），而另一些指标则衡量翻译的生成速度（与延迟相关）-使研究人员能够在考虑速度的同时优化性能和准确性。
作者表示，为了解决带注释的训练数据稀缺的问题，有两种有效的策略。第一种是数据增强，涉及通过从现有数据中生成额外的示例或使用合成数据来改进学习来人工扩展训练数据集的技术。
第二，多任务学习，使模型能够同时从多个相关任务中学习，利用跨任务的共享信息。这种方法在一个任务的数据有限的情况下特别有用，因为它可以增强模型从相关任务中进行概括的能力。
展望未来，作者确定了该领域的两个“有前途的方向”：多语言SimulST和与大型语言模型（LLM）的集成。
多语言SimulST能够将语音输入实时翻译成多种语言，并具有促进多语言环境中的沟通和协作的“巨大潜力”。
将LLM集成到SimulST系统中可以增强其准确理解语音输入、处理上下文依赖关系和生成流畅翻译的能力。研究人员预计，将LLM与SimulST相结合将提高流式语音翻译系统的性能和适用性，满足实时场景中的各种用户需求。
作者：刘晓倩，胡国强，杜扬帆，何二峰，罗迎峰，陈旭，肖彤，朱静波
以上中文文本为机器翻译，存在不同程度偏差和错误，请理解并参考英文原文阅读。
阅读原文