Meta发布多语言多任务模型,可转录翻译近100种语言
当地时间8月22日晚,Meta宣布发布模型SeamlessM4T,可以转录和翻译近100种语言。
据称,SeamlessM4T可以在文本和语音之间进行翻译。Meta还将SeamlessM4T和一个新的翻译数据集SeamlessAlign一起开源。Meta声称,SeamlessM4T在驱动的语音到语音、语音到文本领域取得了“重大突破”。
“我们的单一模型提供了即时翻译,使得说不同语言的人可以更有效地沟通,”Meta在一篇与TechCrunch分享的博客文章中写道。“SeamlessM4T可以隐式(通过两个文本片段之间的逻辑关系,如因果关系、比较关系、时序关系等,从而进行篇章结构分析和篇章内容理解)地识别源语言,而不需要单独的语言识别模型。”
SeamlessM4T建立在Meta的Massively Multilingual Speech框架之上,该框架提供了超过1100种语言的语音识别、语言识别和语音合成技术。Meta的SeamlessM4T模型能够同时处理多种语音和文本任务,包括自动语音识别、语音到文本、语音到语音、文本到语音和文本到文本等。它支持近100种语言,其中一些是语料资源较少的语言。Meta的实验表明,SeamlessM4T在不影响资源充足的语言的性能的情况下,提升了资源较少的语言的翻译质量。
Meta使用抓取的文本和语音来创建SeamlessM4T的训练数据集,称为SeamlessAlign。研究人员将44.3万小时的语音与文本对齐,并创建了2.9万小时的“语音到语音”对齐,这些对齐“教会”了SeamlessM4T如何将语音转录为文本、翻译文本、从文本生成语音,甚至将一种语言中说出的单词翻译成另一种语言中的单词。
Meta并不是唯一一个投入资源开发复杂的翻译和转录工具的公司。除了、、OpenAI和许多初创公司已经提供的商业服务和开源模型之外,谷歌也在不断改进其自己的翻译服务。但是,SeamlessM4T是迄今为止将翻译和转录能力结合起来,最雄心勃勃的一个大模型。
在开发SeamlessM4T时,Meta称其从网上抓取了公开可用的文本(数量级为“数千亿”个句子)和语音(400万小时)。然而,Meta人工智能研究部门的研究科学家兼项目贡献者Juan Pino拒绝透露数据的确切来源,只是说有“各种各样”的来源。
并非所有的内容创作者都同意公司利用公开数据来训练可能用于商业目的的模型。有些人已经对一些利用公开数据构建人工智能工具的公司提起了诉讼,认为这些公司应该提供信用或补偿,以及清晰的退出方式。但是Meta声称,它所挖掘的数据(可能包含个人身份信息),不存在版权问题,其拥有许可来源或出自开源。
采写/编译:南都记者胡耕硕
最近更新教育活动
- “创新创业+”教育新模式 让这所高职院校交出亮眼成绩单
- 田浩江×毛尖|《角斗场的<图兰朵>》:重新发现汉语呼吸系统
- 冠军诞生!
- 悬疑小说在网文平台走红背后《十日终焉》作者:我的写作是一场与读者的博弈
- 解读广州前三季度“成绩单”:新动能持续发力 发展质效稳步提升
- 辽宁科技大学机械工程自动化学院:推进产教融合 助力科技成果转化
- 全国现当代文学青年学者汇聚上海大学,深度讨论人文学术
- 揽胜运动:成都挑战者的聚集地
- 探索“有趣高效”课堂!郑州24中第十四届常规教学质量月活动启动
- 拼搏路上洒下如花歌吟
- 山东人社出台三年行动方案,完善工资收入分配有这些大招
- 近300件百年意大利展品在渝开展 展示欧洲艺术设计传承和发展
- 儿童友好|“竹够精彩”
- 报考托福有什么要求
- 高等教育高质量发展|遵义职院:提升办学质量 培养高素质职教人才
- 网售处方药监管趋严
- 玉米播种机“水土不服” 四川岳池破解乡村人才匮乏 引来的博士科研团队小试牛刀
- 2023秋季仲景健康节缤纷活动花式养生,中医药文化蓬勃绽放
- 原创中冠广州影豹2-1击败上海同济,将与彬州辉龙争夺一个冲乙名额
- 托福独立作文没写完
- 高考报名明日启动,这些重要事项须明晰!
- 让老年人都有幸福美满的晚年
- 创意展活力 数字赋新生
- 西南交大、石室中学与郫都区三方携手 西南交大实验小学揭牌启用
- 江门摩托车又回来了