500亿参数，支持103种语言：谷歌推出「全球文字翻译」模型
发布时间：2019-10-14 05:20:07 所属栏目：建站 来源：机器之心编译
导读：因为缺乏平行数据，小语种的翻译一向是一浩劫题。来自谷歌的研究者提出了一种可以或许翻译 103 种说话的大局限多说话神经呆板翻译模子，在数据富厚和匮乏的语种翻译中都实现了明显的机能晋升。他们在 250 亿个的句子对长举办实习，参数目高出 500 亿。 在已往
|
尽量扩展深度是进步模子手段的一种要领，试探可以或许操作题目多使命特征的架构一ㄇ一种很是可行的增补要领。研究者通过用稀少门控专家殽杂层（sparsely-gated mixture of experts）更换原始的前馈层修改 transformer 的架构，明显进步了模子手段，使得我们可以乐成地实习和转达 500 亿参数，从而进一步进步了翻译质量。
与 103 个双语翻译基准对比，谷歌的新要领在单个多说话模子上进步了容量（参数目），进而进步了翻译质量。 让 M4 模子适用化 对付每个说话的规模或迁徙使命来说，实习大型模子，耗费大量算力很是不经济。谷歌提出的要领通过行使容量可调层使新模子顺应特定的说话或规模，无需变动原始模子，使得这些模子变得越发适用。 瞻望 （编辑：河北网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
