天下网吧 >> 网吧系统 >> 系统动态 >> 正文

《纽约时报》深度剖析谷歌大脑简史

2016-12-16不详佚名
,Corrado和Dean结伴寻找谷歌翻译的主任Macduff Hughes。Hughes正在独自吃饭,Corrado和Dean从两侧截住了他。正如Corrado所说,“我们伏击了Hughes"。

“嘿,”Corrado对屏住呼吸、面露怀疑的Hughes说:“我们有东西告诉你。”

他们告诉Hughes,2016年似乎很适合用神经网络对谷歌翻译——由数十名工程师10多年积累的代码——进行大修。旧系统采用的是所有机器翻译系统已经用了30年的工作方式:它从每个连续句子中分出片段,在一个大型统计词库中查找这些词,然后应用一组后处理规则以附加适当的词缀,并重新排列以产生意义。这种方法被称为“基于短语的统计机器翻译”,因为当系统到达下一个短语时,它并不知道上一个短语是什么。这也就是Google Translate的输出有时看起来像一大包冰冻磁铁的原因。Google Brain引入的大修,将使它能一次性阅读和渲染整个句子,让它能捕捉语境,以及某种近似于意义的东西。

项目带来的利益似乎很低:谷歌翻译产生的收入很低,而且这种状况大概会持续下去。对大多数英语用户来说,即便服务性能实现了彻底升级,他们也只会将之视为预期之内的进步。但这个团队要证明,实现人类质量的机器翻译不仅具有短期必要性,而且会带来长远的革命性发展。在不远的将来,它将对公司的业务战略至关重要。谷歌估计,50%的互联网使用英语,这可能占世界人口的20%。如果谷歌要在中国——在中国搜索引擎流量的大部分份额属于其竞争对手百度——或印度进行竞争,体面的机器翻译将是基础设施不可或缺的一部分。百度本身已经在2015年7月发表了一篇关于神经机器翻译可能性的开创性文章。

在更遥远的、可推测的未来,机器翻译也许是朝向一个具有人类语言能力的通用计算设施的第一步。而这将代表通向真正人工智能的一个重大拐点。

硅谷的大多数人都知道机器学习的前景正在快速接近,所以Hughes也预计到了他会被机器学习团队的人伏击。但他仍然感到怀疑。他是一个温和,固执、一头灰发的中年男子。他是一个老牌的流水线型工程师,那种在1970年代的波音公司能看到的工程师。他的牛仔裤口袋里经常塞着奇形怪状的工具,好像他正要去测量磁带或热电偶,和许多为他工作的年轻人不同,他有自己的柜子。他知道在谷歌和其他地方的各种人一直在尝试进行应用层面的神经翻译工作,这些工作已持续多年但没什么进展。

Hughes听了Corrado和Dean的建议,最后他谨慎地说,也许他们可以把计划延迟到三年之年之后。

Dean不这么认为。他说,“我们可以在年底之前做到这一点,如果我们全神贯注去做的话。”人们如此喜欢和钦佩Dean的一个原因是,他长期以来总是能全神贯注地办成事。另一个原因是,当他真诚地说出“只要我们全神贯注就能办成“的时候,他一点也不怕尴尬。

休斯很确定,这种系统转换不会在短时间内发生。但他也不拒绝尝试。他回去后告诉他的团队:“让我们为2016年做准备吧。我不会是那个说Jeff Dean无法带来改变的人。”

一个月后,他们终于能够运行一个并行实验以比较Schuster的新系统和Hughes的旧系统。Schuster想用英语-法语语言对来测试它,但Hughes建议他尝试别的语言对。“英语-法语翻译已经很好了,改进不会很明显。“

这是一个令Schuster无法抗拒的挑战。评估机器翻译的基准度量被称为BLEU分数,它将机器翻译与大量可靠的人类翻译的平均值进行比较。当时,英语-法语的最佳BLEU分数值高达20多。将分数提升一个点,将被认为是非常好的改进;提升两个点就会被认为是是杰出的。

在英语到法语语言对上面,神经系统相比旧系统带来了高达7分的改进。

Hughes告诉Schuster的团队,在过去四年里,他们在自己的系统中从没有出现过这么强劲的改进。

为了确保这不是一个侥幸,他们也雇人进行人工对比。在用户体验得分系统中,样本句子的分值从0到6,神经系统带来的平均改善达0.4,这大致相当于旧系统在其整个生命周期中带来的总增益。

《纽约时报》深度剖析谷歌大脑简史

谷歌的Quoc Le(右),他的工作证明了神经翻译的合理性,Mike Schuster则帮助将这项工作应用于谷歌翻译。来源:Brian Finke for The New York Times

3月中旬,Hughes给他的团队发了一封电子邮件:旧系统上的所有项目都将立即暂停。

7.让概念成为产品

在那之前,神经翻译团队只有三个人——Schuster、Wu和Chen——但随着Hughes的支持,更广泛的团队开始合并。他们星期三下午2点在Schuster的引领下来到了位于Quartz Lake的Google Brain办公室内的一个角落房间。会议有十几人参加。当Hughes或Corrado在场时,他们往往是唯一的两名英语母语人士。工程师们有的讲中文,越南语,有的讲波兰语,俄语,阿拉伯语,德语或日语,虽然在现实中他们大多使用高效的混杂语数学来交流。在Google,人们并不总是清楚谁正在组织开会,但这一次的会议目的则很清楚。

即便如此,他们需要采取的步骤仍不是完全清楚。“其中有很多不确定性——整个过程的不确定性,”Schuster告诉我。“软件,数据,硬件,人。“他伸出他长而宽松的手臂,轻轻在肘部弯曲, ”这就像在大海里游泳,你只能看到这远。“他把他的手伸出到胸前8英寸那么远。“目标在某处,或许它就在那里。”

大多数Google的会议室都配有视频会议显示器,当闲置时,会显示极高分辨率的Google+照片,包括田园风光、北极光或帝国议会大厦的照片。Schuster向其中一个屏幕打了个手势,那个屏幕上正显示着华盛顿纪念碑的夜间一瞬。

“外人会认为,每个人都有双筒望远镜,可以看到前方。“

让他们到达此地的理论工作已经用光,但要把它变成一个可行的产品——这被学术科学家称为“纯粹的”工程的部分——仍非常难。首先,他们需要确保他们在良好的数据上进行训练。Google用来进行“阅读”训练的数十亿词语料主要是由中等复杂性的完整句子组成,这些句子就像你可能在海明威作品里读到的那些。其中一些是公共领域文献,统计机器翻译的最初语料是加拿大议会的数百万页完整双语记录。然而,它的大部分是从10年来由热心者众包的人类翻译作品中筛选而来。该团队的语料仓库里有9700万个互不相同的英语”词“。但是一旦他们删除了表情符号、拼写错误和冗余,剩下的工作词汇只有大约16万。

而后,团队必须重新去关注用户实际想要翻译哪些内容,而这通常并非标准而合理的语言。谷歌发现很多人并不使用谷歌翻译来翻译完整、复杂的句子。他们用它来翻译古怪的小碎片般的语言。如果你希望网络能够处理用户查询的数据流,你就必须确保能在这个方向上前进。神经网络对用于训练的数据非常敏感。正如Hughes向我提到的:“神经翻译系统正在学习一切。它就像一个孩子。“他笑道。”它会说,‘哦爸爸发疯的时候才会这么说话!’你必须要小心。”

不管怎样,他们需要确保整个事情快速可靠,从而不给用户带来困扰。在2月,神经系统翻译10个字的句子需要10秒钟。公司不可能向用户推出这么慢的东西。翻译小组开始对一小部分用户进行延迟实验,假装翻译时间会延迟,以观察用户的忍耐程度。他们发现,如果翻译时间只延长了两倍甚至五倍,便不会被用户注意到。如果延长了八倍,就会被注意到。团队不需要确保所有语言都是这样。在(如法语或中文等)高流量语言的情况下,翻译服务几乎不会放慢速度。团队想知道,对于那些更模糊的语言翻译,用户不会因为轻微的延迟而拒绝更好的翻译质量。他们希望能防止人们放弃使用翻译、也防止人们转去使用竞争对手的翻译服

本文来源:不详 作者:佚名

声明
声明:本站所发表的文章、评论及图片仅代表作者本人观点,与本站立场无关。若文章侵犯了您的相关权益,请及时与我们联系,我们会及时处理,感谢您对本站的支持!联系Email:support@txwb.com,系统开号,技术支持,服务联系QQ:1175525021本站所有有注明来源为天下网吧或天下网吧论坛的原创作品,各位转载时请注明来源链接!
天下网吧·网吧天下