“谷歌大脑背后的大脑”Jeff Dean：15年或实现通用人工智能

　　谷歌大脑：谷歌的产业研究院
　　
　　High:似乎你和你的团队的一些进展已经开始进入谷歌产品了，例如谷歌新的对话虚拟助理“GoogleAssistant”、谷歌用来与亚马逊Echo竞争的”GoogleHome”、用来提供面向谷歌服务的对话界面的消息应用”Allo”。你对近期谷歌推出的这些新产品和服务有何看法？
　　
　　Dean:我现在领导的研究团队名叫谷歌大脑。我们专注于建造可用于机器学习的大规模计算系统，以及进行机器学习研究。我们同时拥有这两方面的人才，而他们联合起来解决问题，这常常会带来显著的进步，这种进步是只具有机器学习技能或只具有大规模计算技能的人无法单独取得的。我认为这是我们团队取得众多成功的原因之一。它使我们既在这两个领域取得成功，也让我们能够将“为问题投入多少计算”和“如何为我们关心的问题训练大型、强大的模型”方面的高水平进一步提升。
　　
　　我们认识到，我们的一些研究成果能被用来改善谷歌目前的产品，这使得我们对于从事长程研究感到相当乐观。我们将和产品团队一起工作并对他们说，“嘿，我们认为这个机器学习研究将会在你的产品的这个情境中有用处”。有些时候我们只是简单地把东西移交对方。有些时候，需要我们团队和产品团队之间的深度协作才能让研究成果在产品中实现。
　　
　　谷歌大脑研究团队的一项工作，是研发一个名叫“序列到序列学习”的模型。这里的想法是，你使用一个输入序列来预测某个输出序列。这听起来很小，但它可以和许多你很想解决的现实问题匹配起来。他们发表的论文初是在语言翻译语境下的。输入序列可能是一个句子中的英文单词，每次输入一个句子的序列。
　　
　　这个模型被训练为输出等效的法语单词以创造一个与英文句子同义的法语句子。这与其他机器翻译系统很不一样，别的系统通常是运用机器学习或统计模型对问题编码和分割，再把它缝合起来。与这些方法相反，新的模型是彻底的端到端的机器学习系统，你只要向系统喂入不同语言的同义句对子，系统就会学习从一个语言翻译到另一个语言。
　　
　　在其他情境中，这个一般模型也很有用。Gmail团队采用了该模型，把它用作“智能回复”功能的基础。在该功能中，输入序列是一段收到的电子邮件，而输出序列是对来信情境下可能回复的预测。例如，你可能收到一封邮件说，“嗨，我们想邀请你参加感恩节晚餐，请告诉我们你能否参加。”系统所产生的回复可能是“是的，我们很想参加。需要我们带点什么来？”或者“抱歉，我们不能来”，或者其他与情境相关的内容。这里使用的是同一个模型，只是在不同的数据集上得到了训练。
　　
　　High：谷歌大脑的研究和突破应用，怎么样在谷歌更加传统的产品中进行部署？
　　
　　Dean：我们已经开始正式推进这一进程。5年前，当我们次开始组建机器学习研究组，调查使用大量的计算和深度卷积网络处理问题的情况，当时公司里还没有多少人在使用这种方法。后来，我们发现少数看起来可以有效应用的几个地方，其中包括语音识别系统，所以我们跟语音识别团队的同事紧密合作，把深度神经网络加入到语音识别系统中去，从而在识别度上获得了显著的提升。然后，我们又与几个计算机视觉相关的团队合作，比如图像识别和一些街景团队，其中包括，用图像中的原始像素去训练模型做一些有意思的事情，从图像中提取文本或者理解图像（是美洲豹，垃圾车或是别的什么东西）。
　　
　　有趣的是，随着时间的过去，更多的团队开始采用这些方法，因为他们会听到别的团队说在尝试一些别的东西，并且获得了好的结果。不然就是，我们可以把他们与这些团队联系起来，或者我们可以提供一些在他们特定的问题语境下如何使用这些方法的建议。后来，我们把这些都正规化，所以现在我们就有了一个团队来做这些扩展工作。首先是联系想要在产品中用到这些机器学习模型的团队，他们会描述自己遇到的难题，一般情况下，我们团队会说：“这似乎跟其他团队所遇到的难题很像，我们的解决方案很有用，试试看我们的方案，然后给我们反馈”。
　　
　　2011年到2012年间，公司使用深度神经网络技术的团队只有十几组，现在已经超过200多组，有上千人在训练这类的模型，使用的就是我们团队搭建的软件。
　　
　　谷歌的开源和开放
　　
　　High：你也是TensorFlow的主要创建者之一。和其他公司一样，谷歌也聚焦于开发开放资源的AI技术。你对使用开放资源AI技术的原因和优势有什么看法？
　　
　　Dean：现在有许多不同的框架，用于展示不同的机器学习算法，它们都是开源的项目。我认为，能有很多的选择是一件不错的事，但是，如果我们能开发出一些东西，让机器学习社区中更多的人可以在后台使用并且努力去改进，并且，这些努力中，很多都是在做相同的工作，所以，把他们都集中在一个资料库，让多数人都能采用，这就再好不过了。
　　
　　其背后的原因是，这会让机器学习的新想法得以更好地表达。传统的方法是，人们如果有了新的想法，会写一篇论文，做实验，并且不会把代码也发表出来，让人们去重复这些实验。作为一个研究者，你会看别人的论文，并且尝试对比自己和他人的技术。通常，由于这是用论文而不是代码进行表示，你需要猜测他们究竟做了什么。论文，从本质上看，会忽略掉许多细节，而这并不是有意的。他们可能会说：“我们使用了一个较低的学习率”，但是，你关心的是，他们使用的学习率是0.0001，并且经过几万步的调整后，怎么降到了0.005。如果有一个软件框架，让人们能够用代码展示想法，并用表格的方式发表这些研究模型和想法，会让社区内的思想流动更加迅速。
　　
　　对于我们来说，这也便利了我们与谷歌之外的人的合作。通常，我们会有暑期实习生。过去，这些实习生在实习结束后还要写实习期间工作的论文，但是，那时候他们已经离开谷歌了，所以无法再使用谷歌的计算机，所以这会让他们很难继续完成论文，或者再进行一两次实验。现在，他们可以随时使用这些开放资源或TensorFlow来做这件事，甚至也可以在平台上找到其他能帮忙的人。我们正在教许多谷歌的工程师使用机器学习，其中通用的工具就是TensorFlow。
　　
　　High：谷歌的一个优势在于拥有很多人工智能和机器学习人才。谷歌研究部门负责人PeterNorvig估计全球超过5%的机器学习菁英都在谷歌工作。谷歌是如何让自己对机器学习人才变得有如此吸引力的？考虑到机器学习或者说人工智能涉及到计算机科学、工程学、神经科学、生物学、数学等不同学科，你认为如何才能确保招聘来的这些人才任人适用呢？
　　
　　Dean：我们工作的范围很广，人才也各种各样。我发现，当你把一批不同专业背景的人聚在一起解决问题时，往往比召集一批专业背景类似的人效果更好。从整体上说，你做完了一件没有人能够单独做出来的事情。我们的机器学习团队就是一个很好的例子。里面有像我这样的人，拥有很多开发大规模计算系统的经验，也有世界的机器学习研究者。把这些不同类型的人聚在一起就组成了一个非常强大的团队。机器学习正在影响医疗、机器人等等很多不同的领域，这是非常好的现象。我们团队中还有几位神经科学家。
　　
　　很快我们将开始一个叫做“谷歌大脑实习培训”（GoogleBrainResidencyProgram）的计划。我们招人到谷歌和GoogleBrain一起工作一年，基本上是学习如何进行机器学习相关的研究。我们现在已经得到了大量的申请简历，终项目会留下28个人。他们来自不同的背景——计算机科学、统计学、数学、生物学、物理学，处在职业生涯的不同阶段——有人刚刚读完本科，有些人则博士后毕业，还有的已经在产业界工作了一两年。我认为这将是一个很好的组合，解决问题时都带来很多不同的观点。
　　
　　High：我很好奇，有很多不以技术为中心的传统公司也会使用人工智能和机器学习，你会在多大程度上与这些传统公司交流和工作？你怎样看AI技术的发展曲线？显然，这在公司之间甚至是行业之间都是不同的。但也有一些领先的传统行业开始利用人工智能，包括医疗和金融领域，这些机构有着大量的非结构化数据需要处理。你曾经是否与这些传统行业的公司打过交道，或者和它们讨论人工智能在更为传统的环境中的发展过程？
　　
　　Dean：其他行业的大多数公司可能没有谷歌或者其他科技公司在应用机器学习方面表现的好。我认为，随着时间的推移，终大多数公司都将越来越多地使用机器学习，因为机器学习将会变得非常强大，为他们的业务带来变革。我们已经与一些大型的医疗机构讨论了要建立合作关系，看看机器学习可以为该领域的某些问题做些什么。我们近推出了一个云机器学习产品，可以让人们在谷歌的云平台上运行机器学习算法。显然，有许多公司有兴趣了解在他们的业务的环境中该如何使用该产品。
　　
　　我认为这种转变可能要经过几个阶段才会发生，在这些阶段中，你可以使用AI技术和机器学习的方法来解决问题。在一些领域里，理解图像的内容东西对很多行业来说都是有用的。谷歌和其他公司正在提供简单易用的界面，而你无需知道任何机器学习的东西。你可以只给出一张图片，然后说“告诉我这张图里有什么”，任何没有机器学习专业知识的软件工程师都可以这么使用。他们得到的信息可能是“照片里有个体育场，人们在那里打棒球，而且图像中还有一堆文字，文字是……”即使没有应用机器学习，这也会是非常有用的。
　　
　　然后将会有已经开发好的模型，可以用公司的数据重复训练这个模型来得到一个定制化的解决方案，而且无需研究核心的机器学习技术来开发一个全新的模型。一个很好的例子是序列到序列的工作，我们现在已经应用到谷歌的六七个不同的问题中。另一个很好的例子是一个采集图像的模型，它能发现图像中有趣的部分。这个通用模型的一个应用是，检测街景图像中的文本位置。你想阅读所有的文本，但是首先，你必须能在店门、路牌上等这类地方找到它们。这种通用模型在医疗环境中也有用，比如在诊断糖尿病性视网膜病变时，你有一个视网膜的扫描图像，你想找到该扫描图像上的疾病指标，这时你就能用上这个模型了。用的是相同的模型结构，你只是在不同的数据中指出病变。你不是在用文本高亮显示的街景图像，而是在医生已经圈好病变部位的视网膜图像上指出它。我认为该通用模型的方法将很好地解决很多不同类型的问题。