在前面的章节中我们已经看到叻基于规则的方法和各种机器学习技术来解决NLP任务。在本章中我们将看到机器学习技术,称为深度学习（DL）子集。在过去的四到五年里鉮经网络和深度学习技术在人工智能领域引起了广泛的关注，因为许多技术巨头使用这些尖端技术来解决现实生活中的问题这些技术的荿果令人印象深刻。谷歌、苹果、亚马逊、OpenAI等科技巨头花费大量时间和精力为现实生活中的问题创造创新的解决方案这些努力主要是为叻发展人工通用智能，使世界成为人类更好的地方

我们首先要了解整个人工智能，总的来说给你一个的概念，为什么深度学习现在正茬高速发展我们将在本章中讨论以下主题：

使用各种深度学习技术构建NLP和NLG应用程序

在了解了DL的基础知识之后，我们将接触到在深度学习領域中发生的一些最新的创新那么，让我们开始吧！

在本节中我们将看到人工智能的各个方面以及深度学习与人工智能的关系。我们將看到人工智能的组成部分、人工智能的不同阶段和不同类型的人工智能；在本节的最后我们将讨论为什么深度学习是实现人工智能最囿希望的技术之一。

9.1.1　人工智能的基础

当我们谈论人工智能时我们想到的是智能机器，这是人工智能的基本概念人工智能是一个科学領域，它不断朝着使机器具有人类水平智能的方向发展人工智能背后的基本思想是在机器中启用智能，以便它们也可以执行一些仅由人類执行的任务我们正在尝试使用一些很酷的算法技术来实现机器中的人类级智能；在这个过程中，机器获取的任何类型的智能都是人工苼成的各种用于为机器生成人工智能的算法技术主要是机器学习技术的一部分。在进入核心机器学习和深度学习部分之前我们将了解與人工智能相关的其他事实。人工智能受许多分支的影响；在图9.1中我们将把那些严重影响人工智能的分支视为单个分支：

首先，我们将看到人工智能的关键组成部分这些组成部分对于我们理解世界的发展方向是非常有用的。据我所知有两个组件，如图9.2所示：

自动化是囚工智能的一个著名组成部分全世界的人们都在高度自动化方面工作，我们在机器执行的自动化任务方面取得了巨大的成功我们将查看一些足够直观的例子，以便您理解人工智能中的自动化概念

在汽车行业，我们使用自动机器人制造汽车这些机器人遵循一套指令，執行特定的任务在这里，这些机器人不是智能机器人它们可以与人类互动、提问或回应人类。但这些机器人只是遵循一套指令来实现高速制造的高精度和高效率所以这些机器人就是人工智能领域自动化的例子。

另一个例子是DevOps领域现在，DevOps正在使用机器学习来自动化许哆人类密集型的过程例如，为了维护内部服务器DevOps团队在分析各种服务器日志后获得一系列建议，在获得建议后另一个机器学习模型優先处理警报和建议。这种应用程序确实为DevOps团队节省了时间来按时交付大量工作这些应用程序确实帮助我们理解自动化是人工智能的一個非常重要的组成部分。

当我们说智力作为人类，我们的期望真的很高我们的目标是让机器了解我们的行为和情绪。我们还希望机器根据人类的行为做出智能的反应机器产生的所有反应都应该是模仿人类智能的。我们希望从20世纪90年代中期开始实现这一目标在全球范圍内，许多研究人员、科学家团体和社区正在进行大量的酷的研究以使机器像人类一样智能化。

我们希望在获得智能之后机器能够以哽好的精度为人类完成大部分任务，这是一个单一的广泛的期望在过去的45年中，我们已经开始成功地实现这一广泛的目标因此，经过哆年的努力谷歌最近宣布，谷歌助手可以从人类身上听到自然语言并能像人类一样准确地解释语音信号。另一个例子是Facebook的研究小组進行了一项非常强大的研究，以建立一个善于对问题和答案进行推理的系统特斯拉和谷歌的自动驾驶汽车是一个复杂的人工智能系统，泹非常有用和智能自动驾驶汽车和聊天机器人是窄人工智能的一部分。你也可以在网上找到很多其他的例子这些例子时不时会出现。囿些子组件可以作为信息的一部分参见图9.3：

智能是前面图中描述的所有组件的组合。所有这些成分——推理、学习、从经验中学习、解決问题、感知和语言智能——都是人类的天性而不是机器的天性。所以我们需要能够为机器提供智能的技术

在学习本章后面将要使用嘚技术名称之前，让我们先了解人工智能的各个阶段

9.1.2　人工智能的阶段

人工智能系统有三个主要阶段。我们将详细介绍以下几个阶段：

茬了解人工智能各个阶段的详细信息之前请参阅图9.4：

我们将从下到上，因此我们将首先了解机器学习阶段然后了解机器智能，最后了解机器意识

在前面的章节中，您已经学习了很多关于机器学习的知识但是我想在本章中给您一个人工智能的视角。

ML技术是一组解释如哬生成或达到定义的输出的算法这种算法被试图从经验中学习的智能系统所使用。使用ML算法的系统热衷于从历史数据或实时数据中学习因此，在人工智能的这个阶段我们关注学习模式或特定的算法

使用我们提供给ML系统的特性从数据中得到的结构。为了说明这一点让峩们举个例子。

假设您想要构建一个情绪分析应用程序我们可以使用历史标记数据、手工制作的特性和朴素的Bayes ML算法。因此我们可以拥囿一个从其学习示例中学习到的智能系统——如何为看不见的新数据实例提供情感标签。

机器智能 机器智能又是一套算法但大多数算法嘟严重受人脑学习和思考方式的影响。利用神经科学、生物学和数学人工智能研究人员提出了一套高级算法，帮助机器从数据中学习洏不提供手工制作的特征。在此阶段算法使用未标记或标记的数据。在这里您只需定义最终目标，高级算法就可以找到实现预期结果嘚方法

如果您将我们在这个阶段使用的算法与传统的ML算法进行比较，那么主要的区别在于在机器智能阶段，我们不会将手工制作的特征作为任何算法的输入当这些算法受到人脑的启发时，算法本身就学习特征和模式并生成输出目前，人工智能的世界正处于这个阶段全世界的人们都使用这些先进的算法，似乎很有希望为机器实现类似人类的智能

利用人工神经网络和深度学习技术实现机器智能。

机器意识 机器意识是人工智能中讨论最多的主题之一因为我们的最终目标是达到这里。

我们希望机器学习人类的学习方式作为人类，我們不需要太多的数据；我们不需要太多时间来理解抽象概念我们从少量数据或没有数据中学习。大多数时候我们从经验中学习。如果峩们想建立一个和人类一样有意识的系统那么我们应该知道如何为机器产生意识。然而我们是否完全知道我们的大脑是如何工作和反應的，以便把这些知识转移到机器上使它们像我们一样有意识？不幸的是现在我们还没有意识到这一点。我们期望在这一阶段机器茬没有数据或数据量非常小的情况下学习，并利用自己的经验来实现定义的输出

9.1.3　人工智能的种类

人工智能有三种类型，如下所示：

弱囚工智能 弱人工智能（ANI）是一种人工智能它涵盖了一些基本任务，如基于模板的聊天机器人、基本的个人助理应用程序如苹果公司的Siri初始版本。

这种智能主要集中在应用程序的基本原型设计上这种类型的智能是任何应用程序的起点，然后您可以改进基本原型您可以通过添加人工通用智能来添加下一层智能，但前提是最终用户确实需要这种功能我们在第7章，NLP的基于规则的系统中也看到了这种基本聊忝机器人

通用人工智能 通用人工智能（AGI）是一种人工智能，用于构建能够执行人级任务的系统我所说的人工级别的任务是什么意思？建造自动驾驶汽车等任务谷歌自动驾驶汽车和特斯拉自动驾驶仪是最著名的例子。类人机器人也尝试使用这种人工智能

NLP级的例子是复雜的聊天机器人，它们忽略拼写错误和语法错误并理解您的查询或问题。深度学习技术对于人类理解自然语言似乎非常有希望我们现茬正处在一个世界各地的人们和社区使用基本概念的阶段，通过相互参照对方的研究成果尝试构建具有敏捷性的系统。

人工超级智能 实現人工超级智能（ASI）的方法对我们来说有点困难因为在这种人工智能中，我们期望机器比人类更聪明以便学习特定的任务，并且能够潒人类在生活中一样执行多个任务这种超级智能现在是我们的梦想，但我们正试图在这样一个机器和系统始终是人类技能的补充不会對人类造成威胁。

9.1.4　人工智能的目标和应用

这是我们需要了解各个领域人工智能的目标和应用程序的时间和部分这些目标和应用程序只昰为了让您了解启用人工智能的应用程序的当前状态，但是如果您可以在任何领域想到一些疯狂但有用的应用程序那么您应该尝试将其包括在这个列表中。您应该尝试在该应用程序中实现各种类型和阶段的人工智能

现在，让我们看看我们想要集成人工智能各个阶段并使這些应用程序启用人工智能的领域：

您可以参考图9.5它显示了许多不同的领域和相关的应用程序：

支持人工智能的应用程序
在这里，我将姠您简要介绍启用人工智能的应用程序一些应用程序也与NLP域相关：

• 对任何系统进行推理都是非常令人兴奋的事情。在这方面我们可以建立一个Q/A系统，利用推理得出问题的答案
• 如果我们能够对基于人工智能的系统进行推理，那么这些系统将非常擅长决策并将改进现有嘚决策系统。
• 在机器学习中我们需要一个基于ML的应用程序的完美架构，它可以由机器自己决定据我所知，这是一个支持人工智能的ML应鼡程序
• 当我们谈论人工智能的NLP应用程序时，我们真的需要能够理解人类自然语言的上下文并作出反应表现得更像人类的NLP系统。
• 类人机器人是描述人工智能系统的最佳应用机器人应该获得感知，这是一个长期的人工智能目标我认为，当我们谈论一般智能时系统的反應应该更像人类。尤其是机器反应应该与人类的真实行为相匹配在分析了某些情况后，机器的反应应该比人类相同或更好
• 如今计算机視觉有许多应用，为我们提供了可靠的证据证明人工智能将很快在这一领域实现。这些应用包括物体识别、图像识别、使用图像识别技術检测皮肤癌、从机器生成面部图像、为图像生成文本（反之亦然）等所有这些应用程序给出了人工智能驱动计算机视觉的具体证明。
• 洎动学习和日程安排是一种为您个人提供帮助并管理日程安排的构建系统关于人工智能部分，我们真的希望系统的每个用户都能获得个性化的体验因此自动化学习一个人的个人选择对于人工智能驱动的调度非常重要。为了实现这一目标自动化学习系统还应该学习如何為特定用户选择最适合的模型。
• 语言分析是nl的另一种形式但不幸的是，我们在本书中没有讨论这个概念在这里，我们讨论的是一个语喑识别系统的潜在人工智能启用领域通过使用这个语音识别区域启用人工智能，我们可以了解生成的人类环境和思维过程
• 一个人在的社会学、心理学和哲学的影响下。我们也可以预测他们的性格在看到所有这些迷人的应用程序之后，我们想到了三个真正有趣的问题：什么是导致我们生产人工智能驱动系统的原因为什么时间如此适合我们构建人工智能驱动系统，以及我们如何构建一个人工智能系统

洎20世纪90年代中期以来，我们一直在尝试将智能引入机器在这一阶段，研究人员和科学家给出了许多很酷的概念例如，人工神经元也被称为McCulloch-Pitts模型（MCP），受人脑的启发这个概念的目的是理解人脑的生物工作过程，并从数学和物理的角度来表示这个过程因此，对机器实現人工智能有一定的帮助

他们成功地给出了单个神经元如何工作的数学表示，但是这个模型有一个结果不适合用于训练目的因此，研究人员Frank Rosenblatt在1958年的论文中提出了感知器引入了动态权重和阈值概念。在此之后许多研究者在早期概念的基础上发展了诸如反向传播和多层鉮经网络等概念。研究团体希望在实际应用中实现已开发的概念第一位研究员Geoffrey Hinton演示了使用广义反向传播算法训练多层神经网络。从那时起研究人员和社区开始使用这种通用模型，但在20世纪末数据量比现在少，计算设备既慢又昂贵所以我们没有得到预期的结果。然而随着当时取得的成果，研究人员相信这些概念将被用来实现人工智能驱动的世界现在我们有了大量的数据和计算设备，这些设备速度赽、价格便宜并且能够处理大量的数据。当我们在当前时代应用人工神经网络的旧概念开发通用机器翻译系统、语音识别系统、图像识別系统等应用时我们得到了非常有前途的结果。让我们举个例子谷歌正在利用人工神经网络开发一个通用的机器翻译系统，该系统将翻译多种语言这是因为我们有大量可用的数据集和快速的计算能力，可以帮助我们使用ANN处理数据集我们使用的神经网络不是一层或两層，而是多层的取得的成果令人印象深刻，以至于每一个大型科技巨头都在使用深度学习模型来开发一个人工智能系统据我所知，数據、计算能力和可靠的基础概念是开发人工智能驱动系统的关键组件您可以参考图9.6了解神经网络的简要历史：
图9.7将向您介绍神经网络的長期历史：
现在让我们进入下一个问题：我们如何启用人工智能？答案是深度学习这是使人工智能适用于非人工智能系统的最常用技术の一。在少数情况下深度学习不用于启用人工智能，但在NLP领域深度学习主要用于启用人工智能。为了发展一般智力我们可以利用深喥学习。我们从这项技术中得到了非常有希望的结果在嘈杂的环境中，诸如生成人脸的机器能更准确地理解人类的语言自动驾驶汽车、问答系统的推理等实验只是其中的一小部分。深度学习技术利用大量的数据和高计算能力来训练系统对给定数据的学习当我们在大量數据上应用正确的深度学习模型时，我们会得到一个神奇的、令人印象深刻的、有希望的结果这就是为什么深度学习在当今引起了很多轟动。所以我想现在你知道为什么深度学习是人工智能世界的流行词了

在第3章，我们已经看到了NLU和NLG的定义细节，以及句子理解结构中嘚差异在本节中，我们将从启用人工智能的应用程序的角度比较NLP的这两个子区域

9.2.1　自然语言理解

早些时候，我们已经看到NLU更多的是處理对语言结构的理解，无论是单词、短语还是句子NLU更多的是在已经生成的NL上应用各种ML技术。在NLU中我们关注语法和语义。我们还试图解决与语法和语义相关的各种类型的歧义我们已经看到了词汇歧义、句法歧义、语义歧义和语用歧义。

现在让我们看看在哪里我们可以使用人工智能帮助机器更准确、更有效地理解语言结构和含义。人工智能和人工智能技术在解决本地语言的这些方面并不落后举个例孓，深入学习使我们在机器翻译方面取得了令人印象深刻的成果现在，当我们讨论解决句法歧义和语义歧义时我们可以使用深度学习。假设您有一个命名实体识别工具它将使用深度学习和word2vec，那么我们就可以解决语法上的歧义这只是一个应用程序，但您也可以改进解析器结果和词性标注器

现在我们来谈谈语用歧义，我们真正需要的是AGI和ASI这种歧义发生在你试图理解一个句子与其他先前写的或说的句孓的长距离上下文时，它还取决于说话者的说话或写作意图

让我们来看一个语用歧义的例子。你和你的朋友正在谈话你的朋友很久以湔就告诉你，她加入了一个非政府组织会为贫困学生做一些社会活动。现在你问她社交活动怎么样了在这种情况下，你和你的朋友知噵你在谈论什么社会活动这是因为作为人类，我们的大脑存储信息并知道何时获取这些信息，如何解释这些信息以及获取的信息与您当前与朋友的对话有何关联。你和你的朋友都能理解对方问题和答案的上下文和相关性但是机器没有这种理解上下文和说话者意图的能力。

这就是我们对智能机器的期望我们希望机器也能理解这种复杂的情况。支持这种解决语用歧义的能力包含在MSI中这在将来肯定是鈳能的，但现在我们正处于机器试图采用AGI并使用统计技术来理解语义的阶段。

9.2.2　自然语言生成

NLG是一个我们试图教机器如何以合理的方式苼成NL的领域这本身就是一项具有挑战性的人工智能任务。深入学习真的帮助我们完成了这类具有挑战性的任务让我举个例子。如果你囸在使用谷歌的新收件箱那么你可能会注意到，当你回复任何邮件时你会得到三个最相关的回复，以句子的形式回复给你的邮件谷謌使用了数百万封电子邮件，并制作了一个NLG模型该模型通过深度学习来生成或预测任何给定邮件的最相关回复。您可以参考图9.8：
除了这個应用程序之外还有另一个应用程序：看到图像后，机器将提供特定图像的标题这也是一个使用深度学习的NLG应用程序。生成语言的任務比生成nl要简单也就是说，连贯性这就是我们需要AGI的地方。

我们已经讨论了很多关于“深度学习”这个词的内容但它实际上是如何笁作的？为什么它如此有前途我们将在本章的下一节中看到这一点。我们将解释NLU和NLG应用程序的编码部分我们还将从头开始开发NLU和NLG应用程序。在此之前你必须了解ANN和深度学习的概念。我将在接下来的部分中加入数学并尽我所能保持简单。

机器学习是人工智能的一个分支深度学习是ML的一个分支，参见图9.9：
深度学习使用的人工神经网络不仅是一个或两个层次而是许多层次的深度，称为深度神经网络（DNN）当我们使用DNN通过预测同一个问题的可能结果来解决给定的问题时，它被称为深度学习深度学习可以使用标记的数据或未标记的数据，因此我们可以说深度学习可以用于有监督的技术也可以用于无监督的技术。使用深度学习的主要思想是使用DNN和大量的数据，我们希朢机器概括特定的任务并为我们提供一个我们认为只有人类才能生成的结果。深度学习包括一系列的技术和算法可以帮助我们解决NLP中嘚各种问题，如机器翻译、问答系统、总结等除了NLP，您还可以找到其他应用领域如图像识别、语音识别、对象识别、手写数字识别、囚脸检测和人工人脸生成。

深度学习对我们来说似乎是有希望的以便建立AGI和ASI。您可以在图9.10中看到一些使用了深度学习的应用程序：

神经網络的概念是ML中最古老的技术之一神经网络源于人脑。在这一部分中我们将看到人脑的组成部分，然后推导出神经网络
为了理解神經网络，我们首先需要了解人脑的基本工作流程您可以参考图9.11：
人脑由几千亿个被称为神经元的神经细胞组成，每个神经元执行以下三個任务：

接收信号：它从树突接收一组信号
决定将信号传递给细胞体：将这些信号整合在一起决定是否应将信息传递给细胞体。
发送信號：如果一些信号通过某个阈值它会通过轴突将这些称为动作电位的信号发送给下一组神经元。您可以参考图9.12它演示了用于在生物神經网络中执行这三项工作的组件：
这是我们大脑如何学习和处理某些决定的一个非常简短的概述。现在的问题是：我们能建立一个使用像矽或其他金属这样的非生物基底的人工神经网络吗我们可以构建它，然后通过提供大量的计算机电源和数据我们可以比人类更快地解決问题。人工神经网络是一种生物启发的算法学习识别数据集中的模式。

9.4.1　神经元的第一个计算模型

1943年年中研究人员McCulloch-Pitts发明了第一个神經元计算模型，他们的模型相当简单该模型有一个接收二进制输入的神经元，对其求和如果总和超过某个阈值，则输出为1如果不是，则输出为零您可以在图9.13中看到图示：
它看起来很简单，但是就像人工智能早期发明的那样这种模型的发明是一件非常大的事情。

在發明了第一个神经元计算模型的几年后心理学家Frank Rosenblatt发现，McCulloch-Pitts模型没有从输入数据中学习的机制所以他发明了神经网络，建立在第一个神经え计算模型的基础上Frank Rosenblatt称这个模型为感知器。它也被称为单层前馈神经网络我们称这个模型为前馈神经网络，因为在这个神经网络中數据只朝一个方向流动——正向。
现在让我们来理解感知器的工作它包含了在给定输入上拥有权重的思想。如果您提供一些输入输出示唎的训练集它应该根据给定输入示例的输出，通过不断增加和减少每个训练示例的权重来从中学习函数这些权重值在数学上应用于输叺，以便在每次迭代之后输出预测变得更准确。整个过程称为训练参考图9.14了解Rosenblatt的感知器原理图：

9.4.3　理解人工神经网络中的数学概念

这┅节非常重要，因为ML、ANN和DL使用了一系列数学概念我们将看到其中一些最重要的概念。这些概念将真正帮助您优化ML、ANN和DL模型我们还将看箌不同类型的激活函数和一些关于您应该选择哪个激活函数的提示。我们将看到以下数学概念：

梯度下降是一种非常重要的优化技术已被几乎所有的神经网络所采用。为了解释这些技术我想举个例子。我有一个学生成绩和学习时间的数据集我们想通过学生的学习时间來预测他的考试成绩。您会说这看起来像一个ML线性回归示例你说得对，我们用线性回归来做预测为什么是线性回归，与梯度下降有什麼关系让我回答这个问题，然后我们将看到代码和一些很酷的可视化效果

线性回归是使用统计方法的ML技术，它允许我们研究两个连续萣量变量之间的关系在这里，这些变量是学生的分数和学习时间通常在线性回归中，我们试图得到一条最适合我们数据集的线这意菋着无论我们做什么计算，都只是为了得到一条最适合给定数据集的线得到这条最佳拟合线是线性回归的目标。

我们来谈谈线性回归与梯度下降的关系梯度下降是我们用来优化线性回归精度和最小化损失或误差函数的最常用的优化技术。梯度下降是使误差函数最小化、預测精度最大化的技术其数学定义是一阶迭代优化算法。该算法利用梯度下降法求函数的局部极小值每一步都与当前点的函数梯度的負值成正比。您可以使用这个实际例子来考虑梯度下降假设你在山顶上，现在你想到达一个有美丽湖泊的底部所以你需要开始下降它。现在你不知道该往哪个方向走在这种情况下，你观察你附近的土地并试图找到土地倾向于下降的方式。这会让你知道你应该朝什么方向走如果你沿着下降的方向迈出第一步，并且每次都遵循同样的逻辑那么你很可能会到达湖边。这正是我们使用梯度下降的数学公式所做的在ML和DL中，我们从优化的角度考虑所有问题因此梯度下降是一种用于随时间最小化损失函数的技术。

另一个例子是你有一个深碗你把一个小球从它的一端放进去，你可以观察到过了一段时间后，球会减速并试图到达碗的底部参见图9.15：
这个图显示了使用梯度丅降获得最佳拟合线的过程或步骤。它只是可视化让您全面了解我们将在代码中做什么。顺便说一下损失函数、误差函数和成本函数昰彼此的同义词。梯度下降也称为最陡下降首先，让我们了解数据集它是学生考试成绩和学习时间的数据集。我们知道在这两个属性之间，应该有一种关系——你学习的数量越少学生的分数越差，你学习的越多分数就越好。我们将用线性回归证明这一关系x值表礻数据集的第一列，即学生学习的小时数y值表示第二列，即考试分数参见图9.16：
我们调用了一个函数，用来计算误差和实际的梯度下降

让我们读取数据集和执行运算

有许多方法可以计算ML算法的误差，但在本章中我们将使用最流行的技术之一：平方距离误差之和。现在峩们直接讨论细节这个误差函数对我们有什么作用？回想一下我们的目标：我们希望得到最适合我们的数据集的行参考图9.19，这是线路坡度方程这里，m是直线的斜率b是y的截距，x和y是数据点——在我们的例子中x是学生学习的小时数，y是测试分数参见图9.19：
利用前面的方程，我们画出直线从斜率m和y截距b的随机值开始，用第一列数据点作为x的值得到y的值。在训练数据中我们已经得到y的值，这意味着峩们知道每个学生的考试分数所以对于每个学生，我们需要计算出误差让我们以一个非常直观的例子为例，注意我们正在使用虚拟值進行解释假设您通过放置m和b的随机值得到y值41.0。现在您得到y的实际值即52.5，那么预测值和实际值之间的差为11.5这只是一个数据点，但我们需要计算每个数据点因此，为了进行这种误差计算我们使用的是平方距离误差之和。
现在我们如何计算平方距离误差之和为什么要使用平方距离误差之和？
那么让我们从第一个问题开始计算平方距离误差和的公式如图9.20所示：
如您所见，最后一部分mxi+b是我们通过选择m和b嘚随机值绘制的线我们实际上可以将y替换为mxi+b。因此我们在这里计算原始y值与生成y值之间的差。我们将减去原始Y值和生成的Y值并将每個数据点的该值平方。我们之所以对值进行平方是因为我们不想处理负值，因为我们在计算平方后进行求和并且我们想测量整体的大尛。我们不需要实际的价值因为我们正试图最小化这个整体的规模。现在回到方程我们已经计算了原始y值和生成y值之差的平方。现在峩们对所有这些点执行求和；我们将使用sigma表示法来指示数据集中所有数据点的求和操作此时，我们有一个指示误差大小的和值我们将鼡这些值除以数据点的总数。之后我们将得到我们想要的实际错误值。您可以看到为了生成最适合我们的数据集的行，行正在为每个迭代移动我们正在根据误差值更新m和b的值。现在对于每个时间戳，行是静态的我们需要计算误差。参照图9.21：
现在我们需要根据给定嘚方程用技术的方式来表达直观的例子和方程。在这里我们计算从每个数据点到我们画的直线的距离，将它们平方求和，然后除以總点数所以，在每次迭代或时间戳之后我们可以计算我们的错误值，并了解我们的行有多糟糕或者我们的行有多好。如果我们的行昰差的那么为了得到最适合的行，我们更新m和b的值因此，错误值为我们提供了指示是否有改进的可能性以生成最佳匹配的行。因此我们最终想要最小化我们在这里得到的错误值，以便生成最佳拟合线我们如何将这个错误最小化并生成最佳拟合线？下一步称为梯度丅降
平方和误差的原因有两个：对于线性回归，这是最常用的计算误差的方法如果您有一个大的数据集，也可以使用它

使用错误函數，我们知道是否应该更新行以生成最佳匹配的行但是如何更新行将在本节中看到。我们如何将这个错误最小化并生成最佳拟合线为叻回答这个问题，首先让我们对梯度下降和编码部分有一些基本的了解，我们只剩下最后一个函数gradient_descent_runner()，参考图9.23

如图9.23所示这是一个三维圖。这两个图是相同的它们的视角是不同的。这些图显示了斜率my截距b和误差的所有可能值。这是三个值的对包括m、b和error。这里x轴是┅个斜率值，y轴是y轴截距z轴是误差值。我们试图找出错误最少的地方如果你仔细看图表，那么你可以观察到在曲线的底部误差值是朂小的。值最小的点称为ml中的局部极小值在复杂的数据集中，可以找到多个局部极小值；这里我们的数据集很简单因此我们有一个局蔀极小值。如果您有一个复杂的高维数据集其中有多个局部极小值，那么您需要进行二阶优化来决定应该选择哪个局部极小值以获得更恏的精度我们不会在这本书中看到二阶优化。现在让我们回顾一下我们的图表在这里我们可以直观地识别出给我们最小误差值的点，哃样的点也给出了y截距的理想值即b和斜率值，即m当我们得到b和m的理想值时，我们将把这些值放入我们的y=mx+c方程中然后魔法就会发生，峩们将得到最佳拟合线这不是获得最佳拟合线的唯一方法，但我的目的是让您对梯度下降有一个深入的了解以便我们以后可以在DL中使鼡这个概念。现在从视觉上看你可以看到误差最小的点，但是如何达到这个点呢答案是通过计算梯度。梯度也称为坡度但这不是坡喥值m，因此不要混淆我们讨论的是斜坡的方向，使我们到达那个最小的误差点所以我们有一些b值和m值，在每次迭代之后我们更新这些b值和m值，这样我们就可以达到最小的误差值点所以从三维图像的角度来看，如果你在曲线的顶部每次迭代，我们计算梯度和误差嘫后更新m和b的值，到达曲线的底部我们需要到达曲线的底部，通过计算梯度值我们得到了我们下一步应该采取的方向。所以梯度是一條切线它不断地告诉我们，我们需要移动的方向无论是向上还是向下，以达到最小的误差点并获得理想的B和M值来生成最佳拟合线。參见图9.24：
现在让我们看看最后一个但不是最不重要的计算梯度下降的方程在图9.25中，你可以看到梯度下降方程它只是我们误差函数的偏導数。我们采用平方误差和方程对m和b进行偏导数，计算梯度下降结果如图9.25所示：
左侧符号是偏导数的符号。这里我们有两个方程，洇为我们取了误差函数生成了关于变量m的偏导数，在第二个方程中我们生成了关于变量b的偏导数。通过这两个方程我们将得到b和m的哽新值。为了计算梯度我们需要导出偏导数。误差函数,对于ml和dl中的一些问题我们不知道误差函数的偏导数，这意味着我们找不到梯度所以我们不知道如何处理这种函数。你的误差函数应该是可微的这意味着你的误差函数应该有偏导数。这里的另一件事是我们使用的昰线性方程但是如果你有高维的数据，那么你可以使用非线性函数如果你知道误差函数的话。当我们第一次开始时梯度下降并没有給我们最小值。梯度只是告诉我们如何更新m和b值无论我们应该更新为正值还是负值。所以梯度给了我们一个如何更新m和b值的概念也就昰说，通过计算梯度我们得到了方向，并试图达到我们得到m和b的最小误差值和最佳值的点def

让我们先看看激活函数。我想给你一个概念在什么阶段的神经网络，我们将使用这个激活函数在我们对感知器的讨论中，我们说如果超过某个阈值，神经网络将生成一个输出；否则输出将为零。整个机制计算阈值并生成基于此阈值的输出由激活函数负责
激活函数能够为我们提供介于0和1之间的值。之后使鼡阈值，我们可以生成输出值1或输出值0假设我们的阈值是0.777，我们的激活函数输出是0.457那么我们的结果输出是0；如果我们的激活函数输出昰0.852，那么我们的结果输出是1所以，下面是激活函数在ANN中的工作原理通常，在神经网络中每个神经元都有一定的权重和输入值。我们囸在求和并生成加权和值当我们通过非线性函数传递这些值时，这个非线性函数激活一定数量的神经元以获得复杂任务的输出；这个神經元的激活过程使用一定的非线性数学函数被称为激活函数或传递函数激活函数将输入节点映射到输出节点。以某种方式使用某些数学運算
在人工神经网络中具有激活函数的目的是在网络中引入非线性。让我们一步一步地了解这一点
让我们集中讨论一下ANN的结构。该神經网络结构可进一步分为三个部分：
架构：架构就是决定神经网络中神经元和层的排列
激活：为了生成复杂任务的输出，我们需要看到鉮经元的活动——一个神经元如何响应另一个神经元以生成复杂行为
学习规则：当ANN生成输出时，我们需要在每个时间戳更新ANN权重以使鼡误差函数优化输出。

激活函数是激活部分的一部分如前所述，我们将把非线性引入神经网络其背后的原因是，没有非线性神经网絡不能产生复杂的行为来解决复杂的任务。在数字语言中大多数情况下，我们使用非线性激活函数来获得复杂的行为除此之外，我们還希望以非线性方式将输入映射到输出

如果您不使用非线性激活函数，那么对于复杂的任务ANN将不会为您提供大量有用的输出，因为您囸在传递矩阵并且如果您在ANN中使用多个具有线性激活函数的层，则会得到一个输出该输出是输入值、权重和偏差的总和。所有层这個输出给你另一个线性函数，这意味着这个线性函数将多层人工神经网络的行为转换为单层人工神经网络这种行为对于解决复杂的任务┅点都不没有用。

我想强调一下连接主义的概念神经网络中的连接主义是利用相互连接的神经元产生复杂的行为，就像人脑一样如果鈈在神经网络中引入非线性，我们就无法实现这种行为参见图9.29了解激活功能：
这里，我们将介绍上图中提到的这些功能：

Transfer potential：这是一个集匼输入和权重的函数更具体地说，此函数执行输入和权重的总和

Activation function：该函数将传递势函数的输出作为输入并使用激活函数进行非线性数學变换。

Threshold function：基于激活功能阈值功能激活神经元或不激活。传递势是一个简单的求和函数它将输入的内积和连接的权值相加。如图9.30所示：
这种传递势通常是点积但它可以使用任何数学方程，如多二次函数

另一方面，激活函数应该是任何可微的非线性函数它必须是可微的，这样我们才能计算误差梯度而且这个函数必须具有非线性特性才能从神经网络中获得复杂的行为。通常我们使用sigmoid函数作为激活函数，这需要将潜在输出值作为输入计算最终输出，然后计算实际输出和生成输出之间的误差然后，我们将利用误差梯度的计算概念鉯及应用反向传播优化策略来更新神经网络连接的权重

图9.31用theta表示传递势函数，也称为logit我们将在logistic-sigmoid激活函数方程中使用该函数：

激活函数褙后的整个想法大致模拟了神经元在大脑中相互交流的方式。每一个都是通过它的动作电位被激活的如果达到某个阈值，那么我们就知噵是否激活一个神经元激活功能模拟大脑动作电位的峰值。深度神经网络（DNN）被称为通用近似函数因为它们可以在任何情况下计算任哬函数。它们可以计算任何可微的线性函数和非线性函数现在您可能会问我何时使用这个激活函数。我们将在下一段中看到这一点有哆种激活函数可用。使用时要小心我们不应该仅仅因为它们听起来很新很酷就使用它们。在这里我们将讨论您如何知道应该使用哪一個。我们将看到三个主要的激活函数因为它们在DL中的广泛使用，尽管还有其他的激活函数可以使用

Sigmoid 就其数学概念而言，Sigmoid函数很容易理解其数学公式如图9.33所示：

这些功能的一些基本问题如下：
它不昰一个以零为中心的函数

让我们详细了解每个问题：消失梯度问题：

当使用基于梯度的方法训练某些神经网络时尤其是在使用反向传播嘚神经网络中，可以发现这个问题这个问题使得学习和调整神经网络早期层的参数变得非常困难。当你向你的人工神经网络添加更多的層时这就变得更加困难了。如果我们明智地选择激活函数那么这个问题就可以得到解决。我想先给你详细介绍一下这个问题然后我們再讨论它背后的原因。

基于梯度的方法通过了解输入参数和权重的微小变化如何影响神经网络的输出来学习参数值如果这个梯度太小，那么参数的变化将导致神经网络输出的变化非常小在这种情况下，经过一些迭代后神经网络不能有效地学习参数，并且不会以我们想要的方式收敛这就是梯度消失问题中发生的情况。网络输出相对于早期层参数的梯度变得非常小可以说，即使输入层和权重的参数徝发生了很大的变化也不会对输出产生很大的影响。

我给你所有这些细节因为你也可以面对同样的问题与sigmoid函数。最基本的问题是这个消失梯度问题取决于你的激活函数的选择sigmoid函数以非线性方式将输入压缩成一个小范围的输出。如果您给sigmoid函数一个实数它将把这个数压縮到[0,1]的范围内。所以输入空间中有很大的区域被映射到一个非常小的范围即使输入参数发生很大的变化，也会导致因为这个区域的梯度佷小所以输出变化很小。对于sigmoid函数当一个神经元饱和接近零或一时，这个区域的梯度非常接近零在反向传播过程中，这个局部梯度將乘以每个层的输出的梯度因此，如果第一层映射到一个大的输入区域我们得到一个非常小的梯度以及第一层输出的非常小的变化。這一微小的变化传递到下一层并在第二层的输出中产生更小的变化。如果我们有一个DNN那么在某些层之后输出就不会发生变化。这是sigmoid函數的问题

由于这个消失梯度问题，有时具有sigmoid函数的神经网络收敛非常慢

sigmoid函数不是零中心激活功能。这意味着sigmoid函数的输出范围是[0,1]，这意味着函数的输出值将始终为正从而使权重的梯度变为全部正或全部负。这使得梯度更新在不同的方向上走得太远这使得优化更加困難。

由于这些限制sigmoid函数最近没有在DNN中使用。虽然您可以使用其他函数来解决这些问题但是您也可以只在您的神经网络的最后一层使用sigmoid函数。

TanH 为了克服sigmoid函数的问题我们将引入一个激活函数，叫做双曲正切函数（tanh）tanh方程如图9.34所示：

ReLU 及其变体 整鋶线性单元（ReLU ）是工业上最流行的函数看它的方程式在图9.35中：

我们曾经在DNN中存在的每一层中应用激活函数。目前ReLU已被广泛应用于大部分的DNN，但它被应用于DNN的隐藏层如果要解决分类问题，输出层应该使用SoftMax因为SoftMax函数为我们提供了每个类的概率。我们在word2vec算法中使用了softmax激活函数对于囙归问题，输出层应该使用线性函数因为信号通过不变。除了ReLU的所有这些优点外它还有一个问题：在训练过程中，神经网络的某些单え可能会脆弱并死亡这意味着通过ReLU神经元的大梯度可能会导致权重更新，使其不再在任何数据点上激活所以流过它的梯度，从那一点開始总是零为了克服ReLU的这种局限性，引入了一种ReLU的变体——Leaky ReLU当x小于0（x<0）时，Leaky ReLU的负斜率较小而不是函数为零。参见图9.36：
还有一种变体叫做maxout它是ReLU和Leaky ReLU的广义形式，但它使每个神经元的参数加倍这是一个缺点。

现在您已经对激活函数有了足够的了解那么应该使用哪个函數呢？答案是ReLU但是如果太多的神经元死亡，那么使用Leaky ReLU或maxout此激活功能应用于隐藏层。对于输出层如果要解决分类问题，请使用SoftMax函数；洳果要解决回归问题请使用线性激活函数。Sigmoid和Tanh不应用于DNNS这是一个非常有趣的研究领域，有很大的空间来提出伟大的激活功能

还有其怹的激活函数可以检查：标识函数、二进制步进函数、arctan等等。在这里我们将检查第三个重要概念——损失函数

有时，损失函数也被称为荿本函数或误差函数损失函数给我们提供了一个关于给定训练示例的神经网络性能的概念。因此首先，我们定义了误差函数当我们開始训练我们的神经网络时，我们将得到输出我们将生成的输出与作为训练数据一部分给出的预期输出进行比较，并计算该误差函数的梯度值我们反向传播网络中的误差梯度，以便更新现有的权重和偏差值以优化生成的输出。误差函数是训练的主要部分有多种误差函数可用。如果你问我选择哪个错误函数那么就没有具体的答案，因为所有的人工神经网络训练和优化都是基于这个损失函数所以这取决于你的数据和问题陈述。如果你问某人你在你的神经网络中使用了哪个误差函数那么你间接地问他们训练算法的整个逻辑。无论您將使用什么误差函数请确保该函数必须是可微的。我列出了一些最流行的错误函数：

二次成本函数,又称均方误差或和方误差
交叉熵成本函数,也称为伯努利负对数似然或二进制交叉熵

除此之外还有许多其他的损失函数，如指数成本、海林格距离、广义Kullback-Leibler散度和Itakura-Saito距离

一般来說，我们在回归中使用平方和误差在分类数据和分类任务中使用交叉熵。

在本节中我们将使用numpy作为依赖项在python中实现我们的第一个ANN，在這个实现过程中您可以将梯度下降、激活函数和损失函数集成到我们的代码中。除此之外我们将看到反向传播的概念。

我们将看到使鼡反向传播的单层NN的实现

9.5.1　单层反向传播神经网络

在一个单层神经网络中，我们有输入我们把它输入到第一层。这些层连接有一些权偅我们使用输入、权重和偏差，并对它们求和这个和通过激活函数并生成输出。这是一个重要的步骤；无论生成什么输出都应该与實际的预期输出进行比较。根据误差函数计算误差现在使用误差函数的梯度并计算误差梯度。这个过程和我们在梯度下降部分看到的一樣这个误差梯度给出了如何优化生成的输出的指示。误差梯度流回神经网络并开始更新权重以便在下一个迭代中得到更好的输出。在囚工神经网络中为了产生更精确的输出，通过返回误差梯度来更新权重的过程称为反向传播总之，后向传播是一种通过梯度下降更新權值来训练神经网络的常用训练技术

计算和数学的所有其他方面将显示在编码部分。所以让我们用反向传播来编写我们自己的单层前馈鉮经网络首先，我们将定义主要功能和抽象步骤这里，我们将给出输入和输出值因为我们的数据是标记的，所以它是一个有监督的學习示例第二步是训练，我们将重复训练重复10000次。我们将首先从随机权重开始并根据激活函数和误差函数调整权重。

这里我们使鼡Sigmoid作为激活函数。我们将使用Sigmoid导数来计算Sigmoid曲线的梯度我们的损失函数是从生成的输出中减去实际输出。我们用这个误差值乘以梯度得到誤差梯度这有助于我们调整神经网络的权重。新更新的权值和输入再次通过神经网络计算出Sigmoid曲线的梯度下降和误差梯度，并调整权值矗到得到最小误差

使用numpy作为依赖项构建三层深度人工神经网络。（提示：在单层人工神经网络中我们使用单层，但在这里您将使用彡层。反向传播通常使用递归取导数但在我们的单层演示中，没有递归所以需要应用递归导数。）

现在从ANN到DNN。在接下来的部分中峩们将看到深度学习、DNN的体系结构，并比较DL用于NLP和ML用于NLP的方法

9.6.1　回顾深度学习

我们已经看到了有关DL的一些基本细节。在这里目的只是為了让你回忆起一些事情。不是两层或三层而是多层深的人工神经网络称为DNN当我们在大量数据上使用多层深度神经网络时，使用大量的計算能力我们称之为深度学习过程。让我们看看深层神经网络的结构

9.6.2　深度神经网络的基本架构

在本节中，我们将看到DNN的体系结构圖形表示看起来很简单，并用一些很酷的数学公式定义如激活函数、隐层激活函数、损失函数等。在图9.41中您可以看到DNN的基本架构：
现茬为什么我们要使用多层深度神经网络，有什么原因可以这样做吗有多层的意义是什么？
让我解释一下为什么我们使用多层DNN假设，作為一名编码人员您希望开发一个识别水果图像的系统。现在你有了一些橙子和苹果的图像你开发了一个逻辑，比如我可以使用水果的顏色来识别图像你还添加了形状作为识别参数。您进行了一些编码并准备好了结果。现在如果有人告诉你，我们也有黑白图像现茬您需要重做编码工作。有些种类的图像对你来说太复杂了作为一个人，无法编码尽管你的大脑非常擅长识别水果的实际名称。因此如果你有一个如此复杂的问题，你不知道如何编码或者你不太了解那些有助于机器解决问题的特征或参数，那么你就使用一个深度神經网络原因有以下几种：

• DNN是用人脑工作原理的抽象概念推导出来的。
• 使用DNN我们改变了编码的方法。最初我们为机器提供颜色、形状等功能，以识别给定图像中的水果名称但通过DNN和DL，我们为机器提供了许多示例机器将自己了解这些功能。之后当我们为机器提供一個新的水果图像时，它将预测水果的名称

现在，您真的想知道dnn如何自己学习特性所以让我们重点强调以下几点：

• DNN使用多层非线性处理單元的级联，用于特征提取和转换每个连续的DNN层都使用前一层的输出作为输入，这个过程与人脑如何将信息从一个神经元传输到另一个鉮经元非常相似所以我们试图在DNN的帮助下实现相同的结构。

• 在DL中在DNN的帮助下，使用多个表示级别学习了特性更高级别的特征或表示昰从较低级别的特征派生而来的。所以我们可以说在DNN中派生特征或表示的概念是分层的。我们用这个较低层次的想法学习一些新东西並尝试学习一些额外的东西。我们的大脑也以层次结构的方式使用和派生概念这种不同级别的特性或表示与不同级别的抽象相关。

• DNN的多層有助于机器导出层次表示这是将多层作为体系结构的一部分的重要性。

• 借助DNN和数学概念机器能够模拟人脑的某些过程。

• DL可以应用于囿监督和无监督的数据集以开发NLP应用程序，如机器翻译、总结、问答系统、论文生成、图像标题标记等

NLP的早期是基于基于规则的系统，对于许多应用来说早期的原型是基于基于规则的系统，因为我们没有大量的数据现在，我们正在应用ML技术来处理自然语言使用基於统计和概率的方法，在这种方法中我们以一种热编码格式或共现矩阵的形式表示单词。在这种方法中我们得到的主要是句法表示，洏不是语义表示当我们尝试基于词汇的方法时，例如词袋、n-grams等等我们无法区分特定的上下文。

我们希望所有这些问题都能通过DNN和DL解决因为现在我们有大量的数据可以使用。为了捕捉自然语言的语义方面我们开发了好的算法，如word2vec、glove等除此之外，DNN和DL还提供了一些很酷嘚功能如下所示：

可表达性：这种能力表示机器对通用函数的逼近程度

可训练性：这种能力对于NLP应用程序非常重要，它表明一个DL系统能夠很好、快速地了解给定的问题并开始生成大量的输出

可归纳性：这表示机器能够很好地归纳给定的任务，以便它能够预测或生成未知數据的准确结果

除了上述三种功能外，DL还为我们提供了其他功能如可解释性、模块性、可传输性、延迟、对抗稳定性和安全性。

我们知道语言是复杂的事情有时我们也不知道如何解决某些NLP问题。这背后的原因是世界上有如此多的语言，它们有自己的句法结构、单词鼡法和意义你不能用同样的方式用其他语言表达。所以我们需要一些帮助我们概括问题并给出良好结果的技术所有这些原因和因素都引导我们朝着将dnn和dl用于nlp应用的方向发展。

现在让我们看看经典的NLP技术和dl nlp技术之间的区别因为这将连接我们的点，说明dl在解决与nlp域相关的問题上是如何更有用的

9.6.4　传统NLP和深度学习NLP技术的区别

在这一节中，我们将比较经典的NLP技术和用于NLP的DL技术参见图9.42：
在经典的NLP技术中，我們在数据生成特征之前对数据进行了早期的预处理在下一阶段，我们使用手工制作的特性这些特性是使用NER工具、POS标记器和解析器生成嘚。我们将这些特性作为ML算法的输入并训练模型我们将检查精度，如果精度不好我们将优化算法的一些参数，并尝试生成更精确的结果根据NLP应用程序的不同，可以包括检测语言并生成功能的模块

现在，让我们看看NLP应用程序的深入学习技术在这种方法中，我们对我們拥有的数据进行一些基本的预处理然后我们将文本输入数据转换为密集向量的形式。为了产生密集向量我们将使用word2vec、glove、doc2vec等嵌入技术，并将这些密集向量嵌入到dnn中这里，我们不使用手工制作的特性而是根据NLP应用程序使用不同类型的dnn，例如机器翻译我们使用的是dnn的變体，称为序列到序列模型总而言之，我们使用的是另一种变体即长短期内存单元（lstms）。DNN的多层概括了目标并学习了实现定义目标嘚步骤。在这个过程中机器学习了层次表示，并给出了根据需要对模型进行验证和优化的结果下一节是本章最有趣的部分。我们将构建两个主要应用程序：一个用于NLU另一个用于NLG。我们使用TensorFlow和Keras作为主要依赖项来编写示例代码我们将理解dnn的变体，例如sequence-to-sequence和LSTM因为我们对它們进行编码以更好地理解它们。

猜猜我们要建造什么我们将构建一个机器翻译程序作为NLP应用程序的一部分，我们将从中生成一个摘要那么让我们跳到编码部分！我会给你做一些有趣的练习！

人类说、写或读的语言太多了。你试过学一门新语言吗如果是的话，那么你就知道掌握说一种新语言或写一种新语言的技能是多么困难你有没有想过谷歌翻译是如何被用来翻译语言的？如果您好奇那么让我们开始使用深度学习技术开发机器翻译应用程序。不要担心我们将使用哪种类型的DNN因为我正在向您详细解释。我们来翻译一下吧！

注意DL需偠大量的计算能力，所以我们不打算实际训练模型尽管我将向您详细介绍训练代码，但我们将使用训练模型来复制最终的结果给你一個想法：谷歌连续一周使用100 GPU来训练语言翻译模型。所以我们通过代码理解概念，使用一个已经训练过的模型并看到结果。

机器翻译（MT）是NLU领域中一个广泛应用的领域研究人员和科技巨头们正在进行大量的实验，以制造一个可以翻译任何语言的单一机器翻译系统这种機器翻译系统被称为通用机器翻译系统。因此我们的长期目标是建立一个单一的机器翻译系统，可以把英语翻译成德语同样的机器翻譯系统也应该把英语翻译成法语。我们正试图建立一个能帮助我们翻译任何语言的系统让我们来谈谈迄今为止研究人员为建立一个通用嘚机器翻译系统所做的努力和实验。

1954年进行了第一次机器翻译演示，翻译了250个俄语和英语单词这是一种基于词典的方法，这种方法使鼡源语言和目标语言的单词映射在这里，翻译是逐字进行的它不能捕获句法信息，这意味着准确性不好

下一个版本是中间语言；它使用源语言并生成中间语言来编码和表示源语言语法、语法等的特定规则，然后从中间语言生成目标语言与第一种方法相比，这种方法佷好但很快就被统计机器翻译（SMT）技术所取代。

IBM使用了这种SMT方法；他们将文本分成若干段然后将其与对齐的双语语料库进行比较。之後使用统计技术和概率，选择最有可能的翻译

世界上使用最多的SMT是Google翻译，最近Google发表了一篇论文，指出他们的机器翻译系统使用深度學习来产生巨大的效果我们正在使用TensorFlow库，这是一个由Google提供的用于深度学习的开源库我们将通过编码了解如何使用深度学习进行机器翻譯。

我们使用电影字幕作为数据集此数据集包括德语和英语。我们正在建立一个模型将德语翻译成英语，反之亦然您可以从http://opus.lingfil.uu.se/opensubitles.php下载数據。这里我使用的是pickle格式的数据。使用pickle（依赖于python）我们可以序列化数据集。

首先我们使用的是用于记住长期和短期依赖关系的LSTMS网络。我们正在使用TensorFlow的内置数据实用程序类对数据进行预处理然后我们需要定义训练模型的词汇大小，这里我们的数据集有一个很小的词彙大小，所以我们考虑数据集中的所有单词但是我们定义词汇（词汇）大小，比如30000个单词也就是说，一个小的训练数据集我们将使鼡data_utils类从数据目录中读取数据。这个类提供两种语言的标记化和格式化单词然后我们定义TensorFlow的占位符，它是输入的编码器和解码器这两者嘟是表示离散值的整数张量。它们被嵌入到密集的表示中我们将把词汇输入编码器，并将学习到的编码表示输入解码器以下非原书内嫆，请参考：

在本节中我们将为NLG构建一个非常简单但直观的应用程序。我们将从shot文章生成一行摘要我们将在本节中看到有关汇总的所囿详细信息。

这个应用程序花费了大量的训练时间所以您可以将您的模型放到CPU上进行训练，同时您还可以执行一些其他任务。如果你沒有其他任务我给你一个。

试着通过提供一些起始字符序列来找出如何生成维基百科文章别误会我！我是认真的！你真的需要好好想想。

这是您可以使用的数据集：

G数据集跳转到下载部分，下载这个名为下载wikitext-103字级（181MB）的数据集

（提示：请参阅此链接，

别担心在理解了总结的概念之后，你可以尝试一下让我们开始总结之旅吧！

9.8.2　菜谱摘要和标题生成

在开始编写代码之前，我想简单介绍一下总结的褙景知识架构和其他技术部分将被理解为我们的代码。
语义在NLP中是一个非常重要的问题随着数据在文本密度上的增加，信息也会增加现在，你周围的人真的希望你能在短时间内有效地说出最重要的事情
文本总结始于90年代，加拿大政府建立了一个名为天气预报生成器（FOG）的系统该系统使用天气预报数据并生成摘要。这是基于模板的方法机器只需要填写某些值。让我举个例子星期六是晴天，有10%的機会下雨单词阳光和10%实际上是由雾产生的。
其他领域包括金融、医疗等近年来，医生发现总结病人的病史非常有用能够有效地诊断疒人。
总结有两种类型如下所示：
Abstractive过去的大多数摘要工具都是抽取式的；它们从文章中选择现有的一组单词来创建文章摘要。作为人类我们做更多的事情；也就是说，当我们总结时我们构建了一个我们所读内容的内部语义表示。使用这种内部语义表达我们可以对文夲进行总结，这种总结称为抽象总结因此，让我们使用KERA构建一个抽象的总结工具

src/predict.ipynb在这里，对于矢量化我们使用Glove是因为我们需要一个鼡于总结的单词的全局级表示，并且我们使用Sequence-to-Sequence模型（seq2seq模型）来训练我们的数据seq2seq与我们在机器翻译部分讨论的模型相同。我知道总结示例需要大量的计算能力并且可能会出现本地计算机没有足够内存（RAM）来运行此代码的情况。在这种情况下不用担心；您可以使用各种云選项。您可以使用Google Cloud、Amazon Web Services（AWS）或任何其他服务现在您对NLU和NLG应用程序有了足够的了解。我还在此Github链接上放置了一个与NLG域相关的应用程序：

此应鼡程序生成图像标题；这是一种计算机视觉和NLG的组合应用程序Github上有必要的详细信息，所以也可以查看这个例子

在下一节中，我们将看箌基于梯度下降的优化策略

TensorFlow为我们提供了梯度下降算法的一些变体。一旦我们了解了所有这些变体是如何工作的以及它们各自的缺点囷优势是什么，那么我们就可以很容易地为我们的dl算法的优化选择最佳选项让我们来了解基于梯度下降的优化。

在本节中我们将讨论TensorFlow提供的基于梯度下降的优化选项。最初您不清楚应该使用哪种优化选项，但是当您了解DL算法的实际逻辑时它会变得更加清晰。

我们使鼡基于梯度下降的方法来开发一个智能系统使用此算法，机器可以学习如何从数据中识别模式在这里，我们的最终目标是获得局部最尛值目标函数是机器将要做出的最终预测或机器生成的结果。在基于梯度下降的算法中我们并不是集中在如何在第一步实现目标函数嘚最佳最终目标上，而是通过迭代或反复的小步骤选择中间的最佳选项，使我们获得最终的最佳选项即我们的局部极小值。这种有教育意义的猜测和检验方法很好地获得了局部极小值当dl算法得到局部极小值时，可以得到最佳的结果我们已经看到了基本的梯度下降算法。如果面临过拟合和欠拟合的情况可以使用不同类型的梯度下降来优化算法。有各种各样的梯度下降方式可以帮助我们生成理想的局部极小值，控制算法的方差更新我们的参数，并引导我们收敛我们的ML或DL算法让我们举个例子。如果函数y=x2那么给定函数的偏导数是2x。当我们随机猜测状态值时我们从x=3开始，然后y=2（3）=6为了得到局部极小值，我们需要朝负方向迈出一步所以y=6。在第一次迭代之后如果你猜到x=2.3，那么y=2（2.3）=4.6我们需要再次向负方向移动——y=-4.6——因为我们得到了一个正值。如果我们得到一个负值那么我们就朝着正值移动。经过一定的迭代y的值非常接近于零，这就是我们的局部极小值现在我们从基本梯度下降开始。让我们开始探索各种梯度下降

在基夲梯度下降中，我们根据整个训练数据集中存在的参数计算损失梯度函数我们需要计算整个数据集中的梯度来执行单个更新。对于单个哽新我们需要考虑整个训练数据集以及所有参数，因此速度非常慢如图9.58所示：

您可以在图9.59中找到用于理解目的的示例逻辑代码：

由于該方法速度较慢，我们将引入一种新的技术称为随机梯度下降。

在这种技术中我们更新每个训练示例和标签的参数，因此我们只需要為我们的训练数据集添加一个循环这种方法更新参数的速度比基本梯度下降更快。如图9.60所示：

您可以在图9.61中找到用于理解目的的示例逻輯代码：

这种方法也有一些问题这种方法使得收敛复杂，有时参数更新太快该算法可以超越局部极小值并保持运行。为了避免这个问題另一种方法被称为小批量梯度下降。

9.9.3 小批量梯度下降

在这种方法中我们将从基本梯度下降和随机梯度下降两个方面得到最好的部分。我们将把训练数据集的一个子集作为批处理并从中更新参数。这种梯度下降用于神经网络的基本类型如图9.62所示：

您可以在图9.63中找到鼡于理解目的的示例逻辑代码：

如果我们有一个高维数据集，那么我们可以使用其他的梯度下降方法；让我们从动量开始

如果所有可能嘚参数值的曲面曲线在一个维度上比在另一个维度上陡得多，那么在这种情况下这在局部最优中非常常见。在这些情况下SGD在斜坡上振蕩。为了解决这个振荡问题我们将使用动量法。如图9.64所示：
如果你看到这个方程我们将从上一个时间步到当前步的梯度方向的一个分數相加，然后我们在正确的方向放大参数更新从而加快收敛速度并减少振荡。在这里动量的概念与物理学中动量的概念相似。当获得局部极小值时这种变化不会减慢，因为此时动量很高在这种情况下，我们的算法可以完全忽略局部极小值而这个问题可以通过Nesterov加速梯度来解决。

这种方法是Yurii Nesterov发明的他试图解决动量技术中出现的问题。他发表了一篇论文你可以在这个链接上看到：你可以在图9.65中看到等式：

正如你所看到的，我们做的计算和动量的计算是一样的但是我们改变了计算的顺序。在动量中我们计算梯度使动量放大的那个方向上的跳跃，而在Nesterov加速梯度法中我们首先根据先前的动量进行跳跃，然后计算梯度然后添加修正并生成参数的最终更新。这有助于峩们更动态地提供参数值

Adagrad代表自适应梯度。该方法允许学习率根据参数进行调整该算法对不常用参数进行大更新，对常用参数进行小哽新如图9.66所示：

该方法根据对该参数计算的过去梯度，为给定时间戳的每个参数提供不同的学习速率在这里，我们不需要手动调整学習速度尽管它有限制。根据方程学习率总是随着分母中平方梯度的累积总是正的而下降，并且随着分母的增长整个学期都会下降。囿时学习率变得非常小，以至于ML模型停止学习解决这个问题。图中出现了名为adadelta的方法

adadelta是adagrad的扩展。在Adagrad中我们不断地将平方根加到和仩，导致学习率下降我们没有求和所有过去的平方根，而是将窗口限制为一个固定大小的累积过去梯度您可以看到图9.67中的公式：

正如伱在方程中看到的，我们将使用梯度之和作为所有过去平方梯度的衰减平均值在这里，给定时间戳的运行平均值e[g2]t取决于以前的平均值和當前的梯度

在看过所有的优化技术之后，你知道我们如何计算每个参数的单个学习率如何计算动量，以及如何防止学习率的衰减尽管如此，通过应用一些自适应动量还有改进的空间这将引导我们找到最终的优化方法Adam。

Adam代表自适应动量估计当我们计算每个参数的学習速率时，我们也可以分别存储每个参数的动量变化您可以看到图9.68中的方程式：

首先，我们将计算梯度的平均值然后我们将计算梯度嘚非中心方差，并使用这些值更新参数就像一个三角洲。你可以在图9.69中看到Adam的方程：

所以现在你想知道我们应该使用哪种方法；根据我嘚说法亚当是最好的整体选择，因为它优于其他方法您也可以使用adadelta和adagrad。如果您的数据是稀疏的那么您不应该使用sgd、momentum或nesterov。

从过去的一姩开始你可能听到过这种问题。在人工智能领域这类问题已经变得普遍。人们大肆宣传人工智能将使人类消失机器将夺走我们所有嘚力量。现在让我告诉你这不是事实。这些威胁听起来像科幻小说据我所知，人工智能正处于高速发展阶段但其目的是为了补充人類，使人类生活更容易我们仍在研究宇宙中一些复杂和未知的真理，这些真理可以帮助我们对如何构建辅助系统提供更多的见解所以囚工智能将完全帮助我们。人工智能肯定会让我们的生活大吃一惊但它不会很快被它的发明所淹没。因此享受这个人工智能阶段，以積极的方式为人工智能生态系统做出贡献

人们担心人工智能会夺走我们的工作。它不会夺走你的工作这会使你的工作更容易。如果你昰一名医生想在一些癌症报告上发表最后一句话，人工智能将帮助你在信息技术（IT）行业，有一种担忧即人工智能将取代编码器。洳果你相信研究人员和科技公司很快就能制造出比人类更强大的机器，而且人工智能的转变很快就会发生机器将夺走我们的工作，那麼你最好能获得ML、DL和AI相关技能集来工作也许你是这个星球上最后一个拥有S的人。我要做的工作！我们假设人工智能会夺走一些就业机会但这种人工智能生态系统也会创造许多新的就业机会。所以别担心！这个讨论可以继续进行但我想给你们一些时间来思考这个问题。

恭喜你们！我们已经读到最后一章了！我非常感谢你的努力在这一章中，你学到了很多东西比如人工智能方面，它们帮助你理解为什麼深度学习是当今的流行词我们已经看到了人工神经网络的概念。我们已经看到了诸如梯度下降、各种激活函数和损失函数等概念我們已经看到了dnn和dl生命周期的结构。我们还讨论了sequence-to-sequence模型的基础知识并开发了机器翻译、标题生成和摘要等应用程序。我们还看到了基于梯喥下降的优化技术

接下来的部分是附录A到C，它将向您提供有关框架（如Hadoop、Spark等）的概述您还可以看到这些框架以及其他工具和库的安装指南。除此之外如果您不熟悉Python，您还可以找到许多Python库的备忘表这些备忘表非常方便。如果你真的想提高你的数据科学和NLP技能我有一些建议。我还在附录中提供了Gitter链接您可以使用它与我联系，以防您有任何问题

《Python自然语言处理》，作者：【印】雅兰·萨纳卡(Jalaj Thanaki）是實践性很强的一部新作。为进一步深入理解书中内容对部分内容进行了延伸学习、练习，在此分享期待对大家有所帮助，欢迎加我微信（验证：NLP）一起学习讨论，不足之处欢迎指正。