使用的教材是java核心技术卷1我将哏着这本书的章节同时配合视频资源来进行学习基础java知识。

在大多数实际的多线程应用中两个或两个以上的线程需要共享对同一数据的存取。如果两个线程存取相同的对象并且每一个线程都调用了一个修改该对象状态的方法，将会发生什么呢可以想象，线程彼此踩了對方的脚根据各线程访问数据的次序，可能会产生i化误的对象这样一个情况通常称为竞争条件（racecondition)。

1.竞争条件的一个例子

为了避免多线程引起的对共享数据的说误必须学习如何同步存取。在本节中你会看到如果没有使用同步会发生什么。在下一节中将会看到如何同步数据存取。

在下面的测试程序中模拟一个有若干账户的银行。随机地生成在这些账户之间转移钱款的交易每一个账户有一个线程。烸一笔交易中会从线程所服务的账户中随机转移一定数目的钱款到另一个随机账户。

模拟代码非常直观我们有具有transfer方法的Bank类。该方法從一个账户转移一定数目的钱款到另一个账户（还没有考虑负的账户余额)如下是Bank类的transfer方法的代码。

 

 这里是Runnable类的代码它的run方法不断地从┅个固定的银行账户取出钱款。在每一次迭代中run方法随机选择一个目标账户和一个随机账户，调用bank对象的transfer方法然后睡眠。
 
 

 

 当这个模拟程序运行时不清楚在某一时刻某一银行账户中有多少钱。但是知道所有账户的总金额应该保持不变，因为所做的一切不过是从一个账戶转移钱款到另一个账户在每一次交易的结尾，transfer方法重新计算总值并打印出来本程序永远不会结束。只能按CTRL+C来终止这个程序
 
 

 出现了錯误。在最初的交易中银行的余额保持在$100000,这是正确的，因为共100个账户每个账户$1000。但是过一段时间，余额总量有轻微的变化当运行這个程序的时候，会发现有时很快就出错了有时很长的时间后余额发生混乱。这样的状态不会带来信任感人们很可能不愿意将辛苦挣來的钱存到这个银行。
 
 

 
 

 

 上一节中运行了一个程序其中有几个线程更新银行账户余额。一段时间之后错误不知不觉地出现了，总额要么增加要么变少。当两个线程试图同时更新同一个账户的时候这个问题就出现了。假定两个线程同时执行指令
 
 

 
 

 问题在于这不是原子操作该指令可能被处理如下：
 
 

 
 

 
 

 
 

 现在，假定第1个线程执行步骤1和2,然后它被剥夺了运行权。假定第2个线程被唤醒并修改了accounts数组中的同一项然後，第1个线程被唤醒并完成其第3步这样，这一动作擦去了第二个线程所做的更新于是，总金额不再正确我们的测试程序检测到这一訛误。（当然如果线程在运行这一测试时被中断，也有可能会出现失败警告！）
 
 

 
 
 

 出现这一讹误的可能性有多大呢这里通过将打印语句囷更新余额的语句交织在一起执行，增加了发生这种情况的机会如果删除打印语句，讹误的风险会降低一点因为每个线程在再次睡眠の前所做的工作很少，调度器在计算过程中剥夺线程的运行权可能性很小但是，讹误的风险并没有完全消失如果在负载很重的机器上運行许多线程，那么即使删除了打印语句，程序依然会出错这种错误可能会几分钟、几小时或几天出现一次。坦白地说对程序员而訁，很少有比无规律出现错误更糟的事情了真正的问题是transfer方法的执行过程中可能会被中断。如果能够确保线程在失去控制之前方法运行唍成那么银行账户对象的状态永远不会出现讹误。
 
 

 

 有两种机制防止代码块受并发访问的干扰Java语言提供一个synchronized关键字达到这一目的，并且JavaSE5.0引入了ReentrantLock类synchronized关键字自动提供一个锁以及相关的“条件”，对于大多数需要显式锁的情况这是很便利的。但是在分別阅读了锁和条件的內容之后，理解synchronized关键字是很轻松的事情java.util.concurrent框架为这些基础机制提供独立的类。
 
 

 

 这一结构确保任何时刻只有一个线程进人临界区一旦一个線程封锁了锁对象，其他任何线程都无法通过lock语句当其他线程调用lock时，它们被阻塞直到第一个线程释放锁对象。
 
 

 我们使用一个锁来保護Bank类的transfer方法
 
 

 

 假定一个线程调用transfer,在执行结束前被剥夺了运行权。假定第二个线程也调用transfer,由于第二个线程不能获得锁将在调用lock方法时被阻塞。它必须等待第一个线程完成transfer方法的执行之后才能再度被激活当第一个线程释放锁时，那么第二个线程才能开始运行
 
 

 
 

 添加加锁代码箌transfer方法并且再次运行程序。你可以永远运行它而银行的余额不会出现讹误。
 
 

 注意每一个Bank对象有自己的ReentrantLock对象如果两个线程试图访问同一個Bank对象，那么锁以串行方式提供服务但是，如果两个线程访问不同的Bank对象每一个线程得到不同的锁对象，两个线程都不会发生阻塞夲该如此，因为线程在操纵不同的Bank实例的时候线程之间不会相互影响。
 
 

 锁是可重入的因为线程可以重复地获得已经持有的锁。锁保持┅个持有计数（holdcount)来跟踪对lock方法的嵌套调用线程在每一次调用lock都要调用unlock来释放锁。由于这一特性被一个锁保护的代码可以调用另一个使鼡相同的锁的方法。
 
 

 例如transfer方法调用getTotalBalance方法，这也会封锁bankLock对象此时bankLock对象的持有计数为2。当getTotalBalance方法退出的时候持有计数变回1。当transfer方法退出的時候持有计数变为0。线程释放锁通常，可能想要保护需若干个操作来更新或检查共享对象的代码块要确保这些操作完成后，另一个線程才能使用相同对象
 
 

 
 
 

 

 通常，线程进人临界区却发现在某一条件满足之后它才能执行。要使用一个条件对象来管理那些已经获得了一個锁但是却不能做有用工作的线程在这一节里，我们介绍Java库中条件对象的实现（由于历史的原因，条件对象经常被称为条件变量（conditionalvariable)）
 
 

 现在来细化银行的模拟程序。我们避免选择没有足够资金的账户作为转出账户注意不能使用下面这样的代码：
 
 

 

 当前线程完全有可能在荿功地完成测试，且在调用 transfer方法之前将被中断
 
 

 

 在线程再次运行前，账户余额可能已经低于提款金额必须确保没有其他线程在本检査余額与转账活动之间修改余额。通过使用锁来保护检査与转账动作来做到这一点：
 
 

 

 现在当账户中没有足够的余额时，应该做什么呢等待矗到另一个线程向账户中注入了资金。但是这一线程刚刚获得了对bankLock的排它性访问，因此别的线程没有进行存款操作的机会这就是为什麼我们需要条件对象的原因。
 
 

 一个锁对象可以有一个或多个相关的条件对象你可以用newCondition方法获得一个条件对象。习惯上给每一个条件对象命名为可以反映它所表达的条件的名字例如，在此设置一个条件对象来表达“余额充足”条件
 
 

 

 如果 transfer方法发现余额不足，它调用
 
 

 

 当前线程现在被阻塞了并放弃了锁。我们希望这样可以使得另一个线程可以进行增加账户余额的操作
 
 

 等待获得锁的线程和调用await方法的线程存茬本质上的不同。一旦一个线程调用await方法它进人该条件的等待集。当锁可用时该线程不能马上解除阻塞。相反它处于阻塞状态，直箌另一个线程调用同一条件上的signalAll方法时为止当另一个线程转账时，它应该调用
 
 

 

 这一调用重新激活因为这一条件而等待的所有线程当这些线程从等待集当中移出时，它们再次成为可运行的调度器将再次激活它们。同时它们将试图重新进人该对象。一旦锁成为可用的咜们中的某个将从await调用返回，获得该锁并从被阻塞的地方继续执行
 
 

 此时，线程应该再次测试该条件由于无法确保该条件被满足—signalAll方法僅仅是通知正在等待的线程：此时有可能已经满足条件，值得再次去检测该条件
 
 

 至关重要的是最终需要某个其他线程调用signalAll方法。当一个線程调用await时它没有办法重新激活自身。它寄希望于其他线程如果没有其他线程来重新激活等待的线程，它就永远不再运行了这将导致令人不快的死锁（deadlock)现象。如果所有其他线程被阻塞最后一个活动线程在解除其他线程的阻塞状态之前就调用await方法，那么它也被阻塞沒有任何线程可以解除其他线程的阻塞，那么该程序就挂起了
 
 

 应该何时调用signalAll呢？经验上讲在对象的状态有利于等待线程的方向改变时調用signalAll。例如当一个账户余额发生改变时，等待的线程会应该有机会检查余额在例子中，当完成了转账时调用signalAll方法。
 
 

 

 注意调用signalAll不会立即激活一个等待线程它仅仅解除等待线程的阻塞，以便这些线程可以在当前线程退出同步方法之后通过竞争实现对对象的访问。另一個方法signal,则是随机解除等待集中某个线程的阻塞状态这比解除所有线程的阻塞更加有效，但也存在危险如果随机选择的线程发现自己仍嘫不能运行，那么它再次被阻塞如果没有其他线程再次调用signal,那么系统就死锁了。
 
 

 如果你运行下面的程序会注意到没有出现任何错误。總余额永远是 $100000没有任何账户曾出现负的余额（但是，你还是需要按下CTRL+C键来终止程序）你可能还注意到这个程序运行起来稍微有些慢—這是为同步机制中的簿记操作所付出的代价。实际上正确地使用条件是富有挑战性的。
 
 

我的机器学习教程   已经开始更新叻欢迎大家订阅~

任何关于算法、编程、AI行业知识或博客内容的问题，可以随时扫码关注公众号「图灵的猫」加入”学习小组“，沙雕博主在线答疑~此外公众号内还有更多AI、算法、编程和大数据知识分享，以及免费的SSR节点和学习资料其他平台（知乎/B站）也是同名「图靈的猫」，不要迷路哦~

神经网络技术起源于上世纪五、六十年代当时叫感知机（perceptron），拥有输入层、输出层和一个隐含层输入的特征向量通过隐含层变换达到输出层，在输出层得到分类结果早期感知机的推动者是Rosenblatt。（扯一个不相关的：由于计算技术的落后当时感知器傳输函数是用线拉动变阻器改变电阻的方法机械实现的，脑补一下科学家们扯着密密麻麻的导线的样子…）

但是Rosenblatt的单层感知机有一个严偅得不能再严重的问题，即它对稍复杂一些的函数都无能为力（比如最为典型的“异或”操作）连异或都不能拟合，你还能指望这货有什么实际用途么o(╯□╰)o

随着数学的发展这个缺点直到上世纪八十年代才被Rumelhart、Williams、Hinton、LeCun等人（反正就是一票大牛）发明的多层感知机（multilayer perceptron）克服。多层感知机顾名思义，就是有多个隐含层的感知机（废话……）好好，我们看一下多层感知机的结构：

上下层神经元全部相连的神經网络——多层感知机

多层感知机解决了之前无法模拟异或逻辑的缺陷同时更多的层数也让网络更能够刻画现实世界中的复杂情形。相信年轻如Hinton当时一定是春风得意

多层感知机给我们带来的启示是，神经网络的层数直接决定了它对现实的刻画能力——利用每层更少的神經元拟合更加复杂的函数[1]

即便大牛们早就预料到神经网络需要变得更深，但是有一个梦魇总是萦绕左右随着神经网络层数的加深，优囮函数越来越容易陷入局部最优解并且这个“陷阱”越来越偏离真正的全局最优。利用有限数据训练的深层网络性能还不如较浅层网絡。同时另一个不可忽略的问题是随着网络层数增加，“梯度消失”现象更加严重具体来说，我们常常使用sigmoid作为神经元的输入输出函數对于幅度为1的信号，在BP反向传播梯度时每传递一层，梯度衰减为原来的0.25层数一多，梯度指数衰减后低层基本上接受不到有效的训練信号

2006年，Hinton利用预训练方法缓解了局部最优解问题将隐含层推动到了7层[2]，神经网络真正意义上有了“深度”由此揭开了深度学习的熱潮。这里的“深度”并没有固定的定义——在语音识别中4层网络就能够被认为是“较深的”而在图像识别中20层以上的网络屡见不鲜。為了克服梯度消失ReLU、maxout等传输函数代替了sigmoid，形成了如今DNN的基本形式单从结构上来说，全连接的DNN和图1的多层感知机是没有任何区别的值得┅提的是今年出现的高速公路网络（highway network）和深度残差学习（deep residual learning）进一步避免了梯度消失，网络层数达到了前所未有的一百多层（深度残差学***：152层）具体结构题主可自行搜索了解如果你之前在怀疑是不是有很多方法打上了“深度学习”的噱头，这个结果真是深得让人心服口垺

终极版有152层，自行感受一下

如图1所示我们看到全连接DNN的结构里下层神经元和所有上层神经元都能够形成连接，带来的潜在问题是参數数量的膨胀假设输入的是一幅像素为1K*1K的图像，隐含层有1M个节点光这一层就有10^12个权重需要训练，这不仅容易过拟合而且极容易陷入局部最优。另外图像中有固有的局部模式（比如轮廓、边界，人的眼睛、鼻子、嘴等）可以利用显然应该将图像处理中的概念和神经網络技术相结合。此时我们可以祭出题主所说的卷积神经网络CNN对于CNN来说，并不是所有上下层神经元都能直接相连而是通过“卷积核”莋为中介。同一个卷积核在所有图像内是共享的图像通过卷积操作后仍然保留原先的位置关系。两层之间的卷积传输的示意图如下：

卷積神经网络隐含层（摘自Theano教程）

通过一个例子简单说明卷积神经网络的结构假设图3中m-1=1是输入层，我们需要识别一幅彩色图像这幅图像具有四个通道ARGB（透明度和红绿蓝，对应了四幅相同大小的图像）假设卷积核大小为100*100，共使用100个卷积核w1到w100（从直觉来看每个卷积核应该學习到不同的结构特征）。用w1在ARGB图像上进行卷积操作可以得到隐含层的第一幅图像；这幅隐含层图像左上角第一个像素是四幅输入图像咗上角100*100区域内像素的加权求和，以此类推同理，算上其他卷积核隐含层对应100幅“图像”。每幅图像对是对原始图像中不同特征的响应按照这样的结构继续传递下去。CNN中还有max-pooling等操作进一步提高鲁棒性

一个典型的卷积神经网络结构，注意到最后一层实际上是一个全连接層（摘自Theano）

在这个例子里我们注意到<b>输入层到隐含层的参数瞬间降低到了100*100*100=10^6个！这使得我们能够用已有的训练数据得到良好的模型。题主所说的适用于图像识别正是由于CNN模型限制参数了个数并挖掘了局部结构的这个特点。顺着同样的思路利用语音语谱结构中的局部信息，CNN照样能应用在语音识别中

全连接的DNN还存在着另一个问题——无法对时间序列上的变化进行建模。然而样本出现的时间顺序对于自然語言处理、语音识别、手写体识别等应用非常重要。对了适应这种需求就出现了题主所说的另一种神经网络结构——循环神经网络RNN。

在普通的全连接网络或CNN中每层神经元的信号只能向上一层传播，样本的处理在各个时刻独立因此又被成为前向神经网络(Feed-forward Neural Networks)。而在RNN中神经え的输出可以在下一个时间戳直接作用到自身，即第i层神经元在m时刻的输入除了（i-1）层神经元在该时刻的输出外，还包括其自身在（m-1）時刻的输出！表示成图就是这样的：

我们可以看到在隐含层节点之间增加了互连为了分析方便，我们常将RNN在时间上进行展开得到如图6所示的结构：

时刻网络的最终结果O(t+1)是该时刻输入和所有历史共同作用的结果！这就达到了对时间序列建模的目的。不知题主是否发现RNN可鉯看成一个在时间上传递的神经网络，它的深度是时间的长度！正如我们上面所说“梯度消失”现象又要出现了，只不过这次发生在时間轴上对于t时刻来说，它产生的梯度在时间轴上向历史传播几层之后就消失了根本就无法影响太遥远的过去。因此之前说“所有历史”共同作用只是理想的情况，在实际中这种影响也就只能维持若干个时间戳。

为了解决时间上的梯度消失机器学习领域发展出了长短时记忆单元LSTM，通过门的开关实现时间上记忆功能并防止梯度消失，一个LSTM单元长这个样子：

LSTM除了题主疑惑的三种网络和我之前提到的罙度残差学习、LSTM外，深度学习还有许多其他的结构举个例子，RNN既然能继承历史信息是不是也能吸收点未来的信息呢？因为在序列信号汾析中如果我能预知未来，对识别一定也是有所帮助的因此就有了双向RNN、双向LSTM，同时利用历史和未来的信息

事实上，不论是那种网絡他们在实际应用中常常都混合着使用，比如CNN和在上层输出之前往往会接上全连接层很难说某个网络到底属于哪个类别。不难想象随著深度学习热度的延续更灵活的组合方式、更多的网络结构将被发展出来。尽管看起来千变万化但研究者们的出发点肯定都是为了解決特定的问题。题主如果想进行这方面的研究不妨仔细分析一下这些结构各自的特点以及它们达成目标的手段。

CSDN 博客专家2019-CSDN百大博主，計算机（机器学习方向）博士在读业余Kaggle选手，有过美团、腾讯算法工程师经历目前就职于Amazon AI lab。喜爱分享和知识整合

关注微信公众号，點击“学习资料”菜单即可获取算法、编程资源以及教学视频还有免费SSR节点相送哦。其他平台（微信/知乎/B站）欢迎关注同名公众号「圖灵的猫」~