1700508740
1700508741
1700508742
1700508743
it和的乘积生成一个在(-1, 1)之间的值作为权重。
1700508744
1700508745
1700508746
传递到下一个状态的Ct是由和Ct-1线性叠加得到的。这个部分是LSTM和传统的RNN区别最大的地方，Ct-1及以前的状态可以通过这样一个普通的线性叠加方式传递到当前状态。
1700508747
1700508748
1700508749
1700508750
1700508751
最后，这个结构决定输出ot和ht。
1700508752
1700508753
1700508754
1700508755
1700508756
在实际应用中，通常根据输入的维度来决定LSTM单元的使用数量。例如，在NLP领域通常滑动窗口会比较大，要至少能够覆盖整个句子。所以，这种情况下可能会使用上百个LSTM单元一起工作。
1700508757
1700508758
数据科学家养成手册 [:1700503600]
1700508759
11.9.8 小结
1700508760
1700508761
目前，国内和国际每年发表的关于神经网络的研究论文数以千计，在神经元设计、激励函数选择、连接方式设计、网络组成等方面，很多研究人员都在不断尝试。由于深度学习网络中蕴涵的VC维极高，所以它适用的非线性可分的场景依然很多，在实验层面的结果也比较令人满意。
1700508762
1700508763
不过，我们从训练方式中不难看出，要想让深度学习网络学学习出来的模型健壮，就必须给它非常多的训练样本，以免产生过拟合现象，而过拟合现象几乎一直在发生。深度学习网络几乎是在以穷举的方式学习样本中蕴涵的维度信息，即使可以通过加大样本量的方式来使网络对没有泛化能力的维度特征尽可能不敏感，但其他样本给模型带来的泛化能力高低仍旧取决于样本数量的多少。这也是深度学习目前仍无法胜任很多应用领域工作的重要原因，我们必须对其有足够的重视。
1700508764
1700508765
1700508766
1700508767
1700508768
数据科学家养成手册 [:1700503601]
1700508769
数据科学家养成手册 11.10 本章小结
1700508770
1700508771
算法学作为一门使用计算机资源调度技术来处理和解决问题的学科，要求研究人员除了在数学层面要有足够高的知识水平，还要充分掌握和理解计算机的离散特性和资源协调特性。
1700508772
1700508773
在算法学里，从微观到宏观，贯穿着处理问题的哲学思想。变通处理，化无穷为有穷，化复杂为简单，化有中心为无中心，时空互化，统筹有限资源——对这些思想的贯彻，尤其是在更为宏观层面的理解与运用，往往会有事半功倍的效果。
1700508774
1700508775
在学习过程中，要注意算法本身就是一种思想或者策略，当它们应用于不同场景时会有很多变种出现。这些变种在思想层面继承了经典算法的衣钵，只是在大量处理细节上有很多偏重和技巧，从而形成了算法族或算法系列。面对纷繁变化的算法，不要过早陷入细枝末节，还是应该本着从干到枝、从枝到叶的逐步深入的原则来学习。算法在整个数据科学体系里也是最能体现“厚积薄发”的一个分支学科，在研究说过程中一定要注意积累、归纳和总结。
1700508776
1700508777
(1) 物理地址扩展（Physical Address Extention），是基于x86服务器的一种功能，能使运行该模式的计算机支持4GB以上的物理内存。
1700508778
1700508779
(2) 1Y=1024Z，1Z=1024E，1E=1024P，1P=1024T，1T=1024G，1G=1024M，1M=1024K，1K=1024。
1700508780
1700508781
(3) 参见Visual Studio .NET 2003数据类型说明部分。
1700508782
1700508783
(4) 在一个国际象棋棋盘上放置8个皇后，让它们彼此之间不能直接互相攻击。皇后在国际象棋规则中可以横、竖、斜走无限格。
1700508784
1700508785
(5) 1831年，法国著名数学家埃瓦里斯特·伽罗瓦（Évariste Galois，1811年10月～1832年5月）证明，一元五次以上的方程没有求根公式。
1700508786
1700508787
(6) “NP问题”的全称是“Non-Deterministic Polynomial Complete Problems”，即多项式复杂程度的非确定性问题。
1700508788
1700508789
(7) VGG的卷积神经网络模型除此之外还有VGG-19等。