1700500860
1700500861
10.5 模型的过拟合及对策
1700500862
1700500863
10.6 一个典型的预测响应模型的案例分享
1700500864
1700500865
预测响应（分类）模型是数据挖掘实战中最常见的应用模型，它最直接地涉及了精细化运营中的客户分层以及随后的个性化区别对待，从某种意义上来说，基于预测响应（分类）模型的客户分层运营已经成为精细化运营的代名词。
1700500866
1700500867
本章围绕预测响应（分类）模型的典型应用，对神经网络、决策树、逻辑回归、多元线性回归等最常见的4种算法在数据挖掘实战应用中的优缺点和技术重点进行了分析、归纳，从而帮助读者在今后的项目实践中有的放矢，扬长避短。
1700500868
1700500869
不同的模型算法，需要不同的数据准备；不同的算法，输出不同的产出物；不同的算法，在实践应用中有各自独特的优势和不足之处。数据分析人员只有对这些有了足够的了解和掌握，才可以实现有效的数据挖掘实践应用。
1700500870
1700500871
1700500872
1700500873
1700500874
数据挖掘与数据化运营实战：思路、方法、技巧与应用 [:1700497612]
1700500875
数据挖掘与数据化运营实战：思路、方法、技巧与应用 10.1 神经网络技术的实践应用和注意事项
1700500876
1700500877
对神经网络的研究始于20世纪40年代，作为一门交叉学科，它是人类基于对其大脑神经认识理解的基础上，人工构造实现某种功能的网络模型。经过将近70年的发展，神经网络技术已经成为机器学习的典型代表，它不依照任何概率分布，而是模仿人脑功能进行抽象运算。
1700500878
1700500879
简单来讲，神经网络是一组互相连接的输入/输出单元，其中每个连接都会与一个权重相关联。在学习阶段，通过调整这些连接的权重，就能够预测输入观察值的正确类标号。因此可以理解为人工神经网络是由大量神经元通过丰富完善的连接、抽象、简化和模拟而形成的一种信息处理系统。
1700500880
1700500881
数据挖掘与数据化运营实战：思路、方法、技巧与应用 [:1700497613]
1700500882
10.1.1 神经网络的原理和核心要素
1700500883
1700500884
人工神经网络的结构大致分为两大类：前向型网络和反馈型网络。
1700500885
1700500886
具体来说，所谓前向型网络，是指传播方向是从输入端传向输出端，并且没有任何的反馈；所谓反馈型网络是指在传播方向上除了从输入端传向输出端之外，还有回环或反馈存在。两种类型的网络原理图如图10-1所示。
1700500887
1700500888
1700500889
1700500890
1700500891
图10-1 人工神经网络的典型结构图
1700500892
1700500893
在上述的典型结构里，神经网络通过输入多个非线性模型，以及不同模型之间的加权互联，最终得到一个输出模型。具体来说，多元输入层是指一些自变量，这些自变量通过加权结合到中间的层次上，称为隐蔽层。隐蔽层中主要包含的是非线性函数，也叫转换函数或者挤压函数。隐蔽层就是所谓的黑箱（Black Box）部分，几乎没有人能在所有的情况下读懂隐蔽层中那些非线性函数是如何对自变量进行组合的，这是计算机思考代替人类思考的一个典型案例。
1700500894
1700500895
利用神经网络技术建模的过程中，有以下5个因素对模型的结果有重大影响[1]：
1700500896
1700500897
❑层数。对于一定的输入层和输出层，需要有多少个隐蔽层，这点无论是在理论上，还是在实践中都非常有意义。虽然没有不变的规律，但是有经验的数据分析师通常要尝试不同的设置，力求找到满意的模型结构。
1700500898
1700500899
❑每层中输入变量的数量。太多的自变量很可能会造成模型的过度拟合，使得模型搭建时看上去很稳定，可是一旦用到新数据中，模型的预测与实际结果却相差很大，这时模型就失去了预测的价值和意义。所以，在使用神经网络建模之前，输入变量的挑选、精简非常重要。
1700500900
1700500901
❑联系的种类。神经网络模型中，输入变量可以有不同方向的结合，可以向前，可以向后，还可以平行。采用不同的结合方式，可能就会对模型的结果产生不同的影响。
1700500902
1700500903
❑联系的程度。在每一层中，其元素可以与他层中的元素完全联系，也可以部分联系。部分联系可以减少模型过度拟合的风险，但是也可能减弱模型的预测能力。
1700500904
1700500905
❑转换函数。转换函数也称为挤压函数，因为它能把从正无穷大到负无穷大的所有输入变量挤压为很小范围内的一个输出结果。这种非线性的函数关系有助于模型的稳定和可靠性。选择转换函数的标准很简单，即在最短时间内提供最好的结果函数。常见的转换函数包括阀值逻辑函数、双曲正切函数、S曲线函数等。
1700500906
1700500907
大部分神经网络模型的学习过程，都是通过不断地改变权重来使误差达到总误差的最小绝对值的。比如，以常见的前向型网络模型为例，其设计原理如下：
1700500908
1700500909
❑隐蔽层的层数。从理论上讲，两层就足够了；在实践中，经常是一层隐蔽层就足够了。