1700432920
■ EADS是一个预定义好的汇总表和概要视图，它可以方便地访问成百上千个分析所需的通用指标。
1700432921
1700432922
■ EADS提升了系统性能，减少了数据冗余，增加了透明度，并确保各项分析所用数据一致。
1700432923
1700432924
■ EADS的使用对象和范围不应该局限于分析专家与分析应用，应该开放给其他的应用和用户使用。EADS里包含重要的信息，应该被广泛地使用。
1700432925
1700432926
■ 嵌入式评分过程可以部署在沙箱环境或者EADS环境内，并提供了评分程序，这些程序可以很容易地被各种用户和应用访问。
1700432927
1700432928
■ 嵌入式评分的实现方式包括SQL、UDF、嵌入式过程或者PMML。
1700432929
1700432930
■ 如果企业开始广泛地使用模型，那么就应该建立模型和评分管理流程。
1700432931
1700432932
■ 模型与评分管理系统有4个主要组件：输入分析数据集、模型定义、模型验证与报表制作、模型评分输出。
1700432933
1700432934
1700432935
1700432936
1700432938
驾驭大数据 第6章分析工具与方法的演进
1700432939
1700432940
使用几十年前的设计图纸和手动工具，能建造好一个房子吗？当然可以，但在已经拥有现代化工具和最新图纸的今天，很少有人会愿意这么做。类似地，分析专家可以使用自定义代码和传统方法来完成各类分析。然而，如果要花时间了解可能的各种选项，很少有人会选择这么做。正如建造房屋一样，人们能够比十年前花更少的人力建造功能更多的房屋，分析工作亦是如此。
1700432941
1700432942
分析专家一直在使用各种类型的分析工具。这些工具可以帮助分析师准备分析所需的数据，执行分析算法，并评估分析结果。分析工具的深度与功能性也一直在提高。除了更丰富更友好的用户界面外，分析工具也可以自动化或流水线式地执行一些常见任务。因此，分析专家们可以花费更多的时间专注于分析本身。使用新的工具和方法，结合第4章与第5章讨论过的分析可扩展性与流程，企业就能轻松地驾驭大数据。
1700432943
1700432944
在本章，我们会阐述分析专家如何改变工作方法来构建分析流程，以更好地利用各种分析工具带来的性能与可扩展性的提升。我们会讨论组合模型，简易模型，以及文本分析。我们还会讨论分析工具演进的各种路径，以及这些新技术和工具如何改变分析专家的工作方式。我们还会讨论点击式的可视化用户界面，开源工具，以及数据可视化工具。
1700432945
1700432947
6.1 分析方法的演进
1700432948
1700432949
不少分析和建模方法已经被广泛使用了很多年，其中的一些，如线性回归模型或决策树模型，计算效率较高，实施起来也相对简单。在过去，简单是必需的，因为当时分析工具的可用性与可扩展性严格受限，直到今天，人们才拥有了更多可能。
1700432950
1700432951
在计算机出现之前，进行多次迭代建模，或尝试某些复杂的分析方法，都是很困难的。这些年，处理数据的技术有了长足的进步，类似的情况也发生在分析数据的工具和技术上。今天，人们已经可以使用多种算法来针对海量基础数据进行多次迭代建模。
1700432952
1700432953
因为分析可扩展性的提升，今天分析专家们可以同时执行更多的传统分析任务。也有许多分析专家开始尝试不同的新分析方法来充分利用这些新的分析工具、分析流程和可扩展性。许多新分析方法的理论很久以前就出现了，但直到现在才可以真正地被实施。分析方法在持续演进和改善，我们将讨论某些重要的分析方法，包括组合建模、简易建模以及文本分析。
1700432954
1700432956
6.1.1 组合建模
1700432957
1700432958
组合建模方法的核心概念非常简单直接，不是只使用一种方法来建立一个单独的模型，而是使用许多技术来建立许多模型，一旦获得了每一个模型的产出结果，所有的结果就可以组合起来形成最终答案。结果的组合流程非常灵活，可以直接使用每个模型预测结果的平均值，也可以使用更复杂的公式。重要的是，组合建模并不是从许多模型中挑选一个最优模型来使用，而是把许多模型的结果组合在一起来获得最终答案。
1700432959
1700432960
组合模型的威力在于，每个不同的建模方法都各有利弊。例如，某些类型的客户，可能在某一种模型中得分很低，但在另外一种模型中得分很高。通过集合各个模型的智慧，评分算法可以更加准确地评估每一个客户、产品或店铺选址。
1700432961
1700432962
例如，人们可以使用线性回归、逻辑回归、决策树以及神经网络来建立多个预测模型，对客户购买某指定产品的概率进行评估。每个模型的预测结果组合起来就形成了最终结果。通常，这种组合模型会比每个独立模型的预测效果要好很多。
1700432963
1700432964
在组合模型方面，有一本非常棒的技术书籍，是John Elder与Giovanni Seni的《数据挖掘中的组合建模》〔6〕。分析工具的演进使组合模型的使用变得更加普遍。如果没有一种好的方法来管理建模过程并对不同模型的结果进行整合，组合建模就无法轻易地被实现。想象一下，人工执行并测试每一个模型，当模型执行完后，还要人工汇总每一个模型的输出结果，并检查模型的效果，最后还要确认如何人工整合不同模型的结果。今天，分析工具已经可以帮助你执行这些单调乏味的任务。
1700432965
1700432966
群体智慧
1700432967
1700432968
每一个独立模型都同时具有优点和缺点。通过组合各种模型的输出结果，最后的混合结果通常要好于任何一个独立模型。这类似于很多人同时进行预测，然后把每个人的预测结果进行平均，最终结果通常与正确结果最为接近。这种现象通常叫做群体智慧。
1700432969
[
上一页 ]
[ :1.70043292e+09 ]
[
下一页 ]