打字猴:1.700532498e+09
1700532498 百面机器学习:算法工程师带你去面试 [:1700532167]
1700532499 百面机器学习:算法工程师带你去面试 第1章 特征工程
1700532500
1700532501 俗话说,“巧妇难为无米之炊”。在机器学习中,数据和特征便是“米”,模型和算法则是“巧妇”。没有充足的数据、合适的特征,再强大的模型结构也无法得到满意的输出。正如一句业界经典的话所说,“Garbage in,garbage out”。对于一个机器学习问题,数据和特征往往决定了结果的上限,而模型、算法的选择及优化则是在逐步接近这个上限。
1700532502
1700532503 特征工程,顾名思义,是对原始数据进行一系列工程处理,将其提炼为特征,作为输入供算法和模型使用。从本质上来讲,特征工程是一个表示和展现数据的过程。在实际工作中,特征工程旨在去除原始数据中的杂质和冗余,设计更高效的特征以刻画求解的问题与预测模型之间的关系。
1700532504
1700532505 本章主要讨论以下两种常用的数据类型。
1700532506
1700532507 (1)结构化数据。结构化数据类型可以看作关系型数据库的一张表,每列都有清晰的定义,包含了数值型、类别型两种基本类型;每一行数据表示一个样本的信息。
1700532508
1700532509 (2)非结构化数据。非结构化数据主要包括文本、图像、音频、视频数据,其包含的信息无法用一个简单的数值表示,也没有清晰的类别定义,并且每条数据的大小各不相同。
1700532510
1700532511
1700532512
1700532513
1700532514 百面机器学习:算法工程师带你去面试 [:1700532168]
1700532515 百面机器学习:算法工程师带你去面试 01 特征归一化
1700532516
1700532517
1700532518
1700532519 为了消除数据特征之间的量纲影响,我们需要对特征进行归一化处理,使得不同指标之间具有可比性。例如,分析一个人的身高和体重对健康的影响,如果使用米(m)和千克(kg)作为单位,那么身高特征会在1.6~1.8m的数值范围内,体重特征会在50~100kg的范围内,分析出来的结果显然会倾向于数值差别比较大的体重特征。想要得到更为准确的结果,就需要进行特征归一化(Normalization)处理,使各指标处于同一数值量级,以便进行分析。
1700532520
1700532521 知识点
1700532522
1700532523 特征归一化
1700532524
1700532525 问题 为什么需要对数值类型的特征做归一化?
1700532526
1700532527 难度:★☆☆☆☆
1700532528
1700532529 分析与解答
1700532530
1700532531 对数值类型的特征做归一化可以将所有的特征都统一到一个大致相同的数值区间内。最常用的方法主要有以下两种。
1700532532
1700532533 (1)线性函数归一化(Min-Max Scaling)。它对原始数据进行线性变换,使结果映射到[0, 1]的范围,实现对原始数据的等比缩放。归一化公式如下
1700532534
1700532535
1700532536
1700532537
1700532538 (1.1)
1700532539
1700532540 其中X为原始数据,Xmax、Xmin分别为数据最大值和最小值。
1700532541
1700532542 (2)零均值归一化(Z-Score Normalization)。它会将原始数据映射到均值为0、标准差为1的分布上。具体来说,假设原始特征的均值为μ、标准差为σ,那么归一化公式定义为
1700532543
1700532544
1700532545
1700532546
1700532547 (1.2)
[ 上一页 ]  [ :1.700532498e+09 ]  [ 下一页 ]