打字猴:1.702648761e+09
1702648761
1702648762
1702648763
1702648764
1702648765 对于最简单的模型,因为我们只估计η,所以我们剩下3个自由度。如我们所料,该模型对表12-1的拟合很差:L2=10.96,这意味着在总体中观测到各个单元格频数相等的可能性仅约为1%(确切地说,p=0.012)。因此我们得出结论,此模型对数据拟合得不好,即我们拒绝“所有单元格频数相等”的零假设。(关于如何估计此类模型的详细内容,见后面章节中有关反共观点的实例,也可下载文件“ch12_1.do”和“ch12_1.log”。)
1702648766
1702648767 不可否认,此例中的“总体”是有问题的,因为我们试图研究的是选修某一课程的所有学生的特征,因而我们将他们看作总体而非样本。但是,我们也可将在某一给定时间选修该课程的学生看作来自所有可能曾经选修该课程的学生的一个样本,并由此将某一特定观测的样本一般化为我们所期望的“长期选修此课程”或“选修相类似课程”的一个样本。事实上,这种统计推断的用法在实际研究中非常常见〔见第16章有关超总体(superpopulation)概念的讨论〕。
1702648768
1702648769 定义L2L2是约束模型和非约束模型之对数似然值差值的-2倍。这里,除非有所特指,否则非约束模型就是指饱和模型(见附录12.B对最大似然估计法的简明介绍和对似然值的定义)。
1702648770
1702648771 我们下面检验变量X和Y相互独立的可能性,即单元格频数仅仅是边缘分布的函数。我们可以将其写作[X][Y]。在这种情况下,我们估计三个参数——η、τX和τY。只有τXY被设定为1.0,因此我们有一个自由度。在此例中,L2=6.35,这再次表明模型拟合得不好(p=0.012,几乎与前一个模型一样),而且表明X和Y之间存在某种关联——我们不能简单地依据边缘频数预测单元格频数。
1702648772
1702648773
1702648774 在此例子中,为了获得好的拟合结果,有必要估计所有4个参数,这会用尽4个自由度(因此,正如我们所注意到的,这会保证我们得到完美的拟合)。我们将其写作[XY]。注意,在这种表示法中,我们其实涉及分层模型。也就是说,每个较高阶次的关系一定包含所有低阶次关系,因此,。我们在后面的章节还会谈到这一点。
1702648775
1702648776 到目前为止,我们所涉及的问题都能用常规的η2独立性检验来解决。这种方法同样也可以被应用于包含两个以上变量的列联表,以及多分类变量。表12-2是一张对92个社会按政治一体化程度和技术水平划分的社会分层水平的列联表。
1702648777
1702648778 表12-2 对92个社会按政治一体化程度和技术水平划分的社会分层水平的频数分布
1702648779
1702648780
1702648781
1702648782
1702648783 在对数线性分析的数据挖掘方法中,通常的做法是设定一个表中所有变量完全独立的初始或基准模型——在当前的例子中是假设一个技术[T]、政治一体化[P]和分层[S]之间没有关联的模型。我们通过拟合模型[T][P][S]来完成。对于此模型,L2=84.68,有7个自由度;此模型的拟合优度统计量及其他信息列在表12-3中。显然,此模型对数据拟合得不好(p<0.0000),但即使如此,我们马上还是要使用该模型。
1702648784
1702648785 我们接着会假设在政治一体化程度和社会分层水平之间存在关联或交互项,并假设这些变量都与技术水平不相关。也就是说,我们拟合模型[T][PS](表12-3中的模型2)。此模型假设观测到的单元频数可以被技术水平这一单变量分布和按政治一体化程度划分的社会分层水平的双变量分布解释(在抽样误差范围内)。估计此模型,得到L2=41.54,有5个自由度。
1702648786
1702648787 虽然大L2值告诉我们模型拟合数据精度不高(p<0.0000),但是我们仍然想知道与完全独立的基准模型相比较预测值是否得到改善。为了了解这一点,我们将两个L2值相减,同样将自由度相减,然后我们得到与新的L2和新的自由度相关的p值。通常的做法是对随后的每一个模型报告L2和L2与基准模型L2B的比值,同时给出观测频数和基于模型的期望频数之间的相异指数Δ,也给出BIC指标。计算这些测量值之间的差值很容易;模型1和模型2的差值列在表12-3的倒数第二行。所有这些计算提供了有关模型拟合优度的信息,以及假设的某个模型对拟合优度改善的程度。
1702648788
1702648789 表12-3 在92个社会中有关技术水平、政治一体化程度和社会分层水平之间关联的模型
1702648790
1702648791
1702648792
1702648793
1702648794 因为L2=43.14、自由度为2的概率小于0.000,所以我们得出结论:政治一体化程度和社会分层水平之间存在关联的假设显著地改善了模型的拟合程度。相似地,根据现有数据,BIC的差值告诉我们第二个模型比第一个更加可能符合实际(尽管两个模型都不如饱和模型对数据拟合的程度——因为两者的BIC都是正值)。
1702648795
1702648796 我们能够从两组系数中得到一个模型拟合改善程度的定量估计。从L2的比值来看,社会分层水平和政治一体化程度之间存在关联的假设降低了模型和数据之间拟合不好的程度,即相对于三个变量完全独立的基准模型,拟合不好的程度降低了一半左右。
1702648797
1702648798 最后,我们从表12-3最右侧一列注意到,完全独立模型错误地识别了表中约42%的样本〔即期望分布中42%的样本不得不变换类别以与观测部分一致——回顾第3章中有关相异指数(index of dissimilarity)Δ的讨论〕,而第二个模型只错误地识别了30%的样本。
1702648799
1702648800 因为模型[T][SP]对数据拟合得不好,我们仍然需要评估其他模型,从而找到拟合较好的最简约模型。表12-3显示了8个模型(除饱和模型和假设所有单元格拥有同样频数的模型外所有逻辑上可能的模型)的拟合优度统计量。继续看表12-3中的系数,模型7中[TS][PS]对数据拟合得非常好。此模型假设技术水平和政治一体化程度都与社会分层水平关联,但当控制住技术水平和政治一体化程度各自与社会分层水平不再相关之后,这两者之间不再相关。它仅错误地识别了表中约5%的样本,同样使基准模型的L2降低了97%[=100×(1.0-0.03)]。
1702648801
1702648802 尽管拟合得更好的是模型8(它假设每对变量相关),但它可能受到争议并被认为过度拟合数据。倒数第二个模型[TS][PS]拟合数据的程度与模型8近似,我最后选择它作为最终模型是因为它的简约性,特别是因为模型7和模型8之间拟合程度的差异不显著(2.94-0.60=2.34;p=0.126)。
1702648803
1702648804 注意,显著性检验在此处的用法和它通常作为拒绝零假设时的判断标准的用法恰好相反;在此处,我们希望判断是否接受零假设,即是否接受某一个模型。相应地,我们倾向于最小化第二类错误[Type Ⅱ(β)error](接受错误零假设的概率),而不是第一类错误[Type I(α)error](拒绝正确零假设的概率)。不幸的是,没有方法可以直接做到这点,因此我们只能勉强接受所计算的第一类错误。一个有用的经验准则是,如果α大于0.2,则接受模型。然而,样本规模越大,α会越小,因此对非常大的样本,即使α很小我们也会接受模型。正如我们马上要看到的,BIC提供了另一种更适合模型选择的方法。
1702648805
1702648806 表12-3中报告了另一种系数BIC,即贝叶斯信息准则(Bayesian Information Criterion)(Raftery,1986,1995a,1995b),我们在第6章曾经介绍过。回顾BIC的定义:
1702648807
1702648808 BIC=-2[ln(B)]      (12.7)
1702648809
1702648810 这里,B是在给定数据的条件下,某个模型M为真实模型时的(未知)概率与饱和模型为真实模型时的(未知)概率之间的比率。对于对数线性模型,BIC由下面的公式估计:
[ 上一页 ]  [ :1.702648761e+09 ]  [ 下一页 ]