元分析这一统计方法有何精妙之处?

在改变四十心理学的四十项研究一书中看到,有学者用元分析的方法比较了多种心理咨询的治疗效果——然后发现无差异。 相比这个结果,元分析显然更值得让人注意一些,这一手段有何精妙之处?
关注者
83
被浏览
3999

应用了元分析的研究,需要达到的目标相当于搜罗多个(多到几十上百)独立研究的原始数据,一条条汇总,在比较大的样本量上作全面的统计推断。在元分析的技术普及之前,这件事情难度过大,很少有人能一个个说服同行让对方提供所有记录(在心理学中即所有被试)的原始数据。

应用了元分析的研究,真正的过程只是为每个独立研究抠出能“全面汇总”原始数据的少数统计量。这里需要理解一个有悖直觉的统计知识:如果两批原始数据,都是k个变量n条记录,两批数据各自的k个均值和k×k方差协方差矩阵恰好一样,那这两批数据基于正态分布假设做出的统计推断恰好完全一样。关于这个大部分数理统计学生都知道而大部分社科研究者不熟悉的事实,稍地道一点的统计教科书在回归一节都会引用 Anscombe (1973) 的教学论文图示。

应用元分析的研究者,并不需要去理解这是为什么,只需要分辨哪些前人研究可以抠出「全面汇总」原始数据的统计量。对于不能抠出这种统计量的前人研究,也可以人肉原作者去恳求补足。这类汇总的工作量其实很大,要求精读每项前人研究的定量分析部分,用心辨析各项研究的变量实质性意义相同或可类比。真正用在使用统计软件上的时间反而不太多。


Anscombe, F. J. (1973). Graphs in Statistical Analysis. American Statistician, 27(1), 17–21.


更新:最近有机会为从事元分析的团队成员提供统计咨询,查了一下 R 社群在这方面的进展。推荐关注 Michael Dewey 维护的 CRAN Task View: Meta-Analysis