统计研究揭示了神经科学复制危机的原因
统计研究揭示了神经科学复制危机的原因
填写下面的表格,我们将向您发送PDF版本的电子邮件“统计研究揭示了神经科学复制危机的原因”
在我们的头骨内部图像的能力具有与Ignaz Semmelweiss的高级神经科学研究一样细菌理论高级医院练习。简而言之,它证明了一种革命性的技术,它极大地改善了我们对大脑的理解。
但是新的研究对实验的统计有效性产生了重大怀疑。这些研究代表了神经影像学的下一个重要一步 - 是将脑扫描中的特定特定签名与复杂的精神病症状和状态联系起来的努力。
关联问题
这些发现,发表在自然,表明大量所谓的大脑广泛关联研究(BWAS)的能力可能不足。“这种特定的手稿的重点是将神经影像措施与复杂的行为表型联系起来的可重复性,这与遗传学家的重点是将基因与相似的复杂表型联系起来。”斯科特·马雷克(Scott Marek)博士,华盛顿大学医学院精神病学系的研究合着者和讲师。
神经影像学研究的多种多样。该领域中一些最基本的论文将一般认知过程(例如记忆)与容纳神经元控制上述过程的大脑区域联系起来。其他研究设计监测血氧的变化如何反映某些大脑区域的激活,以响应行为任务。
BWAS的研究与这些更古典的神经影像学研究不同。在针对复杂的精神病行为时,BWAS研究试图将生物学签名固定在臭名昭著的大脑过程中。虽然发现一个不使用海马结构的大脑在记忆回忆中,这是一个医疗奇迹,但发现两个患有治疗耐药性抑郁症的人更为普遍不同的大脑活动水平。这意味着尺寸所涉及的关联要小得多。
举起启动研究
Marek及其同事希望评估这些较小的效应大小对理想的BWAS研究设计意味着什么。为了解决这个问题,他们使用了三项研究的数据,这些数据代表了BWAS研究的当前大型作品。这些是青少年脑认知发展(ABCD)研究,人类连接项目(HCP)和英国生物库。由资金充足的国际财团组装的这些努力包含大量的大脑数据,价值近50,000张扫描。有了这个非常真实的数据集,Marek和他的团队使用了一种名为Boottapping的统计技术来创建一系列虚拟的数据集的大小从更常用的小尺寸(n = 25)到数万扫描的大量分析。
然后,Marek的团队基本上建立了这些假设数据集中的发现的准确和可重复性。他们的结果表明,当前的BWA方法可能需要进行地震转变,以确保其数据可靠。
膨胀的效果大小
该小组发现,无论规模如何,BWAS研究中分析的关联类型都非常容易被偶然地膨胀。这意味着Marek较小的模拟研究的发现在很大程度上是不可复制的。只有一旦实验进行了数千次脑部扫描建模后,膨胀的效果大小就开始减少。
本质上,建立了小型BWAS研究,以分析扫描数量少的微小潜在影响,这很可能是无法重新调制的。此外,在这些较小的研究中,作者写道,最有可能被发现最有可能被发现“统计学意义”并成为出版的发现。
马雷克(Marek)小心,不要把婴儿扔出去。在较小的样本量下,其他类型的神经影像分析更可靠。他解释说:“可重复性或缺乏具有这些研究的相关性的结果,而不是神经影像的作用。”“一些神经影像学研究(例如,特定功能的基本大脑映射,任务诱导的效果等)不属于BWA的伞。”
他还强调,即使是BWAS的研究也有一种清晰的,即使不足的方法来提高其可重复性:更多样本,这最终意味着需要更多的资金。“改善BWA的最直接方法是增加样本量,就像全基因组关联研究(GWAS)最近所做的那样。这可以通过大型财团,例如ABCD,HCP和UK Biobank研究,也可以通过多个实验室的数据聚合来完成。”他说。
跟随GWAS之旅
GWAS分析将生理或精神病指标与特定基因签名联系起来,一直通过21岁的复制旅程英石世纪。初始样本量少于100个基因组为困扰通过不可重复的性。回应这些问题和崩溃价格在基因组测序中,GWAS研究已经能够将样本数量大大扩展为数百万。目前尚不清楚该方法是如何与当前的BWAS实践兼容的,在该实践中,小型实验室的预算紧张,请使用中位数样本量23。
Marek还建议,更清楚地报告效果大小,无论其统计意义如何,都将有助于使不可验证的理由更加清晰。
最后,Marek渴望给BWAS研究留下深刻的印象是值得一提的是,给定适当的样品设计。他说:“鉴于BWA缺乏当前样本量的可重复性,人们可能会说我们有很多关于大脑与复杂表型的关系的知识。”
Marek说,试图了解大脑的复杂种类的研究人员必须带来同样可变和强大的实验方法。他总结说:“如果[A]研究人员想进行BWAS研究,则只能在最大的可用数据集中这样做,并报告所有效果尺寸。”
参考:Marek,S,Tervo-Clemmens,B,Calabro,FJ等。可再现的脑范围协会研究需要数千个人。自然。2022. doi:10.1038/S41586-022-04492-9