Fisher, A. J. et al. Lack of group-to-individual generalizability is a threat to human subjects research. Proceedings of the National Academy of Sciences 115, E6106–E6115 (2018). http://doi.org/10.1073/pnas.1711978115 個体ごとにextensive に計測するアプローチを重視すべき(→Small is beautiful) Naselaris, T., Allen, E. & Kay, K. Extensive sampling for complete models of individual brains. Current Opinion in Behavioral Sciences 40, 45–51 (2021). https://doi.org/10.1016/j.cobeha.2020.12.008 12
of Psychology: A Manifesto for Reforming the Culture of Scientific Practice. (Princeton University Press, 2019). 【邦訳】クリス・チェインバーズ. 心理学の7つの大罪――真の科学で あるために私たちがすべきこと. (みすず書房, 2019). Ritchie, S. Science Fictions: How Fraud, Bias, Negligence, and Hype Undermine the Search for Truth. (Metropolitan Books, 2020) なかむらかずや. 書評|壊れた科学に泣かないで|"Science Fictions" by Stuart Ritchie. カタパルトスープレックス (1603323000). https://www.catapultsuplex.com/entry/science-fictions 13
of social science experiments in Nature and Science between 2010 and 2015. Nat Hum Behav 2, 637–644 (2018). Cova, F. et al. Estimating the Reproducibility of Experimental Philosophy. Rev Phil. Psych. (2021). 1000回以上引用されている著名な論文の再現性がない(社会的プライミン グ、ステレオタイプ脅威、パワーポーズ、自我消耗、顔面フィードバック 仮説、「目」の効果、などなど)。条件によっては効果があるが、効果量 はとても小さい 再現性のない研究ほど引用される。ジャーナルの「ランク」が高いほど信 頼性が低い Serra-Garcia, M. & Gneezy, U. Nonreplicable publications are cited more than replicable ones. Science Advances (2021). Brembs, B. Prestigious Science Journals Struggle to Reach Even Average Reliability. Frontiers in Human Neuroscience (2018). 19
animal research in light of biological variation. Nat Rev Neurosci (2020). ニューロンやサンプルの恣意的な選択 「サルは2頭でいいんですか」(→一般化可能性) 効果量・検出力の分析から、ポジテイブな結果の半数以上は偽陽性と推測 される(認知神経科学) Szucs, D. & Ioannidis, J. P. A. Empirical assessment of published effect sizes and power in the recent cognitive neuroscience and psychology literature. PLOS Biology (2017). 20
of structural brain-behavior correlations. Cortex (2015).https://doi.org/10.1016/j.cortex.2014.11.019 Kharabian Masouleh, S. et al. Empirical examination of the replicability of associations between brain structure and psychological variables. eLife (2019). https://doi.org/10.7554/eLife.43464 安静時脳活動・機能結合(resting state brain activity, functional connectivity)「バイオマーカー」の低い再現性 Noble, S. et al. Influences on the Test–Retest Reliability of Functional Connectivity MRI and its Relationship with Behavioral Utility. Cerebral Cortex (2017). https://doi.org/10.1093/cercor/bhx230 He, Y. et al. Nonreplication of functional connectivity differences in autism spectrum disorder across multiple sites and denoising strategies. Human Brain Mapping (2020). https://doi.org/10.1002/hbm.24879 21
& Hasson, U. Keep it real: rethinking the primacy of experimental control in cognitive neuroscience. NeuroImage (2020). https://doi.org/10.1016/j.neuroimage.2020.117254 Sonkusare, S., Breakspear, M. & Guo, C. Naturalistic Stimuli in Neuroscience: Critically Acclaimed. Trends in Cognitive Sciences 0, (2019). https://doi.org/10.1016/j.tics.2019.05.004 in vitroからin vivoへ、線虫、ハエ、マウスからヒトへ汎化できるか 22
al. The efficacy of psychotherapies and pharmacotherapies for mental disorders in adults: an umbrella review and meta-analytic evaluation of recent meta-analyses. World Psychiatry (2022). https://doi.org/10.1002/wps.20941 23
為が問題だとは認識していなかった 代表的なQRPsであるPハッキングと任意停止(optional stopping)が、オラ ンダで初めて、研究の誠実性に関する行動規範に違反と認定される Lakens, D. The 20% Statistician: P-hacking and optional stopping have been judged violations of scientific integrity. The 20% Statistician (2020). ネカト(捏造、改ざん、盗作)と同等の研究不正とされる日も近いか 25
P., Nelson, L. D. & Simonsohn, U. False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant. Psychol Sci 22, 1359–1366 (2011). https://doi.org/10.1177/0956797611417632 特に脳イメージング研究では、解析段階の自由度が高い 最近の241件のfMRI研究において、方法論の報告と方法論の選択をレビュ ー。研究の数とほぼ同数のユニークな分析パイプラインが存在 Carp, J. The secret lives of experiments: Methods reporting in the fMRI literature. NeuroImage 63, 289–300 (2012). https://doi.org/10.1016/j.neuroimage.2012.07.004 27
A. Why Most Published Research Findings Are False. PLoS Med (2005). https://doi.org/10.1371/journal.pmed.0020124 再現性が広く議論される以前に、統計検定のロジック、サンプルサイズの小 ささ、実験デザインの自由度、インセンティブ・競争、などがもたらす研 究の再現性の低さについて、シンプルなモデルを用いて議論した論考 統計検定(P値)は、finding(ここでは「統計的に有意な」研究成果)の正し さを保証するものではない むしろ、多くの分野では、主張されているfindingは、単にバイアスを表現 したものである(Null field, 虚無分野) 32
統計的に有意だった変数(脳画像の画素など)を選択 し、同じデータを使って課題との相関係数を計算すると、データのS/Nから 考えてありえない高い相関になる Vul, E. et al. Puzzlingly High Correlations in fMRI Studies of Emotion, Personality, and Social Cognition. Perspect Psychol Sci 4, 274–290 (2009). http://dx.doi.org/10.1111/j.1745-6924.2009.01125.x https://escholarship.org/content/qt92v2k0hm/qt92v2k0hm.pdf 二度漬けは偽陽性への最速のショートカット 53
良いモデル しかし、観測が独立であるという仮定は残る。一つのクラスタに属す る相関する観測値が、訓練セットとテストセットをまたがないように するなどの対応が必要 de Rooij, M. & Weeda, W. Cross-Validation: A Method Every Psychologist Should Know. Advances in Methods and Practices in Psychological Science 3, 248–263 (2020). 54
学者はそういうことにあまりに興味ない 遺伝子操作やオプトジェネティクスなど「究極の介入」 が可能。しかし、 コントロールが十分かは怪しい 一方で、コントロールされた実験を絶対視することの弊害もある 生態学的妥当性、自発脳活動の重要性 Diener, E., Northcott, R., Zyphur, M. J. & West, S. G. Beyond Experiments. Perspect Psychol Sci 17456916211037670 (2022). 58
心 理学ワールド 17–20 (2016). Boraud, T., Leblois, A. & Rougier, N. P. A natural history of skills. Progress in Neurobiology 171, 114–124 (2018). 皮質基底核ループ などが、「人間らしい」精緻な運動や実行機能、習慣行動な どに関与しており、3つの部位に切り分けることではヒトの行動・心理を理解で きない 62
統計手法/モデルに思考を乗っ取られないようにしよう "All models are wrong, but some are useful" (George Box) 研究対象についてあなたの方がよく知っているはず 違和感をもとに、より良い手法を探索しよう 4. 脳を見たら心的現象の本質がわかるはずという発想はやめよう 少なくとも現状は、ほとんどわからない 本質がわからなくても予測や制御はできる(場合がある) 現実世界での予測や制御のテストをパスできるように基礎研究を頑健 にしよう 68