Psikolojinin -Bilimsel- Tekrarlanabilirlik Krizinde Bahaneler Bitiyor

Başka bir büyük proje, çalışmaların sadece yarısının tekrarlanabileceğini bulmuştur. Ve bu sefer, olağan açıklamalar boşa çıkıyor.

Ed Yong 

Son birkaç yıldır, yaklaşık 200 psikologdan oluşan uluslararası bir ekip, aynı sonuçları alıp alamayacağını görmek için kendi alanında daha önce yayınlanmış bir dizi deneyi tekrarlamaya çalışıyor. Many Labs 2 adlı proje, tüm çabalarına rağmen 28 vakanın sadece 14'ünde başarılı oldu. Altı yıl önce, bu şok edici olabilirdi. Şimdi beklendiği gibi (yine de biraz rahatsız edici olsa da) haberler geliyor.

Son yıllarda, psikolojinin, ünlü, köklü fenomenlerin (ders kitaplarında ve ted Konuşmalarında yer alan şeyler) bile gerçek olmayabileceği bir " tekrarlanabilirlik krizi " ile karşı karşıya olduğu acı bir şekilde ortaya çıktı. Bilinçaltına maruz kalmaların davranışlarımızı etkileyebileceği bir sosyal hazırlık var . Ve ego tükenmesi , tükenebilecek sınırlı bir irade kaynağımız olduğu fikri. Ve basitçe gülümsemenin bizi daha mutlu hissettirdiğini söyleyen yüz geribildirimi hipotezi .

Araştırmacılar, bu iyi bilinen etkilerin ardındaki klasik deneyleri birer birer tekrarlamaya çalıştılar ve başarısız oldular. Ve psikologlar , Many Labs 2 gibi, geçmiş deneyleri topluca tekrarladıkları büyük projeler üstlendiğinde , genellikle ortalama olarak, zamanın yarısında başarılı olurlar.

İronik olarak, psikolojideki en güvenilir bulgulardan birinin, psikolojik araştırmaların sadece yarısının başarıyla tekrarlanabilmesi gibi görünüyor.

Davis'teki California Üniversitesi'nden Simine Vazire , bu başarısızlık oranının özellikle ürkütücü olduğunu söylüyor çünkü Many Labs 2 ekipleri, büyük ses getiren ve çokça alıntılanan çalışmaları tekrarlamaya çalıştı. Psikologlar “umduğumuz kadar sağlam sonuçlar üretmediğimizi veya medyada ya da politika yapıcılara reklamını yaptığımız kadar güçlü olmadığımızı kabul etmeli” diyor. Bu, kısa vadede güvenilirliğimizi zedeleme riskini taşıyabilir, ancak bu kadar güçlü kanıtlar karşısında bu sorunu inkar etmek uzun vadede daha fazla zarar verecektir.”

Pek çok psikolog, bu kopyalama başarısızlıklarını özensiz uygulamalara bağladı. Meslektaşlarının, yanıltıcı tesadüfi sonuçlar ortaya çıkaran küçük ve istatistiksel olarak zayıf çalışmalar yürütmeye, ilginç bir şey elde edene kadar verilerle uğraşmaya veya dosya çekmecelerinde olumsuz olanları saklarken yalnızca olumlu sonuçları yayınlamaya çok istekli olduklarını söylüyorlar .

Ancak şüpheciler , yanıltıcı bir şekilde adlandırılan “kriz”in daha sıradan açıklamaları olduğunu savundular . İlk olarak, çoğaltma girişimlerinin kendisi çok küçük olabilir. İkincisi, dahil olan araştırmacılar yetersiz olabilir veya orijinal deneyleri düzgün bir şekilde gerçekleştirecek bilgi birikiminden yoksun olabilir. Üçüncüsü, insanlar değişir ve iki grup bilim insanı aynı deneyi iki farklı gönüllü grubu üzerinde yaparlarsa çok farklı sonuçlar elde edebilirler.

Many Labs 2 projesi, bu eleştirileri ele almak için özel olarak tasarlanmıştır. Toplamda 15.305 katılımcıyla, yeni deneyler, kopyalamaya çalıştıkları çalışmaların ortalama 60 katı kadar gönüllüye sahipti. Katılan araştırmacılar, deneylerin her ayrıntısını önceden incelemek ve kontrol etmek için orijinal çalışmaların arkasındaki bilim adamlarıyla birlikte çalıştı. 36 farklı ülkeden gönüllülerle bu deneyleri birçok kez tekrarladılar ve çalışmaların bazı kültürlerde ve bağlamlarda tekrarlanıp diğerlerinde tekrarlanmayacağını görmek için. Projenin koordinasyonuna yardımcı olan Açık Bilim Merkezi'nden Brian Nosek , “Bir projenin en büyük ayı oldu” diyor . "Birinde 28 kağıt değerinde."

Büyük örneklem boyutlarına ve orijinal ekiplerin nimetlerine rağmen, ekip odaklandığı çalışmaların yarısını tekrarlayamadı. Örneğin, bilinçaltında ısı kavramına maruz kalan insanların küresel ısınmaya inanma olasılıklarının daha yüksek olduğunu veya ahlaki ihlallerin Lady Macbeth tarzında fiziksel temizlik ihtiyacı yarattığını veya büyüyen insanların daha fazla kardeşe sahip olanlar daha fedakardır. Ve önceki büyük projelerde olduğu gibi , çevrimiçi bahisçiler, hangi çalışmaların nihayetinde tekrarlanacağını önceden tahmin etmede şaşırtıcı derecede iyiydi. Bir şekilde, hangi çalışmaların güvenilir olduğunu sezebildiler.

Ancak diğer sezgiler daha az doğruydu. 12 vakada, orijinal çalışmaların arkasındaki bilim adamları, çoğaltıcıların hesaba katması gereken özellikleri önerdiler. Örneğin, aynı sonuçları erkeklerden ziyade kadınlarda veya belirli kişilik özelliklerine sahip kişilerde bulabilirler. Hemen hemen her durumda, önerilen bu özelliklerin alakasız olduğu kanıtlandı. Sonuçlar o kadar da kararsız değildi.

Benzer şekilde, Many Labs 2 , Psikoloji Bilimini Geliştirme Derneği'ne başkanlık eden Grand Valley State Üniversitesi'nden Katie Corker , "etkilerin bir yerden bir yere, kültürden kültüre ne kadar değiştiğini incelemek için açıkça tasarlandı" diyor . "Ve işte şaşırtıcı sonuç: Sonuçlar çok fazla değişkenlik göstermiyor." Katılımcı ekiplerden biri bir çalışmayı başarıyla tekrarladıysa, diğerleri de yaptı. Bir çalışma tekrarlanamadıysa, her yerde başarısız olma eğilimindeydi.

Bunun üzerinde durmakta fayda var çünkü “tekrarlanabilirlik krizi” retoriğine en sık atıf yapılan eleştirilerden birine ciddi bir darbe. Şüphesiz, şüpheciler, çalışmaların her yerde tekrarlanmasını beklemenin bir fantezi olduğunu savunuyorlar. Nosek, "Örneğe büyük bir saygı duyuluyor" diyor. “Çoğaltma girişiminiz başarısız mı oldu? Sen Ohio'da, ben de Virginia'da yaptığım için olmalı ve insanlar farklı. Ancak bu sonuçlar, bu başarısızlıkları çok kolay bir şekilde ortadan kaldıramayacağımızı gösteriyor.”

Bu, davranıştaki kültürel farklılıkların alakasız olduğu anlamına gelmez. Madison'daki Wisconsin Üniversitesi'nden Yuri Miyamoto'nun eşlik eden bir yorumda belirttiği gibi , "Küreselleşme çağında psikoloji büyük ölçüde Avrupalı ​​[ve] Amerikalı kaldı." Pek çok araştırmacı, Batılı, eğitimli, sanayileşmiş, zengin ve demokratik ülkelerden - weırd uluslarından - gönüllülerin , dünyanın diğer bölgelerinden farklı düşünen alışılmadık bir insanlık dilimi olduğunu belirtti.

Many Labs 2 deneyinin çoğunda ekip, weırd gönüllüleri ile diğer ülkelerden gelenler arasında çok az fark buldu. Ancak Miyamoto, analizinin biraz kaba olduğunu belirtiyor - “ weırd olmayan ülkeleri” birlikte ele alırken, Meksika, Japonya ve Güney Afrika gibi çeşitli kültürlerden insanları bir araya getiriyor. "Kültürler arası araştırma," diye yazıyor, "ilgili kültürel bağlamların her birinin kapsamlı analiziyle bilgilendirilmelidir."

Nosek kabul eder. batılı olmayan toplumlardan daha fazla gönüllüyü içeren veya weırd balonunun dışında önemli ölçüde değişmesini beklediğiniz fenomenleri kontrol etmeye çalışan büyük çoğaltma projelerini görmeyi çok isterdi . " barinlik'in düşündüğümüz kadar önemli olduğunu varsaymamız gerekiyor mu?" O sorar. "Bunun için iyi bir kanıt temelimiz yok."

Oregon Üniversitesi'nden Sanjay Srivastava , Many Labs 2'deki varyasyon eksikliğinin aslında olumlu bir şey olduğunu söylüyor. Elbette, çok sayıda başarısız çoğaltmanın gerçekten özensiz bilimden kaynaklanabileceğini öne sürüyor. Ama aynı zamanda psikolojinin temel işinin -insan zihninin zor, kaygan, karmaşık dünyasını incelemek için dikkatli laboratuvar deneyleri yaratmak- oldukça iyi çalıştığını da ima ediyor. "Laboratuvarın dışında, gerçek dünyadaki fenomenler bağlama göre değişebilir ve muhtemelen de değişiklik gösterebilir" diyor. "Fakat özenle tasarlanmış çalışma ve deneylerimizde, sonuçlar kaotik veya tahmin edilemez değil. Bu, geçerli bir sosyal bilim araştırması yapabileceğimiz anlamına geliyor .”

Alternatif çok daha kötü olurdu. Srivastava, insanların çok değişken olduğu ve çok yakın tekrarların bile tamamen farklı sonuçlar doğurduğu ortaya çıkarsa, "bu, olumlu sonuçlar da dahil olmak üzere deneylerimizi yorumlayamayacağımız ve tekrar olacağına güvenemeyeceğimiz anlamına gelir" diyor. "Bu, başarısız çoğaltmaları reddetmemize izin verebilir, ancak orijinal çalışmaları da reddetmemizi gerektirir. Uzun vadede Many Labs 2 çok daha umutlu ve iyimser bir sonuç.”

* Marshmallow testinden bahsedilmesi, koşulların diğer başarısız tekralanabilirlikten farklı olması nedeniyle, erken bir paragraftan çıkarılmıştır.

https://www.theatlantic.com/science/archive/2018/11/psychologys-replication-crisis-real/576223/