Studiile psihologice s-au dovedit a fi false în mai mult de 50% din cazuri

2024 Autor: Seth Attwood | [email protected]. Modificat ultima dată: 2023-12-16 16:15

Există „posturi puternice” care creează încredere și reduc hormonii de stres. Când oamenii țin o ceașcă de băutură caldă în mâini, devin mai prietenoși cu cei din jur. Voința este o resursă pe care o cheltuim atunci când rezistăm tentației. Capacitatea de a amâna recompensa determină succesul viitor al copilului.

Aceste afirmații sunt foarte asemănătoare între ele: în spatele lor se află cercetări psihologice binecunoscute, bestselleruri din domeniul științei populare, rubrici din reviste populare și discuții TED.

Mai au un lucru în comun: toate s-au dovedit a fi greșite.

Criza de reproductibilitate a pus la îndoială domenii întregi ale științei. Multe dintre rezultate, care au fost citate pe scară largă în mass-media, sunt acum considerate exagerate sau false. Când oamenii de știință au încercat să reproducă atât experimentele psihologice clasice, cât și cele recente, rezultatele au fost surprinzător de consistente, aproximativ jumătate dintre cazuri având succes, iar cealaltă jumătate eșuând.

Criza a devenit în cele din urmă evidentă în 2015, când oamenii de știință conduși de Brian Nosek au verificat 100 de studii psihologice. Ei au reușit să obțină rezultate inițiale doar în 36 de cazuri. Editorul-șef al The Lancet, Richard Horton, a declarat curând:

„Acuzațiile împotriva științei sunt destul de simple: cel puțin jumătate din literatura științifică este pur și simplu greșită. Suferind de studii cu o dimensiune redusă a eșantionului, efect redus și analize incorecte, precum și o obsesie pentru tendințele modei de importanță îndoielnică, știința a luat o întorsătură spre ignoranță.

Reproductibilitatea este una dintre cerințele cheie pentru cunoștințele științifice. Cu cât rezultatul este reprodus mai bine, cu atât este mai fiabil - acesta este singurul mod de a separa tiparele reale de simple coincidențe

Dar s-a dovedit că această cerință nu este întotdeauna îndeplinită.

Criza a început cu medicina, dar cel mai mult a afectat psihologia. În vara lui 2018, oamenii de știință au încercat să reproducă o selecție de studii psihologice publicate în Science and Nature, cele mai prestigioase reviste științifice din lume. Din 21 de experimente, doar 13 au fost confirmate - și chiar și în aceste cazuri, rezultatele originale au fost exagerate cu aproximativ 50%.

Adesea, testul de reproductibilitate este eșuat de acele studii care au fost replicate pe scară largă în mass-media și au reușit să influențeze conștiința publicului. De exemplu, lucrările pe care motoarele de căutare afectează memoria, iar lectura de ficțiune dezvoltă capacitatea de a empatiza. Dacă experimentele repetate eșuează, aceasta nu înseamnă că ipotezele inițiale sunt lipsite de valoare. Dar acum este nevoie de o cercetare mai bună pentru a le dovedi.

Cum să preziceți viitorul cu statistici

În 2011, celebrul psiholog american Daryl Boehm a publicat un articol care dovedea posibilitatea clarviziunii. Această concluzie nu a fost un produs al imaginației sale violente, ci s-a bazat pe zeci de ani de cercetare, care au implicat sute de oameni. Mulți bănuiau că Boehm a decis să aranjeze ceva de genul înșelătoriei lui Sokal și să expună psihologia cu un articol fals cu concluzii deliberat absurde. Dar, după toate standardele metodologice, articolul a fost foarte convingător.

Într-unul dintre experimentele lui Behm, două ecrane au fost plasate în fața participanților - ei au trebuit să ghicească ce imagine era ascunsă în spate. Imaginea a fost generată aleatoriu imediat după ce a fost făcută selecția. Dacă participanții au făcut o treabă bună, ar indica faptul că pot anticipa cumva viitorul. Experimentul a folosit două tipuri de imagini: neutre și pornografice.

Boehm a sugerat că, dacă al șaselea simț există, probabil că are o origine evolutivă antică. Dacă da, atunci este mai probabil ca acesta să fie în acord cu nevoile și îndemnurile noastre cele mai vechi

Participanții au ghicit imagini pornografice 53% din timp - puțin mai des decât ar trebui dacă ar fi fost pură întâmplare. Având în vedere numărul mare de experimente, Boehm ar putea pretinde că există prevedere.

Mai târziu, experții au descoperit că atunci când a analizat rezultatele, a folosit metode nu în întregime corecte. De regulă, un rezultat al cercetării este considerat de încredere dacă probabilitatea ca acesta să fi fost obținut accidental nu depășește 5%. Există însă multe modalități de a reduce această valoare la nivelul necesar: modificați parametrii inițiali ai analizei, adăugați sau eliminați numărul necesar de exemple din eșantion, folosiți ipoteze mai reușite după colectarea datelor.

Problema este că nu numai Boehm, ci și mulți alți oameni de știință au folosit aceleași tehnici. Potrivit unui sondaj din 2011, aproape jumătate dintre psihologi au recunoscut acest lucru

Când a apărut articolul clarvăzător, oamenii de știință sociali Joseph Simmons, Leaf Nelson și Uri Simonson și-au dat seama că știința se îndrepta spre propria sa ruină. Ei au construit mai multe modele de computer și au descoperit că, folosind tehnici statistice destul de standard, puteți crește de mai multe ori nivelul rezultatelor fals pozitive. Aceasta înseamnă că metodele care sunt formal științifice pot duce cu ușurință la concluzii complet absurde.

Pentru a ilustra acest lucru, oamenii de știință au efectuat un experiment care a confirmat că ascultarea melodiei „When I'm Sixty-four” îl face pe ascultător cu un an și jumătate mai tânăr.

„Toată lumea știa că este greșit să folosești astfel de tehnici, dar au crezut că aceasta este o încălcare a semnificației sale - ca să traversezi drumul în locul greșit. S-a dovedit a fi mai mult ca un jaf de bancă”, a concluzionat Simmons.

Cum să deosebești cercetarea proastă de bună

Curând a devenit clar că problemele de reproductibilitate nu se limitau la psihologie. În cercetarea cancerului, dovezile științifice sunt susținute în 10-25% din cazuri. În economie, 7 din 18 experimente de laborator nu au putut fi replicate. Cercetările în domeniul inteligenței artificiale arată și ele semne de criză.

Dar pierderea credinței în știință, se pare, încă nu merită. Oamenii de știință au venit deja cu mai multe moduri care au îmbunătățit considerabil fiabilitatea și calitatea noilor cercetări

În urmă cu câțiva ani, aproape nimeni nu a publicat rezultatele experimentelor repetate, chiar dacă au fost efectuate. Acest lucru nu a fost acceptat, nu a adus granturi și nu a contribuit la o carieră științifică de succes. Potrivit unui sondaj Nature, peste 70% dintre psihologi au încercat și nu au reușit să reproducă cercetările altor persoane, aproximativ jumătate nu au reușit să le repete pe ale lor și aproape nimeni nu a căutat să facă publice aceste rezultate.

Când a apărut criza de reproductibilitate, multe s-au schimbat. Cercetările repetate au devenit treptat obișnuite; datele experimentale au început să fie publicate din ce în ce mai des în domeniul public; reviste au început să publice rezultate negative și să înregistreze planul general de cercetare chiar înainte de a începe.

Cercetarea a devenit mai extinsă - un eșantion de 30-40 de persoane, care era destul de standard în psihologie, se potrivește acum foarte puțini oameni. Mari organizații internaționale - precum Psychological Science Accelerator - testează aceleași ipoteze în mai multe laboratoare din întreaga lume.

Înainte de a verifica articolele din Nature and Science, despre care am scris la început, oamenii de știință au fost rugați să parieze la tombolă. Au trebuit să prezică ce cercetare va trece testul și care va eșua. În general, tarifele au fost foarte precise. „Aceasta înseamnă, în primul rând, că comunitatea științifică poate prezice care lucrări vor putea fi repetate și, în al doilea rând, că imposibilitatea reproducerii studiului nu a fost o simplă coincidență”, spun organizatorii experimentului.

Oamenii de știință sunt în general buni să distingă cercetarea fiabilă de cea nesigură - aceasta este o veste bună. Acum experții de la Center for Open Science, împreună cu agenția DARPA, încearcă să creeze un algoritm care să îndeplinească aceeași sarcină fără intervenția umană.

Sunt prea multe articole publicate în fiecare an pentru a verifica manual chiar și o mică parte dintre ele. Dacă inteligența artificială va trece la treabă, totul va fi mult mai ușor.

Deja în primele teste, AI a făcut față cu succes predicțiilor în 80% din cazuri.

Ce face ca cercetarea să nu fie de încredere cel mai adesea? Eșantioane mici, inconsecvențe în cifre, confirmare prea frumoasă a ipotezelor. Și, de asemenea, - dorința de senzații și răspunsuri prea simple la întrebări dificile.

Prea frumos ca sa fie adevarat

Cel mai simplu mod de a crea cercetări senzaționale este prin înșelăciune. Celebrul psiholog social Diederik Stapel a folosit date fabricate în câteva zeci de articole științifice. Cercetările lui Stapel se răspândeau prin ziare și reviste cu mare viteză, a primit mai multe premii științifice prestigioase, a fost publicat în Science și a fost considerat unul dintre cei mai mari specialiști în domeniul său.

Odată s-a dovedit că pentru o lungă perioadă de timp Stapel nu a efectuat deloc cercetări, ci pur și simplu a inventat date și le-a dat studenților pentru analiză.

Acest lucru este foarte rar în știință. Mult mai des apar afirmații zgomotoase, dar incorecte din alte motive. Oamenii caută cu disperare răspunsuri simple, ușor de înțeles și eficiente la întrebări interesante. Poate fi foarte ușor să fii tentat să crezi că ai aceste răspunsuri, chiar dacă chiar nu le ai. Căutarea simplității și a certitudinii este unul dintre principalele motive pentru care multe studii nu reușesc să testeze reproductibilitatea. Iată câteva exemple notabile.

Experiment marshmallow

Într-un experiment, copiii au fost rugați să aleagă între o recompensă mică - cum ar fi marshmallows - care ar putea fi primită imediat și o recompensă dublă dacă ar putea aștepta puțin. Mai târziu s-a dovedit că copiii care au primit al doilea premiu au avut mai mult succes la vârsta adultă. Studiul a devenit foarte popular și a influențat unele programe școlare.

În 2018, experimentul a fost repetat pe un eșantion mai larg. S-a dovedit că averea în familie este un factor mult mai important, de care depinde și nivelul de autocontrol.

„Poze de forță” și „Poze de slăbiciune”

Participanții la experiment au luat una dintre cele două ipostaze timp de două minute: s-au lăsat pe spate într-un scaun și și-au aruncat picioarele pe masă („poziție de forță”) sau și-au încrucișat brațele peste piept („poza de slăbiciune”). Ca urmare, participanții din primul grup s-au simțit mai încrezători și au fost mai des de acord să-și asume riscuri în jocurile de noroc. Cei care au stat într-o poziție puternică și-au crescut nivelul de testosteron, iar cei care au stat într-o poziție slabă au crescut cortizolul. În experimente repetate, a fost reprodus un singur efect: „posturile de forță” i-au ajutat pe participanți să se simtă mai încrezători, dar nu și-au schimbat comportamentul sau parametrii hormonali.

Asociațiile cu bătrânețea te fac să te miști mai încet

Participanții la experiment au fost rugați să rezolve mai multe puzzle-uri. Dacă în ele au fost introduse cuvinte care sunt asociate cu bătrânețea - „uituc”, „vârstnic”, „singuratic” - atunci participanții au părăsit sala într-un ritm mai lent.

În studiile recente, experimentul a fost reprodus cu succes doar într-un singur caz: dacă experimentatorii înșiși știau că în teste participanții făceau aluzii la bătrânețe. Efectul în sine a rămas, dar motivele erau deja diferite.

Obiectele calde fac oamenii mai prietenoși

Participanților la experiment li sa permis să țină o ceașcă de cafea fierbinte sau rece pentru o perioadă scurtă de timp, apoi li sa cerut să evalueze personalitatea persoanei folosind o scurtă descriere. Participanții care au ținut o ceașcă fierbinte de cafea au apreciat persoana ca fiind mai simpatică. Într-un alt experiment, participanților li s-a dat un articol într-un pachet cald sau rece și apoi li sa cerut să-l păstreze sau să-l dea unui prieten. Dacă articolul era împachetat într-un pachet cald, participanții aveau mai multe șanse să aleagă a doua opțiune. Experimentele repetate cu o probă mai largă nu au produs astfel de rezultate. Se pare că hainele calde nu te vor face un altruist.

Puterea de voință este epuizată atunci când rezistam ispitelor

În fața participanților la experiment au fost așezate două farfurii - cu fursecuri și ridichi. În primul grup, participanții au avut voie să mănânce prăjituri, iar în al doilea, doar ridichi. Apoi fiecare participant a fost rugat să rezolve un puzzle imposibil. Participanții care au mâncat doar ridichi în prima parte a experimentului au renunțat mult mai devreme decât alții. În experimentele repetate, rezultatele nu au fost confirmate.

În unele cazuri, capacitatea de autocontrol nu s-a epuizat, ci chiar s-a intensificat în timp. Mulți psihologi consideră acum conceptul de „putere de voință” prea simplist.

S-au făcut deja multe în psihologia mondială pentru a face cercetarea mai fiabilă și mai reproductibilă. În Rusia, această problemă nu a fost încă înțeleasă.

„În psihologia rusă, problemele crizei se referă în principal la tinerii științifici, care sunt în mare parte orientați către știința occidentală”, a declarat Ivan Ivanchey, profesor asociat la RANEPA, pentru Knife. - Controlul asupra calității publicațiilor în limba rusă nu este în general foarte ridicat. Jurnalele resping rareori articole, așa că sunt publicate o mulțime de cercetări de calitate scăzută. Sunt adesea folosite mostre mici, ceea ce reduce, de asemenea, probabilitatea reproducerii cu succes. Există suspiciunea că, dacă se abordează serios problema reproductibilității lucrărilor în limba rusă, pot fi descoperite multe probleme. Dar nimeni nu este implicat direct în asta.”

În ianuarie 2019, a devenit cunoscut faptul că guvernul rus va extinde semnificativ cerințele pentru oamenii de știință în ceea ce privește numărul de publicații: numărul minim de articole publicate pe an ar trebui să crească cu 30-50%.

Oamenii de știință de la influentul academic „Clubul 1 iulie” au criticat inițiativa: „Sarcina științei nu este să producă un număr maxim de publicații, ci să exploreze universul și să beneficieze de cunoștințele dobândite pentru umanitate”. Cel mai probabil, noile cerințe nu vor face decât să crească amploarea problemei.

Povestea despre criza reproductibilității nu este o poveste despre apocalipsa viitoare și invazia barbarilor. Dacă nu s-ar fi produs criza, totul ar fi fost mult mai rău: ne-am referi totuși la cercetări eronate cu deplină încredere că cunoaștem adevărul. Poate că vremea titlurilor îndrăznețe precum „Oamenii de știință britanici au dovedit” se apropie de sfârșit. Dar zvonurile că știința a murit ar trebui considerate oarecum exagerate.