Aproximativ 50% dintre experimentele științifice s-au dovedit a fi NE-reproductibile

2024 Autor: Seth Attwood | [email protected]. Modificat ultima dată: 2023-12-16 16:15

Din întâmplare, într-un flux de știri și informații, am dat peste un articol în Nature Scientific Reports. Prezintă date dintr-un sondaj de 1.500 de oameni de știință privind reproductibilitatea rezultatelor cercetării științifice. Dacă mai devreme a fost pusă această problemă pentru cercetarea biologică și medicală, unde pe de o parte este explicabilă (se acuză corelații false, complexitatea generală a sistemelor studiate, uneori chiar și software științific), pe de altă parte, are un caracter fenomenologic. caracter (de exemplu, șoarecii tind să se comporte diferit cu oamenii de știință de genuri diferite (1 și 2)).

Cu toate acestea, nu totul este lin și cu Mai mult științele naturii precum fizica și inginerie, chimie, ecologie. S-ar părea că tocmai aceste discipline se bazează pe experimente „absolut” reproductibile, efectuate în cele mai controlate condiții, din păcate, un rezultat uimitor – în toate sensurile cuvântului – rezultat al sondajului: pana la 70%cercetătorii s-au confruntat Nereproductibilexperimente și rezultate obținute nu numai de alte grupuri de oameni de știință, DAR și de către autorii/co-autorii lucrărilor științifice publicate!

Oare fiecare nisipier își laudă mlaștina?

Deși 52% dintre respondenți indică o criză de reproductibilitate în știință, mai puțin de 31% consideră că datele publicate sunt fundamental incorecte, iar majoritatea au indicat că încă au încredere în lucrarea publicată.

Bineînțeles, nu ar trebui să scapi de umăr și să linșezi toată știința ca atare doar pe baza acestui sondaj: jumătate dintre respondenți erau încă oameni de știință asociați, într-un fel sau altul, cu disciplinele biologice. După cum notează autorii, în fizică și chimie, nivelul de reproductibilitate și încredere în rezultatele obținute este mult mai ridicat (vezi graficul de mai jos), dar tot nu 100%. Dar în medicină lucrurile stau foarte rău în comparație cu restul.

Îmi vine în minte o glumă:

Marcus Munafo, psiholog biologic la Universitatea din Bristol, Anglia, are un interes de lungă durată pentru reproductibilitatea datelor științifice. Reamintindu-și vremurile de student, el spune:

Odată am încercat să reproduc un experiment din literatură care mi s-a părut simplu, dar pur și simplu nu am reușit. Am avut o criză de încredere, dar apoi mi-am dat seama că experiența mea nu era chiar atât de rară.

Problemă de adâncime la latitudine și longitudine

Imaginează-ți că ești om de știință. Dați peste un articol interesant, dar rezultatele/experimentele nu pot fi reproduse în laborator. Este logic să scrieți despre acest lucru autorilor articolului original, să cereți sfaturi și să puneți întrebări clarificatoare. In urma sondajului, mai putin de 20%au făcut asta vreodată în cariera lor științifică!

Autorii studiului notează că, poate, astfel de contacte și conversații sunt prea dificile pentru oamenii de știință înșiși, deoarece își dezvăluie incompetența și inconsecvența în anumite probleme sau dezvăluie prea multe detalii ale actualului proiect.

Mai mult, o minoritate absolută de oameni de știință a încercat să publice o infirmare a rezultatelor ireproductibile, înfruntându-se în același timp cu opoziția editorilor și a recenzenților care a cerutminimalizarea comparației cu cercetarea originală. Este de mirare că șansa de a raporta nereproductibilitatea rezultatelor științifice este de aproximativ 50%.

Poate, atunci, merită să efectuăm măcar un test de reproductibilitate în interiorul laboratorului? Cel mai trist este că o treime dintre respondenți chiar NU și nu sa gândit să creeze metode de verificare a datelor pentru reproductibilitate. Doar 40%au indicat că folosesc în mod regulat astfel de tehnici.

Un alt exemplu, o biochimistă din Regatul Unit, care nu a vrut să-și dezvăluie numele, spune că încercările de a repeta, de a reproduce munca pentru proiectul ei de laborator, pur și simplu dublează timpul și costurile materiale, fără a oferi sau a adăuga ceva nou lucrării. Verificări suplimentare sunt efectuate numai pentru proiecte inovatoare și rezultate neobișnuite.

Și, desigur, eternele întrebări rusești care au început să tortureze colegii străini: cine este de vină și ce să facă?

Cine e vinovat?

Autorii lucrării au identificat trei probleme principale de reproductibilitate a rezultatelor:

• Presiunea superiorilor pentru a publica lucrarea la timp
• Raportare selectivă (se pare că înseamnă suprimarea unor date, care „strica” întreaga imagine)
• Analiză insuficientă a datelor (inclusiv statistică)

Ce să fac?

Din cei 1.500 chestionați, peste 1.000 de specialiști s-au exprimat în favoarea îmbunătățirii statisticilor în colectarea și prelucrarea datelor, îmbunătățirea calității supravegherii de la sefi și planificarea mai riguroasă a experimentelor.

Concluzie și ceva experiență personală

in primul rand, chiar și pentru mine, ca om de știință, rezultatele sunt uluitoare, deși sunt obișnuit cu un anumit grad de ireproductibilitate a rezultatelor. Acest lucru este evident mai ales în lucrările efectuate de chinezi și indieni fără „audit” terți sub forma unor profesori americani/europeni. Este bine că problema a fost recunoscută și gândită la soluția (soluțiile) ei. Voi tăcea cu tact despre știința rusă, în legătură cu recentul scandal, deși mulți își fac cu sinceritate treaba.

În al doilea rând, articolul ignoră (sau, mai degrabă, nu ia în considerare) rolul metricii științifice și al revistelor științifice peer-reviewed în apariția și dezvoltarea problemei ireproductibilității rezultatelor cercetării. În urmărirea vitezei și frecvenței publicațiilor (citește, creșterea indicilor de citare), calitatea scade brusc și nu există timp pentru verificarea suplimentară a rezultatelor.

După cum se spune, toate personajele sunt fictive, dar bazate pe evenimente reale. Cumva, un student a avut șansa să revizuiască un articol, pentru că nu fiecare profesor are timpul și energia să citească cu atenție articolele, așa că se culege părerea a 2-3-4 studenți și medici, din care se formează recenzia. A fost scrisă o recenzie, a indicat ireproductibilitatea rezultatelor conform metodei descrise în articol. Acest lucru i-a fost demonstrat clar profesorului. Dar pentru a nu strica relațiile cu „colegii” - la urma urmei, ei reușesc în toate - revizuirea a fost „corectată”. Și sunt publicate 2 sau 3 astfel de articole.

Se dovedește un cerc vicios. Omul de știință trimite articolul editorului revistei, unde indică „ dorit „Și, în principal,” nedorit »Recenzorii, adică, de fapt, lăsând doar cei care sunt dispuși pozitiv față de echipa de autori. Ei revizuiesc munca, dar nu pot „răca în comentarii” și încearcă să aleagă cel mai mic dintre cele două rele - iată o listă de întrebări la care trebuie să li se răspundă și apoi vom publica articolul.

Un alt exemplu, despre care a vorbit editorul revistei Nature în urmă cu doar o lună, sunt panourile solare ale lui Grazel. Datorită interesului extraordinar pentru acest subiect în comunitatea științifică (la urma urmei, ei încă mai doresc un articol în Nature!), editorii au fost nevoiți să creeze un chestionar special în care trebuie să indice o mulțime de parametri, să ofere calibrări ale echipamentelor, certificate., etc pentru a confirma că metoda de măsurare a panourilor de eficiență este conformă cu unele principii și standarde generale.

ȘI, al treilea, când auzi încă o dată de un vaccin-minune care cucerește totul și pe toți, o nouă poveste despre Jobs în fustă, baterii noi sau pericolele/beneficiile OMG-urilor sau radiațiile smartphone-urilor, mai ales dacă a fost promovată de scriitori galbeni din jurnalism, apoi tratați cu înțelegere și nu trageți concluzii. Așteptați confirmarea rezultatelor de către alte grupuri de oameni de știință, acumularea matricei și mostre de date.

PS:Articolul a fost tradus și scris în grabă, despre toate erorile și inexactitățile observate, vă rugăm să scrieți în LAN.