86  I gradi di libertà del ricercatore

In questo capitolo imparerai a

1. Concettualizzare i “gradi di libertà del ricercatore” come fonte sistematica di variabilità nei risultati.
   
2. Mappare le decisioni analitiche critiche (dalla gestione degli outlier alla scelta dei modelli).
   
3. Valutare l’impatto di queste scelte sull’interpretazione degli effetti statistici.
   
4. Applicare strategie per ridurre l’arbitrarietà metodologica (es. analisi multiverso, pre-registrazione).
   

Prerequisiti

• Leggere l’articolo Even faced with the same data, ecologists sometimes come to opposite conclusions di Cathleen O’Grady.

86.1 Introduzione

Lo studio di Gould et al. (2025), ripreso dalla rivista Science (O’Grady, 2025), mostra come le scelte analitiche dei ricercatori possano generare una variabilità significativa nei risultati, persino quando si utilizzano gli stessi dati e si affronta la medesima domanda di ricerca in ecologia e biologia evolutiva. Questa discrepanza supera di gran lunga l’errore statistico atteso, rivelando un problema sistemico che trascende i confini disciplinari.

I risultati concordano con quelli di precedenti progetti “many analysts” – tra cui il pionieristico lavoro in psicologia di Silberzahn et al. (2018) – e sottolineano, come evidenziato dallo psicologo Eric Uhlmann, “il ruolo cruciale delle decisioni soggettive nella pratica scientifica”. Ciò conferma che la fragilità metodologica non è un’esclusiva della psicologia, ma riguarda settori come le neuroscienze, le scienze sociali e, appunto, l’ecologia.

86.2 Metodologia

Gould et al. (2025) hanno coinvolto 174 team di ricerca (246 analisti) nell’analisi indipendente di due dataset inediti:

1. Ecologia evolutiva: relazione tra numero di fratelli e crescita dei pulcini di cinciallegra (Cyanistes caeruleus).
2. Ecologia della conservazione: impatto della copertura erbosa sul reclutamento di piantine di Eucalyptus.

Ogni team ha risposto a una domanda specifica:

• Dataset cinciallegra: “Quanto la competizione tra fratelli influenza la crescita dei pulcini?”
• Dataset eucalipto: “In che modo la copertura erbosa condiziona il reclutamento di piantine?”

I ricercatori hanno fornito risultati, giustificazioni metodologiche, codice analitico e hanno sottoposto le procedure a peer review incrociata, creando un sistema di controllo reciproco.

86.3 Risultati

Lo studio ha evidenziato eterogeneità estrema nelle conclusioni, nonostante l’uniformità dei dati di partenza:

• Cinciallegra: L’effetto medio negativo (più fratelli = minore crescita) nascondeva un’ampia dispersione, con stime da -0.8 a +0.2 (Figura 1a).
• Eucalipto: La relazione media era debolmente negativa e non significativa, ma con outlier che invertivano la tendenza (Figura 1b).

Figura 86.1: Distribuzione degli effetti standardizzati nei due dataset: crescita dei pulcini (sinistra) e reclutamento di piantine (destra) (adattata da Gould et al., 2025).

Sorprendentemente, né la selezione di variabili, né l’uso di effetti casuali, né il giudizio dei revisori correlavano con la distanza dalla media meta-analitica. In altre parole, risultati divergenti non erano associati a scelte metodologicamente “peggiori”, ma a combinazioni altrettanto valide di decisioni analitiche.

86.4 Il Problema dei Gradi di Libertà del Ricercatore

Il lavoro illustra chiaramente come i “gradi di libertà analitici” – le molteplici opzioni durante l’analisi dati – possano generare conclusioni divergenti. Tra le decisioni critiche:

• Gestione di outlier e dati mancanti.
• Definizione operativa delle variabili.
• Scelta di modelli statistici e controlli.

Queste scelte, spesso soggettive ma teoricamente giustificabili, definiscono un “spazio analitico” con migliaia di percorsi possibili. Ogni studio pubblicato rappresenta dunque una singola traiettoria in questo labirinto metodologico, rischiando di offrire una visione parziale e potenzialmente distorta.

86.5 Implicazioni e Strategie di Mitigazione

La variabilità sistematica impone una revisione delle pratiche di ricerca:

1. Analisi di sensibilità avanzate:
   • Analisi multiverso: testare tutte le combinazioni plausibili di scelte metodologiche.
   • Curve di specificazione: mappare come i risultati variano al mutare delle assunzioni.
2. Modelli aggregati: Combinare stime da approcci diversi (es., Bayesian Model Averaging) per ridurre la dipendenza da singole specifiche.
   
3. Trasparenza procedurale:
   • Preregistrazione: fissare ipotesi e metodi prima di accedere ai dati.
   • Pubblicazione di codice e dati grezzi.
4. Formazione metodologica: Rafforzare le competenze statistiche, con enfasi sulla gestione della complessità analitica.

86.6 Riflessioni Conclusive

Questo studio dimostra empiricamente che l’affidabilità della scienza dipende non solo dai dati, ma da come li analizziamo. La variabilità indotta dai gradi di libertà del ricercatore mina la riproducibilità, soprattutto in contesti con elevata discrezionalità analitica. La soluzione non è l’uniformità metodologica, ma una cultura della trasparenza e della pluralità analitica, dove ogni risultato sia esplicitamente contestualizzato nel suo spazio di scelte possibili. Solo così ecologia, psicologia e discipline affini potranno produrre conoscenze solide e autocritiche.

Bibliografia

Gould, E., Fraser, H. S., Parker, T. H., Nakagawa, S., Griffith, S. C., Vesk, P. A., Fidler, F., Hamilton, D. G., Abbey-Lee, R. N., Abbott, J. K., et al. (2025). Same data, different analysts: variation in effect sizes due to analytical decisions in ecology and evolutionary biology. BMC biology, 23(1), 35.

O’Grady, C. (2025). Given the same data, ecologists arrive at different conclusions. Science, 387(6738), 1026.

Silberzahn, R., Uhlmann, E. L., Martin, D. P., Anselmi, P., Aust, F., Awtrey, E., Bahnı́k, Š., Bai, F., Bannard, C., Bonnier, E., et al. (2018). Many analysts, one data set: Making transparent how variations in analytic choices affect results. Advances in Methods and Practices in Psychological Science, 1(3), 337–356.