103  Limiti dell’inferenza induttiva

Prerequisiti

Concetti e competenze chiave

Introduzione

La selezione delle ipotesi attraverso il teorema di Bayes e l’uso di strumenti come l’Expected Log Predictive Density (ELPD) per il confronto tra modelli costituiscono approcci potenti, ma non risolvono completamente il problema dell’inferenza statistica. Come sottolineato da McElreath (2020), queste metodologie operano all’interno di un “piccolo mondo” teorico, e non è sempre chiaro come tali soluzioni si estendano al “grande mondo” complesso e variabile che desideriamo realmente comprendere. Questo capitolo si propone di esplorare questa disconnessione, esaminando la distanza tra la teoria empirica dei fenomeni e i modelli statistici semplificati che possiamo effettivamente testare.

103.1 Inferenza Statistica

L’inferenza statistica è un processo induttivo in cui i dati osservati non forniscono informazioni sufficienti per determinare con certezza il processo che li ha generati. La regola di Bayes offre una soluzione ottimale per aggiornare le nostre convinzioni alla luce di nuovi dati. McElreath (2020) introduce il concetto di “Grande Mondo,” un universo infinito di processi che potrebbero spiegare le nostre osservazioni. Poiché è impossibile considerare tutte le possibilità di questo “Grande Mondo,” ci concentriamo sul “Piccolo Mondo,” una rappresentazione semplificata che limita l’analisi a un insieme finito di modelli e parametri pertinenti.

Ad esempio, consideriamo l’analisi dell’altezza umana utilizzando un modello probabilistico in cui l’altezza segue una distribuzione normale, caratterizzata da una media (µ) e una deviazione standard (σ). L’obiettivo è stimare questi parametri sconosciuti. La funzione di verosimiglianza, derivata dalle distribuzioni di probabilità nel Piccolo Mondo, rappresenta questo insieme di possibilità. Tuttavia, questo insieme può essere troppo vasto per essere gestito in modo efficace, quindi utilizziamo la nostra conoscenza pregressa per restringere il campo.

Nell’inferenza bayesiana, queste conoscenze preesistenti vengono espresse tramite una distribuzione di probabilità a priori, che riflette le nostre convinzioni iniziali sui parametri del modello. La regola di Bayes permette di aggiornare queste convinzioni alla luce dei nuovi dati, producendo una distribuzione a posteriori che offre una stima più accurata dei parametri che descrivono il processo generativo dei dati.

In sintesi, l’inferenza statistica ci avvicina alla comprensione di fenomeni complessi attraverso la modellazione semplificata nel “Piccolo Mondo”. L’inferenza bayesiana integra le conoscenze pregresse con i nuovi dati per perfezionare le nostre stime, con l’obiettivo di individuare modelli del “Piccolo Mondo” che, pur non essendo perfetti, siano efficaci nel fare previsioni e nel migliorare la nostra comprensione del fenomeno in esame.

103.2 Validità Poetica

Abbiamo esplorato il teorema di Bayes come metodo per valutare la plausibilità di un’ipotesi, uno dei motivi principali della sua importanza. Tuttavia, è cruciale riconoscere che quantificare la plausibilità di un’ipotesi non risolve pienamente il problema scientifico dell’inferenza. Come illustrato da Navarro (2019), usando una metafora di Box (1976):

Since all models are wrong, the scientist must be alert to what is importantly wrong. It is inappropriate to be concerned about mice when there are tigers abroad.

In questa metafora, i “topi” rappresentano i dettagli del nostro modello statistico, mentre la “tigre” è la disconnessione tra i dati osservati, modellizzati con il teorema di Bayes, e la teoria del fenomeno, che è al centro del nostro interesse.

Paul Meehl ha ulteriormente articolato questo problema distinguendo tre livelli: la teoria sostanziale (A), l’ipotesi statistica testabile (T) e le osservazioni (O). La relazione tra questi tre livelli solleva difficoltà significative:

The map from substantive theory (A) to testable statistical hypothesis (T) goes through a derivation chain involving auxiliary theories, instruments, ceteris paribus assertions, and experimental conditions. The map from hypothesis to observation is through the statistical model manufactured by the derivation chain.

La teoria statistica offre vari strumenti per inferire la veridicità di T da O, spesso utilizzando la regola di Bayes. Tuttavia, anche se possiamo concludere che T è altamente probabile dato O, non risolviamo il problema di calcolare la probabilità di A da T. Meehl sosteneva che non esiste una procedura formale capace di tradurre rigorosamente le osservazioni empiriche (O) nella teoria scientifica (A).

Il concetto di “validità poetica” descrive questa disconnessione. La validità poetica si riferisce alla capacità di un’idea di risuonare con l’intelletto umano e con l’esperienza, anche quando non può essere rigorosamente validata scientificamente o statisticamente. Sottolinea l’importanza dell’intuizione e della comprensione qualitativa nella teoria scientifica, completando l’approccio puramente quantitativo e formale (Hardt & Recht, 2022).

La dicotomia tra concetti teorici ed empirici, manifestata nel processo di operazionalizzazione, chiarisce ulteriormente questa problematica (Hempel, 1970). L’operazionalizzazione dei concetti teorici in concetti empirici è un processo arbitrario e comporta un mapping uno-a-molti, che comporta diverse implicazioni:

  • Sottodeterminazione delle teorie: Nessun test di ipotesi può essere considerato un test diretto di una teoria, poiché l’operazionalizzazione introduce un elemento di arbitrarietà.
  • Flessibilità teorica: La relazione uno-a-molti tra concetti teorici ed empirici consente un raffinamento progressivo delle teorie.
  • Ambiguità empirica: Operazionalizzazioni diverse possono portare a risultati contraddittori rispetto alla stessa teoria.
  • Necessità di formalizzazione: Le teorie psicologiche devono essere espresse in termini formali per permettere predizioni quantitative.

In conclusione, il problema della demarcazione tra teoria e osservazione in psicologia rimane un tema aperto e cruciale. La consapevolezza di queste limitazioni epistemologiche dovrebbe guidare la pratica della ricerca empirica e l’interpretazione dei suoi risultati, promuovendo un approccio più critico alla costruzione, validazione e interpretazione delle teorie psicologiche.

103.2.1 Tra il Diavolo e il Mare Aperto

Nel campo della selezione dei modelli, ci troviamo spesso di fronte a teorie concorrenti, ognuna rappresentata da modelli computazionali che offrono interpretazioni diverse degli stessi dati. La questione cruciale è: come decidere quale modello sia meglio supportato dai dati? Questo è un problema centrale dell’inferenza statistica, e la cross-validation è uno dei metodi utilizzati per cercare una risposta, come abbiamo visto nel Capitolo 100.

Tuttavia, Navarro (2019) sottolinea che, sebbene la selezione dei modelli sia un passaggio importante, applicare questa procedura a problemi semplificati non è sufficiente per affrontare le complesse questioni inferenziali che gli scienziati devono affrontare. Gli scienziati sono consapevoli che tutti i modelli sono, in una certa misura, errati; non comprendiamo pienamente i fenomeni che studiamo, e ogni descrizione formale è inevitabilmente approssimativa e soggetta a errori sistematici. Pertanto, devono navigare tra il diavolo della decisione statistica e il mare aperto delle questioni scientifiche sostanziali.

Un approccio più utile potrebbe essere quello di concentrarsi su come i pattern qualitativi emergano dai dati empirici attraverso un modello computazionale di un processo psicologico, piuttosto che limitarsi a presentare misure quantitative delle prestazioni del modello. Dato quanto poco ancora sappiamo sul comportamento e sulla cognizione umana, e considerando l’artificialità di molti studi sperimentali, è lecito chiedersi quale sia il reale valore di quantificare la capacità di un modello di prevedere ogni dettaglio dei dati. In pratica, una selezione dei modelli basata esclusivamente su misure quantitative tende a privilegiare modelli che fanno affidamento su assunzioni accessorie, senza necessariamente risolvere i problemi scientifici fondamentali.

La vera forza di una teoria scientifica, quindi, non risiede solo nella sua capacità di prevedere nuovi dati derivati da esperimenti passati, ma soprattutto nel suo potenziale di aprire la strada a nuove esplorazioni e scoperte.

103.3 Riflessioni Conclusive

In questo capitolo, abbiamo esaminato le complessità e le sfide dell’inferenza statistica e della selezione dei modelli attraverso una lente bayesiana. Sebbene il teorema di Bayes e i suoi strumenti derivati, come l’Expected Log Predictive Density (ELPD), siano potenti per aggiornare e confrontare modelli, essi operano principalmente in un “Piccolo Mondo” semplificato. Questo limita la nostra capacità di trarre conclusioni definitive sul “Grande Mondo” reale che ci interessa.

La “validità poetica” sottolinea l’importanza di riconoscere le limitazioni intrinseche delle nostre rappresentazioni statistiche e di valorizzare l’intuizione e la comprensione qualitativa nel contesto scientifico. La distinzione tra concetti teorici e osservazioni empiriche ci ricorda che, nonostante i progressi metodologici, rimane una disconnessione fondamentale tra la teoria e le osservazioni empiriche.

Infine, la capacità di un modello di generalizzare, piuttosto che di prevedere perfettamente i dati osservati, emerge come un criterio cruciale per la sua utilità scientifica. L’esempio del modello di Rescorla-Wagner illustra come un buon modello possa stimolare nuove esplorazioni e approfondimenti, dimostrando che il vero valore di una teoria scientifica risiede nella sua capacità di guidare l’indagine futura piuttosto che semplicemente adattarsi ai dati esistenti.

In sintesi, le riflessioni presentate in questo capitolo ci invitano a mantenere un equilibrio tra rigore quantitativo e intuizione qualitativa, riconoscendo i limiti delle nostre tecniche e cercando continuamente di migliorare le nostre rappresentazioni del mondo reale.