Introduzione alla sezione

Questa sezione supplementare sviluppa le basi teoriche per gli argomenti trattati nel Capitolo 25, dedicato alla validazione cross-studio e alla generalizzabilità dei modelli.

Il percorso concettuale si articola come segue:

L’entropia di Shannon viene introdotta come misura dell’incertezza media in una distribuzione di probabilità. Quantificando il contenuto informativo atteso, questa misura raggiunge il suo valore massimo in condizioni di massima equiprobabilità e il valore minimo in condizioni di certezza quasi assoluta. La trattazione collega l’entropia ai problemi di rappresentazione e compressione dei dati, illustrandone le implicazioni pratiche tramite esempi come la codifica di Huffman.
La divergenza di Kullback-Leibler (KL) estende tale quadro concettuale fornendo una misura della dissimilarità informativa tra due distribuzioni di probabilità. Formalmente definita come entropia relativa, questa quantità risponde alla domanda: “Quale discrepanza informativa ci si può aspettare quando si utilizza la distribuzione approssimata $Q$ per modellare il processo vero $P$?”. Questo costrutto matematico fornisce quindi il fondamento teorico che collega la teoria dell’informazione alla selezione dei modelli.
Da queste basi teoriche derivano direttamente gli strumenti operativi per la valutazione predittiva bayesiana. Metriche come il log-score, l’ELPD (Expected Log Predictive Density), la convalida incrociata leave-one-out (LOO-CV) e il Widely Applicable Information Criterion (WAIC) sono stime campionarie asintoticamente consistenti del principio di minimizzazione della divergenza KL. Questo approccio rappresenta un cambiamento metodologico fondamentale: l’attenzione si sposta dalla bontà di adattamento “in-sample” alla capacità di generalizzazione “out-of-sample”. In questo contesto, massimizzare l’ELPD equivale, asintoticamente, a minimizzare la divergenza informativa tra la distribuzione predittiva del modello e il vero meccanismo generatore dei dati, rendendo la performance predittiva il criterio finale per la selezione e la validazione del modello.

Il filo conduttore metodologico di questa sezione rimane coerente con l’impostazione del manuale: affrontare l’incertezza in modo esplicito e valutare i modelli con criteri coerenti con gli obiettivi della ricerca, dando priorità alla stima degli effetti e alla capacità predittiva rispetto a verdetti dicotomici.

# Introduzione alla sezione {.unnumbered .unlisted} Questa sezione supplementare sviluppa le basi teoriche per gli argomenti trattati nel Capitolo 25, dedicato alla validazione cross-studio e alla generalizzabilità dei modelli. Il percorso concettuale si articola come segue: 1. L'**entropia di Shannon** viene introdotta come misura dell'incertezza media in una distribuzione di probabilità. Quantificando il contenuto informativo atteso, questa misura raggiunge il suo valore massimo in condizioni di massima equiprobabilità e il valore minimo in condizioni di certezza quasi assoluta. La trattazione collega l'entropia ai problemi di rappresentazione e compressione dei dati, illustrandone le implicazioni pratiche tramite esempi come la codifica di Huffman. 2. La **divergenza di Kullback-Leibler (KL)** estende tale quadro concettuale fornendo una misura della dissimilarità informativa tra due distribuzioni di probabilità. Formalmente definita come entropia relativa, questa quantità risponde alla domanda: "Quale discrepanza informativa ci si può aspettare quando si utilizza la distribuzione approssimata $Q$ per modellare il processo vero $P$?". Questo costrutto matematico fornisce quindi il fondamento teorico che collega la teoria dell'informazione alla selezione dei modelli. 3. Da queste basi teoriche derivano direttamente gli strumenti operativi per la **valutazione predittiva bayesiana**. Metriche come il log-score, l'ELPD (*Expected Log Predictive Density*), la convalida incrociata leave-one-out (LOO-CV) e il *Widely Applicable Information Criterion* (WAIC) sono stime campionarie asintoticamente consistenti del principio di minimizzazione della divergenza KL. Questo approccio rappresenta un cambiamento metodologico fondamentale: l'attenzione si sposta dalla bontà di adattamento "in-sample" alla capacità di generalizzazione "out-of-sample". In questo contesto, massimizzare l'ELPD equivale, asintoticamente, a minimizzare la divergenza informativa tra la distribuzione predittiva del modello e il vero meccanismo generatore dei dati, rendendo la performance predittiva il criterio finale per la selezione e la validazione del modello. Il filo conduttore metodologico di questa sezione rimane coerente con l'impostazione del manuale: affrontare l'incertezza in modo esplicito e valutare i modelli con criteri coerenti con gli obiettivi della ricerca, dando priorità alla stima degli effetti e alla capacità predittiva rispetto a verdetti dicotomici.