69  Metodi approssimativi nell’inferenza Bayesiana

Prerequisiti

Concetti e Competenze Chiave

Introduzione

Nell’inferenza bayesiana, spesso ci troviamo di fronte a situazioni in cui i metodi di campionamento come MCMC richiedono tempi di calcolo proibitivi. In questi casi, i metodi approssimativi offrono un’alternativa pratica, sacrificando una parte della precisione per ottenere risultati in tempi ragionevoli.

69.1 Panoramica dei Metodi Approssimativi

69.1.1 1. Approximate Bayesian Computation (ABC)

L’ABC è utile quando la funzione di verosimiglianza è difficile o impossibile da calcolare (Lintusaari et al., 2017). Invece di calcolare direttamente la verosimiglianza, l’ABC:

  1. Genera parametri dalla distribuzione a priori
  2. Simula dati usando questi parametri
  3. Confronta i dati simulati con i dati osservati
  4. Accetta i parametri se la differenza è inferiore a una soglia

L’ABC è particolarmente utile per modelli complessi in biologia, ecologia e genetica delle popolazioni.

69.1.2 2. Linear Bayes (LB)

Il Linear Bayes semplifica l’inferenza concentrandosi solo sui primi due momenti (media e varianza) della distribuzione (Goldstein, 2015). Non richiede distribuzioni complete, ma fornisce aggiornamenti approssimativi simili al filtro di Kalman.

69.1.3 3. Laplace Approximation (LA)

La LA approssima la distribuzione a posteriori con una distribuzione gaussiana multivariata (MacKay, 1992). Trova il massimo a posteriori (MAP) e usa la curvatura intorno a questo punto per stimare la matrice di covarianza. È efficace quando la vera posteriori è approssimativamente gaussiana.

69.1.4 4. Integrated Nested Laplace Approximation (INLA)

INLA estende l’idea della LA ai modelli gerarchici (Simpson et al., 2023). Si concentra sulle distribuzioni marginali a posteriori dei singoli parametri, evitando di calcolare le correlazioni complete tra tutti i parametri.

69.1.5 5. Variational Bayes (VB)

Il VB cerca di approssimare la vera distribuzione a posteriori p(θ|y) con una distribuzione più semplice q(θ), scelta da una famiglia trattabile di distribuzioni (Barber & Bishop, 1998).

69.1.5.1 Funzionamento del VB

  1. Scelta della Famiglia di Distribuzioni: Si sceglie una famiglia di distribuzioni q(θ) che sia facile da manipolare. Spesso si usa una famiglia fattorizzata, dove q(θ) = Π q_i(θ_i).

  2. Ottimizzazione: Si cerca di minimizzare la divergenza di Kullback-Leibler (KL) tra q(θ) e p(θ|y). Questo equivale a massimizzare un limite inferiore dell’evidenza del modello (ELBO - Evidence Lower BOund).

  3. Aggiornamento Iterativo: Si aggiornano iterativamente i parametri di q(θ) per massimizzare l’ELBO.

69.1.5.2 Vantaggi del VB

  • Efficienza Computazionale: Spesso molto più veloce di MCMC per modelli complessi.
  • Scalabilità: Adatto per grandi dataset e modelli ad alta dimensionalità.
  • Limite Inferiore dell’Evidenza: Fornisce automaticamente una stima dell’evidenza del modello, utile per il confronto tra modelli.

69.1.5.3 Limitazioni del VB

  • Approssimazione: La distribuzione approssimata potrebbe non catturare completamente la struttura della vera posteriori, soprattutto in caso di multimodalità o forti correlazioni.
  • Sottostima dell’Incertezza: Tende a sottostimare la varianza della posteriori.

69.2 Conclusione

I metodi approssimativi offrono soluzioni pratiche quando l’inferenza bayesiana esatta è computazionalmente proibitiva. Ogni metodo ha i suoi punti di forza e limitazioni, e la scelta dipende dalla natura del problema, dalla dimensione dei dati e dalle risorse computazionali disponibili. Il Variational Bayes, in particolare, si è dimostrato un approccio versatile e potente in molti campi applicativi.