Catene di Markov

Struttura e Dinamica delle Catene di Markov

Nelle catene di Markov, le variabili casuali si muovono all’interno di uno «spazio degli stati», che può essere discreto o continuo. In questo contesto, ci focalizziamo su spazi degli stati discreti e finiti, generalmente rappresentati come \(\{1, 2, \ldots, M\}\).

La dinamica interna delle catene di Markov è governata dalle «probabilità di transizione» tra gli stati, riassunte in una «matrice di transizione». Ogni elemento \( (i, j) \) di questa matrice indica la probabilità di passare dallo stato \( i \) allo stato \( j \) in un singolo passo della catena.

In sintesi, le catene di Markov offrono un framework robusto e versatile per la modellazione di dipendenze tra variabili casuali, rivelandosi essenziali in molti settori della statistica e della scienza dei dati, inclusa la metodologia MCMC, che è centrale in algoritmi come quello di Metropolis.

Terminologia

Catene di Markov omogenee

Una catena di Markov è detta «omogenea» quando le probabilità di transizione tra gli stati sono indipendenti dal tempo. In termini più semplici, la dinamica della catena è regolata da una matrice di transizione fissa che rimane costante nel tempo. Ciò significa che la probabilità di passare da uno stato all’altro è sempre la stessa, indipendentemente dal momento in cui avviene questa transizione.

Catene di Markov irriducibili

Una catena di Markov è «irriducibile» quando è possibile raggiungere qualsiasi stato partendo da qualsiasi altro stato in un numero finito di passaggi. In altre parole, non esistono stati isolati che intrappolano la catena indefinitamente.

Stati ricorrenti

In una catena di Markov, uno stato è considerato «ricorrente» se viene rivisitato ripetutamente. Gli stati possono ulteriormente essere classificati come «positivamente ricorrenti» se esiste un tempo limitato per tornare allo stato, e «nullamente ricorrenti» in caso contrario. Gli stati «ricorrenti di Harris» sono quelli che vengono visitati infinite volte mentre il tempo tende all’infinito.

Aperiodicità

Gli stati «aperiodici» in una catena di Markov sono quelli senza cicli deterministici, il che significa che la catena non rimane bloccata in un ciclo fisso di stati.

Stazionarietà

Nella teoria delle catene di Markov, la «distribuzione marginale» è semplicemente la distribuzione delle probabilità degli stati della catena in un certo momento. In altre parole, è una descrizione delle probabilità di trovarsi in ciascuno degli stati possibili in un determinato istante di tempo. Se stiamo parlando, ad esempio, di una catena di Markov con tre stati (A, B, C), una possibile distribuzione marginale potrebbe essere \([0.4, 0.5, 0.1]\), indicando che la probabilità di trovarsi nello stato A è del 40%, nello stato B del 50% e nello stato C del 10%.

Una catena di Markov è definita come «stazionaria» quando questa distribuzione marginale rimane invariata nel tempo. In altre parole, le probabilità di essere in ogni stato possibile non cambiano, anche se la catena passa da uno stato all’altro seguendo le probabilità di transizione.

La stazionarietà è un concetto cruciale perché rende possibile analizzare il comportamento a lungo termine della catena senza dover tener conto di tutti i dettagli delle transizioni individuali. In pratica, una volta che la catena è stazionaria, sappiamo che la sua distribuzione marginale non cambierà più, e questo è spesso ciò che ci interessa nelle applicazioni reali.

Ergodicità

L’ergodicità è un’altra proprietà fondamentale che descrive come una catena di Markov si comporta nel limite quando il numero di passaggi tende all’infinito. Una catena ergodica è una catena che è sia aperiodica (non ha cicli fissi) sia irriducibile (ogni stato è raggiungibile da ogni altro stato) e positivamente ricorrente secondo Harris (ogni stato viene visitato infinite volte in un tempo finito). Ciò significa che mentre il numero di passaggi tende all’infinito, la distribuzione marginale della catena rimane stabile. Pertanto, se campioniamo da una catena di Markov stazionaria a intervalli ampiamente distanziati, questi campioni possono essere considerati indipendenti.

Nella teoria ergodica, si discute spesso di «burn-in», che è il periodo di tempo necessario perché la catena si avvicini alla distribuzione stazionaria, e di «thinning», che è la pratica di prendere campioni a intervalli ampiamente distanziati per minimizzare la correlazione tra i campioni.

Convergenza

Nel contesto della convergenza, le proprietà di irriducibilità e aperiodicità garantiscono che la catena di Markov si stabilizzerà in un equilibrio a lungo termine, specificamente convergendo verso una distribuzione stazionaria \( s \). In questo scenario, «convergenza» implica che con l’incrementare indefinito del numero di passaggi \( n \), la distribuzione marginale della catena tende sempre più verso la distribuzione stazionaria \( s \).

Tale convergenza è di natura probabilistica e avviene a prescindere dalle condizioni iniziali, cioè dall’effettivo stato da cui la catena è partita. Detto in modo più semplice, con un tempo sufficientemente lungo, il comportamento della catena di Markov diventa prevedibile e stabile, in accordo con la distribuzione stazionaria \( s \).

Quindi, i concetti di convergenza e stazionarietà sono strettamente correlati: la convergenza rappresenta il percorso che la catena percorre per raggiungere uno stato di equilibrio, mentre la stazionarietà fornisce una descrizione formale di questo stato di equilibrio al quale la catena tenderà nel lungo periodo.