11 Covarianza e correlazione
Introduzione
Quando due variabili casuali non sono indipendenti, diciamo che esse sono associate o dipendenti. È importante non solo stabilire se tale relazione esista, ma anche quantificare la sua intensità e la sua direzione. A tal fine, utilizziamo due misure chiave: la covarianza e la correlazione.
Panoramica del capitolo
- Definire e calcolare la covarianza per quantificare la relazione lineare tra due variabili casuali.
- Utilizzare la correlazione per misurare l’intensità della relazione lineare tra variabili casuali, indipendentemente dalle loro unità di misura.
- Comprendere le proprietà chiave della covarianza e della correlazione, inclusa l’incorrelazione.
- Estendere i concetti di probabilità congiunta, marginale e condizionale alle variabili continue, utilizzando gli integrali.
11.1 Covarianza
La covarianza misura il grado e la direzione della relazione lineare tra due variabili casuali. Una covarianza positiva indica che le due variabili tendono ad aumentare o diminuire insieme, mentre una covarianza negativa indica che una variabile tende ad aumentare quando l’altra diminuisce.
11.1.1 Definizione di Covarianza
La covarianza tra due variabili casuali discrete \(X\) e \(Y\) è definita come:
\[ \text{Cov}(X, Y) = \mathbb{E}\left[(X - \mathbb{E}[X])(Y - \mathbb{E}[Y])\right] . \]
Esplicitamente, questa definizione può essere riscritta come:
\[ \text{Cov}(X, Y) = \sum_{x}\sum_{y}(x - \mu_X)(y - \mu_Y)p(x, y) . \]
dove \(\mu_X\) e \(\mu_Y\) sono le medie delle variabili \(X\) e \(Y\) e \(p(x,y)\) è la funzione di massa di probabilità congiunta.
Questa definizione mostra una stretta analogia con la varianza, che è la covarianza di una variabile con se stessa:
\[ \mathbb{V}(X) = Cov(X, X). \]
Inoltre, la covarianza può essere calcolata attraverso la relazione:
\[ Cov(X, Y) = \mathbb{E}(XY) - \mathbb{E}(X)\mathbb{E}(Y). \]
11.1.2 Dimostrazione
La formula alternativa per la covarianza si dimostra come segue.
Per definizione, la covarianza tra due variabili casuali \(X\) e \(Y\) è:
\[ \mathrm{Cov}(X, Y) \;=\; \mathbb{E}\Bigl[\bigl(X - \mathbb{E}[X]\bigr)\,\bigl(Y - \mathbb{E}[Y]\bigr)\Bigr]. \]
Questa è semplicemente la definizione formale, in cui consideriamo la “deviazione” di \(X\) dal proprio valor medio (\(\mathbb{E}[X]\)) e la “deviazione” di \(Y\) dal proprio valor medio (\(\mathbb{E}[Y]\)), e ne calcoliamo l’aspettativa del prodotto.
Consideriamo l’argomento dell’aspettativa: \(\bigl(X - \mathbb{E}[X]\bigr)\,\bigl(Y - \mathbb{E}[Y]\bigr)\).
Per prima cosa espandiamo il prodotto come faremmo con normali variabili algebriche:
\[ \bigl(X - \mathbb{E}[X]\bigr)\,\bigl(Y - \mathbb{E}[Y]\bigr) = X\,Y \;-\; X\,\mathbb{E}[Y] \;-\; \mathbb{E}[X]\,Y \;+\; \mathbb{E}[X]\mathbb{E}[Y]. \]
Adesso prendiamo l’aspettativa (o valore atteso) di ciascun termine che abbiamo ottenuto. Indichiamo con \(\mathbb{E}\) l’operatore di aspettativa:
\[ \mathbb{E}\Bigl[\bigl(X - \mathbb{E}[X]\bigr)\,\bigl(Y - \mathbb{E}[Y]\bigr)\Bigr] = \mathbb{E}[\,X\,Y \;-\; X\,\mathbb{E}[Y] \;-\; \mathbb{E}[X]\,Y \;+\; \mathbb{E}[X]\mathbb{E}[Y]\,]. \]
Grazie alla linearità dell’aspettativa, possiamo scindere questa grande aspettativa in una somma (e differenza) di aspettative di singoli termini:
\[ = \mathbb{E}[XY] \;-\; \mathbb{E}[X\,\mathbb{E}[Y]] \;-\; \mathbb{E}[\mathbb{E}[X]\,Y] \;+\; \mathbb{E}[\mathbb{E}[X]\mathbb{E}[Y]]. \]
Ricordiamo che \(\mathbb{E}[X]\) e \(\mathbb{E}[Y]\) sono numeri (costanti) e non variabili casuali. Dunque, quando nell’aspettativa compare un fattore costante, possiamo estrarlo fuori dall’operatore \(\mathbb{E}[\cdot]\).
\(\mathbb{E}[X\,\mathbb{E}[Y]]\) si semplifica in \(\mathbb{E}[Y]\cdot \mathbb{E}[X]\) perché \(\mathbb{E}[Y]\) è una costante. In formula: \[ \mathbb{E}[X\,\mathbb{E}[Y]] = \mathbb{E}[Y] \,\mathbb{E}[X]. \]
Allo stesso modo, \(\mathbb{E}[\mathbb{E}[X]\,Y]\) si semplifica in \(\mathbb{E}[X]\cdot \mathbb{E}[Y]\).
Infine, \(\mathbb{E}[\mathbb{E}[X]\mathbb{E}[Y]]\) è \(\mathbb{E}[X]\mathbb{E}[Y]\) in quanto \(\mathbb{E}[X]\mathbb{E}[Y]\) è già una costante.
Usando queste regole, riscriviamo i termini:
\[ \mathbb{E}[XY] \;-\; \mathbb{E}[X]\mathbb{E}[Y] \;-\; \mathbb{E}[X]\mathbb{E}[Y] \;+\; \mathbb{E}[X]\mathbb{E}[Y]. \]
Osserviamo i termini rimanenti:
\[ \mathbb{E}[XY] \;-\; \mathbb{E}[X]\mathbb{E}[Y] \;-\; \mathbb{E}[X]\mathbb{E}[Y] \;+\; \mathbb{E}[X]\mathbb{E}[Y]. \]
- Il termine \(\mathbb{E}[X]\mathbb{E}[Y]\) compare due volte in negativo (\(-\,\mathbb{E}[X]\mathbb{E}[Y]\)) e una volta in positivo (\(+\,\mathbb{E}[X]\mathbb{E}[Y]\)).
- Facendo la somma algebrica, ne rimane solo \(-\,\mathbb{E}[X]\mathbb{E}[Y]\) (perché \(-\,1 -\,1 +\,1 = -\,1\)).
Quindi il risultato è:
\[ \mathbb{E}[XY] \;-\; \mathbb{E}[X]\mathbb{E}[Y]. \]
Abbiamo quindi dimostrato in maniera esplicita che:
\[ \mathrm{Cov}(X, Y) = \mathbb{E}\bigl[(X - \mathbb{E}[X]) (Y - \mathbb{E}[Y])\bigr] = \mathbb{E}[XY] - \mathbb{E}[X]\mathbb{E}[Y]. \]
11.1.3 Esempio Psicologico: Covarianza tra Ansia e Prestazione Cognitiva
Riprendendo i dati del capitolo precedente sulla relazione tra ansia (Y) e prestazione cognitiva (X), calcoliamo ora la covarianza.
Medie marginali:
- Prestazione cognitiva \(X\):
\[\mathbb{E}(X)=0\times0.30 + 1\times0.45 + 2\times0.25=0.95\] - Ansia \(Y\):
\[\mathbb{E}(Y)=0\times0.30 + 1\times0.40 + 2\times0.30=1.00\]
Calcoliamo \(\mathbb{E}(XY)\):
\[ \begin{aligned} \mathbb{E}(XY) &= (0\times0\times0.05)+(0\times1\times0.10)+(0\times2\times0.15)+ \notag\\ & \quad (1\times0\times0.15)+(1\times1\times0.20)+(1\times2\times0.10)+ \notag\\ & \quad(2\times0\times0.10)+(2\times1\times0.10)+(2\times2\times0.05) \end{aligned} \]
Simplificando:
\[\mathbb{E}(XY)=0.00+0.00+0.00+0.00+0.20+0.20+0.00+0.20+0.20=0.80\]
Quindi, la covarianza sarà:
\[\text{Cov}(X,Y)=\mathbb{E}(XY)-\mathbb{E}(X)\mathbb{E}(Y)=0.80-(0.95\times1.00)=-0.15\]
La covarianza negativa indica che all’aumentare del livello di ansia tende a corrispondere una diminuzione della prestazione cognitiva, coerentemente con quanto spesso riscontrato nella letteratura psicologica.
11.2 Correlazione
La correlazione standardizza la covarianza, rendendola indipendente dalle unità di misura delle variabili. Essa varia tra -1 e 1 ed è definita come:
\[ \rho(X,Y)=\frac{\text{Cov}(X,Y)}{\sqrt{\text{Var}(X)\text{Var}(Y)}} . \]
dove \(\mathbb{V}(X)\) e \(\mathbb{V}(Y)\) rappresentano le varianze di \(X\) e \(Y\), rispettivamente.
Il coefficiente di correlazione \(\rho_{xy}\) è un valore adimensionale, ovvero non dipende dalle unità di misura delle variabili, e varia nell’intervallo \(-1 \leq \rho \leq 1\).
11.2.1 Calcolo della Correlazione
Per calcolare la correlazione tra ansia e prestazione cognitiva, dobbiamo prima ottenere le varianze di ciascuna variabile.
- Varianza di X (prestazione cognitiva):
\[ \begin{aligned} \text{Var}(X) &=\sum_{x}(x-\mu_X)^2p(x) \notag\\ &= (0-0.95)^2\times0.30+(1-0.95)^2\times0.45+(2-0.95)^2\times0.25=0.5475 \notag \end{aligned} \]
- Varianza di Y (ansia):
\[ \begin{aligned} \text{Var}(Y) &=\sum_{y}(y-\mu_Y)^2p(y) \notag\\ &= (0-1.00)^2\times0.30+(1-1.00)^2\times0.40+(2-1.00)^2\times0.30=0.60 \notag \end{aligned} \]
Quindi, il coefficiente di correlazione è:
\[ \rho(X,Y)=\frac{-0.15}{\sqrt{0.5475\times0.60}}=-0.261 \]
Il valore negativo della correlazione conferma che ansia e prestazione cognitiva presentano una relazione inversa: all’aumentare dell’ansia, la prestazione tende a diminuire.
11.3 Interpretazione della Correlazione
Il coefficiente di correlazione è una misura standardizzata e facile da interpretare:
- \(\rho = 1\): perfetta relazione lineare positiva
- \(\rho = -1\): perfetta relazione lineare negativa
- \(\rho = 0\): assenza di relazione lineare
Nel nostro esempio, il valore \(-0.261\) indica una relazione lineare negativa moderata tra ansia e prestazione.
11.4 Proprietà
La covarianza e la correlazione possiedono una serie di proprietà formali che ne regolano il comportamento al variare delle variabili e delle costanti coinvolte. Di seguito vengono enunciate e discusse le principali.
La covarianza tra una variabile aleatoria \(X\) e una costante \(c\) è sempre nulla: \[ \text{Cov}(c, X) = 0. \] Inoltre, la covarianza gode della proprietà di simmetria: \[ \text{Cov}(X, Y) = \text{Cov}(Y, X). \]
Il coefficiente di correlazione \(\rho_{X,Y}\) è limitato nell’intervallo chiuso \([-1, 1]\): \[ -1 \leq \rho(X, Y) \leq 1. \] Tale coefficiente è invariante rispetto a cambiamenti di scala delle variabili: per ogni \(a > 0\) e \(b > 0\) si ha \[ \rho(aX, bY) = \rho(X, Y). \] Nel caso di una relazione lineare perfetta della forma \(Y = a + bX\), il coefficiente di correlazione assume valore estremo: \[ \rho(X, Y) = \begin{cases} +1 & \text{se } b > 0, \\ -1 & \text{se } b < 0. \end{cases} \]
Riguardo alle trasformazioni lineari, la covarianza soddisfa: \[ \text{Cov}(aX, bY) = ab \cdot \text{Cov}(X, Y), \] e, più in generale, per due combinazioni lineari di variabili aleatorie: \[ \text{Cov}\left( \sum_{i=1}^n a_i X_i, \sum_{j=1}^m b_j Y_j \right) = \sum_{i=1}^n \sum_{j=1}^m a_i b_j \, \text{Cov}(X_i, Y_j). \]
La varianza della somma (o differenza) di due variabili è data da: \[ \mathbb{V}(X \pm Y) = \mathbb{V}(X) + \mathbb{V}(Y) \pm 2 \, \text{Cov}(X, Y). \] Più in generale, per una somma di \(n\) variabili aleatorie: \[ \mathbb{V}\left( \sum_{i=1}^n X_i \right) = \sum_{i=1}^n \mathbb{V}(X_i) + 2 \sum_{i < j} \text{Cov}(X_i, X_j). \]
La covarianza è additiva in ciascun argomento: per ogni variabile aleatoria \(Z\), \[ \text{Cov}(X + Y, Z) = \text{Cov}(X, Z) + \text{Cov}(Y, Z). \]
Nel caso particolare in cui le variabili \(X_1, X_2, \dots, X_n\) siano mutualmente indipendenti, la covarianza tra due loro combinazioni lineari si semplifica in: \[ \text{Cov}\left( \sum_{i=1}^n a_i X_i, \sum_{j=1}^n b_j X_j \right) = \sum_{i=1}^n a_i b_i \, \mathbb{V}(X_i), \] poiché i termini di covarianza incrociata sono nulli.
11.4.1 Incorrelazione
Due variabili casuali \(X\) e \(Y\) si dicono incorrelate (o linearmente indipendenti) se la loro covarianza è nulla:
\[ \text{Cov}(X, Y) = \mathbb{E}[(X - \mu_X)(Y - \mu_Y)] = 0. \]
Tale condizione è equivalente a ciascuna delle seguenti:
- il coefficiente di correlazione \(\rho_{XY}\) è nullo;
- il valore atteso del prodotto è uguale al prodotto dei valori attesi: \(\mathbb{E}(XY) = \mathbb{E}(X)\mathbb{E}(Y)\).
L’incorrelazione rappresenta una forma di indipendenza statistica più debole rispetto all’indipendenza stocastica. Mentre due variabili indipendenti sono sempre incorrelate, il viceversa non è vero: è possibile che \(X\) e \(Y\) abbiano covarianza nulla pur non essendo stocasticamente indipendenti. In altri termini, l’assenza di correlazione lineare non esclude l’esistenza di altre forme di dipendenza (ad esempio, di tipo non lineare) tra le due variabili.
Esempio 11.1 Consideriamo una distribuzione di probabilità congiunta di due variabili aleatorie, \(X\) e \(Y\), definita come:
\[ f_{XY}(x,y) = \left\{ \begin{array}{ll} \frac{1}{4} & \text{per } (x,y) \in \{(0,0), (1,1), (1, -1), (2,0) \}, \\ 0 & \text{altrimenti.} \end{array} \right. \]
Questo implica che le variabili aleatorie \(X\) e \(Y\) assumono valori specifici con probabilità uniforme solo per determinate coppie \((x, y)\) e zero in tutti gli altri casi.
Riflessioni conclusive
La covarianza e la correlazione forniscono strumenti essenziali per quantificare le relazioni tra variabili casuali. Utilizzare queste misure permette di approfondire la comprensione delle relazioni psicologiche, come quella tra ansia e prestazione, facilitando ulteriori analisi statistiche e interpretazioni teoriche.