19.6 Stima dell’attendibilità
19.6.1 Coefficiente omega
Avendo scomposto la varianza del punteggio totale di un test come indicato nella (19.8)
\[ \mathbb{V}(Y) = \left( \sum_i \lambda_i\right)^2 + \sum_i \psi_{ii}. \]
McDonald (1999) definisce il coefficiente di attendibilità \(\omega\) come il rapporto tra la varianza “vera” (attribuibile all’attributo comune) e la varianza totale. Nei termini dei parametri del modello uni-fattoriale, il coefficiente \(\omega\) diventa:
\[\begin{equation} \begin{aligned} \omega &= \frac{\left( \sum_{i=1}^p \lambda_i \right)^2}{\sigma_Y^2} \notag\\ &= \frac{\left( \sum_{i=1}^p \lambda_i \right)^2}{\left( \sum_{i=1}^p \lambda_i \right)^2 + \sum_{i=1}^p \psi_{ii}} \end{aligned} \tag{19.9} \end{equation}\]
Il coefficiente \(\omega\) consente dunque di stimare il coefficiente di attendibilità nei termini dei parametri del modello fattoriale congenerico, utilizzando i dati ottenuti in un’unica somministrazione del test.
19.6.1.1 Un esempio concreto
Per illustrare la procedura per il calcolo del coefficiente \(\omega\), McDonald (1999) utilizza i dati derivanti dalla somministrazione del test Satisfaction With Life Scale (SWLS) a 215 rispondenti. Tale test è costituito da 14 item ma, per semplificare la discussione, McDonald ne utilizza solo 5.
SWLS <- matrix(
c(
2.565, 1.424, 1.481, 1.328, 1.529,
1.424, 2.493, 1.267, 1.051, 1.308,
1.481, 1.267, 2.462, 1.093, 1.360,
1.328, 1.051, 1.093, 2.769, 1.128,
1.529, 1.308, 1.360, 1.128, 3.355
),
ncol = 5, byrow = TRUE
)
SWLS
#> [,1] [,2] [,3] [,4] [,5]
#> [1,] 2.565 1.424 1.481 1.328 1.529
#> [2,] 1.424 2.493 1.267 1.051 1.308
#> [3,] 1.481 1.267 2.462 1.093 1.360
#> [4,] 1.328 1.051 1.093 2.769 1.128
#> [5,] 1.529 1.308 1.360 1.128 3.355Eseguiamo l’analisi fattoriale con il metodo della massima verosimiglianza:
Le saturazioni fattoriali sono:
fa$load
#>
#> Loadings:
#> Factor1
#> [1,] 0.817
#> [2,] 0.694
#> [3,] 0.726
#> [4,] 0.591
#> [5,] 0.643
#>
#> Factor1
#> SS loadings 2.438
#> Proportion Var 0.488Le specificità sono uguali a
Il coefficiente \(\omega\)
\[ \omega = \frac{\left( \sum_{i=1}^p \lambda_i \right)^2}{\left( \sum_{i=1}^p \lambda_i \right)^2 + \sum_{i=1}^p \psi_{ii}} \]
può essere calcolato nel modo seguente:
Nel caso presente, il coefficiente di attendibilità \(\omega=0.82\) ci dice che l’\(82\)% della varianza del punteggio totale \(Y\) del test viene spiegato dal fattore comune latente.
19.6.1.2 Coefficiente \(\omega\) e assunzioni della teoria classica dei test
Il calcolo di \(\omega\) è basato sull’assunzione (tipica della teoria classica dei test) che \(\psi_{ik}=0\) per \(i\neq k\). Tale assunzione però potrebbe non essere soddisfatta nel caso di dati empirici. In tal caso, come indicato da Bollen (1980), la (19.9) diventa
\[\begin{equation} \omega = \frac{\left( \sum_{i=1}^p \lambda_i \right)^2}{\left( \sum_{i=1}^p \lambda_i \right)^2 + \sum_{i=1}^p \psi_{ii} + \sum_{i, k, i\neq k}^p \psi_{ik}}. \tag{19.10} \end{equation}\]
L’appropriatezza dell’assunzione dell’incorrelazione dei fattori specifici può essere verificata mediante un’analisi fattoriale confermativa. Se vi sono molte coppie di fattori specifici correlati, allora può essere necessario introdurre nel modello dei fattori aggiuntivi che rendano conto di queste covarianze. In questo caso, la scala non sarà più unidimensionale: la presenza di più fattori indica la presenza di più sottoscale. Il problema presentato sopra, tuttavia, non sempre può essere risolto individuando delle sottoscale perché, anche in tal caso, possono rimanere delle covarianze tra i fattori specifici che non sono spiegate dai fattori che individuano le sottoscale. In questi casi, per calcolare \(\omega\) sarà necessario utilizzare la (19.10).
McDonald (1999) attribuisce al coefficiente \(\omega\) le seguenti interpretazioni: \(\omega\) è uguale al quadrato della correlazione tra la \(Y\) e il fattore comune \(\xi\) o, in maniera equivalente, tra la \(Y\) e il punteggio vero (in base alla definizione di attendibilità: \(\rho_{XT}^2=\sigma^2_{\tau}/\sigma^2_X\)); \(\omega\) è uguale alla correlazione tra due test \(Y\) e \(Y'\) aventi la stessa somma (o media) delle saturazioni nel modello ad un fattore e la stessa somma (o media) delle varianze specifiche nel modello ad un fattore; \(\omega\) è uguale al quadrato della correlazione tra il punteggio totale di \(p\) item e il punteggio medio di un insieme infinito di item di un dominio omogeneo di cui i \(p\) item costituisciono un sottoinsieme.
19.6.2 Coefficiente \(\alpha\) di Cronbach
Il coefficiente \(\omega\) consente di stimare il coefficiente di attendibilità nel caso di un modello monofattoriale congenerico. Invece, il coefficiente \(\alpha\) fornisce una stima del coefficiente di attendibilità nel caso di un modello con indicatori \(\tau\)-equivalenti.
Se \(p\) item soddisfano il modello di \(\tau\)-equivalenza, la varianza di ciascun item può essere scomposta in una componente attribuibile al valore vero e in una componente d’errore, come indicato nella (19.4), ovvero, \(\sigma_{ii} = \lambda^2 + \psi_{ii} =\sigma^2_T + \sigma^2_i\). In base al principio di \(\tau\)-equivalenza, le varianze e covarianze riprodotte dal modello uni-fattoriale hanno le caratteristiche descritte nella matrice (19.5). Dato che tutti gli item hanno la stessa saturazione fattoriale \(\lambda\), la formula per il calcolo del coefficiente \(\omega\) si riduce a
\[ \omega = \frac{\left( \sum_i \lambda_i \right)^2}{\left( \sum_i \lambda_i \right)^2 + \sum_i \psi_{ii}} = \frac{p^2 \lambda^2}{\sigma^2_Y} = \frac{p^2 \sigma_T^2}{\sigma_Y^2} \]
dove \(Y\) è il punteggio totale del test.
Usando il metodo dei minimi quadrati non pesati, una stima di \(\omega\) può essere ottenuta nel modo seguente:
\[\begin{equation} \hat{\omega} = \frac{p^2 \hat{\sigma}_T^2}{s_Y^2} \tag{19.11} \end{equation}\]
dove una stima di \(\sigma_T^2\) viene fornita dalla (19.6), ovvero
\[\begin{equation} \hat{\sigma}_T^2 = \frac{1}{p(p-1)} \sideset{}{} {\sum \sum}_{i \neq k} s_{ik} \tag{19.12} \end{equation}\]
Inserendo la (19.12) nella (19.11), otteniamo
\[\begin{equation} \hat{\omega} = \frac{p}{p-1}\frac{\sideset{}{} {\sum \sum}_{i \neq k} s_{ik}}{s_Y^2} \end{equation}\]
In conclusione, nel caso di indicatori \(\tau\)-eqivalenti, una stima del coefficiente \(\omega\) è data da
\[\begin{equation} \begin{aligned} \hat{\omega} &= \frac{p}{p-1}\frac{\sideset{}{} {\sum \sum}_{i \neq k} s_{ik}}{s_Y^2} \notag\\ &= \frac{p}{p-1}\left(1-\frac{\sum_i s_{ii}}{s_Y^2}\right) \end{aligned} \tag{19.13} \end{equation}\]
La stima dell’attendibilità fornita dalla (19.13) trova il suo corrispettivo per i valori della popolazione nell’equazione seguente:
\[\begin{equation} \begin{aligned} \alpha &= \frac{p}{p-1}\left(1-\frac{\sum_{i=1}^p \sigma_{ii}}{\sigma_Y^2}\right) &= \frac{p}{p-1}\frac{\sum_{i\neq k}^p \mbox{Cov}(X_i, X_k)}{\mathbb{V}(Y)} \end{aligned} \tag{19.14} \end{equation}\]
La (19.14) definisce quello che è conosciuto come il coefficiente \(\alpha\).
Il coefficiente \(\alpha\) fu scoperto da Guttman nel 1945 e incorrettamente attribuito a Cronbach. Viene spesso chiamato coefficiente \(\alpha\) di Guttman-Cronbach, o G-C \(\alpha\).
Se gli indicatori soddisfano i requisiti del modello di \(\tau\)-equivalenza, i coefficienti \(\alpha\) e \(\omega\) sono uguali. Se il modello di \(\tau\)-equivalenza è appropriato, il coefficiente \(\alpha\) fornisce un limite inferiore del coefficiente \(\omega\) (ovvero, fornisce una sottostima di \(\omega\)): \(\omega \geq \alpha\). A causa del fatto che fornisce una stima conservativa del coefficiente di attendibilità, \(\alpha\) viene preferito ad \(\omega\) da alcuni ricercatori. Si noti però che \(\alpha\) possiede tale carattere conservativo solo nel caso in cui le assunzioni del modello \(\tau\)-equivalente siano soddisfatte.
19.6.2.1 Un esempio concreto
consideriamo nuovamente la matrice di varianze e covarianze SWLS. Il coefficiente \(\alpha\) si calcola usando la (19.13) e, per i dati presenti, risulta essere uguale a
Lo stesso risultato si ottiene utilizzando la funzione alpha()
contenuta nel pacchetto psych:
alpha(SWLS)
#>
#> Reliability analysis
#> Call: alpha(x = SWLS)
#>
#> raw_alpha std.alpha G6(smc) average_r S/N median_r
#> 0.82 0.82 0.79 0.48 4.6 0.49
#>
#> 95% confidence boundaries
#> lower alpha upper
#> Feldt 0.33 0.82 0.98
#>
#> Reliability if an item is dropped:
#> raw_alpha std.alpha G6(smc) average_r S/N var.r med.r
#> V1 0.75 0.76 0.70 0.44 3.1 0.0027 0.44
#> V2 0.78 0.79 0.74 0.48 3.7 0.0060 0.49
#> V3 0.78 0.78 0.73 0.47 3.5 0.0055 0.48
#> V4 0.81 0.81 0.77 0.52 4.3 0.0027 0.52
#> V5 0.80 0.80 0.75 0.50 3.9 0.0057 0.50
#>
#> Item statistics
#> r r.cor r.drop
#> V1 0.83 0.79 0.71
#> V2 0.77 0.68 0.62
#> V3 0.78 0.71 0.64
#> V4 0.70 0.58 0.53
#> V5 0.74 0.63 0.5719.6.2.2 Violazione dell’assunto di tau-equivalenza
Il coefficiente \(\alpha\), la misura di attendibilità maggiormente usata in psicometria, è basato sull’assuzione che il modello di misurazione sia \(\tau\)-equivalente. Come indicato sopra, se tale assunzione è soddisfatta, \(\alpha\) fornisce un limite inferiore dell’attendibilità del test. Nei casi in cui tale assunzione venga violata, però, \(\alpha\) può perdere tale carattere conservativo e può fornire una sovrastima dell’attendibilità del test (Sijtsma, 2009).
NKano e Azuma (2003) riportano i risultati di una simulazione che mette in evidenza le conseguenze che risultano dalla violazione dell’assunzione di incorrelazione tra le componenti specifiche del modello monofattoriale. Questi autori trovano che, quando il principio dell’incorrelazione dei fattori specifici è violato, allora le stime dell’attendibilità ottenute mediante il coefficiente \(\alpha\) sono affette da un errore sistematico. Tale errore sistematico aumenta all’aumentare del numero di coppie di fattori specifici che risultano tra loro correlati. In queste circostanze, dunque, il coefficiente \(\alpha\) non fornisce più una stima conservativa dell’attendibilità.
In conclusione, il coefficiente \(\omega\) fornisce una stima adeguata dell’attendibilità nel caso di un modello di misurazione congenerico. L’utilizzo del coefficiente \(\alpha\) per la stima dell’attendibilità richiede un modello di misurazione \(\tau\)-equivalente. L’esistenza di fattori specifici correlati invalida sia il coefficiente \(\alpha\), sia il coefficiente \(\omega\) calcolato in base alla (19.9). In tali circostanze l’attendibilità deve essere stimata utilizzando una diversa equazione (Kano & Azuma, 2003; Komaroff, 1997).
Questa discussione mette in evidenza un aspetto importante: il coefficiente \(\alpha\) fornisce una stima conservativa dell’attendibilità di un test solo se le variabili osservate sono associate alle variabili latenti come indicato dal modello di misurazione \(\tau\)-equivalente. Se le assunzioni del modello \(\tau\)-equivalente sono violate (per esempio, l’assunzione dell’incorrelazione degli errori), allora \(\alpha\) porta ad una sovrastima stima dell’attendibilità del test.
Sijtsma (2009), tra gli altri, sconsiglia l’uso di \(\alpha\) per la stima dell’attendibilità del test in quanto, nelle applicazioni reali, le assunzioni di \(\tau\)-equivalenza e dell’incorrelazione degli errori risultano spesso violate. La violazione dell’assunzione di \(\tau\)-equivalenza porta ad una stima conservativa dell’attendibilità, mentre la violazione dell’assunzione dell’incorrelazione degli errori porta ad una stima liberale dell’attendibilità. In entrambi i casi, l’errore sistematico può essere sostanziale.
Un secondo problema è che \(\alpha\) viene spesso preso quale misura della “struttura interna” di un test e quindi come evidenza che gli item del test “misurino la stessa cosa.” Tale interpretazione di \(\alpha\) è sbagliata, in quanto \(\alpha\) non fornisce alcuna informazione a questo proposito. Non è semplice fornire ad \(\alpha\) una chiara interpretazione, anche nel caso in cui siano soddisfatte le assunzioni del modello di misurazione su cui si basa.
19.6.3 La formula “profetica” di Spearman-Brown
La formula “profetica” di Spearman-Brown viene usata per misurare l’attendibilità nel caso di un modello di misurazione costituito da indicatori paralleli. Si considerino \(p\) item paralleli, tali per cui \(\lambda_1=\lambda_2=\dots=\lambda_p=\lambda\) e \(\psi_{11}=\psi_{22}=\dots=\psi_{pp}=\psi\). In tal caso, la quota di varianza del punteggio totale del test che viene spiegata dalla variabile latente è uguale a
\[ \left(\sum_i \lambda_i \right)^2 = (p \lambda)^2 = p^2 \lambda^2. \]
L’attendibilità di un singolo item, che chiamerò \(\rho_1\), è data da
\[ \rho_1 = \frac{\sigma_T^2}{\sigma_T^2+ \sigma_E^2} = \frac{\lambda^2}{\lambda^2 + \psi}. \]
Per \(p\) item paralleli avremo che
\[\begin{equation} \begin{aligned} \rho_p &= \frac{p^2 \lambda^2}{p^2 \lambda^2 + p \psi} \notag\\ &= \frac{p^2 \lambda^2}{ p (p \lambda^2 + \psi)} \notag\\ &= \frac{p \lambda^2}{ p \lambda^2 + \psi} \notag\\ &= \frac{p \lambda^2}{(p-1) \lambda^2 + (\lambda^2 + \psi)}. \notag \end{aligned} \end{equation}\]
Ricordando che l’attendibilità di ciascun singolo item è \(\rho_1 = \frac{\lambda^2}{\lambda^2 + \psi}\), abbiamo che
\[\begin{equation} \begin{aligned} \rho_p &= \frac{p \frac{\lambda^2}{\lambda^2+\psi}}{(p-1) \frac{\lambda^2}{\lambda^2+\psi} + \frac{\lambda^2 + \psi}{\lambda^2+\psi}} \notag\\ &= \frac{p \rho_1}{(p-1)\rho_1 + 1}. \end{aligned} \tag{19.15} \end{equation}\]
La (19.15) esprime l’attendibilità \(\rho_p\) di un test costituito da \(p\) item paralleli come funzione dell’attendibilità che caratterizza un singolo item. La (19.15) è tradizionalmente conosciuta con il nome di formula “profetica” di Spearman-Brown (Spearman-Brown prophecy formula). Nel caso di item paralleli si ha che
\[ \omega=\alpha=\rho_p. \]
19.6.3.1 Un esempio concreto
Poniamoci il problema di calcolare l’attendibilità del test SWLS utilizzando la formula di Spearman-Brown. Ipotizziamo dunque che gli item della scala SWLS siano paralleli. La matrice di correlazione è:
R <- cov2cor(SWLS)
round(R, 3)
#> [,1] [,2] [,3] [,4] [,5]
#> [1,] 1.000 0.563 0.589 0.498 0.521
#> [2,] 0.563 1.000 0.511 0.400 0.452
#> [3,] 0.589 0.511 1.000 0.419 0.473
#> [4,] 0.498 0.400 0.419 1.000 0.370
#> [5,] 0.521 0.452 0.473 0.370 1.000Seguendo McDonald (2013), supponiamo di calcolare l’attendibilità di un singolo item (\(\rho_1\)) come la correlazione media tra gli item:
rr <- NULL
p <- 5
k <- 1
for (i in 1:p) {
for (j in 1:p) {
if (j != i) {
rr[k] <- R[i, j]
}
k <- k + 1
}
}
ro_1 <- mean(rr, na.rm = TRUE)
ro_1
#> [1] 0.4797593Applicando la formula di Spearman-Brown, la stima dell’attendibilità del test diventa pari a