26.3 Selezione di un sottoinsieme di item

Tipicamente, la costruzione di un test viene realizzata somministrando un grande numero di item per poi selezionare gli item “migliori” che andranno a fare parte del test vero e proprio. Si supponga di somministrare inizialmente \(m\) item, quando si desidera che il test finale sia costituito da \(p < m\) item. Un modo di affrontare questo problema potrebbe essere quello di calcolare l’attendibilità del test (coefficiente \(\omega\)) per tutti i possibili sottoinsiemi di \(p\) item, così da individuare il sottoinsieme migliore. Questo modo di procedere, però, è problematico perché richiede la valutazione di un elevatissimo numero di possibilità. Per esempio, da un insieme iniziale neanche troppo numeroso di 100 item, il numero di sottoinsiemi di 20 item è uguale a

\[ \binom{100}{20} = 5.36 \times 10^{20}. \]

È dunque necessario trovare metodi alternativi che evitino una tale esplosione combinatoria. A questo fine, ovvero per procedere alla selezione del sottoinsieme dei “migliori” item, McDonald (2013) suggerisce di calcolare la quantità di informazione di ciascun item. La quantità di informazione di un item è definita come rapporto tra segnale/rumore, in relazione alla scomposizione della varianza dell’item:

\[ \frac{\lambda_i^2}{\psi_{ii}}. \]

McDonald (2013) mostra come l’omissione di uno o più item produce sempre una riduzione dell’attendibilità del test (ovvero, una riduzione nel valore del coefficiente \(\omega\)). Tuttavia, tale riduzione è tanto più piccola quanto più piccola è la quantità di informazione degli item omessi. Il processo di selezione degli item può dunque essere guidato da un semplice principio: si selezionano gli item aventi la quantità di informazione maggiore. Ovvero, in altre parole, si rimuovono gli item aventi la quantità di informazione più bassa.

Esempio 26.1 Per fare un esempio, consideriamo nuovamente la matrice di varianze e di covarianze della scala SWLS.

varnames <- c("Y1", "Y2", "Y3", "Y4", "Y5")
SWLS <- matrix(
  c(
    2.565, 1.424, 1.481, 1.328, 1.529,
    1.424, 2.493, 1.267, 1.051, 1.308,
    1.481, 1.267, 2.462, 1.093, 1.360,
    1.328, 1.051, 1.093, 2.769, 1.128,
    1.529, 1.308, 1.360, 1.128, 3.355
  ),
  ncol = 5, byrow = TRUE,
  dimnames = list(varnames, varnames)
)
SWLS
#>       Y1    Y2    Y3    Y4    Y5
#> Y1 2.565 1.424 1.481 1.328 1.529
#> Y2 1.424 2.493 1.267 1.051 1.308
#> Y3 1.481 1.267 2.462 1.093 1.360
#> Y4 1.328 1.051 1.093 2.769 1.128
#> Y5 1.529 1.308 1.360 1.128 3.355

Utilizzando la funzione cfa() contenuta nel pacchetto lavaan, il modello ad un fattore viene definito nel modo seguente.

mod_1 <- "
  F =~ Y1 + Y2 + Y3 + Y4 + Y5
"

Otteniamo così una stima dei pesi fattoriali e delle unicità.

fit <- lavaan::cfa(
  mod_1,
  sample.cov = SWLS,
  sample.nobs = 215,
  std.lv = TRUE
)

Calcoliamo la quantità di informazione fornita da ciascun item. Iniziamo a estrarre dall’oggetto fit la matrice delle saturazioni fattoriali.

lambda <- inspect(fit, what = "std")$lambda
lambda
#>        F
#> Y1 0.817
#> Y2 0.694
#> Y3 0.726
#> Y4 0.591
#> Y5 0.643

Estraiamo da fit le specificità.

theta <- diag(inspect(fit, what = "std")$theta)
theta
#>        Y1        Y2        Y3        Y4        Y5 
#> 0.3330083 0.5181701 0.4732395 0.6512159 0.5866646

Possiamo ora calcolare quantità di informazione degli item facendo il rapporto tra ciascuna saturazione fattoriale innalzata al quadrato e la corrispondente specificità.

for (i in 1:5) {
  print(lambda[i]^2 / theta[i])
}
#>       Y1 
#> 2.002928 
#>        Y2 
#> 0.9298683 
#>       Y3 
#> 1.113095 
#>        Y4 
#> 0.5355891 
#>        Y5 
#> 0.7045515

Il risultato ottenuto indica che il quarto item è il meno informativo e che il quinto item è il secondo meno informativo. Se un solo item deve essere eliminato, dunque, elimineremo il quarto item. Se devono essere eliminati due item, andranno eliminati il quarto e il quinto item.

26.3.1 Attendibilità e numero di item

Di quanto cambia l’attendibilità di uno strumento se viene variato il numero di item? Una risposta a questa domanda può essere fornita dalla formula profetica di Spearman-Brown. Supponiamo che nella formula di Spearman-Brown,

\[\begin{equation} \rho_p = \frac{p \rho_1}{(p-1)\rho_1 + 1}, \tag{26.1} \end{equation}\]

\(\rho_1\) rappresenti l’attendibilità di un test costituito da un certo numero di item. Se poniamo \(p=2\), la (26.1) ci fornisce una stima dell’attendibilità che si otterrebbe raddoppiando il numero di item nel test. Valori di \(p\) minori di \(1\), invece, vengono usati per predire la diminuizione dell’attendibilità conseguente ad una diminuzione nel numero degli item del test.

Ricordiamo però che le predizioni della formula di Spearman-Brown sono accurate solo se la forma allungata o accorciata del test è parallela rispetto al test considerato. Per esempio, se ad un test con un coefficiente di attendibilità molto alto vengono aggiunti item aventi una bassa attendibilità, allora l’attendibilità del test allungato sarà minore di quella predetta dalla formula di Spearman-Brown.

Anche se la formula di Spearman-Brown ha un ruolo centrale nella teoria classica dei test, si tenga conto che non rappresenta l’unico strumento che può essere utilizzato per valutare la relazione tra attendibilità e numero degli item del test. La quantità detta informazione dell’item (item information), formulata dai modelli IRT, consente di predire i cambiamenti nella qualità della misura a seguito dell’aggiunta o della cancellazione di un sottoinsieme di item.

Esempio 26.2 Si consideri la scala SWLS. Chiediamoci come varia l’attendibilità della scala se il numero di item aumenta da 5 a 20. Poniamo che l’attendibilità della scala SWLS costituita da 5 item sia uguale a 0.824. Applicando la formula di Spearman-Brown otteniamo la stima seguente.

(4 * 0.824) / ((4 - 1) * 0.824 + 1)
#> [1] 0.9493088

Esempio 26.3 Possiamo giungere al risultato precedente in un altro modo. Supponiamo che i 15 item aggiuntivi abbiano le stesse saturazioni fattoriali medie (\(\bar{\lambda}\)) e le stesse varianze specifiche medie (\(\bar{\psi}\)) rispetto agli item originali. Mediante gli item di cui disponiamo, stimiamo l’attendibilità di un “item medio” nel modo seguente

\[ \rho_1 = \frac{\bar{\lambda}^2}{\bar{\lambda}^2 + \bar{\psi}}, \]

ovvero otteniamo la stima di 0.48:

rho_1 <- mean(lambda)^2 / (mean(lambda)^2 + mean(theta))
rho_1
#> [1] 0.4845124

L’attendibilità predetta di un test costituito da 20 item sarà dunque uguale a

(20 * rho_1) / ((20 - 1) * rho_1 + 1)
#> [1] 0.9494904

il che replica il risultato ottenuto precedentemente.

Esempio 26.4 Un altro modo ancora per ottenere lo stesso risultato è quello di utilizzare un modello mono-fattoriale per item paralleli.

mod_2 <- "
  F =~ a*Y1 + a*Y2 + a*Y3 + a*Y4 + a*Y5
  Y1 ~~ b*Y1
  Y2 ~~ b*Y2
  Y3 ~~ b*Y3
  Y4 ~~ b*Y4
  Y5 ~~ b*Y5
"

Adattiamo il modello ai dati.

fit2 <- lavaan::cfa(
  mod_2,
  sample.cov = SWLS,
  sample.nobs = 215,
  std.lv = TRUE
)

Estraiamo dall’oggetto fit2 le saturazioni fattoriali.

lambda <- inspect(fit2, what = "std")$lambda
lambda
#>        F
#> Y1 0.689
#> Y2 0.689
#> Y3 0.689
#> Y4 0.689
#> Y5 0.689

Estraiamo da fit2 le specificità.

theta <- diag(inspect(fit2, what = "std")$theta)
theta
#>        Y1        Y2        Y3        Y4        Y5 
#> 0.5247361 0.5247361 0.5247361 0.5247361 0.5247361

Calcoliamo l’attendibilità dell’item “medio” usando \(\lambda\) e \(\psi\) (chiamato theta da lavaan).

rho_1 <- lambda[1]^2 / (lambda[1]^2 + theta[2])
rho_1
#>        Y2 
#> 0.4752639

Posso ora applicare la formula di Spearman-Brown.

(20 * rho_1) / ((20 - 1) * rho_1 + 1)
#>        Y2 
#> 0.9476834

Il risultato è praticamente identico a quelli trovati in precedenza.

26.3.2 Numero di item e affidabilità

La formula di Spearman-Brown può anche essere riarrangiata in maniera tale da consentirci di predire il numero degli item necessari per raggiungere un determinato livello di affidabilità:

\[\begin{equation} p = \frac{\rho_p (1-\rho_1)}{\rho_1(1-\rho_p)}, \tag{26.2} \end{equation}\]

dove \(\rho_1\) è l’attendibilità stimata di un “item medio,” \(\rho_p\) è il livello desiderato di attendibilità del test allungato e \(p\) è il numero di item del test allungato.

Esempio 26.5 L’attendibilità della scala SWLS costituita da 5 item è \(\omega = 0.824\). Quanti item devono essere aggiunti se si vuole raggiungere un livello di attendibilità pari a \(0.95\)?

Ponendo \(\rho_p = 0.95\) e \(\rho_1= 0.479\), in base alla (26.2) si ottiene che

(.95 * (1 - rho_1)) / (rho_1 * (1 - .95))
#>       Y2 
#> 20.97779

il test dovrà essere costituito da 21 item.

References

McDonald, Roderick P. 2013. Test Theory: A Unified Treatment. Psychology Press.