24. CFA per matrici multi-tratto multi-metodo#
La validità rappresenta la capacità di una procedura di misurazione di misurare ciò che si intende misurare. È possibile distinguere diversi tipi di validità cui corrispondono metodi diversi di verifica.
validità di facciata: “il grado in con cui gli item di un test appaiono ragionevoli o sensibili, rispetto al costrutto, sia alle persone a cui è diretto il test sia a coloro che lo usano” (Anastasi, 1969); è dunque determinata dalla significatività apparente ed esteriore che una misura presenta; per valutarla si richiedono giudizi di esperti relativamente alla validità che sembrano avere le misure;
validità di contenuto: una misura ha validità di contenuto quando i suoi indicatori rappresentano in modo accurato l’universo di contenuto misurato; anche questo tipo di validità richiede il giudizio di esperti;
validità di costrutto: richiama la definizione generica di validità: “il grado in cui uno strumento misura il costrutto che intende misurare”; si riferisce all’inferenza della misurazione delle variabili latenti (o costrutti), non direttamente osservabili ma dedotte, attraverso un modello statistico, da variabili osservate; è data dal livello in cui gli indicatori misurano accuratamente i costrutti teorici che interessa misurare; essa è verificata praticamente attraverso la misura dell’associazione tra un costrutto ed altri costrutti secondo particolari modelli teorici (poniamo, per esempio, di voler costruire uno strumento che misuri la depressione di un particolare gruppo di individui; secondo l’ipotesi, lo strumento fornirà una buona misura di depressione, ovvero avrà validità di costrutto, se risulterà essere inversamente correlato con il benessere, ad esempio; per poter procedere in questo modo è necessario assumere che la teoria sia corretta, ovvero che esista la relazione ipotizzata tra depressione e benessere);
validità di criterio: rappresenta la capacità di uno strumento di fare previsioni accurate; la verifica di tale validità è fatta a partire dalla sua adeguatezza nel predire un criterio esterno;
validità concorrente: è determinata osservando quanto lo strumento correla con altri strumenti che il ricercatore ritiene validi nel misurare la stessa caratteristica; l’osservazione di una forte relazione statisticamente è considerata verifica della validità;
validità convergente: è determinata confrontando e correlando i punteggi ottenuti con la misura da validare con quelli ottenuti con la misura di un altro costrutto, teoricamente legato al primo. La possibilità di verificare la validità convergente dipende quindi dall’esistenza di costrutti, e relative misure, legati con quello misurato;
validità discriminante: è speculare alla validità convergente; essa è alta quando la misura da validare non correla con le misure di altri costrutti, teoricamente distinti dal primo.
24.1. MTMM e CFA#
La Matrice Multi-Tratto Multi-Metodo (MTMM; Campbell and Fiske, 1959) è un metodo per valutare la validità di costrutto. La MTMM valuta la correlazione tra costrutti differenti misurati sia con metodi uguali, sia con metodi differenti. La ratio è che la validità di costrutto è alta quando lo strumento misura il costrutto in modo tale che lo strumento utilizzato non è essenziale alla misurazione.
24.1.1. Un esempio concreto#
Nell’esempio discusso da Brown [Bro15], il ricercatore desidera esaminare la validità del costrutto dei disturbi di personalità del Cluster A del DSM-IV, che sono pattern persistenti di sintomi caratterizzati da comportamenti strani o eccentrici (American Psychiatric Association, 1994). Il cluster A comprende tre costrutti di disturbo della personalità:
paranoico (un pattern duraturo di sfiducia e sospetto tale che le motivazioni degli altri sono interpretate come malevole);
schizoide (un pattern duraturo di distacco dalle relazioni sociali e una gamma ristretta di espressioni emotive);
schizotipico (un pattern duraturo di disagio acuto nelle relazioni sociali, distorsioni cognitive e percettive ed eccentricità comportamentali).
In un campione di 500 pazienti, ciascuno di questi tre tratti è misurato mediante tre metodi di valutazione:
un inventario di autovalutazione dei disturbi di personalità;
*valutazioni dimensionali da un colloquio clinico strutturato sui disturbi della personalità;
valutazioni osservazionali effettuate da psicologi.
I dati sono contenuti in una matrice 3 (T) × 3 (M), organizzata in modo tale che le correlazioni tra i diversi tratti (disturbi della personalità: paranoico, schizotipico, schizoide) siano annidate all’interno di ciascun metodo (tipo di valutazione: inventario, colloquio clinico, valutazioni degli osservatori).
I dati sono riportati qui sotto.
sds <- c(3.61, 3.66, 3.59, 2.94, 3.03, 2.85, 2.22, 2.42, 2.04)
cors <- '
1.000
0.290 1.000
0.372 0.478 1.000
0.587 0.238 0.209 1.000
0.201 0.586 0.126 0.213 1.000
0.218 0.281 0.681 0.195 0.096 1.000
0.557 0.228 0.195 0.664 0.242 0.232 1.000
0.196 0.644 0.146 0.261 0.641 0.248 0.383 1.000
0.219 0.241 0.676 0.290 0.168 0.749 0.361 0.342 1.000'
covs <- getCov(
cors,
sds = sds,
names = c("pari", "szti", "szdi", "parc", "sztc", "szdc", "paro", "szto", "szdo")
)
La matrice MTMM è costituita da due tipi di blocchi di coefficienti.
Blocchi di mono-metodo, che contengono correlazioni tra indicatori derivati dallo stesso metodo di valutazione.
Blocchi etero-metodo, che contengono correlazioni tra indicatori valutati con metodi differenti. Di centrale interesse è la diagonale di validità, che corrisponde alla diagonale all’interno di ciascun blocco etero-metodo. Le correlazioni sulla diagonale di validità rappresentano stime di validità convergente: diverse misure di costrutti teoricamente simili o sovrapposti dovrebbero essere fortemente interconnesse.
Nella matrice MTMM, la validità convergente è evidenziata da forti correlazioni tra metodi che misurano lo stesso tratto (cioè, coefficienti mono-tratto/etero-metodo). Ad esempio, i risultati dell’esempio indicano che le tre diverse misure della personalità schizotipica sono fortemente correlate (valori \(r\) da .676 a .749). Gli elementi al di fuori della diagonale dei blocchi etero-metodo rivelano la validità discriminante: le misure di costrutti teoricamente distinti non dovrebbero essere altamente inter-correlate. La validità discriminante nella matrice MTMM è evidenziata da correlazioni deboli tra diversi tratti misurati con metodi diversi (cioè, coefficienti etero-tratto/etero-metodo) in relazione alle correlazioni sulla diagonale di validità (coefficienti mono-tratto/etero-metodo). Nei dati dell’esempio, il supporto per la validità discriminante è ottenuto dalla constatazione che le correlazioni negli elementi al di fuori della diagonale dei blocchi etero-metodo sono uniformemente inferiori (valori \(r\) = .126 a .290) rispetto ai coefficienti di validità (valori \(r\) = .557 a .749).
Infine, l’evidenza degli effetti del metodo è ottenuta dall’esame degli elementi fuori dalla diagonale dei blocchi del mono-metodo. L’entità degli effetti del metodo è riflessa dall’entità differenziale delle correlazioni tra i diversi tratti misurati con lo stesso metodo (coefficienti etero-tratto/mono-metodo) rispetto alle correlazioni tra gli stessi due tratti misurati con metodi diversi. Come mostrato nei dati dell’esempio, sebbene non estrema, è evidente una certa varianza di metodo, in particolare per le misure di valutazione dell’inventario e dell’osservatore. Ad esempio, le valutazioni dell’osservatore dei tratti della personalità paranoica e schizotipica sono più altamente correlate (r = .383) rispetto alle misure etero-metodo di questi tratti (ad esempio, la correlazione tra i tratti della personalità paranoide e schizotipica misurata rispettivamente dall’inventario e dalla valutazione dell’osservatore, è .196). Come nel presente esempio, quando i risultati complessivi indicano che la validità convergente e discriminante sono elevate e gli effetti del metodo sono trascurabili, la validità del costrutto è supportata.
Brown [Bro15] mostra come sia possibile analizzare la matrice MTMM con un modello CFA nel quale si ipotizza che vi siano correlazioni residue tra le specificità di ciascun metodo. Il modello è dunque formulato nel modo seguente: ogni fattore comune (paranoid, schizotypal, schizoid) è identificato dagli item corrispondenti definiti da metodi diversi; le specificità di ciascun metodo, inoltre, sono tra loro correlate.
model <- '
paranoid =~ pari + parc + paro
schizotypal =~ szti + sztc + szto
schizoid =~ szdi + szdc + szdo
pari ~~ szti + szdi
szti ~~ szdi
parc ~~ sztc + szdc
sztc ~~ szdc
paro ~~ szto + szdo
szto ~~ szdo
'
Adattiamo il modello ai dati.
fit <- cfa(
model,
sample.cov = covs,
sample.nobs = 500,
std.lv = TRUE
)
Esaminiamo la soluzione ottenuta.
summary(fit, fit.measures = TRUE, standardized = TRUE) |>
print()
lavaan 0.6.15 ended normally after 59 iterations
Estimator ML
Optimization method NLMINB
Number of model parameters 30
Number of observations 500
Model Test User Model:
Test statistic 14.371
Degrees of freedom 15
P-value (Chi-square) 0.498
Model Test Baseline Model:
Test statistic 2503.656
Degrees of freedom 36
P-value 0.000
User Model versus Baseline Model:
Comparative Fit Index (CFI) 1.000
Tucker-Lewis Index (TLI) 1.001
Loglikelihood and Information Criteria:
Loglikelihood user model (H0) -9879.996
Loglikelihood unrestricted model (H1) -9872.811
Akaike (AIC) 19819.992
Bayesian (BIC) 19946.430
Sample-size adjusted Bayesian (SABIC) 19851.209
Root Mean Square Error of Approximation:
RMSEA 0.000
90 Percent confidence interval - lower 0.000
90 Percent confidence interval - upper 0.041
P-value H_0: RMSEA <= 0.050 0.989
P-value H_0: RMSEA >= 0.080 0.000
Standardized Root Mean Square Residual:
SRMR 0.025
Parameter Estimates:
Standard errors Standard
Information Expected
Information saturated (h1) model Structured
Latent Variables:
Estimate Std.Err z-value P(>|z|) Std.lv Std.all
paranoid =~
pari 2.588 0.145 17.833 0.000 2.588 0.712
parc 2.472 0.121 20.350 0.000 2.472 0.841
paro 1.747 0.088 19.946 0.000 1.747 0.788
schizotypal =~
szti 2.950 0.132 22.367 0.000 2.950 0.788
sztc 2.348 0.123 19.047 0.000 2.348 0.768
szto 2.047 0.089 22.905 0.000 2.047 0.843
schizoid =~
szdi 2.713 0.120 22.526 0.000 2.713 0.769
szdc 2.438 0.107 22.826 0.000 2.438 0.860
szdo 1.782 0.073 24.323 0.000 1.782 0.872
Covariances:
Estimate Std.Err z-value P(>|z|) Std.lv Std.all
.pari ~~
.szti 1.274 0.338 3.774 0.000 1.274 0.217
.szdi 2.537 0.329 7.703 0.000 2.537 0.441
.szti ~~
.szdi 3.872 0.342 11.329 0.000 3.872 0.746
.parc ~~
.sztc -0.335 0.210 -1.597 0.110 -0.335 -0.107
.szdc -0.608 0.176 -3.461 0.001 -0.608 -0.265
.sztc ~~
.szdc -0.933 0.188 -4.967 0.000 -0.933 -0.330
.paro ~~
.szto 0.737 0.118 6.240 0.000 0.737 0.413
.szdo 0.505 0.096 5.274 0.000 0.505 0.368
.szto ~~
.szdo 0.625 0.102 6.158 0.000 0.625 0.478
paranoid ~~
schizotypal 0.381 0.046 8.341 0.000 0.381 0.381
schizoid 0.359 0.046 7.856 0.000 0.359 0.359
schizotypal ~~
schizoid 0.310 0.047 6.666 0.000 0.310 0.310
Variances:
Estimate Std.Err z-value P(>|z|) Std.lv Std.all
.pari 6.514 0.513 12.695 0.000 6.514 0.493
.parc 2.529 0.334 7.562 0.000 2.529 0.293
.paro 1.867 0.179 10.434 0.000 1.867 0.380
.szti 5.309 0.460 11.529 0.000 5.309 0.379
.sztc 3.846 0.330 11.654 0.000 3.846 0.411
.szto 1.704 0.175 9.742 0.000 1.704 0.289
.szdi 5.080 0.386 13.158 0.000 5.080 0.408
.szdc 2.085 0.230 9.047 0.000 2.085 0.260
.szdo 1.005 0.107 9.351 0.000 1.005 0.240
paranoid 1.000 1.000 1.000
schizotypal 1.000 1.000 1.000
schizoid 1.000 1.000 1.000
effectsize::interpret(fit) |>
print()
Name Value Threshold Interpretation
1 GFI 0.99376810 0.95 satisfactory
2 AGFI 0.98130431 0.90 satisfactory
3 NFI 0.99425997 0.90 satisfactory
4 NNFI 1.00061169 0.90 satisfactory
5 CFI 1.00000000 0.90 satisfactory
6 RMSEA 0.00000000 0.05 satisfactory
7 SRMR 0.02482894 0.08 satisfactory
8 RFI 0.98622392 0.90 satisfactory
9 PNFI 0.41427499 0.50 poor
10 IFI 1.00025272 0.90 satisfactory
Per i dati considerati da Brown [Bro15], l’adattamento del modello MTMM è eccellente. Ciò fornisce forti evidenze di validità di costrutto per i fattori Paranoico, Schizoide e Schizotipico che sono stati ipotizzati.