9 L’affidabilità del test
Prerequisiti
- Leggere il capitolo 3, Reliability, del testo Principles of psychological assessment di Petersen (2024).
Preparazione del Notebook
9.1 Introduzione
L’affidabilità (o attendibilità) rappresenta un principio fondamentale nella teoria della misurazione ed è essenziale per garantire che le misure siano coerenti, stabili e precise nei diversi contesti applicativi. Nel testing psicologico, una buona affidabilità implica che i punteggi ottenuti siano sufficientemente consistenti e non eccessivamente influenzati da errori casuali. Questa caratteristica è di estrema importanza perché i punteggi osservati possono variare non solo in funzione delle differenze tra individui, ma anche a causa di fattori esterni e condizioni di misurazione non perfettamente controllabili.
La CTT fornisce una cornice teorica chiara per affrontare e quantificare il problema della misurazione affidabile. Secondo la CTT, ogni punteggio osservato (X) può essere scomposto in due componenti: il punteggio vero (T) e l’errore di misurazione (E). Uno degli obiettivi fondamentali della CTT consiste proprio nel suddividere la varianza complessiva dei punteggi osservati in due parti distinte:
- Varianza del punteggio vero (\(\sigma_T^2\)), che riflette la differenza reale tra gli individui rispetto alla caratteristica misurata.
- Varianza dell’errore (\(\sigma_E^2\)), che rappresenta le variazioni casuali e indesiderate derivanti da imperfezioni nel processo di misurazione.
Per poter ottenere questa suddivisione e definire formalmente l’affidabilità, la CTT si basa su alcune assunzioni fondamentali:
- Errore medio nullo: Si assume che gli errori di misurazione abbiano una media uguale a zero, cioè \(E(e) = 0\). Questo implica che gli errori siano casuali e distribuiti simmetricamente attorno al punteggio vero, senza alcun bias sistematico.
- Indipendenza tra punteggio vero e errore: L’errore di misurazione non deve essere correlato con il punteggio vero, cioè la correlazione \(\rho_{T,E} = 0\). Questo significa che l’errore non dipende dal valore della caratteristica misurata.
- Indipendenza degli errori nel tempo: L’errore di misurazione in un’occasione deve essere indipendente dall’errore in un’altra occasione (\(\rho_{e_1, e_2} = 0\)).
Per definire formalmente l’attendibilità nella CTT, è inoltre necessario introdurre tre grandezze fondamentali: la varianza del punteggio osservato, la covarianza tra punteggio osservato e punteggio vero, e la correlazione tra punteggio osservato e punteggio vero.
9.2 Varianza del Punteggio Osservato
Secondo la CTT, la varianza del punteggio osservato (\(\sigma^2_X\)) è la somma della varianza del punteggio vero e della varianza dell’errore:
\[ \sigma^2_X = \sigma_T^2 + \sigma_E^2. \tag{9.1}\]
La validità di questa relazione può essere dimostrata facilmente considerando l’assunzione di indipendenza tra errore e punteggio vero (\(\rho_{T,E} = 0\)), che implica \(\sigma_{TE} = 0\).
\[ \sigma^2_X = \mathbb{V}(T+E) = \sigma_T^2 + \sigma_E^2 + 2 \sigma_{TE}. \tag{9.2}\]
Dato che \(\sigma_{TE}=\rho_{TE}\sigma_T \sigma_E=0\), in quanto \(\rho_{TE}=0\), ne segue che
\[ \sigma^2_X = \sigma_T^2 + \sigma_E^2. \]
Ad esempio, utilizzando dati simulati:
9.3 Covarianza tra Punteggio Osservato e Punteggio Vero
La covarianza tra il punteggio osservato e il punteggio vero è pari alla varianza del punteggio vero:
\[ \sigma_{X T} = \sigma_T^2. \tag{9.3}\]
Questa relazione è dimostrata considerando l’indipendenza tra punteggio vero e errore e il fatto che \(\mathbb{E}(E) = 0\):
\[ \begin{aligned} \sigma_{X T} &= \mathbb{E}(XT) - \mathbb{E}(X)\mathbb{E}(T)\notag\\ &= \mathbb{E}[(T+E)T] - \mathbb{E}(T+E)\mathbb{E}(T)\notag\\ &= \mathbb{E}(T^2) + \underbrace{\mathbb{E}(ET)}_{=0} - [\mathbb{E}(T)]^2 - \underbrace{\mathbb{E}(E)}_{=0} \mathbb{E}(T)\notag\\ &=\mathbb{E}(T^2) - [\mathbb{E}(T)]^2\notag \\ &= \sigma_T^2. \end{aligned} \]
Verifica empirica:
9.4 Correlazione tra Punteggio Osservato e Punteggio Vero
La correlazione tra punteggio osservato e punteggio vero è data dal rapporto tra la deviazione standard del punteggio vero e quella del punteggio osservato:
\[ \rho_{X T} = \frac{\sigma_T}{\sigma_X}. \tag{9.4}\]
Esaminiamo la dimostrazione. Per definizione, la correlazione tra due variabili \(X\) e \(T\) è data dal rapporto tra la loro covarianza e il prodotto delle rispettive deviazioni standard:
\[ \rho_{XT} = \frac{\sigma_{XT}}{\sigma_X \sigma_T}. \]
Dalla teoria classica della misurazione sappiamo che il punteggio osservato \(X\) è la somma del punteggio vero \(T\) e dell’errore \(E\): \(X = T + E\). Pertanto, la covarianza tra punteggio osservato e punteggio vero è:
\[ \sigma_{XT} = \text{Cov}(X, T) = \text{Cov}(T + E, T). \]
Applicando la proprietà della linearità della covarianza,
\[\text{Cov}(A+B,C)=\text{Cov}(A,C)+\text{Cov}(B,C) ,\]
per il caso presente, poiché per assunzione della CTT vale che la covarianza tra errore e punteggio vero sia nulla (\(\sigma_{ET} = 0\)), otteniamo:
\[ \sigma_{XT} = \text{Cov}(T + E, T) = \text{Cov}(T,T) + \text{Cov}(E,T) = \sigma^2_T + 0 = \sigma^2_T. \]
Inserendo questo risultato nell’equazione iniziale otteniamo:
\[ \rho_{XT} = \frac{\sigma_{XT}}{\sigma_X \sigma_T} = \frac{\sigma^2_T}{\sigma_X \sigma_T}. \]
A questo punto semplifichiamo l’espressione, dividendo numeratore e denominatore per \(\sigma_T\):
\[ \rho_{XT} = \frac{\sigma^2_T}{\sigma_X \sigma_T} = \frac{\sigma_T}{\sigma_X}. \]
Quindi, abbiamo dimostrato che la correlazione tra il punteggio osservato e il punteggio vero è data dal rapporto tra la deviazione standard del punteggio vero e quella del punteggio osservato. Questo risultato è importante perché evidenzia che la correlazione tra punteggio vero e osservato dipende dalla proporzione di varianza vera rispetto alla varianza totale (osservata). Questa relazione mostra che l’affidabilità aumenta quanto più la varianza vera prevale sulla varianza totale osservata.
Verifica empirica:
9.5 Definizione e Interpretazione dell’Affidabilità
La CTT definisce formalmente l’affidabilità di un test come il rapporto tra la varianza del punteggio vero (\(\sigma_T^2\)) e la varianza del punteggio osservato (\(\sigma_X^2\)). In notazione matematica:
Definizione 9.1 \[ \rho_{XT}^2 = \frac{\sigma_T^2}{\sigma_X^2}, \tag{9.5}\]
dove \(\rho_{XT}^2\) rappresenta il quadrato della correlazione tra punteggio osservato (\(X\)) e punteggio vero (\(T\)).
In altre parole, l’affidabilità misura la proporzione di varianza del punteggio osservato imputabile a differenze reali nella caratteristica misurata, piuttosto che a fonti di errore. Questa relazione è il fulcro della CTT perché collega direttamente la precisione del test (varianza vera) alla sua eterogeneità totale (varianza osservata).
Poiché \(\rho_{XT} = \mathrm{corr}(X,T)\),
\[ \rho_{XT}^2 \;=\; \frac{\sigma_T^2}{\sigma_X^2} \;\;\;\Rightarrow\;\;\; \mathrm{corr}(X,T) \;=\; \sqrt{\frac{\sigma_T^2}{\sigma_X^2}}. \]
9.5.1 Forma Equivalente Basata sull’Errore di Misura
Sapendo che \(\sigma_X^2 = \sigma_T^2 + \sigma_E^2\), possiamo riscrivere l’affidabilità come:
\[ \rho_{XT}^2 = 1 - \frac{\sigma_E^2}{\sigma_X^2}. \tag{9.6}\]
Questa formula mostra immediatamente che:
- l’affidabilità è pari a 1 (massima) se e solo se \(\sigma_E^2 = 0\), ovvero in assenza di errore di misura;
- l’affidabilità è pari a 0 (minima) se e solo se \(\sigma_E^2 = \sigma_X^2\), cioè quando tutta la varianza osservata è dovuta a errore.
9.5.2 Verifica Empirica
Nella pratica, se disponiamo di stime dei punteggi veri e osservati, possiamo valutare l’affidabilità secondo tre approcci equivalenti:
Le tre stime coincidono, poiché rappresentano la stessa identica misura di quanto un test “catturi” effettivamente la variabilità reale (vera) della caratteristica psicologica, distinguendola dalla porzione di varianza dovuta a fattori casuali.
9.6 Attendibilità e Modello di Regressione Lineare
La CTT può essere chiaramente compresa attraverso il parallelo con il modello di regressione lineare semplice. Infatti, nella CTT il punteggio osservato (variabile dipendente) viene espresso come funzione lineare del punteggio vero (variabile indipendente). In altre parole, il punteggio osservato può essere considerato come il risultato di una regressione lineare del punteggio vero, con un’intercetta uguale a 0 e una pendenza uguale a 1, a cui si aggiunge un errore casuale.
In termini più formali, questo modello può essere espresso come:
\[ X = a + b T + E. \]
dove:
- \(X\) rappresenta il punteggio osservato,
- \(T\) il punteggio vero,
- \(E\) è l’errore di misurazione.
Il coefficiente di attendibilità definito dalla CTT (ovvero il rapporto tra la varianza del punteggio vero e la varianza del punteggio osservato) coincide esattamente con il coefficiente di determinazione \(R^2\) del modello di regressione lineare così definito. Il coefficiente di determinazione \(R^2\) misura infatti la proporzione di varianza della variabile dipendente spiegata dal modello, che in questo caso corrisponde alla varianza del punteggio vero.
Per chiarire ulteriormente il concetto, riprendiamo l’esempio con i dati simulati:
fm <- lm(X ~ T)
summary(fm)
#>
#> Call:
#> lm(formula = X ~ T)
#>
#> Residuals:
#> Min 1Q Median 3Q Max
#> -4.434 -0.972 -0.087 1.080 3.735
#>
#> Coefficients:
#> Estimate Std. Error t value Pr(>|t|)
#> (Intercept) 4.26e-15 8.75e-01 0 1
#> T 1.00e+00 7.14e-02 14 <2e-16
#>
#> Residual standard error: 1.74 on 98 degrees of freedom
#> Multiple R-squared: 0.667, Adjusted R-squared: 0.663
#> F-statistic: 196 on 1 and 98 DF, p-value: <2e-16Come possiamo osservare dall’output, la regressione ha intercetta pari a 0 e pendenza pari a 1. Questo risultato è coerente con le assunzioni della CTT secondo cui i punteggi osservati dovrebbero riflettere direttamente i punteggi veri, \(\mathbb{E}(X) = \mathbb{E}(T)\).
Inoltre, il coefficiente di determinazione fornito dal modello di regressione corrisponde precisamente al coefficiente di attendibilità calcolato tramite la formula della CTT:
\[ \rho_{X T}^2 = \frac{\sigma_T^2}{\sigma_X^2}. \]
Verifica empirica:
Pertanto, il coefficiente di attendibilità può essere interpretato come il coefficiente di determinazione di una regressione lineare che descrive quanto della variabilità totale nei punteggi osservati possa essere spiegata dai punteggi veri.
Inoltre, l’errore standard della regressione corrisponde esattamente all’errore standard di misurazione definito dalla CTT. Questo valore rappresenta la variabilità media degli errori intorno alla retta di regressione, ovvero la dispersione dei punteggi osservati intorno ai punteggi veri:
Il fattore correttivo utilizzato nella formula precedente deriva dal fatto che, nella stima della varianza tramite regressione lineare, si usa \(n-2\) al denominatore (dove \(n\) è il numero di osservazioni), mentre la funzione var() di R usa \(n-1\). Da qui la necessità della correzione:
\[ \text{Errore standard} = \sqrt{\frac{(n-1)}{(n-2)} \cdot \sigma_E^2}. \]
Questa equivalenza chiarisce ulteriormente come il modello di regressione lineare e la CTT siano strettamente connessi, offrendo una prospettiva intuitiva per comprendere il significato e l’importanza del concetto di affidabilità.
9.7 Misurazioni Parallele e Affidabilità
La definizione formale del coefficiente di affidabilità è data dall’Equazione eq-reliability-1. Tuttavia, questa formula presenta una difficoltà pratica fondamentale: la varianza del punteggio vero \(\sigma_{T}^2\) non è direttamente osservabile, essendo una quantità teorica sconosciuta. La CTT risolve questo problema attraverso il metodo delle forme parallele del test, che permette di ottenere una stima empirica della sua attendibilità.
Due test \(X = T + E\) e \(X' = T' + E'\) sono definiti paralleli quando misurano la stessa abilità latente e soddisfano le seguenti condizioni (si veda il sec-ctt-foundations):
- uguaglianza dei punteggi veri: \(T = T'\),
- uguaglianza delle varianze degli errori: \(\mathbb{V}(E) = \mathbb{V}(E')\).
Da queste condizioni deriva logicamente l’uguaglianza dei valori attesi dei punteggi osservati:
\[ \mathbb{E}(X) = \mathbb{E}(T + E) = \mathbb{E}(T) + \mathbb{E}(E) = T \] \[ \mathbb{E}(X') = \mathbb{E}(T' + E') = \mathbb{E}(T') + \mathbb{E}(E') = T' \]
Dato che per definizione \(T = T'\) e \(\mathbb{E}(E) = \mathbb{E}(E') = 0\), segue direttamente:
\[ \mathbb{E}(X) = \mathbb{E}(X') . \]
Analogamente, per i test paralleli deve valere anche l’uguaglianza delle varianze dei punteggi osservati:
\[ \mathbb{V}(X) = \mathbb{V}(X') . \]
La dimostrazione si articola chiaramente:
\[ \mathbb{V}(X) = \mathbb{V}(T + E) = \mathbb{V}(T) + \mathbb{V}(E) \]
\[ \mathbb{V}(X') = \mathbb{V}(T' + E') = \mathbb{V}(T') + \mathbb{V}(E') \]
Considerando che \(T = T'\) e \(\mathbb{V}(E) = \mathbb{V}(E')\), si conferma immediatamente che:
\[ \mathbb{V}(X) = \mathbb{V}(X'). \]
Infine, per costruzione, la CTT assume che gli errori di misurazione \(E\) ed \(E'\) siano indipendenti dal punteggio vero \(T\) e siano incorrelati tra loro:
\[ \text{Cov}(E, T) = \text{Cov}(E', T') = \text{Cov}(E, E') = 0 . \]
Queste proprietà costituiscono i requisiti essenziali per la validità pratica ed empirica del metodo delle forme parallele, e consentono di stimare in modo affidabile il coefficiente di attendibilità del test tramite la correlazione tra le due misurazioni parallele.
9.8 La Correlazione tra Due Forme Parallele del Test
Vediamo ora come dimostrare formalmente che, sotto le ipotesi della CTT, la correlazione tra due versioni parallele del test coincide esattamente con il rapporto tra la varianza del punteggio vero e la varianza del punteggio osservato.
Supponiamo, per semplicità e senza perdita di generalità, che \(\mathbb{E}(X) = \mathbb{E}(X') = \mathbb{E}(T) = 0\). Questa scelta semplifica i calcoli e porta alla seguente formulazione:
\[ \begin{aligned} \rho_{X X^\prime} &= \frac{\sigma(X, X^\prime)}{\sigma(X) \sigma(X^\prime)} \\ &= \frac{\mathbb{E}(XX^\prime)}{\sigma(X) \sigma(X^\prime)} \\ &= \frac{\mathbb{E}[(T+E)(T+E^\prime)]}{\sigma(X) \sigma(X^\prime)} \\ &= \frac{\mathbb{E}(T^2) + \mathbb{E}(TE^\prime) + \mathbb{E}(TE) + \mathbb{E}(EE^\prime)}{\sigma(X) \sigma(X^\prime)}. \end{aligned} \]
Poiché gli errori \(E\) ed \(E'\) sono incorrelati con \(T\) e tra loro, abbiamo \(\mathbb{E}(TE) = \mathbb{E}(TE^\prime) = \mathbb{E}(EE^\prime) = 0\). Inoltre, per ipotesi di parallelismo, \(\sigma(X) = \sigma(X^\prime) = \sigma_X\). Quindi, otteniamo il risultato finale:
\[ \rho_{X X^\prime} = \frac{\mathbb{E}(T^2)}{\sigma_X \sigma_X} = \frac{\sigma^2_T}{\sigma^2_X}. \tag{9.7}\]
Questo risultato è estremamente rilevante poiché permette di collegare la correlazione osservabile tra due forme parallele \(\rho_{X X'}\) con la correlazione teorica (non direttamente osservabile) tra il punteggio osservato e quello vero:
\[ \rho^2_{XT} = \rho_{XX^\prime}. \tag{9.8}\]
Questa equazione giustifica l’uso empirico della correlazione tra forme parallele (ad esempio, tramite metodo split-half) per stimare l’affidabilità del test.
9.9 La correlazione tra Punteggio Osservato e Punteggio Vero
L’equazione Equazione eq-rho2xt-rhoxx può essere riscritta per esprimere direttamente la correlazione tra punteggio osservato e punteggio vero:
\[ \rho_{XT} = \sqrt{\rho_{XX^\prime}}. \]
Quindi, la radice quadrata della correlazione tra due forme parallele del test fornisce la correlazione tra il punteggio osservato e il punteggio reale.
Verifica empirica:
cor(X, T)
#> [1] 0.81659.10 I Fattori che Influenzano l’Attendibilità
Le seguenti tre equazioni riassumono concisamente i criteri fondamentali per valutare l’affidabilità di un test:
\[ \rho^2_{XT} = \rho_{XX'},\quad \rho_{XT}^2 = \frac{\sigma_{T}^2}{\sigma_X^2}, \quad \rho_{XT}^2 = 1 - \frac{\sigma_{E}^2}{\sigma_X^2}. \]
Da queste espressioni possiamo identificare tre condizioni equivalenti che descrivono un test altamente attendibile:
- una correlazione elevata tra le due forme parallele del test;
- una varianza del punteggio vero notevolmente più ampia rispetto alla varianza del punteggio osservato;
- una varianza dell’errore di misurazione ridotta rispetto alla varianza complessiva del punteggio osservato.
Questi fattori svolgono un ruolo cruciale nella progettazione e nello sviluppo di strumenti psicometrici. In particolare, la selezione di item fortemente correlati tra loro aumenta l’affidabilità, perché contribuisce direttamente a incrementare la proporzione di varianza del punteggio vero rispetto alla varianza totale osservata.
9.11 Riflessioni Conclusive
L’affidabilità costituisce un concetto fondamentale all’interno della teoria della misurazione, poiché si riferisce alla coerenza dei punteggi in varie situazioni, come diverse configurazioni di item, versioni del test o momenti di somministrazione. Nel corso di questo capitolo, abbiamo esplorato le basi teoriche dell’affidabilità. All’interno della CTT, l’affidabilità è definita come la correlazione tra il punteggio vero e il punteggio osservato, oppure, equivalentemente, come uno meno la correlazione tra il punteggio di errore e il punteggio osservato. Dal momento che il punteggio vero non è direttamente osservabile, è necessario ricorrere a metodi alternativi per stimare l’affidabilità. Il metodo proposto dalla CTT per ottenere tale stima è quello della correlazione dei punteggi ottenuti da due test paralleli.
9.12 Session Info
sessionInfo()
#> R version 4.4.2 (2024-10-31)
#> Platform: aarch64-apple-darwin20
#> Running under: macOS Sequoia 15.3.2
#>
#> Matrix products: default
#> BLAS: /Library/Frameworks/R.framework/Versions/4.4-arm64/Resources/lib/libRblas.0.dylib
#> LAPACK: /Library/Frameworks/R.framework/Versions/4.4-arm64/Resources/lib/libRlapack.dylib; LAPACK version 3.12.0
#>
#> locale:
#> [1] C/UTF-8/C/C/C/C
#>
#> time zone: Europe/Rome
#> tzcode source: internal
#>
#> attached base packages:
#> [1] stats graphics grDevices utils datasets methods base
#>
#> other attached packages:
#> [1] modelsummary_2.3.0 ggokabeito_0.1.0 see_0.11.0
#> [4] MASS_7.3-65 viridis_0.6.5 viridisLite_0.4.2
#> [7] ggpubr_0.6.0 ggExtra_0.10.1 gridExtra_2.3
#> [10] patchwork_1.3.0 bayesplot_1.11.1 semTools_0.5-6
#> [13] semPlot_1.1.6 lavaan_0.6-19 psych_2.4.12
#> [16] scales_1.3.0 markdown_1.13 knitr_1.50
#> [19] lubridate_1.9.4 forcats_1.0.0 stringr_1.5.1
#> [22] dplyr_1.1.4 purrr_1.0.4 readr_2.1.5
#> [25] tidyr_1.3.1 tibble_3.2.1 ggplot2_3.5.1
#> [28] tidyverse_2.0.0 here_1.0.1
#>
#> loaded via a namespace (and not attached):
#> [1] rstudioapi_0.17.1 jsonlite_1.9.1 magrittr_2.0.3
#> [4] TH.data_1.1-3 estimability_1.5.1 farver_2.1.2
#> [7] nloptr_2.2.1 rmarkdown_2.29 vctrs_0.6.5
#> [10] minqa_1.2.8 base64enc_0.1-3 rstatix_0.7.2
#> [13] htmltools_0.5.8.1 broom_1.0.7 Formula_1.2-5
#> [16] htmlwidgets_1.6.4 plyr_1.8.9 sandwich_3.1-1
#> [19] emmeans_1.10.7 zoo_1.8-13 igraph_2.1.4
#> [22] mime_0.13 lifecycle_1.0.4 pkgconfig_2.0.3
#> [25] Matrix_1.7-3 R6_2.6.1 fastmap_1.2.0
#> [28] rbibutils_2.3 shiny_1.10.0 digest_0.6.37
#> [31] OpenMx_2.21.13 fdrtool_1.2.18 colorspace_2.1-1
#> [34] rprojroot_2.0.4 Hmisc_5.2-3 timechange_0.3.0
#> [37] abind_1.4-8 compiler_4.4.2 withr_3.0.2
#> [40] glasso_1.11 htmlTable_2.4.3 backports_1.5.0
#> [43] carData_3.0-5 ggsignif_0.6.4 corpcor_1.6.10
#> [46] gtools_3.9.5 tools_4.4.2 pbivnorm_0.6.0
#> [49] foreign_0.8-88 zip_2.3.2 httpuv_1.6.15
#> [52] nnet_7.3-20 glue_1.8.0 quadprog_1.5-8
#> [55] nlme_3.1-167 promises_1.3.2 lisrelToR_0.3
#> [58] grid_4.4.2 checkmate_2.3.2 cluster_2.1.8.1
#> [61] reshape2_1.4.4 generics_0.1.3 gtable_0.3.6
#> [64] tzdb_0.5.0 data.table_1.17.0 hms_1.1.3
#> [67] car_3.1-3 tables_0.9.31 sem_3.1-16
#> [70] pillar_1.10.1 rockchalk_1.8.157 later_1.4.1
#> [73] splines_4.4.2 lattice_0.22-6 survival_3.8-3
#> [76] kutils_1.73 tidyselect_1.2.1 miniUI_0.1.1.1
#> [79] pbapply_1.7-2 reformulas_0.4.0 stats4_4.4.2
#> [82] xfun_0.51 qgraph_1.9.8 arm_1.14-4
#> [85] stringi_1.8.4 pacman_0.5.1 boot_1.3-31
#> [88] evaluate_1.0.3 codetools_0.2-20 mi_1.1
#> [91] cli_3.6.4 RcppParallel_5.1.10 rpart_4.1.24
#> [94] xtable_1.8-4 Rdpack_2.6.3 munsell_0.5.1
#> [97] Rcpp_1.0.14 coda_0.19-4.1 png_0.1-8
#> [100] XML_3.99-0.18 parallel_4.4.2 jpeg_0.1-10
#> [103] lme4_1.1-36 mvtnorm_1.3-3 openxlsx_4.2.8
#> [106] rlang_1.1.5 multcomp_1.4-28 mnormt_2.1.1