An Examination of the Performance of Variance Estimators in International Large-Scale Assessments

Umut Atasever; Sabine Meinck; Diego Cortes

doi:10.35542/osf.io/tpeqs_v1

PreprintDescarga libreInglés

An Examination of the Performance of Variance Estimators in International Large-Scale Assessments

Umut Atasever; Sabine Meinck; Diego Cortes

Año: 2026
DOI: 10.35542/osf.io/tpeqs_v1 (se abre en una pestaña nueva)
Licencia: CC BY

Resumen ADIPA

Elaborado con IA a partir del resumen de los autores

Preprint de 2026 que examina el desempeño de estimadores de varianza muestral ampliamente utilizados en evaluaciones internacionales a gran escala: Balanced Repeated Replication (BRR), Jackknife Repeated Replication (JK2) en variantes Half y Full, y Bootstrapping. El estudio recurre a simulación Monte Carlo que replica el diseño muestral de una población de grado 4 de TIMSS, con muestreo estratificado de dos etapas (escuelas y aulas). Varía tamaños muestrales (30 a 150 escuelas), escenarios con números impares de escuelas y tratamientos de no respuesta. Los resultados indican que para estadísticas suaves como medias, BRR sin ajuste Fay, JK2 y Bootstrapping generan estimaciones altamente precisas, destacándose JK2 en precisión. Para estadísticas no suaves (percentiles), Bootstrapping y BRR superan a JK2. Las variantes JK2 Full e Half tienen desempeño equivalente. Bajo no respuesta escolar, métodos comunes de construcción de estratos de varianza producen sobre o subestimación sistemática.

Puntos clave

Para estadísticas suaves como medias en evaluaciones internacionales a gran escala, BRR sin ajuste Fay, JK2 y Bootstrapping producen estimaciones de varianza altamente precisas, con JK2 demostrando la máxima precisión en la mayoría de condiciones.
Bootstrapping y BRR superan a JK2 en exactitud y precisión para estadísticas no suaves como percentiles en diseños de muestreo estratificado de dos etapas.
La variante Full del Jackknife Repeated Replication no ofrece ventajas de precisión respecto a la variante Half, a pesar de su mayor demanda computacional.
Los ajustes Fay no mejoran el desempeño de JK2, mientras que BRR funciona mejor con factores Fay bajos (10% y 30%) que con el ajuste convencional del 50%.
Bajo escenarios de no respuesta escolar, los enfoques comunes de construcción de estratos de varianza generan sobreestimación o subestimación sistemática del error muestral.

Para quién: Investigadores, estadísticos y profesionales que diseñan o analizan evaluaciones internacionales a gran escala y necesitan elegir estimadores de varianza muestral adecuados para sus diseños de muestreo complejos.

Resumen de los autores

Background: The primary objective of this study is to examine the performance of widely used sampling variance estimators in international large-scale assessments (ILSAs): Balanced Repeated Replication (BRR) and Jackknife Repeated Replication (JK2; Half and Full variants). We also investigate the impact of Fay modification factors (10%, 30%, and 50%) and evaluate Bootstrapping as an alternative variance estimator for clustered sampling. Methods: A Monte Carlo simulation mirroring the sampling design of a TIMSS Grade 4 population was conducted. Probability samples were repeatedly drawn under a two-stage stratified cluster sampling design with schools as primary sampling units and classes as secondary sampling units. The simulation varied school sample sizes (30, 50, 100, and 150 schools), considered scenarios with odd numbers of schools within explicit strata, and examined different treatments of school non-response. For each scenario, 1,000 samples were drawn, and the performance of the variance estimators was assessed by comparing the estimated sampling errors with the "true" sampling errors approximated from the sampling distributions of the estimates. Results: The results showed that, for smooth statistics such as means, BRR without Fay adjustment, JK2, and Bootstrapping produced highly accurate variance estimates, with JK2 showing the highest precision across conditions. For non-smooth statistics, including percentiles, Bootstrapping and BRR outperformed JK2 in both accuracy and precision. The JK2 Half and Full variants performed virtually identically, suggesting no precision advantage of the computationally more intensive Full variant. Fay adjustments did not improve JK2 performance, whereas BRR performed better with lower Fay factors (10% and 30%) than with the conventional 50% adjustment. Under school non-response scenarios, common approaches to variance strata construction led to systematic over- or underestimation of sampling variance. Conclusions: Overall, the study provides empirical guidance on the application of replication-based variance estimators in ILSAs under varying statistical conditions and sampling designs.

Áreas y palabras clave

Educación y psicopedagogía Metodología de la investigación complex sample designs large-scale assessments Monte Carlo simulation replication methods sampling variance estimators

Cómo citar (APA 7)

Atasever, U., Meinck, S., & Cortes, D. (2026). An Examination of the Performance of Variance Estimators in International Large-Scale Assessments. https://doi.org/10.35542/osf.io/tpeqs_v1

BibTeX RIS (Zotero, Mendeley, EndNote)CSL-JSON

An Examination of the Performance of Variance Estimators in International Large-Scale Assessments

Resumen ADIPA

Puntos clave

Resumen de los autores

Áreas y palabras clave

Cómo citar (APA 7)

An Examination of the Performance of Variance Estimators in International Large-Scale Assessments

Resumen ADIPA

Puntos clave

Resumen de los autores

Áreas y palabras clave

Cómo citar (APA 7)

Relacionados