Identifying optimal indicators of performance using automated written-expression curriculum-based measurement: An examination of genre effects

Preprint de 2026 que examina la validez de puntuaciones automatizadas de calidad escritural generadas con writeAlizer, una herramienta de código abierto, en muestras narrativas, expositivas y persuasivas de 244 estudiantes de tercero a quinto grado. Se compararon los modelos de writeAlizer específicos y no específicos según el género contra calificaciones humanas mediante comparaciones pareadas y medidas de criterio normalizadas, incluyendo la herramienta comercial Project Essay Grade. Los resultados muestran que las puntuaciones de writeAlizer presentan correlaciones fuertes (r > .90) con calificaciones humanas, sin ventaja clara para modelos específicos de género. Las muestras individuales mostraron relaciones moderadas con medidas de criterio (r = .40 a .68). La validez fue más sólida cuando múltiples muestras se modelaron como indicadores de calidad latente (r = .88), sugiriendo que varios textos son necesarios para decisiones técnicamente adecuadas de detección de riesgo escritural.

Puntos clave

• Las puntuaciones automatizadas de writeAlizer correlacionan fuertemente (r > .90) con calificaciones humanas en muestras de escritura narrativa, expositiva y persuasiva de estudiantes de primaria.
• Los modelos de writeAlizer específicos según el género no muestran ventaja clara respecto a los no específicos para evaluar calidad de escritura en mediciones curriculares.
• Las muestras individuales de escritura predicen moderadamente (r = .40 a .68) medidas normalizadas de desempeño, similar al desempeño de la herramienta comercial Project Essay Grade.
• Múltiples muestras de escritura modeladas como indicadores de calidad latente alcanzan validez predictiva más fuerte (r = .88) para la detección de estudiantes en riesgo.

Para quién: Sirve a investigadores, psicólogos escolares y docentes que diseñan o evalúan sistemas de detección de dificultades de escritura y requieren alternativas automatizadas viables técnicamente para screening de estudiantes de primaria.