Student Evaluations of Teaching Fail to Predict Learning: Meta-Analysis of Bias, Grade Inflation, and Incentive Distortion in Higher Education

Sixbert Sangwa; Simeon Nsabiyumva

doi:10.35542/osf.io/9sde6_v1

PreprintDescarga libreInglés

Student Evaluations of Teaching Fail to Predict Learning: Meta-Analysis of Bias, Grade Inflation, and Incentive Distortion in Higher Education

Sixbert Sangwa; Simeon Nsabiyumva

Año: 2025
DOI: 10.35542/osf.io/9sde6_v1 (se abre en una pestaña nueva)
Licencia: CC BY

Resumen ADIPA

Elaborado con IA a partir del resumen de los autores

Metaanálisis integrado de cinco fuentes de evidencia secundaria que examina la validez de las evaluaciones estudiantiles del desempeño docente (SET) en educación superior. El estudio sintetiza 89 investigaciones con aproximadamente 5,4 millones de estudiantes, reanaliza bases de datos con asignación aleatoria de docentes, audita 14 instrumentos institucionales, analiza 2,1 millones de comentarios abiertos y vincula calificaciones departamentales a resultados de egresados y empleadores. Los hallazgos muestran que la correlación entre SET y desempeño posterior es r = 0,04, tornándose negativa tras controlar por calificaciones. Departamentos que condicionan estabilidad laboral a umbrales mínimos de SET exhiben inflación de calificaciones. Se detecta funcionamiento diferencial de ítems contra docentes mujeres y minorizados. Programas con promedios SET altos no muestran ventajas en empleabilidad ni satisfacción empleadora. Concluye que SET no reflejan aprendizaje duradero, generan inequidades y su uso de alto riesgo incentiva leniencia que erosiona estándares académicos.

Puntos clave

La correlación entre evaluaciones estudiantiles del desempeño docente y aprendizaje posterior es prácticamente nula (r = 0,04) y se vuelve negativa cuando se controla por inflación de calificaciones.
Departamentos que vinculan decisiones contractuales a umbrales mínimos de SET producen incrementos de 0,27 puntos en GPA, indicador de inflación de calificaciones más que mejora educativa.
Las evaluaciones estudiantiles presentan funcionamiento diferencial de ítems contra docentes mujeres y de minorías racializadas, comprometiendo la invariancia de medición y equidad.
Programas con elevados promedios de SET no demuestran ventajas en preparación laboral de egresados ni en satisfacción de empleadores, desacoplando estas evaluaciones de resultados reales.

Para quién: Directivos universitarios, docentes y diseñadores de políticas de educación superior que buscan mejora auténtica de la enseñanza y equidad laboral mediante sistemas de evaluación válidos y que no reproduzcan sesgos.

Resumen de los autores

Background. End-of-course student evaluations of teaching (SETs) remain the dominant gauge of instructional quality, yet their validity and fairness have been repeatedly questioned. Purpose. This study re-examines whether SET scores capture durable learning and explores how high-stakes reliance on those scores reshapes academic behaviour. Methods. We integrated five complementary strands of secondary evidence: (a) a PRISMA-registered meta-analysis of 89 studies covering ≈5.4 million students, (b) re-analysis of two natural-experiment datasets with random instructor assignment, (c) psychometric audits of 14 institutional SET instruments, (d) computational text mining of 2.1 million open-ended comments, and (e) linkage of departmental SET means to alumni and employer outcomes. Results. Across studies, the pooled random-effects correlation between SETs and subsequent performance was r = 0.04 (95 % CI –0.03, 0.10), turning slightly negative after grade controls. Departments that tied contract renewal to minimum-SET thresholds exhibited a 0.27 GPA-point rise relative to matched controls, signalling grade inflation. Differential item functioning against female and racially minoritised faculty appeared in 9 of 23 common items, undermining measurement invariance. Programmes with high SET averages showed no advantage in alumni career readiness or employer satisfaction. Conclusions. Convergent evidence demonstrates that SETs fail to reflect long-term learning and introduce equity harms; their high-stakes use incentivises leniency that erodes academic standards. Universities seeking genuine teaching excellence should treat SETs as formative feedback, decouple them from punitive decisions, and adopt stakeholder-anchored, multi-measure frameworks that align evaluation with demonstrable learning.

Áreas y palabras clave

Educación y psicopedagogía Metodología de la investigación grade inflation higher education assessment incentive distortion measurement bias meta-analysis student evaluations of teaching teaching effectiveness

Cómo citar (APA 7)

Sangwa, S., & Nsabiyumva, S. (2025). Student Evaluations of Teaching Fail to Predict Learning: Meta-Analysis of Bias, Grade Inflation, and Incentive Distortion in Higher Education. https://doi.org/10.35542/osf.io/9sde6_v1

BibTeX RIS (Zotero, Mendeley, EndNote)CSL-JSON

Student Evaluations of Teaching Fail to Predict Learning: Meta-Analysis of Bias, Grade Inflation, and Incentive Distortion in Higher Education

Resumen ADIPA

Puntos clave

Resumen de los autores

Áreas y palabras clave

Cómo citar (APA 7)

Student Evaluations of Teaching Fail to Predict Learning: Meta-Analysis of Bias, Grade Inflation, and Incentive Distortion in Higher Education

Resumen ADIPA

Puntos clave

Resumen de los autores

Áreas y palabras clave

Cómo citar (APA 7)

Relacionados