"Definitely not to be fully relied on, but useful all the same": Developing critical AI literacy through structured assessment redesign in postgraduate health management education

Este preprint presenta un estudio de caso sobre el rediseño de una evaluación en un curso de postgrado en gestión sanitaria en UNSW Sydney (Australia), 2025. Los autores describen una intervención que requiere a estudiantes usar inteligencia artificial generativa para analizar un plan estratégico organizacional y reflexionar críticamente sobre sus resultados, en lugar de prohibir su uso. El objetivo es desarrollar alfabetización crítica en IA, entendida como la capacidad de evaluar críticamente outputs de IA, reconocer sesgos y limitaciones, e interrogar sus implicaciones para la equidad sanitaria. Los hallazgos muestran que, aunque la intervención fue bien recibida y se observó mejora en calificaciones (promedio 87.8% versus 81.7% en años previos), emergieron tensiones: algunos estudiantes experimentaron ansiedad por mensajes previos prohibitivos, otros consideraron la IA distractora del contenido sustantivo, y muchos interactuaron con la IA de forma instrumental más que crítica. Los autores concluyen que desarrollar alfabetización crítica en IA requiere secuenciación, andamiaje explícito, alineación profesional e integración a nivel curricular completo.

Puntos clave

• La alfabetización crítica en IA, basada en pedagogía crítica freireana, trasciende competencia funcional para examinar estructuras de poder, sesgos y quién resulta privilegiado o marginado por los sistemas de IA.
• Desarrollar capacidad de evaluación crítica de outputs de IA representa un objetivo más alcanzable y esencial que la fluidez técnica en IA para estudiantes de postgrado en salud pública y gestión sanitaria.
• El rediseño de la evaluación requiriendo uso obligatorio de IA con reflexión estructurada normalizó la interacción con IA mientras exponía sus limitaciones, aunque la evaluación crítica más profunda fue más difícil de lograr de lo anticipado.
• La tensión pedagógica central existe entre un enfoque de integridad académica que trata la IA como amenaza detectada y castigada, versus un enfoque de capacidad profesional que la entiende como herramienta a evaluar y usar críticamente.
• La ausencia de respuesta institucional consistente y educación previa prohibitiva en otras asignaturas contribuyó a que algunos estudiantes experimentaran ansiedad, sugiriendo que la integración de IA debe ocurrir a nivel de programa completo, no en intervenciones aisladas.

Para quién: Educadores, diseñadores curriculares y administradores de programas de postgrado en salud pública, gestión sanitaria y profesiones de la salud que buscan integrar críticamente la IA generativa en evaluaciones y competencias profesionales.