Can We Really Leverage AI-Assisted Automatic Item Generation for Psychological Scale Development?

Artículo empírico que examina la calidad de los elementos generados por modelos de lenguaje grande (LLM) para el desarrollo de escalas psicológicas. A través de cuatro estudios preregistrados, los autores compararon elementos generados por inteligencia artificial con escalas de referencia humanas en términos de estructura factorial, confiabilidad y validez. Se evaluaron cuatro LLM usando tres estrategias de indicaciones para tres constructos diversos: autoestima global, atención plena y "resolución" (faceta nueva de fluidez cognitiva). Los elementos generados por IA mostraron validez sólida después de eliminar ítems de baja calidad, pero su estructura factorial y confiabilidad variaron según el constructo. Las escalas de autoestima coincidieron con el referente humano, las de resolución mostraron desempeño intermedio y las de atención plena fueron las de peor rendimiento. Los hallazgos sugieren que los LLM aceleran la generación de elementos pero no pueden reemplazar el screening experto y la validación empírica.

Puntos clave

• Los elementos generados por IA para escalas psicológicas contenían muchos ítems de baja calidad, incluyendo duplicados cercanos, redundancias semánticas e ítems que medían constructos no intencionales.
• La estructura factorial y confiabilidad de las escalas generadas por IA variaron según el constructo: autoestima igualó el desempeño del referente humano, resolución mostró rendimiento intermedio y atención plena presentó el peor desempeño.
• La estrategia de indicaciones fue el predictor más fuerte de similitud entre elementos generados por humanos y IA para constructos establecidos, pero no para constructos noveles.
• Después de eliminar elementos de baja calidad mediante screening, las escalas generadas por IA demostraron validez sólida comparadas con medidas de criterio establecidas.

Para quién: Estudiantes, investigadores y docentes de psicología interesados en innovaciones metodológicas para el desarrollo de escalas psicométricas y aplicaciones de inteligencia artificial en medición psicológica.