Prompt Engineering for Scale Development in Generative Psychometrics

Preprint que examina mediante simulación de Monte Carlo cómo estrategias de ingeniería de prompts (prompt engineering) influyen en la calidad de reactivos de evaluación de personalidad generados por modelos de lenguaje grandes (LLM) dentro del marco AI-GENIE para psicometría generativa. Se generaron bancos de reactivos dirigidos a los Cinco Grandes utilizando múltiples diseños de prompts (zero-shot, few-shot, basados en persona y adaptativos), temperaturas de modelo y distintos LLM, luego evaluados con métodos psicométricos de redes. Los resultados muestran que AI-GENIE mejoró consistentemente la validez estructural tras la reducción de reactivos, y que el prompt adaptativo superó estrategias no adaptativas al reducir redundancia semántica y preservar mayores bancos de reactivos, especialmente con modelos de mayor capacidad, con robustez relativa a la temperatura del modelo.

Puntos clave

• La ingeniería de prompts (prompt design) ejerce influencia sustancial en la calidad de reactivos tanto antes como después de la reducción psicométrica en generación automática.
• El prompt adaptativo supera consistentemente a estrategias de zero-shot, few-shot y basadas en persona al reducir redundancia semántica y elevar la validez estructural previa a reducción.
• El método AI-GENIE mejora de forma confiable la validez estructural tras la reducción de reactivos, con mayor impacto cuanto menor sea la calidad del banco inicial.
• Los beneficios del prompt adaptativo escalan con la capacidad del modelo de lenguaje, aunque el GPT-4o muestra sensibilidad específica a temperaturas altas que limita esa ventaja.

Para quién: Investigadores en psicometría, desarrolladores de instrumentos de evaluación y especialistas en aplicaciones de inteligencia artificial en ciencias sociales que necesitan optimizar la generación y validación automática de reactivos psicológicos.