Embedding qualitative data in LLM semantic space: A tutorial on conceptualization, measurement, and validation

Preprint que examina el uso de incrustaciones de modelos de lenguaje grandes (LLM) para analizar datos cualitativos en el espacio semántico. El trabajo prueba si la similitud coseno entre incrustaciones de texto puede reemplazar las correlaciones psicométricas convencionales en la estructura de datos de escala. Se evaluó contra patrones establecidos en datos abiertos: Big Five, PANAS bilingüe, valores de Schwartz, prestigio ocupacional de Pineo-Porter, y narrativas ISEAR y Kjell. La estructura lingüística sola no reprodujo la estructura psicométrica; los textos de ítems recuperaron solo parte, especialmente donde las relaciones portan signos. Las incrustaciones proporcionan una capa semántica entre el lenguaje natural y la codificación convencional, permitiendo que categorías se representen como coordenadas semánticas sin variables dummy y respuestas abiertas sin codificadores humanos. El autor ofrece marco conceptual, paquete R y tutorial sin requerir entrenamiento en Python.

Puntos clave

• Las incrustaciones de LLM producen coordenadas en espacio semántico donde el coseno indexa similitud textual, pero no reproducen completamente la estructura psicométrica de escalas establecidas.
• Los textos de ítems recuperan solo parte de la estructura psicométrica, particularmente en relaciones que portan signos, quedando lejos del desempeño aleatorio esperado.
• Las incrustaciones semánticas permiten que respuestas abiertas se representen como coordenadas sin codificadores humanos, y categorías como diagnósticos u ocupaciones se conviertan en variables continuas en lugar de variables dummy.
• La estructura lingüística de las palabras solas no es suficiente para reproducir la estructura psicométrica que los respondentes aportan a una escala de medición.
• Un análisis cualitativo longitudinal o segmentado puede convertir respuestas largas en trayectorias semánticas donde se detectan desviaciones, retornos y cambios gradientes.

Para quién: Psicólogos, investigadores cualitativos y docentes latinoamericanos interesados en métodos innovadores para codificar y analizar datos abiertos con herramientas de procesamiento de lenguaje natural sin requerir programación avanzada.