Cultural Alignment and Biases in Qualitative Coding: Comparing GPT and Human Coders

Zhanlan Wei; Xiner Liu; Amanda Barany; Jaclyn Ocumpaugh; Shruti Mehta; Nidhi Nasiar; Ryan Shaun Baker; Andres Felipe Zambrano; Kirk Vanacore; Camille Giordano

doi:10.35542/osf.io/h8u4f_v1

PreprintDescarga libreInglés

Cultural Alignment and Biases in Qualitative Coding: Comparing GPT and Human Coders

Zhanlan Wei; Xiner Liu; Amanda Barany; Jaclyn Ocumpaugh; Shruti Mehta; Nidhi Nasiar; Ryan Shaun Baker; Andres Felipe Zambrano; Kirk Vanacore; Camille Giordano

Año: 2025
DOI: 10.35542/osf.io/h8u4f_v1 (se abre en una pestaña nueva)
Licencia: CC BY

Resumen ADIPA

Elaborado con IA a partir del resumen de los autores

Estudio empírico que examina cómo las perspectivas culturales influyen en la codificación cualitativa de datos y si los modelos de lenguaje grande (LLM) pueden replicar decisiones de codificación específicas de cada cultura. Se compararon decisiones de codificadores de tres contextos culturales (China, India, Estados Unidos) con códigos generados por GPT bajo dos condiciones: prompting estándar y culturalmente específico. Se analizó el acuerdo y divergencia en la codificación entre grupos culturales y entre humanos y GPT, junto con las justificaciones de los codificadores. Los resultados mostraron bajo acuerdo entre codificadores de diferentes culturas al interpretar constructos subjetivos, indicando que utilizan marcos interpretativos culturalmente informados. GPT se alineó más con codificadores estadounidenses y tuvo dificultades para reconocer claves culturales implícitas, incluso con prompting culturalmente específico. El estudio subraya la importancia de integrar perspectivas émica y ética en la codificación cualitativa.

Puntos clave

La codificación cualitativa de constructos subjetivos está moldeada por el trasfondo cultural del codificador, lo que resulta en bajo acuerdo entre investigadores de diferentes culturas.
Los modelos de lenguaje grande tienden a alinearse más estrechamente con perspectivas de codificadores estadounidenses y no logran reconocer señales culturales implícitas incluso cuando se les proporciona prompting culturalmente específico.
La integración de perspectivas émica (interna de la cultura) y ética (externa) en el proceso de codificación es fundamental para capturar la interpretación culturalmente informada de datos cualitativos en investigación educativa.

Para quién: Investigadores en educación, psicólogos cualitativos y desarrolladores de herramientas de inteligencia artificial que buscan comprender cómo las sesgos culturales afectan la codificación de datos y la integración responsable de LLM en investigación cualitativa.

Resumen de los autores

Qualitative coding—the interpretive labeling of data—is shaped by the researcher's cultural background, particularly when coding more subjective or culturally-grounded constructs that require interpretive judgment. As large language models (LLMs) are increasingly integrated into qualitative research in education, understanding how cultural perspectives influence coding decisions becomes critical. This study examines where and why researchers from different cultures diverge in their interpretations, and whether LLMs can approximate culture-specific human coding decisions when integrated into this process. We compared coding decisions from three cultural backgrounds (China, India, United States) with qualitative coding produced by GPT under two prompting conditions: baseline and culture-specific. Drawing on emic-etic perspectives, we analyzed coding agreement and divergence across cultural groups and between humans and GPT, along with coders' rationales. Results show that cross-cultural coding agreement was relatively low, suggesting that coders relied on culturally informed interpretive frames when interpreting subjective constructs. When integrating GPT into coding, the model aligned more closely with U.S. coders and struggled to recognize implicit cultural cues—even when prompted to adopt specific cultural lenses. These findings highlight the value of incorporating both emic and etic perspectives in coding and the challenges of integrating LLMs into the process.

Áreas y palabras clave

Metodología de la investigación Coding reliability Cross-cultural analysis Culture Emic/etic GPT Large language models Qualitative research

Cómo citar (APA 7)

Wei, Z., Liu, X., Barany, A., Ocumpaugh, J., Mehta, S., Nasiar, N., Baker, R. S., Zambrano, A. F., Vanacore, K., & Giordano, C. (2025). Cultural Alignment and Biases in Qualitative Coding: Comparing GPT and Human Coders. https://doi.org/10.35542/osf.io/h8u4f_v1

BibTeX RIS (Zotero, Mendeley, EndNote)CSL-JSON

Cultural Alignment and Biases in Qualitative Coding: Comparing GPT and Human Coders

Resumen ADIPA

Puntos clave

Resumen de los autores

Áreas y palabras clave

Cómo citar (APA 7)

Cultural Alignment and Biases in Qualitative Coding: Comparing GPT and Human Coders

Resumen ADIPA

Puntos clave

Resumen de los autores

Áreas y palabras clave

Cómo citar (APA 7)

Relacionados