A Review of Automatic Item Generation Techniques Leveraging Large Language Models

Bin Tan; Nour Armoush; Elisabetta Mazzullo; Okan Bulut; Mark J. Gierl

doi:10.35542/osf.io/6d8tj

PreprintDescarga libreInglés

A Review of Automatic Item Generation Techniques Leveraging Large Language Models

Bin Tan; Nour Armoush; Elisabetta Mazzullo; Okan Bulut; Mark J. Gierl

Año: 2024
DOI: 10.35542/osf.io/6d8tj (se abre en una pestaña nueva)
Licencia: CC BY

Resumen ADIPA

Elaborado con IA a partir del resumen de los autores

Artículo de revisión sistemática de la generación automática de ítems (AIG) mediante modelos de lenguaje grandes (LLM) en medición educativa, publicado en 2024. Los autores sintetizan 60 estudios que emplean LLM en el proceso de AIG, identificando modelos más usados, aplicaciones específicas y características de los ítems generados. Hallaron que los LLM son flexibles y efectivos para generar diversos tipos de ítems en múltiples idiomas y dominios temáticos. No obstante, muchos estudios descuidaron la calidad de los ítems generados, revelando una débil fundamentación educativa. La revisión enfatiza la necesidad urgente de integrar teorías del aprendizaje y medición en investigaciones futuras, proponiendo colaboraciones interdisciplinarias.

Puntos clave

Los modelos de lenguaje grandes demuestran flexibilidad para generar ítems de diferentes tipos, idiomas y dominios, pero sin garantía de calidad educativa.
La investigación en generación automática de ítems y desarrollo computacional de preguntas educativas históricamente operaron en paralelo hasta la emergencia de los LLM como catalizador de convergencia.
La mayoría de estudios sobre LLM para AIG carece de fundamentos sólidos en teorías de aprendizaje y medición, limitando la validez educativa de los ítems generados.
La integración de teorías educativas con capacidades técnicas de los LLM es crucial para asegurar que los ítems generados automáticamente cumplan estándares de calidad en medición.

Para quién: Investigadores, docentes y especialistas en medición educativa que diseñan instrumentos de evaluación y buscan aprovechar inteligencia artificial para generar ítems con fundamento teórico sólido.

Resumen de los autores

Over a decade ago, automatic item generation (AIG) was introduced to meet the increasing need for high-quality items in educational measurement. Around the same time, a new area of research in computer science began to develop questions for educational use. Historically, researchers from these two domains had little knowledge or communication with one another. However, the development of pre-trained large language models (LLMs) has sparked the interest of researchers from both domains in applying these models for automatically creating items. With similar objectives and methodologies, these two research domains appear to be converging on how to address the problems in this field. The purpose of this study is to provide a review of the current state of research by synthesizing existing studies on the use of LLMs for AIG. By combining research from both domains, we examine the utility and potential of LLMs for AIG. We performed a comprehensive literature review in seven research databases, selected studies based on predefined criteria, and summarized 60 relevant studies that employed LLMs in the AIG process. We identified the most commonly used LLMs in current AIG literature, their specific applications in the AIG process, and the characteristics of the generated items. We found that LLMs are flexible and effective in generating various types of items based on different languages and subject domains. However, many studies have overlooked the quality of the generated items, indicating a lack of a solid educational foundation. This review emphasizes the urgent need for greater integration of learning and measurement theories in future AIG research. We share two suggestions to enhance the educational foundation for leveraging LLMs in AIG, advocating for interdisciplinary collaborations to exploit the utility and potential of LLMs.

Áreas y palabras clave

Educación y psicopedagogía Metodología de la investigación

Cómo citar (APA 7)

Tan, B., Armoush, N., Mazzullo, E., Bulut, O., & Gierl, M. J. (2024). A Review of Automatic Item Generation Techniques Leveraging Large Language Models. https://doi.org/10.35542/osf.io/6d8tj

BibTeX RIS (Zotero, Mendeley, EndNote)CSL-JSON

A Review of Automatic Item Generation Techniques Leveraging Large Language Models

Resumen ADIPA

Puntos clave

Resumen de los autores

Áreas y palabras clave

Cómo citar (APA 7)

A Review of Automatic Item Generation Techniques Leveraging Large Language Models

Resumen ADIPA

Puntos clave

Resumen de los autores

Áreas y palabras clave

Cómo citar (APA 7)

Relacionados