Генерация учебных задач при помощи генеративных моделей
| Описание события | Доклад на конференции, Д.В. Сошников, В.В.Буров, Е.Д. Патаракин // Доклад. ИНФОРМАТИЗАЦИЯ ОБРАЗОВАНИЯ И МЕТОДИКА ЭЛЕКТРОННОГО ОБУЧЕНИЯ: ЦИФРОВЫЕ ТЕХНОЛОГИИ В ОБРАЗОВАНИИ VII Международная научная конференция Красноярск, 19-22 сентября 2023 г. |
|---|---|
| Тип события | |
| Начало | 2023-09-20T12:10:38.000Z |
| Окончание | 2023-09-20T12:30:38.000Z |
| color | orange |
| Адрес события | Красноярск |
| Видео запись события | |
| Среды и средства, которые использовались в рамках события | GenAI |
| Формируемые в рамках события компетенции | |
| Область знаний | Информатика, Искусственный интеллект |
| Местоположение | 55° 59' 42.48" N, 92° 48' 6.10" E |
| Карта |
Генерация учебных задач при помощи генеративных моделей
Аннотация
В работе представлены современные подходы к генерации учебных задач и вопросов при помощи искусственного интеллекта. Проведено картирование библиометрических материалов из крупнейших открытых для России баз научной информации Lense, Dimension и Digital Library ACM. Выделены работы, представляющее два ведущих взаимосвязанных направления - краудсорсинговую и автоматическую генерацию вопросов. Предложена общая схема обучающей системы на основе генеративных языковых моделей.
- Ключевые слова
- artificial intelligence-generated content (AIGC)
The paper presents modern approaches to the generation of educational tasks and questions using artificial intelligence. A mapping of bibliometric materials from the largest open databases of scientific information - Lense, Dimension, Digital Library ACM, has been conducted. Works representing two leading interconnected directions - crowdsourcing and automatic question generation - have been highlighted. A general scheme of a training system based on generative language models is proposed.
- Keywords
- artificial intelligence-generated content (AIGC)
Картирование библиометрического поля
Актуальность тематики автоматической генерации учебных задач значительно возросла в последние годы благодаря появлению новых мощных генеративных моделей. Для того, чтобы выбрать наиболее перспективное направление разработки мы провели картирование библиометрического поля по данной тематике. Для картирования библиометрической информации по теме генерации учебных заданий и вопросов мы использовали три крупнейшие и доступные в настоящее время в России библиографические базы данных Lens, Dimensions и Digital Library ACM. Lens - https://www.lens.org/ - бесплатная библиографическая база данных, которая предоставляет доступ к научной информации, с акцентом на патенты и цитирование патентов. Dimensions - https://app.dimensions.ai/discover/publication - научная база данных, которая охватывает различные типы научных публикаций, гранты, патенты. DL ACM - https://dl.acm.org/ платформа, на которой размещаются различные статьи и доклады, связанные с информатикой и технологиями. К каждой из этих баз мы сформулировали одинаковые вопросы с просьбой собрать публикации на тему автоматической генерации учебных заданий. Общая схема запроса выглядит следующим образом:
[All: "automatic question generation"] AND [E-Publication Date: (01/01/2010 TO 12/31/2023)]
В результате мы получили выборку из 60 статей DL ACM, выборку из 152 статей в Lens, и выборку из 342 статей Dimension. Все записи были сохранены и проверены в библиографическом менеджере Zotero, а затем представлены в виде карт в среде VOSviewer. Наиболее показательно картирование материалов из DL ACM, поскольку внутри библиотеки материалы подробно структурированы при помощи ключевых слов. Разбиение слов по кластерам представлено на рисунке. Более подробная информация с возможностью навигации и подобного рассмотрения отдельных групп доступна по ссылке https://tinyurl.com/y3rt7nrj
- Рисунок 1 Кластеры ключевых слов DL ACM по тематике генерации задач
На рисунке 1 в левой части хорошо различим кластер краудсорсингового создания вопросов и проверки (ответы на вопросы, генерация текстов из данных, краудсорсинг), а в правой части кластер автоматической генерации (искусственный интеллект, автоматическая генерация, вовлечение учащихся). При дальнейшем анализе публикаций мы обратили особое внимание именно на связь автоматической генерации вопросов и дальнейшей краудсоринговой проверки их качества. Так в обзорах систем генерации контента[1,2] представлены варианты генерации контента либо при поддержке ИИ (AI-assisted writing AIAW) либо генерация контента полностью силами ИИ (AI-generated writing - AIGW). Авторы подчеркивают, что программы генерации контента могут быть настроены таким образом, чтобы соответствовать формальным правилам создания учебного и проверочного материала, и их мощь связана с возможностями перевода из текстового формата в другие. Практический интерес представляет обзор систем автоматической генерации вопросов [3], в котором авторы формулируют проблему генерации вопросов, группируют системы создания вопросов, выделяя при этом отдельные системы генерации вопросов, связанные со специальными областями знаний.
Среди работ, посвященных генерации вопросов в цифровой библиотеке ACM, необходимо выделить обзор [4], в котором обсуждаются проблемы создания вопросов для систем обучения и различные уровни текста, которые могут быть использованы для генерации вопросов, статью о краудсорсинговой оценке вопросов с множественным выбором ответов по математике и химии [5], и работу по генерации вопросов на основании анализа изображений [6], что может иметь особое значение при генерации вопросов в таких областях как биология, химия и медицина. Среди публикаций, найденных в базе Dimensions, отметим обзор систем автоматической генерации вопросов с множественным выбором ответов [7], обзоры способов автоматической генерации текстов, вопросов и ответов [8,9], и работу по оцениванию автоматически созданных тестов для медицинского образования [10]. Среди публикаций в базе Lens следует были отмечены описание фреймворка по генерации вопросов с множественным выбором [11], и работу по генерации вопросов с множественным выбором, одним из результатов которой было создание обучающего чат-бота [12].
На основании анализа материалов были предложены следующие варианты создания учебных задач на базе отечественных систем генерации контента:
- Формирование заданий по курсу либо через дополнительное обучение большой языковой модели (ruGPT-3) на основе имеющегося датасета заданий, либо путем автоматической генерации заданий диалоговыми языковыми моделями YaGPT и GigaChat по фрагментам учебника с дальнейшей краудсорсинговой проверкой качества полученных заданий.
- Проверка заданий с помощью больших диалоговых языковых моделей за счет извлечения признаков с помощью больших языковых моделей и дальнейшей ручной проверки признаков с помощью алгоритмической процедуры, либо путем полного делегирования процесса проверки заданий большой языковой модели.
- Создание бата-ассистента, задачей которого будет состоять в том, чтобы отвечать на вопросы ученика, не выходя за пределы заданного предмета.
С учётом основных строительных блоков, описанных выше, общую схему обучающей системы на основе генеративных языковых моделей можно представить следующим образом: (Рисунок 2).
- Рисунок 2 Обобщенная схема обучающей системы
Эксперименты с моделями
В рамках экспериментальной настройки нейронной сети на генерацию заданий по естественно-научным дисциплинам мы использовали раздел из учебника «Биология» для 5 класса.
Фрагмент текста учебника, который был использован в качестве исходного
- Основные черты сходства объектов живой и неживой природы заключаются в том, что все они построены из одних и тех же структурных компонентов — химических элементов. Но, в объектах живой и неживой природы различно их соотношение. Тела живой природы на 98% состоят из четырёх элементов — углерода, кислорода, азота и водорода. Тела неживой природы могут не иметь в своём составе этих элементов, а состоять из других элементов и даже из одного. >> Признаки живого. Все объекты живой природы имеют ряд общих свойств и признаков. Они имеют клеточное строение, то есть их тела состоят из особых структур — клеток. Клетка представляет собой основную структурную единицу живого организма, которой присущи все признаки живого. Исключение составляют вирусы — опасные возбудители многих заболеваний растений, животных и человека. Они не имеют клеточного строения, и их жизнедеятельность проявляется только тогда, когда они проникают в клетки живого организма. Для всех объектов живой природы характерна совокупность так называемых жизненных свойств, отсутствующая у объектов неживой природы. К ним, кроме клеточного строения, относятся движение, обмен веществ, рост, развитие, размножение, раздражение и др. Самым важным проявлением жизнедеятельности является обмен веществ, присущий всем объектам живой природы. Именно это свойство обеспечивает им возможность осуществлять остальные процессы жизнедеятельности. Объекты живой природы осуществляют жизнедеятельность до тех пор, пока в них извне поступают питательные вещества, вырабатывается энергия и из них удаляются ненужные и вредные продукты жизнедеятельности. Обмен веществ у разных объектов живой природы включает в себя несколько взаимосвязанных процессов, обеспечивающих в них непрерывный поток вещества и энергии, необходимой для осуществления жизнедеятельности. Среди них: питание, дыхание и выделение. Объекты живой природы способны расти и развиваться. Количественные изменения в структуре любого природного тела называют ростом, а качественные — развитием. Оба этих свойства могут встречаться и у объектов неживой природы. Но только объектам живой природы свойственно упорядоченное, постепенное и последовательное развитие, связанное с реализацией наследственной информации, заложенной в их клетках. В процессе размножения организмы передают свои признаки, свойства и особенности развития из поколения в поколение Механизм передачи наследственных признаков един для всех живых организмов, но с ним вы познакомитесь в более старших классах. Таким образом, все перечисленные выше свойства и ряд других свойств в своей совокупности характерны только для живых организмов, а жизнь — это, пожалуй, самое сложное явление в окружающем нас мире. Как мы видим, объекты живой и неживой природы значительно отличаются друг от друга. Прежде всего, живые организмы различаются сложностью строения и высокой организованностью протекающих в них процессов жизнедеятельности. Однако все они тесно связаны между собой. На это указывает, прежде всего, единство их химического состава. Кроме того, уничтожение неживой природы неизбежно влечёт за собой гибель всего живого. Неразумная деятельность человека в природе, часто осуществляемая без учёта взаимозависимости её компонентов, может привести к очень серьёзным последствиям, опасным, прежде всего, для самого человека.
Целью эксперимента было построить набор вопросов к этому тексту, таких, чтобы ответы на эти вопросы содержались в тексте учебника. Для этой цели использовались модели ChatGPT-3.5, YaGPT и GigaChat.
Размер фрагмента: 3404 символа (с пробелами), что должно поместиться в размер контекста ChatGPT (4096) при посимвольной токенизации, и в размер контекстов других моделей (2048) при более агрессивной токенизации.
Сравнение моделей на генерации задач множественного выбора
Вопросы с вариантами ответа представляют собой простейший вид проверки знаний учащегося, и они наиболее просты в генерации. Для генерации вопроса использовался следующий промпт:
- Представь себе, что ты учитель биологии для младших школьников. Придумай 5 вопросов с вариантами ответа к следующему тексту
- <<ТЕКСТ>>
| ChatGPT-3.5 | YaGPT | GigaChat |
|---|---|---|
| Из чего состоят тела живой природы на 98%?
a) углерод, кислород, азот и железо b) углерод, кислород, азот и водород c) серебро, золото, медь и железо |
Как происходит передача наследственных признаков у живых организмов?
А) Посредством размножения. Б) Посредством питания. В) Посредством дыхания. Г) Посредством выделения. Д) Посредством передачи генов от родителей к потомству. |
Какие химические элементы входят в состав живых организмов на 98%?
а) Углерод, кислород, азот и водород б) Кислород, азот и водород в) Углерод, кислород, азот и водород г) Углерод, кислород, азот и водород |
| Какие свойства характерны только для объектов живой природы?
a) клеточное строение, движение и раздражение b) обмен веществ, рост и развитие c) передача наследственных признаков и выделение |
Что является основным признаком жизни?
А) Способность к размножению. Б) Способность к обмену веществ. В) Способность к росту и развитию. Г) Способность к движению. Д) Способность к саморегуляции. |
Что общего у объектов живой природы и неживой природы?
а) Все они построены из одних и тех же структурных компонентов — химических элементов б) В объектах живой и неживой природы различно соотношение между телами в) Все объекты живой природы имеют клеточное строение г) Объекты живой природы способны расти и развиваться |
| Что является основной структурной единицей живого организма?
a) молекула b) атом c) клетка |
Какие свойства объектов живой природы являются общими?
А) Клеточное строение. Б) Движение. В) Питание. Г) Размножение. Д) Обмен веществ. |
Что такое обмен веществ и какие процессы он включает?
а) Питание, дыхание и выделение — основные процессы обмена веществ б) Обмен веществ включает в себя питание, дыхание и выделение в) Обмен веществ включает в себя питание, дыхание и выделение г) Обмен веществ включает в себя питание, дыхание и выделение |
| Что отличает объекты живой природы от объектов неживой природы?
a) сложность строения и организованность процессов жизнедеятельности b) наличие вещества углерода в составе c) наличие клеточного строения |
Что отличает живые организмы от неживых?
А) Наличие дыхания и обмена веществ. Б) Наличие питания и выделения. В) Наличие роста и развития. Д) Наличие размножения и передачи наследственности. Е) Наличие сознания и мышления. |
Какие жизненные свойства отличают объекты живой природы от неживых?
а) Жизнедеятельность — главное проявление жизни б) Жизнедеятельность связана с обменом веществ в) Жизнедеятельность осуществляется благодаря движению и обмену веществ г) Жизнедеятельность сопровождается выделением продуктов жизнедеятельности |
| Какие последствия может привести неразумная деятельность человека в природе?
a) гибель всего живого и неживого b) опасность только для живой природы c) никаких последствий не будет |
В чем заключается сходство и различия между живым и неживым?
А) Живое и неживое отличаются по составу. Б) Живое и неживое имеют одинаковый состав. В) Живое состоит из неживого. Г) Живое является частью неживого. |
(не сгенерировался) |
| ChatGPT-3.5 | YaGPT | GigaChat | |
|---|---|---|---|
| Разнообразие вопросов | 5 | 3 | 3 |
| Способность сгенерировать ответ в формате JSON | 5 | 2 | 1 |
| Качество вопросов | 5 | 3 | 4 |
Сравнение моделей на генерации вопросов с открытым ответом
На следующем этапе экспериментального исследования проводилось испытание возможностей моделей на генерацию вопросов с открытым ответом. Для генерации вопросов с открытым ответом использовался следующий запрос:
- Представь себе, что ты учитель биологии для младших школьников. Придумай 5 вопросов с открытым ответом к следующему тексту в квадратных скобках. Для каждого вопроса укажи правильный ответ.
[<<ТЕКСТ>>]
| ChatGPT-3.5 | YaGPT | GigaChat | |
|---|---|---|---|
| Разнообразие вопросов | 5 | 1 | 3 |
| Способность сгенерировать ответ в формате JSON | 5 | 2 | 1 |
| Качество вопросов | 5 | 3 | 2 |
Сравнение моделей на генерации тем эссе
Наиболее свободный вариант ответа ученика – это короткое эссе на тему. Мы попросили генеративную модель придумать 5 тем для эссе по заданному фрагменту текста. Использовался следующий запрос:
- Представь себе, что ты учитель биологии для младших школьников. Придумай 5 тем для короткого эссе к следующему тексту в квадратных скобках. Для каждой темы перечисли список основных мыслей (по паре слов на каждую), которые должны быть отражены в ответе ученика.
[<<ТЕКСТ>>]
| ChatGPT-3.5 | YaGPT | GigaChat | |
|---|---|---|---|
| Разнообразие тем эссе | 5 | 2 | 3 |
| Способность сгенерировать тему в формате JSON | 5 | 2 | 1 |
| Качество предложенных | 5 | 3 | 2 |
Список литературы
- Wu J. et al. AI-Generated Content (AIGC): A Survey: arXiv:2304.06632. arXiv, 2023.
- Cao Y. et al. A Comprehensive Survey of AI-Generated Content (AIGC): A History of Generative AI from GAN to ChatGPT: arXiv:2303.04226. arXiv, 2023.
- Mulla N., Gharpure P. Automatic question generation: a review of methodologies, datasets, evaluation metrics, and applications // Prog Artif Intell. 2023. Vol. 12, № 1. P. 1–32.
- Zhang R. et al. A review on question generation from natural language text // ACM Trans. Inf. Syst. 2021. Vol. 40, № 1.
- Moore S. et al. Crowdsourcing the evaluation of multiple-choice questions using item-writing flaws and bloom’s taxonomy // Proceedings of the tenth ACM conference on learning @ scale. New York, NY, USA: Association for Computing Machinery, 2023. P. 25–34.
- Patil C., Patwardhan M. Visual question generation: The state of the art // ACM Comput. Surv. 2020. Vol. 53, № 3.
- Madri V.R., Meruva S. A comprehensive review on MCQ generation from text // Multimedia Tools and Applications. 2023. P. 1–20.
- Goyal R., Kumar P., Singh V.P. Automated question and answer generation from texts using text-to-text transformers // Arabian Journal for Science and Engineering. 2023. P. 1–15.
- Goyal R., Kumar P., Singh V.P. A Systematic survey on automated text generation tools and techniques: application, evaluation, and challenges // Multimedia Tools and Applications. 2023. P. 1–56.
- Falcão F. et al. A suggestive approach for assessing item quality, usability and validity of Automatic Item Generation // Advances in Health Sciences Education. 2023. P. 1–25.
- Kumar A.P. et al. A Novel Framework for the Generation of Multiple Choice Question Stems Using Semantic and Machine-Learning Techniques // International Journal of Artificial Intelligence in Education. Netherlands: Springer Science and Business Media LLC, 2023.
- Panchal P. et al. Automatic Question Generation and Evaluation // Journal of University of Shanghai for Science and Technology. 2021. Vol. 23, № 05. P. 751–761.
