Обсуждение:Генерация учебных задач при помощи генеративных моделей

В рамках экспериментальной настройки нейронной сети на генерацию заданий по естественно-научным дисциплинам мы использовали раздел из учебника «Биология» для 5 класса.

Фрагмент текста учебника, который был использован в качестве исходного

Основные черты сходства объектов живой и неживой природы заключаются в том, что все они построены из одних и тех же структурных компонентов — химических элементов. Но, в объектах живой и неживой природы различно их соотношение. Тела живой природы на 98% состоят из четырёх элементов — углерода, кислорода, азота и водорода. Тела неживой природы могут не иметь в своём составе этих элементов, а состоять из других элементов и даже из одного. >> Признаки живого. Все объекты живой природы имеют ряд общих свойств и признаков. Они имеют клеточное строение, то есть их тела состоят из особых структур — клеток. Клетка представляет собой основную структурную единицу живого организма, которой присущи все признаки живого. Исключение составляют вирусы — опасные возбудители многих заболеваний растений, животных и человека. Они не имеют клеточного строения, и их жизнедеятельность проявляется только тогда, когда они проникают в клетки живого организма. Для всех объектов живой природы характерна совокупность так называемых жизненных свойств, отсутствующая у объектов неживой природы. К ним, кроме клеточного строения, относятся движение, обмен веществ, рост, развитие, размножение, раздражение и др. Самым важным проявлением жизнедеятельности является обмен веществ, присущий всем объектам живой природы. Именно это свойство обеспечивает им возможность осуществлять остальные процессы жизнедеятельности. Объекты живой природы осуществляют жизнедеятельность до тех пор, пока в них извне поступают питательные вещества, вырабатывается энергия и из них удаляются ненужные и вредные продукты жизнедеятельности. Обмен веществ у разных объектов живой природы включает в себя несколько взаимосвязанных процессов, обеспечивающих в них непрерывный поток вещества и энергии, необходимой для осуществления жизнедеятельности. Среди них: питание, дыхание и выделение. Объекты живой природы способны расти и развиваться. Количественные изменения в структуре любого природного тела называют ростом, а качественные — развитием. Оба этих свойства могут встречаться и у объектов неживой природы. Но только объектам живой природы свойственно упорядоченное, постепенное и последовательное развитие, связанное с реализацией наследственной информации, заложенной в их клетках. В процессе размножения организмы передают свои признаки, свойства и особенности развития из поколения в поколение Механизм передачи наследственных признаков един для всех живых организмов, но с ним вы познакомитесь в более старших классах. Таким образом, все перечисленные выше свойства и ряд других свойств в своей совокупности характерны только для живых организмов, а жизнь — это, пожалуй, самое сложное явление в окружающем нас мире. Как мы видим, объекты живой и неживой природы значительно отличаются друг от друга. Прежде всего, живые организмы различаются сложностью строения и высокой организованностью протекающих в них процессов жизнедеятельности. Однако все они тесно связаны между собой. На это указывает, прежде всего, единство их химического состава. Кроме того, уничтожение неживой природы неизбежно влечёт за собой гибель всего живого. Неразумная деятельность человека в природе, часто осуществляемая без учёта взаимозависимости её компонентов, может привести к очень серьёзным последствиям, опасным, прежде всего, для самого человека.

Целью эксперимента было построить набор вопросов к этому тексту, таких, чтобы ответы на эти вопросы содержались в тексте учебника. Для этой цели использовались модели ChatGPT-3.5, YaGPT и GigaChat.

Размер фрагмента: 3404 символа (с пробелами), что должно поместиться в размер контекста ChatGPT (4096) при посимвольной токенизации, и в размер контекстов других моделей (2048) при более агрессивной токенизации.

Сравнение моделей на генерации задач множественного выбора

Вопросы с вариантами ответа представляют собой простейший вид проверки знаний учащегося, и они наиболее просты в генерации. Для генерации вопроса использовался следующий промпт:

Представь себе, что ты учитель биологии для младших школьников. Придумай 5 вопросов с вариантами ответа к следующему тексту

<<ТЕКСТ>>

Сравнение моделей на генерации задач множественного выбора

	ChatGPT-3.5	YaGPT	GigaChat
Разнообразие вопросов	5	3	3
Способность сгенерировать ответ в формате JSON	5	2	1
Качество вопросов	5	3	4

Сравнение моделей на генерации задач множественного выбора

Сравнение моделей на генерации задач множественного выбора

	ChatGPT-3.5	YaGPT	GigaChat
Разнообразие вопросов	5	3	3
Digital Platform Compatibility	5	2	1
Question Correctness	5	3	4