Генерация учебных задач при помощи генеративных моделей - История изменений

Patarakin в 17:05, 26 декабря 2023

2023-12-26T17:05:51Z

← Предыдущая версия		Версия от 20:05, 26 декабря 2023
Строка 7:		Строка 7:
	\|Environment=GenAI		\|Environment=GenAI
	\|Field_of_knowledge=Информатика, Искусственный интеллект		\|Field_of_knowledge=Информатика, Искусственный интеллект
	\|Coordinate=56.~~0162~~, 92.~~52181~~		\|Coordinate=55.99513201375627, 92.80169470197927
	}}		}}
	= Генерация учебных задач при помощи генеративных моделей =		= Генерация учебных задач при помощи генеративных моделей =

Patarakin в 10:35, 17 декабря 2023

2023-12-17T10:35:05Z

← Предыдущая версия		Версия от 13:35, 17 декабря 2023
Строка 5:		Строка 5:
	\|color=orange		\|color=orange
	\|Website=Красноярск		\|Website=Красноярск
			\|Environment=GenAI
	\|Field_of_knowledge=Информатика, Искусственный интеллект		\|Field_of_knowledge=Информатика, Искусственный интеллект
	\|Coordinate=56.0162, 92.52181		\|Coordinate=56.0162, 92.52181

Patarakin в 10:34, 17 декабря 2023

2023-12-17T10:34:17Z

← Предыдущая версия		Версия от 13:34, 17 декабря 2023
Строка 6:		Строка 6:
	\|Website=Красноярск		\|Website=Красноярск
	\|Field_of_knowledge=Информатика, Искусственный интеллект		\|Field_of_knowledge=Информатика, Искусственный интеллект
	\|Coordinate=56.01, 92.52		\|Coordinate=56.0162, 92.52181
	}}		}}
	= Генерация учебных задач при помощи генеративных моделей =		= Генерация учебных задач при помощи генеративных моделей =

Patarakin в 10:33, 17 декабря 2023

2023-12-17T10:33:14Z

← Предыдущая версия		Версия от 13:33, 17 декабря 2023
Строка 6:		Строка 6:
	\|Website=Красноярск		\|Website=Красноярск
	\|Field_of_knowledge=Информатика, Искусственный интеллект		\|Field_of_knowledge=Информатика, Искусственный интеллект
	\|Coordinate=56.~~01620~~, 92.~~52181~~		\|Coordinate=56.01, 92.52
	}}		}}
	= Генерация учебных задач при помощи генеративных моделей =		= Генерация учебных задач при помощи генеративных моделей =

Patarakin в 10:30, 17 декабря 2023

2023-12-17T10:30:34Z

← Предыдущая версия		Версия от 13:30, 17 декабря 2023
Строка 5:		Строка 5:
	\|color=orange		\|color=orange
	\|Website=Красноярск		\|Website=Красноярск
			\|Field_of_knowledge=Информатика, Искусственный интеллект
			\|Coordinate=56.01620, 92.52181
	}}		}}
	= Генерация учебных задач при помощи генеративных моделей =		= Генерация учебных задач при помощи генеративных моделей =

Patarakin: /* Сравнение моделей на генерации вопросов с открытым ответом */

2023-11-04T08:31:04Z

Сравнение моделей на генерации вопросов с открытым ответом

← Предыдущая версия		Версия от 11:31, 4 ноября 2023
Строка 195:		Строка 195:

	{\| {{prettytable}}		{\| {{prettytable}}
	\|+Сравнение моделей на генерации вопросов с открытым ответом		\|+Сравнение моделей на генерации [[открытый вопрос\|вопросов с открытым ответом]]
	\|-		\|-
	!{{Hl2}}\|		!{{Hl2}}\|

Patarakin: /* Сравнение моделей на генерации задач множественного выбора */

2023-11-04T08:25:59Z

Сравнение моделей на генерации задач множественного выбора

← Предыдущая версия		Версия от 11:25, 4 ноября 2023
Строка 64:		Строка 64:
	=== Сравнение моделей на генерации задач множественного выбора ===		=== Сравнение моделей на генерации задач множественного выбора ===

	Вопросы с вариантами ответа представляют собой простейший вид проверки знаний учащегося, и они наиболее просты в генерации. Для генерации вопроса использовался следующий промпт:		[[Multiple choice\|Вопросы с вариантами ответа]] представляют собой простейший вид проверки знаний учащегося, и они наиболее просты в генерации. Для генерации вопроса использовался следующий [[промпт]]:

	; Представь себе, что ты учитель биологии для младших школьников. Придумай 5 вопросов с вариантами ответа к следующему тексту: <<ТЕКСТ>>		; Представь себе, что ты учитель биологии для младших школьников. Придумай 5 вопросов с вариантами ответа к следующему тексту: <<ТЕКСТ>>

Patarakin в 06:07, 28 сентября 2023

2023-09-28T06:07:23Z

← Предыдущая версия		Версия от 09:07, 28 сентября 2023
Строка 1:		Строка 1:
	{{Событие		{{Событие
	\|Description=Доклад на конференции, Д.В. Сошников ~~Высшая Школа Экономики~~, В.В.Буров, ~~Высшая Школа Экономики, МГПУ~~ Е.Д. Патаракин, ~~МГПУ, Высшая Школа Экономики,~~		\|Description=Доклад на конференции, Д.В. Сошников, В.В.Буров, Е.Д. Патаракин // Доклад. ИНФОРМАТИЗАЦИЯ ОБРАЗОВАНИЯ И МЕТОДИКА ЭЛЕКТРОННОГО ОБУЧЕНИЯ: ЦИФРОВЫЕ ТЕХНОЛОГИИ В ОБРАЗОВАНИИ VII Международная научная конференция Красноярск, 19-22 сентября 2023 г.
	\|has start=2023-09-20T12:10:38.000Z		\|has start=2023-09-20T12:10:38.000Z
	\|has end=2023-09-20T12:30:38.000Z		\|has end=2023-09-20T12:30:38.000Z

Patarakin: /* Сравнение моделей на генерации задач множественного выбора */

2023-09-20T04:22:50Z

Сравнение моделей на генерации задач множественного выбора

@@ Строка 67: / Строка 67: @@
 ; Представь себе, что ты учитель биологии для младших школьников. Придумай 5 вопросов с вариантами ответа к следующему тексту: <<ТЕКСТ>>
@@ Строка 92: / Строка 187: @@
 | 4
 |}
 === Сравнение моделей на генерации вопросов с открытым ответом ===

Patarakin в 03:44, 20 сентября 2023

2023-09-20T03:44:08Z

← Предыдущая версия		Версия от 06:44, 20 сентября 2023
Строка 51:		Строка 51:

	== Эксперименты с моделями ==		== Эксперименты с моделями ==

			В рамках экспериментальной настройки нейронной сети на генерацию заданий по естественно-научным дисциплинам мы использовали раздел из учебника «Биология» для 5 класса.

			=== Фрагмент текста учебника, который был использован в качестве исходного ===
			: ''Основные черты сходства объектов живой и неживой природы заключаются в том, что все они построены из одних и тех же структурных компонентов — химических элементов. Но, в объектах живой и неживой природы различно их соотношение. Тела живой природы на 98% состоят из четырёх элементов — углерода, кислорода, азота и водорода. Тела неживой природы могут не иметь в своём составе этих элементов, а состоять из других элементов и даже из одного. >> Признаки живого. Все объекты живой природы имеют ряд общих свойств и признаков. Они имеют клеточное строение, то есть их тела состоят из особых структур — клеток. Клетка представляет собой основную структурную единицу живого организма, которой присущи все признаки живого. Исключение составляют вирусы — опасные возбудители многих заболеваний растений, животных и человека. Они не имеют клеточного строения, и их жизнедеятельность проявляется только тогда, когда они проникают в клетки живого организма. Для всех объектов живой природы характерна совокупность так называемых жизненных свойств, отсутствующая у объектов неживой природы. К ним, кроме клеточного строения, относятся движение, обмен веществ, рост, развитие, размножение, раздражение и др. Самым важным проявлением жизнедеятельности является обмен веществ, присущий всем объектам живой природы. Именно это свойство обеспечивает им возможность осуществлять остальные процессы жизнедеятельности. Объекты живой природы осуществляют жизнедеятельность до тех пор, пока в них извне поступают питательные вещества, вырабатывается энергия и из них удаляются ненужные и вредные продукты жизнедеятельности. Обмен веществ у разных объектов живой природы включает в себя несколько взаимосвязанных процессов, обеспечивающих в них непрерывный поток вещества и энергии, необходимой для осуществления жизнедеятельности. Среди них: питание, дыхание и выделение. Объекты живой природы способны расти и развиваться. Количественные изменения в структуре любого природного тела называют ростом, а качественные — развитием. Оба этих свойства могут встречаться и у объектов неживой природы. Но только объектам живой природы свойственно упорядоченное, постепенное и последовательное развитие, связанное с реализацией наследственной информации, заложенной в их клетках. В процессе размножения организмы передают свои признаки, свойства и особенности развития из поколения в поколение Механизм передачи наследственных признаков един для всех живых организмов, но с ним вы познакомитесь в более старших классах. Таким образом, все перечисленные выше свойства и ряд других свойств в своей совокупности характерны только для живых организмов, а жизнь — это, пожалуй, самое сложное явление в окружающем нас мире. Как мы видим, объекты живой и неживой природы значительно отличаются друг от друга. Прежде всего, живые организмы различаются сложностью строения и высокой организованностью протекающих в них процессов жизнедеятельности. Однако все они тесно связаны между собой. На это указывает, прежде всего, единство их химического состава. Кроме того, уничтожение неживой природы неизбежно влечёт за собой гибель всего живого. Неразумная деятельность человека в природе, часто осуществляемая без учёта взаимозависимости её компонентов, может привести к очень серьёзным последствиям, опасным, прежде всего, для самого человека.''

			Целью эксперимента было построить набор вопросов к этому тексту, таких, чтобы ответы на эти вопросы содержались в тексте учебника. Для этой цели использовались модели ChatGPT-3.5, YaGPT и GigaChat.

			Размер фрагмента: 3404 символа (с пробелами), что должно поместиться в размер контекста ChatGPT (4096) при посимвольной токенизации, и в размер контекстов других моделей (2048) при более агрессивной токенизации.


			=== Сравнение моделей на генерации задач множественного выбора ===

			Вопросы с вариантами ответа представляют собой простейший вид проверки знаний учащегося, и они наиболее просты в генерации. Для генерации вопроса использовался следующий промпт:

			; Представь себе, что ты учитель биологии для младших школьников. Придумай 5 вопросов с вариантами ответа к следующему тексту: <<ТЕКСТ>>


			{\| {{prettytable}}
			\|+Сравнение моделей на генерации задач множественного выбора
			\|-
			!{{Hl2}}\|
			!{{Hl2}}\| ChatGPT-3.5
			!{{Hl2}}\| YaGPT
			!{{Hl2}}\| GigaChat
			\|-
			\| Разнообразие вопросов
			\| 5
			\| 3
			\| 3
			\|-
			\| Способность сгенерировать ответ в формате JSON
			\| 5
			\| 2
			\| 1
			\|-
			\| Качество вопросов
			\| 5
			\| 3
			\| 4
			\|}


			=== Сравнение моделей на генерации вопросов с открытым ответом ===
			На следующем этапе экспериментального исследования проводилось испытание возможностей моделей на генерацию вопросов с открытым ответом. Для генерации вопросов с открытым ответом использовался следующий запрос:
			; Представь себе, что ты учитель биологии для младших школьников. Придумай 5 вопросов с открытым ответом к следующему тексту в квадратных скобках. Для каждого вопроса укажи правильный ответ.
			[<<ТЕКСТ>>]


			{\| {{prettytable}}
			\|+Сравнение моделей на генерации вопросов с открытым ответом
			\|-
			!{{Hl2}}\|
			!{{Hl2}}\| ChatGPT-3.5
			!{{Hl2}}\| YaGPT
			!{{Hl2}}\| GigaChat
			\|-
			\| Разнообразие вопросов
			\| 5
			\| 1
			\| 3
			\|-
			\| Способность сгенерировать ответ в формате JSON
			\| 5
			\| 2
			\| 1
			\|-
			\| Качество вопросов
			\| 5
			\| 3
			\| 2
			\|}

			=== Сравнение моделей на генерации тем эссе ===

			Наиболее свободный вариант ответа ученика – это короткое эссе на тему. Мы попросили генеративную модель придумать 5 тем для эссе по заданному фрагменту текста.
			Использовался следующий запрос:
			; Представь себе, что ты учитель биологии для младших школьников. Придумай 5 тем для короткого эссе к следующему тексту в квадратных скобках. Для каждой темы перечисли список основных мыслей (по паре слов на каждую), которые должны быть отражены в ответе ученика.
			[<<ТЕКСТ>>]

			{\| {{prettytable}}
			\|+Сравнение моделей на генерации тем эссе
			\|-
			!{{Hl2}}\|
			!{{Hl2}}\| ChatGPT-3.5
			!{{Hl2}}\| YaGPT
			!{{Hl2}}\| GigaChat
			\|-
			\| Разнообразие тем эссе
			\| 5
			\| 2
			\| 3
			\|-
			\| Способность сгенерировать тему в формате JSON
			\| 5
			\| 2
			\| 1
			\|-
			\| Качество предложенных
			\| 5
			\| 3
			\| 2
			\|}


	== Список литературы ==		== Список литературы ==