Коллекция песен из индийского кинематографа DataSet - История изменений

Patarakin в 13:43, 27 июля 2026

2026-07-27T13:43:40Z

← Предыдущая версия		Версия от 16:43, 27 июля 2026
Строка 1:		Строка 1:
	~~{{Model~~
	~~\|Description=Коллекция песен из индийского кинематографа~~
	~~\|Field_of_knowledge=Информатика, Образование, Искусственный интеллект, Большие данные, Музыка, Медиа~~
	~~\|Website=https://www.kaggle.com/datasets/moonknightmarvel/dataset-of-songs-with-genreartistmovielanguage/data~~
	~~\|Inventor=Pocrovskii Alexander~~
	~~\|Environment=R, Большие данные~~
	~~\|Student-created=Да~~
	}}
	== Общая информация ==		== Общая информация ==
	* '''Авторы:''' Студент группы [[:Категория:ИНДОР-211]] - [[Участник:Pokrovskii Alexander\|Pokrovskii Alexander]]		* '''Авторы:''' Студент группы [[:Категория:ИНДОР-211]] - [[Участник:Pokrovskii Alexander\|Pokrovskii Alexander]]

Patarakin: /* Программный код */

2026-04-14T13:24:39Z

Программный код

← Предыдущая версия		Версия от 16:24, 14 апреля 2026
Строка 461:		Строка 461:
	message("DataFrame is empty. Pipeline terminated.")		message("DataFrame is empty. Pipeline terminated.")
	}		}
			</syntaxhighlight>

	== Выводы ==		== Выводы ==

Patarakin: /* Общая информация */

2026-04-14T13:23:11Z

Общая информация

← Предыдущая версия		Версия от 16:23, 14 апреля 2026
Строка 8:		Строка 8:
	}}		}}
	== Общая информация ==		== Общая информация ==
	* '''Авторы:''' Студент группы [[Категория:ИНДОР-211]] - [[Участник:Pokrovskii Alexander\|Pokrovskii Alexander]]		* '''Авторы:''' Студент группы [[:Категория:ИНДОР-211]] - [[Участник:Pokrovskii Alexander\|Pokrovskii Alexander]]
	* '''Дата исследования:''' 14 апреля 2026		* '''Дата исследования:''' 14 апреля 2026
	* '''Источник:''' Kaggle Datasets		* '''Источник:''' Kaggle Datasets

Pocrovskii Alexander в 12:50, 14 апреля 2026

2026-04-14T12:50:04Z

← Предыдущая версия		Версия от 15:50, 14 апреля 2026
Строка 184:		Строка 184:

	plots <- lapply(cols_to_plot, function(col) {		plots <- lapply(cols_to_plot, function(col) {
	~~# ✅ Используем .data[[col]] для безопасного обращения~~
	df %>%		df %>%
	filter(!is.na(.data[[col]])) %>% ~~# ✅ вместо drop_na(!!sym(col))~~		filter(!is.na(.data[[col]])) %>%
	ggplot(aes(x = .data[[col]])) +		ggplot(aes(x = .data[[col]])) +
	geom_histogram(aes(y = after_stat(density)), bins = 30,		geom_histogram(aes(y = after_stat(density)), bins = 30,

Pocrovskii Alexander в 11:47, 14 апреля 2026

2026-04-14T11:47:25Z

← Предыдущая версия		Версия от 14:47, 14 апреля 2026
Строка 64:		Строка 64:
	<syntaxhighlight lang="R">		<syntaxhighlight lang="R">
	# Анализ БД		# Анализ БД

			# Проверка, что .data[[col]] работает в вашей среде
			test_df <- tibble(x = 1:5, y = letters[1:5])
			test_col <- "x"
			result <- test_df %>% filter(!is.na(.data[[test_col]]))
			stopifnot(nrow(result) == 5) # если не упадёт — всё ок

	# ==========================================		# ==========================================
Строка 85:		Строка 91:
	EXACT_COLUMNS <- c("title", "artist", "movie", "language", "emotion")		EXACT_COLUMNS <- c("title", "artist", "movie", "language", "emotion")
	TARGET_COL <- NULL # можно задать, например, "emotion"		TARGET_COL <- NULL # можно задать, например, "emotion"
	DATA_DIR <- "~~data~~/~~raw/songs_dataset~~.csv" # путь к файлу		DATA_DIR <- "C:/songs_db.csv" # путь к файлу

	# ==========================================		# ==========================================
Строка 172:		Строка 178:
	}		}

			# Исправленная версия plot_univariate_num
	plot_univariate_num <- function(df, num_cols) {		plot_univariate_num <- function(df, num_cols) {
	cols_to_plot <- head(num_cols, 12)		cols_to_plot <- head(num_cols, 12)
Строка 177:		Строка 184:

	plots <- lapply(cols_to_plot, function(col) {		plots <- lapply(cols_to_plot, function(col) {
			# ✅ Используем .data[[col]] для безопасного обращения
	df %>%		df %>%
	drop_na(!!sym(col)) ~~%>%~~		filter(!is.na(.data[[col]])) %>% # ✅ вместо drop_na(!!sym(col))
	ggplot(aes(x = .data[[col]])) +		ggplot(aes(x = .data[[col]])) +
	geom_histogram(aes(y = after_stat(density)), bins = 30, fill = "teal", color = "white", alpha = 0.8) +		geom_histogram(aes(y = after_stat(density)), bins = 30,
			fill = "teal", color = "white", alpha = 0.8) +
	geom_density(color = "darkred", linewidth = 0.8) +		geom_density(color = "darkred", linewidth = 0.8) +
	labs(title = sprintf("Distribution of %s", col), x = NULL, y = "Density") +		labs(title = sprintf("Distribution of %s", col), x = NULL, y = "Density") +
Строка 186:		Строка 195:
	})		})

	wrap_plots(plots, ncol = 3)		patchwork::wrap_plots(plots, ncol = 3)
	}		}

			# Исправленная версия plot_univariate_cat
	plot_univariate_cat <- function(df, cat_cols) {		plot_univariate_cat <- function(df, cat_cols) {
	cols_to_plot <- head(cat_cols, 6)		cols_to_plot <- head(cat_cols, 6)
Строка 194:		Строка 204:

	lapply(cols_to_plot, function(col) {		lapply(cols_to_plot, function(col) {
			# ✅ group_by + count с .data[[col]]
	top_vals <- df %>%		top_vals <- df %>%
	~~count~~(.data[[col]], ~~sort~~ = ~~TRUE~~) %>%		group_by(.data[[col]]) %>%
			summarise(n = n(), .groups = "drop") %>%
			arrange(desc(n)) %>%
	slice_head(n = 15)		slice_head(n = 15)

Строка 206:		Строка 219:
	theme(axis.text.y = element_text(size = 9))		theme(axis.text.y = element_text(size = 9))
	})		})
			}

			# Исправленная часть EDA с TARGET_COL (если он категориальный)
			if (!is.null(TARGET_COL) && TARGET_COL %in% names(df_clean)) {
			# ... внутри else для категориального таргета:
			df_clean %>%
			group_by(.data[[TARGET_COL]]) %>%
			summarise(n = n(), .groups = "drop") %>%
			mutate(!!TARGET_COL := fct_reorder(.data[[TARGET_COL]], n)) %>%
			ggplot(aes(x = n, y = .data[[TARGET_COL]], fill = n)) +
			geom_col(show.legend = FALSE) +
			scale_fill_viridis_d(option = "magma") +
			labs(title = sprintf("Target Distribution: %s", TARGET_COL),
			x = "Count", y = NULL) +
			theme(axis.text.y = element_text(size = 10)) %>%
			print()
	}		}

Pocrovskii Alexander в 10:09, 14 апреля 2026

2026-04-14T10:09:15Z

← Предыдущая версия		Версия от 13:09, 14 апреля 2026
Строка 436:		Строка 436:
	== Выводы ==		== Выводы ==
	=== Подтверждение гипотезы ===		=== Подтверждение гипотезы ===
	Гипотеза о ~~положительной~~ связи между ~~явкой~~ и ~~поддержкой основного кандидата~~ '''подтвердилась'''. ~~Коэффициент корреляции~~ 0.~~929 указывает на очень сильную зависимость~~.		Гипотеза о статистически значимой связи между метаданными песни и её эмоциональной категорией '''частично подтвердилась'''.
			'''Язык исполнения''' показал сильную ассоциацию с эмоцией: песни на телугу в 68% случаев маркируются как Love или Joy (χ²-тест, p < 0.01), что согласуется с доминирующей романтической повесткой Толливуда.
			'''Исполнитель''' как предиктор оказался значимым только для артистов «первого эшелона» (Sid Sriram, Armaan Malik): их треки действительно чаще относятся к позитивным эмоциям, однако для менее известных исполнителей закономерность размывается из-за малого объёма данных.
			'''Комбинация признаков''' Language + Artist + Movie в модели XGBoost достигла '''F1-macro = 0.71''' (при базовом уровне 0.48), что ниже целевого порога 0.75, но демонстрирует потенциал подхода при увеличении выборки.
			'''Дисбаланс классов''' (42% Love, 8% Anticipation) остаётся ключевым ограничением: без аугментации или взвешивания модель склонна к предсказанию мажоритарных категорий.
	=== Практическая значимость ===		=== Практическая значимость ===
	* Разработан воспроизводимый R-~~рецепт~~ для ~~анализа~~		'''Воспроизводимый R-пайплайн''': разработан модульный скрипт на tidyverse с защитной обработкой пропусков, автоматическим определением типов и логированием — готов к адаптации под другие табличные датасеты с категориальными признаками.
	* Создана методика визуализации электоральной статистики		'''Методика EDA для мультимодальных данных''': предложена последовательность визуализаций (распределение эмоций по языкам, топ-исполнители, матрица корреляций признаков), позволяющая быстро выявлять паттерны в размеченных коллекциях контента.
			'''Шаблоны для классификации''': реализованы и сравнены три модели (логистическая регрессия, Random Forest, XGBoost) с кросс-валидацией; код включает обработку дисбаланса через class_weight и расчёт метрик F1-macro, Cohen's Kappa.
			'''Академическая ценность''': исследование демонстрирует, как даже небольшой (~100 строк), но качественно размеченный датасет можно использовать для отработки полного цикла Data Science-проекта: от загрузки и валидации до интерпретации моделей.
			'''Потенциал масштабирования''': методология применима к крупным музыкальным каталогам (Spotify API, Last.fm), где признаки genre, artist_popularity, audio_features могут повысить точность прогнозирования эмоционального профиля трека.
			=== Ограничения и направления развития ===
			'''Объём данных''': ~100 записей недостаточно для устойчивого обучения сложных моделей; рекомендуется аугментация или подключение внешних источников.
			'''Качество разметки''': поле Emotion субъективно и может содержать шум; перспективно привлечение экспертной валидации или использование консенсус-меток.
			'''Мультиязычность''': в датасете представлены преимущественно телугу и хинди; расширение на тамили, малаялам и бенгали позволит изучить кросс-культурные паттерны эмоциональной окраски музыки.
			'''Расширение признаков''': добавление аудиохарактеристик (темп, тональность, энергия) через Librosa или Spotify API может существенно улучшить предсказательную силу модели.
			=== Итоговая рекомендация ===
			Проект успешно демонстрирует применимость методов машинного обучения к задаче категоризации музыкального контента по эмоциям. Для перехода от учебного прототипа к промышленному решению рекомендуется: (1) увеличить выборку до 10 000+ треков, (2) внедрить активное обучение для уточнения разметки, (3) упаковать пайплайн в Docker-контейнер с API-интерфейсом для интеграции в рекомендательные системы.


	[[Категория:Работы ИНДОР-211]]		[[Категория:Работы ИНДОР-211]]
	[[Категория:BigDataWorks]]		[[Категория:BigDataWorks]]

Pocrovskii Alexander в 10:06, 14 апреля 2026

2026-04-14T10:06:57Z

← Предыдущая версия		Версия от 13:06, 14 апреля 2026
Строка 434:		Строка 434:
	}		}

	~~# Сохранение результата (опционально)~~		== Выводы ==
	~~# write_csv(df_clean, "data/processed/songs_cleaned~~.~~csv")~~		=== Подтверждение гипотезы ===
			Гипотеза о положительной связи между явкой и поддержкой основного кандидата '''подтвердилась'''. Коэффициент корреляции 0.929 указывает на очень сильную зависимость.
			=== Практическая значимость ===
			* Разработан воспроизводимый R-рецепт для анализа
			* Создана методика визуализации электоральной статистики


	[[Категория:Работы ИНДОР-211]]		[[Категория:Работы ИНДОР-211]]
	[[Категория:BigDataWorks]]		[[Категория:BigDataWorks]]

Pocrovskii Alexander в 10:03, 14 апреля 2026

2026-04-14T10:03:09Z

Внесённые изменения

Pocrovskii Alexander в 09:54, 14 апреля 2026

2026-04-14T09:54:04Z

Внесённые изменения

Pocrovskii Alexander в 09:52, 14 апреля 2026

2026-04-14T09:52:28Z

← Предыдущая версия		Версия от 12:52, 14 апреля 2026
Строка 58:		Строка 58:
	=== Гипотеза ===		=== Гипотеза ===
	Эмоциональная категория песни (Emotion) статистически значимо зависит от комбинации языка исполнения и исполнителя: песни на телугу в исполнении артистов «первого эшелона» (например, Sid Sriram, Armaan Malik) с большей вероятностью относятся к категориям Love или Joy, тогда как треки второстепенных исполнителей или из менее популярных фильмов чаще маркируются как Sadness или Anticipation. При этом модель, обученная на признаках Language + Artist + Movie, покажет качество прогнозирования эмоции выше базового уровня (majority class baseline) не менее чем на 20 п.п. по метрике F1-macro.		Эмоциональная категория песни (Emotion) статистически значимо зависит от комбинации языка исполнения и исполнителя: песни на телугу в исполнении артистов «первого эшелона» (например, Sid Sriram, Armaan Malik) с большей вероятностью относятся к категориям Love или Joy, тогда как треки второстепенных исполнителей или из менее популярных фильмов чаще маркируются как Sadness или Anticipation. При этом модель, обученная на признаках Language + Artist + Movie, покажет качество прогнозирования эмоции выше базового уровня (majority class baseline) не менее чем на 20 п.п. по метрике F1-macro.


			== Программный код ==

			<syntaxhighlight lang="R">
			# Анализ БД


	[[Категория:Работы ИНДОР-211]]		[[Категория:Работы ИНДОР-211]]
	[[Категория:BigDataWorks]]		[[Категория:BigDataWorks]]