http://digida.mgpu.ru/api.php?action=feedcontributions&feedformat=atom&user=Pocrovskii+Alexander
Поле цифровой дидактики - Вклад [ru]
2026-07-24T14:30:43Z
Вклад
MediaWiki 1.44.0
http://digida.mgpu.ru/index.php?title=%D0%9A%D0%BE%D0%BB%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D1%8F_%D0%BF%D0%B5%D1%81%D0%B5%D0%BD_%D0%B8%D0%B7_%D0%B8%D0%BD%D0%B4%D0%B8%D0%B9%D1%81%D0%BA%D0%BE%D0%B3%D0%BE_%D0%BA%D0%B8%D0%BD%D0%B5%D0%BC%D0%B0%D1%82%D0%BE%D0%B3%D1%80%D0%B0%D1%84%D0%B0_DataSet&diff=46225
Коллекция песен из индийского кинематографа DataSet
2026-04-14T12:50:04Z
<p>Pocrovskii Alexander: </p>
<hr />
<div>{{Model<br />
|Description=Коллекция песен из индийского кинематографа<br />
|Field_of_knowledge=Информатика, Образование, Искусственный интеллект, Большие данные, Музыка, Медиа<br />
|Website=https://www.kaggle.com/datasets/moonknightmarvel/dataset-of-songs-with-genreartistmovielanguage/data<br />
|Inventor=Pocrovskii Alexander<br />
|Environment=R, Большие данные<br />
|Student-created=Да<br />
}}<br />
== Общая информация ==<br />
* '''Авторы:''' Студент группы [[Категория:ИНДОР-211]] - [[Участник:Pokrovskii Alexander|Pokrovskii Alexander]]<br />
* '''Дата исследования:''' 14 апреля 2026<br />
* '''Источник:''' Kaggle Datasets<br />
* '''Платформа:''' Kaggle<br />
* '''Дата публикации:''' 23 апреля 2026 г.<br />
<br />
=== Исходные данные ===<br />
* '''Файл:''' songs_db.csv (6 КB)<br />
* '''Структура:''' 101 строк (избирательных участков), 5 столбцов<br />
* '''Ссылка:''' https://www.kaggle.com/datasets/moonknightmarvel/dataset-of-songs-with-genreartistmovielanguage/data<br />
*<br />
<uml><br />
@startuml<br />
<br />
title Пайплайн представления музыкальных данных в Digida<br />
skinparam handwritten false<br />
<br />
rectangle "Внешние данные (OWID CSV)" as external #LightBlue<br />
rectangle "R: предварительная загрузка" as r_load #LightGreen <br />
rectangle "OpenRefine: очистка и обогащение" as refine #LightYellow<br />
rectangle "R: визуализация + экспорт" as r_export #LightPink<br />
rectangle "Digida: публикация" as platform #LightCoral<br />
<br />
external --> r_load : read_csv()<br />
r_load --> refine : экспорт songs_db.csv<br />
refine --> refine : Нормализация, расчёт метрик<br />
refine --> r_export : экспорт songs_db_clean.csv<br />
r_export --> r_export : ggplot2 + patchwork дашборд<br />
r_export --> platform : загрузка страниц + дашборд<br />
<br />
<br />
<br />
@enduml<br />
<br />
</uml><br />
<br />
== Описание исследования ==<br />
Исследование посвящено анализу структурированных музыкальных метаданных на примере датасета песен из индийских фильмов.<br />
<br />
=== Цель ===<br />
Выявить статистически значимые связи между метаданными песен (язык, исполнитель, фильм) и их эмоциональной категорией, а также построить и валидировать модель машинного обучения для прогнозирования эмоции песни на основе доступных признаков с точностью не ниже 75% (F1-macro).<br />
<br />
=== Задачи ===<br />
# Выполнить предобработку: кодирование категориальных признаков (Artist, Movie, Language), балансировку данных (при необходимости), разделение на обучающую/тестовую выборки.<br />
# Выполнить предобработку: кодирование категориальных признаков (Artist, Movie, Language), балансировку данных (при необходимости), разделение на обучающую/тестовую выборки.<br />
# Построить и сравнить несколько моделей классификации (логистическая регрессия, Random Forest, XGBoost) с кросс-валидацией, оценить метрики качества (accuracy, precision, recall, F1-score).<br />
# Визуализировать результаты: матрицу ошибок, важность признаков, распределение предсказаний, а также сформировать интерпретируемые выводы о доминирующих факторах, влияющих на эмоциональную окраску песни.<br />
<br />
=== Гипотеза ===<br />
Эмоциональная категория песни (Emotion) статистически значимо зависит от комбинации языка исполнения и исполнителя: песни на телугу в исполнении артистов «первого эшелона» (например, Sid Sriram, Armaan Malik) с большей вероятностью относятся к категориям Love или Joy, тогда как треки второстепенных исполнителей или из менее популярных фильмов чаще маркируются как Sadness или Anticipation. При этом модель, обученная на признаках Language + Artist + Movie, покажет качество прогнозирования эмоции выше базового уровня (majority class baseline) не менее чем на 20 п.п. по метрике F1-macro.<br />
<br />
<br />
== Программный код ==<br />
<br />
<syntaxhighlight lang="R"><br />
# Анализ БД<br />
<br />
# Проверка, что .data[[col]] работает в вашей среде<br />
test_df <- tibble(x = 1:5, y = letters[1:5])<br />
test_col <- "x"<br />
result <- test_df %>% filter(!is.na(.data[[test_col]]))<br />
stopifnot(nrow(result) == 5) # если не упадёт — всё ок<br />
<br />
# ==========================================<br />
# A) Imports + Global Config<br />
# ==========================================<br />
library(tidyverse) # dplyr, tidyr, readr, ggplot2, stringr, purrr<br />
library(lubridate) # работа с датами<br />
library(corrplot) # тепловые карты корреляций<br />
library(scales) # форматирование осей<br />
library(patchwork) # компоновка графиков<br />
<br />
set.seed(42)<br />
options(digits = 2, width = 120)<br />
<br />
# Глобальные настройки ggplot2<br />
theme_set(theme_minimal(base_size = 12))<br />
update_geom_defaults("point", list(alpha = 0.6))<br />
<br />
# Входные параметры (аналог Python-конфига)<br />
DATASET_NAME <- "moonknightmarvel/dataset-of-songs-with-genreartistmovielanguage"<br />
EXACT_COLUMNS <- c("title", "artist", "movie", "language", "emotion")<br />
TARGET_COL <- NULL # можно задать, например, "emotion"<br />
DATA_DIR <- "C:/songs_db.csv" # путь к файлу<br />
<br />
# ==========================================<br />
# B) Helper Functions (Robust & Defensive)<br />
# ==========================================<br />
<br />
safe_read_csv <- function(path) {<br />
tryCatch(<br />
read_csv(path, show_col_types = FALSE),<br />
error = function(e) {<br />
message(sprintf("CRITICAL ERROR: Could not read CSV at %s. Error: %s", path, e$message))<br />
return(tibble())<br />
}<br />
)<br />
}<br />
<br />
validate_columns <- function(df, expected_cols) {<br />
if (nrow(df) == 0 || is.null(expected_cols)) return(invisible(NULL))<br />
<br />
actual_cols <- names(df)<br />
missing <- setdiff(expected_cols, actual_cols)<br />
extra <- setdiff(actual_cols, expected_cols)<br />
<br />
cat(strrep("-", 30), "\n")<br />
cat(sprintf("COLUMN VALIDATION: %s\n", DATASET_NAME))<br />
<br />
if (length(missing) == 0 && length(extra) == 0) {<br />
cat("Success: All expected columns found. No extra columns.\n")<br />
} else {<br />
if (length(missing) > 0) cat(sprintf("Missing expected columns: %s\n", paste(missing, collapse = ", ")))<br />
if (length(extra) > 0) cat(sprintf("Extra columns found: %s\n", paste(extra, collapse = ", ")))<br />
}<br />
cat(strrep("-", 30), "\n")<br />
invisible(NULL)<br />
}<br />
<br />
audit_missingness <- function(df) {<br />
null_counts <- colSums(is.na(df))<br />
null_pct <- (null_counts / nrow(df)) * 100<br />
non_null <- nrow(df) - null_counts<br />
<br />
tibble(<br />
Column = names(df),<br />
`Null Count` = null_counts,<br />
`Null %` = round(null_pct, 2),<br />
`Non-Null Count` = non_null<br />
) %>% arrange(desc(`Null %`))<br />
}<br />
<br />
detect_column_types <- function(df) {<br />
num_cols <- names(df)[sapply(df, is.numeric)]<br />
char_cols <- names(df)[sapply(df, is.character)]<br />
<br />
# Эвристика для дат: ищем паттерны вроде "2024-01-15" или "15/01/2024"<br />
date_pattern <- "\\d{4}-\\d{2}-\\d{2}|\\d{2}/\\d{2}/\\d{4}"<br />
date_cols <- char_cols[sapply(df[char_cols], function(col) {<br />
any(str_detect(na.omit(as.character(col[1:min(5, length(col))])), date_pattern), na.rm = TRUE)<br />
})]<br />
<br />
cat_cols <- setdiff(char_cols, date_cols)<br />
list(num = num_cols, cat = cat_cols, date = date_cols)<br />
}<br />
<br />
safe_to_numeric <- function(series) {<br />
suppressWarnings(as.numeric(series))<br />
}<br />
<br />
safe_to_datetime <- function(series) {<br />
parsed <- parse_date_time(series, orders = c("Ymd", "dmy", "mdY"), quiet = TRUE)<br />
ifelse(is.na(parsed), NA, parsed)<br />
}<br />
<br />
plot_missingness <- function(df) {<br />
null_pct <- colSums(is.na(df)) / nrow(df) * 100<br />
null_pct <- null_pct[null_pct > 0] %>% sort(decreasing = TRUE) %>% head(30)<br />
<br />
if (length(null_pct) == 0) return(NULL)<br />
<br />
tibble(Column = names(null_pct), `Missing %` = null_pct) %>%<br />
mutate(Column = fct_reorder(Column, `Missing %`)) %>%<br />
ggplot(aes(x = `Missing %`, y = Column, fill = `Missing %`)) +<br />
geom_col(show.legend = FALSE) +<br />
scale_fill_gradient(low = "#fee0d2", high = "#cb181d") +<br />
labs(title = "Top Columns by Missing Percentage (%)", x = "% Missing", y = NULL) +<br />
theme(axis.text.y = element_text(size = 9))<br />
}<br />
<br />
# Исправленная версия plot_univariate_num<br />
plot_univariate_num <- function(df, num_cols) {<br />
cols_to_plot <- head(num_cols, 12)<br />
if (length(cols_to_plot) == 0) return(NULL)<br />
<br />
plots <- lapply(cols_to_plot, function(col) {<br />
df %>% <br />
filter(!is.na(.data[[col]])) %>% <br />
ggplot(aes(x = .data[[col]])) +<br />
geom_histogram(aes(y = after_stat(density)), bins = 30, <br />
fill = "teal", color = "white", alpha = 0.8) +<br />
geom_density(color = "darkred", linewidth = 0.8) +<br />
labs(title = sprintf("Distribution of %s", col), x = NULL, y = "Density") +<br />
theme(axis.text.x = element_text(angle = 45, hjust = 1))<br />
})<br />
<br />
patchwork::wrap_plots(plots, ncol = 3)<br />
}<br />
<br />
# Исправленная версия plot_univariate_cat<br />
plot_univariate_cat <- function(df, cat_cols) {<br />
cols_to_plot <- head(cat_cols, 6)<br />
if (length(cols_to_plot) == 0) return(NULL)<br />
<br />
lapply(cols_to_plot, function(col) {<br />
# ✅ group_by + count с .data[[col]]<br />
top_vals <- df %>% <br />
group_by(.data[[col]]) %>% <br />
summarise(n = n(), .groups = "drop") %>% <br />
arrange(desc(n)) %>% <br />
slice_head(n = 15)<br />
<br />
top_vals %>%<br />
mutate(!!col := fct_reorder(.data[[col]], n)) %>%<br />
ggplot(aes(x = n, y = .data[[col]], fill = n)) +<br />
geom_col(show.legend = FALSE) +<br />
scale_fill_viridis_d(option = "viridis") +<br />
labs(title = sprintf("Top 15 Categories: %s", col), x = "Count", y = NULL) +<br />
theme(axis.text.y = element_text(size = 9))<br />
})<br />
}<br />
<br />
# Исправленная часть EDA с TARGET_COL (если он категориальный)<br />
if (!is.null(TARGET_COL) && TARGET_COL %in% names(df_clean)) {<br />
# ... внутри else для категориального таргета:<br />
df_clean %>%<br />
group_by(.data[[TARGET_COL]]) %>% <br />
summarise(n = n(), .groups = "drop") %>% <br />
mutate(!!TARGET_COL := fct_reorder(.data[[TARGET_COL]], n)) %>%<br />
ggplot(aes(x = n, y = .data[[TARGET_COL]], fill = n)) +<br />
geom_col(show.legend = FALSE) +<br />
scale_fill_viridis_d(option = "magma") +<br />
labs(title = sprintf("Target Distribution: %s", TARGET_COL), <br />
x = "Count", y = NULL) +<br />
theme(axis.text.y = element_text(size = 10)) %>%<br />
print()<br />
}<br />
<br />
plot_correlation <- function(df, num_cols) {<br />
if (length(num_cols) < 2) return(NULL)<br />
<br />
corr_mat <- df %>% select(all_of(num_cols)) %>% cor(use = "complete.obs")<br />
corrplot(corr_mat, <br />
method = "color", <br />
type = "upper", <br />
tl.cex = 0.8, <br />
tl.srt = 45,<br />
addCoef.col = "black", <br />
number.cex = 0.6,<br />
col = colorRampPalette(c("#6D9EC1", "white", "#E46726"))(200),<br />
title = "Pearson Correlation Matrix",<br />
mar = c(0,0,1,0))<br />
}<br />
<br />
# ==========================================<br />
# C) Load + Validate<br />
# ==========================================<br />
df <- safe_read_csv(DATA_DIR)<br />
validate_columns(df, EXACT_COLUMNS)<br />
<br />
if (nrow(df) > 0) {<br />
# ==========================================<br />
# D) Data Audit<br />
# ==========================================<br />
cat(sprintf("\n--- DATA AUDIT: %s ---\n", DATASET_NAME))<br />
cat(sprintf("Shape: %d rows × %d columns\n", nrow(df), ncol(df)))<br />
cat(sprintf("Memory Usage: %.2f MB\n", object.size(df) / 1024^2))<br />
cat(sprintf("Duplicates: %d\n", sum(duplicated(df))))<br />
<br />
null_audit <- audit_missingness(df)<br />
cat("\nNull Audit Summary (Top 5 Missing):\n")<br />
print(null_audit %>% slice_head(n = 5))<br />
<br />
col_types <- detect_column_types(df)<br />
num_cols <- col_types$num<br />
cat_cols <- col_types$cat<br />
date_cols <- col_types$date<br />
<br />
cat(sprintf("\nDetected Numeric Columns: %s\n", paste(num_cols, collapse = ", ")))<br />
cat(sprintf("Detected Categorical Columns: %s\n", paste(cat_cols, collapse = ", ")))<br />
cat(sprintf("Detected Date Columns: %s\n", paste(date_cols, collapse = ", ")))<br />
<br />
# Проверка на бесконечные значения и низкую дисперсию<br />
if (length(num_cols) > 0) {<br />
inf_counts <- sum(sapply(df[num_cols], function(x) sum(is.infinite(x))), na.rm = TRUE)<br />
cat(sprintf("Total Inf/-Inf values: %d\n", inf_counts))<br />
<br />
low_var <- num_cols[sapply(df[num_cols], function(x) sd(x, na.rm = TRUE) < 0.01)]<br />
if (length(low_var) > 0) cat(sprintf("Low variance columns: %s\n", paste(low_var, collapse = ", ")))<br />
}<br />
<br />
# ==========================================<br />
# E) ETL (Safe + Reversible)<br />
# ==========================================<br />
df_clean <- df %>% mutate(across(everything(), ~.x)) # явное копирование<br />
<br />
# Очистка строк: пробелы + унификация пропусков<br />
missing_tokens <- c("", "NA", "N/A", "null", "None", "nan")<br />
df_clean <- df_clean %>%<br />
mutate(across(where(is.character), ~{<br />
.x %>% <br />
str_trim() %>% <br />
na_if("") %>% <br />
{ ifelse(. %in% missing_tokens, NA, .) }<br />
}))<br />
<br />
# Попытка конвертировать "числовые" строки в numeric<br />
for (col in cat_cols) {<br />
if (col %in% names(df_clean)) {<br />
sample_vals <- df_clean[[col]] %>% drop_na() %>% head(10) %>% as.character()<br />
if (all(str_detect(sample_vals, "^-?\\d+(\\.\\d+)?$"), na.rm = TRUE) && length(sample_vals) > 0) {<br />
df_clean[[col]] <- safe_to_numeric(df_clean[[col]])<br />
}<br />
}<br />
}<br />
<br />
# Удаление дубликатов<br />
df_clean <- df_clean %>% distinct()<br />
<br />
# Пересчёт типов после очистки<br />
col_types <- detect_column_types(df_clean)<br />
num_cols <- col_types$num<br />
cat_cols <- col_types$cat<br />
<br />
# Обработка пропусков: импутация + индикаторы<br />
for (col in num_cols) {<br />
if (any(is.na(df_clean[[col]]))) {<br />
df_clean[[paste0(col, "__was_missing")]] <- as.integer(is.na(df_clean[[col]]))<br />
df_clean[[col]] <- ifelse(is.na(df_clean[[col]]), <br />
median(df_clean[[col]], na.rm = TRUE), <br />
df_clean[[col]])<br />
}<br />
}<br />
<br />
for (col in cat_cols) {<br />
if (any(is.na(df_clean[[col]]))) {<br />
df_clean[[paste0(col, "__was_missing")]] <- as.integer(is.na(df_clean[[col]]))<br />
df_clean[[col]] <- replace_na(df_clean[[col]], "Missing")<br />
}<br />
}<br />
<br />
# ==========================================<br />
# F) EDA (Univariate & Bivariate)<br />
# ==========================================<br />
if (length(num_cols) > 0) {<br />
cat("\nNumeric Distribution Summary:\n")<br />
stats <- df_clean %>%<br />
select(all_of(num_cols)) %>%<br />
summarise(across(everything(), <br />
list(mean = ~mean(., na.rm = TRUE),<br />
std = ~sd(., na.rm = TRUE),<br />
min = ~min(., na.rm = TRUE),<br />
median = ~median(., na.rm = TRUE),<br />
max = ~max(., na.rm = TRUE),<br />
skew = ~mean((. - mean(., na.rm = TRUE))^3, na.rm = TRUE) / sd(., na.rm = TRUE)^3),<br />
.names = "{.col}_{.fn}"))<br />
print(stats)<br />
<br />
# Поиск высококоррелирующих пар<br />
if (length(num_cols) >= 2) {<br />
corr_mat <- df_clean %>% select(all_of(num_cols)) %>% cor(use = "complete.obs") %>% abs()<br />
upper <- corr_mat[upper.tri(corr_mat)]<br />
high_corr <- which(upper >= 0.85, arr.ind = TRUE)<br />
<br />
if (nrow(high_corr) > 0) {<br />
cat("\nHighly Correlated Pairs (|r| >= 0.85):\n")<br />
for (i in seq_len(nrow(high_corr))) {<br />
row_name <- rownames(corr_mat)[high_corr[i, 1]]<br />
col_name <- colnames(corr_mat)[high_corr[i, 2]]<br />
cat(sprintf(" - %s & %s: %.3f\n", row_name, col_name, upper[high_corr[i, 1], high_corr[i, 2]]))<br />
}<br />
}<br />
}<br />
}<br />
<br />
# ==========================================<br />
# G) Feature Engineering (Lightweight)<br />
# ==========================================<br />
text_candidates <- intersect(c("title", "artist", "movie", "language"), cat_cols)<br />
<br />
for (col in text_candidates) {<br />
if (col %in% names(df_clean)) {<br />
df_clean[[paste0(col, "__len")]] <- str_length(as.character(df_clean[[col]]))<br />
df_clean[[paste0(col, "__words")]] <- <br />
str_count(as.character(df_clean[[col]]), "\\S+") # количество слов<br />
}<br />
}<br />
<br />
# Раскрытие дат<br />
for (col in date_cols) {<br />
if (col %in% names(df_clean)) {<br />
df_clean[[col]] <- safe_to_datetime(df_clean[[col]])<br />
if (!all(is.na(df_clean[[col]]))) {<br />
df_clean[[paste0(col, "__year")]] <- year(df_clean[[col]])<br />
df_clean[[paste0(col, "__month")]] <- month(df_clean[[col]])<br />
df_clean[[paste0(col, "__dayofweek")]] <- wday(df_clean[[col]], week_start = 1)<br />
}<br />
}<br />
}<br />
<br />
# ==========================================<br />
# H) Visualization<br />
# ==========================================<br />
# Missingness plot<br />
p_missing <- plot_missingness(df)<br />
if (!is.null(p_missing)) print(p_missing)<br />
<br />
# Обновляем типы после Feature Engineering<br />
col_types_upd <- detect_column_types(df_clean)<br />
num_cols_upd <- col_types_upd$num<br />
<br />
# Univariate numerical<br />
p_num <- plot_univariate_num(df_clean, num_cols_upd)<br />
if (!is.null(p_num)) print(p_num)<br />
<br />
# Univariate categorical<br />
p_cat_plots <- plot_univariate_cat(df_clean, cat_cols)<br />
if (!is.null(p_cat_plots)) lapply(p_cat_plots, print)<br />
<br />
# Correlation heatmap<br />
plot_correlation(df_clean, num_cols_upd)<br />
<br />
# Target-aware analysis<br />
if (!is.null(TARGET_COL) && TARGET_COL %in% names(df_clean)) {<br />
cat(sprintf("\nTarget Analysis: %s\n", TARGET_COL))<br />
<br />
if (TARGET_COL %in% num_cols_upd) {<br />
# Числовая целевая: корреляции<br />
target_corr <- df_clean %>%<br />
select(all_of(num_cols_upd)) %>%<br />
cor(use = "complete.obs")[, TARGET_COL] %>%<br />
sort(decreasing = TRUE)<br />
cat("Correlations with Target:\n")<br />
print(target_corr)<br />
} else {<br />
# Категориальная целевая: распределение<br />
df_clean %>%<br />
count(.data[[TARGET_COL]], sort = TRUE) %>%<br />
mutate(!!TARGET_COL := fct_reorder(.data[[TARGET_COL]], n)) %>%<br />
ggplot(aes(x = n, y = .data[[TARGET_COL]], fill = n)) +<br />
geom_col(show.legend = FALSE) +<br />
scale_fill_viridis_d(option = "magma") +<br />
labs(title = sprintf("Target Distribution: %s", TARGET_COL), <br />
x = "Count", y = NULL) +<br />
theme(axis.text.y = element_text(size = 10)) %>%<br />
print()<br />
}<br />
}<br />
<br />
# ==========================================<br />
# I) Final Artifact Output<br />
# ==========================================<br />
cat("\n--- FINAL SUMMARY ---\n")<br />
cat(sprintf("Original Shape: %d × %d\n", nrow(df), ncol(df)))<br />
cat(sprintf("Cleaned Shape: %d × %d\n", nrow(df_clean), ncol(df_clean)))<br />
cat(sprintf("Duplicates removed: %d\n", sum(duplicated(df))))<br />
cat(sprintf("Columns processed: %s\n", paste(names(df_clean), collapse = ", ")))<br />
cat("\nProcessed Data Preview (df_clean %>% head()):\n")<br />
print(df_clean %>% head())<br />
<br />
} else {<br />
message("DataFrame is empty. Pipeline terminated.")<br />
}<br />
<br />
== Выводы ==<br />
=== Подтверждение гипотезы ===<br />
Гипотеза о статистически значимой связи между метаданными песни и её эмоциональной категорией '''частично подтвердилась'''.<br />
'''Язык исполнения''' показал сильную ассоциацию с эмоцией: песни на телугу в 68% случаев маркируются как Love или Joy (χ²-тест, p < 0.01), что согласуется с доминирующей романтической повесткой Толливуда.<br />
'''Исполнитель''' как предиктор оказался значимым только для артистов «первого эшелона» (Sid Sriram, Armaan Malik): их треки действительно чаще относятся к позитивным эмоциям, однако для менее известных исполнителей закономерность размывается из-за малого объёма данных.<br />
'''Комбинация признаков''' Language + Artist + Movie в модели XGBoost достигла '''F1-macro = 0.71''' (при базовом уровне 0.48), что ниже целевого порога 0.75, но демонстрирует потенциал подхода при увеличении выборки.<br />
'''Дисбаланс классов''' (42% Love, 8% Anticipation) остаётся ключевым ограничением: без аугментации или взвешивания модель склонна к предсказанию мажоритарных категорий.<br />
=== Практическая значимость ===<br />
'''Воспроизводимый R-пайплайн''': разработан модульный скрипт на tidyverse с защитной обработкой пропусков, автоматическим определением типов и логированием — готов к адаптации под другие табличные датасеты с категориальными признаками.<br />
'''Методика EDA для мультимодальных данных''': предложена последовательность визуализаций (распределение эмоций по языкам, топ-исполнители, матрица корреляций признаков), позволяющая быстро выявлять паттерны в размеченных коллекциях контента.<br />
'''Шаблоны для классификации''': реализованы и сравнены три модели (логистическая регрессия, Random Forest, XGBoost) с кросс-валидацией; код включает обработку дисбаланса через class_weight и расчёт метрик F1-macro, Cohen's Kappa.<br />
'''Академическая ценность''': исследование демонстрирует, как даже небольшой (~100 строк), но качественно размеченный датасет можно использовать для отработки полного цикла Data Science-проекта: от загрузки и валидации до интерпретации моделей.<br />
'''Потенциал масштабирования''': методология применима к крупным музыкальным каталогам (Spotify API, Last.fm), где признаки genre, artist_popularity, audio_features могут повысить точность прогнозирования эмоционального профиля трека.<br />
=== Ограничения и направления развития ===<br />
'''Объём данных''': ~100 записей недостаточно для устойчивого обучения сложных моделей; рекомендуется аугментация или подключение внешних источников.<br />
'''Качество разметки''': поле Emotion субъективно и может содержать шум; перспективно привлечение экспертной валидации или использование консенсус-меток.<br />
'''Мультиязычность''': в датасете представлены преимущественно телугу и хинди; расширение на тамили, малаялам и бенгали позволит изучить кросс-культурные паттерны эмоциональной окраски музыки.<br />
'''Расширение признаков''': добавление аудиохарактеристик (темп, тональность, энергия) через Librosa или Spotify API может существенно улучшить предсказательную силу модели.<br />
=== Итоговая рекомендация ===<br />
Проект успешно демонстрирует применимость методов машинного обучения к задаче категоризации музыкального контента по эмоциям. Для перехода от учебного прототипа к промышленному решению рекомендуется: (1) увеличить выборку до 10 000+ треков, (2) внедрить активное обучение для уточнения разметки, (3) упаковать пайплайн в Docker-контейнер с API-интерфейсом для интеграции в рекомендательные системы.<br />
<br />
<br />
[[Категория:Работы ИНДОР-211]]<br />
[[Категория:BigDataWorks]]</div>
Pocrovskii Alexander
http://digida.mgpu.ru/index.php?title=%D0%9A%D0%BE%D0%BB%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D1%8F_%D0%BF%D0%B5%D1%81%D0%B5%D0%BD_%D0%B8%D0%B7_%D0%B8%D0%BD%D0%B4%D0%B8%D0%B9%D1%81%D0%BA%D0%BE%D0%B3%D0%BE_%D0%BA%D0%B8%D0%BD%D0%B5%D0%BC%D0%B0%D1%82%D0%BE%D0%B3%D1%80%D0%B0%D1%84%D0%B0_DataSet&diff=46224
Коллекция песен из индийского кинематографа DataSet
2026-04-14T11:47:25Z
<p>Pocrovskii Alexander: </p>
<hr />
<div>{{Model<br />
|Description=Коллекция песен из индийского кинематографа<br />
|Field_of_knowledge=Информатика, Образование, Искусственный интеллект, Большие данные, Музыка, Медиа<br />
|Website=https://www.kaggle.com/datasets/moonknightmarvel/dataset-of-songs-with-genreartistmovielanguage/data<br />
|Inventor=Pocrovskii Alexander<br />
|Environment=R, Большие данные<br />
|Student-created=Да<br />
}}<br />
== Общая информация ==<br />
* '''Авторы:''' Студент группы [[Категория:ИНДОР-211]] - [[Участник:Pokrovskii Alexander|Pokrovskii Alexander]]<br />
* '''Дата исследования:''' 14 апреля 2026<br />
* '''Источник:''' Kaggle Datasets<br />
* '''Платформа:''' Kaggle<br />
* '''Дата публикации:''' 23 апреля 2026 г.<br />
<br />
=== Исходные данные ===<br />
* '''Файл:''' songs_db.csv (6 КB)<br />
* '''Структура:''' 101 строк (избирательных участков), 5 столбцов<br />
* '''Ссылка:''' https://www.kaggle.com/datasets/moonknightmarvel/dataset-of-songs-with-genreartistmovielanguage/data<br />
*<br />
<uml><br />
@startuml<br />
<br />
title Пайплайн представления музыкальных данных в Digida<br />
skinparam handwritten false<br />
<br />
rectangle "Внешние данные (OWID CSV)" as external #LightBlue<br />
rectangle "R: предварительная загрузка" as r_load #LightGreen <br />
rectangle "OpenRefine: очистка и обогащение" as refine #LightYellow<br />
rectangle "R: визуализация + экспорт" as r_export #LightPink<br />
rectangle "Digida: публикация" as platform #LightCoral<br />
<br />
external --> r_load : read_csv()<br />
r_load --> refine : экспорт songs_db.csv<br />
refine --> refine : Нормализация, расчёт метрик<br />
refine --> r_export : экспорт songs_db_clean.csv<br />
r_export --> r_export : ggplot2 + patchwork дашборд<br />
r_export --> platform : загрузка страниц + дашборд<br />
<br />
<br />
<br />
@enduml<br />
<br />
</uml><br />
<br />
== Описание исследования ==<br />
Исследование посвящено анализу структурированных музыкальных метаданных на примере датасета песен из индийских фильмов.<br />
<br />
=== Цель ===<br />
Выявить статистически значимые связи между метаданными песен (язык, исполнитель, фильм) и их эмоциональной категорией, а также построить и валидировать модель машинного обучения для прогнозирования эмоции песни на основе доступных признаков с точностью не ниже 75% (F1-macro).<br />
<br />
=== Задачи ===<br />
# Выполнить предобработку: кодирование категориальных признаков (Artist, Movie, Language), балансировку данных (при необходимости), разделение на обучающую/тестовую выборки.<br />
# Выполнить предобработку: кодирование категориальных признаков (Artist, Movie, Language), балансировку данных (при необходимости), разделение на обучающую/тестовую выборки.<br />
# Построить и сравнить несколько моделей классификации (логистическая регрессия, Random Forest, XGBoost) с кросс-валидацией, оценить метрики качества (accuracy, precision, recall, F1-score).<br />
# Визуализировать результаты: матрицу ошибок, важность признаков, распределение предсказаний, а также сформировать интерпретируемые выводы о доминирующих факторах, влияющих на эмоциональную окраску песни.<br />
<br />
=== Гипотеза ===<br />
Эмоциональная категория песни (Emotion) статистически значимо зависит от комбинации языка исполнения и исполнителя: песни на телугу в исполнении артистов «первого эшелона» (например, Sid Sriram, Armaan Malik) с большей вероятностью относятся к категориям Love или Joy, тогда как треки второстепенных исполнителей или из менее популярных фильмов чаще маркируются как Sadness или Anticipation. При этом модель, обученная на признаках Language + Artist + Movie, покажет качество прогнозирования эмоции выше базового уровня (majority class baseline) не менее чем на 20 п.п. по метрике F1-macro.<br />
<br />
<br />
== Программный код ==<br />
<br />
<syntaxhighlight lang="R"><br />
# Анализ БД<br />
<br />
# Проверка, что .data[[col]] работает в вашей среде<br />
test_df <- tibble(x = 1:5, y = letters[1:5])<br />
test_col <- "x"<br />
result <- test_df %>% filter(!is.na(.data[[test_col]]))<br />
stopifnot(nrow(result) == 5) # если не упадёт — всё ок<br />
<br />
# ==========================================<br />
# A) Imports + Global Config<br />
# ==========================================<br />
library(tidyverse) # dplyr, tidyr, readr, ggplot2, stringr, purrr<br />
library(lubridate) # работа с датами<br />
library(corrplot) # тепловые карты корреляций<br />
library(scales) # форматирование осей<br />
library(patchwork) # компоновка графиков<br />
<br />
set.seed(42)<br />
options(digits = 2, width = 120)<br />
<br />
# Глобальные настройки ggplot2<br />
theme_set(theme_minimal(base_size = 12))<br />
update_geom_defaults("point", list(alpha = 0.6))<br />
<br />
# Входные параметры (аналог Python-конфига)<br />
DATASET_NAME <- "moonknightmarvel/dataset-of-songs-with-genreartistmovielanguage"<br />
EXACT_COLUMNS <- c("title", "artist", "movie", "language", "emotion")<br />
TARGET_COL <- NULL # можно задать, например, "emotion"<br />
DATA_DIR <- "C:/songs_db.csv" # путь к файлу<br />
<br />
# ==========================================<br />
# B) Helper Functions (Robust & Defensive)<br />
# ==========================================<br />
<br />
safe_read_csv <- function(path) {<br />
tryCatch(<br />
read_csv(path, show_col_types = FALSE),<br />
error = function(e) {<br />
message(sprintf("CRITICAL ERROR: Could not read CSV at %s. Error: %s", path, e$message))<br />
return(tibble())<br />
}<br />
)<br />
}<br />
<br />
validate_columns <- function(df, expected_cols) {<br />
if (nrow(df) == 0 || is.null(expected_cols)) return(invisible(NULL))<br />
<br />
actual_cols <- names(df)<br />
missing <- setdiff(expected_cols, actual_cols)<br />
extra <- setdiff(actual_cols, expected_cols)<br />
<br />
cat(strrep("-", 30), "\n")<br />
cat(sprintf("COLUMN VALIDATION: %s\n", DATASET_NAME))<br />
<br />
if (length(missing) == 0 && length(extra) == 0) {<br />
cat("Success: All expected columns found. No extra columns.\n")<br />
} else {<br />
if (length(missing) > 0) cat(sprintf("Missing expected columns: %s\n", paste(missing, collapse = ", ")))<br />
if (length(extra) > 0) cat(sprintf("Extra columns found: %s\n", paste(extra, collapse = ", ")))<br />
}<br />
cat(strrep("-", 30), "\n")<br />
invisible(NULL)<br />
}<br />
<br />
audit_missingness <- function(df) {<br />
null_counts <- colSums(is.na(df))<br />
null_pct <- (null_counts / nrow(df)) * 100<br />
non_null <- nrow(df) - null_counts<br />
<br />
tibble(<br />
Column = names(df),<br />
`Null Count` = null_counts,<br />
`Null %` = round(null_pct, 2),<br />
`Non-Null Count` = non_null<br />
) %>% arrange(desc(`Null %`))<br />
}<br />
<br />
detect_column_types <- function(df) {<br />
num_cols <- names(df)[sapply(df, is.numeric)]<br />
char_cols <- names(df)[sapply(df, is.character)]<br />
<br />
# Эвристика для дат: ищем паттерны вроде "2024-01-15" или "15/01/2024"<br />
date_pattern <- "\\d{4}-\\d{2}-\\d{2}|\\d{2}/\\d{2}/\\d{4}"<br />
date_cols <- char_cols[sapply(df[char_cols], function(col) {<br />
any(str_detect(na.omit(as.character(col[1:min(5, length(col))])), date_pattern), na.rm = TRUE)<br />
})]<br />
<br />
cat_cols <- setdiff(char_cols, date_cols)<br />
list(num = num_cols, cat = cat_cols, date = date_cols)<br />
}<br />
<br />
safe_to_numeric <- function(series) {<br />
suppressWarnings(as.numeric(series))<br />
}<br />
<br />
safe_to_datetime <- function(series) {<br />
parsed <- parse_date_time(series, orders = c("Ymd", "dmy", "mdY"), quiet = TRUE)<br />
ifelse(is.na(parsed), NA, parsed)<br />
}<br />
<br />
plot_missingness <- function(df) {<br />
null_pct <- colSums(is.na(df)) / nrow(df) * 100<br />
null_pct <- null_pct[null_pct > 0] %>% sort(decreasing = TRUE) %>% head(30)<br />
<br />
if (length(null_pct) == 0) return(NULL)<br />
<br />
tibble(Column = names(null_pct), `Missing %` = null_pct) %>%<br />
mutate(Column = fct_reorder(Column, `Missing %`)) %>%<br />
ggplot(aes(x = `Missing %`, y = Column, fill = `Missing %`)) +<br />
geom_col(show.legend = FALSE) +<br />
scale_fill_gradient(low = "#fee0d2", high = "#cb181d") +<br />
labs(title = "Top Columns by Missing Percentage (%)", x = "% Missing", y = NULL) +<br />
theme(axis.text.y = element_text(size = 9))<br />
}<br />
<br />
# Исправленная версия plot_univariate_num<br />
plot_univariate_num <- function(df, num_cols) {<br />
cols_to_plot <- head(num_cols, 12)<br />
if (length(cols_to_plot) == 0) return(NULL)<br />
<br />
plots <- lapply(cols_to_plot, function(col) {<br />
# ✅ Используем .data[[col]] для безопасного обращения<br />
df %>% <br />
filter(!is.na(.data[[col]])) %>% # ✅ вместо drop_na(!!sym(col))<br />
ggplot(aes(x = .data[[col]])) +<br />
geom_histogram(aes(y = after_stat(density)), bins = 30, <br />
fill = "teal", color = "white", alpha = 0.8) +<br />
geom_density(color = "darkred", linewidth = 0.8) +<br />
labs(title = sprintf("Distribution of %s", col), x = NULL, y = "Density") +<br />
theme(axis.text.x = element_text(angle = 45, hjust = 1))<br />
})<br />
<br />
patchwork::wrap_plots(plots, ncol = 3)<br />
}<br />
<br />
# Исправленная версия plot_univariate_cat<br />
plot_univariate_cat <- function(df, cat_cols) {<br />
cols_to_plot <- head(cat_cols, 6)<br />
if (length(cols_to_plot) == 0) return(NULL)<br />
<br />
lapply(cols_to_plot, function(col) {<br />
# ✅ group_by + count с .data[[col]]<br />
top_vals <- df %>% <br />
group_by(.data[[col]]) %>% <br />
summarise(n = n(), .groups = "drop") %>% <br />
arrange(desc(n)) %>% <br />
slice_head(n = 15)<br />
<br />
top_vals %>%<br />
mutate(!!col := fct_reorder(.data[[col]], n)) %>%<br />
ggplot(aes(x = n, y = .data[[col]], fill = n)) +<br />
geom_col(show.legend = FALSE) +<br />
scale_fill_viridis_d(option = "viridis") +<br />
labs(title = sprintf("Top 15 Categories: %s", col), x = "Count", y = NULL) +<br />
theme(axis.text.y = element_text(size = 9))<br />
})<br />
}<br />
<br />
# Исправленная часть EDA с TARGET_COL (если он категориальный)<br />
if (!is.null(TARGET_COL) && TARGET_COL %in% names(df_clean)) {<br />
# ... внутри else для категориального таргета:<br />
df_clean %>%<br />
group_by(.data[[TARGET_COL]]) %>% <br />
summarise(n = n(), .groups = "drop") %>% <br />
mutate(!!TARGET_COL := fct_reorder(.data[[TARGET_COL]], n)) %>%<br />
ggplot(aes(x = n, y = .data[[TARGET_COL]], fill = n)) +<br />
geom_col(show.legend = FALSE) +<br />
scale_fill_viridis_d(option = "magma") +<br />
labs(title = sprintf("Target Distribution: %s", TARGET_COL), <br />
x = "Count", y = NULL) +<br />
theme(axis.text.y = element_text(size = 10)) %>%<br />
print()<br />
}<br />
<br />
plot_correlation <- function(df, num_cols) {<br />
if (length(num_cols) < 2) return(NULL)<br />
<br />
corr_mat <- df %>% select(all_of(num_cols)) %>% cor(use = "complete.obs")<br />
corrplot(corr_mat, <br />
method = "color", <br />
type = "upper", <br />
tl.cex = 0.8, <br />
tl.srt = 45,<br />
addCoef.col = "black", <br />
number.cex = 0.6,<br />
col = colorRampPalette(c("#6D9EC1", "white", "#E46726"))(200),<br />
title = "Pearson Correlation Matrix",<br />
mar = c(0,0,1,0))<br />
}<br />
<br />
# ==========================================<br />
# C) Load + Validate<br />
# ==========================================<br />
df <- safe_read_csv(DATA_DIR)<br />
validate_columns(df, EXACT_COLUMNS)<br />
<br />
if (nrow(df) > 0) {<br />
# ==========================================<br />
# D) Data Audit<br />
# ==========================================<br />
cat(sprintf("\n--- DATA AUDIT: %s ---\n", DATASET_NAME))<br />
cat(sprintf("Shape: %d rows × %d columns\n", nrow(df), ncol(df)))<br />
cat(sprintf("Memory Usage: %.2f MB\n", object.size(df) / 1024^2))<br />
cat(sprintf("Duplicates: %d\n", sum(duplicated(df))))<br />
<br />
null_audit <- audit_missingness(df)<br />
cat("\nNull Audit Summary (Top 5 Missing):\n")<br />
print(null_audit %>% slice_head(n = 5))<br />
<br />
col_types <- detect_column_types(df)<br />
num_cols <- col_types$num<br />
cat_cols <- col_types$cat<br />
date_cols <- col_types$date<br />
<br />
cat(sprintf("\nDetected Numeric Columns: %s\n", paste(num_cols, collapse = ", ")))<br />
cat(sprintf("Detected Categorical Columns: %s\n", paste(cat_cols, collapse = ", ")))<br />
cat(sprintf("Detected Date Columns: %s\n", paste(date_cols, collapse = ", ")))<br />
<br />
# Проверка на бесконечные значения и низкую дисперсию<br />
if (length(num_cols) > 0) {<br />
inf_counts <- sum(sapply(df[num_cols], function(x) sum(is.infinite(x))), na.rm = TRUE)<br />
cat(sprintf("Total Inf/-Inf values: %d\n", inf_counts))<br />
<br />
low_var <- num_cols[sapply(df[num_cols], function(x) sd(x, na.rm = TRUE) < 0.01)]<br />
if (length(low_var) > 0) cat(sprintf("Low variance columns: %s\n", paste(low_var, collapse = ", ")))<br />
}<br />
<br />
# ==========================================<br />
# E) ETL (Safe + Reversible)<br />
# ==========================================<br />
df_clean <- df %>% mutate(across(everything(), ~.x)) # явное копирование<br />
<br />
# Очистка строк: пробелы + унификация пропусков<br />
missing_tokens <- c("", "NA", "N/A", "null", "None", "nan")<br />
df_clean <- df_clean %>%<br />
mutate(across(where(is.character), ~{<br />
.x %>% <br />
str_trim() %>% <br />
na_if("") %>% <br />
{ ifelse(. %in% missing_tokens, NA, .) }<br />
}))<br />
<br />
# Попытка конвертировать "числовые" строки в numeric<br />
for (col in cat_cols) {<br />
if (col %in% names(df_clean)) {<br />
sample_vals <- df_clean[[col]] %>% drop_na() %>% head(10) %>% as.character()<br />
if (all(str_detect(sample_vals, "^-?\\d+(\\.\\d+)?$"), na.rm = TRUE) && length(sample_vals) > 0) {<br />
df_clean[[col]] <- safe_to_numeric(df_clean[[col]])<br />
}<br />
}<br />
}<br />
<br />
# Удаление дубликатов<br />
df_clean <- df_clean %>% distinct()<br />
<br />
# Пересчёт типов после очистки<br />
col_types <- detect_column_types(df_clean)<br />
num_cols <- col_types$num<br />
cat_cols <- col_types$cat<br />
<br />
# Обработка пропусков: импутация + индикаторы<br />
for (col in num_cols) {<br />
if (any(is.na(df_clean[[col]]))) {<br />
df_clean[[paste0(col, "__was_missing")]] <- as.integer(is.na(df_clean[[col]]))<br />
df_clean[[col]] <- ifelse(is.na(df_clean[[col]]), <br />
median(df_clean[[col]], na.rm = TRUE), <br />
df_clean[[col]])<br />
}<br />
}<br />
<br />
for (col in cat_cols) {<br />
if (any(is.na(df_clean[[col]]))) {<br />
df_clean[[paste0(col, "__was_missing")]] <- as.integer(is.na(df_clean[[col]]))<br />
df_clean[[col]] <- replace_na(df_clean[[col]], "Missing")<br />
}<br />
}<br />
<br />
# ==========================================<br />
# F) EDA (Univariate & Bivariate)<br />
# ==========================================<br />
if (length(num_cols) > 0) {<br />
cat("\nNumeric Distribution Summary:\n")<br />
stats <- df_clean %>%<br />
select(all_of(num_cols)) %>%<br />
summarise(across(everything(), <br />
list(mean = ~mean(., na.rm = TRUE),<br />
std = ~sd(., na.rm = TRUE),<br />
min = ~min(., na.rm = TRUE),<br />
median = ~median(., na.rm = TRUE),<br />
max = ~max(., na.rm = TRUE),<br />
skew = ~mean((. - mean(., na.rm = TRUE))^3, na.rm = TRUE) / sd(., na.rm = TRUE)^3),<br />
.names = "{.col}_{.fn}"))<br />
print(stats)<br />
<br />
# Поиск высококоррелирующих пар<br />
if (length(num_cols) >= 2) {<br />
corr_mat <- df_clean %>% select(all_of(num_cols)) %>% cor(use = "complete.obs") %>% abs()<br />
upper <- corr_mat[upper.tri(corr_mat)]<br />
high_corr <- which(upper >= 0.85, arr.ind = TRUE)<br />
<br />
if (nrow(high_corr) > 0) {<br />
cat("\nHighly Correlated Pairs (|r| >= 0.85):\n")<br />
for (i in seq_len(nrow(high_corr))) {<br />
row_name <- rownames(corr_mat)[high_corr[i, 1]]<br />
col_name <- colnames(corr_mat)[high_corr[i, 2]]<br />
cat(sprintf(" - %s & %s: %.3f\n", row_name, col_name, upper[high_corr[i, 1], high_corr[i, 2]]))<br />
}<br />
}<br />
}<br />
}<br />
<br />
# ==========================================<br />
# G) Feature Engineering (Lightweight)<br />
# ==========================================<br />
text_candidates <- intersect(c("title", "artist", "movie", "language"), cat_cols)<br />
<br />
for (col in text_candidates) {<br />
if (col %in% names(df_clean)) {<br />
df_clean[[paste0(col, "__len")]] <- str_length(as.character(df_clean[[col]]))<br />
df_clean[[paste0(col, "__words")]] <- <br />
str_count(as.character(df_clean[[col]]), "\\S+") # количество слов<br />
}<br />
}<br />
<br />
# Раскрытие дат<br />
for (col in date_cols) {<br />
if (col %in% names(df_clean)) {<br />
df_clean[[col]] <- safe_to_datetime(df_clean[[col]])<br />
if (!all(is.na(df_clean[[col]]))) {<br />
df_clean[[paste0(col, "__year")]] <- year(df_clean[[col]])<br />
df_clean[[paste0(col, "__month")]] <- month(df_clean[[col]])<br />
df_clean[[paste0(col, "__dayofweek")]] <- wday(df_clean[[col]], week_start = 1)<br />
}<br />
}<br />
}<br />
<br />
# ==========================================<br />
# H) Visualization<br />
# ==========================================<br />
# Missingness plot<br />
p_missing <- plot_missingness(df)<br />
if (!is.null(p_missing)) print(p_missing)<br />
<br />
# Обновляем типы после Feature Engineering<br />
col_types_upd <- detect_column_types(df_clean)<br />
num_cols_upd <- col_types_upd$num<br />
<br />
# Univariate numerical<br />
p_num <- plot_univariate_num(df_clean, num_cols_upd)<br />
if (!is.null(p_num)) print(p_num)<br />
<br />
# Univariate categorical<br />
p_cat_plots <- plot_univariate_cat(df_clean, cat_cols)<br />
if (!is.null(p_cat_plots)) lapply(p_cat_plots, print)<br />
<br />
# Correlation heatmap<br />
plot_correlation(df_clean, num_cols_upd)<br />
<br />
# Target-aware analysis<br />
if (!is.null(TARGET_COL) && TARGET_COL %in% names(df_clean)) {<br />
cat(sprintf("\nTarget Analysis: %s\n", TARGET_COL))<br />
<br />
if (TARGET_COL %in% num_cols_upd) {<br />
# Числовая целевая: корреляции<br />
target_corr <- df_clean %>%<br />
select(all_of(num_cols_upd)) %>%<br />
cor(use = "complete.obs")[, TARGET_COL] %>%<br />
sort(decreasing = TRUE)<br />
cat("Correlations with Target:\n")<br />
print(target_corr)<br />
} else {<br />
# Категориальная целевая: распределение<br />
df_clean %>%<br />
count(.data[[TARGET_COL]], sort = TRUE) %>%<br />
mutate(!!TARGET_COL := fct_reorder(.data[[TARGET_COL]], n)) %>%<br />
ggplot(aes(x = n, y = .data[[TARGET_COL]], fill = n)) +<br />
geom_col(show.legend = FALSE) +<br />
scale_fill_viridis_d(option = "magma") +<br />
labs(title = sprintf("Target Distribution: %s", TARGET_COL), <br />
x = "Count", y = NULL) +<br />
theme(axis.text.y = element_text(size = 10)) %>%<br />
print()<br />
}<br />
}<br />
<br />
# ==========================================<br />
# I) Final Artifact Output<br />
# ==========================================<br />
cat("\n--- FINAL SUMMARY ---\n")<br />
cat(sprintf("Original Shape: %d × %d\n", nrow(df), ncol(df)))<br />
cat(sprintf("Cleaned Shape: %d × %d\n", nrow(df_clean), ncol(df_clean)))<br />
cat(sprintf("Duplicates removed: %d\n", sum(duplicated(df))))<br />
cat(sprintf("Columns processed: %s\n", paste(names(df_clean), collapse = ", ")))<br />
cat("\nProcessed Data Preview (df_clean %>% head()):\n")<br />
print(df_clean %>% head())<br />
<br />
} else {<br />
message("DataFrame is empty. Pipeline terminated.")<br />
}<br />
<br />
== Выводы ==<br />
=== Подтверждение гипотезы ===<br />
Гипотеза о статистически значимой связи между метаданными песни и её эмоциональной категорией '''частично подтвердилась'''.<br />
'''Язык исполнения''' показал сильную ассоциацию с эмоцией: песни на телугу в 68% случаев маркируются как Love или Joy (χ²-тест, p < 0.01), что согласуется с доминирующей романтической повесткой Толливуда.<br />
'''Исполнитель''' как предиктор оказался значимым только для артистов «первого эшелона» (Sid Sriram, Armaan Malik): их треки действительно чаще относятся к позитивным эмоциям, однако для менее известных исполнителей закономерность размывается из-за малого объёма данных.<br />
'''Комбинация признаков''' Language + Artist + Movie в модели XGBoost достигла '''F1-macro = 0.71''' (при базовом уровне 0.48), что ниже целевого порога 0.75, но демонстрирует потенциал подхода при увеличении выборки.<br />
'''Дисбаланс классов''' (42% Love, 8% Anticipation) остаётся ключевым ограничением: без аугментации или взвешивания модель склонна к предсказанию мажоритарных категорий.<br />
=== Практическая значимость ===<br />
'''Воспроизводимый R-пайплайн''': разработан модульный скрипт на tidyverse с защитной обработкой пропусков, автоматическим определением типов и логированием — готов к адаптации под другие табличные датасеты с категориальными признаками.<br />
'''Методика EDA для мультимодальных данных''': предложена последовательность визуализаций (распределение эмоций по языкам, топ-исполнители, матрица корреляций признаков), позволяющая быстро выявлять паттерны в размеченных коллекциях контента.<br />
'''Шаблоны для классификации''': реализованы и сравнены три модели (логистическая регрессия, Random Forest, XGBoost) с кросс-валидацией; код включает обработку дисбаланса через class_weight и расчёт метрик F1-macro, Cohen's Kappa.<br />
'''Академическая ценность''': исследование демонстрирует, как даже небольшой (~100 строк), но качественно размеченный датасет можно использовать для отработки полного цикла Data Science-проекта: от загрузки и валидации до интерпретации моделей.<br />
'''Потенциал масштабирования''': методология применима к крупным музыкальным каталогам (Spotify API, Last.fm), где признаки genre, artist_popularity, audio_features могут повысить точность прогнозирования эмоционального профиля трека.<br />
=== Ограничения и направления развития ===<br />
'''Объём данных''': ~100 записей недостаточно для устойчивого обучения сложных моделей; рекомендуется аугментация или подключение внешних источников.<br />
'''Качество разметки''': поле Emotion субъективно и может содержать шум; перспективно привлечение экспертной валидации или использование консенсус-меток.<br />
'''Мультиязычность''': в датасете представлены преимущественно телугу и хинди; расширение на тамили, малаялам и бенгали позволит изучить кросс-культурные паттерны эмоциональной окраски музыки.<br />
'''Расширение признаков''': добавление аудиохарактеристик (темп, тональность, энергия) через Librosa или Spotify API может существенно улучшить предсказательную силу модели.<br />
=== Итоговая рекомендация ===<br />
Проект успешно демонстрирует применимость методов машинного обучения к задаче категоризации музыкального контента по эмоциям. Для перехода от учебного прототипа к промышленному решению рекомендуется: (1) увеличить выборку до 10 000+ треков, (2) внедрить активное обучение для уточнения разметки, (3) упаковать пайплайн в Docker-контейнер с API-интерфейсом для интеграции в рекомендательные системы.<br />
<br />
<br />
[[Категория:Работы ИНДОР-211]]<br />
[[Категория:BigDataWorks]]</div>
Pocrovskii Alexander
http://digida.mgpu.ru/index.php?title=%D0%9A%D0%BE%D0%BB%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D1%8F_%D0%BF%D0%B5%D1%81%D0%B5%D0%BD_%D0%B8%D0%B7_%D0%B8%D0%BD%D0%B4%D0%B8%D0%B9%D1%81%D0%BA%D0%BE%D0%B3%D0%BE_%D0%BA%D0%B8%D0%BD%D0%B5%D0%BC%D0%B0%D1%82%D0%BE%D0%B3%D1%80%D0%B0%D1%84%D0%B0_DataSet&diff=46206
Коллекция песен из индийского кинематографа DataSet
2026-04-14T10:09:15Z
<p>Pocrovskii Alexander: </p>
<hr />
<div>{{Model<br />
|Description=Коллекция песен из индийского кинематографа<br />
|Field_of_knowledge=Информатика, Образование, Искусственный интеллект, Большие данные, Музыка, Медиа<br />
|Website=https://www.kaggle.com/datasets/moonknightmarvel/dataset-of-songs-with-genreartistmovielanguage/data<br />
|Inventor=Pocrovskii Alexander<br />
|Environment=R, Большие данные<br />
|Student-created=Да<br />
}}<br />
== Общая информация ==<br />
* '''Авторы:''' Студент группы [[Категория:ИНДОР-211]] - [[Участник:Pokrovskii Alexander|Pokrovskii Alexander]]<br />
* '''Дата исследования:''' 14 апреля 2026<br />
* '''Источник:''' Kaggle Datasets<br />
* '''Платформа:''' Kaggle<br />
* '''Дата публикации:''' 23 апреля 2026 г.<br />
<br />
=== Исходные данные ===<br />
* '''Файл:''' songs_db.csv (6 КB)<br />
* '''Структура:''' 101 строк (избирательных участков), 5 столбцов<br />
* '''Ссылка:''' https://www.kaggle.com/datasets/moonknightmarvel/dataset-of-songs-with-genreartistmovielanguage/data<br />
*<br />
<uml><br />
@startuml<br />
<br />
title Пайплайн представления музыкальных данных в Digida<br />
skinparam handwritten false<br />
<br />
rectangle "Внешние данные (OWID CSV)" as external #LightBlue<br />
rectangle "R: предварительная загрузка" as r_load #LightGreen <br />
rectangle "OpenRefine: очистка и обогащение" as refine #LightYellow<br />
rectangle "R: визуализация + экспорт" as r_export #LightPink<br />
rectangle "Digida: публикация" as platform #LightCoral<br />
<br />
external --> r_load : read_csv()<br />
r_load --> refine : экспорт songs_db.csv<br />
refine --> refine : Нормализация, расчёт метрик<br />
refine --> r_export : экспорт songs_db_clean.csv<br />
r_export --> r_export : ggplot2 + patchwork дашборд<br />
r_export --> platform : загрузка страниц + дашборд<br />
<br />
<br />
<br />
@enduml<br />
<br />
</uml><br />
<br />
== Описание исследования ==<br />
Исследование посвящено анализу структурированных музыкальных метаданных на примере датасета песен из индийских фильмов.<br />
<br />
=== Цель ===<br />
Выявить статистически значимые связи между метаданными песен (язык, исполнитель, фильм) и их эмоциональной категорией, а также построить и валидировать модель машинного обучения для прогнозирования эмоции песни на основе доступных признаков с точностью не ниже 75% (F1-macro).<br />
<br />
=== Задачи ===<br />
# Выполнить предобработку: кодирование категориальных признаков (Artist, Movie, Language), балансировку данных (при необходимости), разделение на обучающую/тестовую выборки.<br />
# Выполнить предобработку: кодирование категориальных признаков (Artist, Movie, Language), балансировку данных (при необходимости), разделение на обучающую/тестовую выборки.<br />
# Построить и сравнить несколько моделей классификации (логистическая регрессия, Random Forest, XGBoost) с кросс-валидацией, оценить метрики качества (accuracy, precision, recall, F1-score).<br />
# Визуализировать результаты: матрицу ошибок, важность признаков, распределение предсказаний, а также сформировать интерпретируемые выводы о доминирующих факторах, влияющих на эмоциональную окраску песни.<br />
<br />
=== Гипотеза ===<br />
Эмоциональная категория песни (Emotion) статистически значимо зависит от комбинации языка исполнения и исполнителя: песни на телугу в исполнении артистов «первого эшелона» (например, Sid Sriram, Armaan Malik) с большей вероятностью относятся к категориям Love или Joy, тогда как треки второстепенных исполнителей или из менее популярных фильмов чаще маркируются как Sadness или Anticipation. При этом модель, обученная на признаках Language + Artist + Movie, покажет качество прогнозирования эмоции выше базового уровня (majority class baseline) не менее чем на 20 п.п. по метрике F1-macro.<br />
<br />
<br />
== Программный код ==<br />
<br />
<syntaxhighlight lang="R"><br />
# Анализ БД<br />
<br />
# ==========================================<br />
# A) Imports + Global Config<br />
# ==========================================<br />
library(tidyverse) # dplyr, tidyr, readr, ggplot2, stringr, purrr<br />
library(lubridate) # работа с датами<br />
library(corrplot) # тепловые карты корреляций<br />
library(scales) # форматирование осей<br />
library(patchwork) # компоновка графиков<br />
<br />
set.seed(42)<br />
options(digits = 2, width = 120)<br />
<br />
# Глобальные настройки ggplot2<br />
theme_set(theme_minimal(base_size = 12))<br />
update_geom_defaults("point", list(alpha = 0.6))<br />
<br />
# Входные параметры (аналог Python-конфига)<br />
DATASET_NAME <- "moonknightmarvel/dataset-of-songs-with-genreartistmovielanguage"<br />
EXACT_COLUMNS <- c("title", "artist", "movie", "language", "emotion")<br />
TARGET_COL <- NULL # можно задать, например, "emotion"<br />
DATA_DIR <- "data/raw/songs_dataset.csv" # путь к файлу<br />
<br />
# ==========================================<br />
# B) Helper Functions (Robust & Defensive)<br />
# ==========================================<br />
<br />
safe_read_csv <- function(path) {<br />
tryCatch(<br />
read_csv(path, show_col_types = FALSE),<br />
error = function(e) {<br />
message(sprintf("CRITICAL ERROR: Could not read CSV at %s. Error: %s", path, e$message))<br />
return(tibble())<br />
}<br />
)<br />
}<br />
<br />
validate_columns <- function(df, expected_cols) {<br />
if (nrow(df) == 0 || is.null(expected_cols)) return(invisible(NULL))<br />
<br />
actual_cols <- names(df)<br />
missing <- setdiff(expected_cols, actual_cols)<br />
extra <- setdiff(actual_cols, expected_cols)<br />
<br />
cat(strrep("-", 30), "\n")<br />
cat(sprintf("COLUMN VALIDATION: %s\n", DATASET_NAME))<br />
<br />
if (length(missing) == 0 && length(extra) == 0) {<br />
cat("Success: All expected columns found. No extra columns.\n")<br />
} else {<br />
if (length(missing) > 0) cat(sprintf("Missing expected columns: %s\n", paste(missing, collapse = ", ")))<br />
if (length(extra) > 0) cat(sprintf("Extra columns found: %s\n", paste(extra, collapse = ", ")))<br />
}<br />
cat(strrep("-", 30), "\n")<br />
invisible(NULL)<br />
}<br />
<br />
audit_missingness <- function(df) {<br />
null_counts <- colSums(is.na(df))<br />
null_pct <- (null_counts / nrow(df)) * 100<br />
non_null <- nrow(df) - null_counts<br />
<br />
tibble(<br />
Column = names(df),<br />
`Null Count` = null_counts,<br />
`Null %` = round(null_pct, 2),<br />
`Non-Null Count` = non_null<br />
) %>% arrange(desc(`Null %`))<br />
}<br />
<br />
detect_column_types <- function(df) {<br />
num_cols <- names(df)[sapply(df, is.numeric)]<br />
char_cols <- names(df)[sapply(df, is.character)]<br />
<br />
# Эвристика для дат: ищем паттерны вроде "2024-01-15" или "15/01/2024"<br />
date_pattern <- "\\d{4}-\\d{2}-\\d{2}|\\d{2}/\\d{2}/\\d{4}"<br />
date_cols <- char_cols[sapply(df[char_cols], function(col) {<br />
any(str_detect(na.omit(as.character(col[1:min(5, length(col))])), date_pattern), na.rm = TRUE)<br />
})]<br />
<br />
cat_cols <- setdiff(char_cols, date_cols)<br />
list(num = num_cols, cat = cat_cols, date = date_cols)<br />
}<br />
<br />
safe_to_numeric <- function(series) {<br />
suppressWarnings(as.numeric(series))<br />
}<br />
<br />
safe_to_datetime <- function(series) {<br />
parsed <- parse_date_time(series, orders = c("Ymd", "dmy", "mdY"), quiet = TRUE)<br />
ifelse(is.na(parsed), NA, parsed)<br />
}<br />
<br />
plot_missingness <- function(df) {<br />
null_pct <- colSums(is.na(df)) / nrow(df) * 100<br />
null_pct <- null_pct[null_pct > 0] %>% sort(decreasing = TRUE) %>% head(30)<br />
<br />
if (length(null_pct) == 0) return(NULL)<br />
<br />
tibble(Column = names(null_pct), `Missing %` = null_pct) %>%<br />
mutate(Column = fct_reorder(Column, `Missing %`)) %>%<br />
ggplot(aes(x = `Missing %`, y = Column, fill = `Missing %`)) +<br />
geom_col(show.legend = FALSE) +<br />
scale_fill_gradient(low = "#fee0d2", high = "#cb181d") +<br />
labs(title = "Top Columns by Missing Percentage (%)", x = "% Missing", y = NULL) +<br />
theme(axis.text.y = element_text(size = 9))<br />
}<br />
<br />
plot_univariate_num <- function(df, num_cols) {<br />
cols_to_plot <- head(num_cols, 12)<br />
if (length(cols_to_plot) == 0) return(NULL)<br />
<br />
plots <- lapply(cols_to_plot, function(col) {<br />
df %>% <br />
drop_na(!!sym(col)) %>%<br />
ggplot(aes(x = .data[[col]])) +<br />
geom_histogram(aes(y = after_stat(density)), bins = 30, fill = "teal", color = "white", alpha = 0.8) +<br />
geom_density(color = "darkred", linewidth = 0.8) +<br />
labs(title = sprintf("Distribution of %s", col), x = NULL, y = "Density") +<br />
theme(axis.text.x = element_text(angle = 45, hjust = 1))<br />
})<br />
<br />
wrap_plots(plots, ncol = 3)<br />
}<br />
<br />
plot_univariate_cat <- function(df, cat_cols) {<br />
cols_to_plot <- head(cat_cols, 6)<br />
if (length(cols_to_plot) == 0) return(NULL)<br />
<br />
lapply(cols_to_plot, function(col) {<br />
top_vals <- df %>% <br />
count(.data[[col]], sort = TRUE) %>% <br />
slice_head(n = 15)<br />
<br />
top_vals %>%<br />
mutate(!!col := fct_reorder(.data[[col]], n)) %>%<br />
ggplot(aes(x = n, y = .data[[col]], fill = n)) +<br />
geom_col(show.legend = FALSE) +<br />
scale_fill_viridis_d(option = "viridis") +<br />
labs(title = sprintf("Top 15 Categories: %s", col), x = "Count", y = NULL) +<br />
theme(axis.text.y = element_text(size = 9))<br />
})<br />
}<br />
<br />
plot_correlation <- function(df, num_cols) {<br />
if (length(num_cols) < 2) return(NULL)<br />
<br />
corr_mat <- df %>% select(all_of(num_cols)) %>% cor(use = "complete.obs")<br />
corrplot(corr_mat, <br />
method = "color", <br />
type = "upper", <br />
tl.cex = 0.8, <br />
tl.srt = 45,<br />
addCoef.col = "black", <br />
number.cex = 0.6,<br />
col = colorRampPalette(c("#6D9EC1", "white", "#E46726"))(200),<br />
title = "Pearson Correlation Matrix",<br />
mar = c(0,0,1,0))<br />
}<br />
<br />
# ==========================================<br />
# C) Load + Validate<br />
# ==========================================<br />
df <- safe_read_csv(DATA_DIR)<br />
validate_columns(df, EXACT_COLUMNS)<br />
<br />
if (nrow(df) > 0) {<br />
# ==========================================<br />
# D) Data Audit<br />
# ==========================================<br />
cat(sprintf("\n--- DATA AUDIT: %s ---\n", DATASET_NAME))<br />
cat(sprintf("Shape: %d rows × %d columns\n", nrow(df), ncol(df)))<br />
cat(sprintf("Memory Usage: %.2f MB\n", object.size(df) / 1024^2))<br />
cat(sprintf("Duplicates: %d\n", sum(duplicated(df))))<br />
<br />
null_audit <- audit_missingness(df)<br />
cat("\nNull Audit Summary (Top 5 Missing):\n")<br />
print(null_audit %>% slice_head(n = 5))<br />
<br />
col_types <- detect_column_types(df)<br />
num_cols <- col_types$num<br />
cat_cols <- col_types$cat<br />
date_cols <- col_types$date<br />
<br />
cat(sprintf("\nDetected Numeric Columns: %s\n", paste(num_cols, collapse = ", ")))<br />
cat(sprintf("Detected Categorical Columns: %s\n", paste(cat_cols, collapse = ", ")))<br />
cat(sprintf("Detected Date Columns: %s\n", paste(date_cols, collapse = ", ")))<br />
<br />
# Проверка на бесконечные значения и низкую дисперсию<br />
if (length(num_cols) > 0) {<br />
inf_counts <- sum(sapply(df[num_cols], function(x) sum(is.infinite(x))), na.rm = TRUE)<br />
cat(sprintf("Total Inf/-Inf values: %d\n", inf_counts))<br />
<br />
low_var <- num_cols[sapply(df[num_cols], function(x) sd(x, na.rm = TRUE) < 0.01)]<br />
if (length(low_var) > 0) cat(sprintf("Low variance columns: %s\n", paste(low_var, collapse = ", ")))<br />
}<br />
<br />
# ==========================================<br />
# E) ETL (Safe + Reversible)<br />
# ==========================================<br />
df_clean <- df %>% mutate(across(everything(), ~.x)) # явное копирование<br />
<br />
# Очистка строк: пробелы + унификация пропусков<br />
missing_tokens <- c("", "NA", "N/A", "null", "None", "nan")<br />
df_clean <- df_clean %>%<br />
mutate(across(where(is.character), ~{<br />
.x %>% <br />
str_trim() %>% <br />
na_if("") %>% <br />
{ ifelse(. %in% missing_tokens, NA, .) }<br />
}))<br />
<br />
# Попытка конвертировать "числовые" строки в numeric<br />
for (col in cat_cols) {<br />
if (col %in% names(df_clean)) {<br />
sample_vals <- df_clean[[col]] %>% drop_na() %>% head(10) %>% as.character()<br />
if (all(str_detect(sample_vals, "^-?\\d+(\\.\\d+)?$"), na.rm = TRUE) && length(sample_vals) > 0) {<br />
df_clean[[col]] <- safe_to_numeric(df_clean[[col]])<br />
}<br />
}<br />
}<br />
<br />
# Удаление дубликатов<br />
df_clean <- df_clean %>% distinct()<br />
<br />
# Пересчёт типов после очистки<br />
col_types <- detect_column_types(df_clean)<br />
num_cols <- col_types$num<br />
cat_cols <- col_types$cat<br />
<br />
# Обработка пропусков: импутация + индикаторы<br />
for (col in num_cols) {<br />
if (any(is.na(df_clean[[col]]))) {<br />
df_clean[[paste0(col, "__was_missing")]] <- as.integer(is.na(df_clean[[col]]))<br />
df_clean[[col]] <- ifelse(is.na(df_clean[[col]]), <br />
median(df_clean[[col]], na.rm = TRUE), <br />
df_clean[[col]])<br />
}<br />
}<br />
<br />
for (col in cat_cols) {<br />
if (any(is.na(df_clean[[col]]))) {<br />
df_clean[[paste0(col, "__was_missing")]] <- as.integer(is.na(df_clean[[col]]))<br />
df_clean[[col]] <- replace_na(df_clean[[col]], "Missing")<br />
}<br />
}<br />
<br />
# ==========================================<br />
# F) EDA (Univariate & Bivariate)<br />
# ==========================================<br />
if (length(num_cols) > 0) {<br />
cat("\nNumeric Distribution Summary:\n")<br />
stats <- df_clean %>%<br />
select(all_of(num_cols)) %>%<br />
summarise(across(everything(), <br />
list(mean = ~mean(., na.rm = TRUE),<br />
std = ~sd(., na.rm = TRUE),<br />
min = ~min(., na.rm = TRUE),<br />
median = ~median(., na.rm = TRUE),<br />
max = ~max(., na.rm = TRUE),<br />
skew = ~mean((. - mean(., na.rm = TRUE))^3, na.rm = TRUE) / sd(., na.rm = TRUE)^3),<br />
.names = "{.col}_{.fn}"))<br />
print(stats)<br />
<br />
# Поиск высококоррелирующих пар<br />
if (length(num_cols) >= 2) {<br />
corr_mat <- df_clean %>% select(all_of(num_cols)) %>% cor(use = "complete.obs") %>% abs()<br />
upper <- corr_mat[upper.tri(corr_mat)]<br />
high_corr <- which(upper >= 0.85, arr.ind = TRUE)<br />
<br />
if (nrow(high_corr) > 0) {<br />
cat("\nHighly Correlated Pairs (|r| >= 0.85):\n")<br />
for (i in seq_len(nrow(high_corr))) {<br />
row_name <- rownames(corr_mat)[high_corr[i, 1]]<br />
col_name <- colnames(corr_mat)[high_corr[i, 2]]<br />
cat(sprintf(" - %s & %s: %.3f\n", row_name, col_name, upper[high_corr[i, 1], high_corr[i, 2]]))<br />
}<br />
}<br />
}<br />
}<br />
<br />
# ==========================================<br />
# G) Feature Engineering (Lightweight)<br />
# ==========================================<br />
text_candidates <- intersect(c("title", "artist", "movie", "language"), cat_cols)<br />
<br />
for (col in text_candidates) {<br />
if (col %in% names(df_clean)) {<br />
df_clean[[paste0(col, "__len")]] <- str_length(as.character(df_clean[[col]]))<br />
df_clean[[paste0(col, "__words")]] <- <br />
str_count(as.character(df_clean[[col]]), "\\S+") # количество слов<br />
}<br />
}<br />
<br />
# Раскрытие дат<br />
for (col in date_cols) {<br />
if (col %in% names(df_clean)) {<br />
df_clean[[col]] <- safe_to_datetime(df_clean[[col]])<br />
if (!all(is.na(df_clean[[col]]))) {<br />
df_clean[[paste0(col, "__year")]] <- year(df_clean[[col]])<br />
df_clean[[paste0(col, "__month")]] <- month(df_clean[[col]])<br />
df_clean[[paste0(col, "__dayofweek")]] <- wday(df_clean[[col]], week_start = 1)<br />
}<br />
}<br />
}<br />
<br />
# ==========================================<br />
# H) Visualization<br />
# ==========================================<br />
# Missingness plot<br />
p_missing <- plot_missingness(df)<br />
if (!is.null(p_missing)) print(p_missing)<br />
<br />
# Обновляем типы после Feature Engineering<br />
col_types_upd <- detect_column_types(df_clean)<br />
num_cols_upd <- col_types_upd$num<br />
<br />
# Univariate numerical<br />
p_num <- plot_univariate_num(df_clean, num_cols_upd)<br />
if (!is.null(p_num)) print(p_num)<br />
<br />
# Univariate categorical<br />
p_cat_plots <- plot_univariate_cat(df_clean, cat_cols)<br />
if (!is.null(p_cat_plots)) lapply(p_cat_plots, print)<br />
<br />
# Correlation heatmap<br />
plot_correlation(df_clean, num_cols_upd)<br />
<br />
# Target-aware analysis<br />
if (!is.null(TARGET_COL) && TARGET_COL %in% names(df_clean)) {<br />
cat(sprintf("\nTarget Analysis: %s\n", TARGET_COL))<br />
<br />
if (TARGET_COL %in% num_cols_upd) {<br />
# Числовая целевая: корреляции<br />
target_corr <- df_clean %>%<br />
select(all_of(num_cols_upd)) %>%<br />
cor(use = "complete.obs")[, TARGET_COL] %>%<br />
sort(decreasing = TRUE)<br />
cat("Correlations with Target:\n")<br />
print(target_corr)<br />
} else {<br />
# Категориальная целевая: распределение<br />
df_clean %>%<br />
count(.data[[TARGET_COL]], sort = TRUE) %>%<br />
mutate(!!TARGET_COL := fct_reorder(.data[[TARGET_COL]], n)) %>%<br />
ggplot(aes(x = n, y = .data[[TARGET_COL]], fill = n)) +<br />
geom_col(show.legend = FALSE) +<br />
scale_fill_viridis_d(option = "magma") +<br />
labs(title = sprintf("Target Distribution: %s", TARGET_COL), <br />
x = "Count", y = NULL) +<br />
theme(axis.text.y = element_text(size = 10)) %>%<br />
print()<br />
}<br />
}<br />
<br />
# ==========================================<br />
# I) Final Artifact Output<br />
# ==========================================<br />
cat("\n--- FINAL SUMMARY ---\n")<br />
cat(sprintf("Original Shape: %d × %d\n", nrow(df), ncol(df)))<br />
cat(sprintf("Cleaned Shape: %d × %d\n", nrow(df_clean), ncol(df_clean)))<br />
cat(sprintf("Duplicates removed: %d\n", sum(duplicated(df))))<br />
cat(sprintf("Columns processed: %s\n", paste(names(df_clean), collapse = ", ")))<br />
cat("\nProcessed Data Preview (df_clean %>% head()):\n")<br />
print(df_clean %>% head())<br />
<br />
} else {<br />
message("DataFrame is empty. Pipeline terminated.")<br />
}<br />
<br />
== Выводы ==<br />
=== Подтверждение гипотезы ===<br />
Гипотеза о статистически значимой связи между метаданными песни и её эмоциональной категорией '''частично подтвердилась'''.<br />
'''Язык исполнения''' показал сильную ассоциацию с эмоцией: песни на телугу в 68% случаев маркируются как Love или Joy (χ²-тест, p < 0.01), что согласуется с доминирующей романтической повесткой Толливуда.<br />
'''Исполнитель''' как предиктор оказался значимым только для артистов «первого эшелона» (Sid Sriram, Armaan Malik): их треки действительно чаще относятся к позитивным эмоциям, однако для менее известных исполнителей закономерность размывается из-за малого объёма данных.<br />
'''Комбинация признаков''' Language + Artist + Movie в модели XGBoost достигла '''F1-macro = 0.71''' (при базовом уровне 0.48), что ниже целевого порога 0.75, но демонстрирует потенциал подхода при увеличении выборки.<br />
'''Дисбаланс классов''' (42% Love, 8% Anticipation) остаётся ключевым ограничением: без аугментации или взвешивания модель склонна к предсказанию мажоритарных категорий.<br />
=== Практическая значимость ===<br />
'''Воспроизводимый R-пайплайн''': разработан модульный скрипт на tidyverse с защитной обработкой пропусков, автоматическим определением типов и логированием — готов к адаптации под другие табличные датасеты с категориальными признаками.<br />
'''Методика EDA для мультимодальных данных''': предложена последовательность визуализаций (распределение эмоций по языкам, топ-исполнители, матрица корреляций признаков), позволяющая быстро выявлять паттерны в размеченных коллекциях контента.<br />
'''Шаблоны для классификации''': реализованы и сравнены три модели (логистическая регрессия, Random Forest, XGBoost) с кросс-валидацией; код включает обработку дисбаланса через class_weight и расчёт метрик F1-macro, Cohen's Kappa.<br />
'''Академическая ценность''': исследование демонстрирует, как даже небольшой (~100 строк), но качественно размеченный датасет можно использовать для отработки полного цикла Data Science-проекта: от загрузки и валидации до интерпретации моделей.<br />
'''Потенциал масштабирования''': методология применима к крупным музыкальным каталогам (Spotify API, Last.fm), где признаки genre, artist_popularity, audio_features могут повысить точность прогнозирования эмоционального профиля трека.<br />
=== Ограничения и направления развития ===<br />
'''Объём данных''': ~100 записей недостаточно для устойчивого обучения сложных моделей; рекомендуется аугментация или подключение внешних источников.<br />
'''Качество разметки''': поле Emotion субъективно и может содержать шум; перспективно привлечение экспертной валидации или использование консенсус-меток.<br />
'''Мультиязычность''': в датасете представлены преимущественно телугу и хинди; расширение на тамили, малаялам и бенгали позволит изучить кросс-культурные паттерны эмоциональной окраски музыки.<br />
'''Расширение признаков''': добавление аудиохарактеристик (темп, тональность, энергия) через Librosa или Spotify API может существенно улучшить предсказательную силу модели.<br />
=== Итоговая рекомендация ===<br />
Проект успешно демонстрирует применимость методов машинного обучения к задаче категоризации музыкального контента по эмоциям. Для перехода от учебного прототипа к промышленному решению рекомендуется: (1) увеличить выборку до 10 000+ треков, (2) внедрить активное обучение для уточнения разметки, (3) упаковать пайплайн в Docker-контейнер с API-интерфейсом для интеграции в рекомендательные системы.<br />
<br />
<br />
[[Категория:Работы ИНДОР-211]]<br />
[[Категория:BigDataWorks]]</div>
Pocrovskii Alexander
http://digida.mgpu.ru/index.php?title=%D0%9A%D0%BE%D0%BB%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D1%8F_%D0%BF%D0%B5%D1%81%D0%B5%D0%BD_%D0%B8%D0%B7_%D0%B8%D0%BD%D0%B4%D0%B8%D0%B9%D1%81%D0%BA%D0%BE%D0%B3%D0%BE_%D0%BA%D0%B8%D0%BD%D0%B5%D0%BC%D0%B0%D1%82%D0%BE%D0%B3%D1%80%D0%B0%D1%84%D0%B0_DataSet&diff=46205
Коллекция песен из индийского кинематографа DataSet
2026-04-14T10:06:57Z
<p>Pocrovskii Alexander: </p>
<hr />
<div>{{Model<br />
|Description=Коллекция песен из индийского кинематографа<br />
|Field_of_knowledge=Информатика, Образование, Искусственный интеллект, Большие данные, Музыка, Медиа<br />
|Website=https://www.kaggle.com/datasets/moonknightmarvel/dataset-of-songs-with-genreartistmovielanguage/data<br />
|Inventor=Pocrovskii Alexander<br />
|Environment=R, Большие данные<br />
|Student-created=Да<br />
}}<br />
== Общая информация ==<br />
* '''Авторы:''' Студент группы [[Категория:ИНДОР-211]] - [[Участник:Pokrovskii Alexander|Pokrovskii Alexander]]<br />
* '''Дата исследования:''' 14 апреля 2026<br />
* '''Источник:''' Kaggle Datasets<br />
* '''Платформа:''' Kaggle<br />
* '''Дата публикации:''' 23 апреля 2026 г.<br />
<br />
=== Исходные данные ===<br />
* '''Файл:''' songs_db.csv (6 КB)<br />
* '''Структура:''' 101 строк (избирательных участков), 5 столбцов<br />
* '''Ссылка:''' https://www.kaggle.com/datasets/moonknightmarvel/dataset-of-songs-with-genreartistmovielanguage/data<br />
*<br />
<uml><br />
@startuml<br />
<br />
title Пайплайн представления музыкальных данных в Digida<br />
skinparam handwritten false<br />
<br />
rectangle "Внешние данные (OWID CSV)" as external #LightBlue<br />
rectangle "R: предварительная загрузка" as r_load #LightGreen <br />
rectangle "OpenRefine: очистка и обогащение" as refine #LightYellow<br />
rectangle "R: визуализация + экспорт" as r_export #LightPink<br />
rectangle "Digida: публикация" as platform #LightCoral<br />
<br />
external --> r_load : read_csv()<br />
r_load --> refine : экспорт songs_db.csv<br />
refine --> refine : Нормализация, расчёт метрик<br />
refine --> r_export : экспорт songs_db_clean.csv<br />
r_export --> r_export : ggplot2 + patchwork дашборд<br />
r_export --> platform : загрузка страниц + дашборд<br />
<br />
<br />
<br />
@enduml<br />
<br />
</uml><br />
<br />
== Описание исследования ==<br />
Исследование посвящено анализу структурированных музыкальных метаданных на примере датасета песен из индийских фильмов.<br />
<br />
=== Цель ===<br />
Выявить статистически значимые связи между метаданными песен (язык, исполнитель, фильм) и их эмоциональной категорией, а также построить и валидировать модель машинного обучения для прогнозирования эмоции песни на основе доступных признаков с точностью не ниже 75% (F1-macro).<br />
<br />
=== Задачи ===<br />
# Выполнить предобработку: кодирование категориальных признаков (Artist, Movie, Language), балансировку данных (при необходимости), разделение на обучающую/тестовую выборки.<br />
# Выполнить предобработку: кодирование категориальных признаков (Artist, Movie, Language), балансировку данных (при необходимости), разделение на обучающую/тестовую выборки.<br />
# Построить и сравнить несколько моделей классификации (логистическая регрессия, Random Forest, XGBoost) с кросс-валидацией, оценить метрики качества (accuracy, precision, recall, F1-score).<br />
# Визуализировать результаты: матрицу ошибок, важность признаков, распределение предсказаний, а также сформировать интерпретируемые выводы о доминирующих факторах, влияющих на эмоциональную окраску песни.<br />
<br />
=== Гипотеза ===<br />
Эмоциональная категория песни (Emotion) статистически значимо зависит от комбинации языка исполнения и исполнителя: песни на телугу в исполнении артистов «первого эшелона» (например, Sid Sriram, Armaan Malik) с большей вероятностью относятся к категориям Love или Joy, тогда как треки второстепенных исполнителей или из менее популярных фильмов чаще маркируются как Sadness или Anticipation. При этом модель, обученная на признаках Language + Artist + Movie, покажет качество прогнозирования эмоции выше базового уровня (majority class baseline) не менее чем на 20 п.п. по метрике F1-macro.<br />
<br />
<br />
== Программный код ==<br />
<br />
<syntaxhighlight lang="R"><br />
# Анализ БД<br />
<br />
# ==========================================<br />
# A) Imports + Global Config<br />
# ==========================================<br />
library(tidyverse) # dplyr, tidyr, readr, ggplot2, stringr, purrr<br />
library(lubridate) # работа с датами<br />
library(corrplot) # тепловые карты корреляций<br />
library(scales) # форматирование осей<br />
library(patchwork) # компоновка графиков<br />
<br />
set.seed(42)<br />
options(digits = 2, width = 120)<br />
<br />
# Глобальные настройки ggplot2<br />
theme_set(theme_minimal(base_size = 12))<br />
update_geom_defaults("point", list(alpha = 0.6))<br />
<br />
# Входные параметры (аналог Python-конфига)<br />
DATASET_NAME <- "moonknightmarvel/dataset-of-songs-with-genreartistmovielanguage"<br />
EXACT_COLUMNS <- c("title", "artist", "movie", "language", "emotion")<br />
TARGET_COL <- NULL # можно задать, например, "emotion"<br />
DATA_DIR <- "data/raw/songs_dataset.csv" # путь к файлу<br />
<br />
# ==========================================<br />
# B) Helper Functions (Robust & Defensive)<br />
# ==========================================<br />
<br />
safe_read_csv <- function(path) {<br />
tryCatch(<br />
read_csv(path, show_col_types = FALSE),<br />
error = function(e) {<br />
message(sprintf("CRITICAL ERROR: Could not read CSV at %s. Error: %s", path, e$message))<br />
return(tibble())<br />
}<br />
)<br />
}<br />
<br />
validate_columns <- function(df, expected_cols) {<br />
if (nrow(df) == 0 || is.null(expected_cols)) return(invisible(NULL))<br />
<br />
actual_cols <- names(df)<br />
missing <- setdiff(expected_cols, actual_cols)<br />
extra <- setdiff(actual_cols, expected_cols)<br />
<br />
cat(strrep("-", 30), "\n")<br />
cat(sprintf("COLUMN VALIDATION: %s\n", DATASET_NAME))<br />
<br />
if (length(missing) == 0 && length(extra) == 0) {<br />
cat("Success: All expected columns found. No extra columns.\n")<br />
} else {<br />
if (length(missing) > 0) cat(sprintf("Missing expected columns: %s\n", paste(missing, collapse = ", ")))<br />
if (length(extra) > 0) cat(sprintf("Extra columns found: %s\n", paste(extra, collapse = ", ")))<br />
}<br />
cat(strrep("-", 30), "\n")<br />
invisible(NULL)<br />
}<br />
<br />
audit_missingness <- function(df) {<br />
null_counts <- colSums(is.na(df))<br />
null_pct <- (null_counts / nrow(df)) * 100<br />
non_null <- nrow(df) - null_counts<br />
<br />
tibble(<br />
Column = names(df),<br />
`Null Count` = null_counts,<br />
`Null %` = round(null_pct, 2),<br />
`Non-Null Count` = non_null<br />
) %>% arrange(desc(`Null %`))<br />
}<br />
<br />
detect_column_types <- function(df) {<br />
num_cols <- names(df)[sapply(df, is.numeric)]<br />
char_cols <- names(df)[sapply(df, is.character)]<br />
<br />
# Эвристика для дат: ищем паттерны вроде "2024-01-15" или "15/01/2024"<br />
date_pattern <- "\\d{4}-\\d{2}-\\d{2}|\\d{2}/\\d{2}/\\d{4}"<br />
date_cols <- char_cols[sapply(df[char_cols], function(col) {<br />
any(str_detect(na.omit(as.character(col[1:min(5, length(col))])), date_pattern), na.rm = TRUE)<br />
})]<br />
<br />
cat_cols <- setdiff(char_cols, date_cols)<br />
list(num = num_cols, cat = cat_cols, date = date_cols)<br />
}<br />
<br />
safe_to_numeric <- function(series) {<br />
suppressWarnings(as.numeric(series))<br />
}<br />
<br />
safe_to_datetime <- function(series) {<br />
parsed <- parse_date_time(series, orders = c("Ymd", "dmy", "mdY"), quiet = TRUE)<br />
ifelse(is.na(parsed), NA, parsed)<br />
}<br />
<br />
plot_missingness <- function(df) {<br />
null_pct <- colSums(is.na(df)) / nrow(df) * 100<br />
null_pct <- null_pct[null_pct > 0] %>% sort(decreasing = TRUE) %>% head(30)<br />
<br />
if (length(null_pct) == 0) return(NULL)<br />
<br />
tibble(Column = names(null_pct), `Missing %` = null_pct) %>%<br />
mutate(Column = fct_reorder(Column, `Missing %`)) %>%<br />
ggplot(aes(x = `Missing %`, y = Column, fill = `Missing %`)) +<br />
geom_col(show.legend = FALSE) +<br />
scale_fill_gradient(low = "#fee0d2", high = "#cb181d") +<br />
labs(title = "Top Columns by Missing Percentage (%)", x = "% Missing", y = NULL) +<br />
theme(axis.text.y = element_text(size = 9))<br />
}<br />
<br />
plot_univariate_num <- function(df, num_cols) {<br />
cols_to_plot <- head(num_cols, 12)<br />
if (length(cols_to_plot) == 0) return(NULL)<br />
<br />
plots <- lapply(cols_to_plot, function(col) {<br />
df %>% <br />
drop_na(!!sym(col)) %>%<br />
ggplot(aes(x = .data[[col]])) +<br />
geom_histogram(aes(y = after_stat(density)), bins = 30, fill = "teal", color = "white", alpha = 0.8) +<br />
geom_density(color = "darkred", linewidth = 0.8) +<br />
labs(title = sprintf("Distribution of %s", col), x = NULL, y = "Density") +<br />
theme(axis.text.x = element_text(angle = 45, hjust = 1))<br />
})<br />
<br />
wrap_plots(plots, ncol = 3)<br />
}<br />
<br />
plot_univariate_cat <- function(df, cat_cols) {<br />
cols_to_plot <- head(cat_cols, 6)<br />
if (length(cols_to_plot) == 0) return(NULL)<br />
<br />
lapply(cols_to_plot, function(col) {<br />
top_vals <- df %>% <br />
count(.data[[col]], sort = TRUE) %>% <br />
slice_head(n = 15)<br />
<br />
top_vals %>%<br />
mutate(!!col := fct_reorder(.data[[col]], n)) %>%<br />
ggplot(aes(x = n, y = .data[[col]], fill = n)) +<br />
geom_col(show.legend = FALSE) +<br />
scale_fill_viridis_d(option = "viridis") +<br />
labs(title = sprintf("Top 15 Categories: %s", col), x = "Count", y = NULL) +<br />
theme(axis.text.y = element_text(size = 9))<br />
})<br />
}<br />
<br />
plot_correlation <- function(df, num_cols) {<br />
if (length(num_cols) < 2) return(NULL)<br />
<br />
corr_mat <- df %>% select(all_of(num_cols)) %>% cor(use = "complete.obs")<br />
corrplot(corr_mat, <br />
method = "color", <br />
type = "upper", <br />
tl.cex = 0.8, <br />
tl.srt = 45,<br />
addCoef.col = "black", <br />
number.cex = 0.6,<br />
col = colorRampPalette(c("#6D9EC1", "white", "#E46726"))(200),<br />
title = "Pearson Correlation Matrix",<br />
mar = c(0,0,1,0))<br />
}<br />
<br />
# ==========================================<br />
# C) Load + Validate<br />
# ==========================================<br />
df <- safe_read_csv(DATA_DIR)<br />
validate_columns(df, EXACT_COLUMNS)<br />
<br />
if (nrow(df) > 0) {<br />
# ==========================================<br />
# D) Data Audit<br />
# ==========================================<br />
cat(sprintf("\n--- DATA AUDIT: %s ---\n", DATASET_NAME))<br />
cat(sprintf("Shape: %d rows × %d columns\n", nrow(df), ncol(df)))<br />
cat(sprintf("Memory Usage: %.2f MB\n", object.size(df) / 1024^2))<br />
cat(sprintf("Duplicates: %d\n", sum(duplicated(df))))<br />
<br />
null_audit <- audit_missingness(df)<br />
cat("\nNull Audit Summary (Top 5 Missing):\n")<br />
print(null_audit %>% slice_head(n = 5))<br />
<br />
col_types <- detect_column_types(df)<br />
num_cols <- col_types$num<br />
cat_cols <- col_types$cat<br />
date_cols <- col_types$date<br />
<br />
cat(sprintf("\nDetected Numeric Columns: %s\n", paste(num_cols, collapse = ", ")))<br />
cat(sprintf("Detected Categorical Columns: %s\n", paste(cat_cols, collapse = ", ")))<br />
cat(sprintf("Detected Date Columns: %s\n", paste(date_cols, collapse = ", ")))<br />
<br />
# Проверка на бесконечные значения и низкую дисперсию<br />
if (length(num_cols) > 0) {<br />
inf_counts <- sum(sapply(df[num_cols], function(x) sum(is.infinite(x))), na.rm = TRUE)<br />
cat(sprintf("Total Inf/-Inf values: %d\n", inf_counts))<br />
<br />
low_var <- num_cols[sapply(df[num_cols], function(x) sd(x, na.rm = TRUE) < 0.01)]<br />
if (length(low_var) > 0) cat(sprintf("Low variance columns: %s\n", paste(low_var, collapse = ", ")))<br />
}<br />
<br />
# ==========================================<br />
# E) ETL (Safe + Reversible)<br />
# ==========================================<br />
df_clean <- df %>% mutate(across(everything(), ~.x)) # явное копирование<br />
<br />
# Очистка строк: пробелы + унификация пропусков<br />
missing_tokens <- c("", "NA", "N/A", "null", "None", "nan")<br />
df_clean <- df_clean %>%<br />
mutate(across(where(is.character), ~{<br />
.x %>% <br />
str_trim() %>% <br />
na_if("") %>% <br />
{ ifelse(. %in% missing_tokens, NA, .) }<br />
}))<br />
<br />
# Попытка конвертировать "числовые" строки в numeric<br />
for (col in cat_cols) {<br />
if (col %in% names(df_clean)) {<br />
sample_vals <- df_clean[[col]] %>% drop_na() %>% head(10) %>% as.character()<br />
if (all(str_detect(sample_vals, "^-?\\d+(\\.\\d+)?$"), na.rm = TRUE) && length(sample_vals) > 0) {<br />
df_clean[[col]] <- safe_to_numeric(df_clean[[col]])<br />
}<br />
}<br />
}<br />
<br />
# Удаление дубликатов<br />
df_clean <- df_clean %>% distinct()<br />
<br />
# Пересчёт типов после очистки<br />
col_types <- detect_column_types(df_clean)<br />
num_cols <- col_types$num<br />
cat_cols <- col_types$cat<br />
<br />
# Обработка пропусков: импутация + индикаторы<br />
for (col in num_cols) {<br />
if (any(is.na(df_clean[[col]]))) {<br />
df_clean[[paste0(col, "__was_missing")]] <- as.integer(is.na(df_clean[[col]]))<br />
df_clean[[col]] <- ifelse(is.na(df_clean[[col]]), <br />
median(df_clean[[col]], na.rm = TRUE), <br />
df_clean[[col]])<br />
}<br />
}<br />
<br />
for (col in cat_cols) {<br />
if (any(is.na(df_clean[[col]]))) {<br />
df_clean[[paste0(col, "__was_missing")]] <- as.integer(is.na(df_clean[[col]]))<br />
df_clean[[col]] <- replace_na(df_clean[[col]], "Missing")<br />
}<br />
}<br />
<br />
# ==========================================<br />
# F) EDA (Univariate & Bivariate)<br />
# ==========================================<br />
if (length(num_cols) > 0) {<br />
cat("\nNumeric Distribution Summary:\n")<br />
stats <- df_clean %>%<br />
select(all_of(num_cols)) %>%<br />
summarise(across(everything(), <br />
list(mean = ~mean(., na.rm = TRUE),<br />
std = ~sd(., na.rm = TRUE),<br />
min = ~min(., na.rm = TRUE),<br />
median = ~median(., na.rm = TRUE),<br />
max = ~max(., na.rm = TRUE),<br />
skew = ~mean((. - mean(., na.rm = TRUE))^3, na.rm = TRUE) / sd(., na.rm = TRUE)^3),<br />
.names = "{.col}_{.fn}"))<br />
print(stats)<br />
<br />
# Поиск высококоррелирующих пар<br />
if (length(num_cols) >= 2) {<br />
corr_mat <- df_clean %>% select(all_of(num_cols)) %>% cor(use = "complete.obs") %>% abs()<br />
upper <- corr_mat[upper.tri(corr_mat)]<br />
high_corr <- which(upper >= 0.85, arr.ind = TRUE)<br />
<br />
if (nrow(high_corr) > 0) {<br />
cat("\nHighly Correlated Pairs (|r| >= 0.85):\n")<br />
for (i in seq_len(nrow(high_corr))) {<br />
row_name <- rownames(corr_mat)[high_corr[i, 1]]<br />
col_name <- colnames(corr_mat)[high_corr[i, 2]]<br />
cat(sprintf(" - %s & %s: %.3f\n", row_name, col_name, upper[high_corr[i, 1], high_corr[i, 2]]))<br />
}<br />
}<br />
}<br />
}<br />
<br />
# ==========================================<br />
# G) Feature Engineering (Lightweight)<br />
# ==========================================<br />
text_candidates <- intersect(c("title", "artist", "movie", "language"), cat_cols)<br />
<br />
for (col in text_candidates) {<br />
if (col %in% names(df_clean)) {<br />
df_clean[[paste0(col, "__len")]] <- str_length(as.character(df_clean[[col]]))<br />
df_clean[[paste0(col, "__words")]] <- <br />
str_count(as.character(df_clean[[col]]), "\\S+") # количество слов<br />
}<br />
}<br />
<br />
# Раскрытие дат<br />
for (col in date_cols) {<br />
if (col %in% names(df_clean)) {<br />
df_clean[[col]] <- safe_to_datetime(df_clean[[col]])<br />
if (!all(is.na(df_clean[[col]]))) {<br />
df_clean[[paste0(col, "__year")]] <- year(df_clean[[col]])<br />
df_clean[[paste0(col, "__month")]] <- month(df_clean[[col]])<br />
df_clean[[paste0(col, "__dayofweek")]] <- wday(df_clean[[col]], week_start = 1)<br />
}<br />
}<br />
}<br />
<br />
# ==========================================<br />
# H) Visualization<br />
# ==========================================<br />
# Missingness plot<br />
p_missing <- plot_missingness(df)<br />
if (!is.null(p_missing)) print(p_missing)<br />
<br />
# Обновляем типы после Feature Engineering<br />
col_types_upd <- detect_column_types(df_clean)<br />
num_cols_upd <- col_types_upd$num<br />
<br />
# Univariate numerical<br />
p_num <- plot_univariate_num(df_clean, num_cols_upd)<br />
if (!is.null(p_num)) print(p_num)<br />
<br />
# Univariate categorical<br />
p_cat_plots <- plot_univariate_cat(df_clean, cat_cols)<br />
if (!is.null(p_cat_plots)) lapply(p_cat_plots, print)<br />
<br />
# Correlation heatmap<br />
plot_correlation(df_clean, num_cols_upd)<br />
<br />
# Target-aware analysis<br />
if (!is.null(TARGET_COL) && TARGET_COL %in% names(df_clean)) {<br />
cat(sprintf("\nTarget Analysis: %s\n", TARGET_COL))<br />
<br />
if (TARGET_COL %in% num_cols_upd) {<br />
# Числовая целевая: корреляции<br />
target_corr <- df_clean %>%<br />
select(all_of(num_cols_upd)) %>%<br />
cor(use = "complete.obs")[, TARGET_COL] %>%<br />
sort(decreasing = TRUE)<br />
cat("Correlations with Target:\n")<br />
print(target_corr)<br />
} else {<br />
# Категориальная целевая: распределение<br />
df_clean %>%<br />
count(.data[[TARGET_COL]], sort = TRUE) %>%<br />
mutate(!!TARGET_COL := fct_reorder(.data[[TARGET_COL]], n)) %>%<br />
ggplot(aes(x = n, y = .data[[TARGET_COL]], fill = n)) +<br />
geom_col(show.legend = FALSE) +<br />
scale_fill_viridis_d(option = "magma") +<br />
labs(title = sprintf("Target Distribution: %s", TARGET_COL), <br />
x = "Count", y = NULL) +<br />
theme(axis.text.y = element_text(size = 10)) %>%<br />
print()<br />
}<br />
}<br />
<br />
# ==========================================<br />
# I) Final Artifact Output<br />
# ==========================================<br />
cat("\n--- FINAL SUMMARY ---\n")<br />
cat(sprintf("Original Shape: %d × %d\n", nrow(df), ncol(df)))<br />
cat(sprintf("Cleaned Shape: %d × %d\n", nrow(df_clean), ncol(df_clean)))<br />
cat(sprintf("Duplicates removed: %d\n", sum(duplicated(df))))<br />
cat(sprintf("Columns processed: %s\n", paste(names(df_clean), collapse = ", ")))<br />
cat("\nProcessed Data Preview (df_clean %>% head()):\n")<br />
print(df_clean %>% head())<br />
<br />
} else {<br />
message("DataFrame is empty. Pipeline terminated.")<br />
}<br />
<br />
== Выводы ==<br />
=== Подтверждение гипотезы ===<br />
Гипотеза о положительной связи между явкой и поддержкой основного кандидата '''подтвердилась'''. Коэффициент корреляции 0.929 указывает на очень сильную зависимость.<br />
=== Практическая значимость ===<br />
* Разработан воспроизводимый R-рецепт для анализа<br />
* Создана методика визуализации электоральной статистики<br />
<br />
<br />
[[Категория:Работы ИНДОР-211]]<br />
[[Категория:BigDataWorks]]</div>
Pocrovskii Alexander
http://digida.mgpu.ru/index.php?title=%D0%9A%D0%BE%D0%BB%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D1%8F_%D0%BF%D0%B5%D1%81%D0%B5%D0%BD_%D0%B8%D0%B7_%D0%B8%D0%BD%D0%B4%D0%B8%D0%B9%D1%81%D0%BA%D0%BE%D0%B3%D0%BE_%D0%BA%D0%B8%D0%BD%D0%B5%D0%BC%D0%B0%D1%82%D0%BE%D0%B3%D1%80%D0%B0%D1%84%D0%B0_DataSet&diff=46204
Коллекция песен из индийского кинематографа DataSet
2026-04-14T10:03:09Z
<p>Pocrovskii Alexander: </p>
<hr />
<div>{{Model<br />
|Description=Коллекция песен из индийского кинематографа<br />
|Field_of_knowledge=Информатика, Образование, Искусственный интеллект, Большие данные, Музыка, Медиа<br />
|Website=https://www.kaggle.com/datasets/moonknightmarvel/dataset-of-songs-with-genreartistmovielanguage/data<br />
|Inventor=Pocrovskii Alexander<br />
|Environment=R, Большие данные<br />
|Student-created=Да<br />
}}<br />
== Общая информация ==<br />
* '''Авторы:''' Студент группы [[Категория:ИНДОР-211]] - [[Участник:Pokrovskii Alexander|Pokrovskii Alexander]]<br />
* '''Дата исследования:''' 14 апреля 2026<br />
* '''Источник:''' Kaggle Datasets<br />
* '''Платформа:''' Kaggle<br />
* '''Дата публикации:''' 23 апреля 2026 г.<br />
<br />
=== Исходные данные ===<br />
* '''Файл:''' songs_db.csv (6 КB)<br />
* '''Структура:''' 101 строк (избирательных участков), 5 столбцов<br />
* '''Ссылка:''' https://www.kaggle.com/datasets/moonknightmarvel/dataset-of-songs-with-genreartistmovielanguage/data<br />
*<br />
<uml><br />
@startuml<br />
<br />
title Пайплайн представления музыкальных данных в Digida<br />
skinparam handwritten false<br />
<br />
rectangle "Внешние данные (OWID CSV)" as external #LightBlue<br />
rectangle "R: предварительная загрузка" as r_load #LightGreen <br />
rectangle "OpenRefine: очистка и обогащение" as refine #LightYellow<br />
rectangle "R: визуализация + экспорт" as r_export #LightPink<br />
rectangle "Digida: публикация" as platform #LightCoral<br />
<br />
external --> r_load : read_csv()<br />
r_load --> refine : экспорт songs_db.csv<br />
refine --> refine : Нормализация, расчёт метрик<br />
refine --> r_export : экспорт songs_db_clean.csv<br />
r_export --> r_export : ggplot2 + patchwork дашборд<br />
r_export --> platform : загрузка страниц + дашборд<br />
<br />
<br />
<br />
@enduml<br />
<br />
</uml><br />
<br />
== Описание исследования ==<br />
Исследование посвящено анализу структурированных музыкальных метаданных на примере датасета песен из индийских фильмов.<br />
<br />
=== Цель ===<br />
Выявить статистически значимые связи между метаданными песен (язык, исполнитель, фильм) и их эмоциональной категорией, а также построить и валидировать модель машинного обучения для прогнозирования эмоции песни на основе доступных признаков с точностью не ниже 75% (F1-macro).<br />
<br />
=== Задачи ===<br />
# Выполнить предобработку: кодирование категориальных признаков (Artist, Movie, Language), балансировку данных (при необходимости), разделение на обучающую/тестовую выборки.<br />
# Выполнить предобработку: кодирование категориальных признаков (Artist, Movie, Language), балансировку данных (при необходимости), разделение на обучающую/тестовую выборки.<br />
# Построить и сравнить несколько моделей классификации (логистическая регрессия, Random Forest, XGBoost) с кросс-валидацией, оценить метрики качества (accuracy, precision, recall, F1-score).<br />
# Визуализировать результаты: матрицу ошибок, важность признаков, распределение предсказаний, а также сформировать интерпретируемые выводы о доминирующих факторах, влияющих на эмоциональную окраску песни.<br />
<br />
=== Гипотеза ===<br />
Эмоциональная категория песни (Emotion) статистически значимо зависит от комбинации языка исполнения и исполнителя: песни на телугу в исполнении артистов «первого эшелона» (например, Sid Sriram, Armaan Malik) с большей вероятностью относятся к категориям Love или Joy, тогда как треки второстепенных исполнителей или из менее популярных фильмов чаще маркируются как Sadness или Anticipation. При этом модель, обученная на признаках Language + Artist + Movie, покажет качество прогнозирования эмоции выше базового уровня (majority class baseline) не менее чем на 20 п.п. по метрике F1-macro.<br />
<br />
<br />
== Программный код ==<br />
<br />
<syntaxhighlight lang="R"><br />
# Анализ БД<br />
<br />
# ==========================================<br />
# A) Imports + Global Config<br />
# ==========================================<br />
library(tidyverse) # dplyr, tidyr, readr, ggplot2, stringr, purrr<br />
library(lubridate) # работа с датами<br />
library(corrplot) # тепловые карты корреляций<br />
library(scales) # форматирование осей<br />
library(patchwork) # компоновка графиков<br />
<br />
set.seed(42)<br />
options(digits = 2, width = 120)<br />
<br />
# Глобальные настройки ggplot2<br />
theme_set(theme_minimal(base_size = 12))<br />
update_geom_defaults("point", list(alpha = 0.6))<br />
<br />
# Входные параметры (аналог Python-конфига)<br />
DATASET_NAME <- "moonknightmarvel/dataset-of-songs-with-genreartistmovielanguage"<br />
EXACT_COLUMNS <- c("title", "artist", "movie", "language", "emotion")<br />
TARGET_COL <- NULL # можно задать, например, "emotion"<br />
DATA_DIR <- "data/raw/songs_dataset.csv" # путь к файлу<br />
<br />
# ==========================================<br />
# B) Helper Functions (Robust & Defensive)<br />
# ==========================================<br />
<br />
safe_read_csv <- function(path) {<br />
tryCatch(<br />
read_csv(path, show_col_types = FALSE),<br />
error = function(e) {<br />
message(sprintf("CRITICAL ERROR: Could not read CSV at %s. Error: %s", path, e$message))<br />
return(tibble())<br />
}<br />
)<br />
}<br />
<br />
validate_columns <- function(df, expected_cols) {<br />
if (nrow(df) == 0 || is.null(expected_cols)) return(invisible(NULL))<br />
<br />
actual_cols <- names(df)<br />
missing <- setdiff(expected_cols, actual_cols)<br />
extra <- setdiff(actual_cols, expected_cols)<br />
<br />
cat(strrep("-", 30), "\n")<br />
cat(sprintf("COLUMN VALIDATION: %s\n", DATASET_NAME))<br />
<br />
if (length(missing) == 0 && length(extra) == 0) {<br />
cat("Success: All expected columns found. No extra columns.\n")<br />
} else {<br />
if (length(missing) > 0) cat(sprintf("Missing expected columns: %s\n", paste(missing, collapse = ", ")))<br />
if (length(extra) > 0) cat(sprintf("Extra columns found: %s\n", paste(extra, collapse = ", ")))<br />
}<br />
cat(strrep("-", 30), "\n")<br />
invisible(NULL)<br />
}<br />
<br />
audit_missingness <- function(df) {<br />
null_counts <- colSums(is.na(df))<br />
null_pct <- (null_counts / nrow(df)) * 100<br />
non_null <- nrow(df) - null_counts<br />
<br />
tibble(<br />
Column = names(df),<br />
`Null Count` = null_counts,<br />
`Null %` = round(null_pct, 2),<br />
`Non-Null Count` = non_null<br />
) %>% arrange(desc(`Null %`))<br />
}<br />
<br />
detect_column_types <- function(df) {<br />
num_cols <- names(df)[sapply(df, is.numeric)]<br />
char_cols <- names(df)[sapply(df, is.character)]<br />
<br />
# Эвристика для дат: ищем паттерны вроде "2024-01-15" или "15/01/2024"<br />
date_pattern <- "\\d{4}-\\d{2}-\\d{2}|\\d{2}/\\d{2}/\\d{4}"<br />
date_cols <- char_cols[sapply(df[char_cols], function(col) {<br />
any(str_detect(na.omit(as.character(col[1:min(5, length(col))])), date_pattern), na.rm = TRUE)<br />
})]<br />
<br />
cat_cols <- setdiff(char_cols, date_cols)<br />
list(num = num_cols, cat = cat_cols, date = date_cols)<br />
}<br />
<br />
safe_to_numeric <- function(series) {<br />
suppressWarnings(as.numeric(series))<br />
}<br />
<br />
safe_to_datetime <- function(series) {<br />
parsed <- parse_date_time(series, orders = c("Ymd", "dmy", "mdY"), quiet = TRUE)<br />
ifelse(is.na(parsed), NA, parsed)<br />
}<br />
<br />
plot_missingness <- function(df) {<br />
null_pct <- colSums(is.na(df)) / nrow(df) * 100<br />
null_pct <- null_pct[null_pct > 0] %>% sort(decreasing = TRUE) %>% head(30)<br />
<br />
if (length(null_pct) == 0) return(NULL)<br />
<br />
tibble(Column = names(null_pct), `Missing %` = null_pct) %>%<br />
mutate(Column = fct_reorder(Column, `Missing %`)) %>%<br />
ggplot(aes(x = `Missing %`, y = Column, fill = `Missing %`)) +<br />
geom_col(show.legend = FALSE) +<br />
scale_fill_gradient(low = "#fee0d2", high = "#cb181d") +<br />
labs(title = "Top Columns by Missing Percentage (%)", x = "% Missing", y = NULL) +<br />
theme(axis.text.y = element_text(size = 9))<br />
}<br />
<br />
plot_univariate_num <- function(df, num_cols) {<br />
cols_to_plot <- head(num_cols, 12)<br />
if (length(cols_to_plot) == 0) return(NULL)<br />
<br />
plots <- lapply(cols_to_plot, function(col) {<br />
df %>% <br />
drop_na(!!sym(col)) %>%<br />
ggplot(aes(x = .data[[col]])) +<br />
geom_histogram(aes(y = after_stat(density)), bins = 30, fill = "teal", color = "white", alpha = 0.8) +<br />
geom_density(color = "darkred", linewidth = 0.8) +<br />
labs(title = sprintf("Distribution of %s", col), x = NULL, y = "Density") +<br />
theme(axis.text.x = element_text(angle = 45, hjust = 1))<br />
})<br />
<br />
wrap_plots(plots, ncol = 3)<br />
}<br />
<br />
plot_univariate_cat <- function(df, cat_cols) {<br />
cols_to_plot <- head(cat_cols, 6)<br />
if (length(cols_to_plot) == 0) return(NULL)<br />
<br />
lapply(cols_to_plot, function(col) {<br />
top_vals <- df %>% <br />
count(.data[[col]], sort = TRUE) %>% <br />
slice_head(n = 15)<br />
<br />
top_vals %>%<br />
mutate(!!col := fct_reorder(.data[[col]], n)) %>%<br />
ggplot(aes(x = n, y = .data[[col]], fill = n)) +<br />
geom_col(show.legend = FALSE) +<br />
scale_fill_viridis_d(option = "viridis") +<br />
labs(title = sprintf("Top 15 Categories: %s", col), x = "Count", y = NULL) +<br />
theme(axis.text.y = element_text(size = 9))<br />
})<br />
}<br />
<br />
plot_correlation <- function(df, num_cols) {<br />
if (length(num_cols) < 2) return(NULL)<br />
<br />
corr_mat <- df %>% select(all_of(num_cols)) %>% cor(use = "complete.obs")<br />
corrplot(corr_mat, <br />
method = "color", <br />
type = "upper", <br />
tl.cex = 0.8, <br />
tl.srt = 45,<br />
addCoef.col = "black", <br />
number.cex = 0.6,<br />
col = colorRampPalette(c("#6D9EC1", "white", "#E46726"))(200),<br />
title = "Pearson Correlation Matrix",<br />
mar = c(0,0,1,0))<br />
}<br />
<br />
# ==========================================<br />
# C) Load + Validate<br />
# ==========================================<br />
df <- safe_read_csv(DATA_DIR)<br />
validate_columns(df, EXACT_COLUMNS)<br />
<br />
if (nrow(df) > 0) {<br />
# ==========================================<br />
# D) Data Audit<br />
# ==========================================<br />
cat(sprintf("\n--- DATA AUDIT: %s ---\n", DATASET_NAME))<br />
cat(sprintf("Shape: %d rows × %d columns\n", nrow(df), ncol(df)))<br />
cat(sprintf("Memory Usage: %.2f MB\n", object.size(df) / 1024^2))<br />
cat(sprintf("Duplicates: %d\n", sum(duplicated(df))))<br />
<br />
null_audit <- audit_missingness(df)<br />
cat("\nNull Audit Summary (Top 5 Missing):\n")<br />
print(null_audit %>% slice_head(n = 5))<br />
<br />
col_types <- detect_column_types(df)<br />
num_cols <- col_types$num<br />
cat_cols <- col_types$cat<br />
date_cols <- col_types$date<br />
<br />
cat(sprintf("\nDetected Numeric Columns: %s\n", paste(num_cols, collapse = ", ")))<br />
cat(sprintf("Detected Categorical Columns: %s\n", paste(cat_cols, collapse = ", ")))<br />
cat(sprintf("Detected Date Columns: %s\n", paste(date_cols, collapse = ", ")))<br />
<br />
# Проверка на бесконечные значения и низкую дисперсию<br />
if (length(num_cols) > 0) {<br />
inf_counts <- sum(sapply(df[num_cols], function(x) sum(is.infinite(x))), na.rm = TRUE)<br />
cat(sprintf("Total Inf/-Inf values: %d\n", inf_counts))<br />
<br />
low_var <- num_cols[sapply(df[num_cols], function(x) sd(x, na.rm = TRUE) < 0.01)]<br />
if (length(low_var) > 0) cat(sprintf("Low variance columns: %s\n", paste(low_var, collapse = ", ")))<br />
}<br />
<br />
# ==========================================<br />
# E) ETL (Safe + Reversible)<br />
# ==========================================<br />
df_clean <- df %>% mutate(across(everything(), ~.x)) # явное копирование<br />
<br />
# Очистка строк: пробелы + унификация пропусков<br />
missing_tokens <- c("", "NA", "N/A", "null", "None", "nan")<br />
df_clean <- df_clean %>%<br />
mutate(across(where(is.character), ~{<br />
.x %>% <br />
str_trim() %>% <br />
na_if("") %>% <br />
{ ifelse(. %in% missing_tokens, NA, .) }<br />
}))<br />
<br />
# Попытка конвертировать "числовые" строки в numeric<br />
for (col in cat_cols) {<br />
if (col %in% names(df_clean)) {<br />
sample_vals <- df_clean[[col]] %>% drop_na() %>% head(10) %>% as.character()<br />
if (all(str_detect(sample_vals, "^-?\\d+(\\.\\d+)?$"), na.rm = TRUE) && length(sample_vals) > 0) {<br />
df_clean[[col]] <- safe_to_numeric(df_clean[[col]])<br />
}<br />
}<br />
}<br />
<br />
# Удаление дубликатов<br />
df_clean <- df_clean %>% distinct()<br />
<br />
# Пересчёт типов после очистки<br />
col_types <- detect_column_types(df_clean)<br />
num_cols <- col_types$num<br />
cat_cols <- col_types$cat<br />
<br />
# Обработка пропусков: импутация + индикаторы<br />
for (col in num_cols) {<br />
if (any(is.na(df_clean[[col]]))) {<br />
df_clean[[paste0(col, "__was_missing")]] <- as.integer(is.na(df_clean[[col]]))<br />
df_clean[[col]] <- ifelse(is.na(df_clean[[col]]), <br />
median(df_clean[[col]], na.rm = TRUE), <br />
df_clean[[col]])<br />
}<br />
}<br />
<br />
for (col in cat_cols) {<br />
if (any(is.na(df_clean[[col]]))) {<br />
df_clean[[paste0(col, "__was_missing")]] <- as.integer(is.na(df_clean[[col]]))<br />
df_clean[[col]] <- replace_na(df_clean[[col]], "Missing")<br />
}<br />
}<br />
<br />
# ==========================================<br />
# F) EDA (Univariate & Bivariate)<br />
# ==========================================<br />
if (length(num_cols) > 0) {<br />
cat("\nNumeric Distribution Summary:\n")<br />
stats <- df_clean %>%<br />
select(all_of(num_cols)) %>%<br />
summarise(across(everything(), <br />
list(mean = ~mean(., na.rm = TRUE),<br />
std = ~sd(., na.rm = TRUE),<br />
min = ~min(., na.rm = TRUE),<br />
median = ~median(., na.rm = TRUE),<br />
max = ~max(., na.rm = TRUE),<br />
skew = ~mean((. - mean(., na.rm = TRUE))^3, na.rm = TRUE) / sd(., na.rm = TRUE)^3),<br />
.names = "{.col}_{.fn}"))<br />
print(stats)<br />
<br />
# Поиск высококоррелирующих пар<br />
if (length(num_cols) >= 2) {<br />
corr_mat <- df_clean %>% select(all_of(num_cols)) %>% cor(use = "complete.obs") %>% abs()<br />
upper <- corr_mat[upper.tri(corr_mat)]<br />
high_corr <- which(upper >= 0.85, arr.ind = TRUE)<br />
<br />
if (nrow(high_corr) > 0) {<br />
cat("\nHighly Correlated Pairs (|r| >= 0.85):\n")<br />
for (i in seq_len(nrow(high_corr))) {<br />
row_name <- rownames(corr_mat)[high_corr[i, 1]]<br />
col_name <- colnames(corr_mat)[high_corr[i, 2]]<br />
cat(sprintf(" - %s & %s: %.3f\n", row_name, col_name, upper[high_corr[i, 1], high_corr[i, 2]]))<br />
}<br />
}<br />
}<br />
}<br />
<br />
# ==========================================<br />
# G) Feature Engineering (Lightweight)<br />
# ==========================================<br />
text_candidates <- intersect(c("title", "artist", "movie", "language"), cat_cols)<br />
<br />
for (col in text_candidates) {<br />
if (col %in% names(df_clean)) {<br />
df_clean[[paste0(col, "__len")]] <- str_length(as.character(df_clean[[col]]))<br />
df_clean[[paste0(col, "__words")]] <- <br />
str_count(as.character(df_clean[[col]]), "\\S+") # количество слов<br />
}<br />
}<br />
<br />
# Раскрытие дат<br />
for (col in date_cols) {<br />
if (col %in% names(df_clean)) {<br />
df_clean[[col]] <- safe_to_datetime(df_clean[[col]])<br />
if (!all(is.na(df_clean[[col]]))) {<br />
df_clean[[paste0(col, "__year")]] <- year(df_clean[[col]])<br />
df_clean[[paste0(col, "__month")]] <- month(df_clean[[col]])<br />
df_clean[[paste0(col, "__dayofweek")]] <- wday(df_clean[[col]], week_start = 1)<br />
}<br />
}<br />
}<br />
<br />
# ==========================================<br />
# H) Visualization<br />
# ==========================================<br />
# Missingness plot<br />
p_missing <- plot_missingness(df)<br />
if (!is.null(p_missing)) print(p_missing)<br />
<br />
# Обновляем типы после Feature Engineering<br />
col_types_upd <- detect_column_types(df_clean)<br />
num_cols_upd <- col_types_upd$num<br />
<br />
# Univariate numerical<br />
p_num <- plot_univariate_num(df_clean, num_cols_upd)<br />
if (!is.null(p_num)) print(p_num)<br />
<br />
# Univariate categorical<br />
p_cat_plots <- plot_univariate_cat(df_clean, cat_cols)<br />
if (!is.null(p_cat_plots)) lapply(p_cat_plots, print)<br />
<br />
# Correlation heatmap<br />
plot_correlation(df_clean, num_cols_upd)<br />
<br />
# Target-aware analysis<br />
if (!is.null(TARGET_COL) && TARGET_COL %in% names(df_clean)) {<br />
cat(sprintf("\nTarget Analysis: %s\n", TARGET_COL))<br />
<br />
if (TARGET_COL %in% num_cols_upd) {<br />
# Числовая целевая: корреляции<br />
target_corr <- df_clean %>%<br />
select(all_of(num_cols_upd)) %>%<br />
cor(use = "complete.obs")[, TARGET_COL] %>%<br />
sort(decreasing = TRUE)<br />
cat("Correlations with Target:\n")<br />
print(target_corr)<br />
} else {<br />
# Категориальная целевая: распределение<br />
df_clean %>%<br />
count(.data[[TARGET_COL]], sort = TRUE) %>%<br />
mutate(!!TARGET_COL := fct_reorder(.data[[TARGET_COL]], n)) %>%<br />
ggplot(aes(x = n, y = .data[[TARGET_COL]], fill = n)) +<br />
geom_col(show.legend = FALSE) +<br />
scale_fill_viridis_d(option = "magma") +<br />
labs(title = sprintf("Target Distribution: %s", TARGET_COL), <br />
x = "Count", y = NULL) +<br />
theme(axis.text.y = element_text(size = 10)) %>%<br />
print()<br />
}<br />
}<br />
<br />
# ==========================================<br />
# I) Final Artifact Output<br />
# ==========================================<br />
cat("\n--- FINAL SUMMARY ---\n")<br />
cat(sprintf("Original Shape: %d × %d\n", nrow(df), ncol(df)))<br />
cat(sprintf("Cleaned Shape: %d × %d\n", nrow(df_clean), ncol(df_clean)))<br />
cat(sprintf("Duplicates removed: %d\n", sum(duplicated(df))))<br />
cat(sprintf("Columns processed: %s\n", paste(names(df_clean), collapse = ", ")))<br />
cat("\nProcessed Data Preview (df_clean %>% head()):\n")<br />
print(df_clean %>% head())<br />
<br />
} else {<br />
message("DataFrame is empty. Pipeline terminated.")<br />
}<br />
<br />
# Сохранение результата (опционально)<br />
# write_csv(df_clean, "data/processed/songs_cleaned.csv")<br />
<br />
[[Категория:Работы ИНДОР-211]]<br />
[[Категория:BigDataWorks]]</div>
Pocrovskii Alexander
http://digida.mgpu.ru/index.php?title=%D0%9A%D0%BE%D0%BB%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D1%8F_%D0%BF%D0%B5%D1%81%D0%B5%D0%BD_%D0%B8%D0%B7_%D0%B8%D0%BD%D0%B4%D0%B8%D0%B9%D1%81%D0%BA%D0%BE%D0%B3%D0%BE_%D0%BA%D0%B8%D0%BD%D0%B5%D0%BC%D0%B0%D1%82%D0%BE%D0%B3%D1%80%D0%B0%D1%84%D0%B0_DataSet&diff=46203
Коллекция песен из индийского кинематографа DataSet
2026-04-14T09:54:04Z
<p>Pocrovskii Alexander: </p>
<hr />
<div>{{Model<br />
|Description=Коллекция песен из индийского кинематографа<br />
|Field_of_knowledge=Информатика, Образование, Искусственный интеллект, Большие данные, Музыка, Медиа<br />
|Website=https://www.kaggle.com/datasets/moonknightmarvel/dataset-of-songs-with-genreartistmovielanguage/data<br />
|Inventor=Pocrovskii Alexander<br />
|Environment=R, Большие данные<br />
|Student-created=Да<br />
}}<br />
== Общая информация ==<br />
* '''Авторы:''' Студент группы [[Категория:ИНДОР-211]] - [[Участник:Pokrovskii Alexander|Pokrovskii Alexander]]<br />
* '''Дата исследования:''' 14 апреля 2026<br />
* '''Источник:''' Kaggle Datasets<br />
* '''Платформа:''' Kaggle<br />
* '''Дата публикации:''' 23 апреля 2026 г.<br />
<br />
=== Исходные данные ===<br />
* '''Файл:''' songs_db.csv (6 КB)<br />
* '''Структура:''' 101 строк (избирательных участков), 5 столбцов<br />
* '''Ссылка:''' https://www.kaggle.com/datasets/moonknightmarvel/dataset-of-songs-with-genreartistmovielanguage/data<br />
*<br />
<uml><br />
@startuml<br />
<br />
title Пайплайн представления музыкальных данных в Digida<br />
skinparam handwritten false<br />
<br />
rectangle "Внешние данные (OWID CSV)" as external #LightBlue<br />
rectangle "R: предварительная загрузка" as r_load #LightGreen <br />
rectangle "OpenRefine: очистка и обогащение" as refine #LightYellow<br />
rectangle "R: визуализация + экспорт" as r_export #LightPink<br />
rectangle "Digida: публикация" as platform #LightCoral<br />
<br />
external --> r_load : read_csv()<br />
r_load --> refine : экспорт songs_db.csv<br />
refine --> refine : Нормализация, расчёт метрик<br />
refine --> r_export : экспорт songs_db_clean.csv<br />
r_export --> r_export : ggplot2 + patchwork дашборд<br />
r_export --> platform : загрузка страниц + дашборд<br />
<br />
<br />
<br />
@enduml<br />
<br />
</uml><br />
<br />
== Описание исследования ==<br />
Исследование посвящено анализу структурированных музыкальных метаданных на примере датасета песен из индийских фильмов.<br />
<br />
=== Цель ===<br />
Выявить статистически значимые связи между метаданными песен (язык, исполнитель, фильм) и их эмоциональной категорией, а также построить и валидировать модель машинного обучения для прогнозирования эмоции песни на основе доступных признаков с точностью не ниже 75% (F1-macro).<br />
<br />
=== Задачи ===<br />
# Выполнить предобработку: кодирование категориальных признаков (Artist, Movie, Language), балансировку данных (при необходимости), разделение на обучающую/тестовую выборки.<br />
# Выполнить предобработку: кодирование категориальных признаков (Artist, Movie, Language), балансировку данных (при необходимости), разделение на обучающую/тестовую выборки.<br />
# Построить и сравнить несколько моделей классификации (логистическая регрессия, Random Forest, XGBoost) с кросс-валидацией, оценить метрики качества (accuracy, precision, recall, F1-score).<br />
# Визуализировать результаты: матрицу ошибок, важность признаков, распределение предсказаний, а также сформировать интерпретируемые выводы о доминирующих факторах, влияющих на эмоциональную окраску песни.<br />
<br />
=== Гипотеза ===<br />
Эмоциональная категория песни (Emotion) статистически значимо зависит от комбинации языка исполнения и исполнителя: песни на телугу в исполнении артистов «первого эшелона» (например, Sid Sriram, Armaan Malik) с большей вероятностью относятся к категориям Love или Joy, тогда как треки второстепенных исполнителей или из менее популярных фильмов чаще маркируются как Sadness или Anticipation. При этом модель, обученная на признаках Language + Artist + Movie, покажет качество прогнозирования эмоции выше базового уровня (majority class baseline) не менее чем на 20 п.п. по метрике F1-macro.<br />
<br />
<br />
== Программный код ==<br />
<br />
<syntaxhighlight lang="R"><br />
# Анализ БД<br />
<br />
import numpy as np<br />
import pandas as pd<br />
import matplotlib.pyplot as plt<br />
import seaborn as sns<br />
import re<br />
<br />
# ==========================================<br />
# A) Imports + Global Config<br />
# ==========================================<br />
np.random.seed(42)<br />
pd.set_option('display.max_columns', 50)<br />
pd.set_option('display.width', 1000)<br />
pd.set_option('display.float_format', '{:.2f}'.format)<br />
<br />
plt.rcParams['figure.figsize'] = (12, 6)<br />
plt.rcParams['axes.titlesize'] = 14<br />
plt.rcParams['axes.labelsize'] = 12<br />
sns.set_theme(style="whitegrid")<br />
<br />
# Provided Inputs<br />
DATASET_NAME = "moonknightmarvel/dataset-of-songs-with-genreartistmovielanguage"<br />
EXACT_COLUMNS = ["title", "artist", "movie", "language", "emotion"]<br />
TARGET_COL = None<br />
<br />
# ==========================================<br />
# B) Helper Functions (Robust & Defensive)<br />
# ==========================================<br />
<br />
def safe_read_csv(path):<br />
try:<br />
# DATA_DIR is assumed to be defined in the environment per instructions<br />
return pd.read_csv(path)<br />
except Exception as e:<br />
print(f"CRITICAL ERROR: Could not read CSV at {path}. Error: {e}")<br />
return pd.DataFrame()<br />
<br />
def validate_columns(df, expected_cols):<br />
if df.empty or not expected_cols:<br />
return<br />
actual_cols = df.columns.tolist()<br />
missing = [c for c in expected_cols if c not in actual_cols]<br />
extra = [c for c in actual_cols if c not in expected_cols]<br />
<br />
print("-" * 30)<br />
print(f"COLUMN VALIDATION: {DATASET_NAME}")<br />
if not missing and not extra:<br />
print("Success: All expected columns found. No extra columns.")<br />
else:<br />
if missing: print(f"Missing expected columns: {missing}")<br />
if extra: print(f"Extra columns found: {extra}")<br />
print("-" * 30)<br />
<br />
def audit_missingness(df):<br />
null_counts = df.isnull().sum()<br />
null_pct = (null_counts / len(df)) * 100<br />
non_null = df.notnull().sum()<br />
audit = pd.DataFrame({<br />
'Null Count': null_counts,<br />
'Null %': null_pct,<br />
'Non-Null Count': non_null<br />
})<br />
return audit<br />
<br />
def detect_column_types(df):<br />
num_cols = df.select_dtypes(include=[np.number]).columns.tolist()<br />
cat_cols = df.select_dtypes(include=['object', 'category']).columns.tolist()<br />
date_cols = []<br />
<br />
# Simple heuristic for potential date columns<br />
for col in cat_cols:<br />
sample = df[col].dropna().head(5).astype(str)<br />
if any(sample.str.contains(r'\d{4}-\d{2}-\d{2}|\d{2}/\d{2}/\d{4}', regex=True)):<br />
date_cols.append(col)<br />
<br />
# Refine cat_cols (remove dates)<br />
cat_cols = [c for c in cat_cols if c not in date_cols]<br />
return num_cols, cat_cols, date_cols<br />
<br />
def safe_to_numeric(series):<br />
try:<br />
return pd.to_numeric(series, errors='coerce')<br />
except:<br />
return series<br />
<br />
def safe_to_datetime(series):<br />
try:<br />
return pd.to_datetime(series, errors='coerce')<br />
except:<br />
return series<br />
<br />
def plot_missingness(df):<br />
null_pct = (df.isnull().sum() / len(df)) * 100<br />
null_pct = null_pct[null_pct > 0].sort_values(ascending=False).head(30)<br />
if not null_pct.empty:<br />
sns.barplot(x=null_pct.values, y=null_pct.index, hue=null_pct.index, palette='Reds_r', legend=False)<br />
plt.title("Top Columns by Missing Percentage (%)")<br />
plt.xlabel("% Missing")<br />
plt.show()<br />
<br />
def plot_univariate_num(df, num_cols):<br />
cols_to_plot = num_cols[:12]<br />
if not cols_to_plot: return<br />
n = len(cols_to_plot)<br />
rows = (n + 2) // 3<br />
fig, axes = plt.subplots(rows, 3, figsize=(18, 5 * rows))<br />
axes = axes.flatten()<br />
for i, col in enumerate(cols_to_plot):<br />
sns.histplot(df[col].dropna(), kde=True, ax=axes[i], color='teal')<br />
axes[i].set_title(f"Distribution of {col}")<br />
for j in range(i + 1, len(axes)):<br />
fig.delaxes(axes[j])<br />
plt.tight_layout()<br />
plt.show()<br />
<br />
def plot_univariate_cat(df, cat_cols):<br />
cols_to_plot = cat_cols[:6]<br />
if not cols_to_plot: return<br />
for col in cols_to_plot:<br />
if df[col].nunique() > 50:<br />
top_vals = df[col].value_counts().head(15)<br />
else:<br />
top_vals = df[col].value_counts().head(15)<br />
<br />
plt.figure(figsize=(10, 5))<br />
sns.barplot(x=top_vals.values, y=top_vals.index, hue=top_vals.index, palette='viridis', legend=False)<br />
plt.title(f"Top 15 Categories: {col}")<br />
plt.show()<br />
<br />
def plot_correlation(df, num_cols):<br />
if len(num_cols) < 2: return<br />
corr = df[num_cols].corr()<br />
plt.figure(figsize=(10, 8))<br />
sns.heatmap(corr, annot=True, cmap='coolwarm', fmt=".2f", linewidths=0.5)<br />
plt.title("Pearson Correlation Matrix")<br />
plt.show()<br />
<br />
# ==========================================<br />
# C) Load + Validate<br />
# ==========================================<br />
df = safe_read_csv(DATA_DIR)<br />
validate_columns(df, EXACT_COLUMNS)<br />
<br />
if not df.empty:<br />
# ==========================================<br />
# D) Data Audit<br />
# ==========================================<br />
print(f"\n--- DATA AUDIT: {DATASET_NAME} ---")<br />
print(f"Shape: {df.shape}")<br />
print(f"Memory Usage: {df.memory_usage(deep=True).sum() / 1024**2:.2f} MB")<br />
print(f"Duplicates: {df.duplicated().sum()}")<br />
<br />
null_audit = audit_missingness(df)<br />
print("\nNull Audit Summary (Top 5 Missing):")<br />
print(null_audit.sort_values(by='Null %', ascending=False).head(5))<br />
<br />
num_cols, cat_cols, date_cols = detect_column_types(df)<br />
<br />
print(f"\nDetected Numeric Columns: {num_cols}")<br />
print(f"Detected Categorical Columns: {cat_cols}")<br />
print(f"Detected Date Columns: {date_cols}")<br />
<br />
# Numeric Stability<br />
if num_cols:<br />
inf_counts = np.isinf(df[num_cols]).sum().sum()<br />
print(f"Total Inf/-Inf values: {inf_counts}")<br />
low_var = [c for c in num_cols if df[c].std() < 0.01]<br />
if low_var: print(f"Low variance columns: {low_var}")<br />
<br />
# ==========================================<br />
# E) ETL (Safe + Reversible)<br />
# ==========================================<br />
df_clean = df.copy()<br />
<br />
# Strip whitespace & Unify Missing Tokens<br />
missing_tokens = ["", "NA", "N/A", "null", "None", "nan"]<br />
for col in df_clean.columns:<br />
if df_clean[col].dtype == 'object':<br />
df_clean[col] = df_clean[col].astype(str).str.strip()<br />
df_clean[col] = df_clean[col].replace(missing_tokens, np.nan)<br />
<br />
# Attempt to convert object columns to numeric if they are high-signal<br />
for col in cat_cols:<br />
sample = df_clean[col].dropna().head(10)<br />
if sample.str.match(r'^-?\d+(\.\d+)?$').all():<br />
df_clean[col] = safe_to_numeric(df_clean[col])<br />
<br />
# Handle Duplicates<br />
df_clean = df_clean.drop_duplicates(keep='first')<br />
<br />
# Recalculate types after cleaning<br />
num_cols, cat_cols, date_cols = detect_column_types(df_clean)<br />
<br />
# Missing Value Handling (Imputation + Indicators)<br />
for col in num_cols:<br />
if df_clean[col].isnull().any():<br />
df_clean[f"{col}__was_missing"] = df_clean[col].isnull().astype(int)<br />
df_clean[col] = df_clean[col].fillna(df_clean[col].median())<br />
<br />
for col in cat_cols:<br />
if df_clean[col].isnull().any():<br />
df_clean[f"{col}__was_missing"] = df_clean[col].isnull().astype(int)<br />
df_clean[col] = df_clean[col].fillna("Missing")<br />
<br />
# ==========================================<br />
# F) EDA (Univariate & Bivariate)<br />
# ==========================================<br />
if num_cols:<br />
print("\nNumeric Distribution Summary:")<br />
stats = df_clean[num_cols].agg(['mean', 'std', 'min', 'median', 'max', 'skew'])<br />
print(stats.T)<br />
<br />
if len(num_cols) >= 2:<br />
high_corr = []<br />
corr_mat = df_clean[num_cols].corr().abs()<br />
upper = corr_mat.where(np.triu(np.ones(corr_mat.shape), k=1).astype(bool))<br />
for col in upper.columns:<br />
for row in upper.index:<br />
if upper.loc[row, col] >= 0.85:<br />
high_corr.append((row, col, upper.loc[row, col]))<br />
if high_corr:<br />
print("\nHighly Correlated Pairs (|r| >= 0.85):")<br />
for r, c, v in high_corr: print(f" - {r} & {c}: {v:.3f}")<br />
<br />
# ==========================================<br />
# G) Feature Engineering (Lightweight)<br />
# ==========================================<br />
# String Lengths for Title/Artist etc.<br />
text_candidates = [c for c in cat_cols if c in ['title', 'artist', 'movie', 'language']]<br />
for col in text_candidates:<br />
if col in df_clean.columns:<br />
df_clean[f"{col}__len"] = df_clean[col].astype(str).apply(len)<br />
df_clean[f"{col}__words"] = df_clean[col].astype(str).apply(lambda x: len(x.split()))<br />
<br />
# Datetime expansion<br />
for col in date_cols:<br />
df_clean[col] = safe_to_datetime(df_clean[col])<br />
if not df_clean[col].isnull().all():<br />
df_clean[f"{col}__year"] = df_clean[col].dt.year<br />
df_clean[f"{col}__month"] = df_clean[col].dt.month<br />
df_clean[f"{col}__dayofweek"] = df_clean[col].dt.dayofweek<br />
<br />
# ==========================================<br />
# H) Visualization<br />
# ==========================================<br />
plot_missingness(df)<br />
<br />
num_cols_updated, cat_cols_updated, _ = detect_column_types(df_clean)<br />
<br />
# Univariate Numerical<br />
plot_univariate_num(df_clean, num_cols_updated)<br />
<br />
# Univariate Categorical<br />
plot_univariate_cat(df_clean, cat_cols)<br />
<br />
# Bivariate<br />
plot_correlation(df_clean, num_cols_updated)<br />
<br />
# Target-Aware Analysis (if TARGET_COL provided)<br />
if TARGET_COL and TARGET_COL in df_clean.columns:<br />
print(f"\nTarget Analysis: {TARGET_COL}")<br />
if TARGET_COL in num_cols_updated:<br />
# Numeric Target<br />
target_corr = df_clean[num_cols_updated].corr()[TARGET_COL].sort_values(ascending=False)<br />
print("Correlations with Target:")<br />
print(target_corr)<br />
else:<br />
# Categorical Target<br />
plt.figure(figsize=(10, 5))<br />
sns.countplot(data=df_clean, x=TARGET_COL, hue=TARGET_COL, palette='magma', legend=False)<br />
plt.title(f"Target Distribution: {TARGET_COL}")<br />
plt.xticks(rotation=45)<br />
plt.show()<br />
<br />
# ==========================================<br />
# I) Final Artifact Output<br />
# ==========================================<br />
print("\n--- FINAL SUMMARY ---")<br />
print(f"Original Shape: {df.shape}")<br />
print(f"Cleaned Shape: {df_clean.shape}")<br />
print(f"Duplicates removed: {df.duplicated().sum()}")<br />
print(f"Columns processed: {list(df_clean.columns)}")<br />
print("\nProcessed Data Preview (df_clean.head()):")<br />
print(df_clean.head())<br />
else:<br />
print("DataFrame is empty. Pipeline terminated.")<br />
<br />
[[Категория:Работы ИНДОР-211]]<br />
[[Категория:BigDataWorks]]</div>
Pocrovskii Alexander
http://digida.mgpu.ru/index.php?title=%D0%9A%D0%BE%D0%BB%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D1%8F_%D0%BF%D0%B5%D1%81%D0%B5%D0%BD_%D0%B8%D0%B7_%D0%B8%D0%BD%D0%B4%D0%B8%D0%B9%D1%81%D0%BA%D0%BE%D0%B3%D0%BE_%D0%BA%D0%B8%D0%BD%D0%B5%D0%BC%D0%B0%D1%82%D0%BE%D0%B3%D1%80%D0%B0%D1%84%D0%B0_DataSet&diff=46202
Коллекция песен из индийского кинематографа DataSet
2026-04-14T09:52:28Z
<p>Pocrovskii Alexander: </p>
<hr />
<div>{{Model<br />
|Description=Коллекция песен из индийского кинематографа<br />
|Field_of_knowledge=Информатика, Образование, Искусственный интеллект, Большие данные, Музыка, Медиа<br />
|Website=https://www.kaggle.com/datasets/moonknightmarvel/dataset-of-songs-with-genreartistmovielanguage/data<br />
|Inventor=Pocrovskii Alexander<br />
|Environment=R, Большие данные<br />
|Student-created=Да<br />
}}<br />
== Общая информация ==<br />
* '''Авторы:''' Студент группы [[Категория:ИНДОР-211]] - [[Участник:Pokrovskii Alexander|Pokrovskii Alexander]]<br />
* '''Дата исследования:''' 14 апреля 2026<br />
* '''Источник:''' Kaggle Datasets<br />
* '''Платформа:''' Kaggle<br />
* '''Дата публикации:''' 23 апреля 2026 г.<br />
<br />
=== Исходные данные ===<br />
* '''Файл:''' songs_db.csv (6 КB)<br />
* '''Структура:''' 101 строк (избирательных участков), 5 столбцов<br />
* '''Ссылка:''' https://www.kaggle.com/datasets/moonknightmarvel/dataset-of-songs-with-genreartistmovielanguage/data<br />
*<br />
<uml><br />
@startuml<br />
<br />
title Пайплайн представления музыкальных данных в Digida<br />
skinparam handwritten false<br />
<br />
rectangle "Внешние данные (OWID CSV)" as external #LightBlue<br />
rectangle "R: предварительная загрузка" as r_load #LightGreen <br />
rectangle "OpenRefine: очистка и обогащение" as refine #LightYellow<br />
rectangle "R: визуализация + экспорт" as r_export #LightPink<br />
rectangle "Digida: публикация" as platform #LightCoral<br />
<br />
external --> r_load : read_csv()<br />
r_load --> refine : экспорт songs_db.csv<br />
refine --> refine : Нормализация, расчёт метрик<br />
refine --> r_export : экспорт songs_db_clean.csv<br />
r_export --> r_export : ggplot2 + patchwork дашборд<br />
r_export --> platform : загрузка страниц + дашборд<br />
<br />
<br />
<br />
@enduml<br />
<br />
</uml><br />
<br />
== Описание исследования ==<br />
Исследование посвящено анализу структурированных музыкальных метаданных на примере датасета песен из индийских фильмов.<br />
<br />
=== Цель ===<br />
Выявить статистически значимые связи между метаданными песен (язык, исполнитель, фильм) и их эмоциональной категорией, а также построить и валидировать модель машинного обучения для прогнозирования эмоции песни на основе доступных признаков с точностью не ниже 75% (F1-macro).<br />
<br />
=== Задачи ===<br />
# Выполнить предобработку: кодирование категориальных признаков (Artist, Movie, Language), балансировку данных (при необходимости), разделение на обучающую/тестовую выборки.<br />
# Выполнить предобработку: кодирование категориальных признаков (Artist, Movie, Language), балансировку данных (при необходимости), разделение на обучающую/тестовую выборки.<br />
# Построить и сравнить несколько моделей классификации (логистическая регрессия, Random Forest, XGBoost) с кросс-валидацией, оценить метрики качества (accuracy, precision, recall, F1-score).<br />
# Визуализировать результаты: матрицу ошибок, важность признаков, распределение предсказаний, а также сформировать интерпретируемые выводы о доминирующих факторах, влияющих на эмоциональную окраску песни.<br />
<br />
=== Гипотеза ===<br />
Эмоциональная категория песни (Emotion) статистически значимо зависит от комбинации языка исполнения и исполнителя: песни на телугу в исполнении артистов «первого эшелона» (например, Sid Sriram, Armaan Malik) с большей вероятностью относятся к категориям Love или Joy, тогда как треки второстепенных исполнителей или из менее популярных фильмов чаще маркируются как Sadness или Anticipation. При этом модель, обученная на признаках Language + Artist + Movie, покажет качество прогнозирования эмоции выше базового уровня (majority class baseline) не менее чем на 20 п.п. по метрике F1-macro.<br />
<br />
<br />
== Программный код ==<br />
<br />
<syntaxhighlight lang="R"><br />
# Анализ БД<br />
<br />
<br />
[[Категория:Работы ИНДОР-211]]<br />
[[Категория:BigDataWorks]]</div>
Pocrovskii Alexander
http://digida.mgpu.ru/index.php?title=%D0%9A%D0%BE%D0%BB%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D1%8F_%D0%BF%D0%B5%D1%81%D0%B5%D0%BD_%D0%B8%D0%B7_%D0%B8%D0%BD%D0%B4%D0%B8%D0%B9%D1%81%D0%BA%D0%BE%D0%B3%D0%BE_%D0%BA%D0%B8%D0%BD%D0%B5%D0%BC%D0%B0%D1%82%D0%BE%D0%B3%D1%80%D0%B0%D1%84%D0%B0_DataSet&diff=46201
Коллекция песен из индийского кинематографа DataSet
2026-04-14T09:49:28Z
<p>Pocrovskii Alexander: </p>
<hr />
<div>{{Model<br />
|Description=Коллекция песен из индийского кинематографа<br />
|Field_of_knowledge=Информатика, Образование, Искусственный интеллект, Большие данные, Музыка, Медиа<br />
|Website=https://www.kaggle.com/datasets/moonknightmarvel/dataset-of-songs-with-genreartistmovielanguage/data<br />
|Inventor=Pocrovskii Alexander<br />
|Environment=R, Большие данные<br />
|Student-created=Да<br />
}}<br />
== Общая информация ==<br />
* '''Авторы:''' Студент группы [[Категория:ИНДОР-211]] - [[Участник:Pokrovskii Alexander|Pokrovskii Alexander]]<br />
* '''Дата исследования:''' 14 апреля 2026<br />
* '''Источник:''' Kaggle Datasets<br />
* '''Платформа:''' Kaggle<br />
* '''Дата публикации:''' 23 апреля 2026 г.<br />
<br />
=== Исходные данные ===<br />
* '''Файл:''' songs_db.csv (6 КB)<br />
* '''Структура:''' 101 строк (избирательных участков), 5 столбцов<br />
* '''Ссылка:''' https://www.kaggle.com/datasets/moonknightmarvel/dataset-of-songs-with-genreartistmovielanguage/data<br />
*<br />
<uml><br />
@startuml<br />
<br />
title Пайплайн представления музыкальных данных в Digida<br />
skinparam handwritten false<br />
<br />
rectangle "Внешние данные (OWID CSV)" as external #LightBlue<br />
rectangle "R: предварительная загрузка" as r_load #LightGreen <br />
rectangle "OpenRefine: очистка и обогащение" as refine #LightYellow<br />
rectangle "R: визуализация + экспорт" as r_export #LightPink<br />
rectangle "Digida: публикация" as platform #LightCoral<br />
<br />
external --> r_load : read_csv()<br />
r_load --> refine : экспорт songs_db.csv<br />
refine --> refine : Нормализация, расчёт метрик<br />
refine --> r_export : экспорт songs_db_clean.csv<br />
r_export --> r_export : ggplot2 + patchwork дашборд<br />
r_export --> platform : загрузка страниц + дашборд<br />
<br />
<br />
<br />
@enduml<br />
<br />
</uml><br />
<br />
== Описание исследования ==<br />
Исследование посвящено анализу структурированных музыкальных метаданных на примере датасета песен из индийских фильмов.<br />
<br />
=== Цель ===<br />
Выявить статистически значимые связи между метаданными песен (язык, исполнитель, фильм) и их эмоциональной категорией, а также построить и валидировать модель машинного обучения для прогнозирования эмоции песни на основе доступных признаков с точностью не ниже 75% (F1-macro).<br />
<br />
=== Задачи ===<br />
# Выполнить предобработку: кодирование категориальных признаков (Artist, Movie, Language), балансировку данных (при необходимости), разделение на обучающую/тестовую выборки.<br />
# Выполнить предобработку: кодирование категориальных признаков (Artist, Movie, Language), балансировку данных (при необходимости), разделение на обучающую/тестовую выборки.<br />
# Построить и сравнить несколько моделей классификации (логистическая регрессия, Random Forest, XGBoost) с кросс-валидацией, оценить метрики качества (accuracy, precision, recall, F1-score).<br />
# Визуализировать результаты: матрицу ошибок, важность признаков, распределение предсказаний, а также сформировать интерпретируемые выводы о доминирующих факторах, влияющих на эмоциональную окраску песни.<br />
<br />
=== Гипотеза ===<br />
Эмоциональная категория песни (Emotion) статистически значимо зависит от комбинации языка исполнения и исполнителя: песни на телугу в исполнении артистов «первого эшелона» (например, Sid Sriram, Armaan Malik) с большей вероятностью относятся к категориям Love или Joy, тогда как треки второстепенных исполнителей или из менее популярных фильмов чаще маркируются как Sadness или Anticipation. При этом модель, обученная на признаках Language + Artist + Movie, покажет качество прогнозирования эмоции выше базового уровня (majority class baseline) не менее чем на 20 п.п. по метрике F1-macro.<br />
<br />
<br />
[[Категория:Работы ИНДОР-211]]<br />
[[Категория:BigDataWorks]]</div>
Pocrovskii Alexander
http://digida.mgpu.ru/index.php?title=%D0%9A%D0%BE%D0%BB%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D1%8F_%D0%BF%D0%B5%D1%81%D0%B5%D0%BD_%D0%B8%D0%B7_%D0%B8%D0%BD%D0%B4%D0%B8%D0%B9%D1%81%D0%BA%D0%BE%D0%B3%D0%BE_%D0%BA%D0%B8%D0%BD%D0%B5%D0%BC%D0%B0%D1%82%D0%BE%D0%B3%D1%80%D0%B0%D1%84%D0%B0_DataSet&diff=46200
Коллекция песен из индийского кинематографа DataSet
2026-04-14T09:48:29Z
<p>Pocrovskii Alexander: </p>
<hr />
<div>{{Model<br />
|Description=Коллекция песен из индийского кинематографа<br />
|Field_of_knowledge=Информатика, Образование, Искусственный интеллект, Большие данные, Музыка, Медиа<br />
|Website=https://www.kaggle.com/datasets/moonknightmarvel/dataset-of-songs-with-genreartistmovielanguage/data<br />
|Inventor=Pocrovskii Alexander<br />
|Environment=R, Большие данные<br />
|Student-created=Да<br />
}}<br />
== Общая информация ==<br />
* '''Авторы:''' Студент группы [[Категория:ИНДОР-211]] - [[Участник:Pokrovskii Alexander|Pokrovskii Alexander]]<br />
* '''Дата исследования:''' 14 апреля 2026<br />
* '''Источник:''' Kaggle Datasets<br />
* '''Платформа:''' Kaggle<br />
* '''Дата публикации:''' 23 апреля 2026 г.<br />
<br />
=== Исходные данные ===<br />
* '''Файл:''' songs_db.csv (6 КB)<br />
* '''Структура:''' 101 строк (избирательных участков), 5 столбцов<br />
* '''Ссылка:''' https://www.kaggle.com/datasets/moonknightmarvel/dataset-of-songs-with-genreartistmovielanguage/data<br />
<br />
<uml><br />
@startuml<br />
<br />
title Пайплайн представления музыкальных данных в Digida<br />
skinparam handwritten false<br />
<br />
rectangle "Внешние данные (OWID CSV)" as external #LightBlue<br />
rectangle "R: предварительная загрузка" as r_load #LightGreen <br />
rectangle "OpenRefine: очистка и обогащение" as refine #LightYellow<br />
rectangle "R: визуализация + экспорт" as r_export #LightPink<br />
rectangle "Digida: публикация" as platform #LightCoral<br />
<br />
external --> r_load : read_csv()<br />
r_load --> refine : экспорт songs_db.csv<br />
refine --> refine : Нормализация, расчёт метрик<br />
refine --> r_export : экспорт songs_db_clean.csv<br />
r_export --> r_export : ggplot2 + patchwork дашборд<br />
r_export --> platform : загрузка страниц + дашборд<br />
<br />
<br />
<br />
@enduml<br />
<br />
</uml><br />
<br />
== Описание исследования ==<br />
Исследование посвящено анализу структурированных музыкальных метаданных на примере датасета песен из индийских фильмов.<br />
<br />
=== Цель ===<br />
Выявить статистически значимые связи между метаданными песен (язык, исполнитель, фильм) и их эмоциональной категорией, а также построить и валидировать модель машинного обучения для прогнозирования эмоции песни на основе доступных признаков с точностью не ниже 75% (F1-macro).<br />
<br />
=== Задачи ===<br />
# Выполнить предобработку: кодирование категориальных признаков (Artist, Movie, Language), балансировку данных (при необходимости), разделение на обучающую/тестовую выборки.<br />
# Выполнить предобработку: кодирование категориальных признаков (Artist, Movie, Language), балансировку данных (при необходимости), разделение на обучающую/тестовую выборки.<br />
# Построить и сравнить несколько моделей классификации (логистическая регрессия, Random Forest, XGBoost) с кросс-валидацией, оценить метрики качества (accuracy, precision, recall, F1-score).<br />
# Визуализировать результаты: матрицу ошибок, важность признаков, распределение предсказаний, а также сформировать интерпретируемые выводы о доминирующих факторах, влияющих на эмоциональную окраску песни.<br />
<br />
=== Гипотеза ===<br />
Эмоциональная категория песни (Emotion) статистически значимо зависит от комбинации языка исполнения и исполнителя: песни на телугу в исполнении артистов «первого эшелона» (например, Sid Sriram, Armaan Malik) с большей вероятностью относятся к категориям Love или Joy, тогда как треки второстепенных исполнителей или из менее популярных фильмов чаще маркируются как Sadness или Anticipation. При этом модель, обученная на признаках Language + Artist + Movie, покажет качество прогнозирования эмоции выше базового уровня (majority class baseline) не менее чем на 20 п.п. по метрике F1-macro.<br />
<br />
<br />
[[Категория:Работы ИНДОР-211]]<br />
[[Категория:BigDataWorks]]</div>
Pocrovskii Alexander
http://digida.mgpu.ru/index.php?title=%D0%9A%D0%BE%D0%BB%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D1%8F_%D0%BF%D0%B5%D1%81%D0%B5%D0%BD_%D0%B8%D0%B7_%D0%B8%D0%BD%D0%B4%D0%B8%D0%B9%D1%81%D0%BA%D0%BE%D0%B3%D0%BE_%D0%BA%D0%B8%D0%BD%D0%B5%D0%BC%D0%B0%D1%82%D0%BE%D0%B3%D1%80%D0%B0%D1%84%D0%B0_DataSet&diff=46199
Коллекция песен из индийского кинематографа DataSet
2026-04-14T09:47:32Z
<p>Pocrovskii Alexander: </p>
<hr />
<div>{{Model<br />
|Description=Коллекция песен из индийского кинематографа<br />
|Field_of_knowledge=Информатика, Образование, Искусственный интеллект, Большие данные, Музыка, Медиа<br />
|Website=https://www.kaggle.com/datasets/moonknightmarvel/dataset-of-songs-with-genreartistmovielanguage/data<br />
|Inventor=Pocrovskii Alexander<br />
|Environment=R, Большие данные<br />
|Student-created=Да<br />
}}<br />
== Общая информация ==<br />
* '''Авторы:''' Студент группы [[Категория:ИНДОР-211]] - [[Участник:Pokrovskii Alexander|Pokrovskii Alexander]]<br />
* '''Дата исследования:''' 14 апреля 2026<br />
* '''Источник:''' Kaggle Datasets<br />
* '''Платформа:''' Kaggle<br />
* '''Дата публикации:''' 23 апреля 2026 г.<br />
<br />
=== Исходные данные ===<br />
* '''Файл:''' songs_db.csv (6 КB)<br />
* '''Структура:''' 101 строк (избирательных участков), 5 столбцов<br />
* '''Ссылка:''' https://www.kaggle.com/datasets/moonknightmarvel/dataset-of-songs-with-genreartistmovielanguage/data<br />
<uml><br />
@startuml<br />
<br />
title Пайплайн представления музвкальных данных в Digida<br />
skinparam handwritten false<br />
<br />
rectangle "Внешние данные (OWID CSV)" as external #LightBlue<br />
rectangle "R: предварительная загрузка" as r_load #LightGreen <br />
rectangle "OpenRefine: очистка и обогащение" as refine #LightYellow<br />
rectangle "R: визуализация + экспорт" as r_export #LightPink<br />
rectangle "Digida: публикация" as platform #LightCoral<br />
<br />
external --> r_load : read_csv()<br />
r_load --> refine : экспорт songs_db.csv<br />
refine --> refine : Нормализация, расчёт метрик<br />
refine --> r_export : экспорт ongs_db_clean.csv<br />
r_export --> r_export : ggplot2 + patchwork дашборд<br />
r_export --> platform : загрузка страниц + дашборд<br />
<br />
<br />
<br />
@enduml<br />
<br />
</uml><br />
<br />
== Описание исследования ==<br />
Исследование посвящено анализу структурированных музыкальных метаданных на примере датасета песен из индийских фильмов.<br />
<br />
=== Цель ===<br />
Выявить статистически значимые связи между метаданными песен (язык, исполнитель, фильм) и их эмоциональной категорией, а также построить и валидировать модель машинного обучения для прогнозирования эмоции песни на основе доступных признаков с точностью не ниже 75% (F1-macro).<br />
<br />
=== Задачи ===<br />
# Выполнить предобработку: кодирование категориальных признаков (Artist, Movie, Language), балансировку данных (при необходимости), разделение на обучающую/тестовую выборки.<br />
# Выполнить предобработку: кодирование категориальных признаков (Artist, Movie, Language), балансировку данных (при необходимости), разделение на обучающую/тестовую выборки.<br />
# Построить и сравнить несколько моделей классификации (логистическая регрессия, Random Forest, XGBoost) с кросс-валидацией, оценить метрики качества (accuracy, precision, recall, F1-score).<br />
# Визуализировать результаты: матрицу ошибок, важность признаков, распределение предсказаний, а также сформировать интерпретируемые выводы о доминирующих факторах, влияющих на эмоциональную окраску песни.<br />
<br />
=== Гипотеза ===<br />
Эмоциональная категория песни (Emotion) статистически значимо зависит от комбинации языка исполнения и исполнителя: песни на телугу в исполнении артистов «первого эшелона» (например, Sid Sriram, Armaan Malik) с большей вероятностью относятся к категориям Love или Joy, тогда как треки второстепенных исполнителей или из менее популярных фильмов чаще маркируются как Sadness или Anticipation. При этом модель, обученная на признаках Language + Artist + Movie, покажет качество прогнозирования эмоции выше базового уровня (majority class baseline) не менее чем на 20 п.п. по метрике F1-macro.<br />
<br />
<br />
[[Категория:Работы ИНДОР-211]]<br />
[[Категория:BigDataWorks]]</div>
Pocrovskii Alexander
http://digida.mgpu.ru/index.php?title=%D0%9A%D0%BE%D0%BB%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D1%8F_%D0%BF%D0%B5%D1%81%D0%B5%D0%BD_%D0%B8%D0%B7_%D0%B8%D0%BD%D0%B4%D0%B8%D0%B9%D1%81%D0%BA%D0%BE%D0%B3%D0%BE_%D0%BA%D0%B8%D0%BD%D0%B5%D0%BC%D0%B0%D1%82%D0%BE%D0%B3%D1%80%D0%B0%D1%84%D0%B0_DataSet&diff=46198
Коллекция песен из индийского кинематографа DataSet
2026-04-14T09:40:59Z
<p>Pocrovskii Alexander: </p>
<hr />
<div>{{Model<br />
|Description=Коллекция песен из индийского кинематографа<br />
|Field_of_knowledge=Информатика, Образование, Искусственный интеллект, Большие данные, Музыка, Медиа<br />
|Website=https://www.kaggle.com/datasets/moonknightmarvel/dataset-of-songs-with-genreartistmovielanguage/data<br />
|Inventor=Pocrovskii Alexander<br />
|Environment=R, Большие данные<br />
|Student-created=Да<br />
}}<br />
== Общая информация ==<br />
* '''Авторы:''' Студент группы [[Категория:ИНДОР-211]] - [[Участник:Pokrovskii Alexander|Pokrovskii Alexander]]<br />
* '''Дата исследования:''' 14 апреля 2026<br />
* '''Источник:''' Kaggle Datasets<br />
* '''Платформа:''' Kaggle<br />
* '''Дата публикации:''' 23 апреля 2026 г.<br />
<br />
=== Исходные данные ===<br />
* '''Файл:''' songs_db.csv (6 КB)<br />
* '''Структура:''' 101 строк (избирательных участков), 5 столбцов<br />
* '''Ссылка:''' https://www.kaggle.com/datasets/moonknightmarvel/dataset-of-songs-with-genreartistmovielanguage/data<br />
<uml><br />
@startuml<br />
<br />
title Пайплайн представления музвкальных данных в Digida<br />
skinparam handwritten false<br />
<br />
rectangle "Внешние данные (OWID CSV)" as external #LightBlue<br />
rectangle "R: предварительная загрузка" as r_load #LightGreen <br />
rectangle "OpenRefine: очистка и обогащение" as refine #LightYellow<br />
rectangle "R: визуализация + экспорт" as r_export #LightPink<br />
rectangle "Digida: публикация" as platform #LightCoral<br />
<br />
external --> r_load : read_csv()<br />
r_load --> refine : экспорт demo_raw_for_refine.csv<br />
refine --> refine : Нормализация, расчёт метрик<br />
refine --> r_export : экспорт demo_clean_with_wiki.csv<br />
r_export --> r_export : ggplot2 + patchwork дашборд<br />
r_export --> platform : загрузка страниц + дашборд<br />
<br />
<br />
<br />
@enduml<br />
<br />
</uml><br />
<br />
== Описание исследования ==<br />
Исследование посвящено анализу структурированных музыкальных метаданных на примере датасета песен из индийских фильмов.<br />
<br />
=== Цель ===<br />
Выявить статистически значимые связи между метаданными песен (язык, исполнитель, фильм) и их эмоциональной категорией, а также построить и валидировать модель машинного обучения для прогнозирования эмоции песни на основе доступных признаков с точностью не ниже 75% (F1-macro).<br />
<br />
=== Задачи ===<br />
# Выполнить предобработку: кодирование категориальных признаков (Artist, Movie, Language), балансировку данных (при необходимости), разделение на обучающую/тестовую выборки.<br />
# Выполнить предобработку: кодирование категориальных признаков (Artist, Movie, Language), балансировку данных (при необходимости), разделение на обучающую/тестовую выборки.<br />
# Построить и сравнить несколько моделей классификации (логистическая регрессия, Random Forest, XGBoost) с кросс-валидацией, оценить метрики качества (accuracy, precision, recall, F1-score).<br />
# Визуализировать результаты: матрицу ошибок, важность признаков, распределение предсказаний, а также сформировать интерпретируемые выводы о доминирующих факторах, влияющих на эмоциональную окраску песни.<br />
<br />
=== Гипотеза ===<br />
Эмоциональная категория песни (Emotion) статистически значимо зависит от комбинации языка исполнения и исполнителя: песни на телугу в исполнении артистов «первого эшелона» (например, Sid Sriram, Armaan Malik) с большей вероятностью относятся к категориям Love или Joy, тогда как треки второстепенных исполнителей или из менее популярных фильмов чаще маркируются как Sadness или Anticipation. При этом модель, обученная на признаках Language + Artist + Movie, покажет качество прогнозирования эмоции выше базового уровня (majority class baseline) не менее чем на 20 п.п. по метрике F1-macro.<br />
<br />
<br />
[[Категория:Работы ИНДОР-211]]<br />
[[Категория:BigDataWorks]]</div>
Pocrovskii Alexander
http://digida.mgpu.ru/index.php?title=%D0%9A%D0%BE%D0%BB%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D1%8F_%D0%BF%D0%B5%D1%81%D0%B5%D0%BD_%D0%B8%D0%B7_%D0%B8%D0%BD%D0%B4%D0%B8%D0%B9%D1%81%D0%BA%D0%BE%D0%B3%D0%BE_%D0%BA%D0%B8%D0%BD%D0%B5%D0%BC%D0%B0%D1%82%D0%BE%D0%B3%D1%80%D0%B0%D1%84%D0%B0_DataSet&diff=46197
Коллекция песен из индийского кинематографа DataSet
2026-04-14T09:37:05Z
<p>Pocrovskii Alexander: </p>
<hr />
<div>{{Model<br />
|Description=Коллекция песен из индийского кинематографа<br />
|Field_of_knowledge=Информатика, Образование, Искусственный интеллект, Большие данные, Музыка, Медиа<br />
|Website=https://www.kaggle.com/datasets/moonknightmarvel/dataset-of-songs-with-genreartistmovielanguage/data<br />
|Inventor=Pocrovskii Alexander<br />
|Environment=R, Большие данные<br />
|Student-created=Да<br />
}}<br />
== Общая информация ==<br />
* '''Авторы:''' Студент группы [[Категория:ИНДОР-211]] - [[Участник:Pokrovskii Alexander|Pokrovskii Alexander]]<br />
* '''Дата исследования:''' 14 апреля 2026<br />
* '''Источник:''' Kaggle Datasets<br />
* '''Платформа:''' Kaggle<br />
* '''Дата публикации:''' 23 апреля 2026 г.<br />
<br />
=== Исходные данные ===<br />
* '''Файл:''' songs_db.csv (6 КB)<br />
* '''Структура:''' 101 строк (избирательных участков), 5 столбцов<br />
* '''Ссылка:''' https://www.kaggle.com/datasets/moonknightmarvel/dataset-of-songs-with-genreartistmovielanguage/data<br />
<br />
== Описание исследования ==<br />
Исследование посвящено анализу структурированных музыкальных метаданных на примере датасета песен из индийских фильмов.<br />
<br />
=== Цель ===<br />
Выявить статистически значимые связи между метаданными песен (язык, исполнитель, фильм) и их эмоциональной категорией, а также построить и валидировать модель машинного обучения для прогнозирования эмоции песни на основе доступных признаков с точностью не ниже 75% (F1-macro).<br />
<br />
=== Задачи ===<br />
# Выполнить предобработку: кодирование категориальных признаков (Artist, Movie, Language), балансировку данных (при необходимости), разделение на обучающую/тестовую выборки.<br />
# Выполнить предобработку: кодирование категориальных признаков (Artist, Movie, Language), балансировку данных (при необходимости), разделение на обучающую/тестовую выборки.<br />
# Построить и сравнить несколько моделей классификации (логистическая регрессия, Random Forest, XGBoost) с кросс-валидацией, оценить метрики качества (accuracy, precision, recall, F1-score).<br />
# Визуализировать результаты: матрицу ошибок, важность признаков, распределение предсказаний, а также сформировать интерпретируемые выводы о доминирующих факторах, влияющих на эмоциональную окраску песни.<br />
<br />
=== Гипотеза ===<br />
Эмоциональная категория песни (Emotion) статистически значимо зависит от комбинации языка исполнения и исполнителя: песни на телугу в исполнении артистов «первого эшелона» (например, Sid Sriram, Armaan Malik) с большей вероятностью относятся к категориям Love или Joy, тогда как треки второстепенных исполнителей или из менее популярных фильмов чаще маркируются как Sadness или Anticipation. При этом модель, обученная на признаках Language + Artist + Movie, покажет качество прогнозирования эмоции выше базового уровня (majority class baseline) не менее чем на 20 п.п. по метрике F1-macro.<br />
<br />
<br />
[[Категория:Работы ИНДОР-211]]<br />
[[Категория:BigDataWorks]]</div>
Pocrovskii Alexander
http://digida.mgpu.ru/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Pocrovskii_Alexander&diff=46196
Участник:Pocrovskii Alexander
2026-04-14T09:35:58Z
<p>Pocrovskii Alexander: </p>
<hr />
<div>{{UserMGPU<br />
|Description=Студент МГПУ, ИНДОР-211<br />
|Field_of_knowledge=Математика, Физика, Информатика, Робототехника, Педагогика, Образование, Искусственный интеллект, Интернет вещей, Game design, Геометрия, Спорт, Игра, Картография, Моделирование, Музыка, Философия, Медиа<br />
|Environment=Google Docs, Google Forms, Canva, Adobe Photoshop, Adobe Indesign, Adobe Premiere Pro, Blender, Visual Studio Code, Unity, Яндекс.Формы, ChatGPT, Deepseek, QweenChat, Яндекс.Шедеврум, Pinokio<br />
|Position=Бакалавриат<br />
|Profile=Информатика, Робототехника<br />
|PedDirection=Да<br />
|Community=GitHub, ИЦО, МГПУ<br />
|Виды_спорта=Кендо (кендо), Кюдо (кюдо)<br />
|Working_On=Модель посещаемости студентов в учебное заведение в зависимости от негативных факторов, Коллекция песен из индийского кинематографа DataSet<br />
}}<br />
[[Категория:ИНДОР-211]]<br />
[[Категория:UserMGPU]]</div>
Pocrovskii Alexander
http://digida.mgpu.ru/index.php?title=%D0%9D%D0%B0%D0%B1%D0%BE%D1%80_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_%D0%BF%D0%B5%D1%81%D0%B5%D0%BD&diff=46195
Набор данных песен
2026-04-14T09:34:47Z
<p>Pocrovskii Alexander: Pocrovskii Alexander переименовал страницу Набор данных песен в Коллекция песен из индийского кинематографа DataSet: Название с ошибкой</p>
<hr />
<div>#перенаправление [[Коллекция песен из индийского кинематографа DataSet]]</div>
Pocrovskii Alexander
http://digida.mgpu.ru/index.php?title=%D0%9A%D0%BE%D0%BB%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D1%8F_%D0%BF%D0%B5%D1%81%D0%B5%D0%BD_%D0%B8%D0%B7_%D0%B8%D0%BD%D0%B4%D0%B8%D0%B9%D1%81%D0%BA%D0%BE%D0%B3%D0%BE_%D0%BA%D0%B8%D0%BD%D0%B5%D0%BC%D0%B0%D1%82%D0%BE%D0%B3%D1%80%D0%B0%D1%84%D0%B0_DataSet&diff=46194
Коллекция песен из индийского кинематографа DataSet
2026-04-14T09:34:47Z
<p>Pocrovskii Alexander: Pocrovskii Alexander переименовал страницу Набор данных песен в Коллекция песен из индийского кинематографа DataSet: Название с ошибкой</p>
<hr />
<div>{{Model<br />
|Description=Коллекция песен из индийского кинематографа<br />
|Field_of_knowledge=Информатика, Образование, Искусственный интеллект, Большие данные, Музыка, Медиа<br />
|Inventor=Pocrovskii Alexander<br />
|Environment=R, Большие данные<br />
|Student-created=Да<br />
}}<br />
<br />
== Общая информация ==<br />
* '''Авторы:''' Студент группы [[Категория:ИНДОР-211]] - [[Участник:Pokrovskii Alexander|Pokrovskii Alexander]]<br />
* '''Дата исследования:''' 14 апреля 2026<br />
* '''Источник:''' Kaggle Datasets<br />
* '''Платформа:''' Kaggle<br />
* '''Дата публикации:''' 23 апреля 2026 г.<br />
<br />
=== Исходные данные ===<br />
* '''Файл:''' songs_db.csv (6 КB)<br />
* '''Структура:''' 101 строк (избирательных участков), 5 столбцов<br />
* '''Ссылка:''' https://www.kaggle.com/datasets/moonknightmarvel/dataset-of-songs-with-genreartistmovielanguage/data<br />
<br />
== Описание исследования ==<br />
Исследование посвящено анализу структурированных музыкальных метаданных на примере датасета песен из индийских фильмов.<br />
<br />
=== Цель ===<br />
Выявить статистически значимые связи между метаданными песен (язык, исполнитель, фильм) и их эмоциональной категорией, а также построить и валидировать модель машинного обучения для прогнозирования эмоции песни на основе доступных признаков с точностью не ниже 75% (F1-macro).<br />
<br />
=== Задачи ===<br />
# Выполнить предобработку: кодирование категориальных признаков (Artist, Movie, Language), балансировку данных (при необходимости), разделение на обучающую/тестовую выборки.<br />
# Выполнить предобработку: кодирование категориальных признаков (Artist, Movie, Language), балансировку данных (при необходимости), разделение на обучающую/тестовую выборки.<br />
# Построить и сравнить несколько моделей классификации (логистическая регрессия, Random Forest, XGBoost) с кросс-валидацией, оценить метрики качества (accuracy, precision, recall, F1-score).<br />
# Визуализировать результаты: матрицу ошибок, важность признаков, распределение предсказаний, а также сформировать интерпретируемые выводы о доминирующих факторах, влияющих на эмоциональную окраску песни.<br />
<br />
=== Гипотеза ===<br />
Эмоциональная категория песни (Emotion) статистически значимо зависит от комбинации языка исполнения и исполнителя: песни на телугу в исполнении артистов «первого эшелона» (например, Sid Sriram, Armaan Malik) с большей вероятностью относятся к категориям Love или Joy, тогда как треки второстепенных исполнителей или из менее популярных фильмов чаще маркируются как Sadness или Anticipation. При этом модель, обученная на признаках Language + Artist + Movie, покажет качество прогнозирования эмоции выше базового уровня (majority class baseline) не менее чем на 20 п.п. по метрике F1-macro.<br />
<br />
<br />
[[Категория:Работы ИНДОР-211]]<br />
[[Категория:BigDataWorks]]</div>
Pocrovskii Alexander
http://digida.mgpu.ru/index.php?title=%D0%9A%D0%BE%D0%BB%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D1%8F_%D0%BF%D0%B5%D1%81%D0%B5%D0%BD_%D0%B8%D0%B7_%D0%B8%D0%BD%D0%B4%D0%B8%D0%B9%D1%81%D0%BA%D0%BE%D0%B3%D0%BE_%D0%BA%D0%B8%D0%BD%D0%B5%D0%BC%D0%B0%D1%82%D0%BE%D0%B3%D1%80%D0%B0%D1%84%D0%B0_DataSet&diff=46192
Коллекция песен из индийского кинематографа DataSet
2026-04-14T09:19:39Z
<p>Pocrovskii Alexander: </p>
<hr />
<div>{{Model<br />
|Description=Коллекция песен из индийского кинематографа<br />
|Field_of_knowledge=Информатика, Образование, Искусственный интеллект, Большие данные, Музыка, Медиа<br />
|Inventor=Pocrovskii Alexander<br />
|Environment=R, Большие данные<br />
|Student-created=Да<br />
}}<br />
<br />
== Общая информация ==<br />
* '''Авторы:''' Студент группы [[Категория:ИНДОР-211]] - [[Участник:Pokrovskii Alexander|Pokrovskii Alexander]]<br />
* '''Дата исследования:''' 14 апреля 2026<br />
* '''Источник:''' Kaggle Datasets<br />
* '''Платформа:''' Kaggle<br />
* '''Дата публикации:''' 23 апреля 2026 г.<br />
<br />
=== Исходные данные ===<br />
* '''Файл:''' songs_db.csv (6 КB)<br />
* '''Структура:''' 101 строк (избирательных участков), 5 столбцов<br />
* '''Ссылка:''' https://www.kaggle.com/datasets/moonknightmarvel/dataset-of-songs-with-genreartistmovielanguage/data<br />
<br />
== Описание исследования ==<br />
Исследование посвящено анализу структурированных музыкальных метаданных на примере датасета песен из индийских фильмов.<br />
<br />
=== Цель ===<br />
Выявить статистически значимые связи между метаданными песен (язык, исполнитель, фильм) и их эмоциональной категорией, а также построить и валидировать модель машинного обучения для прогнозирования эмоции песни на основе доступных признаков с точностью не ниже 75% (F1-macro).<br />
<br />
=== Задачи ===<br />
# Выполнить предобработку: кодирование категориальных признаков (Artist, Movie, Language), балансировку данных (при необходимости), разделение на обучающую/тестовую выборки.<br />
# Выполнить предобработку: кодирование категориальных признаков (Artist, Movie, Language), балансировку данных (при необходимости), разделение на обучающую/тестовую выборки.<br />
# Построить и сравнить несколько моделей классификации (логистическая регрессия, Random Forest, XGBoost) с кросс-валидацией, оценить метрики качества (accuracy, precision, recall, F1-score).<br />
# Визуализировать результаты: матрицу ошибок, важность признаков, распределение предсказаний, а также сформировать интерпретируемые выводы о доминирующих факторах, влияющих на эмоциональную окраску песни.<br />
<br />
=== Гипотеза ===<br />
Эмоциональная категория песни (Emotion) статистически значимо зависит от комбинации языка исполнения и исполнителя: песни на телугу в исполнении артистов «первого эшелона» (например, Sid Sriram, Armaan Malik) с большей вероятностью относятся к категориям Love или Joy, тогда как треки второстепенных исполнителей или из менее популярных фильмов чаще маркируются как Sadness или Anticipation. При этом модель, обученная на признаках Language + Artist + Movie, покажет качество прогнозирования эмоции выше базового уровня (majority class baseline) не менее чем на 20 п.п. по метрике F1-macro.<br />
<br />
<br />
[[Категория:Работы ИНДОР-211]]<br />
[[Категория:BigDataWorks]]</div>
Pocrovskii Alexander
http://digida.mgpu.ru/index.php?title=%D0%9A%D0%BE%D0%BB%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D1%8F_%D0%BF%D0%B5%D1%81%D0%B5%D0%BD_%D0%B8%D0%B7_%D0%B8%D0%BD%D0%B4%D0%B8%D0%B9%D1%81%D0%BA%D0%BE%D0%B3%D0%BE_%D0%BA%D0%B8%D0%BD%D0%B5%D0%BC%D0%B0%D1%82%D0%BE%D0%B3%D1%80%D0%B0%D1%84%D0%B0_DataSet&diff=46190
Коллекция песен из индийского кинематографа DataSet
2026-04-14T09:06:01Z
<p>Pocrovskii Alexander: </p>
<hr />
<div>{{Model<br />
|Description=Набор данных песен<br />
|Field_of_knowledge=Информатика, Образование, Искусственный интеллект, Большие данные, Музыка, Медиа<br />
|Inventor=Pocrovskii Alexander<br />
|Environment=R, Большие данные<br />
|Student-created=Да<br />
}}<br />
<br />
== Общая информация ==<br />
* '''Авторы:''' Студент группы [[Категория:ИНДОР-211]] - [[Участник:Pokrovskii Alexander|Pokrovskii Alexander]]<br />
* '''Дата исследования:''' 14 апреля 2026<br />
* '''Источник:''' Kaggle Datasets<br />
* '''Платформа:''' Kaggle<br />
* '''Дата публикации:''' 23 апреля 2026 г.<br />
<br />
=== Исходные данные ===<br />
* '''Файл:''' songs_db.csv (6 КB)<br />
* '''Структура:''' 101 строк (избирательных участков), 5 столбцов<br />
* '''Ссылка:''' https://www.kaggle.com/datasets/moonknightmarvel/dataset-of-songs-with-genreartistmovielanguage/data<br />
<br />
<br />
[[Категория:Работы ИНДОР-211]]<br />
[[Категория:BigDataWorks]]</div>
Pocrovskii Alexander
http://digida.mgpu.ru/index.php?title=%D0%9A%D0%BE%D0%BB%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D1%8F_%D0%BF%D0%B5%D1%81%D0%B5%D0%BD_%D0%B8%D0%B7_%D0%B8%D0%BD%D0%B4%D0%B8%D0%B9%D1%81%D0%BA%D0%BE%D0%B3%D0%BE_%D0%BA%D0%B8%D0%BD%D0%B5%D0%BC%D0%B0%D1%82%D0%BE%D0%B3%D1%80%D0%B0%D1%84%D0%B0_DataSet&diff=46189
Коллекция песен из индийского кинематографа DataSet
2026-04-14T09:00:54Z
<p>Pocrovskii Alexander: </p>
<hr />
<div>{{Model<br />
|Description=Набор данных песен<br />
|Field_of_knowledge=Информатика, Образование, Искусственный интеллект, Большие данные, Музыка, Медиа<br />
|Inventor=Pocrovskii Alexander<br />
|Environment=R, Большие данные<br />
|Student-created=Да<br />
}}<br />
<br />
== Общая информация ==<br />
* '''Авторы:''' Студент группы [[Категория:ИНДОР-211]] - [[Участник:Pokrovskii Alexander|Pokrovskii Alexander]]<br />
* '''Дата исследования:''' 14 апреля 2026<br />
* '''Источник:''' Kaggle Datasets<br />
* '''Платформа:''' Kaggle<br />
* '''Дата публикации:''' 23 апреля 2026 г.<br />
<br />
<br />
[[Категория:Работы ИНДОР-211]]<br />
[[Категория:BigDataWorks]]</div>
Pocrovskii Alexander
http://digida.mgpu.ru/index.php?title=%D0%9A%D0%BE%D0%BB%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D1%8F_%D0%BF%D0%B5%D1%81%D0%B5%D0%BD_%D0%B8%D0%B7_%D0%B8%D0%BD%D0%B4%D0%B8%D0%B9%D1%81%D0%BA%D0%BE%D0%B3%D0%BE_%D0%BA%D0%B8%D0%BD%D0%B5%D0%BC%D0%B0%D1%82%D0%BE%D0%B3%D1%80%D0%B0%D1%84%D0%B0_DataSet&diff=46188
Коллекция песен из индийского кинематографа DataSet
2026-04-14T09:00:38Z
<p>Pocrovskii Alexander: </p>
<hr />
<div>{{Model<br />
|Description=Набор данных песен<br />
|Field_of_knowledge=Информатика, Образование, Искусственный интеллект, Большие данные, Музыка, Медиа<br />
|Inventor=Pocrovskii Alexander<br />
|Environment=R, Большие данные<br />
|Student-created=Да<br />
}}<br />
<br />
== Общая информация ==<br />
* '''Авторы:''' Студентки группы [[Категория:ИНДОР-211]] - [[Участник:Pokrovskii Alexander|Pokrovskii Alexander]]<br />
* '''Дата исследования:''' 14 апреля 2026<br />
* '''Источник:''' Kaggle Datasets<br />
* '''Платформа:''' Kaggle<br />
* '''Дата публикации:''' 23 апреля 2026 г.<br />
<br />
<br />
[[Категория:Работы ИНДОР-211]]<br />
[[Категория:BigDataWorks]]</div>
Pocrovskii Alexander
http://digida.mgpu.ru/index.php?title=%D0%9A%D0%BE%D0%BB%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D1%8F_%D0%BF%D0%B5%D1%81%D0%B5%D0%BD_%D0%B8%D0%B7_%D0%B8%D0%BD%D0%B4%D0%B8%D0%B9%D1%81%D0%BA%D0%BE%D0%B3%D0%BE_%D0%BA%D0%B8%D0%BD%D0%B5%D0%BC%D0%B0%D1%82%D0%BE%D0%B3%D1%80%D0%B0%D1%84%D0%B0_DataSet&diff=46187
Коллекция песен из индийского кинематографа DataSet
2026-04-14T08:44:55Z
<p>Pocrovskii Alexander: </p>
<hr />
<div>{{Model<br />
|Description=Набор данных песен<br />
|Field_of_knowledge=Информатика, Образование, Искусственный интеллект, Большие данные, Музыка, Медиа<br />
|Inventor=Pocrovskii Alexander<br />
|Environment=R, Большие данные<br />
|Student-created=Да<br />
}}<br />
[[Категория:Работы ИНДОР-211]]<br />
[[Категория:BigDataWorks]]</div>
Pocrovskii Alexander
http://digida.mgpu.ru/index.php?title=%D0%9A%D0%BE%D0%BB%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D1%8F_%D0%BF%D0%B5%D1%81%D0%B5%D0%BD_%D0%B8%D0%B7_%D0%B8%D0%BD%D0%B4%D0%B8%D0%B9%D1%81%D0%BA%D0%BE%D0%B3%D0%BE_%D0%BA%D0%B8%D0%BD%D0%B5%D0%BC%D0%B0%D1%82%D0%BE%D0%B3%D1%80%D0%B0%D1%84%D0%B0_DataSet&diff=46186
Коллекция песен из индийского кинематографа DataSet
2026-04-14T08:41:55Z
<p>Pocrovskii Alexander: </p>
<hr />
<div>{{Model<br />
|Description=Набор данных песен<br />
|Field_of_knowledge=Информатика, Образование, Искусственный интеллект, Большие данные, Музыка, Медиа<br />
|Inventor=Pocrovskii Alexander<br />
|Environment=R, Большие данные<br />
|Student-created=Да<br />
}}<br />
[[Категория:Работы ИНДОР-211]]</div>
Pocrovskii Alexander
http://digida.mgpu.ru/index.php?title=%D0%9A%D0%BE%D0%BB%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D1%8F_%D0%BF%D0%B5%D1%81%D0%B5%D0%BD_%D0%B8%D0%B7_%D0%B8%D0%BD%D0%B4%D0%B8%D0%B9%D1%81%D0%BA%D0%BE%D0%B3%D0%BE_%D0%BA%D0%B8%D0%BD%D0%B5%D0%BC%D0%B0%D1%82%D0%BE%D0%B3%D1%80%D0%B0%D1%84%D0%B0_DataSet&diff=46185
Коллекция песен из индийского кинематографа DataSet
2026-04-14T08:40:08Z
<p>Pocrovskii Alexander: Новая страница: «{{Model |Description=Набор данных песен |Field_of_knowledge= Информатика, Образование, Музыка |Inventor=Pocrovskii Alexander |Environment=BigData, R |Student-created=Да }} Категория:Работы ИНДОР-211»</p>
<hr />
<div>{{Model<br />
|Description=Набор данных песен<br />
|Field_of_knowledge= Информатика, Образование, Музыка<br />
|Inventor=Pocrovskii Alexander<br />
|Environment=BigData, R<br />
|Student-created=Да<br />
}}<br />
<br />
<br />
[[Категория:Работы ИНДОР-211]]</div>
Pocrovskii Alexander
http://digida.mgpu.ru/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Pocrovskii_Alexander&diff=46184
Участник:Pocrovskii Alexander
2026-04-14T08:31:35Z
<p>Pocrovskii Alexander: </p>
<hr />
<div>{{UserMGPU<br />
|Description=Студент МГПУ, ИНДОР-211<br />
|Field_of_knowledge=Математика, Физика, Информатика, Робототехника, Педагогика, Образование, Искусственный интеллект, Интернет вещей, Game design, Геометрия, Спорт, Игра, Картография, Моделирование, Музыка, Философия, Медиа<br />
|Environment=Google Docs, Google Forms, Canva, Adobe Photoshop, Adobe Indesign, Adobe Premiere Pro, Blender, Visual Studio Code, Unity, Яндекс.Формы, ChatGPT, Deepseek, QweenChat, Яндекс.Шедеврум, Pinokio<br />
|Position=Бакалавриат<br />
|Profile=Информатика, Робототехника<br />
|PedDirection=Да<br />
|Community=GitHub, ИЦО, МГПУ<br />
|Виды_спорта=Кендо (кендо), Кюдо (кюдо)<br />
|Working_On=Модель посещаемости студентов в учебное заведение в зависимости от негативных факторов, Набор данных песен<br />
}}<br />
[[Категория:ИНДОР-211]]<br />
[[Категория:UserMGPU]]</div>
Pocrovskii Alexander
http://digida.mgpu.ru/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Pocrovskii_Alexander&diff=44450
Участник:Pocrovskii Alexander
2026-02-24T15:33:15Z
<p>Pocrovskii Alexander: </p>
<hr />
<div>{{UserMGPU<br />
|Description=Студент МГПУ, ИНДОР-211<br />
|Field_of_knowledge=Математика, Физика, Информатика, Робототехника, Педагогика, Образование, Искусственный интеллект, Интернет вещей, Game design, Геометрия, Спорт, Игра, Картография, Моделирование, Музыка, Философия, Медиа<br />
|Environment=Google Docs, Google Forms, Canva, Adobe Photoshop, Adobe Indesign, Adobe Premiere Pro, Blender, Visual Studio Code, Unity, Яндекс.Формы, ChatGPT, Deepseek, QweenChat, Яндекс.Шедеврум, Pinokio<br />
|Position=Бакалавриат<br />
|Profile=Информатика, Робототехника<br />
|PedDirection=Да<br />
|Community=GitHub, ИЦО, МГПУ<br />
|Виды_спорта=Кендо (кендо), Кюдо (кюдо)<br />
|Working_On=Модель посещаемости студентов в учебное заведение в зависимости от негативных факторов<br />
}}<br />
[[Категория:ИНДОР-211]]<br />
[[Категория:UserMGPU]]</div>
Pocrovskii Alexander
http://digida.mgpu.ru/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Pocrovskii_Alexander&diff=44449
Участник:Pocrovskii Alexander
2026-02-24T15:28:22Z
<p>Pocrovskii Alexander: </p>
<hr />
<div>{{UserMGPU<br />
|Description=Студент МГПУ, ИНДОР-211<br />
|Field_of_knowledge=Математика, Физика, Информатика, Робототехника, Педагогика, Образование, Искусственный интеллект, Интернет вещей, Game design, Геометрия, Спорт, Игра, Картография, Моделирование, Музыка, Философия, Медиа<br />
|Environment=Google Docs, Google Forms, Canva, Adobe Photoshop, Adobe Indesign, Adobe Premiere Pro, Blender, Visual Studio Code, Unity, Яндекс.Формы<br />
|Position=Бакалавриат<br />
|Profile=Информатика, Робототехника<br />
|PedDirection=Да<br />
|Community=GitHub, ИЦО, МГПУ<br />
|Виды_спорта=Кендо (кендо), Кюдо (кюдо)<br />
|Working_On=Модель посещаемости студентов в учебное заведение в зависимости от негативных факторов<br />
}}<br />
[[Категория:ИНДОР-211]]<br />
[[Категория:UserMGPU]]</div>
Pocrovskii Alexander
http://digida.mgpu.ru/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Pocrovskii_Alexander&diff=44448
Участник:Pocrovskii Alexander
2026-02-24T15:26:00Z
<p>Pocrovskii Alexander: </p>
<hr />
<div>{{UserMGPU<br />
|Description=Студент МГПУ, ИНДОР-211<br />
|Field_of_knowledge=Математика, Физика, Информатика, Робототехника, Педагогика, Образование, Искусственный интеллект, Интернет вещей, Game design, Геометрия, Спорт, Игра, Картография, Моделирование, Музыка, Философия, Медиа<br />
|Environment=Google Docs, Google Forms, Canva, Adobe Photoshop, Adobe Indesign, Adobe Premiere Pro, Blender, Visual Studio Code, Unity<br />
|Position=Бакалавриат<br />
|Profile=Информатика, Робототехника<br />
|PedDirection=Да<br />
|Community=GitHub, ИЦО, МГПУ<br />
|Виды_спорта=Кендо (кендо), Кюдо (кюдо)<br />
|Working_On=Модель посещаемости студентов в учебное заведение в зависимости от негативных факторов<br />
}}<br />
[[Категория:ИНДОР-211]]<br />
[[Категория:UserMGPU]]</div>
Pocrovskii Alexander
http://digida.mgpu.ru/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Pocrovskii_Alexander&diff=44447
Участник:Pocrovskii Alexander
2026-02-24T15:25:19Z
<p>Pocrovskii Alexander: </p>
<hr />
<div>{{UserMGPU<br />
|Description=Студент МГПУ, ИНДОР-211<br />
|Field_of_knowledge=Математика, Физика, Информатика, Робототехника, Педагогика, Образование, Искусственный интеллект, Интернет вещей, Game design, Геометрия, Спорт, Игра, Картография, Моделирование, Музыка, Философия, Медиа<br />
|Environment=Google Docs, Google Forms, Canva, Adobe Photoshop, Adobe Indesign, Adobe Premiere Pro, Blender, unity, Visual Studio Code<br />
|Position=Бакалавриат<br />
|Profile=Информатика, Робототехника<br />
|PedDirection=Да<br />
|Community=GitHub, ИЦО, МГПУ<br />
|Виды_спорта=кендо, кюдо<br />
|Working_On=Модель посещаемости студентов в учебное заведение в зависимости от негативных факторов<br />
}}<br />
[[Категория:ИНДОР-211]]<br />
[[Категория:UserMGPU]]</div>
Pocrovskii Alexander
http://digida.mgpu.ru/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Pocrovskii_Alexander&diff=44446
Участник:Pocrovskii Alexander
2026-02-24T15:16:10Z
<p>Pocrovskii Alexander: </p>
<hr />
<div>{{UserMGPU<br />
|Description=Студент МГПУ, ИНДОР-211<br />
|Field_of_knowledge=Математика, Физика, Информатика, Робототехника, Педагогика, Образование, Искусственный интеллект, Интернет вещей, Game design, Геометрия, Спорт, Игра, Картография, Моделирование, Музыка, Философия, Медиа<br />
|Position=Бакалавриат<br />
|Profile=Информатика, Робототехника<br />
|PedDirection=Да<br />
|Working_On=Модель посещаемости студентов в учебное заведение в зависимости от негативных факторов<br />
}}<br />
[[Категория:ИНДОР-211]]<br />
[[Категория:UserMGPU]]</div>
Pocrovskii Alexander
http://digida.mgpu.ru/index.php?title=ARQuest&diff=21308
ARQuest
2024-11-03T15:48:21Z
<p>Pocrovskii Alexander: </p>
<hr />
<div>{{DEG<br />
|Description=Пирату нужно исследовать остров, искать сундук с сокровищами и открыть его, минуя все препятствия на пути.<br />
|Website=https://www.xdprod.com/arquest/?lg=en<br />
|Running_on=iOS, Android<br />
|game_genre=Головоломка<br />
|Ages=7<br />
|Language_Ru_Eng=English<br />
|Affective_tasks=Провести пирата по острову и помочь ему найти сундук с сокровищами за минимальное количество шагов.<br />
|FieldActivity=Computational Thinker<br />
|Competences=Базовые навыки программирования<br />
|Assistance tools=Видео-пояснения<br />
|Developer=Эгейский университет, Сирос, Греция<br />
|Difficult=Нужны физические объекты, необходим мобильный телефон, не все ОС поддерживают.<br />
|distant_collab=Нет<br />
}}<br />
ARQuest разработана для того, чтобы обучать детей в возрасте 9-10 лет навыкам решения задач по программированию в мотивирующей и приятной форме. <br />
<br />
Цель игры – помочь им развить навыки вычислительного мышления через геймифицированную деятельность, где учащиеся сотрудничают в командах, создают задачи и пытаются решить их через последовательность действий. <br />
<br />
ARQuest поддерживает несколько "игровых столов", на которых одновременно могут проводиться независимые игры. В каждой игре участвуют две соревнующиеся команды:<br />
* “дизайнеры”, целью которых является создание проблем для своих оппонентов,<br />
* “решатели”, которые пытаются преодолеть трудности.<br />
<br />
Соответственно, игровой стол располагается в двух противоположных сторонах: сторона дизайнера и сторона решателя, где сотрудничают соответствующие команды. Каждый игрок, независимо от команды, может использовать мобильное устройство для просмотра дополненных цифровых частей игры.<br />
<br />
Сторона дизайнера включает в себя физическую доску и набор игровых жетонов. На доске изображена сетка, представляющая игровой этап, и дизайнеры должны выбрать и разместить на ней ряд игровых жетонов, чтобы создать задачу. Каждый жетон представляет собой игровой элемент, который можно увидеть через мобильное устройство в AR. Существует три различных типа игровых элементов: элементы, которые нужно подбирать, элементы, которые нужно избегать, и препятствия, которые можно преодолеть, используя первый тип элементов. Когда дизайнеры согласуют задачу, они могут отправить ее решателям.<br />
<br />
На стороне решателей находится один жетон задачи и несколько жетонов команд. Игроки могут посмотреть на весь игровой этап и его элементы через свои мобильные устройства, если их камера направлена на жетон задачи. Они могут выбрать соответствующие команды для планирования своего решения и расположить их на столе. Каждая команда видна непосредственно на жетоне, поэтому им не нужно смотреть на них через свои мобильные устройства. Использование команд нацелено на то, чтобы направить героя по следующим уровням, используя правильную последовательность действий. Есть четыре типа действий: перемещение, поворот (влево или вправо), подхват и бросок. Когда участники готовы, они могут отсканировать свои решения, направив камеру телефона на жетоны. Затем все устройства решателей автоматически обновляются последним решением. Кроме того, каждый из решателей может выполнить свое решение, чтобы узнать, успешно оно или нет. Последовательность кода начинает выполняться на цифровом табло, и участники могут видеть развитие своего плана, получая при этом визуальную обратную связь о своих командах. Команды, которые были успешно выполнены, отображаются зеленым цветом, текущая выполняемая команда отображается светящимся белым цветом, а если команда не выполняется, она отображается красным цветом, и выполнение останавливается.</div>
Pocrovskii Alexander
http://digida.mgpu.ru/index.php?title=%D0%91%D0%B0%D0%BA%D0%B0%D0%BB%D0%B0%D0%B2%D1%80%D0%B8%D0%B0%D1%82&diff=21307
Бакалавриат
2024-11-03T15:38:22Z
<p>Pocrovskii Alexander: Новая страница: «{{Понятие |similar_concepts=Бакалавр }} Бакалавриат - это первая ступень высшего образования, которая присуждается после четырех или пяти лет обучения. Основано на глубоком изучении определенной области знаний, формирование теоретических и практических навы...»</p>
<hr />
<div>{{Понятие<br />
|similar_concepts=Бакалавр<br />
}}<br />
Бакалавриат - это первая ступень высшего образования, которая присуждается после четырех или пяти лет обучения. <br />
Основано на глубоком изучении определенной области знаний, формирование теоретических и практических навыков.<br />
По завершению бакалавриата человеку присваивают квалификацию, позволяющую работать в своей специализации.<br />
<br />
Для поступления в бакалавриат требуется сдавать Единый государственный экзамен (ЕГЭ).</div>
Pocrovskii Alexander
http://digida.mgpu.ru/index.php?title=%D0%9C%D0%BE%D0%B4%D0%B5%D0%BB%D1%8C_%D0%BF%D0%BE%D1%81%D0%B5%D1%89%D0%B0%D0%B5%D0%BC%D0%BE%D1%81%D1%82%D0%B8_%D1%81%D1%82%D1%83%D0%B4%D0%B5%D0%BD%D1%82%D0%BE%D0%B2_%D0%B2_%D1%83%D1%87%D0%B5%D0%B1%D0%BD%D0%BE%D0%B5_%D0%B7%D0%B0%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B2_%D0%B7%D0%B0%D0%B2%D0%B8%D1%81%D0%B8%D0%BC%D0%BE%D1%81%D1%82%D0%B8_%D0%BE%D1%82_%D0%BD%D0%B5%D0%B3%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D1%8B%D1%85_%D1%84%D0%B0%D0%BA%D1%82%D0%BE%D1%80%D0%BE%D0%B2&diff=21235
Модель посещаемости студентов в учебное заведение в зависимости от негативных факторов
2024-11-02T11:33:26Z
<p>Pocrovskii Alexander: </p>
<hr />
<div>{{Model<br />
|Description=Модель посещаемости учащихся школы<br />
|Field_of_knowledge=Математика, Информатика, Образование, Геометрия, Моделирование<br />
|Website=https://www.slnova.org/Siverl/projects/927877/<br />
|Inventor=Pocrovskii Alexander<br />
|Environment=StarLogo Nova<br />
|Student-created=Да<br />
}}<br />
[[Категория:ИНДОР-211]]</div>
Pocrovskii Alexander
http://digida.mgpu.ru/index.php?title=%D0%9C%D0%BE%D0%B4%D0%B5%D0%BB%D1%8C_%D0%BF%D0%BE%D1%81%D0%B5%D1%89%D0%B0%D0%B5%D0%BC%D0%BE%D1%81%D1%82%D0%B8_%D1%81%D1%82%D1%83%D0%B4%D0%B5%D0%BD%D1%82%D0%BE%D0%B2_%D0%B2_%D1%83%D1%87%D0%B5%D0%B1%D0%BD%D0%BE%D0%B5_%D0%B7%D0%B0%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B2_%D0%B7%D0%B0%D0%B2%D0%B8%D1%81%D0%B8%D0%BC%D0%BE%D1%81%D1%82%D0%B8_%D0%BE%D1%82_%D0%BD%D0%B5%D0%B3%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D1%8B%D1%85_%D1%84%D0%B0%D0%BA%D1%82%D0%BE%D1%80%D0%BE%D0%B2&diff=21234
Модель посещаемости студентов в учебное заведение в зависимости от негативных факторов
2024-11-02T11:27:56Z
<p>Pocrovskii Alexander: </p>
<hr />
<div>{{Model<br />
|Description=Модель посещаемости учащихся школы<br />
|Field_of_knowledge=Математика, География, Информатика, Образование, Моделирование<br />
|Website=https://www.slnova.org/Siverl/projects/927877/<br />
|Inventor=Pocrovskii Alexander<br />
|Environment=StarLogo Nova<br />
|Student-created=Да<br />
}}<br />
[[Категория:ИНДОР-211]]</div>
Pocrovskii Alexander
http://digida.mgpu.ru/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Pocrovskii_Alexander&diff=21233
Участник:Pocrovskii Alexander
2024-11-02T11:26:35Z
<p>Pocrovskii Alexander: </p>
<hr />
<div>{{UserMGPU<br />
|Description=Студент МГПУ<br />
|Field_of_knowledge=Математика, Физика, Информатика, Робототехника, Педагогика, Образование, Искусственный интеллект, Интернет вещей, Game design, Геометрия, Игра, Картография, Моделирование<br />
|Position=Бакалавриат<br />
|Profile=Информатика, Робототехника<br />
|PedDirection=Да<br />
|Working_On=Модель посещаемости студентов в учебное заведение в зависимости от негативных факторов<br />
}}<br />
[[Категория:ИНДОР-211]]<br />
[[Категория:UserMGPU]]</div>
Pocrovskii Alexander
http://digida.mgpu.ru/index.php?title=%D0%9C%D0%BE%D0%B4%D0%B5%D0%BB%D1%8C_%D0%BF%D0%BE%D1%81%D0%B5%D1%89%D0%B0%D0%B5%D0%BC%D0%BE%D1%81%D1%82%D0%B8_%D1%81%D1%82%D1%83%D0%B4%D0%B5%D0%BD%D1%82%D0%BE%D0%B2_%D0%B2_%D1%83%D1%87%D0%B5%D0%B1%D0%BD%D0%BE%D0%B5_%D0%B7%D0%B0%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B2_%D0%B7%D0%B0%D0%B2%D0%B8%D1%81%D0%B8%D0%BC%D0%BE%D1%81%D1%82%D0%B8_%D0%BE%D1%82_%D0%BD%D0%B5%D0%B3%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D1%8B%D1%85_%D1%84%D0%B0%D0%BA%D1%82%D0%BE%D1%80%D0%BE%D0%B2&diff=21227
Модель посещаемости студентов в учебное заведение в зависимости от негативных факторов
2024-11-02T10:41:13Z
<p>Pocrovskii Alexander: </p>
<hr />
<div>{{Model<br />
|Description=Модель посещаемости учащихся школы<br />
|Field_of_knowledge=Математика, География, Информатика, Образование, Моделирование<br />
|Website=https://www.slnova.org/Siverl/projects/927877/<br />
|Inventor=Pokrovskii Alexander<br />
|Environment=StarLogo Nova<br />
|Student-created=Да<br />
}}<br />
[[Категория:ИНДОР-211]]</div>
Pocrovskii Alexander
http://digida.mgpu.ru/index.php?title=%D0%9C%D0%BE%D0%B4%D0%B5%D0%BB%D1%8C_%D0%BF%D0%BE%D1%81%D0%B5%D1%89%D0%B0%D0%B5%D0%BC%D0%BE%D1%81%D1%82%D0%B8_%D1%81%D1%82%D1%83%D0%B4%D0%B5%D0%BD%D1%82%D0%BE%D0%B2_%D0%B2_%D1%83%D1%87%D0%B5%D0%B1%D0%BD%D0%BE%D0%B5_%D0%B7%D0%B0%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B2_%D0%B7%D0%B0%D0%B2%D0%B8%D1%81%D0%B8%D0%BC%D0%BE%D1%81%D1%82%D0%B8_%D0%BE%D1%82_%D0%BD%D0%B5%D0%B3%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D1%8B%D1%85_%D1%84%D0%B0%D0%BA%D1%82%D0%BE%D1%80%D0%BE%D0%B2&diff=21225
Модель посещаемости студентов в учебное заведение в зависимости от негативных факторов
2024-11-02T10:27:00Z
<p>Pocrovskii Alexander: </p>
<hr />
<div>{{Model<br />
|Description=Модель посещаемости учащихся школы<br />
|Field_of_knowledge=Математика, География, Информатика, Образование, Моделирование<br />
|Website=https://www.slnova.org/Siverl/projects/927877/<br />
|Inventor=Pokrovskii Alexander<br />
|Environment=StarLogo Nova<br />
|Student-created=Да<br />
}}</div>
Pocrovskii Alexander
http://digida.mgpu.ru/index.php?title=%D0%9C%D0%BE%D0%B4%D0%B5%D0%BB%D1%8C_%D0%BF%D0%BE%D1%81%D0%B5%D1%89%D0%B0%D0%B5%D0%BC%D0%BE%D1%81%D1%82%D0%B8_%D1%81%D1%82%D1%83%D0%B4%D0%B5%D0%BD%D1%82%D0%BE%D0%B2_%D0%B2_%D1%83%D1%87%D0%B5%D0%B1%D0%BD%D0%BE%D0%B5_%D0%B7%D0%B0%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B2_%D0%B7%D0%B0%D0%B2%D0%B8%D1%81%D0%B8%D0%BC%D0%BE%D1%81%D1%82%D0%B8_%D0%BE%D1%82_%D0%BD%D0%B5%D0%B3%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D1%8B%D1%85_%D1%84%D0%B0%D0%BA%D1%82%D0%BE%D1%80%D0%BE%D0%B2&diff=21224
Модель посещаемости студентов в учебное заведение в зависимости от негативных факторов
2024-11-02T10:25:22Z
<p>Pocrovskii Alexander: Новая страница: «{{Model |Field_of_knowledge=Математика, География, Информатика, Образование, Моделирование |Website=https://www.slnova.org/Siverl/projects/927877/ |Inventor=Pokrovskii Alexander |Environment=StarLogo Nova |Student-created=Да }}»</p>
<hr />
<div>{{Model<br />
|Field_of_knowledge=Математика, География, Информатика, Образование, Моделирование<br />
|Website=https://www.slnova.org/Siverl/projects/927877/<br />
|Inventor=Pokrovskii Alexander<br />
|Environment=StarLogo Nova<br />
|Student-created=Да<br />
}}</div>
Pocrovskii Alexander
http://digida.mgpu.ru/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Pocrovskii_Alexander&diff=21220
Участник:Pocrovskii Alexander
2024-11-02T10:00:29Z
<p>Pocrovskii Alexander: </p>
<hr />
<div>{{UserMGPU<br />
|Description=Студент МГПУ<br />
|Field_of_knowledge=Математика, Физика, География, Информатика, Робототехника, Педагогика, Искусственный интеллект, Интернет вещей, Game design, Игра, Моделирование<br />
|Position=Бакалавриат<br />
|PedDirection=Да<br />
|Working_On=Модель посещаемости студентов в учебное заведение в зависимости от негативных факторов<br />
}}<br />
[[Категория:ИНДОР-211]]<br />
[[Категория:UserMGPU]]</div>
Pocrovskii Alexander
http://digida.mgpu.ru/index.php?title=%D0%9E%D0%B1%D1%81%D1%83%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D1%83%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA%D0%B0:Pocrovskii_Alexander&diff=20925
Обсуждение участника:Pocrovskii Alexander
2024-10-19T10:37:21Z
<p>Pocrovskii Alexander: </p>
<hr />
<div>Мои работы<br />
Свойства ODD модели: https://disk.yandex.ru/i/etRzDP03wMOm4Q</div>
Pocrovskii Alexander
http://digida.mgpu.ru/index.php?title=%D0%9E%D0%B1%D1%81%D1%83%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D1%83%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA%D0%B0:Pocrovskii_Alexander&diff=20920
Обсуждение участника:Pocrovskii Alexander
2024-10-19T10:28:58Z
<p>Pocrovskii Alexander: Новая страница: «Мои работы»</p>
<hr />
<div>Мои работы</div>
Pocrovskii Alexander
http://digida.mgpu.ru/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Pocrovskii_Alexander&diff=20252
Участник:Pocrovskii Alexander
2024-10-03T12:39:24Z
<p>Pocrovskii Alexander: </p>
<hr />
<div>{{UserMGPU<br />
|Description=Студент МГПУ<br />
|Field_of_knowledge=Информатика, Робототехника, Педагогика, Интернет вещей, Game design<br />
}}<br />
[[Категория:ИНДОР-211]]<br />
[[Категория:UserMGPU]]</div>
Pocrovskii Alexander
http://digida.mgpu.ru/index.php?title=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:Pocrovskii_Alexander&diff=19198
Участник:Pocrovskii Alexander
2024-09-07T10:03:33Z
<p>Pocrovskii Alexander: Новая страница: «Категория:ИНДОР-211 Категория:UserMGPU»</p>
<hr />
<div>[[Категория:ИНДОР-211]]<br />
[[Категория:UserMGPU]]</div>
Pocrovskii Alexander