R-скрипт анализ датасета Ключникова Дарья

Описание датасета

Для анализа был взят датасет Computational thinking (ACM), который содержит записи из библиотеки ACM по запросу Computational Thinking. Он содержит информацию о статьях и книгах, найденных по запросу: имя автора(-ов), название, абстракт и др.

Ссылка на датасет: Computational thinking (ACM)

Код R-скрипта (просмотр всех текстовых полей)

library(tidyverse)

data <- read_csv("http://www.uic.unn.ru/pustyn/data-sets/digida/ACM_think.csv")

glimpse(data)

# Чтение всех текстовых колонок 
all_text <- data %>%
  select(where(is.character)) %>% 
  unite("all_text", everything(), sep = " ", na.rm = TRUE) %>%
  pull(all_text)

# Разбивка на слова
words <- str_split(all_text, " ") %>%
  unlist() %>%
  str_replace_all("[^A-Za-z]", "") %>%
  tolower() %>%
  .[. != ""]

# Общее количество слов в корпусе
total_words <- length(words)
print(paste("Всего слов во всём корпусе:", total_words))

# 10 самых частых слов
top10_words <- as.data.frame(sort(table(words), decreasing = TRUE)[1:10])
colnames(top10_words) <- c("Слово", "Частота")
print(top10_words)

Вывод работы программы в RStudio (для всех текстовых полей)

Код R-скрипта (просмотр только заголовков)

library(tidyverse)

data <- read_csv("http://www.uic.unn.ru/pustyn/data-sets/digida/ACM_think.csv")

glimpse(data)

# Берём заголовки статей для анализа
titles <- data$Title

# Разбиваем заголовки на отдельные слова
words <- str_split(titles, " ") %>%
  unlist() %>%
  str_replace_all("[^A-Za-z]", "") %>% 
  tolower() %>% 
  .[. != ""]                           

# Общее количество слов
total_words <- length(words)
print(paste("Всего слов в заголовках статей:", total_words))

# 10 самых частых слов
top10_words <- as.data.frame(sort(table(words), decreasing = TRUE)[1:10])
colnames(top10_words) <- c("Слово", "Частота")
rownames(top10_words) <- NULL

print("10 самых частых слов в заголовках:")
print(top10_words)

Вывод работы программы в RStudio (только заголовки)

Анализ результатов

Показатель	Весь корпус	Только заголовки
Всего слов	300 960	16 795
10 самых частых слов	the 13 018 of 10 045 and 9 848 in 7 150 to 7 146 a 5 861 for 4 666 computing 3 061 on 3 043 science 2 726	in 608 and 566 of 548 a 533 the 482 for 433 computational 346 to 328 thinking 314 science 293

Как видно из таблицы, при анализе всего корпуса доминируют служебные слова английского языка (the, of, and), что характерно для больших текстовых массивов. При анализе только заголовков статей общее количество слов значительно меньше, а в топ-10 появляются содержательные термины computational, thinking и science, что отражает тематику датасета – вычислительное мышление и компьютерные науки.