R-скрипт анализ датасета Ключникова Дарья

Описание датасета

Для анализа был взят датасет Computational thinking (ACM), который содержит записи из библиотеки ACM по запросу Computational Thinking. Он содержит информацию о статьях и книгах, найденных по запросу: имя автора(-ов), название, абстракт и др.

Ссылка на датасет: Computational thinking (ACM)

Код R-скрипта (просмотр всех текстовых полей)

library(tidyverse)

data <- read_csv("http://www.uic.unn.ru/pustyn/data-sets/digida/ACM_think.csv")

glimpse(data)

# Чтение всех текстовых колонок 
all_text <- data %>%
  select(where(is.character)) %>% 
  unite("all_text", everything(), sep = " ", na.rm = TRUE) %>%
  pull(all_text)

# Разбивка на слова
words <- str_split(all_text, " ") %>%
  unlist() %>%
  str_replace_all("[^A-Za-z]", "") %>%
  tolower() %>%
  .[. != ""]

# Общее количество слов в корпусе
total_words <- length(words)
print(paste("Всего слов во всём корпусе:", total_words))

# 10 самых частых слов
top10_words <- as.data.frame(sort(table(words), decreasing = TRUE)[1:10])
colnames(top10_words) <- c("Слово", "Частота")
print(top10_words)

Вывод работы программы в RStudio (для всех текстовых полей)

Код R-скрипта (просмотр только заголовков)

library(tidyverse)

data <- read_csv("http://www.uic.unn.ru/pustyn/data-sets/digida/ACM_think.csv")

glimpse(data)

# Берём заголовки статей для анализа
titles <- data$Title

# Разбиваем заголовки на отдельные слова
words <- str_split(titles, " ") %>%
  unlist() %>%
  str_replace_all("[^A-Za-z]", "") %>% 
  tolower() %>% 
  .[. != ""]                           

# Общее количество слов
total_words <- length(words)
print(paste("Всего слов в заголовках статей:", total_words))

# 10 самых частых слов
top10_words <- as.data.frame(sort(table(words), decreasing = TRUE)[1:10])
colnames(top10_words) <- c("Слово", "Частота")
rownames(top10_words) <- NULL

print("10 самых частых слов в заголовках:")
print(top10_words)

Вывод работы программы в RStudio (только заголовки)

Анализ результатов

Показатель	Весь корпус	Только заголовки
Всего слов	300 960	16 795
10 самых частых слов	the (13 018) of (10 045) and (9 848) in (7 150) to (7 146) a (5 861) for (4 666) computing (3 061) on (3 043) science (2 726)	in (608) and (566) of (548) a (533) the (482) for (433) computational (346) to (328) thinking (314) science (293)

Как видно из таблицы, при анализе всего корпуса доминируют служебные слова английского языка (the, of, and), что характерно для больших текстовых массивов. При анализе только заголовков статей общее количество слов значительно меньше, а в топ-10 появляются содержательные термины computational, thinking и science, что отражает тематику датасета – вычислительное мышление и компьютерные науки.