Арина Климова в 06:31, 16 июня 2026

2026-06-16T06:31:36Z

← Предыдущая версия		Версия от 09:31, 16 июня 2026
Строка 1:		Строка 1:
	== Использование R в описательной статистике ==		== Использование R в описательной статистике ==
	Проанализируем очищенный от служебного текста текст статьи из Википедии, посвящённой ~~интернету вещей~~. https://ru.wikipedia.org/wiki/~~Интернет_вещей~~		Проанализируем очищенный от служебного текста текст статьи из Википедии, посвящённой аниме. https://ru.wikipedia.org/wiki/Аниме

	== Код программы ==		== Код программы ==

Арина Климова в 09:07, 15 июня 2026

2026-06-15T09:07:09Z

← Предыдущая версия		Версия от 12:07, 15 июня 2026
Строка 303:		Строка 303:

	# '''Длина предложений''' (средняя 17 слов, максимум 56) типична для русскоязычного научно-публицистического текста. Наличие как коротких, так и длинных предложений делает текст динамичным, но местами сложным для восприятия.		# '''Длина предложений''' (средняя 17 слов, максимум 56) типична для русскоязычного научно-публицистического текста. Наличие как коротких, так и длинных предложений делает текст динамичным, но местами сложным для восприятия.

			[[Категория:CompLing Works]]

Арина Климова в 09:02, 15 июня 2026

2026-06-15T09:02:07Z

← Предыдущая версия		Версия от 12:02, 15 июня 2026
Строка 97:		Строка 97:

	== Вывод программы ==		== Вывод программы ==
			[[Файл:Гистограмма длины предложений в статье Аниме.png\|мини]]
	Загрузка данных из файла...		Загрузка данных из файла...
	✅ Статья загружена		✅ Статья загружена
Строка 187:		Строка 188:

	'''Вывод:''' TTR = 62,07% — очень высокий показатель лексического разнообразия. Для текста объёмом почти 4 000 слов это означает, что статья написана богатым языком с активным использованием разнообразной терминологии, что характерно для энциклопедических статей.		'''Вывод:''' TTR = 62,07% — очень высокий показатель лексического разнообразия. Для текста объёмом почти 4 000 слов это означает, что статья написана богатым языком с активным использованием разнообразной терминологии, что характерно для энциклопедических статей.

	~~=== Наиболее характерные слова ===~~

	==== Топ-10 самых частотных слов ====		==== Топ-10 самых частотных слов ====

Арина Климова: Новая страница: «== Использование R в описательной статистике == Проанализируем очищенный от служебного текста текст статьи из Википедии, посвящённой интернету вещей. https://ru.wikipedia.org/wiki/Интернет_вещей == Код программы == library(tidyverse) library(tidytext) library(ggplot2) cat("За...»

2026-06-15T08:56:51Z

Новая страница: «== Использование R в описательной статистике == Проанализируем очищенный от служебного текста текст статьи из Википедии, посвящённой интернету вещей. https://ru.wikipedia.org/wiki/Интернет_вещей == Код программы == <syntaxhighlight lang="R" line> library(tidyverse) library(tidytext) library(ggplot2) cat("За...»

Новая страница

== Использование R в описательной статистике ==
Проанализируем очищенный от служебного текста текст статьи из Википедии, посвящённой интернету вещей. https://ru.wikipedia.org/wiki/Интернет_вещей

== Код программы ==
<syntaxhighlight lang="R" line>
library(tidyverse)
library(tidytext)
library(ggplot2)

cat("Загрузка данных из файла...\n")
text <- readLines("Аниме.txt", encoding = "UTF-8") %>%
paste(collapse = "\n")

if (!grepl("[.!?]$", text)) {
text <- paste0(text, ".")
}

cat("✅ Статья загружена\n")
cat("Размер текста:", nchar(text), "символов\n")
cat("Количество строк:", str_count(text, "\n") + 1, "\n\n")

tokens_df <- data.frame(text = text) %>%
unnest_tokens(word, text) %>%
# Убираем стоп-слова
anti_join(data.frame(word = stopwords::stopwords("ru")), by = "word") %>%
# Убираем числа и слишком короткие слова (1-2 символа)
filter(!str_detect(word, "^[0-9]+$"), str_length(word) > 2)

cat("=== 1. ОБЩАЯ СТАТИСТИКА ===\n")
total_tokens <- nrow(tokens_df)
unique_tokens <- n_distinct(tokens_df$word)
ttr <- unique_tokens / total_tokens * 100

cat("Всего слов (токенов):", total_tokens, "\n")
cat("Уникальных слов:", unique_tokens, "\n")
cat(sprintf("Type-Token Ratio (TTR): %.2f%%\n\n", ttr))

word_freq <- tokens_df %>%
count(word, sort = TRUE) %>%
mutate(percentage = n / sum(n) * 100)

cat("=== 2. ТОП-30 САМЫХ ЧАСТОТНЫХ СЛОВ ===\n")
print(word_freq %>% head(30))

p1 <- ggplot(word_freq %>% head(20), aes(x = reorder(word, n), y = n)) +
geom_bar(stat = "identity", fill = "steelblue") +
coord_flip() +
labs(title = "Топ-20 самых частотных слов в статье «Аниме»",
x = "Слово", y = "Частота") +
theme_minimal()
print(p1)

bigrams_df <- data.frame(text = text) %>%
unnest_tokens(bigram, text, token = "ngrams", n = 2) %>%
separate(bigram, c("word1", "word2"), sep = " ") %>%
filter(!word1 %in% stopwords::stopwords("ru"),
!word2 %in% stopwords::stopwords("ru"),
str_length(word1) > 2, str_length(word2) > 2) %>%
count(word1, word2, sort = TRUE)

cat("\n=== 3. ТОП-20 БИГРАММ ===\n")
print(bigrams_df %>% head(20))

sentences_df <- data.frame(text = text) %>%
mutate(sentences = str_split(text, "[.!?;]+")) %>%
unnest(sentences) %>%
mutate(
sentence = trimws(sentences),
word_count = str_count(sentence, "\\S+")
) %>%
filter(word_count > 0)

cat("\n=== 4. СТАТИСТИКА ДЛИНЫ ПРЕДЛОЖЕНИЙ ===\n")
cat(sprintf("Средняя длина предложения: %.2f слов\n", mean(sentences_df$word_count)))
cat(sprintf("Медианная длина предложения: %.0f слов\n", median(sentences_df$word_count)))
cat(sprintf("Минимальная длина: %d слов\n", min(sentences_df$word_count)))
cat(sprintf("Максимальная длина: %d слов\n", max(sentences_df$word_count)))
cat(sprintf("Стандартное отклонение: %.2f\n", sd(sentences_df$word_count)))

p2 <- ggplot(sentences_df, aes(x = 1, y = word_count)) +
geom_boxplot(fill = "lightblue") +
labs(title = "Распределение длины предложений в статье «Аниме»",
x = "", y = "Количество слов в предложении") +
theme_minimal() +
theme(axis.text.x = element_blank())
print(p2)

p3 <- ggplot(sentences_df, aes(x = word_count)) +
geom_histogram(binwidth = 5, fill = "steelblue", color = "white") +
labs(title = "Гистограмма длины предложений",
x = "Длина предложения (слова)", y = "Частота") +
theme_minimal()
print(p3)

cat("\n=== АНАЛИЗ ЗАВЕРШЕН! ===\n")
</syntaxhighlight>

== Вывод программы ==
Загрузка данных из файла...
✅ Статья загружена
Размер текста: 40503 символов
Количество строк: 1

=== 1. ОБЩАЯ СТАТИСТИКА ===
Всего слов (токенов): 3955
Уникальных слов: 2455
Type-Token Ratio (TTR): 62.07%

=== 2. ТОП-30 САМЫХ ЧАСТОТНЫХ СЛОВ ===

1 аниме 149 3.7673831
2 обычно 34 0.8596713
3 персонажей 23 0.5815424
4 также 19 0.4804046
5 сериала 18 0.4551201
6 серий 16 0.4045512
7 например 15 0.3792668
8 произведения 15 0.3792668
9 серии 15 0.3792668
10 японии 15 0.3792668
11 ova 14 0.3539823
12 анимации 14 0.3539823
13 году 14 0.3539823
14 аудитории 13 0.3286979
15 сериалов 12 0.3034134
16 часто 12 0.3034134
17 волосы 11 0.2781290
18 могут 11 0.2781290
19 сериал 11 0.2781290
20 часть 11 0.2781290
21 являются 11 0.2781290
22 англ 10 0.2528445
23 используется 10 0.2528445
24 манги 10 0.2528445
25 сериалы 10 0.2528445
26 глаза 9 0.2275601
27 зрителя 9 0.2275601
28 слово 9 0.2275601
29 сюжета 9 0.2275601
30 японской 9 0.2275601

=== 3. ТОП-20 БИГРАММ ===
1 представляет собой 5
2 аниме обычно 4
3 аниме сериалов 4
4 главных героев 4
5 других стран 4
6 слово аниме 4
7 целевой аудитории 4
8 часть аниме 4
9 японской анимации 4
10 animation анимация 3
11 nбольшая часть 3
12 shounen adventure 3
13 the shell 3
14 аниме сериалы 3
15 аниме стал 3
16 имеют глаза 3
17 одной серии 3
18 сейлор мун 3
19 японском языке 3
20 1996 году 2

=== 4. СТАТИСТИКА ДЛИНЫ ПРЕДЛОЖЕНИЙ ===
Средняя длина предложения: 16.63 слов<br>
Медианная длина предложения: 15 слов<br>
Минимальная длина: 1 слов<br>
Максимальная длина: 56 слов<br>
Стандартное отклонение: 9.31

== Анализ текста статьи ==

=== Общая статистика ===

{| class="wikitable"
|-
! Показатель !! Значение
|-
| Объём текста || 40 503 символа
|-
| Всего слов (токенов) || 3 955
|-
| Уникальных слов || 2 455
|-
| '''Type-Token Ratio (TTR)''' || '''62.07%'''
|}

'''Вывод:''' TTR = 62,07% — очень высокий показатель лексического разнообразия. Для текста объёмом почти 4 000 слов это означает, что статья написана богатым языком с активным использованием разнообразной терминологии, что характерно для энциклопедических статей.

=== Наиболее характерные слова ===

==== Топ-10 самых частотных слов ====

{| class="wikitable"
|-
! Ранг !! Слово !! Частота !! Доля
|-
| 1 || '''аниме''' || 149 || 3,77%
|-
| 2 || обычно || 34 || 0,86%
|-
| 3 || персонажей || 23 || 0,58%
|-
| 4 || также || 19 || 0,48%
|-
| 5 || сериала || 18 || 0,46%
|-
| 6 || серий || 16 || 0,40%
|-
| 7 || например || 15 || 0,38%
|-
| 8 || произведения || 15 || 0,38%
|-
| 9 || серии || 15 || 0,38%
|-
| 10 || японии || 15 || 0,38%
|}

==== Группы характерных слов по темам ====

'''Форматы и структура:'''
* сериала (18), серий (16), серии (15), сериалов (12), сериал (11), сериалы (10)
* OVA (14)
* фильм

'''Персонажи и визуальный стиль:'''
* персонажей (23), персонажи
* волосы (11), глаза (9)
* рисунок

'''Аудитория и восприятие:'''
* аудитории (13), зрителя (9)

'''Временные маркеры:'''
* году (14) — указание на исторические даты

'''Язык и терминология:'''
* англ (10) — англоязычные термины
* слово (9) — лингвистический комментарий

=== Наиболее устойчивые биграммы ===

{| class="wikitable"
|-
! Биграмма !! Частота !! Интерпретация
|-
| представляет собой || 5 || Ввод определений
|-
| аниме обычно || 4 || Обобщающие утверждения
|-
| аниме сериалов || 4 || Указание на формат
|-
| главных героев || 4 || Описание персонажей
|-
| других стран || 4 || Сравнительный контекст
|-
| слово аниме || 4 || Этимологический комментарий
|-
| целевой аудитории || 4 || Маркетинговая/социологическая рамка
|-
| японской анимации || 4 || Уточнение происхождения
|-
| shounen adventure || 3 || Жанровая терминология
|-
| сейлор мун || 3 || Конкретный пример
|}

=== Статистика длины предложений ===

{| class="wikitable"
|-
! Показатель !! Значение !! Интерпретация
|-
| Средняя длина || 16,63 слов || Оптимальная для научно-публицистического текста
|-
| Медианная длина || 15 слов || Половина предложений короче 15 слов
|-
| Минимальная длина || 1 слово || Короткие вставки, восклицания, подписи
|-
| Максимальная длина || 56 слов || Сложные предложения с перечислениями
|-
| Стандартное отклонение || 9,31 || Большой разброс — от очень коротких до длинных
|}

=== Итоговые выводы ===

# '''Тематическое ядро''' статьи составляют слова: ''аниме'', ''сериал'', ''персонажи'', ''Япония'', ''анимация''. Это полностью соответствует теме.

# '''Высокий TTR (62%)''' свидетельствует о:
#* профессиональном, литературном стиле изложения;
#* отсутствии навязчивых повторений;
#* широком охвате темы (история, эстетика, форматы, распространение).

# '''Частотность слов''' ''обычно'', ''например'', ''также'' указывает на:
#* обобщающий, энциклопедический характер;
#* богатую иллюстративную базу (примеры);
#* логически связное изложение.

# '''Биграммы''' показывают, что статья:
#* даёт определения («представляет собой»);
#* сравнивает с другими странами;
#* использует профессиональную жанровую терминологию («shounen adventure»);
#* приводит конкретные примеры («сейлор мун»).

# '''Длина предложений''' (средняя 17 слов, максимум 56) типична для русскоязычного научно-публицистического текста. Наличие как коротких, так и длинных предложений делает текст динамичным, но местами сложным для восприятия.

Описательная статистика R Климова - История изменений

Арина Климова в 06:31, 16 июня 2026

Арина Климова в 09:07, 15 июня 2026

Арина Климова в 09:02, 15 июня 2026