Как провести лингвистический анализ текста - История изменений

Patarakin: /* Лексическое разнообразие Type-Token Ratio - TTR */

2025-12-15T11:16:14Z

Лексическое разнообразие Type-Token Ratio - TTR

← Предыдущая версия		Версия от 14:16, 15 декабря 2025
Строка 8:		Строка 8:
	\|Environment=R		\|Environment=R
	}}		}}
	== Лексическое разнообразие Type-Token Ratio - TTR ==		== Лексическое разнообразие [[Type-Token Ratio]] - [[TTR]] ==
	; Отношение количества уникальных слов (типов) к общему числу слов (токенов). Высокий TTR указывает на разнообразие лексики, низкий — на повторяемость.		; Отношение количества уникальных слов (типов) к общему числу слов (токенов). Высокий [[TTR]] указывает на разнообразие лексики, низкий — на повторяемость.

	<syntaxhighlight lang="r">		<syntaxhighlight lang="r">

Patarakin в 14:36, 10 декабря 2025

2025-12-10T14:36:25Z

@@ Строка 4: / Строка 4: @@
 # Частотность слов и облака слов
 # TF-IDF: выявление ключевых терминов. TF-IDF показывает, насколько слово важно для конкретного текста/категории по сравнению со всем корпусом
 |Field_of_knowledge=Лингвистика, Литература, Статистика
 |Environment=R
@@ Строка 152: / Строка 153: @@
    theme_minimal()
 </syntaxhighlight>

Patarakin в 14:27, 10 декабря 2025

2025-12-10T14:27:44Z

@@ Строка 113: / Строка 113: @@
 </syntaxhighlight>
 == TF-IDF ==
 {{#ask: [[TF-IDF]] | ?Description }}
@@ Строка 146: / Строка 152: @@
    theme_minimal()
 </syntaxhighlight>

Patarakin: /* TF-IDF */

2025-12-10T14:26:52Z

TF-IDF

← Предыдущая версия		Версия от 17:26, 10 декабря 2025
Строка 115:		Строка 115:
	== TF-IDF ==		== TF-IDF ==

	{{#ask: [[TF-IDF]] \| ?~~Desctiption~~ }}		{{#ask: [[TF-IDF]] \| ?Description }}
	[[TF-IDF]] показывает, насколько слово важно для конкретного текста/категории по сравнению со всем корпусом.		[[TF-IDF]] показывает, насколько слово важно для конкретного текста/категории по сравнению со всем корпусом.

Patarakin: /* Частотность слов и облака слов */

2025-12-10T14:26:30Z

Частотность слов и облака слов

@@ Строка 112: / Строка 112: @@
 wordcloud2(historians_word_freq, size = 1.5)
 </syntaxhighlight>
 ; [[Voyant Tools]]:
 * Используйте инструмент '''Cirrus''' для просмотра облака слов
 * Отрегулируйте список стоп-слов для выявления наиболее информативных терминов

Patarakin в 14:23, 10 декабря 2025

2025-12-10T14:23:03Z

← Предыдущая версия		Версия от 17:23, 10 декабря 2025
Строка 3:		Строка 3:
	# Лексическое разнообразие (Type-Token Ratio). Отношение количества уникальных слов (типов) к общему числу слов (токенов). Высокий TTR указывает на разнообразие лексики, низкий — на повторяемость.		# Лексическое разнообразие (Type-Token Ratio). Отношение количества уникальных слов (типов) к общему числу слов (токенов). Высокий TTR указывает на разнообразие лексики, низкий — на повторяемость.
	# Частотность слов и облака слов		# Частотность слов и облака слов
	#		# TF-IDF: выявление ключевых терминов. TF-IDF показывает, насколько слово важно для конкретного текста/категории по сравнению со всем корпусом
	\|Field_of_knowledge=Лингвистика, Литература, Статистика		\|Field_of_knowledge=Лингвистика, Литература, Статистика
	\|Environment=R		\|Environment=R

Patarakin: /* Частотность слов и облака слов */

2025-12-10T14:20:08Z

Частотность слов и облака слов

← Предыдущая версия		Версия от 17:20, 10 декабря 2025
Строка 112:		Строка 112:
	wordcloud2(historians_word_freq, size = 1.5)		wordcloud2(historians_word_freq, size = 1.5)
	</syntaxhighlight>		</syntaxhighlight>

			; [[Voyant Tools]]:
			* Используйте инструмент '''Cirrus''' для просмотра облака слов
			* Отрегулируйте список стоп-слов для выявления наиболее информативных терминов

Patarakin в 14:18, 10 декабря 2025

2025-12-10T14:18:50Z

@@ Строка 2: / Строка 2: @@
 |Description=Нам нужно провести сравнительный анализ текстов по лингвистическим характеристика:
 # Лексическое разнообразие (Type-Token Ratio). Отношение количества уникальных слов (типов) к общему числу слов (токенов). Высокий TTR указывает на разнообразие лексики, низкий — на повторяемость.
 |Field_of_knowledge=Лингвистика, Литература, Статистика
 |Environment=R
@@ Строка 76: / Строка 78: @@
 * Значительное различие указывает на разные стратегии письма

Patarakin: /* TTR */

2025-12-10T14:15:50Z

TTR

← Предыдущая версия		Версия от 17:15, 10 декабря 2025
Строка 5:		Строка 5:
	\|Environment=R		\|Environment=R
	}}		}}
	== TTR ==		== Лексическое разнообразие Type-Token Ratio - TTR ==
			; Отношение количества уникальных слов (типов) к общему числу слов (токенов). Высокий TTR указывает на разнообразие лексики, низкий — на повторяемость.

	<syntaxhighlight lang="r">		<syntaxhighlight lang="r">

Patarakin: Новая страница: «{{Scripting Tutorials |Description=Нам нужно провести сравнительный анализ текстов по лингвистическим характеристика: # Лексическое разнообразие (Type-Token Ratio). Отношение количества уникальных слов (типов) к общему числу слов (токенов). Высокий TTR указывает на разнообра...»

2025-12-10T14:13:11Z

Новая страница: «{{Scripting Tutorials |Description=Нам нужно провести сравнительный анализ текстов по лингвистическим характеристика: # Лексическое разнообразие (Type-Token Ratio). Отношение количества уникальных слов (типов) к общему числу слов (токенов). Высокий TTR указывает на разнообра...»

Новая страница

{{Scripting Tutorials
|Description=Нам нужно провести сравнительный анализ текстов по лингвистическим характеристика:
# Лексическое разнообразие (Type-Token Ratio). Отношение количества уникальных слов (типов) к общему числу слов (токенов). Высокий TTR указывает на разнообразие лексики, низкий — на повторяемость.
|Field_of_knowledge=Лингвистика, Литература, Статистика
|Environment=R
}}
== TTR ==

<syntaxhighlight lang="r">
# Токенизация текстов и удаление стоп-слов
tokens <- corpus %>%
filter(!is.na(text), text != "") %>%
select(title, category, text) %>%
unnest_tokens(word, text) %>%
filter(!str_detect(word, "^[0-9]+$")) # убираем числа

# Загружаем русские стоп-слова
# (можно использовать готовый список или создать свой)
stop_words_ru <- tibble(
word = c("и", "в", "во", "не", "что", "он", "на", "я", "с", "со", "а",
"то", "все", "она", "так", "его", "но", "да", "ты", "к", "у",
"же", "вы", "за", "бы", "по", "только", "ее", "может", "они",
"из", "ему", "еще", "нет", "из", "ему", "еще", "нет", "тем",
"нему", "под", "жизнь", "будто", "ж", "без", "будто", "будто")
)

# Очищаем от стоп-слов
tokens_clean <- tokens %>%
anti_join(stop_words_ru, by = "word") %>%
filter(str_length(word) > 2) # удаляем короткие слова

# Вычисляем TTR по каждой статье
lex_diversity <- tokens_clean %>%
group_by(title, category) %>%
summarise(
tokens = n(),
types = n_distinct(word),
ttr = types / tokens,
log_ttr = types / log(tokens),
.groups = "drop"
)

# Сравнение TTR по категориям
lex_by_category <- lex_diversity %>%
group_by(category) %>%
summarise(
mean_ttr = mean(ttr),
sd_ttr = sd(ttr),
mean_log_ttr = mean(log_ttr),
.groups = "drop"
)

print(lex_by_category)

# Визуализация
ggplot(lex_diversity, aes(x = category, y = ttr, fill = category)) +
geom_boxplot(alpha = 0.6) +
geom_jitter(width = 0.2, alpha = 0.3) +
labs(
title = "Лексическое разнообразие (Type-Token Ratio)",
x = "Категория",
y = "TTR",
subtitle = "Выше = богаче лексика"
) +
theme_minimal() +
theme(legend.position = "none")

# Тест значимости
t_test_ttr <- t.test(
lex_diversity$ttr[lex_diversity$category == "Историки"],
lex_diversity$ttr[lex_diversity$category == "Филологи"]
)
print(t_test_ttr)
</syntaxhighlight>

* Значительное различие указывает на разные стратегии письма