Методы анализа больших данных (Syllabus) 2025/Lesson ML - История изменений

Patarakin в 04:58, 24 февраля 2026

2026-02-24T04:58:45Z

← Предыдущая версия		Версия от 07:58, 24 февраля 2026
Строка 292:		Строка 292:
	cat("Средняя длина документа:", mean(corpus_stats$n_tokens), "токенов\n")		cat("Средняя длина документа:", mean(corpus_stats$n_tokens), "токенов\n")
	</syntaxhighlight>		</syntaxhighlight>

			[[Категория:Lesson]]

Patarakin: /* D 2 */

2025-11-14T09:35:26Z

D 2

← Предыдущая версия		Версия от 12:35, 14 ноября 2025
Строка 18:		Строка 18:
	</uml>		</uml>

	== D 2 ==		== Диаграмма 2 ==
	<uml>		<uml>
	@startuml		@startuml
Строка 53:		Строка 53:
	@enduml		@enduml
	</uml>		</uml>


	== Процесс получения данных ==		== Процесс получения данных ==

Patarakin: /* Урок по анализу данных с использованием методов машинного обучения */

2025-11-14T09:34:32Z

Урок по анализу данных с использованием методов машинного обучения

← Предыдущая версия		Версия от 12:34, 14 ноября 2025
Строка 1:		Строка 1:
	== Урок по анализу данных с использованием методов машинного обучения ==		; Урок по анализу данных с использованием методов машинного обучения

	=== D1 ===		=== Диаграмма 1 ===
	<uml>		<uml>
	@startuml		@startuml

Patarakin в 09:33, 14 ноября 2025

2025-11-14T09:33:01Z

← Предыдущая версия		Версия от 12:33, 14 ноября 2025
Строка 272:		Строка 272:
	cat("TF-IDF матрица готова\n")		cat("TF-IDF матрица готова\n")

			### Статистика текстов


			# Получение статистики корпуса
			corpus_stats <- tokens_data %>%
			ntoken() %>%
			tibble(doc_id = names(.), n_tokens = .)

			# Визуализация статистики
			library(ggplot2)

			ggplot(corpus_stats, aes(x = n_tokens)) +
			geom_histogram(bins = 20, fill = "steelblue", color = "black") +
			labs(title = "Распределение количества токенов в документах",
			x = "Количество токенов",
			y = "Количество документов") +
			theme_minimal()

			# Средняя длина документа
			cat("Средняя длина документа:", mean(corpus_stats$n_tokens), "токенов\n")
	</syntaxhighlight>		</syntaxhighlight>

Patarakin: /* Процесс получения данных */

2025-11-14T09:30:02Z

Процесс получения данных

Внесённые изменения

Patarakin: /* Диаграмма процесса очистки текста */

2025-11-14T09:28:02Z

Диаграмма процесса очистки текста

← Предыдущая версия		Версия от 12:28, 14 ноября 2025
Строка 53:		Строка 53:
	@enduml		@enduml
	</uml>		</uml>


			== Процесс получения данных ==
			<syntaxhighlight lang="R" line>
			library(httr)
			library(jsonlite)
			library(xml2)
			library(tidyverse)
			library(quanteda)


			# Установка дополнительных пакетов
			library(stopwords)
			library(stringr)

			###########

			get_wikipedia_category_members <- function(category_name, language = "ru") {
			# Базовый URL API
			base_url <- paste0("https://", language, ".wikipedia.org/w/api.php")

			all_members <- data.frame()
			continue_token <- NULL

			repeat {
			# Формируем параметры запроса
			params <- list(
			action = "query",
			list = "categorymembers",
			cmtitle = paste0("Category:", category_name),
			cmlimit = 500, # Максимум результатов за раз
			format = "json",
			cmtype = "page", # Только статьи, не категории
			cmcontinue = continue_token
			)

			# Выполняем запрос
			response <- GET(base_url, query = params)

			# Проверяем статус ответа
			if (status_code(response) != 200) {
			warning("Ошибка при запросе к API: статус ", status_code(response))
			break
			}

			# Парсим JSON
			data <- fromJSON(content(response, as = "text", encoding = "UTF-8"))

			# Извлекаем члены категории
			if (!is.null(data$query$categorymembers)) {
			members <- data$query$categorymembers %>%
			as_tibble() %>%
			select(pageid, title)

			all_members <- bind_rows(all_members, members)
			}

			# Проверяем, есть ли продолжение запроса
			if (is.null(data$`query-continue`$categorymembers$cmcontinue)) {
			break
			}

			continue_token <- data$`query-continue`$categorymembers$cmcontinue
			}

			return(all_members)
			}

			iot_articles <- get_wikipedia_category_members("Интернет вещей")
			cat("Найдено статей:", nrow(iot_articles), "\n")
			head(iot_articles)



			</syntaxhighlight>

Patarakin: /* D 2 */

2025-11-14T05:46:00Z

D 2

@@ Строка 34: / Строка 34: @@
 :Следующая статья;
 stop
 @enduml
 </uml>

Patarakin в 05:42, 14 ноября 2025

2025-11-14T05:42:23Z

@@ Строка 1: / Строка 1: @@
 == Урок по анализу данных с использованием методов машинного обучения ==
 <uml>
 @startuml
@@ Строка 14: / Строка 15: @@
 API -> HTTP: JSON ответ
 HTTP -> R: Парсит JSON
 @enduml
 </uml>

Patarakin в 05:28, 14 ноября 2025

2025-11-14T05:28:59Z

@@ Строка 1: / Строка 1: @@
 == Урок по анализу данных с использованием методов машинного обучения ==
-У нас есть категория [[:Категория:Работы историков ИГН]]  - https://digida.mgpu.ru/index.php/и в этой статье у нас 28 статей. Мы можем получить список всех этих статей по запросу
+<uml>
-{{#ask: [[Категория:Работы историков ИГН]] | format=ul }}
+@startuml

Patarakin: /* Урок по анализу данных с использованием методов машинного обучения */

2025-11-13T16:26:39Z

Урок по анализу данных с использованием методов машинного обучения

← Предыдущая версия		Версия от 19:26, 13 ноября 2025
Строка 2:		Строка 2:

	У нас есть категория [[:Категория:Работы историков ИГН]] - https://digida.mgpu.ru/index.php/и в этой статье у нас 28 статей. Мы можем получить список всех этих статей по запросу		У нас есть категория [[:Категория:Работы историков ИГН]] - https://digida.mgpu.ru/index.php/и в этой статье у нас 28 статей. Мы можем получить список всех этих статей по запросу
	{{#ask: [[Категория:Работы историков ИГН]] \| format=nl }}		{{#ask: [[Категория:Работы историков ИГН]] \| format=ul }}