редактировать рецепт: Как собрать данные Scratch Wiki при помощи MediaWiki API

Текст:

MediaWiki API — это интерфейс для программного доступа к вики-сайтам, таким как Wikipedia или локальные MediaWiki. Он позволяет запрашивать списки страниц, их содержимое, историю правок и метаданные через HTTP-запросы Для работы с API в R используйте пакеты httr (или httr2) для HTTP-запросов, jsonlite для парсинга JSON-ответов и tidyverse для обработки данных. == Функции == == safe-get == Функция safe_get — это обёртка над GET из httr с обработкой ошибок (например, retry при таймауте), часто реализуемая через purrr::safely. <syntaxhighlight lang="R" line> safe_get <- function(base_url, params) { library(httr) library(jsonlite) resp <- GET(base_url, query = params) if (http_type(resp) != "application/json") { warning("API не вернул JSON") return(NULL) } fromJSON(content(resp, "text")) } </syntaxhighlight> === get-all-pages === <syntaxhighlight lang="R" line> get_all_pages <- function(base_url, max_pages = 1600, verbose = TRUE) { all_pages <- list() apcontinue <- NULL pages_count <- 0 repeat { params <- list( action = "query", list = "allpages", apnamespace = "0", aplimit = 500, # максимум за раз apdir = "ascending", format = "json" ) if (!is.null(apcontinue)) params$apcontinue <- apcontinue resp <- safe_get(base_url, params) if (is.null(resp$query$allpages)) break all_pages <- c(all_pages, resp$query$allpages) pages_count <- pages_count + length(resp$query$allpages) if (verbose) cat("Получено страниц:", pages_count, "\n") # Проверяем условие остановки if (pages_count >= max_pages || is.null(resp$continue)) break apcontinue <- resp$continue$apcontinue } as_tibble(do.call(rbind, all_pages)) %>% select(pageid, title) %>% rename(page_title = title) %>% mutate(pageid = as.numeric(pageid)) } </syntaxhighlight>

Записать страницу Отменить