Поле цифровой дидактики - Вклад [ru]

Интерактивная карта вузов Москвы

2026-04-14T07:42:05Z

Afonbro: Новая страница: «категория: RRecipe категория: Scripting Tutorials == Описание проекта == Этот проект демонстрирует создание '''интерактивной карты ведущих вузов Москвы''' с помощью языка '''R''' и библиотеки '''leaflet'''. Скрипт упакован в один файл и не требует внешних источников данных...»

[[категория: RRecipe]]
[[категория: Scripting Tutorials]]
== Описание проекта ==

Этот проект демонстрирует создание '''интерактивной карты ведущих вузов Москвы''' с помощью языка '''R''' и библиотеки '''leaflet'''. Скрипт упакован в один файл и не требует внешних источников данных — вся информация (названия, адреса, координаты и ссылки на сайты) уже включена в код.

Проект наглядно показывает:

* работу с пакетом <code>leaflet</code> для создания веб-карт;
* использование <code>dplyr</code> для манипуляции данными;
* создание интерактивных маркеров с группировкой в кластеры;
* формирование HTML-содержимого для всплывающих подсказок.

Карта отображается прямо во встроенном браузере RStudio (вкладка Viewer) и может быть сохранена в автономный HTML-файл.

== Необходимые инструменты ==

* '''R 4.0+'''
* '''Пакеты:''' leaflet, dplyr, htmltools

=== Установка пакетов ===

При первом запуске скрипт автоматически проверит наличие пакетов и установит недостающие из CRAN.

<syntaxhighlight lang="r">
if (!require(leaflet)) install.packages("leaflet")
if (!require(dplyr)) install.packages("dplyr")
if (!require(htmltools)) install.packages("htmltools")
</syntaxhighlight>

== Полный код скрипта ==

Сохраните следующий код в файл с расширением <code>.R</code> (например, <code>moscow_universities_map.R</code>) и выполните его в RStudio.

<syntaxhighlight lang="r" line>
# Интерактивная карта ведущих вузов Москвы
# Проект по программированию на R

# 1. Установка и загрузка необходимых пакетов
if (!require(leaflet)) install.packages("leaflet")
if (!require(dplyr)) install.packages("dplyr")
if (!require(htmltools)) install.packages("htmltools")

library(leaflet)
library(dplyr)
library(htmltools)

# 2. Создание набора данных с координатами вузов
universities <- data.frame(
name = c(
"МГУ имени М.В. Ломоносова",
"НИУ «Высшая школа экономики»",
"МФТИ (Физтех)",
"МГТУ им. Н.Э. Баумана",
"НИЯУ «МИФИ»",
"РУДН",
"МГИМО МИД России",
"РЭУ им. Г.В. Плеханова",
"Финансовый университет",
"РАНХиГС",
"РГГУ",
"Первый МГМУ им. И.М. Сеченова"
),
lat = c(
55.702, # МГУ (Главное здание на Воробьёвых горах)
55.755, # ВШЭ (Покровский бульвар)
55.712, # МФТИ (Долгопрудный)
55.766, # МГТУ им. Баумана
55.757, # МИФИ
55.648, # РУДН
55.672, # МГИМО
55.728, # РЭУ им. Плеханова
55.799, # Финансовый университет
55.671, # РАНХиГС
55.775, # РГГУ
55.727 # Сеченовский университет
),
lng = c(
37.530, # МГУ
37.652, # ВШЭ
37.518, # МФТИ
37.679, # МГТУ
37.668, # МИФИ
37.520, # РУДН
37.486, # МГИМО
37.629, # РЭУ
37.596, # Финуниверситет
37.603, # РАНХиГС
37.597, # РГГУ
37.625 # Сеченовский
),
address = c(
"Ленинские горы, 1",
"Покровский бульвар, 11",
"Институтский пер., 9, Долгопрудный",
"2-я Бауманская ул., 5",
"Каширское ш., 31",
"ул. Миклухо-Маклая, 6",
"пр-т Вернадского, 76",
"Стремянный пер., 36",
"Ленинградский пр-т, 49",
"пр-т Вернадского, 82",
"Миусская пл., 6",
"ул. Трубецкая, 8, стр. 2"
),
website = c(
"https://www.msu.ru/",
"https://www.hse.ru/",
"https://mipt.ru/",
"https://bmstu.ru/",
"https://mephi.ru/",
"https://www.rudn.ru/",
"https://mgimo.ru/",
"https://www.rea.ru/",
"http://www.fa.ru/",
"https://www.ranepa.ru/",
"https://www.rsuh.ru/",
"https://www.sechenov.ru/"
),
stringsAsFactors = FALSE
)

# 3. Создание HTML-содержимого для всплывающих подсказок
universities <- universities %>%
mutate(
popup_content = paste0(
"<b>", name, "</b><br>",
"📍 ", address, "<br>",
"🌐 <a href='", website, "' target='_blank'>", website, "</a>"
)
)

# 4. Создание интерактивной карты
map <- leaflet(universities) %>%
# Добавление базового слоя карты (OpenStreetMap)
addTiles() %>%
# Установка начального вида (центр Москвы)
setView(lng = 37.618, lat = 55.751, zoom = 10) %>%
# Добавление маркеров
addMarkers(
lng = ~lng,
lat = ~lat,
popup = ~popup_content,
label = ~name, # Подсказка при наведении
labelOptions = labelOptions(
noHide = FALSE,
direction = "auto"
),
clusterOptions = markerClusterOptions() # Группировка маркеров при большом масштабе
) %>%
# Добавление легенды
addControl(
html = "<div style='padding: 8px; background: white; border-radius: 4px; box-shadow: 0 2px 4px rgba(0,0,0,0.1);'><b>🏛️ Ведущие вузы Москвы</b></div>",
position = "topright"
)

# 5. Отображение карты
map

# 6. Сохранение карты в HTML-файл (опционально)
# htmlwidgets::saveWidget(map, "moscow_universities_map.html", selfcontained = TRUE)
</syntaxhighlight>

== Как это работает ==

# '''Создание набора данных''': Внутри скрипта задаётся <code>data.frame</code> с названиями, адресами, координатами и ссылками на сайты 12 ведущих университетов Москвы. Координаты определены приблизительно по главным корпусам.
# '''Формирование подсказок''': С помощью <code>dplyr::mutate()</code> создаётся колонка с HTML-кодом, который будет показан при клике на маркер. Всплывающее окно содержит название, адрес и кликабельную ссылку на сайт вуза.
# '''Построение карты''':
#* <code>leaflet()</code> инициализирует карту.
#* <code>addTiles()</code> добавляет базовый слой OpenStreetMap.
#* <code>setView()</code> задаёт начальный центр и масштаб (Москва).
#* <code>addMarkers()</code> размещает маркеры, группируя их в кластеры (<code>markerClusterOptions()</code>) для улучшения читаемости при уменьшении масштаба.
#* <code>addControl()</code> добавляет кастомную легенду в правый верхний угол.
# '''Отображение''': При выполнении скрипта карта автоматически открывается во вкладке '''Viewer''' в RStudio.

== Ссылки ==

* [Документация пакета leaflet](https://rstudio.github.io/leaflet/)
* [Документация пакета dplyr](https://dplyr.tidyverse.org/)
* [Официальный сайт R](https://www.r-project.org/)
* [Страница загрузки RStudio](https://posit.co/download/rstudio-desktop/)

Интерактивный дашборд динамики цен на недвижимость на основе Parquet и DuckDB

2026-04-12T17:08:32Z

Afonbro: Новая страница: «Категория:BigDataWorks == Описание проекта == Этот проект демонстрирует создание интерактивного дашборда для анализа динамики цен на недвижимость с использованием '''DuckDB''' (встраиваемой аналитической базы данных) и '''Plotly Dash'''. Проект наглядно показывает кл...»

[[Категория:BigDataWorks]]
== Описание проекта ==

Этот проект демонстрирует создание интерактивного дашборда для анализа динамики цен на недвижимость с использованием '''DuckDB''' (встраиваемой аналитической базы данных) и '''Plotly Dash'''. Проект наглядно показывает ключевые методы работы с большими данными:

* '''Пакетная обработка:''' Эффективная работа с большими объёмами данных без полной загрузки в память.
* '''Колоночное хранение:''' Использование формата Parquet для ускорения аналитических запросов и экономии места.
* '''Векторизованные SQL-запросы:''' Агрегация и фильтрация данных на лету с помощью DuckDB.

В качестве источника данных используется открытый набор «Индексы цен на рынке жилья» от Росстата (ЕМИСС), доступный в формате Parquet.

== Источник данных ==

Датасет «Индексы цен на рынке жилья (ЕМИСС)» от Росстата.

* '''Страница датасета:''' https://repository.econdata.tech/dataset/emiss_30925
* '''Прямая ссылка на Parquet:''' https://repository.econdata.tech/dataset/emiss_30925/resource/60378ec6-c7a8-4cec-9a59-e841ca206b3f

== Код дашборда ==

Код для создания интерактивного дашборда. Он выполняет следующие шаги:

# Подключается к DuckDB и загружает данные из Parquet-файла.
# Создаёт интерактивный веб-интерфейс с выпадающим списком для выбора региона.
# Строит линейный график динамики цен для выбранного региона.
# Отображает среднюю цену за весь период.

<syntaxhighlight lang="python" line>
import duckdb
import dash
from dash import dcc, html, Input, Output
import plotly.express as px
import pandas as pd

# 1. Подключение к DuckDB и загрузка данных
conn = duckdb.connect()

# Прямая ссылка на Parquet-файл (можно заменить на локальный путь)
DATA_URL = "https://repository.econdata.tech/dataset/emiss_30925/resource/60378ec6-c7a8-4cec-9a59-e841ca206b3f"

# Регистрируем Parquet-файл как таблицу в DuckDB
conn.execute(f"""
CREATE OR REPLACE TABLE real_estate AS
SELECT * FROM '{DATA_URL}'
""")

# Предварительно получаем список уникальных регионов для выпадающего списка
regions_df = conn.execute("SELECT DISTINCT region FROM real_estate ORDER BY region").fetchdf()
regions = regions_df['region'].tolist()

# 2. Инициализация Dash-приложения
app = dash.Dash(__name__)

app.layout = html.Div([
html.H1("📈 Интерактивный дашборд: Динамика цен на недвижимость",
style={'textAlign': 'center'}),

html.Label("Выберите регион:"),
dcc.Dropdown(
id='region-dropdown',
options=[{'label': r, 'value': r} for r in regions],
value=regions[0], # значение по умолчанию
clearable=False
),

dcc.Graph(id='price-chart'),

html.Div(id='avg-price-text', style={'marginTop': 20, 'fontSize': 20})
])

# 3. Callback для обновления графика и текста при смене региона
@app.callback(
[Output('price-chart', 'figure'),
Output('avg-price-text', 'children')],
Input('region-dropdown', 'value')
)
def update_dashboard(selected_region):
# SQL-запрос с агрегацией данных по выбранному региону
query = f"""
SELECT
date,
AVG(price_index) as avg_index
FROM real_estate
WHERE region = '{selected_region}'
GROUP BY date
ORDER BY date
"""
df = conn.execute(query).fetchdf()

# Создание графика Plotly
fig = px.line(df, x='date', y='avg_index',
title=f'Динамика индекса цен в регионе: {selected_region}',
labels={'avg_index': 'Индекс цен', 'date': 'Дата'})

# Расчёт среднего значения для текстового блока
avg_price = df['avg_index'].mean()
avg_text = f"Средний индекс цен за период: {avg_price:.2f}"

return fig, avg_text

# 4. Запуск сервера
if __name__ == '__main__':
app.run_server(debug=True)
</syntaxhighlight>

== Как это работает ==

# '''DuckDB''' напрямую читает Parquet-файл, извлекая только нужные колонки и строки (благодаря предикативному пушдауну, Predicate Pushdown). Это позволяет обрабатывать гигабайты данных на обычном компьютере.
# '''Dash''' создаёт веб-интерфейс на чистом Python, без необходимости писать HTML или JavaScript.
# При выборе региона в выпадающем списке выполняется SQL-запрос к DuckDB, который агрегирует данные и возвращает результат для построения графика.

== Демонстрация ключевых методов Big Data ==

* '''Экономия памяти:''' DuckDB загружает данные частями (chunks), не расходуя всю оперативную память.
* '''Колоночное хранение (Parquet):''' Чтение только нужных колонок ускоряет запросы в десятки раз по сравнению с CSV.
* '''Векторизованные запросы:''' DuckDB использует SIMD-инструкции процессора для параллельной обработки данных.

== Ссылки ==

* [Документация DuckDB](https://duckdb.org/docs/)
* [Документация Plotly Dash](https://dash.plotly.com/)
* [Датасет ЕМИСС](https://repository.econdata.tech/dataset/emiss_30925)

Java for BigData

2026-04-06T20:32:19Z

Afonbro: /* Перечень рецептов */

{{Scripting Tutorials
|Description=Как использовать Java для обработки больших данных? Перечень рецептов
|Field_of_knowledge=Информатика, Интернет вещей, Большие данные
|FieldActivity=Computational Thinker
|Возрастная категория=14
|Environment=Java
}}

== Перечень рецептов ==
==== Потоковое чтение больших файлов (JDBC ResultSet) ====
Обрабатывает миллионы записей из БД без переполнения памяти (OutOfMemoryError)..

<syntaxhighlight lang="java">
// public void readLargeDataset() {
String url = "jdbc:postgresql://localhost:5432/bigdata";
try (Connection conn = DriverManager.getConnection(url, "user", "pass")) {
conn.setAutoCommit(false);
Statement stmt = conn.createStatement(ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY);
stmt.setFetchSize(1000);
ResultSet rs = stmt.executeQuery("SELECT * FROM large_table");
while (rs.next()) {
processRow(rs);
}
} catch (SQLException e) { e.printStackTrace(); }
}
</syntaxhighlight>

==== Параллельная обработка с Java Stream API ====
Быстро фильтрует и агрегирует большие наборы данных, задействуя все ядра процессора

<syntaxhighlight lang="java">
// List<Integer> numbers = new ArrayList<>();
for (int i = 0; i < 10_000_000; i++) numbers.add(i);

long start = System.nanoTime();
long sum = numbers.parallelStream() // параллельный поток
.mapToLong(i -> (long) i * i) // возводим в квадрат
.sum();
System.out.println("Сумма квадратов: " + sum + ", время: " + (System.nanoTime() - start) + " нс");
</syntaxhighlight>

R for Big Data

2026-04-06T20:32:05Z

Afonbro: /* Перечень рецептов */

{{Scripting Tutorials
|Description=R для обработки больших данных
|Field_of_knowledge=Информатика, Большие данные
|FieldActivity=Computational Thinker
|Возрастная категория=14
|Environment=R,Spark
}}
== Перечень рецептов ==
Из книг:
# '''[[R for Data Science]]'''
# [[Big Data with R]]
# [[Introductory Statistics for Economics]]
# [[Learning analytics methods and tutorials: A practical guide using R]]

==== data.table: Быстрая фильтрация и группировка ====
Этот код создает таблицу с 10 миллионами строк и за доли секунды вычисляет среднее значение для каждого из десяти сегментов данных.

<syntaxhighlight lang="java">
// library(data.table)

# Создание data.table
dt <- data.table(id = 1:1e7, value = runif(1e7))

# Фильтрация строк (i) и вычисление среднего (j) по группам (by)
result <- dt[value > 0.5, .(avg_value = mean(value)), by = .(id %% 10)]
head(result)
</syntaxhighlight>

==== dtplyr: dplyr для огромных данных ====
Вы пишете привычный dplyr-код, а пакет dtplyr переводит его в высокопроизводительный data.table.

<syntaxhighlight lang="java">
// library(dtplyr)
library(dplyr, warn.conflicts = FALSE)

# Ленивая операция: код переводится в data.table, но данные не загружаются
lazy_dt <- lazy_dt(dt)
result <- lazy_dt %>%
filter(value > 0.5) %>%
group_by(group = id %% 10) %>%
summarise(avg_value = mean(value))

# Момент выполнения: data.table выполняет запрос
result_df <- as.data.frame(result)
head(result_df)
</syntaxhighlight>

MapReduce

2026-04-06T20:28:36Z

Afonbro: /* Пример */

{{Понятие
|Description=MapReduce — модель распределённых вычислений, представленная компанией Google, используемая для параллельных вычислений над очень большими, вплоть до нескольких петабайт, наборами данных в компьютерных кластерах.
|Field_of_knowledge=Большие данные
|Environment=Hadoop
}}
MapReduce — это фреймворк для вычисления некоторых наборов распределенных задач с использованием большого количества компьютеров (называемых «нодами»), образующих кластер.

Работа MapReduce состоит из двух шагов: Map и Reduce, названных так по аналогии с одноименными функциями высшего порядка, map и reduce.

=== Map ===
На Map-шаге происходит предварительная обработка входных данных. Для этого один из компьютеров (называемый главным узлом — master node) получает входные данные задачи, разделяет их на части и передает другим компьютерам (рабочим узлам — worker node) для предварительной обработки.

Стадия Map зачастую представляет собой обычное чтение с жёсткого диска. Кроме чтения здесь могут применяться однострочные трансформации и фильтры, т.е. операции без join, group by, order by, distinct и без агрегирующих функций. Данные зачастую сохранены равномерно на каждом сервере. Все серверы участвуют в этой стадии и делят нагрузку равномерно.

=== Reduce ===
На Reduce-шаге происходит свёртка предварительно обработанных данных. Главный узел получает ответы от рабочих узлов и на их основе формирует результат — решение задачи, которая изначально формулировалась.

Здесь происходят все группирующие операции, а также операции, которые записывают результат. Некоторые операции не могут выполняться одновременно на нескольких серверах, поэтому для их выполнения требуется собрать весь объем данных на одном сервере.

== Пример ==
Канонический пример приложения, написанного с помощью MapReduce, — это процесс, подсчитывающий, сколько раз различные слова встречаются в наборе документов:

<syntaxhighlight lang="c" line>
// Функция, используемая рабочими нодами на Map-шаге
// для обработки пар ключ-значение из входного потока
void map(String name, String document):
// Входные данные:
// name - название документа
// document - содержимое документа
for each word in document:
EmitIntermediate(word, "1");

// Функция, используемая рабочими нодами на Reduce-шаге
// для обработки пар ключ-значение, полученных на Map-шаге
void reduce(Iterator partialCounts):
// Входные данные:
// partialCounts - список группированных промежуточных результатов. Количество записей в partialCounts и есть
// требуемое значение
int result = 0;
for each v in partialCounts:
result += parseInt(v);
Emit(AsString(result));
</syntaxhighlight>

==== Анализ логов веб-сервера ====
Анализ логов для подсчёта количества обращений к каждому URL..

<syntaxhighlight lang="java">
// from mrjob.job import MRJob
import re

class MRLogAnalyzer(MRJob):

# Mapper: извлекает URL из строки лога и выдает (url, 1)
def mapper(self, _, line):
# Простое регулярное выражение для извлечения URL (GET /path HTTP/...)
match = re.search(r'\"(?:GET|POST) (.*?) HTTP/', line)
if match:
url = match.group(1)
yield (url, 1)

# Reducer: суммирует количество обращений к каждому URL
def reducer(self, key, values):
yield (key, sum(values))

if __name__ == '__main__':
MRLogAnalyzer.run()
</syntaxhighlight>

==== Анализ числовых данных (среднее арифметическое) ====
Этот пример показывает, как MapReduce используется не только для текста, но и для обработки числовых данных, например, для нахождения среднего значения.

<syntaxhighlight lang="java">
// from mrjob.job import MRJob

class MRAverage(MRJob):

# Mapper: выдает ключ 'avg' и пару (значение, 1)
def mapper(self, _, line):
num = float(line.strip())
yield ('avg', (num, 1))

# Reducer: суммирует все значения и счетчики, затем вычисляет среднее
def reducer(self, key, values):
total_sum = 0
total_count = 0
for value, count in values:
total_sum += value
total_count += count
yield ('average', total_sum / total_count)

if __name__ == '__main__':
MRAverage.run()
</syntaxhighlight>

Участник:Afonbro

2026-04-06T20:00:46Z

Afonbro:

[[Категория:ИНДОР-211]]
[[Категория:UserMGPU]]

{| class="wikitable"
! Автор
! Ссылка
! Год рождения
|-
| [[HasName::Дмитрий]]
| [[HasVK::https://vk.com/fulldegr0d]]
| [[HasBirthYear::2003]]
|}

Участник:Afonbro

2026-04-06T19:51:47Z

Afonbro:

[[Категория:ИНДОР-211]]
[[Категория:UserMGPU]]
{{#get_web_data: url = https://example.com/authors.csv
|format = csv with header
|data = Author=name, VK=vk, Birth=year
}}

{{#for_external_table:
{{!}}-
{{!}} Автор: {{{Author}}}
{{!}} VK: [{{{VK}}} {{{VK}}}]
{{!}} Год рождения: {{{Birth}}}
}}

Участник:Afonbro

2026-04-06T19:48:59Z

Afonbro:

[[Категория:ИНДОР-211]]
[[Категория:UserMGPU]]
{{#get_web_data:url=https://corgis-edu.github.io/corgis/datasets/csv/video_games/video_games.csv
|format=csv with header
|filter=Genres=Action
|data=Title=Title, Genres=Metadata.Genres
}}
{| class="wikitable"
! Автор
! Ссылка
! Год рождения
{{#for_external_table:
{{!}}-
{{!}} {{{Author}}}
{{!}} {{{URL}}}
{{!}} {{{Birth}}}
}}
|}

Участник:Afonbro

2026-04-06T19:47:03Z

Afonbro:

Участник:Afonbro

2024-10-07T13:45:08Z

Afonbro: Новая страница: «Категория:ИНДОР-211 Категория:UserMGPU»

[[Категория:ИНДОР-211]]
[[Категория:UserMGPU]]