Методы анализа больших данных (Syllabus) 2025
Материал из Поле цифровой дидактики
| Планируемые результаты обучения (Знать, Уметь, Владеть) |
|
|---|---|
| Содержание разделов курса |
|
| Видео запись | |
| Среды и средства, которые поддерживают учебный курс | R, RAWGraphs, Mermaid, Semantic MediaWiki |
| Книги, на которых основывается учебный курс |
Введение в методы анализа больших данных
- Понятие «большие данные» в современном образовании и лингвистике.
- Примеры сетевых сообществ, как источников больших данных
- Сетевые образовательные сообщества: анализ больших данных
- Примеры образовательных и языковых проектов, в которых анализ больших данных дает практическую пользу (от изучения частоты слов до оценки вовлечённости сообществ).
| Description | |
|---|---|
| AO3 | Archive of Our Own - Архив материалов, которые собирают фанаты книг, телепередач |
| Academia.edu | Academia.edu – социальная сеть для исследователей, где они могут размещать свои опубликованные или готовящиеся к публикации работы, следить за работами других участников, отслеживать цитируемость собственных работ. |
| Amazon Turk | Amazon Turk - международная площадка решения микрозадач, где автор лучшего решения получает денежное вознаграждение. |
| CloudWorks | В сети CloudWorks учителя совершают действия над картами сценариями учебного процесса (объект в среде Compendium LD) |
| ClubHouse | Социальная сеть, которая объединяет тех, кто обменивается голосовыми сообщениями.
Голосовой чат, история которого недоступна. Приложения для ios Комната, где люди общаются |
| CoMSES | CoMSES Net - Сеть для вычислительного моделирования в социальных и экологических науках. Это - открытое сообщество исследователей и преподавателей. Репозиторий - цифровое хранилище, поддерживающее исследования и передовые методы цитирования программного обеспечения, цифрового хранения, воспроизводимости и повторного использования моделей. |
| CyberForum.ru | Аналог StackOverFlow - обучающий портал, где студенты помогают студентам |
| Eyewire | Eyewire challenges players, "Eyewirers", to map neurons in 3D. Upon registering, players are directed through a tutorial that explains the game. Supplementary video tutorials are available on the Eyewire Blog. In Eyewire, the player is given a cube with a partially reconstructed neuron branch stretching through it. On the right side of the screen is a grayscale image of the cross sections of neurons. The player learns to "color" inside a gray outline of a single neuron branch, which usually extends from one side of the cube to another. |
| Участник настраивает канал (ленту) своих сообщений. Лента может быть общедоступной или приватной. На записи, которые публикует участник, можно подписаться. Изначально механизм подписки был равнозначен механизму дружбы. В настоящее время FaceBook приравнивает дружбу между участниками к возможности обмена сообщениями. Все записи участника (ссылки, фотографии, видео) публикуются в его ленте. Записи тех, на кого участник оформил подписку, публикуются во френдленте этого участника. К открытым записям могут добавлять лайки и комментарии любые участники сети. Существует возможность создания открытых и закрытых тематических групп, в которых могут публиковаться записи по заданной тематике. Правила регистрации в группе и правила поведения в группе определяет тот, кто ее создал или те, кому он делегировал права администрирования. Организационная структура выстраивается вокруг общения участников. | |
| FoldIt сообщество | FoldIt – построение моделей молекулярных структур при помощи специального программного обеспечения. |
| GUTS | Project GUTS CS in Science Modules - сообщество учителей, которые обсуждают использование информационных технологий (прежде всего сред многоагентного программирования) в формировании у учеников научного мышления |
| GitHub | Социальная сеть программистов, с возможностью хранить репозиторий проекта и все его изменения. GitHub - контроль доступа, багтрекинг, управлением задачами и вики для каждого проекта. Используется прежде всего для поддержания версий кода |
| Glitch | Сообщество для разработки веб-приложений |
| GlobalLab | международный проект – сеть учителей и учеников, вовлеченных в исследовательскую деятельность. В ходе этой деятельности происходит объединение учеников и учителей образовательных политик определяющих такие педагогические практики как STEM, STEAM, мобильное образование. |
| Habr | Хабр русскоязычный веб-сайт в формате системы тематических коллективных блогов (именуемых хабами) с элементами новостного сайта, созданный для публикации новостей, аналитических статей, мыслей, связанных с информационными технологиями, бизнесом и интернетом. |
| Hugging Face | Hugging Face - платформа, которая позволяет пользователям обмениваться моделями машинного обучения и наборами данных. После открытия исходного кода модели чат-бота компания сосредоточилась на том, чтобы стать платформой для демократизации машинного обучения. |
| ISTE Commons | Сообщество учителей, использующих в своей практики информационные технологии ISTE (International Society for Technology in Education) |
| Kaggle | Kaggle — система организации конкурсов по исследованию данных, а также социальная сеть специалистов по обработке данных и машинному обучению. Принадлежит корпорации Google |
| LangOER | сеть для политиков, учителей и экспертов, заинтересованных в создании и использовании образовательных ресурсов на родном языке. |
| LeMill | Репозиторий образовательных материалов, которыми обмениваются учителя |
| MOOSE Crossing | MOOSE Crossing это многопользовательский текстовый виртуальный мир, в котором дети могут не только общаться друг с другом, но и создавать саму среду, в которой они общаются. Дети, большинство из которых были в возрасте 9 - 13 лет, создавали новые комнаты и новые объекты. Кроме того, на специальном языке сценариев MOOSE они писали программы, которые управляли поведением этих объектов. Например, десятилетняя девочка создала пингвина, который реагировал на поведение других людей. Пингвин умел обниматься и целоваться, чувствовал голод и умел различать 6 различных видов пищи. Другой ученик создал виды картофеля, которые демонстрировали генетические закономерности, описанные Менделем. MOOSE Crossing is a networked programming environment built for children. It is an adapted text-based MUD (multi-user dungeon) in which children can use an objectoriented scripting language to create spaces and characters that inhabit a textual world. Children often create spaces and characters similar to those found in text adventure games such as castles complete with secret passages that other children can explore. Once their projects are completed, any child in the MOOSE Crossing environment can interact with them. In addition, the environment allows children to view the scripts controlling any object or character in the environment and chat with children that are currently logged onto MOOSE Crossing. In general, children work alone on projects but one child will often use another child’s project as an example. Children may also ask another user for help or advice. The MOOSE Crossing community has provided a source of help, role models, and positive feedback for users of the system as they create their own projects. |
| Maximus | «Maximus» — это большая спортивная команда студентов, которые стремятся развивать студенческий спорт в университете и за его пределами. |
| Media MOO | Сообщество учителей в мире текстовом объектно-ориентированном многопользовательском мире. Одно из первых образовательных сообществ |
| Modeling Commons | Сообщество, участники которого создают и обмениваются моделями NetLogo. |
| MyExperiment | myExperiment – это совместная среда, в которой ученые могут безопасно публиковать свои рабочие процессы и в силико-экспериментах, делиться ими с группами и находить других. |
| Principia Cybernetica Web | Сообщество исследователей, объединенных идеей метаперехода на уровень суперорганизма, в котором люди объединены телекоммуникационными связями и цифровыми объектами |
| Quora | QA сообщество вопроов и ответов на различные темы |
| Roblox | Roblox — игровая онлайн-платформа и система создания игр, позволяющая любому пользователю создавать свои собственные и играть в созданные другими игры. |
| Scifabric | Организационная структура во многом напоминает структуру Zooniverse. Основные отличия связано с тем, что заказчик размещает в системе задачи разного уровня сложности и исполнители конкурируют за лучшее решение. Как правило, у задачи есть срок, к которому она должна быть решена и цена, которую заказчик готов уплатить за решение. |
| Scratch&mit | Сообщество создателей цифровых историй |
| ScratchEd | Учителя обсуждают возможности языка Scratch |
| Second Life | Second Life – сеть многопользовательского трехмерного виртуального мира, внутри которого можно общаться, путешествовать, создавать свои собственные объекты. |
| Shinyappsio | Сообщество пользователей, обменивающихся знаниями о создании и использовании приложений Shiny |
| Stack OverFlow | Сеть создания контента в форме вопросов и ответов о программировании. |
| Telegram group | Группы в телеграм |
| Thinkquest | Сообщество школьных команд (школьники и учителя), которые создавали образовательные веб-сайты на общей платформе. |
| платформа микроблоггинга | |
| WikiHow | Вариант вики энциклопедии - руководства «как сделать …». |
| Wikipedia | Сообщество редакторов всемирной открытой энциклопедии |
| YouTube | YouTube – сеть создания и хранения видеоконтента. |
| Zooniverse | Zooniverse – сеть решения научных проблем, где участники совместно сортируют объекты. |
| Инфоурок | Сообщество учителей, где они выкладывают методические материалы |
| Луркоморье | Энциклопедия сетевых артефактов на базе вики |
| Педсовет | |
| Репозиторий OpenGMS | Сообщество разработчиков и пользователей моделей OpenGMS |
| Сitizencyberlab | |
| СПО Спецназ | Студенческий Педагогический Отряд "Спецназ". Объединяет активных ребят, которые хотят работать вожатыми и заниматься подготовкой для работы в детских оздоровительных лагерях. |
| Совет Студентов и Аспирантов | Орган самоуправления и защиты прав студентов и аспирантов |
| Сообщество BlocksCAD | Сообщество, участники которого обмениваются трехмерными объектами, созданном на визуальном языке программирования BlocksCAD |
| Сообщество Classroom 2.0 | Социальная сеть учителей по всему миру, ориентированная на обмен образовательными технологиями. |
| … следующие результаты | |
- Знакомство с платформой digida.mgpu.ru — основные функции, типовые задачи курса и обзор возможностей интеграции данных с вики-проектов.
Получение и подготовка больших данных
- Где брать большие данные: обзор открытых вики-источников (Wikipedia, Wiktionary, Wikisource, библиометрические базы научных публикаций и патентов Lens, ACM Digital Library, OpenAlex).
- Как работать с выгрузками данных/простыми API-интерфейсами — на уровне скачивания файлов и копирования готовых наборов.
- Этапы подготовки: выбор темы (например, статьи по лингвистике, по английской грамматике или информатике), очистка от лишних фрагментов, преобразование для анализа (например, выбор только текстовых блоков статей).
- Практика: пошаговые инструкции по сбору небольшого корпуса статей для индивидуальных и групповых проектов.
Аналитическая обработка и визуализация данных
- Простые методы выявления частотных слов, популярных тем и трендов в выбранном наборе статей с помощью онлайн-инструментов или готовых шаблонов.
- Сравнение распространённых тем на русском и английском языке, обнаружение сходств и различий.
- Создание диаграмм, таблиц, облаков слов с помощью бесплатных веб-сервисов или визуальных инструментов платформы digida.mgpu.ru - PlantUML, Mermaid, Graphviz
- Построение графа сотрудничества между авторами в сфере информатики и лингвистики - VOSviewer
- Кластеризация тем публикаций, определение наиболее цитируемых работ и авторов.
- Совместные мини-проекты: анализ, почему определённые темы чаще появляются в статьях и как эта информация полезна для преподавания.
Исследование структур и сетей
- Введение в понятие сетей и связей в текстовых данных (например, графы ссылок между статьями, сети авторов).
- Пример: исследование структуры ссылок между статьями по теме «Английская грамматика» и «Информатика».
- Визуализация сетей с помощью простых интерактивных сервисов (от карт связей между понятиями до анализа авторских сообществ).
- Как результаты сетевого анализа могут помочь в создании учебных материалов или при планировании совместных проектов с коллегами.
Машинное обучение для анализа больших данных
- Объяснение сути машинного обучения через примеры: автоматическая классификация текстов, обнаружение новых тем, прогнозирование интересов учащихся.
- Разбор базовых алгоритмов на интуитивном уровне (кластеризация, поиск схожих статей) — без технических деталей, с использованием веб-приложений и шаблонов digida.mgpu.ru.
- Применение машинного обучения к корпусу статей: как получить группы тем, понять структуру интересов авторов или пользователей.
- Практика: самостоятельное мини-исследование, итоговый отчёт — анализ и обсуждение результатов для совместного развития преподавательского сообщества.
