Анализ и интерпретация данных (syllabus): различия между версиями

Материал из Поле цифровой дидактики
 
(не показано 26 промежуточных версий этого же участника)
Строка 1: Строка 1:
Учебная группа, работающая  с курсом  Анализ и интерпретация данных в в 202 году [[:Категория:МКО_22]]
{{Curriculum
|Learning_outcomes=В результате освоения дисциплины слушатель должен:
; Знать
* особенности типов и источников данных
; Уметь:
* планировать процесс обработки, визуализации, анализа и интерпретации данных при помощи UML диаграмм (plantUML, MerMaid)
* использовать сетевые сервисы для экспресс-анализа и интерпретации данных (RAWGraphs)
* очищать, обрабатывать и видоизменять данные, приводя их к опрятному виду tidy data (Snap!, R)
* совершать операции статистического анализа
; Владеть:
* навыками выстраивания процесс анализа и интерпретации данных от исходных сырых данных до публикации отчета или статьи
* навыками выращивания данных в искусственных сообществах (NetLogo, GAMA)
|Description=Разделы:
# Источники и типы данных, которые мы извлекаем или порождаем - информационные системы организаций, библиографические системы, сетевые опросы, игры, симуляции, сетевые сообщества
# Планирование операций над данными
# Блочные сервисы визуализации данных
# Блочные языки обработки и представления данных
|Environment=BehaviorSpace, NetLogo, Scratch, Snap!, Сообщество Scratch, CODAP, RStudio, RAWGraphs
}}
 
== Составляющие курса  ==


=== Составляющие поля совместной деятельности ===
<graphviz>
<graphviz>
digraph Digida1 {
digraph Digida1 {
Строка 24: Строка 45:
}
}
</graphviz>
</graphviz>
== Цель, результаты освоения дисциплины ==


В результате освоения дисциплины слушатель должен:  
=== UML диаграмма - последовательность учебного курса ===
; Знать
<uml>
* особенности типов и источников данных
@startuml
; Уметь:
skinparam NoteBackgroundColor tan
* планировать процесс обработки, визуализации, анализа и интерпретации данных при помощи UML - [[:Категория:Diagrams]]
start
* использовать сетевые сервисы для экспресс-анализа и интерпретации данных
:Competence ;
* очищать, обрабатывать и видоизменять данные, приводя их к опрятному виду (tidy data)
note right
* совершать операции статистического анализа
Explore or solve problems by selecting technology for data analysis
; Владеть:
Select effective technology to represent data
* навыками выстраивания процесс анализа и интерпретации данных от исходных сырых данных до публикации отчета или статьи
Sorting files, emails or database returns to clarify clusters of related information
end note
:Concept;
note left
Learning Analytics
API
CSV
Dashboard
Flowchart
JSON
Prompt
Team Assembly


== Содержание разделов дисциплины: ==
end note


=== Источники и типы данных ===
:Book;
Источники и типы данных, которые мы извлекаем или порождаем - информационные системы организаций, библиографические системы, сетевые опросы, игры, симуляции, сетевые сообщества
note right
A new kind of science
Agent-Based and Individual-Based Modeling: A Practical Introduction
Turtles, termites, and traffic jams
R for Data Science
Tidy Modeling with R
end note


==== Библиографические данные ====
:Authors;
note left
Latour
Tourchin
Barabashi
end note


[https://app.vosviewer.com/?json=https://drive.google.com/uc?id=1vYgqSwG2d1X3RyNDt1AA_mDRIDo0B2ZG Пример работы]


[[Zotero]] + ACM https://m.youtube.com/watch?v=vNvRVTWYwlw
:Data;
note right
Books (dataset)
GoogleSchool 01(dataset)
Letopisi 2006 (dataset)
end note


[[Библиографический датасет 1]]
:Digital tool;
fork
  :plantUML ;
fork again
  :Mermaid;
fork again
  :RAWGraphs;
fork again
  :CODAP;
fork again
  :Semantic MediaWiki;
end fork


==== Внешние данные ====


# https://corgis-edu.github.io/corgis/
## https://corgis-edu.github.io/corgis/csv/graduates/
#### https://corgis-edu.github.io/corgis/datasets/csv/graduates/graduates.csv


==== Данные из игр ====
:Model ;
{{#widget:YouTube|id=gOAAT4sNYX4|start=10}}
note left
Segregation (model)
Traffic jams
Urban Suite - Awareness
end note


:Programming Language ;
note right
  end note


==== Выращивание данных ====
fork
  :Snap! ;
fork again
  :StarLogo Nova;
fork again
  :NetLogo;
fork again
  :R;
end fork


===== Starlogo Nova =====
fork
:Scripting Tutorials ;
note left


Проект https://www.slnova.org/patarakin/projects/694467/
end note
fork again
  :Project;
note right
  end note


Исходное состояние - выбираем параметры
end fork
* количество мячей = 5
stop
* количество участников = 175
* рычажок видимости (как близко от участника должен быть мяч, чтобы он начал к нему бежать) = 5


[[Файл:Slnova Data.jpg]]
@enduml
</uml>


====== Собираем данные со страницы  ======
== С какими данными и что мы будем делать ==
Источники и типы данных, которые мы извлекаем или порождаем - информационные системы организаций, библиографические системы, сетевые опросы, игры, симуляции, сетевые сообщества


500 записей
=== Собственные данные вики и их визуализация ===
[[Файл:Slnova Data1.jpg]]
; [[Dashboard]]


Загружаем [[датасет]] в [[RAWGraphs]] - https://rawgraphs.io/
{| class="wikitable"
! Страниц
! Статей
! Редактирований
! Участников
! Файлов
{{!}}-
{{!}} {{NUMBEROFPAGES:R}}
{{!}} {{NUMBEROFARTICLES:R}}
{{!}} {{NUMBEROFEDITS:R}}
{{!}} {{NUMBEROFUSERS:R}}
{{!}} {{NUMBEROFFILES}}
|}
----
{{#ask: [[Категория:DigitalTool]] [[Tool_is_made_for::+]]
|?Tool_is_made_for
|mainlabel=-
|format=jqplotchart
|charttype=bar
|height= 600
|filling=1
|distribution= yes
|min = 1
|width=100%
|direction=horizontal
|theme=simple
|colorscheme=rdbu
}}


[[Файл:Slnova Data2 exp.jpg]]
==== Библиографические данные ====


===== NetLogo=====
[https://app.vosviewer.com/?json=https://drive.google.com/uc?id=1vYgqSwG2d1X3RyNDt1AA_mDRIDo0B2ZG Пример работы]


Использовать NetLogo Web для получения данных
[[Zotero]] + ACM https://m.youtube.com/watch?v=vNvRVTWYwlw


[[Файл:Flocking netlogo web.jpg]]
[[Библиографический датасет 1]]


Примеры моделей для постановки экспериментов:
== Внешние данные ==
# [https://netlogoweb.org/launch#https://netlogoweb.org/assets/modelslib/Sample%20Models/Biology/Flocking.nlogo Образование стаи птиц или рыб]
# [https://netlogoweb.org/launch#https://netlogoweb.org/assets/modelslib/Sample%20Models/Biology/Termites.nlogo Термиты]
# [https://netlogoweb.org/launch#https://netlogoweb.org/assets/modelslib/Sample%20Models/Psychology/Piaget-Vygotsky%20Game.nlogo Обучение по Выготскому или Пиаже] - участники бросают шарики и стараются попасть как можно ближе к линии


# https://corgis-edu.github.io/corgis/
## https://corgis-edu.github.io/corgis/csv/graduates/
#### https://corgis-edu.github.io/corgis/datasets/csv/graduates/graduates.csv




Вырастить данные - поставить эксперимент с переменными - использовать BehaviorSpace


См. [[:Категория:Dataset]]


{{#widget:YouTube|id=_IRTKplE7nw|start=10}}
 
 
== Выращивание данных ==
[[Как вырастить данные в искусственном сообществе]]


==== Многое как данные на примере Snap! ====
==== Многое как данные на примере Snap! ====
Строка 107: Строка 211:
[[:Категория:Diagrams]]
[[:Категория:Diagrams]]


==== Диаграммы классов  ====
{{#mermaid:classDiagram
  direction RL
    Страница <|-- Язык
    Страница : + List вики-редакторы
    Страница: +естьКатегория()
    Страница: +естьСвойство()
    class Язык{
        +String Область деятельности
        +int возраст освоения
        +List Формируемые компетенции
        +bool Открытость
        +date Год запуска
        +String Сообщество
        +List предки
        +List потомки
        +bool Сетевое использование
        +String Автор
    }
   
}}
==== Диаграмма последовательности ====
{{#mermaid:sequenceDiagram
actor Участник
      Участник->>Страница: Есть нужная статья?
      Страница->>Участник: Умеешь задавать вопрос
Участник->>Система: Хочу зарегистрироваться
Система->>Участник: Статус участника
Участник-->Свойства: Создать концепт
Свойства->>Участник: Понимает динамический поиск
Участник-->Свойства: запрос с Ask
Свойства->>Участник: владеет языком запросов
 
      Участник->>Страница: Внести правки
      Страница->>Участник: Умеешь редактировать
        Участник->>Страница: Внести код (Sctatch, Mermaid)
      Страница->>Участник: Умеешь пользоваться расширениями
Участник-->Свойства: Создать новое свойство
Свойства->>Участник: Понимает свойства и типы
Участник-->Свойства: Создать новый класс
Свойства->>Участник: Понимает формы и шаблоны
      Участник->>Страница: Связать со страницей
      Страница->>Участник: Связи классов
      Администратор->>Участник: Статус адинистратора
}}


=== Сетевые сервисы визуализации ===
=== Сетевые сервисы визуализации ===
Строка 177: Строка 225:
* В [[Snap!]]
* В [[Snap!]]
* в пакетах [[R]] и [[Python]] – использование tidyverse & tidygraph
* в пакетах [[R]] и [[Python]] – использование tidyverse & tidygraph
Мы берём исходный [[датасет]] - [[Cities (dataset)]]‎‎
{{#get_web_data:url=http://www.uic.unn.ru/pustyn/data-sets/digida/Millions_Cities.csv
|format=csv with header
|filters=Country Code=RU
|data=Name=Name,Country=Country Code,Population=Population,Coordinates=Coordinates
}}
{| class="wikitable sortable"
! Название
! Страна
! Население {{#for_external_table:<nowiki/>
{{!}}-
{{!}} {{{Name}}}
{{!}}{{{Country}}}
{{!}} {{{Population}}} }}
|}
Внутри множество городов - миллионников из разных стран. И у всех координаты в виде


Пример очистки и преобразования данных:
Пример очистки и преобразования данных:
Строка 185: Строка 253:
=== Статистический анализ и интерпретация данных ===
=== Статистический анализ и интерпретация данных ===


Основные операции статистического анализа над данными
Основные операции статистического анализа - [[Анализ данных]]


=== Экспорт результатов ===
=== Экспорт результатов ===
Строка 191: Строка 259:


== Литература ==
== Литература ==
=== Основная литература  ===
 
=== Тексты на поле вычислительной дидактики ===
 


=== Дополнительная литература  ===
=== Дополнительная литература  ===
# Патаракин Е.Д., Ярмахов Б.Б. Выращивание данных для школьных виртуальных лабораторий // Вестник Российского Университета Дружбы Народов. Серия: Информатизация Образования. 2021. Vol. 18, № 4. c. 347–359.
# Патаракин Е.Д., Ярмахов Б.Б. Выращивание данных для школьных виртуальных лабораторий // Вестник Российского Университета Дружбы Народов. Серия: Информатизация Образования. 2021. Vol. 18, № 4. c. 347–359.
# Патаракин Е.Д., Вачкова С.Н. Сетевой анализ коллективных действий над цифровыми образовательными объектами // Вестник Московского Городского Педагогического Университета. Серия: Педагогика И Психология. 2019. № 4 (50). c. 101–112.
# Патаракин Е.Д., Вачкова С.Н. Сетевой анализ коллективных действий над цифровыми образовательными объектами // Вестник Московского Городского Педагогического Университета. Серия: Педагогика И Психология. 2019. № 4 (50). c. 101–112.


== Видеоматериалы ==
== Видеоматериалы ==
Строка 212: Строка 281:
|  Примеры источников данных
|  Примеры источников данных
| Найти, оформить, вырастить данные для дальнейшего анализа
| Найти, оформить, вырастить данные для дальнейшего анализа
| В категории статей о датасетах [[:Category:Datasets]]
| В категории статей о датасетах [[:Category:Dataset]]
|-  
|-  
| планировать процесс обработки, визуализации, анализа и интерпретации данных при помощи UML
| планировать процесс обработки, визуализации, анализа и интерпретации данных при помощи UML
Строка 226: Строка 295:
| Сетевые сервисы визуализации
| Сетевые сервисы визуализации
| Использовать экспресс-методы
| Использовать экспресс-методы
| RowGraph, CODAP - примеры использования
| [[RAWGraphs]], [[CODAP]], [[graphviz]] - примеры использования
|-  
|-  
| Обработать и очистить данные
| Обработать и очистить данные
Строка 236: Строка 305:
| Статистический анализ и интерпретация данных
| Статистический анализ и интерпретация данных
| Операции над собственным датасетом
| Операции над собственным датасетом
| Готовые датасеты
| Готовые датасеты [[:Category:Dataset]]
|-  
|-  
| Подготовка выполняемой публикации
| Подготовка выполняемой публикации

Текущая версия на 18:00, 21 мая 2024



Планируемые результаты обучения (Знать, Уметь, Владеть) В результате освоения дисциплины слушатель должен:
Знать
  • особенности типов и источников данных
Уметь
  • планировать процесс обработки, визуализации, анализа и интерпретации данных при помощи UML диаграмм (plantUML, MerMaid)
  • использовать сетевые сервисы для экспресс-анализа и интерпретации данных (RAWGraphs)
  • очищать, обрабатывать и видоизменять данные, приводя их к опрятному виду tidy data (Snap!, R)
  • совершать операции статистического анализа
Владеть
  • навыками выстраивания процесс анализа и интерпретации данных от исходных сырых данных до публикации отчета или статьи
  • навыками выращивания данных в искусственных сообществах (NetLogo, GAMA)
Содержание разделов курса Разделы:
  1. Источники и типы данных, которые мы извлекаем или порождаем - информационные системы организаций, библиографические системы, сетевые опросы, игры, симуляции, сетевые сообщества
  2. Планирование операций над данными
  3. Блочные сервисы визуализации данных
  4. Блочные языки обработки и представления данных
Видео запись
Среды и средства, которые поддерживают учебный курс BehaviorSpace, NetLogo, Scratch, Snap!, Сообщество Scratch, CODAP, RStudio, RAWGraphs
Книги, на которых основывается учебный курс


Составляющие курса

Составляющие поля совместной деятельности

UML диаграмма - последовательность учебного курса

С какими данными и что мы будем делать

Источники и типы данных, которые мы извлекаем или порождаем - информационные системы организаций, библиографические системы, сетевые опросы, игры, симуляции, сетевые сообщества

Собственные данные вики и их визуализация

Dashboard
Страниц Статей Редактирований Участников Файлов
4233 1195 22688 605 857

Библиографические данные

Пример работы

Zotero + ACM https://m.youtube.com/watch?v=vNvRVTWYwlw

Библиографический датасет 1

Внешние данные

  1. https://corgis-edu.github.io/corgis/
    1. https://corgis-edu.github.io/corgis/csv/graduates/
        1. https://corgis-edu.github.io/corgis/datasets/csv/graduates/graduates.csv


См. Категория:Dataset


Выращивание данных

Как вырастить данные в искусственном сообществе

Многое как данные на примере Snap!

Планирование операций над данными

Планирование действий над данными при помощи UML диаграмм

Категория:Diagrams


Сетевые сервисы визуализации

Использование быстрых сетевых сервисов анализа и интерпретации данных – RAWGraphs, CODAP, NetBlox. Выбор способов представления данных

Задание с RAWGraphs

Патаракин Е. Д. Выращивание и Анализ Данных в Веб Красноярск - Сибирский федеральный университет, 2021.C. 238–242.
https://elibrary.ru/item.asp?id=46644731
https://www.slnova.org/patarakin/projects/694467/

Обработка, очистка

Обработка, очистка и манипуляции с данными

  • В Snap!
  • в пакетах R и Python – использование tidyverse & tidygraph

Мы берём исходный датасет - Cities (dataset)‎‎


Название Страна Население
Voronezh RU 1047549
Samara RU 1163399
Kazan RU 1243500
Rostov-na-Donu RU 1130305
Nizhniy Novgorod RU 1259013
Moscow RU 10381222
Saint Petersburg RU 5351935
Volgograd RU 1013533
Omsk RU 1172070
Yekaterinburg RU 1495066
Ufa RU 1120547
Chelyabinsk RU 1202371
Novosibirsk RU 1612833
Krasnoyarsk RU 1090811

Внутри множество городов - миллионников из разных стран. И у всех координаты в виде

Пример очистки и преобразования данных:

Статистический анализ и интерпретация данных

Основные операции статистического анализа - Анализ данных

Экспорт результатов

Подготовка результатов для публикаций, создание выполняемых публикаций и динамических визуализаций

Литература

Тексты на поле вычислительной дидактики

Дополнительная литература

  1. Патаракин Е.Д., Ярмахов Б.Б. Выращивание данных для школьных виртуальных лабораторий // Вестник Российского Университета Дружбы Народов. Серия: Информатизация Образования. 2021. Vol. 18, № 4. c. 347–359.
  2. Патаракин Е.Д., Вачкова С.Н. Сетевой анализ коллективных действий над цифровыми образовательными объектами // Вестник Московского Городского Педагогического Университета. Серия: Педагогика И Психология. 2019. № 4 (50). c. 101–112.

Видеоматериалы

Критерии оценки по дисциплине

Образовательный результат Тема Задание Пример
Знает особенности типов и источников данных Примеры источников данных Найти, оформить, вырастить данные для дальнейшего анализа В категории статей о датасетах Category:Dataset
планировать процесс обработки, визуализации, анализа и интерпретации данных при помощи UML Планирование операций над данными Создать схему цикла работы с данными Пример
Умеет использовать сетевые сервисы для экспресс-анализа и интерпретации данных Сетевые сервисы визуализации Использовать экспресс-методы RAWGraphs, CODAP, graphviz - примеры использования
Обработать и очистить данные Обработка, очистка Подготовить и видоизменить данные Примеры видоизменения данных в Snap!, R, Python
Операции статистического анализа Статистический анализ и интерпретация данных Операции над собственным датасетом Готовые датасеты Category:Dataset
Подготовка выполняемой публикации Экспорт результатов Операции над собственным датасетом Выполняемая публикация
Источник — http://digida.mgpu.ru/index.php?title=Анализ_и_интерпретация_данных_(syllabus)&oldid=18393