Анализ и интерпретация данных (syllabus)

Планируемые результаты обучения (Знать, Уметь, Владеть)	В результате освоения дисциплины слушатель должен: Знать особенности типов и источников данных Уметь планировать процесс обработки, визуализации, анализа и интерпретации данных при помощи UML диаграмм (plantUML, MerMaid) использовать сетевые сервисы для экспресс-анализа и интерпретации данных (RAWGraphs) очищать, обрабатывать и видоизменять данные, приводя их к опрятному виду tidy data (Snap!, R) совершать операции статистического анализа Владеть навыками выстраивания процесс анализа и интерпретации данных от исходных сырых данных до публикации отчета или статьи навыками выращивания данных в искусственных сообществах (NetLogo, GAMA)
Содержание разделов курса	Разделы: Источники и типы данных, которые мы извлекаем или порождаем - информационные системы организаций, библиографические системы, сетевые опросы, игры, симуляции, сетевые сообщества Планирование операций над данными Блочные сервисы визуализации данных Блочные языки обработки и представления данных
Видео запись
Среды и средства, которые поддерживают учебный курс	BehaviorSpace, NetLogo, Scratch, Snap!, Сообщество Scratch, CODAP, RStudio, RAWGraphs
Книги, на которых основывается учебный курс

Составляющие курса

Составляющие поля совместной деятельности

UML диаграмма - последовательность учебного курса

С какими данными и что мы будем делать

Источники и типы данных, которые мы извлекаем или порождаем - информационные системы организаций, библиографические системы, сетевые опросы, игры, симуляции, сетевые сообщества

Собственные данные вики и их визуализация

Dashboard

Страниц	Статей	Редактирований	Участников	Файлов
6066	1681	37209	1663	1376

---

Библиографические данные

Пример работы

Zotero + ACM https://m.youtube.com/watch?v=vNvRVTWYwlw

Библиографический датасет 1

Внешние данные

1. https://corgis-edu.github.io/corgis/
   1. https://corgis-edu.github.io/corgis/csv/graduates/
      1. 1. https://corgis-edu.github.io/corgis/datasets/csv/graduates/graduates.csv

См. Категория:Dataset

Выращивание данных

Как вырастить данные в искусственном сообществе

Планирование операций над данными

Планирование действий над данными при помощи UML диаграмм

Категория:Diagrams

Сетевые сервисы визуализации

Использование быстрых сетевых сервисов анализа и интерпретации данных – RAWGraphs, CODAP, NetBlox. Выбор способов представления данных

Задание с RAWGraphs

Патаракин Е. Д. Выращивание и Анализ Данных в Веб Красноярск - Сибирский федеральный университет, 2021.C. 238–242.

https://elibrary.ru/item.asp?id=46644731

https://www.slnova.org/patarakin/projects/694467/

Обработка, очистка

Обработка, очистка и манипуляции с данными

• В Snap!
• в пакетах R и Python – использование tidyverse & tidygraph

Мы берём исходный датасет - Cities (dataset)‎‎

Название	Страна	Население
Voronezh	RU	1047549
Samara	RU	1163399
Kazan	RU	1243500
Rostov-na-Donu	RU	1130305
Nizhniy Novgorod	RU	1259013
Moscow	RU	10381222
Saint Petersburg	RU	5351935
Volgograd	RU	1013533
Omsk	RU	1172070
Yekaterinburg	RU	1495066
Ufa	RU	1120547
Chelyabinsk	RU	1202371
Novosibirsk	RU	1612833
Krasnoyarsk	RU	1090811

Внутри множество городов - миллионников из разных стран. И у всех координаты в виде

Пример очистки и преобразования данных:

• https://snap.berkeley.edu/snap/snap.html#present:Username=patarakin&ProjectName=BigCities

Статистический анализ и интерпретация данных

Основные операции статистического анализа - Анализ данных

Экспорт результатов

Подготовка результатов для публикаций, создание выполняемых публикаций и динамических визуализаций

Литература

Тексты на поле вычислительной дидактики

	Description	Environment
20 things to do	The concept of "Twenty Things to Do with a Computer," originally presented by Seymour Papert and Cynthia Solomon in 1971, highlights various engaging activities that can be accomplished through programming. Make a Turtle Program the Turtle to Draw a Man Turtle Biology Make a Display Turtle Play Spacewar Differential Geometry Draw Spirals Have a Heart (and learn to DEBUG) Growf lowers Make a Movie Make A Music Box and Program A Tune Play with Semi-Random Musical Effects and then Try Serious Composing Computerize an Erector Set Crane and Build a Tower of Blocks Make a Super Light Show Write Concrete Poetry Try C.A.I. (Computer-Assisted Instruction) and Psychology Physics in the Finger-Tips Explain Yourself Puppets Recursion Line	Лого
A new kind of science	A New Kind of Science (Наука нового типа) — популярная, отмеченная многими наградами и вызывающая разногласия в оценках книга Стивена Вольфрама. Она содержит эмпирическое и систематическое обсуждение таких вычислительных систем, как клеточный автомат. Вольфрам называет эти системы простыми программами и утверждает, что научная философия и методы, применимые для изучения простых программ, также являются применимыми и в других областях науки. Основными положениями книги A New Kind of Science являются утверждение, что природу вычислений необходимо изучать экспериментально, а также утверждение, что результаты этих экспериментов имеют большое значение для понимания окружающего мира, который предполагается дискретным.	Wolfram
APIs for social scientists: A collaborative review	В книге представлено множество API социальных сетей и основы их использования. В статье по этой книге собраны примеры API и особенности работы с ними. Код а книге - R	R RStudio API
Agent-Based and Individual-Based Modeling: A Practical Introduction	Подробное руководство по дизайну экспериментов в среде Netlogo с использованием BehaviorSpace и использованием ODD принципов	NetLogo BehaviorSpace Mesa
An Introduction to Agent-Based Modeling: Modeling Natural, Social, and Engineered Complex Systems with NetLogo	Введение в моделирование систем при помощи языка NetLogo (от создателя языка) - использование NetLogo в естественно-научном, инженерном и общественном образовании	NetLogo
App Inventor 2 (book)	App Inventor 2 Create Your Own Android Apps // Wolber, D., Abelson, H., Spertus, E., & Looney, L. (2011). App Inventor. O’Reilly Media, Inc.	App Inventor Thunkable
As We May Think	«Как Мы Можем Мыслить» — визионерское эссе, написанное Бушем в 1945 году, предвидевшее многие аспекты информационного общества. Оно было впервые опубликовано в журнале The Atlantic в июле 1945 года и переиздано в сокращённом варианте в сентябре 1945 — до и после атомной бомбардировки Хиросимы и Нагасаки. Буш выражает свою обеспокоенность тем, что усилия науки направлены на разрушение, вместо понимания. Он выражает надежду на создание гипотетической гипертекстовой системы, названной Бушем «Мемекс». По мнению учёного, такая система сделала бы знания более доступными. Буш надеялся, что создание такой системы превратит информационный взрыв во взрыв знаний.	Гипертекст WWW
Awash in Data	Есть базовые идеи и способы мышления, которые вы можете испытать прямо сейчас — и это то, что, как мы надеемся, даст вам эта книга. Мы будем использовать наборы данных среднего размера — максимум несколько тысяч случаев за раз, вместе с несколькими методами здравого смысла и платформой данных с функцией перетаскивания (CODAP), чтобы помочь вам получить представление о том, как пахнет наука о данных, за неимением лучшего термина. Когда вы закончите, вы сможете использовать этот «тест на запах», чтобы распознать проблему науки о данных; вы будете иметь лучшее представление о том, что вошло в данные, которые вы видите и используете, что сделает вас более критичным и компетентным гражданином; и вы сможете лучше изучать науку о данных всерьез, если захотите.	CODAP
Big Data with R	Exploring, Visualizing, and Modeling Big Data with R В образовании имеется огромное количество данных — от записей о студентах и наблюдений преподавателей до результатов тестов. Современные технологии, такие как распознавание лиц и биометрические сигналы, расширяют доступ к визуальной и аудиоинформации о студентах. Мультимодальная аналитика в образовательном тестировании и психометрике позволяет точнее оценивать знания учащихся, одновременно отслеживая их прогресс с помощью аналитики обучения. Анализ логов и времени реакции помогает понять уровень вовлеченности студентов, выявить списывание и наличие предварительных знаний по тестовым заданиям.	R SQL Spark
Blown to Bits	Blown to Bits - часто встречающаяся в учебных курсах по компьютерным дисциплинам книга Абельсона	Scheme
Causal Inference in R	Welcome to Causal Inference in R. Answering causal questions is critical for scientific and business purposes, but techniques like randomized clinical trials and A/B testing are not always practical or successful. The tools in this book will allow readers to better make causal inferences with observational data with the R programming language. By its end, we hope to help you: Ask better causal questions. Understand the assumptions needed for causal inference Identify the target population for which you want to make inferences Fit causal models and check their problems Conduct sensitivity analyses where the techniques we use might be imperfect	R
Causal Inference: The Mixtape	Книга "Causal Inference: The Mixtape" Скотта Каннингема — это современное и практическое введение в методы причинно-следственного вывода, которые позволяют исследователям в социальных науках определить, что именно вызывает те или иные эффекты. Книга посвящена инструментам и методам, с помощью которых можно ответить на вопросы причинно-следственных связей в сложном мире. Например, как повышение минимальной зарплаты влияет на занятость, как дошкольное образование влияет на вероятность заключения в тюрьму в будущем, или как распределение противомалярийных сеток влияет на экономический рост в развивающихся странах.	Causal Inference in R
Children Learning to Code	В книге собраны различные международные практики обучения детей программированию. Различные обучающие среды, образовательные стандарты. Особое внимание уделено развитию среды Scratch в России - одним из побочных результатов книги стал рост числа участников сообщества Scratch в России. Проект был поддержан Всемирным Банком и МГПУ. ; На русском языке Обучение детей программированию: залог развития человеческого капитала в XXI веке. Руководство для российских законодателей и практиков в области образования / – Москва : Алекс (ИП Поликанин А.А.), 2019. – 164 с.	Scratch
Communities of Practice	Книга - описание сообщества практики или деятельностного сообщества, в котором отношения между людьми выстраиваются на основе объектов, которыми мы пользуемся вместе. Для того, чтобы оценить знания мы используем тесты, с которыми студент бьется один на один, где знание должно быть продемонстрировано в отрыве от контекста и где сотрудничество считается жульничеством. Как результат, многие из учебных курсов рассматриваются студентами как неуместные и неподходящие, большинство из нас считает, что учение является скучным и тяжелым и мы для него не приспособлены.	Community of Practice (model)
Computer Science Logo Style	Трехтомник -учебник по программированию в стиле Лого от Брайна Харви	Snap! Лого Scheme
Computer Science with Snap! by Examples	Описание структур данных и алгоритмов, которые можно исследовать в среде Snap!	Snap!
Growing Artificial Societies: Social Science From the Bottom Up (Complex Adaptive Systems)	Первая книга о выращивании искусственных сообществ. В книге представлена модель Sugarscape - простое искусственное общество, в котором агенты живут на двухмерной сетке и взаимодействуют друг с другом на основе правил, регулирующих передвижение, размножение и торговлю. Модель Sugarscape служит основой для изучения различных социальных явлений, таких как возникновение распределения богатства, передача культуры, сотрудничество и конфликты.	NetLogo StarLogo Nova
Head First. Паттерны проектирования	Руководство по использованию паттернов проектирования	Java
How to Design Programs	How to Design Programs (HtDP) is a textbook on the systematic design of computer programs. (Racket)	Scheme Racket
Individual-Based Models of Cultural Evolution: A Step-by-Step Guide Using R	Книга показывает как создавать агентно-ориентированные модели или ABM культурной эволюции. В тексте книги используется код на языке программирования R. От очень простых моделей основных процессов культурной эволюции, таких как предвзятая передача и культурная мутация, к более сложным темам, таким как эволюция социального обучения, демографические эффекты и анализ социальных сетей.	R Ggplot
Interactive web-based data visualization with R, plotly, and shiny	Книга по разработке приложений в веб среде на основе языка R + Plotly + Shiny It makes heavy use of plotly for rendering graphics, but you’ll also learn about other R packages that augment a data science workflow, such as the tidyverse and shiny	R RStudio Shiny
Introduction to Econometrics with R	Введение в эконометрику с R - учебник по эконометрике с использованием языка R - еще на стадии совместного редактирования	R
Introductory Statistics for Economics	Книга "Introductory Statistics for Economics" предназначена для знакомства студентов с базовыми статистическими методами и их применением в экономике. Учебник содержит большое количество практических примеров и упражнений на языке программирования R, что формирует основные навыки данных и статистического анализа. Эти навыки отлично совмещаются с агентным моделированием в NetLogo, ведь полученные инструменты анализа данных и программирования применимы для анализа результатов симуляций и их визуализации.	R
Inventive Minds: Marvin Minsky on Education	Сборник эссе Марвина Минского об образовании и программировании	Лого
Learn ggplot2 using Shiny App	Сетевая книга по освоению приемов работы с пакетом ggplot2 языка R в среде Shiny	R RStudio Shiny
Learn2love	Книга "learn2love" – это пособие, предназначенное для обучения программированию с нуля на Lua и LÖVE. Она охватывает основы информатики и навыки разработки программного обеспечения, уделяя особое внимание обучению самостоятельному решению проблем и созданию решений. Автор, Джей Томас, делится своим опытом и лучшими практиками, чтобы помочь читателям избежать распространенных ошибок. Книга находится в процессе разработки, и любой желающий может внести свой вклад.	Lua Love2d Replit
Learning analytics methods and tutorials: A practical guide using R	Методы учебной аналитики с использованием языка R - открытое руководство с многочисленными примерами и ссылками на образовательные датасеты	R RStudio Аналитика мультимодальная
Literacy and Education	Literacy and Education tells the story of how literacy—starting in the early 1980s—came to be seen not as a mental phenomenon, but as a social and cultural one. In this accessible introductory volume, acclaimed scholar James Paul Gee shows readers how literacy "left the mind and wandered out into the world." He traces the ways a sociocultural view of literacy melded with a social view of the mind and speaks to learning in and out of school in new and powerful ways. Gee concludes by showing how the very idea of "literacy" has broadened into new literacies with words, signs, and deeds in contexts enhanced, augmented, and transformed by new technologies.	Gamestar Mechanic
Mastering Shiny: Build Interactive Apps, Reports, and Dashboards Powered by R	Книга о создании аналитических веб-приложений на языке R в среде Shiny	R Shiny
Mindstorms	Mindstorms: Children, Computers, And Powerful Ideas - .. через бездну, разделяющую естественнонаучную, техническую культуру с культурой гуманитарной, необходимо перекинуть мост. И я думаю, что главным в конструкции такого моста может стать задача, как придать компьютерную форму плодотворным идеям, одинаково важным как поэту, так и инженеру. В моем понимании компьютер действует как переходный объект по установлению связей, которые в конечном счете оказываются связями между одной личностью и другой. Существуют матофобы, т. е. люди, не признающие математики, с очень развитой координацией движений собственного тела, и есть матофилы, т. е. люди, увлеченные математикой, никогда не вспоминающие о сенсомоторном происхождении своих математических знаний. Черепашка навела мост. Она стала посредником, объединившим в себе элементы геометрии тела с формальной геометрией. Осмысление жонглирования как структурного программирования помогло навести мосты между теми, у кого прекрасно развито матетическое чувство физических навыков, и теми, кто знает, как должна быть организована задача по написанию исторического эссе. Жонглирование и написание эссе, если смотреть на конечный результат, мало чем похожи друг на друга. Но процесс овладения обоими навыками во многом совпадает.	Лого Lego Mindstorms
Modeling Social Behavior: Mathematical and Agent-Based Models of Social Dynamics and Cultural Evolution	Социальные, поведенческие и когнитивные науки исторически полагались на силу слова. Слова имеют силу. Богатые аналогии могут найти отклик в умах читателей и пролить свет на тайны природы. Я говорю о вербальных теориях, описательных объяснениях сложных явлений. Большинство теорий, вероятно, более точны, чем поэтичны, но они, как правило, опираются на свойство большинства языков, согласно которому фраз могут нести в себе несколько возможных импликатур — рассмотрим, например, такие слова, как «восприятие», «категория», «идентичность», «тождественность» обучение» и даже «реакция» достаточно двусмысленны, чтобы допускать множество интерпретаций. То есть язык по своей сути (и адаптивно) расплывчат и двусмыслен. В конечном счете, это проблема для ученых, потому что нам нужно предельно четко понимать, о чем мы говорим, чтобы выдвинуть полезные теории Вселенной.	NetLogo BehaviorSpace R ODD принципы Центральная предельная теорема
Open Sources: Voices from the Open Source Revolution	Книга, в создании которой принимали участие разработчики программного обеспечения. Создатель Perl - Larry Wall, Tim O'Reily и многие другие	Perl PHP
Outstanding User Interfaces with Shiny	A book about deeply customizing Shiny app for production.	R Shiny
Perceptrons: an introduction to computational geometry	Книга «Перцептроны» (англ. Perceptrons: an introduction to computational geometry) — написана Марвином Минским и Сеймуром Папертом, издана в 1969. Книга видных американских ученых посвящена параллельным вычислительным устройствам, известным под названием персептронов. В ней на примере нескольких конкретных задач распознавания "геометрических" свойств графических изображений подробно проанализированы принципиальные возможности подобных схем, рассмотрены вопросы, связанные с обучением персептронов, в частности длительность процесса обучения, эффективность схемы как адаптивного запоминающего устройства и т. п., а также исследованы потенциальные возможности персептронов как обучающихся распознающих устройств.	Генеративный искусственный интеллект
R for Data Science	Подробное руководство по использованию языка R для обработки, модификации, визуализации и программировании данных	Анализ данных R RStudio
Simply Scheme: Introducing Computer Science	Введение в программирование с простой версией языка Scheme - иметь в виду, что Snap! это Scheme, прикидывающаяся Scratch	Snap! Scheme
Sorting Things Out	Книга Джеффри С. Боукера и Сьюзан Ли Стар исследует роль классификаций и стандартов в формировании современного мира. Авторы анализируют различные системы классификации, такие как Международная классификация болезней, классификация рас в Южной Африке во время апартеида и классификация вирусов. Основное внимание уделяется тому, как категории формируют человеческое взаимодействие, а также тому, как многие из этих категорий остаются невидимыми. Боукер и Стар подчеркивают, что стандарты и классификации не только упрощают информацию, но и создают моральные и политические последствия, поскольку они могут давать преимущество одним группам людей в ущерб другим. Книга также рассматривает классификацию как часть построенной информационной среды, аналогично тому, как историк изучает разрешения на строительство и зонирование для понимания истории города.	MediaWiki Community of Practice (model)
Structure and Interpretation of Computer Programs	It is known as the "Wizard Book" in hacker culture	Snap! Lisp Scheme
Text Mining with R	Книга даёт завершённую картину современных аналитических подходов к тексту, систематизируя инструменты R и методику работы с данными на всех этапах анализа.	R Tidytext
The Media Equation: How People Treat Computers, Television, and New Media Like Real People and Places	Многочисленные примеры, подтверждающие, что люди воспринимают компьютерные программы, машины и радиопередачи так, как будто это живые и человеческие существа.	ChatGPT
The Wiki Way: Quick Collaboration on the Web	Первая книга о том, как устроена среда вики и как её использовать. Описано устройство WikiWiki движка и идеология среды совместного редактирования Книга о том, как устроен вики движок и как организовано взаимодействие участников	Wikipedia Semantic MediaWiki Wiki (инструмент)
Thinking Like a Tree	Thinking Like a Tree (and Other Forms of Ecological Thinking ) Мы можем сказать, что дерево следует стратегии TREE - T- test - пробуй, R - randomly - случайно, E-evaluate - оценивай (определяй, какие из корней нашли лучшую почву), E-elect - выбирай (направление, куда будем двигаться). Конечно, шагающее дерево в действительности не выбирает и не принимает решение, куда двигаться. Но, этот способ размышления о дереве, следующем определенной стратегии поведения, может оказаться полезным.	NetLogo StarLogo Nova Flocking (model)
Tidy Modeling with R	Руководство по созданию и использованию моделей при помощи пакетов из пространства tidyverse: recipes, parsnip, workflows, yardstick, and others.	R RStudio R for Data Science
Turtle Geometry: The Computer as a Medium for Exploring Mathematics	Одна из первых книг посвящённых использованию компьютеров в обучении математике. Она была опубликована в 1981 году и стала Книга описывает использование черепахи - графического объекта, который движется по экрану компьютера - для исследования геометрии и математических концепций. Авторы предлагают использовать черепаху для создания графических изображений, которые могут помочь студентам лучше понять математические концепции. Книга стала классикой в области обучения математике с использованием компьютеров и продолжает быть популярной среди преподавателей и учащихся по всему миру. Turtle Geometry presented a computational approach to geometry which has been cited as "the first step in a revolutionary change in the entire teaching/learning process."	Лого
Turtles, termites, and traffic jams: explorations in massively parallel microworld	Книга "Черепахи, термиты и дорожные пробки: исследования в микромире массово-параллельных вычислений" Децентрализованный подход к феноменам окружающего мира - на основе использования микромира с тысячами черепашек	NetLogo StarLogo Nova Scratch StarLogo
Using Prototypical Objects to Implement Shared Behavior in Object Oriented Systems	Статья о прототипировании объектов в объектно-ориентированном программировании	Snap! JavaScript Наследование Делегирование
What Is ChatGPT Doing ... and Why Does It Work?	Книга, в которой Вольфрам разбирает возможности генеративного искусственного интеллекта	Wolfram ChatGPT Генеративный искусственный интеллект
What video games have to teach us about learning and literacy	Джи рассказывает об игровой грамотности и тому, как происходит обучение в гибриде (я-игрок + моё компьютерное расширение). Джи рассказывает о том, что в игре присутствует несколько уровней и сценарий прохождения игры для разных участников всегда разный. Например, он выходит из своего замка и пытается поразить врага и у него не получается и он возвращается и снова собирает войска и опять идет в поход и опять не удается. А на третий раз получается.	Gamestar Mechanic
Working with MediaWiki	Подробное и современное руководство по среде MediaWiki - с описанием форм, шаблонов, свойства	Semantic MediaWiki MediaWiki
Кибернетика и общество	Норберт Винер Кибернетика и общество Издательство Иностранной Литературы, М. 1958 г.	Информатика Кибернетический манифест
… следующие результаты

Дополнительная литература

1. Патаракин Е.Д., Ярмахов Б.Б. Выращивание данных для школьных виртуальных лабораторий // Вестник Российского Университета Дружбы Народов. Серия: Информатизация Образования. 2021. Vol. 18, № 4. c. 347–359.
2. Патаракин Е.Д., Вачкова С.Н. Сетевой анализ коллективных действий над цифровыми образовательными объектами // Вестник Московского Городского Педагогического Университета. Серия: Педагогика И Психология. 2019. № 4 (50). c. 101–112.

Критерии оценки по дисциплине

Образовательный результат	Тема	Задание	Пример
Знает особенности типов и источников данных	Примеры источников данных	Найти, оформить, вырастить данные для дальнейшего анализа	В категории статей о датасетах Category:Dataset
планировать процесс обработки, визуализации, анализа и интерпретации данных при помощи UML	Планирование операций над данными	Создать схему цикла работы с данными	Пример Category:Diagrams Диаграмма_профиля_компетенций Диаграмма формирования компетентного профиля Диаграмма Ганта
Умеет использовать сетевые сервисы для экспресс-анализа и интерпретации данных	Сетевые сервисы визуализации	Использовать экспресс-методы	RAWGraphs, CODAP, graphviz - примеры использования
Обработать и очистить данные	Обработка, очистка	Подготовить и видоизменить данные	Примеры видоизменения данных в Snap!, R, Python
Операции статистического анализа	Статистический анализ и интерпретация данных	Операции над собственным датасетом	Готовые датасеты Category:Dataset
Подготовка выполняемой публикации	Экспорт результатов	Операции над собственным датасетом	Выполняемая публикация