Анализ и интерпретация данных (syllabus)
Материал из Поле цифровой дидактики
Версия от 15:20, 14 мая 2024; Patarakin (обсуждение | вклад) (→Тексты на поле вычислительной дидактики)
| Планируемые результаты обучения (Знать, Уметь, Владеть) | В результате освоения дисциплины слушатель должен:
|
|---|---|
| Содержание разделов курса | Разделы:
|
| Видео запись | |
| Среды и средства, которые поддерживают учебный курс | BehaviorSpace, NetLogo, Scratch, Snap!, Сообщество Scratch, CODAP, RStudio, RAWGraphs |
| Книги, на которых основывается учебный курс |
Составляющие курса
Составляющие поля совместной деятельности
Файл mwstore://local-backend/local-public/diagrams/archive/20250402191935!Diagrams_8248ecfdb031d190de4c02a9e3885d16.png уже существует.
UML диаграмма - последовательность учебного курса
Diagrams error (with plantuml command): /bin/bash: line 1: plantuml: command not found
С какими данными и что мы будем делать
Источники и типы данных, которые мы извлекаем или порождаем - информационные системы организаций, библиографические системы, сетевые опросы, игры, симуляции, сетевые сообщества
Собственные данные вики и их визуализация
| Страниц | Статей | Редактирований | Участников | Файлов |
|---|---|---|---|---|
| 4734 | 1326 | 28209 | 954 | 1031 |
Библиографические данные
Zotero + ACM https://m.youtube.com/watch?v=vNvRVTWYwlw
Внешние данные
Выращивание данных
Как вырастить данные в искусственном сообществе
Многое как данные на примере Snap!
Планирование операций над данными
Планирование действий над данными при помощи UML диаграмм
Диаграммы классов
Диаграмма последовательности
Сетевые сервисы визуализации
Использование быстрых сетевых сервисов анализа и интерпретации данных – RAWGraphs, CODAP, NetBlox. Выбор способов представления данных
Задание с RAWGraphs
- Патаракин Е. Д. Выращивание и Анализ Данных в Веб Красноярск - Сибирский федеральный университет, 2021.C. 238–242.
- https://elibrary.ru/item.asp?id=46644731
- https://www.slnova.org/patarakin/projects/694467/
Обработка, очистка
Обработка, очистка и манипуляции с данными
Мы берём исходный датасет - Cities (dataset)
| Название | Страна | Население |
|---|---|---|
| Voronezh | RU | 1047549 |
| Samara | RU | 1163399 |
| Kazan | RU | 1243500 |
| Rostov-na-Donu | RU | 1130305 |
| Nizhniy Novgorod | RU | 1259013 |
| Moscow | RU | 10381222 |
| Saint Petersburg | RU | 5351935 |
| Volgograd | RU | 1013533 |
| Omsk | RU | 1172070 |
| Yekaterinburg | RU | 1495066 |
| Ufa | RU | 1120547 |
| Chelyabinsk | RU | 1202371 |
| Novosibirsk | RU | 1612833 |
| Krasnoyarsk | RU | 1090811 |
Внутри множество городов - миллионников из разных стран. И у всех координаты в виде
Пример очистки и преобразования данных:
Статистический анализ и интерпретация данных
Основные операции статистического анализа - Анализ данных
Экспорт результатов
Подготовка результатов для публикаций, создание выполняемых публикаций и динамических визуализаций
Литература
Тексты на поле вычислительной дидактики
| Description | Environment | |
|---|---|---|
| 20 things to do | The concept of "Twenty Things to Do with a Computer," originally presented by Seymour Papert and Cynthia Solomon in 1971, highlights various engaging activities that can be accomplished through programming.
| Лого |
| A new kind of science | A New Kind of Science (Наука нового типа) — популярная, отмеченная многими наградами и вызывающая разногласия в оценках книга Стивена Вольфрама. Она содержит эмпирическое и систематическое обсуждение таких вычислительных систем, как клеточный автомат. Вольфрам называет эти системы простыми программами и утверждает, что научная философия и методы, применимые для изучения простых программ, также являются применимыми и в других областях науки. Основными положениями книги A New Kind of Science являются утверждение, что природу вычислений необходимо изучать экспериментально, а также утверждение, что результаты этих экспериментов имеют большое значение для понимания окружающего мира, который предполагается дискретным. | Wolfram |
| APIs for social scientists: A collaborative review | В книге представлено множество API социальных сетей и основы их использования. В статье по этой книге собраны примеры API и особенности работы с ними. Код а книге - R | R RStudio API |
| Agent-Based and Individual-Based Modeling: A Practical Introduction | Подробное руководство по дизайну экспериментов в среде Netlogo с использованием BehaviorSpace и использованием ODD принципов
| NetLogo BehaviorSpace Mesa |
| An Introduction to Agent-Based Modeling: Modeling Natural, Social, and Engineered Complex Systems with NetLogo | Введение в моделирование систем при помощи языка NetLogo (от создателя языка) - использование NetLogo в естественно-научном, инженерном и общественном образовании | NetLogo |
| App Inventor 2 (book) | App Inventor 2 Create Your Own Android Apps // Wolber, D., Abelson, H., Spertus, E., & Looney, L. (2011). App Inventor. O’Reilly Media, Inc. | App Inventor Thunkable |
| As We May Think | «Как Мы Можем Мыслить» — визионерское эссе, написанное Бушем в 1945 году, предвидевшее многие аспекты информационного общества. Оно было впервые опубликовано в журнале The Atlantic в июле 1945 года и переиздано в сокращённом варианте в сентябре 1945 — до и после атомной бомбардировки Хиросимы и Нагасаки. Буш выражает свою обеспокоенность тем, что усилия науки направлены на разрушение, вместо понимания. Он выражает надежду на создание гипотетической гипертекстовой системы, названной Бушем «Мемекс». По мнению учёного, такая система сделала бы знания более доступными. Буш надеялся, что создание такой системы превратит информационный взрыв во взрыв знаний. | Гипертекст WWW |
| Awash in Data | Есть базовые идеи и способы мышления, которые вы можете испытать прямо сейчас — и это то, что, как мы надеемся, даст вам эта книга. Мы будем использовать наборы данных среднего размера — максимум несколько тысяч случаев за раз, вместе с несколькими методами здравого смысла и платформой данных с функцией перетаскивания, чтобы помочь вам получить представление о том, как пахнет наука о данных, за неимением лучшего термина. Когда вы закончите, вы сможете использовать этот «тест на запах», чтобы распознать проблему науки о данных; вы будете иметь лучшее представление о том, что вошло в данные, которые вы видите и используете, что сделает вас более критичным и компетентным гражданином; и вы сможете лучше изучать науку о данных всерьез, если захотите. | CODAP |
| Blown to Bits | Blown to Bits - часто встречающаяся в учебных курсах по компьютерным дисциплинам книга Абельсона | Scheme |
| Children Learning to Code | В книге собраны различные международные практики обучения детей программированию. Различные обучающие среды, образовательные стандарты. Особое внимание уделено развитию среды Scratch в России - одним из побочных результатов книги стал рост числа участников сообщества Scratch в России. Проект был поддержан Всемирным Банком и МГПУ. ; На русском языке
| Scratch |
| Communities of Practice | Книга - описание сообщества практики или деятельностного сообщества, в котором отношения между людьми выстраиваются на основе объектов, которыми мы пользуемся вместе.
| Community of Practice (model) |
| Computer Science Logo Style | Трехтомник -учебник по программированию в стиле Лого от Брайна Харви | Snap! Лого Scheme |
| Computer Science with Snap! by Examples | Описание структур данных и алгоритмов, которые можно исследовать в среде Snap! | Snap! |
| Growing Artificial Societies: Social Science From the Bottom Up (Complex Adaptive Systems) | Первая книга о выращивании искусственных сообществ. В книге представлена модель Sugarscape - простое искусственное общество, в котором агенты живут на двухмерной сетке и взаимодействуют друг с другом на основе правил, регулирующих передвижение, размножение и торговлю. Модель Sugarscape служит основой для изучения различных социальных явлений, таких как возникновение распределения богатства, передача культуры, сотрудничество и конфликты.
| NetLogo StarLogo Nova |
| Head First. Паттерны проектирования | Руководство по использованию паттернов проектирования | Java |
| How to Design Programs | How to Design Programs (HtDP) is a textbook on the systematic design of computer programs. (Racket) | Scheme Racket |
| Individual-Based Models of Cultural Evolution: A Step-by-Step Guide Using R | Книга показывает как создавать агентно-ориентированные модели или ABM культурной эволюции. В тексте книги используется код на языке программирования R. От очень простых моделей основных процессов культурной эволюции, таких как предвзятая передача и культурная мутация, к более сложным темам, таким как эволюция социального обучения, демографические эффекты и анализ социальных сетей. | R Ggplot |
| Interactive web-based data visualization with R, plotly, and shiny | Книга по разработке приложений в веб среде на основе языка R + Plotly + Shiny It makes heavy use of plotly for rendering graphics, but you’ll also learn about other R packages that augment a data science workflow, such as the tidyverse and shiny | R RStudio Shiny |
| Inventive Minds: Marvin Minsky on Education | Сборник эссе Марвина Минского об образовании и программировании | Лого |
| Learn ggplot2 using Shiny App | Сетевая книга по освоению приемов работы с пакетом ggplot2 языка R в среде Shiny | R RStudio Shiny |
| Learn2love | Книга "learn2love" – это пособие, предназначенное для обучения программированию с нуля на Lua и LÖVE. Она охватывает основы информатики и навыки разработки программного обеспечения, уделяя особое внимание обучению самостоятельному решению проблем и созданию решений. Автор, Джей Томас, делится своим опытом и лучшими практиками, чтобы помочь читателям избежать распространенных ошибок. Книга находится в процессе разработки, и любой желающий может внести свой вклад. | Lua Love2d Replit |
| Literacy and Education | Literacy and Education tells the story of how literacy—starting in the early 1980s—came to be seen not as a mental phenomenon, but as a social and cultural one. In this accessible introductory volume, acclaimed scholar James Paul Gee shows readers how literacy "left the mind and wandered out into the world." He traces the ways a sociocultural view of literacy melded with a social view of the mind and speaks to learning in and out of school in new and powerful ways. Gee concludes by showing how the very idea of "literacy" has broadened into new literacies with words, signs, and deeds in contexts enhanced, augmented, and transformed by new technologies. | Gamestar Mechanic |
| Mastering Shiny: Build Interactive Apps, Reports, and Dashboards Powered by R | Книга о создании аналитических веб-приложений на языке R в среде Shiny | R Shiny |
| Mindstorms | Mindstorms: Children, Computers, And Powerful Ideas - .. через бездну, разделяющую естественнонаучную, техническую культуру с культурой гуманитарной, необходимо перекинуть мост. И я думаю, что главным в конструкции такого моста может стать задача, как придать компьютерную форму плодотворным идеям, одинаково важным как поэту, так и инженеру. В моем понимании компьютер действует как переходный объект по установлению связей, которые в конечном счете оказываются связями между одной личностью и другой. Существуют матофобы, т. е. люди, не признающие математики, с очень развитой координацией движений собственного тела, и есть матофилы, т. е. люди, увлеченные математикой, никогда не вспоминающие о сенсомоторном происхождении своих математических знаний. Черепашка навела мост. Она стала посредником, объединившим в себе элементы геометрии тела с формальной геометрией. Осмысление жонглирования как структурного программирования помогло навести мосты между теми, у кого прекрасно развито матетическое чувство физических навыков, и теми, кто знает, как должна быть организована задача по написанию исторического эссе. Жонглирование и написание эссе, если смотреть на конечный результат, мало чем похожи друг на друга. Но процесс овладения обоими навыками во многом совпадает. | Лого Lego Mindstorms |
| Modeling Social Behavior: Mathematical and Agent-Based Models of Social Dynamics and Cultural Evolution | Социальные, поведенческие и когнитивные науки исторически полагались на силу слова. Слова имеют силу. Богатые аналогии могут найти отклик в умах читателей и пролить свет на тайны природы. Я говорю о вербальных теориях, описательных объяснениях сложных явлений. Большинство теорий, вероятно, более точны, чем поэтичны, но они, как правило, опираются на свойство большинства языков, согласно которому фраз могут нести в себе несколько возможных импликатур — рассмотрим, например, такие слова, как «восприятие», «категория», «идентичность», «тождественность» обучение» и даже «реакция» достаточно двусмысленны, чтобы допускать множество интерпретаций. То есть язык по своей сути (и адаптивно) расплывчат и двусмыслен. В конечном счете, это проблема для ученых, потому что нам нужно предельно четко понимать, о чем мы говорим, чтобы выдвинуть полезные теории Вселенной. | NetLogo BehaviorSpace R ODD принципы Центральная предельная теорема |
| Open Sources: Voices from the Open Source Revolution | Книга, в создании которой принимали участие разработчики программного обеспечения. Создатель Perl - Larry Wall, Tim O'Reily и многие другие | Perl PHP |
| Outstanding User Interfaces with Shiny | A book about deeply customizing Shiny app for production. | R Shiny |
| Perceptrons: an introduction to computational geometry | Книга «Перцептроны» (англ. Perceptrons: an introduction to computational geometry) — написана Марвином Минским и Сеймуром Папертом, издана в 1969. Книга видных американских ученых посвящена параллельным вычислительным устройствам, известным под названием персептронов. В ней на примере нескольких конкретных задач распознавания "геометрических" свойств графических изображений подробно проанализированы принципиальные возможности подобных схем, рассмотрены вопросы, связанные с обучением персептронов, в частности длительность процесса обучения, эффективность схемы как адаптивного запоминающего устройства и т. п., а также исследованы потенциальные возможности персептронов как обучающихся распознающих устройств.  | Генеративный искусственный интеллект |
| R for Data Science | Подробное руководство по использованию языка R для обработки, модификации, визуализации и программировании данных | Анализ данных R RStudio |
| Simply Scheme: Introducing Computer Science | Введение в программирование с простой версией языка Scheme - иметь в виду, что Snap! это Scheme, прикидывающаяся Scratch | Snap! Scheme |
| Sorting Things Out | Книга Джеффри С. Боукера и Сьюзан Ли Стар исследует роль классификаций и стандартов в формировании современного мира. Авторы анализируют различные системы классификации, такие как Международная классификация болезней, классификация рас в Южной Африке во время апартеида и классификация вирусов. Основное внимание уделяется тому, как категории формируют человеческое взаимодействие, а также тому, как многие из этих категорий остаются невидимыми. Боукер и Стар подчеркивают, что стандарты и классификации не только упрощают информацию, но и создают моральные и политические последствия, поскольку они могут давать преимущество одним группам людей в ущерб другим. Книга также рассматривает классификацию как часть построенной информационной среды, аналогично тому, как историк изучает разрешения на строительство и зонирование для понимания истории города. | MediaWiki Community of Practice (model) |
| Structure and Interpretation of Computer Programs | It is known as the "Wizard Book" in hacker culture | Snap! Lisp Scheme |
| The Media Equation: How People Treat Computers, Television, and New Media Like Real People and Places | Многочисленные примеры, подтверждающие, что люди воспринимают компьютерные программы, машины и радиопередачи так, как будто это живые и человеческие существа. | ChatGPT |
| The Wiki Way: Quick Collaboration on the Web | Первая книга о том, как устроена среда вики и как её использовать. Описано устройство WikiWiki движка и идеология среды совместного редактирования Книга о том, как устроен вики движок и как организовано взаимодействие участников | Wikipedia Semantic MediaWiki Wiki (инструмент) |
| Thinking Like a Tree | Thinking Like a Tree (and Other Forms of Ecological Thinking ) Мы можем сказать, что дерево следует стратегии TREE - T- test - пробуй, R - randomly - случайно, E-evaluate - оценивай (определяй, какие из корней нашли лучшую почву), E-elect - выбирай (направление, куда будем двигаться). Конечно, шагающее дерево в действительности не выбирает и не принимает решение, куда двигаться. Но, этот способ размышления о дереве, следующем определенной стратегии поведения, может оказаться полезным. | NetLogo StarLogo Nova Flocking (model) |
| Tidy Modeling with R | Руководство по созданию и использованию моделей при помощи пакетов из пространства tidyverse: recipes, parsnip, workflows, yardstick, and others. | R RStudio R for Data Science |
| Turtle Geometry: The Computer as a Medium for Exploring Mathematics | Одна из первых книг посвящённых использованию компьютеров в обучении математике. Она была опубликована в 1981 году и стала Книга описывает использование черепахи - графического объекта, который движется по экрану компьютера - для исследования геометрии и математических концепций. Авторы предлагают использовать черепаху для создания графических изображений, которые могут помочь студентам лучше понять математические концепции. Книга стала классикой в области обучения математике с использованием компьютеров и продолжает быть популярной среди преподавателей и учащихся по всему миру.
| Лого |
| Turtles, termites, and traffic jams: explorations in massively parallel microworld | Книга "Черепахи, термиты и дорожные пробки: исследования в микромире массово-параллельных вычислений" Децентрализованный подход к феноменам окружающего мира - на основе использования микромира с тысячами черепашек | NetLogo StarLogo Nova Scratch StarLogo |
| Using Prototypical Objects to Implement Shared Behavior in Object Oriented Systems | Статья о прототипировании объектов в объектно-ориентированном программировании | Snap! JavaScript Наследование Делегирование |
| What Is ChatGPT Doing ... and Why Does It Work? | Книга, в которой Вольфрам разбирает возможности генеративного искусственного интеллекта | Wolfram ChatGPT Генеративный искусственный интеллект |
| What video games have to teach us about learning and literacy | Джи рассказывает об игровой грамотности и тому, как происходит обучение в гибриде (я-игрок + моё компьютерное расширение) | Gamestar Mechanic |
| Working with MediaWiki | Подробное и современное руководство по среде MediaWiki - с описанием форм, шаблонов, свойства | Semantic MediaWiki MediaWiki |
| Кибернетика и общество | Норберт Винер Кибернетика и общество Издательство Иностранной Литературы, М. 1958 г. | Информатика Кибернетический манифест |
| Классификация, регрессия и другие алгоритмы Data Mining с использованием R | Описана широкая совокупность методов построения статистических моделей классификации и регрессии для откликов, измеренных в альтернативной, категориальной и метрической шкалах. Подробно рассматриваются деревья решений, машины опорных векторов с различными разделяющими поверхностями, нелинейные формы дискриминантного анализа, искусственные нейронные сети и т.д. | R |
| Мировой суперорганизм | Франсис Хейлиген Мировой Суперорганизм: эволюционно-кибернетическая модель возникновения сетевого сообщества | Гипертекст |
| Мифический человеко-месяц или как создаются программные системы | Библии для разработчиков программного обеспечения во всем мире.
| Технология программирования Язык высокого уровня Объектно-ориентированное программирование |
| Незримый колледж МЭШ | Статья, в которой понятие незримого колледжа применяется к сообществу учителей, сотрудничающих внутри репозитория московской электронной школы. | NetLogo BehaviorSpace R RStudio |
| Объекты и пространства | Использование объектов само создает пространственные условия возможности и невозможности. Пространственности порождаются и приводятся в действие расположенными в них объектами – именно этим определяются границы возможного. (Следуя первому утверждению, стоит упомянуть, что пространственные возможности по своему характеру также множественны.) Существуют различные формы пространственностей; те, о которых говорим мы, включают в себя регионы, сети и потоки. В-третьих, я предполагаю, что эти пространственности и объекты, которые заполняют и создают их, плохо совместимы, т.е. находятся в напряженных отношениях. | Карта Макроскоп |
| Оркестр играет без дирижера: размышления об эволюции некоторых технических систем и управлении ими | Мир, создаваемый человеком в технических системах во многом похож на тот, который окружает человека в природе. И в искусственном мире техники могут происходить процессы, подобные эволюции живых организмов. Возникают колонии и сообщества технических систем, формируются «сверхорганизмы» типа муравейника, возникают «коллективы», живущие по своим законам. | Технология программирования |
| Программирование — вторая грамотность | Выступление А.П. Ершова (keynote speech) на 3-й Всемирной конференции ИФИП и ЮНЕСКО по применению ЭВМ в обучении в свое время получило широкий резонанс, его текст неоднократно издавался на разных языках, но ни разу не был опубликован с иллюстрациями, специально подготовленными для этого доклада, которые мы и предлагаем сегодня вашему вниманию. | Социотехническая система |
| … следующие результаты | ||
Дополнительная литература
- Патаракин Е.Д., Ярмахов Б.Б. Выращивание данных для школьных виртуальных лабораторий // Вестник Российского Университета Дружбы Народов. Серия: Информатизация Образования. 2021. Vol. 18, № 4. c. 347–359.
- Патаракин Е.Д., Вачкова С.Н. Сетевой анализ коллективных действий над цифровыми образовательными объектами // Вестник Московского Городского Педагогического Университета. Серия: Педагогика И Психология. 2019. № 4 (50). c. 101–112.
Видеоматериалы
Критерии оценки по дисциплине
| Образовательный результат | Тема | Задание | Пример |
|---|---|---|---|
| Знает особенности типов и источников данных | Примеры источников данных | Найти, оформить, вырастить данные для дальнейшего анализа | В категории статей о датасетах Category:Dataset |
| планировать процесс обработки, визуализации, анализа и интерпретации данных при помощи UML | Планирование операций над данными | Создать схему цикла работы с данными | Пример |
| Умеет использовать сетевые сервисы для экспресс-анализа и интерпретации данных | Сетевые сервисы визуализации | Использовать экспресс-методы | RAWGraphs, CODAP, graphviz - примеры использования |
| Обработать и очистить данные | Обработка, очистка | Подготовить и видоизменить данные | Примеры видоизменения данных в Snap!, R, Python |
| Операции статистического анализа | Статистический анализ и интерпретация данных | Операции над собственным датасетом | Готовые датасеты Category:Dataset |
| Подготовка выполняемой публикации | Экспорт результатов | Операции над собственным датасетом | Выполняемая публикация |
