Просмотр кода страницы Программирование и лингвистические данные (syllabus)

{{Curriculum
|Learning_outcomes=Цель курса – формирование у студентов магистерской программы "Информатика и английский язык" системных знаний и практических навыков в области современных методов информационного анализа текстовых данных с использованием открытых программных решений.
; Задачи курса:
* Освоение теоретических основ и методологии информационного анализа текста в, включая понимание принципов обработки естественного языка, статистического анализа текстовых корпусов.
* Развитие практических навыков работы с открытыми программными инструментами, особенно средой R и специализированными пакетами для текстовой аналитики (tidytext, quanteda, tm), а также освоение техник получения текстовых данных через MediaWiki API и другие открытые источники.
* Формирование компетенций интеграции количественных и качественных методов анализа для решения исследовательских.
В результате изучения дисциплины студент должен:
; знать
# Теоретические основы информационного анализа текста
# Современные методы обработки естественного языка и компьютерной лингвистики
# Принципы работы с MediaWiki API и другими источниками текстовых данных
# Основы статистической обработки текстовых корпусов в среде R
; уметь:
# Проводить предобработку и нормализацию текстовых данных (токенизация, стемминг, лемматизация)
# Использовать пакеты R для текстовой аналитики (tidytext, quanteda, tm, stringr)
# Получать и обрабатывать текстовые данные через MediaWiki API
# Применять методы анализа тональности и настроений в текстах
# Проводить психолингвистический анализ текстовых данных
# Визуализировать результаты анализа текста (облака слов, графики частотности, сети).
; владеть:
# Навыками программирования в среде R для решения задач текстовой аналитики
# Методиками интегрированного анализа больших текстовых корпусов
# Инструментами веб-аналитики текста и онлайн-сервисами
|Description=-
; Теоретические основы информационного анализа текста	
: Введение в психолингвистические основы анализа текста. 
: Современные подходы к компьютерной обработке естественного языка. 
: Связь между лингвистикой и информационным анализом текста. 
: Основные направления текстовой аналитики: анализ тональности, тематическое моделирование, анализ стиля. : :Этические аспекты анализа текстовых данных.
;Сравнительный анализ различных подходов к обработке текста
:Работа с примерами психолингвистического анализа
: Обзор современных исследований в области текстовой аналитики
:Основы работы в среде R для анализа текста	
: Установка и настройка среды R и RStudio. Основы синтаксиса R и принципы tidy data. 
: Введение в экосистему tidyverse для анализа данных. 
: Специализированные пакеты для работы с текстом: установка и первое знакомство с tidytext, quanteda, tm. 
: Основные структуры данных для хранения текста в R. 
: Импорт и экспорт текстовых данных различных форматов.
; Предобработка и подготовка текстовых данных	
: Этапы предобработки текстовых данных. Токенизация: разбиение текста на слова, предложения, n-граммы. : Нормализация текста: приведение к нижнему регистру, удаление пунктуации и специальных символов. 
: Работа со стоп-словами для русского и английского языков. Стемминг и лемматизация: принципы и инструменты. Создание корпусов и документно-терминных матриц. Обработка больших текстовых массивов.
; Получение текстовых данных через MediaWiki API
: Введение в MediaWiki API: структура, возможности, ограничения. Основные методы получения содержимого страниц. Работа с различными форматами данных: wikitext, HTML, plain text. Использование пакетов httr и jsonlite для HTTP-запросов в R. Создание функций для автоматического извлечения текстов из Wikipedia. Обработка метаданных и структурированной информации. 
; Статистический анализ и визуализация текстовых данных	
Частотный анализ слов и n-грамм. Статистические метрики в анализе текста: TF-IDF, взаимная информация, коэффициенты ассоциации. Анализ коллокаций и совместной встречаемости слов. Методы визуализации текстовых данных: облака слов, графики частотности, тепловые карты. Сетевой анализ текстов и построение графов слов. Сравнительный анализ текстовых корпусов. Статистические тесты для текстовых данных
|Environment=R, OpenRefine, VOYANT Tools, MediaWiki, MediaWiki API
|Book=APIs for social scientists: A collaborative review, Text Mining with R: A Tidy Approach
}}
* Для студентов группы [[:Категория:ИНФА-221]]

== Последовательность действий ([[PlantUML]]) ==

<uml>
@startuml
skinparam NoteBackgroundColor tan
skinparam backgroundColor white
skinparam activity {
  BackgroundColor lightblue
  BorderColor navy
}

start

:Learning outcomes;\n(Компетенции);
note right
C1: Анализ лингвистических данных
C2: Программирование в R
C3: Работа с корпусами
end note

:Ключевые понятия;\n(Виды данных);
note left
Сырые тексты
Токенизированные
Морфология
Синтаксис
Семантика
Метаданные
Типы корпусов
end note

:Ресурсы;(Книги, сайты);
note right
Text Mining with R
Digida.mgpu.ru
Русский нац. корпус
end note

:Инструменты;\n(Выбор);
note right
Voyant Tools
OpenRefine
MediaWiki API
end note

:Languages;\n(R + GREL);
note right
Основной: R (tidyverse)
Lua
Доп: GREL в OpenRefine
end note

partition "Основной поток" {
  :1. Корпус из digida\n(MediaWiki API);
  
  :2. Очистка\n(OpenRefine);
  
  fork
    :Voyant: Визуализация;
  fork again
    :3. Анализ в R\n(Статистика + ggplot2);
  end fork
  
  :4. Мини-проект\n(CompLing Student Works);
}

:Learning outputs;\n(Результаты обучения);
note left
Интерактивная SMW-страница
R-скрипт + Voyant
Анализ корпуса
Категория проектов
end note

if (Достигнуты ли результаты?) then (нет)
  :Learning Outcomes\nНе достигнуты;
  
  :Провал! ;
  stop
else (да)
  :Learning Outcomes\nДостигнуты;
endif

stop
@enduml
</uml>

=== Пояснения к диаграмме ===
Вы уже хорошо знаете digida.mgpu.ru и умеете встраивать туда Voyant Tools, поэтому мы сразу погрузимся в практический workflow курса "Программирование и лингвистические данные". Навыки, которые вы здесь освоите — работа с MediaWiki API, очистка в OpenRefine, анализ в R — универсальны и применимы к любым открытым MediaWiki-площадкам, от ScratchWiki и образовательных вики до вики научных сообществ. Digida мы понимаем лучше всего, но инструменты курса работают на всем образовательном поле интернета!

Начнем с разбора типов лингвистических данных на живых примерах digida: сырые тексты статьи "[[R (язык программирования)]]", токенизированные слова из категории "[[:Категория:Язык программирования]]", морфологические формы в SMW-свойствах, семантические метки вроде "Лингвистика" в Field of knowledge. Вспомните [[VOYANT Tools]] — встроите апплет в тестовую страницу digida и увидите облако слов из категории "Понятие" или тренды частот ScratchWiki-статей о блочных языках.

Процесс, который потом примените где угодно. Сначала выкачаете корпус через [[MediaWiki API]]: составите запрос на 50–100 страниц из категории digida ("Язык программирования") или ScratchWiki ("Educational Programming"), получите JSON/CSV и загрузите в Voyant для первого обзора. Потом откроете данные в [[OpenRefine]]: фасеты, кластеризация, GREL-формулы — уберете дубликаты, нормализуете регистр, получите чистый CSV с колонками "текст", "категория", "дата".

[[R]]  - основа курса. Напишете скрипты на tidyverse + tidytext: чтение CSV, токенизация, частоты слов/n-грамм, стоп-слова, группировка по метаданным (dplyr), графики [[ggplot2]] (столбчатые диаграммы, boxplot'ы, тепловые карты), статистика (type-token ratio, сравнение частот). Эти скрипты потом будут на любом MediaWiki-корпусе

Завершением будет мини-проект. Выберете подкорпус (digida о цифровых инструментах, [[ScratchWiki о блочном программировании, вики другого университета), пройдете цикл API → OpenRefine → R/Voyant, сделаете вывод вроде "в статьях о языках программирования чаще производительность, в образовательных — обучение". Оформите как SMW-страницу в категории [[:Категория:CompLing Works]] на digida.mgpu.ru.

Ваша страница будет содержать интерактивный Voyant-апплет, R-код (либо ссылку на GitHub, либо прямо встроенный в <syntaxhighlight lang="R" line>,  текст анализа и графики. Это публичный артефакт — другие студенты МГПУ и исследователи увидят вашу работу.

В итоге у вас будет универсальный R-скрипт для любого MediaWiki-корпуса, развернутая SMW-страница в CompLing Works, полный цикл анализа лингвистических данных и портфолио для исследований, публикаций или работы с образовательными вики.

== Лингвистические данные и информатика ==


Современные подходы к компьютерной обработке естественного языка. 
Основные направления текстовой аналитики: анализ тональности, тематическое моделирование, анализ стиля.

== Программирование на [[R]] для анализа лингвистических данных ==

===Основы работы в среде R для анализа текста	===
# Установка и настройка среды [[R]] и [[RStudio]]. 
# Основы синтаксиса R и принципы tidy data.
# Введение в экосистему [[tidyverse]] для анализа данных. 
# Специализированные пакеты для работы с текстом: установка и первое знакомство с tidytext, quanteda, tm. 
# Основные структуры данных для хранения текста в R. 
# Импорт и экспорт текстовых данных различных форматов.


{{#ask: [[R]] OR [[RStudio]] | ?Description }}

=== Справочные материалы по R ===
{{#ask: 
[[Learning analytics methods and tutorials: A practical guide using R]]
OR
[[R for Data Science]]
OR
[[Text Mining with R]]
OR
[[Big Data with R]]
OR
[[APIs for social scientists: A collaborative review]]
| ?Description }}

== Лингвистические корпуса и методы их разметки ==
=== Предобработка и подготовка текстовых данных ===

# Этапы предобработки текстовых данных. 
# [[Токенизация]]: разбиение текста на слова, предложения, n-граммы. 
# [[Нормализация текста]]: приведение к нижнему регистру, удаление пунктуации и специальных символов. 
# Работа со стоп-словами для русского и английского языков. 
# [[Стемминг]] и [[лемматизация]]: принципы и инструменты. 
# Создание корпусов и [[терм-документная матрица|терм-документые матрицы]]. 
# Обработка больших текстовых массивов.

== Работа с [[API]] ==
=== Получение текстовых данных через [[MediaWiki API]]  ===

#  Введение в MediaWiki API: структура, возможности, ограничения. 
# Основные методы получения содержимого страниц. 
# Работа с различными форматами данных: wikitext, HTML, plain text. 
# Использование пакетов httr и jsonlite для HTTP-запросов в R. 
# Создание функций для автоматического извлечения текстов из Wikipedia. 
# Обработка метаданных и структурированной информации.


=== Примеры уроков с использованием  [[MediaWiki API]]  ===

==== Данные из Википедии ====
[[Методы анализа больших данных (Syllabus) 2025/Lesson ML|Урок по анализу данных с использованием методов машинного обучения]]

==== Данные из Digida ====
* [[Как извлечь данные из категории Digida]]

==  Статистический анализ и визуализация лингвистических данных  ==

# Частотный анализ слов и n-грамм. 
# Статистические метрики в анализе текста: [[TF-IDF]], взаимная информация, коэффициенты ассоциации. 
# Анализ коллокаций и совместной встречаемости слов. 
# Методы визуализации текстовых данных: облака слов, графики частотности, тепловые карты. 
# Сетевой анализ текстов и построение графов слов. 
# Сравнительный анализ текстовых корпусов. 
# Статистические тесты для текстовых данных

=== Психолингвистические методы анализа и анализ тональности	===

# Психолингвистические подходы к анализу текста: выявление личностных характеристик, эмоциональных состояний, психического напряжения. 
# [[Анализ тональности текста]] и настроений: теоретические основы и практические методы. 
# Словарные методы и машинное обучение в анализе тональности. 
# Выявление неискренности и психоэмоционального напряжения в тексте. 
# Анализ стилистических и грамматических особенностей как индикаторов психологических характеристик. 
# Интеграция количественных и качественных методов анализа.

== Автоматизация анализа ==
Интеграция R, [[Lua]], [[MediaWiki API]]



{{Шаблон:Оценивание эссе}}

== Самостоятельные индивидуальные или парные работы студентов ==
В категории -   [[:Категория:CompLing Works]]

{{#ask: [[Категория:CompLing Works]] | format=ol }}