Очистка и разметка в OpenRefine Ключникова Дарья: различия между версиями
м Ключникова Дарья переименовал страницу Очистика и разметка в OpenRefine Ключникова Дарья в Очистка и разметка в OpenRefine Ключникова Дарья |
Нет описания правки |
||
| Строка 9: | Строка 9: | ||
title → Edit cells → Common transforms → To titlecase | title → Edit cells → Common transforms → To titlecase | ||
* Дата приведена к виду даты ( | * Дата приведена к виду даты (16 изменений) | ||
timestamp → Edit cells → Common transforms → To date | timestamp → Edit cells → Common transforms → To date | ||
| Строка 21: | Строка 21: | ||
[[Файл:Дубликат 2.png|Проделанные шаги]] | [[Файл:Дубликат 2.png|Проделанные шаги]] | ||
''Почему-то дубликаты не смёржились между собой, просто в таблице появились записи с одинаковыми названиями'' | ''Почему-то дубликаты не смёржились между собой, просто в таблице появились записи с одинаковыми названиями'' | ||
== Подробный отчёт о проблемах == | |||
# Ошибка в датах | |||
[[Файл:Ошибка распарсивания CSV.png|Подробный отчёт о проблемах]] | |||
Здесь можно видеть, что некоторые строки таблицы в процессе "раскидывания" данных по столбцам получили абсолютно не те значения, которые должны были. '''Моё предположение''' о том, что данные сломало toDate() '''неверно''', т.к. в этих строках данные изначально поступили в таком виде. Реальные же даты были приведены к нужному формату (видно на скриншоте на последней строке). | |||
Сам CSV, скормленный OpenRefine, можно посмотреть [https://drive.google.com/file/d/1QzXVVy0R77pGc0PjSToS8AOppaIAXlYj/view?usp=sharing тут]. Можно увидеть, что значения в соответствующих строках поломаны. Однако файл был составлен с помощью обработки jsona с помощью [[Deepseek|ИИ]]. Вот результат, который выдал ИИ изначально: | |||
# Ошибка при рекластеризации | |||
[[Файл:Строки таблицы ДО.png|Результат ДО]] | |||
[[Файл:Строки таблицы ПОСЛЕ.png|Результат ПОСЛЕ]] | |||
Однако в случае кластеризации, кажется, проблема была действительно на стороне [[OpenRefine]], либо моего неверного обращения с программой. В результате merge изменились лишь названия заголовков. Точно так же произошло и со статьями [[Гибкая персонализация и развитие метакогнитивных навыков]] и [[Гибкая персонализация и развитие метакогнитивных навыков (тренд)]]. | |||
== Результаты == | == Результаты == | ||
Версия от 10:16, 16 июня 2026
Выбранная категория
Для очистки и разметки была выбрана категория EducationalTechnology с платформы digida.mgpu.ru. С помощью json-запроса, был сформирован кластер из 20 первых статей (в алфавитном порядке), который отправился на обработку в OpenRefine.
Проделанные шаги
- Почищены пробелы в заголовках (0 изменений)
title → Edit cells → Common transforms → Trim leading and trailing whitespace
- Заголовки приведены в регистр заголовков (16 изменений)
title → Edit cells → Common transforms → To titlecase
- Дата приведена к виду даты (16 изменений)
timestamp → Edit cells → Common transforms → To date
Почему-то некоторые даты заменились текстом. Наверное, из-за ручной сборки CSV.
- Объединены два дубликата
title → Edit cells → Cluster and edit
Здесь пришлось поиграться с методами и ключевыми функциями, в итоге результат дала только одна (см. скриншоты)
Почему-то дубликаты не смёржились между собой, просто в таблице появились записи с одинаковыми названиями
Подробный отчёт о проблемах
- Ошибка в датах
Здесь можно видеть, что некоторые строки таблицы в процессе "раскидывания" данных по столбцам получили абсолютно не те значения, которые должны были. Моё предположение о том, что данные сломало toDate() неверно, т.к. в этих строках данные изначально поступили в таком виде. Реальные же даты были приведены к нужному формату (видно на скриншоте на последней строке).
Сам CSV, скормленный OpenRefine, можно посмотреть тут. Можно увидеть, что значения в соответствующих строках поломаны. Однако файл был составлен с помощью обработки jsona с помощью ИИ. Вот результат, который выдал ИИ изначально:
- Ошибка при рекластеризации
Однако в случае кластеризации, кажется, проблема была действительно на стороне OpenRefine, либо моего неверного обращения с программой. В результате merge изменились лишь названия заголовков. Точно так же произошло и со статьями Гибкая персонализация и развитие метакогнитивных навыков и Гибкая персонализация и развитие метакогнитивных навыков (тренд).
Результаты
В целом, в данных из категории содержалось не так много ошибок, однако столкнулась со следующими проблемами:
- В итоге не получилось полноценно поработать с OpenRefine через json-запрос, т.к. все полученные отображались в одну строку, которая имела очень много столбцов с каждым отдельным значением. Исправить это средствами OpenRefine никак не удалось (+ интуитивно не понятно, как прописывать путь, который запрашивает программа, т.к. как такового поля для ввода пути там не отображается. Пришлось тыкаться вручную)
- Из-за этого пришлось переделывать JSON в CSV. Онлайн-конвертеры не смогли справиться с этой задачей (ВООБЩЕ НИКАК НЕ СМОГЛИ), поэтому пришлось прибегнуть к использованию ИИ для составления CSV. Возможно, поэтому в колонке text появились лишние символы + ИИ значительно сократил текст, передаваемый в JSONе.
Если делиться опытом, работа с OpenRefine очень разочаровала. Возможно, в процессе работы что-то пошло не так, но больше всего расстроило то, что никак не получилось привести JSON в божеский вид - огромные чистые данные получила моментально, а вот привести их в нормальную таблицу так и не вышло. Возможно, стало даже хуже.
Таблицу после обработки можно посмотреть тут
