Очистка и разметка в OpenRefine Ключникова Дарья: различия между версиями
Материал из Поле цифровой дидактики
Новая страница: «== Выбранная категория == Для очистки и разметки была выбрана категория EducationalTechnology с платформы дигида. С помощью json-запроса, был сформирован кластер из 20 первых статей (в алфавитном порядке), который отправился на обработку в OpenRefine. == Проделанные шаги == *...» |
Нет описания правки |
||
| Строка 1: | Строка 1: | ||
== Выбранная категория == | == Выбранная категория == | ||
Для очистки и разметки была выбрана категория EducationalTechnology с платформы | Для очистки и разметки была выбрана категория [[:Категория:EducationalTechnology|EducationalTechnology]] с платформы [https://digida.mgpu.ru digida.mgpu.ru]. С помощью [https://digida.mgpu.ru/api.php?action=query&format=json&generator=categorymembers&gcmtitle=%D0%9A%D0%B0%D1%82%D0%B5%D0%B3%D0%BE%D1%80%D0%B8%D1%8F:EducationalTechnology&gcmlimit=20&prop=revisions|info&rvprop=content|timestamp&inprop=url json-запроса], был сформирован кластер из 20 первых статей (в алфавитном порядке), который отправился на обработку в [[OpenRefine]]. | ||
== Проделанные шаги == | == Проделанные шаги == | ||
| Строка 10: | Строка 10: | ||
== Результаты == | == Результаты == | ||
В целом, в данных из категории содержалось не так много ошибок, однако столкнулась со следующими проблемами: | В целом, в данных из категории содержалось не так много ошибок, однако столкнулась со следующими проблемами: | ||
* В итоге не получилось полноценно поработать с OpenRefine через json-запрос, т.к. все полученные отображались в одну строку, которая имела очень много столбцов с каждым отдельным значением. Исправить это средствами OpenRefine никак не удалось (+ интуитивно не понятно, как прописывать путь, который запрашивает программа, т.к. как такового поля для ввода пути там не отображается. Пришлось тыкаться вручную) | * В итоге не получилось полноценно поработать с [[OpenRefine]] через json-запрос, т.к. все полученные отображались в одну строку, которая имела очень много столбцов с каждым отдельным значением. Исправить это средствами OpenRefine никак не удалось (+ интуитивно не понятно, как прописывать путь, который запрашивает программа, т.к. как такового поля для ввода пути там не отображается. Пришлось тыкаться вручную) | ||
* Из-за этого пришлось переделывать JSON в CSV. Онлайн-конвертеры не смогли справиться с этой задачей (ВООБЩЕ НИКАК НЕ СМОГЛИ), поэтому пришлось прибегнуть к использованию ИИ для составления CSV. Возможно, поэтому в колонке text появились лишние символы + ИИ значительно сократил текст, передаваемый в JSONе. | * Из-за этого пришлось переделывать JSON в CSV. Онлайн-конвертеры не смогли справиться с этой задачей (ВООБЩЕ НИКАК НЕ СМОГЛИ), поэтому пришлось прибегнуть к использованию ИИ для составления CSV. Возможно, поэтому в колонке text появились лишние символы + ИИ значительно сократил текст, передаваемый в JSONе. | ||
Если делиться опытом, работа с OpenRefine очень разочаровала. Возможно, в процессе работы что-то пошло не так, но больше всего расстроило то, что никак не получилось привести JSON в божеский вид - огромные чистые данные получила моментально, а вот привести их в нормальную таблицу так и не вышло. | Если делиться опытом, работа с [[OpenRefine]] очень разочаровала. Возможно, в процессе работы что-то пошло не так, но больше всего расстроило то, что никак не получилось привести JSON в божеский вид - огромные чистые данные получила моментально, а вот привести их в нормальную таблицу так и не вышло. | ||
[[Категория:CompLing Works]] | [[Категория:CompLing Works]] | ||
Версия от 07:58, 14 июня 2026
Выбранная категория
Для очистки и разметки была выбрана категория EducationalTechnology с платформы digida.mgpu.ru. С помощью json-запроса, был сформирован кластер из 20 первых статей (в алфавитном порядке), который отправился на обработку в OpenRefine.
Проделанные шаги
- Почищены пробелы в заголовках (0 изменений)
- Заголовки приведены в регистр заголовков (16 изменений)
- Дата приведена к виду даты (точно уже не помню, где-то 16 или 18 изменений)
- Объединены два дубликата
Результаты
В целом, в данных из категории содержалось не так много ошибок, однако столкнулась со следующими проблемами:
- В итоге не получилось полноценно поработать с OpenRefine через json-запрос, т.к. все полученные отображались в одну строку, которая имела очень много столбцов с каждым отдельным значением. Исправить это средствами OpenRefine никак не удалось (+ интуитивно не понятно, как прописывать путь, который запрашивает программа, т.к. как такового поля для ввода пути там не отображается. Пришлось тыкаться вручную)
- Из-за этого пришлось переделывать JSON в CSV. Онлайн-конвертеры не смогли справиться с этой задачей (ВООБЩЕ НИКАК НЕ СМОГЛИ), поэтому пришлось прибегнуть к использованию ИИ для составления CSV. Возможно, поэтому в колонке text появились лишние символы + ИИ значительно сократил текст, передаваемый в JSONе.
Если делиться опытом, работа с OpenRefine очень разочаровала. Возможно, в процессе работы что-то пошло не так, но больше всего расстроило то, что никак не получилось привести JSON в божеский вид - огромные чистые данные получила моментально, а вот привести их в нормальную таблицу так и не вышло.
