Очистка и разметка в OpenRefine Ключникова Дарья

Материал из Поле цифровой дидактики

Выбранная категория

Для очистки и разметки была выбрана категория EducationalTechnology с платформы digida.mgpu.ru. С помощью json-запроса, был сформирован кластер из 20 первых статей (в алфавитном порядке), который отправился на обработку в OpenRefine.

Проделанные шаги

  • Почищены пробелы в заголовках (0 изменений)

title → Edit cells → Common transforms → Trim leading and trailing whitespace

  • Заголовки приведены в регистр заголовков (16 изменений)

title → Edit cells → Common transforms → To titlecase

  • Дата приведена к виду даты (точно уже не помню, где-то 16 или 18 изменений)

timestamp → Edit cells → Common transforms → To date

    • Почему-то некоторые даты заменились текстом. Наверное, из-за ручной сборки CSV.
  • Объединены два дубликата

title → Edit cells → Cluster and edit

Здесь пришлось поиграться с методами и ключевыми функциями, в итоге результат дала только одна (см. скриншоты) Проделанные шаги Проделанные шаги

    • Почему-то дубликаты не смёржились между собой, просто в таблице появились записи с одинаковыми названиями

Результаты

В целом, в данных из категории содержалось не так много ошибок, однако столкнулась со следующими проблемами:

  • В итоге не получилось полноценно поработать с OpenRefine через json-запрос, т.к. все полученные отображались в одну строку, которая имела очень много столбцов с каждым отдельным значением. Исправить это средствами OpenRefine никак не удалось (+ интуитивно не понятно, как прописывать путь, который запрашивает программа, т.к. как такового поля для ввода пути там не отображается. Пришлось тыкаться вручную)
  • Из-за этого пришлось переделывать JSON в CSV. Онлайн-конвертеры не смогли справиться с этой задачей (ВООБЩЕ НИКАК НЕ СМОГЛИ), поэтому пришлось прибегнуть к использованию DeepSeek ИИ для составления CSV. Возможно, поэтому в колонке text появились лишние символы + ИИ значительно сократил текст, передаваемый в JSONе.

Если делиться опытом, работа с OpenRefine очень разочаровала. Возможно, в процессе работы что-то пошло не так, но больше всего расстроило то, что никак не получилось привести JSON в божеский вид - огромные чистые данные получила моментально, а вот привести их в нормальную таблицу так и не вышло. Возможно, стало даже хуже.

Таблицу после обработки можно посмотреть [тут]

Источник — http://digida.mgpu.ru/index.php?title=Очистка_и_разметка_в_OpenRefine_Ключникова_Дарья&oldid=47814