Токенизация — история изменений

Материал из Поле цифровой дидактики

Выбор версий: отметьте версии страницы, которые вы хотите сравнить, и нажмите Enter или кнопку ниже.
Пояснения: (текущ.) — отличия от текущей версии; (пред.) — отличия от предыдущей версии; м — малые изменения.

8 декабря 2025

18 августа 2025

  • текущ.пред. 16:0616:06, 18 августа 2025 Patarakin обсуждение вклад 290 байт +290 Новая страница: «{{Понятие |Description=Разделение текста на минимальные смысловые единицы — токены (слова, предложения, символы и пр.). |Field_of_knowledge=Информатика, Лингвистика |Environment=R }}»