Токен — история изменений

Материал из Поле цифровой дидактики

Выбор версий: отметьте версии страницы, которые вы хотите сравнить, и нажмите Enter или кнопку ниже.
Пояснения: (текущ.) — отличия от текущей версии; (пред.) — отличия от предыдущей версии; м — малые изменения.

15 декабря 2025

  • текущ.пред. 14:2814:28, 15 декабря 2025 Patarakin обсуждение вклад 437 байт +437 Новая страница: «{{Понятие |Description=В рамках анализа текста под token (токеном) обычно понимают отдельное слово в тексте после разбиения (токенизации), включая повторяющиеся вхождения. |Field_of_knowledge=Лингвистика, Литература, Статистика, Моделирование |Environment=CODAP, R }}»