Токен

Материал из Поле цифровой дидактики
Версия от 12:34, 16 ноября 2026; Patarakin (обсуждение | вклад)
(разн.) ← Предыдущая версия | Текущая версия (разн.) | Следующая версия → (разн.)


Описание В рамках анализа текста под token (токеном) обычно понимают отдельное слово в тексте после разбиения (токенизации), включая повторяющиеся вхождения. Отдельная единица, полученная при разбиении текста; в зависимости от правил токенизации ею может быть слово, знак препинания, число.
Область знаний Лингвистика, Литература, Статистика, Моделирование
Авторы
Поясняющее видео
Близкие понятия Лемма, Словоформа
Среды и средства для освоения понятия CODAP, R