Токен

Материал из Поле цифровой дидактики


Описание В рамках анализа текста под token (токеном) обычно понимают отдельное слово в тексте после разбиения (токенизации), включая повторяющиеся вхождения. Отдельная единица, полученная при разбиении текста; в зависимости от правил токенизации ею может быть слово, знак препинания, число.
Область знаний Лингвистика, Литература, Статистика, Моделирование
Авторы
Поясняющее видео
Близкие понятия
Среды и средства для освоения понятия CODAP, R