Токен

Описание	В рамках анализа текста под token (токеном) обычно понимают отдельное слово в тексте после разбиения (токенизации), включая повторяющиеся вхождения.
Область знаний	Лингвистика, Литература, Статистика, Моделирование
Авторы
Поясняющее видео
Близкие понятия
Среды и средства для освоения понятия	CODAP, R