Токенизация

Описание	Разделение текста на минимальные смысловые единицы — токены (слова, предложения, символы и пр.).
Область знаний	Информатика, Лингвистика
Авторы
Поясняющее видео
Близкие понятия
Среды и средства для освоения понятия	R