Токен
Материал из Поле цифровой дидактики
(перенаправлено с «Token»)
| Описание | В рамках анализа текста под token (токеном) обычно понимают отдельное слово в тексте после разбиения (токенизации), включая повторяющиеся вхождения. |
|---|---|
| Область знаний | Лингвистика, Литература, Статистика, Моделирование |
| Авторы | |
| Поясняющее видео | |
| Близкие понятия | |
| Среды и средства для освоения понятия | CODAP, R |
