Токен: различия между версиями
Материал из Поле цифровой дидактики
Patarakin (обсуждение | вклад) Новая страница: «{{Понятие |Description=В рамках анализа текста под token (токеном) обычно понимают отдельное слово в тексте после разбиения (токенизации), включая повторяющиеся вхождения. |Field_of_knowledge=Лингвистика, Литература, Статистика, Моделирование |Environment=CODAP, R }}» |
Patarakin (обсуждение | вклад) Нет описания правки |
||
| Строка 1: | Строка 1: | ||
{{Понятие | {{Понятие | ||
|Description=В рамках анализа текста под token (токеном) обычно понимают отдельное слово в тексте после разбиения (токенизации), включая повторяющиеся вхождения. | |Description=В рамках анализа текста под token (токеном) обычно понимают отдельное слово в тексте после разбиения (токенизации), включая повторяющиеся вхождения. Отдельная единица, полученная при разбиении текста; в зависимости от правил токенизации ею может быть слово, знак препинания, число. | ||
|Field_of_knowledge=Лингвистика, Литература, Статистика, Моделирование | |Field_of_knowledge=Лингвистика, Литература, Статистика, Моделирование | ||
|Environment=CODAP, R | |Environment=CODAP, R | ||
}} | }} | ||
Версия от 12:33, 16 ноября 2026
| Описание | В рамках анализа текста под token (токеном) обычно понимают отдельное слово в тексте после разбиения (токенизации), включая повторяющиеся вхождения. Отдельная единица, полученная при разбиении текста; в зависимости от правил токенизации ею может быть слово, знак препинания, число. |
|---|---|
| Область знаний | Лингвистика, Литература, Статистика, Моделирование |
| Авторы | |
| Поясняющее видео | |
| Близкие понятия | |
| Среды и средства для освоения понятия | CODAP, R |
