Токен: различия между версиями

Материал из Поле цифровой дидактики
Нет описания правки
Нет описания правки
 
Строка 1: Строка 1:
{{Понятие
{{Понятие
|Description=В рамках анализа текста под token (токеном) обычно понимают отдельное слово в тексте после разбиения (токенизации), включая повторяющиеся вхождения. Отдельная единица, полученная при разбиении текста; в зависимости от правил токенизации ею может быть слово, знак препинания, число.  
|Description=В рамках анализа текста под token (токеном) обычно понимают отдельное слово в тексте после разбиения (токенизации), включая повторяющиеся вхождения. Отдельная единица, полученная при разбиении текста; в зависимости от правил токенизации ею может быть слово, знак препинания, число.
|Field_of_knowledge=Лингвистика, Литература, Статистика, Моделирование
|Field_of_knowledge=Лингвистика, Литература, Статистика, Моделирование
|similar_concepts=лемма, словоформа
|Environment=CODAP, R
|Environment=CODAP, R
}}
}}

Текущая версия от 12:34, 16 ноября 2026


Описание В рамках анализа текста под token (токеном) обычно понимают отдельное слово в тексте после разбиения (токенизации), включая повторяющиеся вхождения. Отдельная единица, полученная при разбиении текста; в зависимости от правил токенизации ею может быть слово, знак препинания, число.
Область знаний Лингвистика, Литература, Статистика, Моделирование
Авторы
Поясняющее видео
Близкие понятия Лемма, Словоформа
Среды и средства для освоения понятия CODAP, R