Токен: различия между версиями

Материал из Поле цифровой дидактики
Новая страница: «{{Понятие |Description=В рамках анализа текста под token (токеном) обычно понимают отдельное слово в тексте после разбиения (токенизации), включая повторяющиеся вхождения. |Field_of_knowledge=Лингвистика, Литература, Статистика, Моделирование |Environment=CODAP, R }}»
 
Нет описания правки
 
(не показана 1 промежуточная версия этого же участника)
Строка 1: Строка 1:
{{Понятие
{{Понятие
|Description=В рамках анализа текста под token (токеном) обычно понимают отдельное слово в тексте после разбиения (токенизации), включая повторяющиеся вхождения.
|Description=В рамках анализа текста под token (токеном) обычно понимают отдельное слово в тексте после разбиения (токенизации), включая повторяющиеся вхождения. Отдельная единица, полученная при разбиении текста; в зависимости от правил токенизации ею может быть слово, знак препинания, число.
|Field_of_knowledge=Лингвистика, Литература, Статистика, Моделирование
|Field_of_knowledge=Лингвистика, Литература, Статистика, Моделирование
|similar_concepts=лемма, словоформа
|Environment=CODAP, R
|Environment=CODAP, R
}}
}}

Текущая версия от 12:34, 16 ноября 2026


Описание В рамках анализа текста под token (токеном) обычно понимают отдельное слово в тексте после разбиения (токенизации), включая повторяющиеся вхождения. Отдельная единица, полученная при разбиении текста; в зависимости от правил токенизации ею может быть слово, знак препинания, число.
Область знаний Лингвистика, Литература, Статистика, Моделирование
Авторы
Поясняющее видео
Близкие понятия Лемма, Словоформа
Среды и средства для освоения понятия CODAP, R