Языковая модель

Материал из Поле цифровой дидактики


Описание Языковая модель — это распределение вероятностей по последовательностям слов. Языковые модели генерируют вероятности путём обучения на корпусе текстов на одном или нескольких языках. Учитывая, что языки могут использоваться для выражения огромного множества верных предложений (так называемая цифровая бесконечность), языковое моделирование сталкивается с проблемой задания ненулевых вероятностей лингвистически верным последовательностям, которые могут никогда не встретиться в обучающих данных.
Область знаний Искусственный интеллект
Авторы
Поясняющее видео
Близкие понятия
Среды и средства для освоения понятия R, Julia, Python, Java, JavaScript