Большая языковая модель

Описание	LLM — нейросетевые модели, которые позволяют обобщать, понимать и писать тексты на разных языках. Нейросеть выучивает язык во время обучения, при котором ей «показывают» огромное количество художественной литературы, интернет-форумов, энциклопедий и других источников, хорошо представляющих человеческий язык во всем его многообразии.
Область знаний	Лингвистика, Искусственный интеллект
Авторы
Поясняющее видео
Близкие понятия	Искусственный интеллект
Среды и средства для освоения понятия

Языковая модель — это распределение вероятностей по последовательностям слов. Для любой последовательности слов длины языковая модель присваивает вероятность [math]\displaystyle{ P(w_1,\ldots,w_m) }[/math] всей последовательности. Языковые модели генерируют вероятности путём обучения на корпусе текстов на одном или нескольких языках. Учитывая, что языки могут использоваться для выражения огромного множества верных предложений, языковое моделирование сталкивается с проблемой задания ненулевых вероятностей лингвистически верным последовательностям, которые могут никогда не встретиться в обучающих данных. Для преодоления этой проблемы было разработано несколько подходов к моделированию, таких как применение марковских цепей или использование нейронных архитектур, таких как рекуррентные нейронные сети]] или трансформеры.

Языковая модель – это модель машинного обучения, которая смотрит на несколько слов в предложении и предсказывает следующее слово.

Наиболее известная языковая модель – это клавиатура смартфона, которая по мере набора текста подсказывает вам продолжение.