Bert: различия между версиями
Материал из Поле цифровой дидактики
Patarakin (обсуждение | вклад) Нет описания правки |
Patarakin (обсуждение | вклад) Нет описания правки |
||
| (не показана 1 промежуточная версия этого же участника) | |||
| Строка 7: | Строка 7: | ||
|AI=Да | |AI=Да | ||
}} | }} | ||
При подаче | При подаче [[текст]]а на вход [[сеть|сети]] сначала выполняется его [[токенизация]]. [[Токен]]ами служат слова, доступные в словаре, или их составные части — если слово отсутствует в словаре, оно разбивается на части, которые в словаре присутствуют. Словарь является составляющей модели — так, в BERT-Base используется словарь около 30,000 слов. В самой нейронной сети токены кодируются своими векторными представлениями (англ. embeddings), а именно, соединяются представления самого токена (предобученные), номера его предложения, а также позиции токена внутри своего предложения. | ||
https://upload.wikimedia.org/wikipedia/commons/thumb/b/b5/BERT_embeddings_01.png/500px-BERT_embeddings_01.png | |||
Текущая версия от 11:05, 5 декабря 2025
| Краткое описание инструмента | BERT (англ. Bidirectional Encoder Representations from Transformers) — языковая модель, основанная на архитектуре трансформер, предназначенная для предобучения языковых представлений с целью их последующего применения в широком спектре задач обработки естественного языка. BERT представляет собой нейронную сеть, основу которой составляет композиция кодировщиков трансформера. BERT является автокодировщиком. В каждом слое кодировщика применяется двустороннее внимание, что позволяет модели учитывать контекст с обеих сторон от рассматриваемого токена, а значит, точнее определять значения токенов. |
|---|---|
| Возможности | В отличие от прежних классических языковых моделей, BERT обучает контексто-зависимые представления. Например, word2ve генерирует единственный эмбеддинг для одного слова, даже если слово многозначное и его смысл зависит от контекста. Использование BERT же позволяет учитывать окружающий контекст предложения, и генерировать различные эмбеддинги в таких случаях. |
| Трудности использования | |
| Область знаний | |
| Область применения | |
| Поясняющее видео | |
| Веб-сайт | |
| Пользователи | |
| Используется для создания (проведения) | |
| Разработчик | |
| Сообщество вокруг средства | |
| Лицензия | |
| Год первого релиза | 2019 |
| Совместное сетевое использование | Нет |
| Какой язык основной | English |
| Есть ли поддержка Искусственным Интеллектом | Да |
При подаче текста на вход сети сначала выполняется его токенизация. Токенами служат слова, доступные в словаре, или их составные части — если слово отсутствует в словаре, оно разбивается на части, которые в словаре присутствуют. Словарь является составляющей модели — так, в BERT-Base используется словарь около 30,000 слов. В самой нейронной сети токены кодируются своими векторными представлениями (англ. embeddings), а именно, соединяются представления самого токена (предобученные), номера его предложения, а также позиции токена внутри своего предложения.
