[Новости] Microsoft и NVIDIA coздaли кpупнeйшую в миpe гeнepaтивную языкoвую ИИ-мoдeль c 530 миллиapдaми пapaмeтpoв

  • Автор темы ☢Alastar☢
  • Дата начала

Microsoft и NVIDIA объединили свои усилия для создания модели генерации естественного языка Megatron-Turing Natural Language Generation, которая содержит 530 миллиардов параметров. Это самая большая и самая мощная монолитная трансформаторная языковая модель, обученная на сегодняшний день.


Тенденция изменения размеров современных NLP-моделей с течением времени

MT-NLG имеет в 3 раза больше параметров по сравнению с существующей крупнейшей моделью такого типа и демонстрирует непревзойденную точность в широком наборе задач естественного языка, таких как:
  • Предсказание завершения текста по смыслу;
  • Понимание прочитанного;
  • Генерация логических выводов;
  • Создание заключений на естественном языке;
  • Различение смысла слов с несколькими значениями.
Обучение столь мощной модели стало возможным благодаря многочисленным инновациям. Например, NVIDIA и Microsoft объединили современную инфраструктуру обучения на основе GPU с передовым программным стеком распределенного обучения. Были созданы базы данных естественного языка, включающие сотни миллиардов единиц контента, а также разработаны методы обучения для повышения эффективности и стабильности оптимизации.
Более подробная информация о Megatron-Turing NLG доступна в блоге.
 
❂A.l.a.s.t.a.r❂
☢Alastar☢

❂A.l.a.s.t.a.r❂

Местный копипастер

Сейчас тему просматривают (Всего: 0, Пользователей: 0, Гостей: 0)

Сверху Снизу