Как пояснили разработчики, обучение происходило с использованием технологии Video PreTraining. Нейронную сеть обучали на видеороликах с геймплеем. Изначально была собрана база видео общей продолжительность 2000 часов, после чего сотрудники OpenAI вручную произвели маркировку каждого действия, связав его с определенными кнопками на клавиатуре или взаимодействием с мышкой.
Таким образом, нейросеть понимает, чтобы запрыгнуть на блок, надо «нажать» на клавишу пробел.
В итоге ИИ удалось научить копить ресурсы, крафтить предметы и выполнять другие действия, доступные в Minecraft. Так, например, искусственный интеллект может использовать пищу из инвентаря, когда это действительно необходимо.
В автоматическом режиме нейросеть смогла разметить ещё 70 000 часов геймплея из открытых источников. Она научилась выполнять даже сложные действия в Minecraft, которые требуют последовательного принятия решений.
Речь идёт например, о добыче ресурсов, изготовлению из них предметов, беге, плавании, обходе препятствий, охоте и употреблении пищи. Кроме того, ИИ научился ставить блоки под персонажа для поднятий по возвышенности.
Также нейросеть научилась правильно стартовать в игре и стремилась сделать верстак, с помощью которого можно изготавливать игровые предметы. В результате метод обучения с подкреплением позволил нейросети самостоятельно изготовить алмазную кирку.
