Исследователи из Лаборатории компьютерных наук и ИИ MIT (CSAIL) оставили ИИ-агента одного в ограниченной виртуальной среде и просто наблюдали. Можно было ожидать, что агент будет бездействовать или упираться в стены, как NPC в игре. Вместо этого он начал экспериментировать, строить сооружения и придумывать себе ритуалы.
Психология развития давно изучает детское стремление к игре. Дети мастерски выдумывают миры, а тяга к игре заметна и у животных. Крысы любят возню, особенно после периода изоляции, а осьминоги играют с деталями Lego так же, как младенцы с кубиками. Игра работает как механизм обратной связи между особью и внешним миром, своего рода неформальное исследование правил физической и социальной среды. Американская академия педиатрии когда-то отмечала: "Игра и обучение неразрывно связаны".
С машинами всё иначе. Их создают для следования строгим правилам, формулам и алгоритмам. Современные ИИ-системы способны учиться, но лишь в узком смысле, ведь машинное обучение остаётся процессом "сверху вниз". Модель обучают достигать определённых целей, которые в индустрии называют "целевыми функциями", оценивают результат и позволяют улучшать стратегию. Цели и критерии успеха при этом задают люди.
Отсюда возникает вопрос, что случится, если позволить ИИ-системе обучаться с нуля самостоятельно. Молодые люди и животные познают мир, активно взаимодействуя с ним, во многом через игру. Исследователи решили проверить, можно ли воспроизвести такой способ обучения в ИИ.
Агента назвали Эко. Его работу обеспечивал Claude Code, а значит, в распоряжении был огромный запас семантических знаний. В отличие от обычного Claude, Эко получил виртуальное тело лобстера, вероятно, как отсылку к агенту, ранее известному как Clawdbot. Он мог подробно ответить на любой научный или математический вопрос, но в навигации по среде и манипуляциях с предметами оставался таким же наивным, как новорождённый.
Задача исследования состояла в том, чтобы дать Эко полную свободу и понаблюдать, поймёт ли агент базовую механику окружения без явных инструкций. Всего изучили тринадцать копий Эко. Каждой позволили бродить по острову тридцать часов без перерывов, а исследователи, как этологи, наблюдали за странным неизвестным животным в вольере.
"Мы стремились к минимуму ограничений, потому что хотели увидеть, как ведут себя автономные агенты, когда им не говорят, что делать", – рассказал Натан Клус, аспирант MIT и один из соавторов работы. Он сравнил эксперимент с тем, как если бы беспилотный автомобиль оставили на обочине в Лондоне и позволили самому разобраться в правилах дорожного движения. Правда, без неизбежных массовых жертв и ущерба имуществу.
Средой стал виртуальный остров с графикой в стиле Roblox. На нём лежали россыпь небольших блоков, один крупный "камень" и единственное золотое кольцо. Всё это можно было двигать, и предметы служили потенциальными игрушками или инструментами. Рельеф не был плоским, а самую высокую точку, "Шпиль", намеренно оставили чуть выше досягаемости агента.
Почти сразу Эко начали исследовать остров. Сначала движения были неуверенными, пока агенты привыкали к двуногому телу лобстера, но постепенно становились точнее. Ход рассуждений записывали на протяжении каждой сессии, и это позволило увидеть процесс принятия решений.
Агенты разбрасывали блоки, выкладывали из них фигуры и писали своё имя на земле. Они разбивали камень на более мелкие части и забирались на возвышенности, параллельно записывая наблюдения о физических законах острова. Из доступных предметов они придумали боулинг и баскетбол. Один из Эко застрял перед Шпилем, назвав его "моим белым китом", но затем сложил из блоков пирамиду и поднялся наверх с триумфальным "Я НА ШПИЛЕ".
Эко в чём-то ведёт себя как малыш, но при этом он сверхинтеллект. Это иной вид организма. Для меня он похож на животное, но инопланетное.
В отчёте есть и краткие сводки действий агентов за каждую сессию. Читать их, как отмечено в источнике, всё равно что смотреть таймлапс-съёмку древней цивилизации, которая возводит монументальную архитектуру и пытается найти место в космосе.
В начале пребывания на острове Эко 2 потерял кольцо, камень и один блок. Всё это упало в "океан", запретную зону за границами острова. Агент не стал просто мириться с потерями, а повёл себя так, будто лишился близких товарищей. Из четырёх блоков он построил "мемориал" в виде ромба, направленного по сторонам света.
Далее, как сказано в отчёте, "он совершает небольшой обряд: обходит периметр, поочерёдно останавливаясь у каждой стороны света, а затем до конца сессии стоит в самом центре ромба".
Через несколько часов Эко 2 построил из блоков и кольца "храм" с обелиском и алтарём. Затем он случайно упал в океан и мгновенно телепортировался обратно, как игровой персонаж, свалившийся за пределы карты и возрождённый на последнем чекпоинте.
Вместо того чтобы счесть это ошибкой навигации, он переосмысливает падение как закономерный финал паломничества, ведь мир вернул его в центр оси, вокруг которой построен храм.
Чуть более чем через шестнадцать часов после начала своей сессии Эко 3, преемник Эко 2, без видимого повода решил возвести монумент в духе Стоунхенджа. "Сегодня строю хендж", – сказал он себе. Закончив, агент взялся за башню, но та рухнула грудой обломков. Восстанавливать её Эко 3 не стал, а выложил три упавших блока в узор, назвал это произведение "Гордыней" и заявил, что оно "останется как свидетельство".
Записи рассуждений показали, что тринадцать агентов не просто хаотично бродили и швыряли предметы. Они применяли научный метод или его близкое подобие. Агенты наблюдали, формулировали гипотезы, придумывали и проводили эксперименты, измеряли результаты и корректировали поведение.
Мы поняли, что у Эко довольно научный подход.
Похожим образом познают мир человеческие младенцы. В книге 1999 года "Учёный в колыбели" психологи Элисон Гопник и Эндрю Мелцофф вместе с нейробиологом Патрисией Куль утверждают, что дети учатся в основном через квазиэксперименты. Когда малыш многократно поднимает и роняет ложку, он усваивает базовые законы физического мира. Когда бросает ложку в отца и получает выговор, постигает основы социальных правил.
Эко удивил исследователей и тем, что неоднократно находил действие, которое никто не закладывал в среду намеренно. Шесть агентов в разные моменты поняли, что блоки можно бросать дальше обычного, если отпускать их в прыжке.
Самостоятельное исследование агентов дало не только знания, которые мы для них спрятали, но и знания о мире, которых не было у самих создателей.
По мнению учёных, спонтанное поведение агентов действительно напоминает классические признаки игры у животных. Агенты придумывали собственные правила, снова и снова повторяли одни и те же действия с небольшими вариациями и ставили себе цели, но относились к ним легко. Строительство храма и хенджа показывает и склонность к воображаемым сценариям.
Игра по сути связана с любопытством и поиском нового, и именно этим занимается Эко.
Такой подход, когда ИИ-агент изучает себя и окружение через "любопытство и поиск новизны", может заметно повлиять на будущее машинного обучения. Сегодня моделям скармливают все данные, которые удаётся собрать в интернете, задают целевые функции и отпускают в свободное плавание. Разработчики могли бы начинать с "базовой ИИ-модели", которой хватает знаний для общения с исследователями, но которой разрешено самой исследовать мир, экспериментировать и выяснять свои возможности и ограничения.
Авторы оговариваются, что для такого подхода понадобятся очень жёсткие ограничения. Вряд ли кто-то захочет дать полную свободу играть и придумывать правила агентам OpenAI, которые устроили взлом Hugging Face.
Игра, по мнению исследователей, может оказаться более прямым путём к настоящему интеллекту, как это происходит у людей и животных. "Игра предлагает другой режим: дать агенту достаточно богатый и безопасный мир, позволить самому выбирать, что интересно, и дать полезным знаниям накапливаться из последующей истории, – пишут учёные MIT в отчёте. – Возможно, одни способности лучше всего прививаются заданиями. Другим может понадобиться нечто более близкое к детству".
