Илон Маск и его компания xAI запустили Колосса (Colossus) — суперкомпьютер для обучения искусственного интеллекта, который может стать самым мощным в мире. Маск "построил" этого монстра всего за 122 дня, и его основной задачей станет обучение последней версии языковой модели GROK, известной как GROK-3. Для этого суперкомпьютер оснащен 100,000 графическими процессорами Nvidia H100.
Вдобавок к этому, Маск пообещал, что Colossus удвоит свою мощность "в течение нескольких месяцев" благодаря добавлению еще 50,000 чипов Nvidia H200, каждый из которых вдвое мощнее в плане ускорения ИИ-задач по сравнению с H100.
https://twitter.com/Radio_poodle/status/1830650370336473253
Стоимость создания этой системы остается загадкой, но даже по минимальным оценкам, только на закупку 100,000 чипов Nvidia H100 могло уйти около $2 миллиардов. И это только начальная стадия. Дополнительные 50,000 H200 и инфраструктура, необходимая для работы системы, обойдутся не меньше.
Несколько недель назад xAI запустила модель GROK-2, которая использовала "всего" 15,000 чипов Nvidia H100 для обучения, но даже она смогла занять второе место в рейтингах языковых моделей, уступая только ChatGPT-4. Таким образом, новая система будет в шесть-семь раз мощнее GROK-2 и вскоре снова удвоит свои возможности.
Маск сообщил, что GROK-3 может быть запущен уже к декабрю. Однако вместе с этим возникает и множество вопросов об экологических последствиях. Кластер, расположенный в Мемфисе, штат Теннесси, потребляет 150 мегаватт электроэнергии и использует до миллиона галлонов воды в день для охлаждения.
Пока не очень понятно, в каких именно целях будет использоваться GROK-3, так как чатбот Маска далеко не такой популярный, как ChatGPT от OpenAI.
