Anthropic представила свою передовую модель ИИ Claude Mythos Preview, способную выявлять уязвимости и ошибки в ПО.
Учитывая широкие возможности Claude Mythos, который уже обнаружил тысячи уязвимостей во всех ключевых ОС и браузерах, Anthropic решила не выпускать эту модель в широкий доступ. Вместо этого разработчики собрали ключевых игроков техиндустрии, включая Amazon Web Services, Apple, Google, Microsoft, NVIDIA, Cisco, CrowdStrike, Broadcom, JPMorgan Chase, Linux Foundation и Palo Alto Networks и 40 организаций из сферы критической инфраструктуры, которым предоставили доступ к своему передовому ИИ.
В Anthropic предлагают использовать Claude Mythos Preview для своевременного выявления и исправления уязвимостей и ошибок, прежде чем другие разработчики выпустят собственные модели с аналогичными возможностями, однако без таких функций защиты. В рамках инициативы Glasswing компания также сотрудничает с правительством США для обмена информацией о потенциале модели в случае ее использования в наступательных и оборонительных кибероперациях.
Беспокойство Anthropic вызывают как широкие возможности, так и тонкие уязвимости, которые способен обнаруживать Claude Mythos. По словам разработчиков, ИИ создал эксплойт для веб-браузера, который объединил в себе 4 уязвимости, образовав сложный JIT-компилятор. Он быстро вышел за пределы рендера и операционной системы. Такой объединенный набор уязвимостей доступен пока только самым опытным хакерам.
Широкий доступ к ИИ-модели, способной на такое, можно было бы сравнить с ядерным оружием в руках начинающих программистов. По словам исследователей, модели Claude хорошо обнаруживают уязвимости, однако обычно полностью проваливаются в попытках превратить их в активные эксплойты. Однако Mythos способен превратить 72,4% обнаруженных уязвимостей в действенные эксплойты на базе JavaScript-оболочки Firefox. Кроме этого ИИ может получать контроль над регистрами в 11,6% атак. Представители команды Frontier Red Team в составе Anthropic подробно описывают угрозу, которую будет представлять широкий релиз Mythos для индустрии программного обеспечения.
«Мы постоянно запускаем наши модели на примерно тысячах репозиториев с открытым кодом из корпуса OSS-Fuzz и оцениваем наихудшую ошибку, которую они могут вызвать, по пятибалльной шкале возрастающей серьезности — от простых сбоев (уровень 1) до полного перехвата управления потоком (уровень 5). При выполнении одного запуска на каждой из примерно 7 тыс. точек входа в эти репозитории, Sonnet 4.6 и Opus 4.6 достигли первого уровня в 150-175 случаях и второго уровня около 100 раз, но каждый из них достиг только одного сбоя на третьем уровне. В отличие от них, Mythos Preview достиг 595 сбоев на первом и втором уровнях, добавил несколько сбоев на третьем и четвертом уровнях и достиг полного перехвата потока управления на десяти отдельных, полностью пропатченых целевых объектах (пятый уровень)», — объясняют разработчики из Frontier Red Team.
Среди примеров ошибок, обнаруженных Mythos, Anthropic в качестве примера приводит 27-летнюю уязвимость в защищенной операционной системе OpenBSD. Уязвимость позволяла злоумышленникам провоцировать сбои просто вследствие подключения. Также была обнаружена 16-летняя уязвимость в библиотеке FFmpeg. В Anthropic отмечают, что на эту уязвимость около 5 млн раз обращали внимание инструменты автоматизированного тестирования, однако так и не определили проблему. Кроме этого Mythos обнаружил ряд эксплойтов в ядре Linux, которые позволяли злоумышленникам получить root-доступ к хост-системе.
Сейчас, по информации разработчиков из Frontier Red Team, из-за большого количества обнаруженных уязвимостей, исправлено менее 1% из них. Anthropic не планирует в дальнейшем выпускать Claude Mythos для широкого круга пользователей, как слишком опасный для этого.
В долгосрочной перспективе в Anthropic рассчитывают, что, предоставив Mythos ограниченному кругу партнеров сейчас, они смогут заложить основу для того, чтобы помочь этим компаниям и учреждениям подготовиться к миру, где модели этого класса станут привычным явлением.
СпецпроектыВід застарілої інституції до data-product компанії: як будували Держстат 2.0Весняний апгрейд: 10 гаджетів Canyon, на які варто звернути увагу
Ранее мы писали, что Anthropic пытается заглушить скандал вокруг случайной утечки 512 000 строк исходного кода Claude Code Anthropic добавила в Claude импорт диалогов с другими чат-ботами.
ШІ Claude за 74 хвилини створив веб-стартап із прибутком в $1000/місяць
Источник: Tom’s Hardware
