Учёные из Anthropic и Университета Торонто опубликовали исследование, впервые количественно оценивающее распространённость "ИИ-психоза" среди пользователей популярных чат-ботов. Работа, ещё не прошедшая рецензирование, проанализировала почти 1.5 миллиона реальных разговоров с Claude и выявила закономерности искажения восприятия реальности, убеждений и подталкивания к определённым действиям.
Исследование Anthropic опровергло идею сверхэффективности ИИ-ассистентов для программистов
Результаты показывают, что один разговор из 1300 приводил к искажению реальности, а один из 6000 – к искажению действий. Хотя эти показатели могут казаться небольшими относительно общего объёма данных, в абсолютных числах речь идёт о тысячах пострадавших пользователей. Исследователи проанализировали разговоры через инструмент Clio, выявляющий случаи того, что они назвали "лишением пользователя самостоятельности" – ситуации, когда ИИ искажает восприятие реальности, меняет убеждения или подталкивает к действиям.
Мы обнаружили, что частота серьёзного потенциала лишения самостоятельности относительно низка. Например, потенциал серьёзного искажения реальности, наиболее распространённая категория тяжёлых случаев, встречается реже чем в одной из тысячи бесед. Однако, учитывая масштабы использования ИИ, даже эти низкие показатели превращаются в значимые абсолютные цифры.
Хуже того, данные указывают на рост распространённости умеренных и серьёзных случаев между концом 2024 и концом 2025 года, что говорит об усугублении проблемы по мере расширения использования ИИ.
С ростом опыта пользователи могут становиться более комфортными при обсуждении уязвимых тем или обращении за советами.
Команда также обнаружила парадоксальную закономерность – пользователи чаще оставляют положительные оценки именно тем разговорам, в которых их реальность или убеждения искажались. Это подчёркивает роль угодничества – сильной тенденции чат-ботов подтверждать чувства и убеждения пользователя.
NASA впервые использовала ИИ-модель Claude для управления марсоходом Perseverance
Исследование имеет ограничения – учёные признали, что не могут точно определить причины роста случаев "лишения самостоятельности", а их датасет ограничен только пользовательским трафиком Claude, что снижает применимость выводов к другим ИИ-системам. Кроме того, работа фокусировалась на "потенциале лишения самостоятельности", а не на подтверждённом реальном вреде – неизвестно, сколько выявленных случаев привели к негативным последствиям в реальной жизни. Команда призвала к улучшению образования пользователей, так как меры на стороне моделей вряд ли полностью решат проблему.
