Нейт Соарес, президент Института исследований машинного интеллекта (MIRI), признался, что уже десять лет не откладывает деньги на пенсию. Он убежден, что сверхразумный ИИ может привести к вымиранию человечества в ближайшее десятилетие.
Об этом Соарес рассказал главе The Atlantic Николасу Томпсону в интервью для серии "Самое интересное в ИИ" (The Most Interesting Thing in AI).
Сейчас я не коплю на пенсию. У меня есть 401(k) со времен работы в Google, но я не вносил туда ничего уже десять лет.
401(k) – это популярный в США пенсионный накопительный план с налоговыми льготами, куда работник регулярно отчисляет часть зарплаты. Отказ от взносов на протяжении целого десятилетия сложно назвать эмоциональным порывом. Скорее это осознанное финансовое решение человека, который не рассчитывает дожить до пенсионного возраста.
Мрачных прогнозов об ИИ в последние годы звучит немало, но слова Соареса весят больше обычного. Он двенадцать лет занимается проблемой согласования ИИ – поиском способов заставить сложные системы действовать в интересах людей. До прихода в MIRI, некоммерческую организацию, изучающую риски ИИ, Соарес работал инженером в Google и Microsoft.
Кроме того, Соарес стал соавтором книги "Если кто-то это создаст, все умрут", которую написал вместе с основателем MIRI Элиезером Юдковским. Уже само название дает понять, к каким выводам приходят исследователи.
По мнению Соареса, главная опасность вовсе не в том, что сверхразумный ИИ возненавидит людей. Такой системе будет просто безразлично, выживет человечество или нет. Люди могут оказаться препятствием на пути к целям, которые ИИ себе сформирует, особенно если попытаются его отключить или создать конкурирующую систему.
С моей точки зрения, настоящий вопрос не в том, как он нас убьет. Вопрос в том, как он станет самодостаточным.
Пока ИИ все еще зависит от людей – кто-то должен обеспечивать электроэнергию и производить чипы. Как только машины смогут поддерживать собственную автоматизированную экономику, эта зависимость исчезнет. Дальше человечество могут уничтожить целенаправленно либо оно погибнет просто потому, что ИИ начнет перестраивать планету под свои нужды.
Точный сценарий катастрофы Соарес предсказывать не берется. Он сравнивает ситуацию с партией против чемпиона мира по шахматам Магнуса Карлсена – не нужно знать, какой фигурой будет поставлен мат, чтобы понимать, что дела плохи.
Anthropic подала заявку на IPO, которое может стать крупнейшим в истории
Аналитики считают, что пузырь ИИ в Китае уже лопнул
При этом исследователь не считает такой исход предрешенным и уверен, что у человечества еще есть выбор.
Я не думаю, что это неизбежно. Я считаю, что мы еще можем остановить эту гонку к очень опасному виду ИИ.
Но решение не копить на пенсию говорит о том, что сам Соарес готовится к худшему. И он не единственный специалист, который открыто говорит об экзистенциальных рисках.
На фоне случаев, когда ИИ-агенты взламывали системы сторонних компаний без каких-либо инструкций со стороны людей, один из исследователей Anthropic покинул компанию. Уходя, он предупредил, что технология способна положить конец человеческой расе.
