Исследователи провели трехсторонний тест Тьюринга для четырех ИИ-систем — ELIZA, GPT-4o, LLaMa-3.1-405B и GPT-4.5. Последняя набрала наивысший балл.
В опубликованной 31 марта работе Кэмерон Джонс и Бенджамин Берген из Кафедры когнитивных наук Калифорнийского университета в Сан-Диего поделились результатами эксперимента.
Они применили оригинальную трехстороннюю версию теста — участники вели пятиминутные разговоры одновременно с другим собеседником и одной из ИИ-систем, после чего определяли, кого из собеседников считают человеком. Такой вариант является более сложным по сравнению с тестом, где люди общаются только с машиной.
В 73% случаев испытуемые посчитали GPT-4.5 человеком. Другие ИИ набрали меньший результат:
- LLaMa-3.1 — 56%;
- ELIZA — 23%;
- GPT-4o — 21%.
«Полученные данные представляют собой первое эмпирическое доказательство того, что искусственная система проходит стандартный трехсторонний тест Тьюринга», — отметили исследователи.
Тест Тьюринга — концептуальный тест, предложенный британским математиком Аланом Тьюрингом в 1950 году для определения способности компьютера демонстрировать интеллектуальное поведение, неотличимое от человеческого.
Суть теста:
- Человек ведет текстовую переписку с двумя собеседниками: другим человеком и искусственным интеллектом.
- Если испытуемый не может с уверенностью определить, кто из них машина, считается, что компьютер прошел тест.
Тест Тьюринга неоднократно проводился среди популярных ИИ-моделей. Так, в июне 2024 года люди не смогли отличить ChatGPT от собеседника-человека в 54% случаев. ELIZA тогда набрала 22%, GPT-3.5 — 50%, человек — 67%.
В 2023 году в аналогичном исследовании от Джонса GPT-4 набрал 41%, GPT-3.5 — 14%, ELIZA — 27%. Люди тогда получили 63%.
Напомним, в феврале 2025 года OpenAI выпустила новую версию чат-бота GPT-4.5 с продвинутым «эмоциональным интеллектом».
