Чаще всего в крупных онлайн-магазинах цены на товары или услуги устанавливают машины. Недавнее исследование итальянских ученых показывает, насколько просто алгоритмам, созданным на основе технологии обучения с подкреплением, создать «ИИ-картель» и поднять цены в ущерб покупателям.
Известно, что уже в 2015 году треть цен на Amazon устанавливали алгоритмы. С тех пор их доля возросла. А алгоритмы, рассчитывающие цены на книги, авиабилеты или номера в гостиницах, настолько удобны и доступны, что их применяют повсеместно.
Однако технологии развиваются, и на смену программам с жестко заданными параметрами приходят системы машинного обучения, в которых логика принятия решения о размеры цены более не находится в ведении человека, пишет MIT Technology Review.
«Проблема в том, что эти автономные алгоритмы ценообразования могут самостоятельно прийти к выводу, что если им нужно получить максимальную выгоду, они должны избегать ценовых войн.
То есть, они могут научиться сговариваться, даже если их специально не обучали этому и даже если они не общаются друг с другом», — утверждает профессор Эмилио Кальвано и его коллеги из Болонского университета.
Чтобы проверить свою теорию, они разработали два автономные системы ценообразования и позволили им наблюдать друг за другом. И увидели, что даже «относительно простые алгоритмы методично обучаются изощренным стратегиям сотрудничества».
В начале эксперимента два алгоритма сражались друг с другом, понижая цены. Но это был временный этап, а затем цены снова выросли.
Постепенно один из алгоритмов начал проявлять «аутореактивное поведение», как говорят ученые. А это и есть признак тайного сговора.
В симуляции сговор был односторонним — алгоритмы не смогли договориться о монополии. Хуже то, он проявлялся целенаправленно, и его нельзя было заметить со стороны. «Они научились сговариваться чисто методом проб и ошибок, — пишут исследователи, — без предварительного знания об окружающих условиях, не общаясь друг с другом, безо всяких инструкций».
При этом алгоритмы не пытались нарушить никаких правил, они честно учились основам капитализма, пробуя разные стратегии. Ученые призывают разработчиков ИИ обратить внимание на эту проблему и продумать методы ее предотвращения.
Алгоритмы стартапа Humu используют законы поведенческой экономики, чтобы манипулировать сотрудниками компаний. Машинное обучение определяет «болевые точки» персонала и пытается решать проблемы к выгоде начальства.
Источник: hightech.plus
