IT обозрение
Вторник, 8 июля, 2025
No Result
View All Result
  • Новости
  • Игры
  • Смартфоны
  • Обзоры
  • Софт
  • Криптовалюта
  • ИИ
  • Новости
  • Игры
  • Смартфоны
  • Обзоры
  • Софт
  • Криптовалюта
  • ИИ
No Result
View All Result
IT обозрение
No Result
View All Result
Home Новости

Зачем искусственный интеллект учат играть в видеоигры

01.06.2019
A A
0
Share on FacebookShare on Twitter

Что побуждает вас продолжить видеоигру? Простое объяснение – любопытство. Как выяснилось, именно оно является ключевым эффективным мотиватором при обучении искусственного интеллекта игре в видеоигры, пишет The Verge.

Исследование OpenAI объясняет, как ИИ благодаря любопытству превзошел своих предшественников, игравших в классическую игру 1984 года «Месть Монтесумы». Победа в этой игре, конечно, не равна победе в Go или Dota 2, но все же довольно значима. В отчете DeepMind 2015 года сообщалось, что ИИ, пройдя несколько игр Atari и используя глубокое обучение, в «Мести Монтесумы» не набрал ни одного очка.

ЭТО ИНТЕРЕСНО

«Реанимация» NVIDIA RTX 5090 с треснувшей платой — когда «пациент» этого стоит, а «операция» выявляет скрытые недостатки

«Реанимация» NVIDIA RTX 5090 с треснувшей платой — когда «пациент» этого стоит, а «операция» выявляет скрытые недостатки

08.07.2025
Бывший CEO Intel Пэт Гелсингер говорит, что недооценил роль ИИ — но всё сделал бы так же

Бывший CEO Intel Пэт Гелсингер говорит, что недооценил роль ИИ — но всё сделал бы так же

07.07.2025

Причиной сложности игры является несоответствие между геймплеем и методом обучения искусственного интеллекта. Обычно агенты ИИ полагаются на обучение с подкреплением при освоении видеоигр: они «погружаются» в виртуальный мир, получают вознаграждения за некоторые достижения (например, очки) или наоборот, их наказывают (потеря жизни). Таким образом, агент учится играть путем проб и ошибок. Обучение с подкреплением часто рассматривается как ключевой метод для создания более интеллектуальных роботов.

11.jpg (35 KB)

Проблема с «Местью Монтесумы» заключается в том, что в игре нет регулярных вознаграждений для агента ИИ. Это пазл-платформер, где игроки должны исследовать подземную пирамиду, уклоняться от ловушек и врагов, собирая ключи, которые открывают двери и специальные предметы.

Если вы тренировали агента ИИ, чтобы победить в игре, вы могли бы вознаградить его за то, что он остался жив и собирал ключи, но как вы научите его сохранять определенные ключи для определенных предметов и использовать их для преодоления ловушек и завершения уровня?

Ответ простой: через любопытство.

В исследовании OpenAI агент был вознагражден не только за прыжки через ямы с шипами, но и за изучение новых деталей в пирамиде. Это привело к улучшению производительности, а бот получил средний балл 10 000 (по сравнению со средним человеческим счетом в 4 000).

«Впереди еще много работы. Но то, что у нас есть на данный момент, — это система, которая может исследовать множество комнат, получать вознаграждения и иногда преодолевать первый уровень. Уровни похожи между собой, поэтому прохождение целой игры – просто вопрос времени», — заявил Харрисон Эдвардс из OpenAI.

22.jpg (50 KB)

Борьба с «шумом ТВ»

Исследователи использовали концепцию любопытства как мотивацию на протяжении десятилетий. Интерес, основанный на прогнозах, полезен только при обучении для определенных типов игр, например, Super Mario.

Еще одна проблема – «шум ТВ», где агенты ИИ, запрограммированные на поиск нового опыта, «пристрастились» к случайным шаблонам, таким как статический шум ТВ. Агенты воспринимают «интересное и новое» как то, что связано с их способностью прогнозировать будущее. Прежде чем ИИ предпримет определенное действие, он предскажет, как будет выглядеть игра потом. Если догадка верна, скорее всего, он уже видел эту часть игры. Этот механизм известен как «ошибка прогнозирования».

Но поскольку статический шум непредсказуем, любой агент ИИ, столкнувшийся с таким ТВ, становится загипнотизированным. OpenAI сравнивает проблему с людьми, пристрастившихся к игровым автоматам – они не могут оторваться, потому что они не знают, что произойдет дальше.

33.gif (88 KB)

Исследователи OpenAI обошли проблему, поменяв то, как ИИ предсказывает будущее. Точная методология, Random Network Distillation, сложна, но Эдвардс и его коллега Юрий Бурда сравнивают это со скрытием тайны для ИИ. Тайна случайна и бессмысленна – что-то вроде «какой цвет в левом верхнем углу экрана?», но он мотивирует агента исследовать, оберегая его от ловушки «шума ТВ».

Что еще более важно, этот мотиватор не требует большого количества вычислений. Такие методы обучения с подкреплением основаны на огромных объемах данных. «Метод, который они используют, на самом деле довольно прост и, следовательно, неожиданно эффективен», — прокомментировал инженер-программист Unity Артур Джулиани. – «Учитывая сходство между различными уровнями в «Мести Монтесумы», работа OpenAI, по сути, эквивалентна решению игры. Но тот факт, что ИИ пока не может пройти полностью первый уровень, означает, что остались определенные вопросы».

44.png (420 KB)

Важность любопытства

Какова польза от любопытного искусственного интеллекта? Любопытство помогает компьютерам учиться самостоятельно. Большинство подходов к компьютерному обучению на сегодняшний день можно поделить на две части: во-первых, машины учатся, изучая данные, разрабатывая шаблоны, которые они могут применять к аналогичным проблемам; во-вторых, они «погружаются» в нужную среду и получают вознаграждения за определенные достижения с помощью обучения с подкреплением.

Оба этих подхода эффективны в решении конкретных задач, но также требуют большого количества человеческого труда. Предоставляя ИИ неотъемлемый стимул исследовать, люди тратят меньше времени на его обучение.

Читайте так-же

«Реанимация» NVIDIA RTX 5090 с треснувшей платой — когда «пациент» этого стоит, а «операция» выявляет скрытые недостатки
Новости

«Реанимация» NVIDIA RTX 5090 с треснувшей платой — когда «пациент» этого стоит, а «операция» выявляет скрытые недостатки

08.07.2025
0

Раздел Технологии выходит при поддержке Это долгая история о восстановлении физически сломанной NVIDIA RTX 5090. Вероятно, какую-то другую видеокарту следовало...

Read more
Бывший CEO Intel Пэт Гелсингер говорит, что недооценил роль ИИ — но всё сделал бы так же

Бывший CEO Intel Пэт Гелсингер говорит, что недооценил роль ИИ — но всё сделал бы так же

07.07.2025
Украина ввела санкции против 60 криптовалютных компаний, которые помогали рф отмывать деньги

Украина ввела санкции против 60 криптовалютных компаний, которые помогали рф отмывать деньги

07.07.2025
Главное атмосфера, а не сюжет: Квентин Тарантино назвал два лучших «фильма для тусовок» всех времен

Главное атмосфера, а не сюжет: Квентин Тарантино назвал два лучших «фильма для тусовок» всех времен

07.07.2025
Удобен ли для ремонта модульный Fairphone 6? iFixit проверила

Удобен ли для ремонта модульный Fairphone 6? iFixit проверила

07.07.2025

ТОП НОВОСТИ

«Реанимация» NVIDIA RTX 5090 с треснувшей платой — когда «пациент» этого стоит, а «операция» выявляет скрытые недостатки

«Реанимация» NVIDIA RTX 5090 с треснувшей платой — когда «пациент» этого стоит, а «операция» выявляет скрытые недостатки

08.07.2025
Коммерсант: Российские власти прорабатывают новые механизмы регулирования видеоигровой индустрии

Коммерсант: Российские власти прорабатывают новые механизмы регулирования видеоигровой индустрии

08.07.2025
Горячо! Дизайн Xiaomi 16 Pro Max раскрыт шпионским фото крышки

Горячо! Дизайн Xiaomi 16 Pro Max раскрыт шпионским фото крышки

08.07.2025
Бывший CEO Intel Пэт Гелсингер говорит, что недооценил роль ИИ — но всё сделал бы так же

Бывший CEO Intel Пэт Гелсингер говорит, что недооценил роль ИИ — но всё сделал бы так же

07.07.2025
Новый градостроитель в духе Caesar 3 переносит игроков под воду

Новый градостроитель в духе Caesar 3 переносит игроков под воду

07.07.2025

ПОПУЛЯРНОЕ

  • Как установить Linux-приложение на Chrome OS

    Как установить Linux-приложение на Chrome OS

    0 shares
    Share 0 Tweet 0
  • Новый геймплей Mafia: The Old Country – больше деталей через неделю

    0 shares
    Share 0 Tweet 0
  • Патч для MindsEye, который делает врагов умнее, вышел на консолях, но не на ПК

    0 shares
    Share 0 Tweet 0
  • Новый патч для ПК-версии Stellar Blade добавил карточки и фоны в Steam и разблокировал сложный режим

    0 shares
    Share 0 Tweet 0
  • Ryzen 5 1500X, GTX 970 и 2 ГБ свободного места — объявлены системные требования ремейка Postal 2

    0 shares
    Share 0 Tweet 0
  • Реклама
  • Контакты
  • Политика конфиденциальности
Реклама: digestmediaholding@gmail.com

Использование любых материалов сайта разрешается при условии ссылки на itoboz.com
Интернет-СМИ должны использовать открытую для поисковых систем гиперссылку. Ссылка должна размещаться в подзаголовке или в первом абзаце материала. Редакция может не разделять точку зрения авторов статей и ответственности за содержание републицируемых материалов не несет.

© 2010-2025 IT новости. All Rights reserved

No Result
View All Result
  • Новости
  • Игры
  • Смартфоны
  • Обзоры
  • Софт
  • Криптовалюта

Использование любых материалов сайта разрешается при условии ссылки на itoboz.com
Интернет-СМИ должны использовать открытую для поисковых систем гиперссылку. Ссылка должна размещаться в подзаголовке или в первом абзаце материала. Редакция может не разделять точку зрения авторов статей и ответственности за содержание републицируемых материалов не несет.

© 2010-2025 IT новости. All Rights reserved

wpDiscuz