ИИ заставили играть в игры
Об этом сообщает издание TechCrunch. Специалисты компании Hao AI Lab, основанной на Калифорнийском университете в Сан-Диего, рассказали о создании нового бенчмарка, который помогает оценить качество ИИ. Они использовали игру Super Mario Bros. 1985 года для изучения моделей ИИ. Разработчики создали фреймворк GamingAgent, который позволил моделям воспроизводить игровой опыт. В результате тестов лучше всего себя показала модель Claude 3.7 от Anthropic, за ней следовали Gemini 1.5 Pro от Google и GPT-4o от OpenAI. Исследователи отметили, что даже самая успешная модель не смогла превзойти начинающего геймера из-за нехватки времени на принятие решений. Андрей Карпатый из OpenAI отметил, что в настоящее время нет конкретных метрик для оценки моделей генеративного искусственного интеллекта. Инженеры OpenAI провели исследование в конце февраля и пришли к выводу, что ИИ-модели пока не могут заменить даже программиста-новичка из-за недостаточного понимания контекста и частых ошибок.
Источник и фото - lenta.ru
Больше новостей на сайтах Медиахолдинга
