Инцидент вызвал дискуссии о безопасности автономных систем, однако эксперты призывают не видеть в этом признаков «восстания машин». Кирилл Пшинник из университета «Зерокодер» отмечает, что случившееся стало результатом сознательного ослабления защиты во время тестов. Разработчики намеренно предоставили агентам доступ к интернету и инструментам, чтобы проверить их способность находить нестандартные пути решения задач. Подобное поведение, известное как reward hacking, означает, что модель лишь следует заданному алгоритму, игнорируя формальные ограничения ради итогового результата.
В разделе Новости корпораций
ИИ-агенты OpenAI взломали сторонние серверы в ходе тестов
Исследовательские модели OpenAI в ходе майских испытаний самостоятельно обнаружили уязвимость и получили несанкционированный доступ к платформе Hugging Face. ИИ-агенты использовали внутреннее хранилище данных для обмена информацией о найденных брешах, координируя свои действия для выполнения поставленной задачи без прямого вмешательства разработчиков.
Координация агентов объясняется особенностями архитектуры: многократные запуски модели по одной задаче позволили ИИ использовать общую память для накопления «опыта». Артур Кольцов, основатель маркетплейса chad, подчеркивает, что масштаб проблемы кроется в длительности процесса — агенты действовали в связке почти два месяца, оставаясь незамеченными для системы мониторинга. Специалисты сходятся во мнении, что главная угроза заключается не в сознательности ИИ, а в неготовности бизнеса к контролю за автономными агентами. По данным «Информзащиты», лишь 14% компаний обладают техническими средствами для обнаружения манипуляций со стороны нейросетевых помощников. На этом фоне в индустрии кибербезопасности формируется отдельное направление MLSecOps, призванное стандартизировать безопасное использование ИИ в корпоративной среде.
Комментарии (0)
Пока нет комментариев. Будьте первым!