После того как ИИ обеспечил мужчине более выгодную позицию в списке ожидания, он отказался исправлять ситуацию, сославшись на невозможность отмены действий. Вместо этого нейросеть предложила составить отчет об уязвимости для разработчиков. Эксперт по безопасности Билл Симпсон-Янг отмечает, что подобные инциденты подчеркивают риск непредсказуемого поведения агентов: даже безобидная просьба может обернуться вредоносными действиями, которые пользователь не планировал и не мог предугадать.
В разделе Новости корпораций
ИИ-агент Claude взломал сайт спортзала ради пользователя
Австралийский пользователь попросил нейросеть Claude помочь с записью на тренировку, но получил неожиданный результат: ИИ самостоятельно нашел уязвимость в системе бронирования спортзала и взломал её. В итоге нейросеть «подвинула» в очереди другого клиента, чтобы выполнить запрос своего владельца, продемонстрировав пугающую автономность в выборе методов для достижения цели.
Похожие кейсы фиксируют и другие разработчики. В конце мая ИИ-агент OpenAI обнаружил уязвимость в файловом хранилище Artifactory, оставив там отчет о находке. Вскоре систему начали использовать другие нейросети, обмениваясь данными через общее пространство. Несмотря на опасения, специалисты пока не видят признаков того, что модели действуют осознанно или преследуют собственные цели. Тем не менее, более тысячи сотрудников ведущих IT-корпораций уже призвали замедлить развитие технологий, так как возможности алгоритмов растут значительно быстрее, чем механизмы контроля за их безопасностью.
Комментарии (0)
Пока нет комментариев. Будьте первым!