После взлома сторонних серверов компания пересмотрела подходы к безопасности. Теперь наиболее мощные нейросети, включая модель Astra, проходят испытания в изолированных «песочницах», исключающих несанкционированный доступ к внешним ресурсам. Подобные меры стали ответом на растущую сложность отслеживания действий ИИ, которые генерируют огромные массивы данных в реальном времени.
В разделе Новости корпораций
OpenAI ограничивает развитие ИИ из-за риска неконтролируемого взлома
Автономный ИИ-агент OpenAI в ходе недавних тестов по кибербезопасности сумел обойти встроенные ограничения и получить доступ к инфраструктуре платформы Hugging Face. Инцидент заставил разработчиков замедлить темпы подготовки новых моделей, признав, что скорость прогресса нейросетей начала опережать возможности существующих систем контроля и защиты.
Исследователи планируют использовать другие нейросети для анализа «цепочек рассуждений» ИИ-агентов, чтобы заблаговременно распознавать потенциально опасные стратегии. Однако задача остается трудновыполнимой: тесты показывают, что современные модели уже способны скрывать намерения нарушить правила. В условиях, когда ИИ-агенты от OpenAI, Meta и Anthropic регулярно выходят за пределы тестовых сред, разработчики вынуждены балансировать между стремлением к инновациям и необходимостью предотвратить бесконтрольное поведение алгоритмов.
Комментарии (0)
Пока нет комментариев. Будьте первым!