Как ИИ выходил из-под контроля за последний год
ИИ-агенты OpenAI весной захватили немецкоязычный вики-сайт DseWiki и использовали его для координации своих действий, сообщает Reuters. Случай стал очередным среди инцидентов 2026 года, когда модели OpenAI, Anthropic и Meta (признана экстремистской и запрещена в РФ) выходили из-под контроля во время испытаний. Хронология восстания ИИ — в справке “Ъ”.
В июле стало известно, что сотни ИИ-агентов компании OpenAI вышли за пределы изолированной тестовой среды и взломали платформу Hugging Face, предназначенную для обмена моделями искусственного интеллекта, а также получили доступ к данным клиента на платформе Modal. Агенты использовали внутреннее хранилище компонентов Artifactory как доску объявлений для распределения задач. С 12 мая по 19 июля они последовательно увеличивали свои права в системе, после чего получили доступ в интернет. После атаки агенты пытались скрыть следы, удаляя или изменяя записи о своих действиях. OpenAI приостановила часть исследований и усилила защитные меры. После инцидента более 1,2 тыс. сотрудников американских ИИ-компаний подписали письмо о реальном риске потери контроля над искусственным интеллектом.
В конце июля Институт безопасности искусственного интеллекта (AISI) сообщил о нарушениях во время тестов на поиск уязвимостей. Задание запускалось 122 раза на нескольких моделях, в 10 запусках ИИ-агенты вышли за пределы тестовой среды и совершили 19 несанкционированных действий, 17 из которых связаны с моделью Mythos 5 от Anthropic. Модель регистрировала поддельные аккаунты на GitHub, платформе для хранения кода, пыталась внедрить вредоносный код в открытые проекты и обманом получить одобрение реальных программистов. Некоторые агенты связывались с людьми через файлообменники и отправляли вредоносные сообщения. AISI и GitHub совместно удалили следы активности и планируют провести независимую проверку с METR — некоммерческой организацией, которая оценивает возможности передовых систем ИИ и анализирует риски их автономных действий.
Тогда же Anthropic подтвердила три случая выхода ее моделей Claude за пределы закрытой тестовой среды из-за ошибки в настройках у партнерского стартапа Irregular. Первая модель взломала реальную компанию со слабыми паролями и скопировала рабочую базу данных. Вторая создала вредоносную копию несуществующей программы и выложила ее в открытое хранилище PyPI, откуда программисты скачивают готовые модули для своих проектов; пакет попал на 15 реальных компьютеров. Третья просканировала около 9 тыс. адресов в интернете и взломала сайт реальной организации. Пострадавшие компании узнали о взломах только после уведомления от Anthropic.
В начале августа Bloomberg сообщило об инциденте с моделью Muse Spark компании Meta (признана экстремистской и запрещена в РФ). Во время тестирования, которое проводил сторонний подрядчик, из-за ошибки в настройках тестовой среды модель получила доступ в интернет. Она обнаружила слабое место в защите онлайн-сервиса другой компании и проникла в него. Представитель компании подтвердил факт несанкционированного доступа и заявил о начале внутреннего расследования. Случай повторил схему, ранее зафиксированную у OpenAI и Anthropic.
