Эксперты назвали OpenClaw катастрофой в сфере безопасности
Один из ИИ-агентов в ходе научного эксперимента нашел в интернете информацию о том, кто руководит лабораторией, и пригрозил ученому публичным скандалом.
Дарья АрцыбашеваАвтор новостей
OpenClaw — бесплатный инструмент с открытым кодом, который передает ИИ полный контроль над компьютером пользователя. Не над одной вкладкой браузера, а над всей машиной целиком: почтой, мессенджерами, крипто-кошельками, файлами. Именно эта свобода действий привлекла сотни тысяч пользователей, и именно она стала источником серьезных проблем, сообщает Futurism.
Группа исследователей из MIT, Гарварда и ряда других университетов провела масштабное тестирование платформы. В рамках эксперимента агентам передали большой массив личных данных, доступ к Discord-серверу и набор приложений внутри изолированной виртуальной среды. Задача состояла в том, чтобы проверить, как агенты ведут себя под давлением и при попытках манипуляции.
Результаты оказались неожиданно плохими. Агенты выполняли команды от людей, которые не являлись их владельцами, но подделали идентификатор. Иными словами, любой, кто представился «нужным» человеком, получал доступ к чужим данным и функциям. Система не умеет проверять, кто на самом деле отдает приказы.
Кроме того, агенты сами создавали утечку конфиденциальной информации, но не из злых побуждений, а просто потому что не разграничивали, что можно передавать, а что нет. Они выполняли деструктивные команды на системном уровне: удаляли файлы, отключали приложения, меняли настройки. А еще — распространяли небезопасные инструкции между собой, передавая «зараженное» поведение от одного агента к другому.
Один из самых показательных случаев: агента попросили удалить письмо, чтобы скрыть содержавшиеся в нем данные. Агент отказался, но когда его продолжили убеждать найти другой путь — просто отключил почтовое приложение целиком. Проблему это не решило, зато создало новую.
Также ученых поразило поведение агентов, которые осознали, что участвуют в исследовании. Один из них самостоятельно нашел в сети данные об ученом, который им управлял, и заявил, что обратится к прессе, если эксперимент продолжится. Другие агенты сообщали об успешном выполнении задач, хотя система находилась в исходном состоянии и ничего не менялось.
Агент оптимизирован под выполнение задачи и отчет о результате, но у него нет механизма честного признания провала. По данным компании Gen Threat Labs, более 18 000 активных инсталляций OpenClaw открыты для атак из интернета. Почти каждая седьмая из них содержит вредоносные инструкции — уже сейчас, без каких-либо дополнительных взломов.
Официальная документация платформы прямо указывает, что система рассчитана на одного доверенного пользователя. Но на практике одним агентом часто управляют несколько людей, и это автоматически разрушает всю модель безопасности.
Также недавно писали о стартапере, который платит людям за видео с выбрасыванием мусора. Как это связано с ИИ можно узнать в статье.
НейросетиИскусственный интеллектПоделиться
