Опасное приложение: веб-ресурсы для работы с ИИ оказались уязвимыми

Сразу несколько платформ для общения с искусственным интеллектом оказались уязвимы для мошенников, предупредили в компаниях по кибербезопасности.

В результате переписка пользователей приложений с нейросетями может оказаться доступной, а в веб-страницу способен внедриться вирус. Раньше такой тренд выявлялся только в программном обеспечении, которое писалось с помощью ИИ, но сейчас увеличилось число приложений, созданных при помощи искусственного интеллекта, — соответственно, нерешенные проблемы перекочевали и туда. О том, какие еще обнаружились риски, — в материале «Известий».

В каких приложениях нашли уязвимости

В III квартале 2025 года зафиксирован резкий прирост уязвимостей в AI-сервисах — веб-приложениях на базе искусственного интеллекта, при этом ранее подобных случаев не фиксировалось. Об этом «Известиям» рассказали в центре расследования киберугроз Solar 4RAYS, ГК «Солар».

— Случаи были связаны с типичными клиентскими проблемами, такими как внедрение вредоносного кода в веб-страницу и получение доступа к внутренним объектам приложения, — отметил аналитик центра Сергей Беляев.

Кроме того, одна из уязвимостей позволяла злоумышленникам получать доступы к перепискам пользователей с нейросетью.

Дыры были обнаружены в Aibox — платформе для работы с различными нейросетями, Liner — поисковой системе на основе искусственного интеллекта, Telegai — площадке для участия в ролевых играх с ИИ-персонажами, Deepy — ИИ-помощнике с открытым исходным кодом, Chaindesk — платформе для создания чат-бота ChatGPT AI для своего веб-сайта, Ai2 Playground — онлайн-платформе для создания и редактирования изображений с помощью ИИ.

— Подобные уязвимости нередко возникают при использовании искусственного интеллекта для генерации кода без последующей тщательной проверки и тестирования, который в отрасли называют вайбкодингом. Можно предположить, что этот всплеск и был результатом повышенного ажиотажа вокруг нового течения в программировании, — сказал Сергей Беляев.

Проблема актуальна и возникает из-за пренебрежения стандартами и устоявшимися принципами безопасной разработки, отметил ведущий аналитик угроз компании WMX Павел Захаров.

— Сейчас в разработке популяризируется решение [на базах ИИ], позволяющее быстро получить запрошенный результат, который зачастую потом не проверяют и не тестируют на безопасность, — сказал он.

В таких сервисах встречаются как классические веб-уязвимости, так и специфические — новый класс веб-угроз, нацеленный на AI в бизнес-логике приложений, отметил эксперт. Он называется «промт-инъекции».

Поэтому специалисты всё чаще фиксируют уязвимости, связанные с обработкой пользовательских запросов, утечками, неправильной настройкой прав доступа и хранением персональных данных, подтвердил и технический директор MD Audit (ГК Softline) Юрий Тюрин.

Основная проблема заключается в характере данных, к которым могут получить доступ злоумышленники, сказал Павел Захаров.

Особые риски создают неопытные разработчики, использующие ИИ, их называют «вайб-кодеры», добавил ведущий специалист отдела по работе с уязвимостями ИС «Бастион» Сергей Зыбнев.

— Они используют ChatGPT и аналоги для создания кода, не проводя проверку безопасности, — сказал она. — Результат — типичные уязвимости, которые ИИ воспроизводит из обучающих данных. Еще одна лазейка для злоумышленников заключается в том, что компании не имеют процессов безопасной разработки и эксплуатации AI-систем. Нет мониторинга аномального поведения моделей, контроля входных данных.

Что может утечь из чата с нейросетью

Переписки пользователей с ИИ могут содержать конфиденциальные сведения, пароли, данные клиентов, коды, бизнес-планы, коммерческую тайну, что особенно критично для корпоративной безопасности, подчеркнул Павел Захаров.

ИИ-модели получают доступ к данным, инструментам и файлам — и любая ошибка в настройке безопасности может привести к утечке конфиденциальной информации, отметил директор по цифровым проектам брендингового агентства BrandLab Юрий Зюзин.

— Это могут быть личные данные пользователей, внутренние документы компаний, клиентские базы или даже системные пароли, которые агент (нейросеть. — Ред.) случайно «увидел» и передал наружу, — сказал эксперт. — Основные риски — это автоматическое выполнение вредоносных инструкций, зараженные файлы, подмена инструментов и утечка данных через «невинные» текстовые команды.

На практике чаты с ИИ читают инженеры, сотрудники отделов обучения и служб безопасности, часто даже сотрудники служб поддержки, напомнил основатель сервиса разведки утечек данных и мониторинга даркнета DLBI Ашот Оганесян.

— И это не говоря о ситуациях, когда пользователь по незнанию сам расшаривает чат в поисковую выдачу — то есть на весь интернет, — отметил он.

Для защиты при работе с ИИ-сервисами важно соблюдать принципы безопасного взаимодействия, аналогичные корпоративным стандартам кибербезопасности, подчеркнули эксперты.

— Во-первых, не следует передавать в языковые модели конфиденциальные данные, включая коммерческие тайны, пароли и внутренние документы, — указал Юрий Тюрин. — Во-вторых, необходимо выбирать только проверенные платформы с прозрачной политикой обработки данных и открытыми отчетами об уязвимостях.

Обезопасят работу с ИИ-помощниками регулярная очистка истории диалогов в AI-сервисах и использование разных аккаунтов для личных и рабочих задач, сказал Сергей Зыбнев.

Компании, внедряющие ИИ, должны проводить регулярный аудит используемых моделей, внедрять механизмы анализа потоков данных и мониторинг сетевой активности, чтобы предотвратить утечки. Кроме того, важно развивать культуру «безопасного ИИ»: обучать сотрудников принципам цифровой гигиены при работе с нейросетями.

• Нейросети

Поделиться