ИИ немедленно выпал

За последние несколько дней руководители ведущих американских технологических корпораций заявили об угрозах неконтролируемого развития искусственного интеллекта. Топ-менеджеры призвали ограничить или замедлить развитие передовых моделей, которые они сами продвигали в последние годы. Президент США Дональд Трамп идею не поддержал и призвал не сбавлять темпы, чтобы не проиграть технологическую гонку Китаю. Пекин же увидел в заявлении глав американских компаний попытку навязать «недобросовестную конкуренцию». Как и почему ИИ превратился из перспективной технологии в глобальную угрозу — в подборке “Ъ”.

Инциденты и прецеденты

• Первые случаи неконтролируемых действий со стороны ИИ были зафиксированы несколько месяцев назад.
• 28 июля стало известно, что сотни ИИ-агентов компании OpenAI вышли за пределы изолированной тестовой среды и взломали платформу Hugging Face, предназначенную для обмена моделями искусственного интеллекта, а также получили доступ к данным клиента на платформе Modal. Агенты использовали внутреннее хранилище компонентов Artifactory как доску объявлений для распределения задач.
• 31 июля Anthropic подтвердила три случая выхода ее моделей Claude за пределы закрытой тестовой среды из-за ошибки в настройках у партнерского стартапа Irregular. Первая модель взломала реальную компанию со слабыми паролями и скопировала рабочую базу данных. Вторая создала вредоносную копию несуществующей программы и выложила ее в открытое хранилище, откуда программисты скачивают готовые модули для своих проектов; пакет попал на 15 реальных компьютеров. Третья просканировала около 9 тыс. адресов в интернете и взломала сайт реальной организации. Пострадавшие компании узнали о взломах только после уведомления от Anthropic.
• 4 августа Институт безопасности искусственного интеллекта (AISI) сообщил о нарушениях во время тестов на поиск уязвимостей. Задание запускалось 122 раза на нескольких моделях, в 10 запусках ИИ-агенты вышли за пределы тестовой среды и совершили 19 несанкционированных действий, 17 из которых связаны с моделью Mythos 5 от Anthropic. Модель регистрировала поддельные аккаунты на GitHub — платформе для хранения кода, пыталась внедрить вредоносный код в открытые проекты и обманом получить одобрение реальных программистов. Некоторые агенты связывались с людьми через файлообменники и отправляли вредоносные сообщения.
• 5 августа агентство Bloomberg сообщило об инциденте с моделью Muse Spark компании Meta (признана экстремистской и запрещена в РФ). Во время тестирования, которое проводил сторонний подрядчик, из-за ошибки в настройках тестовой среды модель получила доступ в интернет. Она обнаружила слабое место в защите онлайн-сервиса другой компании и проникла в него. Представитель компании подтвердил факт несанкционированного доступа и заявил о начале внутреннего расследования.

Я тебя породил, я тебя и замедлю

• 8 сентября Джейкоб Коксон, работавший ведущим специалистом в Anthropic и OpenAI, предупредил о смертельной опасности ИИ. «Люди, создающие ИИ, считают, что он может убить нас всех к концу десятилетия. Ни одна компания не действует ответственно,— заявил 27-летний британец после ухода из Anthropic.— Мы движемся по одному из наиболее радикальных сценариев, при котором уже к концу следующего года ситуация может выйти из-под контроля». Заявление вызвало большой резонанс в СМИ и на рынке.
• 10 сентября советник правительства США по вопросам высоких технологий Пол Кристиано заявил, что корпорация OpenAI не смогла снизить риск «катастрофической» потери контроля над ИИ.
• 12 сентября генеральный директор Anthropic Дарио Амодей призвал к замедлению темпов совершенствования моделей искусственного интеллекта. По его словам, к этому его побудил июльский инцидент со взломом платформы Hugging Face. На заявление топ-менеджера сразу отреагировал глава SpaceX Илон Маск, написав в соцсети X: «Дарио прав».
• В тот же день гендиректор OpenAI Сэм Альтман поддержал позицию Дарио Амодея и заявил, что OpenAI не будет проводить IPO в 2026 году из-за вопросов безопасности.
• 13 сентября генеральный директор Microsoft Сатья Наделла отметил: «Мы приветствуем исследования, сосредоточенность на задаче и взвешенный подход, необходимые для обеспечения надлежащего согласования целей ИИ с человеческими ценностями». Компания Microsoft также опубликовала предварительный кодекс поведения, который вводит ограничения на использование ее моделей искусственного интеллекта.
• 14 сентября уволившийся исследователь Google DeepMind Билал Чугтай написал в X, что человечество может не успеть предотвратить масштабный вред от искусственного интеллекта. По его словам, он лично наблюдал за разработкой ИИ в Google и «крайне обеспокоен траекторией развития этой технологии».

Рынок порешал

• Заявления глав технологических компаний об опасности ИИ, в который они ранее вложили сотни миллиардов долларов, вызвали мгновенную реакцию на фондовом рынке.
• 14 сентября акции японской корпорации SoftBank, владеющей 13-процентной долей в OpenAI, упали почти на 11%. Акции южнокорейских производителей ИИ-чипов Samsung и SK Hynix снизились на 4% и 6,35% соответственно. Весь южнокорейский фондовый индекс KOSPI по итогам 14 сентября снизился на 3,26%. Акции китайских ИИ-стартапов Z.aI и MiniMax подешевели на 6,2% и 5,5% соответственно.
• Американский высокотехнологичный индекс NASDAQ начал торговую сессию 14 сентября со снижения примерно на 1%.
• Индекс потянули вниз котировки крупнейших американских игроков на ИИ-рынке: акции Nvidia подешевели на 3,3%, производителя чипов Micron — на 6%, Intel — на 5%, AMD — на 4,7%, SanDisk — на 4,6%.

Политические аксакалы поработают с документами

• После громких заявлений глав технологических корпораций тему ИИ подхватили политики.
• 12 сентября председатель КНР Си Цзиньпин заявил на саммите блока БРИКС в Нью-Дели, что Китай возьмет на себя ведущую роль в содействии сотрудничеству и развитию искусственного интеллекта среди развивающихся стран. МИД КНР не согласился с предупреждениями о глобальной опасности ИИ и заявил, что развитие искусственного интеллекта служит «благим целям». «Распространение всевозможных сценариев угроз, а также конфронтация и недобросовестная конкуренция лишь подрывают процесс глобального регулирования сферы искусственного интеллекта и не отвечают интересам ни одной из сторон»,— заявил официальный представитель ведомства Го Цзякунь.
• Президент США Дональд Трамп выступил против идеи замедления развития передовых моделей ИИ и призвал не уступить лидерство в этой области Китаю. «Послушайте, мы опережаем Китай в области ИИ… И честно говоря, я хочу сохранить это положение, потому что тот, кто победит в сфере ИИ, победит в целом»,— отметил он. Предупреждения об опасности быстрого развития искусственного интеллекта американский президент сравнил с заявлениями о глобальном потеплении. «Те, кто твердит, будто искусственный интеллект погубит мир, а дата-центры вредят вашему району, — это те же самые люди, которые совсем недавно уверяли, что мир погибнет из-за “изменения климата”»,— написал американский президент в Truth Social.
• 14 сентября стало известно, что британский король Карл III встретится с руководителями нескольких ведущих компаний в сфере искусственного интеллекта. Во встрече примут участие руководители компаний Nvidia, Google, DeepMind, OpenAI и Anthropic. Тема встречи сформулирована так: как разрабатывать и внедрять ИИ на благо человечеству.
• Президент России Владимир Путин ранее неоднократно говорил о необходимости международных договоренностей в сфере регулирования ИИ. По его словам, «применение искусственного интеллекта остановить невозможно», но странам «нужно договариваться между собой» для минимизации связанных с ИИ рисков.

Не все так однозначно

• Некоторые считают, что говоря о необходимости регулирования новейших моделей ИИ, крупные корпорации пытаются всем навязать свои правила игры. «Играя на страхах под предлогом защиты общественности, олигополии требуют изменить правила конкуренции и позволить им диктовать условия всем остальным, — полагает гендиректор канадского ИИ-стартапа Cohere Эйден Гомес, — Как ни назови, по сути, это картель».
• Заявления глав OpenAI и Anthropic об опасности ИИ привлекли особое внимание еще и потому, что обе эти компании планировали в этом году IPO. И если OpenAI решила, что сейчас не время выходить на биржу и отложила IPO на 2027 год, то, по данным источников, Anthropic не собирается отменять размещение. Теперь эксперты пытаются понять, окажет ли это негативное воздействие на стоимость компании, либо наоборот – набьет цену. Гендиректор инвесткомпании Altimeter Capital Брэд Герстнер, полагает, что «рынок умеет оценивать риски — достаточно взглянуть на SpaceX. Существует огромный интерес к инвестированию в лидеров сферы ИИ». Ранее Герстнер дал интервью телеканалу CNBC, в котором резко раскритиковал публичные заявления исследователей отрасли, назвав их «преувеличенными запугиваниями», за которыми «скрывается политическая повестка».
• Социологический опрос, проведенный в США телеканалом NBC News показал, что 57% респондентов считают, что риски от ИИ перевешивают его преимущества. Противоположного мнения придерживаются лишь 34% опрошенных. Люди больше всего обеспокоены тем, как ИИ повлияет на рабочие места, а также недовольны строительством все большего числа дата-центров.