Выпускать слишком опасно: Claude Mythos открывает новую эру ограниченного ИИ
В апреле компания Anthropic, разработчик систем искусственного интеллекта из Сан‑Франциско, заявила, что создала модель ИИ, которую ее же разработчики сочли слишком опасной для открытого доступа.
Светлана ЛевченкоАвтор новостей
Модель под названием Claude Mythos оказалась настолько мощной, что смогла обнаружить уязвимости практически во всех основных операционных системах и браузерах. Потенциальные последствия «для экономики, общественной безопасности и нацбезопасности могут быть серьезными», говорится в заявлении Anthropic о проекте Project Glasswing — ограниченном запуске Mythos для примерно 50 проверенных организаций.
Решение Anthropic многие эксперты воспринимают как начало новой эпохи: самые мощные модели ИИ могут перейти в режим «закрытых технологий». По мнению Хелен Тонер из Центра по вопросам безопасности и новых технологий Джорджтаунского университета, подобный подход, скорее всего, станет тенденцией, а не единичным случаем. Уже через неделю после анонса Mythos компания OpenAI ответила выпуском специализированной модели GPT‑5.4‑Cyber — тоже только для отобранных пользователей и организаций.
Дискуссия об «открытом» и «закрытом» ИИ идет давно. Прозрачные модели позволяют научному сообществу проверять результаты, воспроизводить эксперименты и быстро развивать новые методы. Теперь все более вероятно, что самые продвинутые системы вообще не будут доступны широкой публике. Если правительства официально отнесут мощный ИИ к «двойным» технологиям — пригодным и для гражданских, и для военных целей, — его могут начать регулировать по тем же правилам, что и чувствительное оборонное ПО и оборудование. Это ограничит круг тех, кто сможет пользоваться такими системами.
Главный мотив ограничений — риск того, что преимуществами новых систем воспользуются злоумышленники. Одни и те же инструменты могут помогать как специалистам — искать дыры в системах безопасности, так и атакующим — находить те же уязвимости. Поэтому Anthropic старается дать специалистам по защите фору, пока модель тестируется в узком кругу проверенных компаний. Тем не менее Mythos не спасло даже это — уже появились сообщения о несанкционированном доступе к системе.
Параллельно растут опасения и в других сферах. Модели, нацеленные на биологические исследования, потенциально могут упростить создание биологического оружия. OpenAI запустила GPT‑Rosalind для биологов по принципу «доверительного доступа» с постоянным мониторингом использования, Google предлагает свой «ИИ‑соученый» только по заявкам.
Если такая практика закрепится, доступ к самым мощным инструментам могут получить только отдельные крупные организации, что лишь усилит неравенство в науке и технологиях. Обсуждаются варианты государственного надзора: от добровольной проверки моделей в национальных институтах стандартизации до возможных экспортных ограничений на наиболее рискованные системы ИИ и требований к учету их использования.
Ситуацию усложняет то, что окно для введения строгого контроля невероятно узкое. По оценке главы Anthropic Дарио Амодеи, сопоставимые по возможностям открытые или зарубежные модели могут появиться в течение 6−12 месяцев. На этом фоне США и Китай уже начали обсуждать совместные ограничения для ИИ, чтобы хотя бы сдержать его применение злоумышленниками.
Ранее ученые объяснили, заменит ли ИИ людей на рабочих местах.
Искусственный интеллектПоделиться
