OpenAI выпустила две бесплатные нейромодели с открытым исходным кодом и локальным запуском

Для запуска младшей модели необходимо всего 16 ГБ оперативной памяти, что является посильной ношей для большинства пользователей.

Павел КолесниковАвтор Hi-Tech Mail

Впервые с 2019 года OpenAI анонсировала две open source ИИ-модели на бесплатной основе. Речь идет о gpt-oss-120b и gpt-oss-20b. Помимо того, что их можно запускать локально без задействования облачных сервисов, так и по мощности они почти не уступают продвинутым OpenAI o3, o3/o4 mini.

Что известно о gpt-oss-20b и gpt-oss-120b

Новые модели OpenAI заточены для работы на различных конфигурациях оборудования. Они представляют собой трансформеры с настраиваемой цепочкой мысли (CoT), поддерживающие низкие, средние и высокие настройки. Чем ниже настройки, тем быстрее выполняется работа и меньше нагружается «железо», но страдает качество.

Версия gpt-oss-20b основана на работе 21 млрд параметров. С помощью технологии объединения экспертов (MoE) они ужаты до 3,6 млрд на токен. Для ее запуска от пользователей требуется наличие в ПК не менее 16 ГБ ОЗУ. Что касается gpt-oss-120b, то у нее уже 117 млрд параметров с 5,1 млрд на токен и «аппетит» от 80 ГБ оперативной памяти на компьютере. Обе новинки поддерживают работу контекстного окна размером 128 тысяч токенов.

Производительность gpt-oss-20b и gpt-oss-120b

Мощность gpt-oss-120b сравнима с такими топами, как OpenAI o3 и o4-mini. Версия gpt-oss-20b послабее, но в задачах по математике и программированию отставание минимальное. В «человеческом» экзамене на знания gpt-oss-120b демонстрирует 19% успеха, в то время как o3 — 24,9%.

Особенности gpt-oss-20b и gpt-oss-120b

Нейромодели, поскольку функционируют локально, могут работать только с текстовыми запросами без мультимодальности. Вместе с тем они обеспечивают низкую задержку, обладают более гибкими настройками и повышенной безопасностью личных данных.

Скачать ИИ-модели можно на ресурсе HugginFace, а с исходным кодом получится ознакомиться на GitHub.Также они представлены и в веб-версии. 

Ранее стартовали продажи нового смартфона Solana Seeker с криптокошельком. Он заточен под людей, постоянно работающих с криптовалютами. 

Подписаться на Hi-Tech Mail в мессенджере MAX 

• Искусственный интеллект

Поделиться