Российские ученые решили важную проблему машинного обучения

Специалисты разработали уникальную технологию, позволяющую ИИ сохранять информацию на существенно большие сроки. Разработку планируют применять при создании промышленных роботов, беспилотников и дронов.

Юлия УгловаАвтор Hi-Tech Mail

Новая архитектура искусственного интеллекта, разработанная в МФТИ, успешно преодолевает ключевую проблему машинного обучения — явление катастрофического забывания. Она позволяет сохранять информацию в сотни тысяч раз дольше. Эта технология открывает путь к созданию автономных ИИ-систем, обладающих способностью непрерывно обучаться и адаптироваться к меняющимся обстоятельствам, говорится на сайте Десятилетия науки и технологий в России.

Нейронная сеть можно сравнить с картой. Обучение формирует в ней своеобразные пути памяти, похожие на тропинки в лесу. Если люди начинают хаотично перемещаться вне проложенных маршрутов, тропинка быстро теряет четкость и исчезает. Аналогичный процесс наблюдается внутри нейросетей: усвоив новую информацию, они обновляют свои параметры, стирая предыдущие данные. Феномен называется «катастрофическим забыванием» — постоянные изменения условий приводят к потере стабильности памяти.

Решение было найдено благодаря нейробиологии. Отечественные специалисты разработали инновационную модель памяти, основанную на спайковых нейронных сетях — новом подходе в искусственном интеллекте, имитирующем работу настоящего человеческого мозга. В эту систему внедрили механизм динамической перестройки соединений — ревайринг, работающий совместно с основным способом обучения мозга — временной пластичностью, зависящей от спайков (STDP). Принцип STDP заключается в усилении или ослаблении связи между двумя нейронами в зависимости от последовательности их активации.

«Как это работает? Сначала сеть учится под внешним воздействием, связь между нейронами усиливается и формируется кратковременная память. А дальше начинается самое интересное. После обучения внешний сигнал выключается, и сеть остается наедине со своей спонтанной активностью. В этот момент включается ревайринг. Система самостоятельно перестраивает свою анатомическую структуру, буквально “впечатывая” этот паттерн в карту связей. Этот процесс мы назвали самоорганизованной консолидацией памяти. Благодаря ему кратковременная память превращается в долговременную — устойчивое структурное изменение в архитектуре сети», — объясняет Сергей Лобов, ведущий научный сотрудник лаборатории нейробиоморфных технологий МФТИ.

Проведенные эксперименты продемонстрировали значительное улучшение надежности памяти: она возросла в сотни тысяч раз. Ученые оценивали эффективность моделируемой памяти с помощью анализа количества импульсов активности. Обычная сеть теряла данные после 1000 импульсов, тогда как сеть с функцией перестроения связей сохраняла стабильность вплоть до 170 миллионов импульсов.

Пока новый дизайн архитектуры представлен исключительно в форме цифровой симуляции. Далее планируется разработка реальных нейроморфных чипов, основанных на таком принципе функционирования. Технология откроет двери для разработки широкого спектра автономных ИИ-систем — от исследовательских роботов до автомобилей с автопилотом.

Ранее в России научились безошибочно определять яды животного происхождения.

• российские ученые

Поделиться