Создан эталон для оценки качества работы химических языковых ИИ-моделей

Российские исследователи разработали инструмент, позволяющий оценить эффективность работы больших языковых моделей при решении задач, связанных с химией.

Разработка данного эталона ускорит создание ИИ для появления новых лекарственных препаратов, сообщила ТАСС пресс-служба Института искусственного интеллекта AIRI. «Наш тест призван помочь разработчикам языковых моделей лучше понимать архитектурные ограничения нейросетей. Он может стать основой для дальнейших исследований в области автоматизации химических рассуждений», — пояснил научный сотрудник Центра ИИ-разработки лекарственных препаратов (AIDD) Института AIRI Кузьма Храбров, чьи слова приводит пресс-служба института.

В последние годы различные системы искусственного интеллекта и алгоритмы машинного обучения начали активно внедряться в химию и смежные с ней области естественных наук. Помимо специализированных решений, таких как «нобелевский» алгоритм для определения структуры белков AlphaFold, ученые также разрабатывают различные подходы для решения химических задач, основанные на базе больших языковых моделей.

Как отмечают исследователи, для решения подобных задач часто требуется не тривиальное извлечение фактов, а последовательное решение нескольких связанных между собой вопросов, с чем системы ИИ часто не могут адекватно справиться. Для дальнейшего развития «химических ИИ» требуется создание подходов, которые позволяли бы быстро и эффективно искать пути, позволяющие улучшать способность ИИ решать «цепочки заданий».

Для этого российские ученые подготовили специализированный тест, построенный из композиций базовых химических задач, в число которых входит определение продуктов реакций, предсказание их свойств и генерация описаний молекул по формуле. При решении каждой задачи из тестового набора ИИ должен определить, какой продукт получится в результате реакции, затем оценить, обладает ли это вещество каким-либо ценным свойством, например, биоактивностью.

Опираясь на этот тестовый набор, исследователи проверили работу нескольких больших языковых моделей, в том числе универсальных систем ИИ и специализированных химических моделей. Эти проверки подтвердили возможность практического использования данной методики проверки «химического ИИ», а также раскрыли проблемные моменты в работе специализированных и универсальных алгоритмов, а также подходов для их оценки. Все это, как надеются ученые, поможет ускорить развитие ИИ в данной сфере науки.

• Искусственный интеллект

Поделиться