Созданы алгоритмы для проверки ИИ-систем на «галлюцинации»
Специалисты Московского государственного психолого-педагогического университета (МГППУ) разработали алгоритмы и программное обеспечение, помогающие эффективно выявлять у больших языковых моделей признаки «галлюцинаций» — правдоподобных, но при этом ложных ответов. Об этом сообщили ТАСС в пресс-службе вуза.
«Ученые МГППУ разработали алгоритмы и ПО, позволяющие проверять корректность содержания ответов интеллектуальных ассистентов и генерировать запросы по заданной аннотации ответа, автоматизируя работу промпт-инженеров», — сообщили ТАСС в пресс-службе университета.
Для проверки языковых моделей авторы предложили использовать два алгоритма: один решает задачу подбора запроса, другой — оценивает правдоподобность утверждений.
В основу нового подхода заложено представление запросов и ответов как элементов специальных метрических пространств, в которых расстояния между текстами задаются через так называемое семантическое сходство. Количественные оценки различий между текстами позволяют формализовать их «смысловую близость» и применять методы статистического анализа, пояснили ТАСС в МГППУ.
Полученные результаты могут стать востребованными у программистов и математиков, работающих с большими языковыми моделями, считают авторы.
- Нейросети
Поделиться
