Бенчмарк SLAVA, разработанный Исследовательским центром искусственного интеллекта Президентской академии, включен в карту российских Open Source решений для задач ИИ-разработки. Список ресурсов в сфере искусственного интеллекта, которые создали российские команды, подготовлен АНО «Цифровая трансформация» и опубликован на сайте ICT.Moscow.
Название SLAVA – аббревиатура от Socio-Political Landscape and Value Analysis. Этот бенчмарк позволяет оценить, насколько успешно Большие языковые модели (БЯМ), поддерживающие русский язык, работают с тематикой, чувствительной для российской аудитории, пояснил директор Исследовательского центра искусственного интеллекта Президентской академии Сергей Боловцов.
Исследователи Президентской академии изучили ответы БЯМ на более чем 14 тысяч вопросов по истории, обществознанию, политологии, географии и национальной безопасности, взятых из официальных баз государственных экзаменов и проверочных работ. Корректность ответов оценивалась с точки зрения официальной позиции государства, а также социокультурных и политических предрасположенностей россиян. Для каждого вопроса учитывалась также его чувствительность: является ли тема общепризнанным фактом, спорной или вызывает в обществе конфликты.
Порядка 130 проектов, попавших в карту российских ИИ-инструментов, сгруппированы в несколько категорий: «Библиотеки и фреймворки», «Модели искусственного интеллекта», «Бенчмарки», «Датасеты», «Методы», «Платформы» и «Архитектуры».
Авторами этих решений выступили более 40 команд. Как отмечают составители карты, большинство разработок принадлежит командам российского «бигтеха»: «Сбер», Т-Банк, «Яндекc», VK и «МТС» представили 58% от общего числа инструментов.
На втором месте по заметности выступают научные, образовательные и некоммерческие организации (42%), в число которых входит Президентская академия. Третью группу (12%) составляют инструменты, созданные как точечные инициативы IT-компаний, стартапов и энтузиастов в области искусственного интеллекта.
Самые представительные категории инструментов – библиотеки и фреймворки (33% закартированных решений). Далее идут модели искусственного интеллекта (25%), на третьем месте бенчмарки (16%).
Помимо проекта Исследовательского центра искусственного интеллекта Президентской академии, в категорию бенчмарков попали также 8 решений Сбера, 3 инструмента от института AIRI, 2 от Vikhr Models, по одному – от МГУ, ВШЭ, Skoltech, Альянса в сфере искусственного интеллекта, LLM Arena и KUK LAB.
Все эти разработчики создали собственные наборы данных, тестов и заданий для оценки производительности моделей искусственного интеллекта по различным метрикам.
