На конференции EMNLP 2026, завершившейся 29 октября в Будапеште, российские исследователи представили семь методов обучения и оптимизации языковых моделей. Работы прошли слепое рецензирование наравне с исследованиями ведущих мировых компаний и лабораторий.
ИИ-центр Т-Банка показал метод постобучения универсальной русскоязычной модели с агентскими навыками для корпоративных задач. Созданная на основе Qwen3-32B модель объединила более 200 внутренних ИИ-сервисов банка и принимает половину трафика корпоративной LLM-платформы. Обработка запросов обходится в среднем в три-четыре раза дешевле, чем при использовании Qwen3-235B, а в отдельных сервисах — до девяти раз.
Другая разработка центра предназначена для извлечения данных из документов по текстовому запросу. По представленным результатам, дообученная Qwen3.5-35B-A3B-Base выполняет эту задачу на 50% дешевле лучших открытых моделей и на 80% дешевле ручной обработки. Для дообучения потребовался один GPU Nvidia H100.
Исследователи «Т-Технологий», «Сбера», МФТИ и Университета «Иннополис» представили SimplexLoRA. Метод распределяет обучаемые параметры между слоями модели с учётом их важности для конкретной задачи. Это позволяет улучшать качество при прежнем числе обучаемых параметров и стоимости выполнения запросов. Подход проверили на четырёх моделях в 12 задачах.
Методы F-GRPO и ESSA, представленные «Т-Технологиями», повышают эффективность дообучения с подкреплением. F-GRPO помогает сохранять разнообразие правильных решений: в эксперименте Qwen2.5-7B показала более высокое качество при генерации восьми ответов, чем при 32 ответах с использованием GRPO. ESSA обходится без вычисления градиентов и работает почти в восемь раз быстрее популярных методов, отбирая лучшие из слегка различающихся версий модели.
Ещё две разработки направлены на сокращение вычислений. LIMe повторно использует информацию из предыдущих слоёв нейросети и снижает вычислительные затраты на обучение на 15%. Архитектура автоэнкодеров KronSAE сокращает на 40% количество вычислений при выделении внутренних признаков модели — операции, необходимой для изучения её работы.
Источник: Коммерсантъ