Параллельные вычислительные технологии 2025

8 апреля прошла ежегодная всероссийская научная конференция «Параллельные вычислительные технологии 2025», на которой программист Центра стратегической аналитики и больших данных ИСИЭЗ Евгения Сурикова представила свой доклад об исследовании ассистента RAG в рамках проекта iFORA.

Программист Евгения Сурикова и заведующий отделом разработки интеллектуальных систем Юрий Валанкин

В докладе «Сomparative study of low-rank adaptation (LoRA) method and full parameter fine tuning in large language models» Евгения рассказала о проведении экспериментального сравнения метода низкоранговой адаптации (LoRA) и полной настройки параметров.

Программист Центра стратегической аналитики и больших данных Евгения Сурикова

ИСИЭЗ

Сравнение методов файн-тюнинга проводилось на трех задачах, таких как классификация, Short-Form Question Answering (SFQA) и Long-Form Question Answering (LFQA). Для данных задач были рассчитаны метрики качества и показатели производительности. Для задачи классификация был разработан бэнчмарк (2М токенов). Фрагменты текстов представляют собой отрывки из статей СМИ, опубликованных за последние три года в домене экономики и информационных технологий. Каждому фрагменту был присвоен один из классов: ‘Science, Technology and Innovation’, ‘Telecom’, ‘AI’, ‘FinTech’, ‘Digital Transformation’, “EdTech”, ‘Business’. Для задачи QA был разработан бэнчмарк (6.8М для кратких ответов и 8.2М токенов для развернутых ответов) в домене экономики и информационных технологий. При этом использовался контекст и вопросы из StackExchange. Ответы на вопросы генерировались через LLM, а затем оценивались экспертами и подходом llm-as-judge.

Полный файн-тюнинг по всем метрикам позволяет получить более высокие показатели метрик по сравнению с LoRA на вышеупомянутых бенчмарках, так как позволяет адаптировать все параметры модели к конкретным задачам, делая ее достаточно универсальной для решения широкого круга задач.

LoRA требует меньше вычислительных ресурсов и памяти, что позволяет использовать менее мощные графические процессоры. Процесс обучения проходит быстрее за счет уменьшения количества параметров, требующих обновления. Контрольные точки LoRA значительно меньше по размеру, что упрощает их хранение и развертывание.

Всероссийская научная конференция «Параллельные вычислительные технологии (ПаВТ)» проводится ежегодно с целью обсуждения возможностей развития параллельных вычислительных технологий и суперкомпьютерных технологий для решения научных и технических задач. Представленные на конференции статьи будут опубликованы в журнале Communications in Computer and Information Science (Scopus и Web of Science).