Новый NLU Suite от BSS поможет создать кастомную языковую модель

Обновленный инструмент для обучения моделей позволяет адаптировать LLM под локальные задачи благодаря методу LoRA: он обучает только дополнения, не затрагивая всю модель

BSS добавила поддержку LoRA (Low-Rank Adaptation) в инструмент для обучения моделей NLU Suite. Теперь можно обучать языковые модели под локальные задачи быстрее, дешевле и даже при сильно ограниченных мощностях.

Вместо полного переобучения модели LoRA позволяет добавить к ней «блок» под нужды клиента. В итоге обучается не исходная модель, а небольшие матрицы, которые на нее накладываются. Это позволяет создать LLM-эксперта в заданной области гораздо быстрее, чем при традиционном тюнинге.

Для запуска достаточно обеспечить сервер и данные для обучения. Обучающие корпуса можно подготовить с нуля в NLU Suite с помощью любой мощной модели — например, GPT-5. Параметры дообучения можно выставить по умолчанию или настроить в процессе работы. Так можно настраивать как полные модели, так и квантизированные (сжатые) модели.

Качество ответов после дообучения в среднем растет на 15%. При этом обученные компактные модели с меньшей памятью (1 млрд параметров) обгоняют необученные большие (27–30 млрд) на целевых запросах. А разница в качестве обученных компактных (1 млрд) и обученных средних (9 млрд) моделей составляет лишь 5–10%. Это значит, что даже при ограниченных ресурсах можно получить эффективную специализированную модель.

Обновление затрагивает и пользовательский опыт: упростилась загрузка обучающих и тестовых датасетов, обновился интерфейс для сравнения результатов, появилось автоматическое восстановление задач при сбоях.

Как новое решение может повлиять на бизнес, рассказал директор департамента голосовых цифровых технологий BSS Александр Крушинский:

«Наше решение сокращает стоимость и сроки внедрения, а также снижает зависимость от специалистов по дообучению моделей — то есть повышает доступность использования LLM-технологий в бизнесе». 

 

Источник: BSS