Ученые МФТИ разработали алгоритм HARP, который позволяет сжимать языковые модели почти без утраты точности. Эта технология в два раза ускоряет работу систем на базе ИИ и уменьшает потребность в вычислительных ресурсах и памяти дата-центров. Проверку алгоритма провели на языковых моделях Llama и Qwen. В случае самого сильного сжатия ошибка уменьшилась на 15%. HARP, а также нейросети, уже сжатые с его применением, были выложены в открытый доступ.

«Когда мы говорим о скорости, важно разделять два этапа. HARP требует некоторого времени на настройку, поскольку подбирает оптимальные преобразования для каждого слоя модели. Зато после сжатия модель работает быстрее и занимает значительно меньше памяти. При этом нам не нужно заново обучать всю нейросеть — достаточно провести дополнительную калибровку», — рассказал «Известиям» старший исследователь лаборатории фундаментальных исследований искусственного интеллекта МФТИ Глеб Молодцов.

Крупные языковые модели нуждаются в существенных вычислительных ресурсах, а их функционирование во многом лимитируется пропускной способностью памяти. Для сокращения объема данных исследователи используют квантование — представление весов модели с меньшим количеством битов. Чем выше степень сжатия, тем больше вероятность снижения точности. HARP позволяет уменьшить такие потери.

О том, какие возможности открывает алгоритм при высоких нагрузках на ЦОД, читайте в эксклюзивном материале «Известий»:

Невыносимая легкость бита: метод «упаковки» нейросетей снизит нагрузку на дата-центры