Загоняем Альпаку на Эльбрус

Думаю уже все слышали об Alpaca - аналоге chatGPT, которую можно запустить локально на процессоре. И раз есть такая возможность почему бы не сделать это на Эльбрусе?!

На чем тестировалось

Я решил сравнить два процессора: Эльбрус 8св на сервере sumeriko(Доступ можно получить по ссылке) и Ryzen 7 5800H.

Что было сделано

Я не стал придумывать велосипед и скачал llama.cpp и веса alpaca-7B. Затем собрал с параметрами -O4 -ffast-math и -O3 на Эльбрусе и Ryzen соответственно. Если кому-то будет интересно поиграться на сервере то файл весов с alpaca лежит в /srv/home/alex_mih/alpaca.cpp

Как запускал

Я пошел по пути наименьшего сопротивления и запустил alpaca через скрипт ./examples/alpaca.sh

Запуск

В видео ниже идет пример запуска. В левом терминале Ryzen, в правом Эльбрус. В начале я провел тест сорости следующей командой, которая была предложена пользователем rPman на Хабре. Именно тест ускорил чтобы не отнимать у вас много времени. Сам запуск ./examples/alpaca.sh

for a in {1..8};do printf "%s;" $a;./main -t $a -m ./models/ggml-alpaca-7b-q4.bin -s 42 -p "Random joke:" -n 32 2>&1 |grep "llama_print_timings:       eval time" | cut -d "(" -f 2 | grep -o -e "[0-9\.]*" ;done

Таблички, графики

Что по итогу?

Лично я доволен результатами. Может Эльбрус и не показал скорость в разы превышающие результаты по сравнению с Ryzen, но нужно учитывать что Эльбрус 8св 2018 года выпуска, a Ryzen 2021 года, Плюс частоты на данных процессорах разные. (3.8GHz на Ryzen и 1.5GHz на Эльбрусе).