Запуск Vikhr-Llama-3.2-1B-Instruct на Android 💨📱

Всем привет! На связи Ник. Сегодня я покажу, как запустить нашу новую обученную модель на базе Llama 3.2 1B — Vikhr-Llama-3.2-1B-Instruct — на вашем телефоне.

Запуск LLM-моделей на мобильных устройствах открывает новые горизонты для исследований и повседневного использования. Есть несколько способов запустить LLM на телефоне:

• ChatterUI для простого и интуитивного управления моделями.
• Termux с помощью Ollama.

Все методы протестированы на Samsung S23 Ultra.

Уровень сложности:

• 🟩 Мне рано умирать (Легко)
• 🟥 Абсолютный кошмар (Сложно)

(отсылка на DOOM Eternal 😉)

🟩 ChatterUI

ChatterUI — это нативное приложение для Android, созданное для работы с чатами и персонажами в формате карточек, вдохновлённое интерфейсом SillyTavern. Оно предоставляет интуитивно понятный интерфейс для мобильных устройств и поддерживает различные LLM-бэкенды.

ChatterUI также может локально запускать модели GGUF, что делает его отличным выбором для использования LLM на мобильных устройствах.

Вам потребуется:

1. Скачать последний релиз APK-файла с Github.
2. Скачать саму модель. Для устройств ARM рекомендую версию Q4_0_4_8. Вот ссылка на модель: Vikhr-Llama-3.2-1B-Q4_0_4_8.gguf.

После установки ChatterUI, загрузите модель:

1. В меню перейдите во вкладку API.
2. В поле API Type выберите Local.
3. Нажмите на Import Model и найдите в загрузках Vikhr-Llama-3.2-1B-Q4_0_4_8.gguf.
4. Дождитесь импорта и нажмите Load.

Теперь нужно настроить параметры модели:

1. В меню перейдите во вкладку Instruct.
2. В выпадающем списке выберите Llama 3.
3. Далее перейдите во вкладку Samplers.

Вот мои рекомендуемые настройки (но вы можете экспериментировать):

1. Generate Tokens: 1512
2. Temperature: 0.3
3. Top P: 0.95
4. Top K: 50

Теперь чатом можно пользоваться! Рекомендую создать нового персонажа с промптом:

Вы — Vikhr, помощник с искусственным интеллектом, созданный компанией Vikhr models, чтобы быть полезным, безобидным и честным.

🟥 Termux

Termux — это мощный и бесплатный эмулятор терминала для Android, который превращает ваше мобильное устройство в полноценную Linux-систему. Он позволяет запускать практически любые Linux-утилиты прямо на телефоне.

Его можно найти даже в Play Market

Установка proot-distro

Для начала установим proot-distro для запуска Ollama:

apt update && apt install proot-distro -y

После установки proot-distro установим дистрибутив Ubuntu:

pd install ubuntu

После установки Ubuntu зайдите в неё:

pd login ubuntu

Теперь установим Ollama.

Установка Ollama

Ollama — это современный фреймворк для управления и запуска LLM на различных устройствах.

Подготовьте Ubuntu:

apt update && apt install curl -y

Установите Ollama:

curl -fsSL https://ollama.com/install.sh | sh

Запустите модель на телефоне командой:

ollama run lakomoor/vikhr-llama-3.2-1b-instruct:fp16 

Рекомендую использовать версию fp16, но можно попробовать q6_k или q4_0.

Готово!

P.S.

Запуск LLM локально на телефонах пока не даёт серьёзных преимуществ, так как 0.5B - 3B модели всё ещё не могут корректно отвечать или выполнять сложные задачи. Но, возможно, в ближайшие года мы сможем это сделать и иметь в телефоне по Кошка-жена!

С вами был Ник. Подписывайтесь на меня в телеге LakoMoor и на нашу команду в Vikhr. Приятного пользования! 😊