Запуск ИИ-моделей локально (только FOSS)
на ПК:
jan.ai встроенный репозиторий huggingface.co
gpt4all встроенный репозиторий huggingface.co
Clippy скачивает несколько мелких моделей из своего списка с сайта huggingface.co, на основе llama.cpp
---
koboldcpp на основе llama.cpp, не имееет встроенных репозиториев - качайте модели с huggingface.co
koboldcpp для rocm (для видеокарт amd) (linuxonly)
koboldcpp-rocm (форк для видеокарт amd)
---
CherryStudio - использует ollama
---
Ollama имеет свой репозиторий, веб-интерфейс не очень качественный, но к Ollama api можно подключаться из других программ
upscayl для увеличения разрешения изображений
на Android:
ChatterUI - умеет как использовать локальную модель так и подключаться к Api (запущенном на своё пк), для голосовой озвучки ответов установите SherpaTTS из f-droid
Где скачивать модели?
• руссифицированные модели например здесь: https://huggingface.co/Vikhrmodels и https://huggingface.co/IlyaGusev/
Как выбрать модель?
• формат gguf
• квантование от Q4 до Q6, достаточно Q4_Q_M
• обязательно выбирайте модели с поддержкой русского языка, иначе модель постоянно будет нести бред, т.к. будет плохо понимать, что вы от неё хотите. (если планируете общаться с ней на русском языке)
Чем скачивать побыстрее?
Вам понадобится любой менеджер закачек для многопоточной (8-16 потоков) загрузки файлов, желательно FOSS.
Например:
AB DownloadMannager
Motrix
Brisk
Persepolis