BrainBox

Хочу поделиться радостью: мой пет-проект, который я строил последние два года, наконец-то дал осязаемые результаты. На самом деле, результатов так много, что получилось оформить сразу несколько продуктов, которые я буду выкладывать отдельно, и сегодня это BrainBox: сервер доступа к локальным, свободным ИИ-системам на вашем компьютере.

Зачем нужен BrainBox? Современный ИИ позволяет создать множество небольших проектов: озвучка книги, перевода видеоролика на свой язык, или его конверсия в текст, или пересказ этого текста. Вы можете организовать поиск по лору в аниме-чате, или суммаризацию сообщений за сутки, или оформить свою ютуб канал прикольными обложками на видео… Идей здесь масса, продукты небольшие, и они, конечно, не станут бизнесом-юникорном, но вполне могут сделать чуточку лучше жизнь ваших пользователей или вашу частную жизнь.

Однако, есть небольшое «но» — все эти ИИ-системы не так-то просто интегрировать в проект. Я за эти два года перепробовал множество разных ИИ — и чего я только не видел! Нет, конечно, иногда удается найти систему, которая беспроблемно устанавливается на любую операционку и легко доступна по вменяемому API — так случилось ровно один раз, с Ollama. Остальное же… Это может быть ворох исследовательских ноутбуков для Python 3.7 без запиненных зависимостей, и нужно настоящее расследование, чтобы понять, как его запустить. Или это может быть черный ящик докер-контейнера, работающий на авторском протоколе, который совершенно не хочется изучать. Или это библиотека, которая на Linux устанавливается в одну строчку, а на Windows — в десять, причем процесс ломается на второй, ибо отказывается устанавливаться портированная на Windows утилита. Случается и такое, что приходится натурально влезать в выдаваемые моделью тензоры, чтобы реализовать ту или иную операцию.

Конечно, можно сдаться и заплатить за внешнее API — но я верю, что это тупиковый путь. Никто не платил за возможность разрабатывать устройства для PC в 90-х, или вебсайты — в нулевых, или data science решения — в 10-х. Я уверен, что настоящий прорыв возможен лишь в свободных технологиях.

Поэтому для своего проекта я реализовывал простой и удобный доступ к разнообразным ИИ самостоятельно, и постепенно получился BrainBox.

Это веб-сервер, который собирает, тестирует и запускает небольшие контейнеры, каждый из которых содержит ту или иную ИИ-систему: и большие системы, типа Ollama или ComfyUI, и совсем маленькие, вроде Resemblyzer — все они были мне так или иначе полезны в моем проекте, так что, возможно, пригодятся и вам. Более того, ко всем этим решениям организован единообразный доступ: вам нужно всего лишь вызвать endpoint BrainBox-а и добавить задачу в его очередь. Ко всему этому прилагается очень удобное API на Python — но использовать BrainBox можно из любого языка программирования, просто отправляя HTTP-запросы.

BrainBox доступен как Pypi-пакет: pip install kaia-brainbox, и вы получите HTTP-доступ к десятку различных ИИ — и новые уже в пути! Документация по использованию доступна на https://pypi.org/project/kaia-brainbox/ , а исходный код все еще хранится в монорепозитории моего проекта https://github.com/okulovsky/kaia , который был переработан для большей сепарации отдельных подпроектов. В целом BrainBox готов, протестирован и в ресерче, и в боевых условиях, но я еще планирую довести до ума документацию и, возможно, пользовательский интерфейс. И, конечно, в нем всегда есть место для новых ИИ — тут я бы был очень рад сторонним контрибьюшнам.

Как я часто говорю, сейчас — самое подходящее время, чтобы начать увлекательное путешествие в мир ИИ-продуктов, потому что прогресса в этой области, конечно, не хватит, чтобы всех программистов заменить, но он вполне достаточен, чтобы запустить новую волну разработки новых приложений. Отсутствие таких систем действительно сдерживало прогресс — помню я, с какими страданиями приходилось 7 лет назад реализовывать самую простую NLU для чатбота в Whatsapp, как дорого обходился сбор исходных данных, как мои коллеги страдали над speech-to-text системой. Теперь все это в прошлом, развитие не сдерживает ничего. Я уверен, что как в каждую компанию пришел компьютер, затем — веб-сайт, а еще потом — аналитик данных, также и сейчас начинается путешествие искусственного интеллекта в каждую компанию и в каждый дом — и вы вполне можете ему помочь. А BrainBox поможет вам.

Если вы хостите подкаст или митап/конференцию в ЕС и хотите узнать больше о BrainBox или других моих проектах — напишите мне, и мы обязательно до чего-нибудь договоримся.